CN113269710A - 一种基于目标检测的aau施工工艺检测系统 - Google Patents
一种基于目标检测的aau施工工艺检测系统 Download PDFInfo
- Publication number
- CN113269710A CN113269710A CN202110305916.8A CN202110305916A CN113269710A CN 113269710 A CN113269710 A CN 113269710A CN 202110305916 A CN202110305916 A CN 202110305916A CN 113269710 A CN113269710 A CN 113269710A
- Authority
- CN
- China
- Prior art keywords
- detection
- model
- training
- data set
- aau
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 130
- 238000010276 construction Methods 0.000 title claims abstract description 45
- 238000005516 engineering process Methods 0.000 title description 2
- 238000012549 training Methods 0.000 claims abstract description 75
- 238000000034 method Methods 0.000 claims abstract description 58
- 238000013135 deep learning Methods 0.000 claims abstract description 6
- 238000012216 screening Methods 0.000 claims abstract description 6
- 238000007689 inspection Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 4
- 241000238876 Acari Species 0.000 claims description 3
- 101100465000 Mus musculus Prag1 gene Proteins 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims 1
- 238000013136 deep learning model Methods 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011900 installation process Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于目标检测的AAU施工工艺检测系统。所述基于目标检测的AAU施工工艺检测系统,包括以下步骤:S1:收集AAU数据集;S2:人工打标,获得标注文件;S3:分割数据集;S4:训练检测模型:S5:Flask部署模型,提供微服务接口;S6:预测结果进行困难样本筛选;S7:目标检测模型的迭代训练。本发明提供的基于目标检测的AAU施工工艺检测系统,只需手机拍照上传完成检测,操作简单方便;利用深度学习形成类专家系统,提高工艺检测结果一致性和准确性;并形成困难样本收集和模型迭代训练的闭环体系,有效提高深度学习模型的检测泛化能力。
Description
技术领域
本发明涉及通信行业内AAU的施工工艺检测领域,尤其涉及一种基于目标检测的AAU施工工艺检测系统。
背景技术
通信,指人与人或人与自然之间通过某种行为或媒介进行的信息交流与传递,从广义上指需要信息的双方或多方在不违背各自意愿的情况下采用任意方法,任意媒质,将信息从某方准确安全地传送到另方。
目前通信行业内AAU安装工艺检测主要是在施工后人工进行检测查看,评判标准较为主观,评判结果参差不齐,且后续查看监管溯源较为繁琐。
因此,有必要提供一种基于目标检测的AAU施工工艺检测系统解决上述技术问题。
发明内容
本发明提供一种基于目标检测的AAU施工工艺检测系统,解决了目前通信行业内AAU安装工艺检测主要是在施工后人工进行检测查看,评判标准较为主观,评判结果参差不齐,且后续查看监管溯源较为繁琐的问题。
为解决上述技术问题,本发明提供的基于目标检测的AAU施工工艺检测系统,包括以下步骤:
S1:收集AAU数据集;
S2:人工打标,获得标注文件;
S3:分割数据集;
S4:训练检测模型:
S5:Flask部署模型,提供微服务接口;
S6:预测结果进行困难样本筛选;
S7:目标检测模型的迭代训练;
S8:工艺检测系统稳定后,即可结束困难样本收集与模型的迭代训练;通过手机拍照上传的方式,实现AAU施工工艺的在线检测。
优选的,所述S1收集AAU数据集为深度学习训练前的数据集收集,主要为收集N张AAU设备施工中与施工完成的工艺照片,照片中应包含需要进行工艺评判的施工工艺检测项,且数据集中各工艺包含合格项与不合格项,针对每个检测项的照片数量N≥2000。
优选的,所述S2人工打标,获得标注文件为收集足够的数据集后,进行第二步人工标注施工检测项;此部分利用现有打标软件LabelImg来进行标注,主要操作为用矩形框框选待检测项,并赋予待检测物适当的标签;人工打标后对于标注的每张图片会生成一个XML文件,其中包含每个检测项在图片中相对图片原点的位置坐标以及赋予的真实标签;由图片数据集与对应的标注文件XML组成检测数据集。
优选的,所述S4训练检测模型为建目标检测模型,主要使用YOLOV4模型进行训练检测;将现有训练数据集处理后输入网络进行训练,在规定的训练轮次内当模型loss趋于平稳时停止训练,保存得到本次训练精度最高的模型,YOLOV4是one-stage的目标检测模型,可以实现端到端的预测目标物的位置与类别;相比于YOLOV3,YOLOV4修改了主干网络为CSPDarknet53,同时采用了空间金字塔池化的思想来扩大感受,采用PANet中的路径聚合模块作为neck部分,改变了图像增强方式等,通过这一系列tricks提高了目标检测的精度与速度;本系统初次训练后部署在2080Ti的GPU上,对于手机拍摄的AAU高清图片,检测精度为90%,检测速度为10fps。
优选的,所述S5中Flask部署模型,提供微服务接口为得到最佳模型后在服务器上进行模型部署,主要是利用基于python的Flask框架搭建http微服务提供在线预测接口,建立接口后只需施工人员在前端Web页面或者手机APP上进行拍照上传照片至相应检测接口,即可调用服务器上的目标检测模型进行推理预测,微服务接口在接收图片后,调用现有最佳检测模型进行前向推理,获得实时预测结果,即每个待检测项的标签和置信度;根据预测标签进行合格与否的结果判断,将预测结果在图片上标注显示,且生成同标注文件一样的XML文件,包含检测项的位置坐标与预测标签,与图片一一对应;将预测工艺错误的项目生成质检报告,返回给前端施工人员查看。
优选的,所述S6预测结果进行困难样本筛选为预测结果中包含四种情况A:实际正确预测正确的;B:实际正确预测错误的;C:实际错误预测错误的;D:实际错误预测正确的;施工人员拿到预测结果后,若预测结果为A和C的情况,则根据实际情况进行施工现场工艺整改;若预测结果为B和D的情况,则说明模型预测错误,需要人工收集预测错误的图片与对应返回的预测结果XML文件,形成易错数据集;收集一定数量的后,输入标注软件LabelImg中进行错误标签修正;此部分作为困难样本数据集,进行适当的数据增强,与上一次的数据集合并,同样划分为训练数据集,测试数据集和验证数据集。
优选的,所述S7目标检测模型的迭代训练为得到合并困难样本后的训练数据集,再次开始模型训练,在规定的训练轮次内当模型loss趋于平稳时停止训练,保存得到本次训练精度最高的模型,使用初次训练保存的模型在更新的数据集上验证,对比两次模型的验证精度,保留预测效果更好的模型;更新服务器上部署的模型,进行下一次困难样本收集和模型的迭代训练,形成闭环的数据集收集与模型训练体系。
与相关技术相比较,本发明提供的基于目标检测的AAU施工工艺检测系统具有如下有益效果:
本发明提供一种基于目标检测的AAU施工工艺检测系统,基于目标检测实现AAU施工工艺检测,只需手机拍照上传完成检测,操作简单方便;利用深度学习形成类专家系统,提高工艺检测结果一致性和准确性;并形成困难样本收集和模型迭代训练的闭环体系,有效提高深度学习模型的检测泛化能力。
附图说明
图1为本发明提供的基于目标检测的AAU施工工艺检测系统的流程图。
具体实施方式
下面结合附图和实施方式对本发明作进一步说明。
请结合参阅图1,其中,图1为本发明提供的基于目标检测的AAU施工工艺检测系统的流程图。基于目标检测的AAU施工工艺检测系统,包括以下步骤:
S1:收集AAU数据集;
S2:人工打标,获得标注文件;
S3:分割数据集;
S4:训练检测模型:
S5:Flask部署模型,提供微服务接口;
S6:预测结果进行困难样本筛选;
S7:目标检测模型的迭代训练;
S8:工艺检测系统稳定后,即可结束困难样本收集与模型的迭代训练;通过手机拍照上传的方式,实现AAU施工工艺的在线检测。
所述S1收集AAU数据集为深度学习训练前的数据集收集,主要为收集N张AAU(有源天线单元)设备施工中与施工完成的工艺照片,照片中应包含需要进行工艺评判的施工工艺检测项,且数据集中各工艺包含合格项与不合格项,针对每个检测项的照片数量N≥2000。
所述S2人工打标,获得标注文件为收集足够的数据集后,进行第二步人工标注施工检测项;此部分利用现有打标软件LabelImg来进行标注,主要操作为用矩形框框选待检测项,并赋予待检测物适当的标签;人工打标后对于标注的每张图片会生成一个XML文件,其中包含每个检测项在图片中相对图片原点的位置坐标以及赋予的真实标签;由图片数据集与对应的标注文件XML组成检测数据集。
所述S4训练检测模型为建目标检测模型,主要使用YOLOV4模型进行训练检测;将现有训练数据集处理后输入网络进行训练,在规定的训练轮次内当模型loss趋于平稳时停止训练,保存得到本次训练精度最高的模型,YOLOV4是one-stage的目标检测模型,可以实现端到端的预测目标物的位置与类别;相比于YOLOV3,YOLOV4修改了主干网络为CSPDarknet53,同时采用了空间金字塔池化的思想来扩大感受,采用PANet中的路径聚合模块作为neck部分,改变了图像增强方式等,通过这一系列tricks提高了目标检测的精度与速度;本系统初次训练后部署在2080Ti的GPU上,对于手机拍摄的AAU高清图片,检测精度为90%,检测速度为10fps。
所述S5中Flask部署模型,提供微服务接口为得到最佳模型后在服务器上进行模型部署,主要是利用基于python的Flask框架搭建http微服务提供在线预测接口,建立接口后只需施工人员在前端Web页面或者手机APP上进行拍照上传照片至相应检测接口,即可调用服务器上的目标检测模型进行推理预测,微服务接口在接收图片后,调用现有最佳检测模型进行前向推理,获得实时预测结果,即每个待检测项的标签和置信度及(x,y,w,h);根据预测标签进行合格与否的结果判断,将预测结果在图片上标注显示,且生成同标注文件一样的XML文件,包含检测项的位置坐标与预测标签,与图片一一对应;将预测工艺错误的项目生成质检报告,返回给前端施工人员查看。
所述S6预测结果进行困难样本筛选为预测结果中包含四种情况A:实际正确预测正确的;B:实际正确预测错误的;C:实际错误预测错误的;D:实际错误预测正确的;施工人员拿到预测结果后,若预测结果为A和C的情况,则根据实际情况进行施工现场工艺整改;若预测结果为B和D的情况,则说明模型预测错误,需要人工收集预测错误的图片与对应返回的预测结果XML文件,形成易错数据集;收集一定数量的后,输入标注软件LabelImg中进行错误标签修正;此部分作为困难样本数据集,进行适当的数据增强,与上一次的数据集合并,同样划分为训练数据集,测试数据集和验证数据集。
所述S7目标检测模型的迭代训练为得到合并困难样本后的训练数据集,再次开始模型训练,在规定的训练轮次内当模型loss趋于平稳时停止训练,保存得到本次训练精度最高的模型,使用初次训练保存的模型在更新的数据集上验证,对比两次模型的验证精度,保留预测效果更好的模型;更新服务器上部署的模型,进行下一次困难样本收集和模型的迭代训练,形成闭环的数据集收集与模型训练体系,施工后施工人员使用手机进行拍照,点击提交后上传照片至服务器进行检测,服务器利用预先训练好的模型进行工艺检测,最终将检测报告返回至用户手机端,可查看可保存,提高工艺检测一致性;并形成困难样本数据集的收集和模型迭代训练的闭环体系,持续增强深度学习模型的泛化能力。
与相关技术相比较,本发明提供的基于目标检测的AAU施工工艺检测系统具有如下有益效果:
基于目标检测实现AAU施工工艺检测,只需手机拍照上传完成检测,操作简单方便;利用深度学习形成类专家系统,提高工艺检测结果一致性和准确性;并形成困难样本收集和模型迭代训练的闭环体系,有效提高深度学习模型的检测泛化能力。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其它相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种基于目标检测的AAU施工工艺检测系统,其特征在于,包括以下步骤:
S1:收集AAU数据集;
S2:人工打标,获得标注文件;
S3:分割数据集;
S4:训练检测模型:
S5:Flask部署模型,提供微服务接口;
S6:预测结果进行困难样本筛选;
S7:目标检测模型的迭代训练;
S8:工艺检测系统稳定后,即可结束困难样本收集与模型的迭代训练;通过手机拍照上传的方式,实现AAU施工工艺的在线检测。
5.根据权利要求4所述的基于目标检测的AAU施工工艺检测系统,其特征在于,所述S4训练检测模型为建目标检测模型,主要使用YOLOV4模型进行训练检测;将现有训练数据集处理后输入网络进行训练,在规定的训练轮次内当模型loss趋于平稳时停止训练,保存得到本次训练精度最高的模型,YOLOV4是one-stage的目标检测模型,可以实现端到端的预测目标物的位置与类别;相比于YOLOV3,YOLOV4修改了主干网络为CSPDarknet53,同时采用了空间金字塔池化的思想来扩大感受,采用PANet中的路径聚合模块作为neck部分,改变了图像增强方式等,通过这一系列tricks提高了目标检测的精度与速度;本系统初次训练后部署在2080Ti的GPU上,对于手机拍摄的AAU高清图片,检测精度为90%,检测速度为10fps。
6.根据权利要求1所述的基于目标检测的AAU施工工艺检测系统,其特征在于,所述S5中Flask部署模型,提供微服务接口为得到最佳模型后在服务器上进行模型部署,主要是利用基于python的Flask框架搭建http微服务提供在线预测接口,建立接口后只需施工人员在前端Web页面或者手机APP上进行拍照上传照片至相应检测接口,即可调用服务器上的目标检测模型进行推理预测,微服务接口在接收图片后,调用现有最佳检测模型进行前向推理,获得实时预测结果,即每个待检测项的标签和置信度;根据预测标签进行合格与否的结果判断,将预测结果在图片上标注显示,且生成同标注文件一样的XML文件,包含检测项的位置坐标与预测标签,与图片一一对应;将预测工艺错误的项目生成质检报告,返回给前端施工人员查看。
7.根据权利要求5所述的基于目标检测的AAU施工工艺检测系统,其特征在于,所述S6预测结果进行困难样本筛选为预测结果中包含四种情况A:实际正确预测正确的;B:实际正确预测错误的;C:实际错误预测错误的;D:实际错误预测正确的;施工人员拿到预测结果后,若预测结果为A和C的情况,则根据实际情况进行施工现场工艺整改;若预测结果为B和D的情况,则说明模型预测错误,需要人工收集预测错误的图片与对应返回的预测结果XML文件,形成易错数据集;收集一定数量的后,输入标注软件LabelImg中进行错误标签修正;此部分作为困难样本数据集,进行适当的数据增强,与上一次的数据集合并,同样划分为训练数据集,测试数据集和验证数据集。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110305916.8A CN113269710B (zh) | 2021-03-19 | 2021-03-19 | 一种基于目标检测的aau施工工艺检测系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110305916.8A CN113269710B (zh) | 2021-03-19 | 2021-03-19 | 一种基于目标检测的aau施工工艺检测系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113269710A true CN113269710A (zh) | 2021-08-17 |
CN113269710B CN113269710B (zh) | 2024-04-09 |
Family
ID=77228441
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110305916.8A Active CN113269710B (zh) | 2021-03-19 | 2021-03-19 | 一种基于目标检测的aau施工工艺检测系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113269710B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114549473A (zh) * | 2022-02-23 | 2022-05-27 | 中国民用航空总局第二研究所 | 具备自主学习快速适应能力的道面检测方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108573275A (zh) * | 2018-03-07 | 2018-09-25 | 浙江大学 | 一种在线分类微服务的构建方法 |
CN110826514A (zh) * | 2019-11-13 | 2020-02-21 | 国网青海省电力公司海东供电公司 | 一种基于深度学习的施工现场违章智能识别方法 |
CN112084866A (zh) * | 2020-08-07 | 2020-12-15 | 浙江工业大学 | 一种基于改进YOLO v4算法的目标检测方法 |
CN112149761A (zh) * | 2020-11-24 | 2020-12-29 | 江苏电力信息技术有限公司 | 一种基于YOLOv4改进算法的电力智慧工地违规行为检测方法 |
-
2021
- 2021-03-19 CN CN202110305916.8A patent/CN113269710B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108573275A (zh) * | 2018-03-07 | 2018-09-25 | 浙江大学 | 一种在线分类微服务的构建方法 |
CN110826514A (zh) * | 2019-11-13 | 2020-02-21 | 国网青海省电力公司海东供电公司 | 一种基于深度学习的施工现场违章智能识别方法 |
CN112084866A (zh) * | 2020-08-07 | 2020-12-15 | 浙江工业大学 | 一种基于改进YOLO v4算法的目标检测方法 |
CN112149761A (zh) * | 2020-11-24 | 2020-12-29 | 江苏电力信息技术有限公司 | 一种基于YOLOv4改进算法的电力智慧工地违规行为检测方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114549473A (zh) * | 2022-02-23 | 2022-05-27 | 中国民用航空总局第二研究所 | 具备自主学习快速适应能力的道面检测方法及系统 |
CN114549473B (zh) * | 2022-02-23 | 2024-04-19 | 中国民用航空总局第二研究所 | 具备自主学习快速适应能力的道面检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113269710B (zh) | 2024-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI709091B (zh) | 圖像處理方法和裝置 | |
CN108428227B (zh) | 基于全卷积神经网络的无参考图像质量评价方法 | |
CN107636690B (zh) | 基于卷积神经网络的全参考图像质量评估 | |
CN110569695A (zh) | 基于定损图像判定模型的图像处理方法和装置 | |
CN110533097A (zh) | 一种图像清晰度识别方法、装置、电子设备及存储介质 | |
CN111709371B (zh) | 基于人工智能的分类方法、装置、服务器和存储介质 | |
CN110009614A (zh) | 用于输出信息的方法和装置 | |
CN108710893A (zh) | 一种基于特征融合的数字图像相机源模型分类方法 | |
CN108229673A (zh) | 卷积神经网络的处理方法、装置和电子设备 | |
CN112465977B (zh) | 基于稠密点云修补三维模型水面漏洞的方法 | |
CN103096117B (zh) | 视频噪声检测方法及装置 | |
CN111815169A (zh) | 业务审批参数配置方法及装置 | |
CN114862832A (zh) | 缺陷检测模型的优化方法、装置、设备及存储介质 | |
CN115082752A (zh) | 基于弱监督的目标检测模型训练方法、装置、设备及介质 | |
CN113269710A (zh) | 一种基于目标检测的aau施工工艺检测系统 | |
CN110427998A (zh) | 模型训练、目标检测方法及装置、电子设备、存储介质 | |
CN110290203A (zh) | 人工智能云计算对制成品进行非侵入性生产缺陷识别与信息连通 | |
CN113516652A (zh) | 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备 | |
CN108154199A (zh) | 一种基于深度学习的高精度快速单类目标检测方法 | |
Zhang et al. | HVS revisited: A comprehensive video quality assessment framework | |
CN114913086B (zh) | 基于生成对抗网络的人脸图像质量增强方法 | |
CN109886923A (zh) | 一种用于互联网检测中基于机器学习的测量检测系统及办法 | |
CN114926627A (zh) | 口腔结构定位模型训练方法、定位方法、装置和电子设备 | |
CN112668504A (zh) | 动作识别方法、装置及电子设备 | |
CN112464989A (zh) | 一种基于目标检测网络的闭环检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |