CN113269710B - 一种基于目标检测的aau施工工艺检测系统 - Google Patents

一种基于目标检测的aau施工工艺检测系统 Download PDF

Info

Publication number
CN113269710B
CN113269710B CN202110305916.8A CN202110305916A CN113269710B CN 113269710 B CN113269710 B CN 113269710B CN 202110305916 A CN202110305916 A CN 202110305916A CN 113269710 B CN113269710 B CN 113269710B
Authority
CN
China
Prior art keywords
model
detection
training
data set
aau
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110305916.8A
Other languages
English (en)
Other versions
CN113269710A (zh
Inventor
王晓君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Tianyue Electronic Technology Co ltd
Original Assignee
Guangzhou Tianyue Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Tianyue Electronic Technology Co ltd filed Critical Guangzhou Tianyue Electronic Technology Co ltd
Priority to CN202110305916.8A priority Critical patent/CN113269710B/zh
Publication of CN113269710A publication Critical patent/CN113269710A/zh
Application granted granted Critical
Publication of CN113269710B publication Critical patent/CN113269710B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Abstract

本发明提供一种基于目标检测的AAU施工工艺检测系统。所述基于目标检测的AAU施工工艺检测系统,包括以下步骤:S1:收集AAU数据集;S2:人工打标,获得标注文件;S3:分割数据集;S4:训练检测模型:S5:Flask部署模型,提供微服务接口;S6:预测结果进行困难样本筛选;S7:目标检测模型的迭代训练。本发明提供的基于目标检测的AAU施工工艺检测系统,只需手机拍照上传完成检测,操作简单方便;利用深度学习形成类专家系统,提高工艺检测结果一致性和准确性;并形成困难样本收集和模型迭代训练的闭环体系,有效提高深度学习模型的检测泛化能力。

Description

一种基于目标检测的AAU施工工艺检测系统
技术领域
本发明涉及通信行业内AAU的施工工艺检测领域,尤其涉及一种基于目标检测的AAU施工工艺检测系统。
背景技术
通信,指人与人或人与自然之间通过某种行为或媒介进行的信息交流与传递,从广义上指需要信息的双方或多方在不违背各自意愿的情况下采用任意方法,任意媒质,将信息从某方准确安全地传送到另方。
目前通信行业内AAU安装工艺检测主要是在施工后人工进行检测查看,评判标准较为主观,评判结果参差不齐,且后续查看监管溯源较为繁琐。
因此,有必要提供一种基于目标检测的AAU施工工艺检测系统解决上述技术问题。
发明内容
本发明提供一种基于目标检测的AAU施工工艺检测系统,解决了目前通信行业内AAU安装工艺检测主要是在施工后人工进行检测查看,评判标准较为主观,评判结果参差不齐,且后续查看监管溯源较为繁琐的问题。
为解决上述技术问题,本发明提供的基于目标检测的AAU施工工艺检测系统,包括以下步骤:
S1:收集AAU数据集;
S2:人工打标,获得标注文件;
S3:分割数据集;
S4:训练检测模型:
S5:Flask部署模型,提供微服务接口;
S6:预测结果进行困难样本筛选;
S7:目标检测模型的迭代训练;
S8:工艺检测系统稳定后,即可结束困难样本收集与模型的迭代训练;通过手机拍照上传的方式,实现AAU施工工艺的在线检测。
优选的,所述S1收集AAU数据集为深度学习训练前的数据集收集,主要为收集N张AAU设备施工中与施工完成的工艺照片,照片中应包含需要进行工艺评判的施工工艺检测项,且数据集中各工艺包含合格项与不合格项,针对每个检测项的照片数量N≥2000。
优选的,所述S2人工打标,获得标注文件为收集足够的数据集后,进行第二步人工标注施工检测项;此部分利用现有打标软件LabelImg来进行标注,主要操作为用矩形框框选待检测项,并赋予待检测物适当的标签;人工打标后对于标注的每张图片会生成一个XML文件,其中包含每个检测项在图片中相对图片原点的位置坐标以及赋予的真实标签;由图片数据集/>与对应的标注文件XML组成检测数据集/>
优选的,所述S3分割数据集为将检测数据集按照7:2:1的比例分割成为训练数据集/>,测试数据集/>和验证数据集/>;/>用来训练模型,/>用来评估模型预测的好坏及调整对应的参数,/>测试已经训练好的模型的泛化能力。
优选的,所述S4训练检测模型为建目标检测模型,主要使用YOLOV4模型进行训练检测;将现有训练数据集处理后输入网络进行训练,在规定的训练轮次内当模型loss趋于平稳时停止训练,保存得到本次训练精度最高的模型,YOLOV4是one-stage的目标检测模型,可以实现端到端的预测目标物的位置与类别;相比于YOLOV3,YOLOV4修改了主干网络为CSPDarknet53,同时采用了空间金字塔池化的思想来扩大感受,采用PANet中的路径聚合模块作为neck部分,改变了图像增强方式等,通过这一系列tricks提高了目标检测的精度与速度;本系统初次训练后部署在2080Ti的GPU上,对于手机拍摄的AAU高清图片,检测精度为90%,检测速度为10fps。
优选的,所述S5中Flask部署模型,提供微服务接口为得到最佳模型后在服务器上进行模型部署,主要是利用基于python的Flask框架搭建http微服务提供在线预测接口,建立接口后只需施工人员在前端Web页面或者手机APP上进行拍照上传照片至相应检测接口,即可调用服务器上的目标检测模型进行推理预测,微服务接口在接收图片后,调用现有最佳检测模型进行前向推理,获得实时预测结果,即每个待检测项的标签和置信度;根据预测标签进行合格与否的结果判断,将预测结果在图片上标注显示,且生成同标注文件一样的XML文件,包含检测项的位置坐标与预测标签,与图片一一对应;将预测工艺错误的项目生成质检报告,返回给前端施工人员查看。
优选的,所述S6预测结果进行困难样本筛选为预测结果中包含四种情况A:实际正确预测正确的;B:实际正确预测错误的;C:实际错误预测错误的;D:实际错误预测正确的;施工人员拿到预测结果后,若预测结果为A和C的情况,则根据实际情况进行施工现场工艺整改;若预测结果为B和D的情况,则说明模型预测错误,需要人工收集预测错误的图片与对应返回的预测结果XML文件,形成易错数据集;收集一定数量的/>后,输入标注软件LabelImg中进行错误标签修正;此部分作为困难样本数据集,进行适当的数据增强,与上一次的数据集/>合并,同样划分为训练数据集/>,测试数据集/>和验证数据集/>
优选的,所述S7目标检测模型的迭代训练为得到合并困难样本后的训练数据集,再次开始模型训练,在规定的训练轮次内当模型loss趋于平稳时停止训练,保存得到本次训练精度最高的模型,使用初次训练保存的模型在更新的数据集上验证,对比两次模型的验证精度,保留预测效果更好的模型;更新服务器上部署的模型,进行下一次困难样本收集和模型的迭代训练,形成闭环的数据集收集与模型训练体系。
与相关技术相比较,本发明提供的基于目标检测的AAU施工工艺检测系统具有如下有益效果:
本发明提供一种基于目标检测的AAU施工工艺检测系统,基于目标检测实现AAU施工工艺检测,只需手机拍照上传完成检测,操作简单方便;利用深度学习形成类专家系统,提高工艺检测结果一致性和准确性;并形成困难样本收集和模型迭代训练的闭环体系,有效提高深度学习模型的检测泛化能力。
附图说明
图1为本发明提供的基于目标检测的AAU施工工艺检测系统的流程图。
具体实施方式
下面结合附图和实施方式对本发明作进一步说明。
请结合参阅图1,其中,图1为本发明提供的基于目标检测的AAU施工工艺检测系统的流程图。基于目标检测的AAU施工工艺检测系统,包括以下步骤:
S1:收集AAU数据集;
S2:人工打标,获得标注文件;
S3:分割数据集;
S4:训练检测模型:
S5:Flask部署模型,提供微服务接口;
S6:预测结果进行困难样本筛选;
S7:目标检测模型的迭代训练;
S8:工艺检测系统稳定后,即可结束困难样本收集与模型的迭代训练;通过手机拍照上传的方式,实现AAU施工工艺的在线检测。
所述S1收集AAU数据集为深度学习训练前的数据集收集,主要为收集N张AAU(有源天线单元)设备施工中与施工完成的工艺照片,照片中应包含需要进行工艺评判的施工工艺检测项,且数据集中各工艺包含合格项与不合格项,针对每个检测项的照片数量N≥2000。
所述S2人工打标,获得标注文件为收集足够的数据集后,进行第二步人工标注施工检测项;此部分利用现有打标软件LabelImg来进行标注,主要操作为用矩形框框选待检测项,并赋予待检测物适当的标签;人工打标后对于标注的每张图片会生成一个XML文件,其中包含每个检测项在图片中相对图片原点的位置坐标以及赋予的真实标签;由图片数据集/>与对应的标注文件XML组成检测数据集/>
所述S3分割数据集为将检测数据集按照7:2:1的比例分割成为训练数据集/>,测试数据集和验证数据集/>;/>用来训练模型,/>用来评估模型预测的好坏及调整对应的参数,/>测试已经训练好的模型的泛化能力。
所述S4训练检测模型为建目标检测模型,主要使用YOLOV4模型进行训练检测;将现有训练数据集处理后输入网络进行训练,在规定的训练轮次内当模型loss趋于平稳时停止训练,保存得到本次训练精度最高的模型,YOLOV4是one-stage的目标检测模型,可以实现端到端的预测目标物的位置与类别;相比于YOLOV3,YOLOV4修改了主干网络为CSPDarknet53,同时采用了空间金字塔池化的思想来扩大感受,采用PANet中的路径聚合模块作为neck部分,改变了图像增强方式等,通过这一系列tricks提高了目标检测的精度与速度;本系统初次训练后部署在2080Ti的GPU上,对于手机拍摄的AAU高清图片,检测精度为90%,检测速度为10fps。
所述S5中Flask部署模型,提供微服务接口为得到最佳模型后在服务器上进行模型部署,主要是利用基于python的Flask框架搭建http微服务提供在线预测接口,建立接口后只需施工人员在前端Web页面或者手机APP上进行拍照上传照片至相应检测接口,即可调用服务器上的目标检测模型进行推理预测,微服务接口在接收图片后,调用现有最佳检测模型进行前向推理,获得实时预测结果,即每个待检测项的标签和置信度及(x,y,w,h);根据预测标签进行合格与否的结果判断,将预测结果在图片上标注显示,且生成同标注文件一样的XML文件,包含检测项的位置坐标与预测标签,与图片一一对应;将预测工艺错误的项目生成质检报告,返回给前端施工人员查看。
所述S6预测结果进行困难样本筛选为预测结果中包含四种情况A:实际正确预测正确的;B:实际正确预测错误的;C:实际错误预测错误的;D:实际错误预测正确的;施工人员拿到预测结果后,若预测结果为A和C的情况,则根据实际情况进行施工现场工艺整改;若预测结果为B和D的情况,则说明模型预测错误,需要人工收集预测错误的图片与对应返回的预测结果XML文件,形成易错数据集;收集一定数量的/>后,输入标注软件LabelImg中进行错误标签修正;此部分作为困难样本数据集,进行适当的数据增强,与上一次的数据集/>合并,同样划分为训练数据集/>,测试数据集/>和验证数据集/>
所述S7目标检测模型的迭代训练为得到合并困难样本后的训练数据集,再次开始模型训练,在规定的训练轮次内当模型loss趋于平稳时停止训练,保存得到本次训练精度最高的模型,使用初次训练保存的模型在更新的数据集上验证,对比两次模型的验证精度,保留预测效果更好的模型;更新服务器上部署的模型,进行下一次困难样本收集和模型的迭代训练,形成闭环的数据集收集与模型训练体系,施工后施工人员使用手机进行拍照,点击提交后上传照片至服务器进行检测,服务器利用预先训练好的模型进行工艺检测,最终将检测报告返回至用户手机端,可查看可保存,提高工艺检测一致性;并形成困难样本数据集的收集和模型迭代训练的闭环体系,持续增强深度学习模型的泛化能力。
与相关技术相比较,本发明提供的基于目标检测的AAU施工工艺检测系统具有如下有益效果:
基于目标检测实现AAU施工工艺检测,只需手机拍照上传完成检测,操作简单方便;利用深度学习形成类专家系统,提高工艺检测结果一致性和准确性;并形成困难样本收集和模型迭代训练的闭环体系,有效提高深度学习模型的检测泛化能力。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其它相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (2)

1.一种基于目标检测的AAU施工工艺检测系统,其特征在于,包括以下步骤:
S1:收集AAU数据集;
S2:人工打标,获得标注文件;
S3:分割数据集;
S4:训练检测模型:
S5:Flask部署模型,提供微服务接口;
S6:预测结果进行困难样本筛选;
S7:目标检测模型的迭代训练;
S8:工艺检测系统稳定后,即可结束困难样本收集与模型的迭代训练;通过手机拍照上传的方式,实现AAU施工工艺的在线检测;
所述S1收集AAU数据集为深度学习训练前的数据集Fimage收集,主要为收集N张AAU设备施工中与施工完成的工艺照片,照片中应包含需要进行工艺评判的施工工艺检测项,且数据集中各工艺包含合格项与不合格项,针对每个检测项的照片数量N≥2000;
所述S2人工打标,获得标注文件为收集足够的数据集Fimage后,进行第二步人工标注施工检测项;此部分利用现有打标软件LabelImg来进行标注,主要操作为用矩形框框选待检测项,并赋予待检测物适当的标签;人工打标后对于标注的每张图片会生成一个XML文件,其中包含每个检测项在图片中相对图片原点的位置坐标以及赋予的真实标签;由图片数据集Fimage与对应的标注文件XML组成检测数据集F0
所述S3分割数据集为将检测数据集F0按照7:2:1的比例分割成为训练数据集Ftrain,测试数据集Ftest和验证数据集Fval;Ftrain用来训练模型,Fval用来评估模型预测的好坏及调整对应的参数,Ftest测试已经训练好的模型的泛化能力;
所述S4训练检测模型为建目标检测模型,主要使用YOLOV4模型进行训练检测;将现有训练数据集Ftrain处理后输入网络进行训练,在规定的训练轮次内当模型loss趋于平稳时停止训练,保存得到本次训练精度最高的模型,YOLOV4是one-stage的目标检测模型,可以实现端到端的预测目标物的位置与类别;相比于YOLOV3,YOLOV4修改了主干网络为CSPDarknet53,同时采用了空间金字塔池化的思想来扩大感受,采用PANet中的路径聚合模块作为neck部分,改变了图像增强方式等,通过这一系列tricks提高了目标检测的精度与速度;本系统初次训练后部署在2080Ti的GPU上,对于手机拍摄的AAU高清图片,检测精度为90%,检测速度为10fps;
所述S6预测结果进行困难样本筛选为预测结果中包含四种情况A:实际正确预测正确的;B:实际正确预测错误的;C:实际错误预测错误的;D:实际错误预测正确的;施工人员拿到预测结果后,若预测结果为A和C的情况,则根据实际情况进行施工现场工艺整改;若预测结果为B和D的情况,则说明模型预测错误,需要人工收集预测错误的图片与对应返回的预测结果XML文件,形成易错数据集Fwrong;收集一定数量的Fwrong后,输入标注软件LabelImg中进行错误标签修正;此部分作为困难样本数据集,进行适当的数据增强,与上一次的数据集F0合并,同样划分为训练数据集Ftrain,测试数据集Ftest和验证数据集Fval
所述S7目标检测模型的迭代训练为得到合并困难样本后的训练数据集Ftrain,再次开始模型训练,在规定的训练轮次内当模型loss趋于平稳时停止训练,保存得到本次训练精度最高的模型,使用初次训练保存的模型在更新的数据集上验证,对比两次模型的验证精度,保留预测效果更好的模型;更新服务器上部署的模型,进行下一次困难样本收集和模型的迭代训练,形成闭环的数据集收集与模型训练体系。
2.根据权利要求1所述的基于目标检测的AAU施工工艺检测系统,其特征在于,所述S5中Flask部署模型,提供微服务接口为得到最佳模型后在服务器上进行模型部署,主要是利用基于python的Flask框架搭建http微服务提供在线预测接口,建立接口后只需施工人员在前端Web页面或者手机APP上进行拍照上传照片至相应检测接口,即可调用服务器上的目标检测模型进行推理预测,微服务接口在接收图片后,调用现有最佳检测模型进行前向推理,获得实时预测结果,即每个待检测项的标签和置信度;根据预测标签进行合格与否的结果判断,将预测结果在图片上标注显示,且生成同标注文件一样的XML文件,包含检测项的位置坐标与预测标签,与图片一一对应;将预测工艺错误的项目生成质检报告,返回给前端施工人员查看。
CN202110305916.8A 2021-03-19 2021-03-19 一种基于目标检测的aau施工工艺检测系统 Active CN113269710B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110305916.8A CN113269710B (zh) 2021-03-19 2021-03-19 一种基于目标检测的aau施工工艺检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110305916.8A CN113269710B (zh) 2021-03-19 2021-03-19 一种基于目标检测的aau施工工艺检测系统

Publications (2)

Publication Number Publication Date
CN113269710A CN113269710A (zh) 2021-08-17
CN113269710B true CN113269710B (zh) 2024-04-09

Family

ID=77228441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110305916.8A Active CN113269710B (zh) 2021-03-19 2021-03-19 一种基于目标检测的aau施工工艺检测系统

Country Status (1)

Country Link
CN (1) CN113269710B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549473B (zh) * 2022-02-23 2024-04-19 中国民用航空总局第二研究所 具备自主学习快速适应能力的道面检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108573275A (zh) * 2018-03-07 2018-09-25 浙江大学 一种在线分类微服务的构建方法
CN110826514A (zh) * 2019-11-13 2020-02-21 国网青海省电力公司海东供电公司 一种基于深度学习的施工现场违章智能识别方法
CN112084866A (zh) * 2020-08-07 2020-12-15 浙江工业大学 一种基于改进YOLO v4算法的目标检测方法
CN112149761A (zh) * 2020-11-24 2020-12-29 江苏电力信息技术有限公司 一种基于YOLOv4改进算法的电力智慧工地违规行为检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108573275A (zh) * 2018-03-07 2018-09-25 浙江大学 一种在线分类微服务的构建方法
CN110826514A (zh) * 2019-11-13 2020-02-21 国网青海省电力公司海东供电公司 一种基于深度学习的施工现场违章智能识别方法
CN112084866A (zh) * 2020-08-07 2020-12-15 浙江工业大学 一种基于改进YOLO v4算法的目标检测方法
CN112149761A (zh) * 2020-11-24 2020-12-29 江苏电力信息技术有限公司 一种基于YOLOv4改进算法的电力智慧工地违规行为检测方法

Also Published As

Publication number Publication date
CN113269710A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN108428227B (zh) 基于全卷积神经网络的无参考图像质量评价方法
CN108664893B (zh) 一种人脸检测方法及存储介质
WO2021238262A1 (zh) 一种车辆识别方法、装置、设备及存储介质
CN110866471A (zh) 人脸图像质量评价方法及装置、计算机可读介质、通信终端
CN108875963A (zh) 机器学习模型的优化方法、装置、终端设备和存储介质
KR20180004208A (ko) 컨볼루션 신경망 기반의 완전 기준 이미지 품질 평가
CN109145828B (zh) 用于生成视频类别检测模型的方法和装置
US20230119593A1 (en) Method and apparatus for training facial feature extraction model, method and apparatus for extracting facial features, device, and storage medium
Ji et al. Learning temporal action proposals with fewer labels
TW201947463A (zh) 模型測試的方法及裝置
CN110781976B (zh) 训练图像的扩充方法、训练方法及相关装置
CN110009614A (zh) 用于输出信息的方法和装置
WO2021056914A1 (zh) 一种目标检测模型的自动建模方法及装置
CN110472581A (zh) 一种基于深度学习的细胞图像分析方法
CN113743514A (zh) 一种基于知识蒸馏的目标检测方法及目标检测终端
CN112001399B (zh) 基于局部特征显著化的图像场景分类方法和装置
US20230259739A1 (en) Image detection method and apparatus, computer-readable storage medium, and computer device
CN109919302B (zh) 一种用于图像的神经网络的训练方法及装置
CN111598213A (zh) 网络训练方法、数据识别方法、装置、设备和介质
CN113269710B (zh) 一种基于目标检测的aau施工工艺检测系统
CN115082752A (zh) 基于弱监督的目标检测模型训练方法、装置、设备及介质
CN107133631A (zh) 一种识别电视台图标的方法及装置
CN114445684A (zh) 车道线分割模型的训练方法、装置、设备及存储介质
CN110942090A (zh) 模型训练、图像处理方法、装置、电子设备及存储介质
CN112966754B (zh) 样本筛选方法、样本筛选装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant