CN112581472B - 一种面向人机交互的目标表面缺陷检测方法 - Google Patents
一种面向人机交互的目标表面缺陷检测方法 Download PDFInfo
- Publication number
- CN112581472B CN112581472B CN202110103262.0A CN202110103262A CN112581472B CN 112581472 B CN112581472 B CN 112581472B CN 202110103262 A CN202110103262 A CN 202110103262A CN 112581472 B CN112581472 B CN 112581472B
- Authority
- CN
- China
- Prior art keywords
- intervention
- human
- target
- prediction
- computer interaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种面向人机交互的目标表面缺陷检测方法。
背景技术
机器视觉技术已经代替人眼深入到了社会的方方面面,彻底改变了人们的生活环境。机器视觉检测综合了机器视觉和自动化技术,广泛应用于制造行业的产品缺陷检测,例如产品的装配过程检测与定位、产品的包装检测、产品的外观质量检测、物流行业的货物分栋或水果分栋等,机器视觉能够代替人工快速、准确地完成各项工作。常用的视觉的检测方法主要采用基于深度学习的目标检测方法,深度学习方法包括R-CNN、Fast R-CNN、R-FCN、YOLO、SSD、YOLOv2、YOLOv3等,由于YOLOv3采用金字塔模型,适合于不同分辨率的目标检测,因此本发明采用YOLOv3模型。
发明内容
本发明提出的一种面向人机交互的目标表面缺陷检测方法,适合于目标缺陷样本较少的情况下,采用人机交互的方式,一方面提高识别的准确性,另一方面为后续的识别提供更多的训练样本,越来越减轻操作员的负担。
为了实现上述目的,本发明采用了如下技术方案:
一种面向人机交互的目标表面缺陷检测方法,包括以下步骤:
S1:将图像纹理信息引入到YOLOv3卷积神经网络中;
S2:根据预测框的置信度,设定置信度的干预阈值;
S3:当该阈值TC高于一定阈值T1,即Tc>T1时,不需要人的主观干预,T1=0.8;当该阈值TC低于一定阈值T3,即Tc<T3时,不需要人的主观干预,T3=0.3;当T3≤Tc≤T1时,需要人的主观干预;当干预时间Tt超过一定阈值Tt1,即Tt>Tt1时,自动进入下一次处理;
S4:对认为干预的样本,重新用于深度卷积神经网络的训练;
所述步骤S1中将图像纹理信息引入到YOLOv3卷积神经网络中的具体步骤为:
S11:YOLOv3将输入图像缩放至416×416,将图像划分为S×S个网格;每一网格负责预测目标中心落入该网格的目标,并计算出3个预测框;每一预测框对应5+C个值,C表示数据集中的类别总数,5代表预测边界框的属性信息:中心点坐标(x,y)、框的宽高尺寸(w,h)和置信度;
S12:网格预测的类别置信度得分中引入纹理信息为:
其中Pr(classi|object)为物体属于某一类的概率;Pr(object)为若有目标中心落入该网格,则Pr(object)=1,否则Pr(object)=0;为预测边界框与真实框的交并比,Texture为纹理信息;
S13:使用非极大值抑制算法筛选出置信得分高的预测框,即为检测框。
优选的,所述步骤S3中采用不同方框标注不同类型的数据,需要人干预的数据采用深色方框,不需要人干预的数据采用浅色方框,对于Tt>Tt1的数据按照不同的文件夹进行分类。
优选的,所述步骤S4中对认为干预的样本按照图像和干预目标坐标统一保存,重新用于深度卷积神经网络的训练。
优选的,所述步骤S3及步骤S4中新增加的数据直接放入原本训练好的网络模型中训练,无需重新训练已有的数据。
与现有的技术相比,本发明的有益效果是:本发明适合于目标缺陷样本较少的情况下,采用人机交互的方式,一方面由于缺陷部分的特征较为明显,因此引入图像纹理信息作为的YOLO V3的类别置信度,使得当目标原有的检测概率很低时,也可以把检测概率提升上去,提高目标表面缺陷检测的识别准确性;另一方面面向人机交互的目标检测,针对样本数量较少的情况,采用人机交互的方式,把觉得可以的数据放入训练样本中再次训练,获得更优的模型,也为后续的识别提供更多的训练样本,越来越减轻操作员的负担。
附图说明
图1为本发明实施例1、实施例2的总体流程图;
图2为正常表面图;
图3为裂纹表面缺陷图;
图4为螺钉腐蚀表面缺陷图;
图5为意外损害表面缺陷图;
图6为本发明实施例2面向人机交互的目标表面缺陷检测界面图。
图7为本发明实施例1、实施例2的人机交互下目标缺陷检测的精度变化曲线图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上;术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”等仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
实施例1:
参照图1-5及图7,一种面向人机交互的目标表面缺陷检测方法,包括以下步骤:
S1:将图像纹理信息引入到YOLOv3卷积神经网络中;
由于目标缺陷部分的特征较为明显,因此引入图像纹理信息作为的YOLO V3的类别置信度,即使当目标原有的检测概率很低时,也可以把检测概率提升上去。
S2:根据预测框的置信度,设定置信度的干预阈值。
S3:当该阈值TC高于一定阈值T1,即Tc>T1时,不需要人的主观干预,T1=0.8;当该阈值TC低于一定阈值T3,即Tc<T3时,不需要人的主观干预,T3=0.3;当T3≤Tc≤T1时,需要人的主观干预;当干预时间Tt超过一定阈值Tt1,即Tt>Tt1时,自动进入下一次处理。
S4:对认为干预的样本按照图像和干预目标坐标统一保存,重新用于深度卷积神经网络的训练。
步骤S1中将图像纹理信息引入到YOLOv3卷积神经网络中的具体步骤为:
S11:YOLOv3将输入图像缩放至416×416,将图像划分为S×S个网格;每一网格负责预测目标中心落入该网格的目标,并计算出3个预测框;每一预测框对应5+C个值,C表示数据集中的类别总数,5代表预测边界框的属性信息:中心点坐标(x,y)、框的宽高尺寸(w,h)和置信度;
S12:网格预测的类别置信度得分中引入纹理信息为:
其中Pr(classi|object)为物体属于某一类的概率;Pr(object)为若有目标中心落入该网格,则Pr(object)=1,否则Pr(object)=0;为预测边界框与真实框的交并比,Texture为纹理信息;
S13:使用非极大值抑制算法筛选出置信得分高的预测框,即为检测框。
如图2-5所示,分别为目标表面正常图片、目标表面裂纹图像、目标表面螺钉腐蚀的图像、目标表面意外损害的图像。其中目标表面裂纹图像重,裂纹的区域较小,利用肉眼不易区分,但是细节部分与周围的区别度较大;目标表面螺钉腐蚀的图像,腐蚀后的螺钉图像与周围的区分度也较大;目标表面意外损害的图像,意外损害的图像可能存在像素值较少但与周围的区别度较大。这些图表面的纹理信息都比较明显。
如图7所示,每隔100次统计一次,由于前期数据不够导致精度不高,因此一开始的时候准确性会有较大的提高,随着次数的增多,精度提高的不多。最后精度会稳定在90%左右。
实施例2
参照图1-7,一种面向人机交互的目标表面缺陷检测方法,包括以下步骤:
S1:将图像纹理信息引入到YOLOv3卷积神经网络中;
由于目标缺陷部分的特征较为明显,因此引入图像纹理信息作为的YOLO V3的类别置信度,即使当目标原有的检测概率很低时,也可以把检测概率提升上去。
S2:根据预测框的置信度,设定置信度的干预阈值。
S3:当该阈值TC高于一定阈值T1,即Tc>T1时,不需要人的主观干预,T1=0.8;当该阈值TC低于一定阈值T3,即Tc<T3时,不需要人的主观干预,T3=0.3;当T3≤Tc≤T1时,需要人的主观干预;当干预时间Tt超过一定阈值Tt1,即Tt>Tt1时,自动进入下一次处理。
S4:对认为干预的样本按照图像和干预目标坐标统一保存,重新用于深度卷积神经网络的训练。
新增加的数据直接放入原本训练好的网络模型中训练,无需重新训练已有的数据。
如图2-5所示,分别为目标表面正常图片、目标表面裂纹图像、目标表面螺钉腐蚀的图像、目标表面意外损害的图像。其中目标表面裂纹图像重,裂纹的区域较小,利用肉眼不易区分,但是细节部分与周围的区别度较大;目标表面螺钉腐蚀的图像,腐蚀后的螺钉图像与周围的区分度也较大;目标表面意外损害的图像,意外损害的图像可能存在像素值较少但与周围的区别度较大。这些图表面的纹理信息都比较明显。
如图6所示,1为采集的图像区域;2为检测结果区域,此区域采用不同方框标注不同类型的数据,需要人干预的数据采用深色方框(中部),不需要人干预的数据采用浅色方框,在浅色方框区域范围内也可以人为调整,以提高准确性,对于Tt>Tt1的数据按照不同的文件夹进行分类,以提高后续的处理能力;3为检测区域的类型和概率,其中C为类型,L为所处类型的概率。
如图7所示,每隔100次统计一次,由于前期数据不够导致精度不高,因此一开始的时候准确性会有较大的提高,随着次数的增多,精度提高的不多。最后精度会稳定在90%左右。
以上,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (4)
1.一种面向人机交互的目标表面缺陷检测方法,其特征在于,包括以下步骤:
S1:将图像纹理信息引入到YOLOv3卷积神经网络中;
S2:根据预测框的置信度,设定置信度的干预阈值;
S3:当该阈值TC高于一定阈值T1,即Tc>T1时,不需要人的主观干预,T1=0.8;当该阈值TC低于一定阈值T3,即Tc<T3时,不需要人的主观干预,T3=0.3;当T3≤Tc≤T1时,需要人的主观干预;当干预时间Tt超过一定阈值Tt1,即Tt>Tt1时,自动进入下一次处理;
S4:对认为干预的样本,重新用于深度卷积神经网络的训练;
所述步骤S1中将图像纹理信息引入到YOLOv3卷积神经网络中的具体步骤为:
S11:YOLOv3将输入图像缩放至416×416,将图像划分为S×S个网格;每一网格负责预测目标中心落入该网格的目标,并计算出3个预测框;每一预测框对应5+C个值,C表示数据集中的类别总数,5代表预测边界框的属性信息:中心点坐标(x,y)、框的宽高尺寸(w,h)和置信度;
S12:网格预测的类别置信度得分中引入纹理信息为:
其中Pr(classi|object)为物体属于某一类的概率;Pr(object)为若有目标中心落入该网格,则Pr(object)=1,否则Pr(object)=0;为预测边界框与真实框的交并比,Texture为纹理信息;
S13:使用非极大值抑制算法筛选出置信得分高的预测框,即为检测框。
2.根据权利要求1所述的一种面向人机交互的目标表面缺陷检测方法,其特征在于,所述步骤S3中采用不同方框标注不同类型的数据,需要人干预的数据采用深色方框,不需要人干预的数据采用浅色方框,对于Tt>Tt1的数据按照不同的文件夹进行分类。
3.根据权利要求1所述的一种面向人机交互的目标表面缺陷检测方法,其特征在于,所述步骤S4中对认为干预的样本按照图像和干预目标坐标统一保存,重新用于深度卷积神经网络的训练。
4.根据权利要求1所述的一种面向人机交互的目标表面缺陷检测方法,其特征在于,所述步骤S3及步骤S4中新增加的数据直接放入原本训练好的网络模型中训练,无需重新训练已有的数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110103262.0A CN112581472B (zh) | 2021-01-26 | 2021-01-26 | 一种面向人机交互的目标表面缺陷检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110103262.0A CN112581472B (zh) | 2021-01-26 | 2021-01-26 | 一种面向人机交互的目标表面缺陷检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112581472A CN112581472A (zh) | 2021-03-30 |
CN112581472B true CN112581472B (zh) | 2022-09-02 |
Family
ID=75145172
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110103262.0A Active CN112581472B (zh) | 2021-01-26 | 2021-01-26 | 一种面向人机交互的目标表面缺陷检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112581472B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118130464A (zh) * | 2022-12-02 | 2024-06-04 | 华为技术有限公司 | 一种缺陷检测方法、装置及系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019223582A1 (en) * | 2018-05-24 | 2019-11-28 | Beijing Didi Infinity Technology And Development Co., Ltd. | Target detection method and system |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4095860B2 (ja) * | 2002-08-12 | 2008-06-04 | 株式会社日立ハイテクノロジーズ | 欠陥検査方法及びその装置 |
JP4710635B2 (ja) * | 2006-02-07 | 2011-06-29 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びに、プログラム |
WO2018208791A1 (en) * | 2017-05-08 | 2018-11-15 | Aquifi, Inc. | Systems and methods for inspection and defect detection using 3-d scanning |
CN110659657B (zh) * | 2018-06-29 | 2024-05-24 | 北京京东尚科信息技术有限公司 | 训练模型的方法和装置 |
CN109165665A (zh) * | 2018-07-06 | 2019-01-08 | 上海康斐信息技术有限公司 | 一种类别分析方法及系统 |
CN109064461A (zh) * | 2018-08-06 | 2018-12-21 | 长沙理工大学 | 一种基于深度学习网络的钢轨表面缺陷检测方法 |
WO2020068868A1 (en) * | 2018-09-24 | 2020-04-02 | Chad Steelberg | Object detection machine learning |
CN109543731A (zh) * | 2018-11-09 | 2019-03-29 | 江南大学 | 一种自训练框架下的三优选半监督回归算法 |
CN111401071A (zh) * | 2019-01-02 | 2020-07-10 | 百度在线网络技术(北京)有限公司 | 模型的训练方法、装置、计算机设备和可读存储介质 |
CN109934814B (zh) * | 2019-03-15 | 2022-02-01 | 英业达科技有限公司 | 表面缺陷侦测系统及其方法 |
CN110263934B (zh) * | 2019-05-31 | 2021-08-06 | 中国信息通信研究院 | 一种人工智能数据标注方法和装置 |
CN111210024B (zh) * | 2020-01-14 | 2023-09-15 | 深圳供电局有限公司 | 模型训练方法、装置、计算机设备和存储介质 |
CN111476756B (zh) * | 2020-03-09 | 2024-05-14 | 重庆大学 | 一种基于改进YOLOv3网络模型识别铸件DR图像疏松缺陷的方法 |
AU2020100705A4 (en) * | 2020-05-05 | 2020-06-18 | Chang, Jiaying Miss | A helmet detection method with lightweight backbone based on yolov3 network |
CN111881956B (zh) * | 2020-07-15 | 2023-05-12 | 北京市商汤科技开发有限公司 | 网络训练方法及装置、目标检测方法及装置和电子设备 |
CN112100425B (zh) * | 2020-09-17 | 2024-03-26 | 广州图普网络科技有限公司 | 基于人工智能的标签标注方法、装置、电子设备及介质 |
-
2021
- 2021-01-26 CN CN202110103262.0A patent/CN112581472B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019223582A1 (en) * | 2018-05-24 | 2019-11-28 | Beijing Didi Infinity Technology And Development Co., Ltd. | Target detection method and system |
Non-Patent Citations (2)
Title |
---|
Medical Images Texture Analysis: A Review;Shahabaz,et al;《2017 International Conference on Computer, Communications and Electronics (Comptelix)》;20170818;第436-441页 * |
一种基于纹理和颜色置信融合的运动目标检测方法;钟忺 等;《计算机应用研究》;20160802;第34卷(第7期);第2196-2201页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112581472A (zh) | 2021-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110059694B (zh) | 电力行业复杂场景下的文字数据的智能识别方法 | |
CN110060237B (zh) | 一种故障检测方法、装置、设备及系统 | |
JP6794737B2 (ja) | 情報処理装置、情報処理方法、プログラムおよび検査システム | |
CN110992329A (zh) | 一种产品表面缺陷检测方法、电子设备及可读存储介质 | |
CN111833306A (zh) | 缺陷检测方法和用于缺陷检测的模型训练方法 | |
CN113160192A (zh) | 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置 | |
CN111524137A (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
CN112308854B (zh) | 一种芯片表面瑕疵的自动检测方法、系统及电子设备 | |
CN113724231A (zh) | 一种基于语义分割和目标检测融合模型的工业缺陷检测方法 | |
CN107590512A (zh) | 一种模板匹配中参数的自适应方法和系统 | |
CN116740728B (zh) | 一种用于晶圆读码器动态获取方法和系统 | |
CN111753794A (zh) | 水果品质分类方法、装置、电子设备及可读存储介质 | |
US20220281177A1 (en) | Ai-powered autonomous 3d printer | |
CN111488808A (zh) | 基于交通违法图像数据的车道线检测方法 | |
CN114627089A (zh) | 缺陷识别方法、装置、计算机设备及计算机可读存储介质 | |
CN115272234A (zh) | 瓶盖质量检测方法、装置、计算机设备及存储介质 | |
CN112581472B (zh) | 一种面向人机交互的目标表面缺陷检测方法 | |
CN113205511B (zh) | 基于深层神经网络的电子元器件批量信息检测方法及系统 | |
CN116245882A (zh) | 电路板电子元件检测方法、装置及计算机设备 | |
CN117557565B (zh) | 一种锂电池极片的检测方法及其装置 | |
CN112561885B (zh) | 基于YOLOv4-tiny的插板阀开度检测方法 | |
CN116664540A (zh) | 基于高斯线检测的橡胶密封圈表面缺陷检测方法 | |
CN111583225A (zh) | 缺陷检测方法、装置及存储介质 | |
CN113470015B (zh) | 一种基于图像处理的水体晃动检测分析方法及系统 | |
JP6943381B1 (ja) | 情報処理装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |