CN106127780A - 一种曲面表面缺陷自动检测方法及其装置 - Google Patents
一种曲面表面缺陷自动检测方法及其装置 Download PDFInfo
- Publication number
- CN106127780A CN106127780A CN201610504224.5A CN201610504224A CN106127780A CN 106127780 A CN106127780 A CN 106127780A CN 201610504224 A CN201610504224 A CN 201610504224A CN 106127780 A CN106127780 A CN 106127780A
- Authority
- CN
- China
- Prior art keywords
- region
- defect
- image
- curved surface
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 85
- 238000012360 testing method Methods 0.000 title claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000003062 neural network model Methods 0.000 claims abstract description 10
- 230000033001 locomotion Effects 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000005286 illumination Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 230000008878 coupling Effects 0.000 claims description 4
- 238000010168 coupling process Methods 0.000 claims description 4
- 238000005859 coupling reaction Methods 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000007935 neutral effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000009347 mechanical transmission Effects 0.000 description 2
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 210000001215 vagina Anatomy 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 238000013316 zoning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种曲面表面缺陷自动检测方法及其装置,方法包括:(1)训练阶段:采集样本图像,构建训练集,对训练集中的图像进行人工缺陷识别,标注出所有缺陷出现的区域;针对训练集中的每一幅图像执行缺陷预定位步骤,得到所有缺陷可能出现的区域R;将R与人工标注出的所有缺陷出现的区域进行比对,根据二者的重合度划分负样本和正样本;根据正样本和负样本进行深度神经网络模型的离线训练,输出为缺陷区域的类别与具体坐标;(2)在线检测阶段:采集当前待检测曲面表面图像,执行缺陷预定位步骤,得到集合R,将集合R输入网络模型,得到缺陷区域的类别与具体坐标。本发明具有适应性高、实时性高、识别准确率高的优点。
Description
技术领域
本发明涉及图像处理与深度学习研究领域,特别涉及一种曲面表面缺陷自动检测方法及其装置。
背景技术
目前,工业领域对小曲面表面缺陷的自动检测主要采用如下算法:
一、提取图像特征,进行图像处理。这种方法一般是通过行业专家根据缺陷特点人工设计图像特征提取方法,然后与实时图像进行匹配;
二、采用反向传播神经网络方法,用人工设计的特征提取方法提取图像特征后送入神经网络的输入端,通过建立神经网络对图像是否有缺陷、缺陷类型等进行分类;
三、采用支持向量机等分类器对人工提取到的特征进行分类。
上述方法均有以下几个缺点:
1、均采用人工选取特征,可能因为人的主观判断不准确造成图像有用信息的丢失,导致识别准确率下降;
2、提取特征的方法过多依赖于参数的设定,而且适用性不强,对于不同类型的缺陷往往需要重新设定参数;
3、采用神经网络等分类器往往只能对整幅图像进行分类,无法对缺陷的位置进行精确定位,使得达不到在线检测的要求。
为此,寻求一种能够适应性高、实时性高、识别准确率高的曲面表面缺陷自动检测方法及其装置具有重要的实用价值。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足,提供一种曲面表面缺陷自动检测方法,该方法具有适应性高、实时性高、识别准确率高的优点。
本发明的另一目的在于提供一种用于实现上述曲面表面缺陷自动检测方法的装置,该装置操作容易、结构简单稳定。
本发明的目的通过以下的技术方案实现:一种曲面表面缺陷自动检测方法,包括步骤:
(1)训练阶段:采集样本图像,构建训练集,对训练集中的图像进行人工缺陷识别,标注出所有缺陷出现的区域;
针对训练集中的每一幅图像执行缺陷预定位步骤:
(1-1)计算图像中每个像素点与其相邻8个方向的像素点之间RGB空间3通道的欧式距离,将该欧式距离作为权值,每个权值代表该边连接的两个区域的不相似度,对每一条边做以下合并操作得到初始分割区域集R:只要两个区域间的类间差异大于任意一个区域的类内差异,就将其合并为一个新的区域,否则不合并;
(1-2)初始化区域间相似度集合S为空集;
(1-3)计算分割区域集R中每两个相邻区域的相似度,添加到集合S中;
(1-4)在集合S中找到相似度最高的值smax,合并该值对应的两个区域,将新合并的区域添加到集合R中,同时删除集合S中与该两个区域有关的所有相似度,再重新计算新分割区域集R的相似度;不断重复上述操作,直到集合S成为空集,最终所得集合R为所有缺陷可能出现的区域;
将训练集中每一幅图像得到的集合R与人工标注出的所有缺陷出现的区域进行比对,根据二者的重合度划分负样本和正样本;
将正样本和负样本作为输入,进行深度神经网络模型的离线训练,训练过程采用随机梯度下降方法,输出为缺陷区域的类别与具体坐标;
得到训练好的深度神经网络模型;
(2)在线检测阶段:采集当前待检测曲面表面图像,执行缺陷预定位步骤,得到集合R,将集合R输入训练好的深度神经网络模型,得到缺陷区域的类别与具体坐标。
优选的,根据样本图像构建训练集时,至少采用下述方法中的一种进行扩增:进行一次随机角度的旋转,一次平移,一次缩放,一次翻转,一次拉伸,一次裁剪。从而可以将采集的样本图像最大扩充6倍,以有效防止训练的过拟合。
更进一步的,所述旋转在0°~360°随机选取角度,所述平移是随机偏移-8到8个像素,所述缩放的缩放因子在1/1.5~1.5之间随机选取,所述翻转包括水平与垂直两个方向,所述拉伸是指将短边拉伸,拉伸因子在1/1.2~1.2之间随机选取,所述裁剪是人工选取目标区域部分。采用上述的参数进行扩增样本,后续训练得到的模型将更为准确。
优选的,在进行缺陷预定位前,计算训练集中所有图像三通道像素的平均值,然后将每一幅图像的三通道像素值减去上述每个通道的平均值,得到新的样本图像。通过上述处理,可以提高收敛速度。
更进一步的,在进行缺陷预定位前,随机打乱新的样本图像在训练集中的顺序。从而使建立的训练网络更准确。
具体的,所述类间差异定义为连接两个区域所有边中最小的权值,类内差异定义为区域内所有边中最大的权值加上限制系数其中s为区域内所有像素点的个数,k为分割阈值。
优选的,所述步骤(1-2)中,区域间相似度集合S采用的相似度包括颜色相似度、纹理相似度和大小相似度3种,其中:
颜色相似度将颜色灰度的范围均分为M个子区间,称为M bins,对区域a和b获取每个颜色通道Mbins的直方图,则区域a和b各得到一个3M维向量Ca,Cb;
纹理相似度先将图像转为灰度图,对区域a和区域b获取Nbins的梯度直方图,则区域a和区域b个得到一个N维向量Ta,Tb;
大小相似度s(a)为区域a包含像素点个数,s(b)为区域b包含像素点个数,s(im)为整幅图像包含像素点个数。
优选的,根据重合度划分负样本和正样本的步骤是:
重合度其中Sp为预定位区域面积,St为真实目标框面积,So为Sp和St重叠部分面积,重合度在0到50%的区域作为负样本,重合度在70%以上的区域作为正样本,其余的忽略。
优选的,在步骤(2)得到缺陷区域的类别与具体坐标后,采用非极大值抑制算法消除冗余目标框,确定缺陷区域的最佳位置。
一种用于实现上述曲面表面缺陷自动检测方法的装置,包括若干个相机,以及滑动台、底板座、电机、电机控制器、光源、光源控制器和上位机,每个相机对应固定在一三自由度相机支架上,三自由度相机支架、滑动台、光源、光源控制器均固定在底板座上,电机通过联轴器与滑动台固定连接,相机通过RJ45网络接口与上位机连接;在检测时,工件水平放置在滑动台上,上位机发送运动指令给电机控制器,电机控制器控制电机带动滑动台上的工件在相机拍摄视野的区域运动,由带光源控制器的光源为相机提供照明,从而获取清晰的工件待检曲面的全部图像。
优选的,所述装置包括两个工业相机,第一工业相机安装高于工件的水平面20cm~30cm,并向下与水平面呈30°~45°夹角,第二工业相机安装低于工件的水平面20cm~30cm,并向上与水平面呈30°~45°夹角。通过第一和第二两个不同角度的工业相机对工件的拍摄,保证拍摄视野完整覆盖待检测曲面。
本发明与现有技术相比,具有如下优点和有益效果:
1.本发明使用的金属小曲面缺陷自动检测装置能清晰快速地采集高质量的曲面缺陷图像,保证了采集图像的高清晰度。
2.本发明方法在样本准备过程中通过对缺陷样本做多种变换处理,扩增了数据量,同时一定程度地防止训练出现过拟合。
3.本发明方法基于图论的思想先预定位出缺陷区域,再对所有预定位的缺陷区域采用离线训练的网络模型进行识别,相比于整张图像进行检测,能提高识别准确率;同时网络结构在识别出缺陷类型的同时,也对区域中缺陷的位置进行更精确的定位。
4.本发明缺陷检测过程自动进行,无需人工进行参数设定,对不同的图像采集环境和不同类型的缺陷都有很强的适用性。
附图说明
图1是本实施例装置的硬件结构示意图;
图2是本实施例装置的框架图;
图3是本实施例方法的流程示意图;
图4是本实施例方法中训练阶段样本图像准备的流程图;
图5是本实施例方法中缺陷预定位算法的流程图;
图6是本实施例方法中网络训练算法的流程图;
图7是本实施例方法在线检测的工作流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例1
如图1所示,本实施例一种曲面表面缺陷自动检测装置,包括两个带有微焦距镜头的工业相机、两个三自由度相机支架和两个光源、一个滑动台、一个底板座和一个电机。其中三自由度相机支架3和滑动台6固定在底板座9上,电机7通过联轴器与滑动台6固定连接。工件5水平放置在滑动台6之上,当工件5在AB位置时,由固定在相机支架3上的工业相机1采集图像,当工件5运动到BC位置时,由工业相机2采集图像,带光源控制器10的面光源4为相机提供光照。工业相机1和2均通过RJ45网络接口与PC机(上位机)连接,电机7与PC机连接。工件5的阴影部分为曲率较小的弧形面,为使拍摄视野覆盖接近半圆的弧面,将工业相机1安装高于工件5的水平面20cm,并向下与水平面呈30°夹角,工业相机2安装低于工件5的水平面20cm,并向上与水平面呈30°夹角,通过两个角度的工业相机对工件在位置AB和位置BC上的拍摄,保证拍摄视野完整覆盖待检测曲面。
当AB段长度大于镜头的清晰对焦区半径r,则在AB段内进行n次拍摄,取n=AB/r,另使工件有100ms的静止拍摄时间。
检测的过程是PC机发送运动指令给电机控制器,控制电机带动滑动台上的工件在AB和BC区域运动,当检测到工件在AB区域停止运动,相机1采集图像并通过RJ45接口传回计算机,当检测到工件在BC区域停止运动,相机2采集图像并通过RJ45接口传回计算机,直至工件的AB和BC弧面均检测完毕。
图2示出本实施例装置按照功能,可以分为照明与成像部件、机械传动部件和PC机,其中照明与成像部件,包括面光源、光源控制器、工业相机和三自由度相机支架,每个相机对应固定在一三自由度相机支架上,三自由度相机支架、滑动台、光源、光源控制器均固定在底板座上,光源控制器通过电连接线与面光源连接,用于控制光源强度。机械传动部件,包括电机、电机控制器、滑动台和运动控制卡,电机通过联轴器与滑动台固定连接,电机控制器通过电连接线与电机连接,运动控制卡与电机控制器连接,运动控制卡通过PCI接口与PC机连接。
PC机中设有缺陷自动检测系统,该系统包括样本准备和网络训练两个离线模块,以及运动控制、图像采集、缺陷预定位和缺陷检测四个在线模块。照明与成像部件中的工业相机通过RJ45网络接口与PC机连接,采集在线图像;PC机通过运动控制模块与机械传动部件中的运动控制卡连接,控制电机起停、速度调整、方向变换等,带动滑动台上的工件运动。
图3是本实施例所述方法的主要工作流程图,包括离线的深度神经网络模型训练和在线进行自动缺陷检测两个主要步骤。训练阶段时,包括样本准备,执行缺陷预定位算法,将已获得多个预定位框的图像样本集同时输入给深度神经网络,进行深度神经网络模型的离线训练,然后将训练好的网络模型用于在线检测。在线检测的过程是首先在线采集工件小圆弧表面的图像,执行和离线训练时相同的缺陷预定位算法,再将已获得多个预定位框的单幅图像输入给深度神经网络,依次对图像中每一个预定位区域进行识别和分类,得到最终缺陷区域的坐标和缺陷类别,显示和输出检测结果。
图4是本实施例所述样本准备算法的流程图,包括以下步骤:
S1.采集20000张图像;当然,采集多少张图像,在实际应用中,本领域技术人员可以自行调整。
S2.采用以下方法进行图像数据集的扩增,人为地增加训练样本的数量,包括进行一次随机角度的旋转(在0°~360°随机选取角度),一次平移(随机偏移-8到8个像素),一次缩放(缩放因子在1/1.5到1.5倍随机选取),一次翻转(水平与垂直两个方向),一次拉伸(将短边拉伸,拉伸因子在1/1.2到1.2倍间随机选取),一次裁剪(人工选取目标区域部分),将图像数据集扩大六倍,以有效防止训练的过拟合;
S3.对上述图像数据集进行标注,在每一张图像上人工选取出所有缺陷的位置,并将位置的坐标和缺陷的类型保存至文本文件,且文本文件名和该图像命名一致;
S4.计算所有图像三通道像素的平均值,所有图像数据集训练样本都减去上述三通道像素的平均值,提高收敛速度;
S5.不重复地随机打乱所有数据集的图像顺序。
图5是本实施例所述缺陷预定位算法的流程图,包括以下步骤:
S1.将图像中每个像素点看成单一的区域,对每个像素点与其相邻8个方向的像素点分别计算它们的RGB空间3通道的欧式距离作为权值,每个权值代表该边连接的两个区域的不相似度,对每一条边做以下合并操作得到初始分割区域集R:只要两个区域间的类间差异大于任意一个区域的类内差异,就将其合并为一个新的区域,否则不合并。类间差异定义为连接两个区域所有边中最小的权值,类内差异定义为区域内所有边中最大的权值加上限制系数其中s为区域内所有像素点的个数,k为分割阈值,设为500;
S2.初始化区域间相似度集合S为空集,相似度定义包括颜色相似度、纹理相似度和大小相似度3种,其中:颜色相似度对区域a和b获取每个颜色通道25bins的直方图,则区域a和b各得到一个75维向量Ca,Cb;纹理相似度先将图像转为灰度图,对区域a和区域b获取8bins的梯度直方图,则区域a和区域b个得到一个8维向量Ta,Tb;大小相似度s(a)为区域a包含像素点个数,s(b)为区域b包含像素点个数,s(im)为整幅图像包含像素点个数;
S3.计算区域集R中每两个相邻区域的相似度,添加到集合S中;
S4.采在集合S中找到相似度最高的值smax,合并该值对应的两个区域,将新合并的区域添加到集合R中,同时删除S中与该两个区域有关的所有相似度,再重新计算新区域集合R的相似度,不断重复上述操作,直到集合S成为空集,所得集合R为所有缺陷可能出现的区域。
图6是本实施例离线网络训练算法的流程图,包括以下步骤:
S1.对已准备好的图像数据集调用上述缺陷预定位算法进行缺陷预定位得到每一张图像样本中比较多的缺陷预定位区域;
S2.计算这些区域和人工标注的缺陷真实目标框的重合度,重合度其中Sp为预定位区域面积,St为真实目标框面积,So为Sp和St重叠部分面积,重合度在0到50%的区域作为负样本,重合度在70%以上的区域作为正样本,其余的忽略;
S3.设置最大迭代次数为40000,学习率为0.001,每批次学习的图像数目为128;将正样本和负样本作为输入,进行深度神经网络模型的离线训练,输出为缺陷区域的类别与具体坐标;
S4.训练的过程采用随机梯度下降方法,不断缩小网络输出与期望的差距。
图7是本实施例在线检测系统流程图,包括以下步骤:
S1.初始化相机、机械传动部件,校准光强,相机调焦;
S2.控制电机运动到固定位置停止并采集图像;
S3.调用与离线执行中相同的缺陷预定位算法,进行缺陷预定位得到每一张待检测图像中比较多的缺陷预定位区域;
S4.调用深度神经网络模型对预定位区域进行分类与识别,输出缺陷区域的类别与具体坐标;
S5.采用非极大值抑制算法消除冗余目标框,确定缺陷区域的最佳位置。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (10)
1.一种曲面表面缺陷自动检测方法,其特征在于,包括步骤:
(1)训练阶段:采集样本图像,构建训练集,对训练集中的图像进行人工缺陷识别,标注出所有缺陷出现的区域;
针对训练集中的每一幅图像执行缺陷预定位步骤:
(1-1)计算图像中每个像素点与其相邻8个方向的像素点之间RGB空间3通道的欧式距离,将该欧式距离作为权值,每个权值代表该边连接的两个区域的不相似度,对每一条边做以下合并操作得到初始分割区域集R:只要两个区域间的类间差异大于任意一个区域的类内差异,就将其合并为一个新的区域,否则不合并;
(1-2)初始化区域间相似度集合S为空集;
(1-3)计算分割区域集R中每两个相邻区域的相似度,添加到集合S中;
(1-4)在集合S中找到相似度最高的值smax,合并该值对应的两个区域,将新合并的区域添加到集合R中,同时删除集合S中与该两个区域有关的所有相似度,再重新计算新分割区域集R的相似度;不断重复上述操作,直到集合S成为空集,最终所得集合R为所有缺陷可能出现的区域;
将训练集中每一幅图像得到的集合R与人工标注出的所有缺陷出现的区域进行比对,根据二者的重合度划分负样本和正样本;
将正样本和负样本作为输入,进行深度神经网络模型的离线训练,训练过程采用随机梯度下降方法,输出为缺陷区域的类别与具体坐标;
得到训练好的深度神经网络模型;
(2)在线检测阶段:采集当前待检测曲面表面图像,执行缺陷预定位步骤,得到集合R,将集合R输入训练好的深度神经网络模型,得到缺陷区域的类别与具体坐标。
2.根据权利要求1所述的曲面表面缺陷自动检测方法,其特征在于,根据样本图像构建训练集时,至少采用下述方法中的一种进行扩增:进行一次随机角度的旋转,一次平移,一次缩放,一次翻转,一次拉伸,一次裁剪。
3.根据权利要求2所述的曲面表面缺陷自动检测方法,其特征在于,所述旋转在0°~360°随机选取角度,所述平移是随机偏移-8到8个像素,所述缩放的缩放因子在1/1.5~1.5之间随机选取,所述翻转包括水平与垂直两个方向,所述拉伸是指将短边拉伸,拉伸因子在1/1.2~1.2之间随机选取,所述裁剪是人工选取目标区域部分。
4.根据权利要求1所述的曲面表面缺陷自动检测方法,其特征在于,在进行缺陷预定位前,计算训练集中所有图像三通道像素的平均值,然后将每一幅图像的三通道像素值减去上述每个通道的平均值,得到新的样本图像;
在进行缺陷预定位前,随机打乱新的样本图像在训练集中的顺序。
5.根据权利要求1所述的曲面表面缺陷自动检测方法,其特征在于,所述类间差异定义为连接两个区域所有边中最小的权值,类内差异定义为区域内所有边中最大的权值加上限制系数其中s为区域内所有像素点的个数,k为分割阈值。
6.根据权利要求1所述的曲面表面缺陷自动检测方法,其特征在于,所述步骤(1-2)中,区域间相似度集合S采用的相似度包括颜色相似度、纹理相似度和大小相似度3种,其中:
颜色相似度将颜色灰度的范围均分为M个子区间,称为Mbins,对区域a和b获取每个颜色通道Mbins的直方图,则区域a和b各得到一个3M维向量Ca,Cb;
纹理相似度先将图像转为灰度图,对区域a和区域b获取Nbins的梯度直方图,则区域a和区域b个得到一个N维向量Ta,Tb;
大小相似度s(a)为区域a包含像素点个数,s(b)为区域b包含像素点个数,s(im)为整幅图像包含像素点个数。
7.根据权利要求1所述的曲面表面缺陷自动检测方法,其特征在于,根据重合度划分负样本和正样本的步骤是:
重合度其中Sp为预定位区域面积,St为真实目标框面积,So为Sp和St重叠部分面积,重合度在0到50%的区域作为负样本,重合度在70%以上的区域作为正样本,其余的忽略。
8.根据权利要求1所述的曲面表面缺陷自动检测方法,其特征在于,在步骤(2)得到缺陷区域的类别与具体坐标后,采用非极大值抑制算法消除冗余目标框,确定缺陷区域的最佳位置。
9.一种用于实现权利要求1-8任一项所述的曲面表面缺陷自动检测方法的装置,其特征在于,包括若干个相机,以及滑动台、底板座、电机、电机控制器、光源、光源控制器和上位机,每个相机对应固定在一三自由度相机支架上,三自由度相机支架、滑动台、光源、光源控制器均固定在底板座上,电机通过联轴器与滑动台固定连接,相机通过RJ45网络接口与上位机连接;在检测时,工件水平放置在滑动台上,上位机发送运动指令给电机控制器,电机控制器控制电机带动滑动台上的工件在相机拍摄视野的区域运动,由带光源控制器的光源为相机提供照明,从而获取清晰的工件待检曲面的全部图像。
10.根据权利要求9所述的装置,其特征在于,所述装置包括两个工业相机,第一工业相机安装高于工件的水平面20cm~30cm,并向下与水平面呈30°~45°夹角,第二工业相机安装低于工件的水平面20cm~30cm,并向上与水平面呈30°~45°夹角。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610504224.5A CN106127780B (zh) | 2016-06-28 | 2016-06-28 | 一种曲面表面缺陷自动检测方法及其装置 |
SG11201811381UA SG11201811381UA (en) | 2016-06-28 | 2016-12-07 | A method for defect inspection on arc surfaces and its device |
PCT/CN2016/108866 WO2018000731A1 (zh) | 2016-06-28 | 2016-12-07 | 一种曲面表面缺陷自动检测方法及其装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610504224.5A CN106127780B (zh) | 2016-06-28 | 2016-06-28 | 一种曲面表面缺陷自动检测方法及其装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106127780A true CN106127780A (zh) | 2016-11-16 |
CN106127780B CN106127780B (zh) | 2019-01-18 |
Family
ID=57467635
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610504224.5A Expired - Fee Related CN106127780B (zh) | 2016-06-28 | 2016-06-28 | 一种曲面表面缺陷自动检测方法及其装置 |
Country Status (3)
Country | Link |
---|---|
CN (1) | CN106127780B (zh) |
SG (1) | SG11201811381UA (zh) |
WO (1) | WO2018000731A1 (zh) |
Cited By (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106778633A (zh) * | 2016-12-19 | 2017-05-31 | 江苏慧眼数据科技股份有限公司 | 一种基于区域分割的行人识别方法 |
CN107392896A (zh) * | 2017-07-14 | 2017-11-24 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于深度学习的木材缺陷检测方法和系统 |
WO2018000731A1 (zh) * | 2016-06-28 | 2018-01-04 | 华南理工大学 | 一种曲面表面缺陷自动检测方法及其装置 |
CN107862692A (zh) * | 2017-11-30 | 2018-03-30 | 中山大学 | 一种基于卷积神经网络的织带断痕缺陷检测方法 |
CN108074231A (zh) * | 2017-12-18 | 2018-05-25 | 浙江工业大学 | 一种基于卷积神经网络的磁片表面缺陷检测方法 |
CN108389197A (zh) * | 2018-02-26 | 2018-08-10 | 上海赛特斯信息科技股份有限公司 | 基于深度学习的输电线路缺陷检测方法 |
CN108734185A (zh) * | 2017-04-18 | 2018-11-02 | 北京京东尚科信息技术有限公司 | 图像校验方法和装置 |
CN108830837A (zh) * | 2018-05-25 | 2018-11-16 | 北京百度网讯科技有限公司 | 一种用于检测钢包溶蚀缺陷的方法和装置 |
CN108898188A (zh) * | 2018-07-06 | 2018-11-27 | 四川奇迹云科技有限公司 | 一种图像数据集辅助标记系统及方法 |
CN109242820A (zh) * | 2017-07-10 | 2019-01-18 | 发那科株式会社 | 机器学习装置、检查装置以及机器学习方法 |
CN109461141A (zh) * | 2018-10-10 | 2019-03-12 | 重庆大学 | 一种工件缺胶检测方法 |
CN109472769A (zh) * | 2018-09-26 | 2019-03-15 | 成都数之联科技有限公司 | 一种不良图像缺陷检测方法和系统 |
CN109584206A (zh) * | 2018-10-19 | 2019-04-05 | 中国科学院自动化研究所 | 零件表面瑕疵检测中神经网络的训练样本的合成方法 |
CN109685756A (zh) * | 2017-10-16 | 2019-04-26 | 乐达创意科技有限公司 | 影像特征自动辨识装置、系统及方法 |
CN109829907A (zh) * | 2019-01-31 | 2019-05-31 | 浙江工业大学 | 一种基于深度学习的金属轴表面缺陷识别方法 |
CN109871859A (zh) * | 2018-09-28 | 2019-06-11 | 北京矩视智能科技有限公司 | 一种自动生成图像训练集系统 |
CN109978074A (zh) * | 2019-04-04 | 2019-07-05 | 山东财经大学 | 基于深度多任务学习的图像美感和情感联合分类方法及系统 |
CN110033035A (zh) * | 2019-04-04 | 2019-07-19 | 武汉精立电子技术有限公司 | 一种基于强化学习的aoi缺陷分类方法及装置 |
CN110135456A (zh) * | 2019-04-08 | 2019-08-16 | 图麟信息科技(上海)有限公司 | 一种目标检测模型的训练方法及装置 |
CN110175982A (zh) * | 2019-04-16 | 2019-08-27 | 浙江大学城市学院 | 一种基于目标检测的缺陷检测方法 |
CN110208284A (zh) * | 2019-05-27 | 2019-09-06 | 武汉中导光电设备有限公司 | 一种多通道缺陷合并分析的方法及系统 |
CN110287843A (zh) * | 2019-06-18 | 2019-09-27 | 清华大学深圳研究生院 | 一种文物指纹区域选定方法 |
CN110390677A (zh) * | 2019-09-17 | 2019-10-29 | 成都数之联科技有限公司 | 一种基于滑动自匹配的缺陷定位方法及系统 |
CN110619600A (zh) * | 2019-09-17 | 2019-12-27 | 南京旷云科技有限公司 | 神经网络模型训练方法及装置、存储介质及电子设备 |
CN111161233A (zh) * | 2019-12-25 | 2020-05-15 | 武汉科技大学 | 一种用于冲孔皮革缺陷检测方法及系统 |
CN111507961A (zh) * | 2019-06-19 | 2020-08-07 | 住华科技股份有限公司 | 缺陷判断训练方法及其的系统及缺陷判断方法及其的系统 |
CN111805541A (zh) * | 2020-07-08 | 2020-10-23 | 南京航空航天大学 | 一种基于深度学习的中药饮片净选装置及净选方法 |
CN111915581A (zh) * | 2020-07-27 | 2020-11-10 | 青岛大学 | 一种金属光滑弧面缺陷检测方法 |
CN112001906A (zh) * | 2020-08-24 | 2020-11-27 | 江苏徐工信息技术股份有限公司 | 一种结合非极大值抑制的钢板焊缝图像检测方法 |
CN112070727A (zh) * | 2020-08-21 | 2020-12-11 | 电子科技大学 | 一种基于机器学习的金属表面缺陷检测方法 |
CN112164050A (zh) * | 2020-09-28 | 2021-01-01 | 华南理工大学 | 用于流水线上产品表面缺陷的检测方法、设备及存储介质 |
CN112288711A (zh) * | 2020-10-28 | 2021-01-29 | 浙江华云清洁能源有限公司 | 无人机巡检影像缺陷图像识别方法、装置、设备及介质 |
CN112700446A (zh) * | 2021-03-23 | 2021-04-23 | 常州微亿智造科技有限公司 | 用于工业质检的算法模型训练方法和装置 |
CN112766481A (zh) * | 2020-03-13 | 2021-05-07 | 腾讯科技(深圳)有限公司 | 神经网络模型的训练方法、装置及图像检测的方法 |
CN112884057A (zh) * | 2021-03-04 | 2021-06-01 | 晶仁光电科技(苏州)有限公司 | 基于点云数据的三维曲面质量分类方法、系统及存储介质 |
CN113012128A (zh) * | 2021-03-18 | 2021-06-22 | 长鑫存储技术有限公司 | 缺陷表征方法和装置 |
CN113030108A (zh) * | 2021-03-08 | 2021-06-25 | 哈尔滨工程大学 | 一种基于机器视觉的涂层缺陷检测系统与方法 |
CN113077481A (zh) * | 2021-03-29 | 2021-07-06 | 上海闻泰信息技术有限公司 | 一种图像处理方法、装置、计算机设备和存储介质 |
TWI745767B (zh) * | 2019-10-18 | 2021-11-11 | 汎思數據股份有限公司 | 光學檢測二次圖像分類方法 |
CN113658121A (zh) * | 2021-08-09 | 2021-11-16 | 国能榆林能源有限责任公司 | 一种线路缺陷检测方法、系统及计算机存储介质 |
CN113808067A (zh) * | 2020-06-11 | 2021-12-17 | 广东美的白色家电技术创新中心有限公司 | 电路板检测方法、视觉检测设备及具有存储功能的装置 |
CN114199879A (zh) * | 2021-11-23 | 2022-03-18 | 北京科技大学 | 一种冷轧带钢表面聚集型缺陷的识别方法 |
CN114595757A (zh) * | 2022-03-04 | 2022-06-07 | 浙江科技学院 | 一种用于灌装输液瓶生产的质量检测系统 |
CN115953409A (zh) * | 2023-03-15 | 2023-04-11 | 深圳市深奇浩实业有限公司 | 基于图像处理的注塑件表面缺陷检测方法 |
Families Citing this family (91)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108510001B (zh) * | 2018-04-04 | 2022-06-10 | 北京交通大学 | 一种风力发电机叶片缺陷分类方法及其分类系统 |
CN108362701A (zh) * | 2018-05-18 | 2018-08-03 | 西安获德图像技术有限公司 | 一种化纤丝饼外观自动检测系统 |
CN109191367B (zh) * | 2018-08-02 | 2023-06-16 | 哈尔滨理工大学 | 刀具磨损图像的拼接方法及刀具的寿命预测方法 |
CN109085181A (zh) * | 2018-09-14 | 2018-12-25 | 河北工业大学 | 一种用于管路连接件的表面缺陷检测装置及检测方法 |
CN109085179A (zh) * | 2018-09-17 | 2018-12-25 | 周口师范学院 | 一种木板表面缺陷检测装置及检测方法 |
CN109444172A (zh) * | 2018-12-13 | 2019-03-08 | 苏州卓融新能源科技有限公司 | 一种适用于人工智能检测pcb的自动光学检测装置及其方法 |
CN109934818B (zh) * | 2019-03-21 | 2022-10-25 | 大连大学 | 一种果实外部轮廓畸形检测方法 |
CN109916856B (zh) * | 2019-03-28 | 2024-01-19 | 吉首大学 | 顶针表面缺陷视频检测分选装置及分选方法 |
CN111768357B (zh) * | 2019-03-29 | 2024-03-01 | 银河水滴科技(北京)有限公司 | 一种图像检测的方法及装置 |
CN111833289B (zh) * | 2019-04-12 | 2024-05-17 | 阿里巴巴集团控股有限公司 | 缺陷识别方法、装置和设备 |
CN110033451A (zh) * | 2019-04-17 | 2019-07-19 | 国网山西省电力公司电力科学研究院 | 一种基于ssd架构的电力部件缺陷检测方法 |
CN110163265B (zh) * | 2019-04-30 | 2024-08-09 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置及计算机设备 |
CN110111331B (zh) * | 2019-05-20 | 2023-06-06 | 中南大学 | 基于机器视觉的蜂窝纸芯缺陷检测方法 |
CN110335255B (zh) * | 2019-06-14 | 2023-04-18 | 华南农业大学 | 一种水坝斜坡裂缝检测方法及仿生壁虎爬行检测装置 |
CN110458019B (zh) * | 2019-07-10 | 2023-03-24 | 哈尔滨工程大学 | 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法 |
CN110599445A (zh) * | 2019-07-24 | 2019-12-20 | 安徽南瑞继远电网技术有限公司 | 一种电网螺母和销的目标鲁棒检测与缺陷识别方法及装置 |
CN110443791B (zh) * | 2019-08-02 | 2023-04-07 | 西安工程大学 | 一种基于深度学习网络的工件检测方法及其检测装置 |
CN110363254B (zh) * | 2019-08-12 | 2024-02-02 | 河北工业大学 | 用于曲轴柔性生产线的零件种类快速识别装置 |
CN110930383A (zh) * | 2019-11-20 | 2020-03-27 | 佛山市南海区广工大数控装备协同创新研究院 | 基于深度学习语义分割和图像分类的注射器缺陷检测方法 |
CN111105391B (zh) * | 2019-11-20 | 2023-05-02 | 复旦大学 | 一种基于深度神经网络增广训练的表面缺陷检测方法 |
CN111080582B (zh) * | 2019-12-02 | 2023-06-02 | 易思维(杭州)科技有限公司 | 工件内外表面缺陷检测方法 |
CN111047576B (zh) * | 2019-12-12 | 2023-05-09 | 珠海博明视觉科技有限公司 | 一种表面缺陷样本生成工具 |
CN111179225B (zh) * | 2019-12-14 | 2022-02-01 | 西安交通大学 | 一种基于灰度梯度聚类的试纸表面纹理缺陷检测方法 |
CN110969620A (zh) * | 2019-12-19 | 2020-04-07 | 中国农业大学 | 一种磁瓦波纹类缺陷的检测方法及装置 |
CN111144270B (zh) * | 2019-12-23 | 2023-05-05 | 智慧神州(北京)科技有限公司 | 基于神经网络的手写文本工整度的评测方法与评测装置 |
CN111127429B (zh) * | 2019-12-24 | 2023-06-06 | 河北鹰眼智能科技有限公司 | 基于自训练深度神经网络的水利系统管螺纹缺陷检测方法 |
CN111080638B (zh) * | 2019-12-27 | 2023-04-07 | 成都泓睿科技有限责任公司 | 一种检测模制瓶瓶底脏污的方法 |
CN111145164A (zh) * | 2019-12-30 | 2020-05-12 | 上海感图网络科技有限公司 | 一种基于人工智能的ic芯片缺陷检测方法 |
CN111292228B (zh) * | 2020-01-16 | 2023-08-11 | 宁波舜宇仪器有限公司 | 镜头缺陷检测方法 |
CN113240618A (zh) * | 2020-01-23 | 2021-08-10 | 株式会社理光 | 工件检测方法、装置及计算机可读存储介质 |
CN111402220B (zh) * | 2020-03-11 | 2023-06-09 | 北京百度网讯科技有限公司 | 用于获取信息的方法及装置 |
CN111598863B (zh) * | 2020-05-13 | 2023-08-22 | 北京阿丘机器人科技有限公司 | 缺陷检测方法、装置、设备及可读存储介质 |
CN111753877B (zh) * | 2020-05-19 | 2024-03-05 | 海克斯康制造智能技术(青岛)有限公司 | 一种基于深度神经网络迁移学习的产品质量检测方法 |
CN111626995B (zh) * | 2020-05-19 | 2024-03-01 | 上海艾豚科技有限公司 | 一种针对工件的智能嵌件检测方法和装置 |
CN111667475B (zh) * | 2020-06-09 | 2023-04-18 | 陕西科技大学 | 一种基于机器视觉的大枣分级检测方法 |
CN111681232B (zh) * | 2020-06-10 | 2023-03-10 | 厦门理工学院 | 基于语义分割的工业焊接图像缺陷的检测方法 |
CN111729860B (zh) * | 2020-06-18 | 2024-07-23 | 杭州晶耐科光电技术有限公司 | 一种洗衣机外观缺陷在线自动化检测系统及方法 |
CN111814867B (zh) * | 2020-07-03 | 2024-06-18 | 浙江大华技术股份有限公司 | 缺陷检测模型的训练方法、缺陷检测方法及相关装置 |
CN111784684B (zh) * | 2020-07-13 | 2023-12-01 | 合肥市商巨智能装备有限公司 | 基于激光辅助的透明产品内部缺陷定深检测方法及装置 |
CN111798447B (zh) * | 2020-07-18 | 2023-03-10 | 太原理工大学 | 一种基于Faster RCNN的深度学习塑化材料缺陷检测方法 |
CN112270663B (zh) * | 2020-10-27 | 2023-11-24 | 北京京能东方建设工程有限公司 | 基于蜂巢网络环境的沥青路面过筛修复系统 |
CN112304974A (zh) * | 2020-11-06 | 2021-02-02 | 长沙麦睛科技有限公司 | 一种使用人工智能检测复杂表面同轴类圆柱体产品缺陷的装置及方法 |
CN112419287B (zh) * | 2020-11-27 | 2024-05-28 | 杭州鲁尔物联科技有限公司 | 一种建筑挠度确定方法、装置及电子设备 |
CN112581434A (zh) * | 2020-12-07 | 2021-03-30 | 无锡智创云图信息科技有限公司 | 一种用于产品缺陷检测的图像识别方法 |
CN112750102B (zh) * | 2020-12-16 | 2023-03-24 | 华南理工大学 | 一种基于图像处理的焊点定位方法和系统 |
CN112734693B (zh) * | 2020-12-18 | 2024-06-07 | 平安科技(深圳)有限公司 | 一种管道焊缝缺陷检测方法及相关装置 |
CN112561904A (zh) * | 2020-12-24 | 2021-03-26 | 凌云光技术股份有限公司 | 一种降低显示屏外观aoi缺陷误检率的方法及系统 |
CN112763512A (zh) * | 2020-12-30 | 2021-05-07 | 苏州江奥光电科技有限公司 | 一种电子器件字符缺陷检测装置和方法 |
CN112730459B (zh) * | 2021-02-05 | 2023-01-24 | 北京嘉恒中自图像技术有限公司 | 基于多角度光源拍摄图像的轴承内圈端面缺陷检测方法 |
CN113362276B (zh) * | 2021-04-26 | 2024-05-10 | 广东大自然家居科技研究有限公司 | 板材视觉检测方法及系统 |
CN113155851A (zh) * | 2021-04-30 | 2021-07-23 | 西安交通大学 | 基于深度学习的覆铜板表面缺陷视觉在线检测方法及装置 |
CN113269731A (zh) * | 2021-05-13 | 2021-08-17 | 苏州迪宏人工智能科技有限公司 | 一种缺陷检测方法及系统 |
CN113237888B (zh) * | 2021-05-21 | 2022-06-14 | 哈尔滨工业大学 | 大口径光学元件损伤点在线与离线暗场图像匹配方法 |
CN113421223B (zh) * | 2021-05-26 | 2022-07-05 | 福州大学 | 基于深度学习和高斯混合的工业产品表面缺陷检测方法 |
CN113362302B (zh) * | 2021-06-03 | 2023-04-07 | 西南交通大学 | 一种基于图像识别的地铁列车电气箱盖的故障检测方法 |
CN113450316B (zh) * | 2021-06-09 | 2022-03-22 | 广州大学 | 一种金属表面字符缺陷检测方法、系统、装置及存储介质 |
CN113469984B (zh) * | 2021-07-13 | 2023-06-02 | 厦门福信光电集成有限公司 | 一种基于yolo结构的显示面板外观检测方法 |
CN113592852A (zh) * | 2021-08-16 | 2021-11-02 | 南京耘瞳科技有限公司 | 一种碳纤维碳丝质量在线检测系统和方法 |
CN113706490B (zh) * | 2021-08-19 | 2024-01-12 | 中科苏州智能计算技术研究院 | 一种晶片缺陷检测方法 |
CN113888506B (zh) * | 2021-09-30 | 2023-05-05 | 电子科技大学 | 基于深度分割网络的包覆药形状缺陷检测算法 |
CN113642680B (zh) * | 2021-10-13 | 2022-02-08 | 常州微亿智造科技有限公司 | 边缘合成及超球体软拟合缺陷检测方法 |
CN114062393A (zh) * | 2021-11-17 | 2022-02-18 | 宜宾显微智能科技有限公司 | 一种基于深度学习显微字符识别与缺陷检测系统及方法 |
CN114425719B (zh) * | 2021-12-15 | 2023-12-26 | 哈尔滨理工大学 | 一种基于ccd相机的球头铣刀检测装置及铣刀检测方法 |
CN114399473A (zh) * | 2021-12-29 | 2022-04-26 | 北京智立质升科技有限责任公司 | 一种应用于工业生产的缺陷样本图像采集装置 |
CN114529507B (zh) * | 2021-12-30 | 2024-05-17 | 广西慧云信息技术有限公司 | 一种基于视觉Transformer的刨花板表面缺陷检测方法 |
CN114511534B (zh) * | 2022-01-28 | 2023-05-05 | 江苏泰和木业有限公司 | 一种基于图像处理的pc板裂纹判断方法及系统 |
CN114594101B (zh) * | 2022-02-08 | 2024-06-25 | 厦门聚视智创科技有限公司 | 一种判断表面缺陷显性程度的方法 |
CN114972216B (zh) * | 2022-05-10 | 2024-09-06 | 华中科技大学 | 一种纹理表面缺陷检测模型的构建方法及其应用 |
CN114882387B (zh) * | 2022-07-12 | 2022-09-16 | 江苏宝诺铸造有限公司 | 一种磨削工艺中轴承滚道撞伤识别及自动抛光定位方法 |
CN115060743B (zh) * | 2022-08-11 | 2022-11-01 | 南通华钛电子科技有限公司 | 一种pcb分区分频缺陷监测方法及系统 |
CN115456956B (zh) * | 2022-08-19 | 2024-05-28 | 浙江华周智能装备有限公司 | 一种液晶屏划痕检测方法、设备及存储介质 |
CN115222732B (zh) * | 2022-09-15 | 2022-12-09 | 惠民县黄河先进技术研究院 | 一种基于大数据分析和色差检测的注塑工艺异常检测方法 |
CN115471482B (zh) * | 2022-09-20 | 2023-05-30 | 重庆理工大学 | 基于计算机视觉的小口径容器内壁缺陷检测方法 |
CN115684175A (zh) * | 2022-10-20 | 2023-02-03 | 河南科技大学 | 一种轴承滚子端面外观分选方法及系统 |
CN115496755B (zh) * | 2022-11-16 | 2023-02-14 | 南京云创大数据科技股份有限公司 | 基于结构光及梯度分析的类镜面缺陷检测方法及装置 |
CN116051541B (zh) * | 2023-03-06 | 2023-07-18 | 杭州深度视觉科技有限公司 | 基于频闪光源的轴承端面平缓磨伤检测方法及装置 |
CN116309553B (zh) * | 2023-05-12 | 2023-07-28 | 东莞市希锐自动化科技股份有限公司 | 一种非平面电镀五金件电镀缺陷检测方法 |
CN116309602B (zh) * | 2023-05-24 | 2023-08-04 | 济南章力机械有限公司 | 基于机器视觉的数控钻铣床工作状态检测方法 |
CN116644667B (zh) * | 2023-06-05 | 2024-05-28 | 江苏迅兴重工设备有限公司 | 一种基于大数据处理的钢结构焊接工艺优化方法及系统 |
CN116797561B (zh) * | 2023-06-05 | 2024-02-09 | 江苏迅兴重工设备有限公司 | 一种钢结构焊接质量检测方法 |
CN116433659B (zh) * | 2023-06-09 | 2023-08-29 | 山东高速工程检测有限公司 | 一种三段式道路缺陷图像处理方法 |
CN116630813B (zh) * | 2023-07-24 | 2023-09-26 | 青岛奥维特智能科技有限公司 | 一种公路路面施工质量智能检测系统 |
CN116630332B (zh) * | 2023-07-26 | 2023-09-26 | 山东华航高分子材料有限公司 | 一种基于图像处理的pvc塑料管口缺陷检测方法 |
CN116863175B (zh) * | 2023-08-31 | 2023-12-26 | 中江立江电子有限公司 | 一种直角连接器缺陷识别方法、装置、设备及介质 |
CN116823840B (zh) * | 2023-08-31 | 2023-12-19 | 星璟材料科技(南通)有限公司 | 一种基于图像处理的复合材料缺陷检测方法及系统 |
CN117173166B (zh) * | 2023-11-02 | 2023-12-26 | 江苏裕荣光电科技有限公司 | 一种光缆表面缺陷检测方法 |
CN117252876B (zh) * | 2023-11-17 | 2024-02-09 | 江西斯迈得半导体有限公司 | 一种led支架缺陷检测方法及系统 |
CN117291922B (zh) * | 2023-11-27 | 2024-01-30 | 浙江日井泵业股份有限公司 | 一种不锈钢多级泵叶轮缺陷视觉检测方法 |
CN117593303B (zh) * | 2024-01-18 | 2024-04-09 | 浙江锦德光电材料有限公司 | 一种量子点光学膜的缺陷检测方法及系统 |
CN117853481B (zh) * | 2024-03-04 | 2024-05-24 | 枣庄矿业集团新安煤业有限公司 | 一种零速度乘人装置的直线导轨表面缺陷测量方法 |
CN118470012B (zh) * | 2024-07-11 | 2024-09-06 | 山东声通信息科技有限公司 | 一种图像处理目标物品细节纹理缺陷检测方法、系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11118727A (ja) * | 1997-10-17 | 1999-04-30 | Horiba Ltd | 表面欠陥検査装置 |
JP2008051558A (ja) * | 2006-08-22 | 2008-03-06 | Sharp Corp | 外観検査方法及び外観検査装置 |
CN104850858A (zh) * | 2015-05-15 | 2015-08-19 | 华中科技大学 | 一种注塑制品缺陷检测识别方法 |
CN104977313A (zh) * | 2014-04-09 | 2015-10-14 | 四川省特种设备检验研究院 | 一种焊缝x射线图像缺陷检测与识别方法和装置 |
CN105095581A (zh) * | 2015-07-22 | 2015-11-25 | 华南理工大学 | 一种铸造缩孔缺陷图像生成方法 |
CN105118044A (zh) * | 2015-06-16 | 2015-12-02 | 华南理工大学 | 一种轮形铸造产品缺陷自动检测方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3044915B2 (ja) * | 1992-05-18 | 2000-05-22 | 富士通株式会社 | ニューラルネットワークによる色補正,色座標変換方法 |
CN101424645B (zh) * | 2008-11-20 | 2011-04-20 | 上海交通大学 | 基于机器视觉的焊球表面缺陷检测装置与方法 |
CN102663344A (zh) * | 2012-03-04 | 2012-09-12 | 南京理工大学常熟研究院有限公司 | 基于图像分割的破损道路检测装置 |
CN106127780B (zh) * | 2016-06-28 | 2019-01-18 | 华南理工大学 | 一种曲面表面缺陷自动检测方法及其装置 |
CN205844213U (zh) * | 2016-06-28 | 2016-12-28 | 华南理工大学 | 一种曲面表面缺陷自动检测装置 |
-
2016
- 2016-06-28 CN CN201610504224.5A patent/CN106127780B/zh not_active Expired - Fee Related
- 2016-12-07 SG SG11201811381UA patent/SG11201811381UA/en unknown
- 2016-12-07 WO PCT/CN2016/108866 patent/WO2018000731A1/zh active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11118727A (ja) * | 1997-10-17 | 1999-04-30 | Horiba Ltd | 表面欠陥検査装置 |
JP2008051558A (ja) * | 2006-08-22 | 2008-03-06 | Sharp Corp | 外観検査方法及び外観検査装置 |
CN104977313A (zh) * | 2014-04-09 | 2015-10-14 | 四川省特种设备检验研究院 | 一种焊缝x射线图像缺陷检测与识别方法和装置 |
CN104850858A (zh) * | 2015-05-15 | 2015-08-19 | 华中科技大学 | 一种注塑制品缺陷检测识别方法 |
CN105118044A (zh) * | 2015-06-16 | 2015-12-02 | 华南理工大学 | 一种轮形铸造产品缺陷自动检测方法 |
CN105095581A (zh) * | 2015-07-22 | 2015-11-25 | 华南理工大学 | 一种铸造缩孔缺陷图像生成方法 |
Cited By (64)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018000731A1 (zh) * | 2016-06-28 | 2018-01-04 | 华南理工大学 | 一种曲面表面缺陷自动检测方法及其装置 |
CN106778633B (zh) * | 2016-12-19 | 2020-07-07 | 江苏慧眼数据科技股份有限公司 | 一种基于区域分割的行人识别方法 |
CN106778633A (zh) * | 2016-12-19 | 2017-05-31 | 江苏慧眼数据科技股份有限公司 | 一种基于区域分割的行人识别方法 |
CN108734185B (zh) * | 2017-04-18 | 2022-01-04 | 北京京东尚科信息技术有限公司 | 图像校验方法和装置 |
CN108734185A (zh) * | 2017-04-18 | 2018-11-02 | 北京京东尚科信息技术有限公司 | 图像校验方法和装置 |
CN109242820B (zh) * | 2017-07-10 | 2021-06-08 | 发那科株式会社 | 机器学习装置、检查装置以及机器学习方法 |
CN109242820A (zh) * | 2017-07-10 | 2019-01-18 | 发那科株式会社 | 机器学习装置、检查装置以及机器学习方法 |
CN107392896A (zh) * | 2017-07-14 | 2017-11-24 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于深度学习的木材缺陷检测方法和系统 |
CN107392896B (zh) * | 2017-07-14 | 2019-11-08 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于深度学习的木材缺陷检测方法和系统 |
CN109685756A (zh) * | 2017-10-16 | 2019-04-26 | 乐达创意科技有限公司 | 影像特征自动辨识装置、系统及方法 |
CN107862692A (zh) * | 2017-11-30 | 2018-03-30 | 中山大学 | 一种基于卷积神经网络的织带断痕缺陷检测方法 |
CN108074231A (zh) * | 2017-12-18 | 2018-05-25 | 浙江工业大学 | 一种基于卷积神经网络的磁片表面缺陷检测方法 |
CN108074231B (zh) * | 2017-12-18 | 2020-04-21 | 浙江工业大学 | 一种基于卷积神经网络的磁片表面缺陷检测方法 |
CN108389197A (zh) * | 2018-02-26 | 2018-08-10 | 上海赛特斯信息科技股份有限公司 | 基于深度学习的输电线路缺陷检测方法 |
CN108389197B (zh) * | 2018-02-26 | 2022-02-08 | 上海赛特斯信息科技股份有限公司 | 基于深度学习的输电线路缺陷检测方法 |
CN108830837A (zh) * | 2018-05-25 | 2018-11-16 | 北京百度网讯科技有限公司 | 一种用于检测钢包溶蚀缺陷的方法和装置 |
CN108898188A (zh) * | 2018-07-06 | 2018-11-27 | 四川奇迹云科技有限公司 | 一种图像数据集辅助标记系统及方法 |
CN109472769A (zh) * | 2018-09-26 | 2019-03-15 | 成都数之联科技有限公司 | 一种不良图像缺陷检测方法和系统 |
CN109871859A (zh) * | 2018-09-28 | 2019-06-11 | 北京矩视智能科技有限公司 | 一种自动生成图像训练集系统 |
CN109461141A (zh) * | 2018-10-10 | 2019-03-12 | 重庆大学 | 一种工件缺胶检测方法 |
CN109584206B (zh) * | 2018-10-19 | 2021-07-06 | 中国科学院自动化研究所 | 零件表面瑕疵检测中神经网络的训练样本的合成方法 |
CN109584206A (zh) * | 2018-10-19 | 2019-04-05 | 中国科学院自动化研究所 | 零件表面瑕疵检测中神经网络的训练样本的合成方法 |
CN109829907A (zh) * | 2019-01-31 | 2019-05-31 | 浙江工业大学 | 一种基于深度学习的金属轴表面缺陷识别方法 |
CN109978074A (zh) * | 2019-04-04 | 2019-07-05 | 山东财经大学 | 基于深度多任务学习的图像美感和情感联合分类方法及系统 |
CN110033035A (zh) * | 2019-04-04 | 2019-07-19 | 武汉精立电子技术有限公司 | 一种基于强化学习的aoi缺陷分类方法及装置 |
CN110135456A (zh) * | 2019-04-08 | 2019-08-16 | 图麟信息科技(上海)有限公司 | 一种目标检测模型的训练方法及装置 |
CN110175982B (zh) * | 2019-04-16 | 2021-11-02 | 浙江大学城市学院 | 一种基于目标检测的缺陷检测方法 |
CN110175982A (zh) * | 2019-04-16 | 2019-08-27 | 浙江大学城市学院 | 一种基于目标检测的缺陷检测方法 |
CN110208284A (zh) * | 2019-05-27 | 2019-09-06 | 武汉中导光电设备有限公司 | 一种多通道缺陷合并分析的方法及系统 |
CN110208284B (zh) * | 2019-05-27 | 2021-09-17 | 武汉中导光电设备有限公司 | 一种多通道缺陷合并分析的方法及系统 |
CN110287843A (zh) * | 2019-06-18 | 2019-09-27 | 清华大学深圳研究生院 | 一种文物指纹区域选定方法 |
TWI771594B (zh) * | 2019-06-19 | 2022-07-21 | 住華科技股份有限公司 | 缺陷判斷訓練方法及應用其之系統以及缺陷判斷方法及應用其之系統 |
CN111507961B (zh) * | 2019-06-19 | 2023-08-22 | 住华科技股份有限公司 | 缺陷判断训练方法及其的系统及缺陷判断方法及其的系统 |
CN111507961A (zh) * | 2019-06-19 | 2020-08-07 | 住华科技股份有限公司 | 缺陷判断训练方法及其的系统及缺陷判断方法及其的系统 |
CN110619600A (zh) * | 2019-09-17 | 2019-12-27 | 南京旷云科技有限公司 | 神经网络模型训练方法及装置、存储介质及电子设备 |
CN110619600B (zh) * | 2019-09-17 | 2023-12-08 | 南京旷云科技有限公司 | 神经网络模型训练方法及装置、存储介质及电子设备 |
CN110390677A (zh) * | 2019-09-17 | 2019-10-29 | 成都数之联科技有限公司 | 一种基于滑动自匹配的缺陷定位方法及系统 |
TWI745767B (zh) * | 2019-10-18 | 2021-11-11 | 汎思數據股份有限公司 | 光學檢測二次圖像分類方法 |
CN111161233A (zh) * | 2019-12-25 | 2020-05-15 | 武汉科技大学 | 一种用于冲孔皮革缺陷检测方法及系统 |
CN112766481A (zh) * | 2020-03-13 | 2021-05-07 | 腾讯科技(深圳)有限公司 | 神经网络模型的训练方法、装置及图像检测的方法 |
CN112766481B (zh) * | 2020-03-13 | 2023-11-24 | 腾讯科技(深圳)有限公司 | 神经网络模型的训练方法、装置及图像检测的方法 |
CN113808067A (zh) * | 2020-06-11 | 2021-12-17 | 广东美的白色家电技术创新中心有限公司 | 电路板检测方法、视觉检测设备及具有存储功能的装置 |
CN111805541B (zh) * | 2020-07-08 | 2022-08-30 | 南京航空航天大学 | 一种基于深度学习的中药饮片净选装置及净选方法 |
CN111805541A (zh) * | 2020-07-08 | 2020-10-23 | 南京航空航天大学 | 一种基于深度学习的中药饮片净选装置及净选方法 |
CN111915581A (zh) * | 2020-07-27 | 2020-11-10 | 青岛大学 | 一种金属光滑弧面缺陷检测方法 |
CN112070727A (zh) * | 2020-08-21 | 2020-12-11 | 电子科技大学 | 一种基于机器学习的金属表面缺陷检测方法 |
CN112070727B (zh) * | 2020-08-21 | 2022-04-19 | 电子科技大学 | 一种基于机器学习的金属表面缺陷检测方法 |
CN112001906A (zh) * | 2020-08-24 | 2020-11-27 | 江苏徐工信息技术股份有限公司 | 一种结合非极大值抑制的钢板焊缝图像检测方法 |
CN112001906B (zh) * | 2020-08-24 | 2024-02-02 | 徐工汉云技术股份有限公司 | 一种结合非极大值抑制的钢板焊缝图像检测方法 |
CN112164050B (zh) * | 2020-09-28 | 2022-10-25 | 华南理工大学 | 用于流水线上产品表面缺陷的检测方法、设备及存储介质 |
CN112164050A (zh) * | 2020-09-28 | 2021-01-01 | 华南理工大学 | 用于流水线上产品表面缺陷的检测方法、设备及存储介质 |
CN112288711A (zh) * | 2020-10-28 | 2021-01-29 | 浙江华云清洁能源有限公司 | 无人机巡检影像缺陷图像识别方法、装置、设备及介质 |
CN112884057B (zh) * | 2021-03-04 | 2022-03-18 | 晶仁光电科技(苏州)有限公司 | 基于点云数据的三维曲面质量分类方法、系统及存储介质 |
CN112884057A (zh) * | 2021-03-04 | 2021-06-01 | 晶仁光电科技(苏州)有限公司 | 基于点云数据的三维曲面质量分类方法、系统及存储介质 |
CN113030108A (zh) * | 2021-03-08 | 2021-06-25 | 哈尔滨工程大学 | 一种基于机器视觉的涂层缺陷检测系统与方法 |
CN113012128A (zh) * | 2021-03-18 | 2021-06-22 | 长鑫存储技术有限公司 | 缺陷表征方法和装置 |
CN112700446A (zh) * | 2021-03-23 | 2021-04-23 | 常州微亿智造科技有限公司 | 用于工业质检的算法模型训练方法和装置 |
CN113077481A (zh) * | 2021-03-29 | 2021-07-06 | 上海闻泰信息技术有限公司 | 一种图像处理方法、装置、计算机设备和存储介质 |
CN113658121A (zh) * | 2021-08-09 | 2021-11-16 | 国能榆林能源有限责任公司 | 一种线路缺陷检测方法、系统及计算机存储介质 |
CN113658121B (zh) * | 2021-08-09 | 2024-07-12 | 国能榆林能源有限责任公司 | 一种线路缺陷检测方法、系统及计算机存储介质 |
CN114199879A (zh) * | 2021-11-23 | 2022-03-18 | 北京科技大学 | 一种冷轧带钢表面聚集型缺陷的识别方法 |
CN114595757A (zh) * | 2022-03-04 | 2022-06-07 | 浙江科技学院 | 一种用于灌装输液瓶生产的质量检测系统 |
CN114595757B (zh) * | 2022-03-04 | 2024-05-10 | 浙江科技学院 | 一种用于灌装输液瓶生产的质量检测系统 |
CN115953409A (zh) * | 2023-03-15 | 2023-04-11 | 深圳市深奇浩实业有限公司 | 基于图像处理的注塑件表面缺陷检测方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2018000731A1 (zh) | 2018-01-04 |
SG11201811381UA (en) | 2019-01-30 |
CN106127780B (zh) | 2019-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106127780A (zh) | 一种曲面表面缺陷自动检测方法及其装置 | |
Yang et al. | Real-time face detection based on YOLO | |
CN109785337B (zh) | 一种基于实例分割算法的栏内哺乳动物清点方法 | |
CN111062915B (zh) | 一种基于改进YOLOv3模型的实时钢管缺陷检测方法 | |
CN107229930B (zh) | 一种指针式仪表数值智能识别方法 | |
CN106960195B (zh) | 一种基于深度学习的人群计数方法及装置 | |
CN111724355B (zh) | 一种鲍鱼体型参数的图像测量方法 | |
CN107230203A (zh) | 基于人眼视觉注意机制的铸件缺陷识别方法 | |
CN110910350B (zh) | 一种用于风电塔筒的螺母松动检测方法 | |
CN107978110A (zh) | 基于图像匹配的电子围栏智能在位识别系统及识别方法 | |
CN107784291A (zh) | 基于红外视频的目标检测跟踪方法和装置 | |
CN110096980A (zh) | 字符检测识别系统 | |
CN103344583A (zh) | 一种基于机器视觉的镨-钕(Pr/Nd)组分含量检测系统及方法 | |
CN109584206B (zh) | 零件表面瑕疵检测中神经网络的训练样本的合成方法 | |
CN113435282A (zh) | 基于深度学习的无人机影像麦穗识别方法 | |
KR20150136225A (ko) | 관심객체 검출을 위한 관심영역 학습장치 및 방법 | |
CN115760808A (zh) | 平板玻璃尺寸测量方法、系统、装置及可读存储介质 | |
CN111178405A (zh) | 一种融合多种神经网络的相似物体识别方法 | |
CN114387261A (zh) | 一种适用于铁路钢桥螺栓病害的自动检测方法 | |
CN112991327A (zh) | 基于机器视觉的钢格网焊接系统、方法和终端设备 | |
Samadzadegan et al. | Automatic Road Crack Recognition Based on Deep Learning Networks from UAV Imagery | |
CN114943988B (zh) | 一种基于实例分割和深度卷积神经网络的平面目标监测方法 | |
CN117079125A (zh) | 一种基于改进型YOLOv5的猕猴桃授粉花朵识别方法 | |
CN116682050A (zh) | 智能巡检方法和装置、巡检机器人及存储介质 | |
CN118506338A (zh) | 一种基于深度学习的电子器件印刷字符识别检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190118 |