CN112419261A - 具有异常点去除功能的视觉采集方法及装置 - Google Patents
具有异常点去除功能的视觉采集方法及装置 Download PDFInfo
- Publication number
- CN112419261A CN112419261A CN202011305471.5A CN202011305471A CN112419261A CN 112419261 A CN112419261 A CN 112419261A CN 202011305471 A CN202011305471 A CN 202011305471A CN 112419261 A CN112419261 A CN 112419261A
- Authority
- CN
- China
- Prior art keywords
- image
- fragment
- training
- attribute
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 33
- 230000000007 visual effect Effects 0.000 title claims abstract description 28
- 239000012634 fragment Substances 0.000 claims abstract description 130
- 238000012549 training Methods 0.000 claims abstract description 67
- 238000003466 welding Methods 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 26
- 238000005516 engineering process Methods 0.000 claims abstract description 9
- 238000005286 illumination Methods 0.000 claims abstract description 8
- 230000011218 segmentation Effects 0.000 claims abstract description 8
- 238000013136 deep learning model Methods 0.000 claims description 42
- 230000006870 function Effects 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 6
- 230000003628 erosive effect Effects 0.000 claims description 3
- 238000011835 investigation Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 description 10
- 238000009499 grossing Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012797 qualification Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种具有异常点去除功能的视觉采集方法及装置，方法包括：在光照配合下，采用摄像头连续拍摄焊接产品得到多帧图像；采用网格分割技术，以标准网格模型对每帧图像进行分割，形成各帧的图像碎片；提取图像碎片的碎片属性，进行分组训练，对每个训练组的碎片属性进行数据训练，得到各训练组的优化属性，选出同一训练组的图像碎片的碎片属性与优化属性相似度最高的图像碎片，根据优化属性进行调整，拼接各训练组调整后的图像碎片进行图像还原，将拼接得到的图像作为视觉采集的有效图像，用于进行焊接情况判定。装置包括光源和摄像组件，摄像组件包括摄像头和包含上述方法的图像处理模型的图像处理模块。
Description
技术领域
本发明涉及自动焊接工艺与智能化控制技术领域，特别涉及一种具有异常点去除功能的视觉采集方法及装置。
背景技术
视觉传感监测系统在工业领域中已经得到较为广泛的应用，其中在焊接工艺中，稳定性监测和跟踪传感方法一般有接触式、电弧式、电磁式、光电式、视觉式等多种。其中，视觉传感器因其具有与工件不接触、信息量大(可兼作监控)、抗电磁干扰能力强、灵敏度高、适用坡口形式多等优点，被认为是一种最有发展前景的传感方法。
目前，常用的视觉传感器分为电荷耦合器件(CCD)式和互补金属氧化物半导体(CMOS)式两种，可将不同强度的光线信号转换为不同幅度的图像信息。与CCD式相比，CMOS传感器具有芯片集成度高、功耗低、响应速度快、动态范围广等优点，可采用“线性+对数”的图像信号放大模式，能对低亮度信号线性放大而对高亮度信号则进行对数放大，在保证低亮度区域图像对比度的同时尽可能地扩展动态范围，因此特别适合在像焊接这种明暗对比程度高的环境中工作。LinLog技术是一种特殊的感光技术，常用于拍摄高对比度的图像，该技术的基本原理就是利用对数压缩技术压缩图像中的超高亮区域，减小图像对比度。LinLog技术使传感器仅在接近饱和及饱和区域为对数压缩响应，而保留其在低照度区域的线性响应和灵敏度，所以既扩展了整个传感器的动态范围，又保证了低照度区域成像的质量。因而，利用机器视觉直接观察焊接工件，通过图像处理获取熔池和小孔的特征信息，进行焊接监测，实现焊接质量的闭环控制，已成为重要的研究方向。
专利申请号为201210325926.9(发明名称为“基于红外视觉传感的窄间隙焊接监控及焊缝偏差检测方法”)的专利文献，公开了一种基于红外视觉传感的窄间隙焊接监控及焊缝偏差检测方法，该方法使用的红外视觉传感系统包括红外CMOS摄像机、滤光系统、图像采集卡、计算机和显示器等，该方法以窄间隙焊接电弧光和熔池自身辐射光作为光源，利用红外窄带滤光系统滤除干扰信号并调节光强，计算机实时采集并显示红外CMOS摄像机获取的焊接图像。通过图像截取窗口截取远离电弧侧的图像进行处理，并通过提取坡口单侧边缘来获取焊缝偏差信息，可在有效避免运动电弧干扰的同时，提高焊缝偏差检测的实时性。但是，该方法没有考虑红外CMOS摄像机拍摄的产品焊接图像可能具有异常点，会对焊接检视效果产生不良影响，从而影响对焊接质量的判定。
发明内容
为了解决上述技术问题，本发明提供了一种具有异常点去除功能的视觉采集方法，包括以下步骤：
S100在光照配合下，采用摄像头连续拍摄焊接产品得到多帧图像；
S200采用网格分割技术，以标准网格模型对每帧图像进行分割，形成各帧的图像碎片；
S300提取图像碎片的碎片属性，进行分组，将对应产品同一位置的各帧图像碎片的碎片属性作为训练组，对每个训练组的碎片属性进行数据训练，得到各训练组的优化属性，
S400选出同一训练组的图像碎片的碎片属性与优化属性相似度最高的图像碎片，根据优化属性进行调整，拼接各训练组调整后的图像碎片进行图像还原，将拼接得到的图像作为视觉采集的有效图像，用于进行焊接情况判定。
可选的，所述标准网格模型采用以下方式进行优化：
获取产品的样本图像，对样本图像进行区域标注；对样本图像进行像素划分，得到多个像素区域；
由样本图像中的像素所属的被标注区域作为像素的硬标签；
结合像素对应的像素区域和像素的硬标签，形成像素的软标签，软标签用于表征像素属于标注区域的伪概率；根据像素的硬标签和像素的软标签，训练标准网格模型。
可选的，所述分组方法如下：
对产品的每帧图像进行特征识别与定位，得到特征信息和对应的定位信息，将特征信息和定位信息与图像碎片进行关联；
以特征信息和定位信息相同作为分组条件，将对应的图像碎片的碎片属性归入同一训练组。
可选的，所述特征识别采用以下方式：
建立图像识别的辅助图像库，所述辅助图像库存有多个带有特定标识的图像数据；
提取每帧图像中的图像数据，通过比对从辅助图像库内找到相同图像数据，将辅助图像库内相同图像数据带有的特定标识赋予相应的每帧图像中的图像数据。
可选的，所述图像碎片的碎片属性包括像素、分辨率、大小、颜色、位深、色调、饱和度、亮度和色彩通道，所述数据训练方式如下：
将同一图像碎片的碎片属性作为一个数据集，基于多个图像碎片的碎片属性组成的多个数据集对深度学习模型进行多次迭代训练，得到训练后的深度学习模型；其中，
每次迭代训练的过程包括：基于第一个数据集对所述深度学习模型进行训练，直至深度学习模型的损失函数达到第一预设值停止训练；基于第二个及其之后的数据集对深度学习模型进行训练；
固定深度学习模型中除最后一层参数外的其他参数；根据用以训练的数据集中的类别数量，确定深度学习模型中最后一层参数的超参，并训练最后一层参数；当深度学习模型的损失函数达到与当前数据集对应的第三预设值时，暂停训练深度学习模型；
取消固定深度学习模型中的参数，并利用当前数据集对深度学习模型的所有参数进行训练调整，直至深度学习模型的损失函数达到预设状态，停止本次训练，预设状态包括所述损失函数小大于第二预设值，且所述损失函数的变化范围在预设阈值范围内；
将下一数据集设为当前数据集，然后进入固定深度学习模型中除最后一层参数外的其他参数的步骤，如此循环完成全部数据集。
可选的，在S400步骤中，选出相似度最高的图像碎片的过程如下：
采用以下公式计算同一训练组中图像碎片的碎片属性与优化属性差异性的加权和值：
上式中，Mi表示第i个图像碎片的碎片属性与优化属性差异性的加权和值；表示；n表示考察的图像碎片的碎片属性数量；Kj表示第j项碎片属性的权值； Sij表示第i个图像碎片的第j项碎片属性值；Soj表示第j项优化属性值；
选择计算得到的加权和值最小的图像碎片作为相似度最高的图像碎片。
可选的，在S400步骤中，进行图像还原时，根据图像碎片关联的定位信息进行拼接，对图像碎片拼接的相邻边缘进行平滑处理，平滑处理的方式为：
将距离图像碎片边缘设定步距范围根据步距值划分为多个阶梯段，采用以下公式对图像碎片各阶梯段的图像点进行属性调整：
上式中，S′akj表示调整后图像碎片a的第k个阶梯段的图像点第j项属性值； Sakj表示调整前图像碎片a的第k个阶梯段的图像点第j项属性值；Saj表示图像碎片a的第j项优化属性值；Sbj表示与图像碎片a相邻的图像碎片b的第j项优化属性值；m表示设定步距范围内划分的阶梯段数量。
可选的，在S400步骤中，对拼接得到的图像进行腐蚀与膨胀处理。
可选的，所述焊接情况判定采用预先对焊接合格产品进行图像拍摄，并以S100-S400步骤进行去除异常点处理，提取焊接合格产品图像的熔池和小孔的定位信息和特征信息进行保存；
后续待测的焊接产品图像，在经S100-S400步骤去除异常点后，提取待测焊接产品图像的熔池和小孔的定位信息和特征信息，将待测焊接产品的特征信息与合格产品具有相同定位信息的熔池和小孔和特征信息进行比对，通过打分评估待测焊接产品的焊接质量是否合格。
本发明还提供了一种具有异常点去除功能的视觉采集装置，包括光源和摄像组件，所述摄像组件包括摄像头和图像处理模块，图像处理模块内置包含上述方法的图像处理模型。
本发明的具有异常点去除功能的视觉采集方法及装置，采用在光照配合下连续成像的方式得到多帧需要进行焊接质量检视的产品图像，经过对图像进行分割、属性训练和优化处理后，可以实现对采集的图像中可能存在的异常点进行去除，给重新拼接还原得到没有异常点干扰的产品图像，以保障后续进行焊接情况判定的有效性和可靠性。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种具有异常点去除功能的视觉采集方法流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
如图1所示，本发明实施例提供了一种具有异常点去除功能的视觉采集方法，包括以下步骤：
S100在光照配合下，采用摄像头连续拍摄焊接产品得到多帧图像；
S200采用网格分割技术，以标准网格模型对每帧图像进行分割，形成各帧的图像碎片；
S300提取图像碎片的碎片属性，进行分组，将对应产品同一位置的各帧图像碎片的碎片属性作为训练组，对每个训练组的碎片属性进行数据训练，得到各训练组的优化属性，
S400选出同一训练组的图像碎片的碎片属性与优化属性相似度最高的图像碎片，根据优化属性进行调整，拼接各训练组调整后的图像碎片进行图像还原，将拼接得到的图像作为视觉采集的有效图像，用于进行焊接情况判定。
上述技术方案的工作原理和有益效果为：本发明采用在光照配合下连续成像的方式得到多帧需要进行焊接质量检视的产品图像，经过对图像进行分割、属性训练和优化处理后，可以实现对采集的图像中可能存在的异常点进行去除，给重新拼接还原得到没有异常点干扰的产品图像，以保障后续进行焊接情况判定的有效性和可靠性。
在一个实施例中，所述标准网格模型采用以下方式进行优化：
获取产品的样本图像，对样本图像进行区域标注；对样本图像进行像素划分，得到多个像素区域；
由样本图像中的像素所属的被标注区域作为像素的硬标签；
结合像素对应的像素区域和像素的硬标签，形成像素的软标签，软标签用于表征像素属于标注区域的伪概率；根据像素的硬标签和像素的软标签，训练标准网格模型。
上述技术方案的工作原理和有益效果为：本方案通过对标准网格模型进行优化，使得标准网格模型与产品图像更契合，更适用；同时可以提高标准网格模型对每帧图像进行分割的效率，分割速度快；还能降低分割中发生错误的几率，提高被分割成的图像碎片的质量，为后续处理提供良好基础。
在一个实施例中，所述分组方法如下：
对产品的每帧图像进行特征识别与定位，得到特征信息和对应的定位信息，将特征信息和定位信息与图像碎片进行关联；
以特征信息和定位信息相同作为分组条件，将对应的图像碎片的碎片属性归入同一训练组。
上述技术方案的工作原理和有益效果为：本方案通过对图像进行特征识别与定位得到特征信息和对应的定位信息，并将这些信息通过关联方式带入图像碎片，以根据特征信息和定位信息对图像碎片进行分组，又将同组的图像碎片的碎片属性归入同一训练组，从而有序地分批次进行训练和优化；可以防止图像碎片的相互混淆，避免对图像产生混乱导致影响训练和优化的效果。
在一个实施例中，所述特征识别采用以下方式：
建立图像识别的辅助图像库，所述辅助图像库存有多个带有特定标识的图像数据；
提取每帧图像中的图像数据，通过比对从辅助图像库内找到相同图像数据，将辅助图像库内相同图像数据带有的特定标识赋予相应的每帧图像中的图像数据。
上述技术方案的工作原理和有益效果为：本方案通过设置辅助图像库用于图像识别，辅助图像库内的图像数据都预先设有特定标识，以辅助图像库中的图像数据作为参照对象，将从每帧图像中提取图像数据通过比对进行筛选和标识，达到识别每帧图像的目的，让每帧图像都带上标识的特征信息。
在一个实施例中，所述图像碎片的碎片属性包括像素、分辨率、大小、颜色、位深、色调、饱和度、亮度和色彩通道，所述数据训练方式如下：
将同一图像碎片的碎片属性作为一个数据集，基于多个图像碎片的碎片属性组成的多个数据集对深度学习模型进行多次迭代训练，得到训练后的深度学习模型；其中，
每次迭代训练的过程包括：基于第一个数据集对所述深度学习模型进行训练，直至深度学习模型的损失函数达到第一预设值停止训练；基于第二个及其之后的数据集对深度学习模型进行训练；
固定深度学习模型中除最后一层参数外的其他参数；根据用以训练的数据集中的类别数量，确定深度学习模型中最后一层参数的超参，并训练最后一层参数；当深度学习模型的损失函数达到与当前数据集对应的第三预设值时，暂停训练深度学习模型；
取消固定深度学习模型中的参数，并利用当前数据集对深度学习模型的所有参数进行训练调整，直至深度学习模型的损失函数达到预设状态，停止本次训练，预设状态包括所述损失函数小大于第二预设值，且所述损失函数的变化范围在预设阈值范围内；
将下一数据集设为当前数据集，然后进入固定深度学习模型中除最后一层参数外的其他参数的步骤，如此循环完成全部数据集。
上述技术方案的工作原理和有益效果为：本方案通过将同一图像碎片的碎片属性作为一个数据集，采用多个数据集对深度学习模型进行多次迭代训练，得到训练后的深度学习模型，再以该深度学习模型对各训练组对象进行训练，输出优化属性，基于优化属性对与其最相似者进行优化调整，达到去除所采集的图像中的异常点的目的，提高用于焊接情况判断的图像质量。
在一个实施例中，在S400步骤中，选出相似度最高的图像碎片的过程如下：
采用以下公式计算同一训练组中图像碎片的碎片属性与优化属性差异性的加权和值：
上式中，Mi表示第i个图像碎片的碎片属性与优化属性差异性的加权和值；表示；n表示考察的图像碎片的碎片属性数量；Kj表示第j项碎片属性的权值； Sij表示第i个图像碎片的第j项碎片属性值；Soj表示第j项优化属性值；
选择计算得到的加权和值最小的图像碎片作为相似度最高的图像碎片。
上述技术方案的工作原理和有益效果为：本方案通过对同一训练组中图像碎片的碎片属性与优化属性差异性进行量化计算，对相似度进行评估，计算采用属性差异的加权和值，避免单一属性评判可能产生的误判；计算得到的加权和值越大，说明两者越不相似，因此选择加权和值最小的图像碎片即为相似度最高的图像，采用上述算法量化计算，可以避免定性评估的不准确，减少主观性评价，使得过程更简单且容易实现。
在一个实施例中，在S400步骤中，进行图像还原时，根据图像碎片关联的定位信息进行拼接，对图像碎片拼接的相邻边缘进行平滑处理，平滑处理的方式为：
将距离图像碎片边缘设定步距范围根据步距值划分为多个阶梯段，采用以下公式对图像碎片各阶梯段的图像点进行属性调整：
上式中，S′akj表示调整后图像碎片a的第k个阶梯段的图像点第j项属性值； Sakj表示调整前图像碎片a的第k个阶梯段的图像点第j项属性值；Saj表示图像碎片a的第j项优化属性值；Sbj表示与图像碎片a相邻的图像碎片b的第j项优化属性值；m表示设定步距范围内划分的阶梯段数量。
上述技术方案的工作原理和有益效果为：本方案对图像进行拼接还原的边界进行平滑处理，消除拼接处可能存在的激烈变化，使得拼接后的图像更具有整体性。平滑处理采用划定范围内的渐变方式进行，通过上述算法量化控制渐变范围和渐变数值，以参数修正的方式让平滑处理更为精确，避免渐变范围和渐变数值无序影响图像效果。
在一个实施例中，在S400步骤中，对拼接得到的图像进行腐蚀与膨胀处理。
上述技术方案的工作原理和有益效果为：本方案通过对拼接得到的图像进行腐蚀与膨胀处理，消除前面处理步骤可能在图像上产生的噪音，也能够进一步去除通过前述处理过程仍然没有完全去除的异常点，改善图像质量，为后续的焊接质量判断提供良好的基础。
在一个实施例中，所述焊接情况判定采用预先对焊接合格产品进行图像拍摄，并以前述步骤进行去除异常点处理，提取焊接合格产品图像的熔池和小孔的定位信息和特征信息进行保存；
后续待测的焊接产品图像，在经前述步骤去除异常点后，提取待测焊接产品图像的熔池和小孔的定位信息和特征信息，将待测焊接产品的特征信息与合格产品具有相同定位信息的熔池和小孔和特征信息进行比对，通过打分评估待测焊接产品的焊接质量是否合格。
上述技术方案的工作原理和有益效果为：本方案通过将合格产品与待测产品都进行成像且图像经去除异常点处理，排除异常点干扰后，才分别进行熔池和小孔的定位信息和特征信息提取，然后以合格产品所提取的特征信息作为标准，对待测产品焊接的特征信息进行打分评估，以达到设定分值作为评判合格的标准；通过先期的去除异常点排除干扰，可以提高评判的准确性，提高产品的最终合格率。
本发明实施例提供了一种具有异常点去除功能的视觉采集装置，包括光源和摄像组件，所述摄像组件包括摄像头和图像处理模块，图像处理模块内置包含上述方法的图像处理模型。
上述技术方案的工作原理和有益效果为：本发明提供了一种具有异常点去除功能的视觉采集装置，包括进行摄像与图像处理的摄像组件和辅助图像拍摄的光源；摄像组件中的图像处理模块内置包含上述具有异常点去除功能的视觉采集方法的图像处理模型，用于实现上述图像处理过程，实现去除图像中异常点的功能。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种具有异常点去除功能的视觉采集方法，其特征在于，包括以下步骤：
S100在光照配合下，采用摄像头连续拍摄焊接产品得到多帧图像；
S200采用网格分割技术，以标准网格模型对每帧图像进行分割，形成各帧的图像碎片；
S300提取图像碎片的碎片属性，进行分组，将对应产品同一位置的各帧图像碎片的碎片属性作为训练组，对每个训练组的碎片属性进行数据训练，得到各训练组的优化属性，
S400选出同一训练组的图像碎片的碎片属性与优化属性相似度最高的图像碎片，根据优化属性进行调整，拼接各训练组调整后的图像碎片进行图像还原，将拼接得到的图像作为视觉采集的有效图像，用于进行焊接情况判定。
2.根据权利要求1所述的具有异常点去除功能的视觉采集方法，其特征在于，所述标准网格模型采用以下方式进行优化：
获取产品的样本图像，对样本图像进行区域标注；对样本图像进行像素划分，得到多个像素区域；
由样本图像中的像素所属的被标注区域作为像素的硬标签；
结合像素对应的像素区域和像素的硬标签，形成像素的软标签，软标签用于表征像素属于标注区域的伪概率；根据像素的硬标签和像素的软标签，训练标准网格模型。
3.根据权利要求1所述的具有异常点去除功能的视觉采集方法，其特征在于，所述分组方法如下：
对产品的每帧图像进行特征识别与定位，得到特征信息和对应的定位信息，将特征信息和定位信息与图像碎片进行关联；
以特征信息和定位信息相同作为分组条件，将对应的图像碎片的碎片属性归入同一训练组。
4.根据权利要求3所述的具有异常点去除功能的视觉采集方法，其特征在于，所述特征识别采用以下方式：
建立图像识别的辅助图像库，所述辅助图像库存有多个带有特定标识的图像数据；
提取每帧图像中的图像数据，通过比对从辅助图像库内找到相同图像数据，将辅助图像库内相同图像数据带有的特定标识赋予相应的每帧图像中的图像数据。
5.根据权利要求1所述的具有异常点去除功能的视觉采集方法，其特征在于，所述图像碎片的碎片属性包括像素、分辨率、大小、颜色、位深、色调、饱和度、亮度和色彩通道，所述数据训练方式如下：
将同一图像碎片的碎片属性作为一个数据集，基于多个图像碎片的碎片属性组成的多个数据集对深度学习模型进行多次迭代训练，得到训练后的深度学习模型；其中，
每次迭代训练的过程包括：基于第一个数据集对所述深度学习模型进行训练，直至深度学习模型的损失函数达到第一预设值停止训练；基于第二个及其之后的数据集对深度学习模型进行训练；
固定深度学习模型中除最后一层参数外的其他参数；根据用以训练的数据集中的类别数量，确定深度学习模型中最后一层参数的超参，并训练最后一层参数；当深度学习模型的损失函数达到与当前数据集对应的第三预设值时，暂停训练深度学习模型；
取消固定深度学习模型中的参数，并利用当前数据集对深度学习模型的所有参数进行训练调整，直至深度学习模型的损失函数达到预设状态，停止本次训练，预设状态包括所述损失函数小大于第二预设值，且所述损失函数的变化范围在预设阈值范围内；
将下一数据集设为当前数据集，然后进入固定深度学习模型中除最后一层参数外的其他参数的步骤，如此循环完成全部数据集。
6.根据权利要求1所述的具有异常点去除功能的视觉采集方法，其特征在于，在S400步骤中，选出相似度最高的图像碎片的过程如下：
采用以下公式计算同一训练组中图像碎片的碎片属性与优化属性差异性的加权和值：
上式中，Mi表示第i个图像碎片的碎片属性与优化属性差异性的加权和值；表示；n表示考察的图像碎片的碎片属性数量；Kj表示第j项碎片属性的权值；Sij表示第i个图像碎片的第j项碎片属性值；Soj表示第j项优化属性值；
选择计算得到的加权和值最小的图像碎片作为相似度最高的图像碎片。
7.根据权利要求3所述的具有异常点去除功能的视觉采集方法，其特征在于，在S400步骤中，进行图像还原时，根据图像碎片关联的定位信息进行拼接，对图像碎片拼接的相邻边缘进行平滑处理，平滑处理的方式为：
将距离图像碎片边缘设定步距范围根据步距值划分为多个阶梯段，采用以下公式对图像碎片各阶梯段的图像点进行属性调整：
上式中，S′akj表示调整后图像碎片a的第k个阶梯段的图像点第j项属性值；Sakj表示调整前图像碎片a的第k个阶梯段的图像点第j项属性值；Saj表示图像碎片a的第j项优化属性值；Sbj表示与图像碎片a相邻的图像碎片b的第j项优化属性值；m表示设定步距范围内划分的阶梯段数量。
8.根据权利要求1所述的具有异常点去除功能的视觉采集方法，其特征在于，在S400步骤中，对拼接得到的图像进行腐蚀与膨胀处理。
9.根据权利要求1所述的具有异常点去除功能的视觉采集方法，其特征在于，所述焊接情况判定采用预先对焊接合格产品进行图像拍摄，并以S100-S400步骤进行去除异常点处理，提取焊接合格产品图像的熔池和小孔的定位信息和特征信息进行保存；
后续待测的焊接产品图像，在经S100-S400步骤去除异常点后，提取待测焊接产品图像的熔池和小孔的定位信息和特征信息，将待测焊接产品的特征信息与合格产品具有相同定位信息的熔池和小孔和特征信息进行比对，通过打分评估待测焊接产品的焊接质量是否合格。
10.一种具有异常点去除功能的视觉采集装置，其特征在于，包括光源和摄像组件，所述摄像组件包括摄像头和图像处理模块，图像处理模块内置包含权利要求1-9中任意一项所述的具有异常点去除功能的视觉采集方法的图像处理模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011305471.5A CN112419261B (zh) | 2020-11-19 | 2020-11-19 | 具有异常点去除功能的视觉采集方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011305471.5A CN112419261B (zh) | 2020-11-19 | 2020-11-19 | 具有异常点去除功能的视觉采集方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112419261A true CN112419261A (zh) | 2021-02-26 |
| CN112419261B CN112419261B (zh) | 2022-11-15 |
Family
ID=74774197
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011305471.5A Active CN112419261B (zh) | 2020-11-19 | 2020-11-19 | 具有异常点去除功能的视觉采集方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112419261B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113420736A (zh) * | 2021-08-23 | 2021-09-21 | 成都飞机工业（集团）有限责任公司 | 一种基于视频拆分的3d打印缺陷确定方法 |
| CN115115822A (zh) * | 2022-06-30 | 2022-09-27 | 小米汽车科技有限公司 | 车端图像处理方法、装置、车辆、存储介质及芯片 |
| CN116188719A (zh) * | 2023-04-27 | 2023-05-30 | 中地云智慧科技有限公司 | 一种实景三维数据的碎片去除方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004109268A1 (en) * | 2003-06-06 | 2004-12-16 | Abb Ab | Weld quality evaluation |
| CN102073759A (zh) * | 2010-12-29 | 2011-05-25 | 温州大学 | 一种基于脸型特征参数的眼镜配置控制方法 |
| CN103339929A (zh) * | 2010-12-03 | 2013-10-02 | 奥普托斯股份有限公司 | 识别图像中的异常的方法 |
| CN108681717A (zh) * | 2018-05-18 | 2018-10-19 | 贵州云腾志远科技发展有限公司 | 城市级交通视频检测设备质量检测方法 |
| CN111369576A (zh) * | 2020-05-28 | 2020-07-03 | 腾讯科技（深圳）有限公司 | 图像分割模型的训练方法、图像分割方法、装置及设备 |
| JP2020144688A (ja) * | 2019-03-07 | 2020-09-10 | 株式会社Ihi | 学習方法、学習装置、及び当該学習装置を備える溶接欠陥検出装置 |
-
2020
- 2020-11-19 CN CN202011305471.5A patent/CN112419261B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004109268A1 (en) * | 2003-06-06 | 2004-12-16 | Abb Ab | Weld quality evaluation |
| CN103339929A (zh) * | 2010-12-03 | 2013-10-02 | 奥普托斯股份有限公司 | 识别图像中的异常的方法 |
| CN102073759A (zh) * | 2010-12-29 | 2011-05-25 | 温州大学 | 一种基于脸型特征参数的眼镜配置控制方法 |
| CN108681717A (zh) * | 2018-05-18 | 2018-10-19 | 贵州云腾志远科技发展有限公司 | 城市级交通视频检测设备质量检测方法 |
| JP2020144688A (ja) * | 2019-03-07 | 2020-09-10 | 株式会社Ihi | 学習方法、学習装置、及び当該学習装置を備える溶接欠陥検出装置 |
| CN111369576A (zh) * | 2020-05-28 | 2020-07-03 | 腾讯科技（深圳）有限公司 | 图像分割模型的训练方法、图像分割方法、装置及设备 |
Non-Patent Citations (1)
| Title |
|---|
| Z J ZUO ET AL: "《Measurement of Residual Stress by Cutting Method in Cold Ring Rolling》", 《ADVANCED MATERIALS RESEARCH》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113420736A (zh) * | 2021-08-23 | 2021-09-21 | 成都飞机工业（集团）有限责任公司 | 一种基于视频拆分的3d打印缺陷确定方法 |
| CN113420736B (zh) * | 2021-08-23 | 2022-01-04 | 成都飞机工业（集团）有限责任公司 | 一种基于视频拆分的3d打印缺陷确定方法 |
| CN115115822A (zh) * | 2022-06-30 | 2022-09-27 | 小米汽车科技有限公司 | 车端图像处理方法、装置、车辆、存储介质及芯片 |
| CN115115822B (zh) * | 2022-06-30 | 2023-10-31 | 小米汽车科技有限公司 | 车端图像处理方法、装置、车辆、存储介质及芯片 |
| CN116188719A (zh) * | 2023-04-27 | 2023-05-30 | 中地云智慧科技有限公司 | 一种实景三维数据的碎片去除方法 |
| CN116188719B (zh) * | 2023-04-27 | 2023-11-17 | 中地云智慧科技有限公司 | 一种实景三维数据的碎片去除方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112419261B (zh) | 2022-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112419261B (zh) | 具有异常点去除功能的视觉采集方法及装置 | |
| CN114937055B (zh) | 基于人工智能的图像自适应分割方法与系统 | |
| CN110084165B (zh) | 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法 | |
| CN107123131B (zh) | 一种基于深度学习的运动目标检测方法 | |
| CN111275679B (zh) | 一种基于图像的太阳能电池缺陷检测系统及方法 | |
| CN102175701B (zh) | 工业x射线机在线探伤检测系统及方法 | |
| CN111047568B (zh) | 一种漏汽缺陷检测识别方法及系统 | |
| CN111325721A (zh) | 一种基于红外热成像的气体泄漏检测方法及系统 | |
| CN111611907B (zh) | 一种图像增强的红外目标检测方法 | |
| CN113177924A (zh) | 一种工业流水线产品瑕疵检测方法 | |
| CN107341793A (zh) | 一种靶面图像处理方法及装置 | |
| CN113971681A (zh) | 一种复杂环境下带式输送机边缘检测方法 | |
| CN116385758A (zh) | 基于YOLOv5网络对传送带表面损伤的检测方法 | |
| CN117456371B (zh) | 一种组串热斑检测方法、装置、设备及介质 | |
| CN114863311A (zh) | 一种变电站机器人巡检目标自动跟踪方法及系统 | |
| CN117475353A (zh) | 基于视频的异常烟雾识别方法及系统 | |
| CN114596244A (zh) | 基于视觉处理和多特征融合的红外图像识别方法及系统 | |
| CN110688979A (zh) | 违法车辆追踪方法及装置 | |
| CN107403192B (zh) | 一种基于多分类器的快速目标检测方法及系统 | |
| CN114694090A (zh) | 一种基于改进PBAS算法与YOLOv5的校园异常行为检测方法 | |
| CN112487864A (zh) | 一种面向施工现场的对于小目标安全帽和防护服检测方法 | |
| CN112966699A (zh) | 一种通信工程项目的目标检测系统 | |
| CN110781758A (zh) | 一种受电弓结构异常动态视频监测方法及装置 | |
| CN118037696B (zh) | 基于边缘检测和s3n网络的沙粒检测与目数分类方法 | |
| CN114494110B (zh) | 基于图像增强网络用于地下排污管道内部缺陷检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |