CN113870328A - 一种液体异物视觉检测方法及系统 - Google Patents
一种液体异物视觉检测方法及系统 Download PDFInfo
- Publication number
- CN113870328A CN113870328A CN202111136312.1A CN202111136312A CN113870328A CN 113870328 A CN113870328 A CN 113870328A CN 202111136312 A CN202111136312 A CN 202111136312A CN 113870328 A CN113870328 A CN 113870328A
- Authority
- CN
- China
- Prior art keywords
- image
- registration
- images
- frame difference
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 38
- 239000007788 liquid Substances 0.000 title claims abstract description 28
- 230000000007 visual effect Effects 0.000 title claims abstract description 17
- 238000013136 deep learning model Methods 0.000 claims abstract description 24
- 230000003044 adaptive effect Effects 0.000 claims abstract description 18
- 238000004519 manufacturing process Methods 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000012805 post-processing Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 19
- 230000007547 defect Effects 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 10
- 238000013519 translation Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 7
- 238000011179 visual inspection Methods 0.000 claims description 7
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 230000009897 systematic effect Effects 0.000 claims description 4
- 230000003628 erosive effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000010339 dilation Effects 0.000 claims description 2
- 230000000877 morphologic effect Effects 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 abstract description 4
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000003860 storage Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000001802 infusion Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
一种液体异物视觉检测方法，包括以下步骤：基于傅里叶‑梅林变换和无监督变形配准模型，进行图像配准；对配准后的图像进行预处理操作；对预处理后的图像进行图像序列帧差；对序列帧差后的图像进行后处理；获取适应性深度学习模型；采用广义多图像抠图算法提取系统瑕疵。本发明还提供一种液体异物视觉检测系统，提高图像配准的精度；使得微小异物分割结果更加明晰，同时也进一步过滤了背景噪声；确保了检测精度、扩大生产效益，减小生产损失。
Description
技术领域
本发明涉及机器视觉图像处理技术领域，特别是涉及一种液体异物视觉检测方法及系统。
背景技术
缺陷检测通常是指对产品表面缺陷的检测，表面缺陷检测是采用先进的机器视觉检测技术，对产品表面的斑点、凹坑、划痕、色差、缺损等缺陷进行检测。
目前，利用图像处理技术实现医药行业产品质量检测自动化即智能灯检机已经多年，但是针对产品检测对象都是形状和位置不变的条件下进行。对于像输液袋中异物缺陷检测这样的任务，由于物体形状，位置和外界环境变化，以及产品表面有各种印刷信息，使得不管是传统的模式识别方法以及深度学习的方法都无法取得较高的检测准确度。
现有的智能灯检机，存在如下技术问题：
1、序列图像的配准精度低；
2、将经典视觉检测运用到液体瑕疵检测各种噪声如反光和气泡与微小异物的对比度不高，使得检测结果不精确；
3、对于操作有人员变化或生产配方微调，可能会引入一些瑕疵波动，甚至新增瑕疵；
4、现有灯检机具备样品实时检测功能，却缺乏对系统瑕疵的监测和报警；
5、现有灯检机多利用工业控制计算机来进行检测运算和储存，成本高，需要工程师当场调试。
发明内容
为了解决现有技术存在的不足，本发明的目的在于提供一种液体异物视觉检测方法及系统，基于频域空间变换的图像配准和/或机器学习，提高图像配准的精度；采用有效的图像预处理和后处理方法，以及图像序列帧差法，获取高信噪比的序列图像；采用追加训练方法，确保检测精度；通过广义多图像抠图算法定时将瑕疵信息进行集合分析，并将系统瑕疵的信息及时反馈；采用深度学习算法，使系统不但能在本地运行，还可以迁移到云端和边缘端。
为实现上述目的，本发明提供的液体异物视觉检测方法，包括以下步骤：
基于傅里叶-梅林变换和无监督变形配准模型，进行图像配准；
对配准后的图像进行预处理操作；
对预处理后的图像进行序列帧差；
对序列帧差后的图像进行后处理；
获取适应性深度学习模型；
采用广义多图像抠图算法提取系统瑕疵。
进一步地，所述基于傅里叶-梅林变换进行图像配准的步骤，还包括，
将图像尺度、旋转的计算转化为该图像傅里叶变换的幅值；
在对数极坐标系中的平移；
通过傅里叶变换位移理论计算出平移量；
反变换得到旋转与平移参数。
进一步地，所述基于无监督变形配准模型进行图像配准的步骤，还包括，
使用卷积神经网络，训练多对配准图像，参数化配准模型函，得到基于核函数参数的配准场；
采用标准的基于梯度的计算方法，构建空间变换网络计算配准后的图像。
进一步地，所述对配准后的图像进行预处理操作的步骤，还包括，
按照预先设定的ROI感兴趣区域参数截取图像区域；
对图像进行灰度化处理；
对图像进行Gamma校正。
进一步地，所述对预处理后的图像进行序列帧差的步骤，还包括，
进行相邻帧差，将两张序列图像中相同的部分的灰度值归零；
进行二值化，从图像中分割出运动的微小异物；
最后进行图像的与运算，将两幅二值图像的对应像素进行逻辑与操作。
进一步地，所述对序列帧差后的图像进行后处理的步骤，还包括，采用图像形态学操作的开操作，对图像进行先腐蚀后膨胀，去掉小的对象噪声。
进一步地，所述获取适应性深度学习模型的步骤，还包括，定期将收集到的新的瑕疵样本加入到训练数据集中对深度学习模型进行追加训练，得到适应性深度学习模型。
更进一步地，所述采用广义多图像抠图算法提取系统瑕疵的步骤，还包括，
计算每个图像在x和y方向上的每个像素的梯度；
分别计算x和y方向的中值梯度，所述中值梯度是通过中值滤波得到的梯度的中值，得到中值梯度图；
获取所有图像在同一像素上的中值，得到显示共同模式的输出图像，给出系统瑕玼。
为实现上述目的，本发明还提供一种液体异物视觉检测系统，包括，图像配准模块、图像预处理模块、图像序列帧差模块、图像后处理模块、适应性深度学习模型获取模块，以及系统瑕疵获取模块，其中，
所述图像配准模块，其基于傅里叶-梅林变换和无监督变形配准模型，进行图像配准；
所述图像预处理模块，其对配准后的图像按照预先设定的ROI感兴趣区域参数截取图像区域、进行灰度化处理和Gamma校正；
所述图像序列帧差模块，其对图像进行序列帧差、二值化和逻辑与操作；
所述图像后处理模块，其对图像进行图像形态学的先腐蚀后膨胀的开操作；
所述适应性深度学习模型获取模块，其定期将收集到的新的瑕疵样本加入到训练数据集中对原本的深度学习模型进行追加训练，得到适应性深度学习模型；
所述系统瑕疵获取模，其采用广义多图像抠图算法识别、提取生产线中由系统错误引起的瑕疵。
更进一步地，所述图像序列帧差模块，还包括，
对图像进行序列帧差，将两张序列图像中相同的部分的灰度值归零；
对图像进行二值化，从图像中分割出运动的微小异物；
进行图像的与运算，将两幅二值图像的对应像素进行逻辑与操作。
本发明的液体异物视觉检测方法及系统，与现有技术相比具有以下有益效果：
提高图像配准的精度；使得微小异物分割结果更加明晰，同时也进一步过滤了背景噪声；在不需要调整检测模型构建的基础上，能将新增瑕疵及时放入模型中训练学习，使得模型能更加适应产线生产，确保检测精度；将系统瑕疵的信息及时反馈给生产线，利于生产线的调节改良，扩大生产效益，减小生产损失；可以迁移到云端和边缘端，能显著降低硬件搭建成本，利于软件的功能更新以及购买交易。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，并与本发明的实施例一起，用于解释本发明，并不构成对本发明的限制。在附图中：
图1为根据本发明的液体异物视觉检测方法流程图；
图2为根据本发明的无监督变形配准模型训练示意图；
图3为根据本发明的卷积神经网络结构示意图；
图4为根据本发明的图像预处理工作流程图；
图5为根据本发明的液体异物视觉检测系统结构示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1
图1为根据本发明的液体异物视觉检测方法流程图，下面将参考图1，对本发明的液体异物视觉检测方法进行详细描述。
首先，在步骤101，基于傅里叶—梅林变换和无监督变形配准模型，进行图像配准。
本发明实施例中，基于傅里叶—梅林变换(FMT)进行图像配准，对目标平移变换、尺度变换、旋转变换都有一定的鲁棒性，且算法运算量较小，能够满足可见异物的实时性检测需求。首先将图像尺度、旋转的计算转化为该图像傅里叶变换的幅值在对数极坐标系中的平移；然后通过傅里叶变换位移理论计算出平移量；最后反变换得到旋转与平移参数。
本发明实施例中，基于无监督变形配准模型进行图像配准。
无监督变形配准模型voxelmorph如图2所示，使用卷积神经网络，即U-Net结构的神经网络(如图3所示)，训练多对配准图像(待配准图像m与模板图像f)，参数化配准模型函数gθ(f,m)＝u，得到基于核函数参数θ的配准场(变形场)φ。此处u是位移场，
是配准后的图像，对于任意体素p，u(p)是f(p)和
对齐到相似位置的位移。
为了优化模型参数值，最小化配准后图像
与模板图像f之间的差异，此处采用了标准的基于梯度的计算方法，因此构建了空间变换网络(STN)来计算配准后的图像
对于任意体素p，计算一个在m上的亚像素体素位置p’＝p+u(p)，结合相邻八个体素，线性插入的方法得到：
梯度下降结合误差反向传播来更新优化网络参数，无监督损失函数包括两部分：相似性损失和平滑损失，其中相似性损失是用来衡量配准后的图像
与模板图像f之间相似性，而平滑损失则是使产生的形变具有空间平滑性。
相似性损失可使用像素级的均方误差，通常当f和m具有相似的灰度值分布时使用这种形式：
以上为无监督变形配准模型，当存在额外的分割信息时，可将两幅图像的分割标签之间的Dice损失加入损失函数中，如下，进行有监督配准模型训练，以提高模型精度。
在步骤102，对配准后的图像进行预处理操作。
本发明实施例中，配准后的图像，按照预先设定的ROI感兴趣区域参数截取图像区域；之后对图像进行灰度化后再进行Gamma校正(如图4所示)。针对输液软袋异物检测问题，因为要利用帧差信息确定目标位置，与目标颜色并无太大关联，所以可以先将原图转换为灰度图，减少图像处理数据量，然后对灰度图进行增强，利用Gamma校正抑制低亮度噪声，增强图像对比度，更好区分微小异物。
本发明实施例中，ROI(Region of interest感兴趣区域)，即需要处理的图像区域，本发明中指的是包括输液袋全部软袋部分的矩形区域范围。
在步骤103，预处理后的图像进行图像序列帧差。
本发明实施例中，首先进行相邻帧差，将两张序列图像中相同的部分的灰度值归零，从而消除背景噪音，凸显出运动的微小异物动向轨迹，然后进行二值化，将图像中变化幅度较大位置分割出来，即分割出运动的微小异物，最后进行图像的与运算，将两幅二值图像的对应像素进行逻辑与操作，用来求得两幅尺寸相同的图像的相交区域，并且除去目标边缘的噪声。
在步骤104，对图像序列帧差后的图像进行后处理。
本发明实施例中，对图像序列帧差后的图像进行后处理，采用图像形态学操作是基于形状的一系列图像处理操作的合集，主要是基于集合论基础上的形态学数学。主要有四个操作：膨胀，腐蚀，开，闭。本发明中使用开操作，即先腐蚀后膨胀，可以去掉小的对象噪声，使得结果更加精确。
在步骤105，获取适应性深度学习模型。
本发明实施例中，在后期的生产测试中，定期将收集到的新的瑕疵样本加入到训练数据集中对原本的深度学习模型进行追加训练，得到适应性深度学习模型，以保障模型的及时更新，使得模型更加精确地适应检测场景。
在步骤106，采用广义多图像抠图算法提取常见瑕疵。
本发明实施例中，采用广义多图像抠图算法自动提取常见瑕疵，识别生产线中由系统错误引起的瑕疵。
瑕疵检测方面的工作很多，但能够自动进行原因检测的工作却很少。我们提供了一种找出常见瑕疵的根本原因的方法，即系统错误。通常，如果系统误差存在，它会在相同的位置造成相同的瑕疵。下面介绍了一种广义多图像抠图算法(generalized multi-imagematting algorithm)的常见瑕疵提取方法。
假设存在系统瑕疵，首要任务是确定是否存在常见瑕疵。基本上，首先计算每个图像在x和y方向上的每个像素的梯度；然后分别计算x和y方向的中值梯度，中值梯度是通过中值滤波得到的梯度的中值。因此，我们有两个中值梯度映射:一个用于x，另一个用于y，包含数据集中的所有信息。
p[m,n]＝median{g_k[m,n,k∈w]}
其中，p[m,n]是w滤波窗口大小内的图像在x或y方向上位置[m,n]的单个像素的梯度值。gk[m,n]是单个图像在x或y方向[m,n]的梯度值。在一条生产线上，每30个或更多的连续产品将被纳入分析，以得到一个中值梯度图。我们得到所有w图像的梯度值映射，对于每个像素，我们找到所有w图像在同一像素上的中值作为我们的中值输出。使用中值滤波器的目的是为了消除噪声和斑点。随着图像数量的增加，由于系统瑕疵发生在每幅图像的相同位置，所以共同瑕疵区域的中值梯度比其他点更具有一致性和显著性。因此，在计算每个点的梯度大小后，我们可以得到一个显示共同模式的输出图像，给出系统瑕玼。
实施例2
图5为根据本发明的液体异物视觉检测系统结构示意图，如图5所示，本发明的本发明的液体异物视觉检测系统，包括，图像配准模块51、图像预处理模块52、图像序列帧差模块53、图像后处理模块54、适应性深度学习模型获取模块55，以及系统瑕疵获取模块56，其中，
图像配准模块51，其基于傅里叶-梅林变换和无监督变形配准模型，进行图像配准。
图像预处理模块52，其对配准后的图像进行预处理操作，包括，按照预先设定的ROI感兴趣区域参数截取图像区域、对图像进行灰度化处理、对经过灰度处理的图像进行Gamma校正。
图像序列帧差模块53，其将两张序列图像中相同的部分的灰度值归零，从而消除背景噪音，凸显出运动的微小异物动向轨迹；对图像进行二值化，将图像中变化幅度较大位置分割出来，即分割出运动的微小异物；对图像进行图像的与运算，将两幅二值图像的对应像素进行逻辑与操作，用来求得两幅尺寸相同的图像的相交区域，并且除去目标边缘的噪声。
图像后处理模块54，其对图像进行图像形态学的开操作，即先腐蚀后膨胀，去掉小的对象噪声，使得结果更加精确。
适应性深度学习模型获取模块55，其定期将收集到的新的瑕疵样本加入到训练数据集中对原本的深度学习模型进行追加训练，得到适应性深度学习模型，保障模型的及时更新，使得模型更加精确地适应检测场景。
系统瑕疵获取模块56，其采用广义多图像抠图算法识别、提取生产线中由系统错误引起的瑕疵。
本发明的液体异物视觉检测系统，利用工业控制计算机，采用总线结构，对样本进行存储，训练以及识别；通过USB接口，将摄像头收集到的样本进行收集，同时工控机自带计算以及存储模块，用户可在本地完成全部操作，也可以通过摄像头，AI芯片以及控制的一体化，使得用户可以在当地完成从收集图像，训练到识别的一系列操作，保证了数据的安全，另外，该嵌入式具有低延迟，高效率，敏捷等优势，并且体积小，使用起来具有小巧易便携的特点；加训练部分可以在云端完成，结合云端特点，提高效率，并且降低硬件所需成本。
本发明的液体异物视觉检测系统，将传统的存储以及训练流程所需的GPU计算部分转入云端，前端系统仅保留采集图像所需的摄像头，5G无线模块，存储模型所需的基础存储以及运行模型所需的基础算力；该方式为实时服务，通过5G技术，将复杂的运算以及庞大的存储高效上传到云端来完成；该方法降低了用户的硬件成本，并且减小了用户前端硬件的体积，具有小巧易便携的特点。同时，每个用户软件的使用权限在云端得以激活。
本领域普通技术人员可以理解：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种液体异物视觉检测方法，其特征在于，包括以下步骤：
基于傅里叶-梅林变换和无监督变形配准模型，进行图像配准；
对配准后的图像进行预处理操作；
对预处理后的图像进行序列帧差；
对序列帧差后的图像进行后处理；
获取适应性深度学习模型；
采用广义多图像抠图算法提取系统瑕疵。
2.根据权利要求1所述的液体异物视觉检测方法，其特征在于，所述基于傅里叶-梅林变换进行图像配准的步骤，还包括，
将图像尺度、旋转的计算转化为该图像傅里叶变换的幅值；
在对数极坐标系中的平移；
通过傅里叶变换位移理论计算出平移量；
反变换得到旋转与平移参数。
3.根据权利要求1所述的液体异物视觉检测方法，其特征在于，所述基于无监督变形配准模型进行图像配准的步骤，还包括，
使用卷积神经网络，训练多对配准图像，参数化配准模型函，得到基于核函数参数的配准场；
采用标准的基于梯度的计算方法，构建空间变换网络计算配准后的图像。
4.根据权利要求1所述的液体异物视觉检测方法，其特征在于，所述对配准后的图像进行预处理操作的步骤，还包括，
按照预先设定的ROI感兴趣区域参数截取图像区域；
对图像进行灰度化处理；
对图像进行Gamma校正。
5.根据权利要求1所述的液体异物视觉检测方法，其特征在于，所述对预处理后的图像进行序列帧差的步骤，还包括，
进行相邻帧差，将两张序列图像中相同的部分的灰度值归零；
进行二值化，从图像中分割出运动的微小异物；
最后进行图像的与运算，将两幅二值图像的对应像素进行逻辑与操作。
6.根据权利要求1所述的液体异物视觉检测方法，其特征在于，所述对序列帧差后的图像进行后处理的步骤，还包括，采用图像形态学操作的开操作，对图像进行先腐蚀后膨胀，去掉小的对象噪声。
7.根据权利要求1所述的液体异物视觉检测方法，其特征在于，所述获取适应性深度学习模型的步骤，还包括，定期将收集到的新的瑕疵样本加入到训练数据集中对深度学习模型进行追加训练，得到适应性深度学习模型。
8.根据权利要求1所述的液体异物视觉检测方法，其特征在于，所述采用广义多图像抠图算法提取系统瑕疵的步骤，还包括，
计算每个图像在x和y方向上的每个像素的梯度；
分别计算x和y方向的中值梯度，所述中值梯度是通过中值滤波得到的梯度的中值，得到中值梯度图；
获取所有图像在同一像素上的中值，得到显示共同模式的输出图像，给出系统瑕玼。
9.一种液体异物视觉检测系统，其特征在于，包括，图像配准模块、图像预处理模块、图像序列帧差模块、图像后处理模块、适应性深度学习模型获取模块，以及系统瑕疵获取模块，其中，
所述图像配准模块，其基于傅里叶-梅林变换和无监督变形配准模型，进行图像配准；
所述图像预处理模块，其对配准后的图像按照预先设定的ROI感兴趣区域参数截取图像区域、进行灰度化处理和Gamma校正；
所述图像序列帧差模块，其对图像进行序列帧差、二值化和逻辑与操作；
所述图像后处理模块，其对图像进行图像形态学的先腐蚀后膨胀的开操作；
所述适应性深度学习模型获取模块，其定期将收集到的新的瑕疵样本加入到训练数据集中对原本的深度学习模型进行追加训练，得到适应性深度学习模型；
所述系统瑕疵获取模，其采用广义多图像抠图算法识别、提取生产线中由系统错误引起的瑕疵。
10.根据权利要求9所述的液体异物视觉检测系统，其特征在于，所述图像序列帧差模块，还包括，
对图像进行序列帧差，将两张序列图像中相同的部分的灰度值归零；
对图像进行二值化，从图像中分割出运动的微小异物；
进行图像的与运算，将两幅二值图像的对应像素进行逻辑与操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111136312.1A CN113870328A (zh) | 2021-09-27 | 2021-09-27 | 一种液体异物视觉检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111136312.1A CN113870328A (zh) | 2021-09-27 | 2021-09-27 | 一种液体异物视觉检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113870328A true CN113870328A (zh) | 2021-12-31 |
Family
ID=78991223
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111136312.1A Pending CN113870328A (zh) | 2021-09-27 | 2021-09-27 | 一种液体异物视觉检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113870328A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116596928A (zh) * | 2023-07-18 | 2023-08-15 | 山东金胜粮油食品有限公司 | 基于图像特征的花生油杂质快速检测方法 |
-
2021
- 2021-09-27 CN CN202111136312.1A patent/CN113870328A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116596928A (zh) * | 2023-07-18 | 2023-08-15 | 山东金胜粮油食品有限公司 | 基于图像特征的花生油杂质快速检测方法 |
| CN116596928B (zh) * | 2023-07-18 | 2023-10-03 | 山东金胜粮油食品有限公司 | 基于图像特征的花生油杂质快速检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230306577A1 (en) | Cross-scale defect detection method based on deep learning | |
| CN109580630B (zh) | 一种机械零部件缺陷的视觉检测方法 | |
| CN106875381B (zh) | 一种基于深度学习的手机外壳缺陷检测方法 | |
| Wang et al. | Surface defects detection using non-convex total variation regularized RPCA with kernelization | |
| CN115496746A (zh) | 基于图像和点云数据融合的板材表面缺陷检测方法和系统 | |
| CN113205511B (zh) | 基于深层神经网络的电子元器件批量信息检测方法及系统 | |
| CN113435460A (zh) | 一种亮晶颗粒灰岩图像的识别方法 | |
| CN113643276A (zh) | 一种基于统计分析的纺织物纹理缺陷自动检测方法 | |
| CN115775236A (zh) | 基于多尺度特征融合的表面微小缺陷视觉检测方法及系统 | |
| CN114719749A (zh) | 基于机器视觉的金属表面裂纹检测及真实尺寸测量方法及系统 | |
| CN115018790A (zh) | 一种基于异常检测的工件表面缺陷检测方法 | |
| CN114581805A (zh) | 一种采用3d线激光轮廓技术的涂敷辊面缺陷检测方法 | |
| CN116452944A (zh) | 一种表面裂纹识别方法及装置 | |
| CN116228651A (zh) | 一种布匹缺陷检测方法、系统、设备及介质 | |
| Zhang et al. | Yarn-dyed fabric defect detection using u-shaped de-noising convolutional auto-encoder | |
| CN112396618A (zh) | 一种基于图像处理的晶界提取及晶粒度测量方法 | |
| CN115656182A (zh) | 基于张量投票主成分分析的板材点云缺陷检测方法 | |
| CN113870328A (zh) | 一种液体异物视觉检测方法及系统 | |
| CN113705564B (zh) | 一种指针式仪表识别读数方法 | |
| CN115239666A (zh) | 一种滚动接触疲劳缺陷的缺陷目标区域图像定位分割方法 | |
| Zhou et al. | An adaptive clustering method detecting the surface defects on linear guide rails | |
| CN112396580B (zh) | 一种圆形零件缺陷检测方法 | |
| CN113947583A (zh) | 基于深度学习二维时间序列图像的焊缝无损检测方法 | |
| CN114331961A (zh) | 用于对象的缺陷检测的方法 | |
| CN117315670B (zh) | 一种基于计算机视觉的水表读数区域检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |