CN110490872A - 加工设备的异物检测方法和系统 - Google Patents

加工设备的异物检测方法和系统 Download PDF

Info

Publication number
CN110490872A
CN110490872A CN201910798979.4A CN201910798979A CN110490872A CN 110490872 A CN110490872 A CN 110490872A CN 201910798979 A CN201910798979 A CN 201910798979A CN 110490872 A CN110490872 A CN 110490872A
Authority
CN
China
Prior art keywords
image
detected
process equipment
obtains
euclidean distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910798979.4A
Other languages
English (en)
Other versions
CN110490872B (zh
Inventor
孟凡武
王立忠
许一尘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Beijing Institute of Technology BIT
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201910798979.4A priority Critical patent/CN110490872B/zh
Publication of CN110490872A publication Critical patent/CN110490872A/zh
Application granted granted Critical
Publication of CN110490872B publication Critical patent/CN110490872B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种加工设备的异物检测方法和系统，包括：获取加工设备在工作时的待检测图像；在多张样本图像中查询与待检测图像最为匹配的样本图像，得到目标样本图像；将待检测图像配准到目标样本图像所在的坐标系中，得到配准后的待检测图像；计算配准后的待检测图像与目标样本图像的差分图像，并对差分图像进行阈值分割操作，8连通区域筛选操作以及区域平移操作；对配准后的待检测图像进行特征提取操作，得到第一特征，和对目标样本图像进行特征提取操作，得到第二特征；计算第一特征与第二特征之间的欧氏距离；基于欧氏距离判断加工设备是否在工作时出现异物。缓解了现有技术中存在的无法实时检测加工设备中的异物情况的技术问题。

Description

加工设备的异物检测方法和系统
技术领域
本发明涉及异物检测技术领域，尤其是涉及一种加工设备的异物检测方法和系统。
背景技术
传统的检测方法大多采取人工监视加工设备内部状态的方式，当加工设备工作时，由操作工人通过目视的方式观察加工设备的内部情况，一旦发现异物或者异常，立即紧急制动。由于加工设备内异物或者异常具有偶发性和突然性，操作工人即使长时间紧盯，也很难在发生问题时及时采取应对措施，避免损害发生。此外还有的运用传感器监测加工设备。通过在加工设备上安装传感器采集信号或者直接采集加工设备上传感器的信号，运用信号处理算法得出正常状态与非正常状态的信号差别。然而在实际生产中应用的最大障碍是无法实时检测加工设备中的异物或者异常情况，只能在出现异物之后检测到信号变化，起不到事先防范的作用，对预防加工设备发生异物进而导致故障的作用有限。
发明内容
有鉴于此，本发明的目的在于提供一种加工设备的异物检测方法和系统，以缓解了现有技术中存在的无法实时检测加工设备中的异物情况的技术问题。
第一方面，本发明实施例提供了一种加工设备的异物检测方法，包括：获取加工设备在工作时的待检测图像；在多张样本图像中查询与所述待检测图像最为匹配的样本图像，得到目标样本图像；其中，所述多张样本图像为所述加工设备在一个采样周期内，无异物工作时的不同时刻所对应的样本图像；将所述待检测图像配准到所述目标样本图像所在的坐标系中，得到配准后的待检测图像；计算所述配准后的待检测图像与所述目标样本图像的差分图像，并对所述差分图像进行阈值分割操作，8连通区域筛选操作以及区域平移操作，得到目标差分区域；对所述配准后的待检测图像中与所述目标差分区域相对应的区域进行特征提取操作，得到第一特征，和对所述目标样本图像中与所述目标差分区域相对应的区域进行特征提取操作，得到第二特征；计算所述第一特征与所述第二特征之间的欧氏距离；基于所述欧氏距离判断所述加工设备是否在工作时出现异物。
进一步地，在多张样本图像中查询与所述待检测图像最为匹配的样本图像，得到目标样本图像，包括：分别计算所述待检测图像与所述多张样本图像的差分图像，得到多个差分图像；计算所述多个差分图像的F-范数，得到多个F-范数值；将所述多个F-范数值当中最小的F-范数值所对应的样本图像作为目标样本图像。
进一步地，将所述待检测图像配准到所述目标样本图像所在的坐标系中，得到配准后的待检测图像，包括：计算所述待检测图像与所述目标样本图像之间的仿射变换矩阵；基于所述仿射变换矩阵，对所述待检测图像做仿射变换，得到配准后的待检测图像。
进一步地，对所述差分图像进行阈值分割操作和8连通区域筛选操作，得到目标差分区域，包括：对所述差分图像进行阈值分割操作，得到第一差分图像；对所述第一差分图像进行高斯低通滤波操作，得到第二差分图像；对所述第二差分图像进行8连通区域分割操作，将得到的8连通区域中，面积大于预设值的区域作为目标差分区域。
进一步地，对所述差分图像进行区域平移操作，得到目标差分区域，包括：分别将所述差分图像向下和向右平移第一预设值和第二预设值，得到目标差分区域。
进一步地，基于所述欧氏距离判断所述加工设备是否在工作时出现异物，包括：改变所述第一预设值和所述第二预设值的取值，计算得到不同取值下的多个欧式距离；将所述多个欧式距离中的最小距离作为匹配欧式距离；计算所述多个欧式距离中的最大距离与所述多个欧式距离的平均值的比值，得到欧式距离的平移变化率；基于所述匹配欧式距离与所述平移变化率，判断所述加工设备是否在工作时出现异物。
进一步地，基于所述匹配欧式距离与所述平移变化率，判断所述加工设备是否在工作时出现异物，包括：将所述平移变化率代入到预设优化函数中，得到优化之后的平移变化率；计算所述匹配欧式距离与所述优化之后的平移变化率的比值，得到判断比值；比较所述判断比值与预设阈值的大小，若所述判断比值大于或等于所述预设阈值，则判断所述加工设备在工作时出现了异物。
进一步地，所述优化函数包括以下至少之一：对号函数，布特沃斯函数。
第二方面，本发明实施例还提供了一种加工设备的异物检测系统，包括：获取模块，查询模块，配准模块，差分模块，特征提取模块，计算模块和判断模块，其中，所述获取模块，用于获取加工设备在工作时的待检测图像；所述查询模块，用于在多张样本图像中查询与所述待检测图像最为匹配的样本图像，得到目标样本图像；其中，所述多张样本图像为所述加工设备在一个采样周期内，无异物工作时的不同时刻所对应的样本图像；所述配准模块，用于将所述待检测图像配准到所述目标样本图像所在的坐标系中，得到配准后的待检测图像；所述差分模块，用于计算所述配准后的待检测图像与所述目标样本图像的差分图像，并对所述差分图像进行阈值分割操作，8连通区域筛选操作以及区域平移操作，得到目标差分区域；所述特征提取模块，用于对所述配准后的待检测图像中与所述目标差分区域相对应的区域进行特征提取操作，得到第一特征，和对所述目标样本图像中与所述目标差分区域相对应的区域进行特征提取操作，得到第二特征；所述计算模块，用于计算所述第一特征与所述第二特征之间的欧氏距离；所述判断模块，用于基于所述欧氏距离判断所述加工设备是否在工作时出现异物。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法的步骤。
本发明实施例提供了一种加工设备的异物检测方法和系统，通过对加工设备在工作过程中，实时获取到的待检测图像进行处理，与无异物工作时的样本图像进行对比，最后通过对待检测图像和样本图像中相对应的区域进行特征提取操作而得到的特征进行计算，得到欧式距离，并基于欧式距离判断所述加工设备是否在工作时出现异物。本发明通过以上方式缓解了现有技术中存在的无法实时检测加工设备中的出现异物情况的技术问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种加工设备的异物检测方法的流程图；
图2为本发明实施例提供的一种基于欧式距离判断加工设备是否在工作时出现异物的方法的流程图；
图3为本发明实施例提供的一种8连通区域的分割方式的示意图；
图4为本发明实施例提供的一种dx空间模板的示意图；
图5为本发明实施例提供的一种dy空间模板的示意图；
图6为本发明实施例提供的一种加工设备的异物检测系统的示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
图1是根据本发明实施例提供的一种加工设备的异物检测方法的流程图，如图1所示，该方法具体包括如下步骤：
步骤S102，获取加工设备在工作时的待检测图像。
具体地，通过图像获取装置获取加工设备在工作过程中的图作为待检测图像，然后对待检测图像进行区域分割，将得到的仅包含感兴趣区域(region of interest，简称ROI区域)图像作为待检测图像。
步骤S104，在多张样本图像中查询与待检测图像最为匹配的样本图像，得到目标样本图像；其中，多张样本图像为加工设备在一个采样周期内，无异物工作时的不同时刻所对应的样本图像。
具体地，对包含加工设备的周期性运动场景进行采样，得到一个采样周期内不同时刻所对应的样本图像，其中，得到的多张样本图像为加工设备在无异物时工作过程中经区域分割后的采样图像。
然后通过计算两图像差值的F-范数的方法在多张样本图像中查询与待检测图像最为匹配的目标样本图像。具体地，分别计算待检测图像与多张样本图像的差分图像，得到多个差分图像；计算多个差分图像的F-范数，得到多个F-范数值；将多个F-范数值当中最小的F-范数值所对应的样本图像作为目标样本图像。
可选地，一个采样周期可以为加工设备的一个工作周期。
步骤S106，将待检测图像配准到目标样本图像所在的坐标系中，得到配准后的待检测图像。
具体地，计算待检测图像与目标样本图像之间的仿射变换矩阵；基于仿射变换矩阵，对待检测图像做仿射变换，得到配准后的待检测图像。这样可以使变换后的待检测图像与目标样本图像在细节上更好的匹配上。
步骤S108，计算配准后的待检测图像与目标样本图像的差分图像，并对差分图像进行阈值分割操作，8连通区域筛选操作以及区域平移操作，得到目标差分区域。
具体地，首先对差分图像进行阈值分割操作，得到第一差分图像。可选地，在本发明实施例中，对差分图像进行二值分割操作，得到第一差分图像。
然后对第一差分图像进行高斯低通滤波操作，得到第二差分图像。目的是过滤掉第一差分图像中的高频细节干扰，从而得到包含较大8连通区域的图像。
之后对第二差分图像进行8连通区域分割操作，将得到的8连通区域中，面积大于预设值的区域作为目标差分区域。具体地，标定第二差分图像中所有的8连通区域，过滤掉面积小于或等于预设值的8连通区域，得到目标差分区域。
最后分别将差分图像向下和向右平移第一预设值和第二预设值，得到目标差分区域。
步骤S110，对配准后的待检测图像中与目标差分区域相对应的区域进行特征提取操作，得到第一特征，和对目标样本图像中与目标差分区域相对应的区域进行特征提取操作，得到第二特征。
具体地，通过空间模块对配准后的待检测图像和目标样本图像的对应区域进行特征提取。
步骤S112，计算第一特征与第二特征之间的欧氏距离。
步骤S114，基于欧氏距离判断加工设备是否在工作时出现异物。
本发明实施例提供了一种加工设备的异物检测方法，通过对加工设备在工作过程中，实时获取到的待检测图像进行处理，与无异物工作时的样本图像进行对比，最后通过对待检测图像和样本图像中相对应的区域进行特征提取操作而得到的特征进行计算，得到欧式距离，并基于欧式距离判断所述加工设备是否在工作时出现异物。本发明通过以上方式缓解了现有技术中存在的无法实时检测加工设备中的出现异物情况的技术问题。
可选地，图2是根据本发明实施例提供的一种基于欧氏距离判断加工设备是否在工作时出现异物的方法的流程图，即步骤S114的具体判断过程，如图2所示，步骤S114还包括如下步骤：
步骤S1141，改变第一预设值和第二预设值的取值，计算得到不同取值下的多个欧式距离。
步骤S1142，将多个欧式距离中的最小距离作为匹配欧式距离。
步骤S1143，计算多个欧式距离中的最大距离与多个欧式距离的平均值的比值，得到欧式距离的平移变化率。
步骤S1144，基于匹配欧式距离与平移变化率，判断加工设备是否在工作时出现异物。
具体地，步骤S1144还包括如下过程：
步骤S11441，将平移变化率代入到预设优化函数中，得到优化之后的平移变化率。可选地，优化函数包括以下至少之一：对号函数，布特沃斯函数。
步骤S11442，计算匹配欧式距离与优化之后的平移变化率的比值，得到判断比值；
步骤S11443，比较判断比值与预设阈值的大小，若判断比值大于或等于预设阈值，则判断加工设备在工作时出现了异物。
可选地，若判断比值小于预设阈值，则判断加工设备在工作时没有出现异物。
通过以上描述可知，本发明提供了一种加工设备的异物检测方法，通过对加工设备在工作过程中，实时获取到的待检测图像进行处理，与无异物工作时的样本图像进行对比，最后通过对待检测图像和样本图像中相对应的区域进行特征提取操作而得到的特征进行计算，得到欧式距离，并基于欧式距离判断所述加工设备是否在工作时出现异物的方式，缓解了现有技术中存在的无法实时检测加工设备中的出现异物情况的技术问题。以及实现了加工设备中异物的实时、零漏检率、极低错检率的监测，达到了能在异物出现时及时停机以避免异物可能造成的模具设备损坏的技术问题，进而能够提高生产效率避免财产损失及人员伤亡的出现。
实施例二：
以下为根据上述实施例一所提供的一种加工设备的异物检测方法所实施的一种具体实施例。例如：
步骤S1.周期性运动场景采样。
具体地，对周期性运动场景(即加工设备的工作场景)进行采样，区域分割，获得n张图片(即上述实施例一中的多张样本图像)，记为Im1，Im2，Im3，...，Imn。
步骤S2.待检测图像采集、差分、阈值分割。
具体地，采集待检测图像，对其进行区域分割，将分割后的图像记为Imw。分别计算Imw与Imi(i＝1，2，...，n)差的F-范数||Imw-Imi||F。记使得||Imw-Imi||F最小的Imi为(即上述实施例一中的目标样本图像)。然后计算与Imw之间的仿射变换矩阵，基于此矩阵将Imw配准到的坐标系中，得到图像Imwd(即上述实施例一中的配准后的待检测图像)。将Imwd与代入下式，
其中，Imdf(i，j)为Imdf的第i行，第j列的元素(Imwd(i，j)记号等含义类同)，thred为预设常数，本实施例中取thred＝0.2。
步骤S3.对Imdf1(即上述实施例一中的第一差分图像)进行初步处理。具体地，包括：
a)对Imdf1进行高斯低通滤波操作，其sigma视图像质量而定。本实施例中取sigma＝1.5。目的是滤掉高频细节干扰。得到包含较大8连通局域的图像Imdf2(即上述实施例一中的第二差分图像)。
b)标定Imdf2所有的8连通区域，滤掉Imdf2中的小面积(本实施例中以面积小于thred1＝10作为小面积)8连通区域，得到Imdf。记Imdf中的连通局域分别为reg1，reg2，regm。
c)将regj(j＝1，2，...，m)在Imdf上分别向下向右平移u，v个像素(u＝v＝-2、-1、0、1、2.)，得到的区域记为(j＝1，2，...，m，u＝v＝-2、-1、0、1、2.)。
步骤S4.多分辨率表示。
记差分图像Imdf中连通区域regj(j＝1，2，…，m)的面积为aeraj。记regj在Imwd上的对应区域为regjwd，在上的对应区域为由此定义区域regjwd和的采样步长为：
其中，[]为取整函数，thred1为常数，优选地，在本发明实施例中，取thred1＝30。
利用求得的采样步长来确定待提取特征的区域regjwd和的采样点，可实现对可能异物的多分辨率表示，可以在保证不丢失信息的同时，忽略一些噪声细节干扰并提高特征提取的速度。为后续表述方便，在本发明实施例中，将待提取特征的区域regjwd和统记为reg′。
步骤S5.特征提取。
将reg′分割为3s*3s的正方形，其中，s为步骤S4中确定的采样步长。如图3所示，图中子正方形的中心坐标落在连通区域内则保留，否则不保留。
记一个待提取特征区域的各个正方形为squi(i＝1，2，…，n1)。计算squi(i＝1，2，...，n1)内3*3个采样点的dx，dy(采样步长为步骤S4中确定的采样步长s)。本实施例中采用的dx，dy响应计算模板分别如图4和图5所示，其中，图4为dx空间模板，图5为dy空间模板，其中，图4和图5中的黑色方块表示权重为-1，灰色方块表示权重为0，白色方块表示权重为+1。
计算squi(i＝1，2，...，n1)的描述子：
其中k0＝|(∑dx，∑|dx|，∑dy，∑|dy|)|，用来归一化描述子αi，以图消除光照的影响。
步骤S6.最终判定。具体包括：
a)计算待检测图像中每一个区域(j＝1，2，...，m)与背景图库中对应图像的对应的一组区域(j＝1，2，…，m，u＝v＝-2、-1、0、1、2.)特征的欧式距离其中，欧式距离由以下公式给出：
其中，为配准后的待检测图像中区域(j＝1，2，...，m)中子正方形squi(i＝1，2，...，n1)的中心坐标。为配准后的待检测图像中区域(j＝1，2，...，m)的中心坐标。σ为标准差，本实施例中取σ＝1.5。k1为归一化系数，
定义待检测图像中每一个区域(j＝1，2，...，m)特征的匹配距离(j＝1，2，...，m)。其中，min表示取多个特征的欧式距离中的最小值。
b)计算待检测图像中每一个区域(j＝1，2，...，m)的匹配距离平移变化率ratj(j＝1，2，...，m)。其中，ratj由如下公式给出：
其中，为对于u＝v＝-2、-1、0、1、2的平均数。
c)最终判断。若
则区域(j＝1，2，...，m)为干扰区域，即非缺陷。否则为真正缺陷区域。其中，即对号函数，对号函数对比值敏感，故此处用对号函数对ratj(j＝1，2，...，m)进行优化。即布特沃斯函数，因为小面积区域的ratj(j＝1，2，...，m)易受噪声等干扰，可信度低，故用此函数进行屏蔽。此处n，x0视图像大小而定，本实施例中分别取n＝5，x0＝90。areaj为(j＝1，2，...，m)的面积。
实施例三：
图6是根据本发明实施例提供的一种加工设备的异物检测系统的示意图，如图6所示，该系统包括：获取模块10，查询模块20，配准模块30，差分模块40，特征提取模块50，计算模块60和判断模块70。
具体地，获取模块10，用于获取加工设备在工作时的待检测图像。
查询模块20，用于在多张样本图像中查询与待检测图像最为匹配的样本图像，得到目标样本图像；其中，多张样本图像为加工设备在一个采样周期内，无异物工作时的不同时刻所对应的样本图像。
配准模块30，用于将待检测图像配准到目标样本图像所在的坐标系中，得到配准后的待检测图像。
差分模块40，用于计算配准后的待检测图像与目标样本图像的差分图像，并对差分图像进行阈值分割操作，8连通区域筛选操作以及区域平移操作，得到目标差分区域。
特征提取模块50，用于对配准后的待检测图像中与目标差分区域相对应的区域进行特征提取操作，得到第一特征，和对目标样本图像中与目标差分区域相对应的区域进行特征提取操作，得到第二特征。
计算模块60，用于计算第一特征与第二特征之间的欧氏距离。
判断模块70，用于基于欧氏距离判断加工设备是否在工作时出现异物。
本发明实施例提供了一种加工设备的异物检测系统，通过对加工设备在工作过程中，实时获取到的待检测图像进行处理，与无异物工作时的样本图像进行对比，最后通过对待检测图像和样本图像中相对应的区域进行特征提取操作而得到的特征进行计算，得到欧式距离，并基于欧式距离判断所述加工设备是否在工作时出现异物的方式，缓解了现有技术中存在的无法实时检测加工设备中的出现异物情况的技术问题。
具体地，查询模块20还用于对包含加工设备的周期性运动场景进行采样，得到一个采样周期内不同时刻所对应的样本图像，其中，得到的多张样本图像为加工设备在无故障时工作过程中的采样图像。
然后通过计算两图像差值的F-范数的方法在多张样本图像中查询与待检测图像最为匹配的目标样本图像。具体地，分别计算待检测图像与多张样本图像的差分图像，得到多个差分图像；计算多个差分图像的F-范数，得到多个F-范数值；将多个F-范数值当中最小的F-范数值所对应的样本图像作为目标样本图像。
可选地，一个采样周期可以为加工设备的一个工作周期。
具体地，配准模块30还用于计算待检测图像与目标样本图像之间的仿射变换矩阵；基于仿射变换矩阵，对待检测图像做仿射变换，得到配准后的待检测图像。这样可以使变换后的待检测图像与目标样本图像在细节上更好的匹配上。
可选地，差分模块40还包括：阈值分割单元41，滤波单元42，8连通区域筛选单元43和区域平移单元44。
具体地，阈值分割单元41，用于对差分图像进行阈值分割操作，得到第一差分图像。可选地，在本发明实施例中，对差分图像进行二值分割操作，得到第一差分图像。
滤波单元42，用于对第一差分图像进行高斯低通滤波操作，得到第二差分图像。目的是过滤掉第一差分图像中的高频细节干扰，从而得到包含较大8连通区域的图像。
8连通区域筛选单元43，用于对第二差分图像进行8连通区域分割操作，将得到的8连通区域中，面积大于预设值的区域作为目标差分区域。具体地，标定第二差分图像中所有的8连通区域，过滤掉面积小于或等于预设值的8连通区域，得到目标差分区域。
区域平移单元44，用于分别将差分图像向下和向右平移第一预设值和第二预设值，得到目标差分区域。
可选地，判断模块70还包括：第一计算单元71，第二计算单元72和异物判断单元73。
具体地，第一计算单元71，用于改变第一预设值和第二预设值的取值，计算得到不同取值下的多个欧式距离；将多个欧式距离中的最小距离作为匹配欧式距离。
第二计算单元72，用于计算多个欧式距离中的最大距离与多个欧式距离的平均值的比值，得到欧式距离的平移变化率。
异物判断单元73，用于基于匹配欧式距离与平移变化率，判断加工设备是否在工作时出现异物。
本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例一或实施例二中任一实施例的方法的步骤。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种加工设备的异物检测方法，其特征在于，包括：
获取加工设备在工作时的待检测图像；
在多张样本图像中查询与所述待检测图像最为匹配的样本图像，得到目标样本图像；其中，所述多张样本图像为所述加工设备在一个采样周期内，无异物工作时的不同时刻所对应的样本图像；
将所述待检测图像配准到所述目标样本图像所在的坐标系中，得到配准后的待检测图像；
计算所述配准后的待检测图像与所述目标样本图像的差分图像，并对所述差分图像进行阈值分割操作，8连通区域筛选操作以及区域平移操作，得到目标差分区域；
对所述配准后的待检测图像中与所述目标差分区域相对应的区域进行特征提取操作，得到第一特征，和对所述目标样本图像中与所述目标差分区域相对应的区域进行特征提取操作，得到第二特征；
计算所述第一特征与所述第二特征之间的欧氏距离；
基于所述欧氏距离判断所述加工设备是否在工作时出现异物。
2.根据权利要求1所述的方法，其特征在于，在多张样本图像中查询与所述待检测图像最为匹配的样本图像，得到目标样本图像，包括：
分别计算所述待检测图像与所述多张样本图像的差分图像，得到多个差分图像；
计算所述多个差分图像的F-范数，得到多个F-范数值；
将所述多个F-范数值当中最小的F-范数值所对应的样本图像作为目标样本图像。
3.根据权利要求1所述的方法，其特征在于，将所述待检测图像配准到所述目标样本图像所在的坐标系中，得到配准后的待检测图像，包括：
计算所述待检测图像与所述目标样本图像之间的仿射变换矩阵；
基于所述仿射变换矩阵，对所述待检测图像做仿射变换，得到配准后的待检测图像。
4.根据权利要求1所述的方法，其特征在于，对所述差分图像进行阈值分割操作和8连通区域筛选操作，得到目标差分区域，包括：
对所述差分图像进行阈值分割操作，得到第一差分图像；
对所述第一差分图像进行高斯低通滤波操作，得到第二差分图像；
对所述第二差分图像进行8连通区域分割操作，将得到的8连通区域中，面积大于预设值的区域作为目标差分区域。
5.根据权利要求1所述的方法，其特征在于，对所述差分图像进行区域平移操作，得到目标差分区域，包括：
分别将所述差分图像向下和向右平移第一预设值和第二预设值，得到目标差分区域。
6.根据权利要求5所述的方法，其特征在于，基于所述欧氏距离判断所述加工设备是否在工作时出现异物，包括：
改变所述第一预设值和所述第二预设值的取值，计算得到不同取值下的多个欧式距离；
将所述多个欧式距离中的最小距离作为匹配欧式距离；
计算所述多个欧式距离中的最大距离与所述多个欧式距离的平均值的比值，得到欧式距离的平移变化率；
基于所述匹配欧式距离与所述平移变化率，判断所述加工设备是否在工作时出现异物。
7.根据权利要求6所述的方法，其特征在于，基于所述匹配欧式距离与所述平移变化率，判断所述加工设备是否在工作时出现异物，包括：
将所述平移变化率代入到预设优化函数中，得到优化之后的平移变化率；
计算所述匹配欧式距离与所述优化之后的平移变化率的比值，得到判断比值；
比较所述判断比值与预设阈值的大小，若所述判断比值大于或等于所述预设阈值，则判断所述加工设备在工作时出现了异物。
8.根据权利要求7所述的方法，其特征在于，所述优化函数包括以下至少之一：对号函数，布特沃斯函数。
9.一种加工设备的异物检测系统，其特征在于，包括：获取模块，查询模块，配准模块，差分模块，特征提取模块，计算模块和判断模块，其中，
所述获取模块，用于获取加工设备在工作时的待检测图像；
所述查询模块，用于在多张样本图像中查询与所述待检测图像最为匹配的样本图像，得到目标样本图像；其中，所述多张样本图像为所述加工设备在一个采样周期内，无异物工作时的不同时刻所对应的样本图像；
所述配准模块，用于将所述待检测图像配准到所述目标样本图像所在的坐标系中，得到配准后的待检测图像；
所述差分模块，用于计算所述配准后的待检测图像与所述目标样本图像的差分图像，并对所述差分图像进行阈值分割操作，8连通区域筛选操作以及区域平移操作，得到目标差分区域；
所述特征提取模块，用于对所述配准后的待检测图像中与所述目标差分区域相对应的区域进行特征提取操作，得到第一特征，和对所述目标样本图像中与所述目标差分区域相对应的区域进行特征提取操作，得到第二特征；
所述计算模块，用于计算所述第一特征与所述第二特征之间的欧氏距离；
所述判断模块，用于基于所述欧氏距离判断所述加工设备是否在工作时出现异物。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至8任一项所述的方法的步骤。
CN201910798979.4A 2019-08-27 2019-08-27 加工设备的异物检测方法和系统 Active CN110490872B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910798979.4A CN110490872B (zh) 2019-08-27 2019-08-27 加工设备的异物检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910798979.4A CN110490872B (zh) 2019-08-27 2019-08-27 加工设备的异物检测方法和系统

Publications (2)

Publication Number Publication Date
CN110490872A true CN110490872A (zh) 2019-11-22
CN110490872B CN110490872B (zh) 2022-03-01

Family

ID=68554715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910798979.4A Active CN110490872B (zh) 2019-08-27 2019-08-27 加工设备的异物检测方法和系统

Country Status (1)

Country Link
CN (1) CN110490872B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680609A (zh) * 2020-06-03 2020-09-18 合肥中科类脑智能技术有限公司 基于图像配准和目标检测的异物识别系统及其方法
CN113724247A (zh) * 2021-09-15 2021-11-30 国网河北省电力有限公司衡水供电分公司 一种基于图像判别技术的变电站智能巡检方法
CN117278692A (zh) * 2023-11-16 2023-12-22 邦盛医疗装备（天津）股份有限公司 一种医疗检测车病患监测数据脱敏保护方法
CN112785587B (zh) * 2021-02-04 2024-05-31 上海电气集团股份有限公司 堆叠生产过程中的异物检测方法、系统、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834931A (zh) * 2015-03-13 2015-08-12 江南大学 一种基于小波变换的改进的尺度不变特征匹配算法
US20170178331A1 (en) * 2015-12-17 2017-06-22 Casio Computer Co., Ltd. Autonomous movement device, autonomous movement method and non-transitory recording medium
CN107180422A (zh) * 2017-04-02 2017-09-19 南京汇川图像视觉技术有限公司 一种基于词袋特征的标贴破损检测方法
CN108288274A (zh) * 2018-02-24 2018-07-17 北京理工大学 模具检测方法、装置以及电子设备
US20190188521A1 (en) * 2017-12-19 2019-06-20 International Business Machines Corporation Identifying temporal changes of industrial objects by matching images
CN109933684A (zh) * 2019-02-14 2019-06-25 北京工业大学 基于pcl库和特征值提取的飞机零件三维模型的检索方法
CN110148162A (zh) * 2019-04-29 2019-08-20 河海大学 一种基于复合算子的异源图像匹配方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834931A (zh) * 2015-03-13 2015-08-12 江南大学 一种基于小波变换的改进的尺度不变特征匹配算法
US20170178331A1 (en) * 2015-12-17 2017-06-22 Casio Computer Co., Ltd. Autonomous movement device, autonomous movement method and non-transitory recording medium
CN107180422A (zh) * 2017-04-02 2017-09-19 南京汇川图像视觉技术有限公司 一种基于词袋特征的标贴破损检测方法
US20190188521A1 (en) * 2017-12-19 2019-06-20 International Business Machines Corporation Identifying temporal changes of industrial objects by matching images
CN108288274A (zh) * 2018-02-24 2018-07-17 北京理工大学 模具检测方法、装置以及电子设备
CN109933684A (zh) * 2019-02-14 2019-06-25 北京工业大学 基于pcl库和特征值提取的飞机零件三维模型的检索方法
CN110148162A (zh) * 2019-04-29 2019-08-20 河海大学 一种基于复合算子的异源图像匹配方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHAO ZHENFENG: "A multi-scale and multi-orientation image retrieval", 《SCIENCE CHINA》 *
贾振堂: "一种基于运动边缘检测的视频对象分割新算法", 《计算机研究与发展》 *
黄海波: "基于标准化欧式距离的双向特征匹配算法研究", 《电脑与电信》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680609A (zh) * 2020-06-03 2020-09-18 合肥中科类脑智能技术有限公司 基于图像配准和目标检测的异物识别系统及其方法
CN112785587B (zh) * 2021-02-04 2024-05-31 上海电气集团股份有限公司 堆叠生产过程中的异物检测方法、系统、设备及介质
CN113724247A (zh) * 2021-09-15 2021-11-30 国网河北省电力有限公司衡水供电分公司 一种基于图像判别技术的变电站智能巡检方法
CN113724247B (zh) * 2021-09-15 2024-05-03 国网河北省电力有限公司衡水供电分公司 一种基于图像判别技术的变电站智能巡检方法
CN117278692A (zh) * 2023-11-16 2023-12-22 邦盛医疗装备（天津）股份有限公司 一种医疗检测车病患监测数据脱敏保护方法
CN117278692B (zh) * 2023-11-16 2024-02-13 邦盛医疗装备（天津）股份有限公司 一种医疗检测车病患监测数据脱敏保护方法

Also Published As

Publication number Publication date
CN110490872B (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
CN110490872A (zh) 加工设备的异物检测方法和系统
JP5551595B2 (ja) 滑走路監視システムおよび方法
CN110458839B (zh) 一种有效的电线电缆监测系统
CN111898486B (zh) 监控画面异常的检测方法、装置及存储介质
CN111079556A (zh) 一种多时相无人机视频图像变化区域检测及分类方法
CN111008961B (zh) 一种输电线路设备缺陷检测方法及其系统、设备、介质
CN112907522B (zh) 一种智能红外气体泄漏监测装置及监测方法
CN106530281A (zh) 基于边缘特征的无人机图像模糊判断方法及系统
CN115661669B (zh) 一种基于视频监控的耕地违法占用监测方法及系统
CN111563896B (zh) 一种用于接触网异常检测的图像处理方法
CN110660065B (zh) 一种红外故障检测识别算法
CN117876971B (zh) 基于机器视觉的建筑施工安全监测及预警方法
CN112927223A (zh) 一种基于红外热成像仪的玻璃幕墙检测方法
CN115018785A (zh) 基于视觉振频识别的提升钢丝绳张力检测方法
CN107369163B (zh) 一种基于最佳熵双阈值分割的快速sar图像目标检测方法
CN114581658A (zh) 一种基于计算机视觉的目标检测方法及装置
CN109815784A (zh) 一种基于红外热像仪的智能分类方法、系统及存储介质
CN116805234A (zh) 一种基于激光雷达及相机融合的仓库物资管控方法
CN116363578A (zh) 一种基于视觉的船舶封闭舱室人员监测方法和系统
CN112116561B (zh) 基于图像处理融合网络权值的电网传输线检测方法及装置
CN114782561A (zh) 基于大数据的智慧农业云平台监控系统
US20230022429A1 (en) Systems and methods for efficently sensing collison threats
Abdulmunim et al. Propose a mixture edge detection method for infrared image segmentation
Yang et al. A fire detection method based on computer vision
CN117541615B (zh) 一种自动铺网装置的螺栓松动检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant