CN108986152B - 一种基于差分图像的异物检测方法及装置 - Google Patents

一种基于差分图像的异物检测方法及装置 Download PDF

Info

Publication number
CN108986152B
CN108986152B CN201810596824.8A CN201810596824A CN108986152B CN 108986152 B CN108986152 B CN 108986152B CN 201810596824 A CN201810596824 A CN 201810596824A CN 108986152 B CN108986152 B CN 108986152B
Authority
CN
China
Prior art keywords
image
detected
foreign object
background image
generate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810596824.8A
Other languages
English (en)
Other versions
CN108986152A (zh
Inventor
吴鹏
董世文
高畅
刘思言
王博
韩强
王扬
杨青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Tianjin Electric Power Co Ltd
Global Energy Interconnection Research Institute
Original Assignee
State Grid Corp of China SGCC
State Grid Tianjin Electric Power Co Ltd
Global Energy Interconnection Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Tianjin Electric Power Co Ltd, Global Energy Interconnection Research Institute filed Critical State Grid Corp of China SGCC
Priority to CN201810596824.8A priority Critical patent/CN108986152B/zh
Publication of CN108986152A publication Critical patent/CN108986152A/zh
Priority to PCT/CN2019/090121 priority patent/WO2019237976A1/zh
Application granted granted Critical
Publication of CN108986152B publication Critical patent/CN108986152B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于差分图像的异物检测方法及装置，该基于差分图像的异物检测方法包括：获取待检测图像和背景图像，根据待检测图像对背景图像进行配准，生成配准背景图像；对待检测图像与配准背景图像进行差分计算，生成差分图像；对差分图像进行分割，得到多个区元；采用基于欧式距离的区元最近邻域融合算法，对多个区元进行邻域融合，生成异物区元；将异物区元在待检测图像的对应位置进行标记，生成异物检测结果。通过实施本发明，实现了对目标图像的异物检测，提高了异物检测的准确性，进而有效避免了异物目标的漏检。

Description

一种基于差分图像的异物检测方法及装置
技术领域
本发明涉及图像分析技术领域，具体涉及一种基于差分图像的异物检测方法及装置。
背景技术
图像的目标检测是图像处理、模式识别和计算机视觉等领域的关键技术，它的目的是通过提取图像中某些能反映目标重要性、本原属性的像素或像素区域特征，然后进行特征检测，从而将感兴趣目标检测出来。长期以来，如何有效的检测图像的感兴趣目标一直受到众多学者的关注。目前，图像的目标检测方法主要有基于深度学习的方法、基于背景统计特征的方法和基于边缘检测的方法等。其中，基于背景统计特征的方法是一个较为活跃的研究方向。
在现有技术中，基于差分图像的异物检测就是根据源于同一场景的异物图像与背景图像(如运动视频两张连续帧的图像、不同时刻同一点位的图像与监控图像)得到差分图像，再对差分图像进行分割并根据分割结果检测出目标的过程。然而，在实际应用中，由于异物图像与背景图像之间可能因为图像获取的时间、光照条件、传感器位置等不一致，使得异物图像与背景图像的成像条件有较大差异，采用现有技术中的基于差分图像的异物检测方法进行异物目标的检测准确性较低，容易造成异物目标的漏检。
发明内容
本发明要解决的技术问题在于克服现有技术中的基于差分图像的异物检测方法进行异物目标的检测准确性较低，容易造成异物目标的漏检等问题。
根据第一方面，本发明实施例提供了一种基于差分图像的异物检测方法，包括：获取待检测图像和背景图像，根据所述待检测图像对所述背景图像进行配准，生成配准背景图像；对所述待检测图像与所述配准背景图像进行差分计算，生成差分图像；对所述差分图像进行分割，得到多个区元；采用基于欧式距离的区元最近邻域融合算法，对所述多个区元进行邻域融合，生成异物区元；将所述异物区元在所述待检测图像的对应位置进行标记，生成异物检测结果。
结合第一方面，在第一方面的第一实施方式中，所述根据所述待检测图像对所述背景图像进行配准，生成配准背景图像，包括：采用图像特征匹配算法对所述待检测图像及所述背景图像进行图像匹配，得到各匹配特征点对；根据各所述匹配特征点对，生成所述待检测图像与所述背景图像的空间坐标变换模型；根据所述空间坐标变换模型及所述待检测图像对所述背景图像进行配准，生成配准背景图像。
结合第一方面，在第一方面的第二实施方式中，所述对所述差分图像进行分割，得到多个区元，包括：对所述差分图像进行腐蚀操作，生成预处理差分图像；对所述预处理差分图像进行膨胀操作，生成多个区域；将所述多个区域的最小外接矩形确定为多个区元。
结合第一方面，在第一方面的第三实施方式中，所述采用基于欧式距离的区元最近邻域融合算法，对各所述区元进行邻域融合，生成异物区元，包括：分别计算所述多个区元的质心和质量；将质量最大的所述区元作为第一中心区元，并计算所述第一中心区元与其它各所述区元的欧式距离；将与所述第一中心区元的欧式距离最小的区元作为第二中心区元，并计算所述第二中心区元与其它各所述区元的欧式距离；当与所述第二中心区元欧式距离最小的区元为所述第一中心区元时，获取包含所述第一中心区元和所述第二中心区元的最小外接矩形，生成所述异物区元。
结合第一方面，在第一方面的第四实施方式中，所述将所述异物区元在所述待检测图像的对应位置进行标记，生成异物检测结果，包括：获取所述异物区元的最小外接矩形；计算所述异物区元最小外接矩形的四个顶点坐标；将所述待检测图像中与各所述顶点坐标对应的位置进行标记，生成异物检测结果。
根据第二方面，本发明实施例提供了一种基于差分图像的异物检测装置，包括：配准背景图像生成模块，用于获取待检测图像和背景图像，根据所述待检测图像对所述背景图像进行配准，生成配准背景图像；差分图像生成模块，用于对所述待检测图像与所述配准背景图像进行差分计算，生成差分图像；区元生成模块，用于对所述差分图像进行分割，得到多个区元；异物区元生成模块，用于采用基于欧式距离的区元最近邻域融合算法，对所述多个区元进行邻域融合，生成异物区元；异物检测结果生成模块，用于将所述异物区元在所述待检测图像的对应位置进行标记，生成异物检测结果。
结合第二方面，在第二方面的第一实施方式中，所述配准背景图像生成模块包括：匹配特征点对生成子模块，用于采用图像特征匹配算法对所述待检测图像及所述背景图像进行图像匹配，得到各匹配特征点对；空间坐标变换模型构建子模块，用于根据各所述匹配特征点对，生成所述待检测图像与所述背景图像的空间坐标变换模型；配准背景图像生成子模块，用于根据所述空间坐标变换模型及所述待检测图像对所述背景图像进行配准，生成配准背景图像。
结合第二方面，在第二方面的第二实施方式中，所述异物区元生成模块包括：区元计算子模块，用于分别计算所述多个区元的质心和质量；第一中心区元欧氏距离计算子模块，用于将质量最大的所述区元作为第一中心区元，并计算所述第一中心区元与其它各所述区元的欧式距离；第二中心区元欧氏距离计算子模块，用于将与所述第一中心区元的欧式距离最小的区元作为第二中心区元，并计算所述第二中心区元与其它各所述区元的欧式距离；异物区元构建子模块，当与所述第二中心区元欧式距离最小的区元为所述第一中心区元时，所述异物区元构建子模块用于获取包含所述第一中心区元和所述第二中心区元的最小外接矩形，生成所述异物区元。
根据第三方面，本发明实施例提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种可选方式中所述的基于差分图像的异物检测方法。
根据第四方面，本发明实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行第一方面或者第一方面的任意一种可选方式中所述的基于差分图像的异物检测方法。
本发明技术方案，具有如下优点：
本发明实施例通过获取待检测图像和背景图像，根据待检测图像对背景图像进行配准，生成配准背景图像，然后对待检测图像与配准背景图像进行差分计算，生成差分图像，并对差分图像进行分割，得到多个区元，然后采用基于欧式距离的区元最近邻域融合算法，对多个区元进行邻域融合，生成异物区元，最后将异物区元在待检测图像的对应位置进行标记，生成异物检测结果。在本发明实施例中，在生成差分图像之前，利用待检测图像对背景图像进行配准，使所得到的差分图像所反映异物的特征更加准确，为后续异物检测提供准确的数据基础，并且在对差分图像进行分割后采用基于欧式距离的区元最近邻域融合算法对多个区元进行近邻域融合，提高了异物检测的准确性，进而有效避免了异物目标的漏检。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中基于差分图像的异物检测方法的流程图；
图2为本发明实施例中基于差分图像的异物检测方法的另一流程图；
图3为本发明实施例中基于差分图像的异物检测方法的另一流程图；
图4为本发明实施例中基于差分图像的异物检测方法的另一流程图；
图5为本发明实施例中基于差分图像的异物检测方法的另一流程图；
图6A-图6K为本发明实施例中基于差分图像的异物检测方法的实际应用实例示意图；
图7为本发明实施例中基于差分图像的异物检测装置的结构示意图；
图8为本发明实施例中基于差分图像的异物检测装置的另一结构示意图；
图9为本发明实施例中基于差分图像的异物检测装置的另一结构示意图；
图10为本发明实施例中计算机设备的结构示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本发明实施例提供一种基于差分图像的异物检测方法，如图1所示，该自动授权方法包括：
步骤S1：获取待检测图像和背景图像，根据待检测图像对背景图像进行配准，生成配准背景图像。具体地，在本发明实施例中采用图像特征匹配算法来实现背景图像与待检测图像的配准。
步骤S2：对待检测图像与配准背景图像进行差分计算，生成差分图像。该差分图像是通过将待检测图像与上述配准背景图像作正差运算得到的。
步骤S3：对差分图像进行分割，得到多个区元。在本发明实施例中，采用形态学的分割算法实现对差分图像的分割。
步骤S4：采用基于欧式距离的区元最近邻域融合算法，对多个区元进行邻域融合，生成异物区元。该异物区元表示异物在图像中所占有的区域位置信息。
步骤S5：将异物区元在待检测图像的对应位置进行标记，生成异物检测结果。该异物检测结果为用包含异物的最小外接矩形来标记出异物在待检测图像中的具体位置。
通过执行上述的步骤S1至步骤S5，本发明实施例提供的基于差分图像的异物检测方法，通过在生成差分图像之前，利用待检测图像对背景图像进行配准，使所得到的差分图像所反映异物的特征更加准确，为后续异物检测提供准确的数据基础，并且在对差分图像进行分割后采用基于欧式距离的区元最近邻域融合算法对多个区元进行近邻域融合，提高了异物检测的准确性，进而有效避免了异物目标的漏检。
以下结合具体示例对本发明实施例的基于差分图像的异物检测方法做进一步说明。
在一较佳实施例中，如图2所示，上述的步骤S1，获取待检测图像和背景图像，根据待检测图像对背景图像进行配准，生成配准背景图像，具体包括：
步骤S11：采用图像特征匹配算法对待检测图像及背景图像进行图像匹配，得到各匹配特征点对。具体地，在一实施例中，得到上述各匹配特征点对具体过程为：首先，利用高斯金字塔算子对待检测图像的积分图像及背景图像的积分图像进行卷积操作，分别形成待检测图像与背景图像的尺度空间，检测得到多个极值点；其次，剔除响应值小于预设阈值的点，将各个候选点中的大曲率的边缘点筛选掉；然后，利用关键点邻域像素的梯度分布特性来计算关键点主方向，梯度方向直方图中主峰值能量80％的以上的峰值所对应的方向作为辅方向，通过高斯加权，形成128维的特征向量；最后，通过比较最近邻欧氏距离与次近邻欧氏距离的比值，根据产生的关键点描述子序列，基于欧氏距离初步得到关键点对，再用随机抽样一致算法(Random sample consensus，RANSAC)进行精确匹配，得到最终的各个匹配点对。
步骤S12：根据各匹配特征点对，生成待检测图像与背景图像的空间坐标变换模型。具体地，在一实施例中，通过上述各个匹配特征点对的坐标参数，得到待检测图像与背景图像直接的空间坐标变换参数，然后根据该空间坐标变换参数生产空间坐标变换模型。
步骤S13：根据空间坐标变换模型及待检测图像对背景图像进行配准，生成配准背景图像。具体地，在一实施例中，在得到上述空间变换模型后，根据该空间变换模型对上述背景图像进行变换和赋值，具体为从背景图像上的像素点出发，计算待检测图像上对应位置的像素点坐标，然后将背景图像上该点的灰度值作为变换后的像素点的灰度值，从而完成配准，得到配准背景图像。
具体地，在一实施例中，上述的步骤S2，对待检测图像与配准背景图像进行差分计算，生成差分图像。该差分图像是通过将待检测图像与上述配准背景图像作正差运算得到的，具体操作为将配准背景图像与待检测图像的每个对应位置上的像素值进行相减，得到的图像结果即为差分图像。
在一较佳实施例中，如图3所示，上述的步骤S3，对差分图像进行分割，得到多个区元，具体包括：
步骤S31：对差分图像进行腐蚀操作，生成预处理差分图像。具体地，在一实施例中，该腐蚀操作的具体过程为首先获得上述的差分图像的RGB三通道的各通道灰度图像，然后对每一通道的灰度图像进行腐蚀操作，即使用预设的矩形卷积核，以该卷积核的中心为锚点，与上述灰度图像进行卷积，计算最小值并作为卷积核锚点在灰度图像中对应位置的像素点的新取值，得到的新的灰度图像即为上述预处理差分图像。
步骤S32：对预处理差分图像进行膨胀操作，生成多个区域。具体地，在一实施例中，该膨胀操作的具体过程为首先使用预设的矩形卷积核，以该卷积核的中心为锚点，与上述预处理差分图像进行卷积，计算最大值作为卷积核锚点在预处理差分图像中对应位置的像素点的新取值，得到多个连通区域。
步骤S33：将多个区域的最小外接矩形确定为多个区元。获取上述多个区域的最小外接矩形，用该区域的最小外接矩形所包含的区域确定为与该区域对应的区元。
在一较佳实施例中，如图4所示，上述的步骤S4，采用基于欧式距离的区元最近邻域融合算法，对多个区元进行邻域融合，生成异物区元，具体包括：
步骤S41：分别计算多个区元的质心和质量。具体地，在一实施例中，该区元的质量为区元中像素的总个数，区元的质心对应于对连续正整数像素点集合能够包含的最小圆的圆心，区元的定位结构为冯诺伊曼十字型，即：由一个中心元素和4个位于其临近上下左右方位的元素组成，共包含5个元素。为了实现区域的定位任务，首先从区元图像中利用定位结构按指定的局部规则对区元进行检测并编号，然后依据二维空间边界坐标比较，计算出区元质心，各个区元计算完毕即得到多区元的定位结果。在本发明实施例中，采用十字求和法作为检测连续元素的局部规则。以用十字形结构对每个元素及其周围元素进行加和得到的结果作为检测元素是否满足某种条件的方法叫十字求和法。
本发明实施例中，十字型区元检测法的具体计算过程为：按照公式(1)计算当前元素的检测变量：
Dv(i,j)＝D(i-1,j)+D(i+1,j)+D(i,j-1)+D(i,j+1) (1)
其中，Dv(i,j)表示当前元素的检测变量值，Dv(i-1,j)、Dv(i+1,j)、Dv(i,j-1)、Dv(i,j+1)分别表示当前元素左、右、上、下像素的灰度值，i和j均为正整数。
本发明实施例中，按照公式(2)计算区元质量：
Figure BDA0001691893980000111
其中，Da(s)表示第S个区元的质量，Da(s)表示第S个区元中坐标为(i,j)点对上述检测连续元素的局部规则的符合状态，M、N分别表示区元最小外接矩形的长度和宽度。
步骤S42：将质量最大的区元作为第一中心区元，并计算第一中心区元与其它各区元的欧式距离。通过上述公式(2)的计算选出质量最大的区元即为第一中心区元，然后计算该第一中心区元与其他各个区元的欧式距离，在本发明实施例中，以第一中心区元质心为初始点计算其与其他各个区元质心之间的欧式距离，两个空间向量具体按照公式(3)计算欧式距离：
Figure BDA0001691893980000112
其中，d(x,y)表示向量x与向量y之间的距离，x＝(x1,x2,…,xp)，y＝(y1,y2,…,yp)，p表示空间维数，p为正整数。
步骤S43：将与第一中心区元的欧式距离最小的区元作为第二中心区元，并计算第二中心区元与其它各区元的欧式距离。具体地，在一实施例中，可采用上述的公式(3)来计算第二中心区元与其它各区元的欧式距离。
步骤S44：当与第二中心区元欧式距离最小的区元为第一中心区元时，获取包含第一中心区元和第二中心区元的最小外接矩形，生成异物区元。具体地，在一实施例中，基于最近邻域双向搜索的策略为：假设A是第一中心区元，B是第二中心区元，B是A的最近区元，A和B的区元之间的距离为d1，C是B的最近区元，B和C的区元之间的距离为d2，如果A＝C，则认为B是A的最近邻域，然后计算能够包含A和B的最小外接矩形，该最小外接矩形所包含的区域即为上述异物区元。
在一较佳实施例中，如图5所示，上述的步骤S5，将异物区元在待检测图像的对应位置进行标记，生成异物检测结果，具体包括：
步骤S51：获取异物区元的最小外接矩形。获取上述异物区元的最小外接矩形在上述差分图像中的坐标信息。
步骤S52：计算异物区元最小外接矩形的四个顶点坐标。根据上述异物区元的最小外接矩形的坐标信息，可以计算得到该最小外接矩形四个顶点相对应的在差分图像中的具体坐标值。
步骤S53：将待检测图像中与各顶点坐标对应的位置进行标记，生成异物检测结果。由于差分图像与待检测图像属于同一坐标空间内，所以上述各顶点坐标在差分图像中的坐标即为在待检测图像中的坐标，将四个顶点所确立的矩形区域进行标记即可得到待检测图像中的异物检测结果。
以下通过一个实际应用实例，来对本发明实施例的基于差分图像的异物检测方法做进一步说明。
首先，获取两幅同一场景下不同空间和时间的待检测图像和背景图像，待检测图像和背景图像分别如图6A和图6B所示，两幅图像的大小相同为600*800，并且在待检测图像上具有不同于背景图像的异物；提取这两幅图像的尺度不变特征，图6C为两幅图像中包含所提取的尺度不变特征的示意图，利用欧式距离和最近邻距离比率的匹配策略从尺度不变特征点中获取初始匹配点对，通过随机抽样一致算法(random sample consensus,RANSAC)进行精确稳定的尺度不变特征点提取，并对精确特征点进行匹配，匹配结果如图6D所示；根据匹配的精确特征点，计算从背景图像到待检测图像的空间变换模型。通过该空间变换模型，以待检测图像为参考图像，将背景图像变换到待检测图像的坐标空间下，生成配准背景图像，该配准背景图像如图6E所示。
其次，将待检测图像作为正图像，配准背景图像作为负图像，进行正差运算得到差分图像，该差分图像的示意图如图6F所示。
然后，采用形态学的分割算法对差分图像进行形态学分割并去噪，得到多个区元，结果如图6G所示，图6H和图6I分别为将两个不同区元以矩形线框表示出来，用来表示这两个区元的空间位置信息。
然后，采用基于欧式距离的区元最近邻域融合算法，对上述两个区元进行邻域融合，生成异物区元，进而得到更准确的异物坐标，该异物区元以矩形线框表示出来，如图6J所示。
最后，将上述异物区元在待检测图像的对应位置进行标记，生成异物检测结果，该异物检测结果如图6K所示，从结果可以看出本发明实施例所提供的基于差分图像的异物检测方法可以从两张同一场景下不同时空的图像中，将异物检测出来，并且获得了较好的检测效果。
通过执行上述的步骤S1至步骤S5，本发明实施例提供的基于差分图像的异物检测方法，实现了对目标图像的异物检测，提高了异物检测的准确性，进而有效避免了异物目标的漏检。
实施例2
本发明实施例提供一种基于差分图像的异物检测装置，如图7所示，该基于差分图像的异物检测装置包括：
配准背景图像生成模块1，用于获取待检测图像和背景图像，根据待检测图像对背景图像进行配准，生成配准背景图像。详细内容参考实施例1中的步骤S1。
差分图像生成模块2，用于对待检测图像与配准背景图像进行差分计算，生成差分图像。详细内容参考实施例1中的步骤S2。
区元生成模块3，用于对差分图像进行分割，得到多个区元。详细内容参考实施例1中的步骤S3。
异物区元生成模块4，用于采用基于欧式距离的区元最近邻域融合算法，对多个区元进行邻域融合，生成异物区元。详细内容参考实施例1中的步骤S4。
异物检测结果生成模块5，用于将异物区元在待检测图像的对应位置进行标记，生成异物检测结果。详细内容参考实施例1中的步骤S5。
通过上述各个组成部分的协同合作，本发明实施例的基于差分图像的异物检测装置，通过在生成差分图像之前，利用待检测图像对背景图像进行配准，使所得到的差分图像所反映异物的特征更加准确，为后续异物检测提供准确的数据基础，并且在对差分图像进行分割后采用基于欧式距离的区元最近邻域融合算法对多个区元进行近邻域融合，提高了异物检测的准确性，进而有效避免了异物目标的漏检。
以下结合具体示例对本发明实施例的基于差分图像的异物检测装置做进一步说明。
在一较佳实施例中，如图8所示，上述的配准背景图像生成模块1包括：
匹配特征点对生成子模块11，用于采用图像特征匹配算法对待检测图像及背景图像进行图像匹配，得到各匹配特征点对。详细内容参考实施例1中的步骤S11。
空间坐标变换模型构建子模块12，用于根据各匹配特征点对，生成待检测图像与背景图像的空间坐标变换模型。详细内容参考实施例1中的步骤S12。
配准背景图像生成子模块13，用于根据空间坐标变换模型及待检测图像对背景图像进行配准，生成配准背景图像。详细内容参考实施例1中的步骤S13。
在一较佳实施例中，如图9所示，上述的异物区元生成模块4包括：
区元计算子模块41，用于分别计算多个区元的质心和质量。详细内容参考实施例1中的步骤S41。
第一中心区元欧氏距离计算子模块42，用于将质量最大的区元作为第一中心区元，并计算第一中心区元与其它各区元的欧式距离。详细内容参考实施例1中的步骤S42。
第二中心区元欧氏距离计算子模块43，用于将与第一中心区元的欧式距离最小的区元作为第二中心区元，并计算第二中心区元与其它各区元的欧式距离。详细内容参考实施例1中的步骤S43。
异物区元构建子模块44，当与第二中心区元欧式距离最小的区元为第一中心区元时，异物区元构建子模块44用于获取包含第一中心区元和第二中心区元的最小外接矩形，生成异物区元。详细内容参考实施例1中的步骤S44。
通过上述各个组成部分的协同合作，本发明实施例的基于差分图像的异物检测装置，实现了对目标图像的异物检测，提高了异物检测的准确性，进而有效避免了异物目标的漏检。
实施例3
本发明实施例提供一种非暂态计算机存储介质，该计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意实施例1中的基于差分图像的异物检测方法。其中，上述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard DiskDrive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；该存储介质还可以包括上述种类的存储器的组合。
实施例4
本发明实施例提供一种基于差分图像的异物检测方法的电子设备，其结构示意图如图10所示，该设备包括：一个或多个处理器410以及存储器420，图10中以一个处理器410为例。
执行基于差分图像的异物检测方法的电子设备还可以包括：输入装置430和输出装置440。
处理器410、存储器420、输入装置430和输出装置440可以通过总线或者其他方式连接，图10中以通过总线连接为例。
处理器410可以为中央处理器(Central Processing Unit，CPU)。处理器410还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器420作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施例中的基于差分图像的异物检测方法对应的程序指令/模块，处理器410通过运行存储在存储器420中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的基于差分图像的异物检测方法。
存储器420可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据基于差分图像的异物检测的处理装置的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器420可选包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至基于差分图像的异物检测装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可接收输入的数字或字符信息，以及产生与基于差分图像的异物检测操作的处理装置有关的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。
一个或者多个模块存储在存储器420中，当被一个或者多个处理器410执行时，执行如图1-图5所示的方法。
上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本发明实施例中详尽描述的技术细节，具体可参见如图1-图5所示的实施例中的相关描述。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (8)

1.一种基于差分图像的异物检测方法，其特征在于，包括：
获取待检测图像和背景图像，根据所述待检测图像对所述背景图像进行配准，生成配准背景图像；
对所述待检测图像与所述配准背景图像进行差分计算，生成差分图像；
对所述差分图像进行分割，得到多个区元；
采用基于欧式距离的区元最近邻域融合算法，对所述多个区元进行邻域融合，生成异物区元；
将所述异物区元在所述待检测图像的对应位置进行标记，生成异物检测结果；
所述采用基于欧式距离的区元最近邻域融合算法，对所述多个区元进行邻域融合，生成异物区元，包括：
分别计算所述多个区元的质心和质量；
将质量最大的所述区元作为第一中心区元，并计算所述第一中心区元的质心与其它各所述区元的质心之间的欧式距离；
将与所述第一中心区元的欧式距离最小的区元作为第二中心区元，并计算所述第二中心区元的质心与其它各所述区元的质心之间的欧式距离；
当与所述第二中心区元欧式距离最小的区元为所述第一中心区元时，获取包含所述第一中心区元和所述第二中心区元的最小外接矩形，生成所述异物区元。
2.根据权利要求1所述的基于差分图像的异物检测方法，其特征在于，所述根据所述待检测图像对所述背景图像进行配准，生成配准背景图像，包括：
采用图像特征匹配算法对所述待检测图像及所述背景图像进行图像匹配，得到各匹配特征点对；
根据各所述匹配特征点对，生成所述待检测图像与所述背景图像的空间坐标变换模型；
根据所述空间坐标变换模型及所述待检测图像对所述背景图像进行配准，生成配准背景图像。
3.根据权利要求1所述的基于差分图像的异物检测方法，其特征在于，所述对所述差分图像进行分割，得到多个区元，包括：
对所述差分图像进行腐蚀操作，生成预处理差分图像；
对所述预处理差分图像进行膨胀操作，生成多个区域；
将所述多个区域的最小外接矩形确定为多个区元。
4.根据权利要求1所述的基于差分图像的异物检测方法，其特征在于，所述将所述异物区元在所述待检测图像的对应位置进行标记，生成异物检测结果，包括：
获取所述异物区元的最小外接矩形；
计算所述异物区元最小外接矩形的四个顶点坐标；
将所述待检测图像中与各所述顶点坐标对应的位置进行标记，生成异物检测结果。
5.一种基于差分图像的异物检测装置，其特征在于，包括：
配准背景图像生成模块(1)，用于获取待检测图像和背景图像，根据所述待检测图像对所述背景图像进行配准，生成配准背景图像；
差分图像生成模块(2)，用于对所述待检测图像与所述配准背景图像进行差分计算，生成差分图像；
区元生成模块(3)，用于对所述差分图像进行分割，得到多个区元；
异物区元生成模块(4)，用于采用基于欧式距离的区元最近邻域融合算法，对所述多个区元进行邻域融合，生成异物区元；
异物检测结果生成模块(5)，用于将所述异物区元在所述待检测图像的对应位置进行标记，生成异物检测结果；
所述异物区元生成模块(4)包括：
区元计算子模块(41)，用于分别计算所述多个区元的质心和质量；
第一中心区元欧氏距离计算子模块(42)，用于将质量最大的所述区元作为第一中心区元，并计算所述第一中心区元的质心与其它各所述区元的质心之间的欧式距离；
第二中心区元欧氏距离计算子模块(43)，用于将与所述第一中心区元的欧式距离最小的区元作为第二中心区元，并计算所述第二中心区元的质心与其它各所述区元的质心之间的欧式距离；
异物区元构建子模块(44)，当与所述第二中心区元欧式距离最小的区元为所述第一中心区元时，所述异物区元构建子模块用于获取包含所述第一中心区元和所述第二中心区元的最小外接矩形，生成所述异物区元。
6.根据权利要求5所述的基于差分图像的异物检测装置，其特征在于，所述配准背景图像生成模块(1)包括：
匹配特征点对生成子模块(11)，用于采用图像特征匹配算法对所述待检测图像及所述背景图像进行图像匹配，得到各匹配特征点对；
空间坐标变换模型构建子模块(12)，用于根据各所述匹配特征点对，生成所述待检测图像与所述背景图像的空间坐标变换模型；
配准背景图像生成子模块(13)，用于根据所述空间坐标变换模型及所述待检测图像对所述背景图像进行配准，生成配准背景图像。
7.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令被处理器执行时实现如权利要求1-4中任一项所述的基于差分图像的异物检测方法。
8.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-4中任一项所述的基于差分图像的异物检测方法。
CN201810596824.8A 2018-06-11 2018-06-11 一种基于差分图像的异物检测方法及装置 Active CN108986152B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810596824.8A CN108986152B (zh) 2018-06-11 2018-06-11 一种基于差分图像的异物检测方法及装置
PCT/CN2019/090121 WO2019237976A1 (zh) 2018-06-11 2019-06-05 基于差分图像的异物检测方法及装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810596824.8A CN108986152B (zh) 2018-06-11 2018-06-11 一种基于差分图像的异物检测方法及装置

Publications (2)

Publication Number Publication Date
CN108986152A CN108986152A (zh) 2018-12-11
CN108986152B true CN108986152B (zh) 2021-05-11

Family

ID=64540256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810596824.8A Active CN108986152B (zh) 2018-06-11 2018-06-11 一种基于差分图像的异物检测方法及装置

Country Status (2)

Country Link
CN (1) CN108986152B (zh)
WO (1) WO2019237976A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986152B (zh) * 2018-06-11 2021-05-11 全球能源互联网研究院有限公司 一种基于差分图像的异物检测方法及装置
CN109636832A (zh) * 2018-12-14 2019-04-16 清华大学苏州汽车研究院（吴江） 停靠检测方法、装置、电子设备和存储介质
CN109886271B (zh) * 2019-01-22 2021-01-26 浙江大学 融合深度学习网络和改进边缘检测的图像精确分割方法
CN110774055B (zh) * 2019-10-10 2021-02-12 华中科技大学 一种基于图像边缘检测的刀具断损监测方法及系统
CN112330597A (zh) * 2020-10-14 2021-02-05 浙江大华技术股份有限公司 一种图像差异检测方法、装置及计算机设备
CN113838037A (zh) * 2021-09-28 2021-12-24 国网山东省电力公司曲阜市供电公司 一种高空输电线异物检测方法及系统
CN113688801B (zh) * 2021-10-22 2022-02-15 南京智谱科技有限公司 一种基于光谱视频的化工气体泄漏检测方法及系统
CN114782701B (zh) * 2022-03-15 2023-01-03 广东科学技术职业学院 时序地标图像特征匹配方法、装置、电子设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957325A (zh) * 2010-10-14 2011-01-26 山东鲁能智能技术有限公司 基于变电站巡检机器人变电站设备外观异常识别方法
CN105046710A (zh) * 2015-07-23 2015-11-11 北京林业大学 基于深度图分割与代理几何体的虚实碰撞交互方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012118684A (ja) * 2010-11-30 2012-06-21 Saxa Inc 侵入者監視装置、異物実体画像の識別方法、及びプログラム
CN102519984B (zh) * 2011-11-16 2013-06-19 湖南大学 药液异物的抗振动机器视觉检测方法
JP5948983B2 (ja) * 2012-03-09 2016-07-06 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
CN102999888B (zh) * 2012-11-27 2015-02-25 西安交通大学 一种基于彩色图像分割的深度图去噪方法
CN103439348B (zh) * 2013-08-16 2015-07-15 中国科学院半导体研究所 基于差影法的遥控器按键缺陷检测方法
CN103559498A (zh) * 2013-09-24 2014-02-05 北京环境特性研究所 基于多特征融合的快速人车目标分类方法
CN103984961B (zh) * 2014-05-30 2017-12-05 成都西物信安智能系统有限公司 一种用于检测车底异物的图像检测方法
CN104568986A (zh) * 2015-01-26 2015-04-29 中国科学院半导体研究所 基于surf算法的遥控器面板印刷缺陷自动检测方法
CN105320942B (zh) * 2015-10-21 2018-07-06 东南大学 一种基于联合检测器的路面破损检测方法
CN108986152B (zh) * 2018-06-11 2021-05-11 全球能源互联网研究院有限公司 一种基于差分图像的异物检测方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957325A (zh) * 2010-10-14 2011-01-26 山东鲁能智能技术有限公司 基于变电站巡检机器人变电站设备外观异常识别方法
CN105046710A (zh) * 2015-07-23 2015-11-11 北京林业大学 基于深度图分割与代理几何体的虚实碰撞交互方法及装置

Also Published As

Publication number Publication date
WO2019237976A1 (zh) 2019-12-19
CN108986152A (zh) 2018-12-11

Similar Documents

Publication Publication Date Title
CN108986152B (zh) 一种基于差分图像的异物检测方法及装置
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN109978839B (zh) 晶圆低纹理缺陷的检测方法
CN108960211B (zh) 一种多目标人体姿态检测方法以及系统
CN108960229B (zh) 一种面向多方向的文字检测方法和装置
CN109977997B (zh) 基于卷积神经网络快速鲁棒的图像目标检测与分割方法
CN111047626B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN110334762B (zh) 一种基于四叉树结合orb和sift的特征匹配方法
CN108875504B (zh) 基于神经网络的图像检测方法和图像检测装置
CN112101386B (zh) 文本检测方法、装置、计算机设备和存储介质
CN112634368A (zh) 场景目标的空间与或图模型生成方法、装置及电子设备
CN115375917B (zh) 一种目标边缘特征提取方法、装置、终端及存储介质
CN108875500B (zh) 行人再识别方法、装置、系统及存储介质
CN111695373A (zh) 斑马线的定位方法、系统、介质及设备
CN111626241A (zh) 一种人脸检测方法及装置
JP2018180646A (ja) 物体候補領域推定装置、物体候補領域推定方法、及び物体候補領域推定プログラム
KR101733288B1 (ko) 방향정보를 이용한 객체 검출기 생성 방법, 이를 이용한 객체 검출 장치 및 방법
Sikdar et al. DeepMAO: Deep Multi-scale Aware Overcomplete Network for Building Segmentation in Satellite Imagery
CN111047614A (zh) 一种基于特征提取的复杂场景图像的目标角点提取方法
CN116091998A (zh) 图像处理方法、装置、计算机设备和存储介质
CN112308061B (zh) 一种车牌字符识别方法及装置
CN114766039A (zh) 对象检测方法、对象检测设备、终端设备、以及介质
CN115984316B (zh) 一种复杂环境的工业图像边缘提取方法及装置
Tao et al. Measurement algorithm of notch length of plastic parts based on video
CN113658235B (zh) 基于vgg网络与高斯差分网络的光学遥感影像精确配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant