CN111161225B - 一种图像差异检测方法、装置、电子设备和存储介质 - Google Patents

一种图像差异检测方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111161225B
CN111161225B CN201911318550.7A CN201911318550A CN111161225B CN 111161225 B CN111161225 B CN 111161225B CN 201911318550 A CN201911318550 A CN 201911318550A CN 111161225 B CN111161225 B CN 111161225B
Authority
CN
China
Prior art keywords
image
sift feature
determining
pixel point
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911318550.7A
Other languages
English (en)
Other versions
CN111161225A (zh
Inventor
李保坤
王枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201911318550.7A priority Critical patent/CN111161225B/zh
Publication of CN111161225A publication Critical patent/CN111161225A/zh
Application granted granted Critical
Publication of CN111161225B publication Critical patent/CN111161225B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明公开了一种图像差异检测方法、装置、电子设备和存储介质，在检测第一图像和第二图像的差异时，首先对第一图像进行随机偏移处理，得到预设数量的第三图像，然后基于混合高斯建模方法，得到背景模型。在检测差异时，采用所述预设的窗口截取所述第二图像，得到第四图像；将所述第四图像与所述背景模型进行差值计算，确定所述第四图像中的差异像素点。本发明实施例提供了一种新的图像差异检测方案，只要两幅图像存在差异区域，采用本发明实施例提供的方案便能有效检测，因此本发明实施例提供的差异检测方案应用范围更广。

Description

一种图像差异检测方法、装置、电子设备和存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像差异检测方法、装置、电子设备和存储介质。
背景技术
图像差异检测是一种可用于电力设备的防外破预警，工业产品缺陷检测的图像分析技术。近年来，图像差异检测的应用越来越多。
现有技术在进行图像差异检测时，一般是基于特定场景下两幅图像的局部像素特征及相似性度量来检测出差异位置。
现有技术存在的问题是，基于局部像素特征及相似性度量来检测出差异位置对于差异检测的局限性较大，需要预先知道两个产品可能存在的差异种类，才能进行差异检测，例如，预先知道产品可能存在缺角这种工艺缺陷，然后在获取到产品图像后，基于局部像素特征及相似性度量来检测是否存在缺角差异。因此，现有的差异检测方法应用的场景局限性较大，如果预先不知道差异类型，便不能很好的检测差异区域。
发明内容
本发明实施例提供了一种图像差异检测方法、装置、电子设备和存储介质，用以解决现有技术中的差异检测方案局限性较大的问题。
本发明实施例提供了一种图像差异检测方法，所述方法包括：
针对待检测的第一图像和第二图像，根据预设的窗口对所述第一图像进行随机偏移处理，得到预设数量的第三图像；
根据每个第三图像，进行高斯背景建模，得到背景模型；
采用所述预设的窗口截取所述第二图像，得到第四图像；将所述第四图像与所述背景模型进行差值计算，确定所述第四图像中的差异像素点。
进一步地，所述根据每个第三图像，进行高斯背景建模，得到背景模型包括：
根据每个第三图像，针对每个位置的每个第一像素点，计算该位置的每个第一像素点的像素值的均值和方差。
进一步地，所述将所述第四图像与所述背景模型进行差值计算，确定所述第四图像中的差异像素点包括：
针对所述第四图像中的每个第二像素点，根据该第二像素点的位置确定该第二像素点对应的目标均值和目标方差；计算该第二像素点的像素值与目标均值的差值的绝对值，判断所述绝对值是否小于所述目标方差与预设系数的乘积；如果是，确定该第二像素点为背景像素点，如果否，确定该第二像素点为差异像素点。
进一步地，所述针对待检测的第一图像和第二图像，根据预设的窗口对所述第一图像进行随机偏移处理，得到预设数量的第三图像之前，所述方法还包括：
分别确定所述第一图像中的第一SIFT特征点和第二图像中的第二SIFT特征点；
针对所述第二图像中的每个第二SIFT特征点，确定所述第一图像中与该第二SIFT特征点匹配的第一SIFT特征点；
根据相匹配的第一SIFT特征点和第二SIFT特征点，确定投射变换矩阵；
通过所述投射变换矩阵，对所述第二图像进行变换处理，采用变换处理后的图像对所述第二图像进行更新。
进一步地，所述确定所述第一图像中与该第二SIFT特征点匹配的第一SIFT特征点之后，根据相匹配的第一SIFT特征点和第二SIFT特征点，确定投射变换矩阵之前，所述方法还包括：
通过随机一致性算法RANSAC，对相匹配的第一SIFT特征点和第二SIFT特征点进行过滤；
所述根据相匹配的第一SIFT特征点和第二SIFT特征点，确定投射变换矩阵包括：
根据保留的相匹配的第一SIFT特征点和第二SIFT特征点，确定投射变换矩阵。
进一步地，所述通过所述投射变换矩阵，对所述第二图像进行变换处理之后，针对待检测的第一图像和第二图像，对所述第一图像进行随机偏移处理，得到预设数量的第三图像之前，所述方法还包括：
判断所述第一图像与所述变换处理后得到的第二图像的视场是否相同，如果否，截取所述第一图像中，与所述第二图像视场相同的区域，将所述相同的区域更新为第一图像。
另一方面，本发明实施例提供了一种图像差异检测装置，所述装置包括：
偏移处理模块，用于针对待检测的第一图像和第二图像，根据预设的窗口对所述第一图像进行随机偏移处理，得到预设数量的第三图像；
计算模块，用于根据每个第三图像，进行高斯背景建模，得到背景模型；
确定模块，用于采用所述预设的窗口截取所述第二图像，得到第四图像；将所述第四图像与所述背景模型进行差值计算，确定所述第四图像中的差异像素点。
进一步地，所述计算模块，具体用于根据每个第三图像，针对每个位置的每个第一像素点，计算该位置的每个第一像素点的像素值的均值和方差。
进一步地，所述确定模块，具体用于针对所述第四图像中的每个第二像素点，根据该第二像素点的位置确定该第二像素点对应的目标均值和目标方差；计算该第二像素点的像素值与目标均值的差值的绝对值，判断所述绝对值是否小于所述目标方差与预设系数的乘积；如果是，确定该第二像素点为背景像素点，如果否，确定该第二像素点为差异像素点。
进一步地，所述装置还包括：
第一更新模块，用于分别确定所述第一图像中的第一SIFT特征点和第二图像中的第二SIFT特征点；针对所述第二图像中的每个第二SIFT特征点，确定所述第一图像中与该第二SIFT特征点匹配的第一SIFT特征点；根据相匹配的第一SIFT特征点和第二SIFT特征点，确定投射变换矩阵；通过所述投射变换矩阵，对所述第二图像进行变换处理，采用变换处理后的图像对所述第二图像进行更新。
进一步地，所述装置还包括：
滤除模块，用于通过随机一致性算法RANSAC，对相匹配的第一SIFT特征点和第二SIFT特征点进行过滤；
所述第一更新模块，具体用于根据保留的相匹配的第一SIFT特征点和第二SIFT特征点，确定投射变换矩阵。
进一步地，所述装置还包括：
第二更新模块，用于判断所述第一图像与所述变换处理后得到的第二图像的视场是否相同，如果否，截取所述第一图像中，与所述第二图像视场相同的区域，将所述相同的区域更新为第一图像。
另一方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一项所述的方法步骤。
另一方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法步骤。
本发明实施例提供了一种图像差异检测方法、装置、电子设备和存储介质，所述方法包括：针对待检测的第一图像和第二图像，根据预设的窗口对所述第一图像进行随机偏移处理，得到预设数量的第三图像；根据每个第三图像，进行高斯背景建模，得到背景模型；采用所述预设的窗口截取所述第二图像，得到第四图像；将所述第四图像与所述背景模型进行差值计算，确定所述第四图像中的差异像素点。
由于在本发明实施例中，在检测第一图像和第二图像的差异时，首先对第一图像进行随机偏移处理，得到预设数量的第三图像，然后基于混合高斯建模方法，得到背景模型。在检测差异时，采用所述预设的窗口截取所述第二图像，得到第四图像；将所述第四图像与所述背景模型进行差值计算，确定所述第四图像中的差异像素点。本发明实施例提供了一种新的图像差异检测方案，只要两幅图像存在差异区域，采用本发明实施例提供的方案便能有效检测，因此本发明实施例提供的差异检测方案应用范围更广。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像差异检测过程示意图；
图2为本发明实施例提供的确定第三图像的示意图；
图3为本发明实施例提供的第一图像和第二图像SIFT特征点的匹配结果示意图；
图4为本发明实施例提供的第一图像和第二图像SIFT特征点的过滤后匹配结果示意图；
图5为本发明实施例提供的视场不同的第一图像和第二图像示意图；
图6为本发明实施例提供的更新后得到的第一图像和变换处理后得到的第二图像示意图；
图7为本发明实施例提供的针对待检测的第一图像和第二图像得到的差异区域；
图8为本发明实施例提供的图像差异检测装置结构示意图；
图9为本发明实施例提供的电子设备结构示意图。
具体实施方式
下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例1：
图1为本发明实施例提供的图像差异检测过程示意图，该过程包括以下步骤：
S101：针对待检测的第一图像和第二图像，根据预设的窗口对所述第一图像进行随机偏移处理，得到预设数量的第三图像。
在本发明实施例中，将进行差异检测的两幅图像分别作为第一图像和第二图像，针对第一图像，电子设备中保存有预设的窗口，该窗口的大小小于第一图像的大小，并且尽可能接近第一图像的大小。
如图2所示，采用预设的窗口随机截取第一图像，得到第三图像，需要说明的是，窗口在第一图像中随机移动是小幅度的移动，每次向随机方向移动的像素数量不超过预设的像素数量阈值。预设的像素数量阈值可以是2个、3个、5个等正整数。根据预设的窗口对第一图像进行随机偏移处理，得到预设数量的第三图像，预设数量可以是10个、15个等正整数。
S102：根据每个第三图像，进行高斯背景建模，得到背景模型。
具体的，所述根据每个第三图像，进行高斯背景建模，得到背景模型包括：
根据每个第三图像，针对每个位置的每个第一像素点，计算该位置的每个第一像素点的像素值的均值和方差。
由于每个第三图像都是根据预设的窗口对第一图像进行随机偏移处理得到的，因此每个第三图像的分辨率是相同的。在得到每个第三图像之后，根据每个第三图像进行高斯背景建模。高斯背景模型认为，对一个背景图像，短时间内像素点的像素值围绕一个中心值按一定距离分布，中心值使用均值表示，距离使用方差表示，这种分布就是高斯分布。在本发明实施例中，根据每个第三图像计算每个位置对应的均值和方差，基于每个位置的均值和方差，来检测差异像素点。
例如，电子设备得到10张第三图像，每张第三图像的分辨率为300*400。针对每个位置，分别从第三图像中获取该位置的像素值，这样得到该位置对应的10个像素值，然后计算这10个像素值的均值和方差作为该位置对应的均值和方差。
S103：采用所述预设的窗口截取所述第二图像，得到第四图像；将所述第四图像与所述背景模型进行差值计算，确定所述第四图像中的差异像素点。
具体的，所述将所述第四图像与所述背景模型进行差值计算，确定所述第四图像中的差异像素点包括：
针对所述第四图像中的每个第二像素点，根据该第二像素点的位置确定该第二像素点对应的目标均值和目标方差；计算该第二像素点的像素值与目标均值的差值的绝对值，判断所述绝对值是否小于所述目标方差与预设系数的乘积；如果是，确定该第二像素点为背景像素点，如果否，确定该第二像素点为差异像素点。
采用所述预设的窗口截取所述第二图像，得到第四图像；针对所述第四图像中的每个第二像素点，根据该第二像素点的位置确定该第二像素点对应的目标均值和目标方差；计算该第二像素点的像素值与目标均值的差值的绝对值，判断所述绝对值是否小于所述目标方差与预设系数的乘积；如果是，确定该第二像素点为背景像素点，如果否，确定该第二像素点为差异像素点。
电子设备采用所述预设的窗口截取第二图像，得到第四图像，这样得到的第四图像与每个第三图像的分辨率相同。针对第四图像中的每个第二像素点，根据该第二像素点的位置确定该第二像素点对应的目标均值和目标方差。因为根据每个第三图像已经确定出了每个位置对应的均值和方差，因此，针对第四图像中的每个第二像素点，首先确定该第二像素点的位置，然后将该位置对应的均值和方差作为该第二像素点对应的目标均值和目标方差。
针对第四图像中的每个第二像素点，确定出该第二像素点对应的目标均值和目标方差之后，根据以下公式确定该第二像素点为背景像素点还是差异像素点：|Ia(x,y)-u|<λd；Ia(x,y)∈背景像素点；
|Ia(x,y)-u|≥λd；Ia(x,y)∈差异像素点。
式中，Ia(x,y)为该第二像素点的像素值，u为该第二像素点对应的目标均值，d为该第二像素点对应的目标方差，λ为预设系数。
根据上述公式可知，针对第四图像中的每个第二像素点，计算该第二像素点的像素值与目标均值的差值的绝对值，判断绝对值是否小于目标方差与预设系数的乘积；如果是，确定该第二像素点为背景像素点，如果否，确定该第二像素点为差异像素点。
需要说明的是，如果本发明实施例中的图像都为RGB图像时，在进行差异像素点判断时，需要针对RGB的每个通道进行判断。也就是说针对每个通道确定有该通道对应的均值和方差，针对每个第二像素点，计算该第二像素点的每个通道的像素值与对应通道的目标均值的差值的绝对值，判断所述绝对值是否小于所述对应通道的目标方差与预设系数的乘积。如果RGB三个通道的判断结果都为否，确定该第二像素点为差异像素点。否则认为是背景像素点。需要说明的是，每个通道对应的预设系数可以相同也可以不同。
由于在本发明实施例中，在检测第一图像和第二图像的差异时，首先对第一图像进行随机偏移处理，得到预设数量的第三图像，然后基于混合高斯建模方法，根据预设数量的第三图像确定出用于差异检测的每个位置的像素点对应的均值和方差。在检测差异时，采用所述预设的窗口截取所述第二图像，得到第四图像；针对所述第四图像中的每个第二像素点，根据该第二像素点的位置确定对应的目标均值和目标方差；然后计算该第二像素点的像素值与目标均值的差值的绝对值，当绝对值小于目标方差与预设系数的乘积时，确定该第二像素点为背景像素点，否则确定该第二像素点为差异像素点，从而确定出第一图像和第二图像的差异。本发明实施例提供了一种新的图像差异检测方案，只要两幅图像存在差异区域，采用本发明实施例提供的方案便能有效检测，因此本发明实施例提供的差异检测方案应用范围更广。
实施例2：
进行差异检测的第一图像和第二图像，有可能是尺度不同，或者存在差异的位置不对应的两幅图像，对于存在上述问题的两幅图像进行差异检测时，为了保证能够检测到差异区域，在上述实施例的基础上，在本发明实施例中，所述针对待检测的第一图像和第二图像，根据预设的窗口对所述第一图像进行随机偏移处理，得到预设数量的第三图像之前，所述方法还包括：
分别确定所述第一图像中的第一SIFT特征点和第二图像中的第二SIFT特征点；
针对所述第二图像中的每个第二SIFT特征点，确定所述第一图像中与该第二SIFT特征点匹配的第一SIFT特征点；
根据相匹配的第一SIFT特征点和第二SIFT特征点，确定投射变换矩阵；
通过所述投射变换矩阵，对所述第二图像进行变换处理，采用变换处理后的图像对所述第二图像进行更新。
电子设备获取进行差异检测的第一图像和第二图像之后，在针对待检测的第一图像和第二图像，根据预设的窗口对所述第一图像进行随机偏移处理，得到预设数量的第三图像之前，可以先对第二图像进行调整变换，使其与第一图像的尺度相同，存在差异的位置相对应。
具体的，电子设备分别确定第一图像中的第一SIFT特征点和第二图像中的第二SIFT特征点。然后确定相匹配的第一SIFT特征点和第二SIFT特征点。一般情况下SIFT特征点是表示为128维向量的特征点，即1*128的数值矩阵，SIFT特征点之间的匹配通过计算SIFT特征点的数值矩阵之间的欧式距离实现。两个SIFT特征点的数值矩阵之间欧式距离越小，则相似度越高，当欧式距离小于设定的阈值时，可以判定为匹配成功。
具体实现上：
第二图像有一系列的SIFT特征点[a1,a2,,,an]；
第一图像有一系列的SIFT特征点[b1,b2,,,bm]；
两张图片的特征点个数不一定相等，取个数少的为基准，例如n＜m，对第二图像中每个SIFT特征点ai,与第一图像中所有的SIFT特征点计算欧氏距离，取欧式距离最小的SIFT特征点bj,作为匹配点，对应连线。按照上述步骤，依次对第二图像中所有的特征点进行匹配，即可得到第一图像和第二图像SIFT特征点的匹配结果。图3为第一图像和第二图像SIFT特征点的匹配结果示意图。
根据相匹配的第一SIFT特征点和第二SIFT特征点，确定投射变换矩阵。具体的，假设第二图像中的第二SIFT特征点P1(x1，y1)和第一图像中的第一SIFT特征点P2(x2，y2)为一对相匹配的特征点，则有：
Figure BDA0002326517400000101
得到
Figure BDA0002326517400000102
结合以上方法，根据相匹配的第一SIFT特征点和第二SIFT特征点，确定投射变换矩阵，其中，根据匹配的特征点计算投射变换矩阵的过程属于现有技术，在此不再对该过程进行赘述。
在确定投射变换矩阵之后，通过投射变换矩阵，对第二图像进行变换处理，采用变换处理后的图像对第二图像进行更新，也就是此时将变换处理后的图像作为第二图像。这样得到的第二图像与第一图像的尺度相同，存在差异的位置相对应。从而保证能够检测到差异区域。
实施例3：
由于SIFT特征点匹配的过程中，很有可能出现错误的匹配特征点，在确定投射变换矩阵时掺杂错误的匹配特征点会使得确定的投射变换矩阵不准确，进而使得图像差异检测不准确。在本发明实施例中，为了滤除错误的匹配特征点，使确定的投射变换矩阵准确，在上述各实施例的基础上，在本发明实施例中，所述确定所述第一图像中与该第二SIFT特征点匹配的第一SIFT特征点之后，根据相匹配的第一SIFT特征点和第二SIFT特征点，确定投射变换矩阵之前，所述方法还包括：
通过随机一致性算法RANSAC，对相匹配的第一SIFT特征点和第二SIFT特征点进行过滤；
所述根据相匹配的第一SIFT特征点和第二SIFT特征点，确定投射变换矩阵包括：
根据保留的相匹配的第一SIFT特征点和第二SIFT特征点，确定投射变换矩阵。
在通过RANSAC算法，对相匹配的第一SIFT特征点和第二SIFT特征点进行过滤时，设置两个阈值，一个是区分内外点阈值1，另一个是外点比例阈值2。
从SIFT匹配特征点对中随机抽选一批样本，例如4对SIFT匹配特征点；根据这4对SIFT匹配特征点计算投射变换矩阵M，投射变换矩阵M用于表征第一图像和第二图像匹配特征点的映射关系。根据投射变换矩阵M，计算所有其余匹配特征点的误差。误差选择为“重投影误差”，即通过投射变换矩阵M对第二图像中匹配到的特征点进行变换得到，得到在投射变换矩阵M下，匹配特征点在第一图像的位置。计算此位置与第一图像中原始对应的匹配特征点位置之间的欧式距离作为误差，若误差大于阈值1，则为“外点”，不大于阈值1则为“内点”。“外点”数量大于设定比例阈值2时，从“内点”中再次随机挑选4个匹配特征点，重复上述步骤，直到外点小于设定比例阈值2，此时所有的“内点”作为正确的特征匹配点保留。最终利用保留的匹配特征点得到适合的投射变换矩阵M。图4为第一图像和第二图像SIFT特征点的过滤后匹配结果示意图。
由于在本发明实施例中，通过RANSAC算法，对相匹配的第一SIFT特征点和第二SIFT特征点进行过滤，保留的相匹配的第一SIFT特征点和第二SIFT特征点基本为准确的匹配特征点，然后根据保留的相匹配的第一SIFT特征点和第二SIFT特征点，确定投射变换矩阵。使得确定的投射变换矩阵更准确，进而使得图像差异检测更准确。
实施例4：
通过所述投射变换矩阵，对所述第二图像进行变换处理之后，虽然得到的第二图像与第一图像的尺寸相同，但是也可能出现图5所示的情况，即第一图像和第二图像的视场不同，此时也会造成差异检测不准确。为了避免该问题，在上述各实施例的基础上，在本发明实施例中，所述通过所述投射变换矩阵，对所述第二图像进行变换处理之后，针对待检测的第一图像和第二图像，对所述第一图像进行随机偏移处理，得到预设数量的第三图像之前，所述方法还包括：
判断所述第一图像与所述变换处理后得到的第二图像的视场是否相同，如果否，截取所述第一图像中，与所述第二图像视场相同的区域，将所述相同的区域更新为第一图像。
在本发明实施例中，根据采集第一图像的摄像机和采集第二图像的摄像机的焦距、安装倾斜角度等信息，可以判断第一图像与第二图像的视场是否相同，当确定第一图像与第二图像的视场不相同时，截取第一图像中，与第二图像视场相同的区域，将相同的区域更新为第一图像。图6为更新后得到的第一图像和变换处理后得到的第二图像示意图。
由于在本发明实施例中，判断第一图像与变换处理后得到的第二图像的视场不相同时，截取第一图像中，与第二图像视场相同的区域，将相同的区域更新为第一图像。这样得到的第一图像和第二图像视场相同，从而保证后续能够进行准确的差异检测。
在本发明实施例中，当检测出像素点为背景像素点后，可以将该像素点的像素值设置为0或255，从而能够突出差异检测区域。图7为针对待检测的第一图像和第二图像得到的差异区域。
实施例5：
图8为本发明实施例提供的图像差异检测装置结构示意图，该装置包括：
偏移处理模块81，用于针对待检测的第一图像和第二图像，根据预设的窗口对所述第一图像进行随机偏移处理，得到预设数量的第三图像；
计算模块82，用于根据每个第三图像，进行高斯背景建模，得到背景模型。
确定模块83，用于采用所述预设的窗口截取所述第二图像，得到第四图像；将所述第四图像与所述背景模型进行差值计算，确定所述第四图像中的差异像素点。
所述计算模块82，具体用于根据每个第三图像，针对每个位置的每个第一像素点，计算该位置的每个第一像素点的像素值的均值和方差。
所述确定模块83，具体用于针对所述第四图像中的每个第二像素点，根据该第二像素点的位置确定该第二像素点对应的目标均值和目标方差；计算该第二像素点的像素值与目标均值的差值的绝对值，判断所述绝对值是否小于所述目标方差与预设系数的乘积；如果是，确定该第二像素点为背景像素点，如果否，确定该第二像素点为差异像素点。
所述装置还包括：
第一更新模块84，用于分别确定所述第一图像中的第一SIFT特征点和第二图像中的第二SIFT特征点；针对所述第二图像中的每个第二SIFT特征点，确定所述第一图像中与该第二SIFT特征点匹配的第一SIFT特征点；根据相匹配的第一SIFT特征点和第二SIFT特征点，确定投射变换矩阵；通过所述投射变换矩阵，对所述第二图像进行变换处理，采用变换处理后的图像对所述第二图像进行更新。
所述装置还包括：
滤除模块85，用于通过随机一致性算法RANSAC，对相匹配的第一SIFT特征点和第二SIFT特征点进行过滤；
所述第一更新模块84，具体用于根据保留的相匹配的第一SIFT特征点和第二SIFT特征点，确定投射变换矩阵。
所述装置还包括：
第二更新模块86，用于判断所述第一图像与所述变换处理后得到的第二图像的视场是否相同，如果否，截取所述第一图像中，与所述第二图像视场相同的区域，将所述相同的区域更新为第一图像。
实施例6：
在上述各实施例的基础上，本发明实施例中还提供了一种电子设备，如图9所示，包括：处理器301、通信接口302、存储器303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信；
所述存储器303中存储有计算机程序，当所述程序被所述处理器301执行时，使得所述处理器301执行如下步骤：
针对待检测的第一图像和第二图像，根据预设的窗口对所述第一图像进行随机偏移处理，得到预设数量的第三图像；
根据每个第三图像，进行高斯背景建模，得到背景模型；
采用所述预设的窗口截取所述第二图像，得到第四图像；将所述第四图像与所述背景模型进行差值计算，确定所述第四图像中的差异像素点。
基于同一发明构思，本发明实施例中还提供了一种电子设备，由于上述电子设备解决问题的原理与图像差异检测方法相似，因此上述电子设备的实施可以参见方法的实施，重复之处不再赘述。
本发明实施例提供的电子设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、网络侧设备等。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口302用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
在本发明实施例中处理器执行存储器上所存放的程序时，实现针对待检测的第一图像和第二图像，根据预设的窗口对所述第一图像进行随机偏移处理，得到预设数量的第三图像；根据每个第三图像，进行高斯背景建模，得到背景模型；采用所述预设的窗口截取所述第二图像，得到第四图像；将所述第四图像与所述背景模型进行差值计算，确定所述第四图像中的差异像素点。在检测第一图像和第二图像的差异时，首先对第一图像进行随机偏移处理，得到预设数量的第三图像，然后基于混合高斯建模方法，得到背景模型。在检测差异时，采用所述预设的窗口截取所述第二图像，得到第四图像；将所述第四图像与所述背景模型进行差值计算，确定所述第四图像中的差异像素点。本发明实施例提供了一种新的图像差异检测方案，只要两幅图像存在差异区域，采用本发明实施例提供的方案便能有效检测，因此本发明实施例提供的差异检测方案应用范围更广。
实施例7：
在上述各实施例的基础上，本发明实施例还提供了一种计算机存储可读存储介质，所述计算机可读存储介质内存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行时实现如下步骤：
针对待检测的第一图像和第二图像，根据预设的窗口对所述第一图像进行随机偏移处理，得到预设数量的第三图像；
根据每个第三图像，进行高斯背景建模，得到背景模型；
采用所述预设的窗口截取所述第二图像，得到第四图像；将所述第四图像与所述背景模型进行差值计算，确定所述第四图像中的差异像素点。
基于同一发明构思，本发明实施例中还提供了一种计算机可读存储介质，由于处理器在执行上述计算机可读存储介质上存储的计算机程序时解决问题的原理与图像差异检测方法相似，因此处理器在执行上述计算机可读存储介质存储的计算机程序的实施可以参见方法的实施，重复之处不再赘述。
上述计算机可读存储介质可以是电子设备中的处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器如软盘、硬盘、磁带、磁光盘(MO)等、光学存储器如CD、DVD、BD、HVD等、以及半导体存储器如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD)等。
在本发明实施例中提供的计算机可读存储介质内存储计算机程序，计算机程序被处理器执行时实现针对待检测的第一图像和第二图像，根据预设的窗口对所述第一图像进行随机偏移处理，得到预设数量的第三图像；根据每个第三图像，进行高斯背景建模，得到背景模型；采用所述预设的窗口截取所述第二图像，得到第四图像；将所述第四图像与所述背景模型进行差值计算，确定所述第四图像中的差异像素点。在检测第一图像和第二图像的差异时，首先对第一图像进行随机偏移处理，得到预设数量的第三图像，然后基于混合高斯建模方法，得到背景模型。在检测差异时，采用所述预设的窗口截取所述第二图像，得到第四图像；将所述第四图像与所述背景模型进行差值计算，确定所述第四图像中的差异像素点。本发明实施例提供了一种新的图像差异检测方案，只要两幅图像存在差异区域，采用本发明实施例提供的方案便能有效检测，因此本发明实施例提供的差异检测方案应用范围更广。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种图像差异检测方法，其特征在于，所述方法包括：
针对待检测的第一图像和第二图像，根据预设的窗口对所述第一图像进行随机偏移处理，得到预设数量的第三图像；所述窗口的大小小于第一图像的大小；每次向随机方向移动的像素数量不超过预设的像素数量阈值；
根据每个第三图像，进行高斯背景建模，得到背景模型；
采用所述预设的窗口截取所述第二图像，得到第四图像；将所述第四图像与所述背景模型进行差值计算，确定所述第四图像中的差异像素点；
其中，所述根据每个第三图像，进行高斯背景建模，得到背景模型包括：
根据每个第三图像，针对每个位置的每个第一像素点，计算该位置的每个第一像素点的像素值的均值和方差；
所述将所述第四图像与所述背景模型进行差值计算，确定所述第四图像中的差异像素点包括：
针对所述第四图像中的每个第二像素点，根据该第二像素点的位置确定该第二像素点对应的目标均值和目标方差；计算该第二像素点的像素值与目标均值的差值的绝对值，判断所述绝对值是否小于所述目标方差与预设系数的乘积；如果是，确定该第二像素点为背景像素点，如果否，确定该第二像素点为差异像素点。
2.如权利要求1所述的方法，其特征在于，所述针对待检测的第一图像和第二图像，根据预设的窗口对所述第一图像进行随机偏移处理，得到预设数量的第三图像之前，所述方法还包括：
分别确定所述第一图像中的第一SIFT特征点和第二图像中的第二SIFT特征点；
针对所述第二图像中的每个第二SIFT特征点，确定所述第一图像中与该第二SIFT特征点匹配的第一SIFT特征点；
根据相匹配的第一SIFT特征点和第二SIFT特征点，确定投射变换矩阵；
通过所述投射变换矩阵，对所述第二图像进行变换处理，采用变换处理后的图像对所述第二图像进行更新。
3.如权利要求2所述的方法，其特征在于，所述确定所述第一图像中与该第二SIFT特征点匹配的第一SIFT特征点之后，根据相匹配的第一SIFT特征点和第二SIFT特征点，确定投射变换矩阵之前，所述方法还包括：
通过随机一致性算法RANSAC，对相匹配的第一SIFT特征点和第二SIFT特征点进行过滤；
所述根据相匹配的第一SIFT特征点和第二SIFT特征点，确定投射变换矩阵包括：
根据保留的相匹配的第一SIFT特征点和第二SIFT特征点，确定投射变换矩阵。
4.如权利要求2所述的方法，其特征在于，所述通过所述投射变换矩阵，对所述第二图像进行变换处理之后，针对待检测的第一图像和第二图像，对所述第一图像进行随机偏移处理，得到预设数量的第三图像之前，所述方法还包括：
判断所述第一图像与所述变换处理后得到的第二图像的视场是否相同，如果否，截取所述第一图像中，与所述第二图像视场相同的区域，将所述相同的区域更新为第一图像。
5.一种图像差异检测装置，其特征在于，所述装置包括：
偏移处理模块，用于针对待检测的第一图像和第二图像，根据预设的窗口对所述第一图像进行随机偏移处理，得到预设数量的第三图像；所述窗口的大小小于第一图像的大小；每次向随机方向移动的像素数量不超过预设的像素数量阈值；
计算模块，用于根据每个第三图像，进行高斯背景建模，得到背景模型；
确定模块，用于采用所述预设的窗口截取所述第二图像，得到第四图像；将所述第四图像与所述背景模型进行差值计算，确定所述第四图像中的差异像素点；
所述计算模块，具体用于根据每个第三图像，针对每个位置的每个第一像素点，计算该位置的每个第一像素点的像素值的均值和方差；
所述确定模块，具体用于针对所述第四图像中的每个第二像素点，根据该第二像素点的位置确定该第二像素点对应的目标均值和目标方差；计算该第二像素点的像素值与目标均值的差值的绝对值，判断所述绝对值是否小于所述目标方差与预设系数的乘积；如果是，确定该第二像素点为背景像素点，如果否，确定该第二像素点为差异像素点。
6.如权利要求5所述的装置，其特征在于，所述装置还包括：
第一更新模块，用于分别确定所述第一图像中的第一SIFT特征点和第二图像中的第二SIFT特征点；针对所述第二图像中的每个第二SIFT特征点，确定所述第一图像中与该第二SIFT特征点匹配的第一SIFT特征点；根据相匹配的第一SIFT特征点和第二SIFT特征点，确定投射变换矩阵；通过所述投射变换矩阵，对所述第二图像进行变换处理，采用变换处理后的图像对所述第二图像进行更新。
7.如权利要求6所述的装置，其特征在于，所述装置还包括：
滤除模块，用于通过随机一致性算法RANSAC，对相匹配的第一SIFT特征点和第二SIFT特征点进行过滤；
所述第一更新模块，具体用于根据保留的相匹配的第一SIFT特征点和第二SIFT特征点，确定投射变换矩阵。
8.如权利要求6所述的装置，其特征在于，所述装置还包括：
第二更新模块，用于判断所述第一图像与所述变换处理后得到的第二图像的视场是否相同，如果否，截取所述第一图像中，与所述第二图像视场相同的区域，将所述相同的区域更新为第一图像。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-4任一项所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4任一项所述的方法步骤。
CN201911318550.7A 2019-12-19 2019-12-19 一种图像差异检测方法、装置、电子设备和存储介质 Active CN111161225B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911318550.7A CN111161225B (zh) 2019-12-19 2019-12-19 一种图像差异检测方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911318550.7A CN111161225B (zh) 2019-12-19 2019-12-19 一种图像差异检测方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN111161225A CN111161225A (zh) 2020-05-15
CN111161225B true CN111161225B (zh) 2023-05-12

Family

ID=70557415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911318550.7A Active CN111161225B (zh) 2019-12-19 2019-12-19 一种图像差异检测方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN111161225B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114119675B (zh) * 2021-11-10 2023-07-18 爱芯元智半导体(上海)有限公司 像素点的偏移获取方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013168618A1 (ja) * 2012-05-09 2013-11-14 株式会社日立国際電気 画像処理装置及び画像処理方法
WO2018133101A1 (zh) * 2017-01-23 2018-07-26 富士通株式会社 图像前景检测装置及方法、电子设备
CN109446894A (zh) * 2018-09-18 2019-03-08 西安电子科技大学 基于概率分割及高斯混合聚类的多光谱图像变化检测方法
CN109919910A (zh) * 2019-01-25 2019-06-21 合肥工业大学 基于差异图融合和改进水平集的sar图像变化检测方法
CN110222557A (zh) * 2019-04-22 2019-09-10 北京旷视科技有限公司 路况的实时检测方法、装置、系统和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2395778A (en) * 2002-11-29 2004-06-02 Sony Uk Ltd Face detection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013168618A1 (ja) * 2012-05-09 2013-11-14 株式会社日立国際電気 画像処理装置及び画像処理方法
WO2018133101A1 (zh) * 2017-01-23 2018-07-26 富士通株式会社 图像前景检测装置及方法、电子设备
CN110114801A (zh) * 2017-01-23 2019-08-09 富士通株式会社 图像前景检测装置及方法、电子设备
CN109446894A (zh) * 2018-09-18 2019-03-08 西安电子科技大学 基于概率分割及高斯混合聚类的多光谱图像变化检测方法
CN109919910A (zh) * 2019-01-25 2019-06-21 合肥工业大学 基于差异图融合和改进水平集的sar图像变化检测方法
CN110222557A (zh) * 2019-04-22 2019-09-10 北京旷视科技有限公司 路况的实时检测方法、装置、系统和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵小川编著.《MATLAB图像处理 程序实现与模块化仿真 第2版》.北京航空航天大学出版社,2018,正文第203-204页. *

Also Published As

Publication number Publication date
CN111161225A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
WO2020239015A1 (zh) 一种图像识别、分类方法、装置、电子设备及存储介质
US20210192761A1 (en) Image depth estimation method and device, readable storage medium, and electronic apparatus
WO2020098708A1 (zh) 车道线的检测及驾驶控制方法、装置和电子设备
US10909719B2 (en) Image processing method and apparatus
CN109166156B (zh) 一种摄像头标定图像的生成方法、移动终端及存储介质
CN112257692B (zh) 一种行人目标的检测方法、电子设备及存储介质
CN109855568B (zh) 自动驾驶传感器的检测方法、装置、电子设备及存储介质
CN113421305B (zh) 目标检测方法、装置、系统、电子设备及存储介质
CN109146816A (zh) 一种图像滤波方法、装置、电子设备和存储介质
CN111709975A (zh) 多目标跟踪方法、装置、电子设备及存储介质
CN112862895B (zh) 一种鱼眼摄像头标定方法、装置及系统
CN109828250B (zh) 一种雷达标定方法、标定装置及终端设备
CN111259890A (zh) 一种水位尺的水位识别方法、装置及设备
CN109978903B (zh) 一种标识点识别方法、装置、电子设备及存储介质
CN109684944B (zh) 障碍物检测方法、装置、计算机设备和存储介质
EP3726421A2 (en) Recognition method and apparatus for false detection of an abandoned object and image processing device
CN111161225B (zh) 一种图像差异检测方法、装置、电子设备和存储介质
CN112033544B (zh) 一种热成像仪、测温方法、装置、处理器及存储介质
CN109255797B (zh) 图像处理装置及方法、电子设备
CN108615025B (zh) 家居环境下门识别定位方法、系统以及机器人
CN116977671A (zh) 基于图像空间定位的目标跟踪方法、装置、设备及存储介质
CN116630216A (zh) 基于雷达和影像的目标融合方法、装置、设备及存储介质
CN116430069A (zh) 机器视觉流体流速测量方法、装置、计算机设备及存储介质
CN111259703B (zh) 人脸倾斜角度检测方法和装置
CN112927276B (zh) 图像配准方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant