CN115049713B - 图像配准方法、装置、设备及可读存储介质 - Google Patents
图像配准方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN115049713B CN115049713B CN202210961467.7A CN202210961467A CN115049713B CN 115049713 B CN115049713 B CN 115049713B CN 202210961467 A CN202210961467 A CN 202210961467A CN 115049713 B CN115049713 B CN 115049713B
- Authority
- CN
- China
- Prior art keywords
- image
- gray
- value
- detected
- detection image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000001514 detection method Methods 0.000 claims abstract description 183
- 230000011218 segmentation Effects 0.000 claims abstract description 50
- 238000001914 filtration Methods 0.000 claims abstract description 43
- 238000010586 diagram Methods 0.000 claims description 41
- 230000006870 function Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 abstract description 3
- 238000013519 translation Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
Abstract
本发明提供一种图像配准方法、装置、设备及可读存储介质。该方法包括:从待检测产品图像中获取检测图像,其中,检测图像为包括一个与标准图案相似度最高的目标图案的图像;对检测图像进行滤波、灰度分布统计、分割,以及方向投影,得到第一投影图和第二投影图;基于第一投影图和第二投影图确定目标图案在待检测产品图像中的实际位置;通过傅里叶梅林变换算法将实际位置与标准位置进行配准,得到标准图案与目标图案的偏差量,其中,标准位置为标准图案在标准产品图像中的位置。通过本发明,解决了现有技术中若产品图像的匹配区域存在大量的异常点或者匹配区域的纹理存在缺失,导致图像配准结果的准确率较低的问题。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图像配准方法、装置、设备及可读存储介质。
背景技术
图像配准(Image registration)就是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程。
目前,一般采用基于灰度的模板匹配算法进行图像配准,虽然基于灰度的模板匹配算法匹配效率较高,但是对产品图像的一致性以及产品图像的成像要求也较高。因此,若产品图像的匹配区域存在大量的异常点或者匹配区域的纹理存在缺失,则将导致基于灰度的模板匹配算法失效,使得图像配准结果的准确率较低。
发明内容
本发明的主要目的在于提供一种图像配准方法、装置、设备及可读存储介质,旨在解决现有技术中产品图像的匹配区域存在大量的异常点或者匹配区域的纹理存在缺失时,图像配准结果的准确率较低的问题。
第一方面,本发明提供一种图像配准方法,所述图像配准方法包括:
从待检测产品图像中获取检测图像,其中,检测图像小于待检测产品图像,且检测图像为包括一个与标准图案相似度最高的目标图案的图像;
对检测图像进行滤波,得到滤波后的检测图像;
对滤波后的检测图像进行灰度分布统计,得到分割阈值;
基于所述分割阈值对滤波后的检测图像进行分割,得到分割后的检测图像;
将分割后的检测图像进行水平方向投影得到第一投影图,将分割后的检测图像进行垂直方向投影得到第二投影图;
基于第一投影图和第二投影图确定目标图案在待检测产品图像中的实际位置;
通过傅里叶梅林变换算法将实际位置与标准位置进行配准,得到标准图案与目标图案的偏差量,其中,标准位置为标准图案在标准产品图像中的位置。
可选的,所述对检测图像进行滤波,得到滤波后的检测图像的步骤,包括:
将检测图像中各个像素点的灰度值分别代入第一预设公式进行滤波,得到滤波后的检测图像,第一预设公式如下:
可选的,所述对滤波后的检测图像进行灰度分布统计,得到分割阈值的步骤,包括:
基于滤波后的检测图像中各个像素点的灰度值得到滤波后的检测图像的灰度直方图;
获取所述灰度直方图中最大峰值对应的第一灰度值以及次最大峰值对应的第二灰度值;
将第一灰度值以及第二灰度值代入第二预设公式,计算得到滤波后的检测图像的分割阈值,第二预设公式如下:
可选的,所述基于所述分割阈值对滤波后的检测图像进行分割的步骤包括:
将滤波后的检测图像中大于所述分割阈值的像素点的灰度值赋值为零。
可选的,所述基于第一投影图和第二投影图确定目标图案在待检测产品图像中的实际位置的步骤,包括:
基于第一投影图,得到第一灰度统计直方图;
基于第二投影图,得到第二灰度统计直方图;
获取第一灰度统计直方图中第一个非零灰度值对应的第一坐标以及最后一个非零灰度值对应的第二坐标;
获取第二灰度统计直方图中第一个非零灰度值对应的第三坐标以及最后一个非零灰度值对应的第四坐标;
根据第一坐标、第二坐标、第三坐标以及第四坐标确定分割后的检测图像中的目标图案在待检测产品图像中的实际位置,其中,第一灰度统计直方图的横轴上的点对应第一投影图中的各个像素点在待检测产品图像中的纵坐标,第二灰度统计直方图的横轴上的点对应第二投影图中的各个像素点在待检测产品图像中的横坐标。
可选的,在所述通过傅里叶梅林变换算法将实际位置与标准位置进行配准,得到标准图案与目标图案偏差量,其中,标准位置为标准图案在标准产品图像中的位置的步骤之后,包括:
根据所述偏差量以及新的标准图案在标准产品图像中的位置确定新的目标图案在待检测产品图像中的实际位置。
第二方面,本发明还提供一种图像配准装置,所述图像配准装置包括:
获取模块,用于从待检测产品图像中获取检测图像,其中,检测图像小于待检测产品图像,且检测图像为包括一个与标准图案相似度最高的目标图案的图像;
滤波模块,用于对检测图像进行滤波,得到滤波后的检测图像;
统计模块,用于对滤波后的检测图像进行灰度分布统计,得到分割阈值;
分割模块,用于基于所述分割阈值对滤波后的检测图像进行分割,得到分割后的检测图像;
投影模块,用于将分割后的检测图像进行水平方向投影得到第一投影图,将分割后的检测图像进行垂直方向投影得到第二投影图;
确定模块,用于基于第一投影图和第二投影图确定目标图案在待检测产品图像中的实际位置;
配准模块,用于通过傅里叶梅林变换算法将实际位置与标准位置进行配准,得到标准图案与目标图案偏差量,其中,标准位置为标准图案在标准产品图像中的位置。
可选的,所述分割模块,用于:
基于滤波后的检测图像中各个像素点的灰度值得到滤波后的检测图像的灰度直方图;
获取所述灰度直方图中最大峰值对应的第一灰度值以及次最大峰值对应的第二灰度值;
将第一灰度值以及第二灰度值代入第二预设公式,计算得到滤波后的检测图像的分割阈值,第二预设公式如下:
第三方面,本发明还提供一种图像配准设备,所述图像配准设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的图像配准程序,其中所述图像配准程序被所述处理器执行时,实现如上所述的图像配准方法的步骤。
第四方面,本发明还提供一种可读存储介质,所述可读存储介质上存储有图像配准程序,其中所述图像配准程序被处理器执行时,实现如上所述的图像配准方法的步骤。
本发明中,从待检测产品图像中获取检测图像,其中,检测图像小于待检测产品图像,且检测图像为包括一个与标准图案相似度最高的目标图案的图像;对检测图像进行滤波,得到滤波后的检测图像;对滤波后的检测图像进行灰度分布统计,得到分割阈值;基于所述分割阈值对滤波后的检测图像进行分割,得到分割后的检测图像;将分割后的检测图像进行水平方向投影得到第一投影图,将分割后的检测图像进行垂直方向投影得到第二投影图;基于第一投影图和第二投影图确定目标图案在待检测产品图像中的实际位置;通过傅里叶梅林变换算法将实际位置与标准位置进行配准,得到标准图案与目标图案的偏差量,其中,标准位置为标准图案在标准产品图像中的位置。通过本发明,从待检测产品图像中获取检测图像,因为检测图像是包括一个与标准图案相似度最高的目标图案的图像,所以即使目标图案的纹理有缺陷,也不会使本方案失效,又通过多维度中值滤波方法最大程度的保留细节,且保证特征点不被破坏的同时滤除噪声,通过灰度分布统计和方向投影快速确定目标图案在待检测产品图像中的实际位置,最大程度缩减配准范围,缩短进行的配准时间,从而满足在线检测要求,最后采用傅里叶梅林算法对抗图像旋转,缩放,平移及目标图案部分缺失的问题,从而准确的计算出标准图案与目标图案的偏差量,为后续检测提供有力的保证,解决了现有技术中若产品图像的匹配区域存在大量的异常点或者匹配区域的纹理存在缺失,导致图像配准结果的准确率较低的问题。
附图说明
图1为本发明实施例方案中涉及的图像配准设备的硬件结构示意图;
图2为本发明图像配准方法一实施例的流程示意图;
图3为本发明图像配准方法一实施例中检测图像在待检测产品图像中的位置示意图;
图4为本发明图像配准方法一实施例中目标图案在待检测产品图像中的实际位置示意图;
图5a为本发明图像配准方法一实施例中标准图案示意图;
图5b为本发明图像配准方法一实施例中检测图像示意图;
图5c为本发明图像配准方法一实施例中滤波后的检测图像示意图;
图6为本发明图像配准方法一实施例中分割后的检测图像的示意图;
图7a为本发明图像配准方法一实施例中第一灰度统计直方图示意图;
图7b为本发明图像配准方法一实施例中第二灰度统计直方图示意图;
图8a为本发明图像配准方法一实施例中新的标准图案在标准产品图像中的位置示意图;
图8b为本发明图像配准方法一实施例中新的目标图案在待检测产品图像中的实际位置示意图;
图9为本发明图像配准装置一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
第一方面,本发明实施例提供一种图像配准设备,该图像配准设备可以是个人计算机(personal computer,PC)、笔记本电脑、服务器等具有数据处理功能的设备。
参照图1,图1为本发明实施例方案中涉及的图像配准设备的硬件结构示意图。本发明实施例中,图像配准设备可以包括处理器1001(例如中央处理器Central ProcessingUnit,CPU),通信总线1002,用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信;用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard);网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真WIreless-FIdelity,WI-FI接口);存储器1005可以是高速随机存取存储器(random accessmemory,RAM),也可以是稳定的存储器(non-volatile memory),例如磁盘存储器,存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解,图1中示出的硬件结构并不构成对本发明的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
继续参照图1,图1中作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及图像配准程序。其中,处理器1001可以调用存储器1005中存储的图像配准程序,并执行本发明实施例提供的图像配准方法。
第二方面,本发明实施例提供了一种图像配准方法。
一实施例中,参照图2,图2为本发明图像配准方法一实施例的流程示意图。如图2所示,图像配准方法,包括:
步骤S10,从待检测产品图像中获取检测图像,其中,检测图像小于待检测产品图像,且检测图像为包括一个与标准图案相似度最高的目标图案的图像;
本实施例中,获取待检测产品图像,从待检测产品图像中获取与标准图案相似度最高的目标图案,初步获取目标图案在待检测产品图像中所处的区域,以初步获取的目标图案在待检测产品图像中所处的区域作为检测图像,其中,检测图像小于待检测产品图像。标准图案包括各种各样的图案,例如,十字架、三角形、五角星或某一字符。因为检测图像为包括一个与标准图案相似度最高的目标图案的图像,所以,即使目标图案与标准图案相比存在图案纹理缺失、膜色差异以及大量噪声点,也不会对本方案产生影响。
具体地,参照图3,图3为本发明图像配准方法一实施例中检测图像在待检测产品图像中的位置示意图。如图3所示,若标准图案为三角形,则在待检测产品图像中的三角形与标准图案相似度最高,因此待检测产品图像中初步获取的三角形所在区域即为检测图像。
步骤S20,对检测图像进行滤波,得到滤波后的检测图像;
本实施例中,现有的中值滤波算法是一种非线性平滑技术,它将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值。现有的中值滤波公式如下:
,其中,A 代表滤波窗口,一般是3*3或者5*5,代表滤波输入像素点(x,y)的灰度值,Median{ }代表取A窗口的中值,代表滤波输出像素点(x,y)的灰度值。具体地,若滤波窗口为3*3,像素点(x,y)3*3领域内各个像素点的灰度值如下:
对其3×3邻域内像素点的灰度值进行排序(升序降序均可),按升序排序后得到序列值为:[66,78,90,91,93,94,95,97,101]。在该序列中,处于中心位置(也叫中心点或中值点)的值是93,因此用该值替换原来的灰度值 78,作为当前点的新灰度值,处理结果如下:
即,。中值滤波算法的本质是改变与周围像素差别较大的点,从而达到消除孤立噪声点的目的。但是,中值滤波算法容易模糊图像中的细节,特征点(如拐角,凸凹点)容易被破坏,为了最大程度的保留细节,且保证特征点不被破坏的同时滤除噪声,采用改进多维度中值滤波方法。
通过多维度中值滤波算法对检测图像进行滤波,得到滤波后的检测图像,多维度中值滤波算法增加了中心像素出现的次数,降低了将噪声判断为非噪声的几率,同时保留了图像细节。
进一步地,一实施例中,步骤S20,包括:
将检测图像中各个像素点的灰度值分别代入第一预设公式进行滤波,得到滤波后的检测图像,第一预设公式如下:
以此类推,将检测图像中各个像素点的灰度值分别代入第一预设公式进行滤波,即可得到滤波后的检测图像,第一预设公式如下:
其中,
具体地,参照图5a,图5a为本发明图像配准方法一实施例中标准图案示意图。如图5a所示,标准图案为十字架。参照图5b,图5b为本发明图像配准方法一实施例中检测图像示意图。如图5b所示,检测图像为十字架所在的区域。得到检测图像后,通过多维度中值滤波算法对检测图像进行滤波,得到滤波后的检测图像。其中,参照图5c,图5c为本发明图像配准方法一实施例中滤波后的检测图像示意图。滤波后的检测图像如图5c所示。
需要说明的是,图5a、图5b以及图5c为灰度图像,因说明书附图色彩的限制,故提供如图5a所示的标准图案的灰度图二值化图像(黑白图像),如图5b所示的检测图像的灰度图二值化图像以及如图5c所示的滤波后的检测图像的灰度图二值化图像以供参考和说明。其中,本实施例中,标准图案为十字架,故目标图案为检测图像中包括的与标准图案相似度最高的十字架。根据图5a和图5b可以看出,目标图案与标准图案相比,目标图案的检测区域,即检测图像中存在大量噪声点。
步骤S30,对滤波后的检测图像进行灰度分布统计,得到分割阈值;
本实施例中,统计滤波后的检测图像的各个像素点的灰度值,基于灰度分布统计结果得到滤波后的检测图像中各个像素点的灰度值的分割阈值。
进一步地,一实施例中,步骤S30,包括:
基于滤波后的检测图像中各个像素点的灰度值得到滤波后的检测图像的灰度直方图;
获取所述灰度直方图中最大峰值对应的第一灰度值以及次最大峰值对应的第二灰度值;
将第一灰度值以及第二灰度值代入第二预设公式,计算得到滤波后的检测图像的分割阈值,第二预设公式如下:
本实施例中,统计滤波后的检测图像中各个像素点的灰度值,基于统计结果得到滤波后的检测图像的灰度直方图。其中,灰度直方图的横轴为像素点的灰度值,纵轴为像素点的个数。
获取灰度直方图中最大峰值对应的第一灰度值以及次最大峰值对应的第二灰度值,即第一灰度值对应的像素点的个数最多,第二灰度值对应的像素点的个数次之。其中,获取最大峰值的方法包括:获取各个峰值,将第一个峰值与第二个峰值进行比较,以较大的那个峰值作为最大峰值再与第三个峰值进行比较,以此类推,直至比较到最后一个峰值,根据与最后一个峰值的比较结果确定最大峰值以及最大峰值对应的第一灰度值;或者,获取各个峰值,通过max()函数获取最大峰值以及最大峰值对应的第一灰度值。获取次最大峰值的方法与获取最大峰值的方法相同,在此不再一一赘述。容易想到的是第一灰度值对应的像素点的个数最多,则第一灰度值的频率最大,其中,第一灰度值的频率计算公式如下:
将第一灰度值以及第二灰度值代入第二预设公式,计算得到滤波后的检测图像的分割阈值,第二预设公式如下:
其中,thr表示滤波后的检测图像的分割阈值,表示第一灰度值,表示第二灰度值。abs 函数是存在于多种编程语言(包括且不限于:C语言、C++、Fortran、Matlab、Pascal、Delphi、Visual Basic 和 VBA)中的一种用于求数据绝对值的函数。
步骤S40,基于所述分割阈值对滤波后的检测图像进行分割,得到分割后的检测图像;
本实施例中,参照图6,图6为本发明图像配准方法一实施例中分割后的检测图像的示意图。如图6所示,获取滤波后的检测图像的分割阈值之后,基于滤波后的检测图像的分割阈值对滤波后的检测图像进行分割,即可得到分割后的检测图像。需要说明的是,图6中的十字架为灰度图像,因说明书附图色彩的限制,故提供如图6所示的二值化黑白图像以供参考和说明。
进一步地,一实施例中,所述基于所述分割阈值对滤波后的检测图像进行分割的步骤包括:
将滤波后的检测图像中大于所述分割阈值的像素点的灰度值赋值为零。
本实施例中,获取滤波后的检测图像的分割阈值之后,将滤波后的检测图像中大于分割阈值的像素点的灰度值赋值为零。
步骤S50,将分割后的检测图像进行水平方向投影得到第一投影图,将分割后的检测图像进行垂直方向投影得到第二投影图;
本实施例中,将分割后的检测图像进行竖直方向(Y轴方向)投影得到第一投影图,即将分割后的检测图像中各个像素点的灰度值沿Y轴方向累加,得到第一投影图,将分割后的检测图像进行水平方向(X轴方向)投影得到第二投影图,将分割后的检测图像中各个像素点的灰度值沿X轴方向累加,得到第二投影图。其中,第一投影图和第二投影图为一维图像。
步骤S60,基于第一投影图和第二投影图确定目标图案在待检测产品图像中的实际位置;
本实施例中,统计第一投影图中的各个像素点的灰度值分布情况,得到第一灰度统计直方图,统计第二投影图中的各个像素点的灰度值分布情况,得到第二灰度统计直方图,根据第一灰度统计直方图中第一个非零灰度值对应的像素点的坐标和最后一个非零灰度值对应的像素点的坐标,以及第二灰度统计直方图中第一个非零灰度值对应的像素点的坐标和最后一个非零灰度值对应的像素点的坐标,即可确定目标图案在待检测产品图像中的实际位置。
进一步地,一实施例中,步骤S60,包括:
基于第一投影图,得到第一灰度统计直方图;
基于第二投影图,得到第二灰度统计直方图;
获取第一灰度统计直方图中第一个非零灰度值对应的第一坐标以及最后一个非零灰度值对应的第二坐标;
获取第二灰度统计直方图中第一个非零灰度值对应的第三坐标以及最后一个非零灰度值对应的第四坐标;
根据第一坐标、第二坐标、第三坐标以及第四坐标确定分割后的检测图像中的目标图案在待检测产品图像中的实际位置,其中,第一灰度统计直方图的横轴上的点对应第一投影图中的各个像素点在待检测产品图像中的纵坐标,第二灰度统计直方图的横轴上的点对应第二投影图中的各个像素点在待检测产品图像中的横坐标。
本实施例中,参照图7a,图7a为本发明图像配准方法一实施例中第一灰度统计直方图示意图。如图7a所示,统计第一投影图中的各个像素点的灰度值分布情况,得到第一灰度统计直方图。参照图7b,图7b为本发明图像配准方法一实施例中第二灰度统计直方图示意图。如图7b所示,统计第二投影图中的各个像素点的灰度值分布情况,得到第二灰度统计直方图。第一灰度统计直方图的纵轴表示第一投影图中的各个像素点的灰度值,第一灰度统计直方图的横轴上的点对应第一投影图中的各个像素点在待检测产品图像中的纵坐标,即分割后的检测图像在待检测产品图像中竖直(Y轴)方向坐标,第二灰度统计直方图的纵轴表示第二投影图中的各个像素点的灰度值,第二灰度统计直方图的横轴上的点对应第二投影图中的各个像素点在待检测产品图像中的横坐标,即分割后的检测图像在待检测产品图像中水平(X轴)方向坐标。
继续参照图7a,第一灰度统计直方图中第一个非零灰度值对应的第一坐标为(35,93),最后一个非零灰度值对应的第二坐标为(495,95),继续参照图7b,第二灰度统计直方图中第一个非零灰度值对应第三坐标为(18,90),最后一个非零灰度值对应的第四坐标为(475,92),因为第一灰度统计直方图的纵轴表示第一投影图中的各个像素点的灰度值,第一灰度统计直方图的横轴上的点对应第一投影图中的各个像素点在待检测产品图像中的纵坐标,第二灰度统计直方图的纵轴表示第二投影图中的各个像素点的灰度值,第二灰度统计直方图的横轴上的点对应第二投影图中的各个像素点在待检测产品图像中的横坐标,所以,因此根据第一坐标、第二坐标、第三坐标以及第四坐标确定分割后的检测图像中的目标图案在待检测产品图像的左上点坐标为(18,495),右上点坐标为(475,495),左下点坐标为(18,35),右下点坐标为(475,35),即确定由左上点坐标为(18,495),右上点坐标为(475,495),左下点坐标为(18,35),右下点坐标为(475,35)组成的区域为分割后的检测图像中的目标图案在待检测产品图像中的实际位置。参照图4,图4为本发明图像配准方法一实施例中目标图案在待检测产品图像中的实际位置示意图。如图4所示,图4中的图像1即为根据第一坐标、第二坐标、第三坐标以及第四坐标确定分割后的检测图像中的目标图案在待检测产品图像中的实际位置。
步骤S70,通过傅里叶梅林变换算法将实际位置与标准位置进行配准,得到标准图案与目标图案的偏差量,其中,标准位置为标准图案在标准产品图像中的位置。
本实施例中,通过傅里叶梅林变换算法对分割后的检测图像中的目标图案在待检测产品图像中的实际位置与标准图案在标准产品图像中的标准位置进行配准,即可得到标准图案与目标图案的偏差量。其中,标准位置为标准图案在标准产品图像中的位置,标准图案与目标图案的偏差量包括平移量、旋转量以及缩放量。
即,,再进行傅里叶变换后计算公式两边的幅度谱,将幅度谱转换导对数-极坐标空间中,可知标准图案与目标图案之间存在的旋转和缩放在对数-极坐标系下转换成了平移量,对数-极坐标下幅度谱运用相位相关算法,即可计算出平移量,从而得到旋转量和缩放量。
容易想到的是,若以标准图案为参考图案,则标准图案与目标图案的偏差量即为目标图案相对于标准图案的偏差量,即,若目标图案相对于标准图案的偏差量中,平移量和旋转量为零,缩放量为2,则目标图案的大小是标准图案的2倍。若以目标图案为参考图案,则标准图案与目标图案的偏差量即为标准图案相对于目标图案的偏差量,即,若标准图案相对于目标图案的偏差量中,平移量和旋转量为零,缩放量为2,则标准图案的大小是目标图案的2倍。
本实施例中,从待检测产品图像中获取检测图像,其中,检测图像小于待检测产品图像,且检测图像为包括一个与标准图案相似度最高的目标图案的图像;对检测图像进行滤波,得到滤波后的检测图像;对滤波后的检测图像进行灰度分布统计,得到分割阈值;基于所述分割阈值对滤波后的检测图像进行分割,得到分割后的检测图像;将分割后的检测图像进行水平方向投影得到第一投影图,将分割后的检测图像进行垂直方向投影得到第二投影图;基于第一投影图和第二投影图确定目标图案在待检测产品图像中的实际位置;通过傅里叶梅林变换算法将实际位置与标准位置进行配准,得到标准图案与目标图案的偏差量,其中,标准位置为标准图案在标准产品图像中的位置。通过本实施例,从待检测产品图像中获取检测图像,因为检测图像是包括一个与标准图案相似度最高的目标图案的图像,所以即使目标图案的纹理有缺陷,也不会使本方案失效,又通过多维度中值滤波方法最大程度的保留细节,且保证特征点不被破坏的同时滤除噪声,通过灰度分布统计和方向投影快速确定目标图案在待检测产品图像中的实际位置,最大程度缩减配准范围,缩短进行的配准时间,从而满足在线检测要求,最后采用傅里叶梅林算法对抗图像旋转,缩放,平移及目标图案部分缺失的问题,从而准确的计算出标准图案与目标图案的偏差量,为后续检测提供有力的保证,解决了现有技术中若产品图像的匹配区域存在大量的异常点或者匹配区域的纹理存在缺失,导致图像配准结果的准确率较低的问题。
进一步地,一实施例中,在所述步骤S70之后,包括:
根据所述偏差量以及新的标准图案在标准产品图像中的位置确定新的目标图案在待检测产品图像中的实际位置。
本实施例中,参照图8a,图8a为本发明图像配准方法一实施例中新的标准图案在标准产品图像中的位置示意图。如图8a所示,新的标准图案为五角星。参照图8b,图8b为本发明图像配准方法一实施例中新的目标图案在待检测产品图像中的实际位置示意图,如图8b所示,五角星所处的虚线框区域即为新的目标图案在待检测产品图像中的实际位置。根据偏差量以及新的标准图案在标准产品图像中的位置,即可确定的新的目标图案在待检测产品图像中的实际位置。
具体地,若目标图案相对于标准图案的偏差量中,平移量和旋转量为零,缩放量为2,则在新的标准图案在标准产品图像中的位置的基础上扩大2倍,以在新的标准图案在标准产品图像中的位置的基础上扩大2倍的区域作为新的目标图案在待检测产品图像中的实际位置。容易想到的是,若平移量和旋转量不为零,则同样根据平移量和旋转量的值,在新的标准图案在标准产品图像中的位置的基础上进行平移和旋转。容易想到的是,同一待检测产品图像中,新的标准图案与新的目标图案的偏差量等于标准图案与目标图案的偏差量。
第三方面,本发明实施例还提供一种图像配准装置。
一实施例中,参照图9,图9为本发明图像配准装置一实施例的功能模块示意图。如图9所示,图像配准装置包括:
获取模块10,用于从待检测产品图像中获取检测图像,其中,检测图像小于待检测产品图像,且检测图像为包括一个与标准图案相似度最高的目标图案的图像;
滤波模块20,用于对检测图像进行滤波,得到滤波后的检测图像;
统计模块30,用于对滤波后的检测图像进行灰度分布统计,得到分割阈值;
分割模块40,用于基于所述分割阈值对滤波后的检测图像进行分割,得到分割后的检测图像;
投影模块50,用于将分割后的检测图像进行水平方向投影得到第一投影图,将分割后的检测图像进行垂直方向投影得到第二投影图;
确定模块60,用于基于第一投影图和第二投影图确定目标图案在待检测产品图像中的实际位置;
配准模块70,用于通过傅里叶梅林变换算法将实际位置与标准位置进行配准,得到标准图案与目标图案偏差量,其中,标准位置为标准图案在标准产品图像中的位置。
进一步地,一实施例中,滤波模块20,用于:
将检测图像中各个像素点的灰度值分别代入第一预设公式进行滤波,得到滤波后的检测图像,第一预设公式如下:
进一步地,一实施例中,统计模块30,用于:
基于滤波后的检测图像中各个像素点的灰度值得到滤波后的检测图像的灰度直方图;
获取所述灰度直方图中最大峰值对应的第一灰度值以及次最大峰值对应的第二灰度值;
将第一灰度值以及第二灰度值代入第二预设公式,计算得到滤波后的检测图像的分割阈值,第二预设公式如下:
进一步地,一实施例中,分割模块40,用于:
将滤波后的检测图像中大于所述分割阈值的像素点的灰度值赋值为零。
进一步地,一实施例中,确定模块60,用于:
基于第一投影图,得到第一灰度统计直方图;
基于第二投影图,得到第二灰度统计直方图;
获取第一灰度统计直方图中第一个非零灰度值对应的第一坐标以及最后一个非零灰度值对应的第二坐标;
获取第二灰度统计直方图中第一个非零灰度值对应的第三坐标以及最后一个非零灰度值对应的第四坐标;
根据第一坐标、第二坐标、第三坐标以及第四坐标确定分割后的检测图像中的目标图案在待检测产品图像中的实际位置,其中,第一灰度统计直方图的横轴上的点对应第一投影图中的各个像素点在待检测产品图像中的纵坐标,第二灰度统计直方图的横轴上的点对应第二投影图中的各个像素点在待检测产品图像中的横坐标。
进一步地,一实施例中,确定模块60,还用于:
根据所述偏差量以及新的标准图案在标准产品图像中的位置确定新的目标图案在待检测产品图像中的实际位置。
其中,上述图像配准装置中各个模块的功能实现与上述图像配准方法实施例中各步骤相对应,其功能和实现过程在此处不再一一赘述。
第四方面,本发明实施例还提供一种可读存储介质。
本发明可读存储介质上存储有图像配准程序,其中所述图像配准程序被处理器执行时,实现如上述的图像配准方法的步骤。
其中,图像配准程序被执行时所实现的方法可参照本发明图像配准方法的各个实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种图像配准方法,其特征在于,所述图像配准方法包括:
从待检测产品图像中获取检测图像,其中,检测图像小于待检测产品图像,且检测图像为包括一个与标准图案相似度最高的目标图案的图像;
对检测图像进行滤波,得到滤波后的检测图像;
对滤波后的检测图像进行灰度分布统计,得到分割阈值;
基于所述分割阈值对滤波后的检测图像进行分割,得到分割后的检测图像;
将分割后的检测图像进行水平方向投影得到第一投影图,将分割后的检测图像进行垂直方向投影得到第二投影图;
基于第一投影图和第二投影图确定目标图案在待检测产品图像中的实际位置;
通过傅里叶梅林变换算法将实际位置与标准位置进行配准,得到标准图案与目标图案的偏差量,其中,标准位置为标准图案在标准产品图像中的位置;
所述对检测图像进行滤波,得到滤波后的检测图像的步骤,包括:
将检测图像中各个像素点的灰度值分别代入第一预设公式进行滤波,得到滤波后的检测图像,第一预设公式如下:
g(x,y)=Median{Median(d1,d2,f(x,y)),Median(d3,d4,f(x,y)),f(x,y)}
其中,d1,d2,d3,d4分别表示与水平线的夹角,f(x,y)为检测图像中像素点的灰度值,g(x,y)为滤波后检测图像中像素点的灰度值,Median是一种能够返回给定数值的中值的计算机函数;
所述基于第一投影图和第二投影图确定目标图案在待检测产品图像中的实际位置的步骤,包括:
基于第一投影图,得到第一灰度统计直方图;
基于第二投影图,得到第二灰度统计直方图;
获取第一灰度统计直方图中第一个非零灰度值对应的第一坐标以及最后一个非零灰度值对应的第二坐标;
获取第二灰度统计直方图中第一个非零灰度值对应的第三坐标以及最后一个非零灰度值对应的第四坐标;
根据第一坐标、第二坐标、第三坐标以及第四坐标确定分割后的检测图像中的目标图案在待检测产品图像中的实际位置,其中,第一灰度统计直方图的横轴上的点对应第一投影图中的各个像素点在待检测产品图像中的纵坐标,第二灰度统计直方图的横轴上的点对应第二投影图中的各个像素点在待检测产品图像中的横坐标。
3.如权利要求1所述的图像配准方法,其特征在于,所述基于所述分割阈值对滤波后的检测图像进行分割的步骤包括:
将滤波后的检测图像中大于所述分割阈值的像素点的灰度值赋值为零。
4.如权利要求1所述的图像配准方法,其特征在于,在所述通过傅里叶梅林变换算法将实际位置与标准位置进行配准,得到标准图案与目标图案偏差量,其中,标准位置为标准图案在标准产品图像中的位置的步骤之后,包括:
根据所述偏差量以及新的标准图案在标准产品图像中的位置确定新的目标图案在待检测产品图像中的实际位置。
5.一种图像配准装置,其特征在于,所述图像配准装置包括:
获取模块,用于从待检测产品图像中获取检测图像,其中,检测图像小于待检测产品图像,且检测图像为包括一个与标准图案相似度最高的目标图案的图像;
滤波模块,用于对检测图像进行滤波,得到滤波后的检测图像;
统计模块,用于对滤波后的检测图像进行灰度分布统计,得到分割阈值;
分割模块,用于基于所述分割阈值对滤波后的检测图像进行分割,得到分割后的检测图像;
投影模块,用于将分割后的检测图像进行水平方向投影得到第一投影图,将分割后的检测图像进行垂直方向投影得到第二投影图;
确定模块,用于基于第一投影图和第二投影图确定目标图案在待检测产品图像中的实际位置;
配准模块,用于通过傅里叶梅林变换算法将实际位置与标准位置进行配准,得到标准图案与目标图案偏差量,其中,标准位置为标准图案在标准产品图像中的位置;
所述滤波模块,用于:
将检测图像中各个像素点的灰度值分别代入第一预设公式进行滤波,得到滤波后的检测图像,第一预设公式如下:
g(x,y)=Median{Median(d1,d2,f(x,y)),Median(d3,d4,f(x,y)),f(x,y)}
其中,d1,d2,d3,d4分别表示与水平线的夹角,f(x,y)为检测图像中像素点的灰度值,g(x,y)为滤波后检测图像中像素点的灰度值,Median是一种能够返回给定数值的中值的计算机函数;
所述确定模块,用于:
基于第一投影图,得到第一灰度统计直方图;
基于第二投影图,得到第二灰度统计直方图;
获取第一灰度统计直方图中第一个非零灰度值对应的第一坐标以及最后一个非零灰度值对应的第二坐标;
获取第二灰度统计直方图中第一个非零灰度值对应的第三坐标以及最后一个非零灰度值对应的第四坐标;
根据第一坐标、第二坐标、第三坐标以及第四坐标确定分割后的检测图像中的目标图案在待检测产品图像中的实际位置,其中,第一灰度统计直方图的横轴上的点对应第一投影图中的各个像素点在待检测产品图像中的纵坐标,第二灰度统计直方图的横轴上的点对应第二投影图中的各个像素点在待检测产品图像中的横坐标。
7.一种图像配准设备,其特征在于,所述图像配准设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的图像配准程序,其中所述图像配准程序被所述处理器执行时,实现如权利要求1至4中任一项所述的图像配准方法的步骤。
8.一种可读存储介质,其特征在于,所述可读存储介质上存储有图像配准程序,其中所述图像配准程序被处理器执行时,实现如权利要求1至4中任一项所述的图像配准方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210961467.7A CN115049713B (zh) | 2022-08-11 | 2022-08-11 | 图像配准方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210961467.7A CN115049713B (zh) | 2022-08-11 | 2022-08-11 | 图像配准方法、装置、设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115049713A CN115049713A (zh) | 2022-09-13 |
CN115049713B true CN115049713B (zh) | 2022-11-25 |
Family
ID=83167605
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210961467.7A Active CN115049713B (zh) | 2022-08-11 | 2022-08-11 | 图像配准方法、装置、设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115049713B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117471489B (zh) * | 2023-12-25 | 2024-03-22 | 中国人民解放军国防科技大学 | 基于单像素成像技术的目标探测方法、装置和计算机设备 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60220479A (ja) * | 1984-04-17 | 1985-11-05 | Fujitsu Ltd | 文字位置検出回路 |
CN104309866A (zh) * | 2014-10-16 | 2015-01-28 | 中国电子科技集团公司第四十一研究所 | 一种香烟包装机模盒内烟支自动定位方法 |
CN105678752A (zh) * | 2015-12-30 | 2016-06-15 | 合肥天一生物技术研究所 | 一种基于固定参数分割微柱小管的血型识别方法 |
CN105787936A (zh) * | 2016-02-25 | 2016-07-20 | 天津普达软件技术有限公司 | 一种确定瓶盖位置的方法 |
CN106600600A (zh) * | 2016-12-26 | 2017-04-26 | 华南理工大学 | 基于特征匹配的晶圆缺陷检测方法 |
CN109087295A (zh) * | 2018-07-31 | 2018-12-25 | 贵州大学 | 基于灰度值投影法的桥梁露筋视觉检测方法 |
CN111160147A (zh) * | 2019-12-16 | 2020-05-15 | 华南理工大学 | 一种书法作品图像的裁剪和识别方法 |
CN112378350A (zh) * | 2020-11-16 | 2021-02-19 | 四川显石电子科技有限公司 | 一种网络变压器pin脚平整度检测方法 |
CN112418323A (zh) * | 2020-11-24 | 2021-02-26 | 哈尔滨市科佳通用机电股份有限公司 | 基于图像处理的铁路货车钩舌销故障检测方法 |
CN112837302A (zh) * | 2021-02-09 | 2021-05-25 | 广东拓斯达科技股份有限公司 | 模具的状态监测方法、装置、工控机、存储介质及系统 |
CN114529590A (zh) * | 2022-01-26 | 2022-05-24 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | 动车组车底故障检测的图像配准方法及系统 |
CN114820625A (zh) * | 2022-06-30 | 2022-07-29 | 爱普车辆股份有限公司 | 一种汽车顶块缺陷检测方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003085565A (ja) * | 2001-09-07 | 2003-03-20 | Dainippon Screen Mfg Co Ltd | 濃淡パターンマッチング装置および方法 |
JP2004240931A (ja) * | 2003-02-05 | 2004-08-26 | Sony Corp | 画像照合装置、画像照合方法、およびプログラム |
CN114742824A (zh) * | 2022-05-19 | 2022-07-12 | 广州大学 | 一种基于机器视觉的药片缺失检测方法及系统 |
-
2022
- 2022-08-11 CN CN202210961467.7A patent/CN115049713B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60220479A (ja) * | 1984-04-17 | 1985-11-05 | Fujitsu Ltd | 文字位置検出回路 |
CN104309866A (zh) * | 2014-10-16 | 2015-01-28 | 中国电子科技集团公司第四十一研究所 | 一种香烟包装机模盒内烟支自动定位方法 |
CN105678752A (zh) * | 2015-12-30 | 2016-06-15 | 合肥天一生物技术研究所 | 一种基于固定参数分割微柱小管的血型识别方法 |
CN105787936A (zh) * | 2016-02-25 | 2016-07-20 | 天津普达软件技术有限公司 | 一种确定瓶盖位置的方法 |
CN106600600A (zh) * | 2016-12-26 | 2017-04-26 | 华南理工大学 | 基于特征匹配的晶圆缺陷检测方法 |
CN109087295A (zh) * | 2018-07-31 | 2018-12-25 | 贵州大学 | 基于灰度值投影法的桥梁露筋视觉检测方法 |
CN111160147A (zh) * | 2019-12-16 | 2020-05-15 | 华南理工大学 | 一种书法作品图像的裁剪和识别方法 |
CN112378350A (zh) * | 2020-11-16 | 2021-02-19 | 四川显石电子科技有限公司 | 一种网络变压器pin脚平整度检测方法 |
CN112418323A (zh) * | 2020-11-24 | 2021-02-26 | 哈尔滨市科佳通用机电股份有限公司 | 基于图像处理的铁路货车钩舌销故障检测方法 |
CN112837302A (zh) * | 2021-02-09 | 2021-05-25 | 广东拓斯达科技股份有限公司 | 模具的状态监测方法、装置、工控机、存储介质及系统 |
CN114529590A (zh) * | 2022-01-26 | 2022-05-24 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | 动车组车底故障检测的图像配准方法及系统 |
CN114820625A (zh) * | 2022-06-30 | 2022-07-29 | 爱普车辆股份有限公司 | 一种汽车顶块缺陷检测方法 |
Non-Patent Citations (5)
Title |
---|
两种改进型中值滤波算法比较;张勇等;《光电技术应用》;20100215(第01期);第43-45页 * |
基于傅里叶-梅林变换的图像匹配方法研究;戴宪策等;《红外技术》;20161031;第38卷(第10期);第860-863页 * |
基于局部图像分割与多特征滤波的自适应桥梁露筋检测算法;贺福强等;《应用光学》;20200515(第03期);第508-515页 * |
基于灰度积分投影的人眼定位;冯建强等;《计算机仿真》;20050430;第22卷(第04期);第75-76、104页 * |
基于边缘保护的中值滤波算法的改进;刘莘等;《中国科技信息》;20150401(第07期);第110-111页 * |
Also Published As
Publication number | Publication date |
---|---|
CN115049713A (zh) | 2022-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109978839B (zh) | 晶圆低纹理缺陷的检测方法 | |
EP2783328B1 (en) | Text detection using multi-layer connected components with histograms | |
KR101795823B1 (ko) | 광학 문자 인식되는 텍스트 영상의 텍스트 개선 기법 | |
CN109146855B (zh) | 一种图像摩尔纹检测方法、终端设备及存储介质 | |
CN111951290B (zh) | 一种图像中物体的边缘检测方法及装置 | |
CN106981077B (zh) | 基于dce和lss的红外图像和可见光图像配准方法 | |
CN108986152B (zh) | 一种基于差分图像的异物检测方法及装置 | |
US20100239166A1 (en) | Character recognition device, image-reading device, computer readable medium, and character recognition method | |
CN110717497B (zh) | 图像相似度匹配方法、装置及计算机可读存储介质 | |
CN111539238B (zh) | 二维码图像修复方法、装置、计算机设备和存储介质 | |
CN111340109A (zh) | 图像匹配方法、装置、设备及存储介质 | |
CN115205223B (zh) | 透明物体的视觉检测方法、装置、计算机设备及介质 | |
CN111899270B (zh) | 卡片边框检测方法、装置、设备及可读存储介质 | |
CN115049713B (zh) | 图像配准方法、装置、设备及可读存储介质 | |
CN112651953B (zh) | 图片相似度计算方法、装置、计算机设备及存储介质 | |
CN110084818B (zh) | 动态下采样图像分割方法 | |
CN110751156A (zh) | 用于表格线大块干扰去除方法、系统、设备及介质 | |
CN113627423A (zh) | 圆形印章字符识别方法、装置、计算机设备和存储介质 | |
Belhedi et al. | Adaptive scene‐text binarisation on images captured by smartphones | |
CN111047614A (zh) | 一种基于特征提取的复杂场景图像的目标角点提取方法 | |
CN111753573B (zh) | 二维码图像识别方法、装置、电子设备以及可读存储介质 | |
Dhar et al. | Interval type-2 fuzzy set and human vision based multi-scale geometric analysis for text-graphics segmentation | |
CN111435531B (zh) | 一种图像偏转角度检测方法、智能设备及存储介质 | |
CN113744200A (zh) | 一种摄像头脏污检测方法、装置及设备 | |
CN111027560A (zh) | 文本检测方法以及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |