CN106127261B - 一种快速多分辨率灰度图像模板匹配方法 - Google Patents
一种快速多分辨率灰度图像模板匹配方法 Download PDFInfo
- Publication number
- CN106127261B CN106127261B CN201610519037.4A CN201610519037A CN106127261B CN 106127261 B CN106127261 B CN 106127261B CN 201610519037 A CN201610519037 A CN 201610519037A CN 106127261 B CN106127261 B CN 106127261B
- Authority
- CN
- China
- Prior art keywords
- image
- template
- integral
- angle
- matched
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000004364 calculation method Methods 0.000 claims abstract description 18
- 230000036961 partial effect Effects 0.000 claims description 11
- 230000009467 reduction Effects 0.000 claims description 10
- 230000003321 amplification Effects 0.000 claims description 7
- 230000010354 integration Effects 0.000 claims description 7
- 238000003475 lamination Methods 0.000 claims description 7
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000009416 shuttering Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种快速多分辨率灰度图像模板匹配方法，包括如下步骤：建立模板图像在旋转各个角度下的多分辨率积分图像；建立待匹配图像的多分辨率积分图像；使模板图像的最低分辨率积分图在待匹配图像的最低分辨率积分图像上遍历匹配，得出目标候选区域和对应的模板角度；使用模板图像与待匹配图像高一级分辨率的积分图像进行匹配，得出新的目标候选区域和新的模板角度；重复上一个步骤，若模板图像T与待匹配图像均已到达最高分辨率积分图像，则得到最终的匹配结果。本发明通过建立灰度图像的多分辨率积分图，优化了计算量，减少了匹配耗时；本发明还采取了先放大图像再查表的方法来得到旋转后模板图像每一像素处的灰度值，减少旋转图像锯齿现象的同时减少了耗时。
Description
技术领域
本发明属于计算机视觉领域，尤其是一种快速多分辨率灰度图像模板匹配方法。
背景技术
随着科技的发展，工业生产应用中对零件的测量、定位、检测等方面逐渐过渡到由机器人视觉引导系统完成。机器人视觉引导系统完成这些功能需要首先对待测零件进行定位，而其中应用最多地技术为模板匹配。模板匹配算法根据对视觉引导系统拍摄得到的图像的分析方法不同，可以分为基于组件的模板匹配、基于形状的模板匹配和基于灰度的模板匹配。其中基于灰度的模板匹配是通过计算待测零件的模板图像和待匹配图像的各组对应像素的相关系数，以相关系数的总和值来评价是否匹配，这种方法原理简单，适用最为广泛。而基于灰度的模板匹配方法又因其相关系数计算公式的不同，可以细分为平均绝对差(MAD)法、绝对误差总和(SAD)法、平方差总和(SSD)法和归一化互相关积(NCC)法。定义T为模板图像，S为待匹配图像，S(u,v)为待匹配图像被模板图像覆盖部分的实时子图像。其中实时子图像与模板图像的大小相同，均为m×n。使用u，v表示实时子图像左上角像素点在待匹配图像中的偏移坐标，使用i，j表示实时子图像左上角像素点相对于待匹配图像左上角像素点的横纵坐标偏移量，则上述几种基于灰度的模板匹配方法的相关系数计算公式表达式分别如下：
上述公式表明，MAD、SAD、SSD三种方法虽然计算量相对较小，但只考虑了像素值的距离，若待匹配图像的亮度变化较大则会对匹配结果造成较大影响。NCC方法使用互相关的方法，因此对待匹配图像的亮度变化敏感度较低，但计算量非常庞大，耗时较长。而视觉引导系统对工业零件进行智能精准定位的过程，不但要求模板匹配的精度高，还要求模板匹配的耗时短。
发明专利CN201010571723.9公开了一种用于数字信号处理器的灰度图像相关匹配算法，将实时子图像与模板图像分为若干大小相等的小块，每一小块内部进行绝对差和计算，每一小块的计算结果进行平方和计算，将平方和相加得到相关系数。这种方法虽然在一定程度上会提高匹配速度与精度，但它的速度与精度受分块图像大小的影响。
发明内容
本发明所要解决的技术问题在于提供一种可提高灰度图像模板匹配速度与精度的一种快速多分辨率灰度图像模板匹配方法。
为解决上述技术问题，本发明提供如下技术方案。
一种快速多分辨率灰度图像模板匹配方法，其包括如下步骤：
S1、获取模板图像T，建立模板图像T在旋转各个角度Φ下的多分辨率积分图像TIIk,h|Φ，其中TIIk,h表示模板图像T以积分单元大小为k×h时的多分辨率积分图像，其中k＝k1，k2，……，kN并且k1≥k2≥……kN，h＝h1，h2，……，hN并且h1≥h2≥……hN，N为将一幅图像取不同积分单元大小的总类别数，积分单元越小，模板图像T的积分图像分辨率越高，TIIk,h｜Φ表示模板图像T在旋转各个角度Φ时以积分单元大小为k×h时的多分辨率积分图像，其中Φ为以Δθ为角度间隔的涵盖一个周角的角度集合，并用θ表示角度集合Φ中的一个角度元素；
S2、获取待匹配图像S，建立待匹配图像S的多分辨率积分图像SIIk,h，其中SIIk,h表示待匹配图像S以积分单元大小为k×h时的多分辨率积分图像，其中k＝k1，k2，……，kN并且k1≥k2≥……kN，h＝h1，h2，……，hN并且h1≥h2≥……hN，N为将一幅图像取不同积分单元大小的总类别数，积分单元越小，待匹配图像S的积分图像分辨率越高；
S3、将模板图像T在各个角度Φ下的最低分辨率积分图像在待匹配图像S的最低分辨率积分图像上遍历匹配，通过计算局部最小相关系数，得出第一次目标候选区域和匹配得出模板角度θl，令此步骤l＝1；
S4、将上一步骤匹配得出的模板角度θl的邻域作为新的角度匹配范围Φ(l)，将上一步骤的目标候选区域作为匹配区域，使用模板图像T与待匹配图像S高一级分辨率的积分图像与SIIk,h进行匹配，得出新的目标候选区域和匹配得出新的模板角度θl+1，其中l＝1,2,……,N-1，为匹配次数，Φ(l)＝[θl-ε,θl+ε]，为第l次匹配得出的模板角度θl的邻域，ε为当层积分图像可识别的最小角度数值；
S5、重复步骤S4，若匹配时模板图像T与待匹配图像S均已到达最高分辨率积分图像与则得到的匹配位置和对应的模板角度θN为最终的匹配结果。
进一步，所述步骤S1，其包括如下步骤：
S11、读取模板图像T，并对模板图像T进行降噪预处理；
S12、对模板图像T进行旋转变换，得到旋转各个角度Φ所对应的模板图像T|Φ，其中θ为以Δθ为角度间隔的涵盖一个周角的角度集合，并用θ表示角度集合Φ中的一个角度元素；
S13、分别计算模板图像T旋转各个角度Φ时T|Φ的多分辨率积分图像TIIk,h|Φ，其中TIIk,h表示模板图像T以积分单元大小为k×h时的多分辨率积分图像，其中k＝k1，k2，……，kN并且k1≥k2≥……kN，h＝h1，h2，……，hN并且h1≥h2≥……hN，N为将一幅图像取不同积分单元大小的总类别数，积分单元越小，模板图像T的积分图像分辨率越高，TIIk,h|Φ表示模板图像T在旋转各个角度Φ时以积分单元大小为k×h时的多分辨率积分图像。
进一步，所述步骤S12，其具体为：
使用先放大图像再查表的方法来得到旋转各个角度Φ所对应的模板图像，首先根据需要达到的精度对原模板图像T进行放大，再将放大后的模板图像旋转角度θ得到T|θ，并将旋转后的模板图像T|θ上的每个位置映射到放大的模板图像T上，并取与放大的模板图像T上最近位置处的像素值作为旋转后模板图像T|θ上对应位置的像素值。再将模板图像T旋转至其他角度θ，得到模板图像T旋转各个角度Φ所对应的模板图像。
进一步，所述步骤S13，其包括如下步骤：
S131、读取模板图像T无旋转时的模板图像T|θ，并记录此时的模板图像T的旋转角度θ，此时θ＝0°；
S132、计算模板图像T在旋转角度θ时T|θ的整个的积分图像其中k1×h1＝W×H，为对模板图像T进行积分的积分单元的大小，W、H分别为模板图像T的宽和高，表示模板图像T以积分单元大小为k1×h1时的积分图像，表示模板图像T在旋转角度θ时以积分单元大小为k1×h1时的多分辨率积分图像；
S133、缩小积分单元的大小，计算模板图像T在旋转角度θ下时更高一级分辨率的积分图像，其中积分单元越小，模板图像T的积分图像的分辨率越高；
S134、重复步骤S133，直至积分单元的大小为kN×hN，得到模板图像T在此旋转角度下的N层多分辨率积分图像TIIk,h|θ，其中k＝k1，k2，……，kN并且k1≥k2≥……kN，h＝h1，h2，……，hN并且h1≥h2≥……hN，N为将一幅图像取不同积分单元大小的总类别数；
S135、分别读取模板图像T旋转各个角度Φ所对应的模板图像T|Φ，并分别记录对应的模板图像T的旋转角度θ，重复步骤S132、S133、S134，分别得到模板图像T旋转各个角度Φ时T|Φ所对应的多分辨率积分图像TIIk,h|Φ。
进一步，所述步骤S2，其包括如下步骤：
S21、读取待匹配图像S，并对待匹配图像S进行降噪预处理；
S22、计算待匹配图像S的多分辨率积分图像SIIk,h，其中SIIk,h表示待匹配图像S以积分单元大小为k×h时的多分辨率积分图像，其中k＝k1，k2，……，kN并且k1≥k2≥……kN，h＝h1，h2，……，hN并且h1≥h2≥……hN，N为将一幅图像取不同积分单元大小的总类别数，积分单元越小，待匹配图像S的积分图像分辨率越高。
进一步，所述步骤S22，其包括如下步骤：
S221、以模板图像T的大小为积分单元大小，计算待匹配图像S的积分图像
S222、缩小积分单元的大小，计算待匹配图像S更高一级分辨率的积分图像，其中积分单元越小，待匹配图像S的积分图像的分辨率越高；
S223、重复步骤S222，直至积分单元的大小为kN×hN，得到待匹配图像S的N层多分辨率积分图像SIIk,h，其中k＝k1，k2，……，kN并且k1≥k2≥……kN，h＝h1，h2，……，hN并且h1≥h2≥……hN，N为将一幅图像取不同积分单元大小的总类别数。
进一步，所述步骤S3，其包括如下步骤：
S31、将模板图像T在旋转角度θ时的最低分辨率积分图像在待匹配图像S的最低分辨率积分图像上遍历匹配，并计算每个位置(u,v)处的相关系数SAD(u,v)|θ，其计算公式如下：
其中W、H分别为模板图像的宽和高，u，v表示模板图像T左上角像素点在待匹配图像S中的偏移坐标，i，j表示模板图像左上角像素点相对于待匹配图像左上角像素点的横纵坐标偏移量，为当模板图像T旋转角度θ时以(u,v)为起点、积分单元大小为k×h的图像积分值，为在待匹配图像上以(u,v)为起点、积分单元大小为k×h的图像积分值；
S32、选取模板图像T旋转其它角度θ所对应的最低分辨率积分图像重复步骤S31，直到角度θ遍历角度集合Φ中的每一个角度元素，得到模板图像T使用各个角度Φ进行匹配时每个位置(u,v)处的相关系数SAD(u,v)|Φ；
S33、计算上一步骤获得的一系列相关系数SAD(u,v)|Φ的局部最小值，将局部最小值的位置处作为第一次目标候选区域，将得出局部最小值时模板图像T的旋转角度作为匹配出模板角度θl，令此步骤l＝1。
进一步，所述步骤S4，其包括如下步骤：
S41、建立上一步骤匹配得出的模板角度的邻域Φ(l)，并将其作为新的角度匹配范围，其中l＝1,2,……,N-1，为匹配次数，Φ(l)＝[θl-ε,θl+ε]，为第l次匹配得出的模板角度θl的邻域，ε为当层积分图像可识别的最小角度数值，随着积分图像的分辨率越高，ε的数值越小；
S42、将目标候选区域映射到待匹配图像S分辨率高一级的积分图像SIIk,h上，得到分辨率高一级的目标候选区域；
S43、选择邻域Φ(l)范围内模板图像T分辨率高一级的积分图像在待匹配图像S分辨率高一级的积分图像SIIk,h的目标候选区域进行遍历匹配，并通过公式(1)计算匹配时每个位置(u,v)处的相关系数
S44、计算上一步骤获得的一系列相关系数的局部最小值，将局部最小值的位置处作为新的目标候选区域，将得出局部最小值时模板图像T的旋转角度作为匹配得出的新的模板角度θl+1。
本发明的有益效果是：本发明一种快速多分辨率灰度图像模板匹配方法，通过建立模板图像与待匹配图像的多分辨率积分图，匹配时挑选相关系数局部最小值处作为目标候选区，从而剔除非目标区，优化了计算量，减少了匹配耗时；本发明还在对模板图像进行旋转变换时，采取了先放大图像再查表的方法来得到旋转后模板图像每一像素处的灰度值，减少旋转图像锯齿现象的同时减少了耗时。
附图说明
图1为本发明一种快速多分辨率灰度图像模板匹配方法中模板图像T与待匹配图像S之间关系的示意图；
图2为本发明一种快速多分辨率灰度图像模板匹配方法的整体流程图；
图3为本发明一种快速多分辨率灰度图像模板匹配方法中步骤S1的流程图；
图4为本发明中作为优选的实施例中所使用的均值滤波器的示意图；
图5为本发明中作为优选的实施例中所使用的另一种高斯滤波器的示意图；
图6为本发明将模板图像T先放大再查表找值的方法示意图；
图7为本发明一种快速多分辨率灰度图像模板匹配方法中步骤S13的流程图；
图8为本发明计算模板图像T的整个积分图像的方法示意图；
图9为本发明中缩小积分单元提高分辨率时图像内部区域积分图像的算法示意图；
图10为本发明多分辨率积分层级示意图；
图11为本发明一种快速多分辨率灰度图像模板匹配方法中步骤S2的流程图；
图12为本发明一种快速多分辨率灰度图像模板匹配方法中步骤S22的流程图；
图13为本发明一种快速多分辨率灰度图像模板匹配方法中步骤S3的流程图；
图14为本发明一种快速多分辨率灰度图像模板匹配方法中步骤S4的流程图；
具体实施方式
下面结合附图，对本发明一种快速多分辨率灰度图像模板匹配方法是如何在灰度图像中建立多分辨率积分图像、并利用多分辨率积分图像进行模板匹配作进一步地详细说明。
本发明一种快速多分辨率灰度图像模板匹配方法中使用相机获取模板图像T与待匹配图像S。所述相机可以为CCD类型相机或CMOS类型相机。所述模板图像T为相机拍摄、并经过图像处理器处理得到的仅包含完整物体的图像，模板图像T的边缘为物体的边缘。所述图像处理器为有图像处理功能的装置。所述物体可以为机器视觉应用中任何一种需要对其进行测量、定位、检测的零件。所述待匹配图像S为相机移动过程中实时拍摄得到的包含完整或部分目标物体的图像。为了更好地说明模板图像T与待匹配图像S之间的关系，以待匹配物体的形状为一矩形零件为例，当待匹配图像S中包含完整物体T'时，如图1所示，模板图像T需要以各种角度在待匹配图像S中逐行逐列进行遍历，才能匹配得到目标物体T'的位置，以及根据模板图像T相对初始位置时的旋转角度θ才能得到目标物体T'的摆放角度，并最终将匹配得到的结果进行其他应用。本发明在于匹配过程中使用多分辨积分图的方法来对目标物体进行匹配。当待匹配图像S中不包含或包含部分目标物体T'的时候，图像处理器会根据最终的匹配阈值判定为无目标物体或只包含部分目标物体，从而更改相机的位置，获取新的待匹配图像。
如图2所示，本发明一种快速多分辨率灰度图像模板匹配方法，包括如下步骤：
S1、获取模板图像T，建立模板图像T在旋转各个角度Φ下的多分辨率积分图像TIIk,h|Φ，其中TIIk,h表示模板图像T以积分单元大小为k×h时的多分辨率积分图像，其中k＝k1，k2，……，kN并且k1≥k2≥……kN，h＝h1，h2，……，hN并且h1≥h2≥……hN，N为将一幅图像取不同积分单元大小的总类别数，积分单元越小，模板图像T的积分图像分辨率越高，TIIk,h|Φ表示模板图像T在旋转各个角度Φ时以积分单元大小为k×h时的多分辨率积分图像，其中Φ为以Δθ为角度间隔的涵盖一个周角的角度集合，并用θ表示角度集合Φ中的一个角度元素；
S2、获取待匹配图像S，建立待匹配图像S的多分辨率积分图像SIIk,h，其中SIIk,h表示待匹配图像S以积分单元大小为k×h时的多分辨率积分图像，其中k＝k1，k2，……，kN并且k1≥k2≥……kN，h＝h1，h2，……，hN并且h1≥h2≥……hN，N为将一幅图像取不同积分单元大小的总类别数，积分单元越小，待匹配图像S的积分图像分辨率越高；
S3、将模板图像T在各个角度Φ下的最低分辨率积分图像在待匹配图像S的最低分辨率积分图像上遍历匹配，通过计算局部最小相关系数，得出第一次目标候选区域和匹配得出模板角度θl，令此步骤l＝1；
S4、将上一步骤匹配得出的模板角度θl的邻域Φ(l)作为新的角度匹配范围，将上一步骤的目标候选区域作为匹配区域，使用模板图像T与待匹配图像S高一级分辨率的积分图像与SIIk,h进行匹配，得出新的目标候选区域和匹配得出新的模板角度θl+1，其中l＝1,2,……,N-1，为匹配次数，Φ(l)＝[θl-ε,θl+ε]，为第l次匹配得出的模板角度θl的邻域，ε为当层积分图像可识别的最小角度数值；
S5、重复步骤S4，若模板图像T与待匹配图像S均已到达最高分辨率积分图像与则得到的匹配位置和对应的模板角度θN为最终的匹配结果。
如图3所示，进一步，所述步骤S1，其包括如下步骤：
S11、读取模板图像T，并对模板图像T进行降噪预处理。作为一种优选的实施方式，使用图像空间滤波的方法对模板图像T进行降噪预处理。由于降噪是为了突出感兴趣的图像特征，本发明根据不同的噪声类型与想要的效果优选地使用了两种不同的空间滤波方式——均值滤波器或高斯滤波器。如图4所示，为均值滤波器中的一种3×3均值滤波器，可以滤除突变的噪声。如图5所示，为高斯滤波器中的一种3×3的高斯滤波器，对于抑制正态分布的噪声效果十分明显。
S12、对模板图像T进行旋转变换，得到旋转各个角度Φ所对应的模板图像T|Φ，其中θ为以Δθ为角度间隔的涵盖一个周角的角度集合，并用θ表示角度集合Φ中的一个角度元素；
S13、分别计算模板图像T旋转各个角度Φ时T|Φ的多分辨率积分图像TIIk,h|Φ，其中TIIk,h表示模板图像T以积分单元大小为k×h时的多分辨率积分图像，其中k＝k1，k2，……，kN并且k1≥k2≥……kN，h＝h1，h2，……，hN并且h1≥h2≥……hN，N为将一幅图像取不同积分单元大小的总类别数，积分单元越小，模板图像T的积分图像分辨率越高，TIIk,h|Φ表示模板图像T在旋转各个角度Φ时以积分单元大小为k×h时的多分辨率积分图像。
进一步，所述步骤S12，其具体为：
使用先放大模板图像T再查表的方法来得到旋转各个角度Φ所对应的模板图像T|Φ。首先根据需要达到的精度对模板图像T进行放大，作为一种优选的实施例，使用双线性插值对模板图像T进行放大。根据想要达到的精度进行双线性插值的方法如图6所示，定义P1、P2、P3、P4为模板图像T中任意的四个相邻像素，若想要达到的精度为0.25个像素，则在四个相邻像素间进行2次双线性插值，得以将图像放大。并进行查表得到模板图像旋转角度θ后的模板图像T|θ上每个位置处的像素值。所述查表取值为首先将旋转后模板图像T|θ上每个位置映射到已放大的模板图像T上，再取与放大模板图像T上最近位置处的像素值作为旋转后模板图像T|θ上对应位置处的像素值。如图5所示旋转后模板图像T|θ上一点P'，在放大模板图像T上P点为对应的最近位置处，即令旋转后模板图像T|θ上点P'的像素值等于放大模板图像T上P点的像素值。再将模板图像T旋转至其他角度θ。作为一种优选的实施方式，本发明将模板图像T从0°以Δθ为角度间隔顺时针或者逆时针旋转，得到360°/Δθ个不同角度下的模板图像。最终得到模板图像T旋转各个角度Φ所对应的模板图像T|Φ。此方法的误差由图像放大系数决定。
如图7所示，进一步，所述步骤S13，其包括如下步骤：
S131、读取模板图像T无旋转时的模板图像T|θ，并记录此时的模板图像T的旋转角度θ，此时θ＝0°；
S132、计算模板图像T在旋转角度θ时T|θ的整个的积分图像所述积分图像每个位置处的数值代表原图像中该位置处与原图像左上角所围矩形区域内所有像素值的总和，用符号II表示。如图8所示，作为一种优选的实施例，其计算方法如下：先计算原图像中每一行的像素积分：
再计算得出积分图像中每个位置处的最终积分值：
II(u,v)＝II(u-1,v)+IIu(v) (3)
所述计算模板图像T|θ的整个的积分图像则令k1×h1＝W×H，为对模板图像T进行积分的积分单元的大小，W、H分别为模板图像T的宽和高，表示模板图像T以积分单元大小为k1×h1时的积分图像，表示模板图像T在旋转角度θ时以积分单元大小为k1×h1时的多分辨率积分图像。
S133、缩小积分单元的大小，计算模板图像T在旋转角度θ时T|θ更高一级分辨率的积分图像，其中积分单元越小，模板图像T的积分图像的分辨率越高。若此步骤的积分单元的大小为kM×hM(M＝2，3，……N)，需要计算模板图像在旋转角度θ时T|θ内部所有矩形区域面积为kM×hM(M＝2，3，……N)的图像积分。如图9所示，若图像内部某一矩形面积为kM×hM(M＝2，3，……N)的区域D的四个角点处像素坐标为(u1,v1)，(u2,v2)，(u2,v2)，(u2,v2)，其计算这一矩形区域图像积分值的方法如下：
将这个矩形区域D遍历整个模板图像T旋转角度θ时的T|θ，得到当层分辨率的积分图像。
S134、重复步骤S133，直至积分单元的大小为kN×hN，得到模板图像T在此旋转角度下的如图10所示的N层多分辨率积分图像TIIk,h|θ，其中其中k＝k1，k2，……，kN并且k1≥k2≥……kN，h＝h1，h2，……，hN并且h1≥h2≥……hN，N为将一幅图像取不同积分单元大小的总类别数；
S135、分别读取模板图像T旋转各个角度Φ所对应的模板图像T|Φ，并分别记录对应的模板图像T的旋转角度θ，重复步骤S132、S133、S134，分别得到模板图像T旋转各个角度Φ时T|Φ所对应的一系列多分辨率积分图像TIIk,h|Φ。
如图11所示，进一步，所述步骤S2，其包括如下步骤：
S21、读取待匹配图像S，并对待匹配图像S进行降噪预处理。作为一种优选的实施方式，使用图像空间滤波的方法对待匹配图像S进行降噪预处理。作为优选的实施例，选择如图3所示的均值滤波器或如图4所示的高斯滤波器对待匹配图像S行降噪预处理。
S22、计算待匹配图像S的多分辨率积分图像SIIk,h，其中SIIk,h表示待匹配图像S以积分单元大小为k×h时的多分辨率积分图像，其中k＝k1，k2，……，kN并且k1≥k2≥……kN，h＝h1，h2，……，hN并且h1≥h2≥……hN，k与h的取值与步骤S1中k与h的取值相同。N为将一幅图像取不同积分单元大小的总类别数，积分单元越小，待匹配图像S的积分图像分辨率越高。
如图12所示，进一步，所述步骤S22，其包括如下步骤：
S221、根据公式(4)以模板图像T的大小为积分单元大小，计算待匹配图像S的积分图像
S222、缩小积分单元的大小，根据公式(4)计算待匹配图像S更高一级分辨率的积分图像，其中积分单元越小，待匹配图像S的积分图像的分辨率越高；
S223、重复步骤S222，直至积分单元的大小为kN×hN，得到待匹配图像S的N层多分辨率积分图像SIIk,h，其中k＝k1，k2，……，kN并且k1≥k2≥……kN，h＝h1，h2，……，hN并且h1≥h2≥……hN，N为将一幅图像取不同积分单元大小的总类别数。
如图13所示，进一步，所述步骤S3，其包括如下步骤：
S31、将模板图像T在旋转角度θ时的最低分辨率积分图像在待匹配图像S的最低分辨率积分图像上遍历匹配，并计算每个位置(u,v)处的相关系数SAD(u,v)|θ，其计算公式如下：
其中W、H分别为模板图像的宽和高，u，v表示模板图像T左上角像素点在待匹配图像S中的偏移坐标，i，j表示模板图像左上角像素点相对于待匹配图像左上角像素点的横纵坐标偏移量，为当模板图像T旋转角度θ时以(u,v)为起点、积分单元大小为k×h的图像积分值，为在待匹配图像上以(u,v)为起点、积分单元大小为k×h的图像积分值。
S32、选取模板图像T旋转其它角度θ所对应的最低分辨率积分图像重复步骤S31，直到角度θ遍历角度集合Φ中的每一个角度元素，得到模板图像T使用各个角度Φ进行匹配时每个位置(u,v)处的相关系数SAD(u,v)|Φ；
S33、计算上一步骤获得的一系列相关系数SAD(u,v)|Φ的局部最小值，将局部最小值的位置处作为第一次目标候选区域，将得出局部最小值时模板图像T的旋转角度作为匹配出模板角度θl，令此步骤l＝1。
如图14所示，进一步，所述步骤S4，其包括如下步骤：
S41、建立上一步骤匹配得出的模板角度的邻域Φ(l)，并将其作为新的角度匹配范围，其中l＝1,2,……,N-1，为匹配次数，Φ(l)＝[θl-ε,θl+ε]，为第l次匹配得出的模板角度θl的邻域，ε为当层积分图像可识别的最小角度数值，随着积分图像的分辨率越高，ε的数值越小；
S42、将目标候选区域映射到待匹配图像S分辨率高一级的积分图像SIIk,h上，得到分辨率高一级的目标候选区域；
S43、选择邻域Φ(l)范围内模板图像T分辨率高一级的积分图像在待匹配图像S分辨率高一级的积分图像SIIk,h的目标候选区域进行遍历匹配，并通过公式(1)计算匹配时每个位置(u,v)处的相关系数
S44、计算上一步骤获得的一系列相关系数的局部最小值，将局部最小值的位置处作为新的目标候选区域，将得出局部最小值时模板图像T的旋转角度作为匹配得出的新的模板角度θl+1。
以上实施例仅作为优选的方案来说明本发明的具体实施过程，不限制本发明所使用的装置类型及具体实施步骤，一切和本发明有类似实施步骤及原理的技术方案都受到本发明的保护。
Claims (8)
1.一种快速多分辨率灰度图像模板匹配方法，其特征在于该方法包括如下步骤：
S1、获取模板图像T，建立模板图像T在旋转各个角度Φ下的多分辨率积分图像TIIk,h|Φ，其中TIIk,h表示模板图像T以积分单元大小为k×h时的多分辨率积分图像，其中k＝k1，k2，……，kN并且k1≥k2≥……kN，h＝h1，h2，……，hN并且h1≥h2≥……hN，N为将一幅图像取不同积分单元大小的总类别数，积分单元越小，模板图像T的积分图像分辨率越高，TIIk,h|Φ表示模板图像T在旋转各个角度Φ时以积分单元大小为k×h时的多分辨率积分图像，其中Φ为以Δθ为角度间隔的涵盖一个周角的角度集合，并用θ表示角度集合Φ中的一个角度元素；
S2、获取待匹配图像S，建立待匹配图像S的多分辨率积分图像SIIk,h，其中SIIk,h表示待匹配图像S以积分单元大小为k×h时的多分辨率积分图像，其中k＝k1，k2，……，kN并且k1≥k2≥……kN，h＝h1，h2，……，hN并且h1≥h2≥……hN，N为将一幅图像取不同积分单元大小的总类别数，积分单元越小，待匹配图像S的积分图像分辨率越高；
S3、将模板图像T在各个角度Φ下的最低分辨率积分图像在待匹配图像S的最低分辨率积分图像上遍历匹配，通过计算局部最小相关系数，得出第一次目标候选区域和匹配得出模板角度θl，令此步骤l＝1；
S4、将上一步骤匹配得出的模板角度θl的邻域作为新的角度匹配范围Φ(l)，将上一步骤的目标候选区域作为匹配区域，使用模板图像T与待匹配图像S高一级分辨率的积分图像与SIIk,h进行匹配，得出新的目标候选区域和匹配得出新的模板角度θl+1，其中l＝1,2,……,N-1，为匹配次数，Φ(l)＝[θl-ε,θl+ε]，为第l次匹配得出的模板角度θl的邻域，ε为当层积分图像可识别的最小角度数值；
S5、重复步骤S4，若匹配时模板图像T与待匹配图像S均已到达最高分辨率积分图像与则得到的匹配位置和对应的模板角度θN为最终的匹配结果；
其中，所述步骤S1包括如下步骤：
S11、读取模板图像T，并对模板图像T进行降噪预处理；
S12、对模板图像T进行旋转变换，得到旋转各个角度Φ所对应的模板图像T|Φ，其中Φ为以Δθ为角度间隔的涵盖一个周角的角度集合，并用θ表示角度集合Φ中的一个角度元素；
S13、分别计算模板图像T旋转各个角度Φ时T|Φ的多分辨率积分图像TIIk,h|Φ，其中TIIk,h表示模板图像T以积分单元大小为k×h时的多分辨率积分图像，其中k＝k1，k2，……，kN并且k1≥k2≥……kN，h＝h1，h2，……，hN并且h1≥h2≥……hN，N为将一幅图像取不同积分单元大小的总类别数，积分单元越小，模板图像T的积分图像分辨率越高，TIIk,h|Φ表示模板图像T在旋转各个角度Φ时以积分单元大小为k×h时的多分辨率积分图像；
所述步骤S12中对模板图像T进行旋转变换的方法具体为：
使用先放大图像再查表的方法来得到旋转各个角度Φ所对应的模板图像，首先根据需要达到的精度对原模板图像T进行放大，再将放大后的模板图像旋转角度θ得到T|θ，并将旋转后的模板图像T|θ上的每个位置映射到放大的模板图像T上，并取与放大的模板图像T上最近位置处的像素值作为旋转后模板图像T|θ上对应位置的像素值；再将模板图像T旋转至其他角度θ，得到模板图像T旋转各个角度Φ所对应的模板图像。
2.如权利要求1所述的一种快速多分辨率灰度图像模板匹配方法，其特征在于，步骤S13包括如下步骤：
S131、读取模板图像T无旋转时的模板图像T|θ，并记录此时的模板图像T的旋转角度θ，此时θ＝0°；
S132、计算模板图像T在旋转角度θ时T|θ的整个的积分图像其中k1×h1＝W×H，为对模板图像T进行积分的积分单元的大小，W、H分别为模板图像T的宽和高，表示模板图像T以积分单元大小为k1×h1时的积分图像，表示模板图像T在旋转角度θ时以积分单元大小为k1×h1时的多分辨率积分图像；
S133、缩小积分单元的大小，计算模板图像T在旋转角度θ下时更高一级分辨率的积分图像，其中积分单元越小，模板图像T的积分图像的分辨率越高；
S134、重复步骤S133，直至积分单元的大小为kN×hN，得到模板图像T在此旋转角度下的N层多分辨率积分图像TIIk,h|θ，其中k＝k1，k2，……，kN并且k1≥k2≥……kN，h＝h1，h2，……，hN并且h1≥h2≥……hN，N为将一幅图像取不同积分单元大小的总类别数；
S135、分别读取模板图像T旋转各个角度Φ所对应的模板图像T|Φ，并分别记录对应的模板图像T的旋转角度θ，重复步骤S132、S133、S134，分别得到模板图像T旋转各个角度Φ时T|Φ所对应的多分辨率积分图像TIIk,h|Φ。
3.如权利要求1所述的一种快速多分辨率灰度图像模板匹配方法，其特征在于，步骤S2包括如下步骤：
S21、读取待匹配图像S，并对待匹配图像S进行降噪预处理；
S22、计算待匹配图像S的多分辨率积分图像SIIk,h，其中SIIk,h表示待匹配图像S以积分单元大小为k×h时的多分辨率积分图像，其中k＝k1，k2，……，kN并且k1≥k2≥……kN，h＝h1，h2，……，hN并且h1≥h2≥……hN，N为将一幅图像取不同积分单元大小的总类别数，积分单元越小，待匹配图像S的积分图像分辨率越高。
4.如权利要求3所述的一种快速多分辨率灰度图像模板匹配方法，其特征在于，步骤S22包括如下步骤：
S221、以模板图像T的大小为积分单元大小，计算待匹配图像S的积分图像
S222、缩小积分单元的大小，计算待匹配图像S更高一级分辨率的积分图像，其中积分单元越小，待匹配图像S的积分图像的分辨率越高；
S223、重复步骤S222，直至积分单元的大小为kN×hN，得到待匹配图像S的N层多分辨率积分图像SIIk,h，其中其中k＝k1，k2，……，kN并且k1≥k2≥……kN，h＝h1，h2，……，hN并且h1≥h2≥……hN，N为将一幅图像取不同积分单元大小的总类别数。
5.如权利要求1所述的一种快速多分辨率灰度图像模板匹配方法，其特征在于，步骤S3包括如下步骤：
S31、将模板图像T在旋转角度θ时的最低分辨率积分图像在待匹配图像S的最低分辨率积分图像上遍历匹配，并计算每个位置(u,v)处的相关系数SAD(u,v)|θ，其中(u,v)表示模板图像T左上角像素点在待匹配图像S中的偏移坐标；
S32、选取模板图像T旋转其它角度θ所对应的最低分辨率积分图像重复步骤S31，直到角度θ遍历角度集合Φ中的每一个角度元素，得到模板图像T使用各个角度Φ进行匹配时每个位置(u,v)处的相关系数SAD(u,v)|Φ；
S33、计算上一步骤获得的一系列相关系数SAD(u,v)|Φ的局部最小值，将局部最小值的位置处作为第一次目标候选区域，将得出局部最小值时模板图像T的旋转角度作为匹配出模板角度θl，令此步骤l＝1。
6.如权利要求5所述的一种快速多分辨率灰度图像模板匹配方法，其特征在于，步骤S31中当模板图像T旋转角度为θ时匹配过程中位置(u,v)处相关系数SAD(u,v)|θ的计算公式如下：
其中W、H分别为模板图像的宽和高，u，v表示模板图像T左上角像素点在待匹配图像S中的偏移坐标，i，j表示模板图像左上角像素点相对于待匹配图像左上角像素点的横纵坐标偏移量，为当模板图像T旋转角度θ时以(u,v)为起点、积分单元大小为k×h的图像积分值，为在待匹配图像上以(u,v)为起点、积分单元大小为k×h的图像积分值。
7.如权利要求1所述的一种快速多分辨率灰度图像模板匹配方法，其特征在于，步骤S4包括如下步骤：
S41、建立上一步骤匹配得出的模板角度θl的邻域Φ(l)，并将其作为新的角度匹配范围，其中l＝1,2,……,N-1，为匹配次数，Φ(l)＝[θl-ε,θl+ε]，为第l次匹配得出的模板角度θl的邻域，ε为当层积分图像可识别的最小角度数值；
S42、将目标候选区域映射到待匹配图像S分辨率高一级的积分图像SIIk,h上，得到分辨率高一级的目标候选区域；
S43、选择邻域Φ(l)范围内模板图像T分辨率高一级的积分图像在待匹配图像S分辨率高一级的积分图像SIIk,h的目标候选区域进行遍历匹配，并通过公式(1)计算匹配时每个位置(u,v)处的相关系数
S44、计算上一步骤获得的一系列相关系数的局部最小值，将局部最小值的位置处作为新的目标候选区域，将得出局部最小值时模板图像T的旋转角度作为匹配得出的新的模板角度θl+1。
8.如权利要求7所述的一种快速多分辨率灰度图像模板匹配方法，其特征在于，步骤S41中当层积分图像可识别的最小角度数值ε是随着积分图像的分辨率越高，ε的数值越小。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610519037.4A CN106127261B (zh) | 2016-07-01 | 2016-07-01 | 一种快速多分辨率灰度图像模板匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610519037.4A CN106127261B (zh) | 2016-07-01 | 2016-07-01 | 一种快速多分辨率灰度图像模板匹配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106127261A CN106127261A (zh) | 2016-11-16 |
| CN106127261B true CN106127261B (zh) | 2019-08-30 |
Family
ID=57468336
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610519037.4A Active CN106127261B (zh) | 2016-07-01 | 2016-07-01 | 一种快速多分辨率灰度图像模板匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106127261B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107543828B (zh) * | 2017-08-25 | 2020-09-11 | 广东工业大学 | 一种工件表面缺陷检测方法及系统 |
| CN109313708B (zh) * | 2017-12-22 | 2023-03-21 | 深圳配天智能技术研究院有限公司 | 图像匹配方法和视觉系统 |
| CN108010082B (zh) * | 2017-12-28 | 2021-07-23 | 上海觉感视觉科技有限公司 | 一种几何匹配的方法 |
| CN109447083A (zh) * | 2018-08-31 | 2019-03-08 | 广州市派客朴食信息科技有限责任公司 | 一种基于图像边缘特征的餐具识别方法 |
| CN110706277A (zh) * | 2019-09-12 | 2020-01-17 | 创新奇智(合肥)科技有限公司 | 一种基于链码直方图检测物体旋角的方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1967566A (zh) * | 2005-11-14 | 2007-05-23 | 索尼株式会社 | 图像处理设备和图像处理方法 |
| US8483489B2 (en) * | 2011-09-02 | 2013-07-09 | Sharp Laboratories Of America, Inc. | Edge based template matching |
| CN103955885A (zh) * | 2014-05-06 | 2014-07-30 | 北京大学 | 一种基于图像模板的无水印图识别算法 |
-
2016
- 2016-07-01 CN CN201610519037.4A patent/CN106127261B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1967566A (zh) * | 2005-11-14 | 2007-05-23 | 索尼株式会社 | 图像处理设备和图像处理方法 |
| US8483489B2 (en) * | 2011-09-02 | 2013-07-09 | Sharp Laboratories Of America, Inc. | Edge based template matching |
| CN103955885A (zh) * | 2014-05-06 | 2014-07-30 | 北京大学 | 一种基于图像模板的无水印图识别算法 |
Non-Patent Citations (2)
| Title |
|---|
| Fast template matching based on the normalized correlation by using multiresolution eigenimages;Shinichi Yoshimura, et al.;《Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems》;20020806;正文第3节-第4节 |
| Object Matching Using Deformable Templates;Ani1 K. Jain, et al.;《IEEE Transactions on Pattern Analysis and Machine Intelligence》;19960331;第18卷(第3期);第267-278页 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106127261A (zh) | 2016-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106127261B (zh) | 一种快速多分辨率灰度图像模板匹配方法 | |
| CN105608671B (zh) | 一种基于surf算法的图像拼接方法 | |
| CN109584156B (zh) | 显微序列图像拼接方法及装置 | |
| CN104284126B (zh) | 影像插补方法以及应用该方法的影像插补装置与影像装置 | |
| CN109859226B (zh) | 一种图形分割的棋盘格角点亚像素的检测方法 | |
| CN110969668A (zh) | 一种长焦双目相机的立体标定算法 | |
| CN107301661A (zh) | 基于边缘点特征的高分辨率遥感图像配准方法 | |
| CN105793892B (zh) | 一种图像处理方法、装置及摄像设备 | |
| CN107194959A (zh) | 基于切片进行图像配准的方法和装置 | |
| CN104899888B (zh) | 一种基于Legendre矩的图像亚像素边缘检测方法 | |
| CN115841434B (zh) | 一种用于气体浓度分析的红外图像增强方法 | |
| CN113470090A (zh) | 基于sift-shot特征的多固态激光雷达外参标定方法 | |
| CN108765476A (zh) | 一种偏振图像配准方法 | |
| CN109711241B (zh) | 物体检测方法、装置与电子设备 | |
| CN113012234B (zh) | 基于平面变换的高精度相机标定方法 | |
| Han et al. | An improved corner detection algorithm based on harris | |
| CN112652020A (zh) | 一种基于AdaLAM算法的视觉SLAM方法 | |
| CN115631210A (zh) | 一种边缘检测方法及装置 | |
| CN115601407A (zh) | 一种红外与可见光图像配准方法 | |
| CN113642397B (zh) | 一种基于手机视频的物体长度测量方法 | |
| CN105631860B (zh) | 基于局部排序方向直方图描述子的图像同名点提取方法 | |
| CN109410246A (zh) | 基于相关滤波的视觉跟踪的方法及装置 | |
| CN115880683B (zh) | 一种基于深度学习的城市内涝积水智能水位检测方法 | |
| CN104156952B (zh) | 一种抵抗形变的图像匹配方法 | |
| CN116402904A (zh) | 一种基于激光雷达间和单目相机的联合标定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221108 Address after: 8 / F, block a, Qingdao International Innovation Park, 1 Keyuan Weiyi Road, Laoshan District, Qingdao City, Shandong Province 266100 Patentee after: QINGDAO ITECHENE TECHNOLOGIES Co.,Ltd. Address before: 518000 Unit A, Floor 2, Building D, Shenzhen Software Industry Base, No. 14, Haitian Second Road, Yuehai Street, Nanshan District, Shenzhen, Guangdong Patentee before: SHENZHEN YUANQI INTELLIGENT TECHNOLOGY Co.,Ltd. |