CN109146963B - 一种基于快速特征匹配的图像位置偏移检测方法 - Google Patents
一种基于快速特征匹配的图像位置偏移检测方法 Download PDFInfo
- Publication number
- CN109146963B CN109146963B CN201710443480.2A CN201710443480A CN109146963B CN 109146963 B CN109146963 B CN 109146963B CN 201710443480 A CN201710443480 A CN 201710443480A CN 109146963 B CN109146963 B CN 109146963B
- Authority
- CN
- China
- Prior art keywords
- image
- point
- points
- pixel
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 36
- 230000009466 transformation Effects 0.000 claims abstract description 22
- 239000013598 vector Substances 0.000 claims abstract description 20
- 238000005070 sampling Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000010606 normalization Methods 0.000 claims description 8
- 238000003708 edge detection Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 230000001629 suppression Effects 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 6
- 230000002457 bidirectional effect Effects 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于快速特征匹配的图像位置偏移检测方法，利用Hough变换提取两幅对比图像的直线特征，分别找强度最大的N条直线特征进行匹配并获取平均偏移量；获取对比图像的边缘点、角点以及下采样后的角点特征集合得到关键点特征集合；将对比图像分割成多个图像片，在每个图像片上寻找最强关键点，获取每个最强关键点对应的特征向量并归一化；利用最强关键点与其对应的特征向量构造kd树；利用对比图像的kd树双向匹配图像关键点，利用平均偏移量剔除错误匹配点，获取终极匹配关键点对集合；计算目标图像上终极匹配关键点的坐标，计算该图像在X、Y方向的平均偏移量。本发明的方法能够提高图像位置偏移检测的处理速度和检测精度。
Description
技术领域
本发明图像检测领域，特别是指一种基于快速特征匹配的图像位置偏移检测方法。
背景技术
在现有的图像处理技术中，检测目标图像和标准图像的位置偏移方法，通常是将两幅图像的整帧图像进行对比或叠加处理。两幅图像进行叠加处理，直接获取图像分界的位置；中国专利公告号CN101546432公开的专利名称为获取图像偏移位置的方法及装置，利用绘制的标尺样条线探测，从而获取目标图像的偏移位置，这种方法的匹配是利用线匹配，匹配精度低，检测的位置偏移量精度低。将两幅图像的整帧图像对比时，进行块匹配或通过快速傅立叶变换求出其相位相关函数得到偏移量；这种方法的匹配几乎对每个像素点都进行处理或变换，计算量大，降低处理速度。因此，现有的图像位置偏移检测需要一种既能提高处理速度又能提高检测精度的方法。
发明内容
为了解决图像位置偏移检测的处理速度和检测精度，本发明提出一种基于快速特征匹配的图像位置偏移检测方法。
本发明的技术方案是这样实现的：
一种基于快速特征匹配的图像位置偏移检测方法，包括以下步骤：
1）在计算机中输入预定的标准图像和待测的目标图像；
2）对标准图像进行高斯滤波处理以消除噪声的影响；
3）利用Hough变换提取滤波后标准图像的直线特征，并得到所有直线斜率k和截距b；
4) 在步骤3）得到的所有直线中依次寻找强度最大的N条直线，将每条直线用参数（k，b）表示并将其转换为极坐标下的参数表示形式（distance，angle），得到标准图像在Hough空间中的的N个坐标点（distance，angle）；
5）利用canny边缘检测算法获取标准图像的边缘点集合，计算标准图像的梯度图并运用FAST角点检测方法获取角点特征集合；
6）对标准图像以预设的采样率进行n次下采样，并将n次下采样后的图像运用FAST角点检测方法获取角点特征集合，且将边缘点集合和所有的角点特征集合合并后获取关键点特征集合，n大于1且小于5；
7）将标准图像分割成若干个
大小的图像片，在每个图像片上的关键点特征集合中寻找强度最大的一个关键点，形成更新后的关键点特征集合，L大于5小于15；
8）构造更新后的关键点集合中的每个关键点的
局部邻域，并利用邻域主方向和平均方向获取稀疏的邻域，以此获得每个关键点的
维特征向量并进行归一化处理；
9）利用更新后的关键点与其对应的
维特征向量构造kd树结构，利用步骤4）中得到的N个坐标点（distance，angle）和kd树结构共同组成标准图像模型；
10）对目标图像依次执行上述步骤，获取目标图像在Hough空间中的N个坐标点（distance，angle）和目标图像的kd树结构；
11）将标准图像和目标图像在Hough空间中N个强度最大的坐标点进行预先匹配，若具有相同的坐标点（distance，angle）就相互匹配，否则计算标准图像和目标图像的所有的对应的坐标点之间的偏移量（distance_shift，angle_shift），最后计算平均偏移量（distance_shift_average，angle_shift_average）；
12）利用标准图像和目标图像的kd树结构进行关键点快速匹配，获取初级匹配的关键点对集合；
13）将步骤11）中获取的平均偏移量（distance_shift_average，angle_shift_average）作为给定的偏移量阈值，运用RANSAC算法剔除关键点对集合中偏移量大于给定阈值的关键点对，获取终极匹配的关键点对集合和单应性变换性矩阵；
14）利用单应性变换矩阵对目标图像进行变换，使得标准图像和目标图像处于同一坐标系下，然后计算目标图像上终极匹配的关键点的坐标；根据终极匹配的关键点对坐标计算目标图像在X方向和Y方向的平均偏移量，分别记作Xoffset和Yoffset。
优选的是，所述的图像位置偏移检测方法中，还包括以下步骤：15）以目标图像的中心位置（x，y）为起点，（x+Xoffset，y+Yoffset）为终点，在目标图像上显示目标图像与标准图像间的位置偏移向量，直观观测目标图像的位置偏移。
优选的是，所述的图像位置偏移检测方法中，所述步骤5）中利用canny边缘检测算法获取标准图像的所有边缘点的方法为：
21）对输入到计算机中的标准图像进行高斯滤波以减少图像噪声的干扰；
22）计算滤波后的图像中每个像素点的梯度值和方向；
23）对每个像素点的梯度值进行非极大值抑制，初步得到图像边缘点集合；
24）采用双阈值方法进行边缘连接，剔除虚假边缘，补全边缘缺口，获得更精确的边缘点集合。
优选的是，所述的图像位置偏移检测方法中，所述步骤5）中计算标准图像的梯度图并运用FAST角点检测方法获取其角点特征集合的方法为：
31）以标准图像上的每个像素点P为中心，3为半径画圆，获取每个圆上的16个像素点，均记作p1，p2，…，p16；
32）对于任一个以每个像素点为中心的圆，计算该圆上的像素点p1、p9与该圆所在的像素点P的像素差，若像素差的绝对值都小于第一预设阈值，则直接舍弃不是特征点的该像素点P点，否则该像素点当做一级候选点进一步筛选；
33）对于一级候选点的像素点，计算每一个一级候选点的圆上的像素点p1、p9、p5、p13与该一级候选点的像素差，若像素差的绝对值至少3个超过第一预设阈值，则当做二级候选点再进行筛选，否则直接舍弃；
34）对于二级候选点，计算任一个二级候选点的圆上的p1到p16的每个像素点与该圆所在的像素点的像素差，若16个像素差有至少9个超过第一预设阈值，则作为特征点，否则直接舍弃；
35）对标准图像进行非极大值抑制：计算步骤34）中每个特征点的角点强度值，以当前特征点为中心构造一个局部邻域，保留该邻域内强度值最高的特征点，获取角点特征集合。
优选的是，所述的图像位置偏移检测方法中，所述步骤6）中对标准图像以预设的采样率进行一次下采样的方法为：
41）将标准图像分割成若干个
大小的图像片；
42）计算每个图像片内像素均值；
43）将标准图像的每个图像片变成一个像素，每一个像素点的值就是对应的图像片像素均值，所有像素均值形成一次下采样后的图像。
优选的是，所述的图像位置偏移检测方法中，所述步骤7）中更新后的关键点特征集合形成的方法为：
51）基于FAST角点检测算法获取每个图像片内的关键点特征集合中每个关键点的角点强度值；
52）统计所有角点强度值的分布直方图；
53）选择角点强度值大于第二预设阈值的角点特征，舍弃局部邻域内其它角点特征，形成更新后的关键点特征集合。
优选的是，所述的图像位置偏移检测方法中，所述步骤8）中构造更新后的
关键点集合中的每个关键点的
局部邻域，并利用邻域主方向和平均方向获取稀疏的邻域，以此获得每个关键点的
维特征向量并进行归一化处理的方法为：
61）遍历标准图像的每个关键点，以关键点为中心，构造大小为
的局部邻域；
62）计算局部邻域的主方向，并将局部邻域旋转至该方向；
63）获取局部邻域内每个像素点的方向并计算邻域平均方向；
64）将每个像素点方向值减去邻域平均方向值，获取局部邻域内每个像素点的最终方向值，即得到局部邻域的稀疏化表示形式；
65）利用稀疏的局部邻域内每个像素点的最终方向值构成关键点的
维特征向量并进行归一化处理。
优选的是，所述的图像位置偏移检测方法中，所述步骤8）中利用更新后的关键点和与其对应的
维特征向量构造树结构的方法为：
71）在所有更新后的关键点的
维数据集合中选择具有最大方差的维度k；
72）在维度k上选取中值作为阈值对该数据集合进行划分，得到两个子集合；
73）创建一个树结点node用于存储；
74）对两个子集合重复步骤71）到73），直至所有子集合不能再划分；
75）将不能再划分的子集合中的数据保存为叶子结点leftnode和rightnode，得到最终的树结构。
优选的是，所述的图像位置偏移检测方法中，所述步骤9）中将标准图像的kd树结构和目标图像的kd树结构互相进行匹配，获取初次匹配的关键点对集合的方法为：
81）从目标图像的kd树结构的根结点开始，计算目标图像中当前结点与标准图像的树结构的中间结点间的距离，选择距离近的分支作为优先比较的树分支；
82）将标准图像中未被选择的树分支所在树结构中的位置以及该树分支与目标图像中待测的当前结点的距离保存到一个优先级队列中；
83）重复步骤81）和82），对标准图像中的树分支进行上述的优先级比较，直至比较至叶子结点；
84）计算目标图像的待测的当前结点与标准图像的叶子结点中保存数据的距离，并记录最小距离D以及与最小距离D对应的数据P；
85) 进行回溯操作寻找是否还有离当前结点更近的最邻近点，如果当前结点与其父结点下未被访问过的分支之间的距离小于D，则认为该分支中存在离P更近的数据，进入该分支，如果在该分支中找到更近的数据，则更新最小距离D和最近邻点P；如果当前结点与其父结点下未被访问过的分支之间的距离大于D则P即为目标图像的kd树结构在标准图像的树结构中的匹配点；
86）对目标图像的kd树结构中的所有叶子结点重复步骤81）到85），获取初次匹配的关键点集合。
优选的是，所述的图像位置偏移检测方法中，所述步骤13）中将获取的平均偏移量（distance_shift_average，angle_shift_average）作为给定的偏移量阈值，运用RANSAC算法剔除关键点对集合中偏移量大于给定阈值的关键点对，获取终极匹配的关键点对集合和单应性变换矩阵的方法为：
91）基于步骤12）获取初步匹配点集合；
92）假设共M组匹配点，从中随机选取4组匹配点对，根据匹配点之间的关系计算目标图像到标准图像的变换矩阵；
93）利用变换矩阵对目标图中中剩下的M-4组匹配点做变换，并计算变换后点与其在标准图像中匹配点间的偏移量；
94）将步骤11）中获取的平均偏移量（distance_shift_average，angle_shift_average）作为预定的偏移量阈值，若步骤93）中计算得到的偏移量小于给定阈值，则判定该点为正确的匹配点，否则为错误的匹配点；
95）统计步骤94）中获取的所有正确匹配点并保存下来，更新匹配点集合；
96）在匹配点集合中重新随机选择4组匹配点，跳转到步骤92），重复若干次后，比较每次得到的正确匹配点的数目，匹配点数目最多时得到的变换矩阵即为目标图像到标准图像的最终的单应性变换矩阵。
本发明的有益效果为：本发明中的基于快速特征匹配的图像位置偏移检测方法，利用步骤1）至步骤4）分别获取标准图像和目标图像的N条最强直线特征并进行匹配，以此获取图像位置偏移量的预先估计的阈值，将此阈值作为关键点匹配时的迭代停止条件，提高标准图像和目标图像匹配的速度和精度；利用步骤5）至步骤7）逐步获取强度高的标准图像和目标图像的关键点特征集合，提高匹配精度和稳定性；利用步骤8）有效消除了关键点的方向值对特征向量的影响，提高算法的效率；采用步骤9）构造标准图像的树结构和目标图像的kd树结构，利用步骤12）对标准图像的树结构和目标图像的kd树结构双向匹配，提高匹配精度和匹配速度；最后利用步骤14）获取偏移量，实现有效快速地计算出图像的位置偏移量，在图像检测的应用方向起到重要的作用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于快速特征匹配的图像位置偏移检测方法的框架示意图。
具体实施方式
下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：如图1的所示的一种基于快速特征匹配的图像位置偏移检测方包括以下步骤：1）在计算机中输入预定的标准图像和待测的目标图像；2）对标准图像进行高斯滤波处理以消除噪声的影响；3）利用Hough变换提取滤波后标准图像的直线特征，并获取每条直线的斜率k和截距b；4）在步骤3）得到的所有直线中依次寻找强度最大的N条直线，将每条直线用参数（k，b）表示并将其转换为极坐标下的参数表示形式（distance，angle），得到标准图像在Hough空间中的的N个坐标点（distance，angle）；5）利用canny边缘检测算法分别获取标准图像和目标图像的边缘点集合EdgeSet；6）分别计算标准图像和目标图像的梯度图并运用FAST角点检测方法获取标准图像和目标图像的角点特征集合CornerSet；7）对标准图像和目标图像分别以预设的采样率Rate进行n次下采样，并将n次下采样后的图像运用FAST角点检测方法获取角点特征集合CornerSet1，CornerSet2，CornerSet3，且将边缘点集合EdgeSet和角点特征集合CornerSet ，CornerSet1，CornerSet2和CornerSet3合并后获取关键点特征集合KeyPoint1， n大于1且小于5；8）分别将标准图像和目标图像分割成若干个
大小的图像片，在标准图像和目标图像的每个图像片上的关键点集中寻找强度最大的一个关键点，形成更新后的关键点特征集合KeyPoint2，L的默认取值取10；9）分别构造标准图像和目标图像中更新后的关键点集合KeyPoint2中的每个关键点的局部邻域，并利用邻域主方向和平均方向获取稀疏的邻域，以此获得每个关键点的
维特征向量并进行归一化处理；10）分别利用更新后的关键点和与其对应的
维特征向量构造标准图像的树结构Source-kd和目标图像的kd树结构Target-kd，利用步骤4）中得到的标准图像的N个坐标点（distance，angle）和kd树结构共同组成标准图像模型，利用步骤4）中得到的目标图像的N个坐标点（distance，angle）和kd树结构共同组成目标图像模型；11）将标准图像和目标图像在Hough空间中N个强度最大的坐标点进行预先匹配，若具有相同的坐标点（distance，angle）就相互匹配，否则计算标准图像和目标图像的所有的对应的坐标点之间的偏移量（distance_shift，angle_shift），最后计算平均偏移量（distance_shift_average，angle_shift_average）；12）利用标准图像的树结构Source-kd和目标图像的kd树结构Target-kd进行关键点快速匹配，获取初级匹配的关键点对集合MatchKeyPairs1；13）将步骤11）中获取的平均偏移量（distance_shift_average，angle_shift_average）作为预定的偏移量阈值，运用RANSAC算法剔除关键点对集合中偏移量大于给定阈值的关键点对，获取终极匹配的关键点对集合MatchKeyPairs2和单应性变换矩阵Homography；14）利用单应性变换矩阵对目标图像进行变换，使得标准图像和目标图像处于同一坐标系下，然后计算目标图像上终极匹配的关键点的坐标；根据终极匹配的关键点对坐标计算目标图像在X方向和Y方向的平均偏移量，分别记作Xoffset和Yoffset；15）以目标图像的中心位置（x，y）为起点，（x+Xoffset，y+Yoffset）为终点，在目标图像上显示目标图像与标准图像间的位置偏移向量。
上述步骤5）中利用canny边缘检测算法获取标准图像的所有边缘点的方法为：21）对输入到计算机中的标准图像和目标图像分别进行高斯滤波以减少图像噪声的干扰；22）分别计算滤波后的标准图像和目标图像中每个像素点的梯度值和方向；23）分别对滤波后的标准图像和目标图像中的每个像素点的梯度值进行非极大值抑制，初步得到图像边缘点集合；24）对标准图像和目标图像的边缘点集合，分别采用双阈值方法进行边缘连接，剔除虚假边缘，补全边缘缺口，分别获得更精确的标准图像和目标图像的边缘点集合。
上述6）分别计算标准图像和目标图像的梯度图并运用FAST角点检测方法获取标准图像和目标图像的角点特征集合CornerSet的方式为：31）分别以标准图像和目标图像上的每个像素点P为中心，3为半径画圆，获取每个圆上的16个像素点，均记作p1，p2，…，p16；32）对于任一个以每个像素点为中心的圆，计算该圆上的像素点p1、p9与该圆所在的像素点P的像素差，若像素差的绝对值都小于第一预设阈值，则直接舍弃不是特征点的该像素点P点，否则该像素点当做一级候选点进一步筛选；33）对于一级候选点的像素点，计算每一个一级候选点的圆上的像素点p1、p9、p5、p13与该一级候选点的像素差，若像素差的绝对值至少3个超过第一预设阈值，则当做二级候选点再进行筛选，否则直接舍弃；34）对于二级候选点，计算任一个二级候选点的圆上的p1到p16的每个像素点与该圆所在的像素点的像素差，若16个像素差有至少9个超过第一预设阈值，则作为特征点，否则直接舍弃；35）分别对标准图像和目标图像进行非极大值抑制：计算步骤34）中每个特征点的角点强度值，以当前特征点为中心构造一个局部邻域，保留该邻域内强度值最高的特征点，获取角点特征集合。
上述步骤7）中对标准图像和目标图像分别以预设的采样率Rate进行n次下采样，每次下采样的方法为：41）分别将标准图像和目标图像分割成若干个
大小的图像片；42）分别计算标准图像和目标图像的每个图像片内像素均值；43）分别将标准图像和目标图像的每个图像片变成一个像素，每一个像素点的值就是对应的图像片像素均值，所有像素均值形成一次下采样后的图像。
上述步骤8）中最后形成更新后的关键点特征集合KeyPoint2的方式为：51）基于FAST角点检测算法分别获取标准图像和目标图像的每个图像片内的关键点特征集合中每个关键点的角点强度值；52）分别统计标准图像和目标图像的所有角点强度值的分布直方图；53）分别选择标准图像和目标图像的角点强度值大于第二预设阈值的角点特征，舍弃局部邻域内其它角点特征，形成更新后的关键点特征集合。
上述步骤9）中的处理方式为：61）遍历标准图像的每个关键点，以关键点为中心，构造大小为
的局部邻域；62）计算局部邻域的主方向，并将局部邻域旋转至该方向；63）获取局部邻域内每个像素点的方向并计算邻域平均方向；64）将每个像素点方向值减去邻域平均方向值，获取局部邻域内每个像素点的最终方向值，即得到局部邻域的稀疏化表示形式；65）利用稀疏的局部邻域内每个像素点的最终方向值构成关键点的
维特征向量并进行归一化处理。
上述步骤10）中分别对标准图像和目标图像实施以下方法：71）在所有更新后的关键点的
维数据集合中选择具有最大方差的维度k；72）在维度k上选取中值作为阈值对该数据集合进行划分，得到两个子集合；73）创建一个树结点node用于存储；74）对两个子集合重复步骤71）到73），直至所有子集合不能再划分；75）将不能再划分的子集合中的数据保存为叶子结点leftnode和rightnode，得到最终的树结构。
上述步骤12）中的获取方式为：81）从目标图像的kd树结构的根结点开始，计算目标图像中当前结点与标准图像的树结构的中间结点间的距离，选择距离近的分支作为优先比较的树分支；82）将标准图像中未被选择的树分支所在树结构中的位置以及该树分支与目标图像中待测的当前结点的距离保存到一个优先级队列中；83）重复步骤81）和82），对标准图像中的树分支进行上述的优先级比较，直至比较至叶子结点；84）计算目标图像的待测的当前结点与标准图像的叶子结点中保存数据的距离，并记录最小距离D以及与最小距离D对应的数据P；85) 进行回溯操作寻找是否还有离当前结点更近的最邻近点，如果当前结点与其父结点下未被访问过的分支之间的距离小于D，则认为该分支中存在离P更近的数据，进入该分支，如果在该分支中找到更近的数据，则更新最小距离D和最近邻点P；如果当前结点与其父结点下未被访问过的分支之间的距离大于D则P即为目标图像的kd树结构在标准图像的树结构中的匹配点；86）对目标图像的kd树结构中的所有叶子结点重复步骤81）到85），获取初次匹配的关键点集合。
上述步骤13）中获取终极匹配的关键点对集合MatchKeyPairs2和单应性变换矩阵Homography的方式为：91）基于步骤12）获取初步匹配点集合；92）假设共M组匹配点，从中随机选取4组匹配点对，根据匹配点之间的关系计算目标图像到标准图像的变换矩阵；93）利用变换矩阵对目标图中中剩下的M-4组匹配点做变换，并计算变换后点与其在标准图像中匹配点间的偏移量；94）将步骤11）中获取的平均偏移量（distance_shift_average，angle_shift_average）作为预定的偏移量阈值，若步骤93）中计算得到的偏移量小于给定阈值，则判定该点为正确的匹配点，否则为错误的匹配点；95）统计步骤94）中获取的所有正确匹配点并保存下来，更新匹配点集合；96）在匹配点集合中重新随机选择4组匹配点，跳转到步骤92），重复若干次后，比较每次得到的正确匹配点的数目，匹配点数目最多时得到的变换矩阵即为目标图像到标准图像的最终的单应性变换矩阵。
本发明中的方法检测出的位置偏移向量可以直接用于校正目标图像所在的载体的位置。以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于快速特征匹配的图像位置偏移检测方法，其特征在于，包括以下步骤：
1）在计算机中输入预定的标准图像和待测的目标图像；
2）对标准图像进行高斯滤波处理以消除噪声的影响；
3）利用Hough变换提取滤波后标准图像的直线特征，并得到所有直线斜率k和截距b；
4) 在步骤3）得到的所有直线中依次寻找强度最大的N条直线，将每条直线用参数（k，b）表示并将其转换为极坐标下的参数表示形式（distance，angle），得到标准图像在Hough空间中的的N个坐标点（distance，angle）；
5）利用canny边缘检测算法获取标准图像的边缘点集合，计算标准图像的梯度图并运用FAST角点检测方法获取角点特征集合；
6）对标准图像以预设的采样率进行n次下采样，并将n次下采样后的图像运用FAST角点检测方法获取角点特征集合，且将边缘点集合和所有的角点特征集合合并后获取关键点特征集合，n大于1且小于5；
7）将标准图像分割成若干个
大小的图像片，在每个图像片上的关键点特征集合中寻找强度最大的一个关键点，形成更新后的关键点特征集合，L大于5小于15；
8）构造更新后的关键点集合中的每个关键点的
局部邻域，并利用邻域主方向和平均方向获取稀疏的邻域，以此获得每个关键点的
维特征向量并进行归一化处理；
9）利用更新后的关键点与其对应的
维特征向量构造kd树结构，利用步骤4）中得到的N个坐标点（distance，angle）和kd树结构共同组成标准图像模型；
10）对目标图像依次执行上述步骤，获取目标图像在Hough空间中的N个坐标点（distance，angle）和目标图像的kd树结构；
11）将标准图像和目标图像在Hough空间中N个强度最大的坐标点进行预先匹配，若具有相同的坐标点（distance，angle）就相互匹配，否则计算标准图像和目标图像的所有的对应的坐标点之间的偏移量（distance_shift，angle_shift），最后计算平均偏移量（distance_shift_average，angle_shift_average）；
12）利用标准图像和目标图像的kd树结构进行关键点快速匹配，获取初级匹配的关键点对集合；
13）将步骤11）中获取的平均偏移量（distance_shift_average，angle_shift_average）作为给定的偏移量阈值，运用RANSAC算法剔除关键点对集合中偏移量大于给定阈值的关键点对，获取终极匹配的关键点对集合和单应性变换矩阵；
14）利用单应性变换矩阵对目标图像进行变换，使得标准图像和目标图像处于同一坐标系下，然后计算目标图像上终极匹配的关键点的坐标；根据终极匹配的关键点对坐标计算目标图像在X方向和Y方向的平均偏移量，分别记作Xoffset和Yoffset。
2.根据权利要求1所述的图像位置偏移检测方法，其特征在于，还包括以下步骤：15）以目标图像的中心位置（x，y）为起点，（x+Xoffset，y+Yoffset）为终点，在目标图像上显示目标图像与标准图像间的位置偏移向量，直观观测目标图像的位置偏移。
3.根据权利要求1所述的图像位置偏移检测方法，其特征在于，所述步骤5）中利用canny边缘检测算法获取标准图像的所有边缘点的方法为：
21）对输入到计算机中的标准图像进行高斯滤波以减少图像噪声的干扰；
22）计算滤波后的图像中每个像素点的梯度值和方向；
23）对每个像素点的梯度值进行非极大值抑制，初步得到图像边缘点集合；
24）采用双阈值方法进行边缘连接，剔除虚假边缘，补全边缘缺口，获得更精确的边缘点集合。
4.根据权利要求1所述的图像位置偏移检测方法，其特征在于，所述步骤5）中计算标准图像的梯度图并运用FAST角点检测方法获取其角点特征集合的方法为：
31）以标准图像上的每个像素点P为中心，3为半径画圆，获取每个圆上的16个像素点，均记作p1，p2，…，p16；
32）对于任一个以每个像素点为中心的圆，计算该圆上的像素点p1、p9与该圆所在的像素点P的像素差，若像素差的绝对值都小于第一预设阈值，则直接舍弃不是特征点的该像素点P点，否则该像素点当做一级候选点进一步筛选；
33）对于一级候选点的像素点，计算每一个一级候选点的圆上的像素点p1、p9、p5、p13与该一级候选点的像素差，若像素差的绝对值至少3个超过第一预设阈值，则当做二级候选点再进行筛选，否则直接舍弃；
34）对于二级候选点，计算任一个二级候选点的圆上的p1到p16的每个像素点与该圆所在的像素点的像素差，若16个像素差有至少9个超过第一预设阈值，则作为特征点，否则直接舍弃；
35）对标准图像进行非极大值抑制：计算步骤34）中每个特征点的角点强度值，以当前特征点为中心构造一个局部邻域，保留该邻域内强度值最高的特征点，获取角点特征集合。
5.根据权利要求1所述的图像位置偏移检测方法，其特征在于，所述步骤6）中对标准图像以预设的采样率进行一次下采样的方法为：
41）将标准图像分割成若干个
大小的图像片；
42）计算每个图像片内像素均值；
43）将标准图像的每个图像片变成一个像素，每一个像素点的值就是对应的图像片像素均值，所有像素均值形成一次下采样后的图像。
6.根据权利要求1所述的图像位置偏移检测方法，其特征在于，所述步骤7）中更新后的关键点特征集合形成的方法为：
51）基于FAST角点检测算法获取每个图像片内的关键点特征集合中每个关键点的角点强度值；
52）统计所有角点强度值的分布直方图；
53）选择角点强度值大于第二预设阈值的角点特征，舍弃局部邻域内其它角点特征，形成更新后的关键点特征集合。
7.根据权利要求1所述的图像位置偏移检测方法，其特征在于，所
述步骤8）中构造更新后的关键点集合中的每个关键点的
局部邻域，并利用邻域主方向和平均方向获取稀疏的邻域，以此获得每个关键点的
维特征向量并进行归一化处理的方法为：
61）遍历标准图像的每个关键点，以关键点为中心，构造大小为
的局部邻域；
62）计算局部邻域的主方向，并将局部邻域旋转至该方向；
63）获取局部邻域内每个像素点的方向并计算邻域平均方向；
64）将每个像素点方向值减去邻域平均方向值，获取局部邻域内每个像素点的最终方向值，即得到局部邻域的稀疏化表示形式；
65）利用稀疏的局部邻域内每个像素点的最终方向值构成关键点的
维特征向量并进行归一化处理。
8.根据权利要求1所述的图像位置偏移检测方法，其特征在于，所述步骤8）中利用更新后的关键点和与其对应的
维特征向量构造树结构的方法为：
71）在所有更新后的关键点的
维数据集合中选择具有最大方差的维度k；
72）在维度k上选取中值作为阈值对该数据集合进行划分，得到两个子集合；
73）创建一个树结点node用于存储；
74）对两个子集合重复步骤71）到73），直至所有子集合不能再划分；
75）将不能再划分的子集合中的数据保存为叶子结点leftnode和rightnode，得到最终的树结构。
9.根据权利要求1所述的图像位置偏移检测方法，其特征在于，所述步骤9）中将标准图像的kd树结构和目标图像的kd树结构互相进行匹配，获取初次匹配的关键点对集合的方法为：
81）从目标图像的kd树结构的根结点开始，计算目标图像中当前结点与标准图像的树结构的中间结点间的距离，选择距离近的分支作为优先比较的树分支；
82）将标准图像中未被选择的树分支所在树结构中的位置以及该树分支与目标图像中待测的当前结点的距离保存到一个优先级队列中；
83）重复步骤81）和82），对标准图像中的树分支进行上述的优先级比较，直至比较至叶子结点；
84）计算目标图像的待测的当前结点与标准图像的叶子结点中保存数据的距离，并记录最小距离D以及与最小距离D对应的数据P；
85) 进行回溯操作寻找是否还有离当前结点更近的最邻近点，如果当前结点与其父结点下未被访问过的分支之间的距离小于D，则认为该分支中存在离P更近的数据，进入该分支，如果在该分支中找到更近的数据，则更新最小距离D和最近邻点P；如果当前结点与其父结点下未被访问过的分支之间的距离大于D则P即为目标图像的kd树结构在标准图像的树结构中的匹配点；
86）对目标图像的kd树结构中的所有叶子结点重复步骤81）到85），获取初次匹配的关键点集合。
10.根据权利要求1所述的图像位置偏移检测方法，其特征在于，所述步骤13）中将获取的平均偏移量（distance_shift_average，angle_shift_average）作为给定的偏移量阈值，运用RANSAC算法剔除关键点对集合中偏移量大于给定阈值的关键点对，获取终极匹配的关键点对集合和单应性变换矩阵的方法为：
91）基于步骤12）获取初步匹配点集合；
92）假设共M组匹配点，从中随机选取4组匹配点对，根据匹配点之间的关系计算目标图像到标准图像的变换矩阵；
93）利用变换矩阵对目标图中中剩下的M-4组匹配点做变换，并计算变换后点与其在标准图像中匹配点间的偏移量；
94）将步骤11）中获取的平均偏移量（distance_shift_average，angle_shift_average）作为预定的偏移量阈值，若步骤93）中计算得到的偏移量小于给定阈值，则判定该点为正确的匹配点，否则为错误的匹配点；
95）统计步骤94）中获取的所有正确匹配点并保存下来，更新匹配点集合；
96）在匹配点集合中重新随机选择4组匹配点，跳转到步骤92），重复若干次后，比较每次得到的正确匹配点的数目，匹配点数目最多时得到的变换矩阵即为目标图像到标准图像的最终的单应性变换矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710443480.2A CN109146963B (zh) | 2017-06-13 | 2017-06-13 | 一种基于快速特征匹配的图像位置偏移检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710443480.2A CN109146963B (zh) | 2017-06-13 | 2017-06-13 | 一种基于快速特征匹配的图像位置偏移检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109146963A CN109146963A (zh) | 2019-01-04 |
| CN109146963B true CN109146963B (zh) | 2020-07-07 |
Family
ID=64829977
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710443480.2A Active CN109146963B (zh) | 2017-06-13 | 2017-06-13 | 一种基于快速特征匹配的图像位置偏移检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109146963B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109271873B (zh) * | 2018-08-23 | 2021-09-14 | 四创科技有限公司 | 抛垃圾视频检测中摄像头移动后的河道坐标快速修正方法 |
| CN109829389B (zh) * | 2019-01-08 | 2021-01-26 | 上海上湖信息技术有限公司 | 机器移位判断方法、装置以及计算机存储介质 |
| CN110617802A (zh) * | 2019-07-26 | 2019-12-27 | 北京控制工程研究所 | 一种星载动目标检测及速度估计方法 |
| CN113033257B (zh) * | 2019-12-24 | 2023-08-18 | 杭州海康威视数字技术股份有限公司 | 指纹识别方法、装置、电子设备及可读存储介质 |
| CN112507951B (zh) * | 2020-12-21 | 2023-12-12 | 阿波罗智联(北京)科技有限公司 | 指示灯识别方法、装置、设备、路侧设备和云控平台 |
| CN113592953B (zh) * | 2021-07-20 | 2023-05-02 | 中国科学院西安光学精密机械研究所 | 一种基于特征点集的双目非合作目标位姿测量方法 |
| CN113674212B (zh) * | 2021-07-26 | 2024-05-24 | 宁波帅特龙集团有限公司 | 一种把手装配检测方法与设备 |
| CN113763437B (zh) * | 2021-09-16 | 2023-12-05 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN116074641B (zh) * | 2023-03-06 | 2023-06-09 | 触景无限科技（北京）有限公司 | 基于mosse算法的监控设备点位图像矫正方法及系统 |
| CN116824516B (zh) * | 2023-08-30 | 2023-11-21 | 中冶路桥建设有限公司 | 一种涉路施工安全监测及管理系统 |
| CN117050760B (zh) * | 2023-10-13 | 2023-12-15 | 山西中科冶金建设有限公司 | 一种智能装煤出焦系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103247045A (zh) * | 2013-04-18 | 2013-08-14 | 上海交通大学 | 一种从多视图中得到人造场景主方向及图像边缘的方法 |
| CN103310453A (zh) * | 2013-06-17 | 2013-09-18 | 北京理工大学 | 一种基于子图像角点特征的快速图像配准方法 |
| CN103959308A (zh) * | 2011-08-31 | 2014-07-30 | Metaio有限公司 | 以参考特征匹配图像特征的方法 |
| CN104156965A (zh) * | 2014-08-13 | 2014-11-19 | 徐州工程学院 | 一种矿井监控图像自动快速拼接方法 |
| CN106485740A (zh) * | 2016-10-12 | 2017-03-08 | 武汉大学 | 一种结合稳定点和特征点的多时相sar图像配准方法 |
| CN106529591A (zh) * | 2016-11-07 | 2017-03-22 | 湖南源信光电科技有限公司 | 一种基于改进的mser图像匹配算法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8401342B2 (en) * | 2009-01-16 | 2013-03-19 | A9.Com, Inc. | System and method to match images using topologically equivalent correspondences |
| US9836871B2 (en) * | 2012-08-02 | 2017-12-05 | Here Global B.V. | Three-dimentional plane panorama creation through hough-based line detection |
| US9892493B2 (en) * | 2014-04-21 | 2018-02-13 | Texas Instruments Incorporated | Method, apparatus and system for performing geometric calibration for surround view camera solution |
| CN104751465A (zh) * | 2015-03-31 | 2015-07-01 | 中国科学技术大学 | 一种基于lk光流约束的orb图像特征配准方法 |
| CN106204429A (zh) * | 2016-07-18 | 2016-12-07 | 合肥赑歌数据科技有限公司 | 一种基于sift特征的图像配准方法 |
-
2017
- 2017-06-13 CN CN201710443480.2A patent/CN109146963B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103959308A (zh) * | 2011-08-31 | 2014-07-30 | Metaio有限公司 | 以参考特征匹配图像特征的方法 |
| CN103247045A (zh) * | 2013-04-18 | 2013-08-14 | 上海交通大学 | 一种从多视图中得到人造场景主方向及图像边缘的方法 |
| CN103310453A (zh) * | 2013-06-17 | 2013-09-18 | 北京理工大学 | 一种基于子图像角点特征的快速图像配准方法 |
| CN104156965A (zh) * | 2014-08-13 | 2014-11-19 | 徐州工程学院 | 一种矿井监控图像自动快速拼接方法 |
| CN106485740A (zh) * | 2016-10-12 | 2017-03-08 | 武汉大学 | 一种结合稳定点和特征点的多时相sar图像配准方法 |
| CN106529591A (zh) * | 2016-11-07 | 2017-03-22 | 湖南源信光电科技有限公司 | 一种基于改进的mser图像匹配算法 |
Non-Patent Citations (3)
| Title |
|---|
| Image matching based on SIFT features and kd-tree;Minjie L.等;《2010 2nd International Conference on Computer Engineering and Technology》;20100617;第V4-218--V4-222页 * |
| 一种改进的fast角点检测和描述算法;李旺 等;《电脑知识与技术》;20150228;第11卷(第6期);第177-178页 * |
| 基于角点的图像特征提取与匹配算法研究;薛金龙;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150715;第I138-910页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109146963A (zh) | 2019-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109146963B (zh) | 一种基于快速特征匹配的图像位置偏移检测方法 | |
| CN107392141B (zh) | 一种基于显著性检测和lsd直线检测的机场提取方法 | |
| US8280196B2 (en) | Image retrieval apparatus, control method for the same, and storage medium | |
| EP1835460A1 (en) | Image processing system, learning device and method, and program | |
| US9613266B2 (en) | Complex background-oriented optical character recognition method and device | |
| KR101822185B1 (ko) | 3d 포인트 클라우드 poi 검출 방법 및 장치 | |
| WO2014014687A1 (en) | Identifying a maximally stable extremal region by skipping comparison of pixels in the region | |
| Cheng et al. | Building boundary extraction from high resolution imagery and lidar data | |
| CN105069457B (zh) | 图像识别方法和装置 | |
| US10699156B2 (en) | Method and a device for image matching | |
| CN114782499A (zh) | 一种基于光流和视图几何约束的图像静态区域提取方法及装置 | |
| CN110852327A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN104992400A (zh) | 多光谱图像配准方法和装置 | |
| CN108960247B (zh) | 图像显著性检测方法、装置以及电子设备 | |
| JP2011002966A (ja) | 画像検索装置及びその制御方法並びにプログラム | |
| Buniatyan et al. | Weakly supervised deep metric learning for template matching | |
| CN111612083A (zh) | 一种手指静脉识别方法、装置及设备 | |
| CN111126436A (zh) | 视觉匹配方法及装置 | |
| CN109815791B (zh) | 基于血管的身份识别方法和装置 | |
| Phogat et al. | Different image registration methods—an overview | |
| CN110796684B (zh) | 目标跟踪方法以及相关装置 | |
| Li et al. | Unmanned aerial vehicle image matching based on improved RANSAC algorithm and SURF algorithm | |
| CN108629788B (zh) | 一种图像边缘检测方法、装置、设备及可读存储介质 | |
| Schwind et al. | Evaluating the applicability of BRISK for the geometric registration of remote sensing images | |
| KR20170030332A (ko) | 객체 고유의 구조적 특징을 이용한 객체 인식 장치 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240312 Address after: Room 4412-8, 4th Floor, Building 4, Shanxi Data Flow Ecological Park, No. 1 Huazhang North Street, Science and Technology Innovation City, Tanghuai Industrial Park, Taiyuan City, Shanxi Province, 030000, China Patentee after: Shanxi Yi Shun Polytron Technologies Inc. Country or region after: China Address before: 210032 room 501A, block a, software building, No.9 Xinghuo Road, high tech Zone, Nanjing City, Jiangsu Province Patentee before: NANJING XINHEHUITONG ELECTRON TECHNOLOGY CO.,LTD. Country or region before: China |
|
| TR01 | Transfer of patent right |