CN106327503A - 一种图像配准的方法和设备 - Google Patents
一种图像配准的方法和设备 Download PDFInfo
- Publication number
- CN106327503A CN106327503A CN201610822839.2A CN201610822839A CN106327503A CN 106327503 A CN106327503 A CN 106327503A CN 201610822839 A CN201610822839 A CN 201610822839A CN 106327503 A CN106327503 A CN 106327503A
- Authority
- CN
- China
- Prior art keywords
- image
- annular array
- offset vector
- registration
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 239000013598 vector Substances 0.000 claims abstract description 468
- 230000004048 modification Effects 0.000 claims description 56
- 238000012986 modification Methods 0.000 claims description 56
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 238000012937 correction Methods 0.000 claims description 19
- 230000001186 cumulative effect Effects 0.000 claims description 15
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 238000003702 image correction Methods 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 10
- 230000007423 decrease Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000013519 translation Methods 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 6
- 230000008878 coupling Effects 0.000 description 6
- 238000010168 coupling process Methods 0.000 description 6
- 238000005859 coupling reaction Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本申请的目的是提供一种图像配准的方法和设备，通过计算所获取的各个待配准的环形排列的图像的特征点；接着，根据所述各环形排列的图像的特征点确定环形排列的图像中相邻的两个图像之间的初始相对偏移向量；随后，根据所述初始相对偏移向量确定所述环形排列的图像的相对旋转角度及旋转所述角度后的旋转后相对偏移向量。通过引入图像环形排列这一先验模型，计算该模型中各个图像的特征点，并确定环形排列的图像中相邻的两个图像之间的初始相对偏移向量，利用实际情况中图像环形排列这一模型信息和环形排列的图像中相邻两个图像之间的初始相对偏移向量计算环形排列的图像的相对旋转角度，从而减少图像配准完成后的结果误差。
Description
技术领域
本申请涉及计算机领域，尤其涉及一种图像配准的方法和设备。
背景技术
图像配准是通过将一幅图像中的点映射到另一幅图像中同样物体上相同的点的某种空间变化的过程。目前的图像配准分为计算平移或计算单映射矩阵两种方式，计算平移方式结果简单，无法处理图像之间旋转的情况，计算单映射矩阵方式运算量大，且对图像特征匹配结果的要求较高，需要匹配结果的准确率较高时才能得出正确结果。目前的方法主要是基于特征点通过随机抽样一致算法(RANSAC)计算单应性矩阵，该算法具有通用性，但在图像重合区域较小的情况下得到的结果误差较大，在已知图像配准模型的情况下没有利用相关的模型信息来优化结果。RANSAC算法需要多次迭代，计算速度较慢。
发明内容
本申请的目的是提供一种图像配准的方法与设备，以解决现有技术中运算量较大和因内点比例较小导致的结果误差的问题。
根据本申请的一个方面，提供了一种图像配准的方法，包括：
计算所获取的各个待配准的环形排列的图像的特征点；
根据所述各环形排列的图像的特征点确定环形排列的图像中相邻的两个图像之间的初始相对偏移向量；
根据所述初始相对偏移向量确定所述环形排列的图像的相对旋转角度及旋转所述角度后的旋转后相对偏移向量。
进一步地，上述方法中，所述计算所获取的各个待配准的环形排列的图像的特征点，包括：
获取多个待配准的环形排列的图像；
采用SIFT，SURF，ORB或FAST算法中的任一种计算每一待配准的环形排列的图像的特征点。进一步地，上述方法中，根据所述各环形排列的图像的特征点确定环形排列的图像中相邻的两个图像之间的初始相对偏移向量，包括：
根据所述特征点对所述待配准的环形排列的图像中相邻的两个图像进行特征点匹配，得到匹配点对的位置偏移向量，并将所有的匹配点对的位置偏移向量标记在同一平面图像上；
选取所述平面图像上匹配点对的位置偏移向量最集中的位置，将所述最集中的位置所对应的位置偏移向量，作为所述环形排列的图像中相邻的两个图像之间的初始相对偏移向量。
进一步地，上述方法中，选取所述平面图像上匹配点对的位置偏移向量最集中的位置，将所述最集中的位置所对应的位置偏移向量，作为所述环形排列的图像中相邻的两个图像之间的初始相对偏移向量，包括：
将所述平面图像上重叠次数最高的匹配点对的位置偏移向量，作为所述环形排列的图像中相邻的两个图像之间的初始相对偏移向量。
进一步地，上述方法中，根据所述初始相对偏移向量确定所述环形排列的图像的相对旋转角度及旋转所述角度后的旋转后相对偏移向量，包括：
将所述待配准的环形排列的图像中所有相邻的两个图像之间的初始相对偏移向量进行累加，将所述累加获得的向量的倾斜度作为所述待配准的环形排列的图像的总倾斜度；
根据所述总倾斜度与所述待配准的环形排列的图像的原始倾斜度的差值，确定所述待配准的环形排列的图像的相对旋转角度；
根据所述相对旋转角度将所述待配准的环形排列的图像进行旋转，将坐标系也进行相应旋转，得到旋转后的环形排列的图像的旋转后相对偏移向量。
进一步地，上述方法中，根据所述初始相对偏移向量确定所述环形排列的图像的相对旋转角度及旋转所述角度后的旋转后相对偏移向量，包括：
根据所述待配准的环形排列的图像中所有相邻的两个图像之间的初始相对偏移向量依次排列每一待配准的环形排列的图像；
以所述待配准的环形排列的图像中的第一幅图像的中心点为原点、环形排列的方向为横坐标，环形排列的轴方向为纵坐标建立坐标系；
根据所排列的待配准的环形排列的图像中的最后一幅图像的中心点的坐标确定所述待配准的环形排列的图像的相对旋转角度根据所述相对旋转角度将所述待配准的环形排列的图像进行旋转，将坐标系也进行相应旋转，得到旋转后的环形排列的图像的旋转后相对偏移向量。
进一步地，上述方法中，根据所述初始相对偏移向量确定所述环形排列的图像的相对旋转角度及旋转所述角度后的旋转后相对偏移向量，包括：
根据所述待配准的环形排列的图像中所有相邻的两个图像之间的初始相对偏移向量依次排列每一待配准的环形排列的图像；
以所述待配准的环形排列的图像中的第一幅图像的中心点为原点、环形排列的方向为横坐标，环形排列的轴方向为纵坐标建立坐标系；
获取待配准的环形排列的图像的中心点，根据各个中心点生成旋转直线，其中，各个中心点到所述旋转直线的距离的和最小；
根据所述旋转直线的斜率确定所述待配准的环形排列的图像的相对旋转角度；根据所述相对旋转角度将所述待配准的环形排列的图像进行旋转，将坐标系也进行相应旋转，得到旋转后的环形排列的图像的旋转后相对偏移向量。
进一步地，上述方法中，根据所述相对旋转角度将所述待配准的环形排列的图像进行旋转得到旋转后的环形排列的图像的旋转后相对偏移向量之后，还包括：
根据所述初始相对偏移向量和旋转后的环形排列的图像的旋转后相对偏移向量得到所述环形排列的图像的修正后相对偏移向量。
进一步地，上述方法中，根据所述初始相对偏移向量和旋转后的环形排列的图像的旋转后相对偏移向量得到所述环形排列的图像的修正后相对偏移向量，包括：
根据所有旋转后的环形排列的图像的旋转后相对偏移向量中的环形轴方向的向量分量，得到所述环形轴方向的向量分量的修正向量；
将所述旋转后相对偏移向量中的环形轴方向的向量分量与所述修正向量的差值作为所述环形排列的图像的修正后相对偏移向量的环形轴方向的向量分量；
将所述修正后相对偏移向量的环形轴方向的向量分量与旋转后相对偏移向量的环形方向的向量分量，合成修正后相对偏移向量。
更进一步地，所述修正向量根据每个旋转后相对偏移向量的环形轴方向的向量分量，采用最小二乘法计算得出，所述修正向量的取值为每个旋转后相对偏移向量的环形轴方向的向量分量与所述修正向量的差值的平方和最小时对应的值。
根据本申请的另一方面，还提供了一种图像配准的设备，包括：
计算装置，用于计算所获取的各个待配准的环形排列的图像的特征点；
选取装置，用于根据所述各环形排列的图像的特征点确定环形排列的图像中相邻的两个图像之间的初始相对偏移向量；
配准装置，用于根据所述初始相对偏移向量确定所述环形排列的图像的相对旋转角度及旋转所述角度后的旋转后相对偏移向量。
进一步地，上述设备中，所述计算装置用于：
获取多个待配准的环形排列的图像；
采用SIFT，SURF，ORB或FAST算法中的任一种计算每一待配准的环形排列的图像的特征点。
进一步地，上述设备中，所述选取装置用于：
根据所述特征点对所述待配准的环形排列的图像中相邻的两个图像进行特征点匹配，得到匹配点对的位置偏移向量，并将所有的匹配点对的位置偏移向量标记在同一平面图像上；
选取所述平面图像上匹配点对的位置偏移向量最集中的位置，将所述最集中的位置所对应的位置偏移向量，作为所述环形排列的图像中相邻的两个图像之间的初始相对偏移向量。
进一步地，在上述设备中，所述选取装置用于：
将所述平面图像上重叠次数最高的匹配点对的位置偏移向量，作为所述环形排列的图像中相邻的两个图像之间的初始相对偏移向量。
进一步地，在上述设备中，所述配准装置用于：
将所述待配准的环形排列的图像中所有相邻的两个图像之间的初始相对偏移向量进行累加，将所述累加获得的向量的倾斜度作为所述待配准的环形排列的图像的总倾斜度；
根据所述总倾斜度与所述待配准的环形排列的图像的原始倾斜度的差值，确定所述待配准的环形排列的图像的相对旋转角度；
根据所述相对旋转角度将所述待配准的环形排列的图像进行旋转，将坐标系也进行相应旋转，得到旋转后的环形排列的图像的旋转后相对偏移向量。
进一步地，在上述设备中，所述配准装置用于：
根据所述待配准的环形排列的图像中所有相邻的两个图像之间的初始相对偏移向量依次排列每一待配准的环形排列的图像；
以所述待配准的环形排列的图像中的第一幅图像的中心点为原点、环形排列的方向为横坐标，环形排列的轴方向为纵坐标建立坐标系；
根据所排列的待配准的环形排列的图像中的最后一幅图像的中心点的坐标确定所述待配准的环形排列的图像的相对旋转角度根据所述相对旋转角度将所述待配准的环形排列的图像进行旋转，将坐标系也进行相应旋转，得到旋转后的环形排列的图像的旋转后相对偏移向量。
进一步地，在上述设备中，所述配准装置用于：
根据所述待配准的环形排列的图像中所有相邻的两个图像之间的初始相对偏移向量依次排列每一待配准的环形排列的图像；
以所述待配准的环形排列的图像中的第一幅图像的中心点为原点、环形排列的方向为横坐标，环形排列的轴方向为纵坐标建立坐标系；
获取待配准的环形排列的图像的中心点，根据各个中心点生成旋转直线，其中，各个中心点到所述旋转直线的距离的和最小；
根据所述旋转直线的斜率确定所述待配准的环形排列的图像的相对旋转角度；根据所述相对旋转角度将所述待配准的环形排列的图像进行旋转，将坐标系也进行相应旋转，得到旋转后的环形排列的图像的旋转后相对偏移向量。
进一步地，在上述设备中，所述设备还包括：
修正装置，用于根据所述初始相对偏移向量和旋转后的环形排列的图像的旋转后相对偏移向量得到所述环形排列的图像的修正后相对偏移向量。
进一步地，所述修正装置用于：
根据所有旋转后的环形排列的图像的旋转后相对偏移向量中的环形轴方向的向量分量，得到所述环形轴方向的向量分量的修正向量；
将所述旋转后相对偏移向量中的环形轴方向的向量分量与所述修正向量的差值作为所述环形排列的图像的修正后相对偏移向量的环形轴方向的向量分量；
将所述修正后相对偏移向量的环形轴方向的向量分量与旋转后相对偏移向量的环形方向的向量分量，合成修正后相对偏移向量。
更进一步地，所述修正向量根据每个旋转后相对偏移向量的环形轴方向的向量分量，采用最小二乘法计算得出，所述修正向量的取值为每个旋转后相对偏移向量的环形轴方向的向量分量与所述修正向量的差值的平方和最小时对应的值。
与现有技术相比，本申请通过计算所获取的各个待配准的环形排列的图像的特征点；接着，根据所述各环形排列的图像的特征点确定环形排列的图像中相邻的两个图像之间的初始相对偏移向量；随后，根据所述初始相对偏移向量确定所述环形排列的图像的相对旋转角度及旋转所述角度后的旋转后相对偏移向量。进而，通过引入图像环形排列这一先验模型，计算该模型中各个图像的特征点，并确定环形排列的图像中相邻的两个图像之间的初始相对偏移向量，利用实际情况中图像环形排列这一模型信息和环形排列的图像中相邻两个图像之间的初始相对偏移向量计算环形排列的图像的相对旋转角度，从而减少图像配准完成后的结果误差。
进一步地，根据所述特征点对所述待配准的环形排列的图像中相邻的两个图像进行特征点匹配，得到匹配点对的位置偏移向量，并将所有的匹配点对的位置偏移向量标记在同一平面图像上；选取所述平面图像上匹配点对的位置偏移向量最集中的位置，将所述最集中的位置所对应的位置偏移向量，作为所述环形排列的图像中相邻的两个图像之间的初始相对偏移向量。通过确定在同一平面上的位置偏移向量最集中的位置的模糊处理，能够快速得到偏移向量集中位置所对应的位置偏移向量，减少了运算量，将该位置偏移向量作为相邻的两个图像之间的初始相对偏移向量，从而剔除误差导致的固定位置异常情况，本申请未采用RANSAC算法确定环形排列的图像中相邻的两个图像之间的初始相对偏移向量，而是利用各环形排列的图像的特征点进行确定，从而避免了因为内点比例较小导致的结果误差的问题，且因不需要多次迭代计算提高了计算速度。更进一步地，将所述平面图像上重叠次数最高的匹配点对的位置偏移向量，作为所述环形排列的图像中相邻的两个图像之间的初始相对偏移向量。在本申请中通过将平面图像上重叠次数最高的匹配点对的位置偏移向量，作为相邻的两个图像之间的初始相对偏移向量，使用了最大的邻域加权平均值作为最佳结果，从而剔除了误差导致的固定位置的值的异常情况。
进一步地，将所述待配准的环形排列的图像中所有相邻的两个图像之间的初始相对偏移向量进行累加，将所述累加获得的向量的倾斜度作为所述待配准的环形排列的图像的总倾斜度；根据所述总倾斜度与所述待配准的环形排列的图像的原始倾斜度的差值，确定所述待配准的环形排列的图像的相对旋转角度；根据所述相对旋转角度将所述待配准的环形排列的图像进行旋转，将坐标系也进行相应旋转，得到旋转后的环形排列的图像的旋转后相对偏移向量。进而，利用各初始相对偏移向量的累加和确定待配准的环形排列的多幅图像最终的旋转角度，并不是单独利用某一个初始相对偏移向量确定该最终的旋转角度，从而提高了待配准的环形排列的多幅图像的配准结果的准确度。
进一步地，根据所述待配准的环形排列的图像中所有相邻的两个图像之间的初始相对偏移向量依次排列每一待配准的环形排列的图像；以所述待配准的环形排列的图像中的第一幅图像的中心点为原点、环形排列的方向为横坐标，环形排列的轴方向为纵坐标建立坐标系；根据所排列的待配准的环形排列的图像中的最后一幅图像的中心点的坐标确定所述待配准的环形排列的图像的相对旋转角度根据所述相对旋转角度将所述待配准的环形排列的图像进行旋转，将坐标系也进行相应旋转，得到旋转后的环形排列的图像的旋转后相对偏移向量。在本申请中通过上述所述的利用待配准的环形排列的图像中的第一幅图像的中心点和最后一幅图像的中心点确定旋转角度的方法，减少了计算量，提高了运算速度。
进一步地，根据所述待配准的环形排列的图像中所有相邻的两个图像之间的初始相对偏移向量依次排列每一待配准的环形排列的图像；以所述待配准的环形排列的图像中的第一幅图像的中心点为原点、环形排列的方向为横坐标，环形排列的轴方向为纵坐标建立坐标系；获取待配准的环形排列的图像的中心点，根据各个中心点生成旋转直线，其中，各个中心点到所述旋转直线的距离的和最小；根据所述旋转直线的斜率确定所述待配准的环形排列的图像的相对旋转角度；根据所述相对旋转角度将所述待配准的环形排列的图像进行旋转，将坐标系也进行相应旋转，得到旋转后的环形排列的图像的旋转后相对偏移向量。通过本申请中上述所述的利用待配准的环形排列的图像中各个图像的中心点进行确定最终的旋转角度的方法，使得计算得到的旋转角度的结果更准确，从而减少了待配准的环形排列的图像的配准结果误差。
进一步地，本申请所述的配准方法还引入了修正向量，根据所述初始相对偏移向量和旋转后的环形排列的图像的旋转后相对偏移向量确定修正向量，利用该修正向量对旋转后的环形排列的图像的旋转后相对偏移向量进行修正，减少图像配准的结果误差。更进一步地，所述修正向量根据每个旋转后相对偏移向量的环形轴方向的向量分量，采用最小二乘法计算得出，所述修正向量的取值为每个旋转后相对偏移向量的环形轴方向的向量分量与所述修正向量的差值的平方和最小时对应的值。利用最小二乘法可以得到最佳匹配的修正向量，且能够通过计算机的简单程序快速实现，且占据计算机存储量小。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个方面的一种图像配准的方法流程示意图；
图2示出根据本申请一个方面的一个场景图的匹配特征点的示意图；
图3示出根据本申请一个方面的一个具体实施例的在平面图像中标记位置偏移向量的示意图；
图4示出根据本申请一个方面的一个具体实施例的模糊处理确定最大值的示意图；
图5示出一个优选实施例的根据环形排列的图像中两个图像的中心点确定相对旋转角度的示意图；
图6示出根据本申请一个方面的一个优选实施例中对各图像和坐标系进行旋转的示意图；
图7示出再一个优选实施例的根据环形排列的图像中各图像中心点确定相对旋转角度的示意图；
图8示出根据本申请又一个方面的一种图像配准的设备结构示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
图1示出根据本申请一个方面的一种图像配准的方法流程示意图；所述方法包括步骤S11、步骤S12和步骤S13，在步骤S11中，计算所获取的各个待配准的环形排列的图像的特征点；在步骤S12中，根据所述各环形排列的图像的特征点确定环形排列的图像中相邻的两个图像之间的初始相对偏移向量；在步骤S13中，根据所述初始相对偏移向量确定所述环形排列的图像的相对旋转角度及旋转所述角度后的旋转后相对偏移向量。通过引入图像环形排列这一先验模型，计算该模型中各个图像的特征点，并确定环形排列的图像中相邻的两个图像之间的初始相对偏移向量，利用实际情况中图像环形排列这一模型信息和环形排列的图像中相邻两个图像之间的初始相对偏移向量计算环形排列的图像的相对旋转角度，从而减少图像配准完成后的结果误差。
具体地，在步骤S11中，计算所获取的各个待配准的环形排列的图像的特征点；在本申请一实施例中，引入先验模型，所述先验模型为环形排列的多幅图像，位置关系为平移和相对旋转，没有缩放，且环形排列的顺序已知的模型。对环形排列的多幅图像分别计算特征点，所述特征点比如为图像的角点、边缘点、暗区域的亮点或亮区域的暗点，灰度图局部的最值。进而根据实际情况计算实际的各环形排列的图像的特征点，能够有效减少基于各特征点进行特征点匹配的结果误差。优选地，首先获取多个待配准的环形排列的图像；接着，采用SIFT，SURF，ORB或FAST算法中的任一种计算每一待配准的环形排列的图像的特征点。在此，本领域技术人员应能理解，所述SIFT为尺度不变特征变换(Scale InvariantFeature Transform)是一种基于特征的特征检测描述方法，具有缩放、旋转和仿射不变性，能够抗拒一定光照变化和视点变换。同时，这种特征还具有较高的辨别能力，有利于后续的匹配。SURF(Speeded Up Robust Feature)快速鲁棒特征，为SIFT的加速版，SURF算法可以在适中的条件下完成两幅图像中物体的匹配基本实现了实时处理。OBR(Oriented Brief)在特征点附近随机选取若干点对，将这些点对的灰度值的大小，组合成一个二进制串，并将这个二进制串作为该特征点的特征描述子。FAST(Features from Accelerated SegmentTest)为比较快速的特征点检测方法，只利用周围像素比较的信息就可以得到特征点，简单，有效。在本申请的一优选实施例中，因SIFT算法的旋转不变特征对结果有更好的优化效果，因此采用SIFT计算环形排列的每一幅图像的特征点。
具体地，在步骤S12中，根据所述各环形排列的图像的特征点确定环形排列的图像中相邻的两个图像之间的初始相对偏移向量；在一实施例中，如环形排列的图像中A和B为相邻的两幅图像，经过对图像A和B分别计算特征点后得到特征点匹配，如A中的点P(x1，y1)和B中的点P’(x1’，y1’)为一对匹配点对，则该匹配点对的位置偏移向量根据相邻的两幅图像A和B中各匹配点对的位置偏移向量得到A和B的初始相对偏移向量。本申请未采用RANSAC算法确定环形排列的图像中相邻的两个图像之间的初始相对偏移向量，而是利用各环形排列的图像的特征点进行确定，从而避免了因为内点比例较小导致的结果误差的问题，且因不需要多次迭代计算提高了计算速度。
具体地，在步骤S13中，根据所述初始相对偏移向量确定所述环形排列的图像的相对旋转角度及旋转所述角度后的旋转后相对偏移向量。在此，根据环形排列的图像中所有相邻的两幅图像的初始相对偏移向量确定环形排列的图像的相对旋转角度，将环形排列的所有图像都按照该相对旋转角度进行旋转，并将坐标系也做相应的旋转，旋转后在新坐标系中确定旋转后相对偏移向量。从而，本申请所述的图像配准的方法，在实际情况中利用了环形排列的图像中的所有相邻的两幅图的初始相对偏移向量，有效减少了旋转后图像的结果误差。
优选地，所述步骤S12包括：根据所述特征点对所述待配准的环形排列的图像中相邻的两个图像进行特征点匹配，得到匹配点对的位置偏移向量，并将所有的匹配点对的位置偏移向量标记在同一平面图像上；选取所述平面图像上匹配点对的位置偏移向量最集中的位置，将所述最集中的位置所对应的位置偏移向量，作为所述环形排列的图像中相邻的两个图像之间的初始相对偏移向量。在本申请的一具体场景应用中，如图2所示，计算特征点并进行相邻的两个图像的特征点匹配，取图2中某一对匹配点对，如图3中所示，点P1’(x1’，y1’)和P1”(x1”，y1”)为相邻两幅图的一对匹配点对，则该匹配点对的位置偏移向量将位置偏移向量标记在平面图像上，同理，将该相邻的两幅图的其它匹配点对的位置偏移向量都标记在所在的平面图像上，为了剔除误差导致的固定位置值异常情况，将一个固定位置的值替换为附近区域的加权平均值，使用最大的邻域加权平均值作为最佳结果，因此，通过对标记有位置偏移向量的平面图像做高斯模糊，其中，高斯模糊的半径表示做模糊的范围大小或求加权平均值的区域大小，代表了允许的相对旋转角度，选取所述平面图像上匹配点对的位置偏移向量最集中的位置，将所述最集中的位置所对应的位置偏移向量，作为所述环形排列的图像中相邻的两个图像之间的初始相对偏移向量。需要说明的是，所述高斯模糊仅为本申请一实施例中确定相邻两幅图之间的初始相对偏移向量的一种方法，还可以利用其他聚类算法获取位置偏移向量最集中的位置，其他现有的或今后可能出现的确定位置偏移向量最集中的位置的方法，如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在此，更优选地，选取所述平面图像上匹配点对的位置偏移向量最集中的位置，将所述最集中的位置所对应的位置偏移向量，作为所述环形排列的图像中相邻的两个图像之间的初始相对偏移向量，包括：将所述平面图像上重叠次数最高的匹配点对的位置偏移向量，作为所述环形排列的图像中相邻的两个图像之间的初始相对偏移向量。在一具体实施例中，如图4所示，用像素值大小表示重叠次数，在原始偏移向量示意图中最大像素值为8，即表示该位置所对应的位置偏移向量重复8次，对所有位置偏移向量所在的平面图像进行模糊处理，如8中模糊偏移向量示意图，此时最大值为5，附近区域的加权平均值替换了固定位置的值8，即通过选取邻近区域最大值，剔除异常误差，使用邻域最大值得到的结果更准确。在本申请中，将平面图像上重叠次数最高的匹配点对的位置偏移向量，作为相邻的两个图像之间的初始相对偏移向量，使用了最大的邻域加权平均值作为最佳结果，从而剔除了误差导致的固定位置的值的异常情况。优选地，步骤S13包括：将所述待配准的环形排列的图像中所有相邻的两个图像之间的初始相对偏移向量进行累加，将所述累加获得的向量的倾斜度作为所述待配准的环形排列的图像的总倾斜度；根据所述总倾斜度与所述待配准的环形排列的图像的原始倾斜度的差值，确定所述待配准的环形排列的图像的相对旋转角度；根据所述相对旋转角度将所述待配准的环形排列的图像进行旋转，将坐标系也进行相应旋转，得到旋转后的环形排列的图像的旋转后相对偏移向量。
在一优选实施例中，在高斯模糊后的平面图像上查找像素值最大的点，该位置所代表的位置偏移向量为相邻两幅图像(第k幅和第k+1幅)之间的初始相对偏移向量累加所有相邻图像的初始相对偏移向量得到其中，k＝1,2……n，n为正整数。累加获得的向量的倾斜度作为所述待配准的环形排列的图像的总倾斜度；待配准的环形排列的图像的相对旋转角度为该总倾斜度与所述待配准的环形排列的图像的原始倾斜度的差值，环形排列的所有图像统一旋转相对旋转角度θ；初始相对偏移向量 的坐标系也进行了旋转θ，在新坐标系中得到新的偏移向量为环形排列的图像的旋转后相对偏移向量。初始相对偏移向量累加后各向量终点位置到总的相对偏移向量所在直线的距离为各图像在环形轴方向上的偏移，各相邻图像偏移向量在方向上的投影大小为其在环形方向上的偏移。在本申请中，利用各初始相对偏移向量的累加和确定待配准的环形排列的多幅图像最终的旋转角度，并不是单独利用某一个初始相对偏移向量确定该最终的旋转角度，从而提高了待配准的环形排列的多幅图像的配准结果的准确度。
优选地，步骤S13包括：根据所述待配准的环形排列的图像中所有相邻的两个图像之间的初始相对偏移向量依次排列每一待配准的环形排列的图像；以所述待配准的环形排列的图像中的第一幅图像的中心点为原点、环形排列的方向为横坐标，环形排列的轴方向为纵坐标建立坐标系；根据所排列的待配准的环形排列的图像中的最后一幅图像的中心点的坐标确定所述待配准的环形排列的图像的相对旋转角度根据所述相对旋转角度将所述待配准的环形排列的图像进行旋转，将坐标系也进行相应旋转，得到旋转后的环形排列的图像的旋转后相对偏移向量。
在又一优选实施例中，如图5所示，按照相邻图像的偏移向量排列所有图像，对于环形排列，第一幅图a会再次出现在最后，标记为a’，以待配准的环形排列的图像中的第一幅图像a的中心点为原点、环形排列的方向为横坐标，环形排列的轴方向为纵坐标建立坐标系，计算图像a’的中心点的坐标(x，y)，如图5中，在建立的坐标系中将a和a’的中心点进行连线，则该直线的斜率为k＝y/x，倾斜角为θ＝arctan(y/x)，该倾斜角θ为待配准的环形排列的图像的相对旋转角度，将图像a、b、c、d、a’统一旋转角θ，如图6中所示，并将初始相对偏移向量的坐标系也进行了旋转θ，在新坐标系中得到新的偏移向量为环形排列的图像的旋转后相对偏移向量。在本申请中，利用待配准的环形排列的图像中的第一幅图像的中心点和最后一幅图像的中心点确定旋转角度，从而减少了计算量，提高了运算速度。
优选地，步骤S13包括：根据所述待配准的环形排列的图像中所有相邻的两个图像之间的初始相对偏移向量依次排列每一待配准的环形排列的图像；以所述待配准的环形排列的图像中的第一幅图像的中心点为原点、环形排列的方向为横坐标，环形排列的轴方向为纵坐标建立坐标系；获取待配准的环形排列的图像的中心点，根据各个中心点生成旋转直线，其中，各个中心点到所述旋转直线的距离的和最小；根据所述旋转直线的斜率确定所述待配准的环形排列的图像的相对旋转角度；根据所述相对旋转角度将所述待配准的环形排列的图像进行旋转，将坐标系也进行相应旋转，得到旋转后的环形排列的图像的旋转后相对偏移向量。
在本申请的再一优选实施例中，如图7所示，图像a、b、c、d为环形排列的图像，以待配准的环形排列的图像中的第一幅图像a的中心点为原点、环形排列的方向为横坐标，环形排列的轴方向为纵坐标建立坐标系，分别计算图像b、c、d的中心点的坐标，根据各个中心点生成旋转直线，各个中心点到所述旋转直线的距离的和最小，确定该旋转直线后可获得该直线的斜率k’，倾斜角为θ′＝arctan(k′)，该倾斜角θ′为待配准的环形排列的图像的相对旋转角度，将图像a、b、c、d、a’统一旋转角θ′，并将初始相对偏移向量 的坐标系也进行了旋转θ′，在新坐标系中得到新的偏移向量为环形排列的图像的旋转后相对偏移向量。在本申请中，利用待配准的环形排列的图像中各个图像的中心点进行确定最终的旋转角度，使得计算得到的旋转角度的结果更准确，从而减少了待配准的环形排列的图像的配准结果误差。
优选地，所述方法还包括：步骤S14，根据所述初始相对偏移向量和旋转后的环形排列的图像的旋转后相对偏移向量得到所述环形排列的图像的修正后相对偏移向量。在一优选实施例中，在环形排列的图像中某相邻的两幅图之间的初始相对偏移向量进行旋转后在新坐标系中新的偏移向量即旋转后相对偏移向量为对所有旋转后相对偏移向量y分量进行拟合，进而确定修正向量，对所有旋转后相对偏移向量进行修正。具体过程如下：
在步骤S14中，根据所有旋转后的环形排列的图像的旋转后相对偏移向量中的环形轴方向的向量分量，得到所述环形轴方向的向量分量的修正向量；将所述旋转后相对偏移向量中的环形轴方向的向量分量与所述修正向量的差值作为所述环形排列的图像的修正后相对偏移向量的环形轴方向的向量分量；将所述修正后相对偏移向量的环形轴方向的向量分量与旋转后相对偏移向量的环形方向的向量分量，合成修正后相对偏移向量。接上述实施例，对所有旋转后相对偏移向量y分量进行拟合，进而确定修正向量从而旋转后相对偏移向量分量更新为其中，修正向量的取值为每个环形轴方向的偏移向量分量与所述修正向量的差值的平方和最小时对应的值。在本申请中，引入了修正向量，根据所述初始相对偏移向量和旋转后的环形排列的图像的旋转后相对偏移向量确定修正向量，利用该修正向量对旋转后的环形排列的图像的旋转后相对偏移向量进行修正，减少图像配准的结果误差。
更具体地，在上述优选实施例中，所述修正向量根据每个旋转后相对偏移向量的环形轴方向的向量分量，采用最小二乘法计算得出，所述修正向量的取值为每个旋转后相对偏移向量的环形轴方向的向量分量与所述修正向量的差值的平方和最小时对应的值。例如，对所有旋转后相对偏移向量y环形轴方向的向量分量进行拟合，其中，环形轴方向的向量分量优选地采用最小二乘法计算得出，取修正向量使得最小，通过二次曲线函数确定，因该二次曲线函数开口向上，对该函数进行求导，导数为零处取得最小值，将该最小值作为修正向量则旋转后相对偏移向量分量更新为配准结果中相邻两幅图像之间的相对偏移向量为即修正后相对偏移向量。利用最小二乘法可以得到最佳匹配的修正向量，且能够通过计算机的简单程序快速实现，且占据计算机存储量小，使得配准结果更加准确。需要说明的是，采用最小二乘法计算所述修正向量仅为本申请中一优选实施例，其他现有的或今后可能出现的确定修正向量的方法，如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
综上所述，本申请所述的图像配准的方法对特征匹配结果进行分类，寻找最大可能的位置，通过计算多幅图像的位置偏移向量，生成相对旋转角度和修正后相对位置。本申请所述的图像配准的方法在一具体应用场景中，环形排列的图像中多幅图像的相对位置关系为：主要沿一个方向有平移，沿另一个垂直方向有较小平移，图像之间可能存在较小的相对旋转角。使用本申请所述方法的前提是假设多幅图像的已经进行了按位置排序处理。在本申请所述的方法中，通过对位置偏移向量所在平面图的模糊快速得到位置偏移向量最集中位置，减少了运算量，避免了RANSAC算法因为内点比例较小导致的结果误差，并且引入了先验模型，利用了实际情况中的模型信息，有效减少结果误差。
图8示出根据本申请又一个方面的一种图像配准的设备结构示意图；所述设备1包括计算装置11、选取装置12和配准装置13，计算装置11计算所获取的各个待配准的环形排列的图像的特征点；选取装置12根据所述各环形排列的图像的特征点确定环形排列的图像中相邻的两个图像之间的初始相对偏移向量；配准装置13根据所述初始相对偏移向量确定所述环形排列的图像的相对旋转角度及旋转所述角度后的旋转后相对偏移向量。通过引入图像环形排列这一先验模型，计算该模型中各个图像的特征点，并确定环形排列的图像中相邻的两个图像之间的初始相对偏移向量，利用实际情况中图像环形排列这一模型信息和环形排列的图像中相邻两个图像之间的初始相对偏移向量计算环形排列的图像的相对旋转角度，从而减少图像配准完成后的结果误差。具体地，计算装置11用于计算所获取的各个待配准的环形排列的图像的特征点；在本申请一实施例中，引入先验模型，所述先验模型为环形排列的多幅图像，位置关系为平移和相对旋转，没有缩放，且环形排列的顺序已知的模型。对环形排列的多幅图像分别计算特征点，所述特征点比如为图像的角点、边缘点、暗区域的亮点或亮区域的暗点，灰度图局部的最值。进而根据实际情况计算实际的各环形排列的图像的特征点，能够有效减少基于各特征点进行特征点匹配的结果误差。优选地，首先获取多个待配准的环形排列的图像；接着，采用SIFT，SURF，ORB或FAST算法中的任一种计算每一待配准的环形排列的图像的特征点。在此，本领域技术人员应能理解，所述SIFT为尺度不变特征变换(Scale Invariant Feature Transform)是一种基于特征的特征检测描述方法，具有缩放、旋转和仿射不变性，能够抗拒一定光照变化和视点变换。同时，这种特征还具有较高的辨别能力，有利于后续的匹配。SURF(Speeded Up Robust Feature)快速鲁棒特征，为SIFT的加速版，SURF算法可以在适中的条件下完成两幅图像中物体的匹配基本实现了实时处理。OBR(Oriented Brief)在特征点附近随机选取若干点对，将这些点对的灰度值的大小，组合成一个二进制串，并将这个二进制串作为该特征点的特征描述子。FAST(Features from Accelerated Segment Test)为比较快速的特征点检测方法，只利用周围像素比较的信息就可以得到特征点，简单，有效。在本申请的一优选实施例中，因SIFT算法的旋转不变特征对结果有更好的优化效果，因此采用SIFT计算环形排列的每一幅图像的特征点。
具体地，选取装置12用于，根据所述各环形排列的图像的特征点确定环形排列的图像中相邻的两个图像之间的初始相对偏移向量；在一实施例中，如环形排列的图像中A和B为相邻的两幅图像，经过对图像A和B分别计算特征点后得到特征点匹配，如A中的点P(x1，y1)和B中的点P’(x1’，y1’)为一对匹配点对，则该匹配点对的位置偏移向量根据相邻的两幅图像A和B中各匹配点对的位置偏移向量得到A和B的初始相对偏移向量。本申请未采用RANSAC算法确定环形排列的图像中相邻的两个图像之间的初始相对偏移向量，而是利用各环形排列的图像的特征点进行确定，从而避免了因为内点比例较小导致的结果误差的问题，且因不需要多次迭代计算提高了计算速度。具体地，配准装置13用于，根据所述初始相对偏移向量确定所述环形排列的图像的相对旋转角度及旋转所述角度后的旋转后相对偏移向量。在此，根据环形排列的图像中所有相邻的两幅图像的初始相对偏移向量确定环形排列的图像的相对旋转角度，将环形排列的所有图像都按照该相对旋转角度进行旋转，并将坐标系也做相应的旋转，旋转后在新坐标系中确定旋转后相对偏移向量。从而，本申请所述的图像配准的方法，在实际情况中利用了环形排列的图像中的所有相邻的两幅图的初始相对偏移向量，有效减少了旋转后图像的结果误差。
优选地，选取装置12用于：根据所述特征点对所述待配准的环形排列的图像中相邻的两个图像进行特征点匹配，得到匹配点对的位置偏移向量，并将所有的匹配点对的位置偏移向量标记在同一平面图像上；选取所述平面图像上匹配点对的位置偏移向量最集中的位置，将所述最集中的位置所对应的位置偏移向量，作为所述环形排列的图像中相邻的两个图像之间的初始相对偏移向量。在本申请的一具体场景应用中，如图2所示，计算特征点并进行相邻的两个图像的特征点匹配，取图2中某一对匹配点对，如图3中所示，点P1’(x1’，y1’)和P1”(x1”，y1”)为相邻两幅图的一对匹配点对，则该匹配点对的位置偏移向量将位置偏移向量标记在平面图像上，同理，将该相邻的两幅图的其它匹配点对的位置偏移向量都标记在所在的平面图像上，为了剔除误差导致的固定位置值异常情况，将一个固定位置的值替换为附近区域的加权平均值，使用最大的邻域加权平均值作为最佳结果，因此，通过对标记有位置偏移向量的平面图像做高斯模糊，其中，高斯模糊的半径表示做模糊的范围大小或求加权平均值的区域大小，代表了允许的相对旋转角度，选取所述平面图像上匹配点对的位置偏移向量最集中的位置，将所述最集中的位置所对应的位置偏移向量，作为所述环形排列的图像中相邻的两个图像之间的初始相对偏移向量。需要说明的是，所述高斯模糊仅为本申请一实施例中确定相邻两幅图之间的初始相对偏移向量的一种方法，还可以利用其他聚类算法获取位置偏移向量最集中的位置，其他现有的或今后可能出现的确定位置偏移向量最集中的位置的方法，如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在此，更优选地，选取装置12用于：将所述平面图像上重叠次数最高的匹配点对的位置偏移向量，作为所述环形排列的图像中相邻的两个图像之间的初始相对偏移向量。在一具体实施例中，如图4所示，用像素值大小表示重叠次数，在原始偏移向量示意图中最大像素值为8，即表示该位置所对应的位置偏移向量重复8次，对所有位置偏移向量所在的平面图像进行模糊处理，如8中模糊偏移向量示意图，此时最大值为5，附近区域的加权平均值替换了固定位置的值8，即通过选取邻近区域最大值，剔除异常误差，使用邻域最大值得到的结果更准确。在本申请中，将平面图像上重叠次数最高的匹配点对的位置偏移向量，作为相邻的两个图像之间的初始相对偏移向量，使用了最大的邻域加权平均值作为最佳结果，从而剔除了误差导致的固定位置的值的异常情况。
优选地，配准装置13用于：将所述待配准的环形排列的图像中所有相邻的两个图像之间的初始相对偏移向量进行累加，将所述累加获得的向量的倾斜度作为所述待配准的环形排列的图像的总倾斜度；根据所述总倾斜度与所述待配准的环形排列的图像的原始倾斜度的差值，确定所述待配准的环形排列的图像的相对旋转角度；根据所述相对旋转角度将所述待配准的环形排列的图像进行旋转，将坐标系也进行相应旋转，得到旋转后的环形排列的图像的旋转后相对偏移向量。
在一优选实施例中，在高斯模糊后的平面图像上查找像素值最大的点，该位置所代表的位置偏移向量为相邻两幅图像(第k幅和第k+1幅)之间的初始相对偏移向量累加所有相邻图像的初始相对偏移向量得到其中，k＝1,2……n，n为正整数。累加获得的向量的倾斜度作为所述待配准的环形排列的图像的总倾斜度；待配准的环形排列的图像的相对旋转角度为该总倾斜度与所述待配准的环形排列的图像的原始倾斜度的差值，环形排列的所有图像统一旋转相对旋转角度θ；初始相对偏移向量 的坐标系也进行了旋转θ，在新坐标系中得到新的偏移向量为环形排列的图像的旋转后相对偏移向量。初始相对偏移向量累加后各向量终点位置到总的相对偏移向量所在直线的距离为各图像在环形轴方向上的偏移，各相邻图像偏移向量在方向上的投影大小为其在环形方向上的偏移。在本申请中，利用各初始相对偏移向量的累加和确定待配准的环形排列的多幅图像最终的旋转角度，并不是单独利用某一个初始相对偏移向量确定该最终的旋转角度，从而提高了待配准的环形排列的多幅图像的配准结果的准确度。
优选地，配准装置13用于：根据所述待配准的环形排列的图像中所有相邻的两个图像之间的初始相对偏移向量依次排列每一待配准的环形排列的图像；以所述待配准的环形排列的图像中的第一幅图像的中心点为原点、环形排列的方向为横坐标，环形排列的轴方向为纵坐标建立坐标系；根据所排列的待配准的环形排列的图像中的最后一幅图像的中心点的坐标确定所述待配准的环形排列的图像的相对旋转角度根据所述相对旋转角度将所述待配准的环形排列的图像进行旋转，将坐标系也进行相应旋转，得到旋转后的环形排列的图像的旋转后相对偏移向量。
在又一优选实施例中，如图5所示，按照相邻图像的偏移向量排列所有图像，对于环形排列，第一幅图a会再次出现在最后，标记为a’，以待配准的环形排列的图像中的第一幅图像a的中心点为原点、环形排列的方向为横坐标，环形排列的轴方向为纵坐标建立坐标系，计算图像a’的中心点的坐标(x，y)，如图5中，在建立的坐标系中将a和a’的中心点进行连线，则该直线的斜率为k＝y/x，倾斜角为θ＝arctan(y/x)，该倾斜角θ为待配准的环形排列的图像的相对旋转角度，将图像a、b、c、d、a’统一旋转角θ，如图6中所示，并将初始相对偏移向量的坐标系也进行了旋转θ，在新坐标系中得到新的偏移向量为环形排列的图像的旋转后相对偏移向量。在本申请中，利用待配准的环形排列的图像中的第一幅图像的中心点和最后一幅图像的中心点确定旋转角度，从而减少了计算量，提高了运算速度。
优选地，配准装置13用于：根据所述待配准的环形排列的图像中所有相邻的两个图像之间的初始相对偏移向量依次排列每一待配准的环形排列的图像；以所述待配准的环形排列的图像中的第一幅图像的中心点为原点、环形排列的方向为横坐标，环形排列的轴方向为纵坐标建立坐标系；获取待配准的环形排列的图像的中心点，根据各个中心点生成旋转直线，其中，各个中心点到所述旋转直线的距离的和最小；根据所述旋转直线的斜率确定所述待配准的环形排列的图像的相对旋转角度；根据所述相对旋转角度将所述待配准的环形排列的图像进行旋转，将坐标系也进行相应旋转，得到旋转后的环形排列的图像的旋转后相对偏移向量。
在本申请的再一优选实施例中，如图7所示，图像a、b、c、d为环形排列的图像，以待配准的环形排列的图像中的第一幅图像a的中心点为原点、环形排列的方向为横坐标，环形排列的轴方向为纵坐标建立坐标系，分别计算图像b、c、d的中心点的坐标，根据各个中心点生成旋转直线，各个中心点到所述旋转直线的距离的和最小，确定该旋转直线后可获得该直线的斜率k’，倾斜角为θ′＝arctan(k′)，该倾斜角θ′为待配准的环形排列的图像的相对旋转角度，将图像a、b、c、d、a’统一旋转角θ′，并将初始相对偏移向量 的坐标系也进行了旋转θ′，在新坐标系中得到新的偏移向量为环形排列的图像的旋转后相对偏移向量。在本申请中，利用待配准的环形排列的图像中各个图像的中心点进行确定最终的旋转角度，使得计算得到的旋转角度的结果更准确，从而减少了待配准的环形排列的图像的配准结果误差。
优选地，所述设备1还包括：修正装置14(未示出)，用于根据所述初始相对偏移向量和旋转后的环形排列的图像的旋转后相对偏移向量得到所述环形排列的图像的修正后相对偏移向量。在一优选实施例中，在环形排列的图像中某相邻的两幅图之间的初始相对偏移向量进行旋转后在新坐标系中新的偏移向量即旋转后相对偏移向量为对所有旋转后相对偏移向量y分量进行拟合，进而确定修正向量，对所有旋转后相对偏移向量进行修正。具体过程如下：
修正装置14用于，根据所有旋转后的环形排列的图像的旋转后相对偏移向量中的环形轴方向的向量分量，得到所述环形轴方向的向量分量的修正向量；将所述旋转后相对偏移向量中的环形轴方向的向量分量与所述修正向量的差值作为所述环形排列的图像的修正后相对偏移向量的环形轴方向的向量分量；将所述修正后相对偏移向量的环形轴方向的向量分量与旋转后相对偏移向量的环形方向的向量分量，合成修正后相对偏移向量。接上述实施例，对所有旋转后相对偏移向量y分量进行拟合，进而确定修正向量从而旋转后相对偏移向量分量更新为其中，修正向量的取值为每个环形轴方向的偏移向量分量与所述修正向量的差值的平方和最小时对应的值。在本申请中，引入了修正向量，根据所述初始相对偏移向量和旋转后的环形排列的图像的旋转后相对偏移向量确定修正向量，利用该修正向量对旋转后的环形排列的图像的旋转后相对偏移向量进行修正，减少图像配准的结果误差。
更具体地，在上述优选实施例中，所述修正向量根据每个旋转后相对偏移向量的环形轴方向的向量分量，采用最小二乘法计算得出，所述修正向量的取值为每个旋转后相对偏移向量的环形轴方向的向量分量与所述修正向量的差值的平方和最小时对应的值。例如，对所有旋转后相对偏移向量y环形轴方向的向量分量进行拟合，其中，环形轴方向的向量分量优选地采用最小二乘法计算得出，取修正向量使得最小，通过二次曲线函数确定，因该二次曲线函数开口向上，对该函数进行求导，导数为零处取得最小值，将该最小值作为修正向量则旋转后相对偏移向量分量更新为配准结果中相邻两幅图像之间的相对偏移向量为即修正后相对偏移向量。利用最小二乘法可以得到最佳匹配的修正向量，且能够通过计算机的简单程序快速实现，且占据计算机存储量小，使得配准结果更加准确。需要说明的是，采用最小二乘法计算所述修正向量仅为本申请中一优选实施例，其他现有的或今后可能出现的确定修正向量的方法，如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
综上所述，通过本申请所述设备完成图像配准，对特征匹配结果进行分类，寻找最大可能的位置，通过计算多幅图像的位置偏移向量，生成相对旋转角度和修正后相对位置。在本申请的一具体应用场景中，环形排列的图像中多幅图像的相对位置关系为：主要沿一个方向有平移，沿另一个垂直方向有较小平移，图像之间可能存在较小的相对旋转角。使用本申请所述图像配准的设备的前提是假设多幅图像的已经进行了按位置排序处理。在本申请所述设备用于图像配准，通过对位置偏移向量所在平面图的模糊快速得到位置偏移向量最集中位置，减少了运算量，避免了RANSAC算法因为内点比例较小导致的结果误差，并且引入了先验模型，利用了实际情况中的模型信息，有效减少结果误差。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (20)
1.一种图像配准的方法，其中，所述方法包括：
计算所获取的各个待配准的环形排列的图像的特征点；
根据所述各环形排列的图像的特征点确定环形排列的图像中相邻的两个图像之间的初始相对偏移向量；
根据所述初始相对偏移向量确定所述环形排列的图像的相对旋转角度及旋转所述角度后的旋转后相对偏移向量。
2.根据权利要求1所述的方法，其中，所述计算所获取的各个待配准的环形排列的图像的特征点包括：
获取多个待配准的环形排列的图像；
采用SIFT，SURF，ORB或FAST算法中的任一种计算每一待配准的环形排列的图像的特征点。
3.根据权利要求1所述的方法，其中，根据所述各环形排列的图像的特征点确定环形排列的图像中相邻的两个图像之间的初始相对偏移向量包括：
根据所述特征点对所述待配准的环形排列的图像中相邻的两个图像进行特征点匹配，得到匹配点对的位置偏移向量，并将所有的匹配点对的位置偏移向量标记在同一平面图像上；
选取所述平面图像上匹配点对的位置偏移向量最集中的位置，将所述最集中的位置所对应的位置偏移向量，作为所述环形排列的图像中相邻的两个图像之间的初始相对偏移向量。
4.根据权利要求3所述的方法，其中，选取所述平面图像上匹配点对的位置偏移向量最集中的位置，将所述最集中的位置所对应的位置偏移向量，作为所述环形排列的图像中相邻的两个图像之间的初始相对偏移向量，包括：
将所述平面图像上重叠次数最高的匹配点对的位置偏移向量，作为所述环形排列的图像中相邻的两个图像之间的初始相对偏移向量。
5.根据权利要求1所述的方法，其中，根据所述初始相对偏移向量确定所述环形排列的图像的相对旋转角度及旋转所述角度后的旋转后相对偏移向量，包括：
将所述待配准的环形排列的图像中所有相邻的两个图像之间的初始相对偏移向量进行累加，将所述累加获得的向量的倾斜度作为所述待配准的环形排列的图像的总倾斜度；
根据所述总倾斜度与所述待配准的环形排列的图像的原始倾斜度的差值，确定所述待配准的环形排列的图像的相对旋转角度；
根据所述相对旋转角度将所述待配准的环形排列的图像进行旋转，将坐标系也进行相应旋转，得到旋转后的环形排列的图像的旋转后相对偏移向量。
6.根据权利要求1所述的方法，其中，根据所述初始相对偏移向量确定所述环形排列的图像的相对旋转角度及旋转所述角度后的旋转后相对偏移向量，包括：
根据所述待配准的环形排列的图像中所有相邻的两个图像之间的初始相对偏移向量依次排列每一待配准的环形排列的图像；
以所述待配准的环形排列的图像中的第一幅图像的中心点为原点、环形排列的方向为横坐标，环形排列的轴方向为纵坐标建立坐标系；
根据所排列的待配准的环形排列的图像中的最后一幅图像的中心点的坐标确定所述待配准的环形排列的图像的相对旋转角度根据所述相对旋转角度将所述待配准的环形排列的图像进行旋转，将坐标系也进行相应旋转，得到旋转后的环形排列的图像的旋转后相对偏移向量。
7.根据权利要求1所述的方法，其中，根据所述初始相对偏移向量确定所述环形排列的图像的相对旋转角度及旋转所述角度后的旋转后相对偏移向量，包括：
根据所述待配准的环形排列的图像中所有相邻的两个图像之间的初始相对偏移向量依次排列每一待配准的环形排列的图像；
以所述待配准的环形排列的图像中的第一幅图像的中心点为原点、环形排列的方向为横坐标，环形排列的轴方向为纵坐标建立坐标系；
获取待配准的环形排列的图像的中心点，根据各个中心点生成旋转直线，其中，各个中心点到所述旋转直线的距离的和最小；
根据所述旋转直线的斜率确定所述待配准的环形排列的图像的相对旋转角度；根据所述相对旋转角度将所述待配准的环形排列的图像进行旋转，将坐标系也进行相应旋转，得到旋转后的环形排列的图像的旋转后相对偏移向量。
8.根据权利要求5至7中任一项所述的方法，其中，根据所述相对旋转角度将所述待配准的环形排列的图像进行旋转得到旋转后的环形排列的图像的旋转后相对偏移向量之后，还包括：
根据所述初始相对偏移向量和旋转后的环形排列的图像的旋转后相对偏移向量得到所述环形排列的图像的修正后相对偏移向量。
9.根据权利要求8所述的方法，其中，根据所述初始相对偏移向量和旋转后的环形排列的图像的旋转后相对偏移向量得到所述环形排列的图像的修正后相对偏移向量，包括：
根据所有旋转后的环形排列的图像的旋转后相对偏移向量中的环形轴方向的向量分量，得到所述环形轴方向的向量分量的修正向量；
将所述旋转后相对偏移向量中的环形轴方向的向量分量与所述修正向量的差值作为所述环形排列的图像的修正后相对偏移向量的环形轴方向的向量分量；
将所述修正后相对偏移向量的环形轴方向的向量分量与旋转后相对偏移向量的环形方向的向量分量，合成修正后相对偏移向量。
10.根据权利要求9所述的方法，其中，所述修正向量根据每个旋转后相对偏移向量的环形轴方向的向量分量，采用最小二乘法计算得出，所述修正向量的取值为每个旋转后相对偏移向量的环形轴方向的向量分量与所述修正向量的差值的平方和最小时对应的值。
11.一种图像配准的设备，其中，所述设备包括：
计算装置，用于计算所获取的各个待配准的环形排列的图像的特征点；
选取装置，用于根据所述各环形排列的图像的特征点确定环形排列的图像中相邻的两个图像之间的初始相对偏移向量；
配准装置，用于根据所述初始相对偏移向量确定所述环形排列的图像的相对旋转角度及旋转所述角度后的旋转后相对偏移向量。
12.根据权利要求11所述的设备，其中，所述计算装置用于：
获取多个待配准的环形排列的图像；
采用SIFT，SURF，ORB或FAST算法中的任一种计算每一待配准的环形排列的图像的特征点。
13.根据权利要求11所述的设备，其中，所述选取装置用于：
根据所述特征点对所述待配准的环形排列的图像中相邻的两个图像进行特征点匹配，得到匹配点对的位置偏移向量，并将所有的匹配点对的位置偏移向量标记在同一平面图像上；
选取所述平面图像上匹配点对的位置偏移向量最集中的位置，将所述最集中的位置所对应的位置偏移向量，作为所述环形排列的图像中相邻的两个图像之间的初始相对偏移向量。
14.根据权利要求13所述的设备，其中，所述选取装置用于：
将所述平面图像上重叠次数最高的匹配点对的位置偏移向量，作为所述环形排列的图像中相邻的两个图像之间的初始相对偏移向量。
15.根据权利要求11所述的设备，其中，所述配准装置用于：
将所述待配准的环形排列的图像中所有相邻的两个图像之间的初始相对偏移向量进行累加，将所述累加获得的向量的倾斜度作为所述待配准的环形排列的图像的总倾斜度；
根据所述总倾斜度与所述待配准的环形排列的图像的原始倾斜度的差值，确定所述待配准的环形排列的图像的相对旋转角度；
根据所述相对旋转角度将所述待配准的环形排列的图像进行旋转，将坐标系也进行相应旋转，得到旋转后的环形排列的图像的旋转后相对偏移向量。
16.根据权利要求11所述的设备，其中，所述配准装置用于：
根据所述待配准的环形排列的图像中所有相邻的两个图像之间的初始相对偏移向量依次排列每一待配准的环形排列的图像；
以所述待配准的环形排列的图像中的第一幅图像的中心点为原点、环形排列的方向为横坐标，环形排列的轴方向为纵坐标建立坐标系；
根据所排列的待配准的环形排列的图像中的最后一幅图像的中心点的坐标确定所述待配准的环形排列的图像的相对旋转角度根据所述相对旋转角度将所述待配准的环形排列的图像进行旋转，将坐标系也进行相应旋转，得到旋转后的环形排列的图像的旋转后相对偏移向量。
17.根据权利要求11所述的设备，其中，所述配准装置用于：
根据所述待配准的环形排列的图像中所有相邻的两个图像之间的初始相对偏移向量依次排列每一待配准的环形排列的图像；
以所述待配准的环形排列的图像中的第一幅图像的中心点为原点、环形排列的方向为横坐标，环形排列的轴方向为纵坐标建立坐标系；
获取待配准的环形排列的图像的中心点，根据各个中心点生成旋转直线，其中，各个中心点到所述旋转直线的距离的和最小；
根据所述旋转直线的斜率确定所述待配准的环形排列的图像的相对旋转角度；根据所述相对旋转角度将所述待配准的环形排列的图像进行旋转，将坐标系也进行相应旋转，得到旋转后的环形排列的图像的旋转后相对偏移向量。
18.根据权利要求15至17中任一项所述的设备，其中，所述设备还包括：
修正装置，用于根据所述初始相对偏移向量和旋转后的环形排列的图像的旋转后相对偏移向量得到所述环形排列的图像的修正后相对偏移向量。
19.根据权利要求18所述的设备，其中，所述修正装置用于：
根据所有旋转后的环形排列的图像的旋转后相对偏移向量中的环形轴方向的向量分量，得到所述环形轴方向的向量分量的修正向量；
将所述旋转后相对偏移向量中的环形轴方向的向量分量与所述修正向量的差值作为所述环形排列的图像的修正后相对偏移向量的环形轴方向的向量分量；
将所述修正后相对偏移向量的环形轴方向的向量分量与旋转后相对偏移向量的环形方向的向量分量，合成修正后相对偏移向量。
20.根据权利要求19所述的设备，其中，所述修正向量根据每个旋转后相对偏移向量的环形轴方向的向量分量，采用最小二乘法计算得出，所述修正向量的取值为每个旋转后相对偏移向量的环形轴方向的向量分量与所述修正向量的差值的平方和最小时对应的值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610822839.2A CN106327503B (zh) | 2016-09-13 | 2016-09-13 | 一种图像配准的方法和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610822839.2A CN106327503B (zh) | 2016-09-13 | 2016-09-13 | 一种图像配准的方法和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106327503A true CN106327503A (zh) | 2017-01-11 |
| CN106327503B CN106327503B (zh) | 2019-03-15 |
Family
ID=57786901
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610822839.2A Active CN106327503B (zh) | 2016-09-13 | 2016-09-13 | 一种图像配准的方法和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106327503B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108632585A (zh) * | 2017-03-24 | 2018-10-09 | 中兴通讯股份有限公司 | 一种图像校正方法及装置、存储介质、投影设备 |
| CN109801222A (zh) * | 2019-01-25 | 2019-05-24 | 太原科技大学 | 一种基于方向向量的腭皱倾斜图像矫正方法 |
| CN110134232A (zh) * | 2019-04-22 | 2019-08-16 | 东风汽车集团有限公司 | 一种基于手势识别的车载手机支架调节方法和系统 |
| CN110520893A (zh) * | 2017-04-19 | 2019-11-29 | 卡普索影像公司 | 对通过胶囊相机所撷取的图像进行图像处理并显示的方法 |
| CN111024003A (zh) * | 2020-01-02 | 2020-04-17 | 安徽工业大学 | 一种基于单应性矩阵优化的3d四轮定位检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101221661A (zh) * | 2008-01-29 | 2008-07-16 | 深圳市迅雷网络技术有限公司 | 一种图像配准方法及装置 |
| CN101950419A (zh) * | 2010-08-26 | 2011-01-19 | 西安理工大学 | 同时存在平移和旋转情况下的快速图像配准方法 |
| CN104112278A (zh) * | 2014-08-01 | 2014-10-22 | 西安电子科技大学 | 基于协方差的多光谱图像实时配准方法 |
-
2016
- 2016-09-13 CN CN201610822839.2A patent/CN106327503B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101221661A (zh) * | 2008-01-29 | 2008-07-16 | 深圳市迅雷网络技术有限公司 | 一种图像配准方法及装置 |
| CN101950419A (zh) * | 2010-08-26 | 2011-01-19 | 西安理工大学 | 同时存在平移和旋转情况下的快速图像配准方法 |
| CN104112278A (zh) * | 2014-08-01 | 2014-10-22 | 西安电子科技大学 | 基于协方差的多光谱图像实时配准方法 |
Non-Patent Citations (1)
| Title |
|---|
| 陈雪: "小鼠肾近端小管与出球微动脉的三维重建", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108632585A (zh) * | 2017-03-24 | 2018-10-09 | 中兴通讯股份有限公司 | 一种图像校正方法及装置、存储介质、投影设备 |
| US11287646B2 (en) | 2017-03-24 | 2022-03-29 | Xi'an Zhongxing New Software Co., Ltd. | Method for correcting an image, storage medium and projection device |
| CN110520893A (zh) * | 2017-04-19 | 2019-11-29 | 卡普索影像公司 | 对通过胶囊相机所撷取的图像进行图像处理并显示的方法 |
| CN110520893B (zh) * | 2017-04-19 | 2023-05-05 | 卡普索影像公司 | 对通过胶囊相机所撷取的图像进行图像处理并显示的方法 |
| CN109801222A (zh) * | 2019-01-25 | 2019-05-24 | 太原科技大学 | 一种基于方向向量的腭皱倾斜图像矫正方法 |
| CN109801222B (zh) * | 2019-01-25 | 2022-12-27 | 太原科技大学 | 一种基于方向向量的腭皱倾斜图像矫正方法 |
| CN110134232A (zh) * | 2019-04-22 | 2019-08-16 | 东风汽车集团有限公司 | 一种基于手势识别的车载手机支架调节方法和系统 |
| CN111024003A (zh) * | 2020-01-02 | 2020-04-17 | 安徽工业大学 | 一种基于单应性矩阵优化的3d四轮定位检测方法 |
| CN111024003B (zh) * | 2020-01-02 | 2021-12-21 | 安徽工业大学 | 一种基于单应性矩阵优化的3d四轮定位检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106327503B (zh) | 2019-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106327503A (zh) | 一种图像配准的方法和设备 | |
| Wang et al. | Adaptive feature pyramid networks for object detection | |
| US8538077B2 (en) | Detecting an interest point in an image using edges | |
| CN109086734B (zh) | 一种对人眼图像中瞳孔图像进行定位的方法及装置 | |
| US10268929B2 (en) | Method and device for generating binary descriptors in video frames | |
| CN107424160A (zh) | 通过视觉系统查找图像中线的系统和方法 | |
| US20230007989A1 (en) | Methods and devices for generating training sample, training model and recognizing character | |
| Zhang et al. | Learning geometry-guided depth via projective modeling for monocular 3d object detection | |
| CN103617625A (zh) | 一种图像匹配方法及图像匹配装置 | |
| Bazin et al. | Globally optimal inlier set maximization with unknown rotation and focal length | |
| CN103632142A (zh) | 基于局部坐标系特征描述的图像匹配方法 | |
| JP3675629B2 (ja) | パターン認識方法、装置および記録媒体 | |
| CN113095316B (zh) | 基于多级融合和角点偏移的图像旋转目标检测方法 | |
| Luo et al. | Improved centroid extraction algorithm for autonomous star sensor | |
| JP7368924B2 (ja) | 勾配方向ヒストグラムの演算のためのハードウェアアクセレレータ | |
| Guo et al. | Image matching using structural similarity and geometric constraint approaches on remote sensing images | |
| CN102376087B (zh) | 检测图像中的对象的装置和方法、分类器生成装置和方法 | |
| CN112991408B (zh) | 大场景高分辨率遥感图像自适应区域多特征配准方法及系统 | |
| Guan et al. | EARL: an elliptical distribution aided adaptive rotation label assignment for oriented object detection in remote sensing images | |
| CN103765477A (zh) | 通过图形匹配和环形检测而用自动模型初始化进行线跟踪 | |
| Belmessaoud et al. | FPGA implementation of feature detection and matching using ORB | |
| Boreiko et al. | Identifying Systematic Errors in Object Detectors with the SCROD Pipeline | |
| Huang et al. | A checkerboard corner detection method using circular samplers | |
| CN113538404A (zh) | 一种基于锚点选择的盖板玻璃缺陷检测方法及系统 | |
| Zhang et al. | Line-based simultaneous detection and tracking of triangles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240530 Address after: Room 212, Building 14, No. 350 Xianxia Road, Changning District, Shanghai, 200050 Patentee after: SHANGHAI ISMARTV NETWORK TECHNOLOGIES Co.,Ltd. Country or region after: China Address before: Room 3024, 3rd floor, 2879 Longteng Avenue, Xuhui District, Shanghai, 201620 Patentee before: WHALEY TECHNOLOGY Co.,Ltd. Country or region before: China |
|
| TR01 | Transfer of patent right |