CN102819835A - 一种图像拼接中筛选特征点匹配对的方法 - Google Patents
一种图像拼接中筛选特征点匹配对的方法 Download PDFInfo
- Publication number
- CN102819835A CN102819835A CN2012102615463A CN201210261546A CN102819835A CN 102819835 A CN102819835 A CN 102819835A CN 2012102615463 A CN2012102615463 A CN 2012102615463A CN 201210261546 A CN201210261546 A CN 201210261546A CN 102819835 A CN102819835 A CN 102819835A
- Authority
- CN
- China
- Prior art keywords
- feature points
- point
- image
- points matching
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明属于图像拼接技术领域，具体涉及一种图像拼接中筛选特征点匹配对的方法。目的是为了提高图像拼接精度，减少拼接算法复杂度。该方法包括：在基准图像和待配准图像上分别提取特征点；将基准图像和待配准图像上的特征点进行配对；将所有特征点匹配对按照特征向量误差从小到大的顺序排序；选取排序最靠前的且满足互相之间的距离都大于预设的距离阈值的多个特征点对，根据特征点的坐标利用最小二乘求解出投影变换矩阵，进行拼接。本发明通过有针对性地优先抽取特征更为相似的、空间上更为分散的特征点对，从而能更快更好的筛选出正确的匹配对。
Description
技术领域
本发明属于图像拼接技术领域，具体涉及一种图像拼接中筛选特征点匹配对的方法。
背景技术
图像拼接技术是把具有一定重叠度的两幅或多幅图像拼接在一起生成全景图的技术。在图像拼接技术中，基于特征点提取的方法较为行之有效。在基于特征点的图像拼接技术遵循以下步骤：首先提取到两幅待拼接图像的特征点，然后将两幅图像中的特征点配对，最后通过最小二乘法对特征点匹配对进行拟合生成变换矩阵，从而将带配准图像变换到基准图像空间实现两幅图像的拼接。
其中特征点匹配算法对拼接的效果起到至关重要的作用。两幅图像中的特征点配对的方法通常是按照某种特征量（或特征矢量）的平方误差最小为准则，然而这种方法并不能保障所有的特征点匹配对都是正确的。
如何筛选出正确的特征点匹配对是重中之重。现有RANSAC算法是筛选出正确的特征点匹配对，剔除错误匹配的一种经典算法。结合其在图像拼接领域的具体实现，算法描述如下：
1.在特征点匹配对中随机选择4对（求解投影变换矩阵最少需要4个匹配对），根据4对特征点的坐标求解出投影变换矩阵。
2.根据投影变换矩阵将待配准图像中的特征点投影到基准图像坐标系中，计算该特征点与基准图像中与其配对的点之间距离的误差，当误差小于某一门限值时，判定该特征点为内点，反之为外点。
3.判断内点比例是否大于某一百分比，如果达到则终止算法，内点对应的匹配对集合即为筛选出的正确的匹配对；如果没有达到则重复1、2。如果迭代次数超过了约定的最大次数，则算法终止，取历次迭代中最大数目的内点集合为正确的匹配对。
RANSAC算法最大的缺陷就是其随机性，这种随机选取样本点的方法会导致结果具有随机性，且算法迭代的次数也具有随机性。
发明内容
本发明的目的是为了提高图像拼接精度，减少拼接算法复杂度，提供一种图像拼接中筛选特征点匹配对的方法。
本发明所采用的技术方案是：
一种图像拼接中筛选特征点匹配对的方法，具体分为如下步骤：
在基准图像和待配准图像上分别提取特征点；
将基准图像和待配准图像上的特征点进行配对；
将所有特征点匹配对按照特征向量误差从小到大的顺序排序；
选取排序最靠前的且满足互相之间的距离都大于预设的距离阈值的多个特征点对，根据特征点的坐标利用最小二乘求解出投影变换矩阵，进行拼接。
一种所述的一种图像拼接中筛选特征点匹配对的方法，其中：在求解出投影变换矩阵步骤后，还包括根据投影变换矩阵将待配准图像中的特征点投影到基准图像坐标系中，计算所述特征点与基准图像中与其配对的点之间像素距离误差，当像素距离误差小于预设的拼接像素距离误差阈值时，判定所述特征点为内点，反之为外点；利用最小二乘拟合内点得出投影变换矩阵，进行拼接。
一种所述的一种图像拼接中筛选特征点匹配对的方法，其中：在判定内点、外点步骤后，判断内点比例是否大于预设的内点百分比阈值，如果达到则终止，内点对应的匹配对集合即为筛选出的正确的匹配对；如果没有达到则重新选取特征点对并判定内点；如果重新判定的迭代次数超过了预设的最大迭代次数，则终止，取历次迭代中最大数目的内点集合作为正确的匹配对，利用最小二乘拟合内点得出投影变换矩阵，将待匹配图像投影到基准图像的坐标系中，从而完成拼接。
一种所述的一种图像拼接中筛选特征点匹配对的方法，其中：所述提取特征点的方法为SIFT法。
一种所述的一种图像拼接中筛选特征点匹配对的方法，其中：所述特征点配对步骤中：依次计算待配准图像中某个特征点与基准图像中所有特征点的特征矢量之间的误差，取误差最小的特征点与其配对。
一种所述的一种图像拼接中筛选特征点匹配对的方法，其中：所述预设的距离阈值为1/4~1/2倍图像宽度，预设的内点百分比阈值为50%~90%，预设的拼接像素距离误差阈值为1~5个像素，预设的最大迭代次数为20次~50次。
本发明的有益效果是：
1.本发明通过有针对性地优先抽取特征更为相似的、空间上更为分散的特征点对，从而能更快更好的筛选出正确的匹配对。
2.本发明认为特征向量误差越小的特征点对，越可能是正确的特征点匹配对。在特征点提取和特征点配对的过程中，会引入错误的特征点配对，本方法对特征点匹配对根据其特征向量误差由小到大的原则排序，优先选择特征向量误差小的匹配对。
3.本发明认为特征点对在空间上分布的越分散，计算出的投影变换矩阵越准确。假如选择的特征点匹配对集中于图像的局部，则会出现拼接后的图像在这个局部衔接准确，而在其他部分匹配不准确的现象；反之，本方案对特征点对的选取设定了距离阈值的限制，从而使它们分散开来，有利于生成良好的全局拼接效果。
附图说明
图1是本发明提供的一种图像拼接中筛选特征点匹配对的方法流程图；
图2是基准图像；
图3是待配准图像；
图4是传统RANSAC方法拼接后图像；
图5是采用本发明提供的方法拼接后图像；
图6是4航带拼接全景图。
具体实施方式
下面结合附图和实施例对本发明提供的一种图像拼接中筛选特征点匹配对的方法进行介绍：
一种图像拼接中筛选特征点匹配对的方法，包括在基准图像和待配准图像上分别提取特征点；将基准图像和待配准图像上的特征点进行配对；将所有特征点匹配对按照特征向量误差从小到大的顺序排序；选取排序最靠前的且满足互相之间的距离都大于预设的距离阈值的多个特征点对，根据特征点的坐标利用最小二乘求解出投影变换矩阵，进行拼接。
如图1所示，为得到最佳效果，可具体分为如下步骤：
步骤1、在基准图像（如图2）和待配准图像（如图3）上分别提取特征点，常用的特征点提取方法有胡氏矩，角点，SIFT等算法，本实施例中优选SIFT特征点提取方法。
步骤2、将基准图像和待配准图像上的特征点进行配对：依次计算待配准图像中某个特征点与基准图像中所有特征点的特征矢量之间的误差，取误差最小的特征点与其配对。
步骤3、将所有特征点匹配对按照特征向量误差从小到大的顺序排序，设置用于筛选特征点对的距离阈值（例如优选1/4~1/2倍图像宽度），设置内点百分比阈值（例如优选50%~90%），设置拼接像素距离误差阈值（例如优选1~5个像素），设置最大迭代次数（例如优选20次~50次）。
步骤4、选取排序最靠前的且满足互相之间的距离都大于距离阈值的多个（例如优选为4个）特征点对，根据4对特征点的坐标利用最小二乘求解出投影变换矩阵。
步骤5、根据投影变换矩阵将待配准图像中的特征点投影到基准图像坐标系中，计算该特征点与基准图像中与其配对的点之间像素距离误差，当距离小于拼接像素距离误差阈值时，判定该特征点为内点，反之为外点。
步骤6、判断内点比例是否大于内点百分比阈值，如果达到则终止，内点对应的匹配对集合即为筛选出的正确的匹配对；如果没有达到则重复步骤4、5。如果迭代次数超过了最大迭代次数，则终止，取历次迭代中最大数目的内点集合作为正确的匹配对，利用最小二乘拟合内点得出投影变换矩阵，将待匹配图像投影到基准图像的坐标系中，从而完成拼接。
当采用分辨率为480x720的测试图片，通过仿真实验，本技术方案相比传统RANSAC算法能用更少的迭代次数达到更好的拼接效果，如下表：
注：本实验中两种方法的内点百分比阈值均为55%，本技术方案这里取特征点对的距离阈值为图像宽度的1/2，拼接像素距离误差阈值取3个像素，算法最大迭代次数取20次，RANSAC算法取运行10次的平均迭代次数。
由拼接后图像（图4、5）的对比可见本技术方案拼接后的图像衔接线处结合更为精准，RANSAC拼接后的图像则可以看到衔接处有明显的道路断开。
如图6所示，采用本技术方案对4航带（每条航带为8张图像）航拍图像拼接生成的全景图，可见对航拍图像进行全景图拼接亦可达到良好的拼接效果。
Claims (6)
1.一种图像拼接中筛选特征点匹配对的方法，具体分为如下步骤：
在基准图像和待配准图像上分别提取特征点；
将基准图像和待配准图像上的特征点进行配对；
将所有特征点匹配对按照特征向量误差从小到大的顺序排序；
选取排序最靠前的且满足互相之间的距离都大于预设的距离阈值的多个特征点对，根据特征点的坐标利用最小二乘求解出投影变换矩阵，进行拼接。
2.根据权利要求1所述的一种图像拼接中筛选特征点匹配对的方法，其特征在于：在求解出投影变换矩阵步骤后，还包括根据投影变换矩阵将待配准图像中的特征点投影到基准图像坐标系中，计算所述特征点与基准图像中与其配对的点之间像素距离误差，当像素距离误差小于预设的拼接像素距离误差阈值时，判定所述特征点为内点，反之为外点；利用最小二乘拟合内点得出投影变换矩阵，进行拼接。
3.根据权利要求2所述的一种图像拼接中筛选特征点匹配对的方法，其特征在于：在判定内点、外点步骤后，判断内点比例是否大于预设的内点百分比阈值，如果达到则终止，内点对应的匹配对集合即为筛选出的正确的匹配对；如果没有达到则重新选取特征点对并判定内点；如果重新判定的迭代次数超过了预设的最大迭代次数，则终止，取历次迭代中最大数目的内点集合作为正确的匹配对，利用最小二乘拟合内点得出投影变换矩阵，将待匹配图像投影到基准图像的坐标系中，从而完成拼接。
4.根据权利要求1-3所述的一种图像拼接中筛选特征点匹配对的方法，其特征在于：所述提取特征点的方法为SIFT法。
5.根据权利要求1-3所述的一种图像拼接中筛选特征点匹配对的方法，其特征在于：所述特征点配对步骤中：依次计算待配准图像中某个特征点与基准图像中所有特征点的特征矢量之间的误差，取误差最小的特征点与其配对。
6.根据权利要求3所述的一种图像拼接中筛选特征点匹配对的方法，其特征在于：所述预设的距离阈值为1/4~1/2倍图像宽度，预设的内点百分比阈值为50%~90%，预设的拼接像素距离误差阈值为1~5个像素，预设的最大迭代次数为20次~50次。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012102615463A CN102819835A (zh) | 2012-07-26 | 2012-07-26 | 一种图像拼接中筛选特征点匹配对的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012102615463A CN102819835A (zh) | 2012-07-26 | 2012-07-26 | 一种图像拼接中筛选特征点匹配对的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102819835A true CN102819835A (zh) | 2012-12-12 |
Family
ID=47303938
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2012102615463A Pending CN102819835A (zh) | 2012-07-26 | 2012-07-26 | 一种图像拼接中筛选特征点匹配对的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102819835A (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014023231A1 (zh) * | 2012-08-07 | 2014-02-13 | 泰邦泰平科技（北京）有限公司 | 宽视场超高分辨率光学成像系统及方法 |
| CN104299215A (zh) * | 2014-10-11 | 2015-01-21 | 中国兵器工业第二O二研究所 | 一种特征点标定和匹配的图像拼接方法 |
| CN106530407A (zh) * | 2016-12-14 | 2017-03-22 | 深圳市金大象文化发展有限公司 | 一种用于虚拟现实的三维全景拼接方法、装置和系统 |
| CN106683043A (zh) * | 2015-11-10 | 2017-05-17 | 中国航天科工集团第四研究院指挥自动化技术研发与应用中心 | 一种多通道光学探测系统的并行图像拼接方法、装置 |
| CN106982380A (zh) * | 2017-04-20 | 2017-07-25 | 上海极链网络科技有限公司 | 互联网视频内虚拟互动广告的植入方法 |
| WO2017181892A1 (zh) * | 2016-04-19 | 2017-10-26 | 中兴通讯股份有限公司 | 前景分割方法及装置 |
| CN107392846A (zh) * | 2017-07-31 | 2017-11-24 | 四川长虹电器股份有限公司 | 行车记录仪图像拼接方法 |
| CN108805799A (zh) * | 2018-04-20 | 2018-11-13 | 平安科技（深圳）有限公司 | 全景图像合成装置、方法及计算机可读存储介质 |
| CN109064401A (zh) * | 2018-07-26 | 2018-12-21 | 南京富士通南大软件技术有限公司 | 一种超长购物清单的拼接方法 |
| CN110059711A (zh) * | 2019-01-28 | 2019-07-26 | 阿里巴巴集团控股有限公司 | 图像的对齐方法、装置及设备 |
| CN110097585A (zh) * | 2019-04-29 | 2019-08-06 | 中国水利水电科学研究院 | 一种基于sift算法的sar影像匹配方法及系统 |
| CN110503621A (zh) * | 2019-08-23 | 2019-11-26 | 上海圭目机器人有限公司 | 基于定位数据的图像全局拼接方法 |
| CN110503622A (zh) * | 2019-08-23 | 2019-11-26 | 上海圭目机器人有限公司 | 基于定位数据的图像全局定位优化拼接方法 |
| CN110555444A (zh) * | 2018-06-01 | 2019-12-10 | 中国科学院沈阳计算技术研究所有限公司 | 一种基于局部聚类的特征匹配筛选算法 |
| CN113222878A (zh) * | 2021-06-04 | 2021-08-06 | 杭州海康威视数字技术股份有限公司 | 一种图像拼接方法 |
| CN113837270A (zh) * | 2021-09-18 | 2021-12-24 | 广东人工智能与先进计算研究院 | 一种目标识别方法、装置、设备及存储介质 |
| CN116958606A (zh) * | 2023-09-15 | 2023-10-27 | 腾讯科技（深圳）有限公司 | 一种图像匹配方法及相关装置 |
| CN116958606B (zh) * | 2023-09-15 | 2024-05-28 | 腾讯科技（深圳）有限公司 | 一种图像匹配方法及相关装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101499166A (zh) * | 2009-03-16 | 2009-08-05 | 北京中星微电子有限公司 | 一种图像拼接方法及装置 |
| CN102129704A (zh) * | 2011-02-23 | 2011-07-20 | 山东大学 | 一种基于surf操作数的显微镜图像拼接方法 |
-
2012
- 2012-07-26 CN CN2012102615463A patent/CN102819835A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101499166A (zh) * | 2009-03-16 | 2009-08-05 | 北京中星微电子有限公司 | 一种图像拼接方法及装置 |
| CN102129704A (zh) * | 2011-02-23 | 2011-07-20 | 山东大学 | 一种基于surf操作数的显微镜图像拼接方法 |
Non-Patent Citations (3)
| Title |
|---|
| 倪维平 等: "基于兴趣点检测和仿射变换模型的序列图像拼接", 《激光与红外》, vol. 39, no. 3, 20 March 2009 (2009-03-20) * |
| 周剑军 等: "基于RANSAC的图像拼接方法", 《计算机工程与设计》, vol. 30, no. 24, 28 December 2009 (2009-12-28) * |
| 黄梅: "面向全景图拼接的RANSAC算法改进", 《CNKI学位论文库》, 31 December 2011 (2011-12-31) * |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014023231A1 (zh) * | 2012-08-07 | 2014-02-13 | 泰邦泰平科技（北京）有限公司 | 宽视场超高分辨率光学成像系统及方法 |
| CN104299215B (zh) * | 2014-10-11 | 2017-06-13 | 中国兵器工业第二O二研究所 | 一种特征点标定和匹配的图像拼接方法 |
| CN104299215A (zh) * | 2014-10-11 | 2015-01-21 | 中国兵器工业第二O二研究所 | 一种特征点标定和匹配的图像拼接方法 |
| CN106683043A (zh) * | 2015-11-10 | 2017-05-17 | 中国航天科工集团第四研究院指挥自动化技术研发与应用中心 | 一种多通道光学探测系统的并行图像拼接方法、装置 |
| WO2017181892A1 (zh) * | 2016-04-19 | 2017-10-26 | 中兴通讯股份有限公司 | 前景分割方法及装置 |
| CN106530407A (zh) * | 2016-12-14 | 2017-03-22 | 深圳市金大象文化发展有限公司 | 一种用于虚拟现实的三维全景拼接方法、装置和系统 |
| CN106982380A (zh) * | 2017-04-20 | 2017-07-25 | 上海极链网络科技有限公司 | 互联网视频内虚拟互动广告的植入方法 |
| CN107392846B (zh) * | 2017-07-31 | 2020-10-30 | 四川长虹电器股份有限公司 | 行车记录仪图像拼接方法 |
| CN107392846A (zh) * | 2017-07-31 | 2017-11-24 | 四川长虹电器股份有限公司 | 行车记录仪图像拼接方法 |
| CN108805799A (zh) * | 2018-04-20 | 2018-11-13 | 平安科技（深圳）有限公司 | 全景图像合成装置、方法及计算机可读存储介质 |
| CN110555444B (zh) * | 2018-06-01 | 2022-09-20 | 中国科学院沈阳计算技术研究所有限公司 | 一种基于局部聚类的特征匹配筛选算法 |
| CN110555444A (zh) * | 2018-06-01 | 2019-12-10 | 中国科学院沈阳计算技术研究所有限公司 | 一种基于局部聚类的特征匹配筛选算法 |
| CN109064401A (zh) * | 2018-07-26 | 2018-12-21 | 南京富士通南大软件技术有限公司 | 一种超长购物清单的拼接方法 |
| CN110059711A (zh) * | 2019-01-28 | 2019-07-26 | 阿里巴巴集团控股有限公司 | 图像的对齐方法、装置及设备 |
| CN110097585A (zh) * | 2019-04-29 | 2019-08-06 | 中国水利水电科学研究院 | 一种基于sift算法的sar影像匹配方法及系统 |
| CN110503621A (zh) * | 2019-08-23 | 2019-11-26 | 上海圭目机器人有限公司 | 基于定位数据的图像全局拼接方法 |
| CN110503622B (zh) * | 2019-08-23 | 2022-07-01 | 上海圭目机器人有限公司 | 基于定位数据的图像全局定位优化拼接方法 |
| CN110503622A (zh) * | 2019-08-23 | 2019-11-26 | 上海圭目机器人有限公司 | 基于定位数据的图像全局定位优化拼接方法 |
| CN113222878A (zh) * | 2021-06-04 | 2021-08-06 | 杭州海康威视数字技术股份有限公司 | 一种图像拼接方法 |
| CN113222878B (zh) * | 2021-06-04 | 2023-09-05 | 杭州海康威视数字技术股份有限公司 | 一种图像拼接方法 |
| CN113837270A (zh) * | 2021-09-18 | 2021-12-24 | 广东人工智能与先进计算研究院 | 一种目标识别方法、装置、设备及存储介质 |
| CN113837270B (zh) * | 2021-09-18 | 2022-08-30 | 广东人工智能与先进计算研究院 | 一种目标识别方法、装置、设备及存储介质 |
| CN116958606A (zh) * | 2023-09-15 | 2023-10-27 | 腾讯科技（深圳）有限公司 | 一种图像匹配方法及相关装置 |
| CN116958606B (zh) * | 2023-09-15 | 2024-05-28 | 腾讯科技（深圳）有限公司 | 一种图像匹配方法及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102819835A (zh) | 一种图像拼接中筛选特征点匹配对的方法 | |
| CN109155078B (zh) | 样本图像的集合的生成方法、装置、电子设备和存储介质 | |
| US8588516B2 (en) | Interpolation image generation apparatus, reconstructed image generation apparatus, method of generating interpolation image, and computer-readable recording medium storing program | |
| US10559090B2 (en) | Method and apparatus for calculating dual-camera relative position, and device | |
| Gallo et al. | Locally non-rigid registration for mobile HDR photography | |
| CN104036480B (zh) | 基于surf算法的快速消除误匹配点方法 | |
| CN104715479A (zh) | 基于增强虚拟的场景复现检测方法 | |
| WO2014106445A1 (zh) | 逆光检测方法及设备 | |
| CN103903263B (zh) | 一种基于Ladybug全景相机图像的360度全方位测距方法 | |
| CN103226831B (zh) | 利用分块布尔运算的图像匹配方法 | |
| US20150213644A1 (en) | Multi-primitive fitting device and operation method thereof | |
| CN103927785B (zh) | 一种面向近景摄影立体影像数据的特征点匹配方法 | |
| El-Saban et al. | Fast stitching of videos captured from freely moving devices by exploiting temporal redundancy | |
| CN107133986B (zh) | 一种基于二维标定物的相机标定方法 | |
| CN103914819B (zh) | 一种基于改进ransac的红外图像拼接方法 | |
| CN105719239A (zh) | 一种用于图像拼接的方法及装置 | |
| CN104574419A (zh) | 镜头畸变参数标定方法及系统 | |
| Xue et al. | Fisheye distortion rectification from deep straight lines | |
| KR20180137541A (ko) | 파노라마 촬영 장치 파라미터를 위한 보정 시스템 및 방법 | |
| CN109166075A (zh) | 一种针对小重合区域图像拼接方法 | |
| WO2021212273A1 (zh) | 图像处理方法、装置、标定板和计算机可读存储介质 | |
| US11055818B2 (en) | Panorama image alignment method and device based on multipath images, and portable terminal | |
| CN106296580A (zh) | 一种图像拼接的方法及装置 | |
| CN110557556A (zh) | 一种多对象拍摄的方法及装置 | |
| CN106683044B (zh) | 一种多通道光学探测系统的图像拼接方法、装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20121212 |