CN103679722B - 一种基于不规则多窗口的归一化互相关的点匹配方法 - Google Patents
一种基于不规则多窗口的归一化互相关的点匹配方法 Download PDFInfo
- Publication number
- CN103679722B CN103679722B CN201310669380.3A CN201310669380A CN103679722B CN 103679722 B CN103679722 B CN 103679722B CN 201310669380 A CN201310669380 A CN 201310669380A CN 103679722 B CN103679722 B CN 103679722B
- Authority
- CN
- China
- Prior art keywords
- window
- point
- matching
- irregular
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明公开了一种基于不规则多窗口的归一化互相关的点匹配方法。方法是：读取模板图像;读取待匹配图像;鼠标点选目标点;获取搜索极线路径;获取目标点邻域窗口;逐步选取搜索路径上一点坐标及其邻域窗口；不规则多窗口划分;不规则多窗口直方图匹配；合并相邻不规则窗口；合并窗口归一化互相关匹配；得出对应点坐标。本方法基于模板匹配中的相似性度量，用于解决图像中深度不连续导致像素点邻域景物结构发生变化时的点匹配情况，方法简单。
Description
技术领域：
本发明涉及涉及图像处理与模式识别领域，具体地说涉及一种基于不规则多窗口的归一化互相关的点匹配方法。
背景技术：
图像匹配技术主要通过提取图像信息来衡量两幅图像间的相似度。图像匹配技术可分为：基于图像灰度的匹配技术、基于图像特征的匹配技术、基于模板匹配的匹配技术和基于变换域的匹配技术。另外图像匹配的三要素包括：特征空间、相似性度量、搜索策略。
其中基于模板匹配的匹配技术主要通过选取某一模板区域（一般为某点的矩形邻域区域）、对矩形邻域区域进行相似性度量计算区域间匹配值、比较匹配值找出最匹配的区域即为最终匹配区域。由于存在缩放、旋转及相机视角变化等问题，通常不能满足邻域内像素一一对应相似。虽然目前已有通过给邻域内每个像素附以不同的权值来衡量每个像素的贡献程度，但却不能从根本上解决视角变化导致深度不连续区域间的匹配问题。
发明内容：
本发明的目的在于克服现有技术的不足，提供一种基于不规则多窗口的归一化互相关的点匹配方法。
为了解决背景技术所存在的问题，本发明采用以下技术方案：
一种基于不规则多窗口的归一化互相关的点匹配方法,它包括如下步骤：
(1)读取模板图像;
(2)读取待匹配图像:模板图像和待匹配图像由摄像机在不同角度拍摄同一场景得到;
(3)鼠标点选目标点：在模板图像中选择需要匹配的点坐标P;
(4)获取搜索极线路径：根据对极几何原理，利用SIFT匹配点对计算不同视角拍摄模板图像和待匹配图像间的基本矩阵，进而可获得点P在待匹配图像中的极线，确定搜索路径;
(5)获取目标点邻域窗口：在模板图像中，选取点P的邻域窗口Wl，窗口大小根据经验值，一般选择20*20像素大小;
(6)逐步选取搜索路径上一点坐标及其邻域窗口：在待匹配图像搜索路径上，以步阶为1像素逐步搜索待匹配点坐标，存入集合Points中，并获取每个点的匹配窗口，其中窗口选择与步骤5相同；
(7)不规则多窗口划分：对点P邻域匹配窗口Wl进行不规则多窗口划分子窗口wi(i=0,1,.....,8)；选取Points中一点的邻域窗口Wr进行不规则多窗口划分子窗口wi(i=0,1,.....,8)；每个子窗口的宽度为邻域匹配窗口宽度的1/3倍；
(8)不规则多窗口直方图匹配：对8个子窗口一一对应进行直方图匹配，得出每个子区域的匹配值；
(9)合并相邻不规则窗口：合并n个子窗口为一个不规则的大窗口W，参与合并的n个子区域需满足以下条件：通过对直方图匹配值进行排序，这n个区域直方图匹配值最高；这n个区域必须是相邻的；若匹配值较高的区域是水平的区域2和6或者竖直的区域0和4，虽然它们不是相邻的，但是在实际情况中会存在很多方正的物体，因此是合并窗口的一个特例；n为8个子区域中直方图匹配值大于整个匹配窗口Wr和Wl间直方图匹配值的相邻子窗口的个数；
(10)合并窗口归一化互相关匹配：依据窗口W，对模板图像点P和待匹配图像Points中某点进行归一化互相关匹配，得出待匹配图像中该点的匹配值；若该点是Points集合中最后一点，执行第11步，否则转到第7步；
(11)得出对应点坐标：最终利用WTA策略选择两图像窗口间的相似度匹配值最大的点坐标为点匹配结果。
本发明对比现有技术有如下的有益效果：本方法基于模板匹配中的相似性度量，用于解决图像中深度不连续导致像素点邻域景物结构发生变化时的点匹配情况，方法简单。
附图说明：
图1为本发明方法流程图。
图2为八个方向子窗口的选择图。
具体实施方式：
下面结合附图，对本发明作进一步详细描述：
图1为本发明方法流程图。
一种基于不规则多窗口的归一化互相关的点匹配方法,它包括如下步骤：
(1)读取模板图像;
(2)读取待匹配图像:模板图像和待匹配图像由摄像机在不同角度拍摄同一场景得到;
(3)鼠标点选目标点：在模板图像中选择需要匹配的点坐标P;
(4)获取搜索极线路径：根据对极几何原理，利用SIFT匹配点对计算不同视角拍摄模板图像和待匹配图像间的基本矩阵，进而可获得点P在待匹配图像中的极线，确定搜索路径;
(5)获取目标点邻域窗口：在模板图像中，选取点P的邻域窗口Wl，窗口大小根据经验值，一般选择20*20像素大小;
(6)逐步选取搜索路径上一点坐标及其邻域窗口：在待匹配图像搜索路径上，以步阶为1像素逐步搜索待匹配点坐标，存入集合Points中，并获取每个点的匹配窗口，其中窗口选择与步骤5相同；
(7)不规则多窗口划分：对点P邻域匹配窗口Wl进行不规则多窗口划分子窗口wi(i=0,1,.....,8)；选取Points中一点的邻域窗口Wr进行不规则多窗口划分子窗口wi(i=0,1,.....,8)；每个子窗口的宽度为邻域匹配窗口宽度的1/3倍;
(8)不规则多窗口直方图匹配：对8个子窗口一一对应进行直方图匹配，得出每个子区域的匹配值；
(9)合并相邻不规则窗口：合并n个子窗口为一个不规则的大窗口W，参与合并的n个子区域需满足以下条件：通过对直方图匹配值进行排序，这n个区域直方图匹配值最高；这n个区域必须是相邻的；若匹配值较高的区域是水平的区域2和6或者竖直的区域0和4，虽然它们不是相邻的，但是在实际情况中会存在很多方正的物体，因此是合并窗口的一个特例；n为8个子区域中直方图匹配值大于整个窗口直方图匹配值的相邻区域的个数；
(10)合并窗口归一化互相关匹配：依据窗口W，对模板图像点P和待匹配图像Points中某点进行归一化互相关匹配，得出待匹配图像中该点的匹配值；若该点是Points集合中最后一点，执行第11步，否则转到第7步；
(11)得出对应点坐标：最终利用WTA策略选择两图像窗口间的相似度匹配值最大的点坐标为点匹配结果。
该发明的工作原理：
假设空间中存在两个深度不同的物体A，B，它们的空间关系已经确定。根据摄像机成像原理，当摄像机从不同角度拍摄同一场景时，不在同一深度平面内的物体投影到相机成像平面上的影像结构会发生变化，即图像景物结构发生变化（此平面变化关系与摄像机视角改变程度有关，也与两物体间的深度有关）。
根据匹配相容性原理进行点匹配时，当匹配的点坐标在深度小的物体上时，点邻域匹配区域内景物结构变化对最终的点匹配效果有很大影响。经过实验发现，当使用一个窗口进行归一化互相关匹配时，窗口大小的选择会对匹配结果有很大影响。
导致上述匹配效果不好的原因主要是：参与匹配的邻域像素应尽量选在同一深度物体上，而盲目选择点周围某一窗口内所有像素并不科学。为解决此问题，就有了本方法中不规则多窗口的点匹配方法。
在充分考虑上述实事的情况下，本方法根据米字型将匹配窗口划分为8个方向区域，如图2所示。
对这8个区域进行编号（0--7），8个区域代表8个不同方向，每个子区域的宽度为大矩形区域宽度的1/3倍。通过对每个子区域进行直方图匹配，根据8个直方图匹配值估计点坐标所在目标物体区域，即合并相邻相似度较高的区域（该合并区域即被看作目标物体区域）。合并后的区域为不规则区域，最终采用归一化互相关系数来衡量相似程度。最后，根据WTA策略选择相似度最高的不规则区域对应的点坐标即为对应点坐标。
Claims (1)
1.一种基于不规则多窗口的归一化互相关的点匹配方法,其特征在于，它包括如下步骤：
(1)读取模板图像；
(2)读取待匹配图像：模板图像和待匹配图像由摄像机在不同角度拍摄同一场景到；得
(3)鼠标点选目标点：在模板图像中选择需要匹配的点坐标P；
(4)获取搜索极线路径：根据对极几何原理，利用SIFT匹配点对计算不同视角拍摄的模板图像和待匹配图像间的基本矩阵，进而可获得点P在待匹配图像中的极线，确定搜索路径；
(5)获取目标点邻域窗口：在模板图像中，选取点P的邻域窗口Wl，窗口大小根据经验值，选择20*20像素大小；
(6)逐步选取搜索路径上一点坐标及其邻域窗口：在待匹配图像搜索路径上，以步阶为1像素逐步搜索待匹配点坐标，存入集合Points中，并获取每个点的匹配窗口，其中窗口选择与步骤(5)相同；
(7)不规则多窗口划分：对点P邻域匹配窗口Wl进行不规则多窗口划分子窗口Wi,其中i＝0,1,.....,8；选取Points中一点的邻域窗口Wr进行不规则多窗口划分子窗口Wi,其中i＝0,1,.....,8；每个子窗口的宽度为邻域匹配窗口宽度的1/3倍；
(8)不规则多窗口直方图匹配：对8个子窗口一一对应进行直方图匹配，得出每个子区域的匹配值；
(9)合并相邻不规则窗口：合并n个子窗口为一个不规则的大窗口W，参与合并的n个子区域需满足以下条件：通过对直方图匹配值进行排序，这n个区域直方图匹配值最高；这n个区域必须是相邻的；若匹配值较高的区域是水平的区域2和6或者竖直的区域0和4，虽然它们不是相邻的，但是在实际情况中会存在很多方正的物体，因此是合并窗口的一个特例；n为8个子窗口中直方图匹配值大于整个邻域匹配窗口Wr和Wl间直方图匹配值的相邻子窗口的个数；
(10)合并窗口归一化互相关匹配：依据窗口W，对模板图像点P和待匹配图像Points中某点进行归一化互相关匹配，得出待匹配图像中该点的匹配值；若该点是Points集合中最后一点，执行第(11)步，否则转到第(7)步；
(11)得出对应点坐标：最终利用WTA策略选择两图像窗口间的相似度匹配值最大的点坐标为点匹配结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310669380.3A CN103679722B (zh) | 2013-12-10 | 2013-12-10 | 一种基于不规则多窗口的归一化互相关的点匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310669380.3A CN103679722B (zh) | 2013-12-10 | 2013-12-10 | 一种基于不规则多窗口的归一化互相关的点匹配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103679722A CN103679722A (zh) | 2014-03-26 |
| CN103679722B true CN103679722B (zh) | 2016-09-14 |
Family
ID=50317173
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310669380.3A Active CN103679722B (zh) | 2013-12-10 | 2013-12-10 | 一种基于不规则多窗口的归一化互相关的点匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103679722B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107220377B (zh) * | 2017-06-26 | 2021-03-19 | 联想(北京)有限公司 | 搜索方法、电子设备及计算机存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101630363A (zh) * | 2009-07-13 | 2010-01-20 | 中国船舶重工集团公司第七○九研究所 | 复杂背景下彩色图像人脸的快速检测方法 |
-
2013
- 2013-12-10 CN CN201310669380.3A patent/CN103679722B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101630363A (zh) * | 2009-07-13 | 2010-01-20 | 中国船舶重工集团公司第七○九研究所 | 复杂背景下彩色图像人脸的快速检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| Irregular pattern matching using projections;Ben-Yehuda, M et al;《Image Processing, 2005. ICIP》;20050914;II - 834-7 * |
| 多摄像头协同感知系统的设计与实现;胡伏原 等;《中国图象图形学报》;20061231;第11卷(第12期);1849-1853 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103679722A (zh) | 2014-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104699842B (zh) | 图片展示方法和装置 | |
| Concha et al. | Using superpixels in monocular SLAM | |
| CN104134200B (zh) | 一种基于改进加权融合的运动场景图像拼接方法 | |
| CN105069843A (zh) | 一种面向城市三维建模的密集点云的快速提取方法 | |
| Frahm et al. | Fast robust large-scale mapping from video and internet photo collections | |
| CN109583481B (zh) | 一种基于卷积神经网络的细粒度服装的属性识别方法 | |
| CN104182970B (zh) | 一种基于摄影构图规则的留念照人像站位推荐方法 | |
| CN105374039B (zh) | 基于轮廓锐度的单目图像深度信息估计方法 | |
| CN108305277B (zh) | 一种基于直线段的异源图像匹配方法 | |
| CN109101981B (zh) | 一种街景场景下基于全局图像条纹码的回环检测方法 | |
| CN103258321A (zh) | 一种图像拼接方法 | |
| CN110245199B (zh) | 一种大倾角视频与2d地图的融合方法 | |
| Prasad et al. | Sfmlearner++: Learning monocular depth & ego-motion using meaningful geometric constraints | |
| CN110263716B (zh) | 一种基于街景图像的遥感影像超分辨率土地覆被制图方法 | |
| CN104463859A (zh) | 一种基于跟踪指定点的实时视频拼接方法 | |
| CN103903256B (zh) | 一种基于相对高度深度线索的深度估计方法 | |
| US20160232705A1 (en) | Method for 3D Scene Reconstruction with Cross-Constrained Line Matching | |
| Ng et al. | Reassessing the limitations of cnn methods for camera pose regression | |
| CN103761766A (zh) | 基于色调映射和图像平滑的三维物体模型纹理映射算法 | |
| CN110443228B (zh) | 一种行人匹配方法、装置、电子设备及存储介质 | |
| Zhang et al. | Real-Time object detection for 360-degree panoramic image using CNN | |
| Park et al. | Estimating the camera direction of a geotagged image using reference images | |
| CN111738061A (zh) | 基于区域特征提取的双目视觉立体匹配方法及存储介质 | |
| CN103679722B (zh) | 一种基于不规则多窗口的归一化互相关的点匹配方法 | |
| Liu et al. | Match selection and refinement for highly accurate two-view structure from motion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190129 Address after: Unit B101-2, Phase II, International Science and Technology Park, 1355 Jinjihu Avenue, Suzhou Industrial Park, Jiangsu Province Patentee after: SUZHOU SHENGJING INFORMATION TECHNOLOGY CO., LTD. Address before: 215021 111C unit of international science and Technology Park, 1355 Jinji Hu Avenue, Suzhou Industrial Park, Jiangsu Patentee before: Suzhou grand view Spatial Information Technology company limited |