CN106934762B - 一种图像拼接方法和设备 - Google Patents
一种图像拼接方法和设备 Download PDFInfo
- Publication number
- CN106934762B CN106934762B CN201710138829.1A CN201710138829A CN106934762B CN 106934762 B CN106934762 B CN 106934762B CN 201710138829 A CN201710138829 A CN 201710138829A CN 106934762 B CN106934762 B CN 106934762B
- Authority
- CN
- China
- Prior art keywords
- image
- level
- area
- resolution
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012935 Averaging Methods 0.000 claims abstract description 9
- 230000009466 transformation Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G06T3/14—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
Abstract
本发明公开了一种图像拼接方法和设备，所述方法包括：a、获取图像组；b、将A区域图像和B区域图像内的像素点的像素值分别进行N级平均，得到低分辨率的1级A图像至低分辨率的N级A图像以及低分辨率的1级B图像至低分辨率的N级B图像；c、将低分辨率的N级A图像和低分辨率的N级B图像进行N级匹配搜索，得到N级匹配位置；d、以该N级匹配位置为中心将低分辨率的N‑1级A图像和低分辨率的N‑1级B图像进行N‑1级匹配搜索；e、重复步骤c和d由N‑1级图像至A区域图像和B区域图像进行匹配；f、将A区域图像和B区域图像中所匹配的像素点进行融合。本发明的方法和设备简单而且能够快速实现图像拼接。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种图像拼接方法和设备。
背景技术
图像拼接是指将多幅在不同视角或者由不同传感器获得的图像经过对齐然后无缝地融合在一起，从而得到一幅大视场、无畸变、高分辨率图像的处理过程。
公开号为CN105321152A的中国专利文献公开了一种图像拼接系统和方法，该系统包括激光阵列、摄像单元以及图像拼接处理单元，所述摄像单元的输出端与图像拼接处理单元的输入端连接。该方法包括激光阵列发射激光至待测物体的表面上；摄像单元与待测物体相对移动时，摄像单元采集待测物体的部分图像；图像拼接处理单元根据图像拼接算法，从而对采集到的部分图像进行拼接处理。
公开号为CN104601954A的中国专利文献公开了一种全景图像拼接装置，包括图像拼接模块及至少两路图像传输路，每一图像传输路包括图像采集模块、距离检测模块及开关模块，所述距离检测模块预设一阈值距离，所述图像采集模块对外界物体成像时，所述距离检测模块检测所述图像采集模块与所述外界物体的距离，当所述距离大于或等于所述阈值距离，所述距离检测模块控制所述开关模块闭合，所述图像采集模块采集的图像通过所述开关模块传输至所述图像拼接模块；当所述距离小于所述阈值距离时，所述距离检测模块控制所述开关模块断开，所述图像拼接模块对通过所述开关模块的图像进行拼接，并生成全景图像。
现有图像拼接方法比较费时费力，而且精确度不高。
发明内容
本发明的目的在于提供一种图像拼接方法和设备，本发明的方法和设备简单而且能够快速实现图像拼接。
为实现上述目的，本发明提供一种图像拼接方法，所述方法包括：a、获取图像组，所述图像组至少包括第一图像和第二图像；其中，所述第一图像的边缘区域和第二图像的边缘区域至少有部分相同，该相同部分在第一图像中记为A区域图像，在第二图像中记为B区域图像；b、将A区域图像和B区域图像内的像素点的像素值分别进行N级平均，得到低分辨率的1级A图像至低分辨率的N级A图像以及低分辨率的1级B图像至低分辨率的N级B图像；c、将低分辨率的N级A图像和低分辨率的N级B图像进行N级匹配搜索，得到N级匹配位置；d、以该N级匹配位置为中心将低分辨率的N-1级A图像和低分辨率的N-1级B图像进行N-1级匹配搜索；e、重复步骤c和d由N-1级图像至A区域图像和B区域图像进行匹配；f、将A区域图像和B区域图像中所匹配的像素点进行融合。
可选的，所述方法还包括：将a步骤中获取的图像组进行预处理后进行b步骤。
可选的，所述将A区域图像和B区域图像中所匹配的像素点进行重合的步骤包括：A区域图像和B区域图像建立变换模型和统一变换坐标后再融合匹配的像素点。
可选的，所述方法还包括：将融合后的图像组进行裁剪。
本发明还提供一种图像拼接设备，该设备包括：获取图像组单元；用于获取图像组，所述图像组至少包括第一图像和第二图像；其中，所述第一图像的边缘区域和第二图像的边缘区域至少有部分相同，该相同部分在第一图像中记为A区域图像，在第二图像中记为B区域图像；像素值平均单元，用于将A区域图像和B区域图像内的像素点的像素值分别进行N级平均，得到低分辨率的1级A图像至低分辨率的N级A图像以及低分辨率的1级B图像至低分辨率的N级B图像；N级匹配单元，用于将低分辨率的N级A图像和低分辨率的N级B图像进行N级匹配搜索，得到N级匹配位置；N-1级匹配单元，用于以该N级匹配位置为中心将低分辨率的N-1级A图像和低分辨率的N-1级B图像进行N-1级匹配搜索；N-1级至原始图像匹配单元，用于重复步骤c和d由N-1级图像至A区域图像和B区域图像进行匹配；图像融合单元，用于将A区域图像和B区域图像中所匹配的像素点进行融合。
可选的，所述设备还包括图像预处理单元，用于将获取图像组单元所获取的图像组进行预处理。
可选的，所述图像融合单元还包括：模型变换建立单元和统一坐标变换单元，所述模型变换建立单元用于将A区域图像和B区域图像进行建立变换模型，所述统一坐标变换单元用于将建立变换模型后的A区域图像和B区域图像进行统一变换坐标。
可选的，所述设备还包括裁剪单元，用于将融合后的图像组进行裁剪。
本发明具有如下优点：
(1)该方法和设备思路简单，容易理解，易于编程实现。
(2)该方法的搜索空间比现有方法要少，在运算速度较逐一比较法有所提高。
附图说明
图1是现有图像拼接方法的一种具体实施方式的流程示意图。
图2是本发明图像拼接方法的一种具体实施方式的流程示意图。
图3是本发明图像拼接设备的一种具体实施方式的结构示意图。
具体实施方式
以下实施例用于说明本发明，但不用来限制本发明的范围。
图1是现有图像拼接方法的一种具体实施方式的流程示意图，如图1所示，现有拼接方法一般包括：将原始图像和参考图像进行特征提取，得到特征集合，然后将特征集合进行特征匹配后进行图像变换，得到匹配结果。现有拼接方法所提取的特征较多，费时费力。
图2是本发明方法的流程示意图，包括将图像输入、图像预处理、图像匹配、建立变换模型、统一坐标变换、图像融合和生成拼接图像。
图3是本发明设备的结构示意图，包括获取图像组单元、像素值平均单元、N级匹配单元、N-1级匹配单元、N-1级至原始图像匹配单元和图像融合单元。其中N可以为3-100。
下面提供本发明图像获取方法的算法，但是并不因此而限制本发明。
图像拼接的过程由图像获取,图像配准,图像合成三步骤组成,其中图像配准是整个图像拼接的基础。本发明研究了两种图像配准算法:基于特征和基于变换域的图像配准算法。在基于特征的配准算法的基础上,提出一种稳健的基于特征点的配准算法。首先改进Harris角点检测算法,有效提高所提取特征点的速度和精度。然后利用相似测度NCC(normalized cross correlation——归一化互相关),通过用双向最大相关系数匹配的方法提取出初始特征点对,用随机采样法RANSAC(Random Sample Consensus)剔除伪特征点对,实现特征点对的精确匹配。最后用正确的特征点匹配对实现图像的配准。本发明提出的算法适应性较强,在重复性纹理、旋转角度比较大等较难自动匹配场合下仍可以准确实现图像配准。
算法的具体实现步骤如下:
(1)将待匹配的两幅图像中2 2邻域内的像素点的像素值分别取平均，作为这一区域(2 2)像素值，得到分辨率低一级的图像。然后，将此分辨率低一级的图像再作同样的处理，也就是将低一级的图像4 4邻域内的像素点的像素值分别取平均，作为这一区域(4 4)点的像素值，得到分辨率更低一级的图像。依次处理，得到一组分辨率依次降低的图像。
(2)从待匹配的两幅图像中分辨率最低的开始进行匹配搜索，由于这两幅图像像素点的数目少，图像信息也被消除一部分，因此，此匹配位置是不精确的。所以，在分辨率更高一级的图像中搜索时，应该在上一次匹配位置的附近进行搜索。依次进行下去，直到在原始图像中寻找到精确的匹配位置。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
Claims (8)
1.一种图像拼接方法，其特征在于，所述方法包括：
a、获取图像组，所述图像组至少包括第一图像和第二图像；其中，所述第一图像的边缘区域和第二图像的边缘区域至少有部分相同，该相同部分在第一图像中记为A区域图像，在第二图像中记为B区域图像；
b、将A区域图像和B区域图像内的像素点的像素值分别进行N级平均，得到低分辨率的1级A图像至低分辨率的N级A图像以及低分辨率的1级B图像至低分辨率的N级B图像；
c、将低分辨率的N级A图像和低分辨率的N级B图像进行N级匹配搜索，得到N级匹配位置；
d、以该N级匹配位置为中心将低分辨率的N-1级A图像和低分辨率的N-1级B图像进行N-1级匹配搜索；
e、重复步骤c和d由N-1级图像至A区域图像和B区域图像进行匹配；其中，在分辨率更高一级的图像中搜索时，在上一次匹配位置的附近进行搜索，依次进行下去，直到在原始图像中寻找到精确的匹配位置；
f、将A区域图像和B区域图像中所匹配的像素点进行融合。
2.根据权利要求1所述的图像拼接方法，其特征在于，所述方法还包括：将a步骤中获取的图像组进行预处理后进行b步骤。
3.根据权利要求1所述的图像拼接方法，其特征在于，所述将A区域图像和B区域图像中所匹配的像素点进行融合 的步骤包括：
A区域图像和B区域图像建立变换模型和统一变换坐标后再融合匹配的像素点。
4.根据权利要求1所述的图像拼接方法，其特征在于，所述方法还包括：将融合后的图像组进行裁剪。
5.一种图像拼接设备，其特征在于，该设备包括：
获取图像组单元；用于获取图像组，所述图像组至少包括第一图像和第二图像；其中，所述第一图像的边缘区域和第二图像的边缘区域至少有部分相同，该相同部分在第一图像中记为A区域图像，在第二图像中记为B区域图像；
像素值平均单元，用于将A区域图像和B区域图像内的像素点的像素值分别进行N级平均，得到低分辨率的1级A图像至低分辨率的N级A图像以及低分辨率的1级B图像至低分辨率的N级B图像；
N级匹配单元，用于将低分辨率的N级A图像和低分辨率的N级B图像进行N级匹配搜索，得到N级匹配位置；
N-1级匹配单元，用于以该N级匹配位置为中心将低分辨率的N-1级A图像和低分辨率的N-1级B图像进行N-1级匹配搜索；
N-1级至原始图像匹配单元，用于重复步骤c和d由N-1级图像至A区域图像和B区域图像进行匹配；
图像融合单元，用于将A区域图像和B区域图像中所匹配的像素点进行融合。
6.根据权利要求5所述的设备，其特征在于，所述设备还包括图像预处理单元，用于将获取图像组单元所获取的图像组进行预处理。
7.根据权利要求5所述的设备，其特征在于，所述图像融合单元还包括：模型变换建立单元和统一坐标变换单元，所述模型变换建立单元用于将A区域图像和B区域图像进行建立变换模型，所述统一坐标变换单元用于将建立变换模型后的A区域图像和B区域图像进行统一变换坐标。
8.根据权利要求5所述的设备，其特征在于，所述设备还包括裁剪单元，用于将融合后的图像组进行裁剪。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710138829.1A CN106934762B (zh) | 2017-03-09 | 2017-03-09 | 一种图像拼接方法和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710138829.1A CN106934762B (zh) | 2017-03-09 | 2017-03-09 | 一种图像拼接方法和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106934762A CN106934762A (zh) | 2017-07-07 |
| CN106934762B true CN106934762B (zh) | 2020-08-04 |
Family
ID=59433841
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710138829.1A Active CN106934762B (zh) | 2017-03-09 | 2017-03-09 | 一种图像拼接方法和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106934762B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006005231A1 (fr) * | 2004-07-14 | 2006-01-19 | Kun Ma | Appareil photographique panoramique portable |
| CN101673395A (zh) * | 2008-09-10 | 2010-03-17 | 深圳华为通信技术有限公司 | 图像拼接方法及装置 |
| CN103177435A (zh) * | 2013-04-10 | 2013-06-26 | 浙江大学 | 一种基于机器视觉的苹果表面无冗余信息图像处理方法 |
| CN103258321A (zh) * | 2013-05-14 | 2013-08-21 | 杭州海康希牧智能科技有限公司 | 一种图像拼接方法 |
| CN104966270A (zh) * | 2015-06-26 | 2015-10-07 | 浙江大学 | 一种多图像拼接方法 |
| CN105678721A (zh) * | 2014-11-20 | 2016-06-15 | 深圳英飞拓科技股份有限公司 | 一种全景拼接图像接缝处平滑的方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103489173B (zh) * | 2013-09-23 | 2016-08-17 | 百年金海科技有限公司 | 一种视频图像超分辨率重建方法 |
| CN103544710A (zh) * | 2013-11-08 | 2014-01-29 | 河南工业大学 | 一种图像配准方法 |
-
2017
- 2017-03-09 CN CN201710138829.1A patent/CN106934762B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006005231A1 (fr) * | 2004-07-14 | 2006-01-19 | Kun Ma | Appareil photographique panoramique portable |
| CN101673395A (zh) * | 2008-09-10 | 2010-03-17 | 深圳华为通信技术有限公司 | 图像拼接方法及装置 |
| CN103177435A (zh) * | 2013-04-10 | 2013-06-26 | 浙江大学 | 一种基于机器视觉的苹果表面无冗余信息图像处理方法 |
| CN103258321A (zh) * | 2013-05-14 | 2013-08-21 | 杭州海康希牧智能科技有限公司 | 一种图像拼接方法 |
| CN105678721A (zh) * | 2014-11-20 | 2016-06-15 | 深圳英飞拓科技股份有限公司 | 一种全景拼接图像接缝处平滑的方法及装置 |
| CN104966270A (zh) * | 2015-06-26 | 2015-10-07 | 浙江大学 | 一种多图像拼接方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106934762A (zh) | 2017-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11244197B2 (en) | Fast and robust multimodal remote sensing image matching method and system | |
| US20220152829A1 (en) | Visual navigation inspection and obstacle avoidance method for line inspection robot | |
| CN107993258B (zh) | 一种图像配准方法及装置 | |
| US20180124311A1 (en) | Feature Based High Resolution Motion Estimation from Low Resolution Images Captured Using an Array Source | |
| CN111862296B (zh) | 三维重建方法及装置、系统、模型训练方法、存储介质 | |
| JP3951984B2 (ja) | 画像投影方法、及び画像投影装置 | |
| US7747080B2 (en) | System and method for scanning edges of a workpiece | |
| JP4488804B2 (ja) | ステレオ画像の関連付け方法及び３次元データ作成装置 | |
| WO2019111976A1 (ja) | 対象物検出装置、予測モデル作成装置、対象物検出方法及びプログラム | |
| US20150262346A1 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP5538868B2 (ja) | 画像処理装置、その画像処理方法及びプログラム | |
| US10346709B2 (en) | Object detecting method and object detecting apparatus | |
| JP6524529B2 (ja) | 建築限界判定装置 | |
| CN107092905B (zh) | 一种电力巡检机器人的待识别仪器定位方法 | |
| CN111723801A (zh) | 鱼眼相机图片中目标检测矫正的方法与系统 | |
| CN103902953A (zh) | 一种屏幕检测系统及方法 | |
| CN107895344B (zh) | 视频拼接装置及方法 | |
| JP2003304561A (ja) | ステレオ画像処理装置 | |
| CN104966283A (zh) | 图像分层配准方法 | |
| CN105787870A (zh) | 一种图形图像拼接融合系统 | |
| US9305235B1 (en) | System and method for identifying and locating instances of a shape under large variations in linear degrees of freedom and/or stroke widths | |
| CN106934762B (zh) | 一种图像拼接方法和设备 | |
| CN109215068B (zh) | 图像放大率测量方法及装置 | |
| Majumdar et al. | Registration and mosaicing for images obtained from UAV | |
| CN111630569A (zh) | 双目匹配的方法、视觉成像装置及具有存储功能的装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20170630 Address after: 100083, Beijing, Haidian District, Cheng Fu Road, No. 45, Zhongguancun Zhi Cheng street, block C, 102 Applicant after: Beijing Nebula ring shadow Technology Co., Ltd. Address before: 100070 Beijing city Fengtai District Majialou Road No. 1 green city 10-1-302 Applicant before: Shi Pengfei |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |