CN111815511A - 一种全景图像拼接方法 - Google Patents
一种全景图像拼接方法 Download PDFInfo
- Publication number
- CN111815511A CN111815511A CN201910290970.2A CN201910290970A CN111815511A CN 111815511 A CN111815511 A CN 111815511A CN 201910290970 A CN201910290970 A CN 201910290970A CN 111815511 A CN111815511 A CN 111815511A
- Authority
- CN
- China
- Prior art keywords
- images
- image
- spliced
- transformation
- panoramic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000009466 transformation Effects 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 11
- 230000004927 fusion Effects 0.000 claims abstract description 10
- 238000006243 chemical reaction Methods 0.000 claims abstract description 5
- 238000013178 mathematical model Methods 0.000 claims abstract description 5
- 238000013519 translation Methods 0.000 claims description 9
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 6
- 230000004075 alteration Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 3
- 238000007794 visualization technique Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明涉及全景图像拼接技术领域，尤其为一种全景图像拼接方法，包括有以下步骤：S1，进行数字图像处理的基本操作、建立图像的匹配模板以及对图像进行傅里叶变换、小波变换；S2，采用一定的匹配策略,找出待拼接图像中的模板或特征点在参考图像中对应的位置,进而确定两幅图像之间的变换关系；S3，根据模板或者图像特征之间的对应关系,计算出数学模型中的各参数值,从而建立两幅图像的数学变换模型；S4，根据建立的数学转换模型,将待拼接图像转换到参考图像的坐标系中,完成统一坐标变换；S5，融将带拼接图像的重合区域进行融合得到拼接重构的平滑无缝全景图像。本发明可以实现图像的错位拼接融合，使图像的拼接误差大大减小。
Description
技术领域
本发明涉及全景图像拼接技术领域，尤其涉及一种全景图像拼接方法。
背景技术
图像拼接技术就是将数张有重叠部分的图像(可能是不同时间、不同视角或者不同传感器获得的)拼成一幅大型的无缝高分辨率图像的技术。使用普通相机获取宽视野的场景图像时,因为相机的分辨率一定,拍摄的场景越大,得到的图像分辨率就越低；而全景相机、广角镜头等不仅非常昂贵,而且失真也比较严重。为了在不降低图像分辨率的条件下获取超宽视角甚至360°的全景图,利用计算机进行图像拼接被提出并逐渐研究发展起来。
现有技术中，图像配准技术主要采用点匹配法,这类方法速度慢、精度低,而且常常需要人工选取初始匹配点,无法适应大数据量图像的融合。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，而提出的一种全景图像拼接方法。
为了实现上述目的，本发明采用了如下技术方案：
一种全景图像拼接方法，包括有以下步骤：
S1，进行数字图像处理的基本操作、建立图像的匹配模板以及对图像进行傅里叶变换、小波变换；
S2，采用一定的匹配策略,找出待拼接图像中的模板或特征点在参考图像中对应的位置,进而确定两幅图像之间的变换关系；
S3，根据模板或者图像特征之间的对应关系,计算出数学模型中的各参数值,从而建立两幅图像的数学变换模型；
S4，根据建立的数学转换模型,将待拼接图像转换到参考图像的坐标系中,完成统一坐标变换；
S5，融将带拼接图像的重合区域进行融合得到拼接重构的平滑无缝全景图像。
优选的，所述S1中，数字图像处理的基本操作有去噪、边缘提取、直方图处理。
优选的，所述S2中，精确找出相邻两张图像中重叠部分的位置,然后确定两张图像的变换关系,视角、拍摄时间、分辨率、光照强度、传感器类型等的差异,待拼接的图像往往存在平移、旋转、尺度变化、透视形变、色差、扭曲、运动目标遮挡差别。
优选的，所述S3中，变换模型矩阵为
m2为水平方向位移，m5为垂直方向位移，m0、m1、m3、m4为尺度和旋转量，m6、m7为水平与垂直方向的变形量。
优选的，所述S4中，建立的数学转换模型，设I1为与I2具有平移、旋转和尺度关系的图像：I1(x,y)＝I2[s(xcosθ0+y sinθ0)-Δx,s(-x sinθ0+ycosθ0)-Δy]，(Δx,Δy)为平移参数，θ0为旋转角，s为尺度缩放因子。
优选的，所述S5中，图像融合是将两幅已配准图像中有用信息综合到一幅图像中并以可视化方法显示的技术，配准后的图像由于分辨率和视角的不同以及光照等因素的影响,有时甚至是多光谱图像之间进行的拼接,在图像拼接的重叠部分有时会产生模糊、鬼影或噪声点,边界处也可能形成明显的拼缝，采用图像融合进行消除。
与现有技术相比，本发明提出了一种全景图像拼接方法，具有以下有益效果：
本发明，可以实现图像的错位拼接融合，使图像的拼接误差大大减小，适应大数据量图像的融合。
本发明，对旋转、尺度缩放、亮度变化保持不变性,对视角变化、仿射变换、噪声也具有一定的鲁棒性。
附图说明
图1为本发明提出的一种全景图像拼接方法的整体的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
请参照图1，一种全景图像拼接方法，包括有以下步骤：
S1，进行数字图像处理的基本操作、建立图像的匹配模板以及对图像进行傅里叶变换、小波变换；
S2，采用一定的匹配策略,找出待拼接图像中的模板或特征点在参考图像中对应的位置,进而确定两幅图像之间的变换关系；
S3，根据模板或者图像特征之间的对应关系,计算出数学模型中的各参数值,从而建立两幅图像的数学变换模型；
S4，根据建立的数学转换模型,将待拼接图像转换到参考图像的坐标系中,完成统一坐标变换；
S5，融将带拼接图像的重合区域进行融合得到拼接重构的平滑无缝全景图像。
所述S1中，数字图像处理的基本操作有去噪、边缘提取、直方图处理。
所述S2中，精确找出相邻两张图像中重叠部分的位置,然后确定两张图像的变换关系,视角、拍摄时间、分辨率、光照强度、传感器类型等的差异,待拼接的图像往往存在平移、旋转、尺度变化、透视形变、色差、扭曲、运动目标遮挡差别。
所述S3中，变换模型矩阵为
m2为水平方向位移，m5为垂直方向位移，m0、m1、m3、m4为尺度和旋转量，m6、m7为水平与垂直方向的变形量。
所述S4中，建立的数学转换模型，设I1为与I2具有平移、旋转和尺度关系的图像：I1(x,y)＝I2[s(xcosθ0+y sinθ0)-Δx,s(-x sinθ0+ycosθ0)-Δy]，(Δx,Δy)为平移参数，θ0为旋转角，s为尺度缩放因子。
所述S5中，图像融合是将两幅已配准图像中有用信息综合到一幅图像中并以可视化方法显示的技术，配准后的图像由于分辨率和视角的不同以及光照等因素的影响,有时甚至是多光谱图像之间进行的拼接,在图像拼接的重叠部分有时会产生模糊、鬼影或噪声点,边界处也可能形成明显的拼缝，采用图像融合进行消除。
本发明中，使用时，包括有以下步骤：
S1，进行数字图像处理的基本操作、建立图像的匹配模板以及对图像进行傅里叶变换、小波变换；
S2，采用一定的匹配策略,找出待拼接图像中的模板或特征点在参考图像中对应的位置,进而确定两幅图像之间的变换关系；
S3，根据模板或者图像特征之间的对应关系,计算出数学模型中的各参数值,从而建立两幅图像的数学变换模型；
S4，根据建立的数学转换模型,将待拼接图像转换到参考图像的坐标系中,完成统一坐标变换；
S5，融将带拼接图像的重合区域进行融合得到拼接重构的平滑无缝全景图像。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (6)
1.一种全景图像拼接方法，其特征在于，包括有以下步骤：
S1，进行数字图像处理的基本操作、建立图像的匹配模板以及对图像进行傅里叶变换、小波变换；
S2，采用一定的匹配策略,找出待拼接图像中的模板或特征点在参考图像中对应的位置,进而确定两幅图像之间的变换关系；
S3，根据模板或者图像特征之间的对应关系,计算出数学模型中的各参数值,从而建立两幅图像的数学变换模型；
S4，根据建立的数学转换模型,将待拼接图像转换到参考图像的坐标系中,完成统一坐标变换；
S5，融将带拼接图像的重合区域进行融合得到拼接重构的平滑无缝全景图像。
2.根据权利要求1所述的一种全景图像拼接方法，其特征在于，所述S1中，数字图像处理的基本操作有去噪、边缘提取、直方图处理。
3.根据权利要求1所述的一种全景图像拼接方法，其特征在于，所述S2中，精确找出相邻两张图像中重叠部分的位置,然后确定两张图像的变换关系,视角、拍摄时间、分辨率、光照强度、传感器类型等的差异,待拼接的图像往往存在平移、旋转、尺度变化、透视形变、色差、扭曲、运动目标遮挡差别。
4.根据权利要求1所述的一种全景图像拼接方法，其特征在于，所述S3中，变换模型矩阵为
m2为水平方向位移，m5为垂直方向位移，m0、m1、m3、m4为尺度和旋转量，m6、m7为水平与垂直方向的变形量。
5.根据权利要求1所述的一种全景图像拼接方法，其特征在于，所述S4中，建立的数学转换模型，设I1为与I2具有平移、旋转和尺度关系的图像：I1(x,y)＝I2[s(xcosθ0+y sinθ0)-Δx,s(-x sinθ0+ycosθ0)-Δy]，(Δx,Δy)为平移参数，θ0为旋转角，s为尺度缩放因子。
6.根据权利要求1所述的一种全景图像拼接方法，其特征在于，所述S5中，图像融合是将两幅已配准图像中有用信息综合到一幅图像中并以可视化方法显示的技术，配准后的图像由于分辨率和视角的不同以及光照等因素的影响,有时甚至是多光谱图像之间进行的拼接,在图像拼接的重叠部分有时会产生模糊、鬼影或噪声点,边界处也可能形成明显的拼缝，采用图像融合进行消除。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910290970.2A CN111815511A (zh) | 2019-04-11 | 2019-04-11 | 一种全景图像拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910290970.2A CN111815511A (zh) | 2019-04-11 | 2019-04-11 | 一种全景图像拼接方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111815511A true CN111815511A (zh) | 2020-10-23 |
Family
ID=72843598
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910290970.2A Pending CN111815511A (zh) | 2019-04-11 | 2019-04-11 | 一种全景图像拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111815511A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112710969A (zh) * | 2020-12-18 | 2021-04-27 | 武汉大学 | 一种单相半桥五电平逆变器开关管开路故障诊断方法 |
| CN113920359A (zh) * | 2021-09-22 | 2022-01-11 | 深圳先进技术研究院 | 一种图像分类的方法和装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103810686A (zh) * | 2014-02-27 | 2014-05-21 | 苏州大学 | 无缝拼接全景辅助驾驶系统及方法 |
| CN104463786A (zh) * | 2014-12-03 | 2015-03-25 | 中国科学院自动化研究所 | 一种移动机器人图像拼接方法及装置 |
| CN106373088A (zh) * | 2016-08-25 | 2017-02-01 | 中国电子科技集团公司第十研究所 | 大倾斜低重叠率航空图像的快速拼接方法 |
| CN106485658A (zh) * | 2016-09-21 | 2017-03-08 | 湖南子午天地科技文化发展有限公司 | 一种用于图像拼接的最优缝合线搜索方法 |
| CN106886977A (zh) * | 2017-02-08 | 2017-06-23 | 徐州工程学院 | 一种多图自动配准及融合拼接方法 |
| CN106940876A (zh) * | 2017-02-21 | 2017-07-11 | 华东师范大学 | 一种基于surf的快速无人机航拍图像拼接算法 |
-
2019
- 2019-04-11 CN CN201910290970.2A patent/CN111815511A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103810686A (zh) * | 2014-02-27 | 2014-05-21 | 苏州大学 | 无缝拼接全景辅助驾驶系统及方法 |
| CN104463786A (zh) * | 2014-12-03 | 2015-03-25 | 中国科学院自动化研究所 | 一种移动机器人图像拼接方法及装置 |
| CN106373088A (zh) * | 2016-08-25 | 2017-02-01 | 中国电子科技集团公司第十研究所 | 大倾斜低重叠率航空图像的快速拼接方法 |
| CN106485658A (zh) * | 2016-09-21 | 2017-03-08 | 湖南子午天地科技文化发展有限公司 | 一种用于图像拼接的最优缝合线搜索方法 |
| CN106886977A (zh) * | 2017-02-08 | 2017-06-23 | 徐州工程学院 | 一种多图自动配准及融合拼接方法 |
| CN106940876A (zh) * | 2017-02-21 | 2017-07-11 | 华东师范大学 | 一种基于surf的快速无人机航拍图像拼接算法 |
Non-Patent Citations (1)
| Title |
|---|
| 王娟;师军;吴宪祥;: "图像拼接技术综述", 计算机应用研究, no. 07, 31 July 2008 (2008-07-31), pages 1940 - 1943 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112710969A (zh) * | 2020-12-18 | 2021-04-27 | 武汉大学 | 一种单相半桥五电平逆变器开关管开路故障诊断方法 |
| CN113920359A (zh) * | 2021-09-22 | 2022-01-11 | 深圳先进技术研究院 | 一种图像分类的方法和装置 |
| CN113920359B (zh) * | 2021-09-22 | 2024-06-07 | 深圳先进技术研究院 | 一种图像分类的方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111145238B (zh) | 单目内窥镜图像的三维重建方法、装置及终端设备 | |
| CN105957015B (zh) | 一种螺纹桶内壁图像360度全景拼接方法及系统 | |
| CN111750820B (zh) | 影像定位方法及其系统 | |
| CN109064409B (zh) | 一种移动机器人的视觉图像拼接系统及方法 | |
| CN108734657B (zh) | 一种具有视差处理能力的图像拼接方法 | |
| CN110956661B (zh) | 基于双向单应矩阵的可见光与红外相机动态位姿计算方法 | |
| CN106856000B (zh) | 一种车载全景图像无缝拼接处理方法及系统 | |
| CN105608671A (zh) | 一种基于surf算法的图像拼接方法 | |
| CN101853524A (zh) | 使用图像序列生成玉米果穗全景图的方法 | |
| JP2009129001A (ja) | 運転支援システム、車両、立体物領域推定方法 | |
| CN109118544B (zh) | 基于透视变换的合成孔径成像方法 | |
| CN111723801B (zh) | 鱼眼相机图片中目标检测矫正的方法与系统 | |
| CN109859137B (zh) | 一种广角相机非规则畸变全域校正方法 | |
| JPH0935061A (ja) | 画像処理方法 | |
| CN110288511B (zh) | 基于双相机图像的最小化误差拼接方法、装置、电子设备 | |
| WO2010095460A1 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
| CN103700082B (zh) | 基于对偶四元数相对定向的图像拼接方法 | |
| CN113793266A (zh) | 一种多目机器视觉图像拼接方法、系统及存储介质 | |
| CN111815511A (zh) | 一种全景图像拼接方法 | |
| CN116152068A (zh) | 一种可用于太阳能板图像的拼接方法 | |
| CN110120012B (zh) | 基于双目摄像头的同步关键帧提取的视频拼接方法 | |
| CN103489165B (zh) | 一种面向视频拼接的小数查找表生成方法 | |
| Ha et al. | Embedded panoramic mosaic system using auto-shot interface | |
| CN116132610A (zh) | 一种综采面视频拼接方法及系统 | |
| Li et al. | Fast multicamera video stitching for underwater wide field-of-view observation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |