CN107767330A - 一种图像拼接方法 - Google Patents

一种图像拼接方法 Download PDF

Info

Publication number
CN107767330A
CN107767330A CN201710965279.0A CN201710965279A CN107767330A CN 107767330 A CN107767330 A CN 107767330A CN 201710965279 A CN201710965279 A CN 201710965279A CN 107767330 A CN107767330 A CN 107767330A
Authority
CN
China
Prior art keywords
image
point
images
fused
camera lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710965279.0A
Other languages
English (en)
Other versions
CN107767330B (zh
Inventor
张力元
卢智睿
黄虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
In New Electric Power Research Institute Wisdom City Co Ltd
Original Assignee
In New Electric Power Research Institute Wisdom City Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by In New Electric Power Research Institute Wisdom City Co Ltd filed Critical In New Electric Power Research Institute Wisdom City Co Ltd
Priority to CN201710965279.0A priority Critical patent/CN107767330B/zh
Publication of CN107767330A publication Critical patent/CN107767330A/zh
Application granted granted Critical
Publication of CN107767330B publication Critical patent/CN107767330B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T3/14—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G06T5/80—
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明公开了一种图像拼接方法，该方法先通过镜头的径向畸变系数对待拼接的图像进行畸变校正；再通过识别标志点，计算仿射变换矩阵进行图像配准；再次，使用基于像素空间距离的区域生长方法生成融合接缝。从次，使用颜色直方图来计算直方图一致性的映射关系，并由此对待融合图像进行亮度校正。最后，通过图像金字塔生成各层对应的轮廓层和细节层，并由此重构生成融合图像。本发明采用了基于像素空间距离的区域生长法，来生成图像的融合接缝，并结合了传统图像超分辨率的金字塔重构方法，使得优化效果得到增强。同时，本发明的使用不受场景和目标的限制，可自动为不同场景、景深和颜色空间的目标计算融合接缝，提高图像拼接的鲁棒性和泛化性。

Description

一种图像拼接方法
技术领域
本发明涉及图像拼接的技术领域，特别涉及一种图像拼接的方法。
背景技术
图像拼接是图像处理领域最早被关注的算法之一，随着视频安防、全景拍照等技术被持续关注，工业界迫切需要新的图像拼接方法。传统的图像拼接算法，可分为非多尺度分解的图像融合算法和多尺度分解的图像融合算法。前者计算量小，但是融合后过渡区域明显，视觉效果较差；后者过渡区域柔和，视觉效果较好，但是抗噪声能力差。
根据融合方法的不同，可以将拼接算法分为基于最佳接缝和基于平滑过渡的两类。前者通过计算最佳接缝，将图像按照接缝的相对位置直接复制像素点完成融合。这样的融合结果可能因为颜色、亮度和背景等原因，存在接缝明显的问题，因此有许多致力于消除接缝的算法。后者包括基于羽化的融合、基于梯度的融合和金字塔融合等，其特点是过渡柔和，但是计算量大，抗噪能力差，空间特征结合并不精准。
发明内容
针对现有技术所存在的问题，本发明提出一种图像拼接的方法，该方法的使用不受场景和目标的限制，可自动为不同场景、景深和颜色空间的目标计算融合接缝，提高图像拼接的鲁棒性和泛化性。
为实现上述目的，本发明提出的图像拼接方法，包括如下步骤：
S10，通过棋盘格标定法检测两待拼接的图像的角点，计算镜头的径向畸变系数，根据所述径向畸变系数对两待拼接的图像进行畸变校正；
S20，根据步骤S10中检测获取的两待拼接的图像的角点，分别识别两图标志点，并进行标识点的匹配得到点对；根据所述点对计算仿射变换矩阵，通过所述仿射变换矩阵进行图像配准，获取待融合图像；
S30，通过像素空间距离的区域生长方法生成待融合图像的融合接缝，找出待融合图像的每一个像素点的来源；
S40，通过颜色直方图来计算两待融合图像的直方图一致性的映射关系，根据所述映射关系对待融合图像进行亮度校正；
S50，为待融合图像生成若干层拉普拉斯金字塔和高斯金字塔图像，并根据所述步骤S30中生成的融合接缝，使用金字塔重构方法重构生成融合图像。
进一步地，所述步骤S10中，镜头的径向畸变系数的计算过程如下：
S11，制作一个棋盘格；
S12，使用待正畸的镜头，采集若干张不同角度的棋盘格图像；
S13，检测图像中的棋盘格角点；
S14，计算镜头无畸变情况下的五个内参数和所有的外参数；
S15，通过最小二乘法，计算镜头的径向畸变系数。
进一步地，镜头的径向畸变系数的计算过程还包括：S16，通过最大似然估计，优化步骤S15中获取的径向畸变系数。
进一步地，所述步骤S20中的标识点为圆形标识点，其由中心圆形和所述中心圆形周围的带状编码带组成；所述圆形标志点的前景为白色，背景为黑色；其中，所述中心圆形的几何中心点坐标为待确认像素点的坐标；所述编码带的码值为15位的二进制数字，且所述编码带为与其对应的圆形标志点的唯一标识。
进一步地，在所述步骤S20中的仿射变换矩阵的计算过程如下：
S21，解码标志点；
S22，选择至少三个点对，计算仿射变换矩阵。
进一步地，所述步骤S30中生成融合接缝包括如下步骤：
S31，计算两待拼接图像在重叠区域各像素点的二范式结果；
S32，在重叠区域中，按照边界和距离来选择优先级最高的点进行近邻区域生长；
S32，循环步骤S32，直至重叠区域中所有的像素点被处理完毕。
进一步地，在步骤S50中，根据所述步骤S30中生成的融合接缝，生成对应的两种金字塔图层，再通过金字塔重构的方法生成融合图像。
相比现有的图像拼接的方法，本发明具有以下优点：
1、兼顾最佳接缝和金字塔融合的优点，不仅过渡柔和，而且空间特征结合精确；
2、适应范围广，即能用于全景拍照，也能用于视频图像拼接。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明图像拼接方法一实施例的流程图；
本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
本发明提出一种图像拼接方法。
参照图1，图1为本发明图像拼接方法一实施例的流程图。
如图1所示，在本发明实施例中，该图像拼接方法包括如下步骤：
S10，通过棋盘格标定法检测两待拼接的图像的角点，计算镜头的径向畸变系数，根据所述径向畸变系数对两待拼接的图像进行畸变校正。
具体地，在步骤S10中，镜头的径向畸变系数的计算过程如下：
S11，制作一个棋盘格；
S12，使用待正畸的镜头，采集若干张不同角度的棋盘格图像；
S13，检测图像中的棋盘格角点；
S14，计算镜头无畸变情况下的五个内参数和所有的外参数；
S15，通过最小二乘法，计算镜头的径向畸变系数。
为了提高径向畸变系数的准确性，镜头的径向畸变系数的计算过程还包括：S16，通过最大似然估计，优化步骤S15中获取的径向畸变系数。
S20，根据步骤S10中检测获取的两待拼接的图像的角点，分别识别两图标志点，并进行标识点的匹配得到点对；根据所述点对计算仿射变换矩阵，通过所述仿射变换矩阵进行图像配准，获取待融合图像。
在步骤S20中，标志点为比较通用的圆形标志点，用于辅助完成点对的选择。具体地，该圆形标志点由中心圆形和所述中心圆形周围的带状编码带组成，圆形标志点的前景为白色，背景为黑色。中心圆形的几何中心点坐标是待确认的像素点坐标，编码带的码值是15位的二进制数字，其作为编码带所对应的圆形标志点的唯一标识。
仿射变换矩阵的计算过程如下：
S21，解码标志点。具体地，按照逆时针的顺序解码，白色为1，黑色为0。
S22，选择至少三个合适的点对，计算仿射变换矩阵。
S30，通过像素空间距离的区域生长方法生成待融合图像的融合接缝，找出待融合图像的每一个像素点的来源。
在步骤S30中，生成融合接缝包括如下步骤：
S31，计算两待拼接图像在重叠区域各像素点的二范式结果，即像素空间的欧式距离；
S32，在重叠区域中，按照边界和距离来选择优先级最高的点进行近邻区域生长；
S32，循环步骤S32，直至重叠区域中所有的像素点被处理完毕。
S40，通过颜色直方图来计算两待融合图像的直方图一致性的映射关系，根据所述映射关系对待融合图像进行亮度校正。
在本实施例中，两待拼接的图像的亮度一致，故其重叠区域的直方图也是基本一致的。通过将两待拼接图像的重叠区域校正为直方图一致性的映射关系，即可完成亮度校正。
S50，为待融合图像生成若干层拉普拉斯金字塔和高斯金字塔图像，并根据所述步骤S30中生成的融合接缝，使用金字塔重构方法生成融合图像。
在步骤S50中，根据所述步骤S30中生成的融合接缝，生成对应的两种金字塔图层，再通过金字塔重构的方法重构生成融合图像。
本发明的技术方案先通过采用标准的棋盘格对工业相机采集的带融合图像进行畸变校正。其次，通过标志点识别，得到仿射变换矩阵。再次，使用基于像素空间距离的区域生长方法生成融合接缝。从次，使用颜色直方图来计算直方图一致性的映射关系，并由此对待融合图像进行亮度校正。最后，通过图像金字塔生成各层对应的轮廓层和细节层，并由此重构生成融合图像。
本发明提出的图像拼接方法使用了基于像素空间距离的区域生长法来生成图像的融合接缝，再结合传统图像超分辨率的金字塔重构方法，使得图像融合的优化效果得到增强。同时，相比现有技术，本发明的使用不受场景和目标的限制，可自动为不同场景、景深和颜色空间的目标计算融合接缝，提高图像拼接的鲁棒性和泛化性。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (7)

1.一种图像拼接方法，其特征在于，包括如下步骤：
S10，通过棋盘格标定法检测两待拼接的图像的角点，计算镜头径向畸变系数，根据所述径向畸变系数对两待拼接的图像进行畸变校正；
S20，根据步骤S10中检测获取的两待拼接的图像的角点，分别识别两图标志点，并进行标识点的匹配得到点对；根据所述点对计算仿射变换矩阵，通过所述仿射变换矩阵进行图像配准，获取待融合图像；
S30，通过像素空间距离的区域生长方法生成待融合图像的融合接缝，找出待融合图像的每一个像素点的来源；
S40，通过颜色直方图来计算两待融合图像的直方图一致性的映射关系，根据所述映射关系对待融合图像进行亮度校正；
S50，为待融合图像生成若干层拉普拉斯金字塔和高斯金字塔图像，并根据所述步骤S30中生成的融合接缝，使用金字塔重构方法生成融合图像。
2.如权利要求1所述的图像拼接方法，其特征在于，所述步骤S10中，镜头的径向畸变系数的计算过程如下：
S11，制作一个棋盘格；
S12，使用待正畸的镜头，采集若干张不同角度的棋盘格图像；
S13，检测图像中的棋盘格角点；
S14，计算镜头无畸变情况下的五个内参数和所有的外参数；
S15，通过最小二乘法，计算镜头的径向畸变系数。
3.如权利要求2所述的图像拼接方法，其特征在于，镜头的径向畸变系数的计算过程还包括：S16，通过最大似然估计，优化步骤S15中获取的径向畸变系数。
4.如权利要求1所述的图像拼接方法，其特征在于，所述步骤S20中的标识点为圆形标识点，其由中心圆形和所述中心圆形周围的带状编码带组成；所述圆形标志点的前景为白色，背景为黑色；其中，所述中心圆形的几何中心点坐标为待确认像素点的坐标；所述编码带的码值为15位的二进制数字，且所述编码带为与其对应的圆形标志点的唯一标识。
5.如权利要求4所述的图像拼接方法，其特征在于，所述步骤S20中的仿射变换矩阵的计算过程如下：
S21，解码标志点；
S22，选择至少三个点对，计算仿射变换矩阵。
6.如权利要求1所述的图像拼接方法，其特征在于，所述步骤S30中生成融合接缝包括如下步骤：
S31，计算两待拼接图像在重叠区域各像素点的二范式结果；
S32，在重叠区域中，按照边界和距离来选择优先级最高的点进行近邻区域生长；
S32，循环步骤S32，直至重叠区域中所有像素点被处理完毕。
7.如权利要求1～6任意一项所述的图像拼接方法，其特征在于，在步骤S50中，根据所述步骤S30中生成的融合接缝，生成对应的两种金字塔图层，再通过金字塔重构的方法生成融合图像。
CN201710965279.0A 2017-10-17 2017-10-17 一种图像拼接方法 Active CN107767330B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710965279.0A CN107767330B (zh) 2017-10-17 2017-10-17 一种图像拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710965279.0A CN107767330B (zh) 2017-10-17 2017-10-17 一种图像拼接方法

Publications (2)

Publication Number Publication Date
CN107767330A true CN107767330A (zh) 2018-03-06
CN107767330B CN107767330B (zh) 2021-02-26

Family

ID=61269737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710965279.0A Active CN107767330B (zh) 2017-10-17 2017-10-17 一种图像拼接方法

Country Status (1)

Country Link
CN (1) CN107767330B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111263115A (zh) * 2020-02-14 2020-06-09 珠海研果科技有限公司 用于呈现图像的方法和装置
CN111709904A (zh) * 2020-05-27 2020-09-25 盛视科技股份有限公司 一种图像融合方法及装置
CN111724425A (zh) * 2020-05-28 2020-09-29 交通运输部东海航海保障中心上海航标处 航标图拼接方法、装置及终端设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7961936B2 (en) * 2007-03-30 2011-06-14 Intel Corporation Non-overlap region based automatic global alignment for ring camera image mosaic
CN103971352A (zh) * 2014-04-18 2014-08-06 华南理工大学 一种基于广角镜头的快速图像拼接方法
CN105303224A (zh) * 2015-11-23 2016-02-03 岭南师范学院 一种容量大、鲁棒性强的编码标志点及其解码方法
CN105447850A (zh) * 2015-11-12 2016-03-30 浙江大学 一种基于多视点图像的全景图拼接合成方法
CN106504194A (zh) * 2016-11-03 2017-03-15 重庆邮电大学 一种基于最佳拼接平面和局部特征的图像拼接方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7961936B2 (en) * 2007-03-30 2011-06-14 Intel Corporation Non-overlap region based automatic global alignment for ring camera image mosaic
CN103971352A (zh) * 2014-04-18 2014-08-06 华南理工大学 一种基于广角镜头的快速图像拼接方法
CN105447850A (zh) * 2015-11-12 2016-03-30 浙江大学 一种基于多视点图像的全景图拼接合成方法
CN105303224A (zh) * 2015-11-23 2016-02-03 岭南师范学院 一种容量大、鲁棒性强的编码标志点及其解码方法
CN106504194A (zh) * 2016-11-03 2017-03-15 重庆邮电大学 一种基于最佳拼接平面和局部特征的图像拼接方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JASON_QL: "相机标定原理、步骤", 《HTTPS://BLOG.CSDN.NET/LQL0716/ARTICLE/DETAILS/71973318?LOCATIONNUM=8&FPS=1》 *
戴维理: "基于SIFT的图像拼接和特征提取的研究", 《中国优秀硕士学位论文全文数据库》 *
陈月: "基于SIFT特征检测与匹配的快速图像拼接方法研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111263115A (zh) * 2020-02-14 2020-06-09 珠海研果科技有限公司 用于呈现图像的方法和装置
CN111263115B (zh) * 2020-02-14 2024-04-19 珠海研果科技有限公司 用于呈现图像的方法、装置、电子设备和计算机可读介质
CN111709904A (zh) * 2020-05-27 2020-09-25 盛视科技股份有限公司 一种图像融合方法及装置
CN111709904B (zh) * 2020-05-27 2023-12-26 盛视科技股份有限公司 一种图像融合方法及装置
CN111724425A (zh) * 2020-05-28 2020-09-29 交通运输部东海航海保障中心上海航标处 航标图拼接方法、装置及终端设备
CN111724425B (zh) * 2020-05-28 2023-11-10 交通运输部东海航海保障中心上海航标处 航标图拼接方法、装置及终端设备

Also Published As

Publication number Publication date
CN107767330B (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN110390640A (zh) 基于模板的泊松融合图像拼接方法、系统、设备及介质
CN104517089B (zh) 一种二维码解码系统及其方法
CN107767330A (zh) 一种图像拼接方法
CN104732482B (zh) 一种基于控制点的多分辨率图像拼接方法
CN103218821B (zh) 一种面向区域覆盖的影像自动镶嵌方法
CN109961399B (zh) 基于图像距离变换的最佳缝合线搜寻方法
CN106060493A (zh) 多源投影无缝边缘拼接方法及系统
CN107993263A (zh) 环视系统自动标定方法、汽车、标定装置及存储介质
CN107578383A (zh) 一种低照度图像增强处理方法
CN107705254B (zh) 一种基于街景图的城市环境评估方法
CN103345761A (zh) 用于线阵高塔倾斜扫描成像数据校正及拼接的方法和系统
CN108985305A (zh) 一种激光蚀刻工业雷管编码图像定位及校正方法
CN104778675A (zh) 一种采煤综掘工作面动态视频图像融合方法
CN104899629B (zh) 一种基于径向基函数的二维码图像生成方法
CN106709878A (zh) 一种快速图像融合方法
CN110084743A (zh) 基于多航带起始航迹约束的图像拼接与定位方法
CN112419156A (zh) 一种顾及地物类别差异的多幅高分辨率遥感影像镶嵌方法
CN106780326A (zh) 一种提高全景图像清晰度的融合方法
CN110837781B (zh) 一种人脸识别方法、人脸识别装置及电子设备
CN116228539A (zh) 一种无人机遥感图像拼接的方法
CN104268893A (zh) 一种用左右扫描和四个角旋转扫描对肺实质分割去噪的方法
CN103106635B (zh) 数码迷彩信息隐藏方法及装置
CN109993718A (zh) 一种多通道投影图像融合方法及装置
CN106878628A (zh) 一种通过摄像头进行视频拼接的方法
CN104574271A (zh) 一种广告图标嵌入数字图像的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant