CN105869120B - 一种图像拼接的实时性优化方法 - Google Patents

一种图像拼接的实时性优化方法 Download PDF

Info

Publication number
CN105869120B
CN105869120B CN201610423395.5A CN201610423395A CN105869120B CN 105869120 B CN105869120 B CN 105869120B CN 201610423395 A CN201610423395 A CN 201610423395A CN 105869120 B CN105869120 B CN 105869120B
Authority
CN
China
Prior art keywords
image
ncc
characteristic point
surf
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610423395.5A
Other languages
English (en)
Other versions
CN105869120A (zh
Inventor
蔡成涛
汪鹏飞
刘安
翁翔宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huzhou Qingzhou Shipping Technology Co., Ltd.
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN201610423395.5A priority Critical patent/CN105869120B/zh
Publication of CN105869120A publication Critical patent/CN105869120A/zh
Application granted granted Critical
Publication of CN105869120B publication Critical patent/CN105869120B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉技术领域,具体涉及一种图像拼接的实时性优化方法。本发明包括图像NCC区域匹配;SURF阈值估算;特征点匹配。本发明在精确求取变换矩阵的情况下,经过算法优化使检测特征点数得到大幅度下降;同时通过局部区域匹配算法NCC预估图像重叠区域的大小,通过锁定重叠区域来减少图像拼接过程中特征点搜索范围。NCC算法获取互相关最大值窗口来估计图像的大致匹配情况,避免了在全局图像之间进行特征点查找,两种方法的叠加使用能使图像拼接的实时性得到提升。

Description

一种图像拼接的实时性优化方法
技术领域
本发明属于计算机视觉技术领域,具体涉及一种图像拼接的实时性优化方法。
背景技术
如文献邵向鑫等发表的数字图像拼接核心算法研究所述传统相机在视野上存在很大限制,由于其只能获取正前方的图像,将会导致只能获取环境的部分信息,民用的视频监控方面以及军用航海航天都对图像分辨率提出了更高的要求,图像拼接技术同时应运而生。用于图像拼接技术的算法主要有相位相关法,基于区域的方法和基于特征的方法,本发明采用基于特征的方法,对算法进行改进。
图像拼接在多个领域中有所应用。在航海领域,使用单个传统相机无法检测到船体周围的360°环境信息,无法及时发现海上的突发情况,而多台相机必然造成费用的大幅度上升,使用图像拼接技术配合旋转云台可以获取海面的全景图像,满足了对大视场的要求,及时掌握特定场景的全面信息。在民用领域的视频监控方面,主要通过设置多台相机分别进行观察,图像拼接技术可以将多张图像融合为一张图像,避免了多幅图像的重复观察。
目前的基于特征点的图像拼接技术主要采用SURF算法和SIFT算法,其中SURF算法的实时性更加优秀,然而及时SURF在时间上存在优势,但是在应用于实际环境中时,仍然不能满足实时性要求。本发明通过提出一种改进SURF算法和重合区域检测算法,可以同时减少图像拼接的检索图像区域以及检索的特征点数,从而在保证图像特征点个数的情况下,极大了降低了冗余特征点的检测,匹配数量,提高了图像拼接的时间。
发明内容
本发明的目的在于提供一种加速的图像拼接技术,实现图像间的快速拼接的图像拼接的实时性优化方法。
本发明的目的是这样实现的:
一种图像拼接的实时性优化方法,包括以下步骤:
(1)图像NCC区域匹配
输入图像A和图像B两张待拼接图像,以图像A为模板图像,图像B为待匹配图像,通过NCC算法寻找图像A与图像B之间互相关最大时的搜索窗口位置,通过搜索窗口位置初步确定图像间的位置关系,将图像A和图像B的重合区域锁定为图像A’和图像B’;
(2)SURF阈值估算
获取不同环境下的若干分辨率不同的图像,通过高斯滤波的得到统一的不同尺度图像,计算每张图像的图像熵值,同时不断调整SURF阈值制导图像特征点个数满足要求,通过RANSAC算法来预测图像熵与SURF阈值之间的最优模型;输入图像A’和图像B’,得到两个阈值a和b;
(3)特征点匹配
在检测到的图像特征点间利用KNN最近邻匹配算法以及RANSAC优化算法进行图像特征点匹配以及排除误匹配特征点,从而得到经过细化的准确匹配点,经过图像坐标系变换后,得到匹配特征点在原图像内的特征点坐标,通过匹配点来计算图像之间单应性矩阵进行图像拼接。
所述步骤(1)图像NCC区域匹配具体包含以下步骤:
(1.1)定义模板窗口n×n,设定ncc阈值,获取图像A模板像素并计算均值,标准方差;
(1.2)根据模板大小,在目标图形上从左到右,从上到下移动窗口,计算每移动一个像素后窗口内像素与模板像素的ncc值,与阈值比较,若大于阈值则记录此时的位置信息;
(1.3)比较得到的位置信息,选取ncc值中最大的k个数据,比较k个数据的坐标信息,找到表示图像间重叠区域最大时的坐标,通过该坐标得到图像A和图像B的估算重合区域图像A’和图像B’。
所述步骤(2)SURF阈值估算具体包含以下步骤:
(2.1)图像采集,获取不同场景下不同分辨率大小的图像,通过高斯滤波得到统一的不同尺度的L组图像,然后分别计算每幅相同分辨率图像的图像熵;
(2.2)以每个分辨率统一的图像为一组,共L组,分别通过调整SURF阈值,直到满足计算单应性矩阵的特征点匹配点数,记录此时的阈值大小;
(2.3)RANSAC估算最优模型,将图像熵作为自变量,阈值为因变量,通过RANSAC算法估计最优模型,得到L组不同的最优模型,将经过步骤(1)得到的图像A’和图像B’输入分辨率最优模型中得到阈值a和b。
所述步骤(3)的特征点匹配,具体包含以下步骤:
(3.1)特征点粗匹配,通过KNN最近邻算法提取欧氏距离最近的特征点对作为初匹配结果;
(3.2)再次利用RANSAC算法进行特征点提纯,去除误匹配,通过提纯的特征点得到单应性变换矩阵。
本发明的有益效果在于:
本发明公开了一种图像拼接技术的实时性优化方法,主要包括算法优化和图像重叠区域预估。与现有的图形拼接技术相比,在精确求取变换矩阵的情况下,经过算法优化使检测特征点数得到大幅度下降;同时通过局部区域匹配算法NCC预估图像重叠区域的大小,通过锁定重叠区域来减少图像拼接过程中特征点搜索范围。本发明通过RANSAC算法来估算图像单位区域熵与图像被检测的特征点像素占比之间的模型,估算一副图像的SURF算法初始特征点阈值大小,与现有的对一副图像进行SURF算法阈值最小化检测相比能够快速提高实时性。NCC算法获取互相关最大值窗口来估计图像的大致匹配情况,避免了在全局图像之间进行特征点查找,两种方法的叠加使用能使图像拼接的实时性得到提升。
附图说明
图1位本发明图像拼接优化处理过程框图。
图2为本发明中NCC算法流程图。
图3位本发明RANSAC算法训练数据流程图。
图4为本发明图像匹配流程图。
具体实施方式
下面结合附图对本发明作进一步描述。
传统基于特征点的图像拼接方法主要的不足存在实时性方面,目前加速的特征点检测算法只能达到秒级,多幅图像拼接过程中仍然消耗大量时间。本发明公开了一种优化的加速图像拼接算法,可以通过预测图像重叠区域以及图像特征点阈值来最大可能的减少图像特征点检测以及特征点匹配的时间。
如附图1所示,对于待匹配的图像A和图像B,经过NCC算法找到最优的重叠区域,在该重叠区域内进行特征点检测。特征点检测采用优化的SURF算法进行,通过将图像A和图像B输入经过RANSAC算法找到的最优模型中得到输出的阈值a和b,通过阈值对图像特征点个数进行初步筛选,去除特征比较弱的特征点。相对于传统的基于特征点的拼接算法,本发明通过结合两种方法来提高特征点检测的速度,加速图像匹配过程。
如附图1所示,本发明图像拼接优化处理的具体过程如下:
第一步,输入待拼接图像A,图像B。输入带拼接图像之后对图像进行初步的图像处理,如图像去噪等。
第二步,对待拼接图像作图像NCC区域匹配如附图2所示。
Step1:首先计算模板像素的均值与标准差用ut和σt表示,移动模板,计算模板与检测图像之间的ncc值,计算公式如下:
其中,f(x,y)表示检测图像的灰度值,uf和σf表示检测图像模板大小内像素的均值和标准差,n表示模板像素总数。
Step2:设定阈值threshold,阈值范围[-1,1],其中-1代表模板图像与检测图像之间的毫无关系,1表示模板图像与检测图像直接按的相关性很高。通过比较ncc与threshold之间的关系,当ncc值大于threshold阈值时,记录此时的位置信息。
Step3:由于阈值设定的不同,选出的位置信息有多个,通过选取ncc值钱k个最大值进行筛选。
Step4:通过筛选的最大值位置计算图像重叠区域。计算方法如下:假设此时选取三个最大ncc值以及图像为左右拼接的情况,得到该情况下的位置信息图A中为(xA1,yA1),(xA2,yA2)和(xA3,yA3),图B中为(xB1,yB1),(xB2,yB2)和(xB3,yB3)。为保证能够获取足够的拼接区域,比较坐标信息。对于左侧图像A而言,比较xA1,xA2和xA3的值,选择最小值作为图A重叠区域分界线,由于图像为左右拼接的情况,此时位于xAmin右侧的图像均纳入特征点检测区域;同时比较yA1,yA2和yA3,选择最小值和最大值yAmin和yAmax,则左侧图像的检测区域为{xAmin,A.cols,yAmin,yAmax},其中A.cols表示图像A的图像宽度。同理可以得到右侧图像的检测区域为{0,xBmax,yBmin,yBmax}。
第三步,SURF算法阈值估算。由于SURF算法在选择特征点的过程中会利用HESSIAN矩阵对特征点进行初步筛选。HESSIAN矩阵阈值的选取是特征点匹配量的关键。考虑到图像特征点与图像的复杂度具有密切关系,因此通过估算图像熵与图像阈值之间的关系来得到在满足图像匹配特征点数下的最小特征点数。具体过程如附图3所示。
Step1:采集图像,图像信息源可以通过不同设备,在不同环境下获取复杂度不同的以及分辨率不同的若干图像。
Step2:利用高斯滤波对图像进行统一多尺度变换,得到不同尺度相同分辨率的N组图像。
Step3:计算每一幅图像的图像熵,离散图像二维熵的计算公式如下:
其中其中i表示像素灰度值,j表示领域灰度均值,N为图像尺度。
Step4:对每一幅图像进行特征点检测,通过调节阈值直到特征点个数下降到满足求解图像变换矩阵的情况下尽可能的少,并记录此时的阈值。
Step5:将图像熵作为自变量,阈值作为因变量输入RANSAC算法中,经过训练得到最优的模型,计算待拼接图像的图像A’图像B’的熵值,并输入最优模型分别得到阈值a和b。
第四步:图像拼接。经过阈值估算后得到适当的特征点数,通过KNN最近领算法进行特征点匹配并用RANSAC进行特征点细化得到图像变换矩阵进行图像拼接。

Claims (4)

1.一种图像拼接的实时性优化方法,其特征在于,包括以下步骤:
(1)图像NCC区域匹配
输入图像A和图像B两张待拼接图像,以图像A为模板图像,图像B为待匹配图像,通过NCC算法寻找图像A与图像B之间互相关最大时的搜索窗口位置,通过搜索窗口位置初步确定图像间的位置关系,将图像A和图像B的重合区域锁定为图像A’和图像B’;
(2)SURF阈值估算
获取不同环境下的若干分辨率不同的图像,通过高斯滤波得到统一的不同尺度图像,计算每张图像的图像熵值,同时不断调整SURF阈值直到图像特征点个数满足要求,通过RANSAC算法来预测图像熵与SURF阈值之间的最优模型;输入图像A’和图像B’,得到两个阈值a和b;
(3)特征点匹配
在检测到的图像特征点间利用KNN最近邻匹配算法以及RANSAC优化算法进行图像特征点匹配以及排除误匹配特征点,从而得到经过细化的准确匹配点,经过图像坐标系变换后,得到匹配特征点在原图像内的特征点坐标,通过匹配点来计算图像之间单应性矩阵进行图像拼接。
2.根据权利要求1所述的一种图像拼接的实时性优化方法,其特征在于,所述步骤(1)图像NCC区域匹配具体包含以下步骤:
(1.1)定义模板窗口n×n,设定ncc阈值,获取图像A模板像素并计算均值,标准方差;
(1.2)根据模板大小,在目标图形上从左到右,从上到下移动窗口,计算每移动一个像素后窗口内像素与模板像素的ncc值,与ncc阈值比较,若大于ncc阈值则记录此时的位置信息;
(1.3)比较得到的位置信息,选取ncc值中最大的k个数据,比较k个数据的坐标信息,找到表示图像间重叠区域最大时的坐标,通过该坐标得到图像A和图像B的估算重合区域图像A’和图像B’。
3.根据权利要求1所述的一种图像拼接的实时性优化方法,其特征在于,所述步骤(2)SURF阈值估算具体包含以下步骤:
(2.1)图像采集,获取不同场景下不同分辨率大小的图像,通过高斯滤波得到统一的不同尺度的L组图像,然后分别计算具有相同分辨率的图像的图像熵;
(2.2)以分辨率统一的图像为一组,共L组,分别通过调整SURF阈值,直到满足计算单应性矩阵的特征点匹配点数,记录此时的SURF阈值大小;
(2.3)RANSAC估算最优模型,将图像熵作为自变量,SURF阈值为因变量,通过RANSAC算法估计最优模型,得到L组不同的最优模型,将经过步骤(1)得到的图像A’和图像B’输入分辨率最优模型中得到阈值a和b。
4.根据权利要求1所述的一种图像拼接的实时性优化方法,其特征在于,所述步骤(3)的特征点匹配,具体包含以下步骤:
(3.1)特征点粗匹配,通过KNN最近邻算法提取欧氏距离最近的特征点对作为初匹配结果;
(3.2)再次利用RANSAC算法进行特征点提纯,去除误匹配,通过提纯的特征点得到单应性变换矩阵。
CN201610423395.5A 2016-06-16 2016-06-16 一种图像拼接的实时性优化方法 Active CN105869120B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610423395.5A CN105869120B (zh) 2016-06-16 2016-06-16 一种图像拼接的实时性优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610423395.5A CN105869120B (zh) 2016-06-16 2016-06-16 一种图像拼接的实时性优化方法

Publications (2)

Publication Number Publication Date
CN105869120A CN105869120A (zh) 2016-08-17
CN105869120B true CN105869120B (zh) 2018-10-26

Family

ID=56650588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610423395.5A Active CN105869120B (zh) 2016-06-16 2016-06-16 一种图像拼接的实时性优化方法

Country Status (1)

Country Link
CN (1) CN105869120B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106373088B (zh) * 2016-08-25 2019-08-06 中国电子科技集团公司第十研究所 大倾斜低重叠率航空图像的快速拼接方法
CN106530214B (zh) * 2016-10-21 2023-11-17 微景天下(北京)科技有限公司 图像拼接系统和图像拼接方法
CN106683040B (zh) * 2016-11-21 2020-02-14 云南电网有限责任公司电力科学研究院 一种基于ncc算法的红外全景图像拼接方法
CN106886977B (zh) * 2017-02-08 2021-02-05 徐州工程学院 一种多图自动配准及融合拼接方法
CN107093166B (zh) * 2017-04-01 2019-07-05 华东师范大学 低重合率显微图像的无缝拼接方法
CN109903220B (zh) * 2017-12-08 2023-09-08 杭州海康威视数字技术股份有限公司 一种图像拼接方法、拼接装置及电子设备
CN108717684B (zh) * 2018-04-20 2022-05-27 中南大学 基于阵列相机的高速水平运动物体图像序列拼接方法及系统
CN109064385A (zh) * 2018-06-20 2018-12-21 何中 360度全景展示效果生成工具及发布系统
CN110473236B (zh) * 2019-06-25 2022-03-15 上海圭目机器人有限公司 一种道面图像检测用相机的偏置位置的测量方法
CN110458757B (zh) * 2019-07-15 2023-03-31 中国计量大学 一种阈值自适应的特征点匹配图像拼接方法
CN110292361B (zh) * 2019-07-30 2024-04-30 佛山科学技术学院 一种超宽范围的皮肤成像设备与方法
CN110633743A (zh) * 2019-09-09 2019-12-31 南昌市微轲联信息技术有限公司 一种基于邻域支撑的图像匹配方法
CN110940670B (zh) * 2019-11-25 2023-04-28 佛山缔乐视觉科技有限公司 基于机器视觉的柔印标签印刷首稿检测系统及其实现方法
CN112360699A (zh) * 2020-10-22 2021-02-12 华能大理风力发电有限公司 一种全自动风力发电机组叶片智能巡视及诊断分析方法
CN112991175B (zh) * 2021-03-18 2024-04-02 中国平安人寿保险股份有限公司 一种基于单ptz摄像头的全景图片生成方法及设备
CN113205457B (zh) * 2021-05-11 2023-03-10 华中科技大学 一种微观图像拼接方法及系统
CN113781299B (zh) * 2021-08-16 2023-08-25 兰州大学 一种基于改进ransac算法的多图像协同拼接方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102006425A (zh) * 2010-12-13 2011-04-06 交通运输部公路科学研究所 一种基于多摄像机的视频实时拼接方法
CN103745449A (zh) * 2013-12-24 2014-04-23 南京理工大学 一种搜跟系统中航拍视频的快速自动拼接技术
CN105245841A (zh) * 2015-10-08 2016-01-13 北京工业大学 一种基于cuda的全景视频监控系统
CN105608671A (zh) * 2015-12-30 2016-05-25 哈尔滨工业大学 一种基于surf算法的图像拼接方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105022719B (zh) * 2014-04-23 2019-06-28 Ge医疗系统环球技术有限公司 医学造影系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102006425A (zh) * 2010-12-13 2011-04-06 交通运输部公路科学研究所 一种基于多摄像机的视频实时拼接方法
CN103745449A (zh) * 2013-12-24 2014-04-23 南京理工大学 一种搜跟系统中航拍视频的快速自动拼接技术
CN105245841A (zh) * 2015-10-08 2016-01-13 北京工业大学 一种基于cuda的全景视频监控系统
CN105608671A (zh) * 2015-12-30 2016-05-25 哈尔滨工业大学 一种基于surf算法的图像拼接方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Study of the helicopter blade running elevation measurement system;CAI Cheng-tao, ET AL.;《Journal of Marine Science and Application》;20051231;第4卷(第4期);第43-46页 *

Also Published As

Publication number Publication date
CN105869120A (zh) 2016-08-17

Similar Documents

Publication Publication Date Title
CN105869120B (zh) 一种图像拼接的实时性优化方法
CN110796010B (zh) 一种结合光流法和卡尔曼滤波的视频稳像方法
CN111311666A (zh) 一种融合边缘特征和深度学习的单目视觉里程计方法
US20060204035A1 (en) Method and apparatus for tracking a movable object
US20160253784A1 (en) System for video super resolution using semantic components
Lebeda et al. Long-term tracking through failure cases
CN107274337B (zh) 一种基于改进光流的图像拼接方法
Huang et al. Efficient image stitching of continuous image sequence with image and seam selections
CN101383005B (zh) 一种利用辅助规则纹理的乘客目标图像和背景分离方法
CN111160291B (zh) 基于深度信息与cnn的人眼检测方法
CN107248174A (zh) 一种基于tld算法的目标跟踪方法
CN106447701A (zh) 用于图像相似性确定、对象检测和跟踪的方法和装置
Wang et al. Vision based long range object detection and tracking for unmanned surface vehicle
CN110738667A (zh) 一种基于动态场景的rgb-d slam方法和系统
CN106462975A (zh) 用于对象跟踪和经由背景跟踪进行分割的方法和装置
Zhang et al. A novel efficient method for abnormal face detection in ATM
Gu et al. Dynamic image stitching for moving object
Yu et al. Accurate motion detection in dynamic scenes based on ego-motion estimation and optical flow segmentation combined method
Kim et al. Hand tracking and motion detection from the sequence of stereo color image frames
van de Wouw et al. Hierarchical 2.5-d scene alignment for change detection with large viewpoint differences
CN110910418B (zh) 基于旋转不变性图像特征描述子的目标跟踪算法
JP2022019339A (ja) 情報処理装置、情報処理方法及びプログラム
Schugk et al. Adaptation of the mean shift tracking algorithm to monochrome vision systems for pedestrian tracking based on HoG-features
Yue et al. An improved camshift algorithm based on dynamic background
Wang et al. Unsupervised monocular training method for depth estimation using statistical masks

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190814

Address after: 313000 District B 335, Building 3, Qixing Science and Technology Venture Park, 666 Qixing Road, Wuxing District, Huzhou City, Zhejiang Province

Patentee after: Huzhou Qingzhou Shipping Technology Co., Ltd.

Address before: 150001 Heilongjiang, Nangang District, Nantong street,, Harbin Engineering University, Department of Intellectual Property Office

Patentee before: Harbin Engineering Univ.