CN109003226A - 一种全景图像实时拼接方法及装置 - Google Patents

一种全景图像实时拼接方法及装置 Download PDF

Info

Publication number
CN109003226A
CN109003226A CN201710418404.6A CN201710418404A CN109003226A CN 109003226 A CN109003226 A CN 109003226A CN 201710418404 A CN201710418404 A CN 201710418404A CN 109003226 A CN109003226 A CN 109003226A
Authority
CN
China
Prior art keywords
image
video camera
processor
panoramic picture
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710418404.6A
Other languages
English (en)
Inventor
左春婷
蔡宇
黄艳金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sino Forest Xinda (beijing) Science And Technology Information Co Ltd
Original Assignee
Sino Forest Xinda (beijing) Science And Technology Information Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sino Forest Xinda (beijing) Science And Technology Information Co Ltd filed Critical Sino Forest Xinda (beijing) Science And Technology Information Co Ltd
Priority to CN201710418404.6A priority Critical patent/CN109003226A/zh
Publication of CN109003226A publication Critical patent/CN109003226A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00Control of position or direction
    • G05D3/12Control of position or direction using feedback

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像处理技术领域,具体涉及一种全景图像实时拼接方法及装置,所述的方法包括:步骤一:所述处理器向摄像机发送第二控制指令,指示所述摄像机获取第一图像;步骤二:所述处理器向云台电机发送第一控制指令,带动所述摄像机完成旋转,然后向所述摄像机发送第二控制指令,指示所述摄像机获取第二图像;步骤三:根据所述第一图像和第二图像的空间位置关系,计算得到所述第一图像和第二图像之间的单应性矩阵;步骤四:利用所述单应性矩阵,将所述第一图像、第二图像均映射到同一坐标系下,完成图像的初步拼接;步骤五:图像融合;步骤六:继续进行步骤二~步骤五的操作,直至实现全景图像。

Description

一种全景图像实时拼接方法及装置
技术领域
本发明属于图像处理技术领域,具体涉及一种全景图像实时拼接方法及装置。
背景技术
目前,较为常见的图像拼接方法,绝大多数都是基于多幅图像特征点提取、特征点匹配的原理,通过若干匹配点对,计算出图像序列间的映射矩阵,进而完成图像拼接。但这类图像拼接方式存在以下诸多方面的缺陷:
①这类图像拼接方式要求待拼接的两幅图像间存在较大的重叠区域,一般要求重叠区域占整个画面的三分之一,当不存在重叠或仅有一列重叠像素时,拼接任务无法进行;
②这类图像拼接方法的特征点提取及匹配过程比较复杂、耗时较多,导致拼接任务的实时性难以保证;
③不同的一组图像,需重新计算摄像机内部参数和外部参数,并计算对应的映射变换矩阵,因此不能实现连续多幅图像的实时拼接;
④映射变换矩阵与特征点提取精度和匹配点对个数相关,拼接精度取决于图像自身的质量,稳定性不足。
发明内容
本发明旨在提供一种全景图像实时拼接方法及装置,通过摄像机的俯仰、水平方位角度关系估计两幅图像之间的单应性矩阵,然后根据单应性矩阵,将两幅图像映射到同一融合平面拼接成一幅图像,进而实现多幅图像实时拼接得到全景图像的目的。
为实现上述技术目的,本发明采用的技术方案如下:
一种全景图像实时拼接方法及装置,所述的装置包括角度编码器、云台电机、云台、以及安装于所述云台上的摄像机和处理器,所述云台电机分别与云台、角度编码器以及处理器相连,用于根据所述处理器的第一控制指令,控制所述云台带动所述摄像机旋转;所述角度编码器与处理器相连,用于测量所述云台电机的旋转角度,并将测量结果发送至处理器;所述摄像机与处理器相连,用于根据所述处理器的第二控制指令进行拍摄,并将拍摄的图像发送至处理器;
所述的方法包括以下处理步骤:
步骤一:所述处理器向摄像机发送第二控制指令,指示所述摄像机获取第一图像;
步骤二:所述处理器向云台电机发送第一控制指令,带动所述摄像机完成旋转,然后向所述摄像机发送第二控制指令,指示所述摄像机获取第二图像;
步骤三:根据所述第一图像和第二图像的空间位置关系,计算得到所述第一图像和第二图像之间的单应性矩阵;
步骤四:利用所述单应性矩阵,将所述第一图像、第二图像均映射到同一坐标系下,完成图像的初步拼接;
步骤五:图像融合;
步骤六:继续进行步骤二~步骤五的操作,直至实现全景图像。
进一步,所述步骤四中的同一坐标系为平面坐标系、柱面坐标系、球面坐标系中的任意一种。这样的设计,映射的选择因人而异,设计较为人性化。
进一步,所述步骤五中图像融合的方法为中值滤波法、加权平均法、多分辨率样条法、Possion方程或者高斯金字塔中的任意一种。这样的设计,图像融合的质量较佳。
进一步,所述步骤五中引进一个阈值T。这样的设计,可以避免上下行之间灰度差异较大造成新的接缝,确保拼接图像的质量。
进一步,所述阈值T的范围为1~5。这样的设计,拼接缝处的图像质量得到很大改观。
与现有技术相比,本发明提出的技术方案通过摄像机在两幅图像所对应的空间位置,计算得出图像之间的单应性矩阵。根据单应性矩阵,将两幅图像映射到同一融合平面拼接成一幅图像,进而实现多幅图像拼接得到全景图像的目的。
本发明的方法具有以下优点:
①不需要摄像机内部参数参与计算,避免了摄像机自标定的相关工作,降低了实施的复杂程度;
②单应性矩阵通过旋转参数直接计算得到,不必进行摄像机外参数的相关计算工作,降低了复杂性、难度,在精度方面也更能得到保证;
③计算过程实时性高,因此可实现拼接效果的实时显示,且图像质量的优劣不会对拼接精度造成任何影响;
④可以方便有效地实现连续多张图像的拼接;
⑤当两幅图像间没有重叠区域或者只有一列重叠像素时,本发明的方法也能满足图像拼接的需求。
附图说明
本发明可以通过附图给出的非限定性实施例进一步说明;
图1是本发明利用全景图像实时拼接方法进行图像处理的装置实施例的原理结构示意图;
图2是本发明全景图像实时拼接方法实施例的示意图;
图3是本发明全景图像实时拼接方法实施例中第一图像摄像机坐标系示意图;
图4是本发明全景图像实时拼接方法实施例中第一图像的像素点示意图;
图5是本发明全景图像实时拼接方法实施例中第一图像映射后的像素点示意图;
图6是本发明全景图像实时拼接方法实施例中对重叠区域进行加权平滑的示意图。
具体实施方式
为了使本领域的技术人员可以更好地理解本发明,下面结合附图和实施例对本发明技术方案进一步说明。
如图1和图2所示,本发明的一种全景图像实时拼接方法及装置,装置包括角度编码器、云台电机、云台、以及安装于云台上的摄像机和处理器,云台电机分别与云台、角度编码器以及处理器相连,用于根据处理器的第一控制指令,控制云台带动摄像机旋转;角度编码器与处理器相连,用于测量云台电机的旋转角度,并将测量结果发送至处理器;摄像机与处理器相连,用于根据处理器的第二控制指令进行拍摄,并将拍摄的图像发送至处理器;
方法包括以下处理步骤:
步骤一:处理器向摄像机发送第二控制指令,指示摄像机获取第一图像。
步骤二:处理器向云台电机发送第一控制指令,带动摄像机完成旋转;然后向摄像机发送第二控制指令,指示摄像机获取第二图像。
步骤三:根据第一图像和第二图像的空间位置关系,计算得到第一图像和第二图像之间的单应性矩阵。
设摄像机水平视场角为2θ,CCD靶面水平尺寸为w,则摄像机的焦距此处仅以水平方向为例,根据垂直方向参数推算焦距f的过程类似,此处不再赘述。
单应性矩阵,包括摄像机拍摄第一图像的坐标系及摄像机拍摄第二图像的坐标系相对于世界坐标系的旋转矩阵及平移向量。
图像坐标系与世界坐标系之间的投影映射关系,使用齐次坐标可以表述如下:
其中(X,Y,Z)为世界坐标系中的点P坐标,(u,v)为点P投影到图像坐标系中的点p坐标;s为尺度因子,K为摄像机内参矩阵,R为该图像坐标系相对于世界坐标系的旋转矩阵,t为该图像坐标系相对于世界坐标系的平移向量;R=[r1 r2 r3],r1、r2、r3、t为3行1列的列向量。
第一图像和第二图像之间的关系参数为线性,如果将其中一个坐标系作为世界坐标系时,则计算按照如下方式进行:
此处引入参数s,它是任意尺度的比例(目的是使得单应性定义到该尺度比例),通常根据习惯将该比例因子放在单应性矩阵H的外面,取值范围可为[0.8,1.5]。
故第一图像和第二图像之间的单应性矩阵H
H=K[r1 r2 t]
摄像机的内参矩阵K的计算方法如下:
根据摄像机的透视投影模型(即针孔成像模型),如果物点P在世界坐标系下的坐标为(X,Y,Z),对应的图像点p在图像坐标系的坐标为(u,v),则内参数矩阵K:
其中分别称为u轴和v轴上的归一化焦距;f是摄像机的焦距,dX和dY分别表示传感器u轴和v轴上单位像素的尺寸大小;u0和v0则表示的是光学中心,即摄像机光轴与图像平面的交点,通常位于图像中心处,故其值通常为分辨率的一半。
旋转矩阵R计算如下:
假设摄像机从拍摄第一图像的位置到第二图像位置,经过了水平角度为α、竖直角度为β的旋转,如图3所示。
即第一图像依次绕x,y轴旋转角度-β,-α得到第二图像,那么从第一图像到第二图像的旋转矩阵R等于矩阵Rx(-β)与矩阵Ry(-α)的乘积,即R=Rx(-β)·Ry(-α),其中:
故有:
从而,计算得到第一图像和第二图像之间的单应性矩阵。
步骤四:利用单应性矩阵,将第一图像、第二图像均映射到同一坐标系下(如平面坐标系、柱面坐标系、球面坐标系中的任意一种),完成图像的初步拼接。
以下叙述都是基于柱面坐标系进行的,也可以选用其他坐标系或者其中一幅图像本身的坐标系。
如图4和图5所示,将图4中的第一图像ABCD中的每一像素点经过柱面坐标变换到图5所示的A'B'C'D',然后利用所求的单应性矩阵变换关系将第二图像经柱面坐标变换逐一映射每一个像素点到柱面,这样就完成了图像的配准或对齐。
步骤五:若完成拼接后无重叠区域、且图像间颜色差异小,则可以不做融合处理;否则,大多数情况下,由于不同时刻的图像采样光强都有差异,因此在拼接的边界处都会有明显的缝隙,为了使拼接后的效果更好,本发明对拼接后的图像进行图像融合。图像融合的目的在于消除颜色或光强的不连续性,让图像在拼接处的光强平滑过渡以消除光强的突变。图像融合方法可采用中值滤波法、加权平均法、多分辨率样条法、Possion方程或者高斯金字塔中的任意一种。
在实际中,对重叠区域进行加权平滑是一种使用较多的方法。这种方法的思路是:图像重叠区域中,像素点的灰度值Pixel由两幅图像中对应点的灰度值LPixel和RPixel加权平均得到,即:
Pixel=k×LPixel+(1-k)×RPixel
其中:k是渐变因子,满足条件:0<k<1,在重叠区域中,按照从左图像到右图像的方向,k由1渐变至0,由此实现了在重叠区域中由左边重叠区慢慢过渡到右边重叠区的平滑拼接,如图6所示。
加权平滑公式需要满足条件:寻找最佳拼接线时,采用一个滑动窗口在图像重叠区上逐行选择灰度值差异最小的像元作为最佳拼接点。但是,如果按照这种拼接点选择法,会出现一个新问题,就是往往会出现上下行拼接点位置相差较远的现象,这样拼接后有时因上下行之间灰度差异较大而造成新的接缝。
为避免这类现象发生,不仅要考虑相邻拼接点的灰度值差异,而且还要考虑相邻拼接点的位置不能太远。因此,引进一个阈值T,把选择最佳拼接点的范围限制在这个阈值范围内。除第一行按灰度值差异最小的原则处理外,其他各行的拼接点从一个选定区域中选取:即与上一行所选拼接点同列的点及以该点为中心左右宽度为T的区域中的点。在这个区域中选取一个最佳拼接点,选出每行的拼接点后连接成一条拼接线,由筛选的规则而知,这条拼接线可能是条折线。
这样,由于各行都是选择规定邻域内灰度差异最小的点作为拼接点,接缝现象就会得到很大的改观。同时,T的值又不能选取得太大,实际应用中在1至5之间选取为佳。找出最佳拼接缝后,按前面加权平滑对重叠区域再进行过渡,可以使拼接缝处的图像质量得到很大改观。
步骤六:继续进行步骤二~步骤五的操作,直至实现全景图像。
上述实施例仅示例性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (6)

1.一种全景图像实时拼接方法,其特征在于:包括以下处理步骤:
步骤一:所述处理器向摄像机发送第二控制指令,指示所述摄像机获取第一图像;
步骤二:所述处理器向云台电机发送第一控制指令,带动所述摄像机完成旋转,然后向所述摄像机发送第二控制指令,指示所述摄像机获取第二图像;
步骤三:根据所述第一图像和第二图像的空间位置关系,计算得到所述第一图像和第二图像之间的单应性矩阵;
步骤四:利用所述单应性矩阵,将所述第一图像、第二图像均映射到同一坐标系下,完成图像的初步拼接;
步骤五:图像融合;
步骤六:继续进行步骤二~步骤五的操作,直至实现全景图像。
2.根据权利要求1所述的一种全景图像实时拼接方法,其特征在于:所述步骤四中的同一坐标系为平面坐标系、柱面坐标系、球面坐标系中的任意一种。
3.根据权利要求2所述的一种全景图像实时拼接方法,其特征在于:所述步骤五中图像融合的方法为中值滤波法、加权平均法、多分辨率样条法、Possion方程或者高斯金字塔中的任意一种。
4.根据权利要求3所述的一种全景图像实时拼接方法,其特征在于:所述步骤五中引进一个阈值T。
5.根据权利要求4所述的一种全景图像实时拼接方法,其特征在于:所述阈值T的范围为1~5。
6.利用如权利要求1~5中任意一项所述的一种全景图像实时拼接方法进行图像处理的装置,其特征在于:包括角度编码器、云台电机、云台、以及安装于所述云台上的摄像机和处理器,所述云台电机分别与云台、角度编码器以及处理器相连,用于根据所述处理器的第一控制指令,控制所述云台带动所述摄像机旋转;所述角度编码器与处理器相连,用于测量所述云台电机的旋转角度,并将测量结果发送至处理器;所述摄像机与处理器相连,用于根据所述处理器的第二控制指令进行拍摄,并将拍摄的图像发送至处理器。
CN201710418404.6A 2017-06-06 2017-06-06 一种全景图像实时拼接方法及装置 Pending CN109003226A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710418404.6A CN109003226A (zh) 2017-06-06 2017-06-06 一种全景图像实时拼接方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710418404.6A CN109003226A (zh) 2017-06-06 2017-06-06 一种全景图像实时拼接方法及装置

Publications (1)

Publication Number Publication Date
CN109003226A true CN109003226A (zh) 2018-12-14

Family

ID=64572790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710418404.6A Pending CN109003226A (zh) 2017-06-06 2017-06-06 一种全景图像实时拼接方法及装置

Country Status (1)

Country Link
CN (1) CN109003226A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110174093A (zh) * 2019-05-05 2019-08-27 腾讯科技(深圳)有限公司 定位方法、装置、设备和计算机可读存储介质
CN111429353A (zh) * 2020-03-27 2020-07-17 贝壳技术有限公司 图像拼接及全景图拼接方法和装置、存储介质、电子设备
CN113129211A (zh) * 2021-06-16 2021-07-16 贝壳技术有限公司 光心对齐检测方法和装置、存储介质、电子设备
CN114554281A (zh) * 2022-02-18 2022-05-27 深圳市华胜软件技术有限公司 视频画面拼接方法、装置、终端和存储介质
WO2022246608A1 (zh) * 2021-05-24 2022-12-01 深圳市大疆创新科技有限公司 生成全景视频的方法、装置和可移动平台
CN117315050A (zh) * 2023-11-28 2023-12-29 四川省东舜智能科技有限公司 一种摄像机标定方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710932A (zh) * 2009-12-21 2010-05-19 深圳华为通信技术有限公司 图像拼接方法及装置
CN102207674A (zh) * 2010-03-30 2011-10-05 鸿富锦精密工业(深圳)有限公司 全景图像拍摄装置及方法
WO2013144437A2 (en) * 2012-03-28 2013-10-03 Nokia Corporation Method, apparatus and computer program product for generating panorama images
CN103826103A (zh) * 2014-02-27 2014-05-28 浙江宇视科技有限公司 云台摄像机巡航控制方法
CN106023086A (zh) * 2016-07-06 2016-10-12 中国电子科技集团公司第二十八研究所 一种基于orb特征匹配的航拍影像及地理数据拼接方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710932A (zh) * 2009-12-21 2010-05-19 深圳华为通信技术有限公司 图像拼接方法及装置
CN102207674A (zh) * 2010-03-30 2011-10-05 鸿富锦精密工业(深圳)有限公司 全景图像拍摄装置及方法
WO2013144437A2 (en) * 2012-03-28 2013-10-03 Nokia Corporation Method, apparatus and computer program product for generating panorama images
CN103826103A (zh) * 2014-02-27 2014-05-28 浙江宇视科技有限公司 云台摄像机巡航控制方法
CN106023086A (zh) * 2016-07-06 2016-10-12 中国电子科技集团公司第二十八研究所 一种基于orb特征匹配的航拍影像及地理数据拼接方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110174093A (zh) * 2019-05-05 2019-08-27 腾讯科技(深圳)有限公司 定位方法、装置、设备和计算机可读存储介质
CN110174093B (zh) * 2019-05-05 2022-10-28 腾讯科技(深圳)有限公司 定位方法、装置、设备和计算机可读存储介质
US12033388B2 (en) 2019-05-05 2024-07-09 Tencent Technology (Shenzhen) Company Limited Positioning method, apparatus, device, and computer-readable storage medium
CN111429353A (zh) * 2020-03-27 2020-07-17 贝壳技术有限公司 图像拼接及全景图拼接方法和装置、存储介质、电子设备
WO2022246608A1 (zh) * 2021-05-24 2022-12-01 深圳市大疆创新科技有限公司 生成全景视频的方法、装置和可移动平台
CN113129211A (zh) * 2021-06-16 2021-07-16 贝壳技术有限公司 光心对齐检测方法和装置、存储介质、电子设备
CN113129211B (zh) * 2021-06-16 2021-08-17 贝壳技术有限公司 光心对齐检测方法和装置、存储介质、电子设备
CN114554281A (zh) * 2022-02-18 2022-05-27 深圳市华胜软件技术有限公司 视频画面拼接方法、装置、终端和存储介质
CN117315050A (zh) * 2023-11-28 2023-12-29 四川省东舜智能科技有限公司 一种摄像机标定方法
CN117315050B (zh) * 2023-11-28 2024-02-06 四川省东舜智能科技有限公司 一种摄像机标定方法

Similar Documents

Publication Publication Date Title
CN109003226A (zh) 一种全景图像实时拼接方法及装置
CN111047510B (zh) 一种基于标定的大视场角图像实时拼接方法
WO2021120407A1 (zh) 一种基于多对双目相机的视差图像拼接与可视化方法
CN110782394A (zh) 全景视频快速拼接方法及系统
CN109064409B (zh) 一种移动机器人的视觉图像拼接系统及方法
US9900505B2 (en) Panoramic video from unstructured camera arrays with globally consistent parallax removal
CN103971375B (zh) 一种基于图像拼接的全景凝视相机空间标定方法
CN106023072B (zh) 一种用于曲面大屏幕的图像拼接显示方法
CN105243637B (zh) 一种基于三维激光点云进行全景影像拼接方法
CN110390640A (zh) 基于模板的泊松融合图像拼接方法、系统、设备及介质
CN106600644B (zh) 全景摄像机的参数矫正方法及装置
CN105354796B (zh) 用于行车辅助的图像处理方法及系统
CN104506828B (zh) 一种无有效重叠变结构的定点定向视频实时拼接方法
CN108629829B (zh) 一种球幕相机与深度相机结合的三维建模方法和系统
CN104618648B (zh) 一种全景视频拼接系统及拼接方法
CN109559355A (zh) 一种基于相机组的无公共视场的多相机全局标定装置及方法
CN103019643A (zh) 一种即插即用的大屏幕投影自动校正与拼接显示方法
CN105308503A (zh) 利用短程相机校准显示系统的系统和方法
EP3446283B1 (en) Image stitching method and device
CN107154014A (zh) 一种实时彩色及深度全景图像拼接方法
CN108364252A (zh) 一种多鱼眼镜头全景相机的矫正和标定方法
US20150178928A1 (en) Apparatus and method for determining the distinct location of an image-recording camera
CN105046647B (zh) 全液晶仪表360°全景车用监控系统及其工作方法
CN108596983A (zh) 面向多深度相机三维扫描的全自动标定装置及方法
CN105513074B (zh) 一种羽毛球机器人相机以及车身到世界坐标系的标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181214