CN111062873A - 一种基于多对双目相机的视差图像拼接与可视化方法 - Google Patents
一种基于多对双目相机的视差图像拼接与可视化方法 Download PDFInfo
- Publication number
- CN111062873A CN111062873A CN201911304513.0A CN201911304513A CN111062873A CN 111062873 A CN111062873 A CN 111062873A CN 201911304513 A CN201911304513 A CN 201911304513A CN 111062873 A CN111062873 A CN 111062873A
- Authority
- CN
- China
- Prior art keywords
- image
- binocular
- point
- parallax
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007794 visualization technique Methods 0.000 title claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims abstract description 33
- 230000009466 transformation Effects 0.000 claims abstract description 23
- 230000001131 transforming effect Effects 0.000 claims abstract description 9
- 238000005520 cutting process Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 37
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 5
- 238000012800 visualization Methods 0.000 abstract description 3
- 230000002194 synthesizing effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 7
- 238000003709 image segmentation Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/15—Processing image signals for colour aspects of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于多对双目相机的视差图像拼接与可视化方法,属于图像处理和计算机视觉领域。该方法首先利用标定算法,求解双目相机之间的位置关系,并利用这些先验信息求解图像之间的单应性矩阵;利用相机的内部参数和外物参数对深度图像进行相机坐标系的变换;利用图像之间的单应性矩阵计算出图像的重叠区域ROI,并建立能量模型,用图割算法求解;图割算法时间复杂度高,依赖于图的节点个数,本发明将图像分层,逐层求解并迭代,求出近似全局最优解的局部最优解;然后利用单应性矩阵对深度图像进行图像坐标系变换,并通过对拼接缝进行合成,实现无缝全景深度图像拼接;最后将视差图像的深度信息叠加到可见光图像上。本发明实现了大视场角全景视差图像显示,本发明的算法达到了实时,实现了大视差无缝全景视差图像拼接与可视化。
Description
技术领域
本发明属于图像处理和计算机视觉领域,具体涉及一种通过相机之间的外部参数旋转向量R与平移向量T计算图像之间的单应性矩阵,并运用图割寻找图像之间最佳拼接缝,再利用R和T、单应性矩阵和最佳过渡区域将视差图像进行拼接,最后将视差图像与可见光图像融合显示的方法。
背景技术
现阶段,无人驾驶技术发展迅速,无人驾驶技术需要保证安全性,而仅仅简单利用可见光图像不能很好的定位障碍物,不能获得障碍物距离,无法准确定位自身车辆。随着基于双目相机获得视差图像技术的完善,视差图像也作为基础数据用于无人驾驶领域。但是受限于视差图像的精度,双目相机的视场角较小,单对双目相机无法为自身车辆提供足够的环境信息。车辆的视场角越大,获取信息越完全,对驾驶的安全性有着更高的保证。为了使视差图像有更广的视场角范围,需要将多张视差图像拼接在一起。目前视差图像的拼接主要有以下两种方法:
1.利用特征点的拼接方法
此方法将通过提取图像之间的特征匹配点,然后求解相机之间的旋转向量R和平移向量T,再根据R、T对视差图像进行拼接。此方法的优点是拼接效果较好,使用灵活,可以在大部分场景中使用,缺点是计算复杂度高,无法满足无人驾驶的高实时性要求。
2.利用相机标定的拼接方法
此方法将通过使用棋盘格获取相机之间的外部参数R、T,然后对视差图像进行拼接。此方法拼接计算量小,实时性高,但在视差图像拼接过程中容易产生拼接缝,使拼接效果不佳。
将视差图像拼接过程分为相机坐标变换和图像坐标变换两个过程。相机坐标系的变换需要利用相机内部参数K和相机间的外部参数RT,在三维坐标系下进行计算;图像坐标系的变换需要利用相机图像之间的单应性矩阵H和可见光图像拼接的最佳过渡区域。图像坐标系变换过程需要预配准,匹配特征点计算相机间外部参数和单应性矩阵需要耗费大量的时间。经实验发现,相机角度固定,可以通过标定算法计算出相机之间的位置关系RT和相机的内参K,并通过RT与相机内参K,通过世界坐标系与图像坐标系的关系,推导出两幅图像之间的单应性矩阵,通过这种先验信息省略特征点匹配时间。图像配准完成,通过图割算法求解,图割算法费时,为了达到实时需要采用逐层处理图像,降低图割计算复杂度。利用基于图像得到的最佳拼接缝对变换图像坐标系后的视差图像进行无缝拼接处理。最后将视差图像信息叠加到可将光图像上,以便于观察环境的深度信息。
发明内容
为了克服现有技术的不足,本发明提供了一种基于多对双目相机的视差图像拼接与可视化方法:基于通过先验信息,即相机之间的位置关系R、T,预先求解图像之间的单应性矩阵,并对传统的图割算法进行改进,提高图割算法效率,然后用于视差图像的拼接,并将视差图像与可见光图像融合,使观察环境深度变得更方便。拼接过程需要每一台双目相机得到的图像信息和深度图像信息。
本发明的具体技术方案为:
一种基于多对双目相机的视差图像拼接与可视化方法,包括以下步骤:
步骤1)标定每个双目相机的内部参数和外部参数;内部参数K包括焦距focus和光心坐标Cx,Cy;外部参数包括旋转矩阵R和平移向量T;标定得到双目相机的基线长baseline;得到两个双目相机的可见光图像与视差图像;
步骤2)计算单应性矩阵:结合双目相机的内部参数和外部参数、相机间的摆放角度及场景平面距离d计算单应性矩阵H;d根据实际情况选取合适的数值,一般其范围为8~15m;具体步骤如下:
2-1)场景中的平面在两双目相机成像,设平面在第一个双目相机坐标系下的单位法向量为N,其到第一个双目相机中心(坐标原点)的距离即场景平面距离d,则平面π表示为:
NTC1=d (1)
其中,C1是三维点P在第一个双目相机坐标系下的三维坐标,其在第二个双目相机坐标系下的坐标为C2,则C1和C2的关系为:
C2=RC1+T (2)
式(2)进一步表示为:
其中,R和T分别为第一个双目相机到第二个双目相机的旋转向量和平移向量;
2-2)将步骤2-1)C1和C2由相机内部参数可以变换到图像坐标系下:
c1=K1C1 (4)
c2=K2C2 (5)
由公式(3)、(4)、(5)可得:
最终得到由内部参数、外部参数计算得到单应性矩阵的计算公式:
其中,c1为C1对应成像平面坐标系中的坐标,c2为C2对应成像平面坐标系中的坐标;K1为第一个双目相机的内部参数;K2为第二个双目相机的内部参数;最终得到的变换矩阵H即为3*3的矩阵,a11~a33代表具体数值;
步骤3)利用步骤1)和步骤2)中得到的双目相机的内部参数和双目相机间的外部参数,对视差图像进行相机坐标系变换,具体包含以下步骤:
3-1)利用第一个双目相机内部参数K1(基线长baseline1和焦距focus1),将视差图像还原为第一个双目相机坐标系下的点云,点云三维坐标C1(X1,Y1,Z1)的计算公式如下:
其中,x1、y1为第一个双目相机下的像素坐标;disparity为视差值;
3-2)利用第一个双目相机到第二个双目相机外部参数的R和T变换点云的相机坐标系,得到第二个双目坐标系下的三维点云坐标;坐标变换公式如下:
3-3)利用第二个双目相机的内部参数K2(基线长baseline2和焦距focus2)将点云还原为视差图像,此时只需要Z2计算得到第二个双目相机坐标系下的视差值,计算公式如下:
步骤4)构建重叠区域模型:利用步骤2)中得到的图像间的单应性矩阵H,计算图像重叠区域ROI,对重叠区域建模;数学模型建立的具体步骤如下:
4-1)对于重叠区域的两张图像像素,计算两张图像重叠区域对应RGB像素的第二范数,并构建t-links,第二范数的计算公式如下:
e(p,q)=||p-p′||+||q-q′|| (14)
||p-p′||=(Rp-Rp′)2+(Gp-Gp′)2+(Bp-Bp′)2 (15)
||q-q′||=(Rq-Rq′)2+(Gq-Gq′)2+(Bq-Bq′)2 (16)
其中,e(·)表示权函数,p为源图像,q为目标图像,p为p图像一点的像素值,p′为p邻接点的像素值,q为目标图像一点的像素值,q′为q邻接点的像素值,Rp为p点R通道数值,Rp′为p′点R通道的数值,Gp为p点G通道数值,Gp′为p′点G通道的数值,Bp为p点B通道数值,Bp′为p′点B通道的数值,Rq为q点R通道数值,Rq′为q′点R通道数值,Gq为q点G通道数值,Gq′为q′点G通道数值,Bq为q点B通道数值,Bq′为q′点B通道数值;
4-2)对建立模型求其最佳缝合线,用图割方式求解(拼接缝),能量函数定义为:
E(f)=∑p,q∈NSp,q(lp,lq)+∑p∈PDP(lp) (17)
其中,Sp,q为平滑项表示将重叠区域的一对像素(p,q)分配给(lp,lq)的代价,lp为像素p分配的标签,lq为像素q分配的标签,DP为数据项表示将重叠区域像素p标记为lp的代价;
步骤5)将图像分为B1*B2大小的块,将分成的块看作图的节点,进行图割,找到局部最优解,再将B1*B2对应的最优缝合线所对应的节点继续分块,直至最终分块大小等于像素值,这样通过每次寻找局部最优解,最终近似的找到全局最优解;
步骤6)利用单应性矩阵H进行视差图像的图像坐标系的变换;对步骤5)中的最优缝合线进行无缝拼接;所述的视差图像拼接具体包括以下步骤:
6-1)将第一个双目相机视差图像变换到第二个双目相机的图像坐标系下:
其中,x1、y1为第一个双目相机的图像坐标系下的坐标;x2、y2为第二个双目相机的图像坐标系下的坐标;w为归一化系数;
6-2)拼接图像:比较图像坐标系变换后的第一个双目图像和第二个双目图像对应于最佳拼接缝的位置,分别将两张可见光图像和两张视差图像合并起来;
当双目相机大于两个时,重复步骤3)-步骤6),得到更广视场角的视差图像。
步骤7)将拼接后的视差信息添加到可见光图像上:具体如下:
7-1)将视差图像转换为彩色图,用色彩信息替换视差信息,由不同的色彩来表示不同的深度;
7-2)将由视差图像得到的彩色图与可见光图像叠加融合,叠加方法为加权平均法:
融合图像=k*可见光图像+(1-k)*彩色图 (19)
其中k为加权系数。
本发明的有益效果:本发明实现了大视场角全景视差图像显示,本发明的算法达到了实时,实现了大视差无缝全景视差图像拼接与可视化。本发明有以下几个优点:(1)程序对于内存以及硬件要求较低,可以在Nvidia TX2上达到实时;(2)程序简单,易于实现;(3)先验信息获得之后,可以直接作为参数传入,作为默认值;(4)将由图像得到的最佳拼接缝应用于视差图像的拼接,实现无缝拼接;(5)将视差图像信息叠加到可见光图像上。
本发明充分利用了图像的先验信息,减少了图像配准时间;所提出的方法具有很好的可扩展性,通过简单的输入相机的R和T、内部参数K,并手动设置d值,可以实现多对相机的全景显示,并且将视差图像信息叠加至可见光图像上,更直观的显示环境深度信息。
附图说明
图1是本发明的流程图。
图2是本发明实施例双目相机的系统结构图。
具体实施方式
本发明提出了一种基于多对双目相机的视差图像拼接与可视化方法,结合附图及实施例详细说明如下:
本发明以水平摆放的多对双目相机为成像系统进行多视点图像采集,其中K1为第一台双目相机的内部参数,K2为第二台双目相机的内部参数。每台双目相机分辨率为1024*768,视频的帧率大于20帧/每秒,系统参考结构如图2。在此基础上,计算每对双目相机之间的空间变换关系R和T,并通过R和T与成像平面距离d计算图像之间的单应性矩阵H,以中间图像为基准,计算图像水平方向的平移量,最后将计算好的参数作为输入进行拼接,并进行可视化处理。具体流程如下:
1)系统标定及数据采集
1-1)对每对双目相机标定,得到每对双目相机的包括焦距、光心的内部参数和包括旋转、平移的外部参数;
1-2)将每对双目相机分别连在多台电脑上,并用一个路由器控制进行数据同步采集;
1-3)采用专用定制的标定板,同时采集图像,注意采集过程中一定确保双目相机之间的位置关系保持一致,并保持标定板固定,旋转标定板,根据实际情况,每对双目相机分别采集10到15组图像。
2)计算图像变换之间的单应性矩阵
2-1)场景中的平面在两相机的成像,设平面在第一台相机坐标系下的单位法向量为N,其到第一台相机中心(坐标原点)的距离为d,则平面π可表示为:
NTC1=d
其中,C1是三维点P在第一相机坐标系下的坐标,X1其在第二台相机坐标系下的坐标为C2,两者关系为:
C2=R*C1+T
2-2)步骤2-1)得到的单应矩阵由第一台相机坐标系取得,还需要将其变换到成像平面坐标系中:
c1=K1C1
c2=K2C2
H=K1H′K2 -1
上式中d值可以手动设定,其余为定值。以此得到第一个双目相机到第二个双目相机的单应性矩阵H。
3)应用步骤1)和2)中计算得到的双目相机的内部参数和双目相机间的外部参数,对视差图像进行相机坐标系变换;
3-1)应用第一对双目相机内部参数K1等将视差图像还原为第一相机坐标系下的点云:
3-2)应用第一台双目相机到第二台双目相机的R和T变换点云的相机坐标系:
应用中间视点双目相机的内部参数K2将点云还原为视差图像,此时只需要Z2便可以得到视差图像,计算公式如下:
计算图像重叠区域并建模求解最佳拼接缝:首先通过图像间的单应性矩阵,计算重叠区域ROI,建立重叠区域模型;具体步骤如下:
4-1)利用图像间的单应性矩阵计算重叠区域大小:
取图像的四个顶点(0,0)、(img.cols,0)、(img.cols,img.rows)、(0,img.rows),计算转换后的坐标,变换后的左上角坐标为拼接后图像,单应性变换矩阵H为:
计算公式为:
其中,x为原图像p点经透视变换变换后的x轴坐标,y为原图像p点经透视变换变换后的y轴坐标,u为原图像p点x轴坐标,v为原图像p点y轴坐标;
4-2)建立能量模型(Seam-Driven Image Stitching),构建图割算法的能量函数:
其中,数据项Dp(lp)表示重叠区域内像素p赋值:
为了避免标记错误,μ设为一个非常大的数;
Sp,q(lp,lq)为平滑项:
Sp,q(lp,lq)=I*(p)+I*(q)
I*(p)=||I0(.)-I1(.)||2
5)模型建立完毕,运用图割进行求解,结果为最佳拼接缝,可知能量函数的构建对于拼接缝的结果十分重要。
5-1)由于图割运算时间与图的节点个数有关,算法复杂度较高,只能通过对重叠区域进行下采样或者分层,减少构建的图的节点数,通过此方法求得的局部最优解近似等于全局最优解,才能使算法的实时性达到要求。
5-2)此外,图割算法并行化同时可以起到进一步的加速效果。(Fast graphcut onGPU CVPR2008)
6)视差图像拼接具体包括以下步骤:
6-1)将第一台双目相机深度图像变换到第二台双目相机的图像坐标系下:
6-2)拼接视差图像:比较图像坐标系变换后的视差图像和中间视差图像对应于最佳拼接缝的位置,将两张视差图像合并起来。
步骤1)~6)完成一对双目相机的视差图像拼接,重复即可完成第二对双目相机(如第二台与第三台双目相机)视差图像的拼接。
步骤7)将拼接后的视差信息添加到可见光图像上:
7-1)将视差图像转换为彩色图,用色彩信息替换视差信息,由不同的色彩来表示不同的深度;其中,视察图像计算得到的彩色图包括但不限于伪彩色图、彩虹图;
7-2)将由视差图像得到的彩色图与可见光图像叠加融合,叠加方法为加权平均法:
融合图像=k*可见光图像+(1-k)*彩色图
k为加权系数;k较大(1~0.5)是可以更清楚的观察可见光信息;k较小(0.5~0)时可以更多的观察深度信息。
Claims (10)
1.一种基于多对双目相机的视差图像拼接与可视化方法,其特征在于,所述的方法包括以下步骤:
步骤1)标定每个双目相机的内部参数和外部参数;内部参数K包括焦距focus和光心坐标Cx,Cy;外部参数包括旋转矩阵R和平移向量T;标定得到双目相机的基线长baseline;得到两个双目相机的可见光图像与视差图像;
步骤2)计算单应性矩阵:结合双目相机的内部参数和外部参数、相机间的摆放角度及场景平面距离d计算单应性矩阵H;所述d的取值范围为8~15m;
步骤3)利用步骤1)和步骤2)中得到的双目相机的内部参数和双目相机间的外部参数,对视差图像进行相机坐标系变换;
步骤4)构建重叠区域模型:利用步骤2)中得到的图像间的单应性矩阵H,计算图像重叠区域ROI,对重叠区域建模;
步骤5)将图像分为B1*B2大小的块,将分成的块看作图的节点,进行图割,找到局部最优解,再将B1*B2对应的最优缝合线所对应的节点继续分块,直至最终分块大小等于像素值,这样通过每次寻找局部最优解,最终近似的找到全局最优解;
步骤6)利用单应性矩阵H进行视差图像的图像坐标系的变换;对步骤5)中的最优缝合线进行无缝拼接;当双目相机大于两个时,重复步骤3)-步骤6),得到更广视场角的视差图像;
步骤7)将拼接后的视差信息添加到可见光图像上。
2.根据权利要求1所述的一种基于多对双目相机的视差图像拼接与可视化方法,其特征在于,步骤2)所述的计算单应性矩阵的具体步骤如下:
2-1)场景中的平面在两双目相机成像,设平面在第一个双目相机坐标系下的单位法向量为N,其到第一个双目相机中心的距离即场景平面距离d,则平面π表示为:
NTC1=d (1)
其中,C1是三维点P在第一个双目相机坐标系下的三维坐标,其在第二个双目相机坐标系下的坐标为C2,则C1和C2的关系为:
C2=RC1+T (2)
式(2)进一步表示为:
其中,R和T分别为第一个双目相机到第二个双目相机的旋转向量和平移向量;
2-2)将步骤2-1)C1和C2由相机内部参数可以变换到图像坐标系下:
c1=K1C1 (4)
c2=K2C2 (5)
由公式(3)、(4)、(5)可得:
最终得到由内部参数、外部参数计算得到单应性矩阵的计算公式:
其中,c1为C1对应成像平面坐标系中的坐标,c2为C2对应成像平面坐标系中的坐标;K1为第一个双目相机的内部参数;K2为第二个双目相机的内部参数;最终得到的变换矩阵H即为3*3的矩阵,a11~a33代表具体数值。
3.根据权利要求1或2所述的一种基于多对双目相机的视差图像拼接与可视化方法,其特征在于,所述步骤3)具体包含以下步骤:
3-1)利用第一个双目相机内部参数K1即基线长baseline1和焦距focus1,将视差图像还原为第一个双目相机坐标系下的点云,点云三维坐标C1(X1,Y1,Z1)的计算公式如下:
其中,x1、y1为第一个双目相机下的像素坐标;disparity为视差值;
3-2)利用第一个双目相机到第二个双目相机外部参数的R和T变换点云的相机坐标系,得到第二个双目坐标系下的三维点云坐标;坐标变换公式如下:
3-3)利用第二个双目相机的内部参数K2即基线长baseline2和焦距focus2,将点云还原为视差图像,此时只需要Z2计算得到第二个双目相机坐标系下的视差值,计算公式如下:
4.根据权利要求1或2所述的一种基于多对双目相机的视差图像拼接与可视化方法,其特征在于,步骤4)所述的构建重叠区域模型具体步骤如下:
4-1)对于重叠区域的两张图像像素,计算两张图像重叠区域对应RGB像素的第二范数,并构建t-links,第二范数的计算公式如下:
e(p,q)=||p-p′||+||q-q′|| (14)
||p-p′||=(Rp-Rp′)2+(Gp-Gp′)2+(Bp-Bp′)2 (15)
||q-q′||=(Rq-Rq′)2+(Gq-Gq′)2+(Bq-Bq′)2 (16)
其中,e(·)表示权函数,p为源图像,q为目标图像,p为p图像一点的像素值,p′为p邻接点的像素值,q为目标图像一点的像素值,q′为q邻接点的像素值,Rp为p点R通道数值,Rp′为p′点R通道的数值,Gp为p点G通道数值,Gp′为p′点G通道的数值,Bp为p点B通道数值,Bp′为p′点B通道的数值,Rq为q点R通道数值,Rq′为q′点R通道数值,Gq为q点G通道数值,Gq′为q′点G通道数值,Bq为q点B通道数值,Bq′为q′点B通道数值;
4-2)对建立模型求其最佳缝合线,用图割方式求解拼接缝,能量函数定义为:
E(f)=∑p,q∈NSp,q(lp,lq)+∑p∈PDP(lp) (17)
其中,Sp,q为平滑项表示将重叠区域的一对像素(p,q)分配给(lp,lq)的代价,lp为像素p分配的标签,lq为像素q分配的标签,DP为数据项表示将重叠区域像素p标记为lp的代价。
5.根据权利要求3所述的一种基于多对双目相机的视差图像拼接与可视化方法,其特征在于,步骤4)所述的构建重叠区域模型具体步骤如下:
4-1)对于重叠区域的两张图像像素,计算两张图像重叠区域对应RGB像素的第二范数,并构建t-links,第二范数的计算公式如下:
e(p,q)=||p-p′||+||q-q′|| (14)
||p-p′||=(Rp-Rp′)2+(Gp-Gp′)2+(Bp-Bp′)2 (15)
||q-q′||=(Rq-Rq′)2+(Gq-Gq′)2+(Bq-Bq′)2 (16)
其中,e(·)表示权函数,p为源图像,q为目标图像,p为p图像一点的像素值,p′为p邻接点的像素值,q为目标图像一点的像素值,q′为q邻接点的像素值,Rp为p点R通道数值,Rp′为p′点R通道的数值,Gp为p点G通道数值,Gp′为p′点G通道的数值,Bp为p点B通道数值,Bp′为p′点B通道的数值,Rq为q点R通道数值,Rq′为q′点R通道数值,Gq为q点G通道数值,Gq′为q′点G通道数值,Bq为q点B通道数值,Bq′为q′点B通道数值;
4-2)对建立模型求其最佳缝合线,用图割方式求解拼接缝,能量函数定义为:
E(f)=∑p,q∈NSp,q(lp,lq)+∑p∈PDP(lp) (17)
其中,Sp,q为平滑项表示将重叠区域的一对像素(p,q)分配给(lp,lq)的代价,lp为像素p分配的标签,lq为像素q分配的标签,DP为数据项表示将重叠区域像素p标记为lp的代价。
9.根据权利要求1、2、5、7或8所述的一种基于多对双目相机的视差图像拼接与可视化方法,其特征在于,所述步骤7)的具体步骤如下:
7-1)将视差图像转换为彩色图,用色彩信息替换视差信息,由不同的色彩来表示不同的深度;
7-2)将由视差图像得到的彩色图与可见光图像叠加融合,叠加方法为加权平均法:
融合图像=k*可见光图像+(1-k)*彩色图 (19)
其中k为加权系数。
10.根据权利要求6所述的一种基于多对双目相机的视差图像拼接与可视化方法,其特征在于,所述步骤7)的具体步骤如下:
7-1)将视差图像转换为彩色图,用色彩信息替换视差信息,由不同的色彩来表示不同的深度;
7-2)将由视差图像得到的彩色图与可见光图像叠加融合,叠加方法为加权平均法:
融合图像=k*可见光图像+(1-k)*彩色图 (19)
其中k为加权系数。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911304513.0A CN111062873B (zh) | 2019-12-17 | 2019-12-17 | 一种基于多对双目相机的视差图像拼接与可视化方法 |
US17/283,119 US11350073B2 (en) | 2019-12-17 | 2020-03-05 | Disparity image stitching and visualization method based on multiple pairs of binocular cameras |
PCT/CN2020/077957 WO2021120407A1 (zh) | 2019-12-17 | 2020-03-05 | 一种基于多对双目相机的视差图像拼接与可视化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911304513.0A CN111062873B (zh) | 2019-12-17 | 2019-12-17 | 一种基于多对双目相机的视差图像拼接与可视化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111062873A true CN111062873A (zh) | 2020-04-24 |
CN111062873B CN111062873B (zh) | 2021-09-24 |
Family
ID=70302062
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911304513.0A Active CN111062873B (zh) | 2019-12-17 | 2019-12-17 | 一种基于多对双目相机的视差图像拼接与可视化方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11350073B2 (zh) |
CN (1) | CN111062873B (zh) |
WO (1) | WO2021120407A1 (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111915482A (zh) * | 2020-06-24 | 2020-11-10 | 福建(泉州)哈工大工程技术研究院 | 一种适用于固定场景的图像拼接方法 |
CN112085653A (zh) * | 2020-08-07 | 2020-12-15 | 四川九洲电器集团有限责任公司 | 基于景深补偿的视差图像拼接方法 |
CN112363682A (zh) * | 2020-11-19 | 2021-02-12 | 北京华建纵横科技有限公司 | 一种拼接显示屏图像显示处理方法、装置、系统及计算机可读存储介质 |
CN112396562A (zh) * | 2020-11-17 | 2021-02-23 | 中山大学 | 一种高动态范围场景下基于rgb与dvs图像融合的视差图增强方法 |
CN113100941A (zh) * | 2021-04-12 | 2021-07-13 | 中国科学院苏州生物医学工程技术研究所 | 基于ss-oct手术导航系统的图像配准方法及系统 |
CN117876647A (zh) * | 2024-03-13 | 2024-04-12 | 大连理工大学 | 基于双目视觉和多尺度单应性回归的图像拼接方法 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111982058A (zh) * | 2020-08-04 | 2020-11-24 | 北京中科慧眼科技有限公司 | 一种基于双目相机的测距方法、系统、设备和可读存储介质 |
CN113848884B (zh) * | 2021-09-07 | 2023-05-05 | 华侨大学 | 一种基于特征融合和时空约束的无人驾驶工程机械决策方法 |
CN113963052B (zh) * | 2021-09-22 | 2023-08-18 | 西安交通大学 | 一种基于双目视觉的大型浮空器体积实时监测方法 |
CN113822949B (zh) * | 2021-11-22 | 2022-02-11 | 湖南中腾结构科技集团有限公司 | 一种双目相机的标定方法、装置及可读存储介质 |
CN114022692A (zh) * | 2022-01-06 | 2022-02-08 | 杭州灵西机器人智能科技有限公司 | 一种高效精确的误差数据表示方法及终端 |
CN114359365B (zh) * | 2022-01-11 | 2024-02-20 | 合肥工业大学 | 一种具有高分辨率的汇聚式双目视觉测量方法 |
CN115965677A (zh) * | 2022-03-24 | 2023-04-14 | 张国流 | 基于仿生立体视觉的三维重建方法、设备及存储介质 |
CN115112024B (zh) * | 2022-05-31 | 2023-09-26 | 江苏濠汉信息技术有限公司 | 线材长度测量过程中纹理定位的算法 |
CN115131213A (zh) * | 2022-07-27 | 2022-09-30 | 成都市晶林科技有限公司 | 一种实时红外双目图像拼接方法及系统 |
CN115375681B (zh) * | 2022-10-24 | 2023-02-03 | 常州铭赛机器人科技股份有限公司 | 一种基于图像拼接的大尺寸目标测量方法 |
CN115731303B (zh) * | 2022-11-23 | 2023-10-27 | 江苏濠汉信息技术有限公司 | 基于双向双目视觉的大跨度输电导线弧垂三维重建方法 |
CN116051658B (zh) * | 2023-03-27 | 2023-06-23 | 北京科技大学 | 基于双目视觉进行目标检测的相机手眼标定方法及装置 |
CN116168066B (zh) * | 2023-04-25 | 2023-07-21 | 河海大学 | 基于数据分析的建筑物三维点云配准预处理方法 |
CN117291804A (zh) * | 2023-09-28 | 2023-12-26 | 武汉星巡智能科技有限公司 | 基于加权融合策略的双目图像实时拼接方法、装置及设备 |
CN118015237B (zh) * | 2024-04-09 | 2024-06-21 | 松立控股集团股份有限公司 | 基于全局相似性最佳接缝的多视角图像拼接方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105678687A (zh) * | 2015-12-29 | 2016-06-15 | 天津大学 | 基于图像内容的立体图像拼接方法 |
US20160269717A1 (en) * | 2015-03-12 | 2016-09-15 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and recording medium |
CN106886979A (zh) * | 2017-03-30 | 2017-06-23 | 深圳市未来媒体技术研究院 | 一种图像拼接装置及图像拼接方法 |
CN110337386A (zh) * | 2017-01-04 | 2019-10-15 | 德克萨斯仪器股份有限公司 | 用于后视图可视化的后拼接全景视图 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020513699A (ja) | 2016-11-23 | 2020-05-14 | レアリザシオンズ インコーポレイテッド モントリオール | 自動校正投射システムおよび方法 |
US10373362B2 (en) * | 2017-07-06 | 2019-08-06 | Humaneyes Technologies Ltd. | Systems and methods for adaptive stitching of digital images |
CN107767339B (zh) | 2017-10-12 | 2021-02-02 | 深圳市未来媒体技术研究院 | 一种双目立体图像拼接方法 |
CN109978760B (zh) | 2017-12-27 | 2023-05-02 | 杭州海康威视数字技术股份有限公司 | 一种图像拼接方法及装置 |
CN108470324B (zh) | 2018-03-21 | 2022-02-25 | 深圳市未来媒体技术研究院 | 一种鲁棒的双目立体图像拼接方法 |
-
2019
- 2019-12-17 CN CN201911304513.0A patent/CN111062873B/zh active Active
-
2020
- 2020-03-05 US US17/283,119 patent/US11350073B2/en active Active
- 2020-03-05 WO PCT/CN2020/077957 patent/WO2021120407A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160269717A1 (en) * | 2015-03-12 | 2016-09-15 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and recording medium |
CN105678687A (zh) * | 2015-12-29 | 2016-06-15 | 天津大学 | 基于图像内容的立体图像拼接方法 |
CN110337386A (zh) * | 2017-01-04 | 2019-10-15 | 德克萨斯仪器股份有限公司 | 用于后视图可视化的后拼接全景视图 |
CN106886979A (zh) * | 2017-03-30 | 2017-06-23 | 深圳市未来媒体技术研究院 | 一种图像拼接装置及图像拼接方法 |
Non-Patent Citations (4)
Title |
---|
LEE, KY等: "Stitching for Multi-view Videos With Large Parallax Based on Adaptive Pixel Warping", 《IEEE ACCESS》 * |
YINGSONG HU等: "An Parallax Image Stitching Method Based on Dynamic Mesh Partition", 《2018 11TH INTERNATIONAL SYMPOSIUM ON COMPUTATIONAL INTELLIGENCE AND DESIGN (ISCID)》 * |
张晶晶: "基于多层次特征提取与匹配的视差图像拼接算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
袁雪姣等: "面向双目立体视觉的迭代式局部颜色校正", 《计算机辅助设计与图形学学报》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111915482A (zh) * | 2020-06-24 | 2020-11-10 | 福建(泉州)哈工大工程技术研究院 | 一种适用于固定场景的图像拼接方法 |
CN111915482B (zh) * | 2020-06-24 | 2022-08-05 | 福建(泉州)哈工大工程技术研究院 | 一种适用于固定场景的图像拼接方法 |
CN112085653A (zh) * | 2020-08-07 | 2020-12-15 | 四川九洲电器集团有限责任公司 | 基于景深补偿的视差图像拼接方法 |
CN112396562A (zh) * | 2020-11-17 | 2021-02-23 | 中山大学 | 一种高动态范围场景下基于rgb与dvs图像融合的视差图增强方法 |
CN112396562B (zh) * | 2020-11-17 | 2023-09-05 | 中山大学 | 一种高动态范围场景下基于rgb与dvs图像融合的视差图增强方法 |
CN112363682A (zh) * | 2020-11-19 | 2021-02-12 | 北京华建纵横科技有限公司 | 一种拼接显示屏图像显示处理方法、装置、系统及计算机可读存储介质 |
CN112363682B (zh) * | 2020-11-19 | 2024-01-30 | 北京华建纵横科技有限公司 | 一种拼接显示屏图像显示处理方法、装置、系统及计算机可读存储介质 |
CN113100941A (zh) * | 2021-04-12 | 2021-07-13 | 中国科学院苏州生物医学工程技术研究所 | 基于ss-oct手术导航系统的图像配准方法及系统 |
CN113100941B (zh) * | 2021-04-12 | 2022-03-08 | 中国科学院苏州生物医学工程技术研究所 | 基于ss-oct手术导航系统的图像配准方法及系统 |
CN117876647A (zh) * | 2024-03-13 | 2024-04-12 | 大连理工大学 | 基于双目视觉和多尺度单应性回归的图像拼接方法 |
CN117876647B (zh) * | 2024-03-13 | 2024-05-28 | 大连理工大学 | 基于双目视觉和多尺度单应性回归的图像拼接方法 |
Also Published As
Publication number | Publication date |
---|---|
US20220046218A1 (en) | 2022-02-10 |
US11350073B2 (en) | 2022-05-31 |
WO2021120407A1 (zh) | 2021-06-24 |
CN111062873B (zh) | 2021-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111062873B (zh) | 一种基于多对双目相机的视差图像拼接与可视化方法 | |
CN111028155B (zh) | 一种基于多对双目相机的视差图像拼接方法 | |
CN111047510B (zh) | 一种基于标定的大视场角图像实时拼接方法 | |
US11170561B1 (en) | Techniques for determining a three-dimensional textured representation of a surface of an object from a set of images with varying formats | |
KR101265667B1 (ko) | 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법 | |
JP4825971B2 (ja) | 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。 | |
CN110838164B (zh) | 基于物体点深度的单目图像三维重建方法、系统及装置 | |
JP2007192832A (ja) | 魚眼カメラの校正方法。 | |
US11380111B2 (en) | Image colorization for vehicular camera images | |
CN113496503B (zh) | 点云数据的生成及实时显示方法、装置、设备及介质 | |
Li et al. | Spherical stereo for the construction of immersive VR environment | |
JP2023505891A (ja) | 環境のトポグラフィを測定するための方法 | |
CN115330594A (zh) | 一种基于无人机倾斜摄影3d模型的目标快速识别与标定方法 | |
CN114022562A (zh) | 一种保持行人完整性的全景视频拼接方法和装置 | |
JP3387900B2 (ja) | 画像処理方法及び装置 | |
CN109089100B (zh) | 一种双目立体视频的合成方法 | |
CN114693749A (zh) | 一种用于关联不同的物理坐标系的方法及系统 | |
Rameau et al. | Control of a PTZ camera in a hybrid vision system | |
Agrawal et al. | RWU3D: Real World ToF and Stereo Dataset with High Quality Ground Truth | |
Zhang et al. | Design of a 3D reconstruction model of multiplane images based on stereo vision | |
Xiong et al. | Panoramic image mosaics assisted by lidar in vehicle system | |
Fuchs et al. | Dense Surround View Computation with Perspective Correctness | |
Amini et al. | Evaluating a new stereo panorama system based on stereo cameras | |
CN118230014A (zh) | 目标的标注方法、装置和存储介质 | |
Jin et al. | Automatic Registration of Mobile LiDAR Data and Multi-lens Combined Images using Image Initial Poses |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |