CN111429571B - 一种基于时空图像信息联合相关的快速立体匹配方法 - Google Patents
一种基于时空图像信息联合相关的快速立体匹配方法 Download PDFInfo
- Publication number
- CN111429571B CN111429571B CN202010295935.2A CN202010295935A CN111429571B CN 111429571 B CN111429571 B CN 111429571B CN 202010295935 A CN202010295935 A CN 202010295935A CN 111429571 B CN111429571 B CN 111429571B
- Authority
- CN
- China
- Prior art keywords
- image
- matching
- stereo
- correlation
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000004364 calculation method Methods 0.000 claims abstract description 20
- 238000012937 correction Methods 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000003702 image correction Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000011160 research Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了机器视觉领域的一种基于时空图像信息联合相关的快速立体匹配方法,步骤包括:获取目标物体的左右视频图像序列对;按照时间先后顺序,对左右视频图像序列对进行时空归一化相关匹配视差计算,获取视频图像的匹配视差;根据预先设置的立体视觉标定参数和匹配视差,实现目标物体的三维重建。本发明所提利用时空图像信息相关实现立体匹配的方法利用前后视差指导匹配约束性从而减小了立体匹配范围,提高了立体视觉重建的速度和稳定性。
Description
技术领域
本发明涉及机器视觉领域,特别涉及一种基于时空图像信息联合相关的快速立体匹配方法。
背景技术
人类的空间几何信息感知来自于视觉,利用视觉仿生原理进行三维重建是实现智能化技术的高效经济的手段。基于未来社会对机器三维感知的需求,双目视觉技术作为一种可获取物体三维几何信息的技术,被视为一门拥有广阔应用前景的学科。双目立体视觉在国内外获得快速发展,现已广泛应用于各种领域和场景。在智能生产,交通监控,机器导航,航空航天,医学建模,视觉仿真,文物复原,非接触高精度测量等方面,提供包括虚拟视觉仿真,视觉识别与定位等技术,意义在于能够加快生产的速度,提高产品的质量,使工业制造智能化。
立体视觉是机器视觉和三维测量的一种重要构建三维数据理论模型,根据是否增加结构光投影的信息补偿方式,分为了主动立体视觉和被动立体视觉。双目立体视觉技术是一种被动式三维测量方法,是通过计算立体像对中的同名点后根据三角测量原理实现的三维重建。要实现立体视觉包括摄像机标定、双目系统标定、图像校正、立体匹配、视差求解等主要过程,而实现稠密立体匹配计算视差就是立体视觉技术中要解决的一个极其重要的问题,是立体视觉技术实现的核心。
随着计算机科学技术的发展,大量的科学研究人员进入到计算机视觉研究领域,从不同的应用角度开展了全面的研究工作,在理论基础、实现手段和算法研究方面都取得了丰硕的成果。但是,他们也遇到一些难题,对于每一次的突破都成为计算机视觉的一个重大进步。立体匹配技术的现状主要为了研究一种匹配精度高、运算速度快的算法。立体匹配需要克服图像中弱纹理区域、重复纹理区域、光反射区域以及遮挡区域等诸多问题。
立体匹配的主要目的是计算出稠密视差图,然后实现三维地图重建。计算稠密视差的方法有最常见的归一化相关方法(NCC)、种子增长法(GCS:GrowingCorrespondenceSeeds)、E能量法、可变窗口的相关度计算方法、自适应窗口视差匹配方法、由粗到细多视差候选立体匹配、基于语义分割的立体匹配方法等。在上述方法中均是直接对每一帧立体像对直接计算相似度获得匹配图像坐标位置,当图像分辨率较高时计算量巨大,难以实现实时的三维地图构建能力,并且由于遮挡等问题存在,会导致当前帧无匹配或误匹配数据增多。
本发明考虑视觉导航领域中立体匹配图像是随时间变化的视频图像,且在时间轴上相邻前后两帧图像具有大量重叠三维世界的投影信息,所以在立体匹配中将空间信息(立体图像中左右相机拍摄场景信息的相关性)和时间信息(前后帧视差图的连贯过度性)相结合,以时间视差图的连贯性指导空间立体图像的匹配范围。因前后帧视差图之间的范围约束和正确性判断,缩小了立体匹配的图像范围减少了匹配时间,并通过数据融合和补充解决了单帧立体匹配视差遮挡存在的孔洞和错误问题。从而构建出动态复杂环境下机器视觉三维物理信息场,以此来指导各类移动机器人的自主导航、障碍规避等任务。
发明内容
本发明的目的是根据自主导航中时间轴上的图像渐变性,提出时空归一化互相关(Spatial and Temporal Normalized Cross Correlation,STNCC)匹配算法实现更加稳定、快速的稠密匹配,从而构建出动态复杂环境下机器人视觉三维物理信息场,提供了一种基于时空图像信息联合相关的快速立体匹配方法。
为了实现上述发明目的,本发明提供了以下技术方案:
一种基于时空图像信息联合相关的快速立体匹配方法,步骤包括:
A,获取目标物体的左右视频图像序列对;
B,按照时间先后顺序,对左右视频图像序列对进行时空归一化相关匹配视差计算,获取视频图像的匹配视差;
C,根据预先设置的立体视觉标定参数和匹配视差,实现目标物体的三维重建。
作为优选方案,步骤C中的立体视觉标定参数包括立体视觉系统的内参数、立体视觉系统的结构参数,立体视觉系统包括左相机和右相机,用于获取左右视频图像序列对。
进一步的,步骤B包括以下步骤:
采用归一化互相关匹配算法,根据左右视频图像序列对中的第一帧左图像和第一帧右图像,计算目标物体上每一个特征点对应的匹配视差值;
从左右视频图像序列对的第二帧左图像和第二帧右图像起,依据时间先后顺序,对后一帧左图像和右图像对进行匹配约束,并计算出每一帧左图像和右图像对的空间最大相关度,获取视频图像的匹配视差。
作为优选方案,从左右视频图像序列对的第二帧左图像和第二帧右图像起,依据时间先后顺序,对后一帧左图像和右图像对进行匹配约束,并计算出每一帧左图像和右图像对的空间最大相关度,获取视频图像的匹配视差具体步骤包括:
利用Pk-1点在图像Lk-1中的位置推算出目标物体特征点在图像Lk中的位置Pk,同时利用P″k-1在图像Rk-1中的位置推算出目标物体特征点在图像Rk中的位置pk′,Pk在pk′-δ→pk′+δ的像素范围内以图像块g为窗口采用归一化互相关匹配算法将Pk和pk′进行匹配搜索,寻找相关度最大时,相应的精确匹配点pk″;根据位置Pk和精确匹配点pk″,计算视频图像的匹配视差;
其中,δ为扩展区域,Pk是目标物体特征点在左相机拍摄图像上相应的点,pk′是P点在右相机拍摄图像上相应的点,L1,L2…Lk为左相机在不同时刻拍摄的图像,R1,R2…Rk为右相机在同步触发模式下与左相机同时拍摄的相应时刻的图像。
进一步的,扩展区域δ的范围是:最小为50个像素,最大为100个像素。
进一步的,图像块g的像素最小为3×3像素。
作为优选方案,步骤A包括以下步骤:
按时间先后顺序依次获取目标物体的多个左右视频图像对,每一个左右视频图像对包括同一时刻拍摄目标物体的左图像和右图像;
对左右视频图像对进行去噪处理和灰度直方图均衡化处理,实现左右视频图像对的灰度校正,获取左右视频图像序列对。
作为优选方案,步骤还包括,对左右视频图像序列对进行立体图像校正,获取校正立体图像序列对,视频图像的匹配视差根据校正立体图像序列对进行计算。
进一步的,立体图像校正采用BOUGUET校正算法,根据立体标定数据与矫正矩阵,完成极线校正。
基于相同的构思,本发明还提出了一种基于时空图像信息联合相关的快速立体匹配系统,包括至少一个处理器,以及与至少一个处理器通信连接的存储器;存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行上述任一项的方法。
与现有技术相比,本发明的有益效果:
本发明主要用于计算机视觉中立体视觉三维重建相关应用,如用于自动驾驶、移动机器人等的视觉自主导航等。利用本发明提出的时空相关立体视觉匹配方法有以下优点:
(1)本发明所提利用时空图像信息相关实现立体匹配的方法利用前后视差指导匹配约束性从而减小了立体匹配范围,与现有技术中的归一化互相关匹配算法相比,由于搜索范围的减小,相应的加快了匹配视差的速度,提高了立体视觉重建的速度和稳定性。
(2)本发明利用时间信息实现视差图的相关融合,提高了稠密匹配的完整性和鲁棒性。
附图说明:
图1为本发明一种基于时空图像信息联合相关的快速立体匹配方法流程图;
图2为本发明实施例1中的基于STNCC的快速稠密三维重建方法的流程图;
图3为本发明实施例1中的立体视觉系统标定相位标定板及特征点提取图;
图4为本发明实施例1中的立体视觉成像模型示意图;
图5为本发明实施例1中的双目视觉中的极线几何关系示意图;
图6本发明实施例1中的STNCC方法结构示意图。
具体实施方式
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例,凡基于本发明内容所实现的技术均属于本发明的范围。
实施例1
一种基于时空图像信息联合相关的快速立体匹配方法流程图如图1所示,作为具体的实施例,本发明实施例的方法流程图如图2所示,包括了三级处理,第一级包括了立体相机成像模型参数标定和立体相机结构关系参数标定;第二级包括了立体图像序列采集、噪声滤波和立体图像联合灰度直方图均衡化,预处理图像的立体校正,基于STNCC的快速、鲁棒性稠密立体匹配及误匹配点的约束剔除;第三级包括了稠密匹配视差的3D重建,基于3D地图信息的自主导航。以下分别将这三级处理做详细说明。
本发明中第一级的实施内容是立体视觉系统标定,本发明采用设计的横竖正交相位条纹图像通过显示器显示,将零相位数据的交点作为特征点来获得平面标定所需要的特征点,以显示器上的像素间距计算物理坐标,以拍摄图像的零相位交点作为对应图像坐标,如图3所示。
用张正友的平面标定算法分别对立体视觉的左右相机进行标定,获得精确的摄像机内参数,fx为列方向(x轴方向)的有效焦距,fy为行方向(y轴方向)的有效焦距,(u0,v0)为主点坐标。并同时获得每次平面标定板的拍摄位置,并通过同时拍摄的多个标定姿态关系,整体计算出立体视觉系统两个相机之间的旋转矩阵R和平移向量T。
立体视觉成像模型如图4所示,左右像平面共面且行对准,依照针孔相机模型,Or,Ol分别为左右相机光心,两相机光心间距离为极线B,f为相机焦距,P是空间中物体上一点,P点到相机投影中心平面距离为Z,左相机和右相机同时对包含P点的物体进行拍摄,得到左右相机的左右视频图像对,P点在左右像平面分别成像于点Pl(xl,yl),Pr(xr,yr),随着时间的推移,左右相机按时间顺序同时拍摄,就得到了左右视频图像对,每一个所述左右视频图像对包括同一时刻拍摄所述目标物体的左图像和右图像;
对左右视频图像对进行去噪处理和灰度直方图均衡化处理,完成左右视频图像对的灰度校正,输出用于匹配视差计算的左右视频图像序列对。
以左相机光心Ol为原点建立左相机坐标系,P点在左相机坐标系下的坐标(xc,yc,zc)可以表示为(1)式:
式中d=xl-xr,即视差,是P点在左右像平面上的匹配点在x轴方向图像坐标之差。
从上述立体视觉原理可见立体视觉是一种假想的完全统一的两个平行安装特性的相机,且公式(1)中可见在行方向上匹配点的值y相同。而实际应用中,在匹配计算之前需要对图像进行立体校正。
之所以需要立体校正,是因为双目视觉中需要满足一定的极线几何关系和极线约束,如图4所示,空间中任意一点Q在左右摄像机图像平面上的成像点分别为ql和qr。左相机的光心ol和右相机的光心or的连线叫做基线。基线与图像平面的交点叫做极点,如图el和er所示。空间中任意一点与两摄像机的光心3点所构成的平面叫做极平面。极平面与摄像机像平面的交线叫做极线。
图5是双目视觉中的极线几何关系示意图,基于图5说明在匹配计算之前需要对图像进行立体校正。图5中,ql与qr互为对应点。er、qr所在直线为点ql在右相机上的极线,el、ql所在直线为点qr在左相机上的极线。此时,有一个重要的结论:空间中任一点Q在左相机成像面上投影点ql的对应点一定在其右相机对应的极线上。反之,已知右相机上的投影点qr,其对应点也一定在其左相机对应的极线上。这个结论叫做极线约束,这是双目视觉中很重要的一个约束条件。它可以将对应点的搜索限制到一条直线上,不需要在整个像面的二维空间中进行搜索,大大减少了匹配的计算量。
因此,在匹配计算之前需要对图像进行立体校正,以满足上述约束条件。立体校正,常见的两种方法:一种是HARTLEY算法,另一种是BOUGUET算法。HARTLEY的极线校正算法不需要提前将两摄像机的参数标定出来,它通过基本矩阵和投影变换来求得。但是,缺点是无法保证重建数据的唯一性且畸变较大。BOUGUET校正算法需要提前对两摄像机的内参数和位置关系进行标定,精度和鲁棒性较高,应用较为广泛,matlab工具箱中的校正方法即为该方法。以下以此算法为例来说明校正的过程。
BOUGUET校正算法的思想为,首先利用两摄像机的位置关系将两相机的光轴校正平行(在此之前,已校正了图像畸变),如公式(2)所示。此时可以保证左右相机相面平行,但无法保证基线与像面平行且行对齐。
然后,利用一个校正矩阵Rrect将左相机的极点移动无穷远处,使基线与成像面平行,完成行对齐。以下通过构造3个向量e1、e2、e3来求解矫正矩阵Rrect:
极点所移动的方向即为两相机平移向量的方向,设e1为公式(3)所示,
e1=T/||T|| (3)
e2的方向与e1正交,为了计算简便使其也与光轴正交,故构造公式(4)如下,
e3与前两个向量相互正交,如公式(5)所示,
e3=e1×e2 (5)
得到以上三个向量后,校准矩阵Rrect如公式(6)所示,
Rrect=[e1 T e2 T e3 T] (6)
至此,通过立体标定数据与求得的Rrect矩阵,即可完成极线校正。得到光轴平行,基线平行,像面共面且对齐的平视双目结构。
立体图像因成像环境和成像单元感光电子噪声会引起匹配定位误差,本发明对立体图像序列进行了基于高斯噪声和随机噪声的滤波,采用高斯滤波与中值滤波的合体滤波窗口对图像进行预处理。由立体视觉系统的结构导致双目立体视觉系统中左右两台摄像机的增益和电平成像性能差异以及不同视场角入射光强的差异,所导致图像的成像灰度值差异都将导致在实际获得的立体图对中相同景物点像素灰度值存在差异。因此对左右立体图像采用联合灰度直方图均衡化进行灰度分布进行变换,最终达到左右图像的灰度分布尽可能接近,使两组图像的亮度差异达到平衡。
归一化互相关匹配算法(Normalized Cross Correlation,NCC)属于基于区域的灰度匹配,是图像特征匹配中常用的一种方法。在立体匹配时,它以两幅图像中图像区域块进行匹配,寻找最大相关度作为匹配坐标。假设两幅进行匹配计算的图像中的小图像块为g,其大小为m×n像素,立体图像为S,分辨率大小为M×N像素,用Sx,y表示S中以(x,y)为中心坐标位置大小与g相同的子块。利用相关系数公式计算实时图和基准图之间的相关系数,得到相关系数矩阵ρ(x,y)。
ρ(x,y)是x,y图像坐标的Pearson相关系数,其定义式为:
式中:
σ(Sx,y,g)是Sx,y和g的协方差;
Dx,y为Sx,y的方差:
D为的g方差:
将Dx,y和D入(5)式可得:
相关系数满足:
|ρ(x,y)|≤1 (11)
在[-1,1]绝对尺度范围之内衡量两者的相似性。相关系数刻画了两者之间的近似程度的线性描述,一般来说越接近1两者越近似的有线性关系。
针对视频图像的立体匹配,我们提出一种改进的NCC方法——时空归一化相关STNCC匹配方法,方法结构示意图如图6示。
传统的NCC匹配是一个时刻拍摄左右两张图像,然后对左图像的P1点在右图像上搜索同名点获得P1后下一个时刻再拍摄左右两张一对图像,再次进行匹配获得新的P2和P2'。这些计算过程是独立进行的。但是这个在图像上处于不同位置的P1和P2其实对应的是物体表面的同一点,成像后的样子差不多。又因为在时间维度上每时每刻都有新的图像视频传输进来。前一时刻和后一时刻拍摄照片中P1和P2在左图像中的位置相差不大。基于以上假设,对于视频图像序列的第二幅及以后的图像就不用直接像上面描述的利用NCC进行匹配获得新的P2和P2',而是采用提出的时空算法,在时间轴上先计算出下一个粗略点,这个粗略点的计算方法是:根据t1时刻获取的第一幅左图像中P1点的位置,算出t2时刻获取的第二幅左图像中P2(P1和P2都是物体上同一点)的大概位置。同理根据t1时刻获取的第一幅右图像中P1'点的位置算出t2时刻获取的第二幅右图像中P2对应的P2'的大概位置。如果没有误差的话P2和P2'就是同名点,但是因为有误差这里想再次细化提高精度,因此对P2和P2'利用NCC再计算一次,再次的计算,计算的范围就很小,而且计算NCC的窗口也很小,能够保证计算的精度。
传统的方法根据左右图像直接NCC计算匹配点时,对于左图像的P1在右图像中同一行进行依次各像素的扫描来计算能够匹配上的P1'点,而且扫描的窗口大小(前面所述的大小为m×n像素的小图像块为g)越大计算的速度就越慢,但是如果窗口很小时在右图像从第一个像素往右扫描时因为噪声的影响可能最大相关度位置并不准确。所以本文正是抓住了时间轴上前后两个时刻同名点移动位置很小先找出预匹配点,然后再用前述的NCC匹配算法在左右图像搜索,这时候不是从第一个像素搜索到最后一个像素,而是包含预匹配点的较小的匹配搜索区域,以小图像块g的窗口大小进行搜索,其匹配搜索区域缩小到p2′-δ→p2′+δ,其中δ一般采用最小为50个像素,最大为100个像素的阈值。
t2时刻以后的t3、t4……时刻,对每对左右图像均以此类推,采用相同的方式确定匹配搜索区域。具体步骤包括:
L1,L2…Lk为左相机在不同时刻拍摄的图像,R1,R2…Rk为右相机在同步触发模式下与左相机同时拍摄的相应时刻的图像。P0(x,y)点为空间物体在同一位置处不同时刻拍摄图像中的待匹配的同一特征点。以该点的匹配计算为例说明本方法,当开始获得立体像对(例如图像L1和图像R1)时,直接采用NCC算法计算其P0(x,y)点在图像L1和图像R1中的相关度ρ1(x,y),从而获得左右图像中最佳相关度匹配点P1和P1'。以时间顺序排序,从第二对立体像对开始,利用P1点在图像L1中的位置推算出P0(x,y)点在图像L2中的位置P2,同时利用P1'在图像R1中的位置推算出P0(x,y)点在图像R2中的位置P2',P2在p2′-δ→p2′+δ的像素范围内以小图像块g的窗口大小进行匹配搜索,找到相关度ρ2(x,y)最大时,相应的精确匹配点P2”,P2”可能是P2',也可能是匹配搜索区域p2′-δ→p2′+δ中的另外的点。
利用P2点在图像L2中的位置推算出P(x,y)点在图像L3中的位置P3,同时利用P2”在图像R2中的位置推算出P(x,y)点在图像R3中的位置P3',P3在p3′-δ→p3′+δ的像素范围内以小图像块g的窗口大小进行匹配搜索,找到相关度ρ3(x,y)最大时,相应的精确匹配点p3″。
类似的,利用Pn-1点在图像Lk-1中的位置推算出P(x,y)点在图像Lk中的位置Pk,同时利用P″k-1在图像Rk-1中的位置推算出P(x,y)点在图像Rk中的位置pk′,Pk在pk′-δ→pk′+δ的像素范围内以小图像块g的窗口大小进行匹配搜索,找到相关度ρk(x,y)最大时,相应的精确匹配点pk″。
对立体图像对中的所有图像坐标点采用上述P(x,y)点的匹配方法找到精确匹配点对,快速完整的获得立体视觉匹配视图,将视差值代入公式(1)计算出目标物体的三维坐标,结合系统标定参数实现视觉的3D重建。
作为优选方案,匹配的小图像块g的大小m×n像素可缩小为3*3像素。
Claims (8)
1.一种基于时空图像信息联合相关的快速立体匹配方法,其特征在于,步骤包括:
A,获取目标物体的左右视频图像序列对;
B,按照时间先后顺序,对所述左右视频图像序列对进行时空归一化相关匹配视差计算,获取视频图像的匹配视差;
C,根据预先设置的立体视觉标定参数和所述匹配视差,实现所述目标物体的三维重建;
步骤B包括以下步骤:
采用归一化互相关匹配算法,根据所述左右视频图像序列对中的第一帧左图像和第一帧右图像,计算所述目标物体上每一个特征点对应的匹配视差值;
从所述左右视频图像序列对的第二帧左图像和第二帧右图像起,依据时间先后顺序,对后一帧左图像和右图像对进行匹配约束,并计算出每一帧左图像和右图像对的空间最大相关度,获取所述视频图像的匹配视差,具体包括:
利用Pk-1点在图像Lk-1中的位置推算出目标物体特征点在图像Lk中的位置Pk,同时利用P″k-1在图像Rk-1中的位置推算出目标物体特征点在图像Rk中的位置pk′,Pk在pk′-δ→pk′+δ的像素范围内以图像块g为窗口采用归一化互相关匹配算法将Pk和pk′进行匹配搜索,寻找相关度最大时,相应的精确匹配点pk″;根据所述位置Pk和所述精确匹配点pk″,计算所述视频图像的匹配视差;
其中,δ为扩展区域,Pk是目标物体特征点在左相机拍摄图像上相应的点,pk′是P点在右相机拍摄图像上相应的点,L1,L2…Lk为左相机在不同时刻拍摄的图像,R1,R2…Rk为右相机在同步触发模式下与所述左相机同时拍摄的相应时刻的图像。
2.如权利要求1所述的一种基于时空图像信息联合相关的快速立体匹配方法,其特征在于,步骤C中的所述立体视觉标定参数包括立体视觉系统的内参数、立体视觉系统的结构参数,所述立体视觉系统包括左相机和右相机,用于获取所述左右视频图像序列对。
3.如权利要求1所述的一种基于时空图像信息联合相关的快速立体匹配方法,其特征在于,所述扩展区域δ的范围是:最小为50个像素,最大为100个像素。
4.如权利要求1所述的一种基于时空图像信息联合相关的快速立体匹配方法,其特征在于,所述图像块g的像素最小为3×3像素。
5.如权利要求1所述的一种基于时空图像信息联合相关的快速立体匹配方法,其特征在于,步骤A包括以下步骤:
按时间先后顺序依次获取目标物体的多个左右视频图像对,每一个所述左右视频图像对包括同一时刻拍摄所述目标物体的左图像和右图像;
对所述左右视频图像对进行去噪处理和灰度直方图均衡化处理,实现所述左右视频图像对的灰度校正,获取左右视频图像序列对。
6.如权利要求1-5任一所述的一种基于时空图像信息联合相关的快速立体匹配方法,其特征在于,步骤还包括,对所述左右视频图像序列对进行立体图像校正,获取校正立体图像序列对,所述视频图像的匹配视差根据所述校正立体图像序列对进行计算。
7.如权利要求6所述的一种基于时空图像信息联合相关的快速立体匹配方法,其特征在于,所述立体图像校正采用BOUGUET校正算法,根据立体标定数据与矫正矩阵,完成极线校正。
8.一种基于时空图像信息联合相关的快速立体匹配系统,其特征在于,包括至少一个处理器,以及与至少一个处理器通信连接的存储器;存储器存储有可被至少一个处理器执行的指令,所述指令被至少一个处理器执行,以使至少一个处理器能够执行权利要求1-7所述任一项的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010295935.2A CN111429571B (zh) | 2020-04-15 | 2020-04-15 | 一种基于时空图像信息联合相关的快速立体匹配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010295935.2A CN111429571B (zh) | 2020-04-15 | 2020-04-15 | 一种基于时空图像信息联合相关的快速立体匹配方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111429571A CN111429571A (zh) | 2020-07-17 |
CN111429571B true CN111429571B (zh) | 2023-04-07 |
Family
ID=71556835
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010295935.2A Active CN111429571B (zh) | 2020-04-15 | 2020-04-15 | 一种基于时空图像信息联合相关的快速立体匹配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111429571B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112033418B (zh) * | 2020-09-15 | 2023-05-12 | 四川大学 | 一种离线地图匹配方法 |
CN113240740B (zh) * | 2021-05-06 | 2022-07-12 | 四川大学 | 基于相位引导双目视觉密集标记点匹配的姿态测量方法 |
CN114627402B (zh) * | 2021-12-30 | 2024-08-13 | 湖南大学 | 一种基于时空图的跨模态视频时刻定位方法及系统 |
CN114549663A (zh) * | 2022-02-25 | 2022-05-27 | 南京工业大学 | 从图像序列或视频快速确定匹配极线对并计算相机本征矩阵的方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015024407A1 (zh) * | 2013-08-19 | 2015-02-26 | 国家电网公司 | 基于电力机器人的双目视觉导航系统及方法 |
WO2018086348A1 (zh) * | 2016-11-09 | 2018-05-17 | 人加智能机器人技术(北京)有限公司 | 双目立体视觉系统及深度测量方法 |
CN110349257A (zh) * | 2019-07-16 | 2019-10-18 | 四川大学 | 一种基于相位伪映射的双目测量缺失点云插补方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5852672A (en) * | 1995-07-10 | 1998-12-22 | The Regents Of The University Of California | Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects |
JP2000207575A (ja) * | 1999-01-08 | 2000-07-28 | Nadeisu:Kk | 空間融合装置及びこれを適用した応用装置 |
EP1247255A4 (en) * | 1999-11-24 | 2007-04-25 | Dartfish Sa | COORDINATION AND COMBINATION OF VIDEO SEQUENCES WITH SPATIAL AND TEMPORAL NORMALIZATION |
US8126243B2 (en) * | 2005-08-23 | 2012-02-28 | Nihon Medi-Physics Co., Ltd. | Image processing method, image processing program, and image processing device |
KR100858087B1 (ko) * | 2007-02-14 | 2008-09-10 | 삼성전자주식회사 | 객체 포즈 정규화 방법과 장치 및 객체 인식 방법 |
CN101866497A (zh) * | 2010-06-18 | 2010-10-20 | 北京交通大学 | 基于双目立体视觉的智能三维人脸重建方法及系统 |
CN103337094B (zh) * | 2013-06-14 | 2016-05-18 | 西安工业大学 | 一种应用双目摄像机实现运动三维重建的方法 |
CN104504751B (zh) * | 2014-12-17 | 2017-08-01 | 西北工业大学 | 重建爆震火焰表面三维几何外形的诊断方法 |
CN105894499B (zh) * | 2016-03-25 | 2018-09-14 | 华南理工大学 | 一种基于双目视觉的空间物体三维信息快速检测方法 |
CN106408531A (zh) * | 2016-09-09 | 2017-02-15 | 四川大学 | 基于gpu加速的层次化自适应三维重建方法 |
CN106408613A (zh) * | 2016-09-18 | 2017-02-15 | 合肥视尔信息科技有限公司 | 一种适用于虚拟导诉员系统的立体视觉建立方法 |
CN107967697B (zh) * | 2017-11-23 | 2021-02-26 | 四川大学 | 基于彩色随机二元编码结构照明的三维测量方法和系统 |
CN109191509A (zh) * | 2018-07-25 | 2019-01-11 | 广东工业大学 | 一种基于结构光的虚拟双目三维重建方法 |
-
2020
- 2020-04-15 CN CN202010295935.2A patent/CN111429571B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015024407A1 (zh) * | 2013-08-19 | 2015-02-26 | 国家电网公司 | 基于电力机器人的双目视觉导航系统及方法 |
WO2018086348A1 (zh) * | 2016-11-09 | 2018-05-17 | 人加智能机器人技术(北京)有限公司 | 双目立体视觉系统及深度测量方法 |
CN110349257A (zh) * | 2019-07-16 | 2019-10-18 | 四川大学 | 一种基于相位伪映射的双目测量缺失点云插补方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111429571A (zh) | 2020-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111429571B (zh) | 一种基于时空图像信息联合相关的快速立体匹配方法 | |
WO2024045632A1 (zh) | 基于双目视觉和imu的水下场景三维重建方法及设备 | |
CN109579825B (zh) | 基于双目视觉和卷积神经网络的机器人定位系统及方法 | |
WO2008075271A2 (en) | Calibrating a camera system | |
CN112907573A (zh) | 一种基于3d卷积的深度补全方法 | |
Liu et al. | The applications and summary of three dimensional reconstruction based on stereo vision | |
CN114543787A (zh) | 基于条纹投影轮廓术的毫米级室内建图定位方法 | |
CN113240749B (zh) | 一种面向海上舰船平台无人机回收的远距离双目标定与测距方法 | |
Real-Moreno et al. | Camera calibration method through multivariate quadratic regression for depth estimation on a stereo vision system | |
CN110487254B (zh) | 一种用于rov的水下目标尺寸快速测量方法 | |
CN117315138A (zh) | 基于多目视觉的三维重建方法及系统 | |
CN117115271A (zh) | 无人机飞行过程中的双目相机外参数自标定方法及系统 | |
CN114998532B (zh) | 一种基于数字图像重建的三维影像视觉传达优化方法 | |
CN108090930A (zh) | 基于双目立体相机的障碍物视觉检测系统及方法 | |
CN116721149A (zh) | 一种基于双目视觉的杂草定位方法 | |
CN114935316B (zh) | 基于光学跟踪与单目视觉的标准深度图像生成方法 | |
CN113808070B (zh) | 一种双目数字散斑图像相关的视差测量方法 | |
CN113269876B (zh) | 地图点坐标优化方法及装置、电子设备及存储介质 | |
CN114820778A (zh) | 一种平面运动中基于内点更新的全局基础矩阵估计方法 | |
CN115049784A (zh) | 一种基于双目粒子图像的三维速度场重建方法 | |
CN110766740B (zh) | 一种基于行人跟踪的实时高精度双目测距系统及方法 | |
CN112767276A (zh) | 一种基于上下双目设备图像的立体匹配方法及装置 | |
CN110738600A (zh) | 一种基于双目视觉的相机超分辨率图像获取方法 | |
Gao et al. | Research on tof camera-based guided binocular fusion technology | |
Wang et al. | Realization of 3D Reconstruction Algorithm Based on 2D Video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |