CN111429571A - 一种基于时空图像信息联合相关的快速立体匹配方法 - Google Patents

Abstract

本发明公开了机器视觉领域的一种基于时空图像信息联合相关的快速立体匹配方法，步骤包括：获取目标物体的左右视频图像序列对；按照时间先后顺序，对左右视频图像序列对进行时空归一化相关匹配视差计算，获取视频图像的匹配视差；根据预先设置的立体视觉标定参数和匹配视差，实现目标物体的三维重建。本发明所提利用时空图像信息相关实现立体匹配的方法利用前后视差指导匹配约束性从而减小了立体匹配范围，提高了立体视觉重建的速度和稳定性。

Description

一种基于时空图像信息联合相关的快速立体匹配方法

技术领域

本发明涉及机器视觉领域，特别涉及一种基于时空图像信息联合相关的快速立体匹配方法。

背景技术

人类的空间几何信息感知来自于视觉，利用视觉仿生原理进行三维重建是实现智能化技术的高效经济的手段。基于未来社会对机器三维感知的需求，双目视觉技术作为一种可获取物体三维几何信息的技术，被视为一门拥有广阔应用前景的学科。双目立体视觉在国内外获得快速发展，现已广泛应用于各种领域和场景。在智能生产，交通监控，机器导航，航空航天，医学建模，视觉仿真，文物复原，非接触高精度测量等方面，提供包括虚拟视觉仿真，视觉识别与定位等技术，意义在于能够加快生产的速度，提高产品的质量，使工业制造智能化。

立体视觉是机器视觉和三维测量的一种重要构建三维数据理论模型，根据是否增加结构光投影的信息补偿方式，分为了主动立体视觉和被动立体视觉。双目立体视觉技术是一种被动式三维测量方法，是通过计算立体像对中的同名点后根据三角测量原理实现的三维重建。要实现立体视觉包括摄像机标定、双目系统标定、图像校正、立体匹配、视差求解等主要过程，而实现稠密立体匹配计算视差就是立体视觉技术中要解决的一个极其重要的问题，是立体视觉技术实现的核心。

随着计算机科学技术的发展，大量的科学研究人员进入到计算机视觉研究领域，从不同的应用角度开展了全面的研究工作，在理论基础、实现手段和算法研究方面都取得了丰硕的成果。但是，他们也遇到一些难题，对于每一次的突破都成为计算机视觉的一个重大进步。立体匹配技术的现状主要为了研究一种匹配精度高、运算速度快的算法。立体匹配需要克服图像中弱纹理区域、重复纹理区域、光反射区域以及遮挡区域等诸多问题。

立体匹配的主要目的是计算出稠密视差图，然后实现三维地图重建。计算稠密视差的方法有最常见的归一化相关方法(NCC)、种子增长法(GCS：GrowingCorrespondenceSeeds)、E能量法、可变窗口的相关度计算方法、自适应窗口视差匹配方法、由粗到细多视差候选立体匹配、基于语义分割的立体匹配方法等。在上述方法中均是直接对每一帧立体像对直接计算相似度获得匹配图像坐标位置，当图像分辨率较高时计算量巨大，难以实现实时的三维地图构建能力，并且由于遮挡等问题存在，会导致当前帧无匹配或误匹配数据增多。

本发明考虑视觉导航领域中立体匹配图像是随时间变化的视频图像，且在时间轴上相邻前后两帧图像具有大量重叠三维世界的投影信息，所以在立体匹配中将空间信息(立体图像中左右相机拍摄场景信息的相关性)和时间信息(前后帧视差图的连贯过度性)相结合，以时间视差图的连贯性指导空间立体图像的匹配范围。因前后帧视差图之间的范围约束和正确性判断，缩小了立体匹配的图像范围减少了匹配时间，并通过数据融合和补充解决了单帧立体匹配视差遮挡存在的孔洞和错误问题。从而构建出动态复杂环境下机器视觉三维物理信息场，以此来指导各类移动机器人的自主导航、障碍规避等任务。

发明内容

本发明的目的是根据自主导航中时间轴上的图像渐变性，提出时空归一化互相关(Spatial and Temporal Normalized Cross Correlation,STNCC)匹配算法实现更加稳定、快速的稠密匹配，从而构建出动态复杂环境下机器人视觉三维物理信息场，提供了一种基于时空图像信息联合相关的快速立体匹配方法。

为了实现上述发明目的，本发明提供了以下技术方案：

一种基于时空图像信息联合相关的快速立体匹配方法，步骤包括：

A，获取目标物体的左右视频图像序列对；

B，按照时间先后顺序，对左右视频图像序列对进行时空归一化相关匹配视差计算，获取视频图像的匹配视差；

C，根据预先设置的立体视觉标定参数和匹配视差，实现目标物体的三维重建。

作为优选方案，步骤C中的立体视觉标定参数包括立体视觉系统的内参数、立体视觉系统的结构参数，立体视觉系统包括左相机和右相机，用于获取左右视频图像序列对。

进一步的，步骤B包括以下步骤：

采用归一化互相关匹配算法，根据左右视频图像序列对中的第一帧左图像和第一帧右图像，计算目标物体上每一个特征点对应的匹配视差值；

从左右视频图像序列对的第二帧左图像和第二帧右图像起，依据时间先后顺序，对后一帧左图像和右图像对进行匹配约束，并计算出每一帧左图像和右图像对的空间最大相关度，获取视频图像的匹配视差。

作为优选方案，从左右视频图像序列对的第二帧左图像和第二帧右图像起，依据时间先后顺序，对后一帧左图像和右图像对进行匹配约束，并计算出每一帧左图像和右图像对的空间最大相关度，获取视频图像的匹配视差具体步骤包括：

利用P_k-1点在图像L_k-1中的位置推算出目标物体特征点在图像L_k中的位置P_k，同时利用P″_k-1在图像R_k-1中的位置推算出目标物体特征点在图像R_k中的位置p_k′，P_k在p_k′-δ→p_k′+δ的像素范围内以图像块g为窗口采用归一化互相关匹配算法将P_k和p_k′进行匹配搜索，寻找相关度最大时，相应的精确匹配点p_k″；根据位置P_k和精确匹配点p_k″，计算视频图像的匹配视差；

其中，δ为扩展区域，P_k是目标物体特征点在左相机拍摄图像上相应的点，p_k′是P点在右相机拍摄图像上相应的点，L₁,L₂…L_k为左相机在不同时刻拍摄的图像，R₁,R₂…R_k为右相机在同步触发模式下与左相机同时拍摄的相应时刻的图像。

进一步的，扩展区域δ的范围是：最小为50个像素，最大为100个像素。

进一步的，图像块g的像素最小为3×3像素。

作为优选方案，步骤A包括以下步骤：

按时间先后顺序依次获取目标物体的多个左右视频图像对，每一个左右视频图像对包括同一时刻拍摄目标物体的左图像和右图像；

对左右视频图像对进行去噪处理和灰度直方图均衡化处理，实现左右视频图像对的灰度校正，获取左右视频图像序列对。

作为优选方案，步骤还包括，对左右视频图像序列对进行立体图像校正，获取校正立体图像序列对，视频图像的匹配视差根据校正立体图像序列对进行计算。

进一步的，立体图像校正采用BOUGUET校正算法，根据立体标定数据与矫正矩阵，完成极线校正。

基于相同的构思，本发明还提出了一种基于时空图像信息联合相关的快速立体匹配系统，包括至少一个处理器，以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述任一项的方法。

与现有技术相比，本发明的有益效果：

本发明主要用于计算机视觉中立体视觉三维重建相关应用，如用于自动驾驶、移动机器人等的视觉自主导航等。利用本发明提出的时空相关立体视觉匹配方法有以下优点：

(1)本发明所提利用时空图像信息相关实现立体匹配的方法利用前后视差指导匹配约束性从而减小了立体匹配范围，与现有技术中的归一化互相关匹配算法相比，由于搜索范围的减小，相应的加快了匹配视差的速度，提高了立体视觉重建的速度和稳定性。

(2)本发明利用时间信息实现视差图的相关融合，提高了稠密匹配的完整性和鲁棒性。

附图说明：

图1为本发明一种基于时空图像信息联合相关的快速立体匹配方法流程图；

图2为本发明实施例1中的基于STNCC的快速稠密三维重建方法的流程图；

图3为本发明实施例1中的立体视觉系统标定相位标定板及特征点提取图；

图4为本发明实施例1中的立体视觉成像模型示意图；

图5为本发明实施例1中的双目视觉中的极线几何关系示意图；

图6本发明实施例1中的STNCC方法结构示意图。

具体实施方式

下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

实施例1

一种基于时空图像信息联合相关的快速立体匹配方法流程图如图1所示，作为具体的实施例，本发明实施例的方法流程图如图2所示，包括了三级处理，第一级包括了立体相机成像模型参数标定和立体相机结构关系参数标定；第二级包括了立体图像序列采集、噪声滤波和立体图像联合灰度直方图均衡化，预处理图像的立体校正，基于STNCC的快速、鲁棒性稠密立体匹配及误匹配点的约束剔除；第三级包括了稠密匹配视差的3D重建，基于3D地图信息的自主导航。以下分别将这三级处理做详细说明。

本发明中第一级的实施内容是立体视觉系统标定，本发明采用设计的横竖正交相位条纹图像通过显示器显示，将零相位数据的交点作为特征点来获得平面标定所需要的特征点，以显示器上的像素间距计算物理坐标，以拍摄图像的零相位交点作为对应图像坐标，如图3所示。

用张正友的平面标定算法分别对立体视觉的左右相机进行标定，获得精确的摄像机内参数，f_x为列方向(x轴方向)的有效焦距，f_y为行方向(y轴方向)的有效焦距，(u₀,v₀)为主点坐标。并同时获得每次平面标定板的拍摄位置，并通过同时拍摄的多个标定姿态关系，整体计算出立体视觉系统两个相机之间的旋转矩阵R和平移向量T。

立体视觉成像模型如图4所示，左右像平面共面且行对准，依照针孔相机模型，O_r，O_l分别为左右相机光心，两相机光心间距离为极线B，f为相机焦距，P是空间中物体上一点，P点到相机投影中心平面距离为Z，左相机和右相机同时对包含P点的物体进行拍摄，得到左右相机的左右视频图像对，P点在左右像平面分别成像于点P_l(x_l，y_l),P_r(x_r，y_r)，随着时间的推移，左右相机按时间顺序同时拍摄，就得到了左右视频图像对，每一个所述左右视频图像对包括同一时刻拍摄所述目标物体的左图像和右图像；

对左右视频图像对进行去噪处理和灰度直方图均衡化处理，完成左右视频图像对的灰度校正，输出用于匹配视差计算的左右视频图像序列对。

以左相机光心O_l为原点建立左相机坐标系，P点在左相机坐标系下的坐标(x_c，y_c，z_c)可以表示为(1)式：

式中d＝x_l-x_r，即视差，是P点在左右像平面上的匹配点在x轴方向图像坐标之差。

从上述立体视觉原理可见立体视觉是一种假想的完全统一的两个平行安装特性的相机，且公式(1)中可见在行方向上匹配点的值y相同。而实际应用中，在匹配计算之前需要对图像进行立体校正。

之所以需要立体校正，是因为双目视觉中需要满足一定的极线几何关系和极线约束，如图4所示，空间中任意一点Q在左右摄像机图像平面上的成像点分别为q_l和q_r。左相机的光心o_l和右相机的光心o_r的连线叫做基线。基线与图像平面的交点叫做极点，如图e_l和e_r所示。空间中任意一点与两摄像机的光心3点所构成的平面叫做极平面。极平面与摄像机像平面的交线叫做极线。

图5是双目视觉中的极线几何关系示意图，基于图5说明在匹配计算之前需要对图像进行立体校正。图5中，q_l与q_r互为对应点。e_r、q_r所在直线为点q_l在右相机上的极线，e_l、q_l所在直线为点q_r在左相机上的极线。此时，有一个重要的结论：空间中任一点Q在左相机成像面上投影点q_l的对应点一定在其右相机对应的极线上。反之，已知右相机上的投影点q_r，其对应点也一定在其左相机对应的极线上。这个结论叫做极线约束，这是双目视觉中很重要的一个约束条件。它可以将对应点的搜索限制到一条直线上，不需要在整个像面的二维空间中进行搜索，大大减少了匹配的计算量。

因此，在匹配计算之前需要对图像进行立体校正，以满足上述约束条件。立体校正，常见的两种方法：一种是HARTLEY算法，另一种是BOUGUET算法。HARTLEY的极线校正算法不需要提前将两摄像机的参数标定出来，它通过基本矩阵和投影变换来求得。但是，缺点是无法保证重建数据的唯一性且畸变较大。BOUGUET校正算法需要提前对两摄像机的内参数和位置关系进行标定，精度和鲁棒性较高，应用较为广泛，matlab工具箱中的校正方法即为该方法。以下以此算法为例来说明校正的过程。

BOUGUET校正算法的思想为，首先利用两摄像机的位置关系将两相机的光轴校正平行(在此之前，已校正了图像畸变)，如公式(2)所示。此时可以保证左右相机相面平行，但无法保证基线与像面平行且行对齐。

然后，利用一个校正矩阵R_rect将左相机的极点移动无穷远处，使基线与成像面平行，完成行对齐。以下通过构造3个向量e₁、e₂、e₃来求解矫正矩阵R_rect：

极点所移动的方向即为两相机平移向量的方向，设e₁为公式(3)所示，

e₁＝T/||T|| (3)

e₂的方向与e₁正交，为了计算简便使其也与光轴正交，故构造公式(4)如下，

e₃与前两个向量相互正交，如公式(5)所示，

e₃＝e₁×e₂ (5)

得到以上三个向量后，校准矩阵R_rect如公式(6)所示，

R_rect＝[e₁ ^T e₂ ^T e₃ ^T] (6)

至此，通过立体标定数据与求得的R_rect矩阵，即可完成极线校正。得到光轴平行，基线平行，像面共面且对齐的平视双目结构。

立体图像因成像环境和成像单元感光电子噪声会引起匹配定位误差，本发明对立体图像序列进行了基于高斯噪声和随机噪声的滤波，采用高斯滤波与中值滤波的合体滤波窗口对图像进行预处理。由立体视觉系统的结构导致双目立体视觉系统中左右两台摄像机的增益和电平成像性能差异以及不同视场角入射光强的差异，所导致图像的成像灰度值差异都将导致在实际获得的立体图对中相同景物点像素灰度值存在差异。因此对左右立体图像采用联合灰度直方图均衡化进行灰度分布进行变换，最终达到左右图像的灰度分布尽可能接近，使两组图像的亮度差异达到平衡。

归一化互相关匹配算法(Normalized Cross Correlation，NCC)属于基于区域的灰度匹配，是图像特征匹配中常用的一种方法。在立体匹配时，它以两幅图像中图像区域块进行匹配，寻找最大相关度作为匹配坐标。假设两幅进行匹配计算的图像中的小图像块为g，其大小为m×n像素,立体图像为S，分辨率大小为M×N像素,用S_x，y表示S中以(x，y)为中心坐标位置大小与g相同的子块。利用相关系数公式计算实时图和基准图之间的相关系数，得到相关系数矩阵ρ(x，y)。

ρ(x，y)是x，y图像坐标的Pearson相关系数，其定义式为：

式中：

σ(S_x,y,g)是S_x,y和g的协方差；

D_x,y为S_x,y的方差：

D为的g方差：

为g的灰度均值；

为S_x,y的灰度均值。

将D_x,y和D入(5)式可得：

相关系数满足：

|ρ(x,y)|≤1 (11)

在[-1,1]绝对尺度范围之内衡量两者的相似性。相关系数刻画了两者之间的近似程度的线性描述，一般来说越接近1两者越近似的有线性关系。

针对视频图像的立体匹配，我们提出一种改进的NCC方法——时空归一化相关STNCC匹配方法，方法结构示意图如图6示。

传统的NCC匹配是一个时刻拍摄左右两张图像，然后对左图像的P₁点在右图像上搜索同名点获得P₁后下一个时刻再拍摄左右两张一对图像，再次进行匹配获得新的P₂和P₂'。这些计算过程是独立进行的。但是这个在图像上处于不同位置的P₁和P₂其实对应的是物体表面的同一点，成像后的样子差不多。又因为在时间维度上每时每刻都有新的图像视频传输进来。前一时刻和后一时刻拍摄照片中P₁和P₂在左图像中的位置相差不大。基于以上假设，对于视频图像序列的第二幅及以后的图像就不用直接像上面描述的利用NCC进行匹配获得新的P₂和P₂'，而是采用提出的时空算法，在时间轴上先计算出下一个粗略点，这个粗略点的计算方法是：根据t1时刻获取的第一幅左图像中P₁点的位置，算出t2时刻获取的第二幅左图像中P₂(P₁和P₂都是物体上同一点)的大概位置。同理根据t1时刻获取的第一幅右图像中P₁'点的位置算出t2时刻获取的第二幅右图像中P₂对应的P₂'的大概位置。如果没有误差的话P₂和P₂'就是同名点，但是因为有误差这里想再次细化提高精度，因此对P₂和P₂'利用NCC再计算一次，再次的计算，计算的范围就很小，而且计算NCC的窗口也很小，能够保证计算的精度。

传统的方法根据左右图像直接NCC计算匹配点时，对于左图像的P₁在右图像中同一行进行依次各像素的扫描来计算能够匹配上的P₁'点，而且扫描的窗口大小(前面所述的大小为m×n像素的小图像块为g)越大计算的速度就越慢，但是如果窗口很小时在右图像从第一个像素往右扫描时因为噪声的影响可能最大相关度位置并不准确。所以本文正是抓住了时间轴上前后两个时刻同名点移动位置很小先找出预匹配点，然后再用前述的NCC匹配算法在左右图像搜索，这时候不是从第一个像素搜索到最后一个像素，而是包含预匹配点的较小的匹配搜索区域，以小图像块g的窗口大小进行搜索，其匹配搜索区域缩小到p₂′-δ→p₂′+δ，其中δ一般采用最小为50个像素，最大为100个像素的阈值。

t2时刻以后的t3、t4……时刻，对每对左右图像均以此类推，采用相同的方式确定匹配搜索区域。具体步骤包括：

L₁,L₂…L_k为左相机在不同时刻拍摄的图像，R₁,R₂…R_k为右相机在同步触发模式下与左相机同时拍摄的相应时刻的图像。P₀(x,y)点为空间物体在同一位置处不同时刻拍摄图像中的待匹配的同一特征点。以该点的匹配计算为例说明本方法，当开始获得立体像对(例如图像L₁和图像R₁)时，直接采用NCC算法计算其P₀(x,y)点在图像L₁和图像R₁中的相关度ρ1(x,y)，从而获得左右图像中最佳相关度匹配点P₁和P₁'。以时间顺序排序，从第二对立体像对开始，利用P₁点在图像L₁中的位置推算出P₀(x,y)点在图像L₂中的位置P₂，同时利用P₁'在图像R₁中的位置推算出P₀(x,y)点在图像R₂中的位置P₂'，P₂在p₂′-δ→p₂′+δ的像素范围内以小图像块g的窗口大小进行匹配搜索，找到相关度ρ2(x,y)最大时，相应的精确匹配点P₂”，P₂”可能是P₂'，也可能是匹配搜索区域p₂′-δ→p₂′+δ中的另外的点。

利用P₂点在图像L₂中的位置推算出P(x,y)点在图像L₃中的位置P₃，同时利用P₂”在图像R₂中的位置推算出P(x,y)点在图像R₃中的位置P₃'，P₃在p₃′-δ→p₃′+δ的像素范围内以小图像块g的窗口大小进行匹配搜索，找到相关度ρ3(x,y)最大时，相应的精确匹配点p₃″。

类似的，利用P_n-1点在图像L_k-1中的位置推算出P(x,y)点在图像L_k中的位置P_k，同时利用P″_k-1在图像R_k-1中的位置推算出P(x,y)点在图像R_k中的位置p_k′，P_k在p_k′-δ→p_k′+δ的像素范围内以小图像块g的窗口大小进行匹配搜索，找到相关度ρk(x,y)最大时，相应的精确匹配点p_k″。

对立体图像对中的所有图像坐标点采用上述P(x,y)点的匹配方法找到精确匹配点对，快速完整的获得立体视觉匹配视图，将视差值代入公式(1)计算出目标物体的三维坐标，结合系统标定参数实现视觉的3D重建。

作为优选方案，匹配的小图像块g的大小m×n像素可缩小为3*3像素。

Claims (10)

1.一种基于时空图像信息联合相关的快速立体匹配方法，其特征在于，步骤包括：

A，获取目标物体的左右视频图像序列对；

B，按照时间先后顺序，对所述左右视频图像序列对进行时空归一化相关匹配视差计算，获取视频图像的匹配视差；

C，根据预先设置的立体视觉标定参数和所述匹配视差，实现所述目标物体的三维重建。

2.如权利要求1所述的一种基于时空图像信息联合相关的快速立体匹配方法，其特征在于，步骤C中的所述立体视觉标定参数包括立体视觉系统的内参数、立体视觉系统的结构参数，所述立体视觉系统包括左相机和右相机，用于获取所述左右视频图像序列对。

3.如权利要求1所述的一种基于时空图像信息联合相关的快速立体匹配方法，其特征在于，步骤B包括以下步骤：

采用归一化互相关匹配算法，根据所述左右视频图像序列对中的第一帧左图像和第一帧右图像，计算所述目标物体上每一个特征点对应的匹配视差值；

从所述左右视频图像序列对的第二帧左图像和第二帧右图像起，依据时间先后顺序，对后一帧左图像和右图像对进行匹配约束，并计算出每一帧左图像和右图像对的空间最大相关度，获取所述视频图像的匹配视差。

4.如权利要求3所述的一种基于时空图像信息联合相关的快速立体匹配方法，其特征在于，从所述左右视频图像序列对的第二帧左图像和第二帧右图像起，依据时间先后顺序，对后一帧左图像和右图像对进行匹配约束，并计算出每一帧左图像和右图像对的空间最大相关度，获取所述视频图像的匹配视差具体步骤包括：

利用P_k-1点在图像L_k-1中的位置推算出目标物体特征点在图像L_k中的位置P_k，同时利用P″_k-1在图像R_k-1中的位置推算出目标物体特征点在图像R_k中的位置p_k′，P_k在p_k′-δ→p_k′+δ的像素范围内以图像块g为窗口采用归一化互相关匹配算法将P_k和p_k′进行匹配搜索，寻找相关度最大时，相应的精确匹配点p_k″；根据所述位置P_k和所述精确匹配点p_k″，计算所述视频图像的匹配视差；

其中，δ为扩展区域，P_k是目标物体特征点在左相机拍摄图像上相应的点，p_k′是P点在右相机拍摄图像上相应的点，L₁,L₂…L_k为左相机在不同时刻拍摄的图像，R₁,R₂…R_k为右相机在同步触发模式下与所述左相机同时拍摄的相应时刻的图像。

5.如权利要求4所述的一种基于时空图像信息联合相关的快速立体匹配方法，其特征在于，所述扩展区域δ的范围是：最小为50个像素，最大为100个像素。

6.如权利要求4所述的一种基于时空图像信息联合相关的快速立体匹配方法，其特征在于，所述图像块g的像素最小为3×3像素。

7.如权利要求1所述的一种基于时空图像信息联合相关的快速立体匹配方法，其特征在于，步骤A包括以下步骤：

按时间先后顺序依次获取目标物体的多个左右视频图像对，每一个所述左右视频图像对包括同一时刻拍摄所述目标物体的左图像和右图像；

对所述左右视频图像对进行去噪处理和灰度直方图均衡化处理，实现所述左右视频图像对的灰度校正，获取左右视频图像序列对。

8.如权利要求1-7任一所述的一种基于时空图像信息联合相关的快速立体匹配方法，其特征在于，步骤还包括，对所述左右视频图像序列对进行立体图像校正，获取校正立体图像序列对，所述视频图像的匹配视差根据所述校正立体图像序列对进行计算。

9.如权利要求8所述的一种基于时空图像信息联合相关的快速立体匹配方法，其特征在于，所述立体图像校正采用BOUGUET校正算法，根据立体标定数据与矫正矩阵，完成极线校正。

10.一种基于时空图像信息联合相关的快速立体匹配系统，其特征在于，包括至少一个处理器，以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，所述指令被至少一个处理器执行，以使至少一个处理器能够执行权利要求1-9所述任一项的方法。

Images