CN104318561A - 基于双目立体视觉与光流融合的车辆运动信息检测方法 - Google Patents

Abstract

本发明涉及一种基于双目立体视觉与光流融合的车辆运动信息检测方法,分析处理双目立体摄像机拍摄的左右图像序列，经过特征匹配、三维重建、特征提取、光流计算等步骤，获得车体三维空间速度与三维空间角速度的运动信息，实现车体的运动信息估计。是一种新的车辆自身运动参数的检测方法，具有装置简单，适用实际车辆使用环境，精度高，实时性强的特点。能有效地降低因为环境等因素造成的读数不准和测量有误等问题，并且视觉传感器结构简单，信息量大，提供了大量的其他信息。系统选取地面点为感兴趣的特征点，有效减少运动的物体的干扰，提高了估计的准确度。同时，融合立体视觉与光流的方法，充分利用深度信息，增强算法的稳定性与鲁棒性。

Description

基于双目立体视觉与光流融合的车辆运动信息检测方法

技术领域

本发明涉及一种运动视觉处理技术，特别涉及一种基于双目立体视觉与光流融合的车辆运动信息检测方法。

背景技术

在智能汽车领域，为了实现对车辆周围环境的感知，需要知道车辆自身的运动信息，包括三维平移运动速度和三维旋转角速度。

常用的方法是利用专门陀螺惯导装置获取这些信息，这种方法给车辆增加了额外的装置，其提供的数据也存在精度和稳定性不高的问题。另一种方法是利用单目视觉图像的视觉里程计方法，这种方法通过计算特定运动物体的特征点的光流来获取车辆自身运动信息。这种方法通常只适合于较简单的场景，在变化的复杂背景中，若存在大量的运动物体，其他运动物体的特征点对于车辆自身运动分析会造成大的干扰，降低估计的准确度。另外，光流计算的采用稠密光流计算，计算量相当巨大，难以满足实时性要求。

发明内容

本发明是针对传统的视觉里程计定位因变化的复杂背景导致准确度低的问题，提出了一种基于双目立体视觉与光流融合的车辆运动信息检测方法,分析处理双目立体摄像机拍摄的左右图像序列，经过特征匹配、三维重建、特征提取、光流计算等步骤，获得车体三维空间速度与三维空间角速度的运动信息，实现车体的运动信息估计。

本发明的技术方案为：一种基于双目立体视觉与光流融合的车辆运动信息检测方法，具体包括如下步骤：

1）双目摄像机设置摄像机的高度与相对地面的倾斜角度，拍摄左右视频图像序列；

2）图像采集卡接收并将双目摄像机拍摄到的视频模拟信号转换为视频数字信号，图像采集卡存储图像的数字信号；

3）左右图像预处理模块对图像采集卡传出的图像进行滤波处理，消除双目摄像机自身的信号干扰；

4）左右图像预处理模块输出图像进入左右图像立体匹配模块中，左右图像立体匹配模块计算像素灰度相关系数，设定合适阈值、并与灰度相关系数比较大小实现立体匹配；

5）三维空间重建模块对左右图像立体匹配模块获取的视差还原三维深度信息；

6）地面点标定模块，用双目摄像机的高度和角度运算处理，建立地面点的数学模型，标记出地面感兴趣的点；

7）光流场确定模块采用Lucas-Kanade算法对步骤6）所标记的地面感兴趣点进行加权运算获得地面感兴趣点光流大小；

8）运动参数确定模块，根据步骤5）和步骤7）所得三维深度信息和光流大小，运用线性最小二乘法实现车辆的运动信息估计。

所述步骤4）立体匹配：设定5*5区域作为相关窗，选取步骤3）获得的左边缘图作为参考图，步骤3）获得的右边缘图作为待配准图，遍历左边缘图中的边缘点，计算匹配点簇的像素灰度相关系数，设定阀值，将相关系数矩阵中的最大值与设定阈值比较，如果相关系数大于预定义的阀值，则在右边缘图中标记相应点为匹配点，并计算左边缘图中像素的视差；

左右边缘特征点像素灰度相关系数Coef： 

式中，为左边缘图匹配窗口的灰度值，为右边缘图匹配窗口的灰度值，和分别为左右两匹配窗口像素点的平均灰度值，N为5*5匹配窗口的中像素点个数;

左边缘图各像素点的视差d：

式中，为左边缘图像素点在图像坐标系下的横坐标值，为右边缘图像素点在图像坐标系下的横坐标值。

所述步骤5）中三维深度信息：由步骤4）中计算的视差值，根据透射投影模型重建三维坐标：

 

式中,b为双目摄像机基线长度,f为摄像机焦距，x _l 为左边缘图像素点在图像坐标系下的横坐标值，y _l 为左边缘图像素点在图像坐标系下的纵坐标值，Z为场景的三维空间深度信息，即空间任意点与基线之间的距离，X,Y为场景在三维空间坐标系下的坐标值。

所述步骤6）建立地面点的数学模型：首先计算不同深度下的地面点的高度值Y _g ，然后与相同深度像素点的三维重建的Y轴坐标值比较，若Y轴坐标值小于等于Y _g ，则该像素点标记为地面感兴趣点，反之，该像素点舍弃，

式中，Z为三维重建坐标深度，H为双目摄像机距离地面高度，θ为摄像机相对地面的倾斜角度，Y _g 为深度为Z处的地面点空间高度。

所述步骤8）车辆的运动信息估计：采用线性最小二乘法计算车辆的三维平移速度和三维旋转速度，

   

式中，Z为步骤5）所得地面感兴趣点的深度信息，为标记的地面点投影在左图的图像坐标系中的横坐标值与纵坐标值，f为摄像机焦距，u,v为步骤7）计算出的地面点光流的水平和垂直方向的速度分量。

本发明的有益效果在于：本发明基于双目立体视觉与光流融合的车辆运动信息检测方法,是一种新的车辆自身运动参数的检测方法，具有装置简单，适用实际车辆使用环境，精度高，实时性强的特点。能有效地降低因为环境等因素造成的读数不准和测量有误等问题，并且视觉传感器结构简单，信息量大，提供了大量的其他信息。系统选取地面点为感兴趣的特征点，有效减少运动的物体的干扰，提高了估计的准确度。同时，融合立体视觉与光流的方法，充分利用深度信息，增强算法的稳定性与鲁棒性。

附图说明

图1为本发明实施例中基于双目立体视觉与光流融合的车辆运动信息检测的结构图；

图2为本发明实施例中基于双目立体视觉与光流融合的车辆运动信息检测方法实时流程图。

具体实施方式

一种基于双目立体视觉和光流融合的车辆运动信息的检测方法。分析处理双目立体摄像机拍摄的图像序列，经过特征匹配、三维重建、特征提取、光流计算等步骤，获得车辆的三维运动速度和三维旋转角速度，实现车体的运动信息估计。

如图1所示实施例中基于双目立体视觉与光流融合的车辆运动信息检测的结构图，系统包括图像拍摄单元、采集存储单元、分析处理单元。在本实施例中，运动图像拍摄单元采用双目CCD摄像机1，采集存储单元采用图像采集卡2，分析处理单元采用图像处理系统3。

双目CCD摄像机1设置摄像机的高度与相对地面的倾斜角度，拍摄左右视频图像序列。

图像采集卡2通过一根视频信号线与双目CCD摄像机1进行连接，将拍摄到的视频模拟信号转换为视频数字信号，并对图像的数字信号进行存储。

图像处理系统3与图像采集卡2的输出端连接，图像处理系统3包含：一个左右图像预处理模块10、一个左右图像立体匹配模块13、一个三维空间重建模块14、一个感兴趣地面点标记模块11、一个感兴趣地面点光流场确定模块12以及一个运动参数确定模块15。

在左右图像预处理模块10中，对左右图像进行滤波，消除摄像机自身的信号干扰，进一步提高左右图像立体匹配的准确性。在左右图像立体匹配模块13中，计算像素灰度相关系数，设定合适阈值、并与灰度相关系数比较大小实现立体匹配。在三维空间重建模块14中，通过获取的视差还原三维深度信息。在地面点标定模块11中，以双目CCD摄像机1的高度和角度运算处理标记出地面感兴趣的点。在光流场确定模块12中，采用Lucas-Kanade算法对地面感兴趣点进行加权运算获得地面感兴趣点光流大小。在运动参数确定模块15中，根据光流与三维运动的数学模型，运用线性最小二乘法实现车辆的运动信息估计（三维运动速度和三维旋转角速度）。

本实例采用双目摄像机BBX3-13S2C，配有CCD图像传感器（分辨率1280x960，最大可用帧速率16fps，基线b为12cm,焦距f为3.8mm(66°)。

1、将双目摄像机BBX3-13S2C固定在车体驾驶座上方支架上，调整双目摄像机参数，确定摄像机的高度H与角度θ，其中假设地面为平坦路面，θ为双目摄像机与水平面之间的夹角；车辆运行采集图像，将采集到的图像保存在双目摄像机中；然后如图2所示基于双目立体视觉与光流融合的车辆运动信息检测方法实时流程图对图像进行处理；

2、对采集的左右图像序列进行预处理：利用高斯滤波器对图像进行滤波处理，去除CCD传感器采集图像时产生的噪声对图像分割质量的影响；

3、求取左右两幅图像的边缘索引图：调用Sobel垂直算法，利用垂直索贝尔算子对左右图像所有像素点进行局部操作，做卷积运算完成边缘检测,提取边缘特征；

4、左右边缘索引图立体匹配、计算视差值：设定5*5区域作为相关窗，选取步骤3所得左边缘图作为参考图，步骤3所得右边缘图作为待配准图，遍历左边缘图中的边缘点，计算匹配点簇的像素灰度相关系数，设定阀值，将相关系数矩阵中的最大值与设定阈值比较，如果相关系数大于预定义的阀值，则在右边缘图中标记相应点作为匹配点，并计算左边缘图中像素的视差。

左右边缘特征点像素灰度相关系数，如式（5）所示： 

             （5）

式中，为左边缘图匹配窗口的灰度值，为右边缘图匹配窗口的灰度值，和分别为左右两匹配窗口像素点的平均灰度值，N为5*5匹配窗口中像素点个数；

左边缘图各像素点的视差d：

        （6）

式中，为左边缘图像素点在图像坐标系下的横坐标值，为右边缘图像素点在图像坐标系下的横坐标值。

5、计算三维重建空间坐标：根据透射投影模型如式（7）所示，由步骤4中计算的视差值，重建三维坐标；

                 （7）

式中,b为双目摄像机基线长度,f为摄像机焦距，为左边缘图像素点在图像坐标系下的横坐标大小，为左边缘图像素点在图像坐标系下的纵坐标大小，Z为场景的三维空间深度信息，即空间任意点与基线之间的距离，X,Y为场景在三维空间坐标系下的坐标值；

6、标记地面点为感兴趣区域:假设地面为平坦路面，建立地面点的数学模型如式（8）所示：首先计算不同深度下的地面点的高度值Y _g ，然后与相同深度像素点的三维重建的Y轴坐标值比较，若Y轴坐标值小于等于Y _g ，则该像素点标记为地面感兴趣点，反之，该像素点舍弃。

                            （8）

式中，Z为三维重建坐标深度，H为双目摄像机距离地面高度，θ为摄像机相对地面的倾斜角度，Y _g 为深度为Z处的地面点空间高度；

7、计算光流:采用Lucas-Kanade算法，以标记的地面点为中心，选取大小为5*5的邻域Ω，对邻域内像素点加权处理，利用最小二乘法求解出超定方程组，获得地面点直接反映运动车辆的光流的水平和垂直方向速度分量u,v。

8、确定运动参数：融合点光流的三维重建技术与立体视觉技术，如式（9）所示：由第5步中地面点的深度信息，第7步中计算的光流水平和垂直方向速度分量u,v，采用线性最小二乘法计算车辆的三维平移速度和三维旋转速度。

          （9）

式中，Z为地面感兴趣点的深度信息，为标记的地面点投影在左图的图像坐标系中的横坐标与纵坐标值，f为摄像机焦距，u,v为计算出的地面点光流的水平和垂直方向的速度分量。

本发明方法通过改进两个方法加快了车辆运动参数运算速度与稳定性：在复杂的背景中，运动物体对车体自身运动分析产生极大干扰，本方法利用地面固定点可直接反应车辆的运动信息，选取地面点为感兴趣区域，结合地面点高度特征数学约束模型，分割出感兴趣区域。对地面感兴趣点采用Lucas-Kanade算法计算光流大小，从而有效地减少了运算量，增强了算法的实时性。其次，用双目摄像机相机取代传统的车辆里程计，完成图像采集、处理，避免了遇到复杂地形，尤其在车轮打滑等情况计算偏差，融合光流与立体视觉技术，结合同一时刻不同视角左右图像对中的视差信息和不同时刻同一视角连续图像序列中的光流信息，提高了算法的准确性与鲁棒性。

Claims (5)

1.一种基于双目立体视觉与光流融合的车辆运动信息检测方法，其特征在于，具体包括如下步骤：

1）双目摄像机设置摄像机的高度与相对地面的倾斜角度，拍摄左右视频图像序列；

2）图像采集卡接收并将双目摄像机拍摄到的视频模拟信号转换为视频数字信号，图像采集卡存储图像的数字信号；

3）左右图像预处理模块对图像采集卡传出的图像进行滤波处理，消除双目摄像机自身的信号干扰；

4）左右图像预处理模块输出图像进入左右图像立体匹配模块中，左右图像立体匹配模块计算像素灰度相关系数，设定合适阈值、并与灰度相关系数比较大小实现立体匹配；

5）三维空间重建模块对左右图像立体匹配模块获取的视差还原三维深度信息；

6）地面点标定模块，用双目摄像机的高度和角度运算处理，建立地面点的数学模型，标记出地面感兴趣的点；

7）光流场确定模块采用Lucas-Kanade算法对步骤6）所标记的地面感兴趣点进行加权运算获得地面感兴趣点光流大小；

8）运动参数确定模块，根据步骤5）和步骤7）所得三维深度信息和光流大小，运用线性最小二乘法实现车辆的运动信息估计。

2.根据权利要求1所述基于双目立体视觉与光流融合的车辆运动信息检测方法，其特征在于，所述步骤4）立体匹配：设定5*5区域作为相关窗，选取步骤3）获得的左边缘图作为参考图，步骤3）获得的右边缘图作为待配准图，遍历左边缘图中的边缘点，计算匹配点簇的像素灰度相关系数，设定阀值，将相关系数矩阵中的最大值与设定阈值比较，如果相关系数大于预定义的阀值，则在右边缘图中标记相应点为匹配点，并计算左边缘图中像素的视差；

左右边缘特征点像素灰度相关系数Coef： 

式中，为左边缘图匹配窗口的灰度值，为右边缘图匹配窗口的灰度值，和分别为左右两匹配窗口像素点的平均灰度值，N为5*5匹配窗口的中像素点个数;

左边缘图各像素点的视差d：

式中，为左边缘图像素点在图像坐标系下的横坐标值，为右边缘图像素点在图像坐标系下的横坐标值。

3.根据权利要求2所述基于双目立体视觉与光流融合的车辆运动信息检测方法，其特征在于，所述步骤5）中三维深度信息：由步骤4）中计算的视差值，根据透射投影模型重建三维坐标：

 

式中,b为双目摄像机基线长度,f为摄像机焦距，x _l 为左边缘图像素点在图像坐标系下的横坐标值，y _l 为左边缘图像素点在图像坐标系下的纵坐标值，Z为场景的三维空间深度信息，即空间任意点与基线之间的距离，X,Y为场景在三维空间坐标系下的坐标值。

4.根据权利要求3所述基于双目立体视觉与光流融合的车辆运动信息检测方法，其特征在于，所述步骤6）建立地面点的数学模型：首先计算不同深度下的地面点的高度值Y _g ，然后与相同深度像素点的三维重建的Y轴坐标值比较，若Y轴坐标值小于等于Y _g ，则该像素点标记为地面感兴趣点，反之，该像素点舍弃，

式中，Z为三维重建坐标深度，H为双目摄像机距离地面高度，θ为摄像机相对地面的倾斜角度，Y _g 为深度为Z处的地面点空间高度。

5.根据权利要求4所述基于双目立体视觉与光流融合的车辆运动信息检测方法，其特征在于，所述步骤8）车辆的运动信息估计：采用线性最小二乘法计算车辆的三维平移速度和三维旋转速度，

   

式中，Z为步骤5）所得地面感兴趣点的深度信息，为标记的地面点投影在左图的图像坐标系中的横坐标值与纵坐标值，f为摄像机焦距，u,v为步骤7）计算出的地面点光流的水平和垂直方向的速度分量。