CN111814602B - 一种基于视觉的智能车环境动态目标检测的方法 - Google Patents

Abstract

本发明公开了一种基于视觉的智能车环境动态目标检测的方法，包括：在智能车移动期间，设置在所述智能车上的双目立体相机通过采集当前的场景图像，得到当前的双目视频序列图像；从所述双目视频序列图像中选取第t时刻图像和t‑1时刻图像，并利用所述第t时刻图像和所述t‑1时刻图像，计算混合光流；根据所述第t时刻图像、所述t‑1时刻图像，计算所述双目立体相机运动背景光流；利用所述混合光流和所述运动背景光流，得到仅由目标运动产生的残差流；通过对所述残差流进行处理，得到独立的运动目标。

Description

一种基于视觉的智能车环境动态目标检测的方法

技术领域

本发明涉及运动目标检测技术领域，特别是涉及一种基于视觉的智能车环境动态目标检测的方法。

背景技术

智能车行驶环境复杂，具有高动态性、高随机性等特点。对环境内动态目标的精确检测以及轨迹预测是智能车行为决策与控制的基础，是确保智能车安全行驶的关键，尤其是多车道行驶变道、从高速辅道汇入高速公路等情形时，场景内目标的运动信息对智能车决策显得尤为重要。

当前，智能车对运动目标的感知主要有基于激光雷达的方法和基于视觉的方法。激光雷达能够获得场景目标距离本车的精确距离信息，但是受角分辨率限制，对远距离小目标的探测能力较弱；除此以外，其高昂的价格也成为增加智能车成本的因素之一。相反，视觉传感器具有成本低廉、体积小，重量轻、信息大、算法复用性好等优势而备受关注。

现有技术的解决方案有如下三种：

(1)背景补偿差分法

背景补偿差分法的核心思想是将动态背景问题转化为静态背景问题，如此可直接利用相机静止条件下(静态背景)下各种运动目标检测方法。将动态背景问题转化为静态背景问题的关键为“背景补偿”。当相机运动时，相邻两帧图像的背景将发生运动，“背景补偿”的目的就是计算出背景的运动模型，借助该模型，将当前帧背景反推回运动前，以此得到估计的静态背景。计算背景运动参数首先要建立恰当的静止背景运动参数模型(全局运动)。根据全局运动参数模型的不同，可分为基于基础矩阵的方法、基于单应矩阵的方法、基于仿射变换的方法，以及基于混合几何模型的方法。

不管是单应约束，基本矩阵约束还是仿射变换约束，都有其特定的适用范围。单应矩阵仅适合于平面场景、基本矩阵仅能将一幅图像的像点映射到另一图像的一条线上、仿射变换仅仅是两幅图像的近似约束。因此，背景补偿差分法检测运动目标时存在原理上不可克服的缺陷。

(2)光流特征分类法

光流特征分类法认为背景运动产生的光流与目标运动产生的光流之间存在差异，故而可以根据这两类光流的差异性，找出运动目标。比如，兰红等认为场景中绝大部分背景的运动状态是一致并且是主要的。他们据此设计了基于光流的动态目标检测方法。首先，利用LK光流法得到相邻两幅图像的特征点光流，并同时创建光流长度，角度的状态向量。通过建立整幅图像光流长度、角度的直方图，去除直方图中最密集区域对应的特征点，进而初步去除背景。然后利用中心迭代法去除不属于目标运动区域的噪声特征点；最后，通过前N帧图像目标特征点的最大交集得到属于目标的稳定特征点并在后续帧中进行跟踪。崔智高等认为运动目标内部和场景背景的光流值大小和方向趋于一致，仅在目标与背景的边界处存在较大的差异。利用该性质，他们首先对目标边界进行定位。然后通过点在多边形内部原理获得边界内部的稀疏像素点，最后以超像素为节点，利用混合高斯模型拟合的表观信息和超像素的时空邻域关系构建马尔可夫随机场模型的能量函数，并通过使目标函数能量最小化得到最终的运动目标检测结果。

基于光流特征分类法的运动目标检测，其核心点是运动目标产生的光流在整体混合光流中存在可辨识。这在一些特定的场景下是可以实现的，比如智能车向前直行，背景的光流具有固定的特征，此时容易对背景光流特性进行建模；但是在车辆转弯时，背景光流和转弯大小、背景物结构都有很大关系，模型很难建立。因此光流特征分类法适应性有限。

(3)背景光流补偿差分法

该类方法一般分为三步。第一步：计算相机自运动参数。第二步：计算背景运动产生的光流场。第三步：从运动目标光流场中分割出运动目标。

该方法目前存在的问题有：(1)在计算相机自运动参数时误差多大，导致后续残差流计算误差大，进而导致运动目标分割准确率不高；(2)由残差流进行运动目标分割时，采用固定阈值，对不同图像的适应性较差；(3)计算运动区域时，仅利用了三维信息中的XOZ平面的数据。由于未对地面数据进行剔除，会出现地面数据将两个隔得很开的目标粘连起来的情况，导致单个目标无法分割。

发明内容

根据本发明实施例提供的方案解决的技术问题是用双目相机实现智能汽车行驶环境任意动态障碍物检测。分项问题包括：(1)相机自运动参数计算时相邻两时刻四幅图像同名特征点的选择策略问题；(2)由残差场分割出运动区域阈值设置问题；(3)由运动区域提取单个运动目标问题。

根据本发明实施例提供的一种基于视觉的智能车环境动态目标检测的方法，包括：

在智能车移动期间，设置在所述智能车上的双目立体相机通过采集当前的场景图像，得到当前的双目视频序列图像；

从所述双目视频序列图像中选取第t时刻图像和t-1时刻图像，并利用所述第t时刻图像和所述t-1时刻图像，计算混合光流；

根据所述第t时刻图像、所述t-1时刻图像，计算所述双目立体相机运动背景光流；

利用所述混合光流和所述运动背景光流，得到仅由目标运动产生的残差流；

通过对所述残差流进行处理，得到独立的运动目标。

优选地，所述混合光流是指由所述双目立体相机的左相机在相邻两时刻采集图像所计算的光流场。

优选地，所述根据所述第t时刻图像、所述t-1时刻图像，计算所述双目立体相机运动背景光流包括：

根据所述第t时刻图像、所述t-1时刻图像，计算出n个SIFT匹配点；

利用基于视差的SIFT匹配点筛选策略，过滤掉对所述双目立体相机自运动参数计算误差较大的SIFT匹配点，得到m个有效SIFT匹配点；

利用所述有效SIFT匹配点，计算所述双目立体相机的自运动参数；

根据所述双目立体相机的自运动参数，计算所述双目立体相机运动背景光流；

其中，n>m，且，n和m均为正整数。

优选地，所述利用所述混合光流和所述运动背景光流，得到仅由目标运动产生的残差流包括：

通过将所述混合光流与所述运动背景光流进行相减处理，得到仅由目标运动产生的残差流。

优选地，所述通过对所述残差流进行处理，得到独立的运动目标包括：

采用动态阈值分割法，从所述残差流中分割出运动区域；

通过结合2D和3D信息的方法，从所述运动区域内分割出独立的运动目标。

优选地，所述利用基于视差的SIFT匹配点筛选策略，过滤掉对所述双目立体相机自运动参数计算误差较大的SIFT匹配点，得到m个有效SIFT匹配点包括：

分别计算第i个SIFT匹配点的视差d_i；

根据所述第i个SIFT匹配点的视差d_i，计算第i个SIFT点的误差指标因子inde_i；

当所述第i个SIFT点的误差指标因子inde_i小于1时，则将所述第第i个SIFT匹配点作为有效SIFT匹配点；

当所述第i个SIFT点的误差指标因子inde_i不小于1时，则过滤掉所述第i个SIFT匹配点。

优选地，所述根据所述第i个SIFT匹配点的视差d_i，计算第i个SIFT点的误差指标因子inde_i的公式为：

优选地，所述通过结合2D和3D信息的方法，从所述运动区域内分割出独立的运动目标包括：

利用3D信息对所述运动区域进行目标粗分割处理，得到粗分割目标；

利用2D信息对所述粗分割目标进行二次分割处理，得到独立的运动目标。

优选地，所述目标粗分割包括：地面点云去除、XOZ平面栅格图像的建立以及目标分割。

根据本发明实施例提供的方案，提出融合多种视觉检测方法的高精度运动目标检测。其有益效果就是能大大提高运动目标检测的精度，降低传统方法的误检率和漏检率。以KITTI数据库中的数据为样本进行测试，所提出的方法较传统的背景光流补偿差分法检测准确率提高了12.45％。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于理解本发明，并不构成对本发明的不当限定。

在附图中：

图1是本发明实施例提供的一种基于视觉的智能车环境动态目标检测的方法流程图；

图2是本发明实施例提供的基于视觉的智能车环境动态目标检测的示意图；

图3是本发明实施例提供的相邻帧双目图像及坐标系示意图；

图4是本发明实施例提供的世界坐标系的建立示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行详细说明，应当理解，以下所说明的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1是本发明实施例提供的一种基于视觉的智能车环境动态目标检测的方法，如图1所示，包括：

步骤1：在智能车移动期间，设置在所述智能车上的双目立体相机通过采集当前的场景图像，得到当前的双目视频序列图像；

步骤2：从所述双目视频序列图像中选取第t时刻图像和t-1时刻图像，并利用所述第t时刻图像和所述t-1时刻图像，计算混合光流；

步骤3：根据所述第t时刻图像、所述t-1时刻图像，计算所述双目立体相机运动背景光流；

步骤4：利用所述混合光流和所述运动背景光流，得到仅由目标运动产生的残差流；

步骤5：通过对所述残差流进行处理，得到独立的运动目标。

优选地，所述混合光流是指由所述双目立体相机的左相机在相邻两时刻采集图像所计算的光流场。

优选地，所述根据所述第t时刻图像、所述t-1时刻图像，计算所述双目立体相机运动背景光流包括：

根据所述第t时刻图像、所述t-1时刻图像，计算出n个SIFT匹配点；

利用基于视差的SIFT匹配点筛选策略，过滤掉对所述双目立体相机自运动参数计算误差较大的SIFT匹配点，得到m个有效SIFT匹配点；

利用所述有效SIFT匹配点，计算所述双目立体相机的自运动参数；

根据所述双目立体相机的自运动参数，计算所述双目立体相机运动背景光流；

其中，n>m，且，n和m均为正整数。

优选地，所述利用所述混合光流和所述运动背景光流，得到仅由目标运动产生的残差流包括：

通过将所述混合光流与所述运动背景光流进行相减处理，得到仅由目标运动产生的残差流。

优选地，所述通过对所述残差流进行处理，得到独立的运动目标包括：

采用动态阈值分割法，从所述残差流中分割出运动区域；

通过结合2D和3D信息的方法，从所述运动区域内分割出独立的运动目标。

优选地，所述利用基于视差的SIFT匹配点筛选策略，过滤掉对所述双目立体相机自运动参数计算误差较大的SIFT匹配点，得到m个有效SIFT匹配点包括：

分别计算第i个SIFT匹配点的视差d_i；

根据所述第i个SIFT匹配点的视差d_i，计算第i个SIFT点的误差指标因子inde_i；

当所述第i个SIFT点的误差指标因子inde_i小于1时，则将所述第第i个SIFT匹配点作为有效SIFT匹配点；

当所述第i个SIFT点的误差指标因子inde_i不小于1时，则过滤掉所述第i个SIFT匹配点。

优选地，所述根据所述第i个SIFT匹配点的视差d_i，计算第i个SIFT点的误差指标因子inde_i的公式为：

优选地，所述通过结合2D和3D信息的方法，从所述运动区域内分割出独立的运动目标包括：

利用3D信息对所述运动区域进行目标粗分割处理，得到粗分割目标；

利用2D信息对所述粗分割目标进行二次分割处理，得到独立的运动目标。

优选地，所述目标粗分割包括：地面点云去除、XOZ平面栅格图像的建立以及目标分割。

图2是本发明实施例提供的基于视觉的智能车环境动态目标检测的示意图，如图2所示，对于输入的双目视频序列图像，取前后两个时刻立体图像，先计算相邻时刻的混合光流MOF，再计算运动背景光流MBOF，两者求差得到运动目标光流MOOF。MOOF仅包含了由运动目标产生的光流，故而对其进行分割，即可得到运动目标区域。所分割出的运动目标区域可能包含了多个目标，对单个运动目标进行提取，以得到精确的单个运动目标。

1混合光流的计算

在本发明中，混合光流指由左相机在相邻两时刻采集图像所计算的光流场，记为f_mix。

2计算运动背景光流

在计算背景光流前，需要先计算相机的自运动参数。

2.1相机自运动参数计算

(1)相机自运动参数的定义

双目相机刚性连接，架设于智能车前方，车辆行驶过程中，实时采集周围场景图像。令t-1，t时刻，左右相机采集图像分别为

如图3所示。在t-1时刻，以左相机坐标系为t-1时刻世界坐标系O_t-1X_t-1Y_t-1Z_t-1；在t时刻，仍以左相机坐标系为t时刻世界坐标系O_tX_tY_tZ_t，坐标系O_t-1X_t-1Y_t-1Z_t-1和O_tX_tY_tZ_t之间的转换关系为R和t，R和t即为相机自运动参数。其中，

含有3个独立欧拉角变量，t＝[T_x T_y T_z]，含3个变量。

相机自运动参数计算，需要大于3对的特征匹配点作为输入，本发明采用SIFT(Scale-Invariant Feature Transform)特征匹配点。在本发明中，并非

上所有的SIFT匹配点都参与相机自运动参数的计算。首先要排除那些像点误差对三维重建后物点误差影响较大的SIFT匹配点，用剩余的SIFT匹配点参与相机自运动参数的计算，以保证自运动参数的计算精度。

(2)SIFT匹配点筛选

1)对

四幅图像，计算SIFT匹配点，假定为n₁个。

2)计算第i个SIFT匹配点的视差d_i。

3)计算第i个SIFT点的误差指标因子inde_i，

4)如果inde_i<1，则表明当前第i个SIFT点当像点误差较小时，其物点误差也较小，可用于计算相机自运动参数，存入变量S中。

5)重复步骤2)～4)，将所有满足用于参与相机自运动参数的SIFT匹配点存入S中。

(3)自运动参数的计算

先设R、t参数初始值为0。

1)设S中共有n₂对SIFT像点(x_t-1,x_t)，其中，

表示t-1和t时刻左右图像对应的SIFT匹配点对。

2)将x_t-1代入式(1)计算t-1时刻同名像点对应的物点P_t-1，其中d表示两个同名点的视差。P_t-1所在的坐标系为O_t-1X_t-1Y_t-1Z_t-1。

3)利用式子(5)求得P_t-1在坐标系O_tX_tY_tZ_t下的物点坐标P_t。

P_t＝RP_t-1+t (2)

4)根据式(1)的反解，计算P_t在

上的反投影像点

5)以式(3)所示为目标函数，采用高斯牛顿迭代法求解。

2.2背景光流场计算

在已知相机自运动参数的条件下，

上的像点

在

上的理想投影点

可通过式(4)计算得到。式(4)中f、b、d分别为双目系统的焦距、基线、同名匹配点的视差。

背景光流f_mbof＝(u_mb，v_mb)的计算公式为：

合并式(4)、(5)可得背景光流f_mbof的最后表达式：

由式(6)可知，要计算背景光流(u_mb，v_mb)，需要已知R、t，f、b、d。f、b为双目系统的焦距和基线，通过相机标定获得；R、t通过计算相机自运动参数获得。视差d通过两幅图像的稠密匹配获得。

3.运动目标光流(残差流)计算

令

和

之间的混合光流记为f_mix，

和

之间运动背景光流记为f_mbof，则运动目标光流f_moof＝(u_moof，v_moof)的计算公式如下：

f_moof＝f_mix-f_mbof (7)

4.从残差流中分离出运动区域

残差流的马氏距离为：

其中∑_MOOF是残差流的协方差矩阵。

表示坐标为(x,y)的像素的残差流马氏距离。

值越小，表示坐标为(x,y)的像素是运动目标的概率越小。

服从χ²分布，因此残差流运动似然性可以根据

计算出。令

表示χ²分布在

的概率值，则

表示像素点(x,y)是运动目标的概率。令

对r_(x,y)进行阈值分割，即可获得场景内运动区域。本发明的动态阈值分割法如下：

首先计算t时刻图像视差的均值

对于坐标为(x,y)的像素，若其视差值大于视差均值

则表明该像素计算的运动目标场误差较大，需要设定一个大的分割阈值，本申请设为0.8；若

说明该像素的残差流误差一般，设定一个中等的分隔阈值，本申请设置为0.65；若

说明该像素计算的运动目标场误差较小，设定一个小的分割阈值即可，本文设为0.5。值得注意的是，上述0.8，0.65，0.5是在申请人经过大量测试后得出的较佳的经验阈值。

5.从运动区域中提取单个运动目标

第4节仅仅是从残差流中分割出了运动区域，运动区域可能包含了多个运动目标。本节给出由多个运动目标区域分割出单个运动目标的方法。所提出的方法分为两部分：首先，利用三维信息实现目标的粗分割；然后，利用二维信息对粗分割目标再进行二次分割。

(1)目标粗分割

双目相机一般架设于汽车前方。世界坐标系如图4所示，X轴水平向右为正，Z轴向前为正，Y轴垂直向内为正。首先根据双目立体三角测量原理，重建出场景内稠密三维坐标。然后，将场景三维坐标投影到XOZ平面。当双目系统平行地面架设时，XOZ平面正好和地平面平行。此时，理论上，各目标在XOZ平面可以被分开。目标粗分割包括：地面点云去除、XOZ平面栅格图像的建立、目标分割。

·地面点云去除

当地面被误判为运动目标时，地面会将多个目标粘连在一起，导致多个目标在XOZ平面投影时无法被区分开，因此去除地面点云是保证在XOZ平面分割各目标的前提。当从天空往地面看时，场景世界坐标系中Y坐标垂直向下为正，因此地面点云的Y坐标具有最大值。通过去除场景三维点云中Y坐标大于一定阈值的点，达到去除地面点的目的。阈值的设定按实际情况给出，和项目所采用车的尺寸、相机XOZ平面和地面的夹角。本申请中，此处阈值设置为1.4米。

· XOZ平面栅格图像的建立

XOZ平面为实际的连续空间平面，需要将其离散化。首先，根据检测范围及相机视场，确定XOZ平面的范围。本申请中X范围为[-2m 2m]，Z的范围限定为[0.5m 50m]。对连续的XOZ平面，以步长ε对其进行采样，建立栅格图像。栅格图像每个像素对应了实际的XOZ平面一片区域。统计该区域内三维投影点的数目，将该数目作为此栅格的“灰度值”，得到投影点在XOZ平面的密度直方图，如图4所示。通常，为了避免噪声的干扰，会去除“灰度值”小于一定值的区域，将此栅格图像二值化后，得到待分割的二值图像。

·目标分割

对二值栅格图像执行像素标记操作，分割出每个目标。

值得注意的是，在栅格图像建立过程中，步长大小的设定非常重要。步长设置过大，相邻的两个运动目标可能被判为一个运动目标，如果步长设置过小，除了计算量增加外，也可能过分割出多个目标。选择一个合适的阈值是很困难的。一般来说，将一个目标分割为多个目标并对智能车决策规划影响较小，故本申请选择小的阈值。

(2)目标二次分割

由于残差光流中存在噪声，这些噪声表现为一些零散的静止背景上的局部数据，目标二次分割的目的就是去除这些噪声。去除这些零散噪声的思想如下：同一个目标与相机距离不同时，在像平面的成像大小不同。因此，可以根据目标距离与其在像平面上面积的相关性去除噪声数据。

智能车行驶环境动态典型目标一般为车辆、行人。因此，可以根据所采用相机的焦距大小、分辨率、世界坐标系XOZ平面与地平面的关系，计算出一般形态下车辆、行人在不同距离下，在像平面上的面积大小。设前方目标的长宽分别为w×h，镜头焦距为f，物体距离相机的距离为D，像素大小为d_x×d_y，则目标在像平面上的面积为：

建立常见运动目标不同距离下对应像平面面积表，如表1所示。

表1目标物理尺寸和像面尺寸对应关系

具体实施步骤如下：

1)对于粗分割后的区域，计算该区域内每个像素对应的三维坐标，再取所有三维坐标的平均值作为该目标与相机的距离D。

2)计算粗分割后目标面积s。

3)计算D和D₁...D_n的差，选最小差值对应的D_i作为参考对标距离

4)计算Δs＝|s_i-s|；若Δs<ε，则认为粗分割后的区域为单个目标，保留该区域为动态目标区域；若Δs>ε，则认为该目标为噪声目标，需要去除。

根据本发明实施例提供的方案，本发明在传统背景光流补偿差分法的基础上做出了相关点的改进。这些改进的积极效果就是可以提高运动目标检测的准确性、减小漏检率和误检率。以KITTI数据库中的数据为样本进行测试，所提出的方法较传统的背景光流补偿差分法检测准确率提高了12.45％，漏检率降低了12.46％，误检率降低了16.94％。

尽管上文对本发明进行了详细说明，但是本发明不限于此，本技术领域技术人员可以根据本发明的原理进行各种修改。因此，凡按照本发明原理所作的修改，都应当理解为落入本发明的保护范围。

Claims (6)

1.一种基于视觉的智能车环境动态目标检测的方法，其特征在于，包括：

在智能车移动期间，设置在所述智能车上的双目立体相机通过采集当前的场景图像，得到当前的双目视频序列图像；

从所述双目视频序列图像中选取第t时刻图像和t-1时刻图像，并利用所述第t时刻图像和所述t-1时刻图像，计算混合光流；

根据所述第t时刻图像、所述t-1时刻图像，计算所述双目立体相机运动背景光流，其包括：

根据所述第t时刻图像对

所述t-1时刻图像对

计算出n个SIFT匹配点；

利用基于视差的SIFT匹配点筛选策略，过滤掉对所述双目立体相机自运动参数计算误差较大的SIFT匹配点，得到m个有效SIFT匹配点，其包括：

分别计算第i个SIFT匹配点的视差d_i；

根据所述第i个SIFT匹配点的视差d_i，计算第i个SIFT点的误差指标因子inde_i，其公式为：

当所述第i个SIFT点的误差指标因子inde_i小于1时，则将所述第i个SIFT匹配点作为有效SIFT匹配点；

当所述第i个SIFT点的误差指标因子inde_i不小于1时，则过滤掉所述第i个SIFT匹配点；

利用所述有效SIFT匹配点，计算所述双目立体相机的自运动参数；

根据所述双目立体相机的自运动参数，计算所述双目立体相机运动背景光流；

利用所述混合光流和所述运动背景光流，得到仅由目标运动产生的残差流；

通过对所述残差流进行处理，得到独立的运动目标；

其中，n>m，且，n和m均为正整数；

分别表示t时刻双目相机的左图像和右图像；

分别表示t-1时刻双目相机的左图像和右图像。

2.根据权利要求1所述的基于视觉的智能车环境动态目标检测的方法，其特征在于，所述混合光流是指由所述双目立体相机的左相机在相邻两时刻采集图像所计算的光流场。

3.根据权利要求2所述的基于视觉的智能车环境动态目标检测的方法，其特征在于，所述利用所述混合光流和所述运动背景光流，得到仅由目标运动产生的残差流包括：

通过将所述混合光流与所述运动背景光流进行相减处理，得到仅由目标运动产生的残差流。

4.根据权利要求1所述的基于视觉的智能车环境动态目标检测的方法，其特征在于，所述通过对所述残差流进行处理，得到独立的运动目标包括：

采用动态阈值分割法，从所述残差流中分割出运动区域；

通过结合2D和3D信息的方法，从所述运动区域内分割出独立的运动目标；

其中，所述动态阈值分割法包括：

计算t时刻图像视差的均值

对于坐标为(x,y)的像素，若其视差值大于视差均值

则设定大的分割阈值；若

则设定中等的分隔阈值；若

则设定小的分割阈值。

5.根据权利要求4所述的基于视觉的智能车环境动态目标检测的方法，其特征在于，所述通过结合2D和3D信息的方法，从所述运动区域内分割出独立的运动目标包括：

利用3D信息对所述运动区域进行目标粗分割处理，得到粗分割目标；

利用2D信息对所述粗分割目标进行二次分割处理，得到独立的运动目标。

6.根据权利要求5所述的基于视觉的智能车环境动态目标检测的方法，其特征在于，所述目标粗分割包括：地面点云去除、XOZ平面栅格图像的建立以及目标分割。

Images