CN105809130A - 一种基于双目深度感知的车辆可行驶区域计算方法 - Google Patents

Abstract

本发明提供了一种基于双目深度感知的车辆可行驶区域计算方法，通过检测出关键目标的类别以及其运动行为，再结合一些车辆驾驶规则中的先验知识，定义相关目标与自身车辆的行驶之间的相互影响规则，再根据这些影响规则计算出场景中的每个占用网格对于自身车辆的行驶代价，最终计算出车辆的可行驶区域用以表述以自身车辆为中心的交通场景；本发明实现了在交通场景中对于行人，车辆这类关键目标的精确识别并预估其运动轨迹作行为分析，具有较高的可行性与准确性，可应用于智能交通领域中的无人驾驶，驾驶辅助系统等方向。

Description

一种基于双目深度感知的车辆可行驶区域计算方法

技术领域

本发明属于视频智能分析技术领域，具体的为一种基于双目深度感知的车辆可行驶区域计算方法。

背景技术

针对智能交通无人驾驶车辆可行驶区域的计算模型研究中，目前较为主流的是基于车辆前向目标的空间位置信息进行安全行驶区域计算的模型，其主要通过双目视觉深度匹配技术或雷达探测技术计算前向物体与自身车辆的距离，并进行障碍物位置信息的判定，以此计算自身车辆在交通场景中的可安全行驶区域范围。

这种模型虽然能够对于静态物体通过深度信息计算在空间上得到一个较为准确的可行驶区域，但在较为复杂的交通场景中，由于没有考虑到场景中其他运动物体的运动信息以及车辆自身的运动轨迹，当出现旁边车道的车辆进行较高速变道行驶或前面道路上出现了一种完全基于场景静态分析难以感知的障碍(远处出现堵塞，道路不可通行，地表行车环境较差等)时，该模型很难做到一个提前的估计和分析并重新规划路径，从而对于自身车辆的控制规划造成困难。

发明内容

本发明主要研究如何针对道路上的关键目标以及其运动行为，结合一些车辆驾驶规则中的先验知识，定义相关目标与自身车辆的行驶之间的相互影响规则，再根据这些影响规则计算出场景中的每个占用网格对于自身车辆的行驶代价，并用可行驶代价表costmap表示，最终计算出车辆的可行驶区域用以表述以自身车辆为中心的交通场景。

本发明的技术方案是：一种基于双目深度感知的车辆可行驶区域计算方法，包括以下步骤：

步骤1：将整个道路划分成若干个固定大小的可行驶资源单元节点(i,j)；

步骤2：对于每个可行驶资源单元节点(i,j)，假设本车行驶到该节点，计算所产生的行驶代价；行驶代价包括3个部分：本车选择变换到该节点所在位置的车道导致的代价J(θ)、本车在(i,j)道路节点与场景中其他目标发生碰撞的概率P(i,j)、根据概率P(i.j)计算的基于车辆交互信息的代价J(collision)；这三个部分的计算过程具体包含以下子步骤：

步骤2.1：对于J(θ)，J(θ)为本车选择变换到该节点所在位置的车道导致的代价，

J(θ)＝k+k₁×θ+k₂×θ²

其中，θ为变换到该车道的转向角，k、k₁、k₂为阈值参数；

步骤2.2：对于P(i,j)，该函数表示本车在(i,j)道路节点与场景中其他目标发生碰撞的概率，

$P(i,j)=e^{-\frac{{\mathrm{\Δ}}^{2}i,j}{2{\mathrm{\δ}}^2}}$

其中，Δ²i,j＝(t_i,j-t₀)²表示车辆到达(i,j)节点的时间，t₀表示当前时刻，t_i,j表示行驶到(i,j)节点的时刻，而δ为概率参数，是先验知识，其表示驾驶员平均的碰撞反应时间；

步骤2.3：对于J(collision)，J(collision)是一个分段函数，

J(collision)＝∑k_i×D_i,P(i,j)＜ε

J(collision)＝αP(i,j)+β,P(i,j)≥ε

其中，D_i表示对应节点周围一个范围内的第i个运动目标离该节点的距离，k_i表示权重，这个权重根据运动目标与对应节点在方向上的交互决定；ε为概率的阈值用以决定具体的代价函数；

结合以上三个部分，行驶代价计算函数可表示如下：

cost＝αJ(θ)＋βd+P(i,j)×J(collision)

其中，α，β为权重参数，d为本车到该节点的距离。

步骤3：将整个道路平面，根据车辆的平均大小结合车道宽度，划分成若干个等大小的矩形块作为单一的道路资源单元，将资源单元与步骤2中的可行驶资源单元节点进行二维坐标匹配；

步骤4：将步骤2中代价函数计算结果进行归一化，并带入单元划分后的道路平面；本车选择代价小于阈值K的道路资源单元行驶，提取当前交通场景中的对应的可行驶区域，规划出合适的行驶路径。

进一步的，步骤2.3所述的分段函数J(collision)分段函数计算运用的参数，具体计算方法如下：

步骤2.3.1：通过现有的视觉分析技术获取本车所在交通场景中目标运动信息：首先，通过双目视觉中的场景流技术得到的三维速度矢量，此后，根据二维坐标信息，与可变形部件DPM模型DeformablePartModels识别出的行人或车辆进行匹配，从而获取目标运动信息，所述的目标运动信息包括目标的运动方向和速度；

步骤2.3.2：根据识别出来的目标及其运动行为的不同，将上述已被识别出来的所有目标分成三类：车辆、行人以及静止障碍物；

若目标为车辆，计算与本车距离D_i，执行步骤2.3.3计算k_i；

若目标为行人，计算与本车距离D_i，执行步骤2.3.4计算k_i；

若目标为静止障碍物，直接计算D_i，此时目标静止，k_i取0；

步骤2.3.3：针对车辆的行为，主要围绕着其变道与否来进行，因为若自身车辆周围不存在其他车辆的变道行为，则车辆的当前轨迹可以认为是相对安全的；因此车辆的行为可分为左向变道，右向变道，保持车道三类；

若目标的速度大于固定阈值K，且其夹角大于阈值θ₁，则认为这是一种变道行为；若目标速度值小于固定阈值K，且其夹角大于阈值θ₂，则同样认定这是一种变道行为，其相邻即将变道位置节点的k_i值增大一个单位；否则，认为车辆没有变道行为；

步骤2.3.4：针对行人的行为，考虑到实际场景中能够对车辆造成影响的主要是横穿马路的行人，因此对于行人的分类主要分为过马路行人以及正常行走行人两种；结合图像采集视角不同的影响，若目标的夹角大于阈值θ₃，则认为该行人在进行过马路行为，其相邻即将穿越位置节点的k_i值增大一个单位；否则，认为行人没有过马路行为。

本发明的技术效果是：一种基于双目深度感知的车辆可行驶区域计算方法，通过检测出关键目标的类别以及其运动行为，再结合一些车辆驾驶规则中的先验知识，定义相关目标与自身车辆的行驶之间的相互影响规则，再根据这些影响规则计算出场景中的每个占用网格对于自身车辆的行驶代价，最终计算出车辆的可行驶区域用以表述以自身车辆为中心的交通场景；本发明实现了在交通场景中对于行人，车辆这类关键目标的精确识别并预估其运动轨迹作行为分析，具有较高的可行性与准确性，可应用于智能交通领域中的无人驾驶，驾驶辅助系统等方向。

附图说明

图1是本发明的流程图。

具体实施方式

如图1，本发明提供了一种基于双目深度感知的车辆可行驶区域计算方法，包括下列内容：

将整个道路划分成若干个固定大小的可行驶资源单元节点(i,j)；

对于每个可行驶资源单元节点(i,j)，假设本车行驶到该节点，计算所产生的行驶代价；行驶代价包括3个部分：本车选择变换到该节点所在位置的车道导致的代价J(θ)、本车在(i,j)道路节点与场景中其他目标发生碰撞的概率P(i,j)、根据概率P(i.j)计算的基于车辆交互信息的代价J(collision)；

使用现有技术识别的道路上的目标，也提取了目标的运动矢量。本方法的主体部分主要包含可行驶代价计算和可行驶区域表示两个部分。

(1)可行驶代价的计算

对于可行驶代价的计算，可行驶的代价区分主要有以下几个方面：1)对于在人行道上行走的行人，由于其不会与自身车辆形成道路资源竞争，因此我们不需要计算其对应的代价。2)对于保持当前车道行驶的车辆，考虑到后续道路资源节点的设计规则，在计算时可以忽略其速度矢量方向，而认为其行驶方向为沿着当前道路方向行驶。3)对于与变道行为的车辆发生交互的情况，可以按照以上的可行驶代价模型进行计算，得到对应区域的行驶代价。4)对于与横向穿过马路的行人之间的交互代价。由于其通常速度较慢且方便控制其运动，当出现轨迹相交时，我们可以适当给交互代价部分乘以一个的权值来降低其交互的影响。

将整个道路划分成若干个固定大小的可行驶资源单元节点，对于每个道路节点，根据上述目标不同的行为，为其赋予不同的代价参数，从而提出一个新的函数来计算其行驶代价，具体代价函数可表示如下：

cost＝αJ(θ)+βd+P(i,j)×J(collision)

其中，α，β为权重参数，J(θ)表示车辆变换车道导致的代价(实际行车中最有情况是保持当前车道，故变换车道需要增加代价)，βd表示由于对应道路节点距离自身车辆远近所导致的行驶代价，P(i,j)表示碰撞出现在目标节点的可能性，J(collision)是根据该可能性计算的基于车辆交互信息的代价。

各个函数的具体形式如下：

①目前来说，对于本车选择变换到该节点所在位置的车道导致的代价J(θ)而言，因为变换车道导致的代价需要从两个方向考虑，转向角θ以及转向需要占用的资源多少，且这个转向占用资源与转角存在一个二次关系：当转向角(与垂直夹角)大于某个值时(判断为非直行)且小于另外一个阈值k₁时，这个夹角越大其转向需要经过的节点就越少，其需要占用的资源也就越少；而当转角小于阈值k₂并大于k₁时，暂用的资源受到角度的影响也会较少，因为这个时候处于基本可以认为其行驶的路径为对应的1-2个节点，从而占用资源相对固定；而当夹角大于k₂时，夹角越大，车辆越偏向平行转弯，这个时候会占用大量车道资源(旁边几个车道几乎都会阻挡)，因此夹角越大代价越高；综上所述，可以把以占用资源为核心的J(θ)与角度θ的方程图看作是一个碗状的图，故可以设置为一个一元二次方程表示如下：

J(θ)＝k+k₁×θ+k₂×θ²

②对于P(i,j)，该函数主要表示自身车辆在(i,j)道路节点与场景中其他目标发生碰撞的概率，其主要意义是当发现场中存在其他目标的预估轨迹与自身车辆的预估轨迹在(i,j)节点出现相交且目标与自身车辆到达该节点时间相近时，计算由于这个相交的情况所导致的碰撞发生的概率大小。在得到该概率之后，依据概率大小结合交通场景中行驶规则等先验知识，就可以计算出最终的区域交互行驶代价。对于轨迹碰撞的研究，P(i,j)的具体表示形式如下：

$P(i,j)=e^{-\frac{{\mathrm{\Δ}}^{2}i,j}{2{\mathrm{\δ}}^2}}$

其中，Δ²i,j＝(t_i,j-t₀)²表示车辆到达(i,j)节点的时间，t₀表示当前时刻，t_i,j表示行驶到(i,j)节点的时刻；而δ为概率参数，是先验知识，其表示驾驶员平均的碰撞反应时间，根据已有文献中的研究，其具体数值可设定为2.6秒。

③J(collision)是一个分段函数，因为对于不同的碰撞概率，本发明认为其对于行车的危险代价计算并不是一样的。对于碰撞概率较低的节点，我们更加关注的是车辆在该节点与其他目标之间的距离，因为这个距离越大，下一步运动规划提供的空间也就越大，相反的，如果在某个节点，虽然不太可能会出现碰撞，但是其与周围目标距离相对较近，那么就认为车辆如果行驶该节点那么在之后的行驶路径上可能就出现困难甚至导致高碰撞几率，那么这种情况便是我们需要避免的；

对于高碰撞概率节点，本发明认为影响车辆行驶代价的因素更多的便是这个碰撞概率，因为既然碰撞概率已经很高了，那我们就应该给这种区域较高的代价尽量避免行驶。

因此最终的J(collision)大致可以定义如下：

J(collision)＝∑k_i×D_i,P(i,j)＜ε

J(collision)＝αP(i,j)+β,P(i,j)≥ε

其中，D_i表示对应节点周围一个范围内的第i个运动目标离该节点的距离(这个距离不一定采用欧式距离，可以根据具体情况采用曼哈顿距离等)，k_i表示权重，这个权重根据运动目标与对应节点在方向上的交互决定；ε为概率的阈值用以决定具体的代价函数。

这里D_i和k_i的取值是根据对应节点上的运动目标的运动特性以及运动目标与对应节点在方向上的交互决定，因此，我们在计算这两个参数的取值时，需要对交通场景中的运动目标进行识别和分类。其过程主要包含以下两个部分：

1)目标预处理

对于已经提取出来的目标，将双目视觉中的场景流技术得到的三维速度矢量，根据二维坐标信息，与目标进行匹配，从而获取目标运动信息；

2)目标行为分析

目标的行为类别主要可以分为车辆、行人和静止障碍物三类。

①针对车辆的行为，主要围绕着其变道与否来进行，因为若自身车辆周围不存在其他车辆的变道行为，则车辆的当前轨迹可以认为是安全的；若存在其他车辆的变道行为，则不安全，需要增大代价权重k_i。因此车辆的行为可分为左向变道，右向变道，保持车道三类。

对于车辆的变道与否(或行人的横穿马路与否)的行为判定，主要围绕着对于其速度矢量相对于坐标纵轴的角度结合目标具体速度值进行。对于车辆，若目标的速度值较高(大于固定阈值K)，且其夹角大于阈值θ₁，则认为这是一种变道行为；若目标速度值小于固定阈值K，且其夹角大于阈值θ₂，则同样认定这是一种变道行为；否则，认为车辆没有变道行为。

然而这里需要注意的是，在对车辆的变道行为做出判定之后，车辆的具体行驶方向以及其速度值还需要保留作为重要的代价计算依据进行区域行驶代价的计算，这一设定的目的是虽然对其他车辆的变道进行了判断，我们依然需要通过其速度矢量估计其将会与自身车辆造成风险的位置，从而对该区域进行高风险划定。

②针对行人的行为，考虑到实际场景中能够对车辆造成影响的主要是横穿马路的行人，因此对于行人的分类主要分为过马路行人以及正常行走行人两种，同车辆变道行为相同。由于本发明仅仅需要对于其是否存在过马路行为进行判定，而穿过马路的行人的行为大多与横轴平行，结合图像采集视角不同的影响，结合图像采集视角不同的影响，若目标的夹角大于阈值θ₃，则认为该行人在进行过马路行为；否则，认为行人没有过马路行为。

这里也需要对于行人的速度矢量进行保留，但在后续的行驶代价判定过程中将会对这两种行为进行代价的区分。

(2)可行驶区域表示

可行驶区域的表示主要通过以整个道路平面的俯视图形式呈现，对于整个道路平面，根据车辆的平均大小结合车道宽度将平面划分成若干个等大小的矩形块作为单一的道路资源单元，并且在计算可行驶代价时，其代价值对应的区域与单元匹配。对于每个单元，其主要包含占用与否，占用目标行为类别，占用目标速度矢量，可行驶代价这几种信息，对于正在被占用单元其行驶代价将定义为最大(若采用归一化后的代价则为1)。

将代价函数计算结带入单元划分后的道路平面，并且配合合适的阈值K，就能够将当前交通场景中的对应的可行驶区域提取出来，规划出合适的行驶路径。

Claims (2)

1.一种基于双目深度感知的车辆可行驶区域计算方法，其特征在于，包括以下步骤：

步骤1：将整个道路划分成若干个固定大小的可行驶资源单元节点(i,j)；

步骤2：对于每个可行驶资源单元节点(i,j)，假设本车行驶到该节点，计算所产生的行驶代价；行驶代价包括3个部分：本车选择变换到该节点所在位置的车道导致的代价J(θ)、本车在(i,j)道路节点与场景中其他目标发生碰撞的概率P(i,j)、根据概率P(i.j)计算的基于车辆交互信息的代价J(collision)；这三个部分的计算过程具体包含以下子步骤：

步骤2.1：对于J(θ)，J(θ)为本车选择变换到该节点所在位置的车道导致的代价，

J(θ)＝k+k₁×θ+k₂×θ²

其中，θ为变换到该车道的转向角，k、k₁、k₂为阈值参数；

步骤2.2：对于P(i,j)，该函数表示本车在(i,j)道路节点与场景中其他目标发生碰撞的概率，

$P(i,j)=e^{-\frac{{\mathrm{\Δ}}^{2}i,j}{2{\mathrm{\δ}}^2}}$

其中，Δ²i,j＝(t_i,j-t₀)²表示车辆到达(i,j)节点的时间，t₀表示当前时刻，t_i,j表示行驶到(i,j)节点的时刻，而δ为概率参数，是先验知识，其表示驾驶员平均的碰撞反应时间；

步骤2.3：对于J(collision)，J(collision)是一个分段函数，

J(collision)＝∑k_i×D_i,P(i,j)＜ε

J(collision)＝αP(i,j)+β,P(i,j)≥ε

其中，D_i表示对应节点周围一个范围内的第i个运动目标离该节点的距离，k_i表示权重，这个权重根据运动目标与对应节点在方向上的交互决定；ε为概率的阈值用以决定具体的代价函数；

结合以上三个部分，行驶代价计算函数可表示如下：

cost＝αJ(θ)+βd+P(i,j)×J(collision)

其中，α，β为权重参数，d为本车到该节点的距离；

步骤3：将整个道路平面，根据车辆的平均大小结合车道宽度，划分成若干个等大小的矩形块作为单一的道路资源单元，将资源单元与步骤2中的可行驶资源单元节点进行二维坐标匹配；

步骤4：将步骤2中代价函数计算结果进行归一化，并带入单元划分后的道路平面；本车选择代价小于阈值K的道路资源单元行驶，提取当前交通场景中的对应的可行驶区域，规划出合适的行驶路径。

2.根据权利要求1所述的一种基于双目深度感知的车辆可行驶区域计算方法，其特征在于：

步骤2.3所述的分段函数J(collision)分段函数计算运用的参数，具体计算方法如下：

步骤2.3.1：通过现有的视觉分析技术获取本车所在交通场景中目标运动信息：首先，通过双目视觉中的场景流技术得到的三维速度矢量，此后，根据二维坐标信息，与可变形部件DPM模型DeformablePartModels识别出的行人或车辆进行匹配，从而获取目标运动信息，所述的目标运动信息包括目标的运动方向和速度；

步骤2.3.2：根据识别出来的目标及其运动行为的不同，将上述已被识别出来的所有目标分成三类：车辆、行人以及静止障碍物；

若目标为车辆，计算与本车距离D_i，执行步骤2.3.3计算k_i；

若目标为行人，计算与本车距离D_i，执行步骤2.3.4计算k_i；

若目标为静止障碍物，直接计算D_i，此时目标静止，k_i取0；

步骤2.3.3：针对车辆的行为，主要围绕着其变道与否来进行，因为若自身车辆周围不存在其他车辆的变道行为，则车辆的当前轨迹可以认为是相对安全的；因此车辆的行为可分为左向变道，右向变道，保持车道三类；

若目标的速度大于固定阈值K，且其夹角大于阈值θ₁，则认为这是一种变道行为；若目标速度值小于固定阈值K，且其夹角大于阈值θ₂，则同样认定这是一种变道行为，其相邻即将变道位置节点的k_i值增大一个单位；否则，认为车辆没有变道行为；

步骤2.3.4：针对行人的行为，考虑到实际场景中能够对车辆造成影响的主要是横穿马路的行人，因此对于行人的分类主要分为过马路行人以及正常行走行人两种；结合图像采集视角不同的影响，若目标的夹角大于阈值θ₃，则认为该行人在进行过马路行为，其相邻即将穿越位置节点的k_i值增大一个单位；否则，认为行人没有过马路行为。