CN112437501A - 一种基于交通语义和博弈论的多传感器超视距自组网方法 - Google Patents

Abstract

本发明公开了一种基于交通语义和博弈论的多传感器超视距自组网方法，首先对车载、路侧单元的各传感器有效感知范围进行量化，然后基于交通语义建立典型场景库，通过典型场景库对应工况判断车辆感知需求，最后基于双层博弈理论获取最优组网方式。与现有技术相比，本发明的积极效果是：基于不同交通语义建立的典型场景库，可以使车辆准确快速的判断当前时刻车辆的超视距感知需求，基于完全信息博弈理论，构建双层博弈模型，既满足了智能车辆超视距的感知需求，又实现了传感器信息的最大化利用，具有解决实际问题的价值。

Description

一种基于交通语义和博弈论的多传感器超视距自组网方法

技术领域

本发明涉及智能驾驶汽车及车路协同感知领域，具体涉及一种基于交通语义和博弈论的多源异构传感器超视距自组网方法。

背景技术

智能汽车的安全驾驶是由环境感知、规划决策、控制执行等功能模块协同工作组成的复杂系统。其中，环境感知效果是汽车能否进行正确规划决策及控制执行的重要前提，直接影响了车辆行驶的安全性及舒适性。目前常用环境感知方案包括摄像机、激光雷达、毫米波雷达、超声波雷达等传感器采集数据配合自动驾驶地图以及高精度定位系统协同感知，各类传感器基于不同工作原理具有不同的感知精度、内容和范围，面对不同的环境及目标各有优劣。

基于车载及路侧单元的各类传感器，构建车路协同多源异构传感器感知系统，提升单车感知能力，利用多车感知进行时空协同，扩展单车视野，是智能车辆达到超视距无盲区的环境感知效果技术发展的必然趋势。

随着近年来5G通讯技术的迅猛发展，5G车联网基于D2D技术可实现V2X通信，且空口延时在1ms左右，端到端延时也为毫秒级，已能够满足车联网低延时高可靠的通信要求。

中国专利公开了“ADAS与V2V结合的超视距感知与发布方法及系统”(CN107979812A)，该系统将车载ADAS系统感知信息与其他车辆ADAS系统进行融合匹配，大大提高了车辆感知范围，但是仅仅与车辆的信息交互依旧存在感知信息死角，动态信息匹配困难等问题。中国专利公开了“基于车路协同的智能网联汽车运行系统”(CN109714421A)，将感知信息、高精度定位、地图匹配等众多信息均上传云端计算，未考虑到各传感器间竞争与合作的关系，极大的增加了计算量，不仅会造成资源浪费，还会降低各传感器间的匹配精度。中国专利公开了“一种基于博弈论的车联网RSU最优配置”(CN104320789A)，该方法基于博弈论确定了最优RSU的配置，但是单层博弈论组合数量多，整体计算量大，不能快速高效的筛选出最优配置组合，无法满足超视距组网的实时要求。

本发明通过定义交通语义及场景划分，建立典型行驶场景库。分析各交通场景中车辆感知需求及各异构传感器感知能力，判断传感器之间的竞争与合作关系，对动态感知需求的传感器组网关系演变，建立多层博弈函数，博弈得出当前时刻最优传感器自组网状态组合。

发明内容

为了克服现有技术的缺点，本发明提出了一种基于交通语义和博弈论的多传感器超视距自组网方法，旨在确定车辆在不同交通场景中选择最优传感器自组网方式及数据的最优利用。首先对各车载、路侧单元各传感器的有效感知范围进行量化，然后建立基于交通语义的典型场景库，通过典型场景库对应工况判断车辆感知需求，最后基于双层博弈理论获取最优组网方式。

本发明解决其技术问题所采用的技术方案是：一种基于交通语义和博弈论的多传感器超视距自组网方法，包括如下步骤：

步骤一：对车载传感器在不同光照、天气条件下的有效感知范围进行量化，包括但不限于感知视角、感知距离、感知精度等感知内容，选用的感知传感器包括但不限于视觉传感器，激光雷达，毫米波雷达，红外传感器等。

步骤二：对路侧端传感器在不同光照、天气、安装高度及角度条件下的有效感知范围进行量化，包括但不限于视觉传感器，激光雷达，测速仪等。

步骤三：基于交通场景及道路交通状态两项交通语义建立基础场景库。

步骤四：针对各类交通参与对象在基于不同交通语义中表现出的不同行为，建立预警场景库。

步骤五：将基础场景库与预警场景库结合，共同构成典型场景库。

步骤六：准确识别车辆当前行驶道路并匹配场景库，确定基于当前场景多传感器超视距自组网的感知需求。

步骤七：基于当前车辆感知需求及感知范围内传感器，进行第一层博弈，获取满足当前交通语义感知需求的多源异构传感器组合。

步骤八：基于满足感知需求的传感器组合，进行第二层博弈，获取当前组合中多传感器动态自组织的最优组合方式。

本发明的有益效果：

1、通过对交通语义的定义及场景划分，建立典型行驶场景库。分析各交通场景中车辆感知需求及不同传感器感知能力。根据车辆实际感知需求，选择合适的传感器自组网方式可以极大的减轻多视角目标匹配的计算数量及难度，从而提升智能汽车车路协同感知下的计算效率及计算精度。

2、基于不同交通语义，分析各传感器之间的竞争与合作关系、动态感知需求下传感器组网关系的演变。基于完全信息博弈理论，建立多层博弈函数，进行多层信息博弈，构建超视距传感器自组织模型，博弈得出当前时刻最优传感器自组网状态组合，从而实现最优传感器自组网及数据最优利用。

附图说明

图1为基于交通语义建立的典型场景库框架图

图2为基于交通语义进行超视距传感器自组网的双层博弈流程图

具体实施方式

下面结合附图对本发明作进一步说明。

如图1、图2所示，本发明提出的一种基于交通语义和博弈论的多传感器超视距自组网方法，包括如下内容。

一，量化车载、路侧单元各传感器的有效感知范围

针对各类型传感器具有不同的工作原理，每个传感器的感知范围、感知精度不尽相同，且对外界环境因素(如光照、雨雾等)的抗干扰能力也各异，进而影响智能网联汽车的整体感知效果。故在进行多传感器超视距自组网前需对各传感器的有效感知范围进行定性量化判定。

(1)视觉传感器具有传感器信息丰富、信息容量大且成本低等优点，但伴随环境光(白天、黑夜、阴影、黄昏)照强度的变化，天气环境(晴天、雨天、雪天、雾天)能见度的变化，摄像头传感器及镜头的不同选型，均会对传感器的感知范围及精度产生影响。故对同一型号的视觉传感器，在不同环境下的安全感知水平距离、感知视角范围需进行测量判定。

针对不同的环境光线工况，借助智能感知设备(智能汽车、路侧单元)上的光线传感器或感知算法对环境光线强弱进行感知，并判断输出光线强度系数。针对同一型号的摄像头，在不同环境工况下对其有效感知距离进行标定，视觉传感器在该工况下的有效感知范围应小于标定值。

(2)激光雷达测量精度高，方向性好，不受环境光线影响。受设备感知视角，安装高度及测量角度，设备硬件条件不同，各设备间感知距离、范围精度均存在差异。对车载及路侧端安装后的激光雷达应进行有效感知距离，水平、垂直视角进行量化标定，激光雷达在固定后的有效感知范围应小于标定值。

二：基于交通语义建立典型场景数据库；

由于车辆基于不同交通语义中的行驶状态存在差异，故面对不同交通语义，车辆感知需求也会随之发生变化。以交通场景、交通道路状态、交通参与对象及数量三个维度作为构成交通语义的变量，进行排列组合场景划分，建立能满足绝大部分工况的典型场景数据库。

变量一：交通场景包括但不限于，高速公路、匝道、城市道路-快速路-主干路-次干路、交叉路口等典型交通场景。

在不同的交通场景中，道路质量、道路可行驶区域、路标及车道线划分、车辆的最高限速等方面均存在差异，这将影响车辆在该交通场景中的运动行为。

变量二：道路交通状态包括：通畅、轻度拥堵、重度拥堵。

车辆在同一交通场景的行驶过程中，由于车流量的变化，前方车辆驾驶规范与否，前方道路施工或发生事故等原因均会导致道路发生拥堵，从而影响降低车辆的行驶速度，甚至使车队停滞不前。

通过道路场景中摄像头、激光雷达等设备捕捉感知范围内的车辆数量及平均车速，对比该条道路硬件设施情况，判断得出当前时刻的道路交通状态。

变量三：交通参与对象包括：大型客货车、小型汽车、非机动车、行人、宠物。

同一个交通参与对象在不同的交通语义中会表现出不同的行为状态，不同的交通参与对象在相同的交通语义中行为状态也存在差异，有些行为会对后车行驶状态产生影响，有些行为甚至会对后车造成危险。

根据车辆行驶的交通场景以及当前时刻的道路交通状态两个维度构建典型场景库，将不同的道路交通状态对应上不同的交通场景，组成的组合构建成基础场景库。各类交通参与对象在基础场景库中的特殊行为，如行人不走斑马线横穿马路，车辆交叉路口闯红灯，非机动车辆蛇形走位等特殊情况设立为预警场景库。基础场景库和预警场景库共同组成典型场景库。

典型场景库根据交通场景及当前时刻道路交通状态设定车辆在该场景下的预期平均车速。

三：确定多传感器超视距自组网感知需求

车辆在不同的道路上行驶时，通过GPS定位、交通标志识别、周边环境监测等方式确认行驶环境，并在典型场景库中基于交通语义匹配到对应场景。

在满足准确、高效、全覆盖的前提下，车辆行驶在不同场景中所需的有效感知范围不尽相同，下方列举两种方案便于确定车辆在基础场景库中的超视距自组网基础感知范围。

方案1：以时间为界限确定感知范围需求

当车辆正确识别到当前时刻对应场景库时，获取在该场景下对应的平均行驶速度，将平均行驶车速乘以超前感知时间，即可获得所需超前感知范围。提前感知时间从5秒至1分钟均可。

例：车辆行驶在城市快速路上，此时的道路交通状态为通畅，对应场景库中此时的平均车速为72km/h，超前感知时间为15s。则该工况下以时间界限确定的感知需求范围为20m/s×15s＝300米，即车辆所处城市快速路前方300米。

通过设定超前感知时间，基于当前交通语义获取预计车速，可以在保障安全的前提下合理设定感知范围。针对驾驶人驾驶习惯，可以通过修改超前感知时间的方式缩小或扩大感知范围。

方案2：以距离为界限确定感知范围需求

当车辆正确识别到当前时刻对应场景库中工况时，获取在该工况下设定的感知范围。

例：车辆行驶在轻度拥堵的主干路上，基于此交通语义对应场景库中设定感知范围为200米，则在该工况下以距离为界限确定的感知范围需求为车辆所处城市主干路前方200米。

危险预警感知补充：当车载、路侧传感器检测到有行人横穿街道，动物在马路上移动，路面存在障碍物等特殊工况，应对当前行驶在该道路上一定范围内的车辆广播危险预警信息。

四：基于博弈论获取最优组网方式：

基于交通语义选取场景库中对应场景获取车辆感知需求范围，结合当前范围内各车载、路侧单元传感器感知能力后，采取双层博弈理论对多源异构传感器进行最优组网。

将车辆感知需求范围内所有感知设备进行组合，并构建第一层博弈论模型：

MSF₁＝{C1,Λ,μ1}

其中，C₁表示由参与融合的N_c个传感器组成的感知系统C₁＝{1,2,…,N_c}，Λ表示传感器有效感知范围，μ₁为根据感知需求设计的支付函数。

设Г_tk表示当前行驶环境所需感知的空间范围，S(t_k)表示各传感器在t_k时刻的策略集，即各传感器选择某一具体策略s_j的状态集合，则μ₁为可建模当前策略下多传感器融合对Г的覆盖程度：

μ₁(t_k)＝Σ_S(tk){Λ|s_j}/Гt_k

对多传感器系统进行状态博弈，解算出当前策略集下的μ₁，若μ₁≥1，即实现满足当前超视距感知需求，对满足感知需求的多传感器组合C₂进行第二层博弈。

将智能汽车环境感知需求与当前策略下多传感器融合效果之间的差异转化为目标跟踪的期望协方差矩阵P₀与实际协方差矩阵P之间的差异。面向多传感器融合的感知精度，构建第二层博弈论模型：

MSF₂＝{C₂,S,μ₂}

其中，C₂为上述在第一层博弈中满足μ₁≥1的所有传感器状态组合；μ₂为当前策略下针对提升环境感知精度而设计的支付函数：

μ₂(t_k)＝βψ[P₀,P(t_k|S(t_k))]+γζ[S(t_k)]

其中，P₀为期望协方差矩阵，P(t_k|S(t_k))表示在t_k时刻多传感器在状态集合S(t_k)下得到的目标跟踪协方差矩阵，函数ψ[A,B]表示两个矩阵A,B之间差异性度量，ζ[S(t_k)]为传感器集合中传感器资源消耗代价总和，β,γ分别为跟踪误差代价和资源消耗代价的权重。

依据系统总代价最小原则，即每次决策都使得系统性能代价和资源消耗代价的加权和最小化，以求达到帕累托最优，得出多传感器动态自组织的帕累托最优模型为：

μ^opt(t)＝argminμ₂(t_k)

为求解该模型，构造目标离散化的状态方程：

x(t_k+1)＝F(t_k+1-t_k)x(t_k)+G(t_k+1-t_k)w(t_k)

其中，x(t_k)∈Rⁿ表示t_k时刻目标的状态向量，F(t_k+1-t_k)是t_k时刻的状态转移矩阵，G(t_k+1-t_k)∈R^m×r是t_k时刻的输入分布矩阵，w(t_k)∈R^r为其系统白噪声向量，其协方差矩阵为Q(t_k)。

将各传感器感知能力转化为如下量测方程，并随着传感器工作状态的改变而变化：

z_j(t_k)＝H_j(t_k|s_j)+v_j(t_k|s_j),j＝1,2,…,Nc

其中，z_j(t_k)∈R^m表示t_k时刻第j个传感器产生的量测向量，H_j∈R^m×n为观测矩阵,v_j(t_k)∈R_j ^m是量测噪声,其协方差矩阵为R_j(t_k)。。

应用此多传感器序贯滤波算法，得到多传感器S(t_k)状态组合的跟踪误差协方差阵P(t_k)，再结合各个传感器的资源消耗总代价，通过对帕累托最优模型的优化，即可得到当前时刻基于交通语义确立的感知范围内最优的车路多传感器组合。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技术所创的等效方式或变更均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于交通语义和博弈论的多传感器超视距自组网方法，其特征在于，包括：

S1：对车载传感器在不同光照、天气条件下的有效感知范围进行量化；

S2：对路侧端传感器进行量化；

S3：基于交通场景及道路交通状态两项交通语义建立基础场景库；针对各类交通参与对象在基于不同交通语义中表现出的不同行为，建立预警场景库；将基础场景库与预警场景库融合，共同构成典型场景库；

S4：识别车辆当前行驶道路并匹配场景库，确定基于当前场景多传感器超视距自组网的感知需求；

S5：基于当前车辆感知需求及感知范围内传感器，进行第一层博弈，获取满足当前交通语义感知需求的多源异构传感器组合；

S6：基于满足感知需求的传感器组合，进行第二层博弈，获取当前组合中多传感器动态自组织的最优组合方式。

2.根据权利要求1所述的一种基于交通语义和博弈论的多传感器超视距自组网方法，其特征在于，所述S1中，对车载传感器的量化包括但不限于感知视角、感知距离、感知精度、感知内容，所述车载传感器包括但不限于视觉传感器，激光雷达，毫米波雷达，红外传感器。

3.根据权利要求1所述的一种基于交通语义和博弈论的多传感器超视距自组网方法，其特征在于，所述S2中，对路侧端传感器的量化包括在不同光照、天气、安装高度及角度条件下的有效感知范围进行量化；所述路侧端传感器包括但不限于视觉传感器，激光雷达，测速仪。

4.根据权利要求1所述的一种基于交通语义和博弈论的多传感器超视距自组网方法，其特征在于，所述S3的实现包括如下：

以交通场景、交通道路状态、交通参与对象及数量三个维度作为构成交通语义的变量，进行排列组合场景划分，建立典型场景数据库；其中：

变量一：交通场景包括但不限于，高速公路、匝道、城市道路-快速路-主干路-次干路、交叉路口等典型交通场景；

在不同的交通场景中，道路质量、道路可行驶区域、路标及车道线划分、车辆的最高限速方面存在的差异，能够影响车辆在该交通场景中的运动行为；

变量二：道路交通状态包括：通畅、轻度拥堵、重度拥堵；

通过道路场景中摄像头、激光雷达捕捉感知范围内车辆的数量及平均车速，对比该条道路硬件设施情况，判断得出时刻的道路交通状态；

变量三：交通参与对象包括：大型客货车、小型汽车、非机动车、行人、宠物；

同一个交通参与对象在不同的交通语义中会表现出不同的行为状态，不同的交通参与对象在相同的交通语义中行为状态也存在区别，有些行为会对后车行驶状态产生影响，有些行为甚至会对后车造成危险；

根据车辆行驶的交通场景以及当前时刻的道路交通状态两个维度构建典型场景库，将不同的道路交通状态对应上不同的交通场景，组成的组合构建成基础场景库；各类交通参与对象在基础场景库中的特殊危险行为情况作为预警场景库；

基础场景库和预警场景库共同组成典型场景库。

5.根据权利要求1所述的一种基于交通语义和博弈论的多传感器超视距自组网方法，其特征在于，所述S4的实现包括：

车辆在不同的道路上行驶时，通过GPS定位、交通标志识别、周边环境监测确认行驶环境，并在典型场景库中基于交通语义匹配到对应场景；

方案1：以时间为界限确定感知范围需求

当车辆正确识别到当前时刻对应场景库时，获取在该场景下对应的平均行驶速度，将平均行驶车速乘以超前感知时间，即可获得所需超前感知范围，提前感知时间为5秒～1分钟；

方案2：以距离为界限确定感知范围需求

当车辆正确识别到当前时刻对应场景库中工况时，获取在该工况下设定的感知范围；

危险预警感知补充：当车载、路侧传感器检测到有行人横穿街道，动物在马路上移动，路面存在障碍物等特殊工况，应对当前行驶在该道路上一定范围内的车辆广播危险预警信息。

6.根据权利要求1所述的一种基于交通语义和博弈论的多传感器超视距自组网方法，其特征在于，所述S5的实现包括：

将车辆感知需求范围内所有感知设备进行组合，并构建第一层博弈论模型：

MSF₁＝{C1,Λ,μ1}

其中，C₁表示由参与融合的N_c个传感器组成的感知系统C₁＝{1,2,…,N_c}，Λ表示传感器有效感知范围，μ₁为根据感知需求设计的支付函数。

设Г_tk表示当前行驶环境所需感知的空间范围，S(t_k)表示各传感器在t_k时刻的策略集，即各传感器选择某一具体策略s_j的状态集合，则μ₁为可建模当前策略集下多传感器融合对Г的覆盖程度：

μ₁(t_k)＝Σ_S(tk){Λ|s_j}/Гt_k。

7.根据权利要求6所述的一种基于交通语义和博弈论的多传感器超视距自组网方法，其特征在于，所述S6的实现包括：

多传感器系统进行状态博弈，解算出当前策略集下的μ₁，若μ₁≥1，即实现满足当前超视距感知需求，对满足感知需求的多传感器组合C₂进行第二层博弈；具体地：

将智能汽车环境感知需求与当前策略下多传感器融合效果之间的差异转化为目标跟踪的期望协方差矩阵P₀与实际协方差矩阵P之间的差异，面向多传感器融合的感知精度，构建第二层博弈论模型：

MSF₂＝{C2,S,μ2}

其中，C₂为上述在第一层博弈中满足μ₁≥1的所有传感器状态组合；μ₂为当前策略下针对提升环境感知精度而设计的支付函数：

μ₂(t_k)＝βψ[P₀,P(t_k|S(t_k))]+γζ[S(t_k)]

其中，P₀为期望协方差矩阵，P(t_k|S(t_k))表示在t_k时刻多传感器在状态集合S(t_k)下得到的目标跟踪协方差矩阵，函数ψ[A,B]表示两个矩阵A,B之间差异性度量，ζ[S(t_k)]为传感器集合中传感器资源消耗代价总和，β,γ分别为跟踪误差代价和资源消耗代价的权重；

依据系统总代价最小原则，即每次决策都使得系统性能代价和资源消耗代价的加权和最小化，从而达到帕累托最优，得出多传感器动态自组织的帕累托最优模型为：

μ^opt(t)＝argminμ₂(t_k)

8.根据权利要求7所述的一种基于交通语义和博弈论的多传感器超视距自组网方法，其特征在于，还包括求解帕累托最优模型：

构造目标离散化的状态方程：

x(t_k+1)＝F(t_k+1-t_k)x(t_k)+G(t_k+1-t_k)w(t_k)

其中，x(t_k)∈Rⁿ表示t_k时刻目标的状态向量，F(t_k+1-t_k)是t_k时刻的状态转移矩阵，G(t_k+1-t_k)∈R^m×r是t_k时刻的输入分布矩阵，w(t_k)∈R^r为其系统白噪声向量，其协方差矩阵为Q(t_k)；

将各传感器感知能力转化为如下量测方程，并随着传感器工作状态的改变而变化：

z_j(t)＝H_j(t_k|s_j)+v_j(t_k|s_j),j＝1,2,…,Nc

其中，z_j(t_k)∈R^m表示t_k时刻第j个传感器产生的量测向量，H_j∈R^m×n为观测矩阵,v_j(t_k)∈R_j ^m是量测噪声,其协方差矩阵为R_j(t_k)；；

应用此多传感器序贯滤波算法，得到多传感器S(t_k)状态组合的跟踪误差协方差阵P(t_k)，再结合各个传感器的资源消耗总代价，通过对帕累托最优模型的优化，即可得到当前时刻基于交通语义确立的感知范围内最优的车路多传感器组合。

Images