CN113490178A - 一种智能网联车辆多级协作感知系统 - Google Patents

Abstract

本发明公开了一种智能网联车辆多级协作感知系统，其特征在于，所述感知系统是基于端到端无线数据传输；包括：数据处理单元，所述数据处理单元对智能网联车辆的原始点云数据、特征数据以及结果数据进行分割获得三层感知数据；数据配准单元，所述数据配准单元对三层感知数据进行坐标、位移校准输出三层配准数据；数据融合单元，融合单元将三层配准数据进行融合输出3D目标检测数据，本发明解决智能网联车的支持多层次感知数据的共享与融合，达到扩大车辆感知范围，提高车辆感知精度的效果。

Description

一种智能网联车辆多级协作感知系统

技术领域

本发明主要涉及车联网无线通信技术领域，具体涉及一种智能网联车辆感知数据的自适 应选取，传输与融合方案。

背景技术

对于自动驾驶车辆来说，能够实时且准确地感知周围的交通环境是十分重要的。目前自 动驾驶车辆对周围环境的感知主要依赖车上配备的各种先进的传感器设备，例如摄像头，毫 米波雷达，激光雷达等。然而，无论是哪种传感器设备，都有可能由于传感器设备受损、道 路障碍物遮挡、自身感知范围受限或者天气状况影响等因素而造成感知失败，故仅仅依靠单 车的感知能力是远远无法满足自动驾驶极高的安全性需求的。随着无线通信技术的发展，人 们提出可以利用V2V无线通信技术在车辆之间共享感知数据以扩大车辆的感知范围，我们将 这种技术叫做“协作感知”。

现有的关于协作感知的工作按照共享的数据类型来看，主要分为三类：基于原始数据， 基于特征数据以及基于结果数据的协作感知。对于基于原始数据的协作感知，车辆之间共享 未经任何处理的原始传感器数据，这种方式可以最大程度的保留信息，提供给接收方车辆更 完整的感知数据，对于接收方车辆感知能力的提升也是最多的，然而原始数据的数据量很大， 会给无线信道造成很大的压力；而对于基于结果数据的协作感知，车辆之间共享的是经过目 标检测模型检测后的检测结果，其数据量是非常小的，因此不会给无线通信造成负担，然而 这种方式过于依赖单车的感知能力，对接收方车辆感知效果的提升十分有限；针对以上两种 方式的优缺点，一些工作提出了基于特征的协作感知方法，通过共享经过部分处理的特征数 据，在数据量和感知效果之间做了一个权衡。然而以上三种协作感知方式所传输的数据层次 都是固定的，并没有考虑无线信道的变化。在实际环境中，无线信道是时刻变化的，因此协 作感知过程中所共享的数据如果是一成不变的，那么就无法适应网络的变化从而造成传输失 败，影响车辆对周围环境的感知。

发明内容

针对现有协作感知方法无法适应无线信道带宽动态变化的问题，本发明针对以感知系统 中的典型应用——3D目标检测，提出了一种带宽自适应的自动驾驶多级协作感知策略。在扩 大车辆感知范围提高感知精度的同时，能够适应无线带宽的动态变化，保证目标检测的实时 性。

本发明旨在设计一种适应无线信道变化的V2V多级协作感知策略，通过感知数据分割的 方式根据网络状况调整车辆间共享的数据内容，扩大车辆感知范围，提高感知精度，且保证 目标检测的实时性。

为了解决现有技术存在的问题，本发明采用如下技术方案：

1、一种智能网联车辆多级协作感知系统，所述感知系统是基于端到端无线数据传输；包括： --数据处理单元，所述数据处理单元对智能网联车辆的原始点云数据进行分割获得三层感知 数据；

--数据配准单元，所述数据配准单元对三层感知数据进行坐标、位移校准输出三层配准数据 --数据融合单元，融合单元将三层配准数据进行融合输出3D目标检测数据，包括如下步骤：

S301、将三层配准数据与激光雷达获取的原始点云数据进行融合，并对融合后的数据进 行特征提取；其中原始数据融合表示为：

P_f＝P_r∪P_s′

式中：P_f,P_r,P_s′分别表示融合后的原始数据，接收方原始数据以及配准后的发送方原始数据；

S302、校准后的特征数据与特征提取层输出的特征数据进行融合；

S303、所述数据融合单元获得3D目标检测数据融合过程：

通过如下公式对三种层次的数据的所占比例α，β，γ计算获得3D目标检测数据融合时延：

s.t.t_e2e≤Δt,

0≤α,β,γ≤1,

α+β+γ＝1,

其中，t_e2e表示整个协作感知系统的端到端时延，即其中：所述融合时延为：

进一步，所述三层感知数据分割过程：

S101、根据当前的信道状况对原始点云数据计算在当前带宽下一帧感知数据三种层次的 数据的所占比例α，β，γ；

S102、根据三层感知数据的所占比例α，β，γ对原始点云数据分割输出；所述原始点云 数据输出包括原始点云分割数据、特征分割数据和结果分割数据。

进一步，所述数据配准单元对三层感知数据进行配准过程：

S201、通过如下公式对三层感知数据计算获得坐标配准；

R＝R_z(θ_yaw)R_y(θ_pitch)R_x(θ_roll)

S202、通过如下公式对三层感知数据计算获得位移配准；

式中(X_s,Y_s,Z_s)和(X′_s,Y′_s,Z′_s)分别表示配准前和配准后的发送方数据所在的坐标系， (Δd_x,Δd_y,Δd_z)表示位移差。

有益效果

1.本发明解决了一套端到端的自动驾驶多级协作感知框架，能支持多层次感知数据的共 享与融合，达到扩大车辆感知范围，提高车辆感知精度的效果。

2.本发明解决了一种带宽自适应数据分割算法并提出了两种感知数据分割方案，通过自 适应调整在车辆间共享的感知数据，在保证实时性的前提下，达到最优的感知精度。

3.本发明可以适用于多种3D目标检测模型，支持不同计算能力的智能网联车辆。

附图说明

图1为基于点云的3D目标检测流程图；

图2为多级协作感知系统流程图；

图3为感知数据分割示意图；

图4为感知数据配准示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图与实例对本发明做详细 的论述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。

本发明针对智能联网车辆之间对多层感知数据的共享和融合中的3D目标检测任务，如图 1所示，提出一种V2V带宽自适应多级协作感知系统，如图2所示，该系统包括一个数据处 理单元，即发送方单元以及一个数据融合单元，即接收方单元，发送方与接收方之间通过V2V 无线通信传输，SRC，LTE-4G等进行感知数据的传输。这里的感知数据包括直接从激光雷达 获取的原始点云数据，经过特征提取层之后得到的特征数据以及经过分类与回归模块后输出 的目标数据，这三种数据分别对应着三种级别，他们的数据量大小依次降低，但同时融合后 目标检测的精度也依次降低。

本发明采用发送方车辆作为数据处理单元，首先根据当前的信道状况计算出要传输的三 种数据的占比，并依据该占比对感知数据进行分割，分割可采用基于角度或者基于点密度的 方式，如图3所示，其中α，β，γ分别代表原始点云数据，特征数据和目标数据所占的比例， 由于三种数据所产生的时间不同，因此，三种数据传输的初始时间也不同。本发明涉及的智 能车辆网络中的每个车辆都可以独立进行整套3D目标检测流程，数据的分割和传输并不会影 响车辆自身所进行的目标检测过程。

本发明采用接收方车辆收到来自发送方的感知数据作为数据融合单元，首先进行数据配 准，由于激光雷达所采集的点云数据是以四元组的方式记录的，其中每个点的坐标值是以各 自激光雷达的坐标系为基准的，因此需要将发送方所采集的感知数据的坐标系与接收方坐标 系进行配准。将配准后的感知数据与对应层次的数据进行融合，对融合后的原始点云数据进 行特征提取，对融合后的特征数据进行分类与回归，最后将检测到的目标结果进行融合，得 到最终的协作感知结果，该结果相较于原始级，特征级和目标级协作感知来说，更能适应网 络带宽的变化。其中，本发明在智能网约车的使用：

步骤1：发送方车辆根据当前的信道状况计算出在当前带宽下一帧感知数据中三种层次 的数据的所占比例，将该问题建模成一个线性规划问题，目标是使得最终的协作目标检测精 度最高，如式(1)所示，前提条件是要满足目标检测的实时性，即帧速率要与激光雷达的采 样速率一致。

max_α，β，γα·f_l,m+β·f_2,m+γ·f_3,m, (1)

s.t.t_e2e≤Δt,

0≤α,β,γ≤1,

α+β+γ＝1,

其中，t_e2e表示整个协作感知系统的端到端时延，即从发送方从激光雷达获取点云数据到 接收方车辆获得融合后的目标检测结果的时间，t_e2e的具体计算方式如式(2)所示。

不同层次数据的数据量、不同级别的协作目标检测精度以及各个阶段的处理时间可以通 过大量实验数据获得，如表(1)所示，这里例举了四种检测模型的相关数据。

表1

步骤2：发送方车辆根据计算出来的数据比例α，β，γ对不同层次的数据进行分割并在 相应的阶段将感知数据进行共享，数据分割可采用两种方式，分别为基于角度分割以及基于 点密度分割，如图3所示，在按角度分割的情况下，由于车辆真前方的视野相对来说比较重 要，因此将原始数据放在中间；在按密度分割的情况下，由于距离越远点越稀疏，而远处恰 恰是协作感知用来增强感知能力的关键，因此建议将原始数据放在点密度较稀疏的位置。

步骤3：接收方对收到的感知数据进行配准(如图2所示)，根据两个车辆的GPS以及IMU 的数据，可以计算出一个旋转矩阵，将两个车辆的坐标系进行统一，旋转矩阵R由式(3)计 算得出，式中θ_yaw,θ_pitch,θ_roll分别为偏航角，俯仰角和翻滚角的差值。

R＝R_z(θ_yaw)R_y(θ_pitch)R_x(θ_roll) (3)

对发送方数据的所有坐标进行转向和位移的校准，计算方法如式(4)，式中(X_s,Y_s,Z_s)和 (X_s′,Y_s′,Z_s′)分别表示配准前和配准后的发送方数据所在的坐标系，(Δd_x,Δd_y,Δd_z)表示 两车之间的位移差。

步骤4：将校准后的原始点云数据与自己从激光雷达获取的原始点云数据进行融合，并 对融合后的数据进行特征提取。其中原始数据融合表示为式(5)

P_f＝P_r∪P_s′ (5)

式中P_f,P_r,P_s′分别表示融合后的原始数据，接收方原始数据以及配准后的发送方原始数据。

步骤5：类似原始数据融合，将校准后的特征数据与特征提取层输出的特征数据进行融 合，将校准后的结果数据与RPN层输出的结果进行融合，得到最终的3D目标检测结果。

本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发 明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗 旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多 形式的具体变换，这些均属于本发明的保护范围之内。

Claims (3)

1.一种智能网联车辆多级协作感知系统，其特征在于，所述感知系统是基于端到端无线数据传输；包括：

--数据处理单元，所述数据处理单元对智能网联车辆的原始点云数据、特征数据以及结果数据进行分割获得三层感知数据；

--数据配准单元，所述数据配准单元对三层感知数据进行坐标、位移校准输出三层配准数据；

--数据融合单元，融合单元将三层配准数据进行融合输出3D目标检测数据，包括如下步骤：

S301、将三层配准数据与激光雷达获取的原始点云数据进行融合，并对融合后的数据进行特征提取；其中原始数据融合表示为：

P_f＝P_r∪P_s′

式中：P_f，P_r，P_s′分别表示融合后的原始数据，接收方原始数据以及配准后的发送方原始数据。

S302、通过如下公式对三种层次的数据的所占比例α，β，γ计算获得3D目标检测数据融合时延：

s.t.t_e2e≤Δt，

0≤α，β，γ≤1，

α+β+γ＝1，

其中，t_e2e表示整个协作感知系统的端到端时延，即其中：所述融合时延为：

2.根据权利要求1所述的一种智能网联车辆多级协作感知系统，其特征在于，所述三层感知数据分割过程：

S101、根据当前的信道状况对原始点云数据计算在当前带宽下一帧感知数据三种层次的数据的所占比例α，β，γ；

S102、根据三层感知数据的所占比例α，β，γ对感知数据分割输出；所述感知数据输出包括原始点云分割数据、特征分割数据和结果分割数据。

3.根据权利要求1所述的一种智能网联车辆多级协作感知系统，其特征在于，所述数据配准单元对三层感知数据进行配准过程：

S201、通过如下公式对三层感知数据计算获得坐标配准；

R＝R_z(θ_yaw)R_y(θ_pitch)R_x(θ_roll)

S202、通过如下公式对三层感知数据计算获得位移配准；

式中(X_s,Y_s,Z_s)和(X_s′,Y_s′,Z_s′)分别表示配准前和配准后的发送方数据所在的坐标系，(Δd_x,Δd_y,Δd_z)表示位移差。

Images