CN117750332A - 一种面向自动驾驶的边缘计算设备间数据交互方法和系统 - Google Patents

Abstract

本发明涉及自动驾驶技术领域，尤其公开了一种面向自动驾驶的边缘计算设备间数据交互方法和系统，包括六个步骤，步骤1)获取路侧实时感知数据；步骤2)获取智能网联车的感知数据；步骤3)对多源异构感知数据进行融合；步骤4)获取相邻下游边缘计算设备的融合感知数据；步骤5)对步骤4)中融合感知数据进行再次融合；步骤6)融合后的感知数据下发至自动驾驶车辆。本发明在保证边缘计算设备之间传输数据质量以及数据传输速度的前提下，实现了边缘计算设备间数据交互，为自动驾驶车辆持续提供高质量高速率的路侧实时感知数据。

Description

一种面向自动驾驶的边缘计算设备间数据交互方法和系统

技术领域

本发明涉及自动驾驶技术领域，尤其涉及一种面向自动驾驶的边缘计算设备间数据交互方法和系统。

背景技术

在车路云一体化等车路协同技术方案中，主要以中心云--边缘计算设备--车载系统的架构模式为主，路侧基础设施对道路的感知数据经过边缘计算设备的处理下发至车载系统，处理方式以视频数据结构化为主，该模式虽然能够为车载系统提供事件分析结果以及第三方环境数据，但边缘计算设备下发至车载系统的结构化数据，压缩的信息量大，压缩后的数据不足以支撑自动驾驶车辆自主决策，因此该模式下边缘计算设备间的数据交互也以结构化视频等形式为主。

另一种面向自动驾驶技术方案中，以支撑自动驾驶车辆自主决策为目标的路侧实时感知数据，原始数据信息量相对较大，在边缘计算设备间的传输速度相对较低；但另一方面，边缘计算设备间直接进行路侧实时感知数据的共享传输，保证了车辆在行驶路径中不同边缘计算设备覆盖范围内切换时数据的完整性，对于辅助自动驾驶车辆的决策必不可少，因此，如何在边缘设备间快速传输高信息量的路侧实时感知数据，成为支持自动驾驶自主决策的关键。

当前现有“车路云一体化”技术架构中，由以下四个主要部分构成(如图5所示)：

a)出行者子系统：由出行者所携带的各类信息终端或其它信息处理设备构成；b)车载子系统：包括OBU或其他车载智能终端，也可以包括车载计算控制模块、车载网关、路由器等；c)路侧子系统：以RSCU、路侧通信设施、路侧感知设施等为核心，也可包括交通安全与管理设施或其他附属设施等；d)中心子系统：包括云控平台和相关第三方平台，提供设备接入管理、数据汇聚共享、业务支撑和相关服务。

当前技术方案中，路侧子系统作为边缘计算单元，一方面对路侧感知数据进行处理，另一方面获取中心子系统的数据，经过数据融合后，下发至车载子系统，如上所述，该方案主要以中心子系统为媒介，进行边缘云之间的数据交互，其缺陷在于须在传输速度和数据质量间进行取舍，无法在满足数据传输速度的前提下，保证自动驾驶车辆在不同边缘云覆盖范围内无缝切换以持续获得高质量实时感知数据，而持续提供此类数据是路侧基础设施赋能自动驾驶车辆自主决策的重要基础，为此我们提出一种面向自动驾驶的边缘计算设备间数据交互方法和系统。

发明内容

本发明的目的是解决现有技术中的问题，提供一种面向自动驾驶的边缘计算设备间数据交互方法和系统。

本发明的技术方案是：

一种面向自动驾驶的边缘计算设备间数据交互方法，包括以下步骤：

步骤1)获取路侧实时感知数据；

步骤2)获取智能网联车的感知数据；

步骤3)对多源异构感知数据进行融合；

步骤4)获取相邻下游边缘计算设备的融合感知数据；

步骤5)对步骤4)中融合感知数据进行再次融合；

步骤6)融合后的感知数据下发至自动驾驶车辆。

优选的，步骤1)中路侧实时感知数据至少包括视频数据和毫米波雷达数据，视频数据覆盖道路及车辆视频像素，毫米波雷达数据包括物体位置信息、速度信息、俯仰角信息和水平角信息。

优选的，步骤2)中获取的智能网联车感知数据涵盖道路上行驶中的全部授权车辆的感知数据，即智能网联车授权路侧基础设施获取车辆的感知数据，其中包括视频数据。

优选的，步骤3)中融合包括：a.对视频数据和毫米波雷达数据进行坐标转换，将二者数据经过处理后均投影至全局坐标系；b.完成视频相机与毫米波雷达之间的时间对齐，实现在边缘计算设备记录时刻下数据的融合；其中视频数据是对像素数据进行矢量转换后的矢量图片。

优选的，步骤3)中融合的具体过程包括：a.对视频数据进行矢量化，得到多帧矢量图像数据；b.对雷达点云数据与矢量图像数据经过坐标转换，均直接投影到全局坐标系中；c.将毫米波雷达点云数据与矢量图像数据以边缘计算时刻为基准进行时间对齐；d.将相同时刻的毫米波雷达点云数据与矢量图像数据在全局坐标系中融合。

优选的，步骤4)中下游边缘计算设备首先完成自身获取的感知数据的融合，以边缘计算设备的时钟为基准，并将数据投影至全局坐标系。

优选的，步骤5)中上下游边缘计算设备此时时间均采用了各自边缘计算设备时刻作为标准时刻，两个设备每日在此之前即完成了对时；两个设备间的数据直接进行融合。

优选的，步骤6)中感知数据包括自动驾驶车辆当前所处边缘计算设备处理后的感知数据和相邻下游边缘计算设备覆盖范围内全路段或部分路段的感知数据。

一种面向自动驾驶的边缘计算设备间数据交互系统，包括：

坐标转换模块：实现路侧基础设施坐标到全局坐标系的转换，即感知设备坐标系到地里坐标系的转换；

时钟转换模块：实现设备间时钟的对齐，最终均采用GPS校对后的时刻；GPS时刻是通过边缘计算设备定时与GPS设备对时后的时刻，而感知设备直接与边缘计算设备进行对时；

边缘计算设备间数据融合模块：完成不同边缘计算设备的数据融合，主要包括时钟转换和数据融合、以及路段范围的标记。

本发明采用上述结构，具有以下的优点：

1、在保证边缘计算设备之间传输数据质量以及数据传输速度的前提下，实现了边缘计算设备间数据交互，为自动驾驶车辆持续提供高质量高速率的路侧实时感知数据；

2、从三个角度对自动驾驶提供感知数据支撑：

1)本发明传输的是高质量实时感知数据，较一般结构化视频相比，信息量丰富，具备支撑自动驾驶车辆自主决策的基础；

2)本发明提供的高质量实时感知数据，纳入了智能网联车自身感知数据，数据更丰富、覆盖更全面，更有效地支撑车辆对环境的感知；；

3)在上述基础上，本发明提供了边缘设备之间传输高质量融合感知数据的解决方案，即通过对融合数据处理后再融合，保证了向自动驾驶车辆提供数据的持续和完整；

4)对数据进行了矢量转换等处理，在保证数据质量的同时，提高了数据传输速度，因此为支撑自动驾驶提供了可行性。

附图说明

图1为本发明的方法流程示意框图；

图2为本发明的系统示意框图；

图3为对多源异构感知数据进行融合的过程示意框图；

图4为本发明的车辆感知距离范围示意图；

图5为本发明的现今“车路云一体化”技术架构示意图。

具体实施方式

为了使本发明实现的技术手段、技术特征、发明目的与技术效果易于明白了解，下面结合具体图示，进一步阐述本发明。

如图1所示，一种面向自动驾驶的边缘计算设备间数据交互方法，包括如下步骤：

步骤1)获取路侧实时感知数据；

路侧实时感知数据至少包括视频数据和毫米波雷达数据，视频数据覆盖道路及车辆视频像素，例如路侧摄像机采集的车辆和道路视频数据，在一些实施例中，例如为了满足在服务区场景的应用，识别服务区行人运动轨迹，路侧感知数据还包括热成像数据，毫米波雷达数据包括物体位置信息、速度信息、俯仰角信息和水平角信息；

步骤2)获取智能网联车的感知数据；

步骤2)中获取的智能网联车感知数据涵盖道路上行驶中的全部授权车辆的感知数据，即智能网联车授权路侧基础设施获取车辆的感知数据，其中包括视频数据，视频数据覆盖道路及附近环境视频像素；

在智能网联车上路行驶之前，路侧基础设施运营方获取智能网联车授权，智能网联车允许将身感知设备，如摄像头，获取的感知数据，实时共享至路侧边缘计算设备，为边缘计算设备进行多源数据融合提供更丰富的支持；

步骤3)对多源异构感知数据进行融合；

步骤3)中融合包括：a.对视频数据和毫米波雷达数据进行坐标转换，将二者数据经过处理后均投影至全局坐标系；b.完成视频相机与毫米波雷达之间的时间对齐，实现在边缘计算设备记录时刻下数据的融合；其中视频数据是对像素数据进行矢量转换后的矢量图片；

如图3所示，步骤3)中融合的具体过程包括：a.对视频数据进行矢量化，得到多帧矢量图像数据；b.对雷达点云数据与矢量图像数据经过坐标转换，均直接投影到全局坐标系中；c.将毫米波雷达点云数据与矢量图像数据以边缘计算时刻为基准进行时间对齐；d.将相同时刻的毫米波雷达点云数据与矢量图像数据在全局坐标系中融合；

对于过程a)，首先将视频数据映射到单帧图像，之后对各图像完成矢量转换；

对于过程b)，毫米波雷达及摄像机作为路侧固定位置的基础设施，其设备坐标系可直接转换到全局坐标系，无需通过投影到车体坐标系再完成全局坐标系的转换，节省了转换时间的前提下实现两类数据空间上的对齐，其坐标转换过程按照下列公式进行：

其中，和/>分别为物体在全局坐标系和设备坐标系下的坐标，不同设备采用不同设备坐标系；R_X、R_Y、R_Z分别为各设备绕X轴、Y轴和Z轴方向向全局坐标系旋转平行的旋转矩阵，T_XYZ则为设备原点与全局坐标原点之间的平移矩阵；

在不同的实施例中，可根据应用场景的侧重点不同，首先完成毫米波雷达数据和矢量图像的特征提取，以减轻后续计算量，但需要保证特征信息足以赋能自动驾驶车辆实现自主决策；

对于过程c)，因为雷达和相机的采样时间存在一定的时间错位Δt，在Δt内车辆行驶了一定的距离，所以要对采样数据进行时间对齐，将同一时刻下的数据在相同坐标系中进行融合；因边缘计算设备会以固定的时间间隔与卫星定位系统完成对时，因此雷达点云数据和矢量图像数据均以边缘计算设备时刻为基准；

对于过程d)，完成了时间和空间对齐的雷达点云数据和矢量图像数据具备了融合的基础，此时可直接完成数据融合；

在一些实施例中，若路侧实时感知数据包含夜间热成像数据，此时需将热成像数据与雷达点云数据甚至是可见光矢量图像进行融合，以加强夜间识别能力，融合方法与上述雷达点云数据与矢量图像数据的融合相同；

步骤4)获取相邻下游边缘计算设备的融合感知数据；

步骤4)中下游边缘计算设备首先完成自身获取的感知数据的融合，以边缘计算设备的时钟为基准，并将数据投影至全局坐标系；

步骤5)对步骤4)中所述融合感知数据进行再次融合；

步骤5)中上下游边缘计算设备此时时间均采用了各自边缘计算设备时刻作为标准时刻，两个设备每日在此之前即完成了对时；两个设备间的数据直接进行融合；

在自动驾驶场景中，车辆在高速行驶时需要在相邻的边缘计算设备覆盖范围内切换，如何保持相邻边缘计算设备下发的感知数据的延续性，是保证自动驾驶安全性的关键，为实现这一目标，下游边缘计算设备处理后的感知数据需在保证数据质量的前提下，快速实时发送给上游设备，与上游边缘计算设备输出的融合感知数据进行再融合后下发至自动驾驶车辆，以此帮助自动驾驶车辆无缝接收设备覆盖边界附近的感知数据。如图4所示，避免了车辆无法感知距离相近范围内的车辆；

不同于其他主流方案，边缘计算设备自身完成异构感知数据融合的过程中，对数据进行的矢量化转换等操作，在保证信息量的同时降低了数据大小，提升了传输速度，因此该数据可传输至上游边缘计算设备，作为上游边缘计算设备融合感知数据的一部分下发至自动驾驶车辆，为提升可靠性和传输速度，上下游边缘计算设备间通过直连光纤网络传输的速度最佳。

其过程主要包括时间对时，因传输前的融合感知数据已投影至全局坐标系，因此主要完成相同时刻下两组融合数据的再融合，作为自动驾驶车辆在本路段和下一路段感知数据，支持自主决策；

为尽可能减少冗余数据的传输，在一些实施例中，在满足自动驾驶车辆切换路段时对相邻路段感知的要求下，下游边缘计算设备将仅选取临近设备覆盖边界的范围的数据，以满足自动驾驶的需要；

步骤6)融合后的感知数据下发至自动驾驶车辆；

步骤6)中感知数据包括自动驾驶车辆当前所处边缘计算设备处理后的感知数据和相邻下游边缘计算设备覆盖范围内全路段或部分路段的感知数据；

融合后的数据通过车路协同V2X基站下发至自动驾驶车辆，由自动驾驶车辆根据融合感知数据进行自主决策；

此外，自动驾驶车辆还可以通过一定的方式将路侧基础设施下发的感知数据与车载感知系统采集的感知数据融合，进一步提升感知的准确性，提高自动驾驶的安全性。

如图2所示，一种面向自动驾驶的边缘计算设备间数据交互系统，包括：

坐标转换模块：实现路侧基础设施坐标到全局坐标系的转换，即感知设备坐标系到地里坐标系的转换；

时钟转换模块：实现设备间时钟的对齐，最终均采用GPS校对后的时刻；GPS时刻是通过边缘计算设备定时与GPS设备对时后的时刻，而感知设备直接与边缘计算设备进行对时；

边缘计算设备间数据融合模块：完成不同边缘计算设备的数据融合，主要包括时钟转换和数据融合、以及路段范围的标记。

本发明技术关键点即在于自动驾驶车辆在相邻边缘计算设备间移动切换整个过程中，如何实现设备间数据融合，为自动驾驶车辆提供持续、高速、稳定、高质量的感知数据。

本发明面向自动驾驶的高质量实时感知数据如何持续在边缘计算设备间高速流转，以支持自动驾驶车辆自主决策，主要包含以下几个特点：

1)所传输的数据可以支持面向自动驾驶的车辆自主决策，因此是高质量的实时感知数据，而非车路云一体化架构中的结构化视频等数据；

2)上述高质量的实时感知数据，不仅包括路侧基础设施感知数据，还包括道路上行驶中的智能网联车的感知数据，智能网联车将自身感知数据共享至路侧边缘计算设备进行融合；

3)自动驾驶车辆所需数据是持续性的，需要避免自动驾驶车辆在边缘计算设备覆盖范围内切换造成的数据割裂，因此需要对相邻的下游边缘计算设备的数据进行融合；

4)为支撑车辆实现自动驾驶，边缘计算设备间的数据交互必须是高速的。

上述提及的毫米波雷达数据、毫米波雷达及摄像机、光纤网络和车路协同V2X基站是现有技术的应用。

综上所述仅为本发明较佳的实施例，并非用来限定本发明的实施范围。即凡依本发明申请专利范围的内容所作的等效变化及修饰，皆应属于本发明的技术范畴。

Claims (9)

1.一种面向自动驾驶的边缘计算设备间数据交互方法，其特征在于：包括以下步骤：

步骤1)获取路侧实时感知数据；

步骤2)获取智能网联车的感知数据；

步骤3)对多源异构感知数据进行融合；

步骤4)获取相邻下游边缘计算设备的融合感知数据；

步骤5)对步骤4)中所述融合感知数据进行再次融合；

步骤6)融合后的感知数据下发至自动驾驶车辆。

2.根据权利要求1所述的一种面向自动驾驶的边缘计算设备间数据交互方法，其特征在于：步骤1)中所述路侧实时感知数据至少包括视频数据和毫米波雷达数据，所述视频数据覆盖道路及车辆视频像素，所述毫米波雷达数据包括物体位置信息、速度信息、俯仰角信息和水平角信息。

3.根据权利要求2所述的一种面向自动驾驶的边缘计算设备间数据交互方法，其特征在于：步骤2)中所述获取的智能网联车感知数据涵盖道路上行驶中的全部授权车辆的感知数据，即智能网联车授权路侧基础设施获取车辆的感知数据，其中包括视频数据。

4.根据权利要求3所述的一种面向自动驾驶的边缘计算设备间数据交互方法，其特征在于：步骤3)中所述融合包括：a.对视频数据和毫米波雷达数据进行坐标转换，将二者数据经过处理后均投影至全局坐标系；b.完成视频相机与毫米波雷达之间的时间对齐，实现在边缘计算设备记录时刻下数据的融合；其中所述视频数据是对像素数据进行矢量转换后的矢量图片。

5.根据权利要求4所述的一种面向自动驾驶的边缘计算设备间数据交互方法，其特征在于：步骤3)中所述融合的具体过程包括：a.对视频数据进行矢量化，得到多帧矢量图像数据；b.对雷达点云数据与矢量图像数据经过坐标转换，均直接投影到全局坐标系中；c.将毫米波雷达点云数据与矢量图像数据以边缘计算时刻为基准进行时间对齐；d.将相同时刻的毫米波雷达点云数据与矢量图像数据在全局坐标系中融合。

6.根据权利要求5所述的一种面向自动驾驶的边缘计算设备间数据交互方法，其特征在于：步骤4)中下游边缘计算设备首先完成自身获取的感知数据的融合，以边缘计算设备的时钟为基准，并将数据投影至全局坐标系。

7.根据权利要求6所述的一种面向自动驾驶的边缘计算设备间数据交互方法，其特征在于：步骤5)中上下游边缘计算设备此时时间均采用了各自边缘计算设备时刻作为标准时刻，两个设备每日在此之前即完成了对时；两个设备间的数据直接进行融合。

8.根据权利要求7所述的一种面向自动驾驶的边缘计算设备间数据交互方法，其特征在于：步骤6)中所述感知数据包括自动驾驶车辆当前所处边缘计算设备处理后的感知数据和相邻下游边缘计算设备覆盖范围内全路段或部分路段的感知数据。

9.一种面向自动驾驶的边缘计算设备间数据交互系统，其特征在于：包括：

坐标转换模块：实现路侧基础设施坐标到全局坐标系的转换，即感知设备坐标系到地里坐标系的转换；

时钟转换模块：实现设备间时钟的对齐，最终均采用GPS校对后的时刻；GPS时刻是通过边缘计算设备定时与GPS设备对时后的时刻，而感知设备直接与边缘计算设备进行对时；

边缘计算设备间数据融合模块：完成不同边缘计算设备的数据融合，主要包括时钟转换和数据融合、以及路段范围的标记。