CN111736604A - 一种远程驾驶控制方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种远程驾驶控制方法、装置、设备及存储介质。该方法包括：获取车辆外围环境信息和车辆信息，其中，所述车辆信息包括：车辆前轮转角、车辆轴距和车辆后轴半径；根据所述车辆前轮转角、车辆轴距和车辆后轴半径确定车辆两侧后轮的预测轨迹信息；将所述车辆外围环境信息、车辆两侧后轮的预测轨迹信息以及车辆信息发送至远程台架设备；接收所述远程台架设备发送的远端控制指令，根据所述远端控制指令进行远程驾驶，通过本发明的技术方案，以实现能够提高远程操控便利性和灵活性，并保证远程驾驶安全性。

Description

一种远程驾驶控制方法、装置、设备及存储介质

技术领域

本发明实施例涉及远程驾驶领域，尤其涉及一种远程驾驶控制方法、装置、设备及存储介质。

背景技术

近年来随着自动驾驶技术与5G网络技术的突飞猛进，远程驾驶技术应运而生。远程驾驶在未来具有广泛的应用场景，尤其在恶劣环境和危险区域，如无人区、矿区、垃圾运送区域等人员无法达到的区域，将极大提升操作效率并节省人力。同时，远程驾驶还可作为自动驾驶的补充，在自动驾驶商用初期采用远程控制模式，一人远程控制多辆自动驾驶汽车，或在自动驾驶汽车出现异常时远程进行人工干预。5G网络的低时延、大带宽，则是实现远程高精度控制和高可靠性自动驾驶的重要保障。截止目前，诸多车企与网络运营商联合推出了基于5G的远程驾驶技术，其核心组成基本由远端台架、车载控制端、5G通信链路组成，实现方式及硬件系统不尽相同，但基本原理大致相同，即远端台架通过5G通信链路向车载控制端发送控制指令，车载控制端实现车辆控制并通过5G通信链路实时回传周围环境信息，实现了基于5G的远程驾驶功能。在实际运营或演示过程中，基于上述技术实现的远程驾驶功能，存在诸多弊端和安全隐患，具体的，远程操控人员需根据实时回传的周围环境信息进行车辆控制，即在摄像头视角下进行车辆控制，由于该视角下判断车辆姿态的局限性及对车速、距离等信息敏感度不够的原因，导致车辆在实际远程驾驶过程中，操控效果不尽如人意，同时极易引发碰撞事故。为了保证操控效果和驾驶安全，远程操控人员需经过大量远程驾驶练习，不断积累各种场景下的操控经验，最终才能达到一个良好的操控效果，并保证驾驶安全。如果由新手或远程驾驶经验不足的人员进行操控，很难达到一个良好的操控效果/用户体验，且无法保证安全。

发明内容

本发明实施例提供一种远程驾驶控制方法、装置、设备及存储介质，以实现能够提高远程操控便利性和灵活性，并保证远程驾驶安全性。

第一方面，本发明实施例提供了一种远程驾驶控制方法，包括：

获取车辆外围环境信息和车辆信息，其中，所述车辆信息包括：车辆前轮转角、车辆轴距和车辆后轴半径；

根据所述车辆前轮转角、车辆轴距和车辆后轴半径确定车辆两侧后轮的预测轨迹信息；

将所述车辆外围环境信息、车辆两侧后轮的预测轨迹信息以及车辆信息发送至远程台架设备；

接收所述远程台架设备发送的远端控制指令，根据所述远端控制指令进行远程驾驶。

第二方面，本发明实施例还提供了一种远程驾驶控制装置，该装置包括：

获取模块，用于获取车辆外围环境信息和车辆信息，其中，所述车辆信息包括：车辆前轮转角、车辆轴距和车辆后轴半径；

确定模块，用于根据所述车辆前轮转角、车辆轴距和车辆后轴半径确定车辆两侧后轮的预测轨迹信息；

发送模块，用于将所述车辆外围环境信息、车辆两侧后轮的预测轨迹信息以及车辆信息发送至远程台架设备；

接收模块，用于接收所述远程台架设备发送的远端控制指令，根据所述远端控制指令进行远程驾驶。

第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例中任一所述的远程驾驶控制方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的远程驾驶控制方法。

本发明实施例通过获取车辆外围环境信息和车辆信息，其中，所述车辆信息包括：车辆前轮转角、车辆轴距和车辆后轴半径；根据所述车辆前轮转角、车辆轴距和车辆后轴半径确定车辆两侧后轮的预测轨迹信息；将所述车辆外围环境信息、车辆两侧后轮的预测轨迹信息以及车辆信息发送至远程台架设备；接收所述远程台架设备发送的远端控制指令，根据所述远端控制指令进行远程驾驶，以实现能够提高远程操控便利性和灵活性，并保证远程驾驶安全性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明实施例一中的一种远程驾驶控制方法的流程图；

图1a是本发明实施例一中的远程驾驶系统的结构示意图；

图1b是本发明实施例一中的远程驾驶系统的远程控制流程图；

图1c是本发明实施例一中的智能化驾驶辅助流程图；

图1d是本发明实施例一中的在两条预测轨迹之间渲染线段的图示；

图2是本发明实施例二中的一种远程驾驶控制装置的结构示意图；

图3是本发明实施例三中的一种计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

实施例一

图1为本发明实施例一提供的一种远程驾驶控制方法的流程图，本实施例可适用于远程驾驶控制的情况，该方法可以由本发明实施例中的远程驾驶控制装置来执行，该装置可采用软件和/或硬件的方式实现，如图1所示，该方法具体包括如下步骤：

S110，获取车辆外围环境信息和车辆信息，其中，所述车辆信息包括：车辆前轮转角、车辆轴距和车辆后轴半径。

其中，所述车辆信息可以包括整车参数和车辆状态参数，例如可以是，车辆信息包括：实时车速、当前档位、前轮转角、后轴半径、车辆轴距等。本发明实施例对此不进行限制。

其中，所述车辆外围环境信息和车辆信息可以为通过环境采集设备采集的车辆外围环境信息，通过CAN总线传送的车辆信息。

具体的，获取车辆外围环境信息和车辆信息，其中，所述车辆信息包括：车辆前轮转角、车辆轴距和车辆后轴半径，例如可以是，通过环境采集设备采集的车辆外围环境信息，环境采集设备通过CAN总线传送的车辆信息。

S120，根据所述车辆前轮转角、车辆轴距和车辆后轴半径确定车辆两侧后轮的预测轨迹信息。

具体的，根据所述车辆前轮转角、车辆轴距和车辆后轴半径确定车辆两侧后轮的预测轨迹信息，例如可以是，由自行车几何模型可知车辆前轮转角与曲率半径的关系，即tan(δ)＝L/R，其中δ为车辆前轮转角、L为车辆轴距、R为曲率半径(即后轮轨迹半径)，将车辆轴距，由CAN收发装置采集获得的前轮转角带入公式，计算出曲率半径，结合车辆的后轴半径可估算出一定前视距离内的后轮预测轨迹信息，即车体坐标系下的三维点信息。通过平移得到一定前视距离内的两侧后轮的预测轨迹信息。

S130，将所述车辆外围环境信息、车辆两侧后轮的预测轨迹信息以及车辆信息发送至远程台架设备。

其中，所述远程台架设备用于接收车辆外围环境信息、车辆两侧后轮的预测轨迹信息以及车辆信息，所述远程台架设备可以包括一个显示器，也可以包括多个显示器，若远程台架设备包括一个显示器，则将车辆外围环境信息车辆两侧后轮的预测轨迹信息以及车辆信息通过一个显示器进行显示，若远程台架设备包括多个显示器，则将车辆外围环境分成车辆正前视角的视频图像、左前视角的视频图像和右前视角的视频图像，分别将车辆正前视角的视频图像、左前视角的视频图像和右前视角的视频图像显示于一个显示器。

具体的，将所述车辆外围环境信息、车辆两侧后轮的预测轨迹信息以及车辆信息发送至远程台架设备。

S140，接收所述远程台架设备发送的远端控制指令，根据所述远端控制指令进行远程驾驶。

其中，所述远端控制指令为远端操控人员输入的控制指令。

具体的，远端控制人员根据远程台架设备的显示屏显示的车辆外围环境信息、车辆两侧后轮的预测轨迹信息以及车辆信息综合考虑确定控制指令，并将控制指令输入远程台架设备，远程台架设备将远端操控人员输入的控制指令发送至车载控制端，车载控制端根据远端控制指令进行远程驾驶。

可选的，获取车辆外围环境信息，包括：

接收环境采集设备发送的车辆正前视角的视频图像、左前视角的视频图像和右前视角的视频图像；

将所述车辆正前视角的视频图像、左前视角的视频图像和右前视角的视频图像进行拼接。

其中，对所述车辆正前视角的视频图像、左前视角的视频图像和右前视角的视频图像进行拼接的方式可以为直接将车辆正前视角的视频图像、左前视角的视频图像和右前视角的视频图像进行组合，以使得能够在同一显示器同时显示车辆正前视角的视频图像、左前视角的视频图像和右前视角的视频图像，也可以为将车辆正前视角的视频图像、左前视角的视频图像和右前视角的视频图像中相同的图像只保留一份，将不同的图像进行叠加，得到一个完整的视频图像，完整的视频图像包括车辆外围的全部环境信息，本发明实施例对此不进行限制。

可选的，根据所述车辆前轮转角、车辆轴距和车辆后轴半径确定车辆两侧后轮的预测轨迹信息之后，还包括：

将所述预测轨迹信息投影到正前视角的视频图像中。

具体的，将所述预测轨迹信息投影到正前视角的视频图像中，例如可以是，根据三维点投影二位点的原理和方法，将车辆两侧后轮的预测轨迹投影到前视摄像头的二位图像中，至此既实现了车辆两侧后轮预测轨迹在图像中的投影，同时也实现了车辆两侧边缘在图像中的投影。预测轨迹投影的意义在于：由于摄像头视角下远程操控人员对车辆姿态判断存在一定的局限性，具体的如摄像头视角下既无法实时观测到车辆前轮转角，又无法通过方向盘力反馈感知前轮的转向情况，同时加上5G网络传输的延时，导致经常出现转向过度或者转向不足的情况发生，远程操控人员需频繁地调整驾驶模拟器的方向盘才能达到预期驾驶效果，甚至有些时候无法达到预期效果，而本发明将预测轨迹投影到图像中，可直观地显示当前前轮转角下的行驶轨迹，远程操控人员根据该信息能够有效地、及时地调整驾驶模拟器方向盘输入，从而控制远程目标车辆驶向目标方向和位置，大大地提高了远程驾驶的便利性和灵活性；车辆边缘投影的意义在于：由于摄像头视角下无法准确地判断车辆的边缘，给远程驾驶带来了极大的安全隐患，介入车辆边缘投影远程操控人员能够直观地判断车辆边缘与外围环境的相对位置关系，大大提高了远程驾驶安全，同时也能够达到更加精准控制远程目标车辆的目的。

可选的，根据所述车辆前轮转角、车辆轴距和车辆后轴半径确定车辆两侧后轮的预测轨迹信息之后，还包括：

在正前视角的视频图像中，添加至少一条线段，并在所述线段对应位置处添加标注信息，其中，所述标注信息为所述线段与车头之间的距离。

具体的，在正前视角的视频图像中，添加至少一条线段，并在所述线段对应位置处添加标注信息，其中，所述标注信息为所述线段与车头之间的距离，例如可以是，车端工控机将进行安全距离及特效渲染工作，具体的：利用图像处理技术在目标远程车辆的前视范围不同距离上渲染多条线段，并标注出对应距离值(指距离车头的长度)，为了更好视觉效果将线段渲染在上述两条预测轨迹之间，线段的数量和渲染位置根据车辆安全驾驶距离要求及实际需求进行选择，以上是为了提醒远程操控人员注意安全距离，弥补了摄像头视角下对车速和距离敏感度不足的问题。

可选的，根据所述车辆前轮转角、车辆轴距和车辆后轴半径确定车辆两侧后轮的预测轨迹信息之后，还包括：

将所述预测轨迹信息对应的区域渲染为设定颜色；

若所述预测轨迹信息对应的区域存在目标物体对应的图像，则进行提醒。

其中，所述设定颜色可以为红色，也可以为绿色，本发明实施例对此不进行限制。

具体的，为了达到更好驾驶辅助效果和视觉效果，本发明将两条预测轨迹之间的区域渲染成特定颜色，以表征该区域代表未来时刻目标远程车辆将驶过的区域，此区域如果出现障碍物，警示远程操控人员可能发生碰撞危险，需提前减速或选择变更车道。

可选的，接收所述远程台架设备发送的远端控制指令，根据所述远端控制指令进行远程驾驶，包括：

接收所述远程台架设备发送的远端控制指令，对所述远端控制指令进行网络安全校验；

若校验结果为异常，则触发应急处理机制。

可选的，将所述车辆信息发送至远程台架设备包括：

将所述车辆信息打印到视频图像中。

具体的，车端工控机将进行车辆反馈信息打印工作，由于远程驾驶过程中远程操控人员需实时了解当前车辆的状态信息，并根据当前状态信息作出下一步决策，因此，需要将车辆实时状态信息反馈给远程操控人员，本发明通过图像处理技术将实时车辆状态信息打印到视频图像当中，通过实时回传的视频信息将车辆状态信息反馈给远程操控人员，在这里反馈信息包括实时车速、当前档位及驾驶状态。最后，车端工控机需完成车端视频处理及发送工作，具体的：考虑到网络带宽、网络延时以及视频大小，需将经过上述步骤产生的车辆前视范围的视频信息进行压缩处理，此外，还需将车辆左前和右前摄像头采集的视频信息进行相关处理，并通过车端5G模块一并发送给远程台架设备。

在一个具体的例子中，如图1a所示，一种集成智能化驾驶辅助的远程驾驶系统由远程台架设备、车载控制端及5G通信链路组成。其中远程台架设备由远端工控机、显示装置、驾驶模拟器及远端5G模块组成；其中车载控制端由车端工控机、环境采集装置、CAN收发装置及车端5G模块组成。

所述的远端工控机主要用于接收驾驶模拟器的原始控制指令输入，并对原始控制指令进行解析，成功解析后生成远端控制指令，通过远端5G模块将其传送给车载控制端；此外，远端工控机还用于接收远端5G模块传送过来的视频信息，并对其进行必要处理，然后传送给显示装置进行显示。

所述的显示装置可由三个独立显示器组成，也可由单一显示器组成，前者可实现分屏显示方案，方便远程操控人员观看，后者为集中显示方案，成本低易部署，本发明实施例采用集中显示方案。主要用于显示车载控制端传送过来的视频信息，具体包括车辆外围环境信息和车辆信息。

所述的驾驶模拟器主要用于采集远程操控人员控制输入，具体包括油门踏板输入、制动踏板输入、方向盘输入、档位按键输入、EPB按键输入、转向灯拨杆输入等，并生成原始控制指令。

所述的远端5G模块主要用于发送远端控制指令和接收车载控制端传送过来的视频信息。

所述的车端工控机主要用于接收车端5G模块传送过来的远端控制指令，并对其进行一系列处理，具体包括网络安全校验、容错及应急处理、安全机制再造、车端控制指令生成，成功生成车端控制指令后通过CAN收发装置将其传送给车载ECU进行相关控制；此外，车端工控机还用于接收环境采集装置传送过的车辆外围环境信息和CAN收发装置传送过来的车辆信息，并对其进行一系列的处理，具体包括预测轨迹估算及投影、安全距离及特效渲染、车辆反馈信息打印、车端视频处理，视频处理完成后通过车端5G模块将其传送给远程台架设备。

所述的环境采集装置由一个USB广角摄像头和两个USB普通摄像头组成，其中广角摄像头用于采集车辆前视范围内的车辆外围环境信息，两个普通摄像头分别用于采集车辆左前视角和右前视角范围内的车辆外围环境信息。对环境采集装置的选择和配置不限于此方案，可配置更多的摄像头(如后视摄像头)用于观察更大范围的车辆外围或内部环境信息，以提高驾驶便利性和安全性。本发明技术创新不在于对外围环境的采集和处理，故仅以此方案进行全文的论述和说明。

所述CAN收发装置主要用于发送车端控制指令和接收车辆信息。

所述车端5G模块主要用于发送视频信息和接收远程台架设备传送过来的远端控制指令。

如图1b所示，一种集成智能化驾驶辅助的远程驾驶系统的远程控制流程如下所述：

首先远程操控人员通过驾驶模拟器向系统输入控制指令，如油门踏板输入、制动踏板输入、方向盘输入、档位按键输入、EPB按键输入、转向灯拨杆输入等，驾驶模拟器采集到输入的控制指令后生成原始控制指令，输出给远端工控机，由远端工控机对其进行解析，并生成具有物理意义的远端控制指令，具体包括加速度指令、减速度指令、方向盘转角指令、档位请求P/R/N/D指令、EPB解/锁指令、转向灯开/关指令，按照相关通讯协议对远端控制指令进行打包，采用TCP通讯协议通过远端5G模块将其发送给车载控制端。由于原始控制指令表现为特定范围内连续变化的数值(如踏板输入、方向盘输入)或跳变的数值(如按键输入、拨杆输入)，没有实际的物理意义，所以在原始控制指令解析之前需完成相关映射工作，将其映射成一定范围内具有实际物理意义的数值，具体范围选择需考虑目标远程驾驶车辆的物理限制、边界限制以及安全限制，如减速度物理限制、方向盘转角边界限制、加速度安全限制等。

车载控制端通过车端5G模块接收远程台架设备发送过来的远端控制指令，成功接收后将其发送至车端工控机，车端工控机首先对其进行网络安全校验，目的是校验是否发生丢包、延时或断网等异常情况，虽然5G网络是最先进的通信技术之一，但在实际使用过程中，仍会发生上述异常情况，所以加入网络安全校验机制极为重要。当系统识别出发生上述异常情况时，会触发应急处理机制，即紧急停车，考虑到远程驾驶过程的平顺性和连续性，系统中加入了容错机制，即当上述异常情况连续发生几个周期采触发应急处理机制，具体容错阈值根据实际调试效果及网络情况进行设定，以保证远程驾驶的效果。如果车端工控机直接将接收到的远端控制指令下发给车载ECU，如果发生上述异常情况，会导致车载ECU的CAN网络安全校验也无法通过，而实际CAN网络可能处于良好的通信状态，所以为了避免此类由于5G网络问题而影响CAN网络的问题发生，系统进入了安全机制再造功能，即在车端工控机下发远端控制指令之前，将指令内部原有安全校验数据去除，并根据CAN网络校验机制，重新生成新的安全校验数据并融进指令中，从而生成车端控制指令，最后通过CAN网络收发装置将车端控制指令下发给车载ECU，实现远程驾驶控制。

如图1c所示，一种集成智能化驾驶辅助的远程驾驶系统的驾驶辅助流程如下所述：

在启用智能化驾驶辅助流程之前需先完成前视摄像头的标定和校正工作，具体包括前视摄像头的内参标定、畸变校正和外参标定。内参标定和畸变校正采用传统棋盘格方法，不在本发明的保护范围内，不再赘述。外参标定是为了获取前视摄像头坐标与目标远程驾驶车辆坐标系的关系，具体包括平移和旋转。

完成前视摄像头的标定和校正工作后，可正式启用智能化驾驶辅助流程。通过环境采集装置采集目标远程驾驶车辆前视角、左前视角、右前视角的外围环境信息，通过CAN收发装置采集车辆信息，具体包括实时车速、当前档位、前轮转角、驾驶状态等信息，将上述采集的外围环境信息和车辆信息分别输出给车端工控机。

车端工控机成功采集到上述信息后，首先进行预测轨迹估算和投影工作，具体的：由自行车几何模型可知车辆前轮转角与曲率半径的关系，即tan(δ)＝L/R，其中δ为车辆前轮转角、L为车辆轴距、R为曲率半径(即后轮轨迹半径)，以上公式中车辆轴距已知，前轮转角由CAN收发装置采集获得，进一步的可计算出曲率半径，结合车辆相关信息可估算出一定前视距离内的后轮预测轨迹信息，即车体坐标系下的三维点信息。以上都是基于自行车几何模型获得，转换到四轮车辆模型下，通过平移便可得到一定前视距离内的两侧后轮的预测轨迹信息，根据三维点投影二位点的原理和方法，将车辆两侧后轮的预测轨迹投影到前视摄像头的二位图像中，至此既实现了车辆两侧后轮预测轨迹在图像中的投影，同时也实现了车辆两侧边缘在图像中的投影。预测轨迹投影的意义在于：由于摄像头视角下远程操控人员对车辆姿态判断存在一定的局限性，具体的如摄像头视角下既无法实时观测到车辆前轮转角，又无法通过方向盘力反馈感知前轮的转向情况，同时加上5G网络传输的延时，导致经常出现转向过度或者转向不足的情况发生，远程操控人员需频繁地调整驾驶模拟器的方向盘才能达到预期驾驶效果，甚至有些时候无法达到预期效果，而本发明将预测轨迹投影到图像中，可直观地显示当前前轮转角下的行驶轨迹，远程操控人员根据该信息能够有效地、及时地调整驾驶模拟器方向盘输入，从而控制远程目标车辆驶向目标方向和位置，大大地提高了远程驾驶的便利性和灵活性；车辆边缘投影的意义在于：由于摄像头视角下无法准确地判断车辆的边缘，给远程驾驶带来了极大的安全隐患，介入车辆边缘投影远程操控人员能够直观地判断车辆边缘与外围环境的相对位置关系，大大提高了远程驾驶安全，同时也能够达到更加精准控制远程目标车辆的目的。其次，车端工控机将进行安全距离及特效渲染工作，具体的：利用图像处理技术在目标远程车辆的前视范围不同距离上渲染多条线段，并标注出对应距离值(线段距离车头的长度)，如图1d所示，为了更好视觉效果将线段渲染在上述两条预测轨迹之间(如图1d中的虚线所示)，线段的数量和渲染位置根据车辆安全驾驶距离要求及实际需求进行选择，以上是为了提醒远程操控人员注意安全距离，弥补了摄像头视角下对车速和距离敏感度不足的问题。此外，为了达到更好驾驶辅助效果和视觉效果，本发明实施例将两条预测轨迹之间的区域渲染成特定颜色，以表征该区域代表未来时刻目标远程车辆将驶过的区域，此区域如果出现障碍物，警示远程操控人员可能发生碰撞危险，需提前减速或选择变更车道。接着，车端工控机将进行车辆反馈信息打印工作，具体的：由于远程驾驶过程中远程操控人员需实时了解当前车辆的状态信息，并根据当前状态信息确定下一步决策，因此，需要将车辆实时状态信息反馈给远程操控人员，本发明通过图像处理技术将实时车辆信息打印到视频图像当中，通过实时回传的视频信息将车辆信息反馈给远程操控人员，在这里反馈信息包括实时车速、当前档位及驾驶状态。最后，车端工控机需完成车端视频处理及发送工作，具体的：考虑到网络带宽、网络延时以及视频大小，需将经过上述步骤产生的车辆前视范围的视频信息进行压缩处理，此外，还需将车辆左前和右前摄像头采集的视频信息进行相关处理，并通过车端5G模块发送给远程台架设备。

远程台架设备通过远端5G模块接收车载控制端实时传送过来的视频信息，并将其输出给远端工控机，由远端工控机对视频信息进行解压缩和大小调整等处理，最后将其输出给显示装置进行显示。至此，远程操控人员便可通过显示装置获取目标远程车辆的外围环境信息和状态信息，同时还可以获取更为重要的智能化辅助信息，通过驾驶模拟器操控远程目标车辆，实现人机闭环控制，从而达到一个良好的远程驾驶效果。

本发明实施例基于图像处理技术，根据车辆安装姿态及实时方向盘转角输入在图像中渲染了前方预测轨迹信息，同时渲染了车辆边缘和前方特定距离参考线，大大提高远程操控便利性和灵活性，并保证远程驾驶安全性。目前基于5G的远程驾驶领域主要有以下两种技术路线，其一是为了提高远程驾驶体验效果，融入了虚拟现实技术(即VR技术)，采用此技术虽然带来了更佳的用户体验效果，但是对操控便利性和灵活性的提升不够，同时很难保障驾驶安全性；其二是为了提高远程驾驶的安全性，加入了一定的智能化驾驶辅助功能，能够在危险情形时发出报警或主动进行紧急避障，虽然提高了远程驾驶的安全性，但是未涉及如何提高远程驾驶的便利性和灵活性。本发明实施例既兼顾了如何提高远程驾驶的便利性和灵活性，又兼顾了如何提高了远程驾驶的安全性。

远程驾驶场景下远程操控人员通过车端回传的视频判断车端的周围环境，并通过远端台架对车辆进行操控，由于摄像头视角下判断车辆姿态局限性及对车速、距离等信息敏感度不够，导致车辆在实际远程驾驶过程中，操控效果不尽如人意，同时带来了极大的安全隐患。为了解决上述问题，本发明实施例基于图像处理技术，根据车辆安装姿态及实时方向盘转角输入在图像中渲染了前方预测轨迹信息，同时渲染了车辆边缘和前方特定距离参考线，大大提高远程操控便利性和灵活性，并保证远程驾驶安全性。

本实施例的技术方案，通过获取车辆外围环境信息和车辆信息，其中，所述车辆信息包括：车辆前轮转角、车辆轴距和车辆后轴半径；根据所述车辆前轮转角、车辆轴距和车辆后轴半径确定车辆两侧后轮的预测轨迹信息；将所述车辆外围环境信息、车辆两侧后轮的预测轨迹信息以及车辆信息发送至远程台架设备；接收所述远程台架设备发送的远端控制指令，根据所述远端控制指令进行远程驾驶，以实现能够提高远程操控便利性和灵活性，并保证远程驾驶安全性。

实施例二

图2为本发明实施例二提供的一种远程驾驶控制装置的结构示意图。本实施例可适用于远程驾驶控制的情况，该装置可采用软件和/或硬件的方式实现，该装置可集成在任何提供远程驾驶控制的功能的设备中，如图2所示，所述远程驾驶控制装置具体包括：获取模块210、确定模块220、发送模块230和接收模块240。

其中，获取模块，用于获取车辆外围环境信息和车辆信息，其中，所述车辆信息包括：车辆前轮转角、车辆轴距和车辆后轴半径；

确定模块，用于根据所述车辆前轮转角、车辆轴距和车辆后轴半径确定车辆两侧后轮的预测轨迹信息；

发送模块，用于将所述车辆外围环境信息、车辆两侧后轮的预测轨迹信息以及车辆信息发送至远程台架设备；

接收模块，用于接收所述远程台架设备发送的远端控制指令，根据所述远端控制指令进行远程驾驶。

上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。

本实施例的技术方案，通过获取车辆外围环境信息和车辆信息，其中，所述车辆信息包括：车辆前轮转角、车辆轴距和车辆后轴半径；根据所述车辆前轮转角、车辆轴距和车辆后轴半径确定车辆两侧后轮的预测轨迹信息；将所述车辆外围环境信息、车辆两侧后轮的预测轨迹信息以及车辆信息发送至远程台架设备；接收所述远程台架设备发送的远端控制指令，根据所述远端控制指令进行远程驾驶，以实现能够提高远程操控便利性和灵活性，并保证远程驾驶安全性。

实施例三

图3为本发明实施例三中的一种计算机设备的结构示意图。图3示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图3显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图3所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图3未显示，通常称为“硬盘驱动器”)。尽管图3中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。另外，本实施例中的计算机设备12，显示器24不是作为独立个体存在，而是嵌入镜面中，在显示器24的显示面不予显示时，显示器24的显示面与镜面从视觉上融为一体。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的远程驾驶控制方法：获取车辆外围环境信息和车辆信息，其中，所述车辆信息包括：车辆前轮转角、车辆轴距和车辆后轴半径；

根据所述车辆前轮转角、车辆轴距和车辆后轴半径确定车辆两侧后轮的预测轨迹信息；

将所述车辆外围环境信息、车辆两侧后轮的预测轨迹信息以及车辆信息发送至远程台架设备；

接收所述远程台架设备发送的远端控制指令，根据所述远端控制指令进行远程驾驶。

实施例四

本发明实施例四提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有发明实施例提供的远程驾驶控制方法：

获取车辆外围环境信息和车辆信息，其中，所述车辆信息包括：车辆前轮转角、车辆轴距和车辆后轴半径；

根据所述车辆前轮转角、车辆轴距和车辆后轴半径确定车辆两侧后轮的预测轨迹信息；

将所述车辆外围环境信息、车辆两侧后轮的预测轨迹信息以及车辆信息发送至远程台架设备；

接收所述远程台架设备发送的远端控制指令，根据所述远端控制指令进行远程驾驶。

可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种远程驾驶控制方法，其特征在于，包括：

获取车辆外围环境信息和车辆信息，其中，所述车辆信息包括：车辆前轮转角、车辆轴距和车辆后轴半径；

根据所述车辆前轮转角、车辆轴距和车辆后轴半径确定车辆两侧后轮的预测轨迹信息；

将所述车辆外围环境信息、车辆两侧后轮的预测轨迹信息以及车辆信息发送至远程台架设备；

接收所述远程台架设备发送的远端控制指令，根据所述远端控制指令进行远程驾驶。

2.根据权利要求1所述的方法，其特征在于，获取车辆外围环境信息，包括：

接收环境采集设备发送的车辆正前视角的视频图像、左前视角的视频图像和右前视角的视频图像；

将所述车辆正前视角的视频图像、左前视角的视频图像和右前视角的视频图像进行拼接。

3.根据权利要求2所述的方法，其特征在于，根据所述车辆前轮转角、车辆轴距和车辆后轴半径确定车辆两侧后轮的预测轨迹信息之后，还包括：

将所述预测轨迹信息投影到正前视角的视频图像中。

4.根据权利要求3所述的方法，其特征在于，根据所述车辆前轮转角、车辆轴距和车辆后轴半径确定车辆两侧后轮的预测轨迹信息之后，还包括：

在正前视角的视频图像中，添加至少一条线段，并在所述线段对应位置处添加标注信息，其中，所述标注信息为所述线段与车头之间的距离。

5.根据权利要求3所述的方法，其特征在于，根据所述车辆前轮转角、车辆轴距和车辆后轴半径确定车辆两侧后轮的预测轨迹信息之后，还包括：

将所述预测轨迹信息对应的区域渲染为设定颜色；

若所述预测轨迹信息对应的区域存在目标物体对应的图像，则进行提醒。

6.根据权利要求1所述的方法，其特征在于，接收所述远程台架设备发送的远端控制指令，根据所述远端控制指令进行远程驾驶，包括：

接收所述远程台架设备发送的远端控制指令，对所述远端控制指令进行网络安全校验；

若校验结果为异常，则触发应急处理机制。

7.根据权利要求1所述的方法，其特征在于，将所述车辆信息发送至远程台架设备包括：

将所述车辆信息打印到视频图像中。

8.一种远程驾驶控制装置，其特征在于，包括：

获取模块，用于获取车辆外围环境信息和车辆信息，其中，所述车辆信息包括：车辆前轮转角、车辆轴距和车辆后轴半径；

确定模块，用于根据所述车辆前轮转角、车辆轴距和车辆后轴半径确定车辆两侧后轮的预测轨迹信息；

发送模块，用于将所述车辆外围环境信息、车辆两侧后轮的预测轨迹信息以及车辆信息发送至远程台架设备；

接收模块，用于接收所述远程台架设备发送的远端控制指令，根据所述远端控制指令进行远程驾驶。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。

Images