CN111016905A - 自动驾驶车辆与驾驶遥控端交互方法及系统 - Google Patents

Abstract

本发明属于自动驾驶技术领域，具体涉及了一种自动驾驶车辆与驾驶遥控端交互方法及系统，旨在解决现有技术无法准确判断自动驾驶车辆是否有应急接管需求的问题。本发明方法包括：获取驾驶环境视频和车辆状态信息，在检测到当前车辆有远程接管需求时，生成车辆端请求接管标记并写入上行数据；驾驶遥控端接收并解析上行数据，当检测到车辆端请求接管标记时，生成遥控端实施接管标记，并写入下行数据反馈至当前车辆；接收并解析下行数据，当识别到遥控端实施接管标记时，通过预设的驾驶遥控端接管交互机制将当前车辆从自动驾驶模式切换为远程遥控模式。本发明车辆端和遥控端均设有接管交互机制以及接管前同步操作，保证接管的平稳和精度，提高安全性。

Description

自动驾驶车辆与驾驶遥控端交互方法及系统

技术领域

本发明属于自动驾驶技术领域，具体涉及了一种自动驾驶车辆与驾驶遥控端交互方法及系统。

背景技术

现如今，随着自动驾驶技术的迅速发展，自动驾驶车辆可以在简单环境下自如的行驶，但在一些例如长距离物流、车流如潮的城市、行人或电动车不断穿梭的街道等复杂路况的情况下，自动驾驶车辆的决策能力受到了限制，从而导致了车辆本身的自动行驶作业的效率低且危险系数较高的问题。因此，针对上述自动驾驶车辆在复杂路况下难以精准的实现安全行驶控制，使得很多自动驾驶车辆在无法利用车辆自身的处理器来处理传感器数据和/或复杂路况下无法进行自动驾驶决策等的问题，为了保障车辆的安全行驶，便具有了通过驾驶员操纵设置在远程端的驾驶模拟器来接管自动驾驶车辆的驾驶任务，通过两端之间的信息交互来完成远程应急接管操作。

现有技术中，针对远程应急接管需求的判断结果，通常是利用车辆端内的各类传感器和处理器来感知并决策的结果。但在复杂路况下，由于车辆端的决策能力有一定的限制，无法针对自身是否具有接管需求进行准确判断，这会导致在车辆端真正需要远程遥控端进行接管时而没有判断出这一需求，从而严重影响自动驾驶车辆的行驶安全性。

因而，在面临车辆应急接管问题时，现有技术急需提供一种完善的车辆端与远程驾驶遥控端之间的交互机制，提高在车辆紧急接管时的行驶安全，使得自动驾驶车辆平稳、安全的度过接管时期。

发明内容

为了解决现有技术中的上述问题，即现有技术无法准确判断自动驾驶车辆是否有应急接管需求的问题，本发明提供了一种自动驾驶车辆与驾驶遥控端交互方法，该交互方法包括：

步骤S10，基于实时获取的自动驾驶车辆环境视频和车辆状态信息，获取第一上行数据；

步骤S20，基于实时获取的自动驾驶车辆远程接管需求信息，生成自动驾驶车辆远程接管标记，并将所述标记合并入所述第一上行数据；

步骤S30，驾驶遥控端解析并判断所述第一上行数据中是否有自动驾驶车辆远程接管标记，若有则跳转步骤S40；若没有则跳转步骤S10；

步骤S40，基于所述自动驾驶车辆远程接管标记，生成驾驶遥控端实施接管标记并转化为第一下行数据；基于所述第一上行数据中车辆状态信息进行自动驾驶车辆与驾驶遥控端信息同步；

步骤S50，自动驾驶车辆解析所述第一下行数据，获取驾驶遥控端实施接管标记，并生成自动驾驶车辆同意接管标记，结合当前获取的实时车辆状态信息和更新后的驾驶环境视频，获取第二上行数据；

步骤S60，驾驶遥控端解析所述第二上行数据，获取自动驾驶车辆同意接管标记，并通过预设的驾驶遥控端接管交互机制将当前自动驾驶车辆的驾驶模式调整为远程遥控模式。

在一些优选的实施例中，步骤S40中“基于所述第一上行数据中车辆状态信息进行自动驾驶车辆与驾驶遥控端信息同步”，其方法为：

步骤S41，驾驶遥控端解析所述自动驾驶车辆远程接管标记同步发送的第一上行数据，获取第一车辆状态信息；

步骤S42，基于所述第一车辆状态信息中车辆方向盘转角、当前档位进行驾驶遥控端方向盘、档位同步。

在一些优选的实施例中，步骤S60中“通过预设的驾驶遥控端接管交互机制将当前自动驾驶车辆的驾驶模式调整为远程遥控模式”之后还设置有驾驶遥控端驾驶员行为类别识别的步骤，其方法为：

步骤B10，驾驶遥控端实时获取驾驶员视频，并提取所述视频中驾驶员行为图片；

步骤B20，基于所述驾驶员行为图片，获取驾驶员行为类别。

在一些优选的实施例中，所述驾驶员行为类别包括：

正常驾驶、疲劳驾驶、左顾右盼、分神状态、打哈欠。

在一些优选的实施例中，步骤B20中“基于所述驾驶员行为图片，获取驾驶员行为类别”，其方法为：

步骤B21，基于所述驾驶员行为图片提取驾驶员眼部、头部位置变化信息、骨骼关节位置变化信息；

步骤B22，基于所述驾驶员眼部、头部位置变化信息、骨骼关节位置变化信息，获取对应的信息特征；

步骤B23，基于所述信息特征以及输入的特征-驾驶员行为类别关系表，获取驾驶员行为类别。

在一些优选的实施例中，所述车辆状态信息包括：

车辆当前速度、车辆方向盘转角、车辆经纬度、车辆航向角、车辆驾驶模式。

本发明的另一方面，提出了一种自动驾驶车辆与驾驶遥控端交互系统，该系统包括一个或多个自动驾驶车辆、驾驶遥控端；

所述自动驾驶车辆，用于实时获取驾驶环境视频和车辆状态信息将其整合为第一上行数据后发送至驾驶遥控端；还用于实时获取自动驾驶车辆远程接管需求信息，生成自动驾驶车辆远程接管标记合并入所述第一上行数据；还用于接收所述驾驶遥控端反馈的第一下行数据，并生成自动驾驶车辆同意接管标记后转化为第二上行数据后发送至驾驶遥控端；

所述驾驶遥控端，用于接收并解析所述第一上行数据，当检测到当前自动驾驶车辆具有远程接管需求时，基于所述第一上行数据中车辆状态信息进行自动驾驶车辆与驾驶遥控端信息同步，并生成驾驶遥控端实施接管标记，将该标记转换为第一下行数据反馈至当前自动驾驶车辆；还用于接收并解析所述第二上行数据，通过预设的驾驶遥控端接管交互机制将当前自动驾驶车辆的驾驶模式调整为远程遥控模式。

在一些优选的实施例中，所述驾驶遥控端还设置有显示装置；

所述显示装置，用于按照自动驾驶车辆端驾驶员真实视野条件显示实时获取的自动驾驶车辆环境视频。

在一些优选的实施例中，所述车辆环境视频包括：

车辆前视角视频、左后视角视频、右后视角视频、车内视角视频。

在一些优选的实施例中，所述驾驶遥控端还设置有远程同步模块；

所述远程同步模块，用于接收到自动驾驶车辆远程接管标记后，基于所述第一车辆状态信息中车辆方向盘转角、当前档位进行驾驶遥控端方向盘、档位同步。

本发明的有益效果：

(1)本发明自动驾驶车辆与驾驶遥控端交互方法，无论车辆端或遥控端中哪一方率先识别出当前车辆的应急接管需求，都可以利用预先建立好的相应的接管交互机制来实现对当前自动驾驶车辆的驾驶模式的切换，使相应自动驾驶车辆顺利度过接管前的模式切换期，并安全地进入到远程遥控模式，相较于传统的只利用车辆端进行应急接管需求的判断来说，提高了自动驾驶车辆的行驶安全。

(2)本发明在自动驾驶车辆接管交互机制以及驾驶遥控端接管交互机制中的正式实施远程遥控控制前均设置有接管前同步操作，提高了接管后远程遥控驾驶的操作精准度，使得对当前车辆接管的瞬间，驾驶模拟器内的操纵设备对应的数据不会与当前车辆内操纵设备的真实数值有较大差距，从而保证了接管的安全平稳。

(3)本发明利用设置在遥控端内的驾驶员行为监控模块，实时采集驾驶遥控端驾驶员驾驶过程中的行为影像，判断驾驶员是否处于安全驾驶状态，否则予以预警警告，从驾驶员行为角度保障了接管后远程遥控驾驶过程的安全。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本发明自动驾驶车辆与驾驶遥控端交互方法流程示意图；

图2是本发明自动驾驶车辆与驾驶遥控端交互方法一种实施例的车辆端请求驾驶遥控端接管的流程示意图；

图3是本发明自动驾驶车辆与驾驶遥控端交互方法一种实施例的驾驶遥控端请求接管的流程示意图；

图4是本发明自动驾驶车辆与驾驶遥控端交互方法一种实施例的驾驶遥控端进行驾驶员行为识别过程的流程示意图；

图5是本发明自动驾驶车辆与驾驶遥控端交互方法一种实施例的驾驶模拟器显示界面的布局示意图；

图6是本发明自动驾驶车辆与驾驶遥控端交互方法一种实施例的交互场景示意图；

图7是本发明自动驾驶车辆与驾驶遥控端交互方法一种实施例的交互系统结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本发明提供一种自动驾驶车辆与驾驶遥控端交互方法，本方法在自动驾驶车辆端(以下简称“车辆端”或“车辆”)按照设定的时间间隔实时向远程驾驶遥控端(以下简称“遥控端”)发送含有驾驶环境视频和车辆状态信息的上行数据的基础上，实时检测自身是否具有远程应急接管需求，在具有远程应急接管需求时利用预设的车辆端接管交互机制，在接收到来自遥控端表示同意远程遥控当前车辆的遥控端实施接管标记后，将当前车辆从自动驾驶模式切换为远程遥控模式。进一步，为了提高车辆端对远程应急接管需求决策结果的准确性，通过遥控端对这一需求进行辅助判断，在当前车辆接收到来自遥控端的表示需要主动接管当前车辆的遥控端请求接管标记后，利用预设的摇控端接管交互机制，也能够将当前车辆从自动驾驶模式切换为远程遥控模式。这样，本发明无论车辆端或遥控端中任一方率先识别出当前车辆的应急接管需求，都可以利用预先建立好的相应的接管交互机制来实现对当前车辆的远程遥控模式的切换，使其顺利度过接管前的模式切换期，并安全地进入到远程遥控模式，相较于传统的只利用车辆端进行应急接管需求的判断来说，提高了自动驾驶车辆的行驶安全。

另外，为了提高接管后远程遥控驾驶的操作精准度，本发明无论是在车辆端接管交互机制还是遥控端接管交互机制中的正式实施远程遥控控制前均设置有：接管前驾驶遥控端模拟驾驶器内的操纵设备(包括方向盘、档位)与当前车辆端内的操纵设备的对应同步功能。由于遥控端所监管的车辆通常是多辆的，为了完成不同车辆进行远程遥控操作的切换(不同车辆间的切换)，需要在远程遥控当前车辆之前，利用从当前车辆发送过来的车辆状态信息，将驾驶模拟器内的操纵设备与当前车辆内的操纵设备进行初始化的同步调整，使得对当前车辆接管的瞬间，驾驶模拟器内的操纵设备对应的数据不会与当前车辆内操纵设备的真实数值有较大差距，从而保证了接管的安全平稳。

此外，为了保障接管后远程遥控驾驶过程的安全，本发明在遥控端驾驶模拟器中的驾驶员前方设置有相应的影像感知设备，实时采集驾驶员行为影像，判断驾驶员是否处于安全驾驶状态，否则予以预警警告。

本发明的一种自动驾驶车辆与驾驶遥控端交互方法，该交互方法包括：

步骤S10，基于实时获取的自动驾驶车辆环境视频和车辆状态信息，获取第一上行数据；

步骤S20，基于实时获取的自动驾驶车辆远程接管需求信息，生成自动驾驶车辆远程接管标记，并将所述标记合并入所述第一上行数据；

步骤S30，驾驶遥控端解析并判断所述第一上行数据中是否有自动驾驶车辆远程接管标记，若有则跳转步骤S40；若没有则跳转步骤S10；

步骤S40，基于所述自动驾驶车辆远程接管标记，生成驾驶遥控端实施接管标记并转化为第一下行数据；基于所述第一上行数据中车辆状态信息进行自动驾驶车辆与驾驶遥控端信息同步；

步骤S50，自动驾驶车辆解析所述第一下行数据，获取驾驶遥控端实施接管标记，并生成自动驾驶车辆同意接管标记，结合当前获取的实时车辆状态信息和更新后的驾驶环境视频，获取第二上行数据；

步骤S60，驾驶遥控端解析所述第二上行数据，获取自动驾驶车辆同意接管标记，并通过预设的驾驶遥控端接管交互机制将当前自动驾驶车辆的驾驶模式调整为远程遥控模式。

为了更清晰地对本发明自动驾驶车辆与驾驶遥控端交互方法进行说明，下面结合图1对本发明方法实施例中各步骤展开详述。

本发明一种实施例的自动驾驶车辆与驾驶遥控端交互方法，包括步骤S10-步骤S60，各步骤详细描述如下：

步骤S10，基于实时获取的自动驾驶车辆环境视频和车辆状态信息，获取第一上行数据。

自动驾驶车辆端按照预设的上行数据时间间隔，实时获取表征车辆全方位驾驶员视角下的驾驶环境视频和车辆状态信息，将当前驾驶环境视频和车辆状态信息整合为第一上行数据，而后将当前第一上行数据转换为与网络传输通信通道协议相符的格式后，发送至驾驶遥控端。

步骤S20，基于实时获取的自动驾驶车辆远程接管需求信息，生成自动驾驶车辆远程接管标记，并将所述标记合并入所述第一上行数据。

自动驾驶车辆端在检测到当前车辆具有远程接管需求时，生成相应的车辆端请求接管标记，并将当前车辆端请求接管标记作为上述第一上行数据远程控制标志位写入当前第一上行数据，在当前第一上行数据发送至驾驶遥控端后，通知驾驶遥控端当前车辆具有远程接管需求。

需要说明的是，自动驾驶车辆端请求接管的交互过程属于车辆端向驾驶遥控端发起的交互请求，即机器向人发起的交互请求。车辆端利用车辆内部的自动驾驶装置的故障检测功能，在自动驾驶装置检测出当前车辆出现紧急情况、车辆传感器出现故障等车辆应急状况时，需要驾驶遥控端人类驾驶员对当前车辆进行应急接管操作，来解决当前车辆紧急状态，此时，需要通知驾驶遥控端当前车辆具有远程接管需求并发送相应的车辆端请求接管标记。

步骤S30，驾驶遥控端解析并判断所述第一上行数据中是否有自动驾驶车辆远程接管标记，若有则跳转步骤S40；若没有则跳转步骤S10。

驾驶遥控端接收并解析第一上行数据，若未检测到当前车辆具有远程接管需求，则不作任何处理，等待下一时间段的上行数据再一次进行解析以及当前车辆远程接管需求检测。

步骤S40，基于所述自动驾驶车辆远程接管标记，生成驾驶遥控端实施接管标记并转化为第一下行数据；基于所述第一上行数据中车辆状态信息进行自动驾驶车辆与驾驶遥控端信息同步。

当检测到当前车辆具有远程接管需求(也就是说，检测到当前上行数据中含有车辆端请求接管标记)时，利用预设的车辆端接管交互机制，实施接管前人机交互过程，结束后生成表示同意远程遥控当前车辆的遥控端实施接管标记，通过将当前驾驶遥控端实施接管标记作为上述下行远程控制标志位写入当前第一下行数据中，而后将当前下行数据反馈至当前车辆。其中，驾驶遥控端在收到车辆端请求接管标记后，会在驾驶模拟器显示屏上进行弹窗提示，并利用预设的车辆端接管交互机制，实施接管前人机交互过程，在遥控端驾驶员同意对当前车辆实施接管并完成交互后，通过第一下行数据向当前车辆发送驾驶遥控端实施接管标记。

步骤S41，驾驶遥控端解析所述自动驾驶车辆远程接管标记同步发送的第一上行数据，获取第一车辆状态信息。

车辆状态信息包括：

车辆当前速度、车辆方向盘转角、车辆经纬度、车辆航向角、车辆驾驶模式。

步骤S42，基于所述第一车辆状态信息中车辆方向盘转角、当前档位进行驾驶遥控端方向盘、档位同步。

步骤S50，自动驾驶车辆解析所述第一下行数据，获取驾驶遥控端实施接管标记，并生成自动驾驶车辆同意接管标记，结合当前获取的实时车辆状态信息和更新后的驾驶环境视频，获取第二上行数据。

当前车辆接收并解析下行数据，当识别到驾驶遥控端实施接管标记时，在当前驾驶遥控端实施接管标记信息的控制下，进入到远程遥控模式，将当前车辆状态信息中的运行模式改写为远程遥控模式，当前车辆从自动驾驶模式切换为远程遥控模式。当前车辆将当前时刻下的改写运行模式后的实时车辆状态信息和更新后的驾驶环境视频以及自动驾驶车辆同意接管标记，整合为新的上行数据(即第二上行数据)传输至驾驶遥控端。

步骤S60，驾驶遥控端解析所述第二上行数据，获取自动驾驶车辆同意接管标记，并通过预设的驾驶遥控端接管交互机制将当前自动驾驶车辆的驾驶模式调整为远程遥控模式。

“通过预设的驾驶遥控端接管交互机制将当前自动驾驶车辆的驾驶模式调整为远程遥控模式”之后还设置有驾驶遥控端驾驶员行为类别识别的步骤，其方法为：

步骤B10，驾驶遥控端实时获取驾驶员视频，并提取所述视频中驾驶员行为图片；

步骤B20，基于所述驾驶员行为图片，获取驾驶员行为类别。

步骤B21，基于所述驾驶员行为图片提取驾驶员眼部、头部位置变化信息、骨骼关节位置变化信息；

步骤B22，基于所述驾驶员眼部、头部位置变化信息、骨骼关节位置变化信息，获取对应的信息特征；

步骤B23，基于所述信息特征以及输入的特征-驾驶员行为类别关系表，获取驾驶员行为类别。

驾驶员行为类别包括：

正常驾驶、疲劳驾驶、左顾右盼、分神状态、打哈欠。

当前车辆接收并解析第一下行数据，在当检测到当前下行数据中含有遥控端请求接管标记时，利用预设的遥控端接管交互机制，实施接管前人机交互过程，将当前车辆的驾驶任务交接给驾驶遥控端，也就是说，在交互结束后，将当前车辆从自动驾驶模式切换为远程遥控模式。其中，驾驶遥控端请求接管标记表示驾驶遥控端驾驶员根据模拟器显示屏显示的驾驶环境视频和当前车辆状态信息，判断出需要主动接管当前车辆来实施远程驾驶遥控任务。

驾驶遥控端请求接管的交互过程属于驾驶遥控端向车辆端发起的交互请求，即人类驾驶员向机器发起的交互请求。驾驶遥控端驾驶员通过观测并检查当前车辆的状态信息和驾驶环境视频，实时判断是否需要对当前车辆实施主动接管请求，在需要遥控端人类驾驶员对当前车辆进行应急接管操作，来解决当前车辆紧急驾驶状态且当前车辆未检测出其自身需要发起车辆端接管请求的问题，此时，需要通知当前车辆端，驾驶遥控端需要对其进行远程接管，并发送相应的远程端请求接管标记。

如图2所示，为本发明自动驾驶车辆与驾驶遥控端交互方法一种实施例的车辆端请求驾驶遥控端接管的流程示意图，下面结合图1和图2对上述步骤S30中在驾驶遥控端检测到当前车辆具有远程接管需求后所实施的车辆端接管交互机制进行详细说明：

步骤S101，驾驶遥控端按照上述上行数据时间间隔，实时接收并解析来自当前车辆端发送的第一上行数据，获取到相应的驾驶环境视频和车辆状态信息。

步骤S102，实时检测车辆状态信息中是否含有车辆端请求接管标记，若含有，则表明当前车辆检测到具有远程接管需求，进入步骤S303；若当前车辆状态信息中不含有车辆端请求接管标记，表明当前车辆不具有远程接管需求，返回步骤S101，继续利用车辆内部的自动驾驶装置进行正常状态下的正常行驶。

步骤S103，在车辆状态信息中含有车辆端请求接管标记时，驾驶遥控端显示屏界面弹窗提示当前车辆具有应急接管需求，并且获取与当前车辆端请求接管标记同步发送的车辆状态信息，对当前车辆状态信息进行解析。

步骤S104，驾驶遥控端判断驾驶员是否处于空闲状态(也就是判断驾驶员当前是否正在远程遥控其他车辆)，若为是，则进入步骤S305；若驾驶遥控端判断当前驾驶员处于非空闲状态，则返回步骤S101。

需要说明的是，由于在实际情况下，驾驶遥控端需要应对多个接管需求冲突的车辆端的几率很小，因此，本发明实施例中的从步骤S104直接跳转到步骤S101的概率很小，对于遥控端接管交互机制的顺利实施大概率上完全能够为车辆端提供远程接管过程成功的保障。

步骤S105，驾驶遥控端立即生成表示驾驶员同意接管当前车辆的遥控端同意接管标记，并通过将当前遥控端同意接管标记作为当前下行远程控制标志位写入当前下行数据中，而后将当前下行数据反馈至当前车辆。

步骤S106，当前车辆端接收到当前含有遥控端同意接管标记信息的下行数据后，将当前车辆对应的车辆状态信息中的运行模式从自动驾驶模式改写为接管前同步模式，并将接收到遥控端同意接管标记时刻对应的当前驾驶环境视频和改写模式后的车辆状态信息，整合为新的上行数据传输到驾驶遥控端。

需要说明的是，虽然此时当前车辆端的运行模式改为接管前同步模式，且从自动驾驶模式跳出，但在当前车辆处于接管前同步模式阶段的期间，当前车辆仍利用车辆内部的自动驾驶装置在完成车辆端控制下的自动驾驶任务，而只有在当前车辆的运行模式为远程遥控模式时，才会在驾驶遥控端的控制下实现自动驾驶任务。

步骤S107，驾驶遥控端接收并解析当前上行数据，将当前更新后的车辆状态信息、驾驶环境视频信息展示在模拟器显示屏上，并根据当前车辆状态信息中车辆方向盘转角、当前档位进行驾驶遥控端方向盘、档位同步调整，进行接管前同步调整的初始化任务。

步骤S108，驾驶遥控端在完成接管前同步操作后，进入到遥控端远程遥控模式中，同时生成遥控端实施接管标记，在将当前遥控端实施接管标记写入当前下行数据后，反馈到当前车辆，从而完成上述车辆端接管交互机制。

如图3所示，为本发明自动驾驶车辆与驾驶遥控端交互方法一种实施例的驾驶遥控端请求接管的流程示意图，下面结合图1和图3对上述步骤S60中在驾驶遥控端检测到当前车辆需要主动进行远程接管后所实施的遥控端接管交互机制进行详细说明：

步骤S201，驾驶遥控端根据模拟器显示屏上实时更新的驾驶环境视频和车辆状态信息，并判断当前车辆是否需要由驾驶遥控端主动发起请求接管的需求，若需要，则进入步骤S202；若不需要，则继续停留在步骤S201进行判断。其中，驾驶遥控端将步骤S30实时接收到的上行数据中的当前驾驶环境视频和实时更新的车辆状态信息在驾驶模拟器显示屏的交互界面中展示。

步骤S202，驾驶遥控端立即生成遥控端请求接管标记，并通过将当前遥控端请求接管标记作为当前下行远程控制标志位写入当前下行数据中，而后将当前下行数据反馈至当前车辆。

步骤S203，当前车辆接收并解析下行数据。

步骤S204，当前车辆在检测到含有遥控端请求接管标记的下行数据时，判断当前车辆自身是否满足被接管条件，若满足，则进入步骤S205；若不满足，则返回步骤S203。

自动驾驶车辆会检测车辆端与驾驶遥控端的网络延迟情况，当网络延迟较大时，数据包会出现丢包等状况，对远程遥控驾驶来讲存在安全隐患。因此，当监测到网络延迟大于100ms时，车辆会认为在该网络状况下，其自身不满足被接管条件，不建议远程控制，并告知驾驶遥控端。

步骤S205，当前车辆立即生成车辆端同意接管标记，将当前车辆对应的车辆状态信息中的运行模式从自动驾驶模式改写为接管前同步模式，并将接收到车辆端同意接管标记时刻对应的当前驾驶环境视频和改写模式后的车辆状态信息，整合为新的上行数据传输到驾驶遥控端。

步骤S206，驾驶遥控端在接收到含有车辆端同意接管标记信息的上行数据时，得到与当前车辆端同意接管标记同步发送的相应的车辆状态信息和驾驶环境视频，对驾驶遥控端显示屏上的信息进行更新。

步骤S207，驾驶遥控端根据当前车辆状态信息中车辆方向盘转角、当前档位进行驾驶遥控端方向盘、档位同步调整，进行接管前同步调整的初始化任务。

步骤S208，驾驶遥控端在完成接管前同步操作后，进入到遥控端远程遥控模式中，同时生成遥控端实施接管标记，并将当前遥控端实施接管标记写入当前下行数据后，反馈到当前车辆。

步骤S209，当前车辆在接收到含有遥控端实施接管标记信息的下行数据时，在当前遥控端实施接管标记的控制下，进入到远程遥控模式，将当前车辆状态信息中的运行模式改写为远程遥控模式，从而完成上述遥控端接管交互机制。此时，当前车辆将当前时刻下的改写运行模式后的实时车辆状态信息和更新后的驾驶环境视频，整合为新的上行数据传输至驾驶遥控端。

通过上述技术方案，本发明不论是由当前车辆端还是驾驶遥控端主动发起的接管请求，都能够利用上述车辆端接管交互机制或遥控端接管交互机制，将当前车辆的运行模式转换为远程遥控模式，顺利且平稳的实现接管任务。而后，在驾驶遥控端接收到含有当前车辆的运行模式为远程驾驶模式信息的上行数据后，根据当前上行数据中的当前驾驶环境视频和实时更新的车辆状态信息，在遥控端驾驶员的操纵下，生成用于遥控当前车辆行驶的驾驶行为控制信息，并将当前驾驶行为控制信息转换为下行数据。接着，驾驶遥控端将当前下行数据反馈至当前车辆，使得当前车辆按照当前驾驶行为控制信息对其内部各操作部件进行自动行驶控制。

由于通常在驾驶遥控端处配备有相应的人类驾驶员对各车辆端进行实时的状态监测和/或接管后的驾驶操作，因而，人类驾驶员的行为状态便尤为重要，严重影响到各车辆端的自动驾驶安全。因此，在本发明实施例中，驾驶遥控端设置有驾驶员监控模块，利用驾驶员监控模块实时感知驾驶员在远程遥控过程中的行为影像，根据实时感知到的行为影像对驾驶员行为进行识别，确定当前驾驶员行为所属类别。其中，驾驶员行为类别包括：正常驾驶、疲劳驾驶、左顾右盼、分神状态和打哈欠。进一步，在确定好当前驾驶员行为的类别后，还需要利用驾驶员监控模块，对当前危险行为(不属于正常驾驶类别的其他类别均属于危险驾驶行为)进行警示提示，以提醒驾驶员打起精神专心驾驶。需要说明的是，本发明实施例对警示提示的形式不作具体限定，本领域技术人员可根据驾驶遥控端设备的配置情况等实际需求进行设置，例如：在显示屏上展示当前驾驶员行为类别并进行声音报警提示或将当前驾驶员行为类别进行语音播报等。

如图4所示，为本发明自动驾驶车辆与驾驶遥控端交互方法一种实施例的驾驶遥控端进行驾驶员行为识别过程的流程示意图，其详细流程为：

步骤S301，将设置在驾驶遥控端驾驶员前方的行为感知设备进行初始化设置。在本发明实施例中，采用3D体感摄影机Kinect对驾驶员行为影像进行实时采集，在采集前，需要对该设备进行初始化操作。

步骤S302，利用设置在驾驶遥控端内驾驶员前方的Kinect设备，采集关于当前驾驶员动作的行为影像。由于Kinect采集的行为影像中的每帧图像均为深度图像(每个像素点还包含了相应的深度位置信息)，对于后续的行为检测过程来说，能够提取到更为精确的驾驶员行为动作特征，进一步使得行为识别结果(类别)更为准确。

步骤S303，从当前行为影像中提取驾驶员眼部、头部位置变化和骨骼关节位置变化的特征信息，根据这些特征信息分析驾驶员当前的不同类型的动作。

首先，需要对当前行为影像中提取出驾驶员眼部瞳孔和眼皮等部位的位置变化、面部变化、头部位置变化和骨骼关节位置变化的特征信息。而后，利用这些特征信息分析驾驶员当前动作；其中，驾驶员动作包括：视线动作(观看前方、或观看左视镜、或观看右视镜、或眼神涣散等)、眼皮动作(睁眼状态、或半睁眼状态、或闭眼状态等)、面部动作(打哈欠、或说话等)、头部动作(低头、歪头、头部面向前方、头部左转、头部右转等)、骨骼关节动作(手握方向盘、手触摸模拟器操作按键、单手握方向盘、双手均未握方向盘)等多种与驾驶员行为评价相关的动作。最后，根据这些不同方面的动作，进一步判断出当前驾驶员的行为类别，从而确定出当前驾驶员是否处于正常驾驶行为。

步骤S304，根据步骤S303得到的不同类型的特征动作，判断当前驾驶员的行为是否异常。也就是说，步骤S304需要根据当前不同类型的特征动作在判断出当前驾驶员行为是否为正常驾驶，若为是，则进入步骤S305；若判断出当前驾驶员行为为异常驾驶状态，则进入步骤S306。

步骤S305，立即将当前驾驶员行为的类别确定为正常驾驶状态，从而将当前驾驶员行为类别的识别结果在显示屏相应位置处展示，而后返回步骤S302，继续对驾驶员行为进行实时监控。

步骤S306，进一步根据当前不同类型的特征动作判断当前驾驶员行为的异常行为的类别，并进行警示提示，从而将当前驾驶员行为类别的识别结果在显示屏相应位置处展示。其中，异常行为的类别包括上述除正常驾驶外的其他所有驾驶员行为类别：疲劳驾驶、左顾右盼、分神状态和打哈欠。

最后，需要说明的是，在本发明实施例中，在驾驶遥控端显示屏上按照预设的方式，将驾驶环境视频、车辆实时更新的状态信息、车辆实时更新的运行模式信息和驾驶员行为实时识别结果向人类驾驶员进行展示。

如图7所示，为本发明自动驾驶车辆与驾驶遥控端交互方法一种实施例的驾驶模拟器显示界面的布局示意图，在展示驾驶环境视频时，不仅满足远程遥控驾驶要求，同时交互界面设计对应的展示方式，是符合驾驶员正常开车习惯的，也就是说，实时上传的驾驶环境视频内的不同视角的视频信息是按照驾驶员真实视野的条件展示在显示屏上的。

第一，分别将左后视、右后视放置在主视角视频左右两侧，同时，对于左、右后视的视频画面进行了镜像翻转，与驾驶员正常驾驶汽车时观测后视镜的画面相同。车内视频监控是为了更好地了解车内情况，用于远程遥控驾驶过程中的一些接管判断，也可以判断在控制过程中车内的情况。

第二，为了让人类驾驶员可以清楚地了解自身位置，在界面的右上角布置了地图鸟瞰图，并实时更新自身位置。驾驶遥控端设置有针对当前车辆所行驶区域的地图鸟瞰图，根据上行数据中的车辆实时更新的导航位置信息，来将当前车辆的实时行驶位置标记在地图中，以让驾驶员了解当前车辆位置。

第三，在地图鸟瞰图下方，布置了驾驶员行为识别结果提示区。其中，驾驶员监测是根据Kinect对驾驶员进行拍摄，实时分析驾驶员眼睛、骨骼动作等，判断驾驶员是否正常驾驶，对于分析出的驾驶员异常驾驶情况，会对驾驶员进行提醒，提示驾驶员需进行改正来保证驾驶的安全性。

第四，在左后视角视频展示区的下方，设置了车辆基本信息显示区。这部分主要是为了使得人类驾驶员可以清楚的了解车辆的基本状态，更好地操作车辆，保证驾驶安全。

第五，在右后视角视频展示区的下方，设置了车辆与模拟器之间的通信信息，即车辆端的运行模式的展示区。在该区域中，需要对当前车辆的接管情况、同步情况进行显示。

本发明第二实施例的自动驾驶车辆与驾驶遥控端交互系统，该系统包括一个或多个自动驾驶车辆、驾驶遥控端；

所述自动驾驶车辆，用于实时获取驾驶环境视频和车辆状态信息将其整合为第一上行数据后发送至驾驶遥控端；还用于实时获取自动驾驶车辆远程接管需求信息，生成自动驾驶车辆远程接管标记合并入所述第一上行数据；还用于接收所述驾驶遥控端反馈的第一下行数据，并生成自动驾驶车辆同意接管标记后转化为第二上行数据后发送至驾驶遥控端。

所述驾驶遥控端，用于接收并解析所述第一上行数据，当检测到当前自动驾驶车辆具有远程接管需求时，基于所述第一上行数据中车辆状态信息进行自动驾驶车辆与驾驶遥控端信息同步，并生成驾驶遥控端实施接管标记，将该标记转换为第一下行数据反馈至当前自动驾驶车辆；还用于接收并解析所述第二上行数据，通过预设的驾驶遥控端接管交互机制将当前自动驾驶车辆的驾驶模式调整为远程遥控模式。

驾驶遥控端还设置有显示装置；

显示装置，用于按照自动驾驶车辆端驾驶员真实视野条件显示实时获取的自动驾驶车辆环境视频。

车辆环境视频包括：

车辆前视角视频、左后视角视频、右后视角视频、车内视角视频。

驾驶遥控端还设置有远程同步模块；

远程同步模块，用于接收到自动驾驶车辆远程接管标记后，基于所述第一车辆状态信息中车辆方向盘转角、当前档位进行驾驶遥控端方向盘、档位同步。

如图6所示，为本发明自动驾驶车辆与驾驶遥控端交互方法一种实施例的交互场景示意图，在本发明所述的用于控制自动驾驶车辆与驾驶遥控端交互的系统(以下简称“人机交互系统”)中，主要由人类驾驶员、驾驶模拟器(即驾驶遥控端)、车辆三大部分组成。其中，人类驾驶员位于驾驶模拟器处，对驾驶模拟器进行操纵(交互)，驾驶模拟器与不同车辆之间通过网络通信实现数据、控制信息的传输，从而实现驾驶模拟器端处的人类驾驶员对车辆的远程遥控控制。

在驾驶模拟器与车辆之间的数据交互包括：从当前车辆传输至驾驶模拟器的上行数据和从驾驶模拟器到车辆的下行数据。上行数据至少包括：驾驶环境视频数据、车辆状态信息数据，上行数据均会解析后显示在交互界面上。其中，驾驶环境视频数据包括车辆的前视视角、左后视视角、右后视视角以及车内视角四路视频信号；车辆状态信息包括车辆当前速度、车辆方向盘转角、车辆经纬度、车辆航向角、车辆驾驶模式(自动驾驶模式、接管前同步模式和遥控驾驶模式)、上行远程控制标志位(车辆端请求接管标记或遥控端同意接管标记)以及表示是否有故障的车辆状态。上行数据是人类驾驶员进行操作时的数据入口。下行数据是人类驾驶员通过操纵驾驶模拟器内各操纵部件的控制信号(即下述驾驶行为控制信息)，包括：方向盘控制目标转角、车辆控制目标速度、制动标志位、车辆控制目标档位、下行远程控制标志位(遥控端实施接管标记、或遥控端请求接管标记)。其中，车辆根据远程控制标志位确定是否进入远程驾驶的参考以辅助车辆端接管交互机制或遥控端接管交互机制的进行；其余数据，作为远程驾驶过程中驾驶模拟器端人类驾驶员对车辆的控制数据。

如图7所示，为本发明自动驾驶车辆与驾驶遥控端交互方法一种实施例的交互系统结构示意图，驾驶遥控端(驾驶模拟器)100包括显示屏、方向盘、油门踏板、刹车踏板、档位等操纵部件。在显示屏上会将驾驶环境视频画面实时显示，同时还将车辆的基本状态信息进行显示。当前显示画面作为人类驾驶员对车辆基本情况了解的信息入口，人类驾驶员根据输入信息会做出相应的操作，一方面实时判断当前车辆是否具有进行来自遥控端的主动接管需求，还能够在实施接管后通过操纵驾驶模拟器上的方向盘、油门踏板、刹车踏板、档位等部件转化为数字信号传输至当前车辆，从而实现自动驾驶车辆与驾驶遥控端的交互过程。

驾驶遥控端100还包括：驾驶员行为监控模块。驾驶员行为监控模块用于实时感知驾驶员在远程遥控过程中的行为影像，并基于此行为影像对驾驶员行为进行识别，确定当前驾驶员行为所属类别。其中，驾驶员行为类别包括：正常驾驶、疲劳驾驶、左顾右盼、分神状态和打哈欠。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的自动驾驶车辆与驾驶遥控端交互系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种自动驾驶车辆与驾驶遥控端交互方法，其特征在于，该交互方法包括：

步骤S10，基于实时获取的自动驾驶车辆环境视频和车辆状态信息，获取第一上行数据；

步骤S20，基于实时获取的自动驾驶车辆远程接管需求信息，生成自动驾驶车辆远程接管标记，并将所述标记合并入所述第一上行数据；

步骤S30，驾驶遥控端解析并判断所述第一上行数据中是否有自动驾驶车辆远程接管标记，若有则跳转步骤S40；若没有则跳转步骤S10；

步骤S40，基于所述自动驾驶车辆远程接管标记，生成驾驶遥控端实施接管标记并转化为第一下行数据；基于所述第一上行数据中车辆状态信息进行自动驾驶车辆与驾驶遥控端信息同步；

步骤S50，自动驾驶车辆解析所述第一下行数据，获取驾驶遥控端实施接管标记，并生成自动驾驶车辆同意接管标记，结合当前获取的实时车辆状态信息和更新后的驾驶环境视频，获取第二上行数据；

步骤S60，驾驶遥控端解析所述第二上行数据，获取自动驾驶车辆同意接管标记，并通过预设的驾驶遥控端接管交互机制将当前自动驾驶车辆的驾驶模式调整为远程遥控模式。

2.根据权利要求1所述的自动驾驶车辆与驾驶遥控端交互方法，其特征在于，步骤S40中“基于所述第一上行数据中车辆状态信息进行自动驾驶车辆与驾驶遥控端信息同步”，其方法为：

步骤S41，驾驶遥控端解析所述自动驾驶车辆远程接管标记同步发送的第一上行数据，获取第一车辆状态信息；

步骤S42，基于所述第一车辆状态信息中车辆方向盘转角、当前档位进行驾驶遥控端方向盘、档位同步。

3.根据权利要求1所述的自动驾驶车辆与驾驶遥控端交互方法，其特征在于，步骤S60中“通过预设的驾驶遥控端接管交互机制将当前自动驾驶车辆的驾驶模式调整为远程遥控模式”之后还设置有驾驶遥控端驾驶员行为类别识别的步骤，其方法为：

步骤B10，驾驶遥控端实时获取驾驶员视频，并提取所述视频中驾驶员行为图片；

步骤B20，基于所述驾驶员行为图片，获取驾驶员行为类别。

4.根据权利要求3所述的自动驾驶车辆与驾驶遥控端交互方法，其特征在于，所述驾驶员行为类别包括：

正常驾驶、疲劳驾驶、左顾右盼、分神状态、打哈欠。

5.根据权利要求3或4所述的自动驾驶车辆与驾驶遥控端交互方法，其特征在于，步骤B20中“基于所述驾驶员行为图片，获取驾驶员行为类别”，其方法为：

步骤B21，基于所述驾驶员行为图片提取驾驶员眼部、头部位置变化信息、骨骼关节位置变化信息；

步骤B22，基于所述驾驶员眼部、头部位置变化信息、骨骼关节位置变化信息，获取对应的信息特征；

步骤B23，基于所述信息特征以及输入的特征-驾驶员行为类别关系表，获取驾驶员行为类别。

6.根据权利要求1所述的自动驾驶车辆与驾驶遥控端交互方法，其特征在于，所述车辆状态信息包括：

车辆当前速度、车辆方向盘转角、车辆经纬度、车辆航向角、车辆驾驶模式。

7.一种自动驾驶车辆与驾驶遥控端交互系统，其特征在于，该系统包括一个或多个自动驾驶车辆、驾驶遥控端；

所述自动驾驶车辆，用于实时获取驾驶环境视频和车辆状态信息将其整合为第一上行数据后发送至驾驶遥控端；还用于实时获取自动驾驶车辆远程接管需求信息，生成自动驾驶车辆远程接管标记合并入所述第一上行数据；还用于接收所述驾驶遥控端反馈的第一下行数据，并生成自动驾驶车辆同意接管标记后转化为第二上行数据后发送至驾驶遥控端；

所述驾驶遥控端，用于接收并解析所述第一上行数据，当检测到当前自动驾驶车辆具有远程接管需求时，基于所述第一上行数据中车辆状态信息进行自动驾驶车辆与驾驶遥控端信息同步，并生成驾驶遥控端实施接管标记，将该标记转换为第一下行数据反馈至当前自动驾驶车辆；还用于接收并解析所述第二上行数据，通过预设的驾驶遥控端接管交互机制将当前自动驾驶车辆的驾驶模式调整为远程遥控模式。

8.根据权利要求7所述的自动驾驶车辆与驾驶遥控端交互系统，其特征在于，所述驾驶遥控端还设置有显示装置；

所述显示装置，用于按照自动驾驶车辆端驾驶员真实视野条件显示实时获取的自动驾驶车辆环境视频。

9.根据权利要求8所述的自动驾驶车辆与驾驶遥控端交互系统，其特征在于，所述车辆环境视频包括：

车辆前视角视频、左后视角视频、右后视角视频、车内视角视频。

10.根据权利要求7所述的自动驾驶车辆与驾驶遥控端交互系统，其特征在于，所述驾驶遥控端还设置有远程同步模块；

所述远程同步模块，用于接收到自动驾驶车辆远程接管标记后，基于所述第一车辆状态信息中车辆方向盘转角、当前档位进行驾驶遥控端方向盘、档位同步。

Images