CN111722626B - 远程驾驶系统及其安全保护方法和安全保护模块 - Google Patents

Abstract

本发明公开了一种远程驾驶系统及其安全保护方法和安全保护模块，该安全保护方法包括：S1，获取第一参数和第二参数，第一参数与车辆行驶状况相关联，第二参数与车辆接收远程驾驶指令的网络延时相关联；S2，根据第一参数和第二参数计算车辆当前远程驾驶的危险指数；S3，当危险指数大于第一阈值时对车辆接收的远程驾驶指令进行修正，以通过修正后的远程驾驶指令对车速进行控制。通过上述技术方案，使远程驾驶的安全保护策略对于车辆的控制更为精细和准确，提高了远程驾驶的使用性能。

Description

远程驾驶系统及其安全保护方法和安全保护模块

技术领域

本发明涉及自动驾驶技术领域，具体来说，涉及一种远程驾驶系统及其安全保护方法和安全保护模块。

背景技术

近年来，自动驾驶技术蓬勃发展，国内外研究者致力于自动驾驶车辆的开发、使用与运营。但是，当前自动驾驶车辆还普遍存在可靠性低的问题，例如当自动驾驶失效时，必须由人工进行接管。而一人一车配备人工操作员接管的方式成本巨大、效率低下，因此由一名操作员在远程操作台对车辆进行切换和接管的方式被大量应用。

在现有的远程驾驶系统中，针对网络通讯延时问题的安全保护方法一般采用设定阈值控制法，是指当网络通讯的延时指标达到某设定阈值时，车载控制器自动向车辆发送紧急停车指令，从而保护行驶安全。

但是上述已有安全保护方法中存在以下问题：

首先，已有技术存在安全性低的问题。基于设定阈值判断控制紧急停车只关注网络通讯延时一个指标，阈值设置通常是取不同工况下预期碰撞时间的平均值，一旦超过阈值则立即紧急停车。这种方法未结合车辆行驶状态进行考虑，因此在调头、转弯等车辆横向移动较大的工况下，容易因制动控制粗暴而导致车辆倾覆或因阈值不足而导致车辆碰撞，安全性较低。

其次，已有技术存在效率低下的问题。远程驾驶的实现需要依赖于无线网络通讯，而无线网络通讯本身是一种基于电磁波的通信方式，具有易受干扰、延时有波动的特点。基于阈值判断的安全保护方法抗网络延时波动能力弱，易因网络延时的偶然突变而频繁进入紧急停车，使远程驾驶无法流畅运行，效率十分低下。

发明内容

针对相关技术中的上述问题，本发明提出一种远程驾驶系统及其安全保护方法和安全保护模块。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种远程驾驶的安全保护方法，包括：

S1，获取第一参数和第二参数，第一参数与车辆行驶状况相关联，第二参数与车辆接收远程驾驶指令的网络延时相关联；

S2，根据第一参数和第二参数计算车辆当前远程驾驶的危险指数；

S3，当危险指数大于第一阈值时对车辆接收的远程驾驶指令进行修正，以通过修正后的远程驾驶指令对车速进行控制。

根据本发明的实施例，S2包括：根据第一参数和第二参数的所在数值范围确定对应的指数；根据第一参数和第二参数的相应的指数计算危险指数。

根据本发明的实施例，第一参数包括车速、转向角绝对值，第二参数包括网络延时值和当前延时持续帧数，其中，通过以下公式计算危险指数D：

其中，当车辆处于远程驾驶控制模式下时C＝1，当车辆处于远程驾驶控制模式以外的其他驾驶控制模式下时C＝-1，S表示与车速的所在数值范围对应的指数，表示与转向角绝对值的所在数值范围对应的指数，τ表示与网络延时值的所在数值范围对应的指数，N表示当前延时持续帧数，f表示远程驾驶指令的频率。

根据本发明的实施例，S3包括：根据危险指数确定车辆的危险等级，其中，危险等级越高则抑制车速的程度越高。

根据本发明的实施例，S3包括：当危险指数大于第一阈值小于等于第二阈值时，对车辆接收的远程驾驶指令中的油门踏板百分比进行修正以抑制车辆加速。

根据本发明的实施例，S3还包括：当危险指数大于第二阈值小于等于第三阈值时，分别对车辆接收的远程驾驶指令中的油门踏板百分比和制动踏板百分比进行修正，以控制车辆减速或停车。

根据本发明的实施例，S3还包括：当危险指数大于第三阈值时，分别对车辆接收的远程驾驶指令中的方向盘转角、油门踏板百分比、制动踏板百分比和档位进行修正，以控制车辆停车。

根据本发明的实施例，根据车速V按下式对S进行取值：

根据转向角绝对值θ按下式对进行取值：

根据网络延时值T按下式对τ进行取值：

根据本发明的另一个方面，还提供了一种远程驾驶的安全保护模块，安全保护模块包括存储介质，存储介质存储有程序，程序被执行以实现上述的远程驾驶安全保护方法。

根据本发明的又一个方面，还提供了一种远程驾驶系统，包括远程操作台和设置在车辆中的视频模块、线控执行器和车载处理终端，车载处理终端包括上述的安全保护模块，其中，远程操作台根据视频模块和线控执行器上传的视频和车辆状态参数向车辆发送远程驾驶指令，车载处理终端将对远程驾驶指令进行处理并向线控执行器发送处理后的远程驾驶指令，通过线控执行器驱动车辆执行相应动作。

本发明通过综合考虑远程驾驶过程中的车辆行驶状况和网络通讯状态，与传统的单一阈值控制法相比，能够避免因网络通讯延时波动而频繁进入紧急停车、控制粗暴、驾驶不流畅等问题，使远程驾驶的安全保护策略对于车辆的控制更为精细和准确，提高了远程驾驶的使用性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的远程驾驶系统的架构示意图；

图2是根据本发明实施例的远程驾驶的安全保护方法的流程图；

图3是根据本发明实施例的远程驾驶系统中的安全保护模块的示意图；

图4是根据本发明另一实施例的远程驾驶的安全保护方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

本发明的远程驾驶系统的架构如图1所示。远程驾驶系统包括远程操作台20和设置在车辆10中的视频模块14、线控执行器12和车载处理终端15。例如车载摄像头的视频模块14采集的视频和线控执行器12反馈的车辆状态参数通过车载处理终端15处理后，上传到远程操作台20。可以经由无线网络上传到服务器30中，再由服务器30下发到远程操作台20的远程处理终端22，远程操作台20可利用其远程处理终端22对视频和车辆状态参数进行处理后，在远程驾驶操作台20上通过信息显示设备26显示出来。远程驾驶操作员以视频和车辆状态参数作为感知信息，通过远程驾驶操作台20上的模拟驾驶套件24发出远程驾驶指令，远程驾驶指令经远程处理终端22处理后，经由无线网络上传到服务器30中，再由服务器30下发到车载处理终端15，车载处理终端15将远程驾驶指令处理后送入车辆10上的线控执行器12，最终由线控执行器12驱动车辆10进行执行相应动作，从而实现远程驾驶。在一些实施例中，每条远程驾驶指令可以包含方向盘转角、油门踏板百分比、制动踏板百分比、挡位、控制模式五个子信息。

在图1所示的远程驾驶系统中，车载处理终端15中包括有一个安全保护模块152，该安全保护模块152可以称为针对网络延时的安全保护模块。图2示出了根据本发明实施例的安全保护方法的流程图。图2所示的安全保护方法可以通过图1所示的远程驾驶系统及其安全保护模块152来实施。具体来说，图2所示本发明的远程驾驶安全保护方法包括如下步骤：

S1，安全保护模块获取与车辆行驶状况相关联的第一参数和与车辆接收远程驾驶指令的网络延时相关联的第二参数。

S2，根据第一参数和第二参数计算车辆当前远程驾驶的危险指数；

S3，当危险指数大于第一阈值时对车辆接收的远程驾驶指令进行相应处理，并通过处理后的远程驾驶指令对车速进行控制。

本发明的上述技术方案，综合考虑了远程驾驶过程中的车辆行驶状况和网络通讯状态，与传统的单一阈值控制法相比，能够避免因网络通讯延时波动而频繁进入紧急停车、控制粗暴、驾驶不流畅等问题，使远程驾驶的安全保护策略对于车辆的控制更为精细和准确，提高了远程驾驶的使用性能。

在一些实施例中，如图3所示，在步骤S1处安全保护模块152获取的与车辆行驶状况相关联的第一参数包括车速V、转向角绝对值θ，与网络延时相关联的第二参数包括网络延时值T和当前延时持续帧数N。同时，安全保护模块152还可以获取当前车辆所处于的控制模式M，以确定车辆是否处于远程驾驶控制模式下。其中，车速V区分正负，当车辆前进时为车速V为正，当车辆后退时车速V为负。转向角因为不需要区分左右而取绝对值θ。根据获取到的车速V、转向角绝对值θ、网络延时值T、当前延时持续帧数N和控制模式M，安全模块可以计算出当前远程驾驶的危险指数D，具体计算方法将在下文中详述。

在一个示例中，安全保护模获取上述参数的具体实现方法如下：运行于车载处理终端上的安全保护模块通过车辆整车控制器(Vehicle Control Unit)的CAN报文反馈获取控制模式M，通过车辆发动机管理系统(Engine Management System)的CAN报文反馈获取车速V，通过车辆电子助力转向系统(Electronic Power Steering)的CAN报文反馈获取转向角绝对值θ，通过车载处理终端上运行的因特网包探索器(Packet Internet Groper)程序获取网络延时值T和当前延时持续帧数N。

在步骤S2处，根据第一参数和第二参数计算车辆当前远程驾驶的危险指数。

具体的，可以根据第一参数和第二参数的所在数值范围确定对应的指数，然后根据第一参数和第二参数的相应的指数计算危险指数。以第一参数包括车速V、转向角绝对值θ，第二参数包括网络延时值T和当前延时持续帧数N为例，对确定对应的指数的方法进行说明。具体来说，第一参数中的车速V和转向角绝对值θ为车辆运动状态的描述，其中车速描述了车辆纵向运动的状态，转向角描述了车辆横向运动的状态。车速越高，则车辆的纵向运动位置改变更迅速，网络延迟造成的纵向碰撞风险就更大。转向角越大，则车辆的横向运动位置改变更迅速，网络延迟造成的横向碰撞风险就更大。因此车速越大或转向角越大，对危险指数的贡献率就更大，计算危险指数时就应该取更高的值。例如车速造成车辆碰撞的风险，在量化计算时需要考虑车辆制动油压、建立油压所需时间、路面摩擦系数等因素，此时的危险系数贡献率与车速本身是一个复杂的非线性关系，本发明提供一个安全保护系统，在系统设计上需要力求简单、可靠、执行迅速。因此，为了体现二者的正相关关系，而又减少计算量增强系统实时性，将这种复杂的非线性关系经过一定的简化和实验标定，制作成阶梯式的分级取值式。其中，阶梯式是指在坐标系中，相应的指数在多个不同的范围内取值恒定并且呈阶梯状。基于以上思想，本发明示例性的指数确定方法如下。

与车速V对应的指数为车速指数S，车速指数S和获取的车速V相关，具体按式1进行取值：

与转向角绝对值对应的指数为转向角指数φ，转向角指数φ和获取的转向角绝对值θ相关，具体按式2进行取值：

与网络延时值T对应的指数为网络延时指数τ，网络延时指数τ和获取的网络延时值T相关，具体按式3进行取值：

在以上示例中，各指数的最高一级阶梯的值(例如车速15km/h、转向角绝对值100°、网络延时值3000ms)来自于实际实验中采集到的数据的最大值：例如车速，一般允许进行远程驾驶操作的场地对远程驾驶的速度限制为15km/h以下；对于转向角绝对值，实际在场地内正常驾驶所用到的转向角低于100°，仅有掉头、倒车入库等特殊操作时会大于100°；网络延时值实际测量最大一般不超过3000ms。在确定最高阶梯后，其它的下方阶梯划分主要结合车道线宽度、车辆在对应工况下的制动效率、制动时间、制动距离等进行综合赋值，然后对各取值进行一一组合校验，确保每一种组合对应的工况都能安全。如车速的第一阶梯，即是按照网络延时3000ms情况下，一帧延时后即偏离超过本车道的距离所对应的最高速度确定的上限值(15km/h)。

需要说明的是，各阶梯的划分依据不是必需完全来自于严格的理论计算，而是可以以上述非线性影响理论为基础计算得到一个大致范围，然后再结合实验数据人为赋值，最后通过组合校验对赋值进行修正而得到。

然后，可以通过下式4来具体计算危险指数D：

其中，如上所述，S表示与车速的所在数值范围对应的指数，表示与转向角绝对值的所在数值范围对应的指数，τ表示与网络延时值的所在数值范围对应的指数，N表示当前延时持续帧数，f表示远程驾驶指令的频率。

另外，控制模式指数C和获取的控制模式M相关，具体按式5进行取值。

因此，当前远程驾驶的危险指数是以量化形式表示的当前远程驾驶出现碰撞或偏离车道的危险程度，是安全保护模块介入控制，发出安全保护指令的基本依据。

当前延时持续帧数N表征当前网络延时状况的持续程度，在延时较高时该值越大则说明网络通讯条件越差。因此该值在网络延时较低时忽略不计，仅在网络延时较高时进行累加，一旦网络状况改善，延时恢复到较低水平则清零重计。具体的做法是：在系统启动时赋予初值0，每帧的网络延时指数τ更新后，当前延时持续帧数N随之更新。若网络延时指数τ＝0，则N值不变。若网络延时指数τ＝2，则更新N值时在原值基础上加0.5。若网络延时指数τ>2，则更新N值时在原值基础上加1。同时，当N值连续f/2帧(若f/2不为整数，则取f/2的整数部分)未变化时将N归零。

应理解，以上指数或数值为试验获得的经验数值，仅是示例性的而不是唯一选择，在其他实施例中可以采用任何其他适合的指数组合或数值。

在步骤S3处，根据计算出的危险指数，当危险指数大于设定的第一阈值时对车辆接收的远程驾驶指令进行相应处理，然后车载处理终端向线控执行器发送相应的操作指令，以通过处理后的远程驾驶指令对车速进行控制。

安全保护模块通过收集的控制模式M、车速V、转向角绝对值θ、网络延时值T、当前延时持续帧数N等参数计算出了危险指数，从而对当前远程驾驶的危险程度进行了数值量化，因此可以根据危险指数确定车辆的危险等级。并且，危险等级越高则可以越高程度的抑制车速。

具体的，当危险指数大于第一阈值小于等于第二阈值时，对车辆接收的远程驾驶指令中的油门踏板百分比进行修正以抑制车辆加速。

在一个示例中，当计算出的当前远程驾驶的危险指数D小于等于第一阈值(例如为0)，即D≤0时，说明当前车辆处于非远程驾驶中或处于安全的远程驾驶中，没有危险征兆，完全无需安全保护模块介入，此时安全保护模块不动作，车载处理终端严格将服务器下发的指令送入线控执行器。

当计算出的当前远程驾驶的危险指数0<D≤9(第二阈值)时，说明当前车辆处于有一定危险征兆的远程驾驶中，但危险征兆出现的时间较短，车辆运行工况也较为可控，此时需要安全保护模块轻度介入，以作业效率为主要考虑，不强制停车或减速，但对加速行为进行严格控制，同时向远程驾驶操作台反馈警告提醒操作员提高警惕加强观察。车载处理终端将服务器下发的油门踏板百分比p按式6变换为第一修正油门踏板百分比p*后送入线控执行器，其他四项子信息不变，同时车载处理终端可以将轻度警告信息上传到服务器，经由服务器转发到远程处理终端，最终在信息显示设备上显示出来供操作员观看。

当危险指数大于第二阈值小于等于第三阈值时，分别对车辆接收的远程驾驶指令中的油门踏板百分比和制动踏板百分比进行修正，以控制车辆减速或停车。

在一个示例中，第三阈值为11，当计算出的当前远程驾驶的危险指数9<D≤11时，说明当前车辆处于较危险的远程驾驶中，车辆运行已经具有较大可能发生碰撞或偏离车道，此时需要安全保护模块介入，以安全为主要考虑，强制停车或减速。车载处理终端将服务器下发的方向盘转角、挡位、控制模式保持不变，油门踏板百分比清零，制动踏板百分比改为20％后送入线控执行器，同时车载处理终端将中度警告信息上传到服务器，经由服务器转发到远程处理终端，最终在信息显示设备上显示出来供操作员观看。但为防止网络延时状况突变，减弱一帧或少数几帧突变带来的影响，若车辆停止之前危险指数已经降低，车载处理终端立即变为按低危险指数下的发送方式向线控执行器发送指令。

当危险指数大于第三阈值时，分别对车辆接收的远程驾驶指令中的方向盘转角、油门踏板百分比、制动踏板百分比和档位进行修正，以控制车辆停车。

在一个示例中，第三阈值为11，当计算出的当前远程驾驶的危险指数D>11时，说明当前车辆处于非常危险的远程驾驶中，相关组件可能已出现较为严重的损坏，此时需要安全保护模块介入，控制车辆立即停车，停车后将挡位置于空挡，等待检修。车载处理终端将服务器下发的控制模式保持不变，方向盘转角、油门踏板百分比清零，挡位置于空挡，制动踏板百分比改为100％后送入线控执行器，同时车载处理终端将重度警告信息上传到服务器，经由服务器转发到远程处理终端，最终在信息显示设备上显示出来供操作员观看。此时为保证安全，即便危险指数有所下降使D≤11，也不再按低危险指数下的发送方式向线控执行器发送指令，而是始终保持D>11的发送方式。

应理解，以上经修正后的油门踏板百分比和制动踏板百分比仅是示例性的，可以根据实际应用进行其他适当的配置。

另外，如图4所示，本发明的安全保护方法还可以包括步骤S4。在步骤S4处，根据危险指数发出警告信息，并且根据警告信息是否符合预设条件来确定保持或退出远程驾驶控制模式。

例如，如果当前车载处理终端发出中度警告信息(例如当9<D≤11时)或重度警告信息(例如当D>11时)，则对从车辆发动机管理系统(Engine Management System)的CAN报文反馈获取的车速V进行判断，当V为0时，车载处理终端将方向盘转角、油门踏板百分比、制动踏板百分比清零，挡位置于空挡，控制模式改为非远程驾驶控制模式送入线控执行器，同时将已退出远程驾驶控制模式的信息上传到服务器。如果当前车载处理终端未发出警告信息(例如当D≤0时)或发出轻度警告信息(例如当0<D≤9时)，则继续保持远程驾驶控制模式。

综上所述，本发明提出的安全保护方法，综合考虑了远程驾驶过程中的车辆行驶状况和网络通讯状态，提出了量化的远程驾驶危险指数的计算方法，根据该危险指数进行分级动作，可以达到在保护远程驾驶安全性的同时，兼顾远程驾驶的作业效率的效果。与传统单一阈值控制法相比，能够避免因网络通讯延时波动而频繁进入紧急停车、控制粗暴、驾驶不流畅等问题，使远程驾驶的安全保护策略对于车辆的控制更为精细和准确，提高了远程驾驶的使用性能。

根据本发明的实施例，提供了一种远程驾驶的安全保护模块，安全保护模块包括存储介质，存储介质存储有程序，程序被执行以实现上述的远程驾驶安全保护方法。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种远程驾驶的安全保护方法，其特征在于，包括：

S1，获取第一参数和第二参数，所述第一参数与车辆行驶状况相关联，所述第二参数与车辆接收远程驾驶指令的网络延时相关联；

S2，根据所述第一参数和所述第二参数计算所述车辆当前远程驾驶的危险指数；

S3，当所述危险指数大于第一阈值时对所述车辆接收的远程驾驶指令进行修正，以通过修正后的远程驾驶指令对车速进行控制

其中，所述第一参数包括车速、转向角绝对值，所述第二参数包括网络延时值和当前延时持续帧数，其中，通过以下公式计算所述危险指数D：

D＝C*(S+φ+τ+N*τ/2f)，

其中，当所述车辆处于远程驾驶控制模式下时C＝1，当所述车辆处于所述远程驾驶控制模式以外的其他驾驶控制模式下时C＝-1，

S表示与所述车速的所在数值范围对应的指数，φ表示与所述转向角绝对值的所在数值范围对应的指数，τ表示与所述网络延时值的所在数值范围对应的指数，N表示所述当前延时持续帧数，f表示所述远程驾驶指令的频率。

2.根据权利要求1所述的安全保护方法，其特征在于，S2包括：

根据所述第一参数和所述第二参数的所在数值范围确定对应的指数；

根据所述第一参数和所述第二参数的相应的指数计算所述危险指数。

3.根据权利要求1所述的安全保护方法，其特征在于，S3包括：

根据所述危险指数确定所述车辆的危险等级，其中，所述危险等级越高则抑制所述车速的程度越高。

4.根据权利要求1所述的安全保护方法，其特征在于，S3包括：

当所述危险指数大于所述第一阈值小于等于第二阈值时，对所述车辆接收的所述远程驾驶指令中的油门踏板百分比进行修正以抑制所述车辆加速。

5.根据权利要求4所述的安全保护方法，其特征在于，S3还包括：

当所述危险指数大于所述第二阈值小于等于第三阈值时，分别对所述车辆接收的所述远程驾驶指令中的油门踏板百分比和制动踏板百分比进行修正，以控制所述车辆减速或停车。

6.根据权利要求5所述的安全保护方法，其特征在于，S3还包括：

当所述危险指数大于所述第三阈值时，分别对所述车辆接收的所述远程驾驶指令中的方向盘转角、油门踏板百分比、制动踏板百分比和档位进行修正，以控制所述车辆停车。

7.根据权利要求1所述的安全保护方法，其特征在于，其中，

根据车速V按下式对S进行取值：

根据转向角绝对值θ按下式对进行取值：

根据网络延时值T按下式对τ进行取值：

8.一种远程驾驶的安全保护模块，其特征在于，包括存储介质，所述存储介质存储有程序，所述程序被执行以实现权利要求1-7任一项所述的远程驾驶安全保护方法。

9.一种远程驾驶系统，其特征在于，包括远程操作台和设置在车辆中的视频模块、线控执行器和车载处理终端，所述车载处理终端包括权利要求8所述的安全保护模块，

其中，所述远程操作台根据所述视频模块和所述线控执行器上传的视频和车辆状态参数向所述车辆发送所述远程驾驶指令，所述车载处理终端将对所述远程驾驶指令进行处理并向所述线控执行器发送处理后的远程驾驶指令，通过所述线控执行器驱动所述车辆执行相应动作。