CN117872873A - 一种自动驾驶车辆安全控制方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种自动驾驶车辆安全控制方法、装置、设备及存储介质，方法包括：根据心跳包收发信息确定心跳包时延参数；根据视频数据传输信息确定视频数据传输状态；根据所述心跳包时延参数和所述视频数据传输状态确定目标安全控制模式，并基于所述目标安全模式进行安全控制。本发明提供的自动驾驶车辆安全控制方法通过心跳包时延参数和视频数据传输状态确定网络状态，基于网络状态确定对应的目标安全模式进行安全控制，使得车辆的控制方式能够随网络质量的变化而变化，避免因网络质量差时，不准确的数据导致的异常控制的技术问题，提高了车辆的安全控制稳定性。

Description

一种自动驾驶车辆安全控制方法、装置、设备及存储介质

技术领域

本发明涉及自动驾驶车辆技术领域，尤其涉及一种自动驾驶车辆安全控制方法、装置、设备及存储介质。

背景技术

近年来随着人工智能、5G网络通信、GPS、雷达定位等技术的发展，自动驾驶技术也随之得到了极大的发展，目前部分城市也为自动驾驶车辆颁发了试运营牌照，无人公交、无人出租等智能交通工具逐渐出现在大众的视野。同时远程控车技术作为在无人驾驶车辆无法正常运行时，及时介入并控制车辆从而防止由于自动驾驶车辆故障而造成的道路拥堵等一些列问题的技术手段，也得到极大的发展与进步。

远程控车技术依赖于低延迟的视频数据、控制指令数据、车况数据的传输，对数据传输的要求较高，由此可见，如何实现车辆的安全控制是一个亟待解决的技术问题。

发明内容

本发明提供了一种自动驾驶车辆安全控制方法、装置、设备及存储介质，以解决自动驾驶车辆安全控制不稳定的技术问题，提高自动驾驶车辆的安全控制稳定性。

根据本发明的一方面，提供了一种自动驾驶车辆安全控制方法，包括：

根据心跳包收发信息确定心跳包时延参数；

根据视频数据传输信息确定视频数据传输状态；

根据心跳包时延参数和视频数据传输状态确定目标安全控制模式，并基于目标安全模式进行安全控制。

根据本发明的另一方面，提供了一种自动驾驶车辆安全控制装置，包括：

心跳包时延参数确定模块，用于根据心跳包收发信息确定心跳包时延参数；

视频数据传输状态确定模块，用于根据视频数据传输信息确定视频数据传输状态；

安全控制模块，用于根据心跳包时延参数和视频数据传输状态确定目标安全控制模式，并基于目标安全模式进行安全控制。

根据本发明的另一方面，提供了一种电子设备，电子设备包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行本发明任一实施例的自动驾驶车辆安全控制方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行时实现本发明任一实施例的自动驾驶车辆安全控制方法。

本发明实施例的技术方案，通过根据心跳包收发信息确定心跳包时延参数；根据视频数据传输信息确定视频数据传输状态；根据心跳包时延参数和视频数据传输状态确定目标安全控制模式，并基于目标安全模式进行安全控制，通过心跳包时延参数和视频数据传输状态确定网络状态，基于网络状态确定对应的目标安全模式进行安全控制，使得车辆的控制方式能够随网络质量的变化而变化，避免因网络质量差时，不准确的数据导致的异常控制的技术问题，提高了车辆的安全控制稳定性。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一提供的一种自动驾驶车辆安全控制方法的流程图；

图2a为本发明实施例二提供的一种自动驾驶车辆安全控制方法的示意图；

图2b是本发明实施例提供的一种基于自定义心跳包的网络链路质量评估处理逻辑示意图；

图2c是本发明实施例提供的一种车端发送/重发视频数据包以及判定网络状态的处理流程图；

图2d是本发明实施例提供的一种舱端接收视频数据包、组装视频帧数据以及统计视频数据包传输质量信息的处理流程图；

图2e是本发明实施例提供的一种车辆控制模式切换示意图；

图3是根据本发明实施例三提供的一种自动驾驶车辆安全控制装置的结构示意图；

图4是本发明实施例四提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本发明实施例一提供了一种自动驾驶车辆安全控制方法的流程图，本实施例可适用于对自动驾驶车辆进行控制时的情况，该方法可以由自动驾驶车辆安全控制装置来执行，该自动驾驶车辆安全控制装置可以采用硬件和/或软件的形式实现，该自动驾驶车辆安全控制装置可配置于电子设备中。如图1所示，该方法包括：

S110、根据心跳包收发信息确定心跳包时延参数。

在本实施例中，通过心跳包传输状态和视频数据传输状态对当前车辆的网络质量进行评估，以确定当前车辆的安全控制模式。

其中，心跳包时延参数用于表征心跳包的收发时延情况。以车辆控制来说，车端向舱端(模拟驾驶舱端)发送心跳包，舱端在接收到车端发送的心跳包后，向车端返回对应的心跳包，以确保车端与舱端的连接。可以理解的是，当网络质量存在问题时，车端向舱端发送的心跳包可能发送失败，也有可能舱端向车端返回的心跳包发生延迟，基于此，可以通过心跳包的延时情况进行网络质量的评估。

示例性的，在车端和舱端初始建立连接时，可以先初始化心跳数据包传输标识和车端网络连接的候选地址，将上述信息通过第三方服务器转发给舱端；舱端初始化心跳数据包传输标识和舱端网络连接候选地址，将上述信息通过第三方服务器转发给车端，以实现车端和舱端的连接和信息互认。在车端和舱端建立连接后，车端可持续向舱端发送心跳包，并接收舱端返回的心跳包，根据发送的心跳包和接收的心跳包确定心跳包时延参数。

可选的，心跳包时延参数可以为同一个心跳包发送出的时间与接收的时间的时间差。其中，同一个心跳包可以理解为车端向舱端发出心跳包后，舱端基于接收到的心跳包返回的心跳包，车端接收到的针对某发出心跳包返回的心跳包，可以理解为同一个心跳包。为更清楚的明确同一心跳包，可以在心跳包中设置序列号，同一序列号的心跳包由车端发送至舱端后，舱端基于接收到的心跳包生成序列号相同的心跳包返回至车端，基于此，序列号相同的发送心跳包和返回心跳包可以理解为同一个心跳包。可选的，心跳包时延参数也可以为最新接收的心跳包的发送时间与当前时间的时间差。

在本发明的一种实施方式中，心跳包包括序列号和数据包标识，根据心跳包收发信息确定心跳包时延参数，包括：

获取设定周期内各连接链路对应的心跳包；

针对每个连接链路，根据连接链路对应的心跳包的数据包标识确定连接链路对应的发送包和返回包；

将序列号最大的返回包作为第一返回包，将第一返回包对应的发送包作为第一发送包，将序列号大于第一发送包，且与第一发送包距离最近的发送包作为第二发送包；

根据第二发送包的发送时间和当前时间差确定连接链路的第一时延参数；

根据第一发送包的发送时间和第一返回包的接收时间确定连接链路的第二时延参数。

可以理解的是，车端与舱端之间可以设置有多条连接链路，以保证信息的及时传输，可以针对每条连接链路，确定该连接链路的心跳包时延参数，以评估每条连接链路的网络状态。

在需要进行网络质量评估时，可以获取设定周期内的心跳包数据，针对每条连接链路进行时延参数的确定。

示例性的，假设发送包为心跳PING数据包，返回包为心跳PONG包。针对每条连接链路，可以根据心跳PONG包的序列号检查确定当前连接链路最后一个心跳PONG包作为第一返回包，将第一返回包响应的心跳PING包作为第一发送包，标记为PING_1；然后确定是否存在序列号大于PING_1的心跳PING包，若存在则确定其中序列号最小的心跳PING包，作为第二发送包，标记为PING_2，同时计算当前时间点与PING_2发送时间点的时差，作为第一时延参数标记为Tdiff；并计算PING_1与对应心跳PONG包的往返时延值，作为第二时延参数，标记为RTT_1。

可选的，可以基于第一时延参数和第二时延参数判定对应的连接链路是否超时，如可以判断第一时延参数和第二时延参数中的任一参数是否超过设定阈值，若存在任一时延参数超过设定阈值，则判定该连接链路超时。若所有的连接链路判断完毕且存在未标记超时的连接链路则切换到未超时的链路，若所有的链路都标记为超时则判定连接链路的连接异常。

S120、根据视频数据传输信息确定视频数据传输状态。

其中，视频数据传输状态用于表征视频数据的传输情况。以车辆控制来说，车端向舱端(模拟驾驶舱端)发送视频数据，舱端在接收到车端发送的视频数据后，将视频数据拼接为视频进行播放，以使舱端能够及时了解车辆当前行驶环境。可以理解的是，当网络质量存在问题时，车端向舱端发送的视频数据可能发送失败/延迟，导致舱端无法及时掌握车辆运行环境，基于此，可以通过视频数据传输状态进行网络质量的评估。

示例性的，在车端和舱端初始建立连接时，可以同时初始化视频数据包传输标识、视频重传数据包传输标识、视频冗余编码数据包传输标，将上述信息通过第三方服务器转发给舱端；舱端同时初始化视频传输状态反馈包传输标识，将上述信息通过第三方服务器转发给车端，以实现车端和舱端的视频传输信息互认。在车端和舱端建立连接后，车端可采集视频帧数据并将视频帧拆分封装为多个视频数据包并编号、排序和缓存，每个视频数据包主要包含数据包序号、视频帧序号、视频帧开始/接续/结束标识等信息，将视频数据包发送至舱端，舱端根据接收到的视频数据包中的数据包序号、视频帧序号、视频帧开始/接续/结束标识等信息进行视频数据包的拼接，并检查是否存在丢包情况，若存在丢包，可以向车端发送丢包信息，以使车端向舱端重新发送丢包的视频数据包。可以理解的是，当网络质量存在问题时，车端向舱端发送的视频数据包可能发送失败、延迟或播放参数压缩，基于此，可以通过视频数据传输状态进行网络质量的评估。

在本发明的一种实施方式中，根据视频数据传输信息确定视频数据传输状态，包括：

根据视频数据传输信息确定视频丢包参数、视频延迟参数和视频播放参数；

相应的，根据心跳包时延参数和视频数据传输状态确定目标安全控制模式，包括：

根据心跳包时延参数、视频丢包参数、视频延迟参数和视频播放参数确定目标安全控制模式。

在本实施例中，舱端可以根据接收到的视频数据包的情况生成视频数据传输信息，车端根据接收到的视频数据传输信息确定视频丢包参数、视频延迟参数和视频播放参数。其中，视频丢包参数表征车端向舱端发送的视频数据包的丢包情况，视频延迟参数表征车端向舱端发送的视频数据包的延迟情况，视频播放参数表征车端向舱端发送的视频数据包的数据压缩情况。

在上述基础上，为了能够提高视频数据的传输能力，还可以在视频数据包中引入冗余编码。具体的，可以在生成视频数据包后，对缓存的视频数据包进行冗余编码处理，如基于数据包序号、保护的视频数据包序号列表等信息生成冗余编码数据，将冗余编码数据和视频数据包加入到发送队列中发送到舱端；舱端接收并缓存视频数据包、冗余编码数据包，在检测到丢包后可以根据冗余编码数据包保护的视频数据包信息，尝试恢复其中丢失的视频数据包，将成功恢复的视频数据包添加到视频数据包缓存队列中，避免丢失视频数据包的重传。

相应的，当视频数据传输状态包括视频丢包参数、视频延迟参数和视频播放参数时，根据心跳包时延参数、视频丢包参数、视频延迟参数和视频播放参数评估网络质量，确定目标安全控制模式。

可选的，可以根据视频数据传输信息中舱端接收成功的视频数据包和车端发送的视频数据包确定视频丢包参数，根据视频数据传输信息中舱端接收视频数据包的时间和车端发送视频数据包的时间确定视频延迟参数，根据视频数据传输信息中舱端播放视频时的播放参数确定视频播放参数。

在上述方案的基础上，根据视频数据传输信息确定视频丢包参数、视频延迟参数和视频播放参数，包括：

接收舱端发送的视频数据传输信息，其中，视频数据传输信息包括设定周期内的接收视频数据包数量、重传失败视频数据包数量、视频帧渲染时间、视频码率和视频帧率；

根据接收视频数据包数量和重传失败视频数据包数量确定视频丢包参数；

根据视频帧发送时间和视频帧渲染时间确定视频延迟参数；

根据视频码率和视频帧率确定视频播放参数。

其中，设定周期可以为基于需求设置的一段时间，舱端可以统计设定周期时间段内的视频数据信息，包括接收哦视频数据包数量、重传失败的视频数据包数量、渲染出完整视频的视频帧渲染时间、渲染出的视频码率和视频帧率，将上述信息整合成视频数据传输信息返回至车端，车端根据接收到的上述信息确定视频丢包参数、视频延迟参数和视频播放参数。示例性的，可以将重传失败视频数据包数量和接收视频数据包数量的比值作为视频丢包率，即视频丢包参数；将视频帧发送时间和视频帧渲染时间之间的差值作为视频延迟参数；将视频码率和视频帧率作为视频播放参数。

S130、根据心跳包时延参数和视频数据传输状态确定目标安全控制模式，并基于目标安全模式进行安全控制。

确定心跳包延时参数和视频数据传输状态后，可以基于心跳包延时参数和视频数据传输状态对网络质量进行评估，从而确定目标安全控制模式，基于目标安全控制模式进行控制。

可选的，安全控制模式可以包括远控正常模式、远控受保护模式、远控告警模式。其中，远控正常模式可以理解为车辆完全基于舱端的控制运行，即车辆会正常执行舱端发送的控车指令；远控受保护模式可以理解为车辆部分执行舱端的控制，如车辆会对舱端发出的控车指令做一定保护处理，比如降低车速、减少车辆加速度、减少方向盘转向等，确保车辆车速、方向转向在一定的受控范围内；远控告警模式可以理解为车辆不受舱端的控制，如车辆会进行紧急靠边停车、回正方向盘、双闪示警等紧急处理。

可以理解的是，网络质量好时，舱端能够准确及时接收到车端的运行环境和状态，此时可以选择远控正常模式作为目标安全模式；网络质量一般时，舱端能够比较准确的了解车端的运行环境和状态，此时可以选择远控受保护模式作为目标安全模式；网络质量差时，舱端无法准确了解车端的运行环境和状态，此时可以选择远控告警模式作为目标安全模式。其中，网络质量好、一般、差可以基于心跳包延时参数和视频数据传输状态综合评估得到。

在本发明的一种实施方式中，根据心跳包时延参数、视频丢包参数、视频延迟参数和视频播放参数确定目标安全控制模式，包括：

当满足如下任一条件时，将远控受保护模式作为目标安全控制模式，对舱端发送的控车指令进行保护处理后执行：

心跳包延时参数在第一最低阈值和第一最高阈值之间，视频延迟参数在第二最低阈值和第二最高阈值之间；

视频播放参数在第三最低阈值和第三最高阈值之间。

当心跳包延时参数在第一最低阈值和第一最高阈值之间时，说明心跳包延时情况处于延时低和延时高之间的中间位置，心跳包延时一般，视频延迟参数在第二最低阈值和第二最高阈值之间时，说明视频延迟也一般，此时，网络质量一般，选择远控受保护模式作为目标安全控制模式，车端在接收到舱端的指令后，可以对指令进行保护处理后执行。

当视频播放参数在第三最低阈值和第三最高阈值之间时，说明视频播放参数一般，即网络质量一般，选择远控受保护模式作为目标安全控制模式，车端在接收到舱端的指令后，可以对指令进行保护处理后执行。

在上述方案的基础上，根据心跳包时延参数和视频数据传输状态确定目标安全控制模式，还包括：

当心跳包延时参数低于第一最低阈值、视频延迟参数低于第二最低阈值且视频播放参数高于第三最高阈值时，将远控正常模式作为目标安全控制模式，执行舱端发送的控车指令。

当车端处于远控受保护模式时，若网络质量变好，可以将远控正常模式作为目标安全控制模式。具体的，当心跳包延时低于第一最低延时，即心跳包延时低，视频延迟参数第一第二最低阈值，即视频延迟低，且视频播放参数高于第三最高阈值，即视频播放参数高时，说明网络质量好，将远控正常模式作为目标安全控制模式，直接执行舱端发送的控车指令。

在本发明的一种实施方式中，根据心跳包时延参数和视频数据传输状态确定目标安全控制模式，包括：

当满足如下任一条件时，将远控告警模式作为目标安全控制模式，控制车辆执行紧急处理操作：

心跳包延时参数高于第一最高阈值，视频延迟参数高于第二最高阈值；

或视频播放参数小于第三最低阈值。

当心跳包延时、视频延迟、视频播放参数中的任一参数表征网络质量差时，将远控告警模式作为目标安全控制模式。具体的，当心跳包延时参数高于第一最高阈值时，说明心跳包延时高，当视频延迟参数高于第二最高阈值时，说明视频延迟高，将远控告警模式作为目标安全控制模式；或当视频播放参数小于第三最低阈值时，说明视频传输是压缩严重，网络质量差，将远控告警模式作为目标安全控制模式。

需要说明的是，为保证车辆的运行安全，远控正常模式与远控受保护模式之间可以在满足对应条件时转换；远控受保护模式与远控告警模式之间，仅能由远控受保护模式转换至远控告警模式，切换到远控告警模式后无法转换回远控受保护模式；远控正常模式与远控告警模式之间，远控正常模式可以转换至远控告警模式，只有当网络状态良好后，车端/舱端重新发起远程控制请求并成功建立控制链路后才会进入到远控正常模式。

本发明实施例的技术方案，通过根据心跳包收发信息确定心跳包时延参数；根据视频数据传输信息确定视频数据传输状态；根据心跳包时延参数和视频数据传输状态确定目标安全控制模式，并基于目标安全模式进行安全控制，通过心跳包时延参数和视频数据传输状态确定网络状态，基于网络状态确定对应的目标安全模式进行安全控制，使得车辆的控制方式能够随网络质量的变化而变化，避免因网络质量差时，不准确的数据导致的异常控制的技术问题，提高了车辆的安全控制稳定性。

实施例二

图2a为本发明实施例二提供的一种自动驾驶车辆安全控制方法的示意图，本实施例在上述实施例的基础上，提供了一种优选实施例。

如图2a所示，自动驾驶车辆安全控制方法的实现主要通过如下模块：

网络心跳包连接链路保活与RTT监控模块，负责收发心跳包并计算RTT时间，同时在心跳包超过一定时间和次数未响应时进行链路切换与重连处理，并在重连处理失败时及时上报网络链路连接异常；

视频数据包发送模块，负责对采集到的视频帧数据进行分包、编号、排序、发送处理，同时针对视频帧分解出的数据做包冗余编码并发送，另外在收到接收端反馈的数据包重发请求报文时，重发对应的视频数据包；

视频数据包接收模块，负责接收、排序、组装视频数据包，同时根据收到的冗余编码数据包尝试恢复丢失的数据包，最终判断视频数据包是否发生丢包，并针对丢失视频数据包的序列号构造重发请求报文，请求发送端重发视频数据包；

视频数据包丢包统计模块，负责统计视频数据包接收模块当前周期内期望收到的视频数据包数量，以及超时未收到的视频数据包数量，并构造反馈报文通知发送端；

视频数据包播放状态统计模块，负责计算统计视频帧在舱端渲染时的码率、帧率、渲染时间点并构造反馈报文通知发送端；

视频数据传输质量监控模块，负责综合视频数据传输过程中各个模块上报的视频码率、帧率、丢包率、渲染延迟、RTT延迟数据统合判定当前网络状态；

车辆控制安全策略模块，负责根据当前判定的网络状态生成并采取对应的车辆远控安全策略。

控制步骤可以为：

在初始建立连接时，传输能力协商，确定心跳/指令/视频数据包传输标识码与数据类型标识、视频重传数据包传输标识码、视频冗余编码数据包传输标识码，确定可用于网络链路切换的候选地址。

在建立连接后，进行心跳包和视频数据的传输：

(1)车端构造心跳PING数据包并发送；

(2)舱端接收心跳PONG数据包并计算RTT时间；

(3)车端判定心跳PONG数据包响应是否超时；

(4)若心跳PONG数据包响应超时则尝试切换网络链路，若切换失败则车端上报网络连接异常；

(5)车端采集视频数据帧，对采集的视频数据帧进行拆分、组包、编号、排序处理，针对当前待发送的视频数据包组进行冗余编码，标明视频帧序号、视频数据包序号、冗余编码数据包序号并发送；

(6)舱端接收视频数据包，对接收的视频数据包进行排序，尝试基于冗余编码数据包恢复丢失的数据包，判断是否丢包并构造视频数据包重发请求；

(7)车端针对收到视频数据包重发请求重发对应的视频数据包；

(8)舱端接收重发的视频数据包，对当前收到的视频数据包进行排序、组帧，移除丢包重传超时而组帧失败的视频帧，渲染组帧完毕的视频帧数据；

(9)舱端统计当前周期内期望收到的视频数据包数量、丢包重传超时的视频数据包数量、当前视频帧渲染时间点，视频数据帧帧率、码率，构造反馈报文通知车端；

(10)车端根据舱端反馈报文统计视频数据包丢包率、舱端视频数据帧渲染延迟时间、帧率、码率；

(11)车端根据统计的视频数据包丢包率，视频数据帧渲染延迟、码率、帧率，网络心跳RTT判定当前网络状态

(12)车端根据判定的网络状态执行对应的车辆远控安全策略。

具体的，连接初始化具体处理逻辑可以为：

(1)车端初始化心跳数据包传输标识、视频数据包传输标识、视频重传数据包传输标识、视频冗余编码数据包传输标识，以及车端网络连接的候选地址，上述信息通过第三方服务器转发给舱端；

(2)舱端初始化心跳数据包传输标识、视频传输状态反馈包传输标识，以及舱端网络连接候选地址，上述信息通过第三方服务器转发给车端。

图2b是本发明实施例提供的一种基于自定义心跳包的网络链路质量评估处理逻辑示意图，如图2b所示，基于自定义心跳包的网络链路质量评估处理逻辑可以为：

(1)初始化网络心跳包连接链路保活与RTT监控模块；

(2)启动心跳包收发线程、心跳包轮询线程，心跳PING包主要包括序列号、数据包类型标识，心跳PONG包主要包括序列号(与PING包一致)、数据包类型标识；

(3)心跳包收发线程按照一定的周期在每个连接链路上构造并发送心跳PING数据包，并将心跳PING数据包以及发送时间点信息缓存到对应连接链路的心跳PING包发送队列中；

(4)心跳包收发线程在对应连接链路收到心跳PONG包响应时，记录接收到响应的时间点并将心跳PONG包缓存到对应连接链路的心跳PONG包接收队列中；

(5)心跳包轮询线程会按照一定周期轮询每条连接链路对应的心跳PING包发送队列与心跳PONG包接收队列；

(6)检查确定当前连接链路最后一个心跳PONG包响应的心跳PING包，标记为PING_1；

(7)确定是否存在序列号大于PING_1的心跳PING包，若存在则确定其中序列号最小的心跳PING包，标记为PING_2，同时计算当前时间点与PING_2发送时间点的时差，标记为Tdiff；

(8)计算PING_1与对应心跳PONG包的RTT值，标记为RTT_1；

(9)判定当前连接链路是否超时，判断标准为RTT_1或Tdiff其中一个值超过阈值，若判定链路超时则标记，进而检查下一条连接链路；

(10)若所有的连接链路检查完毕且存在未标记超时的链路则切换到未超时的链路，若所有的链路都标记为超时则反馈链路连接异常；

图2c是本发明实施例提供的一种车端发送/重发视频数据包以及判定网络状态的处理流程图，图2d是本发明实施例提供的一种舱端接收视频数据包、组装视频帧数据以及统计视频数据包传输质量信息的处理流程图。参照图2c和图2d，视频数据包发送与接收处理逻辑可以为：

(1)初始化车端视频数据包发送模块，初始化舱端视频数据包接收模块；

(2)启动车端视频数据包发送线程、视频数据包重发线程，启动舱端视频数据包接收线程、视频数据包丢包检查线程；

(3)车端采集视频帧数据并将视频帧拆分封装为多个视频数据包并编号、排序、缓存这些视频数据包，每个视频数据包主要包含数据包序号、视频帧序号、视频帧开始/接续/结束标识等信息；

(4)针对缓存的视频数据包进行冗余编码处理，冗余编码数据将主要包含数据包序号、保护的视频数据包序号列表等信息；

(5)最终视频数据包以及冗余编码数据包都会加入到发送队列中发送到舱端；

(6)舱端接收并缓存视频数据包、冗余编码数据包；

(7)舱端根据冗余编码数据包保护的视频数据包信息，尝试恢复其中丢失的视频数据包，成功恢复的视频数据包添加到视频数据包缓存队列中；

(8)舱端根据视频数据包序列号的连续性检查是否存在丢包，若存在丢包则将丢包信息加入到丢包反馈队列中；

(9)舱端视频数据包丢包检查线程会周期性轮询丢包反馈队列以及视频数据包缓存队列，移除其中已经收到视频数据包的丢包反馈信息，移除其中已经过期的丢包反馈信息以及视频数据包，并统计重传失败的数据包信息(及已经过期且未收到视频数据包的视频丢包反馈信息)；

(10)舱端视频数据包丢包检查线程针对未过期的丢包信息构造丢包反馈信息报文并发送给车端，该报文主要包含期望重传的视频数据包序列号列表信息；

(11)车端视频数据包重发线程在收到丢包反馈信息报文后，会检查并重新发送对应的视频数据包，同时会将视频数据包缓存队列中已经过期的视频数据包清除；

网络质量评估处理与控车安全策略切换逻辑可以为：

(1)初始化车端视频数据传输质量监控模块、车辆控制安全策略模块，初始化舱端视频数据包播放状态统计模块；

(2)启动车端视频数据传输质量监控线程、车辆控制安全策略决策线程，启动舱端视频数据包传输状态统计线程、视频数据包组帧线程；

(3)舱端视频数据包组帧线程会周期性轮询视频数据包缓存队列，基于视频帧与视频数据包对应关系，视频数据包重传失败信息进行组帧处理；

(4)若视频数据包完成组帧且视频帧完整性检查通过则渲染该视频帧并记录渲染时间点；

(5)舱端视频数据包传输状态统计线程会统计上报周期内期望收到视频数据包数量、重传失败视频数据包数量、视频帧渲染时间点、视频码率、帧率等信息，并基于上述信息构造视频传输状态信息反馈报文发送给车端；

(6)车端视频数据传输质量监控线程收到视频传输状态信息反馈报文后，根据期望收到视频数据包数量、重传失败视频数据包数量计算出视频丢包率，根据视频帧发送时间点与渲染时间点计算出视频播放的延迟；

(7)车端视频数据传输质量监控线程最终将网络链路RTT，视频数据包丢包率，视频帧播放延迟、帧率、码率等信息反馈到车辆控制安全策略模块；

(8)车辆控制安全策略决策线程会根据网络状态信息决策出当前应该执行的安全策略。

图2e是本发明实施例提供的一种车辆控制模式切换示意图，如图2e所示，车辆控制模式切换可以为：

远控正常模式与远控受保护模式之间，若RTT、视频延迟超过最低下限、小于最大上限或者视频帧率、视频码率低于最大上限、大于最低下限时，会从远控正常模式切换到远控受保护模式；当RTT、视频延迟低于最低下限并且视频帧率、视频码率高于最高上限时，可以从远控受保护模式恢复到远控正常模式；

远控受保护模式与远控告警模式之间，若收到重连失败异常通知或者RTT、视频延迟超过最大上限或者视频帧率、视频码率低于最低下限则会由远控受保护模式切换到远控告警模式，切换到远控告警模式后无法重新恢复到远控受保护模式；

远控正常模式与远控告警模式之间，若收到重连失败异常通知或者RTT、视频延迟超过最大上限或者视频帧率、视频码率低于最低下限则会由远控正常模式切换到远控告警模式；只有当网络状态良好后，车端/舱端重新发起远程控制请求并成功建立控制链路后才会进入到远控正常模式。

本发明实施例通过自定义心跳保活数据包，实现了网络链路心跳保活、连接质量检测、链路选优切换、连接异常上报功能；通过在视频数据传输引入丢包重传、冗余编码与丢包恢复机制，提高了视频数据在传输过程中的抗弱网能力；通过自定义视频数据包传输反馈报文，实现对视频数据包丢包率、视频帧数据帧率、码率、渲染延迟等多个指标的监控统计，多维度评估判定网络质量；通过基于网络质量评估结果，采取不同的车辆控制保护策略，确保车辆在远程控制的模式下能够安全稳定运行。

实施例三

图3为本发明实施例三提供的一种自动驾驶车辆安全控制装置的结构示意图。如图3所示，该装置包括：

心跳包时延参数确定模块310，用于根据心跳包收发信息确定心跳包时延参数；

视频数据传输状态确定模块320，用于根据视频数据传输信息确定视频数据传输状态；

安全控制模块330，用于根据心跳包时延参数和视频数据传输状态确定目标安全控制模式，并基于目标安全模式进行安全控制。

本发明实施例的技术方案，通过心跳包时延参数确定模块310根据心跳包收发信息确定心跳包时延参数；视频数据传输状态确定模块320根据视频数据传输信息确定视频数据传输状态；安全控制模块330根据心跳包时延参数和视频数据传输状态确定目标安全控制模式，并基于目标安全模式进行安全控制，通过心跳包时延参数和视频数据传输状态确定网络状态，基于网络状态确定对应的目标安全模式进行安全控制，使得车辆的控制方式能够随网络质量的变化而变化，避免因网络质量差时，不准确的数据导致的异常控制的技术问题，提高了车辆的安全控制稳定性。

可选的，在上述方案的基础上，心跳包时延参数确定模块310具体用于：

获取设定周期内各连接链路对应的心跳包；

针对每个连接链路，根据连接链路对应的心跳包的数据包标识确定连接链路对应的发送包和返回包；

将序列号最大的返回包作为第一返回包，将第一返回包对应的发送包作为第一发送包，将序列号大于第一发送包，且与第一发送包距离最近的发送包作为第二发送包；

根据第二发送包的发送时间和当前时间差确定连接链路的第一时延参数；

根据第一发送包的发送时间和第一返回包的接收时间确定连接链路的第二时延参数。

可选的，在上述方案的基础上，视频数据传输状态确定模块320具体用于：

根据视频数据传输信息确定视频丢包参数、视频延迟参数和视频播放参数；

相应的，安全控制模块330具体用于：

根据心跳包时延参数、视频丢包参数、视频延迟参数和视频播放参数确定目标安全控制模式。

可选的，在上述方案的基础上，视频数据传输状态确定模块320具体用于：

接收舱端发送的视频数据传输信息，其中，视频数据传输信息包括设定周期内的接收视频数据包数量、重传失败视频数据包数量、视频帧渲染时间、视频码率和视频帧率；

根据接收视频数据包数量和重传失败视频数据包数量确定视频丢包参数；

根据视频帧发送时间和视频帧渲染时间确定视频延迟参数；

根据视频码率和视频帧率确定视频播放参数。

可选的，在上述方案的基础上，安全控制模块330具体用于：

当满足如下任一条件时，将远控受保护模式作为目标安全控制模式，对舱端发送的控车指令进行保护处理后执行：

心跳包延时参数在第一最低阈值和第一最高阈值之间，视频延迟参数在第二最低阈值和第二最高阈值之间；

视频播放参数在第三最低阈值和第三最高阈值之间。

可选的，在上述方案的基础上，安全控制模块330具体用于：

当心跳包延时参数低于第一最低阈值、视频延迟参数低于第二最低阈值且视频播放参数高于第三最高阈值时，将远控正常模式作为目标安全控制模式，执行舱端发送的控车指令。

可选的，在上述方案的基础上，安全控制模块330具体用于：

当满足如下任一条件时，将远控告警模式作为目标安全控制模式，控制车辆执行紧急处理操作：

心跳包延时参数高于第一最高阈值，视频延迟参数高于第二最高阈值；

或视频播放参数小于第三最低阈值。

本发明实施例所提供的自动驾驶车辆安全控制装置可执行本发明任意实施例所提供的自动驾驶车辆安全控制方法，具备执行方法相应的功能模块和有益效果。

实施例四

图4是本发明实施例四提供的一种电子设备的结构示意图。图4示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图4所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如自动驾驶车辆安全控制方法。

在一些实施例中，方法自动驾驶车辆安全控制方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的方法自动驾驶车辆安全控制方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法自动驾驶车辆安全控制方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种自动驾驶车辆安全控制方法，其特征在于，包括：

根据心跳包收发信息确定心跳包时延参数；

根据视频数据传输信息确定视频数据传输状态；

根据所述心跳包时延参数和所述视频数据传输状态确定目标安全控制模式，并基于所述目标安全模式进行安全控制。

2.根据权利要求1所述的方法，其特征在于，所述心跳包包括序列号和数据包标识，所述根据心跳包收发信息确定心跳包时延参数，包括：

获取设定周期内各连接链路对应的心跳包；

针对每个所述连接链路，根据所述连接链路对应的心跳包的数据包标识确定所述连接链路对应的发送包和返回包；

将序列号最大的返回包作为第一返回包，将所述第一返回包对应的发送包作为第一发送包，将序列号大于所述第一发送包，且与所述第一发送包距离最近的发送包作为第二发送包；

根据所述第二发送包的发送时间和当前时间差确定所述连接链路的第一时延参数；

根据所述第一发送包的发送时间和所述第一返回包的接收时间确定所述连接链路的第二时延参数。

3.根据权利要求1所述的方法，其特征在于，所述根据视频数据传输信息确定视频数据传输状态，包括：

根据所述视频数据传输信息确定视频丢包参数、视频延迟参数和视频播放参数；

相应的，所述根据所述心跳包时延参数和所述视频数据传输状态确定目标安全控制模式，包括：

根据所述心跳包时延参数、视频丢包参数、视频延迟参数和视频播放参数确定所述目标安全控制模式。

4.根据权利要求3所述的方法，其特征在于，所述根据所述视频数据传输信息确定视频丢包参数、视频延迟参数和视频播放参数，包括：

接收舱端发送的视频数据传输信息，其中，所述视频数据传输信息包括设定周期内的接收视频数据包数量、重传失败视频数据包数量、视频帧渲染时间、视频码率和视频帧率；

根据所述接收视频数据包数量和所述重传失败视频数据包数量确定所述视频丢包参数；

根据视频帧发送时间和所述视频帧渲染时间确定所述视频延迟参数；

根据所述视频码率和所述视频帧率确定所述视频播放参数。

5.根据权利要求3所述的方法，其特征在于，所述根据所述心跳包时延参数、视频丢包参数、视频延迟参数和视频播放参数确定所述目标安全控制模式，包括：

当满足如下任一条件时，将远控受保护模式作为所述目标安全控制模式，对舱端发送的控车指令进行保护处理后执行：

所述心跳包延时参数在第一最低阈值和第一最高阈值之间，所述视频延迟参数在第二最低阈值和第二最高阈值之间；

所述视频播放参数在第三最低阈值和第三最高阈值之间。

6.根据权利要求5所述的方法，其特征在于，所述根据所述心跳包时延参数和所述视频数据传输状态确定目标安全控制模式，还包括：

当所述心跳包延时参数低于所述第一最低阈值、所述视频延迟参数低于所述第二最低阈值且所述视频播放参数高于所述第三最高阈值时，将远控正常模式作为所述目标安全控制模式，执行舱端发送的控车指令。

7.根据权利要求4所述的方法，其特征在于，所述根据所述心跳包时延参数和所述视频数据传输状态确定目标安全控制模式，包括：

当满足如下任一条件时，将远控告警模式作为所述目标安全控制模式，控制车辆执行紧急处理操作：

所述心跳包延时参数高于第一最高阈值，所述视频延迟参数高于第二最高阈值；

或所述视频播放参数小于第三最低阈值。

8.一种自动驾驶车辆安全控制装置，其特征在于，包括：

心跳包时延参数确定模块，用于根据心跳包收发信息确定心跳包时延参数；

视频数据传输状态确定模块，用于根据视频数据传输信息确定视频数据传输状态；

安全控制模块，用于根据所述心跳包时延参数和所述视频数据传输状态确定目标安全控制模式，并基于所述目标安全模式进行安全控制。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的自动驾驶车辆安全控制方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的自动驾驶车辆安全控制方法。