CN112286166A - 一种基于5g网络的车辆远程驾驶控制系统及方法 - Google Patents

Abstract

本发明公开了一种基于5G网络的车辆远程驾驶控制系统及方法，涉及远程驾驶技术领域，包括车载终端、云端、驾驶端，车载终端固定设置在车辆上；所述车载终端、所述云端和所述驾驶端被配置为能够建立基于实时数据传输连接为基础的包含路感反馈以及音频视频同步展示的远程驾驶控制系统；所述实时数据传输被配置为能够将所述车辆的车辆综合信息根据预定封装顺序按照预定字节封装为MPEG‑TS数据流后传输给所述驾驶端，能够将驾驶员通过所述驾驶端输入的车辆控制信息打包为UDP数据包后传输给所述车载终端。通过本发明的实施，不仅可以实现多路高清音视频信息的实时传输，极大提高驾驶员的临场感，还具有连接可靠，传输信息延迟低、兼容性好的优点。

Description

一种基于5G网络的车辆远程驾驶控制系统及方法

技术领域

本发明涉及远程驾驶技术领域，尤其涉及一种基于5G网络的车辆远程驾驶控制系统及方法。

背景技术

作为智能交通建设的一个重要方向，远程驾驶具有广泛的应用场景，不仅可以运用于恶劣环境和危险区域，也可以作为自动驾驶的补充，或在自动驾驶汽车出现异常时远程进行人工干预。

专利[201921343541.9]公开了一套5G远程驾驶系统，能将远程驾驶装置输出的控制指令转发到车载ECU，同时将车上摄像装置的视频信息发送到远程驾驶舱的沉浸式显示屏，从而实现基于5G通信的远程驾驶。该方案只是实现了远程驾驶，其远程驾驶的体验感和质量较低。

专利[201520846134.5]公开了一种基于ARM和3G网络的远程视频传输系统，利用ARM处理器，和中国联通3G网络作为传输媒介，实现音频信息在web界面的实时播放。该方案已不能满足现代高清甚至超高清音视频的传输。

专利[201720896905.0]公开了一种无人船远程视频传输系统，为无线视频传输系统，包括发射系统和监控系统，发射系统经连接的发射天线发射编码后的图像信息，接收机经连接的接收天线接收编码图像信息。该方案只能实现局部可视范围内的无线传输。

现有技术关于远程驾驶的方案，大多侧重于远程功能的实现，并没有很好地提高驾驶员的临场感，在信号传输方面，缺乏对信号进行监测与反馈，且多为一路视频传输和一路音频传输，无法满足当今远程驾驶的需求，同时随着技术的提升，高清乃至超清视频的出现，对视频传输系统提出了更高的要求。

因此，本领域的技术人员致力于开发一种基于5G网络的车辆远程驾驶控制系统及方法，不仅可以实现多路高清音视频信息的实时传输，给予驾驶员真实的驾驶环境，极大提高驾驶员的临场感，还具有连接可靠，传输信息延迟低、性能消耗少、兼容性好的优点。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是克服现有技术的驾驶员的临场感低，不能实现多路高清音视频的同步、可靠、低延时的传送，兼容性差的不足。

为实现上述目的，本发明提供了一种基于5G网络的车辆远程驾驶控制系统，包括车载终端、云端、驾驶端，所述车载终端固定设置在车辆上，所述车载终端与所述云端通过5G网络连接，所述驾驶端与所述云端通过5G网络连接；

所述车载终端、所述云端和所述驾驶端被配置为能够建立以所述云端为中间节点的所述车载终端和所述驾驶端的实时数据传输连接；

所述实时数据传输连接包括第一数据传输连接、第二数据传输连接；

所述第一数据传输连接被配置为能够将所述车辆的车辆综合信息根据预定封装顺序按照预定字节封装为MPEG-TS数据流后传输给所述驾驶端，以及能够将远程驾驶请求信息传输给所述驾驶端，所述车辆综合信息包括车辆状态信息、音频信息、视频信息、行程信息，所述车辆状态信息包括转向器齿条力信息、仪表信息、整车控制器信息、制动系统信息、转向系统信息；

所述第二数据传输连接被配置为能够将驾驶员通过所述驾驶端输入的车辆控制信息打包为UDP数据包后传输给所述车载终端，以及将远程驾驶确认信息传输给所述车载终端。

进一步地，所述云端包括云端服务器、5G传输单元，所述云端服务器被配置为能够存储和中转所述实时数据传输连接发送的信息，所述5G传输单元被配置为能够发送和接收所述云端服务器与所述车载终端之间的信息以及所述云端服务器与所述驾驶端之间的信息。

本发明的一个较佳实施方式中，所述5G传输单元发送和接收所述云端服务器与所述车载终端之间的信息包括发送所述远程驾驶确认信息和所述车辆控制信息给所述车载终端，接收来自所述车载终端的所述车辆综合信息和所述远程驾驶请求信息。

本发明的一个较佳实施方式中，所述5G传输单元发送和接收所述云端服务器与所述驾驶端之间的信息包括发送所述车辆综合信息和所述远程驾驶请求信息给所述驾驶端，接收来自所述驾驶端的所述远程驾驶确认信息和所述车辆控制信息。

进一步地，所述车载终端被配置为与所述车辆的视频输入端连接、与所述车辆的音频输入端连接、与所述车辆的CAN网络连接、与所述车辆的行程信息交互端连接，所述车载终端被配置为能够从所述视频输入端获得所述视频信息，所述车载终端被配置为能够从所述音频输入端获得所述音频信息，所述车载终端被配置为能够通过所述CAN网络获得所述车辆状态信息以及向所述CAN网络发送所述车辆控制信息，所述车载终端被配置为能够获得通过所述行程信息交互端输入的所述行程信息和所述远程驾驶请求信息，所述车载终端被配置为能够通过所述行程信息交互端显示所述远程驾驶确认信息。

进一步地，所述驾驶端包括线控驾驶舱、响应控制器，

所述响应控制器被配置为能够接收并解析按照所述预定字节封装为所述MPEG-TS数据流的所述车辆综合信息，且将解析后的所述车辆综合信息提供给所述线控驾驶舱；

所述响应控制器被配置为能够接收所述线控驾驶舱发送的所述车辆控制信息，并将所述车辆控制信息打包为UDP数据包后传输给所述云端服务器；

所述响应控制器被配置为能够接收并转发所述远程驾驶请求信息给所述线控驾驶舱，以及接收并转发所述远程驾驶确认信息给所述云端服务器；

所述线控驾驶舱被配置为能够展示所述响应控制器发送来的所述车辆综合信息以及所述远程驾驶请求信息；

所述线控驾驶舱被配置为能够根据所述驾驶员的输入获得所述车辆控制信息，并将所述车辆控制信息发送给所述响应控制器；

所述线控驾驶舱被配置为能够根据所述驾驶员的输入获得所述远程驾驶确认信息，并将所述远程驾驶确认信息发送给所述响应控制器。

本发明的一个较佳实施方式中，所述线控驾驶舱展示所述车辆综合信息包括显示所述视频信息，播放所述音频信息，显示和/或播放所述行程信息，显示所述仪表信息，根据所述转向系统信息调节作用在所述线控驾驶舱内方向盘上的力矩，根据所述整车控制器信息、所述制动系统信息，显示所述车辆的状态。

进一步地，所述线控驾驶舱包括显示器、扬声器、方向盘、路感电机、油门踏板、制动踏板、座椅、档位切换器，所述路感电机与所述方向盘的转动轴连接，所述路感电机被配置为能够依据所述转向器齿条力信息给所述方向盘施加反馈力矩。

进一步地，所述反馈力矩按照如下公式获得：

T_lugan＝C·F_rack·r_p+T_f

式中，T_lugan为所述反馈力矩，C是路感力矩增益，F_rack是来自所述转向器齿条力信息的转向器齿条力，r_p是转向小齿轮半径，T_f为摩擦补偿力矩。

进一步地，所述远程驾驶请求信息包括请求建立远程连接信息、确认断开远程连接信息；所述远程驾驶确认信息包括确定建立远程连接信息、请求断开远程连接信息。

进一步地，所述档位切换器集成设置于所述方向盘上。

一种所述基于5G网络的车辆远程驾驶控制系统采用的远程驾驶请求响应方法，包括如下步骤：

步骤1：所述车载终端向所述云端服务器发送所述请求建立远程连接信息，所述请求建立远程连接信息包括乘坐人的基本信息，以及导航起点和目标到达点的位置信息；

步骤2：所述云端服务器接收所述请求建立远程连接信息，并转发给所述驾驶端；

步骤3：所述驾驶端的所述响应控制器收到所述请求建立远程连接信息后，由所述驾驶员确认请求，再生成所述确定建立远程连接信息后，将所述确定建立远程连接信息发送给所述云端服务器；

步骤4：所述云端服务器接收到所述确定建立远程连接信息后，建立所述驾驶端与所述车载终端的连接，所述车载终端向所述驾驶端发送所述预定字节的定义、所述预定封装顺序、串口数据转CAN的协议信息；

步骤5：所述驾驶端向所述车载终端发送UDP转CAN的协议信息；

步骤6：建立所述车载终端和所述驾驶端的所述实时数据传输连接。

一种所述基于5G网络的车辆远程驾驶控制系统采用的所述第一数据传输连接传输数据的方法，包括如下步骤：

所述车载终端获取包含所述车辆状态信息的CAN数据包，并将所述CAN数据包转化为16字节的编码CAN数据包；

所述车载终端获取所述视频信息，并利用Ffmpeg工具将YUV格式的视频流编码成为H.264格式的编码视频信息；

所述车载终端获取所述音频信息，并利用Gstreamer工具将MP3格式的音频数据流转化为AAC格式的编码音频信息；

所述车载终端将所述编码视频信息、所述编码音频信息和所述编码CAN数据包按照所述预定封装顺序和所述预定字节封装到一个固定长度的传输包中，连续的所述传输包形成恒定比特率的所述MPEG-TS数据流；

所述车载终端通过Ffmpeg工具利用rtmp协议将统一的所述MPEG-TS数据流传输到所述云端服务器指定的IP地址处存储；

所述云端服务器依序转发存储在所述云端服务器的所述MPEG-TS数据流给所述驾驶端；

所述响应控制器接收所述MPEG-TS数据流，并利用视音频分离器按照所述预定封装顺序和所述预定字节分离所述MPEG-TS数据流，得到压缩的所述编码视频信息、压缩的所述编码音频信息和压缩的所述编码CAN数据包；

所述响应控制器通过视频解码器将压缩的所述编码视频信息解析为MP4格式的所述视频信息，并发送给所述线控驾驶舱；

所述响应控制器通过音频解码器将压缩的所述编码音频信息解析为MP3格式的所述音频信息，并发送给所述线控驾驶舱；

所述响应控制器通过数据解码器将压缩的所述编码CAN数据包解析为所述CAN数据包，并发送给所述线控驾驶舱；

所述线控驾驶舱接收并播放MP4格式的所述视频信息；

所述线控驾驶舱接收并播放MP3格式的所述音频信息；

所述线控驾驶舱接收所述CAN数据包并根据所述CAN数据控制作用在所述方向盘上的力矩，以及显示所述车辆状态信息。

一种所述基于5G网络的车辆远程驾驶控制系统采用的所述第二数据传输连接传输数据的方法，包括如下步骤：

所述响应控制器获取包含所述车辆控制信息的车辆控制CAN数据包，并将所述车辆控制CAN数据包打包为13个字节的UDP数据包；

所述响应控制器通过UDP协议将所述UDP数据包上传到所述云端服务器；

所述车载终端以时间T为间隔，周期下载存储在所述云端服务器上的所述UDP数据包；

所述车载终端按照所述车辆的CAN协议，将所述UDP数据包解析成为帧ID数据并将所述帧ID数据发送到所述车辆的CAN网络上，所述帧ID数据包括转向帧、加速帧和制动帧。

进一步地，所述云端服务器的架构为express+node.js架构。

与现有技术相比，通过本发明的实施，至少具有以下有益的技术效果：

(1)本发明采用高带宽，低延迟的5G网络，将多路视频信息、音频信息和车辆状态信息按照预定顺序和预定字节封装为MPEG-TS数据流，然后推流到云端服务器，驾驶端再从云端服务器拉流封装的MPEG-TS数据包，并通过分离器将各路信息按照预定顺序和预定字节进行分离，分别推送到所述线控驾驶舱的各个部件；具有不破坏原视频画面等情况下通过嵌入预定义字段有序地编排交互信息,极大简化了视频、音频和车辆状态信息的同步，大大提高了远程驾驶员的决策正确性，同时降低了信息延迟、减少了性能的消耗。

(2)本发明采用的远程驾驶请求响应方法，不仅具有建立响应效率高，还具有信息交互的安全性和有效性高的优点。

(3)本发明采用的基于全线控驾驶舱上的路感反馈方案以及音频视频同步展示的方案，能够为远程驾驶员提供实时且真实的转向感受，从而提高驾驶员驾驶时，对于车辆以及道路信息的触觉感受，能够有效提高驾驶员的操作正确率，降低驾驶风险，同时因为路感力矩的所用，还具有方向盘自动回正功能，符合传统驾驶员实际驾驶车辆的场景。

(4)本发明公开的基于5G网络的车辆远程驾驶控制系统，在车辆端设置有车载终端，在驾驶端设置有响应控制器，使得车辆端和驾驶端连接实时可靠，能够极大模拟远程车辆的真实驾驶环境，提高驾驶端驾驶员的临场感，有助于操作员在了解车辆状况的基础上更好的操作车辆

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明一个较佳实施例的系统结构图；

图2是本发明一个较佳实施例的远程驾驶请求响应方法流程图；

图3是本发明一个较佳实施例的数据通讯流程图。

其中，1-驾驶端，11-响应控制器，12-线控驾驶舱，2-云端，21-5G传输单元，22-云端服务器，3-车端，31-车载终端，32-CAN网络。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。

在本申请实施例的描述中，应该明晰，术语“中心”、“中”、“上”、“下”、“左”、“右”、“内”、“外”、“顶”、“底”、“侧”、“竖直”、“水平”等指示的方位或位置关系是基于附图所示的方位或位置关系，仅是为了方便描述本申请实施例和简化描述，而非指示或暗示所描述的装置或元件必须具有特定的方向或位置关系，即不能理解为对本申请实施例的限制；此外，术语“第一”、“第二”、“第三”、“第四”等仅用于方便描述或简化描述，而非指示或暗示其重要性。

如图1所示，本实施例提供的一种基于5G网络的车辆远程驾驶控制系统，包括驾驶端1、云端2、车端3，车端3与云端2通过5G网络连接，驾驶端1与云端2通过5G网络连接，车端3、云端2和驾驶端1被配置为能够建立以云端2为中间节点的车端3和驾驶端1的实时数据传输连接。

驾驶端1包括线控驾驶舱12、响应控制器11，云端2包括云端服务器22、5G传输单元21，车端3上设置有车载终端31，车载终端31与云端2通过5G网络连接，可以通过云端2获得车辆控制信息，并将车辆控制信息传递给被控车辆的CAN网络32，以控制车辆，也可以获取车辆的车辆综合信息，车辆综合信息包括车辆状态信息、音频信息、视频信息、行程信息，车辆状态信息包括转向器齿条力信息、仪表信息、整车控制器信息、制动系统信息、转向系统信息；车载终端31与车辆的CAN网络32连通，进而与车端3上的转向系统(EPS)、制动系统(EBS)、整车控制器(VCU)、仪表显示单元(ICU)连通，从而获得车辆的车辆状态信息；也可以向CAN网络32提供车辆控制信息，实现车辆的远程控制；车载终端31还与车辆的视频输入端连接，本实施例中设置有三个摄像头分别采集车辆正前方、左侧和右侧视野范围的视频信息；车载终端31还与车辆的音频输入端连接，用于采集车内驾驶位的声音；车载终端31还与车辆的行程信息交互端连接，本实施例中，设置有带语音的触摸输入屏，用于与驾驶员与乘坐员的交互，采集行程信息等。

云端服务器22基于express+node.js架构建立，被配置为能够存储和中转实时数据传输连接发送的信息，5G传输单元21被配置为能够发送和接收云端服务器22与车载终端31之间的信息以及云端服务器22与响应控制器11之间的信息。

响应控制器11被配置为能够接收并解析从云端2下载的信息并将解析的信息发送给线控驾驶舱12，以及将线控驾驶舱12返回的信息上传到云端2；线控驾驶舱12向驾驶员展示响应控制器11解析后的信息，并将驾驶员的操作转为为数据信息传递给响应控制器11，通过响应控制器11上传到云端2。

如图2所示，本实施例还公开了一种基于5G网络的车辆远程驾驶控制系统采用的远程驾驶请求响应方法，包括如下步骤：

步骤1：车载终端31向云端服务器22发送请求建立远程连接信息，请求建立远程连接信息包括乘坐人的基本信息，以及导航起点和目标到达点的位置信息；

步骤2：云端服务器22接收请求建立远程连接信息，并转发给驾驶端1；

步骤3：驾驶端1的响应控制器11收到请求建立远程连接信息后，由驾驶员确认请求，再生成确定建立远程连接信息后，将确定建立远程连接信息发送给云端服务器22；

步骤4：云端服务器22接收到确定建立远程连接信息后，建立驾驶端1与车载终端31的连接，车载终端31向驾驶端1发送预定字节的定义、预定封装顺序、串口数据转CAN的协议信息；

步骤5：驾驶端1向车载终端31发送UDP转CAN的协议信息；

步骤6：建立车载终端31和驾驶端1的实时数据传输连接。

本实施例公开的远程驾驶请求响应方法，不仅具有建立响应效率高，还具有信息交互的安全性和有效性高的优点，其安全性体现在具有严格的信息确认机制，有效性体现在在传输交互信息之前，预先交互对应信息包的解析规则，达到有效传输信息的目的。

车端3和驾驶端1的实时数据传输连接包括第一数据传输连接、第二数据传输连接；

第一数据传输连接被配置为能够将车辆的车辆综合信息根据预定封装顺序按照预定字节封装为MPEG-TS数据流后传输给驾驶端1，以及能够将远程驾驶请求信息传输给驾驶端1；

如图3所示，本实施例中第一数据传输连接具体采用如下方法，包括如下步骤：

车载终端31获取包含车辆状态信息的CAN数据包，并将CAN数据包转化为16字节的编码CAN数据包；

车载终端31获取来自左侧摄像头、前方摄像头、右侧摄像头的视频信息，视频信息的格式为YUV格式，车载终端31利用Ffmpeg工具将YUV格式的视频流编码成为H.264格式的编码视频信息；

车载终端31获取位于被控车辆驾驶位的拾音器或(其他音频输入器)的音频信息，音频信息为MP3格式，车载终端31利用Gstreamer工具将MP3格式的音频数据流转化为AAC格式的编码音频信息；

车载终端31将编码视频信息、编码音频信息和编码CAN数据包按照预定封装顺序和预定字节封装到一个固定长度的传输包中，连续的传输包形成恒定比特率的MPEG-TS数据流，本实施例中一个优选的预定封装顺序为：车辆左侧摄像头视频信息、车辆正前方摄像头视频信息、车辆右侧摄像头视频信息、音频信息和车辆状态信息；

车载终端31通过Ffmpeg工具利用rtmp协议将统一的MPEG-TS数据流传输到云端服务器22指定的IP地址处存储；

云端服务器22依序转发存储在云端服务器22的MPEG-TS数据流给驾驶端1；

响应控制器11接收MPEG-TS数据流，并利用响应控制器11的视音频分离器按照预定封装顺序和预定字节分离MPEG-TS数据流，得到压缩的编码视频信息、压缩的编码音频信息和压缩的编码CAN数据包；

响应控制器11通过其视频解码器将压缩的编码视频信息解析为MP4格式的视频信息，并发送给线控驾驶舱12；

响应控制器11通过其音频解码器将压缩的编码音频信息解析为MP3格式的音频信息，并发送给线控驾驶舱12；

响应控制器11通过其数据解码器将压缩的编码CAN数据包解析为CAN数据包，并发送给线控驾驶舱12的驾驶端控制器；

线控驾驶舱12接收并播放MP4格式的视频信息，本实施例中依序在三个屏幕中同时播放车辆左侧摄像头视频信息、车辆正前方摄像头视频信息和车辆右侧摄像头视频信息；

线控驾驶舱12接收并播放MP3格式的音频信息；

线控驾驶舱12接收CAN数据包并根据CAN数据控制作用在方向盘上的力矩，进行力矩反馈，以及显示车辆状态信息，如仪表信息、行程信息等。

本发明的另一个较佳实施例中，车载终端31利用Gstreamer工具将YUV格式的视频流编码成为H.264格式的编码视频信息；利用Ffmpeg工具将MP3格式的音频数据流转化为AAC格式的编码音频信息。

第二数据传输连接被配置为能够将驾驶员通过驾驶端1输入的车辆控制信息打包为UDP数据包后传输给车载终端31，以及将远程驾驶确认信息传输给车载终端31。

如图3所示，本实施例中第二数据传输连接具体采用如下方法，包括如下步骤：

响应控制器11获取包含车辆控制信息的车辆控制CAN数据包，并将车辆控制CAN数据包打包为13个字节的UDP数据包；

响应控制器11通过UDP协议将UDP数据包上传到云端服务器22；

车载终端31以时间T为间隔，周期下载存储在云端服务器22上的UDP数据包，本实施例中车载终端31以10ms的间隔去下载存储在云端服务器22上的UDP数据包；

车载终端31按照车辆的CAN协议，将UDP数据包解析成为帧ID数据并将帧ID数据发送到车辆的CAN网络32上，帧ID数据包括转向帧、加速帧和制动帧，从而保证车辆的运动与远程驾驶员的意愿一致。

本实施例公开的技术方案采用高带宽，低延迟的5G网络，将多路视频信息、音频信息和车辆状态信息按照预定顺序和预定字节封装为MPEG-TS数据流，然后推流到云端服务器22，驾驶端1再从云端服务器22拉流封装的MPEG-TS数据包，并通过分离器将各路信息按照预定顺序和预定字节进行分离，分别推送到线控驾驶舱12的各个部件；具有不破坏原视频画面等情况下通过嵌入预定义字段有序地编排交互信息，极大简化了视频、音频和车辆状态信息的同步，保留了各个视频画面的纯净性，增强交互信息的同步性以及降低延迟及设备的负载，大大提高了远程驾驶员的决策正确性，同时降低了信息延迟、减少了性能的消耗。

本实施例公开的技术方案，在车辆端设置有车载终端31，在驾驶端设置有响应控制器11，能够兼容被控各个车辆的底层控制CAN协议等的可能不同，能建立对于控制信号流和音视频信号流的检测与反馈，使得车端3和驾驶端1连接实时可靠，能够极大模拟远程车辆的真实驾驶环境，提高驾驶端驾驶员的临场感，有助于操作员在了解车辆状况的基础上更好的操作车辆；

车载终端31的设置能形成对于驾驶端1的有效连接，能有效监测远程操作员的控制信号并进行解析按照各车的协议分发到CAN线上，对控制数据流以及视频数据流进行监测及修正，应对5G网络环境的变化性时延。

本发明的一个较佳实施例中，线控驾驶舱12包括显示器、扬声器、方向盘、路感电机、油门踏板、制动踏板、座椅、档位切换器、驾驶端控制器，驾驶端控制器设置在座椅下方，显示器设置在座椅正前方，方向盘设置在显示器下方和座椅的前方，油门踏板、制动踏板设置在座椅驾驶员易于操作的地方，座椅可以依据驾驶员的个体差异调节位姿；档位切换器可以集成在方向盘上，也可以单独设置，本实施例中档位切换器优选为集成在方向盘上，路感电机与方向盘的转动轴连接，路感电机被配置为能够依据转向器齿条力信息给方向盘施加反馈力矩。

反馈力矩按照如下公式获得：

T_lugan＝C·F_rack·r_p+T_f

式中，T_lugan为反馈力矩，C是路感力矩增益，F_rack是来自转向器齿条力信息的转向器齿条力，r_p是转向小齿轮半径，T_f为摩擦补偿力矩。

本实施例公开的技术方案，采用的基于全线控驾驶舱12上的路感反馈方案，能够为远程驾驶员提供实时且真实的转向感受，从而提高驾驶员驾驶时，对于车辆以及道路信息的触觉感受，因为路感力矩的所用，还具有方向盘自动回正功能，符合传统驾驶员实际驾驶车辆的场景，同时结合由车端采集的音、视频信息进行同步展示，带给操作员声、视和触觉上的驾驶感受，更贴合实际驾驶场景，有利于驾驶员的行为正确决策。

本实施例还公开了一种基于5G网络的车辆远程驾驶控制系统的控制逻辑，具体如下：

由车载乘客通过车载终端31向云端2发送远程驾驶请求，通过5G网络上传到云端2，云端2经过信息交互单元处理，发送到驾驶端1，驾驶端1的操作员收到响应控制器11的提示，确认用户的远程驾驶请求，实现远程驾驶目标车辆和驾驶端1(远程驾驶控制中心)握手成功，建立通信连接。

车载终端31依据CAN协议采集CAN网络上的仪表信息和通过力矩传感器测量转向器的齿条力信息并完成打包操作，将摄像头采集的视频信息进行编码，拾声器采集的音频信息进行编码，通过5G网络上传到云端服务器22，驾驶端1基于上述通信提取车辆相关信息进行解析，发送给线控驾驶舱12的各个单元，线控驾驶舱12的屏幕收到高清视频信息，扬声器收到音频信息，路感电机收到车辆行驶信息处理后产生力矩输出到方向盘生成路感信息；

远程操作员根据反馈的信息开始操作线控驾驶舱12上的方向盘、油门踏板、制动踏板和档位切换器，响应控制器11收集上述车辆控制信息通过通信连接发送到云端服务器22，车载终端31收到响应指令，接收来自云端服务器22的驾驶操作信息，解析之后发送给挂载在CAN网络上的各个子模块，EPS、EBS、VCU等模块响应控制请求。

本申请中，5G是指第五代移动通信技术；CAN是控制器局域网络(Controller AreaNetwork,CAN)；Node.js是一个基于Chrome V8引擎的JavaScript运行环境；Express是一个简洁而灵活的node.js Web应用框架；UDP是User Datagram Protocol，即用户数据报协议，是OSI(Open System Interconnection，开放式系统互联)参考模型中一种无连接的传输层协议；MPEG-TS是一种传输和存储包含视频、音频与通信协议各种数据的标准格式；YUV，是一种颜色编码方法；Ffmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序；MP3是一种音频压缩技术；H.264是一种数字视频压缩格式；MP4是一套用于音频、视频信息的压缩编码标准；GStreamer是用来构建流媒体应用的开源多媒体框架，能够被用来处理多种格式的多媒体数据；AAC：Advanced Audio Coding，即高级音频编码；RTMP是Real Time Messaging Protocol，即实时消息传输协议；IP是InternetProtocol，即网际互连协议，是TCP/IP体系中的网络层协议。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于5G网络的车辆远程驾驶控制系统，其特征在于，包括车载终端、云端、驾驶端，所述车载终端固定设置在车辆上，所述车载终端与所述云端通过5G网络连接，所述驾驶端与所述云端通过5G网络连接；

所述车载终端、所述云端和所述驾驶端被配置为能够建立以所述云端为中间节点的所述车载终端和所述驾驶端的实时数据传输连接；

所述实时数据传输连接包括第一数据传输连接、第二数据传输连接；

所述第一数据传输连接被配置为能够将所述车辆的车辆综合信息根据预定封装顺序按照预定字节封装为MPEG-TS数据流后传输给所述驾驶端，以及能够将远程驾驶请求信息传输给所述驾驶端，所述车辆综合信息包括车辆状态信息、音频信息、视频信息、行程信息，所述车辆状态信息包括转向器齿条力信息、仪表信息、整车控制器信息、制动系统信息、转向系统信息；

所述第二数据传输连接被配置为能够将驾驶员通过所述驾驶端输入的车辆控制信息打包为UDP数据包后传输给所述车载终端，以及将远程驾驶确认信息传输给所述车载终端。

2.如权利要求1所述的基于5G网络的车辆远程驾驶控制系统，其特征在于，所述云端包括云端服务器、5G传输单元，所述云端服务器被配置为能够存储和中转所述实时数据传输连接发送的信息，所述5G传输单元被配置为能够发送和接收所述云端服务器与所述车载终端之间的信息以及所述云端服务器与所述驾驶端之间的信息。

3.如权利要求2所述的基于5G网络的车辆远程驾驶控制系统，其特征在于，所述车载终端被配置为与所述车辆的视频输入端连接、与所述车辆的音频输入端连接、与所述车辆的CAN网络连接、与所述车辆的行程信息交互端连接，所述车载终端被配置为能够从所述视频输入端获得所述视频信息，所述车载终端被配置为能够从所述音频输入端获得所述音频信息，所述车载终端被配置为能够通过所述CAN网络获得所述车辆状态信息以及向所述CAN网络发送所述车辆控制信息，所述车载终端被配置为能够获得通过所述行程信息交互端输入的所述行程信息和所述远程驾驶请求信息，所述车载终端被配置为能够通过所述行程信息交互端显示所述远程驾驶确认信息。

4.如权利要求3所述的基于5G网络的车辆远程驾驶控制系统，其特征在于，所述驾驶端包括线控驾驶舱、响应控制器，

所述响应控制器被配置为能够接收并解析按照所述预定字节封装为所述MPEG-TS数据流的所述车辆综合信息，且将解析后的所述车辆综合信息提供给所述线控驾驶舱；

所述响应控制器被配置为能够接收所述线控驾驶舱发送的所述车辆控制信息，并将所述车辆控制信息打包为UDP数据包后传输给所述云端服务器；

所述响应控制器被配置为能够接收并转发所述远程驾驶请求信息给所述线控驾驶舱，以及接收并转发所述远程驾驶确认信息给所述云端服务器；

所述线控驾驶舱被配置为能够展示所述响应控制器发送来的所述车辆综合信息以及所述远程驾驶请求信息；

所述线控驾驶舱被配置为能够根据所述驾驶员的输入获得所述车辆控制信息，并将所述车辆控制信息发送给所述响应控制器；

所述线控驾驶舱被配置为能够根据所述驾驶员的输入获得所述远程驾驶确认信息，并将所述远程驾驶确认信息发送给所述响应控制器。

5.如权利要求4所述的基于5G网络的车辆远程驾驶控制系统，其特征在于，所述线控驾驶舱包括显示器、扬声器、方向盘、路感电机、油门踏板、制动踏板、座椅、档位切换器，所述路感电机与所述方向盘的转动轴连接，所述路感电机被配置为能够依据所述转向器齿条力信息给所述方向盘施加反馈力矩。

6.如权利要求5所述的基于5G网络的车辆远程驾驶控制系统，其特征在于，所述反馈力矩按照如下公式获得：

T_lugan＝C·F_rack·r_p+T_f

式中，T_lugan为所述反馈力矩，C是路感力矩增益，F_rack是来自所述转向器齿条力信息的转向器齿条力，r_p是转向小齿轮半径，T_f为摩擦补偿力矩。

7.如权利要求6所述的基于5G网络的车辆远程驾驶控制系统，其特征在于，所述远程驾驶请求信息包括请求建立远程连接信息、确认断开远程连接信息；所述远程驾驶确认信息包括确定建立远程连接信息、请求断开远程连接信息。

8.一种如权利要求7所述的基于5G网络的车辆远程驾驶控制系统采用的远程驾驶请求响应方法，其特征在于，包括如下步骤：

步骤1：所述车载终端向所述云端服务器发送所述请求建立远程连接信息，所述请求建立远程连接信息包括乘坐人的基本信息，以及导航起点和目标到达点的位置信息；

步骤2：所述云端服务器接收所述请求建立远程连接信息，并转发给所述驾驶端；

步骤3：所述驾驶端的所述响应控制器收到所述请求建立远程连接信息后，由所述驾驶员确认请求，再生成所述确定建立远程连接信息后，将所述确定建立远程连接信息发送给所述云端服务器；

步骤4：所述云端服务器接收到所述确定建立远程连接信息后，建立所述驾驶端与所述车载终端的连接，所述车载终端向所述驾驶端发送所述预定字节的定义、所述预定封装顺序、串口数据转CAN的协议信息；

步骤5：所述驾驶端向所述车载终端发送UDP转CAN的协议信息；

步骤6：建立所述车载终端和所述驾驶端的所述实时数据传输连接。

9.一种如权利要求5至7任一所述的基于5G网络的车辆远程驾驶控制系统采用的所述第一数据传输连接传输数据的方法，其特征在于，包括如下步骤：

所述车载终端获取包含所述车辆状态信息的CAN数据包，并将所述CAN数据包转化为16字节的编码CAN数据包；

所述车载终端获取所述视频信息，并利用Ffmpeg工具将YUV格式的视频流编码成为H.264格式的编码视频信息；

所述车载终端获取所述音频信息，并利用Gstreamer工具将MP3格式的音频数据流转化为AAC格式的编码音频信息；

所述车载终端将所述编码视频信息、所述编码音频信息和所述编码CAN数据包按照所述预定封装顺序和所述预定字节封装到一个固定长度的传输包中，连续的所述传输包形成恒定比特率的所述MPEG-TS数据流；

所述车载终端通过Ffmpeg工具利用rtmp协议将统一的所述MPEG-TS数据流传输到所述云端服务器处存储；

所述云端服务器依序转发存储在所述云端服务器的所述MPEG-TS数据流给所述驾驶端；

所述响应控制器接收所述MPEG-TS数据流，并利用视音频分离器按照所述预定封装顺序和所述预定字节分离所述MPEG-TS数据流，得到压缩的所述编码视频信息、压缩的所述编码音频信息和压缩的所述编码CAN数据包；

所述响应控制器通过视频解码器将压缩的所述编码视频信息解析为MP4格式的所述视频信息，并发送给所述线控驾驶舱；

所述响应控制器通过音频解码器将压缩的所述编码音频信息解析为MP3格式的所述音频信息，并发送给所述线控驾驶舱；

所述响应控制器通过数据解码器将压缩的所述编码CAN数据包解析为所述CAN数据包，并发送给所述线控驾驶舱；

所述线控驾驶舱接收并播放MP4格式的所述视频信息；

所述线控驾驶舱接收并播放MP3格式的所述音频信息；

所述线控驾驶舱接收所述CAN数据包并根据所述CAN数据控制作用在所述方向盘上的力矩，以及显示所述车辆状态信息。

10.一种如权利要求5至7任一所述的基于5G网络的车辆远程驾驶控制系统采用的所述第二数据传输连接传输数据的方法，其特征在于，包括如下步骤：

所述响应控制器获取包含所述车辆控制信息的车辆控制CAN数据包，并将所述车辆控制CAN数据包打包为13个字节的UDP数据包；

所述响应控制器通过UDP协议将所述UDP数据包上传到所述云端服务器；

所述车载终端以时间T为间隔，周期下载存储在所述云端服务器上的所述UDP数据包；

所述车载终端按照所述车辆的CAN协议，将所述UDP数据包解析成为帧ID数据并将所述帧ID数据发送到所述车辆的CAN网络上，所述帧ID数据包括转向帧、加速帧和制动帧。

Images