CN113359687B - 一种网络通讯异常工况下的平行驾驶控制方法及系统 - Google Patents

一种网络通讯异常工况下的平行驾驶控制方法及系统 Download PDF

Info

Publication number
CN113359687B
CN113359687B CN202110830377.XA CN202110830377A CN113359687B CN 113359687 B CN113359687 B CN 113359687B CN 202110830377 A CN202110830377 A CN 202110830377A CN 113359687 B CN113359687 B CN 113359687B
Authority
CN
China
Prior art keywords
parallel
network
parallel driving
vehicle
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110830377.XA
Other languages
English (en)
Other versions
CN113359687A (zh
Inventor
张利
张驰
陆鑫
倪雅蓓
陈天铎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongfeng Yuexiang Technology Co Ltd
Original Assignee
Dongfeng Yuexiang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongfeng Yuexiang Technology Co Ltd filed Critical Dongfeng Yuexiang Technology Co Ltd
Priority to CN202110830377.XA priority Critical patent/CN113359687B/zh
Publication of CN113359687A publication Critical patent/CN113359687A/zh
Application granted granted Critical
Publication of CN113359687B publication Critical patent/CN113359687B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0208—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the configuration of the monitoring system
    • G05B23/0213—Modular or universal configuration of the monitoring system, e.g. monitoring system having modules that may be combined to build monitoring program; monitoring system that can be applied to legacy systems; adaptable monitoring system; using different communication protocols

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Small-Scale Networks (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)

Abstract

本发明涉及一种网络通讯异常工况下的平行驾驶控制方法及系统，在网络通讯异常‑网络中断工况下，平行驾驶车辆端在设定的时间阈值内快速识别“网络中断”，自动断开台架与车辆的链接，切换成非平行驾驶工作模式；平行驾驶舱端采取“屏保预警”的方式，显示“网络终端”预警信息，以警示平行驾驶舱内的平行驾驶员，且网络恢复后，能使车辆恢复正常平行驾驶模式的运行；在网络通讯异常‑网络延时工况下，平行驾驶车辆端采用移动窗格法加权计算延时阈值，在超过延时阈值时，平行驾驶端控制器立即作停车处理，平行驾驶舱端采取“叠加预警”的方式，显示“网络延时”预警信息，警示平行驾驶舱内的平行驾驶员，网络恢复后，能使车辆恢复正常平行驾驶模式的运行。

Description

一种网络通讯异常工况下的平行驾驶控制方法及系统
技术领域
本申请涉及一种网络通信异常工况下的平行驾驶控制方法及系统，涉及无人驾驶自动控制技术领域。
背景技术
基于4G或5G移动通信技术的平行驾驶系统（远程驾驶系统）方案，已经在行业陆续推出，且在无人驾驶车辆上得到的一定的搭载应用。如园区无人驾驶清扫车、园区无人驾驶巡逻车、园区无人驾驶快递车，港口无人驾驶集卡等。其主要应用范围，是与无人驾驶车辆上的自动驾驶系统结合起来，能与自动驾驶进行有效的切换。在自动驾驶功能无法实现的部分车辆工况下，人工远程控制车辆，完成预先设定的车辆运营任务；或在自动驾驶系统故障工况下，人工远程控制车辆，将车辆运行至安全条件下。
平行驾驶系统能够实现其远程控车功能，主要是通过4G网络或5G网络，来实现远程驾驶舱端的模拟控车信号到实际车辆控车信号的映射。所以，当网络通讯异常工况下（网络通讯中断、网络通讯延时）,如何有效地、安全地控制车辆，是平行驾驶系统产品化，不可避免的问题，具有重大的意义。
现有技术中常采用多个广角摄像头进行广角畸变处理，并对多路摄像头采集到的多幅图像拼接成一幅图像，传输到去云端与预置的车辆ID等信息，预置的显示底图结合起来，在后台显示。上述方案主要技术内容为多路摄像头图像拼接为一路摄像头图像，并通过该方法将所需传输的图像数据量减少。主要解决在4G网络环境（犹其是4G公网网络环境），带宽有限的条件下，如何高质量、低时延的传输视频数据的问题。如何在网络通讯异常工况下（网络通讯中断、网络通讯延时）,有效地、安全地控制车辆，尚无涉及。
另外利用5G的低时延、高带宽的优势，在图像传输的同时，融合深度学习模型与SLAM技术对图像进行分析处理，主要识别与分析有碰撞风险的障碍物后，对后台远程驾驶员预警进行规避或直接下发停车指令。其主要针于远程驾驶中的障碍物碰撞问题提供技术方案，且技术实现难度较大，即便是5G网络下，也很难保证驾驶员端到远程驾驶车辆端（E2E）数据传输的低时延要求。因此，如何在网络通讯异常工况下（网络通讯中断、网络通讯延时）,有效地、安全地控制车辆，现有技术也未有涉及。
发明内容
针对4G或5G网络通讯异常（中断与延时）时，平行驾驶员能在远程有效地、安全地控制平行驾驶功能模式下运行的车辆，分析现有技术，本发明提出一种网络异常工况下的平行驾驶控制方法及系统。
本发明中的平行驾驶系统，系统主要包括：（1）平行驾驶车辆端；（2）平行驾驶舱端。
其中平行驾驶车辆端，包括：1）平行驾驶终端控制器，2）视频上报服务单元，3）模拟器数据获得单元，4）台架互动服务TCP Client单元，5）无人车辆
其中平行驾驶舱端，包含：1）驾驶模拟器；2）平行驾驶台架控制器（windows系统）；3）平行驾驶视频控制器（Linux系统）；4）视频接收服务单元；5）台架驱动服务单元；6）台架互动服务TCP Server单元；7）显示屏。
无人车辆摄像头传感器采集无人车辆的环境视频图像，所述视频上报服务单元，将摄像头传感器采集到的车辆环境视频图像进行H264格式的图像编码与压缩，然后再对H264格式的码流进行UDP/RTP协议封装，与所述视频接收服务单元以UDP方式进行网络通讯，实现视频数据上传服务。
另外，所述模拟器数据获得单元，与台架驱动服务单元建立TCP通讯方式，通过网络传输的方式来获取驾驶模拟器的控制数据（如方向盘、油门、刹车、档位等)，并对其TCP协议解封，无人车辆CAN协议转换，下发至无人车辆CAN总线上；平行驾驶终端控制器根据上述控制数据控制无人车辆行驶。
所述无人车辆，为L3级以上的自动驾驶车辆。
所述驾驶模拟器，主要提供平行驾驶车辆台架的控制数据（方向盘、油门、刹车、档位等），由平行驾驶台架控制器提供驱动。
另外，驾驶模拟器方向盘上分布有平行驾驶功能启动按键“Start”键。
所述台架驱动服务单元，采集驾驶模拟器的控制数据（方向盘、油门、刹车、档位等)，对其进行TCP协议的封装，并通过网络传输至模拟器数据获得单元，模拟器数据获得单元将数据传送至平行驾驶终端控制器，实现对无人车辆控制。
所述视频接收服务单元，与视频上报服务单元以UDP方式进行通讯，实现视频数据接收服务，并将接收到的视频进行UDP/RTP协议解封，重组为H264格式的码流、再进行H264码流的解码，并通过HDMI接口传输到显示屏显示。
所述显示器，显示视频控制器解码后的视频图像。
在网络通讯异常-网络中断工况下，平行驾驶车辆端在设定的时间阈值内快速识别“网络中断”，自动断开台架与车辆的链接，切换成非平行驾驶工作模式；平行驾驶舱端采取“屏保预警”的方式，显示“网络终端”预警信息，以警示平行驾驶舱内的平行驾驶员，保证平行驾驶车辆行车安全性。且网络恢复后，能使车辆恢复正常平行驾驶模式的运行；在网络通讯异常-网络延时工况下，平行驾驶车辆端采用移动窗格法加权计算延时阈值，在超过延时阈值时，平行驾驶端控制器立即作停车处理，平行驾驶舱端采取“叠加预警”的方式，显示“网络延时”预警信息，警示平行驾驶舱内的平行驾驶员，兼顾平行驾驶车辆行车安全性与乘坐舒适性。且网络恢复后，能使车辆恢复正常平行驾驶模式的运行。
当网络异常工况-网络中断时，具体包括：
步骤1：模拟器数据获得单元在预设时间阈值Ta内未获得TCP数据包，更新油门、转向、刹车值数据，平行驾驶控制器立即作停车处理，油门百分比置0，转向置0，刹车减速度置X；
步骤2：台架互动服务TCP Server单元，预设时间阈值T1内未获得平行驾驶终端控制器回环的TCP数据包，台架互动服务TCP Server单元自动断开台架与车辆的链接，即切换成非平行驾驶工作模式；
步骤3：视频接收服务单元不再解码显示视频上报服务单元传输的视频图像，而显示“网络中断”预警信息屏保状态，以警示平行驾舱内的平行驾驶员；
步骤4：台架互动服务TCP Client单元与台架互动服务TCP Server单元，循环定期发送网络连接信息，进行网络连接恢复；
步骤5：网络连接恢复后，平行驾驶员再次选择平行驾驶关联车辆，并按下驾驶模拟器方向盘上的“Start”键，重新启动并运行车辆平行驾驶功能；
步骤6：视频接收服务单元退出显示“网络中断”预警信息屏保状态，重新显示视频上报服务单元传输的视频图像。
步骤7：平行驾驶终端控制器，通过移动窗格法计算加权时延值Tb；
步骤8：若计算得出的加权时延值Tb大于等于预设值Tc，则平行驾驶终端控制器立即作停车处理：油门百分比置0，转向置0，刹车减速度置X；
步骤9：视频接收服务单元显示视频上报服务单元传输的视频图像，在图像中叠加显示“网络延时”预警信息，以警示平行驾舱内的平行驾驶员。
步骤10：当计算得出的加权时延值Tb小于预设值Tc，则平行驾驶终端控制器恢复原状态，模拟器数据获得单元接收台架驱动服务单元发送的TCP数据，协议解封并发送至车辆CAN总线上，重新运行车辆平行驾驶功能；
步骤11：视频接收服务单元去除叠加显示的预警信息，重新显示视频上报服务单元传输的视频图像。
本发明技术方案带来的有益效果：
1）本发明对平行驾驶系统，在网络通讯异常/网络中断的工况下，设置自动停车机制，并在在平行驾驶舱端采取“屏保预警”的方式保证平行驾驶行车安全，增加了平行驾驶系统在运营中的安全性，减少了在网络出“故障”时的车辆故障；
2）本发明中的平行驾驶车辆自动停车机制，与平行驾驶舱端的“屏保预警”机制，不需要额外的增加预警装置，也减少了预警失效的风险；
3）本发明中的移动窗格加权计算延时阈值的方法，可以兼顾网络异常与网络质量不好的工况，在网络质量不好的工况下，平行驾驶系统不至于频繁制动停车，影响乘客的舒适性。扩展了本发明中的平行驾驶视频处理方案的适用面。
附图说明
图1为本发明所述系统构成说明图；
图2 为本发明所述系统数据流说明图；
图3为本发明所述网络通讯异常-网络中断工况下控制逻辑说明。
具体实施方式
下面结合附图对本发明所述的一种网络异常工况下的平行驾驶控制方法及系统具体实施方式做进一步说明。
本发明所述的系统构成如图1所示。系统主要包括：（1）平行驾驶车辆端；（2）平行驾驶舱端。
其中平行驾驶车辆端，包括：1）平行驾驶终端控制器，2）视频上报服务单元，3）模拟器数据获得单元，4）台架互动服务TCP Client单元，5）无人车辆。
其中平行驾驶舱端，包含：1）驾驶模拟器；2）平行驾驶台架控制器（windows系统）；3）平行驾驶视频控制器（Linux系统）；4）视频接收服务单元；5）台架驱动服务单元；6）台架互动服务TCP Server单元；7）显示屏。
无人车辆摄像头传感器采集无人车辆的环境视频图像，并传输到平行驾驶终端控制器；
所述视频上报服务单元，将摄像头传感器采集到的车辆环境视频图像进行H264格式的图像编码与压缩，然后再对H264格式的码流进行UDP/RTP协议封装，与视频接收服务单元以UDP方式进行网络通讯，实现视频数据上传服务。
另外，所述模拟器数据获得单元，与台架驱动服务单元建立TCP通讯方式，通过网络传输的方式来获取驾驶模拟器的控制数据（方向盘、油门、刹车、档位等)，并对其TCP协议解封，无人车辆CAN协议转换，下发至无人车辆CAN总线上；
所述无人车辆，为L3级以上的自动驾驶车辆。
所述驾驶模拟器，主要提供平行驾驶车辆台架的控制数据（方向盘、油门、刹车、档位等），由平行驾驶台架控制器提供驱动。
另外，驾驶模拟器方向盘上分布有平行驾驶功能启动按键“Start”键。
所述台架驱动服务单元，采集驾驶模拟器的控制数据（方向盘、油门、刹车、档位等)，对其进行TCP协议的封装，并通过网络传输至模拟器数据获得单元，模拟器数据获得单元将数据传送至平行驾驶终端控制器，实现对无人车辆控制。
所述视频接收服务单元，与视频上报服务单元以UDP方式进行通讯，实现视频数据接收服务，并将接收到的视频进行UDP/RTP协议解封，重组为H264格式的码流、再进行H264码流的解码，并通过HDMI接口传输到显示屏显示。
所述显示器，显示视频控制器解码后的视频图像。
如图1、2所示，模拟器数据获得单元在预设时间阈值Ta内（该时间阈值可根据具体情况标定，本实施例取500ms）未获得TCP数据包，更新油门、转向、刹车值数据。则平行驾驶控制器立即作停车处理：油门百分比置0，转向置0，刹车减速度置X（具体刹车减速度可根据实际车型标定）；台架互动服务TCP Server单元，预设时间阈值Ta内未获得平行驾驶终端控制器回环的TCP数据包（心跳），台架互动服务TCP Server单元自动断开台架与车辆的链接，即切换成非平行驾驶工作模式；视频接收服务单元不再解码显示视频上报服务单元传输的视频图像，而显示“网络中断”预警信息屏保状态，以警示平行驾舱内的平行驾驶员。台架互动服务TCP Client单元与台架互动服务TCP Server单元，循环定期（100ms）发送网络连接信息，进行网络连接恢复。网络连接恢复后，平行驾驶员再次选择平行驾驶关联车辆，并按下驾驶模拟器方向盘上的“Start”键，重新启动并运行车辆平行驾驶功能。视频接收服务单元退出显示“网络中断”预警信息屏保状态，重新显示视频上报服务单元传输的视频图像。
车辆平行驾驶模式运行中，当网络异常工况-网络延时时，平行驾驶终端控制器，通过移动窗格法计算加权时延值Tb。若计算得出的加权时延值Tb大于等于预设值Tc（该时间阈值可根据具体情况标定），则平行驾驶终端控制器立即作停车处理：油门百分比置0，转向置0，刹车减速度置X（具体刹车减速度可根据实际车型标定）；视频接收服务单元显示视频上报服务单元传输的视频图像，在图像中叠加显示“网络延时”预警信息，以警示平行驾舱内的平行驾驶员。当计算得出的加权时延值Tb小于预设值Tc（该时间阈值可根据具体情况标定），则平行驾驶终端控制器恢复原状态，模拟器数据获得单元接收台架驱动服务单元发送的TCP数据（油门、转向、刹车值数据），协议解封并发送至车辆CAN总线上，重新运行车辆平行驾驶功能；视频接收服务单元去除叠加显示的预警信息，重新显示视频上报服务单元传输的视频图像。
如图3所示，网络异常工况又可分为两类工况，一类为网络中断工况，另一类的网络延时工况，在实际情况中，上述两类工况交替出现。本发明的实施方案，假设先出现网络中断的工况，后出现网络延时的工况。主要步骤如下：
车辆平行驾驶模式运行中，当网络异常工况-网络中断时，
步骤1：模拟器数据获得单元在预设时间阈值Ta内（该时间阈值可根据具体情况标定，本实施例取500ms） 未获得TCP数据包，更新油门、转向、刹车值数据。则平行驾驶控制器立即作停车处理：油门百分比置0，转向置0，刹车减速度置X（具体刹车减速度可根据实际车型标定-3.45m/s2）；
步骤2：台架互动服务TCP Server单元，预设时间阈值Ta内（该时间阈值由步骤1中的阈值同步标定）未获得平行驾驶终端控制器回环的TCP数据包（心跳），台架互动服务TCPServer单元自动断开台架与车辆的链接，即切换成非平行驾驶工作模式；
步骤3：视频接收服务单元不再解码显示视频上报服务单元传输的视频图像，而显示“网络中断”预警信息屏保状态，以警示平行驾舱内的平行驾驶员。
步骤4：台架互动服务TCP Client单元与台架互动服务TCP Server单元，循环定期（100ms）发送网络连接信息，进行网络连接恢复。
步骤5：网络连接恢复后，平行驾驶员再次选择平行驾驶关联车辆，并按下驾驶模拟器方向盘上的“Start”键，重新启动并运行车辆平行驾驶功能。
步骤6：视频接收服务单元退出显示“网络中断”预警信息屏保状态，重新显示视频上报服务单元传输的视频图像。
车辆平行驾驶模式运行中，当网络异常工况-网络延时时，
步骤7：平行驾驶终端控制器，通过移动窗格法计算加权时延值Tb。
步骤71：模拟器数据获得单元统计收到M帧（帧数阈值可根据具体情况标定）TCP数据包（油门、转向、刹车值）间隔时间。再M帧间隔时间分为N个感兴趣区域（ROI）(本实施例为M=10,N=5)：不感兴趣区域，相对感兴趣区域I，II，III，绝对感兴趣区域；
步骤72：不感兴趣区域：第一帧，第二帧，第三帧加权系数设置为a，乘以前三帧的时间间隔T1；
T1=a×T12+a×T23 (1)
步骤73：相对感兴趣区域I：第三帧，第四帧，第五帧加权系统设置为b，乘以三帧的时间间隔T2；
T2=b×T34+b×T45 (2)
步骤74：相对感兴趣区域II：第五帧，第六帧，第七帧加权系统设置为c，乘以三帧的时间间隔T3；
T3=c×T56+c×T67 (3)
步骤75：相对感兴趣区域III：第七帧，第八帧，第九帧加权系统设置为d，乘以三帧的时间间隔T4；
T4=d×T78+d×T89 (4)
步骤76：绝对感兴趣区域：第九帧、第十帧加权系统设置为e，乘以两帧的时间间隔T5；
T5=e×T9,10； (5)
步骤77：累加上述值，计算得出加权时延值Tb
Tb=T1+T2+T3+T4+T5 (6)
另外，以上窗格中的加权系数a、b、c、d、e，可根据具体车型，由安全性与舒适性两项原则来标定；
步骤8：若计算得出的加权时延值Tb大于等于预设值Tc（该时间阈值可根据具体情况标定），则平行驾驶终端控制器立即作停车处理：油门百分比置0，转向置0，刹车减速度置X（具体刹车减速度可根据实际车型标定,可取-3.45 m/s2）；
步骤9：视频接收服务单元显示视频上报服务单元传输的视频图像，在图像中叠加显示“网络延时”预警信息，以警示平行驾舱内的平行驾驶员。
步骤10：当计算得出的加权时延值Tb小于预设值Tc（该时间阈值可根据具体情况标定），则平行驾驶终端控制器恢复原状态，模拟器数据获得单元接收台架驱动服务单元发送的TCP数据（油门、转向、刹车值数据），协议解封并发送至车辆CAN总线上，重新运行车辆平行驾驶功能；
步骤11：视频接收服务单元去除叠加显示的预警信息，重新显示视频上报服务单元传输的视频图像。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (8)

1.一种网络通讯异常工况下的平行驾驶控制方法，其特征在于，在网络通讯异常-网络中断工况下，平行驾驶车辆端在设定的时间阈值内快速识别“网络中断”，自动断开台架与车辆的链接，切换成非平行驾驶工作模式；平行驾驶舱端采取“屏保预警”的方式，显示预警信息，以警示平行驾驶舱内的平行驾驶员，且网络恢复后，能使车辆恢复正常平行驾驶模式的运行；在网络通讯异常-网络延时工况下，平行驾驶车辆端采用移动窗格法加权计算加权时延值，在超过加权时延值时，平行驾驶端控制器立即作停车处理，平行驾驶舱端采取“叠加预警”的方式，显示预警信息，警示平行驾驶舱内的平行驾驶员，网络恢复后，能使车辆恢复正常平行驾驶模式的运行；
其中，通过移动窗格法计算加权时延值Tb，具体包括：
步骤71：模拟器数据获得单元统计收到M帧TCP数据包间隔时间，再M帧间隔时间分为N个感兴趣区域：不感兴趣区域，相对感兴趣区域I，II，III，绝对感兴趣区域；
步骤72：不感兴趣区域：第一帧，第二帧，第三帧加权系数设置为a，乘以前三帧的时间间隔，得到T1；
T1=a×T12+a×T23(1)
步骤73：相对感兴趣区域I：第三帧，第四帧，第五帧加权系统设置为b，乘以三帧的时间间隔，得到T2；
T2=b×T34+b×T45(2)
步骤74：相对感兴趣区域II：第五帧，第六帧，第七帧加权系统设置为c，乘以三帧的时间间隔，得到T3；
T3=c×T56+c×T67(3)
步骤75：相对感兴趣区域III：第七帧，第八帧，第九帧加权系统设置为d，乘以三帧的时间间隔，得到T4；
T4=d×T78+d×T89(4)
步骤76：绝对感兴趣区域：第九帧、第十帧加权系统设置为e，乘以两帧的时间间隔，得到T5；
T5=e×T9,10(5)
步骤77：累加上述值，计算得出加权时延值Tb
Tb=T1+T2+T3+T4+T5(6)
另外，以上窗格中的加权系数a、b、c、d、e，可根据具体车型，由安全性与舒适性两项原则来标定。
2.根据权利要求1所述的方法，其中，所述平行驾驶车辆端，包括：1）平行驾驶终端控制器，2）视频上报服务单元，3）模拟器数据获得单元，4）台架互动服务TCP Client单元，5）无人车辆；
其中所述平行驾驶舱端，包含：1）驾驶模拟器；2）平行驾驶台架控制器；3）平行驾驶视频控制器；4）视频接收服务单元；5）台架驱动服务单元；6）台架互动服务TCP Server单元；7）显示屏；车辆平行驾驶模式运行中，当网络异常工况-网络中断时，具体包括：
步骤1：模拟器数据获得单元在预设时间阈值Ta内未获得TCP数据包，更新油门、转向、刹车值数据，平行驾驶控制器立即作停车处理，油门百分比置0，转向置0，刹车减速度置X；
步骤2：台架互动服务TCP Server单元，预设时间阈值Ta内未获得平行驾驶终端控制器回环的TCP数据包，台架互动服务TCP Server单元自动断开台架与车辆的链接，即切换成非平行驾驶工作模式；
步骤3：视频接收服务单元不再解码显示视频上报服务单元传输的视频图像，而显示“网络中断”预警信息屏保状态，以警示平行驾舱内的平行驾驶员；
步骤4：台架互动服务TCP Client单元与台架互动服务TCP Server单元，循环定期发送网络连接信息，进行网络连接恢复；
步骤5：网络连接恢复后，平行驾驶员再次选择平行驾驶关联车辆，并按下驾驶模拟器方向盘上的“Start”键，重新启动并运行车辆平行驾驶功能；
步骤6：视频接收服务单元退出显示“网络中断”预警信息屏保状态，重新显示视频上报服务单元传输的视频图像。
3.根据权利要求1所述的方法，其中，所述平行驾驶车辆端，包括：1）平行驾驶终端控制器，2）视频上报服务单元，3）模拟器数据获得单元，4）台架互动服务TCP Client单元，5）无人车辆；
其中所述平行驾驶舱端，包括：1）驾驶模拟器；2）平行驾驶台架控制器；3）平行驾驶视频控制器；4）视频接收服务单元；5）台架驱动服务单元；6）台架互动服务TCP Server单元；7）显示屏；车辆平行驾驶模式运行中，当网络异常工况-网络延时时，具体包括：
步骤7：平行驾驶终端控制器，通过移动窗格法计算加权时延值Tb；
步骤8：若计算得出的加权时延值Tb大于等于预设值Tc，则平行驾驶终端控制器立即作停车处理：油门百分比置0，转向置0，刹车减速度置X；
步骤9：视频接收服务单元显示视频上报服务单元传输的视频图像，在图像中叠加显示“网络延时”预警信息，以警示平行驾舱内的平行驾驶员。
4.根据权利要求3所述的方法，车辆平行驾驶模式运行中，当网络异常工况-网络延时时，具体还包括：
步骤10：当计算得出的加权时延值Tb小于预设值Tc，则平行驾驶终端控制器恢复原状态，模拟器数据获得单元接收台架驱动服务单元发送的TCP数据，协议解封并发送至车辆CAN总线上，重新运行车辆平行驾驶功能；
步骤11：视频接收服务单元去除叠加显示的预警信息，重新显示视频上报服务单元传输的视频图像。
5.一种网络通讯异常工况下的平行驾驶控制系统，其特征在于，系统主要包括：（1）平行驾驶车辆端；（2）平行驾驶舱端；
其中所述平行驾驶车辆端，包括：1）平行驾驶终端控制器，2）视频上报服务单元，3）模拟器数据获得单元，4）台架互动服务TCP Client单元，5）无人车辆；
其中所述平行驾驶舱端，包含：1）驾驶模拟器；2）平行驾驶台架控制器；3）平行驾驶视频控制器；4）视频接收服务单元；5）台架驱动服务单元；6）台架互动服务TCP Server单元；7）显示屏；
所述视频上报服务单元，将摄像头传感器采集到的车辆环境视频图像进行H264格式的图像编码与压缩，然后再对H264格式的码流进行UDP/RTP协议封装，与视频接收服务单元以UDP方式进行网络通讯，实现视频数据上传服务；所述模拟器数据获得单元，与台架驱动服务单元建立TCP通讯方式，通过网络传输的方式来获取驾驶模拟器的控制数据，并对其TCP协议解封，无人车辆CAN协议转换，下发至无人
车辆CAN总线上；
在网络通讯异常-网络中断工况下，平行驾驶车辆端在设定的时间阈值内快速识别“网络中断”，自动断开台架与车辆的链接，切换成非平行驾驶工作模式；平行驾驶舱端采取“屏保预警”的方式，显示预警信息，以警示平行驾驶舱内的平行驾驶员，且网络恢复后，能使车辆恢复正常平行驾驶模式的运行；在网络通讯异常-网络延时工况下，平行驾驶车辆端采用移动窗格法加权计算加权时延值，在超过加权时延值时，平行驾驶端控制器立即作停车处理，平行驾驶舱端采取“叠加预警”的方式，显示预警信息，警示平行驾驶舱内的平行驾驶员，网络恢复后，能使车辆恢复正常平行驾驶模式的运行，
其中，通过移动窗格法计算加权时延值Tb，具体包括：
模拟器数据获得单元统计收到M帧TCP数据包间隔时间；
再M帧间隔时间分为N个感兴趣区域：不感兴趣区域，相对
感兴趣区域I，II，III，绝对感兴趣区域；
不感兴趣区域：第一帧，第二帧，第三帧加权系数设置为a，乘以前三帧的时间间隔，得到T1；
T1=a×T12+a×T23(1)
相对感兴趣区域I：第三帧，第四帧，第五帧加权系统设置为b，乘以三帧的时间间隔，得到T2；
T2=b×T34+b×T45(2)
相对感兴趣区域II：第五帧，第六帧，第七帧加权系统设置为c，乘以三帧的时间间隔，得到T3；
T3=c×T56+c×T67(3)
相对感兴趣区域III：第七帧，第八帧，第九帧加权系统设置为d，乘以三帧的时间间隔，得到T4；
T4=d×T78+d×T89(4)
绝对感兴趣区域：第九帧、第十帧加权系统设置为e，乘以两帧的时间间隔，得到T5；
T5=e×T9,10(5)
累加上述值，计算得出加权时延值Tb
Tb=T1+T2+T3+T4+T5(6)
另外，以上窗格中的加权系数a、b、c、d、e，可根据具体车型，由安全性与舒适性两项原则来标定。
6.根据权利要求5所述的系统，车辆平行驾驶模式运行中，当网络异常工况-网络中断时，具体包括：
模拟器数据获得单元在预设时间阈值Ta内未获得TCP数据包，更新油门、转向、刹车值数据，平行驾驶控制器立即作停车处理，油门百分比置0，转向置0，刹车减速度置X；
台架互动服务TCP Server单元，预设时间阈值T1内未获得平行驾驶终端控制器回环的TCP数据包，台架互动服务TCP Server单元自动断开台架与车辆的链接，即切换成非平行驾驶工作模式；
视频接收服务单元不再解码显示视频上报服务单元传输的视频图像，而显示“网络中断”预警信息屏保状态，以警示平行驾舱内的平行驾驶员；
台架互动服务TCP Client单元与台架互动服务TCP Server单元，循环定期发送网络连接信息，进行网络连接恢复；
网络连接恢复后，平行驾驶员再次选择平行驾驶关联车辆，并按下驾驶模拟器方向盘上的“Start”键，重新启动并运行车辆平行驾驶功能；
视频接收服务单元退出显示“网络中断”预警信息屏保状态，重新显示视频上报服务单元传输的视频图像。
7.根据权利要求5所述的系统，车辆平行驾驶模式运行中，当网络异常工况-网络延时时，具体包括：
平行驾驶终端控制器，通过移动窗格法计算加权时延值Tb；
若计算得出的加权时延值Tb大于等于预设值Tc，则平行驾驶终端控制器立即作停车处理：油门百分比置0，转向置0，刹车减速度置X；
视频接收服务单元显示视频上报服务单元传输的视频图像，在图像中叠加显示“网络延时”预警信息，以警示平行驾舱内的平行驾驶员。
8.根据权利要求7所述的系统，车辆平行驾驶模式运行中，当网络异常工况-网络延时时，具体还包括：
当计算得出的加权时延值Tb小于预设值Tc，则平行驾驶终端控制器恢复原状态，模拟器数据获得单元接收台架驱动服务单元发送的TCP数据，协议解封并发送至车辆CAN总线上，重新运行车辆平行驾驶功能；
视频接收服务单元去除叠加显示的预警信息，重新显示视频上报服务单元传输的视频图像。
CN202110830377.XA 2021-07-22 2021-07-22 一种网络通讯异常工况下的平行驾驶控制方法及系统 Active CN113359687B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110830377.XA CN113359687B (zh) 2021-07-22 2021-07-22 一种网络通讯异常工况下的平行驾驶控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110830377.XA CN113359687B (zh) 2021-07-22 2021-07-22 一种网络通讯异常工况下的平行驾驶控制方法及系统

Publications (2)

Publication Number Publication Date
CN113359687A CN113359687A (zh) 2021-09-07
CN113359687B true CN113359687B (zh) 2023-08-08

Family

ID=77540119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110830377.XA Active CN113359687B (zh) 2021-07-22 2021-07-22 一种网络通讯异常工况下的平行驾驶控制方法及系统

Country Status (1)

Country Link
CN (1) CN113359687B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113879335A (zh) * 2021-09-30 2022-01-04 北京百度网讯科技有限公司 平行驾驶的车辆控制方法、装置、设备以及存储介质
CN114025401A (zh) * 2021-11-23 2022-02-08 广州小鹏自动驾驶科技有限公司 远程驾驶处理方法、装置及车辆
CN114221832B (zh) * 2021-12-02 2023-02-24 清华大学 一种车辆台架动态负载模拟装置及控制方法
CN115016324A (zh) * 2022-06-24 2022-09-06 中国第一汽车股份有限公司 仿真测试方法、仿真测试装置与计算机可读存储介质
CN115489522B (zh) * 2022-11-18 2023-04-07 东风悦享科技有限公司 一种应用于平行辅助驾驶系统的避障目标识别方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003225472A (ja) * 2002-02-06 2003-08-12 Fujitsu Ltd 車両運転装置
KR20120037251A (ko) * 2010-10-11 2012-04-19 서울특별시도시철도공사 열차 운행 예측 및 밀집운행 방지 시스템 및 방법
EP3428028A1 (en) * 2017-07-11 2019-01-16 LG Electronics Inc. Vehicle control device mounted on vehicle and method for controlling the vehicle
CN110032176A (zh) * 2019-05-16 2019-07-19 广州文远知行科技有限公司 无人驾驶汽车的远程接管方法、装置、设备和存储介质
CN111630886A (zh) * 2018-07-27 2020-09-04 华为技术有限公司 异频测量时延确定方法、装置及存储介质
CN111856966A (zh) * 2020-07-14 2020-10-30 东风汽车集团有限公司 一种用于5g平行驾驶系统的hil仿真测试系统及方法
CN112622931A (zh) * 2020-12-22 2021-04-09 北京百度网讯科技有限公司 平行驾驶中的异常处理方法、自动驾驶车辆及云端驾驶舱
CN113112844A (zh) * 2021-03-18 2021-07-13 浙江金乙昌科技股份有限公司 基于5g通信和高精度定位车辆远程控制系统及其控制装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7505673B2 (en) * 2003-09-30 2009-03-17 At&T Intellectual Property I, L.P. Video recorder for detection of occurrences

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003225472A (ja) * 2002-02-06 2003-08-12 Fujitsu Ltd 車両運転装置
KR20120037251A (ko) * 2010-10-11 2012-04-19 서울특별시도시철도공사 열차 운행 예측 및 밀집운행 방지 시스템 및 방법
EP3428028A1 (en) * 2017-07-11 2019-01-16 LG Electronics Inc. Vehicle control device mounted on vehicle and method for controlling the vehicle
CN111630886A (zh) * 2018-07-27 2020-09-04 华为技术有限公司 异频测量时延确定方法、装置及存储介质
CN110032176A (zh) * 2019-05-16 2019-07-19 广州文远知行科技有限公司 无人驾驶汽车的远程接管方法、装置、设备和存储介质
CN111856966A (zh) * 2020-07-14 2020-10-30 东风汽车集团有限公司 一种用于5g平行驾驶系统的hil仿真测试系统及方法
CN112622931A (zh) * 2020-12-22 2021-04-09 北京百度网讯科技有限公司 平行驾驶中的异常处理方法、自动驾驶车辆及云端驾驶舱
CN113112844A (zh) * 2021-03-18 2021-07-13 浙江金乙昌科技股份有限公司 基于5g通信和高精度定位车辆远程控制系统及其控制装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张哲为.基于感兴趣区域率失真优化的视频压缩编码通信系统设计.《中国博士学位论文全文数据库（电子期刊）信息科技辑》.2020,第I136-57页. *

Also Published As

Publication number Publication date
CN113359687A (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
CN113359687B (zh) 一种网络通讯异常工况下的平行驾驶控制方法及系统
CN111634234B (zh) 远程驾驶车端信息展示方法及远程驾驶方法
JP6073075B2 (ja) 車載カメラシステム及びこれに用いる映像受信装置
CN102236968B (zh) 运输车辆远程智能监控系统
CN113805509A (zh) 一种基于v2x的远程驾驶系统及方法
CN112286166A (zh) 一种基于5g网络的车辆远程驾驶控制系统及方法
CN112068527A (zh) 一种远程驾驶系统及方法
CN103686068A (zh) 车辆图像处理装置和方法以及车辆图像处理系统
CN112073683A (zh) 一种基于5g远程驾驶装置
CN113022653B (zh) 一种基于低时延传输技术的远程列车驾驶系统及方法
CN111674345B (zh) 一种适用于高度自动驾驶的网络电气结构
US11876980B2 (en) Optimizing video encoding and/or transmission for remote driving applications
CN115695871A (zh) 汽车智能座舱的摄像头接入方法、系统及存储介质
CN102857742A (zh) 无线汽车路况实时监视系统及其数据传输方法
CN113852795B (zh) 视频画面调整方法、装置、电子设备及存储介质
CN115489522B (zh) 一种应用于平行辅助驾驶系统的避障目标识别方法及系统
CN101615343B (zh) 道路闭路电视监控方法及系统
CN106559646A (zh) 一种服务于驾考车辆的全景光学监测系统及其用于驾考信息的采集和处理方法
CN116495018A (zh) 一种机车远程驾驶控制系统及控制方法
CN201673601U (zh) 运输车辆远程智能监控系统
CN112947250A (zh) 环卫车辆线控上装的远程控制系统和方法
CN111918064A (zh) 一种危险环境下的无线通信与远程控制系统
CN112991818A (zh) 一种汽车避免因盲区发生碰撞的方法及系统
WO2021151466A1 (en) Dynamic stream adaptation
CN111459147A (zh) 车辆控制系统及方法、车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant