CN114143749A - 一种远程驾驶汽车的方法及系统 - Google Patents

一种远程驾驶汽车的方法及系统 Download PDF

Info

Publication number
CN114143749A
CN114143749A CN202010920675.3A CN202010920675A CN114143749A CN 114143749 A CN114143749 A CN 114143749A CN 202010920675 A CN202010920675 A CN 202010920675A CN 114143749 A CN114143749 A CN 114143749A
Authority
CN
China
Prior art keywords
vehicle
data stream
driving simulator
signal
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010920675.3A
Other languages
English (en)
Other versions
CN114143749B (zh
Inventor
卜祥津
苗成生
管家意
修彩靖
张志德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Automobile Group Co Ltd
Original Assignee
Guangzhou Automobile Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Automobile Group Co Ltd filed Critical Guangzhou Automobile Group Co Ltd
Priority to CN202010920675.3A priority Critical patent/CN114143749B/zh
Publication of CN114143749A publication Critical patent/CN114143749A/zh
Application granted granted Critical
Publication of CN114143749B publication Critical patent/CN114143749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L12/40006—Architecture of a communication node
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L2012/40208—Bus networks characterized by the use of a particular bus standard
    • H04L2012/40215—Controller Area Network CAN
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L2012/40267—Bus for use in transportation systems
    • H04L2012/40273—Bus for use in transportation systems the transportation system being a vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种远程驾驶汽车的方法及系统，包括，步骤S1，车载端通过5G网络与驾驶模拟器端建立数据连接；步骤S2，所述车载端利用摄像头传感器采集车辆所处环境的视频数据，所述车载端通过所述5G网络向所述驾驶模拟器端推流所述第一数据流，并对所述第一数据流进行解码获得视频影像，将所述视频影像显示在显示器上；步骤S3，所述车载端将传感器采集的车辆位姿数据通过所述5G网络输出至所述驾驶模拟器端，所述驾驶模拟器端将所述车辆位姿数据通过六自由度平台转化为车辆的运动状态；步骤S4，通过所述5G网络向所述车载端输出所述操作指令至CAN总线，控制车辆的行驶状态。本发明保证驾驶及视频传输的实时性，将车辆位姿信息实时地在驾驶模拟器端展示。

Description

一种远程驾驶汽车的方法及系统
技术领域
本发明涉及无人驾驶技术领域，特别是涉及一种远程驾驶汽车的方法及系统。
背景技术
得益于5G网络的高带宽、低时延的特性，才使得远控驾驶技术才具备实现的可能性，若是能够达到uRLLC(Ultra-relaible and Low Latency Communication，极可靠低时延通信)标准所要求的端到端时延稳定保证在10毫秒以内，那就完全满足远程驾驶技术的需求。虽然早在2017年，西班牙电信公司和爱立信已将5G远程驾驶技术进行了概念演示，但是并未在整车线控平台进行开发，传输的安全性很难保证；在2019年也有相关的专利描述了远程驾驶技术，但是都并未将车辆的运动力学反馈到驾驶模拟器端，不利于驾驶员对车辆姿态进行的判断。
现有技术中如：公开号为CN 106215427B的专利(可远程操控的第一视角模型赛车驾驶系统)；公开一种可远程操控的第一视角模型赛车驾驶系统，包括模型赛车和控制系统，其特征在于：还包括车载系统和感知系统；其中所述控制系统用于将操作信号发送给车载系统进而控制模型赛车的动作；所述车载系统包括图像采集传输部分，用于采集模型赛车前方的环境图像，发送给感知系统；感知系统将包括大屏幕显示模块和/或头戴式图像同步显示模块，其用于显示赛车前方的环境图像。
公开号为CN 108241352A的专利(一种无人驾驶机动车的远程控制方法)；公开了一种无人驾驶机动车的远程控制方法，包括以下步骤：通过多路传感器对无人驾驶机动车进行实时监控，并将传感器收集到的信息进行存储后，实时传送至远程控制中心；远程控制中心对接受的信息进行分析，通过无线方式向无人驾驶机动车发送操作指令；车辆控制单元接受操作指令并执行操作。
公开号为CN 108549384A的专利(一种5G环境下远程控制自动驾驶方法)；公开了一种5G环境下远程控制自动驾驶方法，所述方法根据5G网络节点间延迟情况，设立多个远程驾驶云中心，收集来自车辆及路侧传感装置的数据，并通过远程控制实现车辆自动驾驶；利用自动驾驶区域化、道路局部化、个性化的特点，结合5G网络切片能力，将车辆采集数据通过高带宽传输到云端，利用云中心海量的计算能力实现决策，并将结果通过高可靠低延时网络传回车辆端，实现了车辆的实时控制。
但相关专利存在如下缺点：未提及无线传输使用的网络标准，如若不对网络的带宽和时延提出要求，在现实中无法保证视频及控制流的实时性，以及网络的覆盖范围，更不可能实现车辆的远程驾驶；在驾驶模拟器端(远程控制端)未利用车辆的位姿数据，没有展示车辆的实时的位姿以及各自由度的加速度，不利于直观的评估车辆所处状态，驾驶员无法根据车身姿态对远程的汽车进行调整。
发明内容
本发明实施例所解决的技术问题是现有技术中无法保证视频及控制流的实时性，以及无法展示车辆实时的位姿和加速度的问题。
本发明的一方面，提供一种远程驾驶汽车的方法，包括以下步骤：
步骤S1，车载端通过5G网络与驾驶模拟器端建立数据连接；
步骤S2，所述车载端利用摄像头传感器采集车辆所处环境的视频数据，并将所述视频数据编码压缩成第一数据流，所述车载端通过所述5G网络向所述驾驶模拟器端推流所述第一数据流，所述驾驶模拟器端收流所述第一数据流，并对所述第一数据流进行解码获得视频影像，将所述视频影像显示在显示器上；
步骤S3，所述车载端将传感器采集的车辆位姿数据通过所述5G网络输出至所述驾驶模拟器端，所述驾驶模拟器端将所述车辆位姿数据通过六自由度平台转化为车辆的运动状态；
步骤S4，根据所述视频影像和所述车辆的运动状态，所述驾驶模拟器端产生操作指令并编码压缩成第二数据流，通过所述5G网络向所述车载端输出所述第二数据流，所述车载端解码所述第二数据流并将所述操作指令发送至CAN总线，控制车辆的行驶状态。
进一步，在步骤S1中，所述5G网络包括：与所述车载端连接的5G通讯终端；与所述5G通讯终端连接的5G通讯基站；与所述5G通讯基站处于同一核心网的服务器；所述服务器通过数据专线连接所述驾驶模拟器端。
进一步，所述步骤S2具体包括：所述车载端分别通过设置在车辆正前方和车辆正后方的长焦摄像头传感器、设置在车辆的左方和车辆的右方的广角摄像头传感器设置在车辆的驾驶位置的常规摄像头传感器，采集车辆所处环境的所述视频数据。
进一步，所述步骤S2具体包括：所述车载端将所述视频数据进行编码压缩成所述第一数据流，并推流依次经过所述5G通讯终端、所述5G通讯基站、所述服务器，将所述第一数据流输入所述驾驶模拟器端，所述驾驶模拟器端将所述第一数据流解码后展示到所述显示器。
进一步，在步骤S3具体包括：通过固定在车内的GPS惯导组合传感器采集车辆行驶过程中的车速值、翻滚角度值、偏航角度值、俯仰角速度值，通过车内的CAN线获取第一方向盘信号、第一踏板信号及第一档位信号；所述车载端将所述车速值、所述翻滚角度值、所述偏航角度值、所述俯仰角速度值、所述第一方向盘信号、所述第一踏板信号及所述第一档位信号编码压缩成所述车辆位姿数据，输出至所述驾驶模拟器端。
进一步，所述步骤S3具体包括：所述驾驶模拟器端收流所述车辆位姿数据，对所述车辆位姿数据进行解码，获得所述车速值、所述翻滚角度值、所述偏航角度值、所述俯仰角速度值、所述第二方向盘信号、所述第二踏板信号及所述第二档位信号；所述驾驶模拟器端将所述车速值、所述翻滚角度值、所述偏航角度值、所述俯仰角速度值输出至所述六自由度平台模拟车辆的运动状态；将所述第二方向盘信号、所述第二踏板信号及所述第二档位信号的格式转化为数字信号展示在所述显示器上。
进一步，所述步骤S4具体包括：所述驾驶模拟器通过模拟方向盘、踏板及档位生成所述操作指令并对所述操作指令编码压缩成第二数据流，所述驾驶模拟器端通过所述5G网络将所述第二数据流输出至所述车载端，所述车载端对所述第二数据流进行解码获取方向盘操控信号、踏板操控信号及档位操控信号，车辆的CAN总线根据所述方向盘操控信号、所述踏板操控信号及所述档位操控信号对车辆进行调整。
进一步，还包括：所述驾驶模拟器端根据所述六自由度平台输出的车辆运动状态判断车辆是否平稳，若车辆处于不平稳状态，则根据所述显示器展示的车辆所处环境，所述驾驶模拟器端模拟车辆的方向盘、踏板及档位生成所述第一方向盘信号、所述第一踏板信号及所述第一档位信号调整车辆平稳行驶。
本发明的另一方面，还提供一种远程驾驶汽车的系统，用以实现所述远程驾驶汽车的方法包括：
设置于车辆上的车载端；设置于所述车辆远端的驾驶模拟器端；分别数据连接所述车载端和所述驾驶模拟器端的5G网络；
所述车载端，用于利用传感器采集车辆所处环境的视频数据和车辆位姿数据，并将所述视频数据编码压缩成第一数据流，通过所述5G网络向所述驾驶模拟器端推流所述第一数据流和所述车辆位姿数据；以及解码所述第二数据流并将所述操作指令发送至CAN总线，控制车辆的行驶状态；
所述5G网络，用于所述车载端与所述驾驶模拟器端的数据交互；
所述驾驶模拟器端，用于收流所述第一数据流，并对所述第一数据流进行解码获得视频影像，将所述视频影像显示在显示器上；以及根据所述视频影像和所述车辆的运动状态，所述驾驶模拟器端产生操作指令并编码压缩成所述第二数据流，通过所述5G网络向所述车载端输出所述第二数据流。
进一步，所述5G网络包括：与所述车载端连接的5G通讯终端；与所述5G通讯终端连接的5G通讯基站；与所述5G通讯基站处于同一核心网的服务器；所述服务器通过数据专线连接所述驾驶模拟器端。
进一步，所述车载端在车辆正前方和车辆正后方设置长焦摄像头传感器，在车辆的左方和车辆的右方设置广角摄像头传感器，在车辆的驾驶位置设置常规摄像头传感器，利用所述长焦摄像头传感器、所述广角摄像头传感器及所述常规摄像头传感器采集车辆所处环境的所述视频数据；将所述视频数据进行编码压缩成所述第一数据流，并推流依次经过所述5G通讯终端、所述5G通讯基站、所述服务器，将所述第一数据流输入所述驾驶模拟器端，所述驾驶模拟器端将所述第一数据流解码后展示到所述显示器。
进一步，所述车载端通过固定在车内的GPS惯导组合传感器采集车辆行驶过程中的车速值、翻滚角度值、偏航角度值、俯仰角速度值，通过车内的CAN线获取第一方向盘信号、第一踏板信号及第一档位信号；将所述车速值、所述翻滚角度值、所述偏航角度值、所述俯仰角速度值、所述第一方向盘信号、所述第一踏板信号及所述第一档位信号编码压缩成所述车辆位姿数据，输出至所述驾驶模拟器端。
进一步，所述驾驶模拟器端收流所述车辆位姿数据，对所述车辆位姿数据进行解码，获得所述车速值、所述翻滚角度值、所述偏航角度值、所述俯仰角速度值、所述第二方向盘信号、所述第二踏板信号及所述第二档位信号；所述驾驶模拟器端将所述车速值、所述翻滚角度值、所述偏航角度值、所述俯仰角速度值输出至所述六自由度平台；将所述第二方向盘信号、所述第二踏板信号及所述第二档位信号的格式转化为数字信号输出至所述六自由度平台，所述六自由度平台模拟车辆的运动状态并展示在所述显示器上根据所述六自由度平台输出的车辆运动状态判断车辆是否平稳，若车辆处于不平稳状态，则根据所述显示器展示的车辆所处环境，通过模拟方向盘、踏板及档位生成所述操作指令并对所述操作指令编码压缩成第二数据流，所述驾驶模拟器端通过所述5G网络将所述第二数据流输出至所述车载端。
进一步，所述车载端对所述第二数据流进行解码获取方向盘操控信号、踏板操控信号及档位操控信号，车辆的CAN总线根据所述方向盘操控信号、所述踏板操控信号及所述档位操控信号对车辆进行调整。
综上，实施本发明的实施例，具有如下的有益效果：
本发明提供的远程驾驶汽车的方法及系统，提出基于5G网络进行数据流的传输，保证了驾驶及视频传输的实时性；通过引入六自由度平台，将车辆位姿信息实时地在驾驶模拟器端展示出来，便于驾驶员实时感知车辆的位姿运动，更好的操纵汽车。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。
图1为本发明提供的远程驾驶汽车的方法的主流程示意图。
图2为本发明提供的远程驾驶汽车的系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
如图1所示，为本发明提供的一种远程驾驶汽车的方法的一个实施例的示意图。在该实施例中，所述方法包括以下步骤：
步骤S1，车载端通过5G网络与驾驶模拟器端建立数据连接；
具体实施例中，为了便于控制流与视频流数据的透传，需要使所述车载端和所述驾驶模拟器端处在同一子网，基于此需求，所述车载端通过5G通讯终端建立线控车辆与5G基站的通讯，而所述驾驶模拟器端通过专线连接到与5G基站相同核心网的服务器，终端的设备通过端口映射技术映射到公网IP上，在满足处于同一子网需求的基础上，最大限度地保证了传输的延时。
步骤S2，所述车载端利用摄像头传感器采集车辆所处环境的视频数据，并将所述视频数据编码压缩成第一数据流，所述车载端通过所述5G网络向所述驾驶模拟器端推流所述第一数据流，所述驾驶模拟器端收流所述第一数据流，并对所述第一数据流进行解码获得视频影像，将所述视频影像显示在显示器上；
具体实施例中，所述车载端分别通过设置在车辆正前方和车辆正后方的长焦摄像头传感器、设置在车辆的左方和车辆的右方的广角摄像头传感器设置在车辆的驾驶位置的常规摄像头传感器，采集车辆所处环境的所述视频数据，利用所述长焦摄像头传感器、所述广角摄像头传感器及所述常规摄像头传感器采集车辆所处环境的所述视频数据；所述车载端安装的5路摄像头传感器中，所述车辆正前方摄像头传感器的分辨率为1080p，其余的摄像头传感器的分辨率为720p，分别提供正前方，左方，右方，正后方及驾驶位置的视频信息，以此来对车辆周围环境进行感知；
所述车载端将所述视频数据进行编码压缩成所述第一数据流，并推流依次经过所述5G通讯终端、所述5G通讯基站、所述服务器，将所述第一数据流输入所述驾驶模拟器端，所述驾驶模拟器端将所述第一数据流解码后展示到所述显示器；视频多媒体流通过5G通讯终端进入核心网后和所述驾驶模拟器端进行数据交互；所述车载端将各个摄像头采集的视频数据进行编码压缩并推流到所述驾驶模拟器端，所述驾驶模拟器端收流并对接收到的视频数据流进行解码，实时地展现到显示器上；
所述驾驶模拟器端有三台显示器，分别用于：中间显示器主屏展示前视影像，左、右显示屏分别对应左、右侧摄像头的视角，另外，中间显示屏左下角为后视角影像，倒车时可切换到主屏，右下角为车端驾驶位影像，以便监控车内情况。
步骤S3，所述车载端将传感器采集的车辆位姿数据通过所述5G网络输出至所述驾驶模拟器端，所述驾驶模拟器端将所述车辆位姿数据通过六自由度平台转化为车辆的运动状态；
具体实施例中，通过固定在车内的GPS惯导组合传感器采集车辆行驶过程中的车速值、翻滚角度值、偏航角度值、俯仰角速度值，通过车内的CAN线获取第一方向盘信号、第一踏板信号(包括加速信号和制动信号)及第一档位信号；所述车载端将所述车速值、所述翻滚角度值、所述偏航角度值、所述俯仰角速度值、所述第一方向盘信号、所述第一踏板信号及所述第一档位信号编码压缩成所述车辆位姿数据，输出至所述驾驶模拟器端；对所述车辆位姿数据进行解码，获得所述车速值、所述翻滚角度值、所述偏航角度值、所述俯仰角速度值、所述第二方向盘信号、所述第二踏板信号及所述第二档位信号；所述驾驶模拟器端将所述车速值、所述翻滚角度值、所述偏航角度值、所述俯仰角速度值输出至所述六自由度平台，所述六自由度平台动感模拟车辆的运动状态；将所述第二方向盘信号、所述第二踏板信号及所述第二档位信号的格式转化为数字信号展示在所述显示器上。
所述车载端与所述驾驶模拟器端，通过MFC编程实现了界面可视化交互，包括视频显示、方向盘角度、加速踏板开度、制动踏板开度等可视化显示，网络的握手，流媒体的推流、收流等等；在数据交互的过程中，数据的格式需要根据协议的要求进行转换，比如：踏板的数据float格式，但是在TCP/IP协议中，需要将其转换为string格式，故在数据发送时需要将其乘以一系数，将其转化为string格式，读取的时候需要按位读取所需要的数据，并再除以相同的系数，系数的大小需要在实际测试中，不断调整得出；其中，所述驾驶模拟器端显示各路摄像头的图像，获取方向盘、踏板及档位信号并转换为数字信号，根据车辆的姿态角将车辆的运动转换为所述六自由度平台的仿真运动。
步骤S4，根据所述视频影像和所述车辆的运动状态，所述驾驶模拟器端产生操作指令并编码压缩成第二数据流，通过所述5G网络向所述车载端输出所述第二数据流，所述车载端解码所述第二数据流并将所述操作指令发送至CAN总线，控制车辆的行驶状态；
具体实施例中，驾驶员操控所述驾驶模拟器通过模拟方向盘、踏板及档位生成所述操作指令并对所述操作指令编码压缩成第二数据流，所述驾驶模拟器端通过所述5G网络将所述第二数据流输出至所述车载端，所述车载端对所述第二数据流进行解码获取方向盘操控信号、踏板操控信号及档位操控信号，车辆的CAN总线根据所述方向盘操控信号、所述踏板操控信号及所述档位操控信号对车辆进行调整；所述车载端的负责接收到方向盘、踏板、档位的数据，转换为执行件的力矩或信号，发到底盘所述CAN总线上。
本发明具体实施例中，还包括：所述驾驶模拟器端根据所述六自由度平台输出的车辆运动状态判断车辆是否平稳，若车辆处于不平稳状态，则根据所述显示器展示的车辆所处环境，驾驶员可控制所述驾驶模拟器端模拟车辆的方向盘、踏板及档位生成所述第一方向盘信号、所述第一踏板信号及所述第一档位信号调整车辆平稳行驶；由于六自由度平台的运动范围有限，不能完全再现仿真对象的运动轨迹，通过洗出滤波算法避免了模拟器的大位移量，并且模拟仿真对象加速度在横纵向的分量加速度，并使角速率限制在驾驶员的感觉阈值(3°/s)内。
另一个实施例中，将驾驶模拟器端布置在远离矿场的室内，驾驶员在驾驶模拟器端远程操纵在矿场现场的工程机械车辆进行作业，车上的传感器实时获取车辆状态及周围信息，经由5G网络实时的反馈给驾驶模拟器端以供驾驶员进行下一步的操作，免去了驾驶员在现场施工的危险隐患，并且提高了工作的效率。
如图2所示，本发明的另一实施例，还提供一种远程驾驶汽车的系统，用以实现所述远程驾驶汽车的方法，该系统包括：设置于车辆上的车载端；设置于所述车辆远端的驾驶模拟器端；分别数据连接所述车载端和所述驾驶模拟器端的5G网络；
所述车载端，用于利用传感器采集车辆所处环境的视频数据和车辆位姿数据，并将所述视频数据编码压缩成第一数据流，通过所述5G网络向所述驾驶模拟器端推流所述第一数据流和所述车辆位姿数据；以及解码所述第二数据流并将所述操作指令发送至CAN总线，控制车辆的行驶状态；
具体实施例中，所述车载端在车辆正前方和车辆正后方设置长焦摄像头传感器，在车辆的左方和车辆的右方设置广角摄像头传感器，在车辆的驾驶位置设置常规摄像头传感器，利用所述长焦摄像头传感器、所述广角摄像头传感器及所述常规摄像头传感器采集车辆所处环境的所述视频数据；将所述视频数据进行编码压缩成所述第一数据流，并推流依次经过所述5G通讯终端、所述5G通讯基站、所述服务器，将所述第一数据流输入所述驾驶模拟器端，所述驾驶模拟器端将所述第一数据流解码后展示到所述显示器；
具体的，所述车载端通过固定在车内的GPS惯导组合传感器采集车辆行驶过程中的车速值、翻滚角度值、偏航角度值、俯仰角速度值，通过车内的CAN线获取第一方向盘信号、第一踏板信号及第一档位信号；将所述车速值、所述翻滚角度值、所述偏航角度值、所述俯仰角速度值、所述第一方向盘信号、所述第一踏板信号及所述第一档位信号编码压缩成所述车辆位姿数据，输出至所述驾驶模拟器端；
具体的，所述车载端对所述第二数据流进行解码获取方向盘操控信号、踏板操控信号及档位操控信号，车辆的CAN总线根据所述方向盘操控信号、所述踏板操控信号及所述档位操控信号对车辆进行调整。
所述5G网络，用于所述车载端与所述驾驶模拟器端的数据交互；
具体实施例中，包括：与所述车载端连接的5G通讯终端；与所述5G通讯终端连接的5G通讯基站；与所述5G通讯基站处于同一核心网的服务器；所述服务器通过数据专线连接所述驾驶模拟器端。
所述驾驶模拟器端，用于收流所述第一数据流，并对所述第一数据流进行解码获得视频影像，将所述视频影像显示在显示器上；以及根据所述视频影像和所述车辆的运动状态，所述驾驶模拟器端产生操作指令并编码压缩成所述第二数据流，通过所述5G网络向所述车载端输出所述第二数据流；
具体实施例中，所述驾驶模拟器端收流所述车辆位姿数据，对所述车辆位姿数据进行解码，获得所述车速值、所述翻滚角度值、所述偏航角度值、所述俯仰角速度值、所述第二方向盘信号、所述第二踏板信号及所述第二档位信号；所述驾驶模拟器端将所述车速值、所述翻滚角度值、所述偏航角度值、所述俯仰角速度值输出至所述六自由度平台；将所述第二方向盘信号、所述第二踏板信号及所述第二档位信号的格式转化为数字信号输出至所述六自由度平台，所述六自由度平台模拟车辆的运动状态并展示在所述显示器上根据所述六自由度平台输出的车辆运动状态判断车辆是否平稳，若车辆处于不平稳状态，则根据所述显示器展示的车辆所处环境，通过模拟方向盘、踏板及档位生成所述操作指令并对所述操作指令编码压缩成第二数据流，所述驾驶模拟器端通过所述5G网络将所述第二数据流输出至所述车载端。
综上，实施本发明的实施例，具有如下的有益效果：
本发明提供的远程驾驶汽车的方法及系统，提出基于5G网络进行数据流的传输，保证了驾驶及视频传输的实时性；通过引入六自由度平台，将车辆位姿信息实时地在驾驶模拟器端展示出来，便于驾驶员实时感知车辆的位姿运动，更好的操纵汽车。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (14)

1.一种远程驾驶汽车的方法，其特征在于，包括以下步骤：
步骤S1，车载端通过5G网络与驾驶模拟器端建立数据连接；
步骤S2，所述车载端利用摄像头传感器采集车辆所处环境的视频数据，并将所述视频数据编码压缩成第一数据流，所述车载端通过所述5G网络向所述驾驶模拟器端推流所述第一数据流，所述驾驶模拟器端收流所述第一数据流，并对所述第一数据流进行解码获得视频影像，将所述视频影像显示在显示器上；
步骤S3，所述车载端将传感器采集的车辆位姿数据通过所述5G网络输出至所述驾驶模拟器端，所述驾驶模拟器端将所述车辆位姿数据通过六自由度平台转化为车辆的运动状态；
步骤S4，根据所述视频影像和所述车辆的运动状态，所述驾驶模拟器端产生操作指令并编码压缩成第二数据流，通过所述5G网络向所述车载端输出所述第二数据流，所述车载端解码所述第二数据流并将所述操作指令发送至CAN总线，控制车辆的行驶状态。
2.如权利要求1所述的方法，其特征在于，在步骤S1中，所述5G网络包括：与所述车载端连接的5G通讯终端；与所述5G通讯终端连接的5G通讯基站；与所述5G通讯基站处于同一核心网的服务器；所述服务器通过数据专线连接所述驾驶模拟器端。
3.如权利要求2所述的方法，其特征在于，所述步骤S2具体包括：所述车载端分别通过设置在车辆正前方和车辆正后方的长焦摄像头传感器、设置在车辆的左方和车辆的右方的广角摄像头传感器设置在车辆的驾驶位置的常规摄像头传感器，采集车辆所处环境的所述视频数据。
4.如权利要求3所述的方法，其特征在于，所述步骤S2具体包括：所述车载端将所述视频数据进行编码压缩成所述第一数据流，并推流依次经过所述5G通讯终端、所述5G通讯基站、所述服务器，将所述第一数据流输入所述驾驶模拟器端，所述驾驶模拟器端将所述第一数据流解码后展示到所述显示器。
5.如权利要求4所述的方法，其特征在于，在步骤S3具体包括：通过固定在车内的GPS惯导组合传感器采集车辆行驶过程中的车速值、翻滚角度值、偏航角度值、俯仰角速度值，通过车内的CAN线获取第一方向盘信号、第一踏板信号及第一档位信号；所述车载端将所述车速值、所述翻滚角度值、所述偏航角度值、所述俯仰角速度值、所述第一方向盘信号、所述第一踏板信号及所述第一档位信号编码压缩成所述车辆位姿数据，输出至所述驾驶模拟器端。
6.如权利要求5所述的方法，其特征在于，所述步骤S3具体包括：所述驾驶模拟器端收流所述车辆位姿数据，对所述车辆位姿数据进行解码，获得所述车速值、所述翻滚角度值、所述偏航角度值、所述俯仰角速度值、所述第二方向盘信号、所述第二踏板信号及所述第二档位信号；所述驾驶模拟器端将所述车速值、所述翻滚角度值、所述偏航角度值、所述俯仰角速度值输出至所述六自由度平台模拟车辆的运动状态；将所述第二方向盘信号、所述第二踏板信号及所述第二档位信号的格式转化为数字信号并展示在所述显示器上。
7.如权利要求6所述的方法，其特征在于，所述步骤S4具体包括：所述驾驶模拟器通过模拟方向盘、踏板及档位生成所述操作指令并对所述操作指令编码压缩成第二数据流，所述驾驶模拟器端通过所述5G网络将所述第二数据流输出至所述车载端，所述车载端对所述第二数据流进行解码获取方向盘操控信号、踏板操控信号及档位操控信号，车辆的CAN总线根据所述方向盘操控信号、所述踏板操控信号及所述档位操控信号对车辆进行调整。
8.如权利要求7所述的方法，其特征在于，还包括：所述驾驶模拟器端根据所述六自由度平台输出的车辆运动状态判断车辆是否平稳，若车辆处于不平稳状态，则根据所述显示器展示的车辆所处环境，所述驾驶模拟器端模拟车辆的方向盘、踏板及档位生成所述第一方向盘信号、所述第一踏板信号及所述第一档位信号调整车辆平稳行驶。
9.一种远程驾驶汽车的系统，用以实现如权利要求1-8任一所述方法，其特征在于，该系统包括：设置于车辆上的车载端；设置于所述车辆远端的驾驶模拟器端；分别数据连接所述车载端和所述驾驶模拟器端的5G网络；
所述车载端，用于利用传感器采集车辆所处环境的视频数据和车辆位姿数据，并将所述视频数据编码压缩成第一数据流，通过所述5G网络向所述驾驶模拟器端推流所述第一数据流和所述车辆位姿数据；以及解码所述第二数据流并将所述操作指令发送至CAN总线，控制车辆的行驶状态；
所述5G网络，用于所述车载端与所述驾驶模拟器端的数据交互；
所述驾驶模拟器端，用于收流所述第一数据流，并对所述第一数据流进行解码获得视频影像，将所述视频影像显示在显示器上；以及根据所述视频影像和所述车辆的运动状态，所述驾驶模拟器端产生操作指令并编码压缩成所述第二数据流，通过所述5G网络向所述车载端输出所述第二数据流。
10.如权利要求9所述的系统，其特征在于，所述5G网络包括：与所述车载端连接的5G通讯终端；与所述5G通讯终端连接的5G通讯基站；与所述5G通讯基站处于同一核心网的服务器；所述服务器通过数据专线连接所述驾驶模拟器端。
11.如权利要求10所述的系统，其特征在于，所述车载端在车辆正前方和车辆正后方设置长焦摄像头传感器，在车辆的左方和车辆的右方设置广角摄像头传感器，在车辆的驾驶位置设置常规摄像头传感器，利用所述长焦摄像头传感器、所述广角摄像头传感器及所述常规摄像头传感器采集车辆所处环境的所述视频数据；将所述视频数据进行编码压缩成所述第一数据流，并推流依次经过所述5G通讯终端、所述5G通讯基站、所述服务器，将所述第一数据流输入所述驾驶模拟器端，所述驾驶模拟器端将所述第一数据流解码后展示到所述显示器。
12.如权利要求11所述的系统，其特征在于，所述车载端通过固定在车内的GPS惯导组合传感器采集车辆行驶过程中的车速值、翻滚角度值、偏航角度值、俯仰角速度值，通过车内的CAN线获取第一方向盘信号、第一踏板信号及第一档位信号；将所述车速值、所述翻滚角度值、所述偏航角度值、所述俯仰角速度值、所述第一方向盘信号、所述第一踏板信号及所述第一档位信号编码压缩成所述车辆位姿数据，输出至所述驾驶模拟器端。
13.如权利要求12所述的系统，其特征在于，所述驾驶模拟器端收流所述车辆位姿数据，对所述车辆位姿数据进行解码，获得所述车速值、所述翻滚角度值、所述偏航角度值、所述俯仰角速度值、所述第二方向盘信号、所述第二踏板信号及所述第二档位信号；所述驾驶模拟器端将所述车速值、所述翻滚角度值、所述偏航角度值、所述俯仰角速度值输出至所述六自由度平台模拟车辆的运动状态；将所述第二方向盘信号、所述第二踏板信号及所述第二档位信号的格式转化为数字信号展示在所述显示器上；根据所述六自由度平台输出的车辆运动状态判断车辆是否平稳，若车辆处于不平稳状态，则根据所述显示器展示的车辆所处环境，通过模拟方向盘、踏板及档位生成所述操作指令并对所述操作指令编码压缩成第二数据流，所述驾驶模拟器端通过所述5G网络将所述第二数据流输出至所述车载端。
14.如权利要求13所述的系统，其特征在于，所述车载端对所述第二数据流进行解码获取方向盘操控信号、踏板操控信号及档位操控信号，车辆的CAN总线根据所述方向盘操控信号、所述踏板操控信号及所述档位操控信号对车辆进行调整。
CN202010920675.3A 2020-09-04 2020-09-04 一种远程驾驶汽车的方法及系统 Active CN114143749B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010920675.3A CN114143749B (zh) 2020-09-04 2020-09-04 一种远程驾驶汽车的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010920675.3A CN114143749B (zh) 2020-09-04 2020-09-04 一种远程驾驶汽车的方法及系统

Publications (2)

Publication Number Publication Date
CN114143749A true CN114143749A (zh) 2022-03-04
CN114143749B CN114143749B (zh) 2024-03-08

Family

ID=80438759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010920675.3A Active CN114143749B (zh) 2020-09-04 2020-09-04 一种远程驾驶汽车的方法及系统

Country Status (1)

Country Link
CN (1) CN114143749B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115209108A (zh) * 2022-07-13 2022-10-18 安徽工业大学 基于5g嵌入式视频的传输系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203324718U (zh) * 2013-05-21 2013-12-04 中国人民解放军军事交通学院 一种用于车辆驾驶模拟器的信号采集与传输控制板
CN108877374A (zh) * 2018-07-24 2018-11-23 长安大学 基于虚拟现实与驾驶模拟器的车辆队列仿真系统和方法
CN109375764A (zh) * 2018-08-28 2019-02-22 北京凌宇智控科技有限公司 一种头戴显示器、云端服务器、vr系统及数据处理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203324718U (zh) * 2013-05-21 2013-12-04 中国人民解放军军事交通学院 一种用于车辆驾驶模拟器的信号采集与传输控制板
CN108877374A (zh) * 2018-07-24 2018-11-23 长安大学 基于虚拟现实与驾驶模拟器的车辆队列仿真系统和方法
CN109375764A (zh) * 2018-08-28 2019-02-22 北京凌宇智控科技有限公司 一种头戴显示器、云端服务器、vr系统及数据处理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
姜楷;: "汽车驾驶模拟器数据采集处理系统设计实现", 科技资讯, no. 10, 3 April 2020 (2020-04-03) *
张小行;曹清华;: "六自由度汽车驾驶模拟器视景仿真系统研究", 机械研究与应用, no. 05, 31 October 2009 (2009-10-31) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115209108A (zh) * 2022-07-13 2022-10-18 安徽工业大学 基于5g嵌入式视频的传输系统

Also Published As

Publication number Publication date
CN114143749B (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
CN108877374B (zh) 基于虚拟现实与驾驶模拟器的车辆队列仿真系统和方法
CN112286166A (zh) 一种基于5g网络的车辆远程驾驶控制系统及方法
CN110794818A (zh) 一种远程驾驶方法、装置及系统
CN111866809A (zh) 一种无人矿卡远程遥控驾驶系统及方法
CN112351102A (zh) 一种远程驾驶方法和系统
CN111024115A (zh) 实景导航方法、装置、设备、存储介质及车载多媒体系统
CN113359687B (zh) 一种网络通讯异常工况下的平行驾驶控制方法及系统
CN111688488A (zh) 车辆、车机设备及其虚拟场景控制方法
CN114143749B (zh) 一种远程驾驶汽车的方法及系统
Yu et al. Remote driving control with real-time video streaming over wireless networks: Design and evaluation
CN111915956B (zh) 一种基于5g的虚拟现实汽车驾驶教学系统
KR20200114054A (ko) 차량용 아바타 처리 장치 및 그를 제어 방법
CN111976484A (zh) 一种车载仪表导航显示方法、系统及汽车
CN105774657B (zh) 一种单摄像头全景倒车影像系统
CN113852795A (zh) 视频画面调整方法、装置、电子设备及存储介质
EP3702864B1 (en) Accounting for latency in teleoperated remote driving
CN215599528U (zh) 一种自动驾驶汽车远程控制驾驶系统
CN117440130A (zh) 高速公路巡检系统
CN113432614B (zh) 车辆导航方法、装置、电子设备及计算机可读存储介质
Kremer et al. A digital twin for teleoperation of vehicles in urban environments
CN114414257A (zh) 汽车的测试系统、方法、设备和存储介质
CN215219761U (zh) Ar全景行车记录仪、车辆监控系统和汽车
CN115900813A (zh) 一种用于车辆的远程校准和测试的系统及其方法
CN111210541A (zh) 车辆、车机设备及限速信息智能提示方法
CN115489522A (zh) 一种应用于平行辅助驾驶系统的避障目标识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant