CN111634234A - 基于多摄像头与雷达组合的远程驾驶车端场景信息采集、信息展示方法及远程驾驶方法 - Google Patents

基于多摄像头与雷达组合的远程驾驶车端场景信息采集、信息展示方法及远程驾驶方法 Download PDF

Info

Publication number
CN111634234A
CN111634234A CN202010457339.XA CN202010457339A CN111634234A CN 111634234 A CN111634234 A CN 111634234A CN 202010457339 A CN202010457339 A CN 202010457339A CN 111634234 A CN111634234 A CN 111634234A
Authority
CN
China
Prior art keywords
vehicle
remote
driving
remote driving
checking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010457339.XA
Other languages
English (en)
Other versions
CN111634234B (zh
Inventor
何薇
付智俊
谢斌
郭启翔
吴明瞭
尹思维
林凌
董庆大
王文博
张路玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongfeng Automobile Co Ltd
Original Assignee
Dongfeng Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongfeng Automobile Co Ltd filed Critical Dongfeng Automobile Co Ltd
Priority to CN202010457339.XA priority Critical patent/CN111634234B/zh
Publication of CN111634234A publication Critical patent/CN111634234A/zh
Application granted granted Critical
Publication of CN111634234B publication Critical patent/CN111634234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • B60R16/0232—Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于多摄像头与雷达组合的远程驾驶车端场景信息采集方法，包括如下步骤：1)判断车辆当前所处的无线通信网络是4G还是5G；2)若为5G，则通过安装在车辆上的多个摄像头同时采集车辆多个角度的视频数据，编码后传输给远程驾驶室；3)若为4G，则仅通过一个摄像头采集车辆正前方的视频数据，经编码后传输给远程驾驶室，同时通过安装在车身上的多个雷达采集其他角度的场景数据并传输给远程驾驶室。本发明在上述方法的基础上，进一步提供了车端信息展示方法及远程驾驶方法。本发明采用摄像头与雷达结合的方式，可以很好地解决4G网络下传输多路高清视频带宽不足的问题，保证了远程驾驶的真实性和实时性。

Description

基于多摄像头与雷达组合的远程驾驶车端场景信息采集、信 息展示方法及远程驾驶方法
技术领域
本发明涉及无人驾驶车辆远程驾驶，特别是指一种基于多摄像头与雷达组合的远程驾驶车端场景信息采集、信息展示方法及远程驾驶方法。
背景技术
随着社会人力成本的上升和无人驾驶技术的发展，一些与交通运输相关的行业逐步无人化，出现可满足不同需求的无人驾驶车辆，如无人出租车RoboTaxi、无人快递小车、无人售卖小车、无人工程机械车辆等。
现阶段无人驾驶车辆还不足以完全无人化，在特殊情况下需要人工干预。例如，无人驾驶车辆在极端路况无法做出决策时，或者在高危建筑等作业场景下，需要借用无线通信技术来实现远程驾驶控制，以辅助解决无人驾驶车辆和工程机械车辆无法应对的情况。但要实现远程驾驶，车端场景的真实性及实时性致关重要，保障了真实性和实时性才能保证远程驾驶舱的操作人员如同坐在车辆驾驶室操作一样，最终才能保证远程驾驶的安全。为保证真实性，一般需要采集车辆前方、后方、侧方等多个角度的视频数据；为保证实时性，所采用的无线通信网络必须满足低延迟、高带宽的要求。
传统的4G无线通信技术延迟高，传输带宽低，无法同时传输多角度车端图像。随着5G技术的兴起，低延迟、高速率的实时视频传输成为可能，国内外厂商开始采用5G作为远程驾驶系统的通信网络。
中国专利文献CN 209964208 U公开了一种远程驾驶无死角监控系统，包括主机、5G天线以及若干设置在车体上的摄像头，主机的电源端与车载电源连接，主机的输入端连接摄像头的输出端，主机的输出端经5G天线与5G基站进行通信；所述主机包括CPU处理器、电源模块、视频编解码模块、存储器以及5G通信模块，电源模块的输入端与车载电源连接，电源模块的输出端连接CPU处理器的电源端；所述CPU处理器分别与视频编解码模块、存储器以及5G 通信模块连接，视频编解码模块的输入端连接摄像头的输出端。该远程驾驶无死角监控系统利用5G技术，同时采集和传输多角度实时视频，实现无死角监控，为远程驾驶安全进行保驾护航。然而，该系统使用了多达九个摄像头，虽然做到了视觉上的无死角，但综合成本及占用带宽偏高。考虑到目前5G通信网络的覆盖率仍较低，上述远程驾驶系统在没有5G信号覆盖的区域，传输延迟将急剧升高，无法保证远程驾驶的安全。
发明内容
本发明的目的在于提供一种能够提高远程驾驶安全性的基于多摄像头与雷达组合的远程驾驶车端场景信息采集、信息展示方法及远程驾驶方法。
为实现上述目的，本发明提供了一种基于多摄像头与雷达组合的远程驾驶车端场景信息采集方法，利用位于车辆上的车端场景信息采集系统对车辆所处的实时环境进行采集，所述车端场景信息采集系统包括安装在车辆上的多个摄像头和多个雷达；并且包括如下步骤：
1)判断需进行远程驾驶的车辆当前所处的无线通信网络是4G 还是5G；
2)若当前所处的无线通信网络是5G，则通过安装在车辆上的多个摄像头同时采集车辆多个角度的视频数据，编码后经无线通信网络传输给远程驾驶室；
3)若当前所处的无线通信网络是4G，则仅通过一个摄像头采集车辆正前方的视频数据，经编码后通过无线通信网络传输给远程驾驶室，同时通过安装在车身上的多个雷达采集其他角度的场景数据并传输给远程驾驶室。
优选地，所述步骤2)中，车辆上部署的摄像头的数量为六个，采集的视频角度分别为：正前、正后、左侧前、左侧后、右侧前、右侧后，编码后的分辨率分别为1920*1080、960*540、1280*720、 1280*720、1280*720、1280*720。一般来说，分辨率越高，图像越清晰，但是分辨率越高，需要的编解码时间也会越长，所以本发明为了兼顾低时延和清晰度，对不同的视角选择不同的分辨率。
优选地，所述步骤2)中，采用H.264对视频进行编码；所述步骤3)中，采用H.265对视频进行编码。目前主流的视频编码有H.265、 H.264等，相同的资源情况下，H.265相对H.264编码压缩率高，缺点是编码时间长；H.264相对H.265编码时间短，但压缩率较低。综合考虑，本方案在5G网络下，对多组视频采用H.264进行编码以降低编码延迟，而在4G网络下采用H.265编码以降低网络延迟，从而保证所处网络环境下编码与网络延迟之和最小。
优选地，所述雷达可以利用无人驾驶系统随车安装的激光雷达、毫米波雷达或超声波雷达。
优选地，所述雷达为超声波雷达，车身前后左右每一侧均设置有四个超声波雷达，形成环绕车身的全方位无死角覆盖。
本发明其次提供了一种与前述远程驾驶车端场景信息采集方法相配套的远程驾驶车端信息展示方法，该方法利用位于远程驾驶室内的场景信息展示系统接收车辆传来的车端场景信息和车辆状态信息，并对二者进行展示，所述场景信息展示系统包括多个屏幕或屏幕分区(屏幕分区指大屏幕分割成的显示区域)；并且包括如下步骤：
1)接收来自车端场景信息采集系统发送的场景数据，以及通过安装在车辆上的驾驶控制装置获取的车辆状态信息；
2)若步骤1)接收到的场景数据为多路视频数据，则将其解码后显示到对应的屏幕或屏幕分区中，每个角度的视频对应一个屏幕或一个屏幕分区，同时将车辆状态信息也显示到对应的屏幕或屏幕分区中；
3)若步骤1)接收到的场景数据为一路视频数据和多路雷达数据，则将一路视频数据显示在对应的屏幕或屏幕分区中，并提取雷达数据中的障碍物信息进行实时语音播报和/或显示到其他屏幕或屏幕分区中，同时将车辆状态信息也显示到对应的屏幕或屏幕分区中。
优选地，所述步骤3)中，雷达数据的展示方式为：根据雷达数据对车端实时环境进行3D建模，再显示到对应车身不同角度的屏幕或屏幕分区中。具体的建模方法在无人驾驶中属于成熟技术，可以直接转用。
本发明还提供了一种远程驾驶方法，包括如下步骤：
1)采用如前所述的车端场景信息采集方法采集车端场景信息并传输到远程驾驶室，同时通过安装在车辆上的驾驶控制装置获取车辆状态信息并传输到远程驾驶室；
2)采用如前所述的车端信息展示方法对车端场景信息和车辆状态信息进行展示；
3)通过安装在远程驾驶室内的驾驶模拟装置采集驾驶员的操作指令，并将操作指令通过无线通信网络传给车端的驾驶控制装置；
4)车端的驾驶控制装置接收到驾驶员的操作指令后，实时执行相应指令，完成车辆的远程驾驶操作。
优选地，该方法还包括由车端发起的远程驾驶申请流程，包括如下步骤：a)乘员(即乘客或安全员)通过车辆上的交互界面发起远程驾驶申请；b)车辆进行自检，确认车速为零、档位为空挡且 EPB(电子驻车制动装置)处于拉起状态后，将远程驾驶申请发送至远程驾驶室；c)远程驾驶室内的交互界面上显示远程驾驶申请信息，并提醒驾驶员确认；d)驾驶员得到远程申请信息，检查驾驶模拟装置，确认方向盘回零、档位处于空档且EPB处于拉起状态后，对远程驾驶申请予以确认；e)驾驶模拟装置进行自检，当方向盘回正、EPB拉起和档位为空三个条件均满足时自检通过，否则报错；f) 驾驶模拟装置自检通过后，开始远程驾驶，此时车端完全交由远程驾驶室来进行控制和驾驶。
优选地，该方法还包括由控制室端发起的远程驾驶申请流程，包括如下步骤：a)驾驶员通过远程驾驶室内的交互界面发出远程驾驶申请；b)驾驶模拟装置进行自检，当方向盘回正、EPB拉起和档位为空三个条件均满足时自检通过，否则报错；c)驾驶模拟装置自检通过后，远程驾驶申请被发送到车辆；d)车辆接收到远程驾驶申请后通过其上的交互界面提醒乘员确认；e)车辆进行自检，当车速为零、档位为空挡且EPB处于拉起状态三个条件均满足时自检通过，否则报错；f)乘员确认(如无乘员可省略)且车辆自检通过后，车辆进入远程驾驶模式，此时车端完全交由远程驾驶室来进行控制和驾驶。
优选地，该方法还包括远程驾驶退出流程，包括如下步骤：a) 驾驶员远程控制车辆停车并拉起EPB，然后发起远程驾驶退出流程； b)驾驶模拟装置进行自检，仅当方向盘回正、EPB拉起和档位为空三个条件均满足，且车辆状态信息显示车速为零时自检通过；c)车辆进行自检，仅当车速为零、方向盘回正、EPB拉起和档位为空四个条件均满足时自检通过；d)车辆上的乘员确认(如无乘员可省略)，退出远程驾驶模式。
与现有技术相比，本发明的有益效果在于：
1)本发明结合摄像头和雷达来进行远程驾驶，在5G网络下，利用5G网络高带宽、低延迟的优势，采用多个摄像头采集多路视频，范围可覆盖全车所有角度，保证了车端场景的真实性和实时性；而在4G网络下采用一个摄像头结合多个雷达组合的形式，雷达的数据量相对于视频小得多，可大幅降低数据量，同时覆盖远程驾驶所需关键信息，因此在4G网络下也能保证远程驾驶的实时性和可靠性。
2)采用摄像头与雷达结合的方式，雷达数据量小，可以很好地解决4G网络下带宽不足以传输全部六个摄像头采集的实时高清视频的问题；而在5G网络下采用6个摄像头采集数据，可以提供更为真实的车端场景。
3)除了实时性、低延时、真实可靠的特点外，本发明还在远程驾驶申请和退出的交互过程中设置了安全条件，进一步提高了远程驾驶的安全性。
附图说明
图1为本发明实施例1所提供远程驾驶系统的结构示意图。
图2为本发明实施例1所提供的摄像头与雷达在车辆上的布局示意图。
图3为本发明实施例6所提供的远程驾驶车端申请流程示意图。
图4为本发明实施例6所提供的远程驾驶控制室端申请流程示意图。
图5为本发明实施例6所提供的远程驾驶控制室端退出流程示意图。
其中：车辆1、摄像头11、雷达12、汽车驾驶控制装置13、远程驾驶室2、场景信息展示系统21、驾驶模拟装置22、声光报警器 23、无线通信网络3
具体实施方式
下面结合附图和具体实施例对本发明作进一步的详细说明。
实施例1
如图1、图2所示，本实施例提供了一种远程驾驶系统，包括车辆1和远程驾驶室2。
车辆1上安装有车端场景信息采集系统和汽车驾驶控制装置13，通过4G/5G无线通信网络3联网。车端场景信息采集系统用于采集车辆1所处实时环境，包括6个摄像头11(另配套设置有编码器) 和16个雷达12。
6个摄像头11采集的视频角度分别为：正前、正后、左侧前、左侧后、右侧前、右侧后，如表1所示，编码后的分辨率分别为 1920*1080、960*540、1280*720、1280*720、1280*720、1280*720 (4G环境下只编码正前方的摄像头)。
表1摄像头分辨率设置表
Figure BDA0002509748310000071
正前方摄像头(11)负责获取车身正前方的图像，由于要符合驾驶员的视觉习惯，这个摄像头(11)一般是放在车内对应于驾驶员头部的位置附近。
一般来说，分辨率越高，图像越清晰，但是分辨率越高，需要的编解码时间也会越长，所以本发明为了兼顾低时延和清晰度，对不同的视角选择不同的分辨率。同时，采用两组视角一个编码模块混合编码。
雷达12采用超声波雷达，车身前后左右每一侧均设置有四个雷达12，形成环绕车身的全方位无死角覆盖，采用超声波雷达有利于降低成本，必要时也可采用激光雷达、毫米波雷达等类型。
远程驾驶室2设置有驾驶模拟装置22、场景信息展示系统21、语音播报装置(图中未画出)和声光报警器23(带警示灯和蜂鸣器)，通过光纤联网。
场景信息展示系统21包括屏幕组合、视频解码器和雷达解析装置，屏幕组合包括7各屏幕，其中6个屏幕显示实时图像或实时图像与超声波数据，1个显示车辆状态信息。
车辆1的乘员位置前方、远程驾驶室2的驾驶模拟装置22分别配有交互界面(屏幕或PAD)。
实施例2
本实施例针对实施例1中的远程驾驶系统，提供了一种远程驾驶车端场景信息采集方法。
该方法利用位于车辆1上的车端场景信息采集系统对车辆1所处的实时环境进行采集，并且包括如下步骤：
1)判断需进行远程驾驶的车辆1当前所处的无线通信网络3是 4G还是5G；
2)若当前所处的无线通信网络3是5G，则通过安装在车辆1 上的多个摄像头11同时采集车辆1多个角度的视频数据，编码后经无线通信网络3传输给远程驾驶室2；
3)若当前所处的无线通信网络3是4G，则仅通过一个摄像头11采集车辆1正前方的视频数据，经编码后经无线通信网络3传输给远程驾驶室2，同时通过安装在车身上的多个雷达12采集其他角度的场景数据并传输给远程驾驶室2。
该方法采用摄像头与超声波雷达结合的方式，超声波雷达的数据量小，成本低，可以很好地解决4G网络下传输带宽不足以传输全部六个摄像头采集的实时高清视频的问题；而在5G网络下采用6 个摄像头采集数据，可以提供更为真实的车端场景。
实施例3
本实施例在实施例2的基础上，进一步对视频编码解码方法进行改进。具体的说：
步骤2)中，采用H.264对视频进行编码；步骤3)中，采用 H.265对视频进行编码。目前主流的视频编码有H.265、H.264等，相同的资源情况下，H.265相对H.264编码压缩率高，缺点是编码时间长；H.264相对H.265编码时间短，但压缩率较低。综合考虑，本实施例在5G网络下，对多组视频采用H.264进行编码以降低编码延迟，而在4G网络下采用H.265编码以降低网络延迟，从而保证所处网络环境下编码与网络延迟之和最小。
其中，H.264编码有不同的帧，I帧是利用从当前片中已解码的像素作为参考进行帧内预测；P帧是利用前面已编码图象作为参考图象进行帧内预测。B帧是利用双向的参考图象(前一帧和后一帧) 进行帧内预测。由于B帧需要等后一帧的图像，如果B帧过多的话，会增加编码时延，所以在设置参数时，尽量减少B帧。
此外，车端采用高效采集、高速编码压缩的编码模块；控制室端采用超低延时解码器，解码显示百分之百还原所采集的图像信息，确保车端图像到远程驾驶室2的实时性和真实性。
实施例4
本实施例针对实施例1中的远程驾驶系统，提供了一种远程驾驶车端信息展示方法。
该方法利用位于远程驾驶室2内的场景信息展示系统21接收车辆1传来的车端场景信息和车辆状态信息并对二者进行展示；并且包括如下步骤：
1)接收来自车端场景信息采集系统发送的场景数据，以及驾驶控制装置获取的车辆状态信息；
2)若步骤1)接收到的场景数据为六路视频数据，即车端处于 5G环境时，则将六路视频数据解码后显示到对应的屏幕或屏幕分区中，场景信息展示系统21的6组屏幕显示从车端传输过来并经视频解码器实时解码的正前、正后、左侧前、左侧后、右侧前、右侧后的图像，第7组屏幕显示汽车驾驶控制装置13采集的车辆状态信息；
3)若步骤1)接收到的场景数据为一路视频数据和多路雷达数据，即车端处于4G环境时，则将一路视频数据(正前方视角)和车辆状态信息显示在对应的两块屏幕或屏幕分区中，并提取雷达数据中的障碍物信息展示到其他屏幕或屏幕分区中。雷达数据可以通过语音播报、文字提示的形式将各方向的障碍物或运动物体信息传达给驾驶员，也可以根据雷达数据对车端实时环境进行3D建模，分割为正后、左侧前、左侧后、右侧前、右侧后五个视角的虚拟场景并显示到对应的屏幕或屏幕分区中，3D虚拟场景中各种关键信息如障碍物、道路标志、运动物体等均能清楚显示出来。具体的建模方法在无人驾驶中属于成熟技术，可以直接转用。
实施例5
本实施例针对实施例1中的远程驾驶系统，提供了一种远程驾驶方法，包括如下步骤：
1)采用实施例2或3中的车端场景信息采集方法采集车端场景信息并传输到远程驾驶室2，同时通过安装在车辆1上的驾驶控制装置获取车辆状态信息并传输到远程驾驶室2；
2)采用实施例4中的的车端信息展示方法对车端场景信息和车辆状态信息进行展示；
3)驾驶员通过观察屏幕上的信息，控制驾驶模拟装置22，驾驶模拟装置22采集驾驶员的操作指令(采用精简指令)，并将操作指令通过无线通信网络3实时传给车端的驾驶控制装置；
4)车端的驾驶控制装置接收到驾驶员的操作指令后，实时执行相应指令，完成车辆1的远程驾驶操作。
实施例6
实施例解决了远程驾驶过程中的关键问题，但进入或退出远程驾驶也是一个很重要的环节，此环节目如果不合理，也会造成安全事故。为此，本实施例在实施例5的基础上进一步提供了远程驾驶申请和退出的流程。
1)车端发起的远程驾驶申请流程
如图3所示，由车端发起的远程驾驶申请流程，步骤如下：
a)乘员(乘客或安全员)通过车辆1上的交互界面(图中标为 PAD，下同)发起远程驾驶申请；
b)车辆1进行自检，确认车速为零、档位为空挡且EPB处于拉起状态后，将远程驾驶申请发送至远程驾驶室2；
c)远程驾驶室2内的交互界面(图中标为PAD，下同)上显示远程驾驶申请信息，警示灯由绿变黄，蜂鸣器响起，提醒驾驶员确认；
d)驾驶员得到远程申请信息，检查驾驶模拟装置22，确认方向盘回零、档位处于空档且EPB处于拉起状态后，长按(2秒以上) 确认键对远程驾驶申请予以确认，确认后警示灯变为红色；
e)驾驶模拟装置22进行自检，当方向盘回正、EPB拉起和档位为空三个条件均满足时自检通过，否则报错，交互界面发出错误提示，蜂鸣器发出错误警示音；
f)驾驶模拟装置22自检通过后，开始远程驾驶，此时车端完全交由远程驾驶室2来进行控制和驾驶。
2)控制室端发起的远程驾驶申请流程
如图4所示，由控制室端发起的远程驾驶申请流程，步骤如下：
a)驾驶员通过远程驾驶室2内的交互界面发出远程驾驶申请；
b)驾驶模拟装置22进行自检，当方向盘回正、EPB拉起和档位为空三个条件均满足时自检通过，否则报错，交互界面发出错误提示，蜂鸣器发出错误警示音；
c)驾驶模拟装置22自检通过后，远程驾驶申请被发送到车辆1；
d)车辆1接收到远程驾驶申请后通过其上的交互界面提醒乘员确认；
e)车辆1进行自检，当车速为零、档位为空挡且EPB处于拉起状态三个条件均满足时自检通过，否则报错并提醒乘员；
f)乘员确认且车辆1自检通过后，车辆1进入远程驾驶模式，此时车端完全交由远程驾驶室2来进行控制和驾驶。
3)控制室发起的远程驾驶退出流程
如图5所示，由控制室发起的远程驾驶退出流程，步骤如下：
a)驾驶员远程控制车辆1停车并拉起EPB，并发起远程驾驶退出流程；
b)驾驶模拟装置22进行自检，仅当方向盘回正、EPB拉起和档位为空三个条件均满足，且车辆状态信息显示车速为零时自检通过；
c)车辆1进行自检，仅当车速为零、方向盘回正、EPB拉起和档位为空四个条件均满足时自检通过；
d)车辆上的乘员确认，退出远程驾驶模式。

Claims (10)

1.一种基于多摄像头与雷达组合的远程驾驶车端场景信息采集方法，其特征在于：
该方法利用位于车辆(1)上的车端场景信息采集系统对车辆(1)所处的实时环境进行采集，所述车端场景信息采集系统包括安装在车辆(1)上的多个摄像头(11)和多个雷达(12)；
并且包括如下步骤：
1)判断需进行远程驾驶的车辆(1)当前所处的无线通信网络(3)是4G还是5G；
2)若当前所处的无线通信网络(3)是5G，则通过安装在车辆(1)上的多个摄像头(11)同时采集车辆(1)多个角度的视频数据，编码后经无线通信网络(3)传输给远程驾驶室(2)；
3)若当前所处的无线通信网络(3)是4G，则仅通过一个摄像头(11)采集车辆(1)正前方的视频数据，经编码后通过无线通信网络(3)传输给远程驾驶室(2)，同时通过安装在车身上的多个雷达(12)采集其他角度的场景数据并传输给远程驾驶室(2)。
2.根据权利要求1所述的远程驾驶车端场景信息采集方法，其特征在于：所述步骤2)中，车辆(1)上部署的摄像头(11)的数量为六个，采集的视频角度分别为：正前、正后、左侧前、左侧后、右侧前、右侧后，编码后的分辨率分别为1920*1080、960*540、1280*720、1280*720、1280*720、1280*720。
3.根据权利要求1或2所述的远程驾驶车端场景信息采集方法，其特征在于：所述步骤2)中，采用H.264对视频进行编码；所述步骤3)中，采用H.265对视频进行编码。
4.根据权利要求1或2所述的远程驾驶车端场景信息采集方法，其特征在于：所述雷达(12)为超声波雷达，车身前后左右每一侧均设置有四个超声波雷达，形成环绕车身的全方位无死角覆盖。
5.一种与权利要求1～4中任一项所述远程驾驶车端场景信息采集方法相配套的远程驾驶车端信息展示方法，其特征在于：
该方法利用位于远程驾驶室(2)内的场景信息展示系统(21)接收车辆(1)传来的车端场景信息和车辆状态信息并对二者进行展示，所述场景信息展示系统(21)包括多个屏幕或屏幕分区；
并且包括如下步骤：
1)接收来自车端场景信息采集系统发送的场景数据，以及通过安装在车辆(1)上的驾驶控制装置获取的车辆状态信息；
2)若步骤1)接收到的场景数据为多路视频数据，则将其解码后显示到对应的屏幕或屏幕分区中，同时将车辆状态信息也显示到对应的屏幕或屏幕分区中；
3)若步骤1)接收到的场景数据为一路视频数据和多路雷达数据，则将一路视频数据显示在对应的屏幕或屏幕分区中，并提取雷达数据中的障碍物信息进行实时语音播报和/或显示到其他屏幕或屏幕分区中，同时将车辆状态信息也显示到对应的屏幕或屏幕分区中。
6.根据权利要求5所述的远程驾驶车端信息展示方法，其特征在于：所述步骤3)中，雷达数据的展示方式为：根据雷达数据对车端实时环境进行3D建模，再显示到对应车身不同角度的屏幕或屏幕分区中。
7.一种远程驾驶方法，其特征在于：包括如下步骤：
1)采用如权利要求1～4中任一项所述的车端场景信息采集方法采集车端场景信息并传输到远程驾驶室(2)，同时通过安装在车辆(1)上的驾驶控制装置获取车辆状态信息并传输到远程驾驶室(2)；
2)采用如权利要求5或6的车端信息展示方法对车端场景信息和车辆状态信息进行展示；
3)通过安装在远程驾驶室(2)内的驾驶模拟装置(22)采集驾驶员的操作指令，并将操作指令通过无线通信网络(3)传给车端的驾驶控制装置；
4)车端的驾驶控制装置接收到驾驶员的操作指令后，实时执行相应指令，完成车辆(1)的远程驾驶操作。
8.根据权利要求6所述的远程驾驶方法，其特征在于：该方法还包括由车端发起的远程驾驶申请流程，包括如下步骤：a)乘员通过车辆(1)上的交互界面发起远程驾驶申请；b)车辆(1)进行自检，确认车速为零、档位为空挡且EPB处于拉起状态后，将远程驾驶申请发送至远程驾驶室(2)；c)远程驾驶室(2)内的交互界面上显示远程驾驶申请信息，并提醒驾驶员确认；d)驾驶员检查驾驶模拟装置(22)，确认方向盘回零、档位处于空档且EPB处于拉起状态后，对远程驾驶申请予以确认；e)驾驶模拟装置(22)进行自检，当方向盘回正、EPB拉起和档位为空三个条件均满足时自检通过，否则报错；f)驾驶模拟装置(22)自检通过后，开始远程驾驶，此时车端完全交由远程驾驶室(2)来进行控制和驾驶。
9.根据权利要求6所述的远程驾驶方法，其特征在于：该方法还包括由控制室端发起的远程驾驶申请流程，包括如下步骤：a)驾驶员通过远程驾驶室(2)内的交互界面发出远程驾驶申请；b)驾驶模拟装置(22)进行自检，当方向盘回正、EPB拉起和档位为空三个条件均满足时自检通过，否则报错；c)驾驶模拟装置(22)自检通过后，远程驾驶申请被发送到车辆(1)；d)车辆(1)接收到远程驾驶申请后通过其上的交互界面提醒乘员确认；e)车辆(1)进行自检，当车速为零、档位为空挡且EPB处于拉起状态三个条件均满足时自检通过，否则报错；f)乘员确认且车辆(1)自检通过后，车辆(1)进入远程驾驶模式，此时车端完全交由远程驾驶室(2)来进行控制和驾驶。
10.根据权利要求8或9所述的远程驾驶方法，其特征在于：该方法还包括远程驾驶退出流程，包括如下步骤：a)驾驶员远程控制车辆(1)停车并拉起EPB，然后发起远程驾驶退出流程；b)驾驶模拟装置(22)进行自检，仅当方向盘回正、EPB拉起和档位为空三个条件均满足，且车辆状态信息显示车速为零时自检通过；c)车辆(1)进行自检，仅当车速为零、方向盘回正、EPB拉起和档位为空四个条件均满足时自检通过；d)车辆上的乘员确认，退出远程驾驶模式。
CN202010457339.XA 2020-05-26 2020-05-26 远程驾驶车端信息展示方法及远程驾驶方法 Active CN111634234B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010457339.XA CN111634234B (zh) 2020-05-26 2020-05-26 远程驾驶车端信息展示方法及远程驾驶方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010457339.XA CN111634234B (zh) 2020-05-26 2020-05-26 远程驾驶车端信息展示方法及远程驾驶方法

Publications (2)

Publication Number Publication Date
CN111634234A true CN111634234A (zh) 2020-09-08
CN111634234B CN111634234B (zh) 2022-11-29

Family

ID=72325952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010457339.XA Active CN111634234B (zh) 2020-05-26 2020-05-26 远程驾驶车端信息展示方法及远程驾驶方法

Country Status (1)

Country Link
CN (1) CN111634234B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112180927A (zh) * 2020-09-27 2021-01-05 安徽江淮汽车集团股份有限公司 一种自动驾驶时域构建方法、设备、存储介质及装置
CN112622931A (zh) * 2020-12-22 2021-04-09 北京百度网讯科技有限公司 平行驾驶中的异常处理方法、自动驾驶车辆及云端驾驶舱
CN112651374A (zh) * 2021-01-04 2021-04-13 东风汽车股份有限公司 一种基于社会信息的未来轨迹预测方法及自动驾驶系统
CN112714282A (zh) * 2020-12-22 2021-04-27 北京百度网讯科技有限公司 远程控制中的图像处理方法、装置、设备和程序产品
CN112721921A (zh) * 2021-02-05 2021-04-30 重庆长安汽车股份有限公司 基于实时视频流监控的远程泊车方法及系统
CN113096427A (zh) * 2021-03-30 2021-07-09 北京三快在线科技有限公司 一种信息显示方法及装置
CN113093689A (zh) * 2021-02-25 2021-07-09 沃行科技(南京)有限公司 一种基于露天矿山作业区的4g远程驾驶监控系统及其工作流程
CN113525420A (zh) * 2021-07-22 2021-10-22 江苏天一机场专用设备股份有限公司 一种航空5g远程驾驶系统
CN113612969A (zh) * 2021-07-29 2021-11-05 北京三快在线科技有限公司 用于无人驾驶设备远程遥控的视频数据传输的方法及装置
CN113805509A (zh) * 2021-09-09 2021-12-17 东风悦享科技有限公司 一种基于v2x的远程驾驶系统及方法
CN114973736A (zh) * 2022-05-30 2022-08-30 东风汽车集团股份有限公司 基于虚拟仿真的远程驾驶监控系统
CN117584928A (zh) * 2023-02-28 2024-02-23 南昌工程学院 一种基于5g的远程驾驶操纵系统及控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203160A (zh) * 2017-06-15 2017-09-26 中国煤炭科工集团太原研究院有限公司 一种基于4g技术的矿用防爆车辆无线监控系统
CN107963030A (zh) * 2017-12-12 2018-04-27 成都电科海立科技有限公司 一种影像驾驶辅助装置及方法
CN208521183U (zh) * 2018-05-02 2019-02-19 合加新能源汽车有限公司 一种环卫车的无人驾驶系统
CN110460651A (zh) * 2019-07-26 2019-11-15 阿尔法巴人工智能(深圳)有限公司 一种5g远程驾驶集成控制系统及方法
CN110501927A (zh) * 2019-08-23 2019-11-26 中国联合网络通信集团有限公司 汽车代驾方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203160A (zh) * 2017-06-15 2017-09-26 中国煤炭科工集团太原研究院有限公司 一种基于4g技术的矿用防爆车辆无线监控系统
CN107963030A (zh) * 2017-12-12 2018-04-27 成都电科海立科技有限公司 一种影像驾驶辅助装置及方法
CN208521183U (zh) * 2018-05-02 2019-02-19 合加新能源汽车有限公司 一种环卫车的无人驾驶系统
CN110460651A (zh) * 2019-07-26 2019-11-15 阿尔法巴人工智能(深圳)有限公司 一种5g远程驾驶集成控制系统及方法
CN110501927A (zh) * 2019-08-23 2019-11-26 中国联合网络通信集团有限公司 汽车代驾方法和系统

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112180927A (zh) * 2020-09-27 2021-01-05 安徽江淮汽车集团股份有限公司 一种自动驾驶时域构建方法、设备、存储介质及装置
CN112622931A (zh) * 2020-12-22 2021-04-09 北京百度网讯科技有限公司 平行驾驶中的异常处理方法、自动驾驶车辆及云端驾驶舱
CN112714282A (zh) * 2020-12-22 2021-04-27 北京百度网讯科技有限公司 远程控制中的图像处理方法、装置、设备和程序产品
CN112651374A (zh) * 2021-01-04 2021-04-13 东风汽车股份有限公司 一种基于社会信息的未来轨迹预测方法及自动驾驶系统
CN112721921A (zh) * 2021-02-05 2021-04-30 重庆长安汽车股份有限公司 基于实时视频流监控的远程泊车方法及系统
CN113093689A (zh) * 2021-02-25 2021-07-09 沃行科技(南京)有限公司 一种基于露天矿山作业区的4g远程驾驶监控系统及其工作流程
CN113096427A (zh) * 2021-03-30 2021-07-09 北京三快在线科技有限公司 一种信息显示方法及装置
CN113096427B (zh) * 2021-03-30 2022-08-26 北京三快在线科技有限公司 一种信息显示方法及装置
CN113525420A (zh) * 2021-07-22 2021-10-22 江苏天一机场专用设备股份有限公司 一种航空5g远程驾驶系统
CN113612969A (zh) * 2021-07-29 2021-11-05 北京三快在线科技有限公司 用于无人驾驶设备远程遥控的视频数据传输的方法及装置
CN113805509A (zh) * 2021-09-09 2021-12-17 东风悦享科技有限公司 一种基于v2x的远程驾驶系统及方法
CN114973736A (zh) * 2022-05-30 2022-08-30 东风汽车集团股份有限公司 基于虚拟仿真的远程驾驶监控系统
CN117584928A (zh) * 2023-02-28 2024-02-23 南昌工程学院 一种基于5g的远程驾驶操纵系统及控制方法

Also Published As

Publication number Publication date
CN111634234B (zh) 2022-11-29

Similar Documents

Publication Publication Date Title
CN111634234B (zh) 远程驾驶车端信息展示方法及远程驾驶方法
CN109017757B (zh) 汽车远程代驾方法及系统
CN113805509A (zh) 一种基于v2x的远程驾驶系统及方法
CN103996304A (zh) 一种基于车路协同的城市平交路口车内信号指示系统
CN112073683A (zh) 一种基于5g远程驾驶装置
CN104882027A (zh) 一种弯道会车预警系统
CN113022653B (zh) 一种基于低时延传输技术的远程列车驾驶系统及方法
CN113359687A (zh) 一种网络通讯异常工况下的平行驾驶控制方法及系统
DE102014211530A1 (de) Überholassistent für Straßen mit Gegenverkehr
CN112068527A (zh) 一种远程驾驶系统及方法
CN114666382A (zh) 针对自动驾驶半挂集卡的平行驾驶系统
CN110869730A (zh) 远程临场驾驶无人车作业系统及自动驾驶汽车测试场系统
CN110271417B (zh) 基于adas和ar技术的全液晶仪表系统
KR101660848B1 (ko) 지하철 객실 감시 cctv시스템 및 그것을 이용한 지하철 객실정보 전송방법
CN109866780B (zh) 一种汽车初始安全自检系统的自检方法
CN108482253A (zh) 一种货车盲区检测装置、方法和系统
CN116643515A (zh) 一种5g远程驾驶设备及其控制方法
CN109889792A (zh) 一种基于v2x的车载视频直传方法
CN102514531A (zh) 车载全景实时监控及记录系统
DE102021202955B4 (de) Verfahren zur Gefahrenabwendung innerhalb eines Verkehrsvernetzungssystems
CN106143305A (zh) 一种汽车车载全景泊车系统
JP2019140472A (ja) 遠隔操縦される車両に搭載される画像送信装置
CN114500594A (zh) 一种用于自动驾驶的故障处理方法
CN214475513U (zh) 一种基于5g的无人驾驶矿卡远程控制系统
CN220064689U (zh) 适用于矿用无人驾驶车辆的遥控驾驶系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant