CN108776481B - 一种平行驾驶控制方法 - Google Patents
一种平行驾驶控制方法 Download PDFInfo
- Publication number
- CN108776481B CN108776481B CN201810635556.6A CN201810635556A CN108776481B CN 108776481 B CN108776481 B CN 108776481B CN 201810635556 A CN201810635556 A CN 201810635556A CN 108776481 B CN108776481 B CN 108776481B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- control
- video data
- server
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 72
- 230000007613 environmental effect Effects 0.000 claims abstract description 54
- 238000004088 simulation Methods 0.000 claims abstract description 11
- 230000005540 biological transmission Effects 0.000 claims description 11
- 230000002159 abnormal effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 13
- 238000012423 maintenance Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000007670 refining Methods 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Abstract
本发明实施例涉及一种平行驾驶控制方法,包括:车辆中的处理单元通过感知单元获取多个方位的环境视频数据;每个方位的环境视频数据对应一个摄像头位置信息;将多个方位的环境视频数据、环境视频数据对应的摄像头位置信息和车辆的车辆ID信息发送至第一服务器;第一服务器根据摄像头位置信息和车辆ID信息确定显示页面的链接信息;显示页面接收用户输入的显示指令;显示页面根据链接信息通过第二服务器从第一服务器中获取多个方位的环境视频数据,并显示;模拟驾驶设备接收用户根据多个方位的环境视频数据输入的控制指令,对控制指令进行解析,得到控制参数;通过第三服务器将控制参数发送至车辆中的处理单元,用以处理单元根据控制参数工作。
Description
技术领域
本发明涉及自动驾驶领域,尤其涉及一种平行驾驶控制方法。
背景技术
目前关于平行驾驶的系统极少,大多处于理论阶段,平行驾驶最初想法形成于20世纪90年代中期,2005年正式提出了平行驾驶的概念,将人工系统与实际系统虚实互动的思想被应用于驾驶领域,形成了当下平行驾驶理论的雏形。对自动驾驶来说,自动驾驶算法和深度学习固然重要。但是要做到自动驾驶产品的落地,降低自动驾驶产品的维护,就必须将自动驾驶和模拟驾驶相结合,实现真正意义上的平行驾驶。也就是自动驾驶模式和模拟驾驶模式之间的无缝切换工作。
自动驾驶远程监控后台领域是自动驾驶确保安全性的一个重要节点,在众多交通突发事件等机器算法不可为的前提下,需要人为进行干预和记录当前所发生的事件。作为无人驾驶车辆,在正常道路中运营驾驶时,往往会遇到一些不可抗力因素的故障问题。那么此时,车辆内部的事件回放功能无法满足于对故障的判断时,则需要专人前去将车辆给运回检修。这样会造成人力成本的增加与时间成本的增加。
发明内容
本发明的目的是针对现有技术的缺陷,提供一种平行驾驶控制方法,通过区分并精细化服务器各项的功能,能够实时、精准的将车辆周围的摄像头数据投影到页面供运营人员进行观看,使得让运营人员可以实时、精准的了解到目前无人驾驶车辆在运行中的各种周边环境状态,也使得无人驾驶车辆在一些特殊环境中,在自动驾驶功能失效等不能够让车辆自主进行运行时,运营人员可以通过远程遥控功能和视频服务进行回掉,通过网络遥控将车辆开回维修点进行维护,而不是需要专门人员前去将车辆运送回维修点,从而降低人力成本的增加与时间成本。
为了实现上述目的,本发明实施例提供了一种平行驾驶控制方法,包括:
车辆中的处理单元通过车辆中的感知单元获取多个方位的环境视频数据;每个方位的环境视频数据对应一个摄像头位置信息;
将所述多个方位的环境视频数据、所述环境视频数据对应的摄像头位置信息和所述车辆的车辆ID信息发送至第一服务器;
所述第一服务器根据所述摄像头位置信息和所述车辆ID信息确定显示页面的链接信息;
所述显示页面接收用户输入的显示指令;所述显示指令包括所述链接信息;
所述显示页面根据所述链接信息通过第二服务器从所述第一服务器中获取所述多个方位的环境视频数据,并显示;
模拟驾驶设备接收所述用户根据所述多个方位的环境视频数据输入的控制指令,对所述控制指令进行解析,得到控制参数;所述控制指令包括所述车辆ID信息;
根据所述车辆ID信息通过第三服务器将所述控制参数发送至所述车辆中的处理单元,用以所述处理单元根据所述控制参数工作。
优选的,所述感知单元包括多个摄像装置;
所述摄像装置对所述车辆的环境进行监测,生成所述环境视频数据;
每个所述摄像装置对应一个所述摄像头的位置信息,使得每个方位的环境视频数据对应一个摄像头位置信息。
优选的,所述第一服务器中存储有所述摄像头位置信息和所述车辆ID信息与所述显示页面的链接信息的对应关系。
优选的,在所述第一服务器通过第二服务器将所述多个方位的环境视频数据和所述链接信息发送至所述显示页面之前,所述方法还包括:
所述第一服务器根据所述摄像头的位置信息对所述环境视频数据进行压缩。
优选的,在所述显示页面接收所述用户根据所述多个方位的环境视频数据输入的控制指令之前,所述方法还包括:
所述显示页面或遥控装置向所述车辆中的处理单元发送模式切换指令,用以所述处理单元根据所述模式切换指令工作。
进一步优选的,所述处理单元根据所述模式切换指令工作具体为:
所述处理单元根据所述模式切换指令向所述车辆中的车辆控制单元发送制动指令,用以所述车辆控制单元根据所述制动指令工作;
所述处理单元接收所述控制指令,并将所述控制指令发送至所述车辆控制单元,用以所述车辆控制单元根据所述制动指令工作后,再根据所述控制指令工作。
优选的,在所述根据所述车辆ID信息通过第三服务器将所述控制指令发送至所述车辆中的处理单元之前,所述方法还包括:
所述处理单元通过感知单元获取车辆状态数据;
将所述车辆状态数据发送至所述显示页面,用以所述模拟驾驶设备接收所述用户根据所述显示页面所显示的所述异常数据和所述多个方位的环境视频数据输入的控制指令。
优选的,所述处理单元根据所述控制参数工作具体为:
所述处理单元根据第一时间参数接收所述控制参数;
当所述处理单元根据第一时间参数接收的所述控制参数为空时,则所述处理单元根据上一个控制参数工作;
当所述处理单元根据第二时间参数接收的所述控制参数为空时,则所述处理单元向所述车辆中的车辆控制单元发送制动指令,用以所述车辆控制单元根据所述制动指令工作。
优选的,在所述处理单元根据所述控制参数工作之后,所述方法还包括:
所述感知单元获取所述车辆的环境激光点数据;
当所述环境激光点数据与所述控制参数不对应时,所述处理单元生成所述制动指令发送至所述车辆控制单元,并生成报警信息发送至所述显示页面。
进一步优选的,所述方法还包括:
将所述第一服务器、所述第二服务器和所述第三服务器集成在一个远程控制服务器中;
所述远程控制服务器包括信息标识模块、转发模块和参数传输模块;
所述信息标识模块用于根据所述摄像头位置信息和所述车辆ID信息确定所述显示页面的链接信息;所述转发模块用于提供实时发送通道;所述参数传输模块用于传输车辆控制参数。
本发明实施例提供的一种平行驾驶控制方法,通过区分并精细化服务器各项的功能,能够实时、精准的将车辆周围的摄像头数据投影到页面供运营人员进行观看,使得让运营人员可以实时、精准的了解到目前无人驾驶车辆在运行中的各种周边环境状态,也使得无人驾驶车辆在一些特殊环境中,在自动驾驶功能失效等不能够让车辆自主进行运行时,运营人员可以通过远程遥控功能和视频服务进行回掉,通过网络遥控将车辆开回维修点进行维护,而不是需要专门人员前去将车辆运送回维修点,从而降低人力成本的增加与时间成本。
附图说明
图1为本发明实施例提供的一种平行驾驶控制方法的流程图。
具体实施方式
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
为了更好的理解本发明所提出的平行驾驶控制方法的执行流程,首先对平行驾驶的概念进行说明。
所谓平行驾驶就是将自动驾驶与模拟驾驶相结合,在自动驾驶模式和模拟驾驶模式之间进行安全、平稳切换,才能实现真正意义上的平行驾驶。其中,自动驾驶模式可以理解为无人驾驶车辆依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作,让无人驾驶车辆可以在没有任何人类主动的操作下,按所需轨迹自动安全行驶的行驶模式。模拟驾驶模式可以理解为用户通过虚拟驾驶设备,在虚拟的驾驶环境中,控制无人驾驶车辆按所需轨迹行驶的行驶模式。
本发明实施例提供的一种平行驾驶控制方法,用于通过网络及服务器远程控制无人驾驶车辆,使得无人驾驶车辆在自动驾驶模式和模拟驾驶模式之间切换,根据用户需求并结合实际情况工作。其方法流程图如图1所示,包括如下步骤:
步骤110,车辆中的处理单元通过感知单元获取多个方位的环境视频数据;
具体的,车辆可以理解为一辆无人驾驶车,包括处理单元、感知单元和车辆控制单元。
其中,处理单元可以理解为无人驾驶车的大脑,主要用于处理、计算各种指令得到各种控制参数。
感知单元用于获取车辆的环境视频数据和车辆状态数据。感知单元包括用于获取环境视频数据的环境感知模块。环境感知模块包括多个摄像装置,每个摄像装置所监测的车辆周围环境的方向不同,得到的环境视频数据所代表的方位也不同,因此每个方位的环境视频数据都会对应一个摄像头位置信息。这样就可以区分环境视频数据来自于具体哪个方位的摄像装置了。
车辆控制单元可以理解为用于控制无人驾驶车的运行的单元,包括控制车辆行进方向和行进速度等。
这里需要说明的是,车辆中所包含的各个单元不仅限于上述的处理单元、感知单元和车辆控制单元,本领域技术人员可以根据需要自行设置车辆中所包含其他单元或组件。
在一些优选的实施例中,摄像装置为四个,分别设置于车辆的前后左右四个方位,这四个摄像装置所构成的监控角度为360°。
在一些更优的实施例中,感知单元还包括用于获取车辆状态数据的车辆状态感知模块。车辆状态感知模块包括但不限于温度计、轮速计、油量传感器、剩余电量传感器、电池健康状态传感器、磨损传感器、胎压传感器中的一种或多种。环境感知模块除了包括多个摄像装置,还包括但不限于GPS装置、惯性导航、激光雷达和毫米波雷达中的一种或多种;GPS装置用于获取车体的经纬度信息,从而对车体进行定位;惯性导航根据车体六个自由度的加速度信息对车辆的运动姿态进行估计、并修正定位信息;激光雷达用于检测车道线边缘、障碍物信息、车辆与行人;毫米波雷达用于检测结构化道路上的车辆;摄像机用于检测交通信号灯、交通标志、障碍物信息、车辆、行人以及其它传感器无法准确辨别的物体。感知单元通过多种传感器融合的方式对车辆自身以及周围的驾驶环境进行实时监测,为车辆的自动驾驶提供了详尽精确的数据信息。
步骤120,将多个方位的环境视频数据、环境视频数据对应的摄像头位置信息和车辆的车辆ID信息发送至第一服务器;
具体的,第一服务器可以理解为专用于接收环境视频数据的服务器。处理单元将多个方位的环境视频数据、环境视频数据对应的摄像头位置信息和车辆的车辆ID信息发送至第一服务器。车辆ID信息可以理解为标识车辆唯一身份信息的标识信息。
步骤130,第一服务器根据摄像头位置信息和车辆ID信息确定显示页面的链接信息;
具体的,为了标识每一辆车中的每一个方位的摄像装置,需要事先在第一服务器中设置编号不同的消息句柄,用以区分环境视频数据来自于具体哪辆车中的哪个方位的摄像装置。显示页面的链接信息可以理解为第一服务器中的消息句柄指。也就是说第一服务器中存储有摄像头位置信息和车辆ID信息与显示页面的链接信息的对应关系。显示页面可以理解为显示环境视频数据的显示窗口或显示装置。每辆车、每个方位的摄像装置所产生的环境视频数据都应有一个特定的显示地址或位置,使得用户可以在点击车辆视频链接时,准确的找到链接所对应车辆的环境视频数据,同时也可以根据环境视频数据在显示页面中的地址或位置得知环境视频数据所反映的视频对应于车辆的哪个方向。
步骤140,显示页面根据链接信息通过第二服务器从第一服务器中获取多个方位的环境视频数据,并显示;
具体的,显示页面接收用户输入的显示指令,显示指令可以理解为用户点击车辆视频链接或通过其他连接方式获取车辆的环境视频数据的指令。显示指令包括链接信息,使得显示页面可以根据链接信息从第一服务器中获取到相对应的、用户所需的环境视频数据。
在显示页面从第一服务器中获取环境视频数据时,是通过第二服务器从第一服务器对环境视频数据进行转发获取的。第二服务器可以理解为专用于实时发送通道的WebSocket服务器。利用WebSocket服务器可以根据车辆ID和摄像头位置信息,将接收到环境视频数据发送到页面链接记录点中,从而实现显示页面根据链接信息实时向用户显示多个方位的环境视频数据。
在一些优选的实施例中,由于对不同方位的视频的清晰度要求通常也有所不同,因此在第一服务器通过第二服务器将多个方位的环境视频数据和链接信息发送至显示页面之前,第一服务器根据摄像头的位置信息对环境视频数据进行压缩处理。这一过程可以理解为根据摄像装置的具体方位选择其相应的传输图像分辨率的帧率,根据帧率对视频图像进行压缩的过程。通常,摄像头的位置信息为“前方”的环境视频数据的图像分辨率要高于其他环境视频数据。
在一些更优的实施例中,由于网络不通畅或其他因素可能导致显示页面在获取环境视频数据时存在卡顿或滞后现象,使得显示页面在一段短时间内获取不到环境视频数据。此时应分为两种情况处理。第一,显示页面根据第一时间参数获取环境视频数据,当显示页面根据第一时间参数获取的环境视频数据不为空时,代表了远程控制通道畅通,则显示当前所获取到的环境视频数据。当显示页面根据第一时间参数获取的环境视频数据为空时,代表了远程控制通道不畅通,环境视频数据的传输存在滞后现象,则显示页面继续显示上一个环境视频数据的画面。第二,当显示页面根据第二时间参数获取的环境视频数据仍为空时,代表了远程控制通道不畅通,环境视频数据的传输存在卡顿现象,则显示页面通过第一服务器和/或第二服务器向车辆中的处理单元发送制动指令,处理单元再将制动指令发送至车辆控制单元,用以车辆控制单元根据制动指令工作。第二时间参数所代表的时间大于第一时间参数所代表的时间。这一过程可以理解为,若显示页面在一段较短时间内没有获取到环境视频数据,则说明远程控制通道不畅通,则显示页面会默认显示上一个环境视频画面。若显示页面在一段更长时间内仍没有获取到环境视频数据,则车辆紧急驻车以确保行车安全。
步骤150,向车辆中的处理单元发送模式切换指令,使得处理单元根据模式切换指令工作;
具体的,模式切换指令可以理解为控制车辆从自动驾驶模式切换到模拟驾驶模式的指令。用户通过显示页面或遥控装置向车辆中的处理单元发送模式切换指令,使得车辆根据模式切换指令结束自动驾驶模式,开始模拟驾驶模式,等待相应操控信息。
在一些优选的实施例中,本步骤还可以是在步骤110之前执行的。也就是说,模式切换指令可以是在获取环境视频数据之前发送给车辆的,也可以是在获取环境视频数据之后发送的。当模式切换指令是在获取环境视频数据之前发送给车辆的时,车辆处理单元根据模式切换指令,将多个方位的环境视频数据、环境视频数据对应的摄像头位置信息和车辆的车辆ID信息发送至第一服务器。这种情况可以理解为,用户在切换到模拟驾驶模式之前,无需一定看到当前车辆环境视频,获取环境视频数据的过程可以发生在接收到模式切换指令之后。但只要用户切换到模拟驾驶模式了,用户必须根据当前车辆环境视频做出相应操作,则车辆处理单元一定会将多个方位的环境视频数据、环境视频数据对应的摄像头位置信息和车辆的车辆ID信息发送至第一服务器。而当模式切换指令是在获取环境视频数据之后发送给车辆的时,这种情况可以理解为,用户需要根据当前车辆环境视频确定是否需要切换到模拟驾驶模式,因此获取环境视频数据的过程是发生在接收到模式切换指令之前的。
步骤160,模拟驾驶设备接收用户根据多个方位的环境视频数据输入的控制指令,对控制指令进行解析,得到控制参数;
具体的,用户根据多个方位的环境视频数据使用模拟驾驶设备在虚拟驾驶环境中对车辆进行操控驾驶。模拟驾驶设备包括但不限于方向操控模块、档位操控模块、油门操控模块和刹车操控模块等操作模块,以及用于处理信息参数的计算处理模块。操作模块还可以集成在一个手柄或键盘中。模拟驾驶设备的计算处理模块对用户通过模拟驾驶设备的操作模块输入的控制指令进行解析,得到的控制参数包括但不限于方向盘操控参数、档位操控参数、油门操控参数和刹车操控参数,本领域技术人员可以根据需要自行设置用户可对车辆进行远程控制的内容。并且,控制指令包括车辆ID信息,模拟驾驶设备解析控制指令后,还会得到用于区分车辆身份信息的车辆ID信息。
在一些优选的实施例中,显示页面不仅会显示车辆的环境视频数据提供给用户,作为用户对车辆操控的参考,还会显示车辆状态数据给用户作为对车辆操控的参考信息。
进一步具体的,车辆的处理单元通过感知单元中的车辆状态感知模块获取车辆状态数据,并将车辆状态数据发送至显示页面,用以模拟驾驶设备接收用户根据车辆状态数据和多个方位的环境视频数据输入的控制指令。
在一个具体的例子中,用户想要远程操控无人驾驶车辆从A地行驶至B地。当显示页面中显示车辆状态数据为“剩余电量10%”时,用户需要先操控无人驾驶车辆从A地行驶至离A地最近的充电站,在对无人驾驶车辆进行充电后,操作操控无人驾驶车辆从充电站行驶至B地。而当显示页面中显示车辆状态数据为“剩余电量80%”时,用户直接操控无人驾驶车辆从A地行驶至B地即可。
步骤170,通过第三服务器将控制参数发送至车辆中的处理单元,用以处理单元根据控制参数工作;
具体的,第三服务器可以理解为专用于传输车辆控制参数的服务器。模拟驾驶设备根据车辆ID信息确定当前控制参数应该对应的车辆,并通过第三服务器将控制参数发送至对应车辆中的处理单元中。
车辆的处理单元根据第一时间参数获取控制参数,当处理单元根据第一时间参数获取的控制参数不为空时,代表了远程控制通道畅通,则处理单元对控制参数进行综合解析,确定车辆应该如何按照用户的远程操作指令行驶,生成对应的参数发送至车辆控制单元,使得车辆控制单元按照用户的远程操作指令行驶控制车辆行进方向和行进速度等。当处理单元根据第一时间参数获取的控制参数为空时,代表了远程控制通道不畅通,数据传输滞后,用户的相关控制参数没有传输过来,则处理单元根据上一个控制参数工作,生成上一个控制参数对应的参数发送至车辆控制单元,使得车辆控制单元按照用户的上一个远程操作指令行驶控制车辆行进方向和行进速度等。而当处理单元根据第二时间参数获取的控制参数仍为空时,代表了远程控制通道不畅通,数据传输严重滞后,则处理单元向车辆中的车辆控制单元发送制动指令,用以车辆控制单元根据制动指令工作。第二时间参数所代表的时间大于第一时间参数所代表的时间。这一过程可以理解为,若处理单元在一段较短时间内没有接收到控制参数,则说明远程控制通道不畅通,则车辆会默认执行上一个控制参数,使得车辆仍保持当前状态行驶。若处理单元在一段更长时间内仍没有接收到控制参数,则车辆紧急驻车以确保行车安全。
在一些优选的实施例中,在用户使用模拟驾驶设备对车辆进行操作时,有一些特殊情况需要注意。当显示页面所显示的车辆环境画面静止不动时,可能有两种情况。一是可能由于用户通过模拟驾驶设备操作车辆驻车,二是可能由于远程控制通道不畅通导致显示页面获取不到环境视频数据。也就是说,当用户通过模拟驾驶设备操作车辆驻车后,即使显示页面所显示的车辆环境画面静止不动,也未必代表了驻车成功。如果只通过显示页面所显示的车辆环境画面前后情况来确定驻车是否成功,在一些极端例子中会存在一些判断失误的情况。因此在本实施例中,采用对比车辆所采集到的激光点数据与控制参数的方式,确定驻车是否成功。
进一步具体的,感知单元中的激光雷达模块对车辆周围环境中的物体进行激光点采集,使得感知单元可以获取到车辆的环境激光点数据。如果车辆是静止的,那么环境激光点数据应该也是成片状静止不动的。如果车辆是移动的,那么环境激光点数据应该是成多条线状移动的。当环境激光点数据在驻车时间后仍是成多条线状且是移动的,但控制参数却为代表了应该在驻车时间内驻车时,代表了环境激光点数据与控制参数不对应,在这种情况下,即使用户通过观察显示页面所显示的车辆环境画面是静止不动的,车辆也没有真正的驻车。则处理单元生成制动指令发送至车辆控制单元,使得车辆驻车。并且,处理单元生成报警信息发送至显示页面,用以用户可以通过显示页面显示报警信息得知可能存在远程控制通道不畅通导致显示页面获取不到环境视频数据,使得画面显示不及时,且用户的驻车操作并没有使得车辆也没有驻车的情况,需要进行相关检查。
在一些更优的实施例中,在车辆根据模式切换指令从自动驾驶模式切换到模拟驾驶模式时,车辆会先减速或停车,然后再等待相应模拟驾驶的操控信息,这样可以避免因车速过高而导致的操行信息对车辆对的控制效果不及时,使得模式之间切换过程更为安全、平稳。
进一步具体的,处理单元根据模式切换指令向车辆中的车辆控制单元发送制动指令。制动这令可以理解为控制刹车指令。车辆控制单元先根据制动指令工作,也就是先根据制动指令减速或停车。然后,处理单元再接收控制参数,并将控制参数发送至车辆控制单元,使得车辆控制单元根据制动指令工作后,再根据控制参数工作。
在另一些优选的实施例中,第一服务器、第二服务器和第三服务器可以集成在一个远程控制服务器中。该远程控制服务器中包括三个模块,分别是用于根据摄像头位置信息和车辆ID信息确定显示页面的链接信息的信息标识模块、用于提供实时发送通道的WebSocket转发模块、以及用于传输车辆控制参数的参数传输模块。信息标识模块在本实施例中的功能与作用参照于第一服务器,WebSocket转发模块在本实施例中的功能与作用参照于第二服务器,参数传输模块在本实施例中的功能与作用参照于第三服务器。
本发明实施例提供的一种平行驾驶控制方法,通过区分并精细化服务器各项的功能,能够实时、精准的将车辆周围的摄像头数据投影到页面供运营人员进行观看,使得让运营人员可以实时、精准的了解到目前无人驾驶车辆在运行中的各种周边环境状态,也使得无人驾驶车辆在一些特殊环境中,在自动驾驶功能失效等不能够让车辆自主进行运行时,运营人员可以通过远程遥控功能和视频服务进行回掉,通过网络遥控将车辆开回维修点进行维护,而不是需要专门人员前去将车辆运送回维修点,从而降低人力成本的增加与时间成本。
专业人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、用户终端执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种平行驾驶控制方法,其特征在于,所述方法包括:
车辆中的处理单元通过车辆中的感知单元获取多个方位的环境视频数据;每个方位的环境视频数据对应一个摄像头位置信息;
将所述多个方位的环境视频数据、所述环境视频数据对应的摄像头位置信息和所述车辆的车辆ID信息发送至第一服务器;
所述第一服务器根据所述摄像头位置信息和所述车辆ID信息确定显示页面的链接信息;
所述显示页面接收用户输入的显示指令;所述显示指令包括所述链接信息;
所述显示页面根据所述链接信息通过第二服务器从所述第一服务器中获取所述多个方位的环境视频数据,并显示;
模拟驾驶设备接收所述用户根据所述多个方位的环境视频数据输入的控制指令,对所述控制指令进行解析,得到控制参数;所述控制指令包括所述车辆ID信息;
根据所述车辆ID信息通过第三服务器将所述控制参数发送至所述车辆中的处理单元,用以所述处理单元根据所述控制参数工作。
2.根据权利要求1所述的平行驾驶控制方法,其特征在于,所述感知单元包括多个摄像装置;
所述摄像装置对所述车辆的环境进行监测,生成所述环境视频数据;
每个所述摄像装置对应一个所述摄像头的位置信息,使得每个方位的环境视频数据对应一个摄像头位置信息。
3.根据权利要求1所述的平行驾驶控制方法,其特征在于,所述第一服务器中存储有所述摄像头位置信息和所述车辆ID信息与所述显示页面的链接信息的对应关系。
4.根据权利要求1所述的平行驾驶控制方法,其特征在于,在所述第一服务器通过第二服务器将所述多个方位的环境视频数据和所述链接信息发送至所述显示页面之前,所述方法还包括:
所述第一服务器根据所述摄像头的位置信息对所述环境视频数据进行压缩。
5.根据权利要求1所述的平行驾驶控制方法,其特征在于,在所述显示页面接收所述用户根据所述多个方位的环境视频数据输入的控制指令之前,所述方法还包括:
所述显示页面或遥控装置向所述车辆中的处理单元发送模式切换指令,用以所述处理单元根据所述模式切换指令工作。
6.根据权利要求5所述的平行驾驶控制方法,其特征在于,所述处理单元根据所述模式切换指令工作具体为:
所述处理单元根据所述模式切换指令向所述车辆中的车辆控制单元发送制动指令,用以所述车辆控制单元根据所述制动指令工作;
所述处理单元接收所述控制指令,并将所述控制指令发送至所述车辆控制单元,用以所述车辆控制单元根据所述制动指令工作后,再根据所述控制指令工作。
7.根据权利要求1所述的平行驾驶控制方法,其特征在于,在所述根据所述车辆ID信息通过第三服务器将所述控制指令发送至所述车辆中的处理单元之前,所述方法还包括:
所述处理单元通过感知单元获取车辆状态数据;
将所述车辆状态数据发送至所述显示页面,用以所述模拟驾驶设备接收所述用户根据所述显示页面所显示的异常数据和所述多个方位的环境视频数据输入的控制指令。
8.根据权利要求1所述的平行驾驶控制方法,其特征在于,所述处理单元根据所述控制参数工作具体为:
所述处理单元根据第一时间参数接收所述控制参数;
当所述处理单元根据第一时间参数接收的所述控制参数为空时,则所述处理单元根据上一个控制参数工作;
当所述处理单元根据第二时间参数接收的所述控制参数为空时,则所述处理单元向所述车辆中的车辆控制单元发送制动指令,用以所述车辆控制单元根据所述制动指令工作。
9.根据权利要求1所述的平行驾驶控制方法,其特征在于,在所述处理单元根据所述控制参数工作之后,所述方法还包括:
所述感知单元获取所述车辆的环境激光点数据;
当所述环境激光点数据与所述控制参数不对应时,所述处理单元生成制动指令发送至所述车辆控制单元,并生成报警信息发送至所述显示页面。
10.根据权利要求1-9任一项所述的平行驾驶控制方法,其特征在于,所述方法还包括:
将所述第一服务器、所述第二服务器和所述第三服务器集成在一个远程控制服务器中;
所述远程控制服务器包括信息标识模块、转发模块和参数传输模块;
所述信息标识模块用于根据所述摄像头位置信息和所述车辆ID信息确定所述显示页面的链接信息;所述转发模块用于提供实时发送通道;所述参数传输模块用于传输车辆控制参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810635556.6A CN108776481B (zh) | 2018-06-20 | 2018-06-20 | 一种平行驾驶控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810635556.6A CN108776481B (zh) | 2018-06-20 | 2018-06-20 | 一种平行驾驶控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108776481A CN108776481A (zh) | 2018-11-09 |
CN108776481B true CN108776481B (zh) | 2021-09-10 |
Family
ID=64026406
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810635556.6A Active CN108776481B (zh) | 2018-06-20 | 2018-06-20 | 一种平行驾驶控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108776481B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110708504A (zh) * | 2019-09-06 | 2020-01-17 | 北京智行者科技有限公司 | 基于平行驾驶的数据处理方法及系统 |
CN111061268A (zh) * | 2019-12-12 | 2020-04-24 | 长城汽车股份有限公司 | 自动驾驶车辆的远程监管方法、装置及系统 |
CN110992764B (zh) * | 2019-12-27 | 2022-05-31 | 北京和利时电机技术有限公司 | 模拟驾驶控制系统、方法、装置和可读存储介质 |
CN111497835B (zh) * | 2020-04-24 | 2022-03-08 | 北京智行者科技有限公司 | 车辆平行驾驶及自动防撞系统 |
CN112562316B (zh) * | 2020-11-04 | 2021-10-26 | 中山大学 | 一种基于acp理论的智能网联车平行驾驶控制方法 |
CN112687122B (zh) * | 2020-12-22 | 2022-10-28 | 北京百度网讯科技有限公司 | 自动驾驶过程中的信息传输方法、车辆、云端和驾驶舱 |
CN112622931A (zh) * | 2020-12-22 | 2021-04-09 | 北京百度网讯科技有限公司 | 平行驾驶中的异常处理方法、自动驾驶车辆及云端驾驶舱 |
CN114884926A (zh) * | 2022-06-14 | 2022-08-09 | 贵州大学 | 一种用于远程驾驶的点对点视频传输方法及系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101859476A (zh) * | 2010-05-25 | 2010-10-13 | 金龙联合汽车工业(苏州)有限公司 | 车辆故障诊断远程报警系统和方法 |
CN103507814A (zh) * | 2012-06-29 | 2014-01-15 | 深圳市比亚迪汽车有限公司 | 一种控制车辆行驶的系统及控制车辆行驶的方法 |
CN105329211A (zh) * | 2015-12-15 | 2016-02-17 | 重庆联导金宏电子有限公司 | 具有车况实时显示功能的车辆控制系统 |
CN105933440A (zh) * | 2016-06-20 | 2016-09-07 | 福建省福工动力技术有限公司 | 一种新能源汽车的远程监控系统和远程监控方法 |
KR20170004715A (ko) * | 2015-07-03 | 2017-01-11 | 엘지전자 주식회사 | 차량 운전 보조장치 및 이를 포함하는 차량 |
CN106394545A (zh) * | 2016-10-09 | 2017-02-15 | 北京汽车集团有限公司 | 驾驶系统、无人驾驶车辆及车辆远程控制端 |
CN106488191A (zh) * | 2016-10-27 | 2017-03-08 | 山东省科学院自动化研究所 | 电动汽车远程安全监控方法 |
CN107589745A (zh) * | 2017-09-22 | 2018-01-16 | 京东方科技集团股份有限公司 | 驾驶方法、车载驾驶端、远程驾驶端、设备和存储介质 |
CN107664957A (zh) * | 2016-07-28 | 2018-02-06 | 比亚迪股份有限公司 | 基于车辆远程控制的应急驾驶方法、系统及车辆 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2360658B (en) * | 2000-03-20 | 2004-09-08 | Hewlett Packard Co | Camera with user identity data |
JP2003241833A (ja) * | 2002-02-18 | 2003-08-29 | Hitachi Ltd | 移動型ロボットによる情報配信サービス及び情報収集システム |
US20150235094A1 (en) * | 2014-02-17 | 2015-08-20 | General Electric Company | Vehicle imaging system and method |
WO2007016731A1 (en) * | 2005-08-05 | 2007-02-15 | Vigil Systems Pty Ltd | Computerised information collection and training method and apparatus |
MXPA06013614A (es) * | 2006-11-24 | 2007-12-06 | Global Sight S A De C V | Sistemas de transmision de datos en forma remota y digital y localizacion satelital desde terminales moviles o fijas con camaras de vigilancia urbana para reconocimiento facial, detector de disparos, captura de personal de seguridad publica y persona |
CN101583845B (zh) * | 2007-01-10 | 2013-08-21 | 通腾科技股份有限公司 | 指示交通延迟的方法、其计算机程序以及导航系统 |
CN101369952A (zh) * | 2007-08-17 | 2009-02-18 | 徐萍 | 数据自动交互系统及方法 |
CN101127784B (zh) * | 2007-09-29 | 2011-08-03 | 网秦无限(北京)科技有限公司 | 在移动终端上快捷获取网络信息服务的方法和系统 |
CN202798892U (zh) * | 2012-09-04 | 2013-03-13 | 罗列 | 一种行车救援保障呼叫器和行车救援保障呼叫系统 |
JP5852530B2 (ja) * | 2012-09-07 | 2016-02-03 | 株式会社 日立産業制御ソリューションズ | 移動体追跡表示装置、移動体追跡表示方法およびプログラム |
CN104008371B (zh) * | 2014-05-22 | 2017-02-15 | 南京邮电大学 | 一种基于多摄像机的区域可疑目标跟踪与识别方法 |
US9813484B2 (en) * | 2014-12-31 | 2017-11-07 | Motorola Solutions, Inc. | Method and apparatus analysis of event-related media |
US9521522B2 (en) * | 2015-02-19 | 2016-12-13 | Indooratlas Oy | Mobile apparatus with search function |
CN105320132A (zh) * | 2015-10-23 | 2016-02-10 | 郝雪凝 | 船舶动态监控方法及系统 |
CN105448087A (zh) * | 2015-10-23 | 2016-03-30 | 吴加强 | 一种高速公路车辆快速通关、不停车缴费、安全预警、大雾监测、指挥管理综合系统及方法 |
CN106294629A (zh) * | 2016-08-03 | 2017-01-04 | 长信智控网络科技有限公司 | 一种公交车运行查询方法及其查询系统 |
-
2018
- 2018-06-20 CN CN201810635556.6A patent/CN108776481B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101859476A (zh) * | 2010-05-25 | 2010-10-13 | 金龙联合汽车工业(苏州)有限公司 | 车辆故障诊断远程报警系统和方法 |
CN103507814A (zh) * | 2012-06-29 | 2014-01-15 | 深圳市比亚迪汽车有限公司 | 一种控制车辆行驶的系统及控制车辆行驶的方法 |
KR20170004715A (ko) * | 2015-07-03 | 2017-01-11 | 엘지전자 주식회사 | 차량 운전 보조장치 및 이를 포함하는 차량 |
CN105329211A (zh) * | 2015-12-15 | 2016-02-17 | 重庆联导金宏电子有限公司 | 具有车况实时显示功能的车辆控制系统 |
CN105933440A (zh) * | 2016-06-20 | 2016-09-07 | 福建省福工动力技术有限公司 | 一种新能源汽车的远程监控系统和远程监控方法 |
CN107664957A (zh) * | 2016-07-28 | 2018-02-06 | 比亚迪股份有限公司 | 基于车辆远程控制的应急驾驶方法、系统及车辆 |
CN106394545A (zh) * | 2016-10-09 | 2017-02-15 | 北京汽车集团有限公司 | 驾驶系统、无人驾驶车辆及车辆远程控制端 |
CN106488191A (zh) * | 2016-10-27 | 2017-03-08 | 山东省科学院自动化研究所 | 电动汽车远程安全监控方法 |
CN107589745A (zh) * | 2017-09-22 | 2018-01-16 | 京东方科技集团股份有限公司 | 驾驶方法、车载驾驶端、远程驾驶端、设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108776481A (zh) | 2018-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108776481B (zh) | 一种平行驾驶控制方法 | |
CN108614566B (zh) | 一种平行驾驶的操作方法 | |
US20230278583A1 (en) | Autonomous driving system | |
Kim et al. | The impact of cooperative perception on decision making and planning of autonomous vehicles | |
US10599150B2 (en) | Autonomous vehicle: object-level fusion | |
CN107505944B (zh) | 一种用于对车辆进行远程协助的方法与设备 | |
US10248116B2 (en) | Remote operation of autonomous vehicle in unexpected environment | |
US20200324761A1 (en) | Automatic imposition of vehicle speed restrictions depending on road situation analysis | |
US10809719B2 (en) | Systems and methods of controlling an autonomous vehicle using an enhanced trajectory following configuration | |
Georg et al. | An adaptable and immersive real time interface for resolving system limitations of automated vehicles with teleoperation | |
EP3893221B1 (en) | Event detection method and apparatus for cloud control platform, device, and storage medium | |
CN113741485A (zh) | 车路协同自动驾驶的控制方法、装置、电子设备及车辆 | |
Reuschenbach et al. | iDriver-human machine interface for autonomous cars | |
US20200019173A1 (en) | Detecting activity near autonomous vehicles | |
EP3516467A1 (en) | Autonomous vehicle: object-level fusion | |
CN109298713A (zh) | 指令发送方法、装置及系统、自动驾驶车辆 | |
CN113348125A (zh) | 用于辅助用户遥控机动车辆的方法、计算机程序产品、遥控装置以及用于机动车辆的驾驶员辅助系统 | |
WO2023010043A1 (en) | Complementary control system for an autonomous vehicle | |
CN114212108A (zh) | 自动驾驶方法、装置、车辆、存储介质及产品 | |
EP4170450A1 (en) | Method and system for switching between local and remote guidance instructions for an autonomous vehicle | |
EP4131203A1 (en) | Information processing device, and information processing method | |
US20240124026A1 (en) | Asymmetrical Autonomous Vehicle Computing Architecture | |
US20230311929A1 (en) | Autonomous vehicle interaction with chassis control system to provide enhanced driving modes | |
US20230237793A1 (en) | False track mitigation in object detection systems | |
US20230331257A1 (en) | Responding to unsupported or degraded conditions for autonomous vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder | ||
CP01 | Change in the name or title of a patent holder |
Address after: B4-006, maker Plaza, 338 East Street, Huilongguan town, Changping District, Beijing 100096 Patentee after: Beijing Idriverplus Technology Co.,Ltd. Address before: B4-006, maker Plaza, 338 East Street, Huilongguan town, Changping District, Beijing 100096 Patentee before: Beijing Idriverplus Technology Co.,Ltd. |