CN111045425B - 一种地面无人车辆的辅助遥操作驾驶方法 - Google Patents
一种地面无人车辆的辅助遥操作驾驶方法 Download PDFInfo
- Publication number
- CN111045425B CN111045425B CN201911231835.7A CN201911231835A CN111045425B CN 111045425 B CN111045425 B CN 111045425B CN 201911231835 A CN201911231835 A CN 201911231835A CN 111045425 B CN111045425 B CN 111045425B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- pose
- unmanned vehicle
- virtual
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000008569 process Effects 0.000 claims abstract description 25
- 230000000007 visual effect Effects 0.000 claims abstract description 21
- 230000003993 interaction Effects 0.000 claims abstract description 14
- 230000005540 biological transmission Effects 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000008447 perception Effects 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 13
- 230000004927 fusion Effects 0.000 abstract description 5
- 238000004891 communication Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011065 in-situ storage Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种地面无人车辆辅助遥操作驾驶方法，该方法对无人车辆的远程遥操作过程分解虚拟领航、真实跟随两部分，虚拟领航采用基于驾驶人员反馈的虚拟平台遥控，驾驶人员在虚拟三维场景中驾驶虚拟车辆行驶；真实跟随采用基于路径跟踪的半自主技术，采用路径跟踪、速度规划来有效跟踪虚拟车辆位姿，最终达到远程遥操作目的。本发明对延迟的不确定性具有很好的鲁棒性，将驾驶视角转换为“第三视角”，降低驾驶人员的操作负担，扩大驾驶视角，实现了人机智能的实时融合；借助无人车辆自身的自主能力来辅助遥操作过程，提高了人在环控制品质；对人机交互分解为基于虚拟领航车辆的人机闭环系统和基于领航跟随的反馈自主控制系统，提高系统稳定性。
Description
技术领域
本发明属于地面无人车辆技术领域，涉及一种地面无人车辆的辅助遥操作驾驶方法。
背景技术
远程遥操作技术是地面无人车辆的一个重要技术，是实现无人驾驶的重要机动模式。研究证明，由于越野环境中的自主技术尚未得到根本性的完全解决，现阶段自主技术无法保证“任意点A到任意点B机动”的稳定性，因此所有应用于越野环境的地面无人车辆均需要人在环的远程遥操作驾驶技术来弥补现阶段自主技术所达不到的机动能力。
然而，通过无线通信链路远程对地面无人车辆进行遥操作是一件非常困难的任务。其原因在于无线通信链路中的信号传递延迟以及其不确定时滞特性，破坏了遥操作系统的同步性和实时性，严重影响系统稳定性和控制品质。随着地面无人车辆遥操作速度的提高，这一矛盾更加显著。
常规的遥操作驾驶系统是驾驶人员通过观察安装在地面无人车辆上的监控相机传输的图像、获取车辆运动状态来估计车辆所处环境，控制驾驶模拟器向地面无人车辆发送油门、制动、转向的指令。该系统是人在环的大闭环系统，其中的信号传递延迟完全依靠驾驶人员的感知与决策能力来弥补。研究发现，当延迟达到300～320ms时，驾驶人员对延迟补偿的预测跟踪能力会受到严重的影响，为避免车辆失控，操作者不得不降低驾驶速度。
针对这一问题，美国国家机器人工程中心NREC提出了基于三维场景重建的预测显示技术来试图解决延迟补偿问题，并在信号延迟750ms的条件下完成了测试验证。试验结果表明相比于没有延迟补偿，遥操作驾驶速度提升了60％。然而，该补偿是以信号延迟精确测量和估计为前提，并采用车辆运动模型对补偿延迟后的车辆位置进行预测，但是测量延迟本身也存在计算延迟且不确定。
NREC提出的延迟补偿方法以无人车辆的运动预测、三维场景的预测显示技术为核心，且以对延迟的精确测量值为运动预测的主要依据。然而，从无人车辆端到远程操控端的“上行”传输与计算延迟可以精确计算，对远程操控端到无人车辆端的“下行”延迟则无法实时计算。NREC利用上一时刻“下行”延迟代替当前时刻的“下行”延迟。这种方法在无线通信链路的传输性能较为一致、稳定的情况下误差较小，然而在无线通信链路时断时续的恶劣环境中误差较大，影响运动预测精度，进而影响遥操作性能。
发明内容
本发明的目的在于提供一种虚拟领航跟随式的地面无人车辆辅助遥操作驾驶的方法，采用虚拟领航方式补偿远程遥操作系统的信号延迟，结合地面无人车辆的自主或半自主能力，辅助高速遥操作驾驶过程。
为了实现上述目的，本发明所采用的技术方案如下：
本发明的一个目的在于提供一种地面无人车辆辅助遥操作驾驶系统，包括远程操控端与地面无人车辆端；所述远程操控端包括驾驶模拟器、计算平台、显示器、数传电台；所述的地面无人车辆端包括定位定向设备、计算设备、感知传感器、数传电台；
所述的驾驶模拟器是驾驶人员操控无人平台的信号接口，驾驶员的驾驶意图通过驾驶模拟器采集，最终作用到无人车辆上，驾驶模拟器主要提供油门、制动、转向指令；远程操控端的显示器是驾驶人员获取无人车辆反馈状态的信息接口，无人车辆的行驶状态，行驶环境信息均显示在显示器上；远程操控端的计算平台是所有软件、算法运行的载体，实时处理各自信号，在规定周期内输出各自计算结果；
远程操控端和无人车辆端的数传电台是两端实现信息共享的网路设备，数传电台传递的信息包括无人车辆采集到的当前时刻视频、定位定向、车辆行驶状态，以及远程操控端向无人平台发送的遥操作指令；
无人车辆段的计算设备是车载端所有软件、算法运行的载体；无人车辆端的感知传感器设备用于获取车辆行驶环境中的图像、激光点云数据；无人车辆端的定位设备用于获取平台实时位姿，位姿包含航向角、侧倾角、纵倾角及其变化率、经纬度与全局坐标、行驶速度。
进一步的，远程操控端的计算平台共有5个模块，分别是三维场景建模模块、视频合成模块、人机交互信息呈现与处理(人机交互接口)、虚拟领航位姿计算模块、领航位姿管理模块；
三维场景建模模块从数传设备获取无人车辆位姿、和多模态传感信息，依据当前时刻位姿、包含像素信息的距离、包含深度信息的图像、上一帧三维模型，对当前时刻三维环境进行几何建模形成三维模型，最后在模型上叠加图像的RGB信息，使模型具有颜色信息；
视频合成模块在三维模型基础上，叠加虚拟车辆位姿，并给出模拟第三视角的虚拟车辆行驶的视频；
人机交互接口向驾驶人员呈现第三视角虚拟车辆的驾驶视频，并获取驾驶员对驾驶模拟器的操作指令；
虚拟领航位姿计算模块依据无人车辆位姿和驾驶人员的操作指令，预测虚拟领航车辆行驶轨迹，对虚拟领航车辆的位姿进行推算；
领航位姿管理模块对领航车辆的位姿队列进行管理。
进一步的，无人车辆端的计算设备共有3个模块，分别是图像与激光点云采集模块、当前位姿采集模块与车辆控制模块；
车辆控制模块根据接收到的引导点序列，依次跟踪引导点；当前位姿采集模块采集定位定向信息，并记录采集时刻的时间标签；图像与激光点云采集模块采集真实环境的图像与激光点云。
进一步的，无人车辆端的感知传感器设备采用单目或立体相机、二维或三维激光雷达。
进一步的，每个单目相机水平视角60度，三维激光雷达，扫描范围360度，探测范围120米。
本发明的另一个目的在于提供一种地面无人车辆辅助遥操作驾驶方法，包括如下步骤：
第一步、通过无人车辆的定位定向设备实时获取当前位姿，采集定位定向信息，并记录采集时刻的时间标签；
第二步、通过无人车辆的感知传感器实时获取真实环境的图像与激光点云；
第三步、通过相机与激光雷达的联合标定，将图像与激光点云数据统一到车体坐标系，融合多模态传感数据，使之成为包含像素信息的距离和包含深度信息的图像，记录数据生成时刻的时间标签；
第四步、将所有数据传递到数传设备，经压缩、加密之后，通过无线链路传递到远程操控端的数传设备；
第五步、从远程操控端的数传设备获取无人车辆位姿、和多模态传感信息，依据当前时刻位姿、包含像素信息的距离、包含深度信息的图像、上一帧三维模型，对当前时刻三维环境进行几何建模形成三维场景模型，最后在模型上叠加图像的RGB信息，使模型具有颜色信息；
第六步、在三维场景模型基础上，叠加虚拟车辆位姿，并给出模拟第三视角的虚拟车辆行驶的视频；
第七步、通过人机交互接口向驾驶人员呈现第三视角虚拟车辆的驾驶视频，并获取驾驶员对驾驶模拟器的操作指令；
第八步、依据无人车辆的位姿和驾驶人员的操作指令，预测虚拟领航车辆行驶轨迹，对虚拟领航车辆的位姿进行估算；
第九步、对领航车辆的位姿队列进行管理，每次计算的虚拟领航位姿进入队列，并结合无人车辆当前位姿确定下发给车辆控制模块的引导点序列；
第十步、无人车辆端的车辆控制模块根据接收到的引导点序列，依次跟踪引导点，实现基于半自主的路径跟踪。
进一步的，所述第十步采用模型预测的轨迹跟踪算法跟踪引导点。
进一步的，所述第一步和第三步中，采用时间戳技术标记数据的当前时刻。
进一步的，所述第三步中，当前位姿对图像、激光点云数据融合过程中，按照图像与激光点云信息的时间戳对位姿信息进行差值，以便获得更精确的融合数据。
本发明的优点：(1)适用于更高的遥操作驾驶速度，驾驶人员的水平不再是限制遥操作品质的因素，遥操作性能取决于无人平台自身的自主能力(即路径跟踪能力)，而这种能力对于现阶段研制的无人平台是都已具备的。(2)对延迟的不确定性具有很好的鲁棒性，在能够感知的范围内通过调整虚拟领航跟随的间距就能够补偿可变延迟(从几百毫秒到几秒)。(3)将驾驶视角从“第一视角”转换为“第三视角”，降低驾驶人员的操作负担，扩大驾驶视角，方便密集场景中的遥操作过程。(4)实现了人机智能的实时融合，借助无人平台自身的自主能力来辅助遥操作过程，提高了人在环控制品质。(5)对人机交互的单一大闭环系统进行解耦，分解为基于虚拟领航车辆的人机闭环系统和基于领航跟随的反馈自主控制系统，提高系统稳定性。
附图说明
图1为本发明的组成示意图；
图2为本发明流程示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，下面结合附图及实施例对本发明进行进一步详细说明。应当注意，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供了一种基于虚拟领航跟随式的地面无人车辆辅助遥操作驾驶系统，从系统硬件组成上，该系统包括远程操控端、地面无人车辆端，所述的远程操控端包括驾驶模拟器、计算平台、显示器、数传电台；所述的地面无人车辆端包括定位定向设备、计算设备、视觉与激光测距传感器、数传电台。图1是本发明的系统硬件组成图。
如图1所示，远程操控端的驾驶模拟器是驾驶人员操控无人平台的信号接口，驾驶员的驾驶意图通过驾驶模拟器采集，最终作用到无人车辆上。驾驶模拟器主要提供油门、制动、转向指令。
远程操控端的显示器是驾驶人员获取无人车辆反馈状态的信息接口，无人车辆的行驶状态，行驶环境信息均显示在显示器上。本发明中显示器上显示的是无人车辆感知传感器如视觉采集到的视频信息的俯视图，或由激光点云数据生成的障碍物的占据栅格地图(OGM)，或由激光与图像融合得到的三维场景重建模型，以及通过延迟补偿计算得到的虚拟领航车的位姿与行驶状态。因此，实际上，通过虚拟领航跟随方法将远程第一视角的遥操转换为虚拟场景中第三视角的遥控方式。
远程操控端的计算平台是所有软件、算法运行的载体，共有5个模块实时处理各自信号，在规定周期内输出各自计算结果。5个模块分别是三维场景建模模块、视频合成模块、人机交互信息呈现与处理(人机交互接口)、虚拟领航位姿计算模块、领航位姿管理模块等，见图2。
远程操控端和无人车辆端的数传电台是两端实现信息共享的网路设备，数传电台传递的信息包括无人车辆采集到的当前时刻视频、定位定向、车辆行驶状态，以及远程操控端向无人平台发送的遥操作指令。
无人车辆端的计算设备是车载端所有软件、算法运行的载体，共有3个模块，分别是图像与激光点云采集模块、当前位姿采集模块与车辆控制模块，见图2。
无人车辆端的感知传感器设备是获取车辆行驶环境中的图像、激光点云数据的传感设备，通常采用单目或立体相机、二维或三维激光雷达。本发明采用三个单目彩色相机，每个相机水平视角60度，以及三维激光雷达，扫描范围360度，探测范围120米。
无人车辆端的定位设备是获取平台实时位姿的传感设备，位姿包含航向角、侧倾角、纵倾角及其变化率(即角速度)，经纬度与全局坐标，行驶速度等。
本发明还提供了一种地面无人车辆辅助遥操作驾驶方法，包括如下步骤：
第一步、通过无人车辆的定位定向设备实时获取当前位姿，采集定位定向信息，并记录采集时刻的时间标签；
第二步、通过无人车辆的感知传感器实时获取真实环境的图像与激光点云；
第三步、通过相机与激光雷达的联合标定，将图像与激光点云数据统一到车体坐标系，融合多模态传感数据，使之成为包含像素信息的距离和包含深度信息的图像，记录数据生成时刻的时间标签；
当前位姿对图像、激光点云数据融合过程中，按照图像与激光点云信息的时间戳对位姿信息进行差值，以便获得更精确的融合数据。
第四步、将所有数据传递到数传设备，经压缩、加密之后，通过无线链路传递到远程操控端的数传设备；
第五步、从远程操控端的数传设备获取无人车辆位姿、和多模态传感信息，依据当前时刻位姿、包含像素信息的距离、包含深度信息的图像、上一帧三维模型，对当前时刻三维环境进行几何建模形成三维场景模型，最后在模型上叠加图像的RGB信息，使模型具有颜色信息；
第六步、在三维场景模型基础上，叠加虚拟车辆位姿，并给出模拟第三视角的虚拟车辆行驶的视频；
第七步、通过人机交互接口向驾驶人员呈现第三视角虚拟车辆的驾驶视频，并获取驾驶员对驾驶模拟器的操作指令；
第八步、依据无人车辆的位姿和驾驶人员的操作指令，预测虚拟领航车辆行驶轨迹，对虚拟领航车辆的位姿进行估算；
第九步、对领航车辆的位姿队列进行管理，每次计算的虚拟领航位姿进入队列，并结合无人车辆当前位姿确定下发给车辆控制模块的引导点序列；
第十步、无人车辆端的车辆控制模块根据接收到的引导点序列，依次跟踪引导点，实现基于半自主的路径跟踪。本发明采用模型预测的轨迹跟踪算法跟踪引导点。
工作原理：
虚拟领航跟随式的地面无人车辆辅助遥操作驾驶的工作原理如图2所示。
无人车辆通过定位定向设备实时获取当前位姿，采集频率20Hz。当前位姿采集模块采集定位定向信息，并记录采集时刻的时间标签。
无人车辆通过感知传感器实时获取真实环境的图像与激光点云。通过相机与激光雷达的联合标定，将数据统一到车体坐标系，规范多模态传感数据，使之成为包含像素信息的距离和包含深度信息的图像。记录数据生成时刻的时间标签，组合当前位姿信息。所有数据传递到数传设备，经压缩、加密之后，通过无线链路传递到远程操控端的数传设备。
远程操控端的三维场景建模模块从数传设备获取无人车辆位姿、和多模态传感信息，依据当前时刻位姿、包含像素信息的距离、包含深度信息的图像、上一帧三维模型，对当前时刻三维环境进行几何建模形成三维模型，最后在模型上叠加图像的RGB信息，使模型具有颜色信息。建立的三维模型是虚拟领航车辆行驶的场景。实际上，也可以在包含深度信息的图像上，采用语义分割技术，对场景目标进行分类，根据分类结果对三维场景进行更精细、更逼真的模型。然而，后者需要更长的计算耗时和计算资源。
视频合成模块在三维模型基础上，叠加虚拟车辆位姿，并给出模拟第三视角的虚拟车辆行驶的视频。因虚拟车辆提前于实际车辆运行，其时序上的提前弥补了无线传输和计算所产生的延迟。理论上，三维模型的几何深度与虚拟领航车辆的位姿决定着所能够弥补的最大延迟。以静态环境遥操作为例，构建36米范围的三维模型，对遥操作速度为36千米/小时的平台，能够弥补的最大延迟为3.6秒。
人机交互接口向驾驶人员呈现第三视角虚拟车辆的驾驶视频，并获取驾驶员对驾驶模拟器的操作指令(油门、制动、转向指令的百分比)。驾驶人员不必关心真实车辆位姿，只需控制虚拟车辆在三维场景中稳定行驶，这大大降低了驾驶人员操作难度，并大大提高了驾驶速度。
虚拟领航位姿计算模块依据无人车辆位姿和驾驶人员的操作指令，预测虚拟领航车辆行驶轨迹，对虚拟领航车辆的位姿进行推算。为简化计算过程，解耦速度和转向过程，速度仅取决于油门与制动百分比，转向曲率仅取决于转向百分比。对无人平台的速度和转向特性进行建模，速度模型采用一阶惯性环节、转向模型采用二阶惯性环节，通过测试数据辨识模型参数。根据辨识模型，计算驾驶人员操作指令对应的速度和曲率。再根据速度和曲率相乘得到横摆角速度，角速度积分得到航向角。根据速度和航向角，运用航迹推算公式，预测平台轨迹。角度和位置的积分过程的初始值来自于无人平台反馈的位姿状态。显然，油门踩的越大，虚拟领航车辆的轨迹间隔越大，制动踩的越大，轨迹间隔越小，直到轨迹在原地不动。
领航位姿管理模块对领航车辆的位姿队列进行管理。每次计算的虚拟领航位姿进入队列，并结合无人车辆当前位姿确定下发给车辆控制的引导点序列。引导点序列决定着无人车辆预期行驶路线。
无人车辆端的车辆控制模块根据接收到的引导点序列，依次跟踪引导点。跟踪过程的速度和曲率控制取决于车辆控制算法，本发明采用模型预测的轨迹跟踪算法。根据无人车辆当前位姿与引导点的横向位置偏差和方向偏差决定着期望曲率，而当前位姿与引导点的纵向距离，以及当前行驶速度决定着期望速度。相邻引导点离的越远，无人平台行驶速度就越快，相邻引导点离的越近，无人平台行驶速度就越慢，当所有引导点为原地固定点时，无人平台也渐进停驶到该点。而且，跟踪控制的精度决定遥操作控制的精度。
考虑到遥操作系统的计算与传输导致的延迟，对各信息采用时间戳技术标记当前时刻。首先，采用卫星授时来同步远程操控与无人车辆端的各计算设备系统时间。其次，对各模块输出信息标记当前时刻。在信息使用过程中，先按照时间戳同步和差值各信息，之后对信息的融合进行处理。如利用当前位姿对图像、激光点云数据融合过程中，按照图像与激光点云信息的时间戳对位姿信息进行差值，以便获得更精确的融合数据。
实现过程：
远程驾驶人员控制对象是三维虚拟环境中的虚拟车辆，初始状态或停车状态下虚拟车辆和真实无人车辆的位姿重合。驾驶人员通过驾驶模拟器向虚拟车辆发送油门、制动、转向指令；虚拟车辆按照平台运动学模型约束在三维虚拟环境中行进，根据真实车辆当期位姿与虚拟场景模型之间的映射关系实时求解虚拟车辆行驶轨迹的位姿，包含全局坐标与姿态角；操控端向无人车辆发送虚拟车辆行驶的轨迹与位姿；无人车辆通过对这些轨迹的有效跟踪来实现基于半自主的遥控机动。
无人车辆将彩色相机、三维激光雷达、惯道、卫星采集到的信息通过数传电台传递至远程操控端；远程操控计算设备对上述信息进行处理，融合上一帧三维场景建模结果，建立当前时刻行驶环境的三维场景模型；在三维场景模型上叠加虚拟领航车辆的位姿与行驶状态，并通过显示设备呈现给驾驶操控人员。在每一帧处理三维模型和虚拟领航车辆位姿的过程中，以无人平台位姿、三维模型、虚拟车辆上一帧的位姿和驾驶模拟器的指令对下一帧虚拟领航车辆的位姿进行估算。无人平台和虚拟领航平台的坐标系统一到无人平台的惯性坐标系上。
技术改进点：
常规的遥操作技术是基于驾驶人员反馈的大闭环控制系统，系统的时滞特征，即计算与传输延迟，破坏了系统的同步性和实时性，影响人在环遥操作的控制品质。本发明对大闭环遥操作系统阶偶处理，分解为基于驾驶人员反馈的虚拟场景(包含三维虚拟场景和虚拟车辆)遥控过程和基于路径跟踪反馈的半自主过程，如图2所示。前者将人机交互原本包含时滞特征的“第一视角”遥操作转换成延迟可忽略的“第三视角”遥控，消除了人在环闭环过程的延迟，因此驾驶人员感觉不到通信延迟对遥操作闭环控制系统的影响；无人平台的半自主路径跟踪，提高了系统实时性和稳定性。因此，本发明对延迟的不确定性和随机性具有很好的鲁棒性。
实际上，对延迟的处理是在虚拟场景中的虚拟领航车辆位姿计算过程，虚拟车辆与真实车辆之间的时序差异是补偿延迟的依据。虚拟三维模型与虚拟车辆之间的位姿关系是所能补偿延迟的理论边界，即虚拟平台在所建立的虚拟三维场景模型中所能行驶的时间是本发明所能补偿的最大时间延迟。对纵深36米的虚拟场景，若虚拟车辆行驶速度为36千米/小时，则所能补偿的时间延迟为3.6秒。
本发明的关键点
本发明对无人车辆的远程遥操作过程分解虚拟领航、真实跟随两部分。虚拟领航采用基于驾驶人员反馈的虚拟平台遥控，驾驶人员在虚拟三维场景中驾驶虚拟车辆行驶；真实跟随采用基于路径跟踪的半自主技术，采用路径跟踪、速度规划来有效跟踪虚拟车辆位姿，最终达到远程遥操作目的。
本发明的关键点是在远程遥操作过程中适当引入了现阶段无人车辆的所能具备的自主能力，通过一定程度上的人机智能融合，有效提高了遥操作过程的稳定性和控制品质。
本发明的效果
与现有技术相比，本发明提出的技术方案具有更好的遥操作品质和驾驶体验。由于驾驶视角从“第一视角”转换为“第三视角”，大大减轻了驾驶人员的操作强度，提高了操作效率，同时无人车辆“智能”的有机融合，提高了遥操作过程的稳定性，提高了人在环控制品质。因此，驾驶人员的水平不再是限制遥操作控制品质的因素，系统性能取决于无人车辆自身的自主能力(即路径跟踪能力)。遥操作速度由原先的小于30千米/小时，显著提高到40千米/小时以上，且方便实现。同时，对延迟的不确定时滞特征具有很好的鲁棒性，在能够自适应从几百毫秒到几秒的延迟变化。
由于虚拟场景建模的复杂性，可能采用基于增强显示的场景显示方法，将虚拟车辆叠加到直接采集图像中，类似的变形可以有很多种，对于本领于的技术人员来说显而易见。因此，只要实质上没有脱离本发明的发明点及效果，这样的变形也应全部包含在本发明的保护范围之内。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。
Claims (9)
1.一种地面无人车辆的辅助遥操作驾驶方法，其特征在于，包括如下步骤：
第一步、通过无人车辆的定位定向设备实时获取当前位姿，采集定位定向信息，并记录采集时刻的时间标签；
第二步、通过无人车辆的感知传感器实时获取真实环境的图像与激光点云；
第三步、通过相机与激光雷达的联合标定，将图像与激光点云数据统一到车体坐标系，融合多模态传感数据，使之成为包含像素信息的距离和包含深度信息的图像，记录数据生成时刻的时间标签；
第四步、将所有数据传递到数传设备，经压缩、加密之后，通过无线链路传递到远程操控端的数传设备；
第五步、从远程操控端的数传设备获取无人车辆位姿和多模态传感信息，依据当前时刻位姿、包含像素信息的距离和包含深度信息的图像、上一帧三维模型，对当前时刻三维环境进行几何建模形成三维场景模型，最后在模型上叠加图像的RGB信息，使模型具有颜色信息；
第六步、在三维场景模型基础上，叠加虚拟车辆位姿，并给出模拟第三视角的虚拟车辆行驶的视频；
第七步、通过人机交互接口向驾驶人员呈现第三视角虚拟车辆的驾驶视频，并获取驾驶员对驾驶模拟器的操作指令；
第八步、依据无人车辆的位姿和驾驶人员的操作指令，预测虚拟领航车辆行驶轨迹，对虚拟领航车辆的位姿进行估算；
第九步、对领航车辆的位姿队列进行管理，每次计算的虚拟领航位姿进入队列，并结合无人车辆当前位姿确定下发给车辆控制模块的引导点序列；
第十步、无人车辆端的车辆控制模块根据接收到的引导点序列，依次跟踪引导点，实现基于半自主的路径跟踪。
2.如权利要求1所述的地面无人车辆的辅助遥操作驾驶方法，其特征在于，所述第十步采用模型预测的轨迹跟踪算法跟踪引导点。
3.如权利要求1所述的地面无人车辆的辅助遥操作驾驶方法，其特征在于，所述第一步和第三步中，采用时间戳技术标记数据的当前时刻。
4.如权利要求3所述的地面无人车辆的辅助遥操作驾驶方法，其特征在于，所述第三步中，当前位姿对图像、激光点云数据融合过程中，按照图像与激光点云信息的时间戳对位姿信息进行差值，以便获得更精确的融合数据。
5.一种实现如权利要求1至4中任一项所述的地面无人车辆的辅助遥操作驾驶方法的辅助遥操作驾驶系统，其特征在于，包括远程操控端与地面无人车辆端；所述远程操控端包括驾驶模拟器、计算平台、显示器、数传电台；所述的地面无人车辆端包括定位定向设备、计算设备、感知传感器、数传电台；
所述的驾驶模拟器是驾驶人员操控无人平台的信号接口，驾驶员的驾驶意图通过驾驶模拟器采集，最终作用到无人车辆上，驾驶模拟器主要提供油门、制动、转向指令；远程操控端的显示器是驾驶人员获取无人车辆反馈状态的信息接口，无人车辆的行驶状态，行驶环境信息均显示在显示器上；远程操控端的计算平台是所有软件、算法运行的载体，实时处理各自信号，在规定周期内输出各自计算结果；
远程操控端和无人车辆端的数传电台是两端实现信息共享的网路设备，数传电台传递的信息包括无人车辆采集到的当前时刻视频、定位定向、车辆行驶状态，以及远程操控端向无人平台发送的遥操作指令；
无人车辆端的计算设备是车载端所有软件、算法运行的载体；无人车辆端的感知传感器设备用于获取车辆行驶环境中的图像、激光点云数据；无人车辆端的定位设备用于获取平台实时位姿，位姿包含航向角、侧倾角、纵倾角及其变化率、经纬度与全局坐标、行驶速度。
6.如权利要求5所述的辅助遥操作驾驶系统，其特征在于，远程操控端的计算平台共有5个模块，分别是三维场景建模模块、视频合成模块、人机交互信息呈现与处理、虚拟领航位姿计算模块、领航位姿管理模块；
三维场景建模模块从数传设备获取无人车辆位姿、和多模态传感信息，依据当前时刻位姿、包含像素信息的距离、包含深度信息的图像、上一帧三维模型，对当前时刻三维环境进行几何建模形成三维模型，最后在模型上叠加图像的RGB信息，使模型具有颜色信息；
视频合成模块在三维模型基础上，叠加虚拟车辆位姿，并给出模拟第三视角的虚拟车辆行驶的视频；
人机交互接口向驾驶人员呈现第三视角虚拟车辆的驾驶视频，并获取驾驶员对驾驶模拟器的操作指令；
虚拟领航位姿计算模块依据无人车辆位姿和驾驶人员的操作指令，预测虚拟领航车辆行驶轨迹，对虚拟领航车辆的位姿进行推算；
领航位姿管理模块对领航车辆的位姿队列进行管理。
7.如权利要求6所述的辅助遥操作驾驶系统，其特征在于，无人车辆端的计算设备共有3个模块，分别是图像与激光点云采集模块、当前位姿采集模块与车辆控制模块；
车辆控制模块根据接收到的引导点序列，依次跟踪引导点；当前位姿采集模块采集定位定向信息，并记录采集时刻的时间标签；图像与激光点云采集模块采集真实环境的图像与激光点云。
8.如权利要求5所述的辅助遥操作驾驶系统，其特征在于，无人车辆端的感知传感器设备采用单目或立体相机、二维或三维激光雷达。
9.如权利要求8所述的辅助遥操作驾驶系统，其特征在于，每个单目相机水平视角60度，三维激光雷达，扫描范围360度，探测范围120米。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911231835.7A CN111045425B (zh) | 2019-12-05 | 2019-12-05 | 一种地面无人车辆的辅助遥操作驾驶方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911231835.7A CN111045425B (zh) | 2019-12-05 | 2019-12-05 | 一种地面无人车辆的辅助遥操作驾驶方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111045425A CN111045425A (zh) | 2020-04-21 |
| CN111045425B true CN111045425B (zh) | 2023-04-28 |
Family
ID=70234853
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911231835.7A Active CN111045425B (zh) | 2019-12-05 | 2019-12-05 | 一种地面无人车辆的辅助遥操作驾驶方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111045425B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111736604B (zh) * | 2020-06-24 | 2023-02-21 | 中国第一汽车股份有限公司 | 一种远程驾驶控制方法、装置、设备及存储介质 |
| CN111866464B (zh) * | 2020-07-28 | 2021-08-24 | 盐城工业职业技术学院 | 一种基于虚拟现实技术的农用拖拉机远程控制系统 |
| CN111866809A (zh) * | 2020-07-29 | 2020-10-30 | 江苏徐工工程机械研究院有限公司 | 一种无人矿卡远程遥控驾驶系统及方法 |
| CN112652045A (zh) * | 2020-12-30 | 2021-04-13 | 哈尔滨工业大学（威海） | 一种面向自动驾驶虚实融合测试的点云融合方法及其应用 |
| CN113093714A (zh) * | 2021-02-25 | 2021-07-09 | 沃行科技(南京)有限公司 | 一种基于无人车远程驾驶的人机交互操作界面显示方法及装置 |
| CN112987704A (zh) * | 2021-02-26 | 2021-06-18 | 深圳裹动智驾科技有限公司 | 远程监控方法、平台及系统 |
| CN112987699B (zh) * | 2021-04-27 | 2022-08-30 | 北京踏歌智行科技有限公司 | 一种基于叠加式抬头显示的矿用卡车远程应急接管系统 |
| CN113448323A (zh) * | 2021-06-16 | 2021-09-28 | 理工雷科智途(泰安)汽车科技有限公司 | 一种设置有外景采集系统的远程驾驶系统 |
| CN113589820A (zh) * | 2021-08-12 | 2021-11-02 | 广州小鹏自动驾驶科技有限公司 | 远程驾驶的辅助处理方法、装置及系统 |
| CN113777975A (zh) * | 2021-08-18 | 2021-12-10 | 浙江越影科技有限公司 | 一种自动驾驶车辆的远程辅助系统及方法 |
| CN113607184B (zh) * | 2021-09-15 | 2024-05-24 | 新石器慧通（北京）科技有限公司 | 车辆导航方法、装置、电子设备及存储介质 |
| CN113900431B (zh) * | 2021-09-30 | 2024-06-18 | 北京百度网讯科技有限公司 | 远程控制信息处理方法、装置、电子设备及自动驾驶车辆 |
| CN114550476A (zh) * | 2021-11-30 | 2022-05-27 | 深圳元戎启行科技有限公司 | 数据处理方法、车辆管理平台以及计算机可读存储介质 |
| CN114218702B (zh) * | 2021-12-10 | 2022-09-16 | 哈尔滨工业大学（深圳） | 一种面向空间在轨操控的虚拟视景仿真系统 |
| CN114839967A (zh) * | 2022-03-29 | 2022-08-02 | 广州小鹏自动驾驶科技有限公司 | 一种远程辅助驾驶方法、装置、车辆和存储介质 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102982703A (zh) * | 2012-12-12 | 2013-03-20 | 成都合纵连横数字科技有限公司 | 一种汽车驾驶仿真器与虚拟交通环境仿真系统的交互方法 |
| CN103413473A (zh) * | 2013-08-22 | 2013-11-27 | 北京科技大学 | 一种地下矿用铰接车的驾驶模拟系统 |
| CN107016704A (zh) * | 2017-03-09 | 2017-08-04 | 杭州电子科技大学 | 一种基于增强现实的虚拟现实实现方法 |
| CN107263449A (zh) * | 2017-07-05 | 2017-10-20 | 中国科学院自动化研究所 | 基于虚拟现实的机器人远程示教系统 |
| CN107300921A (zh) * | 2017-06-30 | 2017-10-27 | 宇龙计算机通信科技(深圳)有限公司 | 远程驾驶方法、装置、用户终端及计算机可读存储介质 |
| US9836895B1 (en) * | 2015-06-19 | 2017-12-05 | Waymo Llc | Simulating virtual objects |
| CN108877374A (zh) * | 2018-07-24 | 2018-11-23 | 长安大学 | 基于虚拟现实与驾驶模拟器的车辆队列仿真系统和方法 |
| CN109101690A (zh) * | 2018-07-11 | 2018-12-28 | 深圳地平线机器人科技有限公司 | 用于渲染车辆自动驾驶模拟器中的场景的方法和装置 |
| KR20190021840A (ko) * | 2017-08-24 | 2019-03-06 | 현대자동차주식회사 | 차량 시뮬레이션 시스템, 및 차량 시뮬레이션 방법 |
| CN109636924A (zh) * | 2018-12-28 | 2019-04-16 | 吉林大学 | 基于现实路况信息三维建模的车载多模式增强现实系统 |
| CN109933208A (zh) * | 2019-04-11 | 2019-06-25 | 湖北航天技术研究院特种车辆技术中心 | 一种基于虚拟现实的操作行为识别方法及系统 |
| CN110097799A (zh) * | 2019-05-23 | 2019-08-06 | 重庆大学 | 基于真实场景建模的虚拟驾驶系统 |
| CN110245406A (zh) * | 2019-06-05 | 2019-09-17 | 腾讯科技（深圳）有限公司 | 行驶仿真方法、装置及存储介质 |
| CN110320908A (zh) * | 2019-06-06 | 2019-10-11 | 华南农业大学 | 一种agv实时仿真系统 |
| CN110456757A (zh) * | 2018-06-20 | 2019-11-15 | 上海车右智能科技有限公司 | 一种无人驾驶车辆的整车测试方法及系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10176634B2 (en) * | 2015-10-16 | 2019-01-08 | Ford Global Technologies, Llc | Lane boundary detection data generation in virtual environment |
| US10043316B2 (en) * | 2016-08-05 | 2018-08-07 | Uber Technologies, Inc. | Virtual reality experience for a vehicle |
| EP3361466B1 (en) * | 2017-02-14 | 2024-04-03 | Honda Research Institute Europe GmbH | Risk-based driver assistance for approaching intersections of limited visibility |
| US11249474B2 (en) * | 2017-12-07 | 2022-02-15 | Phantom Auto Inc. | Safety of autonomous vehicles using a virtual augmented support environment |
-
2019
- 2019-12-05 CN CN201911231835.7A patent/CN111045425B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102982703A (zh) * | 2012-12-12 | 2013-03-20 | 成都合纵连横数字科技有限公司 | 一种汽车驾驶仿真器与虚拟交通环境仿真系统的交互方法 |
| CN103413473A (zh) * | 2013-08-22 | 2013-11-27 | 北京科技大学 | 一种地下矿用铰接车的驾驶模拟系统 |
| US9836895B1 (en) * | 2015-06-19 | 2017-12-05 | Waymo Llc | Simulating virtual objects |
| CN107016704A (zh) * | 2017-03-09 | 2017-08-04 | 杭州电子科技大学 | 一种基于增强现实的虚拟现实实现方法 |
| CN107300921A (zh) * | 2017-06-30 | 2017-10-27 | 宇龙计算机通信科技(深圳)有限公司 | 远程驾驶方法、装置、用户终端及计算机可读存储介质 |
| CN107263449A (zh) * | 2017-07-05 | 2017-10-20 | 中国科学院自动化研究所 | 基于虚拟现实的机器人远程示教系统 |
| KR20190021840A (ko) * | 2017-08-24 | 2019-03-06 | 현대자동차주식회사 | 차량 시뮬레이션 시스템, 및 차량 시뮬레이션 방법 |
| CN110456757A (zh) * | 2018-06-20 | 2019-11-15 | 上海车右智能科技有限公司 | 一种无人驾驶车辆的整车测试方法及系统 |
| CN109101690A (zh) * | 2018-07-11 | 2018-12-28 | 深圳地平线机器人科技有限公司 | 用于渲染车辆自动驾驶模拟器中的场景的方法和装置 |
| CN108877374A (zh) * | 2018-07-24 | 2018-11-23 | 长安大学 | 基于虚拟现实与驾驶模拟器的车辆队列仿真系统和方法 |
| CN109636924A (zh) * | 2018-12-28 | 2019-04-16 | 吉林大学 | 基于现实路况信息三维建模的车载多模式增强现实系统 |
| CN109933208A (zh) * | 2019-04-11 | 2019-06-25 | 湖北航天技术研究院特种车辆技术中心 | 一种基于虚拟现实的操作行为识别方法及系统 |
| CN110097799A (zh) * | 2019-05-23 | 2019-08-06 | 重庆大学 | 基于真实场景建模的虚拟驾驶系统 |
| CN110245406A (zh) * | 2019-06-05 | 2019-09-17 | 腾讯科技（深圳）有限公司 | 行驶仿真方法、装置及存储介质 |
| CN110320908A (zh) * | 2019-06-06 | 2019-10-11 | 华南农业大学 | 一种agv实时仿真系统 |
Non-Patent Citations (2)
| Title |
|---|
| Yoshimi Furukawa,等.Development of predicting evaluation platform of advanced driver safety assist systems using integrated virtual traffic environments.《2004 IEEE International Conference on Systems, Man and Cybernetics 》.2004,第4卷全文. * |
| 赵祥模，等.基于整车在环仿真的自动驾驶汽车室内快速测试平台.《中国公路学报》.2019,第32卷(第6期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111045425A (zh) | 2020-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111045425B (zh) | 一种地面无人车辆的辅助遥操作驾驶方法 | |
| JP7210165B2 (ja) | 仮想経路を表示する方法、装置及びディスプレイ装置 | |
| CN112558608B (zh) | 一种基于无人机辅助的车机协同控制及路径优化方法 | |
| CN112640417B (zh) | 匹配关系确定方法及相关装置 | |
| CN110068335B (zh) | 一种gps拒止环境下无人机集群实时定位方法及系统 | |
| US10800427B2 (en) | Systems and methods for a vehicle controller robust to time delays | |
| JP2022019642A (ja) | マルチセンサ融合に基づく測位方法及び装置 | |
| CN109885080B (zh) | 自主控制系统及自主控制方法 | |
| Templeton et al. | Autonomous vision-based landing and terrain mapping using an MPC-controlled unmanned rotorcraft | |
| JP2022520968A (ja) | 視覚画像データを用いたオブジェクト属性の推定 | |
| US20110066262A1 (en) | Apparatuses, Systems, and Methods for Apparatus Operation and Remote Sensing | |
| KR20210118119A (ko) | 차량 센서들 및 카메라 어레이들로부터의 구조화된 지도 데이터의 생성 | |
| CN111986506A (zh) | 基于多视觉系统的机械式停车位泊车方法 | |
| CN103680291A (zh) | 基于天花板视觉的同步定位与地图绘制的方法 | |
| US20220153310A1 (en) | Automatic Annotation of Object Trajectories in Multiple Dimensions | |
| US20220137636A1 (en) | Systems and Methods for Simultaneous Localization and Mapping Using Asynchronous Multi-View Cameras | |
| CN108733064A (zh) | 一种无人机的视觉定位避障系统及其方法 | |
| Altekar et al. | Infrastructure-based sensor data capture systems for measurement of operational safety assessment (osa) metrics | |
| Mallik et al. | Real-time Detection and Avoidance of Obstacles in the Path of Autonomous Vehicles Using Monocular RGB Camera | |
| CN115290349A (zh) | 一种自动驾驶测试系统 | |
| WO2022141240A1 (en) | Determining vehicle positions for autonomous driving based on monocular vision and semantic map | |
| Cordes et al. | Accuracy evaluation of camera-based vehicle localization | |
| CN115237113B (zh) | 机器人导航的方法、机器人、机器人系统及存储介质 | |
| Cordes et al. | Vehicle lane merge visual benchmark | |
| CN117553811B (zh) | 基于路侧相机与车载gnss/ins的车路协同定位导航方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |