CN111127651A - 基于高精度可视化技术的自动驾驶测试开发方法及装置 - Google Patents

基于高精度可视化技术的自动驾驶测试开发方法及装置 Download PDF

Info

Publication number
CN111127651A
CN111127651A CN202010239791.9A CN202010239791A CN111127651A CN 111127651 A CN111127651 A CN 111127651A CN 202010239791 A CN202010239791 A CN 202010239791A CN 111127651 A CN111127651 A CN 111127651A
Authority
CN
China
Prior art keywords
data
automatic driving
driving vehicle
target object
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010239791.9A
Other languages
English (en)
Inventor
成晟
陈刚
毛克成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Xuzhitong Information Technology Co Ltd
Jiangsu Guangyu Technology Industry Development Co ltd
Original Assignee
Nanjing Xuzhitong Information Technology Co Ltd
Jiangsu Guangyu Technology Industry Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Xuzhitong Information Technology Co Ltd, Jiangsu Guangyu Technology Industry Development Co ltd filed Critical Nanjing Xuzhitong Information Technology Co Ltd
Priority to CN202010239791.9A priority Critical patent/CN111127651A/zh
Publication of CN111127651A publication Critical patent/CN111127651A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00Testing of vehicles
    • G01M17/007Wheeled or endless-tracked vehicles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0208Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the configuration of the monitoring system
    • G05B23/0216Human interface functionality, e.g. monitoring system providing help to the user in the selection of tests or in its configuration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74Browsing; Visualisation therefor
    • G06F16/743Browsing; Visualisation therefor a collection of video files or sequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

本发明公开一种基于高精度可视化技术的自动驾驶测试开发方法及装置。本发明涉及自动驾驶技术领域,解决现有的自动驾驶测试开发技术无法同时直观地展示不同感知设备的对环境和事物进行感知识别的全过程,不便于自动驾驶开发人员选择最适合的感知设备的问题。本发明根据检测过程信息,生成检测过程可视化影像数据,可提供不同感知设备对环境和事物进行感知识别全过程的可视化数据,可为自动驾驶开发人员选择最适合的感知设备提供准确的数据支撑,能够真正做到自动驾驶技术的开发与测试同步,实现自动驾驶技术高度现场化,综合展示各种测试数据与自动驾驶车辆的运动之间存在的联系,推动安全的汽车级自动驾驶技术尽快投入实际应用。

Description

基于高精度可视化技术的自动驾驶测试开发方法及装置
技术领域
本发明涉及自动驾驶技术领域,尤其涉及一种基于高精度可视化技术的自动驾驶测试开发方法及装置。
背景技术
L4级自动驾驶车辆要求能够安全地实现自动驾驶,即使人类驾驶员没有对车辆做出干预请求,也要求自动驾驶车辆做出适当的反应。从搭载了无数服务器的自动驾驶雏形,到真正能够上路的无人驾驶汽车,无疑要通过技术革新实现演变。该技术演变不仅仅是技术开发手段的革新,同时也是自动驾驶安全测试技术的革新。
现有的一种自动驾驶系统包括:感知系统、控制系统和执行系统,感知系统通过深度学习网络处理激光雷达、图像采集模块及GPS导航仪的数据,实时识别车辆周围的车辆、行人、车道线、交通标志及信号灯的识别及理解,将激光雷达数据与图像进行匹配融合,形成实时三维街景地图,并判断可行驶区域。控制系统采用增强学习网络处理感知系统收集的信息,对车辆周围的人、车、物进行预测,根据车身状态数据与驾驶员动作的记录进行配对,作出行动选择。执行系统根据控制系统的指令执行相应操作,并将操作结果反馈给控制系统。
上述自动驾驶系统投入实际应用前,需要对感知系统进行测试,以选择出最适合该系统的感知设备。目前,通常采用在自动驾驶系统运行时,采集与感知设备相关的一些简单的数据进行调试的方式,来测试和选择感知设备。而感知系统往往包括定位传感器、视频传感器以及雷达传感器等多种传感器,目前不同感知设备的测试往往是独立进行,不同的感知设备的数据之间相对独立单,无法同时直观地展示不同感知设备的对环境和事物进行感知识别的全过程,不便于自动驾驶开发人员选择最适合的感知设备。
发明内容
本发明提供一种基于高精度可视化技术的自动驾驶测试开发方法及装置,以解决现有的自动驾驶测试开发技术无法同时直观地展示不同感知设备的对环境和事物进行感知识别的全过程,不便于自动驾驶开发人员选择最适合的感知设备的问题。
第一方面,本发明提供一种基于高精度可视化技术的自动驾驶测试开发方法,所述方法包括:
获取自动驾驶车辆行驶环境中的视频数据和雷达数据,所述视频数据和雷达数据包括道路主体环境的视频数据和雷达数据,以及交通目标的视频数据和雷达数据;
利用边界框对所述视频数据中可视范围内的目标物体进行标记;
实时追踪自动驾驶车辆对边界框内目标物体的检测过程信息,所述检测过程信息包括计算输入信息以及识别算法信息,所述计算输入信息来自于所述视频数据和雷达数据;
根据所述检测过程信息,生成检测过程可视化影像数据;
根据所述视频数据和雷达数据,创建道路3D模型,所述道路3D模型包括道路主体环境3D模型和交通目标3D模型;
将所述道路3D模型与预置地图导航系统相结合,得到3D现场模型;
在所述3D现场模型上,对所述目标物体和所述目标物体的控制参数进行标注;
实时追踪自动驾驶车辆的行驶策略信息,所述行驶策略信息包括自动驾驶车辆沿着预期路径行驶需要完成的转向、避让、加速和制动操作;
根据所述行驶策略信息,生成行驶策略可视化影像数据;
将所述检测过程可视化影像数据,以及所述行驶策略可视化影像数据显示于所述3D现场模型上,形成可视化自动驾驶测试开发界面;
其中,根据所述检测过程信息,生成检测过程可视化影像数据,包括:
根据自动驾驶车辆车载的定位传感器,确定车辆位置信息;
根据自动驾驶车辆车载的视频传感器和雷达传感器可覆盖的范围,确定生成自动驾驶车辆周边的坐标域;
根据所述车辆位置信息和所述坐标域,进行可视化基础三维空间模型的搭建;
提取视频传感器和雷达传感器采集目标物体时的角度数据和距离数据;
根据所述角度数据和距离数据,生成具备属性的目标物体的三维数据集,所述属性包括:坐标位置、形状大小、识别设备以及识别时间;
依据坐标系将所述目标物体的三维数据集,实时载入到所述可视化基础三维空间模型中,形成对应的可视化影像;
实时显示所述目标物体从进入自动驾驶车辆传感器的识别范围,到离开自动驾驶车辆传感器的识别范围的全过程,并实时记录每个传感器对目标物体的识别时间、识别状况、丢失时间,以及多个传感器重叠识别的状况。
结合第一方面,在第一方面的第二种可实现方式中,在所述3D现场模型上,对所述目标物体和所述目标物体的控制参数进行标注,包括:
根据对3D现场模型的需求,对目标物体的名称、类型、状态、相对距离、移动速度、所在区域、检测方式进行详细标注,在不同的测试环节中选择不同的标注内容进行显示。
结合第一方面,在第一方面的第三种可实现方式中,根据所述行驶策略信息,生成行驶策略可视化影像数据,包括:
在道路3D模型与预置地图导航系统相结合后,实时提取预置地图导航系统的数据信息;
将所述数据信息载入3D现场模型中展示给使用者;
根据预置地图导航系统和自动驾驶车辆开始行驶前确定的目的地坐标,确定适合的行驶导航路线;
在自动驾驶车辆正常行驶中,在行驶导航路线需要拐弯、变道、掉头、停车的相应位置生成引导提示数据,以引导自动驾驶车辆改变行驶状态;
将所述引导提示数据实时传输至3D现场模型,实现引导提示数据的展示;
在自动驾驶车辆正常行驶时,遇到行驶车道正前方出现障碍时,确定自动驾驶车辆后续行动步骤的提示数据;
将所述自动驾驶车辆后续行动步骤的提示数据传输至3D现场模型,实现后续行动步骤的提示数据的显示,所述后续行动步骤包括:避让、加速以及制动。
第二方面,本发明提供一种基于高精度可视化技术的自动驾驶测试开发装置,其特征在于,所述装置包括:
获取单元,用于获取自动驾驶车辆行驶环境中的视频数据和雷达数据,所述视频数据和雷达数据包括道路主体环境的视频数据和雷达数据,以及交通目标的视频数据和雷达数据;
标记单元,用于利用边界框对所述视频数据中可视范围内的目标物体进行标记;
第一追踪单元,用于实时追踪自动驾驶车辆对边界框内目标物体的检测过程信息,所述检测过程信息包括计算输入信息以及识别算法信息,所述计算输入信息来自于所述视频数据和雷达数据;
第一生成单元,用于根据所述检测过程信息,生成检测过程可视化影像数据;
创建单元,用于根据所述视频数据和雷达数据,创建道路3D模型,所述道路3D模型包括道路主体环境3D模型和交通目标3D模型;
结合单元,用于将所述道路3D模型与预置地图导航系统相结合,得到3D现场模型;
标注单元,用于在所述3D现场模型上,对所述目标物体和所述目标物体的控制参数进行标注;
第二追踪单元,用于实时追踪自动驾驶车辆的行驶策略信息,所述行驶策略信息包括自动驾驶车辆沿着预期路径行驶需要完成的转向、避让、加速和制动操作;
第二生成单元,用于根据所述行驶策略信息,生成行驶策略可视化影像数据;
显示单元,用于将所述检测过程可视化影像数据,以及所述行驶策略可视化影像数据显示于所述3D现场模型上,形成可视化自动驾驶测试开发界面;
其中,所述第一生成单元包括:
第一确定子单元,用于根据自动驾驶车辆车载的定位传感器,确定车辆位置信息;
第二确定子单元,用于根据自动驾驶车辆车载的视频传感器和雷达传感器可覆盖的范围,确定生成自动驾驶车辆周边的坐标域;
搭建子单元,用于根据所述车辆位置信息和所述坐标域,进行可视化基础三维空间模型的搭建;
第一提取子单元,用于提取视频传感器和雷达传感器采集目标物体时的角度数据和距离数据;
第一生成子单元,用于根据所述角度数据和距离数据,生成具备属性的目标物体的三维数据集,所述属性包括:坐标位置、形状大小、识别设备以及识别时间;
第一载入子单元,用于依据坐标系将所述目标物体的三维数据集,实时载入到所述可视化基础三维空间模型中,形成对应的可视化影像;
显示子单元,用于实时显示所述目标物体从进入自动驾驶车辆传感器的识别范围,到离开自动驾驶车辆传感器的识别范围的全过程,并实时记录每个传感器对目标物体的识别时间、识别状况、丢失时间,以及多个传感器重叠识别的状况。
结合第二方面,在第二方面的第二种可实现方式中,所述标注单元,用于根据对3D现场模型的需求,对目标物体的名称、类型、状态、相对距离、移动速度、所在区域、检测方式进行详细标注,在不同的测试环节中选择不同的标注内容进行显示。
结合第二方面,在第二方面的第三种可实现方式中,所述第二生成单元包括:
第二提取子单元,用于在道路3D模型与预置地图导航系统相结合后,实时提取预置地图导航系统的数据信息;
第二载入子单元,用于将所述数据信息载入3D现场模型中展示给使用者;
第三确定子单元,用于根据预置地图导航系统和自动驾驶车辆开始行驶前确定的目的地坐标,确定适合的行驶导航路线;
第二生成子单元,用于在自动驾驶车辆正常行驶中,在行驶导航路线需要拐弯、变道、掉头、停车的相应位置生成引导提示数据,以引导自动驾驶车辆改变行驶状态;
第一传输子单元,用于将所述引导提示数据实时传输至3D现场模型,实现引导提示数据的展示;
第四确定子单元,用于在自动驾驶车辆正常行驶时,遇到行驶车道正前方出现障碍时,确定自动驾驶车辆后续行动步骤的提示数据;
第二传输子单元,用于将所述自动驾驶车辆后续行动步骤的提示数据传输至3D现场模型,实现后续行动步骤的提示数据的显示,所述后续行动步骤包括:避让、加速以及制动。
本发明的有益效果如下:本发明提供的一种基于高精度可视化技术的自动驾驶测试开发方法及装置,通过将自动驾驶技术中各类纷繁复杂不可见数据转化成一种直观显示的状态,以实际道路3D成像为基础,把所有数据整合集中展示在实际道路3D模型上,最终形成可视化测试界面,便于自动驾驶开发测试。本发明根据检测过程信息,生成检测过程可视化影像数据,提供了不同感知设备对环境和事物进行感知识别全过程的可视化数据,可为自动驾驶开发人员选择最适合的感知设备提供准确的数据支撑,直观地展示自动驾驶测试过程中的各项数据指标,为考证自动驾驶的时效性、安全性、稳定性提供全面的过程可视化数据,有助于自动驾驶开发人员或测试人员快速定位自动驾驶车辆的缺陷。利用本发明提供的基于高精度可视化技术的自动驾驶测试开发方法及装置,能够真正做到自动驾驶技术的开发与测试同步,实现自动驾驶技术高度现场化,综合展示各种测试数据与自动驾驶车辆的运动之间存在的联系,推动安全的汽车级自动驾驶技术尽快投入实际应用。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于高精度可视化技术的自动驾驶测试开发方法的流程图。
图2为根据检测过程信息生成检测过程可视化影像数据的流程图。
图3为本发明实施例提供的基于高精度可视化技术的自动驾驶测试开发方法中对目标物体参数的标注示意图。
图4为本发明实施例提供的基于高精度可视化技术的自动驾驶测试开发方法的又一种可选实施方式的流程图。
图5为本发明实施例提供的基于高精度可视化技术的自动驾驶测试开发方法中变道引导提示的示意图。
图6为本发明实施例提供的基于高精度可视化技术的自动驾驶测试开发方法中障碍物避让提示的示意图。
图7为本发明实施例提供的基于高精度可视化技术的自动驾驶测试开发装置的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。以下结合附图,详细说明本发明各实施例提供的技术方案。
请参阅图1,本发明提供一种基于高精度可视化技术的自动驾驶测试开发方法,所述方法的试行主体可以是处理器,所述方法具体包括如下步骤:
步骤S101,获取自动驾驶车辆行驶环境中的视频数据和雷达数据,所述视频数据和雷达数据包括道路主体环境的视频数据和雷达数据,以及交通目标的视频数据和雷达数据。
步骤S102,利用边界框对所述视频数据中可视范围内的目标物体进行标记。
步骤S103,实时追踪自动驾驶车辆对边界框内目标物体的检测过程信息,所述检测过程信息包括计算输入信息以及识别算法信息,所述计算输入信息来自于所述视频数据和雷达数据。
步骤S104,根据所述检测过程信息,生成检测过程可视化影像数据。
如图2所示,在本实施例中,根据所述检测过程信息,生成检测过程可视化影像数据,具体可以包括:
步骤S201,根据自动驾驶车辆车载的定位传感器,确定车辆位置信息;
步骤S202,根据自动驾驶车辆车载的视频传感器和雷达传感器可覆盖的范围,确定生成自动驾驶车辆周边的坐标域;
步骤S203,根据所述车辆位置信息和所述坐标域,进行可视化基础三维空间模型的搭建;
步骤S204,提取视频传感器和雷达传感器采集目标物体时的角度数据和距离数据;
步骤S205,根据所述角度数据和距离数据,生成具备属性的目标物体的三维数据集,所述属性包括:坐标位置、形状大小、识别设备以及识别时间;
步骤S206,依据坐标系将所述目标物体的三维数据集,实时载入到所述可视化基础三维空间模型中,形成对应的可视化影像;
步骤S207,实时显示所述目标物体从进入自动驾驶车辆传感器的识别范围,到离开自动驾驶车辆传感器的识别范围的全过程,并实时记录每个传感器对目标物体的识别时间、识别状况、丢失时间,以及多个传感器重叠识别的状况。
步骤S105,根据所述视频数据和雷达数据,创建道路3D模型,所述道路3D模型包括道路主体环境3D模型和交通目标3D模型。
步骤S106,将所述道路3D模型与预置地图导航系统相结合,得到3D现场模型。
步骤S107,在所述3D现场模型上,对所述目标物体和所述目标物体的控制参数进行标注。
在本实施例中,在所述3D现场模型上,对所述目标物体和所述目标物体的控制参数进行标注,具体可以包括: 根据对3D现场模型的需求,对目标物体的名称、类型、状态、相对距离、移动速度、所在区域、检测方式进行详细标注,在不同的测试环节中选择不同的标注内容进行显示。请参阅图3,为示出的一部分对目标物体参数的标注的示意图,可以标注出车辆的距离,如a米,以及车辆的尺寸,如宽度b毫米,也可以标注出人体的距离,如c米等等。
步骤S108,实时追踪自动驾驶车辆的行驶策略信息,所述行驶策略信息包括自动驾驶车辆沿着预期路径行驶需要完成的转向、避让、加速和制动操作。
步骤S109,根据所述行驶策略信息,生成行驶策略可视化影像数据。
如图4所示,在本实施例中,根据所述行驶策略信息,生成行驶策略可视化影像数据,具体可以包括:
步骤S301,在道路3D模型与预置地图导航系统相结合后,实时提取预置地图导航系统的数据信息。
步骤S302,将所述数据信息载入3D现场模型中展示给使用者。
步骤S303,根据预置地图导航系统和自动驾驶车辆开始行驶前确定的目的地坐标,确定适合的行驶导航路线。
步骤S304,在自动驾驶车辆正常行驶中,在行驶导航路线需要拐弯、变道、掉头、停车的相应位置生成引导提示数据,以引导自动驾驶车辆改变行驶状态。如图5所示,为本实施例示出的变道引导提示的示意图。
步骤S305,将所述引导提示数据实时传输至3D现场模型,实现引导提示数据的展示。
步骤S306,在自动驾驶车辆正常行驶时,遇到行驶车道正前方出现障碍时,确定自动驾驶车辆后续行动步骤的提示数据。
步骤S307,将所述自动驾驶车辆后续行动步骤的提示数据传输至3D现场模型,实现后续行动步骤的提示数据的显示,所述后续行动步骤包括:避让、加速以及制动。如图6所示,为本实施例示出的障碍物避让提示的示意图。
步骤S110,将所述检测过程可视化影像数据,以及所述行驶策略可视化影像数据显示于所述3D现场模型上,形成可视化自动驾驶测试开发界面。
由以上实施例可知,本发明实施例提供的基于高精度可视化技术的自动驾驶测试开发方法,通过将自动驾驶技术中各类纷繁复杂不可见数据转化成一种直观显示的状态,以实际道路3D成像为基础,把所有数据整合集中展示在实际道路3D模型上,最终形成可视化测试界面,便于自动驾驶开发测试。本发明根据检测过程信息,生成检测过程可视化影像数据,提供了不同感知设备对环境和事物进行感知识别全过程的可视化数据,可为自动驾驶开发人员选择最适合的感知设备提供准确的数据支撑,直观地展示自动驾驶测试过程中的各项数据指标,为考证自动驾驶的时效性、安全性、稳定性提供全面的过程可视化数据,有助于自动驾驶开发人员或测试人员快速定位自动驾驶车辆的缺陷。利用本发明提供的基于高精度可视化技术的自动驾驶测试开发方法及装置,能够真正做到自动驾驶技术的开发与测试同步,实现自动驾驶技术高度现场化,综合展示各种测试数据与自动驾驶车辆的运动之间存在的联系,推动安全的汽车级自动驾驶技术尽快投入实际应用。
请参阅图7,为本发明实施例提供的一种基于高精度可视化技术的自动驾驶测试开发装置的示意图,所述装置包括:
获取单元401,用于获取自动驾驶车辆行驶环境中的视频数据和雷达数据,所述视频数据和雷达数据包括道路主体环境的视频数据和雷达数据,以及交通目标的视频数据和雷达数据。
标记单元402,用于利用边界框对所述视频数据中可视范围内的目标物体进行标记。
第一追踪单元403,用于实时追踪自动驾驶车辆对边界框内目标物体的检测过程信息,所述检测过程信息包括计算输入信息以及识别算法信息,所述计算输入信息来自于所述视频数据和雷达数据。
第一生成单元404,用于根据所述检测过程信息,生成检测过程可视化影像数据。
创建单元405,用于根据所述视频数据和雷达数据,创建道路3D模型,所述道路3D模型包括道路主体环境3D模型和交通目标3D模型。
结合单元406,用于将所述道路3D模型与预置地图导航系统相结合,得到3D现场模型。
标注单元407,用于在所述3D现场模型上,对所述目标物体和所述目标物体的控制参数进行标注。
第二追踪单元408,用于实时追踪自动驾驶车辆的行驶策略信息,所述行驶策略信息包括自动驾驶车辆沿着预期路径行驶需要完成的转向、避让、加速和制动操作。
第二生成单元409,用于根据所述行驶策略信息,生成行驶策略可视化影像数据。
显示单元410,用于将所述检测过程可视化影像数据,以及所述行驶策略可视化影像数据显示于所述3D现场模型上,形成可视化自动驾驶测试开发界面。
在本实施中,所述第一生成单元404具体还可以包括:
第一确定子单元,用于根据自动驾驶车辆车载的定位传感器,确定车辆位置信息。
第二确定子单元,用于根据自动驾驶车辆车载的视频传感器和雷达传感器可覆盖的范围,确定生成自动驾驶车辆周边的坐标域。
搭建子单元,用于根据所述车辆位置信息和所述坐标域,进行可视化基础三维空间模型的搭建。
第一提取子单元,用于提取视频传感器和雷达传感器采集目标物体时的角度数据和距离数据。
第一生成子单元,用于根据所述角度数据和距离数据,生成具备属性的目标物体的三维数据集,所述属性包括:坐标位置、形状大小、识别设备以及识别时间。
第一载入子单元,用于依据坐标系将所述目标物体的三维数据集,实时载入到所述可视化基础三维空间模型中,形成对应的可视化影像。
显示子单元,用于实时显示所述目标物体从进入自动驾驶车辆传感器的识别范围,到离开自动驾驶车辆传感器的识别范围的全过程,并实时记录每个传感器对目标物体的识别时间、识别状况、丢失时间,以及多个传感器重叠识别的状况。
在本实施中,所述标注单元407,用于根据对3D现场模型的需求,对目标物体的名称、类型、状态、相对距离、移动速度、所在区域、检测方式进行详细标注,在不同的测试环节中选择不同的标注内容进行显示。
在本实施中,所述第二生成单元409,具体还可以包括:
第二提取子单元,用于在道路3D模型与预置地图导航系统相结合后,实时提取预置地图导航系统的数据信息。
第二载入子单元,用于将所述数据信息载入3D现场模型中展示给使用者。
第三确定子单元,用于根据预置地图导航系统和自动驾驶车辆开始行驶前确定的目的地坐标,确定适合的行驶导航路线。
第二生成子单元,用于在自动驾驶车辆正常行驶中,在行驶导航路线需要拐弯、变道、掉头、停车的相应位置生成引导提示数据,以引导自动驾驶车辆改变行驶状态。
第一传输子单元,用于将所述引导提示数据实时传输至3D现场模型,实现引导提示数据的展示。
第四确定子单元,用于在自动驾驶车辆正常行驶时,遇到行驶车道正前方出现障碍时,确定自动驾驶车辆后续行动步骤的提示数据。
第二传输子单元,用于将所述自动驾驶车辆后续行动步骤的提示数据传输至3D现场模型,实现后续行动步骤的提示数据的显示,所述后续行动步骤包括:避让、加速以及制动。
本发明实施例还提供一种存储介质,本发明实施例还提供一种存储介质,所述存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现本发明提供的基于高精度可视化技术的自动驾驶测试开发方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文:Read-OnlyMemory,简称:ROM)或随机存储记忆体(英文:RandomAccessMemory,简称:RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其,对于基于高精度可视化技术的自动驾驶测试开发装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例中的说明即可。
以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (6)

1.一种基于高精度可视化技术的自动驾驶测试开发方法,其特征在于,所述方法包括:
获取自动驾驶车辆行驶环境中的视频数据和雷达数据,所述视频数据和雷达数据包括道路主体环境的视频数据和雷达数据,以及交通目标的视频数据和雷达数据;
利用边界框对所述视频数据中可视范围内的目标物体进行标记;
实时追踪自动驾驶车辆对边界框内目标物体的检测过程信息,所述检测过程信息包括计算输入信息以及识别算法信息,所述计算输入信息来自于所述视频数据和雷达数据;
根据所述检测过程信息,生成检测过程可视化影像数据;
根据所述视频数据和雷达数据,创建道路3D模型,所述道路3D模型包括道路主体环境3D模型和交通目标3D模型;
将所述道路3D模型与预置地图导航系统相结合,得到3D现场模型;
在所述3D现场模型上,对所述目标物体和所述目标物体的控制参数进行标注;
实时追踪自动驾驶车辆的行驶策略信息,所述行驶策略信息包括自动驾驶车辆沿着预期路径行驶需要完成的转向、避让、加速和制动操作;
根据所述行驶策略信息,生成行驶策略可视化影像数据;
将所述检测过程可视化影像数据,以及所述行驶策略可视化影像数据显示于所述3D现场模型上,形成可视化自动驾驶测试开发界面;
其中,根据所述检测过程信息,生成检测过程可视化影像数据,包括:
根据自动驾驶车辆车载的定位传感器,确定车辆位置信息;
根据自动驾驶车辆车载的视频传感器和雷达传感器可覆盖的范围,确定生成自动驾驶车辆周边的坐标域;
根据所述车辆位置信息和所述坐标域,进行可视化基础三维空间模型的搭建;
提取视频传感器和雷达传感器采集目标物体时的角度数据和距离数据;
根据所述角度数据和距离数据,生成具备属性的目标物体的三维数据集,所述属性包括:坐标位置、形状大小、识别设备以及识别时间;
依据坐标系将所述目标物体的三维数据集,实时载入到所述可视化基础三维空间模型中,形成对应的可视化影像;
实时显示所述目标物体从进入自动驾驶车辆传感器的识别范围,到离开自动驾驶车辆传感器的识别范围的全过程,并实时记录每个传感器对目标物体的识别时间、识别状况、丢失时间,以及多个传感器重叠识别的状况。
2.如权利要求1所述的方法,其特征在于,在所述3D现场模型上,对所述目标物体和所述目标物体的控制参数进行标注,包括:
根据对3D现场模型的需求,对目标物体的名称、类型、状态、相对距离、移动速度、所在区域、检测方式进行详细标注,在不同的测试环节中选择不同的标注内容进行显示。
3.如权利要求1所述的方法,其特征在于,根据所述行驶策略信息,生成行驶策略可视化影像数据,包括:
在道路3D模型与预置地图导航系统相结合后,实时提取预置地图导航系统的数据信息;
将所述数据信息载入3D现场模型中展示给使用者;
根据预置地图导航系统和自动驾驶车辆开始行驶前确定的目的地坐标,确定适合的行驶导航路线;
在自动驾驶车辆正常行驶中,在行驶导航路线需要拐弯、变道、掉头、停车的相应位置生成引导提示数据,以引导自动驾驶车辆改变行驶状态;
将所述引导提示数据实时传输至3D现场模型,实现引导提示数据的展示;
在自动驾驶车辆正常行驶时,遇到行驶车道正前方出现障碍时,确定自动驾驶车辆后续行动步骤的提示数据;
将所述自动驾驶车辆后续行动步骤的提示数据传输至3D现场模型,实现后续行动步骤的提示数据的显示,所述后续行动步骤包括:避让、加速以及制动。
4.一种基于高精度可视化技术的自动驾驶测试开发装置,其特征在于,所述装置包括:
获取单元,用于获取自动驾驶车辆行驶环境中的视频数据和雷达数据,所述视频数据和雷达数据包括道路主体环境的视频数据和雷达数据,以及交通目标的视频数据和雷达数据;
标记单元,用于利用边界框对所述视频数据中可视范围内的目标物体进行标记;
第一追踪单元,用于实时追踪自动驾驶车辆对边界框内目标物体的检测过程信息,所述检测过程信息包括计算输入信息以及识别算法信息,所述计算输入信息来自于所述视频数据和雷达数据;
第一生成单元,用于根据所述检测过程信息,生成检测过程可视化影像数据;
创建单元,用于根据所述视频数据和雷达数据,创建道路3D模型,所述道路3D模型包括道路主体环境3D模型和交通目标3D模型;
结合单元,用于将所述道路3D模型与预置地图导航系统相结合,得到3D现场模型;
标注单元,用于在所述3D现场模型上,对所述目标物体和所述目标物体的控制参数进行标注;
第二追踪单元,用于实时追踪自动驾驶车辆的行驶策略信息,所述行驶策略信息包括自动驾驶车辆沿着预期路径行驶需要完成的转向、避让、加速和制动操作;
第二生成单元,用于根据所述行驶策略信息,生成行驶策略可视化影像数据;
显示单元,用于将所述检测过程可视化影像数据,以及所述行驶策略可视化影像数据显示于所述3D现场模型上,形成可视化自动驾驶测试开发界面;
其中,所述第一生成单元包括:
第一确定子单元,用于根据自动驾驶车辆车载的定位传感器,确定车辆位置信息;
第二确定子单元,用于根据自动驾驶车辆车载的视频传感器和雷达传感器可覆盖的范围,确定生成自动驾驶车辆周边的坐标域;
搭建子单元,用于根据所述车辆位置信息和所述坐标域,进行可视化基础三维空间模型的搭建;
第一提取子单元,用于提取视频传感器和雷达传感器采集目标物体时的角度数据和距离数据;
第一生成子单元,用于根据所述角度数据和距离数据,生成具备属性的目标物体的三维数据集,所述属性包括:坐标位置、形状大小、识别设备以及识别时间;
第一载入子单元,用于依据坐标系将所述目标物体的三维数据集,实时载入到所述可视化基础三维空间模型中,形成对应的可视化影像;
显示子单元,用于实时显示所述目标物体从进入自动驾驶车辆传感器的识别范围,到离开自动驾驶车辆传感器的识别范围的全过程,并实时记录每个传感器对目标物体的识别时间、识别状况、丢失时间,以及多个传感器重叠识别的状况。
5.如权利要求4所述的装置,其特征在于,所述标注单元,用于根据对3D现场模型的需求,对目标物体的名称、类型、状态、相对距离、移动速度、所在区域、检测方式进行详细标注,在不同的测试环节中选择不同的标注内容进行显示。
6.如权利要求4所述的装置,其特征在于,所述第二生成单元包括:
第二提取子单元,用于在道路3D模型与预置地图导航系统相结合后,实时提取预置地图导航系统的数据信息;
第二载入子单元,用于将所述数据信息载入3D现场模型中展示给使用者;
第三确定子单元,用于根据预置地图导航系统和自动驾驶车辆开始行驶前确定的目的地坐标,确定适合的行驶导航路线;
第二生成子单元,用于在自动驾驶车辆正常行驶中,在行驶导航路线需要拐弯、变道、掉头、停车的相应位置生成引导提示数据,以引导自动驾驶车辆改变行驶状态;
第一传输子单元,用于将所述引导提示数据实时传输至3D现场模型,实现引导提示数据的展示;
第四确定子单元,用于在自动驾驶车辆正常行驶时,遇到行驶车道正前方出现障碍时,确定自动驾驶车辆后续行动步骤的提示数据;
第二传输子单元,用于将所述自动驾驶车辆后续行动步骤的提示数据传输至3D现场模型,实现后续行动步骤的提示数据的显示,所述后续行动步骤包括:避让、加速以及制动。
CN202010239791.9A 2020-03-31 2020-03-31 基于高精度可视化技术的自动驾驶测试开发方法及装置 Pending CN111127651A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010239791.9A CN111127651A (zh) 2020-03-31 2020-03-31 基于高精度可视化技术的自动驾驶测试开发方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010239791.9A CN111127651A (zh) 2020-03-31 2020-03-31 基于高精度可视化技术的自动驾驶测试开发方法及装置

Publications (1)

Publication Number Publication Date
CN111127651A true CN111127651A (zh) 2020-05-08

Family

ID=70493909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010239791.9A Pending CN111127651A (zh) 2020-03-31 2020-03-31 基于高精度可视化技术的自动驾驶测试开发方法及装置

Country Status (1)

Country Link
CN (1) CN111127651A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112097784A (zh) * 2020-09-01 2020-12-18 武汉光庭信息技术股份有限公司 一种地图传感器地图匹配结果的验证方法及装置
CN112383674A (zh) * 2020-11-09 2021-02-19 中国第一汽车股份有限公司 一种数据和视频同步显示方法、装置、车辆及介质
CN112572431A (zh) * 2020-12-30 2021-03-30 广州小鹏自动驾驶科技有限公司 一种停车场驾驶辅助方法、辅助系统、设备及存储介质
CN114112426A (zh) * 2021-11-08 2022-03-01 东风汽车集团股份有限公司 一种自动驾驶测试方法、系统及装置
CN114354220A (zh) * 2022-01-07 2022-04-15 苏州挚途科技有限公司 驾驶数据的处理方法、装置和电子设备
CN115206002A (zh) * 2022-09-15 2022-10-18 山东新凌志检测技术有限公司 一种智能网联汽车检测系统及方法
CN115542770A (zh) * 2022-09-26 2022-12-30 重庆长安汽车股份有限公司 自动驾驶仿真平台的测试方法、装置、电子设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105009175A (zh) * 2013-01-25 2015-10-28 谷歌公司 基于传感器盲点和局限性来修改自主车辆的行为
US20170010106A1 (en) * 2015-02-10 2017-01-12 Mobileye Vision Technologies Ltd. Crowd sourcing data for autonomous vehicle navigation
CN108171154A (zh) * 2017-12-27 2018-06-15 邦鼓思电子科技(上海)有限公司 一种自动驾驶中目标检测与车道检测结合的方法
CN109781431A (zh) * 2018-12-07 2019-05-21 山东省科学院自动化研究所 基于混合现实的自动驾驶测试方法及系统
CN110428092A (zh) * 2019-07-15 2019-11-08 南京邮电大学 智能自动驾驶方法及装置、存储介质和终端
CN110567470A (zh) * 2018-06-05 2019-12-13 威斯通全球技术公司 用于在车辆中表示数据的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105009175A (zh) * 2013-01-25 2015-10-28 谷歌公司 基于传感器盲点和局限性来修改自主车辆的行为
US20170010106A1 (en) * 2015-02-10 2017-01-12 Mobileye Vision Technologies Ltd. Crowd sourcing data for autonomous vehicle navigation
CN108171154A (zh) * 2017-12-27 2018-06-15 邦鼓思电子科技(上海)有限公司 一种自动驾驶中目标检测与车道检测结合的方法
CN110567470A (zh) * 2018-06-05 2019-12-13 威斯通全球技术公司 用于在车辆中表示数据的方法
CN109781431A (zh) * 2018-12-07 2019-05-21 山东省科学院自动化研究所 基于混合现实的自动驾驶测试方法及系统
CN110428092A (zh) * 2019-07-15 2019-11-08 南京邮电大学 智能自动驾驶方法及装置、存储介质和终端

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DEFRY: "Cruise数据可视化工具Webviz", 《HTTPS://ZHUANLAN.ZHIHU.COM/P/72455784》 *
PCHEN866: "MATLAB®和Automated Driving Toolbox™ 针对自动驾驶对传感器数据进行可视化、标记和融合", 《HTTPS://BLOG.CSDN.NET/PCHEN866/ARTICLE/DETAILS/103380379》 *
泉伟: "自动驾驶数据集综述", 《HTTPS://BLOG.CSDN.NET/QQ_35451572/ARTICLE/DETAILS/104160628》 *
黄浴: "Uber自动驾驶汽车可视化开放标准AVS", 《HTTPS://ZHUANLAN.ZHIHU.COM/P/68377953》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112097784A (zh) * 2020-09-01 2020-12-18 武汉光庭信息技术股份有限公司 一种地图传感器地图匹配结果的验证方法及装置
CN112383674A (zh) * 2020-11-09 2021-02-19 中国第一汽车股份有限公司 一种数据和视频同步显示方法、装置、车辆及介质
CN112572431A (zh) * 2020-12-30 2021-03-30 广州小鹏自动驾驶科技有限公司 一种停车场驾驶辅助方法、辅助系统、设备及存储介质
CN114112426A (zh) * 2021-11-08 2022-03-01 东风汽车集团股份有限公司 一种自动驾驶测试方法、系统及装置
CN114354220A (zh) * 2022-01-07 2022-04-15 苏州挚途科技有限公司 驾驶数据的处理方法、装置和电子设备
CN115206002A (zh) * 2022-09-15 2022-10-18 山东新凌志检测技术有限公司 一种智能网联汽车检测系统及方法
CN115542770A (zh) * 2022-09-26 2022-12-30 重庆长安汽车股份有限公司 自动驾驶仿真平台的测试方法、装置、电子设备及介质

Similar Documents

Publication Publication Date Title
CN111127651A (zh) 基于高精度可视化技术的自动驾驶测试开发方法及装置
US11693409B2 (en) Systems and methods for a scenario tagger for autonomous vehicles
CN112880693B (zh) 地图生成方法、定位方法、装置、设备及存储介质
US10816984B2 (en) Automatic data labelling for autonomous driving vehicles
US10908051B2 (en) Testing method and apparatus applicable to driverless vehicle
JP6811335B2 (ja) 自動運転シミュレータ及び自動運転シミュレータ用地図生成方法
JP2020034906A (ja) 高精度地図生成方法、高精度地図生成装置、コンピュータ機器、非一時的なコンピュータ読み取り可能な記憶媒体及びコンピュータプログラム製品
US20160282879A1 (en) Detailed map format for autonomous driving
KR20180088149A (ko) 차량 경로 가이드 방법 및 장치
CN109937343A (zh) 用于自动驾驶车辆交通预测中的预测轨迹的评估框架
JP5126589B2 (ja) 駐車支援システム
EP3885866A1 (en) High-precision localization method and system based on shared slam map
CN113064487A (zh) 一种交互虚拟仿真系统
CN111428571A (zh) 一种车辆引导方法、装置、设备及存储介质
TW202024569A (zh) 輔助車輛導航方法和系統
CN112819968A (zh) 基于混合现实的自动驾驶车辆的测试方法和装置
CN111401255A (zh) 用于识别分歧路口的方法和装置
JP2022129175A (ja) 車両評価方法及び車両評価装置
CN111240224A (zh) 一种车辆自动驾驶技术的多功能仿真模拟系统
CN113918615A (zh) 一种基于仿真的驾驶经验数据挖掘模型构建方法及系统
CN109883439A (zh) 一种车辆导航方法、装置、电子设备及存储介质
US20240282124A1 (en) Vehicle localization based on lane templates
CN114475656B (zh) 行驶轨迹预测方法、装置、电子设备以及存储介质
US12039757B2 (en) Associating labels between multiple sensors
CN111258312A (zh) 可移动模型及其控制方法、装置、系统、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200508

RJ01 Rejection of invention patent application after publication