CN110096059B - 自动驾驶方法、装置、设备及存储介质 - Google Patents

自动驾驶方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110096059B
CN110096059B CN201910338687.2A CN201910338687A CN110096059B CN 110096059 B CN110096059 B CN 110096059B CN 201910338687 A CN201910338687 A CN 201910338687A CN 110096059 B CN110096059 B CN 110096059B
Authority
CN
China
Prior art keywords
point cloud
image
equipment
cloud data
radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910338687.2A
Other languages
English (en)
Other versions
CN110096059A (zh
Inventor
孟德佳
万信逸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Fabu Technology Co Ltd
Original Assignee
Hangzhou Fabu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Fabu Technology Co Ltd filed Critical Hangzhou Fabu Technology Co Ltd
Priority to CN201910338687.2A priority Critical patent/CN110096059B/zh
Publication of CN110096059A publication Critical patent/CN110096059A/zh
Application granted granted Critical
Publication of CN110096059B publication Critical patent/CN110096059B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本申请实施例提供一种自动驾驶方法、装置、设备及存储介质，其中该方法包括获取自动驾驶设备上搭载的雷达设备和拍摄设备采集得到的同一场景的雷达点云和图像；基于预设的障碍物检测模型对所述雷达点云和所述图像进行检测处理，得到所述场景中的障碍物的信息，基于所述障碍物的信息，执行相应的自动驾驶策略，使得所述自动驾驶设备移动轨迹避开所述障碍物。本申请实施例提供的技术方案能够实现自动驾驶场景下的避障操作，尤其能够减少人工标注障碍物检测模型的训练样本的工作量，提升标注效率，提高障碍物检测模型的准确性，增强自动驾驶的避障能力。

Description

自动驾驶方法、装置、设备及存储介质
技术领域
本申请实施例涉及自动驾驶技术领域，尤其涉及一种自动驾驶方法、装置、设备及存储介质。
背景技术
在自动驾驶场景中无人车需要对周围障碍物进行检测和识别，从而准确的判断障碍物的类型，如公交车、小汽车、路障、行人等，继而产生相应的自车控制策略。检测和识别所依赖的算法属于有监督的机器学习算法，这种算法的输入必须是各种类型障碍物的分类标注数据。目前此类标注数据一般是由自动驾驶人工标注系统产生的。
自动驾驶人工标注系统是由人工对传感器数据如图像、雷达点云进行标注的系统，它可以将传感器中的障碍物用矩形或者长方体等形状标注出来，并增加分类类型，提供给自动驾驶模型进行算法训练。但是当前人工标注的工作量较大，效率较低。
发明内容
本申请实施例提供一种自动驾驶方法、装置、设备及存储介质，用以实现自动驾驶场景下的避障操作，尤其能够减少人工标注障碍物检测模型的训练样本的工作量，提升标注效率。
本申请实施例第一方面提供一种自动驾驶方法，包括：
获取自动驾驶设备上搭载的雷达设备和拍摄设备采集得到的同一场景的雷达点云和图像；基于预设的障碍物检测模型对所述雷达点云和所述图像进行检测处理，得到所述场景中的障碍物的信息，其中，所述障碍物检测模型是根据所述雷达设备和所述拍摄设备采集到的训练样本训练得到的，所述训练样本上包括障碍物的标注信息，其中通过所述拍摄设备采集到的训练样本上的障碍物的标注信息是根据所述雷达设备采集到的同一场景的训练样本上的标注信息映射得到的；基于所述障碍物的信息，执行相应的自动驾驶策略，使得所述自动驾驶设备移动轨迹避开所述障碍物。
在一种实施方式中，所述基于预设的障碍物检测模型对所述雷达点云和所述图像进行检测处理，得到所述场景中的障碍物的信息之前，所述方法还包括：
获取所述雷达设备采集到的第一场景的点云数据，以及所述拍摄设备采集到的所述第一场景的图像，其中，所述雷达设备采集到的第一场景的点云数据中标注有障碍物的信息；若获取到所述点云数据和所述图像，则根据所述雷达设备与所述拍摄设备之间的标定关系，将所述雷达设备采集到的所述点云数据映射到所述拍摄设备采集到的所述图像上，得到所述点云数据中的障碍物在所述图像上的位置；采用所述障碍物在所述点云数据中的标注信息对所述图像的所述位置进行标注；基于标注后的所述图像以及所述点云数据进行模型训练，得到所述障碍物检测模型。
在一种实施方式中，所述获取所述雷达设备采集到的第一场景的点云数据，以及所述拍摄设备采集到的所述第一场景的图像之后，所述方法还包括：
若未获取到所述雷达设备采集的所述第一场景的点云数据，且获取到所述拍摄设备采集的所述第一场景的图像，则通过显示界面将所述图像展示给用户，以使所述用户对所述图像中的障碍物进行标注；根据用户标注后的图像训练模型，得到所述障碍物检测模型。
在一种实施方式中，所述根据所述雷达设备与所述拍摄设备之间的标定关系，将所述雷达设备采集到的所述点云数据映射到所述拍摄设备采集到的所述图像上，得到所述点云数据中的障碍物在所述图像上的位置之前，所述方法还包括：
获取所述雷达设备采集到的第二场景的点云数据，以及所述拍摄设备采集到的所述第二场景的图像，其中，所述点云数据和所述图像中包括所述第二场景中的障碍物的标注信息；基于预先设置的所述雷达设备与所述拍摄设备之间的标定关系，将所述点云数据映射到所述图像上；判断所述点云数据和所述图像中的相同障碍物的标注是否重合；若不重合，则对所述标定关系进行校正处理，使得所述点云数据和所述图像中的相同障碍物的标注重合。
在一种实施方式中，所述标定关系包括用于将所述雷达设备的第一坐标系中的坐标点映射到所述拍摄设备的第二坐标系的第一旋转向量。
在一种实施方式中，所述对所述标定关系进行校正处理，使得所述点云数据和所述图像中的相同障碍物的标注重合，包括：
将所述第一旋转向量转换成第一欧拉角；调整所述第一欧拉角中的角度参数，使得所述点云数据和所述图像中的相同障碍物的标注重合，得到第二欧拉角；将所述第二欧拉角转换为第二旋转向量。
在一种实施方式中，所述自动驾驶设备包括无人飞行器和自动驾驶车辆。
本申请实施例第二方面提供一种自动驾驶控制装置，包括：
第一获取模块，用于获取自动驾驶设备上搭载的雷达设备和拍摄设备采集得到的同一场景的雷达点云和图像；检测模块，用于基于预设的障碍物检测模型对所述雷达点云和所述图像进行检测处理，得到所述场景中的障碍物的信息，其中，所述障碍物检测模型是根据所述雷达设备和所述拍摄设备采集到的训练样本训练得到的，所述训练样本上包括障碍物的标注信息，其中通过所述拍摄设备采集到的训练样本上的障碍物的标注信息是根据所述雷达设备采集到的同一场景的训练样本上的标注信息映射得到的；执行模块，用于基于所述障碍物的信息，执行相应的自动驾驶策略，使得所述自动驾驶设备移动轨迹避开所述障碍物。
在一种实施方式中，所述装置还包括：
第二获取模块，用于获取所述雷达设备采集到的第一场景的点云数据，以及所述拍摄设备采集到的所述第一场景的图像，其中，所述雷达设备采集到的第一场景的点云数据中标注有障碍物的信息。
第一映射模块，用于在所述第二获取模块获取到所述点云数据和所述图像时，根据所述雷达设备与所述拍摄设备之间的标定关系，将所述雷达设备采集到的所述点云数据映射到所述拍摄设备采集到的所述图像上，得到所述点云数据中的障碍物在所述图像上的位置。
标注模块，用于采用所述障碍物在所述点云数据中的标注信息对所述图像的所述位置进行标注。
模型训练模块，用于基于标注后的所述图像以及所述点云数据进行模型训练，得到所述障碍物检测模型。
在一种实施方式中，所述装置还包括：
展示模块，用于在所述第二获取模块未获取到所述雷达设备采集的所述第一场景的点云数据，且获取到所述拍摄设备采集的所述第一场景的图像时，通过显示界面将所述图像展示给用户，以使所述用户对所述图像中的障碍物进行标注。
所述模型训练模块，还用于根据用户标注后的图像训练模型，得到所述障碍物检测模型。
在一种实施方式中，所述装置还包括：
第三获取模块，用于获取所述雷达设备采集到的第二场景的点云数据，以及所述拍摄设备采集到的所述第二场景的图像，其中，所述点云数据和所述图像中包括所述第二场景中的障碍物的标注信息。
第二映射模块，用于基于预先设置的所述雷达设备与所述拍摄设备之间的标定关系，将所述点云数据映射到所述图像上。
判断模块，用于判断所述点云数据和所述图像中的相同障碍物的标注是否重合。
校正模块，用于在所述点云数据和所述图像中的相同障碍物不重合时，对所述标定关系进行校正处理，使得所述点云数据和所述图像中的相同障碍物的标注重合。
在一种实施方式中，所述标定关系包括用于将所述雷达设备的第一坐标系中的坐标点映射到所述拍摄设备的第二坐标系的第一旋转向量。
在一种实施方式中，所述校正模块，包括：
第一转换子模块，用于将所述第一旋转向量转换成第一欧拉角。
处理子模块，用于调整所述第一欧拉角中的角度参数，使得所述点云数据和所述图像中的相同障碍物的标注重合，得到第二欧拉角。
第二转换子模块，用于将所述第二欧拉角转换为第二旋转向量。
在一种实施方式中，所述自动驾驶设备包括无人飞行器和自动驾驶车辆。
本申请实施例第三方面提供一种自动驾驶设备，包括：
一个或多个处理器。
一个或多个显示组件，用于显示所述自动驾驶设备搭载的雷达设备采集得到的点云数据和/或显示所述自动驾驶设备搭载的拍摄设备拍摄得到的图像。
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述第一方面所述的方法。
本申请实施例第四方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的方法。
基于以上各方面，本申请实施例提供的自动驾驶方法、装置、设备及存储介质，通过获取自动驾驶设备上搭载的雷达设备和拍摄设备采集得到的同一场景的雷达点云和图像，基于预设的障碍物检测模型对获取到的雷达点云和图像进行检测处理，得到该场景中的障碍物的信息，根据该障碍物的信息，执行相应的自行驾驶策略，使得自动驾驶设备的移动轨迹避开障碍物，实现了自动驾驶场景下的避障操作。另外，由于本申请实施例中的障碍物检测模型是根据自动驾驶设备上搭载的雷达设备和拍摄设备采集到的训练样本训练得到的，且拍摄设备采集到的训练样本上的障碍物的标注信息是根据雷达设备采集到的同一场景的训练样本上的标注信息映射得到的，从而不需要人工对拍摄设备采集到的训练样本进行标注，减少了人工标注的工作量，提高了训练样本的标注效率。并且由于标注效率的提高，在模型训练样本的获取上就会相对容易，能够通过大量有效标注的样本得到准确性较高的障碍物检测模型，从而提高自动驾驶的避障能力。
应当理解，上述发明内容部分中所描述的内容并非旨在限定本申请的实施例的关键或重要特征，亦非用于限制本申请的范围。本公申请的其它特征将通过以下的描述变得容易理解。
附图说明
图1是本申请实施例提供的一种自动驾驶的场景示意图；
图2是本申请实施例提供的一种自动驾驶方法的流程图；
图3是本申请实施例提供的一种障碍物检测模型的训练方法流程图；
图4是本申请实施例提供的将雷达点云映射到图像上的示意图；
图5是本申请实施例提供的一种显示界面的示意图；
图6是本申请实施例提供的一种雷达设备与拍摄设备之间标定关系的校准方法的流程图；
图7是本申请实施例提供的一种自动驾驶控制装置的结构示意图；
图8是本申请实施例提供的一种自动驾驶设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的实施例。虽然附图中显示了本申请的某些实施例，然而应当理解的是，本申请可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本申请。应当理解的是，本申请的附图及实施例仅用于示例性作用，并非用于限制本申请的保护范围。
本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1是本申请实施例提供的一种自动驾驶的场景示意图，如图1所示，在图1中车辆10执行自动驾驶操作。其中，车辆10上搭载有雷达设备11(比如，超声波雷达等)和拍摄设备12，在车辆10的移动过程中，雷达设备11和拍摄设备12对车辆10周围的信息进行采集，获得车辆周围(比如，车辆前方)的雷达点云和图像。车辆10基于雷达设备11和拍摄设备12采集到的雷达点云和图像进行障碍物识别，并在识别出障碍物13时，按照预定规则执行相应的自动驾驶策略，以达到避障的目的。当然图1所示的场景仅是为了便于理解而提供的一种示例性的场景，并不是对本申请技术方案适用应用场景的唯一限定。
参照图1所示的场景，本申请实施例提供了一种自动驾驶方案，其中，图2是本申请实施例提供的一种自动驾驶方法的流程图，该方法可以由自动驾驶设备上搭载的自动驾驶控制装置来执行，如图2所示，该方法包括如下步骤：
步骤201、获取自动驾驶设备上搭载的雷达设备和拍摄设备采集得到的同一场景的雷达点云和图像。
本实施例所涉及的自动驾驶设备是指无需人工参与控制，可借助本身搭载的传感器实现自动驾驶的设备，比如自动驾驶车辆、无人飞行器等。
自动驾驶设备上至少搭载有一个雷达设备和一个拍摄设备，其中，本实施例所称的雷达设备比如可以是激光雷达和/或超声波雷达，拍摄设备可以是但不局限于是如下中的至少一种：深度摄像图，RGB摄像头、红外摄像头。
在本实施例中，自动驾驶设备一边移动，雷达设备和拍摄设备一边对自动驾驶设备周围的场景信息进行采集。但是雷达设备获取的点云与拍摄设备获取到的图像并不总是属于同一场景，比如，在实际场景中拍摄设备可以设置成固定获取车辆前方预设区域范围内的图像，但是由于雷达设备是不断旋转的，在不同时刻雷达获取的是车辆不同方位的点云。对于车辆某一方位(比如车辆前方预设区域范围内)上的场景来说，在对该场景进行障碍物检测时，一般同时需要基于雷达设备扫描得到的该场景的点云和拍摄设备拍摄获得的该场景的图像。为了获得同一场景的雷达点云和图像，示例的，可以对拍摄设备进行设置，使之固定获取该场景的图像，并在对该场景进行障碍物识别时，获取雷达设备转动到相应位置(指雷达设备的扫描范围覆盖该场景时的位置)时扫描获得的点云，以及该时刻拍摄设备拍摄得到的图像。当然这里仅是一种示例性的方式，并不是对本申请的唯一限定。
步骤202、基于预设的障碍物检测模型对所述雷达点云和所述图像进行检测处理，得到所述场景中的障碍物的信息。
其中，障碍物检测模型是根据三维的雷达点云和二维的图像训练获得的，示例的，在本实施例中障碍物检测模型可由其所在的自动驾驶设备上搭载的雷达设备和拍摄设备采集到的训练样本训练获得。该训练样本上包括障碍物的标注信息，其中通过拍摄设备采集到的训练样本上的障碍物的标注信息是根据雷达设备采集到的同一场景的训练样本上的标注信息映射得到的。
示例的，图3是本申请实施例提供的一种障碍物检测模型的训练方法流程图，如图3所示，在本实施例中，障碍物检测模型可示例性的通过如下方法训练获得：
步骤301、获取所述雷达设备采集到的第一场景的点云数据，以及所述拍摄设备采集到的所述第一场景的图像，其中，若获取到所述点云数据和所述图像，则执行步骤302-步骤304，若未获取到所述雷达设备采集的所述第一场景的点云数据，且获取到所述拍摄设备采集的所述第一场景的图像，则执行步骤305-步骤306。
其中，本实施例获取到的点云数据和图像是指，雷达设备和拍摄设备在多个时刻采集到的多个点云数据和图像，其中每个时刻雷达设备和拍摄设备采集到的点云数据和图像均对应同一场景，本实施例为了便于叙述，将该场景统称为第一场景。
本实施例获取到的第一场景的点云数据为预先标注有障碍物的信息的雷达点云，该点云数据可以通过雷达设备扫描获得，并由人工对点云数据中的障碍物进行标注，标注的内容至少包括障碍物所在的区域，障碍物的类型等，但是障碍物的标注信息可以不仅仅局限于上述两种信息，在其他实施方式中还可以包括障碍物被其他物体遮挡的程度，障碍物颜色，以及障碍物本身的其他特征等。
在本实施例中，拍摄设备采集到的第一场景的图像中不包括障碍物的标注信息。
步骤302、根据所述雷达设备与所述拍摄设备之间的标定关系，将所述雷达设备采集到的所述点云数据映射到所述拍摄设备采集到的所述图像上，得到所述点云数据中的障碍物在所述图像上的位置。
本实施例中所称的雷达设备与拍摄设备之间的标定关系是指用于将雷达设备所在的第一坐标系和拍摄设备所在的第二坐标系映射到同一坐标系的转换关系，在本实施例中，将该转换关系示例性的理解为将自动驾驶设备搭载的雷达设备的第一坐标系中的坐标点映射到拍摄设备的第二坐标系的旋转向量(以下简称第一旋转向量)。
示例的，图4是本申请实施例提供的将雷达点云映射到图像上的示意图，如图4所示，由于本实施获取到的雷达点云和拍摄设备拍摄的图像均是对应同一场景，因此，雷达点云和图像中均应包括相同的障碍物，且相同障碍物在场景中的位置一致，因此，在将雷达点云映射到拍摄设备拍摄的二维图像后，雷达点云中标注的障碍物在二维图像上的投射位置就应该是障碍物在该二维图像中的位置，在确定二维图像中的障碍物位置之后，通过将雷达点云中的障碍物的标注信息，对应添加到二维图像中，即可完成对二维图像的障碍物标注。该标注不需要人工参与，减少了人工标注的工作量，提高了标注效率。当然这里仅是以图4为例进行示例说明而不是对本申请的唯一限定。
步骤303、采用所述障碍物在所述点云数据中的标注信息对所述图像的所述位置进行标注。
步骤304、基于标注后的所述图像以及所述点云数据进行模型训练，得到所述障碍物检测模型。
步骤305、通过显示界面将所述图像展示给用户，以使所述用户对所述图像中的障碍物进行标注。
示例的，图5是本申请实施例提供的一种显示界面的示意图，如图5所示，自动驾驶控制装置在将拍摄设备拍摄的图像呈现给用户的同时，还可以向展示障碍物的标注操作窗口，该窗口中提供障碍物的可选属性，可选属性包括障碍物类型(比如，车辆、行人、树木等)、障碍物的特征(比如颜色、障碍物被遮挡的等级、车灯状态等)、识别困难程度、备注信息等，用户通过对障碍物的属性进行选择来完成障碍物的标注。
步骤306、根据用户标注后的图像训练模型，得到所述障碍物检测模型。
当训练样本中的二维图像没有与其相对应的三维点云数据时，通过将二维图像呈现给用户，使得用户对二维图像进行标注，能够最大限度的利用训练样本训练障碍物检测模型，避免样本浪费。
步骤203、基于所述障碍物的信息，执行相应的自动驾驶策略，使得所述自动驾驶设备移动轨迹避开所述障碍物。
本实施例中的自动驾驶策略可以根据需要或偏好进行设定，而不必局限于特定的驾驶策略，比如，在一种可能的设计中，当自动驾驶设备距离行人较近时可以采用停车避让的策略避过行人，保证行驶安全。在另一种可能的设计中，自动驾驶设备距离行距离较远，且存在可绕行的路线时，则可以通过减速绕行的方式避过障碍物，当然这里仅是提供了两种可能的自动驾驶策略而不是对驾驶策略的唯一限定。
本实施例通过获取自动驾驶设备上搭载的雷达设备和拍摄设备采集得到的同一场景的雷达点云和图像，基于预设的障碍物检测模型对获取到的雷达点云和图像进行检测处理，得到该场景中的障碍物的信息，根据该障碍物的信息，执行相应的自行驾驶策略，使得自动驾驶设备的移动轨迹避开障碍物，实现了自动驾驶场景下的避障操作。另外，由于本实施例中的障碍物检测模型是根据自动驾驶设备上搭载的雷达设备和拍摄设备采集到的训练样本训练得到的，且拍摄设备采集到的训练样本上的障碍物的标注信息是根据雷达设备采集到的同一场景的训练样本上的标注信息映射得到的，从而不需要人工对拍摄设备采集到的训练样本进行标注，减少了人工标注的工作量，提高了训练样本的标注效率。并且由于标注效率的提高，在模型训练样本的获取上就会相对容易，能够通过大量有效标注的样本得到准确性较高的障碍物检测模型，从而提高自动驾驶的避障能力。
下面对上述实施例进行进一步的优化和扩展。
图6是本申请实施例提供的一种雷达设备与拍摄设备之间标定关系的校准方法的流程图，如图6所示，在上述实施例的基础上，步骤302之前还可以包括如下步骤：
步骤601、获取所述雷达设备采集到的第二场景的点云数据，以及所述拍摄设备采集到的所述第二场景的图像，其中，所述点云数据和所述图像中包括所述第二场景中的障碍物的标注信息。
在本实施例的校准方法中获取的是雷达设备和拍摄设备在相同时刻，针对同一场景(第二场景)采集得到的点云数据和图像，该点云数据和图像中包括预先标定的障碍物的信息，这里需要说明的由于本实施例获取的点云数据和图像时在同时刻从同一场景中采集得到的，因此，在该点云数据和图像中包括相同的障碍物，且在该时刻障碍物在场景中的位置固定不变。
步骤602、基于预先设置的所述雷达设备与所述拍摄设备之间的标定关系，将所述点云数据映射到所述图像上。
本实施例中所称的标定关系可以被具体为用于将雷达设备的第一坐标系中的坐标点映射到拍摄设备的第二坐标系的第一旋转向量。根据该旋转向量将雷达设备采集到的第二场景的点云数据映射到拍摄设备拍摄得到的第二场景的图像上。
步骤603、判断所述点云数据和所述图像中的相同障碍物的标注是否重合，其中若不重合，则执行步骤604。
在实际中若预先设定的雷达设备与拍摄设备之间的标定关系是准确的，那么将雷达设备采集到的点云数据映射到拍摄设备拍摄的图像后，点云数据中对障碍物的标注应该与图像上的障碍物的标注重合，若不重合，则说明预先设定的标定关系不准确。为了保证能够在图3实施例中对拍摄设备拍摄的图像进行准确的标注，需要对雷达设备与拍摄设备之间的标定关系进行重新校准，以使雷达设备得到的点云数据在映射到同时刻拍摄得到的同场景的图像时，点云数据中的标注能够与图像上的标注重合。
步骤604、对所述标定关系进行校正处理，使得所述点云数据和所述图像中的相同障碍物的标注重合。
具体的，在对雷达设备和拍摄设备之间的标定关系进行校准时，可以采用如下方法：
S1、将所述第一旋转向量转换成第一欧拉角。
S2、调整所述第一欧拉角中的角度参数，使得所述点云数据和所述图像中的相同障碍物的标注重合，得到第二欧拉角。
S3、将所述第二欧拉角转换为第二旋转向量。
欧拉角(Eulerian angles)是用来唯一确定绕定点转动刚体位置一组角度参数。每组角度由进动角ψ、章动角θ和自转角j三个组成。欧拉角又称为RPY角，表示了物体的横滚、俯仰和偏航三种方向。因此欧拉角能够方便的描述出刚体绕任意轴的旋转的模型，从理论上通过调整欧拉角可以达到任何旋转效果。因此，本实施例在对雷达设备和拍摄设备之间的标定关系进行校准时，先将当前雷达设备和拍摄设备之间的第一旋转向量转换成第一欧拉角，再通过调整第一欧拉角中的角度参数(进动角ψ、章动角θ和自转角j中的至少一个)使得雷达设备的点云数据在映射到拍摄设备的图像上后，二者中的障碍物标注可以重合。同时为了标定关系存储的一致性，在得到校准后的第二欧拉角后，将第二欧拉角转换成第二旋转向量进行存储。
其中，旋转向量转换成欧拉角的方法可以参考如下：
基于旋转向量可以通过罗德里格向量旋转公式来填写旋转矩阵。设
Figure BDA0002040011690000111
是旋转向量(Rvec)，
Figure BDA0002040011690000112
是点云中某个点的原始向量。
Figure BDA0002040011690000113
则旋转以后的向量可以表示为vrot。
Figure BDA0002040011690000114
借助
Figure BDA0002040011690000115
生成vrot，此为旋转原理。
Figure BDA0002040011690000116
经过罗德里格公式的计算，其中
Figure BDA0002040011690000117
向量即为所求的旋转矩阵。
Figure BDA0002040011690000118
其中E是3阶单位矩阵。得到的是一个3行3列的矩阵。θ为旋转角度。
那么根据
Figure BDA0002040011690000119
向量即可得到欧拉角：
r＝arctan(R[2][1]/R[2][2])；
Figure BDA00020400116900001110
y＝arctan(R[1][0]/R[0][0])。
本实施例通过在对雷达设备与拍摄设备之间的标定关系进行校准，能够确保对二维图像标注的准确性，进而提高训练得到的障碍物检测模型的准确性。
图7是本申请实施例提供的一种自动驾驶控制装置的结构示意图，如图7所示，自动驾驶控制装置70包括：
第一获取模块71，用于获取自动驾驶设备上搭载的雷达设备和拍摄设备采集得到的同一场景的雷达点云和图像。
检测模块72，用于基于预设的障碍物检测模型对所述雷达点云和所述图像进行检测处理，得到所述场景中的障碍物的信息，其中，所述障碍物检测模型是根据所述雷达设备和所述拍摄设备采集到的训练样本训练得到的，所述训练样本上包括障碍物的标注信息，其中通过所述拍摄设备采集到的训练样本上的障碍物的标注信息是根据所述雷达设备采集到的同一场景的训练样本上的标注信息映射得到的。
执行模块73，用于基于所述障碍物的信息，执行相应的自动驾驶策略，使得所述自动驾驶设备移动轨迹避开所述障碍物。
在一种实施方式中，所述装置还包括：
第二获取模块，用于获取所述雷达设备采集到的第一场景的点云数据，以及所述拍摄设备采集到的所述第一场景的图像，其中，所述雷达设备采集到的第一场景的点云数据中标注有障碍物的信息。
第一映射模块，用于在所述第二获取模块获取到所述点云数据和所述图像时，根据所述雷达设备与所述拍摄设备之间的标定关系，将所述雷达设备采集到的所述点云数据映射到所述拍摄设备采集到的所述图像上，得到所述点云数据中的障碍物在所述图像上的位置。
标注模块，用于采用所述障碍物在所述点云数据中的标注信息对所述图像的所述位置进行标注。
模型训练模块，用于基于标注后的所述图像以及所述点云数据进行模型训练，得到所述障碍物检测模型。
在一种实施方式中，所述装置还包括：
展示模块，用于在所述第二获取模块未获取到所述雷达设备采集的所述第一场景的点云数据，且获取到所述拍摄设备采集的所述第一场景的图像时，通过显示界面将所述图像展示给用户，以使所述用户对所述图像中的障碍物进行标注。
所述模型训练模块，还用于根据用户标注后的图像训练模型，得到所述障碍物检测模型。
在一种实施方式中，所述装置还包括：
第三获取模块，用于获取所述雷达设备采集到的第二场景的点云数据，以及所述拍摄设备采集到的所述第二场景的图像，其中，所述点云数据和所述图像中包括所述第二场景中的障碍物的标注信息。
第二映射模块，用于基于预先设置的所述雷达设备与所述拍摄设备之间的标定关系，将所述点云数据映射到所述图像上。
判断模块，用于判断所述点云数据和所述图像中的相同障碍物的标注是否重合。
校正模块，用于在所述点云数据和所述图像中的相同障碍物不重合时，对所述标定关系进行校正处理，使得所述点云数据和所述图像中的相同障碍物的标注重合。
在一种实施方式中，所述标定关系包括用于将所述雷达设备的第一坐标系中的坐标点映射到所述拍摄设备的第二坐标系的第一旋转向量。
在一种实施方式中，所述校正模块，包括：
第一转换子模块，用于将所述第一旋转向量转换成第一欧拉角。
处理子模块，用于调整所述第一欧拉角中的角度参数，使得所述点云数据和所述图像中的相同障碍物的标注重合，得到第二欧拉角。
第二转换子模块，用于将所述第二欧拉角转换为第二旋转向量。
在一种实施方式中，所述自动驾驶设备包括无人飞行器和自动驾驶车辆。
本实施例提供的装置能够执行上述任意实施例的方法，其执行方式和有益效果类似，在这里不再赘述。
图8是本申请实施例提供的一种自动驾驶设备的结构示意图，如图8所示，自动驾驶设备80包括：一个或多个处理器81；一个或多个显示组件82，用于显示所述自动驾驶设备搭载的雷达设备采集得到的点云数据和/或显示所述自动驾驶设备搭载的拍摄设备拍摄得到的图像；存储装置83，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器81执行，使得所述一个或多个处理器执行上述任一实施例所示的方法，其执行方式和有益效果类似，在这里不再赘述。
其中，所述自动驾驶设备80包括无人飞行器和自动驾驶车辆。
本申请实施例还提供在一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所示的方法，其执行方式和有益效果类似，在这里不再赘述。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (8)

1.一种自动驾驶方法，其特征在于，包括：
获取自动驾驶设备上搭载的雷达设备和拍摄设备采集得到的同一场景的雷达点云和图像；
基于预设的障碍物检测模型对所述雷达点云和所述图像进行检测处理，得到所述场景中的障碍物的信息，其中，所述障碍物检测模型是根据所述雷达设备和所述拍摄设备采集到的训练样本训练得到的，所述训练样本上包括障碍物的标注信息，其中通过所述拍摄设备采集到的训练样本上的障碍物的标注信息是根据所述雷达设备采集到的同一场景的训练样本上的标注信息映射得到的；
基于所述障碍物的信息，执行相应的自动驾驶策略，使得所述自动驾驶设备移动轨迹避开所述障碍物；
获取所述雷达设备采集到的第二场景的点云数据，以及所述拍摄设备采集到的所述第二场景的图像，其中，所述点云数据和所述图像中包括所述第二场景中的障碍物的标注信息；
基于预先设置的所述雷达设备与所述拍摄设备之间的标定关系，将所述点云数据映射到所述图像上；
判断所述点云数据和所述图像中的相同障碍物的标注是否重合；
若不重合，则对所述标定关系进行校正处理，使得所述点云数据和所述图像中的相同障碍物的标注重合；
所述标定关系包括用于将所述雷达设备的第一坐标系中的坐标点映射到所述拍摄设备的第二坐标系的第一旋转向量；
所述对所述标定关系进行校正处理，使得所述点云数据和所述图像中的相同障碍物的标注重合，包括：
将所述第一旋转向量转换成第一欧拉角；
调整所述第一欧拉角中的角度参数，使得所述点云数据和所述图像中的相同障碍物的标注重合，得到第二欧拉角；
将所述第二欧拉角转换为第二旋转向量。
2.根据权利要求1所述的方法，其特征在于，所述基于预设的障碍物检测模型对所述雷达点云和所述图像进行检测处理，得到所述场景中的障碍物的信息之前，所述方法还包括：
获取所述雷达设备采集到的第一场景的点云数据，以及所述拍摄设备采集到的所述第一场景的图像，其中，所述雷达设备采集到的第一场景的点云数据中标注有障碍物的信息；
若获取到所述点云数据和所述图像，则根据所述雷达设备与所述拍摄设备之间的标定关系，将所述雷达设备采集到的所述点云数据映射到所述拍摄设备采集到的所述图像上，得到所述点云数据中的障碍物在所述图像上的位置；
采用所述障碍物在所述点云数据中的标注信息对所述图像的所述位置进行标注；
基于标注后的所述图像以及所述点云数据进行模型训练，得到所述障碍物检测模型。
3.根据权利要求2所述的方法，其特征在于，所述获取所述雷达设备采集到的第一场景的点云数据，以及所述拍摄设备采集到的所述第一场景的图像之后，所述方法还包括：
若未获取到所述雷达设备采集的所述第一场景的点云数据，且获取到所述拍摄设备采集的所述第一场景的图像，则通过显示界面将所述图像展示给用户，以使所述用户对所述图像中的障碍物进行标注；
根据用户标注后的图像训练模型，得到所述障碍物检测模型。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述自动驾驶设备包括无人飞行器和自动驾驶车辆。
5.一种自动驾驶控制装置，其特征在于，包括：
第一获取模块，用于获取自动驾驶设备上搭载的雷达设备和拍摄设备采集得到的同一场景的雷达点云和图像；
检测模块，用于基于预设的障碍物检测模型对所述雷达点云和所述图像进行检测处理，得到所述场景中的障碍物的信息，其中，所述障碍物检测模型是根据所述雷达设备和所述拍摄设备采集到的训练样本训练得到的，所述训练样本上包括障碍物的标注信息，其中通过所述拍摄设备采集到的训练样本上的障碍物的标注信息是根据所述雷达设备采集到的同一场景的训练样本上的标注信息映射得到的；
执行模块，用于基于所述障碍物的信息，执行相应的自动驾驶策略，使得所述自动驾驶设备移动轨迹避开所述障碍物；
第三获取模块，用于获取所述雷达设备采集到的第二场景的点云数据，以及所述拍摄设备采集到的所述第二场景的图像，其中，所述点云数据和所述图像中包括所述第二场景中的障碍物的标注信息；
第二映射模块，用于基于预先设置的所述雷达设备与所述拍摄设备之间的标定关系，将所述点云数据映射到所述图像上；
判断模块，用于判断所述点云数据和所述图像中的相同障碍物的标注是否重合；
校正模块，用于在所述点云数据和所述图像中的相同障碍物不重合时，对所述标定关系进行校正处理，使得所述点云数据和所述图像中的相同障碍物的标注重合；
所述标定关系包括用于将所述雷达设备的第一坐标系中的坐标点映射到所述拍摄设备的第二坐标系的第一旋转向量；
所述校正模块，包括：
第一转换子模块，用于将所述第一旋转向量转换成第一欧拉角；
处理子模块，用于调整所述第一欧拉角中的角度参数，使得所述点云数据和所述图像中的相同障碍物的标注重合，得到第二欧拉角；
第二转换子模块，用于将所述第二欧拉角转换为第二旋转向量。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
第二获取模块，用于获取所述雷达设备采集到的第一场景的点云数据，以及所述拍摄设备采集到的所述第一场景的图像，其中，所述雷达设备采集到的第一场景的点云数据中标注有障碍物的信息；
第一映射模块，用于在所述第二获取模块获取到所述点云数据和所述图像时，根据所述雷达设备与所述拍摄设备之间的标定关系，将所述雷达设备采集到的所述点云数据映射到所述拍摄设备采集到的所述图像上，得到所述点云数据中的障碍物在所述图像上的位置；
标注模块，用于采用所述障碍物在所述点云数据中的标注信息对所述图像的所述位置进行标注；
模型训练模块，用于基于标注后的所述图像以及所述点云数据进行模型训练，得到所述障碍物检测模型。
7.一种自动驾驶设备，其特征在于，包括：
一个或多个处理器；
一个或多个显示组件，用于显示所述自动驾驶设备搭载的雷达设备采集得到的点云数据和/或显示所述自动驾驶设备搭载的拍摄设备拍摄得到的图像；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-3中任一项所述的方法；
所述自动驾驶设备包括无人飞行器和自动驾驶车辆。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3中任一项所述的方法。
CN201910338687.2A 2019-04-25 2019-04-25 自动驾驶方法、装置、设备及存储介质 Active CN110096059B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910338687.2A CN110096059B (zh) 2019-04-25 2019-04-25 自动驾驶方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910338687.2A CN110096059B (zh) 2019-04-25 2019-04-25 自动驾驶方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110096059A CN110096059A (zh) 2019-08-06
CN110096059B true CN110096059B (zh) 2022-03-01

Family

ID=67445866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910338687.2A Active CN110096059B (zh) 2019-04-25 2019-04-25 自动驾驶方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110096059B (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112526520A (zh) * 2019-08-29 2021-03-19 中车株洲电力机车研究所有限公司 一种行人及障碍物提示系统
CN110796705B (zh) * 2019-10-23 2022-10-11 北京百度网讯科技有限公司 模型误差消除方法、装置、设备及计算机可读存储介质
CN110654422B (zh) * 2019-11-12 2022-02-01 银河水滴科技（北京）有限公司 一种轨道列车驾驶辅助的方法、装置及系统
CN111046743B (zh) * 2019-11-21 2023-05-05 新奇点智能科技集团有限公司 一种障碍物信息标注方法、装置、电子设备和存储介质
CN111191600B (zh) * 2019-12-30 2023-06-23 深圳元戎启行科技有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN111160302B (zh) * 2019-12-31 2024-02-23 深圳一清创新科技有限公司 基于自动驾驶环境的障碍物信息识别方法和装置
CN111260789B (zh) * 2020-01-07 2024-01-16 青岛小鸟看看科技有限公司 避障方法、虚拟现实头戴设备以及存储介质
CN113257021B (zh) * 2020-02-13 2022-12-23 宁波吉利汽车研究开发有限公司 一种车辆安全预警方法及系统
CN111401133A (zh) * 2020-02-19 2020-07-10 北京三快在线科技有限公司 目标数据增广方法、装置、电子设备和可读存储介质
EP3891571A4 (en) * 2020-02-26 2021-12-22 Baidu.com Times Technology (Beijing) Co., Ltd. TRAJECTORY PLANNING WITH OBSTACLE AVOIDANCE FOR AUTONOMOUS VEHICLES
US12055407B2 (en) 2020-02-26 2024-08-06 Baidu Usa Llc Mixed regular and open-space trajectory planning method for autonomous driving vehicle
CN113421217A (zh) * 2020-03-02 2021-09-21 北京京东乾石科技有限公司 可行驶区域检测方法和装置
CN113378606A (zh) * 2020-03-10 2021-09-10 杭州海康威视数字技术股份有限公司 一种标注信息确定方法、装置及系统
CN111401321A (zh) * 2020-04-17 2020-07-10 Oppo广东移动通信有限公司 对象识别模型训练方法、装置、电子设备和可读存储介质
CN111563450B (zh) * 2020-04-30 2023-09-26 北京百度网讯科技有限公司 数据处理方法、装置、设备及存储介质
CN113932820A (zh) * 2020-06-29 2022-01-14 杭州海康威视数字技术股份有限公司 对象检测的方法和装置
CN112001287B (zh) * 2020-08-17 2023-09-12 禾多科技（北京）有限公司 障碍物的点云信息生成方法、装置、电子设备和介质
CN112269379B (zh) * 2020-10-14 2024-02-27 北京石头创新科技有限公司 障碍物识别信息反馈方法
CN118537394A (zh) * 2020-10-23 2024-08-23 北京亮道智能汽车技术有限公司 一种数据标注方法及装置
CN112550307B (zh) * 2020-11-16 2022-04-26 东风汽车集团有限公司 一种车辆用的户外预警系统及车辆
CN112528771A (zh) * 2020-11-27 2021-03-19 深兰科技（上海）有限公司 障碍物检测方法、装置、电子设备及存储介质
CN112487984B (zh) * 2020-11-30 2024-04-26 贵州北斗空间信息技术有限公司 一种点云数据轻量化快速生成方法
CN112541416B (zh) * 2020-12-02 2023-07-14 深兰科技（上海）有限公司 跨雷达障碍物跟踪方法、装置、电子设备和存储介质
CN112613424A (zh) * 2020-12-27 2021-04-06 盛视达(天津)科技有限公司 铁轨障碍物检测方法、装置、电子设备和存储介质
CN113420687A (zh) * 2021-06-29 2021-09-21 三一专用汽车有限责任公司 可行驶区域的获取方法、装置和车辆
CN113687337B (zh) * 2021-08-02 2024-05-31 广州小鹏自动驾驶科技有限公司 车位识别性能测试方法、装置、测试车辆及存储介质
CN113887351B (zh) * 2021-09-22 2023-03-07 北京三快在线科技有限公司 一种用于无人驾驶的障碍物检测方法及障碍物检测装置
CN115272994B (zh) * 2021-09-29 2023-07-25 上海仙途智能科技有限公司 自动驾驶预测模型训练方法、装置、终端及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503653A (zh) * 2016-10-21 2017-03-15 深圳地平线机器人科技有限公司 区域标注方法、装置和电子设备
CN106951847A (zh) * 2017-03-13 2017-07-14 百度在线网络技术（北京）有限公司 障碍物检测方法、装置、设备及存储介质
CN109059902A (zh) * 2018-09-07 2018-12-21 百度在线网络技术（北京）有限公司 相对位姿确定方法、装置、设备和介质
CN109100707A (zh) * 2018-08-21 2018-12-28 百度在线网络技术（北京）有限公司 雷达传感器的标定方法、装置、设备及存储介质
CN109543600A (zh) * 2018-11-21 2019-03-29 成都信息工程大学 一种实现可行驶区域检测方法及系统和应用
CN109657638A (zh) * 2018-12-28 2019-04-19 百度在线网络技术（北京）有限公司 障碍物定位方法、装置和终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503653A (zh) * 2016-10-21 2017-03-15 深圳地平线机器人科技有限公司 区域标注方法、装置和电子设备
CN106951847A (zh) * 2017-03-13 2017-07-14 百度在线网络技术（北京）有限公司 障碍物检测方法、装置、设备及存储介质
CN109100707A (zh) * 2018-08-21 2018-12-28 百度在线网络技术（北京）有限公司 雷达传感器的标定方法、装置、设备及存储介质
CN109059902A (zh) * 2018-09-07 2018-12-21 百度在线网络技术（北京）有限公司 相对位姿确定方法、装置、设备和介质
CN109543600A (zh) * 2018-11-21 2019-03-29 成都信息工程大学 一种实现可行驶区域检测方法及系统和应用
CN109657638A (zh) * 2018-12-28 2019-04-19 百度在线网络技术（北京）有限公司 障碍物定位方法、装置和终端

Also Published As

Publication number Publication date
CN110096059A (zh) 2019-08-06

Similar Documents

Publication Publication Date Title
CN110096059B (zh) 自动驾驶方法、装置、设备及存储介质
US11600075B2 (en) Nighttime sensing
US11017244B2 (en) Obstacle type recognizing method and apparatus, device and storage medium
US8611585B2 (en) Clear path detection using patch approach
US8452053B2 (en) Pixel-based texture-rich clear path detection
US8634593B2 (en) Pixel-based texture-less clear path detection
US9569673B2 (en) Method and device for detecting a position of a vehicle on a lane
CN110119698B (zh) 用于确定对象状态的方法、装置、设备和存储介质
CN107305632B (zh) 基于单目计算机视觉技术的目标对象距离测量方法与系统
US20100098295A1 (en) Clear path detection through road modeling
US11200432B2 (en) Method and apparatus for determining driving information
KR102541560B1 (ko) 객체 인식 방법 및 장치
CN110969055A (zh) 用于车辆定位的方法、装置、设备和计算机可读存储介质
CN112232275B (zh) 基于双目识别的障碍物检测方法、系统、设备及存储介质
CN111145248B (zh) 位姿信息确定方法、确定装置和电子设备
JP6278790B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
US9734429B2 (en) Method, system and computer program product for detecting an obstacle with a camera
CN111767780A (zh) 一种ai与视觉结合的智能集卡定位方法和系统
TW202029134A (zh) 行車偵測方法、車輛及行車處理裝置
CN115366885A (zh) 用于辅助机动车的驾驶操作的方法、辅助装置及机动车
US20210272289A1 (en) Sky determination in environment detection for mobile platforms, and associated systems and methods
US20230009925A1 (en) Object detection method and object detection device
WO2016079117A1 (en) Gradient detection based on perspective-transformed image
CN111460852A (zh) 车载3d目标检测方法、系统及装置
CN115439821A (zh) 基于多目视觉agv的定位与跟踪方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant