CN116385997A - 一种车载障碍物精确感知方法、系统及存储介质 - Google Patents

一种车载障碍物精确感知方法、系统及存储介质 Download PDF

Info

Publication number
CN116385997A
CN116385997A CN202211616201.5A CN202211616201A CN116385997A CN 116385997 A CN116385997 A CN 116385997A CN 202211616201 A CN202211616201 A CN 202211616201A CN 116385997 A CN116385997 A CN 116385997A
Authority
CN
China
Prior art keywords
obstacle
information
distance
vehicle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211616201.5A
Other languages
English (en)
Inventor
刘建国
李功博
尹智帅
颜伏伍
卢炽华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan Xianhu Laboratory
Original Assignee
Foshan Xianhu Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Xianhu Laboratory filed Critical Foshan Xianhu Laboratory
Priority to CN202211616201.5A priority Critical patent/CN116385997A/zh
Publication of CN116385997A publication Critical patent/CN116385997A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种车载障碍物精确感知方法、系统及存储介质，方法包括通过双目相机获取图像，通过目标检测模型得到相机感知结果，并通过深度立体匹配模型得到视差图，进而得到最终的相机感知结果；获取并处理原始点云数据，得到雷达感知结果；融合两种感知结果，并通过感知策略得到障碍物感知结果；根据障碍物感知结果，得到障碍物的瞬时速度并对其进行优化，得到障碍物的障碍状态；根据障碍状态控制车辆的驾驶。本申请提高了障碍物感知结果的冗余性，解决了在近距离下激光雷达存在检测盲区的问题，能够对运动状态下障碍物进行状态感知和轨迹跟踪，以便于为后续车辆决策和路径规划提供数据支持，满足自动驾驶的安全性和稳定性的需求。

Description

一种车载障碍物精确感知方法、系统及存储介质
技术领域
本发明涉及汽车安全驾驶技术领域，特别涉及一种车载障碍物精确感知方法、系统及存储介质。
背景技术
无人驾驶技术四大核心技术分别是环境感知、精确定位、路径规划、线控执行，而环境感知主要包括三个方面：目标检测，物体状态估计以及物体跟踪。环境感知技术主要是通过车载传感器所获得的外界环境信息和当前车辆的状态信息，计算得到环境感知结果。常用的传感器包括相机、激光雷达、毫米波雷达、超声波雷达、惯性导航系统、GPS/RTK定位系统等。各传感器有各自的优缺点，一般需要多个传感器的共同工作，才能达到无人驾驶对于环境的感知要求，因此，传感器的数据融合也成为了感知的关键技术。
然而，目前的环境感知技术大多通过单一传感器或者部分多传感器融合实现，对传感器采集得到的数据的处理方式较为简单，并且部分传感器存在检测盲区，进而导致所获得的信息的准确率较低，无法实现精确环境感知。另外，在进行车辆周围环境的障碍物感知时，运动状态下障碍物的状态信息的获取难度较大，难以感知和采集得到障碍物状态信息，不能满足对运动状态下障碍物的状态感知和轨迹跟踪的需求，进而无法实现后续车辆决策和路径规划。
发明内容
本发明的目的是提供一种车载障碍物精确感知方法、系统及存储介质，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
本发明解决其技术问题的解决方案是：提供一种车载障碍物精确感知方法，包括如下步骤：
通过双目相机获得长距图像和中距图像，将所述长距图像输入至目标检测模型，得到相机感知结果，所述相机感知结果包括目标障碍物的图像检测框和目标障碍物的类别信息；
将所述长距图像和所述中距图像输入至深度立体匹配模型，输出视差图，并将所述图像检测框投影至所述视差图中，得到目标障碍物与车辆之间的距离信息以及目标障碍物的第一体积信息，将所述距离信息和所述第一体积信息添加至所述相机感知结果中；
获取激光雷达的原始点云数据，通过点云地面-非地面分割方法和点云聚类算法处理所述原始点云数据，输出雷达感知结果，所述雷达感知结果包括目标障碍物的位置信息、第二体积信息和三维检测框；
融合所述相机感知结果和所述雷达感知结果，得到融合雷达感知结果，当所述距离信息小于预设的距离阈值时，采用所述相机感知结果作为最终的障碍物感知结果；当所述距离信息大于或等于所述距离阈值时，采用所述融合雷达感知结果作为最终的障碍物感知结果；
其中，所述融合雷达感知结果包括所述雷达感知结果和所述目标障碍物的类别信息；
采集车辆的UTM坐标信息，结合所述车辆的UTM坐标信息和所述障碍物感知结果，计算得到目标障碍物的UTM坐标信息，并根据所述目标障碍物的UTM坐标信息，计算得到当前时刻目标障碍物的瞬时速度和运动方向；
通过卡尔曼滤波优化所述目标障碍物的瞬时速度，得到目标障碍物的稳定速度信息，并根据所述稳定速度信息利用匈牙利算法更新所述目标障碍物的障碍状态，根据所述障碍状态控制车辆行驶。
另一方面，本申请提供了一种车载障碍物精确感知系统，包括：
双目相机，包括长距相机和中距相机，用于检测车辆前方的环境情况，得到长距图像和中距图像；
其中，所述长距相机和所述中距相机分别安装在车辆的前挡风玻璃的两端；
激光雷达，位于车辆的顶部，用于对中远距离下的目标障碍物物进行检测，生成原始点云数据；
GPS定位系统，用于获取车辆的UTM坐标信息；
车载域控制器，包括：
目标检测单元，搭载有目标检测模型，用于通过目标检测模型对长距图像进行目标检测，得到相机感知结果；
其中，所述相机感知结果包括目标障碍物的图像检测框和目标障碍物的类别信息；
立体匹配单元，搭载有深度立体匹配模型，用于通过深度立体匹配模型对长距图像和中距图像进行立体匹配，得到视差图；
图像处理单元，用于将所述图像检测框投影到所述视差图中，得到目标障碍物与车辆之间的距离信息以及目标障碍物的方位信息和第一体积信息，并将目标障碍物与车辆之间的距离信息以及目标障碍物的方位信息和第一体积信息添加至相机感知结果中；
雷达数据处理单元，用于通过点云地面-非地面分割方法和点云聚类算法处理所述原始点云数据，得到雷达感知结果；
其中，所述雷达感知结果包括目标障碍物的位置信息、第二体积信息和三维检测框；
第一数据处理单元，用于融合相机感知结果和雷达感知结果，得到融合雷达感知结果，当所述距离信息小于预设的距离阈值时，采用所述相机感知结果作为最终的障碍物感知结果；当所述距离信息大于或等于所述距离阈值时，采用所述融合雷达感知结果作为最终的障碍物感知结果；
第二数据处理单元，用于结合所述车辆的UTM坐标信息和所述障碍物感知结果，计算得到所述目标障碍物的UTM坐标信息，并根据所述目标障碍物的UTM坐标信息，推算得到当前时刻的所述目标障碍物的瞬时速度和运动方向；
第三数据处理单元，用于通过卡尔曼滤波优化所述目标障碍物的瞬时速度，得到目标障碍物的稳定速度信息，并根据所述稳定速度信息利用匈牙利算法更新障碍物的状态；
控制单元，用于根据更新后的障碍物的状态控制车辆行驶。
又一方面，本申请还提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行所述的一种车载障碍物精确感知方法。
本发明的有益效果是：提供一种车载障碍物精确感知方法、系统及存储介质，通过激光雷达和双目相机作为目标感知的传感器，对车辆行驶过程中的障碍物进行感知和检测，融合双目相机的感知结果和激光雷达的感知结果，得到最终的障碍物感知结果，使得障碍物的感知具有一定的冗余性，解决了在近距离下激光雷达存在检测盲区、无法有效感知到障碍物的问题，能够对运动状态下障碍物进行状态感知和轨迹跟踪，以便于为后续车辆决策和路径规划提供数据支持，满足自动驾驶的安全性和稳定性的需求。
附图说明
图1为本申请实施例提供的一种车载障碍物精确感知系统的示意图；
图2为本申请实施例提供的一种车载障碍物精确感知方法的流程图；
图3A为本申请实施例提供的中距图像的示意图；
图3B为本申请实施例提供的长距图像的示意图；
图3C为本申请实施例提供的通过中距图像和长距图像所获得的视差图的示意图；
图4为本申请实施例提供的视差图和图像检测框的三维映射原理的示意图；
图5为本申请实施例提供的融合雷达感知结果的流程图；
图6为本申请实施例提供的车载障碍物精确感知方法的原理图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
下面结合说明书附图和具体的实施例对本申请进行进一步的说明。所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
无人驾驶技术四大核心技术分别是环境感知、精确定位、路径规划、线控执行。其中，环境感知主要包括目标检测、物体状态估计和物体轨迹跟踪这三个方面。环境感知是自动驾驶和机器人领域的核心技术，其是指利用车载传感器技术、网联通讯技术等技术获取环境信息，并将道路信息、车辆信息和障碍物信息等环境信息传送给决策中心，为智能决策提供依据。本领域常用的车载传感器有：相机、激光雷达、毫米波雷达、超声波雷达、惯性导航系统、GPS/RTK定位系统等等。每个传感器具有各自的优点和缺点，在环境感知的过程中，单凭单一传感器是无法检测到较为精准的环境信息。一般需要多个传感器的共同工作，才能达到无人驾驶对于环境的感知要求，因此，传感器的数据融合也成为了环境感知的关键技术。
目前，本领域对智能车辆环境感知方面已有一定的研究，例如通过多个摄像头和毫米波雷达对车辆的四周进行环境感知；再例如，利用多个传感器搭建多传感器融合的环境感知平台，获得融合的环境感知信息。然而，目前车辆的环境感知技术仍旧存在有如下问题和缺陷：
第一，由于车辆环境感知技术的精度要求较高，当利用车载传感器技术进行环境感知时，通常选用雷达作为其中一种车载传感器。然而，激光雷达与目标物距离较近时，激光雷达无法探测感知到目标物的存在，使得环境感知的精度降低，进而无法满足车辆对环境感知的要求。
第二，在获得环境信息后，现有技术对环境信息的处理方法较为简单，导致最终用于车辆决策和规划的环境信息的准确率低，影响了智能车辆的决策和规划效果。
第三，当进行目标物检测时，运动状态下目标物的状态信息的获取难度较大，难以采集到目标物的实际状态信息，不能满足对运动状态下目标物的状态感知和轨迹跟踪的需求，进而无法实现后续车辆决策和路径规划。
针对上述现有技术中所存在的问题，本申请提出一种车载障碍物精确感知方法、系统和存储介质，通过双目相机和激光雷达检测得到运动状态或静止状态下的目标障碍物的位置信息和速度信息，进而为后续智能车辆的决策和规划提供了准确的数据支持。
参照图1所示，图1所示为本申请实施例提供的车载障碍物精确感知系统的示意图。本申请的一个实施例，下面先对感知系统的构成进行说明和阐述。感知系统包括但不限于双目相机、激光雷达101、GPS定位系统和车载域控制器。
双目相机由长距相机103和中距相机102构成。中距相机102的视野较大，能够观测车辆前方中距离和近距离内的环境情况。相比于中距相机102，长距相机103能够获得车辆前方远距离内的环境情况，进而获得更多的车辆前方的视野信息。可选地，中距相机102安装在车辆前挡风玻璃的一端，长距相机103则安装在车辆前挡风玻璃的另一端。中距相机102和长距相机103呈对称安装，能够保证获取到车辆前方的全部视野，避免存在有视野盲区。
本具体实施例中，双目相机的作用是对车辆前方的环境情况进行检测，如检测车辆前方是否存在行人或者障碍物，进而得到长距图像和中距图像。具体地，通过长距相机103得到长距图像，通过中距相机102获得中距图像。
激光雷达101的作用是检测中远距离下的目标障碍物，得到原始点云数据。
可选地，激光雷达101安装在车辆的顶部，此安装方式能够保证对中远距离下的目标物的感知能力。本具体实施例中，激光雷达101为32线激光雷达。在本申请其他实施例中，激光雷达101的类型也可以是其他类型，本申请对此不作具体限定。
GPS定位系统的作用是获取车辆的当前位置信息。本实施例中，当前位置信息通过UTM坐标信息来表示。
车载域控制器中布设有：
目标检测单元，其搭载有目标检测模型。目标检测单元的作用是将长距图像输入至目标检测模型并对长距图像进行目标检测，得到相机感知结果。
立体匹配单元，其搭载有深度立体匹配模型。立体匹配单元的作用是将中距图像和长距图像输入至深度立体匹配模型，并对中距图像和长距图像进行立体匹配，输出视差图。
图像处理单元，其作用是将图像检测框投影至视差图中，得到目标障碍物与车辆之间的距离信息以及目标障碍物的方位信息和第一体积信息，并将这三种信息添加至相机感知结果中。
雷达数据处理单元，其作用是通过点云地面-非地面分割方法和点云聚类算法处理原始点云数据，输出雷达感知结果。
第一数据处理单元，其作用是融合相机感知结果和雷达感知结果，得到融合雷达感知结果，通过设定的距离阈值从融合雷达感知结果和相机感知结果中，确定最终的障碍物感知结果。
具体地，当距离信息小于预设的距离阈值时，采用相机感知结果作为最终的障碍物感知结果；当距离信息大于或等于所述距离阈值时，采用融合雷达感知结果作为最终的障碍物感知结果。
第二数据处理单元，其作用是结合车辆的UTM坐标信息和障碍物感知结果，计算得到目标障碍物的UTM坐标信息，并根据目标障碍物的UTM坐标信息推算得到当前时刻目标障碍物的瞬时速度和运动方向。
第三数据处理单元，其作用是通过卡尔曼滤波优化目标障碍物的瞬时速度，得到目标障碍物的稳定速度信息，并根据稳定速度信息利用匈牙利算法更新障碍物的状态。
控制单元，其作用是根据更新后的障碍物的状态控制车辆行驶。
参照图2所示，图2所示为本申请实施例提供的车载障碍物精确感知方法的流程图。本申请的一个实施例，下面将对感知方法的实现过程进行说明和阐述。车载障碍物精确感知方法可以包括但不限于以下步骤。
S100，通过双目相机获得获得长距图像和中距图像，将长距图像输入至目标检测模型，得到相机感知结果。
需要说明的是，相机感知结果包括目标障碍物的图像检测框和目标障碍物的类别信息。目标检测模型为预先训练好的神经网络模型，此神经网络模型为基于YOLOv5的神经网络模型。
本步骤为视觉障碍物检测。在本步骤中，长距图像和中距图像均为2D图像。将采用中距相机拍摄得到的图像作为目标检测模型的输入，对目标障碍物进行推理，得到车辆前方障碍物在2D图像上的检测框和类别标签。
S200，将长距图像和中距图像输入至深度立体匹配模型，输出视差图，并将图像检测框投影至视差图中，得到目标障碍物与车辆之间的距离信息以及目标障碍物的方位信息和第一体积信息，将距离信息、方位信息和第一体积信息添加至相机感知结果中。
需要说明的是，深度立体匹配模型为预先训练好的基于AANET的神经网络模型。
本步骤中，将采用中距相机和长距相机拍摄得到的信息作为双目立体匹配模型的输入，即深度立体匹配模型的输入，对目标障碍物进行推理，得到对应的车辆前方的视差图。之后，直接采用目标检测模型输出的检测框作为障碍物的参考点，结合视差图对目标检测模型输出的检测框进行处理，得到车辆和目标障碍物的间距和障碍物的方位信息。最后，再根据2D图像，即长距图像和中距图像，推理得到目标障碍物的真实大小信息，即第一体积信息。并且，这三个信息加入至相机感知结果中。
S300，获取激光雷达的原始点云数据，通过点云地面-非地面分割方法和点云聚类算法处理原始点云数据，输出雷达感知结果。
需要说明的是，雷达感知结果包括中距离范围内目标障碍物相对于车辆的位置信息、目标障碍物的第二体积信息和三维检测框。第二体积信息反映的是障碍物的真实大小信息。
本步骤为视觉障碍物检测的补充，目的是保证障碍物检测的精度，降低视觉障碍物检测的误差。本步骤中，采用单32线激光雷达进行障碍物检测，生成原始点云数据。先采用点云地面-非地面分割方法，将点云划分为地面和非地面两类；后采用点云聚类算法，对非地面的点云进行处理，最终获得雷达感知结果。
S400，融合相机感知结果和所述雷达感知结果，得到融合雷达感知结果，当距离信息小于预设的距离阈值时，采用相机感知结果作为最终的障碍物感知结果；当距离信息大于或等于距离阈值时，采用融合雷达感知结果作为最终的障碍物感知结果。
本具体实施例中，距离阈值为15米。
本步骤中，由于雷达感知结果中并没有目标障碍物对应的类别标签，因此需要将相机感知结果与雷达感知结果进行融合。在融合后得到融合雷达感知结果。之后，构建感知策略：以15米作为距离阈值，判断车辆和目标障碍物的间距和此距离阈值的关系。当间距小于15米时，则最终的障碍物的感知结果为相机感知结果。当间距大于15米时，则最终的障碍物的感知结果为融合雷达感知结果。
S500，采集车辆的UTM坐标信息，结合车辆的UTM坐标信息和障碍物感知结果，计算得到目标障碍物的UTM坐标信息，并根据目标障碍物的UTM坐标信息，计算得到当前时刻目标障碍物的瞬时速度和运动方向。
本步骤中，通过GPS定位系统获取车辆的坐标信息。当障碍物感知结果为相机感知结果，则通过距离信息与车辆UTM坐标来计算目标障碍物的UTM坐标。当障碍物感知结果为融合雷达感知结果时，则通过目标障碍物的位置信息与车辆UTM坐标来计算目标障碍物的UTM坐标。
S600，通过卡尔曼滤波优化所述目标障碍物的瞬时速度，得到目标障碍物的稳定速度信息，并根据所述稳定速度信息利用匈牙利算法更新所述目标障碍物的障碍状态，根据所述障碍状态控制车辆行驶。
本步骤中，由于通过感知结果和障碍物UTM坐标获得的瞬时速度信息存在有干扰波动的情况，因此需要采用卡尔曼滤波滤除瞬时速度信息中的波动干扰，以获得稳定的速度信息，便于进行后续更精确地控制决策与规划。在得到稳定的速度信息之后，通过匈牙利算法更新障碍物的当前状态，车辆的控制单元可以根据障碍物的当前状态对车辆的自动驾驶进行决策和规划。
S100中获得中距图像和长距图像之前，还包括对中距相机和长距相机的标定步骤。相机标定指建立相机图像像素位置与场景点位置之间的关系，根据相机成像模型，由特征点在图像中坐标与世界坐标的对应关系，求解相机模型的内参矩阵、外参矩阵以及畸变系数。因此，本申请中，采用张正友标定法实现相机的标定，张正友标定法利用每一个角点的像素坐标以及其在世界坐标系下的物理坐标来对相机进行标定，获得中距相机和长距相机的内参数、外参数和畸变系数，便于后续图像处理过程中消除中距图像和长距图像的畸变。
本申请的一个实施例，下面将对双目相机的标定过程进行进一步地说明和阐述。本申请中，使用若干个二维方格组成的标定板对中距相机和长距相机进行标定，标定的过程为：
第一步，获取标定板不同的位姿图像，并提取图像中的角点像素坐标。
本步骤中，通过角点检测算法检测位姿图像的角点并提取，之后通过位姿图像的角点计算获得长距相机和中距相机的内参数以及外参数的初始值。角点通常被定义为两条边的交点，角点的局部邻域应该具有两个不同区域的不同方向的边界。角点检测(CornerDetect ion)是计算机视觉系统中用来获得图像特征的一种方法，广泛应用于运动检测、图像匹配、视频跟踪、三维建模和目标识别等领域中。同时角点检测也称为特征点检测。
可选地，角点检测算法为Moravec角点检测算法、FAST角点检测算法或Harris角点检测算法中的任一种。但在本申请其他实施例中，可根据实际情况选择其他角点检测算法，本申请对此不作具体限定。
第二步，通过单应矩阵对角点像素坐标进行计算，得到双目相机的内参数的初始值和外参数的初始值。
需要说明的是，每一幅位姿图像都有对应的单应矩阵。单应矩阵可以理解为世界坐标系和像素坐标系之间的位置映射关系。单应矩阵H满足：
H＝[h1，h2，h3]＝γA[r1 r2 t]；
其中，γ为任意比例因子。r1，r2为列向量，两者相互正交且模为1。单应矩阵为3*3的矩阵，并且有一个元素作为齐次坐标。因此H有八个自由度。
本步骤中，在张正友标定法中，构建相机成像几何模型，结合几何模型可以求出像素坐标系到世界坐标系的单应矩阵。由于单应矩阵是外参数和内参数的集合体，因此只需将单应矩阵中的内参数和外参数分别求解出来，即可获得相机的原始内外参数。
第三步，通过非线性最小二乘法估计双目相机的畸变系数的初始值。
由于相机镜头中透镜的存在，使得成像过程中光线的传播会产生两种影响，一种是透镜形状对光线传播的影响，称为径向畸变；另一种是透镜位置对光线传播的影响，成为切向畸变。本申请采用的标定方法是张正友标定法，张正友标定法只关注径向畸变。在实际情况下，径向畸变较小，所以其可以用主点(principle point)周围的泰勒级数展开的前几项进行描述。本申请中利用前两项来确定径向畸变的畸变系数。数学表达式为：
Figure BDA0004000376790000101
Figure BDA0004000376790000102
其中，(u,v)为理想无畸变的像素坐标，
Figure BDA0004000376790000103
为实际径向畸变的情况下的像素坐标，(u0，v0)为主点，(x,y)为理想无畸变时的连续图像坐标，k1和k2代表前两阶的畸变系数。
那么，对于位姿图像上的任意一点，存在如下矩阵等式：
Figure BDA0004000376790000111
上述矩阵等式中，通过相机成像几何模型和内外参数的初始值可以求得(x,y)、(u,v)的值，通过内参数的初始值可以求得主点，通过位姿图像读取畸变后的像素坐标
Figure BDA0004000376790000112
之后，假设有n张图像，每个图像有m个角点，那么可以获得2mn个矩阵等式。设D是矩阵等式左边的系数矩阵，D为2mn×2的矩阵；k＝[k1，k2]T，d为矩阵等式右边的有畸变的像素坐标与无像素坐标之差构成的矩阵。通过非线性最小二乘法估计得到畸变系数的初始值为：k＝(DTD)-1DTd。
第四步，通过极大似然估计法对内参数的初始值、外参数的初始值和畸变系数的初始值进行优化，得到双目相机的最终的内参数、外参数和畸变系数。
本步骤中，在获得内外参数以及畸变系数的初始值之后，需要通过极大似然估计策略来获得真实的内外参数以及畸变系数。极大似然估计法满足：
Figure BDA0004000376790000113
本具体实施例中，通过张正友标定法来标定中距相机和长距相机的内参数、外参数以及畸变系数，便于后续在S200中消除中距图像和长距图像的畸变。
本申请的一个实施例，S100中的目标检测模型为预先训练好的模型，而此目标检测模型为基于YOLOv5的目标检测模型。下面将对目标检测模型的训练过程进行说明和阐述。目标检测模型的训练过程包括：
首先，获取COCO数据集，并从COCO数据集中挑选自动驾驶场景下关注度较高的类别，形成目标检测数据集。可选地，类别包括行人、汽车、自行车等。
需要说明的是，COCO数据集是一个大型的、丰富的物体检测，分割和字幕数据集。这个数据集以场景理解为目标，主要从复杂的日常场景中截取，图像中的目标通过精确的分割进行位置的标定。
然后，构建YOLOv5模型，将目标检测数据集划分为训练集和测试集，训练集用于训练YOLOv5模型，测试集则用于测试训练好的YOLOv5模型的性能。将训练集输入至YOLOv5模型中进行训练，输出训练好的YOLOv5模型。
需要说明的是，YOLOv5是机器视觉领域工业界使用较为广泛的目标检测模型。YOLOv5网络模型主要分为输入端、主干网络、Neck网络和预测端这四个模块，其采用作为损失函数，通过通过非极大值抑制NMS来筛选目标框。
其中，GIOU满足：
Figure BDA0004000376790000121
Figure BDA0004000376790000122
其中，M表示目标真实框和预测框之间的交集，N表示目标真实框和预测框之间的并集，IOU表示交集和并集之比。目标真实框和预测框的最小外接矩形通过C来表示，D为C与并集N之间的差集。因此，GIOU_Loss可通过如下公式来表示：
Figure BDA0004000376790000123
之后，通过测试集测试训练好的YOLOv5模型的模型性能。其中，通过置信度来表征YOLOv5模型的性能。
具体地，在测试性能的过程中，当训练好的YOLOv5模型输出的结果的置信度低于置信度阈值时，则视作此YOLOv5模型未能达到预期的性能，优化网络的超参数，并重新训练YOLOv5模型。当训练好的YOLOv5模型输出的结果的置信度大于或等于置信度阈值时，则视作此YOLOv5模型达到了预期的性能，将此模型作为目标检测模型输出。可选地，设定置信度阈值为0.5。
本申请的一个实施例，下面将对S200获得视差图的过程进行进一步地说明和阐述。获得视差图的过程可以包括但不限于以下步骤。
S210，对长距图像和中距图像进行立体校正。
如果要通过两幅图像估计物点的深度信息，那么必须在两幅图像中准确的匹配到同一物点，这样才能根据该物点在两幅图像中的位置关系，进而计算得到物体深度。因此，本申请在推理得到视差图之前，需要先对中距图像和长距图像进行立体校正。立体校正的具体步骤为：
S211，获取长距图像和中距图像的原始像素点，通过双目相机的内参数将长距图像和中距图像的像素坐标系转换为相机坐标系；
S212，计算长距图像和中距图像的畸变量，得到在相机坐标系下长距图像和中距图像的畸变位置，根据畸变位置对长距图像和中距图像进行去畸变处理。
以上步骤中，通过张正友标定法获得的畸变系数、内参数和外参数，对中距图像和长距图像进行畸变矫正，以达到消除畸变的目的。在消除畸变后，对中距图像和长距图像进行立体校正处理。立体校正定义为把实际中非共面行对准的两幅图像，校正成共面行对准，以提高匹配搜索的效率。
S213，将相机坐标系转换为像素坐标系，通过原始像素点对位于像素坐标系下的长距图像和中距图像的像素点进行重新插值；
S214，调整中距图像和长距图像的尺寸，使得中距图像的尺寸和长距图像的尺寸一致。
S220，将长距图像和中距图像输入至深度立体匹配模型，获得视差图。
需要说明的是，深度立体匹配模型为基于AANET(Adapt ive Aggregat ionNetwork，自适应聚合网络)的神经网络模型。AANET常用于双目立体匹配，可用来代替基于匹配代价体的3D卷积，在加快推理速度的同时保持较高的准确率。AANET可以分为三个部分，第一部分是特征提取，即利用卷积神经网络进行卷积得到不同尺寸的特征；第二部分是代价聚合，包括匹配代价计算和多尺度代价融合；第三部分是深度图优化部分，即视差图的优化部分。通过将立体校正后的中距图像和长距图像作为AANET的输入，推理得到对应的车辆正前方的视差图。
本具体实施例中，参照图3A至图3C所示，图3A为本申请实施例提供的中距图像的示意图，图3B为本申请实施例提供的长距图像的示意图。通过对如图3A所示的中距图像和如图3B所示的长距图像进行立体校正并输入至AANET中，得到如图3C所示的视差图。
参照图4所示，图4所示为本申请实施例提供的视差图和图像检测框的三维映射原理的示意图。本申请的一个实施例，下面将结合图4对S200中获得距离信息、第一体积信息和方位信息的过程进行进一步地说明和阐述。获得距离信息、第一体积信息和方位信息的过程可以包括但不限于以下步骤。
S230，将图像检测框的中心点位置作为目标障碍物的参考点，计算目标障碍物的参考点在像素坐标系下的坐标，并将图像检测框投影至视差图中，获得参考点在视差图中的投影点坐标，通过投影点坐标得到目标障碍物与车辆之间的距离。
本步骤中，考虑到长距相机和深度立体匹配模型输出的视差图之间的偏差量较小，因此直接采用目标检测模型输出的检测框的中心点，将其作为障碍物参考点，求出其像素坐标系下的坐标。在求出参考点在坐标系下的坐标后，读取其在深度图中的坐标值，即可得到障碍物与车辆之间的距离信息。
S240，根据双目相机的内参数，将投影点坐标从像素坐标系转换至世界坐标系下，得到目标障碍物相对于车辆的方位信息。
本实施例中如图4所示，图4中坐标系XYZ为相机的局部三维坐标系，即世界坐标系；坐标系x′y′为像素坐标系，点P为图像检测框对应的长距图像的中心点；点C为双目相机的位置；f为相机的焦距；点XM为参考点在视差图中的投影点坐标。本实施例中，目标检测框对应的图像是长距图像，长距图像中的点XM为位于像素坐标系下的坐标，通过转换可以得到世界坐标系下的点M，即障碍物相对于车辆的方位信息。
S250，根据长距图像和中距图像，结合距离信息和方位信息，推理得到目标障碍物的第一体积信息。
本具体实施例中，通过对预先标定的相机图像进行目标检测和立体匹配推理后，目标障碍物的类别信息、图像检测框、与车辆的间距以及第一体积信息共同构成相机感知结果。本申请通过相机感知结果能够精确地感知距离处于激光雷达盲区、距离车辆较近、高度较低的障碍物的距离和大小信息，解决了激光雷达在近距离范围内存在检测盲区的问题，进而扩大了障碍物信息的感知范围。
基于上述实施例，激光雷达的感知为相机视觉障碍物的检测补充。本申请的一个实施例，下面将对S300中原始点云数据的处理过程进行进一步地说明和阐述。S300中的点云数据是由三维激光雷达设备扫描得到的空间点的数据集，每一个点都包含了三维坐标信息，还可以包含有颜色信息、反射强度信息、回波次数信息等。点云数据具有稀疏性、无序性、空间分布不均匀性的特点。因此，S300中获得原始点云数据后，先后进行如下处理：
第一步处理是点云地面-非地面分割。在采用激光雷达进行障碍物检测时，通常采用传统的点云处理算法进行障碍物的分割、拟合、跟踪。在这个过程中使用聚类算法进行障碍物分割，而聚类算法是依据点之间的欧式距离来度量属性的。因此，地面点云数据会对位于地面上的物体点集造成干扰，进而达不到预期的障碍物检测效果。
对此，本申请在进行点云聚类之前，通过分割方法将点云数据分割为地面点云数据和非地面点云数据，以消除地面点云数据对位于地面上的物体点集所造成的干扰影响。点云分割的具体步骤为，将依据距离车头的距离将车前方空间分为若干份，然后针对不同空间的点云设定一个阈值，若点云高度低于阈值，则判断其为地面点，否则为非地面点。
在本申请中，点云地面-非地面分割的过程包括：
首先，根据激光雷达与车辆的头部之间的距离，将车辆的前方空间分为若干个子空间。
需要说明的是，每个子空间包含若干个位于此子空间内的原始点云数据。
再者，设置每个子空间对应的高度阈值，计算每个子空间的原始点云数据与地面之间的距离，将距离记作原始点云数据的点云高度。
需要说明的是，高度阈值可根据实际情况而设置，本申请对此不作具体限定。
本步骤中，根据子空间设置与子空间对应的高度阈值，子空间中的原始点云数据与子空间的高度阈值存在对应关系。
然后，依次判断每个原始点云数据的点云高度是否大于其对应的高度阈值，根据判断结果将每个原始点云数据分别划分为地面点数据和非地面点数据。具体地，当点云高度小于高度阈值时，此原始点云数据为地面点数据；当点云高度大于高度阈值时，此原始点云数据为非地面点数据，进而完成地面点和非地面点的分割。
第二步处理是点云聚类，聚类的目的是将非地面点数据进行分类，进而实现对不同目标障碍物的分类。本申请采用欧几里得点云聚类算法实现点云聚类，进而得到雷达感知结果。欧几里得聚类算法是基于欧式距离聚类方法，此算法中需要设计距离阈值参数，且距离的敏感度要优于传统的聚类算法，并且具有自动滤噪的能力。在算法的搜索过程中，利用了Kd-树进行加速，提高了数据搜索的效率。本申请通过此方式获得不同障碍物的位置和大小信息，得到中距离范围内的障碍物的位置和体积信息以及三维检测框，这些信息构成了雷达感知结果。需要说明的是，体积信息映射的是目标障碍物的大小信息。
在本申请中，通过欧几里得聚类算法进行点云聚类的过程为：
在每个子空间中，随机抽选出任一非地面点数据作为球心，根据子空间与车辆的头部的间距设定球体的半径，构成映射该非地面点数据对应的障碍物集合的球体，将位于此半径下的球体内的原始点云数据均归类至对应的障碍物集合中；球体内的每一个原始点云数据以相同的设定半径向外膨胀，将其他原始点云数据纳入至障碍物集合中；循环以上步骤，直到所有原始点云数据均被纳入至对应的障碍物集合，结束聚类。
本具体实施例中，初始化包含所有非地面点数据的集合A，标记A中对象为“未访问”。然后，从A中挑选任意非地面点数据pi，标记“已访问”，并创建一个集合Ci，集合Ci中的数据所反映的障碍物的位置和大小情况相同或相似。把挑选得到的非地面点数据pi添加到此集合Ci中。通过Kd-树结构快速找到距离挑选得到的非地面点数据pi最近的n个点组成的集合Bi。遍历集合Bi中的点，若点距离挑选得到的非地面点数据pi的距离小于设定的阈值，则将其放到集合Ci中；若大于阈值，则判定该点为噪声。根据公式“A＝A-Ci”更新集合A，重复上述步骤，直到集合A为空，返回聚类结果。
参照图5所示，图5所示为本申请实施例提供的融合雷达感知结果的流程图。本申请的一个实施例，S400为融合雷达感知结果和相机感知结果，进而获得障碍物感知结果的步骤。S400大致分为两个步骤，一个是获得融合雷达感知结果，另一个是获得最终障碍物感知结果。其中，获得融合雷达感知结果的过程可以包括但不限于以下步骤。
S410，对双目相机和激光雷达进行联合标定，得到外参标定矩阵。
本步骤中，在融合之前，需要使用AUTOWARE工具联合标定双目相机和激光雷达，得到外参标定矩阵。
需要说明的是，AUTOWARE是主流的无人驾驶开源项目框架。AUTOWARE主要包含以下模块：定位模块：通过结合GNSS和IMU传感器的3D地图和3D地图、SLAM算法来实现定位。检测模块：通过传感器融合算法和深度神经网络使用摄像机和激光雷达完成检测。预测和规划模块：基于概率机器人模型和基于规则的系统，部分还使用深度神经网络。控制模块：Autoware向车辆输出的是速度和角速度的扭曲量。尽管控制量的主要部分通常位于车辆的线控控制器中，但这些是控制模块的一部分。
S420，将三维检测框投影至长距图像，转换得到二维检测框。
需要说明的是，二维检测框是指激光雷达检测得到的3D检测框通过投影在2D图像上形成的框。
S430，遍历全部二维检测框，找寻长距图像中与二维检测框的重合度最高的目标障碍物，将重合度最高的目标障碍物对应的类别信息添加至雷达感知结果中，得到融合雷达感知结果。
以上步骤中，由于原始的雷达感知结果中并不包括目标障碍物的类别，因此需要将雷达感知结果与相机感知结果进行融合，进而使得雷达感知结果更加全面地反映出障碍物的实际情况。对此，本申请针对每一个目标检测模型输出的图像检测框，遍历所有的3D检测框投影，寻找与其在长距图像平面内重合度最高的物体。同时，获取重合度最高的物体的类别信息，将此类别信息添加给雷达感知结果，进而构成了融合雷达感知结果。
在获得融合雷达感知结果之后，通过感知策略来推算得到障碍物感知结果。本申请中，当障碍物和车辆的头部的间距小于15米，由于激光雷达安装在车辆的顶部，激光雷达较高，因此激光雷达对矮类型和小类型的障碍物的感知能力较差。并且，通过聚类得到的激光雷达感知结果没有物体类别信息，这样不便于获得目标障碍物的具体信息和数据。而经目标检测模块输出的相机感知结果中包含有物体类别信息。因此，通过感知策略来融合相机感知的结果和雷达感知的结果，提高目标障碍物的定位精度。本申请采取以障碍物和车辆的头部的间距为15米作为区分的感知策略。对15米内的障碍物以相机感知结果作为最终的结果。对15米以外的障碍物以融合有障碍物类别标签的雷达感知结果作为最终结果。
本申请的一个实施例，下面将对S500进行进一步地说明和阐述。S500可以包括但不限于以下步骤。
S510，采集车辆的UTM坐标信息，结合目标障碍物与车辆之间的距离信息，得到目标障碍物的UTM坐标信息。
需要说明的是，通过安装在车后轴中心的GPS定位系统，获得车辆实时的UTM(Universal Transverse Mercator Grid System,通用横墨卡托网格系统)坐标信息。
S520，利用匈牙利算法以预设的匹配频率对每一时间帧下的目标障碍物进行匹配和跟踪，得到目标障碍物的UTM坐标信息的变化，进而得到当前时间帧的目标障碍物的瞬时速度和运动方向。
需要说明的是，匈牙利算法是部图匹配最常见的算法，是一种用增广路径求二分图最大匹配的算法。二分图是图论中的一种特殊模型。若能将无向图G＝(V,E)的顶点集V分割为两个互不相交的子集V1和V2，并且任意边的两个端点分别属于两个集合，则称图G为一个二分图。而最大匹配则是指选择这样的子集中边数最大的子集称为图的最大匹配问题，最大匹配的边数则称为最大匹配。
本步骤中，匹配频率设置为一秒，以一秒为间隔的障碍物的UTM坐标变化来进行粗略估计和计算，得到障碍物的速度大小和变化方向的信息。至此，车辆的感知系统，即域控制器已经得到了当前时间帧下，车辆前方的所有障碍物的位置、体积、类别和速度信息。
本申请的一个实施例，下面将对目标障碍物的瞬时速度的优化过程进行说明和阐述。在获得车辆前方的所有障碍物的位置、体积、类别和速度信息后，本申请采用卡尔曼滤波方法来优化目标障碍物的瞬时速度。具体地，S600中，优化目标障碍物的瞬时速度包括如下步骤：
首先，根据障碍物感知结果，构建单个障碍状态xk＝(px，py，vx，vy)T；
然后，构建恒定速度模型：
Figure BDA0004000376790000181
其中，
Figure BDA0004000376790000182
为状态矩阵，/>
Figure BDA0004000376790000183
为噪声矩阵。
其中：目标障碍物在x方向和y方向上的坐标信息分别通过px和py来表示，目标障碍物在x方向和y方向上的速度信息分别通过vx、py来表示。当前时刻的目标障碍物的速度通过xk来表示，下一时刻的目标障碍物的速度通过xk+1来表示。当前时刻k到下一时刻k+1之间的时间差值通过Δt来表示。
进而得到Pk＝APk-1AT。
之后，根据卡尔曼滤波的更新方程Gk＝PkCT(CPkCT+R)-1，求解得到如下公式：
Pk←(1-GkC)Pk。
其中，C为测量矩阵，通过如下公式来表示：
Figure BDA0004000376790000191
测量噪声协方差矩阵通过R来表示，R满足以下公式：/>
Figure BDA0004000376790000192
其中，/>
Figure BDA0004000376790000193
和/>
Figure BDA0004000376790000194
均可以通过实际测量得到。
通过公式Pk←(1-GkC)Pk降低目标障碍物的瞬间速度的波动，得到目标障碍物的稳定速度信息。
基于上述实施例，在S600中，得到稳定的目标障碍物的速度信息之后，通过匈牙利算法匹配联合每一时间帧的目标障碍物的速度信息，更新目标障碍物的速度信息，进而对车辆的行驶进行自动控制。具体地，对车辆的行驶进行自动控制的过程包括如下步骤：
首先，划分检测范围。本具体实施例中，检测范围为以车辆为中心，左右方向五米以内、前方四十米以内的范围。
对于在检测范围以外的障碍物，考虑到车辆处于低速行驶的状态，认为监测范围以外的障碍物并不会影响自动驾驶的后续决策和规划，因此不输出此类障碍物的感知信息。并且，并不会对当前车辆的驾驶状态造成影响。
对于在检测范围以内的障碍物，将其视作目标障碍物。在每次目标障碍物的障碍状态更新时，记录目标障碍物的速度模型的状态矩阵和噪声矩阵，从而实现在接收每一时间帧的目标障碍物的UTM坐标信息时，对单独的每一个目标障碍物使用卡尔曼滤波，持续更新其速度信息和状态。同时，依据目标障碍物更新的速度模型和障碍状态，车辆的域控制器对车辆的当前行驶状态进行规划、决策和控制。
参照图6所示，图6所示为本申请实施例提供的车载障碍物精确感知方法的原理图。下面以一个例子对本申请的技术方案进行举例说明。在车辆自动驾驶或者行驶的过程中，进行如下步骤：
图像获取：采用张正友标定法建立相机成像几何模型，得到双目相机的内参矩阵、外参矩阵和畸变系数。同时，通过双目相机获取中距图像、长距图像。
2D图像目标检测：将长距图像输入到已经完成预训练的基于YOLOv5的目标检测模型中，得到初步障碍物2D位置和类别信息，也就是相机感知结果。障碍物2D位置通过模型输出的图像检测框来表示。
2D视差估计：将中距图像、长距图像输入到训练好的深度立体匹配模型中，输出2D视差图。
2D图像深度匹配：调整参数，通过找寻图像检测框的中心位置像素点在2D视差图上的投影点的深度信息，实现以双目相机为输入的障碍物的深度信息的感知。将深度匹配得到的距离信息以及第一体积信息添加到相机感知结果中。
激光雷达感知：通过对激光雷达探测到的原始点云数据进行处理，输出雷达感知结果。
传感器数据融合：将激光雷达感知到的三维检测框，投影到2D图像的平面，通过找寻重合度最高的物体，融合和修改雷达感知结果，获得融合雷达感知结果。并且，根据感知策略筛选出最终的障碍物感知结果。
障碍物轨迹预测：通过GPS定位系统实时采集车辆UTM坐标，结合障碍物感知结果，计算障碍物的瞬时速度和运动方向。之后，建立一个恒定速度模型，加入噪声矩阵和测量矩阵，计算卡尔曼增益，实时更新障碍物的障碍状态。
车辆控制：根据检测范围，获取检测范围内的障碍物的实时障碍物状态。车辆的域控制器依据此实时障碍物状态对车辆的行驶状态进行实时控制。
本申请通过激光雷达和双目相机作为目标感知的传感器，对车辆行驶过程中的障碍物进行感知和检测，融合双目相机的感知结果和激光雷达的感知结果，得到最终的障碍物感知结果，使得障碍物的感知具有一定的冗余性，满足自动驾驶的安全性和稳定性的需求。本申请解决了在近距离下激光雷达存在检测盲区、无法有效感知到障碍物的问题，能够对运动状态下障碍物进行状态感知和轨迹跟踪，以便于为后续车辆决策和路径规划提供数据支持。
首先，通过对预先标定的相机图像进行目标检测和立体匹配推理后，能够精确地感知距离处于激光雷达盲区、距离车辆较近、高度较低的障碍物的距离和大小信息，解决了激光雷达在近距离范围内存在检测盲区的问题，进而扩大了障碍物信息的感知范围。
然后，选用激光雷达作为相机感知的补充检测。通过融合雷达感知结果，提高激光雷达的感知结果的准确率。根据感知策略获得障碍物感知结果，提高了用于车辆决策和规划的环境信息的准确率，使得环境感知的精度提高，进而满足车辆对环境感知的要求。
最后，根据障碍物感知结果，得到障碍物的瞬时速度并进行卡尔曼滤波，采集到障碍物的实际状态信息，能够满足对运动状态下目标物的状态感知和轨迹跟踪的需求，进而实现后续车辆决策和路径规划。
另外，本申请实施例还提供了一种存储介质，其中存储有处理器可执行的指令，处理器可执行的指令在由处理器执行时用于执行一种车辆障碍物精确感知方法。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或装置不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或装置固有的其他步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机、服务器或者网络装置等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：只读存储器(Read-On ly Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于上述方法实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

Claims (10)

1.一种车载障碍物精确感知方法，其特征在于，包括如下步骤：
通过双目相机获得长距图像和中距图像，将所述长距图像输入至目标检测模型，得到相机感知结果，所述相机感知结果包括目标障碍物的图像检测框和目标障碍物的类别信息；
将所述长距图像和所述中距图像输入至深度立体匹配模型，输出视差图，并将所述图像检测框投影至所述视差图中，得到目标障碍物与车辆之间的距离信息以及目标障碍物的方位信息和第一体积信息，将所述距离信息、所述方位信息和所述第一体积信息添加至所述相机感知结果中；
获取激光雷达的原始点云数据，通过点云地面-非地面分割方法和点云聚类算法处理所述原始点云数据，输出雷达感知结果，所述雷达感知结果包括目标障碍物的位置信息、第二体积信息和三维检测框；
融合所述相机感知结果和所述雷达感知结果，得到融合雷达感知结果，当所述距离信息小于预设的距离阈值时，采用所述相机感知结果作为最终的障碍物感知结果；当所述距离信息大于或等于所述距离阈值时，采用所述融合雷达感知结果作为最终的障碍物感知结果；
其中，所述融合雷达感知结果包括所述雷达感知结果和所述目标障碍物的类别信息；
采集车辆的UTM坐标信息，结合所述车辆的UTM坐标信息和所述障碍物感知结果，计算得到目标障碍物的UTM坐标信息，并根据所述目标障碍物的UTM坐标信息，计算得到当前时刻目标障碍物的瞬时速度和运动方向；
通过卡尔曼滤波优化所述目标障碍物的瞬时速度，得到目标障碍物的稳定速度信息，并根据所述稳定速度信息利用匈牙利算法更新所述目标障碍物的障碍状态，根据所述障碍状态控制车辆行驶。
2.根据权利要求1所述的一种车载障碍物精确感知方法，其特征在于，在所述通过双目相机获得长距图像和中距图像之前，包括：
采集标定板的位姿图像，所述标定板由若干个二维方格构成，提取所述位姿图像的角点像素坐标；
通过单应矩阵对所述角点像素坐标进行计算，得到所述双目相机的内参数的初始值和外参数的初始值；
通过非线性最小二乘法估计所述双目相机的畸变系数的初始值；
通过极大似然估计法对所述内参数的初始值、所述外参数的初始值和所述畸变系数的初始值进行优化，得到所述双目相机最终的内参数、外参数和畸变系数。
3.根据权利要求1所述的一种车载障碍物精确感知方法，其特征在于，所述将所述长距图像和所述中距图像输入至深度立体匹配模型，得到视差图，包括：
对所述长距图像和所述中距图像进行立体校正；
将所述长距图像和所述中距图像输入至深度立体匹配模型，获得视差图；
其中，所述深度立体匹配模型为基于AANET的神经网络模型；
所述对所述深度立体匹配模型进行立体校正，包括：
获取所述长距图像和所述中距图像的原始像素点，通过所述双目相机的内参数将所述长距图像和所述中距图像的像素坐标系转换为相机坐标系；
计算所述长距图像和所述中距图像的畸变量，得到在所述相机坐标系下的所述长距图像和所述中距图像的畸变位置，根据所述畸变位置对所述长距图像和所述中距图像进行去畸变处理；
将所述相机坐标系转换为所述像素坐标系，通过所述原始像素点对位于所述像素坐标系下的所述长距图像和所述中距图像的像素点进行重新插值；
调整所述中距图像和所述长距图像的尺寸，使得所述中距图像的尺寸和所述长距图像的尺寸一致。
4.根据权利要求3所述的一种车载障碍物精确感知方法，其特征在于，所述将所述图像检测框投影至所述视差图中，得到目标障碍物与车辆之间的距离信息以及目标障碍物的方位信息和第一体积信息，包括：
将所述图像检测框的中心点位置作为所述目标障碍物的参考点，计算所述目标障碍物的参考点在像素坐标系下的坐标，并将所述图像检测框投影至所述视差图中，获得所述参考点在所述视差图中的投影点坐标，通过所述投影点坐标得到所述目标障碍物与车辆之间的距离；
根据所述双目相机的内参数，将所述投影点坐标从所述像素坐标系转换至世界坐标系下，得到所述目标障碍物相对于车辆的方位信息；
根据所述长距图像和所述中距图像，结合所述距离信息和所述方位信息，推理得到所述目标障碍物的第一体积信息。
5.根据权利要求1所述的一种车载障碍物精确感知方法，其特征在于，所述通过点云地面-非地面分割方法和点云聚类算法处理所述原始点云数据，输出雷达感知结果，包括：
根据所述激光雷达与车辆的头部之间的距离，将车辆的前方空间分为若干个子空间，每个所述子空间包含若干个位于所述子空间内的原始点云数据；
设置每个所述子空间对应的高度阈值，计算每个所述子空间的所述原始点云数据与地面之间的距离，将所述距离记作所述原始点云数据的点云高度；
依次判断每个所述原始点云数据的点云高度是否大于其对应的高度阈值，根据判断结果将每个所述原始点云数据分别划分为地面点数据和非地面点数据；
根据所述非地面点数据，结合欧几里得聚类算法对所有所述原始点云数据进行聚类处理，得到雷达感知结果；
其中，所述根据判断结果将每个原始点云数据分别划分为地面点数据和非地面点数据，包括：
当所述点云高度小于所述原始点云数据对应的高度阈值时，则所述原始点云数据为地面点数据；
当所述点云高度大于或等于所述原始点云数据对应的高度阈值时，则所述原始点云数据为非地面点数据。
6.根据权利要求1所述的一种车载障碍物精确感知方法，其特征在于，所述融合所述相机感知结果和所述雷达感知结果，得到融合雷达感知结果，包括：
对所述双目相机和所述激光雷达进行联合标定，得到外参标定矩阵；
将所述三维检测框投影至所述长距图像，转换得到二维检测框；
遍历全部所述二维检测框，找寻所述长距图像中与所述二维检测框的重合度最高的目标障碍物，将所述重合度最高的目标障碍物对应的类别信息添加至雷达感知结果中，得到融合雷达感知结果。
7.根据权利要求1所述的一种车载障碍物精确感知方法，其特征在于，所述根据所述目标障碍物的UTM坐标信息，计算得到当前时刻目标障碍物的瞬时速度和运动方向，包括：
利用匈牙利算法，以预设的匹配频率对每一时间帧下的所述目标障碍物进行匹配和跟踪，得到所述目标障碍物的UTM坐标信息的变化值；
根据所述UTM坐标信息的变化值，计算得到当前时间帧的目标障碍物的瞬时速度和运动方向；
其中，所述匹配频率设置为一秒。
8.根据权利要求1所述的一种车载障碍物精确感知方法，其特征在于，所述通过卡尔曼滤波优化所述目标障碍物的瞬时速度，得到目标障碍物的稳定速度信息，包括：
根据障碍物感知结果，构建单个障碍状态xk＝(px，py，vx，vy)T；
构建恒定速度模型：
Figure FDA0004000376780000041
其中：
Figure FDA0004000376780000042
为状态矩阵；/>
Figure FDA0004000376780000043
为噪声矩阵；
其中：px为目标障碍物在x方向上的坐标信息，py为目标障碍物在y方向上的坐标信息，vx和vy分别表示目标障碍物在x方向和y方向上的速度信息，xk为当前时刻的目标障碍物的速度，xk+1为下一时刻的目标障碍物的速度，Δt为当前时刻和下一时刻之间的时间差值；
根据卡尔曼滤波的更新方程Gk＝PkCT(CPkCT+R)-1，得到以下公式：
Pk←(1-GkC)Pk；
其中:
Figure FDA0004000376780000044
为测量矩阵，/>
Figure FDA0004000376780000045
为测量噪声协方差矩阵；
通过Pk←(1-GkC)Pk来获得目标障碍物的稳定速度信息。
9.一种车载障碍物精确感知系统，其特征在于，包括：
双目相机，包括长距相机和中距相机，用于检测车辆前方的环境情况，得到长距图像和中距图像；
其中，所述长距相机和所述中距相机分别安装在车辆的前挡风玻璃的两端；
激光雷达，位于车辆的顶部，用于对中远距离下的目标障碍物物进行检测，生成原始点云数据；
GPS定位系统，用于获取车辆的UTM坐标信息；
车载域控制器，包括：
目标检测单元，搭载有目标检测模型，用于通过目标检测模型对长距图像进行目标检测，得到相机感知结果；
其中，所述相机感知结果包括目标障碍物的图像检测框和目标障碍物的类别信息；
立体匹配单元，搭载有深度立体匹配模型，用于通过深度立体匹配模型对长距图像和中距图像进行立体匹配，得到视差图；
图像处理单元，用于将所述图像检测框投影到所述视差图中，得到目标障碍物与车辆之间的距离信息以及目标障碍物的方位信息和第一体积信息，并将目标障碍物与车辆之间的距离信息以及目标障碍物的方位信息和第一体积信息添加至相机感知结果中；
雷达数据处理单元，用于通过点云地面-非地面分割方法和点云聚类算法处理所述原始点云数据，得到雷达感知结果；
其中，所述雷达感知结果包括目标障碍物的位置信息、第二体积信息和三维检测框；
第一数据处理单元，用于融合相机感知结果和雷达感知结果，得到融合雷达感知结果，当所述距离信息小于预设的距离阈值时，采用所述相机感知结果作为最终的障碍物感知结果；当所述距离信息大于或等于所述距离阈值时，采用所述融合雷达感知结果作为最终的障碍物感知结果；
第二数据处理单元，用于结合所述车辆的UTM坐标信息和所述障碍物感知结果，计算得到所述目标障碍物的UTM坐标信息，并根据所述目标障碍物的UTM坐标信息，推算得到当前时刻的所述目标障碍物的瞬时速度和运动方向；
第三数据处理单元，用于通过卡尔曼滤波优化所述目标障碍物的瞬时速度，得到目标障碍物的稳定速度信息，并根据所述稳定速度信息利用匈牙利算法更新障碍物的状态；
控制单元，用于根据更新后的障碍物的状态控制车辆行驶。
10.一种存储介质，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于执行如权利要求1-8任一项所述的一种车载障碍物精确感知方法。
CN202211616201.5A 2022-12-15 2022-12-15 一种车载障碍物精确感知方法、系统及存储介质 Pending CN116385997A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211616201.5A CN116385997A (zh) 2022-12-15 2022-12-15 一种车载障碍物精确感知方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211616201.5A CN116385997A (zh) 2022-12-15 2022-12-15 一种车载障碍物精确感知方法、系统及存储介质

Publications (1)

Publication Number Publication Date
CN116385997A true CN116385997A (zh) 2023-07-04

Family

ID=86963853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211616201.5A Pending CN116385997A (zh) 2022-12-15 2022-12-15 一种车载障碍物精确感知方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN116385997A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117130010A (zh) * 2023-10-23 2023-11-28 青岛慧拓智能机器有限公司 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117130010A (zh) * 2023-10-23 2023-11-28 青岛慧拓智能机器有限公司 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车

Similar Documents

Publication Publication Date Title
CN112292711B (zh) 关联lidar数据和图像数据
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN108152831B (zh) 一种激光雷达障碍物识别方法及系统
CN111126269B (zh) 三维目标检测方法、装置以及存储介质
WO2021227645A1 (zh) 目标检测方法和装置
CN111429514A (zh) 一种融合多帧时序点云的激光雷达3d实时目标检测方法
WO2022188663A1 (zh) 一种目标检测方法及装置
US20210004566A1 (en) Method and apparatus for 3d object bounding for 2d image data
CN111880191B (zh) 基于多智能体激光雷达和视觉信息融合的地图生成方法
Munoz-Banon et al. Targetless camera-lidar calibration in unstructured environments
Dey et al. VESPA: A framework for optimizing heterogeneous sensor placement and orientation for autonomous vehicles
RU2767949C2 (ru) Способ (варианты) и система для калибровки нескольких лидарных датчиков
CN113261010A (zh) 基于对象轨迹的用于跨域对应的多模态传感器融合方法
CN114325634A (zh) 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
US11677931B2 (en) Automated real-time calibration
EP3703008A1 (en) Object detection and 3d box fitting
Sakic et al. Camera-LIDAR object detection and distance estimation with application in collision avoidance system
Manivannan et al. Vision based intelligent vehicle steering control using single camera for automated highway system
Badino et al. Stereo-based free space computation in complex traffic scenarios
CN116385997A (zh) 一种车载障碍物精确感知方法、系统及存储介质
CN112964263B (zh) 自动建图方法、装置、移动机器人及可读存储介质
Huang et al. Probabilistic lane estimation for autonomous driving using basis curves
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination