CN112396043B - 车辆环境信息感知方法、装置、电子设备及存储介质 - Google Patents

车辆环境信息感知方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112396043B
CN112396043B CN202110078457.4A CN202110078457A CN112396043B CN 112396043 B CN112396043 B CN 112396043B CN 202110078457 A CN202110078457 A CN 202110078457A CN 112396043 B CN112396043 B CN 112396043B
Authority
CN
China
Prior art keywords
vehicle
tensor
thermodynamic diagram
current
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110078457.4A
Other languages
English (en)
Other versions
CN112396043A (zh
Inventor
冯思渊
张伟康
王晓东
张天雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhuxian Technology Co Ltd
Original Assignee
Beijing Zhuxian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhuxian Technology Co Ltd filed Critical Beijing Zhuxian Technology Co Ltd
Priority to CN202110078457.4A priority Critical patent/CN112396043B/zh
Publication of CN112396043A publication Critical patent/CN112396043A/zh
Application granted granted Critical
Publication of CN112396043B publication Critical patent/CN112396043B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种车辆环境信息感知方法、车辆状态感知装置、电子设备以及计算机可读存储介质，车辆环境信息感知方法包括：获取当前概率热力图的张量；获取预测概率热力图的张量；将当前概率热力图的张量与预测概率热力图的张量合并，得到密集张量；从密集张量中获取车头的中心点位置和方向以及车挂的中心点位置和方向；以车头的中心点位置向车头的方向沿伸，以及以车挂的中心点位置向车挂的方向沿伸，将沿伸后的交点确定为车头和车挂的连接关键点位置；基于车头和车挂的连接关键点位置确定半挂车的当前状态。能够提高环境信息感知的准确性，以及提高环境信息感知的实时性，在嵌入式设备上能够快速稳定地运行，实现了轻量化的效果。

Description

车辆环境信息感知方法、装置、电子设备及存储介质
技术领域
本申请涉及无人驾驶技术领域，尤其涉及一种车辆环境信息感知方法、车辆状态感知装置、电子设备以及计算机可读存储介质。
背景技术
随着自动化技术的不断发展，无人驾驶逐渐成为一种趋势。尤其对于一些封闭、半封闭的工程作业场景，例如：港区码头等，采用无人驾驶车辆进行自动化作业，能够极大的提高作业效率。在无人驾驶车辆自动作业的过程中，车辆中的环境感知系统需要通过传感器获取外界信息，并将外界信息转化为环境感知结果，进而将环境感知结果输入到车辆的决策系统，决策系统基于环境感知结果对车辆进行控制。如果环境感知系统输出的环境感知结果错误，将会导致决策系统决策错误，进而影响车辆的行驶安全。可见，环境感知系统输出的环境感知结果的准确性，对无人驾驶车辆的行驶安全具有重要意义。
目前，在无人驾驶车辆中采用的是基于深度学习的环境感知模型或者不基于深度学习的环境感知模型，以便将车辆传感器获取的外界信息转换为环境感知结果。
然而，不基于深度学习的环境感知模型对目标的中心点位置预测不准，容易导致障碍物速度估计存在误差，进而降低了环境感知结果的准确性。以及，港口的路况环境恶劣，车辆在港口路面上行驶时会产生严重的颠簸，采用不基于深度学习的环境感知模型无法获得准确的环境感知结果。同时，目前的自动驾驶出租车普遍采用工控机和大功耗显卡作为硬件载体，从而能够保证包含基于深度学习的环境感知模型能够实时运行。但港口的路况环境恶劣，车辆颠簸严重，依赖硬件设备的基于深度学习的环境感知模型无法满足预设环境感知精度的港口区域车规要求，将直接影响卡车安全行驶。并且，行驶在港口中的车辆多数是半挂车。半挂车的特点是整体属于非刚体，由车头和车挂连接在一起。现有的基于深度学习的环境感知模型受到图像预处理、候选区域选择、特征设计与提取、目标分类、定位优化等过程的限制，只能够对车头和车挂进行独立检测，再通过其它手段对车头和车挂进行匹配。这种方式在检测阶段并没有利用到车头与车挂之间的关系，降低了环境感知结果的精度。以及在对车头和车挂分别进行完检测后，还需要额外对车头和车挂采用其它算法进行匹配与跟踪，降低了环境感知结果输出的实时性。
发明内容
本申请实施例的目的是提供一种车辆环境信息感知方法、车辆状态感知装置、电子设备以及计算机可读存储介质，能够提高车辆环境感知的准确性和实时性。
为解决上述技术问题，本申请实施例提供如下技术方案：
本申请第一方面提供一种车辆环境信息感知方法，包括：获取当前概率热力图的张量，所述当前概率热力图是基于当前车辆的传感器当前获取的原始点云数据得到的；获取预测概率热力图的张量，所述预测概率热力图用于指示当前车辆在上一帧预测的当前帧的环境信息；将所述当前概率热力图的张量与所述预测概率热力图的张量合并，得到密集张量；从所述密集张量中获取车头的中心点位置和方向以及车挂的中心点位置和方向，所述车头和所述车挂属于同一个半挂车；以所述车头的中心点位置向所述车头的方向沿伸，以及以所述车挂的中心点位置向所述车挂的方向沿伸，将沿伸后的交点确定为所述车头和所述车挂的连接关键点位置；基于所述车头和所述车挂的连接关键点位置确定所述半挂车的当前状态。
本申请第二方面提供一种车辆环境信息感知装置，包括：第一输入模块，用于获取当前概率热力图的张量，所述当前概率热力图是基于当前车辆的传感器当前获取的原始点云数据得到的；第二输入模块，用于获取预测概率热力图的张量，所述预测概率热力图用于指示当前车辆在上一帧预测的当前帧的环境信息；合并模块，用于将所述当前概率热力图的张量与所述预测概率热力图的张量合并，得到密集张量；提取模块，用于从所述密集张量中获取车头的中心点位置和方向以及车挂的中心点位置和方向，所述车头和所述车挂属于同一个半挂车；计算模块，用于以所述车头的中心点位置向所述车头的方向沿伸，以及以所述车挂的中心点位置向所述车挂的方向沿伸，将沿伸后的交点确定为所述车头和所述车挂的连接关键点位置；输出模块，用于基于所述车头和所述车挂的连接关键点位置确定所述半挂车的当前状态。
本申请第三方面提供一种电子设备，所述电子设备包括：至少一个处理器；以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行第一方面中的车辆环境信息感知方法。
本申请第四方面提供一种计算机可读存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行第一方面中的车辆环境信息感知方法。
相较于现有技术，本申请第一方面提供的车辆环境信息感知方法，通过车辆的当前概率热力图与预测概率热力图能够获得用于指示车辆周围环境中的目标信息的密集张量，进而从密集张量中获取车头和车挂的中心点位置和方向，进而确定车头和车挂的连接关键点位置，最终基于该连接关键点位置确定半挂车当前的整体状态。相比于现有的分别确定车头和车挂的中心点位置，基于车头和车挂的中心点位置确定车头和车挂的状态，进而基于车头和车挂的状态确定半挂车的整体状态。本申请实施例提供的车辆环境信息感知方法，在确定半挂车的整体状态之前，先确定半挂车的连接关键点位置，再基于半挂车的连接关键点位置确定半挂车的整体状态，在确定半挂车的整体状态时，能够考虑到车头和车挂之间的关系，提高环境信息感知的准确性。并且，本申请实施例提供的车辆环境信息感知方法，在确定半挂车的状态时，无需基于车头和车挂的状态采用额外的算法计算半挂车的整体状态，而是基于车头和车挂的连接关键点位置确定半挂车的整体状态，能够提高环境信息的感知速度，提高环境信息感知的实时性，进而提升车辆控制的实时性。以及，本申请实施例提供的车辆环境信息感知方法，克服了自动驾驶出租车技术道路在港口场景下的不足，无需将车辆环境信息感知模型嵌入工控机，并将工控机安装在车辆上，可直接将车辆环境信息感知模型嵌入车辆的环境感知系统中，实现了轻量化。即轻量化的基于深度学习的三维检测网络，在保证满足港口感知环境的同时，能够在嵌入式设备上以小于单帧小于十毫秒的检测速度稳定运行。并且根据港口的实际环境特点提出一种车头和车挂关联的检测方法。
本申请第二方面提供的车辆环境信息感知装置、第三方面提供的电子设备、第四方面提供的计算机可读存储介质，与第一方面提供的车辆环境信息感知方法具有相同的有益效果。
附图说明
通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，相同或对应的标号表示相同或对应的部分，其中：
图1示意性地示出了车辆环境信息感知方法的流程图一；
图2示意性地示出了确定车头和车挂的连接关键点位置的过程；
图3示意性地示出了车辆环境信息感知方法的流程图二；
图4示意性地示出了采用传统的环境信息感知方法实现的效果图一；
图5示意性地示出了采用传统的环境信息感知方法实现的效果图二；
图6示意性地示出了采用本申请实施例提供的环境感知方法实现的效果图一；
图7示意性地示出了采用本申请实施例提供的环境感知方法实现的效果图二；
图8示意性地示出了自动驾驶卡车目标跟踪效果图；
图9示意性地示出了车辆环境信息感知装置地结构图；
图10示意性地示出了电子设备的结构图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施方式。虽然附图中显示了本申请的示例性实施方式，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
本申请实施例提供了一种车辆环境信息感知方法，应用于车辆的环境感知系统。当车辆监测到外界信息后，通过本申请实施例提供的车辆环境信息感知方法，能够对外界信息进行处理，转换成决策系统所需要的输入，进而实现车辆的控制。也就是说，本申请实施例提供的车辆环境信息感知方法，能够基于车辆监测到的外界信息确定车辆周围环境中的目标的类型、位置、尺寸、方向、速度等状态。
在后文中，上述车辆统称为当前车辆。当前车辆周围环境中的目标主要可以包括当前车辆周围行驶的车辆，后文统称为半挂车。由于当前车辆在行驶过程中，其周围可能存在多辆车辆，故半挂车的实际数量需要视当前车辆周围实际的车辆数量决定。对于半挂车的具体数量，此处不做限定。
图1示意性地示出了车辆环境信息感知方法的流程图一，参见图1所示，该方法可以包括：
S101：获取当前概率热力图的张量。
其中，当前概率热力图是基于当前车辆的传感器当前获取的原始点云数据得到的。
也就是说，在当前车辆开始行驶或者正在行驶时，当前车辆的环境感知系统通过当前车辆上安装的传感器获取原始点云数据，该原始点云数据就是能够反映当前车辆周围环境中的目标的数据，即外界信息。然后，环境感知系统对原始点云数据进行过滤、视角转换、类图像数据提取等处理，生成当前概率热力图，进而提取当前概率热力图中的张量。
当前概率热力图，可以认为是一幅能够反映当前车辆周围的半挂车位置分布概率的热力图。示例性的，假设当前概率热力图的底色为蓝色，蓝色底色上分布着黄色的点。黄色的点就是半挂车，黄色的点的位置就是半挂车在当前车辆周围分布的概率。
张量，可以认为是一个存储特征数据的容器。当前概率热力图的张量，就是指从当前概率热力图中提取的特征的总和。
S102：获取预测概率热力图的张量。
其中，预测概率热力图用于指示当前车辆在上一帧预测的当前帧的环境信息。
也就是说，本申请实施例提供的车辆环境信息感知方法，需要不断地采集原始点云数据。每采集一次原始点云数据，并相应的输出环境感知信息，这就可以认为是一帧。在上一帧，在输出当前的环境感知信息的同时，还能够预测下一帧的环境信息。在当前帧，就能够获得上一帧预测的环境信息了。这里预测的环境信息可以通过概率热力图体现，即预测概率热力图。
示例性的，假设在第2帧，最终除了输出第2帧感知的环境信息，还能够输出预测的第3帧的环境信息。在第3帧，就可以获得第2帧中预测的第3帧的环境信息，即上一帧预测的当前帧的概率热力图。
S103：将当前概率热力图的张量与预测概率热力图的张量合并，得到密集张量。
由于当前概率热力图和预测概率热力图都是指示当前帧下当前车辆周围的半挂车的位置等状态信息的图，只是一个是实际检测的，一个是预测的而已。因此，为了使得待处理的数据更加丰富，提高环境感知信息输出的准确性，可以将当前概率热力图的张量与预测概率热力图的张量合并，即生成密集张量。
S104：从密集张量中获取车头的中心点位置和方向以及车挂的中心点位置和方向。
其中，车头和车挂属于同一个半挂车。
在密集张量中，包含有当前车辆周围环境中的目标的各种状态信息（例如：类型、位置、尺寸、方向、速度等）。而为了能够确定非刚体车辆（例如：半挂车（车头+车挂））的连接关键点位置，就需要先从密集张量中分别获取各个目标（车头、车挂）的中心点位置和方向。
S105：以车头的中心点位置向车头的方向沿伸，以及以车挂的中心点位置向车挂的方向沿伸，将沿伸后的交点确定为车头和车挂的连接关键点位置。
图2示意性地示出了确定车头和车挂的连接关键点位置的过程，参见图2所示，通过密集张量，能够计算出车头的中心点位置201和车挂的中心点位置202。在车头的中心点位置201上，沿着车头的方向能够作出一条线203。在车挂的中心点位置202上，沿着车挂的方向能够作出另一条线204。线203与线204的交点就是车头和车挂的连接关键点位置205。
S106：基于车头和车挂的连接关键点位置确定半挂车的当前状态。
在确定了车头和车挂的连接关键点位置后，就能够基于车头和车挂的连接关键点位置确定半挂车的速度等状态了。
即，进行同步检测与跟踪。检测部分同时预测了半挂车的车头位置，以及车头、车挂的速度、方向，通过典型的跟踪滤波器（例如：卡尔曼滤波等），可以预测得到车辆下一个检测时刻的位置。预测结果通过对目标概率热力图重分布，进入下一个阶段的检测中。
由上述内容可知，本申请实施例提供的车辆环境信息感知方法，通过车辆的当前概率热力图与预测概率热力图能够获得用于指示车辆周围环境中的目标信息的密集张量，进而从密集张量中获取车头和车挂的中心点位置和方向，进而确定车头和车挂的连接关键点位置，最终基于该连接关键点位置确定半挂车当前的整体状态。相比于现有的分别确定车头和车挂的中心点位置，基于车头和车挂的中心点位置确定车头和车挂的状态，进而基于车头和车挂的状态确定半挂车的整体状态。本申请实施例提供的车辆环境信息感知方法，在确定半挂车的整体状态之前，先确定半挂车的连接关键点位置，再基于半挂车的连接关键点位置确定半挂车的整体状态，在确定半挂车的整体状态时，能够考虑到车头和车挂之间的关系，提高环境信息感知的准确性。并且，本申请实施例提供的车辆环境信息感知方法，在确定半挂车的状态时，无需基于车头和车挂的状态采用额外的算法计算半挂车的整体状态，而是基于车头和车挂的连接关键点位置确定半挂车的整体状态，能够提高环境信息的感知速度，提高环境信息感知的实时性，进而提升车辆控制的实时性。以及，本申请实施例提供的车辆环境信息感知方法，克服了自动驾驶出租车技术道路在港口场景下的不足，无需将车辆环境信息感知模型嵌入工控机，并将工控机安装在车辆上，可直接将车辆环境信息感知模型嵌入车辆的环境感知系统中，实现了轻量化。即轻量化的基于深度学习的三维检测网络，在保证满足港口感知环境的同时，能够在嵌入式设备上以小于单帧小于十毫秒的检测速度稳定运行。并且根据港口的实际环境特点提出一种车头和车挂关联的检测方法。
进一步地，作为对图1所示方法的细化和扩展，本申请实施例还提供了一种车辆环境信息感知方法。图3示意性地示出了车辆环境信息感知方法的流程图二，参见图3所示，该方法可以包括：
S301：获取原始点云数据。
首先需要说明的是，本申请实施例提供的车辆环境信息感知方法，可以应用于车辆的环境感知系统中。在环境感知系统中，预置有环境感知模型。环境感知模型在获取到原始点云数据后，能够对原始点云数据进行处理，进而输出原始点云数据对应的环境中各目标的状态。
原始点云数据，可以是当前车辆的传感器从当前环境中获取的，用于指示当前环境特征的点云数据。在具体实施过程中，可以将原始点云数据组成
Figure 847042DEST_PATH_IMAGE001
的原始数组。
S302：对原始点云数据进行预处理，得到当前概率热力图。
具体来说，在获取到原始点云数据后，需要将原始点云数据进行一次坐标平移，并且保留平移前的原始点云数据。平移的原始点云数据作为后向检测区域，用于后向检测。未平移的原始点云数据作为前向检测区域，用于前向检测。前、后向的原始点云数据都需要根据检测区域进行过滤。
示例性的，设置后向检测区域为-50米到30米，前向检测区域为0米到80米。原始点云数据输入后，需要将原始点云数据沿x轴整体向左平移50米，作为后向检测区域。并保存平移前的原始点云数据，作为前向检测区域。进而基于前向检测区域和后向检测区域对原始点云数据进行过滤。
由于前向检测与后向检测为现有的数据处理方法，故对于前向检测与后向检测的具体处理方式，此处不再赘述。
在基于前、后向检测对原始点云数据进行过滤后，还需要对原始点云数据进行鸟瞰视角（Bird’s Eye View，BEV）处理。即，将原始点云数据从当前车辆的第一视角转换为第三方视角。
接着，遍历原始点云数据，计算每一个栅格内点云的最大高度、最大高度点的反射强度、栅格内的点云密度，组成了一个三通道的类图像数据，即当前概率热力图。在当前概率热力图中，能够显示当前车辆检测的当前环境中目标的位置等。
在点云检测阶段，环境感知模型在tiny-yolov4检测模型的基础上修改而成，采用空间金字塔池化（Spatial Pyramid Pooling，SPP）的思想增加感受野，采用路径聚合网络（Path Aggregation Network，PANet)，head部分的输出增加了一多通道的输出，作为概率热力图为下一步骤使用。
S303：获取预测概率热力图。
预测概率热力图，就是在上一阵帧中预测的当前帧的环境信息。
S304：提取当前概率热力图和预测概率热力图的特征，输出张量。
在具体实施过程中，环境感知模型可以采用tiny-YOLO的骨干网络。基于tiny-YOLO的骨干网络提取当前概率热力图和预测概率热力图的特征，即得到当前概率热力图的(K, H, W)张量和预测概率热力图的(K, H, W)张量。
其中，K是概率热力图的通道数，H是概率热力图的高度，W是概率热力图的宽度。
对于当前概率热力图的(K, H, W)张量，需要进行第一维的max提取，得到当前概率热力图的(1, H, W)张量。对于预测概率热力图的(K, H, W)张量，需要进行第一维的max提取，得到预测概率热力图的(1, H, W)张量。
具体来说，如果目标效果压缩是初始化阶段，没有前一帧的目标检测信息，即没有预测概率热力图，那么，就将当前目标检测信息的概率设置为0.5，大小为(1, H, W) 的均匀张量，即基于当前概率热力图，输出目标概率为0.5，大小为 (1, H, W) 的均匀张量。
如果目标压缩效果是非初始化阶段，即初始化阶段后，就将当前概率热力图的(1,H, W)张量与预测概率热力图的(1, H, W)张量合并，输出大小为 (2, C1+1, H, W) 的密集张量。
其中，2是Batch Size，代表环境感知模型同时对车前和车后两个区域进行检测。C1+1是输出特征图的总通道数。
S305：对输出的张量进行切分。
由于张量中不同的部分所表征的具体内容不同，故需要对张量进行切分。
具体来说，将张量切分为1~K、K+1~K+2、K+3~K+6、K+7~K+9、K+10~K+11这几个部分。其中，1~K用于指示目标的K种类型，K+1~K+2为目标的二维偏置向量，K+3~K+6为目标的三维尺寸，K+7~K+9为目标的预测方向，K+10~K+11为目标的连接关键点位置向量。
S306：对切分后的张量进行后处理。
具体来说，对切分后的张量基于最大池化（Max Pooling）和与（AND）运算进行目标特征提取，以 (K, H, W) 的遮罩张量形式输出。将提取的目标特征在地图中进行占据栅格（Occupancy Grid）处理，即遮罩张量使用遮罩和在高精度地图中进行占据栅格过滤。
S307：基于处理后的张量计算车头和车挂的状态。
这里的状态，可以是指车头和车挂的连接关键点位置的位置、车头、车挂的位置、尺寸、方向等。
在具体实施过程中，在环境感知模型的主干网络之后，分出七个检测头。七个检测头分别为：（1）概率热力图预测头；（2）目标偏置预测头；（3）目标尺寸预测头；（4）目标高度预测头；（5）目标方向预测头；（6）目标连接关键点位置预测头；（7）目标速度预测头。
在原始点云数据经过前后向检测、栅格化等处理后，生成当前概率热力图。并结合上一帧的预测概率热力图，得到目标概率热力图。再对目标热力图进行特征提取、切分等处理后，七个检测头就可以计算车头、车挂的状态信息了。
（1）概率热力图预测头
基于1~K预测目标的类型。
目标概率热力图在所有目标中心点位置拥有山峰状数据特征，峰值对应目标中心点位置在鸟瞰图上的像素位置。通过最大池化和与运算，所有峰值点对应着预测出来的物体。根据预测物体的种类数，目标概率热力图有K个通道，每个通道预测一类物体。如果在近似的位置处有不同种类的物体的预测，那么就取预测置信度高的种类作为预测种类结果。
也就是说，通过概率热力图预测头，能够预测出当前环境中各目标的种类。例如：当前环境中的目标为车辆。当然，概率热力图预测头还能够输出当前预测的下一帧的概率热力图。后文中会进行详细说明。
由于对目标概率热力图的处理本质上就是一个分割的工作，并且目标与背景的个数差异较大，因此，在对感知模型中概率热力图预测头中的参数进行优化训练时，可以使用focal loss函数。具体如下：
Figure DEST_PATH_IMAGE002
其中，
Figure 100002_DEST_PATH_IMAGE003
是focal loss损失函数；
Figure DEST_PATH_IMAGE004
是当前帧中目标个数；
Figure 100002_DEST_PATH_IMAGE005
是三维坐标系前方坐标位置；
Figure DEST_PATH_IMAGE006
是三维坐标系左方坐标位置；
Figure 100002_DEST_PATH_IMAGE007
是BEV坐标系中的二维坐标；
Figure DEST_PATH_IMAGE008
是通道数，总数与目标类别数量一致；
Figure 100002_DEST_PATH_IMAGE009
是在第
Figure 92079DEST_PATH_IMAGE008
通道处、
Figure 137395DEST_PATH_IMAGE007
坐标位置上的二分类值；
Figure DEST_PATH_IMAGE010
是focalloss的超参数，作用相同，分别对应着对样本量大和小的物体训练关注程度的权重，一般
Figure 100002_DEST_PATH_IMAGE011
取2，
Figure DEST_PATH_IMAGE012
取1。
（2）目标偏置预测头
基于K+1~K+2预测目标的中心点位置。
鉴于目标概率热力图的分辨率，目标的精确度存在单个鸟瞰图像素大小的误差，目标偏置预测头就是为了矫正目标中心点位置的误差。
具体来说，在基于密集张量获得目标的中心点位置后，再输出目标的一个亚像素级的细粒度矫正，采用该亚像素级的细粒度矫正调整目标的中心点位置。
在对感知模型中目标偏置预测头中的参数进行优化训练时，可以使用smooth_L1损失函数。具体如下：
Figure 100002_DEST_PATH_IMAGE013
其中，
Figure DEST_PATH_IMAGE014
是smooth_L1损失函数；
Figure 100002_DEST_PATH_IMAGE015
是点云中前景点的个数（前景点指该点在某个真值框内部）；
Figure DEST_PATH_IMAGE016
，是输出目标中心位置的估计结果；
Figure 100002_DEST_PATH_IMAGE017
是输出目标中心位置的实际结果；1是指示函数；
Figure DEST_PATH_IMAGE018
是一个二值的标签，代表一个点是否属于前景点，当
Figure 100002_DEST_PATH_IMAGE019
的位置才会参与offset loss的计算。
（3）目标尺寸预测头
目标尺寸预测头能够基于K+3~K+6预测目标的长和宽，能够直接回归到目标的长和宽的具体数值。对于普通的刚体车辆，例如：出租车，预测回归的就是出租车框的长和宽。而对于非刚体车辆，例如：半挂车，预测回归的就是车头框的长和宽
Figure DEST_PATH_IMAGE020
以及车挂框的长和宽
Figure 100002_DEST_PATH_IMAGE021
。
在对感知模型中目标尺寸预测头中的参数进行优化训练时，可以使用L1损失函数。由于L1损失函数为现有的函数，故此处不再赘述。
（4）目标高度预测头
目标高度预测头能够基于K+3~K+6预测目标的高度。
具体的，通过先验知识确定车辆的高度，预测一个对数偏置值，对于半挂车来说，先验知识通过半挂车的车型确定。
在对感知模型中目标高度预测头中的参数进行优化训练时，可以使用L1损失函数。由于L1损失函数为现有的函数，故此处不再赘述。
（5）目标方向预测头
目标方向预测头能够基于K+7~K+9预测目标的方向。
具体的，先划分出前向目标范围和后向目标范围，前向目标范围和后向目标范围分别覆盖了240°的范围，前向目标范围和后向目标范围左右各有60°的重叠范围。对前向目标范围和后向目标范围分别通过one-hot的形式进行编码。在one-hot的编码形式中限定目标方向范围。在确定了目标方向和目标范围后，还输出目标方向相对目标范围中点的偏置角度。
在对感知模型中目标方向预测头中的参数进行优化训练时，可以使用softmax损失函数。具体如下：
Figure DEST_PATH_IMAGE022
其中，
Figure DEST_PATH_IMAGE023
是softmax损失函数；
Figure 241528DEST_PATH_IMAGE004
是目标个数；
Figure DEST_PATH_IMAGE024
代表目标；
Figure 728004DEST_PATH_IMAGE025
是一种损失函数；
Figure DEST_PATH_IMAGE026
，代表第
Figure 330892DEST_PATH_IMAGE024
个目标是否属于第
Figure 129084DEST_PATH_IMAGE027
个角度类别，
Figure 734509DEST_PATH_IMAGE027
=2，包括两类角度；
Figure DEST_PATH_IMAGE028
，大小与
Figure 855918DEST_PATH_IMAGE029
相同，代表第
Figure 114861DEST_PATH_IMAGE024
个目标是否属于第
Figure 275715DEST_PATH_IMAGE027
个角度类别，
Figure DEST_PATH_IMAGE030
代表第
Figure 465256DEST_PATH_IMAGE027
个角度类别，1是指示函数；
Figure 254221DEST_PATH_IMAGE031
是第
Figure 949644DEST_PATH_IMAGE024
个物体在鸟瞰图坐标系下相对z轴的旋转角度；
Figure DEST_PATH_IMAGE032
是角度类别；
Figure 174958DEST_PATH_IMAGE033
是输出目标方向的估计结果；
Figure DEST_PATH_IMAGE034
是输出目标方向的实际结果。
（6）目标连接关键点位置预测头
目标连接关键点位置预测头能够基于K+10~K+11预测车头和车挂相对于半挂车的中心点的偏置距离。这样，在获得了车头和车挂的中心点位置后，就能够进一步计算出车头和车挂的连接关键点位置。
目标连接关键点位置预测头借鉴了anchor-free类型目标检测的思路，对所有目标的中心位置使用关键点的形式编码。对于普通的刚性物体（例如：汽车、卡车、客车等），目标的中心位置就是其检测框的中心点
Figure 387765DEST_PATH_IMAGE035
。对于非刚性物体（例如：由车头和车挂组成的半挂车），目标的中心位置是车头和车挂的连接关键点
Figure DEST_PATH_IMAGE036
。
这里需要说明的是，目标连接关键点位置预测头只有在预测出目标的种类为半挂车这种非刚体目标时才会激活。
在对感知模型中目标连接关键点位置预测头中的参数进行优化训练时，可以使用L1损失函数。由于L1损失函数为现有的函数，故此处不再赘述。
（7）目标速度预测头
目标速度预测头还能够预测当前环境中各目标的速度，进一步地，在预测出车头与车挂的连接关键点位置后，还能够基于半挂车的中心点位置预测半挂车的速度。
S308：基于车头和车挂的连接关键点位置确定半挂车的当前速度。
S309：为半挂车匹配标识（Identity Document，ID）。
也就是说，使得当前帧下的半挂车与上一帧下同一半挂车具有同一ID。举例来说，上一帧下半挂车位于桥的一端，从上一帧到当前帧，半挂车通过了桥，在当前帧下半挂车位于桥的另一端。此时，需要使得不同帧下的该半挂车具有同一ID。这样，才能够清楚地获得该半挂车的行驶过程。
具体来说，可以将预测概率热力图中当前位置的半挂车与当前检测出的目标进行贪心匹配，找出目标中的半挂车，并为目标中的半挂车分配与预测概率热力图中当前位置的半挂车相同的ID。
S310：输出下一帧的预测概率热力图。
具体的，S310可以包括：
S3101：基于半挂车的当前位置和半挂车的历史位置采用卡尔曼滤波预测半挂车在下一帧的位置。
S3102：对半挂车在下一帧的位置进行归一化，生成下一帧的预测概率热力图。
步骤S3012输出的预测概率热力图就是下一帧中步骤S303的输入。
最后需要说明的是，上述目标，在当前环境中可以是车头、车挂或者港区内的其它物体。
最后，以一个对比实验来说明本申请提供的车辆环境信息感知方法能够更加准确地对环境信息进行感知。
在传统的环境信息感知方法中，一般采用：区域选择（滑窗）、特征提取（尺度不变特征变换（Scale-Invariant Feature Transform，SIFT）、方向梯度直方图（Histogram ofOriented Gradient，HOG）等）、分类器（支持向量机（Support Vector Machines，SVM））、迭代算法（Adaboost）等）三个部分。
其主要存在两个问题：（1）滑窗选择策略没有针对性，时间复杂度高，窗口冗余；（2）手工设计的特征鲁棒性较差。
图4示意性地示出了采用传统的环境信息感知方法实现的效果图一，图5示意性地示出了采用传统的环境信息感知方法实现的效果图二，从图4、图5中可以看出，效果图反映了该方法对于障碍物的中心点预测不准，容易导致障碍物速度估计存在误差。
在本申请实施例提供的环境感知方法中，在获取原始点云数据后，设定点云检测范围，扩大检测区域，同时处理两个batch。假定坐标系为前x左y上z，第一个检测范围设定前后0米到80米，左右-40米到40米。第二个检测范围设定为前后30米到50米，左右-40米到40米。两个检测区域中间的30米重叠为了保证检测范围内的任意一个障碍物都能完全落在任意两个检测区域里。然后，对每个检测范围设定一个608*608大小的网格，对检测范围内的点云遍历，计算每一个点所属的网格，计算每个网格里点云的最大高度、点云的密度、最大高度点云的反射强度，从而组成一个608*608*3的图像输进检测网络。
图6示意性地示出了采用本申请实施例提供的环境感知方法实现的效果图一，图7示意性地示出了采用本申请实施例提供的环境感知方法实现的效果图二，从图6、图7中可以看出，能够准确地预测出障碍物的中心点位置。
最后，基于各目标状态，生成跟踪效果图。图8示意性地示出了自动驾驶卡车目标跟踪效果图，从图8中可以看出当前车辆周围的其它车辆的行驶状态。图8左下角为车辆行驶的全局图。
由上述内容可知，本申请实施例提供的车辆环境信息感知方法，通过车辆的当前概率热力图与预测概率热力图能够获得用于指示车辆周围环境中的目标信息的密集张量，进而从密集张量中获取车头和车挂的中心点位置和方向，进而确定车头和车挂的连接关键点位置，最终基于该连接关键点位置确定半挂车当前的整体状态。相比于现有的分别确定车头和车挂的中心点位置，基于车头和车挂的中心点位置确定车头和车挂的状态，进而基于车头和车挂的状态确定半挂车的整体状态。本申请实施例提供的车辆环境信息感知方法，在确定半挂车的整体状态之前，先确定半挂车的连接关键点位置，再基于半挂车的连接关键点位置确定半挂车的整体状态，在确定半挂车的整体状态时，能够考虑到车头和车挂之间的关系，提高环境信息感知的准确性。并且，本申请实施例提供的车辆环境信息感知方法，在确定半挂车的状态时，无需基于车头和车挂的状态采用额外的算法计算半挂车的整体状态，而是基于车头和车挂的连接关键点位置确定半挂车的整体状态，能够提高环境信息的感知速度，提高环境信息感知的实时性，进而提升车辆控制的实时性。以及，本申请实施例提供的车辆环境信息感知方法，克服了自动驾驶出租车技术道路在港口场景下的不足，无需将车辆环境信息感知模型嵌入工控机，并将工控机安装在车辆上，可直接将车辆环境信息感知模型嵌入车辆的环境感知系统中，实现了轻量化。即轻量化的基于深度学习的三维检测网络，在保证满足港口感知环境的同时，能够在嵌入式设备上以小于单帧小于十毫秒的检测速度稳定运行。并且根据港口的实际环境特点提出一种车头和车挂关联的检测方法和损失函数。
基于同一发明构思，作为对上述方法的实现，本申请实施例还提供了一种车辆环境信息感知装置。图9示意性地示出了车辆环境信息感知装置地结构图，参见图9所示，该装置可以包括：
第一输入模块901，用于获取当前概率热力图的张量，所述当前概率热力图是基于当前车辆的传感器当前获取的原始点云数据得到的；
第二输入模块902，用于获取预测概率热力图的张量，所述预测概率热力图用于指示当前车辆在上一帧预测的当前帧的环境信息；
合并模块903，用于将所述当前概率热力图的张量与所述预测概率热力图的张量合并，得到密集张量；
提取模块904，用于从所述密集张量中获取车头的中心点位置和方向以及车挂的中心点位置和方向，所述车头和所述车挂属于同一个半挂车；
计算模块905，用于以所述车头的中心点位置向所述车头的方向沿伸，以及以所述车挂的中心点位置向所述车挂的方向沿伸，将沿伸后的交点确定为所述车头和所述车挂的连接关键点位置；
输出模块906，用于基于所述车头和所述车挂的连接关键点位置确定所述半挂车的当前状态。
基于前述实施例，所述提取模块，用于采用环境感知模型，基于所述密集张量计算出所述车头的中心点位置以及与所述车头相关的亚像素级的细粒度矫正；采用所述亚像素级的细粒度矫正调整所述车头的中心点位置；
其中，所述环境感知模型是采用smooth_L1损失函数优化后得到的，所述smooth_L1损失函数为
Figure 483766DEST_PATH_IMAGE013
其中，
Figure 959878DEST_PATH_IMAGE014
是smooth_L1损失函数；
Figure 219958DEST_PATH_IMAGE015
是点云中前景点的个数；
Figure 564351DEST_PATH_IMAGE037
，是输出目标中心位置的估计结果；
Figure 718121DEST_PATH_IMAGE017
是输出目标中心位置的实际结果；1是指示函数；
Figure 755347DEST_PATH_IMAGE018
是一个二值的标签，当
Figure 971565DEST_PATH_IMAGE019
的位置才会参与offset loss的计算。
基于前述实施例，所述提取模块，用于采用环境感知模型，基于所述密集张量计算出所述车头的方向；
其中，所述环境感知模型是采用softmax损失函数优化后得到的，所述softmax损失函数为
Figure DEST_PATH_IMAGE038
)
其中，
Figure 526174DEST_PATH_IMAGE023
是softmax损失函数；
Figure 144237DEST_PATH_IMAGE004
是目标个数；
Figure 476998DEST_PATH_IMAGE024
代表目标；
Figure 570725DEST_PATH_IMAGE025
是一种损失函数；
Figure 397867DEST_PATH_IMAGE026
，代表第
Figure 136016DEST_PATH_IMAGE024
个目标是否属于第
Figure 515045DEST_PATH_IMAGE027
个角度类别，
Figure 705854DEST_PATH_IMAGE027
=2，包括两类角度；
Figure 320375DEST_PATH_IMAGE028
，大小与
Figure 647452DEST_PATH_IMAGE029
相同，代表第
Figure 197382DEST_PATH_IMAGE024
个目标是否属于第
Figure 16433DEST_PATH_IMAGE027
个角度类别，
Figure 310011DEST_PATH_IMAGE030
代表第
Figure 757173DEST_PATH_IMAGE027
个角度类别，1是指示函数；
Figure 212425DEST_PATH_IMAGE039
是第
Figure 502461DEST_PATH_IMAGE024
个物体在鸟瞰图坐标系下相对z轴的旋转角度；
Figure 334151DEST_PATH_IMAGE032
是角度类别；
Figure 901398DEST_PATH_IMAGE033
是输出目标方向的估计结果；
Figure 527552DEST_PATH_IMAGE034
是输出目标方向的实际结果。
基于前述实施例，所述提取模块，用于采用环境感知模型，基于所述密集张量计算出当前环境中目标的类型；
其中，所述环境感知模型是采用focal loss函数优化后得到的，所述focal loss函数为
Figure 55616DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE040
是focal loss损失函数；
Figure DEST_PATH_IMAGE041
是当前帧中目标个数；
Figure DEST_PATH_IMAGE042
是BEV坐标系中的二维坐标；
Figure 143527DEST_PATH_IMAGE008
是通道数，总数与目标类别数量一致；
Figure 299702DEST_PATH_IMAGE043
是在第
Figure 237702DEST_PATH_IMAGE008
通道处、
Figure DEST_PATH_IMAGE044
坐标位置上的二分类值；
Figure 33488DEST_PATH_IMAGE045
是focal loss的超参数，分别对应着对样本量大和小的物体训练关注程度的权重。
基于前述实施例，所述提取模块，用于采用环境感知模型，基于所述密集张量计算出所述车头的长、宽、高以及所述车挂的长、宽、高；
其中，所述环境感知模型是采用L1损失函数优化后得到。
基于前述实施例，所述第一输入模块，用于获取原始点云数据；基于前向检测和后向检测对所述原始点云数据进行过滤处理；对过滤后的原始点云数据进行鸟瞰视角处理；计算鸟瞰视角处理后的原始点云数据中每个栅格中点云的最大高度、最大高度点的反射强度、栅格内的点云密度，生成所述当前概率热力图；对所述当前概率热力图进行特征提取，得到所述当前概率热力图的张量。
基于前述实施例，所述合并模块，用于在非初始化阶段，将所述当前概率热力图的张量与所述预测概率热力图的张量合并，输出大小为 (2, C1+1, H, W) 的密集张量；
在初始化阶段，将所述当前概率热力图中目标的概率设置为0.5；对所述当前概率热力图的张量进行一维最大值提取，输出大小为 (1, H, W) 的均匀张量。
基于前述实施例，所述装置还包括：切分模块，用于将所述密集张量切分为1~K、K+1~K+2、K+3~K+6、K+7~K+9、K+10~K+11；其中，1~K用于指示目标的K种类型，K+1~K+2为目标的二维偏置向量，K+3~K+6为目标的三维尺寸，K+7~K+9为目标的预测方向，K+10~K+11为目标的连接关键点位置向量；对所述1~K、K+1~K+2、K+3~K+6、K+7~K+9、K+10~K+11基于最大池化和与运算操作进行目标特征提取，通过遮罩张量形式输出；将提取的目标特征在地图中进行占据栅格处理；
所述提取模块，用于从所述K+1~K+2中计算出所述车头的中心点位置和所述车挂的中心点位置；从所述K+7~K+9中计算出所述车头的方向和所述车挂的方向。
基于前述实施例，所述输出模块，用于基于所述车头和所述车挂的连接关键点位置确定所述半挂车的当前速度；
所述装置还包括：匹配与预测模块，用于将所述预测概率热力图中所述当前位置的半挂车与当前检测出的目标进行贪心匹配，找出所述目标中的半挂车，并为所述目标中的半挂车分配与所述预测概率热力图中所述当前位置的半挂车相同的标识；基于所述半挂车的当前位置和所述半挂车的历史位置采用卡尔曼滤波预测所述半挂车在下一帧的位置；对所述半挂车在下一帧的位置进行归一化，生成下一帧的预测概率热力图。
这里需要指出的是，以上车辆环境信息感知装置实施例的描述，与上述车辆环境信息感知方法实施例的描述是类似的，具有同车辆环境信息感知方法实施例相似的有益效果。对于车辆环境信息感知装置实施例中未披露的技术细节，请参照车辆环境信息感知方法实施例的描述而理解。
基于同一发明构思，本申请实施例还提供了一种电子设备。图10示意性地示出了电子设备的结构图，参见图10所示，该电子设备可以包括：至少一个处理器1001；以及与处理器1001连接的至少一个存储器1002、总线1003；其中，处理器1001、存储器1002通过总线1003完成相互间的通信；处理器1001用于调用存储器1002中的程序指令，以执行上述一个或多个实施例中的车辆环境信息感知方法。
这里需要指出的是，以上电子设备实施例的描述，与上述车辆环境信息感知方法实施例的描述是类似的，具有同车辆环境信息感知方法实施例相似的有益效果。对于电子设备实施例中未披露的技术细节，请参照车辆环境信息感知方法实施例的描述而理解。
基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述一个或多个实施例中的车辆环境信息感知方法。
这里需要指出的是，以上存储介质实施例的描述，与上述车辆环境信息感知方法实施例的描述是类似的，具有同车辆环境信息感知方法实施例相似的有益效果。对于存储介质实施例中未披露的技术细节，请参照车辆环境信息感知方法实施例的描述而理解。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种车辆环境信息感知方法，其特征在于，包括：
获取当前概率热力图的张量，所述当前概率热力图是基于当前车辆的传感器当前获取的原始点云数据得到的；
获取预测概率热力图的张量，所述预测概率热力图用于指示当前车辆在上一帧预测的当前帧的环境信息；
将所述当前概率热力图的张量与所述预测概率热力图的张量合并，得到密集张量；
从所述密集张量中获取车头的中心点位置和方向以及车挂的中心点位置和方向，所述车头和所述车挂属于同一个半挂车；
以所述车头的中心点位置向所述车头的方向延伸，以及以所述车挂的中心点位置向所述车挂的方向延伸，将延伸后的交点确定为所述车头和所述车挂的连接关键点位置；
基于所述车头和所述车挂的连接关键点位置确定所述半挂车的当前状态；
所述将所述当前概率热力图的张量与所述预测概率热力图的张量合并，得到密集张量，包括：
对当前概率热力图的(K, H, W)张量，进行第一维的max提取，得到当前概率热力图的(1, H, W)张量；K是概率热力图的通道数，H是概率热力图的高度，W是概率热力图的宽度；
对预测概率热力图的(K, H, W)张量，进行第一维的max提取，得到预测概率热力图的(1, H, W)张量；
如果目标效果压缩是初始化阶段，就基于当前概率热力图，输出目标概率为0.5，大小为 (1, H, W) 的均匀张量；
如果目标压缩效果是非初始化阶段，就将当前概率热力图的(1, H, W)张量与预测概率热力图的(1, H, W)张量合并，输出大小为 (2, C1+1, H, W) 的密集张量；
所述从所述密集张量中获取车头的中心点位置和方向以及车挂的中心点位置和方向，包括：
将所述密集张量切分为1~K、K+1~K+2、K+3~K+6、K+7~K+9、K+10~K+11；其中，1~K用于指示目标的K种类型，K+1~K+2为目标的二维偏置向量，K+3~K+6为目标的三维尺寸，K+7~K+9为目标的预测方向，K+10~K+11为目标的连接关键点位置向量。
2.根据权利要求1所述的方法，其特征在于，所述从所述密集张量中获取车头的中心点位置和方向以及车挂的中心点位置和方向，包括：
采用环境感知模型，基于所述密集张量计算出所述车头的中心点位置以及与所述车头相关的亚像素级的细粒度矫正；
采用所述亚像素级的细粒度矫正调整所述车头的中心点位置；
其中，所述环境感知模型是采用smooth_L1损失函数优化后得到的，所述smooth_L1损失函数为
Figure 603354DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE003
是smooth_L1损失函数；
Figure 534401DEST_PATH_IMAGE004
是点云中前景点的个数；
Figure DEST_PATH_IMAGE005
，是输出目标中心位置的估计结果；
Figure 210102DEST_PATH_IMAGE006
是输出目标中心位置的实际结果；1是指示函数；
Figure DEST_PATH_IMAGE007
是一个二值的标签，当
Figure 415955DEST_PATH_IMAGE008
的位置才会参与offset loss的计算。
3.根据权利要求1所述的方法，其特征在于，所述从所述密集张量中获取车头的中心点位置和方向以及车挂的中心点位置和方向，包括：
采用环境感知模型，基于所述密集张量计算出所述车头的方向；
其中，所述环境感知模型是采用softmax损失函数优化后得到的，所述softmax损失函数为
Figure DEST_PATH_IMAGE009
)
其中，
Figure 798395DEST_PATH_IMAGE010
是softmax损失函数；
Figure DEST_PATH_IMAGE011
是目标个数；
Figure 149611DEST_PATH_IMAGE012
代表目标；
Figure DEST_PATH_IMAGE013
是一种损失函数；
Figure 328919DEST_PATH_IMAGE014
，代表第
Figure 790994DEST_PATH_IMAGE012
个目标是否属于第
Figure DEST_PATH_IMAGE015
个角度类别，
Figure 372148DEST_PATH_IMAGE015
=2，包括两类角度；
Figure 504052DEST_PATH_IMAGE016
，大小与
Figure DEST_PATH_IMAGE017
相同，代表第
Figure 419924DEST_PATH_IMAGE012
个目标是否属于第
Figure 233159DEST_PATH_IMAGE015
个角度类别，
Figure 137661DEST_PATH_IMAGE018
代表第
Figure 440467DEST_PATH_IMAGE015
个角度类别，1是指示函数；
Figure DEST_PATH_IMAGE019
是第
Figure 843635DEST_PATH_IMAGE012
个物体在鸟瞰图坐标系下相对z轴的旋转角度；
Figure 132665DEST_PATH_IMAGE020
是角度类别；
Figure DEST_PATH_IMAGE021
是输出目标方向的估计结果；
Figure 672100DEST_PATH_IMAGE022
是输出目标方向的实际结果。
4.根据权利要求1所述的方法，其特征在于，在所述得到密集张量之后，所述方法还包括：
采用环境感知模型，基于所述密集张量计算出当前环境中目标的类型；
其中，所述环境感知模型是采用focal loss函数优化后得到的，所述focal loss函数为
Figure 145806DEST_PATH_IMAGE024
其中，
Figure DEST_PATH_IMAGE025
是focal loss损失函数；
Figure 724686DEST_PATH_IMAGE011
是当前帧中目标个数；
Figure 676462DEST_PATH_IMAGE026
是BEV坐标系中的二维坐标；
Figure DEST_PATH_IMAGE027
是通道数，总数与目标类别数量一致；
Figure 601561DEST_PATH_IMAGE028
是在第
Figure 121536DEST_PATH_IMAGE027
通道处、
Figure DEST_PATH_IMAGE029
坐标位置上的二分类值；
Figure 233717DEST_PATH_IMAGE030
是focal loss的超参数，分别对应着对样本量大和小的物体训练关注程度的权重。
5.根据权利要求1所述的方法，其特征在于，在所述得到密集张量之后，所述方法还包括：
采用环境感知模型，基于所述密集张量计算出所述车头的长、宽、高以及所述车挂的长、宽、高；
其中，所述环境感知模型是采用L1损失函数优化后得到。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述获取当前概率热力图的张量，包括：
获取原始点云数据；
基于前向检测和后向检测对所述原始点云数据进行过滤处理；
对过滤后的原始点云数据进行鸟瞰视角处理；
计算鸟瞰视角处理后的原始点云数据中每个栅格中点云的最大高度、最大高度点的反射强度、栅格内的点云密度，生成所述当前概率热力图；
对所述当前概率热力图进行特征提取，得到所述当前概率热力图的张量。
7.根据权利要求1至5中任一项所述的方法，其特征在于，在所述得到密集张量之后，所述方法还包括：
对所述1~K、K+1~K+2、K+3~K+6、K+7~K+9、K+10~K+11基于最大池化和与运算操作进行目标特征提取，通过遮罩张量形式输出；
将提取的目标特征在地图中进行占据栅格处理；
所述从所述密集张量中获取车头的中心点位置和方向以及车挂的中心点位置和方向，包括：
从所述K+1~K+2中计算出所述车头的中心点位置和所述车挂的中心点位置；
从所述K+7~K+9中计算出所述车头的方向和所述车挂的方向。
8.根据权利要求1至5中任一项所述的方法，其特征在于，所述基于所述车头和所述车挂的连接关键点位置确定所述半挂车的当前状态，包括：
基于所述车头和所述车挂的连接关键点位置确定所述半挂车的当前速度；
所述方法还包括：
将所述预测概率热力图中当前位置的半挂车与当前检测出的目标进行贪心匹配，找出所述目标中的半挂车，并为所述目标中的半挂车分配与所述预测概率热力图中所述当前位置的半挂车相同的标识；
基于所述半挂车的当前位置和所述半挂车的历史位置采用卡尔曼滤波预测所述半挂车在下一帧的位置；
对所述半挂车在下一帧的位置进行归一化，生成下一帧的预测概率热力图。
9.一种车辆环境信息感知装置，其特征在于，包括：
第一输入模块，用于获取当前概率热力图的张量，所述当前概率热力图是基于当前车辆的传感器当前获取的原始点云数据得到的；
第二输入模块，用于获取预测概率热力图的张量，所述预测概率热力图用于指示当前车辆在上一帧预测的当前帧的环境信息；
合并模块，用于将所述当前概率热力图的张量与所述预测概率热力图的张量合并，得到密集张量；
提取模块，用于从所述密集张量中获取车头的中心点位置和方向以及车挂的中心点位置和方向，所述车头和所述车挂属于同一个半挂车；
计算模块，用于以所述车头的中心点位置向所述车头的方向延伸，以及以所述车挂的中心点位置向所述车挂的方向延伸，将延伸后的交点确定为所述车头和所述车挂的连接关键点位置；
输出模块，用于基于所述车头和所述车挂的连接关键点位置确定所述半挂车的当前状态；
所述合并模块，用于对当前概率热力图的(K, H, W)张量，进行第一维的max提取，得到当前概率热力图的(1, H, W)张量；K是概率热力图的通道数，H是概率热力图的高度，W是概率热力图的宽度；对预测概率热力图的(K, H, W)张量，进行第一维的max提取，得到预测概率热力图的(1, H, W)张量；如果目标效果压缩是初始化阶段，就基于当前概率热力图，输出目标概率为0.5，大小为 (1, H, W) 的均匀张量；如果目标压缩效果是非初始化阶段，就将当前概率热力图的(1, H, W)张量与预测概率热力图的(1, H, W)张量合并，输出大小为(2, C1+1, H, W) 的密集张量；
所述提取模块，用于将所述密集张量切分为1~K、K+1~K+2、K+3~K+6、K+7~K+9、K+10~K+11；其中，1~K用于指示目标的K种类型，K+1~K+2为目标的二维偏置向量，K+3~K+6为目标的三维尺寸，K+7~K+9为目标的预测方向，K+10~K+11为目标的连接关键点位置向量。
CN202110078457.4A 2021-01-21 2021-01-21 车辆环境信息感知方法、装置、电子设备及存储介质 Active CN112396043B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110078457.4A CN112396043B (zh) 2021-01-21 2021-01-21 车辆环境信息感知方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110078457.4A CN112396043B (zh) 2021-01-21 2021-01-21 车辆环境信息感知方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112396043A CN112396043A (zh) 2021-02-23
CN112396043B true CN112396043B (zh) 2021-04-27

Family

ID=74624966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110078457.4A Active CN112396043B (zh) 2021-01-21 2021-01-21 车辆环境信息感知方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112396043B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113095228B (zh) * 2021-04-13 2024-04-30 地平线(上海)人工智能技术有限公司 图像中的目标检测方法、装置及计算机可读存储介质
CN114973181B (zh) * 2022-07-29 2022-10-14 武汉极目智能技术有限公司 多目bev视角的环境感知方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018221863A1 (de) * 2018-12-17 2020-06-18 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Anhängerassistenzsystems, Anhängerassistenzsystem und Kraftfahrzeug

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105922990B (zh) * 2016-05-26 2018-03-20 广州市甬利格宝信息科技有限责任公司 一种基于云端机器学习的车辆环境感知和控制方法
CN107336759B (zh) * 2017-06-30 2019-04-02 清华大学 一种半挂式汽车列车的路线跟踪控制方法
DE112017008020T5 (de) * 2017-10-24 2020-07-09 Ford Global Technologies, Llc Fahrzeugkommunikationssystem zur gemeinsamen nutzung von angelenkten fahrzeugpositionen in echtzeit
CN111284502B (zh) * 2020-03-10 2021-06-04 仓擎智能科技(上海)有限公司 一种牵引车组位姿检测方法及系统
CN111427348A (zh) * 2020-03-24 2020-07-17 江苏徐工工程机械研究院有限公司 一种自动驾驶矿用自卸卡车环境感知系统及矿用自卸卡车

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018221863A1 (de) * 2018-12-17 2020-06-18 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Anhängerassistenzsystems, Anhängerassistenzsystem und Kraftfahrzeug

Also Published As

Publication number Publication date
CN112396043A (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
CN110689761B (zh) 一种自动泊车方法
CN111081064B (zh) 一种车载以太网的自动泊车系统及自动代客泊车方法
EP4152204A1 (en) Lane line detection method, and related apparatus
CN113128348B (zh) 一种融合语义信息的激光雷达目标检测方法及系统
Mi et al. Research on regional clustering and two-stage SVM method for container truck recognition
US11966234B2 (en) System and method for monocular depth estimation from semantic information
CN112396043B (zh) 车辆环境信息感知方法、装置、电子设备及存储介质
CN111169468A (zh) 一种自动泊车的系统及方法
Manz et al. A hybrid estimation approach for autonomous dirt road following using multiple clothoid segments
JP4420512B2 (ja) 移動物体間動作分類方法及び装置並びに画像認識装置
KR101030317B1 (ko) 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법
CN111899515A (zh) 一种基于智慧道路边缘计算网关的车辆检测系统
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN111160132B (zh) 障碍物所在车道的确定方法、装置、电子设备和存储介质
JP4795479B2 (ja) 移動物体認識方法及び装置
CN114048536A (zh) 一种基于多任务神经网络的道路结构预测与目标检测方法
Sang et al. A Robust Lane Detection Algorithm Adaptable to Challenging Weather Conditions
CN114764853A (zh) 占道信息确定方法和装置
CN116453205A (zh) 一种营运车辆滞站揽客行为识别方法、装置及系统
Dai et al. A driving assistance system with vision based vehicle detection techniques
US11544899B2 (en) System and method for generating terrain maps
WO2022186814A1 (en) Vehicle environment modeling with a camera
CN112308105A (zh) 目标检测方法、目标检测器及相关设备
Kadhim et al. Detect Lane Line for Self-Driving Car Using Hue Saturation Lightness and Hue Saturation Value Color Transformation.
CN118279857B (zh) 目标检测方法、电子设备、产品及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant