CN114821527A - 障碍物的检测定位方法、检测定位装置与车辆 - Google Patents

障碍物的检测定位方法、检测定位装置与车辆 Download PDF

Info

Publication number
CN114821527A
CN114821527A CN202210415085.4A CN202210415085A CN114821527A CN 114821527 A CN114821527 A CN 114821527A CN 202210415085 A CN202210415085 A CN 202210415085A CN 114821527 A CN114821527 A CN 114821527A
Authority
CN
China
Prior art keywords
target
distance
obstacle
image
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210415085.4A
Other languages
English (en)
Inventor
宋楠楠
陈博
尹荣彬
徐名源
邱璆
王佑星
张达明
薛鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FAW Group Corp
Original Assignee
FAW Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FAW Group Corp filed Critical FAW Group Corp
Priority to CN202210415085.4A priority Critical patent/CN114821527A/zh
Publication of CN114821527A publication Critical patent/CN114821527A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种障碍物的检测定位方法、检测定位装置与车辆，该方法包括：采用目标训练集对具有目标损失函数的初始检测网络进行训练，得到目标检测网络，其中，目标损失函数至少包括距离损失函数，距离损失函数为计算实际距离与预测距离之间的差值的公式，目标训练集包括目标图像集以及对应的目标标签信息，目标图像集包括含有目标障碍物的图像；采用目标检测网络对目标图像进行检测，根据检测结果中的目标障碍物的类别信息确定目标图像是否含有目标障碍物，在目标图像含有目标障碍物的情况下，至少将目标障碍物与车辆之间的距离信息显示在对应的目标图像上，从而解决了现有技术中难以较为精确地计算车辆与障碍物之间的距离的问题。

Description

障碍物的检测定位方法、检测定位装置与车辆
技术领域
本申请涉及自动驾驶的视觉感知开发领域，具体而言，涉及一种障碍物的检测定位方法、检测定位装置与车辆。
背景技术
由于感知模块的存在，自动驾驶车辆能够感知周围的环境信息，再结合地图模块、规划模块及控制模块，使得自动驾驶车辆畅行在各种复杂的道路。在通常情况下，仅能感知车身周围存在不同类别的障碍物是远远不够的，自车与待检测目标的距离信息也尤为重要，感知模块对目标距离信息的预测能够让自车提前预判待检测目标的位置，从而指导规划及控制模块对自车的进、退、转、止进行控制。
近年来，对于交通锥桶的检测仍未得到足够的关注和重视。在自动驾驶场景下，静止的建筑物和地标可用建立地图等方式来轻松定位，但由于交通锥桶是临时放置且可以随时移动的，车辆遇到交通锥桶能否进行及时躲避或变道无法通过绑定高精地图信息来解决，仍然需要自车对交通锥桶的位置进行检测和估计，因此自车与交通锥桶的距离信息就显得十分重要。
对交通锥桶等小目标物体的检测方式通常是基于视觉图像或者基于雷达点云的感知方法，其中，基于雷达点云的感知方法与基于视觉图像的感知方法相比，激光雷达接收的点云信息会因障碍物距离的远近和大小有所不同，激光雷达很难接收到远距离放置的交通锥桶的点云信息，这样极易导致漏检。
因此，亟需一种能够较为精确地计算车辆与障碍物之间的距离的方法。
在背景技术部分中公开的以上信息只是用来加强对本文所描述技术的背景技术的理解，因此，背景技术中可能包含某些信息，这些信息对于本领域技术人员来说并未形成在本国已知的现有技术。
发明内容
本申请的主要目的在于提供一种障碍物的检测定位方法、检测定位装置与车辆，以解决现有技术中难以较为精确地计算车辆与障碍物之间的距离的问题。
根据本发明实施例的一个方面，提供了一种障碍物的检测定位方法，所述检测定位方法应用在车辆中，所述检测定位方法包括：采用目标训练集对具有目标损失函数的初始检测网络进行训练，得到目标检测网络，其中，所述目标损失函数至少包括距离损失函数，所述距离损失函数为计算实际距离与预测距离之间的差值的公式，所述目标训练集包括目标图像集以及对应的目标标签信息，所述目标图像集包括含有目标障碍物的图像，所述目标标签信息至少包括实际距离和类别信息，所述实际距离为检测得到的所述目标障碍物与所述车辆之间的距离，所述预测距离为所述初始检测网络输出得到的所述目标障碍物与所述车辆之间的距离，所述类别信息用于表征所述目标障碍物的类别；采用所述目标检测网络对目标图像进行检测，根据检测结果中的所述目标障碍物的类别信息确定所述目标图像是否含有所述目标障碍物，在所述目标图像含有所述目标障碍物的情况下，至少将所述目标障碍物与所述车辆之间的距离信息显示在对应的所述目标图像上。
可选地，所述距离损失函数包括第一距离损失函数和第二距离损失函数，在|r|≤α的情况下，所述第一距离损失函数为
Figure BDA0003605453800000021
在|r|＞α的情况下，所述第一距离损失函数为
Figure BDA0003605453800000022
其中，r＝ld-fd，ld为所述实际距离，fd为所述预测距离，α＝1，所述第二距离损失函数为|r|与所述实际距离的比值。
可选地，所述初始检测网络包括特征提取网络和预测网络，采用目标训练集对具有目标损失函数的初始检测网络进行训练，得到目标检测网络，包括：将所述目标训练集输入至所述特征提取网络进行特征提取，得到多个特征图；将多个所述特征图输入至所述预测网络进行预测，至少得到多个所述预测距离；至少根据多个所述预测距离、多个所述实际距离和所述距离损失函数，计算第一目标损失；至少根据第一目标损失，计算总目标损失，并根据所述总目标损失，对所述初始检测网络进行调整，得到所述目标检测网络。
可选地，所述标签信息还包括位置信息，所述位置信息包括第一坐标点的位置信息和第二坐标点的位置信息，所述第一坐标点和所述第二坐标点可组成一个包括所述目标障碍物的最小矩形框，至少将所述目标障碍物与所述车辆之间的距离信息显示在对应的所述目标图像上，还包括：将所述目标障碍物在所述目标图像上的所述位置信息显示在对应的所述目标图像上。
可选地，在采用目标训练集对具有目标损失函数的初始检测网络进行训练，得到目标检测网络之前，所述检测定位方法还包括：接收训练集，并采用数据增强方法对所述训练集进行数据增强，得到预定训练集，所述训练集包括图像集以及对应的标签信息，所述图像集包括含有所述目标障碍物的所述图像以及含有其他障碍物的所述图像，所述数据增强方法至少包括以下之一：平移、翻转、随机裁剪，所述其他障碍物为除所述目标障碍物之外的障碍物；对所述预定训练集进行预定处理，得到所述目标训练集。
可选地，接收训练集，并采用数据增强方法对所述训练集进行数据增强，得到预定训练集，包括：采用所述数据增强方法，对含有所述目标障碍物的所述图像进行数据增强，并对含有所述目标障碍物的所述图像对应的所述标签信息进行更新，得到数据增强后的数据集；将数据增强后的所述数据集和含有所述其他障碍物的所述图像及含有所述其他障碍物的所述图像对应的所述标签信息进行组合，得到所述预定训练集。
可选地，对所述预定训练集进行预定处理，得到所述目标训练集，包括：采用letterbox方法，对所述预定训练集中的预定图像集中的所述图像进行尺寸调整，得到第一图像集，所述预定图像集为所述预定训练集中的所述图像的集合；将所述第一图像集的颜色通道由RGB形式转换为BGR形式，得到第二图像集；对所述第二图像集进行归一化处理，得到所述目标图像集，并将所述目标图像集以及对应的所述目标标签信息进行组合，得到所述目标训练集。
可选地，所述初始检测网络包括特征提取网络，所述初始检测网络为基于CenterNet网络构建的，所述特征提取网络为VarGNet。
根据本发明实施例的另一方面，还提供了一种障碍物的检测定位装置，所述检测定位装置设置在车辆中，所述检测定位装置包括：训练单元，用于采用目标训练集对具有目标损失函数的初始检测网络进行训练，得到目标检测网络，其中，所述目标损失函数至少包括距离损失函数，所述距离损失函数为计算实际距离与预测距离之间的差值的公式，所述目标训练集包括目标图像集以及对应的目标标签信息，所述目标图像集包括含有目标障碍物的图像，所述目标标签信息至少包括实际距离和类别信息，所述实际距离为检测得到的所述目标障碍物与所述车辆之间的距离，所述预测距离为所述初始检测网络输出得到的所述目标障碍物与所述车辆之间的距离，所述类别信息用于表征所述目标障碍物的类别；检测单元，用于采用所述目标检测网络对目标图像进行检测，根据检测结果中的所述目标障碍物的类别信息确定所述目标图像是否含有所述目标障碍物，在所述目标图像含有所述目标障碍物的情况下，至少将所述目标障碍物与所述车辆之间的距离信息显示在对应的所述目标图像上。
根据本发明实施例的又一方面，还提供了一种车辆，包括：障碍物的检测定位装置，所述检测定位装置用于执行任意一种所述的检测定位方法。
在本发明实施例中，所述的障碍物的检测定位方法中，通过目标训练集对初始检测网络进行训练，得到目标检测网络，其中，所述目标训练集包括目标图像集和目标标签信息，所述目标图像集包括含有目标障碍物的图像，所述目标标签信息至少包括实际距离和类别信息，由于所述目标损失函数至少包括距离损失函数，所述距离损失函数为实际距离与预测距离之间的差值的公式，故本方案通过对初始检测网络进行训练，使得到的目标检测网络能够较为准确地检测目标障碍物的类别信息，以及预测车辆与目标障碍物之间的距离，再通过目标检测网络对目标图像进行检测，在所述目标图像含有所述目标障碍物的情况下，至少将目标检测网络预测的目标障碍物与车辆之间的距离信息显示在对应的目标图像上。本方案与现有技术中基于激光雷达的感知方法来预测目标障碍物与车辆之间的距离信息相比，本方案对具有目标损失函数的初始检测网络进行训练，得到目标检测网络，再采用目标检测网络对目标图像进行检测，得到目标障碍物的类别信息以及目标障碍物与车辆之间的距离信息，由于本方案是对目标图像进行检测，保证了可以较为精确地获取到目标障碍物的信息，保证了对目标障碍物的识别能力较强，从而保证了预测的目标障碍物与车辆之间的距离信息较为准确，进而解决了现有技术中难以较为精确地计算车辆与障碍物之间的距离的问题。另外，本方案是直接对获取的目标图像进行检测，即本方案实现了端到端的检测过程，无需再对获取的激光点云信息进行映射，得到映射后的信息，再对映射后的信息进行检测等操作，这样保证了目标检测网络的计算量较小以及收敛的速度较快。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1示出了根据本申请的一种实施例的障碍物的检测定位方法的流程图；
图2示出了根据本申请的一种实施例的障碍物的检测定位装置的结构示意图；
图3示出了根据本申请的一种具体的实施例的障碍物的检测定位装置的流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
正如背景技术中所说的，现有技术中难以较为精确地计算车辆与障碍物之间的距离，为了解决上述问题，本申请的一种典型的实施方式中，提供了一种障碍物的检测定位方法、检测定位装置与车辆。
根据本申请的实施例，提供了一种障碍物的检测定位方法。
图1是根据本申请实施例的障碍物的检测定位方法的流程图。上述检测定位方法应用在车辆中，如图1所示，该检测定位方法包括以下步骤：
步骤S101，采用目标训练集对具有目标损失函数的初始检测网络进行训练，得到目标检测网络，其中，上述目标损失函数至少包括距离损失函数，上述距离损失函数为计算实际距离与预测距离之间的差值的公式，上述目标训练集包括目标图像集以及对应的目标标签信息，上述目标图像集包括含有目标障碍物的图像，上述目标标签信息至少包括实际距离和类别信息，上述实际距离为检测得到的上述目标障碍物与上述车辆之间的距离，上述预测距离为上述初始检测网络输出得到的上述目标障碍物与上述车辆之间的距离，上述类别信息用于表征上述目标障碍物的类别；
步骤S102，采用上述目标检测网络对目标图像进行检测，根据检测结果中的上述目标障碍物的类别信息确定上述目标图像是否含有上述目标障碍物，在上述目标图像含有上述目标障碍物的情况下，至少将上述目标障碍物与上述车辆之间的距离信息显示在对应的上述目标图像上。
上述的障碍物的检测定位方法中，通过目标训练集对初始检测网络进行训练，得到目标检测网络，其中，上述目标训练集包括目标图像集和目标标签信息，上述目标图像集包括含有目标障碍物的图像，上述目标标签信息至少包括实际距离和类别信息，由于上述目标损失函数至少包括距离损失函数，上述距离损失函数为实际距离与预测距离之间的差值的公式，故本方案通过对初始检测网络进行训练，使得到的目标检测网络能够较为准确地检测目标障碍物的类别信息，以及预测车辆与目标障碍物之间的距离，再通过目标检测网络对目标图像进行检测，在上述目标图像含有上述目标障碍物的情况下，至少将目标检测网络预测的目标障碍物与车辆之间的距离信息显示在对应的目标图像上。本方案与现有技术中基于激光雷达的感知方法来预测目标障碍物与车辆之间的距离信息相比，本方案对具有目标损失函数的初始检测网络进行训练，得到目标检测网络，再采用目标检测网络对目标图像进行检测，得到目标障碍物的类别信息以及目标障碍物与车辆之间的距离信息，由于本方案是对目标图像进行检测，保证了可以较为精确地获取到目标障碍物的信息，保证了对目标障碍物的识别能力较强，从而保证了预测的目标障碍物与车辆之间的距离信息较为准确，进而解决了现有技术中难以较为精确地计算车辆与障碍物之间的距离的问题。另外，本方案是直接对获取的目标图像进行检测，即本方案实现了端到端的检测过程，无需再对获取的激光点云信息进行映射，得到映射后的信息，再对映射后的信息进行检测等操作，这样保证了目标检测网络的计算量较小以及收敛的速度较快。
具体地，上述的目标训练集包括目标图像集以及对应的目标标签信息，上述目标图像集包括含目标障碍物的图像，当然，上述目标图像集可以包括含有其他障碍物的图像，上述其他障碍物可以为除上述目标障碍物之外的障碍物。在上述目标图像集包括含有目标障碍物的图像以及含有其他障碍物的图像的情况下，上述目标标签信息中的类别信息具体可以为各障碍物的类别，例如，在目标障碍物为交通锥桶的情况下，对应的类别信息为TrafficCone，在其他障碍物为汽车的情况下，则对应的类别信息为Car。
另外，上述目标图像集中还可以有部分不包含任何障碍物的图像，这样可以进一步地保证上述的目标图像集较为多样化。当然，对于上述目标图像集中的一个图像中，该图像中可以只包含目标障碍物，还可以为只包含其他障碍物，该图像中还可以同时包含目标障碍物和其他障碍物。在一个图像中，该图像包含几个障碍物(目标障碍物和/或其他障碍物)可以对应几组目标标签信息(类别信息以及实际距离)。
本申请的一种具体的实施例中，上述目标障碍物为交通锥桶，上述目标图像可以为通过车载摄像头拍摄的，当然，上述目标图像并不限于通过车载摄像头拍摄的，还可以通过现有的其他的任何可以拍照的终端设备拍摄的，在本申请中对此并不做限制。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
为了进一步地较为准确地获取目标障碍物与车辆之间的距离信息，本申请的一种实施例中，上述距离损失函数包括第一距离损失函数和第二距离损失函数，在|r|≤α的情况下，上述第一距离损失函数为
Figure BDA0003605453800000061
在|r|＞α的情况下，上述第一距离损失函数为
Figure BDA0003605453800000062
其中，r＝ld-fd，ld为上述实际距离，fd为上述预测距离，α＝1，上述第二距离损失函数为|r|与上述实际距离的比值。
具体地，上述距离损失函数Ld包括第一距离损失函数Ld1和第二距离损失函数Ld2，即上述距离损失函数的数学表现形式为Ld＝Ld1+Ld2，其中，上述Ld1的数学表现形式可以为：
Figure BDA0003605453800000063
上述Ld2的数学表现形式可以为：
Figure BDA0003605453800000064
本申请的又一种实施例中，上述初始检测网络包括特征提取网络和预测网络，采用目标训练集对具有目标损失函数的初始检测网络进行训练，得到目标检测网络，包括：将上述目标训练集输入至上述特征提取网络进行特征提取，得到多个特征图；将多个上述特征图输入至上述预测网络进行预测，至少得到多个上述预测距离；至少根据多个上述预测距离、多个上述实际距离和上述距离损失函数，计算第一目标损失；至少根据第一目标损失，计算总目标损失，并根据上述总目标损失，对上述初始检测网络进行调整，得到上述目标检测网络。在该实施例中，根据计算得到的总目标损失来对初始检测网络进行调整，来得到目标检测网络，这样保证了得到的目标检测网络的总目标损失最小，即目标损失函数达到收敛状态，保证了得到目标检测网络较优，这样进一步地保证了后续检测目标图像中目标障碍物的类别较为精确，进一步地保证了后续得到的目标障碍物与车辆之间的距离信息较为准确。
在实际的应用过程中，上述目标损失函数还可以包括Heatmap损失函数、中心点偏移损失函数、以及目标长宽损失函数。
在对初始检测网络训练的过程中，上述Heatmap损失函数为计算预测中心点与实际中心点之间的差值的计算公式，以目标训练集的一个图像为例，上述预测中心点可以为通过初始检测网络预测得到的该图像中障碍物(目标障碍物和/或其他障碍物)在图像中的中心点，即高斯函数计算值最大的点，在本方案中Heatmap损失函数Lhm的具体形式可以采用为Focal Loss损失函数进行构建，其的数学表现方式为：
Figure BDA0003605453800000071
其中，上述Yxyc为实际中心点(即Ground truth)，上述
Figure BDA0003605453800000072
为预测中心点，N为预测的中心点的个数，a＝2，b＝4。
由于目标训练集中的目标图像集在经过上述特征提取网络进行特征提取之后，输出的特征图会采样目标图像集中的图像的
Figure BDA0003605453800000073
也就是说，输出的特征图的一点表示目标图像集中的图像的一个4×4的区域，这会给图像的中心点的位置回归造成较大的误差，因此，还需要通过上述中心点偏移损失函数来进行校正，上述中心点偏移损失函数具体的数学表现形式为：
Figure BDA0003605453800000074
其中，上述p为图像的中心点坐标，
Figure BDA0003605453800000075
表示缩放后的中心点的近似整数坐标，R表示Heatmap的缩放因子，
Figure BDA0003605453800000076
为预测网络预测的偏移量数值，N为预测的中心点的个数。
上述目标长宽损失函数的具体的数学表现形式为：
Figure BDA0003605453800000077
其中，上述
Figure BDA0003605453800000078
为预测的尺寸，上述sm为真实的尺寸。
另外，在上述的目标标签信息还包括位置信息的情况下，可以通过上述位置信息计算实际中心点Yxyc以及真实的尺寸sm，以目标图像集中的一个图像为例来解决说明上述位置信息，若该图像中只包含一个目标障碍物，则该图像中只有一个位置信息，即上述图像中包含的障碍物的个数与位置信息的个数一一对应。在实际的应用过程中，上述位置信息包括第一坐标点的位置信息和第二坐标点的位置，通过第一坐标点和第二坐标点可以组成一个最小矩形框，该最小矩形框为可以包括目标障碍物的最小的矩形框，那么可以将第一坐标点和第二坐标点理解为在上述最小矩形框的目标对角线且为角点的两个坐标点。很显然，可以通过第一坐标点和第二坐标点来计算对应的目标障碍物的实际中心点，以及该最小矩形框的真实的尺寸sm。
根据上述的内容，上述目标损失函数的数学表现形式可以为：L＝ω1Lhm+ω2Loffset+ω3Lwh+ω4Ld，其中，ω1、ω2、ω3以及ω4为对应的损失函数的权重，用于平衡不同的损失函数之间的权重。
在上述目标损失函数包括距离损失函数、Heatmap损失函数、中心点偏移损失函数以及目标长宽损失函数的情况下，可以根据上述Heatmap损失函数计算第二目标损失，根据上述中心点偏移损失函数计算第三目标损失，以及根据上述目标长宽损失函数计算第四目标损失，则上述总目标损失可以第一目标损失、第二目标损失、第三目标损失和第四目标损失之和。
本申请的一种具体的实施例中，上述标签信息还包括位置信息，上述位置信息包括第一坐标点的位置信息和第二坐标点的位置信息，上述第一坐标点和上述第二坐标点可组成一个包括上述目标障碍物的最小矩形框，至少将上述目标障碍物与上述车辆之间的距离信息显示在对应的上述目标图像上，还包括：将上述目标障碍物在上述目标图像上的上述位置信息显示在对应的上述目标图像上，后续可以根据上述位置信息进一步地控制上述车辆，进一步地保证了对上述车辆的控制较为精确，进一步地保证了上述车辆的安全性较高。
在上述的实施例中，由于上述标签信息还包括位置信息，对初始检测网络进行训练的过程中，使得上述初始检测网络具有预测目标障碍物在目标图像上的位置信息的能力，进一步地保证了后续得到的位置信息较为准确。
本申请的另一种实施例中，在采用目标训练集对具有目标损失函数的初始检测网络进行训练，得到目标检测网络之前，上述检测定位方法还包括：接收训练集，并采用数据增强方法对上述训练集进行数据增强，得到预定训练集，上述训练集包括图像集以及对应的标签信息，上述图像集包括含有上述目标障碍物的上述图像以及含有其他障碍物的上述图像，上述数据增强方法至少包括以下之一：平移、翻转、随机裁剪，上述其他障碍物为除上述目标障碍物之外的障碍物；对上述预定训练集进行预定处理，得到上述目标训练集。在该实施例中，采用数据增强方法对训练集进行数据增强，这样保证了得到预定训练集中的样本量较多以及得到多样化的样本数据，进一步地保证了得到的目标检测网络的泛华能力较强以及鲁棒性较好，另外，由于特征提取网络的输入向量的维数与对应层的神经元的个数一致，因此，还需要对预定训练集中的预定图像集进行预定处理，进一步地保证输入至特征提取网络的目标图像中的各图像的大小一致。
在本方案中，可以采用上述数据增强方法中的一种或者多种对训练集进行数据增强，也就是说，可以采用平移的方法对训练集进行数据增强，还可以采用翻转的方法对训练集进行数据增强，也可以采用随机裁剪的方法对训练集进行数据增强，当然，还可以采用平移和翻转、平移和随机裁剪、翻转和随机裁剪或者平移和翻转和随机裁剪等相互组合的方法对训练集进行数据增强。
具体地，上述数据增强的方法并不限于上述平移、翻转、随机裁剪中的一种或多种，还可以采用缩放、改变视角以及遮挡某局部区域等方法对上述训练集进行数据增强，也就是说，本申请中并不对上述数据增强方法进行限制，可以采用现有的任一种或者多种对上述训练集进行数据增强。
为了进一步地保证得到的目标检测网络的泛华能力较强，本申请的再一种实施例中，接收训练集，并采用数据增强方法对上述训练集进行数据增强，得到预定训练集，包括：采用上述数据增强方法，对含有上述目标障碍物的上述图像进行数据增强，并对含有上述目标障碍物的上述图像对应的上述标签信息进行更新，得到数据增强后的数据集；将数据增强后的上述数据集和含有上述其他障碍物的上述图像及含有上述其他障碍物的上述图像对应的标签信息进行组合，得到上述预定训练集。
本申请的一种具体的实施例中，假设训练集中的图像集中的一个图像中包含一个目标障碍物，则假设该图像的原始尺寸为(W，H)，以及该目标障碍物在该图像中的位置信息和距离信息为(X1,Y1；X2,Y2,d)，若采用平移的方法对该图像进行数据增强，具体过程为，将该图像在水平方向上的平移距离为Ox，在垂直方向上的平移距离为Oy，为了防止Ox和Oy越界，需要对Ox和Oy进行限制，即
Figure BDA0003605453800000091
以及
Figure BDA0003605453800000092
其中，d_to_left为该图像中距离该图像的左上角点(以人正对屏幕时的左上角为准)最近的一个最小矩形框的左上角点的水平方向上(即横坐标)的坐标，d_to_top-1为此时该点在垂直方向上(即纵坐标)的坐标；d_to_right为该图像中距离该图像的右下角点(以人正对屏幕时的左上角为准)最近的一个最小矩形框的右下角点的水平方向上(即横坐标)的坐标，d_to_bottom为此时该点在垂直方向上(即纵坐标)的坐标，则经过平移后得到的图像的尺寸更新为(W1'，H1')，则对应的包括目标障碍物的位置信息和距离信息更新为(X1new1,Y1new1；X2new1,Y2new1,d'1)，其中，X1new＝X1+Ox，X2new＝X2+Ox，Y1new＝Y1+Oy以及Y2new＝Y2+Oy，d'1是通过小孔成像原理计算得到的，且该目标障碍物的类别信息不发生改变。
本申请的另一种具体的实施例中，假设训练集中的图像集中的一个图像中包含一个目标障碍物，则假设该图像的原始尺寸为(W，H)，以及该目标障碍物在该图像中的位置信息和距离信息为(X1,Y1；X2,Y2,d)，则通过翻转的方式对该图像进行数据增强，则经过翻转后得到的图像的尺寸更新为(W2'，H2')，则对应的包括目标障碍物的位置信息和距离信息更新为(X1new2,Y1new2；X2new2,Y2new2,d'2)，其中，X1new2＝W'-X1，X2new2＝W'-X2，Y1new2＝Y1以及Y2new2＝Y2，d'2是通过小孔成像原理计算得到的，且该目标障碍物的类别信息不发生改变。
本申请的又一种具体的实施例中，假设训练集中的图像集中的一个图像中包含一个目标障碍物，则假设该图像的原始尺寸为(W，H)，以及该目标障碍物在该图像中的位置信息和距离信息为(X1,Y1；X2,Y2,d)，则通过裁剪的方式对该图像进行数据增强，则经过翻转后得到的图像的尺寸更新为(W3'，H3')，则对应的包括目标障碍物的位置信息和距离信息更新为(X1new3,Y1new3；X2new3,Y2new3,d'3)，其中，W3'＝Crop_X_max-Crop_X_min，H3'＝Crop_Y_max-Crop_Y_min，Crop_X_max、Crop_X_min、Crop_Y_max以及Crop_Y_min为自定义的变量名，Crop_X_max的取值范围为[W-d_to_right，W]，Crop_Y_max的取值范围为[H-d_to_bottom，H]，Crop_X_min的取值范围为[0，d_to_left]，Crop_Y_min的取值范围为[0，d_to_top]，X1new3＝X1-Crop_X_min，Y1new3＝Y1-Crop_Y_min，X2new3＝X2-Crop_X_min，Y2new3＝Y2-Crop_Y_min，d'3是通过小孔成像原理计算得到的，且该目标障碍物的类别信息不发生改变。
本申请的一种实施例中，对上述预定训练集进行预定处理，得到上述目标训练集，包括：采用letterbox方法，对上述预定训练集中的预定图像集中的上述图像进行尺寸调整，得到第一图像集，上述预定图像集为上述预定训练集中的上述图像的集合；将上述第一图像集的颜色通道由RGB形式转换为BGR形式，得到第二图像集；对上述第二图像集进行归一化处理，得到上述目标图像集，并将上述目标图像集以及对应的上述目标标签信息进行组合，得到上述目标训练集。在该实施例中，在将目标训练集输入至初始检测网络之前，对预定训练集中的预定图像集进行预定处理，这样进一步地保证了训练得到目标检测网络的各方面的性能较优。
具体地，上述第一图像集中的各个图像的尺寸为512×512×3，其中，3用于表示第一图像集中各个图像的颜色通道的数量。
由于第二图像集中各个图像的像素值在[0,255]，再经过归一化处理之后，得到的目标图像集中各个图像的像素值在[0,1]。
为了保证后续得到的目标检测网络为轻量化的模型架构，以及进一步地保证目标检测网络的推理速度较快，本申请的另一种实施例中，上述初始检测网络包括特征提取网络，上述初始检测网络为基于CenterNet网络构建的，上述特征提取网络为VarGNet。
本申请实施例还提供了一种障碍物的检测定位装置，需要说明的是，本申请实施例的障碍物的检测定位装置可以用于执行本申请实施例所提供的用于障碍物的检测定位方法。以下对本申请实施例提供的障碍物的检测定位装置进行介绍。
图2是根据本申请实施例的障碍物的检测定位装置的示意图。如图2所示，该检测定位装置包括：
训练单元10，用于采用目标训练集对具有目标损失函数的初始检测网络进行训练，得到目标检测网络，其中，上述目标损失函数至少包括距离损失函数，上述距离损失函数为计算实际距离与预测距离之间的差值的公式，上述目标训练集包括目标图像集以及对应的目标标签信息，上述目标图像集包括含有目标障碍物的图像，上述目标标签信息至少包括实际距离和类别信息，上述实际距离为检测得到的上述目标障碍物与上述车辆之间的距离，上述预测距离为上述初始检测网络输出得到的上述目标障碍物与上述车辆之间的距离，上述类别信息用于表征上述目标障碍物的类别；
检测单元20，用于采用上述目标检测网络对目标图像进行检测，根据检测结果中的上述目标障碍物的类别信息确定上述目标图像是否含有上述目标障碍物，在上述目标图像含有上述目标障碍物的情况下，至少将上述目标障碍物与上述车辆之间的距离信息显示在对应的上述目标图像上。
上述的障碍物的检测定位装置中，训练单元用于通过目标训练集对初始检测网络进行训练，得到目标检测网络，其中，上述目标训练集包括目标图像集和目标标签信息，上述目标图像集包括含有目标障碍物的图像，上述目标标签信息至少包括实际距离和类别信息，由于上述目标损失函数至少包括距离损失函数，上述距离损失函数为实际距离与预测距离之间的差值的公式，故本方案通过对初始检测网络进行训练，使得到的目标检测网络能够较为准确地检测目标障碍物的类别信息，以及预测车辆与目标障碍物之间的距离，检测单元用于通过目标检测网络对目标图像进行检测，在上述目标图像含有上述目标障碍物的情况下，至少将目标检测网络预测的目标障碍物与车辆之间的距离信息显示在对应的目标图像上。与现有技术中基于激光雷达的感知方法来预测目标障碍物与车辆之间的距离信息相比，本方案对具有目标损失函数的初始检测网络进行训练，得到目标检测网络，再采用目标检测网络对目标图像进行检测，得到目标障碍物的类别信息以及目标障碍物与车辆之间的距离信息，由于本方案是对目标图像进行检测，保证了可以较为精确地获取到目标障碍物的信息，保证了对目标障碍物的识别能力较强，从而保证了预测的目标障碍物与车辆之间的距离信息较为准确，进而解决了现有技术中难以较为精确地计算车辆与障碍物之间的距离的问题。另外，本方案是直接对获取的目标图像进行检测，即本方案实现了端到端的检测过程，无需再对获取的激光点云信息进行映射，得到映射后的信息，再对映射后的信息进行检测等操作，这样保证了目标检测网络的计算量较小以及收敛的速度较快。
具体地，上述的目标训练集包括目标图像集以及对应的目标标签信息，上述目标图像集包括含目标障碍物的图像，当然，上述目标图像集可以包括含有其他障碍物的图像，上述其他障碍物可以为除上述目标障碍物之外的障碍物。在上述目标图像集包括含有目标障碍物的图像以及含有其他障碍物的图像的情况下，上述目标标签信息中的类别信息具体可以为各障碍物的类别，例如，在目标障碍物为交通锥桶的情况下，对应的类别信息为TrafficCone，在其他障碍物为汽车的情况下，则对应的类别信息为Car。
另外，上述目标图像集中还可以有部分不包含任何障碍物的图像，这样可以进一步地保证上述的目标图像集较为多样化。当然，对于上述目标图像集中的一个图像中，该图像中可以只包含目标障碍物，还可以为只包含其他障碍物，该图像中还可以同时包含目标障碍物和其他障碍物。在一个图像中，该图像包含几个障碍物(目标障碍物和/或其他障碍物)可以对应几组目标标签信息(类别信息以及实际距离)。
本申请的一种具体的实施例中，上述目标障碍物为交通锥桶，上述目标图像可以为通过车载摄像头拍摄的，当然，上述目标图像并不限于通过车载摄像头拍摄的，还可以通过现有的其他的任何可以拍照的终端设备拍摄的，在本申请中对此并不做限制。
为了进一步地较为准确地获取目标障碍物与车辆之间的距离信息，本申请的一种实施例中，上述距离损失函数包括第一距离损失函数和第二距离损失函数，在|r|≤α的情况下，上述第一距离损失函数为
Figure BDA0003605453800000121
在|r|＞α的情况下，上述第一距离损失函数为
Figure BDA0003605453800000122
其中，r＝ld-fd，ld为上述实际距离，fd为上述预测距离，α＝1，上述第二距离损失函数为|r|与上述实际距离的比值。
具体地，上述距离损失函数Ld包括第一距离损失函数Ld1和第二距离损失函数Ld2，即上述距离损失函数的数学表现形式为Ld＝Ld1+Ld2，其中，上述Ld1的数学表现形式可以为：
Figure BDA0003605453800000123
上述Ld2的数学表现形式可以为：
Figure BDA0003605453800000124
本申请的又一种实施例中，上述初始检测网络包括特征提取网络和预测网络，上述训练单元包括特征提取模块、预测模块、计算模块以及第一调整模块，其中，上述特征提取模块用于将上述目标训练集输入至上述特征提取网络进行特征提取，得到多个特征图；上述预测模块用于将多个上述特征图输入至上述预测网络进行预测，至少得到多个上述预测距离；上述计算模块用于至少根据多个上述预测距离、多个上述实际距离和上述距离损失函数，计算第一目标损失；上述第一调整模块用于至少根据第一目标损失，计算总目标损失，并根据上述总目标损失，对上述初始检测网络进行调整，得到上述目标检测网络。在该实施例中，根据计算得到的总目标损失来对初始检测网络进行调整，来得到目标检测网络，这样保证了得到的目标检测网络的总目标损失最小，即目标损失函数达到收敛状态，保证了得到目标检测网络较优，这样进一步地保证了后续检测目标图像中目标障碍物的类别较为精确，进一步地保证了后续得到的目标障碍物与车辆之间的距离信息较为准确。
在实际的应用过程中，上述目标损失函数还可以包括Heatmap损失函数、中心点偏移损失函数、以及目标长宽损失函数。
在对初始检测网络训练的过程中，上述Heatmap损失函数为计算预测中心点与实际中心点之间的差值的计算公式，以目标训练集的一个图像为例，上述预测中心点可以为通过初始检测网络预测得到的该图像中障碍物(目标障碍物和/或其他障碍物)在图像中的中心点，即高斯函数计算值最大的点，在本方案中Heatmap损失函数Lhm的具体形式可以采用为Focal Loss损失函数进行构建，其的数学表现方式为：
Figure BDA0003605453800000131
其中，上述Yxyc为实际中心点(即Ground truth)，上述
Figure BDA0003605453800000132
为预测中心点，N为预测的中心点的个数，a＝2，b＝4。
由于目标训练集中的目标图像集在经过上述特征提取网络进行特征提取之后，输出的特征图会采样目标图像集中的图像的
Figure BDA0003605453800000133
也就是说，输出的特征图的一点表示目标图像集中的图像的一个4×4的区域，这会给图像的中心点的位置回归造成较大的误差，因此，还需要通过上述中心点偏移损失函数来进行校正，上述中心点偏移损失函数具体的数学表现形式为：
Figure BDA0003605453800000134
其中，上述p为图像的中心点坐标，
Figure BDA0003605453800000135
表示缩放后的中心点的近似整数坐标，R表示Heatmap的缩放因子，
Figure BDA0003605453800000136
为预测网络预测的偏移量数值，N为预测的中心点的个数。
上述目标长宽损失函数的具体的数学表现形式为：
Figure BDA0003605453800000137
其中，上述
Figure BDA0003605453800000138
为预测的尺寸，上述sm为真实的尺寸。
另外，在上述的目标标签信息还包括位置信息的情况下，可以通过上述位置信息计算实际中心点Yxyc以及真实的尺寸sm，以目标图像集中的一个图像为例来解决说明上述位置信息，若该图像中只包含一个目标障碍物，则该图像中只有一个位置信息，即上述图像中包含的障碍物的个数与位置信息的个数一一对应。在实际的应用过程中，上述位置信息包括第一坐标点的位置信息和第二坐标点的位置，通过第一坐标点和第二坐标点可以组成一个最小矩形框，该最小矩形框为可以包括目标障碍物的最小的矩形框，那么可以将第一坐标点和第二坐标点理解为在上述最小矩形框的目标对角线且为角点的两个坐标点。很显然，可以通过第一坐标点和第二坐标点来计算对应的目标障碍物的实际中心点，以及该最小矩形框的真实的尺寸sm。
根据上述的内容，上述目标损失函数的数学表现形式可以为：L＝ω1Lhm+ω2Loffset+ω3Lwh+ω4Ld，其中，ω1、ω2、ω3以及ω4为对应的损失函数的权重，用于平衡不同的损失函数之间的权重。
在上述目标损失函数包括距离损失函数、Heatmap损失函数、中心点偏移损失函数以及目标长宽损失函数的情况下，可以根据上述Heatmap损失函数计算第二目标损失，根据上述中心点偏移损失函数计算第三目标损失，以及根据上述目标长宽损失函数计算第四目标损失，则上述总目标损失可以第一目标损失、第二目标损失、第三目标损失和第四目标损失之和。
本申请的一种具体的实施例中，上述标签信息还包括位置信息，上述位置信息包括第一坐标点的位置信息和第二坐标点的位置信息，上述第一坐标点和上述第二坐标点可组成一个包括上述目标障碍物的最小矩形框，上述检测单元还包括显示模块，用于将上述目标障碍物在上述目标图像上的上述位置信息显示在对应的上述目标图像上，后续可以根据上述位置信息进一步地控制上述车辆，进一步地保证了对上述车辆的控制较为精确，进一步地保证了上述车辆的安全性较高。
在上述的实施例中，由于上述标签信息还包括位置信息，对初始检测网络进行训练的过程中，使得上述初始检测网络具有预测目标障碍物在目标图像上的位置信息的能力，进一步地保证了后续得到的位置信息较为准确。
本申请的另一种实施例中，上述检测定位装置还包括接收单元和预定处理单元其中，上述接收单元用于在采用目标训练集对具有目标损失函数的初始检测网络进行训练，得到目标检测网络之前，接收训练集，并采用数据增强方法对上述训练集进行数据增强，得到预定训练集，上述训练集包括图像集以及对应的标签信息，上述图像集包括含有上述目标障碍物的上述图像以及含有其他障碍物的上述图像，上述数据增强方法至少包括以下之一：平移、翻转、随机裁剪，上述其他障碍物为除上述目标障碍物之外的障碍物；上述预定处理单元用于对上述预定训练集进行预定处理，得到上述目标训练集。在该实施例中，采用数据增强方法对训练集进行数据增强，这样保证了得到预定训练集中的样本量较多以及得到多样化的样本数据，进一步地保证了得到的目标检测网络的泛华能力较强以及鲁棒性较好，另外，由于特征提取网络的输入向量的维数与对应层的神经元的个数一致，因此，还需要对预定训练集中的预定图像集进行预定处理，进一步地保证输入至特征提取网络的目标图像中的各图像的大小一致。
在本方案中，可以采用上述数据增强方法中的一种或者多种对训练集进行数据增强，也就是说，可以采用平移的方法对训练集进行数据增强，还可以采用翻转的方法对训练集进行数据增强，也可以采用随机裁剪的方法对训练集进行数据增强，当然，还可以采用平移和翻转、平移和随机裁剪、翻转和随机裁剪或者平移和翻转和随机裁剪等相互组合的方法对训练集进行数据增强。
具体地，上述数据增强的方法并不限于上述平移、翻转、随机裁剪中的一种或多种，还可以采用缩放、改变视角以及遮挡某局部区域等方法对上述训练集进行数据增强，也就是说，本申请中并不对上述数据增强方法进行限制，可以采用现有的任一种或者多种对上述训练集进行数据增强。
为了进一步地保证得到的目标检测网络的泛华能力较强，本申请的再一种实施例中，上述接收单元包括更新模块和组合模块，其中，上述更新模块用于采用上述数据增强方法，对含有上述目标障碍物的上述图像进行数据增强，并对含有上述目标障碍物的上述图像对应的上述标签信息进行更新，得到数据增强后的数据集；上述组合模块用于将数据增强后的上述数据集和含有上述其他障碍物的上述图像及含有上述其他障碍物的上述图像对应的标签信息进行组合，得到上述预定训练集。
本申请的一种具体的实施例中，假设训练集中的图像集中的一个图像中包含一个目标障碍物，则假设该图像的原始尺寸为(W，H)，以及该目标障碍物在该图像中的位置信息和距离信息为(X1,Y1；X2,Y2,d)，若采用平移的方法对该图像进行数据增强，具体过程为，将该图像在水平方向上的平移距离为Ox，在垂直方向上的平移距离为Oy，为了防止Ox和Oy越界，需要对Ox和Oy进行限制，即
Figure BDA0003605453800000151
以及
Figure BDA0003605453800000152
其中，d_to_left为该图像中距离该图像的左上角点(以人正对屏幕时的左上角为准)最近的一个最小矩形框的左上角点的水平方向上(即横坐标)的坐标，d_to_top-1为此时该点在垂直方向上(即纵坐标)的坐标；d_to_right为该图像中距离该图像的右下角点(以人正对屏幕时的左上角为准)最近的一个最小矩形框的右下角点的水平方向上(即横坐标)的坐标，d_to_bottom为此时该点在垂直方向上(即纵坐标)的坐标，则经过平移后得到的图像的尺寸更新为(W1'，H1')，则对应的包括目标障碍物的位置信息和距离信息更新为(X1new1,Y1new1；X2new1,Y2new1,d'1)，其中，X1new＝X1+Ox，X2new＝X2+Ox，Y1new＝Y1+Oy以及Y2new＝Y2+Oy，d'1是通过小孔成像原理计算得到的，且该目标障碍物的类别信息不发生改变。
本申请的另一种具体的实施例中，假设训练集中的图像集中的一个图像中包含一个目标障碍物，则假设该图像的原始尺寸为(W，H)，以及该目标障碍物在该图像中的位置信息和距离信息为(X1,Y1；X2,Y2,d)，则通过翻转的方式对该图像进行数据增强，则经过翻转后得到的图像的尺寸更新为(W2'，H2')，则对应的包括目标障碍物的位置信息和距离信息更新为(X1new2,Y1new2；X2new2,Y2new2,d'2)，其中，X1new2＝W'-X1，X2new2＝W'-X2，Y1new2＝Y1以及Y2new2＝Y2，d'2是通过小孔成像原理计算得到的，且该目标障碍物的类别信息不发生改变。
本申请的又一种具体的实施例中，假设训练集中的图像集中的一个图像中包含一个目标障碍物，则假设该图像的原始尺寸为(W，H)，以及该目标障碍物在该图像中的位置信息和距离信息为(X1,Y1；X2,Y2,d)，则通过裁剪的方式对该图像进行数据增强，则经过翻转后得到的图像的尺寸更新为(W3'，H3')，则对应的包括目标障碍物的位置信息和距离信息更新为(X1new3,Y1new3；X2new3,Y2new3,d'3)，其中，W3'＝Crop_X_max-Crop_X_min，H3'＝Crop_Y_max-Crop_Y_min，Crop_X_max、Crop_X_min、Crop_Y_max以及Crop_Y_min为自定义的变量名，Crop_X_max的取值范围为[W-d_to_right，W]，Crop_Y_max的取值范围为[H-d_to_bottom，H]，Crop_X_min的取值范围为[0，d_to_left]，Crop_Y_min的取值范围为[0，d_to_top]，X1new3＝X1-Crop_X_min，Y1new3＝Y1-Crop_Y_min，X2new3＝X2-Crop_X_min，Y2new3＝Y2-Crop_Y_min，d'3是通过小孔成像原理计算得到的，且该目标障碍物的类别信息不发生改变。
本申请的一种实施例中，上述预定处理单元包括第二调整模块、转换模块和归一化处理模块，其中，上述第二调整模块用于采用letterbox方法，对上述预定训练集中的预定图像集中的上述图像进行尺寸调整，得到第一图像集，上述预定图像集为上述预定训练集中的上述图像的集合；上述转换模块用于将上述第一图像集的颜色通道由RGB形式转换为BGR形式，得到第二图像集；上述归一化处理模块用于对上述第二图像集进行归一化处理，得到上述目标图像集，并将上述目标图像集以及对应的上述目标标签信息进行组合，得到上述目标训练集。在该实施例中，在将目标训练集输入至初始检测网络之前，对预定训练集中的预定图像集进行预定处理，这样进一步地保证了训练得到目标检测网络的各方面的性能较优。
具体地，上述第一图像集中的各个图像的尺寸为512×512×3，其中，3用于表示第一图像集中各个图像的颜色通道的数量。
由于第二图像集中各个图像的像素值在[0,255]，再经过归一化处理之后，得到的目标图像集中各个图像的像素值在[0,1]。
为了保证后续得到的目标检测网络为轻量化的模型架构，以及进一步地保证目标检测网络的推理速度较快，本申请的另一种实施例中，上述初始检测网络包括特征提取网络，上述初始检测网络为基于CenterNet网络构建的，上述特征提取网络为VarGNet。
上述障碍物的检测定位装置包括处理器和存储器，上述训练单元和检测单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来解决现有技术中难以较为精确地计算车辆与障碍物之间的距离的问题。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现上述障碍物的检测定位方法。
本发明实施例提供了一种处理器，上述处理器用于运行程序，其中，上述程序运行时执行上述障碍物的检测定位方法。
本申请的一种典型的实施例中，还提供了一种车辆，该车辆包括障碍物的检测定位装置，上述检测定位装置用于执行任意一种上述的检测定位方法。
上述的车辆包括上述检测定位装置，上述检测定位装置用于执行任意一种上述的检测定位方法，上述的检测定位方法中，通过目标训练集对初始检测网络进行训练，得到目标检测网络，其中，上述目标训练集包括目标图像集和目标标签信息，上述目标图像集包括含有目标障碍物的图像，上述目标标签信息至少包括实际距离和类别信息，由于上述目标损失函数至少包括距离损失函数，上述距离损失函数为实际距离与预测距离之间的差值的公式，故本方案通过对初始检测网络进行训练，使得到的目标检测网络能够较为准确地检测目标障碍物的类别信息，以及预测车辆与目标障碍物之间的距离，再通过目标检测网络对目标图像进行检测，在上述目标图像含有上述目标障碍物的情况下，至少将目标检测网络预测的目标障碍物与车辆之间的距离信息显示在对应的目标图像上。本方案与现有技术中基于激光雷达的感知方法来预测目标障碍物与车辆之间的距离信息相比，本方案对具有目标损失函数的初始检测网络进行训练，得到目标检测网络，再采用目标检测网络对目标图像进行检测，得到目标障碍物的类别信息以及目标障碍物与车辆之间的距离信息，由于本方案是对目标图像进行检测，保证了可以较为精确地获取到目标障碍物的信息，保证了对目标障碍物的识别能力较强，从而保证了预测的目标障碍物与车辆之间的距离信息较为准确，进而解决了现有技术中难以较为精确地计算车辆与障碍物之间的距离的问题。另外，本方案是直接对获取的目标图像进行检测，即本方案实现了端到端的检测过程，无需再对获取的激光点云信息进行映射，得到映射后的信息，再对映射后的信息进行检测等操作，这样保证了目标检测网络的计算量较小以及收敛的速度较快。
本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现至少以下步骤：
步骤S101，采用目标训练集对具有目标损失函数的初始检测网络进行训练，得到目标检测网络，其中，上述目标损失函数至少包括距离损失函数，上述距离损失函数为计算实际距离与预测距离之间的差值的公式，上述目标训练集包括目标图像集以及对应的目标标签信息，上述目标图像集包括含有目标障碍物的图像，上述目标标签信息至少包括实际距离和类别信息，上述实际距离为检测得到的上述目标障碍物与上述车辆之间的距离，上述预测距离为上述初始检测网络输出得到的上述目标障碍物与上述车辆之间的距离，上述类别信息用于表征上述目标障碍物的类别；
步骤S102，采用上述目标检测网络对目标图像进行检测，根据检测结果中的上述目标障碍物的类别信息确定上述目标图像是否含有上述目标障碍物，在上述目标图像含有上述目标障碍物的情况下，至少将上述目标障碍物与上述车辆之间的距离信息显示在对应的上述目标图像上。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有至少如下方法步骤的程序：
步骤S101，采用目标训练集对具有目标损失函数的初始检测网络进行训练，得到目标检测网络，其中，上述目标损失函数至少包括距离损失函数，上述距离损失函数为计算实际距离与预测距离之间的差值的公式，上述目标训练集包括目标图像集以及对应的目标标签信息，上述目标图像集包括含有目标障碍物的图像，上述目标标签信息至少包括实际距离和类别信息，上述实际距离为检测得到的上述目标障碍物与上述车辆之间的距离，上述预测距离为上述初始检测网络输出得到的上述目标障碍物与上述车辆之间的距离，上述类别信息用于表征上述目标障碍物的类别；
步骤S102，采用上述目标检测网络对目标图像进行检测，根据检测结果中的上述目标障碍物的类别信息确定上述目标图像是否含有上述目标障碍物，在上述目标图像含有上述目标障碍物的情况下，至少将上述目标障碍物与上述车辆之间的距离信息显示在对应的上述目标图像上。
为了本领域技术人员能够更加清楚地了解本申请的技术方案，以下将结合具体的实施例来说明本申请的技术方案和技术效果。
实施例
如图3所示，在将目标训练集输入至具有目标损失函数的初始检测网络之前，对接收到的训练集进行数据增强以及预定处理，以得到目标训练集，对初始检测网络的具体训练过程为：
将目标训练集(目标图像集以及目标标签信息)输入至特征提取网络(即VarGNet网络中，也通常称为backbone网络)，得到多个特征图，将多个特征图输入至预测网络中，以得到预测距离、预测中心点，预测偏移量以及预测的尺寸，再根据预测距离、预测中心点，预测偏移量以及预测的尺寸、对应的标签信息以及目标损失函数(即距离损失函数、Heatmap损失函数、中心点偏移损失函数以及目标宽高损失函数)计算总目标损失，最后，根据总目标损失对初始检测网络进行不断地调整，得到目标检测网络。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
从以上的描述中，可以看出，本申请上述的实施例实现了如下技术效果：
1)、本申请的障碍物的检测定位方法中，通过目标训练集对初始检测网络进行训练，得到目标检测网络，其中，上述目标训练集包括目标图像集和目标标签信息，上述目标图像集包括含有目标障碍物的图像，上述目标标签信息至少包括实际距离和类别信息，由于上述目标损失函数至少包括距离损失函数，上述距离损失函数为实际距离与预测距离之间的差值的公式，故本方案通过对初始检测网络进行训练，使得到的目标检测网络能够较为准确地检测目标障碍物的类别信息，以及预测车辆与目标障碍物之间的距离，再通过目标检测网络对目标图像进行检测，在上述目标图像含有上述目标障碍物的情况下，至少将目标检测网络预测的目标障碍物与车辆之间的距离信息显示在对应的目标图像上。本方案与现有技术中基于激光雷达的感知方法来预测目标障碍物与车辆之间的距离信息相比，本方案对具有目标损失函数的初始检测网络进行训练，得到目标检测网络，再采用目标检测网络对目标图像进行检测，得到目标障碍物的类别信息以及目标障碍物与车辆之间的距离信息，由于本方案是对目标图像进行检测，保证了可以较为精确地获取到目标障碍物的信息，保证了对目标障碍物的识别能力较强，从而保证了预测的目标障碍物与车辆之间的距离信息较为准确，进而解决了现有技术中难以较为精确地计算车辆与障碍物之间的距离的问题。另外，本方案是直接对获取的目标图像进行检测，即本方案实现了端到端的检测过程，无需再对获取的激光点云信息进行映射，得到映射后的信息，再对映射后的信息进行检测等操作，这样保证了目标检测网络的计算量较小以及收敛的速度较快。
2)、本申请的障碍物的检测定位装置中，训练单元用于通过目标训练集对初始检测网络进行训练，得到目标检测网络，其中，上述目标训练集包括目标图像集和目标标签信息，上述目标图像集包括含有目标障碍物的图像，上述目标标签信息至少包括实际距离和类别信息，由于上述目标损失函数至少包括距离损失函数，上述距离损失函数为实际距离与预测距离之间的差值的公式，故本方案通过对初始检测网络进行训练，使得到的目标检测网络能够较为准确地检测目标障碍物的类别信息，以及预测车辆与目标障碍物之间的距离，检测单元用于通过目标检测网络对目标图像进行检测，在上述目标图像含有上述目标障碍物的情况下，至少将目标检测网络预测的目标障碍物与车辆之间的距离信息显示在对应的目标图像上。与现有技术中基于激光雷达的感知方法来预测目标障碍物与车辆之间的距离信息相比，本方案对具有目标损失函数的初始检测网络进行训练，得到目标检测网络，再采用目标检测网络对目标图像进行检测，得到目标障碍物的类别信息以及目标障碍物与车辆之间的距离信息，由于本方案是对目标图像进行检测，保证了可以较为精确地获取到目标障碍物的信息，保证了对目标障碍物的识别能力较强，从而保证了预测的目标障碍物与车辆之间的距离信息较为准确，进而解决了现有技术中难以较为精确地计算车辆与障碍物之间的距离的问题。另外，本方案是直接对获取的目标图像进行检测，即本方案实现了端到端的检测过程，无需再对获取的激光点云信息进行映射，得到映射后的信息，再对映射后的信息进行检测等操作，这样保证了目标检测网络的计算量较小以及收敛的速度较快。
3)、本申请的车辆包括上述检测定位装置，上述检测定位装置用于执行任意一种上述的检测定位方法，上述的检测定位方法中，通过目标训练集对初始检测网络进行训练，得到目标检测网络，其中，上述目标训练集包括目标图像集和目标标签信息，上述目标图像集包括含有目标障碍物的图像，上述目标标签信息至少包括实际距离和类别信息，由于上述目标损失函数至少包括距离损失函数，上述距离损失函数为实际距离与预测距离之间的差值的公式，故本方案通过对初始检测网络进行训练，使得到的目标检测网络能够较为准确地检测目标障碍物的类别信息，以及预测车辆与目标障碍物之间的距离，再通过目标检测网络对目标图像进行检测，在上述目标图像含有上述目标障碍物的情况下，至少将目标检测网络预测的目标障碍物与车辆之间的距离信息显示在对应的目标图像上。本方案与现有技术中基于激光雷达的感知方法来预测目标障碍物与车辆之间的距离信息相比，本方案对具有目标损失函数的初始检测网络进行训练，得到目标检测网络，再采用目标检测网络对目标图像进行检测，得到目标障碍物的类别信息以及目标障碍物与车辆之间的距离信息，由于本方案是对目标图像进行检测，保证了可以较为精确地获取到目标障碍物的信息，保证了对目标障碍物的识别能力较强，从而保证了预测的目标障碍物与车辆之间的距离信息较为准确，进而解决了现有技术中难以较为精确地计算车辆与障碍物之间的距离的问题。另外，本方案是直接对获取的目标图像进行检测，即本方案实现了端到端的检测过程，无需再对获取的激光点云信息进行映射，得到映射后的信息，再对映射后的信息进行检测等操作，这样保证了目标检测网络的计算量较小以及收敛的速度较快。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种障碍物的检测定位方法，其特征在于，所述检测定位方法应用在车辆中，所述检测定位方法包括：
采用目标训练集对具有目标损失函数的初始检测网络进行训练，得到目标检测网络，其中，所述目标损失函数至少包括距离损失函数，所述距离损失函数为计算实际距离与预测距离之间的差值的公式，所述目标训练集包括目标图像集以及对应的目标标签信息，所述目标图像集包括含有目标障碍物的图像，所述目标标签信息至少包括实际距离和类别信息，所述实际距离为检测得到的所述目标障碍物与所述车辆之间的距离，所述预测距离为所述初始检测网络输出得到的所述目标障碍物与所述车辆之间的距离，所述类别信息用于表征所述目标障碍物的类别；
采用所述目标检测网络对目标图像进行检测，根据检测结果中的所述目标障碍物的类别信息确定所述目标图像是否含有所述目标障碍物，在所述目标图像含有所述目标障碍物的情况下，至少将所述目标障碍物与所述车辆之间的距离信息显示在对应的所述目标图像上。
2.根据权利要求1所述的检测定位方法，其特征在于，所述距离损失函数包括第一距离损失函数和第二距离损失函数，在|r|≤α的情况下，所述第一距离损失函数为
Figure FDA0003605453790000011
在|r|＞α的情况下，所述第一距离损失函数为
Figure FDA0003605453790000012
其中，r＝ld-fd，ld为所述实际距离，fd为所述预测距离，α＝1，所述第二距离损失函数为|r|与所述实际距离的比值。
3.根据权利要求1所述的检测定位方法，其特征在于，所述初始检测网络包括特征提取网络和预测网络，采用目标训练集对具有目标损失函数的初始检测网络进行训练，得到目标检测网络，包括：
将所述目标训练集输入至所述特征提取网络进行特征提取，得到多个特征图；
将多个所述特征图输入至所述预测网络进行预测，至少得到多个所述预测距离；
至少根据多个所述预测距离、多个所述实际距离和所述距离损失函数，计算第一目标损失；
至少根据第一目标损失，计算总目标损失，并根据所述总目标损失，对所述初始检测网络进行调整，得到所述目标检测网络。
4.根据权利要求1至3中任意一项所述的检测定位方法，其特征在于，所述标签信息还包括位置信息，所述位置信息包括第一坐标点的位置信息和第二坐标点的位置信息，所述第一坐标点和所述第二坐标点可组成一个包括所述目标障碍物的最小矩形框，至少将所述目标障碍物与所述车辆之间的距离信息显示在对应的所述目标图像上，还包括：
将所述目标障碍物在所述目标图像上的所述位置信息显示在对应的所述目标图像上。
5.根据权利要求1所述的检测定位方法，其特征在于，在采用目标训练集对具有目标损失函数的初始检测网络进行训练，得到目标检测网络之前，所述检测定位方法还包括：
接收训练集，并采用数据增强方法对所述训练集进行数据增强，得到预定训练集，所述训练集包括图像集以及对应的标签信息，所述图像集包括含有所述目标障碍物的所述图像以及含有其他障碍物的所述图像，所述数据增强方法至少包括以下之一：平移、翻转、随机裁剪，所述其他障碍物为除所述目标障碍物之外的障碍物；
对所述预定训练集进行预定处理，得到所述目标训练集。
6.根据权利要求5所述的检测定位方法，其特征在于，接收训练集，并采用数据增强方法对所述训练集进行数据增强，得到预定训练集，包括：
采用所述数据增强方法，对含有所述目标障碍物的所述图像进行数据增强，并对含有所述目标障碍物的所述图像对应的所述标签信息进行更新，得到数据增强后的数据集；
将数据增强后的所述数据集和含有所述其他障碍物的所述图像及含有所述其他障碍物的所述图像对应的所述标签信息进行组合，得到所述预定训练集。
7.根据权利要求5所述的检测定位方法，其特征在于，对所述预定训练集进行预定处理，得到所述目标训练集，包括：
采用letterbox方法，对所述预定训练集中的预定图像集中的所述图像进行尺寸调整，得到第一图像集，所述预定图像集为所述预定训练集中的所述图像的集合；
将所述第一图像集的颜色通道由RGB形式转换为BGR形式，得到第二图像集；
对所述第二图像集进行归一化处理，得到所述目标图像集，并将所述目标图像集以及对应的所述目标标签信息进行组合，得到所述目标训练集。
8.根据权利要求1所述的检测定位方法，其特征在于，所述初始检测网络包括特征提取网络，所述初始检测网络为基于CenterNet网络构建的，所述特征提取网络为VarGNet。
9.一种障碍物的检测定位装置，其特征在于，所述检测定位装置设置在车辆中，所述检测定位装置包括：
训练单元，用于采用目标训练集对具有目标损失函数的初始检测网络进行训练，得到目标检测网络，其中，所述目标损失函数至少包括距离损失函数，所述距离损失函数为计算实际距离与预测距离之间的差值的公式，所述目标训练集包括目标图像集以及对应的目标标签信息，所述目标图像集包括含有目标障碍物的图像，所述目标标签信息至少包括实际距离和类别信息，所述实际距离为检测得到的所述目标障碍物与所述车辆之间的距离，所述预测距离为所述初始检测网络输出得到的所述目标障碍物与所述车辆之间的距离，所述类别信息用于表征所述目标障碍物的类别；
检测单元，用于采用所述目标检测网络对目标图像进行检测，根据检测结果中的所述目标障碍物的类别信息确定所述目标图像是否含有所述目标障碍物，在所述目标图像含有所述目标障碍物的情况下，至少将所述目标障碍物与所述车辆之间的距离信息显示在对应的所述目标图像上。
10.一种车辆，其特征在于，包括：障碍物的检测定位装置，所述检测定位装置用于执行权利要求1至8中任意一项所述的检测定位方法。
CN202210415085.4A 2022-04-20 2022-04-20 障碍物的检测定位方法、检测定位装置与车辆 Pending CN114821527A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210415085.4A CN114821527A (zh) 2022-04-20 2022-04-20 障碍物的检测定位方法、检测定位装置与车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210415085.4A CN114821527A (zh) 2022-04-20 2022-04-20 障碍物的检测定位方法、检测定位装置与车辆

Publications (1)

Publication Number Publication Date
CN114821527A true CN114821527A (zh) 2022-07-29

Family

ID=82506039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210415085.4A Pending CN114821527A (zh) 2022-04-20 2022-04-20 障碍物的检测定位方法、检测定位装置与车辆

Country Status (1)

Country Link
CN (1) CN114821527A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116245950A (zh) * 2023-05-11 2023-06-09 合肥高维数据技术有限公司 用于全屏或单角缺失的屏幕角点定位方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116245950A (zh) * 2023-05-11 2023-06-09 合肥高维数据技术有限公司 用于全屏或单角缺失的屏幕角点定位方法
CN116245950B (zh) * 2023-05-11 2023-08-01 合肥高维数据技术有限公司 用于全屏或单角缺失的屏幕角点定位方法

Similar Documents

Publication Publication Date Title
CN112348815B (zh) 图像处理方法、图像处理装置以及非瞬时性存储介质
US10580206B2 (en) Method and apparatus for constructing three-dimensional map
AU2016349518B2 (en) Edge-aware bilateral image processing
JP6484228B2 (ja) 視覚強化ナビゲーション
US9766712B2 (en) Systems and methods for orienting a user in a map display
JP4512584B2 (ja) イメージマッチング速度とブレンディング方法を改善したパノラマ映像提供方法および装置
JP6995188B2 (ja) 車載カメラの姿勢推定方法、装置およびシステムならびに電子機器
CN109791598A (zh) 用于识别地面标记的图像处理方法以及地面标记检测系统
US20130318078A1 (en) System and Method for Producing Multi-Angle Views of an Object-of-Interest from Images in an Image Dataset
CN111376895B (zh) 一种环视泊车感知方法、装置、自动泊车系统和车辆
CN105279372A (zh) 一种建筑物高度计算方法和装置
CN112560698B (zh) 图像处理方法、装置、设备和介质
CN102214000A (zh) 用于移动增强现实系统的目标物体混合注册方法及系统
WO2020160155A1 (en) Dynamic distance estimation output generation based on monocular video
CN109815831B (zh) 一种车辆朝向获取方法及相关装置
KR101921743B1 (ko) 부동산 증강 현실 서비스 제공 장치 및 제공 방법
CN106558051A (zh) 一种改进的从单幅图像检测道路的方法
CN111738033B (zh) 基于平面分割的车辆行驶信息确定方法及装置、车载终端
CN106871906A (zh) 一种盲人导航方法、装置及终端设备
CN112101205A (zh) 基于多任务网络的训练方法和装置
CN114821527A (zh) 障碍物的检测定位方法、检测定位装置与车辆
Yeh et al. Driver assistance system providing an intuitive perspective view of vehicle surrounding
CN111460854B (zh) 一种远距离目标检测方法、装置及系统
Itu et al. An efficient obstacle awareness application for android mobile devices
CN113011445A (zh) 标定方法、识别方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination