CN117636098A - 模型训练、目标检测、车辆控制方法、装置、设备及介质 - Google Patents

模型训练、目标检测、车辆控制方法、装置、设备及介质 Download PDF

Info

Publication number
CN117636098A
CN117636098A CN202311754384.1A CN202311754384A CN117636098A CN 117636098 A CN117636098 A CN 117636098A CN 202311754384 A CN202311754384 A CN 202311754384A CN 117636098 A CN117636098 A CN 117636098A
Authority
CN
China
Prior art keywords
target detection
target
result
sample
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311754384.1A
Other languages
English (en)
Inventor
陈衍先
董嘉蓉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202311754384.1A priority Critical patent/CN117636098A/zh
Publication of CN117636098A publication Critical patent/CN117636098A/zh
Pending legal-status Critical Current

Links

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本公开提供了模型训练、目标检测、车辆控制方法、装置、设备及介质，涉及人工智能领域，具体涉及智能交通和自动驾驶领域。具体实现方案为：将训练样本输入目标检测模型；通过目标检测模型对样本点云进行特征提取，得到第一特征图；通过目标检测模型在第一特征图中确定目标空间对应的第二特征图；通过目标检测模型，针对第一特征图采用稀疏分布的第一锚框进行目标检测，得到第一检测结果；通过目标检测模型，针对第二特征图采用稠密分布的第二锚框进行目标检测，得到第二检测结果；将第一检测结果和第二检测结果融合，得到样本检测结果；根据样本检测结果与相应真值框之间差异，调整目标检测模型参数。本公开实施例可以提高模型检测速度和准确性。

Description

模型训练、目标检测、车辆控制方法、装置、设备及介质
技术领域
本公开涉及人工智能领域，具体涉及智能交通和自动驾驶领域，尤其涉及一种模型训练、目标检测、车辆控制方法、装置、设备及介质。
背景技术
目标检测(Object detection)作为自动驾驶汽车(Autonomous Vehicles)的核心组成部分，对于保障行车安全至关重要。
在自动驾驶汽车的行驶过程中，自动驾驶系统需要对目标进行准确的检测和识别，以便及时采取避让措施，避免交通事故的发生。
发明内容
本公开提供了一种模型训练、目标检测、车辆控制方法、装置、设备及介质。
根据本公开的一方面，提供了一种目标检测模型的训练方法，包括：
将训练样本输入到目标检测模型中，所述训练样本包括样本车辆采集的样本点云和至少一个真值框；
通过所述目标检测模型，对所述样本点云进行特征提取，得到第一特征图；
通过所述目标检测模型，在所述第一特征图中，确定目标空间对应的第二特征图；
通过所述目标检测模型，针对所述第一特征图，采用稀疏分布的第一锚框进行目标检测，得到第一检测结果；
通过所述目标检测模型，针对所述第二特征图，采用稠密分布的第二锚框进行目标检测，得到第二检测结果；
通过所述目标检测模型，将所述第一检测结果和所述第二检测结果进行融合，得到至少一个样本检测结果；
通过所述目标检测模型，根据各所述样本检测结果与相应真值框之间的差异，调整所述目标检测模型的参数。
根据本公开的另一方面，提供了一种目标检测方法，包括：
获取车辆采集的点云数据；
将所述点云数据输入到预先训练的目标检测模型中；
通过所述目标检测模型，对所述点云数据进行特征提取，得到第一特征图；
通过所述目标检测模型，在所述第一特征图中，确定目标空间对应的第二特征图；
通过所述目标检测模型，针对所述第一特征图，采用稀疏分布的第一锚框进行目标检测，得到第一检测结果；
通过所述目标检测模型，针对所述第二特征图，采用稠密分布的第二锚框进行目标检测，得到第二检测结果；
通过所述目标检测模型，将所述第一检测结果和所述第二检测结果进行融合，得到目标检测结果。
根据本公开的另一方面，提供了一种车辆控制方法，包括：
获取车辆的目标检测结果；所述目标检测结果通过如本公开任一实施例所述的目标检测方法获取；
根据所述目标检测结果，控制所述车辆行驶。
根据本公开的另一方面，提供了一种目标检测模型的训练装置，包括：
训练样本输入模块，用于将训练样本输入到目标检测模型中，所述训练样本包括样本车辆采集的样本点云和至少一个真值框；
第一特征图确定模块，用于通过所述目标检测模型，对所述样本点云进行特征提取，得到第一特征图；
第二特征图确定模块，用于通过所述目标检测模型，在所述第一特征图中，确定目标空间对应的第二特征图；
第一检测结果确定模块，用于通过所述目标检测模型，针对所述第一特征图，采用稀疏分布的第一锚框进行目标检测，得到第一检测结果；
第二检测结果确定模块，用于通过所述目标检测模型，针对所述第二特征图，采用稠密分布的第二锚框进行目标检测，得到第二检测结果；
样本检测结果确定模块，用于通过所述目标检测模型，将所述第一检测结果和所述第二检测结果进行融合，得到至少一个样本检测结果；
目标检测模型调参模块，用于通过所述目标检测模型，根据各所述样本检测结果与相应真值框之间的差异，调整所述目标检测模型的参数。
根据本公开的一方面，提供了一种目标检测装置，包括：
点云数据获取模块，用于获取车辆采集的点云数据；
点云数据输入模块，用于将所述点云数据输入到预先训练的目标检测模型中；
第一特征提取模块，用于通过所述目标检测模型，对所述点云数据进行特征提取，得到第一特征图；
第二特征提取模块，用于通过所述目标检测模型，在所述第一特征图中，确定目标空间对应的第二特征图；
第一目标检测模块，用于通过所述目标检测模型，针对所述第一特征图，采用稀疏分布的第一锚框进行目标检测，得到第一检测结果；
第二目标检测模块，用于通过所述目标检测模型，针对所述第二特征图，采用稠密分布的第二锚框进行目标检测，得到第二检测结果；
目标检测结果确定模块，用于通过所述目标检测模型，将所述第一检测结果和所述第二检测结果进行融合，得到目标检测结果。
根据本公开的另一方面，提供了一种车辆控制装置，包括：
目标检测模块，用于获取车辆的目标检测结果；所述目标检测结果通过如本公开任一实施例所述的目标检测方法获取；
车辆控制模块，用于根据所述目标检测结果，控制所述车辆行驶。
根据本公开的另一方面，提供了一种目标检测模型的训练设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开任一实施例所述的目标检测模型的训练方法。
根据本公开的另一方面，提供了一种目标检测设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开任一实施例所述的目标检测方法。
根据本公开的另一方面，提供了一种车辆控制设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开任一实施例所述的车辆控制方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开任一实施例所述的目标检测模型的训练方法、目标检测方法或车辆控制方法。
根据本公开的另一方面，提供了一种自动驾驶车辆，包括本公开任一实施例所述的目标检测设备和/或所述的车辆控制设备。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开任一实施例所述的目标检测模型的训练方法、目标检测方法或车辆控制方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例公开的一种目标检测模型的训练方法的流程图；
图2是根据本公开实施例公开的另一种目标检测模型的训练方法的流程图；
图3是根据本公开实施例公开的另一种目标检测模型的训练方法的流程图；
图4是根据本公开实施例公开的一种目标检测方法的流程图；
图5根据本公开实施例公开的一种车辆控制方法的流程图；
图6是根据本公开实施例公开的优化前正负样本的匹配情况图；
图7是根据本公开实施例公开的优化后正负样本的匹配效果图；
图8是根据本公开实施例公开的算法链路的示意图；
图9是根据本公开实施例公开的目标检测模型的训练装置的结构示意图；
图10是根据本公开实施例公开的目标检测装置的结构示意图；
图11是根据本公开实施例公开的车辆控制装置的结构示意图；
图12是根据本公开实施例公开的实现目标检测模型的训练方法、目标检测方法或车辆控制方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本公开实施例公开的一种目标检测模型的训练方法的流程图，本实施例可以适用于训练用于检测车辆周围障碍物的目标检测模型的情况。本实施例方法可以由目标检测模型的训练装置来执行，该装置可采用软件和/或硬件的方式实现，并具体配置于具有一定数据运算能力的电子设备中，该电子设备可以是客户端设备或服务器设备，客户端设备例如手机、平板电脑、车载终端和台式电脑等。
如图1所示的一种目标检测模型的训练方法，包括：
S101、将训练样本输入到目标检测模型中，所述训练样本包括样本车辆采集的样本点云和至少一个真值框。
可以收集大量的训练样本，对目标检测模型进行训练。示例性的，目标检测模型可以是采用锚框进行目标检测的深度学习模型。目标检测模型可以用于在样本点云对应的空间中对目标所在的区域进行检测。示例性的，目标检测模型可以是Fast R-CNN(FastRegion-based Convolutional Network，快速的基于区域的卷积神经网络)、SDD(SingleShot MultiBox Detector，单发多框检测)或YOLO(You Only Look Once，一次目标检测)等。训练样本包括输入数据和标注数据。其中，输入数据为样本点云。标注数据为真值框。样本点云可以是待检测环境的点云数据，具体可以是采集设备采集的点云，或者是采集设备采集的点云经过处理得到的点云。示例性的，获取雷达采集的点云，并将采集的点云转换到鸟瞰视角下，得到二维点云，作为样本点云。其中，采集设备可以配置于目标设备上，目标设备可以包括样本车辆或机器人，机器人可以包括送餐机器人或物流机器人等。真值框可以是指在样本点云中，待检测对象的空间或区域，真值框可以通过坐标表示，例如，真值框的顶点的坐标，或真值框的中心点坐标以及边界之间的距离，或真值框的中心点坐标以及边界与中心点坐标之间的距离等。此外，真值框还可以标注有待检测对象的类别，例如，类别可以包括静止对象或动态对象。还可以继续细分，例如，动态对象包括行人、小动物或车辆等。静止对象还可以包括标识牌、栏杆、花坛、餐桌、货架或垃圾桶等。对此可以根据具体场景进行设定。
S102、通过所述目标检测模型，对所述样本点云进行特征提取，得到第一特征图。
第一特征图可以为目标检测模型对样本点云的特征提取结果。
具体的，可以通过目标检测模型的特征提取层，例如卷积层，对样本点云进行特征提取，得到第一特征图。
S103、通过所述目标检测模型，在所述第一特征图中，确定目标空间对应的第二特征图。
目标空间可以为样本车辆周围的空间。目标空间可以包括样本车辆所占的空间，也可以不包括样本车辆所占的空间。可选的，目标空间可以为样本点云对应的空间中目标密集的空间。相较于样本点云所占的空间而言，目标空间的空间范围更小，目标空间的边界范围与样本车辆更近。实质上，目标空间为样本点云所占的空间的局部空间。第二特征图可以为第一特征图中目标空间对应的特征图。实质上，第二特征图为第一特征图的局部特征图。
具体的，可以通过目标检测模型，在第一特征图中，截取目标空间对应的特征图，将该特征图直接作为第二特征图，也可以对特征图继续处理，得到第二特征图。
可选的，所述在所述第一特征图中，确定目标空间对应的第二特征图，包括：在第一特征图中，获取所述目标空间对应的特征图；对所述目标空间对应的特征图上进行采样，得到所述目标空间对应的第二特征图。
目标空间对应的特征图可以为按照目标空间的范围，对第一特征图进行截取的结果。目标空间对应的特征图为第一特征图的局部特征图。第二特征图为目标空间对应的特征图的采样结果。例如，第二特征图为目标空间对应的特征图的上采样结果。相比较而言，第二特征图比目标空间的特征图的特征分辨率更高。
具体的，可以根据目标空间的范围，在第一特征图中，截取目标空间对应的特征图。在一个可选的例子中，可以对目标空间对应的特征图进行上采样，得到目标空间对应的第二特征图。
尽管对于目标过小引起的欠分割问题，最简单的方法就是增加目标检测模型的输入分辨率，但是这样会急剧增加算法链路的时延，难以满足自动驾驶车辆低时延推理的需求。
通过对目标空间对应的特征图上进行采样，得到第二特征图，提升了目标检测模型的检测分辨率，同时，时延风险较小，提高了第二特征图的特征分辨率，进一步提高了基于稠密分布的第二锚框对第二特征图进行目标检测的精度。
S104、通过所述目标检测模型，针对所述第一特征图，采用稀疏分布的第一锚框进行目标检测，得到第一检测结果。
第一锚框可以是在样本点云上铺设的矩形框，用于对样本点云对应的第一特征图中相应区域进行目标检测。稀疏分布的第一锚框，可以理解为，在铺设第一锚框时，铺设的间隔或步进更大的第一锚框，此时，用于进行目标检测的第一锚框的密度更小，整体分布更为稀疏。第二特征图为第一特征图的局部特征图。由此，第一特征图所包含的特征数量远大于第二特征图所包含的特征数量。采用稀疏分布的第一锚框对第一特征图进行目标检测，可以减少目标检测时第一锚框的数量，减轻了第一特征图的目标检测时的计算压力，避免了目标检测过程对自动驾驶系统资源的过多占用，保证自动驾驶车辆可以正常稳定行驶。第一检测结果可以为第一特征图中目标的预测框。
具体的，可以通过目标检测模型，采用稀疏分布的多个第一锚框，对第一特征图进行目标检测，可以得到各第一锚框为各目标的置信度。可以针对同一目标，将置信度较高的第一锚框，确定为目标对应的预测框，由此，得到各目标对应的预测框，确定为第一检测结果。
S105、通过所述目标检测模型，针对所述第二特征图，采用稠密分布的第二锚框进行目标检测，得到第二检测结果。
第二锚框可以是在样本点云上铺设的矩形框，用于对样本点云对应的第二特征图中相应区域进行目标检测。稠密分布的第二锚框，可以理解为，在铺设第一锚框时，铺设的间隔或步进更小的第二锚框，此时，用于进行目标检测的第二锚框的密度更大，整体分布更为稠密。对于自动驾驶车辆而言，车辆附近范围的目标检测的精确度越高，车辆行驶的安全性更高。对第二特征图进行目标检测时，也即对第一特征图的局部特征图进行目标检测时，采用密度更大的第二锚框，在保证自动驾驶系统的设备算力的基础上，可以提高第二特征图的目标检测精度，进而提高车辆行驶的安全性。
可选的，相邻的所述第一锚框之间的第一间距大于相邻的所述第二锚框之间的第二间距。
第一间距可以为相邻的第一锚框之间的间距。第二间距可以相邻的第二锚框之间的间距。采用锚框进行目标检测时，可以通过检测特征图中相邻的各锚框，预测目标所在的预测框，从而实现目标检测。由此，相邻的锚框之间的间距与目标检测的精度之间息息相关。可以理解为，相邻的锚框之间的间距越大，目标检测的精度越小，目标检测的准确度也低；相应的，相邻的锚框之间的间距越小，目标检测的精度越大，目标检测的准确度也越高。相邻的第一锚框之间的第一间距大于相邻的第二锚框之间的第二间距，可以理解为，对第一特征图的检测精度小于对第二特征图的检测精度。
通过针对特征数量更多的第一特征图，采用相邻锚框之间间距更大的第一锚框进行目标检测，考虑了自动驾驶系统的设备计算能力，减少了目标检测时第一锚框的数量，减轻了第一特征图的目标检测时的计算压力，避免了目标检测过程对自动驾驶系统资源的过多占用，保证自动驾驶车辆可以正常稳定行驶；通过针对目标检测精度要求更高的第二特征图，采用相邻锚框之间间距更小的第二锚框进行目标检测，考虑了自动驾驶车辆对车辆附近范围检测精度的要求，在保证自动驾驶系统的设备算力的基础上，提高了第二特征图的目标检测精度，进而提高了车辆行驶的安全性；此外，通过第一间距和第二间距和第二间距表征锚框的检测精度，简化了第一锚框和第二锚框选取过程，进一步提高了目标检测的效率。
具体的，可以通过目标检测模型，采用稠密分布的多个第一锚框，对第二特征图进行目标检测，可以得到各第二锚框为各目标的置信度。可以针对同一目标，将置信度较高的第二锚框，确定为目标对应的预测框，由此，得到各目标对应的预测框，确定为第二检测结果。
S106、通过所述目标检测模型，将所述第一检测结果和所述第二检测结果进行融合，得到至少一个样本检测结果。
样本检测结果可以包括目标在样本点云中的检测边界框。样本检测结果还可以包括目标在样本点云中的对象类别。可选的，样本检测结果可以包括目标在样本点云中的检测边界框的位置参数和/或目标在样本点云中的检测边界框的尺寸参数。例如，样本检测结果可以包括目标在样本点云中的检测边界框的四个顶点的坐标；又如，样本检测结果可以包括目标在样本点云中的检测边界框的左上顶点的坐标、右下顶点的坐标、检测边界框的长度和检测边界框的宽度；又如，样本检测结果可以包括目标在样本点云中的检测边界框的中心点的坐标、检测边界框的长度和检测边界框的宽度。不同于真值框，样本检测结果为目标检测模型的预测结果。
具体的，可以通过目标检测模型，将第一检测结果和第二检测结果进行比较，对于第一检测结果和第二检测结果中重复的目标的预测框，将第二检测结果中的预测框作为最终的样本检测结果；对于第一检测结果中包含且第二检测结果中不包含的目标的预测框，直接作为最终的样本检测结果。
S107、通过所述目标检测模型，根据各所述样本检测结果与相应真值框之间的差异，调整所述目标检测模型的参数。
样本检测结果可以为目标检测模型对样本点云包含的目标的预测结果。真值框可以为样本点云中的目标所在区域的真实结果。可选的，样本检测结果可以包括样本检测框中的对象类别、样本检测框的尺寸和/或样本检测框的位置。相应的，真值框也可以包括真值框中的对象类别、真值框的尺寸和/或真值框的位置。
具体的，可以通过目标检测模型，根据样本检测结果包括样本检测框的尺寸与真值框的尺寸之间的差异，计算损失值。可以以损失值最小或收敛为目标，调整目标检测模型的参数。目标检测模型训练完成，可以用于检测目标。其中，目标检测模型可以同时用于检测多个对象类别的目标。
可选的，可以通过目标检测模型，根据样本检测结果包括样本检测框的位置与真值框的位置之间的差异，计算损失值。可以以损失值最小或收敛为目标，调整目标检测模型的参数。
可选的，可以通过目标检测模型，根据样本检测结果包括的对象类别与真值框中的对象类别之间的差异，样本检测结果包括的样本检测框的尺寸与真值框的尺寸之间的差异，以及根据样本检测结果包括样本检测框的位置与真值框的位置之间的差异，计算损失值。可以以损失值最小或收敛为目标，调整目标检测模型的参数。
现有技术中自动驾驶车辆的目标检测方法，一种是基于图像的目标检测方法。这种方法基于图像采集系统获取自动驾驶场景图像，通过基于深度学习的检测算法学习提取目标的颜色、纹理、上下文信息等，通过候选区域算法获取疑似的目标，后续再通过一系列CNN(Convolutional neural network，卷积神经网络)或者人工特征进行分类，得到最终的目标检测结果。但是，这种方式容易受到光照、遮挡(例如环境遮挡或相互遮挡)等环境问题的影响，尤其是在复杂场景下，在相机成像结果中，不同目标之间像素相互堆叠，难以区分，导致检测难度高且检测精度较低，难以满足自动驾驶场景的需求。另一种是基于激光雷达点云的目标检测方法。这种方法的输入是激光雷达传感器扫描到的自动驾驶场景点云。由于激光雷达点云的稀疏性质，常规的卷积神经网络无法处理这种不规则、无序的数据，通常需要通过投影、体素化，对点云数据进行规则化处理，而后沿用与图像的目标检测方法相似的算法链路进行目标检测。但是，这种方式的问题是目标过小引起的欠分割(多个目标检测成一个)问题。相比于自动驾驶场景这种几百平方米的区域，目标只占用了其中很小的一部分空间，不同目标之间的点云也同样存在区分度不高的情况。同时，为了自动驾驶车端的低时延推理需求，目标检测模型没办法采用足够精细的点云分辨率，这会导致密集目标的场景中目标之间距离过近，目标检测模型的检测结果容易存在歧义，存在来回跳动的现象，容易误报出目标速度，导致自动驾驶车辆急刹。
根据本公开的技术方案，通过对样本点云进行特征提取，避免了光照和遮挡等环境问题对目标检测的影响，也不存在不同目标之间像素的相互堆叠，难以区分的问题，提高了目标检测的精度，通过对特征数量更多的第一特征图，采用稀疏分布的第一锚框进行目标检测，减少了第一特征图目标检测的计算数量，降低了目标检测模型的检测压力，提高了目标检测模型的检测效率，同时，也避免了目标检测过程对自动驾驶系统资源的过多占用，保证自动驾驶车辆可以正常稳定行驶，同时，通过对检测精度要求较高的局部空间对应的第二特征图，采用稠密分布的第二锚框进行目标检测，可以在目标密集的局部空间内提高目标检测模型的检测精度，避免了目标检测模型的检测结果存在歧义的情况，进而提高了车辆行驶的安全性，由此，本公开实施例的技术方案在保证自动驾驶车辆的低时延推理的需求的基础上，提高了目标检测模型的检测效率和检测准确度，为自动驾驶车辆的安全稳定行驶提供了保障。
图2是根据本公开实施例公开的另一种目标检测模型的训练方法的流程图，基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。所述将所述第一检测结果和所述第二检测结果进行融合，得到样本检测结果，具体化为：在所述第一检测结果中，筛选出所述目标空间之外的第三检测结果；将所述第三检测结果与所述第二检测结果进行组合，得到至少一个样本检测结果。
如图2所示的另一种目标检测模型的训练方法，包括：
S201、将训练样本输入到目标检测模型中，所述训练样本包括样本车辆采集的样本点云和至少一个真值框。
S202、通过所述目标检测模型，对所述样本点云进行特征提取，得到第一特征图。
S203、通过所述目标检测模型，在所述第一特征图中，确定目标空间对应的第二特征图。
S204、通过所述目标检测模型，针对所述第一特征图，采用稀疏分布的第一锚框进行目标检测，得到第一检测结果。
S205、通过所述目标检测模型，针对所述第二特征图，采用稠密分布的第二锚框进行目标检测，得到第二检测结果。
S206、通过所述目标检测模型，在所述第一检测结果中，筛选出所述目标空间之外的第三检测结果。
第三检测结果可以为位于目标空间之外的第一检测结果。目标空间对应的检测结果为位于目标空间内的第一检测结果。
具体的，可以通过目标检测模型，基于目标空间的边界范围，对第一检测结果进行筛选，得到目标空间之内的检测结果和目标空间之外的检测结果。可以将目标空间之外的检测结果确定为第三检测结果。
S207、通过所述目标检测模型，将所述第三检测结果与所述第二检测结果进行组合，得到至少一个样本检测结果。
对于目标空间的样本点云而言，第二检测结果的检测精度更高。由此，将第二检测结果直接作为目标空间的样本点云的检测结果，所得到的样本检测结果的准确度更高。对于样本点云所占的空间中，除目标空间之外的其他空间，由于所覆盖的范围较广，直接进行高精度的目标检测，没有办法满足自动驾驶车辆低时延检测的需求，由此，可以将第三检测结果作为除目标空间之外的其他空间的样本点云的检测结果，目标检测的效率更高。
具体的，可以通过目标检测模型，将第三检测结果和第二检测结果直接进行组合，得到至少一个样本检测结果。
S208、通过所述目标检测模型，根据各所述样本检测结果与相应真值框之间的差异，调整所述目标检测模型的参数。
根据本公开的技术方案，通过先在第一检测结果中筛选除目标空间之外的第三检测结果，再将第三检测结果和第二检测结果进行组合，得到至少一个样本检测结果，简化了基于第一检测结果和第二检测结果确定样本检测结果的过程，进一步提高了目标检测模型的检测效率。
图3是根据本公开实施例公开的另一种目标检测模型的训练方法的流程图，基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。进一步增加了：针对各所述真值框，在各所述第一锚框中筛选正样本和负样本，得到第一标注结果；针对各所述真值框，在各所述第二锚框中筛选正样本和负样本，得到第二标注结果；对所述第一标注结果和所述第二标注结果进行融合，得到锚框标注结果；所述根据各所述样本检测结果与相应真值框之间的差异，调整所述目标检测模型的参数，具体化为：计算各所述样本检测结果中锚框分类结果与所述锚框标注结果之间的第一差异；计算各所述样本检测结果中锚框回归结果与相应真值框之间的第二差异；根据所述第一差异和所述第二差异，调整所述目标检测模型的参数。
如图3所示的另一种目标检测模型的训练方法，包括：
S301、将训练样本输入到目标检测模型中，所述训练样本包括样本车辆采集的样本点云和至少一个真值框。
S302、通过所述目标检测模型，对所述样本点云进行特征提取，得到第一特征图。
S303、通过所述目标检测模型，在所述第一特征图中，确定目标空间对应的第二特征图。
S304、通过所述目标检测模型，针对所述第一特征图，采用稀疏分布的第一锚框进行目标检测，得到第一检测结果。
S305、通过所述目标检测模型，针对所述第二特征图，采用稠密分布的第二锚框进行目标检测，得到第二检测结果。
S306、通过所述目标检测模型，将所述第一检测结果和所述第二检测结果进行融合，得到样本检测结果。
S307、通过所述目标检测模型，针对各所述真值框，在各所述第一锚框中筛选正样本和负样本，得到第一标注结果。
第一锚框是在样本点云中铺设的锚框。第一特征图上的每个点都可以映射到样本点云中的某个特定区域。真值框可以作为在第一锚框中筛选正负样本的真值标准。第一标注结果可以为基于真值框对第一锚框进行分类得到的分类结果，并对第一锚框进行标注。示例性的，第一标注结果可以包括正样本或负样本。其中，真值框内所框选的对象是待检测目标。第一锚框与真值框的比较，实质上，用于确定第一锚框所框选的对象是否为待检测目标。第一标注结果中的正样本，可以理解为，确定所框选的对象为待检测目标的第一锚框。第一检测结果中的负样本，可以理解为，确定所框选的对象为待检测目标所在的背景的第一锚框。可选的，第一标注结果中的正样本可以为与真值框相似性较高的第一锚框。可选的，第一标注结果中的正样本可以为与真值框相似性较高的第一锚框。第一标注结果中的负样本可以为与真值框相似性较低的第一锚框。也可以为除正样本之外的其他第一锚框。可选的，第一标注结果还可以包括忽略样本。其中，第一标注结果中的忽略样本与真值框之间的相似性介于第一标注结果中的正负样本的相似性之间。可以理解为，第一标注结果中的忽略样本所框选的对象难以确认是待检测目标，还是待检测目标所在的背景。由此，在利用锚框进行目标检测时，第一标注结果中的忽略样本可以被忽略。
可以通过真值框与各第一锚框之间的偏移量，计算该真值框与各第一锚框之间的相似性。示例性的，偏移量可以包括交互比、欧式距离或曼哈顿距离等。
可选的，可以通过目标检测模型，针对各真值框，可以计算真值框与各第一锚框之间的偏移量。可以将真值框与第一锚框之间的偏移量与预设偏移量阈值之间进行比较，可以根据偏移量与预设偏移量阈值之间的比较结果，在各第一锚框中筛选正样本和负样本，并利用正负样本的筛选结果，对第一锚框进行标注，得到第一标注结果。
示例性的，如果偏移量为交互比，则可以通过目标检测模型，针对各真值框，可以计算真值框与各第一锚框之间的交互比。在真值框与第一锚框之间的交互比大于等于预设交互比阈值时，确定所述第一锚框为正样本；在真值框与第一锚框之间的交互比小于预设交互比阈值时，确定第一锚框为负样本。其中，预设交互比阈值可以由技术人员根据经验进行设定和调整。例如，预设交互比阈值为80％。其中，真值框与第一锚框之间的交互比大于等于预设交互比阈值，可以理解为，真值框与第一锚框之间的相似性高，确定第一锚框为该真值框的正样本；真值框与第一锚框之间的交互比小于预设交互比阈值，可以理解为，真值框与第一锚框之间的相似性低，确定第一锚框为该真值框的负样本。
示例性的，如果偏移量为欧氏距离或曼哈顿距离等，则可以通过目标检测模型，针对各真值框，可以计算真值框与各第一锚框之间的欧氏距离或曼哈顿距离。在真值框与第一锚框之间的欧氏距离或曼哈顿距离小于等于预设欧氏距离阈值或预设曼哈顿距离阈值时，确定第一锚框为正样本；在真值框与第一锚框之间的欧氏距离或曼哈顿距离大于预设欧氏距离阈值或预设曼哈顿距离阈值时，确定第一锚框为负样本。其中，预设欧氏距离阈值或预设曼哈顿距离阈值可以由技术人员根据经验进行设定和调整。其中，真值框与第一锚框之间的欧氏距离或曼哈顿距离小于等于预设欧氏距离阈值或预设曼哈顿距离阈值，可以理解为，真值框与第一锚框之间的相似性高，确定第一锚框为该真值框的正样本；真值框与第一锚框之间的欧氏距离或曼哈顿距离大于预设欧氏距离阈值或预设曼哈顿距离阈值，可以理解为，真值框与第一锚框之间的相似性低，确定第一锚框为该真值框的负样本。
可选的，还可以通过目标检测模型，针对各真值框，计算真值框与各第一锚框之间的偏移量。可以针对同一真值框，将偏移量最值对应的第一锚框，确定为正样本；将除正样本之外的其他第一锚框，确定为负样本。示例性的，如果偏移量为交互比，则正样本为交互比最大值对应的第一锚框；如果偏移量为欧氏距离或曼哈顿距离，则正样本为欧氏距离最小值或曼哈顿距离最小值对应的第一锚框。其中，交互比最大值、欧氏距离最小值或曼哈顿距离最小值，可以理解为，真值框与第一锚框之间的相似性最高，确定第一锚框为该真值框的正样本。
可选的，所述针对各所述真值框，在各所述第一锚框中筛选正样本和负样本，得到第一标注结果，包括：计算各所述真值框的中心坐标与各所述第一锚框的中心坐标之间的归一化距离；根据各所述真值框与各所述第一锚框之间的归一化距离，对各所述第一锚框进行筛选，得到各所述真值框对应的至少一个第一正样本和至少一个第一负样本；根据各所述真值框对应的各第一正样本和各第一负样本，确定第一标注结果。
真值框的中心坐标与各第一锚框的中心坐标之间的归一化距离，可以用于表征真值框与第一锚框之间的相似性。可以理解为，真值框的中心坐标与各第一锚框的中心坐标之间的归一化距离越大，真值框与第一锚框之间的相似性越高；真值框的中心坐标与各第一锚框的中心坐标之间的归一化距离越小，真值框与第一锚框之间的相似性越低。第一正样本可以为目标对应的第一锚框。可以理解为，与真值框之间的相似性较高的第一锚框。第一负样本可以为非目标对应的第一锚框。可以理解为，与真值框之间的相似性较低的第一锚框。
具体的，可以通过目标检测模型，计算各真值框的中心坐标与各第一锚框的中心坐标之间的归一化距离，确定为各真值框的中心坐标与各第一锚框的中心坐标之间的归一化距离。
在一个可选的例子中，可以通过目标检测模型，针对各真值框，计算真值框与各第一锚框之间的归一化距离。在真值框与第一锚框之间的归一化距离大于等于预设归一化距离阈值时，确定所述第一锚框为第一正样本；在真值框与第一锚框之间的归一化距离小于预设归一化距离阈值时，确定第一锚框为第一负样本。
在一个可选的例子中，还可以通过目标检测模型，针对各真值框，计算真值框与各第一锚框之间的归一化距离。可以针对同一真值框，将归一化距离最大值对应的第一锚框，确定为第一正样本；将除正样本之外的其他第一锚框，确定为第一负样本。
示例性的，可以采用以下公式，计算真值框的中心坐标与第一锚框的中心坐标之间的归一化距离D：
式中，Δx为真值框的横坐标与第一锚框的横坐标之间的距离；Δy为真值框的纵坐标与第一锚框的纵坐标之间的距离。
通过计算各真值框的中心坐标与各第一锚框的中心坐标之间的归一化距离，作为各真值框的中心坐标与各第一锚框的中心坐标之间的归一化距离，可以更为精确地显示真值框和第一锚框之间的相似性，从而更精细地筛选第一正样本和第一负样本，避免了目标检测模型在模型学习的过程中，产生歧义的正样本，影响目标检测模型的精确度，避免了目标过小引起的欠分割问题，提高了目标检测模型的检测精度。
可选的，所述样本检测结果的类别包括行人。
在自动驾驶场景中，就自动驾驶的安全性而言，行人检测(Pedestriandetection)对于保障行车安全至关重要。相较于自动驾驶场景中的其他目标，行人具有平均大小较小的特点，检测难度较大。采用交并比对真值框与锚框进行比较，以判断锚框是否为正样本，此时由于行人所占的空间区域较小，通过交并比难以区分各锚框与真值框的匹配程度，从而难以筛选出匹配程度最好的锚框为正样本，以及难以提高正样本的质量和代表性，进而难以提高模型学习正样本的能力。
通过将样本检测结果的类别具体化为行人，通过计算真值框的中心坐标与各第一锚框的中心坐标之间的归一化距离，作为真值框的中心坐标与各第一锚框的中心坐标之间的归一化距离，可以更为精确地显示真值框和第一锚框之间的相似性，从而更精细地筛选第一正样本和第一负样本，避免了目标检测模型在模型学习的过程中，产生歧义的正样本，影响目标检测模型的精确度，避免了行人过小引起的欠分割问题，提高了目标检测模型的检测精度，实现了目标检测模型对行人的精准检测。
S308、通过所述目标检测模型，针对各所述真值框，在各所述第二锚框中筛选正样本和负样本，得到第二标注结果。
第二锚框是在样本点云中铺设的锚框。第二特征图上的每个点都可以映射到样本点云中的某个特定区域。真值框可以作为在第二锚框中筛选正负样本的真值标准。第二标注结果可以为基于真值框对第二锚框进行分类得到的分类结果，并对第二锚框进行标注。示例性的，第二标注结果可以包括正样本或负样本。其中，真值框内所框选的对象是待检测目标。第二锚框与真值框的比较，实质上，是确定第二锚框所框选的对象是否为待检测目标。第二标注结果中的正样本，可以理解为，确定所框选的对象为待检测目标的第二锚框。第二检测结果中的负样本，可以理解为，确定所框选的对象为待检测目标所在的背景的第二锚框。可选的，第二标注结果中的正样本可以为与真值框相似性较高的第二锚框。可选的，第二标注结果中的正样本可以为与真值框相似性较高的第二锚框。第二标注结果中的负样本可以为与真值框相似性较低的第二锚框。也可以为除正样本之外的其他第二锚框。可选的，第二标注结果还可以包括忽略样本。其中，第二标注结果中的忽略样本与真值框之间的相似性介于第二标注结果中的正负样本的相似性之间。可以理解为，第二标注结果中的忽略样本所框选的对象难以确认是为待检测目标，还是待检测目标所在的背景。由此，在利用锚框进行目标检测时，第二标注结果中的忽略样本可以被忽略。
可以通过真值框与各第二锚框之间的偏移量，计算该真值框与各第二锚框之间的相似性。示例性的，偏移量可以包括交互比、欧式距离或曼哈顿距离等。
可选的，可以通过目标检测模型，针对各真值框，可以计算真值框与各第二锚框之间的偏移量。可以将真值框与第二锚框之间的偏移量与预设偏移量阈值之间进行比较，可以根据偏移量与预设偏移量阈值之间的比较结果，在各第二锚框中筛选正样本和负样本，并利用正负样本的筛选结果，对第二锚框进行标注，得到第二标注结果。
可选的，还可以通过目标检测模型，针对各真值框，计算真值框与各第二锚框之间的偏移量。可以针对同一真值框，将偏移量最值对应的第二锚框，确定为正样本；将除正样本之外的其他第二锚框，确定为负样本。
S309、通过所述目标检测模型，对所述第一标注结果和所述第二标注结果进行融合，得到锚框标注结果。
锚框标注结果可以为第一标注结果和第二标注结果的融合结果。
具体的，可以通过目标检测模型，将第一标注结果和第二标注结果进行比较，对于第一标注结果和第二标注结果中重复的目标的标注框，将第二标注结果中的标注框作为最终的锚框标注结果；对于第一标注结果中包含且第二检测结果中不包含的目标的标注框，直接作为最终的锚框标注结果。
可选的，还可以通过目标检测模型，基于目标空间的边界范围，对第一标注结果进行筛选，得到目标空间之内的标注结果和目标空间之外的标注结果。可以将目标空间之外的标注结果确定为第三标注结果。可以通过目标检测模型，将第三标注结果和第二标注结果直接进行组合，得到至少一个锚框标注结果。
S310、通过所述目标检测模型，计算各所述样本检测结果中锚框分类结果与所述锚框标注结果之间的第一差异。
样本检测结果具体可以包括锚框分类结果和锚框回归结果。其中，锚框分类结果可以是指模型预测的锚框的样本类型，具体可以包括预测锚框是否为正样本的概率，是否为负样本的概率，是否为忽略样本的概率。锚框回归结果可以是指针对前述模型预测得到的正样本的锚框的边界拟合结果。锚框标注结果为基于真值框对各锚框分类得到的结果，锚框标注结果可以理解为锚框的真值分类结果。锚框分类结果可以理解为模型的预测结果。第一差异可以用于确定锚框的分类损失。
具体的，可以通过目标检测模型，针对各锚框标注结果，对属于同一目标的锚框分类结果和锚框标注结果之间进行比较，确定各锚框标注结果对应的分类差异，将各锚框标注结果对应的分类差异进行综合计算，例如进行加权求和，得到各样本检测结果中锚框分类结果与锚框标注结果之间的第一差异。
S311、通过所述目标检测模型，计算各所述样本检测结果中锚框回归结果与相应真值框之间的第二差异。
锚框回归结果可以为目标检测模型对锚框进行回归拟合之后的预测结果。示例性的，锚框回归结果可以为样本检测框。真值框为目标检测模型的真实结果。第二差异可以用于表征预测结果与相匹配的真实结果之间的回归损失。可选的，第二差异可以包括位置差异和尺寸差异。其中，位置差异可以为针对同一目标，真值框的中心坐标与锚框回归结果的中心坐标之间的差异；尺寸差异可以为针对同一目标，真值框的尺寸与锚框回归结果的尺寸之间的差异。
具体的，可以通过目标检测模型，针对各真值框，对属于同一目标的各锚框回归结果与真值框之间的位置差异和尺寸差异进行综合计算，确定各真值框对应的综合差异。将各真值框对应的综合差异进行综合计算，得到各样本检测结果中锚框回归结果与相应真值框之间的第二差异。
S312、通过所述目标检测模型，根据所述第一差异和所述第二差异，调整所述目标检测模型的参数。
具体的，可以计算第一差异和第二差异之和或加权和，并确定目标检测模型的损失值。可以将第一差异和第二差异之和或加权和，确定为目标检测模型的损失值。以缩小损失值或损失值收敛为目标，调整目标检测模型的参数，直至损失值收敛或损失值最小，确定训练完成。
可选的，所述根据所述第一差异和所述第二差异，调整所述目标检测模型的参数，包括：根据各所述锚框回归结果中对应于不同真值框的样本检测框之间的距离，计算第三差异；根据所述第一差异、所述第二差异和所述第三差异，调整所述目标检测模型的参数。
第三差异可以用于表征对应于不同真值框的样本检测框之间的离散损失。不同的真值框对应不同的待检测目标，相应的，不同待检测目标的真值框对应的样本检测框之间相互远离。也可以理解为，样本检测框与不匹配的真值框之间相互远离。由此，在样本检测框和不同真值框之间存在重叠时，需要对该样本检测框予以剔除。
具体的，可以计算对应于不同真值框的锚框回归结果中样本检测框之间的距离，统计对应于不同真值框的样本检测框之间的离散损失，可以计算各离散损失和或加权和，得到第三差异。可以将第一差异、第二差异和第三差异之和或加权和，确定为目标检测模型的损失值。以缩小损失值或损失值收敛为目标，调整目标检测模型的参数，直至损失值收敛或损失值最小，确定训练完成。
通过根据对应于不同真值框的锚框回归结果中样本检测框之间的距离，计算第三差异，根据第一差异、第二差异和第三差异，调整目标检测模型的参数，以使对应于不同真值框的样本检测框之间相互远离，进一步提高了目标检测模型的检测准确度。
可选的，可以根据各锚框回归结果中对应于同一真值框的样本检测框之间的距离，计算第四差异。根据第一差异、第二差异、第三差异和第四差异，调整目标检测模型的参数。
第四差异可以用于表征对应于同一真值框的样本检测框之间的聚合损失。同一的真值框对应同一的待检测目标，相应的，同一待检测目标的真值框对应的样本检测框之间相互靠近。也可以理解为，样本检测框与匹配的真值框之间相互靠近。
具体的，可以计算对应于同一真值框的锚框回归结果中样本检测框之间的距离，统计对应于统一真值框的样本检测框之间的聚合损失，可以计算各聚合损失之和或加权和，得到第四差异。可以将第一差异、第二差异、第三差异和第四差异之和或加权和，确定为目标检测模型的损失值。以缩小损失值或损失值收敛为目标，调整目标检测模型的参数，直至损失值收敛或损失值最小，确定训练完成。
通过根据对应于同一真值框的锚框回归结果中样本检测框之间的距离，计算第四差异，根据第一差异、第二差异、第三差异和第四差异，调整目标检测模型的参数，以使对应于同一真值框的样本检测框之间相互靠近，进一步提高了目标检测模型的检测准确度。
根据本公开的技术方案，通过引入了基于真值框对第一锚框和第二锚框进行分类的过程，得到了锚框标注结果，通过将锚框标注结果和样本检测结果中的锚框分类结果进行比较，确定了锚框分类时目标检测模型的预测结果和真值框筛选的标注结果之间的差异，在锚框分类的过程中避免了歧义的正样本的产生，提高了目标检测模型的检测精度，再通过将预测框回归拟合之后的目标检测模型的预测结果和真值框之间进行比较，在预测框回归拟合的过程中，进一步提高了目标检测模型输出的预测框的准确度，进而从锚框分类和预测框拟合两方面，进一步提高了目标检测模型的检测精度。
图4是根据本公开实施例公开的一种目标检测方法的流程图，本实施例可以适用于检测车辆周围障碍物的情况。本实施例方法可以由目标检测装置来执行，该装置可采用软件和/或硬件的方式实现，并具体配置于具有一定数据运算能力的电子设备中，该电子设备可以是客户端设备或服务器设备，客户端设备例如手机、平板电脑、车载终端和台式电脑等。
如图4所示的一种目标检测方法，包括：
S401、获取车辆采集的点云数据。
具体的，可以获取车辆的激光雷达实时采集的点云数据。
可选的，所述获取车辆采集的点云数据，包括：获取车辆采集的实时点云；将所述实时点云转换为鸟瞰视角下的点云数据。
车辆可以为自动驾驶车辆。实时点云可以为车辆实时采集的点云数据。实时点云的时效性更高。实时点云为三维点云。鸟瞰视角(Bird's Eye View，BEV)可以为在空中俯视地面的视角。在车辆行驶时的驾驶员视角下，目标之间存在相互遮挡，影响目标检测的准确度。将实时点云由三维空间转换为鸟瞰视角下的二维点云数据，在俯视的角度下目标之间相互分离，不存在相互遮挡的问题，目标检测的准确度更高。
具体的，可以利用自动驾驶车辆的激光雷达，实时采集点云数据。可以将实时点云从三维空间转换至俯视的鸟瞰视角下的点云数据。
通过获取车辆采集的实时点云，提高了所采集的点云数据的时效性，实现了在自动驾驶过程对目标的实时检测，将实时点云转换为鸟瞰视角下的点云数据，避免了目标之间相互遮挡对目标检测精度的影响，进一步提高了目标检测的准确度，并且从三维点云计算操作，转换为二维点云计算操作，可以减少目标检测涉及的数据量，提高目标检测速度。
S402、将所述点云数据输入到预先训练的目标检测模型中。
其中，目标检测模型由上述实施例中的目标检测模型的训练方法训练得到。目标检测模型可以用于在点云数据对应的空间中对目标所在的区域进行检测。示例性的，目标检测模型可以是采用锚框进行目标检测的深度学习模型。
具体的，可以将点云数据输入至预先训练好的目标检测模型中。
S403、通过所述目标检测模型，对所述点云数据进行特征提取，得到第一特征图。
第一特征图可以为点云数据的特征提取结果。
具体的，可以通过目标检测模型的特征提取层，例如卷积层，对点云数据进行特征提取，得到第一特征图。
S404、通过所述目标检测模型，在所述第一特征图中，确定目标空间对应的第二特征图。
目标空间可以点云数据中目标密集的空间。目标空间可以包括车辆所占的空间，也可以不包括车辆所占的空间。可选的，目标空间可以为点云数据对应的空间中目标密集的空间。相较于点云数据所占的空间而言，目标空间的空间范围更小，目标空间的边界范围与车辆更近。实质上，目标空间为点云数据所占的空间的局部空间。第二特征图可以为第一特征图中目标空间对应的特征图。实质上，第二特征图为第一特征图的局部特征图。
可选的，所述目标空间包括所述车辆占用空间向外延伸预设距离形成的空间。
目标空间包括车辆占用空间向外延伸预设距离形成的空间，可以理解为，目标空间为车辆周围一定范围内的空间。其中，向外延伸方向可以包括前、后、左、右和上中至少一种。向外延伸的预设距离可以由目标检测模型的检测精度确定。不同方向向外延伸的预设距离可以相同，也可以不同。示例性的，目标空间可以为车辆占用空间向前延伸60m，向左延伸30m，向右延伸30m形成的空间。
通过将目标空间具体化为车辆占用空间向外延伸预设距离形成的空间，限定了第二特征图对应的目标空间在车辆的预设距离的范围内，由此，可以保证车辆周围的目标空间的目标检测精度高于其他空间的目标检测精度，进而提高了车辆行驶的安全性。
具体的，可以通过目标检测模型，在第一特征图中，截取目标空间对应的特征图，作为第二特征图。
可选的，还可以根据目标空间的范围，在第一特征图中，截取目标空间对应的特征图。对目标空间对应的特征图上进行采样，得到目标空间对应的第二特征图。
S405、通过所述目标检测模型，针对所述第一特征图，采用稀疏分布的第一锚框进行目标检测，得到第一检测结果。
第一锚框可以是在点云数据上铺设的矩形框，用于对点云数据对应的第一特征图中相应区域进行目标检测。稀疏分布的第一锚框，可以理解为，在铺设第一锚框时，铺设的间隔或步进更大的第一锚框，此时，用于进行目标检测的第一锚框的密度更小，整体分布更为稀疏。第二特征图为第一特征图的局部特征图。由此，第一特征图所包含的特征数量远大于第二特征图所包含的特征数量。采用稀疏分布的第一锚框对第一特征图进行目标检测，可以减少目标检测时第一锚框的数量，减轻了第一特征图的目标检测时的计算压力，避免了目标检测过程对自动驾驶系统资源的过多占用，保证自动驾驶车辆可以正常稳定行驶。第一检测结果可以为第一特征图中目标的预测框。
具体的，可以通过目标检测模型，采用稀疏分布的多个第一锚框，对第一特征图进行目标检测，可以得到各第一备选框为各目标的置信度。其中，第一备选框可以是第一锚框，也可以是第一锚框经过调整(位置和尺寸调整)得到的预测框。可以针对同一目标，将置信度较高的第一备选框，确定为目标对应的预测框，由此，得到各目标对应的预测框，确定为第一检测结果。
S406、通过所述目标检测模型，针对所述第二特征图，采用稠密分布的第二锚框进行目标检测，得到第二检测结果。
第二锚框可以是在点云数据上铺设的矩形框，用于对点云数据对应的第二特征图中相应区域进行目标检测。稠密分布的第二锚框，可以理解为，在铺设第一锚框时，铺设的间隔或步进更小的第二锚框，此时，用于进行目标检测的第二锚框的密度更大，整体分布更为稠密。对于自动驾驶车辆而言，车辆附近范围的目标检测的精确度越高，车辆行驶的安全性更高。对第二特征图进行目标检测时，也即对第一特征图的局部特征图进行目标检测时，采用密度更大的第二锚框，在保证自动驾驶系统的设备算力的基础上，可以提高第二特征图的目标检测精度，进而提高车辆行驶的安全性。
可选的，相邻的所述第一锚框之间的第一间距大于相邻的所述第二锚框之间的第二间距。其中，第一间距可以为相邻的第一锚框之间的间距。第二间距可以相邻的第二锚框之间的间距。采用锚框进行目标检测时，可以通过检测特征图中相邻的各锚框，预测目标所在的预测框，从而实现目标检测。由此，相邻的锚框之间的间距与目标检测的精度之间息息相关。可以理解为，相邻的锚框之间的间距越大，目标检测的精度越小，目标检测的准确度也越低；相应的，相邻的锚框之间的间距越小，目标检测的精度越大，目标检测的准确度也越高。相邻的第一锚框之间的第一间距大于相邻的第二锚框之间的第二间距，可以理解为，对第一特征图的检测精度小于对第二特征图的检测精度。
具体的，可以通过目标检测模型，采用稠密分布的多个第一锚框，对第二特征图进行目标检测，可以得到各第二备选框为各目标的置信度。其中，第二备选框可以是第二锚框，也可以是第二锚框经过调整(位置和尺寸调整)得到的预测框。可以针对同一目标，将置信度较高的第二备选框，确定为目标对应的预测框，由此，得到各目标对应的预测框，确定为第二检测结果。
S407、通过所述目标检测模型，将所述第一检测结果和所述第二检测结果进行融合，得到目标检测结果。
目标检测结果可以包括目标在点云数据中的检测边界框。目标检测结果还可以包括目标在点云数据中的对象类别。可选的，目标检测结果可以包括目标在点云数据中的检测边界框的位置参数和/或目标在点云数据中的检测边界框的尺寸参数。例如，目标检测结果可以包括目标在点云数据中的检测边界框的四个顶点的坐标；又如目标检测结果可以包括目标在点云数据中的检测边界框的左上顶点的坐标、右下顶点的坐标、检测边界框的长度和检测边界框的宽度；又如，目标检测结果可以包括目标在点云数据中的检测边界框的中心点的坐标、检测边界框的长度和检测边界框的宽度。
具体的，可以通过目标检测模型，将第一检测结果和第二检测结果进行比较，对于第一检测结果和第二检测结果中重复的目标的预测框，将第二检测结果中的预测框作为最终的目标检测结果；对于第一检测结果中包含且第二检测结果中不包含的目标的预测框，直接作为最终的目标检测结果。
可选的，还可以通过目标检测模型，基于目标空间的边界范围，对第一检测结果进行筛选，得到目标空间之内的检测结果和目标空间之外的检测结果。可以将目标空间之外的检测结果确定为第三检测结果。可以通过目标检测模型，将第三检测结果和第二检测结果直接进行组合，得到至少一个目标检测结果。
可选的，还可以对上述方法所得到的目标检测结果，采用非极大值抑制(Non-Maximum Suppression，NMS)方法，抑制重叠度高于预设重叠度阈值的目标检测结果，生成最终的目标检测结果。其中，预设重叠度阈值可以为预先设定的目标检测结果与其他目标之间的重叠度的最大值。预设重叠度阈值也可以为预先设定的目标检测结果与其他目标检测结果之间的重叠度的最大值。预设重叠度阈值可以根据技术人员的经验进行设定和调整。
可选的，所述目标检测结果还包括目标框的类别；根据所述目标检测结果中目标框以及所述目标框的类别，控制自动驾驶车辆行驶。
其中，目标框可以为目标在点云数据中的检测边界框。所述目标检测结果还包括目标框的类别，即目标框包括的对象类别，也即目标在点云数据中的对象类别。根据目标框的位置，确定目标框包括的对象与自动驾驶车辆的相对位置，根据目标框的类别，确定目标框包括的对象类别。获取多个时刻采集的车辆环境点云(即点云数据)，可以感知车辆行驶过程中，感知到的对象的运动信息，从而，车辆针对感知到的对象类别以及运动信息，调整或生成导航路线，以规避障碍物行驶，提高行驶安全。
目标框的类别可以包括其他车辆、行人、动物或路侧物体等。对于不同的目标框的类别，车辆需要采取的行驶策略不同。示例性的，对于其他车辆、行人或动物等，可能会出现在车道或者人行道上的障碍物，车辆需要采取避让措施；对于路侧物体，例如垃圾箱、邮筒或树等，不会出现在车道或人行道上的障碍物，车辆沿着车道正常行驶即可，无需额外进行处理。
具体的，可以根据目标检测结果的类别，确定目标检测结果对应的行驶策略。在需要对目标框包括的对象进行避让时，可以根据该对象在点云数据中的检测边界框的位置参数和该对象在点云数据中的检测边界框的尺寸参数，控制自动驾驶车辆对该对象进行避让。
通过前述训练的目标检测模型，可以快速精准感知车辆周围的障碍物，并以此控制行驶，提高行驶安全。
本公开实施例的技术方案，通过对点云数据进行特征提取，避免了光照和遮挡等环境问题对目标检测的影响，也不存在不同目标之间像素的相互堆叠，难以区分的问题，提高了目标检测的精度，通过对特征数量更多的第一特征图，采用稀疏分布的第一锚框进行目标检测，减少了第一特征图目标检测的计算数量，降低了目标检测模型的检测压力，提高了目标检测模型的检测效率，同时，也避免了目标检测过程对自动驾驶系统资源的过多占用，保证自动驾驶车辆可以正常稳定行驶，同时，通过对检测精度要求较高的局部空间对应的第二特征图，采用稠密分布的第二锚框进行目标检测，可以在目标密集的局部空间内提高目标检测模型的检测精度，避免了目标检测模型的检测结果存在歧义的情况，进而提高了车辆行驶的安全性，由此，本公开实施例的技术方案在保证自动驾驶车辆的低时延推理的需求的基础上，提高了目标检测的检测效率和检测准确度，为自动驾驶车辆的安全稳定行驶提供了保障。
图5是根据本公开实施例公开的一种车辆控制方法的流程图，本实施例可以适用于基于检测车辆周围障碍物的目标检测结果进行车辆控制的情况。本实施例方法可以由车辆控制装置来执行，该装置可采用软件和/或硬件的方式实现，并具体配置于具有一定数据运算能力的电子设备中，该电子设备可以是客户端设备或服务器设备，客户端设备例如手机、平板电脑、车载终端和台式电脑等。
如图5所示的一种车辆控制方法，包括：
S501、获取车辆的所述目标检测结果；所述目标检测结果通过如本公开任一项实施例所述的目标检测方法获取。
目标检测模型输出的目标检测结果中还包括目标框的类别，即目标框包括的对象类别。根据目标框的位置，确定目标框包括的对象与自动驾驶车辆的相对位置，根据目标框的类别，确定目标框包括的对象类别。获取多个时刻采集的车辆环境点云(即点云数据)，可以感知车辆行驶过程中，感知到的对象的运动信息，从而，车辆针对感知到的对象类别以及运动信息，调整或生成导航路线，以规避障碍物行驶，提高行驶安全。
目标框的类别可以包括其他车辆、行人、动物或路侧物体等。对于不同的目标框的类别，车辆需要采取的行驶策略不同。示例性的，对于其他车辆、行人或动物等，可能会出现在车道或者人行道上的障碍物，车辆需要采取避让措施；对于路侧物体，例如垃圾箱、邮筒或树等，不会出现在车道或人行道上的障碍物，车辆沿着车道正常行驶即可，无需额外进行处理。
S502、根据所述目标检测结果，控制所述车辆行驶。
具体的，可以根据目标框的类别，确定目标检测结果对应的行驶策略。在需要对目标框包括的对象进行避让时，可以根据该对象在点云数据中的检测边界框的位置参数和该对象在点云数据中的检测边界框的尺寸参数，控制自动驾驶车辆对该对象进行避让。
根据本公开的技术方案，通过前述训练的目标检测模型，可以快速精准感知车辆周围的障碍物，并以此控制行驶，提高行驶安全。
在一个具体的例子中，行人检测(Pedestrian detection)作为自动驾驶汽车(Autonomous vehicles)的核心组成部分，对于保障行车安全至关重要。在自动驾驶汽车的行驶过程中，自动驾驶系统需要对行人进行准确的检测和识别，以便及时采取避让措施，避免交通事故的发生。然而，由于行人的行为和姿态各异，加上环境因素的干扰，行人检测技术面临着非常大的挑战。现有技术中自动驾驶车辆的行人检测方法，一种是基于图像的行人检测方法。这种方法基于图像采集系统获取自动驾驶场景图像，通过基于深度学习的检测算法学习提取行人的颜色、纹理、上下文信息等，通过候选区域算法获取疑似的行人目标，后续再通过一系列CNN或者人工特征进行分类，得到最终的行人检测框。但是，这种方式容易受到光照、遮挡(例如环境遮挡或相互遮挡)等环境问题的影响，尤其是在复杂人群场景下，在相机成像结果中，不同行人之间像素相互堆叠，难以区分，导致检测难度高且检测精度较低，难以满足自动驾驶场景的需求。得益于激光雷达传感器的精准测距能力，相比基于图像的行人检测算法，基于激光雷达点云的行人检测可以提供更加精确的三维信息，并且激光雷达不受光照的影响，在复杂环境中具有更好的性能，可以更好地从环境中准确的识别出行人目标。现有技术中自动驾驶车辆的行人检测方法，另一种是基于激光雷达点云的行人检测方法。这种方法的输入是激光雷达传感器扫描到的自动驾驶场景点云。由于激光雷达点云的稀疏性质，常规的卷积神经网络无法处理这种不规则、无序的数据，通常需要通过投影、体素化，对点云数据进行规则化处理，而后沿用与图像的行人检测方法相似的算法链路进行行人目标检测报出。但是，基于激光雷达点云的行人检测方法面临的问题是行人目标过小(在鸟瞰视角(Bird's Eye View，BEV)下，行人平均大小不足4个像素)引起的欠分割(多个行人目标检测成一个)问题。相比于自动驾驶场景这种几百平方米的区域，行人目标只占用了其中很小的一部分空间，不同行人之间的点云也同样存在区分度不高的情况。同时，为了自动驾驶车端的低时延推理需求，行人检测模型没办法采用足够精细的点云分辨率，这会导致密集行人场景中行人之间距离过近，行人检测模型的检测结果容易存在歧义，存在来回跳动的现象，容易误报出行人速度，导致自动驾驶车辆急刹。而且从激光雷达点云观测上看，行人作为非刚体障碍物，形态变化较大，尤其是在密集人群中相互遮挡的情况下，点云观测不佳，加大了检测难度。
本公开实施例公开了一种行人检测模型的训练方法及行人检测方法。本实施例可以作为上述技术方案的优选实施例。具体的实现方式如下：
(1)局部升分辨率模块：针对点云BEV视角下行人目标较小的问题，最简单的方法是增加行人检测模型的输入分辨率，但这样会急剧增加算法链路的时延(时间复杂度O(n^2))。因此，本公开设计实现了特征上采样模块，通过提升检测分辨率来提升行人的检测精度。不同于输入分辨率，通过上采样卷积模块来提升检测分辨率带来的时延风险比较小。通过增大模型的特征图分辨率，设置更密的锚框(anchor)，可以让行人检测模型在密集行人数据中能匹配优质的正样本，减小行人检测模型学习的难度。并且对于自动驾驶汽车而言，车辆行驶正前方60m，左右各30m范围的局部区域是行人检测的核心区域，只需要对核心区域提升特征分辨率，可以更好地兼顾行人检测模型的效果和时延。
(2)行人样本阈值匹配：在增加局部升分辨率模块后，对于靠得过近的行人，仍然存在针对正样本存在歧义的问题。图6为优化前正负样本的匹配情况图。如图6所示，粗线框为真值框，同一线型的线框为匹配到的正样本，不同线型的线框之间存在部分重叠情况，容易给行人检测模型学习带来歧义。同样由于行人目标过小，传统的交并比(IoU)阈值匹配方法很难将其区分开来，为此，本公开设计了一种归一化距离的度量方法，通过中心距离归一化，可以更精细地调整正负样本匹配阈值，实现图7所示的优化后正负样本的匹配效果图，可以更好地减少行人检测模型学习过程中歧义正样本的产生。在此基础上，本公开还引入Repulsion Loss(排斥损失)约束使得同一障碍物预测框相互靠近，不同障碍物预测框相互远离，进一步提升了密集行人检测的准确性。
(3)后处理模块：使用局部升分辨率模块后，行人核心检测区域会有两份检测结果，对此，本公开在后处理模块进行额外处理，核心区域(即升分辨率区域)使用升分辨率检测头检测结果，其它区域使用原有行人检测头检测结果，保证优质检测框的报出。例如，图8中粗线方框区域为行人核心检测区域，通过2倍上采样卷积后，该区域的特征为原来的两倍大小。在升分辨率后的特征图上设置更稠密的锚框，实现更精密的行人检测分支(最下边的行人分支)。后处理合并结果的时候是在处理两个行人分支的结果。
本公开有效提升了自动驾驶密集行人场景下，激光雷达行人检测算法的行人检测精度，在不增加推理时延的基础上，有效缓解了行人目标欠分割导致的速度误报问题。具体地，在收集的点云密集行人数据集合上，相比原有模型行人AP(Average precision，平均精度)提升>2％，欠分割问题优化>60％，行人检测不稳定导致的主车急刹问题减少50％。
根据本公开的实施例，图9是本公开实施例中的目标检测模型的训练装置的结构图，本公开实施例适用于训练用于检测车辆周围障碍物的目标检测模型的情况。该装置采用软件和/或硬件实现，并具体配置于具备一定数据运算能力的电子设备中。
如图9所示的一种目标检测模型的训练装置900，包括：训练样本输入模块901、第一特征图确定模块902、第二特征图确定模块903、第一检测结果确定模块904、第二检测结果确定模块905、样本检测结果确定模块906和目标检测模型调参模块907。其中，
训练样本输入模块901，用于将训练样本输入到目标检测模型中，所述训练样本包括样本车辆采集的样本点云和至少一个真值框；
第一特征图确定模块902，用于通过所述目标检测模型，对所述样本点云进行特征提取，得到第一特征图；
第二特征图确定模块903，用于通过所述目标检测模型，在所述第一特征图中，确定目标空间对应的第二特征图；
第一检测结果确定模块904，用于通过所述目标检测模型，针对所述第一特征图，采用稀疏分布的第一锚框进行目标检测，得到第一检测结果；
第二检测结果确定模块905，用于通过所述目标检测模型，针对所述第二特征图，采用稠密分布的第二锚框进行目标检测，得到第二检测结果；
样本检测结果确定模块906，用于通过所述目标检测模型，将所述第一检测结果和所述第二检测结果进行融合，得到至少一个样本检测结果；
目标检测模型调参模块907，用于通过所述目标检测模型，根据各所述样本检测结果与相应真值框之间的差异，调整所述目标检测模型的参数。
根据本公开的技术方案，通过对样本点云进行特征提取，避免了光照和遮挡等环境问题对目标检测的影响，也不存在不同目标之间像素的相互堆叠，难以区分的问题，提高了目标检测的精度，通过对特征数量更多的第一特征图，采用稀疏分布的第一锚框进行目标检测，减少了第一特征图目标检测的计算数量，降低了目标检测模型的检测压力，提高了目标检测模型的检测效率，同时，也避免了目标检测过程对自动驾驶系统资源的过多占用，保证自动驾驶车辆可以正常稳定行驶，同时，通过对检测精度要求较高的局部空间对应的第二特征图，采用稠密分布的第二锚框进行目标检测，可以在目标密集的局部空间内提高目标检测模型的检测精度，避免了目标检测模型的检测结果存在歧义的情况，进而提高了车辆行驶的安全性，由此，本公开实施例的技术方案在保证自动驾驶车辆的低时延推理的需求的基础上，提高了目标检测模型的检测效率和检测准确度，为自动驾驶车辆的安全稳定行驶提供了保障。
进一步的，所述样本检测结果确定模块906，包括：第三检测结果筛选单元，用于在所述第一检测结果中，筛选出所述目标空间之外的第三检测结果；样本检测结果确定单元，用于将所述第三检测结果与所述第二检测结果进行组合，得到至少一个样本检测结果。
进一步的，相邻的所述第一锚框之间的第一间距大于相邻的所述第二锚框之间的第二间距。
进一步的，该装置，还包括：第一标注结果确定模块，用于针对各所述真值框，在各所述第一锚框中筛选正样本和负样本，得到第一标注结果；第二标注结果确定模块，用于针对各所述真值框，在各所述第二锚框中筛选正样本和负样本，得到第二标注结果；锚框标注结果确定模块，用于对所述第一标注结果和所述第二标注结果进行融合，得到锚框标注结果；所述目标检测模型调参模块907，包括：第一差异计算单元，用于计算各所述样本检测结果中锚框分类结果与所述锚框标注结果之间的第一差异；第二差异计算单元，用于计算各所述样本检测结果中锚框回归结果与相应真值框之间的第二差异；目标检测模型调参单元，用于根据所述第一差异和所述第二差异，调整所述目标检测模型的参数。
进一步的，所述第一标注结果确定模块，包括：中心坐标归一化距离计算单元，用于计算各所述真值框的中心坐标与各所述第一锚框的中心坐标之间的归一化距离；第一锚框筛选单元，用于根据各所述真值框与各所述第一锚框之间的归一化距离，对各所述第一锚框进行筛选，得到各所述真值框对应的至少一个第一正样本和至少一个第一负样本；第一标注结果确定单元，用于根据各所述真值框对应的各第一正样本和各第一负样本，确定第一标注结果。
进一步的，所述样本检测结果的类别包括行人。
进一步的，所述目标检测模型调参单元，包括：第三差异计算子单元，用于根据各所述锚框回归结果中对应于不同真值框的样本检测框之间的距离，计算第三差异；目标检测模型调参子单元，用于根据所述第一差异、所述第二差异和所述第三差异，调整所述目标检测模型的参数。
进一步的，所述第二特征图确定模块903，包括：目标空间特征图获取单元，用于在第一特征图中，获取所述目标空间对应的特征图；第二特征图确定单元，用于对所述目标空间对应的特征图上进行采样，得到所述目标空间对应的第二特征图。
上述目标检测模型的训练装置可执行本公开任意实施例所提供的目标检测模型的训练方法，具备执行目标检测模型的训练方法相应的功能模块和有益效果。
根据本公开的实施例，图10是本公开实施例中的目标检测装置的结构图，本公开实施例适用于检测车辆周围障碍物的情况。该装置采用软件和/或硬件实现，并具体配置于具备一定数据运算能力的电子设备中。
如图10所示的一种目标检测装置1000，包括：点云数据获取模块1001、点云数据输入模块1002、第一特征提取模块1003、第二特征提取模块1004、第一目标检测模块1005、第二目标检测模块1006和目标检测结果确定模块1007。其中，
点云数据获取模块1001，用于获取车辆采集的点云数据；
点云数据输入模块1002，用于将所述点云数据输入到预先训练的目标检测模型中；
第一特征提取模块1003，用于通过所述目标检测模型，对所述点云数据进行特征提取，得到第一特征图；
第二特征提取模块1004，用于通过所述目标检测模型，在所述第一特征图中，确定目标空间对应的第二特征图；
第一目标检测模块1005，用于通过所述目标检测模型，针对所述第一特征图，采用稀疏分布的第一锚框进行目标检测，得到第一检测结果；
第二目标检测模块1006，用于通过所述目标检测模型，针对所述第二特征图，采用稠密分布的第一锚框进行目标检测，得到第二检测结果；
目标检测结果确定模块1007，用于通过所述目标检测模型，将所述第一检测结果和所述第二检测结果进行融合，得到目标检测结果。
本公开实施例的技术方案，通过对点云数据进行特征提取，避免了光照和遮挡等环境问题对目标检测的影响，也不存在不同目标之间像素的相互堆叠，难以区分的问题，提高了目标检测的精度，通过对特征数量更多的第一特征图，采用稀疏分布的第一锚框进行目标检测，减少了第一特征图目标检测的计算数量，降低了目标检测模型的检测压力，提高了目标检测模型的检测效率，同时，也避免了目标检测过程对自动驾驶系统资源的过多占用，保证自动驾驶车辆可以正常稳定行驶，同时，通过对检测精度要求较高的局部空间对应的第二特征图，采用稠密分布的第二锚框进行目标检测，可以在目标密集的局部空间内提高目标检测模型的检测精度，避免了目标检测模型的检测结果存在歧义的情况，进而提高了车辆行驶的安全性，由此，本公开实施例的技术方案在保证自动驾驶车辆的低时延推理的需求的基础上，提高了目标检测的检测效率和检测准确度，为自动驾驶车辆的安全稳定行驶提供了保障。
进一步的，所述点云数据获取模块1001，包括：实时点云获取单元，用于获取车辆采集的实时点云；实时点云转换单元，用于将所述实时点云转换为鸟瞰视角下的点云数据。
进一步的，所述目标空间包括所述车辆占用空间向外延伸预设距离形成的空间。
上述目标检测装置可执行本公开任意实施例所提供的目标检测方法，具备执行目标检测方法相应的功能模块和有益效果。
图11是根据本公开实施例公开的一种车辆控制装置的结构图，本实施例可以适用于基于检测车辆周围障碍物的目标检测结果进行车辆控制的情况。该装置采用软件和/或硬件实现，并具体配置于具备一定数据运算能力的电子设备中。
如图11所示的一种车辆控制装置1100，包括：目标检测模块1101和车辆控制模块1102。其中，
目标检测模块1101，用于获取车辆的目标检测结果，所述目标检测结果通过如本公开任一项实施例所述的目标检测方法获取。
车辆控制模块1102，用于根据所述目标检测结果，控制所述车辆行驶。
根据本公开的技术方案，通过前述的目标检测方法，运行前述训练的目标检测模型，快速精准感知车辆周围的障碍物，并以此控制行驶，提高行驶安全。
上述目标检测装置可执行本公开任意实施例所提供的目标检测方法，具备执行目标检测方法相应的功能模块和有益效果。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种目标检测模型训练设备、一种目标检测设备、一种可读存储介质、一种自动驾驶车辆和一种计算机程序产品。
图12示出了可以用来实施本公开的实施例的示例电子设备1200的示意性区域图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
其中，本公开任一实施例提供的电子设备可以应用于自动驾驶系统，或者应用于为自动驾驶系统提供服务的平台中。
可选的，实现目标检测模型的训练方法的电子设备可以是目标检测模型的训练设备。实现目标检测方法的电子设备可以是目标检测设备。目标检测设备可以配置于自动驾驶车辆中，具体是安装于自动驾驶车辆的车载终端中。实现车辆控制方法的电子设备可以是车辆控制设备。车辆控制设备可以配置于自动驾驶车辆中，具体是安装于自动驾驶车辆的车载终端。
可选的，自动驾驶车辆除了包括电子设备，还可以包括通信部件和环境感知设备等，电子设备可以和通信部件一体集成，也可以分体设置。电子设备可以获取环境感知设备(如相机和雷达)的数据，例如图片、视频和点云等，从而进行图像视频以及点云的处理和数据计算。可选的，电子设备自身也可以具备感知数据获取功能和通信功能，例如是人工智能(Artificial Intelligence,AI)相机，电子设备可以直接基于获取的感知数据进行图像视频以及点云的处理和数据计算。
如图12所示，设备1200包括计算单元1201，其可以根据存储在只读存储器(ROM)1202中的计算机程序或者从存储单元1208加载到随机访问存储器(RAM)1203中的计算机程序，来执行各种适当的动作和处理。在RAM 1203中，还可存储设备1200指令所需的各种程序和数据。计算单元1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(I/O)接口1205也连接至总线1204。
设备1200中的多个部件连接至I/O接口1205，包括：输入单元1206，例如键盘、鼠标等；输出单元1207，例如各种类型的显示器、扬声器等；存储单元1208，例如磁盘、光盘等；以及通信单元1209，例如网卡、调制解调器、无线通信收发机等。通信单元1209允许设备1200通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1201可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1201的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1201执行上文所描述的各个方法和处理，例如目标检测模型的训练方法、目标检测方法或车辆控制方法。例如，在一些实施例中，目标检测模型的训练方法、目标检测方法或车辆控制方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1208。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1202和/或通信单元1209而被载入和/或安装到设备1200上。当计算机程序加载到RAM 1203并由计算单元1201执行时，可以执行上文描述的目标检测模型的训练方法、目标检测方法或车辆控制方法的一个或多个步骤。备选地，在其他实施例中，计算单元1201可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行目标检测模型的训练方法、目标检测方法或车辆控制方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准对象(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个自动驾驶车辆中，该自动驾驶车辆包括一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或区域图中所规定的功能/指令被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)区块链网络和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术及机器学习/深度学习技术、大数据处理技术、知识图谱技术等几大方向。
云计算(cloud computing)，指的是通过网络接入弹性可扩展的共享物理或虚拟资源池，资源可以包括服务器、指令系统、网络、软件、应用和存储设备等，并可以按需、自服务的方式对资源进行部署和管理的技术体系。通过云计算技术，可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开提供的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (30)

1.一种目标检测模型的训练方法，包括：
将训练样本输入到目标检测模型中，所述训练样本包括样本车辆采集的样本点云和至少一个真值框；
通过所述目标检测模型，对所述样本点云进行特征提取，得到第一特征图；
通过所述目标检测模型，在所述第一特征图中，确定目标空间对应的第二特征图；
通过所述目标检测模型，针对所述第一特征图，采用稀疏分布的第一锚框进行目标检测，得到第一检测结果；
通过所述目标检测模型，针对所述第二特征图，采用稠密分布的第二锚框进行目标检测，得到第二检测结果；
通过所述目标检测模型，将所述第一检测结果和所述第二检测结果进行融合，得到至少一个样本检测结果；
通过所述目标检测模型，根据各所述样本检测结果与相应真值框之间的差异，调整所述目标检测模型的参数。
2.根据权利要求1所述的方法，其中，所述将所述第一检测结果和所述第二检测结果进行融合，得到至少一个样本检测结果，包括：
在所述第一检测结果中，筛选出所述目标空间之外的第三检测结果；
将所述第三检测结果与所述第二检测结果进行组合，得到至少一个样本检测结果。
3.根据权利要求1所述的方法，其中，相邻的所述第一锚框之间的第一间距大于相邻的所述第二锚框之间的第二间距。
4.根据权利要求1所述的方法，还包括：
针对各所述真值框，在各所述第一锚框中筛选正样本和负样本，得到第一标注结果；
针对各所述真值框，在各所述第二锚框中筛选正样本和负样本，得到第二标注结果；
对所述第一标注结果和所述第二标注结果进行融合，得到锚框标注结果；
所述根据各所述样本检测结果与相应真值框之间的差异，调整所述目标检测模型的参数，包括：
计算各所述样本检测结果中锚框分类结果与所述锚框标注结果之间的第一差异；
计算各所述样本检测结果中锚框回归结果与相应真值框之间的第二差异；
根据所述第一差异和所述第二差异，调整所述目标检测模型的参数。
5.根据权利要求4所述的方法，其中，所述针对各所述真值框，在各所述第一锚框中筛选正样本和负样本，得到第一标注结果，包括：
计算各所述真值框的中心坐标与各所述第一锚框的中心坐标之间的归一化距离；
根据各所述真值框与各所述第一锚框之间的归一化距离，对各所述第一锚框进行筛选，得到各所述真值框对应的至少一个第一正样本和至少一个第一负样本；
根据各所述真值框对应的各第一正样本和各第一负样本，确定第一标注结果。
6.根据权利要求1-5中任一所述的方法，其中，所述样本检测结果的类别包括行人。
7.根据权利要求4所述的方法，其中，所述根据所述第一差异和所述第二差异，调整所述目标检测模型的参数，包括：
根据各所述锚框回归结果中对应于不同真值框的样本检测框之间的距离，计算第三差异；
根据所述第一差异、所述第二差异和所述第三差异，调整所述目标检测模型的参数。
8.根据权利要求1所述的方法，其中，所述在所述第一特征图中，确定目标空间对应的第二特征图，包括：
在第一特征图中，获取所述目标空间对应的特征图；
对所述目标空间对应的特征图上进行采样，得到所述目标空间对应的第二特征图。
9.一种目标检测方法，包括：
获取车辆采集的点云数据；
将所述点云数据输入到预先训练的目标检测模型中；
通过所述目标检测模型，对所述点云数据进行特征提取，得到第一特征图；
通过所述目标检测模型，在所述第一特征图中，确定目标空间对应的第二特征图；
通过所述目标检测模型，针对所述第一特征图，采用稀疏分布的第一锚框进行目标检测，得到第一检测结果；
通过所述目标检测模型，针对所述第二特征图，采用稠密分布的第二锚框进行目标检测，得到第二检测结果；
通过所述目标检测模型，将所述第一检测结果和所述第二检测结果进行融合，得到目标检测结果。
10.根据权利要求9所述的方法，其中，所述获取车辆采集的点云数据，包括：
获取车辆采集的实时点云；
将所述实时点云转换为鸟瞰视角下的点云数据。
11.根据权利要求9所述的方法，其中，所述目标空间包括所述车辆占用空间向外延伸预设距离形成的空间。
12.一种车辆控制方法，包括：
获取车辆的目标检测结果；所述目标检测结果通过如权利要求9-11任一项目标检测方法获取；
根据所述目标检测结果，控制所述车辆行驶。
13.一种目标检测模型的训练装置，包括：
训练样本输入模块，用于将训练样本输入到目标检测模型中，所述训练样本包括样本车辆采集的样本点云和至少一个真值框；
第一特征图确定模块，用于通过所述目标检测模型，对所述样本点云进行特征提取，得到第一特征图；
第二特征图确定模块，用于通过所述目标检测模型，在所述第一特征图中，确定目标空间对应的第二特征图；
第一检测结果确定模块，用于通过所述目标检测模型，针对所述第一特征图，采用稀疏分布的第一锚框进行目标检测，得到第一检测结果；
第二检测结果确定模块，用于通过所述目标检测模型，针对所述第二特征图，采用稠密分布的第二锚框进行目标检测，得到第二检测结果；
样本检测结果确定模块，用于通过所述目标检测模型，将所述第一检测结果和所述第二检测结果进行融合，得到至少一个样本检测结果；
目标检测模型调参模块，用于通过所述目标检测模型，根据各所述样本检测结果与相应真值框之间的差异，调整所述目标检测模型的参数。
14.根据权利要求13所述的装置，其中，所述样本检测结果确定模块，包括：
第三检测结果筛选单元，用于在所述第一检测结果中，筛选出所述目标空间之外的第三检测结果；
样本检测结果确定单元，用于将所述第三检测结果与所述第二检测结果进行组合，得到至少一个样本检测结果。
15.根据权利要求13所述的装置，其中，相邻的所述第一锚框之间的第一间距大于相邻的所述第二锚框之间的第二间距。
16.根据权利要求13所述的装置，还包括：
第一标注结果确定模块，用于针对各所述真值框，在各所述第一锚框中筛选正样本和负样本，得到第一标注结果；
第二标注结果确定模块，用于针对各所述真值框，在各所述第二锚框中筛选正样本和负样本，得到第二标注结果；
锚框标注结果确定模块，用于对所述第一标注结果和所述第二标注结果进行融合，得到锚框标注结果；
所述目标检测模型调参模块，包括：
第一差异计算单元，用于计算各所述样本检测结果中锚框分类结果与所述锚框标注结果之间的第一差异；
第二差异计算单元，用于计算各所述样本检测结果中锚框回归结果与相应真值框之间的第二差异；
目标检测模型调参单元，用于根据所述第一差异和所述第二差异，调整所述目标检测模型的参数。
17.根据权利要求16所述的装置，其中，所述第一标注结果确定模块，包括：
中心坐标归一化距离计算单元，用于计算各所述真值框的中心坐标与各所述第一锚框的中心坐标之间的归一化距离；
第一锚框筛选单元，用于根据各所述真值框与各所述第一锚框之间的归一化距离，对各所述第一锚框进行筛选，得到各所述真值框对应的至少一个第一正样本和至少一个第一负样本；
第一标注结果确定单元，用于根据各所述真值框对应的各第一正样本和各第一负样本，确定第一标注结果。
18.根据权利要求13-17中任一所述的装置，其中，所述样本检测结果的类别包括行人。
19.根据权利要求16所述的装置，其中，所述目标检测模型调参单元，包括：
第三差异计算子单元，用于根据各所述锚框回归结果中对应于不同真值框的样本检测框之间的距离，计算第三差异；
目标检测模型调参子单元，用于根据所述第一差异、所述第二差异和所述第三差异，调整所述目标检测模型的参数。
20.根据权利要求13所述的装置，其中，所述第二特征图确定模块，包括：
目标空间特征图获取单元，用于在第一特征图中，获取所述目标空间对应的特征图；
第二特征图确定单元，用于对所述目标空间对应的特征图上进行采样，得到所述目标空间对应的第二特征图。
21.一种目标检测装置，包括：
点云数据获取模块，用于获取车辆采集的点云数据；
点云数据输入模块，用于将所述点云数据输入到预先训练的目标检测模型中；
第一特征提取模块，用于通过所述目标检测模型，对所述点云数据进行特征提取，得到第一特征图；
第二特征提取模块，用于通过所述目标检测模型，在所述第一特征图中，确定目标空间对应的第二特征图；
第一目标检测模块，用于通过所述目标检测模型，针对所述第一特征图，采用稀疏分布的第一锚框进行目标检测，得到第一检测结果；
第二目标检测模块，用于通过所述目标检测模型，针对所述第二特征图，采用稠密分布的第二锚框进行目标检测，得到第二检测结果；
目标检测结果确定模块，用于通过所述目标检测模型，将所述第一检测结果和所述第二检测结果进行融合，得到目标检测结果。
22.根据权利要求21所述的装置，其中，所述点云数据获取模块，包括：
实时点云获取单元，用于获取车辆采集的实时点云；
实时点云转换单元，用于将所述实时点云转换为鸟瞰视角下的点云数据。
23.根据权利要求21所述的装置，其中，所述目标空间包括所述车辆占用空间向外延伸预设距离形成的空间。
24.一种车辆控制装置，包括：
目标检测模块，用于获取车辆的目标检测结果；所述目标检测结果通过如权利要求9-11任一项目标检测方法获取；
车辆控制模块，用于根据所述目标检测结果，控制所述车辆行驶。
25.一种目标检测模型的训练设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的目标检测模型的训练方法。
26.一种目标检测设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求9-11中任一项所述的目标检测方法。
27.一种车辆控制设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求12中所述的车辆控制方法。
28.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的目标检测模型的训练方法，或如权利要求9-11中任一项所述的目标检测方法，或如权利要求12中所述的车辆控制方法。
29.一种自动驾驶车辆，包括如权利要求26所述的目标检测设备和/或权利要求27所述的车辆控制设备。
30.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的目标检测模型的训练方法，或如权利要求9-11中任一项所述的目标检测方法，或如权利要求12中所述的车辆控制方法。
CN202311754384.1A 2023-12-19 2023-12-19 模型训练、目标检测、车辆控制方法、装置、设备及介质 Pending CN117636098A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311754384.1A CN117636098A (zh) 2023-12-19 2023-12-19 模型训练、目标检测、车辆控制方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311754384.1A CN117636098A (zh) 2023-12-19 2023-12-19 模型训练、目标检测、车辆控制方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN117636098A true CN117636098A (zh) 2024-03-01

Family

ID=90033996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311754384.1A Pending CN117636098A (zh) 2023-12-19 2023-12-19 模型训练、目标检测、车辆控制方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN117636098A (zh)

Similar Documents

Publication Publication Date Title
US20230014874A1 (en) Obstacle detection method and apparatus, computer device, and storage medium
CN113902897B (zh) 目标检测模型的训练、目标检测方法、装置、设备和介质
CN109087510B (zh) 交通监测方法及装置
CN111626217A (zh) 一种基于二维图片和三维点云融合的目标检测和追踪方法
CN113761999B (zh) 一种目标检测方法、装置、电子设备和存储介质
Kim et al. Rear obstacle detection system with fisheye stereo camera using HCT
CN113192091B (zh) 一种基于激光雷达与相机融合的远距离目标感知方法
WO2022217630A1 (zh) 一种车速确定方法、装置、设备和介质
CN115797736B (zh) 目标检测模型的训练和目标检测方法、装置、设备和介质
CN114764778A (zh) 一种目标检测方法、目标检测模型训练方法及相关设备
CN111913177A (zh) 对目标物探测方法、装置以及存储介质
CN115100741A (zh) 一种点云行人距离风险检测方法、系统、设备和介质
CN115147333A (zh) 一种目标检测方法及装置
CN117037103A (zh) 一种道路检测方法和装置
CN115147809B (zh) 一种障碍物检测方法、装置、设备以及存储介质
CN115909253A (zh) 一种目标检测、模型训练方法、装置、设备及存储介质
CN116434181A (zh) 地面点检测方法、装置、电子设备和介质
CN116052097A (zh) 一种地图要素检测方法、装置、电子设备和存储介质
CN114998387A (zh) 一种物体距离监测方法、装置、电子设备和存储介质
CN117636098A (zh) 模型训练、目标检测、车辆控制方法、装置、设备及介质
CN114565906A (zh) 障碍物检测方法、装置、电子设备及存储介质
CN117593609A (zh) 模型训练、目标检测、车辆控制方法、装置、设备及介质
CN116778262B (zh) 一种基于虚拟点云的三维目标检测方法和系统
Xing et al. Barrier Detection and Tracking from Parameterized Lidar Data
CN117935209A (zh) 障碍物检测方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination