CN115082857A - 一种目标对象的检测方法、装置、设备以及存储介质 - Google Patents

Abstract

本发明公开了一种目标对象的检测方法、装置、设备以及存储介质。该方法包括：从候选采集设备中确定当前场景所需的目标采集设备；判断所述目标采集设备是否为摄像头和激光雷达；若是，则对摄像头采集的环境图像数据和激光雷达采集的环境点云数据进行融合处理，得到输出点云数据；基于环境图像数据进行目标对象检测，并根据检测结果，在输出点云数据中标注目标对象。本方案需要选取适合当前场景的采集设备，并在选取的采集设备包含摄像头的情况下，结合摄像头采集的环境图像数据协助激光雷达采集的点云数据进行目标对象检测，解决了仅基于点云数据进行目标对象检测存在精确度低的问题，提高了目标对象检测的精准性。

Description

一种目标对象的检测方法、装置、设备以及存储介质

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种目标对象的检测方法、装置、设备以及存储介质。

背景技术

随着人工智能技术的发展，目标检测技术的应用场景越来越广泛，例如，交通安全、安防监控和人流监测等场景均有很大的应用价值。

由于激光雷达采集点云数据的过程中，对周围环境依赖小，且不受光照等条件的影响，所以基于激光雷达采集的点云数据进行目标对象的检测逐渐兴起，因此，如何基于激光雷达采集的点云数据更为精准的进行目标对象的检测成为当前继续解决的问题。

发明内容

本发明提供一种目标对象的检测方法、装置、设备以及存储介质，提高了基于激光雷达采集的点云数据进行目标对象检测的准确性。

第一方面，本发明实施例提供了一种目标对象的检测方法，包括：

从候选采集设备中确定当前场景所需的目标采集设备；

判断目标采集设备是否为摄像头和激光雷达；

若是，则对摄像头采集的环境图像数据和激光雷达采集的环境点云数据进行融合处理，得到输出点云数据；其中，激光雷达和摄像头安装于同一移动设备上；

基于环境图像数据进行目标对象检测，并根据检测结果，在输出点云数据中标注目标对象。

第二方面，本发明实施例还提供了一种目标对象的检测装置，包括：

设备确定模块，用于从候选采集设备中确定当前场景所需的目标采集设备；

设备判断模块，用于判断目标采集设备是否为摄像头和激光雷达；

数据融合模块，用于若是，则对摄像头采集的环境图像数据和激光雷达采集的环境点云数据进行融合处理，得到输出点云数据；其中，激光雷达和摄像头安装于同一移动设备上；

对象标注模块，用于基于环境图像数据进行目标对象检测，并根据检测结果，在输出点云数据中标注目标对象。

第三方面，本发明实施例还提供了一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本发明任一实施例的目标对象的检测方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本发明任一实施例的目标对象的检测方法。

本实施例的技术方案，通过从候选采集设备中筛选出当前场景所需的目标采集设备，若目标采集设备包含摄像头和激光雷达，则对摄像头采集的环境图像数据和激光雷达采集的环境点云数据进行融合处理，得到输出点云数据，根据环境图像数据对目标对象进行检测，并将目标对象标注在输出点云数据中，本方案需要选取适合当前场景的采集设备，并在选取的采集设备包含摄像头的情况下，结合摄像头采集的环境图像数据协助激光雷达采集的点云数据进行目标对象检测，解决了仅基于点云数据进行目标对象检测存在精确度低的问题，提高了目标对象检测的精准性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的一种目标对象的检测方法的流程图。

图2为本发明实施例二提供的一种目标对象的检测方法的流程图。

图3为本发明实施例三提供的一种目标对象的检测方法的流程图。

图4为本发明实施例四提供的一种目标对象的检测方法的流程图。

图5为本发明实施例五提供的一种目标对象的检测方法的应用场景图。

图6为本发明实施例六提供的一种目标对象的检测装置的结构示意图。

图7为本发明实施例七提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种目标对象的检测方法的流程图。本实施例可适用于对目标对象进行检测的情况，尤其适用于基于激光雷达和摄像头采集的数据进行目标对象检测的情况。该方法可以由目标对象检测装置来执行，该目标对象检测装置可以采用硬件和/或软件的形式实现，该目标对象检测装置可集成于电子设备中。如图1所示，该方法包括：

S110、从候选采集设备中确定当前场景所需的目标采集设备。

其中，候选采集设备可以是对目标对象所处场景进行数据采集时所能够选用的全部采集设备。示例性的，候选采集设备可以包括但不限于激光雷达和摄像头等。可选的，本实施例中的候选采集设备中包含必选设备和附加设备。必选设备可以是对目标对象进行数据采集时必选的设备。附加设备可以是对目标对象进行数据采集时根据目标对象所处场景进行选择的附加的设备。在本发明实施例的技术方案中，必选设备可以为激光雷达，附加设备可以为摄像头。

当前场景可以是当前时刻进行数据采集的场景。

目标采集设备可以是对当前场景进行数据采集时所需的采集设备。其中，一定包含必选设备，附加设备可以包含也可以不包含。示例性的，设定候选采集设备包括激光雷达和摄像头，其中，必选设备为激光雷达，附加设备为摄像头。若当前场景需要摄像头，则目标采集设备包含激光雷达和摄像头；若当前场景无需摄像头，则目标采集设备仅包含激光雷达。

具体的，本实施例可以是将候选采集设备中的必选设备直接作为目标采集设备，并结合当前场景，确定是否需要将附加设备选为目标采集设备。示例性的，设定候选采集设备为激光雷达(即必选设备)和摄像头(即附加设备)，此时可以将激光雷达直接作为目标采集设备，再根据当前场景是否需要摄像头，确定目标采集设备是否包含摄像头。若当前场景需要摄像头，则将激光雷达和摄像头共同作为目标采集设备；若当前场景不需要摄像头，则仅将激光雷达作为目标采集设备。

进一步的，从候选采集设备中确定当前场景所需的目标采集设备优选可以包括如下至少一种：

响应于用户的配置指令，从候选采集设备中确定当前场景所需的目标采集设备。

其中，配置指令可以是响应于用户触发的采集设备配置操作，而生成的用于指示目标采集设备配置情况的指令。示例性的，用户可以根据自身实际需求，确定当前场景的数据采集是否需要启用候选采集设备中的附加设备(如摄像头)，并在采集设备配置界面进行配置，执行本实施例的目标对象检测方法的电子设备即可根据用户配置的信息，生成并响应配置指令。

具体的，由于用户的配置指令中包含有用户指示的需要启动的采集设备的信息，所以此时直接根据配置指令中指示的需要启动的采集设备的信息，从候选采集设备中确定当前场景所需的目标采集设备。

根据当前环境信息，从候选采集设备中确定当前场景所需的目标采集设备。

其中，当前环境信息可以是当前时刻所在环境中用于确定目标采集设备所依据的环境参考信息。可选的，当前环境信息可以包括但不限于：当前光线信息等。

具体的，可以根据当前环境信息，判断候选采集设备中的附加设备在当前场景下是否适用，将适用于当前场景的附加设备作为目标采集设备。示例性的，设定候选采集设备为激光雷达(即必选设备)和摄像头(即附加设备)，此时可以判断当前光线信息(例如当前光线亮度)，若当前光线亮度在预设光线亮度区间内，则确定当前光线较好，在光线较好的情况下，摄像头可以清晰准确地采集到环境图像数据，进而可以确定附加设备中的摄像头可以作为目标采集设备。若当前光线亮度低于或高于预设光线亮度区间，则确定当前光线较差，在光线较差的情况下，摄像头无法清晰准确地采集到环境图像数据，进而可以确定附加设备中的摄像头不包含在目标采集设备中。其中，预设光线亮度区间可以是预先设定的可以进行摄像头采集的当前环境的光线亮度范围。预设光线亮度区间可以根据技术人员的经验进行设定和调整。可选的，当前时间或当前天气情况都会影响当前光线。示例性的，在当前时间为黑夜的情况下，当前光线会较差；在当前天气为阴天、雨天或雾天的情况下，也会出现当前光线较暗的情况。在当前时间为白天且当前天气为晴天的情况下，当前光线较好。

根据摄像头采集的环境图像数据的图像质量，从候选采集设备中确定当前场景所需的目标采集设备。

其中，环境图像数据可以是由摄像头采集的用于表征当前场景所在环境信息的图像数据。

图像质量可以是用于判断图像可识别程度的参数。示例性的，图像质量可以通过图像的曝光度、对比度、清晰度或噪点等中至少一种指标来衡量。

具体的，可以根据摄像头采集的环境图像数据的指标值，确定图像质量评分，并判断该图像质量评分是否高于预设质量评分阈值，进而判断候选采集设备中的附加设备(即摄像头)是否可以和必选设备(例如激光雷达)一起作为目标采集设备。若图像质量评分高于预设质量评分阈值，则认为摄像头采集的环境图像数据可以进行识别，进而确定摄像头可以和激光雷达一起作为目标采集设备；若图像质量评分不高于预设质量评分阈值，则认为摄像头采集的环境图像数据无法进行识别，进而确定摄像头不可以和激光雷达一起作为目标采集设备。其中，预设质量评分阈值可以是预先设定好的用于评价图像质量的下限值。预设质量评分阈值可以根据技术人员的经验进行设定。

在上述技术方案的基础上，通过用户的配置指令、当前环境信息和环境图像数据的图像质量等多种方式对候选采集设备进行筛选，提高了目标采集设备选取的灵活性，保证了目标采集设备确定的准确性。

S120、判断目标采集设备是否为摄像头和激光雷达，若是，则执行S130；若否，则执行S150。

具体的，对目标采集设备进行判断，判断目标采集设备是否为摄像头和激光雷达(即判断目标采集设备中是否即包含了必选设备又包含了附加设备)，或者是其他情况。如果包含摄像头和激光雷达，则执行S130；如果是其他情况，则执行S150。

S130、对摄像头采集的环境图像数据和激光雷达采集的环境点云数据进行融合处理，得到输出点云数据。

其中，激光雷达和摄像头安装于同一移动设备上。

环境点云数据可以是由激光雷达采集的用于表征当前场景所在环境信息的点云数据。

输出点云数据可以是输出给下游任务进行渲染展示的点云数据。

具体的，若判断目标采集设备包含激光雷达和摄像头，则将摄像头采集的环境图像数据，基于摄像头与雷达之间的标定参数，将环境图像数据中的各像素点转换到雷达坐标系下，找到各像素点在雷达坐标系下对应的点云，进而将各像素点的像素值(即颜色信息)赋值给环境点云数据中的对应点云，即为给环境点云数据中的对应点云添加了颜色信息，以实现将环境点云数据转换为彩色点云数据，此时的彩色点云数据即为输出点云数据，从而实现对环境点云数据和环境图像数据的融合处理。

S140、基于环境图像数据进行目标对象检测，并根据检测结果，在输出点云数据中标注目标对象。

其中，检测结果可以是对环境图像数据进行目标对象检测的结果。具体的，检测结果可包括但不限于：目标对象的标注框的位置数据等。

目标对象可以是要检测筛选的对象。可选的，目标对象可以包括但不限于：人、动物或设备等。

具体的，本实施例可以基于目标对象的特征匹配算法，或通过预先训练好的图像目标检测模型来对环境图像数据进行目标对象的检测，得到目标对象在环境图像数据中的标注信息作为检测结果。在获取到目标对象的检测结果后，可以基于摄像头与雷达之间的标定参数，将目标对象在环境图像数据中对应的标注框信息映射到点云数据中，并基于映射到点云数据中的标注框信息，将目标对象标注在输出点云数据中。

S150、采用其他方式对目标采集设备采集的数据进行处理，得到标注有目标对象的输出点云数据。

具体的处理方式可以根据实际场景需求设定，只要能够从目标采集设备采集的数据中确定出输出点云数据，并在其中标注上目标对象的标注框即可。例如可参见后续实施例。

本实施例的技术方案，通过从候选采集设备中筛选出当前场景所需的目标采集设备，若目标采集设备包含摄像头和激光雷达，则对摄像头采集的环境图像数据和激光雷达采集的环境点云数据进行融合处理，得到输出点云数据，根据环境图像数据对目标对象进行检测，并将目标对象标注在输出点云数据中，本方案需要选取适合当前场景的采集设备，并在选取的采集设备包含摄像头的情况下，结合摄像头采集的环境图像数据协助激光雷达采集的点云数据进行目标对象检测，解决了仅基于点云数据进行目标对象检测存在精确度低的问题，提高了目标对象检测的精准性。

实施例二

图2为本发明实施例提供的一种目标对象的检测方法的流程图。本实施例是在上述技术方案的基础上，将基于环境图像数据进行目标对象检测，并根据检测结果，在输出点云数据中标注目标对象进一步优化。如图2所示，该方法包括：

S210、从候选采集设备中确定当前场景所需的目标采集设备。

S220、判断目标采集设备是否为摄像头和激光雷达，若是，则执行S230；若否，则执行S270。

S230、若是，则对摄像头采集的环境图像数据和激光雷达采集的环境点云数据进行融合处理，得到输出点云数据。

其中，激光雷达和摄像头安装于同一移动设备上。

S240、通过图像目标检测模型，对环境图像数据进行目标对象检测，得到目标对象在环境图像数据中的标注框信息。

其中，图像目标检测模型可以是基于环境图像数据，执行目标对象检测任务的模型。本实施例中的图像目标检测模型在执行目标检测任务的过程中，会通过标注框的方式在环境图像数据中标注出目标对象的位置，相应的，可以将标注目标对象的标注框的角点位置作为目标对象的标注框信息。可选的，标注框的形状可以为规则图形(例如长方形或正方形等)，也可以为不规则形状(例如目标对象的轮廓形状等)。

具体的，可以将环境图像数据输入至图像目标检测模型中，以使图像目标检测模型对环境图像数据进行分析，即可得到图像目标检测模型输出的目标对象在环境图像数据中的标注框信息。

在上述技术方案的基础上，通过图像目标检测模型，对环境图像数据进行目标对象检测，得到目标对象在环境图像数据中的标注框信息，优选可以包括：

通过图像目标检测模型中的目标检测网络，对环境图像数据进行目标对象检测，得到预测框信息。

其中，目标监测网络可以是基于环境图像数据，执行目标对象检测任务的神经网络。示例性的，目标检测网络可以是YOLO网络。

预测框信息可以是目标检测网络预测的目标对象的预测框的信息。

具体的，可以将环境图像数据输入目标检测网络，由目标检测网络对环境图像数据进行特征提取、上采样、特征融合及回归分析等处理，得到目标对象的预测框信息。示例性的，若目标检测网络为YOLO目标检测网络，则可以基于CSPDarknet-53算法进行提取特征。

通过图像目标检测模型中的匹配追踪网络，对预测框信息进行解析，得到目标对象在环境图像数据中的标注框信息。

其中，匹配追踪网络可以基于预测框信息，执行目标追踪和预测任务的神经网络。示例性的，匹配追踪网络可以是基于Deep-SORT算法的匹配追踪网络。

具体的，可以将预测框信息输入匹配追踪网络中，由匹配追踪网络对预测框信息进行目标特征建模、匹配和追踪，输出目标对象在环境图像数据中的标注框信息。示例性的，若匹配追踪网络为基于Deep-SORT算法的匹配追踪网络，将预测框信息输入到基于Deep-SORT算法的匹配追踪网络中进行目标特征建模、匹配和跟踪，最后输出目标对象在环境图像数据中的标注框信息。

在上述技术方案的基础上，通过在常规的目标检测网络的基础上，引入了匹配追踪网络，关联上一帧环境图像数据的目标对象的检测结果来进行当前帧环境图像数据的目标对象的检测，提高了目标对象检测的准确性。

S250、将目标对象在环境图像数据中的标注框信息，映射到输出点云数据中，得到目标对象在输出点云数据中的标注框信息。

具体的，可以根据目标对象在环境图像数据中的标注框信息，确定目标对象的标注框在环境图像数据中的位置数据，基于摄像头和激光雷达之间的坐标转换矩阵，将环境图像数据中目标对象的标注框的位置数据所映射到输出点云数据中，即可得到目标对象在输出点云数据中的标注框信息。示例性的，若标注框的形状为正方形，以单个标记框转换为例，可以在环境图像数据中确定标记框四个角点的位置数据(即位置坐标)，找到四个角点的位置数据在输出点云数据中对应的位置数据，即可得到目标对象在输出点云数据中的标注框信息。

S260、根据目标对象在输出点云数据中的标注框信息，在输出点云数据中标注目标对象。

具体的，可以根据目标对象在输出点云数据中的标注框信息，基于输出点云数据中标注框信息对应的位置数据，在输出点云数据中用标注框标注目标对象。示例性的，若标注框的形状为正方形，则根据目标对象在输出点云数据中的四个角点的位置数据，在输出点云数据中确定标注框，并用标注框标注目标对象。

S270、采用其他方式对目标采集设备采集的数据进行处理，得到标注有目标对象的输出点云数据。

本发明实施例的技术方案，通过从候选采集设备中确定当前场景所需的目标采集设备，若目标采集设备包含摄像头和激光雷达，则对摄像头采集的环境图像数据和激光雷达采集的环境点云数据进行融合处理，得到输出点云数据，根据图像目标检测模型，对环境图像数据进行目标对象检测，得到目标对象在环境图像数据中的标注框信息，将目标对象在环境图像数据中的标注框信息映射到输出点云数据中，得到目标对象在输出点云数据中的标注框信息，根据目标对象在输出点云数据中的标注框信息，在输出点云数据中标注目标对象。本方案引入了图像目标检测模型对目标对象进行检测，提高了目标对象检测的准确性，进一步保障了基于点云数据对目标对象进行检测的精准性。

实施例三

图3为本发明实施例提供的一种目标对象的检测方法的流程图。本实施例是在上述技术方案的基础上进一步优化，具体将目标采集设备仅包含激光雷达的情况作详细说明。如图3所示，该方法包括：

S310、从候选采集设备中确定当前场景所需的目标采集设备。

S320、判断目标采集设备是否为摄像头和激光雷达，若是，则执行S330；若否，则执行S350。

S330、对摄像头采集的环境图像数据和激光雷达采集的环境点云数据进行融合处理，得到输出点云数据。

S340、基于环境图像数据进行目标对象检测，并根据检测结果，在输出点云数据中标注目标对象。

S350、若目标采集设备中不包含摄像头，且仅有激光雷达，则将激光雷达采集的环境点云数据作为输出点云数据。

具体的，若判断目标采集设备仅有激光雷达，不包含摄像头，则将激光雷达采集的点云数据直接作为输出点云数据。

S360、基于输出点云数据进行目标对象检测，并根据检测结果，在输出点云数据中标注目标对象。

本实施例可以基于目标对象的特征匹配算法，或通过预先训练好的点云目标检测模型来对输出点云数据进行目标对象的检测，得到目标对象在输出点云数据中的标注信息作为检测结果。进而基于目标对象在输出点云数据中的标注信息，在输出点云中标注目标对象。

具体的，本实施例可以通过如下子步骤来实现：

S3601、对输出点云数据进行地面点云去除处理，得到非地面点云。

其中，地面点云是输出点云数据中位于地面区域的干扰点云数据。

具体的，对输出点云数据进行处理，去除点云数据中的地面点云，即可得到非地面点云。因为地面点云中不包含目标对象，所以要对地面点云进行去除处理。地面点云的去除处理可以通过预设地面高度阈值，将不高于预设地面高度阈值的点云均作为地面点云，并将地面点云进行去除的处理过程。其中，预设地面高度阈值可以预先设定的地面点云的高度的上限值。预设地面点云高度阈值可以根据技术人员的经验进行设定和调整。

S3602、对非地面点云进行聚类，得到至少一组点云簇。

其中，点云簇可以是属于同一类的非地面点云的组合。

具体的，可以基于预设的聚类算法，将具有相同特征的非地面点云进行聚类，得到至少一组类别的点云簇。示例性的，可以是根据目标对象的相对高度范围进行聚类，将高度在同一范围的非地面点云进行聚类，得到不同高度范围的点云簇。

S3603、通过点云目标检测模型，对至少一组点云簇进行目标对象检测，得到目标对象在输出点云数据中的标注框信息。

其中，点云目标检测模型可以是基于点云簇，执行目标对象检测任务的模型。可选的，点云目标检测模型可以是基于PointNet神经网络结构的模型。

具体的，可以将至少一组点云簇输入点云目标检测模型中，点云目标检测模型对点云簇数据进行分析，并输出目标对象在输出点云数据中的标注框信息。示例性的，若目标对象为人物，将点云簇输入至点云目标检测模型中，点云目标检测模型对点云簇数据进行分析，判断出人物的位置，用标注框的角点的位置数据表示，并输出人物在输出点云数据中的标注框信息。

S3604、根据目标对象在输出点云数据中的标注框信息，在输出点云数据中标注目标对象。

具体的，可以是通过输出点云数据的标注框信息，找到目标对象在输出点云数据中的所在位置，基于目标对象在输出点云数据中的所在位置，在输出点云数据中标注目标对象。示例性的，若标注框为正方形，则通过输出点云数据中的标注框的四个角点的位置数据，通过连接四个角点，即可实现对目标对象的标注。

本发明实施例的技术方案通过引入地面点云去除处理、非地面点云聚类，以及点云目标检测模型，进行目标对象的检测，保证了目标对象检的检测结果的准确性，进而保障了在输出点云数据中标注目标对象的准确性。

本发明实施例的技术方案，通过从候选采集设备中确定当前场景所需的目标采集设备；若目标采集设备为摄像头和激光雷达，则对摄像头采集的环境图像数据和激光雷达采集的环境点云数据进行融合处理，得到输出点云数据；基于环境图像数据进行目标对象检测，并根据检测结果，在输出点云数据中标注目标对象；若目标采集设备中不包含摄像头，且仅有激光雷达，则将激光雷达采集的环境点云数据作为输出点云数据；基于输出点云数据进行目标对象检测，并根据检测结果，在输出点云数据中标注目标对象；本方案给出了仅包含激光雷达采集的点云数据时对目标对象检测的方法，使目标对象的检测方法不受限于采集设备的种类，提高了目标对象检测方式的全面性，进而保障了目标对象检测的准确性。

实施例四

图4为本发明实施例提供的一种目标对象的检测方法的流程图。本实施例是在上述技术方案的基础上进一步优化，具体将在输出点云数据中标注目标对象之后的处理作详细说明。如图4所示，该方法包括：

S410、从候选采集设备中确定当前场景所需的目标采集设备。

S420、判断目标采集设备是否为摄像头和激光雷达，若否，则执行S430；若是，则执行S440。

S430、采用其他方式对目标采集设备采集的数据进行处理，得到标注有目标对象的输出点云数据。

具体的处理方式可以根据实际场景需求设定，例如可参见上述实施例。执行完本步骤后，执行S460。

S440、对摄像头采集的环境图像数据和激光雷达采集的环境点云数据进行融合处理，得到输出点云数据。

其中，激光雷达和摄像头安装于同一移动设备上。

S450、基于环境图像数据进行目标对象检测，并根据检测结果，在输出点云数据中标注目标对象。

S460、根据目标对象在输出点云数据中的标注框信息，确定目标对象在雷达坐标系下的定位点。

具体的，可以根据目标对象在输出点云数据中的标注框信息，确定标注框边界点的位置数据，基于标注框的角点的位置数据，计算出标注框中心点的位置，将标注框中心的位置作为目标对象在雷达坐标系下的定位点。

S470、根据移动设备上安装的组合惯导和定位模块采集的位姿数据，确定定位点对应的地理位置数据。

其中，移动设备可以是能够搭载候选采集设备移动的设备。具体的，移动设备可以是无人机或移动机器人等。

组合惯导可以是记录移动设备姿态数据的传感器。定位模块可以是记录移动设备位置数据的模块。可选的，定位模块可以是基于实时动态差分技术(Real-time kinematic,RTK)来提供精准的地理位置信息。

位姿数据可以是移动设备的位置数据和姿态数据。

地理位置数据可以是在地理坐标系下的位置数据。

具体的，基于定位点在雷达坐标系下的位置数据以及组合惯导和定位模块记录的位姿数据，将定位点的位置数据转换为地理坐标系下，得到定位点在地理坐标系下的位置信息，作为定位点的地理位置数据。

S480、在输出点云数据的定位点处标注地理位置数据。

具体的，可以是将定位点的地理位置数据标注在输出点云数据的定位点处。示例性的，可以在输出点云数据的定位点处标注该位置的地理位置数据。

本发明实施例的技术方案，通过从候选采集设备中确定当前场景所需的目标采集设备；若目标采集设备包含摄像头和激光雷达，则对摄像头采集的环境图像数据和激光雷达采集的环境点云数据进行融合处理，得到输出点云数据，基于环境图像数据进行目标对象检测，并根据检测结果，在输出点云数据中标注目标对象，根据目标对象在输出点云数据中的标注框信息，确定目标对象在雷达坐标系下的定位点，根据移动设备上安装的组合惯导和定位模块采集的位姿数据，确定定位点对应的地理位置数据，在输出点云数据的定位点处标注地理位置数据，确定了目标对象的定位点，并结合组合惯导和定位模块，将定位点转换至地理坐标系下，确定了目标对象在地理坐标系下的真实定位点，使得在执行下游任务时，能够快速且直观的获取目标对象在地理坐标系下的地理位置数据。

实施例五

图5为本发明实施例提供的一种目标对象的检测方法的应用场景图，具体设定目标对象为人物。如图5所示，本方案可以通过机载端配置的激光雷达和摄像头对目标区域进行检测，以采集目标区域对应的环境点云数据和环境图像数据。也就是说，本方案的候选采集设备包括激光雷达和摄像头。

通过机载端配置的激光雷达和摄像头对目标区域进行检测之前，需要先判断是否需要使用摄像头来采集目标区域对应的环境图像数据。

若需要，则获取激光雷达采集的环境点云数据和摄像头采集的环境图像数据，并基于环境图像数据进行人物识别与检测，确定标注框信息，将携带有人物标注框的环境图像数据和环境点云数据进行数据融合(也可以先对环境图像数据和环境点云数据进行数据融合后，再对环境图像数据进行人物识别、检测与标注，在此不做限定)，得到携带有人物标注框的彩色输出点云数据，并在人物标注框内中标注出人物的地理位置信息，得到最终标注后的彩色输出点云数据，并将其实时传输至地面端。

若不需要，则仅通过激光雷达获取环境点云数据，对获取的环境点云数据进行地面点云去除、非地面点云聚类分割，将聚类分割后得到的点云簇进行人物识别与检测，确定标注框信息，并将其添加到环境点云数据中，得到携带有人物标注框的无色彩输出点云数据，并在人物标注框内中标注出人物的地理位置信息，得到最终标注后的无彩色输出点云数据，并将其实时传输至地面端。

本发明实施例的技术方案，将目标对象设定为人物，通过选取当前场景的目标采集设备，提高了目标对象检测的灵活性，通过对人物进行目标对象检测，输出带有人物标记的输出点云数据，提高了基于点云数据对目标对象进行检测的准确性，并将定位点转换至地理坐标系下，确定了目标对象在地理坐标系下的真实定位点，使得在执行下游任务时，能够快速且直观的获取目标对象在地理坐标系下的地理位置数据。

实施例六

图6为本发明实施例提供的一种目标对象的检测装置的结构示意图。本实施例可适用于对目标对象进行检测的情况，尤其适用于基于激光雷达和摄像头采集的数据进行目标对象检测的情况。该装置可以执行目标对象的检测方法，该目标对象检测装置可以采用硬件和/或软件的形式实现，该目标对象检测装置可集成于电子设备中。如图6所示，该装置包括：

设备确定模块610，用于从候选采集设备中确定当前场景所需的目标采集设备。

设备判断模块620，用于判断目标采集设备是否为摄像头和激光雷达。

数据融合模块630，用于若是，则对摄像头采集的环境图像数据和激光雷达采集的环境点云数据进行融合处理，得到输出点云数据。

其中，激光雷达和摄像头安装于同一移动设备上。

对象标注模块640，用于基于环境图像数据进行目标对象检测，并根据检测结果，在输出点云数据中标注目标对象。

本实施例的技术方案，通过从候选采集设备中筛选出当前场景所需的目标采集设备，若目标采集设备包含摄像头和激光雷达，则对摄像头采集的环境图像数据和激光雷达采集的环境点云数据进行融合处理，得到输出点云数据，根据环境图像数据对目标对象进行检测，并将目标对象标注在输出点云数据中，本方案需要选取适合当前场景的采集设备，并在选取的采集设备包含摄像头的情况下，结合摄像头采集的环境图像数据协助激光雷达采集的点云数据进行目标对象检测，解决了仅基于点云数据进行目标对象检测存在精确度低的问题，提高了目标对象检测的精准性。

可选的，设备确定模块610可用于执行如下至少一种：

响应于用户的配置指令，从候选采集设备中确定当前场景所需的目标采集设备。

根据当前环境信息，从候选采集设备中确定当前场景所需的目标采集设备；

根据摄像头采集的环境图像数据的图像质量，从候选采集设备中确定当前场景所需的目标采集设备。

可选的，对象标注模块640包括：

目标对象检测单元，用于通过图像目标检测模型，对环境图像数据进行目标对象检测，得到目标对象在环境图像数据中的标注框信息。

标注框映射单元，用于将目标对象在环境图像数据中的标注框信息，映射到输出点云数据中，得到目标对象在输出点云数据中的标注框信息。

目标对象标注单元，用于根据目标对象在输出点云数据中的标注框信息，在输出点云数据中标注目标对象。

进一步的，目标对象检测单元包括：

目标检测子单元，用于通过图像目标检测模型中的目标检测网络，对环境图像数据进行目标对象检测，得到预测框信息。

匹配追踪子单元，用于通过图像目标检测模型中的匹配追踪网络，对预测框信息进行解析，得到目标对象在环境图像数据中的标注框信息。

可选的，该装置还包括：

输出点云确定模块，用于若目标采集设备中不包含摄像头，且仅有激光雷达，则将激光雷达采集的环境点云数据作为输出点云数据。

上述对象标注模块640，还用于基于输出点云数据进行目标对象检测，并根据检测结果，在输出点云数据中标注目标对象。

进一步的，上述对象标注模块640具体用于：

对输出点云数据进行地面点云去除处理，得到非地面点云。

对非地面点云进行聚类，得到至少一组点云簇。

通过点云目标检测模型，对至少一组点云簇进行目标对象检测，得到目标对象在输出点云数据中的标注框信息。

根据目标对象在输出点云数据中的标注框信息，在输出点云数据中标注目标对象。

可选的，该装置还包括：

定位点确定模块，用于根据目标对象在输出点云数据中的标注框信息，确定目标对象在雷达坐标系下的定位点。

地理位置确定模块，用于根据移动设备上安装的组合惯导和定位模块采集的位姿数据，确定定位点对应的地理位置数据。

地理位置标注模块，用于在输出点云数据的定位点处标注地理位置数据。

上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。

实施例七

图7为本发明实施例七提供的一种电子设备的结构示意图，图7示出了适于用来实现本发明实施例实施方式的示例性设备的框图。图7显示的设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，电子设备700以通用计算设备的形式表现。电子设备700的组件可以包括但不限于：一个或者多个处理器或者处理单元710，系统存储器720，连接不同系统组件(包括系统存储器720和处理单元710)的总线730。

总线730表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

电子设备700典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备700访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器720可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)721和/或高速缓存存储器(高速缓存722)。电子设备700可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统723可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线730相连。系统存储器720可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明实施例各实施例的功能。

具有一组(至少一个)程序模块724的程序/实用工具725，可以存储在例如系统存储器720中，这样的程序模块724包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块724通常执行本发明实施例所描述的实施例中的功能和/或方法。

电子设备700也可以与一个或多个外部设备800(例如键盘、指向设备、显示器810等)通信，还可与一个或者多个使得用户能与该电子设备700交互的设备通信，和/或与使得该电子设备700能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口740进行。并且，电子设备700还可以通过网络适配器750与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器750通过总线730与电子设备700的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备700使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元710通过运行存储在系统存储器720中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的悬架高度调节的方法。

实施例八

本发明实施例八还提供一种计算机可读存储介质，其上存储有计算机程序(或称为计算机可执行指令)，该程序被处理器执行时用于执行本发明实施例所提供的悬架高度调节的方法时使用。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明实施例进行了较为详细的说明，但是本发明实施例不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种目标对象的检测方法，其特征在于，包括：

从候选采集设备中确定当前场景所需的目标采集设备；

判断所述目标采集设备是否为摄像头和激光雷达；

若是，则对所述摄像头采集的环境图像数据和所述激光雷达采集的环境点云数据进行融合处理，得到输出点云数据；其中，所述激光雷达和所述摄像头安装于同一移动设备上；

基于所述环境图像数据进行目标对象检测，并根据检测结果，在所述输出点云数据中标注所述目标对象。

2.根据权利要求1所述的方法，其特征在于，所述从候选采集设备中确定当前场景所需的目标采集设备，包括如下至少一种：

响应于用户的配置指令，从候选采集设备中确定当前场景所需的目标采集设备；

根据当前环境信息，从候选采集设备中确定当前场景所需的目标采集设备；

根据摄像头采集的环境图像数据的图像质量，从候选采集设备中确定当前场景所需的目标采集设备。

3.根据权利要求1所述的方法，其特征在于，基于所述环境图像数据进行目标对象检测，并根据检测结果，在所述输出点云数据中标注所述目标对象，包括：

通过图像目标检测模型，对所述环境图像数据进行目标对象检测，得到所述目标对象在所述环境图像数据中的标注框信息；

将所述目标对象在所述环境图像数据中的标注框信息，映射到所述输出点云数据中，得到所述目标对象在输出点云数据中的标注框信息；

根据所述目标对象在输出点云数据中的标注框信息，在所述输出点云数据中标注所述目标对象。

4.根据权利要求3所述的方法，其特征在于，通过图像目标检测模型，对所述环境图像数据进行目标对象检测，得到所述目标对象在所述环境图像数据中的标注框信息，包括：

通过图像目标检测模型中的目标检测网络，对所述环境图像数据进行目标对象检测，得到预测框信息；

通过所述图像目标检测模型中的匹配追踪网络，对所述预测框信息进行解析，得到所述目标对象在所述环境图像数据中的标注框信息。

5.根据权利要求1所述的方法，其特征在于，判断所述目标采集设备是否为摄像头和激光雷达之后，还包括：

若所述目标采集设备中不包含摄像头，且仅有激光雷达，则将所述激光雷达采集的环境点云数据作为输出点云数据；

基于所述输出点云数据进行目标对象检测，并根据检测结果，在所述输出点云数据中标注所述目标对象。

6.根据权利要求5所述的方法，其特征在于，基于所述输出点云数据进行目标对象检测，并根据检测结果，在所述输出点云数据中标注所述目标对象；包括：

对所述输出点云数据进行地面点云去除处理，得到非地面点云；

对所述非地面点云进行聚类，得到至少一组点云簇；

通过点云目标检测模型，对所述至少一组点云簇进行目标对象检测，得到所述目标对象在所述输出点云数据中的标注框信息；

根据所述目标对象在所述输出点云数据中的标注框信息，在所述输出点云数据中标注所述目标对象。

7.根据权利要求1-6中任一项所述的方法，其特征在于，在所述输出点云数据中标注所述目标对象之后，还包括：

根据所述目标对象在输出点云数据中的标注框信息，确定所述目标对象在雷达坐标系下的定位点；

根据所述移动设备上安装的组合惯导和定位模块采集的位姿数据，确定所述定位点对应的地理位置数据；

在所述输出点云数据的所述定位点处标注所述地理位置数据。

8.一种目标对象的检测装置，其特征在于，包括：

设备确定模块，用于从候选采集设备中确定当前场景所需的目标采集设备；

设备判断模块，用于判断所述目标采集设备是否为摄像头和激光雷达；

数据融合模块，用于若是，则对所述摄像头采集的环境图像数据和所述激光雷达采集的环境点云数据进行融合处理，得到输出点云数据；其中，所述激光雷达和所述摄像头安装于同一移动设备上；

对象标注模块，用于基于所述环境图像数据进行目标对象检测，并根据检测结果，在所述输出点云数据中标注所述目标对象。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的目标对象的检测方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的目标对象的检测方法。

Images