CN114612754A - 目标检测方法、装置、设备及存储介质 - Google Patents

Abstract

本公开涉及一种目标检测方法、装置、设备及存储介质。本公开通过获取当前时刻的环境点云和当前时刻的环境图像，在当前时刻的环境点云中确定候选目标的当前轮廓和当前分类，在所述当前轮廓中获取与所述候选目标关联的点集，并获得所述点集的体素化特征。由于环境图像具有更丰富的语义信息，能够更容易区分前景和背景，从而可以减少目标漏检的问题。通过将所述点集的体素化特征和所述当前时刻的环境图像的图像特征进行融合，得到融合后的特征，从而可以根据融合后的特征，对所述候选目标的当前轮廓、当前分类进行修正，得到修正结果，从而输出更加精准的目标检测结果。防止可移动平台出现不合理减速、急刹等问题，并且可以有效避免交通事故隐患。

Description

目标检测方法、装置、设备及存储介质

技术领域

本公开涉及信息技术领域，尤其涉及一种目标检测方法、装置、设备及存储介质。

背景技术

在自动驾驶车辆、机器人、无人机等可移动平台的算法系统中，环境感知是重要的组成部分。其中，环境感知的核心功能是目标检测。可移动平台通过目标检测可以感知到其周围的目标物体，该目标物体可能是行人、其他车辆、骑车人、障碍物等。因此，目标检测的准确率对环境感知十分重要。

通常情况下，可移动平台上可设置有激光雷达，激光雷达具有测距精度高、三维信息丰富、全天候等特点。因此，以激光雷达为主的目标检测算法被普遍采用。

但是，本申请的发明人发现，使用激光雷达进行目标检测，容易出现目标漏检、误检、回归不准等问题，从而导致可移动平台出现不合理减速、急刹等问题，甚至还可能存在交通事故隐患。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种目标检测方法、装置、设备及存储介质，以输出更加精准的目标检测结果。防止可移动平台出现不合理减速、急刹等问题，并且可以有效避免交通事故隐患。从而确保可移动平台具备可靠、稳定的感知输出能力。

第一方面，本公开实施例提供一种目标检测方法，包括：

获取当前时刻的环境点云和环境图像；

在所述当前时刻的环境点云中确定候选目标的当前轮廓和当前分类；

在所述当前轮廓中获取与所述候选目标关联的点集，并获得所述点集的体素化特征；将所述点集的体素化特征和所述当前时刻的环境图像的图像特征进行融合，得到融合后的特征；

根据所述融合后的特征，对所述候选目标的当前轮廓和/或当前分类进行修正，得到修正结果。

第二方面，本公开实施例提供一种目标检测装置，包括：

第一获取模块，用于获取当前时刻的环境点云和环境图像；

确定模块，用于在所述当前时刻的环境点云中确定候选目标的当前轮廓和当前分类；

第二获取模块，用于在所述当前轮廓中获取与所述候选目标关联的点集，并获得所述点集的体素化特征；

融合模块，用于将所述点集的体素化特征和所述当前时刻的环境图像的图像特征进行融合，得到融合后的特征；

修正模块，用于根据所述融合后的特征，对所述候选目标的当前轮廓和/或当前分类进行修正，得到修正结果。

第三方面，本公开实施例提供一种电子设备，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面所述的方法。

第四方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现第一方面所述的方法。

本公开实施例提供的目标检测方法、装置、设备及存储介质，通过获取当前时刻的环境点云和当前时刻的环境图像，在当前时刻的环境点云中确定候选目标的当前轮廓和当前分类，在所述当前轮廓中获取与所述候选目标关联的点集，并获得所述点集的体素化特征。由于环境图像具有更丰富的语义信息，能够更容易区分前景和背景，从而可以减少目标漏检的问题。通过将所述点集的体素化特征和所述当前时刻的环境图像的图像特征进行融合，得到融合后的特征，从而可以根据融合后的特征，对所述候选目标的当前轮廓、当前分类中的至少一项进行修正，得到修正结果，从而输出更加精准的目标检测结果。防止可移动平台出现不合理减速、急刹等问题，并且可以有效避免交通事故隐患。从而确保可移动平台具备可靠、稳定的感知输出能力。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的应用场景的示意图；

图2为本公开实施例提供的目标检测方法流程图；

图3为本公开实施例提供的点云的示意图；

图4为本公开另一实施例提供的目标检测方法流程图；

图5为本公开另一实施例提供的目标检测方法流程图；

图6为本公开另一实施例提供的点云的示意图；

图7为本公开另一实施例提供的目标检测方法流程图；

图8为本公开实施例提供的目标检测装置的结构示意图；

图9为本公开实施例提供的电子设备实施例的结构示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

通常情况下，可移动平台例如自动驾驶车辆、机器人、无人机等设备上可设置有激光雷达，激光雷达具有测距精度高、三维信息丰富、全天候等特点。因此，以激光雷达为主的目标检测算法被普遍采用。如图1所示，以自动驾驶车辆为例，该自动驾驶车辆上的激光雷达可以发出一圈一圈的探测信号，例如，将每一圈探测信号视为一个圆，按照图1所示的箭头方向，每相邻两个圆之间的距离不断增大，并且越向外，圆上的探测点越稀疏。也就是说，离自动驾驶车辆越远的地方，探测点越稀疏，因此，会出现目标漏检、误检、回归不准等问题，从而导致可移动平台出现不合理减速、急刹等问题，甚至还可能存在交通事故隐患。针对该问题，本公开实施例提供了一种目标检测方法，下面结合具体的实施例对该方法进行介绍。

图2为本公开实施例提供的目标检测方法流程图。该方法可以应用于自动驾驶车辆、机器人、无人机等可移动平台的环境感知。以自动驾驶车辆为例，该自动驾驶车辆上可以设置有激光雷达和拍摄装置，该拍摄装置可以是摄像头、相机等。具体的，该方法可以由车载设备执行，该车载设备可以是车机、手机、平板电脑、笔记本电脑、可穿戴设备等，该车载设备可以分别与激光雷达和拍摄装置连接，从而使得该车载设备可以根据激光雷达获得的点云、以及拍摄装置获得的图像信息，实现目标检测。或者，在一些实施例中，该方法还可以由远程服务器来执行，例如，该自动驾驶车辆上的通信模块可以将激光雷达获得的点云、以及拍摄装置获得的图像信息发送给远程服务器，从而使得远程服务器可以根据点云和图像信息实现目标检测。下面以车载设备为例，如图2所示，该方法具体步骤如下：

S201、获取当前时刻的环境点云和环境图像。

例如，该可移动平台是图1所示的自动驾驶车辆，该自动驾驶车辆上安装有激光雷达和拍摄装置。激光雷达可以获得自动驾驶车辆周围环境的点云。拍摄装置可以对自动驾驶车辆周围环境进行拍摄得到图像信息。例如，激光雷达可以实时获得点云，拍摄装置可以实时获得图像信息。激光雷达最新获得的点云可以记为当前时刻的环境点云，拍摄装置最新获得的图像信息可以记为当前时刻的环境图像。可以理解的是，激光雷达可以按照第一预设时间间隔周期性获得点云，拍摄装置可以按照第二预设时间间隔周期性获得图像信息，第一预设时间间隔和第二预设时间间隔可以相同，也可以不同。进一步，自动驾驶车辆中的车载设备可以从激光雷达获取当前时刻的环境点云、以及从拍摄装置获取当前时刻的环境图像。

S202、在所述当前时刻的环境点云中确定候选目标的当前轮廓和当前分类。

例如，图3所示是当前时刻的环境点云的示意图，可以理解的是，激光雷达在不同时间获得的环境点云可能是不同的。如图3所示的当前时刻的环境点云所在的坐标系可以是以激光雷达的中心为坐标原点的坐标系，该坐标系可以是三维坐标系，当前时刻的环境点云中的每个点对应有一个三维坐标，并且当前时刻的环境点云中的每个点可以对应激光雷达探测到的周围环境中的一个采样点。另外，当前时刻的环境点云中每个点的三维坐标可以表示一个采样点的空间坐标，该三维坐标与坐标原点之间的距离是该采样点距离激光雷达的距离。也就是说，在获得自动驾驶车辆周围环境中每个采样点的空间坐标后，得到的是一个点的集合，该集合称之为点云(Point Cloud)。

例如，车载设备可以对当前时刻的环境点云或当前时刻的环境点云中的部分点进行点云聚类，得到当前时刻的环境点云中候选目标当前的长宽高、中心点、角度等信息，其中，候选目标的个数可以是一个或多个。角度可以是候选目标相对于激光雷达的角度。进一步，车载设备可以根据候选目标当前的长宽高、中心点、角度等信息，得到候选目标当前的三维框、当前分类、以及当前三维框内的点。其中，候选目标当前的三维框可以是候选目标的当前轮廓。例如图3所示的框30是候选目标1的当前轮廓，框31是候选目标2的当前轮廓，框32是候选目标3的当前轮廓。候选目标1的当前分类是障碍物，候选目标2的当前分类是马路边缘，候选目标3的当前分类是马路边缘。另外，框30内的点可以视为障碍物表面的采样点，框31和框32内的点可以视为马路边缘表面的采样点。

可选的，所述候选目标通过如下方式进行确定：根据所述当前时刻的环境点云中置信度小于第一阈值的目标点确定；或者根据所述当前时刻的环境点云中置信度大于或等于第一阈值的目标点、以及部分前景点确定；或者根据所述当前时刻的环境图像的三维检测结果确定。

例如图4所示为车载设备的算法系统框架图，该框架中包括三个模块，分别是候选目标生成模块41、异常目标筛选与修正模块42和目标融合模块。其中，候选目标生成模块41可以生成候选目标。例如，候选目标生成模块41中的检测模型可以输出当前时刻的环境点云中的每个点是目标点的概率值，其中，若当前时刻的环境点云中的某个点是目标点的概率值大于阈值，则说明当前时刻的环境点云中的该点与自动驾驶车辆周围环境中目标物体表面的一个采样点对应，该目标物体可以是行人、其他车辆、骑车人、障碍物等。因此，根据当前时刻的环境点云中的每个点是目标点的概率值，可以将当前时刻的环境点云中的点划分为高置信度目标点和低置信度目标点。其中，高置信度目标点可以是当前时刻的环境点云中概率值大于第一阈值的点，低置信度目标点可以是当前时刻的环境点云中概率值小于第二阈值的点，其中，第一阈值和第二阈值可以相同，也可以不同，如果不同，则第一阈值可以大于第二阈值。

在第一种可行的实现方式中，将低置信度目标点从当前时刻的环境点云中取出，然后基于目标物体一般存在于路面之上这一先验，通过高精地图检索到包含路面、路口的可驾驶区域(The Region of Interest，ROI)对低置信度目标点进行过滤，从而保留该低置信度目标点中处于路面上的点，进一步，对该低置信度目标点中处于路面上的点进行点云聚类，从而生成候选目标。

在第二种可行的实现方式中，对当前时刻的环境点云中不属于低概率值的点和部分前景点进行点云聚类，从而生成候选目标。

在第三种可行的实现方式中，将当前时刻的环境图像的三维检测结果作为候选目标。该三维检测结果可以是三维框，该三维框中包括目标点。该三位框可以和点云在同一个坐标系中。

其中，通过上述三种方法得到的候选目标可以是不同的，如果相同，则可以进行去重处理。可以理解的是，上述三种生成候选目标的方式可以是并行执行的，从而使得车载设备可以在同一时刻检测出多个候选目标，使得候选目标生成模块41可以输出多个候选目标中每个候选目标的当前轮廓和当前分类。在另一些实施例中，候选目标生成模块41可以输出多个候选目标中每个候选目标的当前轮廓、当前分类、以及所述当前轮廓内的点。每个候选目标可以对应一个通道，候选目标生成模块41可以通过一个通道将一个候选目标的当前轮廓、当前分类、以及所述当前轮廓内的点提供给异常目标筛选与修正模块42。也就是说，候选目标生成模块41可以通过多个通道将多个候选目标的相关信息(例如，当前轮廓、当前分类、以及所述当前轮廓内的点)并行的提供给异常目标筛选与修正模块42。从而使得异常目标筛选与修正模块42可以对多个候选目标的相关信息并行处理。或者，在其他一些实施例中，候选目标生成模块41可以将多个候选目标的相关信息串行的提供给异常目标筛选与修正模块42。从而使得异常目标筛选与修正模块42可以对多个候选目标的相关信息串行处理。

下面以异常目标筛选与修正模块42处理一个候选目标的相关信息为例进行示意性说明。

S203、在所述当前轮廓中获取与所述候选目标关联的点集，并获得所述点集的体素化特征。

例如图4所示的异常目标筛选与修正模块42的具体结构可以是图5所示的结构。其中，图4中的目标确定性分类模块、目标重分类模块、目标重回归模块对应于图5中的实例分支，图4中的体素化重回归对应于图5中的点分支。

异常目标筛选与修正模块42的核心是基于多模态融合的二阶异常检测神经网络模型FADNet。FADNet的输入是如图5所示的点集和图像特征。其中，点集是根据候选目标的当前轮廓，从当前时刻的环境点云中获取的与该候选目标关联的点集。该图像特征可以是如上所述的当前时刻的环境图像的图像特征。如图5所示，对该点集进行体素化，从而得到该点集的体素化特征。

S204、将所述点集的体素化特征和所述当前时刻的环境图像的图像特征进行融合，得到融合后的特征。

如图5所示，对该图像特征进行二维卷积得到的结果还可以是图像特征，只是经过二维卷积后的图像特征的信息更丰富。进一步，将该点集的体素化特征和经过二维卷积后的图像特征进行特征融合，从而得到融合后的特征。

其中，该点集可以是从当前时刻的环境点云中确定的点集。或者，该点集是将历史点云映射到当前时刻的环境点云所在的坐标系后，从该坐标系下更加丰富的点云中确定的点集。

S205、根据所述融合后的特征，对所述候选目标的当前轮廓和/或当前分类进行修正，得到修正结果。

如图5所示，融合后的特征经过三维稀疏卷积编码器和三维稀疏卷积解码器做进一步的特征提取，三维稀疏卷积解码器输出的还是融合后的特征，只是该融合后的特征的信息更丰富。进一步，实例分支可以根据三维稀疏卷积解码器输出的融合后的特征，对候选目标的当前轮廓、当前分类进行判断，如图5所示，实例分支的输入包括三维稀疏卷积解码器输出的融合后的特征、以及候选目标生成模块41输出的候选目标的当前轮廓、当前分类。该实例分支包括分类器，该分类器可以输出3个结果中的一个，该3个结果分别是正常、误检、回归不准。具体的，当候选目标的当前轮廓和当前分类均正确时，该分类器输出正常。当候选目标的当前分类不正确时，该分类器输出误检。当候选目标的当前轮廓不正确时，该分类器输出回归不准。具体的，该分类器的输出结果可以是实例分支输出的判断结果。

如图5所示，点分支可以根据三维稀疏卷积解码器输出的融合后的特征，对该当前轮廓内的点进行判断。例如，点分支的输入包括三维稀疏卷积解码器输出的融合后的特征、以及候选目标生成模块41输出的候选目标的当前轮廓内的点，默认候选目标生成模块41输出的当前轮廓内的每个点是目标点的概率值大于第一阈值，即默认候选目标生成模块41输出的当前轮廓内的点与自动驾驶车辆周围环境中目标物体表面的采样点对应。具体的，点分支可以判断候选目标生成模块41输出的当前轮廓内的每个点是否与自动驾驶车辆周围环境中目标物体表面的采样点对应，如果当前轮廓内有50％以上的点并不与自动驾驶车辆周围环境中目标物体表面的采样点对应，则该点分支可以输出错误的判断结果。如果当前轮廓内有90％以上的点与自动驾驶车辆周围环境中目标物体表面的采样点对应，则该点分支可以输出正确的判断结果，并输出当前轮廓内的哪些点不与自动驾驶车辆周围环境中目标物体表面的采样点对应。可以理解的是，此处的50％、90％只是一种阈值的示意性说明，在其他实施例中，并不限定阈值的种类、以及阈值的具体数值。

如图5所示的结果融合模块可以对实例分支输出的判断结果和点分支输出的判断结果进行融合，例如，可以根据实例分支输出的判断结果和点分支输出的判断结果，对候选目标的当前轮廓、当前分类、以及所述当前轮廓内的点中的至少一项进行修正，得到修正结果。

本公开实施例通过获取当前时刻的环境点云和当前时刻的环境图像，在当前时刻的环境点云中确定候选目标的当前轮廓和当前分类，在所述当前轮廓中获取与所述候选目标关联的点集，并获得所述点集的体素化特征。由于环境图像具有更丰富的语义信息，能够更容易区分前景和背景，从而可以减少目标漏检的问题。通过将所述点集的体素化特征和所述当前时刻的环境图像的图像特征进行融合，得到融合后的特征，从而可以根据融合后的特征，对所述候选目标的当前轮廓、当前分类中的至少一项进行修正，得到修正结果，从而输出更加精准的目标检测结果。防止可移动平台出现不合理减速、急刹等问题，并且可以有效避免交通事故隐患。从而确保可移动平台具备可靠、稳定的感知输出能力。

在一种可能的实现方式中，所述在所述当前轮廓中获取与所述候选目标关联的点集，包括：在当前时刻的环境点云中获得在所述当前轮廓内的点以及所述候选目标的周围环境点，并将所述当前轮廓内的点以及所述候选目标的周围环境点作为所述候选目标关联的点集。

如图6所示，框30是候选目标1的当前轮廓，根据当前轮廓，可以从当前时刻的环境点云中获取与候选目标1关联的点集，该点集不仅包括该框30内的点，同时还可以包括候选目标1的周围环境点，该周围环境点可以是框30之外，且距离框30在预设范围内的点。例如，该点集为图6所示的集合60。

在另一种可能的实现方式中，所述在所述当前轮廓中获取与所述候选目标关联的点集之前，所述方法还包括：将历史时刻的环境点云映射到所述当前时刻的环境点云所在的坐标系下，得到融合后的点云；相应的，所述在所述当前轮廓中获取与所述候选目标关联的点集，包括：在融合后的点云中获得在所述当前轮廓内的点以及所述候选目标的周围环境点，并将所述当前轮廓内的点以及所述候选目标的周围环境点作为所述候选目标关联的点集。

例如，当前时刻记为t。t-1、t-2、…、t-n依次记为历史时刻。激光雷达在当前时刻获得的点云记为当前时刻的环境点云。激光雷达在历史时刻获得的点云记为历史点云，例如，激光雷达在历史时刻t-1获得的点云记为第一历史点云，激光雷达在历史时刻t-2获得的点云记为第二历史点云，以此类推，激光雷达在历史时刻t-n获得的点云记为第n历史点云。在本实施例中，还可以将第一历史点云、第二历史点云、…、第n历史点云依次映射到当前时刻的环境点云所在的坐标系下，从而使得当前时刻的环境点云所在的坐标系下存在更加丰富的点云。此处，可以将历史点云映射到该坐标系下的点云和该坐标系下原有的当前时刻的环境点云构成的整体记为融合后的点云。进一步，根据候选目标的当前轮廓，从该融合后的点云中获取与该候选目标关联的点集，同理，该点集可以包括该当前轮廓内的点、以及该候选目标的周围环境点。但是，该点集所含的点要比如图6所示的集合60所含的点更加丰富。

本实施例通过将历史点云映射到所述当前时刻的环境点云所在的坐标系下，得到融合后的点云；根据所述当前轮廓，从所述融合后的点云中获取与所述候选目标关联的点集，从而使得点集中的点更加丰富。由于离自动驾驶车辆越远的地方，探测点越稀疏，因此，离自动驾驶车辆较远的目标物体可能在某些时刻下会被检测到，在某些时刻下可能无法被检测到，通过将历史点云映射到当前时刻的环境点云所在的坐标系下，可使得不同时刻下的点云被叠加在一起，从而可以进一步有效防止漏检。

在上述实施例的基础上，所述根据所述融合后的特征，对所述候选目标的当前轮廓和/或当前分类进行修正，得到修正结果，包括如图7所示的如下几个步骤：

S701、根据所述融合后的特征，重新确定所述候选目标的轮廓和分类。

如图5所示，FADNet中的三维稀疏卷积解码器可以输出融合后的特征。进一步，如图4所示，目标重分类模块可以重新确定候选目标的分类。目标重回归模块可以重新确定候选目标的轮廓，并计算该重新确定的轮廓与候选目标生成模块41输出的候选目标的当前轮廓之间的偏移量。在一些实施例中，目标重回归模块重新确定的候选目标的轮廓可以是该候选目标的实际轮廓。

S702、若重新确定的轮廓与所述当前轮廓之间的偏移量大于第二阈值，则根据所述偏移量对所述当前轮廓进行修正，得到修正后的轮廓。

具体的，如图4所示的目标确定性分类模块具体可以是如上所述的分类器，该分类器可以输出3个结果中的一个，该3个结果分别是正常、误检、回归不准。例如，若目标重回归模块重新确定的候选目标的轮廓与候选目标生成模块41输出的候选目标的当前轮廓之间的偏移量大于第二阈值，说明候选目标的当前轮廓不准确，此时，分类器输出回归不准。如图5所示的结果融合模块可以根据分类器输出的回归不准，从目标重回归模块获取该偏移量，并根据该偏移量对该当前轮廓进行修正，得到修正后的轮廓。

S703、若重新确定的分类与所述当前分类不一致，则对所述当前分类进行修正，得到修正后的分类。

例如，当目标重分类模块重新确定的候选目标的分类与候选目标生成模块41输出的候选目标的当前分类不一致时，分类器输出误检。此时，结果融合模块可以根据分类器输出的误检，从目标重分类模块获取重新确定的候选目标的分类，并将重新确定的分类作为对当前分类进行修正后的分类。

可选的，若重新确定的分类与所述当前分类不一致，则删除所述候选目标，或者对所述候选目标进行标注。

例如，当分类器输出误检时，说明重新确定的分类与所述当前分类不一致，此时，可以删除给候选目标，或者对该候选目标进行标注，例如，将该候选目标标注为不确定目标。

当分类器输出回归不准时，该候选目标可以不被删除，而是根据如上所述的偏移量对该候选目标的当前轮廓进行修正。

S704、根据所述融合后的特征，重新确定所述修正后的轮廓或所述当前轮廓内的每个点是否为目标点。

例如图4所示的体素化重回归模块可以对候选目标生成模块41输出的候选目标的当前轮廓内的每个点重新进行判断，例如，判断每个点是否为目标点，若某个点是目标点，则说明该点与自动驾驶车辆周围环境中目标物体表面的采样点对应。若某个点不是目标点，则说明该点与自动驾驶车辆周围环境中目标物体表面的采样点不对应。

或者若当前轮廓被修正后，体素化重回归模块可以对修正后的轮廓内的每个点重新进行判断，从而重新确定该修正后的轮廓内的每个点是否为目标点。

所述修正结果包括如下至少一项：所述修正后的轮廓、所述修正后的分类、所述修正后的轮廓或所述当前轮廓内排除非目标点后的点。例如，如果图5所示的实例分支输出正常，点分支输出正确，则如图5所示的结果融合模块生成的融合结果包括：候选目标生成模块41输出的候选目标的当前轮廓、当前分类、以及当前轮廓内的点。

如果图5所示的实例分支输出误检，点分支输出错误，则删除该候选目标或对该候选目标进行标注。

如果图5所示的实例分支输出回归不准，点分支输出错误，则结果融合模块生成的融合结果包括：候选目标生成模块41输出的候选目标的当前分类、修正后的轮廓、以及修正后的轮廓或当前轮廓内排除非目标点后的点。

如果图5所示的实例分支输出正常，点分支输出错误，则结果融合模块生成的融合结果包括：候选目标生成模块41输出的候选目标的当前轮廓、当前分类、当前轮廓内排除非目标点后的点。

如果图5所示的实例分支输出误检，点分支输出正确，结果融合模块生成的融合结果包括：修正后的分类、候选目标的当前轮廓、当前轮廓内的点。

如果图5所示的实例分支输出回归不准，点分支输出正确，此时，可以给候选目标的当前轮廓打标记，以表示该候选目标是不确定目标。或者可以删除该候选目标。再或者结果融合模块可以输出候选目标的当前分类、修正后的轮廓、修正后的轮廓内排除非目标点后的点。

另外，所述方法还包括：若所述修正结果与参考信息匹配成功，则输出所述修正结果；若所述修正结果与参考信息匹配失败，则对所述修正结果进行标注，或不输出所述修正结果；其中，所述参考信息包括所述当前时刻的环境图像的三维检测结果、所述候选目标的历史轮廓、毫米波雷达的探测结果中的至少一个。

如图4所示，目标融合模块的输入包括结果融合模块生成的融合结果、高置信度目标点、以及当前时刻的环境图像的三维检测结果中的至少两个。其中，结果融合模块生成的融合结果可以记为修正结果。

当目标融合模块的输入包括结果融合模块生成的融合结果和高置信度目标点时，此时，结果融合模块生成的融合结果和高置信度目标点之间的关联性不强，目标融合模块可以直接输出结果融合模块生成的融合结果和高置信度目标点。

当目标融合模块的输入包括结果融合模块生成的融合结果和当前时刻的环境图像的三维检测结果时，由于结果融合模块生成的融合结果和当前时刻的环境图像的三维检测结果之间的关联性较强，因此，目标融合模块可以对结果融合模块生成的融合结果和当前时刻的环境图像的三维检测结果进行融合。例如，结果融合模块生成的融合结果中包括候选目标的轮廓(例如三维框)，当前时刻的环境图像的三维检测结果中也包括候选目标的轮廓(例如三维框)，如果这两个轮廓的重叠度较高，则说明两个轮廓匹配，则目标融合模块可以输出结果融合模块生成的融合结果。如果这两个轮廓的重叠度较低，则目标融合模块可以给该候选目标打标，以表示该候选目标是不确定性的目标，或者目标融合模块没有输出。

如果结果融合模块生成的融合结果中包括候选目标的轮廓，当前时刻的环境图像的三维检测结果中不包括候选目标的轮廓，则目标融合模块可以给该候选目标打标，以表示该候选目标是不确定性的目标。

在其他一些实施例中，目标融合模块的输入还可以包括候选目标的历史轮廓和/或毫米波雷达的探测结果。

例如，当结果融合模块生成的融合结果中包括候选目标的轮廓，且该轮廓与当前时刻的环境图像的三维检测结果、候选目标的历史轮廓、毫米波雷达的探测结果中的至少一个匹配时，目标融合模块可以输出结果融合模块生成的融合结果。

如果结果融合模块生成的融合结果中包括候选目标的轮廓，且该轮廓与当前时刻的环境图像的三维检测结果、候选目标的历史轮廓、毫米波雷达的探测结果中的任意一个都不匹配，则目标融合模块可以给该候选目标打标，以表示该候选目标是不确定性的目标。

本公开实施例通过将候选目标关联的点集的体素化特征和当前时刻的环境图像的图像特征进行融合，得到融合后的特征，使得融合后的特征不仅包括该候选目标的点云成分，同时还可以包括该候选目标的图像特征，因此，根据融合后的特征，可以准确的对候选目标的当前轮廓、当前分类、以及所述当前轮廓内的点进行修正。此外，修正后的结果还可以与当前时刻的环境图像的三维检测结果、候选目标的历史轮廓、毫米波雷达的探测结果中的至少一个进行融合，从而输出更加精准的目标检测结果。因此，相比于现有技术中以深度神经网络模型为主的激光雷达的目标检测方案，本公开实施例不需要对深度神经网络模型进行优化，例如，不需要修改模型结构、增加训练数据、优化模型训练参数等。虽然对深度神经网络模型进行优化，能够在一定程度上提升目标检测的效果，但是，该优化过程很难对激光雷达固有的特性(例如目标漏检、误检、回归不准等问题)进行突破，而本公开实施例不仅可以避免目标漏检、误检、回归不准等问题，还可以避免由于对深度神经网络模型进行优化导致的周期长、预期效果不明确的问题。

此外，本公开实施例并不是在一阶点云检测阶段(例如图4所示的检测模型)对点云和图像进行融合，而且对点云和图像进行融合需要建立在标定精确、路面平整的前提下。本公开实施例是在二阶异常检测神经网络模型FADNet中对点云中部分点构成的点集的体素化特征和图像特征进行融合，因此，不需要严格的使用条件，从而提高了适用性。

图8为本公开实施例提供的目标检测装置的结构示意图。本公开实施例提供的目标检测装置可以执行目标检测方法实施例提供的处理流程，如图8所示，目标检测装置80包括：

第一获取模块81，用于获取当前时刻的环境点云和环境图像；

确定模块82，用于在所述当前时刻的环境点云中确定候选目标的当前轮廓和当前分类；

第二获取模块83，用于在所述当前轮廓中获取与所述候选目标关联的点集，并获得所述点集的体素化特征；

融合模块84，用于将所述点集的体素化特征和所述当前时刻的环境图像的图像特征进行融合，得到融合后的特征；

修正模块85，用于根据所述融合后的特征，对所述候选目标的当前轮廓和/或当前分类进行修正，得到修正结果。

可选的，确定模块82还用于通过如下方式确定所述候选目标：

根据所述当前时刻的环境点云中置信度小于第一阈值的目标点确定；或者

根据所述当前时刻的环境点云中置信度大于或等于第一阈值的目标点、以及部分前景点确定；或者

根据所述当前时刻的环境图像的三维检测结果确定。

可选的，第二获取模块83在所述当前轮廓中获取与所述候选目标关联的点集时，具体用于：

在当前时刻的环境点云中获得在所述当前轮廓内的点以及所述候选目标的周围环境点，并将所述当前轮廓内的点以及所述候选目标的周围环境点作为所述候选目标关联的点集。

可选的，目标检测装置80还包括映射模块86，映射模块86用于在第二获取模块83在所述当前轮廓中获取与所述候选目标关联的点集之前，将历史时刻的环境点云映射到所述当前时刻的环境点云所在的坐标系下，得到融合后的点云；第二获取模块83在所述当前轮廓中获取与所述候选目标关联的点集时，具体用于：

在融合后的点云中获得在所述当前轮廓内的点以及所述候选目标的周围环境点，并将所述当前轮廓内的点以及所述候选目标的周围环境点作为所述候选目标关联的点集。

可选的，修正模块85根据所述融合后的特征，对所述候选目标的当前轮廓和/或当前分类进行修正，得到修正结果时，具体用于：

根据所述融合后的特征，重新确定所述候选目标的轮廓和分类；

若重新确定的轮廓与所述当前轮廓之间的偏移量大于第二阈值，则根据所述偏移量对所述当前轮廓进行修正，得到修正后的轮廓；

若重新确定的分类与所述当前分类不一致，则对所述当前分类进行修正，得到修正后的分类。

可选的，确定模块82还用于：

根据所述融合后的特征，重新确定所述修正后的轮廓或所述当前轮廓内的每个点是否为目标点；

所述修正结果包括如下至少一项：所述修正后的轮廓、所述修正后的分类、所述修正后的轮廓或所述当前轮廓内排除非目标点后的点。

可选的，目标检测装置80还包括：删除模块87，用于若重新确定的分类与所述当前分类不一致，则删除所述候选目标，或者对所述候选目标进行标注。

可选的，目标检测装置80还包括：输出模块88、标注模块89；其中，所述输出模块88用于若所述修正结果与参考信息匹配成功，则输出所述修正结果；标注模块89用于若所述修正结果与参考信息匹配失败，则对所述修正结果进行标注，或不输出所述修正结果；

其中，所述参考信息包括所述当前图像信息的三维检测结果、所述候选目标的历史轮廓、毫米波雷达的探测结果中的至少一个。

图8所示实施例的目标检测装置可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

以上描述了目标检测装置的内部功能和结构，该装置可实现为一种电子设备。图9为本公开实施例提供的电子设备实施例的结构示意图。如图9所示，该电子设备包括存储器91和处理器92。

存储器91用于存储程序。除上述程序之外，存储器91还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。

存储器91可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

处理器92与存储器91耦合，执行存储器91所存储的程序，以用于：

获取当前时刻的环境点云和环境图像；

在所述当前时刻的环境点云中确定候选目标的当前轮廓和当前分类；

在所述当前轮廓中获取与所述候选目标关联的点集，并获得所述点集的体素化特征；将所述点集的体素化特征和所述当前时刻的环境图像的图像特征进行融合，得到融合后的特征；

根据所述融合后的特征，对所述候选目标的当前轮廓和/或当前分类进行修正，得到修正结果。

进一步，如图9所示，电子设备还可以包括：通信组件93、电源组件94、音频组件95、显示器96等其它组件。图9中仅示意性给出部分组件，并不意味着电子设备只包括图9所示组件。

通信组件93被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件93经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件93还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

电源组件94，为电子设备的各种组件提供电力。电源组件94可以包括电源管理系统，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。

音频组件95被配置为输出和/或输入音频信号。例如，音频组件95包括一个麦克风(MIC)，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器91或经由通信组件93发送。在一些实施例中，音频组件95还包括一个扬声器，用于输出音频信号。

显示器96包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

另外，本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现上述实施例所述的目标检测方法。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种目标检测方法，其中，所述方法包括：

获取当前时刻的环境点云和环境图像；

在所述当前时刻的环境点云中确定候选目标的当前轮廓和当前分类；

在所述当前轮廓中获取与所述候选目标关联的点集，并获得所述点集的体素化特征；将所述点集的体素化特征和所述当前时刻的环境图像的图像特征进行融合，得到融合后的特征；

根据所述融合后的特征，对所述候选目标的当前轮廓和/或当前分类进行修正，得到修正结果。

2.根据权利要求1所述的方法，其中，所述候选目标通过如下方式进行确定：

根据所述当前时刻的环境点云中置信度小于第一阈值的目标点确定；或者

根据所述当前时刻的环境点云中置信度大于或等于第一阈值的目标点、以及部分前景点确定；或者

根据所述当前时刻的环境图像的三维检测结果确定。

3.根据权利要求1或2所述的方法，其中，所述在所述当前轮廓中获取与所述候选目标关联的点集，包括：

在当前时刻的环境点云中获得在所述当前轮廓内的点以及所述候选目标的周围环境点，并将所述当前轮廓内的点以及所述候选目标的周围环境点作为所述候选目标关联的点集。

4.根据权利要求3所述的方法，其中，所述在所述当前轮廓中获取与所述候选目标关联的点集之前，所述方法还包括：

将历史时刻的环境点云映射到所述当前时刻的环境点云所在的坐标系下，得到融合后的点云；

相应的，所述在所述当前轮廓中获取与所述候选目标关联的点集，包括：

在融合后的点云中获得在所述当前轮廓内的点以及所述候选目标的周围环境点，并将所述当前轮廓内的点以及所述候选目标的周围环境点作为所述候选目标关联的点集。

5.根据权利要求1所述的方法，其中，所述根据所述融合后的特征，对所述候选目标的当前轮廓和/或当前分类进行修正，得到修正结果，包括：

根据所述融合后的特征，重新确定所述候选目标的轮廓和分类；

若重新确定的轮廓与所述当前轮廓之间的偏移量大于第二阈值，则根据所述偏移量对所述当前轮廓进行修正，得到修正后的轮廓；

若重新确定的分类与所述当前分类不一致，则对所述当前分类进行修正，得到修正后的分类。

6.根据权利要求5所述的方法，其中，所述方法还包括：

根据所述融合后的特征，重新确定所述修正后的轮廓或所述当前轮廓内的每个点是否为目标点；

所述修正结果包括如下至少一项：所述修正后的轮廓、所述修正后的分类、所述修正后的轮廓或所述当前轮廓内排除非目标点后的点。

7.根据权利要求5所述的方法，其中，所述方法还包括：

若重新确定的分类与所述当前分类不一致，则删除所述候选目标，或者对所述候选目标进行标注。

8.根据权利要求1所述的方法，其中，所述方法还包括：

若所述修正结果与参考信息匹配成功，则输出所述修正结果；

若所述修正结果与参考信息匹配失败，则对所述修正结果进行标注，或不输出所述修正结果；

其中，所述参考信息包括所述当前时刻的环境图像的三维检测结果、所述候选目标的历史轮廓、毫米波雷达的探测结果中的至少一个。

9.一种目标检测装置，其中，包括：

第一获取模块，用于获取当前时刻的环境点云和环境图像；

确定模块，用于在所述当前时刻的环境点云中确定候选目标的当前轮廓和当前分类；

第二获取模块，用于在所述当前轮廓中获取与所述候选目标关联的点集，并获得所述点集的体素化特征；

融合模块，用于将所述点集的体素化特征和所述当前时刻的环境图像的图像特征进行融合，得到融合后的特征；

修正模块，用于根据所述融合后的特征，对所述候选目标的当前轮廓和/或当前分类进行修正，得到修正结果。

10.一种电子设备，其中，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-8中任一项所述的方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的方法。

Images