CN111860060A - 目标检测方法、装置、终端设备及计算机可读存储介质 - Google Patents

Abstract

本申请提供一种目标检测方法、装置、终端设备及计算机可读存储介质。所述方法包括：获取待检测点云数据，所述待检测点云数据为来源于待检测场景的点云数据，所述待检测场景包括待检测目标；将所述待检测点云数据输入至训练好的第一神经网络模型，以使得该第一神经网络模型识别所述待检测点云数据中属于所述待检测目标的目标表面的各个点云点；根据属于所述目标表面的各个点云点，确定所述目标表面的尺寸。本申请可以在一定程度上解决现有技术中无法准确检测目标对象尺寸的技术问题。

Description

目标检测方法、装置、终端设备及计算机可读存储介质

技术领域

本申请属于目标检测技术领域，尤其涉及一种目标检测方法、目标检测装置、终端设备及计算机可读存储介质。

背景技术

目前，很多领域都需要对场景中目标对象的特征进行检测，比如检测目标对象的尺寸或者目标对象是否为可滚动的形状等。

目前，对于目标对象尺寸的检测方法通常为点云平面拟合算法，比如RANSAC算法。点云平面拟合算法在确定目标对象尺寸时，需要预先设定一个位置范围，将位于该位置范围内的点云点确定为同一表面的点，然后根据位于同一表面的各个点云点的三维坐标实现表面尺寸检测。显然，对于表面凹凸较大的目标对象，点云平面拟合算法无法准确检测出位于同一表面的点云点，因此，也无法准确地对该表面的尺寸进行检测。

另外，在某些情况下，是需要识别目标对象的形状的，目前，大多数形状识别完全依赖人工。比如，若目标对象是包裹，则在包裹进入中转场时，为避免形状不符合要求(比如球形、柱形等)的包裹进入交叉带分拣，需要在包裹进入交叉带分拣之前，人工识别各个包裹的形状，然后将形状不符合要求的包裹(比如球形、柱形等)选取出来。因此，目前对目标对象形状的识别完全依赖人工，效率较低。

发明内容

有鉴于此，本申请提供了一种目标检测方法、目标检测装置、终端设备及计算机可读存储介质。可以在一定程度上解决现有技术中无法准确检测目标对象尺寸以及对目标对象形状识别效率较低的技术问题。

本申请第一方面提供了一种目标检测方法，包括：

获取待检测点云数据，该待检测点云数据为来源于待检测场景的点云数据，该待检测场景包括待检测目标；

将上述待检测点云数据输入至训练好的第一神经网络模型，以使得该第一神经网络模型识别上述待检测点云数据中属于上述待检测目标的目标表面的各个点云点；

根据属于上述目标表面的各个点云点，确定该目标表面的尺寸。

本申请实施例的第二方面提供了一种目标检测装置，包括：

待检测点云获取模块，用于获取待检测点云数据，该待检测点云数据为来源于待检测场景的点云数据，该待检测场景包括待检测目标；

目标表面检测模块，用于将上述待检测点云数据输入至训练好的第一神经网络模型，以使得该第一神经网络模型识别上述待检测点云数据中属于上述待检测目标的目标表面的各个点云点；

表面尺寸确定模块，用于根据属于上述目标表面的各个点云点，确定该目标表面的尺寸。

除了上述第一方面提供的目标检测方法，本申请第三方面还提供了另一种目标检测方法，该目标检测方法包括：

获取待检测点云数据，该待检测点云数据来源于待检测场景的点云数据，该待检测场景包括一个或多个目标对象；

将上述待检测点云数据输入至训练好的第二神经网络模型，以使得该第二神经网络模型识别上述待检测点云数据中各个点云点所属目标对象的形状；

若识别出所属目标对象的形状为预设形状的点云点数量占上述待检测点云数据所有点云点数量的比例大于预设比例，则确认上述待检测场景中包含上述预设形状的目标对象。

本申请第四方面提供了一种目标检测装置，包括：

待检测点云获取模块，用于获取待检测点云数据，该待检测点云数据来源于待检测场景的点云数据，该待检测场景包括一个或多个目标对象；

形状检测模块，用于将上述待检测点云数据输入至训练好的第二神经网络模型，以使得该第二神经网络模型识别上述待检测点云数据中各个点云点所属目标对象的形状；

预设形状确定模块，用于若识别出所属目标对象的形状为预设形状的点云点数量占上述待检测点云数据所有点云点数量的比例大于预设比例，则确认上述待检测场景中包含上述预设形状的目标对象。

本申请第五方面提供了一种终端设备，包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上述第一方面方法或第三方面方法的步骤。

本申请第六方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上述第一方面方法或第三方面方法的步骤。

本申请第七方面提供了一种计算机程序产品，上述计算机程序产品包括计算机程序，上述计算机程序被一个或多个处理器执行时实现如上述第一方面方法或第三方面方法的步骤。

由上可见，本申请第一方面提供的目标检测方法是通过训练好的神经网络模型来识别属于目标表面的各个点云点，当训练样本较为充足时，可以使得训练好的该神经网络模型能够准确识别属于同一表面的各个点云点，避免了传统的点云平面拟合算法需通过预先设定位置范围来识别位于同一表面的点，因此，本申请所提供的方案可以更准确的识别出属于同一表面的各个点云点，从而可以在一定程度上更准确的检测待检测目标的目标表面尺寸。因此，本申请可以在一定程度上解决现有技术中无法准确检测目标对象尺寸的技术问题。

本申请第三方面提供的目标检测方法，是利用神经网络模型识别各个点云点所属目标对象的形状，然后确定待检测场景中是否存在预设形状的目标对象，当训练样本较为充足时，可以使得训练好的该神经网络模型能够准确识别各个点云点所属目标对象的形状，从而进一步准确检测待检测场景中是否存在预设形状的目标对象，因此，该目标检测方法可以自动识别待检测场景中是否存在预设形状的目标对象，而完全不必依赖人工，在一定程度上提高了对目标对象形状的识别效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本申请实施例一提供的目标检测方法的实现流程示意图；

图2是本申请实施例一提供的目标检测方法的应用场景示意图；

图3是本申请实施例二提供的另一种目标检测方法的实现流程示意图；

图4是本申请实施例二提供的另一种目标检测方法的应用场景示意图；

图5是本申请实施例三提供的目标检测装置的结构示意图；

图6是本申请实施例四提供的另一种目标检测装置的结构示意图；

图7是本申请实施例五提供的终端设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

本申请实施例提供的目标检测方法适用于终端设备，示例性地，该终端设备包括但不限于：桌上型计算机、笔记本、平板电脑、智能手机等计算设备。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。

实施例一

下面对本申请实施例一提供的目标检测方法进行描述，请参阅附图1，该目标检测方法包括：

在步骤S101中，获取待检测点云数据，该待检测点云数据来源于待检测场景的点云数据，该待检测场景包括待检测目标；

在本申请实施例中，在确定待检测目标的尺寸之前，首先要获取待检测点云数据，该待检测点云数据可以为：包含该待检测目标的待检测场景的点云数据；或者也可以为：对包含该待检测目标的待检测场景的点云数据进行预处理，所得到的点云数据。其中，本领域技术人员容易理解，为了准确检测上述待检测目标的目标表面尺寸，上述待检测点云数据应包含完整的目标表面，否则，若上述待检测点云数据只包含部分目标表面，显然无法对该目标表面的尺寸进行合理检测。

上述预处理包括对该待检测场景的点云数据进行降采样(可以采用体素格滤波算法进行降采样)、去噪(可以通过统计滤波算法进行去噪)和/或去除该待检测场景的点云数据中不是上述待检测目标的点云点。

下面利用附图2，对待检测点云数据的获取过程进行描述。

附图2描述了本申请实施例一提供的目标检测方法的一种应用场景示意图。如图2所示，待检测目标为位于传送皮带面201上的包裹202，该包裹202的上方有一终端设备203，该终端设备203上包含一深度图像采集装置2031(比如，深度相机)。为了准确测量包裹202目标表面的尺寸，比如上表面的尺寸，该深度图像采集装置2031所采集的深度图像中包含包裹202的完整上表面，(通常情况下，深度图像采集装置2031所采集的深度图像应包含包裹上表面、侧表面以及该包裹周围的皮带面)，该终端设备203用于实现本申请实施例一所述的步骤S101-S103，下面首先描述该终端设备203获取待检测点云数据的具体过程。

第一、终端设备203获取深度图像采集装置2031所采集的包含包裹202完整上表面的深度图像；

第二、终端设备203将该深度图像中的各个像素点均转换为各个点云点，得到待检测场景的点云数据，其中，该待检测场景的点云数据由转换得到的各个点云点组成；

第三、终端设备203可以首先采用直通滤波(PassThrough filter)算法，确定X方向、Y方向的截断范围，并根据深度图像采集装置2031的安装高度，确定Z方向的截断范围，从而将待检测场景的点云数据中不属于包裹202的各个点云点去除，即去除属于皮带面的各个点云点(本领域技术人员容易理解，通常情况下，并不能将不属于包裹202的每个点云点完全去除)，得到点云数据1；然后，为了保证后续步骤S102的执行速度，可以采用体素格滤波算法对点云数据1进行降采样，其中，体素格滤波算法中所采用的体素格大小可以根据深度图像采集装置2031的实际安装高度进行调整(比如，深度图像采集装置2031安装高度越高，则体素格越小，安装高度越低，则体素格越大，以保证后续表面尺寸的计算准确性)，得到降采样后的点云数据2；然后，可以通过统计滤波算法除去点云数据2的噪声点，以保证后续表面尺寸的计算准确性，得到待检测点云数据。

在步骤S102中，将上述待检测点云数据输入至训练好的第一神经网络模型，以使得该第一神经网络模型识别上述待检测点云数据中属于上述待检测目标的目标表面的各个点云点；

在本申请实施例中，上述第一神经网络模型可以是pointnet模型，本申请并不对该第一神经网络模型的具体类型进行限定，任何一种能够处理点云数据的神经网络模型均可以是上述第一神经网络模型，比如，该第一神经网络模型也可以是能够处理三维数据的卷积神经网络CNN模型。

本领域技术人员容易理解，在执行该步骤S102之前，需要对上述第一神经网络模型进行训练，从而得到训练好的第一神经网络模型，以使得该训练好的神经网络模型能够识别输入的点云数据中，每个点云点是否属于目标表面。

在附图2所示的例子中，该步骤所述的目标表面可以是包裹202的上表面，下面论述在附图2所示的例子中，用于识别包裹上表面的第一神经网络模型的训练过程可以为：

首先，利用深度图像采集装置2031采集多个样本深度图像，然后对该多个样本深度图像分别进行处理，得到每个样本深度图像分别对应的样本待检测点云数据(从样本深度图像得到样本待检测点云数据的具体过程可以参见上述步骤S101所述的“终端设备203获取待检测点云数据的具体过程”)；

其次，对于每个样本待检测点云数据，人工标记该样本待检测点云数据中每个点云点的标签，每个点云点的标签可以为：包裹上表面、包裹侧表面或者皮带面(虽然在获取样本待检测点云数据时，会去除不属于包裹的各个点云点，即皮带面对应的各个点云点，但是无法完全去除属于皮带面的各个点云点，因此，可以将皮带面作为标签的一个类别引入到模型训练中)。

然后，基于上述各个样本待检测点云数据，以及每个样本待检测点云数据中每个点云点所对应的标签，训练第一神经网络模型，使得该第一神经网络模型能够以一定的正确率识别输入的点云数据中，每个点云点所属的表面(即是属于包裹上表面、包裹侧表面还是皮带面)。

在步骤S103中，根据属于上述目标表面的各个点云点，确定上述目标表面的尺寸；

本领域技术人员都知晓，点云数据中每个点云点都包含有三维坐标，因此，可以根据属于目标表面的各个点云点的三维坐标，确定该目标表面的尺寸，比如，长度、宽度和/或面积等。

在附图2所示的例子中，若深度图像采集装置2031的图像采集方向与皮带面201垂直，目标表面是上表面，步骤S101获取的待检测点云数据中每个点云点的三维坐标是以深度图像采集装置2031的图像采集方向为z轴的坐标系下的坐标，则可以按照下述步骤A-步骤C确定包裹202的尺寸：

步骤A、将属于上述目标表面的各个点云点投影至xoy二维平面；

步骤B、确定投影至二维平面的各个点云点的最小外接矩形；

步骤C、根据投影至xoy二维平面的各个点云点的二维坐标，确定上述最小外接矩形的长度和宽度，以得到上述目标表面的长度和宽度。

也即是，首先将属于上表面的各个点云点投影至xoy平面，然后可以采用凸包算法，确定投影至二维平面的各个点云点的最小外接矩形，最后根据投影至二维平面的各个点云点的二维坐标，确定最小外接矩形的长度和宽度。考虑到通过第一神经网络模型可能不能识别出的属于目标表面的所有点云点，以及待检测点云数据中属于目标表面的点云点数量过少会导致对目标表面的尺寸计算出现偏差，因此，通过投影至二维平面以及确定最小外接矩形的方法，可以进一步提高测量目标表面尺寸的准确度。

此外，在附图2所示的例子中，若深度图像采集装置2031的图像采集方向与皮带面201垂直，目标表面是上表面，步骤S101获取的待检测点云数据中每个点云点的三维坐标是以深度图像采集装置2031的图像采集方向为z轴的坐标系下的坐标，则可以按照下述步骤确定包裹201的高度：

步骤D、获取深度图像采集装置2031与所述承托平面的第一距离值(该第一距离值通常会预先存储在终端设备203中)；

步骤E、根据位于上述目标表面的点云点，确定上述目标平面与上述深度图像采集装置的第二距离值(即是根据位于目标表面的点云点的三维坐标，确定第二距离值)；

步骤F、将上述第一距离值与上述第二距离值的差值确定为包裹202的高度。

此外，在上述步骤C以及步骤D之后，可以确定包裹202的体积。

本申请实施例一提供的目标检测方法是通过训练好的神经网络模型来识别属于目标表面的各个点云点，当训练样本较为充足时，可以使得训练好的该神经网络模型能够准确识别属于同一表面的各个点云点，避免了传统的点云平面拟合算法需通过预先设定位置范围来识别位于同一表面的点，因此，本申请所提供的方案可以更准确的识别出属于同一表面的各个点云点，从而可以在一定程度上更准确的检测待检测目标的目标表面尺寸。因此，本申请可以在一定程度上解决现有技术中无法准确检测目标对象尺寸的技术问题。

实施例二

下面对本申请实施例二提供的另一种目标检测方法进行描述，请参阅附图3，该目标检测方法包括：

在步骤S301中，获取待检测点云数据，该待检测点云数据来源于待检测场景的点云数据，该待检测场景包括一个或多个目标对象；

在本申请实施例中，该步骤S301所述的待检测点云数据可以为：上述待检测场景的点云数据；或者可以为：对上述待检测场景的点云数据进行预处理，所得到的点云数据即为上述待检测点云数据；或者也可以为：对上述待检测场景的点云数据进行预处理，得到预处理后的点云数据，然后对预处理后的点云数据进行聚类，得到多个点云块，选取一点云块作为上述待检测点云数据。

其中，上述预处理包括对上述待检测场景的点云数据进行降采样(可以采用体素格滤波算法进行降采样)、去噪(可以通过统计滤波算法进行去噪)和/或去除上述待检测场景的点云数据中不属于任何目标对象的点云点。

下面利用附图4，对待检测点云数据的获取过程进行描述。

附图4描述了本申请实施例二提供的目标检测方法的一种应用场景示意图。如图4所示，待检测场景中包括3个位于皮带面401的包裹，分别为方形包裹4021、方形包裹4022以及圆形包裹4023，该3个位于皮带面401的包裹上方有一终端设备403，该终端设备403上包含一深度图像采集装置4031(比如，深度相机)。该终端设备403用于实现本申请实施例二所述的步骤S301-S303，下面首先描述该终端设备403获取待检测点云数据的具体过程。

第一、终端设备403获取深度图像采集装置4031所采集的该待检测场景的深度图像；

第二、终端设备403将该深度图像中的各个像素点均转换为各个点云点，得到待检测场景的点云数据，其中，该待检测场景的点云数据由转换得到的各个点云点组成；

第三、终端设备403可以首先采用直通滤波(PassThrough filter)算法，确定X方向、Y方向的截断范围，并根据深度图像采集装置4031的安装高度，确定Z方向的截断范围，从而将待检测场景的点云数据中不属于任何包裹的点云点去除，即去除属于皮带面的各个点云点，得到点云数据1(本领域技术人员容易理解，有可能并不能完全去除属于皮带面的每个点云点)；然后，为了保证后续步骤S302的执行速度，可以采用体素格滤波算法对点云数据1进行降采样，其中，体素格滤波算法中所采用的体素格大小可以根据深度图像采集装置4031的实际安装高度进行调整(比如，深度图像采集装置4031安装高度越高，则体素格越小，安装高度越低，则体素格越大，以保证后续表面尺寸的计算准确性)，得到降采样后的点云数据2；然后，可以通过统计滤波算法除去点云数据2的噪声点，以保证步骤S302中对形状检测准确性，得到预处理后的点云数据；

第四、对预处理后的点云数据进行聚类(可以采用欧式聚类算法)，得到多个点云块，选取一点云块作为待检测点云数据(该步骤的目的也是为了提高后续步骤S302的执行速度)。

在步骤S302中，将上述待检测点云数据输入至训练好的第二神经网络模型，以使得该第二神经网络模型识别上述待检测点云数据中各个点云点所属目标对象的形状；

为了使本领域技术人员更清楚地理解“点云点所属的目标对象的形状”的含义，下面举例进行解释：

若点云点X是属于目标对象Y上的点云点时，则该点云点X所属的目标对象的形状即为目标对象Y的形状；

若点云点X不是任何一个目标对象上的点云点时，则该点云点X所属的目标对象的形状可以为一预设形状，比如，为矩形。

在本申请实施例中，上述第二神经网络模型可以是pointnet模型，本申请并不对该第二神经网络模型的具体类型进行限定，任何一种能够处理点云数据的神经网络模型均可以是上述第二神经网络模型，比如，该第二神经网络模型也可以是能够处理三维数据的卷积神经网络CNN模型。

在该步骤S302之前，需要训练上述第二神经网络模型，以使得该第二神经网络模型识别输入的点云数据中每个点云点所属目标对象的形状。

在本申请实施例中，每个点云点对应的标签可以是每个点云点所属目标对象的形状，比如，每个点云点对应的标签可以是：“圆形”、“矩形”、“柱形”(若该第二神经网络模型识别出待检测点云数据中存在不属于任何目标对象的点云点时，则该第二神经网络模型可以统一认为该点云点所属的目标对象形状为某一形状，比如，认为为矩形)。

此外，若该第二神经网络模型识别出待检测点云数据中存在不属于任何目标对象的点云点时，则该第二神经网络模型可以不输出该点云点的标签，或者该点云点的标签为“不属于任何目标对象”，此类方案皆与本申请实施例二是等同的技术方案。

通常情况下，若上述目标对象为运输的包裹时，可滚动形状(比如，球形、柱形)的包裹是不允许进行交叉带分拣的，因此，在包裹进行交叉带分拣前，需要识别待检测场景中是否存在异常件(可滚动形状的包裹即为异常件，其余为正常件)，下面以附图4为例，论述一种用于检测待检测场景中是否有异常件的第二神经网络模型的训练过程：

首先，利用深度图像采集装置4031采集多个样本深度图像，然后对该多个样本深度图像分别进行预处理以及聚类，得到每个样本深度图像分别对应的样本待检测点云数据(从样本深度图像得到样本待检测点云数据的具体过程可以参见上述步骤S301所述的“终端设备403获取待检测点云数据的具体过程”)；

其次，对于每个样本待检测点云数据，人工标记该样本待检测点云数据中每个点云点的标签，每个点云点的标签可以为：正常形状、球形、柱形(对于不属于任何目标对象的点云点，可以人工标记为该点云点的标签为正常形状)。

然后，基于上述各个样本待检测点云数据，以及每个样本待检测点云数据中每个点云点所对应的标签，训练第二神经网络模型，使得该第二神经网络模型能够以一定的正确率识别输入的点云数据中，每个点云点对应的标签(即是正常形状、球形还是柱形)。

由于通常情况下，包裹中正常件占大多数，为了保证该第二神经网络模型不会误判，在训练该第二神经网络模型时，可以使用较多的正常件，较少的异常件。

在步骤S303中，若识别出所属目标对象的形状为预设形状的点云点数量占上述待检测点云数据所有点云点数量的比例大于预设比例，则确认上述待检测场景中包含上述预设形状的目标对象；

以步骤S302所述的能够检测待检测场景中是否有异常件的第二神经网络模型为例，来描述该步骤S303的具体实现过程：

若该第二神经网络模型检测出标签为正常形状的点云点为150个，标签为球形的点云点为150个，标签为柱形的点云点为200个，假设预设形状为球形或柱形，预设比例为40％，则在该步骤S303中，可以计算出所属目标对象的形状为预设形状的点云点数量占上述待检测点云数据所有点云点数量的比例为70％，显然大于该预设比例，因此，可以确定待检测场景中包含球形或柱形的目标对象，即包含异常件。

在该步骤S303中，在“确认上述待检测场景中包含上述预设形状的目标对象”的步骤之后，该实施例二所述的目标检测方法还可以包括：发出提示信息，以提示上述待检测场景中包含有预设形状的目标对象。

另外，在本申请实施例二中，若步骤S301所述的待检测点云数据是对待检测场景的点云数据进行预处理以及聚类后的某一点云块，那么在步骤S302之后，该实施例二所述的目标检测方法还可以包括：

若识别出所属目标对象的形状为预设形状的点云点数量占上述待检测点云数据所有点云点数量的比例小于或等于上述预设比例，则

除去已选取的点云块，在各个点云块中再选取一个点云块重新作为待检测点云数据，并返回执行步骤S302，直至遍历完所有点云块。

此外，为了更准确地识别待检测点云数据中各个点云点所属的包裹形状，除了依据待检测点云数据之外，还可以获取该待检测点云数据中每个点云点对应的灰度值(比如，RGB值)；相应地，上述步骤S302具体为：将该待检测点云数据以及该待检测点云数据中每个点云点对应的灰度值输入至训练好的第二神经网络模型，以使得该第二神经网络模型识别该待检测点云数据中各个点云点所属目标对象的形状(在这种情况下，本领域技术人员容易理解，在训练第二神经网络模型时，也不仅仅依赖于样本待检测点云数据，还要依赖样本待检测点云数据中每个点云点的灰度值)。

由此可见，实施例二的目标检测方法，是利用神经网络模型识别各个点云点所属目标对象的形状，然后确定待检测场景中是否存在预设形状的目标对象，当训练样本较为充足时，可以使得训练好的该神经网络模型能够准确识别各个点云点所属目标对象的形状，从而进一步准确检测待检测场景中是否存在预设形状的目标对象，因此，该目标检测方法可以自动对预设形状的目标对象进行识别，而不依赖人工，可以在一定程度上提高对目标对象形状的识别效率

应理解，上述方法实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

实施例三

下面论述一种目标检测装置，为了便于说明，仅示出与本申请相关的部分，如图5所示，该目标检测装置500包括：

待检测点云获取模块501，用于获取待检测点云数据，该待检测点云数据为来源于待检测场景的点云数据，该待检测场景包括待检测目标；

目标表面检测模块502，用于将上述待检测点云数据输入至训练好的第一神经网络模型，以使得该第一神经网络模型识别上述待检测点云数据中属于上述待检测目标的目标表面的各个点云点；

表面尺寸确定模块503，用于根据属于上述目标表面的各个点云点，确定该目标表面的尺寸。

可选地，上述待检测点云获取模块501包括：

场景点云获取单元，用于获取所述待检测场景的点云数据；

预处理单元，用于对所述待检测场景的点云数据进行预处理，获得所述待检测点云数据，所述预处理包括对所述待检测场景的点云数据进行降采样、去噪和/或去除所述待检测场景的点云数据中不是所述待检测目标的点云点。

可选地，上述场景点云获取单元包括：

深度图像获取子单元，用于获取深度图像采集装置采集的所述待检测场景的深度图像；

深度图像转换子单元，用于将所述深度图像中的各个像素点均转换为各个点云点，得到所述待检测场景的点云数据，所述待检测场景的点云数据由转换得到的各个点云点组成。

可选地，上述深度图像采集装置的图像采集方向与承托所述待检测目标的承托平面垂直，所述目标表面为所述待检测目标的上表面，所述待检测点云数据中每个点云点对应的三维坐标是以所述深度图像采集装置的图像采集方向为z轴的坐标系下的坐标；

相应地，上述表面尺寸确定模块503包括：

投影单元，用于将属于所述目标表面的各个点云点投影至xoy二维平面；

外接矩形单元，用于确定投影至二维平面的各个点云点的最小外接矩形；

长宽确定单元，用于根据投影至xoy二维平面的各个点云点的二维坐标，确定所述最小外接矩形的长度和宽度，以得到所述目标表面的长度和宽度。

可选地，上述目标检测装置500还包括：

第一距离模块，用于获取所述深度图像采集装置与所述承托平面的第一距离值；

第二距离模块，用于根据位于所述目标表面的点云点，确定所述目标平面与所述深度图像采集装置的第二距离值；

高度确定模块，用于将所述第一距离值与所述第二距离值的差值确定为所述待检测目标的高度。

可选地，上述目标检测装置500还包括：

体积确定模块，用于根据所述目标表面的长度、宽度以及所述待检测目标的高度，计算所述待检测目标的体积。

需要说明的是，该实施例三中的装置/单元之间的信息交互、执行过程等内容，由于与本申请实施例一基于同一构思，其具体功能及带来的技术效果，具体可参见实施例一部分，此处不再赘述。

实施例四

下面论述另一种目标检测装置，为了便于说明，仅示出与本申请相关的部分，如图6所示，该目标检测装置600包括：

待检测点云获取模块601，用于获取待检测点云数据，该待检测点云数据来源于待检测场景的点云数据，该待检测场景包括一个或多个目标对象；

形状检测模块602，用于将上述待检测点云数据输入至训练好的第二神经网络模型，以使得该第二神经网络模型识别上述待检测点云数据中各个点云点所属目标对象的形状；

预设形状确定模块603，用于若识别出所属目标对象的形状为预设形状的点云点数量占上述待检测点云数据所有点云点数量的比例大于预设比例，则确认上述待检测场景中包含上述预设形状的目标对象。

可选地，上述待检测点云获取模块601包括：

场景点云获取单元，用于获取所述待检测场景的点云数据；

预处理单元，用于对所述待检测场景的点云数据进行预处理，获得所述待检测点云数据，所述预处理包括对所述待检测场景的点云数据进行降采样、去噪和/或去除所述待检测场景的点云数据中不属于任何目标对象的点云点。

可选地，上述预处理单元包括：

预处理子单元，用于对所述待检测场景的点云数据进行预处理，得到预处理后的点云数据；

聚类子单元，用于对所述预处理后的点云数据进行聚类，得到各个点云块，选取一点云块作为所述待检测点云数据。

可选地，上述目标检测装置600还包括：

返回模块，用于若识别出所属目标对象的形状为预设形状的点云点数量占所述待检测点云数据所有点云点数量的比例小于或等于所述预设比例，则

除去已选取的点云块，在各个点云块中再选取一个点云块重新作为所述待检测点云数据，并触发所述形状检测模块602继续执行所述将所述待检测点云数据输入至训练好的第二神经网络模型，以使得该第二神经网络模型识别所述待检测点云数据中各个点云点所属目标对象的形状的步骤，直至遍历完所有点云块。

可选地，上述目标检测装置600还包括：

灰度获取模块，用于获取所述待检测点云数据中每个点云点对应的灰度值；

相应地，上述形状检测模块602具体用于：

将所述待检测点云数据以及所述待检测点云数据中每个点云点对应的灰度值输入至训练好的所述第二神经网络模型，以使得该第二神经网络模型识别所述待检测点云数据中各个点云点所属目标对象的形状。

可选地，上述目标检测装置600还包括：

提示模块，用于发出提示信息，以提示所述待检测场景中包含有所述预设形状的目标对象。

需要说明的是，该实施例四中的装置/单元之间的信息交互、执行过程等内容，由于与本申请实施例二基于同一构思，其具体功能及带来的技术效果，具体可参见实施例二部分，此处不再赘述。

实施例五

图7是本申请实施例五提供的终端设备的示意图。如图7所示，该实施例的终端设备700包括：处理器701、存储器702以及存储在上述存储器702中并可在上述处理器701上运行的计算机程序703。上述处理器701执行上述计算机程序703时实现上述各个方法实施例(实施例一以及实施例二)中的步骤。或者，上述处理器701执行上述计算机程序703时实现上述各装置实施例中各模块/单元的功能。

示例性的，上述计算机程序703可以被分割成一个或多个模块/单元，上述一个或者多个模块/单元被存储在上述存储器702中，并由上述处理器701执行，以完成本申请。上述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述上述计算机程序703在上述终端设备700中的执行过程。例如，上述计算机程序703可以被分割成待检测点云获取模块、目标表面检测模块以及表面尺寸确定模块，各模块具体功能如下：

获取待检测点云数据，该待检测点云数据为来源于待检测场景的点云数据，该待检测场景包括待检测目标；

将上述待检测点云数据输入至训练好的第一神经网络模型，以使得该第一神经网络模型识别上述待检测点云数据中属于上述待检测目标的目标表面的各个点云点；

根据属于上述目标表面的各个点云点，确定该目标表面的尺寸。

或者，上述计算机程序703可以被分割成待检测点云获取模块、形状检测模块以及预设形状确定模块，各模块具体功能如下：

获取待检测点云数据，该待检测点云数据来源于待检测场景的点云数据，该待检测场景包括一个或多个目标对象；

将上述待检测点云数据输入至训练好的第二神经网络模型，以使得该第二神经网络模型识别上述待检测点云数据中各个点云点所属目标对象的形状；

若识别出所属目标对象的形状为预设形状的点云点数量占上述待检测点云数据所有点云点数量的比例大于预设比例，则确认上述待检测场景中包含上述预设形状的目标对象。

上述终端设备可包括，但不仅限于，处理器701、存储器702。本领域技术人员可以理解，图7仅仅是终端设备700的示例，并不构成对终端设备700的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如上述终端设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器701可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

上述存储器702可以是上述终端设备700的内部存储单元，例如终端设备700的硬盘或内存。上述存储器702也可以是上述终端设备700的外部存储设备，例如上述终端设备700上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，上述存储器702还可以既包括上述终端设备700的内部存储单元也包括外部存储设备。上述存储器702用于存储上述计算机程序以及上述终端设备所需的其它程序和数据。上述存储器702还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述各个方法实施例中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上上述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (16)

1.一种目标检测方法，其特征在于，包括：

获取待检测点云数据，所述待检测点云数据为来源于待检测场景的点云数据，所述待检测场景包括待检测目标；

将所述待检测点云数据输入至训练好的第一神经网络模型，以使得该第一神经网络模型识别所述待检测点云数据中属于所述待检测目标的目标表面的各个点云点；

根据属于所述目标表面的各个点云点，确定所述目标表面的尺寸。

2.如权利要求1所述的目标检测方法，其特征在于，所述获取待检测点云数据，包括：

获取所述待检测场景的点云数据；

对所述待检测场景的点云数据进行预处理，获得所述待检测点云数据，所述预处理包括对所述待检测场景的点云数据进行降采样、去噪和/或去除所述待检测场景的点云数据中不是所述待检测目标的点云点。

3.如权利要求2所述的目标检测方法，其特征在于，所述获取所述待检测场景的点云数据，包括：

获取深度图像采集装置采集的所述待检测场景的深度图像；

将所述深度图像中的各个像素点均转换为各个点云点，得到所述待检测场景的点云数据，所述待检测场景的点云数据由转换得到的各个点云点组成。

4.如权利要求3所述的目标检测方法，其特征在于，所述深度图像采集装置的图像采集方向与承托所述待检测目标的承托平面垂直，所述目标表面为所述待检测目标的上表面，所述待检测点云数据中每个点云点对应的三维坐标是以所述深度图像采集装置的图像采集方向为z轴的坐标系下的坐标；

相应地，所述根据属于所述目标表面的各个点云点，确定所述目标表面的尺寸，包括：

将属于所述目标表面的各个点云点投影至xoy二维平面；

确定投影至二维平面的各个点云点的最小外接矩形；

根据投影至xoy二维平面的各个点云点的二维坐标，确定所述最小外接矩形的长度和宽度，以得到所述目标表面的长度和宽度。

5.如权利要求4所述的目标检测方法，其特征在于，所述目标检测方法还包括：

获取所述深度图像采集装置与所述承托平面的第一距离值；

根据位于所述目标表面的点云点，确定所述目标平面与所述深度图像采集装置的第二距离值；

将所述第一距离值与所述第二距离值的差值确定为所述待检测目标的高度。

6.如权利要求5所述的目标检测方法，其特征在于，所述目标检测方法还包括：

根据所述目标表面的长度、宽度以及所述待检测目标的高度，计算所述待检测目标的体积。

7.一种目标检测装置，其特征在于，包括：

待检测点云获取模块，用于获取待检测点云数据，所述待检测点云数据为来源于待检测场景的点云数据，所述待检测场景包括待检测目标；

目标表面检测模块，用于将所述待检测点云数据输入至训练好的第一神经网络模型，以使得该第一神经网络模型识别所述待检测点云数据中属于所述待检测目标的目标表面的各个点云点；

表面尺寸确定模块，用于根据属于所述目标表面的各个点云点，确定所述目标表面的尺寸。

8.一种目标检测方法，其特征在于，包括：

获取待检测点云数据，所述待检测点云数据来源于待检测场景的点云数据，所述待检测场景包括一个或多个目标对象；

将所述待检测点云数据输入至训练好的第二神经网络模型，以使得该第二神经网络模型识别所述待检测点云数据中各个点云点所属目标对象的形状；

若识别出所属目标对象的形状为预设形状的点云点数量占所述待检测点云数据所有点云点数量的比例大于预设比例，则确认所述待检测场景中包含所述预设形状的目标对象。

9.如权利要求8所述的目标检测方法，其特征在于，所述获取待检测点云数据，包括：

获取所述待检测场景的点云数据；

对所述待检测场景的点云数据进行预处理，获得所述待检测点云数据，所述预处理包括对所述待检测场景的点云数据进行降采样、去噪和/或去除所述待检测场景的点云数据中不属于任何目标对象的点云点。

10.如权利要求9所述的目标检测方法，其特征在于，所述对所述待检测场景的点云数据进行预处理，获得所述待检测点云数据，包括：

对所述待检测场景的点云数据进行预处理，得到预处理后的点云数据；

对所述预处理后的点云数据进行聚类，得到各个点云块，选取一点云块作为所述待检测点云数据。

11.如权利要求10所述的目标检测方法，其特征在于，在所述将所述待检测点云数据输入至训练好的第二神经网络模型，以使得该第二神经网络模型识别所述待检测点云数据中各个点云点所属目标对象的形状的步骤之后，还包括：

若识别出所属目标对象的形状为预设形状的点云点数量占所述待检测点云数据所有点云点数量的比例小于或等于所述预设比例，则

除去已选取的点云块，在各个点云块中再选取一个点云块重新作为所述待检测点云数据，并返回执行所述将所述待检测点云数据输入至训练好的第二神经网络模型，以使得该第二神经网络模型识别所述待检测点云数据中各个点云点所属目标对象的形状的步骤以及后续步骤，直至遍历完所有点云块。

12.如权利要求8至11中任一项所述的目标检测方法，其特征在于，在所述将所述待检测点云数据输入至训练好的第二神经网络模型，以使得该第二神经网络模型识别所述待检测点云数据中各个点云点所属目标对象的形状的步骤之前，所述目标检测方法还包括：

获取所述待检测点云数据中每个点云点对应的灰度值；

相应地，将所述待检测点云数据输入至训练好的第二神经网络模型，以使得该第二神经网络模型识别所述待检测点云数据中各个点云点所属目标对象的形状，具体为：

将所述待检测点云数据以及所述待检测点云数据中每个点云点对应的灰度值输入至训练好的所述第二神经网络模型，以使得该第二神经网络模型识别所述待检测点云数据中各个点云点所属目标对象的形状。

13.如权利要求8至11中任一项所述的目标检测方法，其特征在于，在所述确认所述待检测场景中包含所述预设形状的目标对象的步骤之后，所述目标检测方法还包括：

发出提示信息，以提示所述待检测场景中包含有所述预设形状的目标对象。

14.一种目标检测装置，其特征在于，包括：

待检测点云获取模块，用于获取待检测点云数据，所述待检测点云数据来源于待检测场景的点云数据，所述待检测场景包括一个或多个目标对象；

形状检测模块，用于将所述待检测点云数据输入至训练好的第二神经网络模型，以使得该第二神经网络模型识别所述待检测点云数据中各个点云点所属目标对象的形状；

预设形状确定模块，用于若识别出所属目标对象的形状为预设形状的点云点数量占所述待检测点云数据所有点云点数量的比例大于预设比例，则确认所述待检测场景中包含所述预设形状的目标对象。

15.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6或8至13中任一项所述方法的步骤。

16.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6或8至13中任一项所述方法的步骤。

Images