CN110207702B

CN110207702B - 目标定位的方法及装置

Info

Publication number: CN110207702B
Application number: CN201910322115.5A
Authority: CN
Inventors: 支涛; 李梦男
Original assignee: Beijing Yunji Technology Co Ltd
Current assignee: Beijing Yunji Technology Co Ltd
Priority date: 2019-04-22
Filing date: 2019-04-22
Publication date: 2022-01-07
Anticipated expiration: 2039-04-22
Also published as: CN110207702A

Abstract

本申请公开了一种目标定位的方法及装置。该申请的方法包括确定图像数据的待处理区域ROI区域，所述图像数据为摄像头对待测目标检测得到的图像数据；获取待测目标对应的深度图像；根据所述ROI区域以及所述深度图像，确定待测目标对应的深度像素点；根据所述深度像素点确定待测目标的位姿。本申请解决了相关的3D目标定位的方式在机器人应用领域受限制的问题。

Description

目标定位的方法及装置

技术领域

本申请涉及机器人技术领域，具体而言，涉及一种目标定位的方法及装置。

背景技术

在智能机器人技术领域，为了使机器人在行走的过程中不与障碍物发生碰撞，需要机器人能够对目标进行较准确的定位。目前，对于二维(Second Dimension，2D)目标的定位技术已经很成熟，但是在实际的机器人应用场景中，2D目标的定位已经不能满足实际的需要，需要对(Three-dimensional space，3D)目标进行定位。

常用的3D定位目标的方式主要包括两种：一种是使用激光点云技术进行目标定位，但是使用激光点云技术时其中的多线激光成本较高，不适合应用在机器人中；另一种是通过深度图像RGB-D点云分割的方式来实现目标的定位，具体的是基于点云库(PointCloud Library，PCL)来进行点云分割，但是这种方式对于CPU的资源消耗较大，而且处理帧率较低，应用到机器人中达不到实时检测的要求。

综上，相关的3D目标定位的方式在机器人应用领域受限制，不能满足使用的需求。

发明内容

本申请的主要目的在于提供一种目标定位的方法，以解决相关的3D目标定位的方式在机器人应用领域受限制的问题。

为了实现上述目的，根据本申请的第一个方面，提供了一种目标定位的方法。

根据本申请的目标定位的方法包括：

确定图像数据的待处理区域ROI区域，所述图像数据为摄像头对待测目标检测得到的图像数据；

获取待测目标对应的深度图像；

根据所述ROI区域以及所述深度图像，确定待测目标对应的深度像素点；

根据所述深度像素点确定待测目标的位姿。

进一步的，所述根据所述ROI区域以及所述深度图像，确定待测目标对应的的深度像素点包括：

按照预设的遍历规则遍历ROI区域内的深度图像，得到所述深度像素点。

进一步的，所述根据所述深度像素点确定待测目标的位姿包括：

对所述深度像素点进行聚类，得到聚类结果；

若所述待测目标没有遮挡，根据聚类结果计算待测目标的位姿三维框；

若所述待测目标有遮挡，则根据聚类结果确定待测目标的位姿点。

进一步的，在根据所述深度像素点的坐标确定待测目标的位姿之前，所述方法还包括：

比较所述ROI区域与通过先验知识确定的理论ROI区域的大小；

根据比较结果，判断所述待测目标是否有遮挡。

进一步的，所述对所述深度像素点进行聚类，得到聚类结果包括：

根据预设聚类算法对所述深度像素点进行聚类；

去除深度像素点中的噪点，得到有效像素点。

进一步的，所述根据聚类结果计算待测目标的位姿三维框，包括：

根据所述有效像素点的坐标计算所述待测目标的位姿三维框；

所述根据聚类结果确定待测目标的位姿点包括：

根据所有有效像素点的坐标平均值，确定待测目标的位姿点。

为了实现上述目的，根据本申请的第二方面，提供了一种目标定位的装置。

根据本申请的目标定位的装置包括：

第一确定单元，用于确定图像数据的待处理区域ROI区域，所述图像数据为摄像头对待测目标检测得到的图像数据；

获取单元，用于获取待测目标对应的深度图像；

第二确定单元，用于根据所述ROI区域以及所述深度图像，确定待测目标对应的深度像素点；

第三确定单元，用于根据所述深度像素点确定待测目标的位姿。

进一步的，所述第二确定单元，用于：

进一步的，所述第三确定单元，包括：

聚类模块，用于对所述深度像素点进行聚类，得到聚类结果；

计算模块，用于若所述待测目标没有遮挡，根据聚类结果计算待测目标的位姿三维框；

确定模块，用于若所述待测目标有遮挡，则根据聚类结果确定待测目标的位姿点。

进一步的，所述装置还包括：

比较单元，用于在根据所述深度像素点的坐标确定待测目标的位姿之前，比较所述ROI区域与通过先验知识确定的理论ROI区域的大小；

判断单元，用于根据比较结果，判断所述待测目标是否有遮挡。

进一步的，所述聚类模块，用于：

根据预设聚类算法对所述深度像素点进行聚类；

去除深度像素点中的噪点，得到有效像素点。

进一步的，所述计算模块，用于：

所述确定模块，用于：

为了实现上述目的，根据本申请的第三方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机代码，当计算机代码被执行时，如上述第一方面所述的目标定位的方法被执行。

为了实现上述目的，根据本申请的第四方面，提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个计算机程序；

当一个或多个计算机程序被一个或多个处理器执行时，使得一个或多个处理器实现上述第一方面所述的目标定位的方法。

在本申请实施例中，目标定位的方法及装置能够根据对待测目标检测到的图像数据结合其对应的深度图像确定待测目标对应的深度像素点，然后根据深度像素点对确定待测目标的位姿，达到对3D目标的定位。在定位的过程中，只需要根据检测结果与深度图像就可以进行3D目标定位，其中深度图像也只需要RGB-D摄像头就可以得到，因此，本申请的目标定位的方法能够达到定位速度快、节约CPU资源、节约成本的效果。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请一种实施例的目标定位的方法流程图；

图2是根据本申请另一种实施例的目标定位的方法流程图；

图3是根据本申请一种实施例的目标定位过程的示意图；

图4是根据本申请一种实施例的目标定位的装置的组成框图；

图5是根据本申请另一种实施例的目标定位的装置的组成框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

根据本申请实施例，提供了一种目标定位的方法，如图1所示，该方法包括如下的步骤S101至步骤S104：

本实施例以机器人检测3D目标为例对目标定位方法的实现过程进行说明。

S101.确定图像数据的待处理区域ROI区域。

其中，图像数据为机器人上的检测摄像头对待测目标检测得到的图像数据。该图像数据为检测摄像头检测的2D图像，然后在图像数据上确定需要处理的区域ROI(regionof interest，ROI)区域。具体的可以通过方框、圆、椭圆、不规则多边形等方式勾勒出ROI区域。本实施例以通过二维方框框出的方式为例进行后续方法的说明，如图2所示。图2为目标定位过程的示意图。

S102.获取待测目标对应的深度图像。

在3D计算机图形中，深度图像＝普通的RGB三通道彩色图像+深度图(Depth Map)。Depth Map是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。DepthMap类似于灰度图像，只是它的每个像素值是传感器距离物体的实际距离。

具体的，本实施例中获取待测目标对应的深度图像的方式为：根据普通的RGB三通道彩色图像和深度图(Depth Map)进行配准得到的。普通的RGB三通道彩色图像和深度图具体是由RGB-D摄像头获取到的。需要说明的是，本实施例中，优选的RGB-D摄像头与上述步骤S101中检测摄像头进行集成，得到一个集成的摄像头。

S103.根据ROI区域以及深度图像，确定待测目标对应的深度像素点。

由于检测摄像头和RGB-D摄像头是集成在一起的，因此检测的2D图像与RGB-D摄像头获取到深度图像的位置是重合的，将ROI区域以及深度图像进行匹配就可以确定深度图像对应的ROI区域。然后在深度图像对应的ROI区域中确定待测目标的深度像素点，在本实施例中具体确定的是距离机器人最近的一系列深度像素点，如图2所示，其中圆框中包含的像素点为待测目标(人)对应的深度像素点。

S104.根据深度像素点确定待测目标的位姿。

确定深度像素点后，根据深度像素点的坐标估计待测目标对应的三维区域。具体的，由于直接得到的深度像素点的坐标是基于摄像头坐标系的坐标，因此需要将其先转化为基于机器人坐标系下的坐标，然后，根据深度像素点基于机器人坐标系下的坐标估计待测目标对应的三维区域。

从以上的描述中，可以看出，本申请实施例中目标定位的方法能够根据对待测目标检测到的图像数据结合其对应的深度图像确定待测目标对应的深度像素点，然后根据深度像素点对确定待测目标的位姿，达到对3D目标的定位。在定位的过程中，只需要根据检测结果与深度图像就可以进行3D目标定位，其中深度图像也只需要RGB-D摄像头就可以得到，因此，本申请的目标定位的方法能够达到定位速度快、节约CPU资源、节约成本的效果。

根据本申请另一实施例，提供了一种目标定位的方法，如图3所示，该方法包括：

S201.确定图像数据的待处理区域ROI区域。

本步骤的实现方式与图1步骤S101中的实现方式相同，此处不再赘述。

S202.获取待测目标对应的深度图像。

本步骤的实现方式与图1步骤S102中的实现方式相同，此处不再赘述。

S203.按照预设的遍历规则遍历ROI区域内的深度图像，得到深度像素点。

其中预设的遍历规则为从左到右，从上到下首尾相连的遍历方式，具体的如图2中虚线箭头所示。按照预设的遍历规则，对ROI区域内的深度图像即上述图1中所述的深度图像对应的ROI区域内进行像素点的遍历，将距离机器人最近的一系列深度像素点确定为本实施例中的深度像素点。如图2所示，方框内的区域为遍历的区域，白框区域内的像素点为遍历出的深度像素点。

需要说明的是，在实际的应用中，预设的遍历规则不限于上述图2中所示的遍历规则，还可以为其他形式的遍历规则，只要可以达到遍历的效果即可。

S204.比较ROI区域与通过先验知识确定的理论ROI区域的大小，根据比较结果，判断待测目标是否有遮挡。

比较ROI区域与通过先验知识确定的理论ROI区域的大小具体包括以下步骤：

首先，计算ROI区域的面积，得到第一面积；

具体的，对应与图2中，第一面积为方框的面积。

其次，根据先验知识以及与待测目标的距离确定理论ROI区域的面积，得到第二面积；

其中，先验知识为一个字典数据，字典数据中包含每个待测目标在无遮挡的情况下在距离机器人距离为定值M时，对应的ROI区域的大小(面积)。具体的根据先验知识以及与待测目标的距离确定理论ROI区域的面积，得到第二面积的过程为：计算上述白框区域在机器人坐标系下的位置，然后确定机器人与待测目标的实际距离L，然后根据H≈β*L/M，得到第二面积H。其中β为待测目标与机器人间的距离与ROI区域大小之间的比例关系。

最后，将第一面积与第二面积进行方差处理，得到方差结果，根据方差结果确定ROI区域与通过先验知识确定的理论ROI区域的大小。

若方差结果值在预设范围内，则表示实际检测到的ROI区域与理论ROI区域的大小相等，表示待测目标没有遮挡；若方差结果值不在预设范围内，则表示实际检测到的ROI区域小于理论ROI区域，表示待测目标有遮挡。

S205.对深度像素点进行聚类，得到聚类结果。

根据预设聚类算法对深度像素点进行聚类，具体的预设聚类算法可以为基于欧几里得或者曼哈顿距离度量等其他种类的聚类算法。优选的，本申请实施例是基于欧几里得的聚类算法对深度像素点进行聚类，该种聚类是发现具有相近尺度和密度的球状簇，每个球状簇为一类。本实施例中，基于欧几里得的聚类算法对深度像素点进行聚类后得到多个球状簇，然后选出包括一个孤立点或者很少数量点的球状簇，并将其中包含的点作为噪点进行去除，最终得到有效像素点。

S206.若待测目标没有遮挡，根据聚类结果计算待测目标的位姿三维框。

若待测目标没有遮挡，则根据有效像素点的坐标计算待测目标的位姿三维框，具体的实现方式为：获取有效像素点的坐标(基于摄像头坐标系的坐标)，将其转换为基于机器人坐标系下的坐标；然后分析所有像素点中属于空间边缘的点，并根据这些空间边缘点的坐标绘制三维框，使待测目标位于三维框内，该三维框即为上述位姿三维框。

S207.若待测目标有遮挡，则根据聚类结果确定待测目标的位姿点。

当待测目标有遮挡时，只确定一个位姿点来表示待测目标，具体的确定位姿点即确定所有有效像素点的中间点，具体的实现方式可以为计算所有有效像素点的坐标的平均值，得到三个方向的平均值，这三个方向的平均值确定的点即为待测目标的位姿点。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本申请实施例，还提供了一种用于实施上述图1和图3所述方法的目标定位的装置，如图4所示，该装置包括：

第一确定单元31，用于确定图像数据的待处理区域ROI区域，所述图像数据为摄像头对待测目标检测得到的图像数据；

获取单元32，用于获取待测目标对应的深度图像；

第二确定单元33，用于根据所述ROI区域以及所述深度图像，确定待测目标对应的深度像素点；

第三确定单元34，用于根据所述深度像素点确定待测目标的位姿。

从以上的描述中，可以看出，本申请实施例中目标定位的装置能够根据对待测目标检测到的图像数据结合其对应的深度图像确定待测目标对应的深度像素点，然后根据深度像素点对确定待测目标的位姿，达到对3D目标的定位。在定位的过程中，只需要根据检测结果与深度图像就可以进行3D目标定位，其中深度图像也只需要RGB-D摄像头就可以得到，因此，本申请的目标定位的方法能够达到定位速度快、节约CPU资源、节约成本的效果。

进一步的，所述第二确定单元33，用于：

进一步的，如图5所示，所述第三确定单元34，包括：

聚类模块341，用于对所述深度像素点进行聚类，得到聚类结果；

计算模块342，用于若所述待测目标没有遮挡，根据聚类结果计算待测目标的位姿三维框；

确定模块343，用于若所述待测目标有遮挡，则根据聚类结果确定待测目标的位姿点。

进一步的，如图5所示，所述装置还包括：

比较单元35，用于在根据所述深度像素点的坐标确定待测目标的位姿之前，比较所述ROI区域与通过先验知识确定的理论ROI区域的大小；

判断单元36，用于根据比较结果，判断所述待测目标是否有遮挡。

进一步的，如图5所示，所述聚类模块341，用于：

根据预设聚类算法对所述深度像素点进行聚类；

去除深度像素点中的噪点，得到有效像素点。

进一步的，所述计算模块342，用于：

所述确定模块343，用于：

具体的，本申请实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述，此处不再赘述。

一种计算机可读存储介质，该计算机可读存储介质存储有计算机代码，当计算机代码被执行时，如图1或图3所述的目标定位的方法被执行。

一种计算机设备，所述计算机设备包括：一个或多个处理器；

存储器，用于存储一个或多个计算机程序；

当一个或多个计算机程序被一个或多个处理器执行时，使得一个或多个处理器实现如图1或图3所述的目标定位的方法。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种目标定位的方法，其特征在于，所述方法包括：

确定图像数据的待处理区域ROI区域，所述图像数据为机器人上的检测摄像头对待测目标检测得到的图像数据，该图像数据为检测摄像头检测的2D图像，在图像数据上确定需要处理的区域ROI区域；

获取待测目标对应的深度图像，获取待测目标对应的深度图像的方式为根据RGB三通道彩色图像和深度图进行配准得到的，RGB三通道彩色图像和深度图具体是由RGB-D摄像头获取到的，深度图是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道且每个像素值是传感器距离物体的实际距离，RGB-D摄像头与检测摄像头进行集成得到一个集成的摄像头；

根据所述ROI区域以及所述深度图像，确定待测目标对应的深度像素点，具体包括：将ROI区域以及深度图像进行匹配确定深度图像对应的ROI区域，在深度图像对应的ROI区域中确定待测目标的深度像素点；

比较所述ROI区域与通过先验知识确定的理论ROI区域的大小；根据比较结果，判断所述待测目标是否有遮挡，所述比较ROI区域与通过先验知识确定的理论ROI区域的大小具体包括以下步骤：计算ROI区域的面积，得到第一面积，根据先验知识以及与待测目标的距离确定理论ROI区域的面积，得到第二面积；其中，先验知识为一个字典数据，字典数据中包含每个待测目标在无遮挡的情况下在距离机器人距离为定值M时，对应的ROI区域的大小，将第一面积与第二面积进行方差处理，得到方差结果，根据方差结果确定ROI区域与通过先验知识确定的理论ROI区域的大小；

根据所述深度像素点确定待测目标的位姿，所述根据所述深度像素点确定待测目标的位姿包括：对所述深度像素点进行聚类，得到聚类结果；若所述待测目标没有遮挡，根据聚类结果计算待测目标的位姿三维框；若所述待测目标有遮挡，则根据聚类结果确定待测目标的位姿点。

2.根据权利要求1所述的目标定位的方法，其特征在于，所述根据所述ROI区域以及所述深度图像，确定待测目标对应的深度像素点包括：

3.根据权利要求2所述的目标定位的方法，其特征在于，所述对所述深度像素点进行聚类，得到聚类结果包括：

根据预设聚类算法对所述深度像素点进行聚类；

去除深度像素点中的噪点，得到有效像素点。

4.根据权利要求3所述的目标定位的方法，其特征在于，所述根据聚类结果计算待测目标的位姿三维框，包括：

所述根据聚类结果确定待测目标的位姿点包括：

5.一种目标定位的装置，其特征在于，所述装置包括：

第一确定单元，用于确定图像数据的待处理区域ROI区域，所述图像数据为机器人上的检测摄像头对待测目标检测得到的图像数据，该图像数据为检测摄像头检测的2D图像，在图像数据上确定需要处理的区域ROI区域；

获取单元，用于获取待测目标对应的深度图像，获取待测目标对应的深度图像的方式为根据RGB三通道彩色图像和深度图进行配准得到的，RGB三通道彩色图像和深度图具体是由RGB-D摄像头获取到的，深度图是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道且每个像素值是传感器距离物体的实际距离，RGB-D摄像头与检测摄像头进行集成得到一个集成的摄像头；

第二确定单元，用于根据所述ROI区域以及所述深度图像，确定待测目标对应的深度像素点，具体包括：将ROI区域以及深度图像进行匹配确定深度图像对应的ROI区域，在深度图像对应的ROI区域中确定待测目标的深度像素点；

比较单元，用于比较所述ROI区域与通过先验知识确定的理论ROI区域的大小，所述比较ROI区域与通过先验知识确定的理论ROI区域的大小具体包括以下步骤：计算ROI区域的面积，得到第一面积，根据先验知识以及与待测目标的距离确定理论ROI区域的面积，得到第二面积；其中，先验知识为一个字典数据，字典数据中包含每个待测目标在无遮挡的情况下在距离机器人距离为定值M时，对应的ROI区域的大小，将第一面积与第二面积进行方差处理，得到方差结果，根据方差结果确定ROI区域与通过先验知识确定的理论ROI区域的大小；

判断单元，用于根据比较结果，判断所述待测目标是否有遮挡；

第三确定单元，用于根据所述深度像素点确定待测目标的位姿，所述第三确定单元，包括：聚类模块，用于对所述深度像素点进行聚类，得到聚类结果；计算模块，用于若所述待测目标没有遮挡，根据聚类结果计算待测目标的位姿三维框；确定模块，用于若所述待测目标有遮挡，则根据聚类结果确定待测目标的位姿点。

6.一种计算机可读存储介质，该计算机可读存储介质存储有计算机代码，当计算机代码被执行时，如权利要求1-4中任一项所述的目标定位的方法被执行。

7.一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个计算机程序；

当一个或多个计算机程序被一个或多个处理器执行时，使得一个或多个处理器实现如权利要求1-4中任一项所述的目标定位的方法。