CN110390681B - 一种基于深度相机的深度图物体轮廓快速提取方法及装置 - Google Patents

Abstract

本发明公开一种基于深度相机的深度图物体轮廓快速提取方法及装置，包括以下步骤：采集深度图；对所述深度图进行预处理得到灰度图；将所述灰度图二值化，得到背景与物体轮廓分离的二值图；使用连通域对所述二值图中物体进行标记，将物体轮廓的深度坐标集合提取出来；将物体轮廓的深度坐标集合转化为点云数据集。本发明尽量减少细节丢失的前提下作为二维图像进行处理，这样数据处理的维度减少了一个数量级，这对于处理速度的提升显著，且物体轮廓提取效果良好。

Description

一种基于深度相机的深度图物体轮廓快速提取方法及装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于深度相机的深度图物体轮廓快速提取方法及装置。

背景技术

随着机器视觉、自动驾驶、机器人的火爆，采用深度相机采集环境的深度信息然后进行物体识别、环境建模等越来普遍；相对于传统2D相机，3D相机增加了一维的深息，因而，能够更好的对真实世界进行描述；在许多领域如安防、监控、机器视觉、机器人等，拓展了更多的可能；如自动驾驶中的物体识别和障碍物检测，工业中散乱物体的识别、分拣、物流场景中物体的货架抓取等等都离不开对物体轮廓的提取，目前物体轮廓提取的主流方法是直接处理点云数据，例如基于凸包的凹点挖掘算法、基于Delaunay三角网的轮廓提取算法甚至有的采用空间拟合的方法来实现轮廓提取，这些方法对于计算单元的性能要求较高，算法复杂，在资源有限的嵌入式系统上运行会有很明显的实时性问题。

发明内容

为了解决上述技术问题，本发明提出一种基于深度相机的深度图物体轮廓快速提取方法及装置。在本发明中，克服现有技术存在算法复杂、计算量大的问题，可以快速、高效的进行深度图物体轮廓提取。

为了达到上述目的，本发明的技术方案如下：

一种基于深度相机的深度图物体轮廓快速提取方法，包括以下步骤：

采集深度图；

对所述深度图进行预处理得到灰度图；

将所述灰度图二值化，得到背景与物体轮廓分离的二值图；

使用连通域对所述二值图中物体进行标记，将物体轮廓的深度坐标集合提取出来；

将物体轮廓的深度坐标集合转化为点云数据集。

优选地，对所述深度图数据预处理得到灰度图，包括以下步骤：

将所述深度图按块分割，取这块区域的每个像素点的加权值之和作为这块区域的灰度图转换阈值；

以所述灰度图转换阈值为基准值，将这块图像区域每个像素点的深度值转换为灰度值。

优选地，所述每块深度图区域的灰度图转换阈值的公式表达式为：

所述灰度值转化的公式表达式为：

其中：分割的区域为坐标(m，n)至坐标(M，N)，X,Y是每个像素点的坐标，每个像素点的权值为w_X，Y，像素点深度值为d_X，Y，Offset可全局调整背景淡化效果。

优选地，所述连通域为四连通域或八连通域。

优选地，将所述灰度图二值化的算法包括Wellner算法，大律法。

优选地，根据深度图采集单元的光学内外参数将所述物体轮廓的深度坐标转换为点云坐标，简化的转化公式为：

其中：x,y,z是深度相机坐标系的点云坐标，x’，y’是图像坐标，D为深度值，f_x，f_y分别为x,y方向上的焦距。

一种基于深度相机的深度图物体轮廓快速提取装置，包括：深度图采集单元、深度图转灰度图处理单元、灰度图二值化处理单元、物体轮廓提取单元和点云转换单元，所述深度图采集单元与所述深度图转灰度图处理单元连接，所述深度图转灰度图处理单元与所述灰度图二值化处理单元连接，所述灰度图二值化处理单元与所述物体轮廓提取单元连接，所述物体轮廓提取单元与所述点云转换单元连接，其中：

所述深度图采集单元，用于采集深度图；

所述深度图转灰度图处理单元，用于将所述深度图进行预处理得到灰度图；

所述灰度图二值化处理单元，用于将所述灰度图二值化，得到背景与物体轮廓分离的二值图；

所述物体轮廓提取单元，用于对所述二值图中进行物体标记并提取出物体轮廓的深度坐标集合；

所述点云转换单元，用于将物体轮廓的深度坐标集合转化为点云数据集。

优选地，所述深度图采集单元包括基于ToF的深度相机、基于结构光的深度相机或基于双目视觉的深度相机。

一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行：

采集深度图；

对所述深度图进行预处理得到灰度图；

将所述灰度图二值化，得到背景与物体轮廓分离的二值图；

使用连通域对所述二值图中物体进行标记，将物体轮廓的深度坐标集合提取出来；

将物体轮廓的深度坐标集合转化为点云数据集。

一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的服务器执行时，使得所述服务器执行以下操作:

采集深度图；

对所述深度图进行预处理得到灰度图；

将所述灰度图二值化，得到背景与物体轮廓分离的二值图；

使用连通域对所述二值图中物体进行标记，将物体轮廓的深度坐标集合提取出来；

将物体轮廓的深度坐标集合转化为点云数据集。

基于上述技术方案，本发明的有益效果是：解决了传统轮廓提取方法计算量大、算法复杂的问题，极大改善了轮廓提取速度，实现难度小，提取效果良好，可以很容易集成到运算能力有限的嵌入式系统中。

附图说明

图1：本发明实施例一中一种基于深度相机的深度图物体轮廓快速提取方法的流程图；

图2：本发明实施例二中一种基于深度相机的深度图物体轮廓快速提取装置的结构示意图；

图3：本发明实施例三中一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

实施例一

如图1所示，为本发明一种基于深度相机的深度图物体轮廓快速提取方法的流程图，该方法可由一种基于深度相机的深度图物体轮廓快速提取装置或者安装有一种基于深度相机的深度图物体轮廓快速提取装置的移动终端执行。

一种基于深度相机的深度图物体轮廓快速提取方法，本方法的技术原理是对三维的深度图像进行相应预处理，尽量减少细节丢失的前提下作为二维图像进行处理，这样数据处理的维度减少了一个数量级，这对于处理速度的提升显著，且物体轮廓提取效果良好，包括以下步骤：

步骤一、采集深度图，可以是通过基于ToF的深度相机、基于结构光的深度相机、基于双目视觉的深度相机等设备进行采集；

步骤二、对所述深度图预处理得到灰度图，深度图转灰度图处理单元目的是淡化背景，强化物体轮廓信息。这个部分有两种方案，一种是全局阈值法，另一种是局部阈值法；全局阈值法的背景淡化能力较局部阈值法要弱一些，但是抗干扰能力比较强，局部阈值法与之相反，但是局部阈值法可通过加权的方式提高抗干扰能力。优选局部阈值法将深度图转换为灰度图,包括以下步骤：

第一步，对深度图采集单元采集到的数据预处理，将深度图按块分割，分割得越细，背景淡化效果越强，但是越容易受噪声像素点干扰，反之，背景淡化效果越弱，对噪声像素点的抗干扰能力越强。

第二步，取分割的一块深度图像区域，该图像区域的转换阈值取自区域内的每个像素点的深度值加权结果之和,我们假设分割的区域为坐标(m，n)至坐标(M，N)，X,Y是每个像素点的坐标，每个像素点的权值为w_X，Y，每个像素点深度值为d_X，Y，这块区域的阈值为Thre，则阈值公式表达式为:

其中权值w_X，Y的取值应考虑分割区域大小和深度图分辨率的影响，我们暂取值为w_X,Y＝(N-n)(M-m)；Offset可全局调整背景淡化效果。

第三步，以这块深度图区域的Thre值为基准，将区域内的像素点的深度值转换为灰度值，其中灰度值位数不做限制，这里选取8位灰度做示例，物体或背景在灰度图中的表示不作限制，这里选取灰度值较高表示物体，灰度值较低表示背景作为示例，其他情况也类似，这里不再赘述，则公式表达式为：

第四部，重复第二步和第三步，直到所有的深度图分割区域都转换成灰度图。

步骤三、将所述灰度图二值化，得到背景分离的二值图，此步骤目的是将背景分离，由于二值化算法较多，比较成熟，可选择Wellner、大律法等算法，这里不再赘述，其中物体和背景在二值图中应为互斥关系，如果物体用1表示，则背景应为0，反之亦然；

步骤四、使用连通域对所述二值图中物体进行标记，将物体轮廓提取出来，轮廓提取基于步骤三中的二值图，可使用标记算法将物体标记出来，可选四连通域或八连通域，优选于八连通域标记，连通域标记算法较多，也比较成熟，这里不再赘述；

步骤五、将步骤四中物体轮廓的深度坐标集合转化为点云坐标集，转换公式可简化为：

其中x,y,z是深度相机坐标系的点云坐标，x',y'是图像坐标，D为深度值，f_x，f_y分别为x，y方向上的焦距。

实施例二

如图2所示，一种基于深度相机的深度图物体轮廓快速提取装置，包括：深度图采集单元201、深度图转灰度图处理单元202、灰度图二值化处理单元203、物体轮廓提取单元204和点云转换单元205，所述深度图采集单元201与所述深度图转灰度图处理单元202连接，所述深度图转灰度图处理单元202与所述灰度图二值化处理单元203连接，所述灰度图二值化处理单元203与所述物体轮廓提取单元204连接，所述物体轮廓提取单元204与所述点云转换单元205连接，其中：

所述深度图采集单元201，用于采集深度图；

所述深度图转灰度图处理单元202，用于将所述深度图进行预处理得到灰度图；

所述灰度图二值化处理单元203，用于将所述灰度图二值化，得到背景与物体轮廓分离的二值图；

所述物体轮廓提取单元204，用于对所述二值图中进行物体标记并提取出物体轮廓的深度坐标集合；

所述点云转换单元205，用于将物体轮廓的深度坐标集转化为点云数据集。

进一步，所述深度图采集单元201为包括基于ToF的深度相机、基于结构光的深度相机或基于双目视觉的深度相机。

实施例三

如图3所示，一种电子设备，包括：存储器、处理器及存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行：

采集深度图；

对所述深度图进行预处理得到灰度图；

将所述灰度图二值化，得到背景与物体轮廓分离的二值图；

使用连通域对所述二值图中物体进行标记，将物体轮廓的深度坐标集合提取出来；

将物体轮廓的深度坐标集合转化为点云数据集。

实施例四

一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的服务器执行时，使得所述服务器执行以下操作:

采集深度图；

对所述深度图进行预处理得到灰度图；

将所述灰度图二值化，得到背景与物体轮廓分离的二值图；

使用连通域对所述二值图中物体进行标记，将物体轮廓的深度坐标集合提取出来；

将物体轮廓的深度坐标集合转化为点云数据集。

其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。

以上所述仅为本发明所公开的一种基于深度相机的深度图物体轮廓快速提取方法及装置的优选实施方式，并非用于限定本说明书实施例的保护范围。凡在本说明书实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书实施例的保护范围之内。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书实施例中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (9)

1.一种基于深度相机的深度图物体轮廓快速提取方法，其特征在于，包括以下步骤：

采集深度图；

对所述深度图进行预处理得到灰度图，具体处理过程：将所述深度图按块分割，取这块区域的每个像素点的加权值之和作为这块区域的灰度图转换阈值；以所述灰度图转换阈值为基准值，将这块图像区域每个像素点的深度值转换为灰度值；

将所述灰度图二值化，得到背景与物体轮廓分离的二值图；

使用连通域对所述二值图中物体进行标记，将物体轮廓的深度坐标集合提取出来；

将物体轮廓的深度坐标集合转化为点云数据集。

2.根据权利要求1所述的一种基于深度相机的深度图物体轮廓快速提取方法，其特征在于，所述每块深度图区域的灰度图转换阈值的公式表达式为：

所述灰度值转化的公式表达式为：

其中：分割的区域为坐标(m，n)至坐标(M，N)，X,Y是每个像素点的坐标，每个像素点的权值为w_X，Y，像素点深度值为d_X，Y，Offset可全局调整背景淡化效果。

3.根据权利要求1所述的一种基于深度相机的深度图物体轮廓快速提取方法，其特征在于，所述连通域为四连通域或八连通域。

4.根据权利要求1所述的一种基于深度相机的深度图物体轮廓快速提取方法，其特征在于，将所述灰度图二值化的算法包括Wellner算法，大律法。

5.根据权利要求1所述的一种基于深度相机的深度图物体轮廓快速提取方法，其特征在于，根据深度图采集单元的光学内外参数将所述物体轮廓的深度坐标转换为点云坐标，简化的转化公式为：

其中：

x,y,z是深度相机坐标系的点云坐标，x^’，y^’是图像坐标，D为深度值，f_x，f_y分别为x,y方向上的焦距。

6.一种基于深度相机的深度图物体轮廓快速提取装置，其特征在于，包括：

深度图采集单元、深度图转灰度图处理单元、灰度图二值化处理单元、物体轮廓提取单元和点云转换单元，所述深度图采集单元与所述深度图转灰度图处理单元连接，所述深度图转灰度图处理单元与所述灰度图二值化处理单元连接，所述灰度图二值化处理单元与所述物体轮廓提取单元连接，所述物体轮廓提取单元与所述点云转换单元连接，其中：

所述深度图采集单元，用于采集深度图；

所述深度图转灰度图处理单元，用于将所述深度图进行预处理得到灰度图，具体处理过程：将所述深度图按块分割，取这块区域的每个像素点的加权值之和作为这块区域的灰度图转换阈值；以所述灰度图转换阈值为基准值，将这块图像区域每个像素点的深度值转换为灰度值；

所述灰度图二值化处理单元，用于将所述灰度图二值化，得到背景与物体轮廓分离的二值图；

所述物体轮廓提取单元，用于对所述二值图中进行物体标记并提取出物体轮廓的深度坐标集合；

所述点云转换单元，用于将物体轮廓的深度坐标集合转化为点云数据集。

7.根据权利要求6所述的一种基于深度相机的深度图物体轮廓快速提取装置，其特征在于，所述深度图采集单元包括基于ToF的深度相机、基于结构光的深度相机或基于双目视觉的深度相机。

8.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行：

采集深度图；

对所述深度图进行预处理得到灰度图，具体处理过程：将所述深度图按块分割，取这块区域的每个像素点的加权值之和作为这块区域的灰度图转换阈值；以所述灰度图转换阈值为基准值，将这块图像区域每个像素点的深度值转换为灰度值；

将所述灰度图二值化，得到背景与物体轮廓分离的二值图；

使用连通域对所述二值图中物体进行标记，将物体轮廓的深度坐标集合提取出来；

将物体轮廓的深度坐标集合转化为点云数据集。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的服务器执行时，使得所述服务器执行以下操作:

采集深度图；

对所述深度图进行预处理得到灰度图，具体处理过程：将所述深度图按块分割，取这块区域的每个像素点的加权值之和作为这块区域的灰度图转换阈值；以所述灰度图转换阈值为基准值，将这块图像区域每个像素点的深度值转换为灰度值；

将所述灰度图二值化，得到背景与物体轮廓分离的二值图；

使用连通域对所述二值图中物体进行标记，将物体轮廓的深度坐标集合提取出来；

将物体轮廓的深度坐标集合转化为点云数据集。

Images