CN109272513A - 基于深度相机的手与物体交互分割方法及装置 - Google Patents

Abstract

本发明公开了一种基于深度相机的手与物体交互分割方法及装置，其中，方法包括：通过深度相机将深度图像与彩色图像对齐，以获取深度图像与彩色图像的对齐修正变换矩阵；根据深度信息进行背景剔除；通过HSV色彩空间进行分割；通过形态学开闭运算分别对人手和物体的mask进行滤波；分别对人手mask和物体mask分别提取轮廓，以得到多个对象轮廓，并选取其中满足预设条件的所有轮廓，重新生成相应的mask，以得到分割结果。该方法有效地完成了基于彩色图像对齐的手与物体的深度图像分割，且研究结果将用于为构建普适的深度分割方法制作数据集，并将为诸多人手任务提供便利。

Description

基于深度相机的手与物体交互分割方法及装置

技术领域

本发明涉及计算机图形学与成像技术领域，特别涉及一种基于深度相机的手与物体交互分割方法。

背景技术

相关技术中，对手与物体交互情形下的人手分割在姿态跟踪、行为识别与人机交互领域有着重要的作用。关于人手的研究也是相关领域的重点。深度相机的固有优势在姿态估计和三维重建领域十分突出，而使用深度相机的手与物体交互情形下的人手分割则没有一个成熟的技术。最近出现的深度相机人手分割方法有着一些先天的不足——必须佩戴特制的手套，造成与实际应用情形有差别；对手与物体交互情形下的分割不够细致等。如何在高分辨率下有效地完成手与物体的分割尚待解决。

发明内容

本申请是基于发明人对以下问题的认识和发现做出的：

近年来，基于红外结构光的深度相机因其独有的三维成像能力，在计算机视觉、计算机图形学领域有着广泛应用。在诸如姿态跟踪、人机交互领域，深度相机有其独特的优势，而手作为人体中最灵活的部分，也是相关研究中的重点。无论是姿态识别、三位重建还是其他应用，对同物体交互的人手的分割与背景剔除都起着重要的作用的。本发明实施例针对深度相机的特点，提出一种基于颜色空间与彩色深度融合的人手分割方法，可以有效识别人手与交互物体，完成深度图像的人手分割任务。

本发明实施例中使用的深度相机是Intel RealSense SR300。该相机使用红外结构光的方法生成深度图像，同时也会采集RGB(Red、Green、Blue，红、绿、蓝三色)图像作为参考。该相机在近距离的分辨率较高，非常适合高分辨率下细致的手与物体交互分割任务。但由于该设备还处于开发版测试阶段，一些功能还不稳定，比如不同批次的产品内参存在误差，无法自动完成RGB图像与深度图像的准确对其等。

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于深度相机的手与物体交互分割方法，该方法有效地完成了基于彩色图像对齐的手与物体的深度图像分割，且研究结果将用于为构建普适的深度分割方法制作数据集，并将为诸多人手任务提供便利。

本发明的另一个目的在于提出一种基于深度相机的手与物体交互分割装置。

为达到上述目的，本发明一方面实施例提出了一种基于深度相机的手与物体交互分割方法，包括以下步骤：步骤S1：通过深度相机将深度图像与彩色图像对齐，以获取所述深度图像与所述彩色图像的对齐修正变换矩阵；步骤S2：根据深度信息进行背景剔除；步骤S3：通过HSV(Hue Saturation Value，调色模型)色彩空间进行分割；步骤S4：通过形态学开闭运算分别对人手和物体的mask进行滤波；步骤S5：分别对人手mask和物体mask分别提取轮廓，以得到多个对象轮廓，并选取其中满足预设条件的所有轮廓，重新生成相应的mask，以得到分割结果。

本发明实施例的基于深度相机的手与物体交互分割方法，通过彩色与深度图像精确对齐，且对彩色图像的空间分布分析，完成物体与人手的分离，最终映射到深度图像上，无需佩戴专用手套，只需选择同人手颜色反差较大的物体，便可以实现深度图像下的人手分割，即实现高分辨率的手与物体交互情形人手分割，从而有效地完成了基于彩色图像对齐的手与物体的深度图像分割，且研究结果将用于为构建普适的深度分割方法制作数据集，并将为诸多人手任务提供便利。

另外，根据本发明上述实施例的基于深度相机的手与物体交互分割方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述对齐修正变换矩阵为：

进一步地，在本发明的一个实施例中，所述步骤S2进一步包括：根据反比关系确定手部区域大小，并获取所述手部区域的质心；以所述质心为中心，保留预设半径的范围内的深度点，以得到手部区域，剔除其余区域。

进一步地，在本发明的一个实施例中，分割函数为：

0<(h+10)％180<40，

20<s<200，

20<v<250，

v+0.6*s<270，

其中，h、s和v分别代表HSV颜色空间的坐标值。

进一步地，在本发明的一个实施例中，所述预设条件为：

其中，mask_in和mask_out分别为滤波前后的mask，merge为由多个轮廓重新生成mask的函数，FindContour()用于从mask中提取所有对象轮廓，Area()和ArcLength()分别为计算轮廓的面积和周长的函数。

为达到上述目的，本发明另一方面实施例提出了一种基于深度相机的手与物体交互分割装置，包括：对齐模块，用于通过深度相机将深度图像与彩色图像对齐，以获取所述深度图像与所述彩色图像的对齐修正变换矩阵；剔除模块，用于根据深度信息进行背景剔除；分割模块，用于通过HSV色彩空间进行分割；滤波模块，用于通过形态学开闭运算分别对人手和物体的mask进行滤波；提取模块，用于分别对人手mask和物体mask分别提取轮廓，以得到多个对象轮廓，并选取其中满足预设条件的所有轮廓，重新生成相应的mask，以得到分割结果。

本发明实施例的基于深度相机的手与物体交互分割装置，通过彩色与深度图像精确对齐，且对彩色图像的空间分布分析，完成物体与人手的分离，最终映射到深度图像上，无需佩戴专用手套，只需选择同人手颜色反差较大的物体，便可以实现深度图像下的人手分割，即实现高分辨率的手与物体交互情形人手分割，从而有效地完成了基于彩色图像对齐的手与物体的深度图像分割，且研究结果将用于为构建普适的深度分割方法制作数据集，并将为诸多人手任务提供便利。

另外，根据本发明上述实施例的基于深度相机的手与物体交互分割装置还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述对齐修正变换矩阵为：

进一步地，在本发明的一个实施例中，所述剔除模块进一步用于根据反比关系确定手部区域大小，并获取所述手部区域的质心，并以所述质心为中心，保留预设半径的范围内的深度点，以得到手部区域，剔除其余区域。

进一步地，在本发明的一个实施例中，分割函数为：

0<(h+10)％180<40，

20<s<200，

20<v<250，

v+0.6*s<270，

其中，h、s和v分别代表HSV颜色空间的坐标值。

进一步地，在本发明的一个实施例中，所述预设条件为：

其中，mask_in和mask_out分别为滤波前后的mask，merge为由多个轮廓重新生成mask的函数，FindContour()用于从mask中提取所有对象轮廓，Area()和ArcLength()分别为计算轮廓的面积和周长的函数。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的基于深度相机的手与物体交互分割方法的流程图；

图2为根据本发明一个具体实施例的基于深度相机的手与物体交互分割方法的流程图；

图3为根据本发明一个实施例的对样本进行的hsv颜色空间分析图；

图4为根据本发明一个实施例的基于深度相机的手与物体交互分割装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于深度相机的手与物体交互分割方法及装置，首先将参照附图描述根据本发明实施例提出的基于深度相机的手与物体交互分割方法。

图1是本发明一个实施例的基于深度相机的手与物体交互分割方法的流程图。

如图1所示，该基于深度相机的手与物体交互分割方法包括以下步骤：

步骤S1：通过深度相机将深度图像与彩色图像对齐，以获取深度图像与彩色图像的对齐修正变换矩阵。

其中，在本发明的一个实施例中，对齐修正变换矩阵为：

可以理解的是，如图2所示，深度图像与彩色图像对齐。通过对本发明实施例中的深度相机进行对齐性能分析，得到深度图像与彩色图像的对齐修正变换矩阵为：

其中数值单位为像素。也即本实例中只需对深度图像进行平移变换即可修正对齐误差。

需要说明的是，本发明实施例中使用的深度相机如Intel SR300，通过IntelSR300采集的深度和彩色图像，其分辨率均为640x480，本发明实施例使用的深度相机以Intel SR300为例，在此不做具体限定。

步骤S2：根据深度信息进行背景剔除。

进一步地，在本发明的一个实施例中，步骤S2进一步包括：根据反比关系确定手部区域大小，并获取手部区域的质心；以质心为中心，保留预设半径的范围内的深度点，以得到手部区域，剔除其余区域。

可以理解的是，如图2所示，背景剔除。采用业内通用的方法，使用深度信息剔除背景。首先寻找深度图像中的非零极小位置，即使用反比关系确定手部区域大小L：

L＝80000/d

其中数值单位为pixel·mm。计算手部区域的质心：

以质心为中心，保留预设半径的范围内的深度点作为手部区域，例如，保留半径200mm的范围内的深度点作为手部区域，其余均视为背景进行剔除。

具体而言，本发明实施例对深度相机的RGB-D对齐进行修正与完善，具体包括：

SR300的sdk拥有深度与彩色图像对齐功能，该功能通过对彩色相机和深度相机的内外参矩阵，计算两者之间的仿射变换，并对深度图像进行三维修正。该方法因为不同产品批次的相机内外参误差，对齐结果并不精确，需对sdk的输出结果进行修正。对深度图像进行修正变换计算，使其对齐彩色图像输出。假定深度图像像素为变换矩阵为A，则变换后的图像像素为：

也即：

对齐之后使用深度图像的三维信息滤除远距离背景。

步骤S3：通过HSV色彩空间进行分割。

可以理解的是，如图2所示，使用HSV色彩空间进行分割。首先选择三个样例，包括一个纯手与两个不同的物体样例，将其RGB图像转换到HSV色彩空间，使用matlab对颜色分布进行可视化，结果如图3所示。分析重叠区域，设计分割函数进行阈值分割。

进一步地，在本发明的一个实施例中，分割函数为：

0<(h+10)％180<40，

20<s<200，

20<v<250，

v+0.6*s<270，

其中，h、s和v分别代表HSV颜色空间的坐标值。该分割函数将提取出人手的mask，由于已经剔除了背景，其余部分即为交互物体的mask。

具体而言，本发明实施了可以利用彩色图像进行手与物体分割，具体包括：

现有利用颜色对皮肤的分割方法——椭圆模型。但在应用中发现其参数设置对关照、肤色比较敏感，实际效果很差，因此本发明实施例针对该特定任务具体研究分割模型。首先将RGB彩色图像转换到HSV色彩空间，使其颜色、饱和度、亮度坐标分离出来，然后将人手样本、人手与物体交互样本等多个样本的色彩空间分布进行可视化，分析不同图像中的重叠区域，即为人手对应的颜色空间分布。设计分割拟合函数，利用HSV信息分割人手。

步骤S4：通过形态学开闭运算分别对人手和物体的mask进行滤波。

可以理解的是，如图2所示，形态学滤波。使用形态学开闭运算，分别对人手和物体的mask进行滤波。例如，在本发明实例中，定义大小两个内核，大内核为5x5大小，小内核为3x3大小。对人手mask，使用大内核进行闭操作，然后使用小内核进行开操作；对物体mask，使用小内核进行闭操作，然后使用大内核进行开操作。其中所有的形态学滤波都是在二值空间中进行的。

步骤S5：分别对人手mask和物体mask分别提取轮廓，以得到多个对象轮廓，并选取其中满足预设条件的所有轮廓，重新生成相应的mask，以得到分割结果。

可以理解的是，如图2所示，轮廓滤波。首先分别对人手mask和物体mask分别提取轮廓，得到若干对象轮廓。然后选取其中满足下列条件的所有轮廓，重新生成相应的mask。

其中，在本发明的一个实施例中，预设条件为：

其中，mask_in和mask_out分别为滤波前后的mask，merge为由多个轮廓重新生成mask的函数，FindContour()用于从mask中提取所有对象轮廓，Area()和ArcLength()分别为计算轮廓的面积和周长的函数。

具体而言，分割结果的去噪与轮廓后处理，具体包括：

使用色彩空间分割人手之后，还存在很多噪声与不正确的轮廓。首先对分割的mask进行形态学滤波，以剔除点状噪声。形态学滤波基于腐蚀(E)与膨胀(D)操作：

基于腐蚀与膨胀，定义开运算(O)与闭运算(C)

O(A,B)＝D(E(A,B),B)

C(A,B)＝E(D(A,-B),-B)

给定相应的内核，开运算可以消除物体外噪声、平滑边界，闭运算可以消除物体内噪声、连接意外断开的物体。手和物体的mask都进行开闭运算，消除手和物体的分割噪声。

之后，还可能因为深度图像和彩色图像对齐的细微差异，在分割边界上出现细长痕迹。因此，还需进行轮廓滤波。提取分割出的mask轮廓，对轮廓的面积与周长之比进行阈值划分，滤除过于细长的轮廓。

综上，根据上述步骤便实现了使用彩色图像为深度图像进行人手分割的任务。深度图像在光照、颜色变化剧烈的条件下有着良好的鲁棒性，因此基于深度图像的分割将有着更广泛的应用。本发明将有助于构建深度图像的手与物体交互分割数据集，进而促进手势跟踪、三维重建、人机交互等应用的实现。

根据本发明实施例提出的基于深度相机的手与物体交互分割方法，通过彩色与深度图像精确对齐，且对彩色图像的空间分布分析，完成物体与人手的分离，最终映射到深度图像上，无需佩戴专用手套，只需选择同人手颜色反差较大的物体，便可以实现深度图像下的人手分割，即实现高分辨率的手与物体交互情形人手分割，从而有效地完成了基于彩色图像对齐的手与物体的深度图像分割，且研究结果将用于为构建普适的深度分割方法制作数据集，并将为诸多人手任务提供便利。

其次参照附图描述根据本发明实施例提出的基于深度相机的手与物体交互分割装置。

图4是本发明一个实施例的基于深度相机的手与物体交互分割装置的结构示意图。

如图4所示，该基于深度相机的手与物体交互分割装置10包括：对齐模块100、剔除模块200、分割模块300、滤波模块400和提取模块500。

其中，对齐模块100用于通过深度相机将深度图像与彩色图像对齐，以获取深度图像与彩色图像的对齐修正变换矩阵。剔除模块200用于根据深度信息进行背景剔除。分割模块300用于通过HSV色彩空间进行分割。滤波模块400用于通过形态学开闭运算分别对人手和物体的mask进行滤波。提取模块500用于分别对人手mask和物体mask分别提取轮廓，以得到多个对象轮廓，并选取其中满足预设条件的所有轮廓，重新生成相应的mask，以得到分割结果。本发明实施例的装置10有效地完成了基于彩色图像对齐的手与物体的深度图像分割，且研究结果将用于为构建普适的深度分割方法制作数据集，并将为诸多人手任务提供便利。

进一步地，在本发明的一个实施例中，对齐修正变换矩阵为：

进一步地，在本发明的一个实施例中，剔除模块200进一步用于根据反比关系确定手部区域大小，并获取手部区域的质心，并以质心为中心，保留预设半径的范围内的深度点，以得到手部区域，剔除其余区域。

进一步地，在本发明的一个实施例中，分割函数为：

0<(h+10)％180<40，

20<s<200，

20<v<250，

v+0.6*s<270，

其中，h、s和v分别代表HSV颜色空间的坐标值。

进一步地，在本发明的一个实施例中，预设条件为：

其中，mask_in和mask_out分别为滤波前后的mask，merge为由多个轮廓重新生成mask的函数，FindContour()用于从mask中提取所有对象轮廓，Area()和ArcLength()分别为计算轮廓的面积和周长的函数。

需要说明的是，前述对基于深度相机的手与物体交互分割方法实施例的解释说明也适用于该实施例的基于深度相机的手与物体交互分割装置，此处不再赘述。

根据本发明实施例提出的基于深度相机的手与物体交互分割装置，通过彩色与深度图像精确对齐，且对彩色图像的空间分布分析，完成物体与人手的分离，最终映射到深度图像上，无需佩戴专用手套，只需选择同人手颜色反差较大的物体，便可以实现深度图像下的人手分割，即实现高分辨率的手与物体交互情形人手分割，从而有效地完成了基于彩色图像对齐的手与物体的深度图像分割，且研究结果将用于为构建普适的深度分割方法制作数据集，并将为诸多人手任务提供便利。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于深度相机的手与物体交互分割方法，其特征在于，包括以下步骤：

步骤S1：通过深度相机将深度图像与彩色图像对齐，以获取所述深度图像与所述彩色图像的对齐修正变换矩阵；

步骤S2：根据深度信息进行背景剔除；

步骤S3：通过HSV色彩空间进行分割；

步骤S4：通过形态学开闭运算分别对人手和物体的mask进行滤波；以及

步骤S5：分别对人手mask和物体mask分别提取轮廓，以得到多个对象轮廓，并选取其中满足预设条件的所有轮廓，重新生成相应的mask，以得到分割结果。

2.根据权利要求1所述的基于深度相机的手与物体交互分割方法，其特征在于，所述对齐修正变换矩阵为：

3.根据权利要求1所述的基于深度相机的手与物体交互分割方法，其特征在于，所述步骤S2进一步包括：

根据反比关系确定手部区域大小，并获取所述手部区域的质心；

以所述质心为中心，保留预设半径的范围内的深度点，以得到手部区域，剔除其余区域。

4.根据权利要求1所述的基于深度相机的手与物体交互分割方法，其特征在于，分割函数为：

0<(h+10)％180<40，

20<s<200，

20<v<250，

v+0.6*s<270，

其中，h、s和v分别代表HSV颜色空间的坐标值。

5.根据权利要求1所述的基于深度相机的手与物体交互分割方法，其特征在于，所述预设条件为：

其中，mask_in和mask_out分别为滤波前后的mask，merge为由多个轮廓重新生成mask的函数，FindContour()用于从mask中提取所有对象轮廓，Area()和ArcLength()分别为计算轮廓的面积和周长的函数。

6.一种基于深度相机的手与物体交互分割装置，其特征在于，包括：

对齐模块，用于通过深度相机将深度图像与彩色图像对齐，以获取所述深度图像与所述彩色图像的对齐修正变换矩阵；

剔除模块，用于根据深度信息进行背景剔除；

分割模块，用于通过HSV色彩空间进行分割；

滤波模块，用于通过形态学开闭运算分别对人手和物体的mask进行滤波；以及

提取模块，用于分别对人手mask和物体mask分别提取轮廓，以得到多个对象轮廓，并选取其中满足预设条件的所有轮廓，重新生成相应的mask，以得到分割结果。

7.根据权利要求6所述的基于深度相机的手与物体交互分割装置，其特征在于，所述对齐修正变换矩阵为：

8.根据权利要求6所述的基于深度相机的手与物体交互分割装置，其特征在于，所述剔除模块进一步用于根据反比关系确定手部区域大小，并获取所述手部区域的质心，并以所述质心为中心，保留预设半径的范围内的深度点，以得到手部区域，剔除其余区域。

9.根据权利要求6所述的基于深度相机的手与物体交互分割装置，其特征在于，分割函数为：

0<(h+10)％180<40，

20<s<200，

20<v<250，

v+0.6*s<270，

其中，h、s和v分别代表HSV颜色空间的坐标值。

10.根据权利要求6所述的基于深度相机的手与物体交互分割装置，其特征在于，所述预设条件为：

其中，mask_in和mask_out分别为滤波前后的mask，merge为由多个轮廓重新生成mask的函数，FindContour()用于从mask中提取所有对象轮廓，Area()和ArcLength()分别为计算轮廓的面积和周长的函数。