CN106875465A - 基于rgbd图像的三维操控空间的建立方法及设备 - Google Patents

Abstract

本发明提供了一种基于RGBD图像的三维操控空间的建立方法及设备。该方法包括以下步骤：采集用户的连续帧RGBD图像，其中，RGBD图像包括彩色信息和深度信息；根据连续帧RGBD图像获取建立三维操控空间的指令；以RGBD图像中特定点为原点建立三维坐标系；以特定点为中心建立操控边界面，并获取操控边界面上的点在三维坐标系上的位置信息；将操控边界面划分多个指令区域，以根据用户手部穿越指令区域时的穿越信息来识别指令。该设备包括采集模块、指令获取模块、坐标建立模块、边界面建立模块和指令划分模块。本发明通过利用RGBD图像的彩色信息和深度信息建立三维操控空间，能使得用户的空间手势操控更加方便、准确、快捷，改善了用户体验。

Description

基于RGBD图像的三维操控空间的建立方法及设备

技术领域

本发明涉及空间手势操控技术领域，特别是涉及一种基于RGBD图像的三维操控空间的建立方法及设备。

背景技术

利用RGBD相机获取RGBD图像，图像中的像素信息包括彩色信息和深度信息，其彩色信息与深度信息一一对应。对RGBD图像中的目标区域进行跟踪，可以根据目标区域的深度信息自动获取其彩色信息，反之亦然。

对RGBD相机获取的RGBD图像进行处理，其中深度图像的每一个像素值，对应于该像素所反映目标在物理空间中到深度相机的距离。对深度图像中的目标区域，可以直接获取其空间位置信息，进一步根据深度图像可以实现3D物体重建、手势识别手势操控等功能。因而相比彩色信息，深度信息在对手部位置跟踪，运动轨迹获取等方面具有优势。

现有的手势操控中，需要定位屏幕光标，因此，要求用户在特定的空间范围内进行操作，并需要将用户的手势的空间位置转换为操控界面的坐标，即将用户的手势映射到操控界面中，才能实现利用手势定位屏幕光标的目的。

上述手势操控方法将用户手势限制在一个固定的区域内，才可以实现用户的手势与操控界面的对应关系，并且，用户需要根据光标在操控界面内的位置来进行手势操控，因而，给用户的操作带来了不便，用户体验不佳。

发明内容

本发明提供一种基于RGBD图像的三维操控空间的建立方法及设备，能够解决现有技术存在的空间三维操控需映射到操控界面导致操控不便，体验不佳的问题。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于RGBD图像的三维操控空间的建立方法，该方法包括以下步骤：采集用户的连续帧RGBD图像，其中，所述RGBD图像包括彩色信息和深度信息；根据所述连续帧RGBD图像获取建立所述三维操控空间的指令；以所述RGBD图像中特定点为原点建立三维坐标系；以所述特定点为中心建立操控边界面，并获取所述操控边界面上的点在所述三维坐标系上的位置信息；将所述操控边界面划分多个指令区域，以根据用户手部穿越所述指令区域时的穿越信息来识别指令。

其中，所述根据所述RGBD图像获取建立所述三维操控空间的指令的步骤包括：根据所述RGBD图像识别用户的手部区域；根据所述手部区域在所述连续帧RGBD图像中的变化判断所述手部区域是否完成特定的手势动作；若是，则获取建立所述三维操控空间的指令。

其中，所述根据所述手部区域在所述连续帧RGBD图像中的变化判断所述手部区域是否完成特定的手势动作的步骤之前包括：预先设定一个手势动作作为特定的手势动作，并保存；所述根据所述手部区域在所述连续帧RGBD图像中的变化判断所述手部区域是否完成特定的手势动作的步骤进一步包括：利用所述连续帧RGBD图像中手部区域的所述彩色信息，对所述手部区域的形态变化形成的所述手势动作进行识别；将识别到的所述手势动作与预设的所述特定的手势动作进行匹配，若匹配成功，则判断所述手部区域完成所述特定的手势动作。

其中，所述根据所述手部区域在所述连续帧RGBD图像中的变化判断所述手部区域是否完成特定的手势动作的步骤进一步包括：利用所述连续帧RGBD图像中手部区域的所述彩色信息，识别所述手部区域的手部中心点；利用所述手势动作终止状态时的所述RGBD图像中手部区域的所述深度信息识别手部中心点的空间位置；所述以所述RGBD图像中特定点为原点建立三维坐标系的步骤和所述以所述特定点为中心建立操控边界面，并获取所述操控边界面上的点在所述三维坐标系上的位置信息的步骤中，所述特定点为手部中心点，所述手部中心点的空间位置即该特定点的空间位置。

其中，所述特定的手势动作为手部从张开到握拳的手势动作。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种建立基于RGBD图像的三维操控空间的设备，该设备包括：采集模块、指令获取模块、坐标建立模块、边界面建立模块和指令划分模块。采集模块用于采集用户的连续帧RGBD图像，其中，所述RGBD图像包括彩色信息和深度信息；指令获取模块与所述采集模块连接，用于根据所述连续帧RGBD图像获取建立所述三维操控空间的指令；坐标建立模块与所述指令获取模块连接，用于以所述RGBD图像中特定点为原点建立三维坐标系；边界面建立模块与所述坐标建立模块连接，用于以所述特定点为中心建立操控边界面，并获取所述操控边界面上的点在所述三维坐标系上的位置信息；指令划分模块与所述边界面建立模块连接，用于将所述操控边界面划分多个指令区域，以根据用户手部穿越所述指令区域时的穿越信息来识别指令。

其中，所述指令获取模块进一步包括第一识别模块和判断模块；第一识别模块与所述采集模块连接，用于根据所述RGBD图像识别用户的手部区域；判断模块与所述第一识别模块连接，用于根据所述手部区域在所述连续帧RGBD图像中的变化判断所述手部区域是否完成特定的手势动作，并在完成所述特定的手势动作时，获取建立所述三维操控空间的指令。

其中，所述设备还包括预设模块，所述预设模块用于预先设定一个手势动作作为特定的手势动作，并保存；所述判断模块进一步包括第二识别模块和匹配模块；第二识别模块与所述第一识别模块连接，用于利用所述连续帧RGBD图像中手部区域的所述彩色信息，对所述手部区域的形态变化形成的所述手势动作进行识别；匹配模块与所述第二识别模块和所述预设模块连接，用于将识别到的所述手势动作与预设的所述特定的手势动作进行匹配，并在匹配成功时判断所述手部区域完成所述特定的手势动作。

其中，所述判断模块进一步包括第三识别模块和第四识别模块；第三识别模块与所述第一识别模块连接，用于利用所述连续帧RGBD图像中手部区域的所述彩色信息，识别所述手部区域的手部中心点；第四识别模块与所述第三识别模块连接，用于利用所述手势动作终止状态时的所述RGBD图像中手部区域的所述深度信息识别手部中心点的空间位置；其中，所述特定点为手部中心点，所述手部中心点的空间位置即该特定点的空间位置。

其中，所述特定的手势动作为手部从张开到握拳的手势动作。

本发明的有益效果是：区别于现有技术的情况，本发明由于建立了三维操控空间，能够限定用户在提高手势操控指令时手势动作的空间位置，防止误识别了用户并非用于手势遥控的手势动作，例如，在三维操控空间外的其他人的手势动作，或者，用户另一个手的手势动作等。相对与现有技术对用户手势操控的限定，本发明中，用户在操作的时候，不需要将手势映射到显示屏幕中，手的位置也不需要与显示屏幕中显示的按键等对应来进行操控，而是通过手与三维操控空间的位置关系来触发指令，由于本发明建立三维操控空间的指令是通过连续帧RGBD图像来获取，由于RGBD图像具有彩色信息和深度信息，其具有较高的分辨率，因而可以获取更加准确信息，因而能清晰准确地识别出RGBD图像中的指令。并且，三维操控空间的建立是以用户的RGBD图像中的特定点为原点来建立，而该三维操控空间的原点位置是深度图像中用户在触发建立三维操控空间时某一特定点位置，因此，该三维操控空间建立在一个能方便于用户操作的位置。另外，本发明由于将三维操控空间的操控边界面划分为多个指令区域，并通过用户手部穿越指令区域时的穿越信息来识别指令，提高了指令的触发相应速度。因而，本发明能使得用户的空间手势操控更加方便，改善了用户体验。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明第一实施例提供的基于RGBD图像的三维操控空间的建立方法的流程示意图；

图2是本发明第一实施例中建立的三维操控空间的示意图；

图3是本发明第二实施例提供的一种基于RGBD图像的三维操控空间的建立方法的流程示意图；

图4是图3中步骤S23的流程示意图；

图5是本发明第二实施例提供的三维操控空间的建立方法中特定的手势动作的示意图；

图6是本发明第一实施例提供的一种建立基于RGBD图像的三维操控空间的设备的结构示意图；

图7是本发明第二实施例提供的一种建立基于RGBD图像的三维操控空间的设备的结构示意图；

图8是本发明实施例提供的一种建立基于RGBD图像的三维操控空间的设备的实体装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，图1是本发明第一实施例提供的基于RGBD图像的三维操控空间的建立方法的流程示意图。

具体地，本实施例的基于RGBD图像的三维操控空间的建立方法包括以下步骤：

S11、采集用户的连续帧RGBD图像，其中，RGBD图像包括彩色信息和深度信息。

具体地，RGBD图像可以通过RGBD相机来进行采集，RGBD图像包括了彩色信息(RGB)和深度信息(Depth)，连续帧的RGBD图像是指在一个特定的时间段内，一系列连续的RGBD图像。

S12、根据连续帧RGBD图像获取建立三维操控空间的指令。

具体地，本实施例需要从RGBD图像中获取了建立三维操控空间的指令之后才会建立三维操控空间，以防止误识别了用户并非用于手势遥控的手势动作，以更加精确地进行手势识别。

其中，建立三维操控空间的指令可以是一个手势动作，并且，该手势动作可以仅是手掌部位的动作，而与手掌部位是否有整体的位移没有关系。例如，该手势动作是手掌从手指张开到手掌闭合握拳的动作，在手掌做该手势动作的时候，手掌整体从左边挥到右边，或者从上方挥到下方，均对手势动作的识别没有影响。

S13、以RGBD图像中特定点为原点建立三维坐标系。

步骤S13中，该特定点在本次操作中固定不变。请参阅图2，图2是本发明第一实施例中建立的三维操控空间的示意图。

具体而言，如图2所建立的三维坐标系具有xyz三轴，用户朝向需要控制的设备(例如电视机)的方向为y轴正方向，x轴与y轴所在平面平行于地面，z轴垂直与x轴与y轴所在的平面。朝向图2中右方的方向为x轴的正方向，朝向图2中的上方的方向为z轴的正方向。

本实施例中，特定点可以是用户的手部中心点，可以理解的是，在其他一些实施例中，还可以是手部区域的最高点，或者手部区域的最左或者最右的点等等。

S14、以特定点为中心建立操控边界面，并获取操控边界面上的点在三维坐标系上的位置信息。

如图2所示，操控边界面为一个球面，该球面以特定点为球心，以R为半径，操控边界面上的点在三维坐标系上的位置信息即坐标值，例如，本实施例中，点g的坐标值为(x，y，z)。

本实施例的三维操控空间呈球形，可以理解地，在其它一些实施例中，三维操控空间可以是方体，例如正方体或者长方体等，此时，操控边界面则为方体的面，例如正方体或者长方体的六个面。

S15、将操控边界面划分多个指令区域，以根据用户手部穿越指令区域时的穿越信息来识别指令。

具体地，本发明在球面上划分多个指令区域，例如本实施例划分的指令区域有x轴正方向穿越的指令区域A、x轴负方向穿越的指令区域B，z轴正方向穿越的指令区域C，z轴负方向穿越的指令区域D，y轴正方向穿越的指令区域E和y轴负方向穿越的指令区域F。指令区域A、指令区域B、指令区域C，指令区域D，指令区域E和指令区域F构成整个操控边界面。

本实施例的三维操控空间即为具有多个指令区域的球面围成的空间，该三维操控空间是一个虚拟的空间。

具体地，穿越信息可以是用户手部具体穿越哪个指令区域，例如，先对每个指令区域定义一个不同指令，用户手部穿越哪个指令区域侧触发该指令区域对应的指令，因此，用户手部穿越不同的指令区域可触发不同的指令。

此外，穿越信息不仅包括用户手部具体穿越哪个指令区域，还包括用户手部穿越该指令区域时的穿越方向。例如，在对每个指令区域定义不同的指令时，对同一个指令区域还可以定义两个不同的指令，即用户的手部从三维操控空间内部穿越该指令区域到三维操控空间外部定义为一个指令，用户的手部从三维操控空间外部穿越该指令区域到三维操控空间内部定义为另一个指令。

举例而言，定义用户手部从三维操控空间内穿过指令区域A到达三维操控空间外触发指令Aa，指令Aa对应频道增加，用户手部从三维操控空间内穿过指令区域B到达三维操控空间外触发指令Bb，指令Bb对应频道减少；用户手部从三维操控空间内穿过指令区域C到达三维操控空间外触发指令Cc，指令Cc对应音量增加，用户手部从三维操控空间内穿过指令区域D到达三维操控空间外触发指令Dd，指令Dd对应音量减弱，用户手部从三维操控空间内穿过指令区域E到达三维操控空间外触发指令Ee，指令Ee对应确定，用户手部从三维操控空间内穿过指令区域F到达三维操控空间外触发指令Ff，指令Ff对应退出等。

值得一提的是，还可以预先定义指令Aa’或者指令Bb’等指令，即用户手部从三维操控空间外穿过指令区域A到达三维操控空间内，或者用户手部从三维操控空间外穿过指令区域B到达三维操控空间内。

因此，本发明由于建立了三维操控空间，能够限定用户在提高手势操控指令时手势动作的空间位置，防止误识别了用户并非用于手势遥控的手势动作，例如，在三维操控空间外的其他人的手势动作，或者，用户另一个手的手势动作等。相对与现有技术对用户手势操控的限定，本发明中，用户在操作的时候，不需要将手势映射到显示屏幕中，手的位置也不需要与显示屏幕中显示的按键等对应来进行操控，而是通过手与三维操控空间的位置关系来触发指令，由于本发明建立三维操控空间的指令是通过连续帧RGBD图像来获取，由于RGBD图像具有彩色信息和深度信息，其具有较高的分辨率，因而可以获取更加准确信息，因而能清晰准确地识别出RGBD图像中的指令。并且，三维操控空间的建立是以用户的RGBD图像中的特定点为原点来建立，而该三维操控空间的原点位置是深度图像中用户在触发建立三维操控空间时某一特定点位置，因此，该三维操控空间建立在一个能方便于用户操作的位置。另外，本发明由于将三维操控空间的操控边界面划分为多个指令区域，并通过用户手部穿越指令区域时的穿越信息来识别指令，提高了指令的触发相应速度。因而，本发明能使得用户的空间手势操控更加方便，改善了用户体验。

请参阅图3，图3是本发明第二实施例提供的一种基于RGBD图像的三维操控空间的建立方法的流程示意图。

具体地，本实施例的三维操控空间的建立方法包括以下步骤：

S21、采集用户的连续帧RGBD图像，其中，RGBD图像包括彩色信息和深度信息。

S22、根据RGBD图像识别用户的手部区域。

S23、根据手部区域在连续帧RGBD图像中的变化判断手部区域是否完成特定的手势动作。

如图4所示，图4是图3中步骤S23的流程示意图。具体而言，在一个实施例中，步骤S23还包括步骤：

S231、预先设定一个手势动作作为特定的手势动作，并保存。

步骤S231中，特定的手势动作可以是手掌张开到手掌闭合握拳的动作，或者手掌闭合握拳到手掌张开，或者手掌闭合握拳到两个手指竖起的“V”字手势等。本实施例以手掌张开到手掌闭合握拳的动作为例进行说明，如图5所示，图5是本发明第二实施例提供的三维操控空间的建立方法中特定的手势动作的示意图。

具体而言，在预设特定的手势动作的时候，可以采集该特定的手势动作从开始到完成一段时间内的连续帧RGBD图像。并获取该连续帧RGBD图像中手部区域的手指、掌心等各部位的轮廓，及其变化规律，并进行保存。

S232、利用连续帧RGBD图像中手部区域的彩色信息，对手部区域的形态变化形成的手势动作进行识别。

具体地，本实施例的手势动作为手掌的手指从张开到手掌闭合握拳，在进行该手势动作的过程，手部区域的形态发生了变化，其中，该手部区域的形态变化的识别可以利用肤值模型、分块像素识别方法等，例如，可以通过以下方式来进行识别：

设定手部区域轮廓面积的阈值，获取当前手部区域轮廓的面积，并与设定的阈值进行比较，从而可获得当前手部区域的形态。或者，

通过判别手部区域边缘与手掌中心距离的变化来判断手掌处于手指舒张或者是聚拢握紧的状态。

本实施例通过RGBD图像中的彩色信息可以对手部区域的形态进行准确识别，例如，可以获取连续帧RGBD图像中手部区域的手指、掌心等各部位的轮廓，并获取其变化规律。由于利用了RGBD图像，该RGBD图像的分辨率高，因而可以获得准确率更高的手部区域的信息，并且，利用彩色信息可以进行皮肤识别，相对于普通深度图像中粗糙的手部区域轮廓，彩色信息获取的手指、掌心等各部位的轮廓的边角清晰准确，因而对手部区域的形态的识别准确率较高。

S233、利用连续帧RGBD图像中手部区域的彩色信息识别手部区域的手部中心点。

具体地，手部中心点可以是手掌的重心、质心或者几何中心等。

可以理解的是，在其它一些实施例中，还可以根据手部区域的彩色信息识别手指头的端点，或者手部区域的最高点，或者手部区域的最左或者最右的点等等。

S234、利用手势动作终止状态时的RGBD图像中手部区域的深度信息识别手部中心点的空间位置。

步骤S234中，只需在手势动作终止时候利用RGBD图像的深度信息来识别手部中心点的空间位置，而在手势动作进行过程中的手部中心点的空间位置可以不作识别。

值得一提的是，如图2所示，本实施例的手部区域在进行特定的手势动作的过程手部区域整体在进行移动，例如图2中的手掌在从手指张开到手掌闭合握拳的过程中，手部区域从左边移动到右边，在此过程中，通过连续帧RGBD图像中的彩色信息可以识别手部区域的手势动作，手部区域从左边移动到右边并不会对手部区域的手势动作的识别造成影响，并且该过程中的手部中心点的空间位置可以不作识别。当手势动作完成时，再通过手势动作完成时的RGBD图像识别手部中心点的空间位置，以该手部中心点的空间位置来作为后续建立三维操控空间的基准点。

S235、将识别到的手势动作与预设的特定的手势动作进行匹配，若匹配成功，则判断手部区域完成特定的手势动作。

例如，将步骤S232中获取的连续帧RGBD图像中手部区域的手指、掌心等各部位的轮廓的变化规律与步骤S231中预设该特定的手势动作时保存的手部区域的手指、掌心等各部位的轮廓的变化规律进行匹配，如果匹配结果为一致，则表示匹配成功，并进入步骤S24。若匹配结果为不一致，则表明获取的手势动作并不是要建立三维操控空间的指令对应的手势动作，因而不会进入后续流程。

其中，步骤S233和步骤S234按顺序执行，而该两个步骤可以与步骤S235同时执行，或者也可以在步骤S235之前或者之后，在此不做限定。

S24、获取建立三维操控空间的指令。

S25、以RGBD图像中手部中心点为原点建立三维坐标系。

请继续参阅图2，步骤S25中，以该手部中心点为原点建立三维坐标系，该原点在本次操作中固定不变。

S26、以手部中心点为中心建立操控边界面，并获取操控边界面上的点在三维坐标系上的位置信息。

步骤S26中的操控边界面为以手部中心点作为球心，以R为半径的一个球面。位置信息即球面上的点在三维坐标系上的空间分布信息，即坐标值，例如本实施例的点g的坐标值为(x，y，z)。

S27、将操控边界面划分多个指令区域，以根据用户手部穿越指令区域时的穿越信息来识别指令。

具体地，本发明在球面上划分多个指令区域，例如本实施例划分的指令区域有x轴正方向穿越的指令区域A、x轴负方向穿越的指令区域B，z轴正方向穿越的指令区域C，z轴负方向穿越的指令区域D，y轴正方向穿越的指令区域E和y轴负方向穿越的指令区域F。指令区域A、指令区域B、指令区域C，指令区域D，指令区域E和指令区域F构成整个操控边界面。

本实施例的三维操控空间即为具有多个指令区域的球面围成的空间，该三维操控空间是一个虚拟的空间。

在利用该三维操控空间进行手势操控时，可以定义用户手部穿过不同的指令区域而触发不同的指令，并且，还可以结合用户手部穿过该指令区域时的不同的穿越方向来触发不同的指令，其中，不同的穿越方向可以是从三维操控空间内部从穿越到三维操控空间的外部，或者从三维操控空间外部穿越到三维操控空间的内部。

本实施例充分利用了RGBD图像的彩色信息来识别手势动作，因而能清晰准确地识别手势动作，以准确地判断是否获取建立三维操控空间的指令，并且利用了RGBD图像的深度信息来确定手部中心点的空间位置，从而能在准确的位置上建立起三维操控空间。因而，使得三维操控空间的建立更加方便、快捷、准确。

请参阅图6，图6是本发明第一实施例提供的一种建立基于RGBD图像的三维操控空间的设备的结构示意图。

具体地，本实施例的建立基于RGBD图像的三维操控空间的设备包括采集模块10、指令获取模块11、坐标建立模块12、边界面建立模块13和指令划分模块14。

其中，采集模块10用于采集用户的连续帧RGBD图像，其中，RGBD图像包括彩色信息和深度信息。

指令获取模块11与采集模块10连接，用于根据连续帧RGBD图像中获取建立三维操控空间的指令。

坐标建立模块12与指令获取模块11连接，用于以RGBD图像中特定点为原点建立三维坐标系；

边界面建立模块13与坐标建立模块12连接，用于以特定点为中心建立操控边界面，并获取操控边界面上的点在三维坐标系上的位置信息；

指令划分模块14与边界面建立模块13连接，用于将操控边界面划分多个指令区域，以根据用户手部穿越指令区域时的穿越信息来识别指令。

请参阅图7，图7是本发明第二实施例提供的一种建立基于RGBD图像的三维操控空间的设备的结构示意图。

本实施例的建立基于RGBD图像的三维操控空间的设备包括采集模块20、指令获取模块21、坐标建立模块22、边界面建立模块23、指令划分模块24和预设模块25。

其中，采集模块20用于采集用户的连续帧RGBD图像，其中，RGBD图像包括彩色信息和深度信息。

指令获取模块21与采集模块20连接，用于根据连续帧RGBD图像中获取建立三维操控空间的指令。

预设模块25用于预先设定一个手势动作作为特定的手势动作，并保存。

具体而言，指令获取模块21包括第一识别模块210和判断模块211，第一识别模块210与采集模块20连接，用于根据RGBD图像识别用户的手部区域。判断模块211与第一识别模块210连接，用于根据手部区域在连续帧RGBD图像中的变化判断手部区域是否完成特定的手势动作，并在完成特定的手势动作时，获取建立三维操控空间的指令。

本实施例的判断模块211进一步包括第二识别模块211a、匹配模块211b、第三识别模块211c和第四识别模块211d。

其中，第二识别模块211a与第一识别模块210连接，用于利用连续帧RGBD图像中手部区域的彩色信息，对手部区域的形态变化形成的手势动作进行识别。

匹配模块211b与第二识别模块211a和预设模块25连接，用于将识别到的手势动作与预设的特定的手势动作进行匹配，并在匹配成功时判断手部区域完成特定的手势动作。

第三识别模块211c与第一识别模块210连接，用于利用连续帧RGBD图像中手部区域的彩色信息，识别手部区域的手部中心点。

第四识别模块211d与第三识别模块211c连接，用于利用手势动作终止状态时的RGBD图像中手部区域的深度信息识别手部中心点的空间位置。

其中，特定点为手部中心点，手部中心点的空间位置即该特定点的空间位置。

坐标建立模块22与指令获取模块21连接，用于以RGBD图像中特定点为原点建立三维坐标系。

边界面建立模块23与坐标建立模块22连接，用于以特定点为中心建立操控边界面，并获取操控边界面上的点在三维坐标系上的位置信息。

指令划分模块24与边界面建立模块123连接，用于将操控边界面划分多个指令区域，以根据用户手部穿越指令区域时的穿越信息来识别指令。

请参阅图8，图8是本发明实施例提供的一种建立基于RGBD图像的三维操控空间的设备的实体装置的结构示意图。本实施方式的装置可以执行上述方法中的步骤，相关内容请参见上述方法中的详细说明，在此不再赘述。

该智能电子设备包括处理器31、与处理器31耦合的存储器32。

存储器32用于存储操作系统、设置的程序和预设的特定的手势动作。

处理器31用于采集用户的连续帧RGBD图像，其中，所述RGBD图像包括彩色信息和深度信息；根据所述RGBD图像中获取建立所述三维操控空间的指令；以所述RGBD图像中特定点为原点建立三维坐标系；以所述特定点为中心建立操控边界面，并获取所述操控边界面上的点在所述三维坐标系上的位置信息；将所述操控边界面划分多个指令区域，以根据用户手部穿越所述指令区域时的穿越信息来识别指令。

处理器31还用于根据所述RGBD图像识别用户的手部区域；根据所述手部区域在所述连续帧RGBD图像中的变化判断所述手部区域是否完成特定的手势动作；若是，则获取建立所述三维操控空间的指令。

处理器31还用于预先设定一个手势动作作为特定的手势动作，并通过存储器32保存；利用所述连续帧RGBD图像中手部区域的所述彩色信息，对所述手部区域的形态变化形成的所述手势动作进行识别；将识别到的所述手势动作与预设的所述特定的手势动作进行匹配，若匹配成功，则判断所述手部区域完成所述特定的手势动作。

处理器31还用于利用所述连续帧RGBD图像中手部区域的所述彩色信息，识别所述手部区域的手部中心点；利用所述手势动作终止状态时的所述RGBD图像中手部区域的所述深度信息识别手部中心点的空间位置；所述以所述RGBD图像中特定点为原点建立三维坐标系的步骤和所述以所述特定点为中心建立操控边界面，并获取所述操控边界面上的点在所述三维坐标系上的位置信息的步骤中，所述特定点为手部中心点，所述手部中心点的空间位置即该特定点的空间位置。

在本发明所提供的几个实施方式中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本发明各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

综上所述，本发明能使得用户的空间手势操控更加方便，改善了用户体验。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于RGBD图像的三维操控空间的建立方法，其特征在于，包括以下步骤：

采集用户的连续帧RGBD图像，其中，所述RGBD图像包括彩色信息和深度信息；

根据所述连续帧RGBD图像获取建立所述三维操控空间的指令；

以所述RGBD图像中特定点为原点建立三维坐标系；

以所述特定点为中心建立操控边界面，并获取所述操控边界面上的点在所述三维坐标系上的位置信息；

将所述操控边界面划分多个指令区域，以根据用户手部穿越所述指令区域时的穿越信息来识别指令。

2.根据权利要求1所述的三维操控空间的建立方法，其特征在于，所述根据所述连续帧RGBD图像获取建立所述三维操控空间的指令的步骤包括：

根据所述RGBD图像识别用户的手部区域；

根据所述手部区域在所述连续帧RGBD图像中的变化判断所述手部区域是否完成特定的手势动作；

若是，则获取建立所述三维操控空间的指令。

3.根据权利要求2所述的三维操控空间的建立方法，其特征在于，所述根据所述手部区域在所述连续帧RGBD图像中的变化判断所述手部区域是否完成特定的手势动作的步骤之前包括：

预先设定一个手势动作作为特定的手势动作，并保存；

所述根据所述手部区域在所述连续帧RGBD图像中的变化判断所述手部区域是否完成特定的手势动作的步骤进一步包括：

利用所述连续帧RGBD图像中手部区域的所述彩色信息，对所述手部区域的形态变化形成的所述手势动作进行识别；

将识别到的所述手势动作与预设的所述特定的手势动作进行匹配，若匹配成功，则判断所述手部区域完成所述特定的手势动作。

4.根据权利要求3所述的三维操控空间的建立方法，其特征在于，所述根据所述手部区域在所述连续帧RGBD图像中的变化判断所述手部区域是否完成特定的手势动作的步骤进一步包括：

利用所述连续帧RGBD图像中手部区域的所述彩色信息，识别所述手部区域的手部中心点；

利用所述手势动作终止状态时的所述RGBD图像中手部区域的所述深度信息识别手部中心点的空间位置；

所述以所述RGBD图像中特定点为原点建立三维坐标系的步骤和所述以所述特定点为中心建立操控边界面，并获取所述操控边界面上的点在所述三维坐标系上的位置信息的步骤中，所述特定点为手部中心点，所述手部中心点的空间位置即该特定点的空间位置。

5.根据权利要求2所述的三维操控空间的建立方法，其特征在于，所述特定的手势动作为手部从张开到握拳的手势动作。

6.一种建立基于RGBD图像的三维操控空间的设备，其特征在于，包括：

采集模块，用于采集用户的连续帧RGBD图像，其中，所述RGBD图像包括彩色信息和深度信息；

指令获取模块，与所述采集模块连接，用于根据所述连续帧RGBD图像获取建立所述三维操控空间的指令；

坐标建立模块，与所述指令获取模块连接，用于以所述RGBD图像中特定点为原点建立三维坐标系；

边界面建立模块，与所述坐标建立模块连接，用于以所述特定点为中心建立操控边界面，并获取所述操控边界面上的点在所述三维坐标系上的位置信息；

指令划分模块，与所述边界面建立模块连接，用于将所述操控边界面划分多个指令区域，以根据用户手部穿越所述指令区域时的穿越信息来识别指令。

7.根据权利要求6所述的设备，其特征在于，所述指令获取模块进一步包括：

第一识别模块，与所述采集模块连接，用于根据所述RGBD图像识别用户的手部区域；

判断模块，与所述第一识别模块连接，用于根据所述手部区域在所述连续帧RGBD图像中的变化判断所述手部区域是否完成特定的手势动作，并在完成所述特定的手势动作时，获取建立所述三维操控空间的指令。

8.根据权利要求7所述的设备，其特征在于，所述设备还包括预设模块，所述预设模块用于预先设定一个手势动作作为特定的手势动作，并保存；

所述判断模块进一步包括：

第二识别模块，与所述第一识别模块连接，用于利用所述连续帧RGBD图像中手部区域的所述彩色信息，对所述手部区域的形态变化形成的所述手势动作进行识别；

匹配模块，与所述第二识别模块和所述预设模块连接，用于将识别到的所述手势动作与预设的所述特定的手势动作进行匹配，并在匹配成功时判断所述手部区域完成所述特定的手势动作。

9.根据权利要求8所述的设备，其特征在于，所述判断模块进一步包括：

第三识别模块，与所述第一识别模块连接，用于利用所述连续帧RGBD图像中手部区域的所述彩色信息，识别所述手部区域的手部中心点；

第四识别模块，与所述第三识别模块连接，用于利用所述手势动作终止状态时的所述RGBD图像中手部区域的所述深度信息识别手部中心点的空间位置；

其中，所述特定点为手部中心点，所述手部中心点的空间位置即该特定点的空间位置。

10.根据权利要求7所述的设备，其特征在于，所述特定的手势动作为手部从张开到握拳的手势动作。