CN105589553A - 一种智能设备的手势控制方法和系统 - Google Patents
一种智能设备的手势控制方法和系统 Download PDFInfo
- Publication number
- CN105589553A CN105589553A CN201410635701.2A CN201410635701A CN105589553A CN 105589553 A CN105589553 A CN 105589553A CN 201410635701 A CN201410635701 A CN 201410635701A CN 105589553 A CN105589553 A CN 105589553A
- Authority
- CN
- China
- Prior art keywords
- gesture
- smart machine
- model
- gesture model
- gestures
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供一种智能设备的手势控制方法和系统，包括：步骤一，通过智能设备的摄像头或深度传感器捕捉手势图像；步骤二，分析模块处理手势图像，生成平面二维手势模型或空间三维手势模型；使用比对模块将平面二维手势模型或空间三维手势模型与存储在数据库中的智能手势模型进行对比，获取手势图像所代表的动作；最后，使用关联执行模块选取手指关节节点，并与光标相关联，执行手势图像代表的动作。本发明不需对控制手势进行预先学习，减少了学习周期；通过深度传感器来建立三维手势模型，使得智能设备的手势判断更加精确，使用起来也更加方便。
Description
技术领域
本发明涉及人机交互技术领域，特别是涉及一种智能设备的手势控制方法和系统。
背景技术
随着计算机技术以及移动网络的迅速发展，人们需要操作的智能设备将不再局限于个人电脑、桌面设备、智能手机，而且还将包括智能电视、智能穿戴、智能家居。人们期望在家里、路上或办公室里都能更加便捷的使用这些智能设备。
然而，这些智能设备的操作并不便捷。通常，用户想要操作智能设备都需要通过手的直接接触才能完成。用户在使用这些智能设备时，均是通过用手来操作某一外设(如鼠标、键盘、按钮、遥控器)或某一平面(如触摸屏、触摸板)来实现点击、滑动、拖拽等指令。这在完成人机交互的同时占用了用户的双手，无形中是一种束缚。
这些智能设备的操作界面通常是2D的，无法实现3D纵深的操作。
站在更宏观的层面来讲，智能设备正在经历着由手持设备向穿戴设备的演化过程。并且，随着移动数据通信速度的飞快提升，更多的应用场景将有室内转向室外、由静态转向动态。
专利号200910093890.4公开了一种基于计算机视觉的实时手势交互方法。在该篇专利文献中，手势交互存在两个主要缺点：1.操作手势需要预先学习，该学习周期较长，另外由于每个人的动作习惯不同，实质上当操作者更换后，需要让计算机重新学习手势方能更加有效的使用；2.该专利的手势主要指的的手型的轮廓，比较粗糙，仅适用于比较粗糙的操作方式，对现代的智能设备而言，操作不仅仅是滑动那么简单，现代智能设备的复杂性使得手势操作的精度的需求大大增强，最直观的是手指活动的捕捉，譬如当代智能手机的操作大多依靠手指的滑动和点击来完成，而甚少依靠手臂来完成。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种智能设备的手势控制方法和系统，用于解决现有技术中通过手势进行控制时，对手势的识别不够精确的问题。
为实现上述目的及其他相关目的，本发明提供一种智能设备的手势控制方法，包括：步骤一，捕捉手势图像；步骤二，处理所述手势图像，生成平面二维手势模型或空间三维手势模型；步骤三，将所述平面二维手势模型或所述空间三维手势模型与智能手势模型进行对比，以获取所述手势图像所代表的动作：如果对比成功，则跳转至步骤四，如果对比失败，则显示无法识别的信息，并重新跳转至步骤一；步骤四，选取所述平面二维手势模型或所述空间三维手势模型在智能手势模型里设定的手指关节节点，与光标相关联的，并执行所述手势图像所代表的动作，之后跳转回步骤一。
可选地，所述步骤一中，所述手势图像由所述智能设备的摄像头或深度传感器进行捕捉。
可选地，所述步骤二中，所述平面二维手势模型是通过对所述摄像头捕捉的所述手势图像的每一帧画面进行二值化处理，区分手与背景，再通过手指轮廓与手掌的相对位置建立手指与手指关节节点而形成的；其中，所述手指为一个或多个。
可选地，所述二值化处理包括：首先对所述手势图像的每一帧画面通过inRange函数滤波，通过形态学操作去除噪声干扰，使得手的边界更加清晰平滑；然后转换到HSV空间；再根据皮肤在HSV空间的分布做出阈值判断，得到二值图像；最后对所述二值图像用findContour函数找出手的轮廓，去除伪轮廓，使用convexHull函数得到凸包络。
可选地，所述步骤二中，所述空间三维手势模型是通过对所述深度传感器捕捉的所述手势图像的三维数据而生成的。
可选地，所述智能手势模型是预先导入安装在所述智能设备的智能系统中的。
可选地，所述智能系统包括安卓操作系统。
可选地，所述智能设备包括智能眼镜、智能手机、智能机顶盒、智能手表和智能电视。
可选地，所述手指关节节点包括指尖、第一指节、第二指节、指根、虎口和掌心。
一种智能设备的手势控制系统，所述智能设备包括深度传感器和摄像头，所述智能设备的手势控制系统包括分析模块、对比模块、关联执行模块和数据库；所述分析模块用于处理所述摄像头或所述深度传感器捕捉到的手势图像，生成平面二维手势模型或空间三维手势模型；所述比对模块用于根据所述平面二维手势模型或所述空间三维手势模型，对比智能手势模型获取所述手势图像所代表的动作；所述关联执行模块用于选取手指关节节点，与光标相关联，并执行所述手势图像所代表的动作；所述数据库用于存储所述智能手势模型。
如上所述，本发明的一种智能设备的手势控制方法和系统，其通过智能设备自带的摄像头或深度传感器进行手势图像的捕捉，并对其进行处理，生成平面二维手势模型或空间三维手势模型；将其与智能手势模型进行对比，以判断手势图像所代表的动作；最后选取相应的手指关节节点，与智能系统的光标进行关联，并执行手势图像所代表的动作。本发明的智能设备手势控制方法，可以直接对智能设备进行控制，不许对控制手势进行预先学习，减少了学习周期；本发明还可以通过深度传感器来建立三维手势模型，使得智能设备的手势判断更加精确。
附图说明
图1显示为本发明实施例公开的一种智能设备的手势控制示意图。
图2显示为本发明实施例公开的一种智能设备的手势控制方法。
图3显示为本发明实施例公开的一种智能设备的不同手势的示意图。
图4显示为本发明实施例公开的一种智能设备的手势控制系统的结构示意图。
元件标号说明
100智能设备
110摄像头
120深度传感器
200手势
201手势
202手势
203手势
S21～S24步骤
400智能设备的手势控制系统
410分析模块
420比对模块
430关联执行模块
440数据库
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。
请参阅图1至图4。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
实施例1
本实施例一种智能设备的手势控制方法，其主要是对智能设备通过手势来进行控制，如图1所示，智能设备100智能设备主要包括智能眼镜、智能手机、智能机顶盒、智能手表和智能电视，其可通过手势200来控制智能设备100的智能系统。其中，智能设备100上包括摄像头110和深度传感器120；其中，摄像头110和深度传感器120都是用于捕捉手势200的数据，但是，摄像头110所捕捉的数据是二维的，深度传感器120所捕捉的数据是三维的。
如图2所示，本实施例的一种智能设备的手势控制方法，包括：
步骤一S21，捕捉手势图像：通过智能设备100的摄像头110，可以捕捉位于摄像头视频范围内的手势图像；并且，手势图像还可以通过智能设备100的深度传感器120进行捕捉，当然，手势图必须是在深度传感器120的感应范围内。相较于摄像头110采集的手势图像的平面数据，深度传感器120可以采用很多类型的传感器，例如温度传感器或红外传感器，当然本实施例并不仅限于此，通过深度传感器进行手势图像捕捉的灵敏度和精确度更加高，且捕捉的也直接是手势图像的三维数据。
其中，手势既可以通过单手进行比划，也可以使用双手进行比划，并且手的姿势不限，可以任意手指或者握拳等等。图3是展示的若干个不同的手势图像，手势图像201表示通过一个手指的滑动对智能系统进行控制：手势图像202表示通过一个手的五个手指和手掌来对智能系统进行控制；手势图像203表示通过双手来同时对智能系统进行控制。
步骤二S22，处理手势图像，生成平面二维手势模型或空间三维手势模型。
其中，平面二维手势模型是通过对摄像头110捕捉的手势图像的每一帧画面进行二值化处理，以区分手与背景，再通过对手指轮廓与手掌的相对位置建立手指及手指关节节点，从而生成平面二维手势模型。其中手指关节节点包括指尖、第一指节、第二指节、指根、虎口和掌心等等。
智能系统具有交互界面和后台处理系统。在后台处理系统中，处理程序使用摄像头110将手势200的每一帧画面进行二值化处理，以区分手与背景，再通过对手指轮廓与手掌的相对位置建立手指及手指关节节点，手指关节节点都包括数据p(x，y)。
其中，二值化处理时按照如下过程进行：滤波去噪-->转换到HSV(Hue，Saturation，Value)空间-->根据皮肤在HSV空间的分布做出阈值判断，这里用到了inRange函数，然后进行一下形态学的操作，去除噪声干扰，使得手的边界更加清晰平滑-->得到二值图像-->用findContours函数找出手的轮廓，去除伪轮廓后，再用convexHull函数得到凸包络。
空间三维手势模型是通过深度传感器120捕捉手势图像的三维数据而直接建立的，其中，空间三维手势模型中的每个手指关节节点都包括数据p(x，y，z)。
空间三维手势模型还可先通过摄像头110捕捉手势图像的的每一帧画面进行二值化处理生成平面二维手势模型；再在该平面二维手势模型的基础上，利用深度传感器捕捉平面二维手势模型中的多个手指关节节点的深度数据，从而建立空间三维手势模型，每个手指关节节点都包括数据。
步骤三S23，将平面二维手势模型或空间三维手势模型与智能手势模型进行对比，以获取手势图像所代表的动作：如果对比成功，则跳转至步骤四，如果对比失败，则显示无法识别的信息，并重新跳转至步骤一。
智能手势模型是预先导入安装在智能设备的智能系统中的，主要包括移动、点击、翻页、拖拽、单一选取、区域选取和裁剪等等。在本实施例中，智能系统主要为安卓操作系统。
通过将平面二维手势模型或空间三维手势模型与智能手势模型进行比对，判断出平面二维手势模型或空间三维手势模型是否在智能手势模型中存在与之相匹配的动作，如果存在，则认为对比成功，手势图像所代表的动作即为平面二维手势模型或空间三维手势模型在智能手势模型中与之相匹配的动作；反之，如果不存在，则认为对比失败，该手势图像不被识别。
步骤四S24，选取平面二维手势模型或空间三维手势模型在智能手势模型里设定的手指关节节点，并与光标相关联的，执行手势图像所代表的动作，之后跳转回步骤一。
使用图3所示的手势201可以进行对智能系统中的光标进行移动的操作：通过智能设备捕捉转化而来的智能手势模型，当模型为单手食指在空间中移动的时候，智能系统将手势模型中的食指顶点与光标进行关联，在食指顶点在映射平面107中发生位置变化时，光标201的x,y坐标也相应变化。
使用如图3所示的多个手指的手势202进行操作，手势202使用了5个手指在空间中进行移动操作，该操作将被定义为智能系统中的内容滑动操作，当屏幕大小不足以展示当前视窗里的全部内容时，通过滑动操作可以看到视窗边界之外的内容。
使用如图3所示的两个手的手势203进行操作，手势203使用了两个手，智能系统将根据每个手的中心点作为一个矩形的两个对角点，从而生成一个矩形框，在需要用到矩形框的子系统中(如裁剪，选择等)显示该矩形的位置和大小。
本实施例的智能设备的手势控制方法，通过捕捉手势图像，建立平面二维手势模型或空间三维手势模型；对比智能手势模型可以简单快捷精确地实现智能设备的手势控制。
实施例2
本实施例的智能设备的手势控制方法，其智能设备100为智能眼镜，手势200包括移动、点击、翻页、拖拽、单一选取和区域选取，智能系统为安卓，摄像头被集成在智能眼镜上的摄像头，智能手势模型被存储在智能眼镜上应用软件数据库中。
针对不同的手势：
移动：单手单指在摄像头可捕捉的范围内进行移动，智能系统将摄像头所捕捉的每一帧画面进行二值化处理，以区分手指和背景，再通过对手指轮廓与手掌的相对位置建立手指及手指关节节点，并计算出单指第一指节的中心点(或单指尖端)，包括数据p(x，y)。智能系统将手势中的单指顶点与智能系统的光标进行关联，在单指顶点的p(x，y)中发生位置变化时，光标的p1(x1，y1)坐标也相应变化。
点击：单手单指在摄像头可捕捉的范围内移动后静止不低于3秒，智能系统将摄像头所捕捉每一帧画面进行二值化处理，以区分手指和背景，再通过对手指轮廓与手掌的相对位置建立手指及手指关节节点，并计算出单指第一指节的中心点(或单指尖端)，包括数据p(x，y)。智能手势模型将智能系统捕捉的手机动作数据p(x，y)与智能手势模型相对比，判断属于点击操作。智能系统将手势中的单指顶点与智能系统的光标进行关联，在单指顶点的p(x，y)所对应的光标的p1(x1，y1)坐标位置处执行等同于触屏点击的操作。
翻页：单手单指在摄像头可捕捉的范围内向着同一方向执行加速运动或单手单指在运动方向不变的情况下从摄像头的可视范围外滑入可视范围内并继续滑出可视范围外。智能系统将摄像头所捕捉每一帧画面进行二值化处理，以区分手指和背景，再通过对手指轮廓与手掌的相对位置建立手指及手指关节节点，并计算出单指第一指节的中心点(或单指尖端)，包含数据p(x，y)。智能手势模型将智能系统捕捉的手势动作数据p(x，y)与智能手势模型相对比，判断属于滑动翻页操作。智能系统将手势中的单指顶点与智能系统的光标进行关联，在单指顶点的p(x，y)中发生位置变化时，光标的p1(x1，y1)坐标也相应变化，并执行等同于触屏手机中的滑动翻页操作。
拖拽动作由选取、拖拽移动和释放组成：
选取：单手单指在摄像头可捕捉的范围内移动，单手相邻手指弹出，智能系统将摄像头所捕捉每一帧画面进行二值化处理，以区分手指和背景，再通过对手指轮廓与手掌的相对位置建立手指及手指关节节点，并计算出最先伸出的单指第一指节的中心点(或单指尖端)，包含数据p(x，y)，稍后伸出的邻指第一指节的中心点(或单指尖端)，包括数据q(a，b)。智能手势模型将智能系统捕捉的手势动作数据p(x，y)和q(a，b)与智能手势模型相对比，判断属于拖拽选取功能，并以先伸出的单指p(x，y)为光标对应点。智能系统将手势中的先伸出的单指顶点与智能系统的光标进行关联，光标p1对其所在的p1(x，y)位置的图标进行拖拽选取工作。
拖拽平移：单手双指在摄像头可捕捉的范围内移动，系统形成数据p(x，y)和q(a，b)两个数据集。智能手势模型将智能系统捕捉的手势动作数据p(x，y)和q(a，b)与智能手势模型相对比，判断属于拖拽平移操作，并以p(x，y)为光标对应点。智能系统将手势中的先伸出的单指顶点与智能系统的光标进行关联，光标p1对其所在的p1(x，y)位置的图标进行拖拽平移工作。
释放：单手双指在摄像头可捕捉的范围内移动，当在之前拖拽选取中先伸出的手指移动到所需的位置后，后伸出的手指收回。系统形成数据p(x，y)和q(a，b)两个数据集。智能手势模型将智能系统捕捉的手势动作数据p(x，y)和q(a，b)与智能手势模型相对比，判断属于释放操作，并以p(x，y)为光标对应点。手势系统将手势中的先伸出的单指顶点与智能系统的光标进行关联，光标p1对其所在的p1(x，y)位置的图标进行拖拽释放工作，解除光标所在位置图标的选定状态。
单一选取：与本实施例中的选取操作相同。
区域选取：单手单指在摄像头可捕捉的范围内进行移动，其移动轨迹在3秒内形成一个封闭的图形，智能系统将摄像头所捕捉每一帧画面进行二值化处理，以区分手指和背景，再通过对手指轮廓与手掌的相对位置建立手指及手指关节节点，并计算出单指第一指节的中心点(或单指尖端)，包括数据p(x，y)。智能手势模型将智能系统捕捉的手势动作数据p(x，y)与智能手势模型相对比，判断属于区域选取操作。智能系统将手势中的单指顶点与智能系统的光标进行关联，在单指顶点的p(x，y)中发生位置变化时，光标的p1(x1，y1)坐标也相应变化，并将光标p1(x1，y1)在3秒内围成闭环内的图标全部选取。
实施例3：
本实施例的智能设备的手势控制方法，其智能设备100为智能手机，手势200包括移动、点击、翻页、拖拽、单一选取和区域选取，智能系统为安卓操作系统，摄像头110被集成在智能眼镜上的摄像头，智能手势模型被存储在智能眼镜上应用软件数据库中，并且，相较于实施例2，本实施例的智能设备100还包括一个深度传感器120，用于捕捉相关的深度数据。
针对不同的手势：
移动：单手单指在摄像头可捕捉的范围内进行移动，智能系统将摄像头所捕捉每一帧画面进行二值化处理，以区分手指和背景，再通过对手指轮廓与手掌的相对位置建立手指及手指关节节点，并计算出单指第一指节的中心点(或单指尖端)，通过深度传感器，捕捉到这几个关节点的深度数据，从而建立空间三维手势模型，每个关节点都包括数据p(x，y，z)。智能系统将手势中的单指顶点与智能系统的光标进行关联，在操作二维界面时，在单指顶点的p(x，y，z)中发生位置变化时，光标的p1(x1，y1)坐标也相应变化；在操作三维界面时，在单指顶点的p(x，y，z)中发生位置变化时，光标的p1(x1，y1，z1)坐标也相应变化。
点击：单手单指在摄像头可捕捉的范围内静止后向与摄像头相背方向移动，智能系统将摄像头所捕捉每一帧画面进行二值化处理，以区分手指和背景，再通过对手指轮廓与手掌的相对位置建立手指及手指关节节点，并计算出单指第一指节的中心点(或单指尖端)，通过深度传感器，捕捉到这几个关节点的深度数据，从而建立空间三维手势模型，每个关节点都包括数据p(x，y，z)。智能手势模型将智能系统捕捉的手势动作数据p(x，y，z)与智能手势模型相对比，判断属于点击操作。智能系统将手势中的单指顶点与智能系统的光标进行关联，在单指顶点的p(x，y，z)所对应的光标的p1(x1，y1)坐标位置处执行等同于触屏点击的操作。
翻页：单手单指在摄像头可捕捉的范围内向着同一方向执行加速运动或单手单指在运动方向不变的情况下从摄像头的可视范围外滑入可视范围内并继续滑出可视范围外。智能系统将摄像头所捕捉每一帧画面进行二值化处理，以区分手指和背景，再通过对手指轮廓与手掌的相对位置建立手指及手指关节节点，并计算出单指第一指节的中心点(或单指尖端)，通过深度传感器，捕捉到这几个关节点的深度数据，从而建立空间三维手势模型，每个关节点都包括数据p(x，y，z)。智能手势模型将智能系统捕捉的手势动作数据p(x，y，z)与智能手势模型相对比，判断属于滑动翻页操作。智能系统将手势模型中的单指顶点与智能系统的光标进行关联，在单指顶点的p(x，y，z)中发生位置变化时，光标的p1(x1，y1)坐标也相应变化，并执行等同于触屏手机中的滑动翻页操作。
拖拽动作由选取、拖拽移动和释放组成：
选取：单手单指在摄像头可捕捉的范围内静止后向与摄像头相向方向移动，智能系统将摄像头所捕捉每一帧画面进行二值化处理，以区分手指和背景，再通过对手指轮廓与手掌的相对位置建立手指及手指关节节点，并计算出单指第一指节的中心点(或单指尖端)，通过深度传感器，捕捉到这几个关节点的深度数据，从而建立空间三维手势模型，每个关节点都包括数据p(x，y，z)。智能手势模型将智能系统捕捉的手势动作数据p(x，y，z)与智能手势模型相对比，判断属于拖拽选取功能，并以单指p(x，y，z)为光标对应点。智能系统将手势模型中的单指顶点与智能系统的光标进行关联，光标p1对其所在的p1(x，y)位置的图标进行拖拽选取工作。
拖拽平移：单手单指在摄像头可捕捉的范围内移动，智能系统将摄像头所捕捉每一帧画面进行二值化处理，以区分手指和背景，再通过对手指轮廓与手掌的相对位置建立手指及手指关节节点，并计算出单指第一指节的中心点(或单指尖端)，通过深度传感器，捕捉到这几个关节点的深度数据，从而建立空间三维手势模型，每个关节点都包括数据p(x，y，z)。智能手势模型将智能系统捕捉的手势动作数据p(x，y，z)与智能手势模型相对比，判断属于拖拽平移操作，并以p(x，y，z)为光标对应点。智能系统将手势模型中的单指顶点与智能系统的光标进行关联，光标p1对其所在的p1(x，y)位置的图标进行拖拽平移工作。
释放：操作方式同本实施例中的点击，点击处即为释放位置。
单一选取：操作方式同本实施例中的选取。
区域选取：单手单指在摄像头可捕捉的范围内进行移动，其移动轨迹在3秒内形成一个封闭的图形，智能系统将摄像头所捕捉每一帧画面进行二值化处理，以区分手指和背景，再通过对手指轮廓与手掌的相对位置建立手指及手指关节节点，并计算出单指第一指节的中心点(或单指尖端)，通过深度传感器，捕捉到这几个关节点的深度数据，从而建立空间三维手势模型，每个关节点都包括数据p(x，y，z)。智能手势模型将智能系统捕捉的手势动作数据p(x，y，z)与智能手势模型相对比，判断属于区域选取操作。智能系统将手势中的单指顶点与智能系统的光标进行关联，在单指顶点的p(x，y，z)中发生位置变化时，光标的p1(x1,y1)坐标也相应变化，并将光标p1(x1，y1)在3秒内围成闭环内的图标全部选取。
实施例4
本实施例的智能设备的手势控制方法，其实施环境与实施例3类似，智能设备100为智能手机；手势200包括移动、点击、翻页、拖拽、单一选取和区域选取；智能系统为安卓操作系统；智能手势模型被存储在智能眼镜上应用软件数据库中。但是智能手机仅包括深度传感器120，不包括摄像头110。
针对不同的手势：
移动：单手单指在深度传感器可捕捉的范围内进行移动，深度传感器可以直接捕捉到手势图像的三维数据，得到手势图像的三维数据就可直接生成空间三维手势模型，其中空间三维手势模型中每个手指关节节点都包括数据p(x，y，z)。智能系统将手势中的单指顶点与智能系统的光标进行关联，在操作时，在单指顶点的p(x，y，z)中发生位置变化时，光标的p1(x1,y1，z1)坐标也相应变化。
点击：单手单指在深度传感器可捕捉的范围内静止后向与深度传感器相背方向移动，深度传感器可以直接捕捉到手势图像的三维数据，得到手势图像的三维数据就可直接生成空间三维手势模型，其中空间三维手势模型中每个手指关节节点都包括数据p(x，y，z)。智能手势模型将智能系统捕捉的手势动作数据p(x，y，z)与智能手势模型相对比，判断属于点击操作。智能系统将手势中的单指顶点与智能系统的光标进行关联，在单指顶点的p(x，y，z)所对应的光标的p1(x1，y1)坐标位置处执行等同于触屏点击的操作。
翻页：单手单指深度传感器可捕捉的范围内向着同一方向执行加速运动或单手单指在运动方向不变的情况下从深度传感器的可感知范围外滑入可感知范围内并继续滑出可感知范围外。深度传感器可以直接捕捉到手势图像的三维数据，得到手势图像的三维数据就可直接生成空间三维手势模型，其中空间三维手势模型中每个手指关节节点都包括数据p(x，y，z)。智能手势模型将智能系统捕捉的手势动作数据p(x，y，z)与智能手势模型相对比，判断属于滑动翻页操作。智能系统将手势模型中的单指顶点与智能系统的光标进行关联，在单指顶点的p(x，y，z)中发生位置变化时，光标的p1(x1，y1)坐标也相应变化，并执行等同于触屏手机中的滑动翻页操作。
拖拽动作由选取、拖拽移动和释放组成：
选取：单手单指在深度传感器可捕捉的范围内静止后向与摄像头相向方向移动，深度传感器可以直接捕捉到手势图像的三维数据，得到手势图像的三维数据就可直接生成空间三维手势模型，其中空间三维手势模型中每个手指关节节点都包括数据p(x，y，z)。智能手势模型将智能系统捕捉的手势动作数据p(x，y，z)与智能手势模型相对比，判断属于拖拽选取功能，并以单指p(x，y，z)为光标对应点。智能系统将手势模型中的单指顶点与智能系统的光标进行关联，光标p1对其所在的p1(x，y)位置的图标进行拖拽选取工作。
拖拽平移：单手单指在深度传感器可捕捉的范围内移动，深度传感器可以直接捕捉到手势图像的三维数据，得到手势图像的三维数据就可直接生成空间三维手势模型，其中空间三维手势模型中每个手指关节节点都包括数据p(x，y，z)。智能手势模型将智能系统捕捉的手势动作数据p(x，y，z)与智能手势模型相对比，判断属于拖拽平移操作，并以单指p(x，y，z)为光标对应点。智能系统将手势模型中的单指顶点与智能系统的光标进行关联，光标p1对其所在的p1(x，y)位置的图标进行拖拽平移工作。
释放：操作方式同本实施例中的点击，点击处即为释放位置。
单一选取：操作方式同本实施例中的选取。
区域选取：单手单指在摄像头可捕捉的范围内进行移动，其移动轨迹在3秒内形成一个封闭的图形，深度传感器直接捕捉手势图像的三维数据，直接生成空间三维手势模型，其中空间三维手势模型中每个手指关节节点都包括数据p(x，y，z)。智能手势模型将智能系统捕捉的手势动作数据p(x，y，z)与智能手势模型相对比，判断属于区域选取操作。智能系统将手势中的单指顶点与智能系统的光标进行关联，在单指顶点的p(x，y，z)中发生位置变化时，光标的p1(x1，y1)坐标也相应变化，并将光标p1(x1，y1)在3秒内围成闭环内的图标全部选取。
实施例5
本实施例提供了一种智能设备的手势控制系统400，如图4所示，智能设备100包括摄像头110和深度传感器120；智能设备的手势控制系统400包括分析模块410、对比模块420、关联执行模块430和数据库440。
分析模块410与摄像头110、深度传感器120和对比模块420相连接，用于使用如实施例1所述的二值化处理方式处理摄像头110捕捉的手势图像，生成平面二维手势模型；或通过对深度传感器120捕获的手势图像的三维数据，以生成空间三维手势模型。
比对模块420与分析模块410和关联执行模块430相连，用于将平面二维手势模型或空间三维手势模型与智能手势模型进行对比，以获取手势图像所代表的动作。具体的对比过程和实施例1中步骤三S23的方式一样。
关联执行模块430选取平面二维手势模型或空间三维手势模型在智能手势模型里设定的手指关节节点，将其与光标相关联，并执行手势图像所代表的动作。
数据库440用于存储智能手势模型，智能手势模型是预先导入安装在智能设备100的智能系统中。
综上所述，本发明的一种智能设备的手势控制方法和系统，其通过智能设备自带的摄像头或深度传感器进行手势图像的捕捉，并对其进行处理，生成平面二维手势模型或空间三维手势模型；将其与智能手势模型进行对比，以判断手势图像所代表的动作；最后选取相应的手指关节节点，与智能系统的光标进行关联，并执行手势图像所代表的动作。本发明的智能设备手势控制方法，可以直接对智能设备进行控制，不许对控制手势进行预先学习，减少了学习周期；本发明还可以通过深度传感器来建立三维手势模型，使得智能设备的手势判断更加精确，使用起来也更加方便。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种智能设备的手势控制方法，其特征在于，所述智能设备的手势控制方法包括：
步骤一，捕捉手势图像；
步骤二，处理所述手势图像，生成平面二维手势模型或空间三维手势模型；
步骤三，将所述平面二维手势模型或所述空间三维手势模型与智能手势模型进行对比，以获取所述手势图像所代表的动作：如果对比成功，则跳转至步骤四，如果对比失败，则显示无法识别的信息，并重新跳转至步骤一；
步骤四，选取所述平面二维手势模型或所述空间三维手势模型在智能手势模型里设定的手指关节节点，与光标相关联的，并执行所述手势图像所代表的动作，之后跳转回步骤一。
2.根据权利要求1所述的智能设备的手势控制方法，其特征在于，所述步骤一中，所述手势图像由所述智能设备的摄像头或深度传感器进行捕捉。
3.根据权利要求2所述的智能设备的手势控制方法，其特征在于，所述步骤二中，所述平面二维手势模型是通过对所述摄像头捕捉的所述手势图像的每一帧画面进行二值化处理，区分手与背景，再通过手指轮廓与手掌的相对位置建立手指与手指关节节点而形成的；其中，所述手指为一个或多个。
4.根据权利要求3所述的智能设备的手势控制方法，其特征在于，所述二值化处理包括：首先对所述手势图像的每一帧画面通过inRange函数滤波，通过形态学操作去除噪声干扰，使得手的边界更加清晰平滑；然后转换到HSV空间；再根据皮肤在HSV空间的分布做出阈值判断，得到二值图像；最后对所述二值图像用findContour函数找出手的轮廓，去除伪轮廓，使用convexHull函数得到凸包络。
5.根据权利要求2所述的智能设备的手势控制方法，其特征在于，所述步骤二中，所述空间三维手势模型是通过对所述深度传感器捕捉的所述手势图像的三维数据而生成的。
6.根据权利要求1所述的智能设备的手势控制方法，其特征在于，所述智能手势模型是预先导入安装在所述智能设备的智能系统中的。
7.根据权利要求6所述的智能设备的手势控制方法，其特征在于，所述智能系统包括安卓操作系统。
8.根据权利要求1所述的智能设备的手势控制方法，其特征在于，所述智能设备包括智能眼镜、智能手机、智能机顶盒、智能手表和智能电视。
9.根据权利要求1所述的智能设备的手势控制方法，其特征在于，所述手指关节节点包括指尖、第一指节、第二指节、指根、虎口和掌心。
10.一种智能设备的手势控制系统，其特征在于，所述智能设备包括深度传感器和摄像头，，所述智能设备的手势控制系统包括分析模块、对比模块、关联执行模块和数据库；
所述分析模块用于处理所述摄像头或所述深度传感器捕捉到的手势图像，生成平面二维手势模型或空间三维手势模型；
所述比对模块用于根据所述平面二维手势模型或所述空间三维手势模型，对比智能手势模型获取所述手势图像所代表的动作；
所述关联执行模块用于选取手指关节节点，与光标相关联，并执行所述手势图像所代表的动作；
所述数据库用于存储所述智能手势模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410635701.2A CN105589553A (zh) | 2014-09-23 | 2014-11-12 | 一种智能设备的手势控制方法和系统 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2014104900324 | 2014-09-23 | ||
| CN201410490032 | 2014-09-23 | ||
| CN201410635701.2A CN105589553A (zh) | 2014-09-23 | 2014-11-12 | 一种智能设备的手势控制方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105589553A true CN105589553A (zh) | 2016-05-18 |
Family
ID=55929198
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410635701.2A Pending CN105589553A (zh) | 2014-09-23 | 2014-11-12 | 一种智能设备的手势控制方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105589553A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105866955A (zh) * | 2016-06-16 | 2016-08-17 | 深圳市世尊科技有限公司 | 智能眼镜 |
| CN106502570A (zh) * | 2016-10-25 | 2017-03-15 | 科世达（上海）管理有限公司 | 一种手势识别的方法、装置及车载系统 |
| CN106599812A (zh) * | 2016-12-05 | 2017-04-26 | 苏州维盟韵联网络科技有限公司 | 一种用于智能家居系统的3d动态手势识别方法 |
| CN106774904A (zh) * | 2016-12-20 | 2017-05-31 | 哈尔滨拓博科技有限公司 | 一种手指动作信号转化为pc机控制信号的方法 |
| CN106960036A (zh) * | 2017-03-09 | 2017-07-18 | 杭州电子科技大学 | 一种用于手势识别的数据库建立方法 |
| CN107374630A (zh) * | 2017-05-24 | 2017-11-24 | Tcl医疗核磁技术（无锡）有限公司 | 一种医疗检测系统患者床位置的控制方法和装置 |
| CN107967061A (zh) * | 2017-12-21 | 2018-04-27 | 北京华捷艾米科技有限公司 | 人机交互方法及装置 |
| CN108089715A (zh) * | 2018-01-19 | 2018-05-29 | 赵然 | 一种基于深度摄像头的演示辅助系统 |
| CN108460354A (zh) * | 2018-03-09 | 2018-08-28 | 深圳臻迪信息技术有限公司 | 无人机控制方法、装置、无人机及系统 |
| CN108491066A (zh) * | 2018-01-30 | 2018-09-04 | 歌尔科技有限公司 | 一种手势交互方法和装置 |
| CN110147767A (zh) * | 2019-05-22 | 2019-08-20 | 深圳市凌云视迅科技有限责任公司 | 基于二维图像的三维手势姿态预测方法 |
| CN110802594A (zh) * | 2019-11-08 | 2020-02-18 | 珠海市一微半导体有限公司 | 一种手势控制方法、芯片及遛娃机器人 |
| WO2020087204A1 (zh) * | 2018-10-29 | 2020-05-07 | 深圳市欢太科技有限公司 | 显示屏操作方法、电子设备、可读存储介质 |
| CN111930231A (zh) * | 2020-07-27 | 2020-11-13 | 歌尔光学科技有限公司 | 交互控制方法、终端设备及存储介质 |
| CN114546110A (zh) * | 2022-01-29 | 2022-05-27 | 歌尔科技有限公司 | 手势操作方法、装置、耳机设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102156859A (zh) * | 2011-04-21 | 2011-08-17 | 刘津甦 | 手部姿态与空间位置的感知方法 |
| CN102722249A (zh) * | 2012-06-05 | 2012-10-10 | 上海鼎为软件技术有限公司 | 操控方法、操控装置及电子装置 |
| US20130342444A1 (en) * | 2012-06-21 | 2013-12-26 | Fujitsu Limited | Method and Apparatus for Hand Gesture Trajectory Recognition |
| CN103593056A (zh) * | 2013-11-26 | 2014-02-19 | 青岛海信电器股份有限公司 | 手势数据识别和处理方法、电视机和手势输入设备 |
| CN103914152A (zh) * | 2014-04-11 | 2014-07-09 | 周光磊 | 三维空间中多点触控与捕捉手势运动的识别方法与系统 |
-
2014
- 2014-11-12 CN CN201410635701.2A patent/CN105589553A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102156859A (zh) * | 2011-04-21 | 2011-08-17 | 刘津甦 | 手部姿态与空间位置的感知方法 |
| CN102722249A (zh) * | 2012-06-05 | 2012-10-10 | 上海鼎为软件技术有限公司 | 操控方法、操控装置及电子装置 |
| US20130342444A1 (en) * | 2012-06-21 | 2013-12-26 | Fujitsu Limited | Method and Apparatus for Hand Gesture Trajectory Recognition |
| CN103593056A (zh) * | 2013-11-26 | 2014-02-19 | 青岛海信电器股份有限公司 | 手势数据识别和处理方法、电视机和手势输入设备 |
| CN103914152A (zh) * | 2014-04-11 | 2014-07-09 | 周光磊 | 三维空间中多点触控与捕捉手势运动的识别方法与系统 |
Non-Patent Citations (2)
| Title |
|---|
| 余涛: "《Kinect应用开发实战 用最自然的方式与机器对话》", 31 January 2013, 机械工业出版社 * |
| 徐绽: "《金榜图书·徐绽英语全程规划系列之3·2015考研英语时文阅读宝典120+60 夜读》", 28 February 2014, 西安交通大学出版社 * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105866955A (zh) * | 2016-06-16 | 2016-08-17 | 深圳市世尊科技有限公司 | 智能眼镜 |
| CN106502570A (zh) * | 2016-10-25 | 2017-03-15 | 科世达（上海）管理有限公司 | 一种手势识别的方法、装置及车载系统 |
| WO2018076523A1 (zh) * | 2016-10-25 | 2018-05-03 | 科世达（上海）管理有限公司 | 手势识别的方法、装置及车载系统 |
| CN106502570B (zh) * | 2016-10-25 | 2020-07-31 | 科世达（上海）管理有限公司 | 一种手势识别的方法、装置及车载系统 |
| CN106599812A (zh) * | 2016-12-05 | 2017-04-26 | 苏州维盟韵联网络科技有限公司 | 一种用于智能家居系统的3d动态手势识别方法 |
| CN106774904A (zh) * | 2016-12-20 | 2017-05-31 | 哈尔滨拓博科技有限公司 | 一种手指动作信号转化为pc机控制信号的方法 |
| CN106960036A (zh) * | 2017-03-09 | 2017-07-18 | 杭州电子科技大学 | 一种用于手势识别的数据库建立方法 |
| CN107374630A (zh) * | 2017-05-24 | 2017-11-24 | Tcl医疗核磁技术（无锡）有限公司 | 一种医疗检测系统患者床位置的控制方法和装置 |
| CN107967061A (zh) * | 2017-12-21 | 2018-04-27 | 北京华捷艾米科技有限公司 | 人机交互方法及装置 |
| CN108089715A (zh) * | 2018-01-19 | 2018-05-29 | 赵然 | 一种基于深度摄像头的演示辅助系统 |
| CN108491066A (zh) * | 2018-01-30 | 2018-09-04 | 歌尔科技有限公司 | 一种手势交互方法和装置 |
| CN108460354A (zh) * | 2018-03-09 | 2018-08-28 | 深圳臻迪信息技术有限公司 | 无人机控制方法、装置、无人机及系统 |
| CN108460354B (zh) * | 2018-03-09 | 2020-12-29 | 深圳臻迪信息技术有限公司 | 无人机控制方法、装置、无人机及系统 |
| WO2020087204A1 (zh) * | 2018-10-29 | 2020-05-07 | 深圳市欢太科技有限公司 | 显示屏操作方法、电子设备、可读存储介质 |
| CN112714900A (zh) * | 2018-10-29 | 2021-04-27 | 深圳市欢太科技有限公司 | 显示屏操作方法、电子设备、可读存储介质 |
| CN110147767A (zh) * | 2019-05-22 | 2019-08-20 | 深圳市凌云视迅科技有限责任公司 | 基于二维图像的三维手势姿态预测方法 |
| CN110147767B (zh) * | 2019-05-22 | 2023-07-18 | 深圳市凌云视迅科技有限责任公司 | 基于二维图像的三维手势姿态预测方法 |
| CN110802594A (zh) * | 2019-11-08 | 2020-02-18 | 珠海市一微半导体有限公司 | 一种手势控制方法、芯片及遛娃机器人 |
| CN111930231A (zh) * | 2020-07-27 | 2020-11-13 | 歌尔光学科技有限公司 | 交互控制方法、终端设备及存储介质 |
| CN111930231B (zh) * | 2020-07-27 | 2022-02-25 | 歌尔光学科技有限公司 | 交互控制方法、终端设备及存储介质 |
| CN114546110A (zh) * | 2022-01-29 | 2022-05-27 | 歌尔科技有限公司 | 手势操作方法、装置、耳机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105589553A (zh) | 一种智能设备的手势控制方法和系统 | |
| Raheja et al. | Real-time robotic hand control using hand gestures | |
| Wang et al. | Real-time hand-tracking with a color glove | |
| CN102156859B (zh) | 手部姿态与空间位置的感知方法 | |
| US9734393B2 (en) | Gesture-based control system | |
| Rautaray et al. | Real time multiple hand gesture recognition system for human computer interaction | |
| CN105074625A (zh) | 信息处理设备、信息处理方法及程序 | |
| CN102934060A (zh) | 虚拟触摸接口 | |
| JP6350772B2 (ja) | 情報処理システム、情報処理装置、制御方法、及びプログラム | |
| Chowdhury et al. | Gesture recognition based virtual mouse and keyboard | |
| JP2016224686A (ja) | 情報処理装置、その制御方法、プログラム、及び記憶媒体 | |
| Moutinho et al. | Deep learning-based human action recognition to leverage context awareness in collaborative assembly | |
| Titlee et al. | A novel design of an intangible hand gesture controlled computer mouse using vision based image processing | |
| KR20160141023A (ko) | 액션이벤트·실감미디어컨텐츠연동을 수행하는 비접촉 스마트제스처인식장치 및 방법 | |
| Guliani et al. | Gesture controlled mouse navigation: Hand landmark approach | |
| Siam et al. | Human computer interaction using marker based hand gesture recognition | |
| Shaker et al. | Real-time finger tracking for interaction | |
| KR101360322B1 (ko) | 다양한 손모양 검출 및 추적을 기반으로 한 원격 전자칠판 제어 장치 및 그 방법 | |
| Chaudhary | Finger-stylus for non touch-enable systems | |
| Pradhan et al. | Design of intangible interface for mouseless computer handling using hand gestures | |
| Rustagi et al. | Virtual Control Using Hand-Tracking | |
| Dhamanskar et al. | Human computer interaction using hand gestures and voice | |
| Choi et al. | A study on providing natural two-handed interaction using a hybrid camera | |
| Vasanthagokul et al. | Virtual Mouse to Enhance User Experience and Increase Accessibility | |
| Deb et al. | Designing an intelligent blink analyzer tool for effective human computer interaction through eye |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20160518 |