CN104915014A - 一种基于移动终端的非接触式交互方法 - Google Patents

Abstract

一种基于移动终端的非接触式交互方法，它涉及人机交互技术领域，它的交互方法包括以下步骤：(一)、利用移动终端自带的第一图像采集设备，采集包含人手的图像；(二)、对采集的图像进行分析，划分人手所在的感兴趣区域；(三)、对人手所在区域进行进一步分类，划分出人手关键部位；(四)、利用人手生理约束，对划分的部位进行补充与修正；(五)、建立人手各个部分的运动轨迹，将运动轨迹与应用领域所设置的手势进行对比，进行交互模式判别，并发出对应控制命令；它通过对人手的图像采集实现交互功能，并且实现对手势运动的跟踪，具有不局限于移动终端屏幕、灵活性强、支持多种手势的特点。

Description

一种基于移动终端的非接触式交互方法

技术领域：

    本发明涉及人机交互技术领域，具体涉及一种基于移动终端的非接触式交互方法。

背景技术：

现行的移动终端的人机交互方式，主要是通过键盘与触摸屏。移动终端的面积与体积有限，无论是键盘还是触摸屏交互，都有所不便，容易出现误操作。

新型的人机交互方式有基于传感器的体感交互、基于动作图像识别的交互、基于肌肉计算的交互等。以上的各种交互方式能够弥补以前存在的不足，但在应用于移动终端上时，也有其各自的新问题与缺点。

基于传感器的体感人机交互方式，利用加速度传感器、重力传感器、陀螺仪等装置，感知其运动进行交互。重力传感器目前已经用于手机等终端内，但只能感知到手机本身的运动，而不是使用者的运动，应用范围很有限；如要感知使用者的运动，需要额外配置容纳传感器的遥控器，这在移动终端交互中是很不自然的，一定程度上破坏了移动终端的便携性。

基于动作图像识别的交互方式，利用特殊的可以采集景深信息的摄像头，拍摄使用者的动作，通过对图像的处理，重构出使用者的运动信息进行交互。该交互方式的缺点是景深摄像头比较昂贵，而且景深摄像头不能采集太近的距离，用于移动终端的交互不方便。

基于肌肉计算的交互方式，通过采集人体肌肉的肌电信号来判断人体的动作，从而进行交互。这种交互方式目前还不太成熟，设备不便携带。

因此，基于移动终端，需要一种新型的交互方法。

专利申请CN201110043418.7公开了一种移动终端的人机交互方法，使用移动终端内部的传感器与电动机，利用终端的主动旋转发出信号，被动旋转接受信号。该发明的主要局限是所能表达的信息种类十分有限。

专利申请CN201210056083.7公开了一种移动终端的非接触式控制装置与方法。该方法采集终端前方的视频图像并提取人手轮廓，但只能根据人手的运动方向发出命令，精细度不高。

专利申请CN201210520849.2公开了一种移动电子设备手势控制交互方法，该发明的创新在于动态调整感知动作的频率，节约移动终端的功耗。该发明使用的是加速度传感器，感应终端的运动。

发明内容：

本发明的目的是提供一种基于移动终端的非接触式交互方法，它通过对人手的图像采集实现交互功能，并且实现对手势运动的跟踪，具有不局限于移动终端屏幕、灵活性强、支持多种手势的特点。

为了解决背景技术所存在的问题，本发明是采用如下技术方案：它的交互方法包括以下步骤：

(一)、利用移动终端自带的第一图像采集设备，采集包含人手的图像；

(二)、对采集的图像进行分析，划分人手所在的感兴趣区域；

(三)、对人手所在区域进行进一步分类，划分出人手关键部位；

(四)、利用人手生理约束，对划分的部位进行补充与修正；

(五)、建立人手各个部分的运动轨迹，将运动轨迹与应用领域所设置的手势进行对比，进行交互模式判别，并发出对应控制命令。

所述的一种基于移动终端的非接触式交互方法还可包括：第二图像采集设备与第一图像采集设备参数相同,并列放置，同步采集包含人手的图像；对采集的图像进行匹配与深度恢复，得到参考深度图像。

所述的划分人手所在的感兴趣区域包括：

(ⅰ)、将采集的图像转换到HSV彩色空间；

(ⅱ)、利用人肤色特征，初步划分人手区域；

(ⅲ)、对划分结果进行去噪，去除小区域噪声影响。

所述的划分人体部位包括以下步骤：

(Ⅰ)、预先收集人工标注的人手彩色图像，并进行位置预校正；

(Ⅱ)、对人手各个部位的每个像素，提取8个方向的梯度值以及不同步长下的差分值，作为候选特征；

(Ⅲ)、使用随机决策树分类器模型、交叉验证法以及ID4.5训练算法，离线训练人手关键部位的分类器；

(Ⅳ)、在移动终端应用该分类器，对人手关键部位进行分类。

所述的对划分部位进行补充与修正包括以下步骤：

①、在分类步骤的结果中，标出像素过少以及缺失的部位；

②、在前面一定时间内的图像中，查找对应部位位置；

③、如果查找到足够的位置信息，使用轨迹拟合，得到本帧初步预测的缺失部位信息；

④、根据人手指指节刚体约束，除拇指外四指的共面约束，手指关节的弯曲角度约束，优先级从高到低，对上一步预测的部位信息做修正；如没有足够的预测信息，根据这些约束推断缺失部位的位置。

所述的划分人体部位包括以下步骤：

(1)、预先收集人工标注的人手的彩色图像与深度图像组合，并进行位置预校正；

(2)、对人手各个部位的每个像素，在图像组中分别提取8个方向的梯度值以及不同步长下的差分值，作为候选特征；

(3)、使用随机决策树分类器模型、交叉验证法以及ID4.5训练算法，离线训练人手关键部位的分类器。

(4)、在移动终端应用该分类器，对人手关键部位进行分类。

    本发明具有如下有益效果：通过对人手的图像采集实现交互功能，并且实现对手势运动的跟踪，具有不局限于移动终端屏幕、灵活性强、支持多种手势的特点。

附图说明：

图1为本具体实施方式中的互交方法的流程图；

图2为本具体实施方式中的另一种互交方法的流程图。

具体实施方式：

参看图1-图2，本具体实施方式采用如下技术方案：它的交互方法包括以下步骤：

(一)、利用移动终端自带的第一图像采集设备，采集包含人手的图像；

(二)、对采集的图像进行分析，划分人手所在的感兴趣区域；

(三)、对人手所在区域进行进一步分类，划分出人手关键部位；

(四)、利用人手生理约束，对划分的部位进行补充与修正；

(五)、建立人手各个部分的运动轨迹，将运动轨迹与应用领域所设置的手势进行对比，进行交互模式判别，并发出对应控制命令。

所述的一种基于移动终端的非接触式交互方法还可包括：第二图像采集设备与第一图像采集设备参数相同,并列放置，同步采集包含人手的图像；对采集的图像进行匹配与深度恢复，得到参考深度图像。

如图1，所示，本具体实施方式的具体操作流程如下：

图像采集设备101采集包含人手的图像；

现有的主流移动终端所配备的图像采集设备，普遍具有近距离对焦功能，可以得到较为清晰的图像。

在步骤102中，对采集的图像进行目标分割，得到包含人手的感兴趣区域范围。该步骤首先将所采集的图像转换到HSV空间，HSV空间采用将亮度和色调分离的存储方式，受外界光照影响较小。同时，转换到HSV空间后，人体肤色的范围更为集中，可以基于肤色与连通性进行目标分割。

在步骤103中，对分割的结果进行去噪声操作。去掉过小的噪声区域。

在步骤104中，对人手所在区域像素进行分类，划分出人手的各个关键部位。所述分类器采用随机决策树方式，由预先标注的人手图像150通过步骤151进行离线训练。

如分类结果中存在缺失部位，在步骤111中，读取之前存储的一段时间内的图像，判断是否存在对应部位。在步骤112中，通过轨迹拟合，初步预测缺失部位的位置。

在步骤105中，基于人手的生理约束，对人手指部位进行修正。

在步骤106中，将人手指部位的信息，与应用程序预先定义的手势161进行比较，识别手势；

在步骤107中，执行对应控制命令。

附图2示出本具体实施方式的另一实施例，该移动终端的非接触式交互方法还可以包括两个图像采集设备与深度恢复模块。

第一图像采集设备201与第二图像采集设备202的光学参数相同，在驱动装置200作用下，同步采集包含人手的图像；

在步骤203中，对采集的图像进行目标分割，得到包含人手的感兴趣区域，与图1的步骤102原理相同；

在步骤204中，对分割的结果进行去噪声操作。去掉过小的噪声区域。

在步骤205中，在两幅图像的感兴趣区域内查找匹配特征点，并进行深度信息恢复，得到图像匹配结果与参考深度图像；

在步骤206中，同时使用彩色图像与深度图像，对人手所在区域像素进行分类，划分出人手各个关键部位。所述分类器采用随机决策树方式，由预先标注的人手图像250通过步骤251进行离线训练。

图2中的其它为提及步骤与图1的对应步骤相同。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于移动终端的非接触式交互方法，其特征在于它的交互方法包括以下步骤：

(一)、利用移动终端自带的第一图像采集设备，采集包含人手的图像；

(二)、对采集的图像进行分析，划分人手所在的感兴趣区域；

(三)、对人手所在区域进行进一步分类，划分出人手关键部位；

(四)、利用人手生理约束，对划分的部位进行补充与修正；

(五)、建立人手各个部分的运动轨迹，将运动轨迹与应用领域所设置的手势进行对比，进行交互模式判别，并发出对应控制命令。

2.根据权利要求1所述的一种基于移动终端的非接触式交互方法，其特征在于所述的一种基于移动终端的非接触式交互方法还可包括：第二图像采集设备与第一图像采集设备参数相同,并列放置，同步采集包含人手的图像；对采集的图像进行匹配与深度恢复，得到参考深度图像。

3.根据权利要求1所述的一种基于移动终端的非接触式交互方法，其特征在于所述的划分人手所在的感兴趣区域包括：

(ⅰ)、将采集的图像转换到HSV彩色空间；

(ⅱ)、利用人肤色特征，初步划分人手区域；

(ⅲ)、对划分结果进行去噪，去除小区域噪声影响。

4.根据权利要求1所述的一种基于移动终端的非接触式交互方法，其特征在于所述的划分人体部位包括以下步骤：

(Ⅰ)、预先收集人工标注的人手彩色图像，并进行位置预校正；

(Ⅱ)、对人手各个部位的每个像素，提取8个方向的梯度值以及不同步长下的差分值，作为候选特征；

(Ⅲ)、使用随机决策树分类器模型、交叉验证法以及ID4.5训练算法，离线训练人手关键部位的分类器；

(Ⅳ)、在移动终端应用该分类器，对人手关键部位进行分类。

5.根据权利要求1所述的一种基于移动终端的非接触式交互方法，其特征在于所述的对划分部位进行补充与修正包括以下步骤：

①、在分类步骤的结果中，标出像素过少以及缺失的部位；

②、在前面一定时间内的图像中，查找对应部位位置；

③、如果查找到足够的位置信息，使用轨迹拟合，得到本帧初步预测的缺失部位信息；

④、根据人手指指节刚体约束，除拇指外四指的共面约束，手指关节的弯曲角度约束，优先级从高到低，对上一步预测的部位信息做修正；如没有足够的预测信息，根据这些约束推断缺失部位的位置。

6.根据权利要求2所述的一种基于移动终端的非接触式交互方法，其特征在于所述的划分人体部位包括以下步骤：

(1)、预先收集人工标注的人手的彩色图像与深度图像组合，并进行位置预校正；

(2)、对人手各个部位的每个像素，在图像组中分别提取8个方向的梯度值以及不同步长下的差分值，作为候选特征；

(3)、使用随机决策树分类器模型、交叉验证法以及ID4.5训练算法，离线训练人手关键部位的分类器；(4)、在移动终端应用该分类器，对人手关键部位进行分类。