CN102662460A - 移动终端的非接触式控制装置及其控制方法 - Google Patents

Abstract

本发明提供一种移动终端的非接触式控制装置及其控制方法，该控制装置包括：第一图像捕获器，用于获取移动终端前方的视频图像；手势分割模块，与所述第一图像捕获器连接，用于从所述视频图像中检测出手势区域；特征提取模块，与所述手势分割模块连接，用于从所述手势区域中提取手势轮廓；手势运动分析模块，与所述特征提取模块连接，用于判断所述手势轮廓的运动方向；控制模块，与所述手势运动分析模块连接，用于根据所述手势运动分析模块的判断结果对所述移动终端发送操作指令。本发明以人手直接作为移动终端的输入装置，实现非接触、无中间媒介的人机通讯，为人机交互开辟新模式。

Description

移动终端的非接触式控制装置及其控制方法

技术领域

本发明涉及无线电通讯技术领域，特别涉及一种移动终端的非接触式控制装置及其控制方法。

背景技术

随着无线电通讯技术的发展，如今的移动终端，例如手机，已经从单一的通话功能向语音、图像、游戏、网络等多功能方向发展，移动终端功能的扩展对于人机交互方式也提出了更高的要求。现有的移动终端智能控制操作主要采用触摸屏技术，相对于传统的键盘交互，触摸屏交互控制更方便、操作更直观、响应速度更快。但是，基于触摸屏的人机交互只能通过近距离触摸实现，而不能实现较远距离的非接触式控制。

因此，需要一种能够实现非接触式控制的人机交互新模式。

发明内容

本发明的目的旨在至少解决上述技术缺陷之一，特别是解决现有的移动终端不能通过非接触式控制实现人机交互的缺点。

为达到上述目的，本发明一方面提供一种移动终端的非接触式控制装置，包括：第一图像捕获器，用于获取移动终端前方的视频图像；手势分割模块，与所述第一图像捕获器连接，用于从所述视频图像中检测出手势区域；特征提取模块，与所述手势分割模块连接，用于从所述手势区域中提取手势轮廓；手势运动分析模块，与所述特征提取模块连接，用于判断所述手势轮廓的运动方向；控制模块，与所述手势运动分析模块连接，用于根据所述手势运动分析模块的判断结果对所述移动终端发送操作指令。

在本发明实施例中，所述手势分割模块包括：图像灰度化单元，用于将各帧所述视频图像进行灰度化处理，以得到灰度图像序列；帧差分单元，与所述图像灰度化单元相连，用于对所述灰度图像序列中相邻帧图像的进行时间差分处理，以确定所述灰度图像序列的图像强度变化，根据所述图像强度变化检测出所述手势区域；图像后处理单元，与所述帧差分单元相连，对经过所述帧差分单元处理后的视频图像进行后处理，以填补图像空洞及平滑图像边界。

在本发明实施例中，所述图像灰度化单元计算所述视频图像中的点(i，j)的灰度值：f(i，j)＝a R(i，j)+b G(i，j)+c B(i，j))，其中，i、j为所述视频图像中点的坐标，0＜a，b，c＜1，且满足a+b+c＝1，R(i，j)、G(i，j)、B(i，j))分别为点(i，j)的R(红色)、G(绿色)、B(蓝色)分量像素值。优选地，由于人眼对绿色的敏感最高，对蓝色敏感最低，故取a＝0.30，b＝0.59，c＝0.11，对RGB三分量进行加权平均能得到较合理的灰度图像序列。

在本发明实施例中，所述帧差分单元对所述灰度图像序列中相邻两帧图像的灰度值进行时间差分，得到所述点(i，j)的时间差分值diff(i，j)＝|f_t1(i，j)-f_t2(i，j)|，其中，f_t1(i，j)为点(i，j)在所述相邻两帧图像的前一帧图像中的灰度值，f_t2(i，j)为点(i，j)在所述相邻两帧图像的后一帧图像中的灰度值。

在本发明实施例中，所述图像后处理单元对经过所述帧差分单元处理后的视频图像进行后处理包括：图像二值化操作和图像闭运算操作。

在本发明实施例中，所述图像二值化操作的公式为：

$\mathrm{diff}(i,j)=\left\{\begin{array}{cc}255,& \mathrm{diff}>T\\ 0,& \mathrm{diff}<=T\end{array}\right.$

其中，T为设定的像素阈值。

在本发明实施例中，所述特征提取模块使用的提取方法包括拉普拉斯边缘提取。

在本发明实施例中，所述手势运动分析模块判断所述手势轮廓的运动方向包括：对所述移动终端的屏幕平面建立平面坐标系，其中，X_t1(x_1t1，x_2t1，x_3t1…)为t1时刻的所述手势轮廓的X轴的坐标点集合，Y_t1(y_1t1，y_2t1，y_3t1)为t1时刻的所述手势轮廓的Y轴的坐标点集合，X_t2(x_1t1，x_2t2，x_3t2…)为t2时刻的所述手势轮廓的X轴的坐标点集合，Y_t2(y_1t2，y_2t2，y_3t2…)为t2时刻的手势轮廓的Y轴的坐标点集合，t1和t2为两个相邻时刻，t1＜t2，ΔX＝X_t2-X_t1为所述两个相邻时刻的所述手势轮廓的X轴对应点坐标的增量，ΔY＝Y_t2-Y_t1为所述两个相邻时刻的所述手势轮廓的Y轴对应点坐标的增量；如果|ΔX|＞|ΔY|，判断所述手势轮廓为水平运动，其中，ΔX＜0，判断所述手势轮廓向左运动，ΔX＞0，判断所述手势轮廓向右运动；如果|ΔX|＜|ΔY|，判断所述手势轮廓为垂直运动，其中，ΔY＜0，判断所述手势轮廓向下运动，ΔY＞0，判断所述手势轮廓向上运动。

在本发明实施例中，所述控制模块根据所述手势轮廓运动趋势的判断结果对所述移动终端发送操作指令，其中所述操作指令可以由移动终端的设计人员根据实际需求进行设定，从而实现对移动终端的非接触式控制。例如，如果所述移动终端包括屏幕：所述手势轮廓经判断向左运动，所述控制模块向所述移动终端发送将所述屏幕界面切换到前一页的操作指令；所述手势轮廓经判断向右运动，所述控制模块向所述移动终端发送将所述屏幕界面切换到后一页的操作指令；所述手势轮廓经判断向上运动，所述控制模块向所述移动终端发送将所述屏幕界面向上拖动的操作指令；所述手势轮廓经判断向下运动，所述控制模块向所述移动终端发送将所述屏幕界面向下拖动的操作指令。

在本发明实施例中，移动终端的非接触式控制装置还包括：第二图像捕获器，与所述第一图像捕获器以一定间距并排设置，用于获取移动终端前方的视频图像；立体深度恢复模块，连接在所述特征提取模块和手势运动分析模块之间，并与所述第一图像捕获器和第二图像捕获器通讯，用于检测手势与所述移动终端的距离z，并判断：如果z＜r，所述立体深度恢复模块将所述手势轮廓传输至所述手势运动分析模块，如果z≥r，所述立体深度恢复模块命令所述第一、第二图像捕获器重新获取图像，其中，r为预定的有效手势距离。通过在控制装置中设置双图像捕获器及增加立体深度恢复模块，对手势与移动终端的距离进行量化检测，从而更准确地判断手势的有效性，以屏蔽发生在有效距离之外的伪手势干扰，提高检测精度。

在本发明实施例中，所述手势与所述移动终端的距离可以通过以下公式求得：

$z=\frac{\mathrm{bl}}{|P_L-P_R|}$

其中，所述第一图像捕获器和第二图像捕获器的光学参数相同，l为所述第一图像捕获器和第二图像捕获器的焦距，b为所述第一图像捕获器和第二图像捕获器的光心之间的距离，P_L和P_R分别为空间中某一点在所述第一图像捕获器和第二图像捕获器中的图像，|P_L-P_R|所述第一图像捕获器和第二图像捕获器对所述同一点的视差。

本发明另一方面提供一种移动终端的非接触式控制方法，其特征在于，包括以下步骤：S1：在移动终端前方的有效距离内下达手势；S2：获取包括所述手势的视频图像；S3：从所述视频图像中检测出手势区域；S4：从所述手势区域中提取手势轮廓；S5：判断所述手势轮廓的运动方向；S6：根据判断结果对所述移动终端发送操作指令。

在本发明实施例中，步骤S3进一步包括：S31：将各帧所述视频图像进行灰度化处理，以得到灰度图像序列；S32：对所述灰度图像序列中相邻帧图像的进行时间差分处理，以确定所述灰度图像序列的图像强度变化，根据所述图像强度变化检测出所述手势区域；S33：对经过所述时间差分和阈值化处理后的所述视频图像进行后处理，以填补图像空洞及平滑图像边界。

在本发明实施例中，步骤S31中所述灰度化处理包括计算所述视频图像中的点(i，j)的灰度值f(i，j)＝a R(i，j)+b G(i，j)+c B(i，j))，其中，i、j为所述视频图像中点的坐标，0＜a，b，c＜1，且满足a+b+c＝1，R(i，j)、G(i，j)、B(i，j))分别为点(i，j)的R、G、B分量像素值。优选地，由于人眼对绿色的敏感最高，对蓝色敏感最低，故取a＝0.30，b＝0.59，c＝0.11，对RGB三分量进行加权平均能得到较合理的灰度图像序列。

在本发明实施例中，步骤S32包括对所述灰度图像序列中相邻两帧图像的灰度值进行时间差分，得到所述点(i，j)的时间差分值diff(i，j)＝|f_t1(i，j)-f_t2(i，j)|，其中，f_t1(i，j)为点(i，j)在所述相邻两帧图像的前一帧图像中的灰度值，f_t2(i，j)为点(i，j)在所述相邻两帧图像的后一帧图像中的灰度值。

在本发明实施例中，步骤S33对所述视频图像进行后处理包括：图像二值化操作和图像闭运算操作。

在本发明实施例中，所述图像二值化操作的公式为：

$\mathrm{diff}(i,j)=\left\{\begin{array}{cc}255,& \mathrm{diff}>T\\ 0,& \mathrm{diff}<=T\end{array}\right.$

其中，T为设定的像素阈值。

在本发明实施例中，步骤S4中的提取方法包括拉普拉斯边缘提取。

在本发明实施例中，步骤S5进一步包括：对所述移动终端的屏幕平面建立平面坐标系，其中，X_t1(x_1t1，x_2t1，x_3t1…)为t1时刻的所述手势轮廓的X轴的坐标点集合，Y_t1(y_1t1，y_2t1，y_3t1…)为t1时刻的所述手势轮廓的Y轴的坐标点集合，X_t2(x_1t2，x_2t2，x_3t2…)为t2时刻的所述手势轮廓的X轴的坐标点集合，Y_t2(y_1t2，y_2t2，y_3t2…)为t2时刻的手势轮廓的Y轴的坐标点集合，t1和t2为两个相邻时刻，t1＜t2，ΔX＝X_t2-X_t1为所述两个相邻时刻的所述手势轮廓的X轴对应点坐标的增量，ΔY＝Y_t2-Y_t1为所述两个相邻时刻的所述手势轮廓的Y轴对应点坐标的增量；如果|ΔX|＞|ΔY|，判断所述手势轮廓为水平运动，其中，ΔX＜0，判断所述手势轮廓向左运动，ΔX＞0，判断所述手势轮廓向右运动；如果|ΔX|＜|ΔY|，判断所述手势轮廓为垂直运动，其中，ΔY＜0，判断所述手势轮廓向下运动，ΔY＞0，判断所述手势轮廓向上运动。

在本发明实施例中，根据所述手势轮廓运动趋势的判断结果对所述移动终端发送命令，其中所述命令可以由移动终端的设计人员根据实际需求进行设定，从而实现对移动终端的非接触式控制。例如，如果所述移动终端包括屏幕，步骤S6可以进一步包括：如果所述手势轮廓经判断向左运动，对所述移动终端发送将所述屏幕界面切换到前一页的操作指令；如果所述手势轮廓经判断向右运动，对所述移动终端发送将所述屏幕界面切换到后一页的操作指令；如果所述手势轮廓经判断向上运动，对所述移动终端发送将所述屏幕界面向上拖动的操作指令；如果所述手势轮廓经判断向下运动，对所述移动终端发送将所述屏幕界面向下拖动的操作指令。

在本发明实施例中，步骤S5和步骤S6之间包括：检测所述手势与所述移动终端的距离z，并判断：如果z＜r，进行步骤S6；如果z≥r，返回步骤S2，其中，r为预定的有效手势距离。通过对手势与移动终端的距离进行量化检测，从而更准确地判断手势的有效性，以屏蔽发生在有效距离之外的伪手势干扰，提高检测精度。

在本发明实施例中，检测所述距离z的方法包括：通过以一定间距并排设置的第一图像捕获器和第二图像捕获器同时获取移动终端前方的视频图像，并计算

$z=\frac{\mathrm{bl}}{|P_L-P_R|}$

其中，第一图像捕获器和第二图像捕获器的光学参数相同，l为第一图像捕获器和第二图像捕获器的焦距，b为第一图像捕获器和第二图像捕获器的光心之间的距离，P_L和P_R分别为空间中某一点在第一图像捕获器和第二图像捕获器中的图像，|P_L-P_R|第一图像捕获器和第二图像捕获器对该同一点的视差。

本发明提供一种移动终端的非接触式控制装置及其控制方法，利用移动终端配置的图像捕获器，在距离图像捕获器一定距离的空间范围内，检测跟踪手势，并捕获手势的静止姿态和运动姿态，分析手势的运动，识别手势运动方向，移动终端根据手势识别结果做出响应。该基于图像捕获器的移动终端控制装置及其控制方法，以人手直接作为移动终端的输入装置，实现非接触、无中间媒介的人机通讯，为人机交互开辟新模式，尤其适合应用于需要无接触、较远程控制移动终端的场合。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的手机平面示意图；

图2为本发明实施例的移动终端的非接触式控制装置结构图；

图3为本发明实施例的手势分割模块的结构图；

图4为本发明实施例的具有两个图像捕获器的手机平面示意图；

图5所示为具有立体深度恢复功能的移动终端的非接触式控制装置结构图

图6为本发明实施例的移动终端的非接触式控制方法的流程图；

图7为本发明实施例的检测手势区域的步骤流程图；

图8为本发明实施例的手势轮廓运动分析示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

需要说明的是，此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。进一步地，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本发明提供一种移动终端的非接触式控制装置及其控制方法，该装置和方法可以运用于包括但不限于手机在内的任何现有的以及将来可能出现的移动终端，以实现非接触式控制。本发明以下各实施例仅以手机为例进行描述。

图1所示为本发明实施例的手机平面示意图。该手机101具备操作系统，可以具有通话、图像、游戏、网络等功能。手机101包括图像捕获器102、屏幕103以及功能键104。其中，图像捕获器102可以是摄像头，优选地，摄像头102为前置摄像头，用于获取手机屏幕前方一定距离内的视频图像。屏幕103是人机交互界面，即可以在屏幕103上实现手势响应的操作指令。需指出的是，屏幕103并非本发明的必要技术特征，即使移动终端不具有屏幕，同样可以实现本发明的非接触式控制。本实施例仅仅是作为一个适用于手机的具体实施例，而不能以此局限本发明。

图2所示为本发明实施例的移动终端的非接触式控制装置结构图，该控制装置包括：第一图像捕获器302、手势分割模块304、特征提取模块306、手势运动分析模块308、控制模块310。

其中，第一图像捕获器302，用于获取手机屏幕103前方的视频图像。在本实施例中，第一图像捕获器302即为手机101的图像捕获器102，例如前置摄像头102。需注意的是：应该尽量保持前置摄像头102所处平面与手势所处的平面平行，以保证前置摄像头102准确清晰地获取手势视频；优选地，手势距离前置摄像头10220厘米以内，从而确保当且仅当处在有效距离以内的手势，被认为是有效手势，以消除其他运动物体的干扰。

手势分割模块304，与第一图像捕获器302连接，用于从视频图像中检测出手势区域。图3所示为本发明实施例的手势分割模块的结构图。在本发明实施例中，手势分割模块304包括：图像灰度化单元402、帧差分单元404、图像后处理单元406。

其中，图像灰度化单元402用于将第一图像捕获器302捕获的各帧视频图像进行灰度化处理，以得到灰度图像序列。具体地，可以根据R(红)G(绿)B(蓝)各分量的重要性及其它指标，将三个分量以不同的权值进行加权平均，以得到视频图像中的点(i，j)的灰度值

f(i，j)＝a R(i，j)+b G(i，j)+c B(i，j))，

其中，i、j为所述视频图像中点的坐标，0＜a，b，c＜1，且满足a+b+c＝1，R(i，j)、G(i，j)、B(i，j))分别为点(i，j)的R、G、B分量像素值。由于人眼对绿色的敏感最高，对蓝色敏感最低，因此，在本发明优选的实施例中，取a＝0.30，b＝0.59，c＝0.11，对RGB三分量进行加权平均能得到较合理的灰度图像序列。

帧差分单元404与图像灰度化单元402相连，用于对灰度图像序列中相邻帧图像的进行时间差分处理，以确定灰度图像序列的图像强度变化，从而根据图像强度变化检测出手势区域。由于帧间差分受光照强度变化的影响小，而且在一定程度上可以随着背景而变化。在实际应用的控制装置中，第一图像捕获器302的位置一般是固定的，通过帧间差分法可以有效的保留运动手势，并滤除视频图像中的静止部分。在本发明优选的实施例中，为简便起见，对灰度图像序列中相邻两帧图像的灰度值进行时间差分，得到点(i，j)的时间差分值

diff(i，j)＝|f_t1(i，j)-f_t2(i，j)|，

其中，f_t1(i，j)为点(i，j)在相邻两帧图像的前一帧图像中的灰度值，f_t2(i，j)为点(i，j)在相邻两帧图像的后一帧图像中的灰度值。

图像经过帧差分单元404处理后会出现空洞、边界不光滑的情况，因此需要对图像进行后处理。图像后处理单元406与帧差分单元404相连，对经过帧差分单元处理后的视频图像进行后处理，以填补图像空洞及平滑图像边界。在本实施例中，可以采用图像二值化操作和图像闭运算操作进行后处理。其中，图像二值化操作的公式为：

$\mathrm{diff}(i,j)=\left\{\begin{array}{cc}255,& \mathrm{diff}>T\\ 0,& \mathrm{diff}<=T\end{array}\right.$

其中，T为设定的像素阈值。

特征提取模块306与手势分割模块304连接，用于从所分割的手势区域中提取手势轮廓。在本实施例中，对手势区域进行拉普拉斯边缘提取，得到手势轮廓。手势轮廓由手势区域边缘的一系列连贯的点组成。把轮廓作为手势的特征点，可以降低数据处理的数量，提高手势分析的速度，并且能很好的反映手势的运动趋势。

手势运动分析模块308与特征提取模块306连接，用于判断手势轮廓的运动方向。在本发明实施例中，手势运动分析模块308判断手势轮廓的运动方向可以通过以下方式实现：

对移动终端的屏幕平面建立平面坐标系，X_t1(x_1t1，x_2t1，x_3t1…)为t1时刻的手势轮廓的X轴的坐标点集合，Y_t1(y_1t1，y_2t1，y_3t1…)为t1时刻的手势轮廓的Y轴的坐标点集合，X_t2(x_1t2，x_2t2，x_3t2…)为t2时刻的手势轮廓的X轴的坐标点集合，Y_t2(y_1t2，y_2t2，y_3t2…)为t2时刻的手势轮廓的Y轴的坐标点集合，t1和t2为两个相邻时刻，t1＜t2，ΔX＝X_t2-X_t1为t1和t2两个相邻时刻的手势轮廓的X轴对应点坐标的增量，ΔY＝Y_t2-Y_t1为t1和t2两个相邻时刻的手势轮廓的Y轴对应点坐标的增量；

如果|ΔX|＞|ΔY|，判断该手势轮廓为水平运动，其中，ΔX＜0，判断该手势轮廓向左运动，ΔX＞0，判断该手势轮廓向右运动；

如果|ΔX|＜|ΔY|，判断所述手势轮廓为垂直运动，其中，ΔY＜0，判断该手势轮廓向下运动，ΔY＞0，判断该手势轮廓向上运动。

控制模块310，与手势运动分析模块308连接，用于根据手势运动分析模块的判断结果对移动终端发送操作指令。其中操作指令可以由移动终端的设计人员根据实际需求进行设定，例如，手势轮廓向左运动代表关机，向右运动代表暂停，向上运动代表音量增加，向下运动代表音量减小等，从而实现对移动终端的非接触式控制。在本实施例中，以手机屏幕翻页和页面滚动的非接触式控制为例描述本发明，其目的仅仅在于示意性描述，并不能用于限制本发明。例如，若该手势轮廓经判断向左运动，控制模块310向移动终端发送将屏幕103的界面切换到前一页的操作指令；若该手势轮廓经判断向右运动，控制模块310向移动终端发送将屏幕103的界面切换到后一页的操作指令；若该手势轮廓经判断向上运动，控制模块310向移动终端发送将屏幕103的界面向上拖动的操作指令；若该手势轮廓经判断向下运动，控制模块310向移动终端发送将屏幕103的界面向下拖动的操作指令。

在本发明一个优选的实施例中，该移动终端的非接触式控制装置还可以包括第二图像捕获器202和立体深度恢复模块312。

图4所示为本发明实施例的具有两个图像捕获器的手机平面示意图。图4所示的手机与图1所示的手机相比，仅仅是多设置了一个图像捕获器，即第二图像捕获器202，其余部件完全相同，故在此不再赘述。在本实施例中，第二图像捕获器202可以是摄像头，如图4所示，第二图像捕获器202与第一图像捕获器102可以为焦距等其他光学参数完全一致的器件，二者以一定间距并排设置，且光轴互相平行，同时获取移动终端前方的视频图像。

图5所示为具有立体深度恢复功能的移动终端的非接触式控制装置结构图。如图5所示立体深度恢复模块312连接在特征提取模块306和手势运动分析模块308之间，并与第一图像捕获器201和第二图像捕获器202通讯，用于检测手势与移动终端的距离z，并判断：如果z＜r，立体深度恢复模块312将该手势轮廓传输至手势运动分析模块308继续进行后续步骤；如果z≥r，则判定手势发生在图像捕获器的有效距离r以外，为无效手势，立体深度恢复模块312命令第一、第二图像捕获器重新获取图像。

在本发明实施例中，手势与移动终端的距离z可以根据双目立体视觉视差原理通过以下公式求得：

$z=\frac{\mathrm{bl}}{|P_L-P_R|}$

其中，第一图像捕获器和第二图像捕获器的光学参数相同，l为第一图像捕获器和第二图像捕获器的焦距，b为第一图像捕获器和第二图像捕获器的光心之间的距离，P_L和P_R分别为空间中某一点在第一图像捕获器和第二图像捕获器中的图像，

|P_L-P_R|为在两幅视频图像中，该同一点之间的距离，即第一图像捕获器102和第二图像捕获器202对该同一点的视差。通过在控制装置中设置双图像捕获器及增加立体深度恢复模块，对手势与移动终端的距离进行量化检测，从而更准确地判断手势的有效性，以屏蔽发生在有效距离之外的伪手势干扰，提高检测精度。

本发明进一步提供一种移动终端的非接触式控制方法，图6所示为本发明实施例的移动终端的非接触式控制方法的流程图。如图6所示，该方法包括以下步骤。

步骤S1：在移动终端前方的有效距离内下达手势。优选地，该有效距离为20厘米，从而确保当且仅当处在有效距离以内的手势，被认为是有效手势，以消除其他运动物体的干扰。

步骤S2：获取包括该手势的视频图像。具体地，可以通过图像获取器，如摄像头等获取视频图像。

步骤S3：从该视频图像中检测出手势区域。图7所示为步骤S3的具体流程图，如图7所示，在本实施例中，步骤S3可以进一步包括以下步骤：

步骤S31：将各帧视频图像进行灰度化处理，以得到灰度图像序列。具体地，可以根据R(红)G(绿)B(蓝)各分量的重要性及其它指标，将三个分量以不同的权值进行加权平均，以得到视频图像中的点(i，j)的灰度值

f(i，j)＝a R(i，j)+b G(i，j)+c B(i，j))，

其中，i、j为所述视频图像中点的坐标，0＜a，b，c＜1，且满足a+b+c＝1，R(i，j)、G(i，j)、B(i，j))分别为点(i，j)的R、G、B分量像素值。由于人眼对绿色的敏感最高，对蓝色敏感最低，因此，在本发明优选的实施例中，取a＝0.30，b＝0.59，c＝0.11，对RGB三分量进行加权平均能得到较合理的灰度图像序列。

步骤S32：对灰度图像序列中相邻帧图像的进行时间差分和阈值化处理，以确定灰度图像序列的图像强度变化，根据图像强度变化检测出手势区域。由于帧间差分受光照强度变化的影响小，而且在一定程度上可以随着背景而变化。在实际应用的控制装置中，图像捕获器的位置一般是固定的，通过帧间差分法可以有效的保留运动手势，并滤除视频图像中的静止部分。在本发明优选的实施例中，为简便起见，对灰度图像序列中相邻两帧图像的灰度值进行时间差分，得到点(i，j)的时间差分值

diff(i，j)＝|f_t1(i，j)-f_t2(i，j)|，

其中，f_t1(i，j)为点(i，j)在相邻两帧图像的前一帧图像中的灰度值，f_t2(i，j)为点(i，j)在相邻两帧图像的后一帧图像中的灰度值。

步骤S33：对经过时间差分和阈值化处理后的视频图像进行后处理，以填补图像空洞及平滑图像边界。在本实施例中，可以采用图像二值化操作和图像闭运算操作进行后处理。图像二值化操作的公式为：

$\mathrm{diff}(i,j)=\left\{\begin{array}{cc}255,& \mathrm{diff}>T\\ 0,& \mathrm{diff}<=T\end{array}\right.$

其中，T为设定的像素阈值。

步骤S4：从手势区域中提取手势轮廓。在本实施例中，对手势区域进行拉普拉斯边缘提取，得到手势轮廓。手势轮廓由手势区域边缘的一系列连贯的点组成。把轮廓作为手势的特征点，可以降低数据处理的数量，提高手势分析的速度，并且能很好的反映手势的运动趋势。

步骤S5：判断手势轮廓的运动方向。图8所示为手势轮廓运动分析示意图，如图8所示，对移动终端的屏幕平面建立平面坐标系，X_t1(x_1t1，x_2t1，x_3t1…)为t1时刻的手势轮廓的X轴的坐标点集合，Y_t1(y_1t1，y_2t1，y_3t1…)为t1时刻的手势轮廓的Y轴的坐标点集合，X_t2(x_1t2，x_2t2，x_3t2…)为t2时刻的手势轮廓的X轴的坐标点集合，Y_t2(y_1t2，y_2t2，y_3t2…)为t2时刻的手势轮廓的Y轴的坐标点集合，t1和t2为两个相邻时刻，t1＜t2，ΔX＝X_t2-X_t1为t1和t2两个相邻时刻的手势轮廓的X轴对应点坐标的增量，ΔY＝Y_t2-Y_t1为t1和t2两个相邻时刻的手势轮廓的Y轴对应点坐标的增量；

如果|ΔX|＞|ΔY|，判断该手势轮廓为水平运动，其中，ΔX＜0，判断该手势轮廓向左运动，如图7中箭头504所示，ΔX＞0，判断该手势轮廓向右运动，如图7中箭头505所示；

如果|ΔX|＜|ΔY|，判断所述手势轮廓为垂直运动，其中，ΔY＜0，判断该手势轮廓向下运动，如图7中箭头503所示，ΔY＞0，判断该手势轮廓向上运动，如图7中箭头502所示。

步骤S6：根据判断结果对移动终端发送操作指令。其中操作指令可以由移动终端的设计人员根据实际需求进行设定，例如，手势轮廓向左运动代表关机，向右运动代表暂停，向上运动代表音量增加，向下运动代表音量减小等，从而实现对移动终端的非接触式控制。在本实施例中，以手机屏幕翻页和页面滚动的非接触式控制为例描述本发明，其目的仅仅在于示意性描述，并不能用于限制本发明。例如，该移动终端包括屏幕。若该手势轮廓经判断向左运动，向移动终端发送将屏幕界面切换到前一页的操作指令；若该手势轮廓经判断向右运动，向移动终端发送将屏幕界面切换到后一页的操作指令；若该手势轮廓经判断向上运动，向移动终端发送将屏幕界面向上拖动的操作指令；若该手势轮廓经判断向下运动，向移动终端发送将屏幕界面向下拖动的操作指令。

在本发明优选的实施例中，如图6所示，步骤S4和步骤S5之间可以包括手势的有效性判定步骤，具体包括：检测手势与移动终端的距离z，并判断：如果z＜r，则判定为有效手势，继续进行步骤S5；如果z≥r，则判定为发生在有效距离外的无效手势或干扰，返回步骤S2，重新获取手势图像。其中，r为预定的有效手势距离。

在本发明实施例中，检测距离z的方法包括：通过以一定间距并排设置的第一图像捕获器和第二图像捕获器同时获取移动终端前方的视频图像，并根据双目立体视觉原理计算手势与移动终端的距离

$z=\frac{\mathrm{bl}}{|P_L-P_R|}$

其中，第一图像捕获器和第二图像捕获器的光学参数相同，l为第一图像捕获器和第二图像捕获器的焦距，b为第一图像捕获器和第二图像捕获器的光心之间的距离，P_L和P_R分别为空间中某一点在第一图像捕获器和第二图像捕获器中的图像，|P_L-P_R|为在两幅视频图像中，该同一点之间的距离，即第一图像捕获器和第二图像捕获器对该同一点的视差。通过对手势与移动终端的距离进行量化检测，从而更准确地判断手势的有效性，以屏蔽发生在有效距离之外的伪手势干扰，提高检测精度。

本发明提供一种移动终端的非接触式控制装置及其控制方法，利用移动终端配置的图像捕获器，在距离图像捕获器一定距离的空间范围内，检测跟踪手势，并捕获手势的静止姿态和运动姿态，分析手势的运动，识别手势运动方向，移动终端根据手势识别结果做出响应。该基于图像捕获器的移动终端控制装置及其控制方法，以人手直接作为移动终端的输入装置，实现非接触、无中间媒介的人机通讯，为人机交互开辟新模式，尤其适合应用于需要无接触、较远程控制移动终端的场合。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (24)

1.一种移动终端的非接触式控制装置，其特征在于，包括：

第一图像捕获器，用于获取移动终端前方的视频图像；

手势分割模块，与所述第一图像捕获器连接，用于从所述视频图像中检测出手势区域；

特征提取模块，与所述手势分割模块连接，用于从所述手势区域中提取手势轮廓；

手势运动分析模块，与所述特征提取模块连接，用于判断所述手势轮廓的运动方向；

控制模块，与所述手势运动分析模块连接，用于根据所述手势运动分析模块的判断结果对所述移动终端发送操作指令。

2.如权利要求1所述的移动终端的非接触式控制装置，其特征在于，所述手势分割模块包括：

图像灰度化单元，用于将各帧所述视频图像进行灰度化处理，以得到灰度图像序列；

帧差分单元，与所述图像灰度化单元相连，用于对所述灰度图像序列中相邻帧图像的进行时间差分处理，以确定所述灰度图像序列的图像强度变化，根据所述图像强度变化检测出所述手势区域；

图像后处理单元，与所述帧差分单元相连，对经过所述帧差分单元处理后的视频图像进行后处理，以填补图像空洞及平滑图像边界。

3.如权利要求2所述的移动终端的非接触式控制装置，其特征在于，所述图像灰度化单元计算所述视频图像中的点(i，j)的灰度值：

f(i，j)＝a R(i，j)+b G(i，j)+c B(i，j))，

其中，i、j为所述视频图像中点的坐标，0＜a，b，c＜1，且满足a+b+c＝1，R(i，j)、G(i，j)、B(i，j))分别为点(i，j)的R、G、B分量像素值。

4.如权利要求3所述的移动终端的非接触式控制装置，其特征在于，a＝0.30，b＝0.59，c＝0.11。

5.如权利要求3所述的移动终端的非接触式控制装置，其特征在于，所述帧差分单元对所述灰度图像序列中相邻两帧图像的灰度值进行时间差分，得到所述点(i，j)的时间差分值

diff(i，j)＝|f_t1(i，j)-f_t2(i，j)|

其中，f_t1(i，j)为点(i，j)在所述相邻两帧图像的前一帧图像中的灰度值，f_t2(i，j)为点(i，j)在所述相邻两帧图像的后一帧图像中的灰度值。

6.如权利要求5所述的移动终端的非接触式控制装置，其特征在于，所述图像后处理单元对经过所述帧差分单元处理后的视频图像进行后处理包括：图像二值化操作和图像闭运算操作。

7.如权利要求6所述的移动终端的非接触式控制装置，其特征在于，所述图像二值化操作的公式为：

$\mathrm{diff}(i,j)=\left\{\begin{array}{cc}255,& \mathrm{diff}>T\\ 0,& \mathrm{diff}<=T\end{array}\right.$

其中，T为设定的像素阈值。

8.如权利要求1所述的移动终端的非接触式控制装置，其特征在于，所述特征提取模块使用的提取方法包括拉普拉斯边缘提取。

9.如权利要求1所述的移动终端的非接触式控制装置，其特征在于，所述手势运动分析模块判断所述手势轮廓的运动方向包括：

对所述移动终端的屏幕平面建立平面坐标系，其中，X_t1(x_1t1，x_2t1，x_3t1…)为t1时刻的所述手势轮廓的X轴的坐标点集合，Y_t1(y_1t1，y_2t1，y_3t1…)为t1时刻的所述手势轮廓的Y轴的坐标点集合，X_t2(x_1t2，x_2t2，x_3t2…)为t2时刻的所述手势轮廓的X轴的坐标点集合，Y_t2(y_1t2，y_2t2，y_3t2…)为t3时刻的所述手势轮廓的Y轴的坐标点集合，t1和t2为两个相邻时刻，t1＜t2，ΔX＝X_t2-X_t1为所述两个相邻时刻的所述手势轮廓的X轴对应点坐标的增量，ΔY＝Y_t2-Y_t1为所述两个相邻时刻的所述手势轮廓的Y轴对应点坐标的增量；

如果|ΔX|＞|ΔY|，判断所述手势轮廓为水平运动，其中，ΔX＜0，判断所述手势轮廓向左运动，ΔX＞0，判断所述手势轮廓向右运动；

如果|ΔX|＜|ΔY|，判断所述手势轮廓为垂直运动，其中，ΔY＜0，判断所述手势轮廓向下运动，ΔY＞0，判断所述手势轮廓向上运动。

10.如权利要求1所述的移动终端的非接触式控制装置，其特征在于，所述移动终端包括屏幕：

如果所述手势轮廓经判断向左运动，所述控制模块向所述移动终端发送将所述屏幕界面切换到前一页的操作指令；

如果所述手势轮廓经判断向右运动，所述控制模块向所述移动终端发送将所述屏幕界面切换到后一页的操作指令；

如果所述手势轮廓经判断向上运动，所述控制模块向所述移动终端发送将所述屏幕界面向上拖动的操作指令；

如果所述手势轮廓经判断向下运动，所述控制模块向所述移动终端发送将所述屏幕界面向下拖动的操作指令。

11.如权利要求1所述的移动终端的非接触式控制装置，其特征在于，还包括：

第二图像捕获器，与所述第一图像捕获器以一定间距并排设置，用于获取移动终端前方的视频图像；

立体深度恢复模块，连接在所述特征提取模块和手势运动分析模块之间，并与所述第一图像捕获器和第二图像捕获器通讯，用于检测手势与所述移动终端的距离z，并判断：如果z＜r，所述立体深度恢复模块将所述手势轮廓传输至所述手势运动分析模块，如果z≥r，所述立体深度恢复模块命令所述第一、第二图像捕获器重新获取图像，其中，r为预定的有效手势距离。

12.如权利要求11所述的移动终端的非接触式控制装置，其特征在于，所述手势与所述移动终端的距离

$z=\frac{\mathrm{bl}}{|P_L-P_R|}$

其中，所述第一图像捕获器和第二图像捕获器的光学参数相同，l为所述第一图像捕获器和第二图像捕获器的焦距，b为所述第一图像捕获器和第二图像捕获器的光心之间的距离，P_L和P_R分别为空间中某一点在所述第一图像捕获器和第二图像捕获器中的图像，|P_L-P_R|所述第一图像捕获器和第二图像捕获器对所述同一点的视差。

13.一种移动终端的非接触式控制方法，其特征在于，包括以下步骤：

S1：在移动终端前方的有效距离内下达手势；

S2：获取包括所述手势的视频图像；

S3：从所述视频图像中检测出手势区域；

S4：从所述手势区域中提取手势轮廓；

S5：判断所述手势轮廓的运动方向；

S6：根据判断结果对所述移动终端发送操作指令。

14.如权利要求13所述的移动终端的非接触式控制方法，其特征在于，步骤S3进一步包括：

S31：将各帧所述视频图像进行灰度化处理，以得到灰度图像序列；

S32：对所述灰度图像序列中相邻帧图像的进行时间差分处理，以确定所述灰度图像序列的图像强度变化，根据所述图像强度变化检测出所述手势区域；

S33：对经过所述时间差分和阈值化处理后的所述视频图像进行后处理，以填补图像空洞及平滑图像边界。

15.如权利要求14所述的移动终端的非接触式控制方法，其特征在于，步骤S31中所述灰度化处理包括计算所述视频图像中的点(i，j)的灰度值

f(i，j)＝a R(i，j)+b G(i，j)+c B(i，j))，

其中，i、j为所述视频图像中点的坐标，0＜a，b，c＜1，且满足a+b+c＝1，R(i，j)、G(i，j)、B(i，j))分别为点(i，j)的R、G、B分量像素值。

16.如权利要求15所述的移动终端的非接触式控制方法，其特征在于，a＝0.30，b＝0.59，c＝0.11。

17.如权利要求15所述的移动终端的非接触式控制方法，其特征在于，步骤S32包括对所述灰度图像序列中相邻两帧图像的灰度值进行时间差分，得到所述点(i，j)的时间差分值

diff(i，j)＝|f_t1(i，j)-f_t2(i，j)|

其中，f_t1(i，j)为点(i，j)在所述相邻两帧图像的前一帧图像中的灰度值，f_t2(i，j)为点(i，j)在所述相邻两帧图像的后一帧图像中的灰度值。

18.如权利要求14所述的移动终端的非接触式控制方法，其特征在于，步骤S33对所述视频图像进行后处理包括：图像二值化操作和图像闭运算操作。

19.如权利要求18所述的移动终端的非接触式控制方法，其特征在于，所述图像二值化操作的公式为：

$\mathrm{diff}(i,j)=\left\{\begin{array}{cc}255,& \mathrm{diff}>T\\ 0,& \mathrm{diff}<=T\end{array}\right.$

其中，T为设定的像素阈值。

20.如权利要求13所述的移动终端的非接触式控制方法，其特征在于，步骤S4中的提取方法包括拉普拉斯边缘提取。

21.如权利要求13所述的移动终端的非接触式控制方法，其特征在于，步骤S5进一步包括：

对所述移动终端的屏幕平面建立平面坐标系，其中，X_t1(x_1t1，x_2t1，x_3t1…)为t1时刻的所述手势轮廓的X轴的坐标点集合，Y_t1(y_1t1，y_2t1，y_3t1…)为t1时刻的所述手势轮廓的Y轴的坐标点集合，X_t2(x_1t2，x_2t2，x_3t2…)为t2时刻的所述手势轮廓的X轴的坐标点集合，Y_t2(y_1t2，y_2t2，y_3t2…)为t2时刻的手势轮廓的Y轴的坐标点集合，t1和t2为两个相邻时刻，t1＜t2，ΔX＝X_t2-X_t1为所述两个相邻时刻的所述手势轮廓的X轴对应点坐标的增量，ΔY＝Y_t2-Y_t1为所述两个相邻时刻的所述手势轮廓的Y轴对应点坐标的增量；

如果|ΔX|＞|ΔY|，判断所述手势轮廓为水平运动，其中，ΔX＜0，判断所述手势轮廓向左运动，ΔX＞0，判断所述手势轮廓向右运动；

如果|ΔX|＜|ΔY|，判断所述手势轮廓为垂直运动，其中，ΔY＜0，判断所述手势轮廓向下运动，ΔY＞0，判断所述手势轮廓向上运动。

22.如权利要求13所述的移动终端的非接触式控制方法，其特征在于，所述移动终端包括屏幕，步骤S6进一步包括：

如果所述手势轮廓经判断向左运动，对所述移动终端发送将所述屏幕界面切换到前一页的操作指令；

如果所述手势轮廓经判断向右运动，对所述移动终端发送将所述屏幕界面切换到后一页的操作指令；

如果所述手势轮廓经判断向上运动，对所述移动终端发送将所述屏幕界面向上拖动的操作指令；

如果所述手势轮廓经判断向下运动，对所述移动终端发送将所述屏幕界面向下拖动的操作指令。

23.如权利要求13所述的移动终端的非接触式控制方法，其特征在于，步骤S4和步骤S5之间包括：

检测所述手势与所述移动终端的距离z，并判断：

如果z＜r，进行步骤S5；

如果z≥r，返回步骤S2，其中，r为预定的有效手势距离。

24.如权利要求23所述的移动终端的非接触式控制方法，其特征在于，检测所述距离z的方法包括：通过以一定间距并排设置的第一图像捕获器和第二图像捕获器同时获取移动终端前方的视频图像，并计算

$z=\frac{\mathrm{bl}}{|P_L-P_R|}$

其中，所述第一图像捕获器和第二图像捕获器的光学参数相同，l为所述第一图像捕获器和第二图像捕获器的焦距，b为所述第一图像捕获器和第二图像捕获器的光心之间的距离，P_L和P_R分别为空间中某一点在所述第一图像捕获器和第二图像捕获器中的图像，|P_L-P_R|所述第一图像捕获器和第二图像捕获器对所述同一点的视差。

Images