CN102880292A

CN102880292A - 移动终端及其操控方法

Info

Publication number: CN102880292A
Application number: CN2012103334433A
Authority: CN
Inventors: 宁宁
Original assignee: Shanghai Moruan Communication Technology Co Ltd
Current assignee: Shanghai Moruan Communication Technology Co Ltd
Priority date: 2012-09-11
Filing date: 2012-09-11
Publication date: 2013-01-16

Abstract

本发明公开了一种移动终端及其操控方法。其中移动终端包括：眼部识别模块，用于识别跟踪眼部动作并产生用于表征该眼部动作的信息；处理控制模块，用于对所述眼部识别模块发出的所述信息进行分析并按照分析结果输出控制指令；执行模块，用于根据所述处理控制模块输出的控制指令执行操作。本发明所提供的移动终端及其操控方法，用户就可利用眼部活动来对移动终端进行操控，操控方式更加便捷，易用性更强，适用人群更加广泛，可为移动终端的开发设计提供更广泛的空间以及挖掘新的市场潜力。

Description

移动终端及其操控方法

技术领域

本发明涉及电子技术领域，尤其涉及电子设备的人机交互领域。

背景技术

现有技术中，无论是功能移动终端（feature phone）、智能移动终端（smart phone）或者其他移动终端，在进行人机交互操作时，均采用触摸或按键的方式来进行操作。虽然利用按键或者触摸屏进行操控已经被广大用户所接收并习惯。如中国知识产权局于2008年9月10日公开了一种移动终端按键，其公开号为CN201112197。这种移动终端按键包括一层聚酯薄膜,该聚酯薄膜具体可以为聚碳酸酯薄膜,在所述聚碳酸酯薄膜表面具有通过二次注塑而形成的字符键;所述聚碳酸酯薄膜的背面与移动终端导电膜弹性接触。该移动终端按键上的字符键是通过二次注塑而形成的,大大降低了移动终端按键的厚度。但是一些特殊人群，如不善于使用按键或触摸屏的老年人、儿童或者手部活动具有障碍的人群，需要更加简化和便捷的操控方式。如果有一种移动终端，可以通过人眼部的活动进行操控，则可为这部分人群提供很大的便利，移动终端的操作将更加便捷，易用性更强。

发明内容

本发明的目的是提供一种眼部操控的移动终端及其操控方法。

本发明所提供的移动终端，包括：眼部识别模块，用于识别跟踪眼部动作并产生用于表征该眼部动作的信息；处理控制模块，用于对所述眼部识别模块发出的所述信息进行分析并按照分析结果输出控制指令；执行模块，用于根据所述处理控制模块输出的控制指令执行操作。

本发明所提供的操控方法，包括：S1 识别跟踪眼部动作并产生用于表征该眼部动作的信息；S2 对所述眼部动作信息进行分析并按照分析结果输出控制指令；S3 根据S2输出的控制指令执行操作。

本发明所提供的移动终端及其操控方法，用户就可利用眼部活动来对移动终端进行操控，操控方式更加便捷，易用性更强，适用人群更加广泛，可为移动终端的开发设计提供更广泛的空间以及挖掘新的市场潜力。

附图说明

图1为本发明所提供的操控方法的流程示意图；

图2为图1中所述的S1的流程示意图；

图3为图2中所述的S13的流程示意图；

图4为图1中所述的S2的流程示意图；

图5为本发明实现切换墙纸的操作的示意图；

图6为本发明实现屏幕解锁及锁定操作的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

如图1所示，本实施例提供一种移动终端眼部操控的方法，包括如下步骤：

S1 识别跟踪眼部动作并产生用于表征该眼部动作的信息；

S2 对所述眼部动作信息进行分析并按照分析结果输出控制指令；

S3 根据S2输出的控制指令执行操作。从而完成根据眼部活动对移动终端进行操控的技术效果。本领域技术人员可以理解，按照本实施例所提供的方法，用户在使用移动终端时，移动终端会对其眼部的活动（如通孔移动的轨迹或睁眼、闭眼、眨眼等动作）进行识别，从而根据不同的活动产生相应的信息；当移动终端对信息进行分析后，可判断出用户做出的眼部动作是否属于执行操控的动作，而非用户的自然生理反应；进而根据再判断出与用户做出的用于执行操控的眼部动作相对应的操作并执行。这样用户就可利用眼部活动来对移动终端进行操控，操控方式更加便捷，易用性更强，适用人群更加广泛，可为移动终端的开发设计提供更广泛的空间以及挖掘新的市场潜力。

如图2所示，所述S1 识别跟踪眼部动作并产生用于表征该眼部动作的信息的步骤，包括：

S11 按照设定的频率获取当前用户的当前面部图像；

S12 利用组合型人眼识别方法对所述面部图像进行处理，获得眼部图像；本领域技术人员可以理解，所述组合型人眼识别方法为本领域公知技术手段，这里不再进行赘述。

S13 对所述眼部图像进行处理，获得所述表征眼部活动的信息。

如图3所示，所述S13 对所述眼部图像进行处理，获得所述表征眼部活动的信息的步骤，包括：

S131 将所述眼部图像进行提取并转换为灰度图像；

S132将S131获得的所述灰度图像进行像素值相减的运算，获得瞳孔图像。本领域技术人员可以理解，通过像素相减的运算，可获得较为清晰的瞳孔图像，为辨识瞳孔的活动轨迹提供了便利，识别更加精准，减少误操作率。

S133 对所述S132获得的所述瞳孔图像进行差分运算，获得瞳孔差分图像。

如图3所示，所述步骤13对所述眼部图像进行处理，获得所述表征眼部活动的信息的步骤，还包括：

S134 根据时间将每次获得的瞳孔差分图像存储为一帧。本领域技术人员可以理解，所述S11按照设定的频率F来获取面部图像，则在一定的周期T内可获得的瞳孔差分图像的数量N=周期T/频率F，则在该周期T内可获得帧的数量为N。这样就可以得知用户在设定的周期内眼部的连续动作及轨迹。

如图4所示，所述S2 对所述眼部动作信息进行分析并按照分析结果输出控制指令的步骤，包括：

S21 根据所述S134的结果，将每一帧的瞳孔差分图像进行滤波处理，从而获得瞳孔运动轨迹的估算信息；

S22 根据所述S134的结果，将每一帧的瞳孔差分图像进行定位处理，从而获得瞳孔运动轨迹的实时信息；

S23 将所述S21获得的瞳孔运动轨迹的估算信息与S22获得的瞳孔运动轨迹的实时信息进行比对，当二者一致时则执行S3；当二者不一致时，则返回执行S21。

进一步，所述定位处理包括：

S221 设置具有坐标的映射区域，并存储所述坐标；本实施例所提供的方法，设置的区域的尺寸为100*100（像素）；

S222 将每一帧的瞳孔差分图像分别映射到所述隐射区域中，并获得该瞳孔差分图像的坐标值；

S223 运算每一帧的瞳孔差分图像的坐标值的差值。本领域技术人员可以理解，利用上述定位运算的方法，可准确的获得瞳孔运动轨迹的实时信息，从而确定通孔的活动轨迹。

进一步，所述S3 根据S2输出的控制指令执行操作的步骤包括切换墙纸、屏幕锁定、屏幕解锁、图片及地图浏览、音频及视频的播放等。本实施例所提供的方法，当S2判断用户瞳孔的活动轨迹为从左到右时，执行切换强制的操作；当S2判断用户瞳孔的活动轨迹为从右到左时，保持当前墙纸不变（如图5所示）。当S2判断用户瞳孔的活动轨迹为从上到下时，执行屏幕解锁的操作；当S2判断用户瞳孔的活动轨迹为从下到上时，保持屏幕锁定的状态（如图6所示）。本领域技术人员可以理解，上述S3 根据S2输出的控制指令执行操作的步骤，不限于本实施例所提供眼部活动轨迹及相应操作。由于该步骤可利用现有技术中的公知技术手段实现，这里不再进行赘述。

实施例二

本实施例提供一种移动终端，包括：

眼部识别模块，用于识别跟踪眼部动作并产生用于表征该眼部动作的信息；

处理控制模块，用于对所述眼部识别模块发出的所述信息进行分析并按照分析结果输出控制指令；

执行模块，用于根据所述处理控制模块输出的控制指令执行操作。从而完成根据眼部活动对移动终端进行操控的技术效果。本领域技术人员可以理解，利用本实施例所提供的移动终端，可对用户的眼部的活动（如通孔移动的轨迹或睁眼、闭眼、眨眼等动作）进行识别，从而根据不同的活动产生相应的信息；当移动终端对信息进行分析后，可判断出用户做出的眼部动作是否属于执行操控的动作，而非用户的自然生理反应；进而根据再判断出与用户做出的用于执行操控的眼部动作相对应的操作并执行。这样用户就可利用眼部活动来对移动终端进行操控，操控方式更加便捷，易用性更强，适用人群更加广泛，可为移动终端的开发设计提供更广泛的空间以及挖掘新的市场潜力。

进一步，所述眼部识别模块，包括：

脸部图像识别单元，用于按照设定的频率获取当前用户的当前面部图像；

脸部图像处理单元，用于对所述脸部图像识别单元输出的所述面部图像进行处理，获得眼部图像；本领域技术人员可以理解，所述脸部图像处理单元采用组合型人眼识别方法在所述脸部图像中提取眼部图像，所述组合型人眼识别方法为本领域公知技术手段，这里不再进行赘述。

眼部图像处理单元，用于对所属脸部图像处理单元输出的所述眼部图像进行处理，获得表征眼部活动的所述信息。

进一步，所述眼部图像处理单元，包括：

眼部图像转换子单元，用于对所述眼部图像进行提取并转换为灰度图像；

灰度图像处理子单元，用于对所述眼部图像转换子单元输出的灰度图像进行像素值相减的运算，获得瞳孔图像。本领域技术人员可以理解，通过像素相减的运算，可获得较为清晰的瞳孔图像，为辨识瞳孔的活动轨迹提供了便利，识别更加精准，减少误操作率。

差分运算子单元，用于对所述灰度图像处理子单元输出的通孔图像进行差分运算，从而获得瞳孔差分图像。

进一步，所述眼部图像处理单元，还包括：

帧处理子单元，用于根据时间将每次获得的瞳孔差分图像存储为一帧。本领域技术人员可以理解，所述S11按照设定的频率F来获取面部图像，则在一定的周期T内可获得的瞳孔差分图像的数量N=周期T/频率F，则在该周期T内可获得帧的数量为N。这样就可以得知用户在设定的周期内眼部的连续动作及轨迹。

进一步，所述处理控制模块，包括：

滤波处理单元，用于根据所述帧处理子单元输出的信息，将每一帧的瞳孔差分图像进行滤波处理，从而获得瞳孔运动轨迹的估算信息；

定位处理单元，用于根据所述帧处理子单元输出的信息，将每一帧的瞳孔差分图像进行定位处理，从而获得瞳孔运动轨迹的实时信息；

比对处理单元，用于将所述滤波处理单元输出的所述估算信息和所述定位处理单元输出的所述实时信息进行比对，当二者一致时所述比对处理单元向所述执行模块发送用于控制所述移动终端执行操作的控制指令。

进一步，所述定位处理单元，包括：

具有坐标的映射区域；本实施所提供的移动终端，所述映射区域的尺寸设置为100*100（像素）；，

坐标运算子单元，用于将每一帧的瞳孔差分图像分别映射到所述隐射区域中获得该瞳孔差分图像的坐标值，并计算出每一帧的瞳孔差分图像的坐标值的差值。本领域技术人员可以理解，利用上述定位运算的方法，可准确的获得瞳孔运动轨迹的实时信息，从而确定通孔的活动轨迹。

进一步，所述执行模块可根据所述比对处理单元发出的控制指令执行多种操作，如切换墙纸、屏幕锁定、屏幕解锁、图片及地图浏览、音频及视频的播放等。本实施例所提供的移动终端，当判断用户瞳孔的活动轨迹为从左到右时，执行切换强制的操作；当判断用户瞳孔的活动轨迹为从右到左时，保持当前墙纸不变。当判断用户瞳孔的活动轨迹为从上到下时，执行屏幕解锁的操作；当判断用户瞳孔的活动轨迹为从下到上时，保持屏幕锁定的状态。本领域技术人员可以理解，上述执行模块所执行的操作，不限于本实施例所提供眼部活动轨迹及相应操作。由于所述执行模块可采用本领域公知技术手段，这里不再进行赘述。

所述滤波处理单元可采用卡尔曼滤波器。本领域技术人员可以理解，所述卡尔曼滤波器是一种用于时变线性系统的递归滤波器可将过去的测量估计误差合并到新的测量误差中来估计将来的误差。所述脸部图像识别单元可采用图像传感器，如摄像头。所述脸部图像识别单元还可配置有红外光源，便于为所述图像传感器提供更佳的光源环境，提高图像质量，增加眼部活动识别的精确度，降低误操作率。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种移动终端眼部操控的方法，其特征在于，包括：

S1 识别跟踪眼部动作并产生用于表征该眼部动作的信息；

S3 根据S2输出的控制指令执行操作。

2.如权利要求1所述的方法，其特征在于，所述S1 识别跟踪眼部动作并产生用于表征该眼部动作的信息的步骤，包括：

S11 按照设定的频率获取当前用户的当前面部图像；

S12 利用组合型人眼识别方法对所述面部图像进行处理，获得眼部图像；

3.如权利要求2所述的方法，其特征在于，所述S13 对所述眼部图像进行处理，获得所述表征眼部活动的信息的步骤，包括：

S131 将所述眼部图像进行提取并转换为灰度图像；

S132将S131获得的所述灰度图像进行像素值相减的运算，获得瞳孔图像；

S133 对所述S132获得的所述瞳孔图像进行差分运算，获得瞳孔差分图像；

S134 根据时间将每次获得的瞳孔差分图像存储为一帧。

4.如权利要求3所述的方法，其特征在于，所述S2 对所述眼部动作信息进行分析并按照分析结果输出控制指令的步骤，包括：

5.如权利要求4所述的方法，其特征在于，S22中所述的定位处理，包括：

S221 设置具有坐标的映射区域，并存储所述坐标；

S222 将每一帧的瞳孔差分图像分别映射到所述映射区域中，并获得该瞳孔差分图像的坐标值；

S223 运算每一帧的瞳孔差分图像的坐标值的差值。

6.一种移动终端，其特征在于，包括：

执行模块，用于根据所述处理控制模块输出的控制指令执行操作。

7.如权利要求6所述的移动终端，其特征在于，所述眼部识别模块，包括：

脸部图像处理单元，用于对所述脸部图像识别单元输出的所述面部图像进行处理，获得眼部图像；

8.如权利要求7所述的移动终端，其特征在于，所述眼部图像处理单元，包括：

灰度图像处理子单元，用于对所述眼部图像转换子单元输出的灰度图像进行像素值相减的运算，获得瞳孔图像；

差分运算子单元，用于对所述灰度图像处理子单元输出的通孔图像进行差分运算，从而获得瞳孔差分图像；

帧处理子单元，用于根据时间将每次获得的瞳孔差分图像存储为一帧。

9.如权利要求8所述的移动终端，其特征在于，所述处理控制模块，包括：

10.如权利要求9所述的移动终端，其特征在于，所述定位处理单元，包括：

具有坐标的映射区域；

坐标运算子单元，用于将每一帧的瞳孔差分图像分别映射到所述映射区域中获得该瞳孔差分图像的坐标值，并计算出每一帧的瞳孔差分图像的坐标值的差值。

11.如权利要求6至10中任一项所述的移动终端，其特征在于：所述滤波处理单元包括卡尔曼滤波器。

12.如权利要求6至10中任一项所述的移动终端，其特征在于：所述脸部图像识别单元包括图像传感器和红外光源。