CN104598009A - 屏幕按键控制方法及系统 - Google Patents

Abstract

本发明提供一种屏幕按键控制方法，包括：在侦测到用户眼睛聚焦于显示屏幕上的按键后，拍摄用户的人脸图像，并根据该人脸图像确定用户需要操作的按键；接收用户所输入的语音信息，并利用语音识别软件识别该语音信息所对应的操作指令；及根据所述操作指令执行所述需要操作的按键所对应的动作。本发明还提供一种屏幕按键控制系统。本发明通过用户眼睛的聚焦及语音信息的输入可以方便地控制显示屏幕上的按键。

Description

屏幕按键控制方法及系统

技术领域

本发明涉及一种按键控制方法及系统，尤其是涉及一种控制电子装置的显示屏幕上的按键的方法及系统。

背景技术

目前手机、平板电脑等电子装置，越来越多的使用显示屏幕（例如触摸屏）作为接收用户输入的操作接口。当用户需要控制显示屏幕上的某个按键时，该按键需要用户以手指按压显示屏幕来选定，电子装置才能执行该按键所对应的操作。然而当用户的手指使用不方便时，例如手指沾水或手指受伤的情况下，按键的控制则无法实现，因此造成电子装置使用上的不便利。此外，通过语音识别软件识别用户的语音指令，可以实现电子装置的某些功能，例如翻页等操作，但是显示屏幕上按键的控制则无法实现。

发明内容

鉴于以上内容，有必要提供一种屏幕按键控制方法及系统，可以通过用户眼睛的聚焦及语音信息的输入来控制电子装置的显示屏幕上的按键。

一种屏幕按键控制方法，应用于电子装置中，该方法包括步骤：（a）在侦测到用户眼睛聚焦于显示屏幕上的按键后，拍摄用户的人脸图像，并根据该人脸图像确定用户需要操作的按键；（b）接收用户所输入的语音信息，并利用语音识别软件识别该语音信息所对应的操作指令；及（c）根据所述操作指令执行所述需要操作的按键所对应的动作。

一种屏幕按键控制系统，运行于电子装置中，该系统包括：按键确定模块，用于在侦测到用户眼睛聚焦于显示屏幕上的按键后，拍摄用户的人脸图像，并根据该人脸图像确定用户需要操作的按键；指令识别模块，用于接收用户所输入的语音信息，并利用语音识别软件识别该语音信息所对应的操作指令；及控制模块，用于根据所述操作指令执行所述需要操作的按键所对应的动作。

相较于现有技术，利用本发明所提供的屏幕按键控制方法及系统，可以在用户眼睛聚焦于显示屏幕上的按键后，通过电子装置的摄像单元所拍摄的人脸图像确定在显示屏幕上需要操作的按键，并在接收到用户所输入的语音信息后，根据该语音信息执行该需要操作的按键所对应的动作，从而实现了显示屏幕上按键的控制，增加了按键控制的便利性。

附图说明

图1是本发明屏幕按键控制系统较佳实施例的硬件架构图。

图2是本发明屏幕按键控制系统较佳实施例的功能模块图。

图3是本发明屏幕按键控制方法较佳实施例的作业流程图。

图4是本发明屏幕按键控制方法较佳实施例的控制显示屏幕上按键的示例图。

主要元件符号说明

电子装置	100
		屏幕按键控制系统	10
存储模块	11
		按键确定模块	12
指令识别模块	13
		控制模块	14
摄像单元	20
		语音接收单元	30
语音识别软件	40
		显示屏幕	50
存储单元	60

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

参阅图1所示，是本发明屏幕按键控制系统较佳实施例的硬件架构图。该屏幕按键控制系统10运行于电子装置100中，该电子装置100可以是计算机、手机、平板电脑、掌上电脑（Personal Digital Assistant，PDA）等。该电子装置100还包括部件，如摄像单元20、语音接收单元30、语音识别软件40、显示屏幕50及存储单元60。电子装置100的部件10-60通过系统总线进行通信。

所述摄像单元20用于拍摄用户的人脸图像，该摄像单元20可以为摄像头等摄像装置。所述语音接收单元30用于接收用户所输入的语音信息，该语音接收单元30可以为话筒等接收语音信息的装置。所述语音识别软件40用于识别所述语音信息，并将该语音信息转化为操作电子装置100的按键的操作指令。所述显示屏幕50用于显示电子装置100中的各种按键，该按键可以为应用程序中的功能按钮、应用程序图标、或用于进行文字输入的键盘中的字符等。所述存储单元60用于存储电子装置100中的数据。该存储单元60既可以为内置于电子装置100中的存储介质，亦可以为外接于电子装置100的存储装置，本较佳实施例以存储单元60为内置于电子装置100中的存储介质为例进行介绍。

所述屏幕按键控制系统10用于在侦测到用户眼睛聚焦于显示屏幕50上的按键时，利用摄像单元20拍摄用户的人脸图像，根据该人脸图像确定在显示屏幕50上需要操作的按键，并利用语音接收单元30接收用户所输入的语音信息，通过语音识别软件40识别该语音信息所对应的操作指令，并根据该操作指令执行所述需要操作的按键所对应的动作。

参阅图2所示，是本发明屏幕按键控制系统较佳实施例的功能模块图。该屏幕按键控制系统10包括存储模块11、按键确定模块12、指令识别模块13、及控制模块14。模块11-14包括计算机化程序指令。

存储模块11用于控制摄像单元20拍摄用户眼睛聚焦于显示屏幕50上不同的按键时的人脸图像，并将该拍摄的人脸图像、及该拍摄的人脸图像与用户眼睛所聚焦的按键的对应关系存储至存储单元60中。在其他实施例中，该拍摄的人脸图像、及该拍摄的人脸图像与用户眼睛所聚焦的按键的对应关系可以存储至与电子装置100连接的数据库中，或者通过网络存储至服务器中。

需要说明的是，当用户的人脸与电子装置100之间的位置确定后，用户眼睛的视线方向不同，将导致用户眼睛聚焦在显示屏幕50的不同按键上，所述位置包括距离及角度。也就是说，用户眼睛聚焦于显示屏幕50上的哪个按键，由用户的人脸与电子装置100之间的位置及用户的视线方向决定。用户眼睛是否聚焦于显示屏幕50上的某个按键，可以通过判断用户眼睛是否在一个预设时间（例如1秒）内没有变化来决定，或通过用户眼睛的预设动作是否发生来决定。该用户眼睛的预设动作可以为眨眼两次等。

当用户眼睛的视线方向不同时，用户眼睛的眼珠位置不同。在本较佳实施例中，当用户的人脸与电子装置100之间的位置确定后，根据拍摄所得的人脸图像中的眼珠位置来定位不同的视线方向，从而确定眼睛在显示屏幕50上所聚焦的不同按键。

依据用户的使用习惯，用户的人脸与电子装置100之间的位置通常比较固定，例如包括至少一个位置。当用户的人脸与电子装置100之间的位置不同，调整用户的视线方向使用户眼睛聚焦于显示屏幕50上的不同按键后，存储模块11控制摄像单元20拍摄用户眼睛聚焦于显示屏幕50上的不同按键时的人脸图像，并将该拍摄所得的人脸图像、及该拍摄所得的人脸图像与用户眼睛所聚焦的按键的对应关系存储至存储单元60中。

按键确定模块12用于在侦测到用户眼睛聚焦于显示屏幕50上的按键后，控制摄像单元20拍摄用户的人脸图像，并根据该人脸图像确定用户需要操作的按键。在本较佳实施例中，所述按键确定模块12将所述拍摄的人脸图像与存储单元60中存储的人脸图像进行比对，在所述存储单元60中寻找与所述拍摄的人脸图像相似度最高的人脸图像，并确定该与所述拍摄的人脸图像相似度最高的人脸图像所对应的按键为用户需要操作的按键。

所述按键确定模块12还用于以一个预设方式标识所述需要操作的按键，以提示用户已确定该需要操作的按键。该预设方式包括将按键的原始尺寸以一定的比例放大，或设置按键的背景颜色（例如蓝色）等。

指令识别模块13用于控制语音接收单元30接收用户所输入的语音信息，并利用语音识别软件40识别该语音信息所对应的操作指令。在本较佳实施例中，所述指令识别模块13将语音信息与操作指令之间的对应关系预先设置于语音识别软件40中。参阅图4所示，在用户眼睛聚焦于播放软件的“播放按键”后，当输入的语音信息“好”时，操作指令用于将播放软件的“播放按键”打开。

控制模块14用于根据所述操作指令执行所述需要操作的按键所对应的动作。所述需要操作的按键所对应的动作由电子装置100的操作系统决定。参阅图4所示，当操作指令为将播放软件的“播放按键”打开时，播放软件进入播放状态。

参阅图3所示，是本发明屏幕按键控制方法较佳实施例的流程图。

当用户需要操作显示屏幕50上的某个按键时，将眼睛聚焦于该按键，则步骤S10，按键确定模块12在侦测到用户眼睛聚焦于显示屏幕50上的按键后，控制摄像单元20拍摄用户的人脸图像，并根据该人脸图像确定用户需要操作的按键。在本较佳实施例中，按键确定模块12通过判断用户眼睛是否在一个预设时间内没有变化，或通过用户眼睛的预设动作是否发生，来侦测用户眼睛是否聚焦于显示屏幕50上的按键。

在步骤S10前，还包括步骤：存储模块11控制摄像单元20拍摄用户眼睛聚焦于显示屏幕50上不同的按键时的人脸图像，并将该拍摄的人脸图像、及该拍摄的人脸图像与用户眼睛所聚焦的按键的对应关系存储至存储单元60中。在本较佳实施例中，当用户的人脸与电子装置100之间的位置不同，调整用户的视线方向使用户眼睛聚焦于显示屏幕50上的不同按键后，存储模块11控制摄像单元20拍摄用户眼睛聚焦于显示屏幕50上的不同按键时的人脸图像，并将该拍摄所得的人脸图像、及该拍摄所得的人脸图像与用户眼睛所聚焦的按键的对应关系存储至存储单元60中。

在本较佳实施例中，所述按键确定模块12通过以下方式确定用户需要操作的按键：将所述拍摄的人脸图像与存储单元60中存储的人脸图像进行比对，在所述存储单元60中寻找与所述拍摄的人脸图像相似度最高的人脸图像，并确定该与所述拍摄的人脸图像相似度最高的人脸图像所对应的按键为用户需要操作的按键。

在步骤S10之后，还包括步骤：所述按键确定模块12以一个预设方式标识所述需要操作的按键，以提示用户已确定该需要操作的按键。

步骤S20，指令识别模块13控制语音接收单元30接收用户所输入的语音信息，并利用语音识别软件40识别该语音信息所对应的操作指令。在本较佳实施例中，所述指令识别模块13将语音信息与操作指令之间的对应关系预先设置于语音识别软件40中。

步骤S30，控制模块14根据所述操作指令执行所述需要操作的按键所对应的动作。所述需要操作的按键所对应的动作由电子装置100的操作系统决定。

本发明通过将用户眼睛聚焦于需要操作的按键上及简单的语音信息控制，即可实现显示屏幕50上按键的操作，操作简单，从而增加了按键控制的便利性。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照以上较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种屏幕按键控制方法，应用于电子装置中，其特征在于，该方法包括：

按键确定步骤：在侦测到用户眼睛聚焦于显示屏幕上的按键后，拍摄用户的人脸图像，并根据该人脸图像确定用户需要操作的按键；

指令识别步骤：接收用户所输入的语音信息，并利用语音识别软件识别该语音信息所对应的操作指令；及

控制步骤：根据所述操作指令执行所述需要操作的按键所对应的动作。

2.如权利要求1所述的屏幕按键控制方法，其特征在于，在所述按键确定步骤前还包括存储步骤：

拍摄用户眼睛聚焦于显示屏幕上不同的按键时的人脸图像，并将该拍摄的人脸图像、及该拍摄的人脸图像与用户眼睛所聚焦的按键的对应关系存储至电子装置的存储单元中。

3.如权利要求2所述的屏幕按键控制方法，其特征在于，所述按键确定步骤通过以下方式确定用户需要操作的按键：

将所述拍摄的人脸图像与存储单元中存储的人脸图像进行比对；

在所述存储单元中寻找与所述拍摄的人脸图像相似度最高的人脸图像；及

确定该与所述拍摄的人脸图像相似度最高的人脸图像所对应的按键为用户需要操作的按键。

4.如权利要求1所述的屏幕按键控制方法，其特征在于，在所述按键确定步骤后还包括：

以一个预设方式标识所述需要操作的按键，以提示用户已确定该需要操作的按键。

5.如权利要求1所述的屏幕按键控制方法，其特征在于，所述按键确定步骤通过判断用户眼睛是否在一个预设时间内没有变化，或通过用户眼睛的预设动作是否发生，来侦测用户眼睛是否聚焦于显示屏幕上的按键。

6.一种屏幕按键控制系统，运行于电子装置中，其特征在于，该系统包括：

按键确定模块，用于在侦测到用户眼睛聚焦于显示屏幕上的按键后，拍摄用户的人脸图像，并根据该人脸图像确定用户需要操作的按键；

指令识别模块，用于接收用户所输入的语音信息，并利用语音识别软件识别该语音信息所对应的操作指令；及

控制模块，用于根据所述操作指令执行所述需要操作的按键所对应的动作。

7.如权利要求6所述的屏幕按键控制系统，其特征在于，该系统还包括：

存储模块，用于拍摄用户眼睛聚焦于显示屏幕上不同的按键时的人脸图像，并将该拍摄的人脸图像、及该拍摄的人脸图像与用户眼睛所聚焦的按键的对应关系存储至电子装置的存储单元中。

8.如权利要求7所述的屏幕按键控制系统，其特征在于，所述按键确定模块通过以下步骤确定用户需要操作的按键：

将所述拍摄的人脸图像与存储单元中存储的人脸图像进行比对；

在所述存储单元中寻找与所述拍摄的人脸图像相似度最高的人脸图像；及

确定该与所述拍摄的人脸图像相似度最高的人脸图像所对应的按键为用户需要操作的按键。

9.如权利要求6所述的屏幕按键控制系统，其特征在于，所述按键确定模块还用于，以一个预设方式标识所述需要操作的按键，以提示用户已确定该需要操作的按键。

10.如权利要求6所述的屏幕按键控制系统，其特征在于，所述按键确定模块通过判断用户眼睛是否在一个预设时间内没有变化，或通过用户眼睛的预设动作是否发生，来侦测用户眼睛是否聚焦于显示屏幕上的按键。