CN101776948B - 实现非接触式界面控制的方法及电子装置 - Google Patents

Abstract

本发明提供一种实现非接触式界面控制的方法，其应用在电子装置中。该方法提示用户选择一个目标物，并使该目标物的影像置于电子装置的屏幕上的预定位置，计算并存储该目标物影像的RGB值及面积；根据该RGB值对目标物的运行轨迹进行追踪，并在电子装置的屏幕上显示该运行轨迹；将该目标物当前的影像面积与上述存储的影像面积作比较，若当前的影像面积与存储的影像面积的比值超过预定的比率时，执行界面控制操作。本发明还提供一种实现非接触式界面控制的电子装置。本发明不用安装触摸屏，并且不用接触式的方法就能实现电子装置的界面控制。

Description

实现非接触式界面控制的方法及电子装置

技术领域

本发明涉及一种界面控制技术，尤其涉及一种实现非接触式界面控制的方法及电子装置。

背景技术

触摸屏作为一种电子装置的输入设备，可以实现简单、方便、自然的界面控制。触摸屏主要是用来代替鼠标或键盘的工作。利用触摸屏进行界面控制操作时，用户首先需要用手指或其它物体接触安装在显示器前端的触摸屏，然后触摸屏根据手指接触的图标或菜单的位置来定位选择信息的输入。

触摸屏由触摸检测装置和触摸屏控制器两部分组成。触摸检测装置安装在显示器屏幕的前端，用于检测用户的接触位置。触摸屏控制器的主要作用是从触摸检测装置接收触摸信息，将该触摸信息转换成触点坐标，再送给CPU，并同时能接收CPU发送的命令以执行界面的控制操作，如选择某个菜单或图标等。

虽然触摸屏的使用具有简单、方便的优点，同时也存在一些问题。首先，因为用户的操作空间完全被限制在触摸屏的平面范围之内，若触摸屏的面积过小，则在使用该触摸屏时会给用户带来极大的不方便。反之，若触摸屏的面积过大，则安装该触摸屏的电子装置的体积也必然变大，这对手机等便携式设备具有很大的影响。其次是成本问题，触摸屏的成本比传统TFT(Thin Film Transistor，薄膜晶体管)屏幕还要高。此外，接触式的操作有可能会弄脏电子装置的屏幕。

发明内容

鉴于以上内容，有必要提出一种实现非接触式界面控制的方法，其不用安装触摸屏，并且不用接触式的方法就能实现电子装置的界面控制。

此外，还有必要提出一种实现非接触式界面控制的电子装置，其不用安装触摸屏，并且不用接触式的方法就能实现电子装置的界面控制。

一种实现非接触式界面控制的方法，应用在电子装置中。该方法包括：侦测用户是否需要进行非接触式界面控制操作；当侦测到需要进行非接触式界面控制操作时，开启该电子装置的相机单元；将该电子装置的屏幕从当前用户需要操作的界面切换到拍照的界面；提示用户选择一个目标物，使该目标物的影像置于电子装置的屏幕上的预定位置；分析计算该预定位置处画面的RGB值，并计算出具有该RGB值的影像的边界点，进而计算出该影像的面积，并将该RGB值及影像面积存储于该电子装置的存储单元中；将该电子装置的屏幕从拍照的界面切换到用户需要操作的界面；根据上述RGB值对上述目标物的运行轨迹进行追踪，并在电子装置的屏幕上显示该运行轨迹；当上述目标物的影像固定在电子装置的屏幕上界面操作点的时间超过了预设的时间值时，获取该目标物当前的影像面积，并将该当前的影像面积与上述存储在存储单元中的影像面积作比较；及当当前的影像面积与存储单元中的影像面积的比值超过预定的比率时，执行的界面控制操作。

一种实现非接触式界面控制的电子装置。该电子装置包括相机单元及存储单元。该电子装置还包括：侦测模块，用于侦测用户是否需要进行非接触式界面控制操作；控制模块，用于当侦测到用户需要进行非接触式界面控制操作时，开启上述相机单元，以及对该电子装置的屏幕进行切换操作；提示模块，用于提示用户选择一个目标物，使该目标物的影像置于电子装置的屏幕上的预定位置；分析模块，用于分析计算该预定位置处画面的RGB值，并通过计算出具有该RGB值的影像的边界点计算出该影像的面积，并将该RGB值及影像面积存储于上述的存储单元中；轨迹追踪模块，用于根据上述RGB值对上述目标物的运行轨迹进行追踪，并在电子装置的屏幕上显示该运动轨迹；比较模块，当上述目标物的影像固定在电子装置屏幕上的界面操作点的时间超过了预设的时间值时，获取该目标物当前的影像面积，并将该当前的影像面积与上述存储在存储单元中的影像面积作比较；及操作执行模块，用于当当前的影像面积与存储单元中的影像面积的比值超过预定的比率时，执行相应的界面控制操作。

相较于现有技术，本发明所提供的实现非接触式界面控制的方法及电子装置将用户的操作空间从平面上升到三维空间，给用户带来全新的操作体验。其次，本发明不需要安装触摸屏，因此对电子装置的体积没有限制，并且节省了成本。此外，采用非接触式的方法实现电子装置的界面控制操作可以保证电子装置屏幕的清洁。

附图说明

图1是本发明实现非接触式界面控制的电子装置的较佳实施例的结构图。

图2是本发明实现非接触式界面控制的方法较佳实施例的实施流程图。

具体实施方式

参阅图1所示，是本发明实现非接触式界面控制的电子装置1的较佳实施例的结构图。所述的电子装置1可以是手机、电脑等。该电子装置1包括侦测模块10、控制模块11、提示模块12、分析模块13、轨迹追踪模块14、判断模块15、比较模块16及操作执行模块17。

进一步地，该电子装置1还包括相机单元18及存储单元19。所述相机单元18至少具有一个镜头180。本实施例中，该镜头180处于电子装置1的正面。

所述的侦测模块10用于侦测用户是否需要进行非接触式界面控制操作。本实施例中，可以在电子装置1的键盘或者其他设备上设置一个热键，如“*”号加上“#”号的组合，当侦测模块10侦测到该热键被按下时，则判定用户需要进行非接触式界面控制操作。

所述的控制模块11用于当侦测模块10侦测到用户需要进行非接触式界面控制操作时，开启相机单元18，使相机单元18处于拍照状态。进一步地，该控制模块11还要将电子装置1的屏幕从当前用户需要操作的界面切换到拍照的界面。

所述的提示模块12用于提示用户选择一个目标物，使该目标物的影像置于电子装置1的屏幕上的一个预定位置。此时，用户可以选择一个具有颜色的、容易辨识的目标物2，例如，该电子装置1出厂时，生产商在该电子装置1的特定位置附加的一个带有黏性的红色圆形塑料板，将该目标物2置于用户的手指上，移动该目标物2，使该目标物2的影像能够置于上述的预定位置。所述目标物2的平面面积应该适中，例如可以是电子装置屏幕的1/16或者1/32。所述预定位置可以是电子装置1的屏幕的正中央。

所述的分析模块13用于计算该预定位置处画面的RGB值，并计算出具有该RGB值的影像的面积。如上所述，用户已经将目标物2的影像移至该预定位置，因此，此时预定位置处的画面即为目标物2的影像。在本发明的一个实施例中，所述分析模块13可以采用如下方法计算具有该RGB值的影像的面积：首先，以目标物2的影像中点为起点，以一个预定的度数为等分，画多条直线，计算每条直线上每一点的RGB值，其中第一个RGB值跨度最大的点即为影像的边界点，例如该直线上点的RGB值分别为：P1(R＝255，G＝0，B＝0)，P2(R＝255，G＝1，B＝1)，P3(R＝255，G＝1，B＝2)，P4(R＝255，G＝2，B＝2)，P5(R＝254，G＝1，B＝2)，P6(R＝253，G＝2，B＝2)，P7(R＝255，G＝255，B＝255)，P8(R＝255，G＝255，B＝254)，P9(R＝255，G＝254，B＝254)，P10(R＝255，G＝254，B＝254)，P7的RGB值相对于P6跨度最大，则P7点为边界点；接着，通过上述的边界点得到影像边界，进而计算出影像面积。所述预定的度数可以为1度，或者0.5度等。进一步地，该分析模块13还用于将上述计算出来的RGB值及影像的面积存储于存储单元19中。

所述的控制模块11还用于当RGB值及影像面积存储于存储单元19中后，将电子装置1的屏幕从拍照的界面切换到上述用户需要操作的界面。

所述的轨迹追踪模块14用于根据上述RGB值对目标物2的运行轨迹进行追踪，并在电子装置1的屏幕上显示该轨迹。在本发明的一个实施例中，所述轨迹追踪模块14通过在相机单元8所捕获的影像中寻找具有上述RGB值的影像而实现对目标物2运行轨迹的追踪。所述在屏幕上显示目标物2运动轨迹的方法可以是利用指针的形式。

所述的判断模块15用于判断目标物2的影像是否固定在电子装置1的屏幕上的一个界面操作点，以及判断该固定的时间是否已经超过了一个预设的时间值。所述界面操作点是指图标或者菜单所在的位置。所述预设的时间值可能是2秒钟。

所述的比较模块16用于获取目标物2当前的影像面积，并将该当前的影像面积与上述存储在存储单元19中的影像面积作比较，以判断该当前的影像面积与存储单元19中的影像面积的比值是否超过一个预定的比率。

所述的操作执行模块17用于当当前的影像面积与存储单元19中的影像面积的比值超过上述预定的比率时，执行界面控制操作。例如，若当前的影像面积与存储单元19中的影像面积的比率超过了1∶2时，对该界面操作点的图标或者菜单进行点击操作。

参阅图2所示，是本发明实现非接触式界面控制的方法较佳实施例的实施流程图。

步骤S10，侦测模块10侦测用户是否需要进行非接触式界面控制操作。例如，当侦测模块10侦测到电子装置1的键盘或者其他设备上的一个热键(如“*”与“#”的组合)被按下时，判定用户需要进行非接触式界面控制操作。

若没有侦测到用户需要进行非接触式界面控制操作，则结束流程。

若侦测到了用户需要进行非接触式界面控制操作，则步骤S11，控制模块11开启相机单元18，使相机单元18处于拍照状态，并将电子装置1的屏幕从当前用户需要操作的界面切换到拍照的界面。

步骤S12，提示模块12提示用户选择一个目标物，使该目标物的影像置于电子装置1的屏幕上的一个预定位置。此时，用户可以选择一个具有颜色的、容易辨识的目标物2，将该目标物2置于用户的手指上，移动该目标物2，使该目标物2的影像移至上述的预定位置。所述目标物2的平面面积应该适中，例如可以是电子装置屏幕的1/16或者1/32。所述预定位置可以是电子装置1的屏幕的正中央。

步骤S13，分析模块13计算该预定位置处画面的RGB值，并计算出具有该RGB值的影像的面积，并将该计算出来的RGB值及影像面积存储于存储单元19中。如上所述，用户已经将目标物2的影像移至该预定位置，因此，此时预定位置处的画面即目标物2的影像。

步骤S14，控制模块11判断RGB值及影像面积是否已经存储于存储单元19中。

若没有存储于存储单元19中，则返回步骤S13。

当RGB值及影像面积已经存储于存储单元19中时，于步骤S15，控制模块11将电子装置1的屏幕从拍照的界面切换到上述用户需要操作的界面。

步骤S16，轨迹追踪模块14根据上述的RGB值对目标物2的运行轨迹进行追踪，并在电子装置1的屏幕上显示该轨迹。在本发明的一个实施例中，所述轨迹追踪模块14通过在相机单元8所捕获的影像中寻找具有上述RGB值的影像而实现对目标物2运行轨迹的追踪。所述在屏幕上显示目标物2运动轨迹的方法可以是利用指针的形式。

步骤S17，判断模块15判断目标物2的影像是否固定在电子装置1的屏幕上的一个界面操作点。所述界面操作点是指图标或者菜单所在的位置。若没有，则返回步骤S16。

当目标物2的影像固定在屏幕上的一个界面操作点，于步骤S18，判断模块15进一步判断影像固定的时间是否已经超过了一个预设的时间值，如2秒钟。若没有，则返回步骤S16。

若影像固定的时间超过了上述预设的时间值，则步骤S19，比较模块16获取目标物2当前的影像面积。

步骤S20，比较模块16进一步将该当前的影像面积与上述存储在存储单元19中的影像面积作比较，以判断该当前的影像面积与存储单元19中的影像面积的比值是否超过一个预定的比率。若没有超过，则返回步骤S16。

若当前的影像面积与存储单元19中的影像面积的比值超过了所述预定的比率时，则步骤S21，操作执行模块17执行相应的界面控制操作。例如，当当前的影像面积与存储单元19中的影像面积的比值超过了1∶2时，对当前界面操作点的图标或者菜单进行点击操作。

以上实施例仅用以说明本发明的技术方案而非限制，尽管参照以上较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换都不应脱离本发明技术方案的精神和范围。

例如，若该目标物2是圆形物体，则轨迹追踪模块14对该目标物2运行轨迹的追踪可以采用对角线追踪法。所述对角线追踪法是指用户首先根据目标物2的平面面积及在利用目标物2进行非接触式界面控制操作时该目标物2通常距离电子装置1屏幕的距离，设定该目标物2所成影像的对角线长度(即圆内接正方形的对角线长度)，如0.2CM，然后在相机单元18所捕获的影像中寻找具有长度为(0.2+δ)CM、RGB值与存储单元9中存储的RGB值相同或相近的对角线的圆，该圆即为目标物2的影像，因此，追踪到了该目标物2的运行轨迹。所述δ指一个合理的误差范围。此外，在计算影像面积时也可以利用该对角线计算。

此外，所述目标物2也可以是两个或者多个具有不同颜色的物体的组合，及所述的执行界面控制操作也可以通过该不同颜色的组合来触发，例如，当目标物2是红色与绿色的物体组合时，可以设定当红色物体面积变小而绿色物体面积不变时执行界面控制操作。

Claims (9)

1.一种实现非接触式界面控制的方法，其应用在电子装置中，其特征在于，该方法包括：

侦测用户是否需要进行非接触式界面控制操作；

当侦测到需要进行非接触式界面控制操作时，开启该电子装置的相机单元；

将该电子装置的屏幕从当前用户需要操作的界面切换到拍照的界面；

提示用户选择一个目标物，使该目标物的影像置于电子装置的屏幕上的预定位置；

计算该预定位置处画面的RGB值，并计算出具有该RGB值的影像的面积，并将该RGB值及影像面积存储于该电子装置的存储单元中；

将该电子装置的屏幕从拍照的界面切换到上述用户需要操作的界面；

根据上述RGB值对上述目标物的运行轨迹进行追踪，并在电子装置的屏幕上显示该运行轨迹；

当上述目标物的影像固定在电子装置屏幕上的界面操作点的时间超过了预设的时间值时，获取该目标物当前的影像面积，并将该当前的影像面积与上述存储在存储单元中的影像面积作比较；及

当当前的影像面积与存储单元中的影像面积的比值超过了预定的比率时，执行界面控制操作。

2.如权利要求1所述的实现非接触式界面控制的方法，其特征在于，在侦测之前还包括：

设置快捷键，以使该快捷键被按下时表示用户需要进行非接触式界面控制操作。

3.如权利要求1所述的实现非接触式界面控制的方法，其特征在于，所述的计算具有该RGB值的影像的面积的方法包括：

以目标物的影像中点为起点，以预定的度数为等分，画多条直线；

计算每条直线上每一点的RGB值，其中第一个RGB值跨度最大的点即为影像的边界点；及

根据上述边界点确定影像边界，并计算出该影像的面积。

4.如权利要求1所述的实现非接触式界面控制的方法，其特征在于，所述在电子装置的屏幕上显示该运行轨迹是以指针的形式。

5.如权利要求1所述的实现非接触式界面控制的方法，其特征在于，所述的界面控制操作包括对当前界面操作点的图标或者菜单进行点击。

6.一种实现非接触式界面控制的电子装置，其特征在于，该电子装置包括：

相机单元；

存储单元；

侦测模块，用于侦测用户是否需要进行非接触式界面控制操作；

控制模块，用于当侦测到需要进行非接触式界面控制操作时开启上述相机单元，并将该电子装置的屏幕从当前用户需要操作的界面切换到拍照的界面；

提示模块，用于提示用户选择一个目标物，使该目标物的影像置于电子装置的屏幕上的预定位置；

分析模块，用于计算该预定位置处画面的RGB值，并计算具有该RGB值的影像的面积，并将该RGB值及影像面积存储于上述的存储单元中；

上述的控制模块还用于当将RGB值及影像面积存储于上述的存储单元中后，将该电子装置的屏幕从拍照的界面切换到上述用户需要操作的界面；

轨迹追踪模块，用于根据上述RGB值对上述目标物的运行轨迹进行追踪，并在电子装置的屏幕上显示该运行轨迹；

比较模块，用于当上述目标物的影像固定在电子装置屏幕上的界面操作点的时间超过了预设的时间值时，获取该目标物当前的影像面积，并将该当前的影像面积与上述存储在存储单元中的影像面积作比较；及

操作执行模块，用于当当前的影像面积与存储单元中的影像面积的比值超过预定的比率时，执行界面控制操作。

7.如权利要求6所述的实现非接触式界面控制的电子装置，其特征在于，所述相机单元的镜头置于电子装置的正面。

8.如权利要求6所述的实现非接触式界面控制的电子装置，其特征在于，所述预定位置是电子装置的屏幕的正中央。

9.如权利要求6所述的实现非接触式界面控制的电子装置，其特征在于，所述的界面控制操作包括对当前界面操作点的图标或者菜单进行点击。

Images