CN104331191A - 基于图像识别实现触摸的系统及方法 - Google Patents

Abstract

本发明提供一种基于图像识别实现触摸的方法，该方法包括：启动前置摄像头，每间隔一个时间间隔拍摄用户手指在虚拟屏操作的图像；利用手指图像识别技术，将拍摄的当前图像中的手指指尖处理为一个圆形区块；根据当前图像中手指圆的半径，判定当前图像对应的虚拟屏是否有效；缩小或放大当前图像，使得缩放后的图像的尺寸和显示屏的屏幕分辨率一致；及比较当前图像和基准图像中的手指圆半径和圆心坐标位置，根据比较结果产生相应的触摸事件。本发明还提供一种基于图像识别实现触摸的系统。通过本发明能够在不配备触摸屏的基础上实现触摸功能。

Description

基于图像识别实现触摸的系统及方法

技术领域

本发明涉及图像识别技术，尤其涉及一种基于图像识别实现电子设备屏幕的触摸的系统及方法。

背景技术

目前，大多数电子设备（手机、平板电脑等）的屏幕都是采用触摸屏技术，通过侦测手指在触摸屏的某个触碰点的电压或电流等物理值，触摸屏控制器接收到物理值后转换成触摸点的坐标位置并传送给CPU（Central Processing Unit，中央处理单元）。利用触摸屏技术使得人机交互变得简单，然而，触摸屏的硬件设计复杂度和成本都较高，便携式电脑、手机等电子设备在不具备触摸屏的基础上如何实现触摸是一个需要解决的问题。

发明内容

鉴于以上内容，本发明提出一种基于图像识别实现触摸的系统及方法，利用现有电子设备所配备的前置摄像头捕捉用户手指在虚拟屏上操作的图像，识别图像中手指并处理为圆形，将手指在虚拟屏上的坐标计算转换为获取手指圆圆心在图像中的坐标，比较多张图像中手指圆的半径及圆心坐标位置变化，产生相应的触摸事件，使电子设备无需配备触摸屏就可以实现触摸功能。

所述的基于图像识别实现触摸的系统，该系统包括：图像拍摄模块，用于启动前置摄像头，每间隔一个时间间隔拍摄用户手指在虚拟屏操作的图像；图像处理模块，用于利用手指图像识别技术，将拍摄的当前图像中的手指指尖处理为一个圆形区块；判定模块，用于根据当前图像中手指圆的半径，判定当前图像对应的虚拟屏是否有效；图像缩放模块，用于缩小或放大当前图像，使得缩放后的图像的尺寸和显示屏的屏幕分辨率一致；及事件生成模块，用于比较当前图像和基准图像中的手指圆半径和圆心坐标位置，根据比较结果产生相应的触摸事件。

所述的基于图像是些实现触摸的方法，该方法包括：启动前置摄像头，每间隔一个时间间隔拍摄用户手指在虚拟屏操作的图像；利用手指图像识别技术，将拍摄的当前图像中的手指指尖处理为一个圆形区块；根据当前图像中手指圆的半径，判定当前图像对应的虚拟屏是否有效；缩小或放大当前图像，使得缩放后的图像的尺寸和显示屏的屏幕分辨率一致；及比较当前图像和基准图像中的手指圆半径和圆心坐标位置，根据比较结果产生相应的触摸事件。

相比现有技术，本发明利用现有电子设备所配备的前置摄像头拍摄手指在屏幕前方的移动、点击等动作的图像，利用图像识别技术识别图像中手指并处理手指尖为圆形，通过分析比较多张图像中手指圆半径和圆心坐标位置的变化，产生相应的触摸事件以实现屏幕的触摸功能，无需增加触摸屏等额外的硬件设备。

附图说明

图1是本发明基于图像识别实现触摸的系统的较佳实施例的运行环境图。

图2是本发明基于图像识别实现触摸的系统的较佳实施例的功能模块图。

图3是本发明基于图像识别实现触摸的方法的较佳实施例的方法流程图。

图4是说明虚拟屏和手指有效操作区域的示意图。

图5是将图像中手指处理为手指圆的示意图。

图6是比较两张图像中手指圆的圆心位置和半径的示意图。

主要元件符号说明

电子设备	1
		基于图像识别实现触摸的系统	10
处理器	20
		存储器	30
显示屏	40
		前置摄像头	50
虚拟屏	V1、V2
		图像拍摄模块	101
图像处理模块	102
		判定模块	103
图像缩放模块	104
		事件生成模块	105
图像选取模块	106

以下具体实施例将结合上述附图进一步说明本发明。

具体实施方式

参阅图1所示，是本发明基于图像识别实现触摸的系统的运行环境图。所述基于图像识别实现触摸的系统10运行于配置有前置摄像头50的电子设备1中，该电子设备1可以是手机、便携式电脑或平板电脑等。该电子设备1包括处理器20、存储器30、显示屏40、前置摄像头50和其他接口电路等。

所述处理器20控制程序化代码的执行以协同电子设备1中各元件的工作，该处理器20可以是单核或是多核的。所述存储器30用于存储程序化代码、前置摄像头50拍摄的图像和运算处理结果等。所述基于图像识别实现触摸的系统10的程序化代码保存于存储器30中，并由处理器20控制执行。

所述显示屏40可以显示电子设备1的内容等，利用本发明，用户在显示屏前方一定距离内的手指动作转换为用户对显示屏的触摸操作，从而实现非触摸屏的电子设备也能具备触摸模式。所述前置摄像头50用于捕捉用户手指动作的光学图像。

图1仅为实例，在实际应用中，所述基于图像识别实现触摸的系统的应用并不仅限于此。

参阅图2所示，是本发明基于图像识别实现触摸的系统的功能模块图。所述基于图像识别实现触摸的系统10包括多个功能模块：图像拍摄模块101、图像处理模块102、判定模块103、图像缩放模块104、事件生成模块105及图像选取模块106。上述功能模块是指完成一定功能的程序段，该程序段比程序更适合描述软件在处理器中的执行过程。以下结合图3的方法流程图详细说明各模块的功能。

参阅图3所示，是本发明基于图像识别实现触摸的方法的方法流程图。该流程图中的某些步骤顺序可以改变，某些步骤可以合并、省略或是拆解细分。

步骤S01，用户手指在虚拟屏上操作，图像拍摄模块101启动前置摄像头，每间隔一定时间（如500ms）拍摄一张图像。

所述虚拟屏是指显示屏前方一定距离且与该显示屏平行的任意平面，如图4所示，虚拟屏V1、V2为电子设备1的显示屏40的前方且与该显示屏40平行的平面。

步骤S02，图像处理模块102利用手指图像识别技术，将所拍摄的当前图像中的手指指尖处理为一个圆形（或是正方形）区块。

所述手指图像识别技术可以根据建立的手指特征模型或是人体肤色模型，设置一个阀值将人手区域从图像中分割出来，识别图像中的手指区域，去除噪点和剔除背景后提取出手指的边缘轮廓曲线并将手指尖处理为一个圆形或是正方形的区块。如图5所示，经上述图像处理后，将手指尖处理为半径为r1，圆心坐标为（x1，y2）的圆形。

步骤S03，判定模块103根据手指圆的半径，判定所述当前图像对应的虚拟屏是否有效。若是，则进入步骤S05，否则进入步骤S04。

根据近大远小的成像原理，当用户手指位于距离前置摄像头较远处的虚拟屏时，拍摄的图像中用户手指成像小，反之，当用户手指位于距离前置摄像头较近处的虚拟屏时，手指成像大。鉴于此，为了避免由于手指所在虚拟屏距离前置摄像头的位置过近，导致手指成像过大而无法明确判定指尖在虚拟屏的坐标点，以及避免由于手指所在虚拟屏距离前置摄像头的位置过远，导致手指成像过小而无法识别手指，本发明中指定了手指操作有效区（如图4所示），该手指操作有效区为距离前置摄像头较近和较远的两个虚拟屏V1、V2之间的任意屏（含V1、V2）。

距离前置摄像头不同位置的虚拟屏的手指成像大小不同，即不同位置的虚拟屏对应的图像中手指圆的半径不同。鉴于此，判定手指所在虚拟屏是否处于手指操作有效区内可转换为判定虚拟屏对应的图像中手指圆的半径r是否满足                                               ，其中，R1、R2分别为的距离前置摄像头较近和较远的两个临界处虚拟屏V1、V2对应图像中手指圆的半径。

需要说明的是，R1、R2根据不同的实施例可灵活设定，这两个临界值的范围为用户手指操作能够被识别的有效操作区，当用户手指所在虚拟屏对应图像中的手指圆半径不在R1、R2范围内，则导致用户手指操作无法被识别。

步骤S04，舍弃手指圆半径不满足条件的图像，返回步骤S01。

本较佳实施例中，判定模块103判定当前图像中手指圆的半径r是否满足，若不满足，即当前图像对应的虚拟屏不在手指操作有效区内，则舍弃该图像。

步骤S05，图像缩放模块104缩小或放大当前图像，使得缩放后的图像的尺寸与显示屏的屏幕分辨率一致。

所述的屏幕分辨率为显示屏横向像素个数×纵向像素个数，图像尺寸为图像水平像素个数×垂直像素个数，图像两个方向上的缩小或放大比例为图像水平（垂直）像素个数/显示屏横向（纵向）像素个数。经过上述缩小或放大后，使得图像中手指圆圆心的坐标位置可以等同为用户手指相对于显示屏的坐标位置。

步骤S06，事件生成模块105判定存储器中是否存在基准图像，若存在则进入步骤S08，若不存在则进入步骤S07。

所述基准图像是与当前图像进行比较的图像，该图像较当前图像的时间顺序在前。

本较佳实施例中，每隔一定时间间隔拍摄一张图像，将每次拍摄的当前图像与基准图像进行比较，比较两图像中手指圆半径和圆心坐标位置的变化，判定是否满足触发产生触摸事件的条件，若满足则产生相应的触摸事件，否则不产生。此外，根据比较结果选取当前比较的两张图像中的一张作为下次比较的基准图像，该选取的基准图像与后续拍摄的图像再进行比较。上述比较的过程和基准图像的选取参见后续步骤详述。

步骤S07，以当前图像为基准图像保存于存储器中，进入步骤S10。

当第一次拍摄图像时，因不存在基准图像而无法进行比较，故以首次拍摄的图像作为基准图像保存在存储器中，以便拍摄的第二张图像与该基准图像进行比较。

步骤S08，事件生成模块105获取当前图像和基准图像中手指圆的半径和圆心坐标，比较手指圆的半径和圆心坐标，产生相应的触摸事件。

如图4所示，用户手指在手指操作有效区内操作，手指的操作包括有三种：a）手指在显示屏垂直方向上多个虚拟屏之间的移动，即手指按下或抬起动作，此时，连续拍摄的多张图像中手指圆的半径变化而圆心位置不变，类比为多个半径不同的同心圆，若手指垂直显示屏方向由近及远移动（手指抬起）则半径依次减小，反之则依次增大（手指按下）；b）一个虚拟屏内的任意移动，此时，连续拍摄的多张图像中手指圆的半径不变，圆心位置依手指移动而变化；c）上述a、b两种动作的叠加。

鉴于上述说明，手指的触摸事件包括有手指按下事件（down）、手指抬起事件（up）及手指的移动事件（move）。本较佳实施例中，获取当前图像和基准图像中两个手指圆的半径和圆心坐标，比较两个手指圆半径变化趋势产生手指按下事件（半径由小到大）或抬起事件（半径由大到小），比较两个圆心坐标水平/竖直方向的位移差或是圆心距产生手指的移动（move）事件。

如图6所示，基准图像和当前图像中手指圆的半径分别为r1、r2，圆心坐标为（x1,y1），（x2,y2），为了更直观说明比较过程，将两个手指圆于一张图像内进行显示。

具体的比较过程如下：

当r2-r1>DR，用户手指在显示屏垂直方向由远及近移动，手指圆半径由小到大变化，则产生down事件（手指按下）；

当r1-r2>DR，用户手指在显示屏垂直方向由近及远移动，手指圆半径由大到小变化，则产生up事件（手指抬起）；

两手指圆圆心水平方向位移差dx=|x1-x2|，竖直方向位移差dy=|y1-y2|，当dx>DX或dy>DY时产生move事件（手指移动）；

其中，DR为触发产生手指按下或抬起事件的阀值，DX、DY是触发产生手指在一个虚拟屏内移动事件的阀值。DR、DX、DY可根据不同的实施例灵活设定，上述阀值大小决定了对手指动作识别的灵敏度。

为了简化运算并降低复杂度，本较佳实施例中，计算圆心水平及竖直方向的位移差，与相应的阀值进行比较，以产生move事件，在其他实施例中，还可以计算两个手指圆圆心距与阀值DS比较，当ds>DS则产生move事件，所述DS是触发产生手指在一个虚拟屏内移动事件的阀值。

步骤S09，图像选取模块106根据比较结果，选取当前图像和基准图像中的一张作为下次比较的基准图像。

本较佳实施例中，根据比较结果选取要保留的图像，若满足触发产生触摸事件的条件，则选取时间顺序在后的图像即当前图像作为下次比较的基准图像；若不满足触发产生触摸事件的条件，则选取时间顺序在前的图像即当前比较的基准图像仍为下次比较的基准图像。

在其他实施例中，不论比较结果如何，可以默认选取当前图像作为下次比较的基准图像，以此简化流程。

步骤S10，当电子设备因长时间未操作而待机或者触摸模式被关闭，则结束拍摄，否则返回步骤S01，继续拍摄图像。

本较佳实施例中，每隔一定时间间隔拍摄一张图像，每次拍摄的当前图像与基准图像进行比较，判定两图像中手指圆半径和圆心坐标位置的变化是否满足触发产生触摸事件的条件，若满足则产生相应的触摸事件，否则不产生触摸事件，根据比较结果选取当前比较的两张图像中的一张图像作为下次比较的基准图像，该选取的基准图像与后续拍摄的图像再进行比较，依次类推，反复执行步骤S01至S09，以实时监测用户手指在虚拟屏的动作并产生触摸事件。当电子设备的显示屏因用户长时间未操作而待机或其他应用程序通过API接口（Application Program Interface，应用程序接口）发送触摸模式关闭的指令，则结束循环，停止拍摄图像。

需要说明的是，所述基于图像识别实现触摸的系统将用户手指在显示屏前方一定距离内的空间位置的动作转换为对显示屏的某一个或多个触摸事件，将触摸事件及圆心坐标位置返回给处理器或通过API接口返回给某个应用程序，根据事件类型及坐标位置，产生相应的回馈命令控制显示屏中的某个图标打开或移动等。

例如，连续两次的比较结果是分别产生down和up事件，根据返回的圆心坐标位置，应用程序可以编程实现将屏幕上该坐标位置处的图标打开；连续有限次比较的结果都是move事件，根据返回的圆心坐标位置则应用程序可以编程实现将屏幕上该坐标位置处的图标按照手指圆的圆心坐标移动轨迹进行移动。关于本发明的具体应用并不仅限于上述两个示例，不同应用程序可以灵活根据触发的事件类型及圆心坐标位置，产生不同的动态触摸效果。

最后需要说明的是，以上较佳实施例仅用于说明本发明的技术方案而非限制，尽管按照以上较佳实施例对本发明的技术方案进行了详细说明，本领域的技术人员应当理解，对本发明的技术方案进行修改或等同替换都不应脱离本发明的精神和范围。

Claims (12)

1.一种基于图像识别实现触摸的系统，运行于配置有前置摄像头的电子设备中，其特征在于，该系统包括：

图像拍摄模块，用于启动前置摄像头，每间隔一个时间间隔拍摄用户手指在虚拟屏操作的图像；

图像处理模块，用于利用手指图像识别技术，将拍摄的当前图像中的手指指尖处理为一个圆形区块；

判定模块，用于根据当前图像中手指圆的半径，判定当前图像对应的虚拟屏是否有效；

图像缩放模块，用于在当前图像对应的虚拟屏有效时，缩小或放大当前图像，使得缩放后的图像的尺寸和显示屏的屏幕分辨率一致；及

事件生成模块，用于比较当前图像和基准图像中的手指圆半径和圆心坐标位置，根据比较结果产生相应的触摸事件。

2.如权利要求1所述的基于图像识别实现触摸的系统，其特征在于，所述虚拟屏为显示屏前方一定距离且与显示屏平行的任意平面。

3.如权利要求1所述的基于图像识别实现触摸的系统，其特征在于，所述判定模块用于判定当前图像对应的虚拟屏是否有效：

判定当前图像中手指圆的半径r是否满足                                               ；

若当前图像中手指圆半径不满足上述条件，则当前图像对应的虚拟屏无效，舍弃该图像；

其中，R1、R2分别为距离前置摄像头较近和较远的两个临界处虚拟屏的对应图像中手指圆的半径，该两个虚拟屏及该两个虚拟屏之间的任意虚拟屏为用户手指操作的有效区。

4.如权利要求1所述的基于图像识别实现触摸的系统，其特征在于，所述事件生成模块用于根据比较结果产生相应的触摸事件：

a）获取当前图像和基准图像中手指圆的半径和圆心坐标；

b）比较两个手指圆的半径：

当r2-r1>DR，则产生手指按下事件，当r1-r2>DR，则产生手指抬起事件，其中，r1、r2分别为基准图像和当前图像中手指圆的半径，DR为触发产生手指按下或抬起事件的阀值；

c）比较两个手指圆的圆心坐标：

当|x1-x2|>DX或|y1-y2|>DY时，或者当时，则产生手指移动事件，其中，x1、x2分别基准图像和当前图像中手指圆圆心的水平坐标值、y1、y2分别为两个手指圆圆心坐标的纵向坐标值，DX、DY、DS分别是触发产生手指在一个虚拟屏内移动事件的阀值。

5.如权利要求4所述的基于图像识别实现触摸的系统，其特征在于，该系统还包括图像选取模块，用于选取基准图像：

将当前图像与基准图像比较，若两手指圆半径或圆心坐标位置的变化满足触发产生触摸事件的阀值，则选取当前比较的当前图像作为下次比较的基准图像；

若两手指圆半径和圆心坐标位置的变化都不满足触发产生触摸事件的阀值，则仍以当前比较的基准图像作为下次比较的基准图像。

6.如权利要求1所述的基于图像识别实现触摸的系统，其特征在于，所述事件生成模块还用于在每次比较后，将当前比较的当前图像作为下次比较的基准图像并保存于存储器中。

7.一种基于图像识别实现触摸的方法，应用于配置有前置摄像头的电子设备中，该方法包括：

图像拍摄步骤，启动前置摄像头，每间隔一个时间间隔拍摄用户手指在虚拟屏操作的图像；

图像处理步骤，利用手指图像识别技术，将拍摄的当前图像中的手指指尖处理为一个圆形区块；

判定步骤，根据当前图像中手指圆的半径，判定当前图像对应的虚拟屏是否有效；

图像缩放步骤，在当前图像对应的虚拟屏有效时，缩小或放大当前图像，使得缩放后的图像的尺寸和显示屏的屏幕分辨率一致；及

事件生成步骤，比较当前图像和基准图像中的手指圆半径和圆心坐标位置，根据比较结果产生相应的触摸事件。

8.如权利要求7所述的基于图像识别实现触摸的方法，其特征在于，所述虚拟屏为显示屏前方一定距离且与显示屏平行的任意平面。

9.如权利要求7所述的基于图像识别实现触摸的方法，其特征在于，所述判定步骤包括：

判定当前图像中手指圆的半径r是否满足；

若当前图像中手指圆半径不满足上述条件，则舍弃该图像；

其中，R1、R2分别为距离前置摄像头较近和较远的两个临界处虚拟屏的对应图像中手指圆的半径，该两个虚拟屏及该两个虚拟屏之间的任意虚拟屏为用户手指操作的有效区。

10.如权利要求7所述的基于图像识别实现触摸的方法，其特征在于，所述事件生成步骤包括：

a）获取当前图像和基准图像中手指圆的半径和圆心坐标；

b）比较两个手指圆的半径：

当r2-r1>DR，则产生手指按下事件，当r1-r2>DR，则产生手指抬起事件，其中，r1、r2分别为基准图像和当前图像中手指圆的半径，DR为触发产生手指按下或抬起事件的阀值；

c）比较两个手指圆的圆心坐标：

当|x1-x2|>DX或|y1-y2|>DY时或者当时，则产生手指移动事件，其中，x1、x2分别基准图像和当前图像中手指圆圆心的水平坐标值、y1、y2分别为两个手指圆圆心坐标的纵向坐标值，DX、DY、DS分别是触发产生手指在一个虚拟屏内移动事件的阀值。

11.如权利要求10所述的基于图像识别实现触摸的方法，其特征在于，该方法还包括图像选取步骤：

将当前图像与基准图像比较，若两手指圆半径或圆心坐标位置的变化满足触发产生触摸事件的阀值，则选取当前比较的当前图像作为下次比较的基准图像；

若两手指圆半径和圆心坐标位置的变化都不满足触发产生触摸事件的阀值，则仍以当前比较的基准图像作为下次比较的基准图像。

12.如权利要求7所述的基于图像识别实现触摸的方法，其特征在于，所述事件生成步骤还包括在每次比较后，将当前比较的当前图像作为下次比较的基准图像并保存于存储器中。