CN104834412A - 一种基于非接触式的手势识别的触摸终端 - Google Patents

Abstract

本发明公开一种基于非接触式的手势识别的触摸终端，其包括：采集手势操作的采集单元，对采集单元采集到的手势操作进行识别的识别单元，将识别单元识别出来的手势操作转换为系统可识别的命令的转换单元，执行转换单元转换后的命令的执行单元；其中，手势操作是不接触触摸终端，而是离触摸终端预设距离的手势操作；所述采集单元捕捉手势操作的手势图像，并对手势图像进行解析判断，如果符合预设条件，则启动识别单元进行识别。

Description

一种基于非接触式的手势识别的触摸终端

技术领域

本发明涉及触摸屏终端领域，尤其是一种具有非接触式的手势识别功能的触摸终端。

背景技术

现有的手势识别设备，根据触摸方式大体上可以分为两类，一类是接触识别设备而实现的手势识别，一类是不接触识别设备而实现的手势识别。对于不接触识别设备而实现的手势识别，因其识别是通过图像处理技术，其需要较大计算量和较大计算时间，因此一般是具有较大体积的识别设备采用该种方式实现。例如一篇申请号为201110117195.4的发明专利，公开了一种手势识别的方法，其具体步骤如下：A、获取手部图像，转成YCrCb空间；B、根据手部图像每个像素点Y值、Cr值和Cb值，确认肤色点；C、去除图像噪声，获得手部目标区域；D、根据手部目标区域，识别手指个数，获取手势；步骤D进一步包括以下步骤：D1、通过手部轮廓，计算凸点和凹点，得到指尖与手指根部的像素点坐标；D2、设定指尖坐标为（x1，y1），手指根部坐标为（x2，y2），求得两点距离为L，D3、获取整个手部的高度为H，手指与手部水平方向的轴线夹角为θ；D4、根据指尖与手指根部两点距离L、整个手部的高度H和夹角θ，判断所述轮廓是否为手指部分；步骤D4进一步包括以下步骤：D41、从手部轮廓的指尖与手指根部之间取一组坐标点；D42、判断指尖与手指根部两点距离L是否小于整个手部的高度H和0.33的乘积，如果是，则转至步骤D43，如果否，则返回步骤D41；D43、判断手指与手部水平方向的轴线夹角θ是否大于30度，如果是，则确认是手指部分，如果否，则转至步骤D41；D5、重复上述步骤，计算整个手部轮廓中的手指个数；E、根据手势的变化，确认手势信息。由上看出，其具有相当的运算量和复杂度，手势识别的效率依赖于处理芯片。

而目前对于小型智能移动终端（手机、iPad等），为保证运算速度和效率，其手势识别功能需要机器在正常工作情况，手指接触触摸屏（例如电容屏）下使用。例如一篇申请号为201210296726.5的发明公开了一种手势识别方法、装置及触摸屏终端，所述手势识别方法包括下述步骤：根据触摸屏上的手势操作，采集手势操作信号数据；通过预存的手势识别算法分析处理所述手势操作信号数据，获取各触摸点坐标数据和手势操作数据；识别连接的操作系统；将所述各触摸点坐标数据和手势操作数据转换为可被操作系统识别的各触摸点坐标数据和手势操作数据。也就是说，其首先是手指接触触摸屏，然后触摸终端采集接触到触摸屏而产生的手势操作。

上述现有的针对小型智能终端的手势识别，在某些特殊情况下则不能使用，例如腾不开手去触摸屏幕或者手太湿太油而不愿意触摸屏幕；同时现有的手势识别，需要打开手势识别界面才能开启手势识别功能，使用麻烦，给用户的体验感大大降低。

发明内容

因此，对于针对小型智能终端的上述问题，本发明特别提出一种基于非接触式的手势识别的触摸终端，在待机状态，且不接触触摸屏的情况下操作手势，触摸终端即可完成手势检测功能，改善了用户的操作，增强了体验感。同时，采用独特的识别方法，减小计算量，提高运行效率。

为了解决上述技术问题，本发明所采用的技术方案是，一种基于非接触式的手势识别的触摸终端，包括：采集手势操作的采集单元，对采集单元采集到的手势操作进行识别的识别单元，将识别单元识别出来的手势操作转换为系统可识别的命令的转换单元，执行转换单元转换后的命令的执行单元；其中，手势操作是不接触触摸终端，而是离触摸终端预设距离的手势操作；所述采集单元捕捉手势操作的手势图像，并对手势图像进行解析判断，如果符合预设条件，则启动识别单元进行识别。

其中，所述采集单元捕捉手势操作的手势图像，并对手势图像进行解析判断，具体是，采集各种手势图像（可以是大量的）以建立预设图库，采集单元实时采集离触摸终端预设距离（例如1mm-20cm）的手势图像，并将该手势图像与预设图库中的图像进行比对（同样可以设置阈值来判断）。

作为一种更优选的方案，所述预设条件，可以是特定的手势，例如五指都张开的手掌，那么，该预设图库中采集多幅特定手势的图像（各种手掌图片，不同大小、不同手指张开程度的图片），并预先提取上述多幅特定手势的图像的轮廓数据，采集单元实时采集离触摸终端预设距离的手势图像，提取手势图像中的轮廓数据，并将该轮廓数据与预设图库中的特定手势的图像的轮廓数据进行对比，根据比对结果来判断是否启动识别单元。

为了提高识别精度，防止误判，作为一种更优的方案，所述触摸终端上还设有一感应人体的感应器件，例如红外感应模块，所述采集单元捕捉手势操作的手势图像，并对手势图像进行解析判断，如果符合预设条件，则进一步检测该感应器件是否感应到人体，如果同时符合预设条件且感应到人体，则启动识别单元进行识别。

作为一种可行的方案，所述采集单元采用触摸终端的前置摄像头实现。

作为一个可行的方案，所述识别单元对采集单元采集到的手势操作进行识别，首先采集单元采集多张手势图像发送至识别单元，识别单元对该多张手势图像进行图像识别，来判定手势动作，并将识别结果反馈给转换单元。

本发明通过上述过程，能够实现在待机状态，且不接触电容屏的情况下操作手势功能，满足了特殊情况的特殊要求，很大程度方便了客户操作，增强了用户体验感。同时，本发明采用图像识别和红外探测双验证，防止误判，采用多张手势图像识别，其手势检测精度高。同时，本发明的识别方法与现有的大型识别设备（例如计算机）对比，采用对比轮廓数据的方法来识别，大大简化了计算量，提高了计算效率。另外，本发明待机情况下只有采集单元一直工作，当检测到手势且满足预设条件时才启动识别单元及后续处理单元，因此具有功耗低的优点。

具体实施方式

现结合具体实施方式对本发明进一步说明。

本发明公开一种基于非接触式的手势识别的触摸终端，包括：采集手势操作的采集单元，对采集单元采集到的手势操作进行识别的识别单元，将识别单元识别出来的手势操作转换为系统可识别的命令的转换单元，执行转换单元转换后的命令的执行单元；其中，手势操作是不接触触摸终端，而是离触摸终端预设距离的手势操作；采集单元捕捉手势操作的手势图像，并对手势图像进行解析判断，如果符合预设条件，则启动识别单元进行识别。

其中，采集单元捕捉手势操作的手势图像，并对手势图像进行解析判断，具体是，采集各种手势图像（可以是大量的）以建立预设图库，采集单元实时采集离触摸终端预设距离（例如1mm-20cm）的手势图像，并将该手势图像与预设图库中的图像进行比对（同样可以设置阈值来判断）。

其中的预设条件，可以是特定的手势，例如五指都张开的手掌，那么，该预设图库中采集多幅特定手势的图像（各种手掌图片，不同大小、不同手指张开程度的图片），采集单元实时采集离触摸终端预设距离的手势图像，并将该手势图像与预设图库中的特定手势的图像进行对比，根据比对结果来判断是否启动识别单元。作为一种优选的方案，本发明具体采用如下算法：该预设图库中采集多幅特定手势的图像，预先提取上述多幅特定手势的图像的轮廓数据，采集单元实时采集离触摸终端预设距离的手势图像，提取手势图像中的轮廓数据，并将该轮廓数据与预设图库中的特定手势的图像的轮廓数据进行对比，根据比对结果来判断是否启动识别单元。

为了提高识别精度，防止误判，触摸终端上还设有一感应人体的感应器件，例如红外感应模块，采集单元捕捉手势操作的手势图像，并对手势图像进行解析判断，如果符合预设条件，则进一步检测该感应器件是否感应到人体，如果同时符合预设条件且感应到人体，则启动识别单元进行识别。本发明中，作为一种易于实现的方案，感应器件采用红外线感应器件实现。人体有恒定的体温（一般在36--37度），会发出特定波长的红外线，红外线感应器件就是探测人体发射的红外线而进行工作的。例如，人体发射的9.5um红外线通过菲涅尔镜片增强聚集到红外感应源上，红外感应源通常采用热释电元件，这种元件在接收到人体红外辐射温度发生变化时就会失去电荷平衡，向外释放电荷，后续电路经检测处理后就能触发相应动作。

作为一种简单易行的方案，采集单元可以采用触摸终端的前置摄像头实现。识别单元对采集单元采集到的手势操作进行识别，首先采集单元采集多张手势图像发送至识别单元，识别单元对该多张手势图像进行图像识别，来判定手势动作，并将识别结果反馈给转换单元。具体在执行上述图像识别时，不需要对整个手势图像进行识别，可以简单的提取图像中的特征点（例如手掌特定的一个地方），并跟踪该特征点的移动方向来判定手势动作。手势动作可以包括手掌向上、下、左、右不同方向（以及东北、西北、东南、西南等方向）滑动，还可以包括手掌由正转反或者相反操作。

另外，作为一个较佳的方案，识别单元对采集单元采集到的手势操作进行识别，还通过感应器件进行验证，此时，感应器件可以设置多个，分别置于触摸终端的周围不同位置处，具体过程如下：采集单元采集多张手势图像发送至识别单元，识别单元根据接收的手势图像的时间顺序，采集每一幅手势图像中的同一特征点的坐标，通过判断该特征点的坐标来判定手势移动方向，并将识别结果反馈给转换单元；同时，触摸终端的不同位置处的感应器件根据其感应顺序来判定手势移动方向，例如触摸终端的顶端首先感应到人体，然后触摸终端的底端再感应到人体，那么其手势移动方向则判定为手掌向下滑动，并将识别结果反馈至转换单元；转换单元比较两个识别结果，如果一致则对该识别结果进一步处理后转发给执行单元，如果两个识别结果不一致，则返回采集单元重新上述采集和识别过程。

本发明通过上述方案，采集单元采集多张手势图像，由识别单元对该多张手势图像进行识别，来判定手势动作，并将识别结果反馈给转换单元，转换单元根据识别单元反馈的结果，处理后转交给执行单元执行相应程序。具体实现时，可以先预设一定的手势规则，例如手掌从左到右滑动，表示接电话，反方向则为拒接电话，等等。采集单元可以采用前置摄像头实现，前置摄像头持续采集实时数据，检测到有特定手势（手掌）的时候才启动识别单元，同时开始数据采集，在很短的时间内采取10张以上图片，根据特定的图像算法，来判定手掌的移动方向，然后由识别单元反馈结果给转换单元，转换单元根据识别单元反馈的结果，处理后转交给执行单元，来调用相应的处理程序。例如当来电时，需要手掌从左向右滑动，表示接电话，首先前置摄像头拍摄手势，并对手势图像解析，如果检测到手掌，则表明有手势操作，则启动识别单元，同时对手势进行连续拍照，在移动的过程中采集10张左右（当然也可以是其他数目）的手势图像，发送至识别单元进行处理。识别单元处理如下：图像中可以确定手掌的位置，寻找一个特定的数据来代表手掌在图像中的位置，针对不同手掌的位置存入到一个数据组里面，根据此数据组我们就可以确定此数据的变化方向，来判定手势的移动方向，判定方向之后，识别单元反馈相应的结果。来电接听有两种，接（CALL_TRUE）或者不接(CALL_FALSE)，需要定义两个宏，反馈特定的值即可，如果识别单元识别到是接电话，识别单元需要反馈CALL_TRUE给到转换单元，转换单元根据反馈的值在自身支持的手势功能的列表中，查询相应的动作，然后调用相应的执行单元，执行单元根据反馈的CALL_TRUE来执行特定的动作。本发明通过上述图片的采集算法，以及手掌的定位算法转特定的二维数据组，较大的提高了整个手势识别过程的准确程度。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (8)

1.一种基于非接触式的手势识别的触摸终端，包括：采集手势操作的采集单元，对采集单元采集到的手势操作进行识别的识别单元，将识别单元识别出来的手势操作转换为系统可识别的命令的转换单元，执行转换单元转换后的命令的执行单元；

其中，手势操作是不接触触摸终端，而是离触摸终端预设距离的手势操作；

所述采集单元捕捉手势操作的手势图像，并对手势图像进行解析判断，如果符合预设条件，则启动识别单元进行识别。

2.根据权利要求1所述的基于非接触式的手势识别的触摸终端，其特征在于：所述采集单元捕捉手势操作的手势图像，并对手势图像进行解析判断，具体是，采集各种手势图像以建立预设图库，采集单元实时采集离触摸终端预设距离的手势图像，并将该手势图像与预设图库中的图像进行比对。

3.根据权利要求2所述的基于非接触式的手势识别的触摸终端，其特征在于：所述预设条件，是特定的手势，那么，该预设图库中采集多幅特定手势的图像，采集单元实时采集离触摸终端预设距离的手势图像，并将该手势图像与预设图库中的特定手势的图像进行对比，根据比对结果来判断是否启动识别单元。

4.根据权利要求3所述的基于非接触式的手势识别的触摸终端，其特征在于：所述预设图库中采集多幅特定手势的图像，预先提取上述多幅特定手势的图像的轮廓数据，采集单元实时采集离触摸终端预设距离的手势图像，提取手势图像中的轮廓数据，并将该轮廓数据与预设图库中的特定手势的图像的轮廓数据进行对比，根据比对结果来判断是否启动识别单元。

5.根据权利要求1所述的基于非接触式的手势识别的触摸终端，其特征在于：所述采集单元采用触摸终端的前置摄像头实现。

6.根据权利要求1所述的基于非接触式的手势识别的触摸终端，其特征在于：识别单元对采集单元采集到的手势操作进行识别，首先采集单元采集多张手势图像发送至识别单元，识别单元对该多张手势图像进行图像识别，来判定手势动作，并将识别结果反馈给转换单元。

7.根据权利要求1或2或3或4或5或6所述的基于非接触式的手势识别的触摸终端，其特征在于：所述触摸终端上还设有一感应人体的感应器件，所述采集单元捕捉手势操作的手势图像，并对手势图像进行解析判断，如果符合预设条件，则进一步检测该感应器件是否感应到人体，如果同时符合预设条件且感应到人体，则启动识别单元进行识别。

8.根据权利要求7所述的基于非接触式的手势识别的触摸终端，其特征在于：识别单元对采集单元采集到的手势操作进行识别，还通过感应器件进行验证，具体过程如下：采集单元采集多张手势图像发送至识别单元，识别单元根据接收的手势图像的时间顺序，采集每一幅手势图像中的同一特征点的坐标，通过判断该特征点的坐标来判定手势移动方向，并将识别结果反馈给转换单元；同时，触摸终端的不同位置处的感应器件根据其感应顺序来判定手势移动方向，例如触摸终端的顶端首先感应到人体，然后触摸终端的底端再感应到人体，那么其手势移动方向则判定为手掌向下滑动，并将识别结果反馈至转换单元；转换单元比较两个识别结果，如果一致则对该识别结果进一步处理后转发给执行单元，如果两个识别结果不一致，则返回采集单元重新上述采集和识别过程。