CN107515664A - 一种在智能设备屏幕上模拟压力触控的方法 - Google Patents

Abstract

本发明公开了一种在智能设备屏幕上模拟压力触控的方法，属指纹识别领域。本发明用于解决智能设备采用现有的压力触控技术时，防水防尘困难和元器件及装配成本过高等固有问题。本发明的方法包括如下步骤：触摸屏检测到触摸操作、等待设定时间T1或由APP发出启动信号后启动指纹传感器获得用户在触摸屏上的第一个指纹、对指纹图像预处理后储存、等待设定时间T2后再次获取指纹图像并进行预处理、对比前后两枚指纹面积变化和形状差异判断用户在连续触摸触摸屏的过程中的按压力变化情况，从而模拟压力触控功能。本发明解决了现有压力触控技术的不足，硬件成本较低，同时增加了可检测用户在按压时平行于屏幕的推力方向的全新功能和应用。

Description

一种在智能设备屏幕上模拟压力触控的方法

技术领域

本发明涉及一种不需要压力传感器即可实现在智能设备屏幕上模拟压力触控的方法。

背景技术

当前指纹识别系统中，指纹传感器主要分为光学指纹传感器、半导体指纹传感器、压力指纹传感器和超声波指纹传感器。现有技术条件下，超声波指纹传感器已经可以实现在用户直接触摸或接近屏幕时，从整个屏幕范围内对用户的指纹进行检测。此外，超声波波指纹传感器相对其其他类型的指纹传感器，对手指的湿度和洁净度要求很低，成像精度更高。然而超声波波指纹传感器的功耗较大，成本较高且分辨率相对较低，这严重限制了此类指纹传感器的推广应用。因此超声波指纹识别技术虽然已经开始应用于智能手机等设备，但因上述问题限制，和实际体验未能明显高于传统指纹识别技术，其普及和推广较为缓慢。

现有指纹识别技术中，图像标准预处理步骤一般为：图像分割——图像平滑——图像锐化——二值化——图像修饰——图像细化。上述步骤中，图像分割用于减少所需处理的图像面积，以减少计算数据量；图像平滑目的是消除原始图像中的干扰噪声；图像锐化目的是突出图像的边缘信息，增加脊线和谷之间的对比度；二值化是消除图像脊线的灰度差异；图像修饰的目的是消除离散点，使图像整洁边缘圆滑；图像细化是将脊线宽度降低为单一像素宽度。

压力触控作为一种新生的触摸屏操作方式，可以作为触摸操作的有效补充方式。然而当前在智能设备屏幕上实现压力触控，需要在屏幕底部设置若干个压力传感器。这增加了设备的屏幕厚度、零部件加工和装配精度，及元件和安装的成本。同时，为获得屏幕按压时的实际压力，压力传感器需要在按压屏幕时产生微小的行程，这会导致按压屏幕前后屏幕内部空气容积发生变化，从而易于在屏幕回弹时从设备的缝隙中向屏幕底部吸入灰尘，或因为屏幕需移动产生的装配间隙增加设备防水防尘的难度。

为解决当前压力触控技术存在的问题，申请号为20150519255.3的发明专利《触摸压力检测装置和方法》提供了一种在屏幕外的区域中——尤其是HOME建位置，增设指纹传感器模块和触摸压力计算模块，通过对指纹传感器上手指对传感器的接触面积和指纹的变形程度，实现了指纹传感器在不需要增设压力传感器的前提下模拟计算触摸压力的装置和计算方法。该专利的实际作用是，扩大了独立于屏幕外位置的指纹传感器的功能范围。然而该专利的技术无法模拟对触摸屏进行压力触控的功能。此外，其通过指纹变形实现压力计算的方案尚有瑕疵。具体来说，人的手指，尤其是手指的脊线并非虎克弹性体(即形变与外力严格呈正比关系)，所以指纹脊线宽度的变化并非与手指对指纹传感器的压力成线性正比关系，甚至两者的关系并不明显。关于按压力与指纹变形的关系，更详细的资料可参考杨蔚，徐同样的《变形手印的检验鉴定》、后亚标的《作用力对指纹形态和细节特征的影响》、徐同祥，邵鑫丽的《检验鉴定变形手印的思考》、潘自勤，宁势强的《捺印压力与油墨量对指纹微观细节特征反映性的影响》等论文文献。从上述论文和技术文献可知，按压力与指纹脊线宽度的关系远非线性正比关系。事实上，按压力对指纹细节——如汗孔特征等指纹三级特征——的影响更大。此外，由于手指并非虎克弹性体，手指与指纹传感器的接触位置也非规则的球形或圆柱形，所以手指接触指纹传感器的接触面积与压力也非线性正比关系，同样需要加上大量复杂的高次函数进行变量修正。最后，每个用户的手指皮肤的弹性模量不同，甚至同一用户的皮肤因健康程度(如皮肤轻微浮肿等)和皮肤含水量等原因，在不同时刻的弹性模量也会发生显著变化，因此通过手指指纹的脊线宽度和接触面积变化计算触摸压力需要每若干小时进行一次校核和标定才能保证测量数值的持续可靠性。所以，申请号为20150519255.3的发明专利《触摸压力检测装置和方法》中给出的公式用于计算触摸压力是不够准确和完善的。

实际上，大量研究和实验显示，指纹脊线的形状变化与按压力之间的关系更大。更进一步说，根据检测指纹的形状变化，可以推算出静态位置不变的手指相对于屏幕平行滑动趋势的方向。这能为压力触控技术带来全新的发展方向。

发明内容

本发明的目的在于提供一种不需要压力传感器即可实现在智能设备屏幕上模拟压力触控的方法。

一种在智能设备屏幕上模拟压力触控的方法，所述方法步骤为：

步骤1：触摸屏检测到触摸操作；

步骤2：等待设定时间T1，或由具体APP发出指纹传感器启动指令信号；

步骤3：启动指纹传感器获得当前指纹；

步骤4：指纹图像预处理并储存；

步骤5：等待设定时间T2；

步骤6：再次获取指纹；

步骤7：指纹图像预处理；

步骤8：对比两次指纹面积变化和形状差异。

更具体来说，步骤1通过触摸屏检测触摸操作，沿用了具有触摸屏的智能移动设备的常规功能，起到在不必要时可长期关闭指纹传感器，以节约智能设备能耗的作用。

步骤2用于判断是否需要启动指纹传感器：在步骤2中，通过检测手指接触触摸屏的连续接触时间是否超过设定时间T1，或者由当前智能设备的操作系统中是否激活了需要立刻启动模拟压力触控功能的APP或APP中需要立刻启动模拟压力触控的相关功能模块，来判断是否启动指纹传感器。

在步骤3中，指纹传感器已经启动，可获得用户的指纹图像，根据本次获得图像的清晰度是否符合要求，决定是否需要再次检测，直到获得所需清晰度的指纹图像，然后关闭指纹传感器。

在步骤4中，图像预处理工序包括“图像增强——二值化——图像修饰”，省略了传统指纹检测中的“图像分割”和“图像细化”工序。指纹图像经过预处理后进行保存。

在步骤5中，当指纹传感器关闭时间超过设定时间T2后，如果触摸屏检测到用户手指仍然持续停留在触摸屏上，则转入步骤S6。

在步骤6中，指纹传感器再次启动并获得用户的指纹图像，根据本次获得图像的清晰度是否符合要求，决定是否需要再次检测，直到获得所需清晰度的指纹图像，然后关闭指纹传感器。

在步骤7中，图像预处理工序同样包括“图像增强——二值化——图像修饰”。

在步骤8中，提取第一次指纹识别和预处理后储存的指纹图像，与第二次指纹识别和预处理后的图像进行对比，通过两次处理后指纹图像的面积变化和形状差异，可定性估计获得第二次指纹图像时用户按压触摸屏的力度，并且可以进一步判断出此时用户手指在平行于屏幕的二维平面内，对屏幕施加压力的具体方向。

本发明的有益效果：可让未安装压力传感器，但安装有可从屏幕上读取指纹的指纹传感器的智能设备获得模拟压力触控的功能，并可获得检测手指平行于屏幕的推力方向的功能，因此解决了在屏幕下安装压力传感器带来的装配困难、成本高昂和防水防尘方面的问题，且并不增加额外的硬件成本及系统能耗较低。

附图说明

图1是本发明专利模拟压力触控检测和实施方法的流程示意图。

具体实施方式

应当理解，此处所描述的具体实施例仅用于解释本发明，而非限制本发明。

如图1所示，本实施例提供一种模拟压力触控检测和实施方法，其步骤如下：

步骤S1：触摸屏检测到触摸操作；

步骤S2：等待设定时间T1，或由具体APP发出指纹传感器启动指令信号；

步骤S3：启动指纹传感器获得当前指纹；

步骤S4：指纹图像预处理并储存；

步骤S5：等待设定时间T2；

步骤S6：再次获取指纹；

步骤S7：指纹图像预处理；

步骤S8：对比两次指纹面积变化和形状差异。

需要指出，现有的指纹识别技术，为减少指纹特征数据库的数据大小，一般多采用指纹细节特征提取，或者脊线追踪两种方法进行指纹识别，也就是依靠分析指纹中少量特征差异来减少指纹数据处理和特征数据库保存时的数据量。对于传统的指纹识别技术，因为指纹识别依赖于处理能力有限的单片机或嵌入式系统，如基于NECμProc822/823 64位ASIC的单片机，或T1TMS320VC5402型DSP处理器(其为100MHz主频的单核芯片)的嵌入系统。易于理解，此类处理芯片的计算能力低于常规智能设备的多核心CPU若干个数量级，因此传统的指纹识别系统需要尽可能简化指纹识别的算法和数据处理量，以保证指纹识别的时间在可接受的处理时间内。但如果将指纹分析交由智能设备的CPU，则指纹分析受数据量和计算量的限制大大降低。基于这个原因，依托智能设备的指纹识别系统完全可以引入全新原理的指纹分析技术。本发明的方法适用于具有在触摸屏上检测用户指纹的指纹传感器的智能设备，此类指纹传感器可为超声波指纹传感器，也可为集成在触摸屏玻璃内的半导体指纹传感器(如Invisible Fingerprint Sensor技术，或IDEX公司的玻璃指纹传感器等)。对于采用上述指纹传感器的智能设备而言，采用本发明能够明显提高用户的操作体验，且在硬件上是免费的。

对于步骤S1而言，触摸屏的待机功耗是具备触摸屏的智能设备固有的，而且可以通过降低触摸屏应用处理器的采样频率，降低测量芯片电压，以改善时序降低协调测量时间，和只采集一部分竖直和水平触摸电容走线等方法进一步降低触摸屏的待机功耗。此时，即便检测到用于已经触摸屏幕，指纹检测传感器仍然处理关闭状态，故并不增加智能设备的额外能耗。

在步骤S2中，通过检测手指接触触摸屏的连续接触时间是否超过设定时间T1，或者由当前智能设备的操作系统中是否激活了需要立刻启动模拟压力触控功能的APP或APP中需要立刻启动模拟压力触控的相关功能模块，来判断是否启动指纹传感器。换言之，如果没有APP需要立刻启动指纹传感器，则智能设备在步骤S1检测到手指接触到触摸屏后，等待T1时间后，才启动指纹传感器。所述的T1为APP或操作系统中默认或由用户自设定的时间。一般来说，人类经过思考后进行的反应动作至少需要200毫秒，未经意识思考仅由大脑皮层进行处理的动作，反应时间约为100毫秒。统计发现，当APP的启动延时超过300毫秒时，用户认为有卡顿感。所以考虑到触觉的神经反馈，为T1的默认值取较小值时，宣大于200毫秒，而应小于300到350毫秒。但根据用户各自的使用习惯，或者为满足APP的特殊功能需要，T1也可以由默认值改为其他的数值。如250毫秒，或450毫秒等。反之，如果想要通过牺牲部分功耗来实现用户感知中对模拟压力触控的“无卡顿”或者说“无可感知的操作延迟”体验，也可将T1设定为低于200毫秒，如120毫秒。这虽然会造成指纹传感器在不需要模拟压力触控的情况下频繁无意义启动，但提高了用户操作体验。

步骤S3启动指纹传感器，以获得用户的指纹图像，并且由相关的软/硬件指纹分析模块对指纹进行分析，假如本次获得图像的清晰度符合要求，则关闭指纹传感器。否则重新检测，直到获得所需清晰度的指纹图像，再关闭指纹传感器。这可以降低设备功耗。如果此时用户手指已经离开触摸屏，则可判断用户未进行压力触控操作，同样关闭指纹传感器并终止模拟压力触控计算程序。

在步骤S4中，图像预处理工序包括“图像增强——二值化——图像修饰”，省略了传统指纹检测中的“图像分割”和“图像细化”工序。指纹图像经过预处理后进行保存。所述的图像增强与常规指纹识别技术相同，可采用直方图均化，或者Gabor滤波等方法，以Gabor滤波为佳。二值化是将增强后的指纹图像消除灰度差异，使脊线的灰度值趋向一致，常用阀值法进行处理。图像修饰是为了消除图像增强和测量误差等原因造成的脊线边缘凹凸不齐和画面中的离散点等图像误差，可通过各种不同算法，如定义像素点各方向加权系数，向各方进行跟踪进行分析计算和图像修饰。以上均为指纹识别领域的公知技术。然而需强调的是，传统指纹识别技术的图像预处理工序中常有的“图像分割”和“图像细化”工艺，分别用于缩小指纹图像中所需处理的面积——即数据量，和用于消除指纹图像中脊线的宽度。在本专利的方法中是不适用的。当图像预处理完毕后应将图像储存。

步骤S5在步骤S4获得所需的指纹图像后，等待T2时间。所述的T2时间，其具体数值可由系统或APP设定默认值，也可由用于在系统或APP中自行更改。根据实验，T2取350至800毫秒数值可获得较佳使用体验。但考虑到不同用户因年龄等原因具有较大神经系统反应速度(如大脑感知接触到触摸屏的触觉反馈的时间差异)差异，和对“操作卡顿”的判断标准各不相同，所以也可由用户自行设定合适的数值。

在步骤S6中，指纹传感器再次启动并获得用户的指纹图像，根据本次获得图像的清晰度是否符合要求，决定是否需要再次检测，直到获得所需清晰度的指纹图像，然后关闭指纹传感器。

在步骤S7中，图像预处理工序与S4中的预处理工序相同。

在步骤S8中，提取第一次指纹识别和预处理后储存的指纹图像，与第二次指纹识别和预处理后的图像进行对比，通过两次处理后指纹图像的面积变化和形状差异，可定性估计获得第二次指纹图像时用户按压触摸屏的力度，并且可以进一步判断出此时用户手指在平行于屏幕的二维平面内，对屏幕施加压力的具体方向。

需指出，与一般人下意识的判断不同，当手指按压平面的压力变化时，指纹图像中脊线的宽度并非明显与压力成正比，而脊线的变形与压力的大小关系也不大——实际上脊线的变形与压力平行于触摸屏平面的方向关系更大。大量研究和实验证明，与作用力方向相同的侧的指纹纹线趋向紧密，而与作用力方向相反侧的指纹纹线趋向疏散；在倾斜力作用下，受力点前方因皮肤扩张会使纹线间隔变宽，前凸纹弧度变小，受力点后方，因皮肤压缩而使纹线间隔变窄，后凸纹线弧度变大，从而使形成的指纹手印朝力的方向延长，整个花纹向两侧延长；当手指压力向一个方向前进时，皮肤向压力相反方向移动，即压力向前，皮肤就向后移动，压力向后，皮肤就向前移动(类似于弹性轮胎或弹性履带滚动留下的印痕)。同时乳突纹线的花纹流向随着手指压力的变化规律是，压力前向，前凸纹弧度发生改变，压力向后，后凸纹弧度发生改变。根据上述规律，结合前后两枚指纹中，指纹面积的变化，和脊线宽度的变化，及指纹中心位置脊线和谷线之间的疏密差异，易于定性判断第二次扫描获得指纹的时刻，用户对触摸屏的按压力，相对于第一次扫描获得指纹的时刻是大还是小。也很容易通过对前后两枚指纹图像的面积变化，和定位若干特征指纹(比如说，假设对触摸屏的压力为竖直力，则沿水平推力的方向指纹纹路，和背离水平推力的指纹纹路为主要的特征指纹)的明显形状变化来判断除压力外，平行于触摸屏的水平推力的方向——这可以极大创造和扩展压力识别技术的应用方向，并创造新的应用方法。

值得一提的是，相对于传统指纹识别算法，因为用户在按压触摸屏后不必转动手指，所以本发明的算法并不需要计算传统指纹识别算法中不可避免的指纹旋转运算(易于理解，在传统的指纹识别流程中，用户无法保证第一次录入的指纹朝向相对于指纹传感器的角度，在以后每次指纹识别的按压时都不发生变化)，而复杂图像中各个像素的同步矢量旋转和不断对比会消耗很大的计算资源。此外，本发明的算法中不涉及提取特征点和脊线追踪和检索对比含有大量指纹的数据库等附加运算，仅涉及两枚相似指纹具体面积和若干特征指纹的脊线宽度和形状变化的对比，所以本发明步骤S8中对前后两次获取的指纹进行精密对比相对于传统指纹识别技术，虽然对比面积明显增大，但实际上并没有增加相对面积差异成正比的计算量。

因此，对于用户而言，一个典型的模拟压力触控的方法，用户的主观操作为：激活并触摸触摸屏——触摸触摸屏达到T1时间(如250毫秒)，(在用户无被测量指纹感知的情况下指纹传感器获得用户轻触触摸屏的第一枚指纹)——用户在达到T1加上T2时间段前加大或保持对触摸屏的按压力度，并可在按压触摸屏的同时对触摸屏进行“模拟水平推动”操作(，随后在T1+T2时间点后指纹传感器获得用户的第二枚指纹)。此后，设备即可自动分析用户在轻触触摸屏后有无明显进一步增加对触摸屏的压力，这无需用户的进一步干涉操作。所以对用户而言，实际操作十分便捷，不会降低其操作体验。

作为优选，为进一步适应广大用户的手指特征和操作习惯差异，可在本发明的方法基础上添加用户在不同按压力下的标准指纹录入步骤作为实现模拟压力触控前的辅助操作。如事先录入该用户在较低、中等和较高，甚至很高的按压力度下指纹的标准图像，以备计算模块学习之用，这就可以明显提高指纹模拟压力识别的计算精度，以便于增加模拟压力触控中可识别的压力等级数量。

作为优选，若有需要，可在步骤S8后可重新插入一次或若干次步骤S5到步骤S8的循环，就可实现检测手指在屏幕上来回晃动(即手指按压在屏幕上后，不断施加“推-拉”动作)的行为。这可以进一步增加模拟压力触控操作方式的多样性。

Claims (7)

1.一种在智能设备屏幕上模拟压力触控的方法，其特征在于：该方法包括：

步骤S1：触摸屏检测到触摸操作；

步骤S2：等待设定时间T1，或由具体APP发出指纹传感器启动指令信号；

步骤S3：启动指纹传感器获得当前指纹；

步骤S4：指纹图像预处理并储存；

步骤S5：等待设定时间T2；

步骤S6：再次获取指纹；

步骤S7：指纹图像预处理；

步骤S8：对比两次指纹面积变化和形状差异。

2.根据权利要求1所述的一种在智能设备屏幕上模拟压力触控的方法，其特征在于：步骤S1和步骤S2中，指纹传感器保持关闭状态以节约能耗；S2中所述T1时间的确定有两个方法，首先取默认值为120至450毫秒，其次也可由用户和相关APP根据自身需要或喜好自定义设定。

3.根据权利要求1所述的一种在智能设备屏幕上模拟压力触控的方法，其特征在于：所述步骤S1中触摸屏检测触摸操作，与步骤S3中以指纹传感器获得指纹时，手指的操作位置均在触摸屏上。

4.根据权利要求1所述的一种在智能设备屏幕上模拟压力触控的方法，其特征在于：步骤S4和S7中所述的指纹图像预处理工序包括传统指纹识别中的：“图像增强”、“二值化”、“图像修饰”三种预处理工序，上述工序均可使用传统指纹识别中的公知算法。

5.根据权利要求1所述的一种在智能设备屏幕上模拟压力触控的方法，其特征在于：步骤S5中所述的T2确定有两个方法，首先取默认值为350至800毫秒，其次由用户和相关APP根据自身需要或喜好自定义设定。

6.根据权利要求1所述的一种在智能设备屏幕上模拟压力触控的方法，其特征在于：在步骤S8中，提取第一次指纹识别和预处理后储存的指纹图像，与第二次指纹识别和预处理后的图像进行对比，通过两次处理后指纹图像的面积变化和形状差异，可定性估计获得第二次指纹图像时用户按压触摸屏的力度，并且可以进一步判断出此时用户手指在平行于屏幕的二维平面内，对屏幕施加压力的具体方向。

7.根据权利要求1所述的一种在智能设备屏幕上模拟压力触控的方法，其特征在于：在步骤S8中，所述形状差异指的是对若干特征指纹脊线和谷线之间的疏密差异，脊线的宽度变化及脊线在平行于触摸屏的推力作用下的形状变化。