CN104049759A - 触摸屏和行为感知联合的指令输入与防护方法 - Google Patents

Abstract

本发明利用便携设备的内置运动传感器及其它传感器感知便携设备的姿态、方位、运动轨迹，推导操作设备用户的行为模式，根据运行的功能以行为模式的合理性判断触摸操作的有效性，提供更合理的运动指令以及与触摸联合的指令输入方式，抑制误操作的发生。在越来越普遍地依赖便携设备的情况下，增强使用的便捷性和自由性，改善用户体验过程。

Description

触摸屏和行为感知联合的指令输入与防护方法

技术领域

本发明属于电子信息技术领域，具体涉及的是一种在便携设备中将用户的触摸操作和运动操作与由运动传感器等感知的用户行为相结合的指令输入方法和指令防护方法。

背景技术

越来越多的便携设备采用了触摸屏作为人机接口，如智能手机、视频播放器、电子词典、平板电脑，等等。同时也有越来越多的其它设备，如车载仪表、机载仪表等采用触摸屏作为人机接口设备。触摸屏的使用极大地改善了用户体验，使基于这些设备的各种应用得到了快速的普及。

传统电子设备上的人机接口以键盘居多，当功能简单或者空间不受限时，是一个可靠的输入方式，如固定电话机、各种传统的电子测量设备等。但是，当要求功能很多且有空间限制时，触摸屏成为很好的选择，尤其是当其同液晶显示器结合在一起时。常规的触摸屏有多种类型：电阻式、电容式、红外式、成像式等，但在便携设备中最常用的是电容式触摸屏。虽然它们的工作原理不太相同，但是功能都是感知手指触摸或者特种书写笔的触摸动作。触摸动作不同，会输出不同的信号。信号主要包括触摸点的位置信息、触摸停留时间、触摸位置的移动性等。这些信息经过处理后，能够解析为符合应用设定的规范操作动作。常用的操作动作包括“长按”、“轻触”、“滑动”、“拖动”、“旋转”、“缩放”、“多点触摸”等。当内置的微处理器获取这些操作动作后，将其与屏幕上应用程序对应的按钮、选项、下拉条、滑块等功能联系起来，转换为对应的指令，触发并执行相应的功能。如打开一个应用程序、拖放图标、上下滚动显示屏幕内容、放大或缩小图片、旋转图片，等等。

随着便携设备更多功能的开发需求以及MEMS(微机电系统)技术的进展，在便携设备中，如智能手机(iPhone、Android系列)、ipad等，目前大多内置了各种MEMS传感器，如3轴加速度计、3轴陀螺仪、3轴磁传感器、温度传感器、压力传感器、环境光传感器等。这些传感器主要是辅助各种手机应用程序，如加速度计和陀螺仪是某些游戏的操控动作的感知方式，加速度传感器还可以作为水准仪、垂直仪、倾角计、震动仪等手机应用的感测元件。加速度计的最常用功能是判断手机屏幕是竖放还是横放，以此决定显示内容是否自动做90°旋转。加速度传感器另外一个重要的作用是提供便携设备自身在空间各个方向上的运动加速度。陀螺仪的作用是提供有关便携设备沿某个轴的旋转角速度信息，通过对此积分还能够获得转动角度。磁传感器是电子罗盘的磁场测量器件，可以通过它判别地磁场的指向。压力传感器可以感测气压值以及气压的变化，从而能够估算所处位置的海拔高度，或者依据压力的变化判断在垂直方向上的位移方向及位移量等。接近传感器能够判断便携设备与用户或者其它物体之间的距离关系。光传感器能够提供环境光亮度信息，辅助数字照相模块，或者判断便携设备所处的环境等。

上述MEMS传感器的输出信号除了辅助各种具体应用之外，也可以直接当作便携设备的人机接口使用，如通过“摇动”、“翻转”触发某种应用指令，或者直接作为游戏操作杆。

触摸屏是便捷的人机交互方式，但与键盘相比存在较多误触发的可能。不善于小心操作的用户，误操作会频繁发生，尤其是在使用某种应用的过程中间，被其它事情打扰需要临时中断时。这主要是因为限定的握持方式和限定的操作顺序与用户传统上的随意持物习惯、操作习惯存在冲突，一旦用户对这些限制有疏忽，就很有可能出现误操作，无论是正在浏览网页、编辑短信，还是在查询号码簿。注意，此处所称的误操作是指用户无意间导致的显性或者隐性误触摸，应该与错误操作有所区分。更多的时候误操作是因为用户忘记触摸屏的存在的时候发生的，而错误触摸则应该是用户明白地面对触摸屏时出现的操作失误，比如该按“确定”时却按了“放弃”按钮。

随着移动互联网的快速发展，便携设备成为用户日常不可分割的一部分，无论在办公室、住宅还是户外，用户用越来越多的时间和便携设备打交道，越来越多的个人和公司事务经由便携设备进行处理。因此，减少甚至避免便携设备误操作的发生也更加具有实际价值。

常规的触摸屏是一种独立的人机交互设备，一般不和其它人机交互设备或者其它外围设备发生密切关系。人机输入往往只是某种单一性质的操作结果，触摸就是触摸，摇晃就是摇晃。

考虑到在实际过程中，便携设备和用户之间并非仅仅只是屏幕交互，在屏幕交互过程中还存在整体性的行为关联，因此将有效的触摸操作视为一种合理的整体性行为结果，将有助于减少仅仅依赖屏幕操作结果时存在的错误几率。

本专利根据发生触摸动作或者其它类型操作时便携设备姿态、用户姿态、用户动作流程的基本分析，认为可以由便携设备确认这些姿态和动作，通过对这些姿态和动作的合理性判断，建立操作约束关系，给出最终的操作结果。

本发明是便携智能设备的下一代智能人机接口技术，它带来的益处是能够使用户更加随意、自然地操作(包括握持、携带)设备，无需再纠结屏幕自动锁定时间的长短选择。使用户在越来越依赖便携设备的时候不必因担心误操作而对触摸屏有拘束感。新的指令输入方式及更多应用可能，将极大改善用户体验过程。

发明内容

本发明的基本思路是将常规应用中相互独立的触摸屏和运动传感器以及可以增添的壳体握持感知传感器，组成联合的人机输入装置。它们之间不再是独立的信号装置，而是通过便携设备的信号处理器将它们与用户的行为模式联系在一起进行处理和分析，并得出最后的结果。由设备感知推导用户对设备的操作行为，由应用需求判断用户的合适行为。

能够实现本发明的基本运行平台至少有一个触摸屏、一组运动传感器、一个信号处理器，且信号处理器中有实现本发明所述相应方法的信号处理软件。这些软件中包含了预先的分析成果以及现场处理流程。

本发明支持的用户指令输入方式包括，触摸屏感知的触摸操作、运动传感器感知的运动操作，以及触摸和运动的联合操作。

便携设备的信号处理器对各类传感器的输出信号进行分析，估计设备姿态、方位、用户姿态、用户动作流程，并依据用户操作特定应用时可能的行为模式，确认正确操作、排除误操作。

本发明能够实现的依据是：一、用户使用便携设备时，在各种情形下行为方式都有规律可循，用户使用习惯上存在共性，具体操作上具有一致性。二、大多数误操作是在行为发生突变的时候出现的。三、这些行为比较简单，能够通过便携设备内置运动传感器的感知结果做出比较充分的判断。四、这些行为能够通过简单的规则被模式化，并能够被计算机使用。五、便携设备的嵌入式计算机足以胜任此方面信号处理算法的需求。

为了描述和理解上的便利，首先对本发明所使用的术语进行基本的定义，这种定义不是严格的，更不是标准的，也并非始终如一的，但有助于对各种具体情形进行说明。

触摸操作——在触摸屏上的触摸动作，能够产生相应的触摸信号。在实际应用中有4种组合情形：有意的规范的，有意的不规范的，无意的规范的，无意的不规范的。有意是指用户有目的行为，规范的是指符合规定的触摸动作。这4种情形，在通常的便携设备中，不规范的触摸动作都会因为不符合规定而被忽略，但是规范的触摸动作，无论是否有意，均会导致有效的指令输出。因此，抑制“无意的规范的”触摸是本发明的首要任务。不过，由于在触摸屏应用中各种规范指令的约束范围很小，且不会形成严重后果，实质性错误大多都是由于用户的无意行为造成。

触摸信号——由触摸操作导致的触摸屏原始输出信号，其性质可能是模拟或者数字形式的电信号，取决于触摸屏性质和处理的层次。这是待处理的信号。

触摸属性——由触摸信号解析出来的触摸方式，比如“单击”、“双击”、“拖动”等，当被确认有效后，将形成触摸指令。此处可以区分为有效触摸动作和无效触摸动作。有效触摸动作指触摸方式和触摸位置均有效的动作，无效触摸动作指解析出来的触摸动作不包含在有效指令动作集合中，或者是由于触摸位置不符合要求的触摸动作。有效触摸动作中可分正确触摸动作和错误触摸动作。错误触摸也可以分两类，一类是用户实施触摸操作时发生的错误，另一类是用户没有实施触摸操作意愿时发生的错误。后一类错误定义为误触摸动作，特是指用户无意造成的或者是在不应该的场合、情形、条件下实施的触摸动作，是误操作的一种。

触摸指令——由有效触摸动作转换成与其相对应的命令，这个命令将被便携设备按照对应的程序去最终执行。

运动操作——由便携设备的运动导致运动传感器输出运动信号，无论是有意还是无意、主动还是被动。在实际应用中，由于随身携带，运动是经常发生的，对便携设备可以视为一种总是存在的背景活动。有4种组合情形：有意的规范的，这是真正的运动操作；有意的不规范的，这是不合格的运动操作；无意的规范的，这是背景活动下偶然发生的；无意的不规范的，这是常态，总是存在各种运动但并不符合规定的动作或者并不是在恰当的时候。

运动信号——运动传感器输出的原始信号，模拟或者数字形式的电信号，决定于传感器自身。

运动属性——由信号处理器解析出来的运动方式，比如“横向摇动”、“左反转”等，当被确认有效后，将形成运动指令。还可以进行如下区分，无效运动动作指通过运动信号解析出来的运动动作不包含在有效指令动作集合中的运动动作，错误运动动作是指那些运动动作虽然包含在有效动作指令集合中但却是用户无意造成的或者是在不应该的场合、情形、条件下实施的运动动作。错误运动动作定义为误操作的一种。

运动指令——由有效运动操作动作形成与其相对应的命令，这个命令将由便携设备按照规定执行。

联合操作——由触摸与运动联合的操作行为，如“触摸屏幕‘某一区域’的同时向左翻转”。符合规定的动作将形成联合指令。

联合指令——由触摸和运动联合操作动作解析出来的与其相对应的命令，这个命令将由便携设备按照相应的定义执行。

以下主要以最常用的便携设备智能手机为例进行说明，但并不排除本发明在任何其它类型的便携设备甚至非便携设备上的应用。

手机使用时，手机本身、携带手机的用户、用户所处的平台，构成了复杂的姿态和运动关系。但是也可以看到，如果用户处于行走状态，或者处于行驶的车辆上，对手机来说，虽然存在运动叠加，但几乎总是以用户的姿态和握持手机的方式起主导作用，或者说总可以从叠加的运动中提取出手机自身特征性的动作。这其中最为明显的可依赖特征是重力方向总是不变的。而且，虽然用户行为方式多种多样，但是存在一个基本的约束，那就是无论用户要对手机进行任何触摸屏操作，总要面对手机屏幕且使手机稳定。用户在对手机进行操作时，多数处于坐、站状态，特别情形是处于躺卧状态，其它情形下的操作极少。因此首先可以将此区分为正常操作模式和特别操作模式，然后再对手机的具体姿态进行识别。至于手机的握持方式，用户之间同样具有共性。大多数时候用户是左手持机，右手进行触摸操作，对左撇子则相反。只需简单操作时，也可能是单手进行，即单手持机用拇指进行操作。另外一种情形则可能是手机放在桌面上的单手操作。

正常操作时手机姿态的简单性，给设备姿态的识别带来了便利。理论上，只要知道平台的初始条件，实时获取传感器足够精度的测量值，就能够完全估计出平台的运动参数和运动轨迹。当然，在手机这样的平台中，除了精确导航应用外，其它功能尚没有必要要求高性能的运动传感器。在如今的实际应用中，各类型的MEMS传感器均已成熟，且有许多简单或复杂的例证。因此，本专利在这个方面不再详细说明，认为是现成的技术。本专利关注的是如何利用这些传感器提供的运动信息，在便携设备的具体操作中提供判决依据。

假设手机直接装备了运动传感器(三轴的加速度传感器、三轴的陀螺仪、三轴的磁传感器、一轴压力传感器)、环境光传感器、手机壳体握持感知传感器(可以是电容、电阻、压力传感器或其它能够感知用户握持存在、握持方式变化的传感器构成。这些传感器分布式地安装在便携设备壳体上或者壳体的关键部位上，可以视为一种三维电容触摸表面)等。各传感器以及触摸屏控制器均连接到信号处理器，它们可以交换信息。触摸屏、运动传感器、壳体握持感知传感器和便携设备之间结构上装配关系是确定的。信号处理器可以直接是手机的CPU或者专用的DSP。信号处理器能够实时获取传感器的测量信息并实时处理。

触摸屏感知用户的各种触摸动作，输出相应的触摸信号到便携设备的信号处理器；信号处理器检测、处理触摸信号，判断触摸属性。运动传感器感知便携设备的空间姿态以及运动状态，输出相应的姿态信号、运动信号到便携设备的信号处理器；信号处理器检测、处理这些信号，判断便携设备的姿态(如竖直、水平、侧立、倾斜等状态，以及所处方位)、动作(如翻转、抖动，抬起、放下，摆动等)，依此估计用户的设备携带方式和运动方式，以及判定用户对设备的运动操作动作(如“翻转”、“抖动”、“摆动”、“转圈”等便携设备自定义的运动指令)等。通过壳体握持感知传感器，则能够通过它感知用户的握持方式，输出相应的握持信号到便携设备的信号处理器。信号处理器处理、检测这些信号，估计操作者的握持方式及变化。

本发明设定三种基本的指令输入方式，触摸指令、运动指令和联合指令，但是它们均非独立实现，而是通过对触摸屏上的触摸动作、设备姿态、运动方式、握持方式进行关联处理，并结合便携设备当前正在执行功能的状态(如通话、短信息输入、音乐播放、网页浏览等)，对比可能的用户行为模式，估计出用户的行为指向后，才决定对应的触摸指令、运动指令，或者联合指令等是否有效。其中的重点是根据应用场景和用户的行为模式排除误操作可能、强化正确操作可能。

第一、触摸操作指令受用户行为约束

手机的姿态直接与用户的握持方式、操作方式相关，因此能够反映用户的行为，而用户的行为决定了其操作意图。

在屏幕对触摸开放时，当前的智能手机形成触摸指令仅与用户的触摸操作有关，任何有意或者无意的触摸动作，都会导致触摸信号输出。只要信号处理器解析出符合规定的触摸模式，如“单击”了某个图标、某个电话号码，那么就会形成触摸指令，并最后执行。这是错误的主要来源之一。例如，查找通信录时，如果受到其它事务干扰，没有锁定屏幕的情况下，用户即随意握持手机转入其它事务，那么此时就极易因为触摸到某个号码而误拨电话。或者，在带耳机通电话时，希望手机可以不受约束地随意握持，但此时最容易出现的失误是碰触屏幕上的挂断按钮而中断了电话。

分析各种操作情形，可以发现存在典型的设备姿态。当用户在操作手机时，正常使用模式下(定义为多数人坐或站、左手或右手持手机时的情形，或者手机放置在桌面上使用时的情形)，手机平台一定是位于胸前正面大致朝上的姿态，无论是竖的还是横的，因为手机屏幕必须朝向用户的眼睛。然而，一旦用户放弃操作状态，试图自由握持手机，手机的姿态一般会随之发生较大改变，而此刻正是误操作发生机率最高的时候。本发明提出的方法就是根据用户常规的使用习惯，总结出具有代表性的行为模式，以行为模式判断触摸动作是否属于无意操作。手机的实际使用中，用户在不同条件下的不同行为通过运动传感器感知，并与行为模式库对比，当匹配某个行为时，就采取相应的措施，决定选择某触摸信号还是屏蔽该触摸信号。其中，最简化的方法，仅仅通过测量手机的正面朝向，就能够判断发生触摸操作时，是用户有意还是无意的行为，因为除了用户躺着或者将手机举过头顶这类情形会出现手机正面朝下外，其它情形正面朝下发生的触摸操作均可视为误操作。

可以由一个典型的使用习惯来说明本方法。在使用耳机(有线耳机或无线耳机)通话时，如果站立的用户握持手机拨出电话后，试图立即进入自由状态，会将握持手机的手垂放，手机的姿态将由正面朝上(倾斜朝向用户的眼睛)，变化为近似侧立。这个过程中，一方面手机的信号处理器知道正在执行拨出电话的任务，或者已经拨通并进入通话状态，另一方面手机根据预存的行为模式能够预知用户将有可能发生的几种行为，运动传感器测量此时平台姿态变化及运动过程：重力加速度传感器测量手机正面朝向变化、失重过程，陀螺仪测量手机反转速度(左右手相反。如果有壳体握持传感器，能够判断左手还是右手持手机，因此也能够判断应该是左转还是右转，增强判断的准确性。)，压力传感器测量手机高度发生的变化(变低)。这些参数如果符合此时的行为模式，就认为用户采取了这种行为。那么在此过程中发生的任何触摸操作将被视为误操作，触摸信号将被屏蔽。直到手机的姿态再恢复为正面朝上(这个过程可以视作另外一种行为模式)，对触摸信号的屏蔽才会考虑解除。而此时，如果通过加速度传感器的输出信号检测到用户处于行走状态，即使屏幕朝上，仍旧不会立即解除对触摸操作的屏蔽。

第二、限定方式的运动指令

限定方式的运动指令，指有约定模式和情景的运动操作。

用户利用行为约束触摸指令的规则，将其反过来使用，变为辅助性的动作指令。如在通话状态有意侧转或翻转手机，则首先意味着此过程发生的任何触摸动作被屏蔽；进一步，手机可以执行临时锁定屏幕指令(不同于常规屏幕锁定，解锁时需要解锁操作。临时锁定在恢复正常位置后，自动解锁)。屏幕临时锁定具有两个功能，一是关闭触摸，二是关闭显示。

第三、有轻重区别的触摸指令

常规的触摸屏不存在触摸力度上的区别对待，即使能够通过触摸信号检测到这种区别(比如对电容触摸屏，手指触摸力度会导致触摸面积差异，由此可能形成输出信号的差别)，这使得便携设备丧失了一种直接可用或者可辅助利用的信息。

根据用户的触摸习惯或略加约束，同样的触摸方式和触摸位置，根据触摸强度的不同区分为“轻触”和“重触”两种指令。触摸强度由测量轴与设备触摸屏正面法线方向一致的加速度传感器感知。对“轻触”和“重触”指令的执行级别不同，具体的处理依据应用场景而定。比如，在出现触摸“挂机”按钮的操作时，如果是“轻触”，则视为正常操作，进入正常的挂机程序；而如果是“重触”，则视为紧急操作，优先进入挂机程序。此时的“重触”经常会发生在用户发现误拨号码时，是下意识采取的应急操作动作。优先的概念取决于设备软件的系统设计，在没有更高级别任务的情况下，立刻中断其它程序，转入所需程序的执行。类似的应用也可以用于游戏程序的操控过程，把同样的操作按照用户可能是下意识的动作力度，区分为不同的执行程度，比如火力强度、转弯速度、音量大小，等等。

第四、触摸操作与运动操作联合指令

联合指令是触摸操作和运动操作同时进行的组合操作过程，受设备姿态和运动方式约束。其基本操作方法是按照设备的规定，在触摸屏幕某个设定区域的同时，对设备进行规定的运动操作。触摸屏的设定区域可以是选定的几何区域(左侧、右侧等)或者是明确显示的按钮，运动操作是便于用户实现的操作动作。典型情况下，这种指令由用户单手握持手机进行。因此，可行的方式是用户用拇指触摸设定区域的同时，将设备翻转、摇动等操作方式。如规定触摸屏幕某个区域的同时，使设备左滚再回位，则右滚或者其它动作，或者触摸其它区域则无效。这些指令形式和限定由便携设备按照使用方式和应用场景自行规定。

这种指令的作用之一是提供了一种快速拨号通道，易于操作且不易失误。如可由用户自定义一种操作，触摸屏幕上显示的锁定符号(或者时间显示区域、信号强度指示区域等)的同时，将手机翻转两次(或快速摇动三次等)，即刻拨出设定的紧急呼叫电话。这是最快捷可靠的紧急呼叫方式，避免了紧急情况下，因用户紧张而额外引入的密码输错、拨号输错等失误。

上述各种指令方式，可以在初始设置屏幕上，或者在具体应用过程中，随时改变使用模式，或直接解除限定。

附图说明

图1：便携设备的组成图，突出了触摸屏、MEMS运动传感器、壳体传感器和信号处理器的关系。

图2：便携设备的外形结构示意图，其中虚线部分勾勒出隐含在内部的有关功能实体。

图3：便携设备在使用时的空间姿态示例。

图4：标准的设备坐标系以及其内置运动传感器和其所处空间坐标系之间的关系定义。

图5：各有关信息处理模块。

图6：简要的触摸指令形成流程。

图7：简要的触摸与运动联合指令形成流程。

具体实施方式

便携设备是典型的嵌入式系统，其功能和使用方法具有一定的共性，特别是在操作系统和触摸屏显示与触摸操作方面。因此，以智能手机来描述本发明的实现不失代表性。

智能手机的构成一般以CPU为核心，ARM的A系列处理器、Tl公司的OMAP处理器是较为流行的选择。CPU的外围主要包括用来存储固定程序和动态数据的各种存储器。CUP的IO端口连接除了用于移动通信的基带处理器模块和RF模块外，还有其它短距通信模块、GPS接收机模块、照相模块、音视频处理模块等。与本发明相关密切的是触摸屏显示器、MEMS传感器组、光传感器，以及附加的壳体握持感知传感器。除了握持感知传感器外，其它传感器均可采用货架产品，有诸多型号可以选用。握持感知传感器实现途径之一是采用立体的电容触摸板方式，即将电容触摸板做成壳体形式，而非平板结构。它能够感知多点触摸动作，有符合要求的空间分辨率和触摸灵敏度，感知定位与壳体的关系是确定、已知的。即能够通过传感器的输出判断在壳体的哪些位置发生了触摸事件。

图1所示是强调了本发明涉及功能的便携设备构成图。(1-6)是其核心处理器，(1-1)、(1-2)分别是触摸屏及其控制器，(1-5)是MEMS运动传感器组，(1-3、(1-4)分别是壳体握持感知传感器及其控制器，(1-7)是设备的其它功能块，包括主要的移动通信模块、收发机模块、wifi模块等。图2以外形结构式样重新示出。其中(2-1)是触摸显示屏，所有触摸操作在其上实现，除了在壳体握持感知传感器上的触摸操作。(2-2)是内部的触摸屏控制器，直接管理触摸屏，其输出连接到(2-6)DSP。(2-3)是分布式壳体握持感知传感器，(2-4)是内部的壳体传感器的控制器，直接管理壳体感知传感器，其输出连接到(2-6)DSP。(2-5)是内部的MEMS运动传感器组，实际采用的器件可以是多种MEMS传感器封装成的模块，也可以是独立的器件。(2-6)是核心处理器，即手机的CPU，(2-7)表示手机内部的其它功能块，包括程序和数据存储器。

典型的MEMES运动传感器组包括三轴加速度传感器、三轴陀螺仪、三轴磁传感器以及压力传感器，各种实际传感器器件的选择有充分的余地。运动传感器可采用ST、freescale、ADI等公司的系列产品，环境光传感器可采用AVAGO的产品。运动传感器的装配有方向性要求，需要和手机有确定的装配关系。

握持方式、手机姿态、用户行为等与手机应用是相互关联的事件，是协作也是约束。给每一个可能的操作动作定义一个连续变化特征是可行的。只要感知并识别这些动作，对操作出正确的判断即可行。

由设备传感器信息推导出操作设备用户的行为，进而判断当前的操作属性，需要对多种信息进行融合判断。这与通过捆绑在身上的传感器判断人体姿态、动作不相同。图5示出了各检测与处理模块与核心信息处理器的关系。触摸动作信息处理模块获得触摸屏触摸信号，判断触摸属性；手机姿态信息处理模块获得加速度传感器信息，判断手机的空间姿态；手机方位信息处理模块获得GPS信息和磁传感器信息，判断手机的地理位置与指向；握持方式信息处理模块获得壳体传感器信息，判断用户的手机握持方式；携带方式信息处理模块获得运动传感器和光传感器信息，判断用户携带手机的方式；用户动作处理模块获得运动传感器信息，实时判断用户操作手机时的行为。由于用户动作是由便携设备感知的，因此用户动作实际上就是设备动作的映射结果；平台状态信息处理模块获得运动传感器信息，判断用户或者手机所在平台状况；环境光感知信息处理模块获得光传感器信息，结合时区、时间判断手机所处环境以及变化。在手机的信号处理器系统中，预先显性或者隐形建立了用户操作行为模式库，用以和实时采集的用户行为作对比。模式库也可以通过对用户行为的不断收集、分析，自适应地建立和更改。一些预置参数可以预先设定，或者在操作过程中随时更改。便携设备的操作系统具有管理各模块的功能，并支持不同的应用程序调用。各种手机应用根据自身特点以及对用户操作的需求，可以对用户行为做出独立的判断。

为了检测设备姿态和动作，首先需要建立各相关部分的参考坐标系。这些参考坐标系之间的关系不是唯一的，取决于设备硬件平台的设计，软件算法会随之更改参数，对实质结果并无影响。

根据常规的便携设备形状和使用方式，定义便携设备坐标系O-(Ex，Ey，Ez)，参考图4所示。设备平面为Ex-Ey平面，设备(触摸屏)正面法线方向为Ez轴负向，设备前端指向为Ex轴正向，设备右侧指向为Ey轴正向。三轴加速度传感器的测量轴为O-(Gx，Gy，Gz)，测量轴Gx指向设备Ex轴的负向，Gy指向设备Ey轴的正向，Gz指向设备Ez轴的负向。三轴磁传感器的测量轴为O-(Bx，By，Bz)，测量轴Bx指向设备X轴的负向，By指向设备Y轴的正向，Bz指向设备Z轴的负向。

定义便携设备所处的空间是一个原点与设备坐标系原点重合的直角空间坐标系O-(X，Y，Z)。空间坐标系有绝对坐标和相对坐标两种方式。绝对空间坐标系的X-Y平面与地理水平面平行，X的正向指向地理正北，Y的正向指向地理正东，Z轴正向指向地心(即正下方)。相对空间坐标系X-Y平面与地理水平面平行，X、Y的指向随设备浮动，Z轴正向仍旧指向地心。绝对坐标系在需要分析设备的绝对指向时使用，相对坐标系在仅需分析设备姿态和相对运动时使用。定义设备在空间坐标系中的滚动角为φ、俯仰角为θ、偏航角为ψ，如图5所示。定义初始参考状态为设备坐标系与空间坐标系重合，此时φ＝0，θ＝0，ψ＝0。加速度传感器的初始参考状态为：Gx＝0，Gy＝0，Gz＝g；磁传感器的初始状态(绝对空间坐标系)为：Bx＝cos(δ)，By＝0，Bz＝sin(δ)，其中δ是地磁场的垂直偏角。

用户在使用便携设备时，拿持手机的方式有许多种，但是在操作手机时，为了操作可能与方便，拿持手机的方式便被自然限定。常规情形下拿持方式主要有：左手握持、右手握持、双手横向捏持、左手竖直捏持、右手竖直捏持、左手横向捏持、右手横向捏持等。这些拿持动作共性特征明显，针对不同的应用以及应用中不同的状态，用户拿持手机的方式不同。如在收发短消息时和使用照相机时就存在较大差异。这些特征可以通过统计分析得出能够进行评判的方法，进而成为识别模式。

拿持手机的方式通过壳体握持感知传感器的输出进行分析获得。拿持手机是一个动态过程，随时都在改变。但是只要手机打开，特别是某个应用打开，开始操作此应用的功能时，拿持方式就被限定在较小的范围内。这也正是判断手机握持方式并依赖此方式排除误操作的可能性所在。在大多数情况下，手机处于屏幕锁定状态，无需握持信息。

当用户左手握持手机时，其具体特征是拇指及掌部触摸手机壳体的左侧，其余四指触摸手机壳体的右侧，或者食指触摸手机前端右底侧，其余三指触摸左侧。这是最常见的左手握持方式，通过分析传感器的对应输出，可以判断是否属于这种握持方式。同样其它的握持方式，也可以通过握持接触壳体的大致位置，得出握持方式。当与具体的应用关联时，判断会更趋于准确。比如在手机拍照状态，典型的握持方式之一是双手捏持，手机处于横向状态，左侧朝下，前端朝左，左右手拇指分别位于下方放在手机壳体左侧，左右手食指或中指中的一个或两个位于上方放在手机右侧。可以认为手机的握持方式在特定的操作状态是非常有限的，建立这样一个模式库并不需要很大的存储容量。

如果，在手机的设置选项里，用户能够确定是左手习惯还是右手习惯，或者直接通过手机智能学习确认用户的左右手习惯，那么能够由握持方式获得更多的支持信息。

手机的携带方式具有多种状态，但具有限的特征。用户拿在手里、装在口袋里、随身包里是最多的情形。放置在桌面、车辆上也是常态。通过时间和光照的关联，判断手机位置或者排除手机位置。如无论何时感测到了较强的光照时，可以认定手机不在口袋或者包里。通过判断光的变化，能够辅助判断用户是否正在将手机放入口袋，如此可以屏蔽此时的触摸动作。

方位信息处理模块计算便携设备的绝对位置、方向和高度。便携设备的地理位置信息，由GPS接收机提供，包括经纬度以及设备持续的移动方向。便携设备的绝对朝向，通过三轴磁传感器对地磁场的测量结果获得，实际的地磁场分布数据以数据库形式存储在设备中。便携设备的海拔高度以及较为精确的高度变化通过压力传感器获得，海拔高度和压力的关系数据以库或表的形式存储在设备中。对高度变化的实时检测有助于配合其它运动传感分析用户对手机的操作动作，如接听电话时会抬起手机到耳边，这时检测到手机高度的提升，操作手机时检测到设备姿态变化并伴随着高度降低，可以判断此时用户可能放下了手机。

用户的状态是有限的，站、坐、卧，行走、跑动，或者处于交通工具上。由于运动平台多数情形限于X-Y平面，其移动、震动不足以决定性地影响Z轴重力加速度的测量。平台运动的节奏感也有助于排除测量中存在的干扰。

手机的姿态，即与空间坐标系的关系，由加速度传感器的测量值计算获得：

$\tan \left(\mathrm{\φ}\right)=\left(\frac{\mathrm{Gpy}}{\mathrm{Gpz}}\right)$

$\tan \left(\mathrm{\θ}\right)=\frac{-\mathrm{Gpx}}{\mathrm{Gpy}*\sin \left(\mathrm{\φ}\right)+\mathrm{Gpz}*\cos \left(\mathrm{\φ}\right)}$

如果已知手机某个时刻的姿态，当手机姿态发生动态变化时，可以用陀螺仪测量姿态的动态过程，将陀螺仪的角速度输出对时间积分，就能够获得某时间范围内姿态角的变化值。

手机的姿态是判断用户是否处于正常操作状态的重要和有效的依据之一。正常使用情形下，设备均正面朝上，法线方向与用户眼睛到设备连线之间的夹角一般不超过45，如图3(a)情形。如果设备正面朝下，如图3(b)情形，或近似侧立时，如图3(c)情形，即设备的俯仰角θ超出(0，90)范围或滚动角φ超出(-90，90)范围，用户将无法正常观察屏幕。因此，此时可以屏蔽发生的任何触摸动作，因为可以将此时的任何触摸动作视为用户无意间的行为。

为了准确实施上述准则，定义相应的手机操作模式，可以分为正常操作模式和躺卧操作模式，或者还有其它供用户选择的操作模式。这种选择可以随时进行。或者用户也可以通过选择解除本发明所述的功能回避这种限制。

用户处于走动、跑动状态时，屏幕触摸动作视为无效处理是合理的，因为极少存在此种情形。用户的活动状态由所携带设备的运动传感器输出判断，信号呈现的周期性是识别的重要依据之一。

用户的行为特别是行为的转换，往往意味准备开始操作设备、结束操作设备，或者临时中断操作设备。对用户行为的初始判断来自于用户所持设备的内置传感器，操作决策则依据多个方面，首先是设备当前运行的应用，设备的软件状态；其次是设备自身的状态及变化；第三是用户的动作过程。这些方面在用户实施操作时是密切关联的。反过来讲，如果失去操作的关联性，则极有可能是用户的误操作行为。

图6示出了触摸指令形成的大致流程。触摸屏控制器检测到触摸信号后，即送到设备处理器，处理器首先判断发生的触摸动作是否属于规范动作，是否在信号集内。然后根据操作系统或具体应用的屏幕状态，识别此信号是否发生在屏幕上的合适位置。如果不是则判定该动作无效，如果是则仍需进一步根据其它信息进行核实。进一步的核实过程包括通用的规则，也包括与具体应用有关的专用规则，这些规则视要求的操作方式而定。手机首先调取软状态信息，包括各种预置参数、选项，操作系统或者应用决定的图形用户界面信息等。然后通过图5中所示有关模块的分析过程，得到手机的硬状态描述和可能存在的平台状态。硬状态包括手机的方位、指向、姿态、运动轨迹等，平台状态包括可能的交通工具或用户状态。通过这些硬状态，判断对应用户可能的操作动作。然后与模式库中应该的模式对比，只有符合的情况下，才判定触摸动作有效。

动作模式库以隐性或者显性方式出现，其中包括了用户典型动作集合，这些动作以与设备姿态发生变化的时间序列描述，并强调限制性的动作。如通用的动作模式：

从桌面拿起手机——设备的运动传感器输出将从静止状态发生突变，加速度传感器、陀螺仪、压力传感器均发生与动作相关的改变。在此过程中，不会立即发生触摸操作。此动作流程，可以作为关闭手机铃声的指令。

从火车茶几上拿起手机——设备的运动传感器输出将从规律震动状态发生突变，加速度传感器、压力传感器均发生与动作相关的改变。由于手机会发生旋转，陀螺仪输出变化是有效的判据。在陀螺仪输出较为稳定前，用户一般不会进行有意的触摸操作。

手机放入口袋/包里——设备的陀螺仪感受到较大的旋转动作发生，加速度传感器测量到变化，手机朝向改变，环境光传感器感知光线变暗。此过程中用户不会进行有意的触摸操作。如果不是正处于通话状态，此时可使手机自动进入休眠状态，而无需按锁屏键。

走动中用耳机通话——拨通号码后，手机从面朝上的左手(假设)握持状态，侧转后垂下，变成侧立握持状态，开始有节奏摆动。此过程，陀螺仪检测到手机右向反转动作，加速度传感测量到姿态改变发生以及可能的周期性摆动。

点击指令——当输入点击触摸时，一个重要的特征是由于用户使用习惯，手机在点击的时间内不发生幅度较大的姿态改变，力求其稳定，无论是单手还是双手输入，无论是键盘输入还是手写输入。且指令的执行往往是触摸结束后开始的，因此在此时间内手机是否有随手势的移动，是判断用户有意还是无意操作的要素之一。如此，在输入过程中，如果临时中断，用户可以随意握着手机，等回头继续时，不会发生混乱的输入字符或者删除等操作。

专用的动作模式如数码照相应用。使用照相机时，容易出现的问题，一是误触摸拍摄按钮，拍出一些废照片，占用内存；另一个问题是照相机是比较耗费电量的应用，频繁拍照时，若要省电就需要频繁打开关闭手机，解锁、密码操作繁琐。此时可根据照相的典型动作流程，避免误触发动作和频繁操作。

打开相机进入拍照模式后，拍照目的将自动规范用户的动作。较为明显的是手机的握持方式，单手捏持或双手捏持是典型的握持动作。当正常拍照按钮操作完成后，捏持动作、手机姿态均发生较大改变，用户也可能开始走动。此时如果用户不在一个运动的平台(如车辆)上，那么运动中的任何对拍照按钮的触摸都可视为是用户无意的误动作。因为，拍照的基本要求是尽可能静止，即使是短时间内，而用户除了拍照瞬间能够保持手机静止外，其它时间都很难保持手机静止。且如果出现了静止，也就基本不存在误触摸行为了。所以，运动与否是约束拍照指令的一个有效判据。类似这样针对具体应用的限定，在每一种特殊的应用中都可以找到。只要手机的操作系统将各种动作规范化，由应用程序自身来决定对误操作的限制将是最佳的选择。

上述行为模式、限定姿态和动作，由便携设备按照用户习惯、使用方式和具体应用自行定义，并可以被用户视为一种屏幕锁定方法使用。即用户知道某些动作能够导致触摸无效，有屏幕锁定效果，遂可主动采用。进一步，这些动作模式也可以当作其它指令被便携设备采用。

触摸是便携设备最主要的操作操作方式，触摸提供的信息是多维度的，触摸位置、触摸面积、触摸时间长短、连续触摸次数、触摸并移动，均有定义。但是触摸的直接强度(指力学强度)，并没有被采用。触摸的强度除了用户习惯外，还直接反应了用户操作某按钮时的急切感。这种感觉可以转换为有效的对应指令。触摸强度由测量轴与设备正面法线平行的加速度传感器感知。强度判决门限的设定有两种方式。一种是由用户在设定程序里预先进行模拟触摸，设备处理器根据多次触摸结果的统计值确定常态下的触摸强度和紧急情形下的触摸强度。另一种是根据常态的用户的触摸强度统计值，在此基础上增加一个合适的量，定为强触摸时的门限。由于强度的掌控差异较大，因此，依据强度定义的指令，在区分错误或者无法区分以及用户错误使用的情况下，应不会导致错误的执行后果。采用强度区分的指令一般应该有相同的执行结果，不同的仅仅是执行过程。

联合指令提供了更多的指令形式选择，快捷是其优势之一，如跳过屏幕解锁、密码输入、打开通话程序等过程，直接进入紧急呼叫拨号状态，且不会造成常态下的失误，因为是双重约束。

通常紧急呼叫时，往往需要首先将手机解锁、输入密码、进入拨号状态、拨号等一连串动作。稍有紧张失误，则需重来，造成延误。由用户自定义或者设备预定义一种操作，如：按住屏幕上显示的锁定符(信号强度指示符、电量指示符、时间显示区域；可使不同区域对应不同的呼叫号码)+运动操作；按住滑动解锁条移至中间位置(IOS系统)+运动操作；按住解锁图案中的某个点(Android系统，可使不同的点对应不同的呼叫号码)+运动操作，等等。运动操作的形式根据操作的便利设计，比如定义为快速翻动手机三次或者快速抖动手机三次，等等。在具体应用软件中，联合指令可以设计为对应内容要求的操作，比如在某种游戏中单手操作时，左手握持手机，拇指按住屏幕上不同的按钮，左右偏转手机，代表不同的指令。

联合指令处理流程如图7所示。检测到触摸信号后，首先判断是否发生在定义的区域内，如果属于特定的区域，再对握持方式进行检测(如果存在壳体握持感知传感器)，发现握持存在且有确定的握持方式，继而核实动作信号。如果解析的动作符合定义，则执行对应的指令。

由于便携设备功能的丰富性和自主性，特别是各种应用覆盖领域的广泛性，本专利虽然难以做出更全面具体的描述，但所述手段是明确的，意义是清晰的。任何触摸操作受限于用户行为指向，任何将运动传感器的输出结果与触摸屏输出结果联合判读的手段都没有超出本专利所述范围。利用行为模式抑制、辅助、产生其它方式(如键盘)的指令输入方式也不应视为超出本专利所述范围。

Claims (5)

1.触摸屏和行为感知联合的指令输入与防护方法，其构成特征是：触摸屏、运动传感器、壳体握持感知传感器，分别连接到便携设备的信号处理器；触摸屏、运动传感器、壳体握持感知传感器和便携设备的结构装配关系是确定的；各部件特征和功能分别为：

a)触摸屏感知用户的各种触摸动作，输出相应的触摸信号到便携设备的信号处理器；信号处理器检测、处理触摸信号，判断触摸动作属性；动作属性指“单击”、“双击”、“滑动”、“双指缩放”、“多指拖动”等便携设备自定义的对应触摸指令的触摸动作模式；

b)运动传感器感知便携设备的空间姿态以及运动状态，输出相应的姿态信号、运动信号到便携设备的信号处理器；信号处理器检测、处理这些信号，判断便携设备的姿态(如竖直、水平、侧立、倾斜等状态)、方位(地理位置、指向)、动作(如翻转、抖动、抬起、放下、摆动等)及轨迹，依此估计用户的设备携带方式和运动方式，以及判定用户对设备的运动操作动作(如“翻转”、“抖动”、“摆动”、“转圈”等便携设备自定义的运动指令)等；

c)壳体握持感知传感器感知用户的握持方式，输出相应的握持信号到便携设备的信号处理器；信号处理器处理、检测此信号，估计操作者的握持方式及变化；

d)便携设备的信号处理器对触摸屏上的触摸动作、设备姿态、运动方式、握持方式进行关联处理，结合便携设备当前正在执行功能的状态(如通话、短信息输入、音乐播放、网页浏览等)，对比可能的用户行为模式，估计出用户的行为指向；依此判定可能的触摸操作、运动操作，或者触摸与运动联合操作行为，是否属于用户有意的、正确的行为，从而决定所对应的触摸指令、运动指令，或者联合指令等是否生效。

2.根据权利要求1所述的触摸屏和行为感知联合的指令输入与防护方法的实现：

a)触摸屏、运动传感器、握持感知传感器和相应的控制器分别安置在便携设备中，或者集成在一起形成独立的指令输入模块安置在便携设备中；

b)便携设备信号处理器是嵌入式计算机，其中包含相应的信号处理软件；

c)触摸屏是电阻式触摸屏、电容式触摸屏，或者其它能够提供用户触摸信号的装置；

d)运动传感器是加速度传感器、陀螺仪、压力传感器、磁传感器、光电传感器，以及其它能够直接或间接感知便携设备的空间位置、姿态、运动，或者能够由其感知判断出携带设备的用户的行为、姿态的其它类型传感器；运动传感器有一组或多组，每组可包含多个、多种类传感器；

e)壳体握持感知传感器是电容、电阻、压力传感器或其它能够感知用户握持存在、握持方式变化的传感器构成；这些传感器分布式地安装在便携设备壳体上或者壳体的关键部位上，形成立体感知能力。

3.根据权利要求1所述的触摸屏和行为感知联合的指令输入与防护方法，其中便携设备的信号处理器对触摸动作、设备姿态、握持方式、运动方式进行关联处理：

a)根据常规的便携设备形状和使用方式，定义便携设备坐标系：设备水平面为X-Y平面，设备(触摸屏)正面法线方向指向Z轴负方向，设备前端指向X轴正方向，设备右侧指向为Y轴正向；定义便携设备所处的空间是一个原点与设备坐标系原点重合的直角空间坐标系，空间坐标系的X-Y平面与地理水平面平行，Z轴正向指向地心(即正下方)；定义设备在空间坐标系中的滚动角为φ、俯仰角为θ、偏航角为ψ；定义初始参考状态为设备坐标系与空间坐标系重合；

b)便携设备设置正常使用模式、一种或多种特殊使用模式；正常使用模式指用户以常规的坐、站姿势操作设备，此状态下用户的眼睛一般高于设备屏幕；特殊使用模式指用户以躺、侧卧等姿势操作设备，此状态下用户的眼睛低于或者近似平等于设备屏幕；使用模式可由用户通过设备上的即时显示菜单选择；正常使用模式和特殊使用模式有各自的判别规则，该规则可由便携设备确定；

c)预先存储用户行为模式，其中的行为模式与用户携带、握持设备的方式、操作动作习惯以及应用关联；行为模式以计算机数据库形式存在或者隐含在计算机对用户行为的分析程序中；

d)根据便携设备动态测量的自身姿态，参考地磁场分布建立其与空间坐标系绝对或相对的关系，根据测量的运动状态，信号处理器分析设备的位置、姿态、运动方式、运动轨迹等；

e)用户对设备的握持方式由信号处理器对握持传感器的输出位点进行检测、处理解析后获得；依据是触点的位置、大小、多少、对称性等；左手握持：设备壳体左侧传感器输出点少于右侧；右手握持：设备右侧传感器输出点少于左侧；水平握持：便携设备处于近似水平正常使用状态；垂直握持：便携设备处于近似侧立状态；操作态握持：设备屏幕朝上；非操作态握持：检测到握持存在，但设备屏幕处于无法操作的朝向；握持方式辅助信号处理器估计便携设备在不同使用模式下正常操作和异常操作的空间位置范围；

f)触摸动作形成最终的触摸指令，受设备姿态、运动方式、握持方式约束；正常使用模式下，设备正面朝下或近似侧立时，即设备的俯仰角θ超出(0，90)范围或滚动角φ超出(-90，90)范围，任何触摸动作无效；用户处于走动、跑动状态时，触摸动作无效；设备处于不稳定过程中，触摸动作无效；设备处于容器内，触摸动作无效；这些限定姿态和运动方式，由便携设备按照使用方式和应用规定，并可以被用户视为一种屏幕锁定方法使用；

g)触摸动作形成最终的触摸指令，受到运动传感器输出信号辅助；如通过Z轴加速度传感器输出强度区分“轻触”和“重触”，形成不同级别的指令，可以做出不同的响应，如执行速度或者优先级差异等；由便携设备按照使用方式和应用规定；

h)运动动作形成最终的运动指令，受设备姿态和运动方式约束；如规定的运动指令为水平摇动时，则便携设备不呈一定水平范围摇动时，该运动动作的操作无效；这些限定姿态和运动方式，由便携设备按照使用方式和应用自行规定；

i)由触摸和运动联合操作形成最终的联合指令，受设备姿态和运动方式约束；如规定触摸屏幕某个区域的同时，使设备左滚再回位，则右滚或者其它动作，或者触摸其它区域则无效；这些指令形式和限定由便携设备按照使用方式和应用场景规定；指令执行内容由便携设备定义。

4.根据专利权利要求3所述的由触摸和运动联合操作形成最终的联合指令中规定触摸屏某个触摸区域，指手机开机后的公共显示区域，如信号强度指示符、手机锁定符、电池电量指示符、时间显示等区域、解锁图案的选定区域，或者是按住滑动解锁条移至中间位置后的区域，或者在特定的应用程序中由其规定的区域。

5.便携设备可以设置完全解除上述限定规则，或者根据具体应用解除或者限制上述限定规则，或者设置选项列表由用户选择符合个人使用习惯的限定规则。