CN106575170B - 在触摸敏感设备中执行触摸动作的方法 - Google Patents

在触摸敏感设备中执行触摸动作的方法 Download PDF

Info

Publication number
CN106575170B
CN106575170B CN201580037514.7A CN201580037514A CN106575170B CN 106575170 B CN106575170 B CN 106575170B CN 201580037514 A CN201580037514 A CN 201580037514A CN 106575170 B CN106575170 B CN 106575170B
Authority
CN
China
Prior art keywords
touch
shape
gesture
sensitive device
valid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580037514.7A
Other languages
English (en)
Other versions
CN106575170A8 (zh
CN106575170A (zh
Inventor
G.P.德欧泰尔
R.瓦伊希
S.D.布瓦纳吉里
N.A.苏尔塔尔塔朱迪恩
N.波克雷尔
S.德瓦拉卡巴米迪帕蒂
金昌振
权廷泰
金南润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Semiconductor Group
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN106575170A publication Critical patent/CN106575170A/zh
Publication of CN106575170A8 publication Critical patent/CN106575170A8/zh
Application granted granted Critical
Publication of CN106575170B publication Critical patent/CN106575170B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/04166Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186Touch location disambiguation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means

Abstract

提供在触摸敏感设备中执行触摸动作的方法。该方法包括检测与触摸屏上提供的触摸输入相关联的接触区域的形状,基于预定准则确定检测到的形状是否有效,基于已验证形状的移动检测手势,通过匹配检测到的手势与一个或多个预定手势确定检测到的手势是否有效,并基于确定检测到的手势有效和确定检测到的形状有效的结果执行触摸动作。

Description

在触摸敏感设备中执行触摸动作的方法
技术领域
本发明涉及触摸屏。更具体而言,本公开涉及在支持触摸屏的设备中辨别手势以启动一个或多个设备特定动作的方法和系统。
背景技术
不同类型电子设备的触摸屏支持触摸点坐标的检测并基于检测的坐标执行预定动作。使用触摸屏,随着用户的手指沿触摸屏的表面移动,显示屏上输入指针的移动可以对应于用户手指的相对移动。类似地,可以在触摸屏上实现手势,使得当在触摸屏上检测到一次或更多轻叩时可以做出选择。在一些情况中,触摸屏的任何部分都可以轻叩,并且在其他情况下,触摸屏的特定部分可以轻叩。除了做出选择外,还可以使用触摸屏边缘上的手指移动发起滚动。
发明内容
技术问题
近年来实现了更多的高级手势。例如,通过将四根手指放在触摸屏上发起滚动,使得滚动手势被辨别,并且之后在触摸屏上移动这四根手指执行滚动事件。但是,实现这些高级手势的方法可能受到限制并且在许多情况下是反直觉的。在特定应用程序中,支持用户使用可以被常规辨别为表示特定事情的诸如手部移动和/或手指方向之类的“真实世界”手势,从而更高效和精确地执行想要的操作,是有益的。但是,为了支持特定形状和手势交互,需要为不同类型的输入进行模型的预学习或训练。这种预学习或训练占用包括触摸屏的设备的存储。
因而,需要有一种更高效和快速的用于识别触摸屏上的触摸输入的方法和系统。更具体而言,需要有一种当支持触摸的屏幕处于关闭状态时用于辨别接收的触摸输入的方法和系统。
上述信息作为背景信息呈现仅为了帮助理解本公开。至于上述任何信息是否适用于关于本公开的现有技术,没有进行评定,并且没有进行断言。
问题解决方案
本公开的各方面是解决上述问题和/或缺点并至少提供下述优点。因此,本公开的一个方面是提供一种识别手势的方法,以使用一个或多个参数在支持触摸屏的设备中支持设备特定动作。手势可以仅是手部形状或触摸模式。
本公开的另一方面是当触摸敏感设备的屏幕处于屏幕关闭状态时启动设备应用程序。考虑用户扫过处于屏幕关闭状态的屏幕以打开前置摄像头拍照。当用户在屏幕关闭状态时使用两个拇指执行触摸手势时,相机应用程序自动启动。
根据本公开的一个方面,提供一种在触摸敏感设备中执行触摸动作的方法。该方法包括基于一个或多个预定参数识别与触摸敏感的触摸屏上提供的触摸输入相关联的接触区域的形状,确定所识别形状的方向,基于预定准则确定识别的形状是否有效,并基于识别的形状有效的确定结果执行触摸动作。
根据本公开的另一方面,提供一种在触摸敏感设备中执行触摸动作的方法。该方法包括检测与触摸敏感设备的触摸屏上提供的触摸输入相关联的接触区域的形状,基于预定准则确定所确定形状是否有效,基于通过确定检测的形状是否有效来验证的已验证形状的移动来检测手势,通过匹配检测手势与一个或多个预定手势来确定检测的手势是否有效,并基于确定检测的手势有效和确定检测的形状有效的结果执行触摸动作。
根据下述公开本公开的各种实施方式的详细描述以及附图,本公开的其他方面、优点和显著功能对于本领域技术人员将是显而易见的。
发明的有利效果
本公开可以识别手势以使用一个或多个参数在支持触摸屏的设备中启动设备特定动作。手势可以仅是手部形状或触摸模式。本公开可以基于手势执行功能。因此,本公开可以增强用户便利性。
附图说明
从结合附图考虑的下面描述将更加清楚本发明的上述和其他方面、特征和优点,附图中:
图1中的流程图示出了根据本公开的一种实施方式的辨别用于在触摸敏感设备中执行触摸动作的手部形状的方法;
图2中的流程图示出了根据本公开的一种实施方式处理互电容数据并计算参数的方法;
图3中的流程图示出了根据本公开的一种实施方式的数据二值化方法;
图4A中的流程图示出了根据本公开的一种实施方式的区域识别方法;
图4B中的流程图示出了根据本公开的一种实施方式在区域识别过程中修正错误解释区域值的方法;
图5示出了根据本公开的一种实施方式使用平均角法确定形状的方向;
图6中的流程图示出了根据本公开的一种实施方式识别手的不同部位并分离相连手指的方法;
图7A中的流程图示出了根据本公开的一种实施方式识别拳头的方法;
图7B示出了根据本公开的一种实施方式的拳头的形状以及诸如高度、宽度、左至右长度和右至左长度之类的几个参数的图示;
图8A中的流程图示出了根据本公开的一种实施方式识别手指的方法;
图8B示出了根据本公开的一种实施方式对应于手指的形状的诸如高度、宽度、左至右对角线长度和右至左对角线长度之类的各种参数的图示;
图9A中的流程图示出了根据本公开的一种实施方式分离/区分手指与手掌的方法;
图9B示出了根据本公开的一种实施方式分离手指与手掌时执行的各种操作的图示;
图10中的流程图示出了根据本公开的一种实施方式存储形状的方法;
图11中的流程图示出了根据本公开的一种实施方式使用计算的参数和记录的参数进行形状匹配的方法;
图12A示出了根据本公开的一种实施方式使用单个手指形状识别来启动相机的图示;
图12B中的流程图示出了根据本公开的一种实施方式使用单个手指形状识别来启动相机的方法;
图13示出了根据本公开的一种实施方式使用双手指形状识别来启动相机的图示;
图14中的流程图示出了根据本公开的一种实施方式在触摸敏感设备中执行触摸动作的方法;
图15中的流程图示出了根据本公开的一种实施方式计算参数并线性化用户执行的手势的方法;
图16A和图16B示出了根据本公开的各种实施方式计算方向的图示;
图17A中的流程图示出了根据本公开的一种实施方式计算用于匹配的一个或多个参数的方法;
图17B中的流程图示出了根据本公开的一种实施方式处理在触摸传感器面板集成电路(TSP IC)中收集的一个或多个坐标的方法;
图17C中的流程图示出了根据本公开的一种实施方式匹配用户执行的手势与注册手势的方法;
图18A中的流程图示出了根据本公开的一种实施方式计算用于确定用户执行的手势的压力顶点和方向顶点的方法;
图18B中的流程图示出了根据本公开的一种实施方式匹配用户执行的手势与注册手势的方法;
图19中的流程图示出了根据本公开的一种实施方式注册触摸敏感设备的一种或更多手势的方法;
图20示出了根据本公开的一种实施方式使用单个手指手势识别来启动相机的图示;
图21A示出了根据本公开的一种实施方式使用双手指手势识别来启动相机的图示;
图21B中的流程图示出了根据本公开的一种实施方式使用双手指手势识别来启动相机的方法;以及
图22示出了根据本公开的一种实施方式基于形状识别来启动各种触摸动作的图示。
在附图中相同的参考标号用于表示相同的元件。
具体实施方式
参考附图提供下述描述用于帮助综合理解所附权利要求及其等价限定的本公开的各种实施方式。它包括用于帮助这种理解的各种特定细节,但是它们仅应该被视为示例性的。因此,本领域技术人员将理解,此处描述的各种实施方式可以进行改变和修改而不会偏离本公开的范围和精神。另外,为清晰和简明起见,省略对已知功能和结构的描述。
下述描述及权利要求中使用的术语和词不限于其字面意义,而是仅供发明者用来支持对本公开的清晰和一致理解。因此,本领域技术人员应当清楚,本公开的各种实施方式的下述描述仅为示例目的提供,而不旨在限制所附权利要求及其等价所限定的本公开。
应当理解,除非上下文明确声明,否则单数形式“一”、“一个”和“该”也包括其复数形式指代。因而,例如,对“一个组件表面”的引用也包括对一个或多个这种表面的引用。
还应当理解,当在本说明书中使用时,术语“包括”、“包含”及其动名词旨在指定陈述的特征、整体、操作、元件和/或组件的存在,但是不排除一个或多个其他特征、整体、操作、元件、组件和/或其组合的存在或附加。应当理解,当称元件“连接”或“耦合”到另一元件时,它可以直接连接或耦合到其他元件或可以存在中间元件。再者,当在此使用时,“连接”或“耦合”包括可操作地连接或耦合。当在此使用时,术语“和/或”包括相关列举项目中的一个或多个的任意和所有组合和布置。
除非明确声明,否则此处使用的所有术语(包括技术和科学术语)具有与本公开相关领域的技术人员通常理解的相同意思。还应当理解,除非此处明确地定义,否则诸如在常用字典中定义的术语应当解读为具有与相关技术语境中其意义相一致的意义且不应解读为理想化或过于正式的意义。
下面介绍的图1至22,以及在此专利文档中用于描述本公开的原理的各种实施方式,都仅作为示例,并且不应解读为限制本公开的范围。本领域技术人员应当理解,本公开的原理可以在任何适当布置的通信系统中实现。用于描述各种实施方式的术语是示例性的。应当理解,提供它们仅用于帮助理解描述,并且它们的使用和定义不会限制本公开的范围。术语第一、第二等用于区分具有相同术语的对象,并且除非明确指定,否则不旨在表示时间顺序。组被定义为包括至少一个元件的非空组。
图1中的流程图示出了根据本公开的一种实施方式识别用于在触摸敏感设备中执行触摸动作的手部形状的方法。
参考图1,当用户在操作101中触摸屏幕时,互电容发生改变,并且在操作102中,通过触摸传感器面板集成电路(TSP IC)检测到互电容的变化。触摸区域的形状被认为是一个区域。
在操作103中处理检测到的该区域的互电容数据,并计算参数组。
基于计算的参数,在操作104中识别该形状。
在操作105,如果识别的形状与触摸敏感设备中预定或预记录的形状相匹配,则该形状模式可能具有多个形状的组合,则在操作106,在触摸敏感设备中启动对应于所识别形状的触摸动作。在本公开的一种实施方式中,即使当触摸敏感设备的显示面板处于屏幕关闭状态时也启动触摸动作。如果在操作105中所识别形状与预定或预记录形状不匹配,则该方法返回操作101。
根据本公开的一种实施方式,参数组包括区域的面积、区域的宽度、区域的高度、区域的右-左斜长、区域的左-右斜长、区域中包含的触摸节点数量、区域的斜边、区域的矩形度、区域的细长度和区域的平均角中的一个或多个。
在本公开的一种实施方式中,基于检测触摸屏中互电容的变化来识别区域。互电容数据被处理,并且基于识别的一个或多个触摸区域定义一个或多个参数。在图2中详细解释了处理互电容数据的方法。一旦识别参数之后,将对所识别的一个或多个区域确定每一个定义参数的值。基于所确定的定义参数值来识别区域的形状。
在本公开的一种实施方式中,即使当触摸敏感设备的显示面板处于屏幕关闭状态时也启动触摸动作。例如,考虑当屏幕处于屏幕关闭状态时用户扫过屏幕以打开前置摄像头自拍。当用户在屏幕关闭状态时使用两个拇指执行触摸手势时,相机应用程序自动启动。触摸屏设备处于屏幕关闭状态时,用户定位他们的手指做出不同形状来触发对应操作。触摸屏设备通过使用基于非模型的方法来识别手部/手指形状,以辨别屏幕关闭状态下的触摸手势。类似地,当用户在在屏幕关闭状态下执行捏放大(pinch out)手势时,屏幕的被放大部分显示时间和未接听呼叫通知。当用户在屏幕关闭状态时用一根手指在屏幕的任何部分执行小幅度扫动手势并且未抬起其手指时,将显示不同应用程序的快捷方式。在屏幕关闭状态下,TSP IC可以以低功耗模式操作。在示例中,可以通过降低TSP IC的操作频率实现低功耗模式。
图2中的流程图示出了根据本公开的一种实施方式处理互电容数据并计算参数的方法。
参考图2,为了识别接触区域的形状,互电容数据被处理。该处理包括使用操作201中所示的二值化方法过滤互电容数据。在图3中详细解释了数据二值化的方法。
而且,在操作202使用区域识别方法识别触摸屏上的一个或多个触摸区域。
另外,在操作203中对每个识别的区域计算参数。
图3中的流程图示出了根据本公开的一种实施方式的数据二值化方法。
参考图3,根据本公开的一种实施方式,认为触摸传感器面板的路径的两个交叉导体/电极的耦合电容是节点。计算每个节点上互电容的变化。为执行数据二值化选择一个预定义阈值。
而且,如操作301中所示,当前节点上互电容的变化将与互电容的预定义阈值相比较。在操作303中,如果当前节点的互电容值大于预定义阈值,则当前节点的互电容值设置为1。在操作302中,如果当前节点的互电容值小于预定义阈值,则当前节点的互电容值设置为0。
图4A中的流程图示出了根据本公开的一种实施方式的区域识别方法。
参考图4A,在本公开中,使用互电容触摸数据数组执行触摸区域的识别。使用二值化数据形成互电容触摸数据数组。
为了识别触摸区域,在操作401中给出如下初始条件。
初始区域值=2
连接区域值=0
转到互电容触摸数据数组的开头。
在操作402中,确定是否检查互电容触摸数据数组中的所有节点。节点也称为点。
如果在操作403中检查互电容触摸数据数组中的所有节点,则识别区域的过程如操作403中所示终止,并且控制流转到图4B中所示的流程图。
如果不检查互电容触摸数据数组中的所有节点,则在操作404确定该节点的当前值是否为1。如果节点互电容的当前值不是1,则该方法转到操作410,它将在下面更详细介绍。
但是,如果节点互电容的当前值是1,则在操作405确定在当前节点周围八个方向中是否有至少一个值大于1。
如果在操作405中存在一个或多个节点具有大于1的互电容值,则在操作406使用从环绕当前节点的最大节点值来更新所连接的区域值。
类似地,在操作407,使用更新的连接区域值更新当前节点值和环绕当前节点的所有节点。
如果在操作405中没有环绕节点具有大于1的互电容值,则使用初始区域值更新所连接的区域值,如操作407中所示。
而且,在操作408中,区域值递增,并且控制流转到操作407。在操作407中完成更新连接的区域值后,在操作410中选择互电容数据数组中的下一节点。
图4B中的流程图示出了根据本公开的一种实施方式在区域识别过程中修正被错误解释的区域值的方法。
参考图4B,为了矫正区域值的错误解释,在操作411将当前区域的初始值设置为2。
而且,如果在操作412确定当前区域值大于最终区域值,则该过程终止,如操作413中所示。
如果当前区域值小于最终区域值,则在操作414将控制流转到互电容数据数组的开头。
类似地,在操作415,确定是否检查互电容数据数组中的所有节点。如果检查互电容数据数组中的所有节点,则在操作416将当前区域值递增且该过程返回到操作412。
如果在操作415中不检查互电容数据数组中的所有节点,则在操作418确定当前节点互电容的值是否等于当前区域值。如果当前节点互电容的值等于当前区域值,则在操作419中确定当前节点周围8个方向的值是否大于零且不等于当前区域值。
如果在操作419中的确定结果为是,则在操作420将错误区域值设置为上次处理中获取的值。因此,在操作421,互电容数据数组中等于错误区域值的所有节点被设置为当前区域值。
如果在操作418当前节点互电容的值不等于当前区域值,并且如果在操作419中的结果为否,则该处理转到操作417,获取互电容数据数组的下一个点。而且,在操作421之后,该处理转到操作417。
图5示出了根据本公开的一种实施方式使用平均角法确定形状的方向的图示。
参考图5,为了确定触摸区域的形状,需要计算的各种参数包括区域的面积、区域的宽度、区域的高度、区域的右-左斜长、区域的左-右斜长、区域中包含的触摸节点数量、区域的斜边、区域的矩形度、区域的细长度和区域的平均角中的一个或多个。
为了确定最小边界矩形,使用一种计算边界框的方法。
边界框的面积=边界框的(宽度X高度)。
边界框的周长=2X边界框的(宽度+高度)。
形状(x,y)的几何中心=(∑xi/n,∑yi/n),其中i∈[1,n],n是检测到节点的总数量。
xi:形状内部的点的x坐标。
yi:形状内部的点的y坐标。
形状的面积=形状内部触摸点的总数量。
形状的周长=形状边界上覆盖的点的总数量。
为了识别形状的方向,使用平均角方法。根据本公开的一种实施方式,在形状内部在不同角度画直线且每条线位于阈值之上,然后找出所有角的平均值。
平均角方法(线角)
Figure GDA0002661977350000091
形状的平均角=∑αi/n,其中i∈[1,n],n为检测到的点的总数量。
确定左至右宽度时涉及的操作:
操作1:找出该形状中最接近边界框左上点的点
操作2:找出该形状中最接近边界框右下点的点
操作3:统计位于连接操作1和2中所述的点的直线上的所有点的数量。
确定右至左宽度时涉及的操作:
操作1:找出该形状中最接近边界框右上点的点
操作2:找出该形状中最接近边界框左下点的点
操作3:统计位于连接操作1和2中所述节点的直线上的所有点的数量。
图6中的流程图示出了根据本公开的一种实施方式识别手的不同部位并分离相连手指的方法。
参考图6,在本公开的一种实施方式中,在操作601执行拳头识别。在图7A中详细解释了识别拳头的方法。
而且,在操作602确定触摸区域中是否存在拳头。如果在触摸区域中存在拳头,则在操作603将拳头计数递增并且将所识别区域中的所有点重置为0。
如果在操作602在触摸区域中未识别到拳头,则在操作604执行手指识别。在图8A中详细解释了识别手指的方法。
如果在操作605在触摸区域中存在手指,则在操作606将手指计数递增并且将所识别区域中的所有节点重置为0。
如果在操作605在触摸区域中不存在手指,则在操作607确定在触摸区域中是否存在任何未定义区域。
如果在触摸区域中不存在未定义区域,则处理在操作608终止。
如果在操作607中检测到至少一个未定义区域,则在操作609确定当前未识别形状是否不同于前一循环的未识别形状。
如果当前未识别形状与前一循环的未识别形状不匹配,则将手掌计数递增且该处理终止,如操作610中所示。
如果,在操作609,当前未识别形状与前一循环的未识别形状相匹配,则在操作611执行手指识别。
图7A中的流程图示出了根据本公开的一种实施方式识别拳头的方法。
参考图7A,为了识别拳头,使用诸如边界框的高宽比、左至右长度和周长之类的参数。为每个参数设置预定义范围。
根据本公开的一种实施方式,在操作701计算高宽比。为了识别拳头形状,高宽比必须位于一个常数范围内。在本公开的一种实施方式中,理想的高宽比约为3。
如果高宽比落在预定义的比率范围内,则在操作702计算左至右比率和右至左比率。而且在操作702确定左至右长度和右至左长度位于预定义范围内(如果LR>RL则约为1.3,或者,如果RL>LR则约为0.75)。
然后在操作703确定形状的周长或边界框的周长。如果在操作703中形状的周长或边界框的周长位于拳头的固定常数范围(大约为0.75)内,则在操作704计算边界框的面积和手部形状覆盖的面积。
而且,在操作704,计算边界框的面积与手部形状覆盖的面积之间的比率。如果所计算的比率落在预定范围内,则在操作705识别该拳头。如果上述计算的参数中的任何一个不在预定义范围内(即,操作701、702、703或704的结果为否),则在操作706不识别该拳头。基于对各种人群的手进行的研究来设置预定义范围,以识别可能的拳头尺寸。
图7B示出了根据本公开的一种实施方式拳头的形状以及诸如高度、宽度、左至右长度和右至左长度之类的几个参数的图示。
参考图7B,其中示出了拳头的高度(H)、拳头的宽度(W)、拳头的左至右长度(LR)和拳头的右至左长度(RL)。
图8A中的流程图示出了根据本公开的一种实施方式识别手指的方法。
参考图8A,在本公开的一种实施方式中,计算手部形状的右至左对角线长度和左至右对角线长度以识别手指。
在操作801,确定左至右对角线长度和右至左对角线长度中的最大者是否位于手指的固定的预定义范围内。在本公开的一种实施方式中,该预定义范围是2.5。
如果在操作802中,左至右对角线长度和右至左对角线长度中的最大者落在预定义范围内,则在操作803中计算形状的周长或边界框的周长,并确定形状的周长或边界框的周长是否落在手指的固定范围内。在本公开的一种实施方式中,该近似范围设置为大约为1。
而且,在操作804中,计算边界框的面积与手指区域覆盖的面积之间的比率。如果该比率位于预定义范围内,则在操作805中识别该手指。在本公开的一种实施方式中,边界框的面积与手指区域覆盖的面积之间的比率的预定义范围近似设置为0.7至0.9。如果任何上述参数比率没有落在对应预定义比率范围内(即,操作801、802、803或804的结果为否),则该处理终止,而不识别该手指,如操作806中所示。
图8B示出了根据本公开的一种实施方式的对应于手指的形状的诸如高度、宽度、左至右对角线长度和右至左对角线长度之类的各种参数的图示。
参考图8B,其中示出了手指形状的高度(H)、手指形状的宽度(W)、手指形状的左至右对角线长度(LR)和手指形状的右至左对角线长度(RL)。
图9A中的流程图示出了根据本公开的一种实施方式的分离/区分手指与手掌的方法。
参考图9A,在本公开的一种实施方式中,在操作901中获取触摸区域的边界框。
在操作902中,获取从左上第一个遇到的区域。根据本公开的实施方式,第一个遇到的区域可能是最左边的手指。
而且,在操作903中,执行沿边界框的宽度遍历所遇到区域的所有点并存储其长度。
然后,在操作904,选择边界框的下一行。
而且,在操作905,在当前行中执行之前所遇到区域的长度的计数。
然后,在操作906,计算之前存储的长度与当前区域长度之间差值的绝对值,其中该差值称为增量值(delta)。
在操作907,确定增量值是否大于预定义阈值。在本公开的一种实施方式中,该预定义阈值被设置为4。并行地,将当前行中遇到区域的长度被设置为零。如果增量值小于预定义阈值,则控制流转到操作904,用于选择边界框的下一行。如果增量值大于预定义阈值,则在操作908将当前行中的所有值重置为零并且该处理终止。
图9B示出了根据本公开的一种实施方式的分离手指与手掌时执行的各种操作的图示。
参考图9B,在操作1,分离手指与手掌。类似地,在操作2和3,为触摸区域的其余部分创建边界框,并在操作4识别手指和手掌中的每一个。
图10中的流程图示出了根据本公开的一种实施方式的保存形状的方法。
参考图10,其中示出了在触摸敏感设备中记录一个或多个形状以供需要选择记录形状的选项的用户参考的方法。根据本公开的一种实施方式,在操作1001,在触摸敏感设备中提供空白区域,用于提供使用手部形状来记录手势的输入。为了记录提供触摸输入时手部形状中存在的细微偏差,用户需要多次重复相同手势。每个触摸输入帧被存储在触摸敏感设备存储器中。
如果在操作1002,连续预定义数量帧的数据是相似的,则在操作1003处理数据的互电容。而且,在操作1003中计算形状的参数。
如果在操作1002,连续预定义数量帧的数据不是相似的,则该方法返回到操作1001。
在操作1004中,一旦验证手部形状有效并且计算参数之后,则将参数和对应的形状存储在触摸敏感设备中。
图11中的流程图示出了根据本公开的一种实施方式的使用计算出的参数和记录的参数来进行形状匹配的方法。
参考图11,为了执行形状匹配,在操作1101,确定检测到的区域数量是否等于记录的区域数量。
如果检测到的区域数量等于记录的区域数量,则在操作1102计算以下绝对值并与预定义比率(Ω)比较。
ABS(W/LR-RECORDED(W/LR))<Ω
ABS(H/LR-RECORDED(H/LR))<Ω
ABS(W/RL-RECORDED(W/RL))<Ω
ABS(H/RL-RECORDED(H/RL))<Ω
其中,W是形状的宽度,H是形状的高度,LR是形状的左至右长度,且RL是形状的右至左长度。
根据本公开的一种实施方式,预定义值(Ω)的近似值落在0.25范围内。如果对于上述至少三个条件Ω的值落在0.25的范围内,则执行进一步的比较以确定是否与记录的形状匹配。
在操作1103,计算触摸形状的周长值和记录的周长之间的差值。并且,将所计算出的差值的绝对值与对应形状的预定义值相比较。在本公开的一种实施方式中,预定义值为接近10。
如果计算值小于预定义值,则在操作1104确定记录角与当前角之间的差值。然后将差值的绝对值与预定义角度相比较。在本公开的一种实施方式中,预定义角度约为20。
如果所确定的差值小于预定义角度,则认为几何中心间隙是用于匹配触摸形状的另一个参数。在操作1105中,计算触摸形状中几何中心间隙与记录的几何中心间隙之间的差值。然后将所计算出的差值与预定义值相比较。
如果在操作1105中几何中心间隙之差小于预定义值,则在操作1106获取匹配的形状。如果在操作1101、1102、1103、1104和1105中描述的比较之中的任何一个失败,则在操作1107中确定该形状不匹配任何已记录的形状。
图12A示出了根据本公开的一种实施方式的使用单个手指形状识别来启动相机的图示。图12A示出了基于形状的触摸动作启动的使用案例。
参考图12A,根据本公开的一种实施方式,即使触摸屏设备的显示面板处于屏幕关闭状态,如果在屏幕上特定方向检测到单个手指,则启动相机。触摸屏设备通过使用基于非模型的方法识别手部/手指形状,以在屏幕关闭状态下辨别触摸形状。图12A示出了在执行手势N秒之后,启动相机。
图12B中的流程图示出了根据本公开的一种实施方式的使用单个手指形状识别来启动相机的方法。
参考图12B,在操作1201识别单个手指。
而且,在操作1202,检查手指左半部分和下半部分的几何中心。
然后,在操作1203中,将方向定义为3,对应于270度(横屏模式)。
然后,在操作1204,确定手指的左至右对角线是否大于手指的右至左对角线。如果左至右对角线大于右至左对角线,则执行平均角法,以识别形状的方向。
在操作1205,确定平均角并与30度和0度相比较。如果平均角位于30度和0度之间,则在操作1206确定手指的几何中心是否小于手指宽度的三分之一。
如果满足操作1206的上述条件,则在操作1207,识别对应于相机的形状,并且在触摸屏设备中启动相机。
在本公开的一种实施方式中,在操作1202之后,在操作1208中检查手指、手指的右半部分和下半部分的几何中心以识别形状。
在这种情况下,将方向定义为1,对应于90度(竖屏模式),如操作1209中所示。
而且,在操作1210确定右至左对角线是否大于左至右对角线。如果右至左对角线大于左至右对角线,则应用平均角法来定义该形状。
在操作1211确定平均角并与30度和0度相比较。如果平均角位于30度和0度之间,则在操作1212确定以下条件:
几何中心>2*宽度/3。
如果满足上述条件,则在操作1207识别对应于相机的形状,并且在触摸屏设备中启动相机。
如果操作1204、1205、1206、1210、1211和1211中至少一个的条件不满足,则触摸敏感设备等待直到用户松开手指,如操作1213中所示。
图13示出了根据本公开的一种实施方式使用双手指形状识别来启动相机的图示。
参考图13,当用户将两根手指在触摸敏感设备屏幕上以特定方向放置特定时间(例如N秒)时,执行相机启动。
图14中的流程图示出了根据本公开的一种实施方式的在触摸敏感设备中执行触摸动作的方法。
参考图14,在操作1401中,用户触摸触摸敏感设备。
而且,在操作1402,触摸敏感设备检测触摸的有效性。在本公开的一种实施方式中,TSP IC提供互电容数据或触摸坐标。触摸坐标是处理后的数据。对于互电容数据和触摸坐标数据,触摸数据的验证不同。互电容数据是二维(2D)数组输入数据。数组的每个单元表示触摸屏幕面板中两个交叉导体/电极路径的互电容值或耦合电容。验证输入数据时涉及的第一个操作是输入数组相对于预定阈值的二值化。二值化的数据被用于识别触摸区域。触摸区域也称为簇。如果互电容数据包含指示一个触摸点的一个区域,则认为它是有效的。如果输入数据是触摸坐标数据,则接收的数据是所有触摸位置或指针的参数组。参数组可以包括指针的二(或三)维位置参数以及诸如指针的面积、指针相对于屏幕边界的长度和宽度之类的其他参数。使用参数来确定触摸区域的数量。如果触摸坐标数据包含指示一个触摸点的一个簇/区域,则认为它是有效的。
如果在操作1402中未确定触摸有效,则在操作1403中触摸敏感设备继续等待预定义数量的帧,然后在预定义数量帧之后转到操作1401。
如果在操作1402中确定触摸有效,则在操作1404中存储已验证的输入数据。为了存储输入数据用于后续计算操作,可以包括附加的计算操作。如果输入数据是互电容数据,则识别区域是相邻节点值组。通过计算诸如各点坐标值的平均值之类的统计参数,将节点值转换为点。而且,可选地,通过乘以适当的因子,将节点值转换为触摸坐标值。适当的因子是基于触摸敏感设备中存在的分辨率和电极数量的缩放因子。如果输入数据是触摸坐标数据,则不需要附加的计算。从输入数据获取的必要参数存储在触摸敏感设备中。
在操作1405,确定手势是已完成还是仍在进行(例如,用户仍然在做手势)。检查手势是否完成的断言基于为两种输入数据类型(即,互电容数据和触摸坐标数据)接收的空帧(非触摸帧)数量做出。空帧数量的阈值是确认手势结束前要等待的阈值时间。手势结束的检测对于具有多个笔画的手势是很重要的。如果触摸敏感设备不支持多笔画手势,则手势结束的检测用于处理错误的空数据帧。
对于互电容数据,如果连续空帧的数量超出阈值数量,则手势结束。如果在中间接收到任何非空帧(触摸帧),则算法恢复成正常操作且对于支持多笔画的算法继续正常执行。在单笔画算法的情况中,该阈值设置为非常低,仅用来补偿错误的空帧。对于触摸坐标数据,手势完成的检查通过指针向上事件触发。在出现指针移动或向下事件时才进行空帧的检查。
如果在操作1405中确定手势未完成,则触摸敏感设备返回到操作1402。
在操作1405中完成手势后,然后,在操作1406,使用互电容或触摸坐标数据来计算参数。在本公开的一种实施方式中,有两种方法用于计算参数。第一种方法是基于边的方向,假定手势是线性的,如果手势不是线性的则对它线性化。第二种方法是基于执行的手势和每个记录的手势之间距离的余弦。所有这些计算可以在IC或应用程序处理器中执行。根据本公开的一种实施方式的参数计算在图13、14和15中详细介绍。
而且,在操作1407,验证所计算的参数。
如果在操作1407确定所计算的参数不是有效的,则触摸敏感设备转到操作1403。
当在操作1407确定所计算的参数有效之后,则在操作1408中,从一个或多个注册的或预定义的匹配中找到对应的匹配。从一个或多个个注册的手势中查找对应匹配所涉及的方法操作在图17中详细介绍。
当在操作1408中找到匹配后,在操作1409,在触摸敏感设备中启动对应触摸动作。
图15中的流程图示出了根据本公开的一种实施方式的计算参数并线性化用户执行的手势的方法。
参考图15,在本公开的一种实施方式中,将手势线性化以获取端点。这些端点组成边,并且这些边的方向指数是用于比较和匹配用户执行的手势与一个或多个注册的手势的参数。
用户提供的触摸输入的前两个点被认为是第一个边。然后,在操作1501提供下一个点作为输入。检查下一个点,以查找下一个点是否与第一个边共线。
而且,在操作1502确定已处理点的数量是否等于零。
如果已处理点的数量等于零,则将下一个点作第一个点并且边从下一个点开始,如操作1503中所示。如果已处理点的数量不等于零,则在操作1503确定之前处理的点是否共线。
如果在操作1504中确定下一个点是共线的,则将它与当前边组合,新端点成为初始端点和新点中的一个。如果在操作1504中确定下一个点是不共线的,则认为当前边的最新端点和新点是新当前边的端点,以便在操作1505中更新之前的点。
如果在操作1504中确定下一个点是共线的,则在操作1506计算当前节点与之前两个顶点形成的两个边之间的角。
接下来,在操作1507中确定在操作1504中计算的角是否小于阈值。如果计算的角小于预定义阈值,则在操作1509确定边的长度并与阈值比较。预定义阈值是基于选择用于计算方向的方向方法的数量设置的。例如,使用4方向或8方向方法计算方向。如果在操作1507中确定角大于预定阈值,则在操作1508使用当前点替代之前的点。如果在操作1509确定其长度不小于特定的预定义阈值,则在操作1508使用当前点替代之前的点。
而且,如果在操作1509中确定长度小于特定预定阈值,则丢弃之前的边,并且如操作1510中所示合并两个边,将具有之前边的第一个点和当前边的最新点的最终边作为新的当前边。
在操作1511确定要处理的其余点。如果还有点需要处理,则通过返回到操作1501来为所有其余点计算方向。如果没有更多点要处理,则在操作1512计算方向。
而且,在操作1503、1505和1508之后,该处理返回到操作1501。
图16A和图16B示出了根据本公开的各种实施方式计算方向的图示。
当使用图13中介绍的方法线性化整个手势之后,计算每个边的方向。
参考图16A,其中示出了从4个方向、8个方向到360个方向变化的各种范围内计算边的方向。这些方向基于通过考虑从初始点开始的每个边的连续端点获取的矢量进行计算。图16A描述了分配给一个8方向边的各个方向值的边界。所有区域不必为相同大小。围绕每个方向的区域被认为是对应于该方向的区。例如,分配给1区内任何边的方向是0,并且对于2区是4。
参考图16B,其中示出了具有方向为4和7的两个边的示例手势。该示例手势包含两个边。基于边倾斜度,对于每个边分别计算得到方向为1和7。
图17A中的流程图示出了根据本公开的一种实施方式的计算用于匹配的一个或多个参数的方法。
参考图17A,在TSP IC中收集手势坐标。在收集手势的坐标时,在两个笔画之间的间隔中可以执行诸如计算和存储笔画长度之类的附加操作。当用户触摸屏幕时,触摸敏感设备检测用户是否开始做手势,如操作1701中所示。
而且,在操作1702确定用户是否正在移动其手指以提供手势。如果用户移动手指以做手势,则在操作1703确定当前坐标是否是手势的起点。
如果当前坐标是手势的起点,则将当前坐标添加到坐标数组,如操作1707中所示,然后该方法返回到操作1702。在本公开的一种实施方式中,手势的完成是循环确定的。
如果在操作1703中当前坐标不是手势的起点,则在操作1703中计算当前坐标与上一个坐标之间的距离。而且,在操作1708中确定当前坐标与上一个坐标之间的距离是否大于或等于预定义的阈值距离。预定义阈值距离是基于采样率设置的。
如果当前坐标与上一个坐标之间的距离大于或等于预定阈值距离,则在操作1707中将当前点的坐标添加到坐标数组。如果当前坐标与上一个坐标之间的距离小于预定阈值距离,则控制流转到操作1702。
假设在操作1702中用户抬起手指(例如,用户不再在屏幕上移动其手指),则在操作1704计算笔画的长度并存储到触摸敏感设备中。
然后,在操作1705确定时间限制是否到期。手势可以包括多个笔画;因而空数据帧不一定表示手势结束。因此时间限制是手势的一个或多个笔画之间的时间间隔。
如果在操作1705中时间限制没有到期,则在操作1706确定用户是否进行一个新的笔画。
如果用户进行对应于手势的新笔画,则在操作1707中将新笔画的坐标添加到坐标数组。
如果在操作1706中用户没有进行新的笔画,则该方法返回到操作1705。在操作1705中,如果时间限制到期,则收集坐标的过程停止并且开始处理所收集的坐标,如操作1709中所示。
图17B中的流程图示出了根据本公开的一种实施方式的使用图17A中解释的方法处理收集的一个或多个坐标的方法。
参考图17B,在TSP IC中处理收集的坐标。将输入数据转换成参数所需要的计算在IC自身内完成或部分在另一个处理器内完成。
一旦用户完成手势并且在操作1710中收集坐标之后,就在操作1711中对收集的坐标进行采样。
在操作1712计算所采样的坐标的几何中心。在触摸敏感设备上执行的手势依赖于触摸敏感设备的方向。
因此,在操作1713确定手势是否与方向不变量匹配。如果手势与方向不变量匹配,则在操作1714计算采样的坐标的方向角。
而且,在操作1715,通过保持几何中心为原点转换采样的坐标。
而且,在操作1716,绕原点将转换的坐标旋转所计算的方向角。
如果在操作1713中手势与方向不变量不匹配,则通过保持几何中心为原点,仅转换采样的坐标,如操作1717中所示。而且,在操作1716和1717之后,在操作1718将处理后的坐标发送到应用程序处理器以便存储。
图17C中的流程图示出了根据本公开的一种实施方式的匹配用户执行的手势与注册手势的方法。
参考图17C,在本公开的一种实施方式中,基于注册的手势与用户执行的手势之间的余弦距离比较它们。在操作1721中,处理的坐标被用于匹配用户执行的手势。
在操作1722,将处理后的坐标标准化并用于匹配由用户指定的记录或预定义手势。分别基于执行的手势与每个记录的或预定义手势之间计算的余弦距离生成分数。
将所执行手势的笔画数量与要匹配的手势的笔画数量比较生成分数,使得如果在操作1723中没有笔画则不会生成分数。
如果在操作1723中生成分数,则在操作1724中,将执行的手势获得的最佳分数与基于记录的手势实例确定的预定义的最小预期值进行比较,并确定最佳分数是否大于或等于预定义的最小预期值。
如果最佳分数大于或等于预定义的最小预期值,则在操作1725中将执行手势的触摸点和笔画的次序与最佳分数手势的触摸点和笔画的次序比较,从而确定手势是否包括点以及点是否按正确的次序绘出。
如果在操作1725确定手势包含点并且点按正确的次序绘出,则在操作1726将执行手势的最小边界框的周长与执行手势的长度的比率与最佳分数手势的最小边界框的周长与最佳分数手势的长度的比率相比较,并确定执行手势的比率与最佳分数手势的比率之间的差值是否位于限制范围内。
如果操作1726确定比率之间的差值位于限制范围内,则在操作1727确定找到匹配。
如果操作1723、1724、1725和1726中的任何一个比较失败,则在操作1728中确定没有为用户执行的手势找到匹配。否则,为执行的手势找到匹配并且在触摸敏感设备中启动对应触摸动作。
图18A中的流程图示出了根据本公开的一种实施方式的计算用于确定用户执行的手势的压力顶点和方向顶点的方法。在这种方法中,压力数据与触摸数据一起被用来特征化手势。基于在手势的每个顶点上应用和释放压力的次数,认为执行的类似形状是不同的手势。
参考图18A,在操作1801中从TSP IC中提取触摸数据和压力数据。
在操作1802中,基于提取的触摸数据,将手势线性化并计算形成手势的每个边的方向。
然后,在操作1803中,存储压力点的位置、压力在该位置应用的次数和压力顶点。
然后,在操作1804中,使用存储的压力点找到压力峰值并基于预定压力峰值验证存储的压力点。
如果在操作1805中用户从触摸敏感设备的屏幕松开手指,则在操作1806中计算方向顶点并在操作1807中比较方向顶点和压力顶点,如果它们匹配用户执行的手势与注册的手势则存储压力计数。
如果用户的手指没有从触摸敏感设备的屏幕离开,则控制流转到操作1801,用于循环地检查下一坐标的压力和触摸数据。
图18B中的流程图示出了根据本公开的一种实施方式的匹配用户执行的手势与注册手势的方法。
参考图18B,在本公开的一种实施方式中,依据触摸数据的方向和压力计数比较注册的手势与用户执行的手势。
在操作1808中,将用户执行手势的触摸数据的方向的数量与注册手势中存在的方向的数量比较。
如果触摸数据的方向数量等于注册手势中存在的方向数量,则在操作1809中比较触摸数据和注册手势的方向值。
如果用户执行手势的触摸数据的方向值等于注册手势的方向值,则在操作1810比较触摸数据和注册手势的压力计数。
如果用户执行手势的触摸数据的压力计数与注册手势的压力计数相同,则在操作1811确定匹配成功。如果在操作1808、1809和1810中的上述比较之中的任何一个失败,则表示没有为用户执行的手势找到匹配,如操作1812中所示。
图19中的流程图示出了根据本公开的一种实施方式的注册触摸敏感设备的一种或更多手势的方法。
参考图19,在本公开的一种实施方式中,提供一组预定义的轨迹手势模式作为参考以创建新手势。为了向触摸敏感设备注册一个或多个手势,在操作1901中处理来自TSPIC的用户触摸输入的互电容数据和触摸坐标数据并发送到应用程序处理器。
而且,在操作1902中触摸敏感设备为用户提供多次输入相同手势的选项以检测每次执行手势的细微变化。通过对每次执行手势期间生成的所有分数取平均值计算平均分数。这些分数通过匹配手势与存储或预定义的手势来生成。
在操作1903,确定当前手势是否与已经记录的手势匹配或当前手势是否不同于之前尝试的相同手势。
如果满足上述条件中的任何一个,则在操作1905丢弃用户执行的手势。
如果用户执行的手势不满足操作1903的任何一个条件,则为该手势分配一个标识符(ID)和名称,如操作1904中所示。而且,在操作1904中将手势与ID、名称、已处理的坐标列表和平均最小分数一起存储在诸如数据库或文件之类的永久存储中。
图20示出了根据本公开的一种实施方式的使用单个手指手势识别来启动相机的图示。图中示出了基于触摸动作的手势的使用案例。
参考图20,根据本公开的一种实施方式,即使触摸屏设备的显示面板处于屏幕关闭状态,如果在屏幕上检测到特定方向的单手指手势,则启动相机。触摸屏设备通过使用基于非模型的方法来识别特定方向的手部/手指形状,以在屏幕关闭状态下辨别触摸手势。图20示出了在执行手势N秒之后,启动相机。
图21A示出了根据本公开的一种实施方式的使用双手指手势识别来启动相机的图示。
参考图21A,当用户在触摸敏感设备屏幕上特定方向扫过两个手指时,在N秒之后执行相机启动。
图21B中的流程图示出了根据本公开的一种实施方式的使用双手指手势识别来启动相机的方法。
参考图21B,触摸屏在屏幕关闭状态下识别形状。在本使用案例中,使用两个手指来启动相机。使用几何中心确定形状。在操作2101中,如果识别出相机形状,则存储第一手指的几何中心C1。
而且,在操作2102中跟踪并更新第二手指形状的几何中心。然后,计算第一手指的几何中心(C1)和第二手指的几何中心(C2)之间的差值。
如果计算出的差值大于3个电极,则如操作2103中所示,将保持的时间计数器递增,然后在操作2014将第二手指的几何中心与一个角度相比较。
而且,在操作2104中,确定是否C2>宽度/2以及是否最终角>60。如果确定结果为否定的,则该方法返回到操作2102。如果确定结果为肯定的,则该方法转到操作2105。
而且,在操作2105,确定用于保持的计数器是否大于预定义的数字(例如,10)。预定义的数字是基于采样频率设置的。如果上述条件失败,则在操作2106,宣布没有识别出形状,C1被擦除,并且相机手柄检测重新开始。
如果在操作2105中用于保持的计数器大于预定义的数字,则在操作2107确定滑动时间。如果在操作2017中滑动时间小于2秒,则在操作2018中在触摸敏感设备中启动相机。
如果在操作2107中滑动时间不小于2秒,则该方法返回到操作2101。
图22示出了根据本公开的一种实施方式的基于形状识别来启动各种触摸动作的图示。
参考图22,其中示出了六个使用案例,其中在处于屏幕关闭状态的触摸敏感设备的触摸屏上提供触摸输入。
第一个使用案例1示出了用户为启动相机在屏幕关闭状态下使用两个拇指执行触摸恢复。案例1在本公开的图12A和20中详细描述。
类似地,第二个使用案例2示出了当用户扫过屏幕时启动前置摄像头,如图12B和21B中详细描述。
在第三个使用案例3中,将手势设计为字母的形式。允许用户以特定字母或模式的形式提供触摸输入。例如,以应用程序第一个字母的形式的触摸输入执行应用程序的启动。考虑触摸输入为C的形状,则在触摸敏感设备中启动Chat on应用程序。
根据图20中详细描述的第四个使用案例4,当用户在触摸敏感设备的触摸屏幕处于屏幕状态时执行诸如捏放大之类的手势时,触摸敏感设备的触摸屏幕显示时间和错过的呼叫通知。
第五个使用案例5示出了轻扫手势。当用户提供轻扫触摸输入时,则根据本公开的一种实施方式,触摸敏感设备显示各个应用程序的快捷方式。要显示的快捷方式可以由用户根据偏好配置。
第六个使用案例6示出了用于解锁屏幕的手势。用户可以在触摸敏感设备的触摸屏幕上当其处于屏幕关闭状态时绘制任何预配置形状以解锁触摸屏幕。例如,用户可以配置一个星形形状用于解锁屏幕。一旦执行相同的形状,则屏幕解锁。
本公开的各个方面还可以实施为非易失性计算机可读记录介质上的计算机可读代码。非易失性计算机可读记录介质是能够存储此后可以被计算机系统读取的数据的任何数据存储设备。非易失性计算机可读记录介质的示例包括只读存储器(ROM)、随机存储器(RAM)、CD-ROM、磁带、软盘和光学数据存储设备。非易性计算机可读记录介质还可以分布在网络耦合的计算机系统上,使得计算机可读代码以分布式方式存储且执行。而且,本公开相关领域有经验的程序员可以很容易构造实现本公开的功能程序、代码和代码片段。
此时应当注意,上述本公开的各种实施方式一般涉及某种程度的输入数据处理和输出数据生成。输入数据处理和输出数据生成可以用硬件或软件和硬件组合来实现。例如,可以在移动设备或类似或相关电路中采用特定电子组件用于实现如上所述的与本公开的各种实施方式相关的功能。备选地,根据存储指令操作的一个或多个处理器可以实现如下所述的与本公开的各种实施方式相关的功能。如果这样,则可以存储在一个或多个非易失性处理器可读介质上的这种指令属于本公开的范围。处理器可读介质的示例包括只读存储器(ROM)、随机存储器(RAM)、CD-ROM、磁带、软盘和光学数据存储设备。处理器可读介质还可以分布在网络耦合的计算机系统上,使得指令以分布式方式存储且执行。而且,本公开相关领域有经验的程序员可以很容易构造实现本公开的功能计算机程序、指令和指令片段。
尽管已经参考其各种实施方式示出和描述了本公开,但本领域技术人员应当理解,在不偏离由所附权利要求限定的本发明的精神和范围的条件下,可以做出形式和细节中的各种变化。

Claims (15)

1.一种在触摸敏感设备中执行触摸动作的方法,该方法包括:
感测所述触摸敏感设备的触摸屏上提供的触摸输入;
基于一个或多个预定义参数来识别与所感测的所述触摸屏上提供的触摸输入相关联的接触区域的形状以及形状的方向;以及
基于所识别的形状和所识别的形状的方向执行与所感测的触摸输入相对应的触摸动作,
其中,根据平均角方法确定所识别的形状的方向包括:
使用反正切函数计算由连接所识别的形状的边界点(x1,y1)与其他边界点(x2,y2)的线形成的一组多个角
Figure FDA0002314479080000011
其中被连接的边界点之间的距离大于或等于特定计算长度,以及
确定所计算出的一组多个角的平均值,以确定所识别的形状的方向。
2.如权利要求1所述的方法,其中感测触摸输入是在所述触摸敏感设备的显示面板处于屏幕关闭状态时进行感测的。
3.如权利要求1所述的方法,其中识别接触区域的形状包括:
通过嵌入在所述触摸敏感设备中的触摸传感器面板集成电路(TSPIC)来检测由于触摸输入引起的触摸屏的互电容的变化,
使用二值化方法来过滤互电容数据,
使用区域识别方法来识别触摸屏上的一个或多个触摸区域,
基于所识别的一个或多个触摸区域来定义一个或多个参数,
确定所识别的一个或多个触摸区域的一个或多个预定义参数中的每一个预定义参数的值,以及
基于通过确定所述一个或多个预定义参数中的每一个预定义参数的值而确定的值来识别所述形状。
4.如权利要求3所述的方法,其中所述一个或多个参数包括区域的面积、区域的宽度、区域的高度、区域的右至左斜长、区域的左至右斜长、区域中包含的触摸点数量、区域的斜边、区域的矩形度、区域的细长度和区域的平均角中的一个或多个。
5.如权利要求1所述的方法,还包括:
基于预定准则来确定所识别的形状是否有效,以及
其中确定所识别的形状是否有效包括:
通过将与所识别的形状相关联的一个或多个参数和与一个或多个记录的形状相关联的一个或多个参数进行比较,对所识别的形状与所述触摸敏感设备中存储的一个或多个记录的形状进行匹配。
6.如权利要求1所述的方法,还包括:
注册所识别的形状,以及
在所述触摸敏感设备的存储器中存储一个或多个参数作为所述一个或多个预定义参数。
7.如权利要求1所述的方法,其中所述触摸动作包括启动相机、启动应用程序、显示时间、显示未接听呼叫通知、显示不同应用程序的快捷方式和解锁屏幕之中的一个。
8.如权利要求1所述的方法,还包括:
基于预定准则来确定所识别的形状是否有效;
基于通过确定检测到的形状是否有效而进行验证的已验证形状的移动来检测手势;
通过对检测到的手势与一个或多个预定义手势进行匹配来确定检测到的手势是否有效;以及
基于检测到的手势有效的确定结果和检测到的形状有效的确定结果来执行对应于感测到的触摸输入的触摸动作。
9.如权利要求8所述的方法,其中基于已验证形状的移动来检测手势包括:
计算与接触区域相关联的触摸区域的几何中心,
如果计算出的几何中心与之前存储的几何中心之间的距离大于特定预定义阈值,则存储该几何中心,
确定检测到的手势的结束,以及
如果检测到的手势没有在特定预定义时间周期内结束,则丢弃检测到的手势。
10.如权利要求8所述的方法,其中确定检测到的手势是否有效包括:
如果所述触摸敏感设备被配置成在手势匹配之前执行形状匹配,则将检测到的手势与对应于所识别的形状的一个或多个预定义手势进行匹配,以及
如果所述触摸敏感设备没有被配置成在手势匹配之前执行形状匹配,则将检测到的手势与所有注册手势或预定义手势进行匹配。
11.一种执行触摸动作的触摸敏感设备,包括:
存储器,其配置成存储一个或多个预定义参数;
触摸屏,其配置成感测触摸输入;
处理器,其配置成:
感测触摸屏上提供的触摸输入,
基于一个或多个预定义参数来识别与所感测的触摸输入相关联的接触区域的形状以及形状的方向,
基于所识别的形状以及所识别的形状的方向来执行对应于所感测的触摸输入的触摸动作,
其中,根据平均角方法确定所识别的形状的方向包括:
使用反正切函数计算由连接所识别的形状的边界点(x1,y1)与其他边界点(x2,y2)的线形成的一组多个角
Figure FDA0002314479080000031
其中被连接的边界点之间的距离大于或等于特定计算长度,以及
确定所计算出的一组多个角的平均值,以确定所识别的形状的方向。
12.如权利要求11所述的触摸敏感设备,其中所述处理器通过嵌入在所述触摸敏感设备中的触摸传感器面板集成电路(TSPIC)检测由于触摸输入引起的触摸屏的互电容变化,使用二值化方法过滤互电容数据,使用区域识别方法识别触摸屏上的一个或多个触摸区域,基于所识别的一个或多个触摸区域定义一个或多个参数,确定所识别的一个或多个触摸区域的一个或多个预定义参数中每个预定义参数的值,基于通过确定一个或多个预定义参数中每个预定义参数的值所确定的值来识别形状。
13.如权利要求11所述的触摸敏感设备,其中处理器通过将与所识别的形状相关联的一个或多个参数和与一个或多个记录的形状相关联的一个或多个参数进行比较,对所识别的形状与触摸敏感设备中存储的一个或多个记录的形状进行匹配,确定所识别的形状是否有效,如果所识别的形状有效,则基于所识别的形状执行对应于触摸输入的触摸动作。
14.如权利要求11所述的触摸敏感设备,其中处理器感测在所述触摸敏感设备的触摸屏上提供的触摸输入,基于一个或多个预定义参数来识别与所感测的所述触摸屏上提供的触摸输入相关联的接触区域的形状,基于预定准则确定所识别的形状是否有效,基于通过确定检测的形状是否有效进行验证的已验证形状的移动来检测手势,通过匹配检测到的手势与一个或多个预定义手势来确定检测到的手势是否有效,并基于检测到的手势有效的确定结果和检测到的形状有效的确定结果来执行对应于所感测的触摸输入的触摸动作。
15.如权利要求11所述的触摸敏感设备,其中如果所述触摸敏感设备被配置成在手势匹配之前执行形状匹配,则处理器将检测到的手势与对应于所识别的形状的一个或多个预定义手势进行匹配,如果所述触摸敏感设备没有被配置成在手势匹配之前执行形状匹配,则将检测到的手势与所有注册或预定义手势进行匹配。
CN201580037514.7A 2014-07-07 2015-07-07 在触摸敏感设备中执行触摸动作的方法 Expired - Fee Related CN106575170B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
IN3353/CHE/2014 2014-07-07
IN3353CH2014 2014-07-07
KR1020150095954A KR102118408B1 (ko) 2014-07-07 2015-07-06 터치 감지 디바이스에서 터치 동작을 수행하는 방법
KR10-2015-0095954 2015-07-06
PCT/KR2015/007020 WO2016006918A1 (en) 2014-07-07 2015-07-07 Method of performing a touch action in a touch sensitive device

Publications (3)

Publication Number Publication Date
CN106575170A CN106575170A (zh) 2017-04-19
CN106575170A8 CN106575170A8 (zh) 2017-07-11
CN106575170B true CN106575170B (zh) 2020-11-03

Family

ID=58490602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580037514.7A Expired - Fee Related CN106575170B (zh) 2014-07-07 2015-07-07 在触摸敏感设备中执行触摸动作的方法

Country Status (5)

Country Link
US (1) US20160004380A1 (zh)
EP (1) EP3167358B1 (zh)
KR (1) KR102118408B1 (zh)
CN (1) CN106575170B (zh)
WO (1) WO2016006918A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9046992B2 (en) * 2010-10-01 2015-06-02 Z124 Gesture controls for multi-screen user interface
JP6529332B2 (ja) * 2015-05-13 2019-06-12 キヤノン株式会社 電子機器およびその制御方法
US10942642B2 (en) * 2016-03-02 2021-03-09 Airwatch Llc Systems and methods for performing erasures within a graphical user interface
KR20170141012A (ko) 2016-06-14 2017-12-22 삼성전자주식회사 사용자 입력을 처리하기 위한 방법 및 그 전자 장치
US10324621B2 (en) * 2017-03-02 2019-06-18 Adobe Inc. Facilitating analysis of use interface gesture patterns
US10318071B2 (en) * 2017-03-23 2019-06-11 Intel Corporation Method and apparatus for a blob angle orientation recognition in a touch device
US10372266B2 (en) * 2017-03-24 2019-08-06 Parade Technologies, Ltd. Systems and methods of improved water detection on a touch-sensitive display using directional scanning techniques
CN107657163B (zh) * 2017-09-25 2020-08-21 维沃移动通信有限公司 一种应用程序启动方法及移动终端
CN109634450A (zh) * 2017-10-09 2019-04-16 华为技术有限公司 防误触检测方法、装置及终端
US10423321B2 (en) * 2017-11-02 2019-09-24 Dell Products L. P. Defining a zone to perform an action in a dual-screen tablet
CN108062199B (zh) * 2017-12-15 2020-05-12 Oppo广东移动通信有限公司 触碰信息的处理方法、装置、存储介质及终端
US11232178B2 (en) * 2017-12-22 2022-01-25 Synaptics Incorporated Systems and methods for behavioral authentication using a touch sensor device
CN108845756B (zh) * 2018-07-04 2021-02-02 Oppo广东移动通信有限公司 触控操作方法、装置、存储介质及电子设备
US10983636B2 (en) 2018-08-02 2021-04-20 Elo Touch Solutions, Inc. Water immune projected-capacitive (PCAP) touchscreen
CN110806804A (zh) * 2019-11-01 2020-02-18 大众问问(北京)信息科技有限公司 一种音频控制方法、装置、计算机设备及存储介质
CN111124113A (zh) * 2019-12-12 2020-05-08 厦门厦华科技有限公司 一种基于轮廓信息的应用启动方法及电子白板
CN111338516B (zh) * 2020-02-26 2022-05-10 业成科技(成都)有限公司 手指触控的检测方法和装置、电子设备、存储介质
CN111525958B (zh) * 2020-04-08 2023-02-03 湖南大学 一种具有数据通信和手势动作识别功能的光相机通信系统
CN112987930A (zh) * 2021-03-17 2021-06-18 读书郎教育科技有限公司 一种实现和大尺寸电子产品便捷交互的方法
US11693555B1 (en) * 2022-01-12 2023-07-04 Adobe Inc. Pressure value simulation from contact area data
CN114360686B (zh) * 2022-03-07 2022-06-03 西南医科大学附属医院 融合游戏的康复训练计算机装置、运行方法及存储介质
CN115033165A (zh) * 2022-06-29 2022-09-09 Oppo广东移动通信有限公司 触摸事件处理方法、装置、存储介质与电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201017476A (en) * 2008-10-17 2010-05-01 Sony Ericsson Mobile Comm Ab Method of unlocking a mobile electronic device
CN102141873A (zh) * 2010-02-02 2011-08-03 宏碁股份有限公司 电子文件的操控方法
CN102609141A (zh) * 2011-02-12 2012-07-25 微软公司 角接触几何形状
CN103488321A (zh) * 2012-06-14 2014-01-01 腾讯科技(深圳)有限公司 一种在触摸屏终端上识别触摸动作的方法及装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4112812B2 (ja) * 2001-03-27 2008-07-02 株式会社東芝 パターン評価方法、パターン評価装置およびコンピュータ読み取り可能な記録媒体
WO2005027896A1 (ja) * 2003-09-19 2005-03-31 Kissei Pharmaceutical Co., Ltd. 併用医薬
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
JP5256902B2 (ja) * 2008-07-22 2013-08-07 株式会社リコー 画像形成装置
US20110130170A1 (en) * 2009-07-21 2011-06-02 Lg Electronics Inc. Mobile terminal and method of controlling the operation of the mobile terminal
US20130113714A1 (en) * 2011-11-06 2013-05-09 Dun Dun (Duncan) Mao Electronic Device Having Single Hand Multi-Touch Surface Keyboard and Method of Inputting to Same
US10082950B2 (en) * 2011-11-09 2018-09-25 Joseph T. LAPP Finger-mapped character entry systems
KR20130063131A (ko) * 2011-12-06 2013-06-14 삼성전자주식회사 터치 감지 파라미터 설정 방법 및 장치
JP5810923B2 (ja) * 2012-01-06 2015-11-11 富士通株式会社 入力装置及びタッチ位置算出方法
TWI493438B (zh) * 2012-01-09 2015-07-21 Amtran Technology Co Ltd 觸控方法
US20130194235A1 (en) * 2012-02-01 2013-08-01 Logitec Europe S.A. Multi-sensor input device
US8902181B2 (en) * 2012-02-07 2014-12-02 Microsoft Corporation Multi-touch-movement gestures for tablet computing devices
US9304622B2 (en) * 2012-06-29 2016-04-05 Parade Technologies, Ltd. Touch orientation calculation
KR101995278B1 (ko) * 2012-10-23 2019-07-02 삼성전자 주식회사 터치 디바이스의 ui 표시방법 및 장치
CN103809865A (zh) * 2012-11-12 2014-05-21 国基电子(上海)有限公司 触摸屏的触摸动作识别方法
KR20140067379A (ko) * 2012-11-26 2014-06-05 삼성전기주식회사 접촉 감지 장치 및 터치스크린 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201017476A (en) * 2008-10-17 2010-05-01 Sony Ericsson Mobile Comm Ab Method of unlocking a mobile electronic device
CN102141873A (zh) * 2010-02-02 2011-08-03 宏碁股份有限公司 电子文件的操控方法
CN102609141A (zh) * 2011-02-12 2012-07-25 微软公司 角接触几何形状
CN103488321A (zh) * 2012-06-14 2014-01-01 腾讯科技(深圳)有限公司 一种在触摸屏终端上识别触摸动作的方法及装置

Also Published As

Publication number Publication date
US20160004380A1 (en) 2016-01-07
WO2016006918A1 (en) 2016-01-14
EP3167358B1 (en) 2020-05-06
KR20160005656A (ko) 2016-01-15
KR102118408B1 (ko) 2020-06-03
EP3167358A4 (en) 2017-12-13
CN106575170A8 (zh) 2017-07-11
CN106575170A (zh) 2017-04-19
EP3167358A1 (en) 2017-05-17

Similar Documents

Publication Publication Date Title
CN106575170B (zh) 在触摸敏感设备中执行触摸动作的方法
EP3167352B1 (en) Touch classification
KR101646616B1 (ko) 객체 제어 장치 및 방법
US9778789B2 (en) Touch rejection
KR102347248B1 (ko) 터치 제스쳐 인식 방법 및 장치
TW201120681A (en) Method and system for operating electric apparatus
JP6005417B2 (ja) 操作装置
KR101559502B1 (ko) 실시간 손 포즈 인식을 통한 비접촉식 입력 인터페이스 방법 및 기록 매체
CN103294257A (zh) 对于手写识别用于引导手写输入的装置和方法
US9971429B2 (en) Gesture recognition method, apparatus and device, computer program product therefor
CN102147707A (zh) 一种基于笔划的多指触控手势识别方法
CN106156774B (zh) 影像处理方法及影像处理系统
Ukita et al. Wearable virtual tablet: fingertip drawing on a portable plane-object using an active-infrared camera
US10551934B2 (en) Gesture recognition method, apparatus and device, computer program product therefor
CN111488897A (zh) 一种触摸物体的检测识别方法及其装置
KR101654120B1 (ko) 각도 변화에 강인한 기하학적 특징 기반의 손가락 인식 방법
Wong et al. Virtual touchpad: Hand gesture recognition for smartphone with depth camera
TWI738146B (zh) 字符識別方法及利用其之觸控模組
TW201137671A (en) Vision based hand posture recognition method and system thereof
KR101386655B1 (ko) 3d 공간 터치 시스템 및 방법
US9239643B2 (en) Method and system for touch shape recognition, related screen apparatus, and computer program product
JP2016042383A (ja) ユーザ操作処理装置、ユーザ操作処理方法及びプログラム
Minto et al. 3D hand shape analysis for palm and fingers identification
CN113093972A (zh) 手势识别方法、系统、存储介质、触屏设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CI01 Publication of corrected invention patent application
CI01 Publication of corrected invention patent application

Correction item: Priority

Correct: 3353/CHE/2014 2014.07.07 IN|3353/CHE/2014 2015.04.21 IN|10-2015-0095954 2015.07.06 KR

False: 3353/CHE/2014 2014.07.07 IN|10-2015-0095954 2015.07.06 KR

Number: 16

Volume: 33

CI02 Correction of invention patent application
CI02 Correction of invention patent application

Correction item: Priority

Correct: 3353/CHE/2014 2014.07.07 IN|3353/CHE/2014 2015.04.21 IN|10-2015-0095954 2015.07.06 KR

False: 3353/CHE/2014 2014.07.07 IN|10-2015-0095954 2015.07.06 KR

Number: 16

Page: The title page

Volume: 33

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220324

Address after: Seoul City, Korea

Patentee after: International Semiconductor Group

Address before: Gyeonggi Do, South Korea

Patentee before: SAMSUNG ELECTRONICS Co.,Ltd.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201103