CN105718056B - 手势识别方法及装置 - Google Patents

手势识别方法及装置 Download PDF

Info

Publication number
CN105718056B
CN105718056B CN201610034534.5A CN201610034534A CN105718056B CN 105718056 B CN105718056 B CN 105718056B CN 201610034534 A CN201610034534 A CN 201610034534A CN 105718056 B CN105718056 B CN 105718056B
Authority
CN
China
Prior art keywords
proximity sensor
value
reflection signal
gesture
proximity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610034534.5A
Other languages
English (en)
Other versions
CN105718056A (zh
Inventor
李国盛
孙伟
江忠胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN201610034534.5A priority Critical patent/CN105718056B/zh
Publication of CN105718056A publication Critical patent/CN105718056A/zh
Priority to RU2017107119A priority patent/RU2677360C1/ru
Priority to PCT/CN2016/100497 priority patent/WO2017124768A1/zh
Priority to JP2017505547A priority patent/JP6559769B2/ja
Priority to KR1020187007150A priority patent/KR102091952B1/ko
Priority to US15/408,876 priority patent/US20170206001A1/en
Priority to EP17152138.8A priority patent/EP3196751A1/en
Priority to EP21165581.6A priority patent/EP3916535A3/en
Application granted granted Critical
Publication of CN105718056B publication Critical patent/CN105718056B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Abstract

本公开关于一种手势识别方法及装置,属于显示技术领域。该方法用于包含触摸屏的终端中,该触摸屏中分布有接近传感器,该接近传感器包含发射端和接收端,该发射端用于发射信号,该接收端用于接收所述信号被操作体遮挡后反射的反射信号,该方法包括:当存在至少一个接近传感器的接收端接收到反射信号,且未检测到操作体作用于触摸屏的触摸操作时,若检测到接收端先由未接收到反射信号切换为接收到反射信号,再由接收到反射信号切换为未接收到反射信号,则根据该至少一个接近传感器的位置识别用户的操作手势,解决了当用户不方便在触摸屏上执行触摸操作时,终端无法实现识别用户做出的操作手势的问题,达到了提高手势识别的灵活性的效果。

Description

手势识别方法及装置
技术领域
本公开涉及显示技术领域,特别涉及一种手势识别方法及装置。
背景技术
随着触摸屏技术的发展,触摸屏所具有的功能也越来越多,比如手势识别功能。
相关技术中,触摸屏首先确定用户手指触摸该触摸屏的触摸位置,然后根据该触摸位置来识别用户做出的手势。
发明内容
为解决相关技术中的问题,本公开提供了一种手势识别方法及装置。
根据本公开实施例的第一方面,提供一种手势识别方法,该方法用于包含触摸屏的终端中,该触摸屏中分布有接近传感器,该接近传感器包含发射端和接收端,该发射端用于发射信号,该接收端用于接收所述信号被操作体遮挡后反射的反射信号,该方法包括:
当存在至少一个接近传感器的接收端接收到反射信号,且未检测到操作体作用于触摸屏的触摸操作时,检测该至少一个接近传感器是否满足预设变化规则,该预设变化规则为接近传感器的接收端先由未接收到反射信号切换为接收到反射信号,再由接收到反射信号切换为未接收到反射信号;
当至少一个接近传感器满足预设变化规则时,确定该至少一个接近传感器的位置;
根据至少一个接近传感器的位置识别用户的操作手势。
可选的,检测至少一个接近传感器是否满足预设变化规则,包括:
对于每个接近传感器,获取接近传感器测得的接近值,该接近值用于指示操作体与接近传感器之间的距离,且该接近值在接收端未接收到反射信号时为预设数值;
检测接近值是否先由预设数值变为第一数值,再由第一数值变为预设数值;
当接近值先由预设数值变为第一数值,再由第一数值变为预设数值时,确定接近传感器的接收端先由未接收到反射信号切换为接收到反射信号,再由接收到反射信号切换为未接收到反射信号,满足预设变化规则。
可选的,根据至少一个接近传感器的位置识别用户的操作手势,包括:
获取至少一个接近传感器的接收端依次接收到反射信号的顺序;
按照顺序将至少一个接近传感器的位置识别为操作手势。
可选的,该方法,还包括:
从至少一个接近传感器中,获取各个接近传感器的接近值的变化时长;
计算各个变化时长的平均值;
根据平均值确定手势的操作速度;
根据操作速度确定对手势的响应方式。
可选的,该方法,还包括:
从至少一个接近传感器中,获取各个接近传感器测得的接近值;
检测各个接近值是否在同一时段内均不等于预定数值,该预定数值是接收端在未接收到反射信号时的接近值;
当各个接近值在同一时段内均不等于预定数值时,识别出用户的遮挡手势。
可选的,该方法,还包括:
从至少一个接近传感器中,获取各个接近传感器测得的接近值,该接近值在接收端未接收到反射信号时为预设数值;
检测接近值是否先由预设数值变为第二数值,再由第二数值减小为第三数值,再由第三数值增大为第二数值,再由第二数值变为预设数值;
当接近值先由预设数值变为第二数值,再由第二数值减小为第三数值,再由第三数值增大为第二数值,再由第二数值变为预设数值时,识别出用户的点击手势。
根据本公开实施例的第二方面,提供一种手势识别装置,该装置用于包含触摸屏的终端中,该触摸屏中分布有接近传感器,该接近传感器包含发射端和接收端,该发射端用于发射信号,该接收端用于接收信号被操作体遮挡后反射的反射信号,该装置包括:
第一检测模块,被配置为当存在至少一个接近传感器的接收端接收到反射信号,且未检测到操作体作用于触摸屏的触摸操作时,检测至少一个接近传感器是否满足预设变化规则,该预设变化规则为接近传感器的接收端先由未接收到反射信号切换为接收到反射信号,再由接收到反射信号切换为未接收到反射信号;
第一确定模块,被配置为当第一检测模块检测的结果为至少一个接近传感器满足预设变化规则时,确定该至少一个接近传感器的位置;
第一识别模块,被配置为根据第一确定模块确定的至少一个接近传感器的位置识别用户的操作手势。
可选的,该第一检测模块,包括:
第一获取子模块,被配置为对于每个接近传感器,获取接近传感器测得的接近值,该接近值用于指示操作体与接近传感器之间的距离,且该接近值在接收端未接收到反射信号时为预设数值;
检测子模块,被配置为检测第一获取子模块获取的接近值是否先由预设数值变为第一数值,再由第一数值变为预设数值;
确定子模块,被配置为当检测子模块检测的结果为接近值先由预设数值变为第一数值,再由第一数值变为预设数值时,确定接近传感器的接收端先由未接收到反射信号切换为接收到反射信号,再由接收到反射信号切换为未接收到反射信号,满足预设变化规则。
可选的,该第一识别模块,包括:
第二获取子模块,被配置为获取至少一个接近传感器的接收端依次接收到反射信号的顺序;
识别子模块,被配置为按照第二获取子模块获取的顺序将至少一个接近传感器的位置识别为操作手势。
可选的,该装置,还包括:
第一获取模块,被配置为从至少一个接近传感器中,获取各个接近传感器的接近值的变化时长;
计算模块,被配置为计算第一获取模块获取的各个变化时长的平均值;
第二确定模块,被配置为根据计算模块计算出的平均值确定手势的操作速度;
第三确定模块,被配置为根据第二确定模块确定的操作速度确定对手势的响应方式。
可选的,该装置,还包括:
第二获取模块,被配置为从至少一个接近传感器中,获取各个接近传感器测得的接近值;
第二检测模块,被配置为检测第二获取模块获取的各个接近值是否在同一时段内均不等于预定数值,该预定数值是接收端在未接收到反射信号时的接近值;
第二识别模块,被配置为当第二检测模块检测的结果为各个接近值在同一时段内均不等于预定数值时,识别出用户的遮挡手势。
可选的,该装置,还包括:
第三获取模块,被配置为从至少一个接近传感器中,获取各个接近传感器测得的接近值,该接近值在接收端未接收到反射信号时为预设数值;
第三检测模块,被配置为检测第三获取模块获取的接近值是否先由预设数值变为第二数值,再由第二数值减小为第三数值,再由第三数值增大为第二数值,再由第二数值变为预设数值;
第三识别模块,被配置为当第三检测模块检测的结果为接近值先由预设数值变为第二数值,再由第二数值减小为第三数值,再由第三数值增大为第二数值,再由第二数值变为预设数值时,识别出用户的点击手势。
根据本公开实施例的第三方面,提供一种手势识别装置,该装置用于包含触摸屏的终端中,触摸屏中分布有接近传感器,接近传感器包含发射端和接收端,发射端用于发射信号,接收端用于接收信号被操作体遮挡后反射的反射信号,该装置包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,处理器被配置为:
当存在至少一个接近传感器的接收端接收到反射信号,且未检测到操作体作用于触摸屏的触摸操作时,检测至少一个接近传感器是否满足预设变化规则,该预设变化规则为接近传感器的接收端先由未接收到反射信号切换为接收到反射信号,再由接收到反射信号切换为未接收到反射信号;
当至少一个接近传感器满足预设变化规则时,确定该至少一个接近传感器的位置;
根据至少一个接近传感器的位置识别用户的操作手势。
本公开的实施例提供的技术方案可以包括以下有益效果:
通过当存在至少一个接近传感器的接收端接收到反射信号,且未检测到操作体作用于触摸屏的触摸操作时,若检测到接收端先由未接收到反射信号切换为接收到反射信号,再由接收到反射信号切换为未接收到反射信号,则根据该至少一个接近传感器的位置识别用户的操作手势,使得用户无需在触摸屏上执行触摸操作,终端就可以识别出用户做出的操作手势,解决了当用户不方便在触摸屏上执行触摸操作时,终端无法实现识别用户做出的操作手势的问题,达到了增加手势识别的方式,提高手势识别的灵活性的效果。
此外,通过识别操作手势的速度、遮挡手势以及点击手势,可以对操作手势进行扩展,解决了用户在未接触触摸屏时做出的操作手势较少,导致触摸屏对操作手势的响应方式较少的问题,达到了增加触摸屏对操作手势的响应的方式的效果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本公开说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种手势识别方法的流程图。
图2A是根据另一示例性实施例示出的一种手势识别方法的流程图。
图2B是根据一示例性实施例示出的一种确定操作手势的操作位置的场景图。
图2C是根据另一示例性实施例示出的一种确定操作手势的操作位置的场景图。
图2D是根据一示例性实施例示出的一种识别操作手势的场景图。
图2E是根据另一示例性实施例示出的一种识别操作手势的场景图。
图2F是根据另一示例性实施例示出的一种识别操作手势的场景图。
图2G是根据一示例性实施例示出的一种操作手势的速度的识别方法的流程图。
图2H是根据一示例性实施例示出的一种遮挡手势的识别方法的流程图。
图2I是根据一示例性实施例示出的一种点击手势的识别方法的流程图。
图3是根据一示例性实施例示出的一种手势识别装置的框图。
图4是根据一示例性实施例示出的一种手势识别装置的框图。
图5是根据一示例性实施例示出的一种用于手势识别的装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种手势识别方法的流程图,该方法用于包含触摸屏的终端中,该触摸屏中分布有接近传感器,该接近传感器包含发射端和接收端,该发射端用于发射信号,该接收端用于接收所述信号被操作体遮挡后反射的反射信号,如图1所示,该手势识别方法包括以下步骤。
在步骤101中,当存在至少一个接近传感器的接收端接收到反射信号,且未检测到操作体作用于触摸屏的触摸操作时,检测该至少一个接近传感器是否满足预设变化规则,该预设变化规则为接近传感器的接收端先由未接收到反射信号切换为接收到反射信号,再由接收到反射信号切换为未接收到反射信号。
在步骤102中,当至少一个接近传感器满足预设变化规则时,确定该至少一个接近传感器的位置。
在步骤103中,根据至少一个接近传感器的位置识别用户的操作手势。
综上所述,本公开提供的手势识别方法,通过当存在至少一个接近传感器的接收端接收到反射信号,且未检测到操作体作用于触摸屏的触摸操作时,若检测到接收端先由未接收到反射信号切换为接收到反射信号,再由接收到反射信号切换为未接收到反射信号,则根据该至少一个接近传感器的位置识别用户的操作手势,使得用户无需在触摸屏上执行触摸操作,终端就可以识别出用户做出的操作手势,解决了当用户不方便在触摸屏上执行触摸操作时,终端无法实现识别用户做出的操作手势的问题,达到了增加手势识别的方式,提高手势识别的灵活性的效果。
图2A是根据另一示例性实施例示出的一种手势识别方法的流程图,该方法用于包含触摸屏的终端中,该触摸屏中分布有接近传感器,该接近传感器包含发射端和接收端,该发射端用于发射信号,该接收端用于接收所述信号被操作体遮挡后反射的反射信号,如图2A所示,该手势识别方法包括如下步骤。
在步骤201中,当存在至少一个接近传感器的接收端接收到反射信号,且未检测到操作体作用于触摸屏的触摸操作时,检测该至少一个接近传感器是否满足预设变化规则,该预设变化规则为接近传感器的接收端先由未接收到反射信号切换为接收到反射信号,再由接收到反射信号切换为未接收到反射信号。
相关技术中,用户的手指需要接触触摸屏,终端才能给识别出用户的操作手势,即,操作手势需要作用于触摸屏上。而在用户的手指比较脏等不方便接触触摸屏的情况下时,用户需要先擦干净手指,再在触摸屏上执行触摸操作,导致用户不能及时操作终端,或者,用户直接在触摸屏上执行触摸操作,导致触摸屏被污染。为了解决上述问题,本实施例提供了一种无需手指直接接触触摸屏,就可以识别出用户的操作手势的方法,具体方法如下。
触摸屏中分布的接近传感器有两种类型,第一种类型的接近传感器的发射端发射红外线信号,当存在物体接近该接近传感器时,接收端会接收到该红外线信号的反射信号,且接近物体与接近传感器之间的距离越近,接收端接收到的反射信号的光强越强,因此,第一种类型的接近传感器可以根据接收端接收到的反射信号的光强大小,确定接近物体与接近传感器之间的接近值。
第二种类型的接近传感器的发射端发射超声波信号,且发射端和接收端交替工作。当存在物体接近该接近传感器时,接收端会接收到该超声波信号的反射信号,且接近物体与接近传感器之间的距离越近,接收端接收到该反射信号的时间越短,因此,第二种类型的接近传感器可以根据接收端接收到的反射信号的时间长短,确定接近物体与接近传感器之间的接近值。
综上,无论是哪种类型的接近传感器都可以在物体接近时确定出接近值,因此,接近传感器可以根据接近值确定是否存在物体接近,并在存在物体接近时向终端上报该接近事件。
终端在接收到至少一个接近传感器上报的接近事件后,检测触摸屏上是否存在触摸操作,若触摸屏上存在触摸操作,说明该接近事件是作用于触摸屏的操作手势;若触摸屏上不存在触摸操作,说明该接近事件是未作用于触摸屏的操作手势。
假设操作手势是滑动手势,对于在滑动手势的操作过程中被接近的各个接近传感器来说,接近传感器的接收端都是由未接收到反射信号切换为接收到反射信号,再由接收到反射信号切换为未接收到反射信号,因此,可以通过检测该至少一个接近传感器是否满足上述预设变化规则,来识别用户做出的操作手势是否为滑动手势。
其中,检测至少一个接近传感器是否满足预设变化规则的方法,包括:
对于每个接近传感器,获取接近传感器测得的接近值,该接近值用于指示操作体与接近传感器之间的距离,且该接近值在接收端未接收到反射信号时为预设数值;检测接近值是否先由预设数值变为第一数值,再由第一数值变为预设数值;当接近值先由预设数值变为第一数值,再由第一数值变为预设数值时,确定接近传感器的接收端先由未接收到反射信号切换为接收到反射信号,再由接收到反射信号切换为未接收到反射信号,满足预设变化规则。
当接近传感器的接收端未接收到反射信号时,接近传感器的接近值为预设阈值,该预设阈值可以为空;或者,该预设阈值为一个很大的值,例如:无穷远或者10m;或者,该预设阈值为代表接近等级的值,例如:在接近传感器中设定0代表接近等级为很近,1代表接近等级为较近,2代表接近等级为较远,其中,将预设数值设定为2,本实施例不对预设阈值的设定方式作限定。
当接近传感器的接收端接收到反射信号时,接近传感器会测出一个接近值,且该接近值在接近物体距离接近传感器较近时,接近值较小;该接近值在接近物体距离接近传感器较远时,接近值较大,因此,可以根据接近值的变化确定接近传感器的变化。即,当接近值由预设数值变为第一数值时,确定接近传感器的接收端由未接收到反射信号切换到接收到反射信号;当接近值由第一数值变为预设数值时,确定接近传感器的接收端由接收到反射信号切换为未接收到反射信号,其中,第一数值可以为一个固定的数值,也可以为变化的数值,本实施例不作限定。
在步骤202中,当至少一个接近传感器满足预设变化规则时,确定该至少一个接近传感器的位置。
当用户在当前时刻做出操作手势时,由于手指在接近该接近传感器,此时,接近传感器的接收端会接收到反射信号,将接收端接收到反射信号的各个接近传感器组成一个区域。本实施例中,可以将每个区域的中心位置处的接近传感器的位置作为在当前时刻满足预设变化规则的接近传感器的位置,即当前时刻操作手势的操作位置。
例如:如图2B所示,在某一时刻用户做出操作手势2,接收端接收到反射信号的接近传感器在终端1上组成区域3,终端1计算得到该至少一个接近传感器位置的中心点为4,将该中心点4作为该时刻操作手势的操作位置。
再例如:如图2C所示,在某一时刻用户做出操作手势5,接收端接收到反射信号的接近传感器在终端1上组成区域6和区域7,终端1计算得到区域6对应的至少一个接近传感器位置的中心点为8;计算得到区域7对应的至少一个接近传感器位置的中心点为9,将中心点8和中心点9作为该时刻操作手势的操作位置。
终端根据至少一个接近传感器的位置确定出每个时刻操作手势的操作位置,根据每个时刻的操作位置可以识别出用户的操作手势。
在步骤203中,获取至少一个接近传感器的接收端依次接收到反射信号的顺序。
若接近传感器向终端上报接近事件,则终端可以在接收到该接近事件时,记录接收到该接近事件的时间,因此,当用户的操作手势为由连续动作产生时,如:滑动操作,终端可以获取到至少一个接近传感器依次被接近的时间,根据获取的时间确定出该至少一个接近传感器依次被接近的顺序。
在步骤204中,按照顺序将至少一个接近传感器的位置识别为操作手势。
根据步骤202中确定的每个时刻操作手势的操作位置,可以得到操作手势在未接触触摸屏时的操作轨迹;根据步骤203中确定的至少一个接近传感器依次被遮挡的顺序,可以得到操作手势的操作方向,根据该操作轨迹和该操作方向,终端可以识别出用户做出的操作手势。
例如:如图2D所示,在终端1中,第一时刻确定出操作位置11、第二时刻确定出操作位置12、第三时刻确定出操作位置13,根据确定的位置及确定位置的先后顺序识别出用户的操作手势为向右的滑动手势。
可选的,终端还可以设置第一角度阈值和第二角度阈值来确定操作手势的操作方向,其中,第二角度阈值大于第一角度阈值。终端选取任意两个时刻确定出的操作位置,若两个操作位置的连线与水平方向的夹角小于第一角度阈值,则将该操作手势识别为向左或者向右的滑动操作;若两个操作位置的连线与水平方向的夹角大于第一角度阈值小于第二角度阈值,则将该操作手势识别为斜方向的滑动操作;若两个操作位置的连线与水平方向的夹角大于第二角度阈值,则将该操作手势识别为向上或者向下的滑动操作。
例如:如图2E所示,终端在终端1中设置第一角度阈值为30度,第二角度阈值为60度,且在任意选择的第一时刻确定出操作位置12、在任意选择的第二时刻确定出操作位置14,两个操作位置的连线与水平方向的夹角为45度,大于第一角度阈值小于第二角度阈值,因此,根据确定的位置、确定位置的先后顺序及位置连线与水平方向的夹角,终端识别出用户的操作手势为向右上方的滑动手势。
可选的,终端也可以计算每组相邻时刻的两个操作位置的连线与水平方向的夹角的平均值,将该平均值与第一角度阈值和第二角度阈值进行比较,若该平均值小于第一角度阈值,识别为向左或者向右的滑动操作;若该平均值大于第一角度阈值小于第二角度阈值,识别为斜方向的滑动操作;若该平均值大于第二角度阈值,识别为向上或者向下的滑动操作。
可选的,当终端在同一时刻确定出至少两个操作位置时,对于每个操作位置,将相邻时刻距离自身最近的操作位置和自身确定为一个操作组合,根据确定的各个操作组合,识别用户的操作手势。
例如:如图2F所示,在终端1中,第一时刻确定出操作位置11和15、第二时刻确定出操作位置12和16、第三时刻确定出操作位置13和17,则终端确定操作位置11、12、13为一个操作组合;确定操作位置15、16、17为一个操作组合,根据确定的两个操作组合,识别出用户的操作手势。
可选的,为了提供更多的响应操作手势的方式,触摸屏还可以识别出操作手势的速度,图2G是根据一示例性实施例示出的一种操作手势速度识别方法的流程图,该操作手势速度的识别方法应用于包含触摸屏的终端中,该触摸屏中分布有接近传感器,该接近传感器包含发射端和接收端,该发射端用于发射信号,该接收端用于接收所述信号被操作体遮挡后反射的反射信号,如图2G所示,该操作手势速度的识别方法包括如下步骤。
在步骤205中,从至少一个接近传感器中,获取各个接近传感器的接近值的变化时长。
对于每个接近传感器,在一种可能的实现方式中,终端记录接近传感器的接近值持续不等于预设数值的时间,当该接近传感器满足预设变化规则时,终端可以根据记录的时间计算该接近传感器的接近值持续不等于预设数值的变化时长。在另一种可能的实现方式中,终端可以在检测接近传感器满足预设变化规则之前,获取该接近传感器的接近值持续不等于预设数值的变化时长,在检测到该接近传感器满足预设变化规则时,直接读取之前获取的变化时长。本实施例不对终端获取接近值持续不等于预设数值的变化时长的时机作限定。
在步骤206中,计算各个变化时长的平均值。
终端计算获取的各个变化时长的平均值,或者,终端从获取的各个变化时长中选择至少一个变化时长,计算该至少一个变化时长的平均值。
在步骤207中,根据平均值确定手势的操作速度。
终端中预先设置有时间阈值,通过比较平均值与时间阈值的大小可以确定手势的操作速度。其中,时间阈值可以为一个也可以为多个。
例如:在终端中设置两个时间阈值,分别为:第一时间阈值和第二时间阈值,且第二时间阈值小于第二时间阈值。若平均值大于第一时间阈值,则终端确定手势为慢速手势;若平均值小于第二时间阈值,则终端确定手势为快速手势;若平均值大于第二时间阈值且小于第一时间阈值,则终端确定手势为中速手势。
在步骤208中,根据操作速度确定对手势的响应方式。
通过识别操作手势的操作速度,增加了终端对于操作手势的响应方式。
例如:快速右滑手势对应的响应方式为视频快进;慢速右滑手势对应的响应方式为跳转到下一个视频。
可选的,本实施例还提供了一种识别用户做出的遮挡手势的方法,如图2H所示的一种遮挡手势的识别方法的流程图,该方法包括如下步骤。
在步骤209中,从至少一个接近传感器中,获取各个接近传感器测得的接近值。
在步骤210中,检测各个接近值是否在同一时段内均不等于预定数值,该预定数值是接收端在未接收到反射信号时的接近值。
若终端检测出在同一时刻存在至少一个接近值,则继续检测该至少一个接近值是否在相同的时间段内持续不等于预定数值。
在步骤211中,当各个接近值在同一时段内均不等于预定数值时,识别出用户的遮挡手势。
终端可以在各个接近值在同一时段内持续不等预定数值时,识别出用户的操作手势为遮挡手势。终端通过识别出用户的遮挡手势,扩展了对操作手势的响应方式,例如:当终端识别出用户做出遮挡手势时,对应的响应方式为暂停播放视频或者音乐,或者,当终端识别出用户做出遮挡手势时,对应的响应方式为点击某个应用程序。
可选的,终端中还可以设置一个第一预定时间,当各个接近值持续不等于预定数值的时长大于或者等于该第一预定时间时,识别出用户的操作手势为第一类遮挡手势,或者,在终端中设置一个第二预定时间,当各个接近值持续不等于预定数值的时长小于等于该第二预定时间时,识别出用户的操作手势为第二类遮挡手势。终端为不同类型的遮挡手势设置不同的响应方式。
可选的,本实施例还提供了一种识别用户做出的点击手势的方法,如图2I所示的一种遮挡手势的识别方法的流程图,该方法包括如下步骤。
在步骤212中,从至少一个接近传感器中,获取各个接近传感器测得的接近值,该接近值在接收端未接收到反射信号时为预设数值。
在步骤213中,检测接近值是否先由预设数值变为第二数值,再由第二数值减小为第三数值,再由第三数值增大为第二数值,再由第二数值变为预设数值。
假设操作手势是点击手势,对于在点击手势的操作过程中被接近的各个接近传感器来说,测量到的接近值由预设数值先逐渐减小再逐渐增大到预设数值,因此,可以通过检测至少一个接近传感器的接近值是否满足上述变化趋势,来识别用户做出的手势是否为点击手势。
在步骤214中,当接近值先由预设数值变为第二数值,再由第二数值减小为第三数值,再由第三数值增大为第二数值,再由第二数值变为预设数值时,识别出用户的点击手势。
对于每个接近传感器,当终检测出该接近传感器测出的接近值由预设数值变为第二数值时,说明存在物体接近;若接近值继续变化,且由第二数值减小到第三数值,说明该物体与接近传感器的距离减小;若接近值继续变化,且由第三数值增大到第二数值后,继续增大到预设数值,说明物体逐渐远离接近传感器,符合点击手势对应的接近值变化规律。其中,第三数值是变化的,对于不同的点击手势可以对应不同的第三数值。
综上所述,本公开提供的手势识别方法,通过当存在至少一个接近传感器的接收端接收到反射信号,且未检测到操作体作用于触摸屏的触摸操作时,若检测到接收端先由未接收到反射信号切换为接收到反射信号,再由接收到反射信号切换为未接收到反射信号,则根据该至少一个接近传感器的位置识别用户的操作手势,使得用户无需在触摸屏上执行触摸操作,终端就可以识别出用户做出的操作手势,解决了当用户不方便在触摸屏上执行触摸操作时,终端无法实现识别用户做出的操作手势的问题,达到了增加手势识别的方式,提高手势识别的灵活性的效果。
此外,通过识别操作手势的速度、遮挡手势以及点击手势,可以对操作手势进行扩展,解决了用户在未接触触摸屏时做出的操作手势较少,导致触摸屏对操作手势的响应方式较少的问题,达到了增加触摸屏对操作手势的响应的方式的效果。
图3是根据一示例性实施例示出的一种手势识别装置的框图,该方法用于包含触摸屏的终端中,该触摸屏中分布有接近传感器,该接近传感器包含发射端和接收端,该发射端用于发射信号,该接收端用于接收所述信号被操作体遮挡后反射的反射信号,如图3所示,该手势识别装置包括:第一检测模块310、第一确定模块320、第一识别模块330。
该第一检测模块310,被配置为当存在至少一个接近传感器的接收端接收到反射信号,且未检测到操作体作用于触摸屏的触摸操作时,检测至少一个接近传感器是否满足预设变化规则,该预设变化规则为接近传感器的接收端先由未接收到反射信号切换为接收到反射信号,再由接收到反射信号切换为未接收到反射信号;
该第一确定模块320,被配置为当第一检测模310块检测的结果为至少一个接近传感器满足预设变化规则时,确定该至少一个接近传感器的位置;
该第一识别模块330,被配置为根据第一确定模块320确定的至少一个接近传感器的位置识别用户的操作手势。
综上所述,本公开提供的手势识别装置,通过当存在至少一个接近传感器的接收端接收到反射信号,且未检测到操作体作用于触摸屏的触摸操作时,若检测到接收端先由未接收到反射信号切换为接收到反射信号,再由接收到反射信号切换为未接收到反射信号,则根据该至少一个接近传感器的位置识别用户的操作手势,使得用户无需在触摸屏上执行触摸操作,终端就可以识别出用户做出的操作手势,解决了当用户不方便在触摸屏上执行触摸操作时,终端无法实现识别用户做出的操作手势的问题,达到了增加手势识别的方式,提高手势识别的灵活性的效果。
图4是根据一示例性实施例示出的一种手势识别装置的框图,该方法用于包含触摸屏的终端中,该触摸屏中分布有接近传感器,该接近传感器包含发射端和接收端,该发射端用于发射信号,该接收端用于接收所述信号被操作体遮挡后反射的反射信号,如图4所示,该手势识别装置包括:第一检测模块410、第一确定模块420、第一识别模块430。
该第一检测模块410,被配置为当存在至少一个接近传感器的接收端接收到反射信号,且未检测到操作体作用于触摸屏的触摸操作时,检测至少一个接近传感器是否满足预设变化规则,该预设变化规则为接近传感器的接收端先由未接收到反射信号切换为接收到反射信号,再由接收到反射信号切换为未接收到反射信号;
该第一确定模块420,被配置为当第一检测模410块检测的结果为至少一个接近传感器满足预设变化规则时,确定该至少一个接近传感器的位置;
该第一识别模块430,被配置为根据第一确定模块420确定的至少一个接近传感器的位置识别用户的操作手势。
可选的,该第一检测模块410,包括:第一获取子模块411、检测子模块412、确定子模块413。
该第一获取子模块411,被配置为对于每个接近传感器,获取接近传感器测得的接近值,该接近值用于指示操作体与接近传感器之间的距离,且该接近值在接收端未接收到反射信号时为预设数值;
该检测子模块412,被配置为检测第一获取子模块411获取的接近值是否先由预设数值变为第一数值,再由第一数值变为预设数值;
该确定子模块413,被配置为当检测子模块412检测的结果为接近值先由预设数值变为第一数值,再由第一数值变为预设数值时,确定接近传感器的接收端先由未接收到反射信号切换为接收到反射信号,再由接收到反射信号切换为未接收到反射信号,满足预设变化规则。
可选的,该第一识别模块430,包括:第二获取子模块431、识别子模块432。
该第二获取子模块431,被配置为获取至少一个接近传感器的接收端依次接收到反射信号的顺序;
该识别子模块432,被配置为按照第二获取子模块431获取的顺序将至少一个接近传感器的位置识别为操作手势。
可选的,该装置,还包括:第一获取模块440、计算模块450、第二确定模块460、第三确定模块470。
该第一获取模块440,被配置为从至少一个接近传感器中,获取各个接近传感器的接近值的变化时长;
该计算模块450,被配置为计算第一获取模块440获取的各个变化时长的平均值;
该第二确定模块460,被配置为根据计算模块450计算出的平均值确定手势的操作速度;
该第三确定模块470,被配置为根据第二确定模块460确定的操作速度确定对手势的响应方式。
可选的,该装置,还包括:第二获取模块480、第二检测模块490、第二识别模块491。
该第二获取模块480,被配置为从至少一个接近传感器中,获取各个接近传感器测得的接近值;
该第二检测模块490,被配置为检测第二获取模块480获取的各个接近值是否在同一时段内均不等于预定数值,该预定数值是接收端在未接收到反射信号时的接近值;
该第二识别模块491,被配置为当第二检测模块490检测的结果为各个接近值在同一时段内均不等于预定数值时,识别出用户的遮挡手势。
可选的,该装置,还包括:第三获取模块492、第三检测模块493、第三识别模块494。
该第三获取模块492,被配置为从至少一个接近传感器中,获取各个接近传感器测得的接近值,该接近值在接收端未接收到反射信号时为预设数值;
该第三检测模块493,被配置为检测第三获取模块492获取的接近值是否先由预设数值变为第二数值,再由第二数值减小为第三数值,再由第三数值增大为第二数值,再由第二数值变为预设数值;
该第三识别模块494,被配置为当第三检测模块493检测的结果为接近值先由预设数值变为第二数值,再由第二数值减小为第三数值,再由第三数值增大为第二数值,再由第二数值变为预设数值时,识别出用户的点击手势。
综上所述,本公开提供的手势识别装置,通过当存在至少一个接近传感器的接收端接收到反射信号,且未检测到操作体作用于触摸屏的触摸操作时,若检测到接收端先由未接收到反射信号切换为接收到反射信号,再由接收到反射信号切换为未接收到反射信号,则根据该至少一个接近传感器的位置识别用户的操作手势,使得用户无需在触摸屏上执行触摸操作,终端就可以识别出用户做出的操作手势,解决了当用户不方便在触摸屏上执行触摸操作时,终端无法实现识别用户做出的操作手势的问题,达到了增加手势识别的方式,提高手势识别的灵活性的效果。
此外,通过识别操作手势的速度、遮挡手势以及点击手势,可以对操作手势进行扩展,解决了用户在未接触触摸屏时做出的操作手势较少,导致触摸屏对操作手势的响应方式较少的问题,达到了增加触摸屏对操作手势的响应的方式的效果。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本公开一示例性实施例提供了一种手势识别装置,能够实现本公开提供的手势识别方法,该装置用于触摸屏中,触摸屏中分布有接近传感器,接近传感器包含发射端和接收端,发射端用于发射信号,接收端用于接收信号被操作体遮挡后反射的反射信号,该手势识别装置包括:处理器、用于存储处理器可执行指令的存储器;
其中,处理器被配置为:
当存在至少一个接近传感器的接收端接收到反射信号,且未检测到操作体作用于触摸屏的触摸操作时,检测至少一个接近传感器是否满足预设变化规则,该预设变化规则为接近传感器的接收端先由未接收到反射信号切换为接收到反射信号,再由接收到反射信号切换为未接收到反射信号;
当至少一个接近传感器满足预设变化规则时,确定该至少一个接近传感器的位置;
根据至少一个接近传感器的位置识别用户的操作手势。
图5是根据一示例性实施例示出的一种用于手势识别的装置500的框图。例如,装置500可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图5,装置500可以包括以下一个或多个组件:处理组件502,存储器504,电源组件506,多媒体组件508,音频组件510,输入/输出(I/O)的接口512,传感器组件514,以及通信组件516。
处理组件502通常控制装置500的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器518来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件502可以包括一个或多个模块,便于处理组件502和其他组件之间的交互。例如,处理组件502可以包括多媒体模块,以方便多媒体组件508和处理组件502之间的交互。
存储器504被配置为存储各种类型的数据以支持在装置500的操作。这些数据的示例包括用于在装置500上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件506为装置500的各种组件提供电力。电源组件506可以包括电源管理系统,一个或多个电源,及其他与为装置500生成、管理和分配电力相关联的组件。
多媒体组件508包括在所述装置500和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件508包括一个前置摄像头和/或后置摄像头。当装置500处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件510被配置为输出和/或输入音频信号。例如,音频组件510包括一个麦克风(MIC),当装置500处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中,音频组件510还包括一个扬声器,用于输出音频信号。
I/O接口512为处理组件502和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件514包括一个或多个传感器,用于为装置500提供各个方面的状态评估。例如,传感器组件514可以检测到装置500的打开/关闭状态,组件的相对定位,例如所述组件为装置500的显示器和小键盘,传感器组件514还可以检测装置500或装置500一个组件的位置改变,用户与装置500接触的存在或不存在,装置500方位或加速/减速和装置500的温度变化。传感器组件514可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件514还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件516被配置为便于装置500和其他设备之间有线或无线方式的通信。装置500可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件516还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器504,上述指令可由装置500的处理器518执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (11)

1.一种手势识别方法,其特征在于,用于包含触摸屏的终端中,所述触摸屏中分布有接近传感器,所述接近传感器包含发射端和接收端,所述发射端用于发射信号,所述接收端用于接收所述信号被操作体遮挡后反射的反射信号,所述方法包括:
当存在至少一个接近传感器的接收端接收到反射信号,且未检测到所述操作体作用于所述触摸屏的触摸操作时,检测所述至少一个接近传感器是否满足预设变化规则,所述预设变化规则为所述接近传感器的接收端先由未接收到反射信号切换为接收到反射信号,再由接收到反射信号切换为未接收到反射信号;
当所述至少一个接近传感器满足所述预设变化规则时,确定所述至少一个接近传感器中每个接近传感器的位置,并根据每个接近传感器的位置确定每个时刻操作手势的操作位置;
获取所述至少一个接近传感器中每个接近传感器的接收端依次接收到反射信号的顺序;
根据所述顺序和每个时刻操作手势的操作位置,识别用户的操作手势;
其中,所述根据所述顺序和每个时刻操作手势的操作位置,识别用户的操作手势,包括:
当在同一时刻确定出至少两个操作位置时,对于每个操作位置,将相邻时刻距离自身最近的操作位置和自身确定为一个操作组合,根据确定的各个操作组合和所述顺序,识别用户的操作手势。
2.根据权利要求1所述的方法,其特征在于,所述检测所述至少一个接近传感器是否满足预设变化规则,包括:
对于每个接近传感器,获取所述接近传感器测得的接近值,所述接近值用于指示所述操作体与所述接近传感器之间的距离,且所述接近值在所述接收端未接收到反射信号时为预设数值;
检测所述接近值是否先由所述预设数值变为第一数值,再由所述第一数值变为所述预设数值;
当所述接近值先由所述预设数值变为所述第一数值,再由所述第一数值变为所述预设数值时,确定所述接近传感器的接收端先由未接收到反射信号切换为接收到反射信号,再由接收到反射信号切换为未接收到反射信号,满足所述预设变化规则。
3.根据权利要求1或2所述的方法,其特征在于,所述方法,还包括:
从所述至少一个接近传感器中,获取各个接近传感器的接近值的变化时长;
计算各个变化时长的平均值;
根据所述平均值确定所述手势的操作速度;
根据所述操作速度确定对所述手势的响应方式。
4.根据权利要求1所述的方法,其特征在于,所述方法,还包括:
从所述至少一个接近传感器中,获取各个接近传感器测得的接近值;
检测获取的各个接近传感器测得的接近值是否在同一时段内均不等于预定数值,所述预定数值是所述接收端在未接收到反射信号时的接近值;
当所述各个接近值在所述同一时段内均不等于所述预定数值时,识别出所述用户的遮挡手势。
5.根据权利要求1所述的方法,其特征在于,所述方法,还包括:
从所述至少一个接近传感器中,获取各个接近传感器测得的接近值,所述接近值在所述接收端未接收到反射信号时为预设数值;
检测所述接近值是否先由所述预设数值变为第二数值,再由所述第二数值减小为第三数值,再由所述第三数值增大为所述第二数值,再由所述第二数值变为所述预设数值;
当所述接近值先由所述预设数值变为第二数值,再由所述第二数值减小为第三数值,再由所述第三数值增大为所述第二数值,再由所述第二数值变为所述预设数值时,识别出所述用户的点击手势。
6.一种手势识别装置,其特征在于,用于包含触摸屏的终端中,所述触摸屏中分布有接近传感器,所述接近传感器包含发射端和接收端,所述发射端用于发射信号,所述接收端用于接收所述信号被操作体遮挡后反射的反射信号,所述装置包括:
第一检测模块,被配置为当存在至少一个接近传感器的接收端接收到反射信号,且未检测到所述操作体作用于所述触摸屏的触摸操作时,检测所述至少一个接近传感器是否满足预设变化规则,所述预设变化规则为所述接近传感器的接收端先由未接收到反射信号切换为接收到反射信号,再由接收到反射信号切换为未接收到反射信号;
第一确定模块,被配置为当所述第一检测模块检测的结果为所述至少一个接近传感器满足所述预设变化规则时,确定所述至少一个接近传感器中每个接近传感器的位置,并根据每个接近传感器的位置确定每个时刻操作手势的操作位置;
第一识别模块,被配置为获取所述至少一个接近传感器中每个接近传感器的接收端依次接收到反射信号的顺序,根据所述顺序和每个时刻操作手势的操作位置,识别用户的操作手势;
其中,所述第一识别模块具体被配置为:
当在同一时刻确定出至少两个操作位置时,对于每个操作位置,将相邻时刻距离自身最近的操作位置和自身确定为一个操作组合,根据确定的各个操作组合和所述顺序,识别用户的操作手势。
7.根据权利要求6所述的装置,其特征在于,所述第一检测模块,包括:
第一获取子模块,被配置为对于每个接近传感器,获取所述接近传感器测得的接近值,所述接近值用于指示所述操作体与所述接近传感器之间的距离,且所述接近值在所述接收端未接收到反射信号时为预设数值;
检测子模块,被配置为检测所述第一获取子模块获取的所述接近值是否先由所述预设数值变为第一数值,再由所述第一数值变为所述预设数值;
确定子模块,被配置为当所述检测子模块检测的结果为所述接近值先由所述预设数值变为所述第一数值,再由所述第一数值变为所述预设数值时,确定所述接近传感器的接收端先由未接收到反射信号切换为接收到反射信号,再由接收到反射信号切换为未接收到反射信号,满足所述预设变化规则。
8.根据权利要求6或7所述的装置,其特征在于,所述装置,还包括:
第一获取模块,被配置为从所述至少一个接近传感器中,获取各个接近传感器的接近值的变化时长;
计算模块,被配置为计算所述第一获取模块获取的各个变化时长的平均值;
第二确定模块,被配置为根据所述计算模块计算出的所述平均值确定所述手势的操作速度;
第三确定模块,被配置为根据所述第二确定模块确定的所述操作速度确定对所述手势的响应方式。
9.根据权利要求6所述的装置,其特征在于,所述装置,还包括:
第二获取模块,被配置为从所述至少一个接近传感器中,获取各个接近传感器测得的接近值;
第二检测模块,被配置为检测所述第二获取模块获取的各个接近传感器测得的接近值是否在同一时段内均不等于预定数值,所述预定数值是所述接收端在未接收到反射信号时的接近值;
第二识别模块,被配置为当所述第二检测模块检测的结果为所述各个接近值在所述同一时段内均不等于所述预定数值时,识别出所述用户的遮挡手势。
10.根据权利要求6所述的装置,其特征在于,所述装置,还包括:
第三获取模块,被配置为从所述至少一个接近传感器中,获取各个接近传感器测得的接近值,所述接近值在所述接收端未接收到反射信号时为预设数值;
第三检测模块,被配置为检测所述第三获取模块获取的所述接近值是否先由所述预设数值变为第二数值,再由所述第二数值减小为第三数值,再由所述第三数值增大为所述第二数值,再由所述第二数值变为所述预设数值;
第三识别模块,被配置为当所述第三检测模块检测的结果为所述接近值先由所述预设数值变为第二数值,再由所述第二数值减小为第三数值,再由所述第三数值增大为所述第二数值,再由所述第二数值变为所述预设数值时,识别出所述用户的点击手势。
11.一种手势识别装置,其特征在于,用于包含触摸屏的终端中,所述触摸屏中分布有接近传感器,所述接近传感器包含发射端和接收端,所述发射端用于发射信号,所述接收端用于接收所述信号被操作体遮挡后反射的反射信号,所述装置包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
当存在至少一个接近传感器的接收端接收到反射信号,且未检测到所述操作体作用于所述触摸屏的触摸操作时,检测所述至少一个接近传感器是否满足预设变化规则,所述预设变化规则为所述接近传感器的接收端先由未接收到反射信号切换为接收到反射信号,再由接收到反射信号切换为未接收到反射信号;
当所述至少一个接近传感器满足所述预设变化规则时,确定所述至少一个接近传感器中每个接近传感器的位置,并根据每个接近传感器的位置确定每个时刻操作手势的操作位置;
获取所述至少一个接近传感器中每个接近传感器的接收端依次接收到反射信号的顺序;
根据所述顺序和每个时刻操作手势的操作位置,识别用户的操作手势;
其中,所述处理器还被配置为:
当在同一时刻确定出至少两个操作位置时,对于每个操作位置,将相邻时刻距离自身最近的操作位置和自身确定为一个操作组合,根据确定的各个操作组合和所述顺序,识别用户的操作手势。
CN201610034534.5A 2016-01-19 2016-01-19 手势识别方法及装置 Active CN105718056B (zh)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN201610034534.5A CN105718056B (zh) 2016-01-19 2016-01-19 手势识别方法及装置
KR1020187007150A KR102091952B1 (ko) 2016-01-19 2016-09-28 제스처 식별 방법 및 장치
PCT/CN2016/100497 WO2017124768A1 (zh) 2016-01-19 2016-09-28 手势识别方法及装置
JP2017505547A JP6559769B2 (ja) 2016-01-19 2016-09-28 ジェスチャーの識別方法及び装置
RU2017107119A RU2677360C1 (ru) 2016-01-19 2016-09-28 Способ и устройство для распознавания жестов
US15/408,876 US20170206001A1 (en) 2016-01-19 2017-01-18 Method and apparatus for gesture identification
EP17152138.8A EP3196751A1 (en) 2016-01-19 2017-01-19 Gesture identification method and device
EP21165581.6A EP3916535A3 (en) 2016-01-19 2017-01-19 Gesture identification method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610034534.5A CN105718056B (zh) 2016-01-19 2016-01-19 手势识别方法及装置

Publications (2)

Publication Number Publication Date
CN105718056A CN105718056A (zh) 2016-06-29
CN105718056B true CN105718056B (zh) 2019-09-10

Family

ID=56147920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610034534.5A Active CN105718056B (zh) 2016-01-19 2016-01-19 手势识别方法及装置

Country Status (7)

Country Link
US (1) US20170206001A1 (zh)
EP (2) EP3916535A3 (zh)
JP (1) JP6559769B2 (zh)
KR (1) KR102091952B1 (zh)
CN (1) CN105718056B (zh)
RU (1) RU2677360C1 (zh)
WO (1) WO2017124768A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718056B (zh) * 2016-01-19 2019-09-10 北京小米移动软件有限公司 手势识别方法及装置
CN106462756B (zh) * 2016-09-17 2019-08-23 深圳市汇顶科技股份有限公司 指纹采集装置及方法、终端设备及屏幕亮灭的控制方法
CN106371759A (zh) * 2016-09-29 2017-02-01 努比亚技术有限公司 一种基于接近传感器的速度识别系统及移动终端
CN108833709A (zh) * 2018-06-25 2018-11-16 维沃移动通信有限公司 一种摄像头的启动方法和移动终端
CN110448896A (zh) * 2018-10-10 2019-11-15 网易(杭州)网络有限公司 游戏中虚拟操作的控制方法、装置和移动终端
CN109062456B (zh) * 2018-10-12 2022-01-07 Oppo广东移动通信有限公司 一种触控控制方法、触控控制装置及终端设备
EP3767325A1 (en) * 2019-07-19 2021-01-20 Aptiv Technologies Limited Methods and systems for processing radar reflections
US20210239819A1 (en) * 2020-02-05 2021-08-05 Samsung Electronics Co., Ltd. System and method for detecting proximity of users
CN113467623A (zh) * 2020-03-31 2021-10-01 北京小米移动软件有限公司 终端设备及控制方法、操作指令的检测模组
TWI820590B (zh) * 2021-04-30 2023-11-01 日商阿爾卑斯阿爾派股份有限公司 鄰近檢測裝置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103713735A (zh) * 2012-09-29 2014-04-09 华为技术有限公司 一种使用非接触式手势控制终端设备的方法和装置
CN104991647A (zh) * 2015-07-08 2015-10-21 杭州木梢科技有限公司 一种可实现手势识别的被控装置及其控制方法
CN105204650A (zh) * 2015-10-22 2015-12-30 上海科世达-华阳汽车电器有限公司 一种手势识别方法、控制器、装置及设备

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000100287A (ja) * 1998-09-21 2000-04-07 Smk Corp 操作パネル入力装置
JP2005295399A (ja) * 2004-04-02 2005-10-20 Smk Corp タッチパネル入力装置
JP2007219676A (ja) * 2006-02-15 2007-08-30 Tokyo Institute Of Technology データ入力装置、情報機器、およびデータ入力方法
US8665225B2 (en) * 2007-01-07 2014-03-04 Apple Inc. Portable multifunction device, method, and graphical user interface for interpreting a finger gesture
JP5514720B2 (ja) * 2007-06-27 2014-06-04 コーニンクレッカ フィリップス エヌ ヴェ デバイスから独立した制御及び変更を提供するシステム及び方法
JP4924393B2 (ja) * 2007-12-05 2012-04-25 ソニー株式会社 ディスプレイ装置
WO2009124074A1 (en) * 2008-03-31 2009-10-08 Victor Toso Adjustable ergonomic chair
KR101506488B1 (ko) * 2008-04-04 2015-03-27 엘지전자 주식회사 근접센서를 이용하는 휴대 단말기 및 그 제어방법
DE102008040880A1 (de) * 2008-07-31 2010-02-04 Robert Bosch Gmbh Verfahren und Vorrichtung zur Bestimmung des Dampfdrucks eines Kraftstoffs
CN101819490A (zh) * 2009-02-27 2010-09-01 索尼公司 反射检测设备、显示设备、电子设备和反射检测方法
US8839155B2 (en) * 2009-03-16 2014-09-16 Apple Inc. Accelerated scrolling for a multifunction device
US20100245289A1 (en) * 2009-03-31 2010-09-30 Miroslav Svajda Apparatus and method for optical proximity sensing and touch input control
CN102214028B (zh) * 2010-04-06 2014-07-16 晨星软件研发(深圳)有限公司 触控板的手势识别方法与手势识别装置
US8987777B2 (en) * 2011-07-11 2015-03-24 International Rectifier Corporation Stacked half-bridge power module
KR101880998B1 (ko) * 2011-10-14 2018-07-24 삼성전자주식회사 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법
US8854335B2 (en) * 2012-03-22 2014-10-07 Eminent Electronic Technology Corp. Ltd. Electronic apparatus having touch sensing ability and non-touch sensing ability and control method thereof
US20130293454A1 (en) * 2012-05-04 2013-11-07 Samsung Electronics Co. Ltd. Terminal and method for controlling the same based on spatial interaction
KR20140056860A (ko) * 2012-11-01 2014-05-12 주식회사 팬택 광 센서를 구비한 전자 기기 및 이의 제어 방법, 이 전자 기기를 위한 제스처 인식 장치와 방법
JP2014115733A (ja) * 2012-12-06 2014-06-26 Sharp Corp 情報処理装置、情報処理方法、プログラム、および記録媒体
FR3000245B1 (fr) * 2012-12-21 2016-04-29 Dav Module d'interface
WO2014140827A2 (en) * 2013-03-14 2014-09-18 Eyesight Mobile Technologies Ltd. Systems and methods for proximity sensor and image sensor based gesture detection
EP2790093B1 (en) * 2013-04-09 2020-06-03 ams AG Method for gesture detection, optical sensor circuit, in particular an optical sensor circuit for gesture detection, and optical sensor arrangement for gesture detection
JP2014215649A (ja) * 2013-04-23 2014-11-17 アルプス電気株式会社 入力装置
US9652044B2 (en) * 2014-03-04 2017-05-16 Microsoft Technology Licensing, Llc Proximity sensor-based interactions
KR20150104302A (ko) * 2014-03-05 2015-09-15 삼성전자주식회사 전자 장치의 사용자 입력 검출 방법 및 그 전자 장치
CN105718056B (zh) * 2016-01-19 2019-09-10 北京小米移动软件有限公司 手势识别方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103713735A (zh) * 2012-09-29 2014-04-09 华为技术有限公司 一种使用非接触式手势控制终端设备的方法和装置
CN104991647A (zh) * 2015-07-08 2015-10-21 杭州木梢科技有限公司 一种可实现手势识别的被控装置及其控制方法
CN105204650A (zh) * 2015-10-22 2015-12-30 上海科世达-华阳汽车电器有限公司 一种手势识别方法、控制器、装置及设备

Also Published As

Publication number Publication date
KR20180038546A (ko) 2018-04-16
KR102091952B1 (ko) 2020-03-20
EP3916535A3 (en) 2022-01-19
RU2677360C1 (ru) 2019-01-16
WO2017124768A1 (zh) 2017-07-27
EP3196751A1 (en) 2017-07-26
US20170206001A1 (en) 2017-07-20
JP6559769B2 (ja) 2019-08-14
CN105718056A (zh) 2016-06-29
EP3916535A2 (en) 2021-12-01
JP2018506089A (ja) 2018-03-01

Similar Documents

Publication Publication Date Title
CN105718056B (zh) 手势识别方法及装置
CN105511631B (zh) 手势识别方法及装置
CN105488464B (zh) 指纹识别方法及装置
CN105607857B (zh) 页面选择方法和装置
CN105468695B (zh) 信息显示方法与装置
CN105204846A (zh) 多人视频中视频画面的显示方法、装置及终端设备
KR101763270B1 (ko) 캐릭터 결정 방법, 장치, 프로그램 및 컴퓨터가 판독가능한 기록매체
JP6431911B2 (ja) 閾値を設定するための方法及び装置
CN105224171B (zh) 图标显示方法、装置及终端
CN105373334B (zh) 交互式屏幕控制方法与装置
CN104536659B (zh) 目标物信息处理方法及装置
CN105094616A (zh) 触摸屏控制方法及装置
CN105607738B (zh) 确定单手模式的方法及装置
CN106201108B (zh) 手套触控模式控制方法和装置以及电子设备
CN105094465A (zh) 环境光测量方法及装置
CN105242837B (zh) 应用页面获取方法及终端
CN110059547A (zh) 目标检测方法及装置
CN110262692A (zh) 一种触摸屏扫描方法、装置及介质
CN108881634A (zh) 终端控制方法、装置及计算机可读存储介质
CN105204713A (zh) 来电响应方法及装置
CN106126050B (zh) 菜单显示方法及装置
CN105373318B (zh) 信息显示方法及装置
CN107122149A (zh) 应用程序的显示方法、装置及终端
CN105447178A (zh) 垃圾文件的提醒方法及装置
CN105205101A (zh) 网络信息的评价方法、装置及终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant