CN105339884B - 用户输入的分类 - Google Patents
用户输入的分类 Download PDFInfo
- Publication number
- CN105339884B CN105339884B CN201380077374.7A CN201380077374A CN105339884B CN 105339884 B CN105339884 B CN 105339884B CN 201380077374 A CN201380077374 A CN 201380077374A CN 105339884 B CN105339884 B CN 105339884B
- Authority
- CN
- China
- Prior art keywords
- touch
- contact
- user
- information
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 47
- 238000003860 storage Methods 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 21
- 230000001419 dependent effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 20
- 230000008569 process Effects 0.000 description 17
- 210000003811 finger Anatomy 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 230000003993 interaction Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000003414 extremity Anatomy 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012797 qualification Methods 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/0227—Cooperation and interconnection of the input arrangement with other functional units of a computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
- G06F3/04186—Touch location disambiguation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
描述了用于标识非故意的用户输入(比如非故意的触摸接触或空中输入)的技术。这些技术可以包括基于与触摸接触、空中输入或者经由其接收触摸接触或空中输入的设备有关的上下文信息将触摸接触或空中输入分类为有意的或无意的。在一些示例中,上下文信息可以指示用户如何与设备进行交互,比如用户手的位置、触摸表面上的触摸接触的位置、用户的触摸轨迹的路径、用户可能正与其交互的应用、用户的键盘输入历史等等。当用户输入被分类为无意的时,这些技术可以制止执行通常由用户输入触发的动作。
Description
背景技术
很多计算设备利用触摸表面,比如触摸板和触摸屏。这些触摸表面接收来自用户或物品的输入,该输入导致计算设备执行动作,比如选择图标、滚动通过页面等等。在一些实例中,用户或物品可能非故意地接触到触摸表面,触发非故意动作的执行。例如,正在其膝上型电脑的键盘上打字的用户可能无意间将他的手掌搁在了触摸板上,导致通过触摸板接收到了无意的输入。随着数目日益增长的计算设备配备有触摸表面和其它输入设备,存在不断增加的对于准确地标识有意输入的需求。
发明内容
本公开部分地描述用于标识非故意用户输入(比如非故意的触摸接触或空中输入)的技术和架构。在一些实例中,这些技术包括接收用户输入的指示并且将用户输入分类为有意的或无意的。用户输入可以包括,例如,通过触摸表面接收的触摸接触、由相机检测到的空中输入等等。可以基于与用户输入或者通过其接收用户输入的设备有关的上下文信息对用户输入进行分类。在一些示例中,上下文信息可以指示用户如何与设备进行交互,比如用户手的位置、触摸表面上的触摸接触的位置、用户可以与其交互的应用、用户的键盘输入历史等等。当用户输入被分类为无意的时,这些方法可以制止执行通常由用户输入触发的动作。通过利用上下文信息,这些技术可以准确地标识出非故意的用户输入并且可以避免无意动作的执行。
提供本发明内容部分来以简化的形式介绍将在下面在具体实施方式中进一步描述的概念的选择。本发明内容并非意图用来标识所要求保护的主题的关键或必要特征,其也并非意图被用于限定所要求保护的主题的范围。
附图说明
参照附图阐述具体实施方式。在图中,参考数字中最左侧的(多个)数标识该参考数字首次出现于其中的图。不同图中使用相同的参考数字指示类似或相同的项目或特征。
图1图示出了其中可以实现本文描述的技术的示例架构。
图2图示出了图1的设备的示例细节。
图3A和3B图示出了用于对在具有集成触摸板和键盘的设备上接收到的触摸接触进行分类的示例技术。
图4图示出了用于对经由触摸屏接收到的触摸接触进行分类的示例技术。
图5A和5B图示出了用于基于与当前正在运行的应用有关的应用信息对触摸接触进行分类的示例技术。
图6A和6B图示出了用于基于键盘输入历史对触摸接触进行分类的示例过程。
图7图示出了用于对用户输入进行分类的示例过程。
图8图示出了用于基于触摸表面上触摸接触的位置对触摸接触进行分类的示例过程。
具体实施方式
在很多设备中,在触摸表面或其它类型的输入设备上的无意接触可能会触发无意动作的执行。这可能通常会向设备的用户提供差劲的体验。随着更多的设备配备有触摸表面和其它类型的输入设备,存在不断增加的对准确地标识有意输入的需求。
本公开描述用于标识非故意的用户输入(比如非故意的触摸接触或空中输入)的技术和架构。在一种实现方案中,设备可以经由该设备的触摸表面或与该设备连接的触摸表面(比如触摸板或触摸屏)接收触摸接触。触摸接触可以接收自用户的手指或手的其它部分、触笔或者用户的可以检测到的任何其它物体或部分。可以基于与触摸接触或该设备有关的上下文信息对触摸接触进行分类。上下文信息可以提供丰富的信息源来推断造成触摸接触的用户意图。当触摸接触被分类为无意的时,该设备可以制止执行通常由这样的接触触发的动作。
例如,当上下文信息指示触摸接触是在触摸表面上与无意接触相关联的预定部分(例如,沿着触摸表面外周的部分)内接收到的时,可以将触摸接触分类为无意的并且可以避免相关联的动作。在另一个示例中,当上下文信息指示已经在一段时间内没有通过键盘接收到输入了(例如,指示用户已经完成了打字)时,可以将触摸接触分类为有意的并且可以执行相关联的动作。在再另一个示例中,当上下文信息指示特定类型的应用或字段控件是激活的(例如,字处理应用正在运行或者选择了文本输入字段来接收键盘输入),可以将触摸接触分类为无意的并且可以避免相关联的动作。
在一些实例中,一旦采集到关于触摸接触的进一步信息,触摸接触就可以经历附加的分类。该信息可以指示触摸接触在触摸表面上的持续时间、触摸接触在触摸表面上的速度和/或触摸接触在触摸表面上的路径。如果该信息指示触摸接触被不正确地标识为有意的,则可以撤消该触摸接触触发的动作(例如,可以取消该动作)。
虽然在前面讨论的示例中,以及在下面的很多示例中,在触摸接触的上下文中对技术加以讨论,但是这些技术可以应用于其它类型的用户输入,比如空中输入。如本文所使用的,“空中输入”可以指的是在不接触表面的情况下接收的任何类型的输入(例如,空中手势)。
通过基于上下文信息将用户输入分类为有意的或无意的,这些技术或架构可以利用丰富的信息源来评估用户输入。这可以允许非故意的用户输入得到抑制并且避免执行无意的动作,这最终可以提升用户的体验。进一步地,通过一旦收集到了关于用户输入的进一步信息就提供附加的分类,并且如果必要的话,撤消之前执行的动作,这些技术和架构可以提供随着附加信息的收集而适应性改变的响应性用户感受。
这一简要介绍是为了读者的方便而提供的,而并非意图限制权利要求的范围,也不是用来限制后续的章节。此外,下面详细描述的技术可以是以多种方式并且在多种上下文中实现的。参照附图提供示例实现方案和上下文,如下面更加详细地描述的。不过,要意识到,以下实现方案和上下文仅仅是很多实现方案和上下文的示例。
示例架构
图1图示出了其中可以实现本文描述的技术的示例架构100。架构100包括被配置成标识非故意的用户输入(例如,触摸接触、空中输入等)并且执行其它操作的一个或多个设备102(下文中称为“设备102”)。例如,设备102可以评估与触摸接触和/或设备102相关联的上下文信息,以将触摸接触分类为有意的或无意的。当触摸接触被分类为有意的时,设备102可以执行与该触摸接触相关联的动作,比如选择接口元件、移动鼠标指针或光标、在页面上滚动等等。相反,当触摸接触被分类为无意的时,可以不执行相关联的动作。
设备102可以包括膝上型计算机、台式计算机、智能电话、电子阅读器设备、移动手机、个人数字助理(PDA)、便携式导航设备、便携式游戏设备、游戏控制台、平板计算机、手表、便携式媒体播放器等等。在一些实例中,设备102可以包括移动设备,而在其它实例中,设备102可以包括固定设备。
设备102可以配备有一个或多个处理器104、存储器106、一个或多个键盘108(下文称为“键盘108”)、一个或多个辅助传感器110(下文称为“辅助传感器110”)和一个或多个触摸表面112(下文称为“触摸表面112”)。虽然图1中没有图示出,但是设备102还可以包括或者关联于一个或多个网络接口、显示器、外围设备(例如,鼠标、非集成键盘、游戏杆等等)以及其它元件。所述一个或多个处理器104可以包括中央处理器(CPU)、图形处理单元(GPU)、微处理器等等。可替换地或此外,本文描述的技术可以至少部分地由一个或多个硬件逻辑组件执行。例如而非限制,可以使用的说明性类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、程序特定集成电路(ASIC)、程序特定标准产品(ASSP)、片上系统系统(SOC)、复杂可编程逻辑器件(CPLD)等等。
在一些实例中,键盘108包括一组机械或压敏按钮,而在其它实例中,键盘108可以是通过触摸屏或其它类型的触摸表面来实现的。键盘108的按钮可以包括字母数字按键(例如字母或数字)、控制按键(例如,上档、回车、F1-F12、esc等等)或者任何其它类型的按键。辅助传感器110可以包括检测对象到设备102的接近的接近传感器(例如,检测用户抓握设备102的传感器等)、存在传感器、红外(IR)/热传感器、Wi-Fi®传感器、相机、麦克风等等。在一些实例中,相机和/或麦克风可以起到检测对象到设备的接近的作用(例如,通过分析接近于该设备的对象的视频或音频)。
触摸表面112可以包括被配置成检测触摸接触的任何类型的数字转换器。该检测可以基于电容的、光学的或任何其它的感测技术。在一个示例中,触摸表面112包括具有用于感测触摸、压力和/或(接触区域的)力的触感传感器的触摸板112(a)(也称为轨迹板)。可替换地或此外,触摸表面112可以包括触摸屏112(b)。在一些实例中,触摸表面112可以被实现为包括触摸板和鼠标的设备(例如,处于设备102之外或者与设备102集成的组合触摸板-鼠标设备)。此外,在一些实例中,触摸屏112(b)可以被实现为被配置成显示内容的显示器,而触摸板112(a)可以不被配置成显示内容。
存储器106可以包括被配置为一个或多个“模块”的软件功能。术语“模块”意图代表用于讨论目的的软件的示例划分,而不意图代表任何类型的要求或所要求的方法、方式或组织。因此,虽然讨论到各种“模块”,但是它们的功能和/或类似的功能可以被不同地布置(例如,组合到少数几个模块内、分解到大量模块中等)。此外,虽然某些功能和模块在本文中被描述为是由可在处理器上运行的软件和/或固件实现的,但是在其它的实施例中,任何或所有这些模块都可以全部或部分由硬件实现(例如,实现为ASIC、专用处理单元等等)来执行所描述的功能。在一些实例中,功能和/或模块被实现为操作系统的一部分。在其他实例中,功能和/或模块被实现为设备驱动程序(例如触摸表面的驱动程序)的一部分、固件等等。如图1中所图示的,存储器106包括分类模块114和学习模块116。
分类模块114可以对通过设备104(例如触摸表面112)接收的用户输入(例如,触摸接触、空中输入等等)进行分类。该分类可以基于上下文信息和/或其它类型的信息。在图1中所图示的一个示例中,相比于触摸表面112(a)的其它部分(例如,没有阴影的中央部分),触摸表面112(a)的部分118可能与较高程度的非故意接触相关联。如果上下文信息,即触摸接触的位置信息,指示用户的手120接触了触摸表面112(a)的部分118,则分类模块114可以将触摸接触分类为非故意的。在图1中,手120上的虚线椭圆图示出了手120的可能接触触摸表面112(a)的部分。在另一个示例中,分类可以基于在多近的时间内通过键盘108接收到过输入。如果例如在一段时间内(例如,在过去一秒内)通过键盘接收到过输入,则这可以指示用户仍然在进行打字并且可以将通过触摸表面112(a)接收到的触摸接触分类为非故意的。下面将会讨论对触摸接触进行分类的其它示例。
学习模块116可以学习与用户与设备102的交互有关的信息。例如,学习模块116可以学习用户的平均打字速率(例如,每单位时间击键数量)、关于用户的双手的特性(例如,用户手指指尖的尺寸、手掌的尺寸等)、用户在打字之后多长时间使用一次触摸表面112等等。可以利用这一信息来产生针对触摸表面112和/或其它输入设备的个性化用户体验。举例来说,通过学习用户手指指尖的尺寸,分类模块116可以将非故意的触摸接触准确地标识为尺寸大于用户手指指尖尺寸的触摸接触。下面将会讨论学习信息的其它示例。
虽然本文的很多示例技术将用户输入讨论为对应于触摸接触,但是这些技术可以类似地应用于其它类型的用户输入,比如空中输入。如本文所使用的,“空中输入”可以指的是在不接触表面的情况下接收的任何类型的输入(例如,通过空气)。在一个实例中,空中输入包括空中手势,比如用户挥手来发起动作、用户把手保持在特定的取向上或以特定的方式保持手(例如握拳或拇指竖起)或者任何其它类型的肢体动作或定位。如此一来,在一些实例中,设备102可以包括和/或关联于相机、传感器(例如,IR传感器)、麦克风或者检测空中输入的其它设备。在一个示例中,设备102包括用于检测用户的肢体动作的相机。
如图1中所图示的,架构100还可以包括服务提供方122来为设备102提供一个或多个服务。服务提供方122可以包括一个或多个计算设备,比如一个或多个台式计算机、膝上型计算机、服务器等等。一个或多个计算设备可以被配置在集群、数据中心、云计算环境或者它们的组合中。在一个示例中,一个或多个计算设备提供对设备102远程操作的云计算资源,包括计算资源、存储资源等等。
服务提供方122可以配备有一个或多个处理器124和存储器126。存储器126可以包括为设备102提供资源的一个或多个资源模块128(下文称为“资源模块128”)。例如,资源模块128可以维护由学习模块116学习到的信息。这可以包括从设备102接收信息和/或将信息发送到另一个设备以使得用户可以利用具有学习到的信息的其它设备,比如在用户购买了新的设备并且希望将学习到的信息转移到新设备的情况下。在另一个示例中,资源模块128可以包括为设备102提供操作系统和/或其它功能的基于云的操作系统。虽然图1中没有图示出,服务提供方122还可以包括一个或多个网络接口及其它元件。
虽然在图1的示例架构100中,模块114和116被图示为包括在设备102之中,但是这些元件中的一个或多个以及本文讨论的设备102的任何元件可以是包括在服务提供方122中的。如此一来,在一些实例中,设备102可以充当接收用户输入并且输出内容的输入/输出设备,而服务提供方122执行用于对用户输入进行分配、学习信息的功能以及其它操作。
存储器106和/或126可以包括一个计算机可读介质或者计算机可读介质的组合。计算机可读介质可以包括计算机存储介质和/或通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据这样的信息的任何方法或技术实现的易失性的和非易失性的、可移动的和不可移动的介质。计算机存储介质包括但不局限于,相变存储器(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其它类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦可编程只读存储器(EEPROM)、闪速存储器或其它存储器技术、紧凑盘只读存储(CD-ROM)、数字通用盘(DVD)或其它光学存储装置、盒式磁带、磁带、磁盘存储装置或其它磁性存储设备、或者可用于存储信息以供计算设备访问的任何其它非传输介质。
相反,通信介质可以体现诸如载波之类的调制数据信号或其它传输机制中的计算机可读指令、数据结构、程序模块或其它数据。如本文所定义的,计算机存储介质不包括通信介质。
设备102和服务提供方122可以经由一个或多个网络130进行通信。所述一个或多个网络130可以包括多种不同类型的网络中的任何一种或组合,所述多种不同类型的网络比如蜂窝网络、无线网络、局域网(LAN)、广域网(WAN)、个域网(PAN)和因特网。
示例设备
图2图示出了图1的设备102的示例细节。特别地,图2图示出了设备102的分类模块114和学习模块116的一种示例实现方案的细节。在这一实现方案中,分类模块114是用第一阶段分类器202(例如,模块)、第二阶段分类器204和撤消模块206实现的。一般地,第一阶段分类器202的目标可以是利用容易获得的信息相对快速地(例如,没有延迟地)做出判决。在一些实例中,第一阶段分类器202可以朝向将输入分类为有意的而犯错,以便避免在第一阶段相对少量信息可获得时丢弃有效输入。同时,第二阶段分类器204的目标可以是基于比第一阶段分类器202可获得的更多信息(例如,更多的上下文)做出判决。这可以以等待更长时间来采集附加信息为代价来实现。不过,在一些实例中,由于在第二阶段中使用了大量的信息进行分类的原因,第二阶段分类器204可以提供比第一阶段分类器202更加准确的判决。
第一阶段分类器202可以接收来自键盘108、辅助传感器110、触摸表面112和/或任何其它设备(例如,相机)的输入信息。当从触摸表面112或其它设备接收到描述用户输入(例如,触摸接触)的信息时,第一阶段分类器202可以对与用户输入和/或设备102有关的上下文信息进行分析,以确定用户输入的初始分类。初始分类可以指示用户输入是否是有意的。上下文信息可以是由键盘108、辅助传感器110、触摸表面112和/或另一个设备提供的,和/或可以被保存在上下文信息数据储存器208中。上下文信息的一些示例包括:
·用户输入的位置信息,其指示用户输入的位置,比如触摸表面112上触摸接触的位置。如果例如用户输入是触摸接触,则位置信息可以指示该触摸接触是否是在触摸表面112的预先确定的部分内(例如,在触摸表面112(a)的部分118内)接收到的。触摸接触的位置可以被称为“绝对位置”,因为它提供触摸接触相对于触摸表面112而不是相对于所显示内容的位置(例如,相对于显示屏的鼠标光标)。在另一个示例中,如果用户输入是空中输入,则位置信息可以指示输入相对于设备102的位置,比如到设备102的距离、用户做出空中手势所处的垂直平面或区域上的位置,等等。举例来说,位置信息可以指示,用户的手位于用户头部上方距设备102特定距离处。位置信息可以是由触摸表面112或任何其它设备(例如,相机)提供的。
·用户输入的几何结构信息,其指示用户输入的尺寸和形状。例如,几何结构信息可以指示触摸接触大体上是矩形的或椭圆形的并且提供形状的大小(例如,矩形的高度和宽度)。在一些实例中,几何结构信息可以由环绕用户输入(例如,触摸接触)的边界框来代表。几何结构信息可以是由触摸表面112或任何其它设备(例如,相机)提供的。
·触摸接触的压力信息,其指示进行触摸接触所施加的压力的量。压力信息可以由触摸表面112提供。
·用户输入的置信值(例如,置信比特),其由接收到用户输入的设备(比如触摸表面112)确定。例如,置信值可以指示触摸接触为有意的可能性并且可以是在触摸表面112处接收到触摸接触的时间附近确定的。
·指示基本上同时发生的用户输入的数量(比如触摸表面112上同时发生的触摸接触的数量)的信息。这个信息可以由触摸表面112或另一个设备提供。
·手位置信息,其指示用户手相对于设备102的位置。例如,辅助传感器110可以提供指示用户的手非常接近于或者接触到键盘108、指示用户正沿着设备102的侧面手抓握设备102等等的信息。位置信息可以是从键盘108、辅助传感器110和/或触摸表面112提供的。
·与当前正在或者最近曾经在设备102上运行的程序或应用有关的应用信息210。应用信息可以指示正在运行的应用的类型(例如,游戏应用、字处理应用、电子邮件应用或者任何其它种类的应用)、当前正被显示的内容(例如,视频内容正被显示、用户接口元件正被显示等等)、正在被进行交互的应用的内容(例如,正在接收输入的字段控件的类型)等等。举例来说,应用信息210可以指示用户当前正在向用户接口的文本输入字段中输入文本信息。应用信息210可以是由设备102的一个或多个应用212(例如,当前正在运行的应用)提供的。
·键盘108的键盘输入历史。键盘输入历史可以指示击键时间(例如,“k”按键在上午11:34:02被按下12微秒)、击键或字词速率(例如,用户平均每分钟40个字词)、所接收到的击键的类型(例如,合格含义的字母数字按键或者非合格含义的其它按键)、所接收到的击键的数量、录入字词之间的时间量(例如,用户在字词之间暂停10ms)、在不同类型的输入按键之间进行切换之间的时间量(例如,用户在录入字母与录入数字之间暂停45ms)、按压键盘108的各个按键使用的力的量,等等。在一些实例中,分类模块114可以利用键盘输入历史来确定通过键盘108接收输入与通过触摸表面112接收输入之间的时间量。在一个示例中,这个时间量包括接收“合格”键盘输入(例如字母数字按键)与接收触摸表面输入之间的时间量。键盘输入历史可以是从键盘108收集的和/或由分类模块114计算的。
·与外围设备(例如鼠标、游戏杆、相机、麦克风等等)有关的外围设备信息。这个信息可以指示是否连接了外围设备或者正在使用外围设备、外围设备正在使用的程度、外围设备相对于设备102的位置、外围设备的运动速度等等。
在确定触摸接触的初始分类的一个示例中,第一阶段分类器202可以在键盘输入历史指示在接收到触摸接触之前在预定时间内(例如,在接收到触摸接触之前最后两秒内)已经接收到小于一个阈值数量的击键时将触摸接触分类为有意的。相反,如果在接收到触摸接触之间已经接收到多于该阈值数量的击键,则可以将触摸接触分类为无意的。这个阈值可以由用户设定。在这个示例中,击键的数量可以提供关于用户如何与设备102交互的指示。相对较大量的击键(例如,高于阈值)可以指示用户正在打字过程中,并且并不意图接触触摸表面112,而相对较小量的按键可以指示用户正在录入数据并且意图接触触摸表面112。
在另一个示例中,第一阶段分类器202可以在触摸表面112上同时发生的接触的数量大于一个阈值数量(例如,大于三)时将触摸接触分类为无意的。这可能会促使抑制所有的触摸接触(例如,忽略每一个接触)或者抑制特定的触摸接触(例如,第一触摸接触享有优先级)。在再另一个示例中,在来自触摸表面112的置信值指示触摸接触很可能不是所意图的时和/或在压力信息指示压力的量小于一个阈值时,可以将触摸接触分类为无意的。下面将参照图3-5讨论对触摸接触进行分类的其他示例。
第二阶段分类器204可以确定由第一阶段分类器202做出的用户输入分类是否正确。在一些实例中,第二阶段分类器204可以分析存储在用户输入历史数据储存器214中的用户输入历史。如所图示的,第一阶段分类器202可以通过向用户输入历史数据储存器214提供关于用户输入的信息(例如,几何结构信息、位置信息、压力信息等)来帮助制定用户输入历史。利用该用户输入历史,第二阶段分类器204可以确认或推翻由第一阶段分类器202做出的判决。例如,当用户输入历史指示触摸接触在多于阈值时间量内没有接触触摸表面112时,由第一阶段分类器202初始分类为有意的触摸接触可以被第二阶段分类器204推翻为无意的。相反,在触摸接触在多于该阈值时间量的内存在时,有意的初始分类可以被保持。在另一个示例中,被初始分类为有意的触摸接触(其中触摸接触还没有被移动并且因此还没有与速度相关联)可以被推翻为无意的,如果在移动了触摸接触之后用户输入历史指示触摸接触的速度大于一个阈值的话。
如图2中所图示的,第二阶段分类器204可以此外或可替换地分析来自上下文信息数据储存器208的应用信息210。例如,如果在将触摸接触初始分类为有意的之后,对应用信息210进行更新以反映在该触摸接触被接收时应用的实际状态,则第二阶段分类器204可以基于该应用信息210推翻或确认初始分类。虽然在图2的示例中,应用信息210是提供给第二阶段分类器204的来自上下文信息数据储存器208的唯一信息,但是可以提供来自上下文信息数据储存器208的任何其它信息。
第一和第二阶段分类器202和204可以一起工作来以高效的方式准确地标识非故意的用户输入。在一些实例中,在第一阶段分类器202处将用户输入初始分类为有意的可以立即触发一个动作被执行,比如选择图标、打开应用等等。此后,由于收集到关于用户输入和/或设备102的进一步的信息,第二阶段分类器204可以确认或推翻初始分类。通过这样做,分类模块114可以为用户提供适应得与信息获得一样快的响应性体验。
在一些实例中,当第二阶段分类器204确定第一阶段分类器202不正确地将用户输入分类为有意的并且触发了动作的执行时,撤消模块206可以执行处理以撤消或取消该动作。撤消模块206可以发送指令来撤销该动作或者以其它方式取消该动作。举例来说,如果响应于有意的触摸接触的初始分类而发送用新的内容刷新显示器的指令,并且该刷新还没有发生,则如果确定该初始分类结果是不正确的,撤消模块206可以发送指令来撤销该刷新。这里,这可以避免用户注意到发生了不正确的分类。在另一个举例中,如果动作已经被执行了,比如放大一个物品,则撤消模块206可以促使该动作被逆转或取消,比如显示放大之前的物品。
第一阶段分类器202和/或第二阶段分类器204可以被实现为规则分类器或统计分类器。在规则实现方案中,可以为用于分类的每个特性(例如输入)定义规则。例如,可以将触摸接触的几何结构信息与基于阈值的规则进行比较,以确定相关联的触摸接触是否是有意的。如果该几何结构信息指示触摸接触的形状或尺寸满足基于阈值的规则(例如,小于预定的尺寸),则可以将该触摸接触分类为有意的。在另一个示例中,可以将手的位置信息与基于阈值的规则进行比较,以确定手是否位于到设备102的特定部分(例如键盘)的预定距离之内,这可以指示触摸接触的意图(例如,如果手靠近键盘放置,则可以将触摸接触分类为无意的)。
同时,在统计实现方案中(例如,统计学习),可以使用特性(例如,输入)的组合来对用户输入进行分类。这里,可以对特性加权以使得特定的特性被给予比其它特性更大的重要性。这么做的一种方式是使用机器学习方法学习这些权重。例如,可以使用包括与不同类型的上下文信息相对应的多个变量(例如特性)的函数,其中每个变量都被加权(例如,函数=常数1 x 变量1+常数2 x 变量2+常数3 x 变量3...)。 然后可以将该函数的值与阈值相比较,以确定用户输入是否是有意的,或者可以使用学习分类器对用户输入进行分类。举例来说,函数可以被定义为触摸接触的位置信息的加权变量、手位置信息的加权变量和键盘输入历史的加权变量之和。该和于是可以指示触摸接触是有意的还是无意的。在一些实例中,该和可以代表触摸接触是有意的概率。举例来说,具有大于阈值的和的、与触摸接触相关联的函数可以指示触摸接触是有意的。
在一些实例中,随着获得关于变量和/或权重的信息,可以对特性的组合进行更新以增加变量和/或权重(例如,动态更新)。该更新可以以个性化方式(例如,针对特定的用户更新函数)和/或跨多个用户(例如,更新用于多个用户的全局函数)而发生。在一个示例中,随着击键被按下并且使得键盘输入历史可获得,可以将包括用于压力信息和几何结构信息的变量的函数更新为包括用于键盘输入历史的变量。在另一个示例中,可以将针对特定用户的函数更新为包括用于键盘输入历史的增加的权重,使得键盘输入历史对函数具有更大影响。权重更新可以响应于标识键盘输入对于该特定用户而言通常指示触摸接触的意图而发生。在一些实例中,通过利用特性的组合来对用户输入进行分类,可以以计及多种类型的上下文信息的智能方式对用户输入进行分类。此外,可以通过动态更新变量和/或组合的权重来进一步精细化特性的组合,
如前面讨论的,设备102还可以包括用于学习与用户与设备102的交互有关的信息(例如,与触摸表面112、键盘108等等的交互)的学习模块116。这一信息可以被用于产生针对触摸表面的个性化用户体验(例如,基于个人信息调节用于对输入进行分类的阈值)。学习模块116可以学习的信息的示例包括:
·用户的平均打字速率(例如,每单位时间击键数量)。
·打字之后用户多长时间使用一次触摸表面112或提供空中输入。在一个示例中,这一信息对于确定何时抑制触摸接触可以是有用的。举例来说,如果用户典型地在打字之后等待两秒来接触触摸表面112,则学习模块116可以学习到在两秒到时之前触摸表面112上的任何接触都将会被看作无意的触摸接触。
·关于用户的手的特性(例如,用户手指指尖的尺寸、手掌的尺寸等)。在一个示例中,这一信息可以用于分析触摸接触的几何结构信息。如果例如标识了用户手指指尖的尺寸,则大于用户手指指尖尺寸的触摸接触可以被分类为无意的。
·用户如何握持设备(例如,用户通常抓握设备的右侧)。
·任何类型的上下文信息。
示例触摸接触分类
图3A和3B图示出了用于对在具有集成触摸板和键盘的设备上接收到的触摸接触进行分类的示例技术。虽然这些技术是在具有集成触摸板和键盘的设备的上下文中讨论的,但是这些技术也可以应用于其它上下文,比如在键盘不是如此集成的情况下。此外,这些技术可以应用于其它类型的触摸表面,比如触摸屏。
图3A图示出了具有与无意触摸接触相关联的部分304的示例触摸板302。由于触摸板302相对靠近键盘306,这可能会导致用户的拇指或手掌无意地接触到触摸板302,这个部分304被定义来防止这样的无意输入。在这个示例中,相比于中央部分308,用户可能更有可能无意地接触到触摸板302的边缘或外周。因此,在部分304内接收到的触摸接触可以被分类为无意的,或者朝向无意而进行更重的加权,而中央部分308内的触摸接触可以被分类为有意的,或者朝向有意而进行更重的加权。图3A的示例中,与划扫接触(例如具有特定的运动量或者沿着特定方向的触摸接触)形成对照,触摸接触可以指的是没有运动或具有相对小的运动(例如低于一个阈值)的轻叩接触。
在图3A的示例中,触摸板302偏离于键盘306。特别地,触摸板302与垂直偏移310(例如,触摸板302的水平边缘与键盘306的水平边缘之间的距离)和水平偏移312(例如,穿过键盘306中央的垂直线与穿过触摸板302中央的垂直线之间的距离)相关联。在一些实例中,计算设备的制造商(例如,膝上型电脑制造商)可以提供这些偏移310和312以供分类模块114使用。
可以使用偏移310和/或312来定义触摸板302的部分304。在图3A的示例中,部分304(a)和304(b)可以定义为使得穿过触摸板302的中央的垂直线与部分304(a)或(b)的边缘之间的距离(例如,距离314)与水平偏移312成比例。这里,由于触摸板302是向键盘306的右侧偏移,因此比起触摸板302的左侧,用户可能更有可能非故意地接触到触摸板302的右侧。因此,可以将部分304(b)定义为大于部分304(a)(例如,朝向触摸板302的中央进一步延伸)。在一个说明性且非限定性示例中,可以将部分304(a)和304(b)定义为使得当水平偏移312为零时,距离314是特定量+垂直偏移310。
以类似的方式,可以基于偏移310和/或312定义部分304(c)。例如,可以将部分304(c)定义为处于离键盘306 15mm(由距离316定义)的顶部保护区域之内的触摸板302的任何部分。换句话说,如果垂直偏移310是8mm,则触摸板302最上面的7mm可以与无意的触摸接触相关联,而如果垂直偏移310大于15mm,则触摸板302可以不包括与无意的触摸接触相关联的顶部部分。总的来说,部分304(c)可以随着触摸板302的位置在垂直方向上进一步移动远离键盘308(例如,随着垂直偏移310增大)而缩小。
虽然前面讨论的示例基于与偏移310和/或312的特定相关性定义了触摸板302的部分304的大小,但是这些示例仅仅是说明性的。在其它示例中,部分304可以是通过与偏移310和/或312的不同相关性来定义的。可替换地或此外,可以基于不同的信息定义部分304。在一个举例中,部分304可以是基于用户的惯用手(例如,惯用右手或惯用左手)定义的。如果针对惯用右手的用户标识了在触摸板302的左侧更多无意的触摸接触的相关性,则对于触摸板302的惯用右手的用户而言,部分304(a)可以大于部分304(b)。
在一些实例中,部分304(a)、304(b)和304(c)可以与不同程度的无意触摸接触相关联。如图3A中所图示的,部分304(c)是用不同于部分304(a)和(b)的阴影类型图示的,以指示部分304(c)可以与更高程度的无意输入相关联。如果例如区域310(a)、 310(b)和310(c)每个都单独地包括在对触摸接触进行分类的函数中,则区域304(c)可以与较大的权重相关联。虽然在图3A中没有图示出,但是在一些实例中,无意触摸接触的程度可以基于到特定点的距离,比如触摸接触到右上角的距离(例如,更大的距离应当与更高程度的无意输入相关联)。
图3B图示出了具有与无意触摸接触相关联的部分320的示例触摸板318。这里,触摸板318位于具有弯曲形状的人体工程学键盘322下方。在这个示例中,部分320(a)和(b)适应于键盘322的配置。如所图示的,部分320(a)和(b)朝向触摸板318上部(例如,更接近键盘322)较大,并且朝向底部较小。这可以计及更有可能出现在触摸板318的上部而不是下部的非故意触摸接触。由于在图3B的示例中在触摸板318和键盘322之间没有水平偏移,因此部分320(a)和(b)可以具有相同的大小。
在一些实例中,在对触摸接触进行分类时,触摸接触的初始位置可以享有超过触摸接触移动之处的任何位置的优先级。例如,最初接触部分320(a)并且移动到与非故意触摸接触不相关联的触摸板318的中央部分324的触摸接触可以基于触摸接触的初始位置而被分类为无意的。同时,在其他实例中,可以基于触摸接触的当前位置对触摸接触进行分类。
此外,在一些实例中,接触分类可以基于来自于辅助传感器326的信息。在图3B中,辅助传感器326(a)(用实心黑圈图示)被包括在触摸板318近旁的壳体内,而辅助传感器326(b)(用虚线圆圈图示)被包括在键盘322中。辅助传感器326(a) -(b)可以提供关于对象相对于包括键盘322和触摸板318的设备的接近信息。通过分析来自于辅助传感器326(a)-(b)的信息,可以对触摸接触准确地分类。如果例如辅助传感器326(b)指示用户的手位于键盘322上方,指示用户意图通过键盘322提供输入,则可以将触摸板318上的触摸接触分类为无意的。
图4图示出了用于对经由触摸屏接收到的触摸接触进行分类的示例技术。虽然这些技术是在触摸屏的上下文中讨论的,但是这些技术也可以用其它类型的触摸表面(比如触摸板)实现。
在这个示例中,触摸屏402包括与无意的触摸输入相关联的部分404。也就是说,在部分404内接收到的触摸接触可以被分类为无意的。这里,比起部分404(b),部分404(a)可以与更高可能性的无意输入相关联,如用不同类型的阴影所图示的。这可以是因为触摸屏402相对接近于装容触摸屏402的设备的垂直边缘延伸的事实。当触摸屏402进一步向设备的边缘延伸时,部分404(a)的宽度可以增大。
如图4中所图示的,辅助传感器406可以沿着设备的外周定位,以检测用户手的位置。这个信息在对触摸接触进行分类时可以是有用的。如果例如辅助传感器指示用户正用其左手抓握该设备并且沿着触摸屏402的左侧接收到了触摸接触,则可以将该触摸接触分类为无意的,因为很可能是用户抓握该设备引起了触摸接触。
如前面所讨论的,在一些实例中,触摸接触可以是基于几何结构信息分类的。图4的示例示出了触摸屏402的被接触并且根据几何结构信息标识的区域408。这里,如果区域408大于阈值,比如在面积方面大于用户手指指尖的平均面积,则可以将该触摸接触标识为无意的。此外或可替换地,可以基于触摸接触的压力信息(例如,压力是否大于一个阈值)对触摸接触进行分类。此外或可替换地,可以使用触摸接触的触摸椭圆形几何结构的主轴来确定触摸接触是否与使用加速度计和/或陀螺仪确定的设备的握持位置相抵触(例如,不相容)。举例来说,如果确定该设备在触摸屏402平行于水平表面的情况下在水平表面(例如,桌子)上取向,并且触摸接触的几何结构的主轴与这一确定结果相容(例如,该轴在对角方向上横跨触摸屏402延伸),则可以将触摸接触分类为有意的。
如图4中所图示的,装容着触摸屏402的设备可以包括输出音频(比如电话交谈的音频)的扬声器410和执行任何相关联的操作(比如返回到主屏幕)的按钮412。
图5A和5B图示出了用于基于与当前正在运行的应用有关的应用信息对触摸接触进行分类的示例技术。
在图5A中,触摸接触的分类可以基于指示设备500正在运行游戏程序或者游戏应用的应用信息。这里,设备500可以通过设备500的屏幕502显示游戏内容。如果例如确定游戏应用和/或游戏内容一般与键盘输入相关联(例如,游戏要求键盘输入),则可以抑制通过触摸板504接收到的触摸接触(例如,分类为无意的)。这可以包括抑制在触摸板504上的任何位置上或者在触摸板504的特定部分内(比如在部分506内)接收到的接触。相反,如果确定当前显示的游戏应用和/或游戏内容与多种输入模式(例如,触摸板和键入)相关联,则通过触摸板504接收到的触摸接触可以被分类为有意的。这里,可以将规则和/或权重配置成允许这样的分类。
可替换地或此外,在一些实例中,触摸接触的分类可以基于当前正用于应用的外围设备。例如,如果确定用户在设备500上玩游戏的同时正在使用外围指向设备(例如鼠标),则通过触摸板504接收到的触摸接触可以被分类为无意的,因为用户将不太可能同时使用两种类型的指向设备。此外,如果确定用户在玩游戏的同时正在使用键盘508的特定区段,比如十键区段510,则可以将触摸接触分类为有意的,因为用户的手位于触摸板504的侧面,并且触摸板504上的任何触摸接触都可能是有意的。
虽然图5A的示例描述针对游戏应用对触摸接触分类,但是在其它示例中,分类也可以针对其它类型的应用进行。例如,如果字处理应用正在运行,它一般与键盘输入相关联,则触摸接触可以被抑制。
在图5B中,触摸接触的分类可以基于指示正在由用户进行交互的内容的类型的应用信息。如果例如用户正在与字段控件512(即用于数字的输入栏)进行交互,则触摸板504上的触摸接触或者触摸板504的特定部分内的触摸接触可以被分类为无意的。可替换地,如果用户已经选择了字段控件514,即下拉菜单,则可以将触摸板504上的触摸接触分类为有意的,因为用户很可能会使用指针来选择字段控件514中的选项。虽然图5B的示例描述针对特定类型的字段控件的分类技术,但是这些技术可以类似地应用于其它类型的接口元件和/或可显示内容。
示例过程
图6、7和8图示出了用于采用本文描述的技术的示例过程600、602、700和800。为了便于说明,过程600、602、700和800被描述为正在图1的架构100中执行。例如,过程600、602、700和800的各个操作中一个或多个可以是由设备102和/或服务提供方122执行的。不过,过程600、602、700和800也可以在其它架构中执行。而且,架构100可以用于执行其它过程。
过程600、602、700和800(以及本文描述的每个过程)被图示为逻辑流程图,它们的每个操作代表可以在硬件、软件或二者的组合中实现的一系列操作。在软件的上下文中,操作代表存储在一个或多个计算机可读存储介质上的计算机可执行指令,当这些指令由一个或多个处理器执行时将设备配置成执行所记载的操作。一般来说,计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。描述操作的顺序并非意图被解释为限制,并且任何数量的所描述的操作都可以以任何顺序和/或并行地进行组合以实现该过程。此外,可以省略各个操作中的任一个。
图6A和6B图示出了用于基于键盘输入历史对触摸接触进行分类的示例过程600和602。在这些示例过程中,可以使用定时器来对触摸接触分类。可以使用定时器来推断在接收到触摸接触时用户是否仍然在使用键盘。
图6A图示出了当接收到键盘输入时用于重置定时器的示例过程600。在604,设备102可以监视通过键盘108接收到的键盘输入。这可以包括监视来自键盘108的按键/按钮的信号。在606,设备102可以确定是否已经接收到了键盘输入。在一些实例中,在606,设备102可以确定是否接收到了特定类型的键盘输入,比如“合格”键盘输入(例如字母数字按键)。在没有接收到键盘输入时,过程600可以返回到操作604并且继续监视键盘输入。当接收到了键盘输入时,过程600可以继续进行到操作608,在这里设备102可以重置定时器(例如,将定时器设定回它的初始值)。
定时器可以被配置成从特定值向下计数到零。在一些实例中,定时器是基于键盘输入历史来配置的。举例来说,定时器可以从用户有意在使用键盘108(例如,接触合格按键)与使用触摸表面112之间切换所花费的时间的平均量开始向下计数。这可以包括提供键盘输入与用特定的手指在触摸表面112上提供触摸接触之间的时间量。在一些实例中,定时器可以是针对特定的用户配置的。也就是说,可以基于特定用户的键盘输入历史设定定时器,这可以产生个性化的用户体验。
图6B图示出了用于确定何时允许触摸接触触发动作的执行的示例过程602。在610,设备102可以监视触摸表面112以标识触摸表面输入,即触摸接触。这可以包括监视来自触摸表面112的信号。在612,设备102可以确定是否已经通过触摸表面112接收到了触摸接触。在一些实例中,这可以包括确定是否在触摸表面112的特定部分内(例如,在图3A的部分304内)接收到了触摸接触,而在其他实例中,这可以包括确定是否在触摸表面112上的任何地方接收到触摸接触。在没有接收到触摸接触时,过程602可以返回到操作610并且继续监视触摸表面输入。当已经接收到触摸接触时,过程602可以继续进行到操作614。
在614,设备102可以确定来自图6A的过程600的定时器是否已经到时。如果定时器还没有到时,这可以指示用户仍然在使用键盘108,则设备102可以在616抑制触摸接触并且返回到操作610。也就是说,可以将触摸接触分类为无意的并且可以避免相关联的动作的执行。可替换地,如果定时已经到时,这可以指示用户已经完成使用键盘108,则在618设备102可以将该触摸接触提供给实体,比如应用、服务器等等。这可以促使动作的执行被触发,比如移动指向光标、选择图标等等。
图7图示出了用于对用户输入(例如,触摸接触或空中输入)进行分类的示例过程700。如上所述,处理700可以由设备102执行。为了便于说明,处理700的很多操作被描述为由设备102的分类模块114执行。
在702,分类模块114可以接收描述用户输入(例如,触摸表面112上的触摸接触)的信息。这可以包括接收来自触摸表面112的关于触摸接触的信号和/或来自相机的关于空中输入的信号。在704,分类模块114可以接收与用户输入和/或设备102有关的上下文信息。上下文信息可以是从键盘108、辅助传感器110、触摸表面112、相机、数据储存器或任何其它源接收的。
在706,分类模块114可以基于上下文信息将用户输入分类为有意的或无意的。在一个示例中,分类模块114可以分析键盘输入历史和关于触摸接触或空中输入的信息,以确定接收触摸接触或空中输入与通过键盘108接收输入之间的时间量。当该时间量多于阈值时间量时,可以将触摸接触或空中输入分类为有意的。在另一个示例中,分类模块114可以分析应用信息以标识当前正在运行的应用。如果特定类型的应用正在运行(例如,游戏),则可以将触摸接触分类为有意的。
在708,分类模块114可以确定用户输入是否被分类为有意的。当分类为无意的时,过程700可以返回到操作702以接收描述用户输入的进一步信息。当分类为有意的时,过程700可以继续进行到操作710,以促使动作被执行。在一些实例中,操作710可以包括将关于用户输入的信息提供给应用或其它实体以使得该应用或其它实体可以执行动作。
在712,分类模块114可以接收用户输入的用户输入历史和/或其它信息(例如,在一些情况下是上下文信息)。用户输入历史可以指示例如触摸接触在触摸表面112上的持续时间、触摸接触在触摸表面112上的速度、触摸接触在触摸表面112上的路径、空中输入被保持在特定位置处的持续时间、空中输入的速度(例如,用户的手移动有多快)、空中输入在空中的路径等等。
在714,分类模块114可以分析用户输入历史,并且在一些情况下还有其它信息,以对用户输入进行重新分类。例如,如果用户输入历史指示最初被分类为有意的的触摸接触在触摸表面112上小于特定量的时间,则可以将该触摸接触重新分类为无意的。
在716,分类模块114可以确定在操作706处用户输入的初始分类是否正确(例如,准确的分类)。例如,分类模块114可以确定触摸接触被不正确地分类的概率是否超过了一个阈值。如果初始分类是不正确的(例如,概率超过了阈值),则过程700可以继续进行到718。可替换地,如果初始分类是正确的,则过程700可以继续进行到720。
在718,分类模块114可以促使根据初始分类而触发的动作被撤消。这可以包括向应用或其它实体发送一个撤销动作的执行和/或取消动作(例如,通过执行一个动作来逆转之前执行的动作)的指令。
在720,学习模块116可以学习与用户与触摸表面112、用于接收空中输入的输入设备或者与触摸表面112相关联的键盘中的至少一个进行的交互有关的信息。该信息可以包括例如用户的平均打字速率、用户在打字之后多久使用触摸表面112、关于用户的手的特性和/或要被分类为有意的/无意的触摸路径图案。
图8图示出了用于基于触摸表面上触摸接触的位置对触摸接触进行分类的示例过程800。如上所述,过程800可以由设备102执行。为了便于说明,过程800的很多操作被描述为由分类模块114执行。
在802,分类模块114可以接收描述触摸表面112上的触摸接触的信息。这可以包括接收来自触摸表面112的关于触摸接触的信号。在804,分类模块114可以基于该信息标识触摸表面112上触摸接触的位置。这个位置可以代表触摸接触的“绝对位置”,意指触摸表面112上的位置,而不是显示器上的指针光标或其它可视地显示的元件的位置。
在806,分类模块114可以确定触摸接触的位置是否在触摸表面112的预定部分之内(例如,图3A的部分304)。该预定部分可以包括触摸表面112的靠外的部分。在一些实例中,触摸表面112的预定部分是基于触摸表面112与键盘108之间的第一偏移和/或触摸表面112与键盘108之间的第二偏移定义的。第一偏移可以沿着一条线延伸,所述线基本上垂直于第二偏移延伸所沿着的线。
如果触摸接触的位置处于触摸表面112的预定部分之内,则可以在808将触摸接触标识为无意的触摸接触(例如,非故意的输入)。相反,如果触摸接触不在预定部分之内,则可以在810将触摸接触分类为有意的触摸接触。
虽然在图8中没有图示出,但是在一些实例中,分类模块114可以附加地利用键盘输入历史来对触摸接触进行分类。例如,分类模块114可以仅仅在接收触摸接触与接收最近的键盘输入之间的时间量小于阈值时间量时才把触摸接触分类为无意的。如果超过了阈值时间量,则这可能指示用户意图在预定部分内进行接触。
结论
虽然已经用特定于结构特征和/或方法动作的语言描述了各实施例,但是要理解的是,本公开并非必然限于所描述的特定特征或动作。相反,特定特征和动作在本文中是作为实现实施例的说明性形式而公开的。
Claims (10)
1.一种用于对用户输入进行分类的系统,包括:
被配置为接收触摸接触的触摸设备;
被配置为通信地耦合到所述触摸设备的一个或多个处理器;
被配置为通信地耦合到所述一个或多个处理器的存储器;
第一分类模块,其被存储在所述存储器中并且由所述一个或多个处理器可执行以至少部分地基于上下文信息来确定所述触摸接触的分类,所述分类指示所述触摸接触是有意的或无意的,所述上下文信息包括被配置为与所述系统通信的键盘的键盘输入历史;以及
第二分类模块,其被存储在所述存储器中并且由所述一个或多个处理器可执行以至少部分地基于所述触摸接触的历史来确定所述触摸接触的所述分类是否准确。
2.权利要求1所述的系统,其中所述上下文信息还包括指示所述触摸接触相对于所述触摸设备的预先确定的部分的位置的所述触摸接触的位置信息、由所述触摸设备确定的所述触摸接触的置信值、指示所述触摸接触的尺寸或形状的所述触摸接触的几何结构信息或者指示用户的手相对于所述系统的位置的手位置信息中的至少一个。
3.权利要求1所述的系统,其中所述上下文信息还包括与正在所述系统上运行的应用有关的应用信息、或者指示在所述触摸设备上基本上同时发生的触摸接触的数量的信息中的至少一个。
4.一种用于对用户输入进行分类的方法,包括:
由计算设备接收指示触摸表面上的触摸接触的信息;
由所述计算设备至少部分地基于上下文信息来确定所述触摸接触的分类,所述上下文信息包括指示用户的手相对于触摸设备的距离的手位置信息,所述分类指示所述触摸接触是有意的或无意的;以及
由所述计算设备至少部分地基于所述触摸接触的历史来确定所述触摸接触的所述分类是否准确。
5.权利要求4所述的方法,其中所述接收包括从包括触摸板或触摸屏中的至少一个的触摸设备接收信息。
6.存储计算机可读指令的一个或多个计算机存储介质,所述计算机可读指令在被执行时指示一个或多个处理器执行操作,所述操作包括:
标识指示经由输入设备接收的用户输入的信息;
至少部分地基于上下文信息来确定触摸接触的分类,所述分类指示所述触摸接触是有意的或无意的,所述上下文信息包括与触摸设备相关联的键盘的键盘历史;以及
至少部分地基于所述触摸接触的历史来确定所述触摸接触的所述分类是否准确。
7.权利要求6所述的一个或多个计算机存储介质,其中所述触摸设备包括触摸板或触摸屏中的至少一个。
8.权利要求6所述的一个或多个计算机存储介质,其中所述上下文信息还包括指示所述触摸接触相对于所述触摸设备的预先确定的部分的位置的所述触摸接触的位置信息、由所述触摸设备确定的所述触摸接触的置信值、指示所述触摸接触的尺寸或形状的所述触摸接触的几何结构信息或者指示用户的手相对于所述触摸设备的位置的手位置信息中的至少一个。
9.权利要求6所述的一个或多个计算机存储介质,其中所述上下文信息还包括与正在系统上运行的应用有关的应用信息、或者指示在所述触摸设备上基本上同时发生的触摸接触的数量的信息中的至少一个。
10.权利要求6所述的一个或多个计算机存储介质,其中所述触摸接触的所述分类至少部分地基于所述触摸接触是否在所述触摸设备的预先确定的部分内而被确定。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/917,608 US9405379B2 (en) | 2013-06-13 | 2013-06-13 | Classification of user input |
US13/917608 | 2013-06-13 | ||
PCT/US2013/061034 WO2014200544A1 (en) | 2013-06-13 | 2013-09-20 | Classification of user input |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105339884A CN105339884A (zh) | 2016-02-17 |
CN105339884B true CN105339884B (zh) | 2019-06-25 |
Family
ID=49326846
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380077374.7A Active CN105339884B (zh) | 2013-06-13 | 2013-09-20 | 用户输入的分类 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9405379B2 (zh) |
EP (1) | EP3008570B1 (zh) |
CN (1) | CN105339884B (zh) |
WO (1) | WO2014200544A1 (zh) |
Families Citing this family (66)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8633915B2 (en) | 2007-10-04 | 2014-01-21 | Apple Inc. | Single-layer touch-sensitive display |
US20090174676A1 (en) | 2008-01-04 | 2009-07-09 | Apple Inc. | Motion component dominance factors for motion locking of touch sensor data |
US8922521B2 (en) | 2009-02-02 | 2014-12-30 | Apple Inc. | Switching circuitry for touch sensitive display |
US8593410B2 (en) | 2009-04-10 | 2013-11-26 | Apple Inc. | Touch sensor panel design |
US8957874B2 (en) | 2009-06-29 | 2015-02-17 | Apple Inc. | Touch sensor panel design |
JP6280867B2 (ja) | 2011-10-18 | 2018-02-14 | カーネギー メロン ユニバーシティ | タッチセンサ表面に対するタッチ事象を分類するための方法及び装置 |
KR101943435B1 (ko) * | 2012-04-08 | 2019-04-17 | 삼성전자주식회사 | 플렉서블 디스플레이 장치 및 그 동작 방법 |
US9329723B2 (en) | 2012-04-16 | 2016-05-03 | Apple Inc. | Reconstruction of original touch image from differential touch image |
AU2013259613B2 (en) | 2012-05-09 | 2016-07-21 | Apple Inc. | Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface |
KR20140114766A (ko) | 2013-03-19 | 2014-09-29 | 퀵소 코 | 터치 입력을 감지하기 위한 방법 및 장치 |
US9013452B2 (en) | 2013-03-25 | 2015-04-21 | Qeexo, Co. | Method and system for activating different interactive functions using different types of finger contacts |
US9612689B2 (en) | 2015-02-02 | 2017-04-04 | Qeexo, Co. | Method and apparatus for classifying a touch event on a touchscreen as related to one of multiple function generating interaction layers and activating a function in the selected interaction layer |
US9886141B2 (en) | 2013-08-16 | 2018-02-06 | Apple Inc. | Mutual and self capacitance touch measurements in touch panel |
US9842341B2 (en) * | 2014-04-30 | 2017-12-12 | International Business Machines Corporation | Non-subjective quality analysis of digital content on tabletop devices |
US10936120B2 (en) | 2014-05-22 | 2021-03-02 | Apple Inc. | Panel bootstraping architectures for in-cell self-capacitance |
US9977505B2 (en) * | 2014-06-06 | 2018-05-22 | International Business Machines Corporation | Controlling inadvertent inputs to a mobile device |
KR20160001151A (ko) * | 2014-06-26 | 2016-01-06 | 삼성전자주식회사 | 카드 사용 지원 방법 및 장치 |
US10289251B2 (en) | 2014-06-27 | 2019-05-14 | Apple Inc. | Reducing floating ground effects in pixelated self-capacitance touch screens |
CN104199572B (zh) * | 2014-08-18 | 2017-02-15 | 京东方科技集团股份有限公司 | 一种触摸显示装置的触摸定位方法及触摸显示装置 |
US9880655B2 (en) * | 2014-09-02 | 2018-01-30 | Apple Inc. | Method of disambiguating water from a finger touch on a touch sensor panel |
US9329715B2 (en) | 2014-09-11 | 2016-05-03 | Qeexo, Co. | Method and apparatus for differentiating touch screen users based on touch event analysis |
US11619983B2 (en) | 2014-09-15 | 2023-04-04 | Qeexo, Co. | Method and apparatus for resolving touch screen ambiguities |
EP3175330B1 (en) | 2014-09-22 | 2022-04-20 | Apple Inc. | Ungrounded user signal compensation for pixelated self-capacitance touch sensor panel |
US9864453B2 (en) * | 2014-09-22 | 2018-01-09 | Qeexo, Co. | Method and apparatus for improving accuracy of touch screen event analysis by use of edge classification |
US10606417B2 (en) | 2014-09-24 | 2020-03-31 | Qeexo, Co. | Method for improving accuracy of touch screen event analysis by use of spatiotemporal touch patterns |
US10282024B2 (en) | 2014-09-25 | 2019-05-07 | Qeexo, Co. | Classifying contacts or associations with a touch sensitive device |
WO2016069642A1 (en) | 2014-10-27 | 2016-05-06 | Pylemta Management Llc | Pixelated self-capacitance water rejection |
EP3224699B1 (en) | 2015-02-02 | 2018-10-03 | Apple Inc. | Flexible self-capacitance and mutual capacitance touch sensing system architecture |
US9632664B2 (en) | 2015-03-08 | 2017-04-25 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
US10095396B2 (en) * | 2015-03-08 | 2018-10-09 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object |
US10488992B2 (en) | 2015-03-10 | 2019-11-26 | Apple Inc. | Multi-chip touch architecture for scalability |
CN104731503B (zh) * | 2015-03-30 | 2018-08-10 | 联想(北京)有限公司 | 一种控制方法及电子设备 |
US9860451B2 (en) | 2015-06-07 | 2018-01-02 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
US9880735B2 (en) | 2015-08-10 | 2018-01-30 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
US10642404B2 (en) | 2015-08-24 | 2020-05-05 | Qeexo, Co. | Touch sensitive device with multi-sensor stream synchronized data |
US10365773B2 (en) | 2015-09-30 | 2019-07-30 | Apple Inc. | Flexible scan plan using coarse mutual capacitance and fully-guarded measurements |
US10747362B2 (en) * | 2015-10-05 | 2020-08-18 | Microsoft Technology Licensing, Llc | Touch device with suppression band |
EP3326049A4 (en) * | 2015-10-12 | 2019-01-16 | Hewlett-Packard Development Company, L.P. | REDUCTION OF UNINTENDED EFFECTS OF INPUT |
US10627948B2 (en) * | 2016-05-25 | 2020-04-21 | Microsoft Technology Licensing, Llc | Sequential two-handed touch typing on a mobile device |
US10019109B2 (en) | 2016-06-28 | 2018-07-10 | Google Llc | Enhancing touch-sensitive device precision |
JP6293209B2 (ja) * | 2016-07-14 | 2018-03-14 | レノボ・シンガポール・プライベート・リミテッド | 情報処理装置、誤操作抑制方法、及びプログラム |
AU2017100879B4 (en) * | 2016-07-29 | 2017-09-28 | Apple Inc. | Systems, devices, and methods for dynamically providing user interface controls at touch-sensitive secondary display |
US10372412B2 (en) * | 2016-10-25 | 2019-08-06 | Microsoft Technology Licensing, Llc | Force-based interactions with digital agents |
US10261685B2 (en) * | 2016-12-29 | 2019-04-16 | Google Llc | Multi-task machine learning for predicted touch interpretations |
WO2018182805A1 (en) | 2017-03-27 | 2018-10-04 | Google Llc | Dismissing displayed elements |
US10013081B1 (en) | 2017-04-04 | 2018-07-03 | Google Llc | Electronic circuit and method to account for strain gauge variation |
US10635255B2 (en) | 2017-04-18 | 2020-04-28 | Google Llc | Electronic device response to force-sensitive interface |
US10514797B2 (en) * | 2017-04-18 | 2019-12-24 | Google Llc | Force-sensitive user input interface for an electronic device |
US10386965B2 (en) | 2017-04-20 | 2019-08-20 | Apple Inc. | Finger tracking in wet environment |
JP2018190268A (ja) * | 2017-05-10 | 2018-11-29 | 富士フイルム株式会社 | タッチ式操作装置とその作動方法および作動プログラム |
CN107577372A (zh) * | 2017-09-06 | 2018-01-12 | 广东欧珀移动通信有限公司 | 边缘触控方法、装置及移动终端 |
US10503391B2 (en) * | 2017-11-17 | 2019-12-10 | Motorola Solutions, Inc. | Device, system and method for correcting operational device errors |
US10645272B2 (en) | 2017-12-04 | 2020-05-05 | Qualcomm Incorporated | Camera zoom level and image frame capture control |
US10594925B2 (en) | 2017-12-04 | 2020-03-17 | Qualcomm Incorporated | Camera zoom level and image frame capture control |
KR102444500B1 (ko) * | 2018-03-29 | 2022-09-20 | 가부시키가이샤 코나미 데지타루 엔타테인멘토 | 정보 처리 장치, 및 기록 매체에 저장된 컴퓨터 프로그램 |
US11009989B2 (en) * | 2018-08-21 | 2021-05-18 | Qeexo, Co. | Recognizing and rejecting unintentional touch events associated with a touch sensitive device |
CN111325492B (zh) | 2018-12-14 | 2023-04-28 | 阿里巴巴集团控股有限公司 | 供应链优化方法及系统 |
US10942603B2 (en) | 2019-05-06 | 2021-03-09 | Qeexo, Co. | Managing activity states of an application processor in relation to touch or hover interactions with a touch sensitive device |
US11231815B2 (en) | 2019-06-28 | 2022-01-25 | Qeexo, Co. | Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing |
US11157109B1 (en) | 2019-09-06 | 2021-10-26 | Apple Inc. | Touch sensing with water rejection |
US11256367B2 (en) | 2019-09-27 | 2022-02-22 | Apple Inc. | Techniques for handling unintentional touch inputs on a touch-sensitive surface |
US11592423B2 (en) | 2020-01-29 | 2023-02-28 | Qeexo, Co. | Adaptive ultrasonic sensing techniques and systems to mitigate interference |
US11320966B2 (en) * | 2020-05-04 | 2022-05-03 | Taboola.Com Ltd. | Determining and handling unintended user interactions |
US11662867B1 (en) | 2020-05-30 | 2023-05-30 | Apple Inc. | Hover detection on a touch sensor panel |
US11675417B2 (en) | 2020-11-11 | 2023-06-13 | International Business Machines Corporation | Executing actions based upon transformed inputs |
NL2031789B1 (en) * | 2022-05-06 | 2023-11-14 | Microsoft Technology Licensing Llc | Aggregated likelihood of unintentional touch input |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8199126B1 (en) * | 2011-07-18 | 2012-06-12 | Google Inc. | Use of potential-touch detection to improve responsiveness of devices |
CN102645972A (zh) * | 2010-12-17 | 2012-08-22 | 微软公司 | 使用计算设备的移动来增强在与该计算设备交互时产生的输入事件的解释 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6597345B2 (en) | 2000-03-03 | 2003-07-22 | Jetway Technologies Ltd. | Multifunctional keypad on touch screen |
US8018440B2 (en) | 2005-12-30 | 2011-09-13 | Microsoft Corporation | Unintentional touch rejection |
US8466879B2 (en) * | 2008-10-26 | 2013-06-18 | Microsoft Corporation | Multi-touch manipulation of application objects |
US8502787B2 (en) | 2008-11-26 | 2013-08-06 | Panasonic Corporation | System and method for differentiating between intended and unintended user input on a touchpad |
US8432366B2 (en) | 2009-03-03 | 2013-04-30 | Microsoft Corporation | Touch discrimination |
US8570280B2 (en) | 2009-03-25 | 2013-10-29 | Lenovo (Singapore) Pte. Ltd. | Filtering of inadvertent contact with touch pad input device |
US8898585B2 (en) * | 2010-02-11 | 2014-11-25 | Htc Corporation | Electronic device, input method thereof, and computer-readable medium using the method |
CN102200874B (zh) | 2010-03-26 | 2015-04-01 | 腾讯科技(深圳)有限公司 | 一种基于触摸屏的按键输入方法和装置 |
US9244545B2 (en) | 2010-12-17 | 2016-01-26 | Microsoft Technology Licensing, Llc | Touch and stylus discrimination and rejection for contact sensitive computing devices |
US20120169611A1 (en) | 2010-12-30 | 2012-07-05 | Hanxiang Chen | Smart touch screen keyboard |
KR20120109027A (ko) | 2011-03-24 | 2012-10-08 | 삼성전자주식회사 | 휴대 단말기의 터치 오동작 방지 방법 및 장치 |
US20120324403A1 (en) | 2011-06-15 | 2012-12-20 | Van De Ven Adriaan | Method of inferring navigational intent in gestural input systems |
JP5514773B2 (ja) * | 2011-06-29 | 2014-06-04 | 京セラドキュメントソリューションズ株式会社 | 表示入力装置及びこれを備えた画像形成装置 |
US9098244B2 (en) * | 2013-01-15 | 2015-08-04 | Google Inc. | Ignoring tactile input based on subsequent input received from keyboard |
US10120506B2 (en) * | 2013-11-12 | 2018-11-06 | Microsoft Technology Licensing, Llc | Multi-touch capacitive sensing surface |
-
2013
- 2013-06-13 US US13/917,608 patent/US9405379B2/en active Active
- 2013-09-20 EP EP13774549.3A patent/EP3008570B1/en active Active
- 2013-09-20 WO PCT/US2013/061034 patent/WO2014200544A1/en active Application Filing
- 2013-09-20 CN CN201380077374.7A patent/CN105339884B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102645972A (zh) * | 2010-12-17 | 2012-08-22 | 微软公司 | 使用计算设备的移动来增强在与该计算设备交互时产生的输入事件的解释 |
US8199126B1 (en) * | 2011-07-18 | 2012-06-12 | Google Inc. | Use of potential-touch detection to improve responsiveness of devices |
Also Published As
Publication number | Publication date |
---|---|
CN105339884A (zh) | 2016-02-17 |
US9405379B2 (en) | 2016-08-02 |
WO2014200544A1 (en) | 2014-12-18 |
EP3008570A1 (en) | 2016-04-20 |
US20140368436A1 (en) | 2014-12-18 |
EP3008570B1 (en) | 2023-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105339884B (zh) | 用户输入的分类 | |
US10216406B2 (en) | Classification of touch input as being unintended or intended | |
JP6429981B2 (ja) | ユーザ入力の意図の分類 | |
EP3191930B1 (en) | Handedness detection from touch input | |
US9804707B2 (en) | Inactive region for touch surface based on contextual information | |
US10540083B2 (en) | Use of hand posture to improve text entry | |
CN108885525A (zh) | 菜单显示方法及终端 | |
US20110195781A1 (en) | Multi-touch mouse in gaming applications | |
US20140232672A1 (en) | Method and terminal for triggering application programs and application program functions | |
CN109582171A (zh) | 使用电容悬停模式的对新触摸姿势的手指标识 | |
CN115291786A (zh) | 一种基于机器学习的误触判断方法、装置和存储介质 | |
TW202009687A (zh) | 用於解鎖多顯示屏設備的顯示屏的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |