CN111194436A - 多层用户界面的直接操控的方法 - Google Patents

多层用户界面的直接操控的方法 Download PDF

Info

Publication number
CN111194436A
CN111194436A CN201880065792.7A CN201880065792A CN111194436A CN 111194436 A CN111194436 A CN 111194436A CN 201880065792 A CN201880065792 A CN 201880065792A CN 111194436 A CN111194436 A CN 111194436A
Authority
CN
China
Prior art keywords
processor
computing device
mobile computing
layer
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880065792.7A
Other languages
English (en)
Other versions
CN111194436B (zh
Inventor
J·基斯
R·T·奥利弗
R·塔兹
D·布雷姆斯
S·亚利尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN111194436A publication Critical patent/CN111194436A/zh
Application granted granted Critical
Publication of CN111194436B publication Critical patent/CN111194436B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231Monitoring the presence, absence or movement of users
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/04166Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03KPULSE TECHNIQUE
    • H03K17/00Electronic switching or gating, i.e. not by contact-making and –breaking
    • H03K17/94Electronic switching or gating, i.e. not by contact-making and –breaking characterised by the way in which the control signals are generated
    • H03K17/96Touch switches
    • H03K17/962Capacitive touch switches
    • H03K17/9622Capacitive touch switches using a plurality of detectors, e.g. keyboard
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

在一些实施例中,移动计算装置的处理器可接收用于相对于所述移动装置处的内容执行功能的输入,其中所述移动装置处的所述内容至少细分到具有一或多个对象的第一命令层和具有一或多个对象的第二命令层中。所述处理器可确定所述所接收的输入与所述第一命令层的第一对象还是所述第二命令层的第二对象相关联。所述处理器可基于确定所述第一命令层还是所述第二命令层与所述所接收的输入相关联,确定要对所述第一或第二对象中的一个执行的功能,且所述处理器可对所述第一对象或所述第二对象执行所述所确定的功能。

Description

多层用户界面的直接操控的方法
相关申请案
本申请案主张以下申请案的优先权益:2017年10月14申请的标题为“管理和映射多侧触摸(Managing And Mapping Multi-Sided Touch)”的序列号为62/572,453的美国临时专利申请案、2017年10月14日申请的标题为“用于集成后表面/侧表面和前部显示器上的多触摸的方法(Methods For Integrating Multi-Touch Across Rear/Side SurfacesAnd A Front Display)”的序列号为62/572,465的美国临时专利申请案、2017年10月14日申请的标题为“多层用户界面的直接操控的方法”的序列号为62/572,455的美国临时专利申请案、2017年10月14日申请的标题为“用于检测装置情境以便更改触摸电容的方法(Methods For Integrating Multi-Touch Across Rear/Side Surfaces And A FrontDisplay)”的序列号为62/572,460的美国临时专利申请案,以及2017年10月14日申请的标题为“适应无线充电和背部触摸感测两者的方法和设备(Method And Apparatus ToAccommodate Both Wireless Charging And Back Touch Sensing)”的序列号为62/572,471的美国临时专利申请案。这些文献的内容以引用的方式并入本文中。
背景技术
移动计算装置可使用多种输入方法。除了按钮和其它物理输入装置之外,移动计算装置通常还包含能够检测显示区域(即,“触摸屏”)内的触摸的存在和方位的电子显示器。用于移动计算装置的众多软件应用程序使用触摸屏输入,且因此触摸屏已极大地扩展了与移动计算装置的可能的用户交互的类型和范围。
然而,触摸屏交互要求用户集中注意力去看要触摸的目标(例如,图标、文本等)或对输入的响应。此外,可能难以通过与触摸屏的交互来控制越来越复杂的软件应用程序或者实施起来可能非常麻烦。此外,与移动计算装置的多个交互要求一只手持握移动计算装置,使得另一只手的手指可与触摸屏交互。
发明内容
各种实施例包含可实施于具有一或多个触摸传感器的移动计算装置的处理器上以用于管理所述移动计算装置的多层控制的方法。各种实施例可包含所述移动计算装置的处理器在移动计算装置处接收用于相对于所述移动装置处的内容执行功能的输入,其中所述移动装置处的所述内容至少细分到具有一或多个对象的第一命令层和具有一或多个对象的第二命令层中;确定所述所接收的输入与所述第一命令层的第一对象还是所述第二命令层的第二对象相关联;基于确定所述第一命令层还是所述第二命令层与所述所接收的输入相关联,确定要对所述第一或第二对象中的一个执行的功能;和对所述第一对象或所述第二对象执行所述所确定的功能。
在一些实施例中,在所述移动计算装置处接收用于相对于所述移动装置处的内容执行功能的所述输入可包含在所述移动计算装置的所述触摸传感器中的一个处接收用于相对于所述移动装置处的内容执行功能的所述输入。一些实施例可另外包含从所述移动计算装置的存储器获得命令层转译表,并确定接收到所述输入的触摸传感器,其中确定要对所述第一或第二对象中的一个执行的所述功能可包含使用所述转译表基于所述所确定的触摸传感器,确定与所述所接收的输入和所述相关联的命令层相关联的所述功能。
在一些实施例中,所述第一命令层可包含所述移动装置所显示的图像的第一图像层,所述第二命令层可包含所述所显示的图像的第二图像层,且对所述第一对象或所述第二对象执行所述所确定的功能可包含对所述第一图像层的元素或对所述第二图像层的元素执行所述所确定的功能。
在一些实施例中,所述第一命令层可包含所述移动装置所显示的图像的前景层,述第二命令层可包含所述所显示的图像的背景层,且对所述第一对象或所述第二对象执行所述所确定的功能可包含对所述前景层的元素或对所述背景层的元素执行所述所确定的功能。
在一些实施例中,所述第一命令层可包含所述移动装置所显示的图像的第一维度,所述第二命令层可包含所述所显示的图像的第二维度,且对所述第一对象或所述第二对象执行所述所确定的功能可包含对所述图像的所述第一维度或对所述图像的所述第二维度执行所述所确定的功能。
在一些实施例中,所述第一命令层可包含所述移动装置所显示的文本的第一文本层,所述第二命令层可包含所述所显示的文本的第二文本层,对所述第一对象或所述第二对象执行所述所确定的功能可包含对所述第一文本层的元素或对所述第二文本层的元素执行所述所确定的功能。
在一些实施例中,所述第一命令层可包含所述移动装置所显示的扩展现实图像中的数字对象的处理器产生的图像层,所述第二命令层可包含所述所显示的扩展现实图像中显示的真实对象的真实图像层,且对所述第一对象或所述第二对象执行所述所确定的功能可包含对所述第一扩展现实图像层内的扩展现实图像元素或对所述真实图像层内的真实元素执行所述所确定的功能。
在一些实施例中,所述第一命令层可包含在所述移动装置上执行的第一应用程序,所述第二命令层可包含在所述移动装置上执行的第二应用程序,且对所述第一对象或所述第二对象执行所述所确定的功能可包含将用以执行所述所确定的功能的指令发送到所述第一应用程序或所述第二应用程序。
在一些实施例中,所述第一命令层可包含被配置成从所述移动计算装置接收命令的第一装置的表示,所述第二命令层可包含被配置成从所述移动计算装置接收命令的第二装置的表示,且对所述第一对象或所述第二对象执行所述所确定的功能可包含将用以执行所述所确定的功能的指令发送到所述第一装置或所述第二装置。
在一些实施例中,大体安置于所述移动计算装置的前部上的所述一或多个触摸传感器的第一群组可映射到所述第一命令层,且大体安置于所述移动计算装置的背部上的所述一或多个触摸传感器的第二群组可映射到所述第二命令层。在这类实施例中,所述所接收的输入是由所述处理器在重叠的时间里从所述第一群组的所述触摸传感器中的一个和所述第二群组的所述触摸传感器中的一个接收的两个或更多个输入中的一个。在这类实施例中,大体安置于所述移动计算装置的侧部上的所述一或多个触摸传感器的第三群组可映射到所述第一命令层和所述第二命令层中的一或多个,且在一些实施例中,所述所接收的输入可为由所述处理器在重叠的时间里从所述第三群组的所述触摸传感器中的一个和来自所述第一群组和所述第二群组当中的触摸传感器接收的两个或更多个输入中的一个。
另外实施例可包含一种移动计算装置,其包含一或多个触摸传感器和处理器,所述处理器耦合到所述一或多个触摸传感器并且配置有处理器可执行指令以执行上文概括的方法中的任一种的操作。另外实施例可包含一种非暂时性处理器可读存储媒体,其上存储有被配置成致使具有一或多个触摸传感器的移动计算装置的处理器执行上文概括的方法中的任一种的操作的处理器可执行指令。另外实施例可包含一种移动计算装置,其具有一或多个触摸传感器和用于执行上文概括的方法中的任一种的功能的装置。
附图说明
附图并入本文中并且构成本说明书的一部分,其说明本发明的示范性实施例,并且与给出的一般描述和详细描述一起用来解释本文中的特征。
图1A是与具有触摸传感器的移动计算装置的用户交互的透视图。
图1B是与具有触摸传感器的移动计算装置的用户交互的透视图。
图2是适合与各种实施例一起使用的通信系统的系统框图。
图3是适用于实施各种实施例的移动计算装置的组件框图。
图4A是说明根据各种实施例的管理依序接收到的多传感器输入的方法的过程流程图。
图4B是说明根据各种实施例的管理依序接收到的多传感器输入的方法的过程流程图。
图4C是说明根据各种实施例的管理依序接收到的多传感器输入的方法的过程流程图。
图4D是说明根据各种实施例的管理依序接收到的多传感器输入的方法的过程流程图。
图5A说明根据各种实施例的移动计算装置显示具有前景图像层和背景图像层的图像。
图5B说明根据各种实施例的移动计算装置显示具有第一文本层和第二文本层的文本。
图5C说明移动计算装置显示多维图像。
图5D说明根据各种实施例的移动计算装置与显示扩展现实图像的视听装置的通信。
图5E说明根据各种实施例的移动计算装置被配置成控制在移动计算装置上执行的多个应用程序。
图5F说明根据各种实施例的移动计算装置被配置成与多个装置通信且/或控制多个装置。
图6是适用于实施各种实施例的实例多传感器输入转译表。
图7是说明根据各种实施例的管理依序接收到的多传感器输入的方法的过程流程图。
图8是说明根据各种实施例的管理多传感器输入以用于独立地控制或操控单独对象、元素或层的方法的过程流程图。
图9是说明根据各种实施例的确定接收到的输入是否是多传感器输入的方法的过程流程图。
图10是说明根据各种实施例的启用用于管理多传感器输入的多传感器输入模式的方法的过程流程图。
图11是说明根据各种实施例的管理在多传感器输入模式中接收到的多传感器输入的方法的过程流程图。
图12是说明根据各种实施例的将触摸传感器读数映射到移动计算装置的应用程序功能的方法的过程流程图。
图13是说明使用情境感知数据确定移动计算装置的操作情境的方法的过程流程图。
图14是说明根据一些实施例的相对于相片应用程序管理移动计算装置的多传感器控制的方法的过程流程图。
图15是说明根据一些实施例的相对于放大镜应用程序管理移动计算装置的多传感器控制的方法的过程流程图。
图16是说明根据一些实施例的相对于扩展现实应用程序管理移动计算装置的多传感器控制的方法的过程流程图。
图17是说明根据一些实施例的相对于基于移动计算装置的各种触摸传感器的输入控制多个应用程序来管理移动计算装置的多传感器控制的方法的过程流程图。
图18是说明根据一些实施例的管理移动计算装置的多传感器控制以用于基于移动计算装置的各种触摸传感器输入控制多个装置的方法的过程流程图。
图19A和19B是适合与各种实施例一起使用的实例移动计算装置的组件图。
具体实施方式
将参考随附图式详细描述各种实施例。在可能的情况下,将在整个图式中使用相同参考编号来指代相同或相似部分。对特定实例和实施方案进行的参考是用于说明性目的,且不希望限制本发明或权利要求书的范围。
术语“移动计算装置”在本文中用以指多种小型计算装置中的任何一者或全部,尤其是包含以下各项的计算装置:触摸传感器(例如,电容传感器、压力触摸传感器、触摸屏显示器,和其它合适的被配置成检测和定位装置的表面上的用户触摸的传感器)、可编程处理器和存储器和用于接收用户输入的电路。各种实施例特别适用的计算装置的实例包含智能手机、被配置成用户持握边缘的平板计算装置、可穿戴计算装置(包含智能眼镜、扩展现实眼镜和其它类似装置)、其它类似计算平台,以及其它类似装置。
触摸屏交互要求用户集中注意力去看要触摸的目标(例如,图标、文本等)或对输入的响应。此外,可能难以通过与触摸屏的交互来控制更加复杂的软件应用程序或者实施起来可能非常麻烦。此外,与移动计算装置的多个交互要求一只手持握移动计算装置,使得另一只手的手指可与触摸屏交互。
各种实施例实现移动计算装置的广泛范围的功能性和操作控制,包含触摸屏显示器以及其它表面上的多个触敏式输入传感器,例如除了触摸屏显示器之外还定位于装置的背部区域、侧部、顶边缘和底边缘上的一或多个触摸传感器。通过使在移动计算装置触敏式输入传感器中的两个或更多个上检测到的触摸和/或手势与正在执行的应用程序、操作状态或条件或在移动计算装置的控制下的其它装置的功能相关,各种实施例实现可以各种应用程序和装置予以实施的更大功能性和更广范围的用户输入控制。通过使个别触摸传感器与输入定义的功能性的不同命令层相关,各种实施例使得具有多个触摸传感器的移动计算装置能够通过应用程序和操作状态被配置成在多个要素或维度内容上实现扩展的用户控制,因此改进用户体验。各种实施例通过用可经由单独用户界面在包含相同时间(例如,同时)的任何时间输入的控制输入,使得能够在不改变选择或界面菜单的情况下独立地控制、命令或操控两个(或更多)不同对象或对象集,以此来改进移动计算装置的操作。换句话说,各种实施例通过实现对不同命令的处理以用于独立地(包含但不限于同时或在重叠的时间里)控制不同对象或对象集,以此改进移动计算装置的操作。这与常规移动计算装置形成鲜明对比,在所述常规移动计算装置中,将触摸传感器的输入映射到单个命令层中,且无法同时或在重叠的时间里独立地控制、命令或操控两个不同的对象。
作为实例,如图5A和5C中所说明,一些实施例可使得用户能够通过触摸移动计算装置的两个(或更多)触摸传感器(例如,前侧传感器和背侧传感器),包含但不限于同时或重叠时间的触摸,以此在显示(例如,移动、调整大小、旋转、编辑等)前景图像或图像对象(或多个图像/对象)和背景图像/图像对象的应用程序(例如,成像编辑应用程序)中单独且独立地控制这类图像。作为另一实例,一些实施例可使得用户能够例如通过如图5B中所说明键入用于控制前侧触摸传感器上的第一文本层(例如,主文档文本)的触摸手势并且键入用于控制背侧触摸传感器上的第二文本层的触摸手势(例如,评论、突出显示、脚注、引用、突显、背景等),单独且独立地操控(例如,移动、调整大小、编辑、突出显示等)文本文档内的两个文本层。作为另一实例,如图5D中所说明,在具有多个触摸传感器并且实施各种实施例的移动计算装置上执行的扩展现实应用程序可使得用户能够使用一个触摸传感器(例如,前侧传感器)控制真实图像层,同时还(包含但不限于在重叠的时间里)使用另一触摸传感器(例如,后侧传感器)控制扩展现实图像元素(例如,信息标注(balloon)、动画等)。作为另一实例,如图5E中所说明,具有多个触摸传感器并且实施各种实施例的移动计算装置可使得用户能够通过键入前侧传感器上的触摸手势以控制一个应用程序,同时键入背侧传感器的触摸手势以控制另一应用程序,以此来单独且独立地控制两个应用程序。作为另一实例,如图5F中所说明,具有多个触摸传感器并且实施各种实施例的移动计算装置可使得用户能够通过键入前侧传感器上的触摸手势以控制一个装置,例如物联网(IoT)灯泡,同时键入背侧传感器上的触摸手势以控制另一装置,例如IoT恒温器,以此经由单独用户界面单独且独立地控制两个其它装置。在这些实例中的每一个中,在移动计算装置上执行的用户配置设置和应用程序可配置或定义命令层,包含如下特定功能性:映射到特定触摸手势并且与特定触摸传感器相关联,以为开发者和用户提供利用多个触摸传感器实现对内容、功能性和其它装置的多维控制的灵活性。
各种实施例可实施于多种移动计算装置内,在图1A和1B说明所述多种移动计算装置的实例。参考图1A和1B,移动计算装置100可包含主体110,其具有前部区域112、后部区域114、前部区域112和后部区域114之间的两个侧部116a、116b,以及前部区域112和后部区域114之间的顶部区域118。前部区域112可包含可并入于呈触摸屏显示器形式的显示器内的触摸传感器102。后部区域114可包含触摸传感器104。侧部116a、116b中的一个或两个可包含触摸传感器106a、106b。顶部区域118可包含触摸传感器108。因此,移动计算装置100的主体110可在前部区域112、后部区域114、一或多个侧部116a、116b和顶部区域118上包含一或多个触摸传感器。触摸传感器102、104、106a、106b、108可被配置成接收来自用户手指120、128的输入124、132和/或来自用户的拇指122、130的输入126、134。在一些实施例中,触摸传感器102、104、106a、106b、108中的每一个可包含一或多个触摸传感器。
触摸传感器102、104、106a、106b、108被配置成检测对象(特定地,用户的手、拇指或手指)在传感器上触摸(或近乎触摸)的方位处的电容的改变。虽然在图1A和1B中说明触摸传感器102、104、106a、106b、108上的手指和拇指触摸124、126、132、134,但传感器可检测来自与用户身体的任何接触(例如与用户的手掌或面部的接触、通过触控笔或另一类似输入装置进行的触摸等等)的电容的改变。在一些实施例中,触摸传感器102、104、106a、106b、108可检测两个或更多个接触方位(例如,多触摸传感器)。在一些实施例中,触摸传感器102、104、106a、106b、108可检测一或多个接触的压力。来自各种触摸传感器102、104、106a、106b、108的输出可提供给处理器(例如,包含于触摸传感器102、104、106a、106b、108内或与之耦合的处理器),所述处理器被配置成确定可被处理为移动计算装置100的用户输入的触摸的方位。
在一些实施例中,移动计算装置100的处理器和/或触摸传感器102、104、106a、106b、108的处理器可确定一或多个接触具有小于、等于或大于阈值时间段的持续时间。在一些实施例中,这类处理器可确定触摸传感器102、104、106a、106b、108中的一或多个上的一或多个接触的特性。举例来说,接触特性可包含接触的持续时间、接触点的数目、接触点的大小、接触的顺序、同时接触的模式,以及在接触期间施加的压力或力水平。可从各种输入确定与用户抓握移动计算装置相关联的接触,包含触摸传感器102、104、106a、106b、108的多个方位处的并发接触的组合,其可在至少一最小持续时间内为永久性的。在一些实施例中,移动计算装置的处理器可区分点击、双击、长按、滑移或滑动、拖动、包含多个触摸和/或压力输入的预定义手势、抓握、其它接触,或其任何组合。预定义的手势可为通过触摸传感器102、104、106a、106b、108的一或多个接触的集合或序列。预定义的手势可由用户配置、由移动计算装置上的应用程序建立,或可提供为工厂安装的默认手势。在一些实施例中,触摸传感器102、104、106a、106b、108可被配置成检测在物理接触之前或无物理接触的情况下用户手指或拇指的接近度或近乎接触(例如,“悬空”)。
虽然本文大体就基于电容改变检测触摸的触摸传感器来论述触摸传感器102、104、106a、106b、108,但这类传感器仅用作适合与各种实施例一起使用的一种类型的输入传感器的实例。可在各种实施例中使用其它类型的输入传感器,例如电阻感测输入传感器、红外感测输入传感器、阻力传感器等。
各种实施例可实施于多种通信系统200内,在图2中说明所述多种通信系统200的实例。参考图1A-2,通信系统200可包含移动计算装置100和一或多个其它装置,例如视听装置202、一或多个物联网(IoT)装置,例如智能灯泡或智能照明系统204、智能恒温器206、IoT安全相机208和IoT集线器装置210。
移动计算装置100可经由有线或无线通信链路230-238与其它装置202-210中的一或多个通信。在一些实施例中,IoT装置204-210可经由一或多个无线通信链路彼此通信。在一些实施例中,移动计算装置100可经由IoT集线器装置210与IoT装置204到208中的一或多个通信。当实施为无线通信链路时,通信链路230-238可包含多个载波信号、频率或频率波段,其中的每一个可包含多个逻辑信道。无线通信链路230-238可利用一或多个无线电接入技术(RAT)。可用于无线通信链路中的RAT的实例包含3GPP长期演进(LTE)、3G、4G、5G、全球移动系统(GSM)、码分多址接入(CDMA)、宽带码分多址接入(WCDMA)、全球微波接入互操作性(WiMAX)、时分多址接入(TDMA),和其它移动电话通信技术蜂窝RAT。可用于通信系统100内的各种无线通信链路中的一或多个中的RAT的其它实例包含中程协议,例如Wi-Fi、LTE-U、直接LTE(LTE-Direct)、LAA、MuLTEfire,以及相对短程RAT,例如紫蜂(ZigBee)、蓝牙(Bluetooth)和低功耗蓝牙(LE)。
在各种实施例中,如下文进一步描述,移动计算装置100的处理器可被配置成与视听装置202和IoT装置204-210通信和/或控制视听装置202和IoT装置204-210(例如,发送信息到视听装置202和IoT装置204-210,从视听装置202和IoT装置204-210接收信息,和/或发送命令到视听装置202和IoT装置204-210)。
图3是适用于实施各种实施例的实例移动计算装置300的功能框图。参考图1A-3,移动计算装置300可类似于移动计算装置100。举例来说,移动计算装置300可为多SIM计算装置,例如多SIM多待机(MSMS)计算装置。移动计算装置300可包含至少一个订户身份模块(SIM)接口302,其可接收与第一预订相关联的第一SIM(“SIM-1”)304a。在一些实施例中,至少一个SIM接口302可实施为多SIM接口302,其可接收与至少一第二预订相关联的至少一第二SIM。
各种实施例中的SIM可为配置有SIM和/或通用SIM(USIM)应用程序的通用集成电路卡(UICC),从而能够接入多种不同网络。UICC还可为电话簿和其它应用程序提供存储。替代地,在码分多址接入(CDMA)网络中,SIM可为卡上的UICC可移除用户身份模块(R-UIM)或CDMA订户身份模块(CSIM)。
每一SIM 304a可具有CPU、ROM、RAM、EEPROM和I/O电路。各种实施例中使用的第一SIM 304a和任何额外SIM中的一或多个可含有用户帐户信息、国际移动站标识(IMSI)、SIM应用程序工具包(SAT)命令的集合和用于电话簿联系人的存储空间。第一SIM 304a和任何额外SIM中的一或多个可另外存储归属标识符(例如,系统标识号(SID)/网络标识号(NID)对、归属PLMN(HPLMN)码等)以指示SIM网路运营提供商。集成电路卡身份(ICCID)SIM序列号可打印在一或多个SIM 304a上以供标识。在一些实施例中,可提供额外SIM以供在移动计算装置300上通过虚拟SIM(VSIM)应用程序(未示出)使用。举例来说,VSIM应用程序可通过配给对应SIM配置文件来实施移动计算装置300上的远程SIM。
移动计算装置300可包含可耦合到译码器/解码器(编解码器)308的至少一个控制器,例如通用处理器306。编解码器308又可耦合到扬声器310和麦克风312。通用处理器306也可耦合到至少一个存储器314。存储器314可以是存储处理器可执行指令的非暂时性有形计算机可读存储媒体。举例来说,指令可包含通过对应基带-RF资源链的发射链和接收链而路由与预订有关的通信数据。存储器314可存储操作系统(OS)以及用户应用软件和可执行指令。通用处理器306和存储器314可各自耦合到至少一个基带-调制解调器处理器316。移动计算装置300中的每一SIM 304a可与包含至少一个基带-调制解调器处理器316和至少一个射频(RF)资源318的基带-RF资源链相关联。
RF资源318可包含接收器和发射器电路,其耦合到至少一个天线320且被配置成执行用于与计算装置300的每一SIM 304a相关联的无线服务的发射/接收功能。RF资源318可实施单独的发射和接收功能性,或可包含组合发射器和接收器功能的收发器。RF资源318可被配置成支持根据不同无线通信协议操作的多个无线电接入技术/无线网络。RF资源318可包含或提供到放大器、数/模转换器、模/数转换器、滤波器、压控振荡器等的不同集合的连接。多个天线320和/或接收块可耦合到RF资源318以有助于与天线和接收器/发射器频率和协议(例如,LTE、WiFi、蓝牙等等)的各种组合的多模通信。
移动计算装置300的基带-调制解调器处理器可被配置成执行包含与至少一个SIM相关联的至少一个调制解调器堆栈的软件。SIM和相关联的调制解调器堆栈可被配置成支持满足不同用户要求的各种通信服务。另外,可为特定SIM供应信息以执行不同信令程序,以用于接入与这些服务相关联的核心网络的域且用于处理其数据。
在一些实施例中,通用处理器306、存储器314、基带-调制解调器处理器316和RF资源318可包含在芯片上系统装置322中。SIM 304a和其对应接口302可在芯片上系统装置322外部。此外,各种输入和输出装置可耦合到芯片上系统装置322的组件,例如接口或控制器。适合在移动计算装置300中使用的实例用户输入组件可包含但不限于小键盘324、触摸屏326(例如倾斜边缘触摸屏)和一或多个触摸传感器327。一或多个触摸传感器327可类似于参考图1A-2描述的触摸传感器102、104、106a、106b、108。
在各种实施例中,一或多个触摸传感器327可连接到一或多个微控制器328,且微控制器328可连接到通用处理器306。在各种实施例中,微控制器328可配置有微控制器可执行指令以执行确定是否在一或多个触摸传感器327上正在发生接触的操作。在各种实施例中,微控制器328可配置有微控制器可执行指令以执行确定接触的方位的操作。在各种实施例中,微控制器328可配置有微控制器可执行指令以执行将包含接触参数信息的接触的指示发送到通用处理器306的操作。在各种实施例中,通用处理器306可接收来自微控制器328的接触指示。
图4A是说明根据各种实施例的管理依序接收到的多传感器输入的方法400a的过程流程图。参考图1A-4A,方法400a可实施于移动计算装置(例如,100、300)的硬件组件和/或软件组件中,其操作可受移动计算装置的一或多个处理器(例如,通用处理器306)控制。
在框402中,移动计算装置的处理器可接收与相对于被至少细分到具有一或多个对象的第一命令层和具有一或多个对象的第二命令层的内容执行功能的有关的输入(例如,用户输入)。在一个实施例中,所述内容可被细分到多个命令层,每一层具有一或多个可控对象。在各种实施例中,处理器可接收来自移动计算装置的一或多个触摸传感器的输入。在一些实例中,多个命令层中的每一命令层可与致使相对于与所述命令层相关联的一或多个对象执行一或多个操作的特定命令集合相关联。
在确定框404中,处理器可确定所接收的输入与第一命令层的第一对象还是第二命令层的第二对象相关联。在一些实施例中,处理器可产生和/或确定输入与第一对象、第一命令层、第二对象和/或第二命令层的一或多个关联。在一些实施例中,可根据定义输入和与每一命令层相关联的命令或功能之间的关联的一或多个关联表中的一或多个来执行所述确定。在一些实施例中,可根据各种输入特性定义每一输入,所述输入特性例如接收到的输入所来自的特定传感器、输入的形状、输入的量值(例如,力、大小、速率)或其它定义输入的类似特性。在一些实施例中,可使用确定输入的特性并且将这类特性与关联于命令层或命令层的对象的特定命令相关联的机器学习技术来执行所述确定。在一些实施例中,下文所描述的方法的组合可用于确定所接收的输入与命令层或与命令层相关联的对象的关联。
作为实例,移动装置的处理器可接收移动计算装置的触摸传感器中的一个处的输入并且使所述输入与对在移动装置上经处理和/或呈现的内容的特定部分(例如,文本、图像、视频、音频等的第一层)执行的功能相关联。可使用执行扩展现实应用程序的移动计算装置的实例解释各种对象与各种触摸传感器的各种命令层的关联,在所述扩展现实应用程序中,显示器将应用程序产生的图形呈现到由相机图像捕获的图像的显示器上(参见图5D)。在此实例中,移动计算装置的处理器可接收操控(例如,缩放、调光、淘选(panning)等)所显示的相机图像(例如,在扩展现实头戴式显示器上显示)的前侧触摸传感器102上的用户输入,并且接收用于操控(例如,调整大小、移动、旋转等)背侧触摸传感器104上的扩增现实图像或对象的用户输入。处理器可通过确定前侧触摸传感器102处接收到的输入与控制相机图像显示的第一命令层相关联并确定所接收的输入(例如,触摸手势,如点击、滑移等)与关联于控制相机图像(例如,如图5D中所说明的城市景观)的第一命令层的功能相关联(即,由所述第一命令层执行),以此来处理这类用户输入。类似地,处理器可接收背侧触摸传感器104上的输入并且确定在触摸传感器104上接收到的输入与控制应用程序产生的扩增现实图像或对象的功能性的第二命令层相关联。处理器可确定在背侧触摸传感器104上接收到的输入与关联于第二命令层或受第二命令层控制的图像对象(例如,如图5D中所说明的龙528的图像)相关联。作为另一个实例,处理器可接收另一触摸传感器106a、106b或108上的输入并且确定这类输入与第一命令层(真实图像)还是第二命令层(扩增现实对象)相关联,并且使用这类输入另外控制对应图像或视觉对象。替代地,处理器可确定其它触摸传感器106a、106b或108上的所接收的输入与受第三命令层控制的第三对象相关联,例如在如图5D中所说明的所显示图像上呈现信息标注(balloon)526。此扩展现实应用程序仅为各种实施例如何使得用户能够执行对具有如本文中所描述的多个触摸传感器的移动计算装置上的应用程序、对象和装置的多维控制的一个实例。
响应于确定所接收的输入与第一命令层的第一对象相关联(即,确定框404=“第一对象”),处理器可在框406中确定要对第一对象执行的功能。在一些实施例中,处理器可根据定义输入和与第一命令层相关联的命令之间的关联的一或多个关联表中的一或多个(例如,命令层转译表600,如下文进一步描述),产生和/或确定在对象和/或命令层上执行的一或多个功能。在一些实例中,处理器可根据一或多个输入特性定义所接收的输入,所述输入特性例如接收到的输入所来自的特定传感器(例如,触摸传感器102、104、106a、106b、108)、输入的形状、输入的量值(例如,力、大小、速率),或定义输入的另一类似特性。在一些实施例中,处理器可使用机器学习技术来确定输入的特性并且将这类特性与关联于第一命令层的特定功能相关联。
在框408中,处理器可对第一对象执行所确定的功能。
响应于确定所接收的输入与第二命令层的第二对象相关联(即,确定框404=“第二对象”),处理器可在框410中确定要对第二对象执行的功能。在一些实施例中,处理器可根据定义输入和与第二命令层相关联的命令之间的关联的一或多个关联表,产生和/或确定在对象和/或命令层上执行的一或多个功能。在一些实施例中,处理器可根据一或多个输入特性定义所接收的输入,所述输入特性例如接收到的输入所来自的特定传感器(例如,触摸传感器102、104、106a、106b、108)、输入的形状、输入的量值(例如,力、大小、速率),或定义输入的另一类似特性。在一些实施例中,处理器可使用机器学习技术来确定输入的特性并且将这类特性与关联于第二命令层的特定功能相关联。
在框412中,处理器可对第二对象执行所确定的功能。
方法400的操作可应用于在具有多个触摸传感器的移动计算装置上执行的广泛范围的应用程序和实施方案。在以下段落中描述这类应用程序和实施方案的一些非限制性实例。
在一些实施例中,处理器可从移动计算装置的存储器获得命令层转译表,确定接收到输入的触摸传感器,并且使用与所确定的触摸传感器相关联的命令层转译表来标识应执行的功能。换句话说,处理器可使用如下文参考图6进一步描述的转译表,基于所确定的触摸传感器,确定与所接收的用户输入和相关联的命令层相关联的功能。
在一些实施例中,移动计算装置的处理器可将大体安置于移动计算装置的前部上的一或多个触摸传感器的第一群组(例如,触摸传感器102,其可包含一或多个传感器)映射到第一命令层,并且将大体安置于移动计算装置的背部上的一或多个触摸传感器的第二群组(例如,触摸传感器104,其可包含一或多个传感器)映射到第二命令层。在一些实施例中,处理器可将大体安置于移动计算装置的侧部上的一或多个触摸传感器的第三群组(例如,触摸传感器106a、106b、108,其各自可包含一或多个传感器)映射到第一命令层和第二命令层中的一或多个。
在一些实施例中,如下文参考图5B所描述,第一命令层可包含由移动装置显示的文本的第一文本层,且第二命令层可包含所显示的文本的第二文本层。
在一些实施例中,第一命令层可包含移动装置所显示的图像的第一图像层,且第二命令层可包含所显示的图像的第二图像层。举例来说,如下文参考图5A所描述,第一命令层可包含移动装置所显示的图像的前景层,且第二命令层可包含所显示的图像的背景层。作为另一实例,如下文参考图5C所描述,第一命令层可包含移动装置所显示的图像的第一维度,且第二命令层可包含所显示的图像的第二维度。
在一些实施例中,如下文参考图5D所描述,第一命令层可包含移动装置所显示的扩展现实图像中的数字对象的由处理器产生的图像层,且第二命令层可包含在显示的扩展现实图像中显示的真实对象的真实图像层。
在一些实施例中,如下文参考图5E所描述,第一命令层可包含在移动装置上执行的第一应用程序,且第二命令层可包含在移动装置上执行的第二应用程序。
在一些实例中,如下文参考图5F所描述,与第一触摸传感器(例如,前侧传感器)相关联的第一命令层可包含可传送到被配置成从移动计算装置接收命令的第一装置的命令,且与第二触摸传感器(例如,背侧传感器)相关联的第二命令层可包含可传送到被配置成从移动计算装置接收命令的第二装置的命令。
图4B是说明根据各种实施例的管理依序接收到的多传感器输入的方法400b的过程流程图。参考图1A-4B,方法400b可实施于移动计算装置(例如,100、300)的硬件组件和/或软件组件中,其操作可受移动计算装置的一或多个处理器(例如,通用处理器306)控制。在框402-412中,处理器可执行参考图4A所描述的方法400a的类似编号框的操作。
在框414中,处理器可从移动计算装置的存储器获得命令层转译表。在一些实施例中,处理器可从在移动计算装置上运行的应用程序获得一或多个转译表。在一些实施例中,处理器可从移动计算装置的操作系统、从存储器(例如,非易失性存储器)或从移动计算装置的除在移动计算装置上运行的应用程序以外的另一软件和/或硬件元件获得一或多个转译表。在一些实施例中,转译表可为静态转译表。在一些实施例中,转译表可为处理器可基于动态、实时或运行信息产生的动态转译表。举例来说,处理器可基于移动计算装置的一或多个条件或状态、在移动计算装置上运行的应用程序、与移动计算装置通信的一或多个其它装置(例如,视听装置202、智能恒温器206、IoT安全相机208、IoT集线器装置210)的标识以及其它合适的动态或实时信息,产生动态转译表。作为另一实例,处理器可例如在其中用户提供输入或命令以使得处理器能够将特定触摸传感器和/或用户输入和/或应用程序与用户选择的命令层和功能性相关的校准、训练或配置例程中,响应于用户输入而产生一或多个动态转译表。在下文进一步描述命令层转译表的使用。
在框416中,处理器可确定接收到输入的触摸传感器。举例来说,处理器可确定在触摸传感器102、104、106a、106b、108和327中的一个处接收到输入。
在确定框404中,处理器可部分地基于输入的一或多个特性,确定所接收的输入与第一命令层的第一对象还是第二命令层的第二对象相关联。在一个实例中,框404的确定可至少基于接收到输入的触摸传感器。在一个实例中,所述确定可基于命令层转译表。处理器接着可执行参考图4A所描述的框406-412中的操作。
图4C说明管理对如图1A和1B中所说明且上文根据各种实施例所描述的具有多个用户输入传感器的移动计算装置上的用户输入的响应的方法400c。基于容易参考,术语“多传感器控制”在本文中用以指管理在移动计算装置的大于一个触摸传感器(例如,触摸传感器102、104、106a、106b、108)处接收到的用户输入以使得用户能够通过与不同触摸传感器上的触摸手势交互,控制不同装置(例如,显示器、IoT装置等)、不同应用程序,和/或在移动计算装置上经处理的内容(例如,文本、图像、声音等)的不同层或部分。就触摸传感器来论述各种实施例,但还可使用移动计算装置的其它输入传感器和其它接收输入的装置,例如电源按钮、音量按钮,或另一按钮、开关、滑块等等。参考图1A-4C,方法400c可实施于移动计算装置(例如,100、300)的硬件组件和/或软件组件中,其操作可受移动计算装置的一或多个处理器(例如,通用处理器306)控制。
在确定框418中,移动计算装置的处理器可确定是否接收到多传感器控制触发。在各种实施例中,多传感器控制触发可为一确定或命令,响应于所述确定或命令,处理器可接收多传感器控制输入并且处理所述多传感器控制输入。
响应于确定尚未接收到多传感器控制触发(即,确定框418=“否”),处理器可继续在确定框418中确定是否已接收到多传感器控制触发。
响应于确定已接收到多传感器控制触发(即,确定框418=“是”),处理器可在框420中确定从移动计算装置的存储器获得一或多个转译表(例如,下文参考图6描述的转译表600)。在一些实施例中,处理器可从在移动计算装置上运行的应用程序获得一或多个转译表。在一些实施例中,处理器可从移动计算装置的操作系统、从存储器或从移动计算装置的除在移动计算装置上运行的应用程序以外的另一软件和/或硬件元件获得一或多个转译表。
在框422中,处理器可获得所确定的一或多个转译表。
在框424中,处理器可接收来自移动计算装置的一或多个触摸传感器(例如,触摸传感器102、104、106a、106b、108、327)的输入。
在框426中,处理器可标识所接收的输入。在一些实施例中,移动计算装置的处理器可区分点击、双击、长按、滑移或滑动、拖动、包含多个触摸和/或压力输入的预定义手势、抓握、松开、悬空、其它接触,或与触摸传感器的并发、同时或顺序的交互的任何组合。如本文中所使用,术语“点击”是指多于仅表面触摸的用户触摸,所述仅表面触摸如在装置的正常使用和携带时可能触摸移动计算装置的侧部和背部上的触摸传感器。因此,“点击”可为触摸表面上的强力推按(即,强点击),其可不同于装置的无意触摸或处置。
在框428中,处理器可确定接收到输入的一或多个触摸传感器。在一些实施例中,处理器可确定接收到输入的触摸传感器是否是前部传感器、背部传感器、侧部传感器等。在一些实施例中,关于输入的信息还可包含一或多个触摸传感器的标识。在这类实施例中,可在单个操作中执行框426和428的操作。在一些实施例中,与触摸传感器相关联的微控制器(例如,328)可提供触摸传感器的标识。在一些实施例中,处理器可基于处理器接收关于输入的信息所经由的引脚、端口或其它物理输入,确定接收到输入的触摸传感器。
在框430中,处理器可使用所确定的一或多个转译表确定与所标识的输入和所确定的一或多个触摸传感器相关联的多传感器功能。
在框432中,处理器可基于所确定的功能和所接收的输入的一或多个输入参数来产生命令。在一些实施例中,所产生的命令可特定于计算装置情境和/或特定于在移动计算装置上运行的应用程序。在一些实施例中,所接收的输入的一或多个输入参数可包含所接收的输入的标识(例如,输入的类型)。在一些实施例中,一或多个输入参数可包含程度、范围、类型、量值、宽度、长度、速率、方向、向量、速率、方向或向量的改变、输入的数目、一或多个输入的持续时间、低于、超过和/或等于阈值(或两个或更多个阈值)的值,以及上述的任何组合。
在框434中,处理器可执行所产生的命令。在一些实施例中,如下文参考图5E和17进一步描述,执行所产生的命令可包含通过处理器执行所述命令以执行在移动计算装置上运行的与特定触摸传感器相关联的应用程序的功能。在一些实施例中,执行所产生的命令可包含通过处理器执行所述命令以操作移动计算装置的如下文参考图12进一步描述的功能。在一些实施例中,如下文参考图5F和18进一步描述,执行所产生的命令可包含将命令发送、发出或发射到与移动计算装置通信的另一装置(例如,IoT装置),其中用于第一装置(例如,IoT灯泡204)的第一命令细分到第一命令层且用于第二装置(例如,IoT恒温器206)的第二命令细分到第二命令层。
在确定框436中,处理器可确定是否解除激活多传感器控制。在一些实施例中,激活多传感器控制可包含将移动计算装置置于其中处理器不接收多传感器控制输入和/或不处理多传感器控制输入的操作状态中。在一些实施例中,处理器可基于计时器、时钟或另一基于时间的功能确定是否解除激活多传感器控制,在所述计时器、时钟或另一基于时间的功能到期时,处理器可解除激活多传感器控制。在一些实施例中,处理器可基于输入、命令、应用程序的解除激活、应用程序改变到进入背景或空闲模式、通过移动计算装置进入空闲状态、低电力状态、睡眠模式,或另一类似的可操作状态等等,确定是否解除激活多传感器控制。
响应于确定不解除激活多传感器控制(即,确定框436=“否”),处理器可在框424中接收来自触摸传感器中的一或多个的另一输入。
响应于确定解除激活多传感器控制(即,确定框436=“是”),处理器可解除激活多传感器控制并且等待在确定框418中接收另一多传感器控制触发。
图4D说明根据各种实施例的管理对如图1A和1B中所说明具有多个用户输入传感器的移动计算装置上的用户输入的响应的方法400d。参考图1A-4D,方法400d可实施于移动计算装置(例如,100、300)的硬件组件和/或软件组件中,其操作可受移动计算装置的一或多个处理器(例如,通用处理器306)控制。就触摸传感器来论述各种实施例,但还可使用移动计算装置的其它输入传感器和其它接收输入的装置,例如电源按钮、音量按钮,或另一按钮、开关、滑块等等。在框418-422、428和436中,移动计算装置的处理器可执行如所描述的方法400c的类似编号框的操作。
在框440中,处理器可接收来自一或多个触摸传感器(例如,触摸传感器102、104、106a、106b、108、327)的输入。
在框442中,处理器可确定所接收的输入与第一命令层的第一对象还是第二命令层的第二对象相关联。此确定可至少部分地基于所确定的接收到输入的触摸传感器(例如,触摸传感器102、104、106a、106b、108)。在一些实施例中,处理器可根据定义输入和与第一和第二对象和/或第一和第二命令层相关联的命令之间的关联的一或多个关联表中的一或多个,确定所接收的输入与第一命令层的第一对象还是第二命令层的第二对象相关联。在一些实例中,处理器可根据一或多个输入特性定义所接收的输入,所述输入特性例如接收到的输入所来自的特定传感器(例如,触摸传感器102、104、106a、106b、108)、输入的形状、输入的量值(例如,力、大小、速率),或定义输入的另一类似特性。在一些实施例中,处理器可使用机器学习技术来确定输入的特性并且将这类特性与关联于第一对象(或第一命令层)或第二对象(或第二命令层)的特定功能相关联。
在框444中,处理器可基于确定第一命令层还是第二命令层与所接收的输入相关联,确定要对第一或第二对象中的一个执行的功能。
在框446中,处理器可对第一对象或第二对象执行所确定的功能。
图5A-5F说明实施于移动计算装置500上的各种实施例的实例。参考图1A-5F,移动计算装置500可包含移动计算装置(例如,100、300)的硬件组件和/或软件组件,其操作可受移动计算装置的一或多个处理器(例如,通用处理器306)控制。就触摸传感器来论述各种实施例,但还可使用移动计算装置的其它输入传感器和其它接收输入的装置,例如电源按钮、音量按钮,或另一按钮、开关、滑块等等。
参考图5A,在一些实施例中,移动计算装置500可显示图像502,其可包含在图像502的前景中包含一或多个对象(例如,对象504)的前景层,以及在图像502的背景中包含一或多个对象(例如,对象506)的背景层。
在一些实施例中,移动计算装置500的处理器可将图像502的对象细分到第一命令层和第二命令层中。举例来说,处理器可将对象504细分到第一命令层中并且可将对象506细分到第二命令层中。
在一些实施例中,移动计算装置500的处理器可确定接收到的输入与第一命令层还是第二命令层相关联。举例来说,在触摸传感器102处接收到的输入可与第一命令层相关联,且在触摸传感器104处接收到的输入可与第二命令层相关联。在一些实施例中,处理器可确定要对相关联命令层中的图像502的对象执行的图像功能。举例来说,处理器可确定(例如,在触摸传感器102处)接收到的输入与对象504已细分到的第一命令层相关联。处理器可基于所接收的输入确定要执行的图像功能并且可对图像502的前景层和/或对对象504执行所确定的图像功能。作为另一实例,处理器可确定(例如,在触摸传感器104处)接收到的输入与对象506已细分到的第二命令层相关联。处理器可基于所接收的输入确定要执行的图像功能并且可对图像504的背景层和/或对对象506执行所确定的图像功能。
在一些实施例中,图像功能可包含对对象的任何选择、更改、变换或处理,包含改变对象的大小、维度、色彩、旋转、焦点、模糊、纹理、偏斜、拉伸、弯曲、翘曲、复制、粘贴、剪切,或其它变换。
图5B说明根据各种实施例的移动计算装置500显示具有第一文本层和第二文本层的文本。移动计算装置500可显示文本508。文本508可包含第一文本层510和第二文本层512。举例来说,第一文本层510可包含显示的词语、符号、图像、图形等等。作为另一实例,第二文本层512可包含非文本区域,其包含文本508的背景。
在一些实施例中,移动计算装置500的处理器可将文本508细分到第一命令层和第二命令层中。举例来说,处理器可将第一文本层510细分到第一命令层中并且将第二文本层512细分到第二命令层中。
在一些实施例中,移动计算装置100的处理器可确定接收到的输入与第一命令层还是第二命令层相关联。举例来说,在触摸传感器102处接收到的输入可与第一命令层相关联,且在触摸传感器104处接收到的输入可与第二命令层相关联。在一些实施例中,处理器可确定要对相关联命令层中的文本248执行的文本功能。举例来说,处理器可确定(例如,在触摸传感器102处)接收到的输入与第一文本层510已细分到的第一命令层相关联。处理器可基于所接收的输入确定要执行的文本功能并且可对第一文本层510和/或第一文本层510的元素(例如,对一或多个字母、词语、符号、段落、直插式图像等)执行所确定的文本功能。作为另一实例,处理器可确定(例如,在触摸传感器104处)接收到的输入与第二文本层512已细分到的第二命令层相关联。处理器可基于所接收的输入确定要执行的文本功能并且可对第二文本层512执行所确定的文本功能。在一些实施例中,与第二文本层相关联的功能可为如下功能:更改或调整整个语句、段落、页面,或整个文档(例如,全局文档功能);背景色彩、纹理、图案、形状等等;文档定向、大小、格式化等;和通常与除文本条目以外的文本功能相关联的其它类似功能。
一些实施例使得用户能够基于接收到用户输入的特定触摸传感器,在多个维度上、围绕多个维度或沿着多个维度控制对象(例如,516、518)的显示。图5C说明移动计算装置500显示图像514,包含沿着X、Y和Z轴520的三个空间维度内的三维对象516、518的二维再现。然而,可根据一些实施例控制所显示的对象所围绕的维度不限于空间维度,并且可包含用于任何其它视觉调整的维度或范围。
在一些实施例中,移动计算装置500的处理器可将所显示的图像514或图像内的对象(例如,516或518)细分到与第一触摸传感器(例如,前部传感器102)相关联的用于沿着/围绕第一维度控制所显示的图像的第一命令层和与第二触摸传感器(例如,背侧传感器104)相关联的用于沿着/围绕第二维度控制所显示的图像的第二命令层中。举例来说,处理器可处理在第一触摸传感器上接收到的用户输入,所述用户输入作为用于围绕/沿着第一维度(例如,X维度)旋转或平移对象(例如,516或518)的输入,并且处理在第二触摸传感器上接收到的用户输入,所述用户输入作为用于围绕/沿着第二维度(例如,Y维度)旋转或平移对象(例如,516或518)以使得用户能够从不同方向和/或方位查看三维对象的输入。在一些实施例中,移动计算装置500的处理器可另外将图像514或图像内的对象(例如,516或518)细分到与第三触摸传感器(例如,右侧传感器116b)相关联的用于沿着/围绕第三维度控制所显示的图像的第三命令中。举例来说,处理器可处理在第三触摸传感器上接收到的用户输入,所述用户输入作为用于围绕/沿着第三维度(例如,Z维度)旋转或平移对象(例如,516或518)的输入。在一些实施例中,移动计算装置500的处理器可另外将图像514或图像内的对象(例如,516或518)细分到与第四触摸传感器(例如,左侧传感器106a)相关联的用于沿着/围绕第四维度(例如时间、色彩、透明度、焦点、纹理等)控制所显示的图像的第四命令层中。举例来说,处理器可处理在第四触摸传感器上接收到的用户输入,所述用户输入作为用于沿着时间维度改变对象(例如,516或518)以使得用户能够查看对象随时间的改变的输入。作为另一实例,处理器可处理在第四触摸传感器上接收到的用户输入,所述用户输入作为用于沿着频谱维度改变对象(例如,516或518)的色彩以使得用户能够查看各种色彩的对象的输入。在一些实施例中,移动计算装置500的处理器可另外将图像514或图像内的对象(例如,516或518)细分到与另外的触摸传感器(例如顶侧传感器108)相关联的另外的维度中。
在一些实施例中,移动计算装置500的处理器可接收来自触摸传感器的输入并且确定相关联的命令层(例如,第一、第二、第三等命令层),确定要对/沿着/围绕对应于相关联的命令层的维度执行的图像功能,并且对图像执行所确定的功能。举例来说,处理器可确定(例如,在触摸传感器102处)接收到的输入与图像对象(例如,516或518)的第一维度(例如,X维度)已细分到的第一命令层相关联。继续此实例,处理器可确定旋转基于所接收的输入围绕第一维度对图像对象执行的图像功能,并且接着通过围绕/沿着X轴旋转对象对对象,执行所确定的图像功能。在一些实施例中,图像功能可包含在相关联维度中、围绕或沿着相关联维度对图像的任何选择、更改、变换或处理,包含对象的旋转、平移、色彩改变、大小调整、焦点、模糊、纹理、偏斜、拉伸、弯曲、翘曲、复制、粘贴、剪切或其它变换。
图5D说明根据各种实施例的移动计算装置500与显示扩展现实图像的视听装置通信。参考图1A-5D,视听装置202可显示可包含扩展现实图像的图像522,所述扩展现实图像包含真实对象和数字对象。在一些实施例中,视听装置202可包含能够提供信息和图像的扩展现实(XR)显示的可穿戴装置,其可包含虚拟现实(VR)、扩增现实(AR)、混合现实(MR),以及信息和/或图像的其它类似呈现。
“扩展现实”是指一系列数字输出(其可包含图像、文本、声音、触觉输出,以及可用其它传感器检测到的输出),其包含完全数字输出以及数字信息与真实环境的集成。举例来说,视听装置202可包含透明或半透明显示器,其形成用户进行查看可经由的视听装置202的表面。在一些实施例中,经由视听装置202的显示器可见的真实环境的方面在本文中被称作“真实对象”,例如实际对象524。此外,视听装置202的显示器可展示用户也可见的数字信息。在视听装置202的显示器上显示的数字信息在本文中被称作“数字对象”,例如数字对象526和528。数字对象可包含虚拟性的图像、文本、图标、动画,以及其它可显示的数字信息。
在一些实施例中,与视听装置202通信的移动计算装置100的处理器可将图像522的对象细分到第一命令层和第二命令层中。举例来说,处理器可将实际对象524细分到第一命令层中并且将数字对象526和528细分到第二命令层中。
在一些实施例中,移动计算装置100的处理器可确定接收到的输入与第一命令层还是第二命令层相关联。举例来说,在触摸传感器102处接收到的输入可与第一命令层相关联,且在触摸传感器104处接收到的输入可与第二命令层相关联。在一些实施例中,处理器可确定要对相关联命令层中的图像522的对象执行的图像功能。举例来说,处理器可确定(例如,在触摸传感器102处)接收到的输入与实际对象524已细分到的第一命令层相关联。处理器可基于所接收的输入确定要执行的扩展现实图像功能并且对实际对象524执行所确定的扩展现实图像功能。作为另一实例,处理器可确定(例如,在触摸传感器104处)接收到的输入与数字对象526和528已细分到的第二命令层相关联。处理器可基于所接收的输入确定要执行的扩展现实图像功能并且对数字对象526和/或528执行所确定的扩展现实图像功能。
5E说明根据各种实施例的移动计算装置500被配置成控制在移动计算装置上执行的多个应用程序。参考图1A-5E,移动计算装置500的处理器可被配置成与各自在移动计算装置500上执行的第一应用程序530和第二应用程序532通信和/或控制所述第一应用程序530和第二应用程序532(例如,发送信息到所述第一应用程序530和第二应用程序532,从所述第一应用程序530和第二应用程序532接收信息,和/或发送命令到所述第一应用程序530和第二应用程序532)。
在各种实施例中,移动计算装置500可在移动计算装置500的一或多个触摸传感器(例如,触摸传感器102、104、106a、106b、108、327)处接收输入。在一些实施例中,第一应用程序530和第二应用程序532的功能可细分到不同命令层中。举例来说,第一命令层可与第一应用程序530的功能相关联且第二命令层可与第二应用程序532的功能相关联。
在一些实施例中,移动计算装置500的处理器可确定接收到的输入与第一命令层还是第二命令层相关联。举例来说,在第一触摸传感器102处接收到的输入可与第一命令层相关联。作为另一实例,在第二触摸传感器104处接收到的输入可与第二命令层相关联。在一些实施例中,处理器可确定要对与相关联命令层相关联的应用程序执行的功能。举例来说,处理器可确定(例如,在第一触摸传感器102处)接收到的输入与第一应用程序功能已细分到的第一命令层相关联。处理器可基于所接收的输入确定要执行的第一应用程序功能,并且可执行所确定的第一应用程序功能。举例来说,处理器可将信息、指令、命令等发送到第一应用程序530。作为另一实例,处理器可确定(例如,在触摸传感器104处接收到的输入)与第二应用程序功能已细分到的第二命令层相关联。处理器可基于所接收的输入确定要执行的第二应用程序功能,并且执行所确定的第二应用程序功能。举例来说,处理器可将信息、指令、命令等发送到第二应用程序532。
图5F说明根据各种实施例的移动计算装置500被配置成与多个装置通信且/或控制多个装置。参考图1A-5F,移动计算装置100的处理器可被配置成与各种装置通信和/或控制各种装置(例如,发送信息到各种装置,从各种装置接收信息,和/或发送命令到各种装置),所述各种装置例如视听装置202和IoT装置204-210。智能照明系统204和智能恒温器206在图5F中示出为可被配置成与移动通信装置100通信的装置的仅两个实例。
在一些实施例中,其它装置(例如,智能照明系统204和智能恒温器206)的功能可细分到不同命令层中。举例来说,第一命令层可与智能照明系统204相关联,且第二命令层可与智能恒温器206的功能相关联。在各种实施例中,其它装置(例如,视听装置202、智能恒温器206、IoT安全相机208和IoT集线器装置210)的功能可细分到其它命令层中。
在一些实施例中,移动计算装置100的处理器可确定接收到的输入与第一命令层还是第二命令层相关联。举例来说,在第一触摸传感器102处接收到的输入可与第一命令层相关联。作为另一实例,在第二触摸传感器104处接收到的输入可与第二命令层相关联。在一些实施例中,处理器可确定要对与相关联命令层相关联的装置执行的功能。举例来说,处理器可确定(例如,在第一触摸传感器102处)接收到的输入与智能照明系统命令已细分到的第一命令层相关联。处理器可基于所接收的输入确定要执行的智能照明系统功能,并且执行所确定的智能照明系统功能。举例来说,处理器可将信息发送到智能照明系统204,从智能照明系统204接收信息,和/或将指令发送到智能照明系统204。作为另一实例,处理器可确定(例如,在触摸传感器104处)接收到的输入与智能恒温器命令已细分到的第二命令层相关联。处理器可基于所接收的输入确定要执行的智能恒温器功能,并且执行所确定的智能恒温器功能。举例来说,处理器可将信息发送到智能恒温器206,从智能恒温器206接收信息,和/或将指令发送到智能恒温器206。类似地,其它各种装置和系统的功能可细分到不同命令层中。
图6说明适用于实施各种实施例的实例多传感器输入转译表600。基于容易参考,术语“多传感器输入”在本文中用以指在移动计算装置的超过一个触摸传感器(例如,触摸传感器102、104、106a、106b、108)接收到的用户输入,所述用户输入使得用户能够通过与不同触摸传感器上的触摸手势交互,控制不同装置(例如,显示器、IoT装置等)、不同应用程序、和/或在移动计算装置上经处理的内容(例如,文本、图像、声音等)的不同层或部分。就触摸传感器来论述各种实施例,但还可使用移动计算装置的其它输入传感器和其它接收输入的装置,例如电源按钮、音量按钮,或另一按钮、开关、滑块等等。图6仅提供为可用以取决于计算装置状态和/或正在执行的应用程序,使来自前部、背部、侧部、顶部和/或底部传感器的传感器输入的各种组合与特定动作或功能性有关的任何数目个数据结构的一个实例。此外,取决于装置状态和正在执行的应用程序使传感器输入的各种组合与特定功能性有关的其它形式可用于实施各种实施例,例如实施于软件、硬件或软件和硬件的组合中的级联决策树。因此,转译表600既定作为各种实施例的数据结构类型实施方案的非限制性实例。在一些实施例中,所述数据结构可由移动计算装置的处理器(例如,通用处理器306等)产生。在一些实施例中,可使用机器学习技术产生所述数据结构。
在使用转译表实施方案的实施例中,多传感器输入转译表600可包含多种类型的数据,包含任何数目或组合的传感器输入、装置参数、应用程序和/或动作。在图6中说明的实例中,多传感器输入转译表600包含对应于数据类型的数个列602、604、606、608、610、612、614、616、618。实例数据列包含:传感器1输入对应的列602;传感器2输入对应的列604;传感器N输入对应的列606;装置参数1对应的列608;装置参数N对应的列610;应用程序1对应的列612;应用程序N对应的列614;动作1对应的列616;和动作N对应的列618。多传感器输入转译表600可被配置成使各种数据类型的数据有关,包含来自列602、604、606的至少一个传感器输入和来自列616、618的至少一个动作。可在多传感器输入转译表600中通过行620、622、624、626、628、630表示各种数据类型的数据之间的关系。
多传感器输入转译表600可包含传感器输入数据类型的数据,其可以被称作传感器输入数据。传感器输入数据可表示与数个触摸传感器(例如,图1A-3中的触摸传感器102、104、106a、106b、108、327)的交互。各种触摸传感器可认识到的传感器交互的非限制性实例包含抓握、点击、按压、滑移、手势、松开或悬停,和与触摸传感器的并发、同时或顺序的交互的任何组合。传感器输入数据可表示与触摸传感器的交互的质量,例如与触摸传感器的交互的方位、区域、持续时间、方向、速度、压力、数目、频率或顺序。
多传感器输入转译表600中的对应于传感器输入数据类型的每一列602、604、606可与触摸传感器相关联。对应于传感器输入数据类型的列602、604、606的数目可取决于触摸传感器的数目,高达N个触摸传感器。举例来说,列602可对应于移动计算装置100的背部的触摸传感器,列604可对应于移动计算装置100的前部的触摸传感器,且列606可对应于移动计算装置100的任何数目个侧部的任何数目个触摸传感器。在一些实施例中,不同列可用于移动计算装置100的每一侧上的触摸传感器(例如,传感器106a、106b)。
多传感器输入转译表600可包含装置参数数据类型的数据,其可以被称作装置参数数据。装置参数数据可表示除与触摸传感器的交互以外的任何数目和组合的移动计算装置参数。举例来说,装置参数数据可包含来自移动计算装置的其它传感器(例如光传感器、加速度计、陀螺仪、温度传感器、电压和/或电流传感器、红外传感器等)的读数或信号。装置参数数据可包含移动计算装置的方位数据,例如全球定位系统(GPS)数据。装置参数数据可包含移动计算装置的有线或无线连接数据,例如蜂窝、Wi-Fi、蓝牙、近场通信(NFC)等,或有线外围装置连接数据,包含移动计算装置连接到的装置的连接状态或标识。装置参数数据可包含移动计算装置状态数据,例如移动计算装置的电力状态(例如,全满、低、充电、特定电池充电或电量等)或活动状态(例如,处于作用中、睡眠、休眠等)。对应于装置参数数据类型的每一列608、610可与装置参数数据相关联。对应于装置参数数据类型的列608、610的数目可取决于装置参数数据的数目,高达N个装置参数数据。装置参数数据的数目可取决于与多传感器输入转译表600的行620、622、624、626、628、630中的传感器输入数据的组合相关联的装置参数数据的数目。
多传感器输入转译表600可包含应用程序数据类型的数据,其可以被称作应用程序数据。应用程序数据可表示移动计算装置上的任何数目和组合的应用程序的标识。移动计算装置上的应用程序可包含操作系统(OS)用户界面(UI)、集成到操作系统中以实施移动计算装置的固有功能的应用程序,或通过操作系统开发者或移动计算装置制造者、经销商、卖家或用户加载到移动计算装置的应用程序。借助于实例,应用程序可包含:电话应用程序、相机或视频应用程序、相册应用程序、图像编辑应用程序、媒体播放器应用程序、文字处理应用程序、日历应用程序、地图应用程序、显示控制应用程序、消息接发应用程序、电子邮件应用程序、游戏应用程序、家庭助手应用程序(例如,谷歌家庭(Google Home)、亚马逊回声(Amazon Echo)、苹果音箱(Apple HomePod))、网页浏览器应用程序、时钟应用程序、键盘、警报管理器应用程序、移动计算装置预置文件管理器应用程序、隐私应用程序、应用程序启动器或切换器等。对应于装置参数数据类型的每一列608、610可与装置参数数据相关联。对应于应用程序数据类型的列612、614的数目可取决于应用程序数据的数目,高达N个应用程序数据。应用程序数据的数目可取决于与多传感器输入转译表600的行620、622、624、626、628、630中的传感器输入数据的组合相关联的应用程序数据的数目。
多传感器输入转译表600可包含动作数据类型的数据,其可以被称作动作数据。动作数据可表示响应于传感器输入数据、装置参数数据或应用程序数据的组合的任何组合而实施于移动计算装置上的任何数目和组合的动作。动作数据可包含用于实施移动计算装置上的动作的代码或触发值、实施移动计算装置上的动作的标识符、或对用于实施移动计算装置上的动作的代码的参考。动作可包含移动计算装置上的操作系统或应用程序的任何数目或组合的功能。借助于实例,动作可包含:拍摄照片;开始、停止或暂停视频或声音的录制;改变图像或视频的背景图像;调整不同焦距处的图像或视频的焦点;调整图像或视频的背景模糊或其它细分效应的程度;调整图像或视频的面部美化效果;在前向相机和后向相机之间切换;调整可上叠于图像、视频或地图上的扩展现实(XR)特征;调整显示器上的其它XR内容,例如增加图像、视频或地图中的图形的亮度;将边界框放置于图像、视频或地图中的个人或关注对象上;移动在图像、视频或地图中的数个人物或对象当中的选择;选择展示有关图像、视频或地图中的目标的额外信息;显示具有关于目标图像、视频或地图的信息的图形方框;放大/缩小图像、视频或地图;放大地图中的特定锚点;显示图像图库或视频图库中的缩略图像网格;突出显示图像图库、视频图库或音频库中的图像或录制片;预览图像图库、视频图库、音频库、消息收件箱、电子邮件收件箱、联系人列表或约会日历中的条项;或在图像图库、视频录像或视频图库、音频录音或音频库、消息收件箱、电子邮件收件箱、联系人列表、约会日历中或之间向前或向后移动。动作的其它实例包含:关断响铃;双态切换安静或振动模式;增加或减小响铃音量;停用或启用警报灯光;接通或关断屏幕;增加或减小屏幕亮度;读出当前时间;或调换移动计算装置的模式,例如将移动计算装置置于隐私模式中,在所述隐私模式中,将所展示的内容过滤为适合于其他人(例如,仅某些类型的照片可出现在图库中,可能不呈现一些文字,可能不呈现一些应用程序等)。动作的其它实例包含:接听、保留、返回到或终止电话或经由因特网协议的语音(VOIP)呼叫;将电话或VOIP呼叫静音或解除静音;或增加或减小电话或VOIP呼叫的音量。动作的其它实例包含鼠标类型动作,例如:放置光标、调整光标的位置、触发文本选择、复制或粘贴;滚动;或右按钮点击类型动作,例如打开应用程序内的更深特征/动作、触发菜单。动作的其它实例包含通过经由不同键盘或选择不同键盘的双态切换来改变键盘(例如,从文本键盘到标点或表情符号键盘);或校正用户的文本发送偏移(即,目标键和实际触摸方位之间的差异)。动作的其它实例包含:自动启动应用程序;打开应用程序切换器;切换到堆叠中的前一或下一应用程序;切换回到当前应用程序;滚动通过应用程序切换器;将后台应用程序提前;将应用程序发送到后台;控制后台应用程序;或显示主屏幕。动作的其它实例包含提示特定界面进行单手触摸。动作的其它实例包含将移动计算装置变换到家庭助手(例如,谷歌家庭、亚马逊回声、苹果音箱)中。动作的其它实例包含将移动计算装置移动到就绪状态中以将传感器输入数据或装置参数数据解释为相异命令。动作的其它实例包含控制与连接的计算装置的交互,例如展示、隐藏、移动等扩展现实内容。动作的其它实例包含增加或减小触摸传感器的敏感性。对应于装置参数数据类型的每一列608、610可与装置参数数据相关联。对应于动作数据类型的列616、618的数目可取决于动作数据的数目,高达N个动作数据。动作数据的数目可取决于与多传感器输入转译表600的行620、622、624、626、628、630中的传感器输入数据的组合相关联的应用程序数据或装置参数数据的数目。
多传感器输入转译表600的行620、622、624、626、628、630可使列602、606、606、608、610、612、614、616、618的数据相关联。处理器(例如,图2的通用处理器206)可存取多传感器输入转译表600的行620、622、624、626、628、630,所述多传感器输入转译表600在对应于移动计算装置经由触摸传感器的组合接收到的传感器输入数据的列602、604、606的组合中具有感测输入数据的组合。处理器可基于行620、622、624、626、628、630的列608、610、612、614、616、618的任何组合中的装置参数数据、应用程序数据或动作数据的任何组合,确定从行620、622、624、626、628、630的列616、618中的动作数据执行的动作。
在一些实施例中,与多传感器输入转译表600的行620、622、624、626、628、630中的传感器输入数据的组合相关联的应用程序数据可通过额外列612、614被添加或被覆写。举例来说,正在运行的应用程序可与响应于传感器输入数据的组合的动作相关联。正在运行的应用程序的应用程序数据可通过添加列612、614,添加到具有传感器输入数据的组合的多传感器输入转译表600的行620、622、624、626、628、630。在另一实例中,正在运行的应用程序可抢先进行响应于用于其它应用程序的传感器输入数据的组合的动作,且多传感器输入转译表600的行620、622、624、626、628、630中的传感器输入数据的组合可与正在运行的应用程序相关联;且通过用正在运行的应用程序的应用程序数据覆写其它应用程序的应用程序数据,以此与另一应用程序解除关联。
在一些实施例中,与多传感器输入转译表600的行620、622、624、626、628、630中的传感器输入数据的组合相关联的装置参数数据或动作数据可用额外列608、610、616、618扩展或基于行620、622、624、626、628、630中的应用程序数据被覆写。类似于应用程序数据添加实例,相关联的装置参数数据或动作数据可与多传感器输入转译表600的行620、622、624、626、628、630中的传感器输入数据和应用程序数据的组合相关联。与正在运行的应用程序相关联的装置参数数据或动作数据可通过添加列608、610、616、618而添加到具有传感器输入数据和应用程序数据的组合的多传感器输入转译表600的行620、622、624、626、628、630。在其中正在运行的应用程序抢先进行用于其它应用程序的动作的实施例中,正在运行的应用程序的装置参数数据或动作数据可与行620、622、624、626、628、630中的传感器输入数据和正在运行的应用程序数据的组合相关联;且其它应用程序的装置参数数据或动作数据可通过用正在运行的应用程序的装置参数数据或动作数据覆写所述装置参数数据或所述动作数据,以此与行620、622、624、626、628、630中的传感器输入数据和正在运行的应用程序数据的组合解除关联。
在各种实施例中,与已经含有应用程序数据、装置参数数据或动作数据的行620、622、624、626、628、630中的传感器输入数据的组合相关联的新应用程序数据、装置参数数据或动作数据可通过添加使传感器输入数据的组合与新应用程序数据、装置参数数据或动作数据相关联的新行,以此添加到多传感器输入转译表600。在一些实施例中,可实施用于来自触摸传感器的组合的各种输入、装置参数集、应用程序或动作集的多个多传感器输入转译表600。在一些实施例中,多传感器输入转译表600可通过处理器存储于移动计算装置的存储器(例如,图3的存储器314)、加载到所述存储器或从所述存储器存取,这类存储器包含非易失性存储存储器、易失性主存储器,例如随机存取存储器(RAM),和/或易失性高速缓冲存储器。
图7说明根据各种实施例的管理依序接收到的多传感器输入的方法700。参考图1A-7,方法700可实施于移动计算装置(例如,图1A-3中的100、300)的硬件组件和/或软件组件中,其操作可受移动计算装置的一或多个处理器(例如,通用处理器206)控制。为了涵盖在各种实施例中实现的替代性配置,实施方法700的硬件在本文中被称作“处理装置”。
在框702中,处理装置可接收来自第一触摸传感器(例如,图1A-3中的触摸传感器102、104、106a、106b、108、327)的第一输入。在一些实施例中,用户可与移动计算装置的具有触摸传感器的表面或区域(例如,图1A和1B中的前部区域112、后部区域114、侧部116a、116b,和顶部区域118)交互。与触摸传感器的用户交互可触发与触摸传感器相关联的处理装置或微控制器(例如,图3中的微控制器328)作出的响应。所述响应可包含被配置成指示与触摸传感器的交互的质量的信号或数据,例如与触摸传感器的交互的方位、区域、持续时间、方向、速度、压力、数目、频率或顺序。在一些实施例中,如在本文中参考图8中的方法800进一步描述,处理装置可被配置成从与触摸传感器的交互的其它质量导出与触摸传感器的交互的一些这类质量。处理装置可接收被配置成指示与触摸传感器的交互的质量的信号或数据。
在确定框704中,处理装置可确定来自第一触摸传感器的第一输入是否是多传感器输入的潜在部分。在一些实施例中,多传感器输入可为与第一触摸传感器的用户交互和与第二触摸传感器的用户交互的组合。与第一触摸传感器的用户交互和与第二触摸传感器的用户交互的特定组合可通过与对多传感器输入的多传感器输入响应相关联来定义多传感器输入。在一些实施例中,多传感器输入的定义可存储于移动计算装置上,移动计算装置的存储器(例如,图3的存储器314)中。举例来说,多传感器输入的定义可存储于多传感器输入数据结构(例如,图6的多传感器输入转译表600)中,所述多传感器输入数据结构被配置成使与第一触摸传感器的用户交互和与第二触摸传感器的用户交互的组合与多传感器输入响应相关。为确定第一输入是否是多传感器输入的潜在部分,处理装置可将第一输入与多传感器输入数据结构中的与第一触摸传感器相关联的数据(例如,图6的列602、604、606中的传感器数据)进行比较。有可能的是可将第一输入确定为任何数目个多传感器输入的部分,但来自第二触摸传感器的后续第二输入可能不符合与第一输入组合的多传感器输入的定义。因此,可将第一输入确定为多传感器输入的潜在部分,这是因为可能不确定多传感器输入的第二输入将接续第一输入。在这类情形中,如本文中参考框712另外描述,第一输入可能并不与第二输入组合来触发多传感器输入响应。
响应于确定来自第一触摸传感器的第一输入不是多传感器输入的潜在部分(即,确定框704=“否”),处理装置可在框712中确定第一输入是单传感器输入。处理装置可能不在确定框704中标识多传感器输入的定义中的第一输入。因而,可能没有任何必要继续确定来自第二触摸传感器的后续第二输入结合第一输入是否组合形成多传感器输入。因此,处理装置可将第一输入分类为单传感器输入并且终止通过在框702中接收来自第一触摸传感器的第一输入触发的方法700的例子。
响应于确定来自第一触摸传感器的第一输入是多传感器输入的潜在部分(即,确定框704=“是”),处理装置可在框708中等待来自第二触摸传感器的第二输入。在一些实施例中,多传感器输入可为在多传感器输入序列持续时间内的序列中与第一触摸传感器的第一用户交互和与第二触摸传感器的第二用户交互的组合。多传感器输入序列持续时间可表示从接收第一输入起经标示的时段,例如时间、晶体管触发等,在接收第一输入期间,处理装置可接收第二输入。处理装置可在对第一输入作出响应之前等待多传感器输入序列持续时间,以允许用户有机会与第二触摸传感器交互,从而将多传感器输入实施为第一和第二触摸传感器上的输入序列。
在确定框710中,处理装置可确定是否在多传感器输入序列持续时间期间接收到来自第二触摸传感器的第二输入。在一些实施例中,处理装置可在多传感器输入序列持续时间期间接收到第二输入,且在一些实施例中,多传感器输入序列持续时间可在处理装置接收到第二输入之前到期。
响应于确定在多传感器输入序列持续时间期间未接收到来自第二触摸传感器的第二输入(即,确定框710=“否”),如本文中所描述,处理装置可在框712中确定第一输入是单传感器输入。
在一些实施例中,处理装置可在框702中接收到来自第一电容输入装置的第一输入之后且在确定框710中确定在多传感器输入序列持续时间期间未接收到来自第二触摸传感器的第二输入之前的任何时间,在框706中,接收来自第二电容输入装置的第二输入。在一些实施例中,处理装置可并行地运行方法700的多个例子,且在方法700的其它情况下,在框706中接收到的第二输入可为在框702中接收到的第一例子。
在框706中接收到来自第二电容输入装置的第二输入之后并且响应于确定在多传感器输入序列持续时间期间接收到来自第二触摸传感器的第二输入(即,确定框710=“是”),处理装置可确定来自第一触摸传感器的第一输入和来自第二触摸传感器的第二输入是否组合为多传感器输入。类似于在确定框704中确定第一输入是否是多传感器输入的潜在部分,处理装置可使用多传感器输入数据结构来确定第二输入是否与第一输入组合为多传感器输入,所述多传感器输入数据结构被配置成使与第一触摸传感器和第二触摸传感器的用户交互的组合与多传感器输入响应相关。在一些实施例中,处理装置可将第二输入与多传感器输入数据结构中的数据(例如,图6的列602、604、606中的传感器数据)进行比较,以确定第二输入是否匹配多传感器输入数据结构的任何条目,并且将所述条目与匹配在确定框704中标识的第一输入的条目进行比较。在一些实施例中,处理装置可将第二输入与多传感器输入数据结构的匹配在确定框704中标识的第一输入的条目中的数据进行比较。匹配第一输入和第二输入的条目或匹配第一输入的条目中的第二输入的数据可指示第一输入和第二输入定义多传感器输入数据结构中的多传感器输入。不匹配第一输入和第二输入的条目或不匹配第一输入的条目中的第二输入的数据可指示第一输入和第二输入不定义多传感器输入数据结构中的多传感器输入。
响应于确定来自第一触摸传感器的第一输入和来自第二触摸传感器的第二输入不组合为多传感器输入(即,确定框714=“否”),处理装置可在框716中确定第一输入和第二输入是单传感器输入。类似于在框712中确定第一输入是单传感器输入,处理装置可能不在确定框714中标识多传感器输入的定义中的第一输入和第二输入的组合。因而,可能没有任何必要继续实施用于第一输入和第二输入的组合的方法700。因此,处理装置可将第一输入和第二输入分类为单传感器输入并且终止通过在框702中接收来自第一触摸传感器的第一输入触发的方法700的例子。
响应于确定来自第一触摸传感器的第一输入和来自第二触摸传感器的第二输入确实组合为多传感器输入(即,确定框714=“是”),处理装置可在框718中执行多传感器输入响应。如本文所描述,多传感器输入数据结构可使多传感器输入和多传感器输入响应相关。处理装置可执行来自多传感器输入数据结构或参考来自多传感器输入数据结构(例如,图6中的列616、618中的动作数据)的多传感器输入响应的代码(例如,图6中的列616、618中的动作数据)。
图8说明根据各种实施例的管理多传感器输入以用于独立地控制或操控单独对象、元素或层的方法800。参考图1A-8,方法800可实施于移动计算装置(例如,图1A-3中的100、300)的硬件组件和/或软件组件中,其操作可受移动计算装置的一或多个处理器(例如,通用处理器306)控制。为了涵盖在各种实施例中实现的替代性配置,实施方法800的硬件在本文中被称作“处理装置”。
在一些实施例中,框716和718可以类似于针对参考图7中的方法700的框716和718描述的方式的方式实施。
在框802中,处理装置可接收来自第一触摸传感器(例如,图1A-3中的触摸传感器102、104、106a、106b、108、327)的第一输入和来自第二触摸传感器(例如,图1A-3中的触摸传感器102、104、106a、106b、108、327)的第二输入。在一些实施例中,用户可与具有触摸传感器的移动计算装置的多个表面或区域(例如,图1A和1B中前部区域112、后部区域114、侧部116a、116b和顶部区域118)交互。与触摸传感器的用户交互可触发与触摸传感器相关联的处理装置或微控制器(例如,图3中的微控制器328)作出的响应。所述响应可包含被配置成指示与触摸传感器的交互的质量的信号或数据,例如与触摸传感器的交互的方位、区域、持续时间、方向、速度、压力、数目、频率或顺序。在一些实施例中,如在本文中参考图7中的方法700进一步描述,处理装置可被配置成从与触摸传感器的交互的其它质量导出与触摸传感器的交互的一些这类质量。处理装置可接收被配置成指示与触摸传感器的交互的质量的信号或数据。在一些实施例中,与触摸传感器的用户交互可同时或并行地发生(例如,交互中的两个或更多个在重叠的时间里发生)。类似地,处理装置可在不同时间、同时或在重叠的时间里接收第一输入和第二输入。
在确定框804中,处理装置可确定来自第一触摸传感器的第一输入和来自第二触摸传感器的第二输入是否组合为多传感器输入。在一些实施例中,多传感器输入可为与第一触摸传感器的用户交互和与第二触摸传感器的用户交互的组合。与第一触摸传感器的用户交互和与第二触摸传感器的用户交互的特定组合可通过与对多传感器输入的多传感器输入响应相关联来定义多传感器输入。在一些实施例中,多传感器输入的定义可存储于移动计算装置上,移动计算装置的存储器(例如,图3的存储器314)中。举例来说,多传感器输入的定义可存储于多传感器输入数据结构(例如,图6的多传感器输入转译表600)中,所述多传感器输入数据结构被配置成使与第一触摸传感器的用户交互和与第二触摸传感器的用户交互的组合与多传感器输入响应相关。为确定第一输入和第二输入是否组合为多传感器输入,处理装置可将第一输入与多传感器输入数据结构中的与第一触摸传感器相关联的数据(例如,图6的列602、604、606中的传感器数据)进行比较并且将第二输入与多传感器输入数据结构中的与第二触摸传感器相关联的数据(例如,图6的列602、604、606中的传感器数据)进行比较。在一些实施例中,处理装置可将第一输入和第二输入与多传感器输入数据结构的数据进行比较以确定第一输入和第二输入是否匹配多传感器输入数据结构的任何条目,并且将第一输入的条目和第二输入的条目与彼此进行比较以找到匹配条目。在一些实施例中,处理装置可将第二输入与多传感器输入数据结构的匹配第一输入的条目中的数据进行比较。匹配第一输入和第二输入的条目或匹配第一输入的条目中的第二输入的数据可指示第一输入和第二输入定义多传感器输入数据结构中的多传感器输入。有可能的是第一输入和/或第二输入可被标识为任何数目个多传感器输入的部分,而非用于组合中的多传感器输入的相同定义。不匹配第一输入和第二输入的条目或不匹配第一输入的条目中的第二输入的数据可指示第一输入和第二输入不定义多传感器输入数据结构中的多传感器输入。
响应于确定来自第一触摸传感器的第一输入和来自第二触摸传感器的第二输入不组合为多传感器输入(即,确定框804=“否”),处理装置可在框716中确定第一输入和第二输入是单传感器输入。
响应于确定来自第一触摸传感器的第一输入和来自第二触摸传感器的第二输入确实组合为多传感器输入(即,确定框804=“是”),处理装置可在框718中执行多传感器输入响应。
图9说明根据各种实施例的确定接收到的输入是否是多传感器输入的方法900。参考图1A-9,方法900可实施于移动计算装置(例如,图1A-3中的100、300)的硬件组件和/或软件组件中,其操作可受移动计算装置的一或多个处理器(例如,通用处理器306)控制。为了涵盖在各种实施例中实现的替代性配置,实施方法900的硬件在本文中被称作“处理装置”。
在框902中,处理装置可分析从触摸传感器(例如,图1A-3中的触摸传感器102、104、106a、106b、108、327)接收到的输入。所接收的输入可以是如本文中参考图7和8中的方法700、800的框702、706和802所描述从第一触摸传感器接收到的第一输入和从第二触摸传感器接收到的第二输入中的任一个。所接收的输入实际上可包含接收到的多个输入,所述多个输入组合形成与触摸传感器的单个用户交互。如本文所描述,所接收的输入可包含被配置成指示与触摸传感器的交互的质量的信号或数据,例如与触摸传感器的交互的方位、区域、持续时间、方向、速度、压力、数目、频率或顺序。处理装置可从所接收的输入标识由所接收的输入指示的质量中的任一个。处理装置还可从所接收的输入的经标识质量导出所接收的输入的质量。举例来说,所接收的输入的经标识质量可仅包含与触摸传感器的用户交互的方位,其可指示触摸传感器阵列中的触摸传感器或触摸传感器上的方位。多个方位可包含在所接收的输入中。处理装置可确定所接收的输入的方位相对于时间的改变。从所接收的输入的方位相对于时间的改变,处理装置可确定所接收的输入的质量。如下是多个非穷尽性或非限制性实例。处理装置可基于记录方位持续的时间,确定所接收的输入的持续时间。处理装置可基于方位改变,确定所接收的输入的方向。处理装置可基于方位相对于时间的改变,确定所接收的输入的速度。处理装置可基于记录的方位,确定被所接收的输入覆盖的区域。处理装置可基于参考时间记录的方位的模式,确定所接收的输入的方位处的压力。处理装置可基于方位的模式和所记录的方位的缺失,确定与所接收的输入的触摸传感器的交互的数目。处理装置可基于方位的模式和参考时间记录的方位的缺失,确定与所接收的输入的触摸传感器的交互的频率。处理装置可基于方位的模式和参考时间记录的方位和其它接收到的或导出的质量的缺失,确定与所接收的输入的触摸传感器的交互的顺序。可使用各种技术、算法或启发式导出所接收的输入的质量。
在框904中,处理装置可标识与触摸传感器的交互的类型和/或质量。基于所接收的输入的分析,处理装置可确定与电容输入传感器的交互的方面,所述方面可指示与触摸传感器的交互的类型和/或质量。处理装置可确定与触摸传感器的交互的类型和/或质量的多个非穷尽性或非限制实例,包含:点击;强点击;快速点击;多次点击;点击的方位;按压;按压的持续时间;按压的压力;按压的方位;滑移;单个手指滑移;多个手指滑移;滑移的速度、滑移的长度、滑移的方位;手势;手势的形状;悬停;悬停的高度;悬停的持续时间;悬停的方位;抓握;抓握的偏手性、用于抓握的手部或手指的数目、抓握的方位;抓握的压力;或抓握的区域;用以进行交互的身体或对象的部分。可使用各种技术、算法或启发式导出与触摸传感器的交互的质量和/或类型。
在确定框906中,处理装置可确定所接收的输入是否匹配多传感器输入的传感器输入数据。如本文所描述,移动计算装置可包含多传感器输入数据结构(例如,图6的多传感器输入转译表600),其被配置成使与触摸传感器的用户交互的组合和多传感器输入响应(例如,图6的列616、618中的动作数据)相关。多传感器输入数据结构可包含可表示与触摸传感器的交互的传感器输入数据(例如,图6的列602、604、606中的传感器数据),包含与触摸传感器的交互的质量和/或类型。为确定所接收的输入是否匹配多传感器输入的传感器输入数据,处理装置可将与所接收的输入的触摸传感器的交互的质量和/或类型与多传感器输入数据结构中的传感器输入数据进行比较。处理装置可确定与所接收的输入的触摸传感器的交互的质量和/或类型是否匹配传感器输入数据中的任一个。
响应于确定所接收的输入不匹配多传感器输入的任何传感器输入数据(即,确定框906=“否”),如本文中参考图7中的方法700所描述,处理装置可在框712中确定所接收的输入是单传感器输入,或如本文中参考图7中的方法700或图8中的方法800所描述,处理装置可在框716中确定接收到的多个输入是单传感器输入。
响应于确定所接收的输入确实匹配多传感器输入的任何传感器输入数据(即,确定框906=“是”),处理装置可在框908中标识具有传感器输入数据的多传感器输入。如本文所描述,多传感器输入数据结构可包含使传感器输入数据与多传感器输入响应相关的条目(例如,图6的行620、622、624、626、628、630)。从使所接收的输入与传感器输入数据匹配,处理装置可标识多传感器输入数据结构中的具有传感器输入数据的条目。所述条目可对应于由所述条目的传感器输入数据定义的多传感器输入。
在其中仅接收到一个输入的一些实施例中,如本文中参考图7中的方法700所描述,处理装置可在框708中等待来自第二触摸传感器的第二输入。
在其中仅接收到多个输入的一些实施例中,处理装置可在确定框912中确定接收到的多个输入是否匹配条目的传感器输入数据。从使所接收的输入与传感器输入数据匹配,处理装置可标识多传感器输入数据结构中的具有用于多个接收到的输入的传感器输入数据的条目。具有用于多个接收到的输入的传感器输入数据的条目可对应于由所述条目的传感器输入数据定义的多传感器输入。
图10说明根据各种实施例的启用用于管理多传感器输入的多传感器输入模式的方法1000。参考图1A-10,方法1000可实施于移动计算装置(例如,图1A-3中的100、300)的硬件组件和/或软件组件中,其操作可受移动计算装置的一或多个处理器(例如,通用处理器306)控制。为了涵盖在各个实施例中实现的替代配置,实施方法1000的硬件在本文中被称作“处理装置”。
在框1002中,处理装置可检测对多传感器输入模式的触发。多传感器输入模式可被配置成启用对与触摸传感器(例如,图1A-3中的触摸传感器102、104、106a、106b、108、327)的用户交互的处理,所述触摸传感器在其它情况下可能并不被启用以检测一些或任何用户交互。这类触摸传感器可包含移动计算装置的并非移动计算装置的前部或触摸屏的表面或区域(例如,图1A和1B中的前部区域112、后部区域114、侧部116a、116b和顶部区域118)的电容输入传感器。
在一些实施例中,触发可为从与触摸传感器的用户交互接收到的输入,所述触摸传感器包含被配置成检测特定用户交互以触发多传感器输入模式但在其它情况下可能并不被启用以检测一些或任何其它用户交互的触摸传感器。举例来说,独特抓握如用户将中指和食指放置成靠近在一起,这并非持握移动计算装置的常态方式。在另一实例中,独特点击或背部/侧部手势可触发侦听其它背部/侧部手势。换句话说,处理装置可能仅注意硬背部点击,这一般不与标准握持相关联。一旦标识此独特点击,处理装置便可开始侦听其它类别的背部/侧部触摸。
在一些实施例中,触发可为由处理装置接收的表示装置参数的信号或数据,其可以被称作装置参数数据。装置参数数据可表示除与触摸传感器的交互以外的任何数目和组合的移动计算装置参数。举例来说,装置参数数据可包含来自移动计算装置的其它传感器(例如光传感器、加速度计、陀螺仪、温度传感器、电压和/或电流传感器、红外传感器等)的读数或信号。装置参数数据可包含移动计算装置的方位数据,例如全球定位系统(GPS)数据。装置参数数据可包含移动计算装置的有线或无线连接数据,例如蜂窝、Wi-Fi、蓝牙、近场通信(NFC)等,或有线外围装置连接数据,包含移动计算装置连接到的装置的连接状态或标识。装置参数数据可包含移动计算装置状态数据,例如移动计算装置的电力状态(例如,全满、低、充电、特定电池充电或电量等)或活动状态(例如,处于作用中、睡眠、休眠等)。在一些实施例中,触发可包含经处理装置处理为在移动计算装置上执行的应用程序的实施方案的部分的信号或指令。在一些实施例中,触发可为数个接收到的输入、装置参数或应用程序相关信号或指令或其组合。
在框1004中,处理装置可进入多传感器输入模式。处理装置可确定和加载被配置成解释与移动计算装置的多个电容性传感器输入的用户交互的多传感器输入数据结构(例如,图6的多传感器输入转译表600)。在一些实施例中,处理装置可取决于接收到的触发出于不同目的进入多传感器输入模式,这可提示处理装置确定和加载与特定目的相关联的多传感器输入数据结构。举例来说,移动计算装置在一表面上前部朝下结合与移动计算装置的背部上的触摸传感器的不同用户交互可出于不同目的触发多传感器输入模式。触摸传感器上的点击可激活家庭助手应用程序,而沿着触摸传感器的竖直轴线的滑移可调整移动计算装置的扬声器的音量。在另一实例中,如果环境亮度非常高并且不同于最近一次设置显示器亮度时的环境亮度,那么与触摸传感器的用户交互可调整显示器亮度级。
在框1006中,处理装置可启用触摸传感器检测其先前可能检测不到的输入和/或使得处理装置能够处理来自所述处理装置先前处理输入不针对的触摸传感器的输入。在一些实施例中,触摸传感器可被激活、被更频繁地监测、被启用以将输入发送到处理装置,或增加敏感性,其中的任一个可包含启用微控制器(例如,图3中的微控制器328)或与触摸传感器相关联的微控制器的特征。在一些实施例中,处理装置可启用自身处理从触摸传感器接收的全部或更多输入,或监测或增加对触摸传感器的监测。
在启用触摸传感器以检测其先前可能检测不到的输入和/或使得处理装置能够处理来自所述处理装置先前处理输入不针对的触摸传感器的输入之后,如本文中参考图7中的方法700或图9中的方法900所描述,处理装置可在框702中接收来自第一触摸传感器的第一输入;或如本文中参考图8中的方法800所描述,处理装置可在框802中接收来自第一触摸传感器的第一输入和来自第二触摸传感器的第二输入。
图11说明根据各种实施例的管理在多传感器输入模式中接收到的多传感器输入的方法1100。参考图1A-11,方法1100可实施于移动计算装置(例如,图1A-3中的100、300)的硬件组件和/或软件组件中,其操作可受移动计算装置的一或多个处理器(例如,通用处理器306)控制。为了涵盖在各种实施例中实现的替代性配置,实施方法1100的硬件在本文中被称作“处理装置”。
在一些实施例中,框702、718、902、904、908可以类似于参考图7中的方法700的框702和718以及参考图9中的方法900的框902、904、908描述的方式的方式实施。
在框702中,处理装置可接收来自第一触摸传感器(例如,图1A-3中的触摸传感器102、104、106a、106b、108、327)的第一输入。在框902中,处理装置可分析从触摸传感器接收到的输入。在框904中,处理装置可标识与触摸传感器的交互的类型和/或质量。
在框1102中,处理装置可标识匹配接收到的输入的多传感器输入的传感器输入数据(例如,图6的列602、604、606中的传感器数据)。如本文所描述,移动计算装置可包含多传感器输入数据结构(例如,图6的多传感器输入转译表600),其被配置成使与触摸传感器的用户交互和多传感器输入响应(例如,图6的列616、618中的动作数据)相关。多传感器输入数据结构可包含可表示与触摸传感器的交互的传感器输入数据,包含与触摸传感器的交互的质量和/或类型。为标识匹配多传感器输入的传感器输入数据的所接收的输入,处理装置可将与所接收的输入的触摸传感器的交互的质量和/或类型与多传感器输入数据结构中的传感器输入数据进行比较。处理装置可确定与所接收的输入的触摸传感器的交互的质量和/或类型是否匹配传感器输入数据中的任一个。
在框908中,处理装置可标识具有传感器输入数据的多传感器输入。在框718中,处理装置可执行多传感器输入响应。
图12说明根据各种实施例的将触摸传感器读数映射到移动计算装置的应用程序功能的方法1200。参考图1A-12,方法1200的操作可实施于移动计算装置(例如,100、300)的硬件组件和/或软件组件中,其操作可受移动计算装置的一或多个处理器(例如,通用处理器306和/或微控制器328)控制。
在框1210中,处理器可接收来自移动计算装置上的不同于移动计算装置的触摸屏的至少一个触摸传感器的多传感器输入。举例来说,用户触摸移动计算装置上的触摸传感器可致使通过触摸传感器所测量的电容的改变。处理器可接收所测量的电容改变作为多传感器输入。所接收的测量值可反映各种类型的输入的特性,包含接触的持续时间、接触点的数目、接触点的大小、接触的序列或连续系列、同时接触的模式,以及在接触期间施加的压力或力水平。举例来说,作为抓握移动计算装置的部分,用户触摸位于移动计算装置的背壳(例如,后部区域114)上的背面板触摸传感器可致使与抓握事件相关联的可辨识的电容改变。作为另一个实例,用户在背面板触摸传感器上做出手势,如跨背壳的一部分曲线滑移,可致使与所述手势相关联的可辨识的不同电容改变。
在框1220中,处理器可使用情境感知数据确定移动计算装置的操作情境。情境感知数据可包含来自各种来源的有助于定义形成其中接收到多传感器输入的场景(即,操作情境)的情形的信息。用户可意图多传感器输入用于执行第一操作情境中的第一操作,但在第二操作情境中,不执行第一操作和/或执行第二操作。
举例来说,处理器可利用来自情境感知数据的线索触发用于多表面触摸的更全面检测模式。多表面触摸可包含与移动计算装置的不同侧部上的触摸传感器的接触。举例来说,触摸屏的显示器上的目前处于作用中的应用程序产生可用的额外功能或改变移动计算装置的触摸传感器检测模式。同样地,移动计算装置的位置、定向和/或移动可提供对产生可用的额外功能或改变移动计算装置的触摸传感器检测模式的触发。举例来说,将移动计算装置平放在桌子上可触发用于多表面触摸的检测模式或触发检测模式的改变。而且,摇动移动计算装置可触发允许用户使用多表面触摸执行功能的模式。作为另一个实例,处理器可利用环境特性触发多表面触摸的特定检测模式。举例来说,如果环境亮度非常高并且不同于最近一次设置显示器亮度时的环境亮度,那么在背部触摸传感器上检测到的触摸或移动可转译为亮度级的调整。
在框1230中,处理器可确定与在框1210中接收到的多传感器输入和在框1220中确定的操作情境相关联的功能(例如,第一功能)。框1230中的确定可涉及标识或选择适合于用于所确定的操作情境的特定多传感器输入转译表或表集。适当的多传感器输入转译表可提供从一或多个触摸传感器接收的多传感器输入与处理器可执行或致使移动计算装置的另一组件执行的功能之间的相关性。处理器可从存储器(例如,图3中的314)获得特定转译表。替代地或另外,框1230中的确定可涉及将所确定的操作情境和所接收的多传感器输入应用于确定功能的级联规则集和/或参数方法。
在框1240中,处理器可执行被配置成致使移动计算装置执行框1230中确定的功能的操作。执行的操作可改变控制触摸传感器的设置,改变使用哪个多传感器输入转译表,或改变与触摸传感器相关联的功能。举例来说,用户执行移动计算装置的背部上的第一“触发”手势。一旦处理器辨识触发手势,在预定时段内,处理器可接收快捷手势,所述快捷手势被配置成在接下来的几秒钟内启动移动计算装置上的特定应用程序。另外或替代地,执行的操作可改变移动计算装置的其它设置。此外,执行的操作可将消息和/或指令发射到另一组件以用于执行所确定的功能。举例来说,执行通常与移动计算装置和/或移动计算装置上的处于作用中的应用程序相关联的操作。
在一些实施例中,处理器可重复方法1200的操作以将另外的触摸传感器读数映射到移动计算装置的应用程序功能。执行方法1200的操作可改变操作情境,因此改变或产生与接收到的多传感器输入相关联的可用的额外功能。举例来说,在框1210中接收到的多传感器输入可表示移动计算装置上的独特抓握,如用户将中指和食指放置成靠近在一起,这并非持握移动计算装置的常态方式。另外,移动计算装置的操作情境可包含其中多表面接触不被辨识为输入功能(即,多表面控制断开)的状态。以此方式,当多表面控制断开时接收到对应于独特抓握的多传感器输入可触发框1240中的将多表面控制接通的操作。作为另一实例,在框1210中接收到的多传感器输入可表示被配置成解锁其它背部/侧部手势的独特点击或背部/侧部手势。以此方式,装置可被配置成监测硬背部点击(其一般不与标准握持相关联)。一旦标识这类硬背部点击,处理器便可监测触发最近不可用的功能的其它类别的背部/侧部触摸。类似地,独特点击或背部/侧部手势可触发处理器侦听其它后续背部/侧部手势。举例来说,处理器可始终监测特定电容分布曲线,如来自移动计算装置的背部上的硬点击的特定电容分布曲线,所述硬点击一般不与装置上的标准抓握相关联。一旦检测到所述特定电容分布曲线,处理器便可开始监测其它类别的电容分布曲线。
处理器可响应于在框1210中接收到额外多传感器输入而重复方法1200的操作。作为另一实例,处理器可重复方法1200的操作达预定义的重复数或持续在与移动计算装置上的处于作用中的应用程序相关联的参数中指示的预定义时段。
在图13中示出使用情境感知数据确定移动计算装置的操作情境的实例方法1300。在一些实施例中,方法1300可表示在方法1100的框1120中(图11)确定操作情境的更详细视图。可通过推理引擎组合或融合与接收到的输入相关联的多个数据、来自一或多个处于作用中的应用程序的参数、和/或来自与移动计算装置相关联的一或多个组件的状态信息(例如与接收到多传感器输入所处的条件相关的众多不同类型的数据),以此来确定移动计算装置的操作情境。在一些实施例中,推理引擎可组合或融合与接收到多传感器输入所处的条件相关联的实时和非实时情境感知数据两者,以便确定操作情境。
情境感知数据可包含与移动计算装置相关联的任何合适的类型的实时和/或非实时数据,例如,触摸屏处于作用中的应用程序参数1310、后台处于作用中的应用程序参数1320、触摸屏状态1330、其它机载组件状态、外围组件状态1350、多传感器输入细节1360、其它传感器输入1370,以及任何其它合适的情境感知数据,和/或其任何组合。触摸屏处于作用中的应用程序参数1310可包含主动地控制触摸屏上的全部或部分显示的应用程序的可用的或目前准许的输入的列表,所述显示可作为多传感器输入被接收。举例来说,在阅读电子邮件(即,处于作用中的应用程序)时,如果用户将移动计算装置转向侧面并且用两个拇指在前部握住移动计算装置并在移动计算装置背部作支撑,那么触摸屏可立即改变到横向键盘并且提供接收输入的用户界面,所述输入可用于答复所述电子邮件。作为另一实例,可使用前部和背部触摸补充彼此略微不同的可供性(affordances)。举例来说,在文本消息中,用户点击触摸屏可将光标置于用户点击的特定词语显示处。用户接着可触摸移动计算装置的背表面以更精细地将光标定位于词语或字母之间。这会利用每一侧的相对优点:使用前部和侧部触摸输入的组合可适用于允许用户找到触摸目标并且接着直接触摸所述触摸目标。背部触摸可使得用户能够在前部没有手指遮挡的情况下以细粒度方式移动选择器或光标。类似地,在相册应用程序处于作用中的情况下,在后面对触摸传感器的滑移可将突出显示的帧在照片网格当中移动。此后,点击手势可选择或展示上下文菜单。
后台处于作用中的应用程序参数1320可包含在移动计算装置上主动地运行(而非主动地控制触摸屏上的可作为多传感器输入被接收到的全部或部分显示)的应用程序的可用的或目前准许的输入的列表。触摸屏状态1330可提供关于触摸屏是否接通、断开、调暗或处于某一其它状态中的信息。举例来说,在触摸屏处于断开状态中的情况下,接收到的多传感器输入可旨在用于特定后台应用程序。类似地,其它机载组件状态1340,如移动计算装置的电池中的剩余电量或移动计算装置是否处于节电模式中,可提供关于是否应忽略多传感器输入或是否应关断除触摸屏以外的触摸传感器的信息。外围组件状态1350可提供关于多传感器输入是否可意图控制所述外围组件的信息。举例来说,如果虚拟现实护目镜或音频头戴装置可操作地耦合到移动计算装置,那么接收到的多传感器输入可用于控制这类外围组件。多传感器输入细节1360可包含与多传感器输入相关联的电容分布曲线并且标识哪些触摸传感器或一或多个特定触摸传感器的哪个部分检测到电容改变。其它传感器输入1370可提供来自移动计算装置的其它传感器的可用于确定移动计算装置的操作情境的信息。举例来说,接近度、定向和/或运动传感器可用于辨识移动计算装置面朝下、在口袋中、正在移动、静止,或处于可通知移动计算装置的当前操作情境的某一其它情境中。
在一些实施例中,除了使用情境感知数据之外,推理引擎还可使用不仅与多传感器输入相关联还确定操作情境的相关数据(例如,实时、非实时或其组合)。举例来说,推理引擎可使用一天中的实时时间、日期、方位和其它可有助于确定移动计算装置的当前操作情境的类似信息。
所有此信息可供推理引擎1301用于确定当前操作情境。举例来说,推理引擎1301可产生对应于所确定的操作情境的情境评估。所述情境评估接着可用于确定通过接收到的多传感器输入执行什么操作。
在一些实施例中,推理引擎1301可利用状态机(例如,确定性规则库和/或统计状态机)分析数据,例如来自例如1310、1320、1330、1340、1350、1360、1370的可用资源的数据,并且推断对操作情境的决策。可离线、在线或部分地离线和在线训练推断引擎的规则库和统计状态机。另外,推理引擎1301还可在确定操作情境时,与知识支持系统或其它远程数据源交换信息。
图14说明根据一些实施例的相对于多传感器图像功能管理移动计算装置的多传感器控制的方法1400。参考图1A-14,方法1400可实施于移动计算装置(例如,100、300)的硬件组件和/或软件组件中,其操作可受移动计算装置的一或多个处理器(例如,通用处理器306)控制。在框420-428中,移动计算装置的处理器可执行如所描述的方法400c或400d的类似编号框的操作。
在确定框1402中,移动计算装置的处理器可确定是否已经初始化一或多个多传感器图像功能。多传感器图像功能可包含使前部、背部、侧部、顶部等触摸传感器的输入与用或对移动计算装置上显示的一或多个图像执行的特定动作或功能性相关的操作。在各种实施例中,可分析和细分图像的元素,使得可选择、操控和/或操作各种经细分图像。在一些实施例中,图像的元素可细分到前景和背景元素中。在一些实施例中,可单独地选择、操控和/或操作前景或背景的元素。作为一个实例,被配置成处置或操控图像的应用程序可调用多传感器图像功能,例如显示存储于移动计算装置的存储器中的图像文件的相册应用程序、控制相机装置的操作和对用相机所捕获的图像的处理的相机应用程序、被配置成更改图像文件的一或多个实施例的相片编辑应用程序,或另一类似应用程序。作为另一实例,例如那些被配置成处置或操控静态或动画背景(例如,“墙纸”)、前景元素(例如,可选择元素,例如图标等等)等的操作系统应用程序可调用多传感器图像功能。
响应于确定尚未初始化多传感器图像功能(即,确定框1402=“否”),处理器可再次在确定框1402中确定是否已初始化多传感器图像功能。
响应于确定已经初始化多传感器图像功能(即,确定框1402=“是”),处理器可在框420中确定获得一或多个转译表。此确定可涉及标识或选择适合于与多传感器图像功能一起使用的特定转译表。适当的转译表可提供在一或多个触摸传感器处接收到的输入和多传感器图像功能之间的相关性。处理器可在框422中从存储器获得所确定的一或多个转译表。
在框1404中,处理器可使用一或多个转译表确定与标识的输入和所确定的触摸传感器相关联的多传感器图像功能。在一些实施例中,处理器可基于获得的转译表确定与后部触摸传感器(例如,触摸传感器104)和/或前部触摸传感器(例如,触摸传感器102)的输入相关联的多传感器图像功能。在一些实施例中,处理器可将前部和/或背部触摸传感器的输入转译到不同多传感器图像功能。
举例来说,处理器可将前部输入传感器(例如,触摸屏显示器)检测到的输入转译到要对呈现于触摸屏显示器上的图像的前景执行的相片应用程序功能中。作为另一实例,处理器可将后部区域输入传感器(例如,后部区域触摸传感器)检测到的输入转译到要对呈现于触摸屏显示器上的图像的背景执行的相片应用程序功能中。因此,在此实施例中,用户可调整前景图像和背景图像而不必在两个图像之间切换。
举例来说,要对图像的背景执行的相片应用程序功能可包含更改图像的背景(例如,仅背景)。在一些实施例中,相片应用程序可被配置成区分图像的前景元素和背景元素。在一些实施例中,更改图像的背景可包含调整色彩、色调、色度、模糊水平、锐度级、亮度级、应用过滤器,或另一类似调整,包含其组合。在一些实施例中,更改图像的背景可包含滚动浏览呈现前景可经由的不同背景图像。在一些实施例中,更改图像的背景可包含改变背景相对于前景的位置。在一些实施例中,更改图像的背景可包含选择图像的背景的一或多个元素,例如以对所选择的元素执行一或多个更改。其它实例是可能的,包含上述的组合。
作为另一实例,用于图像的前景的相片应用程序功能可包含更改图像的前景(或仅前景)。这类更改的实例可包含调整色彩、色调、色度、模糊水平、锐度级、亮度级、应用过滤器,或另一类似调整,包含其组合;滚动浏览经由背景可呈现的不同前景图像;改变前景相对于背景的位置。在一些实施例中,更改图像的前景可包含选择图像的前景的一或多个元素,例如以对所选择的元素执行一或多个更改。其它实例是可能的,包含上述的组合。
作为另一实例,处理器可将前部输入传感器(例如,触摸屏显示器)和/或后部输入传感器检测到的输入转译到由被配置成处置或操控墙纸、风格、图标外观操控或用户界面的其它元素的操作系统应用程序执行的操作中。举例来说,处理器可将前部输入传感器(例如,触摸屏显示器)检测到的输入转译到移动一或多个图标、更改一或多个图标的外观、更改一或多个图标的布置或配置和其它类似操作的操作中。作为另一实例,处理器可将后部区域输入传感器(例如,后部区域触摸传感器)检测到的输入转译到改变墙纸或其它类似背景图像、选择背景图像、更改背景图像的方面和其它类似操作的操作中。因此,在此实施例中,用户可使用多传感器图像功能快速且容易地调整前景元素和背景元素。
作为另一实例,处理器可将前部输入传感器(例如,触摸屏显示器)和/或后部输入传感器检测到的输入转译到由游戏应用程序执行以使得用户能够使用多传感器图像功能与游戏的前景元素和背景元素交互的操作中。举例来说,处理器可将前部输入传感器(例如,触摸屏显示器)检测到的输入转译到移动、选择、改变、命令一或多个游戏前景元素或与一或多个游戏前景元素交互的操作中。作为另一实例,处理器可将后部区域输入传感器(例如,后部区域触摸传感器)检测到的输入转译到移动、选择、改变、命令一或多个游戏背景元素或与一或多个游戏背景元素交互的操作中。
在框1406中,处理器可基于所确定的功能和所接收的输入的一或多个输入参数,产生多传感器图像命令。
在框1408中,处理器可执行所产生的多传感器图像命令。处理器接着可执行确定框436(图4C和4D)的操作。
图15说明根据一些实施例的相对于多传感器文本功能管理移动计算装置的多传感器控制的方法1500。参考图1A-15,方法1500可实施于移动计算装置(例如,100、300)的硬件组件和/或软件组件中,其操作可受移动计算装置的一或多个处理器(例如,通用处理器306)控制。在框420-428中,移动计算装置的处理器可执行如上文所描述的方法400c或400d的类似编号框的操作。
在确定框1502中,移动计算装置的处理器可确定是否已经初始化一或多个多传感器文本功能。多传感器文本功能可包含使前部、背部、侧部、顶部等触摸传感器的输入与通过或对移动计算装置上显示的文本和/或文本后的背景执行的特定动作或功能性相关的操作。在各种实施例中,可选择、操控和/或操作文本的元素或背景的元素。在一些实施例中,可单独地选择、操控和/或操作文本和/或背景的元素。作为一个实例,可调用多传感器文本功能的应用程序包含电子邮件应用程序、文本消息接发应用程序、文字处理应用程序、网络浏览器,和其它类似应用程序。作为另一实例应用程序内的功能可调用多传感器文本功能,例如“放大镜”功能。放大镜功能可包含用于增加显示器(例如,触摸屏326)的区域内的文本(和/或图像)的表观大小的软件指令。
响应于确定尚未初始化多传感器文本功能(即,确定框1502=“否”),处理器可继续在确定框1502中确定是否已初始化多传感器文本功能。
响应于确定已经初始化多传感器文本功能(即,确定框1502=“是”),处理器可在框420中确定获得一或多个转译表。此确定可涉及标识或选择适合于与多传感器文本功能一起使用的特定转译表。适当的转译表可指示在一或多个触摸传感器处接收到的输入和多传感器文本功能之间的相关性。处理器可在框422中从存储器获得所确定的一或多个转译表。
在框1504中,处理器可使用一或多个转译表确定与标识的输入和所确定的触摸传感器相关联的多传感器文本功能。在一些实施例中,处理器可基于获得的转译表确定与后部触摸传感器(例如,触摸传感器104)和/或前部触摸传感器(例如,触摸传感器102)的输入相关联的多传感器文本功能。在一些实施例中,处理器可将前部和/或背部触摸传感器的输入转译到不同多传感器文本功能。
举例来说,处理器可将前部输入传感器(例如,触摸屏显示器)的输入转译到用于选择其中可“放大”文本或图像的焦点区域的功能中。作为另一实例,处理器可将后部区域输入传感器(例如,触摸传感器)的输入转译到用于在焦点区域下面移动文本或图像(例如,在“放大镜”下方移动文本或图像)的功能中。
作为另一实例,处理器可将前部输入传感器(例如,触摸屏显示器)的输入转译到用于选择词语或文本区域的功能中。作为另一实例,处理器可将后部输入传感器(例如,触摸传感器)的输入转译到用于更改或操控所选择的词语或文本区域的功能中。作为另一实例,处理器可将通到后部输入传感器中的输入转译到用于选择对所选择的词语或文本区域执行的操作的功能中。其它实例也是可能的,包含上述的推荐。
在框1506中,处理器可基于所确定的功能和所接收的输入的一或多个输入参数,产生放大镜应用程序命令。
在框1508中,处理器可执行产生的放大镜应用程序命令。处理器接着可执行确定框436(图4c和4d)的操作。
图16说明根据一些实施例的相对于扩展现实功能管理移动计算装置的多传感器控制的方法1600。参考图1A-16,方法1600可实施于移动计算装置(例如,100、300)的硬件组件和/或软件组件中,其操作可受移动计算装置的一或多个处理器(例如,通用处理器306)控制。在框420-428中,移动计算装置的处理器可执行如上文所描述的方法400c或400d的类似编号框的操作。
在确定框1602中,移动计算装置的处理器可确定是否已经初始化一或多个扩展现实功能。在一些实施例中,移动计算装置可与例如扩展现实头戴装置(例如,视听装置202)的扩展现实装置通信。在一些实施例中,建立与扩展现实装置的通信可包含、涉及或触发扩展现实功能的初始化,以及在移动计算装置上运行的扩展现实应用程序,或另一类似操作或应用程序。在各种实施例中,移动计算装置上的触摸传感器的输入可控制扩展现实装置和/或扩展现实应用程序的一或多个功能。
响应于确定尚未初始化一或多个扩展现实功能(即,确定框1602=“否”),处理器可继续在确定框1602中确定是否已经初始化扩展现实应用程序。
响应于确定已经初始化一或多个扩展现实功能(即,确定框1602=“是”),处理器可在框420中确定获得一或多个转译表。此确定可涉及标识或选择适合于与扩展现实功能一起使用的特定转译表。适当的一或多个转译表可使在各种输入传感器处接收到的各种输入与扩展现实应用程序和/或扩展现实装置的功能相关。处理器可在框422中从存储器获得所确定的一或多个转译表。
在框1604中,处理器可使用一或多个转译表确定与标识的输入和所确定的触摸传感器相关联的扩展现实功能。在一些实施例中,处理器可基于获得的转译表确定与后部触摸传感器(例如,触摸传感器104)和/或前部触摸传感器(例如,触摸传感器102)的输入相关联的扩展现实功能。在一些实施例中,处理器可将前部和/或背部触摸传感器的输入转译到不同扩展现实功能。
在一些实施例中,处理器可将前部输入传感器(例如,触摸屏显示器)的输入转译到对扩展现实装置中显示的真实图像层中的元素(例如,实际对象)执行的扩展现实功能中。在一些实施例中,处理器可将后部区域输入传感器(例如,触摸传感器)的输入转译到对扩展现实装置中显示的扩展现实图像层内的扩展现实图像元素(例如,数字对象)执行的扩展现实功能中。
在一些实施例中,对真实图像元素(例如实际对象)执行的扩展现实功能可包含放大实际对象(例如,放大实际对象)、缩小实际对象、改变实际对象上的焦点(例如,增加或减小选择或指示的实际对象上的对焦度),在视图中的两个或更多个真实对象当中双态切换,或其它功能,包含其组合。
在一些实施例中,对呈数字对象形式的扩展现实图像元素执行的扩展现实功能可包含与数字对象的任何形式的交互。与数字对象交互可包含选择数字对象(例如,选择图像、图标、文本等)、滚动浏览文本、移动数字对象、调整或更改数字对象的呈现等等。
在一些实施例中,处理器可将前部和背部触摸传感器的输入转译到扩展现实功能。举例来说,处理器可响应于接收到前部和背部触摸传感器的大体同时的输入(例如,前部和背部触摸传感器的“滑移”输入,如同用户装置“扭转”移动计算装置一般)而“旋转”数字对象。
在框1606中,处理器可基于所确定的功能和所接收的输入的一或多个输入参数,产生扩展现实命令。
在框1608中,处理器可执行产生的扩展现实命令。在一些实施例中,处理器可发送、发出、发射等所产生的命令到扩展现实装置。在一些实施例中,扩展现实装置的处理器可执行来自移动计算装置的处理器的命令。
移动计算装置的处理器接着可执行确定框436(图4C和4D)的操作。
图17说明根据一些实施例的相对于基于移动计算装置的各种触摸传感器的输入控制多个应用程序来管理移动计算装置的多传感器控制的方法1700。参考图1A-17,方法1700可实施于移动计算装置(例如,100、300)的硬件组件和/或软件组件中,其操作可受移动计算装置的一或多个处理器(例如,通用处理器306)控制。在框420-428中,移动计算装置的处理器可执行如上文所描述的方法400c或400d的类似编号框的操作。
在确定框1702中,移动计算装置的处理器可确定是否已经初始化多应用程序控制功能。在一些实施例中,移动计算装置可独立地执行、运行等两个或更多个软件应用程序而不需要改变选择、界面菜单等。在一些实施例中,在相同时间处或附近执行两个或更多个这类应用程序可触发多应用程序控制功能的初始化。在各种实施例中,移动计算装置上的触摸传感器的输入可控制第一应用程序或第二应用程序的一或多个功能。
响应于确定尚未初始化多应用程序控制功能(即,确定框1702=“否”),处理器可继续在确定框1702中确定是否已初始化多应用程序控制功能。
响应于确定已经初始化多应用程序控制功能(即,确定框1702=“是”),处理器可在框420中确定获得一或多个转译表。此确定可涉及标识或选择适合于与两个应用程序一起使用的特定转译表。适当的转译表可提供在一或多个触摸传感器处接收到的输入和第一应用程序或第二应用程序的功能之间的相关性。处理器可在框422中从存储器获得所确定的一或多个转译表。
在框1704中,处理器可使用一或多个转译表确定与标识的输入和所确定的触摸传感器相关联的应用程序功能(即,第一或第二应用程序的应用程序功能)。在一些实施例中,处理器可基于获得的转译表确定与后部触摸传感器(例如,触摸传感器104)和/或前部触摸传感器(例如,触摸传感器102)的输入相关联的应用程序功能。在一些实施例中,处理器可将前部和/或背部触摸传感器的输入转译到不同应用程序功能。
在一些实施例中,处理器可将前部输入传感器(例如,触摸屏显示器)的输入转译到在第一应用程序内或针对第一应用程序执行的应用程序功能中。在一些实施例中,处理器可将后部区域输入传感器(例如,触摸传感器)的输入转译到在第二应用程序内或针对第二应用程序执行的应用程序功能中。
举例来说,第一应用程序可为基于前部传感器的输入控制的游戏应用程序。作为另一实例,第二应用程序可为例如呈现传入呼叫请求的通知的电话应用程序。处理器可将后部区域输入传感器(例如,触摸传感器)的输入转译到电话应用程序的功能中,例如以接受呼叫、拒绝呼叫、用文本消息对呼叫作出响应等等。在一些实施例中,处理器可将后部区域输入传感器(例如,触摸传感器)的输入转译到电话应用程序的功能中,以控制正在进行中的或建立的通信会话,以便使移动计算装置的麦克风静音,增加或减小扬声器音量,或另一类似电话应用程序功能。
作为另一实例,第二应用程序可经由第一应用程序或在第一应用程序内呈现通知。举例来说,经由目前使用的“前台”应用程序,日历应用程序可呈现事件提醒,或文本消息应用程序可呈现所接收的文本消息的通知。处理器可将后部区域输入传感器(例如,触摸传感器)的输入转译到用于与通知交互的功能中,以便撤消通知,选择通知,切换到使用产生通知的应用程序等等。处理器可将前部输入传感器(例如,触摸屏显示器)的输入转译到用于与目前使用的应用程序交互的功能中。
在框1706中,处理器可基于所确定的功能和所接收的输入的一或多个输入参数,产生应用程序命令。
在框1708中,处理器可执行产生的应用程序命令。在一些实施例中,处理器可在指定的第一或第二应用程序内执行产生的应用程序命令。
移动计算装置的处理器接着可执行确定框436(图4C和4D)的操作。
图18说明根据一些实施例的管理移动计算装置的多传感器控制以用于基于移动计算装置的各种触摸传感器输入控制多个装置的方法1800。参考图1A-18,方法1800可实施于移动计算装置(例如,100、300)的硬件组件和/或软件组件中,其操作可受移动计算装置的一或多个处理器(例如,通用处理器306)控制。在框420-428中,移动计算装置的处理器可执行如上文所描述的方法400c或400d的类似编号框的操作。
在确定框1802中,移动计算装置的处理器可确定是否已经初始化多装置控制功能。在一些实施例中,移动计算装置可与一或多个其它装置(例如IoT装置(例如,IoT装置204-208)通信。在一些实施例中,移动计算装置可例如经由有线或无线通信链路直接与一或多个其它装置通信。在一些实施例中,移动计算装置可经由中间装置(例如IoT集线器装置210)与一或多个其它装置通信。在一些实施例中,与一或多个其它装置建立通信可包含、涉及或触发多装置控制功能的初始化。在各种实施例中,移动计算装置上的触摸传感器的输入可控制一或多个其它装置的一或多个功能。
响应于确定尚未初始化多装置控制功能(即,确定框1802=“否”),处理器可继续在确定框1802中确定是否已初始化多装置控制功能。
响应于确定已经初始化多装置控制功能(即,确定框1802=“是”),处理器可在框420中确定获得一或多个转译表。此确定可涉及标识或选择适合于与一或多个其它装置一起使用的特定转译表。适当的转译表可提供在一或多个触摸传感器处接收到的输入和一或多个其它装置的功能之间的相关性。处理器可在框422中从存储器获得所确定的一或多个转译表。
在框1804中,处理器可使用一或多个转译表确定与标识的输入和所确定的触摸传感器相关联的装置功能(即,一或多个其它装置的装置功能)。在一些实施例中,处理器可基于获得的转译表,确定与后部触摸传感器(例如,触摸传感器104)和/或前部触摸传感器(例如,触摸传感器102)的输入相关联的装置功能。在一些实施例中,处理器可将前部和/或背部触摸传感器的输入转译到不同装置的功能。
在一些实施例中,处理器可将前部输入传感器(例如,触摸屏显示器)的输入转译到第一装置的装置功能中。在一些实施例中,处理器可将后部区域输入传感器(例如,触摸传感器)的输入转译到第二装置的装置功能中。
举例来说,第一装置可为移动计算装置,且处理器可基于前部传感器的输入,控制移动计算装置的功能(例如在移动计算装置上运行的应用程序的输入、移动计算装置的功能的控制等)。作为另一实例,第一装置可为第一其它装置,例如IoT装置204-208中的一个,且处理器可基于前部传感器的输入,控制第一其它装置的功能。作为另一实例,第二装置可为第二其它装置(例如,IoT装置204-208中的一个),且处理器可基于后部区域输入传感器(例如,触摸传感器)的输入,控制第二其它装置的功能。
举例来说,处理器可将前部输入传感器(例如,触摸屏显示器)的输入转译到在移动计算装置上运行的应用程序内执行的应用程序功能中。作为另一实例,在应用程序正在移动计算装置上运行并且对前部输入传感器(例如,触摸屏显示器)的输入作出响应时,处理器可将后部区域输入传感器(例如,触摸传感器)的输入转译到由第一其它装置执行的装置功能中。在一些实施例中,处理器可基于前部输入传感器(例如,触摸屏显示器)的输入,控制第一其它装置的功能,且处理器可基于后部区域输入传感器(例如,触摸传感器)输入,控制第二其它装置的功能。
举例来说,处理器可将前部和/或后部输入传感器的输入转译到由IoT灯泡或照明系统(例如,IoT灯泡或照明系统204)执行的装置功能中,例如使灯泡或系统接通或断开,增加亮度,调暗亮度,改变发出的色彩等等。作为另一实例,处理器可将前部和/或后部输入传感器的输入转译到由智能恒温器(例如,智能恒温器206)执行的装置功能中,例如使加热和/或冷却系统接通或断开,更改恒温器设置,从恒温器获得信息等等。作为另一实例,处理器可将前部和/或后部输入传感器的输入转译到由IoT安全相机(例如,IoT安全相机208)执行的装置功能中,例如改变安全相机上的设置,移动或转动安全相机,激活或解除激活安全相机/系统,聚焦于安全相机的视图内的对象上等等。作为另一实例,处理器可将前部和/或后部输入传感器的输入转译到由智能TV装置执行的装置功能中,例如执行TV的一或多个远程控制功能。其它实例以及上述的组合是可能的。
在框1806中,处理器可基于所确定的功能和所接收的输入的一或多个输入参数,产生装置命令。
在框1808中,处理器可执行产生的装置命令。在一些实施例中,处理器可发送、发出、发射等所产生的命令到第一或第二其它装置。
移动计算装置的处理器接着可执行确定框436(图4C和4D)的操作。
各种实施例可实施多种移动计算装置中的一或多个,在图19A和19B中说明其呈智能电话形式的实例。参考图1-19B,移动计算装置100可包含用于装纳各种组件中的全部或一些的外壳主体1920,其由塑料、金属、陶瓷、玻璃或这类材料的组合的构造而成。移动计算装置100可包含耦合到各种系统和组件的处理器1902。特定来说,处理器1902可耦合到内部存储器1906、触摸屏控制器1904、输入传感器控制器1905(例如,触摸传感器控制器19)、无线电通信元件、扬声器1914和麦克风1915。处理器1902可为标示为用于一般或专有处理任务的单核或多核处理器。内部存储器1906可以是易失性或非易失性存储器,并且还可为安全和/或经加密的存储器,或不安全和/或未加密的存储器,或其任何组合。
触摸屏控制器1904可耦合到触摸屏显示器1912,例如电阻感测触摸屏、电容感测触摸屏、红外感测触摸屏等。电容感测触摸屏显示器1912可包含一或多个触摸传感器(例如,102)。触摸传感器控制器1905和处理器1902可耦合到一或多个多触摸传感器1932,例如触摸传感器(例如,102、104、106a、106b、108、327)。一或多个触摸传感器1932可位于移动计算装置100的背面板(例如,后部区域114)、侧部(例如,116a、116b)、顶部和/或底部上。
移动计算装置100可包含耦合到天线1910以用于发送和接收通信的一或多个无线电信号收发器1908(例如,花生(Peanut)、蓝牙(Bluetooth)、蓝牙LE(Bluetooth LE)、紫蜂(ZigBee)、
Figure BDA0002443792850000471
射频(RF)无线电等)。一或多个无线电信号收发器1908可彼此耦合和/或耦合到处理器1902。无线电信号收发器1908可实施各种无线传输协议堆栈和接口。举例来说,移动计算装置100可包含耦合到处理器以启用经由蜂窝式网络的通信的蜂窝式网络无线调制解调器芯片1916。
移动计算装置100可包含耦合到处理器1902的外围装置连接接口1918。外围装置连接接口1918可被配置成接受一或多种类型的共同或专属物理和通信连接,例如USB、火线(FireWire)、雷电(Thunderbolt)或PCIe。外围装置连接接口1918也可耦合到类似地配置的外围装置连接端口(未示出)。
移动计算装置100可包含耦合到处理器1902的电源1922(例如,电池),例如一次性或可再充电电池。可再充电电池也可耦合到外围装置连接端口以从移动计算装置100外部的来源接收充电电流。另外或替代地,可通过无线充电,例如通过无线充电天线1942,为可再充电电池带电。无线充电控制器1944可耦合到充电天线1942和电源1922且被配置成基于电源1922的电荷状态、如无线充电天线1942感测的无线充电的可用性和/或从处理器1902接收的控制信号,调节电源1922的充电/再充电。
在各种实施例中,移动计算装置100可包含一或多个麦克风1915。举例来说,移动计算装置可具有常规用于在呼叫期间从用户接收语音或其它音频频率能量的麦克风1915。移动计算装置100还可包含用于提供音频输出的扬声器1914。移动计算装置100还可包含用于接收用户输入的一或多个物理按钮1924、1926。
本文中所描述的各种实施例中的处理器可为任何可编程微处理器、微型计算机或多处理器芯片或可以由软件指令(应用程序)配置以执行各种功能(包含上文描述的各种实施例的功能)的芯片。在一些装置中,可以提供多个处理器,例如,一个处理器专用于无线通信功能,且一个处理器专用于运行其它应用程序。通常,软件应用程序在被接入和加载到处理器中之前可存储于内部存储器中。处理器可包含足以存储应用程序软件指令的内部存储器。在许多装置中,内部存储器可以是易失性或非易失性存储器,例如快闪存储器,或这两种存储器的混合。出于此描述的目的,一般提到存储器是指可由处理器存取的存储器,其包含内部存储器或插入到装置中的可装卸式存储器以及处理器自身内的存储器。
所说明和描述的各种实例仅作为实例提供来说明所附权利要求书的各个特征。然而,相对于任何给定实施例示出和描述的特征未必受限于相关联的实施例并且可与其它示出和描述的实施例一起使用或组合。此外,权利要求书并不意图受任何一个实例实施例限制。举例来说,方法500-1700的操作中的一或多个可取代方法500-1700的一或多个操作或与之组合,且反之亦然。
前述方法描述和过程流程图仅仅是作为说明性实例提供,且并不意图要求或暗示各种实施例的操作必须以所呈现的次序执行。如所属领域的技术人员将了解,可以任何次序执行前述实施例中的操作的次序。如“其后”、“随后”、“接下来”等词语并不希望限制操作的次序;这些词语仅用以引导读者浏览方法的描述。此外,举例来说,使用冠词“一”、“一个”或“所述”对单数形式的权利要求要素的任何参考不应解释为将所述要素限制为单数。
结合本文中所公开的实施例描述的各种说明性逻辑块、模块、电路和算法操作可实施为电子硬件、计算机软件,或两者的组合。为清晰地说明硬件与软件的这种可互换性,上文已大体就其功能性来描述各种说明性组件、块、模块、电路和操作。这类功能性是以硬件来实施还是以软件来实施取决于特定应用和强加于整个系统的设计约束。所属领域的技术人员可针对每一特定应用以不同方式实施所描述的功能性,但此类实施例决策不应被解释为造成对权利要求书的范围的脱离。
用以实施结合本文中所公开的实施例而描述的各种说明性逻辑、逻辑块、模块和电路的硬件可用以下各项来实施或执行:通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或经设计以执行本文中所描述的功能的其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件,或其任何组合。通用处理器可为微处理器,但在替代方案中,处理器可为任何常规处理器、控制器、微控制器或状态机。处理器还可实施为接收器智能对象的组合,例如DSP与微处理器的组合、多个微处理器、一或多个微处理器与DSP核心结合,或任何其它此类配置。替代地,可通过特定地针对给定功能的电路来执行一些操作或方法。
在一或多个实施例中,所描述的功能可实施在硬件、软件、固件或其任何组合中。如果以软件实施,那么所述功能可作为一或多个指令或代码存储在非暂时性计算机可读存储媒体或非暂时性处理器可读存储媒体上。本文中所公开的方法或算法的操作可体现在处理器可执行软件模块或处理器可执行指令中,所述软件模块或处理器可执行指令可驻存于非暂时性计算机可读或处理器可读存储媒体上。非暂时性计算机可读或处理器可读存储媒体可为可由计算机或处理器存取的任何存储媒体。举例来说但非限制,此类非暂时性计算机可读或处理器可读存储媒体可包含RAM、ROM、EEPROM、快闪存储器、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置智能物件,或可用于以指令或数据结构的形式存储所要的程序代码且可由计算机存取的任何其它媒体。如本文所使用的磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和蓝光光盘,其中磁盘通常是以磁性方式再现数据,而光盘是用激光以光学方式再现数据。以上各项的组合也包含在非暂时性计算机可读和处理器可读媒体的范围内。另外,一种方法或算法的操作可作为代码和/或指令的一个或任何组合或集合而驻存在非暂时性处理器可读存储媒体和/或计算机可读存储媒体上,所述媒体可并入到计算机程序产品中。
提供对所公开的实施例的前述描述以使所属领域的技术人员能够制作或使用所附权利要求书。所属领域的技术人员将容易了解对这些实施例的各种修改,且可在不脱离所附权利要求书的精神或范围的情况下将本文中定义的一般原理应用于其它实施例。因此,本公开并不意图限于本文中所展示的实施例,而应被赋予与所附权利要求书和本文中所公开的原理和新颖特征相一致的最广泛范围。

Claims (56)

1.一种管理具有一或多个触摸传感器的移动计算装置的多层控制的方法,所述方法包括:
通过所述移动计算装置的处理器,在移动计算装置处接收用于相对于所述移动装置处的内容执行功能的输入,其中所述移动装置处的所述内容至少细分到具有一或多个对象的第一命令层和具有一或多个对象的第二命令层中;
确定所述所接收的输入与所述第一命令层的第一对象还是所述第二命令层的第二对象相关联;
基于确定所述第一命令层还是所述第二命令层与所述所接收的输入相关联,确定要对所述第一或第二对象中的一个执行的功能;和
对所述第一对象或所述第二对象执行所述所确定的功能。
2.根据权利要求1所述的方法,其中通过所述移动计算装置的所述处理器,在所述移动计算装置处接收用于相对于所述移动装置处的内容执行功能的所述输入包括在所述移动计算装置的所述触摸传感器中的一个处接收用于相对于所述移动装置处的内容执行功能的所述输入。
3.根据权利要求1所述的方法,其另外包括:
从所述移动计算装置的存储器获得命令层转译表;和
确定接收到所述输入的触摸传感器;
其中确定要对所述第一或第二对象中的一个执行的所述功能包括使用所述转译表基于所述所确定的触摸传感器,确定与所述所接收的输入和所述相关联的命令层相关联的所述功能。
4.根据权利要求1所述的方法,其中:
所述第一命令层包括所述移动装置所显示的图像的第一图像层,且所述第二命令层包括所述所显示的图像的第二图像层;且
对所述第一对象或所述第二对象执行所述所确定的功能包括对所述第一图像层的元素或对所述第二图像层的元素执行所述所确定的功能。
5.根据权利要求1所述的方法,其中:
所述第一命令层包括所述移动装置所显示的图像的前景层,且所述第二命令层包括所述所显示的图像的背景层;且
对所述第一对象或所述第二对象执行所述所确定的功能包括对所述前景层的元素或对所述背景层的元素执行所述所确定的功能。
6.根据权利要求1所述的方法,其中:
所述第一命令层包括所述移动装置所显示的图像的第一维度,且所述第二命令层包括所述所显示的图像的第二维度;且
对所述第一对象或所述第二对象执行所述所确定的功能包括对所述图像的所述第一维度或对所述图像的所述第二维度执行所述所确定的功能。
7.根据权利要求1所述的方法,其中:
所述第一命令层包括所述移动装置所显示的文本的第一文本层,且所述第二命令层包括所述所显示的文本的第二文本层;且
对所述第一对象或所述第二对象执行所述所确定的功能包括对所述第一文本层的元素或对所述第二文本层的元素执行所述所确定的功能。
8.根据权利要求1所述的方法,其中:
所述第一命令层包括所述移动装置所显示的扩展现实图像中的数字对象的处理器产生的图像层,且所述第二命令层包括所述所显示的扩展现实图像中显示的真实对象的真实图像层;且
对所述第一对象或所述第二对象执行所述所确定的功能包括对所述第一扩展现实图像层内的扩展现实图像元素或对所述真实图像层内的真实元素执行所述所确定的功能。
9.根据权利要求1所述的方法,其中:
所述第一命令层包括在所述移动装置上执行的第一应用程序,且所述第二命令层包括在所述移动装置上执行的第二应用程序;且
对所述第一对象或所述第二对象执行所述所确定的功能包括将用以执行所述所确定的功能的指令发送到所述第一应用程序或所述第二应用程序。
10.根据权利要求1所述的方法,其中:
所述第一命令层包括被配置成从所述移动计算装置接收命令的第一装置的表示,且所述第二命令层包括被配置成从所述移动计算装置接收命令的第二装置的表示;且
对所述第一对象或所述第二对象执行所述所确定的功能包括将用以执行所述所确定的功能的指令发送到所述第一装置或所述第二装置。
11.根据权利要求1所述的方法,其中大体安置于所述移动计算装置的前部上的所述一或多个触摸传感器的第一群组映射到所述第一命令层,且大体安置于所述移动计算装置的背部上的所述一或多个触摸传感器的第二群组映射到所述第二命令层。
12.根据权利要求11所述的方法,其中所述所接收的输入是由所述处理器在重叠的时间处从所述第一群组的所述触摸传感器中的一个和所述第二群组的所述触摸传感器中的一个接收的两个或更多个输入中的一个。
13.根据权利要求11所述的方法,其中大体安置于所述移动计算装置的侧部上的所述一或多个触摸传感器的第三群组映射到所述第一命令层和所述第二命令层中的一或多个。
14.根据权利要求13所述的方法,其中所述所接收的输入是由所述处理器在重叠的时间处从所述第三群组的所述触摸传感器中的一个和来自所述第一群组和所述第二群组当中的触摸传感器接收的两个或更多个输入中的一个。
15.一种移动计算装置,其包括:
一或多个触摸传感器;
存储器;和
处理器,其耦合到所述一或多个触摸传感器和所述存储器,并且配置有处理器可执行指令以执行包括以下各项的操作:
接收用于相对于内容执行功能的输入,其中所述内容至少细分到具有一或多个对象的第一命令层和具有一或多个对象的第二命令层中;
确定所述所接收的输入与所述第一命令层的第一对象还是所述第二命令层的第二对象相关联;
基于确定所述第一命令层还是所述第二命令层与所述所接收的输入相关联,确定要对所述第一或第二对象中的一个执行的功能;和
对所述第一对象或所述第二对象执行所述所确定的功能。
16.根据权利要求15所述的移动计算装置,其中所述处理器配置有用于执行操作的处理器可执行指令,以使得在所述移动计算装置处接收用于相对于所述移动装置处的内容执行功能的所述输入包括在所述移动计算装置的所述触摸传感器中的一个处接收用于相对于所述移动装置处的内容执行功能的所述输入。
17.根据权利要求15所述的移动计算装置,其中所述处理器配置有处理器可执行指令以执行包括以下各项的操作:
从所述存储器获得命令层转译表;和
确定接收到所述输入的触摸传感器,
其中所述处理器配置有用于执行操作的处理器可执行指令,以使得确定要对所述第一或第二对象中的一个执行的所述功能包括使用所述转译表基于所述所确定的触摸传感器,确定与所述所接收的输入和所述相关联的命令层相关联的所述功能。
18.根据权利要求15所述的移动计算装置,其中所述处理器配置有用于执行操作的处理器可执行指令,以使得:
所述第一命令层包括所述移动装置所显示的图像的第一图像层,且所述第二命令层包括所述所显示的图像的第二图像层;且
对所述第一对象或所述第二对象执行所述所确定的功能包括对所述第一图像层的元素或对所述第二图像层的元素执行所述所确定的功能。
19.根据权利要求15所述的移动计算装置,其中所述处理器配置有用于执行操作的处理器可执行指令,以使得:
所述第一命令层包括所述移动装置所显示的图像的前景层,且所述第二命令层包括所述所显示的图像的背景层;且
对所述第一对象或所述第二对象执行所述所确定的功能包括对所述前景层的元素或对所述背景层的元素执行所述所确定的功能。
20.根据权利要求15所述的移动计算装置,其中所述处理器配置有用于执行操作的处理器可执行指令,以使得:
所述第一命令层包括所述移动装置所显示的图像的第一维度,且所述第二命令层包括所述所显示的图像的第二维度;且
对所述第一对象或所述第二对象执行所述所确定的功能包括对所述前景层的元素或对所述背景层的元素执行所述所确定的功能。
21.根据权利要求15所述的移动计算装置,其中所述处理器配置有用于执行操作的处理器可执行指令,以使得:
所述第一命令层包括所述移动装置所显示的文本的第一文本层,且所述第二命令层包括所述所显示的文本的第二文本层;且
对所述第一对象或所述第二对象执行所述所确定的功能包括对所述第一文本层的元素或对所述第二文本层的元素执行所述所确定的功能。
22.根据权利要求15所述的移动计算装置,其中所述处理器配置有用于执行操作的处理器可执行指令,以使得:
所述第一命令层包括所述移动装置所显示的扩展现实图像中的数字对象的处理器产生的图像层,且所述第二命令层包括所述所显示的扩展现实图像中显示的真实对象的真实图像层;且
对所述第一对象或所述第二对象执行所述所确定的功能包括对所述第一扩展现实图像层内的扩展现实图像元素或对所述真实图像层内的真实元素执行所述所确定的功能。
23.根据权利要求15所述的移动计算装置,其中所述处理器配置有用于执行操作的处理器可执行指令,以使得:
所述第一命令层包括在所述移动装置上执行的第一应用程序,且所述第二命令层包括在所述移动装置上执行的第二应用程序;且
对所述第一对象或所述第二对象执行所述所确定的功能包括将用以执行所述所确定的功能的指令发送到所述第一应用程序或所述第二应用程序。
24.根据权利要求15所述的移动计算装置,其中所述处理器配置有用于执行操作的处理器可执行指令,以使得:
所述第一命令层包括被配置成从所述移动计算装置接收命令的第一装置的表示,且所述第二命令层包括被配置成从所述移动计算装置接收命令的第二装置的表示;且
对所述第一对象或所述第二对象执行所述所确定的功能包括将用以执行所述所确定的功能的指令发送到所述第一装置或所述第二装置。
25.根据权利要求15所述的移动计算装置,其中所述处理器配置有用于执行操作的处理器可执行指令,以使得大体安置于所述移动计算装置的前部上的所述一或多个触摸传感器的第一群组映射到所述第一命令层,且大体安置于所述移动计算装置的背部上的所述一或多个触摸传感器的第二群组映射到所述第二命令层。
26.根据权利要求25所述的移动计算装置,其中所述所接收的输入是由所述处理器在重叠的时间处从所述第一群组的所述触摸传感器中的一个和所述第二群组的所述触摸传感器中的一个接收的两个或更多个输入中的一个。
27.根据权利要求25所述的移动计算装置,其中所述处理器配置有用于执行操作的处理器可执行指令,以使得大体安置于所述移动计算装置的侧部上的所述一或多个触摸传感器的第三群组映射到所述第一命令层和所述第二命令层中的一或多个。
28.根据权利要求27所述的移动计算装置,其中所述所接收的输入是由所述处理器在重叠的时间处从所述第三群组的所述触摸传感器中的一个和来自所述第一群组和所述第二群组当中的触摸传感器接收的两个或更多个输入中的一个。
29.一种上面存储有处理器可执行指令的非暂时性处理器可读存储媒体,所述处理器可执行指令被配置成致使具有一或多个触摸传感器的移动计算装置的处理器执行用于管理所述移动计算装置的多层控制的操作,所述操作包括:
接收用于相对于内容执行功能的输入,其中所述内容至少细分到具有一或多个对象的第一命令层和具有一或多个对象的第二命令层中;
确定所述所接收的输入与所述第一命令层的第一对象还是所述第二命令层的第二对象相关联;
基于确定所述第一命令层还是所述第二命令层与所述所接收的输入相关联,确定要对所述第一或第二对象中的一个执行的功能;和
对所述第一对象或所述第二对象执行所述所确定的功能。
30.根据权利要求29所述的非暂时性处理器可读存储媒体,其中所述所存储的处理器可执行指令被配置成致使所述移动装置的所述处理器执行操作,以使得接收用于相对于内容执行功能的所述输入包括在所述移动计算装置的所述触摸传感器中的一个处接收所述输入。
31.根据权利要求29所述的非暂时性处理器可读存储媒体,其中所述所存储的处理器可执行指令被配置成致使所述移动装置的所述处理器执行另外包括以下各项的操作:
从所述移动计算装置的存储器获得命令层转译表;和
确定接收到所述输入的触摸传感器;
其中所述所存储的处理器可执行指令被配置成致使所述移动装置的所述处理器执行操作,以使得确定要对所述第一或第二对象中的一个执行的所述功能包括使用所述转译表基于所述所确定的触摸传感器,确定与所述所接收的输入和所述相关联的命令层相关联的所述功能。
32.根据权利要求29所述的非暂时性处理器可读存储媒体,其中所述所存储的处理器可执行指令被配置成致使所述移动装置的所述处理器执行操作,以使得:
所述第一命令层包括所述移动装置所显示的图像的第一图像层,且所述第二命令层包括所述所显示的图像的第二图像层;且
对所述第一对象或所述第二对象执行所述所确定的功能包括对所述第一图像层的元素或对所述第二图像层的元素执行所述所确定的功能。
33.根据权利要求29所述的非暂时性处理器可读存储媒体,其中所述所存储的处理器可执行指令被配置成致使所述移动装置的所述处理器执行操作,以使得:
所述第一命令层包括所述移动装置所显示的图像的前景层,且所述第二命令层包括所述所显示的图像的背景层;且
对所述第一对象或所述第二对象执行所述所确定的功能包括对所述前景层的元素或对所述背景层的元素执行所述所确定的功能。
34.根据权利要求29所述的非暂时性处理器可读存储媒体,其中所述所存储的处理器可执行指令被配置成致使所述移动装置的所述处理器执行操作,以使得:
所述第一命令层包括所述移动装置所显示的图像的第一维度,且所述第二命令层包括所述所显示的图像的第二维度;且
对所述第一对象或所述第二对象执行所述所确定的功能包括对所述图像的所述第一维度或对所述图像的所述第二维度执行所述所确定的功能。
35.根据权利要求29所述的非暂时性处理器可读存储媒体,其中所述所存储的处理器可执行指令被配置成致使所述移动装置的所述处理器执行操作,以使得:
所述第一命令层包括所述移动装置所显示的文本的第一文本层,且所述第二命令层包括所述所显示的文本的第二文本层;且
对所述第一对象或所述第二对象执行所述所确定的功能包括对所述第一文本层的元素或对所述第二文本层的元素执行所述所确定的功能。
36.根据权利要求29所述的非暂时性处理器可读存储媒体,其中所述所存储的处理器可执行指令被配置成致使所述移动装置的所述处理器执行操作,以使得:
所述第一命令层包括所述移动装置所显示的扩展现实图像中的数字对象的处理器产生的图像层,且所述第二命令层包括所述所显示的扩展现实图像中显示的真实对象的真实图像层;且
对所述第一对象或所述第二对象执行所述所确定的功能包括对所述第一扩展现实图像层内的扩展现实图像元素或对所述真实图像层内的真实元素执行所述所确定的功能。
37.根据权利要求29所述的非暂时性处理器可读存储媒体,其中所述所存储的处理器可执行指令被配置成致使所述移动装置的所述处理器执行操作,以使得:
所述第一命令层包括在所述移动装置上执行的第一应用程序,且所述第二命令层包括在所述移动装置上执行的第二应用程序;且
对所述第一对象或所述第二对象执行所述所确定的功能包括将用以执行所述所确定的功能的指令发送到所述第一应用程序或所述第二应用程序。
38.根据权利要求29所述的非暂时性处理器可读存储媒体,其中所述所存储的处理器可执行指令被配置成致使所述移动装置的所述处理器执行操作,以使得:
所述第一命令层包括被配置成从所述移动计算装置接收命令的第一装置的表示,且所述第二命令层包括被配置成从所述移动计算装置接收命令的第二装置的表示;且
对所述第一对象或所述第二对象执行所述所确定的功能包括将用以执行所述所确定的功能的指令发送到所述第一装置或所述第二装置。
39.根据权利要求29所述的非暂时性处理器可读存储媒体,其中所述所存储的处理器可执行指令被配置成致使所述移动装置的所述处理器执行操作,以使得大体安置于所述移动计算装置的前部上的所述一或多个触摸传感器的第一群组映射到所述第一命令层,且大体安置于所述移动计算装置的背部上的所述一或多个触摸传感器的第二群组映射到所述第二命令层。
40.根据权利要求39所述的非暂时性处理器可读存储媒体,其中所述所接收的输入是由所述处理器在重叠的时间处从所述第三群组的所述触摸传感器中的一个和来自所述第一群组和所述第二群组当中的触摸传感器接收的两个或更多个输入中的一个。
41.根据权利要求39所述的非暂时性处理器可读存储媒体,其中所述所存储的处理器可执行指令被配置成致使所述移动装置的所述处理器执行操作,以使得大体安置于所述移动计算装置的侧部上的所述一或多个触摸传感器的第三群组映射到所述第一命令层和所述第二命令层中的一或多个。
42.根据权利要求41所述的非暂时性处理器可读存储媒体,其中所述所接收的输入是由所述处理器在重叠的时间处从所述第三群组的所述触摸传感器中的一个和来自所述第一群组和所述第二群组当中的触摸传感器接收的两个或更多个输入中的一个。
43.一种移动计算装置,其包括:
一或多个触摸传感器;
用于接收用于相对于内容执行功能的输入的装置,其中所述移动装置处的所述内容至少细分到具有一或多个对象的第一命令层和具有一或多个对象的第二命令层中;
用于确定所述所接收的输入与所述第一命令层的第一对象还是所述第二命令层的第二对象相关联的装置;
用于基于确定所述第一命令层还是所述第二命令层与所述所接收的输入相关联,确定要对所述第一或第二对象中的一个执行的功能的装置;和
用于对所述第一对象或所述第二对象执行所述所确定的功能的装置。
44.根据权利要求43所述的移动计算装置,其中用于在所述移动计算装置处接收用于相对于内容执行功能的所述输入的装置包括用于在所述触摸传感器中的一个处接收所述输入的装置。
45.根据权利要求43所述的移动计算装置,其另外包括:
用于从所述移动计算装置的存储器获得命令层转译表的装置;和
用于确定接收到所述输入的触摸传感器的装置;
其中用于确定要对所述第一或第二对象中的一个执行的所述功能的装置包括用于使用所述转译表基于所述所确定的触摸传感器,确定与所述所接收的输入和所述相关联的命令层相关联的所述功能的装置。
46.根据权利要求43所述的移动计算装置,其中:
所述第一命令层包括所述移动装置所显示的图像的第一图像层,且所述第二命令层包括所述所显示的图像的第二图像层;且
用于对所述第一对象或所述第二对象执行所述所确定的功能的装置包括用于对所述第一图像层的元素或对所述第二图像层的元素执行所述所确定的功能的装置。
47.根据权利要求43所述的移动计算装置,其中:
所述第一命令层包括所述移动装置所显示的图像的前景层,且所述第二命令层包括所述所显示的图像的背景层;且
用于对所述第一对象或所述第二对象执行所述所确定的功能的装置包括用于对所述前景层的元素或对所述背景层的元素执行所述所确定的功能的装置。
48.根据权利要求43所述的移动计算装置,其中:
所述第一命令层包括所述移动装置所显示的图像的第一维度,且所述第二命令层包括所述所显示的图像的第二维度;且
用于对所述第一对象或所述第二对象执行所述所确定的功能的装置包括用于对所述图像的所述第一维度或对所述图像的所述第二维度执行所述所确定的功能的装置。
49.根据权利要求43所述的移动计算装置,其中:
所述第一命令层包括所述移动装置所显示的文本的第一文本层,且所述第二命令层包括所述所显示的文本的第二文本层;且
用于对所述第一对象或所述第二对象执行所述所确定的功能的装置包括用于对所述第一文本层的元素或对所述第二文本层的元素执行所述所确定的功能的装置。
50.根据权利要求43所述的移动计算装置,其中:
所述第一命令层包括所述移动装置所显示的扩展现实图像中的数字对象的处理器产生的图像层,且所述第二命令层包括所述所显示的扩展现实图像中显示的真实对象的真实图像层;且
用于对所述第一对象或所述第二对象执行所述所确定的功能的装置包括用于对所述第一扩展现实图像层内的扩展现实图像元素或对所述真实图像层内的真实元素执行所述所确定的功能的装置。
51.根据权利要求43所述的移动计算装置,其中:
所述第一命令层包括在所述移动装置上执行的第一应用程序,且所述第二命令层包括在所述移动装置上执行的第二应用程序;且
用于对所述第一对象或所述第二对象执行所述所确定的功能的装置包括用于将用以执行所述所确定的功能的指令发送到所述第一应用程序或所述第二应用程序的装置。
52.根据权利要求43所述的移动计算装置,其中:
所述第一命令层包括被配置成从所述移动计算装置接收命令的第一装置的表示,且所述第二命令层包括被配置成从所述移动计算装置接收命令的第二装置的表示;且
用于对所述第一对象或所述第二对象执行所述所确定的功能的装置包括用于将用以执行所述所确定的功能的指令发送到所述第一装置或所述第二装置的装置。
53.根据权利要求43所述的移动计算装置,其中大体安置于所述移动计算装置的前部上的所述一或多个触摸传感器的第一群组映射到所述第一命令层,且大体安置于所述移动计算装置的背部上的所述一或多个触摸传感器的第二群组映射到所述第二命令层。
54.根据权利要求53所述的移动计算装置,其中所述所接收的输入是由所述处理器在重叠的时间处从所述第三群组的所述触摸传感器中的一个和来自所述第一群组和所述第二群组当中的触摸传感器接收的两个或更多个输入中的一个。
55.根据权利要求53所述的移动计算装置,其中大体安置于所述移动计算装置的侧部上的所述一或多个触摸传感器的第三群组映射到所述第一命令层和所述第二命令层中的一或多个。
56.根据权利要求55所述的移动计算装置,其中所述所接收的输入是由所述处理器在重叠的时间处从所述第三群组的所述触摸传感器中的一个和来自所述第一群组和所述第二群组当中的触摸传感器接收的两个或更多个输入中的一个。
CN201880065792.7A 2017-10-14 2018-08-14 多层用户界面的直接操控的方法 Active CN111194436B (zh)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US201762572465P 2017-10-14 2017-10-14
US201762572453P 2017-10-14 2017-10-14
US201762572471P 2017-10-14 2017-10-14
US201762572460P 2017-10-14 2017-10-14
US201762572455P 2017-10-14 2017-10-14
US62/572,471 2017-10-14
US62/572,460 2017-10-14
US62/572,465 2017-10-14
US62/572,453 2017-10-14
US62/572,455 2017-10-14
US16/101,692 2018-08-13
US16/101,692 US10901606B2 (en) 2017-10-14 2018-08-13 Methods of direct manipulation of multi-layered user interfaces
PCT/US2018/046648 WO2019074577A1 (en) 2017-10-14 2018-08-14 METHODS FOR DIRECT MANIPULATION OF MULTILAYER USER INTERFACES

Publications (2)

Publication Number Publication Date
CN111194436A true CN111194436A (zh) 2020-05-22
CN111194436B CN111194436B (zh) 2024-03-19

Family

ID=66096392

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201880066579.8A Pending CN111226191A (zh) 2017-10-14 2018-07-20 管理和映射多侧触摸
CN201880065792.7A Active CN111194436B (zh) 2017-10-14 2018-08-14 多层用户界面的直接操控的方法
CN201880066442.2A Pending CN111201505A (zh) 2017-10-14 2018-08-14 用于检测装置上下文以便改变触摸电容的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201880066579.8A Pending CN111226191A (zh) 2017-10-14 2018-07-20 管理和映射多侧触摸

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201880066442.2A Pending CN111201505A (zh) 2017-10-14 2018-08-14 用于检测装置上下文以便改变触摸电容的方法

Country Status (6)

Country Link
US (7) US11126258B2 (zh)
EP (3) EP3695300B1 (zh)
CN (3) CN111226191A (zh)
SG (2) SG11202001955TA (zh)
TW (3) TW201915702A (zh)
WO (3) WO2019074567A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113342247A (zh) * 2021-08-04 2021-09-03 北京达佳互联信息技术有限公司 素材处理方法、装置、电子设备及存储介质

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11126258B2 (en) 2017-10-14 2021-09-21 Qualcomm Incorporated Managing and mapping multi-sided touch
CN108279805B (zh) * 2018-01-31 2022-03-25 北京小米移动软件有限公司 保护膜检测方法、装置及存储介质
US10845921B2 (en) * 2018-05-21 2020-11-24 Motorola Mobility Llc Methods and systems for augmenting images in an electronic device
KR102519800B1 (ko) * 2018-07-17 2023-04-10 삼성디스플레이 주식회사 전자 장치
CN110912960B (zh) * 2018-09-18 2023-04-28 斑马智行网络(香港)有限公司 一种数据处理方法、装置和机器可读介质
US11157094B2 (en) * 2018-12-12 2021-10-26 Dell Products, L.P. Touch input switching for multi-form factor information handling system (IHS)
WO2020139533A1 (en) * 2018-12-26 2020-07-02 Snap Inc. Creation and user interactions with three-dimensional wallpaper on computing devices
US11644940B1 (en) 2019-01-31 2023-05-09 Splunk Inc. Data visualization in an extended reality environment
US11853533B1 (en) * 2019-01-31 2023-12-26 Splunk Inc. Data visualization workspace in an extended reality environment
US11450044B2 (en) * 2019-03-20 2022-09-20 Kt Corporation Creating and displaying multi-layered augemented reality
CN113614676B (zh) 2019-05-20 2024-03-26 谷歌有限责任公司 用于提供多模式界面的基于移动设备的雷达系统及其方法
WO2020250352A1 (ja) * 2019-06-12 2020-12-17 日本電信電話株式会社 タッチパネル型情報端末装置およびその情報入力処理方法
EP3928181A1 (en) * 2019-06-17 2021-12-29 Google LLC Mobile device-based radar system for applying different power modes to a multi-mode interface
US10852842B1 (en) * 2019-07-29 2020-12-01 Cirque Corporation, Inc. Keyboard capacitive backup
US11194429B2 (en) * 2019-09-05 2021-12-07 Panasonic Intellectual Property Management Co., Ltd. Information display terminal
TWI779310B (zh) * 2019-09-26 2022-10-01 華碩電腦股份有限公司 電子裝置之控制方法
US11256367B2 (en) 2019-09-27 2022-02-22 Apple Inc. Techniques for handling unintentional touch inputs on a touch-sensitive surface
KR20210048941A (ko) 2019-10-24 2021-05-04 삼성전자주식회사 전자 장치 및 그의 디스플레이 동작 제어 방법
CN113138690A (zh) * 2020-01-20 2021-07-20 北京小米移动软件有限公司 触控屏、移动终端、控制方法、装置及存储介质
US20210258350A1 (en) * 2020-02-19 2021-08-19 Lookout, Inc. Privacy preservation in network connections
US11089196B1 (en) * 2020-04-22 2021-08-10 Dell Products L.P. Capacitive switch for controlling a camera module for an information handling system
CN111596858B (zh) * 2020-05-15 2021-06-15 李小东 手持电子设备操控方法及手持电子设备
US11715327B2 (en) * 2020-06-22 2023-08-01 Motorola Mobility Llc Electronic devices and methods for selecting display locations for content presentation
CN117354773A (zh) 2020-06-30 2024-01-05 荣耀终端有限公司 交互控制方法、装置、终端和存储介质
EP3945402B1 (en) * 2020-07-29 2024-03-27 Tata Consultancy Services Limited Method and device providing multimodal input mechanism
US11249314B1 (en) * 2020-08-04 2022-02-15 Htc Corporation Method for switching input devices, head-mounted display and computer readable storage medium
US11782149B2 (en) * 2021-01-08 2023-10-10 Google Llc Systems and methods for managing motion detection of an electronic device, and associated electronic devices
US11740726B2 (en) * 2021-03-08 2023-08-29 International Business Machines Corporation Touch sensitivity management
US20220334578A1 (en) * 2021-04-14 2022-10-20 Ford Global Technologies, Llc Remote Control System For A Vehicle And Trailer
JP2023020731A (ja) * 2021-07-30 2023-02-09 富士フイルムビジネスイノベーション株式会社 装置およびプログラム
US20230170976A1 (en) * 2021-11-30 2023-06-01 Qualcomm Incorporated Beam selection and codebook learning based on xr perception
US20240077868A1 (en) * 2022-09-07 2024-03-07 Schweitzer Engineering Laboratories, Inc. Configurable multi-sensor input

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120271545A1 (en) * 2011-04-19 2012-10-25 Nokia Corporation Method and apparatus for providing a multi-dimensional data interface
US20140078086A1 (en) * 2012-09-20 2014-03-20 Marvell World Trade Ltd. Augmented touch control for hand-held devices
CN103890696A (zh) * 2011-10-12 2014-06-25 高通股份有限公司 经认证的手势辨识
US20150042588A1 (en) * 2013-08-12 2015-02-12 Lg Electronics Inc. Terminal and method for controlling the same

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7800592B2 (en) 2005-03-04 2010-09-21 Apple Inc. Hand held electronic device with multiple touch sensing devices
US8144129B2 (en) 2007-01-05 2012-03-27 Apple Inc. Flexible touch sensing circuits
US20090107737A1 (en) 2007-10-28 2009-04-30 Joesph K Reynolds Multiple-sensor-electrode capacitive button
WO2010007813A1 (ja) 2008-07-16 2010-01-21 株式会社ソニー・コンピュータエンタテインメント 携帯型画像表示装置、その制御方法及び情報記憶媒体
KR101737829B1 (ko) * 2008-11-10 2017-05-22 삼성전자주식회사 휴대 단말기의 모션 입력 장치 및 그의 운용 방법
JP5363259B2 (ja) * 2009-09-29 2013-12-11 富士フイルム株式会社 画像表示装置、画像表示方法およびプログラム
US20110087963A1 (en) 2009-10-09 2011-04-14 At&T Mobility Ii Llc User Interface Control with Edge Finger and Motion Sensing
US8988356B2 (en) 2009-12-31 2015-03-24 Google Inc. Touch sensor and touchscreen user input combination
KR20110081040A (ko) 2010-01-06 2011-07-13 삼성전자주식회사 투명 디스플레이를 구비한 휴대단말에서 컨텐츠 운용 방법 및 장치
US8432368B2 (en) * 2010-01-06 2013-04-30 Qualcomm Incorporated User interface methods and systems for providing force-sensitive input
US9519356B2 (en) * 2010-02-04 2016-12-13 Microsoft Technology Licensing, Llc Link gestures
TW201220152A (en) * 2010-11-11 2012-05-16 Wistron Corp Touch control device and touch control method with multi-touch function
US8797283B2 (en) * 2010-11-22 2014-08-05 Sony Computer Entertainment America Llc Method and apparatus for performing user-defined macros
JP2014507726A (ja) * 2011-02-08 2014-03-27 ハワース, インコーポレイテッド マルチモーダルタッチスクリーン対話装置、方法、及び、システム
US20120268411A1 (en) 2011-04-19 2012-10-25 Symbol Technologies, Inc. Multi-modal capacitive touchscreen interface
US20130106710A1 (en) 2011-10-31 2013-05-02 Nokia Corporation Methods, apparatuses, and computer program products for adjusting touchscreen sensitivity
KR101869083B1 (ko) * 2011-12-01 2018-06-19 현대모비스 주식회사 정전 용량식 터치 스크린의 터치 감도 제어방법 및 이를 이용한 디스플레이 장치
US9257098B2 (en) * 2011-12-23 2016-02-09 Nokia Technologies Oy Apparatus and methods for displaying second content in response to user inputs
US20130194235A1 (en) * 2012-02-01 2013-08-01 Logitec Europe S.A. Multi-sensor input device
US20130257746A1 (en) * 2012-03-29 2013-10-03 Dmitriy Sergeyevich Cherkasov Input Module for First Input and Second Input
US20130265276A1 (en) 2012-04-09 2013-10-10 Amazon Technologies, Inc. Multiple touch sensing modes
JP6271858B2 (ja) * 2012-07-04 2018-01-31 キヤノン株式会社 表示装置及びその制御方法
US9557846B2 (en) 2012-10-04 2017-01-31 Corning Incorporated Pressure-sensing touch system utilizing optical and capacitive systems
US20150212647A1 (en) * 2012-10-10 2015-07-30 Samsung Electronics Co., Ltd. Head mounted display apparatus and method for displaying a content
US9152247B2 (en) 2012-10-24 2015-10-06 Google Inc. Computing device with force-triggered non-visual responses
US9477313B2 (en) * 2012-11-20 2016-10-25 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving outward-facing sensor of device
KR102120099B1 (ko) * 2013-02-06 2020-06-09 엘지전자 주식회사 양면 터치 인식 가능한 디지털 디바이스 및 제어 방법
US9152271B2 (en) 2013-02-06 2015-10-06 Honeywell International Inc. Automatic and dynamic sensitivity control of projected capacitive touch sensitive detection systems
US20140292636A1 (en) * 2013-03-29 2014-10-02 Plantronics, Inc. Head-Worn Infrared-Based Mobile User-Interface
US9772764B2 (en) 2013-06-06 2017-09-26 Microsoft Technology Licensing, Llc Accommodating sensors and touch in a unified experience
KR101801554B1 (ko) 2013-07-11 2017-11-27 삼성전자주식회사 컨텐츠를 표시하는 사용자 단말 장치 및 그 방법
CN105324736B (zh) * 2013-07-23 2018-09-11 英特尔公司 触摸式和非触摸式用户交互输入的技术
KR102097639B1 (ko) 2013-11-05 2020-04-06 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US20150177945A1 (en) 2013-12-23 2015-06-25 Uttam K. Sengupta Adapting interface based on usage context
US9389830B2 (en) * 2013-12-24 2016-07-12 Arthur Tan-Chi Yuan Combined multi-source input interface
US10831318B2 (en) 2013-12-24 2020-11-10 Intel Corporation Adaptive enclosure for a mobile computing device
US20150227166A1 (en) 2014-02-13 2015-08-13 Samsung Electronics Co., Ltd. User terminal device and displaying method thereof
US9727161B2 (en) * 2014-06-12 2017-08-08 Microsoft Technology Licensing, Llc Sensor correlation for pen and touch-sensitive computing device interaction
US10042547B2 (en) 2014-06-17 2018-08-07 Vmware, Inc. User interface control based on pinch gestures
US9304643B2 (en) 2014-06-24 2016-04-05 Synaptics Incorporated Classifying input objects interacting with a capacitive button
US20160004384A1 (en) * 2014-07-03 2016-01-07 Hisashi Sato Method of universal multi-touch input
US20160026309A1 (en) 2014-07-25 2016-01-28 Hannstar Display (Nanjing) Corporation Controller
US10306174B1 (en) * 2014-09-15 2019-05-28 Google Llc Multi sensory input to improve hands-free actions of an electronic device
US10345967B2 (en) 2014-09-17 2019-07-09 Red Hat, Inc. User interface for a device
WO2016080596A1 (ko) * 2014-11-21 2016-05-26 스튜디오씨드코리아 주식회사 프로토타이핑 툴을 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US9788277B2 (en) 2015-01-15 2017-10-10 Mediatek Inc. Power saving mechanism for in-pocket detection
KR20160101580A (ko) 2015-02-17 2016-08-25 삼성전자주식회사 터치 스크린 패널의 활성화 영역 제어 방법 및 그 전자 장치
US9983747B2 (en) 2015-03-26 2018-05-29 Google Llc Two-layer interactive textiles
US20170115782A1 (en) 2015-10-23 2017-04-27 Microsoft Technology Licensing, Llc Combined grip and mobility sensing
US10768804B2 (en) * 2016-09-06 2020-09-08 Microsoft Technology Licensing, Llc Gesture language for a device with multiple touch surfaces
US11126258B2 (en) 2017-10-14 2021-09-21 Qualcomm Incorporated Managing and mapping multi-sided touch

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120271545A1 (en) * 2011-04-19 2012-10-25 Nokia Corporation Method and apparatus for providing a multi-dimensional data interface
CN103890696A (zh) * 2011-10-12 2014-06-25 高通股份有限公司 经认证的手势辨识
US20140078086A1 (en) * 2012-09-20 2014-03-20 Marvell World Trade Ltd. Augmented touch control for hand-held devices
US20150042588A1 (en) * 2013-08-12 2015-02-12 Lg Electronics Inc. Terminal and method for controlling the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113342247A (zh) * 2021-08-04 2021-09-03 北京达佳互联信息技术有限公司 素材处理方法、装置、电子设备及存储介质
CN113342247B (zh) * 2021-08-04 2021-11-02 北京达佳互联信息技术有限公司 素材处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
SG11202001957YA (en) 2020-04-29
CN111226191A (zh) 2020-06-02
US11740694B2 (en) 2023-08-29
TW201923522A (zh) 2019-06-16
CN111194436B (zh) 2024-03-19
US10551984B2 (en) 2020-02-04
US20210109611A1 (en) 2021-04-15
US10901606B2 (en) 2021-01-26
US20210278896A1 (en) 2021-09-09
US20210278897A1 (en) 2021-09-09
TW201923528A (zh) 2019-06-16
EP3695300B1 (en) 2024-04-24
US11353956B2 (en) 2022-06-07
US11460918B2 (en) 2022-10-04
US11126258B2 (en) 2021-09-21
WO2019074577A1 (en) 2019-04-18
US11635810B2 (en) 2023-04-25
US20190113995A1 (en) 2019-04-18
WO2019074578A1 (en) 2019-04-18
SG11202001955TA (en) 2020-04-29
EP3695301A1 (en) 2020-08-19
TW201915702A (zh) 2019-04-16
US20210382550A1 (en) 2021-12-09
WO2019074567A1 (en) 2019-04-18
EP3695300A1 (en) 2020-08-19
EP3695302A1 (en) 2020-08-19
US20190114021A1 (en) 2019-04-18
CN111201505A (zh) 2020-05-26
US20190114005A1 (en) 2019-04-18

Similar Documents

Publication Publication Date Title
CN111194436B (zh) 多层用户界面的直接操控的方法
JP7090210B2 (ja) シミュレートされた深度効果のためのユーザインタフェース
US9952681B2 (en) Method and device for switching tasks using fingerprint information
CN109753159B (zh) 用于控制电子装置的方法和设备
EP3091426B1 (en) User terminal device providing user interaction and method therefor
US20220382440A1 (en) User interfaces for managing media styles
EP3454196B1 (en) Method and apparatus for editing object
KR101952177B1 (ko) 이동 단말기 및 그것의 제어 방법
US20210165670A1 (en) Method, apparatus for adding shortcut plug-in, and intelligent device
EP3337142A1 (en) Mobile terminal and control method therefor
KR101818114B1 (ko) 이동 단말기 및 그것의 사용자 인터페이스 제공 방법
KR20130062098A (ko) 이동 단말기 및 그것의 제어 방법
KR102386100B1 (ko) 리스트 표시 방법 및 장치
KR20130028573A (ko) 이동 단말기 및 그것의 제어 방법
JP2021190058A (ja) メディアを管理するためのユーザインタフェース
KR20130046910A (ko) 이동 단말기 및 그것의 제어 방법
KR101970527B1 (ko) 이동 단말기 및 그것의 제어 방법
KR102043949B1 (ko) 이동 단말기 및 그것의 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40020663

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant