CN110832433B - 基于传感器的组件激活 - Google Patents

基于传感器的组件激活 Download PDF

Info

Publication number
CN110832433B
CN110832433B CN201880044430.XA CN201880044430A CN110832433B CN 110832433 B CN110832433 B CN 110832433B CN 201880044430 A CN201880044430 A CN 201880044430A CN 110832433 B CN110832433 B CN 110832433B
Authority
CN
China
Prior art keywords
user
computing system
computing device
mode determination
sensors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880044430.XA
Other languages
English (en)
Other versions
CN110832433A (zh
Inventor
T.万特兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN110832433A publication Critical patent/CN110832433A/zh
Application granted granted Critical
Publication of CN110832433B publication Critical patent/CN110832433B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3265—Power saving in display device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了用于基于与包括计算设备的对象的状态相关联的模式来激活计算设备的组件的方法、系统和设备。来自检测一个或多个对象的一个或多个传感器的基于传感器数据的传感器输出可以被接收。部分地基于传感器数据，一个或多个对象的状态可以被确定。一个或多个对象的状态可以包括一个或多个对象相对于计算系统的一种或多种空间关系。当一个或多个对象的状态满足一个或多个操作标准时，与激活计算系统的组件相关联的模式可以被激活。组件可以包括麦克风组件、相机组件或文本输入组件。组件可以与执行包括输入检测相关联。

Description

基于传感器的组件激活
技术领域
本公开总体上涉及基于与相对于计算设备检测到的一个或多个对象的状态相关联的模式来激活计算设备的组件。
背景技术
对象检测系统可以捕获与对象的状态相关联的信息，包括例如对象的身份。与对象的状态相关联的信息可以以各种方式使用，包括确定对象的位置或定位。另外，对象检测系统可以采用多种不同方式来确定对象的状态。例如，对象检测系统可以使用各种传感器来捕获对象的不同类型的状态(例如，用相机来捕获图像和/或用麦克风来捕获声音)。此外，对象检测系统可以将与检测到的对象有关的信息(例如，对象的尺寸)与另一条信息(诸如，对象的类型)相关联，这在生成各种输出中可能是有用的。
然而，许多现有的对象检测系统需要用户的部分的大量手动输入，这可能很费力。此外，许多现有的对象检测系统提供有限的功能或由于笨拙的用户界面而具有很少使用的功能。因此，如果存在一种基于来自对象检测系统的输出来更多地操作设备的方式，将是有益的。
发明内容
本公开的实施例的方面和优点将在以下描述中部分地阐述，或者可以从描述中学习，或者可以通过对实施例的实践来学习。
本公开的一个示例方面针对一种模式确定的计算机实现的方法。该方法可以包括：由包括一个或多个计算设备的计算系统接收部分地基于来自检测计算系统的用户的一个或多个部分的多个传感器的一个或多个传感器输出的对象检测数据。此外，该方法可以包括：由计算系统接收部分地基于来自多个传感器的一个或多个传感器输出的运动数据，该运动数据描述计算系统相对于计算系统的用户的运动。该方法可以包括：由计算系统部分地基于对象检测数据和运动数据来确定计算系统的用户的一个或多个部分的状态，该状态包括该计算系统的用户的一个或多个部分相对于该计算系统的一种或多种空间关系。此外，该方法可以包括：响应于计算系统的用户的一个或多个部分的状态满足一个或多个操作标准，由计算系统激活与激活计算系统的一个或多个组件相关联的多个输入模式中的输入模式，所述一个或多个组件包括一个或多个麦克风组件、一个或多个相机组件或一个或多个文本输入组件。一个或多个组件与执行包括检测一个或多个输入的一个或多个操作相关联。
本公开的另一示例方面针对一种模式确定系统，其包括一个或多个处理器；机器学习模式确定模型，其中，机器学习模式确定模型已被训练为接收传感器数据，并且响应于对传感器数据的接收，输出针对计算设备的模式预测；以及至少一个有形非暂时性计算机可读介质，其存储指令，该指令在由一个或多个处理器运行时使一个或多个处理器执行操作。该操作可以包括：从计算设备的多个传感器获得传感器数据。传感器数据可以至少包括指示该计算设备的运动的运动数据和识别该计算设备附近的一个或多个对象的对象检测数据。该操作可以包括将传感器数据输入到机器学习模式确定模型中。该操作可以包括接收针对计算设备的模式预测作为机器学习模式确定模型的输出。
本公开的另一示例方面针对一种计算设备，其自动启动输入模式并且可以包括：多个传感器；至少一个处理器；以及至少一个有形非暂时性计算机可读介质，其存储指令，该指令在由至少一个处理器运行时使至少一个处理器执行操作。操作可以包括：接收部分地基于来自检测一个或多个对象的一个或多个传感器的一个或多个传感器输出的传感器数据。操作可以包括：部分地基于传感器数据来确定一个或多个对象的状态。一个或多个对象的状态可以包括一个或多个对象相对于计算设备的一种或多种空间关系。响应于一个或多个对象的状态满足一个或多个操作标准，操作可以包括激活与激活计算设备的一个或多个组件相关联的多个输入模式中的模式。一个或多个组件可以包括一个或多个麦克风组件、一个或多个相机组件或一个或多个文本输入组件。一个或多个组件可以与执行包括检测一个或多个输入的一个或多个操作相关联。
本公开的其他示例方面针对用于基于传感器的组件激活的其他计算机实现的方法、系统、装置、有形非暂时性计算机可读介质、用户界面、存储器设备、计算机程序产品以及电子设备。
参考以下描述和所附权利要求，将更好地理解各种实施例的这些和其他特征、方面和优点。结合在本说明书中并构成本说明书的一部分的附图图示了本公开的实施例，并且与描述一起用于解释相关原理。
附图说明
在说明书中阐述了针对本领域普通技术人员的对实施例的详细讨论，该说明书参考附图，在附图中：
图1描绘了根据本公开的示例实施例的示例系统的图；
图2描绘了根据本公开的示例实施例的包括模式确定系统的示例系统的图；
图3描绘了根据本公开的示例实施例的包括语音模式激活的基于传感器的组件激活的示例；
图4描绘了根据本公开的示例实施例的包括相机模式激活的基于传感器的组件激活的示例；
图5描绘了根据本公开的示例实施例的包括文本输入模式激活的基于传感器的组件激活的示例；
图6描绘了根据本公开的示例实施例的包括基于传感器的麦克风组件激活的模式确定设备的示例；
图7描绘了根据本公开的示例实施例的包括基于传感器的相机组件激活的模式确定设备的示例；
图8描绘了根据本公开的示例实施例的包括基于传感器的文本输入组件激活的模式确定设备的示例；
图9描绘了根据本公开的示例实施例的基于传感器的组件激活的示例方法的流程图；
图10描绘了根据本公开的示例实施例的基于传感器的组件激活的示例方法的第二流程图；
图11描绘了根据本公开的示例实施例的基于传感器的组件激活的示例方法的第三流程图；
图12描绘了根据本公开的示例实施例的基于传感器的组件激活的示例方法的第四流程图；
图13描绘了根据本公开的示例实施例的基于传感器的组件激活的示例方法的第五流程图；以及
图14描绘了根据本公开的示例实施例的基于传感器的组件激活的示例方法的第六流程图。
具体实施方式
本公开的示例方面旨在部分地基于计算设备的状态(例如，计算设备的位置、运动、取向)和/或计算设备检测到的一个或多个对象(例如，人，人的包括脸部、手指、手的部分，或手写笔或其他对象)的状态来激活计算设备(例如，移动计算设备)的一个或多个组件。根据所公开的技术的计算设备可以接收从多个传感器接收的并且与计算设备和/或一个或多个对象的状态相关联的传感器数据，部分地基于对象检测数据来确定计算设备和/或一个或多个对象的状态，包括一个或多个对象的一种或多种空间关系(例如，用户朝计算设备移动)，和/或响应于一个或多个对象的状态满足一个或多个操作标准(例如，一个或多个对象在计算设备的预定距离内)，激活计算设备的一个或多个组件(例如，激活计算设备的相机、麦克风或文本输入界面))。
传感器数据可以包括来自多个传感器的对象检测数据，该多个传感器检测计算设备的用户的一个或多个部分。此外，传感器数据可以包括描述计算设备相对于计算设备的用户的运动的运动数据。计算设备还可以被配置为在输入模式(例如，相机模式、语音模式、键盘模式)下操作，使得可以经由与对应的输入模式相关联的(一个或多个)激活组件来接收一个或多个用户输入。
这样，所公开的技术可以更有效地(例如，更快地并且以较少的计算和电池资源利用率)确定一个或多个对象的状态，包括计算设备相对于一个或多个对象(例如，计算系统的用户)的一种或多种空间关系，并激活计算设备的一个或多个组件。
作为示例，计算设备(例如，智能电话、平板计算设备或用户可以佩戴的计算设备)可以由用户携带。计算设备可以从一个或多个传感器接收传感器数据(例如，对象检测数据和/或运动数据)，该传感器包括可以捕获一个或多个图像的图像传感器(例如，相机)和可以检测压力、电阻和/或电容的触觉传感器。计算设备可以部分地基于传感器数据(例如，对象检测数据和/或运动数据)确定一个或多个对象包括在计算系统的三十厘米之内的脸部(例如，用户的脸部)。基于检测到脸部在计算系统的预定接近范围(例如，三十厘米)之内，计算系统可以激活麦克风以从用户接收音频输入。
在一些实施例中，公开的技术可以包括一种计算系统(例如，模式确定系统)，其可以包括一个或多个计算设备(例如，具有一个或多个计算机处理器以及可以存储一个或多个指令的存储器的设备)，所述计算设备可以交换(发送和/或接收)、处理、生成和/或修改数据和/或一个或多个信号(例如，电子信号)，所述数据包括可存储在一个或多个存储器设备(例如，随机存取存储器)和/或存储设备(例如，硬盘驱动器和/或固态驱动器)上的一个或多个信息样式或结构。
数据和/或一个或多个信号可以由模式确定系统与各种其他设备交换，各种其他设备包括远程计算设备和/或可用于确定一个或多个对象的状态的可以部分地基于一个或多个对象的状态(例如，来自图像传感器的一个或多个对象的相机图像)来提供传感器输出的一个或多个传感器设备，所述远程计算设备可以提供对象数据，所述对象数据与传感器数据和/或跟一个或多个对象的位置相关联的位置数据相关联或者包括传感器数据和/或跟一个或多个对象的位置相关联的位置数据，所述传感器数据(例如，对象检测数据和/或运动数据)与一个或多个对象的各种属性(例如，一个或多个对象的物理尺寸和/或外观)相关联。
在一些实施例中，模式确定系统可以包括显示组件(例如，液晶显示器(LCD)、发光二极管(LED)、有机发光二极管(OLED)、等离子显示面板、电子墨水和/或阴极射线管)，所述显示组件被配置为显示可以包括由一个或多个传感器检测到的一个或多个对象的图像的一个或多个图像。
在一些实施例中，显示组件可以包括触摸显示组件，该触摸显示组件包括对用户输入对象(例如，手指或手写笔)的触摸敏感的触敏组件(例如，触敏显示屏或触摸板或一个或多个触觉传感器)。用户输入对象相对于触敏组件的触摸和/或运动可使显示组件能够收集一种形式的传感器数据(例如，对象检测数据和/或运动数据)以供模式确定系统接收。
模式确定系统可以接收部分地基于来自一个或多个传感器的一个或多个传感器输出的对象检测数据。在一些实施例中，对象检测数据部分地基于来自检测计算设备(例如，模式确定系统)的用户的一个或多个部分的多个传感器的一个或多个传感器输出。例如，一个或多个传感器可以检测其状态可以由模式确定系统确定的用户的一个或多个部分。
此外，一个或多个传感器可以确定环境的状态，包括例如环境的温度、亮度、湿度或压力(例如，气压)。一个或多个传感器可以包括一个或多个图像传感器(例如，一个或多个相机)；一个或多个音频传感器；一个或多个触觉传感器；一个或多个运动传感器；一个或多个接近传感器；一个或多个电磁传感器；一个或多个热传感器；和/或一个或多个雷达设备。例如，一个或多个图像传感器可用于确定脸部何时在一个或多个图像传感器的视场内，并使用检测到的脸部来激活模式确定系统的一种或多种模式。
对象检测数据可以包括与一个或多个对象的状态相关联的信息，该信息包括来自检测计算设备(例如，模式确定系统)的用户的一个或多个部分的多个传感器的一个或多个传感器输出。一个或多个对象的状态可以包括时间状态(例如，与一个或多个对象的状态相关联的一个或多个传感器输出由一个或多个传感器生成之时在一天中的时间)，其也可以包括与一个或多个对象相关联的事件的一个或多个持续时间(例如，检测到的凝视指向模式确定系统的持续时间)。
此外，一个或多个对象的状态可以包括与一个或多个对象的位置或定位相关联的位置状态，包括纬度、经度和海拔高度、取向(例如，罗盘取向)、一个或多个对象相对于彼此的定位、一个或多个对象与模式确定系统之间的距离，和/或一个或多个对象相对于包括模式确定系统的参考点的定位；和/或包括一个或多个物理特性的物理状态(例如，包括颜色、亮度和/或纹理的外观；包括大小、体积的物理尺寸、质量和/或重量；和/或音频特性)。
模式确定系统可以接收部分地基于来自一个或多个传感器的一个或多个传感器输出的运动数据，该运动数据可以用于描述计算设备(例如，模式确定系统)相对于计算设备的用户的运动。例如，一个或多个传感器可以检测一个或多个对象，其状态可以由模式确定系统确定。一个或多个传感器可以包括一个或多个图像传感器(例如，一个或多个相机)；一个或多个音频传感器；一个或多个触觉传感器；一个或多个运动传感器；一个或多个接近传感器；一个或多个陀螺仪传感器；一个或多个加速度计；一个或多个电磁传感器；和/或一个或多个雷达设备。
例如，一个或多个加速度计可包括如下配置：其中一个或多个加速度计可以生成与模式确定系统沿三个轴(例如，x轴、y轴和z轴)的加速度相关联的运动数据。此外，一个或多个陀螺仪传感器可以用于确定模式确定系统的取向。以此方式，模式确定系统可以使用运动数据来确定模式确定系统相对于一个或多个对象的位置。
运动数据可以包括与一个或多个对象的状态相关联的信息，包括计算设备(例如，模式确定系统)相对于计算设备的用户的运动。一个或多个对象的状态可以包括时间状态(例如，与一个或多个对象的状态相关联的一个或多个传感器输出由一个或多个传感器生成之时在一天中的时间)，其也可以包括与一个或多个对象相关联的事件的一个或多个持续时间(例如，检测到的凝视指向模式确定系统的持续时间)；和/或与一个或多个对象的位置或定位相关联的位置状态，包括纬度、经度和海拔高度、取向(例如，罗盘取向)、一个或多个对象相对于彼此的定位、一个或多个对象与模式确定系统之间的距离和/或一个或多个对象相对于包括模式确定系统的参考点的定位。
模式确定系统可以部分地基于对象检测数据和运动数据来确定一个或多个对象的状态，所述一个或多个对象的状态可以包括计算设备的用户的一个或多个部分的状态，以及计算设备的用户的一个或多个部分的状态包括计算设备的用户的一个或多个部分相对于计算设备的一种或多种空间关系。一个或多个对象的状态可以包括一个或多个对象相对于模式确定系统的一种或多种空间关系。例如，一个或多个对象的一种或多种空间关系可以包括与一个或多个对象相关联的距离(例如，以毫米、厘米、英寸等为单位的距离)和/或取向(例如，一个或多个对象的一部分相对于模式确定系统的角度位置)。
在一些实施例中，模式确定系统可以部分地基于一种或多种对象识别技术来确定一个或多个对象的状态。一种或多种对象识别技术可以包括一种或多种遗传算法、边缘匹配、几何哈希、灰度匹配、梯度匹配、姿势聚类、尺度不变特征变换和/或使用机器学习模型来检测和/或识别一个或多个对象。
例如，模式确定系统可以访问机器学习模型(例如，访问已经本地存储的机器学习模型和/或在远程计算设备上可经由网络访问的机器学习模型)，所述机器学习模型已经使用包括分类器数据的分类数据集来创建，所述分类器数据包括与可以基于多个训练对象(例如，用作机器学习模型的训练输入的物理对象或模拟对象)或跟该多个训练对象相关联的训练数据相关联的一组分类特征和一组分类对象标签。机器学习模型可以使用一组相机和麦克风创建，这些相机和麦克风捕获了训练数据，包括与一个或多个对象(包括人和人的部分)相关联的静止图像、视频和触觉输入。例如，训练数据可以包括一个或多个脸部、手和/或眼睛的图像；以及来自触摸触觉传感器的一个或多个部分的手的一个或多个触觉输入。
在一些实施例中，模式确定系统可以部分地基于一个或多个对象相对于计算设备的一种或多种空间关系来确定模式确定系统(例如，与模式确定系统相关联的一个或多个参考点)与一个或多个对象的至少一部分之间的距离和/或角度。例如，模式确定系统可以确定模式确定系统的图像传感器与用户的检测到的脸部或脸部部分之间的距离和/或角度位置。其他检测到的对象可以包括用户的(一只或两只)手或其部分(例如，(一个或多个)拇指、(一个或多个)手指、手掌跟等)、由用户握持或操作的手写笔等。
在一些实施例中，模式确定系统可以确定模式确定系统与一个或多个对象的一部分之间的距离或角度何时分别在一距离范围或角度范围内。例如，模式确定系统可以确定检测到的脸部相对于模式确定系统的图像传感器在四十厘米之内并且成四十五度角。在一些实施例中，满足一个或多个操作标准可以包括确定模式确定系统与一个或多个对象之间的距离或角度分别在该距离范围或角度范围内。
模式确定系统可以部分地基于对象检测数据来确定一个或多个对象何时包括脸部。例如，模式确定系统可以使用一种或多种脸部检测和/或脸部识别技术来确定脸部何时在一个或多个对象之中。在一些实施例中，模式确定系统可以将该脸部与一个或多个授权脸部进行比较，并且部分地基于将脸部与一个或多个授权脸部匹配来确定何时授权该脸部访问设备。
在一些实施例中，模式确定系统可以确定脸部与模式确定系统之间的距离(例如，距离可以使用一个或多个图像传感器(例如，相机)和/或接近传感器(例如，RADAR设备等)来确定)。
模式确定系统可以确定计算设备与脸部之间的距离何时在一距离范围内(例如，确定脸部与模式确定系统之间的距离何时小于三十厘米)。在一些实施例中，满足一个或多个操作标准可以包括确定模式确定系统与脸部之间的距离在该距离范围内。
在一些实施例中，模式确定系统可以部分地基于对象检测数据来确定脸部的至少一只眼睛相对于模式确定系统的位置。例如，模式确定系统可以分析脸部的几何形状和/或确定脸部的与眼睛的瞳孔相关联的部分，以确定眼睛的位置。此外，模式确定系统可以部分地基于脸部的至少一只眼睛相对于模式确定系统的位置来确定模式确定系统何时被凝视达预定时间段(例如，两秒)。在一些实施例中，满足一个或多个操作标准可以包括确定模式确定系统被凝视达预定时间段。
在一些实施例中，模式确定系统可以部分地基于运动数据来确定模式确定系统相对于一个或多个对象的一部分在一个或多个方向上的运动。模式确定系统的运动可以包括模式确定系统的运动的不同方面，包括模式确定系统的加速度、速度、位移和/或位置变化(例如，围绕模式确定系统的轴线的旋转)。此外，模式确定系统的运动可以经由一个或多个运动传感器以多种方式确定，该一个或多个运动传感器可以包括重力传感器、线性加速度传感器、旋转矢量传感器、加速度计和/或陀螺仪。可替代地，模式确定系统的运动可以通过由模式确定系统的一个或多个图像传感器(例如，相机组件)获得的图像中的差异来确定。一个或多个运动传感器可以包括基于硬件的运动传感器、基于软件的运动传感器和/或组合了硬件和软件的使用以确定模式确定系统的运动的运动传感器。例如，模式确定系统可以使用模式确定系统中的一个或多个加速度计来确定模式确定系统在特定方向上的加速度。
此外，模式确定系统可以确定模式确定系统相对于一个或多个对象的一部分在预定方向上的加速度何时超过加速度阈值。例如，预定方向可以直接远离一个或多个对象的预定部分，并且当模式确定系统的加速度超过一米每平方秒时，可能发生超过加速度阈值。在一些实施例中，满足一个或多个操作标准可以包括模式确定系统在预定方向上的加速度超过该加速度阈值。
在一些实施例中，模式确定系统可以部分地基于运动数据来确定计算系统的加速度和加速度持续时间。此外，模式确定系统可以部分地基于运动数据来确定模式确定系统何时经历在预定加速度范围内的加速度达预定持续时间。例如，模式确定系统可以包括一个或多个加速度计，以确定模式确定系统的加速度何时在一加速度范围(例如，半米每平方秒与两米每平方秒之间的加速度)内并且还使用精确计时计(chronometer)组件确定该加速度范围何时被保持达预定持续时间(例如半秒的持续时间)。在一些实施例中，满足一个或多个操作标准可以包括模式确定系统经历在预定加速度范围内的加速度达预定持续时间。
在一些实施例中，模式确定系统可以部分地基于对象检测数据来确定当一个或多个对象中的两个相距预定距离范围并且与模式确定系统的一个或多个触觉传感器接触时，计算设备被握在两只手中。例如，模式确定系统可以包括在模式确定系统的后部(例如，模式确定系统的在模式确定系统的显示输出组件后面的部分)上的触觉传感器，并确定一个或多个对象中的两个(例如，两个手指)何时相距一到三厘米。
作为进一步的示例，触觉传感器可以包括与显示输出组件相关联的触摸屏表面(例如，模式确定系统将检测对显示输出组件的触摸)。此外，模式确定系统可以在模式确定系统的任何表面上包括触觉传感器(例如，在背面或包括左边缘、右边缘、上边缘或下边缘的边缘上的触觉传感器)。在一些实施例中，满足一个或多个操作标准可以包括确定模式确定系统正被握在两只手中，包括何时一个或多个对象中的两个相距预定距离范围并且与模式确定系统的一个或多个触觉传感器接触。
模式确定系统可以部分地基于对象检测数据来确定当一个或多个对象中的两个在与模式确定系统的显示输出组件相关联的视场以及预定距离内时，模式确定系统正被握在两只手中。例如，模式确定系统可以使用相机组件来确定一个或多个对象中的两个(例如，两个拇指)在相机的视场内，该相机在包括接收触摸输入的触摸屏组件的模式确定系统的一侧、捕获一个或多个图像。在一些实施例中，满足一个或多个操作标准可以包括确定模式确定系统被握在两只手中，包括确定一个或多个对象中的两个何时在与模式确定系统的显示输出组件相关联的视场以及预定距离内。
模式确定系统可以部分地基于对象检测数据确定当检测到一个或多个对象中的至少两个与模式确定系统的显示输出组件的前部后面的一个或多个触觉传感器中的两个或更多个部分接触且检测到一个或多个对象中的两个在显示输出组件的前部的前面的预定距离内时，模式确定系统正被握在两只手中。
例如，模式确定系统可以检测在显示输出组件(例如，LCD屏幕)后面的两组手指和在显示输出组件两厘米内的两个拇指。在一些实施例中，满足一个或多个操作标准可包括确定模式确定系统正被握在两只手中，包括何时检测到一个或多个对象中的至少两个与模式确定系统的显示输出组件的前部后面的一个或多个触觉传感器中的两个或更多个部分接触且检测到一个或多个对象中的两个在显示输出组件的前部的前面的预定距离内。
模式确定系统可以部分地基于对象检测数据来确定当在检测到一个或多个对象中的第二对象与计算机系统的触觉传感器的第二部分接触之前检测到一个或多个对象中的第一对象与该触觉传感器的第一部分接触达预定时间段时，该计算系统正被握在两只手中。
例如，模式确定系统的用户可以在将其一只手放在模式确定系统的触觉传感器的第二部分上之前用另一只手提起模式确定系统(从而触摸触觉传感器的第一部分)达预定时间段(例如半秒)。在一些实施例中，满足一个或多个操作标准可以包括：确定当在检测到一个或多个对象中的第二对象与计算系统的触觉传感器的第二部分接触之前检测到一个或多个对象中的第一对象与该触觉传感器的第一部分接触达预定时间段时，该计算系统被握在两只手中。
在一些实施例中，可以将上述对象检测数据作为输入提供给机器学习模式确定模型。具体地，在一些实施例中，可以将对象检测数据作为多个对象检测数据样本的输入向量提供给机器学习模式确定模型的神经网络。在一些实施方式中，机器学习模式确定模型可以是或可以以其它方式包括各种机器学习模型，诸如神经网络(例如，深度循环神经网络)或其他多层非线性模型、基于回归的模型等。当机器学习模式确定模型包括循环神经网络时，它可以是多层长短期记忆(LSTM)神经网络、多层门控循环单元(GRU)神经网络或其他形式的循环神经网络。
更具体地，在一个示例中，用户计算设备(例如，移动计算设备)获得对象检测数据，该对象检测数据包括从多个传感器采样的对象检测数据的一个或多个向量以及与每个对象检测数据样本相关联的时间戳。在一些实施方式中，多个传感器包括用于确定计算设备的运动/移动的至少一个运动传感器(例如，加速度计、陀螺仪、图像传感器、位置传感器等)以及用于检测相对于计算设备被定位的对象(例如，用户或用户的一部分，包括脸部、手、手指等)的至少一个对象检测传感器(例如，图像传感器、接近传感器)。在一些实施方式中，当计算设备传感器检测到附加对象检测数据之时，对象检测数据可以迭代地进行更新、刷新或生成。
在一些实施例中，机器学习模式确定模型可以被训练为接收这样的对象检测数据输入，并输出对计算设备的模式的预测。该模式可以例如从一组预定义模式中确定，诸如相机模式、语音模式、键盘模式等。
在一个示例中，当对象检测数据导致确定计算设备的移动对应于计算设备远离用户脸部的移动时，则可以训练机器学习模式确定模型以输出对计算设备的相机模式的预测。
在另一示例中，当对象检测数据导致确定计算设备的移动对应于计算设备朝向用户脸部的移动时，则可以训练机器学习模式确定模型以输出对计算设备的语音模式的预测。
在另一示例中，当对象检测数据导致确定计算设备的移动对应于计算设备朝向用户(例如，朝向用户的脸部)的移动并且计算设备进行的对象检测对应于指示用户用两只手握住计算设备的计算设备的握持配置时，则可以训练机器学习模式确定模型以输出对计算设备的键盘模式的预测。
在一些实施方式中，当训练机器学习模式确定模型以确定用于操作计算设备的输入模式时，模式确定训练数据集可以包括大量先前获得的对象检测数据样本以及描述基于这些对象检测数据样本被触发或不被触发的对应输入模式的对应标签。
在一个实施方式中，模式确定训练数据集包括与一次或多次源自一个或多个计算设备传感器的对象检测数据样本相对应的数据的第一部分。取决于模型，对象检测数据样本可以包括来自运动传感器、图像传感器、触觉传感器、接近传感器等中的一个或多个的与时间有关系的对象检测数据。可以在一个或多个用户操作计算设备时记录这样的对象检测数据。模式确定训练数据集可以进一步包括与识别基于对象检测数据是否应当触发或者不应当触发一个或多个特定模式的标签相对应的数据的第二部分。可以手动注释、自动注释或使用自动标记和手动标记的组合来注释模式确定训练数据集内的数据的第二部分内包括的标签。
在一些实施方式中，为了训练模式确定模型，训练计算系统可以将一组真值(ground-truth)数据的第一部分(例如，与对象检测数据样本相对应的模式确定训练数据集的第一部分)输入到要训练的机器学习模式确定模型中。响应于接收到这样的第一部分，机器学习模式确定模型输出对计算设备的模式预测。机器学习模式确定模型的此输出预测该组真值数据的其余部分(例如，模式确定训练数据集的第二部分)。在这样的预测之后，训练计算系统可以应用或以其它方式确定损失函数，该损失函数将由机器学习模式确定模型输出的(一个或多个)模式预测与模式确定模型试图预测的真值数据的其余部分进行比较。
然后，训练计算系统可以将损失函数反向传播通过模式确定模型以训练模式确定模型(例如，通过修改与模式确定模型相关联的一个或多个权重)。输入真值数据、确定损失函数并将损失函数反向传播通过模式确定模型的这个过程可以重复多次，作为训练模式确定模型的一部分。例如，可以针对模式确定训练数据集内提供的大量组真值数据中的每组重复该过程。
在一些实施方式中，在计算设备上实现初始训练的机器学习模式确定模型之后，计算设备可以基于一个或多个特定用户与计算设备的交互来收集附加的训练样本。这些附加的训练样本可用于重新训练机器学习模式确定模型，以基于特定用户数据(例如，特定用户语音、手持配置等)对模式确定模型个性化。
在一些实施方式中，计算设备还可被配置为确定更新，该更新描述重新训练的机器学习模式确定模型的参数或在重新训练模型期间发生的机器学习模式确定模型的参数的改变。计算设备然后可以将这样的(一个或多个)更新发送到中央服务器计算设备(例如，“云”)以与由其他计算设备提供的其他更新进行聚合。因此，该平台可以使得能够参与称为“联合学习”的过程，在该过程中，设备基于本地存储的数据确定对模型的本地更新，然后将该本地更新传达给云服务(例如，以隐私保护和通信高效的方式)从而进行聚合以生成对模型的全局更新。
在一些实施例中，模式确定系统可以部分地基于对象检测数据和运动数据来确定一个或多个对象相对于模式确定系统的状态何时与一个或多个虚假简档(falsingprofile)相匹配，所述虚假简档与不激活模式确定系统的一个或多个组件的一个或多个对象相对于模式确定系统的状态相关联。由模式确定系统接收的对象检测数据和运动数据可以包括基于用户不意在激活模式确定系统的一个或多个组件的动作的一个或多个感测输出。
因此，模式确定系统可以包括与一个或多个虚假简档相关联的数据，所述虚假简档包括与传感器输出相关联的信息，所述传感器输出与不激活模式确定系统的一个或多个组件的一个或多个对象的一个或多个状态相关联。例如，一个或多个虚假简档可以包括一个或多个对象相对于模式确定系统在特定方向上达预定时间段的加速度范围。在一些实施例中，满足一个或多个操作标准可以包括一个或多个对象相对于模式确定系统的状态不匹配一个或多个虚假简档中的任何一个。
在一些实施例中，模式确定系统可以确定何时在激活模式确定系统的一个或多个组件之后的预定时间段内未接收到一个或多个输入。例如，何时模式确定系统的一个或多个组件被激活并且在三秒内未接收到一个或多个输入(例如，触摸模式确定系统的显示输出组件)。此外，模式确定系统可以部分地基于在包括一个或多个组件被激活并且未接收到一个或多个输入的时间的虚假时间间隔内接收到的对象检测数据和运动数据来生成虚假简档。例如，在激活模式确定系统的一个或多个组件之前的三秒中记录的对象检测数据和运动数据可以用作虚假简档的基础。
模式确定系统可以将该虚假简档添加到一个或多个虚假简档。以此方式，模式确定系统可以通过添加部分地基于模式确定系统的用户的个性化简档来修改和改进一个或多个虚假简档。
响应于一个或多个对象的状态满足一个或多个操作标准，模式确定系统可以激活与模式确定系统的一个或多个组件的操作相关联的多个输入模式中的输入模式。一个或多个组件可以与执行包括检测一个或多个输入的一个或多个操作相关联。模式确定系统的一个或多个组件可以包括一个或多个麦克风组件、一个或多个相机组件和/或一个或多个文本输入组件(例如，在触摸屏组件上生成的屏上键盘)。
例如，多个输入模式可以包括与经由麦克风组件记录一个或多个声音相关联的语音模式；与经由相机组件捕获一个或多个图像相关联的相机模式；和/或与接收对文本输入设备(例如，键盘)的一个或多个输入相关联的文本输入模式。
例如，当一个或多个对象的状态包括用户用两只手握住模式确定系统时，模式确定系统可以激活触摸显示组件，该触摸显示组件可以检测在触摸显示组件上生成的键盘界面上的触摸输入；当一个或多个对象的状态包括模式确定系统正被握持得靠近用户的脸部时，麦克风组件可以被激活并接收音频输入；和/或当一个或多个对象的状态包括用户将模式确定系统从用户移开时，相机组件可以被激活并检测一个或多个视觉输入(例如，对相机传感器的输入)和/或一个或多个触觉输入(例如，对与相机组件相关联的图形界面上的快门控件的输入)。
在一些实施例中，模式确定系统可以包括移动设备，所述移动设备包括处理器；用户输入模块，其被配置为根据多个输入模式之一来处理用户与移动设备的交互，并根据处理后的用户交互向处理器提供输入；运动感测单元，其被配置为检测移动设备的移动，并根据检测到的移动向处理器提供输入。模式确定系统的处理器可以被配置为基于检测到的移动设备的移动从多个输入模式中确定输入模式，并且控制用户输入模块根据所确定的输入模式处理用户交互。运动感测单元可以包括加速度计。此外，移动设备可以包括相机，其中运动感测单元被配置为从相机接收信号，并基于从相机接收的信号来检测移动设备的移动。
多个输入模式可以包括相机输入模式。此外，处理器可以被配置为在检测到与移动设备远离用户的脸部的移动相对应的移动设备的移动时，控制用户输入模块根据相机输入模式处理用户交互。多个输入模式可以包括语音输入模式。处理器可以被配置为在检测到与移动设备朝向用户的脸部的移动相对应的移动设备的移动时，控制用户输入模块根据语音输入模式处理用户交互。
移动设备可以包括多个触摸传感器，其被配置为检测用户正用其握住移动设备的握持配置。处理器可以被配置为基于检测到的移动设备的握持配置，从多个输入模式中确定输入模式。多个输入模式可以包括键盘输入模式。当检测到与移动设备朝向用户的脸部的移动相对应的移动设备的移动以及检测到指示用户正在用两只手握住移动设备的移动设备的握持配置时，处理器可以被配置为控制用户输入模块根据键盘输入模式处理用户交互。
在一些实施例中，一种操作移动设备的方法可以包括：由移动设备的运动感测单元来检测移动设备的移动；由移动设备的处理器基于检测到的移动设备的移动，从多个输入模式中确定输入模式；和/或由移动设备的用户输入模块根据多个输入模式之一处理用户与移动设备的交互。检测移动设备的移动可以包括使用加速度计检测移动。该方法可以包括从移动设备的相机接收信号。
在一些实施例中，检测移动设备的移动可以包括基于从相机接收的信号来检测移动。此外，多个输入模式可以包括相机输入模式。处理用户的交互可以包括：当检测到与移动设备远离用户脸部的移动相对应的移动设备的移动时，根据相机输入模式处理用户交互。多个输入模式可以包括语音输入模式。处理用户的交互可以包括：当检测到与移动设备朝向用户的脸部的移动相对应的移动设备的移动时，根据语音输入模式来处理用户交互。
该方法可以包括使用多个触摸传感器来检测用户正握住移动设备的握持配置。从多个输入模式中确定输入模式可以包括基于检测到的移动设备的握持配置来确定输入模式。该方法中的多个输入模式可以包括键盘输入模式。处理用户的交互可以包括：当检测到与移动设备朝向用户的脸部的移动相对应的移动设备的移动并且检测到指示用户正在用两只手握住移动设备的移动设备的握持配置时，根据键盘输入模式处理用户交互。
另外，模式确定可以包括计算机可读介质或经由计算机可读介质执行，该计算机可读介质包括指令，该指令在由处理器执行时使处理器执行模式确定的方法。用于模式确定的指令可以包括用于操作移动设备的指令，该指令可以包括：由移动设备的运动感测单元检测移动设备的移动；由移动设备的处理器基于检测到的移动设备的移动，从多个输入模式中确定输入模式；和/或由移动设备的用户输入模块根据多个输入模式之一处理用户与移动设备的交互。
用于检测移动设备的移动的指令可以包括使用加速度计检测移动。指令可以包括从移动设备的相机接收信号。在一些实施例中，检测移动设备的移动可以包括基于从相机接收的信号来检测移动。此外，多个输入模式可以包括相机输入模式。用于模式确定的指令可以包括用于处理用户的交互的指令，该指令可以包括：当检测到与移动设备远离用户脸部的移动相对应的移动设备的移动时，根据相机输入模式来处理用户交互。多个输入模式可以包括语音输入模式。用于模式确定的指令可以包括处理用户的交互，可以包括当检测到与移动设备向用户的脸部的移动相对应的移动设备的移动时，根据语音输入模式来处理用户交互。
用于模式确定的指令可以包括：使用多个触摸传感器来检测用户正用其握住移动设备的握持配置。从多个输入模式中确定输入模式可以包括基于检测到的移动设备的握持配置来确定输入模式。指令中的多个输入模式可以包括键盘输入模式。用于模式确定的指令可以包括处理用户的交互，该指令可以包括当检测到与移动设备朝向用户的脸部的移动相对应的移动设备的移动并且检测到指示用户正在用两只手握住移动设备的移动设备的握持配置时，根据键盘输入模式处理用户交互。
根据所公开的技术的系统、方法、设备和计算机程序产品(例如，非暂时性计算机可读介质)可以为激活计算设备的一个或多个组件的整个过程提供多种技术效果和益处。例如，所公开的技术具有以下效果：可以部分地基于与来自一个或多个传感器的一个或多个传感器输出相关联的传感器数据(例如，对象检测数据和/或运动数据)来激活一个或多个组件。以这种方式，例如，可以基于一个或多个检测到的对象与实现所公开的技术的计算设备之间的空间关系来激活一个或多个组件。
所公开的技术因此提供了一种解决激活手势组件系统的一个或多个组件的问题的方案。所公开技术的实施方式可以减少为了激活模式确定系统的一个或多个组件所需的与模式确定系统的繁重交互的数量和复杂性。除了提高模式确定系统的易用性之外，减少繁重交互(例如，用户需要选择图形用户界面的特定部分以激活组件)还允许使用户更快地与组件建立互动，从而通过在激活组件之前最小化与模式确定系统的交互量来节省模式确定系统的计算和电池资源。
通过基于对一个或多个对象(例如，脸部或手)的检测来激活一个或多个组件，所公开的技术可以尤其减少用户与图形用户界面的所需交互，从而减少显示器提供活跃的图形用户界面所需的时间长度。在例如在移动计算设备中实现所公开的技术的情况下，减少活跃显示时间对于减少移动设备的总功耗特别重要。
通过基于对一个或多个手势的检测来激活一个或多个组件，所公开的技术可以通过选择性地激活执行各种操作的一个或多个组件来最大化对计算资源的使用。例如，通过基于一个或多个手势(例如，两只手握住计算设备)确定将激活文本输入组件，所公开的技术可以避免可能由于需要用户在激活文本输入组件之前执行与用户界面的各种交互的更繁琐的方法而导致的过度的资源使用(例如，电池电量和/或处理器利用率)。
另外，通过确定一个或多个手势何时不与激活一个或多个组件相关联，所公开的技术可以节省计算和电池资源。通过避免用户无意中激活组件，与组件的激活相关联的计算和电池资源没有被无用地利用。例如，公开的技术可以利用机器学习模型的能力，所述机器学习模型包括无需使用网络资源就可以访问并且可以用来生成可以添加到现有虚假简档的虚假简档的本地存储的机器学习模型，以随时间推移改善对意外激活一个或多个组件的避免。
所公开的技术还提供了能够被配置为以对用户更符合人体工程学的方式基于一个或多个手势来激活组件的益处。例如，所公开的技术可以被配置为使得激活组件的手势以用户的手在与被激活的组件相关联的位置处结束(例如，将两只手放在模式确定系统上可以激活文本输入组件，以便用户可以进行触觉输入，以将文本输入到模式确定系统中)。这样，可以避免用户在激活组件之前进行的不必要的移动。
因此，所公开的技术提供了执行各种操作的一个或多个组件的基于手势的更有效的激活，以及更高效的资源利用(例如，对计算和电池资源的提高的利用率)和更少的对一个或多个组件的不正确激活的附加益处。
此外，所公开的技术具有绕过“热词”的能力。例如，为了发起搜索，用户可以发出语音命令以切换到语音模式。在所公开的技术中，用户可以简单地通过将设备带到用户的脸部或嘴巴来避免基于语音的触发，而无需打开设备上助手的繁重要求。这样，所公开的技术使用户免于敲击或执行其他动作，并且允许用户避免在使用设备时分心。
本公开的另一示例技术效果和益处是对可以适配或定制所公开的技术以在包括具有设备的小型和大型部署的场景的各种场景中工作的程度上的改进。具体地，与由模式确定算法的开发人员调整或协调的模式确定算法的手动开发相比，使用诸如神经网络的机器学习模型从传感器数据(例如，对象检测数据和/或运动数据)确定模式导致对研究工作的优化(例如，针对相同或相似结果的更少研究时间)。
例如，在手动开发的模式确定算法的情况下，开发人员可以通过使用蛮力方法(例如，探索模型的整个搜索空间)来开发算法，以便创建不同的计算设备在各种情况(包括例如可用传感器的不同组合)下由各种用户如何操作的模型。然而，使用如本公开中所公开的机器学习模型，可以使用适配为本公开的有意用例(例如，基于手势的模式确定)的训练数据来训练网络。此外，可以使用非常大的数据集(例如，数百万个训练对象)来执行此类机器学习模型的使用，这使用手动方法将是行不通的。
另外，当新的训练数据可用于定制单个模型(例如，用户设备上的机器学习模型)或生成针对随后可以被分发到许多其他设备的中心模型的更新时，机器学习模型可以连续更新。因此，使用机器学习模型来自动(例如，无需费力和繁琐的用户交互)确定跨多个传感器的模式，可以显著减少识别和利用这种多个传感器之间的关联的益处所需的工作量。
现在将详细参考实施例，在附图中图示了其一个或多个示例。通过解释实施例而不是限制本公开的方式提供每个示例。实际上，对于本领域技术人员将显而易见的是，在不脱离本公开的范围或精神的情况下，可以对实施例进行各种修改和变化。例如，作为一个实施例的一部分图示或描述的特征可以与另一实施例一起使用以产生又一实施例。因此，意图是本公开的各方面覆盖这样的修改和变化。
现在参考图1至图14，将更详细地公开本公开的各示例方面。图1描绘了根据本公开的示例实施例的执行机器学习以实现模式确定系统的示例计算系统100。该计算系统100包括通过网络180通信地耦接的用户计算设备102、机器学习计算系统130、和训练计算系统150。
用户计算设备102可以是任何类型的计算设备，诸如例如个人计算设备(例如，笔记本计算机或台式机)、移动计算设备(例如，智能电话或平板计算机)、游戏机或控制器、可穿戴计算设备、嵌入式计算设备或任何其他类型的计算设备。
用户计算设备102可以包括一个或多个处理器112和存储器114。一个或多个处理器112可以是任何合适的处理设备(例如，处理器核、微处理器、ASIC、FPGA、控制器、微控制器等)，并且可以是一个处理器或可操作地连接的多个处理器。存储器114可以包括一个或多个非暂时性计算机可读存储介质，诸如RAM、ROM、EEPROM、EPROM、闪存设备、磁盘等，以及它们的组合。存储器114可以存储数据116和指令118，所述指令118被一个或多个处理器112运行以使用户计算设备102执行操作。
用户计算设备102可以包括多个传感器120。在一些实施方式中，用户计算设备102具有两个或更多个传感器，多达总数N个传感器(例如，传感器1 121、传感器2 122、…、传感器N123)。每个传感器121-123分别可以指示传感器的物理环境中的一个或多个测量参数。传感器121-123可以包括但不限于运动传感器、加速度计、陀螺仪、取向传感器、磁场传感器、音频传感器(例如麦克风)、图像传感器(例如相机)、线性加速度传感器、重力传感器、旋转矢量传感器、磁力计、位置传感器(例如GPS)、惯性运动单元、里程表、气压计、温度计、湿度计、触敏传感器、指纹传感器、接近传感器、这样的传感器的任意组合以及其他传感器等。传感器121-123可以配置为收集传感器数据，包括本文所述的对象检测数据和运动数据。
用户计算设备102可以存储或包括一个或多个模式确定模型124。
在一些实施方式中，一个或多个模式确定模型124可以通过网络180从机器学习计算系统130接收，被存储在用户计算设备存储器114中，然后由一个或多个处理器112使用或以其他方式实现。在一些实施方式中，用户计算设备102可以实现单个模式确定模型124的多个并行实例(例如，以执行对传感器数据和模式确定以及相关组件激活的并行处理)。
用户计算设备102还可以包括接收用户输入的一个或多个用户输入组件126。例如，用户输入组件126可以是对用户输入对象(例如，手指或手写笔)的触摸敏感的触敏组件(例如，触敏显示屏或触摸板)。触敏组件可以用来实现虚拟键盘。其他示例用户输入组件包括麦克风、传统键盘或用户可通过其输入通信的其他方式。
机器学习计算系统130可以包括一个或多个处理器132和存储器134。一个或多个处理器132可以是任何合适的处理设备(例如，处理器核、微处理器、ASIC、FPGA、控制器、微控制器等)，并且可以是一个处理器或可操作地连接的多个处理器。
存储器134可以包括一个或多个非暂时性计算机可读存储介质，诸如RAM、ROM、EEPROM、EPROM、闪存设备、磁盘等以及它们的组合。存储器134可以存储数据136和指令138，所述指令138被一个或多个处理器132运行以使机器学习计算系统130执行操作。
在一些实施方式中，机器学习计算系统130包括一个或多个服务器计算设备或以其它方式由一个或多个服务器计算设备实现。在机器学习计算系统130包括多个服务器计算设备的情况下，这样的服务器计算设备可以根据顺序计算架构、并行计算架构或其某种组合来操作。
机器学习计算系统130可以存储或以其他方式包括一个或多个机器学习模式确定模型140。例如，(一个或多个)模式确定模型140可以是或可以以其他方式包括各种机器学习模型，诸如神经网络(例如，深度循环神经网络)或其他多层非线性模型、基于回归的模型等。(一个或多个)示例模式确定模型140参考图2讨论。
机器学习计算系统130可以经由与通过网络180通信地耦接的训练计算系统150的交互训练(一个或多个)模式确定模型140。训练计算系统150可以与机器学习计算系统130分开或可以是机器学习计算系统130的一部分。
训练计算系统150可以包括一个或多个处理器152和存储器154。
一个或多个处理器152可以是任何合适的处理设备(例如，处理器核、微处理器、ASIC、FPGA、控制器、微控制器等)，并且可以是一个处理器或可操作地连接的多个处理器。存储器154可以包括一个或多个非暂时性计算机可读存储介质，诸如RAM、ROM、EEPROM、EPROM、闪存设备、磁盘等以及它们的组合。存储器154可以存储数据156和指令158，所述指令158由(一个或多个)处理器152运行以使训练计算系统150来执行操作。在一些实施方式中，训练计算系统150包括一个或多个服务器计算设备或以其它方式由其实现。
训练计算系统150可以包括模型训练器160，其使用各种训练或学习技术，诸如例如反向传播(例如，通过时间的截断反向传播)，来训练存储在机器学习计算系统130处的(一个或多个)机器学习模式确定模型140。模型训练器160可以执行多种泛化技术(例如，权重衰减、丢弃等)，以提高被训练模型的泛化能力。
具体地，模型训练器160可以基于一组训练数据142训练一个或多个模式确定模型140。训练数据142可包括真值传感器数据(例如，描述记录的传感器读数或其他传感器数据的真值向量)。在一些实施方式中，如果用户已经提供了同意，则训练示例可以由用户计算设备102提供(例如，基于由用户计算设备102检测到的传感器数据)。因此，在这种实施方式中，提供给用户计算设备102的模式确定模型124可以由训练计算系统150在从用户计算设备102接收的特定于用户的传感器数据上进行训练。在某些情况下，该过程可以被称为对模型个性化。
模型训练器160可以包括用于提供所期望功能的计算机逻辑。可以以控制通用处理器的硬件、固件和/或软件来实现模型训练器160。例如，在一些实施方式中，模型训练器160包括存储在存储设备上、加载到存储器中并且由一个或多个处理器运行的程序文件。在其他实施方式中，模型训练器160包括一组或多组计算机可运行指令，它们被存储在有形的计算机可读存储介质，诸如RAM硬盘或光学或磁性介质中。
网络180可以是任何类型的通信网络，诸如局域网(例如，内联网)、广域网(例如，互联网)或其某种组合，并且可以包括任何数量的有线或无线链路。通常，可以使用各种各样的通信协议(例如，TCP/IP、HTTP、SMTP、FTP)、编码或格式(例如，HTML、XML)和/或保护方案(例如，VPN、安全HTTP、SSL)经由任何类型的有线和/或无线连接来携带通过网络180的通信。
图1图示了可用于实现本公开的一个示例计算系统。也可以使用其他计算系统。例如，在一些实施方式中，用户计算设备102可以包括模型训练器160和训练数据集162。在这样的实施方式中，模式确定模型124可以在用户计算设备102处被本地训练和使用。
图2描绘了根据本公开的示例实施例的第一示例模式确定系统200。在图2的特定实现方式中，模式确定系统200包括机器学习模式确定模型202。
机器学习模式确定模型202可以是机器学习模型。在一些实施方式中，机器学习模式确定模型可以是或可以以其它方式包括各种机器学习模型，诸如神经网络(例如，深度循环神经网络)或其他多层非线性模型、基于回归的模型等。当机器学习模式确定模型202包括循环神经网络时，它可以是多层长短期记忆(LSTM)神经网络、多层门控循环单元(GRU)神经网络或其他形式的循环神经网络。
机器学习模式确定模型202可被配置成从多个传感器接收传感器数据。在一个示例中，用户计算设备(例如，诸如智能电话的移动计算设备)可以从多个传感器获得传感器数据，这些传感器数据可以被共同表示为传感器数据204的向量。在一些示例中，传感器数据204包括来自两个或更多个传感器的传感器数据。在一些实施方式中，传感器数据204包括来自N个不同传感器(例如，传感器1、传感器2、…、传感器N)的传感器数据，使得传感器数据204的每个向量具有N个维度，每个维度分别对应于用于N个不同的传感器之一的传感器数据206-210。如收集在传感器数据204中的来自每个传感器的传感器数据206-210可以指示传感器的物理环境中的一个或多个测量参数。
从其获得传感器数据206-210的传感器可以包括但不限于运动传感器、加速度计、陀螺仪、取向传感器、磁场传感器、音频传感器(例如，麦克风)，图像传感器(例如相机)、线性加速度传感器、重力传感器、旋转矢量传感器、磁力计、位置传感器(例如GPS)、惯性运动单元、里程表、气压计、温度计、湿度计、触敏传感器、指纹传感器、接近传感器、这些传感器的任意组合以及其他传感器等。从其获得传感器数据206-210的传感器可以包括例如图1中所描绘的传感器121-123。
机器学习模式确定模型202可以被训练以识别传感器数据204中的来自多个传感器的传感器数据206-210之中的相关性。机器学习模式确定模型202可以响应于对传感器数据204中的传感器数据206-210的接收而输出包括一个或多个预测模式的模式预测212。
在一些示例中，模式预测212对应于从与激活计算系统(例如，由用户操作的移动计算设备)的一个或多个组件相关联的多个输入模式中确定的单个输入模式。与模式预测212相关联的示例输入模式可以包括例如相机模式、语音模式和键盘模式。在其他示例中，模式预测212可以提供两个或更多个预测模式。机器学习模式确定模型202可以首先学习然后利用多个传感器(例如，提供传感器数据204的传感器)之间的相关性，以帮助改善模式预测212。例如，来自一个运动传感器的传感器数据(例如，加速度计读数)可以与来自另一运动传感器的传感器数据(例如，陀螺仪读数)结合使用，以帮助改善对计算设备的运动数据和最终模式预测212的确定。因此，模式预测212可以表示例如部分地基于来自多个传感器(例如，加速度计和陀螺仪)的传感器数据的预测。
在一些实施方式中，机器学习模式确定模型202可以学习大量传感器(例如，多于如以上示例中提供的两个)之间的细微差别和复杂的相关性或相互依赖性，并且可以整体地应用这种学习的相关性以改善或以其它方式完善模式预测212。传感器相关性还可以帮助机器学习模式确定模型202识别和管理在某些时间实例可能由于噪声和/或错误的测量而引起的传感器数据异常值。
在一些实施方式中，机器学习模式确定模型202可以是允许及时地参考传感器数据204的时间模型。在这样的实施方式中，作为输入提供给机器学习模式确定模型202的传感器数据可以是T个输入的序列，每个输入对应于在不同时间步长获得的传感器数据204。例如，可以迭代地获得来自多个传感器的传感器数据的时间步进序列。考虑从N个不同的传感器获得的传感器数据，这些传感器数据是在T个不同的采样时间(例如t1、t2、…、tT)迭代获得的。在这样的示例中，针对T个不同时间中的每一个，获得提供针对N个不同传感器中的每一个的传感器读数的传感器数据204的N维向量。传感器数据204的这些向量中的每一个都可以被迭代地作为输入提供给模式确定模型202，因为它是迭代地获得的。在一些示例中，在T个不同采样时间(例如，t1、t2、…、tT)之间的时间差可以相同或其可以不同。
图3描绘了根据本公开的示例实施例的包括语音模式激活的基于传感器的组件激活的示例。图3包括环境300的图示，环境300的一个或多个部分可以由包括图1中所示的用户计算设备102和/或图2中所示的模式确定系统200的一个或多个系统(例如，一个或多个计算系统)或设备(例如，一个或多个计算设备)检测、识别和/或处理。另外，可以将对环境300的一个或多个部分的检测、识别和/或处理实现为一个或多个设备或系统(例如，用户计算设备102和/或模式确定系统200)的硬件组件上的算法，以例如激活与一个或多个组件的操作相关联的模式。如图3中所示，环境300包括模式确定设备310、显示输出组件312、路径314、触觉传感器316、图像传感器318、对象320、对象322、对象324和图标326。
模式确定设备310的显示输出组件312可以显示一个或多个图像，包括与模式确定设备310的操作模式、包括对象320和对象322的一个或多个对象和/或包括环境300的环境相关联的图像。模式确定设备310可以包括一个或多个传感器(例如，一个或多个运动传感器、图像传感器、触觉传感器和/或雷达传感器)，其可用于确定模式确定设备310的状态(例如，模式确定设备310的位置和/或定位)，包括模式确定设备310相对于包括对象320、322和324的一个或多个对象的状态。例如，模式确定设备310可以基于触觉传感器316确定模式确定设备310已经被对象322(例如，用户的手)触摸。
模式确定设备310还可以基于一个或多个运动传感器(包括例如图像传感器318和/或未示出的附加运动传感器，诸如加速度计和/或陀螺仪)确定模式确定设备310已经被移动并且模式确定设备310已经在对象320(例如，桌面)朝着对象324(例如，用户的头部)之间沿着路径314行进。基于来自图像传感器318(例如，相机)的传感器输出，模式确定设备310可以确定对象324是用户的头部。在一些实施例中，模式确定设备310还可以使用一种或多种对象检测技术来确定对象324包括脸部部分，该脸部部分可以用于由授权用户授权使用模式确定设备310。
模式确定设备310可以基于来自包括触觉传感器316、图像传感器318和运动传感器(包括例如图像传感器318和/或未示出的附加运动传感器)的传感器的传感器输出确定模式确定设备310正沿着路径314朝着对象324移动。例如，当模式确定设备310已经沿路径314移动达预定时间段(例如1秒)或者已经行进了预定距离(例如，二十厘米)时，模式确定设备可以激活如下模式：该模式可以包括激活可以配置为接收一个或多个输入(例如，一个或多个声音输入、光输入和/或触觉输入)的模式确定设备310的一个或多个组件(例如，麦克风、相机和/或文本输入组件)。在该示例中，模式确定设备310激活如显示在显示输出组件312上的图标326(例如，麦克风图标)所指示的麦克风。对模式确定设备310内的麦克风组件的激活可以与处于语音输入模式使得可以经由麦克风从用户接收语音输入的模式确定设备310的操作相关联。
图4描绘了根据本公开的示例实施例的包括相机模式激活的基于传感器的组件激活的示例。图4包括环境400的图示，环境400的一个或多个部分可以由包括图1所示的用户计算设备102和/或图2中所示的模式确定系统200的一个或多个系统(例如，一个或多个计算系统)或设备(例如，一个或多个计算设备)检测、识别和/或处理。另外，可以将对环境400的一个或多个部分的检测、识别和/或处理实现为一个或多个设备或系统(例如，用户计算设备102和模式确定系统200)的硬件组件上的算法以例如激活与一个或多个组件的操作相关联的模式。如图4中所示，环境400包括模式确定设备410，显示输出组件412、路径414、触觉传感器416、图像传感器418、对象420、对象422、对象424和界面元素426(例如，相机图标)。
模式确定设备410的显示输出组件412可以显示一个或多个图像，包括与模式确定设备410的操作模式、包括对象420、422和424的一个或多个对象和/或包括环境400的环境相关联的图像。模式确定设备410可以包括一个或多个传感器(例如，一个或多个运动传感器、图像传感器、触觉传感器和/或雷达传感器)，其可被用于确定模式确定设备410的状态(例如，模式确定设备410的位置和/或定位)，包括模式确定设备410相对于包括对象420、422和424的一个或多个对象的状态。因此，模式确定设备410可以基于触觉传感器416确定模式确定设备410已经被对象422(例如，用户的手)触摸。
模式确定设备410还可以基于包括加速度计和/或陀螺仪的一个或多个运动传感器(包括例如图像传感器418和/或未示出的附加运动传感器)来确定模式确定设备410已经被移动并且模式确定设备410已经在对象424(例如，用户的头部)的预定距离内的位置朝向对象420(例如，桌子)之间沿着路径414行进。基于来自图像传感器418(例如，相机)的传感器输出，模式确定设备410可以确定对象424是用户的头部。
模式确定设备410可以基于来自包括触觉传感器416、图像传感器418和运动传感器(包括例如图像传感器418和/或未示出的附加运动传感器)的传感器的传感器的输出确定模式确定设备410正沿着路径414朝着对象424移动。在一些实施例中，对模式确定设备410相对于对象420和424的位置的确定可以基于来自模式确定设备410的一个或多个雷达设备(未示出)的传感器输出。
例如，当模式确定设备410已经沿着路径414移动了预定时间段(例如，半秒)或已经行进了预定距离(例如，三十厘米)时，模式确定设备410可以激活如下模式：该模式可以包括激活可以被配置为接收一个或多个输入(例如，一个或多个声音输入、光输入和/或触觉输入)的模式确定设备410的一个或多个组件(例如，麦克风、相机和/或文本输入组件)。在该示例中，模式确定设备410如由显示在显示输出组件412上的界面元素426(例如，相机图标)所指示地激活相机(例如，图像传感器418)。对模式确定设备410内的相机组件的激活可以与处于相机输入模式使得可以经由相机从用户接收图像输入的模式确定设备410的操作相关联。
图5描绘了根据本公开的示例实施例的包括文本输入模式激活的基于传感器的组件激活的示例。图5包括环境500的图示，环境500的一个或多个部分可以由包括图1中所示的用户计算设备102和/或图2中所示的模式确定系统200的一个或多个系统(例如，一个或多个计算系统)或设备(例如，一个或多个计算设备)检测、识别和/或处理。另外，可以将对环境500的一个或多个部分的检测、识别和/或处理实现为一个或多个设备或系统(例如，用户计算设备102和/或模式确定系统200)的硬件组件上的算法，以例如激活与一个或多个组件的操作相关联的模式。如图5中所示，环境500包括模式确定设备510、显示输出组件512、触觉传感器514、触觉传感器516、图像传感器518、对象520、对象522、对象524和界面元素526。
模式确定设备510的显示输出组件512可以显示一个或多个图像，包括与模式确定设备510的操作模式和/或包括环境500的环境相关联的图像。模式确定设备510可以包括一个或多个传感器(例如，一个或多个运动传感器、图像传感器、触觉传感器和/或雷达传感器)，其可以用于确定模式确定设备510的状态(例如，模式确定设备510的位置和/或定位)，包括模式确定设备510相对于包括对象520、522和524的一个或多个对象的状态。例如，模式确定设备510可以基于触觉传感器514和516确定模式确定设备510已经被对象520(例如，用户的左手)和/或对象522(例如，用户的右手)触摸。
模式确定设备510还可以基于一个或多个运动传感器(例如包括图像传感器518和/或未示出的包括加速度计和/或陀螺仪的附加运动传感器)确定模式确定设备510已经被移动并且模式确定设备510的位置(例如，模式确定设备510相对于另一对象的角度)相对于对象524(例如，地面)已经改变。在一些实施例中，模式确定设备510还可以使用一种或多种对象检测技术来确定模式确定设备510正在被凝视(例如，被模式确定设备510的用户凝视)。
基于对模式确定设备510正被凝视和/或模式确定设备510相对于一个或多个对象的角度的确定，模式确定设备可以激活如下模式：所述模式包括激活可以被配置为接收一个或多个输入(例如，一个或多个声音输入、光输入和/或触觉输入)的模式确定设备510的一个或多个组件(例如，麦克风、相机和/或文本输入组件)。在该示例中，模式确定设备510激活如显示在显示输出组件512上的界面元素526(例如，文本输入图标)所指示的文本输入模式。对模式确定设备510内的屏上键盘的激活可以与处于文本输入模式(例如，键盘模式)使得可以经由显示输出组件512从用户接收文本输入的模式确定设备510的操作相关联。
图6描绘了根据本公开的示例实施例的包括基于传感器的麦克风组件激活的模式确定设备的示例。图6包括模式确定设备610的图示，模式确定设备610的一个或多个部分可以包括包含图1中所示的用户计算设备102和/或图2中所示的模式确定系统200的一个或多个部分的一个或多个系统(例如，一个或多个计算系统)或设备(例如，一个或多个计算设备)。另外，由模式确定设备610进行的检测、识别和/或处理可以被实现为一个或多个设备或系统(例如，用户计算设备102和/或模式确定系统200)的硬件组件上的算法，以例如激活与一个或多个组件的操作相关联的模式。如图所示，图6图示了模式确定设备610、显示输出组件612、触觉传感器614、麦克风组件616、图像传感器618、对象620、对象622和界面元素626。
模式确定设备610的显示输出组件612可以显示一个或多个图像，包括与模式确定设备610的操作模式和/或与模式确定设备610相关联的环境相关联的图像。模式确定设备610可包括一个或多个传感器(例如，一个或多个运动传感器、图像传感器、触觉传感器和/或雷达传感器)，其可用于确定模式确定设备610的状态(例如，模式确定设备610的位置和/或定位)，包括模式确定设备610相对于一个或多个对象(包括对象620和622)的状态。例如，模式确定设备610可以部分地基于来自触觉传感器614的一个或多个传感器输出确定模式确定设备610已经被对象620(例如，人)拾取。模式确定设备610还可以基于一个或多个运动传感器(包括例如图像传感器618和/或未示出的附加运动传感器(包括加速度计和/或陀螺仪))，确定模式确定设备610已经被移动并且模式确定设备610的位置(例如，模式确定设备610相对于另一对象的角度)已经相对于对象620改变。
基于对模式确定设备610相对于对象620的角度在一角度阈值范围内或者模式确定设备610之间的距离在对象620的一阈值距离内的确定，模式确定设备可以激活如下模式：所述模式包括激活可以配置为接收一个或多个输入(例如，一个或多个声音输入、光输入和/或触觉输入)的模式确定设备610的一个或多个组件(例如，麦克风、相机和/或文本输入组件)。在该示例中，模式确定设备610激活与如显示在显示输出组件612上的界面元素626(例如，麦克风图标)所指示的麦克风组件616相关联的语音模式。
图7描绘了根据本公开的示例实施例的包括基于传感器的相机组件激活的模式确定设备的示例。图7包括模式确定设备710的图示，模式确定设备710的一个或多个部分可以包括包含图1中所示的用户计算设备102和/或图2中所示的模式确定系统200的一个或多个部分的一个或多个系统(例如，一个或多个计算系统)或设备(例如，一个或多个计算设备)。此外，由模式确定设备710进行的检测、识别和/或处理可以被实现为一个或多个设备或系统(例如，用户计算设备102和/或模式确定系统200)的硬件组件上的算法，以例如激活与一个或多个组件的操作相关联的模式。如图所示，图7图示了模式确定设备710、显示输出组件712、界面元素714、图像传感器(例如，相机组件)718、对象720、对象722、对象724和界面元素726。
模式确定设备710的显示输出组件712可以显示一个或多个图像，包括与模式确定设备710的操作模式和/或与模式确定设备710相关联的环境相关联的图像。模式确定设备710可包括一个或多个传感器(例如，一个或多个运动传感器、图像传感器、触觉传感器和/或雷达传感器)，其可用于确定模式确定设备710的状态(例如，模式确定设备710的位置和/或定位)，包括模式确定设备710相对于包括对象720、722和724的一个或多个对象的状态。模式确定设备710还可以基于一个或多个运动传感器(包括例如图像传感器718和/或未示出的包括加速度计和/或陀螺仪的附加运动传感器)，确定模式确定设备710已经被移动并且模式确定设备710的位置(例如，模式确定设备710相对于另一对象的角度)相对于对象720(例如，用户的脸部)已经改变。
此外，模式确定设备710还可使用一个或多个运动或测距传感器确定模式确定设备710和包括对象720(例如，用户的脸部)、对象722(例如，墙壁)和/或对象724(例如，用户的手)的一个或多个对象之间的距离。基于对模式确定设备710在一角度阈值范围内或者模式确定设备710与对象720之间的距离已经增加了阈值距离量或者以阈值加速度而增加的确定，模式确定设备可以激活如下模式：所述模式包括激活可以配置为接收一个或多个输入(例如，一个或多个声音输入、光输入和/或触觉输入)的模式确定设备710的一个或多个组件(例如，麦克风、相机和/或文本输入组件)。
在此示例中，模式确定设备710激活与图像传感器(例如，相机组件)718的操作相关联的相机模式。对图像传感器(例如，相机组件)718的激活可由在显示输出组件712上显示的界面元素726(例如，快门图标)指示。此外，对相机模式的激活可以包括在显示输出组件712上生成界面元素714(例如，相机按钮)，其可以用于控制图像传感器(例如，相机组件)718的操作。
图8描绘了根据本公开的示例实施例的包括基于传感器的键盘组件激活的模式确定设备的示例。图8包括模式确定设备810的图示，模式确定设备810的一个或多个部分可以包括包含图1中所示的用户计算设备102和/或图2中所示的模式确定系统200的一个或多个部分的一个或多个系统(例如，一个或多个计算系统)或设备(例如，一个或多个计算设备)。此外，由模式确定设备810进行的检测、识别、和/或处理可以被实现为在一个或多个设备或系统(例如，用户计算设备102和/或模式确定系统200)的硬件组件上的算法，以例如激活与一个或多个组件的操作相关的模式。如图所示，图8图示了模式确定设备810、显示输出组件812、触觉传感器814、触觉传感器816、图像传感器818、对象820、对象822、界面元素824、界面元素826和距离828。
模式确定设备810的显示输出组件812可以显示一个或多个图像，包括与模式确定设备810的操作模式和/或与模式确定设备810相关联的环境相关联的图像。模式确定设备810可包括一个或多个传感器(例如，一个或多个运动传感器、图像传感器、触觉传感器和/或雷达传感器)，其可用于确定模式确定设备810的状态(例如，模式确定设备810的位置和/或定位)，包括模式确定设备810相对于包括对象820和822的一个或多个对象的状态。例如，模式确定设备810可以部分地基于触觉传感器814和816，确定模式确定设备810已经被对象820(例如，用户的左手)和/或对象822(例如，用户的右手)触摸。此外，模式确定设备810可以确定对象820(例如，左手)和对象822(例如，右手)之间的距离828，其可以用于确定模式确定设备810正被握在两只手中。对距离828的确定可以由图像传感器818和/或触觉传感器814和816执行。
模式确定设备810还可以基于一个或多个运动传感器(包括例如图像传感器818和/或未示出的包括加速度计和/或陀螺仪的附加运动传感器)来确定模式确定设备810已经被移动以及模式确定设备810的位置(例如，模式确定设备810相对于另一对象的角度)相对于对象820和822(例如，用户的手)已经改变。在一些实施例中，模式确定设备810还可以使用一种或多种对象检测技术来确定模式确定设备810正在被凝视(例如，由模式确定设备810的用户凝视)。
基于对模式确定设备810正在被凝视和/或模式确定设备810相对于一个或多个对象的角度满足包括模式确定设备的角度是否在相对于一个或多个对象的一角度范围内的一个或多个设备角度标准的确定，模式确定设备可以激活如下模式：所述模式包括激活可以配置为接收一个或多个输入(例如，一个或多个声音输入、光输入和/或触觉输入)的模式确定设备810的一个或多个组件(例如，麦克风、相机和/或文本输入组件)。在该示例中，模式确定设备810激活如显示在显示输出组件812上的界面元素826(例如，文本输入图标)所指示的文本输入模式。此外，对文本输入模式的激活可以包括在显示输出组件812上生成界面元素824(例如屏上键盘)，其可用于接收文本输入。
图9描绘了根据本公开的示例实施例的基于传感器的组件激活的示例方法的流程图。可以在包括例如用户计算设备102和/或模式确定系统200的一个或多个计算设备或计算系统上运行或实现方法900的一个或多个部分。方法900的一个或多个部分也可以被运行或实现为在本文公开的设备的硬件组件上的算法。图9描绘了出于图示和讨论的目的以特定顺序执行的步骤。使用本文提供的公开，本领域普通技术人员将理解，在不脱离本公开的范围的情况下，可以对本文公开的任何方法的各个步骤进行适配、修改、重新布置、省略和/或扩展。
在902处，该方法900可包括接收部分地基于来自一个或多个传感器的一个或多个传感器输出的对象检测数据。在一些实施例中，对象检测数据部分地基于来自检测计算设备的用户的一个或多个部分的多个传感器的一个或多个传感器输出。例如，一个或多个传感器可以检测用户的一个或多个部分，其状态可以由模式确定系统确定。
此外，一个或多个传感器可以确定环境的状态，包括例如环境的温度、亮度、湿度或压力(例如，气压)。一个或多个传感器可以包括一个或多个图像传感器(例如，一个或多个相机)；一个或多个音频传感器；一个或多个触觉传感器；一个或多个运动传感器；一个或多个接近传感器；一个或多个电磁传感器；一个或多个热传感器；和/或一个或多个雷达设备。例如，一个或多个图像传感器可以用于确定脸部何时在一个或多个图像传感器的视场内，并使用检测到的脸部来激活模式确定系统的一种或多种模式。
对象检测数据可以包括与一个或多个对象的状态相关联的信息，该信息包括来自检测计算设备(例如，模式确定系统)的用户的一个或多个部分的多个传感器的一个或多个传感器输出。一个或多个对象的状态可以包括时间状态(例如，与一个或多个对象的状态相关联的一个或多个传感器输出由一个或多个传感器生成之时在一天中的时间)，其也可以包括与一个或多个对象相关联的事件的一个或多个持续时间(例如，检测到的凝视指向模式确定系统的持续时间)。此外，一个或多个对象的状态可以包括与一个或多个对象的位置或定位相关联的位置状态，包括纬度、经度和海拔高度、取向(例如，罗盘取向)、一个或多个对象相对于彼此的定位、一个或多个对象与模式确定系统之间的距离，和/或一个或多个对象相对于包括模式确定系统的参考点的定位；和/或包括一个或多个物理特性的物理状态(例如，包括颜色、亮度和/或纹理的外观；包括大小、体积的物理尺寸、质量和/或重量；和/或音频特性)。
在904处，该方法900可包括接收部分地基于来自一个或多个传感器的一个或多个传感器输出的运动数据，该运动数据可以用于描述计算设备相对于计算设备的用户的运动。例如，一个或多个传感器可以检测一个或多个对象，其状态可以由模式确定系统确定。一个或多个传感器可以包括一个或多个图像传感器(例如，一个或多个相机)；一个或多个音频传感器；一个或多个触觉传感器；一个或多个运动传感器；一个或多个接近传感器；一个或多个陀螺仪传感器；一个或多个加速度计；一个或多个电磁传感器；和/或一个或多个雷达设备。
例如，一个或多个加速度计可包括如下配置：其中一个或多个加速度计可以生成与模式确定系统沿三个轴(例如，x轴、y轴和z轴)的加速度相关联的运动数据。此外，一个或多个陀螺仪传感器可以用于确定模式确定系统的取向。以此方式，模式确定系统可以使用运动数据来确定模式确定系统相对于一个或多个对象的位置。
运动数据可以包括与一个或多个对象的状态相关联的信息，该信息包括计算设备(例如，模式确定系统)相对于计算设备的用户的运动。一个或多个对象的状态可以包括时间状态(例如，与一个或多个对象的状态相关联的一个或多个传感器输出由一个或多个传感器生成之时在一天中的时间)，其也可以包括与一个或多个对象相关联的事件的一个或多个持续时间(例如，检测到的凝视指向模式确定系统的持续时间)；和/或与一个或多个对象的位置或定位相关联的位置状态，包括纬度、经度和海拔高度、取向(例如，罗盘取向)、一个或多个对象相对于彼此的定位、一个或多个对象与模式确定系统之间的距离和/或一个或多个对象相对于包括模式确定系统的参考点的定位。
在906处，该方法900可以包括部分地基于对象检测数据(例如在902处接收的对象检测数据)和运动数据(例如在904处接收的运动数据)来确定一个或多个对象的状态，其可以包括计算设备的用户的一个或多个部分的状态，以及计算设备的用户的一个或多个部分的状态包括计算设备的用户的一个或多个部分相对于计算设备的一种或多种空间关系。一个或多个对象的状态可以包括一个或多个对象相对于模式确定系统的一种或多种空间关系。例如，一个或多个对象的一种或多种空间关系可以包括与一个或多个对象相关联的距离(例如，以毫米、厘米、英寸等为单位的距离)和/或取向(例如，一个或多个对象的一部分相对于模式确定系统的角度位置)。此外，一个或多个空间关系可以包括与一个对象的一个或多个部分相关联的一个或多个相对大小关系(例如，对象的相对大小)和一种或多种空间关系(例如，脸部的眼睛与计算设备的图像传感器之间的距离)。
在一些实施例中，模式确定系统可以部分地基于一种或多种对象识别技术来确定一个或多个对象的状态。一种或多种对象识别技术可以包括一种或多种遗传算法、边缘匹配、几何哈希、灰度匹配、梯度匹配、姿势聚类、尺度不变特征变换和/或使用机器学习模型来检测和/或识别一个或多个对象。
例如，模式确定系统可以访问机器学习模型(例如，访问已经本地存储的机器学习模型和/或在远程计算设备上可经由网络访问的机器学习模型)，所述机器学习模型已经使用包括分类器数据的分类数据集来创建，所述分类器数据包括与可以基于多个训练对象(例如，用作机器学习模型的训练输入的物理对象或模拟对象)或跟该多个训练对象相关联的训练数据相关联的一组分类特征和一组分类对象标签。机器学习模型可以使用一组相机和麦克风创建，这些相机和麦克风捕获了训练数据，包括与一个或多个对象(包括人和人的部分)相关联的静止图像、视频和触觉输入。例如，训练数据可以包括一个或多个脸部、手和/或眼睛的图像；以及来自触摸触觉传感器的一个或多个部分的手的一个或多个触觉输入。
在908处，方法900可包括确定是否、何时或者就是满足一个或多个操作标准。一个或多个操作标准可以包括与是否激活跟计算设备(例如，用户计算设备102)的一个或多个组件的操作相关联的多个模式之一相关联的一个或多个标准。满足一个或多个操作标准可以包括满足与跟被检测的一个或多个对象相关联的物理特性(例如，检测到的脸部)或空间关系(例如，包括计算设备的一个或多个对象之间的角度、运动或距离)有关的标准。
响应于满足一个或多个操作标准，方法900可以进行到910。响应于未满足一个或多个操作标准，该方法可以结束或者返回到方法900的包括902、904或906的先前部分。
在910处，该方法900可以包括激活与计算设备的一个或多个组件(例如，用户计算设备102的一个或多个组件)的操作相关联的多个模式中的模式(例如，输入模式)。一个或多个组件可以与执行包括检测一个或多个输入的一个或多个操作相关联。模式确定系统的一个或多个组件可以包括一个或多个麦克风组件、一个或多个相机组件和/或一个或多个文本输入组件(例如，在触摸屏组件上生成的屏上键盘)。例如，多个输入模式可以包括与经由麦克风组件记录一个或多个声音相关联的语音模式；与经由相机组件捕获一个或多个图像相关联的相机模式；和/或与接收到文本输入设备(例如，键盘)的一个或多个输入相关联的文本输入模式。
例如，当一个或多个对象的状态包括用户用两只手握住模式确定系统时，模式确定系统可以激活触摸显示组件，该触摸显示组件可以检测在触摸显示组件上生成的键盘界面上的触摸输入；当一个或多个对象的状态包括模式确定系统被握得靠近用户的脸部时，可以激活麦克风组件并接收音频输入；和/或当一个或多个对象的状态包括用户将模式确定系统从用户移开时，可以激活相机组件并检测一个或多个视觉输入(例如，对相机传感器的输入)和/或一个或多个触觉输入(例如，对与相机组件相关联的图形界面上的快门控件的输入)。
图10描绘了根据本公开的示例实施例的基于传感器的组件激活的示例方法的流程图。方法1000的一个或多个部分可以在包括例如用户计算设备102和/或模式确定系统200的一个或多个计算设备或计算系统上运行或实现。方法1000的一个或多个部分也可以被运行或实现为在本文公开的设备的硬件组件上的算法。图10描绘了出于图示和讨论的目的以特定顺序执行的步骤。使用本文提供的公开，本领域普通技术人员将理解，在不脱离本公开的范围的情况下，可以对本文公开的任何方法的各个步骤进行适配、修改、重新布置、省略和/或扩展。
在1002处，该方法1000可包括部分地基于对象检测数据(例如在图9中的902处接收的对象检测数据)来确定当一个或多个对象中的两个相距预定距离范围并且与模式确定系统的一个或多个触觉传感器接触时，计算设备被握在两只手中。例如，模式确定系统可以包括在模式确定系统的后部(例如，模式确定系统的在模式确定系统的显示输出组件后面的部分)上的触觉传感器，并确定一个或多个对象中的两个(例如，两个手指)何时相距一到三厘米。
作为进一步的示例，触觉传感器可以包括与显示输出组件相关联的触摸屏表面(例如，模式确定系统将检测对显示输出组件的触摸)。此外，模式确定系统可以包括在模式确定系统的任何表面上的触觉传感器(例如，在背面或包括左边缘、右边缘、上边缘或下边缘的边缘上的触觉传感器)。在一些实施例中，在908处满足一个或多个操作标准可以包括在1002处确定模式确定系统正被握在两只手中，包括何时一个或多个对象中的两个相距预定距离范围并且与模式确定系统的一个或多个触觉传感器接触。
在1004处，该方法1000可包括部分地基于对象检测数据(例如在图9中902处接收的对象检测数据)来确定当一个或多个对象中的两个在与模式确定系统的显示输出组件相关联的视场以及预定距离内时，模式确定系统正被握在两只手中。例如，模式确定系统可以使用相机组件来确定一个或多个对象中的两个(例如，两个拇指)在相机的视场内，该相机在包括接收触摸输入的触摸屏组件的模式确定系统的一侧、捕获一个或多个图像。在一些实施例中，在908处满足一个或多个操作标准可以包括在1004处确定模式确定系统被握在两只手中，包括确定一个或多个对象中的两个何时在与模式确定系统的显示输出组件相关联的视场以及预定距离内。
在1006处，该方法1000可包括部分地基于对象检测数据(例如，在图9中的902处接收到的对象检测数据)确定当检测到一个或多个对象中的至少两个与模式确定系统的显示输出组件的前部后面的一个或多个触觉传感器中的两个或更多个部分接触且检测到一个或多个对象中的两个在显示输出组件的前部的前面的预定距离内时，模式确定系统正被握在两只手中。例如，模式确定系统可以检测在显示输出组件(例如，OLED屏幕)后面的两组手指和在显示输出组件的两厘米内的两个拇指。在一些实施例中，在908处满足一个或多个操作标准可包括在1006处确定模式确定系统正被握在两只手中，包括何时检测到一个或多个对象中的至少两个与模式确定系统的显示输出组件的前部后面的一个或多个触觉传感器中的两个或更多个部分接触且检测到一个或多个对象中的两个在显示输出组件的前部的前面的预定距离内。
在1008处，该方法1000可包括部分地基于对象检测数据(例如，在图9中的902处接收到的对象检测数据)来确定当在检测到一个或多个对象中的第二对象与计算机系统的触觉传感器的第二部分接触之前检测到一个或多个对象中的第一对象与该触觉传感器的第一部分接触达预定时间段时，计算系统被握在两只手中。例如，模式确定系统的用户可以在将其一只手放在模式确定系统的触觉传感器的第二部分上之前，用另一只手提起模式确定系统(从而触摸触觉传感器的第一部分)达预定时间段(例如半秒)。
在一些实施例中，在908处满足一个或多个操作标准可以包括：在1008处确定当在检测到一个或多个对象中的第二对象与计算机系统的触觉传感器的第二部分接触之前检测到一个或多个对象中的第一对象与该触觉传感器的一部分接触达预定时间段时，该计算系统正被握在两只手中。
图11描绘了根据本公开的示例实施例的基于传感器的组件激活的示例方法的流程图。方法1100的一个或多个部分可以在包括例如用户计算设备102和/或模式确定系统200的一个或多个计算设备或计算系统上运行或实现。方法1100的一个或多个部分也可以被运行或实现为在本文公开的设备的硬件组件上的算法。图11描绘了出于图示和讨论的目的以特定顺序执行的步骤。使用本文提供的公开，本领域普通技术人员将理解，在不脱离本公开的范围的情况下，可以对本文公开的任何方法的各个步骤进行适配、修改、重新布置、省略和/或扩展。
在1102处，方法1100可以包括部分地基于一个或多个对象相对于计算设备的一种或多种空间关系来确定模式确定系统(例如，与模式确定系统相关联的一个或多个参考点)与一个或多个对象的至少一部分之间的距离和/或角度。例如，模式确定系统可以确定模式确定系统的图像传感器与检测到的用户的脸部或脸部部分之间的距离和/或角度位置。其他检测到的对象可以包括用户的(一只或两只)手或其部分(例如，(一个或多个)拇指、(一个或多个)手指和/或手掌跟)和/或由用户握持或操作的手写笔。
在1104处，方法1100可包括确定模式确定系统与一个或多个对象的该一部分之间的距离或角度何时分别在一距离范围或角度范围内。例如，模式确定系统可以确定检测到的脸部相对于模式确定系统的图像传感器在四十厘米之内并且成四十五度角。在一些实施例中，在908处满足一个或多个操作标准可以包括在1104处确定模式确定系统与一个或多个对象之间的距离或角度分别在该距离范围或角度范围内。
在1106处，方法1100可以包括部分地基于运动数据(例如在图9中的904处接收的运动数据)来确定模式确定系统相对于一个或多个对象的一部分在一个或多个方向上的运动。模式确定系统的运动可以包括模式确定系统的运动的不同方面，包括模式确定系统的加速度、速度、位移和/或位置变化(例如，围绕模式确定系统的轴线的旋转)。此外，模式确定系统的运动可以经由一个或多个运动传感器以多种方式确定，该一个或多个运动传感器可以包括重力传感器、线性加速度传感器、旋转矢量传感器、加速度计和/或陀螺仪。一个或多个运动传感器可以包括基于硬件的运动传感器、基于软件的运动传感器和/或组合硬件和软件的使用以确定模式确定系统的运动的运动传感器。例如，模式确定系统可以使用模式确定系统中的一个或多个加速度计来确定模式确定系统在特定方向上的加速度。
在1108处，方法1100可以包括确定模式确定系统相对于一个或多个对象的一部分在预定方向上的加速度何时超过加速度阈值。例如，预定方向可以直接远离一个或多个对象的预定部分，并且当模式确定系统的加速度超过一米每平方秒时，可能发生超过加速度阈值。在一些实施例中，在908处满足一个或多个操作标准可以包括在1108处确定模式确定系统在预定方向上的加速度超过该加速度阈值。
在1110处，方法1100可以包括部分地基于运动数据(例如，在图9中的904处接收的运动数据)，确定用户计算设备的加速度和加速度持续时间。例如，用户计算设备中的一个或多个运动传感器(例如，一个或多个加速度计和/或陀螺仪)和精确计时计可用于确定用户计算设备的加速度和加速度持续时间。
在1112处，方法1100可以包括部分地基于运动数据(例如，在图9中的904处接收的运动数据)，确定用户计算设备何时经历在预定加速度范围内的加速度达预定持续时间。例如，用户计算设备可以包括一个或多个加速度计，以确定用户计算设备的加速度何时在加速度范围内(例如，在半米每平方秒与两米每平方秒之间的加速度)并且还使用精确计时计组件确定加速度范围何时被保持达预定持续时间(例如半秒的持续时间)。在一些实施例中，在908处满足一个或多个操作标准可包括在1112处确定用户计算设备已经经历在预定加速度范围内的加速度达预定持续时间。
图12描绘了根据本公开的示例实施例的基于传感器的组件激活的示例方法的流程图。方法1200的一个或多个部分可以在包括例如用户计算设备102和/或模式确定系统200的一个或多个计算设备或计算系统上运行或实现。方法1200的一个或多个部分也可以被运行或实现为在本文所公开的设备的硬件组件上的算法。为了说明和讨论的目的，图12描绘了以特定顺序执行的步骤。使用本文提供的公开，本领域普通技术人员将理解，在不脱离本公开的范围的情况下，可以对本文公开的任何方法的各个步骤进行适配、修改、重新布置、省略和/或扩展。
在1202处，方法1200可以包括部分地基于对象检测数据(例如，在图9中的902处接收的对象检测数据)来确定一个或多个对象何时包括脸部。例如，模式确定系统可以使用一种或多种脸部检测和/或脸部识别技术来确定何时脸部在一个或多个对象之中。在一些实施例中，模式确定系统可以将脸部与一个或多个授权脸部进行比较，并且部分地基于将脸部与一个或多个授权脸部匹配来确定何时授权该脸部访问设备。
在1204处，方法1200可以包括确定脸部与用户计算设备之间的距离(例如，距离可以使用一个或多个图像传感器(例如，相机)和/或接近传感器(例如，RADAR设备等)来确定)。
在1206处，方法1200可以包括确定计算设备与脸部之间的距离何时在一距离范围内(例如，确定脸部与用户计算设备之间的距离何时小于二十厘米)。在一些实施例中，在908处满足一个或多个操作标准可以包括在1206处确定用户计算设备与脸部之间的距离在该距离范围内。
在1208处，方法1200可包括部分地基于对象检测数据(例如，在图9中的902处接收的对象检测数据)确定脸部的至少一只眼睛相对于用户计算设备的位置。例如，用户计算设备可以分析脸部的几何形状和/或确定脸部的与眼睛的瞳孔相关联的部分，以确定眼睛的位置。
在1210处，方法1200可以包括部分地基于脸部的至少一只眼睛相对于用户计算设备的位置来确定用户计算设备或用户计算设备的组件(例如，相机组件)何时被凝视达预定时间段(例如，两秒)。在一些实施例中，在908处满足一个或多个操作标准可以包括在1210处确定用户计算设备正被凝视达预定时间段。
图13描绘了根据本公开的示例实施例的基于传感器的组件激活的示例方法的流程图。方法1300的一个或多个部分可以在包括例如用户计算设备102和/或模式确定系统200的一个或多个计算设备或计算系统上运行或实现。方法1300的一个或多个部分也可以被运行或实现为在本文公开的设备的硬件组件上的算法。图13出于图示和讨论的目的描绘了以特定顺序执行的步骤。使用本文提供的公开，本领域普通技术人员将理解，在不脱离本公开的范围的情况下，可以对本文公开的任何方法的各个步骤进行适配、修改、重新布置、省略和/或扩展。
在1302处，该方法1300可包括部分地基于对象检测数据(例如，在图9中的902处接收的对象检测数据)和运动数据(例如，在图9中的904处接收的运动数据)，确定一个或多个对象相对于用户计算设备的状态何时与一个或多个虚假简档匹配，所述虚假简档与不激活用户计算设备的一个或多个组件的一个或多个对象相对于用户计算设备的状态相关联。用户计算设备接收到的对象检测数据和运动数据可以包括一个或多个感测输出，这些感测输出基于不打算激活用户计算设备的一个或多个组件的用户的动作。
这样，用户计算设备可以包括与一个或多个虚假简档相关联的数据，所述虚假简档包括与传感器输出相关联的信息，该传感器输出与不激活用户计算设备的一个或多个组件的一个或多个对象的一个或多个状态相关联。例如，一个或多个虚假简档可以包括一个或多个对象相对于用户计算设备在特定方向上达预定时间段的加速度范围。在一些实施例中，在908处满足一个或多个操作标准可以包括在1302处确定一个或多个对象相对于用户计算设备的状态不匹配一个或多个虚假简档中的任何一个。
在1304处，方法1300可以包括确定何时在激活用户计算设备的一个或多个组件之后的预定时间段内未接收到一个或多个输入。例如，何时用户计算设备的一个或多个组件被激活并且在三秒之内未接收到一个或多个输入(例如，触摸用户计算设备的显示输出组件)。
在1306处，方法1300可以包括部分地基于在包括当一个或多个组件被激活并且未接收到一个或多个输入的时间的虚假时间间隔内接收到的对象检测数据(例如，在图9中的902处接收的对象检测数据)和运动数据(例如，在图9中的904处接收的运动数据)来生成虚假简档。例如，在激活用户计算设备的一个或多个组件之前的三秒中记录的对象检测数据和运动数据可以用作虚假简档的基础。
在1308处，方法1300可包括将虚假简档添加到一个或多个虚假简档。以此方式，用户计算设备可以通过部分地基于用户计算设备的用户添加个性化简档来修改和改进一个或多个虚假简档。在一些实施例中，虚假简档可以被添加到存储在远程计算设备上的一个或多个虚假简档，该虚假简档包括来自其他用户使用的其他计算设备的虚假简档。以此方式，可以与其他设备共享为一个设备生成的虚假简档，从而使其他设备能够实现由于虚假简档而导致的提高的电池效率和更高效的处理器利用率的益处。
图14描绘了根据本公开的示例实施例的基于传感器的组件激活的示例方法的流程图。方法1400的一个或多个部分可以在包括例如用户计算设备102、机器学习计算系统130、训练计算系统150和/或模式确定系统200的一个或多个计算设备或计算系统上运行或实现。方法1400的一个或多个部分也可以被运行或实现为在本文公开的设备的硬件组件上的算法。图14出于图示和讨论的目的描绘了以特定顺序执行的步骤。使用本文提供的公开，本领域普通技术人员将理解，在不脱离本公开的范围的情况下，可以对本文公开的任何方法的各个步骤进行适配、修改、重新布置、省略和/或扩展。
在1402处，方法1400可包括获得传感器数据，该传感器数据包括从多个传感器采样的传感器数据的一个或多个向量以及与每个传感器数据样本相关联的时间戳。例如，传感器数据可以包括方法900中的对象检测数据和/或运动数据。在一些实施方式中，多个传感器包括用于确定计算设备的运动/移动的至少一个运动传感器(例如，加速度计、陀螺仪、图像传感器、位置传感器等)以及用于检测相对于计算设备定位的对象(例如，用户或用户的一部分，包括脸部、手、手指等)的至少一个对象检测传感器(例如，图像传感器、接近传感器)。在一些实施方式中，当计算设备传感器检测到附加传感器数据之时，传感器数据可以迭代地进行更新、刷新或生成。
在一些实施例中，机器学习模式确定模型可以被训练为接收这样的传感器数据输入，并输出对计算设备的模式的预测。该模式可以例如从一组预定义模式中确定，诸如相机模式、语音模式、键盘模式等。在一个示例中，当传感器数据导致确定计算设备的移动对应于计算设备远离用户脸部的移动时，则可以训练机器学习模式确定模型以输出对计算设备的相机模式的预测。
在另一示例中，当传感器数据导致确定计算设备的移动对应于计算设备朝向用户脸部的移动时，则可以训练机器学习模式确定模型以输出对计算设备的语音模式的预测。在另一示例中，当传感器数据导致确定计算设备的移动对应于计算设备朝向用户(例如，朝向用户的脸部)的移动并且计算设备进行的对象检测对应于指示用户用两只手握住计算设备的计算设备的握持配置时，则可以训练机器学习模式确定模型以输出对计算设备的键盘模式的预测。
在一些实施方式中，当训练机器学习模式确定模型以确定用于操作计算设备的输入模式时，模式确定训练数据集可以包括大量先前获得的传感器数据样本以及描述基于这些传感器数据样本对应输入模式被触发或不被触发的对应标签。
在一个实施方式中，模式确定训练数据集包括与一次或多次源自一个或多个计算设备传感器的传感器数据样本相对应的数据的第一部分。取决于模型，传感器数据样本可以包括来自运动传感器、图像传感器、触觉传感器、接近传感器等中的一个或多个的与时间有关系的传感器数据。可以在一个或多个用户操作计算设备时记录这样的传感器数据。模式确定训练数据集可以进一步包括与识别基于传感器数据是否应当触发或不应当触发一个或多个特定模式的标签相对应的数据的第二部分。可以手动注释、自动注释或使用自动标记和手动标记的组合来注释模式确定训练数据集内的数据的第二部分内包括的标签。
在1404处，该方法1400可包括将一组真值数据的第一部分(例如，与传感器数据样本相对应的模式确定训练数据集的第一部分)输入到要训练的机器学习模式确定模型中。例如，该组真值数据的第一部分可以输入到训练计算系统(例如，训练计算系统150)中。
在1406处，该方法1400可以包括响应于对该组真值数据的第一部分的接收，输出针对计算设备的模式预测。机器学习模式确定模型的此输出可以预测该组真值数据的其余部分(例如，模式确定训练数据集的第二部分)。
在1408处，该方法1400可以包括应用或以其它方式确定损失函数，该损失函数包括将由机器学习模式确定模型输出的(一个或多个)模式预测与模式确定模型试图预测的真值数据的其余部分进行比较。
在1410处，该方法1400可包括将损失函数反向传播通过模式确定模型以训练模式确定模型(例如，通过修改与模式确定模型相关联的一个或多个权重)。输入真值数据、确定损失函数并将损失函数反向传播通过模式确定模型的这个过程可以重复多次，作为训练模式确定模型的一部分。例如，可以针对模式确定训练数据集内提供的大量组真值数据中的每组重复该过程。
在一些实施方式中，在计算设备上实现初始训练的机器学习模式确定模型之后，计算设备可以基于一个或多个特定用户与计算设备的交互来收集附加的训练样本。这些附加的训练样本可用于重新训练机器学习模式确定模型，以基于特定用户数据(例如，特定用户语音、手持配置等)对模式确定模型个性化。
在一些实施方式中，计算设备还可被配置为确定更新，该更新描述重新训练的机器学习模式确定模型的参数或在重新训练模型期间发生的机器学习模式确定模型的参数的改变。计算设备然后可以将这样的(一个或多个)更新发送到中央服务器计算设备(例如，“云”)以与由其他计算设备提供的其他更新进行聚合。因此，该平台可以使得能够参与称为“联合学习”的过程，在该过程中，设备基于本地存储的数据确定对模型的本地更新，然后将该本地更新传达给云服务(例如，以隐私保护和通信高效的方式)从而进行聚合以生成对模型的全局更新。
本文讨论的技术提及服务器、数据库、软件应用和其他基于计算机的系统，以及对此类系统采取的行动和向此类系统发送的信息及从此类系统发送的信息。本领域普通技术人员将认识到，基于计算机的系统的固有灵活性允许组件之间以及之中的任务和功能的多种可能的配置、组合和划分。例如，本文所讨论的服务器进程可以使用单个服务器或组合工作的多个服务器来实现。数据库和应用可以在单个系统上实现，或者分布在多个系统上。分布式组件可以顺序或并行操作。
尽管已经针对本主题的特定示例实施例对本主题进行了详细描述，但是将领会，本领域技术人员在获得对前述内容的理解后，可以容易地造出对这些实施例的更改、变化和等同物。因此，本公开的范围是作为示例而不是作为限制，并且本公开不排除包括对本领域普通技术人员来说显而易见的对本主题的这种修改、变型和/或添加。

Claims (20)

1.一种模式确定的计算机实现的方法，所述方法包括：
由包括一个或多个计算设备的计算系统接收部分地基于来自多个传感器的一个或多个传感器输出的对象检测数据，所述多个传感器检测所述计算系统的用户的一个或多个部分；
由计算系统接收部分地基于来自所述多个传感器的一个或多个传感器输出的运动数据，其中，所述运动数据描述计算系统相对于计算系统的用户的运动；
由计算系统部分地基于对象检测数据来确定计算系统的用户的一个或多个部分的状态，所述状态包括所述计算系统的用户的一个或多个部分相对于所述计算系统的一种或多种空间关系，其中，所述确定包括：由计算系统将对象检测数据和运动数据输入到机器学习模式确定模型，其中，所述机器学习模式确定模型已经被训练为接收对象检测数据和运动数据，并且响应于接收到对象检测数据和运动数据，输出用于操作计算系统的一种或多种预测模式；
由计算系统部分地基于对象检测数据和运动数据来确定用户的一个或多个部分相对于计算系统的状态何时匹配一个或多个虚假简档，所述一个或多个虚假简档与不激活一个或多个组件的用户的一个或多个部分相对于计算系统的状态相关联，并且所述一个或多个虚假简档是由机器学习模型生成的，其中，满足一个或多个操作标准包括用户的一个或多个部分相对于计算系统的状态不匹配所述一个或多个虚假简档中的任何一个；以及
响应于计算系统的用户的一个或多个部分的状态满足一个或多个操作标准，由计算系统激活与激活计算系统的一个或多个组件相关联的多个输入模式中的输入模式，所述一个或多个组件包括一个或多个麦克风组件、一个或多个相机组件或一个或多个文本输入组件，其中，所述一个或多个组件与执行包括检测一个或多个输入的一个或多个操作相关联。
2.如权利要求1所述的计算机实现的方法，还包括：
由计算系统部分地基于所述用户的一个或多个部分的一种或多种空间关系，确定计算系统与用户的一个或多个部分之间的距离或角度；以及
由计算系统确定计算系统与用户的一个或多个部分之间的距离或角度何时分别在一距离范围或一角度范围内，其中，满足所述一个或多个操作标准包括确定计算系统与用户的一个或多个部分之间的距离或角度分别在所述距离范围或所述角度范围内。
3.如权利要求1所述的计算机实现的方法，还包括：
由计算系统部分地基于对象检测数据来确定用户的一个或多个部分何时包括脸部；
由计算系统确定脸部与计算系统之间的距离；以及
由计算系统确定计算系统与脸部之间的距离何时在一距离范围内，其中，满足所述一个或多个操作标准包括确定计算系统与脸部之间的距离在所述距离范围内。
4.如权利要求3所述的计算机实现的方法，还包括：
由计算系统部分地基于所述对象检测数据来确定所述脸部的至少一只眼睛相对于所述计算系统的位置；以及
由计算系统部分地基于所述脸部的至少一只眼睛相对于所述计算系统的位置来确定所述计算系统何时被凝视达预定时间段，其中，满足所述一个或多个操作标准包括确定计算系统被凝视达所述预定时间段。
5.如权利要求1所述的计算机实现的方法，还包括：
由计算系统部分地基于运动数据确定计算系统相对于用户的一个或多个部分在一个或多个方向上的加速度；以及
由计算系统确定计算系统在所述一个或多个方向中的预定方向上的加速度何时超过加速度阈值，其中，满足所述一个或多个操作标准包括计算系统在所述预定方向上的加速度超过所述加速度阈值。
6.如权利要求1所述的计算机实现的方法，还包括：
由计算系统部分地基于运动数据来确定计算系统的加速度和加速度持续时间；以及
由计算系统部分地基于运动数据来确定计算系统何时经历在预定加速度范围内的加速度达预定持续时间，其中，满足所述一个或多个操作标准包括计算系统经历在预定加速度范围内的加速度达所述预定持续时间。
7.如权利要求1所述的计算机实现的方法，还包括：
由计算系统部分地基于对象检测数据来确定当用户的一个或多个部分中的两个部分相距预定距离范围并且与计算系统的一个或多个触觉传感器接触时，所述计算系统正被握在两只手中，其中，满足所述一个或多个操作标准包括确定计算系统正被握在两只手中。
8.如权利要求1所述的计算机实现的方法，还包括：
由计算系统部分地基于对象检测数据来确定当用户的一个或多个部分中的两个部分在与计算系统的显示输出组件相关联的视场以及预定距离内时，所述计算系统正被握在两只手中，其中，满足所述一个或多个操作标准包括确定计算系统正被握在两只手中。
9.如权利要求1所述的计算机实现的方法，还包括：
由计算系统部分地基于对象检测数据来确定当检测到用户的一个或多个部分中的至少两个部分与在计算系统的显示输出组件的前部的后面的一个或多个触觉传感器中的两个或更多个部分接触并且检测到在显示输出组件的前部的前面的预定距离内的用户的一个或多个部分中的两个部分时，所述计算系统正被握在两只手中，其中，满足所述一个或多个操作标准包括确定计算系统正被握在两只手中。
10.如权利要求1所述的计算机实现的方法，还包括：
由计算系统确定何时在激活一个或多个组件之后的预定时间段内未接收到一个或多个输入；
由计算系统部分地基于在虚假时间间隔内接收到的对象检测数据和运动数据来生成虚假简档，所述虚假时间间隔包括一个或多个组件被激活且未接收到一个或多个输入的时间；以及
由计算系统将所述虚假简档添加到一个或多个虚假简档。
11.如权利要求1所述的计算机实现的方法，其中，所述一个或多个传感器包括一个或多个图像传感器、一个或多个音频传感器、一个或多个触觉传感器、一个或多个陀螺仪传感器、一个或多个加速度计、一个或多个电磁传感器、一个或多个热传感器或一个或多个雷达设备。
12.如权利要求1所述的计算机实现的方法，还包括：
由计算系统接收作为机器学习模式确定模型的输出的用于操作计算系统的一种或多种预测模式。
13.一种模式确定系统，包括：
一个或多个处理器；
机器学习模式确定模型，其中，所述机器学习模式确定模型已被训练为接收对象检测数据，并且响应于对所述对象检测数据的接收，输出针对计算设备的模式预测；以及
至少一个有形非暂时性计算机可读介质，其存储指令，所述指令在由所述一个或多个处理器运行时使所述一个或多个处理器执行操作，所述操作包括：
从计算设备的多个传感器获得传感器数据，其中，所述传感器数据至少包括对象检测数据和运动数据，所述对象检测数据与计算设备的用户的一个或多个部分的状态相关联，其中，所述运动数据描述计算设备相对于计算设备的用户的运动；
将对象检测数据输入到机器学习模式确定模型中，其中，所述机器学习模式确定模型部分地基于所述对象检测数据和运动数据确定用户的一个或多个部分相对于计算设备的状态何时匹配一个或多个虚假简档，所述一个或多个虚假简档与不激活一个或多个组件的用户的一个或多个部分相对于计算设备的状态相关联，并且所述一个或多个虚假简档是由机器学习模型生成的，其中，满足一个或多个操作标准包括用户的一个或多个部分相对于计算设备的状态不匹配所述一个或多个虚假简档中的任何一个；以及
接收作为机器学习模式确定模型的输出的针对计算设备的模式预测。
14.如权利要求13所述的模式确定系统，其中，所述操作还包括激活与所述模式预测相关的所述计算设备的组件。
15.如权利要求13所述的模式确定系统，其中，所述机器学习模式确定模型包括循环神经网络。
16.一种自动启动输入模式的计算设备，包括：
多个传感器；
至少一个处理器；以及
至少一个有形非暂时性计算机可读介质，其存储指令，所述指令在由所述至少一个处理器运行时使所述至少一个处理器执行操作，所述操作包括：
接收部分地基于来自所述多个传感器的一个或多个传感器输出的对象检测数据，所述多个传感器检测所述计算设备的用户的一个或多个部分；
接收部分地基于来自所述多个传感器的一个或多个传感器输出的运动数据，所述运动数据描述计算设备相对于计算设备的用户的运动；
部分地基于对象检测数据来确定计算设备的用户的一个或多个部分的状态，所述计算设备的用户的一个或多个部分的状态包括计算设备的用户的一个或多个部分相对于计算设备的一种或多种空间关系，其中，所述确定包括：由计算设备将对象检测数据和运动数据输入到机器学习模式确定模型，其中，所述机器学习模式确定模型已经被训练为接收对象检测数据和运动数据，并且响应于接收到对象检测数据和运动数据，输出用于操作计算设备的一种或多种预测模式；
部分地基于所述对象检测数据和运动数据确定用户的一个或多个部分相对于计算系统的状态何时匹配一个或多个虚假简档，所述一个或多个虚假简档与不激活一个或多个组件的用户的一个或多个部分相对于计算设备的状态相关联，并且所述一个或多个虚假简档是由机器学习模型生成的，其中，满足一个或多个操作标准包括用户的一个或多个部分相对于计算设备的状态不匹配所述一个或多个虚假简档中的任何一个；
响应于计算设备的用户的一个或多个部分的状态满足一个或多个操作标准，激活与激活计算设备的一个或多个组件相关联的多个输入模式中的输入模式，所述一个或多个组件包括一个或多个麦克风组件、一个或多个相机组件或一个或多个文本输入组件，其中，所述一个或多个组件与执行包括检测一个或多个输入的一个或多个操作相关联。
17.如权利要求16所述的计算设备，其中，所述多个传感器包括一个或多个加速度计、一个或多个雷达传感器、一个或多个触觉传感器或一个或多个图像传感器。
18.如权利要求16所述的计算设备，进一步包括：
部分地基于所述用户的一个或多个部分的一种或多种空间关系，确定计算设备与用户的一个或多个部分之间的距离或角度；以及
确定计算设备与用户的一个或多个部分之间的距离或角度何时分别在一距离范围或一角度范围内，其中，满足所述一个或多个操作标准包括确定计算设备与用户的一个或多个部分之间的距离或角度分别在所述距离范围或所述角度范围内。
19.如权利要求16所述的计算设备，进一步包括：
部分地基于对象检测数据来确定用户的一个或多个部分何时包括脸部；
确定脸部与计算设备之间的距离；以及
确定计算设备与脸部之间的距离何时在一距离范围内，其中，满足所述一个或多个操作标准包括确定计算设备与脸部之间的距离在所述距离范围内。
20.如权利要求16所述的计算设备，进一步包括：
确定何时在激活一个或多个组件之后的预定时间段内未接收到一个或多个输入；
部分地基于在虚假时间间隔内接收到的对象检测数据和运动数据来生成虚假简档，所述虚假时间间隔包括一个或多个组件被激活且未接收到一个或多个输入的时间；以及
将所述虚假简档添加到一个或多个虚假简档。
CN201880044430.XA 2017-11-07 2018-08-30 基于传感器的组件激活 Active CN110832433B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/805,886 2017-11-07
US15/805,886 US10484530B2 (en) 2017-11-07 2017-11-07 Sensor based component activation
PCT/US2018/048665 WO2019094091A1 (en) 2017-11-07 2018-08-30 Sensor based component activation

Publications (2)

Publication Number Publication Date
CN110832433A CN110832433A (zh) 2020-02-21
CN110832433B true CN110832433B (zh) 2021-03-12

Family

ID=63407546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880044430.XA Active CN110832433B (zh) 2017-11-07 2018-08-30 基于传感器的组件激活

Country Status (4)

Country Link
US (1) US10484530B2 (zh)
EP (1) EP3625644B1 (zh)
CN (1) CN110832433B (zh)
WO (1) WO2019094091A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11500452B2 (en) 2018-06-05 2022-11-15 Apple Inc. Displaying physical input devices as virtual objects
US10809910B2 (en) * 2018-09-28 2020-10-20 Apple Inc. Remote touch detection enabled by peripheral device
WO2020263250A1 (en) 2019-06-26 2020-12-30 Google Llc Radar-based authentication status feedback
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
JP7346595B2 (ja) * 2019-07-26 2023-09-19 グーグル エルエルシー レーダーベースのジェスチャー認識の状況感知型制御
JP7270070B2 (ja) 2019-08-30 2023-05-09 グーグル エルエルシー モバイルデバイスのための入力方法
US11500929B2 (en) * 2019-11-07 2022-11-15 International Business Machines Corporation Hierarchical federated learning using access permissions
US11507836B1 (en) 2019-12-20 2022-11-22 Apple Inc. Federated learning using local ground truth estimation
CN111046857A (zh) * 2020-03-13 2020-04-21 同盾控股有限公司 基于知识联邦的人脸识别方法、装置、设备、介质及系统
JP7425479B2 (ja) * 2020-05-01 2024-01-31 Ａｗｌ株式会社 サイネージ制御システム、及びサイネージ制御プログラム
US11681364B1 (en) * 2021-06-29 2023-06-20 Amazon Technologies, Inc. Gaze prediction

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1717678B1 (en) * 1998-01-26 2017-11-22 Apple Inc. Method for integrating manual input
US8952895B2 (en) 2011-06-03 2015-02-10 Apple Inc. Motion-based device operations
US8676224B2 (en) 2008-02-19 2014-03-18 Apple Inc. Speakerphone control for mobile device
US20100138680A1 (en) * 2008-12-02 2010-06-03 At&T Mobility Ii Llc Automatic display and voice command activation with hand edge sensing
KR101581883B1 (ko) 2009-04-30 2016-01-11 삼성전자주식회사 모션 정보를 이용하는 음성 검출 장치 및 방법
US20120287031A1 (en) * 2011-05-12 2012-11-15 Apple Inc. Presence sensing
US20130053007A1 (en) * 2011-08-24 2013-02-28 Microsoft Corporation Gesture-based input mode selection for mobile devices
KR101891786B1 (ko) 2011-11-29 2018-08-27 삼성전자주식회사 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기
US8532675B1 (en) * 2012-06-27 2013-09-10 Blackberry Limited Mobile communication device user interface for manipulation of data items in a physical space
KR102001913B1 (ko) * 2012-09-27 2019-07-19 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
US9081571B2 (en) * 2012-11-29 2015-07-14 Amazon Technologies, Inc. Gesture detection management for an electronic device
WO2014119894A1 (en) 2013-01-29 2014-08-07 Samsung Electronics Co., Ltd. Method of performing function of device and device for performing the method
JP2014194650A (ja) 2013-03-28 2014-10-09 Canon Inc 情報処理装置及びその制御方法
US9832452B1 (en) * 2013-08-12 2017-11-28 Amazon Technologies, Inc. Robust user detection and tracking
CN103795864B (zh) * 2014-01-29 2016-09-28 华为技术有限公司 移动终端前后摄像头的选择方法和移动终端
KR20150131607A (ko) 2014-05-15 2015-11-25 한국전자통신연구원 사용자 인터페이스 제어 장치 및 그것의 사용자 인터페이스 제어 방법
US9870083B2 (en) * 2014-06-12 2018-01-16 Microsoft Technology Licensing, Llc Multi-device multi-user sensor correlation for pen and computing device interaction
US9727161B2 (en) * 2014-06-12 2017-08-08 Microsoft Technology Licensing, Llc Sensor correlation for pen and touch-sensitive computing device interaction
US9696859B1 (en) * 2014-06-17 2017-07-04 Amazon Technologies, Inc. Detecting tap-based user input on a mobile device based on motion sensor data
US9652031B1 (en) * 2014-06-17 2017-05-16 Amazon Technologies, Inc. Trust shifting for user position detection
ES2788872T3 (es) 2014-09-02 2020-10-23 Tobii Ab Sistemas y métodos de entrada de texto basados en mirada
US9554100B2 (en) * 2014-09-30 2017-01-24 Qualcomm Incorporated Low-power always-on face detection, tracking, recognition and/or analysis using events-based vision sensor
US10515284B2 (en) * 2014-09-30 2019-12-24 Qualcomm Incorporated Single-processor computer vision hardware control and application execution
US20160091965A1 (en) 2014-09-30 2016-03-31 Microsoft Corporation Natural motion-based control via wearable and mobile devices
US20170132466A1 (en) * 2014-09-30 2017-05-11 Qualcomm Incorporated Low-power iris scan initialization
US9442564B1 (en) * 2015-02-12 2016-09-13 Amazon Technologies, Inc. Motion sensor-based head location estimation and updating
JP5966059B1 (ja) * 2015-06-19 2016-08-10 レノボ・シンガポール・プライベート・リミテッド 携帯型情報処理装置、その画面切り替え方法、及びコンピュータが実行可能なプログラム
EP3335096B1 (en) 2015-08-15 2022-10-05 Google LLC System and method for biomechanically-based eye signals for interacting with real and virtual objects
US10043084B2 (en) * 2016-05-27 2018-08-07 Toyota Jidosha Kabushiki Kaisha Hierarchical context-aware extremity detection
EP3520054A4 (en) * 2016-10-03 2020-05-27 Poynt Co. SYSTEM AND METHOD FOR DISABLED USER ASSISTANCE
US10984235B2 (en) * 2016-12-16 2021-04-20 Qualcomm Incorporated Low power data generation for iris-related detection and authentication

Also Published As

Publication number Publication date
EP3625644B1 (en) 2023-12-13
CN110832433A (zh) 2020-02-21
US20190141181A1 (en) 2019-05-09
WO2019094091A1 (en) 2019-05-16
US10484530B2 (en) 2019-11-19
EP3625644A1 (en) 2020-03-25

Similar Documents

Publication Publication Date Title
CN110832433B (zh) 基于传感器的组件激活
CN110168570B (zh) 用于完善和/或预测传感器输出的设备
EP3552085B1 (en) Multi-task machine learning for predicted touch interpretations
US9235278B1 (en) Machine-learning based tap detection
US10001838B2 (en) Feature tracking for device input
US8059111B2 (en) Data transfer using hand-held device
US8146020B2 (en) Enhanced detection of circular engagement gesture
US9207852B1 (en) Input mechanisms for electronic devices
CN111766948A (zh) 利用递归神经网络的姿态预测
US10254847B2 (en) Device interaction with spatially aware gestures
US9377866B1 (en) Depth-based position mapping
CN105988664B (zh) 用于设置光标位置的设备和方法
US20240063837A1 (en) Smart ring
US10082936B1 (en) Handedness determinations for electronic devices
EP3726363B1 (en) Mobile device and control method thereof
US11822941B2 (en) Mobile computing device projected visualization interaction
US20240094825A1 (en) Gesture recognition with hand-object interaction
WO2024042502A1 (en) Improved smart ring
CN116382469A (zh) 双手手势识别方法、交互界面显示方法和头戴式显示设备
Cheng et al. Learning-based Hand Gesture Sensing and Controlling Techniques for Automotive Electronics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant