CN109643167A - 基于用户和机器界面之间的检测距离的交互模式选择 - Google Patents

基于用户和机器界面之间的检测距离的交互模式选择 Download PDF

Info

Publication number
CN109643167A
CN109643167A CN201780053227.4A CN201780053227A CN109643167A CN 109643167 A CN109643167 A CN 109643167A CN 201780053227 A CN201780053227 A CN 201780053227A CN 109643167 A CN109643167 A CN 109643167A
Authority
CN
China
Prior art keywords
interactive mode
user
mode
interactive
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780053227.4A
Other languages
English (en)
Inventor
周严项
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN109643167A publication Critical patent/CN109643167A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

交互模式选择装置的实施例可以包括距离估计器，用于估计用户与机器界面的部分之间的距离；以及交互选择器，通信地耦合到距离估计器以基于所估计的距离从两个或更多个可用交互模式中选择一个或多个活动交互模式。距离估计器可以包括深度传感器、三维相机、二维相机、相机阵列、麦克风阵列、无线接入点阵列、信标传感器、接近传感器、和/或超声波传感器。可用交互模式可以包括键盘交互模式、鼠标交互模式、触摸交互模式、语音交互模式、手势交互模式、身体部位光标交互模式、身体分析交互模式、和/或面部分析交互模式。公开并要求保护其他实施例。

Description

基于用户和机器界面之间的检测距离的交互模式选择
相关申请的交叉引用
本申请要求于2016年9月30日递交的美国非临时专利申请No.15/282,414的优先权的权益。
技术领域
实施例总体涉及用户界面(interface)。更具体地，实施例涉及基于用户和机器界面之间的检测距离的交互模式选择。
背景技术
各种类型的输入设备以及这些输入设备所支持的用户交互是公知的。键盘和计算机鼠标是支持计算设备的用户输入的常见输入设备。麦克风可以支持与计算机系统的语音交互。触摸板或触摸屏可以支持与计算设备的触摸交互。相机可以支持与计算设备的手势交互或面部检测/识别交互。
附图说明
通过阅读以下说明书和所附权利要求，并通过参考以下附图，实施例的各种优点对于本领域技术人员将变得明显，在附图中：
图1是根据实施例的用户-机器交互系统的示例的框图；
图2是根据实施例的交互模式选择装置的示例的框图；
图3A至图3C是根据实施例的选择交互模式的方法的示例的流程图；
图4A和图4B是根据实施例的用户-机器交互系统的另一示例的图示；以及
图4C是根据实施例的用户交互模式相对距离的表的示例。
具体实施方式
现在转到图1，用户-机器交互系统10的实施例可以包括用户-机器界面11，其包括一个或多个输出设备12(例如，显示器12a、扬声器12b和/或触觉反馈设备12c等)和一个或多个输入设备13(例如，键盘13a、鼠标13b、触摸设备13c、麦克风13d和/或相机13e等)。触摸设备的非限制性示例可以包括触控板和触摸屏。用户界面控制器14可以通信地耦合到用户-机器界面11以控制显示器12a的输出，并且控制用户和用户-机器界面11之间的可用交互模式。可用交互模式可以包括下列项中的两项或更多项：键盘交互模式、鼠标交互模式、触摸交互模式、语音交互模式、手势交互模式、身体部位光标交互模式、身体分析交互模式、或面部分析交互模式。面部分析的非限制性示例包括面部检测、面部识别和面部表情识别。距离估计器15可以通信地耦合到用户-机器界面11以估计用户与用户-机器界面11的所选部分之间的距离。交互选择器16可以通信地耦合到距离估计器15和用户界面控制器14，以基于所估计的距离来从可用交互模式中选择一个或多个活动交互模式。
用户-机器交互系统10的一些实施例还可以包括交互模式指示器17，该交互模式指示器17通信地耦合到交互选择器16和用户界面控制器14，以向用户指示所选择的一个或多个活动交互模式。例如，用户界面控制器14还可以被配置为提供下列项中的一项或多项以指示所选择的一个或多个活动交互模式：显示器12a上的视觉反馈、对于扬声器12b的音频反馈、或者对于触觉反馈设备12c的触觉反馈。此外或替代地，用户界面控制器14可以被配置为在另一输出设备上提供其他反馈以指示所选择的一个或多个活动交互模式。用户通常是人，但也可以是例如机器人或无人机。
一些传统视觉计算系统的问题在于各种交互模式可能是可用的，但各种交互模式的有效性可能根据用户相对于系统的距离而变化。例如，当用户靠近麦克风时语音交互可能更有效，但随着用户远离麦克风(例如，如果麦克风处于系统上的固定位置但用户四处移动)，则语音交互可能变得不太有效，并且语音交互的错误率可能增加。类似地，对于面部分析应用，如果用户距离太远，则错误率可能增加。对于与界面交互的每种模式，通常具有用户距界面的最佳距离或更有效的范围，以便用户与界面交互。
基于计算机视觉的用户交互(例如，手势、面部和人员分析)的效力可能与距离有关。在距离相机传感器的非最佳或不太有效的距离处执行的手势控制、面部分析或身体分析可能具有较高的误报结果或较高的错误率，这可能负面地影响用户的体验。有利地，一些实施例可以使得耦合到用户界面的计算机视觉传感器能够在更有效或最佳交互距离处使用，并且基于所启用的传感器/交互模式向用户提供关于如何与用户界面进行交互的活动反馈。可以使用户能够知道如何最佳地或更有效地与基于计算机视觉的用户界面进行交互。错误率还可以降低，这有利地可以减少用户的挫败感。在这些交互模式不太有效时禁用详细面部分析和/或详细手势识别的另一益处是那些功能相对复杂，并且禁用它们可以增加用于其他任务的计算带宽。
有利地，用户-机器交互系统10的一些实施例可以增强用户体验，因为用于与用户界面进行交互的模式可以基于用户与用户界面的显示屏之间的距离而改变。例如，将启用的用户交互模式可以基于用户和用户界面的显示屏幕之间的深度测量来配置。在一些实施例中，可以基于所启用的交互模式来启用或禁用耦合到用户界面的传感器的子集。可以实现各种实施例的机器的非限制性示例包括交互式自助服务终端(kiosk)、自动售货机、游戏控制台或设备、台式计算机、膝上型计算机、笔记本计算机、平板计算机和可转换计算机(例如，2合1计算机)。
基于计算机视觉的用户界面(例如，面部分析、手势控制、身体分析、语音控制等)可能趋于成为用于终端用户与计算系统进行交互的流行方法。改进或优化交互模式和传感器的能力可以增强用户与基于计算机视觉的用户界面进行交互的用户体验，这是期望特征。有利地，一些实施例可以向用户提供关于所启用的交互模式的活动反馈，通过了解他或她与用户界面进行交互的期望来使得用户更有效地与基于计算机视觉的用户界面进行交互。向用户提供关于所启用的交互模式的活动反馈还可以在用户界面似乎不工作时减少用户的挫败感，因为例如用户不在计算机视觉传感器的有效或最佳操作距离内并且用户不知道这种情况。
有利地，系统10的一些实施例可以通过估计用户与用户-机器界面11的一部分之间的距离，并基于所估计的距离来从两个或更多个可用交互模式中选择一个或多个活动交互模式，来提供更好的用户体验。例如，用户-机器界面系统10的实施例可以被实现为自助服务终端或计算设备(例如，膝上型计算机)，并且相机13e可以包括安装在显示器12a(例如，自助服务终端或计算设备上的触摸屏显示器)的顶部附近的深度测量相机。例如，相机13e可以具有类似于INTEL REALSENSE相机或MICROSOFT KINECT相机的三维(3D)捕获或测量能力。
系统10可以检测用户的存在，并然后测量用户和相机13e之间的距离。可以转换所测量的距离以估计用户和显示器12a之间的距离(例如，基于相机13e和显示器12a的位置的差异)。然后可以在存储记录(例如，数据库)中查找所估计的距离，该存储记录指示哪些交互模式在所估计的距离处可能是最有效的或足够有效的。然后，系统10可以基于存储记录中所指示的内容来启用一些交互模式、禁用一些交互模式(例如，这些交互模式在所估计的距离处可能不太有效或易于出错)、和/或改变交互模式的特性(例如，降低红外(IR)发射器功率、执行/跳过噪声消除、执行/跳过面部表情分析、执行/跳过基于手指的手势识别等)。
上述用户-机器界面11、用户界面控制器14、距离估计器15、交互选择器16、交互模式指示器17和其他系统组件中的每一项的实施例可以在硬件、软件或其任何适当的组合中实现。例如，硬件实现方式可以包括可配置逻辑(例如，可编程逻辑阵列(PLA)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD))或使用电路技术(例如，专用集成电路(ASIC)、互补金属氧化物半导体(CMOS)、或晶体管-晶体管逻辑(TTL)技术、或其任何组合)的固定功能逻辑硬件。替代地或另外地，这些组件可以作为存储在机器可读或计算机可读存储介质(例如，随机存取存储器(RAM)、只读存储器(ROM)、可编程ROM(PROM)、固件、闪存等)中、由处理器或计算设备执行的一组逻辑指令而被实现在一个或多个模块中。例如，用于执行组件的操作的计算机程序代码可以以一种或多种操作系统适用/适当的编程语言的任何组合来编写，其中编程语言包括面向对象编程语言(例如，JAVA、SMALLTALK、C++、C#等)和传统过程编程语言(例如，“C”编程语言或类似的编程语言)。
现在转到图2，交互模式选择装置20的实施例可以包括：距离估计器21，用于估计用户与用户-机器界面的一部分之间的距离；以及交互选择器22，通信地耦合到距离估计器21以基于所估计的距离来从两个或更多个可用交互模式中选择一个或多个活动交互模式。例如，距离估计器21可以包括深度传感器(例如，深度相机)、3D相机、二维(2D)相机、相机阵列、麦克风阵列、无线接入点阵列(例如，用于设备三角测量目的的WIFI接入点)、信标传感器、接近传感器、或超声波传感器中的一个或多个。例如，两个或更多个可用交互模式可以包括键盘交互模式、鼠标交互模式、触摸交互模式、语音交互模式、手势交互模式、身体部位光标交互模式、身体分析交互模式、或面部分析交互模式中的两个或更多个。
交互模式选择装置20的一些实施例可以进一步包括通信地耦合到交互选择器22的模式-距离相关器23，用于将在用户和用户-机器界面的一部分之间估计的距离与在所估计的距离处的有效可用交互模式进行关联。例如，模式-距离相关器23可以包括要启用的交互模式的表，其中，表条目由所估计的距离值引用(reference)。例如，模式-距离相关器23可以包括要启用的设备、传感器、模块、应用、或交互模式特性中的一个或多个的表，其中，表条目由所估计的距离值引用。交互模式选择装置20还可以包括通信地耦合到交互选择器22的交互指示器24，用于向用户指示所选择的一个或多个活动交互模式。
可以利用许多设备和/或技术来实现适当的距离估计器21的实施例。如上所述，深度相机可以包括适当的硬件和软件以直接提供来自相机的深度或距离测量，该深度或距离测量可以被容易地转换为精确的距离估计(例如，+/-几厘米)。例如，深度相机可以在显示屏的前面形成虚拟平面，因此当用户或物体进入虚拟平面时，可以测量距离。此外或替代地，利用深度相机的系统可以执行面部检测，然后测量从检测到的面部的中心到相机的距离(例如，面部检测可以比面部识别或面部分析更简单)。此外或替代地，利用深度相机的系统可以检测躯干、手部、或其他身体部位并测量检测到的身体部位和相机之间的距离，以估计用户与用户-机器界面的相关部分之间的距离。一些实施例可以支持多用户检测，其具有针对每个用户的相应距离估计。
深度相机可以提供相对高的精度。然而，一些实施例不需要高精度或甚至不需要实际距离测量。在一些实施例中，所估计的距离可以由接近水平(例如，非常接近、接近、中间、远、非常远等)来表示。接近传感器可以使用雷达或超声波来确定物体或用户与传感器的接近程度(例如，超声波测距仪)。一些传感器可以产生与感测到的接近度成比例的输出信号。可以将输出信号转换为数字值并进行进一步处理以产生足够精确的距离估计。即使没有直接距离测量，也可以通过2D相机、2D相机阵列、和/或麦克风阵列来推断所估计的距离。例如，可以通过在已知距离处捕获用户的面部的校准图像来校准单个2D相机，并且此后可以通过捕获用户的新图像并确定与校准图像相比眼睛或其他面部特征之间的像素的数量来推断所估计的距离。除了深度相机或其他距离估计设备或技术之外或替代深度相机或其他距离估计设备或技术，还可以使用这种设备和/或技术。
此外或替代地，可以基于用户携带的设备来估计距离。一些设备可以提供可用于估计距离的相对精确的定位服务(例如，全球定位卫星(GPS)设备)。此外或替代地，可以基于由用户的智能电话或可穿戴设备发射的无线信号的信号强度来估计距离。例如，近场通信(NFC)可以是相对近距离的信号，蓝牙可以是中间距离的信号，以及基于电气和电子工程师协会(IEEE)802.11标准(例如，Wi-Fi)的无线局域网(WLAN)产品可以是相对较长距离的信号。三角测量技术可以提供进一步的准确度，以从由用户的(一个或多个)设备发出的无线信号产生足够精确的距离估计。除了深度相机或其他距离估计设备或技术之外或替代深度相机或其他距离估计设备或技术，还可以使用这些技术。鉴于本说明书的益处，本领域技术人员可以想到适当的距离估计器的许多其他实施例。
上述距离估计器21、交互选择器22、模式-距离相关器23、交互指示器24和交互模式选择装置20的其他组件中的每一个的实施例可以在硬件、软件或其任何适当的组合中实现。例如，硬件实现方式可以包括可配置逻辑(例如，PLA、FPGA、CPLD)或使用电路技术(例如，ASIC、CMOS、或TTL技术、或其任何组合)的固定功能逻辑硬件。替代地或另外地，这些组件可以作为存储在机器可读或计算机可读存储介质(例如，RAM、ROM、PROM、固件、闪存等)中、由处理器或计算设备执行的一组逻辑指令而被实现在一个或多个模块中。例如，用于执行组件的操作的计算机程序代码可以以一种或多种操作系统适用/适当的编程语言的任何组合来编写，编程语言包括面向对象编程语言(例如，JAVA、SMALLTALK、C++、C#等)和传统过程编程语言(例如，“C”编程语言或类似的编程语言)。
现在转到图3A至图3C，选择交互模式的方法30的实施例可以包括在框31处，估计用户与用户-机器界面的一部分之间的距离，以及在框32处，基于所估计的距离从两个或更多可用交互模式中选择一个或多个活动交互模式。例如，估计用户与用户-机器界面的一部分之间的距离可以包括，在框33处，基于来自深度传感器、3D相机、2D相机、相机阵列、麦克风阵列、无线接入点阵列、信标传感器、接近传感器或超声波传感器中的一个或多个的数据来确定所估计的距离。例如，在框34处，两个或更多个可用交互模式可以包括键盘交互模式、鼠标交互模式、触摸交互模式、语音交互模式、手势交互模式、身体部位光标交互模式、身体分析交互模式、或面部分析交互模式中的两个或更多个。
方法30的一些实施例可以进一步包括，在框35处，将在用户与用户-机器界面的该部分之间估计的距离和在所估计的距离处的有效可用交互模式相关联。例如，方法30还可以包括，在框36处，存储要启用的交互模式的表，并且表条目由所估计的距离值引用。方法30还可以包括，在框37处，存储要启用的设备、传感器、模块、应用、或交互模式特性中的一个或多个的表，并且表条目由所估计的距离值引用。方法30的一些实施例可以进一步包括，在框38处，向用户指示所选择的一个或多个活动交互模式。
方法30的实施例可以在例如本文描述的用户-机器交互系统或交互模式选择装置中实现。更具体地，方法30的硬件实现方式可以包括可配置逻辑(例如，PLA、FPGA、CPLD)或使用电路技术(例如，ASIC、CMOS、或TTL技术、或其任何组合)的固定功能逻辑硬件。替代地或另外地，方法30可以作为存储在机器可读或计算机可读存储介质(例如，RAM、ROM、PROM、固件、闪存等)中、由处理器或计算设备执行的一组逻辑指令而被实现在一个或多个模块中。例如，用于执行组件的操作的计算机程序代码可以以一种或多种操作系统适用/适当的编程语言的任何组合来编写，编程语言包括面向对象编程语言(例如，JAVA、SMALLTALK、C++、C#等)和传统过程编程语言(例如，“C”编程语言或类似的编程语言)。例如，方法30可以在如下面结合示例18至24所描述的计算机可读介质上实现。
现在转到图4A至图4C，用户-机器交互系统40的实施例可以包括机械地耦合到用户界面的显示屏42的深度感测相机41。相机41和显示器42可以通信地耦合到具有适当的硬件、固件、和/或软件的用户界面主机43(例如，计算设备)，以检测和估计用户44和显示器42之间的距离。用户界面主机43可以存储用户交互模式对距离表45。例如，表45中的每个条目可以包含距离参数(例如，最小和最大深度)、传感器条目和用户交互配置指针。
根据一些实施例，当深度感测相机41可以检测到用户界面显示屏42前面的用户44时，深度传感器然后可以测量用户44和显示屏42之间的距离并且可以将测量结果转发到用户界面主机43的交互选择器46。交互选择器46可以将所测量的距离与用户交互模式对距离表45中的距离参数进行比较，以找到匹配的表条目。然后，交互选择器46可以基于匹配的表条目中的配置信息来配置用户界面主机43的传感器和/或软件驱动程序，以启用/禁用用户交互模式。
例如，在距离屏幕42小于半米(<0.5)的所估计的距离处(例如，参见图4A)，系统40可以确定语音、触摸和面部分析(例如，相机41可以有效地捕获用户44的面部生物特征识别)将被启用(例如，参见表45中的条目1)。还可以启用键盘、触控板和鼠标交互。如果用户44移动到距屏幕42一到两米(1-2)之间(例如，参见图4B)，则面部可能太远而无法进行详细分析、用户44距离太远而不能触摸屏幕、和/或用户44可能离麦克风太远而不能进行有效的语音控制(键盘、触控板和鼠标交互在该距离范围处也可能无效)。系统40可以相应地确定将启用手部等级的手势控制(例如，参见表45中的条目3)。交互指示器(未示出)可以使得在显示器42上显示视觉指示，例如，手形图标47，其指示用户可以通过手势控制的光标交互来与界面进行交互。在0.5到1米(0.5-1)之间，对于手指等级的手势分辨率可以足够接近，并且可以启用红-绿-蓝(RGB)相机(例如，参见表45中的条目2)，以使得所有五个手指可以被分辨以发布命令或与界面进行交互。
有利地，一些实施例可以涉及基于计算机视觉的用户交互系统，其中，用户与用户界面进行交互的模式可以基于在用户和用户界面的显示屏(或系统的其他部分)之间估计或测量的距离而改变。例如，一些实施例可以包括耦合到用户界面显示屏的面向用户的深度感测相机(例如，具有深度测量能力的INTEL REALSENSE相机)。深度相机可以测量用户和相机之间的距离，并使用该数据来估计用户和用户界面显示屏之间的距离。基于所测量的距离，系统可以确定与将启用的与用户界面进行交互的模式和传感器的子集。在一些实施例中，当与用户界面进行交互的模式改变时，用户界面显示屏的图形内容的子集时也可以有利地改变以通知或引导用户关于他或她如何与用户界面进行交互。
与传统系统相比，一些实施例可以改进或优化用户与用户界面进行交互所需的一组启用的传感器和/或软件模块，同时禁用可能潜在地干扰用户交互的其他传感器和/或软件模块。例如，当用户距离显示屏超过1.5米时，深度感测相机可以被配置为光标模式以使得用户能够使用手势来控制显示屏上的光标，同时可以禁用触摸屏界面和面部分析(例如，面部识别、凝视、性别、年龄组、肤色、是戴眼镜的人、面部表情和情绪检测)，因为用户可能无法触摸屏幕并且用户可能未处于距离相机传感器的最佳或有效距离以准确评估人的面部特征(例如，可暂时禁用RGB视频流)。当用户距离显示屏不到半(0.5)米时，可以禁用光标模式以允许用户使用触摸来与显示屏进行交互，同时还可以启用面部分析(重新启用RGB视频流)。深度相机的IR发射器功率也可以降低以减少用户的IR眩光。
与用户界面进行交互的某些模式在近距离(例如，触摸、语音控制和面部分析)处可能更有效，而其他模式可以在中间(例如，手势)或较长距离(例如，手或身体部位光标和身体分析)处更好地工作。例如，在较长距离处通常可以采用手部光标控制。但其他身体部位(例如，头部或躯干)或某人持有的物体(例如，棒)可以附加地或替代地用于光标控制。
根据一些实施例，用户-机器交互系统有利地使得用户能够基于其与用户界面(例如，显示屏)的相对距离来使用与用户界面进行交互的最适当的模式。例如，虚拟试衣间镜子显示系统可以执行身体分析，并且当在虚拟试穿会话期间估计他/她距离镜子显示器超过1.5米时，使得用户能够使用手部光标来控制镜子显示屏。身体分析可以包括身体测量，例如，对身体部位进行尺寸测量(例如，身高、身体形状、身体尺寸、每个身体部位的相对位置和大小)。这种测量可以用于增强现实虚拟服装试穿，例如，裙子、衬衫、裤子、鞋、手套、眼镜、面具、帽子、珠宝等。
身体分析还可以包括获取各种身体部位及其交互(例如，手部、肘部、肩部、腿部、躯干等)的位置、运动和方向，并使用该信息来驱动或调用动作。对于游戏系统，例如，移动一组身体部位可以根据各种身体动作来调用化身或虚拟角色来跳舞。就像人握住并转动方向盘一样旋转双手可以改变虚拟车辆或虚拟物体的方向。身体分析还可以包括确定人的姿势(例如，站立、坐、蹲、弯曲、举手、双腿并拢、单腿站立等)或人体的朝向(例如，人面对的方向)。
当用户完成虚拟试穿会话时，他/她可以接近镜子显示器以进行购买或其他选项。当估计用户距离显示器小于0.5米时，可以禁用身体测量和光标模式以允许用户使用触摸、语音控制和面部分析来与显示器进行交互。在一些实施例中，当系统处于触摸/语音控制模式时，镜子显示器的图形内容可以改变(例如，活动图块(tiles)可以显示出启用麦克风)。
在一些实施例中，例如，传感器条目可以包含关于将启用/禁用的传感器(例如，接近传感器、深度传感器、相机传感器、麦克风等)的信息。在一些实施例中，禁用用户交互模式可以包括简单地忽略或绕过包括该交互模式的传感器数据，而不必禁用传感器或软件模块。有时可以禁用传感器以不干扰其他通信或其他传感器。例如，如果用户不够靠近麦克风，则可以关闭麦克风以避免获得诸如背景噪声(例如，错误通信)之类的杂散声音。此外或替代地，可以修改传感器的操作特性或传感器的相关联固件和/或软件处理。例如，如果环境无噪声则可以增加麦克风的增益，从而在用户移动远离界面时保持有效的语音交互。另一示例是当用户离界面较远时可以采用噪声过滤算法，但当用户离界面较近时可以跳过或不采用噪声过滤算法。另一示例是如果用户靠近屏幕则可以降低IR激光发射器传感器功率以避免分散光线。
在一些实施例中，表45可以包括用户交互配置指针条目，其可以包括如下指针：该指针指向包含启用/禁用用户交互模式所需的附加信息的文件或数据结构。在一些实施例中，启用/禁用用户交互模式可以包括调用一个或多个驱动程序或软件模块来执行/跳过某些操作以激活/去激活用户交互模式。例如，可以基于距离来启用/禁用或改变软件模块、应用、或算法(例如，面部检测与面部分析；手指分辨率与手部分辨率)。有利地，如果因为用户离界面太远而不能使复杂的用户交互有效而禁用这种交互模式，则计算复杂度和错误率都可以降低。
在一些实施例中，表45可以包括重叠的距离范围以避免交互模式之间的过度抖动(例如，0-0.7m；0.6-1.2m；1.1-2m)。例如，只要所估计的距离保持在特定范围内，则交互模式可以保持相同，并且在交互模式切换之前用户必须足够远地移动到另一范围内。此外或替代地，可以采用计时器来避免交互模式之间的过度抖动。
可以针对特定系统(例如，自助服务终端)锁定表45，或者表45可以是可配置的。用户能够编辑表中的偏好(例如，通过设置界面来指示用户可选距离和/或交互模式)，或者配置在固件中可以固定的(例如，仅由系统提供商更新)。可以为不同的用户提供单独的表。用户能够注册设备和/或交互模式(例如，添加智能电话或耳机)。例如，如果用户较近，则可以启用系统麦克风以用于语音命令。如果用户移动得更远，则可以建立到耳机或智能电话麦克风的通信以用于语音命令(例如，在用户的许可下进行蓝牙连接)。
例如，可以利用诸如智能电话之类的用户设备来提供附加的界面交互或向用户提供反馈。例如，当成功接收到手势命令时，系统可以使得耳机或智能电话发出蜂鸣声。此外或替代地，如果智能电话包括触觉反馈设备(例如，振动)，则系统可以使得智能电话向用户提供触觉反馈。如果系统包括机器视觉、物体识别和/或物体检测能力，则系统可以基于检测到的可用设备自动地调整交互的表或模式。例如，系统可能检测到耳机或智能电话在附近的桌子上，因此没有与用户在一起并且不能用于额外的语音交互或反馈。
在一些实施例中，用户可以被系统标识或识别。然后，系统可以跟踪用户并拒绝来自另一介入用户或对象的交互。此外或替代地，一些实施例可以支持多用户交互。可以针对具有相应的交互模式的每个用户进行单独的距离估计。根据可用于用户的设备，可以针对每个用户使用单独的模式-距离表。例如，如果较远的用户佩戴耳机，则语音交互可以针对该用户而保持启用，而较近的用户可以启用适当的传感器以进行面部生物特征识别。
附加说明和示例：
示例1可以包括一种用户-机器交互系统，包括：用户-机器界面，该用户-机器界面包括一个或多个输出设备和一个或多个输入设备，其中，该一个或多个输出设备包括显示器、扬声器或触觉反馈设备中的一个或多个；并且其中，该一个或多个输入设备包括键盘、鼠标、触摸输入设备、麦克风、或相机中的一个或多个；用户界面控制器，通信地耦合到机器界面以控制显示器、扬声器或触觉反馈设备中的一个或多个的输出，并控制用户和机器界面之间的可用交互模式，可用交互模式包括下列项中的两项或更多项：键盘交互模式、鼠标交互模式、触摸交互模式、语音交互模式、手势交互模式、身体部位光标交互模式、身体分析交互模式、或面部分析交互模式；距离估计器，通信地耦合到机器界面以估计用户与机器界面的所选部分之间的距离；以及交互选择器，通信地耦合到距离估计器和用户界面控制器以基于所估计的距离从可用交互模式中选择一个或多个活动交互模式。
示例2可以包括示例1的用户-机器交互系统，还包括交互模式指示器，其通信地耦合到交互选择器和用户界面控制器以向用户指示所选择的一个或多个活动交互模式。
示例3可以包括示例2的用户-机器交互系统，其中，用户界面控制器还提供下列项中的一项或多项以指示所选择的一个或多个活动交互模式：在显示器上的视觉反馈、对扬声器的音频反馈、或对触觉反馈设备的触觉反馈。
示例4可以包括一种交互模式选择装置，包括：距离估计器，用于估计用户与用户-机器界面的部分之间的距离；以及交互选择器，通信地耦合到距离估计器，以基于所估计的距离从两个或更多个可用交互模式中选择一个或多个活动交互模式。
示例5可以包括示例4的交互模式选择装置，其中，距离估计器包括下列项中的一项或多项：深度传感器、三维相机、二维相机、相机阵列、麦克风阵列、无线接入点阵列、信标传感器、接近传感器、或超声波传感器。
示例6可以包括示例4至5中任一示例的交互模式选择装置，其中，两个或更多个可用交互模式包括下列项中的两项或更多项：键盘交互模式、鼠标交互模式、触摸交互模式、语音交互模式、手势交互模式、身体部位光标交互模式、身体分析交互模式、或面部分析交互模式。
示例7可以包括示例4至6中任一示例的交互模式选择装置，还包括模式-距离相关器，其通信地耦合到交互选择器以存储在用户和用户-机器界面的部分之间估计的距离与在所估计的距离处的有效可用交互模式的相关性。
示例8可以包括示例7的交互模式选择装置，其中，模式-距离相关器包括要启用的交互模式的表，其中，表条目由所估计的距离值引用。
示例9可以包括示例7至8中任一示例的交互模式选择装置，其中，模式-距离相关器包括要启用的设备、传感器、模块、应用、或交互模式特性中的一项或多项的表，其中，表条目由所估计的距离值引用。
示例10可以包括示例4至9中任一示例的交互模式选择装置，还包括交互指示器以向用户指示所选择的一个或多个活动交互模式。
示例11可以包括一种选择交互模式的方法，包括估计用户与用户-机器界面的部分之间的距离，以及基于所估计的距离从两个或更多个可用交互模式中选择一个或多个活动交互模式。
示例12可以包括示例11的选择交互模式的方法，其中，估计用户与用户-机器界面的该部分之间的距离包括基于来自下列项中的一项或多项的数据来确定所估计的距离：深度传感器、三维相机、二维相机、相机阵列、麦克风阵列、无线接入点阵列、信标传感器、接近传感器、或超声波传感器。
示例13可以包括示例11至12中任一示例的选择交互模式的方法，其中，两个或更多个可用交互模式包括下列项中的两项或更多项：键盘交互模式、鼠标交互模式、触摸交互模式、语音交互模式、手势交互模式、身体部位光标交互模式、身体分析交互模式、或面部分析交互模式。
示例14可以包括示例11至13中任一示例的选择交互模式的方法，还包括将在用户和用户-机器界面的部分之间估计的距离与在所估计的距离处的有效可用交互模式相关联。
示例15可以包括示例14的选择交互模式的方法，还包括存储要启用的交互模式的表，其中，表条目由所估计的距离值引用。
示例16可以包括示例14至15中任一示例的选择交互模式的方法，还包括存储要启用的设备、传感器、模块、应用、或交互模式特性中的一项或多项的表，其中，表条目由所估计的距离值引用。
示例17可以包括示例11至16中任一示例的选择交互模式的方法，还包括向用户指示所选择的一个或多个活动交互模式。
示例18可以包括至少一个计算机可读介质，包括一组指令，该组指令在由计算设备执行时，使得计算设备估计用户与用户-机器界面的部分之间的距离，以及基于所估计的距离从两个或更多个可用交互模式中选择一个或多个活动交互模式。
示例19可以包括示例18的至少一个计算机可读介质，包括另外的一组指令，该另外的一组指令在由计算设备执行时，使得计算设备基于来自下列项中的一项或多项的数据来确定所估计的距离：深度传感器、三维相机、二维相机、相机阵列、麦克风阵列、无线接入点阵列、信标传感器、接近传感器、或超声波传感器。
示例20可以包括示例18至19中任一示例的至少一个计算机可读介质，其中，两个或更多个可用交互模式包括下列项中的两项或更多项：键盘交互模式、鼠标交互模式、触摸交互模式、语音交互模式、手势交互模式、身体部位光标交互模式、身体分析交互模式、或面部分析交互模式。
示例21可以包括示例18至20中任一示例的至少一个计算机可读介质，包括另外的一组指令，该另外的一组指令在由计算设备执行时，使得计算设备将在用户和用户-机器界面的该部分之间估计的距离与在所估计的距离处的有效可用交互模式相关联。
示例22可以包括示例21的至少一个计算机可读介质，包括另外的一组指令，该另外的一组指令在由计算设备执行时，使得计算设备存储要启用的交互模式的表，其中，表条目由所估计的距离值引用。
示例23可以包括示例21至22中任一示例的至少一个计算机可读介质，包括另外的一组指令，该另外的一组指令在由计算设备执行时，使得计算设备存储要启用的设备、传感器、模块、应用、或交互模式特性中的一项或多项的表，其中，表条目由所估计的距离值引用。
示例24可以包括示例18至23中任一示例的至少一个计算机可读介质，包括另外的一组指令，该另外的一组指令在由计算设备执行时，使得计算设备向用户指示所选择的一个或多个活动交互模式。
示例25可以包括一种交互模式选择装置，包括用于估计用户与用户-机器界面的一部分之间的距离的装置，以及用于基于所估计的距离从两个或更多个可用交互模式中选择一个或多个活动交互模式的装置。
示例26可以包括示例25的交互模式选择装置，其中，用于估计用户与用户-机器界面的该部分之间的距离的装置包括用于基于来自下列项中的一项或多项的数据来确定所估计的距离的装置：深度传感器、三维相机、二维相机、相机阵列、麦克风阵列、无线接入点阵列、信标传感器、接近传感器、或超声波传感器。
示例27可以包括示例25至26中任一示例的交互模式选择装置，其中，两个或更多个可用交互模式包括下列项中的两项或更多项：键盘交互模式、鼠标交互模式、触摸交互模式、语音交互模式、手势交互模式、身体部位光标交互模式、身体分析交互模式、或面部分析交互模式。
示例28可以包括示例25至27中任一示例的交互模式选择装置，还包括用于将在用户和用户-机器界面的该部分之间估计的距离与在所估计的距离处的有效可用交互模式相关联的装置。
示例29可以包括示例28的交互模式选择装置，还包括用于存储要启用的交互模式的表的装置，其中，表条目由所估计的距离值引用。
示例30可以包括示例28至29中任一示例的交互模式选择装置，还包括用于存储要启用的设备、传感器、模块、应用、或交互模式特性中的一项或多项的表的装置，其中，表条目由所估计的距离值引用。
示例31可以包括示例25至30中任一示例的交互模式选择装置，还包括用于向用户指示所选择的一个或多个活动交互模式的装置。
实施例适用于所有类型的半导体集成电路(“IC”)芯片。这些IC芯片的示例包括但不限于处理器、控制器、芯片组组件、PLA、存储器芯片、网络芯片、片上系统(SoC)、SSD/NAND控制器ASIC等。此外，在一些附图中，信号导线用线来表示。一些线可以不同以指示更多的组成信号路径、可以具有数字标签以指示组成信号路径的数目、和/或可以在一个或多个端具有箭头以指示主要信息流方向。然而，这不应以限制方式进行解释。而是，可以结合一个或多个示例性实施例来使用这种附加细节以便于更容易地理解电路。任何所表示的信号线，无论是否具有附加信息，实际上可以包括可在多个方向上行进的一个或多个信号，并且可以用任何适当类型的信号方案来实现，例如，利用差分对实现的数字或模拟线路、光纤线路和/或单端线路。
可以给出示例尺寸/模型/值/范围，但实施例不限于此。随着制造技术(例如，光刻)随着时间的推移而成熟，预期可以制造更小尺寸的设备。此外，为了简化说明和讨论，并且为了不使实施例的某些方面模糊，可以或可以不在附图示出对于IC芯片和其他组件公知的电源/接地连接。此外，可以以框图形式示出布置以避免模糊实施例，并且还考虑到关于这种框图布置的实现方式的细节高度依赖于实现该实施例的平台的事实，即这些细节应在本领域技术人员的能力范围内。在阐述具体细节(例如，电路)以便描述示例实施例的情况下，对于本领域技术人员来说明显的是，可以在没有这些具体细节或具有这些具体细节的变化的情况下实施实施例。因此，描述被认为是说明性的而非限制性的。
术语“耦合”在本文中可用于指代所讨论的组件之间的任何类型的直接或间接关系，并且可以应用于电气、机械、流体、光学、电磁、机电或其他连接。此外，除非另有说明，否则本文可以使用术语“第一”、“第二”等来仅促进讨论，并且不带有特定的时间或顺序意义。
如在本申请和权利要求中所使用的，由术语“一个或多个”联结的项的列表可以表示所列术语的任何组合。例如，短语“A、B或C中的一个或多个”可以表示A；B；C；A和B；A和C；B和C；或A、B和C。如在本申请和权利要求中所使用的，由术语“两个或更多个”联结的项的列表可以表示所列术语中的两个或更多个的任何组合。例如，短语“A、B或C中的两个或更多个”可以表示A和B；A和C；B和C；或A、B和C。
从前面的描述中，本领域技术人员将理解，实施例的广泛技术可以以各种形式来实现。因此，虽然已经结合其具体示例描述了实施例，但实施例的真实范围不应受此限制，因为在研究了附图、说明书和所附权利要求之后，其他修改对于本领域技术人员将变得明显。

Claims (24)

1.一种用户-机器交互系统，包括：
用户-机器界面，所述用户-机器界面包括一个或多个输出设备和一个或多个输入设备，其中，所述一个或多个输出设备包括显示器、扬声器或触觉反馈设备中的一个或多个；并且其中，所述一个或多个输入设备包括键盘、鼠标、触摸输入设备、麦克风、或相机中的一个或多个；
用户界面控制器，所述用户界面控制器通信地耦合到所述机器界面以控制所述显示器、所述扬声器或所述触觉反馈设备中的一个或多个的输出，并控制用户和所述机器界面之间的可用交互模式，所述可用交互模式包括下列项中的两项或更多项：键盘交互模式、鼠标交互模式、触摸交互模式、语音交互模式、手势交互模式、身体部位光标交互模式、身体分析交互模式、或面部分析交互模式；
距离估计器，所述距离估计器通信地耦合到所述机器界面以估计所述用户与所述机器界面的所选部分之间的距离；以及
交互选择器，所述交互选择器通信地耦合到所述距离估计器和所述用户界面控制器以基于所估计的距离从所述可用交互模式中选择一个或多个活动交互模式。
2.根据权利要求1所述的用户-机器交互系统，还包括：
交互模式指示器，所述交互模式指示器通信地耦合到所述交互选择器和所述用户界面控制器以向所述用户指示所选择的一个或多个活动交互模式。
3.根据权利要求2所述的用户-机器交互系统，其中，所述用户界面控制器还提供下列项中的一项或多项以指示所选择的一个或多个活动交互模式：在所述显示器上的视觉反馈、对所述扬声器的音频反馈、或对所述触觉反馈设备的触觉反馈。
4.一种交互模式选择装置，包括：
距离估计器，所述距离估计器用于估计用户和用户-机器界面的部分之间的距离；以及
交互选择器，所述交互选择器通信地耦合到所述距离估计器，以基于所估计的距离从两个或更多个可用交互模式中选择一个或多个活动交互模式。
5.根据权利要求4所述的交互模式选择装置，其中，所述距离估计器包括下列项中的一项或多项：深度传感器、三维相机、二维相机、相机阵列、麦克风阵列、无线接入点阵列、信标传感器、接近传感器、或超声波传感器。
6.根据权利要求4至5中任一项所述的交互模式选择装置，其中，所述两个或更多个可用交互模式包括下列项中的两项或更多项：键盘交互模式、鼠标交互模式、触摸交互模式、语音交互模式、手势交互模式、身体部位光标交互模式、身体分析交互模式、或面部分析交互模式。
7.根据权利要求4至5中任一项所述的交互模式选择装置，还包括：
模式-距离相关器，所述模式-距离相关器通信地耦合到所述交互选择器以存储在所述用户和所述用户-机器界面的所述部分之间估计的距离与在所估计的距离处的有效可用交互模式的相关性。
8.根据权利要求7所述的交互模式选择装置，其中，所述模式-距离相关器包括要启用的交互模式的表，其中，表条目由所估计的距离值引用。
9.根据权利要求7所述的交互模式选择装置，其中，所述模式-距离相关器包括要启用的设备、传感器、模块、应用、或交互模式特性中的一项或多项的表，其中，表条目由所估计的距离值引用。
10.根据权利要求4至5中任一项所述的交互模式选择装置，还包括：
交互指示器，以向所述用户指示所选择的一个或多个活动交互模式。
11.一种选择交互模式的方法，包括：
估计用户与用户-机器界面的部分之间的距离；以及
基于所估计的距离从两个或更多个可用交互模式中选择一个或多个活动交互模式。
12.根据权利要求11所述的选择交互模式的方法，其中，估计所述用户与所述用户-机器界面的所述部分之间的距离包括：
基于来自下列项中的一项或多项的数据来确定所述所估计的距离：深度传感器、三维相机、二维相机、相机阵列、麦克风阵列、无线接入点阵列、信标传感器、接近传感器、或超声波传感器。
13.根据权利要求11至12中任一项所述的选择交互模式的方法，其中，所述两个或更多个可用交互模式包括下列项中的两项或更多项：键盘交互模式、鼠标交互模式、触摸交互模式、语音交互模式、手势交互模式、身体部位光标交互模式、身体分析交互模式、或面部分析交互模式。
14.根据权利要求11至12中任一项所述的选择交互模式的方法，还包括：
将在所述用户和所述用户-机器界面的所述部分之间估计的距离与在所估计的距离处的有效可用交互模式相关联。
15.根据权利要求14所述的选择交互模式的方法，还包括：
存储要启用的交互模式的表，其中，表条目由所估计的距离值引用。
16.根据权利要求14所述的选择交互模式的方法，还包括：
存储要启用的设备、传感器、模块、应用、或交互模式特性中的一项或多项的表，其中，表条目由所估计的距离值引用。
17.根据权利要求11至12中任一项所述的选择交互模式的方法，还包括：
向所述用户指示所选择的一个或多个活动交互模式。
18.一种交互模式选择装置，包括：
用于估计用户与用户-机器界面的部分之间的距离的装置；以及
用于基于所估计的距离从两个或更多个可用交互模式中选择一个或多个活动交互模式的装置。
19.根据权利要求18所述的交互模式选择装置，其中，用于估计所述用户与所述用户-机器界面的所述部分之间的距离的装置包括：
用于基于来自下列项中的一项或多项的数据来确定所估计的距离的装置：深度传感器、三维相机、二维相机、相机阵列、麦克风阵列、无线接入点阵列、信标传感器、接近传感器、或超声波传感器。
20.根据权利要求18至19中任一项所述的交互模式选择装置，其中，所述两个或更多个可用交互模式包括下列项中的两项或更多项：键盘交互模式、鼠标交互模式、触摸交互模式、语音交互模式、手势交互模式、身体部位光标交互模式、身体分析交互模式、或面部分析交互模式。
21.根据权利要求18至19中任一项所述的交互模式选择装置，还包括：
用于将在所述用户和所述用户-机器界面的所述部分之间估计的距离与在所估计的距离处的有效可用交互模式相关联的装置。
22.根据权利要求21所述的交互模式选择装置，还包括：
用于存储要启用的交互模式的表的装置，其中，表条目由所估计的距离值引用。
23.根据权利要求21所述的交互模式选择装置，还包括：
用于存储要启用的设备、传感器、模块、应用、或交互模式特性中的一项或多项的表的装置，其中，表条目由所估计的距离值引用。
24.根据权利要求18至19中任一项所述的交互模式选择装置，还包括：
用于向所述用户指示所选择的一个或多个活动交互模式的装置。
CN201780053227.4A 2016-09-30 2017-09-05 基于用户和机器界面之间的检测距离的交互模式选择 Pending CN109643167A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/282,414 2016-09-30
US15/282,414 US10168767B2 (en) 2016-09-30 2016-09-30 Interaction mode selection based on detected distance between user and machine interface
PCT/US2017/050083 WO2018063754A2 (en) 2016-09-30 2017-09-05 Interaction mode selection based on detected distance between user and machine interface

Publications (1)

Publication Number Publication Date
CN109643167A true CN109643167A (zh) 2019-04-16

Family

ID=61758765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780053227.4A Pending CN109643167A (zh) 2016-09-30 2017-09-05 基于用户和机器界面之间的检测距离的交互模式选择

Country Status (6)

Country Link
US (1) US10168767B2 (zh)
EP (1) EP3519924A4 (zh)
JP (1) JP2019533846A (zh)
KR (1) KR20190050775A (zh)
CN (1) CN109643167A (zh)
WO (1) WO2018063754A2 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110647050A (zh) * 2019-11-28 2020-01-03 星络智能科技有限公司 存储介质、智能面板及其多层级交互方法
CN110941196A (zh) * 2019-11-28 2020-03-31 星络智能科技有限公司 智能面板及基于角度检测的多层级交互方法、存储介质
WO2021259341A1 (zh) * 2020-06-24 2021-12-30 京东方科技集团股份有限公司 交互系统、交互方法和机器可读存储介质
US11687167B2 (en) 2019-08-30 2023-06-27 Google Llc Visual indicator for paused radar gestures
US11790693B2 (en) 2019-07-26 2023-10-17 Google Llc Authentication management through IMU and radar
US11841933B2 (en) 2019-06-26 2023-12-12 Google Llc Radar-based authentication status feedback
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
US12008169B2 (en) 2019-08-30 2024-06-11 Google Llc Radar gesture input methods for mobile devices

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11896910B2 (en) 2017-09-05 2024-02-13 State Space Labs, Inc. System and method of cheat detection in video games
US11602697B2 (en) 2017-09-05 2023-03-14 State Space Labs Inc. Sensorimotor assessment and training
EP3553630A1 (en) * 2018-04-13 2019-10-16 InterDigital CE Patent Holdings Method for assisting a positioning of a user, corresponding computer program product and device
CN109283999B (zh) * 2018-07-26 2021-09-21 杭州懒陈鑫网络科技有限公司 一种手势交互方法以及交互系统
KR102582863B1 (ko) 2018-09-07 2023-09-27 삼성전자주식회사 사용자 의도 기반 제스처 인식 방법 및 장치
KR102627014B1 (ko) * 2018-10-02 2024-01-19 삼성전자 주식회사 전자 장치 및 제스처 인식 방법
US20220028123A1 (en) * 2018-12-06 2022-01-27 Sony Group Corporation Information processing apparatus, information processing method, and program
CN109754801A (zh) * 2019-01-15 2019-05-14 东莞松山湖国际机器人研究院有限公司 一种基于手势识别的语音交互系统及方法
CN109815896B (zh) * 2019-01-23 2022-12-27 武汉嗨柜技术有限公司 一种针对智能售货柜的参数可配置的虚拟货道划分方法
CN110908504B (zh) * 2019-10-10 2021-03-23 浙江大学 一种增强现实博物馆协作交互方法与系统
CN110989832B (zh) * 2019-11-21 2022-06-24 维沃移动通信有限公司 一种控制方法和电子设备
JP6929979B2 (ja) * 2020-01-31 2021-09-01 ユニ・チャーム株式会社 表示制御装置、表示制御方法および表示制御プログラム
US11882508B2 (en) * 2020-03-23 2024-01-23 Sap Se Data processing system for smart devices
CN111273833B (zh) * 2020-03-25 2022-02-01 北京百度网讯科技有限公司 人机交互的控制方法、装置和系统、电子设备
US11194468B2 (en) * 2020-05-11 2021-12-07 Aron Ezra Systems and methods for non-contacting interaction with user terminals

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101009480A (zh) * 2006-01-25 2007-08-01 明基电通股份有限公司 控制声音信号的增益的方法及音频系统
JP2010206365A (ja) * 2009-03-02 2010-09-16 Brother Ind Ltd 対話装置
CN102088521A (zh) * 2009-12-07 2011-06-08 宏达国际电子股份有限公司 基于环境噪音感测的通讯质量的改善方法及电子装置
CN102185954A (zh) * 2011-04-29 2011-09-14 信源通科技（深圳）有限公司 视频通话中音频调整方法及终端设备
JP2013145468A (ja) * 2012-01-13 2013-07-25 Sony Corp 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
WO2014012449A1 (zh) * 2012-07-19 2014-01-23 腾讯科技（深圳）有限公司 桌面同步方法、装置、处理中心及系统
CN103716438A (zh) * 2012-09-28 2014-04-09 联想移动通信科技有限公司 降噪方法，装置及移动终端
US20140250245A1 (en) * 2013-03-04 2014-09-04 Microsoft Corporation Modifying Functionality Based on Distances Between Devices
CN104869209A (zh) * 2015-04-24 2015-08-26 广东小天才科技有限公司 一种调整移动终端录音的方法及装置
CN105009025A (zh) * 2013-02-13 2015-10-28 谷歌公司 基于观看距离的自适应屏幕接口

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0713676A (ja) * 1993-06-28 1995-01-17 Sony Corp 手書き情報入力装置
JPH11305984A (ja) * 1998-04-16 1999-11-05 Hitachi Ltd 携帯情報端末装置
JP4827626B2 (ja) * 2006-06-14 2011-11-30 キヤノン株式会社 被制御機器、遠隔制御システムおよび遠隔制御システムの制御方法、プログラム
US8441441B2 (en) * 2009-01-06 2013-05-14 Qualcomm Incorporated User interface for mobile devices
US20110228075A1 (en) * 2010-03-22 2011-09-22 Madden Thomas E Digital camera with underwater capture mode
US9454186B2 (en) * 2011-09-30 2016-09-27 Nokia Technologies Oy User interface
US9582236B2 (en) * 2011-09-30 2017-02-28 Nokia Technologies Oy User interface
US20140009378A1 (en) 2012-07-03 2014-01-09 Yen Hsiang Chew User Profile Based Gesture Recognition
US9188997B2 (en) 2013-03-15 2015-11-17 Enlighted, Inc. Configuration free and device behavior unaware wireless switch
US20150195334A1 (en) 2013-06-17 2015-07-09 Intel Corporation Remote user interface for self-service computing device
KR102158208B1 (ko) * 2013-07-26 2020-10-23 엘지전자 주식회사 전자기기 및 그것의 제어 방법
JP2015090547A (ja) * 2013-11-05 2015-05-11 ソニー株式会社 情報入力装置及び情報入力方法、並びにコンピューター・プログラム
WO2015094222A1 (en) * 2013-12-18 2015-06-25 Intel Corporation User interface based on wearable device interaction
US20160092877A1 (en) 2014-09-25 2016-03-31 Yen Hsiang Chew Secure user authentication interface technologies
JP6240135B2 (ja) * 2015-10-26 2017-11-29 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法およびプログラム
US20170289766A1 (en) * 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Digital Assistant Experience based on Presence Detection

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101009480A (zh) * 2006-01-25 2007-08-01 明基电通股份有限公司 控制声音信号的增益的方法及音频系统
JP2010206365A (ja) * 2009-03-02 2010-09-16 Brother Ind Ltd 対話装置
CN102088521A (zh) * 2009-12-07 2011-06-08 宏达国际电子股份有限公司 基于环境噪音感测的通讯质量的改善方法及电子装置
CN102185954A (zh) * 2011-04-29 2011-09-14 信源通科技（深圳）有限公司 视频通话中音频调整方法及终端设备
JP2013145468A (ja) * 2012-01-13 2013-07-25 Sony Corp 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
US20140365927A1 (en) * 2012-01-13 2014-12-11 Sony Corporation Information processing apparatus, information processing method, and computer program
WO2014012449A1 (zh) * 2012-07-19 2014-01-23 腾讯科技（深圳）有限公司 桌面同步方法、装置、处理中心及系统
CN103716438A (zh) * 2012-09-28 2014-04-09 联想移动通信科技有限公司 降噪方法，装置及移动终端
CN105009025A (zh) * 2013-02-13 2015-10-28 谷歌公司 基于观看距离的自适应屏幕接口
US20140250245A1 (en) * 2013-03-04 2014-09-04 Microsoft Corporation Modifying Functionality Based on Distances Between Devices
CN104869209A (zh) * 2015-04-24 2015-08-26 广东小天才科技有限公司 一种调整移动终端录音的方法及装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11841933B2 (en) 2019-06-26 2023-12-12 Google Llc Radar-based authentication status feedback
US11790693B2 (en) 2019-07-26 2023-10-17 Google Llc Authentication management through IMU and radar
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
US11687167B2 (en) 2019-08-30 2023-06-27 Google Llc Visual indicator for paused radar gestures
US12008169B2 (en) 2019-08-30 2024-06-11 Google Llc Radar gesture input methods for mobile devices
CN110647050A (zh) * 2019-11-28 2020-01-03 星络智能科技有限公司 存储介质、智能面板及其多层级交互方法
CN110941196A (zh) * 2019-11-28 2020-03-31 星络智能科技有限公司 智能面板及基于角度检测的多层级交互方法、存储介质
CN110647050B (zh) * 2019-11-28 2020-04-17 星络智能科技有限公司 存储介质、智能面板及其多层级交互方法
WO2021259341A1 (zh) * 2020-06-24 2021-12-30 京东方科技集团股份有限公司 交互系统、交互方法和机器可读存储介质

Also Published As

Publication number Publication date
US20180095524A1 (en) 2018-04-05
US10168767B2 (en) 2019-01-01
WO2018063754A4 (en) 2019-05-09
EP3519924A4 (en) 2020-05-06
EP3519924A2 (en) 2019-08-07
WO2018063754A2 (en) 2018-04-05
JP2019533846A (ja) 2019-11-21
KR20190050775A (ko) 2019-05-13
WO2018063754A3 (en) 2019-03-14

Similar Documents

Publication Publication Date Title
CN109643167A (zh) 基于用户和机器界面之间的检测距离的交互模式选择
US11861070B2 (en) Hand gestures for animating and controlling virtual and graphical elements
US11531402B1 (en) Bimanual gestures for controlling virtual and graphical elements
US20220206588A1 (en) Micro hand gestures for controlling virtual and graphical elements
US11995774B2 (en) Augmented reality experiences using speech and text captions
US20220326781A1 (en) Bimanual interactions between mapped hand regions for controlling virtual and graphical elements
US20240087237A1 (en) Augmented reality guidance that generates guidance markers
US20220206102A1 (en) Augmented reality precision tracking and display
US12028626B2 (en) Visual-inertial tracking using rolling shutter cameras
US11729573B2 (en) Audio enhanced augmented reality
US11195341B1 (en) Augmented reality eyewear with 3D costumes
US11889291B2 (en) Head-related transfer function
US20210405363A1 (en) Augmented reality experiences using social distancing
CN108475114A (zh) 用于对象姿势跟踪器的反馈
US20210406542A1 (en) Augmented reality eyewear with mood sharing
US11863963B2 (en) Augmented reality spatial audio experience
US20220358689A1 (en) Curated contextual overlays for augmented reality experiences
US12013985B1 (en) Single-handed gestures for reviewing virtual content
US20220362631A1 (en) Virtual tastings and guided tours for augmented reality experiences
US20230062366A1 (en) Handcrafted augmented reality experiences

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination