CN107846519B - 用于基于手势的管理的系统和方法 - Google Patents

用于基于手势的管理的系统和方法 Download PDF

Info

Publication number
CN107846519B
CN107846519B CN201711267628.8A CN201711267628A CN107846519B CN 107846519 B CN107846519 B CN 107846519B CN 201711267628 A CN201711267628 A CN 201711267628A CN 107846519 B CN107846519 B CN 107846519B
Authority
CN
China
Prior art keywords
user
module
computing device
mute
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711267628.8A
Other languages
English (en)
Other versions
CN107846519A (zh
Inventor
M.A.棉
R.H.伍海比
S.莫
T.M.科伦伯格
J.S.巴卡
D.斯塔纳索洛维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN107846519A publication Critical patent/CN107846519A/zh
Application granted granted Critical
Publication of CN107846519B publication Critical patent/CN107846519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G08B5/222—Personal calling arrangements or devices, i.e. paging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6008—Substation equipment, e.g. for use by subscribers including speech amplifiers in the transmitter circuit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/22—Illumination; Arrangements for improving the visibility of characters on dials
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/10—Details of telephonic subscriber devices including a GPS signal receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Environmental & Geological Engineering (AREA)
  • Electromagnetism (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

本申请公开了用于基于手势的管理的系统和方法。一种计算设备，包括：电池；麦克风；显示器；扬声器；照相机；无线通信电路系统；一个或多个传感器；存储器电路系统，具有存储于其上的指令；以及一个或多个处理器，用于执行所述指令以：识别与所述计算设备的状态对应的数据，所述状态对应于所述计算设备的位置；以及基于与所述计算设备的状态对应的所述数据，当所述计算设备处于与远程设备的活动电话呼叫中时促使所述麦克风被设定为静音状态。

Description

用于基于手势的管理的系统和方法
技术领域
本公开涉及通信和交互，并且更具体地涉及用于通过执行手势来管理活动语音和/或视频呼叫的系统和方法。
背景技术
随着便携式电子设备已经变得更紧凑并且由这样的设备执行的功能的种类已经增加，设计允许用户容易地与这样的电子设备交互的用户界面变为一种挑战。为与桌面或膝上型计算机相比具有小得多的屏幕的诸如像智能电话（例如，iPhones®、基于安卓®的电话、黑莓®、基于塞班®的电话、基于Palm®的电话等等）的便携式电子设备设计简单的用户界面可能是特别有挑战的。
除物理按钮之外，或者作为其的替代，诸如智能电话的当前便携式电子设备可以包括触敏显示器（亦称为“触摸屏”或“触摸屏幕”）。触摸屏通常显示图形和文本，而且提供用户界面（例如但不限于图形用户界面（GUI）），用户可以通过用户界面与设备交互（例如访问存储在其上的应用、进行语音和/或视频通信呼叫，等等）。除准许用户进行简单的电话呼叫之外，当前智能电话还可以准许用户经由视频进行通信。用户界面通常允许用户管理与其他方的语音和视频通信。
例如，用户界面可以在活动电话呼叫期间向用户提供电话应用显示，其中，用户界面可以向用户提供将呼叫者挂起、添加新的呼叫者、使两个呼叫者一起进行会议、在电话线路之间交换以及使通信的用户端静音的能力。例如，在发起诸如会议呼叫之类的与其它人的通信时，用户可以激活静音功能，从而阻止从用户端传送可听声音。直到用户去激活静音功能之前，呼叫的另一端上的各方将不会听到出现在用户端上的音频。
一些当前的智能电话可以包括节能模式，其中触摸屏显示器可以在不活动的时段期间自动地关闭并且用户界面可以锁定。照此，在电话呼叫期间，显示器关闭以便保存电池寿命可以是经常发生的，然而，呼叫保持活动，并且用户可以继续与其他方进行通信。在用户激活静音功能的情况下这可能是有问题的。例如，因为显示器被关闭并且电话应用显示不再可见，用户可能不具有静音功能被激活的指示。在该实例中，用户可能尝试参与会话，但是由于静音功能被激活，其他方将不会听到来自用户端的音频。对于用户来说这可能是尤其令人沮丧和尴尬的。
一旦认识到静音功能保持激活，用户必须有必要激活显示器并且访问用户界面和电话应用显示，以便通过选择非静音功能来去激活静音功能。可以通过诸如按压预定义的按钮集合（同时或顺序地）、执行预定义的手势和/或录入代码或口令之类的几个公知的解锁过程中的任何一个来将一些智能电话的触摸屏显示器和用户界面解锁。
然而，这些解锁过程可能具有缺点。例如，执行按钮和/或手势组合可能是令人沮丧的，并且创建、记住和回想口令、代码等等可能是相当繁重的。除解锁电话之外，可能要求用户巡览用户界面以便返回到电话应用显示，以便查看活动的呼叫显示，进一步延迟用户使呼叫解除静音的能力。这些缺点可能降低解锁过程的易用性，并且因此，可能是耗时的，尤其当用户需要快速将呼叫解除静音时。当用户在呼叫延续期间几次激活静音功能时，这可能尤其是真实的。
附图说明
根据以下符合所要求保护的主题的实施例的详细描述，所要求保护的主题的特征和优点将是明显的，应当参考附图来考虑该描述，在附图中：
图1图示出符合本公开的各个实施例的示例设备到设备系统；
图2图示出符合本公开的各个实施例的示例设备;
图3更详细地图示出图2的设备；
图4图示出符合本公开的各个实施例的检测模块的一个实施例；
图5图示出符合本公开的各个实施例的检测模块的另一个实施例；
图6A和6B图示出符合本公开的各个实施例的、在活动电话呼叫期间将设备从静音状况转换到非静音状况的示例性方法；
图7是图示出根据本公开的至少一个实施例的用于管理活动通信的一个实施例的流程图。
尽管将在参考说明性实施例的情况下进行以下详细描述，但其许多替换、修改和变化对本领域技术人员将是明显的。
具体实施方式
作为概述，本公开总体上涉及用于移动设备之间的语音和/或视频通信的系统和方法。更具体地，符合本公开的系统和方法总体上提供对第一移动设备和一个或多个其他移动设备之间的活动语音和/或视频呼叫的管理。
符合本公开的系统包括第一移动设备，该第一移动设备被配置为发起与至少一个其他移动设备的通信。例如，可以通过2G、3G和/或4G蜂窝连接来建立通信。替换地，可以经由WiFi连接通过因特网来建立通信。在活动语音和/或视频呼叫期间，第一移动设备被配置为在活动语音和/或视频呼叫期间向用户提供设备的静音功能的状态的持久的视觉指示。第一移动设备进一步包括用户界面，该用户界面被配置为接收预定义的手势和/或语音命令形式的用户输入，并且允许用户不管设备的显示器是否被关闭和/或用户界面是否被锁定而通过预定义的手势和/或语音命令在静音和非静音状态之间进行切换。
符合本公开的系统和方法独立于显示器是否关闭和/或用户界面是否被锁定而在活动的呼叫期间向用户提供静音功能的状态的连续的视觉指示。因此，可以在不必首先激活显示器和/或访问用户界面来确定静音功能的状态（其通常要求来自用户的输入，诸如按压预定义的按钮集合（同时或顺序地）、执行预定义的手势和/或录入代码或口令）的情况下，向用户警告呼叫被静音的事实。另外地，符合本公开的系统和方法向用户提供在不必首先激活显示器和/或访问用户界面的情况下在活动的呼叫期间在静音和非静音状态之间进行切换的能力。照此，符合本公开的系统和方法提供用于监视和管理活动语音和/或视频呼叫的状态（尤其是静音功能）的更高效且用户友好的过程。
图1图示出符合本公开的各个实施例的设备到设备系统100。系统100通常可以包括经由网络120进行通信的第一设备102和至少一个其他设备112。第一设备102包括至少照相机104、麦克风106和显示器108。设备112包括至少照相机114、麦克风116和显示器118。网络120包括至少一个服务器122。
设备102和112可以包括能够进行有线和／或无线通信的各种硬件平台。例如，设备102和112可以包括但不限于视频会议系统、台式计算机、膝上型计算机、平板式计算机、智能电话（例如，iPhone®、基于安卓®的电话、黑莓®、基于塞班®的电话、基于Palm®的电话等等）、蜂窝手机等等。
照相机104和114包括用于捕捉表示包括一个或多个人的环境的数字图像的任何设备，并且可以具有足够的分辨率 用于在本文中所描述的环境中进行一个或多个人的面部分析。例如，照相机104和114可以包括静物照相机（例如，被配置为捕捉静止相片的照相机）或视频照相机（例如，被配置为捕捉由多个帧组成的移动图像的照相机）。照相机104和114可以被配置为使用可见光谱中的光或利用不限于红外光谱、紫外光谱等等的电磁波谱的其他部分来进行操作。照相机104和114可以被分别地合并在设备102和112内，或者可以是被配置为经由有线或无线通信来与设备102和112进行通信的单独的设备。照相机104和114的特定示例可以包括可以与计算机、视频监视器等等相关联的有线（例如，通用串行总线（USB）、以太网、火线等等）或无线（例如，WiFi、蓝牙等等）web照相机、移动设备照相机（例如，集成在例如先前讨论的示例设备中的蜂窝电话或智能电话照相机）、集成的膝上型计算机照相机、集成的平板式计算机照相机（例如，iPad®、Galaxy Tab®等等），等等。
设备102和112可以进一步包括麦克风106和116。麦克风106和116包括被配置为感测声音的任何设备。麦克风106和116可以分别地被集成在设备102和112内，或者可以经由有线或无线通信与设备102、112进行交互，诸如在关于照相机104和114的以上示例中描述的。设备102和112可以进一步包括扬声器107、117。扬声器107、117可以被配置为再现本地声音（例如，提供用户语音的经转换或未经转换的音频反馈）以及远程声音（例如，参与电话、视频呼叫或交互的（一个或多个）其它方的声音（经转换或未经转换的））。
显示器108和118包括被配置为显示文本、静止图像、移动图像（例如，视频）、用户界面、图形等等的任何设备。显示器108和118可以分别地被集成在设备102和112内，或者可以经由有线或无线通信与设备进行交互，诸如在关于照相机104和114的以上示例中描述的那样。
网络120可以包括各种第二代（2G）、第三代（3G）、第四代（4G）基于蜂窝的数据通信技术、Wi-Fi无线数据通信技术，等等。网络120包括被配置为当使用这些技术时建立和维持通信连接的至少一个服务器122。例如，服务器122可以被配置为支持因特网相关的通信协议，像用于创建、修改和终止两方（单播）和多方（多播）会话的会话发起协议（SIP）、用于呈现允许协议建立在字节流连接的顶端上的构架的交互连接建立协议（ICE）、用于允许通过网络存取转换器操作的应用发现被分配用于连接到远程主机的应用的用户数据报协议（UDP）连接的其他NAT、IP地址和端口的存在的网络存取转换器（或NAT）会话穿越实用程序协议（STUN）、用于允许NAT或防火墙背后的元件通过传输控制协议（TCP）或UDP连接来接收数据的使用围绕NAT的中继器的穿越（TURN），等等。
图2图示出根据本公开的各个实施例的示例设备102。尽管仅仅描述了设备102，但设备112（例如，远程设备）可以包括被配置为提供相同的或类似的功能的资源。如较早所描述的，设备102可以包括无线通信设备，诸如蜂窝电话、卫星电话、无绳电话、个人数字助理（PDA）、便携式计算机，或能够进行有线和／或无线通信的任何其他设备。在所图示的实施例中，设备102是示例性智能电话，并且具体地是可从加利福尼亚库比蒂诺（Cupertino）的苹果股份有限公司（Apple Inc.）获得的Apple®iPhone®。如先前所讨论的，设备102被示出为包括照相机104、麦克风106、扬声器107和显示器108。如通常理解的，设备102可以进一步包括被配置为允许用户输入空间数据以控制设备102的操作的多个形式的用户输入。在一个实施例中，显示器108可以是被配置为允许用户对呈现在显示器108上的设备102的图形用户界面（GUI）200进行控制（即，巡览）的触敏显示器。除触摸屏之外，设备还可以包括允许用户对GUI 200进行巡览的、与显示器108分离的其他形式的用户输入（例如，按钮202、旋钮、跟踪球，等等）。
设备102可以被配置为支持各种应用204（1）-204（n）。应用204（1)-204（n）可以包括但不限于电话应用、视频会议应用、电子邮件应用、即时消息应用、博客应用、数字照相机应用、数字视频照相机应用、web浏览应用、数字音乐播放机应用和/或数字视频播放机应用。可以在设备102上执行的各种应用204（1）-204（n）可以使用至少一个公共物理用户界面设备，诸如触摸屏显示器108。
设备102可以进一步包括状态指示器206。如本文中更详细地描述的，状态指示器206可以被配置为向用户提供运行的应用的一个或多个参数的状况的视觉指示。状态指示器206可以包括光源，被配置为以一个或多个不同的样式发射光以便向用户指示设备102上的活动运行的应用的一个或多个参数的各种状况。在一个实施例中，光源可以包括一个或多个发光二极管（LED）。应当注意到，作为对LED的替换或补充，可以使用其它光源。
图3更详细地图示出图2的设备102。应当理解，图3中示出的设备102是符合本公开的设备的一个示例。照此，与示出的相比，符合本公开的设备可以具有更多或更少组件、可以组合两个或更多组件，或者可以具有组件的不同的配置或布置。可以以硬件、软件或硬件和软件的组合（包括一个或多个信号处理和/或专用集成电路）来实施图3中示出的各种组件。
如所示，照相机104、麦克风106和触敏显示器108可以提供针对照相机、音频和用户输入构架模块300的输入。照相机、音频和用户输入构架模块300可以包括通常良好定义的并且可操作为控制至少照相机104、麦克风106和触敏显示器108的定制的、专有的、已知的和/或开发后的音频、视频处理，和/或用户输入代码（或指令集）。例如，照相机、音频和用户输入构架模块300可以使照相机104、麦克风106和触敏显示器108记录图像、到对象的距离、声音和/或触摸，可以处理图像、声音、（一个或多个）音频信号和/或触摸，可以使图像和/或声音被再现，等等。照相机、音频和用户输入构架模块300可以取决于设备102（并且更具体地取决于在设备302中运行的操作系统（OS））而变化。示例操作系统包括iOS®、安卓®、黑莓®OS、塞班®、Palm®OS，等等。扬声器107可以从照相机、音频和用户输入构架模块300接收音频信息，并且可以被配置为再现本地声音（例如，提供用户语音的经转换或未经转换的音频反馈）以及远程声音（例如，参与虚拟地点中的电话、视频呼叫或交互的（一个或多个）其他方的声音（经转换或未经转换的））。
设备102可以进一步包括检测和跟踪模块302，该检测和跟踪模块302被配置为识别并跟踪用户的一个或多个部分，包括但不限于由照相机104提供的（一个或多个）图像内的头部、面部、面部区域和/或用户身体的其它部分（例如手和/或手指）。例如，检测模块302可以包括通常良好定义的并且可操作为接收标准格式图像（例如，但不限于RGB颜色图像）并且至少在某程度上识别图像中的面部的定制的、专有的、已知和/或开发后的面部检测代码（或指令集）、硬件和/或固件。检测和跟踪模块302也可以被配置为通过一系列图像（例如，以每秒24帧的图像帧）来跟踪所检测的面部并且基于所检测的面部来确定头部位置。可以由检测／跟踪模块302采用的已知跟踪系统可以包括粒子滤波、均值漂移、卡尔曼滤波等等，其中每个均可以利用边缘分析、平方差总和分析、特征点分析、直方图分析、皮肤色调分析，等等。
应当注意到，检测模块302也可以包括通常良好定义的并且可操作为接收标准格式图像（例如，但不限于RGB颜色图像）并且至少在某程度上识别图像中的手并且通过一系列图像跟踪所检测的手以基于所检测的手来确定手位置的定制的、专有的、已知和/或开发后的面部检测代码（或指令集）、硬件和/或固件，如本文中更详细地描述的。
检测和跟踪模块302可以进一步被配置为识别面部中的特征（例如，诸如眼睛、眉毛、鼻、口等等的面部标志的方位和/或形状）和/或手中的特征（例如，诸如手指、手掌、手腕等等的手的标志的方位和/或形状）。检测和跟踪模块302可以包括通常良好定义的并且可操作为从照相机104接收标准格式图像（例如，但不限于RGB颜色图像）并且至少在某程度上提取图像中的一个或多个用户特性304的定制的、专有的、已知和/或开发后的特性识别代码（或指令集）。这样的已知特性系统包括但不限于由科罗拉多州立大学作出的CSU面部识别评估系统、可以在公共开放源计算机视觉（OpenCVTM）程序包中找到的标准维奥拉-琼斯（Viola-Jones）提升级联构架。
在一个实施例中，GUI 200的用户输入和控制可以直接地基于所识别的用户特性304，诸如像所感测的面部动作（例如，面部特征的改变）和或所感测的手的动作（例如，手特征的改变）。
设备102进一步包括触摸检测模块306，该触摸检测模块306被配置为从照相机、音频和用户输入构架模块300接收触摸数据，并且基于所接收的触摸数据来识别触摸事件并生成触摸输入数据。触摸事件标识符可以包括触敏显示器108的触摸类型和/或（一个或多个）触摸方位。触摸类型可以包括对触敏显示器108的单击、点击并按住、点击并移动、捏合和伸展、滑动等等。（一个或多个）触摸方位可以包括触敏显示器108的触摸开始方位、触摸结束方位和/或中间的移动触摸方位，等等。触摸方位可以对应于触敏显示器108的坐标。触摸检测模块306可以包括通常良好定义的并且可操作为接收触摸数据并且识别触摸事件的定制的、专有的、已知和/或开发后的触摸检测代码（或指令集）。
设备进一步包括运动检测模块308，该运动检测模块308被配置为检测设备102的移动，包括移动的方向和量值。运动检测模块308可以包括被配置为检测或感测设备102的运动或位置的已知传感器。例如，运动检测模块308可以包括一个或多个陀螺仪、一个或多个GPS（全球定位系统）跟踪器，或者这些设备的组合。运动检测模块308可以包括通常良好定义的并且可操作为识别运动事件的定制的、专有的、已知和/或开发后的触摸检测代码（或指令集）。
设备102进一步包括应用控制模块310，其被配置为允许设备102的用户与应用204（1）-204（n）中的至少一个进行交互。更具体地，应用控制模块310可以包括界面，该界面被配置为允许用户控制运行应用的一个或多个参数。例如，在电话应用正在运行并且用户已经做出从设备102到设备112的呼叫的情况下，应用控制模块310可以被配置为向用户提供活动的电话呼叫的用户界面。更具体地，显示组件312可以被配置为在显示器108上显示活动的电话呼叫的用户界面。用户可以浏览一个或多个功能并且从一个或多个功能中进行选择，该功能包括但不限于，将呼叫者挂起、添加新的呼叫者、使两个呼叫者一起进行会议、在电话线路之间交换、以及在呼叫期间使麦克风106静音。
应用控制模块310被配置为接收用户输入（例如，触摸输入、运动输入、语音命令、面部的和/或手特性，等等）以允许用户巡览并且选择一个或多个选项。例如，应用控制模块310可以被配置为接收来自触摸检测模块306的触摸输入数据、来自运动检测模块308的运动输入数据、来自麦克风106的语音输入数据以及来自检测模块302的用户特性304（例如面部的和/或手特性）。
应用控制模块310可以进一步被配置为与状态指示器206进行通信。更具体地，状态指示器206可以包括状态指示模块311，该状态指示模块311被配置为从与运行的应用的一个或多个参数的状况有关的应用控制模块310接收数据。响应于从应用控制模块310接收到数据，状态指示模块311可以被配置为控制状态指示器206以提供活动通信的至少一个功能的状况中的状况的视觉指示。
在活动电话呼叫的情况下，例如，状态指示模块311可以被配置为接收与静音功能的当前状态有关的数据。状态指示模块311可以进一步被配置为控制状态指示器206响应于所接收的数据来向用户提供静音功能的当前状态的视觉指示。取决于静音功能的当前状态，状态指示器206可以以一个或多个不同的样式发射光（例如，不同的闪烁样式、变化的强度、稳定的发射，等等）。例如，在静音功能活动的情况下（即，麦克风106被静音），状态指示器206可以以预定的间隔发射闪烁的光。在静音功能不活动（即，麦克风106没有被静音）的情况下，状态指示器可以保持不活动（即，不发射光）。应当注意到，状态指示器206可以使用各种光发射样式来向用户提供静音功能的当前状态的视觉指示。例如，状态指示器206包括多色光源，其中，当静音功能活动时，可以发射具有第一颜色的光，并且当静音功能不活动时，可以发射具有第二颜色的光。
设备102进一步包括通信模块314，通信模块314被配置为在设备102、112之间传送和接收信息。通信模块314可以包括通常良好定义的并且可操作为在设备102、112之间传送和接收音频和视频信息的定制的、专有的、已知和/或开发后的通信处理代码（或指令集）。通信模块314如先前描述的那样经由网络320传送和接收以上信息。
设备102可以进一步包括被配置为执行与设备102相关联的操作的一个或多个处理器318以及包括在其中的一个或多个模块。
图4图示出符合本公开的各个实施例的检测和跟踪模块302a的一个实施例。如所示，检测和跟踪模块302a可以被配置为识别用户的面部特性304a。检测模块302a可以被配置为经由照相机和音频构架模块300从照相机104接收一个或多个图像，并且至少在某程度上识别图像中的面部（或可选地多个面部）。检测模块302a也可以被配置为至少在某程度上识别和确定图像中的一个或多个面部特性304a。如本文中所描述的，可以基于由检测模块302a识别的一个或多个面部参数来生成面部特性304a。面部特性304a可以包括可以包括面部的特征，包括但不限于诸如眼睛、眉毛、鼻、口等等的面部标志的方位和/或形状以及口、眼睛和/或眼睑的移动。
在所图示的实施例中，检测模块302a可以包括面部检测／跟踪模块400、面部归一化模块402、标志检测模块404、面部样式模块406、面部姿势模块408、面部表情检测模块410、眼睛检测／跟踪模块412和眼睛分类模块414。面部检测／跟踪模块400可以包括通常良好定义的并且可操作为至少在某程度上检测和识别从照相机104接收到的静止图像或视频流中的人类面部的尺寸和方位的定制的、专有的、已知和/或开发后的面部跟踪代码（或指令集）。这样的已知面部检测／跟踪系统例如包括维奥拉（Viola）和琼斯（Jones）的技术，公开为Paul Viola and Michael Jones, Rapid Object Detection using a Boosted Cascade of Simple Features, Accepted Conference on Computer Vision andPattern Recognition, 2001。这些技术通过在图像上详尽地扫描窗口来使用自适应提升（AdaBoost）分类器的级联来检测面部。面部检测／跟踪模块400也可以横跨多个图像跟踪面部或面部区域。
面部归一化模块402可以包括通常良好定义的并且可操作为将图像中的所识别的面部归一化的定制的、专有的、已知和/或开发后的面部归一化代码（或指令集）。例如，面部归一化模块402可以被配置为旋转图像以对齐眼睛（如果已知眼睛的坐标）、将图像修剪到通常对应于面部的尺寸的较小的尺寸、缩放图像以使眼睛之间的距离恒定、应用使不在包含典型面部的椭圆中的像素归零的掩蔽、对图像进行直方图均衡以平滑针对未被掩蔽像素的灰度值的分布，和/或将图像归一化使得未被掩蔽像素具有零均值和标准偏差1。
标志检测模块404可以包括通常良好定义的并且可操作为至少在某程度上检测和识别图像中的面部的各种面部特征的定制的、专有的、已知和/或开发后的标志检测代码（或指令集）。标志检测中隐含的是至少在某种程度上面部已经被检测到。可选地，可能已经执行了某程度的局部化（例如，通过面部归一化模块402），以识别／集中于能够潜在地找到标志的图像的区段／区域。例如，标志检测模块404可以基于探试分析并且可以被配置为识别和/或分析眼睛（和/或眼角）、鼻（例如，鼻尖）、下巴（例如，下巴尖）、颧骨和颌的相对位置、尺寸和/或形状。也可以使用基于维奥拉-琼斯的分类器来检测眼角和嘴角。
面部样式模块306可以包括通常良好定义的并且可操作为基于图像中所识别的面部的标志来识别和/或生成面部样式的定制的、专有的、已知和/或开发后的面部样式代码（或指令集）。如可以理解的，可以认为面部样式模块406是面部检测／跟踪模块400的部分。
面部姿势模块408可以包括通常良好定义的并且可操作为至少在某程度上检测和识别图像中的面部的姿势的定制的、专有的、已知和/或开发后的面部定向检测代码（或指令集）。例如，面部姿势模块408可以被配置为确立图像中的面部相对于设备102的显示器108的姿势。更具体地，面部姿势模块408可以被配置为确定用户的面部是否指向设备102的显示器108，从而指示用户是否在观察在显示器108上显示的内容。
面部表情检测模块410可以包括通常良好定义的并且可操作为检测和/或识别图像中的用户的面部表情的定制的、专有的、已知和/或开发后的面部表情检测和/或识别代码（或指令集）。例如，面部表情检测模块410可以确定面部特征（例如，眼睛、口、颊、牙齿等等）的尺寸和/或位置，并且将面部特征与包括具有对应的面部特征分类的多个样本面部特征的面部特征数据库相比较。
眼睛检测／跟踪模块412可以包括通常良好定义的并且可操作为至少在某程度上检测和识别图像中的用户的眼睛移动和/或眼睛注视或焦点的定制的、专有的、已知和/或开发后的眼睛跟踪代码（或指令集）。类似于面部姿势模块408，眼睛检测／跟踪模块412可以被配置为确立用户的眼睛相对于设备102的显示器108的所指向的方向。眼睛检测／跟踪模块412可以进一步被配置为确立用户的眨眼。
如所示，眼睛检测／跟踪模块412可以包括眼睛分类模块414，该眼睛分类模块414被配置为确定用户的眼睛（个体地和/或两者）是睁开的还是闭合的以及用户的眼睛相对于显示器108的移动。具体地，眼睛分类模块414被配置为接收一个或多个归一化的图像（由归一化模块402所归一化的图像）。归一化的图像可以包括但不限于：旋转以对齐眼睛（如果已知眼睛的坐标）、对图像进行修剪（具体地参考眼角位置来修剪眼睛）、缩放图像以使眼睛之间的距离恒定、对图像进行直方图均衡以平滑针对未被掩蔽像素的灰度值的分布，和/或将图像归一化使得未被掩蔽像素具有零均值和单位标准偏差。
当接收到一个或多个归一化的图像时，眼睛分类模块414可以被配置为分别地识别眼睛睁开/闭合和/或相对于显示器408的眼睛运动（例如，向左/向右、向上／向下、对角地看，等等），并且照此，在活动视频通信和/或交互期间实时地或接近实时地确定用户的眼睛的状态。眼睛分类模块414可以包括通常良好定义的并且可操作为至少在某程度上检测和识别图像中的用户的眼睑和眼睛的移动的定制的、专有的、已知和/或开发后的眼睛跟踪代码（或指令集）。在一个实施例中，眼睛分类模块414可以使用基于统计的分析，以便识别用户的眼睛的状态（睁开／闭合、移动，等等），包括但不限于线性判别分析（LDA）、人工神经网络（ANN）和/或支持向量机（SVM）。在分析期间，眼睛分类模块414可以进一步利用眼睛状态数据库，该眼睛状态数据库可以包括具有对应的眼睛特征分类的多个样本眼睛特征。
如先前描述的，应用控制模块310被配置为接收包括面部特性304a的用户特性304，并且基于用户特性304a允许用户对运行的应用的一个或多个选项进行巡览和选择。用户可以基于面部特性304a在电话呼叫期间控制静音功能。在一个实施例中，应用控制模块310可以被配置为基于用户的眼睛的状态允许用户在静音和非静音状况之间切换。例如，可以基于预定义数量的眨动来控制静音功能（例如，眨动一次就激活静音功能，并且眨动两次去激活静音功能）。可以基于面部特性304a的其它预定义状况（包括但不限于眼睛移动、眼睛注视的方向、面部表情、口移动等等）来控制静音功能。
图5图示出符合本公开的各个实施例的检测和跟踪模块302b的一个实施例。如所示，检测和跟踪模块302b可以被配置为识别用户的手特性304b。检测模块302b可以通常被配置为通过一系列图像（例如，以每秒24帧的视频帧）跟踪手区域。检测模块302b可以包括手检测和跟踪模块500，该手检测和跟踪模块500可以包括通常良好定义的并且可操作为接收一系列图像（例如，RGB颜色图像）并且至少在某程度上跟踪一系列图像中的手的定制的、专有的、已知和/或开发后的跟踪代码（或指令集）。这样的已知跟踪系统包括粒子滤波、光流、卡尔曼滤波等等，其中每个均可以利用边缘分析、平方差总和分析、特征点分析、均值漂移技术（或其派生），等等。
手检测模块302b也可以包括皮肤分割模块502，皮肤分割模块502通常被配置为识别图像的手区域内的手的肤色（由手检测和跟踪模块500定义）。皮肤分割模块502可以包括通常良好定义的并且可操作为将皮肤色调或颜色与手区域的其它区域区分的定制的、专有的、已知和/或开发后的皮肤识别代码（或指令集）。这样的已知皮肤识别系统包括对色彩饱和度颜色分量的阈值化、HSV颜色统计、颜色纹理模型化，等等。在一个示例实施例中，皮肤分割模块502可以使用通用统计肤色模型，诸如多变量高斯模型（和其派生）。
检测模块302b也可以包括形状特征提取模块504，该形状特征提取模块504通常被配置为识别由皮肤分割模块502生成的二进制图像中的手的一个或多个形状特征。形状特征通常包括二进制图像中的手形状的本征性质和/或“标记”，并且可以用于提高手势识别模块506识别图像中的手势的效率。形状特征例如可以包括偏心率、紧凑度、定向、矩形性、宽度中心、高度中心、疵点的数量、左和右部分之间的差、顶和底部分之间的差，等等。
例如，手势识别模块506可以通常被配置为基于由形状特征提取模块504所识别的手形状特征来利用图像的手区域识别手势，例如，如以下描述的。手势识别模块506可以包括通常良好定义的并且可操作为识别图像内的手势的定制的、专有的、已知和/或开发后的皮肤识别代码（或指令集）。根据本公开的教导可以使用的已知手势识别系统包括例如样式识别系统、珀耳修斯（Perseus）模型（和其派生）、隐马尔可夫（Markov）模型（和其派生）、支持向量机、线性区别分析、判定树等等。例如，手势识别模块506可以使用将一个或多个输入迭代地映射到一个或多个输出上的多层感知器（MLP）模型或其派生。用于MLP模型的通用构架是已知和良好定义的，并且通常包括通过区分不是线性可分离的数据来改进标准线性感知器模型的前馈神经网络。在该示例中，对MLP模型的输入可以包括由如上所述的形状特征提取模块504生成的一个或多个形状特征。
手势识别模块506的输出可以包括指示所识别的手势的类型的信号或数据集。这进而可以用于生成消费者特性数据30的部分。可以由照相机104捕捉的手势的示例可以包括拇指向上、拇指向下、“OK”符号、停止和走的手法，和手挥动。这些不意图是可以用于本公开的手势的类型的穷尽性列表。类似于如上所述的面部特性304a，应用控制模块310可以接收手特性304b，并且进而基于手特性而允许用户对运行的应用的一个或多个选项进行巡览和选择。
图6A和6B图示出符合本公开的各个实施例的、在活动电话呼叫期间将设备102从静音状况转换到非静音状况的示例性方法。图6A图示出在活动电话呼叫期间的设备102，其中，可以经由显示器108向用户呈现活动电话呼叫的用户界面600。用户可以浏览所显示的一个或多个选项并且从其中进行选择，该所显示的一个或多个选项包括但不限于：将呼叫者挂起602、在扬声器电话上进行呼叫604、使呼叫者一起进行会议606、使麦克风106静音608，和结束呼叫610。
通常，用户界面600可以被配置为向用户提供一个或多个所选择的选项的视觉指示。如所示，例如，当选择了静音功能608时，用户界面600可以通过改变静音功能图标的外观（例如，但不限于背景颜色改变）来向用户视觉指示静音功能608被激活。如先前描述的，当选择静音功能608时，状态指示器206可以进一步在活动电话呼叫期间向用户提供静音功能的当前状态的视觉指示（例如，灯612）。在该实例中，设备102可以通过显示器108的用户界面600以及状态指示器206来向用户提供静音功能608的状态的指示。
如通常理解的，设备102可以被配置为在使用期间保存电池能量。更具体地，在不活动的时段之后，可以选择性地关闭、停止等设备102的一个或多个功能。例如，设备102可以包括计时器用于在活动呼叫期间监视自从用户与用户界面600进行交互起多长时间已经流逝。如所示，当流逝的时间到达预定义阈值时，设备102可以被配置为关闭显示器108（或使显示器108暗淡）和/或将用户界面600转换到锁定状态。照此，用户界面600对于用户不是可视的，然而呼叫可以仍然保持活动，其中用户可以与其它呼叫者进行通信（例如，与其它呼叫者讲话或者收听其它呼叫者）。尽管活动电话呼叫的用户界面600不再对用户可视，但状态指示器206被配置为向用户提供静音功能608的状态的视觉指示（状态指示器206与显示器108分离并且因此与显示器108的状况无关）。照此，不管显示器108是否关闭和/或用户界面600是否被锁定，通过状态指示器206连续地向用户提供静音功能的当前状况。
图6B图示出在活动电话呼叫期间当显示器108关闭和/或用户界面600被锁定时设备102从静音状态转换到非静音状态。尽管显示器108可以关闭并且用户界面600可以被锁定，但在不必须激活显示器108和/或将用户界面600解锁的情况下，用户可以通过预定义的手势和/或语音命令在静音和非静音状态之间切换。更具体地，即使当显示器108关闭和/或用户界面600被锁定，应用控制模块310也可以在活动电话呼叫期间接收用户输入（例如，触摸输入、运动输入、语音命令、面部的和/或手特性，等等），以允许用户在静音和非静音状态之间切换。
用户可以通过执行一个或多个预定义形式的用户输入来在静音和非静音状态之间进行切换。例如，应用控制模块310可以被配置为基于来自触摸检测模块306的触摸输入数据（诸如像针对触摸屏的单击、双击、点击并按住、点击并移动、捏合和伸展、滑动等等）来在静音和非静音状态之间进行切换。应用控制模块310可以进一步被配置为基于来自运动检测模块308的运动输入数据（诸如像以预定义样式摇动设备102或移动设备102）来在静音和非静音状态之间进行切换。应用控制模块310可以进一步被配置为基于来自麦克风106的语音输入数据（诸如像预定义语音命令（例如，“静音”、“解除静音”，等等））来在静音和非静音状态之间进行切换。
应用控制模块310可以进一步被配置为基于来自检测模块302的用户特性304来在静音和非静音状态之间进行切换。例如，用户可以基于手特性304b（诸如像以预定义样式进行的手的挥动、手指的排列等等）来在静音和非静音状态之间进行切换。类似地，用户可以基于面部特性304a（诸如像眼睛移动、眼睑移动（例如眨动）等等）来在静音和非静音状态之间进行切换。如所示，当在静音和非静音状态之间进行切换时，状态指示器206可以向用户提供静音功能不再活动的视觉指示（例如，灯关闭613）。
图7是图示出用于管理活动通信的方法700一个实施例的流程图。方法700包括检测第一用户设备和远程用户设备之间的活动通信（操作610）。活动通信例如可以包括活动电话呼叫或活动视频呼叫。方法700进一步包括在第一用户设备的显示器上显示用户界面（操作720）。用户界面被配置为提供与第一用户设备和远程用户设备之间的活动通信有关的一个或多个功能。可以由第一用户设备接收用户输入（操作730）。用户输入可以用于从用户界面上的活动呼叫的一个或多个功能的一个或多个状况中进行选择。
可以识别功能的一个或多个状况（操作740），并且可以显示视觉指示（操作750）。更具体地，第一用户设备可以包括状态指示器，该状态指示器被配置为识别活动通信的功能的至少一个状况。状态指示器可以进一步被配置为显示表示所识别的状况的视觉指示。
尽管图7图示出根据各个实施例的方法操作，但要理解，在任何实施例中，不是所有这些操作都是必要的。实际上，本文中完全预想到的是，在本公开的其他的实施例中，可以按没有具体地在任何附图中示出的但是完全地符合本公开的方式来组合在图7中描绘的操作。因此，涉及未精确地在一个附图中示出的特征和/或操作的权利要求被认为在本公开的范围和内容内。
另外地，已经参考以上图和伴随的示例进一步描述了用于实施例的操作。一些图可以包括逻辑流程。尽管在本文中所呈现的这样的图可以包括特定逻辑流程，但能够理解的是，逻辑流程仅仅提供能够如何实施在本文中描述的通用功能的示例。此外，不一定必须以所呈现的顺序来执行给定的逻辑流程，除非另外指示。另外，可以通过硬件元件、由处理器执行的软件元件或其任何组合来实施给定逻辑流程。实施例不局限于该上下文。
在本文中已经描述了各种特征、方面和实施例。如本领域技术人员将理解的，特征、方面和实施例易于彼此进行组合以及易于进行变化和修改。因此，本公开应当被认为包括这样的组合、变化和修改。因此，本发明的宽度和范围不应当被任何以上描述的示例性实施例限制，但是应当仅仅根据所附权利要求和它们的等同物来定义。
如本文中的任何实施例中使用的，术语“模块”可以指代被配置为执行任何前述的操作的软件、固件和/或电路。软件可以被体现为记录在非暂时性计算机可读存储介质上的软件包、代码、指令、指令集和/或数据。固件可以被体现为在存储器设备中硬编码的（例如，非易失的）代码、指令或指令集和/或数据。如在本文中的任何实施例中使用的“电路”可以例如单个地或以任何组合地包括硬布线电路、诸如包括一个或多个单独指令处理核的计算机处理器之类的可编程电路、状态机电路和/或存储由可编程电路执行的指令的固件。模块可以共同地或单独地被体现为形成较大系统（例如，集成电路（IC）、片上系统（SoC）、台式计算机、膝上型计算机、平板式计算机、服务器、智能电话，等等）的部分的电路。
本文中描述的任何操作可以被实施在包括具有单独地或组合地存储在其上的指令的一个或多个存储介质的系统中，当该指令被一个或多个处理器执行时执行该方法。在这里，处理器例如可以包括服务器CPU、移动设备CPU，和/或其它可编程电路。而且，在本文中描述的操作意图可以横跨多个物理设备（诸如在多于一个不同的物理方位处的处理结构）分布。存储介质可以包括任何类型的有形介质，例如：任何类型的盘，包括硬盘、软盘、光盘、紧凑盘只读存储器（CD-ROM）、可重写的紧凑盘（CD-RW）和磁光盘；半导体设备，诸如只读存储器（ROM）、随机存取存储器（RAM）（诸如动态和静态RAM）、可擦除可编程只读存储器（EPROM）、电可擦除可编程只读存储器（EEPROM）、闪速存储器、固态盘（SSD）、磁或光学卡；或者适合于存储电子指令的任何类型的介质。其他实施例可以被实施为由可编程控制设备执行的软件模块。存储介质可以是非暂时性的。
已经在本文中采用的术语和表达被用作描述的术语而非进行限制，并且在使用这样的术语和表达时不存在将示出和描述的特征的任何等同物（或其部分）排除的意图，并且认识到，在权利要求的范围内，各种修改是可能的。因此，权利要求意图覆盖所有这样的等同物。在本文中已经描述了各种特征、方面和实施例。如本领域技术人员将理解的，特征、方面和实施例易于彼此进行组合以及易于进行变化和修改。因此，本公开应当被认为包括这样的组合、变化和修改。
如在本文中所描述的，可以使用硬件元件、软件元件或其任何组合来实施各个实施例。硬件元件的示例可以包括处理器、微处理器、电路、电路元件（例如，晶体管、电阻器、电容器、电感器等等）、集成电路、专用集成电路（ASIC）、可编程逻辑设备（PLD）、数字信号处理器（DSP）、现场可编程门阵列（FPGA）、逻辑门、寄存器、半导体设备、芯片、微芯片、芯片集，等等。
贯穿本说明书对“一个实施例”或“实施例”的引用意指与实施例结合描述的特定特征、结构或特性被包括在至少一个实施例中。因此，贯穿本说明书在不同的地方所出现的短语“在一个实施例中”或“在实施例中”不必然都指代相同的实施例。此外，可以在一个或多个实施例中以任何适当的方式组合特定特征、结构或特性。
根据一个方面，其提供第一用户设备，该第一用户设备被配置为允许第一用户设备和远程用户设备之间的活动通信的基于手势的管理。第一用户设备包括显示器，该显示器用于显示用于一个或多个通信应用的用户界面。第一用户设备进一步包括通信模块，该通信模块被配置为响应于对通信应用之一的选择来发起第一用户设备和该远程用户设备之间的通信。第一用户设备进一步包括应用控制模块，该应用控制模块被配置为在第一用户设备和远程用户设备之间的活动通信期间在触摸屏显示器上提供第二用户界面。第二用户界面被配置为提供与活动通信有关的一个或多个功能。应用控制模块被配置为接收用户输入并且基于用户输入来控制至少一个功能的一个或多个状况。
第一用户设备进一步包括状态指示器，该状态指示器被配置为与应用控制模块进行通信并且提供至少一个功能的一个或多个状况的视觉指示。状态指示器被配置为提供视觉指示，并且应用控制模块被配置为独立于显示器的亮度控制至少一个功能的一个或多个状况。
另一个示例第一用户设备包括上述组件，并且状态指示器包括光源，该光源被配置为响应于至少一个功能的至少一个状况来发射光。
另一个示例第一用户设备包括上述组件，并且通信应用包括电话应用，并且所述至少一个功能包括静音功能。
另一个示例第一用户设备包括上述组件，并且一个或多个状况包括静音状态和非静音状态。
另一个示例第一用户设备包括上述组件，并且用户输入是以下中的至少一个：触摸事件、运动事件、语音事件、用户的面部特性和用户的手特性。
另一个示例第一用户设备包括上述组件，并且进一步包括触摸检测模块，该触摸检测模块被配置为响应于在显示器上的一个或多个触摸事件来生成触摸输入数据并且向应用控制模块传送触摸输入数据。
另一个示例第一用户设备包括上述组件，并且进一步包括运动检测模块，该运动检测模块被配置为响应于对第一用户设备的一个或多个运动事件来生成运动输入数据并且向应用控制模块传送运动输入数据。
另一个示例第一用户设备包括上述组件，并且进一步包括面部检测模块，该面部检测模块被配置为检测用户的图像中的面部区域并且检测和识别面部的一个或多个面部特性，该面部特性包括用户的眼睛注视、眼睛移动和眼睑移动中的至少一个。
另一个示例第一用户设备包括上述组件，并且进一步包括手检测模块，该手检测模块被配置为检测用户的图像中的手区域并且检测和识别手的一个或多个手特性，该手特性包括手势和手运动中的至少一个。
根据另一个方面，其提供包括存储在其上的指令的至少一个计算机可访问介质。当被一个或多个处理器执行时，指令可以使计算机系统执行用于第一用户设备和远程用户设备之间的活动通信的基于手势的管理的操作。操作包括：由第一用户设备检测第一用户设备和远程用户设备之间的活动通信；在第一用户设备的显示器上显示用户界面，用户界面提供与第一用户设备和远程用户设备之间的活动通信有关的一个或多个功能；由第一用户设备的应用控制模块接收用户输入；由第一用户设备的应用控制模块基于用户输入来控制至少一个功能的一个或多个状况；由第一用户设备的状态指示器识别至少一个功能的状况；以及由第一用户设备的状态指示器显示所识别的状况的视觉指示。
另一个示例计算机可访问介质包括上述操作，并且控制至少一个功能的一个或多个状况以及对所识别的状况的视觉指示的显示独立于第一用户设备的显示器的亮度。
另一个示例计算机可访问介质包括上述操作，并且显示所识别的状况的视觉指示包括从光源发射光。
另一个示例计算机可访问介质包括上述操作，并且至少一个功能包括静音功能，并且一个或多个状况包括静音状态和非静音状态。
另一个示例计算机可访问介质包括上述操作，并且用户输入从由以下各项组成的组中选择：触摸事件、运动事件、语音事件、用户的面部特性和用户的手特性。
另一个示例计算机可访问介质包括上述操作，并且进一步包括：由触摸检测模块响应于第一用户设备的显示器上的一个或多个触摸事件来生成触摸输入数据，以及由触摸检测模块向应用控制模块传送触摸输入数据。
另一个示例计算机可访问介质包括上述操作，并且进一步包括：由运动检测模块响应于对第一用户设备的一个或多个运动事件来生成运动输入数据；以及由运动检测模块向应用控制模块传送运动输入数据。
另一个示例计算机可访问介质包括上述操作，并且进一步包括：由面部检测模块检测用户的图像中的面部区域；以及由面部检测模块检测和识别面部的一个或多个面部特性，该面部特性选自由以下各项组成的组：用户的眼睛注视、眼睛移动和眼睑移动。
另一个示例计算机可访问介质包括上述操作，并且进一步包括：由手检测模块检测用户的图像中的手区域；以及由手检测模块检测和识别手的一个或多个手特性，该手特性选自手势和手运动。
根据另一个方面，其提供一种用于第一用户设备和远程用户设备之间的活动通信的基于手势的管理的方法。该方法包括：由第一用户设备检测第一用户设备和远程用户设备之间的活动通信。该方法进一步包括在第一用户设备的显示器上显示用户界面，用户界面提供与第一用户设备和远程用户设备之间的活动通信有关的一个或多个功能。该方法进一步包括由第一用户设备的应用控制模块接收用户输入，以及由第一用户设备的应用控制模块基于用户输入来控制至少一个功能的一个或多个状况。该方法进一步包括由第一用户设备的状态指示器识别至少一个功能的状况；以及由第一用户设备的状态指示器显示所识别的状况的视觉指示。
另一个示例方法包括上述操作，并且状态指示器被配置为提供所识别的状况的视觉指示，并且应用控制模块被配置为独立于显示器的亮度来控制至少一个功能的一个或多个状况。
另一个示例方法包括上述操作，并且显示所识别的状况的视觉指示包括从光源发射光。
另一个示例方法包括上述操作，并且至少一个功能包括静音功能，并且一个或多个状况包括静音状态和非静音状态。
另一个示例方法包括上述操作，并且用户输入是以下中的至少一个：触摸事件、运动事件、语音事件、用户的面部特性和用户的手特性。
已经在本文中采用的术语和表达被用作描述的术语而非进行限制，并且在使用这样的术语和表达时，不存在将示出和描述的特征的任何等同物（或其部分）排除的意图，并且认识到，在权利要求的范围内，各种修改是可能的。因此，权利要求意图覆盖所有这样的等同物。

Claims (5)

1.一种用于基于运动的管理的方法，包括：
由第一计算设备检测所述第一计算设备的运动，包括所述运动的方向和量值，
由所述第一计算设备接收与所述第一计算设备检测到的运动对应的数据，所述检测到的运动对应于具有预定义样式的摇动或移动；
基于所述检测到的运动，由所述第一计算设备的应用控制电路控制在与第二计算设备的活动通信期间至少一个麦克风的静音状态；以及
其中所述数据是在所述第一计算设备的显示器处于关闭状态时接收的。
2.根据权利要求1所述的方法，其中，当所述第一计算设备的触摸用户界面处于锁定状态时，控制所述静音状态。
3.根据权利要求1所述的方法，包括：基于所述检测到的运动，由所述应用控制电路使得所述第一计算设备的用户能够控制在所述第一计算设备上执行的至少一个应用。
4.根据权利要求1所述的方法，其中，所述活动通信包括电话呼叫。
5.一种非暂时性计算机可读存储设备，包括存储的指令，所述指令在被一个或多个处理器执行时促使计算设备执行根据权利要求1-4中任何一项所述的方法。
CN201711267628.8A 2012-06-29 2013-06-24 用于基于手势的管理的系统和方法 Active CN107846519B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/537,328 US8862104B2 (en) 2012-06-29 2012-06-29 System and method for gesture-based management
US13/537328 2012-06-29
CN201380027888.1A CN104380248B (zh) 2012-06-29 2013-06-24 用于基于手势的管理的系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380027888.1A Division CN104380248B (zh) 2012-06-29 2013-06-24 用于基于手势的管理的系统和方法

Publications (2)

Publication Number Publication Date
CN107846519A CN107846519A (zh) 2018-03-27
CN107846519B true CN107846519B (zh) 2021-04-06

Family

ID=49778631

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201380027888.1A Active CN104380248B (zh) 2012-06-29 2013-06-24 用于基于手势的管理的系统和方法
CN201711267628.8A Active CN107846519B (zh) 2012-06-29 2013-06-24 用于基于手势的管理的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201380027888.1A Active CN104380248B (zh) 2012-06-29 2013-06-24 用于基于手势的管理的系统和方法

Country Status (4)

Country Link
US (4) US8862104B2 (zh)
EP (2) EP2867767B1 (zh)
CN (2) CN104380248B (zh)
WO (1) WO2014004382A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012139241A1 (en) * 2011-04-11 2012-10-18 Intel Corporation Hand gesture recognition system
CN102662576B (zh) * 2012-03-29 2015-04-29 华为终端有限公司 基于触摸的信息发送方法及装置
US8862104B2 (en) * 2012-06-29 2014-10-14 Intel Corporation System and method for gesture-based management
US9319513B2 (en) * 2012-07-12 2016-04-19 International Business Machines Corporation Automatic un-muting of a telephone call
US9323985B2 (en) * 2012-08-16 2016-04-26 Microchip Technology Incorporated Automatic gesture recognition for a sensor system
US20140057609A1 (en) * 2012-08-21 2014-02-27 Mikko Vaananen Index of everyday life
KR20140028312A (ko) * 2012-08-28 2014-03-10 삼성전자주식회사 다수의 객체를 이용하여 잠금 기능을 해제하는 전자 장치 및 방법
KR102044054B1 (ko) * 2012-09-12 2019-11-12 소니 주식회사 화상 제어 장치 및 화상 제어 방법
US10664162B2 (en) * 2013-11-18 2020-05-26 Red Hat, Inc. Multiple display management
US10530927B2 (en) * 2014-05-13 2020-01-07 Lenovo (Singapore) Pte. Ltd. Muted device notification
JP6475581B2 (ja) * 2015-07-03 2019-02-27 京セラ株式会社 携帯電子機器、制御方法および制御プログラム
US11962561B2 (en) 2015-08-27 2024-04-16 Deborah A. Lambert As Trustee Of The Deborah A. Lambert Irrevocable Trust For Mark Lambert Immersive message management
WO2017035538A1 (en) * 2015-08-27 2017-03-02 Jumpin Labs Inc. Method, system and apparatus for organizing and interacting with email on user devices
DE112015007219T5 (de) 2015-12-23 2021-09-09 Intel Corporation Berührungsgestenerkennungs-Bewertung
US10185400B2 (en) * 2016-01-11 2019-01-22 Antimatter Research, Inc. Gesture control device with fingertip identification
CN105898573B (zh) * 2016-05-03 2019-12-13 北京小米移动软件有限公司 多媒体文件播放方法及装置
DK201670616A1 (en) * 2016-06-12 2018-01-22 Apple Inc Devices and Methods for Accessing Prevalent Device Functions
GB2551715A (en) * 2016-06-27 2018-01-03 Image Capture Ltd A system and method for determining the age of an individual
CN107395862B (zh) * 2017-06-27 2021-03-05 Oppo广东移动通信有限公司 来电处理方法、电子装置和计算机可读存储介质
CN107798296B (zh) * 2017-09-28 2020-06-12 江南大学 一种应用于复杂背景场景的快速运动手势识别方法
US10750133B2 (en) * 2017-12-06 2020-08-18 Honeywell International Inc. Systems and methods for automatic video recording
CN108958844B (zh) * 2018-07-13 2021-09-03 京东方科技集团股份有限公司 一种应用程序的控制方法及终端
CN109145559A (zh) * 2018-08-02 2019-01-04 东北大学 一种结合表情识别的智能终端人脸解锁方法
CN109274828B (zh) * 2018-09-30 2021-01-15 华为技术有限公司 一种生成截图的方法、控制方法及电子设备
US10885322B2 (en) * 2019-01-31 2021-01-05 Huawei Technologies Co., Ltd. Hand-over-face input sensing for interaction with a device having a built-in camera
CN110058777B (zh) * 2019-03-13 2022-03-29 华为技术有限公司 快捷功能启动的方法及电子设备
CN111158457A (zh) * 2019-12-31 2020-05-15 苏州莱孚斯特电子科技有限公司 一种基于手势识别的车载hud人机交互系统
US11475873B2 (en) * 2020-07-01 2022-10-18 International Business Machines Corporation Translating inputs for voice communication

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101517515A (zh) * 2006-09-28 2009-08-26 诺基亚公司 改进型用户接口
US7957772B2 (en) * 2008-10-28 2011-06-07 Motorola Mobility, Inc. Apparatus and method for delayed answering of an incoming call
CN102223594A (zh) * 2010-04-19 2011-10-19 鸿富锦精密工业（深圳）有限公司 麦克风控制装置及方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6570966B1 (en) * 2000-03-17 2003-05-27 Nortel Networks Limited Intermixing data and voice on voice circuits
US20060128448A1 (en) * 2004-12-15 2006-06-15 Meoung-Jin Lim Mobile phone having an easy-receive feature for an incoming call
US20070293159A1 (en) * 2006-06-20 2007-12-20 Esa Etelapera Apparatus and method for reducing background noise
KR101065699B1 (ko) * 2006-08-09 2011-09-19 엘지전자 주식회사 발광 소자가 설치된 이동 단말기와, 이를 이용한 아이템선택 알림 방법 및 이벤트 발생 알림 방법
GB2446622A (en) * 2007-02-14 2008-08-20 Sharp Kk Wireless interface
US20090053997A1 (en) 2007-08-24 2009-02-26 Motorola, Inc. Dynamic user interface for displaying connection status and method thereof
US8447031B2 (en) 2008-01-11 2013-05-21 Personics Holdings Inc. Method and earpiece for visual operational status indication
KR20090123339A (ko) * 2008-05-27 2009-12-02 엘지전자 주식회사 휴대 단말기 및 그의 원격 제어 방법
US8189429B2 (en) * 2008-09-30 2012-05-29 Apple Inc. Microphone proximity detection
EP2344942B1 (en) * 2008-10-06 2019-04-17 BlackBerry Limited Method for application launch and system function invocation
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
KR20100060457A (ko) * 2008-11-27 2010-06-07 삼성전자주식회사 이동통신 단말기의 동작모드 제어장치 및 방법
KR101544475B1 (ko) 2008-11-28 2015-08-13 엘지전자 주식회사 터치를 통한 입출력 제어
US20110029864A1 (en) * 2009-07-30 2011-02-03 Aaron Michael Stewart Touch-Optimized Approach for Controlling Computer Function Using Touch Sensitive Tiles
US8819172B2 (en) * 2010-11-04 2014-08-26 Digimarc Corporation Smartphone-based methods and systems
US20110273379A1 (en) * 2010-05-05 2011-11-10 Google Inc. Directional pad on touchscreen
JP5567914B2 (ja) * 2010-06-25 2014-08-06 京セラ株式会社 携帯端末装置
US8811948B2 (en) * 2010-07-09 2014-08-19 Microsoft Corporation Above-lock camera access
US8532563B2 (en) 2010-07-30 2013-09-10 Motorola Mobility Llc Portable electronic device with configurable operating mode
US9240021B2 (en) * 2010-11-04 2016-01-19 Digimarc Corporation Smartphone-based methods and systems
US8645872B2 (en) 2010-11-30 2014-02-04 Verizon Patent And Licensing Inc. User interfaces for facilitating merging and splitting of communication sessions
US9680687B2 (en) * 2010-12-03 2017-06-13 Unify, Inc. Method and apparatus for controlling sessions from one or more devices
US8666406B2 (en) * 2011-05-12 2014-03-04 Qualcomm Incorporated Gesture-based commands for a group communication session on a wireless communications device
US8638385B2 (en) * 2011-06-05 2014-01-28 Apple Inc. Device, method, and graphical user interface for accessing an application in a locked device
US10706096B2 (en) * 2011-08-18 2020-07-07 Apple Inc. Management of local and remote media items
US9513724B2 (en) * 2011-08-30 2016-12-06 Blackberry Limited Device and method for adjusting object illumination
US20130104089A1 (en) * 2011-10-20 2013-04-25 Fuji Xerox Co., Ltd. Gesture-based methods for interacting with instant messaging and event-based communication applications
US8838085B2 (en) * 2012-04-26 2014-09-16 Qualcomm Incorporated Use of proximity sensors for interacting with mobile devices
US9674694B2 (en) * 2012-05-23 2017-06-06 Qualcomm Incorporated Systems and methods for group communication using a mobile device with mode transition based on motion
US8862104B2 (en) * 2012-06-29 2014-10-14 Intel Corporation System and method for gesture-based management

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101517515A (zh) * 2006-09-28 2009-08-26 诺基亚公司 改进型用户接口
US7957772B2 (en) * 2008-10-28 2011-06-07 Motorola Mobility, Inc. Apparatus and method for delayed answering of an incoming call
CN102223594A (zh) * 2010-04-19 2011-10-19 鸿富锦精密工业（深圳）有限公司 麦克风控制装置及方法

Also Published As

Publication number Publication date
WO2014004382A1 (en) 2014-01-03
EP2867767B1 (en) 2019-02-20
CN104380248B (zh) 2018-01-09
US20180219993A1 (en) 2018-08-02
EP3518077B1 (en) 2021-08-18
US20140004834A1 (en) 2014-01-02
US8862104B2 (en) 2014-10-14
EP2867767A1 (en) 2015-05-06
US20150156306A1 (en) 2015-06-04
EP3518077A1 (en) 2019-07-31
CN107846519A (zh) 2018-03-27
US20170180542A1 (en) 2017-06-22
EP2867767A4 (en) 2016-03-09
CN104380248A (zh) 2015-02-25
US9531863B2 (en) 2016-12-27

Similar Documents

Publication Publication Date Title
CN107846519B (zh) 用于基于手势的管理的系统和方法
US10574941B2 (en) Terminal and server for providing video call service
US11082460B2 (en) Audio source enhancement facilitated using video data
US7564476B1 (en) Prevent video calls based on appearance
US10083710B2 (en) Voice control system, voice control method, and computer readable medium
KR20140029223A (ko) 제스처 인식 장치, 그 제어 방법, 표시 기기, 및 제어 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체
WO2015037310A1 (ja) 情報処理装置、および情報処理方法
KR20100062207A (ko) 화상통화 중 애니메이션 효과 제공 방법 및 장치
US20180009118A1 (en) Robot control device, robot, robot control method, and program recording medium
WO2017070971A1 (zh) 一种面部验证的方法和电子设备
CN111144266B (zh) 人脸表情的识别方法及装置
KR20110025718A (ko) 화상 통화 방법 및 시스템
US11641514B1 (en) User state for user image in media content
CN107529699A (zh) 电子设备控制方法及装置
CN107369142A (zh) 图像处理方法及装置
CN105741256B (zh) 电子设备及其刮须提示系统与方法
CN111988522B (zh) 拍摄控制方法、装置、电子设备及存储介质
CN112449098B (zh) 一种拍摄方法、装置、终端及存储介质
CN107950021A (zh) 视频通信设备及其操作
CN105488132A (zh) 头像图片获取方法及装置
CN108877742A (zh) 亮度调整方法及装置
CN108121521A (zh) 电子设备控制方法及装置
CN108062787A (zh) 三维人脸建模方法及装置
JP2016149653A (ja) 制御装置、制御方法、およびプログラム
CN114758037A (zh) 影像生成方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant