CN105122181A - 用于基于情景的自然用户接口输入的技术 - Google Patents
用于基于情景的自然用户接口输入的技术 Download PDFInfo
- Publication number
- CN105122181A CN105122181A CN201380075695.3A CN201380075695A CN105122181A CN 105122181 A CN105122181 A CN 105122181A CN 201380075695 A CN201380075695 A CN 201380075695A CN 105122181 A CN105122181 A CN 105122181A
- Authority
- CN
- China
- Prior art keywords
- media
- sight
- natural
- incoming event
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000000694 effects Effects 0.000 claims description 50
- 230000033001 locomotion Effects 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 26
- 238000004891 communication Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 13
- 238000012423 maintenance Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 description 16
- 238000013507 mapping Methods 0.000 description 15
- 230000009471 action Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 7
- 230000007613 environmental effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 230000036760 body temperature Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000036387 respiratory rate Effects 0.000 description 3
- 239000011435 rock Substances 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 229920000642 polymer Polymers 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 229910052814 silicon oxide Inorganic materials 0.000 description 1
- -1 silicon oxide nitride Chemical class 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Environmental & Geological Engineering (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本文公开了用于解释自然用户接口(UI)输入事件的示例。在一些示例中，可在用于应用程序的命令期间收到传感器信息。可将命令输入解释为自然UI输入事件。对于一些示例，与命令输入有关的情景信息可促使情景与自然UI输入事件相关联。情景随后可促使进行可如何为应用程序检索媒体内容的更改。本文也描述了其它示例，并要求对其进行保护。
Description
技术领域
本文中所述示例一般涉及解释到装置的自然用户接口输入。
背景技术
例如膝上型计算机、平板计算机或智能电话等计算装置可利用传感器检测自然用户接口(UI)输入。传感器可嵌入和/或耦合到计算装置。在一些示例中，基于这些类型的嵌入和/或耦合传感器收集或获得的信息，可检测到给定自然UI输入事件。例如，检测到的给定自然UI输入可以是可指示用户意图影响在计算装置上执行的应用程序的输入命令（例如，用户姿势）。输入可包括用户物理触摸传感器（例如，触觉传感器），在另一传感器（例如，图像传感器）附近在空中做出姿势，由仍有的另一传感器（例如，运动传感器）检测到的用户对计算装置的至少一部分的有目的的移动或由还有的其它传感器（例如，麦克风）检测到的音频命令。
附图说明
图1示出第一装置的前视图和后视图的示例。
图2A-B示出用于解释自然用户接口输入事件的示例第一情景。
图3A-B示出用于基于情景的自然UI输入的示例第二情景。
图4示出用于解释自然用户接口输入的示例体系结构。
图5示出示例映射表格。
图6示出用于设备的示例框图。
图7示出逻辑流程的示例。
图8示出存储介质的示例。
图9示出第二装置的示例。
具体实施方式
示例一般涉及用于解释检测到的输入命令以可能影响在计算装置（下文称为装置）上执行的应用程序的改进。如在本公开内容中设想的一样，输入命令可包括触摸姿势、空中姿势、装置姿势、音频命令、图案识别或对象识别。在一些示例中，输入命令可被解释为影响在装置上执行的应用程序的自然UI输入事件。例如，应用程序可包括消息传递应用程序，并且解释的自然UI输入事件可促使预确定的文本或媒体内容添加到由消息传递应用程序创建的消息。
在一些示例中，可将预确定的文本或媒体内容添加到消息传递应用程序创建的消息而不考虑用户的情景。添加文本或媒体内容到消息而不考虑用户的情景可成为问题，例如，在消息的接收人在正式等级方面有所不同。每个正式等级可表示不同情景。例如，响应解释的自然UI输入事件，预确定的媒体内容可以是啤酒杯图标以指示“休息一会？”。啤酒杯图标的预确定的媒体内容可对诸如朋友/同事接收人情景等定义的关系情景是适当的，但可对诸如工作主管收件人情景等另一类型的定义的关系情景是不适当的。
在一些其它示例中，用户的情景可基于用户可在执行的实际物理活动。对于这些示例，用户可以是跑步或慢跑，并且解释的自然UI输入事件可影响在装置上执行的音乐播放器应用程序。例如，诸如装置姿势等包括摇晃装置的命令输入可促使音乐播放器应用程序随机播放音乐选择。在作为用户的移动的跑步或慢跑可造成音乐选择不利地随机播放，并且因此降低影响不间断音乐的用户体验时，这可成为问题。
在一些示例中，实现了用于基于情景到在装置上执行的应用程序的自然UI输入的技术。这些技术可包括在装置检测第一输入命令。可将第一命令输入解释为第一自然UI输入事件。随后，可基于与输入命令有关的情景信息，将第一自然UI输入事件与情景相关联。对于这些示例，可做出基于情景，是否处理第一自然UI输入事件的确定。对于一些示例，可基于情景处理第一自然UI输入事件。第一自然UI输入的处理可包括确定情景是否造成从第一媒体检索模式到第二媒体检索模式的交换。随后，可基于第一或所述第二媒体检索模式，为应用程序检索媒体内容。
图1示出第一装置100的前视图和后视图的示例。在一些示例中，装置100具有如图1所示的正面105和背面125。对于这些示例，正面105可对应于包括触摸屏/显示屏110的装置100的一面，触摸屏/显示器110向装置100的用户提供执行应用程序112的视图。同时，从显示视图面而言，背面125可以是装置100的相对面/背面。虽然在一些示例中显示屏也可在背面125上存在，但为便于解释，图1不包括背面显示屏。
根据一些示例，正面105包括在从正面105查看装置100时可对用户至少部分可见的元素/特征（例如，通过外壳101的表面或在外壳的表面上可见）。此外，在从正面105查看装置100时，一些元素/特征可对用户不可见。对于这些示例，实线框可表示可至少部分可见的那些特征，并且虚线框可表示可对用户不可见的那些元素/特征。例如，收发器/通信接口102可对用户不可见，然而，至少一部分发摄像装置104、音频扬声器106、输入按钮108、麦克风108或触摸屏/显示屏110可对用户可见。
在一些示例中，背面125包括在从背面125查看装置100时可对用户至少部分可见的元素/特征。此外，在从背面125查看装置100时，一些元素/特征可对用户不可见。对于这些示例，实线框可表示可至少部分可见的那些特征，并且虚线框可表示可能不可见的那些元素/特征。例如，全球定位系统(GPS)128、加速计130、陀螺仪132、存储器140或处理器组件150可对用户不可见，然而至少一部分环境传感器122、摄像装置124和生物统计传感器/接口126可对用户可见。
根据一些示例，如图1所示，通信链路101可经收发器/通信接口102以无线方式耦合装置100。对于这些示例，收发器/通信接口102可配置成和/或能够根据一个或更多个无线通信标准操作以经通信链路103与网络（未示出）建立网络连接。网络连接可允许装置100接收/传送数据和/或允许通过网络的话音通信。
在一些示例中，装置100的各种元素/特征可能能够提供与检测到的输入命令（例如，用户姿势或音频命令）相关联的传感器信息到逻辑、特征或模块以供处理器组件150执行。例如，触摸屏/显示屏110可检测到触摸姿势。摄像装置104或124可检测到空间/空中姿势或图案/对象识别。加速计130和/或陀螺仪132可检测到装置姿势。麦克风109可检测到音频命令。如下更详细所述，提供的传感器信息可向要由处理器组件150执行的模块指示，检测到的输入命令可能将影响执行应用程序112，并且可将检测到的输入命令解释为自然UI输入事件。
在一些其它示例中，一系列检测到的输入命令或检测到的输入命令的组合可向供处理器组件150执行的模块指示，用户有意影响执行应用程序112，并且随后将输入命令的检测到的系列解释为自然UI输入事件。例如，第一检测到的输入命令可以是激活麦克风109，并且第二检测到的输入命令可以是由麦克风109检测到的用户生成的口头或音频命令。对于此示例，随后可基于由麦克风109检测到的用户生成的口头或音频命令，解释自然UI输入事件。在其它示例中，第一检测到的输入命令可以是激活摄像装置104或124中的某个摄像装置。对于这些其它示例，随后，可基于摄像装置检测到的对象或图案识别（例如，经面部识别等），解释自然UI输入事件。
在一些示例中，装置100的各种元素/特征可能能够提供与检测到的输入命令有关的传感器信息。与输入命令有关的情景信息可包括由/通过一个或更多个环境传感器/接口122或生物统计传感器/接口126收集的传感器信息。与输入命令有关的情景信息也可包括但不限于由一个或更多个摄像装置104/124、麦克风109、GPS128、加速计130或陀螺仪132收集的传感器信息。
根据一些示例，与输入命令有关情景信息可包括日时间、从GPS128收到的GPS信息、从陀螺仪132收到的装置定向信息、从加速计130收到的装置移动速率信息、从摄像装置104/124收到的图像或对象识别信息中的一项或更多项。在一些示例中，时间、GPS、装置定向、装置移动速率或图像/对象识别信息可由供处理器组件150执行的模块收到，并且随后情景可与从检测到的输入事件解释的自然UI输入事件相关联。换而言之，上面提及的时间、位置、定向、移动或图像识别信息可由模块用于确定输入命令发生的情景，并且随后将该情景与自然UI输入事件相关联。
在一些示例中，与输入命令有关的情景信息也可包括可指示用户活动的类型的用户输入的信息。例如，用户可使用输入按钮108或者经触摸/空中/装置姿势或音频命令使用自然UI输入，手动输入用户活动的类型以指示用户活动的类型。用户活动的类型可包括但不限于锻炼活动、工作场所活动、家庭活动或公共活动。在一些示例中，用户活动的类型可由供处理器组件150执行的模块用于将情景与从检测到的输入事件解释的自然UI输入事件相关联。换而言之，用户活动的类型可由模块用于确定输入命令发生的情景，并且随后将该情景与自然UI输入事件相关联。
根据一些示例，由/通过环境传感器/接口122收集的传感器信息可包括在检测到的输入期间在装置100或其附近的周围环境传感器信息。周围环境信息可包括但不限于噪声级别、空气温度、光强度或大气压。在一些示例中，周围环境传感器信息可由供处理器组件150执行的模块收到，并且随后情景可与从检测到的输入事件解释的自然UI输入事件相关联。换而言之，周围环境信息可由模块用于确定输入命令发生的情景，并且随后将该情景与自然UI输入事件相关联。
在一些示例中，基于周围环境信息确定的情景可指示用户活动的类型。例如，指示高海拔、冷温度、高光强度或位置的频繁更改的周围环境信息可指示用户参与室外活动，室外活动可包括骑自行车、登山、徒步、滑雪或跑步。在其它示例中，指示适中温度、适中光强度、位置的更不频繁更改和适中周围噪声级别的周围环境信息可指示用户参与工作场所或家庭活动。在仍有的其它示例中，指示适中温度、适中或低光强度、位置的一些更改和高周围噪声级别的周围环境信息可指示用户参与公共活动，并且是在诸如购物中心等公共位置或靠着公共人行道或街道。
根据一些示例，由/通过生物统计传感器/接口126收集的传感器信息可包括在输入命令期间与装置100的用户相关联的生物统计信息。生物统计信息可包括但不限于用户的心率、呼吸率或体温。在一些示例中，生物统计传感器信息可由供处理器组件150执行的模块收到，并且随后情景可与从检测到的输入事件解释的自然UI输入事件相关联。换而言之，用于用户的生物统计环境信息可由模块用于确定经其发生输入命令的情景，并且随后将该情景与自然UI输入事件相关联。
在一些示例中，基于用户生物统计信息确定的情景可指示用户活动的类型。例如，高心率、呼吸率和体温可指示某种消耗体力的用户活动（例如，跑步、骑自行车、徒步、滑雪等）。此外，较低或稳定的心率/呼吸率和正常的体温可指示非体力型用户活动（例如，在家中或者在工作中）。用户生物统计信息可与周围环境信息一起用于允许模块确定经其发生输入命令的情景。例如，指示高海拔与指示高心率的生物统计信息组合的环境信息可指示徒步或登山。备选，指示低高海拔与指示高心率的生物统计信息组合的环境信息可指示骑自行车或跑步。
根据一些示例，用于执行应用程序112的应用程序的类型也可提供与检测到的输入命令有关的信息。对于这些示例，至少部分基于应用程序的类型，可将情景与从检测到的输入命令解释的自然UI输入事件相关联。例如，应用程序的类型可包括但不限于文本消息传递应用程序、视频聊天应用程序、电子邮件应用程序、视频播放器应用程序、游戏应用程序、工作生产率应用程序、图像捕捉应用程序、web浏览器应用程序、社交媒体应用程序或音乐播放器应用程序之一。
在一些示例中，用于执行应用程序112的应用程序的类型可包括文本消息传递应用程序、视频聊天应用程序、电子邮件应用程序或社交媒体应用程序之一。对于这些示例，与检测到的输入命令有关的情景信息也可包括由响应从输入命令解释的自然UI输入事件的应用程序的类型生成的消息的接收人的身份。消息的接收人的身份例如可与具有可定义用户与接收人的关系的身份和关系信息的简档相关联。定义的关系可包括装置100的用户的同事、用户的工作主管、用户的父母、用户的兄弟姐妹或用户的专业伙伴。供处理器组件150执行的模块可使用消息的接收人的身份将自然UI输入事件与情景相关联。
根据一些示例，供处理器组件150执行的模块可根据如上提及的收到的各种类型的情景信息，基于与给定自然UI输入相关联的情景，进一步处理给定自然UI输入事件。如果确定进一步处理，则如下更详细所述，可响应给定自然UI输入事件，选择媒体选择模式以便为执行应用程序112检索媒体内容。此外，供处理器组件150执行的模块可确定是否将媒体选择模式从第一媒体检索模式交换到第二媒体检索模式。随后，可由模块基于第一或第二媒体检索模式响应自然UI输入事件，检索用于执行应用程序112的媒体内容。
根据一些示例，如下更详细所述，媒体选择模式可基于将媒体内容映射到在与给定情景相关联时的给定自然UI输入事件的媒体映射。在一些示例中，可在作为存储器140的一部分包括的非易失性和/或易失性类型的存储器中存储的媒体内容库142中保持媒体内容。在一些示例中，可在装置100远程保持（例如，经通信链路103可接入）的网络可接入媒体内容库中保持媒体内容。在一些示例中，媒体内容可以是与在解释给定自然UI输入事件时发生的给定用户活动至少稍微同时生成的用户生成的媒体内容。例如，使用摄像装置104/124捕获的图像或视频可产生用户生成的图像或视频，用户生成的图像或视频可映射到在与给定情景相关联时的给定自然UI输入事件。
在一些示例中，供处理器组件150执行的一个或更多个模块可能能够促使装置100指示基于与给定自然UI输入事件相关联的情景，已选择用于检索媒体内容的哪种媒体检索模式。装置100可经音频指示、视觉指示或振动指示的至少之一指示选择的媒体检索模式。音频指示可以是一系列的音频哔声或通过音频扬声器106传送的选择的媒体检索模式的音频陈述。视觉指示可以是在触摸屏/显示屏110上显示或者经发光二极管（未示出）显示的指示，指示可提供选择的媒体检索模式的基于颜色或基于图案的指示。振动指示可以是由振动组件（未示出）造成的可能能够由用户感觉或观察到的装置100的振动的模式。
图2A-B示出用于解释自然UI输入事件的示例第一情景。根据一些示例，如图2A和2B所示，示例第一情景分别包括情景201和情景202。对于这些示例，图2A和2B每个从如上为图1所述的装置100的角度示出执行应用程序112的用户视图。图2A和2B中示出的执行应用程序112的用户视图可用于文本消息传递类型的应用程序。如图2A和2B所示，执行应用程序112可具有用于第一视图（左侧）的接收人框205-A和文本框215-A和用于第二视图（右侧）的接收人框205-B和文本框215-B。
根据一些示例，如图2A所示，接收人框205-A可指示文本消息的接收人是朋友。对于这些示例，可基于如上为图1提及的收到传感器信息，检测到输入命令。用于此示例的输入命令可以是创建要发送到接收人框205-A中指示的接收人的文本消息。
在一些示例中，可基于检测到输入命令的收到传感器信息，将输入命令解释为自然UI输入事件。例如，通过促使文本“休息一会？”在文本框215-A中输入，可将用户的触摸、空中或装置姿势解释为影响执行应用程序112的自然UI输入事件。
在一些示例中，可基于与输入命令有关的情景信息，将造成文本“休息一会？”的自然UI输入事件与情景201相关联。对于这些示例，与用户活动有关的情景信息可以只是文本消息的接收人是用户的朋友。因此，可将情景201描述为基于作为文本消息“休息一会？”的接收人的用户的朋友的定义关系的情景，并且可将情景201与创建在图2A中示出的文本框215-A中包括的文本消息的自然UI输入事件相关联。在其它示例中，诸如环境/生物统计传感器信息等另外的情景信息也可用于确定和描述更详细的情景201。
根据一些示例，可做出有关是否处理基于情景201创建了文本消息的自然UI输入事件的确定。对于这些示例，处理自然UI输入事件可包括确定要检索和添加到由自然UI输入事件创建的文本消息的媒体内容。此外，对于这些示例，确定可取决于媒体内容是否已被映射到在与情景201相关联时的自然UI输入事件。媒体内容可包括但不限于表情符号、动画、视频、音乐选择、话音/录音、声效或图像。根据一些示例，如果已映射媒体内容，则可做出要检索什么媒体内容的确定。否则，可发送文本消息“休息一会？”而不检索和添加媒体内容，例如，无进一步处理。
在一些示例中，如果要处理创建“休息一会？”的自然UI输入事件，则随后可做出有关情景201（例如，朋友情景）是否造成从第一媒体检索模式到第二媒体检索模式的交换的确定。对于这些示例，第一媒体检索模式可基于映射第一媒体内容到在与情景201相关联时的自然UI输入事件的第一媒体映射，并且第二媒体检索模式可基于映射第二媒体内容到在与情景202相关联时的自然UI输入事件的第二映射。根据一些示例，第一媒体内容可以是如在文本框215-B中示出的啤酒杯的图像。对于这些示例，可基于映射啤酒杯到在与情景201相关联时创建“休息一会？”的自然UI输入事件的第一媒体映射，检索啤酒杯图像。由于第一媒体检索模式是基于第一媒体映射，因此，对于此示例，无需媒体检索模式的交换。因此，啤酒杯图像可被检索（例如，从媒体内容库142）和添加到如图2A中为文本框215-B示出的文本消息。随后，可将文本消息发送到朋友接收人。
根据一些示例，如图2B所示，接收人框205-B可指示文本消息的接收人是主管。对于这些示例，用于此示例的用户活动可以是创建要发送到接收人框205-A中指示的接收人的文本消息。此外，对于这些示例，与用户活动有关的信息可以是如接收人框205-A中示出的文本消息的接收人与主管的朋友具有定义的关系。
在一些示例中，可基于作为用户的主管的文本消息的接收人的身份，将造成文本“休息一会？”的自然UI输入事件与给定情景相关联。因此，可将情景202描述为基于作为文本消息“休息一会？”的识别的接收人的用户的主管的定义关系的情景，并且可将情景202与创建在图2B中示出的文本框215-A中包括的文本消息的自然UI输入事件相关联。
根据一些示例，可做出有关是否处理基于情景202创建了文本消息的自然UI输入事件的确定。类似于上面为情景201提及的内容，确定可取决于媒体内容是否已被映射到在与情景202相关联时的自然UI输入事件。根据一些示例，如果已映射媒体内容，则可做出要检索什么媒体内容的确定。否则，可发送文本消息“休息一会？”而不检索和添加媒体内容，例如，无进一步处理。
在一些示例中，如果要处理创建“休息一会？”的自然UI输入事件，则随后可做出有关情景202（例如，主管情景）是否造成从第一媒体检索模式到第二媒体检索模式的交换的确定。如上提及的一样，第一媒体检索模式可基于映射第一媒体内容到在与情景201相关联时的自然UI输入事件的第一媒体映射，并且第二媒体检索可基于映射第二媒体内容到在与情景202相关联时的自然UI输入事件的第二映射。此外，如上提及的一样，第一媒体内容可以是啤酒杯的图像。然而，啤酒杯的图像可能不适合发送到主管。因此，在与情景202相关联时的自然UI输入事件将不映射到第一映射，而第一映射映射到啤酒杯图像。相反，根据一些示例，第一媒体检索模式被交换到第二媒体检索模式，而第二媒体检索模式是基于到第二媒体内容的第二媒体映射。第二媒体内容可包括咖啡杯的可能更适当图像。因此，咖啡杯图像可被检索（例如，从媒体内容库142）和添加到如图2A中为文本框215-B示出的文本消息。随后，可将文本消息发送到主管接收人。
图3A-B示出用于解释自然UI输入事件的示例第二情景。根据一些示例，如图3A和3B所示，示例第二情景分别包括情景301和情景302。对于这些示例，图3A和3B每个从如上为图1所述的装置100的角度示出执行应用程序112的用户视图。图3A和3B中示出的执行应用程序112的用户视图可用于音乐播放器类型的应用程序。如图3A和3B中所示，执行应用程序12可具有用于第一视图（左侧）的当前音乐显示305A和用于第二视图（右侧）的当前音乐显示305B。
根据一些示例，如图3A所示，当前音乐显示305-A可指示由执行应用程序112在播放的当前音乐选择，并且音乐选择306可指示当前音乐选择。对于这些示例，可基于如上为图1提及的收到传感器信息，检测到输入命令。对于此示例，用户可聆听给定音乐选择。
在一些示例中，可基于检测到输入命令的收到传感器信息，将输入命令解释为自然UI事件。例如，通过促使音乐选择从音乐选择306更改成音乐选择308（例如，经随机播放或跳过音乐选择输入），可将包括握手或在多个方向快速移动装置等用户进行的装置姿势解释为影响执行应用程序112的自然UI输入事件。
在一些示例中，可基于与输入命令有关的情景信息，将造成音乐选择更改的自然UI输入事件与情景301相关联。对于这些示例，情景301可包括但不限于位于高周围噪声环境中的装置、位于公共位置中的装置、位于私人或家庭位置中的装置、位于工作或办公室位置中的装置或保持在相对静态位置中的装置中的一项或更多项。
根据一些示例，与用户聆听音乐时进行的输入命令有关的情景信息可包括诸如时间、位置、移动、方位、图像/图案识别或环境和/或生物统计传感器信息等可用于将情景301与自然UI输入事件相关联的情景信息。对于这些示例，与输入命令有关的情景信息可指示在常规工作时间外（例如，在下午5点后）的日时间期间，用户以小量的移动保持在相对静态位置。情景301可与基于与用户活动有关的此情景信息的自然UI输入事件相关联，这是因为情景信息指示装置的摇晃或快速移动可以是有目的的装置姿势，并且不是不利移动的结果。
在一些示例中，由于自然UI输入事件的结果与情景301相关联，因此，可处理自然UI输入事件。对于这些示例，自然UI输入事件的处理可包括确定情景301是否造成从第一媒体检索模式到第二媒体检索模式的转移。对于这些示例，第一媒体检索模式可基于映射第一媒体内容到在与情景301相关联时的自然UI输入事件的媒体映射，并且第二媒体检索模式可基于忽略自然UI输入事件。根据一些示例，第一媒体内容可以是如用于图3A的当前音乐显示305-B中所示的音乐选择308。对于这些示例，可基于第一媒体检索模式检索音乐选择308，并且可将执行应用程序112在播放的给定音乐选择从音乐选择306更改成音乐选择308。
根据一些示例，如用于情景302的图3B中所示，可忽略被解释为用户UI输入事件的检测到的输入命令。对于这些示例，可基于如上为图1和图3A提及的收到传感器信息，检测到输入命令。此外，类似于图3A，用户可聆听给定音乐选择，并且解释的用户UI输入事件可以是造成音乐选择306到另一给定音乐选择的更改的尝试。
在一些示例中，可基于与输入命令有关的情景信息，将造成给定音乐选择更改的自然UI输入事件与情景302相关联。对于这些示例，情景302可包括但不限于用户带着装置跑步或慢跑，用户带着装置骑自行车，用户带着装置步行或用户带着装置登山或徒步中的一项或更多项。
根据一些示例，与用户聆听音乐时进行的输入命令有关的情景信息可包括诸如时间、位置、移动、方位、图像/图案识别或环境和/或生物统计传感器信息等可用于将情景302与自然UI输入事件相关联的情景信息。对于这些示例，与输入命令有关的情景信息可包括指示在相对频繁的基础上更改位置的信息，装置移动和方位信息波动，或者用于用户的生物统计信息指示升高或实质高于正常的心率和/或体温。情景302可与基于与用户活动有关的此情景信息的自然UI输入事件相关联，这是因为信息指示装置的摇晃或快速移动可以是无意或不利的移动。
在一些示例中，由于自然UI输入事件的结果与情景302相关联，因此，未进一步处理自然UI输入事件。如图3B所示，忽略自然UI输入事件，并且音乐选择306如当前音乐显示305-B中所示保持不变。
图4示出用于基于情景的自然UI输入的示例体系结构。根据一些示例，如图4所示，示例体系结构400包括层410、层420和层430。此外，如图4所示，层420包括经通信链路440耦合到网络450的模块，以便可能接入具有或托管媒体内容库462的图像/媒体服务器460。
在一些示例中，层410、420和430可以是由供诸如为图1所述的装置100等装置的处理器组件执行的模块执行或实现的体系结构400的层。对于一些示例，在层410，输入模块414可由处理器组件执行以接收传感器或输入检测信息412，信息412指示影响在装置上执行的执行应用程序432的输入命令。姿势模块414可将检测到的命令输入解释为自然UI输入事件。虽然图4中未示出，但输入模块414也可包括各种情景构建块，这些构建块可使用情景信息（例如，传感器信息）和中间件以允许诸如用户姿势等检测到的输入命令被理解或检测为到装置的有目的的输入命令。
根据一些示例，在层420，情景关联模块425可由处理器组件执行以将输入模块414解释的自然UI输入事件与第一情景相关联。对于这些示例，第一情景可基于在如上为图1、2A-B或3A-B提及的输入命令的检测期间可能已收集的情景信息416。
在一些示例中，在层420，媒体模式选择模块424可由处理器组件执行，以确定第一情景是否造成从第一媒体检索模式到第二媒体检索模式的交换。对于这些示例，到自然UI输入和情景422的媒体映射也可用于确定是否交换媒体检索模式。媒体检索模块428可由处理器组件执行以基于第一或第二媒体模式，从媒体内容库/用户生成的媒体内容429检索媒体。
在一些示例中，第一媒体检索模式可基于将第一媒体内容（例如，啤酒杯图像）映射到在与第一情景相关联时的自然UI输入事件的第一媒体映射。对于这些示例，媒体检索模块428可从媒体内容库/用户生成的内容429检索第一媒体内容，或者可利用通信链路140从在或由图像/媒体服务器460保持的媒体内容库462检索第一媒体内容。媒体检索模块428随后可提供第一媒体内容到在层430的执行应用程序432。
根据一些示例，第二媒体检索模式可基于将第二媒体内容（例如，咖啡杯图像）映射到在与第一情景相关联的自然输入事件的第二媒体映射。对于这些示例，媒体检索模块428也可从媒体内容库/用户生成的内容429检索第二媒体内容，或者从媒体内容库462检索第一媒体内容。媒体检索模块428随后可提供第二媒体内容到在层430的执行应用程序432。
根据一些示例，供处理器组件执行的处理模块427可基于与第一情景相关联的自然UI输入事件，阻止媒体检索模块428为执行应用程序432检索媒体，第一情景可包括各种类型的用户活动或应经其忽略自然UI输入事件的装置位置。例如，如上为图3A-B提及的一样，用户在跑步或慢跑，行走，骑自行车，登山，徒步或执行其它类型的活动，造成位置的频繁移动或更改时，应忽略可被解释成自然UI输入事件以随机播放音乐选择的快速摇晃用户姿势。在高周围噪声环境中，可不当地解释诸如音频命令等其它类型的输入命令。在用户处或其附近具有大量视觉干扰和周边移动的高周围光等级或公共场所中，可能不适当地解释对象识别或图案识别输入命令。此外，在极冷温度中由于保护性手套或冰冷的手指降低了触摸屏的准确度原因，触摸姿势输入命令可能不符合需要。这些只是几个示例，本公开内容不限于仅上面提及的示例。
在一些示例中，在层430的指示模块434可由处理器组件执行以指示用于检索媒体的第一媒体检索模式或第二媒体检索模式。对于这些示例，指示模块434可经音频指示、视觉指示或振动指示的至少之一促使装置指示给定媒体检索模式。
图5示出示例映射表格500。在一些示例中，如图5所示，映射表格500将给定自然UI输入事件映射到在与给定情景相关联时的给定媒体内容。在一些示例中，可在诸如装置100等装置（例如，在诸如查表(LUT)等数据结构中）保持映射表格500，并且可由用于装置的处理器组件执行的模块利用表格。模块（例如，如媒体模式选择模块424和/或媒体检索模块428）可利用映射表格500，以基于相关联情景选择媒体检索模式，并且基于相关联情景确定在何处或是否检索媒体内容。
此外，对于这些示例，映射表格500可指示用于媒体内容的位置。例如，可经在可执行文本消息应用程序的装置保持的本地库获得啤酒杯或咖啡杯图像。在另一示例中，可从经其可执行音乐播放器应用程序的装置远程的远程或网络可接入库获得新音乐选择。在仍有的另一示例中，用于媒体内容的本地库位置可包括用户生成的媒体内容，而用户生成的媒体内容可已与用户活动（例如，实际啤酒杯或咖啡杯的图像捕捉）或者与检测到的输入命令同时生成。
映射表格500只包括自然UI输入事件、执行应用程序、情景、媒体内容或位置的一些示例。本公开内容不限于这些示例，并且其它类型的自然UI输入事件、执行应用程序、情景、媒体内容或位置被考虑在内。
图6示出用于设备600的示例框图。虽然图6示出的设备600具有在某个拓扑或配置中有限数量的元素，但可领会的是，设备600可根据用于给定实现的需要在备选配置中包括更多或更少的元素。
设备600可包括具有布置成执行一个或更多个软件模块622-a的处理器组件620的计算机实现的设备600。值得注意的是，“a”、“b”、“c”及类似标志符在本文中使用时，旨在作为表示任何正正数的变量。因此，例如，如果实现设置用于a=6的值，则软件模块的完整集622-a可包括模块622-1、622-2、622-3、622-4和622-5。实施例在此情景中不受限制。
根据一些示例，设备600可以是计算装置或类似于上面为图1-5所述装置100的装置的一部分。示例在此情景中不受限制。
在一些示例中，如图6所示，设备600包括处理器组件620。处理器组件620可通常布置成执行一个或更多个软件模块622-a。处理器组件620能够是各种商用处理器的任何处理器，如嵌入式和安全处理器、双微处理器、多核处理器或其它多处理器体系结构。根据一些示例，处理器组件620也可以是专用集成电路(ASIC)，并且至少一些模块622-a可实现为ASIC的硬件元素。
根据一些示例，设备600可包括输入模块622-1。输入模块622-1可由处理器组件620执行以接收指示到可包括设备600的装置的输入命令的传感器信息。对于这些示例，解释的自然UI事件信息624-a可以是至少暂时由输入模块622-1保持的信息（例如，在诸如LUT等数据结构中）。在一些示例中，解释的自然UI事件信息624-a可由输入模块622-1用于基于可包括收到的传感器信息的输入命令信息605，将输入命令解释为自然UI输入事件。
在一些示例中，设备600也可包括情景关联模块622-2。情景关联模块622-2可由处理器组件620执行，以基于与输入命令有关的情景信息，将自然UI输入事件与给定情景相关联。对于这些示例，情景信息615可由情景关联模块622-2接收，并且可包括与输入命令有关的情景信息。情景关联模块622-2可将与给定用户活动有关的情景信息至少暂时保持为情景关联信息626-b（例如，在LUT中）。
在一些示例中，设备600也可包括媒体模式选择模块622-3。媒体模式选择模块622-3可由处理器组件620执行，以确定给定情景是否造成从第一媒体检索模式到第二媒体检索模式的交换。对于这些示例，映射信息628-c可以是将媒体内容映射到在与给定情景相关联时的自然UI输入事件的信息（例如，类似于映射表格500）。映射信息628-c可至少暂时由媒体模式选择模块622-3保持（例如，在LUT中），并且也可包括诸如用于映射的媒体内容的媒体库位置等信息（例如，本地或网络可接入）。
根据一些示例，设备600也可包括媒体检索模块622-4。媒体检索模块622-4可由处理器组件620执行以便为在可包括设备600的装置上执行的应用程序检索媒体内容655。对于这些示例，可基于媒体模式选择模块622-3选择了第一或第二媒体检索模式的哪个模式，响应自然UI输入，从媒体内容库635检索媒体内容655。媒体内容库635可以是本地媒体内容库或网络可接入媒体内容库。备选，可从用户生成的媒体内容检索媒体内容655，而用户生成的媒体内容可已与输入命令同时生成，并且至少在本地暂时存储。
在一些示例中，设备600也可包括处理模块622-5。基于与包括各种用户活动或装置情况的给定情景相关联的自然UI输入事件，处理模块622-5可由处理器组件620执行，以阻止媒体检索模块622-4为应用程序检索媒体内容。对于这些示例，用户活动/装置信息630-d可以是用于给定情景的信息，信息指示可促使处理模块622-5阻止媒体检索的各种用户活动或装置情况。用户活动/装置信息可至少暂时由处理模块622-5（例如，LUT）保持。用户活动/装置信息可包括传感器信息，传感器信息可指示用户活动或装置情况以包括用户带着包括设备600的装置跑步或慢跑，用户带着装置骑自行车，用户带着装置步行，用户带着装置登山或徒步，装置位于高周围噪声环境中，装置位于公共位置中，装置位于私人或家庭位置中或装置位于工作或办公室位置中之一。
根据一些示例，设备600也可包括指示模块622-6。指示模块622-6可由处理器组件执行以促使包括设备600的装置指示用于检索媒体内容的第一媒体检索模式或第二媒体检索模式。对于这些示例，装置可经包括音频指示、视觉指示或振动指示的至少之一的媒体检索模式指示645，指示给定媒体检索模式。
设备600和实现设备600的装置的各种组件可以通信方式通过各种类型的通信媒体相互耦合以协调操作。协调可涉及信息的单向或双向交换。例如，组件可以通过通信媒体传递的信号形式传递信息。信息能够实现为分配到各种信号线路的信号。在此类分配中，每个消息是信号。然而，其它实施例可备选采用数据消息。此类数据消息可跨各种连接发送。示例连接包括并行接口、串行接口和总线接口。
本文中包括的是表示用于执行公开体系结构的新颖方面的示例方法的逻辑流程集。虽然为解释简便起见，本文中示出的一种或多种方法显示和描述为一系列的动作，但本领域技术人员将理解和领会，方法不受动作的顺序限制。根据方法，一些动作可以不同顺序进行和/或与本文中示出和描述的其它动作同时进行。例如，本领域技术人员将理解和领会的是，方法备选能够表示为一系列的互相相关状态或事件，如在状态图中。另外，对于新颖实现，并非要求方法中所示的所有动作。
逻辑流程可在软件、固件和/或硬件中实现。在软件和固件示例中，逻辑流程可由在诸如光学、磁性或半导体存储装置等至少一个非暂时性计算机可读介质或机器可读介质中存储的计算机执行指令实现或执行。示例在此情景中不受限制。
图7示出逻辑流程700的示例。逻辑流程700可表示由诸如设备600等本文中所述的一个或多个逻辑、特征或装置执行的一些或所有操作。更具体地说，逻辑流程700可由姿势模块622-1、情景关联模块622-2、媒体模式选择模块622-3、媒体检索模块622-4、处理模块622-5或指示模块622-6实现。
在图7示出的所示示例中，逻辑流程700可包括在框702检测第一输入命令。对于这些示例，输入模块622-1可接收输入命令信息605，输入命令信息605可包括用于检测第一输入命令的传感器信息。
在一些示例中，在框704，逻辑流程700可包括将第一输入命令解释为第一自然UI输入事件。对于这些示例，装置可以是诸如装置100等可包括诸如设备600的设备的装置。此外，对于这些示例，输入模块622-1可至少部分基于收到的输入命令信息605，将第一输入命令解释为第一自然UI输入事件。
根据一些示例，在框706，逻辑流程700可包括基于与第一输入命令有关的情景信息，将第一自然UI输入事件与情景相关联。对于这些示例，情景关联模块622-2可基于情景信息615，将第一自然UI输入事件与情景相关联。
在一些示例中，在框708，逻辑流程700可包括基于情景，确定是否处理第一自然UI事件。对于这些示例，处理模块622-5可确定与第一自然UI事件相关联的情景包括导致忽略或阻止媒体检索模块622-4进行的媒体内容检索的用户活动或装置情况。例如，第一自然UI事件是用于更改音乐选择，并且从诸如摇晃装置等输入命令而得以解释。仍有的情景包括用户带着装置跑步，因此，通过阻止媒体检索模块622-4检索新或不同的音乐选择，可忽略第一自然UI事件。
根据一些示例，在框710，逻辑流程700可包括基于情景处理第一自然UI输入事件，以包括确定情景是否造成从第一媒体检索模式到第二媒体检索模式的交换。对于这些示例，情景可不包括导致忽略或阻止媒体内容检索的用户活动或装置情况。在一些示例中，媒体模式选择模块622-3可基于与第一自然UI输入事件相关联的情景，做出是否促使媒体检索模式更改的确定。
在一些示例中，在框712，逻辑流程可包括基于第一或第二媒体检索模式，为应用程序检索媒体内容。对于这些示例，媒体检索模块622-4可从媒体内容库635为应用程序检索媒体内容655。
根据一些示例，在框714，逻辑流程可包括指示用于检索媒体内容的第一媒体检索模式或第二媒体检索模式。对于这些示例，指示模块622-6可经包括音频指示、视觉指示或振动指示的至少之一的媒体检索模式指示645，指示第一或第二媒体检索模式。
图8示出第一存储介质的一实施例。如图8所示，第一存储介质包括存储介质800。存储介质800可包括某种制品。在一些示例中，存储介质800可包括诸如光学、磁性或半导体存储装置等任何非暂时性计算机可读介质或机器可读介质。存储介质800可存储各种类型的计算机可执行指令，如实现逻辑流程700的指令。计算机可读或机器可读存储介质的示例可包括能够存储电子数据的任何有形媒体，包括易失性存储器或非易失性存储器、可拆卸或非可拆卸存储器、可擦除或非可擦除存储器、可写或可重写存储器等。计算机可执行指令的示例可包括使用任何适合类型的代码，如源码、编译码、解释程序代码、可执行代码、静态码、动态码、面向对象码、可视码及诸如此类。示例在此情景中不受限制。
图9示出第二装置的一实施例。如图9所示，第二装置包括装置900。在一些示例中，装置900可配置或布置用于在无线网络中的无线通信，并且虽然在图9中未示出，但也可包括用于装置100的图1中示出的至少一些元素或特征。装置900例如可实现设备600、存储介质800和/或逻辑电路970。逻辑电路970可包括执行为设备600描述的操作的物理电路。如图9所示，装置900可包括无线电接口910、基带电路920、和计算平台930，但示例不限于此配置。
装置900可在单个计算实体中为设备600、存储介质700和/或逻辑电路970实现一些或所有结构和/或操作，如完全在单个装置内。实施例在此情景中不受限制。
在一个示例中，无线电接口910可包括适用于传送和/或接收单载波或多载波调制信号（例如，包括补码键控(CCK)和/或下次频分复用(OFDM)符号）的组件或组件的组合，但实施例不限于任何特定空中接口或调制方案。无线电接口910例如可包括接收器912、传送器916和/或频率合成器914。无线电接口910可包括偏置控制、晶体振荡器和/或一个或多个天线918-f。在另一示例中，无线电接口910可根据需要使用外部电压控制振荡器(VCO)、表面声波滤波器、中频(IF)滤波器和/或RF滤波器。由于多种可能的RF接口设计原因，忽略了其展开描述。
基带电路920可与无线电接口910进行通信以处理，接收和/或传送信号，并且例如可包括模数转换器922以将收到信号下变频、数模转换器924以将信号上变频以便传送。此外，基带电路920可包括基带或物理层(PHY)处理电路926以便进行相应接收/传送信号的PHY链路层处理。基带电路920例如也可包括用于介质访问控制(MAC)/数据链路层处理的MAC928。基带电路920可包括用于例如经一个或更多个接口934与MAC928和/或计算平台930进行通信的存储器控制器932。
在一些实施例中，PHY处理电路926可包括帧构建和/或检测模块，该模块与诸如高速缓冲存储器等另外的电路组合以构建和/或解构通信帧（例如，包含子帧）。备选或另外，MAC928可为这些功能的某些功能共享处理，或者独立于PHY处理电路926执行这些处理。在一些实施例中，MAC和PHY处理可集成到单个电路中。
计算平台930可提供用于装置900的计算功能性。如图所示，计算机平台930可包括处理器组件940。另外或备选，装置900的基带电路920可使用计算平台930，执行用于设备600、存储介质800和逻辑电路970的处理操作或逻辑。处理器组件940（和/或PHY926和/或MAC928）可包括各种硬件元素、软件元素或两者的组合。硬件元素的示例可包括装置、逻辑装置、组件、处理器、微处理器、电路、处理器组件（例如，处理器组件620）、电路元素（例如，晶体管、电阻器、电容器、电感器等等）、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD),、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、存储器单元、逻辑门、寄存器、半导体装置、芯片、微芯片、芯片集等等。软件元素的示例可包括软件组件、程序、应用程序、计算机程序、系统程序、软件开发程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、功能、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或其任何组合。确定示例是否使用硬件元素和/或软件元素实现可根据给定示例的需要，根据任何数量的因素而变化，如所需的计算速率、功率电平、耐热度、处理周期预算、输入数据率、输出数据率、存储器资源、数据总线速度及其它设计或性能约束。
计算平台930可还包括其它平台组件950。其它平台组件950包括各种普通计算元素，如一个或多个处理器、多核处理器、协处理器、存储器单元、芯片集、控制器、外设、接口、振荡器、定时装置、视频卡、音频卡、多媒体输入/输出(I/O)组件（例如，数字显示器）、供电电源等等。存储器单元的示例可包括但不限于一个或多个更高速存储器单元形式的各种类型的计算机可读和机器可读存储介质，如只读存储器(ROM)、随机存取存储器(RAM)、动态RAM(DRAM)、双数据率DRAM(DDRAM)、同步DRAM(SDRAM)、静态RAM(SRAM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、聚合物存储器，如铁电聚合物存储器、双向存储器、相变或铁电存储器、硅氧化氮氧化硅(SONOS)存储器、磁卡或光学卡、诸如独立磁盘冗余阵列(RAID)驱动器、固态存储器装置（例如，USB存储器、固态驱动器(SSD)）及适合存储信息的任何其它类型的存储介质。
计算平台930可还包括网络接口960。在一些示例中，网络接口960可包括支持按照诸如电气工程师协会(IEEE)中所述或由其发布的那些标准等一个或更多个无线宽带标准操作的网络接口的逻辑和/或特征。无线宽带标准可包括与2012年3月发布的IEEE802.11-2012信息技术标准-系统间电信和信息交换-局域网和城域网-特定要求第11部分：WLAN介质访问控制(MAC)和物理层(PHY)规范和/或此标准的以后版本（“IEEE802.11”）相关联的以太网无线标准（包括后续和变型）。无线移动宽带标准也可包括一个或更多个3G或4G无线标准、修订版本、后续和变型。无线移动宽带标准的示例可包括但不限于IEEE802.16mand802.16p标准、3GPP长期演进(LTE)和LTE-Advanced(LTE-A)标准、高级国际移动电信(IMT-Advanced)标准的任何标准，包括其修订版、后续和变型。其它适合的示例可包括但不限于全球移动通信系统(GSM)/GSM演进的增强数据率(EDGE)技术、通用移动电信系统(UMTS)/高速分组接入(HSPA)技术、微波接入全球互操作性(WiMAC)或WiMAXII技术、码分多址(CDMA)2000系统主（例如，CDMA20001xRTT、CDMA2000EV-DO、CDMAEV-DV等）、如欧洲电信标准协议(ETSI)宽带无线电接入网络(BRAN)定义的高性能无线电城域网(HIPERMAN)技术、无线宽带(WiBro)技术、带通用分组无线电服务(GRPS)系统的GSM（GSM/GPRS)技术、高速下行链路分组接入(HSDPA)技术、高速正交频分复用(OFDM)分组接入(HSOPA)RFSY、高速上行链路分组接入(HSUPA)系统技术、第8版（“3G3GPP”）前的3GPP或第8版及LTE/系统体系结构演进(SAE)的更高版本（“4G3GPP”）等等。示例在此情景中不受限制。
装置900可包括但不限于用户设备、计算机、个人计算机(PC)、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、智能电话、嵌入式电子器件、游戏控制台、网络家电、环球网设备或其组合。相应地，根据适当需要，可在装置900的各种示例中包括或忽略本文中所述装置900的功能和/或特定配置。在一些示例中，装置900可配置成兼容与IEEE802.11、3GGPP或4G3GPP标准关联的协议和频率，但示例在此方面不受限制。
装置900的实施例可使用单输入单输出(SISO)体系结构实现。然而，某些实现可包括多个天线（例如，天线918-f），以便使用用于波束形成或空分多址(SDMA)的自适应天线技术和/或使用多输入多输出(MIMO)通信技术进行传送和/或接收。
装置900的组件和特征可使用离散电路、专用集成电路(ASIC)、逻辑门和/或单芯片体系结构的任何组合实现。此外，在适当之处，装置900的特征可使用微控制器、可编程逻辑阵列和/或微处理器或上述的任何组合实现。注意，硬件、固件和/或软件元素可在本文中统称或单独称为“逻辑”或“电路”。
应领会的是，图9的框图中示出的装置900可表示许多可能实现的一个功能性描述示例。相应地，附图中示出的框功能的分割、忽略或包括未暗示将必需在示例中分割、忽略或包括用于实现这些功能的硬件组件、电路、软件和/或元素。
一些示例可使用表述“在一个示例中”或“示例”及其派生词进行描述。这些术语表示结合示例描述的特定特征、结构或特性包括在至少一个示例中。在说明书中各个位置出现的“在一个示例中”词语不一定全部指同一示例。
一些示例可使用表述“耦合”、“连接”或“能够耦合”及其派生词进行描述。这些术语不一定是彼此的同义词。例如，使用术语“连接”和/或“耦合”的描述可指示两个或更多个元素相互的直接物理或电接触。然而，术语“耦合”也可指两个或更多个元素相互不直接接触，但仍相互合作或交互。
在一些示例中，用于装置的示例设备可包括处理器组件。对于这些示例，设备也可包括用于供处理器组件执行，接收指示输入命令并且将输入命令解释为自然UI输入事件的传感器信息的输入模块。设备也可包括供处理器组件执行，基于与输入命令有关的情景信息，将自然UI输入事件与情景相关联的情景关联模块。设备也可包括供处理器组件执行，可确定情景是否造成从第一媒体检索模式到第二媒体检索模式的交换的媒体模式选择模块。设备也可包括供处理器组件执行，可基于第一或第二媒体检索模式响应自然UI输入事件，为应用程序检索媒体内容的媒体检索模块。
根据一些示例，示例设备也可包括供处理器组件执行，以基于与第一情景相关联的自然UI输入事件，阻止媒体检索模块为执行应用程序检索媒体的处理模块。对于这些示例，内容可包括带着装置跑步或慢跑，带着装置骑自行车，带着装置步行，带着装置登山或徒步，装置位于高周围噪声环境中，装置位于公共位置中或装置位于工作或办公室位置中之一。
在用于示例设备的一些示例中，第一媒体检索模式可基于将第一媒体内容映射到在与情景相关联时的自然UI输入事件的第一媒体映射。对于这些示例，媒体检索模块可检索包括第一表情符号、第一动画、第一视频、第一音乐选择、第一录音、第一声效或第一图像的至少之一的媒体内容。
根据用于示例设备的一些示例，第二媒体检索模式可基于将第二媒体内容映射到在与情景相关联时的自然UI输入事件的第二媒体映射。对于这些示例，媒体检索模块可检索包括第二表情符号、第二动画、第二视频、第二音乐选择、第二录音、第二声效或第二图像的至少之一的媒体内容。
在一些示例中，示例设备也可包括供处理器组件执行以促使装置指示用于检索媒体内容的第一媒体检索模式或第二媒体检索模式的指示模块。对于这些示例，装置可经音频指示、视觉指示或振动指示的至少之一，指示给定媒体检索模式。
根据用于示例设备的一些示例，媒体检索模块可从在装置保持的媒体内容库、装置远程保持的网络可接入媒体内容库或与输入命令同时生成的用户生成的媒体内容的至少之一检索媒体内容。
在用于示例设备的一些示例中，输入命令可包括触摸姿势、空中姿势、包括装置的至少一部分的有目的移动的装置姿势、音频命令、图像识别或图案识别之一。
根据用于示例设备的一些示例，输入模块收到的指示输入命令的传感器信息可包括检测对装置的触摸屏幕的触摸姿势的触摸屏幕传感器信息、检测在用于装置的一个或更多个摄像装置附近的给定空中空间中空中姿势的图像跟踪信息、检测装置的至少部分的有目的移动的运动传感器信息、检测音频命令的音频信息或经用于装置的一个或更多个摄像装置检测图像识别的图像识别信息或经用于装置的一个或更多个摄像装置检测图案识别的图案识别信息之一。
在用于示例设备的一些示例中，与输入命令有关的情景信息可包括日时间、用于装置的GPS信息、装置定向信息、装置移动速率信息、图像或对象识别信息、在装置上执行的应用程序、用于应用程序的媒体内容的预期接收人、指示用于输入命令的用户活动的类型的用户输入的信息、用户生物统计信息或包括噪声级别、空气温度、光强度、大气压或海拔的在装置的周围环境传感器信息的一项或更多项。
根据用于示例设备的一些示例，应用程序包括文本消息传递应用程序、视频聊天应用程序、电子邮件应用程序、视频播放器应用程序、游戏应用程序、工作生产率应用程序、图像捕捉应用程序、web浏览器应用程序、社交媒体应用程序或音乐播放器应用程序之一。
在用于示例设备的一些示例中，如果应用程序包括文本消息传递应用程序、视频聊天应用程序、电子邮件应用程序或社交媒体应用程序之一，则情景信息也可包括用于由响应自然UI输入事件的应用程序的类型生成的消息的接收人的身份。对于这些示例，带有身份和关系信息的简档可与接收人身份相关联。关系信息可指示消息发达人和消息接收人具有定义的关系。
根据一些示例，示例设备也可包括具有易失性存储器和非易失性存储器的至少之一的存储器。对于这些示例，存储器可能能够至少暂时存储由媒体检索模块基于第一或第二媒体检索模式响应自然UI输入事件而为在装置上执行的应用程序检索的媒体内容。
在一些示例中，在装置实现的示例方法可包括检测第一输入命令。示例方法也可包括将第一输入命令解释为第一自然用户接口(UI)输入事件，并且基于与输入命令相关联的情景信息，将第一自然UI输入事件与情景相关联。示例方法也可包括基于情景，确定是否处理第一自然UI输入事件。
根据一些示例，示例方法也可包括基于情景，处理第一自然UI输入事件。处理可包括确定情景是否造成从第一媒体检索模式到第二媒体检索模式的交换，并且随后基于第一或第二媒体检索模式，为应用程序检索媒体内容。
在用于示例方法的一些示例中，第一媒体检索模式可基于将第一媒体内容映射到在与情景相关联时的第一自然UI输入事件的第一媒体映射。对于这些示例，检索的媒体内容包括第一表情符号、第一动画、第一视频、第一音乐选择、第一录音、第一声效或第一图像的至少之一。
根据用于示例方法的一些示例，第二媒体检索模式可基于将第二媒体内容映射到在与情景相关联时的第一自然UI输入事件的第二媒体映射。对于这些示例，检索的媒体检索可包括第二表情符号、第二动画、第二视频、第二音乐选择、第二录音、第二声效或第二图像的至少之一。
在一些示例中，示例方法可包括由装置经音频指示、视觉指示或振动指示的至少之一，指示用于检索媒体内容的第一媒体检索模式或第二媒体检索模式。
根据用于示例方法的一些示例，可从在装置保持的媒体内容库、装置远程保持的网络可接入媒体内容库或与输入命令同时生成的用户生成的媒体内容的至少之一检索媒体内容。
在用于示例方法的一些示例中，第一输入命令可包括触摸姿势、空中姿势、包括装置的至少一部分的有目的移动的装置姿势、音频命令、图像识别或图案识别之一。
根据用于示例方法的一些示例，第一自然UI输入事件可包括对装置的触摸屏的触摸姿势、空中朝向用于装置的一个或更多个摄像装置的空间姿势、用于装置的运动传感器检测到的有目的移动、用于装置的麦克风检测到的音频信息、用于装置的一个或更多个摄像装置检测到的图像识别或用于装置的一个或更多个摄像装置检测到的图案识别。
在用于示例方法的一些示例中，检测到的第一用户姿势可激活用于装置的麦克风以及第一用户姿势基于麦克风检测到的用户生成的音频命令，被解释为第一自然UI输入事件。
在用于示例方法的一些示例中，检测到的第一输入命令可激活用于装置的麦克风以及第一输入命令基于麦克风检测到的用户生成的音频命令，被解释为第一自然UI输入事件。
在用于示例方法的一些示例中，与第一输入命令有关的情景信息可包括日时间、用于装置的GPS信息、装置定向信息、装置移动速率信息、图像或对象识别信息、在装置上执行的应用程序、用于应用程序的媒体内容的预期接收人、指示用于第一输入命令的用户活动的类型的用户输入的信息、用户生物统计信息或包括噪声级别、空气温度、光强度、大气压或海拔的在装置的周围环境传感器信息的一项或更多项。
根据用于示例方法的一些示例，情景可包括带着装置跑步或慢跑，带着装置骑自行车，带着装置步行，带着装置登山或徒步，装置位于高周围噪声环境中，装置位于公共位置中，装置位于私人或家庭位置中或装置位于工作或办公室位置中之一。
根据用于示例方法的一些示例，应用程序可包括文本消息传递应用程序、视频聊天应用程序、电子邮件应用程序、视频播放器应用程序、游戏应用程序、工作生产率应用程序、图像捕捉应用程序、web浏览器应用程序、社交媒体应用程序或音乐播放器应用程序之一。
根据用于示例方法的一些示例，应用程序可包括文本消息传递应用程序、视频聊天应用程序、电子邮件应用程序或社交媒体应用程序之一，并且情景信息也包括用于由响应第一自然UI输入事件的应用程序的类型生成的消息的接收人的身份。对于这些示例，带有身份和关系信息的简档可与接收人身份相关联。关系信息可指示消息发达人和消息接收人具有定义的关系。
在一些示例中，包括多个指令的至少一种机器可读介质响应指令在装置的系统上被执行，可促使系统检测第一输入命令。指令也可促使系统检测第一输入命令并且将第一输入命令理解为第一自然UI输入事件。指令也可促使系统基于与输入命令有关的情景信息，将第一自然UI输入事件与情景相关联。指令也可促使系统基于情景，确定是否处理第一自然UI输入事件。指令也可促使系统通过确定情景是否造成从第一媒体检索模式到第二媒体检索模式的交换，并且基于第一或第二媒体检索模式，为应用程序检索媒体内容，处理第一自然UI输入事件。
根据用于至少一种机器可读介质的一些示例，第一媒体检索模式可基于将第一媒体内容映射到在与情景相关联时的第一自然UI输入事件的媒体映射。对于这些示例，检索的媒体内容可包括第一表情符号、第一动画、第一视频、第一音乐选择、第一录音、第一声效或第一图像的至少之一。
在用于至少一种机器可读介质的一些示例中，第二媒体检索模式可基于将第二媒体内容映射到在与情景相关联时的第一自然UI输入事件的媒体映射。对于这些示例，检索的媒体检索可包括第二表情符号、第二动画、第二视频、第二音乐选择、第二录音、第二声效或第二图像的至少之一。
根据用于至少一种机器可读介质的一些示例，指令也可促使系统从在装置保持的媒体内容库、装置远程保持的网络可接入媒体内容库或与输入命令同时生成的用户生成的媒体内容的至少之一检索媒体内容。
在用于至少一种机器可读介质的一些示例中，第一输入命令可包括触摸姿势、空中姿势、包括装置的至少一部分的有目的移动的装置姿势、音频命令、图像识别或图案识别之一。
根据用于至少一种机器可读介质的一些示例，第一自然UI输入事件可包括对装置的触摸屏的触摸姿势、空中朝向用于装置的一个或更多个摄像装置的空间姿势、用于装置的运动传感器检测到的有目的移动、用于装置的麦克风检测到的音频信息、用于装置的一个或更多个摄像装置检测到的图像识别或用于装置的一个或更多个摄像装置检测到的图案识别。
在用于至少一种机器可读介质的一些示例中，与输入命令有关的情景信息可包括日时间、用于装置的GPS信息、装置定向信息、装置移动速率信息、图像或对象识别信息、在装置上执行的应用程序、用于应用程序的媒体内容的预期接收人、指示用于输入命令的用户活动的类型的用户输入的信息、用户生物统计信息或包括噪声级别、温度、光强度、大气压或海拔的在装置的周围环境传感器信息的一项或更多项。
根据用于至少一种机器可读介质的一些示例，情景可包括带着装置跑步或慢跑，带着装置骑自行车，带着装置步行，带着装置登山或徒步，装置位于高周围噪声环境中，装置位于公共位置中，装置位于私人或家庭位置中或装置位于工作或办公室位置中之一。
在用于至少一种机器可读介质的一些示例，与输入命令有关的情景信息可包括用于应用程序的应用程序的类型，以包括文本消息传递应用程序、视频聊天应用程序、电子邮件应用程序或社交媒体应用程序之一，并且情景信息也包括用于由响应第一自然UI输入事件的应用程序的类型生成的消息的接收人的身份。对于这些示例，带有身份和关系信息的简档可与接收人身份相关联。关系信息可指示消息发达人和消息接收人具有定义的关系。
要强调的是，本文提供了公开内容摘要以遵从要求提供摘要以允许读者快速确定本技术公开内容本质的37C.F.R.§1.72(b)。它是在将不用于解释或限制权利要求范围或含意的理解下提交。另外，在上述具体实施方式中，可看到各种特性在单个示例中组合在一起以便简化公开内容。此公开方法不可理解为反映要求保护的示例要求比每个权利要求项明确所述更多特征的用意。相反，如下述权利要求所反映的一样，发明的主题依赖比单个公开示例所有特征更少的特征。因此，下述权利要求在此结合到具体实施方式中，其中每个权利要求项本身保持为单独的示例。在所附权利要求书中，术语“包括”和“其中”分别用作相应术语“包含”和“之中”的等效物。另外，术语“第一”、“第二”、“第三”等只用作标签，并无意对其物体强加数字要求。
虽然主题已通过结构特征和/或方法动作特定的语言描述，但要理解的是，所附权利要求书定义的主题不必限于上述的特定特征或动作。相反，上述特定的特性和动作作为实现权利要求的样本形式公开。
Claims (25)
1.一种设备，包括：
用于装置的处理器组件；
输入模块，供所述处理器组件执行以接收指示输入命令并且将所述输入命令解释为自然用户接口UI输入事件的传感器信息；
情景关联模块，供所述处理器组件执行，以基于与所述输入命令有关的情景信息，将所述自然UI输入事件与情景相关联；
媒体模式选择模块，供所述处理器组件执行，以确定所述情景是否造成从第一媒体检索模式到第二媒体检索模式的交换；以及
媒体检索模块，供所述处理器组件执行以便基于所述第一或第二媒体检索模式响应所述自然UI输入事件，为应用程序检索媒体内容。
2.如权利要求1所述的设备，包括：
处理模块，供所述处理器组件执行以便基于与所述情景相关联的所述自然UI输入事件，阻止所述媒体检索模块为所述应用程序检索媒体内容，所述情景包括带着所述装置跑步或慢跑、带着所述装置骑自行车、带着所述装置步行、带着所述装置登山或徒步、所述装置位于高周围噪声环境中、所述装置位于公共位置中或所述装置位于工作或办公室位置中之一。
3.如权利要求1所述的设备，包括所述第一媒体检索模式是基于将第一媒体内容映射到在与所述情景相关联时的所述自然UI输入事件的媒体映射，所述第二媒体检索模式是基于将第二媒体内容映射到在与所述情景相关联时的所述第一自然UI输入事件的媒体映射，所述媒体检索模块基于所述第一或所述第二媒体检索模式，检索媒体内容，所述媒体内容包括第一表情符号、第一动画、第一视频、第一音乐选择、第一录音、第一声效或第一图像的至少之一。
4.如权利要求1到2任一项所述的设备，包括：
指示模块，供所述处理器组件执行以促使所述装置指示用于检索所述媒体内容的所述第一媒体检索模式或所述第二媒体检索模式，所述装置经音频指示、视觉指示或振动指示的至少之一，指示给定媒体检索模式。
5.如权利要求1或3任一项所述的设备，包括所述媒体检索模块从在所述装置保持的媒体内容库、所述装置远程保持的网络可接入媒体内容库或与所述输入命令同时生成的用户生成的媒体内容的至少之一检索所述媒体内容。
6.如权利要求1到2任一项所述的设备，所述输入命令包括触摸姿势、空中姿势、包括所述装置的至少一部分的有目的移动的装置姿势、音频命令、图像识别或图案识别之一。
7.如权利要求6所述的设备，包括所述输入模块收到的指示所述输入命令的所述传感器信息包括检测对所述装置的触摸屏幕的所述触摸姿势的触摸屏幕传感器信息、检测在用于所述装置的一个或更多个摄像装置附近的给定空中空间中所述空中姿势的图像跟踪信息、检测所述装置的至少所述部分的所述有目的移动的运动传感器信息、检测所述音频命令的音频信息或经用于所述装置的一个或更多个摄像装置检测所述图像识别的图像识别信息或经用于所述装置的一个或更多个摄像装置检测所述图案识别的图案识别信息之一。
8.如权利要求1到2任一项所述的设备，与所述输入命令有关的所述情景信息包括日时间、用于所述装置的全球定位系统GPS信息、装置定向信息、装置移动速率信息、图像或对象识别信息、在所述装置上执行的所述应用程序、用于所述应用程序的所述媒体内容的预期接收人、指示用于所述输入命令的用户活动的类型的用户输入的信息、用户生物统计信息或包括噪声级别、空气温度、光强度、大气压或海拔的在所述装置的周围环境传感器信息的一项或更多项。
9.如权利要求1到2任一项所述的设备，包括所述应用程序包括文本消息传递应用程序、视频聊天应用程序、电子邮件应用程序、视频播放器应用程序、游戏应用程序、工作生产率应用程序、图像捕捉应用程序、web浏览器应用程序、社交媒体应用程序或音乐播放器应用程序之一。
10.如权利要求9所述的设备，所述应用程序包括所述文本消息传递应用程序、所述视频聊天应用程序、所述电子邮件应用程序或所述社交媒体应用程序，并且所述情景信息也包括用于由响应所述自然UI输入事件的应用程序的所述类型生成的消息的接收人的身份。
11.如权利要求10所述的设备，包括带有身份和关系信息的简档，所述关系信息指示消息发送人和所述消息接收人具有定义的关系。
12.如权利要求1或3任一项所述的设备，包括：
存储器，包括易失性或非易失性存储器的至少之一，所述存储器能够至少暂时存储由所述媒体检索模块基于所述第一或所述第二媒体检索模式响应所述自然UI输入事件而为在所述装置上执行的所述应用程序检索的媒体内容。
13.一种方法，包括：
在装置检测第一输入命令；
将所述第一输入命令解释为第一自然用户接口UI输入事件；
基于与所述输入命令有关的情景信息，将所述第一自然UI输入事件与情景相关联；以及
基于所述情景，确定是否处理所述第一自然UI输入事件。
14.如权利要求13所述的方法，包括：
基于所述情景处理所述第一自然UI输入事件包括确定所述情景是否造成从第一媒体检索模式到第二媒体检索模式的交换；以及
基于所述第一或所述第二媒体检索模式，为应用程序检索媒体内容。
15.如权利要求14所述的方法，包括所述第一媒体检索模式是基于将第一媒体内容映射到在与所述情景相关联时的所述第一自然UI输入事件的媒体映射，所述第二媒体检索模式是基于将第二媒体内容映射到在与所述情景相关联时的所述第一自然UI输入事件的媒体映射，基于所述第一或所述第二媒体检索模式检索的所述媒体内容包括第一表情符号、第一动画、第一视频、第一音乐选择、第一录音、第一声效或第一图像的至少之一。
16.如权利要求13到15任一项所述的方法，所述第一输入命令包括触摸姿势、空中姿势、包括所述装置的至少一部分的有目的移动的装置姿势、音频命令、图像识别或图案识别之一。
17.如权利要求16所述的方法，所述第一自然UI输入事件包括对所述装置的触摸屏的触摸姿势、空中朝向用于所述装置的一个或更多个摄像装置的空间姿势、用于所述装置的运动传感器检测到的有目的移动、用于所述装置的麦克风检测到的音频信息、用于所述装置的一个或更多个摄像装置检测到的图像识别或用于所述装置的一个或更多个摄像装置检测到的图案识别。
18.如权利要求16所述的方法，包括所述检测到的第一输入命令激活用于所述装置的麦克风和所述第一输入命令基于所述麦克风检测到的用户生成的音频命令被解释为所述第一自然UI输入事件。
19.如权利要求16所述的方法，包括所述检测到的第一输入命令激活用于所述装置的摄像装置和所述第一输入命令基于所述摄像装置检测到的对象或图案识别，被解释为所述第一自然UI输入事件。
20.如权利要求13到15任一项所述的方法，所述情景包括带着所述装置跑步或慢跑、带着所述装置骑自行车、带着所述装置步行、带着所述装置登山或者徒步、所述装置位于高周围噪声环境中、所述装置位于公共位置中、所述装置位于私人或家庭位置中或所述装置位于工作或办公室位置中之一。
21.包括多个指令的至少一种机器可读介质，指令响应在装置的系统上被执行，促使所述系统：
检测第一输入命令；
将所述第一输入命令解释为第一自然用户接口UI输入事件；
基于与所述输入命令有关的情景信息，将所述第一自然UI输入事件与情景相关联；
基于所述情景，确定是否处理所述第一自然UI输入事件；
通过确定所述情景是否造成从第一媒体检索模式到第二媒体检索模式的交换，处理所述第一自然UI输入事件；以及
基于所述第一或所述第二媒体检索模式，为应用程序检索媒体内容。
22.如权利要求21所述的至少一种机器可读介质，包括所述第一媒体检索模式是基于将第一媒体内容映射到在与所述情景相关联时的所述第一自然UI输入事件的媒体映射，所述第二媒体检索模式是基于将第二媒体内容映射到在与所述情景相关联时的所述第一自然UI输入事件的媒体映射，基于所述第一或所述第二媒体检索模式检索的所述媒体内容包括第一表情符号、第一动画、第一视频、第一音乐选择、第一录音、第一声效或第一图像的至少之一。
23.如权利要求21到22任一项所述的至少一种机器可读介质，所述第一输入命令包括触摸姿势、空中姿势、包括所述装置的至少一部分的有目的移动的装置姿势、音频命令、图像识别或图案识别之一。
24.如权利要求23所述的至少一种机器可读介质，所述第一自然UI输入事件包括对所述装置的触摸屏的触摸姿势、空中朝向用于所述装置的一个或更多个摄像装置的空间姿势、或用于所述装置的运动传感器检测到的有目的移动、用于所述装置的麦克风检测到的音频信息、用于所述装置的一个或更多个摄像装置检测到的图像识别或用于所述装置的一个或更多个摄像装置检测到的图案识别。
25.如权利要求21到22任一项所述的至少一种机器可读介质，与所述输入命令有关的所述情景信息包括日时间、用于所述装置的全球定位系统GPS信息、装置定向信息、装置移动速率信息、图像或对象识别信息、在所述装置上执行的所述应用程序、用于所述应用程序的所述媒体内容的预期接收人、指示用于所述输入命令的用户活动的类型的用户输入的信息、用户生物统计信息或包括噪声级别、温度、光强度、大气压或海拔的在所述装置的周围环境传感器信息的一项或更多项。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/US2013/041404 WO2014185922A1 (en) | 2013-05-16 | 2013-05-16 | Techniques for natural user interface input based on context |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105122181A true CN105122181A (zh) | 2015-12-02 |
| CN105122181B CN105122181B (zh) | 2018-12-18 |
Family
ID=51896836
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201380075695.3A Active CN105122181B (zh) | 2013-05-16 | 2013-05-16 | 用于基于情景的自然用户接口输入的技术 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20140344687A1 (zh) |
| EP (1) | EP2997444A4 (zh) |
| KR (1) | KR101825963B1 (zh) |
| CN (1) | CN105122181B (zh) |
| WO (1) | WO2014185922A1 (zh) |
Families Citing this family (149)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
| US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
| US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
| US10002189B2 (en) | 2007-12-20 | 2018-06-19 | Apple Inc. | Method and apparatus for searching using an active ontology |
| US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
| US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
| US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
| US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
| US20120311585A1 (en) | 2011-06-03 | 2012-12-06 | Apple Inc. | Organizing task items that represent tasks to perform |
| US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
| US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
| US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
| US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
| US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
| US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
| US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
| US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
| DE212014000045U1 (de) | 2013-02-07 | 2015-09-24 | Apple Inc. | Sprach-Trigger für einen digitalen Assistenten |
| US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
| US10748529B1 (en) | 2013-03-15 | 2020-08-18 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
| WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
| WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
| DE112014002747T5 (de) | 2013-06-09 | 2016-03-03 | Apple Inc. | Vorrichtung, Verfahren und grafische Benutzerschnittstelle zum Ermöglichen einer Konversationspersistenz über zwei oder mehr Instanzen eines digitalen Assistenten |
| US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
| US20150012883A1 (en) * | 2013-07-02 | 2015-01-08 | Nokia Corporation | Method and apparatus for providing a task-based user interface |
| KR20150009186A (ko) * | 2013-07-16 | 2015-01-26 | 삼성전자주식회사 | 메신저 기반의 대화 서비스 기능 운용 방법 및 사용자 인터페이스 그리고 이를 지원하는 전자 장치 |
| KR20150016683A (ko) * | 2013-08-05 | 2015-02-13 | 엘지전자 주식회사 | 이동 단말기 및 그것의 제어방법 |
| US20160019360A1 (en) | 2013-12-04 | 2016-01-21 | Apple Inc. | Wellness aggregator |
| US10296160B2 (en) | 2013-12-06 | 2019-05-21 | Apple Inc. | Method for extracting salient dialog usage from live data |
| DE102013021875B4 (de) * | 2013-12-21 | 2021-02-04 | Audi Ag | Sensorvorrichtung und Verfahren zum Erzeugen von wegezustandsabhängig aufbereiteten Betätigungssignalen |
| US9330666B2 (en) * | 2014-03-21 | 2016-05-03 | Google Technology Holdings LLC | Gesture-based messaging method, system, and device |
| KR20150121889A (ko) * | 2014-04-22 | 2015-10-30 | 에스케이플래닛 주식회사 | 재생 음악 관련 이미지 제공 장치 및 이를 이용한 방법 |
| US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
| EP3149728B1 (en) | 2014-05-30 | 2019-01-16 | Apple Inc. | Multi-command single utterance input method |
| US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
| US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
| US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
| US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
| US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
| US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
| US10152299B2 (en) | 2015-03-06 | 2018-12-11 | Apple Inc. | Reducing response latency of intelligent automated assistants |
| US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
| US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
| US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
| CN104866055A (zh) * | 2015-03-31 | 2015-08-26 | 四川爱里尔科技有限公司 | 提高响应性和延长电池时间的操作系统及其管理方法 |
| US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
| US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
| US10200824B2 (en) | 2015-05-27 | 2019-02-05 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device |
| US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
| US10331399B2 (en) * | 2015-06-05 | 2019-06-25 | Apple Inc. | Smart audio playback when connecting to an audio output system |
| US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
| US20160378747A1 (en) | 2015-06-29 | 2016-12-29 | Apple Inc. | Virtual assistant for media playback |
| US10331312B2 (en) | 2015-09-08 | 2019-06-25 | Apple Inc. | Intelligent automated assistant in a media environment |
| US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
| US10740384B2 (en) | 2015-09-08 | 2020-08-11 | Apple Inc. | Intelligent automated assistant for media search and playback |
| US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US10956666B2 (en) | 2015-11-09 | 2021-03-23 | Apple Inc. | Unconventional virtual assistant interactions |
| US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
| US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| US11416212B2 (en) * | 2016-05-17 | 2022-08-16 | Microsoft Technology Licensing, Llc | Context-based user agent |
| US11227589B2 (en) | 2016-06-06 | 2022-01-18 | Apple Inc. | Intelligent list reading |
| US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
| US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
| DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
| US10474753B2 (en) | 2016-09-07 | 2019-11-12 | Apple Inc. | Language identification using recurrent neural networks |
| US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
| US10606457B2 (en) | 2016-10-11 | 2020-03-31 | Google Llc | Shake event detection system |
| US11281993B2 (en) | 2016-12-05 | 2022-03-22 | Apple Inc. | Model and ensemble compression for metric learning |
| US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
| US11204787B2 (en) | 2017-01-09 | 2021-12-21 | Apple Inc. | Application integration with a digital assistant |
| US11347805B2 (en) * | 2017-03-08 | 2022-05-31 | Samsung Electronics Co., Ltd. | Electronic apparatus, method for controlling the same, and non-transitory computer readable recording medium |
| KR102440963B1 (ko) * | 2017-03-08 | 2022-09-07 | 삼성전자주식회사 | 전자 장치, 이의 제어 방법 및 비일시적인 컴퓨터 판독가능 기록매체 |
| DK201770383A1 (en) | 2017-05-09 | 2018-12-14 | Apple Inc. | USER INTERFACE FOR CORRECTING RECOGNITION ERRORS |
| US10417266B2 (en) | 2017-05-09 | 2019-09-17 | Apple Inc. | Context-aware ranking of intelligent response suggestions |
| DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
| US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
| DK180048B1 (en) | 2017-05-11 | 2020-02-04 | Apple Inc. | MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION |
| US10395654B2 (en) | 2017-05-11 | 2019-08-27 | Apple Inc. | Text normalization based on a data-driven learning network |
| DK201770427A1 (en) | 2017-05-12 | 2018-12-20 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
| DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
| DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
| US11301477B2 (en) | 2017-05-12 | 2022-04-12 | Apple Inc. | Feedback analysis of a digital assistant |
| DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
| DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
| US10303715B2 (en) | 2017-05-16 | 2019-05-28 | Apple Inc. | Intelligent automated assistant for media exploration |
| DK179549B1 (en) | 2017-05-16 | 2019-02-12 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
| US10403278B2 (en) | 2017-05-16 | 2019-09-03 | Apple Inc. | Methods and systems for phonetic matching in digital assistant services |
| US20180336892A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Detecting a trigger of a digital assistant |
| US10311144B2 (en) | 2017-05-16 | 2019-06-04 | Apple Inc. | Emoji word sense disambiguation |
| US10657328B2 (en) | 2017-06-02 | 2020-05-19 | Apple Inc. | Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling |
| US10445429B2 (en) | 2017-09-21 | 2019-10-15 | Apple Inc. | Natural language understanding using vocabularies with compressed serialized tries |
| US10755051B2 (en) | 2017-09-29 | 2020-08-25 | Apple Inc. | Rule-based natural language processing |
| US20190114131A1 (en) * | 2017-10-13 | 2019-04-18 | Microsoft Technology Licensing, Llc | Context based operation execution |
| US10636424B2 (en) | 2017-11-30 | 2020-04-28 | Apple Inc. | Multi-turn canned dialog |
| US10733982B2 (en) | 2018-01-08 | 2020-08-04 | Apple Inc. | Multi-directional dialog |
| US10733375B2 (en) | 2018-01-31 | 2020-08-04 | Apple Inc. | Knowledge-based framework for improving natural language understanding |
| US10789959B2 (en) | 2018-03-02 | 2020-09-29 | Apple Inc. | Training speaker recognition models for digital assistants |
| DK180241B1 (en) | 2018-03-12 | 2020-09-08 | Apple Inc | User interfaces for health monitoring |
| US10592604B2 (en) | 2018-03-12 | 2020-03-17 | Apple Inc. | Inverse text normalization for automatic speech recognition |
| US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
| US10909331B2 (en) | 2018-03-30 | 2021-02-02 | Apple Inc. | Implicit identification of translation payload with neural machine translation |
| US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
| US11317833B2 (en) | 2018-05-07 | 2022-05-03 | Apple Inc. | Displaying user interfaces associated with physical activities |
| US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
| DK201870380A1 (en) | 2018-05-07 | 2020-01-29 | Apple Inc. | DISPLAYING USER INTERFACES ASSOCIATED WITH PHYSICAL ACTIVITIES |
| US10984780B2 (en) | 2018-05-21 | 2021-04-20 | Apple Inc. | Global semantic word embeddings using bi-directional recurrent neural networks |
| US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
| US11386266B2 (en) | 2018-06-01 | 2022-07-12 | Apple Inc. | Text correction |
| DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
| DK179822B1 (da) | 2018-06-01 | 2019-07-12 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
| DK201870355A1 (en) | 2018-06-01 | 2019-12-16 | Apple Inc. | VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS |
| US11076039B2 (en) | 2018-06-03 | 2021-07-27 | Apple Inc. | Accelerated task performance |
| US10832678B2 (en) | 2018-06-08 | 2020-11-10 | International Business Machines Corporation | Filtering audio-based interference from voice commands using interference information |
| US11010561B2 (en) | 2018-09-27 | 2021-05-18 | Apple Inc. | Sentiment prediction from textual data |
| US11170166B2 (en) | 2018-09-28 | 2021-11-09 | Apple Inc. | Neural typographical error modeling via generative adversarial networks |
| US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
| US10839159B2 (en) | 2018-09-28 | 2020-11-17 | Apple Inc. | Named entity normalization in a spoken dialog system |
| US11475898B2 (en) | 2018-10-26 | 2022-10-18 | Apple Inc. | Low-latency multi-speaker speech recognition |
| US11638059B2 (en) | 2019-01-04 | 2023-04-25 | Apple Inc. | Content playback on multiple devices |
| US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
| US11423908B2 (en) | 2019-05-06 | 2022-08-23 | Apple Inc. | Interpreting spoken requests |
| US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
| DK201970532A1 (en) | 2019-05-06 | 2021-05-03 | Apple Inc | Activity trends and workouts |
| US11475884B2 (en) | 2019-05-06 | 2022-10-18 | Apple Inc. | Reducing digital assistant latency when a language is incorrectly determined |
| DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
| US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
| DK201970510A1 (en) | 2019-05-31 | 2021-02-11 | Apple Inc | Voice identification in digital assistant systems |
| US11289073B2 (en) | 2019-05-31 | 2022-03-29 | Apple Inc. | Device text to speech |
| US11496600B2 (en) | 2019-05-31 | 2022-11-08 | Apple Inc. | Remote execution of machine-learned models |
| DK180129B1 (en) | 2019-05-31 | 2020-06-02 | Apple Inc. | USER ACTIVITY SHORTCUT SUGGESTIONS |
| US11209957B2 (en) | 2019-06-01 | 2021-12-28 | Apple Inc. | User interfaces for cycle tracking |
| US11468890B2 (en) | 2019-06-01 | 2022-10-11 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
| US11228835B2 (en) | 2019-06-01 | 2022-01-18 | Apple Inc. | User interfaces for managing audio exposure |
| US11152100B2 (en) | 2019-06-01 | 2021-10-19 | Apple Inc. | Health application user interfaces |
| US11360641B2 (en) | 2019-06-01 | 2022-06-14 | Apple Inc. | Increasing the relevance of new available information |
| US11234077B2 (en) | 2019-06-01 | 2022-01-25 | Apple Inc. | User interfaces for managing audio exposure |
| CN114286975A (zh) | 2019-09-09 | 2022-04-05 | 苹果公司 | 调查研究用户界面 |
| WO2021056255A1 (en) | 2019-09-25 | 2021-04-01 | Apple Inc. | Text detection using global geometry estimators |
| US11810578B2 (en) | 2020-05-11 | 2023-11-07 | Apple Inc. | Device arbitration for digital assistant-based intercom systems |
| US11061543B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | Providing relevant data items based on context |
| US11038934B1 (en) | 2020-05-11 | 2021-06-15 | Apple Inc. | Digital assistant hardware abstraction |
| DK181037B1 (en) | 2020-06-02 | 2022-10-10 | Apple Inc | User interfaces for health applications |
| US11490204B2 (en) | 2020-07-20 | 2022-11-01 | Apple Inc. | Multi-device audio adjustment coordination |
| US11438683B2 (en) | 2020-07-21 | 2022-09-06 | Apple Inc. | User identification using headphones |
| US11698710B2 (en) | 2020-08-31 | 2023-07-11 | Apple Inc. | User interfaces for logging user activities |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070022358A1 (en) * | 2005-06-16 | 2007-01-25 | Hong-Ching Chen | Methods and apparatuses for generating error correction codes |
| CN102546927A (zh) * | 2009-06-16 | 2012-07-04 | 英特尔公司 | 多模式手持无线设备 |
| CN102782629A (zh) * | 2009-12-31 | 2012-11-14 | 诺基亚公司 | 用于流体图形用户接口的方法和装置 |
| CN102822790A (zh) * | 2010-04-02 | 2012-12-12 | 诺基亚公司 | 用于提供增强型用户接口的方法和装置 |
| US20130095805A1 (en) * | 2010-08-06 | 2013-04-18 | Michael J. Lebeau | Automatically Monitoring for Voice Input Based on Context |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7107539B2 (en) | 1998-12-18 | 2006-09-12 | Tangis Corporation | Thematic response to a computer user's context, such as by a wearable personal computer |
| US20090300525A1 (en) * | 2008-05-27 | 2009-12-03 | Jolliff Maria Elena Romera | Method and system for automatically updating avatar to indicate user's status |
| US8261212B2 (en) * | 2009-10-20 | 2012-09-04 | Microsoft Corporation | Displaying GUI elements on natural user interfaces |
| US9213410B2 (en) * | 2010-03-26 | 2015-12-15 | Hewlett-Packard Development Company L.P. | Associated file |
| US20110296352A1 (en) * | 2010-05-27 | 2011-12-01 | Microsoft Corporation | Active calibration of a natural user interface |
| KR20120035529A (ko) | 2010-10-06 | 2012-04-16 | 삼성전자주식회사 | 휴대용 단말기에서 적응적 제스처 인식 장치 및 방법 |
| US20120110456A1 (en) * | 2010-11-01 | 2012-05-03 | Microsoft Corporation | Integrated voice command modal user interface |
| US8478306B2 (en) * | 2010-11-10 | 2013-07-02 | Google Inc. | Self-aware profile switching on a mobile computing device |
| US20120313847A1 (en) | 2011-06-09 | 2012-12-13 | Nokia Corporation | Method and apparatus for contextual gesture recognition |
| US9256396B2 (en) * | 2011-10-10 | 2016-02-09 | Microsoft Technology Licensing, Llc | Speech recognition for context switching |
| US20140181715A1 (en) * | 2012-12-26 | 2014-06-26 | Microsoft Corporation | Dynamic user interfaces adapted to inferred user contexts |
-
2013
- 2013-05-16 EP EP13884567.2A patent/EP2997444A4/en not_active Withdrawn
- 2013-05-16 KR KR1020157028698A patent/KR101825963B1/ko active IP Right Grant
- 2013-05-16 WO PCT/US2013/041404 patent/WO2014185922A1/en active Application Filing
- 2013-05-16 CN CN201380075695.3A patent/CN105122181B/zh active Active
- 2013-05-16 US US13/997,217 patent/US20140344687A1/en not_active Abandoned
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070022358A1 (en) * | 2005-06-16 | 2007-01-25 | Hong-Ching Chen | Methods and apparatuses for generating error correction codes |
| CN102546927A (zh) * | 2009-06-16 | 2012-07-04 | 英特尔公司 | 多模式手持无线设备 |
| CN102782629A (zh) * | 2009-12-31 | 2012-11-14 | 诺基亚公司 | 用于流体图形用户接口的方法和装置 |
| CN102822790A (zh) * | 2010-04-02 | 2012-12-12 | 诺基亚公司 | 用于提供增强型用户接口的方法和装置 |
| US20130095805A1 (en) * | 2010-08-06 | 2013-04-18 | Michael J. Lebeau | Automatically Monitoring for Voice Input Based on Context |
Also Published As
| Publication number | Publication date |
|---|---|
| US20140344687A1 (en) | 2014-11-20 |
| CN105122181B (zh) | 2018-12-18 |
| EP2997444A1 (en) | 2016-03-23 |
| WO2014185922A1 (en) | 2014-11-20 |
| KR20150130484A (ko) | 2015-11-23 |
| EP2997444A4 (en) | 2016-12-14 |
| KR101825963B1 (ko) | 2018-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105122181A (zh) | 用于基于情景的自然用户接口输入的技术 | |
| US11120630B2 (en) | Virtual environment for sharing information | |
| CN102693126B (zh) | 用于自适应地操作应用程序的设备和方法 | |
| US20170041272A1 (en) | Electronic device and method for transmitting and receiving content | |
| KR102294180B1 (ko) | 전자장치 및 전자장치의 전원제어 방법 | |
| KR102348942B1 (ko) | 건강 정보를 표시하는 방법 및 이를 제공하는 전자 장치 | |
| EP3568758B1 (en) | Method for switching applications, and electronic device thereof | |
| KR102379171B1 (ko) | 전자 장치 및 그의 영상 표시 방법 | |
| KR102213190B1 (ko) | 홈스크린 구성 방법 및 이를 이용한 전자 장치 | |
| KR102265244B1 (ko) | 디스플레이를 제어하는 전자 장치 및 방법 | |
| EP3534671B1 (en) | Method for controlling and electronic device thereof | |
| KR20160062414A (ko) | 전자장치 및 전자장치의 객체 제어 방법 | |
| CN105426035A (zh) | 用于提供信息的方法和电子装置 | |
| KR20160094032A (ko) | 통합 메시지 어플리케이션 운용 방법 및 이를 지원하는 전자장치 | |
| KR20170137527A (ko) | 웨어러블 전자 장치와 이의 동작 방법 | |
| US20160170614A1 (en) | Method and apparatus for providing object-related services | |
| KR102238905B1 (ko) | 전자 장치의 비콘 전달 방법 및 그 전자 장치 | |
| KR20160046401A (ko) | 보안을 제어하기 위한 방법 및 그 전자 장치 | |
| KR20170084586A (ko) | 전자 장치의 플렉서블 디스플레이 및 그의 운용 방법 | |
| KR20170050702A (ko) | 제스처 감지 방법 및 이를 지원하는 전자 장치 | |
| KR102192155B1 (ko) | 어플리케이션 정보를 제공하는 방법 및 장치 | |
| CN103888916A (zh) | 信息发送方法及信息发送装置 | |
| KR102244855B1 (ko) | 전자 장치의 입출력 장치 선택 방법 및 이를 이용한 전자 장치 | |
| KR20150136801A (ko) | 어플리케이션 ui 및 전자 장치 | |
| KR20180103345A (ko) | 이동 경로를 제공하는 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |