CN105684012A - 提供情境信息 - Google Patents

提供情境信息 Download PDF

Info

Publication number
CN105684012A
CN105684012A CN201480058317.9A CN201480058317A CN105684012A CN 105684012 A CN105684012 A CN 105684012A CN 201480058317 A CN201480058317 A CN 201480058317A CN 105684012 A CN105684012 A CN 105684012A
Authority
CN
China
Prior art keywords
user
project
input
contextual information
locus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480058317.9A
Other languages
English (en)
Other versions
CN105684012B (zh
Inventor
A·勒蒂涅米
L·拉克索南
M·维勒莫
M·塔米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN105684012A publication Critical patent/CN105684012A/zh
Application granted granted Critical
Publication of CN105684012B publication Critical patent/CN105684012B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0255—Targeted advertisements based on user history
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种装置、方法和计算机程序产品，其用于：将媒体内容中的项目与空间位置相关联；接收对应于该空间位置的用户输入；以及响应于接收到该用户输入，提供与该项目相关的情境信息，其中该情境信息取决于该项目在该媒体内容内的先前出现。

Description

提供情境信息
技术领域
本申请总体涉及提供情境信息(contextinformation)。
背景技术
电子设备可以被用于进行许多不同的事情。例如，编写和发送消息，听音乐，浏览互联网页面，播放数字文档，读取有声书(audiobook)和/或电子书或导航。
发明内容
在权利要求书中阐述了本发明的示例的各个方面。
根据本发明的第一方面，提供了一种方法，该方法包括：将媒体内容中的项目与空间位置相关联；接收对应于该空间位置的用户输入；以及响应于接收到该用户输入，提供与该项目相关的情境信息，其中该情境信息取决于该项目在该媒体内容内的先前出现。
根据本发明的第二方面，提供了一种装置，该装置包括处理器、包括计算机程序代码的存储器，存储器和计算机程序代码被配置为与处理器一起用于使得该装置执行至少以下：将媒体内容中的项目与空间位置相关联；接收对应于该空间位置的用户输入；以及响应于接收到该用户输入，提供与该项目相关的情境信息，其中该情境信息取决于该项目在该媒体内容内的先前出现。
在至少一个示例实施例中，存储器和计算机程序代码还被配置为与处理器一起使得该装置在代表该媒体内容中的该项目的媒体的呈现期间接收该用户输入。
在至少一个示例实施例中，存储器和计算机程序还被配置为接收对该媒体内容的分析。
在至少一个示例实施例中，该用户输入包括指向该空间位置的运动姿势。
在至少一个示例实施例中，该用户输入包括使设备倾斜，并且存储器和计算机程序还被配置为接收倾斜的程度。在至少一个示例实施例中，存储器和计算机程序还被配置为在提供该情境信息期间接收另一用户输入。
在至少一个示例实施例中，存储器和计算机程序还被配置为响应于接收到对应于该空间位置的该用户输入，确定针对该情境信息的起始点。
在至少一个示例实施例中，存储器和计算机程序还被配置为接收用于将媒体内容中的项目与空间位置相关联的用户输入。
根据第三方面，提供了一种包括计算机可读介质的计算机程序产品，计算机可读介质承载被体现在其中以用于与计算机一起使用的计算机程序代码，该计算机程序代码包括：用于将媒体内容中的项目与空间位置相关联的代码；用于接收对应于该空间位置的用户输入的代码；以及用于响应于接收到该用户输入而提供与该项目相关的情境信息的代码，其中该情境信息取决于该项目在该媒体内容内的先前出现。
根据第四方面，提供了一种设备，该装置包括：用于将媒体内容中的项目与空间位置相关联的装置；用于接收对应于该空间位置的用户输入的装置；以及用于响应于接收到该用户输入而提供与该项目相关的情境信息的装置，其中该情境信息取决于该项目在该媒体内容内的先前出现。
附图说明
为了更完整地理解本发明的示例实施例，现在对结合附图进行的下面的描述进行引用，在附图中：
图1是所公开的实施例的示例可以被应用在其中的示例装置的框图；
图2是所公开的实施例的示例可以被应用在其中的另一示例装置的框图；
图3图示了根据本发明的示例实施例的响应于用户输入而提供情境信息；
图4图示了包含本发明的示例实施例的各方面的示例方法。
图5图示了包含本发明的示例实施例的各方面的另一示例方法。
具体实施方式
本发明的示例实施例以及其潜在优点通过参考附图的图1到图5来理解。
示例实施例涉及提供与项目(item)相关的情境信息。
根据示例实施例，将媒体内容中的项目与空间位置相关联，并且接收对应于空间位置的用户输入。另外，响应于接收到该用户输入，提供与该项目相关的情境信息，其中该情境信息取决于该项目在该媒体内容内的先前出现(prioroccurrence)。
根据示例实施例，媒体内容包括数字文档，并且使用空间音频为用户呈现数字文档的内容的至少一部分。数字文档可以包括文本内容、视觉内容、可听(audible)内容和/或触觉(tactile)内容。
空间音频可以给予听者声音来自特定位置、方向和/或距离的印象。空间音频可以包括通过经由声音渲染系统传递声轨并且通过分布在聆听空间附近的多个换能器再生声轨来在三维(3D)空间中空间定位诸如声轨的声音对象(soundobject)。以这种方式，空间音频场(spatialaudiofield)可以被提供以创建如下印象：声音是从被放置在聆听空间(listeningspace)中的多个位置中的声音源来生成的。
空间音频可以包括方向性音频。例如，利用空间音频可以创建如下印象：声音来自听者后面、听者上方、听者下方、来自听者的右边或左边和/或来自距听者的特定距离。空间音频还可以包括3D音频效果，例如包括例如混响效果(reverbeffect)的3D模拟。
空间音频可以使用诸如扬声器立体音响、使用自然波场的合成的双耳技术或重建的不同技术来提供。空间音频场可以通过环绕听者的环绕声音系统来创建。环绕声音系统可以包括多个扬声器，通过多个扬声器路由(route)多个离散音道。作为另一示例，空间音频场的错觉可以通过头戴式耳机来创建。
根据示例实施例，数字文档包括有声书。在示例实施例中，有声书包括能够由有声书阅读器、计算机、移动计算设备、媒体播放器或任何其他适当的设备或系统读出给用户的文本的记录。有声书可以被存储在存储器设备或记录介质上，或者其可以例如从服务器被下载。有声书可以以不同的格式来记录，例如使用3D音频来记录。应当指出，在示例实施例中，有声书还可以包括文本、图像或两者。
根据示例实施例，数字文档包括电子书。在示例实施例中，电子书包括包含例如文本、图像或两者的数字形式的出版物。电子书可以由用户使用电子书阅读器、计算机、移动计算设备、媒体播放器或任何其他适当的设备或系统阅读/查看。
根据示例实施例，数字文档包括广播剧(radiotheatre)。在示例实施例中，广播剧包括包含例如对话、音乐和/或声音效果的数字形式的出版物。广播剧可以由用户使用收音机、计算机、移动计算设备、媒体播放器或任何其他适当的设备或系统聆听。
根据示例实施例，数字形式的出版物可以包括例如存储在紧致盘(CD)、紧致盘只读存储器(CD-ROM)、数字多用盘(DVD)或蓝光盘上的出版物。根据示例实施例，数字形式的出版物可以包括下载的或流传输的内容，例如博客、网络直播、等等。
数字文档的一个或多个部分可以被预处理以用于可听呈现。在一些示例中，可以例如当以可听见的方式呈现数字文档时动态地处理数字文档。在示例实施例中，文本至语音合成被用于将与数字文档相关联的文本转换成为该用户播放的语音。在示例实施例中，光学字符标识被用于将与数字文档相关联的图片转换成语音。在示例实施例中，与数字文档相关联的元数据可以被提取并被转换成语音。在示例实施例中，语音标识被用于标识不同的语音、说话者和/或声音源。
图1是描绘根据本发明的示例实施例进行操作的装置100的框图。装置100可以例如是诸如芯片或芯片组的电子设备。装置100包括处理器110和存储器160。在其他示例中，装置100可以包括多个处理器。
在图1的示例中，处理器110是被操作连接以从存储器160读取和写入到存储器160的控制单元。处理器110还可以被配置为接收经由输入接口接收到的控制信号，并且/或者处理器110可以被配置为经由输出接口输出控制信号。在示例实施例中，处理器110可以被配置为将接收到的控制信号转换成用于控制装置的功能的合适的命令。处理器还可以被操作连接到外部设备。例如，处理器110还可以被配置为被操作连接到诸如头戴式耳机的附件(accessory)。
存储器160存储计算机程序指令120，其当被下载到处理器110中时如下面所解释的控制装置100的操作。在其他示例中，装置100可以包括多于一个存储器160或不同种类的存储设备。
用于实现本发明的示例实施例的实施方案的计算机程序指令120或这样的计算机程序指令的一部分可以由装置100的制造者、由装置100的用户或由装置100本身基于下载的程序下载到装置100上，或者指令可以由外部设备推送到装置100。计算机程序指令可以经由电磁载波信号到达装置100或者从诸如计算机程序产品、诸如紧致盘(CD)、紧致盘只读存储器(CD-ROM)、数字多用盘(DVD)或蓝光盘的存储器设备或记录介质的物理实体来复制。
图2是描绘根据本发明的示例实施例的装置200的框图。装置200可以是电子设备，例如手持设备、移动电话或个人数字助理(PDA)、个人计算机(PC)、笔记本电脑、平板电脑、无线终端、通信终端、游戏控制台、音乐播放器、电子书阅读器(e-book阅读器)、有声书设备、定位设备、数字相机、CD-DVD或蓝光播放器或媒体播放器。装置200还可以为或被包含在诸如冰箱、咖啡机的家用电器或诸如汽车中的仪表板的任何其他适当的设备。在图2和图3的示例中，假设装置200是移动计算设备。
在该示例中，移动计算设备200被图示为包括装置100、显示器210和用户接口220。然而，显示器210和/或用户接口220可以在装置200的外部但是与其通信。在一些示例中，显示器210可以被包含到用户接口220中：例如，用户接口220可以包括触摸屏显示器。
在图2的示例中，用户接口220被配置为使得能够在移动计算设备200中输入和访问信息。根据示例实施例，用户接口220包括能够接收用户输入的表面。该表面可以是诸如触摸屏或触摸板的输入表面。在一些示例实施例中，移动计算设备200可以包括触摸屏和触摸板两者或能够接收用户输入的多个表面。触摸屏可以被配置为不仅使得能够访问和/或输入信息而且使得能够显示用户接口对象，而触摸板可以被配置为使得能够访问和/或输入信息，并且可以提供单独的显示器。在一些示例实施例中，不提供显示器。用户可以通过使用诸如指向装置(means)、一个或多个手指、触笔或数字笔的使得的输入装置来输入和访问信息。
在示例实施例中，输入和访问信息通过触摸诸如触摸屏显示器210或触摸板的表面之类的表面来执行。额外地或备选地，可以检测诸如手指或触笔的输入装置的接近度，并且输入和访问信息可以通过将手指或触笔悬浮(hover)在该表面上方来执行。在另一示例实施例中，该表面可以是被配置为检测该表面上的多个至少部分并发(concurrent)的触摸的多触摸表面。
触摸屏或触摸板可以基于若干不同技术中的一个或多个。例如，不同的触摸屏和触摸板技术包括电阻性、电容性、表面声波(SAW)、红外、应变计(straingauge)、光学成像、色散信号技术(dispersivesignaltechnology)和声学脉冲标识触摸屏。触摸屏或触摸板还可以使用不同技术的组合来操作。
额外地或备选地，用户接口220还可以包括可手动操作的控件，例如按钮、按键、触摸板、操纵杆、触笔、笔、滚轮、摇臂、小键盘、键盘或用于输入和/或访问信息的任何适当的输入机构。例如，示例包括麦克风、语音标识系统、眼动标识系统、基于加速度、倾斜、移动和/或压力的输入系统。
根据示例实施例，移动计算设备200包括跟踪接口(trackinginterface)230。跟踪接口230可以包括与诸如用于检测由用户提供的运动或姿势输入的加速度计、陀螺仪和/或相机的一个或多个跟踪设备的操作连接。额外地或备选地，在一些实施例中，运动跟踪设备可以包括可穿戴运动跟踪设备，例如具有一个或多个方向传感器的头戴式耳机或环。在一些实施例中，可以存在多余一个跟踪接口，包括例如针对头戴式耳机的跟踪接口、针对加速度计和/或陀螺仪的跟踪接口以及针对相机的跟踪接口。运动跟踪设备可以被配置为检测方向性运动(例如向上、向下、向左或向右指向)、自由形式运动、运动的速度或任何其他适当的运动。检测到的运动可以包括由用户执行的运动姿势。运动姿势可以包括由用户执行的移动的序列。
参考回到图2的示例，除了显示器，移动计算设备200可以包括另一种类的输出设备，例如用于为用户呈现触觉和/或触感信息的触觉反馈系统。触觉反馈系统可以被配置为接收由处理器110提供的控制信号。触觉反馈系统可以被配置为指示完整操作或指示例如对操作进行选择。在示例实施例中，触觉反馈系统可以使得移动计算设备200能够以特定方式振动以通知用户激活的和/或完成的操作。
在图2的示例中，装置100被配置为将媒体内容中的项目与空间位置相关联。在示例实施例中，将媒体内容中的项目与空间位置相关联包括将代表(representativeof)该项目的至少一部分的声音与该空间位置相关联。
根据示例实施例，媒体内容中的项目包括基于对媒体内容的分析来标识(identify)的项目。媒体内容中的项目可以包括例如与人物(person)相关联的姓名或描述、动物、位置、地理位置、现象、建筑物、艺术作品、等等。
根据示例实施例，装置100被配置为接收对诸如数字文档的媒体内容的分析。装置100可以从外部设备(例如服务器)或服务或者从该媒体内容的出版商、作者、制造商或分销商(distributor)接收该分析。作为另一示例，可以基于众包(crowdsourcing)来接收分析。众包可以包括接收来自例如来自在线社区的人群的贡献。根据示例实施例，装置100被配置为执行媒体内容的分析。
例如，对于图书或电影，媒体内容的分析可以包括出现在图书/电影中的角色(character)的姓名、对话、地理位置、设置、等等。另外，分析可以包括语义分析，包括角色的关系、短语的内涵、解释象征或隐喻、等等的分析。
该分析可以基于包含在媒体内容中的标签，或者其可以基于例如提供媒体内容中的项目的列表。
在示例实施例中，基于该分析而被标识出的项目被存储在与装置100操作连接的数据库中。数据库可以被定位例如在装置100、移动计算设备200或服务器上。
除了项目，与项目相关的另外的信息还可以被存储在数据库中或与项目相关联。另外的信息可以包括情境信息，例如与项目在媒体内容内的位置相关的位置信息。位置信息可以包括项目在媒体内容内的绝对位置或相对位置。例如，对于电子书/有声书，位置信息可以包括与有声书/电子书的章节、段落、页、列(column)、行或版面(spread)相关的信息。作为另一示例，另外的信息可以包括关系信息，例如与同所标识的项目有关的或与其相关联的其他项目相关的信息。作为另一示例，另外的信息可以包括语义(semantic)信息，例如与项目应当如何被用户解释或理解相关的信息。
根据示例实施例，将媒体内容中的项目与空间位置相关联包括将代表项目的声音映射或分配到相对于用户的位置。相对于用户的位置可以包括在空间音频场中的位置。将项目映射或分配到空间位置可以包括提供针对装置100的与声音要如何被路由(route)以产生代表项目的声音源自于该空间位置的印象相关的指令。将项目映射到空间位置可以在没有用户输入的情况下由装置100自动执行或者其可以由用户启动和/或执行。
在示例实施例中，装置100被配置为接收用于将媒体内容中的项目与空间位置相关联的用户输入，并且将媒体内容中的该项目与该空间位置相关联。用于将项目与空间位置相关联的用户输入可以包括一个或多个用户输入或者包括空间位置的指示和媒体内容中的项目的指示的用户输入的组合。用户输入的组合可以包括彼此独立、彼此依赖和/或并发地发生的各输入的组合。
空间位置的指示可以包括指向(referto)该空间位置的姿势。姿势可以包括指向该空间位置的运动姿势、触摸姿势或悬浮姿势。作为示例，运动姿势可以包括装置100的物理移动，例如摇晃(shaking)、移动、倾斜(tilting)和/或轻叩(tapping)移动计算设备200的表面。
媒体内容中的项目的指示可以包括例如用于选择项目、指到(pointto)项目或执行在项目上方的悬浮姿势的用户输入。
在示例实施例中，用于将媒体内容中的项目与空间位置相关联的用户输入包括指向空间位置的第一姿势和指示媒体内容中的项目的第二姿势。例如，装置100可以被配置为接收有声书/电子书中的角色被用户选择以及当该项目被选择时有声书/电子书被用户倾斜到特定方向的指示。因此，装置100被配置为将角色与特定方向相关联。
根据示例实施例，将媒体内容中的项目与空间位置相关联包括将代表项目的声音路由到相对于用户的位置。装置100可以被配置为使得路由音频。根据示例实施例，将媒体内容中的项目与空间位置相关联包括以可听见的方式呈现代表项目的声音使得声音来自在空间音频场中的位置的印象被创建。
空间音频场可以由环绕用户的虚拟声音源定义，并且其可以例如使用头戴式耳机来创建，使得声音表现为源自于空间中的不同的位置、方向和/或距离。虚拟声音源可以包括被启用以针对用户创建声音来自与物理声音源的位置不同的位置、方向和/或距离的印象。作为另一示例，空间音频场可以由环绕用户的物理声音源定义，并且其可以例如使用扬声器来创建。
在空间音频场中的位置可以包括绝对位置或相对位置，例如相对于用户的位置，相对于装置100或移动计算设备200的位置或其任何组合。
在不限制权利要求的范围的情况下，将媒体内容中的项目与空间位置相关联的优点可以是：项目可以被呈现使得用户接收声音来自不同位置/方向的印象。以这种方式，可以使用户更容易感知到代表不同项目的声音。例如，如果用户得到声音来自不同方向的印象，则声音可能不会如此容易地被混淆(mix)。备选地或额外地，当项目表现为位于不同空间位置中时可以使用户更容易记住项目。
装置100还被配置为接收对应于空间位置的用户输入。对应于空间位置的用户输入可以包括包含指示该空间位置的特征的输入。例如，用户输入可以包括朝向该空间位置的输入，至少部分包围该空间位置、与该空间位置重合(conincide)、指到该空间位置和/或与空间位置相关的输入。
在示例实施例中，该用户输入包括指向该空间位置的运动姿势。指向该空间位置的运动姿势可以包括指示、重合或指向该空间位置的运动。运动姿势可以由用户通过移动移动计算设备200或相对于移动计算设备200移动输入机构(例如，手指、手或头)来执行。相对于移动计算设备移动输入机构可以包括或不包括触摸移动计算设备200。
根据示例实施例，用户输入包括运动姿势。运动姿势可以包括装置100的物理移动，例如摇晃、移动、倾斜和/或轻叩移动计算设备200的表面。例如，用户输入可以包括使装置100、操作连接到装置100的移动计算设备200或单独的设备朝向空间位置倾斜，利用手指指向空间位置，朝向空间位置点头或者朝向空间位置指向触摸或悬浮姿势。运动姿势可以例如通过诸如加速度计或陀螺仪的运动检测装置或者通过接近度或诸如悬浮传感器或相机或其组合之类的基于图像的装置来检测。
在不限制权利要求的范围的情况下，对应于空间位置的用户输入的优点可以是其对于用户是直观的(intuitive)。例如，如果用户接收到声音来自左边的印象，则朝向声音指到左边对于用户是非常直观的。以这种方式，用户不需要指到例如显示器上的用户接口元素，而是用户可以直接朝着声音源指向。
装置100被配置为响应于接收到该用户输入，提供与该项目相关的情境信息，其中该情境信息取决于该项目在该媒体内容内的先前出现(previousoccurrence)。
应当指出，项目的先前出现可以包括按时间顺序的先前出现，但不限于此。对于有声书/电子书示例，先前出现可以包括诸如角色的动作和/或短语的项目在过去、在未来或在特定时刻的出现。额外地或备选地，先前出现可以包括项目在诸如不同数字文档的不同媒体内容中的出现。
在一些情况下，如果多个项目与空间位置相关联或项目与彼此接近的各空间位置相关联，则用户输入可以被解释为模糊的(ambiguous)。
彼此接近的各空间位置可以包括距彼此预定距离内的各位置，使得用户输入可以被解释为对应于多于一个空间位置。
根据示例实施例，装置100被配置为确定针对与模糊用户输入相对应的项目的相关度的顺序(orderofrelavance)。装置100可以被配置为以相关度的升序或降序对项目进行排序(sort)。项目的相关度可以与项目在媒体内容的情境中的相关度、项目对于用户的相关度等等相关。在示例实施例中，装置100被配置为提供与媒体内容中的多于一个项目相关的情境信息。例如，装置100可以被配置为以相关度的顺序提供与对应于模糊输入的项目相关的情境信息。
在示例实施例中，装置100被配置为提供与不是在媒体内容的情境中最相关的项目相关的情境信息。例如，用户可能想要接收与不是有声书/电子书中的主角的角色相关的情境信息。
在示例实施例中，装置100被配置为提供与被认为是与用户最相关的项目相关的情境信息。与用户最相关的项目可以例如是用户不太可能记住的项目或者用户已经添加了书签的项目等等。
在示例实施例中，装置100被配置为接收用于控制情境信息以哪种顺序被提供的用户输入。例如，如果情境信息以降序被提供给用户，则用户可以利用运动姿势指示期望升序。
根据示例实施例，装置100被配置为响应于接收到模糊用户输入而提供针对用户的辅助输出。如以上所讨论的，接收模糊用户输入可以包括接收与彼此接近的多个空间位置和/或与空间位置相关联的多个项目的相对应的输入。根据示例实施例，辅助输出包括提供模糊用户输入的指示。模糊用户输入的指示可以包括呈现对应于模糊用户输入的项目。例如，装置100可以被配置为提供代表与模糊反馈相对应的项目的视觉、可听和/或触感/触觉的反馈。
根据示例实施例，辅助输出包括将媒体内容中的至少一个项目与第二空间位置重新关联。例如，如果多个项目与第一空间位置相关联，则辅助输出可以包括将至少一个项目与第二空间位置重新关联，使得经重新关联的项目可以无歧义(unambiguously)地被指向。类似地，如果多个项目与接近第一空间位置的空间位置相关联，则辅助输出可以包括将至少一个项目与第二空间位置重新关联，使得经重新关联的项目可以无歧义地被指向。用户可以之后通过对应于第二空间位置的输入来选择经重新关联的项目。
根据示例实施例，装置100被配置为提供一个或多个项目被重新关联的指示。该指示可以包括例如可听反馈、视觉反馈和/或触感(haptic)/触觉反馈。在示例实施例中，该指示包括突出指示(highlight)一个重新关联的项目。突出显示可以包括例如视觉突出、可听突出或任何适当的突出。例如，视觉突出可以包括在视觉上指示项目被重新关联。以可听见的方式突出经重新关联的项目可以包括利用声音效果，例如产生代表经重新关联的项目的媒体比没有经重新关联或者不对应于模糊用户输入的项目更靠近/更远离用户的印象。
根据示例实施例，装置100被配置为响应于接收到用户输入而确定针对情境信息的起始点(startingpoint)。基于该起始点，可以在数据库中选择用于提供情境信息的一个或多个相关项目。作为另一示例，基于该起始点，可以根据情境信息在数据库中排除一个或多个项目。
根据示例实施例，情境信息包括视觉信息。视觉信息可以被提供例如在移动计算设备200的显示器上，由装置100提供，被提供在操作连接到装置100的单独的设备的显示器上，由操作耦合到装置100的投影仪提供，等等。应当指出，情境信息可以备选地或额外地包括可听信息和/或触感反馈。
在示例实施例中，情境信息包括与媒体内容中的项目相关的概述(summary)或概要(recap)。因此，在项目为电子书或有声书中的角色的示例中，例如概述可以包括角色的先前动作，并且概要可以包括角色的先前短语(phrase)。
继续论述该项目为电子书或有声书中的角色的示例，项目的先前出现可以包括例如项目以在先前章、段落、句子、章节、一系列数字文档中的先前数字文档等等中的出现。在示例实施例中，先前出现可以包括图书的特定部分，例如概述、引言(introduction)、封底文本(backcovertext)、图书的内容的索引或表。
在不限制权利要求的范围的情况下，提供情境信息的优点可以在于用户可以提醒其自己与该项目相关的先前的动作、情景(situation)和/或短语，其中情境信息取决于该项目的先前出现。
根据示例实施例，装置100被配置为在代表媒体内容中的项目的媒体的呈现期间接收用户输入。代表项目的媒体可以包括声音呈现、视觉呈现和/或触觉/触感呈现。例如，如果设备是有声书阅读器并且用户在代表项目的音频的呈现期间使有声书阅读器倾斜，则可以提供与项目相关的情境信息。在示例实施例中，装置100被配置为暂停或停止响应于接收到用户输入而呈现音频。在不限制权利要求的范围的情况下，在媒体内容的呈现期间接收用户输入的优点可以在于可以向用户提供与所呈现的音频或由音频表示的项目相关的更多更准确的情境信息。根据示例实施例，装置100被配置为当没有呈现媒体内容时接收用户输入。装置100可以被配置为使得呈现，情境信息是可获得的并可以响应于对应于空间位置的用户输入而被呈现的指示。例如，可以向用户指示不同的项目与不同的空间位置相关联，并且通过输入对应于空间位置的用户输入，将情境信息呈现给用户。
在不限制权利要求的范围的情况下，在没有呈现媒体内容时接收用户输入的优点可以在于与媒体内容相关的情境信息可以在没有呈现媒体内容的情况下来呈现。例如，假设用户正在购买有声书并且想要知道与出现在有声书中的角色有关的内容，则用户可以例如使有声书倾斜到不同的方向以接收关于角色的信息、等等。
根据示例实施例，装置100被配置为提供取决于用户输入的特征(characteristic)的情境信息。用户输入的特征可以包括与用户输入相关的量、动作的数量、持续时间、程度、强度或任何其他适当的特征。在示例实施例中，该用户输入包括使设备倾斜，并且装置100还被配置为接收倾斜的程度(degree)。在该示例中，装置100还被配置为提供取决于倾斜的程度的情境信息。
根据示例实施例，情境信息的特征取决于用户输入的特征。情境信息的特征可以包括例如情境信息的量、细节水平和/或时间跨度(timespan)。
在示例实施例中，情境信息的量取决于倾斜的程度。例如，如果用户将设备倾斜5度，则与其中用户将设备倾斜40度的情景相比较可以提供较小量的情境信息。
在示例实施例中，情境信息的细节水平取决于倾斜的程度。例如，如果用户将设备倾斜例如10度，则与其中用户将设备倾斜20度或30度的情景相比较细节水平可以更小。
在示例实施例中，情境信息的时间跨度取决于倾斜的程度。例如，如果用户将设备倾斜例如15度，则与其中用户将设备倾斜35度或40度的情景相比较时间跨度可以更短。
在示例实施例中，基于设备相较于参考值的定向(orientation)的角度来确定倾斜的程度。参考值可以由用户、装置100/设备的制造商定义，或者其可以基于用户行为来设置和/或调整。参考值可以例如是绝对值、相对值或方向。
在不限制权利要求的范围的情况下，接收倾斜的程度的优点可以在于用户能够控制对情境信息的提供。另一优点可以是用户可以控制所提供的情境信息的量。
根据示例实施例，媒体内容中的项目包括以下中的至少一个：有声书或电子书中的角色、与人物相关联的姓名、与人物相关联的描述、动物、位置、地理位置、现象、建筑物和艺术作品。在示例实施例中，媒体内容中的项目对应于有声书或电子书中的角色。例如，角色可以包括在故事中描写的人物。
根据示例实施例，装置100还被配置为在提供该情境信息期间接收另一用户输入。另一用户输入可以使得装置100提供修改的或额外的情境信息。修改的或额外的情境信息可以包括与情境信息相同的或不同的类型的信息。另一用户输入可以对应于或不对应于空间位置。例如，如果情境信息包括以可听见的方式呈现的信息，包括诸如城镇或村庄的位置，则朝向或指到城镇的另一用户输入可以使得在地图上呈现该城镇。
图3图示了根据本发明的示例实施例的响应于用户输入而提供情境信息的示例。在该示例中，假设该方法被实施在包括装置100的移动计算设备200中。
在图3的示例中，用户正在聆听有声书。有声书利用空间音频以可听见的方式被呈现给用户。在有声书中，出现三个角色：Jack301、Ann302和Ken303。在图3的示例中，假设用户面朝移动计算设备200，使得用户听见Jack的声音在前面并且在用户的位置的左边，Ann的声音在前面并且在用户的位置的右边，并且Ken的声音在右边。
在该示例中，装置100被配置为响应于接收到用户输入(例如使设备倾斜)而确定针对情境信息的起始点。在该示例中，起始点包括在先前内容与即将到来的内容之间的边界。例如，当用户使移动计算设备200朝向与Ken相关联的空间位置(在该示例中在用户的右边，如由箭头310所指示的)倾斜时，提供与Ken相关的情境信息。在该示例中，情境信息包括如由320所指示的Ken的角色的概述。在示例实施例中，情境信息可以包括角色的先前短语的有限概要、角色的先前动作的概述或其组合。
根据示例实施例，情境信息的量取决于倾斜的程度。例如，在图3的示例中，用户将设备倾斜得越多，则提供与Ken有关的更多信息。作为另一示例，情境信息的细节水平取决于倾斜的程度。例如，用户将设备倾斜得越多，则提供与Ken有关的更详细的信息。作为另一示例，情境信息的时间跨度取决于倾斜的程度。例如，用户将设备倾斜得越多，则与项目相关的信息在历史中延伸得越远。
图4图示了包含先前公开的实施例的各方面的示例方法400。更具体地，示例方法400图示了提供与媒体内容中的项目相关的情境信息。在该示例中，假设该方法被实施在包括装置100的移动计算设备200中。
该方法开始以将媒体内容中的项目与空间位置相关联401。如以上所讨论的，将媒体内容中的项目与空间位置相关联可以包括将代表该项目的声音映射、分配、路由和/或呈现到空间音频场中的位置。在框402处，该方法继续进行，接收对应于该空间位置的用户输入。在示例实施例中，对应于空间位置的用户输入包括包含指示该空间位置的特征的输入。方法在框403处继续进行，响应于接收到该用户输入而提供与该项目相关的情境信息，其中该情境信息取决于该项目在该媒体内容内的先前出现。另外，情境信息可以根据用户输入的特征来提供，用户输入的特征例如与用户输入相关的量、动作的数量、持续时间、程度、强度或任何其他适当的特征。
图5图示了包含本发明的示例实施例的各方面的另一示例方法500。更具体地，示例方法500图示了将媒体内容中的项目与空间位置相关联。在该示例中，假设该方法被实施在包括装置100的移动计算设备200中。进一步假设媒体内容包括有声书，该有声书包含根据被播放给用户的文本的记录的音频输出。
该方法开始以定义和分析501当前内容。在示例实施例中，定义当前内容包括由装置100定义图书类型。定义图书类型可以包括例如从用户或从与诸如服务器的装置100操作连接的设备接收图书类型，或者由装置100确定图书类型。根据示例实施例，装置100被配置为定义图书类型。应当指出，在示例实施例中，没有必要定义图书类型或定义图书类型是可选的。在该示例中，图书类型被定义为有声书。
如早前所讨论的，分析当前内容可以包括例如存储书中出现的角色的姓名、对话、地理位置、设置、等等。
另外，分析内容可以包括语义分析角色的关系、短语的内涵(connotation)、解释象征(symbol)或隐喻(metaphor)、等等。
在示例实施例中，装置100被配置为分析内容。在另一示例实施例中，装置100被配置为接收对媒体内容的分析。例如，该分析可以从图书的出版商、分销商或作者接收，或者该分析可以被众包。
根据示例实施例，所分析的内容被存储502在操作连接到装置100的数据库中。数据库可以被位于例如服务器或移动计算设备200上。
类似于图4的示例中的框401，该方法继续进行，还产生503空间声音空间(spatialsoundspace)。产生空间声音空间包括如以上所讨论的将媒体内容中的项目与空间位置相关联。在该示例中，产生空间声音空间包括通过多个扬声器路由音频输出。
响应于接收到504对应于空间位置的用户输入(类似于图4中的框402)，可以提供与项目相关的情境信息，其中情境信息取决于项目在媒体内容内的先前出现(类似于图4中的框403)。在该示例中，用户输入可以包括代表在媒体内容中的项目的音频的输出期间使移动计算设备200倾斜。
例如，在该示例中，提供情境信息包括暂停音频输出并且提供505与媒体内容中的项目相关的概要。
在不以任何方式限制下面出现的权利要求的范围、解释或应用的情况下，本文所公开的示例实施例中的一个或多个的技术效果在于可以动态地提供情境信息。另一技术效果在于用户可以直观地确定情境信息与其相关的项目，并且还可以定义针对情境信息的量、细节水平和/或时间跨度。
本发明的实施例可以被实施在软件、硬件、应用逻辑或软件、硬件和应用逻辑的组合中。软件、应用逻辑和/或硬件可以驻存在该装置、单独的设备或多个设备上。如果期望的话，软件、应用逻辑和/或硬件的部分可以驻存在该装置上，软件、应用逻辑和/或硬件的部分可以驻存在单独的设备上，并且软件、应用逻辑和/或硬件的部分可以驻存在多个设备上。在示例实施例中，应用逻辑、软件或指令集被维持在各种常规计算机可读介质中的任何一种上。在该文档的上下文中，“计算机可读介质”可以是能够包含、存储、通信、传播或传输用于由指令执行系统、装置或设备(例如，计算机)使用或结合指令执行系统、装置或设备(例如，计算机)使用的指令的任何介质或装置，其中一个示例是在图2中描述并描绘的计算机。计算机可读介质可以包括计算机可读存储介质，其可以是能够包含或存储用于由指令执行系统、装置或设备(例如，计算机)使用或结合指令执行系统、装置或设备(例如，计算机)使用的指令的任何介质或装置。
如果期望，本文中讨论的不同功能可以以不同顺序和/或彼此同时地来执行。另外，如果期望，所描述的功能中的一个或多个可以是可选的或可以被组合。
尽管在独立权利要求中阐述了本发明的各个方面，但是本发明的其他方面可以包括来自所描述的实施例的特征的其他组合和/或具有独立权利要求的特征的从属权利要求，并且不仅仅是在权利要求书中明确阐述的组合。
还要在本文中指出，尽管上文描述了本发明的示例实施例，但是这些描述不应当在限制的意义上被查看。相反，可以存在在不脱离如权利要求书限定的本发明的范围的情况下进行的若干变型和修改。

Claims (15)

1.一种方法，包括：
将媒体内容中的项目与空间位置相关联；
接收对应于所述空间位置的用户输入；以及
响应于接收到所述用户输入，提供与所述项目相关的情境信息，其中所述情境信息取决于所述项目在所述媒体内容内的先前出现。
2.根据权利要求1所述的方法，其中在代表所述媒体内容中的所述项目的媒体的呈现期间接收所述用户输入。
3.根据权利要求1或2所述的方法，还包括接收对所述媒体内容的分析。
4.根据前述权利要求中的任一项所述的方法，其中所述用户输入包括指向所述空间位置的运动姿势。
5.根据权利要求4所述的方法，其中所述用户输入包括使设备倾斜。
6.根据权利要求5所述的方法，还包括接收倾斜的程度。
7.根据前述权利要求中的任一项所述的方法，其中所述项目包括以下各项中的至少一项：有声书或电子书中的角色、与人物相关联的姓名、与人物相关联的描述、动物、位置、地理位置、现象、建筑物和艺术作品。
8.根据前述权利要求中的任一项所述的方法，还包括在提供所述情境信息期间接收另一用户输入。
9.根据前述权利要求中的任一项所述的方法，其中所述空间位置包括相对于用户的位置。
10.根据前述权利要求中的任一项所述的方法，还包括响应于接收到对应于所述空间位置的所述用户输入，确定针对所述情境信息的起始点。
11.根据前述权利要求中的任一项所述的方法，还包括接收用于将媒体内容中的项目与空间位置相关联的用户输入。
12.根据前述权利要求中的任一项所述的方法，其中情境信息包括以下各项中的至少一项：与所述项目相关的一个或多个先前动作、情景和短语。
13.一种设备，包括：
用于将媒体内容中的项目与空间位置相关联的装置；
用于接收对应于所述空间位置的用户输入的装置；以及
用于响应于接收到所述用户输入而提供与所述项目相关的情境信息的装置，其中所述情境信息取决于所述项目在所述媒体内容内的先前出现。
14.根据权利要求13所述的设备，所述设备还包括用于执行根据权利要求2至12中的任一项所述的方法的装置。
15.一种包括计算机可读介质的计算机程序产品，所述计算机可读介质承载被体现在其中以用于与计算机一起使用的计算机程序代码，所述计算机程序代码包括：
用于执行根据权利要求1至12中的任一项所述的方法的代码。
CN201480058317.9A 2013-10-25 2014-10-22 提供情境信息 Active CN105684012B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20130190274 EP2866182A1 (en) 2013-10-25 2013-10-25 Providing contextual information
EP13190274.4 2013-10-25
PCT/FI2014/050795 WO2015059356A1 (en) 2013-10-25 2014-10-22 Providing contextual information

Publications (2)

Publication Number Publication Date
CN105684012A true CN105684012A (zh) 2016-06-15
CN105684012B CN105684012B (zh) 2020-04-10

Family

ID=49513744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480058317.9A Active CN105684012B (zh) 2013-10-25 2014-10-22 提供情境信息

Country Status (4)

Country Link
US (1) US20160266654A1 (zh)
EP (1) EP2866182A1 (zh)
CN (1) CN105684012B (zh)
WO (1) WO2015059356A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114257920A (zh) * 2022-02-25 2022-03-29 荣耀终端有限公司 一种音频播放方法、系统和电子设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105117115B (zh) * 2015-08-07 2018-05-08 小米科技有限责任公司 一种显示电子文档的方法和装置
US10216405B2 (en) * 2015-10-24 2019-02-26 Microsoft Technology Licensing, Llc Presenting control interface based on multi-input command
US11195511B2 (en) 2018-07-19 2021-12-07 Dolby Laboratories Licensing Corporation Method and system for creating object-based audio content

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102099086A (zh) * 2008-06-09 2011-06-15 梅塔普雷斯股份有限公司 使得人物能够在多个不同虚拟空间中显现的系统和方法
US20130151954A1 (en) * 2011-07-12 2013-06-13 Salvatore Ierullo Methods and apparatus to provide electronic book summaries and related information
US20130154930A1 (en) * 2011-12-19 2013-06-20 Qualcomm Incorporated Gesture controlled audio user interface

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7861186B2 (en) * 2006-05-17 2010-12-28 Palo Alto Research Center Incorporated Systems and methods for navigating page-oriented information assets
US20080267432A1 (en) * 2007-04-25 2008-10-30 James Becker Book with two speakers for generating a sound-field having two or more spatial dimensions
US8190438B1 (en) * 2009-10-14 2012-05-29 Google Inc. Targeted audio in multi-dimensional space
US8923995B2 (en) * 2009-12-22 2014-12-30 Apple Inc. Directional audio interface for portable media device
NZ587483A (en) * 2010-08-20 2012-12-21 Ind Res Ltd Holophonic speaker system with filters that are pre-configured based on acoustic transfer functions
US20130249792A1 (en) * 2010-12-03 2013-09-26 App.Lab Inc. System and method for presenting images
US9041734B2 (en) * 2011-07-12 2015-05-26 Amazon Technologies, Inc. Simulating three-dimensional features
US9128581B1 (en) * 2011-09-23 2015-09-08 Amazon Technologies, Inc. Providing supplemental information for a digital work in a user interface
US20140347565A1 (en) * 2013-05-21 2014-11-27 Aliphcom Media devices configured to interface with information appliances
US9332370B2 (en) * 2013-03-14 2016-05-03 Futurewei Technologies, Inc. Method and apparatus for using spatial audio rendering for a parallel playback of call audio and multimedia content
KR20150002358A (ko) * 2013-06-28 2015-01-07 삼성전자주식회사 전자 장치의 전자책 표시 방법 및 그 전자 장치
JP2015065541A (ja) * 2013-09-24 2015-04-09 株式会社東芝 音響制御装置及び方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102099086A (zh) * 2008-06-09 2011-06-15 梅塔普雷斯股份有限公司 使得人物能够在多个不同虚拟空间中显现的系统和方法
US20130151954A1 (en) * 2011-07-12 2013-06-13 Salvatore Ierullo Methods and apparatus to provide electronic book summaries and related information
US20130154930A1 (en) * 2011-12-19 2013-06-20 Qualcomm Incorporated Gesture controlled audio user interface

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114257920A (zh) * 2022-02-25 2022-03-29 荣耀终端有限公司 一种音频播放方法、系统和电子设备

Also Published As

Publication number Publication date
EP2866182A1 (en) 2015-04-29
CN105684012B (zh) 2020-04-10
US20160266654A1 (en) 2016-09-15
WO2015059356A1 (en) 2015-04-30

Similar Documents

Publication Publication Date Title
US11692840B2 (en) Device, method, and graphical user interface for synchronizing two or more displays
EP3821325B1 (en) Natural interactions with virtual objects and data through touch
TWI410906B (zh) 使用擴增實境導航路徑之方法及使用該方法之行動終端機
US9965035B2 (en) Device, method, and graphical user interface for synchronizing two or more displays
Freeman et al. Multimodal feedback in HCI: haptics, non-speech audio, and their applications
JP6297836B2 (ja) 電子装置、及び電子装置のプレイリストの表示方法
KR101921203B1 (ko) 녹음 기능이 연동된 메모 기능 운용 방법 및 장치
CN108139778A (zh) 便携式设备和便携式设备的屏幕显示方法
KR102343860B1 (ko) 오디오의 공간적 관리
EP2811389A1 (en) Activating a selection and a confirmation method
JP6429886B2 (ja) 触感制御システムおよび触感制御方法
JP2017534132A (ja) ユーザー相互作用を共有するための装置
WO2004044664A1 (en) Virtual workstation
WO2012170335A1 (en) Devices, methods, and graphical user interfaces for providing accessibility using a touch-sensitive surface
US10628017B2 (en) Hovering field
KR20190002525A (ko) 눈멀거나 시각적으로 손상된 사람용 컴퓨팅 장치의 멀티미디어 관리용 가제트
WO2016191188A1 (en) Assist layer with automated extraction
CN105684012A (zh) 提供情境信息
US20160170593A1 (en) A Hovering Field
Freeman et al. in HCl: Haptics, Non-Speech Audio, and Their Applications
Santos Designing wearable interfaces for blind people
Audio 7Multimodal Feedback

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant