CN110401860A - 增强的电视交互的系统和方法 - Google Patents
增强的电视交互的系统和方法 Download PDFInfo
- Publication number
- CN110401860A CN110401860A CN201910593592.5A CN201910593592A CN110401860A CN 110401860 A CN110401860 A CN 110401860A CN 201910593592 A CN201910593592 A CN 201910593592A CN 110401860 A CN110401860 A CN 110401860A
- Authority
- CN
- China
- Prior art keywords
- equipment
- user
- signal
- haptic
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000002708 enhancing effect Effects 0.000 title abstract description 28
- 230000003993 interaction Effects 0.000 title abstract description 22
- 230000000694 effects Effects 0.000 claims abstract description 113
- 238000012544 monitoring process Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000005236 sound signal Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 39
- 230000007613 environmental effect Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 6
- 230000036544 posture Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 230000005611 electricity Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 235000013399 edible fruits Nutrition 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 239000000047 product Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000010189 synthetic method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 239000004033 plastic Substances 0.000 description 2
- 229920003023 plastic Polymers 0.000 description 2
- 238000005086 pumping Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 241000264877 Hippospongia communis Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 229920001746 electroactive polymer Polymers 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000003389 potentiating effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000036385 rapid eye movement (rem) sleep Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000005060 rubber Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000007958 sleep Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
- H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8166—Monomedia components thereof involving executable data, e.g. software
- H04N21/8186—Monomedia components thereof involving executable data, e.g. software specially adapted to be executed by a peripheral of the client device, e.g. by a reprogrammable remote control
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B6/00—Tactile signalling systems, e.g. personal calling systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
- H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
- H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Neurosurgery (AREA)
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
增强的电视交互的系统和方法。本发明的方法包括:接收通知信息,所述通知信息指示与电视设备所显示的视频内容相关联的事件;确定与所述通知信息相关联的触觉效果;生成和发送触觉信号至触觉输出设备,所述触觉信号被配置为使得所述触觉输出设备输出所述触觉效果。
Description
本申请是于2014年3月14日提交、申请号为201410097449.4、发明名称为“用于增强的电视交互的系统和方法”的专利申请的分案申请。
技术领域
本公开总体上涉及触觉反馈,更具体涉及用于增强的电视交互的系统和方法。
背景技术
常规电视允许用户观看各种内容特征,诸如广播、有线、或者卫星节目、预先录制的表演和电影、以及玩视频游戏。这样的内容可提供给电视并被显示给一个或多个观看者或参与者。这样的节目常常包括与观看者想要观看的节目相关联或者取而代之的其他内容,诸如广告或紧急广播消息,这使得用户对电视或其他显示设备失去兴趣。或者,用户在欣赏特定节目时,可能感觉不到完全投入到节目中。
发明内容
根据本公开的实施例提供用于增强的电视交互的系统和方法。例如,一个公开的实施例包括具有如下步骤的方法:接收通知信息,所述通知信息指示与电视设备所显示的视频内容相关联的事件;确定与所述通知信息相关联的触觉效果;生成和发送触觉信号至触觉输出设备,所述触觉信号被配置为使得所述触觉输出设备输出所述触觉效果。在另一实施例中,一种计算机可读介质包括用于使得处理器执行这样的方法的程序代码。
所提及的这些说明性实施例不限定或定义本发明,而是提供帮助对本发明进行理解的示例。在详细说明中探讨说明性实施例,详细说明进一步提供本发明的说明。通过研究本说明书可进一步理解由本发明的各个实施例提供的优点。
附图说明
附图被合并到说明书中并且构成说明书的一部分,用于图示说明实施例的一个或多个示例,并且与示例实施例的描述一起,用来解释实施例的原理和实现。
图1A-C示出根据实施例的用于增强的电视交互的系统;
图2示出根据一个实施例的用于增强的电视交互的设备;
图3示出根据一个实施例的用于增强的电视交互的电视设备;
图4A-D和5示出根据实施例的用于增强的电视交互的系统;以及
图6-8示出根据实施例的用于增强的电视交互的方法。
具体实施方式
这里,在用于增强的电视交互的系统和方法的上下文环境中,描述了示例实施例。本领域普通技术人员将意识到,下面的描述只是说明性的而不意图以任何方式进行限制。对于从本公开受益的本领域技术人员来说,其他实施例将易于启示。现在,对示例实施例的实现方式详细进行参考,如附图中所示。相同的附图标记将在附图和下面的描述中通篇使用以指代相同或相似的项目。
为了清楚起见,未示出和说明本文所述实施方式的所有常规特征。当然,将认识到在任意这些实际实现方式的研发中,必须进行多种特定于实现方式的决定以便实现开发者的特定目的,例如与应用的兼容性以及商务相关的约束条件,以及这些特定目的将随实现方式以及开发者的不同而改变。
用于增强的电视交互的说明性系统
现在参看图1A,图1A示出了根据一个实施例的用于增强的电视交互的说明性系统。图1A示出了“智能”电视110和手持平板计算设备120。用户正在观看电视110上的节目并且使用平板设备120作为控制电视的遥控器,诸如用来换频道、改变音量、寻找节目信息、录制和回放内容(诸如在数字视频记录器上)等等。在寻找到要观看的电视节目之后,用户换频道并开始观看节目。过了一会儿,电视节目被广告打断,用户将其注意力改变到其平板计算机上,在其中开始浏览因特网。同时,智能电视110在监视通过电视频道所接收到的内容流并且确定发生了广告打断,并且生成和发送触觉效果至用户的设备以指示广告开始。此时,用户拿着平板去厨房喝杯水并快速键入一封电子邮件。
随着智能电视110继续监视电视频道,在每次广告结束时其发送信号给用户的设备使得输出触觉效果。在几分钟之后,电视确定用户正观看的节目继续开始了。智能电视再次发送触觉信号给用户的平板,其使得平板输出强触觉效果给用户以指示电视节目将要重新开始,在此时,用户保存其电子邮件以便之后完成并且返回继续观看电视。
过了一会儿,用户选择观看之前在数字视频记录器(DVR)上录制的节目。她使用其平板来选择节目并开始其重放。过了一会儿,记录开始重放在录制节目的广播期间播放的广告。用户在其平板上选择快进功能以便快进通过广告。在她快进时,电视监视来自DVR的内容流,并且当每条广告结束时,智能电视发送触觉消息给平板以输出低强度触觉效果以指示广告结束。或者,如图1B中所示,在某些情况下,DVR(或二者)可以监视内容以提供触觉信号给平板。这样,当用户快进通过多条广告时,在每条广告结束后她都感觉到触觉效果。当智能电视确定最后一条广告结束并且电视节目继续开始时,智能电视发送高强度触觉信号给平板,平板输出触觉效果以指示电视节目继续开始。用户随后按下“播放”功能以返回重放到正常速度并且继续开始观看电视节目。这些实施例允许用户全面控制其自己的电视体验,但是提供了有帮助的触觉提示以允许其将其注意力在其他任务之间划分。这样的功能性在各种各样的背景下都会有用,并且可以检测附加的事件用来增强用户对这样的内容的欣赏。
现在参看图1C,示出了另一说明性实施例,其中,都在观看相同电视的不同用户使用多个设备。每个设备120建立与电视的通信并且能够从电视接收信息,诸如上面讨论的触觉效果,以指示商业广告结束。但是,在图1C中所示的系统中,当四个设备120a-d与电视交互时,只有1个设备120b能够控制电视。这样,设备120b的用户可以从电视接收额外的或者更强的效果,例如强调某些事件以提示用户动作,而不是简单地提供少量信息给具有设备120a、c、d的被动观看者。
给出说明性示例来向读者介绍这里所讨论的一般主题,且本公开不限于这些示例。下面的部分描述了用于增强的电视交互的系统和方法的各种额外非限制实施例和示例。
现在参看图2,图2示出了根据一个实施例的用于增强的电视交互的系统。在图2中所示的实施例中,系统200包括壳体210、处理器220、存储器230、触敏显示器250、触觉输出设备240、通信接口260、扬声器270和传感器290。此外,系统200与触觉输出设备280通信,其可选地耦合到或合并到某些实施例中。处理器220与存储器230通信,在本实施例中,处理器220和存储器230都置于壳体210内。触敏显示器250,其包括触敏表面或与之通信,部分置于壳体210内,使得触敏显示器250的至少一部分暴露给系统200的用户。在某些实施例中,触敏显示器250可以不置于壳体210内。例如,系统200可以连接到置于另外壳体内的触敏显示器250或者与之通信。在某些实施例中,壳体210可以包括可以彼此滑动耦合、彼此枢轴耦合或彼此可释放地耦合的两个壳体。在另外的实施例中,系统200可以包括显示器或与之通信并且可以包括诸如鼠标、键盘、按钮、手柄、滑块控制、开关、轮子、滚轮、游戏杆、其他个人操作零件或其组合的其他用户输入设备并与之通信。
在某些实施例中,可以在系统200的一个或多个面上包括,或者在其内放置,一个或多个触敏表面。例如,在一个实施例中,触敏表面放置在系统200的后表面内或包括系统200的后表面。在另一实施例中,第一触敏表面放置在系统200的后表面内或包括系统200的后表面,第二触敏表面放置在系统200的侧表面内或包括系统200的侧表面。在某些实施例中,系统可以包括两个或多个壳体部件,诸如在蛤壳布置或在可滑动布置中。例如,一个实施例包括具有蛤壳配置的系统,触敏显示器置于蛤壳的每个部分中。而且,在系统200包括在系统200的一个或多个侧面上的至少一个触敏表面的实施例中或者在系统200与外部触敏表面通信的实施例中,显示器250可以包括或可以不包括触敏表面。在某些实施例中,一个或多个触敏表面可以具有柔性的触敏表面。在其他实施例中,一个或多个触敏表面可以是刚性的。在各种实施例中,系统200可以包括柔性和刚性触敏表面这二者。
在图2中所示的实施例中,触敏显示器250与处理器220通信并且被配置为提供信号给处理器220或存储器230,以及从处理器220或存储器230接收信号。存储器230被配置为存储程序代码和/或数据,以便由处理器220使用,处理器220被配置为执行存储在存储器230中的程序代码并且将信号发送至触敏显示器250以及从触摸显示器250接收信号。在图2中所示的实施例中,处理器220还与通信接口260通信并且被配置为从通信接口260接收信号以及向通信接口260输出信号,从而与其他部件或设备通信,诸如一个或多个远程计算机或服务器。
此外,处理器220与触觉输出设备240和触觉输出设备280通信,并且进一步被配置为输出信号以使得触觉输出设备240或触觉输出设备280,或二者,输出一个或多个触觉效果。而且,处理器220与扬声器270通信并且被配置为输出信号使得扬声器270输出声音。在各种实施例中,系统200可以包括更少或额外的部件或设备,或与之通信。例如,诸如鼠标或键盘或二者的其他用户输入设备,或者额外的触敏设备,可以包括在系统200内或者与系统200通信。作为另一示例,系统200可以包括一个或多个加速度计、陀螺仪、数字罗盘和/或其他传感器和/或与之通信。
图2中所示的系统200的壳体210提供了对系统200的至少某些部件的保护。例如,壳体210可以是塑料壳,保护处理器220和存储器230免受外界项目诸如雨的影响。在某些实施例中,如果系统200被用户掉落的话,壳体210保护壳体210中的部件免受损坏。壳体210可以由任何合适材料制成,包括但不限于塑料、橡胶或金属。各种实施例可以包括不同类型的壳体或多个壳体。例如,在某些实施例中,系统200可以是便携设备、手持设备、玩具、游戏控制台、手持视频游戏系统、游戏板、游戏控制器、桌面计算机、电子书阅读器、便携多功能设备,诸如蜂窝电话、智能电话、个人数字助理(PDA)、笔记本计算机、平板计算机、数字音乐播放器等等。在其他实施例中,系统200可以嵌入在另一设备中,诸如腕表、其他珠宝、手套等等。这样,在实施例中,系统200是可穿戴的。
在图2中所示的实施例中,触觉输出设备240和280与处理器220通信并且被配置为提供一个或多个触觉效果。例如,在一个实施例中,当由处理器220向触觉输出设备240、触觉输出设备280、或二者提供激励信号时,各个触觉输出设备240、280基于激励信号输出触觉效果。例如,在所示的实施例中,处理器220被配置为传送包括模拟驱动信号的触觉输出信号至触觉输出设备240。在某些实施例中,处理器220被配置为传送高级命令至触觉输出设备280,其中,所述命令包括命令标识符和零或更多参数用来生成适当的驱动信号以使得触觉输出设备280输出触觉效果。在其他实施例中,不同信号和不同信号类型可发送至一个或多个触觉输出设备中的每个。例如,在某些实施例中,处理器可以传送低级驱动信号以驱动触觉输出设备输出触觉效果。这样的驱动信号可以由放大器放大或可以使用合适处理器或电路从数字转换为模拟信号或者从模拟转换为数字信号,以适应被驱动的特殊触觉输出设备。
为了生成振动效果,许多设备利用某些类型的致动器或触觉输出设备。已知的用于此目的的触觉输出设备包括电磁致动器,诸如偏心旋转质量(“ERM”),其中偏心质量由电机移动,诸如线性谐振致动器(“LRA”),其中附接到弹簧的质量被来回驱动,或者“智能材料”,诸如压电、电活性聚合物或形状记忆合金。触觉输出设备还宽泛地包括其他设备,诸如那些使用静电摩擦(ESF)、超声表面摩擦(USF)的设备,或那些通过超声触觉变换器引起声辐射压力的设备,或那些使用触觉基底以及柔性或形变表面的设备,或那些使用空气喷嘴提供诸如气泡的凸起触觉输出的设备,等等。
在其他实施例中,一个或多个部件的变形可用来产生触觉效果。例如,可以输出一个或多个触觉效果来改变表面的形状或表面的摩擦系数。在实施例中,通过创建用于改变表面上的摩擦的静电力和/或超声力来产生一个或多个触觉效果。在其他实施例中,透明变形元件的阵列可用于产生触觉效果,诸如一个或多个区域包括智能凝胶。触觉输出设备还宽泛地包括非机械或非振动设备,诸如那些使用静电摩擦(ESF)、超声表面摩擦(USF)的设备,或那些通过超声触觉变换器引起声辐射压力的设备,或那些使用触觉基底以及柔性或形变表面的设备,或那些使用空气喷嘴提供诸如气泡的凸起触觉输出的设备,等等。在包括能够生成摩擦或变形效果的触觉输出设备240、280的某些实施例中,触觉输出设备240或280可以覆盖在触敏显示器上或者耦合到触敏显示器250,使得摩擦或变形效果可被施加于被配置为由用户触摸的触敏表面。在某些实施例中,系统的其他部分可以提供这样的力,诸如壳体部分,其可以由用户接触或在耦合到系统的分别的触敏输入设备中。2011年4月22日提交、题为“Systems and Methods for Providing Haptic Effects”、在此通过引用并入的共同待审的美国专利申请No.13/092,484描述了可以产生一个或多个触觉效果的方式以及描述了各种触觉输出设备。
将认识到,任何类型的输入合成方法可用来从一个或多个触觉效果信号生成交互参数,包括但不限于下面的表1中所列出的合成示例的方法。
表1–合成的方法
合成方法 | 描述 |
加法合成 | 合并输入,典型地具有不同幅度 |
减法合成 | 过滤复杂信号或多个信号输入 |
频率调制合成 | 通过一个或多个算子来调制载波信号 |
采样 | 使用记录的输入作为进行修改的输入源 |
复合合成 | 使用人造和采样的输入来建立生成的“新”输入 |
相位失真 | 在回放期间更改存储在波表中的波形的速度 |
波整形 | 信号的故意失真以产生修改的结果 |
再合成 | 在回放之前数字地采样的输入的修改 |
颗粒合成 | 若干小输入段合并为新输入 |
线性预测编码 | 类似于语音合成的技术 |
直接数字合成 | 生成的波形的计算机修改 |
波定序 | 若干小段的线性合并以创建新输入 |
矢量合成 | 用于在任何数量的不同输入源之间衰落的技术 |
物理建模 | 虚拟运动的物理特征的数学公式 |
在图2中,通信接口260与处理器220通信并且提供从系统200到其他部件或其他设备的有线或无线通信。例如,通信接口260可以提供系统200和通信网络之间的无线通信。在某些实施例中,通信接口260可以提供通信给一个或多个其他设备,诸如另一系统200和/或一个或多个其他设备,诸如电视、DVR或者其他音频-视频部件。通信接口260可以是使得系统200能够与另一部件、设备或网络通信的任何部件或部件集合。例如,通信接口260可以包括PCI通信适配器、USB网络适配器、或以太网适配器。通信接口260可以使用无线以太网通信,包括802.11a、g、b或n标准。在一个实施例中,通信接口260可以使用射频(RF)、蓝牙、CDMA、TDMA、FDMA、GSM、Wi-Fi、卫星或其他蜂窝或无线技术来通信。在其他实施例中,通信接口260可以通过有线连接来通信并且可以与一个或多个网络通信,诸如以太网、令牌环、USB、火线1394、光纤等等。在某些实施例中,系统200包括单个通信接口260。在其他实施例中,系统200包括两个、三个、四个或多个通信接口。
图2中所示的实施例还包括传感器290,尽管某些实施例可以不包括传感器或者包括多个传感器。此外,传感器290可以容纳在与计算系统的其他部件相同的部件中或者容纳在另外的部件中。例如,在某些实施例中,处理器、存储器和传感器都包括在用户设备200中。另一方面,在某些实施例中,传感器被放置于与容纳存储器和/或处理器的另一部件分离的部件。例如,可穿戴传感器可以经由有线或无线连接与处理器和存储器或用户设备或可穿戴设备通信。传感器290被配置为感测环境因素,其能够表示环境条件或施加于传感器的力中的至少一个。传感器290可以包括任意数量或类型的感测部件。作为示例,传感器290可以包括加速度计或陀螺仪。下面提供了传感器和环境因素的示例的非限制列表:
表1:示例传感器和因素
环境因素可以包括上面注意到的任何环境因素或者表示环境条件或施加或导向用户设备200的力的任何其他量。此外,环境因素可以直接由传感器数据来评估或者可以由设备来处理以导出其他环境因素。例如,加速度数据可用来确定设备的运动的取向、速度和/或模式。作为进一步的示例,诸如心率、皮肤电阻和其他因素的生理数据可以用来确定设备用户的生理状态(例如,苏醒、有压力、睡眠、REM睡眠等等)。
现在参看图3,图3示出了根据一个实施例的用于增强的电视交互的系统。在图3中所示的实施例中,电视被配置为使用通信接口340与设备200通信,诸如从设备200接收命令以及向设备200发送通知信号。图3的系统包括根据图2中所示的实施例的设备200和电视310。在这个实施例中,电视包括处理器320、存储器330、通信接口340、扬声器350和显示屏幕360。在某些实施例中,电视310还可以包括一个或多个触觉输出设备或与之通信。处理器320被配置为执行存储器330中所存储的软件,从通信接口340接收内容,解码内容并发送显示信号至显示器360并且发送音频信号至扬声器350。此外,处理器320被配置为监视内容以识别与内容相关联的一个或多个事件并且生成通知并使用通信接口340发送通知信号。
通信接口340包括至少一个通信设备,诸如电视接收机、HDMI接收机、网络连接(例如以太网、802.11)或者其他通信接口,诸如上面关于手持设备200所讨论的那些。在某些实施例中,通信接口340可以包括多个通信设备。例如,在一个实施例中,通信接口包括HDMI接口和802.11接口。在一个这样的实施例中,电视310被配置为从HDMI接口接收内容并使用802.11接口发送通知信号,诸如发送至设备200。其他实施例可以利用其他合适通信接口以便连接至设备200或诸如蓝牙、红外或其他无线通信接口的其他设备或向其发送通信信号。
尽管图3示出了实施例包括电视,但在某些实施例中,系统可以包括不同的设备,诸如DVR、DVD播放器、机顶盒、计算机、或能够接收流内容并执行根据本公开的一个或多个方法的一部分或全部的其他设备。在某些这样的实施例中,电视可以不是智能电视,或者可以不被适当配置为执行根据本公开的方法。在某些实施例中,电视310可以被合并到用户设备200中。例如,在一个实施例中,设备200可以被配置为从诸如因特网接收电视广播或其他流内容。
现在参看图4A,图4A示出了根据一个实施例的用于增强的电视交互的系统。在图4A中所示的实施例中,智能电视310经由蓝牙连接同用户设备200通信,在这个实施例中,用户设备200是平板计算机,尽管如上所述,其可以是任何其他合适的用户设备,诸如智能电话、笔记本计算机等等。在向用户显示内容的同时,电视310监视所接收到的内容流并且检测到正在播放广告。在这个实施例中,内容包括指示该内容为广告且广告是加勒比度假包的元数据。智能电视确定在过去一周中当前的观看者在搜索度假相关的话题。智能电视随后发送与广告相关联的通知信号给用户设备200。在这个实施例中,通知信号包括触觉信号,尽管在某些实施例中,通知信号包括触觉信号和视频信号以使得触觉效果和显示都指示在屏幕上提供有关加勒比度假的广告。如果用户敲击或点击所显示的信息,电视解除广告的静音以允许用户听到广告。在某些实施例中,通知信号可以包括触觉效果和到与所显示广告相关联的网站的链接。这样,如果用户敲击或点击所显示的信息,电视解除广告的静音,并且用户的设备导航到与该链接相关联的网站。
图4B示出了根据本公开的用于增强的电视交互的系统的另一实施例。在这个实施例中,当观看智能电视310上的电视节目时,用户与其平板计算机正在交互。当电视接收流内容时,其确定有关正在观看的电视节目的信息并且还基于朋友在社交网络网站上提供的信息检测到用户的朋友之一也正在观看该节目。智能电视310生成和发送通知信号至用户的设备200以引起触觉效果并且提供消息:用户的朋友也正在观看相同的电视节目。在此场景中,用户可能关注于电视,由此,智能电视发送通知信号以将用户的注意力拉到用户平板设备200上所显示的辅助信息。用户随后可以看到她朋友正在观看相同的电视表演并且呈现出选项来向朋友发送消息或在社交网络网站上更新她的状态以指示她也正在观看该电视节目。这样,智能电视310能够通过电视节目而接合两个用户,而且由于用户的朋友同时可能也在观看,允许他们实时消息传递,或者仅仅是在他们下次实际会面时讨论节目。其他类型的辅助信息也可以在通知信号中提供,诸如到网页、产品页面、视频剪辑、人物或演员表信息、评论信息、或与在电视310上所显示的内容相关联的其他信息的链接。这样的辅助信息可以嵌入到内容本身中,或者可以由智能电视或其他设备识别,并且提供在一个或多个通知信号中。
图4C示出了根据本公开的用于增强的电视交互的系统的进一步的示例实施例。在图4C中所示的实施例中,智能电视接收并显示流内容,诸如电视广播。在广播期间,节目段可以被几段广告分开。在某些情况下,用户可以录制这样的电视节目以便以后重放。在重放期间,用户可能想要快进通过与电视节目一起被录制的一个或多个广告。随着用户开始快进通过广告,智能电视(或者在某些情况下,DVR或其他设备)可以在快进的同时监视内容以检测广告何时结束或者电视节目何时重新继续。
在图4C中所示的实施例中,随着每一广告结束,智能电视生成并发送通知信号至用户的设备。智能电视基于广告之后是另一广告还是电视节目而确定通知信号的特性。在一个广告结束而跟着的是另一个广告的情况下,智能电视可以生成并发送具有低强度触觉信号的通知信号。但是,在广告之后跟着是电视节目的重新继续的情况下,智能电视可以生成并发送具有诸如高强度触觉效果的不同触觉效果的通知信号或者具有增加强度的多种重复效果的触觉效果。
在图4C中所示的实施例中,随着内容的流传送,智能电视实时地确定通知信号,尽管在某些实施例中,通知信号可以在电视节目被录制到DVR(或者其他合适的录制设备)时确定,并且可以嵌入到录制的电视节目中或与之相关联。这样,当节目之后被播放时,之前生成的通知信号可以被简单地输出到用户的设备。在某些实施例中,通知信号可以在节目被录制后应用于节目,诸如通过数字视频记录器设备。在某些实施例中,DVR可以处理录制的表演以识别每个广告之间以及广告与电视节目之间的边界。此外,DVR可以识别与用户具有特定相关度的广告并且对这样的广告应用不同的通知信号,从而为用户提供定制化的通知体验。
本说明书中通篇都有对“通知信号”的引用。对其修改“通知”,应该没有特定的功能或意图。而是,“通知信号”是用于区分本文中所指的其他类型信号的便利标签。术语“通知信号”期望被广意地阅读并且包括例如承载与事件或与内容相关或相关联内容或信息内的或其一部分的其他发生相关联的信息的任何信号。进而,“通知信号”不需要是任何特殊类型的事件或发生所触发的信号。而是,“通知信号”可以简单地对应于具有触觉信息的内容的一部分,同音频或视频信息相对比。
在上面所讨论的某些实施例中,通知信号可以被生成并发送给用户设备200以影响用户的注意力从而提供与在电视310或设备200上所显示的内容相关联的额外的、辅助的信息,诸如将用户的关注从其设备200改变到电视310或者从电视310改变到设备。但是,某些实施例可以提供想要增强在电视上所显示的内容的效果。例如,在某些实施例中,电视(或者其他设备)可生成和发送信号至用户的设备200来提供更身临其境的体验。
现在参见图4D,图4D示出了根据本公开的用于增强的电视交互的示例系统。在图4D中所示的实施例中,观看者正在观看电视310上的电影。随着电影播放,播放具有不同主题和情绪的各种场景。为了提供增强的观看体验,流内容具有嵌入其内的与电影内的不同场景或事件相关联的触觉信息。随着电影被接收作为流内容,嵌入的触觉信息被识别和提取。包括某些或全部触觉信息的通知信号随后生成并被发送至设备200以引起触觉效果。如在图4D中所能看到的,电影中的悬疑的场景可能具有相关联的触觉信号,其可能发送至用户的设备200以提供触觉效果来为场景增加额外的紧张。之后,当转变到具有显著惊奇事件的场景后,电视可以接收与事件相关联的触觉信息并且生成并发送通知信号给用户的设备。这样的通知信号可以引起高强度触觉效果以放大场景中惊奇的感觉。而之后在电影中的追逐场景期间,电视可以接收与电影相关联的进一步的触觉信息。例如,与追逐场景的部分相关联的触觉效果可以使得电视生成并发送一个或多个通知信号给用户的设备以与在追逐场景期间发生的事件相一致,诸如障碍物或敌人的突然出现、越过坑的慢镜头跳跃、或者其他事件。这样,如图4D中所示的实施例通过用有触觉的或触觉感受来补充电影的视觉和音频部分可以提供增强的观看体验。
这里讨论的多个实施例是在单个用户观看内容并且与用户设备交互的环境中讨论的。但是,本公开不限于单个用户或单个用户设备。而是,实施例可以包括多个用户或多个用户设备200,可以进一步包括多个显示设备310。在某些这样的实施例中,用户可以被提供不同通知信号。例如,用户可以具有不同的有关其接收的效果类型的偏好,或者可以规定所施加效果的不同强度等级。而且,在某些实施例中,用户相对于显示屏的位置可能影响通知信号的类型或内容。例如,位于显示器310左侧的用户,相比于屏幕右侧的用户,可接收不同效果或不同强度的效果。在一个实施例中,位于屏幕左侧的用户可以接收与在屏幕左侧发生的事件相关联的更高强度的效果,与在屏幕右侧发生的事件相关联的更低强度的效果。类似地,远离屏幕的用户,比起离屏幕更近的用户,可以接收更低强度的效果。在某些实施例中,基于用户偏好或关于用户的简档信息,诸如年龄、性别、教育程度、收入等等,用户可以接收不同的与屏幕上内容相关联的辅助信息。在某些实施例中,用户可以在分开的显示屏上观看不同辅助信息,诸如在其各自的用户设备上或在可穿戴设备中,由此可以提供不同的触觉效果以对应于用于每个特定用户的辅助信息。
现在参看图5,图5示出了根据一个实施例的用于增强的电视交互的设备。如图5中所能看到的,用户可以基于其关注而以各种姿势观看电视。如上所注意到的,电视可以发送通知信号以告知用户将其关注从电视转移到用户的设备,或反之。在用户设备200包括电视310设备的实施例中,用户的关注可以基于显示流内容的显示窗口在用户界面的前景还是背景中而确定。根据本公开的实施例可以基于用户的姿势或者设备的位置而获得额外的有关用户的关注的信息。在某些实施例中,用户设备200可以包括一个或多个传感器,其能够感测设备的位置或取向,或者用来拿着设备的接触或抓握的类型。在一个这样的实施例中,设备可以包括传感器,诸如加速度计或相机,其能够感测设备的取向或者用户是否正在看设备,由此设备可以推断用户对设备的关注。
如图5中可以看出的,当用户观看电视时,用户可以具有放松的姿势,其中,她向后倚靠在椅子上或者沙发上并且可以拿着其设备使得设备的屏幕成向下的角度或者基本上处于水平与垂直之间的角度,指示用户并没有关注设备。在这样的实施例中,电视可以从设备接收信息,指示用户可能关注于电视,这可使得电视生成与事件相关联的通知信号,该事件被配置为将用户的注意力拉到用户设备。相反,如果用户的姿势或设备的取向指示用户很可能关注于设备,则电视倾向于生成意图将用户关注拉到电视的通知信号。
在某些实施例中,设备还可以重新配置其用户界面为较简单的用户界面,具有较少的命令而在屏幕上有较大的面积。例如,在一个实施例中,用户的设备被配置为操作为电视的遥控器。在一个这样的实施例中,当设备确定用户很可能没有关注于设备时,或者仅仅部分地关注于设备时,用户界面可以变为显示减少的控制集(例如用户界面510),使得用户不需要仔细检查设备或者使用精细移动以完成特定动作。但是,如果用户改变了姿势或抓握,用户界面可以变为提供较大数量的控制或更加复杂的用户界面功能,诸如可以是在用户界面530中所看到的。例如,如果用户用两只手在水平取向上拿着设备,则设备可以确定用户高度关注于设备并且可提供更加详细的用户界面,诸如提供额外的选项或图形键盘或数字小键盘以接受用户输入。
尽管实施例可以基于检测到的用户姿势而提供用户界面的重新排列,在某些实施例中,基于用户对设备使用模式而提供用户界面。例如,如果用户频繁地观看频道31,则用户界面可以并入快速将频道变为频道31的按钮。或者在某些实施例中,如果用户很少或几乎不使用特定特征,诸如静音按钮或很少改变电视的输入源,这样的按钮可以在尺寸上减小,或者移动到用户界面的辅助屏幕中,使得最频繁使用的控制不仅被呈现于主用户界面屏幕,而且尺寸变得易于被识别和使用。在某些实施例中,与用户相关联的特定偏好可以由设备来存储。例如,如果用户频繁观看一个或多个电视节目,该信息可以存储在设备上,使得如果用户到达新位置,设备能够确定本地电视频道并将控制呈现给用户以允许用户快速导航到用户喜爱的电视表演,而不需要学习新的频道安排。在某些实施例中,设备可以提供向导控制的显示,其提供有关用户喜爱表演的本地播放时间的信息,由此允许用户学习和适应不同的节目安排。
除了修改用户界面的视觉外观之外,或者作为对其的替换,某些实施例可以修改与用户界面相关联的触觉效果。例如,触觉效果可以被添加到特定用户界面元素,诸如按钮、诸如频繁使用的按钮,其可以允许用户使用用户界面而不用看着它,或者在使用不频繁使用的界面元素前警告用户。在一个实施例中,频繁使用的按钮和界面元素可以与具有较强效果的触觉效果相关联,而不频繁使用的按钮可以具有弱或无关联的触觉效果。
在某些实施例中,用户界面还可以调整为适应用户执行特定任务的优选方法。例如,在一个实施例中,用户可以频繁地发布语音命令给设备。这样,设备可以结合这样的语音命令与传统输入控制。例如,用户可能不喜欢使用设备上的键盘而是说出想要观看的节目的名称并且按下频道更换按钮。设备可以随后将用户的输入解释为指示用户希望观看节目并且随后发布命令给电视或者其他设备以开启设备(如果其还没有开启的话)且将频道更换为所想要的节目。
通过允许用户界面发展并且合并用户偏好信息,用户可以针对不同地方或显示设备具有更简单的时间调节。例如,用户可能不需要研究不同地方的频道和向导信息(例如如果用户经常旅行),或者不需要学习用于不同设备的不同的遥控器或控制界面。
现在参看图6,图6示出了根据一个实施例的用于增强的电视交互的方法。图6是关于由图2中所示的设备200所执行的软件应用来描述的;但是,这里所述的方法不限于只能由图2中所示的设备执行,而是可以由任何合适的电子系统来执行。
图6中所示的实施例开始于块602,处理器200接收通知信息。在图6中所示的实施例中,通知信息指示与电视设备310所显示的视频内容相关联的事件并且包括对待由设备200输出的触觉效果的指示。例如,在一个实施例中,通知信号包括高等级信号,诸如包括在用户设备上的预设触觉效果的标识符的信号。一旦接收到标识符,用户设备可以识别预设的触觉效果并且生成对应的触觉效果。在某些实施例中,通知信号可以包括额外的参数,诸如持续时间、幅度、频率、描述触觉效果特性的包络、自由度、方向、要使用的特定触觉输出设备、效果类型(例如振动、变形、摩擦等等)、或者与一个或多个触觉效果相关联的其他参数。在某些实施例中,通知信号可以包括低等级触觉信息,例如描述要生成的触觉效果的数学函数的波形或参数。在处理器200接收到通知信号之后,方法进行到块604。
在块604,处理器确定于通知信息相关联的触觉效果。例如,在一个实施例中,处理器220接收包括预设触觉效果的标识符的通知。处理器从通知中提取标识符并且访问与标识符相关联的触觉效果信息。例如,触觉效果信息可以存储在设备内的计算机可读介质中,诸如在闪速存储器设备中。在某些实施例中,标识符可以包括统一资源定位符(URL),指示在远程设备上的位置,其中触觉效果信息可从该位置找到并被检索。
进一步的实施例可以包括标识符和要被用来生成触觉效果的触觉效果信息这二者。在一个这样的实施例中,这样的通知可以用来生成触觉效果且暂时或永久地在设备上安装触觉效果用于之后再使用。例如,电视连续剧可以具有与其相关联的一个或多个触觉效果,可由智能电视安装到用户的设备中,在效果或效果库安装到用户设备上之后,电视可以随后通过标识符而非重新发送触觉效果信息来指代效果。在某些实施例中,如果触觉标识符指示没有安装在设备上的触觉效果,设备可以发送信号至电视来请求与标识符相关联的触觉效果信息,其可以使得电视提供该触觉效果信息或者提供可以检索和安装触觉效果信息或触觉效果信息库的URL。例如,欣赏特定电视连续剧的用户可能具有在其第一次观看该连续剧表演时安装在其设备上的连续剧的触觉库。在确定了触觉效果之后,方法进行到块606。
在块606,处理器220生成并发送触觉信号至触觉输出设备,诸如触觉输出设备240,触觉信号被配置为使得触觉输出设备输出触觉效果。例如,在检索到与通知信号相关联的触觉效果信息之后,处理器可以基于来自触觉信息的参数,诸如频率、持续时间、幅度等等来生成触觉信号。在某些实施例中,处理器220可以生成识别已经安装在触觉输出设备内的触觉效果的触觉信号,使得处理器220只需要识别想要输出的触觉效果。在生成触觉信号之后,处理器220发送信号到触觉输出设备以使得触觉输出设备输出触觉效果。在处理器220发送触觉信号之后,方法结束,或者可以返回到块602或604以接收进一步的通知信号,或者确定额外的触觉效果,诸如在通知信号包括与多个触觉效果相关联的信息的情况下。
现在参看图7,图7示出了根据一个实施例的用于增强的电视交互的方法。图7是关于图3中所示的电视310所执行的软件应用来描述的;但是,这里公开的方法不限于仅由图3中所示的电视310来执行,而是可以由任何合适的电子系统来执行。
图7的方法开始于块702,电视310监视电视所接收到的内容流,其中内容流包括待由电视设备显示的视频和音频数据。例如,在一个实施例中,电视310被配置为接收包括多媒体内容的数字内容流,通过分析与内容流相关联的数据来识别与内容流相关联的触觉信息或其他元数据。在某些实施例中,内容流可包括电视节目、电影、广告、或者其他音频、视觉、或多媒体内容,其具有在从内容提供商发送之前与其相关联的额外的信息。例如,与内容流相关联的信息可指示特定事件的存在,诸如火箭点火起飞或爆炸,或者可指示事件的序列,诸如追逐场景。在这样的实施例中,电视310可以被配置为监视内容流中这样的信息,诸如信息本身或指示这样的内容的存在的指示符。在某些实施例中,内容流可以通过触觉信息被原始产生,在该情况下,电视310可以监视内容流中指示这样的触觉信息的存在的指示符,或者可以简单地监视触觉信息。
在某些实施例中,内容可以不包括任何触觉信息。在一个这样的实施例中,电视310可以监视内容流中的音频或视频特性,其可能指示特定事件。例如,电视310可包括一个或多个音频识别部件来识别特定音频事件,诸如运转发动机、地板吱吱作响、急刹车轮胎声、悬疑音乐、尖叫或呼喊、打架、低声语音、或者可以指示内容中发生的一个或多个事件的其他音频特性。在某些实施例中,电视310可以被配置为监视内容流以标识、识别和分析内容流中的语音。在某些实施例中,电视310可以被配置为识别特定视频信息,诸如飞机、火车、汽车、船只、海滩、爆炸、火灾等等,或者学习识别在视频内容中频繁出现的人物,或者具有信息来允许识别著名的演员,其可以允许电视识别内容中的主要角色。在监视内容流时,方法进行到块704。
在块704,电视310检测内容流中的事件。例如,当监视内容流时,在一个实施例中,电视可以通过识别与内容流相关联的特定信息来检测事件。例如,如上所讨论的,与内容流相关联的信息可指示事件的发生,诸如爆炸或汽车事故。在某些实施例中,事件可能在非常短的时间内发生,诸如在视频的单一帧中或者在一两秒的时期内发生,而在某些实施例中,事件可能跨越内容流中的大量时间或者整个场景(或多个场景),诸如在船只或飞机上的场景,其中诸如运转发动机的事件可以被检测。在某些实施例中,电视310可以检测到广告打断了电视节目或者内容流包括与广告相关联的特征产品。例如,在一个实施例中,内容流可以具有指示与内容流中特定场景相关联的广告的相关联的信息,并且电视310可以检测广告事件已经发生。
在某些实施例中,电视310可以被配置为基于所识别的音频或视频来检测事件。如上所讨论的,电视310可以被配置为识别特定音频或视频信息,诸如特定声音或图像。进而,在某些实施例中,电视310可基于特定音频信息与特定视频信息之间的对应性来识别事件。例如,如果电视检测到地板吱吱作响和黑暗的场景以及人物侧影,电视可确定正在发生恐怖的场景。在另一实施例中,如果电视检测到波浪撞击的声音并且检测到海滩的视频,电视可以确定正在发生放松的场景。在检测到事件之后,方法进行到块706。
在块706,电视310生成并发送通知信号给用户设备200。例如,在一个实施例中,电视310生成包括触觉信号的通知信号。在本实施例中,触觉信号包括对要输出的触觉效果的识别和要输出的效果的幅度与持续时间。但是,在某些实施例中,触觉信号可包括描述要输出的效果的波形信息,或指示设备上要应用摩擦或变形效果的区域的空间信息,以及关于要应用的摩擦或变形效果的触觉特性的信息。在某些实施例中,多个触觉效果可以合并在通知信号中,或者通知信号可以发送要存储在设备200中用于之后访问的一个或多个触觉效果。例如,如上所讨论的,电视连续剧可以具有与之相关联的特定的触觉效果集合。如果电视310检测到电视节目的章节正在开始,电视310可以生成和发送通知信号给设备请求关于设备是否具有与存储在其存储器中的电视节目相关联的触觉效果库信息。如果设备负面地响应,则电视310可以生成和发送包括部分或全部触觉效果集合的通知信号,或者其可以包括可以访问或检索触觉效果库的位置的URL。
在某些实施例中,通知信号可以包括补充或增强正在由电视显示的内容的信息。例如,在一个实施例中,电视可以生成和发送包括触觉效果的通知信号,该触觉效果被配置为增强场景中的悬疑,诸如关联于人物移动通过黑暗房间而提供细微振动给设备,随后当门口出现坏人时提供强烈摇晃的效果。在某些实施例中,通知信号可以包括触觉信号,其被配置为生成与内容流中环境条件相关联的触觉效果,诸如汽车发动机或航行穿过汹涌水面的船只。
在某些实施例中,生成的通知信号可以包括要输出的触觉效果的URL,或者要显示的广告的URL。例如,如上所讨论的,电视310可以检测与广告相关联或者与内容流中所示的产品相关联的事件。在检测到这样的事件之后,电视310可以生成和发送包括广告信息的通知信号。例如,在一个实施例中,通知信号可以包括到产品的网站的URL,或者通知信号可以包括显示在用户设备上的广告或折扣券。在某些实施例中,通知信号可以包括触觉效果,其被配置为将用户的注意力拉到在用户设备上所显示的广告。在生成和发送通知信号之后(或同时),方法可以返回到块702并且电视可以继续监视内容流。
尽管关于电视310监视内容流而描述了图7的方法,可访问内容流的任何其他合适设备都可以执行方法。例如,来自有线公司的机顶盒、DVD播放器、将从内容提供商(例如NetflixTM)流传送内容的设备等等。这样的设备可以除了电视310之外或者替代电视310来执行这样的方法。
现在参看图8,图8示出了根据一个实施例的用于增强的电视交互的方法。图8是关于由图2中所示的设备200执行的软件应用而描述的;但是,这里公开的方法不限于仅由图3中所示的设备200来执行,而是可以由任何合适的电子系统来执行。
图8的方法开始于块802,设备确定用户偏好。在某些实施例中,用户可能能够直接提供用户偏好,诸如通过在一个或多个显示的用户界面上配置控制安排,或者通过创建与不同用户相关联的一个或多个简档。进而,用户可能能够提供有关不同上下文的用户偏好信息,诸如用户是否观看电视或电影,或者用户是否关注于设备200或者未拿着设备200。例如,在一个实施例中,设备确定用户喜欢看关于用户正在观看的节目的详细信息并且具有可用的基本控制,诸如频道和音量控制,或者视频回放控制(例如播放、暂停、倒回等等)。一个这样的实施例可以在图5中看到。但是,用户偏好信息也可以包括关于用户关注于设备的信息。例如,如上关于图5所讨论的,用户可能偏好当用户关注于观看电视310上的内容时,设备只应该用大按钮显示最小控制集合。如图5中可以看到的,当用户斜倚同时观看电视310时或者当用户观看电视310且没有物理接触设备200时,只显示小的基本控制集合。
在某些实施例中,设备200可以确定用户很少改变电视上的视频源并且只使用与独立的音频/视觉接收机设备相关联的音量控制。在一个这样的实施例中,设备200可以确定视频源选择起控制不应该显示在主界面屏幕上,而只应该在用户选中主屏幕以呈现辅助(或第三或其他)控制集合时通过可用选项的菜单而可用。此外,设备可以选择启动对电视310的命令的控制,而只选择启动对A/V接收机的命令的音量控制,同时不显示对于电视310的音量控制。在某些实施例中,设备可以确定用户喜欢把设备拿在其右手,由此,控制应该被安排为适应设备上的右手抓握。
在某些实施例中,设备可以基于感测的有关设备的信息而确定用户偏好。例如,在某些实施例中,设备200可以包括能够感测设备的取向或移动或者设备是否被抓握的一个或多个传感器290。这样的传感器信息可以用来确定可应用的用户偏好。例如,如果设备基于传感器信息确定其没有被用户抓握,则设备可以确定第一用户偏好集合。如果设备之后接收指示设备被抓握的传感器信号,则设备可以确定第二用户偏好集合可应用。基于其他的感测的信息,诸如指示如图5中可以看出的用户关注于设备的取向,可以确定另外的用户偏好集合。在确定用户的偏好之后,方法进行到块804。
在块804,设备200显示用户界面。例如,在确定用户的偏好之后,设备显示具有特定尺寸的控制并且是在确定为对应于用户的偏好的位置处。在图5中所示的实施例中,提供了两种不同显示的用户界面。第一界面510对应于所确定的用户偏好,关联于用户没有接触设备,或者以指示用户不关注于设备的方式拿着设备。设备还可以显示用户界面配置已经基于用户的偏好而改变的非视觉信息,诸如音频效果或触觉效果。例如,如果用户停止关注于设备,并且放松观看电视节目,则设备可以根据用户的偏好来重新配置所显示的界面,并且可以提供音频或触觉效果来通知用户所改变的界面。在显示用户界面之后,方法进行到块806。
在块806,设备确定设备的使用模式或者用户界面。例如,设备可以监视在设备上显示的一个或多个控制的用户使用。例如,如果用户频繁使用特定控制,则设备可以增加与该控制相关联的权重分数。或者,如果用户频繁观看特定节目或应用特定音量设置,则设备可以存储与这样的使用模式相关联的信息。在一个实施例中,设备可以监视用户在观看电视上内容的同时使用的其他应用,诸如网络浏览应用或提供有关演员、情节梗概、或评论的应用。在某些实施例中,设备可以监视感测的信息以确定使用模式。例如,在一个实施例中,当用户观看在电视上显示的内容时,设备可以监视设备的取向以学习用户是关注于设备还是电视。在确定使用模式之后,方法进行到块808。
在块808,设备修改用户界面。例如,在一个实施例中,设备200通过增加或移除用户界面内的控制来修改用户界面。在一个实施例中,设备200确定用户频繁访问安装在设备200上的应用来检索有关各种表演或电影的演员表的详细信息。设备200修改用户界面以包括控制从而允许用户来快速访问该应用。在一个实施例中,设备200确定用户在观看内容时通常将音量设定为特定设置,这样设备200重新调整用于将音量调整到所需水平的音量控制的尺寸。例如,如果当前音量低于用户典型所需水平,则用户界面可以被修改为增加“提高音量”控制的尺寸以允许用户易于增加音量到典型水平。如上所讨论的,在某些实施例中,设备200可以通过显示替换的用户界面或者通过修改或变化与界面元素相关联的触觉效果来修改用户界面。例如,如上关于图5所讨论的,设备可以根据所检测到的用户在设备上的关注而显示不同用户界面。如果用户关注于设备,则设备200可以显示第一用户界面(例如界面520),而如果用户不关注于设备,则设备200可以显示第二用户界面(例如界面510)。在某些实施例中,如果设备确定用户关注于设备,则设备可以减小触觉效果的强度,而如果用户不关注于设备则增加触觉效果的强度。或者,在某些实施例中,如果用户没有关注于设备,则设备可以应用摩擦效果到特定按钮或界面元素以帮助用户定位这样的按钮或元素而无需视觉提示。进而,在某些实施例中,用户可能频繁地按压“快进”按钮三次来达到最大“快进”速度。在一个实施例中,设备可以修改用户界面以只需要用户按压快进按钮一次就能到达最大速度,但提供三个触觉效果来指示正在使用最大速度。在修改用户界面之后,方法可以返回到块802,诸如如果用户改变用户偏好信息,或者方法可以返回到块804以显示修改后的用户界面。
虽然已经根据在各种机器上执行的软件说明了本文的方法和系统,但是方法和系统还可实现为特别配置的硬件,例如被特别配置为执行各种方法的现场可编程门阵列(FPGA)。例如,可在数字电子电路或计算机硬件、固件、软件或其组合中实现实施例。在一个实施例中,装置可包括一个处理器或多个处理器。处理器包括计算机可读介质,例如连接至处理器的随机存取存储器(RAM)。处理器执行存储在存储器中的计算机可执行程序指令,例如执行用于编辑图像的一个或多个计算机程序。这种处理器可包括微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)以及状态机。这种处理器还可包括可编程电子装置,例如PLC、可变成中断控制器(PIC)、可编程逻辑装置(PLD)、可编程只读存储器(PROM)、电可编程只读存储器(EPROM或EEPROM)或其他类似的装置。
这些处理器可包括或与介质通信,介质例如包括计算机可读介质,其在通过处理器执行时存储指令,使处理器执行通过处理器进行或辅助的本文所述的步骤。计算机可读介质的实施例包括但不限于能为诸如网络服务器中的处理器的处理器提供计算机可读指令的电子、光学、磁性或其他存储装置。介质的其他示例包括但不限于软盘、CD-ROM、磁盘、存储器芯片、ROM、RAM、ASIC、配置的处理器、全光学介质、全磁带或其他磁性介质或计算机处理器可读的任何其他介质。所述处理器以及处理过程可在一个或多个结构中进行,且可通过一个或多个结构被分散。处理器可包括用于执行本文所述一个或多个方法(或方法的部分)的代码。
已经列举了本发明的某些实施例的上述说明仅用于说明和描述且不旨在穷举或将本发明限定为所公开的精确形式。在不脱离本发明精神和范围的情况下,对于本领域技术人员显而易见的是其多种变形和变化。
本文所涉及的“一个实施例”或“实施例”是指与涵盖于本发明的至少一种实施方式中的实施例有关联的特定特征、结构、操作或其他特性。同样地,本发明不限于所述特定实施例。本说明书各处出现的短语“在一个实施例中”或“在实施例中”不必涉及相同实施例。本说明书中所述的与“一个实施例”有关的任意特定特征、结构、操作或其他特性可与任何其他实施例的方面中描述的其他特征、结构、操作或其他特性组合。
Claims (10)
1.一种方法,包括:
接收通知信息,所述通知信息指示与由电视设备显示的视频内容相关联的事件;
确定与所述通知信息相关联的触觉效果;
生成和发送触觉信号至触觉输出设备,所述触觉信号被配置为使得所述触觉输出设备输出所述触觉效果。
2.如权利要求1所述的方法,进一步包括:
接收辅助信息,所述辅助信息与所述视频内容相关联;以及
生成和发送视频信号至辅助显示设备。
3.如权利要求2所述的方法,进一步包括:
监视所述辅助信息;
检测与所述辅助信息相关联的事件;以及
生成和发送第二触觉信号至触觉输出设备,所述第二触觉信号被配置为使得所述触觉输出设备输出所述触觉效果。
4.如权利要求1所述的方法,进一步包括:
生成输出信号;以及
发送所述输出信号至远程设备。
5.如权利要求4所述的方法,进一步包括从输入设备接收输入,并且其中,所述输入包括用户的感测的生理状况,并且控制信号是基于所述感测的生理状况。
6.如权利要求4所述的方法,其中,控制信号是基于与所述视频内容相关联的信息以及来自社交网络账号的信息。
7.如权利要求1所述的方法,其中,所述通知信息包括与社交网络站点的用户的状态以及所述视频内容相关联的信息。
8.如权利要求1所述的方法,进一步包括生成和发送信号至扬声器,音频信号是基于所述通知信息。
9.一种方法,包括:
监视由设备接收的内容流,所述内容流包括待由电视设备显示的视频和音频数据;
检测所述内容流内的事件;以及
生成和发送与所述事件相关联的通知信号至辅助设备。
10.如权利要求9所述的方法,进一步包括发送所述通知信号至多个辅助设备。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/827,850 US9866924B2 (en) | 2013-03-14 | 2013-03-14 | Systems and methods for enhanced television interaction |
US13/827,850 | 2013-03-14 | ||
CN201410097449.4A CN104053065B (zh) | 2013-03-14 | 2014-03-14 | 用于增强的电视交互的系统和方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410097449.4A Division CN104053065B (zh) | 2013-03-14 | 2014-03-14 | 用于增强的电视交互的系统和方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110401860A true CN110401860A (zh) | 2019-11-01 |
Family
ID=50287946
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410097449.4A Expired - Fee Related CN104053065B (zh) | 2013-03-14 | 2014-03-14 | 用于增强的电视交互的系统和方法 |
CN201910593592.5A Pending CN110401860A (zh) | 2013-03-14 | 2014-03-14 | 增强的电视交互的系统和方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410097449.4A Expired - Fee Related CN104053065B (zh) | 2013-03-14 | 2014-03-14 | 用于增强的电视交互的系统和方法 |
Country Status (5)
Country | Link |
---|---|
US (2) | US9866924B2 (zh) |
EP (1) | EP2779672A3 (zh) |
JP (2) | JP6538305B2 (zh) |
KR (1) | KR20140113492A (zh) |
CN (2) | CN104053065B (zh) |
Families Citing this family (68)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10705701B2 (en) | 2009-03-16 | 2020-07-07 | Apple Inc. | Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate |
US10706096B2 (en) | 2011-08-18 | 2020-07-07 | Apple Inc. | Management of local and remote media items |
US9002322B2 (en) | 2011-09-29 | 2015-04-07 | Apple Inc. | Authentication with secondary approver |
US9609395B2 (en) * | 2012-03-26 | 2017-03-28 | Max Abecassis | Second screen subtitles function |
WO2014143776A2 (en) | 2013-03-15 | 2014-09-18 | Bodhi Technology Ventures Llc | Providing remote interactions with host device using a wireless device |
US9992491B2 (en) * | 2013-03-15 | 2018-06-05 | Immersion Corporation | Method and apparatus for encoding and decoding haptic information in multi-media files |
US10168766B2 (en) | 2013-04-17 | 2019-01-01 | Nokia Technologies Oy | Method and apparatus for a textural representation of a guidance |
US10359835B2 (en) | 2013-04-17 | 2019-07-23 | Nokia Technologies Oy | Method and apparatus for causing display of notification content |
US10027606B2 (en) | 2013-04-17 | 2018-07-17 | Nokia Technologies Oy | Method and apparatus for determining a notification representation indicative of a cognitive load |
US9274603B2 (en) | 2013-05-24 | 2016-03-01 | Immersion Corporation | Method and apparatus to provide haptic feedback based on media content and one or more external parameters |
US9619980B2 (en) | 2013-09-06 | 2017-04-11 | Immersion Corporation | Systems and methods for generating haptic effects associated with audio signals |
US9443401B2 (en) * | 2013-09-06 | 2016-09-13 | Immersion Corporation | Automatic remote sensing and haptic conversion system |
US9652945B2 (en) * | 2013-09-06 | 2017-05-16 | Immersion Corporation | Method and system for providing haptic effects based on information complementary to multimedia content |
US9576445B2 (en) | 2013-09-06 | 2017-02-21 | Immersion Corp. | Systems and methods for generating haptic effects associated with an envelope in audio signals |
US20150121306A1 (en) * | 2013-10-30 | 2015-04-30 | United Video Properties, Inc. | Methods and systems for customizing functions of media guidance applications |
US20150208032A1 (en) * | 2014-01-17 | 2015-07-23 | James Albert Gavney, Jr. | Content data capture, display and manipulation system |
US9661254B2 (en) * | 2014-05-16 | 2017-05-23 | Shadowbox Media, Inc. | Video viewing system with video fragment location |
JP6328797B2 (ja) | 2014-05-30 | 2018-05-23 | アップル インコーポレイテッド | 1つのデバイスの使用から別のデバイスの使用への移行 |
US10085061B2 (en) * | 2014-05-30 | 2018-09-25 | Rovi Guides, Inc. | Methods and systems for presenting customized options on a second device |
US10139907B2 (en) | 2014-06-16 | 2018-11-27 | Immersion Corporation | Systems and methods for foley-style haptic content creation |
WO2016007426A1 (en) * | 2014-07-07 | 2016-01-14 | Immersion Corporation | Second screen haptics |
US10339293B2 (en) | 2014-08-15 | 2019-07-02 | Apple Inc. | Authenticated device used to unlock another device |
CN110072131A (zh) | 2014-09-02 | 2019-07-30 | 苹果公司 | 音乐用户界面 |
US20160150294A1 (en) * | 2014-11-20 | 2016-05-26 | Adobe Systems Incorporated | Video Content Metadata for Enhanced Video Experiences |
CN105681853B (zh) * | 2014-11-20 | 2019-04-26 | 中国移动通信集团公司 | 一种电视业务的控制方法、装置、机顶盒及服务平台 |
US10073523B2 (en) | 2014-12-23 | 2018-09-11 | Immersion Corporation | Position control of a user input element associated with a haptic output device |
US10216277B2 (en) * | 2015-02-25 | 2019-02-26 | Immersion Corporation | Modifying haptic effects for slow motion |
US9619034B2 (en) * | 2015-02-25 | 2017-04-11 | Immersion Corporation | Overlaying of haptic effects |
KR20160139934A (ko) * | 2015-05-29 | 2016-12-07 | 삼성전자주식회사 | 원격 제어 장치, 그의 진동 피드백 제공 방법 및 디스플레이 시스템 |
EP3112987A1 (en) * | 2015-06-29 | 2017-01-04 | Thomson Licensing | Method and schemes for perceptually driven encoding of haptic effects |
US9743154B2 (en) * | 2015-09-09 | 2017-08-22 | Sorenson Media, Inc | Dynamic video advertisement replacement |
US9847000B2 (en) | 2015-10-29 | 2017-12-19 | Immersion Corporation | Ambient triggered notifications for rendering haptic effects |
CN105536249B (zh) * | 2016-02-18 | 2023-09-01 | 高创(苏州)电子有限公司 | 游戏系统 |
US9990815B2 (en) | 2016-02-18 | 2018-06-05 | Immersion Corporation | Wearable haptic effects with permissions settings |
DK179186B1 (en) | 2016-05-19 | 2018-01-15 | Apple Inc | REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION |
DK201670622A1 (en) | 2016-06-12 | 2018-02-12 | Apple Inc | User interfaces for transactions |
CN106060621A (zh) * | 2016-07-12 | 2016-10-26 | 苏州本控电子科技有限公司 | 一种新型遥控器 |
US10916123B2 (en) * | 2016-08-23 | 2021-02-09 | Sony Corporation | Control system, control apparatus, and control method |
US10359993B2 (en) | 2017-01-20 | 2019-07-23 | Essential Products, Inc. | Contextual user interface based on environment |
US20180213290A1 (en) * | 2017-01-20 | 2018-07-26 | Essential Products, Inc. | Contextual user interface based on media playback |
US10166465B2 (en) | 2017-01-20 | 2019-01-01 | Essential Products, Inc. | Contextual user interface based on video game playback |
US20180232051A1 (en) * | 2017-02-16 | 2018-08-16 | Immersion Corporation | Automatic localized haptics generation system |
US10594812B2 (en) * | 2017-03-10 | 2020-03-17 | Sony Interactive Entertainment LLC | Post-engagement metadata generation |
US10992795B2 (en) | 2017-05-16 | 2021-04-27 | Apple Inc. | Methods and interfaces for home media control |
US11431836B2 (en) | 2017-05-02 | 2022-08-30 | Apple Inc. | Methods and interfaces for initiating media playback |
US10928980B2 (en) | 2017-05-12 | 2021-02-23 | Apple Inc. | User interfaces for playing and managing audio items |
CN111343060B (zh) | 2017-05-16 | 2022-02-11 | 苹果公司 | 用于家庭媒体控制的方法和界面 |
US20220279063A1 (en) | 2017-05-16 | 2022-09-01 | Apple Inc. | Methods and interfaces for home media control |
JPWO2018221013A1 (ja) * | 2017-05-31 | 2020-05-21 | シャープ株式会社 | 電子機器、プログラム、制御装置および制御方法 |
US10572016B2 (en) | 2018-03-06 | 2020-02-25 | Microsoft Technology Licensing, Llc | Spatialized haptic device force feedback |
US10809889B2 (en) * | 2018-03-06 | 2020-10-20 | Sony Corporation | Live interactive event indication based on notification profile for display device |
CN110493616B (zh) * | 2018-05-15 | 2021-08-06 | 中国移动通信有限公司研究院 | 一种音频信号处理方法、装置、介质和设备 |
US11169668B2 (en) * | 2018-05-16 | 2021-11-09 | Google Llc | Selecting an input mode for a virtual assistant |
US20200012347A1 (en) * | 2018-07-09 | 2020-01-09 | Immersion Corporation | Systems and Methods for Providing Automatic Haptic Generation for Video Content |
US11483611B2 (en) * | 2018-11-19 | 2022-10-25 | Roku, Inc. | Non-television experience triggers |
CA3131489A1 (en) | 2019-02-27 | 2020-09-03 | Louisiana-Pacific Corporation | Fire-resistant manufactured-wood based siding |
DK201970533A1 (en) | 2019-05-31 | 2021-02-15 | Apple Inc | Methods and user interfaces for sharing audio |
US11620103B2 (en) | 2019-05-31 | 2023-04-04 | Apple Inc. | User interfaces for audio media control |
US11010121B2 (en) | 2019-05-31 | 2021-05-18 | Apple Inc. | User interfaces for audio media control |
US10904029B2 (en) | 2019-05-31 | 2021-01-26 | Apple Inc. | User interfaces for managing controllable external devices |
US10951951B2 (en) * | 2019-07-30 | 2021-03-16 | Sony Interactive Entertainment Inc. | Haptics metadata in a spectating stream |
WO2021088891A1 (zh) * | 2019-11-04 | 2021-05-14 | 青岛海信激光显示股份有限公司 | 显示系统及显示方法 |
CN110806708A (zh) * | 2019-11-07 | 2020-02-18 | 深圳创维-Rgb电子有限公司 | 智能家居控制方法、系统及计算机可读存储介质 |
JP7377093B2 (ja) * | 2019-12-16 | 2023-11-09 | 日本放送協会 | プログラム、情報処理装置、及び情報処理方法 |
US11079913B1 (en) | 2020-05-11 | 2021-08-03 | Apple Inc. | User interface for status indicators |
US11392291B2 (en) | 2020-09-25 | 2022-07-19 | Apple Inc. | Methods and interfaces for media control with dynamic feedback |
US11847378B2 (en) | 2021-06-06 | 2023-12-19 | Apple Inc. | User interfaces for audio routing |
US11523190B1 (en) | 2021-12-17 | 2022-12-06 | Google Llc | Generating notifications that provide context for predicted content interruptions |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19757385A1 (de) * | 1997-12-22 | 1999-07-01 | Clemente Spehr | Verfahren und Vorrichtung zur Unterdrückung von Werbung für Geräte der Unterhaltungselektronik |
JP2005260322A (ja) * | 2004-03-09 | 2005-09-22 | Faith Inc | コンテンツ補足情報提供システム、携帯情報端末、サーバ |
US20070033259A1 (en) * | 2000-06-30 | 2007-02-08 | Wies Evan F | Chat interface with haptic feedback functionality |
WO2009027110A1 (en) * | 2007-08-28 | 2009-03-05 | Sony Ericsson Mobile Communications Ab | Methods, devices, and computer program products for providing unobtrusive video advertising content |
US20090157753A1 (en) * | 2007-12-17 | 2009-06-18 | Electronics And Telecommunications Research Institute | System for realistically reproducing multimedia content and method thereof |
JP2009239773A (ja) * | 2008-03-28 | 2009-10-15 | Sony Corp | 通信機器および通信システム |
US20090282436A1 (en) * | 2008-05-07 | 2009-11-12 | Qualcomm Incorporated | Methods and apparatuses for directing recipients of video content items to interesting video content items |
US20100153995A1 (en) * | 2008-12-12 | 2010-06-17 | At&T Intellectual Property I, L.P. | Resuming a selected viewing channel |
CN101796478A (zh) * | 2008-01-06 | 2010-08-04 | 苹果公司 | 具有界面重新配置模式的便携式多功能设备 |
JP2010252377A (ja) * | 2010-06-16 | 2010-11-04 | Kyocera Corp | 携帯型テレビ視聴装置 |
CN102017650A (zh) * | 2008-04-24 | 2011-04-13 | 三星电子株式会社 | 在媒体内容再现装置中推荐广播内容的方法及其装置 |
US20110099017A1 (en) * | 2009-10-26 | 2011-04-28 | Ure Michael J | System and method for interactive communication with a media device user such as a television viewer |
US20110125788A1 (en) * | 2008-07-16 | 2011-05-26 | Electronics And Telecommunications Research Institute | Method and apparatus for representing sensory effects and computer readable recording medium storing sensory device capability metadata |
US20110133910A1 (en) * | 2008-10-10 | 2011-06-09 | Internet Services Llc | System and method for transmitting haptic data in conjunction with media data |
JP2011228848A (ja) * | 2010-04-16 | 2011-11-10 | Ntt Communications Corp | 番組評価情報提供装置、番組評価情報提供方法、及びプログラム |
EP2429183A1 (en) * | 2010-09-08 | 2012-03-14 | Nagravision S.A. | Remote control with sensor |
US20120110621A1 (en) * | 2010-11-03 | 2012-05-03 | Google Inc. | Social Aspects of Media Guides |
CN102523493A (zh) * | 2011-12-09 | 2012-06-27 | 深圳Tcl新技术有限公司 | 电视节目心情评分的方法及系统 |
Family Cites Families (264)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB630819A (zh) | 1946-09-07 | |||
US3623046A (en) | 1965-10-05 | 1971-11-23 | Lynch Corp | Transducer system |
US3490059A (en) | 1966-06-06 | 1970-01-13 | Martin Marietta Corp | Three axis mounting and torque sensing apparatus |
US3875488A (en) | 1973-02-15 | 1975-04-01 | Raytheon Co | Inertially stabilized gimbal platform |
US4125800A (en) | 1975-09-02 | 1978-11-14 | Contraves Gorez Corporation | Power controller with a modular power output |
GB1563200A (en) | 1975-10-16 | 1980-03-19 | Keystone Int | Position-detecting systems |
US4050265A (en) | 1976-08-03 | 1977-09-27 | The United States Of America As Represented By The Secretary Of The Navy | Force-displacement controller knob |
US4148014A (en) | 1977-04-06 | 1979-04-03 | Texas Instruments Incorporated | System with joystick to control velocity vector of a display cursor |
US4311980A (en) | 1978-10-12 | 1982-01-19 | Fabrica Italiana Magneti Marelli, S.P.A. | Device for pressure measurement using a resistor strain gauge |
GB2063474B (en) | 1979-10-24 | 1984-06-06 | Olympus Optical Co | Coeliac cavity ultrasonic diagnosis apparatus |
DE3007311C2 (de) | 1980-02-27 | 1985-11-28 | Dr. Johannes Heidenhain Gmbh, 8225 Traunreut | Digitales lichtelektrisches Längen- oder Winkelmeßsystem |
US4400790A (en) | 1981-01-06 | 1983-08-23 | E-Systems, Inc. | Transversal correlator |
US4546347A (en) | 1981-05-18 | 1985-10-08 | Mouse Systems Corporation | Detector for electro-optical mouse |
US4443952A (en) | 1981-11-09 | 1984-04-24 | The Bendix Corporation | Gyroscopic apparatus |
DE3380420D1 (en) | 1982-01-22 | 1989-09-21 | British Aerospace | Control apparatus |
US4937685A (en) | 1983-12-02 | 1990-06-26 | Lex Computer And Management Corporation | Method of display presentation for video editing |
US4678908A (en) | 1983-07-25 | 1987-07-07 | Bei Electronics, Inc. | Zero reference generating method and apparatus for optical encoders |
JPS6029833A (ja) | 1983-07-28 | 1985-02-15 | Canon Inc | 画像表示装置 |
US4639884A (en) | 1984-03-05 | 1987-01-27 | Berkeley Process Control, Inc. | Method and apparatus for measuring velocity and position in servo systems |
US4680466A (en) | 1984-04-20 | 1987-07-14 | Yokogawa Hokushin Electric Corporation | Displacement transducer which simultaneously extracts signals via sequential switching |
US4799055A (en) | 1984-04-26 | 1989-01-17 | Symbolics Inc. | Optical Mouse |
FR2564586A1 (fr) | 1984-05-18 | 1985-11-22 | Honda Motor Co Ltd | Appareil optique de detection de couple |
GB8413955D0 (en) | 1984-05-31 | 1984-07-04 | Pa Consulting Services | Displacement measuring apparatus |
IT1175678B (it) | 1984-08-31 | 1987-07-15 | Mangnaghi Oleodinamica Spa | Gruppo servoattuatore ridondante particolarmente per l'azionamento di organi di controllo di volo in velivoli |
JPS6163861A (ja) | 1984-09-04 | 1986-04-02 | Sharp Corp | 複写プロセスタイミング制御方式 |
US4794384A (en) | 1984-09-27 | 1988-12-27 | Xerox Corporation | Optical translator device |
US4712101A (en) | 1984-12-04 | 1987-12-08 | Cheetah Control, Inc. | Control mechanism for electronic apparatus |
US4728954A (en) | 1984-12-20 | 1988-03-01 | Deere & Company | Ground velocity sensor with drop-out detection |
US4935728A (en) | 1985-01-02 | 1990-06-19 | Altra Corporation | Computer control |
US4811608A (en) | 1985-12-18 | 1989-03-14 | Spatial Systems Pty Limited | Force and torque converter |
US5591924A (en) | 1985-12-18 | 1997-01-07 | Spacetec Imc Corporation | Force and torque converter |
US5195179A (en) | 1986-01-29 | 1993-03-16 | Hitachi, Ltd. | Coordinate input apparatus |
JPS62201325A (ja) | 1986-02-07 | 1987-09-05 | Fujitsu Ltd | 赤外線検知器 |
US5155423A (en) | 1986-02-18 | 1992-10-13 | Robotics Research Corporation | Industrial robot with servo |
US4724715A (en) | 1986-04-30 | 1988-02-16 | Culver Craig F | Control mechanism for computer keyboard and the like |
US4823106A (en) | 1986-07-10 | 1989-04-18 | Tapeswitch Corporation Of America | Tape element and methods, for heating, pressure measurement and circuit fabrication |
US4803413A (en) | 1986-07-15 | 1989-02-07 | Honeywell Inc. | Magnetic isolating and pointing gimbal apparatus |
US4692726A (en) | 1986-07-25 | 1987-09-08 | Motorola, Inc. | Multiple resonator dielectric filter |
US4695266A (en) | 1986-09-17 | 1987-09-22 | Hui Hsu W | Steerable electric toy car |
SE464855B (sv) | 1986-09-29 | 1991-06-24 | Asea Ab | Foerfarande vid en industrirobot foer kalibrering av en sensor |
CA1299362C (en) | 1986-12-10 | 1992-04-28 | Gregory James Mcdonald | Coordinate measuring system |
US4819195A (en) | 1987-01-20 | 1989-04-04 | The Warner & Swasey Company | Method for calibrating a coordinate measuring machine and the like and system therefor |
US4851771A (en) | 1987-02-24 | 1989-07-25 | Kabushiki Kaisha Yaskawa Denki Seisakusho | Magnetic encoder for detection of incremental and absolute value displacement |
IT1214292B (it) | 1987-05-05 | 1990-01-10 | Garda Impianti Srl | Apparecchiatura per la misura e/o il controllo della posizione edella orientazione di punti o zone caratteristiche di strutture, in particolare di scocche di autoveicoli. |
US4840634A (en) | 1987-06-10 | 1989-06-20 | Clayton Foundation For Research | Calibration controller for controlling electrically operated machines |
JPS6488716A (en) | 1987-09-30 | 1989-04-03 | Komatsu Mfg Co Ltd | Automatic driving device for traveling vehicle |
US4906843A (en) | 1987-12-31 | 1990-03-06 | Marq Technolgies | Combination mouse, optical scanner and digitizer puck |
SE461548B (sv) | 1988-02-18 | 1990-02-26 | Johansson Ab C E | Foerfarande och anordning foer bestaemning av och korrigering foer laegesfel vid maetning av en punkts laege eller vid positionering till en punkt med ett bestaemt laege |
US5006703A (en) | 1988-02-22 | 1991-04-09 | Victor Company Of Japan, Ltd. | Reflective optical rotary encoder disc |
US4914976A (en) | 1988-04-13 | 1990-04-10 | Honeywell Inc. | Five and six degree of freedom hand controllers |
US4825157A (en) | 1988-05-16 | 1989-04-25 | Mikan Peter J | Hall-effect controller |
JP2664205B2 (ja) | 1988-06-10 | 1997-10-15 | 株式会社日立製作所 | マニピュレータ制御システム |
JPH0719512Y2 (ja) | 1988-06-15 | 1995-05-10 | 株式会社セガ・エンタープライゼス | 模擬操縦ゲーム装置 |
JP2574873B2 (ja) | 1988-08-24 | 1997-01-22 | 株式会社日立製作所 | 位置あるいは速度検出装置 |
US4962448A (en) | 1988-09-30 | 1990-10-09 | Demaio Joseph | Virtual pivot handcontroller |
US5068529A (en) | 1988-12-22 | 1991-11-26 | Nikon Corporation | Absolute position detection encoder |
US5116051A (en) | 1989-01-12 | 1992-05-26 | Atari Games Corporation | Strain gauge pressure-sensitive video game control |
JPH0721710B2 (ja) | 1989-01-25 | 1995-03-08 | ヤマハ株式会社 | パッド付電子鍵盤楽器 |
US4964837B1 (en) | 1989-02-16 | 1993-09-14 | B. Collier Harry | Radio controlled model vehicle having coordinated sound effects system |
US5195920A (en) | 1989-02-16 | 1993-03-23 | Collier Harry B | Radio controlled model vehicle having coordinated sound effects system |
GB8906287D0 (en) | 1989-03-18 | 1989-05-04 | Renishaw Plc | Probe calibration |
US4965446A (en) | 1989-04-20 | 1990-10-23 | Ivac Corporation | Optical interrupter system with vibration compensation |
US4935725A (en) | 1989-07-18 | 1990-06-19 | British Columbia Telephone Co. | Security device |
US5390296A (en) | 1989-08-30 | 1995-02-14 | Comshare Incorporated | Method and apparatus for calculation with display data |
US5139261A (en) | 1989-09-15 | 1992-08-18 | Openiano Renato M | Foot-actuated computer game controller serving as a joystick |
US5182557A (en) | 1989-09-20 | 1993-01-26 | Semborg Recrob, Corp. | Motorized joystick |
US5065145A (en) | 1989-10-06 | 1991-11-12 | Summagraphics Corporation | Method and apparatus for producing signals corresponding to the position of a cursor |
GB8923066D0 (en) | 1989-10-13 | 1989-11-29 | Cheetah Marketing Ltd | A movable electronic device for playing computer games |
US5452615A (en) | 1989-10-25 | 1995-09-26 | Spacetec Imc Corporation | Force and torque converter |
US5209131A (en) | 1989-11-03 | 1993-05-11 | Rank Taylor Hobson | Metrology |
US5107080A (en) | 1989-12-01 | 1992-04-21 | Massachusetts Institute Of Technology | Multiple degree of freedom damped hand controls |
JPH03251378A (ja) | 1990-02-28 | 1991-11-08 | Fanuc Ltd | ロボットのキャリブレーション方式 |
US5113179A (en) | 1990-03-16 | 1992-05-12 | Advanced Gravis Computer Technology Ltd. | Switch joystick |
US5095303A (en) | 1990-03-27 | 1992-03-10 | Apple Computer, Inc. | Six degree of freedom graphic object controller |
US5062830A (en) | 1990-04-04 | 1991-11-05 | Derata Corporation | Dry disposable nozzle assembly for medical jet injector |
US5138154A (en) | 1990-04-04 | 1992-08-11 | Gyration Inc. | Shaft angle encoder with rotating off-axis interference pattern |
US5247648A (en) | 1990-04-12 | 1993-09-21 | Sun Microsystems, Inc. | Maintaining data coherency between a central cache, an I/O cache and a memory |
US5202961A (en) | 1990-06-08 | 1993-04-13 | Apple Computer, Inc. | Sequential information controller |
US5079845A (en) | 1990-08-31 | 1992-01-14 | Futurity Technologies, Inc. | Dual readout analog/digital magnetic compass |
US5086197A (en) | 1990-09-17 | 1992-02-04 | Liou Kwang Wan | Optical encoding method and device |
JPH04142424A (ja) | 1990-10-03 | 1992-05-15 | Canon Inc | 移動体の位置検出装置 |
US5132927A (en) | 1990-10-09 | 1992-07-21 | Tandem Computers Incorporated | System for cache space allocation using selective addressing |
WO1992007350A1 (en) | 1990-10-15 | 1992-04-30 | National Biomedical Research Foundation | Three-dimensional cursor control device |
US5024626A (en) | 1991-02-01 | 1991-06-18 | Jack Robbins | Sound producing remote control toy vehicle |
US5204600A (en) | 1991-02-06 | 1993-04-20 | Hewlett-Packard Company | Mechanical detent simulating system |
US5098437A (en) | 1991-02-13 | 1992-03-24 | Pfizer Hospital Products Group, Inc. | Acetabular cup positioning insert |
US5841423A (en) | 1991-02-15 | 1998-11-24 | Carroll, Jr.; George L. | Multifunction space bar for video screen graphics cursor control |
US5254919A (en) | 1991-03-22 | 1993-10-19 | Eastman Kodak Company | Encoder system using linear array sensor for high resolution |
US5459495A (en) | 1992-05-14 | 1995-10-17 | In Focus Systems, Inc. | Gray level addressing for LCDs |
AU662897B2 (en) | 1991-04-05 | 1995-09-21 | Logitech, Inc. | Track ball mounted on keyboard |
US5329289A (en) | 1991-04-26 | 1994-07-12 | Sharp Kabushiki Kaisha | Data processor with rotatable display |
US5341459A (en) | 1991-05-09 | 1994-08-23 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Generalized compliant motion primitive |
JPH06508222A (ja) | 1991-05-23 | 1994-09-14 | アタリ ゲームズ コーポレーション | モジュール式表示シミュレーター |
US5168268A (en) | 1991-06-05 | 1992-12-01 | Apple Computer, Inc. | Optically transmissive armature for cursor control device |
US5235868A (en) | 1991-10-02 | 1993-08-17 | Culver Craig F | Mechanism for generating control signals |
US5216337A (en) | 1991-10-28 | 1993-06-01 | Orton Kevin R | Radio controlled speed controller with audible feedback signal |
US5230623A (en) | 1991-12-10 | 1993-07-27 | Radionics, Inc. | Operating pointer with interactive computergraphics |
US5402680A (en) | 1991-12-10 | 1995-04-04 | Canon Kabushiki Kaisha | Velocity sensor and semiconductor exposing apparatus using such a sensor |
US6400996B1 (en) * | 1999-02-01 | 2002-06-04 | Steven M. Hoffberg | Adaptive pattern recognition based control system and method |
GB9201214D0 (en) | 1992-01-21 | 1992-03-11 | Mcmahon Michael J | Surgical retractors |
CA2062147C (en) | 1992-03-02 | 1995-07-25 | Kenji Hara | Multi-axial joy stick device |
US5246316A (en) | 1992-03-06 | 1993-09-21 | Excellon Automation | Work table orientation apparatus and method |
US5457793A (en) | 1992-03-30 | 1995-10-10 | International Business Machines Corporation | Software cache management of a shared electronic store in a supplex |
JP3199130B2 (ja) | 1992-03-31 | 2001-08-13 | パイオニア株式会社 | 3次元座標入力装置 |
US5734108A (en) | 1992-04-10 | 1998-03-31 | Walker; Dana A. | System for sensing shaft displacement and strain |
US5284330A (en) | 1992-06-18 | 1994-02-08 | Lord Corporation | Magnetorheological fluid devices |
US5317336A (en) | 1992-06-23 | 1994-05-31 | Hall Kenneth J | Mouse yoke assembly for interfacing with a computer |
JP3227206B2 (ja) | 1992-06-30 | 2001-11-12 | キヤノン株式会社 | 光学式エンコーダ |
US5245320A (en) | 1992-07-09 | 1993-09-14 | Thrustmaster, Inc. | Multiport game card with configurable address |
US5280276A (en) | 1992-07-10 | 1994-01-18 | Quickshot (Bvi) Ltd. | Combination mouse/trackball input device |
US5313230A (en) | 1992-07-24 | 1994-05-17 | Apple Computer, Inc. | Three degree of freedom graphic object controller |
US5402499A (en) | 1992-08-07 | 1995-03-28 | Lsi Logic Corporation | Multimedia controller |
US5428748A (en) | 1992-09-24 | 1995-06-27 | National Semiconductor Corporation | Method and apparatus for automatically configuring a computer peripheral |
US5397323A (en) | 1992-10-30 | 1995-03-14 | International Business Machines Corporation | Remote center-of-motion robot for surgery |
FI92111C (fi) | 1992-12-11 | 1994-09-26 | Icl Personal Systems Oy | Menetelmä ja järjestely kohdistimen siirtämiseksi tietokoneen näytöllä |
US5550563A (en) | 1992-12-23 | 1996-08-27 | Taligent, Inc. | Interaction framework system |
US5526022A (en) | 1993-01-06 | 1996-06-11 | Virtual I/O, Inc. | Sourceless orientation sensor |
US5474082A (en) | 1993-01-06 | 1995-12-12 | Junker; Andrew | Brain-body actuated system |
US5550562A (en) | 1993-01-12 | 1996-08-27 | Fujitsu Limited | Data processing device that enables mouse-operated application programs to be operated from an operation pad, and an operation pad for use with the same |
US5374942A (en) | 1993-02-05 | 1994-12-20 | Gilligan; Federico G. | Mouse and method for concurrent cursor position and scrolling control |
US5313229A (en) | 1993-02-05 | 1994-05-17 | Gilligan Federico G | Mouse and method for concurrent cursor position and scrolling control |
US5402582A (en) | 1993-02-23 | 1995-04-04 | Faro Technologies Inc. | Three dimensional coordinate measuring apparatus |
US5390128A (en) | 1993-04-12 | 1995-02-14 | Cargill Detroit Corporation | Robotic processing and inspection system |
US5524195A (en) | 1993-05-24 | 1996-06-04 | Sun Microsystems, Inc. | Graphical user interface for interactive television with an animated agent |
US5351692A (en) | 1993-06-09 | 1994-10-04 | Capistrano Labs Inc. | Laparoscopic ultrasonic probe |
US5724264A (en) | 1993-07-16 | 1998-03-03 | Immersion Human Interface Corp. | Method and apparatus for tracking the position and orientation of a stylus and for digitizing a 3-D object |
CA2167304C (en) | 1993-07-16 | 1998-04-21 | Louis B. Rosenberg | Multi degree of freedom human-computer interface with tracking and forcefeedback |
US5491477A (en) | 1993-09-13 | 1996-02-13 | Apple Computer, Inc. | Anti-rotation mechanism for direct manipulation position input controller for computer |
US5436640A (en) | 1993-10-29 | 1995-07-25 | Thrustmaster, Inc. | Video game and simulator joystick controller with geared potentiometer actuation |
US5384460A (en) | 1993-11-03 | 1995-01-24 | Silitek Corporation | Encoder with a light emitting editing wheel |
US5936613A (en) | 1993-11-05 | 1999-08-10 | Intertactile Technologies Corporation | Rotary circuit control devices with changeable graphics |
US5841428A (en) | 1993-11-05 | 1998-11-24 | Intertactile Technologies Corporation | Rotary circuit control devices with changeable graphics |
EP0660258B1 (en) | 1993-12-20 | 2000-03-08 | Seiko Epson Corporation | Electronic pointing device |
JPH07111663B2 (ja) | 1993-12-28 | 1995-11-29 | コナミ株式会社 | 操作用フットペダル |
US5473344A (en) | 1994-01-06 | 1995-12-05 | Microsoft Corporation | 3-D cursor positioning device |
US5436542A (en) | 1994-01-28 | 1995-07-25 | Surgix, Inc. | Telescopic camera mount with remotely controlled positioning |
JPH07234628A (ja) | 1994-02-21 | 1995-09-05 | Sega Enterp Ltd | 模擬ステアリング装置 |
US5514150A (en) | 1994-03-03 | 1996-05-07 | Lsi Logic Corporation | Micromachined conveyor devices |
US5481914A (en) | 1994-03-28 | 1996-01-09 | The Charles Stark Draper Laboratory, Inc. | Electronics for coriolis force and other sensors |
US5623642A (en) | 1994-04-06 | 1997-04-22 | M ak Technologies, Inc. | Method for simulating newtonian interactions over a computer network |
FR2718357B1 (fr) | 1994-04-06 | 1997-10-03 | Defarges Alain Moreau | Perfectionnements apportés à un dispositif d'injection par jet sans aiguille. |
US5457479A (en) | 1994-06-13 | 1995-10-10 | Primax Electronics Ltd. | Apparatus having dual modes for controlling cursor on display screen |
US5652603A (en) | 1994-06-16 | 1997-07-29 | Abrams; Daniel Lawrence | 3-D computer input device |
US5915129A (en) | 1994-06-27 | 1999-06-22 | Microsoft Corporation | Method and system for storing uncompressed data in a memory cache that is destined for a compressed file system |
US5623582A (en) | 1994-07-14 | 1997-04-22 | Immersion Human Interface Corporation | Computer interface or control input device for laparoscopic surgical instrument and other elongated mechanical objects |
US5530455A (en) | 1994-08-10 | 1996-06-25 | Mouse Systems Corporation | Roller mouse for implementing scrolling in windows applications |
US5627531A (en) | 1994-09-30 | 1997-05-06 | Ohmeda Inc. | Multi-function menu selection device |
US5570111A (en) | 1994-10-03 | 1996-10-29 | International Business Machines Corporation | Graphical user interface cursor positioning device having a negative inertia transfer function |
US5666138A (en) | 1994-11-22 | 1997-09-09 | Culver; Craig F. | Interface control |
WO1996016397A1 (en) | 1994-11-23 | 1996-05-30 | Immersion Human Interface Corporation | Method and apparatus for providing mechanical i/o for computer systems interfaced with elongated flexible objects |
JP2695623B2 (ja) | 1994-11-25 | 1998-01-14 | 株式会社ミツトヨ | 光学式エンコーダ |
US5599302A (en) | 1995-01-09 | 1997-02-04 | Medi-Ject Corporation | Medical injection system and method, gas spring thereof and launching device using gas spring |
WO1996024398A1 (en) | 1995-02-06 | 1996-08-15 | Weston Medical Limited | Needle-less injector |
US5592401A (en) | 1995-02-28 | 1997-01-07 | Virtual Technologies, Inc. | Accurate, rapid, reliable position sensing using multiple sensing technologies |
CH690463A5 (fr) | 1995-03-01 | 2000-09-15 | Portescap | Codeur optique incrémental. |
US5749577A (en) | 1995-03-15 | 1998-05-12 | Sega Enterprises, Ltd. | Perpheral input device with six-axis capability |
US5755620A (en) | 1995-04-03 | 1998-05-26 | Kabushiki Kaisha Sega Enterprises | Game system and data processing method thereof |
US5699275A (en) | 1995-04-12 | 1997-12-16 | Highwaymaster Communications, Inc. | System and method for remote patching of operating code located in a mobile unit |
US5825305A (en) | 1995-05-04 | 1998-10-20 | Mcdonnell Douglas Corporation | Cargo loading alignment device |
KR100258391B1 (ko) | 1995-05-10 | 2000-06-01 | 야마우치 히로시 | 아날로그 죠이스틱을 이용한 화상처리시스템 |
US5680141A (en) | 1995-05-31 | 1997-10-21 | The United States Of America As Represented By The Secretary Of The Army | Temperature calibration system for a ferroelectric phase shifting array antenna |
US5724106A (en) | 1995-07-17 | 1998-03-03 | Gateway 2000, Inc. | Hand held remote control device with trigger button |
US5771037A (en) | 1995-07-24 | 1998-06-23 | Altra | Computer display cursor controller |
US5638421A (en) | 1995-07-25 | 1997-06-10 | Ora Electronics, Inc. | Apparatus and method for incoming call detection and alarm circuitry for cellular telephones |
US5628686A (en) | 1995-07-31 | 1997-05-13 | Microsoft Corporation | Apparatus and method for bidirectional data communication in a game port |
US5694153A (en) | 1995-07-31 | 1997-12-02 | Microsoft Corporation | Input device for providing multi-dimensional position coordinate signals to a computer |
US5635897A (en) | 1995-08-22 | 1997-06-03 | Kuo; Shih-Chun | Mobile phone alarm |
US5611731A (en) | 1995-09-08 | 1997-03-18 | Thrustmaster, Inc. | Video pinball machine controller having an optical accelerometer for detecting slide and tilt |
JP3438755B2 (ja) | 1995-09-25 | 2003-08-18 | ソニー株式会社 | 調整操作装置 |
US5877748A (en) | 1995-11-20 | 1999-03-02 | Redlich; Sanford I. | Computer control input interface system |
US6183364B1 (en) | 1995-12-21 | 2001-02-06 | Karen I. Trovato | Simulated environment using procedural animation in a simulated city |
US5831593A (en) | 1996-01-16 | 1998-11-03 | International Business Machines Corporation | Low-power standby mode for a remote sensing device |
US5818426A (en) | 1996-02-01 | 1998-10-06 | Aztech New Media Corporation | Peripheral-computer interfacing system and method |
US6633224B1 (en) | 1996-02-29 | 2003-10-14 | Matsushita Eletric Industrial Co., Ltd. | Radio-calling device capable of setting flexibly output mode |
US6017273A (en) | 1996-03-26 | 2000-01-25 | Pacific Digital Peripherals, Inc. | Joystick game adapter card for a personal computer |
US6078311A (en) | 1996-03-26 | 2000-06-20 | Pacific Digital Peripherals, Inc. | Joystick game adapter card for a personal computer |
US5722071A (en) | 1996-03-27 | 1998-02-24 | Sony Corporation | Portable receiver including transducer for notifying user of messages received in a remote mobile communications device |
US5740083A (en) | 1996-04-01 | 1998-04-14 | Ford Motor Company | Delta time measurement circuit for determining parameter derivatives of a rotational velocity sensor signal |
US6259433B1 (en) | 1996-05-14 | 2001-07-10 | Norman H. Meyers | Digital optical joystick with mechanically magnified resolution |
US5795228A (en) | 1996-07-03 | 1998-08-18 | Ridefilm Corporation | Interactive computer-based entertainment system |
US5828295A (en) | 1996-09-04 | 1998-10-27 | Motorola, Inc. | Mode tracking transducer driver for a non-linear transducer |
US6241574B1 (en) | 1996-10-02 | 2001-06-05 | Ralf Helbing | Device to influence the driving performance of a remote-controlled model vehicle |
US5889506A (en) | 1996-10-25 | 1999-03-30 | Matsushita Electric Industrial Co., Ltd. | Video user's environment |
JPH10132612A (ja) | 1996-10-28 | 1998-05-22 | Mitsutoyo Corp | 光学式変位検出装置 |
US5917486A (en) | 1996-11-04 | 1999-06-29 | Prolexia Reading Education Software Corporation | System and method for client program control of a computer display cursor |
US6104379A (en) | 1996-12-11 | 2000-08-15 | Virtual Technologies, Inc. | Forearm-supported exoskeleton hand-tracking device |
US5954689A (en) | 1996-12-20 | 1999-09-21 | Novo Nordisk A/S | Jet injector |
TW359054B (en) | 1996-12-20 | 1999-05-21 | Sony Corp | Method and apparatus for automatic sending of e-mail and automatic sending control program supplying medium |
US5912661A (en) | 1997-01-14 | 1999-06-15 | Microsoft Corp. | Z-encoder mechanism |
US5986638A (en) | 1997-02-04 | 1999-11-16 | Mag Technology Co., Ltd. | Apparatus and method for synchronously selecting icons in flywheel controlled color computer monitor |
US5808603A (en) | 1997-02-06 | 1998-09-15 | Chen; Mei Yun | Computer input device |
US5808568A (en) | 1997-02-27 | 1998-09-15 | Primax Electronics, Ltd. | Finger operated module for generating encoding signals |
IT1291830B1 (it) | 1997-04-17 | 1999-01-21 | Logitron Srl | Encoder e pulser ottico |
US6005551A (en) | 1997-04-25 | 1999-12-21 | Microsoft Corporation | Offline force effect rendering |
US6097964A (en) | 1997-09-04 | 2000-08-01 | Nokia Mobile Phones Limited | Navigation key for a handset |
US6097499A (en) | 1997-11-14 | 2000-08-01 | Lexmark International, Inc. | Methods and apparatus for isochronous printing with minimal buffering |
JPH11187439A (ja) | 1997-12-22 | 1999-07-09 | Sony Corp | 携帯情報端末装置、画面表示方法、記録媒体およびマイクロコンピュータ装置 |
US6280327B1 (en) | 1998-06-05 | 2001-08-28 | Arista Interactive Llc | Wireless game control units |
US6295608B1 (en) | 1998-02-17 | 2001-09-25 | Microsoft Corporation | Optimized allocation of data elements among cache lines |
US6349301B1 (en) | 1998-02-24 | 2002-02-19 | Microsoft Corporation | Virtual environment bystander updating in client server architecture |
US5844673A (en) | 1998-04-17 | 1998-12-01 | Cambridge Technology, Inc. | Axial led position detector for determining the angular position of a rotatable element |
GB2347199A (en) | 1999-02-22 | 2000-08-30 | Haptic Technologies Inc | A hand controller for cursor movement |
US6546390B1 (en) | 1999-06-11 | 2003-04-08 | Abuzz Technologies, Inc. | Method and apparatus for evaluating relevancy of messages to users |
US7072888B1 (en) | 1999-06-16 | 2006-07-04 | Triogo, Inc. | Process for improving search engine efficiency using feedback |
EP1063239A1 (fr) | 1999-06-25 | 2000-12-27 | Societe De Conseils De Recherches Et D'applications Scientifiques (S.C.R.A.S.) | Nouveaux composés possédant un lanthanide et un ligand tridentate, leur procédé de préparation et leur application notamment comme catalyseurs de polymérisation |
US6293798B1 (en) | 1999-11-10 | 2001-09-25 | Skyline Products | System and method for an RC controller and software |
US6300038B1 (en) | 1999-11-19 | 2001-10-09 | Kodak Polychrome Graphics Llc | Articles having imagable coatings |
US20010018354A1 (en) | 1999-12-29 | 2001-08-30 | Pigni Oscar Marcelo | Cellular phone system with personalized message recorder reproducer unit |
WO2001067297A1 (en) | 2000-03-07 | 2001-09-13 | Tzunami Inc. | System and method for computer searching |
CA2406000A1 (en) | 2000-04-12 | 2001-10-25 | Thomas D. Laing | Interactive video device and method of use |
US6537221B2 (en) | 2000-12-07 | 2003-03-25 | Koninklijke Philips Electronics, N.V. | Strain rate analysis in ultrasonic diagnostic images |
EP1412040A1 (en) * | 2001-05-11 | 2004-04-28 | Koninklijke Philips Electronics N.V. | An enabled device and a method of operating a set of devices |
US6963762B2 (en) * | 2001-05-23 | 2005-11-08 | Nokia Corporation | Mobile phone using tactile icons |
DE10129583A1 (de) | 2001-06-20 | 2003-01-09 | Disetronic Licensing Ag | Vorrichtung und Verfahren zu Injektion |
US7093201B2 (en) | 2001-09-06 | 2006-08-15 | Danger, Inc. | Loop menu navigation apparatus and method |
US7623114B2 (en) | 2001-10-09 | 2009-11-24 | Immersion Corporation | Haptic feedback sensations based on audio output from computer devices |
US6703550B2 (en) * | 2001-10-10 | 2004-03-09 | Immersion Corporation | Sound data output and manipulation using haptic feedback |
US20030112269A1 (en) | 2001-12-17 | 2003-06-19 | International Business Machines Corporation | Configurable graphical element for monitoring dynamic properties of a resource coupled to a computing environment |
US7739601B1 (en) | 2002-01-23 | 2010-06-15 | Microsoft Corporation | Media authoring and presentation |
US7899915B2 (en) * | 2002-05-10 | 2011-03-01 | Richard Reisman | Method and apparatus for browsing using multiple coordinated device sets |
JP2004164618A (ja) | 2002-10-14 | 2004-06-10 | Oce Technol Bv | 携帯端末における選択メカニズム |
US20040193393A1 (en) | 2003-03-28 | 2004-09-30 | Keane John F. | Reconfigurable logic for simulating stochastic discrete events |
CN1543096A (zh) | 2003-04-30 | 2004-11-03 | ���µ�����ҵ��ʽ���� | 自动检测电视广告的装置及其方法 |
US8992322B2 (en) | 2003-06-09 | 2015-03-31 | Immersion Corporation | Interactive gaming systems with haptic feedback |
US20060066569A1 (en) | 2003-12-08 | 2006-03-30 | Immersion Corporation, A Delaware Corporation | Methods and systems for providing haptic messaging to handheld communication devices |
US8064752B1 (en) | 2003-12-09 | 2011-11-22 | Apple Inc. | Video encoding |
US8296070B2 (en) | 2004-02-20 | 2012-10-23 | The Mathworks, Inc. | Method and apparatus for improved simulation of chemical and biochemical reactions |
JP2005286966A (ja) | 2004-03-31 | 2005-10-13 | Hitachi Ltd | 情報処理装置及び情報処理システム |
EP1582965A1 (en) * | 2004-04-01 | 2005-10-05 | Sony Deutschland Gmbh | Emotion controlled system for processing multimedia data |
US8115091B2 (en) * | 2004-07-16 | 2012-02-14 | Motorola Mobility, Inc. | Method and device for controlling vibrational and light effects using instrument definitions in an audio file format |
US20080098331A1 (en) | 2005-09-16 | 2008-04-24 | Gregory Novick | Portable Multifunction Device with Soft Keyboards |
US7920694B2 (en) * | 2006-02-03 | 2011-04-05 | Immersion Corporation | Generation of consistent haptic effects |
US7882442B2 (en) | 2007-01-05 | 2011-02-01 | Eastman Kodak Company | Multi-frame display system with perspective based image arrangement |
CN101335911B (zh) * | 2007-06-26 | 2012-08-15 | 华为技术有限公司 | 消息处理的方法、用户终端和服务器 |
US8095646B2 (en) * | 2007-08-16 | 2012-01-10 | Sony Computer Entertainment Inc. | Content ancillary to sensory work playback |
US20090079690A1 (en) * | 2007-09-21 | 2009-03-26 | Sony Computer Entertainment America Inc. | Method and apparatus for enhancing entertainment software through haptic insertion |
US9019087B2 (en) * | 2007-10-16 | 2015-04-28 | Immersion Corporation | Synchronization of haptic effect data in a media stream |
US8875212B2 (en) | 2008-04-15 | 2014-10-28 | Shlomo Selim Rakib | Systems and methods for remote control of interactive video |
US9246613B2 (en) | 2008-05-20 | 2016-01-26 | Verizon Patent And Licensing Inc. | Method and apparatus for providing online social networking for television viewing |
EP2741177B1 (en) * | 2008-07-15 | 2019-06-26 | Immersion Corporation | Systems and Methods for Transmitting Haptic Messages |
CN101458560B (zh) * | 2008-12-25 | 2011-06-29 | 南京壹进制信息技术有限公司 | 一种计算机智能节能方法 |
KR101718680B1 (ko) | 2009-05-07 | 2017-03-21 | 임머숀 코퍼레이션 | 햅틱 피드백 모양 변경 디스플레이를 제공하기 위한 방법 및 장치 |
CN104679247B (zh) * | 2009-07-22 | 2018-07-24 | 意美森公司 | 用于在输入控制手势以及关于虚拟设备的控制期间提供复杂触觉激励的系统和方法 |
US8902050B2 (en) * | 2009-10-29 | 2014-12-02 | Immersion Corporation | Systems and methods for haptic augmentation of voice-to-text conversion |
US20110153768A1 (en) | 2009-12-23 | 2011-06-23 | International Business Machines Corporation | E-meeting presentation relevance alerts |
US8798534B2 (en) * | 2010-07-09 | 2014-08-05 | Digimarc Corporation | Mobile devices and methods employing haptics |
KR101719653B1 (ko) * | 2010-09-16 | 2017-03-24 | 엘지전자 주식회사 | 이동 단말기, 전자 시스템 및 이를 이용한 데이터 송수신 방법 |
US9058728B2 (en) * | 2010-11-05 | 2015-06-16 | Georgia Tech Research Corporation | Haptic systems, devices, and methods using transmission of pressure through a flexible medium |
US8694375B2 (en) | 2011-09-30 | 2014-04-08 | Microsoft Corporation | Determining whether to display message to user in application based on user message viewing history |
US10013857B2 (en) * | 2011-12-21 | 2018-07-03 | Qualcomm Incorporated | Using haptic technologies to provide enhanced media experiences |
JP6269480B2 (ja) * | 2012-04-06 | 2018-01-31 | 株式会社ニコン | データ処理装置、及びデータ処理プログラム |
US9891709B2 (en) * | 2012-05-16 | 2018-02-13 | Immersion Corporation | Systems and methods for content- and context specific haptic effects using predefined haptic effects |
US20130311881A1 (en) | 2012-05-16 | 2013-11-21 | Immersion Corporation | Systems and Methods for Haptically Enabled Metadata |
WO2013177663A1 (en) * | 2012-06-01 | 2013-12-05 | Research In Motion Limited | Methods and devices for providing companion services to video |
KR101427993B1 (ko) * | 2012-12-17 | 2014-08-08 | 포항공과대학교 산학협력단 | 오디오 신호의 햅틱 신호 변환 방법 및 이를 수행하는 장치 |
CN103893971B (zh) * | 2012-12-25 | 2015-05-27 | 腾讯科技(深圳)有限公司 | 一种游戏音效的制作方法和客户端 |
US10775888B2 (en) * | 2013-02-15 | 2020-09-15 | Facebook, Inc. | Method and system for integrating haptic feedback into portable electronic devices |
US20170025153A1 (en) * | 2013-03-05 | 2017-01-26 | Wevideo, Inc. | Theme-based effects multimedia editor |
US8984568B2 (en) * | 2013-03-13 | 2015-03-17 | Echostar Technologies L.L.C. | Enhanced experience from standard program content |
US9285905B1 (en) * | 2013-03-14 | 2016-03-15 | Amazon Technologies, Inc. | Actuator coupled device chassis |
US9652945B2 (en) * | 2013-09-06 | 2017-05-16 | Immersion Corporation | Method and system for providing haptic effects based on information complementary to multimedia content |
US9147328B2 (en) * | 2013-11-04 | 2015-09-29 | Disney Enterprises, Inc. | Creating tactile content with sound |
WO2015075191A1 (en) * | 2013-11-25 | 2015-05-28 | Thomson Licensing | Method for generating haptic coefficients using an autoregressive model, signal and device for reproducing such coefficients |
US9588588B2 (en) * | 2014-09-22 | 2017-03-07 | Disney Enterprises, Inc. | Customized haptic effects |
-
2013
- 2013-03-14 US US13/827,850 patent/US9866924B2/en not_active Expired - Fee Related
-
2014
- 2014-03-13 JP JP2014049612A patent/JP6538305B2/ja not_active Expired - Fee Related
- 2014-03-14 CN CN201410097449.4A patent/CN104053065B/zh not_active Expired - Fee Related
- 2014-03-14 KR KR1020140030063A patent/KR20140113492A/ko not_active Application Discontinuation
- 2014-03-14 CN CN201910593592.5A patent/CN110401860A/zh active Pending
- 2014-03-14 EP EP14160149.2A patent/EP2779672A3/en not_active Withdrawn
-
2017
- 2017-11-29 US US15/825,256 patent/US20180124475A1/en not_active Abandoned
-
2019
- 2019-06-06 JP JP2019106282A patent/JP2019175494A/ja not_active Withdrawn
Patent Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19757385A1 (de) * | 1997-12-22 | 1999-07-01 | Clemente Spehr | Verfahren und Vorrichtung zur Unterdrückung von Werbung für Geräte der Unterhaltungselektronik |
US20070033259A1 (en) * | 2000-06-30 | 2007-02-08 | Wies Evan F | Chat interface with haptic feedback functionality |
JP2005260322A (ja) * | 2004-03-09 | 2005-09-22 | Faith Inc | コンテンツ補足情報提供システム、携帯情報端末、サーバ |
WO2009027110A1 (en) * | 2007-08-28 | 2009-03-05 | Sony Ericsson Mobile Communications Ab | Methods, devices, and computer program products for providing unobtrusive video advertising content |
US20090157753A1 (en) * | 2007-12-17 | 2009-06-18 | Electronics And Telecommunications Research Institute | System for realistically reproducing multimedia content and method thereof |
CN101796478A (zh) * | 2008-01-06 | 2010-08-04 | 苹果公司 | 具有界面重新配置模式的便携式多功能设备 |
JP2009239773A (ja) * | 2008-03-28 | 2009-10-15 | Sony Corp | 通信機器および通信システム |
CN102017650A (zh) * | 2008-04-24 | 2011-04-13 | 三星电子株式会社 | 在媒体内容再现装置中推荐广播内容的方法及其装置 |
US20090282436A1 (en) * | 2008-05-07 | 2009-11-12 | Qualcomm Incorporated | Methods and apparatuses for directing recipients of video content items to interesting video content items |
CN102057684A (zh) * | 2008-05-07 | 2011-05-11 | 高通股份有限公司 | 用于将视频内容项接收者指引到感兴趣的视频内容项的方法和装置 |
US20110125788A1 (en) * | 2008-07-16 | 2011-05-26 | Electronics And Telecommunications Research Institute | Method and apparatus for representing sensory effects and computer readable recording medium storing sensory device capability metadata |
US20110133910A1 (en) * | 2008-10-10 | 2011-06-09 | Internet Services Llc | System and method for transmitting haptic data in conjunction with media data |
US20100153995A1 (en) * | 2008-12-12 | 2010-06-17 | At&T Intellectual Property I, L.P. | Resuming a selected viewing channel |
US20110099017A1 (en) * | 2009-10-26 | 2011-04-28 | Ure Michael J | System and method for interactive communication with a media device user such as a television viewer |
JP2011228848A (ja) * | 2010-04-16 | 2011-11-10 | Ntt Communications Corp | 番組評価情報提供装置、番組評価情報提供方法、及びプログラム |
JP2010252377A (ja) * | 2010-06-16 | 2010-11-04 | Kyocera Corp | 携帯型テレビ視聴装置 |
EP2429183A1 (en) * | 2010-09-08 | 2012-03-14 | Nagravision S.A. | Remote control with sensor |
US20120110621A1 (en) * | 2010-11-03 | 2012-05-03 | Google Inc. | Social Aspects of Media Guides |
CN102523493A (zh) * | 2011-12-09 | 2012-06-27 | 深圳Tcl新技术有限公司 | 电视节目心情评分的方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
US9866924B2 (en) | 2018-01-09 |
JP2014194768A (ja) | 2014-10-09 |
JP2019175494A (ja) | 2019-10-10 |
US20180124475A1 (en) | 2018-05-03 |
CN104053065A (zh) | 2014-09-17 |
KR20140113492A (ko) | 2014-09-24 |
US20140267911A1 (en) | 2014-09-18 |
CN104053065B (zh) | 2019-08-02 |
EP2779672A2 (en) | 2014-09-17 |
EP2779672A3 (en) | 2014-11-12 |
JP6538305B2 (ja) | 2019-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104053065B (zh) | 用于增强的电视交互的系统和方法 | |
US10477202B2 (en) | Method and apparatus for encoding and decoding haptic information in multi-media files | |
CN106502638B (zh) | 用于提供视听反馈的设备、方法和图形用户界面 | |
US11843838B2 (en) | User interfaces for accessing episodes of a content series | |
US9501140B2 (en) | Method and apparatus for developing and playing natural user interface applications | |
JP6235636B2 (ja) | 触覚効果を与えるシステム及び方法 | |
CN104793737A (zh) | 用于内容编创的系统和方法 | |
CN103124996B (zh) | 多个用户界面设备的同时使用 | |
CN109891408A (zh) | 用于在电子设备上浏览来自多个内容应用程序的内容的用户界面 | |
JP2016126773A (ja) | 視線追跡に基づく触覚効果を生成するシステム及び方法 | |
CN103890695A (zh) | 基于手势的接口系统和方法 | |
CN103858073A (zh) | 增强现实系统的免触摸界面 | |
CN110087117A (zh) | 一种视频播放方法及终端 | |
CN103513767A (zh) | 触觉反馈控制系统 | |
US20120326993A1 (en) | Method and apparatus for providing context sensitive interactive overlays for video | |
KR20130078518A (ko) | 전자 장치 및 그의 제어 방법 | |
KR20200050869A (ko) | 맞춤형 햅틱 재생을 제공하기 위한 시스템들 및 방법들 | |
CN108959320A (zh) | 预览视频搜索结果的方法和装置 | |
CN108256108A (zh) | 一种显示内容的处理方法及终端 | |
CN103218038A (zh) | 电子设备及其控制方法 | |
CN110909204A (zh) | 视频发布方法、装置及电子设备 | |
WO2021112010A1 (ja) | 情報処理装置、情報処理方法、情報処理プログラム | |
KR20140089238A (ko) | 전자 장치 및 그의 제어 방법 | |
Hopmann | Content and Context-Aware Interfaces for Smarter Media Control |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20191101 |