CN103765346B - 基于眼睛凝视的用于音频视觉回放的位置选择 - Google Patents
基于眼睛凝视的用于音频视觉回放的位置选择 Download PDFInfo
- Publication number
- CN103765346B CN103765346B CN201180073321.9A CN201180073321A CN103765346B CN 103765346 B CN103765346 B CN 103765346B CN 201180073321 A CN201180073321 A CN 201180073321A CN 103765346 B CN103765346 B CN 103765346B
- Authority
- CN
- China
- Prior art keywords
- user
- region
- video
- look
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 230000004044 response Effects 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 10
- 238000010191 image analysis Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 4
- 241000406668 Loxodonta cyclotis Species 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract description 2
- 210000003128 head Anatomy 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 210000001747 pupil Anatomy 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/87—Regeneration of colour television signals
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Social Psychology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computer Networks & Wireless Communication (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Position Input By Displaying (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
响应于探测到用户正在显示器屏幕上注视什么,可以修改与该区域相关联的音频媒体或视觉媒体的回放。例如,可以加快或减慢所述用户正在注视的区域中的视频。感兴趣区域中的静止图像可以被转化成移动图画。可以响应于用户凝视探测来激活与在所述显示器屏幕上的感兴趣区域中所描绘对象相关联的音频。
Description
技术领域
一般而言,本发明涉及计算机,并且尤其涉及在计算机上显示图像和回放音频视觉信息。
背景技术
通常,计算机包括数个用于音频/视频回放的控件。用于此目的的输入/输出设备包括键盘、鼠标和触摸屏。此外,图形用户接口可以被显示以使用户能够控制视频回放或音频回放的启动和停止、视频回放或音频回放的暂停、视频回放或音频回放的快速前进以及音频回放/视频回放的倒回。
附图说明
图1是本发明的一个实施例的示意图;以及
图2是用于本发明的一个实施例的流程图。
具体实施方式
根据一些实施例,可以分析用户的眼睛凝视以准确确定用户正在计算机显示器屏幕上注视什么。基于眼睛凝视所探测的用户感兴趣区域,可以控制音频回放或视频回放。例如,如果用户在显示器屏幕上注视特定区域时,选择的音频文件或选择的视频文件就可以在该范围中开始回放。
类似地,基于用户正在注视哪里,可以在该范围中改变视频的运动速率。作为另一个例子,可以在如下区域中发动运动,所述区域在用户注视该区域之前是静止的。作为附加的例子,眼睛凝视所选择的区域的尺寸可以响应于对用户注视所述区域的探测来增大或减小。因此,仅仅基于用户注视特定区域这一事实也可以将快速前进、前进或倒回控件设置在显示器区域中。其他可以单单通过探测眼睛凝视来实施的控件包括暂停和回放起动。
参照图1,计算机系统10可以是任一种基于处理器的系统,其包括台式计算机或娱乐系统,比如电视机或媒体回放器。它也可以是移动系统,比如膝上型计算机、平板计算机、蜂窝电话或移动因特网设备,仅举一些例子。
系统10可包括显示器屏幕12,所述显示器屏幕耦合到基于计算机的设备14。该基于计算机的设备可以包括视频接口22,所述视频接口耦合到视频摄像机16,所述视频摄像机在一些实施例中可以与显示器12相关联。例如,在一些实施例中,摄像机16可以与显示器12集成在一起或与显示器12装配在一起。在一些实施例中,也可以提供红外发射器用于使摄像头能够探测来自用户的眼睛的红外反射以跟踪眼睛移动。如在此所用的,“眼睛凝视探测”包括任何用于确定用户在注视什么的技术,所述技术包括眼睛跟踪、头部跟踪和面部跟踪。
处理器28可以耦合到存储装置24和显示器接口26,所述显示器接口驱动显示器12。处理器28可以是任何控制器,其包括中央处理单元或图形处理单元。处理器28可以具有模块18,所述模块使用眼睛凝视探测来在显示器屏幕12上所显示的图像内识别感兴趣区域。
在一些实施例中,显示器屏幕上眼睛凝视位置的确定可以通过图像分析来补充。具体地,可以使用视频图像分析来分析图像的内容以认出图示内的对象以及评估眼睛凝视探测所建议的位置是否严格正确。作为一个例子,用户可能注视所成像的人的头部,但眼睛凝视探测技术可能稍微错误,相反建议焦点的范围是靠近头部,但在空白范围中。视频分析可以用于探测接近所探测的眼睛凝视位置的唯一对象是所成像的人的头部。因此,该系统可以推断出真正的焦点是所成像的人的头部。因此,在一些实施例中,视频图像分析可以结合眼睛凝视探测来使用以改善眼睛凝视探测的准确性。
感兴趣区域识别模块18耦合到感兴趣区域和媒体链接模块20。链接模块20可以负责将用户所正在注视什么链接到正在屏幕上播放的特定音频视觉文件。因此,在一个实施例中,在显示器屏幕内的每个区域在正在进行的音频视觉信息显示中在特定时间示例或在特定地方链接到特定文件。
例如,可以将电影中的时间码链接到特定区域,并且与数字流播媒体相关联的元数据可以标识帧和帧内的象限或区域。例如,每帧可以被划分成象限,所述象限在数字内容流中的元数据中被标识。
作为另一个例子,每个图像部分或不同的图像,比如特定的对象或特定区域,可以是可单独操作的文件或数字电子流。可以将这些不同的文件或流中的每个链接到其他能够在特定情况下被激活的文件或流。此外,可以去激活或控制每个分离的文件或流,如下文所述。
在一些实施例中,可以存储一系列不同版本的所显示电子媒体文件。例如,第一版本可以在第一区域中具有视频,第二版本可以在第二区域中具有视频,以及第三版本可以没有视频。当用户注视第一区域时,第三版本的回放被第一版本的回放替换。那么,如果用户注视第二区域,第一版本的回放被第二个版本的回放替换。
类似地,可以以同样的方式处理音频。此外,波束形成技术可以用于记录场景的音频,使得与在麦克风阵列中的不同麦克风相关联的音频可以被键入到所成像场景的不同范围。因此,在一个实施例中,如果用户正在注视场景中的一个范围,则可以播放来自最靠近的麦克风的音频。通过这种方式,音频回放与在所成像场景内用户实际上在凝视的范围相关。
在一些实施例中,可以对场景内的不同对象拍摄多个视频。绿屏技术可以用来记录这些对象以便它们可以被拼接成整体合成物。因此,举个例子,喷泉在公园喷水的视频可以使用绿屏技术来记录。然后正在播放的视频可能呈现没有喷水的喷泉。然而,当用户注视喷泉对象时,喷泉对象的图示可能从场景中被删除,并且可能被实际喷水的喷泉的拼接成分段的显示替换。因此,整体场景可以由分段的视频的合成物组成,当用户注视对象的位置时,所述分段的视频可以被拼接成合成物。
在某些情况下,显示器可以被分段成各种代表场景内的数个对象的视频。每当用户注视这些对象中的一个时,该对象的视频可以被拼接成整体合成物以改变该对象的外观。
链接模块26可以耦合到用于驱动显示器的显示驱动器26。模块26也可以具有可用的存储装置24,所述存储装置用于存储可以与屏幕的特定区域的选择相关联地被激活和被播放的文件。
因此,参照图2,序列30可以通过软件、固件和/或硬件来实施。在软件实施例或固件实施例中,序列可以通过存储在非暂态计算机可读媒体(例如光学存储装置、磁存储装置或半导体存储装置)上的计算机可读指令来实施。例如,以计算机可读指令实现的此类序列可以存储在存储装置24中。
在一个实施例中,通过在来自视频摄像机16的视频馈入内探测用户眼睛的位置(方框32)来开始序列30。众所周知的技术可以被用于识别对应于与眼睛相关联的众所周知的物理特征的图像部分。
接下来,在一个实施例中,在方框34,再次使用其众所周知的用于识别目的的几何形状来搜索识别为眼睛的区域以寻找人的瞳孔。
一旦瞳孔已被定位,就可以使用传统的眼睛探测与跟踪技术来跟踪瞳孔移动(方框36)。
瞳孔移动的方向(方框36)可以用于在正在进行的显示内识别感兴趣区域(框38)。例如,瞳孔的位置可以对应于视线与显示器屏幕的角度,可以使用几何学使所述角度与特定的像素位置相关。一旦这些像素位置被识别,数据库或表可以链接特定的像素位置到屏幕上的特定图示,其包括屏幕的分离区段或区域或图像对象。
最后,在方框40中,可以将媒体文件链接到感兴趣区域。再次,可以响应于探测到用户实际上正在注视该区域来自动实施在所描绘的区域或对象中的各种改变。
例如,当用户正在注视屏幕的一个范围时可以播放所选择的音频。当用户正在注视屏幕的另一区域时可以自动播放另一个音频文件。
类似地,当用户注视屏幕的一个特定范围时可以在该范围内启动视频。当用户注视屏幕的不同范围时可以启动不同的视频。
同样地,如果在屏幕的区域中运动已经是活跃的,当用户注视该区域时,可以增大运动速率。作为另一种选择,当用户正在注视静止区域时可以在该区域中发动运动,反之亦然。
作为附加的例子,可以响应于用户凝视探测来增大或减小感兴趣区域的显示尺寸。此外,可以响应于用户凝视探测来选择性地实施前进和倒回。仍有的附加例子包括在所述区域内暂停或启动回放。又一种可能性是在感兴趣区域中实施三维(3D)效果或在感兴趣区域中停用3D效果。
可以在各种硬件架构中实施在此描述的图形处理技术。例如,图形功能可以集成到芯片组内。替代地,可以使用分立的图形处理器。作为又一实施例,图形功能可以通过通用处理器——包括多核处理器来实施。
贯穿本说明书提及“一实施例”或“一个实施例”意味着结合所述实施例描述的特定的特征、结构或特性是包括在至少一种包含在本发明内的实施中的。因此,短语“一个实施例”或“在一个实施例中”的出现不一定都指同一个实施例。此外,特定的特征、结构或特性可以以不同于所说明的特定实施例的其他合适的形式来设置,并且所有这样的形式可以包含在本申请的权利要求内。
虽然已关于有限数量的实施例描述了本发明,但本领域技术人员将认识到许多其修改和变型。目的在于,所附权利要求覆盖落入本发明的真正精神和范畴内的所有此类修改和变型。
Claims (19)
1.一种用于音频视觉回放的方法,所述方法包括:
使用眼睛凝视探测结合用于分析所显示图像内容的视频图像分析来识别用户正在显示器屏幕(12)的区域中注视的对象;以及
用该对象的拼接成分段的视频来替换该对象。
2.根据权利要求1所述的方法,包括响应于探测到所述用户正在注视所述显示器屏幕(12)的区域来在所述区域中播放视频。
3.根据权利要求1所述的方法,包括增大显示器屏幕(12)的、用户正在注视的区域中对象的运动速率。
4.根据权利要求1所述的方法,包括启动或停止与所述显示器屏幕(12)上所述用户正在注视的区域相关联的音频。
5.根据权利要求1所述的方法,包括将所述显示器屏幕上所述用户正在注视的区域从静止图像切换到移动图画。
6.根据权利要求1所述的方法,包括使用眼睛跟踪装置来确定所述显示器屏幕上正在被观看的对象。
7.一种用于音频视觉回放的设备,包括:
用于使用眼睛凝视探测结合用于分析所显示图像内容的视频图像分析来识别用户正在显示器屏幕(12)的区域中注视的对象的装置;以及
用于用该对象的拼接成分段的视频来替换该对象的装置。
8.根据权利要求7所述的设备,所述设备还包括用于在所述用户正在注视的区域中播放视频的装置,所述播放响应于探测到所述用户正在注视该区域。
9.根据权利要求7所述的设备,所述设备还包括用于增大在所述用户正在注视的区域中所描绘的对象的运动速率的装置。
10.根据权利要求7所述的设备,所述设备还包括用于启动或停止与所述显示器屏幕(12)的、所述用户正在注视的区域相关联的音频的装置。
11.根据权利要求7所述的设备,所述设备还包括用于将所述用户正在注视的区域从静止图像切换到移动图画的装置。
12.根据权利要求7所述的设备,所述设备还包括用于使用凝视探测来确定显示器屏幕上正在被观看的对象的装置。
13.一种用于音频视觉回放的设备,所述设备包括:
处理器;
用于接收计算机系统的用户的视频的视频接口;并且
所述处理器用于使用所述视频,以使用眼睛凝视探测结合用于分析所显示图像内容的视频图像分析来识别用户正在显示器屏幕的区域中注视的对象并且用该对象的拼接成分段的视频来替换该对象。
14.根据权利要求13所述的设备,所述设备包括耦合到所述处理器的视频显示器。
15.根据权利要求13所述的设备,所述设备包括装配在所述视频显示器上并且耦合到所述视频接口的摄像机。
16.根据权利要求13所述的设备,所述处理器用于响应于探测到所述用户正在注视所述显示器的区域来在所述区域中播放视频。
17.根据权利要求13所述的设备,所述处理器用于增大所述用户正在注视的对象的运动速率。
18.根据权利要求13所述的设备,所述处理器用于启动或停止与所述用户正在注视的对象相关联的音频。
19.一种机器可读介质,其上面存储指令,所述指令在被执行时导致所述机器执行如权利要求1-6中任一项所述的方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2011/050895 WO2013036237A1 (en) | 2011-09-08 | 2011-09-08 | Eye gaze based location selection for audio visual playback |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103765346A CN103765346A (zh) | 2014-04-30 |
CN103765346B true CN103765346B (zh) | 2018-01-26 |
Family
ID=47832475
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180073321.9A Active CN103765346B (zh) | 2011-09-08 | 2011-09-08 | 基于眼睛凝视的用于音频视觉回放的位置选择 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20130259312A1 (zh) |
EP (1) | EP2754005A4 (zh) |
JP (1) | JP5868507B2 (zh) |
KR (1) | KR101605276B1 (zh) |
CN (1) | CN103765346B (zh) |
WO (1) | WO2013036237A1 (zh) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9131266B2 (en) | 2012-08-10 | 2015-09-08 | Qualcomm Incorporated | Ad-hoc media presentation based upon dynamic discovery of media output devices that are proximate to one or more users |
US20140313103A1 (en) | 2013-04-19 | 2014-10-23 | Qualcomm Incorporated | Coordinating a display function between a plurality of proximate client devices |
WO2015025186A1 (en) * | 2013-08-21 | 2015-02-26 | Thomson Licensing | Video display having audio controlled by viewing direction |
US9342147B2 (en) * | 2014-04-10 | 2016-05-17 | Microsoft Technology Licensing, Llc | Non-visual feedback of visual change |
US9318121B2 (en) | 2014-04-21 | 2016-04-19 | Sony Corporation | Method and system for processing audio data of video content |
GB2527306A (en) * | 2014-06-16 | 2015-12-23 | Guillaume Couche | System and method for using eye gaze or head orientation information to create and play interactive movies |
US9606622B1 (en) * | 2014-06-26 | 2017-03-28 | Audible, Inc. | Gaze-based modification to content presentation |
US20160035063A1 (en) * | 2014-07-30 | 2016-02-04 | Lenovo (Singapore) Pte. Ltd. | Scaling data automatically |
EP3037915B1 (en) * | 2014-12-23 | 2017-08-16 | Nokia Technologies OY | Virtual reality content control |
CN104731335B (zh) * | 2015-03-26 | 2018-03-23 | 联想(北京)有限公司 | 一种播放内容调整方法及电子设备 |
US11269403B2 (en) | 2015-05-04 | 2022-03-08 | Disney Enterprises, Inc. | Adaptive multi-window configuration based upon gaze tracking |
US9990035B2 (en) * | 2016-03-14 | 2018-06-05 | Robert L. Richmond | Image changes based on viewer's gaze |
US9774907B1 (en) | 2016-04-05 | 2017-09-26 | International Business Machines Corporation | Tailored audio content delivery |
US10153002B2 (en) * | 2016-04-15 | 2018-12-11 | Intel Corporation | Selection of an audio stream of a video for enhancement using images of the video |
FR3050895A1 (fr) * | 2016-04-29 | 2017-11-03 | Orange | Procede de composition contextuelle d'une representation video intermediaire |
CN106569598A (zh) * | 2016-10-31 | 2017-04-19 | 努比亚技术有限公司 | 菜单栏的管理装置及方法 |
EP3470976A1 (en) * | 2017-10-12 | 2019-04-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method and apparatus for efficient delivery and usage of audio messages for high quality of experience |
US10481856B2 (en) | 2017-05-15 | 2019-11-19 | Microsoft Technology Licensing, Llc | Volume adjustment on hinged multi-screen device |
US10405126B2 (en) * | 2017-06-30 | 2019-09-03 | Qualcomm Incorporated | Mixed-order ambisonics (MOA) audio data for computer-mediated reality systems |
JP2019066618A (ja) * | 2017-09-29 | 2019-04-25 | フォーブ インコーポレーテッド | 画像表示システム、画像表示方法及び画像表示プログラム |
US20200125323A1 (en) * | 2018-10-18 | 2020-04-23 | Samsung Electronics Co., Ltd. | Display device and control method thereof |
US12025794B2 (en) * | 2019-03-12 | 2024-07-02 | Sony Group Corporation | Information processing device and image processing method |
US11853472B2 (en) * | 2019-04-05 | 2023-12-26 | Hewlett-Packard Development Company, L.P. | Modify audio based on physiological observations |
CN113950845B (zh) * | 2019-05-31 | 2023-08-04 | Dts公司 | 凹式音频渲染 |
CN112135201B (zh) * | 2020-08-29 | 2022-08-26 | 北京市商汤科技开发有限公司 | 视频制作方法及相关装置 |
US11743670B2 (en) | 2020-12-18 | 2023-08-29 | Qualcomm Incorporated | Correlation-based rendering with multiple distributed streams accounting for an occlusion for six degree of freedom applications |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000138872A (ja) * | 1998-10-30 | 2000-05-16 | Sony Corp | 情報処理装置および方法、並びに提供媒体 |
US6577329B1 (en) * | 1999-02-25 | 2003-06-10 | International Business Machines Corporation | Method and system for relevance feedback through gaze tracking and ticker interfaces |
JP2005091571A (ja) * | 2003-09-16 | 2005-04-07 | Fuji Photo Film Co Ltd | 表示制御装置、及び表示システム |
CN101405680A (zh) * | 2006-03-23 | 2009-04-08 | 皇家飞利浦电子股份有限公司 | 用于图像操作的眼睛跟踪控制的热区 |
CN102073435A (zh) * | 2009-11-23 | 2011-05-25 | 英业达股份有限公司 | 画面操作方法及应用该方法的电子装置 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6195640B1 (en) * | 1999-01-29 | 2001-02-27 | International Business Machines Corporation | Audio reader |
JP2001008232A (ja) * | 1999-06-25 | 2001-01-12 | Matsushita Electric Ind Co Ltd | 全方位映像出力方法と装置 |
US6456262B1 (en) * | 2000-05-09 | 2002-09-24 | Intel Corporation | Microdisplay with eye gaze detection |
US20050047629A1 (en) * | 2003-08-25 | 2005-03-03 | International Business Machines Corporation | System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking |
US7500752B2 (en) * | 2004-04-28 | 2009-03-10 | Natus Medical Incorporated | Diagnosing and training the gaze stabilization system |
JP2006126965A (ja) * | 2004-10-26 | 2006-05-18 | Sharp Corp | 合成映像生成システム,方法,プログラム,及び、記録媒体 |
JP4061379B2 (ja) * | 2004-11-29 | 2008-03-19 | 国立大学法人広島大学 | 情報処理装置、携帯端末、情報処理方法、情報処理プログラム、およびコンピュータ読取可能な記録媒体 |
JP2007036846A (ja) * | 2005-07-28 | 2007-02-08 | Nippon Telegr & Teleph Corp <Ntt> | 動画再生装置およびその制御方法 |
US20060256133A1 (en) * | 2005-11-05 | 2006-11-16 | Outland Research | Gaze-responsive video advertisment display |
CN101326546B (zh) * | 2005-12-27 | 2011-10-12 | 松下电器产业株式会社 | 图像处理装置 |
US8360578B2 (en) * | 2006-01-26 | 2013-01-29 | Nokia Corporation | Eye tracker device |
JP4420002B2 (ja) * | 2006-09-14 | 2010-02-24 | トヨタ自動車株式会社 | 視線先推定装置 |
US8494215B2 (en) * | 2009-03-05 | 2013-07-23 | Microsoft Corporation | Augmenting a field of view in connection with vision-tracking |
US20120105486A1 (en) * | 2009-04-09 | 2012-05-03 | Dynavox Systems Llc | Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods |
US20110228051A1 (en) * | 2010-03-17 | 2011-09-22 | Goksel Dedeoglu | Stereoscopic Viewing Comfort Through Gaze Estimation |
US8670019B2 (en) * | 2011-04-28 | 2014-03-11 | Cisco Technology, Inc. | System and method for providing enhanced eye gaze in a video conferencing environment |
-
2011
- 2011-09-08 JP JP2014529655A patent/JP5868507B2/ja not_active Expired - Fee Related
- 2011-09-08 US US13/993,245 patent/US20130259312A1/en not_active Abandoned
- 2011-09-08 CN CN201180073321.9A patent/CN103765346B/zh active Active
- 2011-09-08 KR KR1020147006266A patent/KR101605276B1/ko active IP Right Grant
- 2011-09-08 EP EP11872027.5A patent/EP2754005A4/en not_active Withdrawn
- 2011-09-08 WO PCT/US2011/050895 patent/WO2013036237A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000138872A (ja) * | 1998-10-30 | 2000-05-16 | Sony Corp | 情報処理装置および方法、並びに提供媒体 |
US6577329B1 (en) * | 1999-02-25 | 2003-06-10 | International Business Machines Corporation | Method and system for relevance feedback through gaze tracking and ticker interfaces |
JP2005091571A (ja) * | 2003-09-16 | 2005-04-07 | Fuji Photo Film Co Ltd | 表示制御装置、及び表示システム |
CN101405680A (zh) * | 2006-03-23 | 2009-04-08 | 皇家飞利浦电子股份有限公司 | 用于图像操作的眼睛跟踪控制的热区 |
CN102073435A (zh) * | 2009-11-23 | 2011-05-25 | 英业达股份有限公司 | 画面操作方法及应用该方法的电子装置 |
Also Published As
Publication number | Publication date |
---|---|
EP2754005A1 (en) | 2014-07-16 |
US20130259312A1 (en) | 2013-10-03 |
JP5868507B2 (ja) | 2016-02-24 |
EP2754005A4 (en) | 2015-04-22 |
KR101605276B1 (ko) | 2016-03-21 |
KR20140057595A (ko) | 2014-05-13 |
CN103765346A (zh) | 2014-04-30 |
JP2014526725A (ja) | 2014-10-06 |
WO2013036237A1 (en) | 2013-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103765346B (zh) | 基于眼睛凝视的用于音频视觉回放的位置选择 | |
US10705602B2 (en) | Context-aware augmented reality object commands | |
JP6612250B2 (ja) | 会話検出 | |
US9024844B2 (en) | Recognition of image on external display | |
TWI558186B (zh) | 基於環境感測之視訊選擇 | |
US8656282B2 (en) | Authoring tool for providing tags associated with items in a video playback | |
US9361718B2 (en) | Interactive screen viewing | |
US20110304774A1 (en) | Contextual tagging of recorded data | |
CN109154862B (zh) | 用于处理虚拟现实内容的装置、方法和计算机可读介质 | |
CN106464773B (zh) | 增强现实的装置及方法 | |
EP3327677B1 (en) | An apparatus for spatial audio and associated method | |
EP3264222B1 (en) | An apparatus and associated methods | |
CN110166842B (zh) | 一种视频文件操作方法、装置和存储介质 | |
KR101647969B1 (ko) | 사용자 시선을 검출하기 위한 사용자 시선 검출 장치 및 그 방법과, 그 방법을 실행하기 위한 컴퓨터 프로그램 | |
JP2009277097A (ja) | 情報処理装置 | |
TW201911234A (zh) | 視覺效用分析方法及相關眼球追蹤裝置與系統 | |
US20190058861A1 (en) | Apparatus and associated methods | |
US20210191505A1 (en) | Methods and Apparatuses relating to the Handling of Visual Virtual Reality Content | |
TWI762830B (zh) | 透過擴增實境給予提示以播放接續影片之系統及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |