CN103765346A - 基于眼睛凝视的用于音频视觉回放的位置选择 - Google Patents

基于眼睛凝视的用于音频视觉回放的位置选择 Download PDF

Info

Publication number
CN103765346A
CN103765346A CN201180073321.9A CN201180073321A CN103765346A CN 103765346 A CN103765346 A CN 103765346A CN 201180073321 A CN201180073321 A CN 201180073321A CN 103765346 A CN103765346 A CN 103765346A
Authority
CN
China
Prior art keywords
region
user
attentively
media
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201180073321.9A
Other languages
English (en)
Other versions
CN103765346B (zh
Inventor
K.M.里昂斯
J.J.拉特克利夫
T.佩林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN103765346A publication Critical patent/CN103765346A/zh
Application granted granted Critical
Publication of CN103765346B publication Critical patent/CN103765346B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Social Psychology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

响应于探测到用户正在显示器屏幕上注视什么，可以修改与该区域相关联的音频媒体或视觉媒体的回放。例如，可以加快或减慢所述用户正在注视的区域中的视频。感兴趣区域中的静止图像可以被转化成移动图画。可以响应于用户凝视探测来激活与在所述显示器屏幕上的感兴趣区域中所描绘对象相关联的音频。

Description

基于眼睛凝视的用于音频视觉回放的位置选择
技术领域
一般而言，本发明涉及计算机，并且尤其涉及在计算机上显示图像和回放音频视觉信息。
背景技术
通常，计算机包括数个用于音频/视频回放的控件。用于此目的的输入/输出设备包括键盘、鼠标和触摸屏。此外，图形用户接口可以被显示以使用户能够控制视频回放或音频回放的启动和停止、视频回放或音频回放的暂停、视频回放或音频回放的快速前进以及音频回放/视频回放的倒回。
附图说明
图1是本发明的一个实施例的示意图；以及
图2是用于本发明的一个实施例的流程图。
具体实施方式
根据一些实施例，可以分析用户的眼睛凝视以准确确定用户正在计算机显示器屏幕上注视什么。基于眼睛凝视所探测的用户感兴趣区域，可以控制音频回放或视频回放。例如，如果用户在显示器屏幕上注视特定区域时，选择的音频文件或选择的视频文件就可以在该范围中开始回放。
类似地，基于用户正在注视哪里，可以在该范围中改变视频的运动速率。作为另一个例子，可以在如下区域中发动运动，所述区域在用户注视该区域之前是静止的。作为附加的例子，眼睛凝视所选择的区域的尺寸可以响应于对用户注视所述区域的探测来增大或减小。因此，仅仅基于用户注视特定区域这一事实也可以将快速前进、前进或倒回控件设置在显示器区域中。其他可以单单通过探测眼睛凝视来实施的控件包括暂停和回放起动。
参照图1，计算机系统10可以是任一种基于处理器的系统，其包括台式计算机或娱乐系统，比如电视机或媒体回放器。它也可以是移动系统，比如膝上型计算机、平板计算机、蜂窝电话或移动因特网设备，仅举一些例子。
系统10可包括显示器屏幕12，所述显示器屏幕耦合到基于计算机的设备14。该基于计算机的设备可以包括视频接口22，所述视频接口耦合到视频摄像机16，所述视频摄像机在一些实施例中可以与显示器12相关联。例如，在一些实施例中，摄像机16可以与显示器12集成在一起或与显示器12装配在一起。在一些实施例中，也可以提供红外发射器用于使摄像头能够探测来自用户的眼睛的红外反射以跟踪眼睛移动。如在此所用的，“眼睛凝视探测”包括任何用于确定用户在注视什么的技术，所述技术包括眼睛跟踪、头部跟踪和面部跟踪。
处理器28可以耦合到存储装置24和显示器接口26，所述显示器接口驱动显示器12。处理器28可以是任何控制器，其包括中央处理单元或图形处理单元。处理器28可以具有模块18，所述模块使用眼睛凝视探测来在显示器屏幕12上所显示的图像内识别感兴趣区域。
在一些实施例中，显示器屏幕上眼睛凝视位置的确定可以通过图像分析来补充。具体地，可以使用视频图像分析来分析图像的内容以认出图示内的对象以及评估眼睛凝视探测所建议的位置是否严格正确。作为一个例子，用户可能注视所成像的人的头部，但眼睛凝视探测技术可能稍微错误，相反建议焦点的范围是靠近头部，但在空白范围中。视频分析可以用于探测接近所探测的眼睛凝视位置的唯一对象是所成像的人的头部。因此，该系统可以推断出真正的焦点是所成像的人的头部。因此，在一些实施例中，视频图像分析可以结合眼睛凝视探测来使用以改善眼睛凝视探测的准确性。
感兴趣区域识别模块18耦合到感兴趣区域和媒体链接模块20。链接模块20可以负责将用户所正在注视什么链接到正在屏幕上播放的特定音频视觉文件。因此，在一个实施例中，在显示器屏幕内的每个区域在正在进行的音频视觉信息显示中在特定时间示例或在特定地方链接到特定文件。
例如，可以将电影中的时间码链接到特定区域，并且与数字流播媒体相关联的元数据可以标识帧和帧内的象限或区域。例如，每帧可以被划分成象限，所述象限在数字内容流中的元数据中被标识。
作为另一个例子，每个图像部分或不同的图像，比如特定的对象或特定区域，可以是可单独操作的文件或数字电子流。可以将这些不同的文件或流中的每个链接到其他能够在特定情况下被激活的文件或流。此外，可以去激活或控制每个分离的文件或流，如下文所述。
在一些实施例中，可以存储一系列不同版本的所显示电子媒体文件。例如，第一版本可以在第一区域中具有视频，第二版本可以在第二区域中具有视频，以及第三版本可以没有视频。当用户注视第一区域时，第三版本的回放被第一版本的回放替换。那么，如果用户注视第二区域，第一版本的回放被第二个版本的回放替换。
类似地，可以以同样的方式处理音频。此外，波束形成技术可以用于记录场景的音频，使得与在麦克风阵列中的不同麦克风相关联的音频可以被键入到所成像场景的不同范围。因此，在一个实施例中，如果用户正在注视场景中的一个范围，则可以播放来自最靠近的麦克风的音频。通过这种方式，音频回放与在所成像场景内用户实际上在凝视的范围相关。
在一些实施例中，可以对场景内的不同对象拍摄多个视频。绿屏技术可以用来记录这些对象以便它们可以被拼接成整体合成物。因此，举个例子，喷泉在公园喷水的视频可以使用绿屏技术来记录。然后正在播放的视频可能呈现没有喷水的喷泉。然而，当用户注视喷泉对象时，喷泉对象的图示可能从场景中被删除，并且可能被实际喷水的喷泉的拼接成分段的显示替换。因此，整体场景可以由分段的视频的合成物组成，当用户注视对象的位置时，所述分段的视频可以被拼接成合成物。
在某些情况下，显示器可以被分段成各种代表场景内的数个对象的视频。每当用户注视这些对象中的一个时，该对象的视频可以被拼接成整体合成物以改变该对象的外观。
链接模块26可以耦合到用于驱动显示器的显示驱动器26。模块26也可以具有可用的存储装置24，所述存储装置用于存储可以与屏幕的特定区域的选择相关联地被激活和被播放的文件。
因此，参照图2，序列30可以通过软件、固件和/或硬件来实施。在软件实施例或固件实施例中，序列可以通过存储在非暂态计算机可读媒体（例如光学存储装置、磁存储装置或半导体存储装置）上的计算机可读指令来实施。例如，以计算机可读指令实现的此类序列可以存储在存储装置24中。
在一个实施例中，通过在来自视频摄像机16的视频馈入内探测用户眼睛的位置（方框32）来开始序列30。众所周知的技术可以被用于识别对应于与眼睛相关联的众所周知的物理特征的图像部分。
接下来，在一个实施例中，在方框34，再次使用其众所周知的用于识别目的的几何形状来搜索识别为眼睛的区域以寻找人的瞳孔。
一旦瞳孔已被定位，就可以使用传统的眼睛探测与跟踪技术来跟踪瞳孔移动（方框36）。
瞳孔移动的方向（方框36）可以用于在正在进行的显示内识别感兴趣区域（框38）。例如，瞳孔的位置可以对应于视线与显示器屏幕的角度，可以使用几何学使所述角度与特定的像素位置相关。一旦这些像素位置被识别，数据库或表可以链接特定的像素位置到屏幕上的特定图示，其包括屏幕的分离区段或区域或图像对象。
最后，在方框40中，可以将媒体文件链接到感兴趣区域。再次，可以响应于探测到用户实际上正在注视该区域来自动实施在所描绘的区域或对象中的各种改变。
例如，当用户正在注视屏幕的一个范围时可以播放所选择的音频。当用户正在注视屏幕的另一区域时可以自动播放另一个音频文件。
类似地，当用户注视屏幕的一个特定范围时可以在该范围内启动视频。当用户注视屏幕的不同范围时可以启动不同的视频。
同样地，如果在屏幕的区域中运动已经是活跃的，当用户注视该区域时，可以增大运动速率。作为另一种选择，当用户正在注视静止区域时可以在该区域中发动运动，反之亦然。
作为附加的例子，可以响应于用户凝视探测来增大或减小感兴趣区域的显示尺寸。此外，可以响应于用户凝视探测来选择性地实施前进和倒回。仍有的附加例子包括在所述区域内暂停或启动回放。又一种可能性是在感兴趣区域中实施三维（3D）效果或在感兴趣区域中停用3D效果。
可以在各种硬件架构中实施在此描述的图形处理技术。例如，图形功能可以集成到芯片组内。替代地，可以使用分立的图形处理器。作为又一实施例，图形功能可以通过通用处理器——包括多核处理器来实施。
贯穿本说明书提及“一实施例”或“一个实施例”意味着结合所述实施例描述的特定的特征、结构或特性是包括在至少一种包含在本发明内的实施中的。因此，短语“一个实施例”或“在一个实施例中”的出现不一定都指同一个实施例。此外，特定的特征、结构或特性可以以不同于所说明的特定实施例的其他合适的形式来设置，并且所有这样的形式可以包含在本申请的权利要求内。
虽然已关于有限数量的实施例描述了本发明，但本领域技术人员将认识到许多其修改和变型。目的在于，所附权利要求覆盖落入本发明的真正精神和范畴内的所有此类修改和变型。

Claims (30)

1. 一种方法，所述方法包括：
使用眼睛凝视探测来识别用户正在显示器屏幕上注视什么；以及
基于用户正在所述显示器屏幕上注视什么来修改音频/视觉媒体的回放。
2. 根据权利要求1所述的方法，其包括响应于探测到所述用户正在注视所述显示器的区域来在所述区域中播放视频。
3. 根据权利要求1所述的方法，其包括增大显示器屏幕的、用户正在注视的区域中对象的运动速率。
4. 根据权利要求1所述的方法，其包括启动或停止与所述显示器屏幕上所述用户正在注视的区域相关联的音频。
5. 根据权利要求1所述的方法，其包括将所述显示器屏幕上所述用户正在注视的区域从静止图像切换到移动图画。
6. 根据权利要求1所述的方法，其包括使用眼睛跟踪装置来确定所述显示器屏幕上什么正在被观看。
7. 根据权利要求6所述的方法，其包括使用视频图像分析来补充所述眼睛跟踪装置。
8. 根据权利要求7所述的方法，其包括确定所述眼睛跟踪装置是否指示所述用户正在注视空白屏幕区域，并且如果是这样，则使用视频图像分析来识别以下所成像对象：所述对象靠近眼睛跟踪装置所确定所述用户正在注视的。
9. 根据权利要求1所述的方法，其包括提供链接到所述显示器屏幕的区域的波束形成音频以及播放来自链接到所述区域的麦克风的音频。
10. 一种非暂态计算机可读媒体，所述非暂态计算机可读媒体存储指令，所述指令使得计算机能够：
基于用户正在显示器屏幕上注视什么来修改音频/视觉媒体的回放。
11. 根据权利要求10所述的媒体，所述媒体还存储以下指令：所述指令用于在所述用户正在注视的区域中播放视频，所述播放响应于探测到所述用户正在注视该区域。
12. 根据权利要求10所述的媒体，所述媒体还存储以下指令：所述指令用于增大在所述用户正在注视的区域中所描绘的对象的运动速率。
13. 根据权利要求10所述的媒体，所述媒体还存储以下指令：所述指令用于启动或停止与所述显示器屏幕的、所述用户正在注视的区域相关联的音频。
14. 根据权利要求10所述的媒体，所述媒体还存储以下指令：所述指令用于将所述用户正在注视的区域从静止图像切换到移动图画。
15. 根据权利要求10所述的媒体，所述媒体还存储以下指令：所述指令用于使用凝视探测来确定显示器屏幕上什么正在被观看。
16. 根据权利要求15所述的媒体，所述媒体还存储以下指令：所述指令用于使用视频图像分析来补充所述凝视探测。
17. 根据权利要求16所述的媒体，所述媒体还存储以下指令：所述指令用于确定所述凝视探测是否指示所述用户正在注视空白屏幕区域，并且如果是这样，则使用视频图像分析来识别靠近的所成像对象。
18. 根据权利要求10所述的媒体，所述媒体还存储以下指令：所述指令用于提供链接到显示器屏幕的区域的波束形成音频以及播放来自链接到所识别区域的麦克风的音频。
19. 一种设备，所述设备包括：
处理器；
用于接收计算机系统的用户的视频的视频接口；并且
所述处理器用于使用所述视频来识别用户正在显示器屏幕上注视什么并且基于所述用户正在注视什么来修改音频媒体或视觉媒体的回放。
20. 根据权利要求19所述的设备，所述设备包括耦合到所述处理器的视频显示器。
21. 根据权利要求19所述的设备，所述设备包括装配在所述视频显示器上并且耦合到所述视频接口的摄像机。
22. 根据权利要求19所述的设备，所述处理器用于响应于探测到所述用户正在注视所述显示器的区域来在所述区域中播放视频。
23. 根据权利要求19所述的设备，所述处理器用于增大所述用户正在注视的对象的运动速率。
24. 根据权利要求19所述的设备，所述处理器用于启动或停止与所述用户正在注视什么相关联的音频。
25. 根据权利要求19所述的设备，所述处理器用于将所述用户正在注视的区域从静止图像切换到移动图画。
26. 根据权利要求19所述的设备，所述处理器用于使用凝视探测来确定显示器屏幕上什么正在被观看。
27. 根据权利要求26所述的设备，所述处理器用于使用视频图像分析来补充凝视探测。
28. 根据权利要求27的设备，所述处理器用于确定凝视探测是否指示用户正在注视空白屏幕区域，并且如果是这样，则使用视频图像分析来识别以下所成像对象：所述对象靠近基于凝视探测所识别的位置。
29. 根据权利要求28的设备，所述处理器用于基于所靠近的所成像对象来修正凝视探测。
30. 根据权利要求19的设备，所述处理器用于提供链接到显示器屏幕的区域的波束形成音频以及播放来自链接到所识别区域的麦克风的音频。
CN201180073321.9A 2011-09-08 2011-09-08 基于眼睛凝视的用于音频视觉回放的位置选择 Active CN103765346B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2011/050895 WO2013036237A1 (en) 2011-09-08 2011-09-08 Eye gaze based location selection for audio visual playback

Publications (2)

Publication Number Publication Date
CN103765346A true CN103765346A (zh) 2014-04-30
CN103765346B CN103765346B (zh) 2018-01-26

Family

ID=47832475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180073321.9A Active CN103765346B (zh) 2011-09-08 2011-09-08 基于眼睛凝视的用于音频视觉回放的位置选择

Country Status (6)

Country Link
US (1) US20130259312A1 (zh)
EP (1) EP2754005A4 (zh)
JP (1) JP5868507B2 (zh)
KR (1) KR101605276B1 (zh)
CN (1) CN103765346B (zh)
WO (1) WO2013036237A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104731335A (zh) * 2015-03-26 2015-06-24 联想(北京)有限公司 一种播放内容调整方法及电子设备
CN105321149A (zh) * 2014-07-30 2016-02-10 联想（新加坡）私人有限公司 自动缩放数据
CN106569598A (zh) * 2016-10-31 2017-04-19 努比亚技术有限公司 菜单栏的管理装置及方法
CN107111364A (zh) * 2014-12-23 2017-08-29 诺基亚技术有限公司 虚拟现实内容控制
CN108781310A (zh) * 2016-04-15 2018-11-09 英特尔公司 使用视频的图像来选择要增强的视频的音频流
CN112135201A (zh) * 2020-08-29 2020-12-25 北京市商汤科技开发有限公司 视频制作方法及相关装置
CN113906368A (zh) * 2019-04-05 2022-01-07 惠普发展公司，有限责任合伙企业 基于生理观察修改音频

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9131266B2 (en) 2012-08-10 2015-09-08 Qualcomm Incorporated Ad-hoc media presentation based upon dynamic discovery of media output devices that are proximate to one or more users
US9047042B2 (en) 2013-04-19 2015-06-02 Qualcomm Incorporated Modifying one or more session parameters for a coordinated display session between a plurality of proximate client devices based upon eye movements of a viewing population
EP3036918B1 (en) * 2013-08-21 2017-05-31 Thomson Licensing Video display having audio controlled by viewing direction
US9342147B2 (en) * 2014-04-10 2016-05-17 Microsoft Technology Licensing, Llc Non-visual feedback of visual change
US9318121B2 (en) 2014-04-21 2016-04-19 Sony Corporation Method and system for processing audio data of video content
GB2527306A (en) * 2014-06-16 2015-12-23 Guillaume Couche System and method for using eye gaze or head orientation information to create and play interactive movies
US9606622B1 (en) * 2014-06-26 2017-03-28 Audible, Inc. Gaze-based modification to content presentation
US11269403B2 (en) 2015-05-04 2022-03-08 Disney Enterprises, Inc. Adaptive multi-window configuration based upon gaze tracking
US9990035B2 (en) 2016-03-14 2018-06-05 Robert L. Richmond Image changes based on viewer's gaze
US9774907B1 (en) 2016-04-05 2017-09-26 International Business Machines Corporation Tailored audio content delivery
FR3050895A1 (fr) * 2016-04-29 2017-11-03 Orange Procede de composition contextuelle d'une representation video intermediaire
EP3470976A1 (en) 2017-10-12 2019-04-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for efficient delivery and usage of audio messages for high quality of experience
US10481856B2 (en) 2017-05-15 2019-11-19 Microsoft Technology Licensing, Llc Volume adjustment on hinged multi-screen device
JP2019066618A (ja) * 2017-09-29 2019-04-25 フォーブ インコーポレーテッド 画像表示システム、画像表示方法及び画像表示プログラム
WO2020080867A1 (en) * 2018-10-18 2020-04-23 Samsung Electronics Co., Ltd. Display device and control method thereof
EP3940687A4 (en) * 2019-03-12 2022-05-04 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
WO2020242506A1 (en) * 2019-05-31 2020-12-03 Dts, Inc. Foveated audio rendering
US11743670B2 (en) 2020-12-18 2023-08-29 Qualcomm Incorporated Correlation-based rendering with multiple distributed streams accounting for an occlusion for six degree of freedom applications

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000138872A (ja) * 1998-10-30 2000-05-16 Sony Corp 情報処理装置および方法、並びに提供媒体
US6577329B1 (en) * 1999-02-25 2003-06-10 International Business Machines Corporation Method and system for relevance feedback through gaze tracking and ticker interfaces
JP2005091571A (ja) * 2003-09-16 2005-04-07 Fuji Photo Film Co Ltd 表示制御装置、及び表示システム
US20060256133A1 (en) * 2005-11-05 2006-11-16 Outland Research Gaze-responsive video advertisment display
CN101405680A (zh) * 2006-03-23 2009-04-08 皇家飞利浦电子股份有限公司 用于图像操作的眼睛跟踪控制的热区
CN102073435A (zh) * 2009-11-23 2011-05-25 英业达股份有限公司 画面操作方法及应用该方法的电子装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6195640B1 (en) * 1999-01-29 2001-02-27 International Business Machines Corporation Audio reader
JP2001008232A (ja) * 1999-06-25 2001-01-12 Matsushita Electric Ind Co Ltd 全方位映像出力方法と装置
US6456262B1 (en) * 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
US20050047629A1 (en) * 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
US7500752B2 (en) * 2004-04-28 2009-03-10 Natus Medical Incorporated Diagnosing and training the gaze stabilization system
JP2006126965A (ja) * 2004-10-26 2006-05-18 Sharp Corp 合成映像生成システム，方法，プログラム，及び、記録媒体
JP4061379B2 (ja) * 2004-11-29 2008-03-19 国立大学法人広島大学 情報処理装置、携帯端末、情報処理方法、情報処理プログラム、およびコンピュータ読取可能な記録媒体
JP2007036846A (ja) * 2005-07-28 2007-02-08 Nippon Telegr & Teleph Corp <Ntt> 動画再生装置およびその制御方法
US7889244B2 (en) * 2005-12-27 2011-02-15 Panasonic Corporation Image processing apparatus
ES2605367T3 (es) * 2006-01-26 2017-03-14 Nokia Technologies Oy Dispositivo de seguimiento ocular
JP4420002B2 (ja) * 2006-09-14 2010-02-24 トヨタ自動車株式会社 視線先推定装置
US8494215B2 (en) * 2009-03-05 2013-07-23 Microsoft Corporation Augmenting a field of view in connection with vision-tracking
US20120105486A1 (en) * 2009-04-09 2012-05-03 Dynavox Systems Llc Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods
US20110228051A1 (en) * 2010-03-17 2011-09-22 Goksel Dedeoglu Stereoscopic Viewing Comfort Through Gaze Estimation
US8670019B2 (en) * 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000138872A (ja) * 1998-10-30 2000-05-16 Sony Corp 情報処理装置および方法、並びに提供媒体
US6577329B1 (en) * 1999-02-25 2003-06-10 International Business Machines Corporation Method and system for relevance feedback through gaze tracking and ticker interfaces
JP2005091571A (ja) * 2003-09-16 2005-04-07 Fuji Photo Film Co Ltd 表示制御装置、及び表示システム
US20060256133A1 (en) * 2005-11-05 2006-11-16 Outland Research Gaze-responsive video advertisment display
CN101405680A (zh) * 2006-03-23 2009-04-08 皇家飞利浦电子股份有限公司 用于图像操作的眼睛跟踪控制的热区
CN102073435A (zh) * 2009-11-23 2011-05-25 英业达股份有限公司 画面操作方法及应用该方法的电子装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105321149A (zh) * 2014-07-30 2016-02-10 联想（新加坡）私人有限公司 自动缩放数据
CN105321149B (zh) * 2014-07-30 2022-07-08 联想（新加坡）私人有限公司 自动缩放数据
CN107111364A (zh) * 2014-12-23 2017-08-29 诺基亚技术有限公司 虚拟现实内容控制
CN107111364B (zh) * 2014-12-23 2020-05-15 诺基亚技术有限公司 用于虚拟现实内容控制的方法及装置
CN104731335A (zh) * 2015-03-26 2015-06-24 联想(北京)有限公司 一种播放内容调整方法及电子设备
CN104731335B (zh) * 2015-03-26 2018-03-23 联想(北京)有限公司 一种播放内容调整方法及电子设备
CN108781310A (zh) * 2016-04-15 2018-11-09 英特尔公司 使用视频的图像来选择要增强的视频的音频流
CN108781310B (zh) * 2016-04-15 2021-11-02 英特尔公司 选择要增强的视频的音频流的方法、装置、设备、介质
CN106569598A (zh) * 2016-10-31 2017-04-19 努比亚技术有限公司 菜单栏的管理装置及方法
CN113906368A (zh) * 2019-04-05 2022-01-07 惠普发展公司，有限责任合伙企业 基于生理观察修改音频
CN112135201A (zh) * 2020-08-29 2020-12-25 北京市商汤科技开发有限公司 视频制作方法及相关装置

Also Published As

Publication number Publication date
JP2014526725A (ja) 2014-10-06
KR101605276B1 (ko) 2016-03-21
KR20140057595A (ko) 2014-05-13
EP2754005A4 (en) 2015-04-22
JP5868507B2 (ja) 2016-02-24
CN103765346B (zh) 2018-01-26
EP2754005A1 (en) 2014-07-16
US20130259312A1 (en) 2013-10-03
WO2013036237A1 (en) 2013-03-14

Similar Documents

Publication Publication Date Title
CN103765346A (zh) 基于眼睛凝视的用于音频视觉回放的位置选择
US10705602B2 (en) Context-aware augmented reality object commands
EP3369038B1 (en) Tracking object of interest in an omnidirectional video
US9165381B2 (en) Augmented books in a mixed reality environment
US9024844B2 (en) Recognition of image on external display
US20200111256A1 (en) Real-world anchor in a virtual-reality environment
US9389420B2 (en) User interface interaction for transparent head-mounted displays
JP6165846B2 (ja) 目のトラッキングに基づくディスプレイの一部の選択的強調
US20140245152A1 (en) Systems and methods for content analysis to support navigation and annotation in expository videos
WO2020076398A1 (en) Method for hmd camera calibration using synchronised image rendered on external display
EP3506213A1 (en) An apparatus and associated methods for presentation of augmented reality content
EP3236336B1 (en) Virtual reality causal summary content
CN103765374A (zh) 交互式屏幕观看
EP3327677B1 (en) An apparatus for spatial audio and associated method
US20200175274A1 (en) An Apparatus and Associated Methods for Display of Virtual Reality Content
US20190073793A1 (en) Electronic apparatus, method for controlling thereof and the computer readable recording medium
KR20160031183A (ko) 사용자 시선을 검출하기 위한 사용자 시선 검출 장치 및 그 방법과, 그 방법을 실행하기 위한 컴퓨터 프로그램
US20160065953A1 (en) Image processing method and apparatus
GB2541193A (en) Handling video content

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant