CN109416931A - 用于视线跟踪的装置和方法 - Google Patents

用于视线跟踪的装置和方法 Download PDF

Info

Publication number
CN109416931A
CN109416931A CN201780039518.8A CN201780039518A CN109416931A CN 109416931 A CN109416931 A CN 109416931A CN 201780039518 A CN201780039518 A CN 201780039518A CN 109416931 A CN109416931 A CN 109416931A
Authority
CN
China
Prior art keywords
viewer
content
profile
sight line
line path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780039518.8A
Other languages
English (en)
Other versions
CN109416931B (zh
Inventor
D.D.卡斯特雷曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Priority claimed from PCT/US2017/035057 external-priority patent/WO2018004933A1/en
Publication of CN109416931A publication Critical patent/CN109416931A/zh
Application granted granted Critical
Publication of CN109416931B publication Critical patent/CN109416931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/44029—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display for generating different versions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/378—Image reproducers using viewer tracking for tracking rotational head movements around an axis perpendicular to the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Transfer Between Computers (AREA)
  • Position Input By Displaying (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

提供一种用于视线跟踪的方法。用于视线跟踪的方法的一个实施方案包括：通过回放设备向观看者呈现内容；利用耦接到所述回放设备的视线跟踪器跟踪所述观看者的视线路径；基于所述观看者的所述视线路径从存储在观看者简档数据库中的多个观看者简档选择观看者简档；以及基于所述观看者简档预测所述观看者的未来视线位置。系统执行类似步骤并且还提供各自存储一个或多个计算机程序的非暂态计算机可读存储介质。

Description

用于视线跟踪的装置和方法
相关申请的交叉引用
本申请是2016年9月29日提交的题为“APPARATUS AND METHOD FOR GAZETRACKING”的美国专利申请号15/280,962的继续并要求其权益，所述申请要求2016年6月30日提交的题为“APPARATUS AND METHOD FOR CAPTURING AND DISPLAYING SEGMENTEDCONTENT”的美国临时专利申请号62/357,259的权益并且也要求2016年8月12日提交的题为“APPARATUS AND METHOD FOR PROVIDING AND DISPLAYING CONTENT”的美国临时专利申请号62/374,687的权益，所述申请的整体内容和公开内容特此全部通过引用的方式整体并入本文。
本申请涉及由发明人Dennis D.Castleman于2016年9月29日提交的题为“APPARATUS AND METHOD FOR CAPTURING AND DISPLAYING SEGMENTED CONTENT”的美国专利申请号15/280,933，并且由代理人案卷号139592[SCEA16001US01]标识，其整体内容和公开内容特此全部通过引用的方式整体并入本文。
本申请还涉及由发明人Dennis D.Castleman于2016年9月29日提交的题为“APPARATUS AND METHOD FOR PROVIDING AND DISPLAYING CONTENT”的美国专利申请号15/280,947，并且由代理人案卷号139593[SCEA16003US01]标识，其整体内容和公开内容特此全部通过引用的方式整体并入本文。
背景技术
1.技术领域
本发明总体涉及运动跟踪。
2.现有技术的论述
视线跟踪是使用传感器跟踪观看者视线位置的过程。视线位置然后可用作计算机系统的输入。
发明内容
一个实施方案提供用于视线跟踪的方法包括：通过回放设备向观看者呈现内容；利用耦接到所述回放设备的视线跟踪器跟踪所述观看者的视线路径；基于所述观看者的所述视线路径从存储在观看者简档数据库中的多个观看者简档选择观看者简档；以及基于所述观看者简档预测所述观看者的未来视线位置。
另一个实施方案提供用于视线跟踪的系统，其包括：观看者简档数据库、通信设备以及耦接到所述观看者简档数据库和所述通信设备的处理器。所述处理器被配置为：通过耦接到所述通信设备的回放设备向观看者呈现内容；利用耦接到所述回放设备的视线跟踪器跟踪所述观看者的视线路径；基于所述观看者的所述视线路径从存储在所述观看者简档数据库中的多个观看者简档选择观看者简档；以及基于所述观看者简档预测所述观看者的未来视线位置。
另一个实施方案提供存储一个或多个计算机程序的非暂态计算机可读存储介质，所述一个或多个计算机程序被配置成致使基于处理器的系统执行包括如下各项的步骤：通过回放设备向观看者呈现内容；利用耦接到所述回放设备的视线跟踪器跟踪所述观看者的视线路径；基于所述观看者的所述视线路径从存储在观看者简档数据库中的多个观看者简档选择观看者简档；以及基于所述观看者简档预测所述观看者的未来视线位置。
另一个实施方案提供用于视线跟踪的系统，其包括：显示设备，视线跟踪器，通信设备以及耦接到所述显示设备、所述视线跟踪器和所述通信设备的处理器。所述处理器被配置为：通过显示设备向观看者呈现内容；利用视线跟踪器跟踪所述观看者的视线路径；基于所述观看者的所述视线路径从存储在观看者简档数据库中的多个观看者简档选择观看者简档；基于所述观看者简档预测所述观看者的未来视线位置；并且利用所述通信设备基于所述未来视线位置从内容服务器检索所述内容的一部分。
通过参照阐明其中利用本发明的实施方案的原理的说明性实施方案的以下详述和附图，将更好地理解本发明的不同实施方案的特征和优点。
附图说明
根据以下结合附图给出的更具体的描述，本发明的实施方案的以上和其他方面、特征以及优点将更清楚，其中：
图1是示出根据本发明的一些实施方案的用于跟踪视线的方法的流程图；
图2是示出根据本发明的一些实施方案的用于跟踪视线的系统的框图；
图3是根据本发明的一些实施方案的视线路径的示意图；
图4是示出根据本发明的一些实施方案的用于跟踪视线的过程的过程图；
图5是示出根据本发明的一些实施方案的用于提供内容的方法的流程图；并且
图6是示出根据本发明的一些实施方案的用于提供内容的方法的流程图。
具体实施方式
视线跟踪可包括眼部跟踪和/或头部跟踪。在一些实施方案中，视线跟踪可用于确定观看者在所显示图像和/或真实世界场景中的注视点。在虚拟现实(VR)和增强现实(AR)应用中，系统可使用观看者的视线位置来确定待显示给用户的内容。
首先参考图1，示出用于跟踪视线的方法。图1中的步骤可通常由基于处理器的设备执行，所述基于处理器的设备诸如计算机系统、服务器、基于云的服务器、内容主机、流服务主机、媒介服务器、回放设备、显示设备等中的一个或多个。在一些实施方案中，图1中的步骤可由参考图2所描述的服务器210和回放设备220、参考图4描述的服务器和/或其他类似设备中的一个或多个执行。
在步骤110中，系统通过回放设备向观看者呈现内容。在一些实施方案中，内容可包括电影、电视节目，视频剪辑，预先记录的视频内容，流视频内容，实况流视频内容等中的一个或多个。在一些实施方案中，内容可包括由立体相机系统、全景相机系统、环绕视图相机系统、360度相机系统和全方位相机系统等中的一个或多个捕获的单一视频流或多个视频流。在一些实施方案中，可将内容从内容服务器流式传输到回放设备。在一些实施方案中，回放设备可包括游戏控制台、个人计算机、平板计算机、电视、头戴式显示器(“HMD”)、增强现实设备、虚拟现实设备、可穿戴设备、便携式用户设备、智能电话等中的一个或多个。在一些实施方案中，回放设备可包括在2016年3月30日提交的、题为“Head-Mounted DisplayTracking”的美国专利申请号15/085,887中描述的类型的设备和/或系统，所述申请的全部公开内容特此全部通过引用的方式整体并入本文。
在步骤120中，系统跟踪观看者的视线路径。在一些实施方案中，视线路径可由耦接到回放设备的视线跟踪器跟踪。在一些实施方案中，视线跟踪器可被配置成跟踪观看者的眼部移动、头部移动和身体移动中的一者或多者。在一些实施方案中，视线跟踪器可包括用于检测眼部和/或头部移动的图像传感器、光学反射器传感器、距离传感器、肌电图(EMG)传感器和光学流量传感器中的一个或多个。在一些实施方案中，视线跟踪器可包括使用加速度计和陀螺仪，有时还有磁力仪的组合来测量并报告身体的特定力、角速率和/或身体周围的磁场的惯性测量单元(IMU)。在一些实施方案中，视线跟踪器可耦接到允许传感器通过HMD和/或可穿戴设备的运动来检测用户的头部或眼部运动的HMD和/或可穿戴设备。在一些实施方案中，视线跟踪器可包括用于检测用户的头部运动和眼部运动中的一者或多者的光学传感器。在一些实施方案中，传感器可耦接到HMD和/或可穿戴设备，或可包括从远处捕获来自观看者的数据的相对静止的设备。在一些实施方案中，可通过任何常规的眼部跟踪传感器、头部跟踪传感器和/或运动跟踪传感器来跟踪观看者的视线路径。
在实施方案中，观看者的视线路径可包括随时间的推移检测到的观看者的多个视线位置和/或方向的记录。在一些实施方案中，观看者的视线路径可包括根据由观看者观看的内容的时间戳被添加时间戳的视线位置和/或方向。在一些实施方案中，视线路径中的视线位置可各自与内容的一个或多个帧相关联。在一些实施方案中，视线路径可包括二维视线路径。在一些实施方案中，视线路径可包括视线位置，所述视线位置包括在内容的显示区域中的坐标。在一些实施方案中，视线路径可包括三维视线路径。例如，内容可包括沉浸式内容，在所述沉浸式内容中观看者可利用身体移动和/或输入设备导航通过三维空间。在一些实施方案中，视线路径包括对应于观看者的头部和/或眼部的x、y和z坐标和观看方向。
在步骤130中，系统基于在步骤120中跟踪的观看者的视线路径来选择观看者简档。在一些实施方案中，可从与存储在观看者简档数据库中的内容相关联的多个观看者简档选择观看者简档。在一些实施方案中，每个观看者简档可包括与内容相关联的预期视线路径。在一些实施方案中，观看者简档可与内容的片段和/或内容的整个持续时间相关联。在一些实施方案中，预期视线路径可包括在内容的一个或多个帧中的预期注视点。在一些实施方案中，可基于在内容中的相同时间段期间使在步骤120中跟踪的用户的视线路径与多个观看者简档中的视线路径匹配来选择观看者简档。在一些实施方案中，可通过确定在跟踪的视线路径与观看者简档中的视线路径之间的偏差量和选择具有最小偏差量的观看者简档来将追踪的视线路径与观看者简档进行比较。
在一些实施方案中，观看者简档可包括基于观看内容的多个用户的视线路径生成的一个或多个观看者简档。例如，系统可记录观看相同内容的多个观看者的视线路径。然后可通过它们彼此的类似性来对视线路径进行分组，并且可针对具有类似视线路径的每个簇创建观看者简档。在一些实施方案中，观看者简档可包括在内容的后期制作过程期间创建的一个或多个默认观看者简档。例如，内容的制作者可基于他/她认为观看者的注视位置可能所处的位置来手动地输入默认视线路径。在一些实施方案中，在内容被释放之前，一个或多个观看者可在后期制作处理器期间观看内容以生成默认的观看者简档。在一些实施方案中，观看者简档可包括基于跟踪内容中一个或多个对象的移动生成的一个或多个观看者简档。例如，与足球比赛相关联的观看者简档可包括在打比赛期间与足球的移动相关联的视线路径。在另一个实例中，观看者简档可包括跟随帧中移动最快的对象的视线路径。在另一个实例中，观看者简档可包括跟随内容中一个特定行动者或多个行动者的视线路径。在一些实施方案中，可利用对象辨识引擎处理内容以识别内容中的一个或多个对象。然后可使用所识别的对象的位置来生成观看者简档的视线路径。
在一些实施方案中，当将内容初始地示出给观看者时，所述系统可使用默认的观看者简档来预测观看者的未来视线位置，并且当视线跟踪数据变得可用时，可在步骤130中随后调整与观看者相关联的观看者简档。在一些实施方案中，当将内容初始地示出给观看者时，可基于观看者的人口统计信息(诸如年龄、性别、位置等)选择观看者简档。在一些实施方案中，一个或多个默认的观看者简档可在内容的后期制作过程期间生成。
在步骤140中，系统基于在步骤130中选择的观看者简档来预测观看者的未来视线位置。在一些实施方案中，内容帧的预测的未来视线位置可对应于在步骤130中选择的观看者简档中的预期视线路径的视线位置和/或方向。在一些实施方案中，观看者简档中的预期视线路径可包括视线方向信息，并且系统首先识别内容显示区域的对应于预期视线方向的部分以预测视线位置。
在一些实施方案中，系统可使用在步骤140中预测的未来视线位置来影响内容的显示。在一些实施方案中，系统可被配置成基于未来视线位置选择内容的一部分并且在回放设备处缓冲内容的所述部分。在一些实施方案中，在回放设备处缓冲的内容的所述部分可对应于与未来视线位置相关联的聚焦区域。在一些实施方案中，系统可被配置成向回放设备提供内容项的低比特率版本和对应于聚焦区域的内容项的高比特率版本的一部分，如在2016年8月12日提交的、题为“APPARATUS AND METHOD FOR PROVIDING AND DISPLAYINGCONTENT”的美国临时专利申请号62/374,687中所描述，所述申请的整体公开内容特此全部通过引用的方式整体并入本文。高比特率版本的部分可基于在步骤140中预测的未来视线位置来选择和/或在回放设备处进行缓冲。
在一些实施方案中，内容的所述部分对应于从包括所述内容的多个视频流选择的视频流。在一些实施方案中，所述内容可包括多个单独地编码的视频流，并且所述系统可被配置成选择一个或多个流以提供给回放设备，如在2016年6月30日提交的、题为“APPARATUSAND METHOD FOR CAPTURING AND DISPLAYING SEGMENTED CONTENT”的美国临时专利申请号62/357,259中所描述，所述申请的整体公开内容特此全部通过引用的方式整体并入本文。可基于在步骤140中预测的未来视线位置来选择提供给回放设备的一个或多个视频流。
在一些实施方案中，所述系统进一步可基于未来视线位置确定添加内容的插入位置。在一些实施方案中，所添加的内容可包括警报信息、补充信息、选择菜单和广告内容中的一个或多个。例如，系统可被配置成基于预测的观看者视线位置来将原生广告插入旧版内容中。参考图5和图6描述根据一些实施方案基于预测的未来视线位置显示内容的方法和系统的实例。
在一些实施方案中，在步骤140之后，所述过程可在回放内容期间返回至步骤120。在一些实施方案中，所述系统可在选择观看者简档之后跟踪观看者的后续视线路径，并且基于随后的视线路径选择多个观看者简档中的不同的一个。在一些实施方案中，当观看者观看内容时，在步骤130中被选择用于观看者的观看者简档可改变任意次数。在一些实施方案中，步骤130可周期性地重复(例如，1秒、2秒、240帧等)。在一些实施方案中，当检测到与预期视线路径的实质偏差时，可重复步骤130。
接着参考图2，示出用于视线跟踪的系统，所述系统可用于根据本发明的一些实施方案运行、实现和/或执行本文示出和描述的方法和技术中的任一个。所述系统包括通过数据连接(诸如网络)进行通信的服务器210和回放设备220。
服务器210包括处理器212、存储器213和通信设备214。服务器210通常可包括可通过网络(诸如因特网)由回放设备访问的一个或多个基于处理器的设备。在一些实施方案中，内容服务器可包括基于云的服务器、内容主机、流服务主机、媒介服务器、流视频服务器、广播内容服务器、社交网络服务器等中的一个或多个。处理器212可包括控制电路、中央处理器单元、图形处理器单元(GPU)、微处理器、视频解码器、视频编码器等中的一个或多个。存储器213可包括易失性和/或非易失性计算机可读存储器设备中的一个或多个。在一些实施方案中，存储器213存储致使处理器212向回放设备220提供内容的计算机可执行代码。在一些实施方案中，通信设备214可包括网络适配器、数据端口、路由器、调制解调器等中的一个或多个。通常，通信设备214可被配置成允许处理器212与回放设备220通信。在一些实施方案中，处理器212可被配置成使由回放设备220检测到的用户的视线路径与存储在观看者简档数据库219中的观看者简档匹配。在一些实施方案中，服务器210还可包括被配置成基于所选择的观看者简档向回放设备220提供内容的内容服务器。在一些实施方案中，服务器210可被配置成将由捕获设备记录的内容以基本上实时的方式流式传输给回放设备220。在一些实施方案中，服务器210可被配置成托管多个预先记录的内容项以用于按需流式传输和/或下载至回放设备220。
观看者简档数据库219可包括存储与一个或多个内容项相关联的多个观看者简档的计算机可读存储装置。在一些实施方案中，观看者简档可各自与特定内容项相关联，并且包括与内容相关联的预期视线路径。在一些实施方案中，预期的视线路径可包括在内容的一个或多个帧中的预期注视点和/或观看方向。在一些实施方案中，每个观看者简档可与内容的片段和/或内容的整个持续时间相关联。
在一些实施方案中，在观看者简档数据库219中的观看者简档可包括基于观看内容的多个用户的视线路径生成的一个或多个观看者简档。例如，系统可记录观看相同内容的多个观看者的视线路径。可通过它们彼此的类似性来对视线路径进行分组，并且可针对具有类似视线路径的每个簇创建观看者简档。在一些实施方案中，对于广播的实况流内容(诸如体育赛事)，可基于与广播内容的观看者相比，观看内容的模型观看者在没有或具有更少时间延迟下的视线路径来建立观看者简档。在一些实施方案中，在观看者简档数据库219中的观看者简档可包括在内容的后期制作过程期间创建的一个或多个默认观看者简档。在一些实施方案中，在内容被释放用于广播之前，一个或多个观看者可在后期制作处理器期间观看内容以生成默认的观看者简档。在一些实施方案中，在观看者简档数据库219中的观看者简档可包括基于跟踪内容中一个或多个对象的移动生成的一个或多个观看者简档。例如，与足球比赛相关联的观看者简档可包括在打比赛期间与足球的移动相关联的视线路径。在另一个实例中，在观看者简档数据库219中的观看者简档可包括跟随帧中移动最快的对象的视线路径。在另一个实例中，在观看者简档数据库219中的观看者简档可包括跟随内容中一个特定行动者或多个行动者的视线路径。在一些实施方案中，可利用对象辨识引擎处理内容以识别内容中的一个或多个对象。然后可使用所识别的对象在内容帧中的位置来生成观看者简档的视线路径。在一些实施方案中，在观看者简档数据库219中的一个或多个观看者简档可与观看者人口统计信息(例如，性别、年龄、位置等)相关联。如果跟踪的视线路径不可用，那么可基于观看者人口统计信息来选择观看者简档。
虽然在图2中仅示出一个回放设备220，但是在一些实施方案中，服务器210可被配置成通过通信设备214同时选择观看者简档和/或向多个回放设备220提供内容。在一些实施方案中，服务器210可被配置成促进在捕获设备与回放设备220之间对等传递视频流。在一些实施方案中，服务器210可被配置成基于从多个回放设备220接收的观看者视线路径的记录来添加到和/或修改观看者简档数据库219中的观看者简档。例如，如果一组观看者共享用于未与观看者简档数据库219中的现有观看者简档很好地匹配的内容的一部分的类似视线路径，那么服务器210可基于所述一组类似的视线路径创建新的观看者简档。在一些实施方案中，所述系统可使用观看者的人口统计来更新与一个或多个观看者简档相关联的人口统计。虽然示出一个服务器210，但是在一些实施方案中，可在一个或多个基于处理器的设备上实现服务器210的功能。
回放设备220包括处理器221、存储器223、显示设备225和传感器设备227。在一些实施方案中，回放设备220通常可包括基于处理器的设备，诸如游戏控制台、媒介控制台、机顶盒、个人计算机、平板计算机、电视、头戴式显示器(“HMD”)、增强现实设备、虚拟现实设备、可穿戴设备、便携式用户设备、智能电话等中的一个或多个。处理器221可包括控制电路、中央处理器单元(CPU)、图形处理器单元(GPU)、微处理器、视频解码器等中的一个或多个。存储器223可包括易失性和/或非易失性计算机可读存储器设备中的一个或多个。在一些实施方案中，存储器223存储致使处理器221利用传感器设备227跟踪观看者视线路径的计算机可执行代码。在一些实施方案中，回放设备220可被配置成基于从服务器210检索和/或本地存储的观看者简档来预测进一步的视线位置。在一些实施方案中，回放设备220可被配置成基于观看者的预测的视线位置从服务器210检索内容和/或本地地呈现内容。在一些实施方案中，存储器223可包括用于从服务器210缓冲正在显示设备225上观看的内容的一部分的缓冲器。在一些实施方案中，存储在存储器223中的计算机可执行代码可包括计算机程序、软件程序、回放设备固件、移动应用程序、游戏和/或媒体控制台应用程序等中的一个或多个。
显示设备225可包括用于向观看者显示内容的设备。在一些实施方案中，显示设备225可包括监视器、电视、头戴式显示器(HMD)、虚拟现实显示设备、可穿戴设备、显示屏、移动设备等中的一个或多个。在一些实施方案中，显示设备225可包括具有一个或多个屏幕的立体显示器。
传感器设备227可包括被配置成跟踪显示设备225的观看者的视线的一个或多个传感器。在一些实施方案中，传感器设备227可包括用于检测眼部和/或头部移动的图像传感器、光学反射器传感器、距离传感器、肌电图(EMG)传感器和光学流量传感器中的一个或多个。在一些实施方案中，传感器设备227可包括使用加速度计和陀螺仪，有时还有磁力仪的组合来测量并报告身体的特定力、角速率和/或身体周围的磁场的IMU。在一些实施方案中，传感器设备227可耦接到允许传感器通过HMD和/或可穿戴设备的运动来检测用户的头部或眼部运动的HMD和/或可穿戴设备。在一些实施方案中，传感器设备227可包括用于检测用户的头部运动和眼部运动中的一者或多者的相机。在一些实施方案中，传感器设备227可耦接到HMD和/或可穿戴设备，或可以是从远处捕获来自观看者的数据的相对静止的设备。
虽然显示设备225被示出为回放设备220的一部分，但是在一些实施方案中，显示设备225可包括具有或不具有单独处理器的单独设备。在一些实施方案中，显示设备225可通过有线或无线通信信道耦接到回放设备220。例如，回放设备220可包括PC或游戏控制台，并且显示设备225可包括被配置成显示来自回放设备220的内容的HMD。在一些实施方案中，传感器设备227可以是回放设备220、显示设备225的一部分，和/或可以是与回放设备220和显示设备225中的一个或多个通信的物理上分离的设备。在一些实施方案中，显示设备225和传感器设备227中的一个或多个可与回放设备220整合成一体。在一些实施方案中，显示设备225还可包括用于至少部分地存储所检索的内容和/或由传感器设备227检测到的观看者的眼部或头部移动的处理器和/或存储器。
在一些实施方案中，回放设备220还可包括用于与服务器210和/或捕获设备通信的通信设备，诸如网络适配器、Wi-Fi收发器、移动数据网络收发器等。在一些实施方案中，回放设备220还可包括一个或多个用户输入/输出设备，诸如运动跟踪器、按钮、控制器、键盘、显示屏、触摸屏等以供用户控制内容项的选择和回放。在一些实施方案中，输入设备可由观看者进一步使用来在沉浸式现实内容中导航。
接着参考图3，示出了根据本发明的一些实施方案的视线路径的示意图。在图3中，内容区域300表示内容的显示区域，并且视线路径301、303和302表示覆盖相同时间段的内容回放并且与不同观看者简档相关联的视线路径。在图3中，如果观看者的跟踪的视线路径对应于视线路径310，那么系统可使观看者与同视线路径302相关联的观看者简档匹配。然后可基于随时间的推移继续跟随视线路径302来预测观看者的未来视线位置。在一些实施方案中，观看者可与视线路径302相关联，直到检测到与视线路径302的实质偏离。
图3中示出的视线路径仅出于说明被提供并且可能未必表示实际的视线路径。虽然示出了二维视线路径，但是在一些实施方案中，与观看者简档相关联的视线路径可包括三维空间中的视线路径。例如，内容可包括沉浸式内容，在所述沉浸式内容中观看者可导航通过三维空间。在一些实施方案中，包括视线路径的视线位置然后可各自包括来自虚拟空间中的参考点的x、y和z坐标和观看方向。虽然在图3中的视线路径被示出为细线，但是在一些实施方案中，视线路径可包括宽带区域和/或观看方向。
接着参考图4，示出了根据本发明的一些实施方案的过程图。在一些实施方案中，图4中的服务器可包括参考图2描述的服务器210或类似设备。图4中的回放设备可包括参考图2描述的回放设备220或类似设备。在图4中，回放设备的视线跟踪器410首先检测用户的视线位置并且确定视线路径412。然后将视线路径412提供给服务器。在一些实施方案中，每个视线路径数据点可在它们被收集时发送给服务器，并且服务器可聚集数据点以形成视线路径。在步骤416中，服务器通过将视线路径412与多个观看者简档414匹配来选择观看者简档。在步骤420中，服务器基于选择的观看者简档来预测观看者的未来视线位置。在步骤430中，系统基于预测的视线位置来选择内容部分以提供给回放设备。在一些实施方案中，可从内容文件432检索和/或提取内容部分。在一些实施方案中，内容部分可对应于包括内容的一个或多个视频流。在一些实施方案中，内容部分可包括内容的高比特率版本的一部分。在步骤434中，在回放设备处缓冲内容部分。在步骤436中，将包括内容部分的内容显示给用户。
在一些实施方案中，步骤416、420和430中的一个或多个可由回放设备执行。例如，可在回放设备上预加载多个观看者简档。回放设备可被配置成基于检测到的视线路径412和多个本地存储的观看者简档来预测视线位置。在一些实施方案中，回放设备可被配置成基于所预测的视线位置向服务器发送指定内容部分的请求。在一些实施方案中，替代缓冲所检索的内容，回放设备可被配置成使用本地存储和/或流式传输的内容文件基于预测的视线位置开始呈现内容。
接着参考图5，示出用于提供内容的方法。图5中的步骤通常可由基于处理器的设备执行，所述基于处理器的设备诸如头戴式显示器(“HMD”)、增强现实设备、虚拟现实设备、可穿戴设备、便携式用户设备、智能电话、个人计算机、服务器设备、电视、平板计算机、游戏控制台等中的一个或多个。在一些实施方案中，图5中的步骤可由参考图2所描述的服务器210和回放设备220、参考图4描述的服务器和/或其他类似设备中的一个或多个执行。
在步骤510中，系统预测用户观看内容项的观看方向。在一些实施方案中，用户的观看方向可包括头部方向和眼部方向中的一个或多个。在一些实施方案中，观看方向可包括在参考图1描述的方法或类似方法中预测的基于预测方向的未来视线位置。在一些实施方案中，可将包括观看者的观看方向的历史的观看者视线路径与观看者简档中的多个视线路径进行比较。如果观看者的视线路径与观看者简档中的视线路径匹配，那么可基于匹配的视线路径来预测观看者的未来观看方向。
内容项可包括由全景相机系统、环绕视图相机系统、360度相机系统、全方位相机系统等中的一个或多个捕获的多个视频流。在一些实施方案中，内容项可包括与全景视频、沉浸式视频和/或全向视频中的一个或多个对应的片段式内容。在一些实施方案中，多个视频流中的每一个可由相机组件的单独图像传感器捕获。在一些实施方案中，内容项可包括预先记录的或实时的流内容。内容项可包括托管在回放设备可访问的服务器上的多个单个地编码的视频流。
在一些实施方案中，在步骤510之后，系统可确定内容项的一个或多个视频流是否落入观看内容项的用户的预测的观看区域内。在一些实施方案中，用户的预测的观看区域可对应于注视点周围的对应于基于所选择的观看者简档预测的观看方向的区域。在一些实施方案中，观看方向可基于通过一个或多个输入设备的用户输入。例如，用户可使用操纵杆、触控板、鼠标、方向键等来改变观看方向。然后，观看区域可对应于与观看方向相关联的显示区域。在一些实施方案中，如果仅一个视频流落入观看区域内，那么系统可仅检索和/或解码选择的视频流以显示给用户。在一些实施方案中，如果仅两个或更多个视频流落入用户的观看区域内时，系统可执行步骤520-540。
在步骤520中，系统选择内容项的两个或更多个视频流。视频流的选择可基于在步骤510中预测的用户的观看方向和与内容项的多个视频流相关联的方向数据。多个视频流的方向数据可由记录内容项的捕获系统记录并作为内容项文件的一部分被包括。在一些实施方案中，捕获系统可包括用于在记录内容项期间记录捕获系统的取向的一个或多个IMU。可将与内容项的当前区段相关联的IMU数据与用户的预测的观看方向进行比较，以确定对应于用户的预测观看方向的视频流。
在一些实施方案中，选择两个或更多个视频流包括将所选择的视频流加载到缓冲器或高速缓冲存储器以进行解码。在一些实施方案中，选择两个或更多个视频流包括从托管内容项的服务器检索选择的流。在一些实施方案中，步骤510和520可由内容服务器、回放设备和/或第三设备执行。
在步骤530中，系统解码在步骤520中选择的两个更多个视频流，以形成两个或更多个解码的视频流。在一些实施方案中，解码可由回放设备上的图像或视频解码器硬件和/或软件模块执行。
在步骤540中，系统拼接两个或更多个解码的视频流以形成组合的图像。在一些实施方案中，视频流可根据已知的拼接方法来拼接，所述已知的拼接方法诸如包括视频流的对齐、扭曲和混合中的一种或多种的方法。在一些实施方案中，图像的对齐可通过特征和/或关键点检测在回放设备处执行。
在一些实施方案中，系统可进一步被配置成基于用户的预测的观看区域选择性地拼接视频流的各部分。例如，如果两个视频流的重叠区域的仅一部分落入用户的预测的观看区域内，那么系统可仅混合重叠区域的基于所述预测来估计对用户可见的部分。在一些实施方案中，混合的程度可进一步取决于区域在视场中的位置。例如，如果重叠区域落在用户视场的外围区域中，那么可执行粗略的(例如，在计算上需求更少)混合，并且如果重叠区域落在用户的预期注视点附近，那么可执行更详尽的混合。在一些实施方案中，两个或更多个解码视频流的拼接还包括基于与回放设备相关联的扭曲和失真来组合图像。
在步骤550中，系统致使在步骤540中生成的组合的图像显示给用户。在一些实施方案中，图像可显示在平板显示设备或头戴式显示器上。在一些实施方案中，在步骤550之前，系统进一步基于与显示设备相关联的参数来调整组合的图像。在一些实施方案中，系统可生成立体图像用于3D和/或虚拟现实显示设备。在一些实施方案中，系统可基于显示设备的显示分辨率来调整组合的图像的分辨率。在一些实施方案中，系统可基于与显示设备相关联的扭曲和失真来调整图像。
在一些实施方案中，当用户在观看内容项的同时改变他的/她的观看方向时，可连续地重复步骤510-550。在一些实施方案中，在观看内容项期间，在步骤510中被选择预测用户的观看方向的观看者简档可改变任意次数。在一些实施方案中，取决于在步骤510中预测的观看方向，在步骤520-540中选择、解码和拼接的视频流可随时间的推移改变。
接着参考图6，示出用于提供内容的方法。图6中的步骤可通常由基于处理器的设备执行，所述基于处理器的设备诸如计算机系统、服务器、基于云的服务器、内容主机、流服务主机、媒介服务器等中的一个或多个。在一些实施方案中，图6中的步骤可由参考图2所描述的服务器210和回放设备220、参考图4描述的服务器和/或其他类似设备中的一个或多个执行。
在步骤610中，系统预测内容项的观看者的未来视线位置。在一些实施方案中，用户的视线位置可包括头部方向和眼部方向中的一个或多个。在一些实施方案中，可基于参考图1描述的方法或类似方法来预测未来视线位置。在一些实施方案中，可将包括观看者的视线位置的历史的视线路径与观看者简档中的多个视线路径进行比较。如果观看者的视线路径与观看者简档视线路径匹配，那么可基于匹配的视线路径来预测观看者的未来视线位置。在一些实施方案中，步骤610可由内容服务器、回放设备和/或第三设备执行。
在步骤620中，回放设备检索内容项的低比特率版本。在一些实施方案中，回放设备向托管步骤620中的内容项的服务器发送内容请求以检索所述内容项。内容项的低比特率版本可包括由内容提供商和/或托管服务生成的内容项的减少的比特率版本。在一些实施方案中，步骤620可在步骤610之前发生，并且可在确定或预测观看者的聚焦区域之前开始下载、缓冲和/或查看内容项的低比特率版本。
在步骤630中，回放设备检索内容项的高比特率版本的一部分。在一些实施方案中，回放设备向服务器发送标识在步骤610中预测的观看者的聚焦区域的内容请求以检索内容项的高比特率版本的所述部分。在一些实施方案中，服务器可被配置成预测聚焦区域并且将内容项的高比特率版本的对应部分发送给回放设备。通常，所检索的部分可包括基于观看者的预测的聚焦区域选择的内容的空间部分。在一些实施方案中，所检索的部分可包括内容项的区域的短时间片段(例如，毫秒、秒、帧等)。在一些实施方案中，可在与步骤620中检索的内容项的低比特率版本分开地编码的视频流中检索内容项的高比特率版本的部分。在一些实施方案中，可在检索内容项的高比特率版本之前缓冲内容项的低比特率版本。
在步骤640中，系统组合内容项的高比特率版本的部分与内容项的低比特率版本以生成组合的图像。在一些实施方案中，在步骤640中，系统首先解码在步骤630中检索的内容项的高比特率版本的部分和在步骤620中检索的内容项的低比特率版本。在一些实施方案中，如果内容项的低比特率版本和高比特率版本的分辨率和/或帧速率不同，那么系统可首先调整所述版本中的至少一个的分辨率和/或帧速率，之后组合图像。
在步骤650中，在显示设备上显示组合的图像。在一些实施方案中，显示设备可包括监视器、电视接收机、投影仪、头戴式显示器(HMD)、虚拟现实显示设备、可穿戴设备、显示屏、移动设备等中的一个或多个。在一些实施方案中，在步骤650之前，系统可进一步基于显示设备的规范来调整组合的图像。例如，对于虚拟现实显示设备，系统可针对与设备相关联的扭曲和失真进行调整。
在一些实施方案中，当观看者观看内容项时，可以连续地重复步骤610至650。在一些实施方案中，在观看内容项期间，在步骤610中被选择预测用户的聚焦区域的观看者简档可改变任意次数。在一些实施方案中，基于步骤610中预测的聚焦区域，内容项的高比特率版本的不同部分可在步骤630中被检索并且随时间的推移在步骤640中与低比特率版本组合。在一些实施方案中，步骤620可独立于步骤610和630发生。
在一些实施方案中，系统可进一步被配置为预测观看者的观看区域并且在步骤620中基于观看者的观看区域仅检索低比特率内容的一部分。类似于在步骤610中预测聚焦区域，基于使观看者与观看者简档匹配来预测观看者的观看区域。观看者的观看区域可通常是指对用户可见，但可以或可以不聚焦于观看者视场的内容区域。
在一些实施方案中，上文描述的实施方案、方法、途径和/或技术中的一个或多个可在可由基于处理器的装置或系统执行的一个或多个计算机程序或软件应用程序中实现。例如，这类基于处理器的装置或系统可包括计算机、娱乐系统、游戏控制台、工作站、图形工作站、服务器、客户端、便携式设备、垫状设备等。这类计算机程序可用于执行上文描述的方法和/或技术的各种步骤和/或特征。也就是说，计算机程序可适于致使或配置基于处理器的装置或系统来执行并实现上述功能。例如，这类计算机程序可用于实现上述方法、步骤、技术或特征的任何实施例。作为另一个实例，这类计算机程序可用于实现使用上述实施方案、方法、途径和/或技术中的任一个或多个的任意类型的工具或类似实用程序。在一些实施方案中，在计算机程序内或不在计算机程序内的程序代码宏、模块、环路、子例程、调用等可用于执行上述方法和/或技术的各种步骤和/或特征。在一些实施方案中，计算机程序可存储或体现在计算机可读存储或记录介质或媒介(诸如本文描述的计算机可读存储或记录介质或媒介中的任一个)上。
因此，在一些实施方案中，本发明提供一种计算机程序产品，所述计算机程序产品包括：具体实施用于输入计算机的计算机程序的介质；以及计算机程序，所述计算机程序具体实施在所述介质中，以使所述计算机执行包括本文所述实施方案、方法、方式和/或技术中的任何一个或多个所涉及的步骤中的任何一个或多个的步骤。例如，在一些实施方案中，本发明提供存储一个或多个计算机程序的一个或多个非暂态计算机可读存储介质，所述一个或多个计算机程序适于或被配置成致使基于处理器的装置或系统执行包括如下各项的步骤：通过回放设备向观看者呈现内容；利用耦接到所述回放设备的视线跟踪器跟踪所述观看者的视线路径；基于所述观看者的所述视线路径从存储在观看者简档数据库中的多个观看者简档选择观看者简档；以及基于所述观看者简档预测所述观看者的未来视线位置。
虽然已经借助于特定实施方案和应用描述本文公开的发明，但是在不背离权利要求书中阐明的本发明的范围的情况下，本领域的技术人员可对本发明进行许多修改和变更。

Claims (27)

1.一种用于视线跟踪的方法，其包括：
通过回放设备向观看者呈现内容；
利用耦接到所述回放设备的视线跟踪器跟踪所述观看者的视线路径；
基于所述观看者的所述视线路径从存储在观看者简档数据库中的多个观看者简档选择观看者简档；以及
基于所述观看者简档预测所述观看者的未来视线位置。
2.如权利要求1所述的方法，其中所述观看者简档包括与所述内容相关联的预期视线路径。
3.如权利要求1所述的方法，其中所述多个观看者简档包括基于观看所述内容的多个用户的视线路径生成的一个或多个观看者简档。
4.如权利要求1所述的方法，其中所述多个观看者简档包括在所述内容的后期制作过程期间创建的一个或多个默认观看者简档。
5.如权利要求1所述的方法，其中所述多个观看者简档包括基于跟踪所述内容中的一个或多个对象的移动生成的一个或多个观看者简档。
6.如权利要求1-5中任一项所述的方法，其还包括：
基于所述未来视线位置选择所述内容的一部分；以及
在所述回放设备处缓冲所述内容的所述部分。
7.如权利要求6所述的方法，其中所述内容的所述部分对应于与所述未来视线位置相关联的聚焦区域。
8.如权利要求6所述的方法，其中所述内容的所述部分对应于从包括所述内容的多个视频流选择的视频流。
9.如权利要求1-5中任一项所述的方法，其还包括：
基于所述未来视线位置确定添加内容的插入位置。
10.如权利要求1-5中任一项所述的方法，其还包括：
在选择所述观看者简档之后跟踪所述观看者的后续视线路径；以及
基于所述随后的视线路径选择所述多个观看者简档中的不同的一个。
11.一种用于视线跟踪的系统，其包括：
观看者简档数据库；
通信设备；以及
处理器，所述处理器耦接到所述观看者简档数据库和所述通信设备，所述处理器被配置成：
通过耦接到所述通信设备的回放设备向观看者呈现内容；
利用耦接到所述回放设备的视线跟踪器跟踪所述观看者的视线路径；
基于所述观看者的所述视线路径从存储在所述观看者简档数据库中的多个观看者简档选择观看者简档；以及
基于所述观看者简档预测所述观看者的未来视线位置。
12.如权利要求11所述的系统，其中所述观看者简档包括与所述内容相关联的预期视线路径。
13.如权利要求11所述的系统，其中所述多个观看者简档包括基于观看所述内容的多个用户的视线路径生成的一个或多个观看者简档。
14.如权利要求11所述的系统，其中所述多个观看者简档包括在所述内容的后期制作过程期间创建的一个或多个默认观看者简档。
15.如权利要求11所述的系统，其中所述多个观看者简档包括基于跟踪所述内容中的一个或多个对象的移动生成的一个或多个观看者简档。
16.如权利要求11-15中任一项所述的系统，其中所述处理器进一步被配置成：
基于所述未来视线位置选择所述内容的一部分；以及
在所述回放设备处缓冲所述内容的所述部分。
17.如权利要求16所述的系统，其中所述内容的所述部分对应于与所述未来视线位置相关联的聚焦区域。
18.如权利要求16所述的系统，其中所述内容的所述部分对应于从包括所述内容的多个视频流选择的视频流。
19.如权利要求11-15中任一项所述的系统，其中所述处理器进一步被配置成：
基于所述未来视线位置确定添加内容的插入位置。
20.如权利要求11-15中任一项所述的系统，其中所述处理器进一步被配置成：
在选择所述观看者简档之后跟踪所述观看者的后续视线路径；以及
基于所述随后的视线路径选择所述多个观看者简档中的不同的一个。
21.一种存储一个或多个计算机程序的非暂态计算机可读存储介质，所述一个或多个计算机程序被配置为致使基于处理器的系统执行包括以下各项的步骤：
通过回放设备向观看者呈现内容；
利用耦接到所述回放设备的视线跟踪器跟踪所述观看者的视线路径；
基于所述观看者的所述视线路径从存储在观看者简档数据库中的多个观看者简档选择观看者简档；以及
基于所述观看者简档预测所述观看者的未来视线位置。
22.一种用于视线跟踪的系统，其包括：
显示设备；
视线跟踪器；
通信设备；以及
处理器，所述处理器耦接到所述显示设备、所述视线跟踪器和所述通信设备，所述处理器被配置成：
通过所述回放设备向观看者呈现内容；
利用所述视线跟踪器跟踪所述观看者的视线路径；
基于所述观看者的所述视线路径从存储在观看者简档数据库中的多个观看者简档选择观看者简档；
基于所述观看者简档预测所述观看者的未来视线位置；并且
利用所述通信设备基于所述未来视线位置从内容服务器检索所述内容的一部分。
23.如权利要求22所述的系统，其中所述多个观看者简档包括基于观看所述内容的多个用户的视线路径生成的一个或多个观看者简档。
24.如权利要求22所述的系统，其中所述多个观看者简档包括在所述内容的后期制作过程期间创建的一个或多个默认观看者简档。
25.如权利要求22所述的系统，其中所述多个观看者简档包括基于跟踪所述内容中的一个或多个对象的移动生成的一个或多个观看者简档。
26.如权利要求22-25中任一项所述的系统，其中所述处理器进一步被配置成：
基于所述未来视线位置缓冲被选择的所述内容的一部分。
27.如权利要求22-25中任一项所述的系统，其中所述处理器被进一步被配置成：
在选择所述观看者简档之后跟踪所述观看者的后续视线路径；以及
基于所述随后的视线路径选择所述多个观看者简档中的不同的一个。
CN201780039518.8A 2016-06-30 2017-05-30 用于视线跟踪的装置和方法 Active CN109416931B (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201662357259P 2016-06-30 2016-06-30
US62/357,259 2016-06-30
US201662374687P 2016-08-12 2016-08-12
US62/374,687 2016-08-12
US15/280,962 2016-09-29
US15/280,962 US10805592B2 (en) 2016-06-30 2016-09-29 Apparatus and method for gaze tracking
US15/280,933 2016-09-29
US15/280,947 2016-09-29
US15/280,933 US11089280B2 (en) 2016-06-30 2016-09-29 Apparatus and method for capturing and displaying segmented content
US15/280,947 US20180007422A1 (en) 2016-06-30 2016-09-29 Apparatus and method for providing and displaying content
PCT/US2017/035057 WO2018004933A1 (en) 2016-06-30 2017-05-30 Apparatus and method for gaze tracking

Publications (2)

Publication Number Publication Date
CN109416931A true CN109416931A (zh) 2019-03-01
CN109416931B CN109416931B (zh) 2023-05-16

Family

ID=60807030

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780039518.8A Active CN109416931B (zh) 2016-06-30 2017-05-30 用于视线跟踪的装置和方法
CN201780039760.5A Active CN109417624B (zh) 2016-06-30 2017-05-30 用于提供和显示内容的装置和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201780039760.5A Active CN109417624B (zh) 2016-06-30 2017-05-30 用于提供和显示内容的装置和方法

Country Status (5)

Country Link
US (3) US11089280B2 (zh)
EP (2) EP3479574A4 (zh)
JP (4) JP6859372B2 (zh)
KR (2) KR102294098B1 (zh)
CN (2) CN109416931B (zh)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
US10055892B2 (en) 2014-11-16 2018-08-21 Eonite Perception Inc. Active region determination for head mounted displays
US10291845B2 (en) * 2015-08-17 2019-05-14 Nokia Technologies Oy Method, apparatus, and computer program product for personalized depth of field omnidirectional video
JP6404196B2 (ja) 2015-09-16 2018-10-10 グリー株式会社 仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法
US11089280B2 (en) 2016-06-30 2021-08-10 Sony Interactive Entertainment Inc. Apparatus and method for capturing and displaying segmented content
US11017712B2 (en) 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
US9928660B1 (en) * 2016-09-12 2018-03-27 Intel Corporation Hybrid rendering for a wearable display attached to a tethered computer
CN108616751B (zh) * 2016-12-12 2023-05-12 上海交通大学 媒体信息的处理方法、装置及系统
US11290699B2 (en) * 2016-12-19 2022-03-29 Dolby Laboratories Licensing Corporation View direction based multilevel low bandwidth techniques to support individual user experiences of omnidirectional video
WO2018129186A1 (en) * 2017-01-04 2018-07-12 Nvidia Corporation Stereoscopic rendering using raymarching and a virtual view broadcaster for such rendering
US11119567B2 (en) * 2017-03-23 2021-09-14 Interdigital Ce Patent Holdings Method and apparatus for providing immersive reality content
US10979663B2 (en) * 2017-03-30 2021-04-13 Yerba Buena Vr, Inc. Methods and apparatuses for image processing to optimize image resolution and for optimizing video streaming bandwidth for VR videos
CN107396081B (zh) * 2017-06-19 2019-04-12 深圳市铂岩科技有限公司 针对全景视频的优化编码方法及装置
GB2564866B (en) * 2017-07-24 2021-07-28 Advanced Risc Mach Ltd Method of and data processing system for providing an output surface
US10585277B2 (en) * 2017-08-31 2020-03-10 Tobii Ab Systems and methods for tracking a gaze of a user across a multi-display arrangement
US11451881B2 (en) * 2017-12-15 2022-09-20 Interdigital Madison Patent Holdings, Sas Method for using viewing paths in navigation of 360 degree videos
US10805653B2 (en) * 2017-12-26 2020-10-13 Facebook, Inc. Accounting for locations of a gaze of a user within content to select content for presentation to the user
KR20200106547A (ko) * 2018-01-18 2020-09-14 밸브 코포레이션 센서 집적 회로들을 포함하는 머리-착용 디스플레이들에 대한 위치 추적 시스템
TWI678920B (zh) * 2018-05-23 2019-12-01 宏碁股份有限公司 影片處理裝置、其影片處理方法及電腦程式產品
CN110557652A (zh) * 2018-05-30 2019-12-10 宏碁股份有限公司 视频处理装置及其视频处理方法
US11048464B2 (en) * 2018-07-31 2021-06-29 Dell Products, L.P. Synchronization and streaming of workspace contents with audio for collaborative virtual, augmented, and mixed reality (xR) applications
GB2576213A (en) * 2018-08-10 2020-02-12 Sony Corp A method for mapping an object to a location in virtual space
GB2576211A (en) 2018-08-10 2020-02-12 Sony Corp A method for mapping an object to a location in virtual space
GB2576910B (en) * 2018-09-06 2021-10-20 Sony Interactive Entertainment Inc User profile generating system and method
GB2576905B (en) * 2018-09-06 2021-10-27 Sony Interactive Entertainment Inc Gaze input System and method
GB2576904B (en) * 2018-09-06 2021-10-20 Sony Interactive Entertainment Inc Content modification system and method
US10855978B2 (en) * 2018-09-14 2020-12-01 The Toronto-Dominion Bank System and method for receiving user input in virtual/augmented reality
US10833945B2 (en) * 2018-11-13 2020-11-10 International Business Machines Corporation Managing downloading of content
US10939139B2 (en) * 2018-11-29 2021-03-02 Apple Inc. Adaptive coding and streaming of multi-directional video
US11032607B2 (en) * 2018-12-07 2021-06-08 At&T Intellectual Property I, L.P. Methods, devices, and systems for embedding visual advertisements in video content
US20200195944A1 (en) * 2018-12-14 2020-06-18 Advanced Micro Devices, Inc. Slice size map control of foveated coding
JP7219620B2 (ja) * 2019-01-23 2023-02-08 株式会社近江デジタルファブリケーションズ 配信画像生成方法
SE543121C2 (en) 2019-02-04 2020-10-13 Tobii Ab Method and system for determining a current gaze direction
CN112423108B (zh) * 2019-08-20 2023-06-30 中兴通讯股份有限公司 码流的处理方法、装置、第一终端、第二终端及存储介质
US11481026B2 (en) * 2019-08-22 2022-10-25 Samsung Electronics Co., Ltd. Immersive device and method for streaming of immersive media
US11307655B2 (en) 2019-09-19 2022-04-19 Ati Technologies Ulc Multi-stream foveal display transport
US11956295B2 (en) 2019-09-27 2024-04-09 Apple Inc. Client-end enhanced view prediction for multi-view video streaming exploiting pre-fetched data and side information
US20230011586A1 (en) * 2019-12-09 2023-01-12 Telefonaktiebolaget Lm Ericsson (Publ) Electronic device, server and methods for viewport prediction based on head and eye gaze
US11284141B2 (en) 2019-12-18 2022-03-22 Yerba Buena Vr, Inc. Methods and apparatuses for producing and consuming synchronized, immersive interactive video-centric experiences
GB2596541B (en) * 2020-06-30 2023-09-13 Sony Interactive Entertainment Inc Video processing
US11410272B2 (en) * 2020-07-01 2022-08-09 Facebook Technologies, Llc. Dynamic uniformity correction
US20220070235A1 (en) * 2020-08-28 2022-03-03 Tmrw Foundation Ip S.Àr.L. System and method enabling interactions in virtual environments with virtual presence
US20220103655A1 (en) * 2020-09-29 2022-03-31 International Business Machines Corporation Proactively selecting virtual reality content contexts
CN114513669A (zh) * 2020-11-16 2022-05-17 华为云计算技术有限公司 视频编码及视频播放方法、装置和系统
US11630509B2 (en) * 2020-12-11 2023-04-18 Microsoft Technology Licensing, Llc Determining user intent based on attention values
WO2023095456A1 (ja) * 2021-11-29 2023-06-01 株式会社Ｎｔｔドコモ レコメンド装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103249352A (zh) * 2010-12-08 2013-08-14 索尼电脑娱乐公司 利用视线跟踪的自适应显示
US20140055591A1 (en) * 2012-08-24 2014-02-27 Sagi Katz Calibration of eye tracking system
CN103930817A (zh) * 2011-06-20 2014-07-16 谷歌公司 用于数据的自适应传送的系统和方法
US20140361977A1 (en) * 2013-06-07 2014-12-11 Sony Computer Entertainment Inc. Image rendering responsive to user actions in head mounted display
US20140370993A1 (en) * 2010-08-19 2014-12-18 Evrio, Inc. Display Indicating Aiming Point Using Intermediate Point in Trajectory Path
US20150237336A1 (en) * 2014-02-19 2015-08-20 Roger Sebastian Sylvan Stereoscopic display responsive to focal-point shift
US9176581B2 (en) * 2012-09-28 2015-11-03 Intel Corporation System and method for inferring user intent based on eye movement during observation of a display screen

Family Cites Families (100)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4208811A (en) 1978-11-30 1980-06-24 Enrique Junowicz Display with overlapping picture elements
US6078349A (en) * 1995-06-07 2000-06-20 Compaq Computer Corporation Process and system for increasing the display resolution of a point-to-point video transmission relative to the actual amount of video data sent
US6331869B1 (en) 1998-08-07 2001-12-18 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
JPH10271499A (ja) 1997-03-26 1998-10-09 Sanyo Electric Co Ltd 画像領域を用いる画像処理方法、その方法を用いた画像処理装置および画像処理システム
US20030011619A1 (en) 1997-10-08 2003-01-16 Robert S. Jacobs Synchronization and blending of plural images into a seamless combined image
JP3511462B2 (ja) 1998-01-29 2004-03-29 インターナショナル・ビジネス・マシーンズ・コーポレーション 操作画像表示装置およびその方法
CA2371349A1 (en) 1998-05-13 1999-11-18 Scott Gilbert Panoramic movies which simulate movement through multidimensional space
JP2001008232A (ja) 1999-06-25 2001-01-12 Matsushita Electric Ind Co Ltd 全方位映像出力方法と装置
CA2411852A1 (en) 2000-06-09 2001-12-13 Imove, Inc. Streaming panoramic video
US6559846B1 (en) 2000-07-07 2003-05-06 Microsoft Corporation System and process for viewing panoramic video
US6788333B1 (en) * 2000-07-07 2004-09-07 Microsoft Corporation Panoramic video
JP2002183212A (ja) 2000-12-19 2002-06-28 Fuji Xerox Co Ltd 電子文書加工システム、電子文書加工方法、及び、コンピュータ読取り可能な記録媒体
EP1410621A1 (en) 2001-06-28 2004-04-21 Omnivee Inc. Method and apparatus for control and processing of video images
US7714880B2 (en) 2001-11-16 2010-05-11 Honeywell International Inc. Method and apparatus for displaying images on a display
JP2004056335A (ja) 2002-07-18 2004-02-19 Sony Corp 情報処理装置および方法、表示装置および方法、並びにプログラム
CN100451803C (zh) * 2003-02-07 2009-01-14 夏普株式会社 焦点状态显示设备和焦点状态显示方法
EP1602322A1 (en) 2004-06-02 2005-12-07 SensoMotoric Instruments GmbH Method and apparatus for eye tracking latency reduction
US8232962B2 (en) * 2004-06-21 2012-07-31 Trading Technologies International, Inc. System and method for display management based on user attention inputs
US7456377B2 (en) 2004-08-31 2008-11-25 Carl Zeiss Microimaging Ais, Inc. System and method for creating magnified images of a microscope slide
JP2006171822A (ja) 2004-12-13 2006-06-29 Nippon Telegr & Teleph Corp <Ntt> コンテンツ配信方法
US20060256133A1 (en) 2005-11-05 2006-11-16 Outland Research Gaze-responsive video advertisment display
US20070153023A1 (en) 2006-01-04 2007-07-05 Computer Associates Think, Inc. System and method of temporal anti-aliasing
US20070188521A1 (en) * 2006-02-15 2007-08-16 Miller Steven D Method and apparatus for three dimensional blending
US9250703B2 (en) * 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
IL175835A0 (en) 2006-05-22 2007-07-04 Rafael Armament Dev Authority Methods and systems for communicating and displaying points-of-interest
US8446509B2 (en) 2006-08-09 2013-05-21 Tenebraex Corporation Methods of creating a virtual window
SE0602545L (en) 2006-11-29 2008-05-30 Tobii Technology Ab Eye tracking illumination
JP4863936B2 (ja) * 2007-06-25 2012-01-25 株式会社ソニー・コンピュータエンタテインメント 符号化処理装置および符号化処理方法
JP4897600B2 (ja) 2007-07-19 2012-03-14 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
US20090074084A1 (en) 2007-09-18 2009-03-19 David Drezner Method and System for Adaptive Preprocessing for Video Encoder
US20090129693A1 (en) * 2007-11-15 2009-05-21 Bloebaum L Scott System and method for generating a photograph with variable image quality
US8760574B2 (en) * 2008-04-30 2014-06-24 Broadcom Corporation Image processing methods and systems for frame rate conversion
US20090278921A1 (en) 2008-05-12 2009-11-12 Capso Vision, Inc. Image Stabilization of Video Play Back
CN102037489B (zh) * 2008-05-21 2013-08-21 Tp视觉控股有限公司 图像分辨率增强
US7850306B2 (en) * 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
JP4775671B2 (ja) 2008-12-26 2011-09-21 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP5595027B2 (ja) 2009-12-11 2014-09-24 三菱電機株式会社 情報表示処理装置
US8914305B2 (en) 2010-06-30 2014-12-16 Trading Technologies International, Inc. Method and apparatus for motion based target prediction and interaction
WO2012015460A1 (en) 2010-07-26 2012-02-02 Thomson Licensing Dynamic adaptation of displayed video quality based on viewers' context
US8487959B1 (en) * 2010-08-06 2013-07-16 Google Inc. Generating simulated eye movement traces for visual displays
US9232257B2 (en) 2010-09-22 2016-01-05 Thomson Licensing Method for navigation in a panoramic scene
JP5544426B2 (ja) * 2010-09-24 2014-07-09 株式会社Ｇｎｚｏ 映像ビットストリームの伝送システム
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
JP2012124784A (ja) 2010-12-09 2012-06-28 Canon Marketing Japan Inc 動画再生システム
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
EP2472867A1 (en) 2010-12-30 2012-07-04 Advanced Digital Broadcast S.A. Coding and decoding of multiview videos
US9247312B2 (en) 2011-01-05 2016-01-26 Sonic Ip, Inc. Systems and methods for encoding source media in matroska container files for adaptive bitrate streaming using hypertext transfer protocol
JP5678324B2 (ja) * 2011-02-10 2015-03-04 パナソニックＩｐマネジメント株式会社 表示装置、コンピュータプログラム、及び表示方法
US20160286119A1 (en) 2011-04-18 2016-09-29 360fly, Inc. Mobile Device-Mountable Panoramic Camera System and Method of Displaying Images Captured Therefrom
CA2833544A1 (en) 2011-04-18 2012-10-26 Eyesee360, Inc. Apparatus and method for panoramic video imaging with mobile computing devices
US8683013B2 (en) 2011-04-18 2014-03-25 Cisco Technology, Inc. System and method for data streaming in a computer network
CN103493105B (zh) 2011-04-25 2017-04-05 林光雄 全方位图像编辑程序及全方位图像编辑装置
JP5918618B2 (ja) 2011-06-03 2016-05-18 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
US8847968B2 (en) * 2011-07-12 2014-09-30 Qualcomm Incorporated Displaying static images
US8636361B2 (en) * 2011-07-20 2014-01-28 National Taiwan University Learning-based visual attention prediction system and method thereof
WO2013032955A1 (en) * 2011-08-26 2013-03-07 Reincloud Corporation Equipment, systems and methods for navigating through multiple reality models
US8990682B1 (en) * 2011-10-05 2015-03-24 Google Inc. Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
FR2976149A1 (fr) * 2011-12-13 2012-12-07 Thomson Licensing Dispositif d'obtention de contenus en mode streaming en fonction de la distance ecran/observateur, et recepteur de contenus associe
EP2615834A1 (en) 2012-01-16 2013-07-17 Thomson Licensing Dealiasing method and device for 3D view synthesis
US8396983B1 (en) * 2012-03-13 2013-03-12 Google Inc. Predictive adaptive media streaming
US9082011B2 (en) 2012-03-28 2015-07-14 Texas State University—San Marcos Person identification using ocular biometrics with liveness detection
US20130271565A1 (en) 2012-04-16 2013-10-17 Qualcomm Incorporated View synthesis based on asymmetric texture and depth resolutions
US20150172544A1 (en) 2012-07-04 2015-06-18 Zhipin Deng Panorama based 3d video coding
US20150193395A1 (en) * 2012-07-30 2015-07-09 Google Inc. Predictive link pre-loading
US20140087877A1 (en) 2012-09-27 2014-03-27 Sony Computer Entertainment Inc. Compositing interactive video game graphics with pre-recorded background video content
JP2014072608A (ja) 2012-09-28 2014-04-21 Brother Ind Ltd 情報処理システム、情報処理装置、表示装置、及びプログラム
JP5923021B2 (ja) 2012-10-05 2016-05-24 日本電信電話株式会社 映像視聴履歴解析装置、映像視聴履歴解析方法及び映像視聴履歴解析プログラム
US9886177B2 (en) * 2012-10-11 2018-02-06 Industry-Academic Cooperation Foundation, Yonsei University Method for increasing GUI response speed of user device through data preloading, and said user device
WO2014061017A1 (en) * 2012-10-15 2014-04-24 Umoove Services Ltd. System and method for content provision using gaze analysis
US8990843B2 (en) * 2012-10-26 2015-03-24 Mobitv, Inc. Eye tracking based defocusing
GB2509953B (en) 2013-01-18 2015-05-20 Canon Kk Method of displaying a region of interest in a video stream
US9665171B1 (en) 2013-03-04 2017-05-30 Tobii Ab Gaze and saccade based graphical manipulation
US9948970B2 (en) 2013-03-15 2018-04-17 Cox Communications, Inc. Systems, methods, and apparatus for accessing recordings of content items on multiple customer devices
AU2013206560A1 (en) 2013-06-27 2015-01-22 Canon Kabushiki Kaisha Method, system and apparatus for rendering
CN108209857B (zh) 2013-09-03 2020-09-11 托比股份公司 便携式眼睛追踪设备
US20150142884A1 (en) 2013-11-21 2015-05-21 Microsoft Corporation Image Sharing for Online Collaborations
JP6407526B2 (ja) 2013-12-17 2018-10-17 キヤノンメディカルシステムズ株式会社 医用情報処理システム、医用情報処理方法及び情報処理システム
EP2894852A1 (en) 2014-01-14 2015-07-15 Alcatel Lucent Process for increasing the quality of experience for users that watch on their terminals a high definition video stream
US10264211B2 (en) 2014-03-14 2019-04-16 Comcast Cable Communications, Llc Adaptive resolution in software applications based on dynamic eye tracking
US9530450B2 (en) * 2014-03-18 2016-12-27 Vixs Systems, Inc. Video system with fovea tracking and methods for use therewith
US9462230B1 (en) 2014-03-31 2016-10-04 Amazon Technologies Catch-up video buffering
EP3149937A4 (en) 2014-05-29 2018-01-10 NEXTVR Inc. Methods and apparatus for delivering content and/or playing back content
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
US9489739B2 (en) 2014-08-13 2016-11-08 Empire Technology Development Llc Scene analysis for improved eye tracking
US9552062B2 (en) 2014-09-05 2017-01-24 Echostar Uk Holdings Limited Gaze-based security
US10007333B2 (en) * 2014-11-07 2018-06-26 Eye Labs, LLC High resolution perception of content in a wide field of view of a head-mounted display
US9876780B2 (en) 2014-11-21 2018-01-23 Sonos, Inc. Sharing access to a media service
US9877016B2 (en) 2015-05-27 2018-01-23 Google Llc Omnistereo capture and render of panoramic virtual reality content
DE112016002377T5 (de) 2015-05-27 2018-02-08 Google Llc Streamen von sphärischem video
IN2015CH02866A (zh) 2015-06-09 2015-07-17 Wipro Ltd
US9704298B2 (en) 2015-06-23 2017-07-11 Paofit Holdings Pte Ltd. Systems and methods for generating 360 degree mixed reality environments
US9681046B2 (en) * 2015-06-30 2017-06-13 Gopro, Inc. Image stitching in a multi-camera array
US9857871B2 (en) 2015-09-04 2018-01-02 Sony Interactive Entertainment Inc. Apparatus and method for dynamic graphics rendering based on saccade detection
US10099122B2 (en) 2016-03-30 2018-10-16 Sony Interactive Entertainment Inc. Head-mounted display tracking
US10462466B2 (en) * 2016-06-20 2019-10-29 Gopro, Inc. Systems and methods for spatially selective video coding
US10095937B2 (en) 2016-06-21 2018-10-09 GM Global Technology Operations LLC Apparatus and method for predicting targets of visual attention
US11089280B2 (en) 2016-06-30 2021-08-10 Sony Interactive Entertainment Inc. Apparatus and method for capturing and displaying segmented content
KR102560029B1 (ko) 2016-09-12 2023-07-26 삼성전자주식회사 가상 현실 콘텐트를 송수신하는 방법 및 장치
US10341658B2 (en) 2017-01-30 2019-07-02 Intel Corporation Motion, coding, and application aware temporal and spatial filtering for video pre-processing

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140370993A1 (en) * 2010-08-19 2014-12-18 Evrio, Inc. Display Indicating Aiming Point Using Intermediate Point in Trajectory Path
CN103249352A (zh) * 2010-12-08 2013-08-14 索尼电脑娱乐公司 利用视线跟踪的自适应显示
CN103930817A (zh) * 2011-06-20 2014-07-16 谷歌公司 用于数据的自适应传送的系统和方法
US20140055591A1 (en) * 2012-08-24 2014-02-27 Sagi Katz Calibration of eye tracking system
US9176581B2 (en) * 2012-09-28 2015-11-03 Intel Corporation System and method for inferring user intent based on eye movement during observation of a display screen
US20140361977A1 (en) * 2013-06-07 2014-12-11 Sony Computer Entertainment Inc. Image rendering responsive to user actions in head mounted display
CN105392538A (zh) * 2013-06-07 2016-03-09 索尼电脑娱乐公司 响应于头戴式显示器中的用户动作的图像渲染
US20150237336A1 (en) * 2014-02-19 2015-08-20 Roger Sebastian Sylvan Stereoscopic display responsive to focal-point shift

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JONATHAN F.G.BOISVERT,NEIL D.B.BRUCE: "《Predicting task from eye movements: On the importance of spatial distribution, dynamics, and image features》" *
王宜修;吴晓峰;王斌;: "基于中央凹图像显著性和扫视倾向的注视点转移预测模型" *

Also Published As

Publication number Publication date
EP3479257A4 (en) 2020-02-26
CN109417624B (zh) 2024-01-23
KR20190022851A (ko) 2019-03-06
JP6944564B2 (ja) 2021-10-06
JP7029562B2 (ja) 2022-03-03
JP2021103327A (ja) 2021-07-15
US11089280B2 (en) 2021-08-10
KR20210000761A (ko) 2021-01-05
JP6686186B2 (ja) 2020-04-22
CN109417624A (zh) 2019-03-01
US20180007422A1 (en) 2018-01-04
EP3479574A4 (en) 2020-02-26
JP2019521388A (ja) 2019-07-25
JP2019525305A (ja) 2019-09-05
EP3479257A1 (en) 2019-05-08
JP2020123962A (ja) 2020-08-13
EP3479574A1 (en) 2019-05-08
CN109416931B (zh) 2023-05-16
KR102294098B1 (ko) 2021-08-26
US10805592B2 (en) 2020-10-13
US20180004285A1 (en) 2018-01-04
JP6859372B2 (ja) 2021-04-14
US20180007339A1 (en) 2018-01-04

Similar Documents

Publication Publication Date Title
CN109416931A (zh) 用于视线跟踪的装置和方法
US10679676B2 (en) Automatic generation of video and directional audio from spherical content
US11265603B2 (en) Information processing apparatus and method, display control apparatus and method, reproducing apparatus and method, and information processing system
JP6558587B2 (ja) 情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システム
US8730354B2 (en) Overlay video content on a mobile device
US10020025B2 (en) Methods and systems for customizing immersive media content
US20180160194A1 (en) Methods, systems, and media for enhancing two-dimensional video content items with spherical video content
CN106331732A (zh) 生成、展现全景内容的方法及装置
US20200388068A1 (en) System and apparatus for user controlled virtual camera for volumetric video
US20210097667A1 (en) Video quality measurement for virtual cameras in volumetric immersive media
US10511767B2 (en) Information processing device, information processing method, and program
US20220248162A1 (en) Method and apparatus for providing audio content in immersive reality
GB2505978A (en) Media content distribution system
WO2016167160A1 (ja) データ生成装置および再生装置
WO2018004933A1 (en) Apparatus and method for gaze tracking
JP2021018575A (ja) 画像処理装置、画像配信システム、および画像処理方法
CN110910508B (zh) 一种图像显示方法、装置和系统
CN105630170B (zh) 一种信息处理方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant