CN109417624B - 用于提供和显示内容的装置和方法 - Google Patents

用于提供和显示内容的装置和方法 Download PDF

Info

Publication number
CN109417624B
CN109417624B CN201780039760.5A CN201780039760A CN109417624B CN 109417624 B CN109417624 B CN 109417624B CN 201780039760 A CN201780039760 A CN 201780039760A CN 109417624 B CN109417624 B CN 109417624B
Authority
CN
China
Prior art keywords
bit rate
content item
content
rate version
high bit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780039760.5A
Other languages
English (en)
Other versions
CN109417624A (zh
Inventor
D.D.卡斯特雷曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Priority claimed from PCT/US2017/035060 external-priority patent/WO2018004936A1/en
Publication of CN109417624A publication Critical patent/CN109417624A/zh
Application granted granted Critical
Publication of CN109417624B publication Critical patent/CN109417624B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/44029—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display for generating different versions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/378—Image reproducers using viewer tracking for tracking rotational head movements around an axis perpendicular to the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Abstract

提供一种用于显示内容的方法。所述方法的一个实施方案包括：确定显示在显示设备上的内容项的观看者的聚焦区域；检索所述内容项的低比特率版本；检索所述内容项的对应于所述聚焦区域的高比特率版本的一部分；组合所述内容的所述高比特率版本的所述部分与所述内容项的所述低比特率版本以生成组合的图像；以及使所述组合的图像通过所述显示设备显示给所述观看者。系统执行类似步骤并且还提供各自存储一个或多个计算机程序的非暂态计算机可读存储介质。

Description

用于提供和显示内容的装置和方法
相关申请的交叉引用
本申请是2016年9月29日提交的题为“APPARATUS AND METHOD FOR PROVIDINGAND DISPLAYING CONTENT”的美国专利申请号15/280,947的继续并要求其权益，所述申请要求2016年8月12日提交的题为“APPARATUS AND METHOD FOR PROVIDING AND DISPLAYINGCONTENT”的美国临时专利申请号62/374,687的权益并且也要求2016年6月30日提交的题为“APPARATUS AND METHOD FOR CAPTURING AND DISPLAYING SEGMENTED CONTENT”的美国临时专利申请号62/357,259的权益，所述申请的整体内容和公开内容特此全部通过引用的方式整体并入本文。
本申请涉及由发明人Dennis D.Castleman于2016年9月29日提交的题为“APPARATUS AND METHOD FOR CAPTURING AND DISPLAYING SEGMENTED CONTENT”的美国专利申请号15/280,933，并且由代理人案卷号139592[SCEA16001US01]标识，其整体内容和公开内容特此全部通过引用的方式整体并入本文。
本申请还涉及由发明人Dennis D.Castleman于2016年9月29日提交的题为“APPARATUS AND METHOD FOR GAZE TRACKING”的美国专利申请号15/280,962，并且由代理人案卷号138627[SCEA16004US00]标识，其整体内容和公开内容特此全部通过引用的方式整体并入本文。
背景技术
1.技术领域
本发明总体涉及视频处理和显示。
2.相关技术讨论
视频流传送越来越成为递送和访问媒体内容的主要方式之一。视频流传送业务也占互联网带宽消耗的很大一部分。
发明内容
一个实施方案提供用于显示内容的方法，其包括：确定显示在显示设备上的内容项的观看者的聚焦区域；检索所述内容项的低比特率版本；检索所述内容项的对应于所述聚焦区域的高比特率版本的一部分；组合所述内容的所述高比特率版本的所述部分与所述内容项的所述低比特率版本以生成组合的图像；以及使所述组合的图像通过所述显示设备显示给所述观看者。
另一个实施方案提供用于显示内容的系统，其包括：显示设备、传感器设备和耦接到所述显示设备和所述传感器设备的处理器。所述处理器被配置成：利用所述传感器设备确定显示在所述显示设备上的内容项的观看者的聚焦区域；检索所述内容项的低比特率版本；检索所述内容项的对应于所述聚焦区域的高比特率版本的一部分；组合所述内容的所述高比特率版本的所述部分与所述内容项的所述低比特率版本以生成组合的图像；以及使所述组合的图像通过所述显示设备显示给所述观看者。
另一个实施方案提供存储一个或多个计算机程序的非暂态计算机可读存储介质，所述一个或多个计算机程序被配置成使基于处理器的系统执行包括如下的步骤：确定显示在显示设备上的内容项的观看者的聚焦区域；检索所述内容项的低比特率版本；检索所述内容项的对应于所述聚焦区域的高比特率版本的一部分；组合所述内容的所述高比特率版本的所述部分与所述内容项的所述低比特率版本以生成组合的图像；以及使所述组合的图像通过所述显示设备显示给所述观看者。
另一实施方案提供一种用于提供内容的方法，其包括：接收内容项；生成所述内容项的低比特率版本；从回放设备接收内容请求，所述内容请求包括观看者聚焦区域的指示；基于所述观看者聚焦区域选择所述内容项的所述高比特率版本的一部分；以及响应于所述内容请求向所述回放设备提供所述内容项的所述低比特率版本和所述内容项的所述高比特率版本的所述部分。
另一个实施方案提供用于提供内容的系统，其包括：存储器设备、通信设备和耦接到所述存储器设备和所述通信设备的处理器。所述处理器被配置成：接收内容项；生成所述内容项的低比特率版本；将所述内容项的所述高比特率版本和所述内容项的所述低比特率版本存储在所述存储器设备上；通过所述通信设备从回放设备接收内容请求，所述内容请求包括观看者聚焦区域的指示；基于所述观看者聚焦区域选择所述内容项的所述高比特率版本的一部分；以及响应于所述内容请求向所述回放设备提供所述内容项的所述低比特率版本和所述内容项的所述高比特率版本的一部分。
通过参照阐明其中利用本发明的实施方案的原理的说明性实施方案的以下详述和附图，将更好地理解本发明的不同实施方案的特征和优点。
附图说明
根据以下结合附图给出的更具体的描述，本发明的实施方案的以上和其他方面、特征以及优点将更清楚，其中：
图1是示出根据本发明的一些实施方案的用于提供内容的过程的过程图；
图2是示出根据本发明的一些实施方案的用于提供内容的方法的流程图；
图3是示出根据本发明的一些实施方案的用于显示内容的方法的流程图；
图4A和图4B是根据本发明的一些实施方案的内容显示区域的示意图；
图5是根据本发明的一些实施方案的图像混合的示意图；
图6A和图6B是根据一些实施方案的图像单元的示意图。
图7A和图7B是根据一些实施方案的聚焦区域的示意图。
图8是示出根据本发明的一些实施方案的系统的框图。
具体实施方式
可以各种格式存储和传输数字视频内容。诸如视频分辨率、帧速率、编码格式、压缩方案和压缩因子的因素可影响视频文件的总大小和比特率。在数字多媒体中，比特率通常指代每单位回放时间用于表示连续介质(诸如音频或视频)的比特数。多媒体文件的编码比特率可指代多媒体文件的大小除以记录的回放时间(例如，以秒为单位)。视频内容文件的比特率影响视频是否可在网络带宽约束下在流服务器与回放设备之间无中断地进行流式传输。
首先参考图1，示出了根据一些实施方案的用于记录、托管和显示视频内容的过程。在步骤111中，视频内容由相机系统捕获。在一些实施方案中，相机系统可包括常规的相机系统、立体相机系统、全景相机系统、环绕视图相机系统、360度相机系统和全方位相机系统等中的一个或多个。在步骤112中，所捕获的视频被编码并传送给服务器。在一些实施方案中，在步骤112中执行的编码可包括有损耗或无损耗视频编码。在一些实施方案中，视频可包括实况流式传输或预先记录的视频内容。在一些实施方案中，相机可通过无线或有线方式通过网络(例如像如因特网)与服务器通信。
在一些实施方案中，执行步骤111和112的相机可包括片段式视频捕获设备，诸如在2016年6月30日提交的、题为“APPARATUS AND METHOD FOR CAPTURING AND DISPLAYINGSEGMENTED CONTENT”的美国临时专利申请号62/357,259中所描述的那些，所述申请的整体公开内容特此全部通过引用的方式整体并入本文。利用片段式视频捕获设备，每个捕获的视频流作为单独的视频流提供给服务器，或者可在步骤112之前组合成单个视频流。
在步骤121中，服务器解码从相机接收的视频内容。在一些实施方案中，经解码的视频可包括处于原始地捕获的分辨率、帧速率和/或比特率下的视频。在步骤122中，服务器降低经解码的视频流的比特率。在一些实施方案中，视频内容的比特率可通过以下中的一种或多种来降低：降低视频的分辨率，降低视频的帧速率，以及利用压缩算法压缩视频。在步骤123中，降低的比特率视频被编码并准备用于流式传输至回放设备。在一些实施方案中，步骤122和123可包括单个步骤。例如，可使用编码算法来降低所接收的内容的比特率。
在步骤125中，从接收的视频提取所接收的视频的一个或多个部分。内容项的各部分可通常指代视频内容显示区域的空间区段。在一些实施方案中，内容的一部分可包括内容显示区域的跨一个或多个帧的区域。在一些实施方案中，如果所接收的内容的编码方案允许部分解码(例如，MPEG-4传输流)，那么在步骤125中的提取可通过部分地解码所接收的内容来执行。在一些实施方案中，可响应于从回放设备接收观看者聚焦区域来执行步骤125，并且所提取的部分可对应于内容中的观看者聚焦区域的位置。在一些实施方案中，可事先对内容执行步骤125，并且可提取并存储一个或多个部分以供稍后由回放设备检索。在步骤127中，所提取的部分被编码并准备用于流式传输至回放设备。
如本文和整个本公开所使用，高比特率和低比特率是指代从服务器向回放设备提供的视频内容项的至少两个版本的相对比特率的相对术语。通常，服务器可生成所接收的视频的至少一个低比特率版本并且提取与低比特率版本相比具有更高比特率的内容项的版本的至少一部分。在一些实施方案中，具有不同比特率的视频内容项的多个版本可由服务器创建。在一些实施方案中，比特率降低还可在步骤125中提取内容的各部分之前对所接收的视频执行和/或对在步骤125中提取的所述部分执行。通常，在视频内容的持续时间内，内容项的高比特率版本比内容项的低比特率版本具有更高的平均比特率。在一些实施方案中，对于视频内容的时间片段中的一些或全部，内容项的高比特率版本的比特率可高于内容项的低比特率版本。在一些情况下，与包括内容项的低比特率版本的视频流相比，包含内容项的高比特率版本的所提取部分的视频流可具有更低比特率。例如，与低比特率版本相比，内容项的高比特率版本的部分可覆盖内容的显著地更小的显示区域，从而导致所提取部分的更低比特率。在一些实施方案中，内容项的低比特率版本可包括与内容项的高比特率版本相比，更低的分辨率、帧速率和压缩质量中的一者或多者。在一些实施方案中，内容项的低比特率版本可包括与内容项的高比特率版本相比，更低的视频质量和/或清晰度。在一些实施方案中，内容的低比特率版本和高比特率版本可包括恒定比特率(CBR)视频流或可变比特率(VBR)视频流。
在一些实施方案中，服务器可通过网络(例如像如因特网)与回放设备通信。在步骤131中，回放设备接收并解码视频内容的低比特率版本和视频内容的高比特率部分的一部分。可基于通过回放设备观看内容的观看者的聚焦区域来选择视频内容的高比特率部分的所述部分。在一些实施方案中，观看者的聚焦区域是指当观看者观看内容时观看者视野的可聚焦或可不聚焦的区域。在一些实施方案中，聚焦区域可对应于观看者视野的中心、近中心、具斑点的、近外围和中间外围区域中的一个或多个。观看者的聚焦区域可由耦接到回放设备的传感器设备检测。在一些实施方案中，可将由内容项的捕获设备记录的惯性测量单元(IMU)数据与观看者的眼部和/或头部方向进行比较以确定待为回放设备提取的高比特率视频内容的部分。在一些实施方案中，视频内容的低比特率版本和视频内容的高比特率部分的所述部分可作为单独的视频流从服务器传输到回放设备。
在步骤132中，组合视频内容的低比特率版本和视频内容的高比特率部分的所述部分。在一些实施方案中，组合视频流包括在从其提取高比特率部分的显示内容的区域的位置处组合内容项的低比特率版本与高比特率版本的所述部分。在一些实施方案中，步骤132包括通过在图像的高比特率区域与低比特率区域之间包括过渡区域来混合两个视频流，以减少视频内容的两个版本之间边界的显著性。在一些实施方案中，步骤132还包括在组合图像之前将视频内容的低比特率版本缩放到内容的高比特率版本的分辨率和/或帧速率。
在步骤133中，将组合的图像显示给观看者。可通过平板屏幕显示器、弯曲显示器、圆顶显示设备、头戴式显示设备、增强现实显示设备、虚拟现实显示设备等中的一个或多个来显示组合的图像。在一些实施方案中，组合的图像可通过头戴式显示器观看，所述头戴式显示器诸如在2016年3月30日提交的题为“Head-Mounted Display Tracking”的美国专利申请号15/085,887中描述的系统和设备，所述申请的全部公开内容通过引用的方式整体并入本文。
在一些实施方案中，替代图1中所示的步骤，视频内容的高比特率部分可在服务器处与内容的低比特率版本组合，并且被编码为单个视频流以用于传输。虽然与全高比特率版本相比，这种视频流的分辨率和帧速率可能不会降低，但是仍然可通过在重新组合图像之前利用更多损耗的视频压缩算法处理聚焦区域之外的内容的区域来降低所传送的视频流的总大小。
在图1中所示的过程中，内容项的对应于用户的聚焦区域的部分在相对高比特率下被提供并且内容的剩余区域在相对低比特率下被提供。利用图1中所示的过程，可通过减少流视频内容的总比特率，同时维持观看者视野的聚焦区域中的视频质量来降低用于实现无中断视频流传送的网络带宽需求。
接着参考图2，示出用于提供内容的方法。图2中的步骤可通常由基于处理器的设备执行，所述基于处理器的设备诸如计算机系统、服务器、基于云的服务器、内容主机、流服务主机、媒介服务器等中的一个或多个。在一些实施方案中，图2中的步骤可由参考图8所描述的内容服务器810和回放设备820、参考图1描述的服务器和/或其他类似设备中的一个或多个执行。
在步骤210中，系统接收内容项。内容项可包括电影、电视节目，视频剪辑，预先记录的视频内容，流视频内容，实况流视频内容等中的一个或多个。在一些实施方案中，视频内容可包括由立体相机系统、全景相机系统、环绕视图相机系统、360度相机系统和全方位相机系统等中的一个或多个捕获的单一视频流或多个视频流。在一些实施方案中，可通过任何编码方案(诸如MPEG、WMV、VP8等)来编码内容项。在一些实施方案中，系统可进一步被配置成在步骤310中根据各种编码方案解码所接收的内容项。
在步骤220中，系统生成内容项的低比特率版本。在一些实施方案中，所接收的视频内容的比特率可通过以下中的一种或多种来降低：降低视频的分辨率，降低视频的帧速率，以及利用有损耗压缩算法压缩视频。有损耗压缩通常意味着压缩视频缺少原始视频中存在的一些信息。在一些实施方案中，内容项的多个低比特率版本可在步骤220中生成并且被存储以供回放设备检索。
在步骤230中，系统接收内容请求。在一些实施方案中，内容请求可从回放设备(诸如游戏控制台、个人计算机、平板计算机、电视、头戴式显示器(“HMD”)、增强现实设备、虚拟现实设备、可穿戴设备、便携式用户设备、智能电话等)接收。在一些实施方案中，内容请求可识别请求的内容项、请求的时间片段、观看者的焦点和/或区域的指示和/或其他认证信息中的一个或多个。在一些实施方案中，内容请求可类似于常规的流传输内容请求。在一些实施方案中，内容请求可包括对应于内容显示区域中的点或区域的观看者的聚焦区域的指示。在一些实施方案中，观看者的聚焦区域的指示可包括内容帧的尺寸内的坐标或一组坐标。在一些实施方案中，观看者的聚焦区域的指示可由观看角度表示。在一些实施方案中，可基于与回放设备相关联的传感器设备来确定聚焦区域，所述传感器设备包括眼部跟踪传感器和头部跟踪传感器中的一者或多者。
在步骤240中，响应于在步骤230中接收的内容请求，将内容的低比特率版本提供给回放设备。在一些实施方案中，内容项的多个低比特率版本可在步骤220中生成。在步骤240中，系统可基于以下中的一个或多个从内容项的多个低比特率版本中选择：在回放设备与服务器之间的当前或估计的网络吞吐量，在服务器和/或回放设备处的可用带宽，在内容请求中指定的所请求的视频质量，回放设备的处理能力，用户设置等。在一些实施方案中，从多个版本中选择内容项的低比特率版本可类似于常规的自适应比特率流传输方法。
在步骤250中，系统基于内容请求选择内容项的高比特率版本的一部分。内容项的高比特率版本通常是指与步骤240中提供的低比特率内容相比，具有更高比特率的内容的版本。在一些实施方案中，在视频内容的持续时间内，内容项的高比特率版本可包括比内容的低比特率版本更高的平均比特率。在一些实施方案中，在视频内容的一些或全部时间片段期间，内容项的高比特率版本的比特率可高于内容的低比特率版本。在一些实施方案中，内容的高比特率版本可包括在步骤210中接收的原始内容。在一些实施方案中，内容项的高比特率版本还可包括原始接收的内容项的降低的比特率版本。
在一些实施方案中，可基于观看者的聚焦区域来选择在步骤250中选择的内容的所述部分，所述观看者的聚焦区域包括检测到的焦点和预测的未来焦点中的一个或多个。在一些实施方案中，预测的未来焦点可由服务器和/或回放设备预测。在一些实施方案中，可基于观看者的视线路径历史、与观看者相关联的视线路径简档、从多个观看者收集的视线路径数据以及内容提供商提供的标准视线路径中的一个或多个来预测未来焦点。预测观看者的未来焦点的实例在由发明人Dennis D.Castleman于2016年9月29日提交的题为“APPARATUS AND METHOD FOR GAZE TRACKING”的美国专利申请号15/280,962中描述，并且由代理人案卷号138627[SCEA16004US00]标识，其整体公开内容特此全部通过引用的方式整体并入本文。
内容的一部分可通常指代显示内容区域的空间部分，诸如帧内的一组像素。在一些实施方案中，一部分可包括跨多个帧的显示内容区域的相同部分。在一些实施方案中，在步骤250中选择的部分通常可对应于内容显示区域中的观看者聚焦区域的位置。在一些实施方案中，内容的显示区域可被分成多个区段。例如，可将内容的显示区域分成象限、3x3栅格、5x5栅格等。在一些实施方案中，使与观看者的聚焦区域重叠的内容显示区域的一个或多个区段可被选择成包括内容项的被提供给回放设备的高比特率版本的所述部分。在一些实施方案中，内容的聚焦区域和/或提取的部分可包括任何形状和大小。在本文参考图4A-4B和图7A-7B更详细地描述从内容项提取的聚焦区域和部分的实例。
在一些实施方案中，系统可进一步基于以下中的一个或多个来从内容的多个原始和/或降低比特率版本中选择，以提取所选择的部分：在回放设备与服务器之间的当前或估计的网络吞吐量，在服务器和/或回放设备处的可用带宽，在内容请求中指定的请求的视频质量，回放设备的处理能力和用户设置。在一些实施方案中，可从在步骤220中生成的降低比特率版本之一中提取高比特率版本的部分。在一些实施方案中，内容项的高比特率版本通常可从与步骤240中选择的内容项的低比特率版本相比，具有更高比特率的内容项的版本中选择。
在一些实施方案中，系统可被配置成在步骤270中提供内容项的高比特率版本的一个或多个部分。例如，系统和/或回放设备可预测观看者的两个或更多个可能的未来聚焦区域。然后，系统可基于观看者的两个或更多个可能的未来聚焦区域在步骤250中选择内容项的高比特率版本的两个或更多个部分。回放设备可被配置成基于检测到的聚焦区域在回放之前短时间内从所提供的部分中进行选择。
在步骤260中，系统确定所选择的部分是否先前已经在系统中高速缓存。在一些实施方案中，当提取内容的高比特率版本的一部分时，系统可高速缓存所述部分以供以后使用。在一些实施方案中，系统可基于预测观看者可能在所显示的内容中聚焦的位置事先生成内容项的高比特率版本的多个提取部分。例如，事先提取的部分可对应于所显示内容的高活动区域和/或前景区域。在一些实施方案中，高速缓存的部分可各自包括编码的视频流。在一些实施方案中，系统可被配置成自动地清除在设定的时间段(例如，小时、天等)中尚未使用的所提取的部分。在一些实施方案中，高比特率部分的每个高速缓存部分可通过区域标识符和时间戳标识符(例如，区段3B，时间00:30:20-00:30:22)来识别和检索。在一些实施方案中，内容的高比特率版本的部分可以编码的形式存储在高速缓冲存储器中并且可直接用于流传输到回放设备。如果所选择的部分先前已经被高速缓存，那么系统可在步骤270中将所述高速缓存的部分提供给回放设备。
如果所选择的部分先前尚未被高速缓存，那么系统在步骤280中提取内容的高比特率版本的一部分。在一些实施方案中，可从在步骤210中接收的内容提取所述部分。在一些实施方案中，可从原始接收的内容的降低的比特率版本之一中提取所述部分。在一些实施方案中，可通过首先解码所接收的内容来提取所述部分。在一些实施方案中，系统可被配置成从内容项的编码版本中部分地解码并且提取内容的一部分。在一些实施方案中，步骤280可进一步包括将所提取部分处理成在提取部分的边缘周围包括多个空的/透明像素或单元。空的/透明像素的密度可朝向所提取部分的外边缘逐渐地增加，使得当所提取部分与内容的更低比特率版本组合时，在两个图像之间的边缘对于人眼来说较不明显。包括空的/透明像素可进一步减少用于传送内容的高比特率版本的所述部分的带宽使用。在一些实施方案中，步骤280可进一步包括分别编码所提取部分以供流传输。然后，可在步骤270中将内容项的高比特率版本的编码部分提供给回放设备。在一些实施方案中，可在多个编码的视频流中提供内容项的高比特率版本的部分，每个编码的视频流对应于内容显示区域的预定义区域(例如，网格中的单元)。
在一些实施方案中，步骤270和240可几乎同时发生以向回放设备提供相同内容项的对应的时间片段。在一些实施方案中，可在步骤270中提供内容项的对应的高比特率部分之前，在回放设备处提供和缓冲内容的低比特率版本。在一些实施方案中，内容项的高比特率版本的部分和内容项的低比特率版本可作为两个单独地编码和传送的视频流提供。在一些实施方案中，内容项的高比特率版本的部分和内容项的低比特率版本可从服务器系统的不同部分提供。例如，中央服务器可被配置成将内容项的低比特率版本流传输至回放设备，而多个地理上分散的服务器设备可被配置成提取相同内容项的高比特率版本的部分和/或向附近的回放设备提供相同内容项的高比特率版本的部分。
在一些实施方案中，对于多个内容项，可重复步骤210至270。在一些实施方案中，当观看者在回放设备处观看内容项时，可定期地重复步骤250-270。例如，回放设备可在服务器处定期地(例如，每几毫秒、几秒、帧等)更新观看者的聚焦区域，并且系统可基于观看者的更新的聚焦区域选择内容项的高比特率版本的不同部分。在一些实施方案中，回放设备可被配置成检测聚焦区域的改变，并且仅在聚焦区域的位置改变时通知服务器。在一些实施方案中，如果没有检测到聚焦区域(例如，用户当前不正在看屏幕)，那么系统可跳过步骤250-270并且仅向回放设备提供内容项的低比特率版本。在一些实施方案中，如果检测到用户不正在看显示设备，那么系统可进一步选择内容项的最低比特率版本来在步骤240中提供给回放设备以便降低网络带宽使用。在一些实施方案中，如果检测到内容的流传输中断，那么系统可调整被提供的内容的低比特率版本和/或高比特率版本的比特率来降低中断。
接着参考图3，示出用于提供内容的方法。图3中的步骤通常可由基于处理器的设备执行，所述基于处理器的设备诸如游戏控制台、个人计算机、平板计算机、电视、头戴式显示器(“HMD”)、增强现实设备、虚拟现实设备、可穿戴设备、便携式用户设备、智能电话、移动设备等。在一些实施方案中，图3中的步骤可由参考图8所描述的内容服务器810和回放设备820、参考图1描述的回放设备或其他类似设备中的一个或多个执行。
在步骤310中，系统确定观看者的聚焦区域。在一些实施方案中，可基于包括眼部跟踪传感器和头部跟踪传感器中的一者或多者的传感器设备来确定聚焦区域。在一些实施方案中，用户的头部方向可由包括惯性测量单元(IMU)、加速度计、陀螺仪、图像传感器和距离传感器中的一个或多个的头部跟踪器设备确定。在一些实施方案中，IMU可包括使用加速度计和陀螺仪，有时还有磁力仪的组合来测量并报告身体的特定力、角速率和/或身体周围的磁场的电子设备。在一些实施方案中，头部跟踪器设备可耦接到由用户穿戴的头戴式显示器(HMD)。在一些实施方案中，用户的视线位置可由包括图像传感器、光学反射器传感器、距离传感器、肌电图(EMG)传感器和光学流量传感器中的一个或多个的眼部跟踪器设备确定。
在一些实施方案中，可基于检测到的焦点和预测的未来焦点中的一个或多个来确定聚焦区域。在一些实施方案中，可基于观看者的视线点历史、与观看者相关联的视线路径简档、从多个观看者收集的视线路径数据以及内容提供商提供的标准视线路径中的一个或多个来预测未来焦点。在一些实施方案中，聚焦区域可由2D或3D空间中的焦点表示。在一些实施方案中，聚焦区域可被表示为3D角度，诸如表示为由球面方位角(θ)和极角表示的方向。在一些实施方案中，聚焦区域可由2D极角/>表示。在一些实施方案中，聚焦区域可对应于观看者的头部、眼部和/或显示设备的俯仰、偏转和滚动。在一些实施方案中，系统可比较记录内容的IMU数据和显示设备的IMU数据，以确定相对于内容的视图的聚焦区域。在一些实施方案中，可基于观看者距显示设备的距离来进一步确定聚焦区域的大小。例如，对于电视显示器，较小的聚焦区域可与位于距屏幕5英尺远的观看者相关联，而较大的聚焦可与位于10英尺远的观看者相关联。在一些实施方案中，聚焦区域可近似于在用户的焦点周围的具有固定大小和形状的区域。
在步骤320中，回放设备检索内容项的低比特率版本。在一些实施方案中，回放设备向托管步骤320中的内容项的服务器发送内容请求以检索所述内容项。内容项的低比特率版本可包括由内容提供商和/或托管服务生成的内容项的减少的比特率版本。在一些实施方案中，步骤320可在步骤310之前发生，并且可在确定观看者的聚焦区域之前开始下载、缓冲和/或观看内容项的低比特率版本。在一些实施方案中，步骤320可对应于在本文中参考图2描述的步骤240。
在步骤330中，回放设备检索内容项的高比特率版本的一部分。在一些实施方案中，回放设备向服务器发送识别在步骤310中确定的观看者的聚焦区域的内容请求以检索内容项的高比特率版本的所述部分。通常，所检索的部分可包括基于观看者的聚焦区域选择的内容的空间部分。在一些实施方案中，所检索的部分可包括内容项的区域的短时间片段(例如，毫秒、秒、帧等)。在一些实施方案中，可在与步骤320中检索的内容项的低比特率版本分开编码的视频流中检索内容项的高比特率版本的部分。在一些实施方案中，可在检索内容项的高比特率版本之前缓冲内容项的低比特率版本。在一些实施方案中，步骤330可对应于在本文中参考图2描述的步骤270。
在步骤340中，系统组合内容项的高比特率版本的部分与内容项的低比特率版本以生成组合的图像。在一些实施方案中，在步骤340中，系统首先解码在步骤330中检索的内容项的高比特率版本的部分和在步骤320中检索的内容项的低比特率版本。在一些实施方案中，如果内容项的低比特率版本和高比特率版本的分辨率和/或帧速率不同，那么系统可首先调整所述版本中的至少一个的分辨率和/或帧速率，之后组合图像。例如，系统可通过上取样和/或干涉内容项的解码的低比特率版本来增加内容项的低比特率版本的分辨率和/或帧速率以匹配高比特率部分的分辨率和/或帧速率。
在一些实施方案中，系统可通过用来自内容项的高比特率版本的部分的对应的帧的像素替换内容项的低比特率版本的帧中的像素来组合内容项的两个版本。在一些实施方案中，帧可由时间戳识别和匹配。在一些实施方案中，可进一步混合图像以降低在内容项的两个版本之间边界的显现。在一些实施方案中，系统通过在内容的高比特率版本的部分与内容的低比特率版本之间生成过渡区域来混合内容项的版本。在过渡区域中，包含来自高比特率版本的信息的像素可从所显示内容的高比特率区域朝向低比特率区域逐渐减小。在一些实施方案中，混合内容项的高比特率版本的部分与内容项的低比特率版本可包括将像素分组成三角形单元以用于混合。在本文中参考图5和图6A-6B描述过渡区域和混合的实例。在一些实施方案中，高比特率部分可以预先混合的形式从服务器提供。例如，高比特率部分的边缘可包括具有渐变密度的多个空的/透明像素。然后，回放设备可将具有透明像素的高比特率部分覆盖到内容项的低比特率版本上，而无需进一步处理图像并且将混合效果存档。
在步骤350中，组合的图像显示在显示设备上。在一些实施方案中，显示设备可包括监视器、电视接收机、投影仪、头戴式显示器(HMD)、虚拟现实显示设备、可穿戴设备、显示屏、移动设备等中的一个或多个。在一些实施方案中，在步骤350之前，系统可进一步基于显示设备的规范来调整组合的图像。例如，对于虚拟现实显示设备，系统可针对与设备相关联的扭曲和失真进行调整。
在一些实施方案中，当观看者观看内容项时，可以连续地重复步骤310至350。在一些实施方案中，基于步骤310中检测的聚焦区域，随时间的推移，内容项的高比特率版本的不同部分可在步骤330中被检索并且在步骤340中与低比特率版本组合。在一些实施方案中，步骤320可独立于步骤310和330发生。在一些实施方案中，如果没有检测到聚焦区域，那么系统可仅检索内容项的低比特率版本以显示并跳过步骤330-350，直到再次检测到焦点。
在一些实施方案中，系统可进一步被配置为确定观看者的观看区域并且在步骤320中基于观看者的观看区域仅检索低比特率内容的一部分。类似于在步骤310中确定聚焦区域，基于眼部跟踪和头部跟踪中的一个或多个来确定观看者的观看区域。观看者的观看区域可通常是指对用户可见，但可以或可以不聚焦于观看者视场的内容区域。在一些实施方案中，观看区域可包括围绕聚焦区域的区域。在一些实施方案中，所检索的内容项的低比特率版本的部分可排除内容区域的不在观看区域内的区域。在一些实施方案中，所检索的内容项的低比特率版本的部分可进一步排除聚焦区域并且仅包括假设对观看者可见但不聚焦的区域。在一些实施方案中，内容项的低比特率版本的检索部分可以对应于观看者视野的近视觉区域、中间视觉区域和远处周边视觉区域中的一个或多个。
接着参考图4A，示出内容显示区域的示意图。内容区域400表示内容项的整个图像区域。虽然内容区域400被示出为矩形，但是在一些实施方案中，对于沉浸式内容和/或全向视频内容，内容区域400可对应于圆柱体、球体、半球体等。在不脱离本公开的精神的情况下，内容区域400通常可包括任何形状、纵横比和大小。焦点410表示观看者在内容内的焦点。在一些实施方案中，焦点410可对应于检测到的焦点和/或预测焦点。聚焦区域412表示在焦点410周围的区域，其可能聚焦在观看者的视野内。在一些实施方案中，聚焦区域可包括观看者视野的中心、近中心、具斑点的、近外围和中间外围区域中的一个或多个。聚焦区域412的大小和形状仅被示出为实例。聚焦区域412和内容区域400的相对大小也可变化。在一些实施方案中，聚焦区域412的形状和大小可针对每个单个用户进行校准和/或基于观看者的简档来估计，所述观看者的简档包含观看者人口统计信息、观看习惯、用户反馈、用户设置等中的一个或多个。在一些实施方案中，可基于观看者距显示屏的距离来进一步确定聚焦区域412的大小。在一些实施方案中，对于在观看者眼部与显示屏(例如，HMD)之间具有固定距离的显示设备类型，聚焦区域412的大小可通常被认为保持相同。
在一些实施方案中，回放设备可被配置成检索内容项的对应于聚焦区域412的高比特率版本的一部分。在一些实施方案中，内容区域400可分成包括多个区段的网格。在一些实施方案中，与聚焦区域421重叠的内容区域400的区段可包括由回放设备检索的内容项的高比特率版本的部分。在一些实施方案中，当显示内容项时，可在内容区域的对应于聚焦区域412的部分中显示内容项的高比特率版本，并且可在内容区域400的剩余部分中显示内容项的低比特率版本。在一些实施方案中，取决于由服务器定义的内容区域400的区段的大小和形状，高比特率区域可能不能与聚焦区域412的大小和形状精确匹配，但是通常可基本上覆盖聚焦区域412。在一些实施方案中，可提取内容项的高比特率版本的所述部分来与聚焦区域412的形状和大小密切地匹配。
接着参考图4B，示出内容显示区域的另一个示意图。图4B中的内容区域400、焦点410和聚焦区域412可通常类似于图4A中的对应的元件。在一些实施方案中，系统可进一步确定围绕聚焦区域412的观看区域414，如图4B所示。观看区域414可通常是指对用户可见，但可以或可以不聚焦于观看者视场的内容区域。在一些实施方案中，所检索的内容项的低比特率版本的部分可排除内容区域400的观看区域414之外的区域。在一些实施方案中，所检索的内容项的低比特率版本的部分可进一步排除聚焦区域412并且仅包括假设对观看者可见但可聚焦的区域。在一些实施方案中，观看区域可对应于观看者视野的近视觉区域、中间视觉区域和远处周边视觉区域中的一个或多个。
在一些实施方案中，内容区域400可对应于由多个图像传感器捕获的沉浸式视频内容和/或全向视频内容。观看区域414可用来选择和拼接多个单独地编码的视频流，如在2016年6月30日提交的、题为“APPARATUS AND METHOD FOR CAPTURING AND DISPLAYINGSEGMENTED CONTENT”的美国临时专利申请号62/357,259中所描述，所述申请的整体公开内容特此全部通过引用的方式整体并入本文。例如，如果观看区域414与由多相机系统捕获的四个视频流中的两个重叠，那么所检索的内容项的低比特率版本可仅包括两个对应的流。在一些实施方案中，聚焦区域412还可包括来自在回放设备处拼接的多个单独地编码的视频流的数据。
接着参考图5，示出过渡区域的示意图。在一些实施方案中，图5可表示在图3的步骤350中显示的组合的图像。所显示的图像包括低比特率区域510、高比特率区域512和过渡区域511。在过渡区域511中，包含来自高比特率区域512的信息的像素可从高比特率区域512朝向低比特率区域510逐渐地减少。在一些实施方案中，混合内容的高比特率版本的部分与内容项的低比特率版本包括将过渡区域511中的像素分组成单元用于混合。在一些实施方案中，每组分组的像素可包含来自内容项的版本中的一个或另一个的数据。在图5中，过渡区域511的大小和形状仅被示出为实例并且过渡区域511可具有任何大小、形状和厚度。通常，过渡区域511围绕高比特率区域并且包括来自高比特率区域512和低比特率区域510两者的交织的数据，以减少两个区域之间的边界的显现。
接着参考图6A和图6B，示出了三角形单元的示意图。图6A示出分成多个三角形单元的球体。球体可对应于全向和/或沉浸式视频内容的内容区域。在一些实施方案中，每个单元可包括用于混合图像的小单元(unit)。在一些实施方案中，三角形单元更好地适于球体的曲率并且与正方形或矩形单元相比，对人眼较不明显。三角形单元可进一步细分为更小的三角形单元，以在混合中提供可调整的粒度。图6B示出使用三角形单元进行混合。图6B中的单元可表示在内容项的两个版本之间的过渡区域的区段。在图6B中，标有“1”的单元可包含来自内容项的一个版本的数据，并且标有“2”的单元可包含来自内容项的不同版本的数据。在一些实施方案中，图6B中的每个单元可细分成更小的三角形单元以用于更细化的混合。在一些实施方案中，过渡区域可具有任意数目的三角形单元的行或列。在一些实施方案中，图6A和图6B中所示的每个单元可被合并或细分，以形成不同大小的三角形单元，以用于混合图像。
接着参考图7A和图7B，示出了聚焦区域的示意图。在一些实施方案中，可基于内容的可聚焦在观看者视野中的区域来确定观看者的聚焦区域。在图4A和图4B中，聚焦区域近似为椭圆形。在一些实施方案中，聚焦区域可由系统近似为圆形、正方形等。图7A和图7B示出可代表系统使用的聚焦区域的形状的其他形状。图7A中示出的形状近似人类视野的形状，具有两个合并的椭圆，其具有对准的主轴。图7B中所示的形状包括两个椭圆，其具有彼此垂直的主轴。图7B中所示的形状可用来在焦点周围创建缓冲区域。对于人眼来说，竖直或水平移动通常比对角线移动更常见。因此，使用图7B中所示的形状来近似成聚焦区域可允许观看者具有一些竖直或水平的眼部移动而不使其聚焦区域离开高比特率内容区域。在一些实施方案中，在此论述的高比特率内容项的检索部分可对应于图4A-4B、图7A-7B中所示的形状、圆形、正方形、矩形等中的一个或多个。
接着参考图8，示出用于提供和显示内容的系统，所述系统可用于根据本发明的一些实施方案运行、实现和/或执行本文示出和描述的方法和技术中的任一个。所述系统包括通过数据连接(诸如网络)进行通信的内容服务器810和回放设备820。
内容服务器810包括处理器812、存储器813和通信设备814。内容服务器810通常可包括可通过网络(诸如因特网)由回放设备访问的一个或多个基于处理器的设备。在一些实施方案中，内容服务器可包括基于云的服务器、内容主机、流服务主机、媒介服务器、流视频服务器、广播内容服务器、社交网络服务器等中的一个或多个。处理器812可包括控制电路、中央处理器单元、图形处理器单元(GPU)、微处理器、视频解码器、视频编码器等中的一个或多个。存储器813可包括易失性和/或非易失性计算机可读存储器设备中的一个或多个。在一些实施方案中，存储器813存储致使处理器812向回放设备820提供内容的计算机可执行代码。在一些实施方案中，通信设备814可包括网络适配器、数据端口、路由器、调制解调器等中的一个或多个。通常，通信设备814可被配置成允许处理器812与回放设备820通信。在一些实施方案中，处理器812可被配置成基于来自回放设备820的请求向回放设备820提供内容项的低比特率版本和内容项的高比特率版本的一部分。在一些实施方案中，所述请求可包括对所请求的内容项的识别和/或对内容项的观看者的聚焦区域的指示。在一些实施方案中，处理器812可被配置成基于所接收的内容项生成和/或存储内容项的低比特率版本和内容项的高比特率版本的一个或多个部分中的至少一个。
存储器813和/或单独的内容库可存储一个或多个内容项，每个内容项包括具有不同比特率的内容项的至少两个版本。在一些实施方案中，内容服务器810可被配置成将由捕获设备记录的内容以基本上实时的方式流式传输给回放设备820。在一些实施方案中，内容服务器810可被配置成托管多个预先记录的内容项以用于按需流式传输和/或下载至回放设备820。虽然在图8中仅示出一个回放设备820，但是内容服务器810可被配置成通过通信设备814同时从多个捕获设备接收内容和/或向多个回放设备820提供内容。在一些实施方案中，内容服务器810可被配置成在捕获设备与回放设备820之间对等传递视频流。例如，可通过对等网络传递内容项的低比特率版本，而可通过内容服务器810传递高比特率内容项的部分。在一些实施方案中，内容服务器810可被配置成以单独地编码的视频流提供内容项的低比特率版本和内容项的高比特率版本的一部分。
在一些实施方案中，内容服务器810可进一步被配置成在将内容项提供给回放设备820之前预处理所述内容项。在一些实施方案中，内容服务器810可通过在将高比特率内容的一部分提供给回放设备820之前在边缘处包括空的/透明像素来软化内容服务器的高比特率版本的所提取部分的边缘。当将内容项的高比特率版本的预处理部分提供给回放设备820时，回放设备820可通过简单地组合来自两个版本的像素数据来混合视频流，而无需执行进一步的图像处理。在一些实施方案中，内容服务器810可被配置成在将所组合的内容提供给回放设备820之前，组合内容项的低比特率版本和内容的高比特率版本的一部分。
虽然示出一个内容服务器810，但是在一些实施方案中，可在一个或多个基于处理器的设备上实现内容服务器810的功能。在一些实施方案中，可单独地实现用于提供内容的低比特率版本和用于提供内容的高比特率版本的内容服务器810。例如，中央内容服务器可被配置成提供内容的低比特率版本，而多个地理上分散的内容服务器设备可被配置成向回放设备提供内容的高比特率版本的各部分。
回放设备820包括处理器821、存储器823、显示设备825和传感器设备827。在一些实施方案中，回放设备820通常可包括基于处理器的设备，诸如游戏控制台、媒介控制台、机顶盒、个人计算机、平板计算机、电视、头戴式显示器(“HMD”)、增强现实设备、虚拟现实设备、可穿戴设备、便捷式用户设备、智能电话等中的一个或多个。处理器821可包括控制电路、中央处理器单元(CPU)、图形处理器单元(GPU)、微处理器、视频解码器等中的一个或多个。存储器823可包括易失性和/或非易失性计算机可读存储器设备中的一个或多个。在一些实施方案中，存储器823存储致使处理器821确定用户的聚焦区域并且从内容服务器810检索内容项的计算机可执行代码。在一些实施方案中，回放设备820可被配置成从内容服务器810和/或从本地存储装置检索内容项的低比特率版本和高比特率版本的一部分并且组合所述两个版本以生成组合的图像以便通过显示设备825显示给用户。在一些实施方案中，存储器823可包括用于缓冲从内容服务器810检索的内容项的一个或多个版本的缓冲器。在一些实施方案中，存储在存储器823中的计算机可执行代码可包括计算机程序、软件程序、回放设备固件、移动应用程序、游戏和/或媒体控制台应用程序等中的一个或多个。
显示设备825可包括用于向观看者显示内容的设备。在一些实施方案中，显示设备825可包括监视器、电视、头戴式显示器(HMD)、虚拟现实显示设备、可穿戴设备、显示屏、移动设备等中的一个或多个。在一些实施方案中，显示设备825可包括具有一个或多个屏幕的立体显示器。
传感器设备827可包括被配置成确定显示设备825的观看者的焦点和/或区域的一个或多个传感器。在一些实施方案中，传感器设备827可包括用于检测眼部和/或头部移动的图像传感器、光学反射器传感器、距离传感器、肌电图(EMG)传感器和光学流量传感器中的一个或多个。在一些实施方案中，传感器设备827可包括使用加速度计和陀螺仪，有时还有磁力仪的组合来测量并报告身体的特定力、角速率和/或身体周围的磁场的IMU。在一些实施方案中，传感器设备827可耦接到允许传感器通过HMD和/或可穿戴设备的运动来检测用户的头部或眼部运动的HMD和/或可穿戴设备。在一些实施方案中，传感器设备827可包括用于检测用户的头部运动和眼部运动中的一者或多者的光学传感器。在一些实施方案中，传感器可耦接到HMD和/或可穿戴设备，和/或可以是从一定距离处捕获来自观看者的数据的相对静止的设备。
虽然显示设备825被示出为回放设备820的一部分，但是在一些实施方案中，显示设备825可包括具有或不具有单独处理器的单独设备。在一些实施方案中，显示设备825可通过有线或无线通信信道耦接到回放设备820。例如，回放设备820可包括PC或游戏控制台，并且显示设备825可包括被配置成显示来自回放设备820的内容的HMD。在一些实施方案中，传感器设备827可以是回放设备820、显示设备825的一部分，和/或可以是与回放设备820和显示设备825中的一个或多个通信的物理上分离的设备。在一些实施方案中，显示设备825和传感器设备827中的一个或多个可与回放设备820整合成一体。在一些实施方案中，显示设备825还可包括处理器和/或用于至少部分地存储所检索的内容和/或由传感器设备827检测到的观看者的眼部或头部移动的存储器。
在一些实施方案中，回放设备820还可包括用于请求并下载来自内容服务器810和/或捕获设备的内容项的通信设备，诸如网络适配器、Wi-Fi收发器、移动数据网络收发器等。在一些实施方案中，回放设备820还可包括一个或多个用户输入/输出设备，诸如按钮、控制器、键盘、显示屏、触摸屏等以供用户控制内容项的选择和回放。
在一些实施方案中，上文描述的实施方案、方法、途径和/或技术中的一个或多个可在可由基于处理器的装置或系统执行的一个或多个计算机程序或软件应用程序中实现。例如，这类基于处理器的装置或系统可包括计算机、娱乐系统、游戏控制台、工作站、图形工作站、服务器、客户端、便携式设备、垫状设备等。这类计算机程序可用于执行上文描述的方法和/或技术的各种步骤和/或特征。也就是说，计算机程序可适于致使或配置基于处理器的装置或系统执行并实现上述功能。例如，这类计算机程序可用于实现上述方法、步骤、技术或特征的任何实施方案。作为另一个实例，这类计算机程序可用于实现使用上述实施方案、方法、途径和/或技术中的任一个或多个的任意类型的工具或类似实用程序。在一些实施方案中，在计算机程序内或不在计算机程序内的程序代码宏、模块、环路、子例程、调用等可用于执行上述方法和/或技术的各种步骤和/或特征。在一些实施方案中，计算机程序可存储或体现在计算机可读存储或记录介质或媒介(诸如本文描述的计算机可读存储或记录介质或媒介中的任一个)上。
因此，在一些实施方案中，本发明提供一种计算机程序产品，所述计算机程序产品包括：用于具体实施输入计算机的计算机程序的介质；以及计算机程序，所述计算机程序具体实施在所述介质中，以使所述计算机执行包括本文所述实施方案、方法、方式和/或技术中的任何一个或多个所涉及的步骤中的任何一个或多个的步骤。例如，在一些实施方案中，本发明提供存储一个或多个计算机程序的非暂态计算机可读存储介质，所述一个或多个计算机程序被配置成使基于处理器的装置或系统执行包括如下的步骤：确定显示在显示设备上的内容项的观看者的聚焦区域；检索所述内容项的低比特率版本；检索所述内容项的对应于所述聚焦区域的高比特率版本的一部分；组合所述内容的所述高比特率版本的所述部分与所述内容项的所述低比特率版本以生成组合的图像；以及使所述组合的图像通过所述显示设备显示给所述观看者。
虽然已经借助于特定实施方案和应用描述本文公开的发明，但是在不背离权利要求书中阐明的本发明的范围的情况下，本领域的技术人员可对本发明进行许多修改和变更。

Claims (25)

1.一种用于显示内容的方法，其包括：
确定显示在显示设备上的内容项的观看者的聚焦区域；
检索所述内容项的低比特率版本；
检索所述内容项的对应于所述聚焦区域的高比特率版本的一部分；
组合所述内容项的所述高比特率版本的所述部分与所述内容项的所述低比特率版本以生成组合的图像；以及
使所述组合的图像通过所述显示设备显示给所述观看者；
其中在检索之前预处理所述内容项的所述高比特率版本的所述部分，以准备所述部分的用于与所述内容项的所述低比特率版本混合的边缘。
2.如权利要求1所述的方法，其中基于包括眼部跟踪传感器或头部跟踪传感器中的一个或多个的传感器设备来确定所述聚焦区域。
3.如权利要求1所述的方法，其中基于检测到的焦点或预测的未来焦点中的一个或多个来确定所述聚焦区域。
4.如权利要求1所述的方法，其还包括：
响应于检测到所述观看者的所述聚焦区域的改变，检索所述内容项的所述高比特率版本的不同部分。
5.如权利要求1所述的方法，其还包括：
向内容服务器发送内容请求，其中所述内容请求包括所述聚焦区域的指示。
6.如权利要求1所述的方法，其中组合所述内容项的所述高比特率版本的所述部分与所述内容项的所述低比特率版本包括在所述内容的所述高比特率版本的所述部分与所述内容的所述低比特率版本之间生成过渡区域以混合所述内容的所述高比特率版本的所述部分和所述内容的所述低比特率版本。
7.如权利要求1-6中任一项所述的方法，其中组合所述内容项的所述高比特率版本的所述部分与所述内容项的所述低比特率版本包括将像素分组成三角形单元以用于混合。
8.如权利要求1-6中任一项所述的方法，其中将所述内容项的所述高比特率版本的所述部分和所述内容项的所述低比特率版本作为两个单独地编码的视频流来加以检索。
9.如权利要求1-6中任一项所述的方法，其中所述内容项包括沉浸式内容或全向视频中的一个或多个。
10.如权利要求1-6中任一项所述的方法，其中所述内容项的所述低比特率版本包括与所述内容项的所述高比特率版本相比，更低的分辨率、帧速率或压缩质量中的一者或多者。
11.一种用于显示内容的系统，其包括：
显示设备；
传感器设备；以及
处理器，所述处理器耦接到所述显示设备和所述传感器设备，所述处理器被配置成：
利用所述传感器设备来确定显示在所述显示设备上的内容项的观看者的聚焦区域；
检索所述内容项的低比特率版本；
检索所述内容项的对应于所述聚焦区域的高比特率版本的一部分；
组合所述内容项的所述高比特率版本的所述部分与所述内容项的所述低比特率版本以生成组合的图像；以及
使所述组合的图像通过所述显示设备显示给所述观看者；
其中在检索之前预处理所述内容项的所述高比特率版本的所述部分，以准备所述部分的用于与所述内容项的所述低比特率版本混合的边缘。
12.如权利要求11所述的系统，其中所述传感器设备包括眼部跟踪传感器或头部跟踪传感器中的一个或多个。
13.如权利要求11所述的系统，其中基于检测到的焦点或预测的未来焦点中的一个或多个来确定所述聚焦区域。
14.如权利要求11所述的系统，其中所述处理器进一步被配置来：
响应于检测到所述观看者的所述聚焦区域的改变，检索所述内容项的所述高比特率版本的不同部分。
15.如权利要求11所述的系统，其中所述处理器进一步被配置来：
向内容服务器发送内容请求，其中所述内容请求包括所述聚焦区域的指示。
16.如权利要求11所述的系统，其中组合所述内容项的所述高比特率版本的所述部分与所述内容项的所述低比特率版本包括在所述内容的所述高比特率版本的所述部分与所述内容的所述低比特率版本之间生成过渡区域以混合所述内容的所述高比特率版本的所述部分和所述内容的所述低比特率版本。
17.如权利要求11-16中任一项所述的系统，其中组合所述内容项的所述高比特率版本的所述部分与所述内容项的所述低比特率版本包括将像素分组成三角形单元以用于混合。
18.如权利要求11-16中任一项所述的系统，其中将所述内容项的所述高比特率版本的所述部分和所述内容项的所述低比特率版本作为两个单独地编码的视频流来加以检索。
19.如权利要求11-16中任一项所述的系统，其中所述内容项包括沉浸式内容或全向视频中的一个或多个。
20.如权利要求11-16中任一项所述的系统，其中所述显示设备包括头戴式显示器、虚拟现实显示设备、增强现实显示设备或显示屏中的一个或多个。
21.一种存储一个或多个计算机程序的非暂态计算机可读存储介质，所述一个或多个计算机程序被配置为致使基于处理器的系统执行包括以下各项的步骤：
确定显示在显示设备上的内容项的观看者的聚焦区域；
检索所述内容项的低比特率版本；
检索所述内容项的对应于所述聚焦区域的高比特率版本的一部分；
组合所述内容项的所述高比特率版本的所述部分与所述内容项的所述低比特率版本以生成组合的图像；以及
使所述组合的图像通过所述显示设备显示给所述观看者；
其中在检索之前预处理所述内容项的所述高比特率版本的所述部分，以准备所述部分的用于与所述内容项的所述低比特率版本混合的边缘。
22.一种用于提供内容的方法，其包括：
接收内容项；
生成所述内容项的低比特率版本；
从回放设备接收内容请求，所述内容请求包括观看者聚焦区域的指示；
基于所述观看者聚焦区域来选择所述内容项的高比特率版本的一部分；
预处理所述内容项的所述高比特率版本的所述部分，以准备所述部分的用于与所述内容项的所述低比特率版本混合的边缘；以及
响应于所述内容请求向所述回放设备提供所述内容项的所述低比特率版本和所述内容项的所述高比特率版本的所述部分。
23.如权利要求22所述的方法，还包括：
在向所述回放设备提供所述内容之前，单独地编码所述内容项的所述低比特率版本和所述内容项的所述高比特率版本的所述部分。
24.如权利要求22或23所述的方法，其还包括：
从所述内容项的所述高比特率版本提取多个部分；以及
高速缓存所述内容项的所述高比特率版本的所述多个部分中的一个或多个用于由多个回放设备检索。
25.一种用于提供内容的系统，其包括：
存储器设备；
通信设备；以及
处理器，所述处理器耦接到所述存储器设备和所述通信设备，所述处理器被配置成：
接收内容项；
生成所述内容项的低比特率版本；
将所述内容项的高比特率版本和所述内容项的所述低比特率版本存储在所述存储器设备上；
通过所述通信设备从回放设备接收内容请求，所述内容请求包括观看者聚焦区域的指示；
基于所述观看者聚焦区域来选择所述内容项的所述高比特率版本的一部分；
预处理所述内容项的所述高比特率版本的所述部分，以准备所述部分的用于与所述内容项的所述低比特率版本混合的边缘；以及
响应于所述内容请求向所述回放设备提供所述内容项的所述低比特率版本和所述内容项的所述高比特率版本的所述部分。
CN201780039760.5A 2016-06-30 2017-05-30 用于提供和显示内容的装置和方法 Active CN109417624B (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201662357259P 2016-06-30 2016-06-30
US62/357,259 2016-06-30
US201662374687P 2016-08-12 2016-08-12
US62/374,687 2016-08-12
US15/280,962 2016-09-29
US15/280,962 US10805592B2 (en) 2016-06-30 2016-09-29 Apparatus and method for gaze tracking
US15/280,933 2016-09-29
US15/280,947 2016-09-29
US15/280,933 US11089280B2 (en) 2016-06-30 2016-09-29 Apparatus and method for capturing and displaying segmented content
US15/280,947 US20180007422A1 (en) 2016-06-30 2016-09-29 Apparatus and method for providing and displaying content
PCT/US2017/035060 WO2018004936A1 (en) 2016-06-30 2017-05-30 Apparatus and method for providing and displaying content

Publications (2)

Publication Number Publication Date
CN109417624A CN109417624A (zh) 2019-03-01
CN109417624B true CN109417624B (zh) 2024-01-23

Family

ID=60807030

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780039518.8A Active CN109416931B (zh) 2016-06-30 2017-05-30 用于视线跟踪的装置和方法
CN201780039760.5A Active CN109417624B (zh) 2016-06-30 2017-05-30 用于提供和显示内容的装置和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201780039518.8A Active CN109416931B (zh) 2016-06-30 2017-05-30 用于视线跟踪的装置和方法

Country Status (5)

Country Link
US (3) US11089280B2 (zh)
EP (2) EP3479574A4 (zh)
JP (4) JP6859372B2 (zh)
KR (2) KR102294098B1 (zh)
CN (2) CN109416931B (zh)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
US10055892B2 (en) 2014-11-16 2018-08-21 Eonite Perception Inc. Active region determination for head mounted displays
US10291845B2 (en) * 2015-08-17 2019-05-14 Nokia Technologies Oy Method, apparatus, and computer program product for personalized depth of field omnidirectional video
JP6404196B2 (ja) 2015-09-16 2018-10-10 グリー株式会社 仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法
US11089280B2 (en) 2016-06-30 2021-08-10 Sony Interactive Entertainment Inc. Apparatus and method for capturing and displaying segmented content
US11017712B2 (en) 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
US9928660B1 (en) * 2016-09-12 2018-03-27 Intel Corporation Hybrid rendering for a wearable display attached to a tethered computer
CN108616751B (zh) * 2016-12-12 2023-05-12 上海交通大学 媒体信息的处理方法、装置及系统
US11290699B2 (en) * 2016-12-19 2022-03-29 Dolby Laboratories Licensing Corporation View direction based multilevel low bandwidth techniques to support individual user experiences of omnidirectional video
WO2018129186A1 (en) * 2017-01-04 2018-07-12 Nvidia Corporation Stereoscopic rendering using raymarching and a virtual view broadcaster for such rendering
US11119567B2 (en) * 2017-03-23 2021-09-14 Interdigital Ce Patent Holdings Method and apparatus for providing immersive reality content
US10979663B2 (en) * 2017-03-30 2021-04-13 Yerba Buena Vr, Inc. Methods and apparatuses for image processing to optimize image resolution and for optimizing video streaming bandwidth for VR videos
CN107396081B (zh) * 2017-06-19 2019-04-12 深圳市铂岩科技有限公司 针对全景视频的优化编码方法及装置
GB2564866B (en) * 2017-07-24 2021-07-28 Advanced Risc Mach Ltd Method of and data processing system for providing an output surface
US10585277B2 (en) * 2017-08-31 2020-03-10 Tobii Ab Systems and methods for tracking a gaze of a user across a multi-display arrangement
US11451881B2 (en) * 2017-12-15 2022-09-20 Interdigital Madison Patent Holdings, Sas Method for using viewing paths in navigation of 360 degree videos
US10805653B2 (en) * 2017-12-26 2020-10-13 Facebook, Inc. Accounting for locations of a gaze of a user within content to select content for presentation to the user
KR20200106547A (ko) * 2018-01-18 2020-09-14 밸브 코포레이션 센서 집적 회로들을 포함하는 머리-착용 디스플레이들에 대한 위치 추적 시스템
TWI678920B (zh) * 2018-05-23 2019-12-01 宏碁股份有限公司 影片處理裝置、其影片處理方法及電腦程式產品
CN110557652A (zh) * 2018-05-30 2019-12-10 宏碁股份有限公司 视频处理装置及其视频处理方法
US11048464B2 (en) * 2018-07-31 2021-06-29 Dell Products, L.P. Synchronization and streaming of workspace contents with audio for collaborative virtual, augmented, and mixed reality (xR) applications
GB2576213A (en) * 2018-08-10 2020-02-12 Sony Corp A method for mapping an object to a location in virtual space
GB2576211A (en) 2018-08-10 2020-02-12 Sony Corp A method for mapping an object to a location in virtual space
GB2576910B (en) * 2018-09-06 2021-10-20 Sony Interactive Entertainment Inc User profile generating system and method
GB2576905B (en) * 2018-09-06 2021-10-27 Sony Interactive Entertainment Inc Gaze input System and method
GB2576904B (en) * 2018-09-06 2021-10-20 Sony Interactive Entertainment Inc Content modification system and method
US10855978B2 (en) * 2018-09-14 2020-12-01 The Toronto-Dominion Bank System and method for receiving user input in virtual/augmented reality
US10833945B2 (en) * 2018-11-13 2020-11-10 International Business Machines Corporation Managing downloading of content
US10939139B2 (en) * 2018-11-29 2021-03-02 Apple Inc. Adaptive coding and streaming of multi-directional video
US11032607B2 (en) * 2018-12-07 2021-06-08 At&T Intellectual Property I, L.P. Methods, devices, and systems for embedding visual advertisements in video content
US20200195944A1 (en) * 2018-12-14 2020-06-18 Advanced Micro Devices, Inc. Slice size map control of foveated coding
JP7219620B2 (ja) * 2019-01-23 2023-02-08 株式会社近江デジタルファブリケーションズ 配信画像生成方法
SE543121C2 (en) 2019-02-04 2020-10-13 Tobii Ab Method and system for determining a current gaze direction
CN112423108B (zh) * 2019-08-20 2023-06-30 中兴通讯股份有限公司 码流的处理方法、装置、第一终端、第二终端及存储介质
US11481026B2 (en) * 2019-08-22 2022-10-25 Samsung Electronics Co., Ltd. Immersive device and method for streaming of immersive media
US11307655B2 (en) 2019-09-19 2022-04-19 Ati Technologies Ulc Multi-stream foveal display transport
US11956295B2 (en) 2019-09-27 2024-04-09 Apple Inc. Client-end enhanced view prediction for multi-view video streaming exploiting pre-fetched data and side information
US20230011586A1 (en) * 2019-12-09 2023-01-12 Telefonaktiebolaget Lm Ericsson (Publ) Electronic device, server and methods for viewport prediction based on head and eye gaze
US11284141B2 (en) 2019-12-18 2022-03-22 Yerba Buena Vr, Inc. Methods and apparatuses for producing and consuming synchronized, immersive interactive video-centric experiences
GB2596541B (en) * 2020-06-30 2023-09-13 Sony Interactive Entertainment Inc Video processing
US11410272B2 (en) * 2020-07-01 2022-08-09 Facebook Technologies, Llc. Dynamic uniformity correction
US20220070235A1 (en) * 2020-08-28 2022-03-03 Tmrw Foundation Ip S.Àr.L. System and method enabling interactions in virtual environments with virtual presence
US20220103655A1 (en) * 2020-09-29 2022-03-31 International Business Machines Corporation Proactively selecting virtual reality content contexts
CN114513669A (zh) * 2020-11-16 2022-05-17 华为云计算技术有限公司 视频编码及视频播放方法、装置和系统
US11630509B2 (en) * 2020-12-11 2023-04-18 Microsoft Technology Licensing, Llc Determining user intent based on attention values
WO2023095456A1 (ja) * 2021-11-29 2023-06-01 株式会社Ｎｔｔドコモ レコメンド装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4208811A (en) * 1978-11-30 1980-06-24 Enrique Junowicz Display with overlapping picture elements
US6078349A (en) * 1995-06-07 2000-06-20 Compaq Computer Corporation Process and system for increasing the display resolution of a point-to-point video transmission relative to the actual amount of video data sent
CN1964437A (zh) * 2003-02-07 2007-05-16 夏普株式会社 焦点状态显示设备和焦点状态显示方法
CN102037489A (zh) * 2008-05-21 2011-04-27 皇家飞利浦电子股份有限公司 图像分辨率增强
CN102540464A (zh) * 2010-11-18 2012-07-04 微软公司 提供环绕视频的头戴式显示设备
CN102591016A (zh) * 2010-12-17 2012-07-18 微软公司 用于扩展现实显示的优化聚焦区
FR2976149A1 (fr) * 2011-12-13 2012-12-07 Thomson Licensing Dispositif d'obtention de contenus en mode streaming en fonction de la distance ecran/observateur, et recepteur de contenus associe
CN103688304A (zh) * 2011-07-12 2014-03-26 高通股份有限公司 显示静态图像
CN104272289A (zh) * 2012-03-13 2015-01-07 谷歌公司 预测性自适应媒体流式传输

Family Cites Families (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6331869B1 (en) 1998-08-07 2001-12-18 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
JPH10271499A (ja) 1997-03-26 1998-10-09 Sanyo Electric Co Ltd 画像領域を用いる画像処理方法、その方法を用いた画像処理装置および画像処理システム
US20030011619A1 (en) 1997-10-08 2003-01-16 Robert S. Jacobs Synchronization and blending of plural images into a seamless combined image
JP3511462B2 (ja) 1998-01-29 2004-03-29 インターナショナル・ビジネス・マシーンズ・コーポレーション 操作画像表示装置およびその方法
CA2371349A1 (en) 1998-05-13 1999-11-18 Scott Gilbert Panoramic movies which simulate movement through multidimensional space
JP2001008232A (ja) 1999-06-25 2001-01-12 Matsushita Electric Ind Co Ltd 全方位映像出力方法と装置
CA2411852A1 (en) 2000-06-09 2001-12-13 Imove, Inc. Streaming panoramic video
US6559846B1 (en) 2000-07-07 2003-05-06 Microsoft Corporation System and process for viewing panoramic video
US6788333B1 (en) * 2000-07-07 2004-09-07 Microsoft Corporation Panoramic video
JP2002183212A (ja) 2000-12-19 2002-06-28 Fuji Xerox Co Ltd 電子文書加工システム、電子文書加工方法、及び、コンピュータ読取り可能な記録媒体
EP1410621A1 (en) 2001-06-28 2004-04-21 Omnivee Inc. Method and apparatus for control and processing of video images
US7714880B2 (en) 2001-11-16 2010-05-11 Honeywell International Inc. Method and apparatus for displaying images on a display
JP2004056335A (ja) 2002-07-18 2004-02-19 Sony Corp 情報処理装置および方法、表示装置および方法、並びにプログラム
EP1602322A1 (en) 2004-06-02 2005-12-07 SensoMotoric Instruments GmbH Method and apparatus for eye tracking latency reduction
US8232962B2 (en) * 2004-06-21 2012-07-31 Trading Technologies International, Inc. System and method for display management based on user attention inputs
US7456377B2 (en) 2004-08-31 2008-11-25 Carl Zeiss Microimaging Ais, Inc. System and method for creating magnified images of a microscope slide
JP2006171822A (ja) 2004-12-13 2006-06-29 Nippon Telegr & Teleph Corp <Ntt> コンテンツ配信方法
US20060256133A1 (en) 2005-11-05 2006-11-16 Outland Research Gaze-responsive video advertisment display
US20070153023A1 (en) 2006-01-04 2007-07-05 Computer Associates Think, Inc. System and method of temporal anti-aliasing
US20070188521A1 (en) * 2006-02-15 2007-08-16 Miller Steven D Method and apparatus for three dimensional blending
US9250703B2 (en) * 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
IL175835A0 (en) 2006-05-22 2007-07-04 Rafael Armament Dev Authority Methods and systems for communicating and displaying points-of-interest
US8446509B2 (en) 2006-08-09 2013-05-21 Tenebraex Corporation Methods of creating a virtual window
SE0602545L (en) 2006-11-29 2008-05-30 Tobii Technology Ab Eye tracking illumination
JP4863936B2 (ja) * 2007-06-25 2012-01-25 株式会社ソニー・コンピュータエンタテインメント 符号化処理装置および符号化処理方法
JP4897600B2 (ja) 2007-07-19 2012-03-14 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
US20090074084A1 (en) 2007-09-18 2009-03-19 David Drezner Method and System for Adaptive Preprocessing for Video Encoder
US20090129693A1 (en) * 2007-11-15 2009-05-21 Bloebaum L Scott System and method for generating a photograph with variable image quality
US8760574B2 (en) * 2008-04-30 2014-06-24 Broadcom Corporation Image processing methods and systems for frame rate conversion
US20090278921A1 (en) 2008-05-12 2009-11-12 Capso Vision, Inc. Image Stabilization of Video Play Back
US7850306B2 (en) * 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
JP4775671B2 (ja) 2008-12-26 2011-09-21 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP5595027B2 (ja) 2009-12-11 2014-09-24 三菱電機株式会社 情報表示処理装置
US8914305B2 (en) 2010-06-30 2014-12-16 Trading Technologies International, Inc. Method and apparatus for motion based target prediction and interaction
WO2012015460A1 (en) 2010-07-26 2012-02-02 Thomson Licensing Dynamic adaptation of displayed video quality based on viewers' context
US8487959B1 (en) * 2010-08-06 2013-07-16 Google Inc. Generating simulated eye movement traces for visual displays
US9057587B2 (en) * 2010-08-19 2015-06-16 Evrio, Inc. Display indicating aiming point using intermediate point in trajectory path
US9232257B2 (en) 2010-09-22 2016-01-05 Thomson Licensing Method for navigation in a panoramic scene
JP5544426B2 (ja) * 2010-09-24 2014-07-09 株式会社Ｇｎｚｏ 映像ビットストリームの伝送システム
US8493390B2 (en) * 2010-12-08 2013-07-23 Sony Computer Entertainment America, Inc. Adaptive displays using gaze tracking
JP2012124784A (ja) 2010-12-09 2012-06-28 Canon Marketing Japan Inc 動画再生システム
EP2472867A1 (en) 2010-12-30 2012-07-04 Advanced Digital Broadcast S.A. Coding and decoding of multiview videos
US9247312B2 (en) 2011-01-05 2016-01-26 Sonic Ip, Inc. Systems and methods for encoding source media in matroska container files for adaptive bitrate streaming using hypertext transfer protocol
JP5678324B2 (ja) * 2011-02-10 2015-03-04 パナソニックＩｐマネジメント株式会社 表示装置、コンピュータプログラム、及び表示方法
US20160286119A1 (en) 2011-04-18 2016-09-29 360fly, Inc. Mobile Device-Mountable Panoramic Camera System and Method of Displaying Images Captured Therefrom
CA2833544A1 (en) 2011-04-18 2012-10-26 Eyesee360, Inc. Apparatus and method for panoramic video imaging with mobile computing devices
US8683013B2 (en) 2011-04-18 2014-03-25 Cisco Technology, Inc. System and method for data streaming in a computer network
CN103493105B (zh) 2011-04-25 2017-04-05 林光雄 全方位图像编辑程序及全方位图像编辑装置
JP5918618B2 (ja) 2011-06-03 2016-05-18 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
US8184069B1 (en) * 2011-06-20 2012-05-22 Google Inc. Systems and methods for adaptive transmission of data
US8636361B2 (en) * 2011-07-20 2014-01-28 National Taiwan University Learning-based visual attention prediction system and method thereof
US9897805B2 (en) * 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
WO2013032955A1 (en) * 2011-08-26 2013-03-07 Reincloud Corporation Equipment, systems and methods for navigating through multiple reality models
US8990682B1 (en) * 2011-10-05 2015-03-24 Google Inc. Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
EP2615834A1 (en) 2012-01-16 2013-07-17 Thomson Licensing Dealiasing method and device for 3D view synthesis
US9082011B2 (en) 2012-03-28 2015-07-14 Texas State University—San Marcos Person identification using ocular biometrics with liveness detection
US20130271565A1 (en) 2012-04-16 2013-10-17 Qualcomm Incorporated View synthesis based on asymmetric texture and depth resolutions
US20150172544A1 (en) 2012-07-04 2015-06-18 Zhipin Deng Panorama based 3d video coding
US20150193395A1 (en) * 2012-07-30 2015-07-09 Google Inc. Predictive link pre-loading
US9164580B2 (en) * 2012-08-24 2015-10-20 Microsoft Technology Licensing, Llc Calibration of eye tracking system
US20140087877A1 (en) 2012-09-27 2014-03-27 Sony Computer Entertainment Inc. Compositing interactive video game graphics with pre-recorded background video content
US9176581B2 (en) * 2012-09-28 2015-11-03 Intel Corporation System and method for inferring user intent based on eye movement during observation of a display screen
JP2014072608A (ja) 2012-09-28 2014-04-21 Brother Ind Ltd 情報処理システム、情報処理装置、表示装置、及びプログラム
JP5923021B2 (ja) 2012-10-05 2016-05-24 日本電信電話株式会社 映像視聴履歴解析装置、映像視聴履歴解析方法及び映像視聴履歴解析プログラム
US9886177B2 (en) * 2012-10-11 2018-02-06 Industry-Academic Cooperation Foundation, Yonsei University Method for increasing GUI response speed of user device through data preloading, and said user device
WO2014061017A1 (en) * 2012-10-15 2014-04-24 Umoove Services Ltd. System and method for content provision using gaze analysis
US8990843B2 (en) * 2012-10-26 2015-03-24 Mobitv, Inc. Eye tracking based defocusing
GB2509953B (en) 2013-01-18 2015-05-20 Canon Kk Method of displaying a region of interest in a video stream
US9665171B1 (en) 2013-03-04 2017-05-30 Tobii Ab Gaze and saccade based graphical manipulation
US9948970B2 (en) 2013-03-15 2018-04-17 Cox Communications, Inc. Systems, methods, and apparatus for accessing recordings of content items on multiple customer devices
AU2013206560A1 (en) 2013-06-27 2015-01-22 Canon Kabushiki Kaisha Method, system and apparatus for rendering
CN108209857B (zh) 2013-09-03 2020-09-11 托比股份公司 便携式眼睛追踪设备
US20150142884A1 (en) 2013-11-21 2015-05-21 Microsoft Corporation Image Sharing for Online Collaborations
JP6407526B2 (ja) 2013-12-17 2018-10-17 キヤノンメディカルシステムズ株式会社 医用情報処理システム、医用情報処理方法及び情報処理システム
EP2894852A1 (en) 2014-01-14 2015-07-15 Alcatel Lucent Process for increasing the quality of experience for users that watch on their terminals a high definition video stream
US9313481B2 (en) 2014-02-19 2016-04-12 Microsoft Technology Licensing, Llc Stereoscopic display responsive to focal-point shift
US10264211B2 (en) 2014-03-14 2019-04-16 Comcast Cable Communications, Llc Adaptive resolution in software applications based on dynamic eye tracking
US9530450B2 (en) * 2014-03-18 2016-12-27 Vixs Systems, Inc. Video system with fovea tracking and methods for use therewith
US9462230B1 (en) 2014-03-31 2016-10-04 Amazon Technologies Catch-up video buffering
EP3149937A4 (en) 2014-05-29 2018-01-10 NEXTVR Inc. Methods and apparatus for delivering content and/or playing back content
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
US9489739B2 (en) 2014-08-13 2016-11-08 Empire Technology Development Llc Scene analysis for improved eye tracking
US9552062B2 (en) 2014-09-05 2017-01-24 Echostar Uk Holdings Limited Gaze-based security
US10007333B2 (en) * 2014-11-07 2018-06-26 Eye Labs, LLC High resolution perception of content in a wide field of view of a head-mounted display
US9876780B2 (en) 2014-11-21 2018-01-23 Sonos, Inc. Sharing access to a media service
US9877016B2 (en) 2015-05-27 2018-01-23 Google Llc Omnistereo capture and render of panoramic virtual reality content
DE112016002377T5 (de) 2015-05-27 2018-02-08 Google Llc Streamen von sphärischem video
IN2015CH02866A (zh) 2015-06-09 2015-07-17 Wipro Ltd
US9704298B2 (en) 2015-06-23 2017-07-11 Paofit Holdings Pte Ltd. Systems and methods for generating 360 degree mixed reality environments
US9681046B2 (en) * 2015-06-30 2017-06-13 Gopro, Inc. Image stitching in a multi-camera array
US9857871B2 (en) 2015-09-04 2018-01-02 Sony Interactive Entertainment Inc. Apparatus and method for dynamic graphics rendering based on saccade detection
US10099122B2 (en) 2016-03-30 2018-10-16 Sony Interactive Entertainment Inc. Head-mounted display tracking
US10462466B2 (en) * 2016-06-20 2019-10-29 Gopro, Inc. Systems and methods for spatially selective video coding
US10095937B2 (en) 2016-06-21 2018-10-09 GM Global Technology Operations LLC Apparatus and method for predicting targets of visual attention
US11089280B2 (en) 2016-06-30 2021-08-10 Sony Interactive Entertainment Inc. Apparatus and method for capturing and displaying segmented content
KR102560029B1 (ko) 2016-09-12 2023-07-26 삼성전자주식회사 가상 현실 콘텐트를 송수신하는 방법 및 장치
US10341658B2 (en) 2017-01-30 2019-07-02 Intel Corporation Motion, coding, and application aware temporal and spatial filtering for video pre-processing

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4208811A (en) * 1978-11-30 1980-06-24 Enrique Junowicz Display with overlapping picture elements
US6078349A (en) * 1995-06-07 2000-06-20 Compaq Computer Corporation Process and system for increasing the display resolution of a point-to-point video transmission relative to the actual amount of video data sent
CN1964437A (zh) * 2003-02-07 2007-05-16 夏普株式会社 焦点状态显示设备和焦点状态显示方法
CN102037489A (zh) * 2008-05-21 2011-04-27 皇家飞利浦电子股份有限公司 图像分辨率增强
CN102540464A (zh) * 2010-11-18 2012-07-04 微软公司 提供环绕视频的头戴式显示设备
CN102591016A (zh) * 2010-12-17 2012-07-18 微软公司 用于扩展现实显示的优化聚焦区
CN103688304A (zh) * 2011-07-12 2014-03-26 高通股份有限公司 显示静态图像
FR2976149A1 (fr) * 2011-12-13 2012-12-07 Thomson Licensing Dispositif d'obtention de contenus en mode streaming en fonction de la distance ecran/observateur, et recepteur de contenus associe
CN104272289A (zh) * 2012-03-13 2015-01-07 谷歌公司 预测性自适应媒体流式传输

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于交互式感兴趣区域的教学视频编码;刘俊宏;陈耀武;;计算机应用研究(第10期);全文 *

Also Published As

Publication number Publication date
EP3479257A4 (en) 2020-02-26
KR20190022851A (ko) 2019-03-06
JP6944564B2 (ja) 2021-10-06
JP7029562B2 (ja) 2022-03-03
JP2021103327A (ja) 2021-07-15
US11089280B2 (en) 2021-08-10
KR20210000761A (ko) 2021-01-05
JP6686186B2 (ja) 2020-04-22
CN109417624A (zh) 2019-03-01
US20180007422A1 (en) 2018-01-04
EP3479574A4 (en) 2020-02-26
JP2019521388A (ja) 2019-07-25
JP2019525305A (ja) 2019-09-05
EP3479257A1 (en) 2019-05-08
JP2020123962A (ja) 2020-08-13
EP3479574A1 (en) 2019-05-08
CN109416931A (zh) 2019-03-01
CN109416931B (zh) 2023-05-16
KR102294098B1 (ko) 2021-08-26
US10805592B2 (en) 2020-10-13
US20180004285A1 (en) 2018-01-04
JP6859372B2 (ja) 2021-04-14
US20180007339A1 (en) 2018-01-04

Similar Documents

Publication Publication Date Title
CN109417624B (zh) 用于提供和显示内容的装置和方法
US10536693B2 (en) Analytic reprocessing for data stream system and method
US11924394B2 (en) Methods and apparatus for receiving and/or using reduced resolution images
US20160277772A1 (en) Reduced bit rate immersive video
US11653065B2 (en) Content based stream splitting of video data
CN113170234B (zh) 多向视频的自适应编码和流式传输方法、系统和存储介质
US20190104330A1 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
WO2018004936A1 (en) Apparatus and method for providing and displaying content
Reznik User-adaptive mobile video streaming using MPEG-DASH
KR102251576B1 (ko) 관심 영역 기반의 vr 영상 수신 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant