CN105939482B - 视频流式传输方法 - Google Patents

视频流式传输方法 Download PDF

Info

Publication number
CN105939482B
CN105939482B CN201610125689.XA CN201610125689A CN105939482B CN 105939482 B CN105939482 B CN 105939482B CN 201610125689 A CN201610125689 A CN 201610125689A CN 105939482 B CN105939482 B CN 105939482B
Authority
CN
China
Prior art keywords
resolution ratio
visual field
subflow
resolution
adjusting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610125689.XA
Other languages
English (en)
Other versions
CN105939482A (zh
Inventor
K·罗伊梅拉
由宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=52998388&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN105939482(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN105939482A publication Critical patent/CN105939482A/zh
Application granted granted Critical
Publication of CN105939482B publication Critical patent/CN105939482B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092—Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G3/2096—Details of the interface to the display terminal specific for a flat panel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/391—Resolution modifying circuits, e.g. variable screen formats
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4516—Management of client data or end-user data involving client characteristics, e.g. Set-Top-Box type, software version or amount of memory available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/08—Details of timing specific for flat panels, other than clock recovery
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H04N5/7408—Direct viewing projectors, e.g. an image displayed on a video CRT or LCD display being projected on a screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H04N5/7475—Constructional details of television projection apparatus
    • H04N5/7491—Constructional details of television projection apparatus of head mounted projectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Security & Cryptography (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明涉及一种视频流式传输方法，包括：接收全景视频；接收头部跟踪数据；基于头部跟踪数据来确定当前的视场。可以基于当前的视场来调节全景视频的分辨率，其中当前的视场的分辨率是第一分辨率并且当前的视场外部的分辨率是第二分辨率。可以提供具有经调节的分辨率的全景视频，其中第一分辨率高于第二分辨率。

Description

视频流式传输方法
背景技术
多媒体技术在近些年期间已经显著地改进。例如，有可能通过网络对媒体进行流式传输(stream)。这意味着，多媒体(例如，视频)被用户接收并且同时被呈现给用户。
注意到，通过网络对具有高分辨率的视频进行流式传输施加了大带宽的要求。因此，需要解决方案来改进流式传输。
发明内容
现在已经发明了一种改进的方法以及实施该方法的技术装备，上述问题通过它们而被缓解。本发明的各种方面包括一种方法、一种装置、以及一种计算机可读介质，该计算机可读介质包括存储在其中的计算机程序，它们以独立权利要求中所陈述的内容为特性。在从属权利要求中公开了本发明的各种实施例。
这里描述的非限制性示例涉及将超高清全景视频流式传输到头部穿戴式显示器中。通过网络来流式传输超高清视频施加了大带宽的要求。在一些流式传输情形中，没有必要利用视频内容的全分辨率。例如，在具有宽视场的全景视频的流式传输中，用户的注意力一次通常聚焦在视频的一部分或者子片段中。因此，本文提出了一种自适应的流式传输方法，其中用户当前正在查看的视场的部分可以相比于当前的视场外部的部分而言用较高的分辨率来流式传输。这种流式传输可以提供用以节省带宽的方式。
根据第一方面，提供了一种流式传输方法，包括：接收全景视频；接收头部跟踪数据；基于头部跟踪数据来确定当前的视场；基于当前的视场来调节全景视频的分辨率，其中当前的视场的分辨率是第一分辨率并且当前的视场外部的分辨率是第二分辨率；以及提供具有经调节的分辨率的全景视频，其中第一分辨率高于第二分辨率。替换地或者另外地，可以有可能预测用户在不远的未来将会观看的地方，并且相应地对预测的视场的分辨率进行适配。
根据一种实施例，该方法进一步包括：基于头部跟踪数据来确定预测的视场；基于预测的视场来调节全景视频的分辨率，其中预测的视场的分辨率是第三分辨率；以及提供具有经调节的分辨率的全景视频，其中第三分辨率低于第一分辨率并且高于第二分辨率。
根据一种实施例，该方法进一步包括：将全景视频划分为两个或更多子流，其中至少一个子流位于当前的视场中，并且至少一个子流位于当前的视场外部；调节位于当前的视场外部的该至少一个子流的分辨率；以及提供具有经调节的分辨率的全景视频，其中位于当前的视场中的该至少一个子流的经调节的分辨率高于位于当前的视场外部的该至少一个子流的经调节的分辨率。
根据一种实施例，该方法进一步包括：确定位于预测的视场中的至少一个子流；以及调节位于预测的视场中的该至少一个子流的分辨率，其中位于预测的视场中的该至少一个子流的经调节的分辨率高于位于当前的视场和预测的视场外部的该至少一个子流的经调节的分辨率、并且低于位于当前的视场中的该至少一个子流。
根据一种实施例，该方法进一步包括：确定头部跟踪数据的置信度；以及基于头部跟踪数据的置信度来缩放全景视频的分辨率。
根据一种实施例，该方法进一步包括：在头部跟踪数据中或者连同头部跟踪数据一起接收注视跟踪数据；以及基于注视跟踪数据来执行所述缩放。
根据一种实施例，该方法进一步包括：确定视频流时延信息；以及基于视频流时延信息来控制预测的视场的大小。
根据一种实施例，该方法进一步包括：将全景视频流式传输到头戴式显示器中。
根据一种实施例，该方法进一步包括：将全景视频流式传输到移动设备中。
根据一种实施例，该方法进一步包括：接收注视跟踪数据；基于注视跟踪数据来确定当前的焦点区域；基于当前的焦点区域来调节全景视频的分辨率，其中当前的焦点区域的分辨率是第四分辨率并且当前的焦点区域外部的分辨率是第五分辨率；以及提供具有经调节的分辨率的全景视频，其中第四分辨率高于第五分辨率。
根据一种实施例，该方法进一步包括：基于注视跟踪数据来确定预测的焦点区域；基于预测的焦点区域来调节全景视频的分辨率，其中预测的焦点区域的分辨率是第六分辨率；以及提供具有经调节的分辨率的全景视频，其中第六分辨率低于第四分辨率并且高于第五分辨率。
根据一种实施例，该方法进一步包括：将全景视频划分为两个或更多子流，其中至少一个子流位于当前的焦点区域中，并且至少一个子流位于当前的焦点区域外部；调节位于当前的焦点区域外部的该至少一个子流的分辨率；以及提供具有经调节的分辨率的全景视频，其中位于当前的焦点区域中的该至少一个子流的经调节的分辨率高于位于当前的焦点区域外部的该至少一个子流的经调节的分辨率。
根据一种实施例，该方法进一步包括：确定位于预测的焦点区域中的至少一个子流；以及调节位于预测的焦点区域中的该至少一个子流的分辨率，其中位于预测的焦点区域中的该至少一个子流的经调节的分辨率高于位于当前的焦点区域和预测的焦点区域外部的该至少一个子流的经调节的分辨率、并且低于位于当前的焦点区域中的该至少一个子流。
根据一种实施例，该方法进一步包括：确定注视跟踪数据的置信度；以及基于注视跟踪数据的置信度来缩放全景视频的分辨率。
根据第二方面，提供了一种设备，包括：用于接收全景视频的装置；用于接收头部跟踪数据的装置；用于基于头部跟踪数据来确定当前的视场的装置；用于基于当前的视场来调节全景视频的分辨率的装置，其中当前的视场的分辨率是第一分辨率并且当前的视场外部的分辨率是第二分辨率；以及用于提供具有经调节的分辨率的全景视频的装置，其中第一分辨率高于第二分辨率。
鉴于进一步在下面的实施例的详细公开内容，本发明的这些和其他方面以及涉及它们的实施例将变得明显。
附图说明
在下文中，将参考附图来更加详细地描述本发明的各种实施例，在附图中：
图1a、1b和1c示出了具有服务器系统、通信网络和用户设备的通信布置的示例、以及用于服务器和用户设备的框图。
图2示出了视频流式传输方法的示例的流程图。
图3a、3b、3c和3d示出了视场和子流(sub-stream)、以及焦点区域的示例。
图4示出了视频图像首部文件的示例。
具体实施方式
在下文中，将在视频流式传输(特别是超高清全景视频流式传输到头戴式显示器中)的上下文中描述本发明的若干实施例。然而，将注意到，本发明不限制于这样的实施方式。事实上，不同的实施例具有在要求视频流式传输的任何环境中的应用。
图1a示出了用于处理图像的系统和设备。在图1a中，不同的设备可以经由固定广域网(诸如互联网)110、本地无线电网络、或移动通信网络120进行连接，移动通信网络120诸如全球移动通信系统(GSM)网络、第3代(3G)网络、第3.5代(3.5G)网络、第4代(4G)网络、第5代(5G)网络、无线局域网(WLAN)、或者其他的当代和未来的网络。不同的网络借助于通信接口彼此连接，诸如在图1a中的移动通信网络120与互联网110之间的通信接口。这些网络包括：网络元件，诸如用以处置数据的路由器和交换机(未示出)；以及无线电通信节点，诸如用于为不同设备提供对网络的接入的基站130和132，并且基站130、132它们自己经由固定连接或无线连接而连接到移动通信网络120。
可以存在连接到网络的多个服务器，并且在图1a的示例中示出了服务器112、114和数据库115，服务器112、114用于提供网络服务，该网络服务用于处理将被共享给其他用户的图像，例如，社交媒体服务，数据库115用于存储图像和/或视频以及用于处理这些图像和/或视频的信息，并且连接到固定网络(互联网)110。还示出了服务器124和数据库125，服务器124例如用于提供用于对视频图像进行流式传输的网络服务，数据库125用于存储视频和用于对视频进行流式传输的信息。服务器124和数据库125可以连接到移动网络120。上述设备中的一些设备(例如计算机112、114、115)可以是这样的：它们与位于固定网络110中的通信元件一起组成互联网。
还可以存在多个用户设备，诸如头戴式显示器设备116、移动电话126和智能电话、互联网接入设备128、各种尺寸和格式的个人计算机117、以及照相机和摄像机163和3D摄像机164。这些设备116、117、126、128、163和164也可以由多个部件组成。各种设备可以经由通信连接而连接到网络110和120，通信连接诸如通向互联网110的固定连接、通向互联网110的无线连接、通向移动网络120的固定连接、以及通向移动网络120的无线连接。这些连接借助于在通信连接的相应端部处的通信接口来加以实施。
在这一上下文中，用户设备可以被理解为包括功能并且对用户而言是可访问的，从而用户能够直接控制它的操作。例如，用户可以能够将用户设备开机和关机。用户还可以能够移动该设备。换句话说，用户设备可以被理解为是在本地由用户(除了网络的运营商之外的人)可控制的，这或者是直接通过按压按钮或者以其他方式物理地触摸该设备，或者是通过在本地通信连接(诸如以太网、蓝牙、或WLAN)上来控制该设备。
如图1b中所示出的，用户设备116、117、126、128、163和164可以包含存储器MEM152、至少一个处理器PROC 153、156、以及位于存储器MEM 152中用于实施例如图像处理的计算机程序代码PROGRAM 154。用户设备还可以具有用于捕获图像数据(例如，视频)的一个或多个摄像头151。用户设备还可以包含用于捕获声音的一个、两个或者更多的麦克风157、158。可以有可能借助于音频和/或语音控制使用所捕获的声音来控制用户设备。不同的用户设备可以包含相同的、更少的或者更多的元件以用于采用与每个设备相关的功能。用户设备还可以包括用于查看图形用户界面的显示器160、以及按钮161、触摸屏或者用于接收用户输入的其他元件。用户设备还可以包括通信模块COMM1 155、COMM2 159、或者在用于与其他设备进行通信的一个模块中实施的通信功能。
图1b还示出了用于提供图像处理和存储的服务器设备。如图1b中所示出的，服务器112、114、115、124、125包含存储器MEM 145、一个或多个处理器PROC 146、147、以及位于存储器MEM 145中用于实施例如视频流式传输的计算机程序代码PROGRAM 148。服务器还可以包括通信模块COMM1 149、COMM2 150、或者在用于与其他设备进行通信的一个模块中实施的通信功能。不同的服务器112、114、115、124、125可以包含这些元件、或者更少或更多的元件以用于采用与每个服务器相关的功能。服务器115、125可以包括与所提到的元件相同的元件、以及位于服务器的存储器中的数据库。服务器112、114、115、124、125中的任何服务器或者全部服务器可以个体地、按组地、或者全部一起处理和存储图像。这些服务器可以形成服务器系统，例如，云。
图1c示出了用于视频图像捕获和视频流式传输的系统和设备的示例。在图1c中，不同的设备可以经由通信连接170进行连接，例如经由互联网、本地无线电网络、或移动通信网络。不同的网络可以借助于通信接口彼此连接。在图1c中从上下视角所看到的多摄像头设备180，例如可以被安放到用户的头部或者可以由三脚架支撑。设备180可以被用来获取全景视频，即具有宽视场的视频，例如3D 360°视频图像。术语“全景的”不可以理解为某个特定数目的度数。宽高比(aspect ratio)定义了图像的宽度与高度之间的关系。宽高比和视场这两者都是在定义全景视频图像时的因素。通常，“全景的”可以理解为至少与其高度的两倍一样宽的伸长的图像。多摄像头设备180可以包括若干摄像头，例如摄像头181、182、183，它们被定位以使得可以从每个方向获取视频图像。可以存在被定位在用户头部周围的摄像头，例如摄像头181和182。另外，可以存在朝向天空定向的摄像头，并且被定位在用户头部的上方，例如摄像头183。另外，可以存在朝下定向的摄像头(未示出)。替换地，多摄像头设备的摄像头可以被安装在杆(pole)上、支架(stand)上、三脚架上、或者某种其他适合的底座(mount)上。使用多摄像头设备180获取的全景视频可以被存储在视频数据库115中。替换地，它可以经由通信连接被发送给流式传输服务器124。流式传输服务器124可以将视频图像发送或者流式传输到头戴式显示器设备116中，头戴式显示器设备116可以被用来查看视频图像。替换地，视频图像可以被发送给移动设备或者某个其他设备，该其他设备可以被用来查看视频图像。
全景视频可以是在服务器(例如，流式传输服务器124)中接收的超高清的视频。全景视频可以从视频数据库115被接收。可以存在被存储在视频数据库115中的全景电影，可以从视频数据库115取回全景视频。替换地，全景视频可以在流式传输服务器中从视频摄像头被接收，即它可以是使用多摄像头设备180或者其他种类的3D 360°视频摄像头获取的实况(live)视频。头戴式摄像头设备可以被集成到头戴式显示器116中。使用多摄像头设备180获取的实况视频可以由流式传输服务器124实时地流式传输到头戴式显示器116中。
头戴式显示器116是一种可穿戴设备，其在用户的视场前方创建显示。例如，用户可以通过头戴式显示器116来查看视频图像。头戴式显示器可以具有至少部分地是透明的性质，并且它可以具有可调节的透视(see-through)能力。当用户正在通过头戴式显示器116查看全景视频时，用户的视场可能被限制。例如，其可以是90°、100°、或110°、或者某个其他数目的度数。
头部跟踪数据可以被用来检测用户的查看方向。头部跟踪器可以被集成到头戴式显示器116中。例如，可以使用3-轴旋转跟踪和3-轴位置跟踪的组合来跟踪头部取向和头部运动。可以存在被集成到头戴式显示器116中的陀螺仪、加速度计、以及磁力计，它们可以在头部跟踪时被使用。替换地，头部跟踪器可以是用户所穿戴的分离设备，并且所获取的头部跟踪数据可以通过通信连接被发送给流式传输服务器124。
有时候将超高清全景视频以它的原始分辨率进行流式传输可能是值得的。然而，在一些情形中，使用全景视频的自适应流式传输可能是有用的。例如，如果用户正在通过头戴式显示器查看全景视频，则用户不可能同时看到整个360°视频。在这种情况中，执行自适应流式传输可能是有用的，并且相比于在当前视场外部的部分而言以更高的分辨率来流式传输视场中的用户当前正在查看的部分。这可以使用头部跟踪数据来加以执行。
图2示出了根据一方面的视频流式传输方法的流程图。在该方法中，例如在服务器(诸如，流式传输服务器)中接收210全景视频。例如从头戴式显示器单元还接收220头部跟踪数据。基于头部跟踪数据来确定230当前的视场，并且基于当前的视场来调节240全景视频的分辨率，其中当前视场的分辨率是第一分辨率并且当前视场外部的分辨率是第二分辨率。然后，提供250具有经调节的分辨率的全景视频，其中第一分辨率高于第二分辨率。
换句话说，可以在流式传输服务器124中接收全景视频和头部跟踪数据。可以基于头部跟踪数据来确定正在使用头戴式显示器查看视频的用户的当前视场。可以基于当前的视场来调节全景视频的分辨率。落在当前视场下的视频图像可以用高分辨率来流式传输，例如，用超高清视频的原始分辨率。落在当前视场外部的视频图像可以用较低分辨率来流式传输。具有经调节的分辨率的全景视频可以被流式传输到例如头戴式显示器中。这种流式传输方法节省了带宽，因为没有通过传输用户的当前视场外部的高质量内容而不必要地使用带宽。
根据一种实施例，该方法可以进一步包括：基于头部跟踪数据来确定预测的视场；基于预测的视场来调节全景视频的分辨率，其中预测的视场的分辨率是第三分辨率；以及提供具有经调节的分辨率的全景视频，其中第三分辨率低于第一分辨率并且高于第二分辨率。
头部跟踪数据可以被用来预测在不远的未来的视野运动。可以测量用户头部的角速度及其变化，并且然后可以有可能估计用户头部在短时间之后将可能指向何处。例如，如果用户头部的角速度主要保持恒定，则可以估计到用户头部在某个时间之后将指向何处。
因此，落在预测的视场中的视频图像可以用中等分辨率来流式传输，落在当前视场中的视频图像可以用高分辨率来流式传输，并且落在当前的视场和预测的视场外部的视频图像可以用低分辨来流式传输。因为被预期变为可见的落在预测视场中的视频图像可以开始用中等分辨率来流式传输，所以这补偿了流式传输系统中的可能延迟。除了高分辨率流和中等分辨率流之外，低分辨率流也可以从服务器被发送给例如头戴式显示器。在用户头部出乎意料地转向的情况中，可以有可能向用户示出低分辨率流，直到头部再次稳定。
超高清视频可以是4K超HD、或者8K超HD、或者某种其他格式。中等分辨率和低分辨率可以分别是，例如，全分辨率的40-60％，优选50％，以及20-30％，优选25％。可以在用户设置中设置这些分辨率，并且这些值可以变化。分辨率可以被匹配到人眼的分辨率。例如，低分辨率可以被匹配到人的周边视觉的分辨率。
根据一种实施例，视频流式传输方法可以进一步包括：将全景视频划分为两个或更多子流，其中至少一个子流位于当前的视场中，并且至少一个子流位于当前的视场外部。位于当前的视场外部的该至少一个子流的分辨率可以被调节。可以提供具有经调节的分辨率的全景视频，其中位于当前视场中的该至少一个子流的经调节的分辨率高于位于当前视场外部的该至少一个子流的经调节的分辨率。当视频的分辨率或者例如帧速率对于可用带宽而言过高时，可以在视频流式传输中使用这些子流。减小位于当前视场外部的(多个)子流的分辨率可以进一步节省带宽。
图3a示出了视场和子流的示例。可以在流式传输服务器中生成视频子流。从视频数据库接收的全景视频的360°球形300可以被划分为子流，每个子流覆盖全360°球形300的一些部分。例如，全景视频可以被划分为八个子流311、312、313、314、315、316、317、318，每个子流覆盖45°的视野。可以基于头部跟踪数据来确定图3a中以实线330标记的当前视场。例如，至少部分地位于当前视场中的子流316、317、318可以用高分辨率来流式传输。子流311、312、313、314、315可以用低分辨率来流式传输。
有可能子流部分地位于当前的视场中并且部分地位于当前的视场外部。在这种情况中，子流可以用较高分辨率来流式传输。例如，部分地位于当前视场中的子流316和318可以用较高分辨率来流式传输。这意味着，如果使用高数目的子流，则较少的高分辨率的视频图像保持在当前的视场外部。
只要将会存在至少两个子流，则子流的数目并不具有重大作用。例如，可以存在当前视场中的一个子流、以及当前视场外部的一个子流。假如子流的数目至少是二，则全景视频可以被划分为任何数目的子流。图3a和3b中的示例是使用球形映射的二维示例。还存在能够在视频流式传输方法的实施中被使用的其他类型的反映映射(reflection mapping)，例如，立方形(cube)映射、角锥形(pyramid)映射、以及HEALPix映射。子流的数目可以取决于实施方式。
根据一种实施例，视频流式传输方法可以包括：确定位于预测的视场中的至少一个子流，以及调节位于预测的视场中的该至少一个子流的分辨率，其中位于预测的视场中的该至少一个子流的经调节的分辨率高于位于当前的视场和预测的视场外部的该至少一个子流的经调节的分辨率、并且低于位于当前的视场中的该至少一个子流。
图3b示出了视场和子流的示例。可以在流式传输服务器中生成视频子流。从视频数据库接收的全景视频的360°球形350可以被划分为子流，每个子流覆盖全360°球形350的一些部分。例如，全景视频可以被划分为八个子流361、362、363、364、365、366、367、368，每个子流覆盖45°的视野。可以基于头部跟踪数据来确定图3b中以实线380标记的当前视场。例如，至少部分地位于当前视场中的子流366、367、368可以用高分辨率来流式传输。如上文所描述的，可以基于头部跟踪数据来确定图3b中以点划线390标记的预测视场。被预期在不远的未来变为可见的子流361可以用中等分辨率来流式传输，中等分辨率低于子流366、367和368的分辨率、并且高于位于当前的视场和预测的视场外部的子流362、363、364和365的分辨率。子流362、363、364和365可以用低分辨率来流式传输。
根据一种实施例，视频流式传输方法可以包括：确定头部跟踪数据的置信度(confidence)，以及基于头部跟踪数据的置信度来缩放全景视频的分辨率。以这种方式可以有可能节省带宽，因为高质量视频没有徒然地被流式传输。缩放可以包括：如果头部跟踪数据的置信度为低，则减小第一分辨率，并且如果头部跟踪数据的置信度为高，则增加第一分辨率。换句话说，位于所估计的当前视场中的子流的分辨率可以基于视野预测的置信度而被缩放或调节。
如果用户头部的角速度在某个时间间隔上或多或少地保持恒定，则头部跟踪数据的置信度可以被考虑为高。如果用户头部正在不规律地移动，即头部跟踪数据的置信度为低，则位于当前视场中的子流可以用减小的分辨率来流式传输。当头部运动足够稳定时，即头部跟踪数据的置信度为高时，流式传输分辨率被适配并且位于当前视场中的子流可以用高分辨率来流式传输。
对头部取向信号和角速度信号的信号处理可以包括：滤波，例如利用不同截止频率的低通滤波。因此，可以有可能估计用户头部运动上的某些趋势。例如，可以有可能估计短期和中期趋势以用于视野预测。这些趋势可以被比较，并且短期视野预测与中期视野预测之间的相似度可以用来估计视野预测的置信度。当视野预测的置信度为高时，预测的视场相比于当视野预测的置信度为低时的情形而言可以较窄。进一步地，当预测的视场的置信度为高时，预测的视场可以用高分辨率来流式传输，并且当预测的视场的置信度为低时，预测的视场可以以低分辨率来流式传输。以这种方式可以有可能解释(account for)视野预测的不确定性。
根据一种实施例，视频流式传输方法可以包括：在头部跟踪数据中或者连同头部跟踪数据一起，在流式传输服务器中接收注视跟踪(gaze-tracking)数据，以及基于注视跟踪数据来执行所述缩放。以这种方式，可以避免流式传输不必要地低分辨率的视频。
头戴式显示器可以包括注视跟踪器，例如将被用来跟踪用户的注视方向的摄像头。注视跟踪可以被用来增强视野预测。例如，用户的注视可以被跟随，并且如果用户正在将一个人的注视锁定到视频的特定部分同时转动一个人的头部，则可以被注意到。如果用户正在将注视锁定到视场的特定部分，并且由于某种原因，正在不规律地移动头部，则视频可以仍然用高质量来流式传输，因为用户的兴趣焦点是已知的。
替换地或者另外地，基于注视跟踪数据来缩放分辨率可以节省带宽。如果用户的注视被聚焦在视频的特定部分上，则视频的位于当前视场的边缘中的子流或区域可以以低分辨率来流式传输。视频中的被用户的注视聚焦的部分可以用高分辨率来流式传输。
图3c示出了基于注视跟踪数据所确定的当前视场370中的焦点区域的示例。根据一种实施例，视频流式传输方法可以包括：接收注视跟踪数据，以及基于注视跟踪数据来确定当前的焦点区域371。全景视频的分辨率可以被调节，其中当前的焦点区域371的分辨率是第四分辨率，并且当前的焦点区域外部372的分辨率是第五分辨率。可以提供具有经调节的分辨率的全景视频，其中第四分辨率高于第五分辨率。替换地，当前的焦点区域371的外部372的分辨率可以朝向视场370的边缘逐渐地减少。焦点区域371可以具有各种尺寸。例如，焦点区域371的尺寸可以对应于人眼中的敏锐视觉的分区(region)。
图3d示出了基于注视跟踪数据所确定的焦点区域的示例。可以基于注视跟踪数据来确定预测的焦点区域378。可以基于预测的焦点区域378来调节全景视频的分辨率，其中预测的焦点区域378的分辨率是第六分辨率。可以提供具有经调节的分辨率的全景视频，其中第六分辨率低于第四分辨率(即，当前的焦点区域376的分辨率)并且高于第五分辨率(即，当前的焦点区域和预测的焦点区域的外部377的分辨率)。替换地，当前的焦点区域376和预测的焦点区域378的外部377的分辨率可以朝向视场370的边缘逐渐地减少。焦点区域376、378可以具有各种尺寸和形状。例如，焦点区域376、378的尺寸可以对应于人眼中的敏锐视觉的分区。
注视的轨迹可以被记录并且被用来创建查看概要(viewing summary)。
根据一种实施例，视频流式传输方法可以包括：确定视频流时延信息、以及基于视频流时延信息来控制预测的视场的大小(dimensions)。因为预测的视场的大小可以被控制，所以可以避免发送不必要地高分辨率的视频。大小这里可以包括空间的和/或时间的大小。
因此，考虑到从服务器到显示器的视频流式传输，可能经常存在某个时延，即时间延迟。可以在流式传输服务器中确定视频流式传输时延信息。在控制预测视场的大小时可以使用视频流式传输时延信息。例如，如果在从显示器向流式传输服务器发送控制命令与接收到视频流之间存在一秒的时延，则视场可以被预测到未来一秒。作为另一示例，如果时延为短，则可能没有必要确定非常宽的预测视场，因为视野预测可以快速地适配于头部运动上的改变。如果时延为长，则确定更宽的预测视场可能是有用的。以这种方式，可以增加用户的视野将在预测的视场内部的某处结束的可能性。
本领域的技术人员意识到，上文所描述的实施例中的任何实施例可以被实施为与一个或多个其他实施例的组合，除非明确地或者隐含地陈述了某些实施例彼此仅是替换物。
上文所描述的各种示例可以提供优点。因为被流式传输的视频的分辨率根据用户的查看方向而被适配，所以节省了带宽。该流式传输方法可以提供超高清视频的交互式观看体验。例如，在社交媒体中，可以有可能共享具有头部跟踪数据和/或注视跟踪数据的全景视频。因此，另一用户可以回放原始用户的观看体验。
图4示出了视频图像首部文件410的示例。首部文件410可以包括：当视频被捕获时的上下文数据420(例如，数据和时间)、以及指示视频在何处被捕获的位置。首部文件410还可以包括头部跟踪数据430和注视跟踪数据。视频数据450可以采用各种格式，例如，WebM、Windows媒体视频、Quicktime、AVI、MPEG、Ogg视频、或者原始视频格式。另外，将会存在用于视频编码和解码的要件。
可以在位于存储器中并且促使相关装置执行本发明的计算机程序代码的帮助下来实施上文所描述的各种示例。例如，一种设备可以包括：用于处置、接收和发射数据、存储器中的计算机程序代码的电路和电子器件；以及处理器，该处理器在运行该计算机程序代码时促使该设备执行实施例的特征。
本发明的实施例可以通过由例如服务器的(诸如处理器实体中的)数据处理器可执行的计算机软件来实施，或者通过硬件来实施，或者通过软件和硬件的组合来实施。进一步在这个方面中，应当注意，如附图中的逻辑流程的任何框可以表示程序步骤，或者互连的逻辑电路、框和功能，或者程序步骤与逻辑电路、框和功能的组合。软件可以被存储在物理介质上，诸如存储器芯片、或处理器内实施的存储器块；被存储在磁介质上，诸如硬盘或软盘；以及被存储在光介质上，诸如，例如DVD及其数据变型、或者CD。
存储器可以具有适合于本地技术环境的任何类型，并且可以使用任何适合的数据存储技术来实施，诸如基于半导体的存储器设备、磁存储器设备和系统、光存储器设备和系统、固定存储器和可移除存储器。数据处理器可以具有适合于本地技术环境的任何类型，并且作为非限制性的示例可以包括以下各项中的一项或多项：通用计算机、专用计算机、微处理器、数字信号处理器(DSP)、以及基于多核心处理器架构的处理器。
本发明的实施例可以用各种组件来实行，诸如集成电路模块。集成电路的设计大体上是高度自动化的过程。复杂且强大的软件工具可用于将逻辑层级设计转换为准备好被蚀刻并形成在半导体基板上的半导体电路设计。
程序，诸如由加利福尼亚州的山景城的Synopsys公司和加利福尼亚州的圣何塞的Cadence Design公司所提供的那些程序，使用良好被建立的设计规则以及预存储的设计模块的库，自动地在半导体芯片上为导体确定路线并且为组件确定位置。一旦针对半导体电路的设计已经被完成，采用标准化电子格式(例如，Opus、GDSII，等等)的结果设计就可以被传输给半导体制作设施或者“fab”用于制作。
前述描述已经通过示例性和非限制性的示例提供了对本发明的示例性实施例的完全且信息丰富的描述。然而，当结合随附的示图和所附权利要求来阅读时，鉴于前述描述，对相关领域的技术人员而言，各种修改和适配可以变得明显。然而，本发明的教导的所有这样的和类似的修改将仍然落在本发明的范围内。

Claims (31)

1.一种用于处理视频的方法，包括：
-接收全景视频；
-接收头部跟踪数据；
-基于所述头部跟踪数据来确定当前的视场；
-基于所述当前的视场来调节所述全景视频的分辨率，其中所述当前的视场的分辨率是第一分辨率并且所述当前的视场外部的分辨率是第二分辨率；以及
-基于所述当前的视场来提供具有经调节的分辨率的所述全景视频，其中所述第一分辨率高于所述第二分辨率。
2.根据权利要求1所述的方法，进一步包括：
-基于所述头部跟踪数据来确定预测的视场；
-基于所述预测的视场来调节所述全景视频的分辨率，其中所述预测的视场的分辨率是第三分辨率；以及
-基于所述预测的视场来提供具有经调节的分辨率的所述全景视频，其中所述第三分辨率低于所述第一分辨率并且高于所述第二分辨率。
3.根据权利要求1或2中任一项所述的方法，进一步包括：
-将所述全景视频划分为两个或更多子流，其中至少一个子流位于所述当前的视场中，并且至少一个子流位于所述当前的视场外部；
-调节位于所述当前的视场外部的所述至少一个子流的分辨率；
-调节位于所述当前的视场中的所述至少一个子流的分辨率；以及
-提供所述全景视频，所述全景视频具有位于所述当前的视场中的所述至少一个子流的经调节的分辨率以及位于所述当前的视场外部的所述至少一个子流的经调节的分辨率，其中位于所述当前的视场中的所述至少一个子流的经调节的分辨率高于位于所述当前的视场的外部的所述至少一个子流的经调节的分辨率。
4.根据权利要求2所述的方法，进一步包括：
-确定位于所述预测的视场中的至少一个子流；以及
-调节位于所述预测的视场中的所述至少一个子流的分辨率，其中位于所述预测的视场中的所述至少一个子流的经调节的分辨率高于位于所述当前的视场和所述预测的视场外部的所述至少一个子流的经调节的分辨率、并且低于位于所述当前的视场中的所述至少一个子流。
5.根据权利要求1所述的方法，进一步包括：
-确定所述头部跟踪数据的置信度；以及
-基于所述头部跟踪数据的所述置信度来缩放所述全景视频的分辨率。
6.根据权利要求5所述的方法，进一步包括：
-在所述头部跟踪数据中或者连同所述头部跟踪数据一起接收注视跟踪数据；以及
-基于所述注视跟踪数据来执行所述缩放。
7.根据权利要求2所述的方法，进一步包括：
-确定视频流时延信息；以及
-基于所述视频流时延信息来控制所述预测的视场的大小。
8.根据权利要求1所述的方法，进一步包括：
-将所述全景视频流式传输到头戴式显示器中。
9.根据权利要求1所述的方法，进一步包括：
-将所述全景视频流式传输到移动设备中。
10.根据权利要求1所述的方法，进一步包括：
-接收注视跟踪数据；
-基于所述注视跟踪数据来确定当前的焦点区域；
-基于所述当前的焦点区域来调节所述全景视频的分辨率，其中所述当前的焦点区域的分辨率是第四分辨率并且所述当前的焦点区域外部的分辨率是第五分辨率；以及
-基于所述当前的焦点区域来提供具有经调节的分辨率的所述全景视频，其中所述第四分辨率高于所述第五分辨率。
11.根据权利要求10所述的方法，进一步包括：
-基于所述注视跟踪数据来确定预测的焦点区域；
-基于所述预测的焦点区域来调节所述全景视频的分辨率，其中所述预测的焦点区域的分辨率是第六分辨率；以及
-基于所述预测的焦点区域来提供具有经调节的分辨率的所述全景视频，其中所述第六分辨率低于所述第四分辨率并且高于所述第五分辨率。
12.根据权利要求10或11中任一项所述的方法，进一步包括：
-将所述全景视频划分为两个或更多子流，其中至少一个子流位于所述当前的焦点区域中，并且至少一个子流位于所述当前的焦点区域外部；
-调节位于所述当前的焦点区域外部的所述至少一个子流的分辨率；
-调节位于所述当前的视场中的所述至少一个子流的分辨率；以及
-提供所述全景视频，所述全景视频具有位于所述当前的视场中的所述至少一个子流的经调节的分辨率以及位于所述当前的视场外部的所述至少一个子流的经调节的分辨率，其中位于所述当前的焦点区域中的所述至少一个子流的经调节的分辨率高于位于所述当前的焦点区域外部的所述至少一个子流的经调节的分辨率。
13.根据权利要求11所述的方法，进一步包括：
-确定位于所述预测的焦点区域中的至少一个子流；以及
-调节位于所述预测的焦点区域中的所述至少一个子流的分辨率，其中位于所述预测的焦点区域中的所述至少一个子流的经调节的分辨率高于位于所述当前的焦点区域和所述预测的焦点区域外部的所述至少一个子流的经调节的分辨率、并且低于位于所述当前的焦点区域中的所述至少一个子流。
14.根据权利要求10所述的方法，进一步包括：
-确定所述注视跟踪数据的置信度；以及
-基于所述注视跟踪数据的所述置信度来缩放所述全景视频的所述分辨率。
15.根据权利要求11所述的方法，进一步包括：
-确定视频流时延信息；以及
-基于所述视频流时延信息来控制所述预测的焦点区域的大小。
16.一种用于处理视频的设备，包括：
-用于接收全景视频的装置；
-用于接收头部跟踪数据的装置；
-用于基于所述头部跟踪数据来确定当前的视场的装置；
-用于基于所述当前的视场来调节所述全景视频的分辨率的装置，其中所述当前的视场的分辨率是第一分辨率并且所述当前的视场外部的分辨率是第二分辨率；以及
-用于基于所述当前的视场来提供具有经调节的分辨率的所述全景视频的装置，其中所述第一分辨率高于所述第二分辨率。
17.根据权利要求16所述的设备，进一步包括：
-用于基于所述头部跟踪数据来确定预测的视场的装置；
-用于基于所述预测的视场来调节所述全景视频的分辨率的装置，其中所述预测的视场的分辨率是第三分辨率；以及
-用于基于所述预测的视场来提供具有经调节的分辨率的所述全景视频的装置，其中所述第三分辨率低于所述第一分辨率并且高于所述第二分辨率。
18.根据权利要求16或17中任一项所述的设备，进一步包括：
-用于将所述全景视频划分为两个或更多子流的装置，其中至少一个子流位于所述当前的视场中，并且至少一个子流位于所述当前的视场外部；
-用于调节位于所述当前的视场外部的所述至少一个子流的分辨率的装置；
-用于调节位于所述当前的视场中的所述至少一个子流的分辨率的装置；以及
-用于提供所述全景视频的装置，所述全景视频具有位于所述当前的视场中的所述至少一个子流的经调节的分辨率以及位于所述当前的视场外部的所述至少一个子流的经调节的分辨率，其中位于所述当前的视场中的所述至少一个子流的经调节的分辨率高于位于所述当前的视场外部的所述至少一个子流的经调节的分辨率。
19.根据权利要求17所述的设备，进一步包括：
-用于确定位于所述预测的视场中的至少一个子流的装置；以及
-用于调节位于所述预测的视场中的所述至少一个子流的分辨率的装置，其中位于所述预测的视场中的所述至少一个子流的经调节的分辨率高于位于所述当前的视场外部的所述至少一个子流的经调节的分辨率、并且低于位于所述当前的视场中的所述至少一个子流。
20.根据权利要求16所述的设备，进一步包括：
-用于确定所述头部跟踪数据的置信度的装置；以及
-用于基于所述头部跟踪数据的所述置信度来缩放所述全景视频的分辨率的装置。
21.根据权利要求20所述的设备，进一步包括：
-用于在所述头部跟踪数据中或者连同所述头部跟踪数据一起接收注视跟踪数据的装置；以及
-用于基于所述注视跟踪数据来执行所述缩放的装置。
22.根据权利要求17所述的设备，进一步包括：
-用于确定视频流时延信息的装置；以及
-用于基于所述视频流时延信息来控制所述预测的视场的大小的装置。
23.根据权利要求16所述的设备，进一步包括：
-用于将所述全景视频流式传输到头戴式显示器中的装置。
24.根据权利要求16所述的设备，进一步包括：
-用于将所述全景视频流式传输到移动设备中的装置。
25.根据权利要求16所述的设备，进一步包括：
-用于接收注视跟踪数据的装置；
-用于基于所述注视跟踪数据来确定当前的焦点区域的装置；
-用于基于所述当前的焦点区域来调节所述全景视频的分辨率的装置，其中所述当前的焦点区域的分辨率是第四分辨率并且所述当前的焦点区域外部的分辨率是第五分辨率；以及
-用于基于所述当前的焦点区域来提供具有经调节的分辨率的所述全景视频的装置，其中所述第四分辨率高于所述第五分辨率。
26.根据权利要求25所述的设备，进一步包括：
-用于基于所述注视跟踪数据来确定预测的焦点区域的装置；
-用于基于所述预测的焦点区域来调节所述全景视频的分辨率的装置，其中所述预测的焦点区域的分辨率是第六分辨率；以及
-用于基于所述预测的焦点区域来提供具有经调节的分辨率的所述全景视频的装置，其中所述第六分辨率低于所述第四分辨率并且高于所述第五分辨率。
27.根据权利要求25或26中任一项所述的设备，进一步包括：
-用于将所述全景视频划分为两个或更多子流的装置，其中至少一个子流位于所述当前的焦点区域中，并且至少一个子流位于所述当前的焦点区域外部；
-用于调节位于所述当前的焦点区域外部的所述至少一个子流的分辨率的装置；
-用于调节位于所述当前的视场中的所述至少一个子流的分辨率的装置；以及
-用于提供所述全景视频的装置，所述全景视频具有位于所述当前的视场中的所述至少一个子流的经调节的分辨率以及位于所述当前的视场外部的所述至少一个子流的经调节的分辨率，其中位于所述当前的焦点区域中的所述至少一个子流的经调节的分辨率高于位于所述当前的焦点区域外部的所述至少一个子流的经调节的分辨率。
28.根据权利要求26所述的设备，进一步包括：
-用于确定位于所述预测的焦点区域中的至少一个子流的装置；以及
-用于调节位于所述预测的焦点区域中的所述至少一个子流的分辨率的装置，其中位于所述预测的焦点区域中的所述至少一个子流的经调节的分辨率高于位于所述当前的焦点区域和所述预测的焦点区域外部的所述至少一个子流的经调节的分辨率、并且低于位于所述当前的焦点区域中的所述至少一个子流。
29.根据权利要求25所述的设备，进一步包括：
-用于确定所述注视跟踪数据的置信度的装置；以及
-用于基于所述注视跟踪数据的所述置信度来缩放所述全景视频的分辨率的装置。
30.根据权利要求26所述的设备，进一步包括：
-用于确定视频流时延信息的装置；以及
-用于基于所述视频流时延信息来控制所述预测的焦点区域的大小的装置。
31.一种用于处理视频的装置，所述装置被配置为执行根据权利要求1至15中任一项所述的方法。
CN201610125689.XA 2015-03-05 2016-03-04 视频流式传输方法 Active CN105939482B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1503682.5 2015-03-05
GB1503682.5A GB2536025B (en) 2015-03-05 2015-03-05 Video streaming method

Publications (2)

Publication Number Publication Date
CN105939482A CN105939482A (zh) 2016-09-14
CN105939482B true CN105939482B (zh) 2019-03-29

Family

ID=52998388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610125689.XA Active CN105939482B (zh) 2015-03-05 2016-03-04 视频流式传输方法

Country Status (5)

Country Link
US (1) US10600153B2 (zh)
EP (1) EP3065406B1 (zh)
JP (1) JP6239018B2 (zh)
CN (1) CN105939482B (zh)
GB (1) GB2536025B (zh)

Families Citing this family (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016220113A (ja) * 2015-05-22 2016-12-22 株式会社ソシオネクスト 映像配信装置、映像配信方法、及び映像配信システム
EP3347810A1 (en) * 2015-09-10 2018-07-18 Google LLC Playing spherical video on a limited bandwidth connection
EP3353631A1 (en) * 2015-09-24 2018-08-01 Tobii AB Eye-tracking enabled wearable devices
US10334224B2 (en) 2016-02-19 2019-06-25 Alcacruz Inc. Systems and method for GPU based virtual reality video streaming server
EP3440843A4 (en) * 2016-04-08 2019-08-28 Visbit Inc. VIEWED 360 Degree VIDEO STREAMING
WO2017186320A1 (en) 2016-04-29 2017-11-02 Tobii Ab Eye-tracking enabled wearable devices
KR20190021229A (ko) 2016-05-26 2019-03-05 브이아이디 스케일, 인크. 뷰포트 적응형 360도 비디오 전달의 방법 및 장치
JP2018004950A (ja) * 2016-07-01 2018-01-11 フォーブ インコーポレーテッド 映像表示システム、映像表示方法、映像表示プログラム
EP3793205B1 (en) * 2016-09-26 2023-09-13 Dolby Laboratories Licensing Corporation Content based stream splitting of video data
KR102593456B1 (ko) * 2016-09-30 2023-10-24 엘지디스플레이 주식회사 가상 현실 표시 장치 및 그 구동 방법
GB2554925A (en) * 2016-10-14 2018-04-18 Nokia Technologies Oy Display of visual data with a virtual reality headset
KR102561860B1 (ko) * 2016-10-25 2023-08-02 삼성전자주식회사 전자장치 및 그 제어방법
KR102589853B1 (ko) * 2016-10-27 2023-10-16 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법
KR20180051202A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이장치 및 그 제어방법
US10262387B2 (en) 2016-11-14 2019-04-16 Google Llc Early sub-pixel rendering
US10564715B2 (en) * 2016-11-14 2020-02-18 Google Llc Dual-path foveated graphics pipeline
CN106791886B (zh) * 2016-11-16 2020-03-17 深圳市梦网百科信息技术有限公司 一种基于视觉特性的全景视频分发方法和系统
GB2557175A (en) * 2016-11-17 2018-06-20 Nokia Technologies Oy Method for multi-camera device
CN108616557B (zh) * 2016-12-13 2022-01-25 中兴通讯股份有限公司 一种全景视频传输方法、装置、终端、服务器及系统
US11290699B2 (en) 2016-12-19 2022-03-29 Dolby Laboratories Licensing Corporation View direction based multilevel low bandwidth techniques to support individual user experiences of omnidirectional video
KR20180071012A (ko) * 2016-12-19 2018-06-27 삼성전자주식회사 전자 장치 및 전자 장치 제어 방법
US10121337B2 (en) * 2016-12-30 2018-11-06 Axis Ab Gaze controlled bit rate
KR102625773B1 (ko) * 2017-01-04 2024-01-17 삼성전자주식회사 뷰 벡터별 다른 렌더링 품질을 갖는 영상을 생성하는 전자 장치
US20190394509A1 (en) * 2017-01-19 2019-12-26 Sony Interactive Entertainment Inc. Image delivery apparatus
EP3571845B1 (en) * 2017-01-20 2021-06-30 PCMS Holdings, Inc. Field-of-view prediction method based on contextual information for 360-degree vr video
CN108347557A (zh) * 2017-01-21 2018-07-31 盯盯拍（东莞）视觉设备有限公司 全景图像拍摄装置、显示装置、拍摄方法以及显示方法
CN108347556A (zh) * 2017-01-21 2018-07-31 盯盯拍（东莞）视觉设备有限公司 全景图像拍摄方法、全景图像显示方法、全景图像拍摄装置以及全景图像显示装置
CN108428211B (zh) * 2017-02-15 2021-12-14 阿里巴巴集团控股有限公司 图像的处理方法、装置和机器可读介质
US10217239B2 (en) * 2017-02-15 2019-02-26 International Business Machines Corporation Personalized point of interest guidance in 360-degree views
KR102606976B1 (ko) * 2017-02-15 2023-11-29 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 데이터 송수신 방법
EP3367626A1 (en) * 2017-02-27 2018-08-29 Nokia Solutions and Networks Oy Providing content
JP2018141874A (ja) * 2017-02-28 2018-09-13 セイコーエプソン株式会社 頭部搭載型表示装置及び画像形成光学系
US20180262758A1 (en) * 2017-03-08 2018-09-13 Ostendo Technologies, Inc. Compression Methods and Systems for Near-Eye Displays
US10887600B2 (en) * 2017-03-17 2021-01-05 Samsung Electronics Co., Ltd. Method and apparatus for packaging and streaming of virtual reality (VR) media content
WO2018172614A1 (en) 2017-03-22 2018-09-27 Nokia Technologies Oy A method and an apparatus and a computer program product for adaptive streaming
JP6872631B2 (ja) * 2017-03-23 2021-05-19 ヴィド スケール インコーポレイテッド ３６０度適応ストリーミングのエクスペリエンスを改善するためのメトリックおよびメッセージ
CN108632674B (zh) * 2017-03-23 2021-09-21 华为技术有限公司 一种全景视频的播放方法和客户端
GB2560923A (en) * 2017-03-28 2018-10-03 Nokia Technologies Oy Video streaming
US10979663B2 (en) 2017-03-30 2021-04-13 Yerba Buena Vr, Inc. Methods and apparatuses for image processing to optimize image resolution and for optimizing video streaming bandwidth for VR videos
US10547704B2 (en) * 2017-04-06 2020-01-28 Sony Interactive Entertainment Inc. Predictive bitrate selection for 360 video streaming
US10623634B2 (en) 2017-04-17 2020-04-14 Intel Corporation Systems and methods for 360 video capture and display based on eye tracking including gaze based warnings and eye accommodation matching
CN111510782A (zh) * 2017-04-28 2020-08-07 华为技术有限公司 视频播放方法、虚拟现实设备、服务器及计算机存储介质
CN107105218B (zh) * 2017-05-05 2019-05-17 珠海全志科技股份有限公司 一种视场画面图像生成方法及装置
US11196975B2 (en) 2017-05-18 2021-12-07 Sony Interactive Entertainment Inc. Image generating device, image display system, and image generating method
WO2018211672A1 (ja) * 2017-05-18 2018-11-22 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像表示システム、および画像生成方法
GB2563004A (en) * 2017-05-23 2018-12-05 Nokia Technologies Oy Methods and apparatuses for handling visual virtual reality content
CN108965847B (zh) * 2017-05-27 2020-04-14 华为技术有限公司 一种全景视频数据的处理方法及装置
US10542300B2 (en) * 2017-05-31 2020-01-21 Verizon Patent And Licensing Inc. Methods and systems for customizing virtual reality data
US11025993B2 (en) 2017-06-02 2021-06-01 Vid Scale, Inc. 360-degree video delivery over next generation network
GB2577024B (en) * 2017-06-09 2022-08-03 Displaylink Uk Ltd Using headset movement for compression
GB201709752D0 (en) 2017-06-19 2017-08-02 Advanced Risc Mach Ltd Graphics processing systems
CN107277474B (zh) * 2017-06-26 2019-06-25 深圳看到科技有限公司 全景画面生成方法及生成装置
CN109286855B (zh) * 2017-07-19 2020-10-13 北京大学 全景视频的传输方法、传输装置和传输系统
CN107395984A (zh) * 2017-08-25 2017-11-24 北京佰才邦技术有限公司 一种视频传输的方法及装置
US11290758B2 (en) * 2017-08-30 2022-03-29 Samsung Electronics Co., Ltd. Method and apparatus of point-cloud streaming
JP2019047250A (ja) * 2017-08-31 2019-03-22 フォーブ インコーポレーテッド 映像表示システム、映像表示方法及び映像表示プログラム
CN109511004B (zh) * 2017-09-14 2023-09-01 中兴通讯股份有限公司 一种视频处理方法及装置
US10818087B2 (en) 2017-10-02 2020-10-27 At&T Intellectual Property I, L.P. Selective streaming of immersive video based on field-of-view prediction
CA3230205A1 (en) * 2017-10-12 2019-04-18 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Optimizing audio delivery for virtual reality applications
US10893261B2 (en) 2017-12-06 2021-01-12 Dolby Laboratories Licensing Corporation Positional zero latency
JP2019100995A (ja) * 2017-12-08 2019-06-24 株式会社トプコン 測量画像表示制御装置、測量画像表示制御方法および測量画像表示制御用プログラム
US11166080B2 (en) * 2017-12-21 2021-11-02 Facebook, Inc. Systems and methods for presenting content
WO2019120575A1 (en) * 2017-12-22 2019-06-27 Huawei Technologies Co., Ltd. Vr 360 video for remote end users
US10805653B2 (en) * 2017-12-26 2020-10-13 Facebook, Inc. Accounting for locations of a gaze of a user within content to select content for presentation to the user
JP7059662B2 (ja) * 2018-02-02 2022-04-26 トヨタ自動車株式会社 遠隔操作システム、及びその通信方法
US10659815B2 (en) 2018-03-08 2020-05-19 At&T Intellectual Property I, L.P. Method of dynamic adaptive streaming for 360-degree videos
US10582181B2 (en) * 2018-03-27 2020-03-03 Honeywell International Inc. Panoramic vision system with parallax mitigation
US10721510B2 (en) 2018-05-17 2020-07-21 At&T Intellectual Property I, L.P. Directing user focus in 360 video consumption
US10482653B1 (en) 2018-05-22 2019-11-19 At&T Intellectual Property I, L.P. System for active-focus prediction in 360 video
CN110519652B (zh) 2018-05-22 2021-05-18 华为软件技术有限公司 Vr视频播放方法、终端及服务器
US10827225B2 (en) 2018-06-01 2020-11-03 AT&T Intellectual Propety I, L.P. Navigation for 360-degree video streaming
US10623791B2 (en) 2018-06-01 2020-04-14 At&T Intellectual Property I, L.P. Field of view prediction in live panoramic video streaming
EP3804347B1 (en) 2018-06-04 2023-10-25 Boe Technology Group Co., Ltd. A method for processing image data with reduced transmission bandwidth for display
WO2019234855A1 (ja) * 2018-06-06 2019-12-12 株式会社カヤック 表示システム、画像処理回路、画像処理方法、及びプログラム
US10812774B2 (en) 2018-06-06 2020-10-20 At&T Intellectual Property I, L.P. Methods and devices for adapting the rate of video content streaming
US10616621B2 (en) 2018-06-29 2020-04-07 At&T Intellectual Property I, L.P. Methods and devices for determining multipath routing for panoramic video content
WO2020012436A1 (en) * 2018-07-12 2020-01-16 Università Degli Studi Di Milano - Bicocca Device for displaying a plurality of graphical representations by a user
JP7443325B2 (ja) 2018-07-17 2024-03-05 ドルビー ラボラトリーズ ライセンシング コーポレイション フォービエイションおよびｈｄｒ
US11962819B2 (en) 2018-07-17 2024-04-16 Dolby Laboratories Licensing Corporation Foviation and HDR
JP2020017798A (ja) * 2018-07-23 2020-01-30 Ｓｕｐｅｒｓｈｉｐ株式会社 画像配信システム、画像配信装置、表示装置及び表示プログラム
US11019361B2 (en) 2018-08-13 2021-05-25 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic view of a camera for capturing video content
US10708494B2 (en) * 2018-08-13 2020-07-07 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic video content
US10826964B2 (en) 2018-09-05 2020-11-03 At&T Intellectual Property I, L.P. Priority-based tile transmission system and method for panoramic video streaming
US10931979B2 (en) 2018-10-18 2021-02-23 At&T Intellectual Property I, L.P. Methods, devices, and systems for decoding portions of video content according to a schedule based on user viewpoint
EP3644619A1 (en) * 2018-10-23 2020-04-29 InterDigital CE Patent Holdings Method and apparatus for receiving a tile-based immersive video
CN111198610B (zh) * 2018-11-16 2021-08-10 北京字节跳动网络技术有限公司 一种全景视频的视场控制方法、装置、设备及存储介质
CN109672897B (zh) * 2018-12-26 2021-03-16 北京数码视讯软件技术发展有限公司 全景视频编码方法及装置
US10466489B1 (en) 2019-03-29 2019-11-05 Razmik Ghazaryan Methods and apparatus for a variable-resolution screen
US10554940B1 (en) 2019-03-29 2020-02-04 Razmik Ghazaryan Method and apparatus for a variable-resolution screen
US11284053B2 (en) 2019-03-29 2022-03-22 Razmik Ghazaryan Head-mounted display and projection screen
WO2021097803A1 (zh) * 2019-11-22 2021-05-27 北京小米移动软件有限公司 资源切换方法、装置及存储介质
EP4074054A1 (en) * 2019-12-09 2022-10-19 Telefonaktiebolaget LM Ericsson (publ) Electronic device, server and methods for viewport prediction based on head and eye gaze
CN111131879A (zh) * 2019-12-30 2020-05-08 歌尔股份有限公司 视频数据播放方法、装置及计算机可读存储介质
KR20210103867A (ko) 2020-02-14 2021-08-24 삼성전자주식회사 Vr 영상을 스트리밍하는 방법 및 장치
CN111510626B (zh) * 2020-04-21 2022-01-04 Oppo广东移动通信有限公司 图像合成方法及相关装置
US11656682B2 (en) * 2020-07-01 2023-05-23 The Salty Quilted Gentlemen, LLC Methods and systems for providing an immersive virtual reality experience
CN114466176B (zh) * 2020-11-09 2024-06-11 聚好看科技股份有限公司 一种全景视频显示方法及显示设备
CN112822564B (zh) * 2021-01-06 2023-03-24 鹏城实验室 一种基于视点的全景视频自适应流媒体传输方法及系统
CN113630622B (zh) * 2021-06-18 2024-04-26 中图云创智能科技(北京)有限公司 全景视频图像处理方法、服务端、目标设备、装置和系统
EP4363946A1 (en) * 2021-06-28 2024-05-08 Nokia Technologies Oy Head motion dependent viewport region modification for omnidirectional conversational vdd
GB2624904A (en) * 2022-11-30 2024-06-05 Sony Interactive Entertainment Inc Virtual reality streaming system and method
CN117412186A (zh) * 2023-10-08 2024-01-16 上海长光以立信息科技有限公司 一种视频流处理方法、系统、电子设备及介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4513317A (en) * 1982-09-28 1985-04-23 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Retinally stabilized differential resolution television display
JPH08289179A (ja) * 1995-04-12 1996-11-01 Data Tec:Kk 全方位テレビシステム
JP3263278B2 (ja) * 1995-06-19 2002-03-04 株式会社東芝 画像圧縮通信装置
JP2000132673A (ja) 1998-10-28 2000-05-12 Sharp Corp 画像システム
US6781606B2 (en) * 1999-05-20 2004-08-24 Hewlett-Packard Development Company, L.P. System and method for displaying images using foveal video
US7796162B2 (en) * 2000-10-26 2010-09-14 Front Row Technologies, Llc Providing multiple synchronized camera views for broadcast from a live venue activity to remote viewers
US7130490B2 (en) * 2001-05-14 2006-10-31 Elder James H Attentive panoramic visual sensor
US20030053658A1 (en) * 2001-06-29 2003-03-20 Honeywell International Inc. Surveillance system and methods regarding same
JP2004072694A (ja) * 2002-08-09 2004-03-04 Sony Corp 情報提供システムおよび方法、情報提供装置および方法、記録媒体、並びにプログラム
US6890077B2 (en) * 2002-11-27 2005-05-10 The Boeing Company Method and apparatus for high resolution video image display
HU0500357D0 (en) * 2005-04-04 2005-05-30 Innoracio Fejlesztoe Es Kutata Dynamic display and method for enhancing the effective resolution of displays
US20080002964A1 (en) * 2006-06-30 2008-01-03 Motorola, Inc. Method and system for a digital reading glass
US7850306B2 (en) * 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
US9529191B2 (en) * 2010-11-03 2016-12-27 Trex Enterprises Corporation Dynamic foveal vision display
EP2472867A1 (en) * 2010-12-30 2012-07-04 Advanced Digital Broadcast S.A. Coding and decoding of multiview videos
US9516225B2 (en) * 2011-12-02 2016-12-06 Amazon Technologies, Inc. Apparatus and method for panoramic video hosting
US8990843B2 (en) * 2012-10-26 2015-03-24 Mobitv, Inc. Eye tracking based defocusing
US20140146394A1 (en) * 2012-11-28 2014-05-29 Nigel David Tout Peripheral display for a near-eye display device
US9699437B2 (en) 2014-03-03 2017-07-04 Nextvr Inc. Methods and apparatus for streaming content
US20150312264A1 (en) 2014-04-23 2015-10-29 Front Row Technologies, Llc Method, system and server for authorizing computing devices for receipt of venue-based data based on the geographic location of a user
US10204658B2 (en) * 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content

Also Published As

Publication number Publication date
US20160260196A1 (en) 2016-09-08
GB201503682D0 (en) 2015-04-22
JP6239018B2 (ja) 2017-11-29
CN105939482A (zh) 2016-09-14
GB2536025A (en) 2016-09-07
JP2016165105A (ja) 2016-09-08
US10600153B2 (en) 2020-03-24
EP3065406A1 (en) 2016-09-07
GB2536025B (en) 2021-03-03
EP3065406B1 (en) 2019-12-25

Similar Documents

Publication Publication Date Title
CN105939482B (zh) 视频流式传输方法
US11490054B2 (en) System and method for adjusting an image for a vehicle mounted camera
EP3535644B1 (en) Streaming virtual reality video
US11653065B2 (en) Content based stream splitting of video data
US8238419B2 (en) Displaying video at multiple resolution levels
US9684830B2 (en) Automatic target selection for multi-target object tracking
US20190098347A1 (en) System and method for remote radiology technician assistance
KR20190121867A (ko) 가상 현실 미디어 컨텐츠의 패키징 및 스트리밍을 위한 방법 및 장치
EP3065413B1 (en) Media streaming system and control method thereof
AU2019271924A1 (en) System and method for adjusting an image for a vehicle mounted camera
US20190230409A1 (en) Picture-in-picture base video streaming for mobile devices
WO2019034803A1 (en) METHOD AND APPARATUS FOR PROCESSING VIDEO INFORMATION
WO2022193211A1 (en) Real-time adaptive correction in viewport prediction for improved immersive video
WO2022199594A1 (zh) 一种远程视频方法及相关装置
CN112437304B (zh) 视频解码方法、编码方法、装置、设备及可读存储介质
WO2023184467A1 (en) Method and system of video processing with low latency bitstream distribution
CN117440175A (zh) 用于视频传输的方法、装置、系统、设备和介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant