JP2019526178A - 空間的にタイリングされた全方位ビデオのストリーミング - Google Patents
空間的にタイリングされた全方位ビデオのストリーミング Download PDFInfo
- Publication number
- JP2019526178A JP2019526178A JP2018562052A JP2018562052A JP2019526178A JP 2019526178 A JP2019526178 A JP 2019526178A JP 2018562052 A JP2018562052 A JP 2018562052A JP 2018562052 A JP2018562052 A JP 2018562052A JP 2019526178 A JP2019526178 A JP 2019526178A
- Authority
- JP
- Japan
- Prior art keywords
- tile
- video
- client device
- projection
- stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 69
- 238000000034 method Methods 0.000 claims abstract description 62
- 238000013507 mapping Methods 0.000 claims description 62
- 230000008569 process Effects 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 3
- 230000011664 signaling Effects 0.000 claims 1
- 238000009877 rendering Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 16
- 230000002093 peripheral effect Effects 0.000 description 11
- 239000000872 buffer Substances 0.000 description 6
- 230000000153 supplemental effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000005043 peripheral vision Effects 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
- H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Information Transfer Between Computers (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
Description
全方位ビデオは、産業界で現在躍進を遂げつつある仮想現実(VR)および拡張現実(AR)のような、新たなユーザ体験を提供する。しかしながら、高品質のVRコンテンツをストリーミングする場合、高品質の全方位ビデオをストリーミングし球面コンテンツをビット・ストリームで表すために必要とされる高帯域幅要件を含む課題が今なお提起されている。
好ましくはクライアント・デバイスによって、1つ以上のタイル・ストリーム記憶デバイス、好ましくは1つ以上のネットワーク・ノードに、選択した1つ以上のタイル・ストリームを要求するステップと、1つ以上の選択したタイル・ストリームのビデオ・データを受信し、更にマッピング情報を受信するステップであって、好ましくは、マッピング情報の少なくとも一部が、マニフェスト・ファイルにおいてクライアント・デバイスに通知され、マッピング情報が、クライアント・デバイスがタイル・ストリームの2D投影ビデオ・データを、全方位ビデオ・データとして、湾曲面上にマッピングすることを可能にするための情報を、クライアント・デバイスに提供する、ステップと、空間関係情報およびマッピング情報に基づいて、前記受信したタイル・ストリームのビデオ・データを処理するステップとを含んでもよい。
好ましくはクライアント・デバイスによって、マニフェスト・ファイルにおける空間関係情報に基づいて,更にクライアント・デバイスのユーザの視点に基づいて、第1解像度を有する1つ以上のタイル・ストリームと、第2解像度に関連付けられた第2ストリームとを選択するステップであって、第2解像度が第1解像度よりも低く(例えば、低解像度のベース・レイヤ)、空間関係情報が、タイル毎に、タイル位置を定め、視点がユーザの目視方向を定め、タイル位置および視点が、3D座標系の座標に基づいて定められる、ステップとを含む。
入力デバイス1212および出力デバイス1214として図示されている入力/出力(I/O)デバイスは、任意に、データ処理システムに結合することができる。入力デバイスの例には、例えば、ポジション・トラッカ(position tracker)、キーボード、マウスのようなポインティング・デバイス、タッチ・スクリーン等を含むことができるが、これらに限定されるのではない。出力デバイスの例には、例えば、モニタまたは(頭部装着式)ディスプレイ、スピーカ等を含むことができるが、これらに限定されるのではない。入力デバイスおよび/または出力デバイスは、直接または仲介するI/Oコントローラを介してデータ処理システムに結合することができる。また、ネットワーク・アダプタ1216をデータ処理システムに結合してもよく、他のシステム、コンピュータ・システム、リモート・ネットワーク・デバイス、および/またはリモート記憶デバイスに、仲介するプライベートまたはパブリック・ネットワークを通じてデータ処理システムを結合することが可能になる。ネットワーク・アダプタは、前記システム、デバイス、および/またはネットワークによって送信されるデータを受信するデータ受信機、およびデータを前記システム、デバイス、および/またはネットワークに送信するデータ送信機を含むことができる。モデム、ケーブル・モデム、およびイーサネット・カードは、データ処理システム1250と共に使用することができる異なる型式のネットワーク・アダプタの例である。
Claims (15)
- クライアント・デバイスによって全方位ビデオを処理する方法であって、前記全方位ビデオが、湾曲面、好ましくは、球体上において該全方位ビデオのビデオ・データの空間位置を判定するための3D座標系に関連付けられており、当該方法が、
好ましくは前記クライアント・デバイスによってマニフェスト・ファイルを受信するステップであって、前記マニフェスト・ファイルが、複数のタイル・ストリームを識別するための複数のタイル・ストリーム識別子を含み、前記タイル・ストリームが、2D投影ビデオ・データを有するビデオ・フレームを含み、前記ビデオ・フレームが画像表示枠を有し、これによって、異なるタイル・ストリームにおける前記ビデオ・フレームの画像表示枠が、前記全方位ビデオの2D投影の異なる領域を覆い、1つの領域が1つのタイルを定める、ステップと、
好ましくは前記クライアント・デバイスによって、前記マニフェスト・ファイルにおける空間関係情報に基づいて、また、前記クライアント・デバイスのユーザの視点に基づいて、第1解像度および第1タイル位置に関連付けられた第1タイル・ストリームと、第2解像度および第2タイル位置に関連付けられた第2タイル・ストリームとを選択するステップであって、前記第2解像度が前記第1解像度よりも低く、前記空間関係情報が、タイル毎に、タイル位置を定め、前記視点が前記ユーザの目視方向を定め、前記タイル位置および前記視点が、前記3D座標系の座標に基づいて定められる、ステップと、
を含む、方法。 - 請求項1記載の方法であって、更に、
好ましくは前記クライアント・デバイスによって、1つ以上のタイル・ストリーム記憶デバイス、好ましくは1つ以上のネットワーク・ノードに、前記選択した1つ以上のタイル・ストリームを要求するステップと、
前記1つ以上の選択したタイル・ストリームのビデオ・データを受信すると共にマッピング情報を受信するステップであって、好ましくは、前記マッピング情報の少なくとも一部が、前記マニフェスト・ファイルにおいて前記クライアント・デバイスに通知され、前記マッピング情報が、前記クライアント・デバイスが前記タイル・ストリームの2D投影ビデオ・データを、全方位ビデオ・データとして、前記湾曲面上にマッピングすることを可能にするための情報を、前記クライアント・デバイスに提供する、ステップと、
前記空間関係情報および前記マッピング情報に基づいて、前記受信したタイル・ストリームのビデオ・データを処理するステップと、
を含む、方法。 - 請求項2記載の方法において、前記マッピング情報が、前記全方位ビデオ・データを平坦面上に投影するために使用される2D投影の型式の指示を含み、更に、任意に、前記2D投影ビデオ・データを前記湾曲面上にマッピングするために必要とされる1つ以上のパラメータを含む、方法。
- 請求項1〜3のいずれか1項記載の方法において、前記視点が前記ユーザの視野に関連付けられ、好ましくは、前記視点が前記ユーザの視野の中心点を定め、前記選択するステップが、
前記視野の中央部の少なくとも一部に位置するタイル位置に対して、高解像度のタイル・ストリームを選択するステップと、
前記視野の周辺部の少なくとも一部に位置するタイル位置に対して、前記高解像度よりも低い解像度のタイル・ストリームを選択するステップと、
を含む、方法。 - 請求項2〜4のいずれか1項記載の方法において、前記ビデオ・データを処理するステップが、更に、
前記受信したタイル・ストリームのビデオ・データを、タイルを表すビデオ・フレームにデコードするステップと、
1つの時間インスタンスに関連付けられた前記タイルのビデオ・フレームを空間的に配置し、前記ビデオ・フレームをスティッチして1つのビデオ・フレームにするステップと、
前記マッピング情報に基づいて、前記ビデオ・フレームの2D投影ビデオ・データを、全方位ビデオ・データとして、前記湾曲面上にマッピングするステップと、
を含む、方法。 - 請求項2〜5のいずれか1項記載の方法において、前記選択した1つ以上のタイル・ストリームの前記要求および受信が、HTTP適応ストリーミング・プロトコル、好ましくは、MPEG DASHストリーミング・プロトコルまたはその派生物に基づく、方法。
- 請求項1〜6のいずれか1項記載の方法において、前記マニフェスト・ファイルが、更に、タイル・ストリームの1つ以上の表現を定め、好ましくは、前記1つ以上の表現が、1つ以上の解像度表現および/または1つ以上のタイリング表現を含む、方法。
- 請求項1〜7のいずれか1項記載の方法において、前記マニフェスト・ファイルが、1つ以上の空間関係記述子(SRD)を含み、空間関係記述子が、前記3D座標系の座標に基づいて前記タイルのタイル位置および寸法を定めるための1つ以上のSRDパラメータを含む、方法。
- 請求項8記載の方法において、前記1つ以上の空間関係記述子(SRD)が、更に、前記全方位ビデオ・データを平坦面上に投影するために使用される2D投影の型式を通知するための1つ以上のSRDパラメータを含み、好ましくは、前記2D投影の型式が、正距円筒投影、立体投影、円筒投影、若しくは派生物、および/またはこれらの組み合わせの内の1つを含む、方法。
- 全方位ビデオを処理するためのクライアント・デバイスであって、前記全方位ビデオが、湾曲面上に前記全方位ビデオのビデオ・データの空間位置を決定するための3D座標系に関連付けられており、前記クライアント・デバイスが、
プログラムの少なくとも一部が組み込まれたコンピュータ読み取り可能記憶媒体であって、マニフェスト・ファイルを含む、コンピュータ読み取り可能記憶媒体と、
コンピュータ読み取り可能プログラム・コードが組み込まれたコンピュータ読み取り可能記憶媒体と、
前記コンピュータ読み取り可能記憶媒体に結合されたプロセッサ、好ましくは、マイクロプロセッサと、
を含み、前記コンピュータ読み取り可能プログラム・コードの実行に応答して、前記プロセッサが、
マニフェスト・ファイルを受信する動作であって、前記マニフェスト・ファイルが、複数のタイル・ストリームを識別するための複数のタイル・ストリーム識別子を含み、前記タイル・ストリームが、2D投影ビデオ・データを有するビデオ・フレームを含み、前記ビデオ・フレームが画像表示枠を有し、これによって、異なるタイル・ストリームにおける前記ビデオ・フレームの画像表示枠が、前記全方位ビデオの2D投影の異なる領域を覆い、1つの領域が1つのタイルを定める、動作と、
前記マニフェスト・ファイルにおける空間関係情報に基づいて、また、前記クライアント・デバイスのユーザの視点に基づいて、第1解像度および第1タイル位置に関連付けられた第1タイル・ストリームと、第2解像度および第2タイル位置に関連付けられた第2タイル・ストリームとを選択する動作であって、前記第2解像度が前記第1解像度よりも低く、前記空間関係情報がタイル毎にタイル位置を定め、前記視点が前記ユーザの目視方向を定め、前記タイル位置および前記視点が、前記3D座標系の座標に基づいて定められる、動作と、
を含む実行可能動作を実行するように構成される、クライアント・デバイス。 - 請求項10記載のクライアント・デバイスにおいて、前記実行可能動作が、更に、
1つ以上のタイル・ストリーム記憶デバイス、好ましくは1つ以上のネットワーク・ノードに、前記選択した1つ以上のタイル・ストリームを要求する動作と、
前記1つ以上の選択したタイル・ストリームのビデオ・データを受信すると共に、マッピング情報を受信する動作であって、好ましくは、前記マッピング情報の少なくとも一部が、前記マニフェスト・ファイルにおいて前記クライアント・デバイスに通知され、前記マッピング情報が、前記クライアント・デバイスが前記タイル・ストリームの2D投影ビデオ・データを、全方位ビデオ・データとして、前記湾曲面上にマッピングすることを可能にするための情報を、前記クライアント・デバイスに提供する、動作と、
前記空間関係情報および前記マッピング情報に基づいて、前記受信したタイル・ストリームのビデオ・データを処理する動作と、
を含む、クライアント・デバイス。 - 請求項10または11記載のクライアント・デバイスにおいて、前記マニフェスト・ファイルが、1つ以上の空間関係記述子(SRD)を含み、空間関係記述子が、前記3D座標系の座標に基づいて前記タイルのタイル位置および寸法を定めるための1つ以上のSRDパラメータを含み、任意に、前記1つ以上の空間関係記述子が、更に、前記全方位ビデオ・データを平坦面上に投影するために使用される2D投影の型式を通知するための1つ以上のSRDパラメータを含み、好ましくは、前記2D投影の型式が、正距円筒投影、立体投影、円筒投影、若しくは派生物、および/またはこれらの組み合わせの内の1つを含む、クライアント・デバイス。
- クライアント・デバイスのためにマニフェスト・ファイルを格納するための非一時的コンピュータ読み取り可能記憶媒体であって、前記クライアント・デバイスが、前記マニフェスト・ファイルに基づいて全方位ビデオを処理するように構成され、前記全方位ビデオが、湾曲面、好ましくは球面上に前記全方位ビデオのビデオ・データの空間位置を決定するための3D座標系に関連付けられており、前記マニフェスト・ファイルがコンピュータ読み取り可能データを含み、前記データが、
複数のタイル・ストリームを識別するための複数のタイル・ストリーム識別子であって、前記タイル・ストリームが、2D投影ビデオ・データを有するビデオ・フレームを含み、前記ビデオ・フレームが画像表示枠を有し、これによって、異なるタイル・ストリームにおける前記ビデオ・フレームの画像表示枠が、前記全方位ビデオの2D投影の異なる領域を覆い、1つの領域が1つのタイルを定める、複数のタイル・ストリーム識別子と、
空間関係情報であって、タイル毎にタイル位置を定め、前記タイル位置および前記視点が、前記3D座標系の座標に基づいて定められる、空間関係情報と、
前記クライアント・デバイスが、前記マニフェスト・ファイルにおいて全方位ビデオ・データとして識別された前記タイル・ストリームの2D投影ビデオ・データを、前記湾曲面上にマッピングすることを可能にするための情報を、前記クライアント・デバイスに提供するためのマッピング情報と、
を含む、非一時的コンピュータ読み取り可能記憶媒体。 - 請求項13記載の非一時的コンピュータ読み取り可能記憶媒体において、前記コンピュータ読み取り可能データが、更に、
1つ以上の空間関係記述子(SRD)であって、空間関係記述子が、前記3D座標系の座標に基づいて前記タイルのタイル位置および寸法を定めるための1つ以上のSRDパラメータを含む、1つ以上の空間関係記述子(SRD)、および/または
前記全方位ビデオ・データを平坦面上に投影するために使用される2D投影の型式を通知するための1つ以上のSRDパラメータであって、好ましくは、前記2D投影の型式が、正距円筒投影、立体投影、円筒投影またはこれらの組み合わせの内の1つを含む、1つ以上のSRDパラメータ、
を含む、非一時的コンピュータ読み取り可能記憶媒体。 - ソフトウェア・コード部分を含むコンピュータ・プログラム製品であって、前記ソフトウェア・コード部分が、コンピュータのメモリ内で実行されると、請求項1〜9のいずれか1項記載の方法ステップを実行するように構成される、コンピュータ・プログラム製品。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP16001189.6 | 2016-05-25 | ||
EP16001189 | 2016-05-25 | ||
EP16172029 | 2016-05-30 | ||
EP16172029.7 | 2016-05-30 | ||
PCT/EP2017/062517 WO2017202899A1 (en) | 2016-05-25 | 2017-05-24 | Spatially tiled omnidirectional video streaming |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019526178A true JP2019526178A (ja) | 2019-09-12 |
JP7022077B2 JP7022077B2 (ja) | 2022-02-17 |
Family
ID=58994908
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018562052A Active JP7022077B2 (ja) | 2016-05-25 | 2017-05-24 | 空間的にタイリングされた全方位ビデオのストリーミング |
Country Status (5)
Country | Link |
---|---|
US (1) | US11284124B2 (ja) |
EP (1) | EP3466083B1 (ja) |
JP (1) | JP7022077B2 (ja) |
CN (1) | CN109565610B (ja) |
WO (1) | WO2017202899A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024024472A1 (ja) * | 2022-07-28 | 2024-02-01 | ソニーグループ株式会社 | 情報処理装置および方法 |
Families Citing this family (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109792563B (zh) | 2016-10-12 | 2022-01-25 | 皇家Kpn公司 | 基于感兴趣区域处理球面视频数据 |
US11290699B2 (en) * | 2016-12-19 | 2022-03-29 | Dolby Laboratories Licensing Corporation | View direction based multilevel low bandwidth techniques to support individual user experiences of omnidirectional video |
US10742999B2 (en) * | 2017-01-06 | 2020-08-11 | Mediatek Inc. | Methods and apparatus for signaling viewports and regions of interest |
CN108632674B (zh) * | 2017-03-23 | 2021-09-21 | 华为技术有限公司 | 一种全景视频的播放方法和客户端 |
US20180310040A1 (en) * | 2017-04-21 | 2018-10-25 | Nokia Technologies Oy | Method and apparatus for view dependent delivery of tile-based video content |
GB2563387B (en) * | 2017-06-09 | 2020-04-15 | Sony Interactive Entertainment Inc | Image processing device and system |
US10818087B2 (en) * | 2017-10-02 | 2020-10-27 | At&T Intellectual Property I, L.P. | Selective streaming of immersive video based on field-of-view prediction |
US11025919B2 (en) | 2017-10-03 | 2021-06-01 | Koninklijke Kpn N.V. | Client-based adaptive streaming of nonlinear media |
EP3721636A1 (en) * | 2017-12-07 | 2020-10-14 | Koninklijke KPN N.V. | Method for adaptive streaming of media |
JPWO2019139099A1 (ja) * | 2018-01-12 | 2020-12-24 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
GB2570298A (en) * | 2018-01-17 | 2019-07-24 | Nokia Technologies Oy | Providing virtual content based on user context |
JP7059662B2 (ja) * | 2018-02-02 | 2022-04-26 | トヨタ自動車株式会社 | 遠隔操作システム、及びその通信方法 |
JP7073128B2 (ja) * | 2018-02-08 | 2022-05-23 | キヤノン株式会社 | 通信装置、通信方法、及びプログラム |
EP3531703A1 (en) | 2018-02-26 | 2019-08-28 | Thomson Licensing | Method and network equipment for encoding an immersive video spatially tiled with a set of tiles |
CN108520492B (zh) * | 2018-03-16 | 2022-04-26 | 中国传媒大学 | 全景视频映射方法及系统 |
JP6859286B2 (ja) * | 2018-03-26 | 2021-04-14 | Kddi株式会社 | Vr映像配信装置および方法、vr映像再生装置および方法ならびにvr映像システム |
CN110519652B (zh) | 2018-05-22 | 2021-05-18 | 华为软件技术有限公司 | Vr视频播放方法、终端及服务器 |
US10764494B2 (en) | 2018-05-25 | 2020-09-01 | Microsoft Technology Licensing, Llc | Adaptive panoramic video streaming using composite pictures |
US10666863B2 (en) * | 2018-05-25 | 2020-05-26 | Microsoft Technology Licensing, Llc | Adaptive panoramic video streaming using overlapping partitioned sections |
US10623736B2 (en) * | 2018-06-14 | 2020-04-14 | Telefonaktiebolaget Lm Ericsson (Publ) | Tile selection and bandwidth optimization for providing 360° immersive video |
JP2020005038A (ja) * | 2018-06-25 | 2020-01-09 | キヤノン株式会社 | 送信装置、送信方法、受信装置、受信方法、及び、プログラム |
EP3588965A1 (en) * | 2018-06-28 | 2020-01-01 | InterDigital CE Patent Holdings | Method configured to be implemented at a terminal adapted to receive an immersive video spatially tiled with a set of tiles, and corresponding terminal |
US11558708B2 (en) * | 2018-07-13 | 2023-01-17 | Nokia Technologies Oy | Multi-viewpoint multi-user audio user experience |
US11962819B2 (en) * | 2018-07-17 | 2024-04-16 | Dolby Laboratories Licensing Corporation | Foviation and HDR |
WO2020033455A1 (en) * | 2018-08-07 | 2020-02-13 | Core | Omnidirectional video streaming |
JP2020042064A (ja) * | 2018-09-06 | 2020-03-19 | キヤノン株式会社 | 表示制御装置、撮像装置、制御方法、プログラム、及び、記憶媒体 |
US11323754B2 (en) * | 2018-11-20 | 2022-05-03 | At&T Intellectual Property I, L.P. | Methods, devices, and systems for updating streaming panoramic video content due to a change in user viewpoint |
US11438731B2 (en) | 2019-03-19 | 2022-09-06 | Nokia Technologies Oy | Method and apparatus for incorporating location awareness in media content |
EP3949422A1 (en) | 2019-03-26 | 2022-02-09 | PCMS Holdings, Inc. | System and method for multiplexed rendering of light fields |
EP3761647A1 (en) * | 2019-07-05 | 2021-01-06 | Tiledmedia B.V. | Methods and devices for rendering a video on a display |
US20220264080A1 (en) * | 2019-07-23 | 2022-08-18 | Pcms Holdings, Inc. | System and method for adaptive lenslet light field transmission and rendering |
US11481026B2 (en) | 2019-08-22 | 2022-10-25 | Samsung Electronics Co., Ltd. | Immersive device and method for streaming of immersive media |
CN110544316B (zh) * | 2019-09-06 | 2023-12-01 | 北京奇艺世纪科技有限公司 | 一种虚拟现实回放方法、系统、设备及存储介质 |
CN110636294B (zh) * | 2019-09-27 | 2024-04-09 | 腾讯科技(深圳)有限公司 | 视频解码方法及装置,视频编码方法及装置 |
CN111083523A (zh) * | 2019-12-04 | 2020-04-28 | 聚好看科技股份有限公司 | 一种全景视频播放的方法及终端 |
US20210383590A1 (en) * | 2020-05-27 | 2021-12-09 | Nokia Technologies Oy | Offset Texture Layers for Encoding and Signaling Reflection and Refraction for Immersive Video and Related Methods for Multi-Layer Volumetric Video |
CN113766271B (zh) * | 2020-06-04 | 2022-07-12 | 腾讯科技(深圳)有限公司 | 一种沉浸媒体的数据处理方法、装置及设备 |
CN112163990B (zh) * | 2020-09-08 | 2022-10-25 | 上海交通大学 | 360度图像的显著性预测方法及系统 |
CN112788317A (zh) * | 2020-12-30 | 2021-05-11 | 惠州Tcl移动通信有限公司 | 一种播放全景视频的方法、系统、存储介质及播放设备 |
US11568574B1 (en) | 2021-08-18 | 2023-01-31 | Varjo Technologies Oy | Foveation-based image encoding and decoding |
CN117255233A (zh) * | 2022-06-10 | 2023-12-19 | 中兴通讯股份有限公司 | 媒体信息处理方法、媒体信息播放方法、装置及存储介质 |
EP4391550A1 (en) * | 2022-12-23 | 2024-06-26 | Koninklijke KPN N.V. | Processing content for extended reality applications |
CN116431875B (zh) * | 2023-06-12 | 2023-09-08 | 厦门精图信息技术有限公司 | 一种大数据可视化分析展示系统及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015008774A1 (ja) * | 2013-07-19 | 2015-01-22 | ソニー株式会社 | 情報処理装置および方法 |
WO2015060165A1 (ja) * | 2013-10-22 | 2015-04-30 | シャープ株式会社 | 表示処理装置、配信装置、および、メタデータ |
WO2015197815A1 (en) * | 2014-06-27 | 2015-12-30 | Koninklijke Kpn N.V. | Determining a region of interest on the basis of a hevc-tiled video stream |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100390666C (zh) | 2004-12-17 | 2008-05-28 | 上海杰图软件技术有限公司 | 基于圆鱼眼或鼓形图像快速生成高清晰度全景的智能化方法 |
CN101146231A (zh) * | 2007-07-03 | 2008-03-19 | 浙江大学 | 根据多视角视频流生成全景视频的方法 |
US9232257B2 (en) * | 2010-09-22 | 2016-01-05 | Thomson Licensing | Method for navigation in a panoramic scene |
JP2013101525A (ja) | 2011-11-09 | 2013-05-23 | Sony Corp | 画像処理装置および方法、並びにプログラム |
FR2988964A1 (fr) * | 2012-03-30 | 2013-10-04 | France Telecom | Technique de distribution d'un contenu video de type immersif |
KR101888081B1 (ko) * | 2012-05-24 | 2018-08-13 | 엘지전자 주식회사 | 영상 투사 모듈, 이를 구비하는 이동 단말기, 및 그 동작방법 |
CN103945103B (zh) * | 2013-01-17 | 2017-05-24 | 成都国翼电子技术有限公司 | 基于柱面的多平面二次投影消除全景摄像机图像畸变的方法 |
CN103973944A (zh) * | 2013-02-06 | 2014-08-06 | 深圳市振华微电子有限公司 | 半球型全景成像装置及方法 |
JP2016521485A (ja) * | 2013-04-08 | 2016-07-21 | トムソン ライセンシングThomson Licensing | 少なくとも1つのサーバによって送信されたマニフェストを適応化するための装置および方法 |
US10229477B2 (en) * | 2013-04-30 | 2019-03-12 | Sony Corporation | Image processing device, image processing method, and program |
CN103295231A (zh) | 2013-05-14 | 2013-09-11 | 杭州海康希牧智能科技有限公司 | 一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法 |
EP3562170A1 (en) | 2013-07-29 | 2019-10-30 | Koninklijke KPN N.V. | Providing tile video streams to a client |
CN103543831A (zh) | 2013-10-25 | 2014-01-29 | 梁权富 | 头戴式全景播放装置 |
US10694192B2 (en) * | 2014-06-27 | 2020-06-23 | Koninklijke Kpn N.V. | HEVC-tiled video streaming |
US10204658B2 (en) * | 2014-07-14 | 2019-02-12 | Sony Interactive Entertainment Inc. | System and method for use in playing back panorama video content |
US20160277772A1 (en) * | 2014-09-30 | 2016-09-22 | Telefonaktiebolaget L M Ericsson (Publ) | Reduced bit rate immersive video |
GB2531993B (en) * | 2014-10-14 | 2018-04-25 | Canon Kk | Description of image composition with HEVC still image file format |
US20160353146A1 (en) | 2015-05-27 | 2016-12-01 | Google Inc. | Method and apparatus to reduce spherical video bandwidth to user headset |
CN105100759B (zh) | 2015-08-11 | 2017-07-07 | 润佳华晟投资集团有限公司 | 一种屏幕投影系统、方法及装置 |
US10360721B2 (en) | 2016-05-26 | 2019-07-23 | Mediatek Inc. | Method and apparatus for signaling region of interests |
CN109792563B (zh) | 2016-10-12 | 2022-01-25 | 皇家Kpn公司 | 基于感兴趣区域处理球面视频数据 |
-
2017
- 2017-05-24 EP EP17727532.8A patent/EP3466083B1/en active Active
- 2017-05-24 WO PCT/EP2017/062517 patent/WO2017202899A1/en unknown
- 2017-05-24 CN CN201780046501.5A patent/CN109565610B/zh active Active
- 2017-05-24 JP JP2018562052A patent/JP7022077B2/ja active Active
- 2017-05-24 US US16/302,500 patent/US11284124B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015008774A1 (ja) * | 2013-07-19 | 2015-01-22 | ソニー株式会社 | 情報処理装置および方法 |
WO2015060165A1 (ja) * | 2013-10-22 | 2015-04-30 | シャープ株式会社 | 表示処理装置、配信装置、および、メタデータ |
WO2015197815A1 (en) * | 2014-06-27 | 2015-12-30 | Koninklijke Kpn N.V. | Determining a region of interest on the basis of a hevc-tiled video stream |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024024472A1 (ja) * | 2022-07-28 | 2024-02-01 | ソニーグループ株式会社 | 情報処理装置および方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3466083A1 (en) | 2019-04-10 |
CN109565610B (zh) | 2021-03-30 |
WO2017202899A1 (en) | 2017-11-30 |
EP3466083B1 (en) | 2020-09-16 |
JP7022077B2 (ja) | 2022-02-17 |
US11284124B2 (en) | 2022-03-22 |
US20190174150A1 (en) | 2019-06-06 |
CN109565610A (zh) | 2019-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7022077B2 (ja) | 空間的にタイリングされた全方位ビデオのストリーミング | |
US10805614B2 (en) | Processing spherical video data on the basis of a region of interest | |
US11200700B2 (en) | Methods and apparatus for signaling viewports and regions of interest for point cloud multimedia data | |
US10742999B2 (en) | Methods and apparatus for signaling viewports and regions of interest | |
JP6979035B2 (ja) | 仮想現実メディアコンテンツのストリーミングを向上させる方法、デバイス及びコンピュータプログラム | |
JP6501904B2 (ja) | 球面ビデオのストリーミング | |
CN112204993B (zh) | 使用重叠的被分区的分段的自适应全景视频流式传输 | |
KR102371099B1 (ko) | 광시야 비디오를 인코딩하기 위한 구면 회전 기법 | |
JP7058273B2 (ja) | 情報処理方法および装置 | |
JP2021048649A (ja) | パノラマビデオのための提案されるビューポート指示 | |
US20190387212A1 (en) | 360 video processing method and apparatus therefor | |
WO2019202207A1 (en) | Processing video patches for three-dimensional content | |
KR20190140903A (ko) | 퀄리티 기반 360도 비디오를 송수신하는 방법 및 그 장치 | |
JP2020529149A (ja) | イメージ処理方法、端末およびサーバ | |
US11115451B2 (en) | Methods and apparatus for signaling viewports and regions of interest | |
US11270413B2 (en) | Playback apparatus and method, and generation apparatus and method | |
CN114095737B (zh) | 媒体文件封装及解封装方法、装置、设备及存储介质 | |
US20240015197A1 (en) | Method, apparatus and device for encapsulating media file, and storage medium | |
US20200382758A1 (en) | Method for transmitting region-based 360-degree video, method for receiving region-based 360-degree video, region-based 360-degree video transmission device, and region-based 360-degree video reception device | |
JP2022541908A (ja) | ボリュメトリックビデオコンテンツを配信するための方法および装置 | |
CN116848840A (zh) | 多视图视频流式传输 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190123 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200108 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200507 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201023 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210617 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210915 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220204 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7022077 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |