JP2019530296A - 回転情報のシンタックス要素シグナリングを備えたビデオエンコーディング機能を有する方法及び装置、並びに関連するビデオデコーディング機能を有する方法及び装置 - Google Patents

回転情報のシンタックス要素シグナリングを備えたビデオエンコーディング機能を有する方法及び装置、並びに関連するビデオデコーディング機能を有する方法及び装置 Download PDF

Info

Publication number
JP2019530296A
JP2019530296A JP2019508263A JP2019508263A JP2019530296A JP 2019530296 A JP2019530296 A JP 2019530296A JP 2019508263 A JP2019508263 A JP 2019508263A JP 2019508263 A JP2019508263 A JP 2019508263A JP 2019530296 A JP2019530296 A JP 2019530296A
Authority
JP
Japan
Prior art keywords
rotation
syntax element
content
video
processing method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019508263A
Other languages
English (en)
Inventor
リン，ハン−チー
ホアン，チャオ−チー
リ，チア−イン
リン，ジャン−リアン
チャン，シェヌ−カイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of JP2019530296A publication Critical patent/JP2019530296A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

ビデオ処理方法が、３６０度バーチャルリアリティ（３６０ＶＲ）投影フォーマットで表わされた３６０度イメージ／ビデオコンテンツを有する現在の入力フレームを受信するステップと、現在の入力フレーム内の３６０度イメージ／ビデオコンテンツにコンテンツ方向づけ回転を適用して、３６０ＶＲ投影フォーマットで表わされた回転された３６０度イメージ／ビデオコンテンツを有するコンテンツ回転フレームを生成するステップと、コンテンツ回転フレームをエンコードしてビットストリームを生成するステップと、ビットストリームを介して少なくとも１つのシンタックス要素をシグナリングするステップと、を含み、少なくとも１つのシンタックス要素は、コンテンツ方向づけ回転の回転情報を示すように設定される。

Description

関連出願の相互参照
本出願は、2016年11月09日に出願された米国仮出願第62/419,513号、2016年12月13日に出願された米国仮出願第62/433,272号、2017年03月09日に出願された米国仮出願第62/469,041号、及び2017年11月03日に出願された米国特許出願第15/802,481号の利益を主張し、これらは本明細書において参照により援用される。
本発明は、３６０度イメージ／ビデオコンテンツ処理に関し、より詳細には、投影フォーマットで表された３６０度イメージ／ビデオコンテンツに適用されるコンテンツ方向づけ回転の回転情報のシンタックス要素シグナリングを備えたビデオエンコーディング機能を有する方法及び装置、並びに関連するビデオデコーディング機能を有する方法及び装置に関する。
ヘッドマウントディスプレイ（head-mounted displays；ＨＭＤ）を用いたバーチャルリアリティ（ＶＲ）は、様々なアプリケーションに関連づけられる。広視野コンテンツをユーザに見せる能力は、没入的な視覚体験を提供するために使用できる。現実世界の環境がすべての方向において捕捉される必要があり、ビューイング球形に対応する全方位ビデオを結果としてもたらす。カメラリグ及びＨＭＤの進化により、ＶＲコンテンツの配信は、こうした３６０度イメージ／ビデオコンテンツを表現するために必要な高いビットレートに起因して、すぐにボトルネックになる可能性がある。全方位ビデオの解像度が４Ｋ又はそれより高いとき、データ圧縮／エンコーディングはビットレート低減に対してクリティカルである。
一般に、ビューイング球形に対応する全方位ビデオはイメージのシーケンスに変換され、該イメージの各々は３６０度バーチャルリアリティ（３６０ＶＲ）投影フォーマットにより表現され、次いで、結果として生じるイメージシーケンスは送信のためにビットストリームへエンコードされる。しかしながら、３６０ＶＲ投影フォーマットで表現された元の３６０度イメージ／ビデオコンテンツは、採用された３６０ＶＲ投影フォーマットにより分割及び／又は伸縮される動くオブジェクトに起因して、不十分な圧縮効率を有する可能性がある。ゆえに、３６０ＶＲ投影フォーマットで表現される３６０度イメージ／ビデオコンテンツの圧縮効率を向上させることができる革新的な設計の必要がある。
請求される発明の目的の１つは、投影フォーマットで表現された３６０度イメージ／ビデオコンテンツに適用されるコンテンツ方向づけ回転の回転情報のシンタックス要素シグナリングを備えたビデオエンコーディング機能を有する方法及び装置、並びに関連するビデオデコーディング機能を有する方法及び装置を提供することである。
本発明の第１の態様によれば、例示的なビデオ処理方法が開示される。例示的なビデオ処理方法は、３６０度バーチャルリアリティ（３６０ＶＲ）投影フォーマットで表された３６０度イメージ／ビデオコンテンツを有する現在の入力フレームを受信するステップと、現在の入力フレーム内の３６０度イメージ／ビデオコンテンツにコンテンツ方向づけ回転を適用して、３６０ＶＲ投影フォーマットで表された回転された３６０度イメージ／ビデオコンテンツを有するコンテンツ回転フレームを生成するステップと、コンテンツ回転フレームをエンコードしてビットストリームを生成するステップと、ビットストリームを介して少なくとも１つのシンタックス要素をシグナリングするステップであり、少なくとも１つのシンタックス要素は、コンテンツ方向づけ回転の回転情報を示すように設定される、ステップと、を含む。
本発明の第２の態様によれば、例示的なビデオ処理方法が開示される。例示的なビデオ処理方法は、ビットストリームを受信するステップと、ビットストリームを処理してビットストリームから少なくとも１つのシンタックス要素を取得するステップと、ビットストリームをデコードして、３６０度バーチャルリアリティ（３６０ＶＲ）投影フォーマットで表された回転された３６０度イメージ／ビデオコンテンツを有する現在のデコードされたフレームを生成するステップと、現在のデコードされたフレームと、少なくとも１つのシンタックス要素により示されるコンテンツ方向づけ回転の回転情報とに従って、出力イメージデータをディスプレイ画面にレンダリングし、表示するステップであり、コンテンツ方向づけ回転は、回転された３６０度イメージ／ビデオコンテンツを生成することに関与する、ステップと、を含む。
本発明の第３の態様によれば、例示的なビデオ処理装置が開示される。例示的なビデオ処理装置は、コンテンツ方向づけ回転回路及びビデオエンコーダを含む。コンテンツ方向づけ回転回路は、３６０度バーチャルリアリティ（３６０ＶＲ）投影フォーマットで表された３６０度イメージ／ビデオコンテンツを有する現在の入力フレームを受信し、現在の入力フレーム内の３６０度イメージ／ビデオコンテンツにコンテンツ方向づけ回転を適用して、３６０ＶＲ投影フォーマットで表された回転された３６０度イメージ／ビデオコンテンツを有するコンテンツ回転フレームを生成するように構成される。ビデオエンコーダは、コンテンツ回転フレームをエンコードしてビットストリームを生成し、ビットストリームを介して少なくとも１つのシンタックス要素をシグナリングするように構成され、少なくとも１つのシンタックス要素は、コンテンツ方向づけ回転の回転情報を示すように設定される。
本発明の第４の態様によれば、例示的なビデオ処理装置が開示される。例示的なビデオ処理装置は、ビデオデコーダ及びグラフィックレンダリング回路を含む。ビデオデコーダは、ビットストリームを受信し、ビットストリームを処理してビットストリームから少なくとも１つのシンタックス要素を取得し、ビットストリームをデコードして３６０度バーチャルリアリティ（３６０ＶＲ）投影フォーマットで表された回転された３６０度イメージ／ビデオコンテンツを有する現在のデコードされたフレームを生成するように構成される。グラフィックレンダリング回路は、現在のデコードされたフレームと、少なくとも１つのシンタックス要素により示されるコンテンツ方向づけ回転の回転情報とに従って、出力イメージデータをディスプレイ画面にレンダリングし、表示するように構成され、コンテンツ方向づけ回転は、回転された３６０度イメージ／ビデオコンテンツを生成することに関与する。
本発明の上記及び他の目的が、様々な図表及び図面に例示される好適な実施例の下記詳細な説明を読んだ当業者に疑いなく明らかになるであろう。
本発明の実施例による３６０度バーチャルリアリティ（３６０ＶＲ）システムを示す図である。 本発明の実施例による提案のコンテンツ方向づけ回転の概念を示す図である。 本発明の実施例によるビデオエンコーダを示す図である。 本発明の実施例による、同じ回転角度を用いて異なる回転順序を使用して実行されるコンテンツ方向づけ回転を示す図である。 本発明の実施例によるビデオデコーダを示す図である。
特定の用語が以下の説明及び特許請求の範囲を通して使用され、これらは特定のコンポーネントを参照する。当業者が十分理解するように、電子機器製造業者は異なる名前でコンポーネントを参照することがある。本文献は、名前は異なるが機能は異ならないコンポーネント間で区別することは意図しない。以下の説明において、及び特許請求の範囲において、用語「含む」（“include”、“comprise”）は開放的に使用され、ゆえに、「これらに限られないが・・・を含む」を意味するように解釈されるべきである。また、用語「結合する」は、間接又は直接のいずれかの電気接続を意味することが意図される。したがって、あるデバイスが別のデバイスに結合される場合、その接続は、直接の電気接続を通してでもよく、あるいは他のデバイス及び接続を介して間接の電気接続を通してでもよい。
図１は、本発明の実施例による３６０度バーチャルリアリティ（360-degree Virtual Reality）（３６０ＶＲ）システムを示す図である。３６０ＶＲシステム１００は、ソース電子デバイス１０２及び宛先デバイス１０４を含む。ソース電子デバイス１０２は、ビデオ捕捉デバイス１１２、コンバージョン回路１１４、コンテンツ方向づけ回転（content-oriented rotation）回路１１６、及びビデオエンコーダ１１８を含む。例えば、ビデオ捕捉デバイス１１２は、ビューイング球形（viewing sphere）に対応する全方位イメージコンテンツ（例えば、全周囲をカバーする複数のイメージ）Ｓ＿ＩＮを提供するために使用されるカメラのセットでもよい。コンバージョン回路１１４は、全方位イメージコンテンツＳ＿ＩＮに従って３６０度バーチャルリアリティ（３６０ＶＲ）投影フォーマットＬ＿ＶＲで現在の入力フレームＩＭＧを生成する。この例において、コンバージョン回路１１４は、ビデオ捕捉デバイス１１２から提供された３６０度ビデオの各ビデオフレームについて１つの入力フレームを生成する。コンバージョン回路１１４により採用される３６０ＶＲ投影フォーマットＬ＿ＶＲは、正距円筒的投影（equirectangular projection；ＥＲＰ）フォーマット、キューブマップ投影（cube map projection；ＣＭＰ）フォーマット、８面体投影（octahedron projection；ＯＨＰ）フォーマット、２０面体投影（icosahedron projection；ＩＳＰ）フォーマット等を含む利用可能な投影フォーマットのうち任意のものでよい。コンテンツ方向づけ回転回路１１６は、現在の入力フレームＩＭＧ（これは、３６０ＶＲ投影フォーマットＬ＿ＶＲで表された３６０度イメージ／ビデオコンテンツを有する）を受信し、現在の入力フレームＩＭＧ内の３６０度イメージ／ビデオコンテンツにコンテンツ方向づけ回転を適用して、同じ３６０ＶＲ投影フォーマットＬ＿ＶＲで表された、回転された３６０度イメージ／ビデオコンテンツを有するコンテンツ回転フレームＩＭＧ’を生成する。さらに、適用されたコンテンツ方向づけ回転の回転情報ＩＮＦ＿Ｒは、シンタックス要素シグナリングのためにビデオエンコーダ１１８に提供される。
図２は、本発明の実施例による、提案のコンテンツ方向づけ回転の概念を示す図である。明確さ及び簡潔さのため、３６０ＶＲ投影フォーマットＬ＿ＶＲはＥＲＰフォーマットであると仮定される。ゆえに、ビューイング球形２０２の３６０度イメージ／ビデオコンテンツは、ビューイング球形２０２の正距円筒的投影を介して矩形（rectangular）投影面上にマッピングされる。こうして、ＥＲＰフォーマットで表された３６０度イメージ／ビデオコンテンツを有する現在の入力フレームＩＭＧがコンバージョン回路１１４から生成される。上述されたように、３６０ＶＲ投影フォーマットで表された元の３６０度イメージ／ビデオコンテンツは、採用された３６０ＶＲ投影フォーマットにより分割及び／又は伸縮される動くオブジェクトに起因して、不十分な圧縮効率を有する可能性がある。この問題に対処するために、本発明は、符号化効率向上のために３６０度イメージ／ビデオコンテンツにコンテンツ方向づけ回転を適用することを提案する。
さらに、コンテンツ回転フレームＩＭＧ’内のピクセル位置におけるピクセル値を計算する例が図２に示される。コンテンツ回転フレームＩＭＧ’内の座標（ｘ，ｙ）を有するピクセルｃｏについて、２Ｄ座標（ｘ，ｙ）は、２Ｄ対３Ｄマッピング処理を通して３Ｄ座標ｓ（ビューイング球形２０２上の点）にマッピングできる。次いで、この３Ｄ座標ｓは、コンテンツ方向づけ回転が実行された後、別の３Ｄ座標ｓ’（ビューイング球形２０２上の点）に変換される。コンテンツ方向づけ回転は、回転行列乗算により達成できる。最後、座標（ｘ’ｉ，ｙ’ｉ）を有する対応する２Ｄ座標ｃｉ’が、３Ｄ対２Ｄマッピング処理を通して現在の入力フレームＩＭＧ内で見つけられる。したがって、コンテンツ回転フレームＩＭＧ’内の各整数ピクセル（例えば、ｃｏ＝（ｘ，ｙ））について、現在の入力フレームＩＭＧ内の対応する位置（例えば、ｃｉ’＝（ｘ’ｉ，ｙ’ｉ））が、コンテンツ回転フレームＩＭＧ’からビューイング球形２０２への２Ｄ対３Ｄマッピングと、コンテンツ回転のためにビューイング球形２０２で乗算された回転行列と、ビューイング球形２０２から現在の入力フレームＩＭＧへの３Ｄ対２Ｄマッピングとを通して見つけられる。ｘ’ｉ及びｙ’ｉのうち一方又は双方が非整数位置である場合、補間フィルタ（図示せず）が現在の入力フレームＩＭＧ内の点ｃｉ’＝（ｘ’ｉ，ｙ’ｉ）の周りの整数ピクセルに適用されて、コンテンツ回転フレームＩＭＧ’内のｃｏ＝（ｘ，ｙ）のピクセル値を導出してもよい。
現在の入力フレームＩＭＧを送信のためにビットストリームへエンコードする従来のビデオエンコーダと対照的に、ビデオエンコーダ１１８は、コンテンツ回転フレームＩＭＧ’をビットストリームＢＳへエンコードし、次いで、有線／無線通信リンク又は記憶媒体などの送信手段１０３を介してビットストリームＢＳを宛先電子デバイス１０４に出力する。具体的に、ビデオエンコーダ１１８は、コンテンツ方向づけ回転回路１１６から出力された各々のコンテンツ回転フレームについて１つのエンコードされたフレームを生成する。ゆえに、連続的なエンコードされたフレームが、順次、ビデオエンコーダ１１８から生成される。さらに、コンテンツ方向づけ回転回路１１６で実行されたコンテンツ方向づけ回転の回転情報ＩＮＦ＿Ｒは、ビデオエンコーダ１１８に提供される。ゆえに、ビデオエンコーダ１１８は、ビットストリームＢＳを介してシンタックス要素をさらにシグナリングし、シンタックス要素は、現在の入力フレームＩＭＧに適用されたコンテンツ方向づけ回転の回転情報ＩＮＦ＿Ｒを示すように設定される。
図３は、本発明の実施例によるビデオエンコーダを示す図である。図１に示されるビデオエンコーダ１１８は、図３に示されるビデオエンコーダ３００を使用して実現されてもよい。ビデオエンコーダ３００は、生の（raw）ビデオデータを圧縮して圧縮されたビデオデータを生成するために使用されるハードウェア回路である。図３に示されるように、ビデオエンコーダ３００は、制御回路３０２及びエンコーディング回路３０４を含む。図３に示されるビデオエンコーダアーキテクチャは単に例示目的のものであり、本発明の限定であるようには意図されないことが留意されるべきである。例えば、エンコーディング回路３０４のアーキテクチャは符号化標準に依存して変わってもよい。エンコーディング回路３０４は、コンテンツ回転フレームＩＭＧ’（これは、３６０ＶＲ投影レイアウトＬ＿ＶＲにより表された回転された３６０度イメージ／ビデオコンテンツを有する）をエンコードしてビットストリームＢＳを生成する。図３に示されるように、エンコーディング回路３０４は、残差計算回路３１１、変換回路（「Ｔ」で表される）３１２、量子化回路（「Ｑ」で表される）３１３、エントロピーエンコーディング回路（例えば、可変長エンコーダ）３１４、逆量子化回路（「ＩＱ」で表される）３１５、逆変換回路（「ＩＴ」で表される）３１６、再構成回路３１７、少なくとも１つのループ内フィルタ３１８、参照フレームバッファ３１９、インター予測（inter prediction）回路３２０（これは、動き推定回路（「ＭＥ」で表される）３２１及び動き補償回路（「ＭＣ」で表される）３２２を含む）、イントラ予測（intra prediction）回路（「ＩＰ」で表される）３２３、及びイントラ／インターモード選択スイッチ３２４を含む。エンコーディング回路３０４で実現されるこれらの回路コンポーネントの基本的な機能及び動作は当業者によく知られているため、簡潔さのためにここでさらなる説明は省略される。
ビデオエンコーダ３００と典型的なビデオエンコーダとの間の主な差は、制御回路３０２が前の回路（例えば、図１に示されるコンテンツ方向づけ回転回路１１６）から回転情報ＩＮＦ＿Ｒを受信し、回転情報ＩＮＦ＿Ｒに従って少なくとも１つのシンタックス要素（syntax element；ＳＥ）を設定するために使用されることであり、回転情報ＩＮＦ＿Ｒを示すシンタックス要素は、エントロピーエンコーディング回路３１４から生成されたビットストリームＢＳを介してビデオデコーダに対してシグナリングされる。こうして、宛先電子デバイス１０４（これはビデオデコーダを有する）は、シグナリングされたシンタックス要素に従ってエンコーダ側のコンテンツ方向づけ回転の詳細を知ることができ、例えば、デコーダ側の逆コンテンツ方向づけ回転を実行してレンダリング及び表示のために必要されるビデオデータを取得することができる。
コンテンツ方向づけ回転回路１１６で実行されるコンテンツ方向づけ回転は、回転軸、回転順序、及び回転角度により指定されてもよい。コンテンツ方向づけ回転は、ある回転順序における回転軸のセットに沿った要素回転を含んでもよく、回転順序は、コンテンツ方向づけ回転により使用される回転軸の順序を指定し、対応する回転軸に沿った各要素回転は、特定の回転度数を有する回転角度により表される。例えば、回転軸は、デカルト座標系における３つの直交軸（例えば、ｘ軸、ｙ軸、ｚ軸）でもよく、回転順序は、一般に使用される特定順序ヨー‐ピッチ‐ロール（例えば、ｚ‐ｙ‐ｘ）でもよい。しかしながら、これらは単に例示目的のものであり、本発明の限定であるようには意図されない。例えば、回転軸は、直交軸であることを要求されない。別の例として、回転軸の数及び回転角度の数は調整されてもよい。単一の回転軸のみがコンテンツ方向づけ回転に関与する場合において、回転順序は省略できる。
同じ回転角度を用いた異なる回転順序は、異なる結果を作り出し得ることが留意されるべきである。図４は、本発明の実施例による、同じ回転角度を用いて異なる回転順序を使用して実行されるコンテンツ方向づけ回転を示す図である。第１の例Ｅｘ１におけるコンテンツ方向づけ回転は、ｙ軸に沿って３０°回転し、次いでＺ軸に沿って３０°回転することを含む。第２の例Ｅｘ２における別のコンテンツ方向づけ回転は、Ｚ軸に沿って３０°回転し、次いでｙ軸に沿って３０°回転することを含む。図４に示されるように、（ｘ，ｙ，ｚ）＝（１，０，０）におけるイメージ／ビデオコンテンツは、第１の例Ｅｘ１ではコンテンツ方向づけ回転に従って
Figure 2019530296
 に回転され、第２の例Ｅｘ２ではコンテンツ方向づけ回転に従って
Figure 2019530296
 に回転される。ゆえに、回転軸及び関連づけられた回転角度に追加で、回転順序がコンテンツ方向づけ回転において正確に定義される必要がある。
各回転軸は、エンコーダ側及びデコーダ側に事前定義され（例えば、仕様テキストに定義され）てもよい。ゆえに、コンテンツ方向づけ回転回路１１６で実行されるコンテンツ方向づけ回転により使用される複数の回転軸（又は、単一の回転軸）の情報は、ビットストリームＢＳを介してシグナリングされる必要がない。別法として、各回転軸は、コンテンツ方向づけ回転回路１１６により能動的に設定されてもよい。ゆえに、コンテンツ方向づけ回転回路１１６で実行されるコンテンツ方向づけ回転により使用される複数の回転軸（又は、単一の回転軸）の情報は、ビットストリームＢＳを介してシグナリングされる必要がある。
回転順序は、エンコーダ側及びデコーダ側に事前定義され（例えば、仕様テキストに定義され）てもよい。ゆえに、コンテンツ方向づけ回転回路１１６で実行されるコンテンツ方向づけ回転により使用される回転順序の情報は、ビットストリームＢＳを介してシグナリングされる必要がない。別法として、回転順序は、コンテンツ方向づけ回転回路１１６により能動的に設定されてもよい。ゆえに、コンテンツ方向づけ回転回路１１６で実行されるコンテンツ方向づけ回転により使用される回転順序の情報は、ビットストリームＢＳを介してシグナリングされる必要がある。
各回転軸に関連づけられた回転角度の回転度数は、異なるフレームについて変動してもよい。ゆえに、コンテンツ方向づけ回転回路１１６で実行されるコンテンツ方向づけ回転により使用される複数の回転度数（又は、単一の回転度数）の情報は、ビットストリームＢＳを介してシグナリングされる必要がある。
上述されたように、シンタックス要素ＳＥは、現在の入力フレームＩＭＧに適用されたコンテンツ方向づけ回転の回転情報ＩＮＦ＿Ｒを示すように設定される。回転軸がエンコーダ側及びデコーダ側に事前定義される第１の場合において、コンテンツ方向づけ回転回路１１６からビデオエンコーダ１１８に提供される回転情報ＩＮＦ＿Ｒは回転順序及び回転度数を含み、これらは、エンコーダ側からデコーダ側にシグナリングされるシンタックス要素により示されることになる。回転軸及び回転順序がエンコーダ側及びデコーダ側に事前定義される第２の場合において、コンテンツ方向づけ回転回路１１６からビデオエンコーダ１１８に提供される回転情報ＩＮＦ＿Ｒは回転度数を含み、これは、エンコーダ側からデコーダ側にシグナリングされるシンタックス要素により示されることになる。回転順序がエンコーダ側及びデコーダ側に事前定義される第３の場合において、コンテンツ方向づけ回転回路１１６からビデオエンコーダ１１８に提供される回転情報ＩＮＦ＿Ｒは回転軸及び回転度数を含み、これらは、エンコーダ側からデコーダ側にシグナリングされるシンタックス要素により示されることになる。回転軸及び回転順序のいずれもエンコーダ側及びデコーダ側に事前定義されない第４の場合において、コンテンツ方向づけ回転回路１１６からビデオエンコーダ１１８に提供される回転情報ＩＮＦ＿Ｒは回転軸、回転順序、及び回転度数を含み、これらは、エンコーダ側からデコーダ側にシグナリングされるシンタックス要素により示されることになる。
図１を再度参照されたい。宛先電子デバイス１０４は、ヘッドマウントディスプレイ（ＨＭＤ）デバイスでもよい。図１に示されるように、宛先電子デバイス１０４は、ビデオデコーダ１２２、グラフィックレンダリング回路１２４、及びディスプレイ画面１２６を含む。ビデオデコーダ１２２は、送信手段１０３（例えば、有線／無線通信リンク又は記憶媒体）からビットストリームＢＳを受信し、受信したビットストリームＢＳをデコードして現在のデコードされたフレームＩＭＧ’’を生成する。具体的に、ビデオデコーダ１２２は、送信手段１０３により配信された各々のエンコードされたフレームについて１つのデコードされたフレームを生成する。ゆえに、連続的なデコードされたフレームが、順次、ビデオデコーダ１２２から生成される。この実施例において、ビデオエンコーダ１１８によりエンコードされるコンテンツ回転フレームＩＭＧ’は３６０ＶＲ投影フォーマットを有する。ゆえに、ビットストリームＢＳがビデオデコーダ１２２によりデコードされた後、現在のデコードされたフレーム（すなわち、再構成されたフレーム）ＩＭＧ’’は、同じ３６０ＶＲ投影フォーマットを有する。
図５は、本発明の実施例によるビデオデコーダを示す図である。図１に示されるビデオデコーダ１２２は、図５に示されるビデオデコーダ５００を使用して実現されてもよい。ビデオデコーダ５００は、有線／無線通信リンク又は記憶媒体などの送信手段を介してビデオエンコーダ（例えば、図１に示されるビデオエンコーダ１１８）と通信してもよい。ビデオデコーダ５００は、圧縮されたイメージ／ビデオデータを伸張して伸張されたイメージ／ビデオデータを生成するために使用されるハードウェア回路である。この実施例において、ビデオデコーダ５００はビットストリームＢＳを受信し、受信したビットストリームＢＳをデコードして現在のデコードされたフレームＩＭＧ’’を生成する。図５に示されるように、ビデオデコーダ５００は、デコーディング回路５２０及び制御回路５３０を含む。図５に示されるビデオデコーダアーキテクチャは単に例示目的のものであり、本発明の限定であるようには意図されないことが留意されるべきである。例えば、デコーディング回路５２０のアーキテクチャは符号化標準に依存して変わってもよい。デコーディング回路５２０は、エントロピーデコーディング回路（例えば、可変長デコーダ）５０２、逆量子化回路（「ＩＱ」で表される）５０４、逆変換回路（「ＩＴ」で表される）５０６、再構成回路５０８、動きベクトル計算回路（「ＭＶ計算」で表される）５１０、動き補償回路（「ＭＣ」で表される）５１３、イントラ予測回路（「ＩＰ」で表される）５１４、イントラ／インターモード選択スイッチ５１６、少なくとも１つのループ内フィルタ５１８、及び参照フレームバッファ５２０を含む。デコーディング回路５２０で実現されるこれらの回路コンポーネントの基本的な機能及び動作は当業者によく知られているため、簡潔さのためにここでさらなる説明は省略される。
ビデオデコーダ５００と典型的なビデオエンコーダとの間の主な差は、エントロピーデコーディング回路５０２が、ビットストリームＢＳに対してデータ処理（例えば、シンタックス解析）を実行して、ビットストリームＢＳによりシグナリングされたシンタックス要素ＳＥを取得し、取得されたシンタックス要素ＳＥを制御回路５３０に出力するためにさらに使用されることである。ゆえに、現在の入力フレームＩＭＧから生成されたコンテンツ回転フレームＩＭＧ’に対応する現在のデコードされたフレームＩＭＧ’’に関して、制御回路５３０は、シンタックス要素ＳＥを参照して、現在の入力フレームＩＭＧに適用されたエンコーダ側のコンテンツ方向づけ回転の回転情報ＩＮＦ＿Ｒを決定することができる。
上述されたように、現在のデコードされたフレームＩＭＧ’’は、３６０ＶＲ投影フォーマットで表された、回転された３６０度イメージ／ビデオコンテンツを有する。この実施例において、ビットストリームＢＳから取得されたシンタックス要素ＳＥは、３６０ＶＲ投影フォーマットで表された回転された３６０度イメージ／ビデオコンテンツを生成することに関与したコンテンツ方向づけ回転の回転情報ＩＮＦ＿Ｒを示す。回転軸がエンコーダ側及びデコーダ側（詳細には、コンテンツ方向づけ回転回路１１６及びグラフィックレンダリング回路１２４）に事前定義される第１の場合において、制御回路５３０から提供される回転情報ＩＮＦ＿Ｒは、シグナリングされたシンタックス要素により示される回転順序及び回転度数を含む。回転軸及び回転順序がエンコーダ側及びデコーダ側（詳細には、コンテンツ方向づけ回転回路１１６及びグラフィックレンダリング回路１２４）に事前定義される第２の場合において、制御回路５３０から提供される回転情報ＩＮＦ＿Ｒは、シグナリングされたシンタックス要素により示される回転度数を含む。回転順序がエンコーダ側及びデコーダ側（詳細には、コンテンツ方向づけ回転回路１１６及びグラフィックレンダリング回路１２４）に事前定義される第３の場合において、制御回路５３０から提供される回転情報ＩＮＦ＿Ｒは、シグナリングされたシンタックス要素により示される回転軸及び回転度数を含む。回転軸及び回転度数のいずれもエンコーダ側及びデコーダ側（詳細には、コンテンツ方向づけ回転回路１１６及びグラフィックレンダリング回路１２４）に事前定義されない第４の場合において、制御回路５３０から提供される回転情報ＩＮＦ＿Ｒは、シグナリングされたシンタックス要素により示される回転軸、回転順序、及び回転度数を含む。
グラフィックレンダリング回路１２４は、現在のデコードされたフレームＩＭＧ’’と、回転された３６０度イメージ／ビデオコンテンツを生成することに関与したコンテンツ方向づけ回転の回転情報ＩＮＦ＿Ｒとに従って、出力イメージデータをディスプレイ画面１２６にレンダリングし、表示する。例えば、シグナリングされたシンタックス要素ＳＥから導出された回転情報ＩＮＦ＿Ｒに従って、３６０ＶＲ投影フォーマットで表された回転された３６０度イメージ／ビデオコンテンツが逆回転されてもよく、３６０ＶＲ投影フォーマットで表された逆回転された３６０度イメージ／ビデオコンテンツがレンダリング及び表示のために使用されてもよい。
本発明の技術的特徴のより良い理解のために、いくつかの例示的なシンタックスシグナリング方法が以下のとおり説明される。ビデオエンコーダ１１８／３００は、提案のシンタックスシグナリング方法のうち１つを採用して、３６０ＶＲ投影フォーマットで表された３６０度イメージ／ビデオコンテンツに適用されるコンテンツ方向づけ回転の回転情報ＩＮＦ＿Ｒを示すシンタックス要素ＳＥをシグナリングしてもよく、ビデオデコーダ１２２／５００は、ビデオエンコーダ１１８／３００により採用された１つの提案のシンタックスシグナリング方法によりシグナリングされたシンタックス要素ＳＥを参照して、３６０ＶＲ投影フォーマットで表された回転された３６０度イメージ／ビデオコンテンツを生成することに関与したコンテンツ方向づけ回転の回転情報ＩＮＦ＿Ｒを決定してもよい。
以下の例示的なシンタックステーブル内の記述子は、各シンタックス要素の解析処理を指定することが留意されるべきである。具体的に、シンタックス要素は、固定長符号化（例えば、ｆ（ｎ）、ｉ（ｎ）、又はｕ（ｎ））及び／又は可変長符号化（例えば、ｃｅ（ｖ）、ｓｅ（ｖ）、又はｕｅ（ｖ））により符号化できる。記述子ｆ（ｎ）は、左ビット最初で（左から右に）書かれたｎビットを使用する固定パターンビットストリングを記述する。記述子ｉ（ｎ）は、ｎビットを使用する符号付き整数（integer）を記述する。記述子ｕ（ｎ）は、ｎビットを使用する符号なし整数を記述する。記述子ｃｅ（ｖ）は、左ビット最初のコンテンツ適応的な可変長エントロピー符号化シンタックス要素を記述する。記述子ｓｅ（ｖ）は、左ビット最初の符号付き整数の指数ゴロム符号化（Exp-Golomb-coded）シンタックス要素を記述する。シンタックス要素ｕｅ（ｖ）は、左ビット最初の符号なし整数の指数ゴロム符号化シンタックス要素を記述する。
第１のシンタックスシグナリング方法によれば、以下のシンタックステーブルが採用され得る。
Figure 2019530296
第１のシンタックスシグナリング方法が採用されるとき、コンテンツ方向づけ回転の回転情報は、シーケンスレベルヘッダ内に示されてもよい。例えば、Ｈ．２６４及びＨ．２６５は、各スライスにより参照される複数のシーケンスパラメータセット（Sequence Parameter Set；ＳＰＳ）／ピクチャパラメータセット（Picture Parameter Set；ＰＰＳ）を有することができる。各スライスは、そのＰＰＳ／ＳＰＳ識別子（ＩＤ）に従って対応する符号化パラメータを取得することができる。ゆえに、コンテンツ方向づけ回転の回転情報は、各回転軸の回転度数をシグナリングすることにより、ＳＰＳ／ＰＰＳ又は付加拡張情報（Supplementary Enhancement Information；ＳＥＩ）内に示されてもよい。１つのビデオフレームをデコードするとき、ビデオデコーダ１２２は、対応するＳＰＳ／ＰＰＳ ＩＤ又はＳＥＩを参照することにより回転情報を取得することができる。
シンタックス要素zero_yaw_orientationは、ヨー軸（例えば、ｚ軸）に沿った回転があるか否かを示すように設定される。シンタックス要素zero_roll_orientationは、ロール軸（例えば、ｘ軸）に沿った回転があるか否かを示すように設定される。シンタックス要素zero_pitch_orientationは、ピッチ軸（例えば、ｙ軸）に沿った回転があるか否かを示すように設定される。ヨー軸に沿った回転があるとき（すなわち、!zero_yaw_orientation == True）、シンタックス要素yaw_orientation_indexが、複数の事前定義されたインデックス値から選択されたインデックス値により設定され、事前定義されたインデックス値は、それぞれ、異なる事前定義された回転度数及びユーザ定義された回転度数にマッピングされる。例えば、インデックス値と回転度数との間のマッピングは、以下の表により定義されてもよい。
Figure 2019530296
ヨー軸に沿った回転の回転度数が‘000’〜‘110’のいずれによってもインデックス化されない場合（すなわち、yaw_orientation_index == ‘111’）、ユーザ定義された回転度数が、シンタックス要素yaw_orientation_degreeを設定することによりシグナリングされる。
ロール軸に沿った回転があるとき（すなわち、!zero_roll_orientation == True）、シンタックス要素roll_orientation_indexが、上記テーブルで列挙されたように事前定義されたインデックス値から選択されたインデックス値により設定される。ロール軸に沿った回転の回転度数が‘000’〜‘110’のいずれによってもインデックス化されない場合（すなわち、roll_orientation_index == ‘111’）、ユーザ定義された回転度数が、シンタックス要素roll_orientation_degreeを設定することによりシグナリングされる。
ピッチ軸に沿った回転があるとき（すなわち、!zero_pitch_orientation == True）、シンタックス要素pitch_orientation_indexが、上記テーブルで列挙された事前定義されたインデックス値から選択されたインデックス値により設定される。ピッチ軸に沿った回転の回転度数が‘000’〜‘110’のいずれによってもインデックス化されない場合（すなわち、pitch_orientation_index == ‘111’）、ユーザ定義された回転度数が、シンタックス要素pitch_orientation_degreeを設定することによりシグナリングされる。
すべての可能なコンテンツ方向づけ回転を表すために、これら３つの軸の回転度数の範囲は、−１８０°から１８０°（すなわち０°〜３６０°）である必要はない。実際、回転範囲の１つが−９０°から９０°（すなわち０°〜１８０°）であり、他が−１８０°から１８０°（すなわち０°〜３６０°）であることで、コンテンツ方向づけ回転の表現に対して十分である。第１のシンタックスシグナリング方法において、回転角度は整数値であるように仮定される。ある回転順序（例えば、ヨー‐ロール‐ピッチ（ｚ‐ｘ‐ｙ））における第１の回転軸（例えば、ヨー軸又はｚ軸）及び第２の回転軸（例えば、ロール軸又はｘ軸）のユーザ定義された回転度数に関して、各々が、−１８０°から１８０°（すなわち０°〜３６０°）の範囲内の回転度数を示すように９ビットで設定される。しかしながら、この回転順序（例えば、ヨー‐ロール‐ピッチ（ｚ‐ｘ‐ｙ））における第３の回転軸（例えば、ピッチ軸又はｙ軸）のユーザ定義された回転度数に関して、ユーザ定義された回転度数の範囲は、−９０°から９０°（すなわち０°〜１８０°）のみである。ゆえに、８ビットで、第３の回転軸（例えば、ピッチ軸又はｙ軸）のユーザ定義された回転度数を表すのに十分である。
第２のシンタックスシグナリング方法によれば、以下のシンタックステーブルが採用され得る。
Figure 2019530296
第２のシンタックスシグナリング方法が採用されるとき、コンテンツ方向づけ回転の回転情報は、ある期間（time-duration）のビデオフレームにおけるシーケンスレベルヘッダ内に示されてもよい。例えば、オーディオビデオ符号化標準（Audio Video coding Standard；ＡＶＳ）は、ある期間のビデオフレームに対して１つのＳＰＳを有する。同じ期間内のこれらビデオフレームは、同じシーケンスレベル符号化パラメータを有する。ゆえに、コンテンツ方向づけ回転の回転情報は、現在の期間のビデオフレームにおいて示されてもよく、次の期間のビデオフレームのために更新されてもよい。本発明のいくつかの実施例において、コンテンツ方向づけ回転の回転情報は、ある期間のビデオフレームにおけるＳＰＳ／ＰＰＳ又は付加拡張情報（ＳＥＩ）内に示されてもよい。別法として、第２のシンタックスシグナリング方法が採用されるとき、コンテンツ方向づけ回転の回転情報は、ピクチャレベルヘッダ内に示されてもよい。ゆえに、コンテンツ方向づけ回転の回転情報は、各ビデオフレームについてシグナリングされる。
シンタックス要素prev_orientationは、現在の入力フレームに適用されたコンテンツ方向づけ回転が少なくとも１つの前の入力フレームに適用されたコンテンツ方向づけ回転と同じであるか否かを示すように設定する。例えば、コンテンツ方向づけ回転の回転情報が、ある期間のビデオフレームにおけるシーケンスレベルヘッダ内に示される場合に関して、現在の入力フレームは、現在の期間のビデオフレームにおける第１のビデオフレームでもよく、少なくとも１つの前の入力フレームの各々は、現在の期間のビデオフレームが直ぐに続く前の期間のビデオフレームにおける１つのビデオフレームでもよい。別の例として、コンテンツ方向づけ回転の回転情報が、各ビデオフレームについてピクチャレベルヘッダ内に示される場合に関して、少なくとも１つの前の入力フレームと現在の入力フレームとは、２つの連続的なビデオフレームである。ゆえに、現在の期間のビデオフレームのコンテンツ方向づけ回転が前の期間のビデオフレームのものと同じであるとき、１ビットのシンタックス要素prev_orientationがシグナリングされて、回転角度情報を表すシンタックスビットを節約することができる。
現在の入力フレームに適用されたコンテンツ方向づけ回転が、少なくとも１つの前の入力フレームに適用されたコンテンツ方向づけ回転と異なるとき（すなわち、!prev_orientation == True）、シンタックス要素zero_yaw_orientationが、ヨー軸（例えば、ｚ軸）に沿った回転があるか否かを示すように設定され、シンタックス要素zero_roll_orientationが、ロール軸（例えば、ｘ軸）に沿った回転があるか否かを示すように設定され、シンタックス要素zero_pitch_orientationが、ピッチ軸（例えば、ｙ軸）に沿った回転があるか否かを示すように設定される。
ヨー軸に沿った回転があるとき（すなわち、!zero_yaw_orientation == True）、シンタックス要素yaw_orientation_diffが、現在の入力フレームに適用されたコンテンツ方向づけ回転と少なくとも１つの前の入力フレームに適用されたコンテンツ方向づけ回転との間のヨー軸の回転度数差を示すように設定される。１つのビデオフレームをデコードするとき、ビデオデコーダ１２２は、シンタックス要素yaw_orientation_diffによりシグナリングされた回転度数差を累算することにより、ヨー軸の回転度数を決定することができる。
ロール軸に沿った回転があるとき（すなわち、!zero_roll_orientation == True）、シンタックス要素roll_orientation_diffが、現在の入力フレームに適用されたコンテンツ方向づけ回転と少なくとも１つの前の入力フレームに適用されたコンテンツ方向づけ回転との間のロール軸の回転度数差を示すように設定される。１つのビデオフレームをデコードするとき、ビデオデコーダ１２２は、シンタックス要素roll_orientation_diffによりシグナリングされた回転度数差を累算することにより、ロール軸の回転度数を決定することができる。
ピッチ軸に沿った回転があるとき（すなわち、!zero_pitch_orientation == True）、シンタックス要素pitch_orientation_diffが、現在の入力フレームに適用されたコンテンツ方向づけ回転と少なくとも１つの前の入力フレームに適用されたコンテンツ方向づけ回転との間のピッチ軸の回転度数差を示すように設定される。１つのビデオフレームをデコードするとき、ビデオデコーダ１２２は、シンタックス要素pitch_orientation_diffによりシグナリングされた回転度数差を累算することにより、ピッチ軸の回転度数を決定することができる。
前述の第１のシンタックスシグナリング方法及び第２のシンタックスシグナリング方法の各々は、採用される３６０ＶＲ投影フォーマットに関らず、回転情報の統一されたシンタックスシグナリングを実行する。別法として、第１のシンタックスシグナリング方法及び第２のシンタックスシグナリング方法は、投影フォーマットベースのシンタックスシグナリング方法であるように変更されてもよい。すなわち、回転情報のシンタックスシグナリングは、採用された３６０ＶＲ投影フォーマットに依存することができる。
第３のシンタックスシグナリング方法によれば、以下のシンタックステーブルが採用され得る。
Figure 2019530296
Figure 2019530296
第４のシンタックスシグナリング方法によれば、以下のシンタックステーブルが採用され得る。
Figure 2019530296
Figure 2019530296
異なる３６０ＶＲ投影フォーマットは、異なる適切な回転次元を有し得る。例えば、ヨー回転だけで、キューブマップ投影フォーマットに対して十分であり得る。別の例として、ロール回転だけで、正距円筒的投影フォーマットに対して十分であり得る。ゆえに、３６０ＶＲ投影フォーマットがキューブマップ投影フォーマットであるとき、シンタックス要素vr_content_formatは‘1’で設定され、３６０ＶＲ投影フォーマットが正距円筒的投影フォーマットであるとき、シンタックス要素vr_content_formatは「3」で設定される。この例において、vr_content_format=1/3は、シンタックスシグナリングについて１次元の回転を有し、vr_content_format=2は、シンタックスシグナリングについて２次元の回転を有する。簡単に言うと、第３のシンタックスシグナル方法及び第４のシンタックスシグナリング方法の各々に関して、コンテンツ方向づけ回転の回転軸選択は、採用された３６０ＶＲ投影フォーマットに基づき設定されるシンタックス要素vr_content_formatに依存して変わる。当業者は、第１のシンタックスシグナル方法及び第２のシンタックスシグナリング方法に向けられた上記段落を読んだ後に第３のシンタックスシグナル方法及び第４のシンタックスシグナリング方法の詳細を容易に理解できるため、簡潔さのためにここでさらなる説明は省略される。
第５のシンタックスシグナリング方法によれば、以下のシンタックステーブルが採用され得る。
Figure 2019530296
１ビットのオン／オフフラグ（disable_content_orientation）が、現在の入力フレーム内の３６０度イメージ／ビデオコンテンツのコンテンツ方向づけ回転が有効にされているか否かを示すために使用される。現在の入力フレーム内の３６０度イメージ／ビデオコンテンツのコンテンツ方向づけ回転が有効にされているとき、シンタックス要素disable_content_orientationは‘0’で設定される。現在の入力フレーム内の３６０度イメージ／ビデオコンテンツのコンテンツ方向づけ回転が無効にされているとき、シンタックス要素disable_content_orientationは‘1’で設定される。現在の入力フレーム内の３６０度イメージ／ビデオコンテンツのコンテンツ方向づけ回転が有効にされている場合において（すなわち、!disable_content_orientation == True）、シンタックス要素roll_orientation_degreeは、ロール軸（例えば、ｘ軸）の回転度数を示すように設定され、シンタックス要素yaw_orientation_degreeは、ヨー軸（例えば、ｚ軸）の回転度数を示すように設定され、シンタックス要素pitch_orientation_degreeは、ピッチ軸（例えば、ｙ軸）の回転度数を示すように設定される。
第５のシンタックスシグナリング方法が採用されるとき、コンテンツ方向づけ回転の回転情報は、シーケンスレベルヘッダ内に示されてもよい。例えば、コンテンツ方向づけ回転の回転情報は、各回転軸の回転度数をシグナリングすることにより、ＳＰＳ／ＰＰＳ又は付加拡張情報（ＳＥＩ）内に示されてもよい。別法として、第５のシンタックスシグナリング方法が採用されるとき、コンテンツ方向づけ回転の回転情報は、各ビデオフレームについてピクチャレベルヘッダ内に示されてもよい。
当業者は、本発明の教示を保有する間、装置及び方法についての多数の修正及び変更がなされ得ることを容易に観察するであろう。したがって、上記開示は、別記の請求項の範囲及び境界によってのみ限定されるとみなされるべきである。

Claims (26)

  1. ビデオ処理方法であって、
    ３６０度バーチャルリアリティ（３６０ＶＲ）投影フォーマットで表された３６０度イメージ／ビデオコンテンツを有する現在の入力フレームを受信するステップと、
    前記現在の入力フレーム内の前記３６０度イメージ／ビデオコンテンツにコンテンツ方向づけ回転を適用して、前記３６０ＶＲ投影フォーマットで表された回転された３６０度イメージ／ビデオコンテンツを有するコンテンツ回転フレームを生成するステップと、
    前記コンテンツ回転フレームをエンコードしてビットストリームを生成するステップと、
    前記ビットストリームを介して少なくとも１つのシンタックス要素をシグナリングするステップであり、前記少なくとも１つのシンタックス要素は、前記コンテンツ方向づけ回転の回転情報を示すように設定される、ステップと、
    を含むビデオ処理方法。
  2. 前記回転情報は、前記少なくとも１つのシンタックス要素により示される少なくとも１つの回転度数を含む、請求項１に記載のビデオ処理方法。
  3. 前記少なくとも１つのシンタックス要素は、
    第１のシンタックス要素を含み、前記第１のシンタックス要素は、特定の回転軸に沿った回転があるか否かを示すように設定される、請求項１に記載のビデオ処理方法。
  4. 前記少なくとも１つのシンタックス要素は、
    第２のシンタックス要素をさらに含み、前記特定の回転軸に沿った回転があるとき、前記第２のシンタックス要素は、複数の事前定義されたインデックス値から選択されたインデックス値により設定され、前記事前定義されたインデックス値は、それぞれ、異なる事前定義された回転度数及びユーザ定義された回転度数にマッピングされる、請求項１に記載のビデオ処理方法。
  5. 前記少なくとも１つのシンタックス要素は、
    第３のシンタックス要素をさらに含み、前記インデックス値が前記ユーザ定義された回転度数にマッピングされた事前定義されたインデックス値であるとき、前記第３のシンタックス要素は、前記ユーザ定義された回転度数を示すように設定される、請求項４に記載のビデオ処理方法。
  6. 前記少なくとも１つのシンタックス要素は、
    第２のシンタックス要素をさらに含み、前記第２のシンタックス要素は、前記３６０ＶＲ投影フォーマットが第１の投影フォーマットであるとき第１の値により設定され、前記３６０ＶＲ投影フォーマットが前記第１の投影フォーマットと異なる第２の投影フォーマットであるとき第２の値により設定され、前記特定の回転軸は前記第２のシンタックス要素に依存して変わる、請求項３に記載のビデオ処理方法。
  7. 前記少なくとも１つのシンタックス要素は、
    第１のシンタックス要素を含み、前記第１のシンタックス要素は、前記現在の入力フレームに適用された前記コンテンツ方向づけ回転が少なくとも１つの前の入力フレームに適用されたコンテンツ方向づけ回転と同じであるか否かを示すように設定される、請求項１に記載のビデオ処理方法。
  8. 前記少なくとも１つのシンタックス要素は、
    第２のシンタックス要素をさらに含み、前記現在の入力フレームに適用された前記コンテンツ方向づけ回転が前記少なくとも１つの前の入力フレームに適用された前記コンテンツ方向づけ回転と異なるとき、前記第２のシンタックス要素は、特定の回転軸に沿った回転があるか否かを示すように設定される、請求項７に記載のビデオ処理方法。
  9. 前記少なくとも１つのシンタックス要素は、
    第３のシンタックス要素をさらに含み、前記特定の回転軸に沿った回転があるとき、前記第３のシンタックス要素は、前記現在の入力フレームの前記コンテンツ方向づけ回転における前記特定の回転軸に沿った回転度数と、前記少なくとも１つの前の入力フレームの前記コンテンツ方向づけ回転における前記特定の回転軸に沿った回転度数との間の差を示すように設定される、請求項８に記載のビデオ処理方法。
  10. 前記少なくとも１つのシンタックス要素は、
    第３のシンタックス要素をさらに含み、前記第３のシンタックス要素は、前記３６０ＶＲ投影フォーマットが第１の投影フォーマットであるときに第１の値により設定され、前記３６０ＶＲ投影フォーマットが前記第１の投影フォーマットと異なる第２の投影フォーマットであるとき第２の値により設定され、前記特定の回転軸は前記第３のシンタックス要素に依存して変わる、請求項８に記載のビデオ処理方法。
  11. 前記少なくとも１つのシンタックス要素は、
    第１のシンタックス要素を含み、前記第１のシンタックス要素は、前記現在の入力フレーム内の前記３６０度イメージ／ビデオコンテンツの前記コンテンツ方向づけ回転が有効にされているか否かを示すように設定される、請求項１に記載のビデオ処理方法。
  12. 前記少なくとも１つのシンタックス要素は、
    第２のシンタックス要素をさらに含み、前記現在の入力フレーム内の前記３６０度イメージ／ビデオコンテンツの前記コンテンツ方向づけ回転が有効にされているとき、前記第２のシンタックス要素は、特定の回転軸に沿った回転度数を示すように設定される、請求項１に記載のビデオ処理方法。
  13. ビデオ処理方法であって、
    ビットストリームを受信するステップと、
    前記ビットストリームを処理して前記ビットストリームから少なくとも１つのシンタックス要素を取得するステップと、
    前記ビットストリームをデコードして、３６０度バーチャルリアリティ（３６０ＶＲ）投影フォーマットで表された回転された３６０度イメージ／ビデオコンテンツを有する現在のデコードされたフレームを生成するステップと、
    前記現在のデコードされたフレームと、前記少なくとも１つのシンタックス要素により示されるコンテンツ方向づけ回転の回転情報とに従って、出力イメージデータをディスプレイ画面にレンダリングし、表示するステップであり、前記コンテンツ方向づけ回転は、前記回転された３６０度イメージ／ビデオコンテンツを生成することに関与する、ステップと、
    を含むビデオ処理方法。
  14. 前記回転情報は、前記少なくとも１つのシンタックス要素により示される少なくとも１つの回転度数を含む、請求項１３に記載のビデオ処理方法。
  15. 前記少なくとも１つのシンタックス要素は、
    第１のシンタックス要素を含み、前記第１のシンタックス要素は、特定の回転軸に沿った回転があるか否かを示す、請求項１３に記載のビデオ処理方法。
  16. 前記少なくとも１つのシンタックス要素は、
    第２のシンタックス要素をさらに含み、前記特定の回転軸に沿った回転があるとき、前記第２のシンタックス要素は、複数の事前定義されたインデックス値のうちの１つであるインデックス値を有し、前記事前定義されたインデックス値は、それぞれ、異なる事前定義された回転度数及びユーザ定義された回転度数にマッピングされる、請求項１３に記載のビデオ処理方法。
  17. 前記少なくとも１つのシンタックス要素は、
    第３のシンタックス要素をさらに含み、前記インデックス値が前記ユーザ定義された回転度数にマッピングされた事前定義されたインデックス値であるとき、前記第３のシンタックス要素は、前記ユーザ定義された回転度数を示す、請求項１６に記載のビデオ処理方法。
  18. 前記少なくとも１つのシンタックス要素は、
    第２のシンタックス要素をさらに含み、前記第２のシンタックス要素は、前記３６０ＶＲ投影フォーマットが第１の投影フォーマットであるとき第１の値を有し、前記３６０ＶＲ投影フォーマットが前記第１の投影フォーマットと異なる第２の投影フォーマットであるとき第２の値を有し、前記特定の回転軸は前記第２のシンタックス要素に依存して変わる、請求項１５に記載のビデオ処理方法。
  19. 前記少なくとも１つのシンタックス要素は、
    第１のシンタックス要素を含み、前記第１のシンタックス要素は、前記現在のデコードされたフレーム内の前記回転された３６０度イメージ／ビデオコンテンツを生成することに関与した前記コンテンツ方向づけ回転が、少なくとも１つの前のデコードされたフレーム内の回転された３６０度イメージ／ビデオコンテンツを生成することに関与したコンテンツ方向づけ回転と同じであるか否かを示す、請求項１３に記載のビデオ処理方法。
  20. 前記少なくとも１つのシンタックス要素は、
    第２のシンタックス要素をさらに含み、前記現在のデコードされたフレーム内の前記回転された３６０度イメージ／ビデオコンテンツを生成することに関与した前記コンテンツ方向づけ回転が、前記少なくとも１つの前のデコードされたフレーム内の前記回転された３６０度イメージ／ビデオコンテンツを生成することに関与した前記コンテンツ方向づけ回転と異なるとき、前記第２のシンタックス要素は、特定の回転軸に沿った回転があるか否かを示す、請求項１９に記載のビデオ処理方法。
  21. 前記少なくとも１つのシンタックス要素は、
    第３のシンタックス要素をさらに含み、前記特定の回転軸に沿った回転があるとき、前記第３のシンタックス要素は、前記現在のデコードされたフレーム内の前記回転された３６０度イメージ／ビデオコンテンツを生成することに関与した前記コンテンツ方向づけ回転における前記特定の回転軸に沿った回転度数と、前記少なくとも１つの前のデコードされたフレーム内の前記回転された３６０度イメージ／ビデオコンテンツを生成することに関与した前記コンテンツ方向づけ回転における前記特定の回転軸に沿った回転度数との間の差を示す、請求項２０に記載のビデオ処理方法。
  22. 前記少なくとも１つのシンタックス要素は、
    第３のシンタックス要素をさらに含み、前記第３のシンタックス要素は、前記３６０ＶＲ投影フォーマットが第１の投影フォーマットであるときに第１の値を有し、前記３６０ＶＲ投影フォーマットが前記第１の投影フォーマットと異なる第２の投影フォーマットであるとき第２の値を有し、前記特定の回転軸は前記第３のシンタックス要素に依存して変わる、請求項２０に記載のビデオ処理方法。
  23. 前記少なくとも１つのシンタックス要素は、
    第１のシンタックス要素を含み、前記第１のシンタックス要素は、前記コンテンツ方向づけ回転が有効にされているか否かを示す、請求項１３に記載のビデオ処理方法。
  24. 前記少なくとも１つのシンタックス要素は、
    第２のシンタックス要素をさらに含み、前記コンテンツ方向づけ回転が有効にされているとき、前記第２のシンタックス要素は、特定の回転軸に沿った回転度数を示す、請求項１３に記載のビデオ処理方法。
  25. ３６０度バーチャルリアリティ（３６０ＶＲ）投影フォーマットで表された３６０度イメージ／ビデオコンテンツを有する現在の入力フレームを受信し、前記現在の入力フレーム内の前記３６０度イメージ／ビデオコンテンツにコンテンツ方向づけ回転を適用して前記３６０ＶＲ投影フォーマットで表された回転された３６０度イメージ／ビデオコンテンツを有するコンテンツ回転フレームを生成するように構成されたコンテンツ方向づけ回転回路と、
    前記コンテンツ回転フレームをエンコードしてビットストリームを生成し、前記ビットストリームを介して少なくとも１つのシンタックス要素をシグナリングするように構成されたビデオエンコーダであり、前記少なくとも１つのシンタックス要素は、前記コンテンツ方向づけ回転の回転情報を示すように設定される、ビデオエンコーダと、
    を含むビデオ処理装置。
  26. ビットストリームを受信し、前記ビットストリームを処理して前記ビットストリームから少なくとも１つのシンタックス要素を取得し、前記ビットストリームをデコードして３６０度バーチャルリアリティ（３６０ＶＲ）投影フォーマットで表された回転された３６０度イメージ／ビデオコンテンツを有する現在のデコードされたフレームを生成するように構成されたビデオデコーダと、
    前記現在のデコードされたフレームと、前記少なくとも１つのシンタックス要素により示されるコンテンツ方向づけ回転の回転情報とに従って、出力イメージデータをディスプレイ画面にレンダリングし、表示するように構成されたグラフィックレンダリング回路であり、前記コンテンツ方向づけ回転は、前記回転された３６０度イメージ／ビデオコンテンツを生成することに関与する、グラフィックレンダリング回路と、
    を含むビデオ処理装置。
JP2019508263A 2016-11-09 2017-11-08 回転情報のシンタックス要素シグナリングを備えたビデオエンコーディング機能を有する方法及び装置、並びに関連するビデオデコーディング機能を有する方法及び装置 Pending JP2019530296A (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201662419513P 2016-11-09 2016-11-09
US62/419,513 2016-11-09
US201662433272P 2016-12-13 2016-12-13
US62/433,272 2016-12-13
US201762469041P 2017-03-09 2017-03-09
US62/469,041 2017-03-09
US15/802,481 2017-11-03
US15/802,481 US10560678B2 (en) 2016-11-09 2017-11-03 Method and apparatus having video encoding function with syntax element signaling of rotation information of content-oriented rotation applied to 360-degree image content or 360-degree video content represented in projection format and associated method and apparatus having video decoding function
PCT/CN2017/109894 WO2018086524A1 (en) 2016-11-09 2017-11-08 Method and apparatus having video encoding function with syntax element signaling of rotation information and associated method and apparatus having video decoding function

Publications (1)

Publication Number Publication Date
JP2019530296A true JP2019530296A (ja) 2019-10-17

Family

ID=62064713

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019508263A Pending JP2019530296A (ja) 2016-11-09 2017-11-08 回転情報のシンタックス要素シグナリングを備えたビデオエンコーディング機能を有する方法及び装置、並びに関連するビデオデコーディング機能を有する方法及び装置

Country Status (6)

Country Link
US (2) US10560678B2 (ja)
EP (1) EP3476128A4 (ja)
JP (1) JP2019530296A (ja)
CN (2) CN109804634B (ja)
TW (1) TWI656787B (ja)
WO (1) WO2018086524A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200062365A (ko) 2016-10-04 2020-06-03 김기백 영상 데이터 부호화/복호화 방법 및 장치
US20190238888A1 (en) * 2017-07-17 2019-08-01 Ki Baek Kim Image data encoding/decoding method and apparatus
US10887572B2 (en) 2016-11-17 2021-01-05 Intel Corporation Suggested viewport indication for panoramic video
KR102371099B1 (ko) 2016-11-17 2022-03-04 인텔 코포레이션 광시야 비디오를 인코딩하기 위한 구면 회전 기법
US10726602B2 (en) * 2017-02-03 2020-07-28 Sony Corporation Apparatus and method to generate realistic three-dimensional (3D) model animation
CN109584376B (zh) * 2018-12-03 2023-04-07 广东工业大学 基于vr技术的构图教学方法、装置、设备以及存储介质
US10742882B1 (en) * 2019-05-17 2020-08-11 Gopro, Inc. Systems and methods for framing videos
US11190801B2 (en) * 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of mapping function employed by cube-based projection and associated video decoding method
US11190768B2 (en) 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of packing of projection faces derived from cube-based projection and associated video decoding method and apparatus
US11659206B2 (en) * 2019-07-02 2023-05-23 Mediatek Inc. Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus
CN112423108B (zh) * 2019-08-20 2023-06-30 中兴通讯股份有限公司 码流的处理方法、装置、第一终端、第二终端及存储介质
WO2021045536A1 (en) 2019-09-04 2021-03-11 Wilus Institute Of Standards And Technology Inc. Video encoding and decoding acceleration utilizing imu sensor data for cloud virtual reality
CN112102160B (zh) * 2020-11-16 2021-06-29 首望体验科技文化有限公司 适配于720胶囊型屏幕的视频处理方法、装置及相关产品
CN112235555B (zh) * 2020-12-10 2021-04-27 首望体验科技文化有限公司 720全景视频投影系统、视频处理方法、装置
CN112285993B (zh) * 2020-12-29 2021-05-11 首望体验科技文化有限公司 一种在720胶囊型屏幕上展示球幕视频的方法、装置及产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018045108A1 (en) * 2016-09-02 2018-03-08 Vid Scale, Inc. Method and system for signaling of 360-degree video information
JP2019534608A (ja) * 2016-09-30 2019-11-28 インターデジタル ヴイシー ホールディングス， インコーポレイテッド グローバルな回転における動き補償画像を符号化する方法、デバイス及びストリーム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2359260C (en) 2000-10-20 2004-07-20 Samsung Electronics Co., Ltd. Coding apparatus and method for orientation interpolator node
US7194112B2 (en) * 2001-03-12 2007-03-20 Eastman Kodak Company Three dimensional spatial panorama formation with a range imaging system
US6583808B2 (en) * 2001-10-04 2003-06-24 National Research Council Of Canada Method and system for stereo videoconferencing
US7308131B2 (en) * 2002-12-03 2007-12-11 Ntt Docomo, Inc. Representation and coding of panoramic and omnidirectional images
JP4958565B2 (ja) * 2006-01-06 2012-06-20 パナソニック株式会社 無線通信装置
US20100027615A1 (en) 2006-10-24 2010-02-04 Purvin Bibhas Pandit Picture identification for multi-view video coding
CN101231456B (zh) * 2008-01-31 2010-11-24 北京航空航天大学 利用角度传感器纠正全景视频抖动的方法
KR101490689B1 (ko) 2008-05-27 2015-02-06 삼성전자주식회사 카메라 파라미터를 이용한 스테레오스코픽 영상데이터스트림 생성 방법 및 그 장치와 스테레오스코픽 영상복원 방법 및 그 장치
KR101341998B1 (ko) * 2008-09-09 2013-12-16 에스케이텔레콤 주식회사 회전 움직임을 고려한 인터 예측 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
CN101540926B (zh) 2009-04-15 2010-10-27 南京大学 基于h.264的立体视频编解码方法
US8643701B2 (en) 2009-11-18 2014-02-04 University Of Illinois At Urbana-Champaign System for executing 3D propagation for depth image-based rendering
CN101729892B (zh) 2009-11-27 2011-07-27 宁波大学 一种非对称立体视频编码方法
US8687060B1 (en) * 2009-12-28 2014-04-01 Cognex Corporation System and method for providing distance-based pulses relative to motion of a surface scanned by a vision system
EP2408196B1 (en) 2010-07-14 2017-01-11 Alcatel Lucent A method, server and terminal for generating a composite view from multiple content items
CN102006480B (zh) 2010-11-29 2013-01-30 清华大学 基于视间预测的双目立体视频的编码及解码方法
WO2012121744A1 (en) * 2011-03-10 2012-09-13 Vidyo, Inc Adaptive picture rotation
US8872855B2 (en) 2011-07-21 2014-10-28 Flipboard, Inc. Adjusting orientation of content regions in a page layout
JP5307958B1 (ja) 2012-02-23 2013-10-02 株式会社スクウェア・エニックス・ホールディングス 動画配信サーバ、動画再生装置、制御方法、プログラム、及び記録媒体
US9571812B2 (en) * 2013-04-12 2017-02-14 Disney Enterprises, Inc. Signaling warp maps using a high efficiency video coding (HEVC) extension for 3D video coding
CN103402109B (zh) 2013-07-31 2015-07-08 上海交通大学 3d视频中左右视点间帧同步性的检测与保证方法
CN103646424B (zh) 2013-11-26 2016-05-04 北京空间机电研究所 一种空中无缝虚拟漫游系统构建方法
US9930315B2 (en) 2015-04-29 2018-03-27 Lucid VR, Inc. Stereoscopic 3D camera for virtual reality experience
KR101835434B1 (ko) * 2015-07-08 2018-03-09 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
US10645362B2 (en) * 2016-04-11 2020-05-05 Gopro, Inc. Systems, methods and apparatus for compressing video content
CN105872386A (zh) 2016-05-31 2016-08-17 深圳易贝创新科技有限公司 一种全景摄像装置以及全景图片生成方法
KR102371099B1 (ko) 2016-11-17 2022-03-04 인텔 코포레이션 광시야 비디오를 인코딩하기 위한 구면 회전 기법
US20180262774A1 (en) * 2017-03-09 2018-09-13 Mediatek Inc. Video processing apparatus using one or both of reference frame re-rotation and content-oriented rotation selection and associated video processing method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018045108A1 (en) * 2016-09-02 2018-03-08 Vid Scale, Inc. Method and system for signaling of 360-degree video information
JP2019530311A (ja) * 2016-09-02 2019-10-17 ヴィド スケール インコーポレイテッド ３６０度ビデオ情報をシグナリングするための方法およびシステム
JP2019534608A (ja) * 2016-09-30 2019-11-28 インターデジタル ヴイシー ホールディングス， インコーポレイテッド グローバルな回転における動き補償画像を符号化する方法、デバイス及びストリーム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PHILIPPE HANHART ET AL., "AHG8: HIGH LEVEL SYNTAX EXTENSIONS FOR SIGNALING OF 360-DEGREE VIDEO INFORMATION", JPN6020002635, ISSN: 0004202056 *

Also Published As

Publication number Publication date
US20190251660A1 (en) 2019-08-15
US10560678B2 (en) 2020-02-11
CN113573077A (zh) 2021-10-29
US10587857B2 (en) 2020-03-10
WO2018086524A1 (en) 2018-05-17
EP3476128A1 (en) 2019-05-01
EP3476128A4 (en) 2019-09-04
CN109804634A (zh) 2019-05-24
CN109804634B (zh) 2021-07-30
US20180130175A1 (en) 2018-05-10
TWI656787B (zh) 2019-04-11
TW201830971A (zh) 2018-08-16
CN113573077B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
US10587857B2 (en) Method and apparatus having video decoding function with syntax element parsing for obtaining rotation information of content-oriented rotation applied to 360-degree image content or 360-degree video content represented in projection format
US11792378B2 (en) Suggested viewport indication for panoramic video
US11308581B2 (en) Spherical rotation for encoding wide view video
JP2019534606A (ja) ライトフィールドデータを使用して場面を表す点群を再構築するための方法および装置
WO2021000907A1 (en) Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus
US11190768B2 (en) Video encoding method with syntax element signaling of packing of projection faces derived from cube-based projection and associated video decoding method and apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200204

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200915