JP2019530296A - 回転情報のシンタックス要素シグナリングを備えたビデオエンコーディング機能を有する方法及び装置、並びに関連するビデオデコーディング機能を有する方法及び装置 - Google Patents

回転情報のシンタックス要素シグナリングを備えたビデオエンコーディング機能を有する方法及び装置、並びに関連するビデオデコーディング機能を有する方法及び装置 Download PDF

Info

Publication number
JP2019530296A
JP2019530296A JP2019508263A JP2019508263A JP2019530296A JP 2019530296 A JP2019530296 A JP 2019530296A JP 2019508263 A JP2019508263 A JP 2019508263A JP 2019508263 A JP2019508263 A JP 2019508263A JP 2019530296 A JP2019530296 A JP 2019530296A
Authority
JP
Japan
Prior art keywords
rotation
syntax element
content
video
processing method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019508263A
Other languages
English (en)
Inventor
リン,ハン−チー
ホアン,チャオ−チー
リ,チア−イン
リン,ジャン−リアン
チャン,シェヌ−カイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of JP2019530296A publication Critical patent/JP2019530296A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0088Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

ビデオ処理方法が、360度バーチャルリアリティ(360VR)投影フォーマットで表わされた360度イメージ/ビデオコンテンツを有する現在の入力フレームを受信するステップと、現在の入力フレーム内の360度イメージ/ビデオコンテンツにコンテンツ方向づけ回転を適用して、360VR投影フォーマットで表わされた回転された360度イメージ/ビデオコンテンツを有するコンテンツ回転フレームを生成するステップと、コンテンツ回転フレームをエンコードしてビットストリームを生成するステップと、ビットストリームを介して少なくとも1つのシンタックス要素をシグナリングするステップと、を含み、少なくとも1つのシンタックス要素は、コンテンツ方向づけ回転の回転情報を示すように設定される。

Description

関連出願の相互参照
本出願は、2016年11月09日に出願された米国仮出願第62/419,513号、2016年12月13日に出願された米国仮出願第62/433,272号、2017年03月09日に出願された米国仮出願第62/469,041号、及び2017年11月03日に出願された米国特許出願第15/802,481号の利益を主張し、これらは本明細書において参照により援用される。
本発明は、360度イメージ/ビデオコンテンツ処理に関し、より詳細には、投影フォーマットで表された360度イメージ/ビデオコンテンツに適用されるコンテンツ方向づけ回転の回転情報のシンタックス要素シグナリングを備えたビデオエンコーディング機能を有する方法及び装置、並びに関連するビデオデコーディング機能を有する方法及び装置に関する。
ヘッドマウントディスプレイ(head-mounted displays;HMD)を用いたバーチャルリアリティ(VR)は、様々なアプリケーションに関連づけられる。広視野コンテンツをユーザに見せる能力は、没入的な視覚体験を提供するために使用できる。現実世界の環境がすべての方向において捕捉される必要があり、ビューイング球形に対応する全方位ビデオを結果としてもたらす。カメラリグ及びHMDの進化により、VRコンテンツの配信は、こうした360度イメージ/ビデオコンテンツを表現するために必要な高いビットレートに起因して、すぐにボトルネックになる可能性がある。全方位ビデオの解像度が4K又はそれより高いとき、データ圧縮/エンコーディングはビットレート低減に対してクリティカルである。
一般に、ビューイング球形に対応する全方位ビデオはイメージのシーケンスに変換され、該イメージの各々は360度バーチャルリアリティ(360VR)投影フォーマットにより表現され、次いで、結果として生じるイメージシーケンスは送信のためにビットストリームへエンコードされる。しかしながら、360VR投影フォーマットで表現された元の360度イメージ/ビデオコンテンツは、採用された360VR投影フォーマットにより分割及び/又は伸縮される動くオブジェクトに起因して、不十分な圧縮効率を有する可能性がある。ゆえに、360VR投影フォーマットで表現される360度イメージ/ビデオコンテンツの圧縮効率を向上させることができる革新的な設計の必要がある。
請求される発明の目的の1つは、投影フォーマットで表現された360度イメージ/ビデオコンテンツに適用されるコンテンツ方向づけ回転の回転情報のシンタックス要素シグナリングを備えたビデオエンコーディング機能を有する方法及び装置、並びに関連するビデオデコーディング機能を有する方法及び装置を提供することである。
本発明の第1の態様によれば、例示的なビデオ処理方法が開示される。例示的なビデオ処理方法は、360度バーチャルリアリティ(360VR)投影フォーマットで表された360度イメージ/ビデオコンテンツを有する現在の入力フレームを受信するステップと、現在の入力フレーム内の360度イメージ/ビデオコンテンツにコンテンツ方向づけ回転を適用して、360VR投影フォーマットで表された回転された360度イメージ/ビデオコンテンツを有するコンテンツ回転フレームを生成するステップと、コンテンツ回転フレームをエンコードしてビットストリームを生成するステップと、ビットストリームを介して少なくとも1つのシンタックス要素をシグナリングするステップであり、少なくとも1つのシンタックス要素は、コンテンツ方向づけ回転の回転情報を示すように設定される、ステップと、を含む。
本発明の第2の態様によれば、例示的なビデオ処理方法が開示される。例示的なビデオ処理方法は、ビットストリームを受信するステップと、ビットストリームを処理してビットストリームから少なくとも1つのシンタックス要素を取得するステップと、ビットストリームをデコードして、360度バーチャルリアリティ(360VR)投影フォーマットで表された回転された360度イメージ/ビデオコンテンツを有する現在のデコードされたフレームを生成するステップと、現在のデコードされたフレームと、少なくとも1つのシンタックス要素により示されるコンテンツ方向づけ回転の回転情報とに従って、出力イメージデータをディスプレイ画面にレンダリングし、表示するステップであり、コンテンツ方向づけ回転は、回転された360度イメージ/ビデオコンテンツを生成することに関与する、ステップと、を含む。
本発明の第3の態様によれば、例示的なビデオ処理装置が開示される。例示的なビデオ処理装置は、コンテンツ方向づけ回転回路及びビデオエンコーダを含む。コンテンツ方向づけ回転回路は、360度バーチャルリアリティ(360VR)投影フォーマットで表された360度イメージ/ビデオコンテンツを有する現在の入力フレームを受信し、現在の入力フレーム内の360度イメージ/ビデオコンテンツにコンテンツ方向づけ回転を適用して、360VR投影フォーマットで表された回転された360度イメージ/ビデオコンテンツを有するコンテンツ回転フレームを生成するように構成される。ビデオエンコーダは、コンテンツ回転フレームをエンコードしてビットストリームを生成し、ビットストリームを介して少なくとも1つのシンタックス要素をシグナリングするように構成され、少なくとも1つのシンタックス要素は、コンテンツ方向づけ回転の回転情報を示すように設定される。
本発明の第4の態様によれば、例示的なビデオ処理装置が開示される。例示的なビデオ処理装置は、ビデオデコーダ及びグラフィックレンダリング回路を含む。ビデオデコーダは、ビットストリームを受信し、ビットストリームを処理してビットストリームから少なくとも1つのシンタックス要素を取得し、ビットストリームをデコードして360度バーチャルリアリティ(360VR)投影フォーマットで表された回転された360度イメージ/ビデオコンテンツを有する現在のデコードされたフレームを生成するように構成される。グラフィックレンダリング回路は、現在のデコードされたフレームと、少なくとも1つのシンタックス要素により示されるコンテンツ方向づけ回転の回転情報とに従って、出力イメージデータをディスプレイ画面にレンダリングし、表示するように構成され、コンテンツ方向づけ回転は、回転された360度イメージ/ビデオコンテンツを生成することに関与する。
本発明の上記及び他の目的が、様々な図表及び図面に例示される好適な実施例の下記詳細な説明を読んだ当業者に疑いなく明らかになるであろう。
本発明の実施例による360度バーチャルリアリティ(360VR)システムを示す図である。 本発明の実施例による提案のコンテンツ方向づけ回転の概念を示す図である。 本発明の実施例によるビデオエンコーダを示す図である。 本発明の実施例による、同じ回転角度を用いて異なる回転順序を使用して実行されるコンテンツ方向づけ回転を示す図である。 本発明の実施例によるビデオデコーダを示す図である。
特定の用語が以下の説明及び特許請求の範囲を通して使用され、これらは特定のコンポーネントを参照する。当業者が十分理解するように、電子機器製造業者は異なる名前でコンポーネントを参照することがある。本文献は、名前は異なるが機能は異ならないコンポーネント間で区別することは意図しない。以下の説明において、及び特許請求の範囲において、用語「含む」(“include”、“comprise”)は開放的に使用され、ゆえに、「これらに限られないが・・・を含む」を意味するように解釈されるべきである。また、用語「結合する」は、間接又は直接のいずれかの電気接続を意味することが意図される。したがって、あるデバイスが別のデバイスに結合される場合、その接続は、直接の電気接続を通してでもよく、あるいは他のデバイス及び接続を介して間接の電気接続を通してでもよい。
図1は、本発明の実施例による360度バーチャルリアリティ(360-degree Virtual Reality)(360VR)システムを示す図である。360VRシステム100は、ソース電子デバイス102及び宛先デバイス104を含む。ソース電子デバイス102は、ビデオ捕捉デバイス112、コンバージョン回路114、コンテンツ方向づけ回転(content-oriented rotation)回路116、及びビデオエンコーダ118を含む。例えば、ビデオ捕捉デバイス112は、ビューイング球形(viewing sphere)に対応する全方位イメージコンテンツ(例えば、全周囲をカバーする複数のイメージ)S_INを提供するために使用されるカメラのセットでもよい。コンバージョン回路114は、全方位イメージコンテンツS_INに従って360度バーチャルリアリティ(360VR)投影フォーマットL_VRで現在の入力フレームIMGを生成する。この例において、コンバージョン回路114は、ビデオ捕捉デバイス112から提供された360度ビデオの各ビデオフレームについて1つの入力フレームを生成する。コンバージョン回路114により採用される360VR投影フォーマットL_VRは、正距円筒的投影(equirectangular projection;ERP)フォーマット、キューブマップ投影(cube map projection;CMP)フォーマット、8面体投影(octahedron projection;OHP)フォーマット、20面体投影(icosahedron projection;ISP)フォーマット等を含む利用可能な投影フォーマットのうち任意のものでよい。コンテンツ方向づけ回転回路116は、現在の入力フレームIMG(これは、360VR投影フォーマットL_VRで表された360度イメージ/ビデオコンテンツを有する)を受信し、現在の入力フレームIMG内の360度イメージ/ビデオコンテンツにコンテンツ方向づけ回転を適用して、同じ360VR投影フォーマットL_VRで表された、回転された360度イメージ/ビデオコンテンツを有するコンテンツ回転フレームIMG’を生成する。さらに、適用されたコンテンツ方向づけ回転の回転情報INF_Rは、シンタックス要素シグナリングのためにビデオエンコーダ118に提供される。
図2は、本発明の実施例による、提案のコンテンツ方向づけ回転の概念を示す図である。明確さ及び簡潔さのため、360VR投影フォーマットL_VRはERPフォーマットであると仮定される。ゆえに、ビューイング球形202の360度イメージ/ビデオコンテンツは、ビューイング球形202の正距円筒的投影を介して矩形(rectangular)投影面上にマッピングされる。こうして、ERPフォーマットで表された360度イメージ/ビデオコンテンツを有する現在の入力フレームIMGがコンバージョン回路114から生成される。上述されたように、360VR投影フォーマットで表された元の360度イメージ/ビデオコンテンツは、採用された360VR投影フォーマットにより分割及び/又は伸縮される動くオブジェクトに起因して、不十分な圧縮効率を有する可能性がある。この問題に対処するために、本発明は、符号化効率向上のために360度イメージ/ビデオコンテンツにコンテンツ方向づけ回転を適用することを提案する。
さらに、コンテンツ回転フレームIMG’内のピクセル位置におけるピクセル値を計算する例が図2に示される。コンテンツ回転フレームIMG’内の座標(x,y)を有するピクセルcについて、2D座標(x,y)は、2D対3Dマッピング処理を通して3D座標s(ビューイング球形202上の点)にマッピングできる。次いで、この3D座標sは、コンテンツ方向づけ回転が実行された後、別の3D座標s’(ビューイング球形202上の点)に変換される。コンテンツ方向づけ回転は、回転行列乗算により達成できる。最後、座標(x’,y’)を有する対応する2D座標c’が、3D対2Dマッピング処理を通して現在の入力フレームIMG内で見つけられる。したがって、コンテンツ回転フレームIMG’内の各整数ピクセル(例えば、c=(x,y))について、現在の入力フレームIMG内の対応する位置(例えば、c’=(x’,y’))が、コンテンツ回転フレームIMG’からビューイング球形202への2D対3Dマッピングと、コンテンツ回転のためにビューイング球形202で乗算された回転行列と、ビューイング球形202から現在の入力フレームIMGへの3D対2Dマッピングとを通して見つけられる。x’及びy’のうち一方又は双方が非整数位置である場合、補間フィルタ(図示せず)が現在の入力フレームIMG内の点c’=(x’,y’)の周りの整数ピクセルに適用されて、コンテンツ回転フレームIMG’内のc=(x,y)のピクセル値を導出してもよい。
現在の入力フレームIMGを送信のためにビットストリームへエンコードする従来のビデオエンコーダと対照的に、ビデオエンコーダ118は、コンテンツ回転フレームIMG’をビットストリームBSへエンコードし、次いで、有線/無線通信リンク又は記憶媒体などの送信手段103を介してビットストリームBSを宛先電子デバイス104に出力する。具体的に、ビデオエンコーダ118は、コンテンツ方向づけ回転回路116から出力された各々のコンテンツ回転フレームについて1つのエンコードされたフレームを生成する。ゆえに、連続的なエンコードされたフレームが、順次、ビデオエンコーダ118から生成される。さらに、コンテンツ方向づけ回転回路116で実行されたコンテンツ方向づけ回転の回転情報INF_Rは、ビデオエンコーダ118に提供される。ゆえに、ビデオエンコーダ118は、ビットストリームBSを介してシンタックス要素をさらにシグナリングし、シンタックス要素は、現在の入力フレームIMGに適用されたコンテンツ方向づけ回転の回転情報INF_Rを示すように設定される。
図3は、本発明の実施例によるビデオエンコーダを示す図である。図1に示されるビデオエンコーダ118は、図3に示されるビデオエンコーダ300を使用して実現されてもよい。ビデオエンコーダ300は、生の(raw)ビデオデータを圧縮して圧縮されたビデオデータを生成するために使用されるハードウェア回路である。図3に示されるように、ビデオエンコーダ300は、制御回路302及びエンコーディング回路304を含む。図3に示されるビデオエンコーダアーキテクチャは単に例示目的のものであり、本発明の限定であるようには意図されないことが留意されるべきである。例えば、エンコーディング回路304のアーキテクチャは符号化標準に依存して変わってもよい。エンコーディング回路304は、コンテンツ回転フレームIMG’(これは、360VR投影レイアウトL_VRにより表された回転された360度イメージ/ビデオコンテンツを有する)をエンコードしてビットストリームBSを生成する。図3に示されるように、エンコーディング回路304は、残差計算回路311、変換回路(「T」で表される)312、量子化回路(「Q」で表される)313、エントロピーエンコーディング回路(例えば、可変長エンコーダ)314、逆量子化回路(「IQ」で表される)315、逆変換回路(「IT」で表される)316、再構成回路317、少なくとも1つのループ内フィルタ318、参照フレームバッファ319、インター予測(inter prediction)回路320(これは、動き推定回路(「ME」で表される)321及び動き補償回路(「MC」で表される)322を含む)、イントラ予測(intra prediction)回路(「IP」で表される)323、及びイントラ/インターモード選択スイッチ324を含む。エンコーディング回路304で実現されるこれらの回路コンポーネントの基本的な機能及び動作は当業者によく知られているため、簡潔さのためにここでさらなる説明は省略される。
ビデオエンコーダ300と典型的なビデオエンコーダとの間の主な差は、制御回路302が前の回路(例えば、図1に示されるコンテンツ方向づけ回転回路116)から回転情報INF_Rを受信し、回転情報INF_Rに従って少なくとも1つのシンタックス要素(syntax element;SE)を設定するために使用されることであり、回転情報INF_Rを示すシンタックス要素は、エントロピーエンコーディング回路314から生成されたビットストリームBSを介してビデオデコーダに対してシグナリングされる。こうして、宛先電子デバイス104(これはビデオデコーダを有する)は、シグナリングされたシンタックス要素に従ってエンコーダ側のコンテンツ方向づけ回転の詳細を知ることができ、例えば、デコーダ側の逆コンテンツ方向づけ回転を実行してレンダリング及び表示のために必要されるビデオデータを取得することができる。
コンテンツ方向づけ回転回路116で実行されるコンテンツ方向づけ回転は、回転軸、回転順序、及び回転角度により指定されてもよい。コンテンツ方向づけ回転は、ある回転順序における回転軸のセットに沿った要素回転を含んでもよく、回転順序は、コンテンツ方向づけ回転により使用される回転軸の順序を指定し、対応する回転軸に沿った各要素回転は、特定の回転度数を有する回転角度により表される。例えば、回転軸は、デカルト座標系における3つの直交軸(例えば、x軸、y軸、z軸)でもよく、回転順序は、一般に使用される特定順序ヨー‐ピッチ‐ロール(例えば、z‐y‐x)でもよい。しかしながら、これらは単に例示目的のものであり、本発明の限定であるようには意図されない。例えば、回転軸は、直交軸であることを要求されない。別の例として、回転軸の数及び回転角度の数は調整されてもよい。単一の回転軸のみがコンテンツ方向づけ回転に関与する場合において、回転順序は省略できる。
同じ回転角度を用いた異なる回転順序は、異なる結果を作り出し得ることが留意されるべきである。図4は、本発明の実施例による、同じ回転角度を用いて異なる回転順序を使用して実行されるコンテンツ方向づけ回転を示す図である。第1の例Ex1におけるコンテンツ方向づけ回転は、y軸に沿って30°回転し、次いでZ軸に沿って30°回転することを含む。第2の例Ex2における別のコンテンツ方向づけ回転は、Z軸に沿って30°回転し、次いでy軸に沿って30°回転することを含む。図4に示されるように、(x,y,z)=(1,0,0)におけるイメージ/ビデオコンテンツは、第1の例Ex1ではコンテンツ方向づけ回転に従って
Figure 2019530296
に回転され、第2の例Ex2ではコンテンツ方向づけ回転に従って
Figure 2019530296
に回転される。ゆえに、回転軸及び関連づけられた回転角度に追加で、回転順序がコンテンツ方向づけ回転において正確に定義される必要がある。
各回転軸は、エンコーダ側及びデコーダ側に事前定義され(例えば、仕様テキストに定義され)てもよい。ゆえに、コンテンツ方向づけ回転回路116で実行されるコンテンツ方向づけ回転により使用される複数の回転軸(又は、単一の回転軸)の情報は、ビットストリームBSを介してシグナリングされる必要がない。別法として、各回転軸は、コンテンツ方向づけ回転回路116により能動的に設定されてもよい。ゆえに、コンテンツ方向づけ回転回路116で実行されるコンテンツ方向づけ回転により使用される複数の回転軸(又は、単一の回転軸)の情報は、ビットストリームBSを介してシグナリングされる必要がある。
回転順序は、エンコーダ側及びデコーダ側に事前定義され(例えば、仕様テキストに定義され)てもよい。ゆえに、コンテンツ方向づけ回転回路116で実行されるコンテンツ方向づけ回転により使用される回転順序の情報は、ビットストリームBSを介してシグナリングされる必要がない。別法として、回転順序は、コンテンツ方向づけ回転回路116により能動的に設定されてもよい。ゆえに、コンテンツ方向づけ回転回路116で実行されるコンテンツ方向づけ回転により使用される回転順序の情報は、ビットストリームBSを介してシグナリングされる必要がある。
各回転軸に関連づけられた回転角度の回転度数は、異なるフレームについて変動してもよい。ゆえに、コンテンツ方向づけ回転回路116で実行されるコンテンツ方向づけ回転により使用される複数の回転度数(又は、単一の回転度数)の情報は、ビットストリームBSを介してシグナリングされる必要がある。
上述されたように、シンタックス要素SEは、現在の入力フレームIMGに適用されたコンテンツ方向づけ回転の回転情報INF_Rを示すように設定される。回転軸がエンコーダ側及びデコーダ側に事前定義される第1の場合において、コンテンツ方向づけ回転回路116からビデオエンコーダ118に提供される回転情報INF_Rは回転順序及び回転度数を含み、これらは、エンコーダ側からデコーダ側にシグナリングされるシンタックス要素により示されることになる。回転軸及び回転順序がエンコーダ側及びデコーダ側に事前定義される第2の場合において、コンテンツ方向づけ回転回路116からビデオエンコーダ118に提供される回転情報INF_Rは回転度数を含み、これは、エンコーダ側からデコーダ側にシグナリングされるシンタックス要素により示されることになる。回転順序がエンコーダ側及びデコーダ側に事前定義される第3の場合において、コンテンツ方向づけ回転回路116からビデオエンコーダ118に提供される回転情報INF_Rは回転軸及び回転度数を含み、これらは、エンコーダ側からデコーダ側にシグナリングされるシンタックス要素により示されることになる。回転軸及び回転順序のいずれもエンコーダ側及びデコーダ側に事前定義されない第4の場合において、コンテンツ方向づけ回転回路116からビデオエンコーダ118に提供される回転情報INF_Rは回転軸、回転順序、及び回転度数を含み、これらは、エンコーダ側からデコーダ側にシグナリングされるシンタックス要素により示されることになる。
図1を再度参照されたい。宛先電子デバイス104は、ヘッドマウントディスプレイ(HMD)デバイスでもよい。図1に示されるように、宛先電子デバイス104は、ビデオデコーダ122、グラフィックレンダリング回路124、及びディスプレイ画面126を含む。ビデオデコーダ122は、送信手段103(例えば、有線/無線通信リンク又は記憶媒体)からビットストリームBSを受信し、受信したビットストリームBSをデコードして現在のデコードされたフレームIMG’’を生成する。具体的に、ビデオデコーダ122は、送信手段103により配信された各々のエンコードされたフレームについて1つのデコードされたフレームを生成する。ゆえに、連続的なデコードされたフレームが、順次、ビデオデコーダ122から生成される。この実施例において、ビデオエンコーダ118によりエンコードされるコンテンツ回転フレームIMG’は360VR投影フォーマットを有する。ゆえに、ビットストリームBSがビデオデコーダ122によりデコードされた後、現在のデコードされたフレーム(すなわち、再構成されたフレーム)IMG’’は、同じ360VR投影フォーマットを有する。
図5は、本発明の実施例によるビデオデコーダを示す図である。図1に示されるビデオデコーダ122は、図5に示されるビデオデコーダ500を使用して実現されてもよい。ビデオデコーダ500は、有線/無線通信リンク又は記憶媒体などの送信手段を介してビデオエンコーダ(例えば、図1に示されるビデオエンコーダ118)と通信してもよい。ビデオデコーダ500は、圧縮されたイメージ/ビデオデータを伸張して伸張されたイメージ/ビデオデータを生成するために使用されるハードウェア回路である。この実施例において、ビデオデコーダ500はビットストリームBSを受信し、受信したビットストリームBSをデコードして現在のデコードされたフレームIMG’’を生成する。図5に示されるように、ビデオデコーダ500は、デコーディング回路520及び制御回路530を含む。図5に示されるビデオデコーダアーキテクチャは単に例示目的のものであり、本発明の限定であるようには意図されないことが留意されるべきである。例えば、デコーディング回路520のアーキテクチャは符号化標準に依存して変わってもよい。デコーディング回路520は、エントロピーデコーディング回路(例えば、可変長デコーダ)502、逆量子化回路(「IQ」で表される)504、逆変換回路(「IT」で表される)506、再構成回路508、動きベクトル計算回路(「MV計算」で表される)510、動き補償回路(「MC」で表される)513、イントラ予測回路(「IP」で表される)514、イントラ/インターモード選択スイッチ516、少なくとも1つのループ内フィルタ518、及び参照フレームバッファ520を含む。デコーディング回路520で実現されるこれらの回路コンポーネントの基本的な機能及び動作は当業者によく知られているため、簡潔さのためにここでさらなる説明は省略される。
ビデオデコーダ500と典型的なビデオエンコーダとの間の主な差は、エントロピーデコーディング回路502が、ビットストリームBSに対してデータ処理(例えば、シンタックス解析)を実行して、ビットストリームBSによりシグナリングされたシンタックス要素SEを取得し、取得されたシンタックス要素SEを制御回路530に出力するためにさらに使用されることである。ゆえに、現在の入力フレームIMGから生成されたコンテンツ回転フレームIMG’に対応する現在のデコードされたフレームIMG’’に関して、制御回路530は、シンタックス要素SEを参照して、現在の入力フレームIMGに適用されたエンコーダ側のコンテンツ方向づけ回転の回転情報INF_Rを決定することができる。
上述されたように、現在のデコードされたフレームIMG’’は、360VR投影フォーマットで表された、回転された360度イメージ/ビデオコンテンツを有する。この実施例において、ビットストリームBSから取得されたシンタックス要素SEは、360VR投影フォーマットで表された回転された360度イメージ/ビデオコンテンツを生成することに関与したコンテンツ方向づけ回転の回転情報INF_Rを示す。回転軸がエンコーダ側及びデコーダ側(詳細には、コンテンツ方向づけ回転回路116及びグラフィックレンダリング回路124)に事前定義される第1の場合において、制御回路530から提供される回転情報INF_Rは、シグナリングされたシンタックス要素により示される回転順序及び回転度数を含む。回転軸及び回転順序がエンコーダ側及びデコーダ側(詳細には、コンテンツ方向づけ回転回路116及びグラフィックレンダリング回路124)に事前定義される第2の場合において、制御回路530から提供される回転情報INF_Rは、シグナリングされたシンタックス要素により示される回転度数を含む。回転順序がエンコーダ側及びデコーダ側(詳細には、コンテンツ方向づけ回転回路116及びグラフィックレンダリング回路124)に事前定義される第3の場合において、制御回路530から提供される回転情報INF_Rは、シグナリングされたシンタックス要素により示される回転軸及び回転度数を含む。回転軸及び回転度数のいずれもエンコーダ側及びデコーダ側(詳細には、コンテンツ方向づけ回転回路116及びグラフィックレンダリング回路124)に事前定義されない第4の場合において、制御回路530から提供される回転情報INF_Rは、シグナリングされたシンタックス要素により示される回転軸、回転順序、及び回転度数を含む。
グラフィックレンダリング回路124は、現在のデコードされたフレームIMG’’と、回転された360度イメージ/ビデオコンテンツを生成することに関与したコンテンツ方向づけ回転の回転情報INF_Rとに従って、出力イメージデータをディスプレイ画面126にレンダリングし、表示する。例えば、シグナリングされたシンタックス要素SEから導出された回転情報INF_Rに従って、360VR投影フォーマットで表された回転された360度イメージ/ビデオコンテンツが逆回転されてもよく、360VR投影フォーマットで表された逆回転された360度イメージ/ビデオコンテンツがレンダリング及び表示のために使用されてもよい。
本発明の技術的特徴のより良い理解のために、いくつかの例示的なシンタックスシグナリング方法が以下のとおり説明される。ビデオエンコーダ118/300は、提案のシンタックスシグナリング方法のうち1つを採用して、360VR投影フォーマットで表された360度イメージ/ビデオコンテンツに適用されるコンテンツ方向づけ回転の回転情報INF_Rを示すシンタックス要素SEをシグナリングしてもよく、ビデオデコーダ122/500は、ビデオエンコーダ118/300により採用された1つの提案のシンタックスシグナリング方法によりシグナリングされたシンタックス要素SEを参照して、360VR投影フォーマットで表された回転された360度イメージ/ビデオコンテンツを生成することに関与したコンテンツ方向づけ回転の回転情報INF_Rを決定してもよい。
以下の例示的なシンタックステーブル内の記述子は、各シンタックス要素の解析処理を指定することが留意されるべきである。具体的に、シンタックス要素は、固定長符号化(例えば、f(n)、i(n)、又はu(n))及び/又は可変長符号化(例えば、ce(v)、se(v)、又はue(v))により符号化できる。記述子f(n)は、左ビット最初で(左から右に)書かれたnビットを使用する固定パターンビットストリングを記述する。記述子i(n)は、nビットを使用する符号付き整数(integer)を記述する。記述子u(n)は、nビットを使用する符号なし整数を記述する。記述子ce(v)は、左ビット最初のコンテンツ適応的な可変長エントロピー符号化シンタックス要素を記述する。記述子se(v)は、左ビット最初の符号付き整数の指数ゴロム符号化(Exp-Golomb-coded)シンタックス要素を記述する。シンタックス要素ue(v)は、左ビット最初の符号なし整数の指数ゴロム符号化シンタックス要素を記述する。
第1のシンタックスシグナリング方法によれば、以下のシンタックステーブルが採用され得る。
Figure 2019530296
第1のシンタックスシグナリング方法が採用されるとき、コンテンツ方向づけ回転の回転情報は、シーケンスレベルヘッダ内に示されてもよい。例えば、H.264及びH.265は、各スライスにより参照される複数のシーケンスパラメータセット(Sequence Parameter Set;SPS)/ピクチャパラメータセット(Picture Parameter Set;PPS)を有することができる。各スライスは、そのPPS/SPS識別子(ID)に従って対応する符号化パラメータを取得することができる。ゆえに、コンテンツ方向づけ回転の回転情報は、各回転軸の回転度数をシグナリングすることにより、SPS/PPS又は付加拡張情報(Supplementary Enhancement Information;SEI)内に示されてもよい。1つのビデオフレームをデコードするとき、ビデオデコーダ122は、対応するSPS/PPS ID又はSEIを参照することにより回転情報を取得することができる。
シンタックス要素zero_yaw_orientationは、ヨー軸(例えば、z軸)に沿った回転があるか否かを示すように設定される。シンタックス要素zero_roll_orientationは、ロール軸(例えば、x軸)に沿った回転があるか否かを示すように設定される。シンタックス要素zero_pitch_orientationは、ピッチ軸(例えば、y軸)に沿った回転があるか否かを示すように設定される。ヨー軸に沿った回転があるとき(すなわち、!zero_yaw_orientation == True)、シンタックス要素yaw_orientation_indexが、複数の事前定義されたインデックス値から選択されたインデックス値により設定され、事前定義されたインデックス値は、それぞれ、異なる事前定義された回転度数及びユーザ定義された回転度数にマッピングされる。例えば、インデックス値と回転度数との間のマッピングは、以下の表により定義されてもよい。
Figure 2019530296
ヨー軸に沿った回転の回転度数が‘000’〜‘110’のいずれによってもインデックス化されない場合(すなわち、yaw_orientation_index == ‘111’)、ユーザ定義された回転度数が、シンタックス要素yaw_orientation_degreeを設定することによりシグナリングされる。
ロール軸に沿った回転があるとき(すなわち、!zero_roll_orientation == True)、シンタックス要素roll_orientation_indexが、上記テーブルで列挙されたように事前定義されたインデックス値から選択されたインデックス値により設定される。ロール軸に沿った回転の回転度数が‘000’〜‘110’のいずれによってもインデックス化されない場合(すなわち、roll_orientation_index == ‘111’)、ユーザ定義された回転度数が、シンタックス要素roll_orientation_degreeを設定することによりシグナリングされる。
ピッチ軸に沿った回転があるとき(すなわち、!zero_pitch_orientation == True)、シンタックス要素pitch_orientation_indexが、上記テーブルで列挙された事前定義されたインデックス値から選択されたインデックス値により設定される。ピッチ軸に沿った回転の回転度数が‘000’〜‘110’のいずれによってもインデックス化されない場合(すなわち、pitch_orientation_index == ‘111’)、ユーザ定義された回転度数が、シンタックス要素pitch_orientation_degreeを設定することによりシグナリングされる。
すべての可能なコンテンツ方向づけ回転を表すために、これら3つの軸の回転度数の範囲は、−180°から180°(すなわち0°〜360°)である必要はない。実際、回転範囲の1つが−90°から90°(すなわち0°〜180°)であり、他が−180°から180°(すなわち0°〜360°)であることで、コンテンツ方向づけ回転の表現に対して十分である。第1のシンタックスシグナリング方法において、回転角度は整数値であるように仮定される。ある回転順序(例えば、ヨー‐ロール‐ピッチ(z‐x‐y))における第1の回転軸(例えば、ヨー軸又はz軸)及び第2の回転軸(例えば、ロール軸又はx軸)のユーザ定義された回転度数に関して、各々が、−180°から180°(すなわち0°〜360°)の範囲内の回転度数を示すように9ビットで設定される。しかしながら、この回転順序(例えば、ヨー‐ロール‐ピッチ(z‐x‐y))における第3の回転軸(例えば、ピッチ軸又はy軸)のユーザ定義された回転度数に関して、ユーザ定義された回転度数の範囲は、−90°から90°(すなわち0°〜180°)のみである。ゆえに、8ビットで、第3の回転軸(例えば、ピッチ軸又はy軸)のユーザ定義された回転度数を表すのに十分である。
第2のシンタックスシグナリング方法によれば、以下のシンタックステーブルが採用され得る。
Figure 2019530296
第2のシンタックスシグナリング方法が採用されるとき、コンテンツ方向づけ回転の回転情報は、ある期間(time-duration)のビデオフレームにおけるシーケンスレベルヘッダ内に示されてもよい。例えば、オーディオビデオ符号化標準(Audio Video coding Standard;AVS)は、ある期間のビデオフレームに対して1つのSPSを有する。同じ期間内のこれらビデオフレームは、同じシーケンスレベル符号化パラメータを有する。ゆえに、コンテンツ方向づけ回転の回転情報は、現在の期間のビデオフレームにおいて示されてもよく、次の期間のビデオフレームのために更新されてもよい。本発明のいくつかの実施例において、コンテンツ方向づけ回転の回転情報は、ある期間のビデオフレームにおけるSPS/PPS又は付加拡張情報(SEI)内に示されてもよい。別法として、第2のシンタックスシグナリング方法が採用されるとき、コンテンツ方向づけ回転の回転情報は、ピクチャレベルヘッダ内に示されてもよい。ゆえに、コンテンツ方向づけ回転の回転情報は、各ビデオフレームについてシグナリングされる。
シンタックス要素prev_orientationは、現在の入力フレームに適用されたコンテンツ方向づけ回転が少なくとも1つの前の入力フレームに適用されたコンテンツ方向づけ回転と同じであるか否かを示すように設定する。例えば、コンテンツ方向づけ回転の回転情報が、ある期間のビデオフレームにおけるシーケンスレベルヘッダ内に示される場合に関して、現在の入力フレームは、現在の期間のビデオフレームにおける第1のビデオフレームでもよく、少なくとも1つの前の入力フレームの各々は、現在の期間のビデオフレームが直ぐに続く前の期間のビデオフレームにおける1つのビデオフレームでもよい。別の例として、コンテンツ方向づけ回転の回転情報が、各ビデオフレームについてピクチャレベルヘッダ内に示される場合に関して、少なくとも1つの前の入力フレームと現在の入力フレームとは、2つの連続的なビデオフレームである。ゆえに、現在の期間のビデオフレームのコンテンツ方向づけ回転が前の期間のビデオフレームのものと同じであるとき、1ビットのシンタックス要素prev_orientationがシグナリングされて、回転角度情報を表すシンタックスビットを節約することができる。
現在の入力フレームに適用されたコンテンツ方向づけ回転が、少なくとも1つの前の入力フレームに適用されたコンテンツ方向づけ回転と異なるとき(すなわち、!prev_orientation == True)、シンタックス要素zero_yaw_orientationが、ヨー軸(例えば、z軸)に沿った回転があるか否かを示すように設定され、シンタックス要素zero_roll_orientationが、ロール軸(例えば、x軸)に沿った回転があるか否かを示すように設定され、シンタックス要素zero_pitch_orientationが、ピッチ軸(例えば、y軸)に沿った回転があるか否かを示すように設定される。
ヨー軸に沿った回転があるとき(すなわち、!zero_yaw_orientation == True)、シンタックス要素yaw_orientation_diffが、現在の入力フレームに適用されたコンテンツ方向づけ回転と少なくとも1つの前の入力フレームに適用されたコンテンツ方向づけ回転との間のヨー軸の回転度数差を示すように設定される。1つのビデオフレームをデコードするとき、ビデオデコーダ122は、シンタックス要素yaw_orientation_diffによりシグナリングされた回転度数差を累算することにより、ヨー軸の回転度数を決定することができる。
ロール軸に沿った回転があるとき(すなわち、!zero_roll_orientation == True)、シンタックス要素roll_orientation_diffが、現在の入力フレームに適用されたコンテンツ方向づけ回転と少なくとも1つの前の入力フレームに適用されたコンテンツ方向づけ回転との間のロール軸の回転度数差を示すように設定される。1つのビデオフレームをデコードするとき、ビデオデコーダ122は、シンタックス要素roll_orientation_diffによりシグナリングされた回転度数差を累算することにより、ロール軸の回転度数を決定することができる。
ピッチ軸に沿った回転があるとき(すなわち、!zero_pitch_orientation == True)、シンタックス要素pitch_orientation_diffが、現在の入力フレームに適用されたコンテンツ方向づけ回転と少なくとも1つの前の入力フレームに適用されたコンテンツ方向づけ回転との間のピッチ軸の回転度数差を示すように設定される。1つのビデオフレームをデコードするとき、ビデオデコーダ122は、シンタックス要素pitch_orientation_diffによりシグナリングされた回転度数差を累算することにより、ピッチ軸の回転度数を決定することができる。
前述の第1のシンタックスシグナリング方法及び第2のシンタックスシグナリング方法の各々は、採用される360VR投影フォーマットに関らず、回転情報の統一されたシンタックスシグナリングを実行する。別法として、第1のシンタックスシグナリング方法及び第2のシンタックスシグナリング方法は、投影フォーマットベースのシンタックスシグナリング方法であるように変更されてもよい。すなわち、回転情報のシンタックスシグナリングは、採用された360VR投影フォーマットに依存することができる。
第3のシンタックスシグナリング方法によれば、以下のシンタックステーブルが採用され得る。
Figure 2019530296
Figure 2019530296
第4のシンタックスシグナリング方法によれば、以下のシンタックステーブルが採用され得る。
Figure 2019530296
Figure 2019530296
異なる360VR投影フォーマットは、異なる適切な回転次元を有し得る。例えば、ヨー回転だけで、キューブマップ投影フォーマットに対して十分であり得る。別の例として、ロール回転だけで、正距円筒的投影フォーマットに対して十分であり得る。ゆえに、360VR投影フォーマットがキューブマップ投影フォーマットであるとき、シンタックス要素vr_content_formatは‘1’で設定され、360VR投影フォーマットが正距円筒的投影フォーマットであるとき、シンタックス要素vr_content_formatは「3」で設定される。この例において、vr_content_format=1/3は、シンタックスシグナリングについて1次元の回転を有し、vr_content_format=2は、シンタックスシグナリングについて2次元の回転を有する。簡単に言うと、第3のシンタックスシグナル方法及び第4のシンタックスシグナリング方法の各々に関して、コンテンツ方向づけ回転の回転軸選択は、採用された360VR投影フォーマットに基づき設定されるシンタックス要素vr_content_formatに依存して変わる。当業者は、第1のシンタックスシグナル方法及び第2のシンタックスシグナリング方法に向けられた上記段落を読んだ後に第3のシンタックスシグナル方法及び第4のシンタックスシグナリング方法の詳細を容易に理解できるため、簡潔さのためにここでさらなる説明は省略される。
第5のシンタックスシグナリング方法によれば、以下のシンタックステーブルが採用され得る。
Figure 2019530296
1ビットのオン/オフフラグ(disable_content_orientation)が、現在の入力フレーム内の360度イメージ/ビデオコンテンツのコンテンツ方向づけ回転が有効にされているか否かを示すために使用される。現在の入力フレーム内の360度イメージ/ビデオコンテンツのコンテンツ方向づけ回転が有効にされているとき、シンタックス要素disable_content_orientationは‘0’で設定される。現在の入力フレーム内の360度イメージ/ビデオコンテンツのコンテンツ方向づけ回転が無効にされているとき、シンタックス要素disable_content_orientationは‘1’で設定される。現在の入力フレーム内の360度イメージ/ビデオコンテンツのコンテンツ方向づけ回転が有効にされている場合において(すなわち、!disable_content_orientation == True)、シンタックス要素roll_orientation_degreeは、ロール軸(例えば、x軸)の回転度数を示すように設定され、シンタックス要素yaw_orientation_degreeは、ヨー軸(例えば、z軸)の回転度数を示すように設定され、シンタックス要素pitch_orientation_degreeは、ピッチ軸(例えば、y軸)の回転度数を示すように設定される。
第5のシンタックスシグナリング方法が採用されるとき、コンテンツ方向づけ回転の回転情報は、シーケンスレベルヘッダ内に示されてもよい。例えば、コンテンツ方向づけ回転の回転情報は、各回転軸の回転度数をシグナリングすることにより、SPS/PPS又は付加拡張情報(SEI)内に示されてもよい。別法として、第5のシンタックスシグナリング方法が採用されるとき、コンテンツ方向づけ回転の回転情報は、各ビデオフレームについてピクチャレベルヘッダ内に示されてもよい。
当業者は、本発明の教示を保有する間、装置及び方法についての多数の修正及び変更がなされ得ることを容易に観察するであろう。したがって、上記開示は、別記の請求項の範囲及び境界によってのみ限定されるとみなされるべきである。

Claims (26)

  1. ビデオ処理方法であって、
    360度バーチャルリアリティ(360VR)投影フォーマットで表された360度イメージ/ビデオコンテンツを有する現在の入力フレームを受信するステップと、
    前記現在の入力フレーム内の前記360度イメージ/ビデオコンテンツにコンテンツ方向づけ回転を適用して、前記360VR投影フォーマットで表された回転された360度イメージ/ビデオコンテンツを有するコンテンツ回転フレームを生成するステップと、
    前記コンテンツ回転フレームをエンコードしてビットストリームを生成するステップと、
    前記ビットストリームを介して少なくとも1つのシンタックス要素をシグナリングするステップであり、前記少なくとも1つのシンタックス要素は、前記コンテンツ方向づけ回転の回転情報を示すように設定される、ステップと、
    を含むビデオ処理方法。
  2. 前記回転情報は、前記少なくとも1つのシンタックス要素により示される少なくとも1つの回転度数を含む、請求項1に記載のビデオ処理方法。
  3. 前記少なくとも1つのシンタックス要素は、
    第1のシンタックス要素を含み、前記第1のシンタックス要素は、特定の回転軸に沿った回転があるか否かを示すように設定される、請求項1に記載のビデオ処理方法。
  4. 前記少なくとも1つのシンタックス要素は、
    第2のシンタックス要素をさらに含み、前記特定の回転軸に沿った回転があるとき、前記第2のシンタックス要素は、複数の事前定義されたインデックス値から選択されたインデックス値により設定され、前記事前定義されたインデックス値は、それぞれ、異なる事前定義された回転度数及びユーザ定義された回転度数にマッピングされる、請求項1に記載のビデオ処理方法。
  5. 前記少なくとも1つのシンタックス要素は、
    第3のシンタックス要素をさらに含み、前記インデックス値が前記ユーザ定義された回転度数にマッピングされた事前定義されたインデックス値であるとき、前記第3のシンタックス要素は、前記ユーザ定義された回転度数を示すように設定される、請求項4に記載のビデオ処理方法。
  6. 前記少なくとも1つのシンタックス要素は、
    第2のシンタックス要素をさらに含み、前記第2のシンタックス要素は、前記360VR投影フォーマットが第1の投影フォーマットであるとき第1の値により設定され、前記360VR投影フォーマットが前記第1の投影フォーマットと異なる第2の投影フォーマットであるとき第2の値により設定され、前記特定の回転軸は前記第2のシンタックス要素に依存して変わる、請求項3に記載のビデオ処理方法。
  7. 前記少なくとも1つのシンタックス要素は、
    第1のシンタックス要素を含み、前記第1のシンタックス要素は、前記現在の入力フレームに適用された前記コンテンツ方向づけ回転が少なくとも1つの前の入力フレームに適用されたコンテンツ方向づけ回転と同じであるか否かを示すように設定される、請求項1に記載のビデオ処理方法。
  8. 前記少なくとも1つのシンタックス要素は、
    第2のシンタックス要素をさらに含み、前記現在の入力フレームに適用された前記コンテンツ方向づけ回転が前記少なくとも1つの前の入力フレームに適用された前記コンテンツ方向づけ回転と異なるとき、前記第2のシンタックス要素は、特定の回転軸に沿った回転があるか否かを示すように設定される、請求項7に記載のビデオ処理方法。
  9. 前記少なくとも1つのシンタックス要素は、
    第3のシンタックス要素をさらに含み、前記特定の回転軸に沿った回転があるとき、前記第3のシンタックス要素は、前記現在の入力フレームの前記コンテンツ方向づけ回転における前記特定の回転軸に沿った回転度数と、前記少なくとも1つの前の入力フレームの前記コンテンツ方向づけ回転における前記特定の回転軸に沿った回転度数との間の差を示すように設定される、請求項8に記載のビデオ処理方法。
  10. 前記少なくとも1つのシンタックス要素は、
    第3のシンタックス要素をさらに含み、前記第3のシンタックス要素は、前記360VR投影フォーマットが第1の投影フォーマットであるときに第1の値により設定され、前記360VR投影フォーマットが前記第1の投影フォーマットと異なる第2の投影フォーマットであるとき第2の値により設定され、前記特定の回転軸は前記第3のシンタックス要素に依存して変わる、請求項8に記載のビデオ処理方法。
  11. 前記少なくとも1つのシンタックス要素は、
    第1のシンタックス要素を含み、前記第1のシンタックス要素は、前記現在の入力フレーム内の前記360度イメージ/ビデオコンテンツの前記コンテンツ方向づけ回転が有効にされているか否かを示すように設定される、請求項1に記載のビデオ処理方法。
  12. 前記少なくとも1つのシンタックス要素は、
    第2のシンタックス要素をさらに含み、前記現在の入力フレーム内の前記360度イメージ/ビデオコンテンツの前記コンテンツ方向づけ回転が有効にされているとき、前記第2のシンタックス要素は、特定の回転軸に沿った回転度数を示すように設定される、請求項1に記載のビデオ処理方法。
  13. ビデオ処理方法であって、
    ビットストリームを受信するステップと、
    前記ビットストリームを処理して前記ビットストリームから少なくとも1つのシンタックス要素を取得するステップと、
    前記ビットストリームをデコードして、360度バーチャルリアリティ(360VR)投影フォーマットで表された回転された360度イメージ/ビデオコンテンツを有する現在のデコードされたフレームを生成するステップと、
    前記現在のデコードされたフレームと、前記少なくとも1つのシンタックス要素により示されるコンテンツ方向づけ回転の回転情報とに従って、出力イメージデータをディスプレイ画面にレンダリングし、表示するステップであり、前記コンテンツ方向づけ回転は、前記回転された360度イメージ/ビデオコンテンツを生成することに関与する、ステップと、
    を含むビデオ処理方法。
  14. 前記回転情報は、前記少なくとも1つのシンタックス要素により示される少なくとも1つの回転度数を含む、請求項13に記載のビデオ処理方法。
  15. 前記少なくとも1つのシンタックス要素は、
    第1のシンタックス要素を含み、前記第1のシンタックス要素は、特定の回転軸に沿った回転があるか否かを示す、請求項13に記載のビデオ処理方法。
  16. 前記少なくとも1つのシンタックス要素は、
    第2のシンタックス要素をさらに含み、前記特定の回転軸に沿った回転があるとき、前記第2のシンタックス要素は、複数の事前定義されたインデックス値のうちの1つであるインデックス値を有し、前記事前定義されたインデックス値は、それぞれ、異なる事前定義された回転度数及びユーザ定義された回転度数にマッピングされる、請求項13に記載のビデオ処理方法。
  17. 前記少なくとも1つのシンタックス要素は、
    第3のシンタックス要素をさらに含み、前記インデックス値が前記ユーザ定義された回転度数にマッピングされた事前定義されたインデックス値であるとき、前記第3のシンタックス要素は、前記ユーザ定義された回転度数を示す、請求項16に記載のビデオ処理方法。
  18. 前記少なくとも1つのシンタックス要素は、
    第2のシンタックス要素をさらに含み、前記第2のシンタックス要素は、前記360VR投影フォーマットが第1の投影フォーマットであるとき第1の値を有し、前記360VR投影フォーマットが前記第1の投影フォーマットと異なる第2の投影フォーマットであるとき第2の値を有し、前記特定の回転軸は前記第2のシンタックス要素に依存して変わる、請求項15に記載のビデオ処理方法。
  19. 前記少なくとも1つのシンタックス要素は、
    第1のシンタックス要素を含み、前記第1のシンタックス要素は、前記現在のデコードされたフレーム内の前記回転された360度イメージ/ビデオコンテンツを生成することに関与した前記コンテンツ方向づけ回転が、少なくとも1つの前のデコードされたフレーム内の回転された360度イメージ/ビデオコンテンツを生成することに関与したコンテンツ方向づけ回転と同じであるか否かを示す、請求項13に記載のビデオ処理方法。
  20. 前記少なくとも1つのシンタックス要素は、
    第2のシンタックス要素をさらに含み、前記現在のデコードされたフレーム内の前記回転された360度イメージ/ビデオコンテンツを生成することに関与した前記コンテンツ方向づけ回転が、前記少なくとも1つの前のデコードされたフレーム内の前記回転された360度イメージ/ビデオコンテンツを生成することに関与した前記コンテンツ方向づけ回転と異なるとき、前記第2のシンタックス要素は、特定の回転軸に沿った回転があるか否かを示す、請求項19に記載のビデオ処理方法。
  21. 前記少なくとも1つのシンタックス要素は、
    第3のシンタックス要素をさらに含み、前記特定の回転軸に沿った回転があるとき、前記第3のシンタックス要素は、前記現在のデコードされたフレーム内の前記回転された360度イメージ/ビデオコンテンツを生成することに関与した前記コンテンツ方向づけ回転における前記特定の回転軸に沿った回転度数と、前記少なくとも1つの前のデコードされたフレーム内の前記回転された360度イメージ/ビデオコンテンツを生成することに関与した前記コンテンツ方向づけ回転における前記特定の回転軸に沿った回転度数との間の差を示す、請求項20に記載のビデオ処理方法。
  22. 前記少なくとも1つのシンタックス要素は、
    第3のシンタックス要素をさらに含み、前記第3のシンタックス要素は、前記360VR投影フォーマットが第1の投影フォーマットであるときに第1の値を有し、前記360VR投影フォーマットが前記第1の投影フォーマットと異なる第2の投影フォーマットであるとき第2の値を有し、前記特定の回転軸は前記第3のシンタックス要素に依存して変わる、請求項20に記載のビデオ処理方法。
  23. 前記少なくとも1つのシンタックス要素は、
    第1のシンタックス要素を含み、前記第1のシンタックス要素は、前記コンテンツ方向づけ回転が有効にされているか否かを示す、請求項13に記載のビデオ処理方法。
  24. 前記少なくとも1つのシンタックス要素は、
    第2のシンタックス要素をさらに含み、前記コンテンツ方向づけ回転が有効にされているとき、前記第2のシンタックス要素は、特定の回転軸に沿った回転度数を示す、請求項13に記載のビデオ処理方法。
  25. 360度バーチャルリアリティ(360VR)投影フォーマットで表された360度イメージ/ビデオコンテンツを有する現在の入力フレームを受信し、前記現在の入力フレーム内の前記360度イメージ/ビデオコンテンツにコンテンツ方向づけ回転を適用して前記360VR投影フォーマットで表された回転された360度イメージ/ビデオコンテンツを有するコンテンツ回転フレームを生成するように構成されたコンテンツ方向づけ回転回路と、
    前記コンテンツ回転フレームをエンコードしてビットストリームを生成し、前記ビットストリームを介して少なくとも1つのシンタックス要素をシグナリングするように構成されたビデオエンコーダであり、前記少なくとも1つのシンタックス要素は、前記コンテンツ方向づけ回転の回転情報を示すように設定される、ビデオエンコーダと、
    を含むビデオ処理装置。
  26. ビットストリームを受信し、前記ビットストリームを処理して前記ビットストリームから少なくとも1つのシンタックス要素を取得し、前記ビットストリームをデコードして360度バーチャルリアリティ(360VR)投影フォーマットで表された回転された360度イメージ/ビデオコンテンツを有する現在のデコードされたフレームを生成するように構成されたビデオデコーダと、
    前記現在のデコードされたフレームと、前記少なくとも1つのシンタックス要素により示されるコンテンツ方向づけ回転の回転情報とに従って、出力イメージデータをディスプレイ画面にレンダリングし、表示するように構成されたグラフィックレンダリング回路であり、前記コンテンツ方向づけ回転は、前記回転された360度イメージ/ビデオコンテンツを生成することに関与する、グラフィックレンダリング回路と、
    を含むビデオ処理装置。
JP2019508263A 2016-11-09 2017-11-08 回転情報のシンタックス要素シグナリングを備えたビデオエンコーディング機能を有する方法及び装置、並びに関連するビデオデコーディング機能を有する方法及び装置 Pending JP2019530296A (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201662419513P 2016-11-09 2016-11-09
US62/419,513 2016-11-09
US201662433272P 2016-12-13 2016-12-13
US62/433,272 2016-12-13
US201762469041P 2017-03-09 2017-03-09
US62/469,041 2017-03-09
US15/802,481 2017-11-03
US15/802,481 US10560678B2 (en) 2016-11-09 2017-11-03 Method and apparatus having video encoding function with syntax element signaling of rotation information of content-oriented rotation applied to 360-degree image content or 360-degree video content represented in projection format and associated method and apparatus having video decoding function
PCT/CN2017/109894 WO2018086524A1 (en) 2016-11-09 2017-11-08 Method and apparatus having video encoding function with syntax element signaling of rotation information and associated method and apparatus having video decoding function

Publications (1)

Publication Number Publication Date
JP2019530296A true JP2019530296A (ja) 2019-10-17

Family

ID=62064713

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019508263A Pending JP2019530296A (ja) 2016-11-09 2017-11-08 回転情報のシンタックス要素シグナリングを備えたビデオエンコーディング機能を有する方法及び装置、並びに関連するビデオデコーディング機能を有する方法及び装置

Country Status (6)

Country Link
US (2) US10560678B2 (ja)
EP (1) EP3476128A4 (ja)
JP (1) JP2019530296A (ja)
CN (2) CN109804634B (ja)
TW (1) TWI656787B (ja)
WO (1) WO2018086524A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200062365A (ko) 2016-10-04 2020-06-03 김기백 영상 데이터 부호화/복호화 방법 및 장치
US20190238888A1 (en) * 2017-07-17 2019-08-01 Ki Baek Kim Image data encoding/decoding method and apparatus
US10887572B2 (en) 2016-11-17 2021-01-05 Intel Corporation Suggested viewport indication for panoramic video
KR102371099B1 (ko) 2016-11-17 2022-03-04 인텔 코포레이션 광시야 비디오를 인코딩하기 위한 구면 회전 기법
US10726602B2 (en) * 2017-02-03 2020-07-28 Sony Corporation Apparatus and method to generate realistic three-dimensional (3D) model animation
CN109584376B (zh) * 2018-12-03 2023-04-07 广东工业大学 基于vr技术的构图教学方法、装置、设备以及存储介质
US10742882B1 (en) * 2019-05-17 2020-08-11 Gopro, Inc. Systems and methods for framing videos
US11190801B2 (en) * 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of mapping function employed by cube-based projection and associated video decoding method
US11190768B2 (en) 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of packing of projection faces derived from cube-based projection and associated video decoding method and apparatus
US11659206B2 (en) * 2019-07-02 2023-05-23 Mediatek Inc. Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus
CN112423108B (zh) * 2019-08-20 2023-06-30 中兴通讯股份有限公司 码流的处理方法、装置、第一终端、第二终端及存储介质
WO2021045536A1 (en) 2019-09-04 2021-03-11 Wilus Institute Of Standards And Technology Inc. Video encoding and decoding acceleration utilizing imu sensor data for cloud virtual reality
CN112102160B (zh) * 2020-11-16 2021-06-29 首望体验科技文化有限公司 适配于720胶囊型屏幕的视频处理方法、装置及相关产品
CN112235555B (zh) * 2020-12-10 2021-04-27 首望体验科技文化有限公司 720全景视频投影系统、视频处理方法、装置
CN112285993B (zh) * 2020-12-29 2021-05-11 首望体验科技文化有限公司 一种在720胶囊型屏幕上展示球幕视频的方法、装置及产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018045108A1 (en) * 2016-09-02 2018-03-08 Vid Scale, Inc. Method and system for signaling of 360-degree video information
JP2019534608A (ja) * 2016-09-30 2019-11-28 インターデジタル ヴイシー ホールディングス, インコーポレイテッド グローバルな回転における動き補償画像を符号化する方法、デバイス及びストリーム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2359260C (en) 2000-10-20 2004-07-20 Samsung Electronics Co., Ltd. Coding apparatus and method for orientation interpolator node
US7194112B2 (en) * 2001-03-12 2007-03-20 Eastman Kodak Company Three dimensional spatial panorama formation with a range imaging system
US6583808B2 (en) * 2001-10-04 2003-06-24 National Research Council Of Canada Method and system for stereo videoconferencing
US7308131B2 (en) * 2002-12-03 2007-12-11 Ntt Docomo, Inc. Representation and coding of panoramic and omnidirectional images
JP4958565B2 (ja) * 2006-01-06 2012-06-20 パナソニック株式会社 無線通信装置
US20100027615A1 (en) 2006-10-24 2010-02-04 Purvin Bibhas Pandit Picture identification for multi-view video coding
CN101231456B (zh) * 2008-01-31 2010-11-24 北京航空航天大学 利用角度传感器纠正全景视频抖动的方法
KR101490689B1 (ko) 2008-05-27 2015-02-06 삼성전자주식회사 카메라 파라미터를 이용한 스테레오스코픽 영상데이터스트림 생성 방법 및 그 장치와 스테레오스코픽 영상복원 방법 및 그 장치
KR101341998B1 (ko) * 2008-09-09 2013-12-16 에스케이텔레콤 주식회사 회전 움직임을 고려한 인터 예측 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
CN101540926B (zh) 2009-04-15 2010-10-27 南京大学 基于h.264的立体视频编解码方法
US8643701B2 (en) 2009-11-18 2014-02-04 University Of Illinois At Urbana-Champaign System for executing 3D propagation for depth image-based rendering
CN101729892B (zh) 2009-11-27 2011-07-27 宁波大学 一种非对称立体视频编码方法
US8687060B1 (en) * 2009-12-28 2014-04-01 Cognex Corporation System and method for providing distance-based pulses relative to motion of a surface scanned by a vision system
EP2408196B1 (en) 2010-07-14 2017-01-11 Alcatel Lucent A method, server and terminal for generating a composite view from multiple content items
CN102006480B (zh) 2010-11-29 2013-01-30 清华大学 基于视间预测的双目立体视频的编码及解码方法
WO2012121744A1 (en) * 2011-03-10 2012-09-13 Vidyo, Inc Adaptive picture rotation
US8872855B2 (en) 2011-07-21 2014-10-28 Flipboard, Inc. Adjusting orientation of content regions in a page layout
JP5307958B1 (ja) 2012-02-23 2013-10-02 株式会社スクウェア・エニックス・ホールディングス 動画配信サーバ、動画再生装置、制御方法、プログラム、及び記録媒体
US9571812B2 (en) * 2013-04-12 2017-02-14 Disney Enterprises, Inc. Signaling warp maps using a high efficiency video coding (HEVC) extension for 3D video coding
CN103402109B (zh) 2013-07-31 2015-07-08 上海交通大学 3d视频中左右视点间帧同步性的检测与保证方法
CN103646424B (zh) 2013-11-26 2016-05-04 北京空间机电研究所 一种空中无缝虚拟漫游系统构建方法
US9930315B2 (en) 2015-04-29 2018-03-27 Lucid VR, Inc. Stereoscopic 3D camera for virtual reality experience
KR101835434B1 (ko) * 2015-07-08 2018-03-09 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
US10645362B2 (en) * 2016-04-11 2020-05-05 Gopro, Inc. Systems, methods and apparatus for compressing video content
CN105872386A (zh) 2016-05-31 2016-08-17 深圳易贝创新科技有限公司 一种全景摄像装置以及全景图片生成方法
KR102371099B1 (ko) 2016-11-17 2022-03-04 인텔 코포레이션 광시야 비디오를 인코딩하기 위한 구면 회전 기법
US20180262774A1 (en) * 2017-03-09 2018-09-13 Mediatek Inc. Video processing apparatus using one or both of reference frame re-rotation and content-oriented rotation selection and associated video processing method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018045108A1 (en) * 2016-09-02 2018-03-08 Vid Scale, Inc. Method and system for signaling of 360-degree video information
JP2019530311A (ja) * 2016-09-02 2019-10-17 ヴィド スケール インコーポレイテッド 360度ビデオ情報をシグナリングするための方法およびシステム
JP2019534608A (ja) * 2016-09-30 2019-11-28 インターデジタル ヴイシー ホールディングス, インコーポレイテッド グローバルな回転における動き補償画像を符号化する方法、デバイス及びストリーム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PHILIPPE HANHART ET AL., "AHG8: HIGH LEVEL SYNTAX EXTENSIONS FOR SIGNALING OF 360-DEGREE VIDEO INFORMATION", JPN6020002635, ISSN: 0004202056 *

Also Published As

Publication number Publication date
US20190251660A1 (en) 2019-08-15
US10560678B2 (en) 2020-02-11
CN113573077A (zh) 2021-10-29
US10587857B2 (en) 2020-03-10
WO2018086524A1 (en) 2018-05-17
EP3476128A1 (en) 2019-05-01
EP3476128A4 (en) 2019-09-04
CN109804634A (zh) 2019-05-24
CN109804634B (zh) 2021-07-30
US20180130175A1 (en) 2018-05-10
TWI656787B (zh) 2019-04-11
TW201830971A (zh) 2018-08-16
CN113573077B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
US10587857B2 (en) Method and apparatus having video decoding function with syntax element parsing for obtaining rotation information of content-oriented rotation applied to 360-degree image content or 360-degree video content represented in projection format
US11792378B2 (en) Suggested viewport indication for panoramic video
US11308581B2 (en) Spherical rotation for encoding wide view video
JP2019534606A (ja) ライトフィールドデータを使用して場面を表す点群を再構築するための方法および装置
WO2021000907A1 (en) Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus
US11190768B2 (en) Video encoding method with syntax element signaling of packing of projection faces derived from cube-based projection and associated video decoding method and apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200204

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200915