JP2019537294A5 - - Google Patents

Description

［0136］ 結論として、前述の実施形態は、全方位ビデオの動きベクトル補償処理の改善から生じるコード効率の改善を示し、この処理は、マッピングｆを用いて、エンコードするフレームＦを、フレームのレンダリングに使用する表面Ｓにマッピングする。追加の実施形態は、前述の原理に基づいて容易に考え出すことができる。
なお、上述の実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限定されない。
（付記１）
動き補償を使って全方位ビデオ画像ブロックを予測することによりビデオ画像ブロックをデコードする方法であって、動き補償が、
ブロック中心点およびブロック高さと幅を使って、前記ビデオ画像ブロックのブロックコーナーを計算すること、
ブロックワーピング関数を用いて、前記ビデオ画像ブロックのコーナーと中心点の画像を前記計算されたブロックコーナー上のパラメトリック曲面上に取得すること、
前記パラメトリック曲面上のコーナーから３次元表面への変換により３次元コーナーを取得すること、
前記ブロックのそれぞれの３次元コーナーの前記３次元表面上のブロックの中心点に対する３次元オフセットを取得すること、
前記ブロックワーピング関数を用いることにより前記パラメトリック曲面上の、ならびに前記ビデオ画像ブロックに対する前記変換および動きベクトルを用いることにより３次元表面上の前記動き補償されたブロックの画像を計算すること、
前記３次元オフセットを用いて、前記ビデオ画像ブロックの動き補償コーナーの３次元座標を計算すること、および
逆ブロックワーピング関数および逆変換を用いて、基準フレームから前記動き補償コーナーの画像を計算すること、を含む、方法。
（付記２）
ビデオ画像ブロックをデコードするための装置であって、
記憶装置および
動き補償を用いて、全方位ビデオ画像ブロックを予測することにより前記ビデオ画像ブロックをデコードするように構成されたプロセッサーを含み、動き補償が、
ブロック中心点およびブロック高さと幅を使って、前記ビデオ画像ブロックのブロックコーナーを計算すること、
ブロックワーピング関数を用いて、前記ビデオ画像ブロックのコーナーと中心点の画像を前記計算されたブロックコーナー上のパラメトリック曲面上に取得すること、
前記パラメトリック曲面上のコーナーから３次元表面への変換により３次元コーナーを取得すること、
前記ブロックのそれぞれの３次元コーナーの前記３次元表面上のブロックの中心点に対する３次元オフセットを取得すること、
前記ブロックワーピング関数を用いることにより前記パラメトリック曲面上の、ならびにビデオ画像ブロックに対する前記変換および動きベクトルを用いることにより３次元表面上の前記動き補償されたブロックの画像を計算すること、
前記３次元オフセットを用いて、前記ビデオ画像ブロックの動き補償コーナーの３次元座標を計算すること、および
逆ブロックワーピング関数および逆変換を用いて、基準フレームから前記動き補償コーナーの画像を計算すること、を含む、装置。
（付記３）
ビデオ画像ブロックをデコードするための装置であって、
動き補償を用いて、全方位ビデオ画像ブロックを予測することにより前記ビデオ画像ブロックをデコードするための手段を含み、動き補償が、
ブロック中心点およびブロック高さと幅を使って、前記ビデオ画像ブロックのブロックコーナーを計算すること、
ブロックワーピング関数を用いて、前記ビデオ画像ブロックのコーナーと中心点の画像を前記計算されたブロックコーナー上のパラメトリック曲面上に取得すること、
前記パラメトリック曲面上のコーナーから３次元表面への変換により３次元コーナーを取得すること、
前記ブロックのそれぞれの３次元コーナーの前記３次元表面上のブロックの中心点に対する３次元オフセットを取得すること、
前記ブロックワーピング関数を用いることにより前記パラメトリック曲面上の、ならびにビデオ画像ブロックに対する前記変換および動きベクトルを用いることにより３次元表面上の前記動き補償されたブロックの画像を計算すること、
前記３次元オフセットを用いて、前記ビデオ画像ブロックの動き補償コーナーの３次元座標を計算すること、および
逆ブロックワーピング関数および逆変換を用いて、基準フレームから前記動き補償コーナーの画像を計算すること、を含む、装置。
（付記４）
動き補償を使って全方位ビデオ画像ブロックを予測することによりビデオ画像ブロックをエンコードする方法であって、動き補償が、
ブロック中心点およびブロック高さと幅を使って、前記ビデオ画像ブロックのブロックコーナーを計算すること、
ブロックワーピング関数を用いて、前記ビデオ画像ブロックのコーナーと中心点の画像を前記計算されたブロックコーナー上のパラメトリック曲面上に取得すること、
前記パラメトリック曲面上のコーナーから３次元表面への変換により３次元コーナーを取得すること、
前記ブロックのそれぞれの３次元コーナーの前記３次元表面上のブロックの中心点に対する３次元オフセットを取得すること、
前記ブロックワーピング関数を用いることにより前記パラメトリック曲面上の、ならびにビデオ画像ブロックに対する前記変換および動きベクトルを用いることにより３次元表面上の前記動き補償されたブロックの画像を計算すること、
前記３次元オフセットを用いて、前記ビデオ画像ブロックの動き補償コーナーの３次元座標を計算すること、および
逆ブロックワーピング関数および逆変換を用いて、基準フレームから前記動き補償コーナーの画像を計算すること、を含む、方法。
（付記５）
ビデオ画像ブロックをエンコードするための装置であって、
記憶装置および
動き補償を用いて、全方位ビデオ画像ブロックを予測することにより前記ビデオ画像ブロックをエンコードするように構成されたプロセッサーを含み、動き補償が、
ブロック中心点およびブロック高さと幅を使って、前記ビデオ画像ブロックのブロックコーナーを計算すること、
ブロックワーピング関数を用いて、前記ビデオ画像ブロックのコーナーと中心点の画像を前記計算されたブロックコーナー上のパラメトリック曲面上に取得すること、
前記パラメトリック曲面上のコーナーから３次元表面への変換により３次元コーナーを取得すること、
前記ブロックのそれぞれの３次元コーナーの前記３次元表面上のブロックの中心点に対する３次元オフセットを取得すること、
前記ブロックワーピング関数を用いることにより前記パラメトリック曲面上の、ならびにビデオ画像ブロックに対する前記変換および動きベクトルを用いることにより３次元表面上の前記動き補償されたブロックの画像を計算すること、
前記３次元オフセットを用いて、前記ビデオ画像ブロックの動き補償コーナーの３次元座標を計算すること、および
逆ブロックワーピング関数および逆変換を用いて、基準フレームから前記動き補償コーナーの画像を計算すること、を含む、装置。
（付記６）
ビデオ画像ブロックをエンコードするための装置であって、
動き補償を用いて、全方位ビデオ画像ブロックを予測することにより前記ビデオ画像ブロックをエンコードするための手段を含み、動き補償が、
ブロック中心点およびブロック高さと幅を使って、前記ビデオ画像ブロックのブロックコーナーを計算すること、
ブロックワーピング関数を用いて、前記ビデオ画像ブロックのコーナーと中心点の画像を前記計算されたブロックコーナー上のパラメトリック曲面上に取得すること、
前記パラメトリック曲面上のコーナーから３次元表面への変換により３次元コーナーを取得すること、
前記ブロックのそれぞれの３次元コーナーの前記３次元表面上のブロックの中心点に対する３次元オフセットを取得すること、
前記ブロックワーピング関数を用いることにより前記パラメトリック曲面上の、ならびにビデオ画像ブロックに対する前記変換および動きベクトルを用いることにより３次元表面上の前記動き補償されたブロックの画像を計算すること、
前記３次元オフセットを用いて、前記ビデオ画像ブロックの動き補償コーナーの３次元座標を計算すること、および
逆ブロックワーピング関数および逆変換を用いて、基準フレームから前記動き補償コーナーの画像を計算すること、を含む、装置。
（付記７）
ブロックコーナーに加えて、ピクセル群内の追加のピクセルに動き補償を実施することをさらに含む、付記１または付記４のいずれかに記載の方法。
（付記８）
ブロックコーナーに加えて、ピクセル群内の追加のピクセルに動き補償を同様に実施するように構成された前記プロセッサーをさらに含む、付記２または付記５のいずれかに記載の装置。
（付記９）
各群のピクセルが、それ自身の動きベクトルを有する、付記７に記載の方法または付記８に記載の装置。
（付記１０）
前記動きベクトルが、極座標で表される、付記９に記載の方法または付記９に記載の装置。
（付記１１）
前記動きベクトルが、擬似パラメーター表示で表される、付記９に記載の方法または付記９に記載の装置。
（付記１２）
ブロックコーナーに加えて、ピクセル群内の追加のピクセルに動き補償を実施することをさらに含む、付記３または付記６のいずれかに記載の装置。
（付記１３）
１つまたはいくつかのプロセッサーにより実行される場合、付記１、４、７、９、１１のいずれか１つに記載の方法を実施するためのソフトウェアコード命令を含む、コンピュータープログラム。
（付記１４）
付記２または３のいずれか１つに記載のビデオ特有のビットストリームをデコードするための装置を含む没入型レンダリング装置。
（付記１５）
ビットストリームにエンコードされた大きな視界のビデオの没入型レンダリングのためのシステムであって、少なくとも
データネットワークから前記ビットストリームを受信するためのネットワークインターフェース（６００）、
付記２または３に記載の前記ビットストリームをデコードするための装置（７００）、
没入型レンダリング装置（９００）を含む、システム。

Claims (15)

1. 動き補償を使って全方位ビデオ画像ブロックを予測することによりビデオ画像ブロックをデコードする方法であって、動き補償が、
   ブロック中心点およびブロック高さと幅を使って、前記ビデオ画像ブロックのブロックコーナーを計算すること、
   ブロックワーピング関数を用いて、前記ビデオ画像ブロックのコーナーと中心点の画像を前記計算されたブロックコーナー上のパラメトリック曲面上に取得すること、
   前記パラメトリック曲面上のコーナーから３次元表面への変換により３次元コーナーを取得すること、
   前記ブロックのそれぞれの３次元コーナーの前記３次元表面上のブロックの中心点に対する３次元オフセットを取得すること、
   前記ブロックワーピング関数を用いることにより前記パラメトリック曲面上の、ならびに前記ビデオ画像ブロックに対する前記変換および動きベクトルを用いることにより３次元表面上の前記動き補償されたブロックの画像を計算すること、
   前記３次元オフセットを用いて、前記ビデオ画像ブロックの動き補償コーナーの３次元座標を計算すること、および
   逆ブロックワーピング関数および逆変換を用いて、基準フレームから前記動き補償コーナーの画像を計算すること、を含む、方法。
2. ビデオ画像ブロックをデコードするための装置であって、
   記憶装置および
   動き補償を用いて、全方位ビデオ画像ブロックを予測することにより前記ビデオ画像ブロックをデコードするように構成されたプロセッサーを含み、動き補償が、
   ブロック中心点およびブロック高さと幅を使って、前記ビデオ画像ブロックのブロックコーナーを計算すること、
   ブロックワーピング関数を用いて、前記ビデオ画像ブロックのコーナーと中心点の画像を前記計算されたブロックコーナー上のパラメトリック曲面上に取得すること、
   前記パラメトリック曲面上のコーナーから３次元表面への変換により３次元コーナーを取得すること、
   前記ブロックのそれぞれの３次元コーナーの前記３次元表面上のブロックの中心点に対する３次元オフセットを取得すること、
   前記ブロックワーピング関数を用いることにより前記パラメトリック曲面上の、ならびにビデオ画像ブロックに対する前記変換および動きベクトルを用いることにより３次元表面上の前記動き補償されたブロックの画像を計算すること、
   前記３次元オフセットを用いて、前記ビデオ画像ブロックの動き補償コーナーの３次元座標を計算すること、および
   逆ブロックワーピング関数および逆変換を用いて、基準フレームから前記動き補償コーナーの画像を計算すること、を含む、装置。
3. ビデオ画像ブロックをデコードするための装置であって、
   動き補償を用いて、全方位ビデオ画像ブロックを予測することにより前記ビデオ画像ブロックをデコードするための手段を含み、動き補償が、
   ブロック中心点およびブロック高さと幅を使って、前記ビデオ画像ブロックのブロックコーナーを計算すること、
   ブロックワーピング関数を用いて、前記ビデオ画像ブロックのコーナーと中心点の画像を前記計算されたブロックコーナー上のパラメトリック曲面上に取得すること、
   前記パラメトリック曲面上のコーナーから３次元表面への変換により３次元コーナーを取得すること、
   前記ブロックのそれぞれの３次元コーナーの前記３次元表面上のブロックの中心点に対する３次元オフセットを取得すること、
   前記ブロックワーピング関数を用いることにより前記パラメトリック曲面上の、ならびにビデオ画像ブロックに対する前記変換および動きベクトルを用いることにより３次元表面上の前記動き補償されたブロックの画像を計算すること、
   前記３次元オフセットを用いて、前記ビデオ画像ブロックの動き補償コーナーの３次元座標を計算すること、および
   逆ブロックワーピング関数および逆変換を用いて、基準フレームから前記動き補償コーナーの画像を計算すること、を含む、装置。
4. 動き補償を使って全方位ビデオ画像ブロックを予測することによりビデオ画像ブロックをエンコードする方法であって、動き補償が、
   ブロック中心点およびブロック高さと幅を使って、前記ビデオ画像ブロックのブロックコーナーを計算すること、
   ブロックワーピング関数を用いて、前記ビデオ画像ブロックのコーナーと中心点の画像を前記計算されたブロックコーナー上のパラメトリック曲面上に取得すること、
   前記パラメトリック曲面上のコーナーから３次元表面への変換により３次元コーナーを取得すること、
   前記ブロックのそれぞれの３次元コーナーの前記３次元表面上のブロックの中心点に対する３次元オフセットを取得すること、
   前記ブロックワーピング関数を用いることにより前記パラメトリック曲面上の、ならびにビデオ画像ブロックに対する前記変換および動きベクトルを用いることにより３次元表面上の前記動き補償されたブロックの画像を計算すること、
   前記３次元オフセットを用いて、前記ビデオ画像ブロックの動き補償コーナーの３次元座標を計算すること、および
   逆ブロックワーピング関数および逆変換を用いて、基準フレームから前記動き補償コーナーの画像を計算すること、を含む、方法。
5. ビデオ画像ブロックをエンコードするための装置であって、
   記憶装置および
   動き補償を用いて、全方位ビデオ画像ブロックを予測することにより前記ビデオ画像ブロックをエンコードするように構成されたプロセッサーを含み、動き補償が、
   ブロック中心点およびブロック高さと幅を使って、前記ビデオ画像ブロックのブロックコーナーを計算すること、
   ブロックワーピング関数を用いて、前記ビデオ画像ブロックのコーナーと中心点の画像を前記計算されたブロックコーナー上のパラメトリック曲面上に取得すること、
   前記パラメトリック曲面上のコーナーから３次元表面への変換により３次元コーナーを取得すること、
   前記ブロックのそれぞれの３次元コーナーの前記３次元表面上のブロックの中心点に対する３次元オフセットを取得すること、
   前記ブロックワーピング関数を用いることにより前記パラメトリック曲面上の、ならびにビデオ画像ブロックに対する前記変換および動きベクトルを用いることにより３次元表面上の前記動き補償されたブロックの画像を計算すること、
   前記３次元オフセットを用いて、前記ビデオ画像ブロックの動き補償コーナーの３次元座標を計算すること、および
   逆ブロックワーピング関数および逆変換を用いて、基準フレームから前記動き補償コーナーの画像を計算すること、を含む、装置。
6. ビデオ画像ブロックをエンコードするための装置であって、
   動き補償を用いて、全方位ビデオ画像ブロックを予測することにより前記ビデオ画像ブロックをエンコードするための手段を含み、動き補償が、
   ブロック中心点およびブロック高さと幅を使って、前記ビデオ画像ブロックのブロックコーナーを計算すること、
   ブロックワーピング関数を用いて、前記ビデオ画像ブロックのコーナーと中心点の画像を前記計算されたブロックコーナー上のパラメトリック曲面上に取得すること、
   前記パラメトリック曲面上のコーナーから３次元表面への変換により３次元コーナーを取得すること、
   前記ブロックのそれぞれの３次元コーナーの前記３次元表面上のブロックの中心点に対する３次元オフセットを取得すること、
   前記ブロックワーピング関数を用いることにより前記パラメトリック曲面上の、ならびにビデオ画像ブロックに対する前記変換および動きベクトルを用いることにより３次元表面上の前記動き補償されたブロックの画像を計算すること、
   前記３次元オフセットを用いて、前記ビデオ画像ブロックの動き補償コーナーの３次元座標を計算すること、および
   逆ブロックワーピング関数および逆変換を用いて、基準フレームから前記動き補償コーナーの画像を計算すること、を含む、装置。
7. ブロックコーナーに加えて、ピクセル群内の追加のピクセルに動き補償を実施することをさらに含む、請求項１または請求項４のいずれかに記載の方法。
8. ブロックコーナーに加えて、ピクセル群内の追加のピクセルに動き補償を同様に実施するように構成された前記プロセッサーをさらに含む、請求項２または請求項５のいずれかに記載の装置。
9. 各群のピクセルが、それ自身の動きベクトルを有する、請求項７に記載の方法または請求項８に記載の装置。
10. 前記動きベクトルが、極座標で表される、請求項９に記載の方法または請求項９に記載の装置。
11. 前記動きベクトルが、擬似パラメーター表示で表される、請求項９に記載の方法または請求項９に記載の装置。
12. ブロックコーナーに加えて、ピクセル群内の追加のピクセルに動き補償を実施することをさらに含む、請求項３または請求項６のいずれかに記載の装置。
13. １つまたはいくつかのプロセッサーにより実行される場合、請求項１、４、７、９、１１のいずれか１項に記載の方法を実施するためのソフトウェアコード命令を含む、コンピュータープログラム。
14. 請求項２または３のいずれか１項に記載のビデオ特有のビットストリームをデコードするための装置を含む没入型レンダリング装置。
15. ビットストリームにエンコードされた大きな視界のビデオの没入型レンダリングのためのシステムであって、少なくとも
    データネットワークから前記ビットストリームを受信するためのネットワークインターフェース、
    請求項２または３に記載の前記ビットストリームをデコードするための装置、
    没入型レンダリング装置を含む、システム。