JP2017120980A - インター予測装置、インター予測方法、動画像符号化装置、動画像復号装置及びコンピュータ可読記録媒体 - Google Patents

Abstract

【課題】歪を含む映像の高能率な符号化方式または復号方式を実現する。【解決手段】インター予測装置は、画像の歪を補正するための補正情報を生成する補正情報生成部と、動画像の処理対象ブロックの周囲にある符号化済みブロックの動きベクトルと、補正情報生成部によって生成された補正情報と、から処理対象ブロックの動きベクトルを生成する動きベクトル生成部と、動きベクトル生成部によって生成された動きベクトルと、処理対象ブロックに対応する参照ピクチャと、から処理対象ブロックの動き補償画像を生成する動き補償画像生成部と、を備える。【選択図】図１

Description

本発明は、インター予測装置、インター予測方法、動画像符号化装置、動画像復号装置及びコンピュータ可読記録媒体に関する。

イントラ予測（フレーム内予測）またはインター予測（フレーム間予測）と、残差変換と、エントロピー符号化とを用いた動画像符号化方式が提案されている（例えば、非特許文献１参照）。

この動画像符号化方式において、インター予測は剛体の平行移動をモデルとしている。すなわち、異なるフレーム間において移動しているオブジェクトは形状が変わらず、かつ回転などもないことを前提としている。そのため、画面内で同一のオブジェクト領域は同じ動きベクトルとなることが期待され、その性質を利用した動きベクトル予測としてマージモードが規格化されている（例えば非特許文献１参照）。

上述の平行移動はレンズ歪がない、もしくは十分に無視できる場合を仮定している。近年、広角だが歪の大きなレンズを用いたアクションカメラ等による映像の流通が増大している。

ITU-T H.265 High Efficiency Video Coding. Y. Altunbasak, R.M. Mersereau, and A.J. Patti, A Fast Parametric Motion Estimation Algorithm With Illumination and Lens Distortion Correction, IEEE Trans. Image Processing, Vol. 12, No. 4, April 2003.

しかしながら、非特許文献１に記載の動画像符号化方式の剛体平行移動モデルでは、アクションカメラに代表される歪の大きな広角レンズを用いた撮像装置による映像における動き補償予測性能が低下する虞がある。

本発明はこうした課題に鑑みてなされたものであり、その目的は、歪を含む映像の高能率な符号化方式または復号方式を実現できる技術の提供にある。

本発明のある態様は、インター予測装置に関する。このインター予測装置は、画像の歪を補正するための補正情報を生成する補正情報生成部と、動画像の処理対象ブロックの周囲にある符号化済みブロックの動きベクトルと、補正情報生成部によって生成された補正情報と、から処理対象ブロックの動きベクトルを生成する動きベクトル生成部と、動きベクトル生成部によって生成された動きベクトルと、処理対象ブロックに対応する参照ピクチャと、から処理対象ブロックの動き補償画像を生成する動き補償画像生成部と、を備える。

なお、以上の構成要素の任意の組み合わせや、本発明の構成要素や表現を装置、方法、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体などの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、歪を含む映像の高能率な符号化方式または復号方式を実現できる。

実施の形態に係る配信システムの構成を示す模式図である。 図２（ａ）、（ｂ）は、画像の歪の一例を示す説明図である。 図３（ａ）〜（ｄ）は、レンズ歪空間における動きベクトルと無レンズ歪空間における動きベクトルとの関係の説明図である。 動きベクトルとレンズ歪補正ベクトルとの関係の説明図である。 図１の動画像符号化装置の機能および構成を示すブロック図である。 図５のインター予測部の機能および構成を示すブロック図である。 図７（ａ）〜（ｄ）は、マージモードにおける動きベクトルの生成の説明図である。 図１の動画像復号装置の機能および構成を示すブロック図である。 図６のインター予測部における一連の処理を示すフローチャートである。

以下、各図面に示される同一または同等の構成要素、部材、処理、信号には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない部材の一部は省略して表示する。

実施の形態では、レンズ歪補償画像生成を動き補償画像生成にマージする一方で、動き補償画像生成を動きベクトル生成とブロック単位の補間画像生成とに分離する。動きベクトルの生成時にレンズ歪の補正を行い、撮像面内における同一物体の位置の違いによる動きベクトルの変動を補正する。その結果、見た目上動き量が異なる領域について同じ動きベクトルを割り当てることができ、レンズ歪を補償した補間画像の生成が可能となる。補間画像生成は矩形のブロックごとに平行移動モデルを適用する。

ここで、レンズ歪補正ベクトルは画像の歪を補正するための補正情報であり、レンズ歪のモデル（非特許文献２の式２９）に基づいて導出される。具体的には、レンズ歪補正ベクトルは、「レンズ歪空間」（撮影された実際の画像）における画面内の画素位置と、「無レンズ歪空間」（歪の生じないレンズで撮影された仮想の画像）における画面内の画素位置と、の対応関係を表す。

図１は、実施の形態に係る配信システム１００の構成を示す模式図である。配信システム１００は、広角だが歪の大きなレンズを用いたアクションカメラによる映像などの歪のある映像を配信する映像配信サービスにおいて使用されるシステムである。映像配信サービスは例えばＶＯＤ（Ｖｉｄｅｏ Ｏｎ Ｄｅｍａｎｄ）であってもよい。配信システム１００はインターネットなどのネットワーク１０６を介して、ユーザサイトに設置されているセットトップボックスやパーソナルコンピュータなどの動画像復号装置１０２と接続される。動画像復号装置１０２は、テレビ受像機やモニタなどの表示装置１０４と接続される。

なお、映像配信サービスにおける配信システムは一例であり、動画像の符号化または復号を含む任意のシステムやサービスに、本実施の形態に係る技術的思想を適用できることは、本明細書に触れた当業者には明らかである。

配信システム１００は、ネットワーク１０６を介してユーザから観たい動画コンテンツの指定を受ける。配信システム１００は、指定された動画コンテンツのデータを符号化してビットストリームＢＳを生成する。配信システム１００は、生成されたビットストリームＢＳをネットワーク１０６を介して要求元のユーザの動画像復号装置１０２に送信する。動画像復号装置１０２は受信したビットストリームＢＳを復号して動画像データを生成し、表示装置１０４に送信する。表示装置１０４は、受信した動画像データを処理し、指定された動画コンテンツを出力する。

配信システム１００は、動画像ＤＢ（データベース）１０８と、動画像符号化装置１１０と、動画像蓄積サーバ１０１と、を備える。動画像ＤＢ１０８は、歪のある動画像のデータを保持する。動画像符号化装置１１０は、指定された動画コンテンツに対応する動画像データを動画像ＤＢ１０８から取得し、取得された動画像データを符号化し、ビットストリームＢＳを生成する。動画像蓄積サーバ１０１は、動画像符号化装置１１０によって生成されたビットストリームＢＳを蓄積する。

図２（ａ）、（ｂ）は、画像の歪の一例を示す説明図である。レンズを通じた撮像の結果得られる画像が有する歪には主に、歪曲収差（ｄｉｓｔｏｒｔｉｏｎ）と、ボリューム歪像と、がある。本実施の形態では例として歪曲収差を扱う。本明細書において「レンズ歪」は歪曲収差を指す。本明細書に触れた当業者には、本実施の形態で説明される構成の、歪曲収差以外の画像の歪を扱う場合への拡張ないし変更は自明である。

図２（ａ）は糸巻き型（ピンクッション）のレンズ歪を示す。レンズ歪のない画像２６０に対して、レンズ歪のある画像２６２は画像の中心から離れるほど歪量が大きくなっている。図２（ｂ）は樽型（バレル）のレンズ歪を示す。レンズ歪のない画像２６０に対して、レンズ歪のある画像２６４は画像の中心から離れるほど歪量が大きくなっている。

レンズ歪のない画像２６０は無レンズ歪空間に対応する。レンズ歪のある画像２６２、２６４はレンズ歪空間に対応する。図２（ａ）は例として２つのレンズ歪補正ベクトル２６６、２６８を示す。レンズ歪補正ベクトル２６６は右上の角の画素に対応する。レンズ歪補正ベクトル２６８は、画像を６×６＝３６等分したときの右上のブロック２７０の左下の角の画素に対応する。図２（ｂ）は例として２つのレンズ歪補正ベクトル２７２、２７４を示す。レンズ歪補正ベクトル２７２は右上の角の画素に対応する。レンズ歪補正ベクトル２７４は、画像を６×６＝３６等分したときの右上のブロック２７６の左下の角の画素に対応する。この例では、ある画素についてのレンズ歪補正ベクトルは、レンズ歪のある画像２６２、２６４におけるその画素の位置を始点とし、レンズ歪のない画像２６０におけるその画素の位置を終点とするベクトルとして定義される。

図３（ａ）〜（ｄ）は、レンズ歪空間における動きベクトルと無レンズ歪空間における動きベクトルとの関係の説明図である。同じ向きに同じ速さで動く２つの物体を撮像する場合が想定されている。図３（ａ）はレンズ歪空間における参照ピクチャ３１０を示す。参照ピクチャ３１０は第１物体像３１２と第２物体像３１４とを含む。図３（ｂ）は無レンズ歪空間における参照ピクチャ３１６を示す。図３（ｂ）の参照ピクチャ３１６は図３（ａ）の参照ピクチャ３１０に対応し、レンズ歪補正ベクトルにより相互に変換可能である。図３（ｃ）はレンズ歪空間における処理対象ピクチャ３１８を示す。図３（ｃ）において第１物体像３１２および第２物体像３１４の動きベクトルはそれぞれ第１動きベクトル３２０、第２動きベクトル３２２として示される。図３（ｄ）は無レンズ歪空間における処理対象ピクチャ３２４を示す。図３（ｄ）の処理対象ピクチャ３２４は図３（ｃ）の処理対象ピクチャ３１８に対応する。図３（ｄ）において第１物体像３１２および第２物体像３１４の動きベクトルはそれぞれ第３動きベクトル３２６、第４動きベクトル３２８として示される。

図３（ａ）、（ｃ）に示されるように、同じ向きに同じ速さで動く２つの物体を広角レンズで撮像した場合、レンズ歪に起因して、画像内の位置によって動きベクトルが異なる。例えば、図３（ｃ）において、２つの動きベクトル３２０、３２２は異なっている。図３（ｂ）、（ｄ）に示されるようなレンズ歪を補正した画像においては、２つの動きベクトル３２６、３２８は同じになる。本実施の形態では、見た目上動きベクトルが異なる場合（第１動きベクトル３２０と第２動きベクトル３２２とは異なる）でも、無レンズ歪空間における対応する動きベクトルが同じであれば（第３動きベクトル３２６と第４動きベクトル３２８とは同じ）、動きベクトルは同じであると表現する。一例では、第２動きベクトル３２２そのものではなく「第２動きベクトル３２２は第１動きベクトル３２０と同じ」という情報が符号化され、伝送される。

図４は、動きベクトルとレンズ歪補正ベクトルとの関係の説明図である。レンズ歪空間における第１動きベクトル３２０は、その終点４０６の位置（処理対象ブロックの位置）の第１レンズ歪補正ベクトル４０２と、その始点４０８の位置（参照ブロックの位置）の第２レンズ歪補正ベクトル４０４と、により無レンズ歪空間における第３動きベクトル３２６へと変換され、逆もしかりである。

以下、動きベクトルは実際の画像すなわち歪のある画像における動きベクトルを指す。これに対して仮想動きベクトルは歪の無い仮想の画像における動きベクトルを指す。

図５は、図１の動画像符号化装置１１０の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解される。動画像符号化装置１１０を実現するコンピュータプログラムは、コンピュータが読み取り可能な記録媒体に記憶されて、又は、ネットワーク経由で配布が可能なものであってもよい。

動画像符号化装置１１０は、フレームバッファ２０２と、インループフィルタ２０４と、インター予測部２０６と、イントラ予測部２０８と、変換・量子化部２１０と、エントロピー符号化部２１２と、逆量子化・逆変換部２１４と、減算部２１８と、加算部２２０と、ブロック分割部２２２と、を備える。

ブロック分割部２２２は、動画像ＤＢ１０８からの動画像データに含まれる符号化対象の歪のあるピクチャを複数のブロックに分割する。ブロックのサイズは様々であり、複数のブロックは四分木構造を有する。ブロック分割部２２２におけるピクチャのブロックへの分割はＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）におけるピクチャのブロックへの分割に準じる。すなわち、もっとも大きな処理サイズであるＣＴＵ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）のサイズは６４×６４であり、これを繰り返し四分割した３２×３２、１６×１６、８×８のサイズが存在している。ブロック分割部２２２は処理対象ブロックを減算部２１８とインター予測部２０６とイントラ予測部２０８とに出力する。

インター予測部２０６には、フレームバッファ２０２から処理対象ブロックに対応する参照ピクチャが入力される。インター予測部２０６は、ピクチャのレンズ歪の度合いを表すレンズ歪パラメータと参照ピクチャとに基づき、フレーム間予測により処理対象ブロックの動き補償画像を出力する。イントラ予測部２０８には、処理対象のフレームと同じフレームの既に処理したブロックの画像データが加算部２２０から入力される。イントラ予測部２０８は、処理対象ブロックと同じフレームの他のブロックに基づき、処理対象ブロックの予測ブロックを出力する。処理対象ブロックにフレーム間予測を適用するか、フレーム内予測を適用するかに応じて、インター予測部２０６の出力とイントラ予測部２０８の出力とのいずれかが減算部２１８に出力される。

減算部２１８は、ブロック単位で符号化対象の画像とイントラ予測画像または動き補償画像との誤差（残差）信号を生成する。減算部２１８は、処理対象ブロックと、インター予測部２０６が出力した動き補償画像またはイントラ予測部２０８が出力した予測ブロックとの誤差を示す誤差信号を出力する。変換・量子化部２１０は、ブロック単位で誤差信号を変換（例えば、直交変換）および量子化し、レベル値を生成する。変換・量子化部２１０は、生成されたレベル値をエントロピー符号化部２１２および逆量子化・逆変換部２１４に出力する。エントロピー符号化部２１２は、変換・量子化部２１０によって生成されたレベル値とサイド情報（不図示）とをエントロピー符号化して、ビットストリームＢＳを生成する。

なお、サイド情報は、復号装置において使用する画素値の再構成に必要な情報であり、イントラ予測またはインター予測の何れを使用したかを示す予測モード、動き情報、量子化パラメータ、ブロックサイズ等の関連情報を含む。動き情報は、インター予測部２０６で使用された動きベクトル、候補ベクトルのうち動きベクトルの予測に用いられた候補ベクトルの識別子と差分動きベクトルとの組、動きベクトル候補のうちマージ先として選択された動きベクトル候補の識別子、のうちの少なくともひとつを含む。

ビットストリームＢＳは、映像符号化レイヤ（ｖｉｄｅｏ ｃｏｄｉｎｇ ｌａｙｅｒ）以外の情報（例えば、ＶＵＩ（Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ）、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）などであり、高位文法と称される）と、スライスヘッダと、ＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）情報と、ＰＵ（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）情報と、ＴＵ（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）情報と、を含む。高位文法のＳＰＳには解像度が含まれる。レンズ歪パラメータはピクチャごとまたはシーケンスごとに指定される。ピクチャごとに指定される場合はＰＰＳにレンズ歪パラメータが含まれる。シーケンスごとに指定される場合はＳＰＳにレンズ歪パラメータが含まれる。高位文法はさらに、レンズ歪補正機能の有効（オン）／無効（オフ）を示すフラグを含む。該フラグはピクチャごとまたはシーケンスごとに指定される。ピクチャごとに指定される場合はＰＰＳにフラグが含まれる。シーケンスごとに指定される場合はＳＰＳにフラグが含まれる。フラグが無効を示す場合はレンズ歪パラメータは高位文法に含まれない、すなわちフラグが有効な場合にのみレンズ歪パラメータが高位文法に含まれてもよい。ＣＵ情報にはブロック分割およびイントラ予測モードに関する情報が格納されている。ＰＵ情報には動きベクトルに関する情報が格納されている。ＴＵ情報にはレベル値が格納されている。

逆量子化・逆変換部２１４は、変換・量子化部２１０における処理とは逆の処理を行って誤差信号を生成する。加算部２２０は、逆量子化・逆変換部２１４が出力する誤差信号と、インター予測部２０６が出力する動き補償画像またはイントラ予測部２０８が出力する予測ブロックと、を加算して処理対象ブロックを生成し、イントラ予測部２０８と、インループフィルタ２０４に出力する。インループフィルタ２０４は、当該フレームに対応する局所復号画像を生成してフレームバッファ２０２に出力する。この局所復号画像は、インター予測部２０６におけるフレーム間予測に使用される。

図６は、図５のインター予測部２０６の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解される。インター予測部２０６を実現するコンピュータプログラムは、コンピュータが読み取り可能な記録媒体に記憶されて、又は、ネットワーク経由で配布が可能なものであってもよい。

インター予測部２０６は、補間画像生成部６２０と、動きベクトル生成部６２２と、動きベクトルバッファ６２４と、レンズ歪補正ベクトル生成部６２６と、を含む。補間画像生成部６２０は、フレームバッファ２０２に保持される参照ピクチャのなかから処理対象ブロックに対応する参照ピクチャを取得する。補間画像生成部６２０は、取得した参照ピクチャと、動きベクトル生成部６２２によって生成された１／４画素精度の動きベクトルと、から処理対象ブロックの補間画像を生成し、動き補償画像として出力する。

動きベクトルバッファ６２４は、動きベクトル生成部６２２によって生成、出力された動きベクトルを取得し、保持する。動きベクトルバッファ６２４は、動きベクトル生成部６２２における動きベクトルの生成で必要となる符号化済みブロックの位置を動きベクトル生成部６２２から取得し、取得した位置の符号化済みブロックにおける動きベクトルを動きベクトル生成部６２２に出力する。

レンズ歪補正ベクトル生成部６２６は、レンズ歪補正機能のフラグが有効を示す場合は図２（ａ）、（ｂ）に例示されるレンズ歪補正ベクトルを生成し、無効を示す場合は非活性化される。例えば、レンズ歪補正ベクトル生成部６２６は、レンズ歪補正機能のフラグが無効を示す場合はレンズ歪補正ベクトルとしてゼロベクトルを生成する。無効の場合はレンズ歪を補正しないことを意味し、ゼロベクトルを加算する代わりに、レンズ歪補正ベクトル生成部６２６を利用しないこととしてもよい。

フラグが有効を示す場合、レンズ歪補正ベクトル生成部６２６は、ピクチャの解像度とピクチャごとに指定されるレンズ歪パラメータとを取得し、取得された解像度とレンズ歪パラメータとを用いて例えば１／４画素精度のレンズ歪補正ベクトルフィールドを生成する。例えば、無歪レンズにおける画素［ｘ、ｙ」は、レンズ歪により［ｘ_ｇ、ｙ_ｇ］に射影される。

ここでκはレンズ歪パラメータである。レンズ歪補正ベクトル生成部６２６は、動きベクトル生成部６２２から出力された座標を取得し、取得された座標に対応するレンズ歪補正ベクトルを動きベクトル生成部６２２に出力する。

動きベクトル生成部６２２は、処理対象ブロックの周囲にある符号化済みブロックの動きベクトルと、各ブロックの画面上の座標値に対応するレンズ歪補正ベクトルとを取得し、取得された情報から処理対象ブロックの動きベクトルを生成する。まず、動きベクトル生成部６２２は、処理対象ブロックの周囲の符号化済みブロックおよび動きベクトルバッファ６２４の動きベクトル（歪有り）と、動きベクトルが所属するブロックにおけるレンズ歪補正ベクトルとを用いて、レンズ歪が存在する見かけ上の動きベクトル（歪有り）から、レンズ歪を補正したレンズ歪のない無レンズ歪空間における仮想動きベクトル（歪なし）へ変換する（図４参照）。次に、動きベクトル生成部６２２は、仮想動きベクトル（歪なし）を用いて、処理対象ブロックにおける仮想動きベクトル（歪なし）を生成する。次に、動きベクトル生成部６２２は、仮想動きベクトル（歪なし）と処理対象ブロックにおけるレンズ歪補正ベクトルとを用いて、レンズ歪が存在する見かけ上の動きベクトル（歪有り）へ変換する（図４参照）。動きベクトル生成部６２２は、処理対象ブロックにおける見かけ上の動きベクトル（歪有り）を補間画像生成部６２０に出力すると共に、動きベクトルバッファ６２４に蓄積する。

動きベクトル生成部６２２における動きベクトルの生成には、マージモードと予測モードとの２つのモードがある。マージモードでは、動きベクトル生成部６２２は、処理対象ブロックの周囲にある符号化済みブロックの動きベクトルに該符号化済みブロックの位置に対応するレンズ歪補正ベクトルを適用することで仮想動きベクトルを生成する。動きベクトル生成部６２２は、生成された仮想動きベクトルから選択されたひとつの仮想動きベクトルから処理対象ブロックの動きベクトルを生成する。

図７（ａ）〜（ｄ）は、マージモードにおける動きベクトルの生成の説明図である。図７（ａ）は処理対象ブロック７０２とその周囲にある３つの符号化済みブロック７０４、７０６、７０８とを示す。動きベクトルバッファ６２４には、第１符号化済みブロック７０４の第１動きベクトル７１０と、第２符号化済みブロック７０６の第２動きベクトル７１２と、第３符号化済みブロック７０８の第３動きベクトル７１４と、が保持されている。

図７（ｂ）は、図７（ａ）に示される３つの動きベクトルに対して、レンズ歪補正ベクトル生成部６２６によって生成されたレンズ歪補正ベクトルによる補正を行った状態を示す。該補正の結果、第１符号化済みブロック７０４の第１動きベクトル７１０は第１仮想動きベクトル７１６に変換され、第２符号化済みブロック７０６の第２動きベクトル７１２は第２仮想動きベクトル７１８に変換され、第３符号化済みブロック７０８の第３動きベクトル７１４は第３仮想動きベクトル７２０に変換される。図７（ｂ）の状態で、いくつかの仮想動きベクトル候補が決定される。決定された仮想動きベクトル候補のなかから処理対象ブロック７０２の仮想動きベクトルのマージ先が選択される。選択された仮想動きベクトルは添字により表現される。

図７（ｃ）は、マージ先として第１符号化済みブロック７０４の第１仮想動きベクトル７１６が選択された場合を示す。処理対象ブロック７０２について、第１仮想動きベクトル７１６と同じベクトルである第４仮想動きベクトル７２２が生成される。図７（ｄ）は、図７（ｃ）に示される第４仮想動きベクトル７２２に対して、レンズ歪補正ベクトル生成部６２６によって生成されたレンズ歪補正ベクトルによる逆補正を行った状態を示す。第４仮想動きベクトル７２２に対して歪を導入するように補正した結果、処理対象ブロック７０２の第４動きベクトル７２４が生成される。第４動きベクトル７２４は補間画像生成部６２０に出力されると共に、処理対象ブロック７０２に対応付けて動きベクトルバッファ６２４に格納される。インター予測部２０６が符号化側に適用される場合には、選択された仮想動きベクトルを示す添字はサイド情報としてエントロピー符号化される。インター予測部２０６が復号側に適用される場合には、符号化側で符号化された添字が用いられる。

予測モードでは、動きベクトル生成部６２２は、処理対象ブロックの周囲にある符号化済みブロックの動きベクトルから予測される予測動きベクトルと、処理対象ブロックおよび符号化済みブロックの位置に対応するレンズ歪補正ベクトルと、処理対象ブロックの差分動きベクトルと、から処理対象ブロックの動きベクトルを生成する。例示的な処理としては、図７（ｂ）まではマージモードと同じである。図７（ｂ）の状態で、動きベクトル生成部６２２は第１仮想動きベクトル７１６、第２仮想動きベクトル７１８、第３仮想動きベクトル７２０のなかから候補ベクトルを２つ決定し、決定された２つの候補ベクトルのうちの一方を処理対象ブロック７０２の予測動きベクトルとして選択する。動きベクトル生成部６２２は、このようにして生成された予測動きベクトルに差分動きベクトルを加算することにより、処理対象ブロックにおける仮想動きベクトルを生成する。該仮想動きベクトルは逆補正により動きベクトルに変換される。インター予測部２０６が符号化側に適用される場合には、選択された候補ベクトルの識別子および差分動きベクトルはサイド情報としてエントロピー符号化される。インター予測部２０６が復号側に適用される場合には、符号化側で符号化された差分動きベクトルが用いられる。

図８は、図１の動画像復号装置１０２の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解される。動画像復号装置１０２を実現するコンピュータプログラムは、コンピュータが読み取り可能な記録媒体に記憶されて、又は、ネットワーク経由で配布が可能なものであってもよい。

動画像復号装置１０２は、エントロピー復号部６０２と、逆量子化・逆変換部６０４と、加算部６０６と、インター予測部６０８と、イントラ予測部６１０と、フレームバッファ６１２と、インループフィルタ６１４と、を備える。動画像復号装置１０２は、動画像符号化装置１１０で行われる手順と逆の手順により、ビットストリームＢＳから出力動画像データを得る。

エントロピー復号部６０２は、ネットワーク１０６を介して配信システム１００からビットストリームＢＳを受信する。エントロピー復号部６０２は、受信したビットストリームをエントロピー復号し、レベル値とサイド情報とを取り出す。なお、ビットストリームからサイド情報およびレベル値を得る処理はパース（ｐａｒｓｅ）処理と称される。このようにして得られたサイド情報およびレベル値を用いて画素値を再構成することは、復号処理と称される。

逆量子化・逆変換部６０４は、ブロック単位でレベル値を逆量子化および逆変換して誤差信号を生成する。加算部６０６は、逆量子化・逆変換部６０４によって生成された誤差信号に対応するブロックがイントラ予測されたものであるかインター予測されたものであるかに応じて、インター予測部６０８またはイントラ予測部６１０のいずれか一方が出力する当該ブロックの予測画像と当該ブロックの誤差信号とを加算し、当該ブロックを再生する。加算部６０６は、再生されたブロックをイントラ予測部６１０とインループフィルタ６１４とに出力する。インター予測部６０８は図６のインター予測部２０６と同様の構成を有する。イントラ予測部６１０は再生されたブロックを使用してフレーム内予測を行いイントラ予測画像を生成する。インループフィルタ６１４は例えばデブロックフィルタである。インループフィルタ６１４は、当該フレームに対応する局所復号画像を生成してフレームバッファ６１２に出力する。この局所復号画像は、インター予測部６０８におけるフレーム間予測に使用されると同時に、出力動画像データとして表示装置１０４に出力される。

以上の構成によるインター予測部２０６の動作を説明する。
図９は、図６のインター予測部２０６における一連の処理を示すフローチャートである。インター予測部２０６は、レンズ歪パラメータを取得する（Ｓ９０２）。インター予測部２０６は、取得されたレンズ歪パラメータに基づいてレンズ歪補正ベクトルを生成する（Ｓ９０４）。インター予測部２０６は、処理対象ブロックの周囲にある符号化済みブロックの動きベクトルを取得する（Ｓ９０６）。インター予測部２０６は、取得された符号化済みブロックの動きベクトルを、符号化済みブロックの位置に対応するレンズ歪補正ベクトルに基づいて仮想動きベクトルに変換する（Ｓ９０８）。インター予測部２０６は、符号化済みブロックの仮想動きベクトルから、予測またはマージにより処理対象ブロックの仮想動きベクトルを生成する（Ｓ９１０）。インター予測部２０６は、生成された処理対象ブロックの仮想動きベクトルを、処理対象ブロックの位置に対応するレンズ歪補正ベクトルに基づいて動きベクトルに変換する（Ｓ９１２）。インター予測部２０６は、処理対象ブロックの動きベクトルと処理対象ブロックに対応する参照ピクチャとから、処理対象ブロックの動き補償画像を生成する（Ｓ９１４）。

本実施の形態に係る配信システム１００によると、符号化側、復号側のそれぞれにおいて動きベクトルの生成の過程でレンズ歪の影響を加味することで、動きベクトルの見かけ上のばらつきによる動きベクトル関連の符号量の増大を抑制または除去することができる。すなわち、動きベクトルのばらつきがレンズ歪に起因するのであれば、レンズ歪を取り除けばそれらのベクトルは揃う。したがって、本実施の形態では処理対象ブロックの周囲にあるブロックについてレンズ歪のない状態の（仮想）動きベクトルを生成し、生成された（仮想）動きベクトルを使用して処理対象ブロックの（仮想）動きベクトルを予測し、予測により得られた（仮想）動きベクトルをレンズ歪のある動きベクトルに変換する。その結果、動きベクトルが見かけ上ばらついていても、そのばらつきがレンズ歪に起因するものであれば、それらの動きベクトルは「同じ」であるという情報（とレンズ歪パラメータ）が動きベクトルそのものの代わりに伝送される。

また、レンズ歪を考慮した動き補償方式として、非特許文献２では、レンズ歪をモデル化し（非特許文献２の式２９）、三角形パッチを基本とする手法が提案されている。しかしながら、このような画素単位でのレンズ歪補償や動き補償による予測画像生成は演算複雑度が高く、必要メモリ帯域も広大になり、実現が困難である。これに対し、本実施の形態ではブロック単位での演算となるので演算複雑度はより低く、必要メモリ帯域もより小さい。

また、レンズ歪をコーデックのプレ処理で補正する方法も考えられる。しかしながら、符号化する前にレンズ歪を補正し画面に合うようにクロップすると、センサの無駄になる領域が増加する。レンズ歪を補正してからクロップしないと、映像のない領域も符号化することになり符号化処理量が増え、また補正そのものによる劣化も増加する。これに対して本実施の形態では、レンズ歪を有したままの映像が符号化され、復号されるので上記のような課題は発生しない。

上述の実施の形態において、データベースの例は、ハードディスクや半導体メモリである。また、本明細書の記載に基づき、各部を、図示しないＣＰＵや、インストールされたアプリケーションプログラムのモジュールや、システムプログラムのモジュールや、ハードディスクから読み出したデータの内容を一時的に記憶する半導体メモリなどにより実現できることは本明細書に触れた当業者には理解される。

以上、実施の形態に係る配信システム１００の構成と動作について説明した。この実施の形態は例示であり、各構成要素や各処理の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解される。

実施の形態では、インター予測部２０６はブロック単位で処理を行う場合について説明したが、これに限られない。例えば、動きベクトル生成部は処理対象ブロックを処理対象ブロックより小さいサブブロックに分割し、サブブロックごとに動きベクトルを生成してもよい。この場合、実施の形態の動きベクトル生成部の説明におけるブロックをサブブロックに読み替える。補間画像生成部は、サブブロックごとに該サブブロックについて生成された動きベクトルに基づき補間画像を生成してもよい。補間画像生成部は、処理対象ブロックの全てのサブブロックの補間画像を合わせて処理対象ブロックの動き補償画像を生成してもよい。

実施の形態では、ビットストリームＢＳの高位文法がレンズ歪パラメータとフラグとをそれぞれ別体として含む場合について説明したが、これに限られず、それらは一体の情報として高位文法に含まれてもよい。例えば、レンズ歪パラメータのみが高位文法に含まれ、それが０であればレンズ歪補正機能が無効と解釈されるか実質的に無効となるよう、符号化側および復号側が構成されてもよい。

１００ 配信システム、 １０２ 動画像復号装置、 １０４ 表示装置、 １０６ ネットワーク、 １１０ 動画像符号化装置。

Claims (12)

1. 画像の歪を補正するための補正情報を生成する補正情報生成部と、
   動画像の処理対象ブロックの周囲にある符号化済みブロックの動きベクトルと、前記補正情報生成部によって生成された補正情報と、から処理対象ブロックの動きベクトルを生成する動きベクトル生成部と、
   前記動きベクトル生成部によって生成された動きベクトルと、処理対象ブロックに対応する参照ピクチャと、から処理対象ブロックの動き補償画像を生成する動き補償画像生成部と、を備えることを特徴とするインター予測装置。
2. 前記補正情報生成部は、画像のレンズ歪の度合いを表すパラメータを用いて該レンズ歪を補正するための補正ベクトルを補正情報として生成し、
   前記動きベクトル生成部は、処理対象ブロックの周囲にある符号化済みブロックの動きベクトルと、処理対象ブロックの位置に対応する補正ベクトルと、から処理対象ブロックの動きベクトルを生成することを特徴とする請求項１に記載のインター予測装置。
3. 前記動きベクトル生成部によって生成された動きベクトルを保持する動きベクトルバッファをさらに備えることを特徴とする請求項１または２に記載のインター予測装置。
4. 前記補正情報生成部は、ピクチャまたはシーケンスごとに指定されるフラグが有効を示す場合は補正情報を生成し、無効を示す場合は非活性化されることを特徴とする請求項１から３のいずれか１項に記載のインター予測装置。
5. 画像のレンズ歪の度合いを表すパラメータはピクチャごとまたはシーケンスごとに指定されることを特徴とする請求項４に記載のインター予測装置。
6. 前記動きベクトル生成部は、処理対象ブロックの周囲にある符号化済みブロックの動きベクトルから予測される予測動きベクトルと、前記補正情報生成部によって生成された補正情報と、処理対象ブロックの差分動きベクトルと、から処理対象ブロックの動きベクトルを生成することを特徴とする請求項１から５のいずれか１項に記載のインター予測装置。
7. 前記動きベクトル生成部は、処理対象ブロックの周囲にある符号化済みブロックの動きベクトルに該符号化済みブロックの位置に対応する補正情報を適用することで補正後動きベクトルを生成し、生成された補正後動きベクトルから選択されたひとつの補正後動きベクトルから処理対象ブロックの動きベクトルを生成することを特徴とする請求項１から５のいずれか１項に記載のインター予測装置。
8. 前記動きベクトル生成部は、処理対象ブロックを処理対象ブロックより小さいサブブロックに分割し、サブブロックごとに動きベクトルを生成し、
   前記動き補償画像生成部は、サブブロックごとに該サブブロックについて生成された動きベクトルに基づき補間画像を生成することを特徴とする請求項１から７のいずれか１項に記載のインター予測装置。
9. 画像の歪を補正するための補正情報を生成することと、
   動画像の処理対象ブロックの周囲にある符号化済みブロックの動きベクトルと、生成された補正情報と、から処理対象ブロックの動きベクトルを生成することと、
   生成された動きベクトルと、処理対象ブロックに対応する参照ピクチャと、から処理対象ブロックの動き補償画像を生成することと、を含むことを特徴とするインター予測方法。
10. 請求項１から８のいずれか１項に記載のインター予測装置としてコンピュータを機能させるプログラムを有することを特徴とするコンピュータ可読記録媒体。
11. 請求項１から８のいずれか１項に記載のインター予測装置を備えることを特徴とする動画像復号装置。
12. 請求項１から８のいずれか１項に記載のインター予測装置を備えることを特徴とする動画像符号化装置。

Images