JP2014150384A - 動画像符号化装置及び動画像符号化方法 - Google Patents

Abstract

【課題】より符号化効率を向上させる動画像符号化装置及び動画像符号化方法を提供する。
【解決手段】動画像符号化装置は、制御手段を備える。前記制御手段は、１つのＧＯＰ内の参照Ｂピクチャから前記ＧＯＰ内の他の参照Ｂピクチャへの参照を可能とする画面間予測構造を用いてＢピクチャを生成する。動画像符号化装置は、入力画像信号のフレームレートが増えたとしても、単位時間あたりに含まれるＩピクチャあるいはＰピクチャの数を増やすことなく、符号化効率を極力維持または向上させつつ、復号器側での高速再生を実現できる符号化ビット列を生成できる。
【選択図】図２

Description

本実施形態は、動画像符号化装置及び動画像符号化方法に関する。

動画像符号化方式の１つであるＨ．２６４は、ＤＰＢ（Decoded Picture Buffer）の導入により、複数の参照ピクチャを参照することができる。ＤＰＢの導入は、Ｈ．２６４仕様における符号化効率の向上に貢献している。ＤＰＢは、サイズ上限による参照ピクチャ数の制約があるものの、復号ピクチャマーキング処理等を利用することで、復号ピクチャに対して時間的な距離が近いピクチャだけでなく、遠いピクチャも参照できる。

また、Ｈ．２６４等の動画像符号化方式では、Ｉピクチャ、Ｐピクチャ、Ｂピクチャがある。一般的に、発生符号量は、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの順序で小さくなる。したがって、Ｂピクチャが多くなればなるほど、ストリームの符号量は小さくなり、符号化効率は向上する。

動画像符号化方式の１つであるＭＰＥＧ−２では、Ｂピクチャが多くなるほど、Ｂピクチャが参照するピクチャへの時間的な距離が遠くなる。そのため、ＭＰＥＧ−２仕様では、Ｂピクチャの予測が当たりにくくなるため、符号化効率が悪化することが知られていた。そこで、Ｈ．２６４は、参照Ｂピクチャ、すなわちＢピクチャからＢピクチャへの参照を可能とするピクチャの導入により、符号化効率を向上させている。

ＡＲＩＢ規格のＨ．２６４仕様では、放送や配信等でランダムアクセス再生および高速再生等を可能にするため、画面間予測構造（ＧＯＰ (Group of Pictures)構造）の制約が以下のように規定されている。非参照Ｂピクチャおよび参照Ｂピクチャの復号順序は、表示順序が直後であるＩピクチャあるいはＰピクチャの直後であること。ここで、ＩピクチャあるいはＰピクチャは、非参照Ｂピクチャあるいは参照Ｂピクチャと同一ＧＯＰ内のピクチャとする。非参照Ｂピクチャは、（ａ）表示順序が直前もしくは直後のＩピクチャもしくはＰピクチャのフレームあるいはフィールド・ペア、または、（ｂ）表示順序が直前もしくは直後のＩピクチャもしくは Ｐピクチャより近く、表示順序が直前もしくは直後である参照Ｂピクチャのフレームあるいはフィールド・ペアのみを参照すること。参照Ｂピクチャは、（ａ）表示順序で直前もしくは直後のＩピクチャもしくはＰピクチャのフレームあるいはフィールド・ペア、または、（ｂ）同一フレームを構成する参照Ｂピクチャのフィールドのみを参照すること。

上記画面間予測構造の制約に従うＢピクチャ間の参照関係は、上位階層から下位階層への参照のみ可能にした階層構造をとることができる。これにより、ある階層に属するピクチャは、自分より下の階層のピクチャが復号されていれば、必ず復号できる。この階層関係は、高速再生に利用できる。

ＡＲＩＢ ＳＴＤ-Ｂ３２ 第１部 付属２ 第３章 ３．６

しかしながら、現在の画面間予測構造の制約の下では、非参照Ｂピクチャから参照Ｂピクチャへの参照が不可能である。図９は、現在のＡＲＩＢ規格のＨ．２６４仕様での一例となるＧＯＰに含まれる各ピクチャの画面間予測構造を示す図である。各ピクチャ間の参照関係によれば、Ｉ_０及びＰ_４は０階層目、Ｂ_２は１階層目、ｂ_１、ｂ_３は２階層目である。０階層目は、ＩピクチャまたはＰピクチャで構成される。１階層目は、参照Ｂピクチャで構成される。２階層目は、非参照Ｂピクチャで構成される。そのため、Ｂピクチャ間の参照関係は、図９に示すように２階層構造をとるに留まる。現在の画面間予測構造の制約の下では、入力画像信号のフレームレートが増えた場合、単位時間あたりに含まれるＩピクチャあるいはＰピクチャの数は、フレームレートに比例して増大する。結果的に符号化効率は下がる。そのため、入力画像信号のフレームレートが増えた場合であっても、Ｂピクチャの数を増やすことができれば、より符号化効率を向上させることができる。

本発明の目的は、より符号化効率を向上させる動画像符号化装置及び動画像符号化方法を提供することである。

実施形態によれば、動画像符号化装置は、制御手段を備える。前記制御手段は、１つのＧＯＰ内の参照Ｂピクチャから前記ＧＯＰ内の他の参照Ｂピクチャへの参照を可能とする画面間予測構造を用いてＢピクチャを生成するように制御する。

実施形態に係る一例となる動画像符号化装置の構成例を示すブロック図である。 実施形態に係る一例となる参照Ｂピクチャの画面間予測構造を示す図。 実施形態に係る一例となる非参照Ｂピクチャの画面間予測構造を示す図。 実施形態に係る一例となるＧＯＰに含まれる各ピクチャの画面間予測構造を示す図。 実施形態に係る一例となる高速再生を説明するための図。 実施形態に係る一例となる高速再生を説明するための図。 実施形態に係る一例となる高速再生を説明するための図。 実施形態に係る一例となる再生速度の変更を説明するための図。 ＡＲＩＢ規格のＨ．２６４仕様での一例となるＧＯＰに含まれる各ピクチャの画面間予測構造を示す図。

以下、図面を参照して本実施形態について説明する。
図１は、実施形態に係る一例となる動画像符号化装置の構成例を示すブロック図である。動画符号化装置１０は、入力画像信号（画像データ）２００から符号化ビット列（符号化データ）２６０を生成するための装置である。動画符号化装置１０は、制御部（制御手段）１０１、減算器１０２、直交変換器１０３、量子化器１０４、逆量子化器１０５、逆直交変換器１０６、加算器１０７、ループフィルタ１０８、フレームメモリ１０９、予測画像生成部１１０、エントロピー符号化器１１１を備える。

制御部１０１は、動画像符号化装置１０に含まれる各要素の動作を制御する。
減算器１０２は、外部から入力画像信号２００が供給され、後述する予測画像生成器１１０から予測画像信号２５０も供給される。減算器１０２は、入力画像信号２００から、予測画像信号２５０を減算して予測誤差信号２１０を得る。減算器１０２は、予測誤差信号２１０を直交変換器１０２に出力する。
直交変換器１０３は、例えば離散コサイン変換を実行して、予測誤差信号２１０を直交変換して直交変換係数情報２２０を得る。直交変換器１０３は、直交変換係数情報２２０を量子化器３０３に出力する。
量子化器１０４は、直交変換係数情報２２０を量子化して量子化直交変換係数情報（量子化データ）２３０を得る。量子化器１０４は、量子化直交変換係数情報２３０を逆量子化器１０５とエントロピー符号化器１１１に出力する。

逆量子化器１０５及び逆直交変換器１０６は、量子化直交変換係数情報２３０を局部復号する。逆直交変換器１０６は、局部復号された量子化直交変換係数情報２３０を加算器１０７に出力する。
加算器１０７は、局部復号された量子化直交変換係数情報２３０に予測画像信号２５０を加算して局部復号画像信号２４０を得る。加算器１０７は、局部復号画像信号２４０をループフィルタ１０８に出力する。局部復号画像信号２４０は、ループフィルタ３０６を介してフレームメモリ３０８に供給される。

フレームメモリ１０９は、保存している局部復号画像信号２４０を予測画像生成器１１０に供給する。
予測画像生成器１１０は、局部復号画像信号２４０に基づいて予測画像信号２５０を得る。予測画像生成器１１０は、予測画像信号２５０を減算器３０１及び加算器３１５に出力する。
エントロピー符号化部１１１は、量子化直交変換係数情報２３０を符号化処理することで符号化ビット列２６０を得る。エントロピー符号化部１１１は、符号化ビット列２６０を外部に出力する。

動画像符号化装置１０は、上記構成により、Ｉピクチャ、Ｐピクチャ、Ｂピクチャを生成し、Ｉピクチャを少なくとも１つ含む複数のピクチャで構成されるＧＯＰを符号化ビット列２６０として生成する。なお、Ｉピクチャは、その画面だけで符号化されて生成されるピクチャである。Ｐピクチャは、単方向予測で符号化されて生成されるピクチャである。Ｂピクチャは、双方向予測で符号化されて生成されるピクチャである。Ｂピクチャは、他のピクチャから参照可能なＢピクチャ（以降、参照Ｂピクチャという）と、他のピクチャから参照されないＢピクチャ（以降、非参照Ｂピクチャという）の２種類がある。

次に、本実施形態で規定するＢピクチャに関する画面間予測構造の制約について説明する。制御部１０１は、以下の（１）〜（５）に示す５つのＢピクチャに関する画面間予測構造の制約のうち少なくとも１つを用いてＢピクチャを生成するように制御する。なお、以下で説明するＩピクチャあるいはＰピクチャは、非参照Ｂピクチャあるいは参照Ｂピクチャと同一ＧＯＰ内のピクチャを示している。

（１）参照Ｂピクチャから参照Ｂピクチャへの参照を可能とする画面間予測構造。つまり、この画面間予測構造は、１つのＧＯＰ内の参照Ｂピクチャから、このＧＯＰ内の他の参照Ｂピクチャへの参照を可能とする。なお、非参照Ｂピクチャから参照Ｂピクチャへの参照は、従来（ＡＲＩＢ規格のＨ．２６４仕様）どおり可能である。
（２）Ｂピクチャから、表示順が前のＩまたはＰピクチャへの参照を可能とする画面間予測構造。つまり、この画面間予測構造は、ＧＯＰ内において、第１のＢピクチャから、表示順序が第１のＢピクチャよりも前のＩピクチャまたはＰピクチャへの参照を可能とする。Ｂピクチャは、表示順が前のＩまたはＰピクチャであれば、従来の認められていた表示順が直前のＩまたはＰピクチャ以外のＩまたはＰピクチャを参照できる。
（３）Ｂピクチャから、表示順序が直前のＰピクチャより遠いＢピクチャへの参照を不可とする画面間予測構造。つまり、この画面間予測構造は、ＧＯＰ内において、第１のＢピクチャから、表示順序が第１のＢピクチャの直前のＩピクチャまたはＰピクチャより遠い第２のＢピクチャへの参照を不可とする。
（４）Ｂピクチャから、表示順序が直後のＰピクチャより遠いＰピクチャへの参照を不可とする画面間予測構造。つまり、この画面間予測構造は、ＧＯＰ内において、第１のＢピクチャから、表示順序が第１のＢピクチャの直後のＩピクチャまたはＰピクチャより遠い他のＩピクチャまたは他のＰピクチャへの参照を不可とする。言い換えれば、この画面間予測構造は、ＧＯＰ内において、表示順序が第１のＢピクチャよりも後のＩピクチャまたはＰピクチャについては、第１のＢピクチャから、表示順序が第１のＢピクチャの直後のＩピクチャまたはＰピクチャのみを参照する。
（５）Ｂピクチャから、表示順序が直前もしくは直後のＩピクチャもしくはＰピクチャより近くの参照Ｂピクチャのみを参照する画面間予測構造。つまり、この画面間予測構造は、ＧＯＰ内に含まれる参照Ｂピクチャに関して、ＧＯＰ内において、第１のＢピクチャから、表示順序が第１のＢピクチャの直前もしくは直後のＩピクチャもしくはＰピクチャより近くの参照Ｂピクチャのみへの参照を可能とする。
なお、連続するＢピクチャ（非参照Ｂピクチャあるいは参照Ｂピクチャ）のフレーム、あるいはフィールド・ペアの最大枚数は、従来の制約と異なり、一例として７とする。

図２は、実施形態に係る一例となる参照Ｂピクチャの画面間予測構造を示す図である。ここでは、参照Ｂピクチャ３０１を例にして画面間予測構造を説明する。なお、図２における「Ｉ」はＩピクチャ、「Ｐ」はピクチャ、「Ｂ」は参照Ｂピクチャ、「ｂ」は非参照Ｂピクチャを意味する。図２は、１つのＧＯＰに含まれる各ピクチャを表示順序に並べている。実線の矢印は、上記制約（上記（１）、（２）、（４）、（５））により参照可能となる参照Ｂピクチャ３０１と他のピクチャとの関係の一例を示している。なお、実線の矢印と共に示す「○」記号は、ＡＲＩＢ規格のＨ．２６４仕様でも参照可能であることを示す。実線の矢印と共に示す「◎」記号は、本実施形態で規定する制約によって参照可能となったことを示す。破線の矢印は、上記制約（上記（３）、（４））により参照不可となる参照Ｂピクチャ３０１と他のピクチャとの関係の一例を示している。矢印と共に示す数字は、適用される上記制約の番号に対応している。なお、矢印と共に示す「×」記号は、参照不可であることを示す。

図３は、実施形態に係る一例となる非参照Ｂピクチャの画面間予測構造を示す図である。ここでは、非参照Ｂピクチャ３０２を例にして画面間予測構造を説明する。なお、図３における「Ｉ」、「Ｐ」、「Ｂ」、「ｂ」は、図２と同様のピクチャを意味する。図３は、１つのＧＯＰに含まれる各ピクチャを表示順序に並べている。実線の矢印は、上記制約（上記（２）、（４）、（５））により参照可能となる非参照Ｂピクチャ３０２と他のピクチャとの関係の一例を示している。なお、実線の矢印と共に示す「○」記号は、ＡＲＩＢ規格のＨ．２６４仕様でも参照可能であることを示す。実線の矢印と共に示す「◎」記号は、本実施形態で規定する制約によって参照可能となったことを示す。破線の矢印は、上記制約（上記（３）、（４））により参照不可となる非参照Ｂピクチャ３０１と他のピクチャとの関係の一例を示している。矢印と共に示す数字は、適用される上記制約の番号に対応している。なお、矢印と共に示す「×」記号は、参照不可であることを示す。

図２及び図３に示すとおり、参照Ｂピクチャから参照可能となるピクチャ、参照不可となるピクチャは、非参照Ｂピクチャから参照可能となるピクチャ、参照不可となるピクチャと同じである。

図４は、実施形態に係る一例となるＧＯＰに含まれる各ピクチャの画面間予測構造を示す図である。図４は、１つのＧＯＰに含まれる各ピクチャを表示順序に並べている。矢印は、上記（１）〜（５）の制約に沿った各ピクチャ間の参照関係を示している。各ピクチャ間の参照関係によれば、Ｉ_０及びＰ_８は０階層目、Ｂ_４は１階層目、Ｂ_２及びＢ_６は２階層目、ｂ_１、ｂ_３、ｂ_５及びｂ_７は３階層目である。０階層目は、ＩピクチャまたはＰピクチャで構成される。１階層目及び２階層目は、参照Ｂピクチャで構成される。３階層目は、非参照Ｂピクチャで構成される。つまり、１つのＧＯＰは、Ｂピクチャ間で３階層以上の画面間予測構造をとることができる。このような上記（１）〜（５）の制約に沿ったＢピクチャ間の参照関係は、上位階層から下位階層への参照のみ可能にした３階層以上の階層構造をとることができる。

復号器は、図４に示す一例となる画面間予測構造に基づいて各ピクチャを復号し、表示順序に沿ってディスプレイに表示できる。復号器は、図４に示す１つのＧＯＰに含まれる０階層目〜３階層目に位置する全てのピクチャを復号処理、表示処理することで、通常再生する。なお、復号器は、必要最小限のピクチャのみを復号することで図４を用いて説明した通常再生速度の２^ｎ倍で高速再生できる。図５〜７は、図４に示す階層構造での一例となる高速再生を説明するための図である。図５〜７は、図４と同様に、１つのＧＯＰに含まれる各ピクチャを表示順序に並べている。矢印は、上記（１）〜（５）の制約に沿った各ピクチャ間の参照関係を示している。なお、図５〜７で示す実線は、高速再生に用いられるピクチャ及びその参照関係を示し、図５〜７で示す破線は、高速再生に用いられないピクチャ及びその参照関係を示している。図５に示す高速再生は、０階層目に位置するピクチャだけを復号処理、表示処理する再生である。図６に示す高速再生は、０階層目及び１階層目に位置するピクチャだけを復号処理、表示処理する再生である。図７に示す高速再生は、０階層目〜２階層目に位置するピクチャだけの復号処理、表示処理する再生である。再生速度は、復号処理、表示処理するピクチャの数に応じて変わる。そのため、再生速度は、図４に示す通常再生、図７に示す高速再生、図６に示す高速再生、図５に示す高速再生の順序で速くなる。

図８は、再生速度の変更の一例を説明するための図である。図８は、１つのＧＯＰに含まれる各ピクチャを表示順序に並べた図である。ここでは、Ｂ_１０に関して、上記制約に沿った参照関係の一部を矢印で示している。実線の矢印は、参照可能となるＢ_１０と他のピクチャとの関係の一例を示している。「○」記号は、参照可能であることを示す。破線の矢印は、参照不可となるＢ_１０と他のピクチャとの関係の一例を示している。「×」記号は、参照不可であることを示す。一例として、復号器は、Ｉ_０からＢ_１０の手前までは図５を用いて説明した０階層目のみに位置するピクチャのみを復号する高速再生で処理しているとする。再生速度が、Ｂ_１０の手前で、図４を用いて説明した０階層目〜３階層目に位置するピクチャを再生する通常再生速度まで落とすように切り替えられたとする。Ｂ_１０は、（３）の制約により、Ｂ_４を参照できない。そのため、復号器は、Ｂ_１０を復号するのに、復号していないＢ_４を復号する必要がない。一方、Ｂ_１０は、（２）の制約により、高速再生で復号されたＰ_８だけでなくＩ_０も参照できる。復号器は、Ｂ_１０を復号するためだけに復号されていないピクチャを復号する必要がないため、容易に再生速度を切り替えられる。

上記（１）〜（５）の制約によれば、Ｂピクチャ間で３階層以上の画面間予測構造をとることができる。主として上記（１）、（２）、（５）の制約によれば、符号化効率を極力維持または向上させることができる。主として上記（３）、（４）の制約によれば、復号器側で符号化ビット列を２^ｎ倍で高速再生できると共に、容易に再生速度を変更できる。したがって、本実施形態によれば、動画像符号化装置１０は、入力画像信号のフレームレートが増えたとしても、単位時間あたりに含まれるＩピクチャあるいはＰピクチャの数を増やすことなく、符号化効率を極力維持または向上させつつ、復号器側での高速再生を実現できる符号化ビット列を生成できる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…動画符号化装置、１０１…制御部（制御手段）、１０２…減算器、１０３…直交変換器、１０４…量子化器、１０５…逆量子化器、１０６…逆直交変換器、１０７…加算器、１０８…ループフィルタ、１０９…フレームメモリ、１１０…予測画像生成部、１１１…エントロピー符号化器。

Claims (6)

1. １つのＧＯＰ内の参照Ｂピクチャから前記ＧＯＰ内の他の参照Ｂピクチャへの参照を可能とする画面間予測構造を用いてＢピクチャを生成するように制御する制御手段を備える動画像符号化装置。
2. 前記制御手段は、前記ＧＯＰ内において、第１のＢピクチャから、表示順序が前記第１のＢピクチャよりも前のＩピクチャまたはＰピクチャへの参照を可能とする画面間予測構造を用いてＢピクチャを生成する、請求項１記載の動画像符号化装置。
3. 前記制御手段は、前記ＧＯＰ内において、前記第１のＢピクチャから、表示順序が前記第１のＢピクチャの直前のＩピクチャまたはＰピクチャより遠い第２のＢピクチャへの参照を不可とする画面間予測構造を用いてＢピクチャを生成する、請求項２記載の動画像符号化装置。
4. 前記制御手段は、前記ＧＯＰ内において、前記第１のＢピクチャから、表示順序が前記第１のＢピクチャの直後のＩピクチャまたはＰピクチャより遠い他のＩピクチャまたは他のＰピクチャへの参照を不可とする画面間予測構造を用いてＢピクチャを生成する、請求項３記載の動画像符号化装置。
5. 前記制御手段は、前記ＧＯＰ内において、前記第１のＢピクチャから、表示順序が前記第１のＢピクチャの直前もしくは直後のＩピクチャもしくはＰピクチャより近くの参照Ｂピクチャのみへの参照を可能とする画面間予測構造を用いてＢピクチャを生成する、請求項４記載の動画像符号化装置。
6. １つのＧＯＰ内の参照Ｂピクチャから前記ＧＯＰ内の他の参照Ｂピクチャへの参照を可能とする画面間予測構造を用いてＢピクチャを生成する、
   動画像符号化方法。

Images