JP2007221201A - 動画像符号化装置及び動画像符号化プログラム - Google Patents

Abstract

【課題】従来は、１つ以上の参照ピクチャに複数の参照インデックスを対応付け、符号化する毎に割り振り方を更新する必要がある。そのため、処理量が増大する。
【解決手段】テーブル算出部１１３は、符号化対象のＢスライスと参照ピクチャの輝度値の比をＭＢ単位でとり、度数が最も多い順に輝度値の比を第１、第２の重み付け予測テーブルとして算出する。テーブル割り当て部１１４は、リスト０による主に前方向参照の参照ピクチャと、リスト１による主に後方向参照の参照ピクチャに対して、第１の重み付け予測テーブルを割り当てる。また、第１の重み付け予測テーブルにおけるリスト０による参照ピクチャと同じ参照ピクチャを示す、リスト１による参照ピクチャと、第１の重み付け予測テーブルにおけるリスト１による参照ピクチャと同じ参照ピクチャを示す、リスト０による参照ピクチャに対して、第２の重み付け予測テーブルを割り当てる。
【選択図】図１

Description

本発明は動画像符号化装置及び動画像符号化プログラムに係り、特に動画像符号化方式としてフレーム間予測符号化方式を用いた動画像符号化装置及び動画像符号化プログラムに関する。

近年、インターネットやＤＶＤ（Digital Versatile Disk）レコーダなどの普及により、デジタル表現された動画像はますます一般的になっている。動画像を少ない符号量で効率的にデジタル表現する手法として、ＭＰＥＧ（Moving Picture Experts Group）などに代表される、フレーム間予測符号化方式が広く用いられている。しかし、ＭＰＥＧ４までのフレーム間予測符号化方式では、フェードやフラッシュしている動画像などにおいては、その振幅変動を予測していないために、符号化時にノイズが重畳する問題があった。この問題を解決するため、新しい符号化方式であるＨ.２６４／ＭＰＥＧ−ＡＶＣ（以下、ＡＶＣ）においては、重み付け予測方式が導入された。この方式により振幅変動を予測し、高い符号化効率を実現できる（例えば、非特許文献１参照）。

ＡＶＣの重み付け予測を行う際には、それが明示的重み付け予測（explicit mode）である場合、重み付け予測テーブルを用いて重み付け予測がなされる。この重み付け予測テーブルは、ＡＶＣにおける符号化の基本単位である１つのスライスに対して１つのみが割り当てられる。そのため、１つのスライスに対して複数の重み付け予測テーブルを割り当てたい場合には、複数の参照インデックスをピクチャに割り当てることにより可能となる（例えば、特許文献１参照）。

すなわち、上記の特許文献１記載の従来の動画像符号化装置では、ピクチャ番号で識別される符号化済ピクチャを参照ピクチャとして記憶部に記憶し、予測画像の生成に用いられる係数及び上記の参照ピクチャを指定する参照インデックスとピクチャ番号とを対応付けるコマンドを生成し、符号化対象ピクチャ上のブロックに対して動き補償を行うときの参照ピクチャを参照インデックスにより指定し、参照インデックスにより指定された参照ピクチャ内の動き検出に用いたブロックに対して、参照インデックスに対応した係数を用いた線形予測を施すことにより予測画像を生成する。

ここで、参照ピクチャのピクチャ番号に対して複数の参照インデックスが対応付けられている場合、複数の参照インデックスのそれぞれに対応する係数に基づいて、その中の一つの参照インデックスを選択し、その選択された参照インデックスに対応する係数を用いて線形予測（重み付け予測）を施す。

ＩＳＯ／ＩＥＣ１４４９６−１０：２００４、Information technology―Coding of audio-visual objects―Part 10：Advanced Video Coding 特開２００４−２４２２７６号公報

特許文献１記載の動画像符号化装置のように、従来は複数の重み付け予測テーブルを参照ピクチャに割り当てる場合には、複数の参照インデックスを参照ピクチャに割り当てている。しかし、この方法では、参照インデックスを各参照ピクチャに割り当てるためのコマンドを生成し、１つ以上の参照ピクチャに複数の参照インデックスを対応付け、符号化する毎に割り振り方を更新する必要がある。そのため、処理量が増大することが課題である。

本発明は上記の点に鑑みなされたもので、最大２つの参照ピクチャを予測のために参照する所定の符号化単位においては、２つの重み付け予測テーブルを簡易な方法で割り当てることにより、処理量を削減し得る動画像符号化装置及び動画像符号化プログラムを提供することを目的とする。

上記の目的を達成するため、本発明の動画像符号化装置は、動画像信号を所定画素数の符号化単位でフレーム間予測符号化方式を用いて符号化する際に、参照画像に対して重み付け予測をして得られた予測画像と符号化単位との差分値を得て、その差分値に対して符号化を行う動画像符号化装置であって、参照画像の符号化単位の画像情報と、その参照画像を参照する符号化対象の画像信号の符号化単位の所定の画像情報との比をとり、その比の度数毎に作成したヒストグラムにおいて、度数が多い方から順に決定した第１の重み付け予測テーブルと第２の重み付け予測テーブルを、重み付け予測に用いる重み付け予測テーブルとして算出するテーブル算出手段と、参照インデックスを用いて表される参照画像をリストにより管理しており、そのリストの中で、符号化時に参照画像を参照する符号化対象の画像信号の表示タイミングを基準として表示順で前方向の予測に主に用いられる第１の参照画像と、表示順で後方向の予測に主に用いられる第２の参照画像とが、同じ参照画像であるとき、上記の比が近い方の第１の重み付け予測テーブル及び第２の重み付け予測テーブルの一方を割り当てるテーブル割り当て手段と、テーブル割り当て手段により同じ参照画像である第１の参照画像及び第２の参照画像に対して、割り当てられる第１の重み付け予測テーブルと第２の重み付け予測テーブルを切り替えながら、重み付け予測を行う重み付け予測手段とを有することを特徴とする。

また、上記の目的を達成するため、本発明の動画像符号化プログラムは、コンピュータを、上記の発明の動画像符号化装置の各構成手段として機能させることを特徴とする。

本発明の動画像符号化装置及び動画像符号化プログラムでは、前方向の予測に主に用いられる第１の参照画像と、後方向の予測に主に用いられる第２の参照画像とに第１の重み付け予測テーブル又は第２の重み付け予測テーブルを割り当て、また同じ参照画像である第１の参照画像及び第２の参照画像に対して、割り当てられる第１の重み付け予測テーブルと第２の重み付け予測テーブルを切り替えながら、重み付け予測を行うようにしたため、１つ以上の参照画像に複数の参照インデックスを対応付けることなく、符号化する毎に割り振り方を更新する必要がない。また、同じ第１及び第２の参照画像は、第１の重み付け予測テーブル又は第２の重み付け予測テーブルが割り当てられ、画面内の局所性に応じた重み付け予測テーブルを選択できる。

本発明によれば、１つ以上の参照画像に複数の参照インデックスを対応付けることなく、符号化する毎に割り振り方を更新する必要がないので、重み付け予測テーブルを割り当てる処理量を削減することができ、また、画面内の局所性に応じた重み付け予測テーブルを選択できるため、効率的に符号化を行うことができる。

次に、本発明の実施の形態について図面と共に説明する。図１は本発明になる動画像符号化装置の一実施の形態のブロック図を示す。同図において、動画像符号化装置１００は、ＡＶＣによる動画像符号化装置であって、動画像信号である入力信号１１が減算器１０１を介して入力されるＤＣＴ部１０２、ＤＣＴ部１０２の出力信号に対して量子化を行う量子化部１０３、量子化部１０３の出力信号に対して可変長符号化を行って出力符号１２を得る可変長符号化部１０４、量子化部１０３の出力信号に対して逆量子化を行う逆量子化部１０５、逆ＤＣＴ処理を行う逆ＤＣＴ部１０６、加算器１０７、デブロックフィルタ部１０８、メモリ部１０９、メモリ部１０９の出力信号に対して動き推定（ＭＥ）処理を行うＭＥ部１１０、ＭＥ部１１０の出力信号に対して動き補償（ＭＣ）処理を行うＭＣ部１１１を有する。更に、動画像符号化装置１００は、重み付け予測部１１２、テーブル算出部１１３、テーブル割り当て部１１４、イントラ予測部１１５及びスイッチ１１６を有する。

次に、この動画像符号化装置１００の動作の概要について説明する。動画像符号化装置１００は符号化対象の画像信号が入力信号１１として入力されると、この入力信号１１に対して減算器１０１において、スイッチ１１６を介して入力されるイントラ予測部１１５からの予測値又は重み付け予測部１１２からのインター予測による予測値との差分値を算出する。同じ画面内の画像サンプルを用いて別位置の画像サンプルを予測するイントラ予測符号化の場合、イントラ予測部１１５からの予測値との差分値はＤＣＴ部１０２によって離散コサイン変換（ＤＣＴ:Discrete Cosine Transform）が施され、更に量子化部１０３によって量子化が施された後、可変長符号化部１０４によって可変長符号化され、出力符号１２として出力される。

一方、フレーム間予測符号化であるインター予測符号化の場合、ローカルデコードが行われて再生画像が生成される。そのとき、量子化部１０３から出力された量子化が施された信号は逆量子化部１０５によって逆量子化が施され、更に逆ＤＣＴ部１０６によって逆ＤＣＴが施され、加算器１０７によりスイッチ１１６からの予測値と加算された後、デブロックフィルタ部１０８によって、画像の符号化時に生じるブロック歪みを低減させるためのフィルタ処理が施されて、メモリ部１０９内に蓄積される。そして、メモリ部１０９から該当する画像信号が取り出され、ＭＥ部１１０によってＭＥ（動き推定）が施されて動きベクトルが予測され、ＭＣ部１１１によってＭＣ（動き補償）が施される。ＭＣ部１１１の出力信号は重み付け予測部１１２に供給されて重み付け予測される。

明示的な重み付け予測がなされる場合には、テーブル算出部１１３において重み付け予測テーブルを算出し、この重み付け予測テーブルをテーブル割り当て部１１４により割り当て、この割り当てられた重み付け予測テーブルを用いて重み付け予測部１１２において重み付け予測が施され、インター予測による予測値（予測画像）として出力される。重み付け予測は、ＭＥ時に考慮されることもある。

このようにして符号化された動画像符号化データである出力符号１２は、任意の伝送路を経て動画像復号化装置（デコーダ）に供給されて復号される。図２はこの動画像復号化装置の一例のブロック図を示す。同図において、動画像符号化装置１００の出力符号１２が入力符号２１として動画像復号化装置２００に入力され、可変長復号化部２０１において可変長復号される。復号内容が差分値の場合、逆量子化部２０２によって逆量子化が施された後、逆ＤＣＴ部２０３によって逆ＤＣＴが施される。復号内容が予測値の場合、イントラ予測部２０４によるイントラ予測によって得られた予測値、又はインター予測によって得られた予測値が、スイッチ２０７を介して加算器２０８に供給されて、逆ＤＣＴ部２０３の出力値と加算されて画素値となる。

上記のインター予測では、可変長復号化部２０１で復号化された予測値がＭＣ部２０５によってＭＣ（動き補償）が施され、重み付け予測が必要な時は重み付け予測部２０６による重み付け予測が施されてインター予測により得られた予測値として出力される。加算器２０８から出力される画素値は、デブロックフィルタ部２０９によってブロック歪み低減のためのデブロックフィルタ処理が施された後、必要に応じてバッファ部２１０に一時格納され、出力時間になると出力信号２２として出力される。

次に、ＡＶＣのインター予測について補足説明する。ＡＶＣでは、符号化効率向上のための、複数の参照ピクチャを使用するマルチリファレンスが採用されている。そこで、参照ピクチャはリストにより管理され、主に前方向の予測に用いられる場合にはＬ０、主に後方向の予測に用いられる場合にはＬ１として区別している。また、どの参照ピクチャを用いているかを、参照インデックスを用いて表す。

次に、ＡＶＣの重み付け予測について説明する。重み付け予測は、以下の式で定義されている。ここで、位置[x,y]の重み付け予測前の値はＬ０予測の場合にはpredPartL0C[x,y]、Ｌ１予測の場合にはpredPartL1C[x,y]であり、重み付け予測後の値はpredPartC[x,y]（Ｃ＝Ｌのときは輝度、Ｃ＝Ｃｂのときは青色差、Ｃ＝Ｃｒのときは赤色差）である。また、クリップ関数にあるBiteDepthYおよびBiteDepthCは、輝度及び色差のビット深度である。

Clip1_Y(x)＝Clip３（０，（１≪BitDepthY）−1，ｘ） （１）
Clip1_C(x)＝Clip３（０，（１≪BitDepthC）−1，ｘ） （２）

片方向予測（Ｌ０予測）の場合、重み付け予測後の値は以下のように表される。
ｉｆ（ｌｏｇＷＤ≧１）
predPartC[x，y]＝Clip1C({(predPartL0C[x，y]×ｗ₀＋２^logWD-1)≫logWD)＋Ｏ₀） (4)
ｅｌｓｅ
predPartC[x，y]＝Clip1C（predPartL0C[x，y]×ｗ₀＋Ｏ₀） （５）
片方向予測（Ｌ１予測）の場合、重み付け予測後の値は以下のように表される。
ｉｆ（ｌｏｇＷＤ≧１）
predPartC[x，y]＝Clip1C({(predPartL1C[x，y]×ｗ₀＋２^logWD-1)≫logWD}＋Ｏ₀） (6)
ｅｌｓｅ
predPartC[x，y]＝Clip1C（predPartL1C[x，y]×ｗ₀＋Ｏ₀） （７）
また、双予測の場合、重み付け予測後の値は以下のように表される。

predPartC[x，y]＝Clip1C({（predPartL0C[x，y]×ｗ₀＋predPartL1C[x，y]×ｗ₁
＋２^logWD）≫(logWD＋１)｝＋{(Ｏ₀＋Ｏ₁＋１）≫１｝） （８）
ただし、（４）式〜（８）式中、ｗ_０、Ｏ₀はリスト０の予測に用いる所定の係数、ｗ_１、Ｏ_１はリスト１の予測に用いる所定の係数、Ｗは重み付け予測の係数、Ｄはオフセット値である。

ここで、ＡＶＣの明示的重み付け予測の場合の重み付け予測テーブルは、以下のように定義されている。Ｌ０予測の参照ピクチャを示す参照インデックスはrefldxL0、Ｌ１予測の参照ピクチャを示す参照インデックスはrefldxL1とする。現在のマクロブロックの構造が所定の条件の場合は（９）式、（１０）式で、そうでない場合は（１１）式、（１２）式で表される。

if（MbaffFrameFlag＝1 && current Macroblock is a field macroblock）
refldxL0WP＝refldxL0 ≫１ （９）
refldxL1WP＝refldxL1 ≫１ （１０）
otherwise
refldxL0WP＝refldxL0 （１１）
refldxL1WP＝refldxL1 （１２）
また、輝度信号の場合、（１３）式から（１７）式が成立する。ここで、（１３）式右辺の「luma_log2_weight_denom」は、輝度信号に対する重みの分母を底が２の対数で示したもの、（１４）式右辺の「luma_weight_l0」はリスト０の輝度予測に適用する重みを、（１５）式右辺の「luma_weight_l1」はリスト１の輝度予測に適用する重みを、（１６）式右辺の「luma_offset_l0」はリスト０の輝度予測に使用されるオフセット値を、（１７）式右辺の「luma_offset_l1」はリスト１の輝度予測に使用されるオフセット値をそれぞれ示す。

ｌｏｇＷＤ＝luma_log2_weight_denom （１３）
ｗ０＝luma_weight_l0［refldxL0WP］ （１４）
ｗ１＝luma_weight_l1［refldxL1WP］ （１５）
Ｏ0＝luma_offset_l0［refldxL0WP］×{1≪(BitDepthY-8）｝ （１６）
Ｏ1＝luma_offset_l1［refldxL1WP］×{1≪(BitDepthY-8)｝ （１７）
また、色差信号の場合、ｉＣｂＣｒ＝０のときはＣｂ、ｉＣｂＣｒ＝１のときはＣｒを示すものとして、（１８）式から（２２）式が成立する。ここで、（１８）式右辺の「
chroma_log2_weight_denom」は色差信号に対する重みの分母を底が２の対数で示したもの、（１９）式右辺の「chroma_weight_l0」はリスト０の色差予測に適用する重みを、（２０）式右辺の「chroma_weight_l1」はリスト１の色差予測に適用する重みを、（２１）式右辺の「chroma_offset_l0」はリスト０の色差予測に使用されるオフセット値を、（２２）式右辺の「chroma_offset_l1」はリスト１の色差予測に使用されるオフセット値をそれぞれ示す。

ｌｏｇＷＤ＝chroma_log2_weight_denom （１８）
ｗ０＝chroma_weight_l0[refldxL0WP][iCbCr] （１９）
ｗ１＝chroma_weight_l1[refldxL1WP][iCbCr] （２０）
Ｏ0＝chroma_offset_l0[refldxL0WP][iCbCr]×{1≪(BiteDepthC-8)} (21)
Ｏ1＝chroma_offset_l1[refldxL1WP][iCbCr]×{1≪(BiteDepthC-8)} (22)
ただし、双方向予測時には、重み付け（ｗｅｉｇｈｔ）は次の制限に従う。

−１２８≦ｗ０＋ｗ１≦｛（ｌｏｇＷＤ＝＝７）？１２７：１２８｝ （２３）

次に、Ｂスライスにおいて、２つの重み付け予測テーブルを簡易な方法で割り当てることにより、処理量を削減する実施例１について説明する。ただし、スライスタイプはイントラ予測のみで符号化したＩスライス、１つの別画面の画像サンプルを用いた予測によって符号化したＰスライス、２つの別画面の画像サンプルを用いた予測によって符号化したＢスライスのみとし、１つのピクチャには１つのスライスのみが存在するものとする。

ここで、フレーム間予測符号化方式でよく用いられる、フレーム内符号化画像であるＩピクチャ又はフレーム間順方向予測符号化画像であるＰピクチャが現れる周期Ｍを”３”として符号化する場合を考え、以下のように番号を振る。ただし、参照フレーム数は”２”，Ｂスライスの前方及び後方の参照フレーム数は”１”とする。

いま、図４（Ａ）、（Ｂ）に示すように、ＩピクチャＩ０、ＢピクチャＢ１、ＢピクチャＢ２、ＰピクチャＰ３の順で表示される入力信号が入力された場合の符号化を順に追って説明する。ただし、ＢピクチャはＡＶＣではＭＰＥＧ２などとは異なり、前方、後方に関係なく任意の最大２枚の参照ピクチャを予測のために参照して符号化される双予測ピクチャであり、ここではＢピクチャはＢスライスからなる。

まず、ＩピクチャＩ０がイントラ符号化される。次に、ＰピクチャＰ３がイントラ符号化、またはピクチャ１枚を参照するインター符号化がなされる。それから、ＢピクチャＢ１がイントラ符号化、またはピクチャ２枚までを参照するインター符号化がなされる。このＢピクチャ（Ｂスライス）のインター符号化において、明示的重み付け予測を適用する。図１のテーブル算出部１１３による重み付け予測テーブルの算出は、符号化フレーム（符号化対象ピクチャ）と参照フレーム（参照ピクチャ）の輝度値の比をＭＢ（マクロブロック）単位でとり、その比の度数毎のヒストグラムを作成することで行う。

画像がフラッシュなどにより変化している時、画面内には光が当たる部分と当たらない部分とが生じ、部分によって輝度変化が違う場合がある。その時、横軸に上記の輝度値の比、縦軸に度数を示すヒストグラムを作成すると、例えば、図３のような双峰性のヒストグラムができる。この場合、図１のテーブル算出部１１３は、図３に示すヒストグラムの２つの峰の頂点３０１、３０２のうち、度数が多い方の頂点３０１の輝度値の比を第１の重み付け予測テーブルとし、度数が少ない方の頂点３０２の輝度値の比を第２の重み付け予測テーブルとして算出する。この重み付け予測テーブルは、参照ピクチャのそれぞれについて算出される。

そして、図１のテーブル割り当て部１１４は、図４（Ａ）に示すように、符号化対象ピクチャであるＢ１の参照ピクチャとして、リスト０による主に前方向参照の参照ピクチャであるＩピクチャＩ０と、リスト１による主に後方向参照の参照ピクチャであるＰピクチャＰ３に対して、各ピクチャ用の第１の重み付け予測テーブルを割り当てる。すなわち、図４（Ａ）に示すＢ１内の矩形のブロックの符号化時は、そのブロックの輝度値とＩ０のブロックの輝度値との比、及びＢ１のブロックの輝度値とＰ３のブロックの輝度値との比が、それぞれ第２の重み付け予測テーブルの輝度値の比よりも第１の重み付け予測テーブルの輝度値の比に近いため、第１の重み付け予測テーブルを割り当てる。

これは換言すると、（１４）式のluma_weight_l0[0]にＢ１とＩ０とのＭＢ単位の輝度値の比と度数とのヒストグラムから算出した第１の重み付け予測テーブルの輝度値の比が代入されることを意味し、また（１５）式のluma_weight_l1[0]にＢ１とＰ３とのＭＢ単位の輝度値の比と度数とのヒストグラムから算出した第１の重み付け予測テーブルの輝度値の比が代入されることを意味する。

同様に、テーブル割り当て部１１４は、図４（Ｂ）に示すように、第１の重み付け予測テーブルにおけるリスト０による参照ピクチャと同じ参照ピクチャを示す、リスト１による参照ピクチャＩ０と、第１の重み付け予測テーブルにおけるリスト１による参照ピクチャと同じ参照ピクチャを示す、リスト０による参照ピクチャＰ３に対して、第２の重み付け予測テーブルを割り当てる。すなわち、図４（Ｂ）に示すＢ１内の矩形のブロックの符号化時は、そのブロックの輝度値とＩ０のブロックの輝度値との比、及びＢ１のブロックの輝度値とＰ３のブロックの輝度値との比が、それぞれ第１の重み付け予測テーブルの輝度値の比よりも第２の重み付け予測テーブルの輝度値の比に近いため、第２の重み付け予測テーブルを割り当てる。

これは換言すると、（１４）式のluma_weight_l0[1]にＢ１とＰ３とのＭＢ単位の輝度値の比と度数とのヒストグラムから算出した第２の重み付け予測テーブルの輝度値の比が代入されることを意味し、また（１５）式のluma_weight_l1[1]にＢ１とＩ０とのＭＢ単位の輝度値の比と度数とのヒストグラムから算出した第２の重み付け予測テーブルの輝度値の比が代入されることを意味する。

このように、本実施の形態では、同じ参照画像である参照ピクチャは、第１の重み付け予測テーブル又は第２の重み付け予測テーブルを割り当て、その第１の重み付け予測テーブルと第２の重み付け予測テーブルを切り替えながら、重み付け予測を行うようにしたため、画面内の局所性に応じた重み付け予測テーブルを選択できるので、効率的に符号化を行うことができる。

また、該当ＭＢを符号化する際に、ＭＢ単位で第１及び第２の重み付け予測テーブルのいずれに近いかどうか記憶しておけば、輝度値の比がより近い重み付け予測テーブルを用いて符号化することができる。よって、重み付け予測テーブルが１つでも２つでも符号化に要する時間は変わらない。

また、Ｂ１以後のＢスライスの符号化は、Ｂ１と同様に、インター符号化において明示的重み付け予測を適用し、重み付け予測テーブルを割り当て、符号化を行う。

本実施例の重み付け予測テーブルの算出方法によれば、１つ以上のピクチャに複数の参照インデックスを対応付けることなく、符号化する毎に割り振り方を更新する必要がないので、重み付け予測テーブルを割り当てる処理量を削減することができる。処理量の削減は、ソフトウェア的には処理速度を向上させ、ハードウェア的には消費電力を低減させることができる。また、画面内の局所性に応じた重み付け予測テーブルを選択できるので、効率的に符号化を行うことができる。

なお、Ｂ１のあるブロックに対して、第１の重み付け予測テーブルを用いた場合の予測値と、第２の重み付け予測テーブルを用いた場合の予測値とを、Ｉ０、Ｐ３の同じブロックで比較して、予測誤差が少ない方のテーブルで符号化してもよい。

次に、Ｂスライスにおいて、２つの重み付け予測テーブルを簡易な方法で割り当てることにより、処理量を削減する実施例２を説明する。ここで、スライスタイプは実施例１と同様に、Ｉスライス、Ｐスライス、Ｂスライスのみとし、１つのピクチャには１つのスライスのみが存在するものとする。ただし、本実施例は上記の実施例１とは異なり、符号化はＭＢＡＦＦ（マクロブロック適応フレームフィールド）で行うものとする。

ここで、実施例１と同様に、フレーム間予測符号化方式でよく用いられる、Ｍ＝３で符号化する場合を考え、ＩピクチャＩ０、ＢピクチャＢ１、ＢピクチャＢ２、ＰピクチャＰ３の順で表示される入力信号が入力された場合の符号化を順に追って説明する。なお、参照フレーム数は”２”，Ｂスライスの前方及び後方の参照フレーム数は”１”とする。

まず、ＩピクチャＩ０がイントラ符号化される。次に、ＰピクチャＰ３がイントラ符号化、またはピクチャ１枚を参照するインター符号化がなされる。そこから、Ｂピクチャ（Ｂスライス）Ｂ１がイントラ符号化、またはピクチャ２枚までを参照するインター符号化がなされる。このＢピクチャ（Ｂスライス）のインター符号化において、明示的重み付け予測を適用する。図１のテーブル算出部１１３による重み付け予測テーブルの算出は、実施例１とは異なり、符号化フレーム（符号化対象ピクチャ）と参照フレーム（参照ピクチャ）をフィールド単位で輝度値の総和の比をとることで行う。

画像がフラッシュなどにより変化している時、それがフィールド単位の瞬間的な変化ならば、トップフィールドとボトムフィールドで輝度変化が違う場合がある。その時、上記のように輝度値の総和の比をとると、フィールド毎に異なる値となる。その値を、それぞれ第１及び第２の重み付け予測テーブルとする。

そして、図１のテーブル割り当て部１１４は、インター符号化するＢピクチャ（Ｂスライス）がトップフィールドであるときには、図５（Ａ）に示すように、リスト０による主に前方向参照の参照ピクチャであるＩピクチャＩ０に、トップフィールドのＩ０とＢ１との輝度値の総和の比である第１の重み付け予測テーブルを割り当て、かつ、リスト１による主に後方向参照の参照ピクチャであるＰピクチャＰ３に、トップフィールドのＰ３とＢ１との輝度値の総和の比である第１の重み付け予測テーブルを割り当てる。

また、図１のテーブル割り当て部１１４は、インター符号化するＢピクチャ（Ｂスライス）がボトムフィールドであるときには、図５（Ｂ）に示すように、第１の重み付け予測テーブルにおけるリスト０による参照ピクチャと同じ参照ピクチャを示す、リスト１による参照ピクチャＩ０に、ボトムフィールドのＩ０とＢ１との輝度値の総和の比である第２の重み付け予測テーブルを割り当て、かつ、第１の重み付け予測テーブルにおけるリスト１による参照ピクチャと同じ参照ピクチャを示す、リスト０による参照ピクチャＰ３に、ボトムフィールドのＰ３とＢ１との輝度値の総和の比である第２の重み付け予測テーブルを割り当てる。

なお、図５（Ａ）、（Ｂ）は参照ピクチャＩ０、Ｐ３に対して符号化対象ピクチャＢ１と同じフィールドを用いて予測する場合であるが、異なるフィールドを用いて予測することも可能である。この場合、図１のテーブル割り当て部１１４は、インター符号化するＢピクチャ（Ｂスライス）がトップフィールドであるときには、図６（Ａ）に示すように、参照インデックスrefldxL1WPの値が”１”である参照ピクチャＩ０に、ボトムフィールドのＩ０とＢ１との輝度値の総和の比である第２の重み付け予測テーブルを割り当て、かつ、参照インデックスrefldxLOWPの値が”１”である参照ピクチャＰ３に、ボトムフィールドのＰ３とＢ１との輝度値の総和の比である第２の重み付け予測テーブルを割り当てる。

また、図１のテーブル割り当て部１１４は、インター符号化するＢピクチャ（Ｂスライス）がボトムフィールドであるときには、図６（Ｂ）に示すように、参照インデックスrefldxLOWPの値が”０”である参照ピクチャＩ０に、トップフィールドのＩ０とＢ１との輝度値の総和の比である第１の重み付け予測テーブルを割り当て、かつ、参照インデックスrefldxL1WPの値が”０”である参照ピクチャＰ３に、トップフィールドのＰ３とＢ１との輝度値の総和の比である第１の重み付け予測テーブルを割り当てる。

このように、図５、図６いずれの場合も、本実施例ではフィールド間の変化に応じた重み付け予測テーブルを選択できるので、効率的に符号化を行うことができる。また、該当ＭＢペアを符号化する際に、各フィールドに対応した重み付け予測テーブルを用いて符号化することができる。更に、該当ＭＢペアを符号化する際に、フィールド単位で第１及び第２の重み付け予測テーブルのいずれに近いかどうかを記憶しておけば、より近い重み付け予測テーブルを用いて符号化することができる。よって、重み付け予測テーブルが１つでも２つでも符号化に要する時間は変わらない。これによって、どちらのフィールドで符号化するかを決定することもできる。

Ｂ１以後のＢスライスの符号化は、Ｂ１と同様に、インター符号化において明示的重み付け予測を適用し、重み付け予測テーブルを割り当て、符号化を行う。本実施例の重み付け予測テーブルの算出方法によれば、１つ以上のピクチャに複数の参照インデックスを対応付けることなく、符号化する毎に割り振り方を更新する必要がないので、重み付け予測テーブルを割り当てる処理量を削減することができる。処理量の削減は、ソフトウェア的には処理速度を向上させ、ハードウェア的に消費電力を低減させることができる。また、フィールド間の変化に応じた重み付け予測テーブルを選択できるので、効率的に符号化を行うことができる。

なお、以上の実施例において、Ｂ１の符号化時には参照画像Ｉ０及びＰ３の一方だけを用いて符号化する片方向予測も可能であり、また、両方の参照画像を第１又は第２の重み付け予測テーブルを用いて符号化した値の平均値を用いて予測する双予測時に、両方の参照画像の両方に同じ重み付け予測テーブルを用いて符号化する場合に限らず、互いに異なる重み付け予測テーブルを用いて符号化する場合もあり得る。

なお、以上の実施例において、スライスタイプはＩスライス，Ｐスライス，Ｂスライスのみとして説明したが、本発明はこれに限定されるものではなく、ＡＶＣで規定されている、ストリーム切り替えを行うための特殊なスライスであるＳＩスライスやＳＰスライスの使用を制限するものではない。また、１つのピクチャには１つのスライスのみが存在するものとして説明したが、１つのピクチャに複数のスライスおよびスライスタイプが存在してもよい。さらに、Ｂ以外のスライスタイプをＢスライスに変更して、第１と第２の重み付け予測テーブルを割り当てることもできる。スライスタイプを変更する指針として、例えば輝度変化を検出するようにしてもよい。

また、以上の実施例において、重み付け予測テーブルの算出方法は実施例で説明した以外の方法でもよいし、第１と第２の重み付け予測テーブルは入れ替えても構わない。また更に、以上の実施例では、フレームの輝度値を用いて第１及び第２の重み付け予測テーブルを算出する場合を説明したが、第１の重み付け予測テーブルを通常の重み付け予測（default mode）又は暗示的重み付け予測（implicit mode）と同等に設定し、第２の重み付け予測テーブルのみを、フレームの輝度値を用いて算出してもよい。

また、以上の実施例において、常に第１及び第２の重み付け予測テーブルが存在する場合を説明したが、第１の重み付け予測テーブルのみが存在して第２の重み付け予測テーブルが存在しなくともよい。その場合、第２の重み付け予測テーブルが存在しないので、その情報を符号化しなくてもよい。

また、前記の（４）式、（６）式、（８）式の重み付け予測の定義式より、重み（ｗｅｉｇｈｔ）が２のべき乗の場合には、右にｎビットシフトし、かつｌｏｇＷＤからｎを引いてもよいことは明らかである。よって、重み付け予測テーブルの符号量削減のため、ｗｅｉｇｈｔが２のべき乗に近い場合に２のべき乗に近似して、上記を適用してもよい。

なお、本発明は以上の実施の形態に限定されるものではなく、コンピュータにより図１のブロック図の動画像符号化装置の各構成の機能を実行させる動画像符号化プログラムも包含するものである。この動画像符号化プログラムは、記録媒体に記録されていて記録媒体からコンピュータに取り込まれてもよいし、ネットワークを介して配信されてコンピュータにダウンロードされてもよいし、予め装置内にファームウェアとして組み込まれていてもよい。

本発明の動画像符号化装置の一実施の形態のブロック図である。 図１の符号化装置で符号化されたデータを復号する復号装置の一例のブロック図である。 実施例１におけるヒストグラムを説明するための図である。 実施例１における重み付け予測テーブルの割り当て方を説明する図である。 実施例２における重み付け予測テーブルの割り当て方を説明する図であり、各参照ピクチャに対して同じフィールドを用いて予測する場合を示す図である。 実施例２における重み付け予測テーブルの割り当て方を説明する図であり、各参照ピクチャに対して異なるフィールドを用いて予測する場合を示す図である。

符号の説明

１１ 入力信号
１２ 出力符号
２１ 入力符号
２２ 出力信号
１００ 動画像符号化装置
１０１ 減算器
１０２ ＤＣＴ部
１０３ 量子化部
１０４ 可変長符号化部
１０５、２０２ 逆量子化部
１０６、２０３ 逆ＤＣＴ部
１０７、２０８ 加算器
１０８、２０９ デブロックフィルタ部
１０９ メモリ部
１１０ ＭＥ部
１１１、２０５ ＭＣ部
１１２、２０６ 重み付け予測部
１１３ テーブル算出部
１１４ テーブル割り当て部
１１５、２０４ イントラ予測部
１１６、２０７ スイッチ
２００ 動画像復号化装置
２０１ 可変長復号化部
２１０ バッファ

Claims (2)

1. 動画像信号を所定画素数の符号化単位でフレーム間予測符号化方式を用いて符号化する際に、参照画像に対して重み付け予測をして得られた予測画像と前記符号化単位との差分値を得て、その差分値に対して符号化を行う動画像符号化装置であって、
   前記参照画像の前記符号化単位の画像情報と、該参照画像を参照する符号化対象の画像信号の前記符号化単位の所定の画像情報との比をとり、その比の度数毎に作成したヒストグラムにおいて、前記度数が多い方から順に決定した第１の重み付け予測テーブルと第２の重み付け予測テーブルを、前記重み付け予測に用いる重み付け予測テーブルとして算出するテーブル算出手段と、
   参照インデックスを用いて表される前記参照画像をリストにより管理しており、そのリストの中で、符号化時に参照画像を参照する前記符号化対象の画像信号の表示タイミングを基準として表示順で前方向の予測に主に用いられる第１の参照画像と、前記表示順で後方向の予測に主に用いられる第２の参照画像とが、同じ参照画像であるとき、前記比が近い方の前記第１の重み付け予測テーブル及び前記第２の重み付け予測テーブルの一方を割り当てるテーブル割り当て手段と、
   前記テーブル割り当て手段により同じ参照画像である前記第１の参照画像及び第２の参照画像に対して、割り当てられる前記第１の重み付け予測テーブルと前記第２の重み付け予測テーブルを切り替えながら、重み付け予測を行う重み付け予測手段と
   を有することを特徴とする動画像符号化装置。
2. 動画像信号を所定画素数の符号化単位でフレーム間予測符号化方式を用いて符号化する際に、参照画像に対して重み付け予測をして得られた予測画像と前記符号化単位との差分値を得て、その差分値に対してコンピュータを用いて符号化を行わせる動画像符号化プログラムであって、
   前記コンピュータを、
   前記参照画像の前記符号化単位の画像情報と、該参照画像を参照する符号化対象の画像信号の前記符号化単位の所定の画像情報との比をとり、その比の度数毎に作成したヒストグラムにおいて、前記度数が多い方から順に決定した第１の重み付け予測テーブルと第２の重み付け予測テーブルを、前記重み付け予測に用いる重み付け予測テーブルとして算出するテーブル算出手段と、
   参照インデックスを用いて表される前記参照画像をリストにより管理しており、そのリストの中で、符号化時に参照画像を参照する前記符号化対象の画像信号の表示タイミングを基準として表示順で前方向の予測に主に用いられる第１の参照画像と、前記表示順で後方向の予測に主に用いられる第２の参照画像とが、同じ参照画像であるとき、前記比が近い方の前記第１の重み付け予測テーブル及び前記第２の重み付け予測テーブルの一方を割り当てるテーブル割り当て手段と、
   前記テーブル割り当て手段により同じ参照画像である前記第１の参照画像及び第２の参照画像に対して、割り当てられる前記第１の重み付け予測テーブルと前記第２の重み付け予測テーブルを切り替えながら、重み付け予測を行う重み付け予測手段と
   して機能させることを特徴とする動画像符号化プログラム。
   
   

Images