JP2010041354A - 動画像符号化方法、符号化装置及び符号化プログラム - Google Patents

Abstract

【課題】ランダムアクセスポイントでのランダムアクセスを保証しつつ、ランダムアクセスポイントを挟んでＤＰＢ制御を行うことで、符号化効率を向上させる。
【解決手段】ＤＰＢ情報生成部１０９は、符号化対象のピクチャがランダムアクセスポイントであることを示す信号が入力されるかどうか監視しており、ランダムアクセスポイントであることを示す信号が入力されたことを検出すると、その検出時点におけるＤＰＢ１０８内にあるすべてのピクチャ情報（デコード順序に依存した番号、ピクチャの表示順に依存した番号）を収集し、これらから現在のＤＰＢ情報を生成する。エントロピー符号化部１１１は、符号化信号にＤＰＢ情報をヘッダとして付加したビットストリームを生成して出力する。これにより、ランダムアクセスポイントを挟んでＤＰＢの制御を行っている部分にランダムアクセスした場合にも不具合なく復号化することが可能になる。
【選択図】図１

Description

本発明は動画像符号化方法、符号化装置及び符号化プログラムに係り、特に動画像の動き補償予測に用いる復号画像メモリ（ＤＰＢ:Decoded Picture Buffer）を制御する機能を持つ動画像符号化方法、符号化装置及び符号化プログラムに関する。

ＭＰＥＧ（Moving Picture Experts Group）に代表される動画像の圧縮符号化では、一枚の画面を構成するフレーム画像又はフィールド画像であるピクチャ内の近傍画素間の相関やピクチャ間の相関を利用して符号量を圧縮する方式が用いられる。ピクチャ内の近傍画素間の相関による冗長度は、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）に代表される直交変換を行うことにより削減できる。ピクチャ間の相関による冗長度は、動き補償予測を行うことにより削減できる。

ピクチャ間の相関を利用した動き補償予測では、現ピクチャより以前に復号化された参照画像を用いてピクチャ間で予測を行う。具体的には、図１１に示すように、ＤＰＢ（Decoded Picture Buffer）と呼ばれる復号画像メモリ１１に格納されている参照画像を用いて動き補償予測を行う。図１１の例では、符号化対象ピクチャ１２の予め設定された複数画素からなる矩形領域であるブロック１３の動き補償予測の際に、ＤＰＢ１１に格納されている複数の参照画像のうちピクチャ１のブロックが用いられることを示している。

また、ＤＰＢは参照画像の蓄積だけでなく、ピクチャの出力順序を制御する目的にも使用される。具体的には、図１２に示す例のように、同図（Ｂ）に示す数字の順で符号化／復号化される各ピクチャが矢印で示す時間順で表示される場合、ピクチャの符号化／復号化順がピクチャの表示順と同一でないため、各ピクチャを動画像として再生するためには、表示時間より前に符号化／復号化したピクチャをピクチャの表示時間が来るまで、同図（Ａ）に示すようにＤＰＢ１４に一時待機させる。

このように、ＤＰＢは参照画像の蓄積、出力画像の待機という目的で使用される。しかし、ピクチャの画素値データを格納するＤＰＢは、非常に大きなメモリ量が必要となり、メモリ量が大きなメモリは極めて高価であるため、低価格化が要求される民生用機器の動画像符号化装置や動画像復号化装置では、ＤＰＢのメモリ量には制約がある。このため、動画像符号化側では、ＤＰＢに蓄積するピクチャが所定の枚数を超えないように制御してビットストリームを生成する必要がある。

そこで、ＭＰＥＧ−４ＡＶＣなどの符号化方式では、ＤＰＢに蓄積するピクチャの枚数が制限された条件化で符号化効率を最大限に発揮するために、ＤＰＢを詳細に制御することを可能にしている。ＤＰＢを詳細に制御することで、最も参照画像として適切なピクチャをＤＰＢ内に蓄積し、精度の高い動き補償予測を行うことができる。

ところが、符号化された動画像信号の特定の位置（ランダムアクセスポイント）でランダムアクセスを保証するためには、ランダムアクセスポイントを挟んで動き補償予測を行わないように参照画像を制限するだけでなく、ＤＰＢを制御する信号にも制限を加えなければならない。

ランダムアクセスポイントでのランダムアクセスについて、図１３を用いて説明する。図１３において、５枚のピクチャ０〜４がグループＡを構成しており、続いて表示される５枚のピクチャ５〜９がグループＢを構成しており、更に、ピクチャ０とピクチャ５がランダムアクセスポイントであり、その他のピクチャはランダムアクセスポイントでないものとする。ここで、各ピクチャの番号はそのピクチャの復号化（デコード）順を示す。従って、図１３は、各ピクチャの復号化順と表示順が同じである例を示している。また、グループは、復号化順でランダムアクセスポイントのピクチャから次のランダムアクセスポイントのピクチャの直前のピクチャまでをいう。

さて、ランダムアクセスを保証することは、ランダムアクセスポイントから復号処理を始めた時に、ランダムアクセスポイント以降のピクチャが正常に再生できることを意味する。これは、参照画像として適切なピクチャをＤＰＢ内に蓄積したい場合などに、ランダムアクセスポイントを挟んでＤＰＢを制御するようなメモリ操作を行うと、ランダムアクセスポイントから復号化を始めた時に、メモリ操作の対象となるピクチャがＤＰＢ内に存在しないため、復号化に不具合が発生してしまうためである。

このような復号化の不具合を防止するためには、図１３のグループＢ内のピクチャでグループＡ内のピクチャを対象としたＤＰＢのメモリ操作を実行するような操作はできない。つまり、ランダムアクセスポイントでのランダムアクセスを保証するためには、ランダムアクセスポイントを挟んでＤＰＢを制御するようなメモリ操作を禁止する必要がある。そのため、従来は、ランダムアクセスポイントにＩＤＲピクチャを用意し、ＩＤＲピクチャが再生された場合は、ＤＰＢを強制的にクリアすることで、ＩＤＲピクチャをまたがない限り、任意に離れたピクチャの符号化順を並び替えて符号化することが可能なようになされている。

しかし、このＩＤＲピクチャの場所以外では、符号化されたストリーム編集ができないため、従来はピクチャの順が不連続であることを示す情報を符号化ストリームに付加すると共に、複数のピクチャより構成される所定の符号化単位における最初の画面内符号化ピクチャより表示順が後になるピクチャは、当該符号化単位に含むように符号化することで、ＤＰＢを初期化しなくてもランダムアクセス等の編集を可能とする方法が従来知られている（例えば、特許文献１参照）。

特開２００４−２７４７３２号公報

しかしながら、特許文献１記載の従来の動画像符号化／復号化装置では、ランダムアクセスポイントを挟んでＤＰＢを制御するようなメモリ操作を禁止するようなストリームを作成して復号しているため、ランダムアクセスポイントを挟んでＤＰＢ制御を行うことができず、その結果、参照画像として適切なピクチャをＤＰＢ内に参照画像として蓄積することができず、符号化効率が低下する。

本発明は上記の点に鑑みなされたもので、ランダムアクセスポイントでのランダムアクセスを保証しつつ、ランダムアクセスポイントを挟んでＤＰＢ制御を行うことで、符号化効率を向上させることができる動画像符号化方法、符号化装置及び符号化プログラムを提供することを目的とする。

上記の目的を達成するため、本発明の動画像符号化方法は、動画像信号を一枚の画像であるピクチャ単位で符号化する際に、符号化対象のピクチャと、復号画像メモリから読み出した既に局部復号されたピクチャである参照画像とを用いた動き補償予測を行って動き補償予測信号を生成し、符号化対象のピクチャと動き補償予測信号との差分信号をエントロピー符号化してピクチャ単位の符号化信号を生成する符号化信号生成ステップと、符号化信号生成ステップで生成する符号化信号が、復号化時における再生表示順で一のピクチャ以降のピクチャを再生可能とする一のピクチャに設定されるランダムアクセスポイントのピクチャの符号化信号であるか否かを検出するステップと、ランダムアクセスポイントのピクチャであることを検出した時は、そのランダムアクセスポイントのピクチャの符号化時点における復号画像メモリ内に蓄積されている各ピクチャの復号化順序を示す情報及び再生表示順を示す情報の内の少なくとも一方の情報を含む制御情報を生成する制御情報生成ステップと、ランダムアクセスポイントのピクチャの符号化信号に、制御情報をヘッダ情報として付加してビットストリームを生成するビットストリーム生成ステップとを含むことを特徴とする。

また、上記の目的を達成するため、本発明の動画像符号化装置は、動画像信号を一枚の画像であるピクチャ単位で符号化する際に、符号化対象のピクチャと、復号画像メモリから読み出した既に局部復号されたピクチャである参照画像とを用いた動き補償予測を行って動き補償予測信号を生成し、符号化対象のピクチャと動き補償予測信号との差分信号をエントロピー符号化してピクチャ単位の符号化信号を生成する符号化信号生成手段と、符号化信号生成手段で生成する符号化信号が、復号化時における再生表示順で一のピクチャ以降のピクチャを再生可能とする一のピクチャに設定されるランダムアクセスポイントのピクチャの符号化信号であるか否かを検出する検出手段と、ランダムアクセスポイントのピクチャであることを検出した時は、そのランダムアクセスポイントのピクチャの符号化時点における復号画像メモリ内に蓄積されている各ピクチャの復号化順序を示す情報及び再生表示順を示す情報の内の少なくとも一方の情報を含む制御情報を生成する制御情報生成手段と、ランダムアクセスポイントのピクチャの符号化信号に、制御情報をヘッダ情報として付加してビットストリームを生成するビットストリーム生成手段とを有することを特徴とする。

更に、上記の目的を達成するため、本発明の動画像符号化プログラムは、コンピュータに、第１の発明の動画像符号化方法の各ステップを実行させることを特徴とする。

本発明によれば、ランダムアクセスポイントでのランダムアクセスを保証しつつ、ランダムアクセスポイントを挟んでＤＰＢ制御を行うことで、符号化効率を向上させることができる。

次に、本発明の実施の形態について図面と共に詳細に説明する。

図１は本発明になる動画像符号化装置の一実施の形態のブロック図を示す。図１において、本実施の形態の動画像符号化装置１００は、符号化対象の画像信号が入力される入力端子１０１と、その入力画像信号と復号画像メモリ１０８に蓄積されている参照画像とから動きベクトルを検出する動きベクトル検出部１０２と、検出した動きベクトルを用いて動き補償予測を行う動き補償予測１０３と、入力画像信号から動き補償信号を減算する減算部１０４と、直交変換・量子化部１０５と、加算部１０６と、逆量子化・逆直交変換部１０７と、復号画像メモリ（ＤＰＢ:Decoded Picture Buffer）１０８と、ＤＰＢ情報生成部１０９と、ランダムアクセスポイント信号入力端子１１０と、エントロピー符号化部１１１と、ビットストリーム出力端子１１２とから構成されている。この動画像符号化装置１００はＤＰＢ情報生成部１０９を備えている点に特徴がある。

次に、この動画像符号化装置１００の動作について説明する。入力端子１０１を介して入力された動画像の画像信号は、減算部１０４に供給される一方、動きベクトル検出部１０２に供給される。動きベクトル検出部１０２は、入力された動画像の画像信号の一画面を構成するフレーム画像又はフィールド画像であるピクチャ内の所定の画素数からなる矩形領域（マクロブロック）単位で、ＤＰＢ１０８に記憶されている参照画像信号の探索範囲内で移動して参照画像信号のマクロブロックとブロックマッチングを行うことで、動きベクトルを検出する。

動き補償部１０３は、動きベクトル検出部１０２により検出された動きベクトルを用いて、ＤＰＢ１０８から供給された参照画像信号より動き補償予測を行い、動き補償予測信号を生成する。減算部１０４は、入力画像信号が参照画像信号を用いず画面内予測符号化して得られるＩピクチャは、減算することなくそのまま直交変換・量子化部１０５に供給する。（ＭＰＥＧ２では入力画像信号から減算することなく画面内符号化を行うが、ＭＰＥＧ−４ＡＶＣ等では、Ｉピクチャにおいても減算を行い画面内予測符号化を行う。）
一方、減算部１０４は、１枚の参照画像のみを参照して予測符号化を行うＰピクチャ、又は時間的に前又は後の２枚の参照画像のうち任意に組み合わせた２枚の参照画像を参照して予測符号化を行うＢピクチャの場合は、入力画像信号と上記の動き補償予測信号との減算を行い、その差分信号を直交変換・量子化部１０５に供給する。

直交変換・量子化部１０５は、減算部１０４から入力された信号を、例えば離散フーリエ変換（ＤＣＴ）等の直交変換を行った後、それにより得られた直交変換係数を量子化する。逆量子化・逆直交変換部１０７は、直交変換・量子化部１０５から出力された量子化後信号を逆量子化した後、逆直交変換して差分信号等を復号化する。

加算部１０６は、動き補償部１０３からの動き補償予測信号と、逆量子化・逆直交変換部１０７からの逆直交変換後信号とを加算することで入力画像信号のピクチャを復号化し、その復号化したピクチャを参照画像信号としてＤＰＢ１０８に格納する。

ＤＰＢ情報生成部１０９は、符号化対象のピクチャがランダムアクセスポイントであることを示す信号がランダムアクセスポイント信号入力端子１１０から入力された場合に、ＤＰＢ１０８のその時点のすべての記憶ピクチャを示すＤＰＢ情報を生成する。ここで、ランダムアクセスポイントとは、表示順でそれ以降のピクチャを再生可能とする先頭のピクチャを示すポイントである。

次に、ＤＰＢ情報生成部１０９の動作について図２のフローチャートを用いて詳しく説明する。

ＤＰＢ情報生成部１０９は、符号化対象のピクチャがランダムアクセスポイントであることを示す信号が入力されるかどうか監視しており（ステップＳ１１）、ランダムアクセスポイントであることを示す信号が入力されたことを検出すると、その検出時点におけるＤＰＢ１０８内にあるすべてのピクチャ情報（デコード順序に依存した番号、ピクチャの表示順に依存した番号）を収集し、これらから現在のＤＰＢ情報を生成する（ステップＳ１２）。

例えば、図３に示すように、ＤＰＢ１０８内に記憶されている現在のピクチャがピクチャ３１〜３４の計４枚であるものとする。また、１枚目のピクチャ３１のデコード順序は「１」、表示順序は「１」であり、２枚目のピクチャ３２のデコード順序は「２」、表示順序は「４」であり、３枚目のピクチャ３３のデコード順序は「５」、表示順序は「７」であり、４枚目のピクチャ３４のデコード順序は「９」、表示順序は「８」であるものとする。

図１のＤＰＢ情報生成部１０９は、ランダムアクセスポイントであることを示す信号と、そのランダムアクセスポイント検出時点におけるＤＰＢ１０８内にある４枚すべてのピクチャ３１〜３４のピクチャ情報（デコード順序に依存した番号、ピクチャの表示順に依存した番号）と、ＤＰＢ初期化情報と、ＤＰＢ制御信号などを、ＤＰＢ情報として後述するエントロピー符号化部１１１に供給してビットストリームにヘッダとして付加する。これにより、ランダムアクセスポイントを挟んでＤＰＢの制御を行っている部分にランダムアクセスした場合にも不具合なく復号化することが可能になるため、ランダムアクセスポイントでのランダムアクセスが保証できる。ランダムアクセスについての詳しい説明は、後述する動画像復号化装置で説明する。

図１に戻って説明する。図１のエントロピー符号化部１１１は、直交変換・量子化部１０５から出力された量子化後信号をエントロピー符号化して得た各ピクチャの符号化データに、ＤＰＢ情報生成部１０９で生成されたＤＰＢ情報をヘッダ情報として付加してエントロピー符号化する。

図４は、エントロピー符号化部１１１から出力されるビットストリーム中のピクチャデータの一例の構成を示す。図４に示すように、ピクチャデータは、ランダムアクセスポイントであるか否かを示すフラグ（リカバリポイント）４１、ＤＰＢ情報生成部１０９で生成されたＤＰＢ情報４２、後述するＤＰＢ制御信号を含むその他のヘッダ４３、符号化データ４４が時系列的に合成された構成である。上記のフラグ４１は、ランダムアクセスポイントを示す所定の値のときは、ランダムアクセスポイント信号として検出される。

エントロピー符号化部１１１から出力された上記のピクチャデータの時系列合成信号であるビットストリームは、出力端子１１２を介して、図示しない公知の記録装置により記録媒体に記録されるか、あるいは通信ネットワークを介して配信される。

このように、図１に示した構成の符号化装置１００は、ランダムアクセスポイントにおいて、その時点でのＤＰＢ１０８の記憶ピクチャに関するＤＰＢ情報をヘッダ情報としてビットストリームに付加することで、後述するようにランダムアクセスポイントでのランダムアクセスを保証しつつ、ランダムアクセスポイントを挟んでＤＰＢ制御を行うことができるため、符号化効率を向上させることができる。

次に、ＤＰＢの制御方法について説明する。まず、一般的なＤＰＢの詳細な制御方法について図５と共に説明する。図５において、平行四辺形はピクチャを示し、そのピクチャ内の数字は、復号化（デコード）順を示す。この図５の例では、ＤＰＢに蓄積するピクチャの枚数制限は４枚分であるとする。

図５（Ａ）は、０〜３までのピクチャについて符号化／復号化が終了した状態を示しており、すべてのピクチャをＤＰＢ中に蓄積している。図５（Ｂ）は、さらにピクチャ４について符号化／復号化が終了した状態を示しており、ピクチャ４をＤＰＢに蓄積するためには、ＤＰＢ内にある０〜３までのピクチャのうち、少なくとも１つのピクチャをＤＰＢから消去する必要がある。

従来の符号化方式では、ＦＩＦＯ（First In,First Out）と呼ばれる方式で、古いピクチャから順にＤＰＢから消去することで、ＤＰＢを暗示的に制御していた。しかし、このＦＩＦＯ方式では、最も古いピクチャであるピクチャ０を参照画像としてＤＰＢに残したい場合には対応できなかった。

そこで、消去したいピクチャ番号の情報をビットストリーム中に付加することで、ＤＰＢを詳細に制御することが可能となる。つまり、消去するピクチャはピクチャ１であるという情報をビットストリーム中に明示的に付加することで、図５（Ｂ）に示すように、ＤＰＢ内のピクチャ１を消去することでピクチャ０をＤＰＢ内に残すことができる。同様に、図５（Ｃ）は、ピクチャ５について符号化／復号化が終了した状態を示しており、ピクチャ５をＤＰＢに蓄積するために、ピクチャ２を消去した状態を示す。

このように、ＤＰＢを詳細に制御することを可能にしたことで、参照画像として適切なピクチャをＤＰＢ内に参照画像として蓄積することができ、その結果、精度の高い動き補償予測が行えるため符号化効率を向上させることができる。

次に、本実施の形態の動画像符号化装置１００による符号化効率を向上させることが可能なＤＰＢ制御の一例について図６及び図７と共に説明する。図６は、平行四辺形で示すピクチャを表示順に並べた図を示し、ピクチャ内の数字はそのピクチャのデコード（復号化）順を示す。ここで、便宜上、以下の説明ではデコード順がＮ番目のピクチャをピクチャＮというものとする。また、斜線を付して示すピクチャは、参照画像を示しており、矢印は動き補償予測に用いる参照画像を示している。例えば、ピクチャ７はピクチャ１とピクチャ６から動き補償予測を行うことを矢印で示している。

また、ピクチャ０とピクチャ５がランダムアクセスポイントのピクチャである。また、ピクチャ０、３、２、４、１の５枚のピクチャがグループＡを構成しており、続いて表示されるピクチャ７、６、８、５の４枚のピクチャがグループＢを構成している。ここで、グループとは、デコード順でランダムアクセスポイントのピクチャから次のランダムアクセスポイントのピクチャの直前のピクチャまでのピクチャ群をいう。ここでは、ランダムアクセスポイントのピクチャ０は、０番目のデコード順のピクチャであり、次のランダムアクセスポイントのピクチャ５は、５番目のデコード順のピクチャであるため、ピクチャ０からピクチャ４までがグループＡを構成し、ピクチャ５からピクチャ７までがグループＢを構成する。従って、グループＡ、Ｂには、それぞれ１枚のランダムアクセスポイントのピクチャ０、ピクチャ５を含んでいる。更に、本実施の形態の動画像符号化装置１００は、図６の例ではグループＢのピクチャ７、ピクチャ６は、異なるグループＡのピクチャ１も参照画像として用いて動き補償予測を行って符号化する。

図７は、参照画像を記憶するＤＰＢ１０８の大きさが３枚である場合に、図６中の矢印で示した動き補償予測を行うことを可能にするＤＰＢ制御の説明図を示す。図７（Ａ）は、ピクチャ２の符号化が終了した時点でのＤＰＢ１０８の記憶内容を示す。ピクチャ２は図６に示すように、ピクチャ０とピクチャ１とを参照画像として動き補償予測に用いて符号化され、また符号化されたピクチャ２も他のピクチャの参照画像として動き補償予測に用いられる。これらのピクチャ０、１、２はＤＰＢ１０８の大きさである３枚以下であるので、ＤＰＢ１０８に図７（Ａ）に示すように参照画像として蓄積される。

続いて、ピクチャ３が図６に示すようにＤＰＢ１０８内のピクチャ０とピクチャ２とを参照画像として動き補償予測に用いて符号化されるが、ピクチャ３は図６に示すように、参照画像として用いられないので、ＤＰＢ１０８には蓄積されない。続いて、ピクチャ４が図６に示すようにＤＰＢ１０８内のピクチャ２とピクチャ１とを参照画像として動き補償予測に用いて符号化されるが、ピクチャ４は図６に示すように、参照画像として用いられないので、ＤＰＢ１０８には蓄積されない。

続いて、ランダムアクセスポイントのピクチャ５が図６に示すように他のピクチャを参照画像として用いることなく符号化される。このピクチャ５は図６に示すように、ピクチャ６、８の符号化時に参照画像として動き補償予測に用いられるので、ＤＰＢ１０８に蓄積される。しかし、ピクチャ５の符号化終了時には、ＤＰＢ１０８には図７（Ａ）に示すようにその大きさ一杯に既にピクチャ０、１、２が蓄積されているので、ピクチャ５をＤＰＢ１０８に蓄積するには、既に蓄積されている３枚のピクチャの中から１枚のピクチャを消去する必要がある。

ここで、ピクチャ５の符号化終了後に符号化するピクチャ６〜ピクチャ８の動き補償予測には、図６に示すようにピクチャ０は使用しないので、ピクチャ５の符号化終了時には図７（Ｂ）に示すように、ピクチャ０を消去してピクチャ５をＤＰＢ１０８に蓄積する。この消去はピクチャ０がＤＰＢ１０８にピクチャ１、２よりも早く記憶されたピクチャであるので、ＦＩＦＯ方式での制御で対応可能である。

続いて、ピクチャ６が図６に示すようにＤＰＢ１０８内のピクチャ１とピクチャ５とを参照画像として動き補償予測に用いて符号化される。このピクチャ６は図６に示すように、ピクチャ７、８の符号化時に参照画像として動き補償予測に用いられるので、ＤＰＢ１０８に蓄積される。しかし、ピクチャ６の符号化終了時には、ＤＰＢ１０８には図７（Ｂ）に示すようにその大きさ一杯に既にピクチャ１、２、５が蓄積されているので、ピクチャ６をＤＰＢ１０８に蓄積するには、既に蓄積されている３枚のピクチャの中から１枚のピクチャを消去する必要がある。

ここで、ピクチャ６の符号化終了後に符号化するピクチャ７〜ピクチャ８の動き補償予測には、図６に示すようにピクチャ２は使用しないが、ピクチャ１はピクチャ７の符号化時に参照画像として動き補償予測を行うためにＤＰＢ１０８に蓄積しておく必要がある。従って、ピクチャ６の符号化終了時には図７（Ｃ）に示すように、ピクチャ１よりも先にピクチャ２をＤＰＢ１０８から消去してピクチャ６をＤＰＢ１０８に蓄積する。この消去はＦＩＦＯ方式では対応できないため、ピクチャ６のＤＰＢ制御信号にピクチャ２をＤＰＢ１０８から消去する情報を伝達することで対応する。

ここで、従来は上記のようなランダムアクセスポイントを挟んだＤＰＢ制御が禁止されていたため、ランダムアクセスポイントの前後で動き補償予測を行う参照画像が制限され、符号化効率を向上させることができなかった。

これに対し、本実施の形態の動画像符号化装置１００では、ランダムアクセスポイントのピクチャ５検出時点でＤＰＢ１０８には、図７（Ａ）に示すように、そのピクチャ５と異なるグループＡの３枚のピクチャ０、１、２が記憶されており、かつ、それらのピクチャ０、１、２のデコード順序に依存する番号と表示順序に依存する番号とを含むＤＰＢ情報をヘッダ情報としてビットストリームに付加するようにしているので、ランダムアクセスポイントから復号化した場合のＤＰＢの記憶状態を知ることができる。そのため、復号化装置にて不具合なくＤＰＢ制御情報を認識でき、図７（Ｂ）、（Ｃ）に示すようなランダムアクセスポイントを挟んだＤＰＢ制御ができる。従って、本実施の形態によれば、ランダムアクセスポイントでのランダムアクセスを保証しつつ、ランダムアクセスポイントを挟んでＤＰＢの制御を行うことができ、符号化効率を向上させることができる。

次に、本実施の形態の動画像符号化装置１００により符号化して得られたビットストリームを復号化する動画像復号化装置について図面と共に説明する。

図８は、本実施の形態の動画像符号化装置１００により生成されたビットストリームが、記録媒体又は配信ネットワークを介して入力される入力端子２０１と、エントロピー復号化を行うエントロピー復号化部２０２と、エントロピー復号化部２０２からの信号が供給されるＤＰＢ初期化部２０３、動き補償部２０４及び逆量子化・逆直交変換部２０５と、加算部２０６と、復号画像メモリ（ＤＰＢ）２０７とから構成されている。この動画像復号化装置２００は、ＤＰＢ初期化部２０３を備えている点に特徴がある。

次に、この動画像復号化装置２００の動作について説明する。エントロピー復号化部２０２は、記録媒体又は配信ネットワークより入力端子２０１を介して入力された、例えば図１の動画像符号化装置１００により生成されたビットストリームのエントロピー復号化を行い、復号化して得られた信号をＤＰＢ初期化部２０３、動き補償部２０４及び逆量子化・逆直交変換部２０５にそれぞれ供給する。

動き補償部２０４は、エントロピー復号化部２０２で復号化して得られた動きベクトルを用いて、ＤＰＢ２０７から供給される参照画像信号より動き補償予測を行い、動き補償予測信号を生成して加算部２０６へ出力する。逆量子化・逆直交変換部２０５は、エントロピー復号化部２０２で復号化して得られた直交変換量子化係教を、逆量子化して直交変換係数を生成し、更にその直交変換係数を逆直交変換して、加算部２０６へ出力する。

加算部２０６は、逆量子化・逆直交変換部２０５から出力された信号と、動き補償部２０４から出力された動き補償予測信号とを加算して復号画像信号を生成し、その復号画像信号を出力端子２０８へ出力する一方、ＤＰＢ２０７に参照画像として供給してピクチャ単位で蓄積させる。

ＤＰＢ初期化部２０３は、エントロピー復号化部２０２で復号化して得られたピクチャのヘッダにＤＰＢ初期化情報等のＤＰＢ情報（図４の４２）が付加されている場合に、そのＤＰＢ情報に従ってＤＰＢ２０７を初期化する。

ここで、ＤＰＢ初期化部２０３の動作について図９のフローチャートを用いて詳しく説明する。

ＤＰＢ初期化部２０３は、入力されるピクチャデータ中のヘッダにＤＰＢ情報が付加されているか否かを監視し（ステップＳ２１）、ＤＰＢ情報が付加されていることを検出した場合は、その時点でＤＰＢ２０７内に記憶されているピクチャ情報（デコード順序に依存した番号、ピクチャの表示順に依存した番号）に一致するピクチャがＤＰＢ２０７に存在しているかのようにＤＰＢ２０７を初期化する（ステップＳ２２）。

ここで、図３と共に前述したように、ＤＰＢ情報は、ランダムアクセスポイント検出時点における動画像符号化装置１００内のＤＰＢ１０８内にあるすべてのピクチャのピクチャ情報（デコード順序に依存した番号、ピクチャの表示順に依存した番号）と、ＤＰＢ初期化情報などからなる。従って、例えば、ピクチャデータが図４に示した構成の場合に、ＤＰＢ初期化情報などを示すヘッダ４２に、図１０のようなデータ（ＤＰＢ情報）が付加されている。

図１０に示すデータ（ＤＰＢ情報）は、ＤＰＢ初期化フラグと、初期化枚数と、その初期化枚数分のピクチャのピクチャ情報（デコード順序に依存した番号、ピクチャの表示順に依存した番号）とからなる。先頭のＤＰＢ初期化フラグは、値が「１」であるときＤＰＢの初期化が必要であることを意味し、値が「０」のときはＤＰＢの初期化が不要であることを意味する。ここでは、ＤＰＢ初期化フラグの値が「１」であるので、ＤＰＢの初期化が必要であることを意味する。

次に、図１０に示す初期化枚数の値が「４」であることは、ピクチャ４枚分のＤＰＢ情報が付加されていることを意味する。従って、図１０に示すように、初期化枚数に続いて、デコード順序と表示順序の組が４組付加されている。そのうち、１番目のデコード順序と表示順序の組の値が、それぞれ「１」であるので、これらは１枚目のピクチャのデコード順序が「１」であり表示順序が「１」であることを示している。続く２番目のデコード順序と表示順序の組は、２枚目のピクチャのデコード順序が「２」であり表示順序が「４」であることを示している。同様に、３番目のデコード順序と表示順序の組は、３枚目のピクチャのデコード順序が「５」であり表示順序が「７」であることを示しており、４番目のデコード順序と表示順序の組は、４枚目のピクチャのデコード順序が「９」であり表示順序が「８」であることを示している。すなわち、上記のＤＰＢ情報は、ランダムアクセスポイントのピクチャ検出時点でのＤＰＢ２０７に存在する４枚のピクチャが、そのデコード順序と表示順序が上記の値に設定された４枚のピクチャであるようにＤＰＢ２０７を初期化する。

このようなＤＰＢ情報は、ランダムアクセスを行わずに復号化を行った場合のＤＰＢ２０７の記憶状態を示すものであるため、ランダムアクセスを行った場合に、ランダムアクセスを行わずに復号化を行った場合のＤＰＢ２０７の記憶状態を知ることができる。そのため、ビットストリームにランダムアクセスポイントを挟んでＤＰＢを制御するようなＤＰＢ制御信号が含まれていた場合にも、不具合なく復号化を行うことが可能となる。

このように、動画像復号化装置２００では、ランダムアクセスポイントでのランダムアクセスを保証しつつ、ランダムアクセスポイントを挟んでＤＰＢ制御を行うことができるため、効率良く符号化された動画像符号化信号にランダムアクセスして復号化することができる。

なお、動画像復号化装置２００では、ランダムアクセスポイントにおいてＤＰＢ２０７の記憶状態をいち早く確認することができるため、ランダムアクセスポイントを挟んで連続デコードを行っている場合に、実際のＤＰＢ状態とヘッダに付加されているＤＰＢ状態に関する情報を比較する部を設けることによって、いち早くＤＰＢエラーを察知することが可能となる。

また、本発明は以上の実施の形態に限定されるものではなく、例えば上記の動画像符号化装置１００の機能をコンピュータに実現させるための動画像符号化プログラムも含むものである。この動画像符号化プログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。

なお、以上の実施の形態では、ＤＰＢ情報はＤＰＢ内の各ピクチャの復号化順序に依存した番号及び表示順に依存した番号の両方を示す情報を含むものとして説明したが、少なくともどちらか一方の番号を示す情報を含むものとしてもよい。

本発明は、動画像符号化装置、プログラムに関するもので、特に符号化効率を向上させつつランダムアクセスが可能となるように、動画像符号化信号を符号化する場合に非常に有用である。

本発明の動画像符号化装置の一実施の形態のブロック図である。 図１中のＤＰＢ情報生成部の動作説明用フローチャートである。 ＤＰＢ情報生成の一例を示す説明図である。 ＤＰＢ情報を含んだピクチャデータの一例の構成を示す図である。 ＤＰＢを詳細に制御する一例を示す説明図である。 符号化効率を向上させるＤＰＢ制御方法の一例を示す説明図（その１）である。 符号化効率を向上させるＤＰＢ制御方法の一例を示す説明図（その２）である。 本発明により符号化して得られたビットストリームを復号化する動画像復号化装置の一例のブロック図である。 図８中のＤＰＢ初期化部の動作説明用フローチャートである。 ＤＰＢ情報の一例を示す説明図である。 参照画像を蓄積するＤＰＢの説明図である。 出力画像の待機のためのＤＰＢの説明図である。 ランダムアクセスポイントでのランダムアクセスの保証についての説明図である。

符号の説明

１００ 動画像符号化装置
１０１ 画像信号入力端子
１０２ 動きベクトル検出部
１０３、２０４ 動き補償部
１０４ 減算部
１０５ 直交変換・量子化部
１０６、２０６ 加算部
１０７、２０５ 逆量子化・逆直交変換部
１０８、２０７ 復号画像メモリ（ＤＰＢ）
１０９ ＤＰＢ情報生成部
１１０ ランダムアクセスポイント信号入力端子
１１１ エントロピー符号化部
１１２ ビットストリーム出力端子
２００ 動画像復号化装置
２０１ ビットストリーム入力端子
２０２ エントロピー復号化部
２０３ ＤＰＢ初期化部
２０８ 復号画像信号出力端子

Claims (3)

1. 動画像信号を一枚の画像であるピクチャ単位で符号化する際に、符号化対象のピクチャと、復号画像メモリから読み出した既に局部復号されたピクチャである参照画像とを用いた動き補償予測を行って動き補償予測信号を生成し、前記符号化対象のピクチャと前記動き補償予測信号との差分信号をエントロピー符号化して前記ピクチャ単位の符号化信号を生成する符号化信号生成ステップと、
   前記符号化信号生成ステップで生成する符号化信号が、復号化時における再生表示順で一のピクチャ以降のピクチャを再生可能とする前記一のピクチャに設定されるランダムアクセスポイントのピクチャの符号化信号であるか否かを検出するステップと、
   前記ランダムアクセスポイントのピクチャであることを検出した時は、そのランダムアクセスポイントのピクチャの符号化時点における前記復号画像メモリ内に蓄積されている各ピクチャの復号化順序を示す情報及び再生表示順を示す情報の内の少なくとも一方の情報を含む制御情報を生成する制御情報生成ステップと、
   前記ランダムアクセスポイントのピクチャの前記符号化信号に、前記制御情報をヘッダ情報として付加してビットストリームを生成するビットストリーム生成ステップと
   を含むことを特徴とする動画像符号化方法。
2. 動画像信号を一枚の画像であるピクチャ単位で符号化する際に、符号化対象のピクチャと、復号画像メモリから読み出した既に局部復号されたピクチャである参照画像とを用いた動き補償予測を行って動き補償予測信号を生成し、前記符号化対象のピクチャと前記動き補償予測信号との差分信号をエントロピー符号化して前記ピクチャ単位の符号化信号を生成する符号化信号生成手段と、
   前記符号化信号生成手段で生成する符号化信号が、復号化時における再生表示順で一のピクチャ以降のピクチャを再生可能とする前記一のピクチャに設定されるランダムアクセスポイントのピクチャの符号化信号であるか否かを検出する検出手段と、
   前記ランダムアクセスポイントのピクチャであることを検出した時は、そのランダムアクセスポイントのピクチャの符号化時点における前記復号画像メモリ内に蓄積されている各ピクチャの復号化順序を示す情報及び再生表示順を示す情報の内の少なくとも一方の情報を含む制御情報を生成する制御情報生成手段と、
   前記ランダムアクセスポイントのピクチャの前記符号化信号に、前記制御情報をヘッダ情報として付加してビットストリームを生成するビットストリーム生成手段と
   を有することを特徴とする動画像符号化装置。
3. コンピュータに、
   動画像信号を一枚の画像であるピクチャ単位で符号化する際に、符号化対象のピクチャと、復号画像メモリから読み出した既に局部復号されたピクチャである参照画像とを用いた動き補償予測を行って動き補償予測信号を生成し、前記符号化対象のピクチャと前記動き補償予測信号との差分信号をエントロピー符号化して前記ピクチャ単位の符号化信号を生成する符号化信号生成ステップと、
   前記符号化信号生成ステップで生成する符号化信号が、復号化時における再生表示順で一のピクチャ以降のピクチャを再生可能とする前記一のピクチャに設定されるランダムアクセスポイントのピクチャの符号化信号であるか否かを検出するステップと、
   前記ランダムアクセスポイントのピクチャであることを検出した時は、そのランダムアクセスポイントのピクチャの符号化時点における前記復号画像メモリ内に蓄積されている各ピクチャの復号化順序を示す情報及び再生表示順を示す情報の内の少なくとも一方の情報を含む制御情報を生成する制御情報生成ステップと、
   前記ランダムアクセスポイントのピクチャの前記符号化信号に、前記制御情報をヘッダ情報として付加してビットストリームを生成するビットストリーム生成ステップと
   を実行させることを特徴とする動画像符号化プログラム。

Images