JP2007221202A - 動画像符号化装置及び動画像符号化プログラム - Google Patents

Abstract

【課題】従来は、双予測ピクチャの符号化時に未来のピクチャの動きベクトルの大きさを用いて、時間相関タイプ又は空間相関タイプに切り替えているが、最適なダイレクトモードタイプが選択できず、符号化効率が低下してしまう。
【解決手段】ダイレクトモード使用可能な双予測ピクチャの符号化時に、ダイレクトモードタイプ選択手段１０４は、係数符号量情報格納手段１０３からの直交変換・量子化して得られた符号化対象の双予測ピクチャの参照画像の係数符号量を閾値と比較し、係数符号量が閾値より少ないときは時間相関が高いと判断しダイレクトモードタイプを時間相関タイプとし、係数符号量が閾値以上のときは時間相関が低いと判断しダイレクトモードタイプを空間相関タイプに選択・切り替えするようにしたため、係数符号量の大小は時間相関の高低と一致するため、最適なダイレクトモードタイプが選択できる。
【選択図】図１

Description

本発明は動画像符号化装置及び動画像符号化プログラムに係り、特にデジタル動画像の符号化の際に、ダイレクトモードを用いて動き補償を行う動画像符号化装置及び動画像符号化プログラムに関する。

ＭＰＥＧ（Moving Picture Experts Group）に代表される動画像の圧縮符号化では、画像信号のフレーム内の近傍画素間の相関やフレーム間の相関を利用して符号量を圧縮する方式が用いられる。フレーム内の近傍画素間の相関による冗長度は、ＤＣＴ（離散コサイン変換：Discrete Cosine Transform）に代表される直交変換を行うことにより削減できる。フレーム間の相関による冗長度は、動き補償を行うことにより削減できる。

また、動き補償の予測効率を向上させるために、ＭＰＥＧ−４ＡＶＣ（Ｈ.２６４）などの動画像符号化では、複数の参照ピクチャを選択できたり、動き補償のブロックサイズを小さくしたりすることで、予測効率を向上させている。その反面、参照ピクチャやブロックサイズを識別する情報や動きベクトルの本数増加により、動き補償に必要な情報量が大きくなってしまう。

そこで、ＭＰＥＧ−４ＡＶＣ（Ｈ.２６４）などの動画像符号化では、動き補償に必要な情報が非常に小さいダイレクトモードと呼ばれる特別な符号化モードが存在する。ダイレクトモードは、動き情報を符号化済みブロックの動き情報から予測生成する符号化モードであり、符号化対象ブロックの予測モードをダイレクトモードと送信するだけで、参照ピクチャやブロックサイズ、動きベクトルが自動的に決定されるモードである。このため、ダイレクトモードは、動き補償に必要な情報量が非常に小さい。

上記のダイレクトモードは、符号化対象ピクチャが双予測ピクチャ（Ｂピクチャ）の場合に使用可能な符号化モードである。なお、ＭＰＥＧ２などの双方向予測ピクチャ（Ｂピクチャ）では、表示順で符号化対象のピクチャに対して過去方向と未来方向の各１枚の双方向の参照ピクチャを参照して予測符号化を行っていたが、上記の双予測ピクチャは、過去方向か未来方向かにとらわれず、最大２つの符号化済みの参照ピクチャを予測符号化のために参照可能なピクチャである。

なお、ＭＰＥＧ−４ＡＶＣ（Ｈ.２６４）では、ＭＰＥＧ２と同様に、画面内符号化画像であるＩピクチャ（Ｉスライス）と、画面間の順方向予測符号化画像であるＰピクチャ（Ｐスライス）も存在するが、双予測ピクチャ（Ｂピクチャ）は、符号化対象ピクチャ内の符号化単位毎に画面内符号化や画面間の予測符号化も使用可能である。

さて、上記のダイレクトモードには、主として時間方向の動き情報の相関を利用する時間相関ダイレクトモードタイプと、主として空間方向の動き情報の相関を利用する空間相関ダイレクトモードタイプの２種類のダイレクトモードタイプがある。

時間相関ダイレクトモードタイプ及び空間相関ダイレクトモードタイプにはそれぞれ特徴があり、時間相関ダイレクトモードタイプは等速度運動をしている場合に効果が高く、空間相関ダイレクトモードタイプは隣接ブロックと同じ動きをしている場合に効果が高い。つまり、ダイレクトモードタイプを適応的に切り替えることができれば、より符号化効率を向上させることができる。そこで、ダイレクトモードタイプを適応的に切り替える動画像符号化装置が研究されている。

従来の動画像符号化装置の一例として、未来方向参照画像の動きベクトルの大きさを用いてダイレクトモードタイプを切り替える動画像符号化装置が従来から知られている（例えば、特許文献１参照）。図５は従来の動画像符号化装置の一例のブロック図を示す。この従来の動画像符号化装置は図５に示すように、減算器２０１と、動き補償手段２０２と、動き情報格納手段２０３と、ダイレクトモードタイプ選択手段２０４と、直交変換・量子化手段２０５と、逆量子化・逆直交変換手段２０６と、加算器２０７と、画像メモリ２０８と、エントロピー符号化手段２０９とから構成されている。

この動画像符号化装置では、端子２００より入力された動画像信号は、減算器２０１に供給され、必要に応じて動き補償手段２０２からの動き補償信号と減算されて差分信号（動き補償の予測誤差）とされ、直交変換・量子化手段２０５により直交変換及び量子化されて、発生した係数信号が逆量子化・逆直交変換手段２０６と、エントロピー符号化手段２０９に供給される。

逆量子化・逆直交変換手段２０６は、係数信号を逆量子化・逆直交変換した後、加算器２０７で動き補償手段２０２からの動き補償信号と加算されて参照画像信号とされて画像メモリ２０８に一時蓄積された後、動き補償手段２０２及びダイレクトモードタイプ選択手段２０４にそれぞれ供給される。

動き補償手段２０２は、予測モードを決定し、決定した予測モードで動き補償を行う。ここで、ダイレクトモードが使用可能な双予測ピクチャ（Ｂピクチャ）の場合は、ダイレクトモードタイプ選択手段２０４で決定したダイレクトモードタイプが予測モード候補に含まれている。また、予測モードや動きベクトルなどの動き補償に必要な情報をエントロピー符号化手段２０９に供給する。

動き情報格納手段２０３は、動き補償手段２０２から出力された、参照画像として蓄積されるピクチャの動き情報を格納し、ダイレクトモードが使用可能な双予測ピクチャ（Ｂピクチャ）符号化時に、符号化対象ブロックと同位置に対応するブロックの動き情報をダイレクトモードタイプ選択手段２０４に供給する。

ダイレクトモードタイプ選択手段２０４は、ダイレクトモードタイプが使用可能な双予測ピクチャ（Ｂピクチャ）符号化時に、動き情報格納手段２０３に格納されている符号化対象ブロックと同位置に対応する未来方向参照ピクチャの動き情報を用いて使用するダイレクトモードタイプを時間相関タイプか空間相関タイプかを選択し、選択したダイレクトモードタイプを動き補償手段２０２に供給する。

ここで、ダイレクトモードタイプ選択手段２０４の動作について、図６のフローチャートを用いて説明する。まず、ダイレクトモードタイプが使用可能な双予測ピクチャ（Ｂピクチャ）符号化時に、符号化対象ブロックと同位置に対応する未来方向参照ピクチャの動きベクトルの大きさ（Ｘ方向＋Ｙ方向）が閾値β未満かどうかを判定し（ステップＳ２１）、β未満であるときはダイレクトモードタイプを時間相関タイプとする（ステップＳ２２）。一方、動きベクトルの大きさが閾値β未満でなかった場合は、ダイレクトモードタイプを空間相関タイプとする（ステップＳ２３）。

再び図５に戻って説明する。エントロピー符号化手段２０９は、直交変換・量子化手段２０５で発生した係数信号と、動き補償手段２０２で発生した予測モードや動きベクトルなどの動き補償に必要な情報とをエントロピー符号化し、得られた符号データを端子２１０を介して外部に出力する。

特開２００４−１６５７０３号公報

このように、上記の従来の動画像符号化装置では、未来のピクチャの動きベクトルの大きさを用いて、動きベクトルが閾値β未満の場合は時間相関が高いと判断してダイレクトモードタイプを時間相関タイプとし、動きベクトルが閾値β以上と大きい場合は、時間相関が低いと判断しダイレクトモードタイプを空間相関タイプに切り替えているが、動きベクトルの大きさは時間相関の高低と一致するものではない。そのため、最適なダイレクトモードタイプが選択できず、符号化効率が低下してしまう。

本発明は上記の点に鑑みなされたもので、ダイレクトモードタイプが使用可能な双予測ピクチャ（Ｂピクチャ）符号化時に、未来方向参照ピクチャの係数符号量の大小に応じて、ダイレクトモードタイプを時間相関タイプと空間相関タイプとを切り替えることにより、符号化効率を向上し得る動画像符号化装置及び動画像符号化プログラムを提供することを目的とする。

上記の目的を達成するため、本発明の動画像符号化装置は、参照ピクチャを用いた動き補償による圧縮符号化を行う動画像符号化装置であって、動き補償の一つのモードとして、符号化対象ピクチャの符号化単位の動き情報となる、参照すべき参照ピクチャ、動き補償単位のサイズ、及び動きベクトルを、符号化済みの参照ピクチャの動き情報から自動的に予測指定するダイレクトモードを備え、ダイレクトモードは、そのダイレクトモードタイプとして用意された時間方向の動き情報の相関を利用する時間相関タイプと、空間方向の動き情報の相関を利用する空間相関タイプとの２つのタイプのうちの一方が選択されて実行される動画像符号化装置であって、符号化済みの参照ピクチャの動き補償信号と符号化対象ピクチャとの差分信号である動き補償の予測誤差を、所定画素数からなる符号化単位毎に直交変換・量子化することで算出される係数符号量を格納する係数符号量格納手段と、符号化対象ピクチャの動き補償としてダイレクトモードを使用する際に、係数符号量格納手段に格納されている、符号化対象ピクチャの表示タイミングを基準として表示順で未来方向の参照ピクチャに関する、符号化対象ピクチャ内の現符号化単位に相当する位置の係数符号量を閾値と比較し、係数符号量が閾値より少ないときは現符号量単位のダイレクトモードタイプを時間相関タイプに選択し、係数符号量が閾値以上のときは現符号化単位のダイレクトモードタイプを空間相関タイプに選択するダイレクトモードタイプ選択手段とを有することを特徴とする。

また、上記の目的を達成するため、本発明の動画像符号化プログラムは、上記の発明の動画像符号化装置の構成手段をコンピュータにより機能させることを特徴とする。

上記の本発明の動画像符号化装置及び動画像符号化プログラムでは、符号化対象ピクチャの表示タイミングを基準として表示順で未来方向の参照ピクチャに関する、符号化対象ピクチャ内の現符号化単位に相当する位置の係数符号量を閾値と比較し、係数符号量が閾値より少ないときは時間相関が高いと判断しダイレクトモードタイプを時間相関タイプとし、係数符号量が閾値以上のときは時間相関が低いと判断しダイレクトモードタイプを空間相関タイプに選択・切り替えするようにしたため、係数符号量の大小は時間相関の高低と一致するため、最適なダイレクトモードタイプが選択できる。

本発明によれば、動きベクトルの大きさではなく、未来方向参照ピクチャの係数符号量情報を用いて、係数符号量が閾値より少ない場合は時間相関が高いと判断しダイレクトモードタイプを時間相関タイプとし、係数符号量が閾値以上の場合は時間相関が低いと判断しダイレクトモードタイプを空間相関タイプに切り替えることにより、係数符号量の大小は時間相関の高低と一致するため、最適なダイレクトモードタイプが選択でき、これにより、符号化効率を向上できる。

次に、本発明を実施するための最良の形態について図面と共に説明する。図１は本発明になる動画像符号化装置の一実施の形態のブロック図を示す。本実施の形態は、図１に示すように、減算器１０１と、動き補償手段１０２と、係数符号量情報格納手段１０３と、ダイレクトモードタイプ選択手段１０４と、直交変換・量子化手段１０５と、逆量子化・逆直交変換手段１０６と、加算器１０７と、画像メモリ１０８と、エントロピー符号化手段１０９とから構成されている。

次に、本実施の形態の動作について説明する。端子１００を介して入力された動画像信号は、減算器１０１に供給され、必要に応じて動き補償手段１０２から動き補償信号と減算されて差分信号（動き補償の予測誤差）とされ、直交変換・量子化手段１０５により直交変換及び量子化されて、発生した係数信号が逆量子化・逆直交変換手段１０６と、エントロピー符号化手段１０９に供給される。

逆量子化・逆直交変換手段１０６は、係数信号を逆量子化・逆直交変換した後、加算器１０７で動き補償手段１０２からの動き補償信号と加算されて参照画像信号とされて画像メモリ１０８に一時蓄積された後、動き補償手段１０２及びダイレクトモードタイプ選択手段１０４にそれぞれ供給される。

動き補償手段１０２は、予測モードを決定し、決定した予測モードで動き補償を行う。ここで、ダイレクトモードが使用可能な双予測ピクチャ（Ｂピクチャ）の場合は、ダイレクトモードタイプ選択手段１０４で決定したダイレクトモードタイプが予測モード候補に含まれている。また、予測モードや動きベクトルなどの動き補償に必要な情報をエントロピー符号化手段１０９に供給する。

すなわち、前述したように、ＭＰＥＧ−４ＡＶＣ（Ｈ.２６４）では、符号化対象ピクチャが双予測ピクチャの場合には、符号化済みの参照ピクチャの動き情報からブロック毎に予測する符号化モードであるダイレクトモードを用いて、符号化対象ピクチャと符号化済みの参照ピクチャとの間の動き補償を行うことが可能と規定されている。

係数符号量情報格納手段１０３は、直交変換・量子化手段１０５にて、参照画像として蓄積されるピクチャのブロック毎に直交変換・量子化した係数符号量情報を格納し、ダイレクトモードが使用可能な双予測ピクチャ（Ｂピクチャ）符号化時に、符号化対象ブロックと同じ空間位置に対応するブロックの係数符号量情報をダイレクトモードタイプ選択手段１０４に供給する。

ダイレクトモードタイプ選択手段１０４は、ダイレクトモードが使用可能な双予測ピクチャ（Ｂピクチャ）符号化時に、係数符号量情報格納手段１０３に格納されている符号化対象ブロックと同じ空間位置に対応する未来方向参照ピクチャの係数符号量情報を用いて、使用するダイレクトモードタイプを時間相関タイプか空間相関タイプかを選択し、選択したダイレクトモードタイプを動き補償手段１０２に供給する。

ここで、ダイレクトモードタイプ選択手段１０４の動作について、図２のフローチャートを用いて説明する。ダイレクトモードタイプ選択手段１０４は、まず、ダイレクトモードが使用可能な双予測ピクチャ（Ｂピクチャ）符号化時に、符号化対象ブロックと同位置に対応する未来方向参照ピクチャの係数符号量の大きさ（例えば係数符号量の総計値）が閾値α未満であるかどうか判定し（ステップＳ１１）、閾値α未満であったときは、ダイレクトモードタイプを時間相関タイプとする（ステップＳ１２）。

一方、係数符号量の大きさが閾値α未満でなかった場合は、ダイレクトモードタイプを空間相関タイプとする（ステップＳ３３）。ここで、閾値αは固定値でもよいが、未来方向参照ピクチャと過去方向参照ピクチャのピクチャ間距離に依存させたりしてもよい。

次に、時間相関タイプのダイレクトモードについて図３を用いて説明する。いま、順方向予測符号化画像であるＰピクチャＰ０、最大２枚の参照ピクチャを用いて符号化される双予測ピクチャであるＢピクチャＢ１、ＢピクチャＢ２、ＰピクチャＰ３の順で表示される信号が入力され、ＢピクチャＢ１を符号化する場合、時間相関タイプのダイレクトモードでは、符号化対象ＢピクチャＢ１に最も近い未来方向の参照ピクチャＰ３の、Ｂ１の符号化対象ブロック１１と同じ空間位置にあるブロック１２の動きベクトルＭＶ０（すなわち、Ｐ３とＰ３が参照する最も近い過去方向参照ピクチャＰ０との間のブロック１２の動きベクトルＭＶ０）をＢ１の時間位置で内分することにより、過去方向動きベクトルＭＶ１と未来方向動きベクトルＭＶ２を得る。

例えば、ＭＶ０＝｛６，−６｝の場合、ＭＶ１＝｛６，−６｝×（１／３）＝｛２，−２｝、ＭＶ２＝｛６，−６｝×（−２／３）＝｛−４，４｝となる。ここで、上記の（１／３）は、ＰピクチャＰ３とＰ１との間の時間間隔に対するＢピクチャＢ１とＰピクチャＰ０との時間間隔の比をスケーリングした値であり、また、上記の（−２／３）はＰピクチャＰ３とＰ１との間の時間間隔に対するＢピクチャＢ１とＰピクチャＰ３との時間間隔の比をスケーリングした値であり、また、動きベクトルＭＶ２は動きベクトルＭＶ０とは逆向きであるので負の値となっている。

この時間相関タイプのダイレクトモードでは、内分の基となる未来方向参照ピクチャの動きベクトルＭＶ０の精度が良いほど予測効率が向上する。そのため、符号化対象ブロックと同じ空間位置に対応する未来方向参照ピクチャのブロックの係数符号量の大きさが小さいほど予測効率が良いということになる。

次に、空間相関タイプのダイレクトモードについて図４を用いて説明する。空間相関タイプのダイレクトモードでは、符号化対象ブロックに隣接するブロックの動きベクトルから符号化対象ブロックの動きベクトルを予測することにより得る。例えば、予測ベクトルを図４に示すように、符号化対象ブロック２１の左位置のブロックの予測ベクトルＭＶ３、上位置のブロックの予測ベクトルＭＶ４、右上位置のブロックの予測ベクトルＭＶ５の水平成分と垂直成分の中間値（中央値）と規定した場合、符号化対象ブロック２１の予測ベクトルＰＭＶは次のようになる。

例えば、ＭＶ３＝｛０，−４｝、ＭＶ４＝｛−２，−３｝、ＭＶ５＝｛３，−５｝のとき、ＰＭＶ＝｛０，−４｝となる。この動きベクトルＰＭＶが空間相関タイプダイレクトモードの動きベクトルとなる。空間相関タイプのダイレクトモードは、符号化対象ブロックが隣接する動きベクトルと同じ動きの場合に予測効率が向上する。

このように、本実施の形態では、動きベクトルの大きさではなく、未来方向参照ピクチャの係数符号量情報を用いて、係数符号量が少ない場合は時間相関が高いと判断しダイレクトモードタイプを時間相関タイプとし、係数符号量が多い場合は時間相関が低いと判断しダイレクトモードタイプを空間相関タイプに切り替える。これにより、係数符号量情報の大小は時間相関の高低と一致するため、最適なダイレクトモードタイプが選択でき、符号化効率が向上する。

なお、本発明は、以上の実施の形態に限定されるものではなく、例えば上記動画像符号化装置の機能をコンピュータに実現させるため動画像符号化プログラムも含むものである。この動画像符号化プログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。また、本発明はＭＰＥＧ−４ＡＶＣ（Ｈ.２６４）に限定されるものではない。

本発明は、デジタル動画像の符号化に好適な、動画像符号化装置及び動画像符号化プログラムに関する。

本発明の動画像符号化装置の一実施の形態のブロック図である。 図１中のダイレクトモードタイプ選択手段の動作説明用フローチャートである。 時間相関タイプのダイレクトモード説明図である。 空間相関タイプのダイレクトモード説明図である。 従来の動画像符号化装置の一例のブロック図である。 図５中のダイレクトモードタイプ選択手段の動作説明用フローチャートである。

符号の説明

１０１ 減算器
１０２ 動き補償手段
１０３ 係数符号量情報格納手段
１０４ ダイレクトモード選択手段
１０５ 直交変換・量子化手段
１０６ 逆量子化・逆直交変換手段
１０７ 加算器
１０８ 画像メモリ
１０９ エントロピー符号化手段

Claims (2)

1. 参照ピクチャを用いた動き補償による圧縮符号化を行う動画像符号化装置であって、動き補償の一つのモードとして、符号化対象ピクチャの符号化単位の動き情報となる、参照すべき参照ピクチャ、動き補償単位のサイズ、及び動きベクトルを、符号化済みの参照ピクチャの動き情報から自動的に予測指定するダイレクトモードを備え、前記ダイレクトモードは、そのダイレクトモードタイプとして用意された時間方向の動き情報の相関を利用する時間相関タイプと、空間方向の動き情報の相関を利用する空間相関タイプとの２つのタイプのうちの一方が選択されて実行される動画像符号化装置であって、
   前記符号化済みの参照ピクチャの動き補償信号と前記符号化対象ピクチャとの差分信号である動き補償の予測誤差を、所定画素数からなる符号化単位毎に直交変換・量子化することで算出される係数符号量を格納する係数符号量格納手段と、
   前記符号化対象ピクチャの動き補償として前記ダイレクトモードを使用する際に、前記係数符号量格納手段に格納されている、前記符号化対象ピクチャの表示タイミングを基準として表示順で未来方向の参照ピクチャに関する、前記符号化対象ピクチャ内の現符号化単位に相当する位置の係数符号量を閾値と比較し、前記係数符号量が前記閾値より少ないときは前記現符号量単位の前記ダイレクトモードタイプを前記時間相関タイプに選択し、前記係数符号量が前記閾値以上のときは前記現符号化単位の前記ダイレクトモードタイプを前記空間相関タイプに選択するダイレクトモードタイプ選択手段と
   を有することを特徴とする動画像符号化装置。
2. 参照ピクチャを用いた動き補償による圧縮符号化をコンピュータにより行わせる動画像符号化プログラムであり、動き補償の一つのモードとして、符号化対象ピクチャの符号化単位の動き情報となる、参照すべき参照ピクチャ、動き補償単位のサイズ、及び動きベクトルを、符号化済みの参照ピクチャの動き情報から自動的に予測指定するダイレクトモードを備え、前記ダイレクトモードは、そのダイレクトモードタイプとして用意された時間方向の動き情報の相関を利用する時間相関タイプと、空間方向の動き情報の相関を利用する空間相関タイプとの２つのタイプのうちの一方が選択されて実行される動画像符号化を、コンピュータにより実行させる動画像符号化プログラムであって、
   前記符号化済みの参照ピクチャの動き補償信号と前記符号化対象ピクチャとの差分信号である動き補償の予測誤差を、所定画素数からなる符号化単位毎に直交変換・量子化することで算出される係数符号量を格納する係数符号量格納手段と、
   前記符号化対象ピクチャの動き補償として前記ダイレクトモードを使用する際に、前記係数符号量格納手段に格納されている、前記符号化対象ピクチャの表示タイミングを基準として表示順で未来方向の参照ピクチャに関する、前記符号化対象ピクチャ内の現符号化単位に相当する位置の係数符号量を閾値と比較し、前記係数符号量が前記閾値より少ないときは前記現符号量単位の前記ダイレクトモードタイプを前記時間相関タイプに選択し、前記係数符号量が前記閾値以上のときは前記現符号化単位の前記ダイレクトモードタイプを前記空間相関タイプに選択するダイレクトモードタイプ選択手段と
   して機能させることを特徴とする動画像符号化プログラム。
   
   
   

Images