JP2010268277A - 動画像符号化装置 - Google Patents

Abstract

【課題】画面内ピクチャと複数の画面間予測ピクチャから成るＧＯＰ構造を採る動画像符号化装置において、各ＧＯＰの境界における画質が不連続に変化するパルシング現象を抑制する。
【解決手段】入力フレームに対して領域ごとに符号化モードを切り替える符号化モード選択部１００と、ピクチャを小領域に分割してＤＣＴブロックごとに離散コサイン変換を行ってＤＣＴ係数１５１を出力するＤＣＴ部１０１と、前記ＤＣＴ部１０１が出力するＤＣＴ係数１５１を量子化する量子化部１０２と、入力フレームとそれ以前に入力されたフレームとの間の動きを補償し、動きベクトルを出力する動き補償部１０６と、前記ＤＣＴ係数１５１と前記動きベクトルの大きさとからパルシング強度１５９を求めるパルシング検出部１０８と、前記パルシング強度１５９に基づいて前記量子化の強度１５８を制御する量子化制御部１０７とを備える。
【選択図】図１

Description

本発明は、符号化装置であって、特に画面内符号化及び画面間予測符号化を選択的に実施して動画の符号化を行う動画像符号化装置に関する。

動画像の符号化方式、例えばＭＰＥＧ２規格における符号化方式では、画面を構成するピクチャとして画面内ピクチャ（Ｉピクチャ）及び画面間予測ピクチャを生成する。この画面間予測ピクチャを生成する際、動き補償技術等を適用することにより圧縮効率を高めている。なお、画面間予測ピクチャには過去方向のピクチャを用いて予測を行うＰピクチャと、過去および未来の両方のピクチャを予測に用いるＢピクチャとがある。

画面間予測ピクチャを生成する画面間予測符号化では、入力画像と予測画像の差分信号を符号化するため圧縮効率が高くなる。一方で、画面間予測で符号化したマクロブロックをデコードするためには動き補償で参照する全てのピクチャをメモリに格納する必要がある。したがって長時間にわたり画面間予測符号化を選択して符号化したビットストリームでは、映像再生時のランダムアクセス性が悪化するほか伝送エラーが発生した場合の伝搬範囲が大きくなる。

この課題に対し、０．５秒周期など任意の期間で入力画像を画面内ピクチャとして符号化し、ピクチャ間の依存関係を取り除くことが一般的である。ここで、画面内ピクチャと次の画面内ピクチャまでの複数の画面間予測ピクチャとを含む一連のピクチャの組は、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）と呼ばれ、このようなＧＯＰ構造を採用しているものでは、入力された映像信号は各ＧＯＰごとに独立して符号化される。したがって隣接するＧＯＰ間で量子化による歪み方が異なる場合が生じ、この場合、視覚的な画質の連続性が失われる。そして、画質の連続性が失われると、隣接するＧＯＰ同士の境界において画質がパルス信号のように瞬間的に変化するように知覚されることがある。このＧＯＰ境界の画質の急変を、パルシング現象と呼ぶ。

このパルシング現象はＧＯＰ構造を採る符号化方式の有する課題であり、例えば特許文献１では、量子化制御部（量子化ステップ設定部、誤差計算部）において画面内ピクチャ及び画面間予測ピクチャの量子化誤差を一定に保つことで、ピクチャ間の画質差を低減してパルシングを抑制している。

特開２００１−１１９３０４

特許文献１の構成では、パルシングの発生度合いにかかわらず量子化誤差を一定に保つので、様々な動きや複雑なテクスチャが混在する映像ではピクチャ全体の量子化強度が上昇し、圧縮歪みが目立つという問題を有している。また、画面内ピクチャ及び画面間予測ピクチャの量子化誤差を一定に保つことで、前述のＢピクチャの量子化強度を高めて予測画像の精度を改善する手法が使えないので、パルシングが目立たない入力画像に対しても主観的な画質が低下する場合がある。

本発明は上記の課題を解決するためになされたもので、効果的にパルシングを抑制し、視覚的な画質を改善させる動画像符号化装置を提供することを目的とする。

パルシング現象は、入力された映像フレームでの物体の動きが小さく、かつ量子化強度が高い領域で目立ちやすい。例えば、多くのカメラ撮影映像には僅かなぶれや空気の揺らぎといった動き成分が含まれているため、画面間予測ピクチャには小さいＤＣＴ係数が発生するが、このＤＣＴ係数を高い量子化強度で量子化した結果、ＤＣＴ係数が全て０になりＧＯＰ内の画面間予測ピクチャで動き差分を十分に再現できないことがある。このとき絵柄はＧＯＰ先頭の画面内ピクチャごとに再構成されるため、例えば０．５秒周期で画質が変化するといったパルシング現象として視認される。

そこで、本発明は、上記従来の課題を解決するために、動きベクトルやＤＣＴ係数などの符号化装置が持つ情報からパルシングとして知覚され得る領域を検出し、該当する領域の量子化強度を下げる補正を行うことで量子化誤差を低減する。これにより、画面間予測ピクチャの量子化係数が全てゼロとなる状態を防止し、効果的にパルシングを抑制する。

本発明の動画像符号化装置は、入力フレームに対して領域ごとに符号化モードを切り替える符号化モード選択部と、前記領域の画像を直交変換して直交変換係数を出力する直交変換部と、前記直交変換係数から量子化強度に基づいて量子化係数を算出する量子化部と、前記入力フレームとそれ以前に入力されたフレームとの間の動きを補償し、動きベクトルを出力する動き補償部と、前記直交変換係数と前記動きベクトルの大きさからパルシング強度を求めるパルシング検出部と、前記パルシング強度に基づいて前記量子化強度を制御する量子化制御部とを備える構成としたものである。

また、本発明の動画像符号化方法は、入力フレームに対して領域ごとに符号化モードを切り替える符号化モード選択ステップと、前記領域の画像を直交変換して直交変換係数を出力する直交変換ステップと、前記直交変換係数から量子化強度に基づいて量子化係数を算出する量子化ステップと、前記入力フレームとそれ以前に入力されたフレームとの間の動きを補償し、動きベクトルを出力する動き補償ステップと、前記直交変換係数と前記動きベクトルの大きさからパルシング強度を求めるパルシング検出ステップと、前記パルシング強度に基づいて前記量子化強度を制御する量子化制御ステップとを備える構成としたものである。

また、本発明の動画像符号化プログラムは、コンピュータを、入力フレームに対して領域ごとに符号化モードを切り替える符号化モード選択手段、前記領域の画像を直交変換して直交変換係数を出力する直交変換手段、前記直交変換係数から量子化強度に基づいて量子化係数を算出する量子化手段、前記入力フレームとそれ以前に入力されたフレームとの間の動きを補償し、動きベクトルを出力する動き補償手段、前記直交変換係数と前記動きベクトルの大きさからパルシング強度を求めるパルシング検出手段、前記パルシング強度に基づいて前記量子化強度を制御する量子化制御手段として機能させる構成としたものである。

本発明の動画像符号化装置によれば、直行変換係数と動きベクトルの大きさといった動画像符号化に用いる情報に基づいて、例えば静止領域におけるパルシング強度を検出し、前記領域を細かく量子化することにより画面間予測ピクチャで絵柄を更新することが可能となる。つまり、パルシング現象を抑制することが可能となる。また、画面内、画面間予測ピクチャに応じて前記量子化強度を制御することで、ＧＯＰ全体の画質をも向上することができる。

また、パルシング現象が発生する領域の量子化強度を下げると同時に、それ以外の領域の量子化強度を高めてピクチャ内の平均量子化強度を一定に保つことで、量子化制御部によるビットレート制御を安定的に保つことができる。

本発明の実施の形態におけるブロック図 実施の形態におけるパルシング検出部のフローチャート 同実施の形態におけるパルシング強度テーブルを示す図 （ａ）画面内符号化ブロック用のテーブルを示す図 （ｂ）画面間予測符号化ブロック用のテーブルを示す図 同実施の形態における量子化制御部のフローチャート

以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。

（画像符号化装置の構成及び全体動作）
図１は、本発明の実施の形態における画像符号化装置の構成を示すブロック図である。本実施の形態の画像符号化装置は、ＭＰＥＧ２方式にしたがい動画の符号化を行う装置であって、図１に示すような構成を有している。

入力画像１５０は、１６×１６画素のマクロブロック単位で符号化されている。符号化モード選択部１００は、前記マクロブロックごとに画面内符号化または画面間予測符号化を選択する。なお、最初に符号化するピクチャのマクロブロックは全て画面内符号化となるほか、画面間予測ピクチャではマクロブロックごとに画面間予測符号化と画面内符号化とを切り換えることができる。

符号化モード選択部１００により選択された符号化モードが画面内符号化である場合は次のように動作する。この場合、ＤＣＴ変換部１０１は、入力画像１５０をそのまま入力し、入力画像１５０に離散コサイン変換を行い、ＤＣＴ係数１５１を出力する。量子化部１０２は、量子化制御部２０７から入力された量子化強度１５８に基づいて量子化を行い、強度が高いほどＤＣＴ係数を強くして量子化した量子化係数１５２を出力する。

一方、符号化モード選択部１００により選択された符号化モードが画面間予測符号化の場合、ローカルデコーダ１０４は、まず入力画像１５０よりも以前に処理された量子化係数１５２を用いて、画像を再構成する。具体的には、ローカルデコーダ１０４は、量子化係数１５２に対して逆量子化や逆ＤＣＴ変換などＭＰＥＧ２規格のデコーダと同等の処理を行って再構成画像１５５を生成し、ピクチャメモリ１０５に格納する。動き補償部１０６は、入力画像１５０とピクチャメモリ１０５の再構成画像１５５を参照し、ブロック領域毎に動き補償を行い、予測画像１５７と動きベクトル１５６を出力する。ここで、符号化モード選択部１００において画面間予測符号化を選択したマクロブロックに対して、入力画像１５０から予測画像１５７の差分信号を生成し、ＤＣＴ部１０１に入力する。これ以降の処理は、前述の画面内符号化の場合の動作と同様である。

符号化部１０３は、量子化係数１５２と動きベクトル１５６等の付加情報を可変長符号化テーブルに基づいて符号化し、ビットストリーム１５３を出力する。

なお、ＭＰＥＧ２規格において前記ビットストリーム１５３の符号量制御手段は規定されていない。例えば、発生した符号量１５４に基づいてＤＣＴブロック毎の量子化強度１５８を量子化制御部２０７により決定し、ビットストリーム１５３の符号量を所望の符号量に制御する方式がある。

また、一般的には、量子化制御部２０７はＩピクチャやＰピクチャの量子化強度１５８をＢピクチャより低く設定し、量子化部１０２の量子化ステップ幅をより細かくする。これによりＩ，Ｐピクチャの量子化誤差が減少するため、動き補償部で生成する予測画像１５７の予測精度が高まる。結果として続くＰ，Ｂピクチャにおける差分信号が減少することにより、ＧＯＰ全体の符号化効率を改善することができる。

上記のような処理の流れにおいて、パルシング検出部１０８は、入力されたＤＣＴ係数１５１と動きベクトル１５６の大きさから、ＤＣＴブロック単位でパルシング強度１５９を求める。そして、量子化制御部１０７は、パルシング強度１５９に基づいて量子化強度１５８をＤＣＴブロック毎に制御し、量子化部１０２に出力する。量子化部１０２は、このようにして量子化制御部１０７により設定された量子化強度に基づいて量子化ステップ幅を算出し、量子化処理を行って量子化係数を出力する。以上の流れで符号化が実施される。

本実施形態では、特に、パルシング検出部１０８により、所定単位の領域毎にパルシング強度を求め、パルシング強度に基づきその領域に適用する量子化強度を補正する。すなわち、パルシングとして知覚され得る領域を検出し、該当する領域の量子化強度を下げる補正を行うことで量子化誤差を低減する。これにより、画面間予測ピクチャの量子化係数が全てゼロとなる状態を防止しパルシングを抑制する。以下、パルシング検出部１０８の詳細な動作について説明する。

（パルシング検出部の動作）
具体的なパルシング検出部１０８の動作について図２のフローチャートを参照して説明する。本処理で対象とするピクチャは、Ｂピクチャを除くＩピクチャ、Ｐピクチャとする（Ｓ３００）。これは動き補償で参照するＩ，Ｐピクチャの画質を高めることで、他のピクチャの画質も向上することを利用するためである。

次に、ＤＣＴブロックごとに対する動きベクトル１５６の絶対値がしきい値ＴＨ１より小さいかどうかを判定し（Ｓ３０１）、小さいときは（ＴＲＵＥ）、Ｓ３０２以降でパルシング対策を続行する。これは先述のようにパルシング現象が目立つ領域は、動きが少ない領域であることに基づいている。ただし、この段階では、動きベクトルがＴＨ１より小さい場合でも、動き補償の精度が低いことによりブロック内の絵柄変化が大きくパルシング現象が目立たない領域も含んでいる。

そこで、パルシング現象が顕著な領域を判定してパルシング強度を決定する。具体的にはＤＣＴ係数の平均値と分散値を求め（Ｓ３０２，Ｓ３０３）、パルシング強度テーブルを参照してパルシング強度を決定する（Ｓ３０７）。その際、対象とする前記ＤＣＴブロックが画面内符号化ピクチャにおけるブロックであるときは（Ｓ３０４でＴＲＵＥ）、テーブルＩをパルシング強度テーブルとして選択し（Ｓ３０５）、それ以外のときは（画面間符号化ピクチャのとき（Ｓ３０４でＦＡＬＳＥ））、テーブルＰを選択（Ｓ３０６）する。これは、ピクチャの差分を符号化する画面間予測のＤＣＴ係数が、画面内符号化より大幅に小さくなるなど係数の傾向の違いに対応するためである。なお、画面内符号化ブロックに対しても補正を行うのは、画面内符号化ピクチャ（Ｉピクチャ）におけるブロックは、画面間符号化ピクチャ（Ｐピクチャ、Ｂピクチャ）生成の際、参照されるピクチャであるので、予めピクチャの品質を高めておくものであり、これにより、Ｐピクチャ、Ｂピクチャも画質が向上する。このように各ピクチャのテーブルを備えることにより、適切なパルシング強度を選択することができる。

図３にパルシング強度テーブルの例を示す。図３（ａ）は、Ｉピクチャに対するパルシング強度テーブル（テーブルＩ）であり、図３（ｂ）はＰピクチャに対するパルシング強度テーブル（テーブルＰ）である。パルシング強度テーブルは図３（ａ）（ｂ）に示すようにＤＣＴ平均値とＤＣＴ分散値の２次元テーブルとしている。例えば、あるＤＣＴブロックが画面内符号化であり、ＤＣＴ平均値が２．５、ＤＣＴ分散値が１．３であるときは、図３（ａ）のテーブルＩを参照してパルシング強度０．７を出力する。このパルシング強度は量子化強度を補正する乗数であり、その値が小さいほど量子化強度が小さい値に補正されることとなる。すなわち、量子化が細かくなりパルシング現象が抑制されるようになる。

そして、全ＤＣＴブロックに対して、以上の動きベクトルの大きさとＤＣＴ係数情報を併用するパルシング強度決定処理（Ｓ３０１からＳ３０７）を実行する。

ここで、パルシング現象が目立つ領域は、静止領域など、動きが小さいことにより最終的に量子化係数の多くがゼロになって絵柄が更新されない領域であるが、このような静止領域ではＤＣＴ係数の絶対値が小さいので、ＤＣＴ平均値が小さい領域として識別することができる。なお、ＤＣＴ平均値が小さい領域であっても、絶対値の大きいＤＣＴ係数が存在する場合があるが、このような場合、量子化後に非ゼロ係数が残り、画面間予測ピクチャにおいて絵柄の更新が行われるので、パルシング現象は目立ちにくい。このような領域は、ＤＣＴ分散値が大きくなるので、ＤＣＴ平均値が小さくかつＤＣＴ分散値が大きい領域として識別できる。このように、ＤＣＴ係数の平均値と分散値の２次元テーブルに基づいてパルシング強度を決定すれば、パルシング現象が目立つ領域の識別精度を向上させることができる。

なお、本実施の形態ではＤＣＴ変換を用いたが、アダマール変換やウェーブレット変換などの直交変換を用いてもよい。また、直交変換の方式によっては、ブロックに分割することなく直交変換を行ってもよく、この場合、量子化強度を設定する単位領域ごとにパルシング強度を決定すればよい。

また、パルシング強度を求める領域をＤＣＴブロック単位としたが、マクロブロック単位など複数のＤＣＴブロックをグループ化した領域としてもよい。これにより前記領域内で求めるＤＣＴ平均値やＤＣＴ分散値の算出回数を間引いて演算量を低減することも可能となる。さらに、パルシング強度を決定する際の指標値としてＤＣＴ平均値と分散値とを用いたが、ＤＣＴ平均値のみを用いてもよく、この場合でもパルシング抑制効果を得ることができる。

また、パルシング強度を決定する手段としてパルシング強度テーブルを用いたが、ＤＣＴ平均値やＤＣＴ分散値を変数とする関数を定義し、この関数に基づいて求めるようにしてもよい。また、図３のパルシング強度テーブルではパルシング強度値は実数値となっているが、この実数値に定数を乗算した整数値とし、量子化制御部１０７で前記定数を除算するようにしてもよい。

（量子化制御部における処理）
次に、量子化制御部１０７における処理について詳しく説明する。この量子化制御部１０７における処理は、各ＤＣＴブロック毎にそのパルシング強度に応じて量子化強度Ｑｉを設定するものであり、この処理について図４のフローチャートを参照しながら説明する。

まず、ピクチャあたりの量子化強度の初期値Ｑｉｎｉを求める（Ｓ５０１）。本実施の形態における量子化強度の初期値Ｑｉｎｉは従来の方式で決定すればよい。例えば、過去に符号化したＩ，Ｐ，Ｂピクチャごとに量子化強度の平均値と発生符号量との積（複雑度）を求め、この複雑度とピクチャ毎の目標符号量とに基づいて初期量子化強度Ｑｉｎｉを決定する。なお、量子化強度Ｑｉが大きくなるほど、量子化部１０２では広い量子化ステップ幅での量子化が行われる。

次に、ピクチャ内のＤＣＴブロック総数Ｎとｉ番目のブロックにおけるパルシング強度Ｍｉとを下記数式１に代入することにより量子化補正係数αを算出する（Ｓ５０２）。

そして、全てのＤＣＴブロックについて、下記式にしたがって量子化強度Ｑｉｎｉに前記量子化補正係数α、及びパルシング強度Ｍｉを乗算することによりＤＣＴブロック毎の量子化強度Ｑｉを算出する（Ｓ５０３）。
Ｑｉ＝α×Ｑｉｎｉ×Ｍｉ

このように量子化強度Ｑｉを量子化補正係数αとパルシング強度Ｍｉとに基づいてＤＣＴブロック毎に設定することで、初期量子化強度Ｑｉｎｉの平均値と量子化強度Ｑｉの平均値とが同一となる。つまり、パルシング強度という概念を取り入れた場合でも、量子化強度をその制御の前後で一定に保つことができる。これにより発生する符号量が目標符号量から大きく変化しないという効果が得られる。

なお、静止領域等の動きの少ない領域の量子化強度を小さくした後、量子化強度をその制御の前後で一定に保つと、動きの大きい領域の量子化強度が相対的に大きくなるが、動きの大きい領域においては、動きの少ない領域と比べてもともと量子化強度の絶対値はかなり大きくなっているので、前述程度の補正を行っても、画質に対する悪影響は非常に少ない。一方、静止領域においては、ＤＣＴ係数が０となるのが大きく抑制され、画質が飛躍的に向上することとなる。

以上説明したように、本実施の形態では、画面間予測ピクチャの量子化係数がゼロになった結果、絵柄が更新されないことにより生じるパルシング現象の解決を図ったものである。つまり、動きベクトルの大きさとＤＣＴ係数情報を併用することでパルシング現象が目立つ領域を抽出し、パルシング強度に基づいて量子化強度を補正することで量子化誤差を低減する。これにより、量子化係数でゼロ以外の値を出力して画面間予測ピクチャで絵柄を更新することで、特に静止領域におけるパルシング現象を効果的に抑制して主観画質を向上することができる。

なお、本実施の形態では動画像の符号化方式がＭＰＥＧ２方式の場合について述べたが、前記量子化制御部の構成はＨ．２６４方式など他の符号化方式にも適用可能である。特にＨ．２６４においては、パルシング強度に応じて量子化強度のみならずイントラ予測モードを制御してもよい。

また、量子化強度の初期値Ｑｉｎｉの設定手段は本実施の形態に示した方式に限らず、Ｈ．２６４の参照ソフトウェアに実装されている発生符号量の統計に基づいて量子化強度を設定する方式などでも良い。

なお、本実施の形態で説明した動画像符号化の機能は、種々の態様により提供可能である。例えば、ＬＳＩ等のハードウェアであってもよいし、コンピュータに組み込まれるプログラムであってもよい。

本発明にかかる動画像符号化装置は効果的にパルシング現象を抑制して視覚画質を向上させるため、カメラレコーダやビデオレコーダおよび映像伝送装置に代表される映像機器、動画像符号化を行うソフトウェア等にも適用可能である。

１００ 符号化モード選択部
１０１ ＤＣＴ部
１０２ 量子化部
１０３ 符号化部
１０４ ローカルデコーダ
１０５ ピクチャメモリ
１０６ 動き補償部
１０７ 量子化制御部
１０８ パルシング検出部

Claims (7)

1. 入力フレームに対して領域ごとに符号化モードを切り替える符号化モード選択部と、
   前記領域の画像を直交変換して直交変換係数を出力する直交変換部と、
   前記直交変換係数から量子化強度に基づいて量子化係数を算出する量子化部と、
   前記入力フレームとそれ以前に入力されたフレームとの間の動きを補償し、動きベクトルを出力する動き補償部と、
   前記直交変換係数と前記動きベクトルの大きさとからパルシング強度を求めるパルシング検出部と、
   前記パルシング強度に基づいて前記量子化強度を制御する量子化制御部と
   を備えることを特徴とする動画像符号化装置。
2. 前記パルシング検出部は、符号化対象フレームの前記量子化を行う領域ごとに前記直交変換係数の平均値を算出し、前記平均値に基づいて前記パルシング強度を決定することを特徴とする請求項１記載の動画像符号化装置。
3. 前記パルシング検出部は、符号化対象フレームの前記量子化を行う領域ごとに前記直交変換係数の平均値及び分散を算出し、前記平均値及び前記分散の２要素に基づいて前記パルシング強度を決定することを特徴とする請求項１記載の動画像符号化装置。
4. 前記パルシング検出部は、画面内符号化を行う領域とそれ以外の領域とに対して異なるパルシング強度を決定することを特徴とする請求項２または３記載の動画像符号化装置。
5. 前記量子化制御部は、符号化対象フレーム内の前記量子化強度の平均強度を前記パルシング強度に基づいた前記量子化強度の制御の前後で一定に保つことを特徴とする請求項１記載の動画像符号化装置。
6. 入力フレームに対して領域ごとに符号化モードを切り替える符号化モード選択ステップと、
   前記領域の画像を直交変換して直交変換係数を出力する直交変換ステップと、
   前記直交変換係数から量子化強度に基づいて量子化係数を算出する量子化ステップと、
   前記入力フレームとそれ以前に入力されたフレームとの間の動きを補償し、動きベクトルを出力する動き補償ステップと、
   前記直交変換係数と前記動きベクトルの大きさからパルシング強度を求めるパルシング検出ステップと、
   前記パルシング強度に基づいて前記量子化強度を制御する量子化制御ステップとを備えることを特徴とする動画像符号化方法。
7. コンピュータを、
   入力フレームに対して領域ごとに符号化モードを切り替える符号化モード選択手段、
   前記領域の画像を直交変換して直交変換係数を出力する直交変換手段、
   前記直交変換係数から量子化強度に基づいて量子化係数を算出する量子化手段、
   前記入力フレームとそれ以前に入力されたフレームとの間の動きを補償し、動きベクトルを出力する動き補償手段、
   前記直交変換係数と前記動きベクトルの大きさからパルシング強度を求めるパルシング検出手段、
   前記パルシング強度に基づいて前記量子化強度を制御する量子化制御手段として機能させることを特徴とする動画像符号化プログラム。

Images