JP2001346208A

JP2001346208A - 画像信号復号化装置および方法

Info

Publication number: JP2001346208A
Application number: JP2000162002A
Authority: JP
Inventors: Kazuo Saigo; 賀津雄西郷
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2000-05-31
Filing date: 2000-05-31
Publication date: 2001-12-14
Anticipated expiration: 2020-05-31
Also published as: JP3736291B2

Abstract

(57)【要約】【課題】圧縮符号化によって生じる歪の種類とその程
度は、画像の絵柄内容と視覚的特性によって異なるた
め、視覚的に歪と観察されるような画像領域および歪の
種類を判別して歪除去する必要がある。【解決手段】圧縮符号化によって歪を生じた画像信号
を、復号化、逆量子化し、さらに逆直交変換された圧縮
データに対し、歪除去回路にて歪除去処理を行う。この
際、歪判別変数抽出回路で、各ブロック毎の直交変換係
数から歪を判別する変数を複数個作成し、歪判別分析回
路が前記作成された複数の変数に基づいて歪の有無、タ
イプ、レベルを判別し、前記歪除去回路は前記判別結果
にもとづいて、ブロック毎に適応的に歪除去を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像圧縮符号化デ
ータを復号再生したとき現れる圧縮歪を低減する画像信
号復号化装置および方法に関するものである。

【０００２】

【従来の技術】現在、最も用いられている画像圧縮符号
化はＤＣＴ（離散コサイン変換）を用いたブロック符号
化である。これは、画像を複数の正方ブロック（例えば
８画素ｘ８ライン）に分割し、このブロック内の信号強
度を２次元の直交変換であるＤＣＴを用いて、６４個の
基底ベクトルからなる空間周波数成分（ＤＣＴ係数）に
変換表現し符号化したものである。

【０００３】この８×８の基底ベクトルのパワー（スカ
ラー係数）を示すＤＣＴ係数のマトリクスは、原点位置
（０，０位置）に直流成分（ＤＣ）の係数、右上端
（０，７位置）に水平方向の交流成分（ＡＣ）の最大周
波数の係数、左下端（７，０位置）に垂直方向の交流成
分（ＡＣ）の最大周波数の係数、そして右下端（７，７
位置）に斜め方向の交流成分（ＡＣ）の最大周波数の係
数を示す。また、中間位置には、それぞれの水平、垂直
の座標位置に対応したＡＣの周波数成分の係数が、原点
位置より、順次高い周波数成分が示されるようになって
いる。

【０００４】画像を圧縮符号化するのにＤＣＴなど直交
変換を用いる理由は、画像の空間的な相関の高さにあ
る。一般的に、画像では空間的に近接する画素間の相関
が高いため、直交変換すると少数の特定周波数成分（Ｄ
ＣＴ係数）にパワーが偏る。従って、これらの特定ＤＣ
Ｔ係数のみを符号化することで画像の冗長度（情報量）
を削減できる。例えば、晴天の空のような平坦な画像ブ
ロックではＤＣＴ係数は低周波数成分に集中し、この低
周波数成分の係数のみを符号化すればよい。

【０００５】しかしながら、輪郭、エッジあるいは矩形
パターンなどを含む画像ブロックでは、ＤＣＴ係数が低
域から高域の広い周波数成分にわたって分布し、多くの
ＤＣＴ係数を必要するため符号化効率が低下する。すな
わち、ＤＣＴ係数の分布やそれらのパワーが、画像の符
号化効率、すなわち伝送や記録に必要なデータ量の圧縮
率に直接影響する。

【０００６】とりわけ、限られた狭い帯域内で画像を伝
送したり、限られた容量内に画像を記録するには、直交
変換符号化による画像の冗長度（情報量）削減だけでは
足りず、符号化効率をさらに高めるためＤＣＴ係数を粗
く量子化する。ここで量子化とは、ＤＣＴ係数の値を所
定のステップ・サイズ（量子化幅の値）で割り算し、あ
る範囲のＤＣＴ係数の値を少数の小さな整数値へ丸める
ことである。特に、画像において高域のＤＣＴ係数は切
リ捨てても視覚的に差がわからないことから、高域のＤ
ＣＴ係数に対する量子化ステップ・サイズは大きく設定
し、粗く量子化する。

【０００７】量子化によって少数の小さな整数値に丸め
られた量子化ＤＣＴ係数は、さらに可変長符号化によっ
て発生確率の高い値に小さな符号化コードを割り当て、
逆に発生確率の低い値には大きな符号化コードを割り当
てることで情報量をさらに削減する。

【０００８】符号化されたデータは復号側でデコードさ
れ、量子化ＤＣＴ係数が復号される。復号された量子化
ＤＣＴ係数は逆量子化によってＤＣＴ係数に復元され
る。このとき、逆量子化には量子化時のそれと同じ量子
化テーブル（量子化ステップ・サイズのマトリクス）
が、量子化ＤＣＴ係数に乗算される。このため、量子化
ステップ・サイズが大きいほど量子化による丸めの誤差
（量子化誤差）が大きくなり、元の画像を正しく復元で
きない。量子化/逆量子化によってＤＣＴ係数が元の画
像のＤＣＴ係数と異なるほど画像はゆがみ、視覚的に顕
著な圧縮歪（雑音、ノイズ）となって現れる。

【０００９】量子化誤差の増大によって復号再生された
画像に現れる視覚的な歪としては、次の２つの歪がよく
知られている。一つは、画像がブロック(タイル)状に分
割されて見えるブロック歪、もう一つは、画像のオブジ
ェクトの周囲に霧状あるいはリンギング状の波形が現れ
て見える（動画では”蚊”が飛ぶように見える）モスキ
ート歪である。

【００１０】ブロック歪は、ブロック単位でＤＣＴ係数
を量子化することに起因するもので、隣接するブロック
間との連続性が失われ、ブロックの境界部分が不連続に
見えてしまう歪である。例えば、原画像のＤＣＴ係数と
比べ、極端な場合、量子化によってブロック内のＤＣＴ
係数がＤＣ成分のみになってしまう。この場合、隣接ブ
ロック間とのＤＣ係数の差が信号波形上では階段状の段
差になってしまう。これがブロック境界で不連続性に見
える。

【００１１】また、モスキート歪は、画素間のレベル
（電圧）差が大きな矩形パターンや文字など、広い周波
数領域のＤＣＴ係数を有する画像のオブジェクトの周囲
で発生しやすく、これらのＤＣＴ係数の一部が量子化に
よって符号化されなかったことから生じる。特に、高次
のＤＣＴ係数が切り捨てられる（係数がゼロになる）こ
とによって、信号波形が変化しそれが周辺の平坦なブロ
ック内領域にもれ、波形すなわち歪となって知覚され
る。

【００１２】従来、このような、ＤＣＴを用いたブロッ
ク符号化によって発生した歪を低減する技術として、ブ
ロック歪に対して低域通過型瀘波器（ローパスフィル
タ）を用いたもの（特開平５−３０８６２３）がある。
これは、固定のローパスフィルタを画像全体に一様にか
けるのではなく、ブロック内ＤＣＴの水平および垂直方
向の係数のうち、所定の閾値以上の係数の最高周波数成
分をもとに水平および垂直方向のローパスフィルタの平
滑化の程度を可変にする技術である。これによって、フ
ィルタによる過度の画像ボケあるいは歪除去不足を防ぐ
ことができるというものである。

【００１３】また、特開平６−３１１４９９では、ブロ
ック内ＤＣＴ係数の所定領域（水平および垂直方向の中
域周波数成分）の絶対値和を求め、この値が大きいとき
には、歪のパワーも大であるとして、モスキート歪除去
用フィルタの閾値を大きくし除去効果を高め、この値が
小さいときにはフィルタの閾値を小さくする技術が公開
されている。

【００１４】これらに共通する構成は、図１０に示すよ
うに、符号化データ（ビデオストリーム）を再生する復
号器側の構成において、逆量子化回路によって出力され
たＤＣＴ係数に対して、判別回路と歪除去処理回路を設
けたことである。このときの判別回路は、逆量子化回路
によって出力されたＤＣＴ係数から歪の程度を推定し、
歪除去処理回路でこの判定結果に基づき除去フィルタの
程度を適応的にかえるというものである。

【００１５】

【発明が解決しようとする課題】しかしながら、上記従
来法では、ブロック歪とモスキート歪の両方を適応的に
除去することができない。上記２つの従来法を組み合わ
せても、単なる組み合わせでは、ブロック歪用のローパ
スフィルタとモスキート歪用のフィルタが共にかけら
れ、画像に過度のボケが生じるという問題がある。

【００１６】本発明は、この問題を解決するために、ブ
ロック歪とモスキート歪をＤＣＴ係数の分布から判別
し、またその歪の程度を推定することによって、これら
２つの視覚的に異なる歪を適応的に低減することを可能
とする画像復号化装置を提供するものである。

【００１７】

【課題を解決するための手段】本発明の画像信号復号化
装置は、ブロック毎の直交変換と量子化と可変長符号化
を用いて圧縮された画像の符号化データを復号化する画
像信号復号化装置であって、前記可変長符号化された符
号化データを復号化する可変長符号復号化手段と、前記
可変長符号復号化手段で復号化された復号化データを逆
量子化し、逆量子化直交変換係数を得る逆量子化手段
と、前記逆量子化手段で得られた逆量子化直交変換係数
を逆直交変換する逆直交変換手段と、逆量子化手段の出
力の各ブロック毎に前記量子化直交変換係数から第１の
演算式により第１の歪判別変数を抽出する第１の歪判別
変数抽出手段と、逆量子化手段の出力の各ブロック毎に
前記量子化直交変換係数から第２の演算式により第２の
歪判別変数を抽出する第２の歪判別変数抽出手段と、各
ブロック毎に求めた少なくとも２つの歪判別変数の値を
変数として所定の歪判別分析関数から各ブロックの歪の
種類とその歪のレベルを出力する歪判別分析手段と、前
記逆直交変換手段の出力に対して、前記歪判別分析手段
で得られた各ブロック毎の歪の種類とその歪の程度に基
づき、ブロック毎に適応的歪除去処理を行う適応的歪除
去手段とを有することを特徴とする。

【００１８】また、本発明の画像信号復号化方法は、ブ
ロック毎の直交変換と量子化と可変長符号化を用いて圧
縮された画像の符号化データを復号化する画像信号復号
化方法であって、前記可変長符号化された符号化データ
を復号化する可変長符号復号化ステップと、前記可変長
符号復号化ステップで復号化された復号化データを逆量
子化し、逆量子化直交変換係数を得る逆量子化ステップ
と、前記逆量子化ステップで得られた逆量子化直交変換
係数を逆直交変換する逆直交変換ステップと、逆量子化
ステップの出力の各ブロック毎に前記量子化直交変換係
数から第１の演算式により第１の歪判別変数を抽出する
第１の歪判別変数抽出ステップと、逆量子化ステップの
出力の各ブロック毎に前記量子化直交変換係数から第２
の演算式により第２の歪判別変数を抽出する第２の歪判
別変数抽出ステップと、各ブロック毎に求めた少なくと
も２つの歪判別変数の値を変数として所定の歪判別分析
関数から各ブロックの歪の種類とその歪のレベルを出力
する歪判別分析ステップと、前記逆直交変換ステップの
出力に対して、前記歪判別分析ステップで得られた各ブ
ロック毎の歪の種類とその歪の程度に基づき、ブロック
毎に適応的歪除去処理を行う適応的歪除去ステップとを
有することを特徴とする。

【００１９】

【発明の実施の形態】（実施の形態１）本発明の第１の
実施形態における画像信号復号化装置について図１を参
照しながら説明する。図１は第１の実施形態における画
像信号復号化装置の一例を示す構成図である。

【００２０】図１の構成図において、１１は可変長符号
復号化回路、１２は逆量子化回路、１３は逆直交変換回
路、１４Ａ、１４Ｂはそれぞれ、第１、第２の歪判別変
数抽出回路、１５は歪判別分析回路、１６は歪除去回
路、１７は出力装置である。これら構成の各部分の機能
と動作について説明する。

【００２１】先ず、可変長符号復号化回路１１は、伝送
又は記録された圧縮画像の符号化データを受け、その符
号化データをデコードする。ここでは、量子化情報およ
び量子化ＤＣＴ係数が分離されて、逆量子化回路１２へ
供給される。

【００２２】逆量子化回路１２では、ブロック毎に復号
化された８ｘ８の量子化ＤＣＴ係数を逆量子化し、ＤＣ
Ｔ係数に復元する。復元されたＤＣＴ係数は、逆直交変
換回路１３と第１、第２の歪判別変数抽出回路１４Ａ，
１４Ｂへ供給される。このとき、逆量子化によって得ら
れるＤＣＴ係数は、通常、粗い量子化による丸めや切り
捨てのため量子化誤差を含んだものである。

【００２３】逆直交変換回路１３では、復号されたＤＣ
Ｔ係数を逆直交変換し画素空間データに変換する。この
画素空間データは歪除去回路１６へ供給される。

【００２４】第１、第２の歪判別変数抽出回路１４Ａ，
１４Ｂでは、逆量子化回路１２によって復元されたＤＣ
Ｔ係数から、ブロック毎に、モスキート歪やブロック歪
を判別する歪判別変数を抽出する。

【００２５】第１の歪判別変数は、主にブロック歪の有
無を判定するために用いるものであり、判別の対象とす
るブロック内におけるＡＣ係数のうち、ゼロであるもの
の個数を計数したものである。第２の歪判別変数は、主
にモスキート歪の有無を判定するために用いるものであ
り同じブロック内のＡＣ係数の絶対値の和である。これ
らの歪判別変数は、次の歪判別分析回路１５へ供給され
る。

【００２６】歪判別分析回路１５では、第１および第２
の歪判別変数抽出回路１４Ａ，１４Ｂで抽出された前記
歪判別変数をもとにブロック歪、モスキート歪を判別し
歪の程度（以下、歪レベルと称する）を出力する。

【００２７】前記で求められた第１、第２の歪判別変
数、ブロック内ＡＣ係数のゼロの個数とＡＣ係数絶対値
和の２つを変数とし、この２変数によって参照データの
ブロック歪、モスキート歪あるいは歪なしブロックの３
つの分布を最適に（誤判別最小に）分ける判別関数式が
判別分析回路１５に導入されている。

【００２８】以下に判別関数式の導出法を説明する。

【００２９】先ず、標準画像として異なる絵柄の異なる
圧縮率の画像を複数用意し、それらを人が実際に観察
し、図２のように、ブロック毎にブロック歪あるいはモ
スキート歪（これら以外は歪なし）が知覚されたかどう
かの判定結果を原画像と比較しながら作成しておく。こ
の作成された歪判定結果は以下の判別関数を導出するた
めの参照データとする。歪の発生は画像の絵柄によって
大きく変化する共に人間の視覚的特性が関係するため、
最終的に人による歪判定データが現在もっとも確実な方
法と言える。判別関数は、前記第１および第２の歪判別
変数回路１４Ａ、１４Ｂで抽出された変数からなる関数
式であって、人によって判定された前記参照データ内の
歪ブロックの分布（ブロック歪、モスキート歪あるいは
歪なしの３タイプのブロック分布）を、誤判別が最小に
なるように分ける関数である。

【００３０】判別関数式の導出は判別分析法による。図
３は、前記標準画像について、第１の変数Ｘ２，第２の
変数Ｘ１をすべてのブロックについてプロットしたもの
でる。歪の性質が異なる３つのタイプのブロックに相当
する二つの変数の分布が同図のようになったとき、これ
ら３つの分布を判別する境界は、互いに隣接する２つの
分布がそれらの中心からマハラノビス距離の二乗値
Ｄ₁ ²、Ｄ₂ ²、Ｄ₃ ²

【００３１】

【数１】

【００３２】において、Ｄ₁ ²とＤ₂ ²、Ｄ₁ ²とＤ₃ ²、Ｄ₂ ²
とＤ₃ ²が等距離になる位置に相当する。同図に線分a、
b、cでこの境界を示す。すなわち、判別境界はＤ₁ ²−Ｄ
₂ ²＝０、Ｄ₁ ²-Ｄ₃ ²＝０、Ｄ₂ ²−Ｄ₃ ²＝０の式で表さ
れ、これが判別関数式となる。

【００３３】これらの式の左辺の正負によってどちらか
の分布に判別される。マハラノビス距離は分布の分散を
考慮した距離を表す。すなわち、それぞれの分布を山と
するとその勾配をも考慮した距離に相当する。

【００３４】但し、前記３つのブロックのタイプを実際
に判別するのに用いる関数式としては、Ｄ₁ ²、Ｄ₂ ²、Ｄ
₃ ²を算出する３つの関数式があればよい。判別は、各ブ
ロックについて前記歪判別変数の２つの変数を、Ｄ₁ ²、
Ｄ₂ ²、Ｄ₃ ²を算出するそれぞれの関数式に代入し、結果
として最も小さい値を出力したものがＤ₁ ²であれば歪な
し、Ｄ₂ ²であればモスキート歪、Ｄ₃ ²であればブロック
歪と判別される。すなわち、判定されたブロックは、こ
れら３つのタイプの分布のいずれかの中心に最も近く、
他の２つのタイプよりもその生起確率が高いことを意味
する。

【００３５】また、歪判別分析回路１５では、前記３つ
のマハラノビス距離の二乗値Ｄ₁ ²、、Ｄ₂ ²、Ｄ₃ ²を用い
て歪の程度（レベル）を推定する。これは、各ブロック
について、３つのマハラノビス距離の二乗値（Ｄ₁ ²、、
Ｄ₂ ²、Ｄ₃ ²）がそれぞれ算出されるが、このとき、モス
キート歪では|Ｄ₂ ²−Ｄ₁ ²|、ブロック歪では|Ｄ₃ ²−Ｄ₁
²|をその値とする。すなわち、歪ブロックＤ₂ ²、Ｄ₃ ²に
対して、歪なしとの判別したときのＤ₁ ²の値(距離)との
差の絶対値で表す。歪判別分析回路１５は、これらの値
をそれぞれ第２の歪レベル、第１の歪レベルとして出力
する。この値が大であればあるほど、そのブロックはモ
スキート歪あるいはブロック歪の分布の中心に近く、し
たがって歪ブロックとしての生起確率がより高く、歪も
より大と見なせる。

【００３６】但し、実際の判定では、図３で示されたよ
うに、歪なしと判定されたブロック（Ｄ₁ ²）について
も、境界周辺（Ｄ₁ ²−Ｄ₂ ²＝０、Ｄ₁ ²-Ｄ₃ ²＝０の周
辺）では確率的に歪ブロックとみなせるものを含む。こ
のため、歪除去もれを防ぐには、判定された(最小の)歪
なしのＤ₁ ²の次に小さな値を示したＤ₂ ²あるいはＤ₃ ²と
の差、すなわち|Ｄ₁ ²−Ｄ₂ ²|あるいは|Ｄ₁ ²−Ｄ₃ ²|を算
出し、この差が所定の値まではそのブロックを歪ブロッ
ク（モスキート歪あるいはブロック歪）として扱う。

【００３７】なお、この場合、差が大きくなるほど歪な
しの確率が高くなることから、歪のレベル値は歪除去の
レベルを弱くする値にする必要がある。例えば、前記差
の所定の値を歪除去レベルゼロとし、Ｄ₁ ²＝Ｄ₂ ²、Ｄ₁ ²
＝Ｄ₃ ²で所定のレベル値となるよう歪除去レベル値を次
第に増大させる。

【００３８】モスキート歪（Ｄ₂ ²）あるいはブロック歪
（Ｄ₃ ²）間の誤判定については、実際の分析結果から確
率的に低く無視できる範囲である。

【００３９】前記のように、歪判別分析回路１５で判別
されたブロックのタイプ（モスキート歪、ブロック歪あ
るいは歪なし）と歪除去のレベル値は、次の歪除去回路
１６に供給される。

【００４０】歪除去回路１６は、逆直交変換回路１３で
逆直交変換された各ブロック内の実空間の各画像信号に
対して、歪除去を行う。歪の除去は、歪判別分析回路１
５でブロック毎に判定された歪のタイプ（モスキート
歪、ブロック歪、歪なし）毎に歪除去処理を変える。ま
たそのときの歪の除去レベルについては、同じく歪判
別分析回路１５から出力されたレベルに基づいて可変に
する。すなわち、歪判別分析回路１５から出力された第
１の歪レベル、第２の歪レベルが大きければ大きいほど
歪除去の程度(レベル)を強くする。逆に、この値が小さ
いほどそのブロックが確率的に歪か否か判定できない曖
昧なブロックであることを示し、歪除去の程度(レベル)
を弱くする。

【００４１】第２の歪レベルが大きい場合、すなわちモ
スキート歪と判定されたブロックについては、例えば図
４に示すような、ブロック内の各画素（対象画素）に対
して、対象画素とその周辺画素との差分（輝度信号の差
分）の絶対値を算出し、数２のように、この差分の絶対
値が所定の値以下の周辺画素との差分を累積和し、この
累積和に判別分析回路１５から出力されたレベル値に所
定係数αを掛け、それを対象画素に加算してモスキート
歪を除去する。

【００４２】

【数２】

【００４３】すなわち、このモスキート除去処理では、
所定の差分の絶対値より大きな画素、例えば、輝度変化
の大きな輪郭やエッジ部分の画素は、歪除去の平滑化対
象画素から外し、それ以外の周辺画素との閾値以下の差
分（モスキート歪発生領域の画素濃淡値の変化）の平均
で、歪を平滑化し除去する。このとき、その周辺画素と
の差分の累積和に判別分析回路１５から供給されたレベ
ル値を考慮して値をかけることで平滑化の程度を可変す
ることができる。

【００４４】また、第１の歪レベルが大きい場合、すな
わちブロック歪と判定されたブロックについては、例え
ば、図５に示すように、ブロック間の水平方向、垂直方
向の境界画素についてそれぞれ３タップの平滑化フィル
タ[１−β、２β、１−β]をかける。このとき、平滑化
のフィルタの係数を判別分析回路１５から出力されたレ
ベル値の大きさを考慮してβを可変にする。すなわち、
判別分析回路１５から出力されたレベル値の大きほどβ
の値を小さくする。

【００４５】なお、前記で述べたように歪なしと判定さ
れたブロックのうち、歪ブロックとの境界周辺のブロッ
クについては、モスキート歪あるいはブロック歪として
歪除去処理の対象とされる。この対象から外れた歪なし
ブロックについては歪除去処理を行わないか非常に弱い
除去フィルタをかける。以上、第１の実施形態の手順を
図６にフローチャートとしてまとめる。

【００４６】出力装置１７は、歪除去された符号化再生
画像データをＤＡ変換して画像表示装置へ出力する装置
である。

【００４７】前記実施例では、第１および第２の歪判別
変数抽出回路１４Ａ、１４Ｂで２つの係数、すなわち、
ブロック内ＡＣ係数のゼロの個数とＡＣ係数絶対値和を
歪判別分析回路１５での判別関数導出の２つの変数とし
たが、これ以外にも他の歪判別変数抽出回路を追加し、
歪判別変数を増やせばさらに判別関数の精度を上げるこ
とができる。例えば、ブロック歪を判別する係数として
隣接ブロック間のＤＣ係数や低域ＡＣ係数の差、あるい
は、ＡＣ係数のゼロの個数を、ＤＣＴ係数の低域、中
域、高域といった周波数領域毎に分けて変数としたり、
ＤＣ係数にγ特性を考慮した値を変数とすることで非常
に暗いあるいは非常に明るいブロックでの視覚的な歪の
マスキング効果を考慮することもできる。

【００４８】なお、歪判別変数として、可変長符号復号
化回路１１でデコードされた量子化情報を得る構成を設
けてもよい。このとき、例えば、量子化テーブル（量子
化ステップ・サイズの値）の総和値を歪判別変数抽出回
路１４で歪係数として抽出し、歪判別分析回路１５の判
別関数の変数として用いることで、量子化テーブルの変
化による圧縮率の変化を推定し歪ブロック判定の精度を
上げることができる。

【００４９】また、前記実施例では輝度信号を対象に述
べたが、色差信号についても同様に扱うことができる。
色差信号ではマクロブロック単位で処理し、色差信号に
対する歪ブロックの参照データを作成し、色差信号の判
別関数を導出することができる。

【００５０】（実施の形態２）本発明の第２の実施形態
における画像信号復号化装置について図７を参照しなが
ら説明する。図７は第２の実施形態における画像信号復
号化装置の一例を示す構成図である。なお、同図におい
て第１実施形態と同一の機能を有するブロックについて
は、同実施形態と同一の番号を付与しており、これらに
ついては詳細な説明を省略する。

【００５１】ここでは動画像として、特にＭＰＥＧ符号
化データを復号する場合を説明する。動画像の場合の符
号化・復号化についてその流れを先ず簡単に説明する。

【００５２】ＭＰＥＧの符号化は、基本的に、動き補償
予測＋ＤＣＴ方式からなっており、連続する画像フレー
ムの画面を、Ｉピクチャ、Ｐピクチャ、Ｂピクチャから
構成している。

【００５３】Ｉピクチャは入力画像そのものを符号化し
た画面、Ｐピクチャは今から符号化しようとしている画
像と、時間的に前に位置し既に符号化されたＩピクチャ
またはＰピクチャの画像との差分をとった画面。Ｂピク
チャは、時間的に前方、後方、若しくは前方と後方のＩ
ピクチャまたはＰピクチャから作成された補間画像の画
面である。

【００５４】ＭＰＥＧ符号化では、動画像の時間方向の
相関を用いた冗長度削減方法として動き補償予測を用い
ることができる。このとき、Ｐピクチャ、Ｂピクチャで
は、符号化で先行するフレーム（Ｂピクチャでは実時間
で未来のフレームも利用する）との間で、例えば、入力
マクロブロック画像が最小差分となるような参照画像ブ
ロックを探索し、その空間的なずれ（移動量）を動きベ
クトルとして求める。

【００５５】各画面の符号化は、マクロブロック単位
（例えば、輝度信号で１６画素ｘ１６ライン、色差信号
で８画素ｘ８ラインの画像ブロック）に画面の左から右
へ、また上から下へ順番に符号化される。このとき、各
マクロブロックでは、符号化モード（予測モード）とし
て動き補償予測モードかイントラ符号化モード（Ｉピク
チャはすべてイントラ符号化モード）かが決定される。

【００５６】動き補償予測モードの場合は、入力された
マクロブロック画像データと、参照画面（Ｉピクチャま
たはＰピクチャ）から予測によって得られたマクロブロ
ック画像データとの差分をとり予測誤差信号が得られ
る。この予測誤差信号は、８画素ｘ８ラインのブロック
単位でＤＣＴによって空間周波数成分に変換される。

【００５７】動き補償予測を行わないイントラ符号化の
場合は、入力画像データがそのままＤＣＴ符号化され
る。なお、Ｉピクチャ、Ｐピクチャについては、後の動
き補償予測の参照画面として用いる必要があるため量子
化された情報は逆量子化され、逆ＤＣＴおよび動き予測
により局部復号化が行われる。

【００５８】直交変換後の８ｘ８のＤＣＴ係数はターゲ
ットビットや視覚特性に応じて量子化され、低周波数成
分から順に走査して１次元情報に変換される。量子化Ｄ
ＣＴ係数および符号化モード、動きベクトルなどのマク
ロブロック符号化情報はそれぞれ可変長符号により符号
化される。

【００５９】一方、復号化器側では、図７に示すよう
に、先ず、符号化データが可変長符号復号化回路１１で
マクロブロック符号化情報が復号化され、符号化モー
ド、動きベクトル、量子化情報および量子化ＤＣＴ係数
が分離される。マクロブロック情報の予測モード、動き
ベクトルなどは動き補償予測回路２４、画像メモリ２５
へ、量子化情報および量子化ＤＣＴ係数は逆量子化回路
１２へ供給される。復号された８ｘ８の量子化ＤＣＴ係
数は逆量子化回路１２でＤＣＴ係数に復元され、逆直交
変換回路１３で画素空間データに変換される。

【００６０】イントラ符号化モードの場合はそのまま出
力されるが、動き補償予測モードの場合は、予測モード
によって先に符号化された画像を格納した画像メモリ２
５から予測に使用する画像（Ｉピクチャ、Ｐピクチャあ
るいは両方の平均）を得、動きベクトルや予測モードか
ら動き補償予測回路２４で予測されたブロックデータが
加算回路２３で加算されて出力される。

【００６１】以上が通常の復号器側の構成であるが、本
実施の形態では、さらに、歪判別変数抽出回路１４Ａ，
１４Ｂ、歪判別分析回路１５、歪除去回路１６が付け加
えられている。第１、第２の歪判別変数抽出回路１４
Ａ、１４Ｂ、歪判別分析回路１５、歪除去回路１６は前
記第１実施形態と基本的に同じようなはたらきである
が、信号の入出力が幾分異なる。

【００６２】歪判別変数抽出回路１４Ａ，１４Ｂは、逆
量子化回路１２から量子化ＤＣＴ係数を得、第１実施形
態と同様に量子化ＤＣＴ係数から歪判別変数を抽出し、
歪判別分析回路１５へ供給する。

【００６３】歪判別分析回路１５では、予測モードを可
変長符号復号化回路１１から得、マクロブロックの予測
モードがイントラ符号化モードの場合のみ、第１実施形
態と同様に歪判別変数抽出回路１４Ａ，１４Ｂから供給
された歪判別変数を予め導出された所定の歪判別関数に
代入し、ブロックの判別情報と歪除去のレベル値を歪除
去回路１６へ供給する。また、マクロブロックの予測モ
ードが動き補償予測モードの場合、そのブロックは歪な
しとして判定され、その判定結果の信号を歪除去回路１
６へ供給する。

【００６４】歪除去回路１６では、ブロックが歪ありと
判定された場合は第１実施形態と同様に判定した対応ブ
ロックに対して歪除去処理を行い、歪なしと判定された
ブロックは歪除去処理を行わない。歪除去回路１６の出
力は、出力装置１７へ供給されると共に、可変長符号復
号化回路１１からピクチャ符号化タイプ（Ｉ，Ｐ，Ｂピ
クチャ）の情報を得、動き補償予測の参照画面として用
いられるＩピクチャとＰピクチャのときのみ画像メモリ
２５へも供給される。

【００６５】本実施例ではイントラ符号化モードのマク
ロブロック画像について歪除去されたＩピクチャＰピク
チャを、動き補償予測の参照画面に使用することを特徴
としている。Ｉピクチャはすべてイントラ符号化モード
であるので、Ｉピクチャを参照画面とするＰピクチャお
よびＢピクチャでは歪除去された参照画面のブロックを
そのまま出力することができる。しかも、Ｐピクチャお
よびＢピクチャで大きく画像が変化しＩピクチャやＰピ
クチャから参照できないイントラ符号化モードのマクロ
ブロックは、歪除去処理が行われるので歪除去もれを低
減することができる。

【００６６】なお、Ｐピクチャ、Ｂピクチャの動き補償
予測モードのマクロブロックは、本来、画像にさほど変
化がないため予測誤差信号による歪の伝播も少ないこと
から歪除去処理を行わない。また、これは、参照画面と
してのＰピクチャが符号化時のＰピクチャと大きく異な
らないようにするためでもある。

【００６７】（実施の形態３）本発明の第３の実施形態
における画像信号復号化装置について図８を参照しなが
ら説明する。同図は第３の実施形態における画像信号復
号化装置の一例を示す構成図である。なお、前記第１実
施形態および第２実施形態と同一の機能を有するブロッ
クについては、前記の実施形態と同一の番号を付与して
いる。これらについては詳細な説明を省略する。

【００６８】ここでは第２実施形態と同じく動画像、特
にＭＰＥＧ符号化データを復号する場合を説明する。第
２実施形態と異なるのは、逆直交変換回路１３で画素空
間データに変換されたものを再び直交変換回路２６でＤ
ＣＴ係数に変換し、そのＤＣＴ係数をもとに第１、第２
の判別変数抽出回路１４Ａ、１４Ｂ、歪判別分析回路１
５で判別分析し、歪除去回路１６で歪除去処理しようと
する点である。

【００６９】第２実施形態では、逆量子化されたＤＣＴ
係数をもとに歪判別分析し歪除去処理を行った。しかし
ながら、そのときの歪除去処理は、基本的にイントラ符
号化モードのブロックのみに限られた。これは動き補償
予測モードでは、ＤＣＴ係数は予測誤差（差分）のＤＣ
Ｔ係数のみからなりブロック内の周波数成分を完全に抽
出することができず、以降の歪判別分析に用いる係数が
不完全となるからである。但し、第２実施形態では、参
照画面として歪除去処理したＩピクチャとＰピクチャを
使用することで、ＰピクチャおよびＢピクチャの動き補
償予測モードのブロックへ歪除去処理結果を波及させ
た。

【００７０】本第３実施形態では、画素空間データに変
換されたものを再びＤＣＴ変換することで、すべての符
号化モードのブロックについてＤＣＴ係数を用いた歪判
別分析を行い、歪除去処理を行うものである。但し、こ
こでは、第１実施形態と異なり歪判別分析回路１５にお
いて、可変長符号復号化回路１１からピクチャ符号化タ
イプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）の情報を
得、そのピクチャに対応して判別分析回路の判別関数を
変更する。

【００７１】これは、すべてイントラ符号化されたＩピ
クチャのＤＣＴ係数とこのＩピクチャを参照画面として
予測符号化したＰピクチャやＢピクチャのＤＣＴ係数と
では、同じような画素空間データでもＤＣＴ係数が異な
るからである。このことは、有限なブロック空間でＤＣ
Ｔ変換することによるものである。

【００７２】例えば、動き補償によってＩピクチャのブ
ロック境界を含む画像がＰピクチャやＢピクチャのブロ
ック内にシフトされた場合、その境界によってＤＣＴの
基底ベクトル（周波数成分の波形）が不連続となる場合
があり、その境界を含むブロック画像を再ＤＣＴすると
周波数成分が変化しＤＣＴ係数もかわる。図９に、その
一例を示す。ここでは、ほとんど平坦なＩピクチャの画
像を水平２画素、垂直２ラインシフトしたときのシフト
前とシフト後の所定ブロック位置における画素濃淡値と
ＤＣＴ係数を示す。シフト前とシフト後のブロック内画
素濃淡値の変化に比べ、ＤＣＴ係数の相違が多く見られ
る。特に、シフト後では、不連続となったＬ字型の境界
の周波数成分と思われる中域と高域の周波数成分に小さ
なＤＣＴ係数が出現している。

【００７３】前記の理由から、判別分析回路１５の判別
関数としてＩピクチャ用と、ＰピクチャおよびＢピクチ
ャ用を用意しておく。なお、ＰピクチャおよびＢピクチ
ャ用の判別関数を作成するための参照画像としては、例
えば、Ｉピクチャをわずかにシフトさせた画像を参照画
像として、この参照画像を人が評価観察して作成したも
のを用意すればよい。そのあとの判別関数の導出や歪除
去処理のプロセスは第１実施形態と同様である。

【００７４】

【発明の効果】以上説明したように、本発明によれば、
直交変換、可変長符号化によって画像符号化されたデー
タを復号、再生したときに現れる種類の異なる歪を、直
交変換係数をもとに歪判別分析し、歪の種類とその歪の
程度に応じて歪除去することができるため、前記画像符
号化データを高画質の復号画像を得ることができる。

【図面の簡単な説明】

【図１】本発明の第１実施形態の構成を示す構成図

【図２】本発明の第１実施形態の参照データ作成を示す
説明図

【図３】本発明の第１実施形態の判定するブロックの分
布を説明する説明図

【図４】本発明の第１実施形態の歪除去に関する内容を
示す説明図

【図５】本発明の第１実施形態の歪除去に関する内容を
示す説明図

【図６】本発明の第１実施形態の歪判別除去方法のフロ
ーチャート

【図７】本発明の第２実施形態の構成を示す構成図

【図８】本発明の第３実施形態の構成を示す構成図

【図９】本発明の第３実施形態に関係するシフト圧縮画
像のＤＣＴの変化を説明する説明図

【図１０】歪除去の従来例を示す構成図

【符号の説明】

１１可変長符号復号化回路１２逆量子化回路１３逆直交変換回路１４Ａ第１歪判別変数抽出回路１４Ｂ第２歪判別変数抽出回路１５歪判別分析回路１６歪除去回路１７出力回路２３加算器２４動き補償予測回路２５画像メモリ２６直交変換回路

Claims

【特許請求の範囲】

【請求項１】ブロック毎の直交変換と量子化と可変長
符号化を用いて圧縮された画像の符号化データを復号化
する画像信号復号化装置であって、前記可変長符号化さ
れた符号化データを復号化する可変長符号復号化手段
と、前記可変長符号復号化手段で復号化された復号化デ
ータを逆量子化し、逆量子化直交変換係数を得る逆量子
化手段と、前記逆量子化手段で得られた逆量子化直交変
換係数を逆直交変換する逆直交変換手段と、逆量子化手
段の出力の各ブロック毎に前記量子化直交変換係数から
第１の演算式により第１の歪判別変数を抽出する第１の
歪判別変数抽出手段と、逆量子化手段の出力の各ブロッ
ク毎に前記量子化直交変換係数から第２の演算式により
第２の歪判別変数を抽出する第２の歪判別変数抽出手段
と、各ブロック毎に求めた少なくとも２つの歪判別変数
の値を変数として所定の歪判別分析関数から各ブロック
の歪の種類とその歪のレベルを出力する歪判別分析手段
と、前記逆直交変換手段の出力に対して、前記歪判別分
析手段で得られた各ブロック毎の歪の種類とその歪の程
度に基づき、ブロック毎に適応的歪除去処理を行う適応
的歪除去手段とを具備することを特徴とする画像信号復
号化装置。
【請求項２】歪判別分析手段が出力するブロックの歪
の種類は、すくなくともブロック歪とモスキート歪を含
むことを特徴とする請求項１記載の画像信号復号化装
置。
【請求項３】歪判別分析手段が出力するブロックの歪
の種類は、さらに歪なしのブロックを含むことを特徴と
する請求項２記載の画像信号復号化装置。
【請求項４】適応的歪除去手段は、歪の種類によって
歪除去対象の画素に対する演算を異ならせ、歪のレベル
によって歪除去の程度を変化させることを特徴とする請
求項１記載の画像信号復号化装置。
【請求項５】可変長復号化手段は、復号化されたブロ
ックの符号化モードのタイプを出力し、歪除去手段は、
前記ブロックの前記符号化モードのタイプにしたがっ
て、適応的歪除去処理を行うことを特徴とする請求項１
記載の画像信号復号化装置。
【請求項６】逆直交変換手段の出力をブロック毎に再
度直交変換する再直交変換手段をさらに具備し、前記再
直交変換手段の出力が、前記逆量子化手段の出力に替え
て前記第１および第２の歪判別変数抽出手段に入力され
ることを特徴とする請求項５記載の画像信号復号化装
置。
【請求項７】ブロック毎の直交変換と量子化と可変長
符号化を用いて圧縮された画像の符号化データを復号化
する画像信号復号化方法であって、前記可変長符号化さ
れた符号化データを復号化する可変長符号復号化ステッ
プと、前記可変長符号復号化ステップで復号化された復
号化データを逆量子化し、逆量子化直交変換係数を得る
逆量子化ステップと、前記逆量子化ステップで得られた
逆量子化直交変換係数を逆直交変換する逆直交変換ステ
ップと、逆量子化ステップの出力の各ブロック毎に前記
量子化直交変換係数から第１の演算式により第１の歪判
別変数を抽出する第１の歪判別変数抽出ステップと、逆
量子化ステップの出力の各ブロック毎に前記量子化直交
変換係数から第２の演算式により第２の歪判別変数を抽
出する第２の歪判別変数抽出ステップと、各ブロック毎
に求めた少なくとも２つの歪判別変数の値を変数として
所定の歪判別分析関数から各ブロックの歪の種類とその
歪のレベルを出力する歪判別分析ステップと、前記逆直
交変換ステップの出力に対して、前記歪判別分析ステッ
プで得られた各ブロック毎の歪の種類とその歪の程度に
基づき、ブロック毎に適応的歪除去処理を行う適応的歪
除去ステップとを具備することを特徴とする画像信号復
号化方法。
【請求項８】歪判別分析ステップが出力するブロック
の歪の種類は、すくなくともブロック歪とモスキート歪
を含むことを特徴とする請求項７記載の画像信号復号化
方法。
【請求項９】歪判別分析ステップが出力するブロック
の歪の種類は、さらに歪なしのブロックを含むことを特
徴とする請求項８記載の画像信号復号化方法。
【請求項１０】適応的歪除去ステップは、歪の種類に
よって歪除去対象の画素に対する演算を異ならせ、歪の
レベルによって歪除去の程度を変化させることを特徴と
する請求項７記載の画像信号復号化方法。
【請求項１１】可変長復号化ステップは、復号化され
たブロックの符号化モードのタイプを出力し、歪除去ス
テップは、前記ブロックの前記符号化モードのタイプに
したがって、適応的歪除去処理を行うことを特徴とする
請求項７記載の画像信号復号化方法。
【請求項１２】逆直交変換ステップの出力をブロック
毎に再度直交変換する再直交変換ステップをさらに具備
し、前記再直交変換ステップの出力が、前記逆量子化ス
テップの出力に替えて前記第１および第２の歪判別変数
抽出ステップに入力されることを特徴とする請求項１１
記載の画像信号復号化方法。