JP2002010256A

JP2002010256A - 画像処理装置および画像処理方法、並びに記録媒体

Info

Publication number: JP2002010256A
Application number: JP2000192407A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤; Hideo Nakaya; 秀雄中屋; Toshihiko Hamamatsu; 俊彦浜松; Hideki Otsuka; 秀樹大塚; Takeharu Nishikata; 丈晴西片; Takeshi Kunihiro; 威國弘; Takafumi Morifuji; 孝文森藤; Masashi Uchida; 真史内田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-06-27
Filing date: 2000-06-27
Publication date: 2002-01-11
Anticipated expiration: 2020-06-27
Also published as: JP4419287B2

Abstract

(57)【要約】【課題】ＭＰＥＧエンコードされた画像等に生じる歪
みを、容易に低減して、高画質の復号画像を得る。【解決手段】ブロック境界段差検出部２１は、注目ブ
ロックの境界における画素値と、その注目ブロックに隣
接するブロックである隣接ブロックの境界における画素
値との差分に対応する差分情報を求め、補正値算出部２
３は、注目ブロックの差分情報に対して、その注目ブロ
ックのアクティビティに基づく重みを付すことにより、
補正値を得る。そして、補正値加算部３１は、注目ブロ
ックのＤＣＴ係数を、補正値によって補正する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置およ
び画像処理方法、並びに記録媒体に関し、特に、例え
ば、ＭＰＥＧ(Moving Picture Experts Group)符号化さ
れた画像に生じる歪みを、容易に低減することができる
ようにする画像処理装置および画像処理方法、並びに記
録媒体に関する。

【０００２】

【従来の技術】例えば、ＭＰＥＧ１や２等の規格に基づ
いてエンコード（ＭＰＥＧエンコード）された画像デー
タをＭＰＥＧデコードして得られる復号画像には、ＭＰ
ＥＧエンコードの際に、ＤＣＴ(Discrete Cosine Trans
form)係数が量子化されることに起因して、ブロック歪
み等の各種の歪みが発生する。

【０００３】即ち、ＤＣＴ係数を量子化すると、その一
部が失われ、ＤＣＴ処理を施す単位であるブロックのパ
ターンが単純化し、隣接するブロックにおいて、画素値
が大きく異なる値となることによる不連続な段差が現れ
るが、これは、ブロック歪みと呼ばれる。

【０００４】ブロック歪みは、ブロック単位の画素をＤ
ＣＴ処理して量子化するというＭＰＥＧ方式のエンコー
ドでは避けられないものであり、ＭＰＥＧエンコードさ
れたビデオストリームを、ＭＰＥＧの規格に準拠してデ
コードする限り、少なからず発生する。なお、ブロック
歪みは、平坦な画像において特に目立ち、また、圧縮率
を高くすると（量子化スケールを大きくすると）、顕著
に現れる。

【０００５】そこで、例えば、再公表特許ＷＯ９８／５
４８９２等には、ＭＰＥＧデコードして得られる復号画
像について、ブロックの境界の位置を判定し、その境界
で発生している画素値の段差を検出して、その段差を、
ブロック境界付近の画素値を操作することで低減する方
法が開示されている。

【０００６】

【発明が解決しようとする課題】しかしながら、ＭＰＥ
Ｇエンコーダでは、Ｐ（前方向予測符号化）ピクチャや
Ｂ（両方向予測符号化）ピクチャについては、既にエン
コードされてローカルデコードされた画像を参照画像と
して、その参照画像に動き補償を施すことにより得られ
る予測画像との差分（予測残差）がＤＣＴ処理されて量
子化される。従って、ＭＰＥＧデコーダでも、Ｐピクチ
ャやＢピクチャは、既にデコードされた画像を参照画像
として、その参照画像に動き補償を施すことにより得ら
れる予測画像と、その予測残差とが加算されることによ
りデコードされるが、上述の方法では、予測画像を得る
ときに行われる動き補償によって移動する参照画像のブ
ロックの境界を、その参照画像について動き検出を行う
ことにより追跡する必要があり、面倒であった。

【０００７】さらに、その動き検出においては、ＭＰＥ
Ｇエンコーダで検出された動きベクトルと同一の動きベ
クトルを得る必要があるが、参照画像、即ち、ＭＰＥＧ
デコーダでデコードされた画像を用いて動き検出を行っ
ても、ＭＰＥＧエンコーダで検出されたのと同一の動き
ベクトルを検出することができるとは限らず、この場
合、参照画像に生じているブロック歪みが、その参照画
像に動き補償を施すことにより得られる予測画像を用い
てデコードされる画像に現れることとなる。

【０００８】本発明は、このような状況に鑑みてなされ
たものであり、ＭＰＥＧエンコードされた画像等に生じ
る歪みを、容易に低減し、これにより、高画質の復号画
像を得ることができるようにするものである。

【０００９】

【課題を解決するための手段】本発明の画像処理装置
は、ブロックの境界における画素値と、そのブロックに
隣接するブロックである隣接ブロックの境界における画
素値との差分に対応する差分情報を求める差分情報演算
手段と、差分情報に基づいて、直交変換係数の補正に用
いる補正情報を求める補正情報演算手段とを備えること
を特徴とする。

【００１０】本発明の画像処理方法は、ブロックの境界
における画素値と、そのブロックに隣接するブロックで
ある隣接ブロックの境界における画素値との差分に対応
する差分情報を求める差分情報演算ステップと、差分情
報に基づいて、直交変換係数の補正に用いる補正情報を
求める補正情報演算ステップとを備えることを特徴とす
る。

【００１１】本発明の記録媒体は、ブロックの境界にお
ける画素値と、そのブロックに隣接するブロックである
隣接ブロックの境界における画素値との差分に対応する
差分情報を求める差分情報演算ステップと、差分情報に
基づいて、直交変換係数の補正に用いる補正情報を求め
る補正情報演算ステップとを備えるプログラムが記録さ
れていることを特徴とする。

【００１２】本発明の画像処理装置および画像処理方
法、並びに記録媒体においては、ブロックの境界におけ
る画素値と、そのブロックに隣接するブロックである隣
接ブロックの境界における画素値との差分に対応する差
分情報が求められ、その差分情報に基づいて、直交変換
係数の補正に用いる補正情報が求められる。

【００１３】

【発明の実施の形態】図１は、本発明を適用した画像処
理装置の一実施の形態の構成例を示している。

【００１４】この画像処理装置は、入力画像分析部１、
歪補正値算出部２、および画像再構成部３で構成され、
例えば、ＭＰＥＧ１や２等の規格に準拠してエンコード
された画像データをデコードするようになっている。

【００１５】入力画像分析部１は、ＭＰＥＧデコード部
１１、ＤＣＴ係数抽出／逆量子化部１２、およびサイド
インフォメーション(side information)抽出部１３で構
成されており、そこには、画像データをＭＰＥＧエンコ
ードすることにより得られたビデオストリーム（以下、
適宜、ＭＰＥＧビデオストリームという）が入力される
ようになっている。

【００１６】ＭＰＥＧデコード部１１には、入力画像分
析部１に入力されるＭＰＥＧビデオストリームの他、画
像再構成部３の画像メモリ３４に記憶された、歪みの低
減された復号画像が、参照画像として供給されるように
なっている。ＭＰＥＧデコード部１１は、そこに供給さ
れるＭＰＥＧビデオストリームをＭＰＥＧデコードし、
その結果得られる復号画像を、歪補正値算出部２のブロ
ック境界段差検出部２１およびアクティビティ算出部２
２に供給する。また、ＭＰＥＧデコード部１１は、Ｉ
（イントラ符号化）ピクチャ、Ｐピクチャ、Ｂピクチャ
のうちの、ＰピクチャとＢピクチャの復号に用いられる
予測画像（既に復号された画像を参照画像として、その
参照画像に、動きベクトルにしたがって動き補償を施す
ことにより得られる画像）を、画像再構成部３の出力画
像作成部３３に供給する。

【００１７】なお、ＭＰＥＧデコード部１１は、その内
部で得られる復号画像ではなく、上述のようにして画像
メモリ３４から供給される、歪みの低減された復号画像
を参照画像として用い、その参照画像に対して、ＭＰＥ
Ｇビデオストリームに含まれる動きベクトルにしたがっ
て動き補償を施すことにより、予測画像を得るようにな
っている。

【００１８】従って、ＭＰＥＧデコード部１１における
動き補償は、歪みの低減された復号画像を参照画像とし
て用いて行われるため、参照画像に生じているブロック
歪みが、その参照画像に動き補償を施すことにより得ら
れる予測画像を用いてデコードされる画像に現れること
を防止することができる。即ち、ＭＰＥＧデコード部１
１において、そこでＭＰＥＧデコードされたＩまたはＰ
ピクチャを参照画像として動き補償により予測画像を生
成する場合には、その参照画像とするＩまたはＰピクチ
ャにおいて生じているブロック歪みが、動き補償により
移動する。さらに、その動き補償により得られる予測画
像には、ＰまたはＢピクチャの予測残差が加算されて、
そのＰまたはＢピクチャが復号されるが、その復号され
たＰまたはＢピクチャには、予測画像における歪みに加
えて、予測残差における歪みも現れ、歪み自体の検出が
困難となる。これに対して、ＭＰＥＧデコード部１１
は、上述のようにして画像メモリ３４から供給される、
歪みの低減された復号画像を参照画像として用い、その
参照画像に対して、ＭＰＥＧビデオストリームに含まれ
る動きベクトルにしたがって動き補償を施すので、上述
のような歪み検出の問題は生じない。

【００１９】ＤＣＴ係数抽出／逆量子化部１２には、入
力画像分析部１に入力されるＭＰＥＧビデオストリーム
が供給されるようになっている。ＤＣＴ係数抽出／逆量
子化部１２は、そこに供給されるＭＰＥＧビデオストリ
ームから、量子化されたＤＣＴ係数を抽出して逆量子化
し、その結果得られる８×８画素のブロックごとのＤＣ
Ｔ係数を、画像再構成部３の補正値加算部３１に供給す
る。

【００２０】サイドインフォメーション抽出部１３に
は、入力画像分析部１に入力されるＭＰＥＧビデオスト
リームが供給されるようになっている。サイドインフォ
メーション抽出部１３は、そこに供給されるＭＰＥＧビ
デオストリームに含まれる、例えば、量子化スケールや
量子化テーブル、ＤＣＴタイプ等のサイドインフォメー
ションを抽出し、歪補正値算出部２および画像再構成部
３に供給する。即ち、例えば、量子化スケールは、画像
再構成部３の補正値加算部３１に供給され、ＤＣＴタイ
プは、歪補正値算出部２のブロック境界段差検出部２１
およびアクティビティ算出部２２、並びに画像再構成部
３の補正値加算部３１に供給される。

【００２１】歪補正値算出部２は、ブロック段差検出部
２１、アクティビティ算出部２２、補正値算出部２３、
ＤＣＴ変換部２４、および高域低減部２５から構成さ
れ、入力画像分析部１のＤＣＴ係数抽出／逆量子化部１
２が出力する、逆量子化されたＤＣＴ係数の補正に用い
る補正値を算出する。

【００２２】即ち、ブロック境界段差検出部２１は、Ｍ
ＰＥＧデコード部１１からのブロック単位の復号画像に
ついて、各ブロックを順次、注目ブロックとし、注目ブ
ロックの境界を構成する画素値と、その注目ブロックに
隣接するブロックの境界を構成する画素値との差分を、
サイドインフォメーション部１３から供給されるＤＣＴ
タイプを参照することで演算し、注目ブロックの境界の
差分情報として、補正値算出部２３に供給する。

【００２３】アクティビティ算出部２２は、ＭＰＥＧデ
コード部１１からのブロック単位の復号画像について、
注目ブロックのアクティビティを演算するとともに、そ
の注目ブロックに隣接するブロックのアクティビティ
を、サイドインフォメーション部１３から供給されるＤ
ＣＴタイプを参照することで演算し、補正値算出部２３
および高域低減部２５に供給する。

【００２４】補正値算出部２３は、ブロック境界段差検
出部２１からのブロックの境界の差分情報に対して、ア
クティビティ算出部２２からのアクティビティに基づく
重み付けを行い、その重み付け結果を、ＤＣＴ係数抽出
／逆量子化部１２が出力する、逆量子化されたＤＣＴ係
数の補正に用いる補正値として、ＤＣＴ変換部２４に供
給する。

【００２５】ＤＣＴ変換部２４は、補正値算出部２３か
らの補正値にＤＣＴ処理を施し、高域低減部２５に供給
する。即ち、図１において、補正値算出部２３が出力す
る補正値は、空間領域の値（画素値の差分）となってい
るので、ＤＣＴ変換部２４は、その空間領域の補正値を
ＤＣＴ処理することで、周波数領域の補正値としてのＤ
ＣＴ係数に変換し、高域低減部２５に供給する。

【００２６】高域低減部２５は、ＤＣＴ変換部２４から
の補正値としてのＤＣＴ係数を、アクティビティ算出部
２２からのアクティビティに基づいて修正し、その修正
後の補正値を、画像再構成部３の補正値加算部３１に供
給する。

【００２７】画像再構成部３は、補正値加算部３１、逆
ＤＣＴ変換部３２、出力画像作成部３３、画像メモリ３
４、およびピクチャ選択部３５で構成され、入力画像分
析部１のＤＣＴ係数抽出／逆量子化部１２が出力するブ
ロック単位のＤＣＴ係数に対して、歪補正値算出部２が
出力する補正値に基づく補正を施し、その補正後のＤＣ
Ｔ係数を用いて、画像を復号する。

【００２８】即ち、補正値加算部３１は、ＤＣＴ係数抽
出／逆量子化部１２が出力するブロックのＤＣＴ係数
と、高域低減部２５が出力する補正値としてのＤＣＴ係
数とを加算（減算）し、これにより、ブロックのＤＣＴ
係数を補正して、逆ＤＣＴ変換部３２に供給する。

【００２９】逆ＤＣＴ変換部３２は、補正値加算部３１
が出力するブロックの、補正されたＤＣＴ係数を逆ＤＣ
Ｔ処理し、画素値のブロックを復号して、出力画像作成
部３３に供給する。

【００３０】出力画像作成部３３は、必要に応じて、逆
ＤＣＴ変換部３２からの画素値のブロックに対して、Ｍ
ＰＥＧデコード部１１が出力する予測画像を、サイドイ
ンフォメーション部１３が出力するＤＣＴタイプを参照
することで加算することにより、復号画像のブロックを
得る。さらに、出力画像作成部３３は、その復号画像の
ブロックを、ピクチャ選択部３５に供給するとともに、
必要に応じて、画像メモリ３４に供給する。

【００３１】画像メモリ３４は、出力画像作成部３３が
出力する復号画像のうち、ＰまたはＢピクチャの予測画
像を作成するための参照画像となるものを記憶する。そ
して、画像メモリ３４に記憶された画像は、必要に応じ
て読み出され、ＭＰＥＧデコード部１１に参照画像とし
て供給されるとともに、ピクチャ選択部３５に供給され
る。なお、ＭＰＥＧ１や２において、予測画像の作成に
用いられる参照画像となるのは、Ｉピクチャか、Ｐピク
チャなので、本実施の形態では、画像メモリ３４に記憶
されるのは、ＩピクチャとＰピクチャだけで、Ｂピクチ
ャは記憶されない。

【００３２】ピクチャ選択部３５は、出力画像作成部３
３が出力する画像、または画像メモリ３４から読み出さ
れる画像のうちのいずれか一方を、必要に応じて選択し
て出力する。即ち、ＭＰＥＧでは、画像のデコード（エ
ンコード）順序と、表示順序とが一致していないため、
ピクチャ選択部３５は、出力画像作成部３３が出力する
画像、または画像メモリ３４に記憶された画像のうち
の、いま表示すべき方を選択して出力する。

【００３３】なお、図１の画像処理装置（後述する図２
２の画像処理装置においても同様）においては、実際に
は、各ブロックにおける遅延に対処するのに、タイミン
グ調整用のメモリと同期信号が必要となるが、図が煩雑
になるのを避けるため、その図示は省略してある。

【００３４】次に、図２のフローチャートを参照して、
図１の画像処理装置による画像の復号処理について説明
する。

【００３５】入力画像分析部１に対して、ＭＰＥＧビデ
オストリームが供給されると、入力画像分析部１は、ス
テップＳ１において、いま復号対象となっているのがＩ
ピクチャであるかどうかを判定する。

【００３６】ステップＳ１において、いま復号対象とな
っているのがＩピクチャであると判定された場合、ステ
ップＳ２に進み、ＭＰＥＧデコード部１１は、そのＩピ
クチャをＭＰＥＧデコードし、ブロック境界段差検出部
２１およびアクティビティ算出部２２に供給する。さら
に、ステップＳ２では、ＤＣＴ係数抽出／逆量子化部１
２が、ＭＰＥＧビデオストリームから、ＭＰＥＧデコー
ド部１１で復号されたＩピクチャの、量子化されたＤＣ
Ｔ係数を抽出して逆量子化し、補正値加算部３１に供給
するとともに、サイドインフォメーション部１３が、Ｍ
ＰＥＧビデオストリームから、ＭＰＥＧデコード部１１
で復号されたＩピクチャについての量子化スケールおよ
びＤＣＴタイプを抽出する。量子化スケールは、補正値
加算部３１に供給され、ＤＣＴタイプは、ブロック境界
段差検出部２１、アクティビティ算出部２２、および補
正値加算部３１に供給される。

【００３７】一方、ステップＳ１において、いま復号対
象となっているのがＩピクチャでないと判定された場
合、即ち、復号対象がＰまたはＢピクチャである場合、
ステップＳ３に進み、ＭＰＥＧデコード部１１は、画像
メモリ３４から参照画像を読み出して動き補償を施すこ
とにより、いま復号対象となっているＰまたはＢピクチ
ャの予測画像を作成して、出力画像作成部３３に供給
し、ステップＳ４に進む。

【００３８】ステップＳ４では、ＭＰＥＧデコード部１
１は、いま復号対象となっているＰまたはＢピクチャ
の、量子化されたＤＣＴ係数を逆量子化および逆ＤＣＴ
処理し、その結果得られる画素値の予測残差に、ステッ
プＳ３で得た予測画像を加算することで、いま復号対象
となっているＰまたはＢピクチャを復号する。そして、
ＭＰＥＧデコード部１１は、このＰまたはＢピクチャの
復号結果を、ブロック段差検出部３１およびアクティビ
ティ算出部２２に供給する。さらに、ステップＳ４で
は、ＤＣＴ係数抽出／逆量子化部１２が、ＭＰＥＧビデ
オストリームから、ＭＰＥＧデコード部１１で復号され
たＰまたはＢピクチャの、量子化されたＤＣＴ係数を抽
出して逆量子化し、補正値加算部３１に供給するととも
に、サイドインフォメーション部１３が、ＭＰＥＧビデ
オストリームから、ＭＰＥＧデコード部１１で復号され
たＰまたはＢピクチャについての量子化スケールおよび
ＤＣＴタイプを抽出する。量子化スケールは、補正値加
算部３１に供給され、ＤＣＴタイプは、ブロック境界段
差検出部２１、アクティビティ算出部２２、および補正
値加算部３１に供給される。

【００３９】ステップＳ２またはＳ４の処理後は、いず
れも、ステップＳ５に進み、ブロック境界段差検出部２
１は、ＭＰＥＧデコード部１１からの復号画像のブロッ
クを、順次、注目ブロックとし、注目ブロックの境界を
構成する画素値と、その注目ブロックに隣接するブロッ
クの境界を構成する画素値との差分を、サイドインフォ
メーション部１３から供給されるＤＣＴタイプを参照し
ながら演算し、注目ブロックの境界の差分情報として、
補正値算出部２３に供給して、ステップＳ６に進む。

【００４０】ステップＳ６では、アクティビティ算出部
２２は、ＭＰＥＧデコード部１１からの復号画像におけ
る注目ブロックのアクティビティと、その注目ブロック
に隣接するブロックのアクティビティとを、サイドイン
フォメーション部１３から供給されるＤＣＴタイプを参
照しながら演算し、補正値算出部２３および高域低減部
２５に供給して、ステップＳ７に進む。

【００４１】ステップＳ７では、補正値算出部２３は、
ブロック境界段差検出部２１からのブロックの境界の差
分情報に対して、アクティビティ算出部２２からのアク
ティビティに基づく重みを付し、その重み付け結果を、
補正値として、ＤＣＴ変換部２４に供給して、ステップ
Ｓ８に進む。ステップＳ８では、ＤＣＴ変換部２４は、
補正値算出部２３からの補正値にＤＣＴ処理を施し、高
域低減部２５に供給して、ステップＳ９に進む。ステッ
プＳ９では、高域低減部２５は、ＤＣＴ変換部２４から
の補正値としてのＤＣＴ係数のうちの高次のものを、ア
クティビティ算出部２２からのアクティビティに基づい
て修正し、その修正後の補正値を、補正値加算部３１に
供給して、ステップＳ１０に進む。

【００４２】ステップＳ１０では、画像再構成部３が、
いま復号対象となっているのがＩピクチャであるかどう
かを判定し、Ｉピクチャであると判定した場合、ステッ
プＳ１１に進み、補正値加算部３１は、ＤＣＴ係数抽出
／逆量子化部１２が出力するブロックのＤＣＴ係数と、
高域低減部２５が出力する補正値としてのＤＣＴ係数と
を加算し、即ち、ここでは、ＤＣＴ係数抽出／逆量子化
部１２が出力するブロックのＤＣＴ係数から、高域低減
部２５が出力する補正値としてのＤＣＴ係数を減算し、
これにより、ブロックのＤＣＴ係数を補正して、逆ＤＣ
Ｔ変換部３２に供給する。

【００４３】逆ＤＣＴ変換部３２は、ステップＳ１２に
おいて、補正値加算部３１が出力するブロックの、補正
されたＤＣＴ係数を逆ＤＣＴ処理し、画素値のブロック
を復号して、出力画像作成部３３に供給する。

【００４４】一方、ステップＳ１０において、いま復号
対象となっているのがＩピクチャでないと判定された場
合、即ち、復号対象がＰまたはＢピクチャである場合、
ステップＳ１３に進み、補正値加算部３１は、ステップ
Ｓ１１における場合と同様に、ＤＣＴ係数抽出／逆量子
化部１２が出力するブロックのＤＣＴ係数（いまの場
合、このＤＣＴ係数は、ＰまたはＢピクチャと予測画像
との差分である予測残差をＤＣＴ処理して得られるもの
（残差ＤＣＴ係数）である）と、高域低減部２５が出力
する補正値としてのＤＣＴ係数とを加算し、これによ
り、ブロックのＤＣＴ係数を補正して、逆ＤＣＴ変換部
３２に供給する。

【００４５】逆ＤＣＴ変換部３２は、ステップＳ１４に
おいて、ステップＳ１２における場合と同様に、補正値
加算部３１が出力するブロックの、補正されたＤＣＴ係
数を逆ＤＣＴ処理し、画素値（予測残差）のブロックを
復号して、出力画像作成部３３に供給し、ステップＳ１
５に進む。

【００４６】ステップＳ１５では、出力画像作成部３３
は、逆ＤＣＴ変換部３２からの予測残差のブロックに、
ＭＰＥＧデコード部１１から供給される予測画像を加算
することで、復号画像を得る。即ち、いまの場合、復号
対象が、予測画像との差分値である予測残差がエンコー
ドされたＰまたはＢピクチャの画像であるため、逆ＤＣ
Ｔ変換部３２からのブロックは、予測残差のブロックと
なっている。そこで、ステップＳ１５では、その予測残
差に、予測画像が加算されることにより、ＰまたはＢピ
クチャの画像が復号される。

【００４７】ステップＳ１２またはＳ１５の処理の後
は、いずれも、ステップＳ１６に進み、出力画像作成部
３３は、いま復号された画像がＢピクチャであるかどう
かを判定する。

【００４８】ステップＳ１６において、復号された画像
がＢピクチャでないと判定された場合、即ち、復号され
た画像が、参照画像となり得るＩまたはＰピクチャであ
る場合、ステップＳ１７に進み、出力画像作成部３３
は、その復号されたＩまたはＰピクチャを、画像メモリ
３４に供給して記憶させ、ステップＳ１８に進む。ステ
ップＳ１８では、ピクチャ選択部３５が、画像メモリ３
４に記憶された、前回復号されたＩまたはＰピクチャを
選択して出力する。そして、ステップＳ１に戻り、以
下、同様の処理を繰り返す。

【００４９】また、ステップＳ１６において、復号され
た画像が、参照画像とされないＢピクチャであると判定
された場合、出力画像作成部３３は、その復号されたＢ
ピクチャを、ピクチャ選択部３５に供給して、ステップ
Ｓ１９に進む。ステップＳ１９では、ピクチャ選択部３
５が、出力画像作成部３３が出力するＢピクチャを選択
して出力する。そして、ステップＳ１に戻り、以下、同
様の処理を繰り返す。

【００５０】次に、図１の歪補正値算出部２および画像
再構成部３における処理について、詳述する。

【００５１】歪補正算出部２を構成するブロック境界段
差検出部２１は、上述したように、注目ブロックの境界
を構成する画素値と、その注目ブロックに隣接するブロ
ックの境界を構成する画素値との差分を演算し、注目ブ
ロックの境界の差分情報として出力する。

【００５２】即ち、ブロック境界段差検出部２１は、図
３に示すように、注目ブロックの境界を構成する２８の
画素値と、その注目ブロックの上下左右それぞれに隣接
するブロックの境界を構成する画素値との差分を演算す
る。なお、注目ブロックの、例えば、最も左上の画素値
は、注目ブロックの上のブロックと、その左のブロック
との両方に隣接するが、このような場合は、それぞれの
ブロックとの差分が演算される。即ち、最も左上の画素
値については、上に隣接するブロックの画素値との差分
と、左に隣接するブロックの画素値との差分の、２つの
差分が演算される。注目ブロックの右上、左下、右下の
画素についても同様である。従って、ブロック境界段差
検出部２１では、注目ブロックの境界を構成する画素に
ついて、３２（＝８×４）個の差分値が演算される。

【００５３】ここで、ＭＰＥＧでは、画像が１６×１６
画素のマクロブロックに分割され、さらに、そのマクロ
ブロックが８×８画素のブロックに分割され、ブロック
単位でＤＣＴ処理および量子化処理が施されるが、マク
ロブロックをブロック分割してＤＣＴ処理を施すモード
としては、フレームＤＣＴモードとフィールドＤＣＴモ
ードとが用意されている。

【００５４】即ち、例えば、いま図４（Ａ）に示すよう
に、１６×１６画素のマクロブロックの最上行のライン
を第１ラインとすると、フレームＤＣＴモードでは、輝
度信号に注目した場合、マクロブロックが、図４（Ｂ）
に示すように、奇数ラインと偶数ラインとが交互に並ん
だフレームで構成されるような４個のブロックに分割さ
れる。これに対して、フィールドＤＣＴモードでは、輝
度信号に注目した場合、マクロブロックが、図４（Ｃ）
に示すように、奇数ラインだけと偶数ラインだけとから
なるフィールドで構成されるような４個のブロックに分
割される。

【００５５】フレームＤＣＴモードとフィールドＤＣＴ
モードとは、マクロブロック単位で切り替えることが可
能であり、いずれのモードを用いてＭＰＥＧエンコード
されたかは、ＭＰＥＧビデオストリームに含まれるサイ
ドインフォメーションの１つであるＤＣＴタイプを参照
することで認識することができる。

【００５６】従って、注目ブロックが属するマクロブロ
ック（以下、適宜、注目マクロブロックという）と、そ
の注目マクロブロックに隣接するマクロブロックにおけ
るＤＣＴタイプが同一である場合には、問題はないが、
ＤＣＴタイプが異なる場合には、注目ブロックの境界を
構成する画素（以下、適宜、境界画素という）に隣接す
るブロックの画素が、本来隣接する画素でないこと（最
終的に１フレームの画像の画像の状態で、隣接しない画
素であること）がある。

【００５７】そこで、ブロック境界段差検出部２１は、
境界画素と本来隣接する画素との差分を演算するため
に、上述のように、サイドインフォメーション部１３か
ら供給されるＤＣＴタイプを参照し、これにより、注目
マクロブロックと、それに隣接するマクロブロックが、
フレームＤＣＴモードまたはフィールドＤＣＴモードの
いずれでＭＰＥＧエンコードされたものであるかを認識
して、例えば、以下のように、注目ブロックの境界画素
との差分を演算するようになっている。

【００５８】即ち、いま、図５に示すように、注目マク
ロブロックをＭＢ_Nと表すとともに、その上、下、左に
隣接するマクロブロックを、それぞれＭＢ_U，ＭＢ_D，Ｍ
Ｂ_Lと表す。さらに、例えば、マクロブロックＭＢ_Nを構
成する４個のブロックのうち、ラスタスキャン順で、ｉ
番目のブロックを、Ｂ_N-iと表すこととする。さらに、
注目マクロブロックＭＢ_Nを構成する４つのブロックＢ
_N-1，Ｂ_N-2，Ｂ_N-3，Ｂ_N-4のうち、例えば、その左上の
ブロックＢ_N-1が注目ブロックであるとする。

【００５９】そして、いま、例えば、図５に示すよう
に、注目マクロブロックＭＢ_N、マクロブロックＭＢ_U，
ＭＢ_D，ＭＢ_Lが、いずれもフレームＤＣＴモードである
場合には、注目ブロックＢ_N-1の上、下、左、右それぞ
れの境界画素については、その上、下、左、右に隣接す
る画素との差分がとられる。

【００６０】即ち、注目ブロックＢ_N-1の上の境界画素
それぞれについては、注目マクロブロックＭＢ_Nの上に
隣接するマクロブロックＭＢ_Uの左下のブロックＢ_U-3の
第８ラインの画素それぞれとの差分がとられる。また、
下の境界画素については、注目マクロブロックＭＢ_Nの
左下のブロックＢ_N-3の第１ラインの画素それぞれとの
差分がとられる。さらに、左の境界画素については、注
目マクロブロックＭＢ_Nの左に隣接するマクロブロック
ＭＢ_Lの右上のブロックＢ_L-2の第１乃至第８ラインの最
後（第８列）の画素それぞれとの差分がとられる。ま
た、右の境界画素については、注目マクロブロックＭＢ
_Nの右上のブロックＢ_N-2の第１乃至第８ラインの先頭
（第１列）の画素それぞれとの差分がとられる。

【００６１】次に、例えば、図６に示すように、注目マ
クロブロックＭＢ_NがフィールドＤＣＴモードであり、
マクロブロックＭＢ_U，ＭＢ_D，ＭＢ_Lが、いずれもフレ
ームＤＣＴモードである場合には、まず、注目ブロック
Ｂ_N-1の右に隣接するブロックＢ_N-2は、注目マクロブロ
ックＭＢ_Nを構成するブロックであり、従って、注目ブ
ロックＢ_N-1と、その右に隣接するブロックＢ_N-2とは同
一のライン構造を有するから、注目ブロックＢ_N-1の右
の境界画素については、その右隣の画素との差分がとら
れる。即ち、右の境界画素については、注目マクロブロ
ックＭＢ_Nの右上のブロックＢ_N-2の第１乃至第８ライン
の先頭の画素それぞれとの差分がとられる。

【００６２】また、注目ブロックＢ_N-1の上の境界画素
それぞれについては、その上に隣接する画素、即ち、注
目マクロブロックＭＢ_Nの上に隣接するマクロブロック
ＭＢ_Uの左下のブロックＢ_U-3の第７ラインの画素それぞ
れとの差分がとられる。

【００６３】さらに、注目ブロックＢ_N-1の左の境界画
素に関しては、その第１乃至第４ラインの境界画素それ
ぞれについては、注目マクロブロックＭＢ_Nの左隣のマ
クロブロックＭＢ_Lを構成する右上のブロックＢ_L-2の第
１，３，５，７ラインの最後の画素それぞれとの差分が
とられ、第５乃至第８ラインの境界画素それぞれについ
ては、注目マクロブロックＭＢ_Nの左隣のマクロブロッ
クＭＢ_Lを構成する右下のブロックＢ_L-4の第１，３，
５，７ラインの最後の画素それぞれとの差分がとられ
る。

【００６４】また、注目ブロックＢ_N-1の下の境界画素
それぞれについては、注目マクロブロックＭＢ_Nの下に
隣接するマクロブロックＭＢ_Dを構成する左上のブロッ
クＢ_D- ₁の第１ラインを構成する画素それぞれとの差分
がとられる。

【００６５】次に、例えば、図７に示すように、注目マ
クロブロックＭＢ_NがフレームＤＣＴモードであり、マ
クロブロックＭＢ_U，ＭＢ_D，ＭＢ_Lが、いずれもフィー
ルドＤＣＴモードである場合には、図６における場合と
同様に、注目ブロックＢ_N-1と、その右に隣接するブロ
ックＢ_N-2とは同一のライン構造を有するから、注目ブ
ロックＢ_N-1の右の境界画素については、その右隣の画
素との差分がとられる。即ち、右の境界画素について
は、注目マクロブロックＭＢ_Nの右上のブロックＢ_N-2の
第１乃至第８ラインの先頭の画素それぞれとの差分がと
られる。

【００６６】また、注目ブロックＢ_N-1の下の境界画素
それぞれについては、その下に隣接する画素、即ち、注
目マクロブロックＭＢ_Nの左下のブロックＢ_N-3の第１ラ
インの画素それぞれとの差分がとられる。

【００６７】さらに、注目ブロックＢ_N-1の左の境界画
素に関しては、その第１，３，５，７ラインの境界画素
それぞれについては、注目マクロブロックＭＢ_Nの左隣
のマクロブロックＭＢ_Lを構成する右上のブロックＢ_L-2
の第１乃至４ラインの最後の画素それぞれとの差分がと
られ、第２，４，６，８ラインの境界画素それぞれにつ
いては、注目マクロブロックＭＢ_Nの左隣のマクロブロ
ックＭＢ_Lを構成する右下のブロックＢ_L-4の第１乃至４
ラインの先頭の画素それぞれとの差分がとられる。

【００６８】また、注目ブロックＢ_N-1の上の境界画素
それぞれについては、注目マクロブロックＭＢ_Nの上に
隣接するマクロブロックＭＢ_Uを構成する左下のブロッ
クＢ_U- ₃の第８ラインを構成する画素それぞれとの差分
がとられる。

【００６９】次に、例えば、図８に示すように、注目マ
クロブロックＭＢ_Nと、マクロブロックＭＢ_U，ＭＢ_D，
ＭＢ_Lが、いずれもフィールドＤＣＴモードである場合
には、図６における場合と同様に、注目ブロックＢ_N-1
と、その右に隣接するブロックＢ_N-2とは同一のライン
構造を有するから、注目ブロックＢ_N-1の右の境界画素
については、その右隣の画素との差分がとられる。即
ち、右の境界画素については、注目マクロブロックＭＢ
_Nの右上のブロックＢ_N-2の第１乃至第８ラインの先頭の
画素それぞれとの差分がとられる。

【００７０】また、注目ブロックＢ_N-1の上の境界画素
それぞれについては、その上に隣接する画素、即ち、注
目マクロブロックＭＢ_Nの上に隣接するマクロブロック
ＭＢ_Uの左下のブロックＢ_U-1の第８ラインの画素それぞ
れとの差分がとられる。

【００７１】さらに、注目ブロックＢ_N-1の左の境界画
素それぞれについては、注目マクロブロックＭＢ_Nの左
隣のマクロブロックＭＢ_Lを構成する右上のブロックＢ
_L-2の第１乃至第８ラインの最後の画素それぞれとの差
分がとられる。

【００７２】なお、ＭＢ_U，ＭＢ_L，ＭＢ_Oがそれぞれ異
なるＤＣＴタイプである場合、図５と７、または図６と
８の組み合わせとなる。

【００７３】また、注目ブロックＢ_N-1の下の境界画素
それぞれについては、注目マクロブロックＭＢ_Nの下に
隣接するマクロブロックＭＢ_Dを構成する左上のブロッ
クＢ_D- ₁の第１ラインを構成する画素それぞれとの差分
がとられる。

【００７４】以上のように、ブロック境界段差検出部２
１は、サイドインフォメーション部１３から供給される
ＤＣＴタイプを参照することにより注目マクロブロック
と、それに隣接するマクロブロックを構成するブロック
のライン構造を認識し、注目ブロックの境界画素につい
て、その境界画素と本来隣接する画素との差分を演算
し、差分情報を得る。

【００７５】次に、図１の歪補正値算出部２を構成する
アクティビティ算出部２２の処理について説明する。

【００７６】アクティビティ算出部２２は、ＭＰＥＧコ
ード部１１から供給される画素値のブロックについて、
そのアクティビティを計算する。即ち、いま、ブロック
の第ｉ行第ｊ列の画素値を、ｐ（ｉ，ｊ）と表すと、ア
クティビティ算出部２２は、ブロックのアクティビティ
Ｖ_actを、例えば、次式にしたがって計算する。

【００７７】Ｖ_act＝Σ(p(i,j))²/(I×J)-(Σp(i,j)/(I×J))² ・・・（１）但し、式（１）において、Σは、ｉ，ｊを、１からＩ，
Ｊまでに変えてのサメーションを表し、ＩとＪは、ブロ
ックを構成する画素のライン数と列数を、それぞれ表
す。従って、本実施の形態では、Ｉ，Ｊは、ともに８で
ある。

【００７８】なお、アクティビティ算出部２２は、注目
ブロックについてアクティビティを計算するとともに、
その注目ブロックの上下左右にそれぞれ隣接するブロッ
クのアクティビティも計算する。但し、アクティビティ
算出部２２は、注目ブロックの上下左右にそれぞれ隣接
するブロックに関しては、サイドインフォメーション抽
出部１３から供給されるＤＣＴタイプを参照することに
より、そのブロックを構成するライン構造を認識し、注
目ブロックと同一構成のライン構造のブロックについ
て、アクティビティを計算する。

【００７９】即ち、例えば、図５に示したように、注目
マクロブロックＭＢ_Nと、マクロブロックＭＢ_U，Ｍ
Ｂ_D，ＭＢ_Lが、いずれもフレームＤＣＴモードである場
合には、アクティビティ算出部２２は、注目ブロックＢ
_N-1の上下左右に隣接するブロックのアクティビティ
を、それぞれ、注目ブロックＢ_N-1の上に隣接するブロ
ックＢ_U-3の第１乃至第８ライン、下に隣接するブロッ
クＢ_N-3の第１乃至第８ライン、左に隣接するブロック
Ｂ_L-2の第１乃至第８ライン、右に隣接するブロックＢ
_N-2の第１乃至第８ラインから、式（１）にしたがって
演算する。

【００８０】また、例えば、図６に示したように、注目
マクロブロックＭＢ_NがフィールドＤＣＴモードであ
り、マクロブロックＭＢ_U，ＭＢ_D，ＭＢ_Lが、いずれも
フレームＤＣＴモードである場合には、アクティビティ
算出部２２は、注目ブロックＢ _N-1の上下左右に隣接す
るブロックのアクティビティを、それぞれ、注目ブロッ
クＢ_N-1の上に隣接するマクロブロックＭＢ_Uのブロック
Ｂ_U-1の４つの奇数ラインおよびブロックＢ_U-3の４つの
奇数ライン、下に隣接するマクロブロックＭＢ_Dのブロ
ックＢ_D-1の４つの奇数ラインおよびブロックＢ_D-3の４
つの奇数ライン、左に隣接するマクロブロックＭＢ_Lの
ブロックＢ_L-2の４つの奇数ラインおよびブロックＢ_L-4
の４つの奇数ライン、右に隣接するブロックＢ_N-2の第
１乃至第８ラインから、式（１）にしたがって演算す
る。

【００８１】さらに、例えば、図７に示したように、注
目マクロブロックＭＢ_NがフレームＤＣＴモードであ
り、マクロブロックＭＢ_U，ＭＢ_D，ＭＢ_Lが、いずれも
フィールドＤＣＴモードである場合には、アクティビテ
ィ算出部２２は、注目ブロックＢ_N-1の上下左右に隣接
するブロックのアクティビティを、それぞれ、注目ブロ
ックＢ_N-1の上に隣接するマクロブロックＭＢ_Uのブロッ
クＢ_U-1の第５乃至第８ラインおよびブロックＢ_U-3の第
５乃至第８ライン、下に隣接するブロックＢ_N-3の第１
乃至第８ライン、左に隣接するマクロブロックＭＢ_Lの
ブロックＢ_L-2の第１乃至第４ラインおよびブロックＢ
_L-4の第１乃至第４ライン、右に隣接するブロックＢ_N-2
の第１乃至第８ラインから、式（１）にしたがって演算
する。

【００８２】また、例えば、図８に示したように、注目
マクロブロックＭＢ_N、マクロブロックＭＢ_U，ＭＢ_D，
ＭＢ_Lが、いずれもフィールドＤＣＴモードである場合
には、アクティビティ算出部２２は、注目ブロックＢ
_N-1の上下左右に隣接するブロックのアクティビティ
を、それぞれ、注目ブロックＢ_N-1の上に隣接するマク
ロブロックＭＢ_UのブロックＢ_U-1の第１乃至第８ライ
ン、下に隣接するマクロブロックＭＢ_DのブロックＢ_D-1
の第１乃至第８ライン、左に隣接するブロックＢ_L-2の
第１乃至第８ライン、右に隣接するブロックＢ_N-2の第
１乃至第８ラインから、式（１）にしたがって演算す
る。

【００８３】次に、図１の歪補正値算出部２を構成する
補正値算出部２３の処理について説明する。

【００８４】補正値算出部２３は、ブロック境界段差検
出部２１から供給される注目ブロックの境界の差分情報
を、アクティビティ算出部２２からの注目ブロックおよ
びその上下左右に隣接するブロックのアクティビティに
基づいて処理することにより、補正値を算出する。

【００８５】即ち、補正値算出部２３は、注目ブロック
と、それに隣接するブロック（以下、適宜、隣接ブロッ
クという）とのアクティビティがほぼ等しい場合には、
その注目ブロックの境界画素の画素値と、その境界画素
に隣接する隣接ブロックの画素値とを、それらの２つの
画素値の中間値に近づけるような補正値を求める。

【００８６】具体的には、例えば、いま差分情報として
用いている、注目ブロックの境界画素の画素値と、その
境界画素に隣接する隣接ブロックの画素値との差分を、
差分画素値というものとすると、補正値算出部２３は、
例えば、図９（Ａ）に示すように、ブロック歪みを低減
するために、注目ブロックの境界画素の画素値を、差分
画素値の７／１６だけ、その境界画素に隣接する隣接ブ
ロックの画素値に近づけるような補正値を求める。

【００８７】なお、境界画素に隣接する隣接ブロックの
画素値については、その隣接ブロックが注目ブロックと
なった場合に、上述の場合と同様にして、差分画素値の
７／１６だけ画素値を補正するような補正値が求められ
る。また、この場合、注目ブロックの境界画素の画素値
と、その境界画素に隣接する隣接ブロックの画素値と
が、互いに、差分画素値の７／１６だけ近づくように補
正されることとなり、従って、それらの２つの補正後の
画素値の間には、差分画素値の１／８（＝２／１６）だ
けの差が生じるが、これは、隣接するブロックの境界画
素どうしの間に、ある程度の差がある方が、そのブロッ
クどうしが滑らかに繋がり、自然に見えるからである。

【００８８】一方、補正値算出部２３は、注目ブロック
と、隣接ブロックとのアクティビティに、ある程度の差
がある場合には、その注目ブロックの境界画素の画素
値、またはその境界画素に隣接する隣接ブロックの画素
値のうちの、アクティビティが大きい方のブロックの画
素値を、アクティビティが小さい方のブロックの画素値
に近づけるような補正値を求める。

【００８９】即ち、注目ブロックと、隣接ブロックとの
アクティビティに、ある程度の差がある場合には、その
うちのアクティビティの大きい方のブロックがモスキー
トノイズを含んでいる可能性が高いため、そのモスキー
トノイズが、他方のブロック（アクティビティが小さい
方のブロック）に伝搬（影響）することを防止する必要
がある。

【００９０】そこで、補正値算出部２３は、注目ブロッ
クと隣接ブロックとのアクティビティに、ある程度の差
がある場合において、そのうちの注目ブロックのアクテ
ィビティの方が大きいときには、例えば、図９（Ｂ）に
示すように、注目ブロックの境界画素の画素値を、差分
画素値の分だけ、その境界画素に隣接する隣接ブロック
の画素値に近づけるような補正値、即ち、注目ブロック
の境界画素の画素値を、その境界画素に隣接する隣接ブ
ロックの画素値に一致させるような補正値を求める。

【００９１】補正値算出部２３は、以上のような補正値
を、ブロック境界段差検出部２１からの差分画素値であ
る差分情報と、アクティビティ算出部２２からのアクテ
ィビティを用いて、例えば、次のようにして求める。

【００９２】即ち、例えば、いま、図１０に示すよう
に、注目ブロックのアクティビティをＣで表すととも
に、その上下左右に隣接するブロックのアクティビティ
を、それぞれＡ，Ｅ，Ｂ，Ｄでそれぞれ表すとすると、
補正値算出部２３は、注目ブロックの上下左右の境界の
差分情報としての差分画素値それぞれに対して付す重み
Ｇｕ，Ｇｄ，Ｇｌ，Ｇｒを、次式にしたがって演算す
る。

【００９３】Ｇｕ＝7/16+(C-A)/(C+A)×1/2+|C-A|/|C+A|×1/16 Ｇｄ＝7/16+(C-E)/(C+E)×1/2+|C-E|/|C+E|×1/16 Ｇｌ＝7/16+(C-B)/(C+B)×1/2+|C-B|/|C+B|×1/16 Ｇｒ＝7/16+(C-D)/(C+D)×1/2+|C-D|/|C+D|×1/16 ・・・（２）

【００９４】そして、補正値算出部２３は、図１１に示
すように、注目ブロックの上下左右の境界それぞれの差
分情報としての差分画素値を、Ｇｕ，Ｇｄ，Ｇｌ，Ｇｒ
倍して補正値を得る。

【００９５】なお、補正値算出部２３は、差分情報のう
ちの、例えば、最も左上の差分画素値については、重み
ＧｕとＧｌとの平均値を重みとして付す。同様に、補正
値算出部２３は、最も右上の差分画素値については、重
みＧｕとＧｒとの平均値を、最も左下の差分画素値につ
いては、重みＧｌとＧｄとの平均値を、最も右下の差分
画素値については、重みＧｒとＧｄとの平均値を、それ
ぞれ重みとして付す。

【００９６】従って、補正値算出部２３では、境界部分
に、重みが付された差分画素値が配置され、残りの部分
に、０が配置されている８×８のブロックの補正値が得
られる。

【００９７】また、上述の場合には、差分情報に対し
て、アクティビティにのみ基づく重みを付して補正値を
求めるようにしたが、補正値は、その他、例えば、注目
ブロックに隣接する隣接ブロックが、注目マクロブロッ
クではないマクロブロックに属し、かつ、注目ブロック
と隣接ブロックとの量子化スケールが異なるときには、
差分情報に対して、アクティビティと量子化スケールと
に基づく重みを付して求めるようにすること等が可能で
ある。

【００９８】次に、図１の歪補正値算出部２を構成する
高域低減部２５の処理について説明する。

【００９９】高域低減部２５には、補正値算出部２３に
おいて得られる空間領域の８×８のブロックの補正値
が、ＤＣＴ変換部２４において、図１２（Ａ）に示すよ
うにＤＣＴ処理され、８×８個の周波数領域のＤＣＴ係
数とされたものが供給される。

【０１００】高域低減部２５は、そこに供給される補正
値としてのＤＣＴ係数のうちの高次のものを低減するこ
とにより、即ち、例えば、図１２（Ｂ）に示すように、
補正値としての８×８個のＤＣＴ係数のうちの第５行乃
至第８行、および第５列乃至第８列のものを０とするこ
と等により、その補正値を修正し、補正値加算部３１に
供給する。

【０１０１】即ち、ＤＣＴ変換部２４が出力する補正値
を、そのまま、ＤＣＴ係数抽出／逆量子化部１２が出力
するブロックのＤＣＴ係数の補正に用いると、そのブロ
ックの境界付近の画素値しか補正されず、その結果、例
えば、図１３（Ａ）に示すような急峻な段差のあるブロ
ックの境界部分の画素値は、図１３（Ｂ）に示すように
補正される。従って、ブロックの境界は、補正前よりも
目立たなくはなるが、それでも、ブロックの境界部分の
段差が、まだ急峻であるため、復号画像にブロック構造
が現れる。

【０１０２】そこで、高域低減部２５は、補正値として
のＤＣＴ係数の高次のものを低減することにより、その
補正値を修正する。このような修正後の補正値を、ＤＣ
Ｔ係数抽出／逆量子化部１２が出力するブロックのＤＣ
Ｔ係数の補正に用いた場合には、そのブロックの境界付
近だけでなく、その内部の画素値も補正され、その結
果、例えば、図１３（Ａ）に示すような急峻な段差のあ
るブロックの境界部分の画素値は、図１３（Ｃ）に示す
ように補正される。従って、ブロックの境界部分の段差
が滑らかになるため、復号画像にブロック構造が現れる
ことを、十分低減することができる。

【０１０３】次に、高域低減部２５において、補正値と
してのＤＣＴ係数の高次のものを低減するように、補正
値を修正する方法としては、図１２（Ｂ）に示したよう
な、高次のＤＣＴ係数を０とする方法以外の方法を採用
することが可能である。

【０１０４】即ち、例えば、図１４（Ａ）に示すよう
に、補正値は、第５行乃至第８行、および第５列乃至第
８列のものを０に修正するのではなく、任意の第ｉ行以
上、および第ｉ列以上のものを０に修正するようにする
ことができる。そして、この場合、変数ｉは、注目ブロ
ックのアクティビティや、注目ブロックの量子化に用い
られた量子化スケール等に基づいて決定することができ
る。即ち、例えば、注目ブロックのアクティビティが大
きい場合には、より高次のＤＣＴ係数だけを０に修正す
るようにし、そのアクティビティが小さい場合には、よ
り低次のＤＣＴ係数も０に修正するようにすることがで
きる。また、例えば、注目ブロックの量子化スケールが
小さい場合には、より高次のＤＣＴ係数だけを０に修正
するようにし、その量子化スケールが大きい場合には、
より低次のＤＣＴ係数も０に修正するようにすることが
できる。

【０１０５】なお、注目ブロックのアクティビティや量
子化スケール等に基づいて、０に修正するＤＣＴ係数の
次数を決定する場合には、その次数の下限値を設定して
おくようにすることができる。即ち、例えば、第４行以
下および第４列以下のＤＣＴ係数は、０に修正しないよ
うな設定をしておくことが可能である。この場合、０に
修正するＤＣＴ係数は、第５行乃至第８行、および第５
列乃至第８列の範囲で変化することになる。

【０１０６】また、補正値は、図１４（Ａ）に示したよ
うに、８×８のＤＣＴ係数のうち、同一の行と列以上の
ものを０に修正する他、０に修正する行と列を、独立に
決定することも可能である。

【０１０７】即ち、例えば、図１４（Ｂ）に示すよう
に、注目ブロックの左と右にそれぞれ隣接するブロック
のアクティビティが大きい場合には、水平方向の、より
高次のＤＣＴ係数だけを０に修正するようにし、その左
右に隣接するブロックのアクティビティが小さい場合に
は、水平方向の、より低次のＤＣＴ係数も０に修正する
ようにすることができる。また、例えば、注目ブロック
の上と下にそれぞれ隣接するブロックのアクティビティ
が大きい場合には、垂直方向の、より高次のＤＣＴ係数
だけを０に修正するようにし、上下に隣接するブロック
のアクティビティが小さい場合には、垂直方向の、より
低次のＤＣＴ係数も０に修正するようにすることができ
る。

【０１０８】さらに、例えば、注目ブロックの左と右に
それぞれ隣接するブロックの量子化スケールが小さい場
合には、水平方向の、より高次のＤＣＴ係数だけを０に
修正するようにし、その左右に隣接するブロックの量子
化スケールが大きい場合には、水平方向の、より低次の
ＤＣＴ係数も０に修正するようにすることができる。ま
た、例えば、注目ブロックの上と下にそれぞれ隣接する
ブロックの量子化スケールが小さい場合には、垂直方向
の、より高次のＤＣＴ係数だけを０に修正するように
し、その上下に隣接するブロックの量子化スケールが大
きい場合には、垂直方向の、より低次のＤＣＴ係数も０
に修正するようにすることができる。

【０１０９】さらに、図１４（Ａ）や図１４（Ｂ）に示
した場合においては、注目ブロックと、その上下に隣接
するブロックや左右に隣接するブロックとのアクティビ
ティの和等に基づいて、０に修正するＤＣＴ係数の次数
を決定することも可能である。

【０１１０】また、補正値としてのＤＣＴ係数は、例え
ば、そのＤＣＴ係数に、所定の重み付けを行うことによ
り修正することも可能である。

【０１１１】即ち、例えば、図１４（Ｃ）に示すよう
に、補正値としての８×８のＤＣＴ係数のうち、第ｖ行
第ｕ列のＤＣＴ係数を、Ｆ（ｕ，ｖ）と表すとともに、
修正後の補正値としてのＤＣＴ係数を、Ｆ’（ｕ，ｖ）
と表すこととすると、補正値としてのＤＣＴ係数は、例
えば、次の２つの式のいずれかにしたがって修正するこ
とが可能である。

【０１１２】Ｆ’（ｕ，ｖ）＝ａ×Ｆ（ｕ，ｖ）／（ｂ×ｕ＋ｃ×ｖ）Ｆ’（ｕ，ｖ）＝ａ×Ｆ（ｕ，ｖ）／√（（ｂ×ｕ）²＋（ｃ×ｖ）²）・・・（３）但し、式（３）において、ａ，ｂ，ｃは、注目ブロック
や、その上下左右に隣接するブロックのアクティビテ
ィ、あるいは量子化スケール等に基づいて設定される定
数を表す。

【０１１３】また、補正値としてのＤＣＴ係数は、例え
ば、注目ブロックの量子化に用いられた量子化テーブル
に基づく重み付けを行うことにより修正することも可能
である。

【０１１４】即ち、注目ブロックの量子化に用いられた
量子化テーブルｑが、例えば、図１４（Ｄ）に示すよう
なものであった場合において、その量子化テーブルｑの
第ｖ行第ｕ列の値をｑ（ｕ，ｖ）と表すと、補正値とし
てのＤＣＴ係数は、例えば、次式にしたがって修正する
ことが可能である。

【０１１５】Ｆ’（ｕ，ｖ）＝ａ×Ｆ（ｕ，ｖ）／ｑ（ｕ，ｖ）・・・（４）但し、式（４）において、ａは、式（３）における場合
と同様に、注目ブロック等のアクティビティ等に基づい
て設定される定数を表す。

【０１１６】次に、図１の画像再構成部３を構成する補
正値加算部３１の処理について説明する。

【０１１７】補正値加算部３１は、図１５（Ａ）に示す
ように、ＤＣＴ係数抽出／逆量子化部１２から供給され
る、ビデオストリームから抽出された注目ブロックのＤ
ＣＴ係数から、高域低減部２５から供給される、注目ブ
ロックに対応する補正値としてのＤＣＴ係数を減算する
ことで、注目ブロックのＤＣＴ係数を補正し、逆ＤＣＴ
変換部３２に供給する。逆ＤＣＴ変換部３２では、この
ようにして補正値加算部３１から供給される補正後の注
目ブロックのＤＣＴ係数が逆ＤＣＴ処理され、これによ
り、図１５（Ｂ）に示すような空間領域の８×８画素の
ブロックが得られる。

【０１１８】なお、Ｐ，Ｂピクチャについては、ＭＰＥ
Ｇエンコードの際、元の画像と、その予測画像との差分
（予測残差）がＤＣＴ処理され、さらに量子化されるか
ら、その量子化の結果得られるＤＣＴ係数は、すべて０
となることがあり、この場合、ビデオストリームに、Ｄ
ＣＴ係数は含められない。このような場合には、補正値
加算部３１は、ブロックのＤＣＴ係数が、すべて０であ
るとして、その０から、補正値を減算して、補正後のＤ
ＣＴ係数を得る。

【０１１９】また、上述の場合には、補正値加算部３１
において、注目ブロックのＤＣＴ係数を、補正値によっ
て必ず補正するようにしたが、注目ブロックのＤＣＴ係
数によって十分な画質が得られる場合（ブロック歪み等
が目立たない場合等）には、補正を行わないようにする
ことが可能である。

【０１２０】即ち、補正値加算部３１では、例えば、マ
クロブロック単位で、そのマクロブロックを構成するブ
ロックの補正を行うかどうかを、サイドインフォメーシ
ョン抽出部１３から供給される量子化スケール等に基づ
いて判定するようにすることが可能である。具体的に
は、例えば、ブロックの量子化スケールが所定の閾値以
下（未満）の場合（量子化が細かい場合）には、ブロッ
クの補正を行わず、ブロックの量子化スケールが所定の
閾値より大（以上）の場合（量子化が粗い）には、ブロ
ックの補正を行うようにすることが可能である。

【０１２１】次に、図１６および図１７は、本件発明者
が行ったシミュレーション結果を示している。なお、図
１６および図１７の左側に四角形で囲んである部分は、
それぞれの画像の一部分を拡大したものである。

【０１２２】図１６は、従来のＭＰＥＧ方式によりエン
コードした画像を、従来のＭＰＥＧ方式によりデコード
したデコード結果を示している。図１６の左側に示した
拡大部分から明らかなように、顕著に、ブロック歪みが
現れている。

【０１２３】図１７は、従来のＭＰＥＧ方式によりエン
コードした画像を、図１の画像処理装置によりデコード
したデコード結果を示している。図１７の左側に示した
拡大部分から明らかなように、図１６においてモザイク
状に現れているブロック歪みが十分に低減されているこ
とが分かる。

【０１２４】なお、ＭＰＥＧでは、Ｐ，Ｂピクチャにお
いて、スキップマクロブロックが生じると、スキップマ
クロブロックには、ＤＣＴタイプが付加されないため、
ブロック境界段差検出部２１やアクティビティ算出部２
２等において、ブロックのライン構造が、フレームＤＣ
ＴモードまたはフィールドＤＣＴモードのうちのいずれ
であるのか認識することができなくなる。このことは、
ＭＰＥＧデコード部１１において得られたＩピクチャに
動き補償を施して予測画像を得る場合に問題となるが、
図１で説明したように、出力画像作成部３３で得られた
Ｉピクチャに動き補償を施して予測画像を得る場合に
は、スキップマクロブロックについては、特に処理を行
わずにスキップするだけで良いので、特に問題は生じな
い。

【０１２５】以上のように、ブロックの境界部分の差分
情報に、アクティビティに基づく重みを付すことにより
補正値を得て、その補正値によって、ブロックのＤＣＴ
係数を補正するようにしたので、特に平坦な部分で生じ
やすいブロック歪みを十分に低減した高画質の復号画像
を得ることができる。

【０１２６】さらに、エッジを含むブロック（アクティ
ビティの高いブロック）で発生するモスキートノイズ
が、平坦なブロックに伝搬することを防止することがで
きる。

【０１２７】また、モスキートノイズが生じているブロ
ック（アクティビティの高いブロック）の画素値は、図
９（Ｂ）で説明したように、平坦なブロック（アクティ
ビティの低いブロック）の画素値に近づくように補正さ
れるため、モスキートノイズが生じているブロックの、
そのモスキートノイズを目立たなくすることができる。

【０１２８】さらに、図１の画像処理装置は、ブロック
歪み等を除去するための補正値としてのＤＣＴ係数を求
め、その補正値によって、ブロックのＤＣＴ係数を補正
するため、逆ＤＣＴ処理を行うＭＰＥＧデコード処理と
の親和性が高く、ＭＰＥＧデコーダに組み込んで、リア
ルタイムで処理を行うようにすることが可能である。

【０１２９】また、補正値は、ブロックの境界部分の差
分情報、即ち、いわばブロック境界における歪みそのも
のから生成されるため、その補正値による補正の効果
は、基本的に、ＭＰＥＧエンコード時における圧縮率の
影響をほとんど受けない。

【０１３０】さらに、高域低減部２５における補正値の
修正や、補正値加算部３１におけるブロックの補正にお
いては、量子化スケールその他のサイドインフォメーシ
ョンを利用することで、適応的な歪み除去を行うことが
できる。即ち、例えば、補正値加算部３１では、上述し
たように、マクロブロックの量子化スケールを参照する
ことにより、量子化誤差による画質の劣化の程度を推測
して、その劣化の程度によって、ブロックの補正を行っ
たり、または行わないようにすることができる。

【０１３１】次に、図１の画像処理装置では、逆ＤＣＴ
変換部３２において、ＤＣＴ係数に対して逆ＤＣＴ処理
を施すことにより、そのＤＣＴ係数を画素値に変換する
ようにしたが、ＤＣＴ係数から画素値への変換は、その
他、例えば、本件出願人が先に提案したクラス分類適応
処理を利用して行うことも可能である。

【０１３２】クラス分類適応処理は、クラス分類処理と
適応処理とからなり、クラス分類処理によって、データ
を、その性質に基づいてクラス分けし、各クラスごとに
適応処理を施すものであり、適応処理は、以下のような
手法のものである。

【０１３３】即ち、適応処理では、例えば、ＤＣＴ係数
と、所定のタップ係数との線形結合により、そのＤＣＴ
係数に対応する元の画素値の予測値を求めることで、Ｄ
ＣＴ係数が、元の画素値に復号される。

【０１３４】具体的には、例えば、いま、ある画像を教
師データとするとともに、その画像を、ブロック単位で
ＤＣＴ処理して得られるＤＣＴ係数を生徒データとし
て、教師データである画素の画素値ｙの予測値Ｅ［ｙ］
を、幾つかのＤＣＴ係数ｘ1，ｘ2，・・・の集合と、所
定のタップ係数ｗ1，ｗ2，・・・の線形結合により規定
される線形１次結合モデルにより求めることを考える。
この場合、予測値Ｅ［ｙ］は、次式で表すことができ
る。

【０１３５】Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・・・・（５）

【０１３６】式（５）を一般化するために、タップ係数
ｗjの集合でなる行列Ｗ、生徒データｘijの集合でなる
行列Ｘ、および予測値Ｅ［ｙj］の集合でなる行列Ｙ’
を、

【数１】で定義すると、次のような観測方程式が成立する。

【０１３７】ＸＷ＝Ｙ’ ・・・（６）ここで、行列Ｘの成分ｘijは、ｉ件目の生徒データの集
合（ｉ件目の教師データｙiの予測に用いる生徒データ
の集合）の中のｊ番目の生徒データを意味し、行列Ｗの
成分ｗjは、生徒データの集合の中のｊ番目の生徒デー
タとの積が演算されるタップ係数を表す。また、ｙi
は、ｉ件目の教師データを表し、従って、Ｅ［ｙi］
は、ｉ件目の教師データの予測値を表す。なお、式
（５）の左辺におけるｙは、行列Ｙの成分ｙiのサフィ
ックスｉを省略したものであり、また、式（５）の右辺
におけるｘ1，ｘ2，・・・も、行列Ｘの成分ｘijのサフ
ィックスｉを省略したものである。

【０１３８】そして、この観測方程式に最小自乗法を適
用して、元の画素値ｙに近い予測値Ｅ［ｙ］を求めるこ
とを考える。この場合、教師データとなる真の画素値ｙ
の集合でなる行列Ｙ、および画素値ｙに対する予測値Ｅ
［ｙ］の残差ｅの集合でなる行列Ｅを、

【数２】で定義すると、式（６）から、次のような残差方程式が
成立する。

【０１３９】ＸＷ＝Ｙ＋Ｅ・・・（７）

【０１４０】この場合、元の画素値ｙに近い予測値Ｅ
［ｙ］を求めるためのタップ係数ｗjは、自乗誤差

【数３】を最小にすることで求めることができる。

【０１４１】従って、上述の自乗誤差をタップ係数ｗj
で微分したものが０になる場合、即ち、次式を満たすタ
ップ係数ｗjが、元の画素値ｙに近い予測値Ｅ［ｙ］を
求めるため最適値ということになる。

【０１４２】

【数４】・・・（８）

【０１４３】そこで、まず、式（７）を、タップ係数ｗ
jで微分することにより、次式が成立する。

【０１４４】

【数５】・・・（９）

【０１４５】式（８）および（９）より、式（１０）が
得られる。

【０１４６】

【数６】・・・（１０）

【０１４７】さらに、式（７）の残差方程式における生
徒データｘij、タップ係数ｗj、教師データｙi、および
残差ｅiの関係を考慮すると、式（１０）から、次のよ
うな正規方程式を得ることができる。

【０１４８】

【数７】・・・（１１）

【０１４９】なお、式（１１）に示した正規方程式は、
行列（共分散行列）Ａおよびベクトルｖを、

【数８】で定義するとともに、ベクトルＷを、数１で示したよう
に定義すると、式ＡＷ＝ｖ・・・（１２）で表すことができる。

【０１５０】式（１１）における各正規方程式は、生徒
データｘijおよび教師データｙiのセットを、ある程度
の数だけ用意することで、求めるべきタップ係数ｗjの
数Ｊと同じ数だけたてることができ、従って、式（１
２）を、ベクトルＷについて解くことで（但し、式（１
２）を解くには、式（１２）における行列Ａが正則であ
る必要がある）、最適なタップ係数（ここでは、自乗誤
差を最小にするタップ係数）ｗjを求めることができ
る。なお、式（１２）を解くにあたっては、例えば、掃
き出し法（Gauss-Jordanの消去法）などを用いることが
可能である。

【０１５１】以上のようにして、最適なタップ係数ｗj
を求めておく学習処理を行い、さらに、そのタップ係数
ｗjを用い、式（５）により、元の画素値ｙに近い予測
値Ｅ［ｙ］を求める予測処理を行うのが適応処理であ
る。

【０１５２】図１８は、以上のようなクラス分類適応処
理により、ＤＣＴ係数を画素値に復号する、逆ＤＣＴ変
換部３２の構成例を示している。

【０１５３】補正値加算部３１が出力する８×８のブロ
ックごとのＤＣＴ係数は、予測タップ抽出回路４１およ
びクラスタップ抽出回路４２に供給されるようになって
いる。

【０１５４】予測タップ抽出回路４１は、そこに供給さ
れるＤＣＴ係数のブロック（以下、適宜、ＤＣＴブロッ
クという）に対応する画素値のブロック（この画素値の
ブロックは、現段階では存在しないが、仮想的に想定さ
れる）（以下、適宜、画素ブロックという）を、順次、
注目画素ブロックとし、さらに、その注目画素ブロック
を構成する各画素を、例えば、いわゆるラスタスキャン
順に、順次、注目画素とする。さらに、予測タップ抽出
回路４１は、注目画素の画素値を予測するのに用いるＤ
ＣＴ係数を抽出し、予測タップとする。

【０１５５】即ち、予測タップ抽出回路４１は、例え
ば、注目画素が属する画素ブロックに対応するＤＣＴブ
ロックのすべてのＤＣＴ係数、即ち、８×８の６４個の
ＤＣＴ係数を、予測タップとして抽出する。従って、本
実施の形態では、ある画素ブロックのすべての画素につ
いて、同一の予測タップが構成される。但し、予測タッ
プは、注目画素ごとに、異なるＤＣＴ係数で構成するこ
とが可能である。

【０１５６】予測タップ抽出回路４１において得られ
る、画素ブロックを構成する各画素についての予測タッ
プ、即ち、６４画素それぞれについての６４セットの予
測タップは、積和演算回路４５に供給される。但し、本
実施の形態では、上述したように、画素ブロックのすべ
ての画素について、同一の予測タップが構成されるの
で、実際には、１つの画素ブロックに対して、１セット
の予測タップを、積和演算回路４５に供給すれば良い。

【０１５７】クラスタップ抽出回路４２は、注目画素
を、幾つかのクラスのうちのいずれかに分類するための
クラス分類に用いるＤＣＴ係数を抽出して、クラスタッ
プとする。

【０１５８】なお、ＭＰＥＧエンコードでは、画像が、
画素ブロックごとにＤＣＴ処理されることから、ある画
素ブロックに属する画素は、例えば、すべて同一のクラ
スにクラス分類することとする。従って、クラスタップ
抽出回路４２は、ある画素ブロックの各画素について
は、同一のクラスタップを構成する。即ち、クラスタッ
プ抽出回路４２は、例えば、予測タップ抽出回路４１に
おける場合と同様に、注目画素が属する画素ブロックに
対応するＤＣＴブロックの８×８個のすべてのＤＣＴ係
数を、クラスタップとして抽出する。

【０１５９】ここで、画素ブロックに属する各画素を、
すべて同一のクラスにクラス分類するということは、そ
の画素ブロックをクラス分類することと等価である。従
って、クラスタップ抽出回路４２には、注目画素ブロッ
クを構成する６４画素それぞれをクラス分類するための
６４セットのクラスタップではなく、注目画素ブロック
をクラス分類するための１セットのクラスタップを構成
させれば良く、このため、クラスタップ抽出回路４２
は、画素ブロックごとに、その画素ブロックをクラス分
類するために、その画素ブロックに対応するＤＣＴブロ
ックの６４個のＤＣＴ係数を抽出して、クラスタップと
するようになっている。

【０１６０】なお、予測タップやクラスタップを構成す
るＤＣＴ係数は、上述したパターンのものに限定される
ものではない。

【０１６１】クラスタップ抽出回路４２において得られ
る、注目画素ブロックのクラスタップは、クラス分類回
路４３に供給されるようになっており、クラス分類回路
４３は、クラスタップ抽出回路４２からのクラスタップ
に基づき、注目画素ブロックをクラス分類し、その結果
得られるクラスに対応するクラスコードを出力する。

【０１６２】ここで、クラス分類を行う方法としては、
例えば、ADRC(Adaptive Dynamic Range Coding)等を採
用することができる。

【０１６３】ADRCを用いる方法では、クラスタップを構
成するＤＣＴ係数が、ADRC処理され、その結果得られる
ADRCコードにしたがって、注目画素ブロックのクラスが
決定される。

【０１６４】なお、KビットADRCにおいては、例えば、
クラスタップを構成するＤＣＴ係数の最大値MAXと最小
値MINが検出され、DR=MAX-MINを、集合の局所的なダイ
ナミックレンジとし、このダイナミックレンジDRに基づ
いて、クラスタップを構成するＤＣＴ係数がKビットに
再量子化される。即ち、クラスタップを構成するＤＣＴ
係数の中から、最小値MINが減算され、その減算値がDR/
2^Kで除算（量子化）される。そして、以上のようにして
得られる、クラスタップを構成するKビットの各ＤＣＴ
係数を、所定の順番で並べたビット列が、ADRCコードと
して出力される。従って、クラスタップが、例えば、１
ビットADRC処理された場合には、そのクラスタップを構
成する各ＤＣＴ係数は、最小値MINが減算された後に、
最大値MAXと最小値MINとの平均値で除算され、これによ
り、各ＤＣＴ係数が１ビットとされる（２値化され
る）。そして、その１ビットのＤＣＴ係数を所定の順番
で並べたビット列が、ADRCコードとして出力される。

【０１６５】なお、クラス分類回路４３には、例えば、
クラスタップを構成するＤＣＴ係数のレベル分布のパタ
ーンを、そのままクラスコードとして出力させることも
可能であるが、この場合、クラスタップが、Ｎ個のＤＣ
Ｔ係数で構成され、各ＤＣＴ係数に、Ｋビットが割り当
てられているとすると、クラス分類回路４３が出力する
クラスコードの場合の数は、（２^N）^K通りとなり、ＤＣ
Ｔ係数のビット数Ｋに指数的に比例した膨大な数とな
る。

【０１６６】従って、クラス分類回路４３においては、
クラスタップの情報量を、上述のADRC処理や、あるいは
ベクトル量子化等によって圧縮してから、クラス分類を
行うのが好ましい。

【０１６７】ところで、本実施の形態では、クラスタッ
プは、上述したように、６４個のＤＣＴ係数で構成され
る。従って、例えば、仮に、クラスタップを１ビットAD
RC処理することにより、クラス分類を行うこととして
も、クラスコードの場合の数は、２⁶⁴通りという大きな
値となる。

【０１６８】そこで、本実施の形態では、クラス分類回
路４３において、クラスタップを構成するＤＣＴ係数か
ら、重要性の高い特徴量を抽出し、その特徴量に基づい
てクラス分類を行うことで、クラス数を低減するように
なっている。

【０１６９】即ち、図１９は、図１８のクラス分類回路
４３の構成例を示している。

【０１７０】クラスタップは、電力演算回路５１に供給
されるようになっており、電力演算回路５１は、クラス
タップを構成するＤＣＴ係数を、幾つかの空間周波数帯
域のものに分け、各周波数帯域の電力を演算する。

【０１７１】即ち、電力演算回路５１は、クラスタップ
を構成する８×８個のＤＣＴ係数を、例えば、図２０に
示すような４つの空間周波数帯域Ｓ0，Ｓ1，Ｓ2，Ｓ3に
分割する。

【０１７２】さらに、電力演算回路５１は、空間周波数
帯域Ｓ0，Ｓ1，Ｓ2，Ｓ3それぞれについて、ＤＣＴ係数
のＡＣ成分の電力（ＡＣ成分の２乗和）Ｐ0，Ｐ1，Ｐ
2，Ｐ3を演算し、クラスコード生成回路５２に出力す
る。

【０１７３】クラスコード生成回路５２は、電力演算回
路５１からの電力Ｐ0，Ｐ1，Ｐ2，Ｐ3を、閾値テーブル
記憶部５３に記憶された、対応する閾値ＴＨ０，ＴＨ
１，ＴＨ２，ＴＨ３とそれぞれ比較し、それぞれの大小
関係に基づいて、クラスコードを出力する。即ち、クラ
スコード生成回路５２は、電力Ｐ0と閾値ＴＨ０とを比
較し、その大小関係を表す１ビットのコードを得る。同
様に、クラスコード生成回路５２は、電力Ｐ1と閾値Ｔ
Ｈ１、電力Ｐ2と閾値ＴＨ２、電力Ｐ3と閾値ＴＨ３を、
それぞれ比較することにより、それぞれについて、１ビ
ットのコードを得る。そして、クラスコード生成回路５
２は、以上のようにして得られる４つの１ビットのコー
ドを、例えば、所定の順番で並べることにより得られる
４ビットのコード（従って、０乃至１５のうちのいずれ
かの値）を、注目画素ブロックのクラスを表すクラスコ
ードとして出力する。従って、本実施の形態では、注目
画素ブロックは、２⁴（＝１６）個のクラスのうちのい
ずれかにクラス分類されることになる。

【０１７４】閾値テーブル記憶部５３は、空間周波数帯
域Ｓ0乃至Ｓ3の電力Ｐ0乃至Ｐ3とそれぞれ比較する閾値
ＴＨ０乃至ＴＨ３を記憶している。

【０１７５】なお、上述の場合には、クラス分類処理
に、ＤＣＴ係数のＤＣ成分が用いられないが、このＤＣ
成分をも用いてクラス分類処理を行うことも可能であ
る。

【０１７６】図１８に戻り、以上のようなクラス分類回
路４３が出力するクラスコードは、係数テーブル記憶部
４４に、アドレスとして与えられる。

【０１７７】係数テーブル記憶部４４は、上述したよう
な教師データと生徒データとを用いた学習処理が行われ
ることにより得られるタップ係数が登録された係数テー
ブルを記憶しており、クラス分類回路４３が出力するク
ラスコードに対応するアドレスに記憶されているタップ
係数を積和演算回路４５に出力する。

【０１７８】ここで、本実施の形態では、画素ブロック
がクラス分類されるから、注目画素ブロックについて、
１つのクラスコードが得られる。一方、画素ブロック
は、本実施の形態では、８×８画素の６４画素で構成さ
れるから、注目画素ブロックについて、それを構成する
６４画素それぞれを復号するための６４セットのタップ
係数が必要である。従って、係数テーブル記憶部４４に
は、１つのクラスコードに対応するアドレスに対して、
６４セットのタップ係数が記憶されている。

【０１７９】積和演算回路４５は、予測タップ抽出回路
４１が出力する予測タップと、係数テーブル記憶部４４
が出力するタップ係数とを取得し、その予測タップとタ
ップ係数とを用いて、式（５）に示した線形予測演算
（積和演算）を行い、その結果得られる注目画素ブロッ
クの８×８画素の画素値を、対応するＤＣＴブロックの
復号結果（逆ＤＣＴ結果）として、出力画像作成部３３
（図１）に出力する。

【０１８０】ここで、予測タップ抽出回路４１において
は、上述したように、注目画素ブロックの各画素が、順
次、注目画素とされるが、積和演算回路４５は、注目画
素ブロックの、注目画素となっている画素の位置に対応
した動作モード（以下、適宜、画素位置モードという）
となって、処理を行う。

【０１８１】即ち、例えば、注目画素ブロックの画素の
うち、ラスタスキャン順で、ｉ番目の画素を、ｐiと表
し、画素ｐiが、注目画素となっている場合、積和演算
回路４５は、画素位置モード＃ｉの処理を行う。

【０１８２】具体的には、上述したように、係数テーブ
ル記憶部４４は、注目画素ブロックを構成する６４画素
それぞれを復号するための６４セットのタップ係数を出
力するが、そのうちの画素ｐiを復号するためのタップ
係数のセットをＷiと表すと、積和演算回路４５は、動
作モードが、画素位置モード＃ｉのときには、予測タッ
プと、６４セットのタップ係数のうちのセットＷiとを
用いて、式（５）の積和演算を行い、その積和演算結果
を、画素ｐiの復号結果とする。

【０１８３】次に、図２１のフローチャートを参照し
て、図１８の逆ＤＣＴ変換部３２の処理について説明す
る。

【０１８４】補正値加算部３１（図１）が出力するブロ
ックごとのＤＣＴ係数は、予測タップ抽出回路４１およ
びクラスタップ抽出回路４２において順次受信され、予
測タップ抽出回路４１は、そこに供給されるＤＣＴ係数
のブロック（ＤＣＴブロック）に対応する画素ブロック
を、順次、注目画素ブロックとする。

【０１８５】そして、クラスタップ抽出回路４２は、ス
テップＳ２１において、そこで受信したＤＣＴ係数の中
から、注目画素ブロックをクラス分類するのに用いるも
のを抽出して、クラスタップを構成し、クラス分類回路
４３に供給する。

【０１８６】クラス分類回路４３は、ステップＳ２２に
おいて、クラスタップ抽出回路４２からのクラスタップ
を用いて、注目画素ブロックをクラス分類し、その結果
得られるクラスコードを、係数テーブル記憶部４４に出
力する。

【０１８７】即ち、ステップＳ２２では、クラス分類回
路４３（図１９）の電力演算回路５１が、クラスタップ
を構成する８×８個のＤＣＴ係数を、図２０に示した４
つの空間周波数帯域Ｓ0乃至Ｓ3に分割し、それぞれの電
力Ｐ0乃至Ｐ3を演算する。この電力Ｐ0乃至Ｐ3は、電力
演算回路５１からクラスコード生成回路５２に出力され
る。

【０１８８】クラスコード生成回路５２は、閾値テーブ
ル記憶部５３から閾値ＴＨ０乃至ＴＨ３を読み出し、電
力演算回路５１からの電力Ｐ0乃至Ｐ3それぞれと、閾値
ＴＨ０乃至ＴＨ３それぞれとを比較し、それぞれの大小
関係に基づいたクラスコードを生成する。

【０１８９】以上のようにして得られるクラスコード
は、クラス分類回路４３から係数テーブル記憶部４４に
対して、アドレスとして与えられる。

【０１９０】係数テーブル記憶部４４は、クラス分類回
路４３からのアドレスとしてのクラスコードを受信する
と、ステップＳ２３において、そのアドレスに記憶され
ている６４セットのタップ係数を読み出し、積和演算回
路４５に出力する。

【０１９１】そして、ステップＳ２４に進み、予測タッ
プ抽出回路４１は、注目画素ブロックの画素のうち、ラ
スタスキャン順で、まだ、注目画素とされていない画素
を、注目画素として、その注目画素の画素値を予測する
のに用いるＤＣＴ係数を抽出し、予測タップとして構成
する。この予測タップは、予測タップ抽出回路４１から
積和演算回路４５に供給される。

【０１９２】ここで、本実施の形態では、各画素ブロッ
クごとに、その画素ブロックのすべての画素について、
同一の予測タップが構成されるので、実際には、ステッ
プＳ２４の処理は、注目画素ブロックについて、最初に
注目画素とされる画素に対してだけ行えば、残りの６３
画素に対しては、行う必要がない。

【０１９３】積和演算回路４５は、ステップＳ２５にお
いて、ステップＳ２３で係数テーブル記憶部４４が出力
する６４セットのタップ係数のうち、注目画素に対する
画素位置モードに対応するタップ係数のセットを取得
し、そのタップ係数のセットと、ステップＳ２４で予測
タップ抽出回路４１から供給される予測タップとを用い
て、式（５）に示した積和演算を行い、注目画素の画素
値の復号値を得る。

【０１９４】そして、ステップＳ２６に進み、予測タッ
プ抽出回路４１は、注目画素ブロックのすべての画素
を、注目画素として処理を行ったかどうかを判定する。
ステップＳ２６において、注目画素ブロックのすべての
画素を、注目画素として、まだ処理を行っていないと判
定された場合、ステップＳ２４に戻り、予測タップ抽出
回路４１は、注目画素ブロックの画素のうち、ラスタス
キャン順で、まだ、注目画素とされていない画素を、新
たに注目画素として、以下、同様の処理を繰り返す。

【０１９５】また、ステップＳ２６において、注目画素
ブロックのすべての画素を、注目画素として処理を行っ
たと判定された場合、即ち、注目画素ブロックのすべて
の画素の復号値が得られた場合、積和演算回路４５は、
その復号値で構成される画素ブロック（復号ブロック）
を、出力画像作成部３３（図１）に出力し、処理を終了
する。

【０１９６】なお、係数テーブル記憶部４４には、ある
画像を教師データとするとともに、その画像をＭＰＥＧ
エンコードしたものを図１の画像処理装置の入力とした
場合の補正値加算部３１の出力を生徒データとして、学
習処理を行うことにより得られるタップ係数を記憶させ
ておく必要がある。

【０１９７】また、上述の場合には、ＤＣＴブロックの
ＤＣＴ係数のみを用いてクラス分類を行うようにした
が、クラス分類は、ＤＣＴ係数の他、例えば、そのＤＣ
Ｔブロックのアクティビティや、量子化スケール、Ｉ，
Ｐ，Ｂピクチャの別等をも用いて行うことが可能であ
る。この場合、学習処理においても、ＤＣＴ係数、アク
ティビティ、量子化スケール、Ｉ，Ｐ，Ｂピクチャの別
等を用いてクラス分類を行う必要があるから、タップ係
数が、ＤＣＴ係数、アクティビティ、量子化スケール、
Ｉ，Ｐ，Ｂピクチャの別等に応じて求められることとな
る。従って、そのようなタップ係数を用いて、ＤＣＴ係
数を画素値に変換する場合には、その画素値で構成され
る画像の高画質化を図ることが可能となる。

【０１９８】さらに、クラス分類適応処理は、ＤＣＴ係
数を画素値に変換する場合の他、その逆に、画素値をＤ
ＣＴ係数に変換する場合にも利用することができる。即
ち、例えば、図１のＤＣＴ変換部２４でも、クラス分類
適応処理を利用して、補正値算出部２３の出力をＤＣＴ
係数に変換することが可能である。但し、この場合に
は、補正値算出部２３の出力を生徒データとするととも
に、その出力をＤＣＴ処理して得られるＤＣＴ係数を教
師データとして学習処理を行い、タップ係数を求めてお
く必要がある。

【０１９９】次に、図２２は、本発明を適用した画像処
理装置の他の実施の形態の構成例を示している。なお、
図中、図１における場合と対応する部分については、同
一の符号を付してあり、以下では、その説明は、適宜省
略する。即ち、図２２の画像処理装置は、第１に、演算
器４が新たに設けられ、第２に、入力画像分析部１にＤ
ＣＴ変換部１４が新たに設けられ、第３に、歪補正値算
出部２のブロック段差検出部２１またはアクティビティ
算出部２２に替えて、ブロック段差検出部２６またはア
クティビティ算出部２７がそれぞれ設けられている他
は、図１における場合と同様に構成されている。

【０２００】図１の画像処理装置では、ブロックの境界
部分の差分情報、およびブロックのアクティビティを、
いずれも、ＭＰＥＧデコード部１１が出力する画素値か
ら求めるようになっていたが、図２２の画像処理装置で
は、差分情報およびアクティビティを、ＤＣＴ係数から
求めるようになっている。

【０２０１】即ち、ＤＣＴ変換部１４は、ＭＰＥＧデコ
ード部１１で得られる画素値のブロックをＤＣＴ処理
し、ＤＣＴ係数のブロックとして、演算器４に供給す
る。

【０２０２】なお、ＤＣＴ変換部１４においても、上述
したクラス分類適応処理を利用して、画素値をＤＣＴ係
数に変換することが可能である。

【０２０３】演算器４には、ＤＣＴ変換部１４が出力す
るＤＣＴ係数のブロックの他、ＤＣＴ係数抽出／逆量子
化部１２が出力するＤＣＴ係数のブロックも供給される
ようになっており、演算器４は、それらの２つのＤＣＴ
係数のブロックを、必要に応じて加算して、ブロック境
界段差検出部２６、アクティビティ算出部２７、および
補正値加算部３１に供給する。

【０２０４】即ち、Ｉピクチャについては、ＤＣＴ係数
抽出／逆量子化部１２が出力するＤＣＴ係数のブロック
は、元の画像の画素値のブロックをＤＣＴ処理したもの
であり、そのＤＣＴ係数を逆ＤＣＴ処理することによ
り、元の画像の画素値を得ることができるから、演算器
４は、ＤＣＴ係数抽出／逆量子化部１２が出力するＤＣ
Ｔ係数のブロックを、そのまま、ブロック境界段差検出
部２６、アクティビティ算出部２７、および補正値加算
部３１に供給する。

【０２０５】一方、ＰおよびＢピクチャについては、Ｄ
ＣＴ係数抽出／逆量子化部１２が出力するＤＣＴ係数の
ブロックは、元の画像の画素値のブロックと予測画像と
の差分（予測残差）をＤＣＴ処理したものであり、従っ
て、そのＤＣＴ係数を逆ＤＣＴ処理したのでは、元の画
像の画素値を得ることができない。即ち、ＰおよびＢピ
クチャについては、ＤＣＴ係数抽出／逆量子化部１２が
出力するＤＣＴ係数のブロックと、予測画像をＤＣＴ処
理して得られるＤＣＴ係数とを加算して得られるＤＣＴ
係数を逆ＤＣＴ処理することにより、元の画像の画素値
を得ることができる。そこで、この場合、ＤＣＴ変換部
１４は、ＭＰＥＧデコード部１１で得られる予測画像を
ＤＣＴ処理し、その結果得られるＤＣＴ係数を、演算器
４に供給する。そして、演算器４は、ＤＣＴ係数抽出／
逆量子化部１２が出力するＤＣＴ係数のブロックと、Ｄ
ＣＴ変換部１４が出力するＤＣＴ係数とを加算し、その
結果得られるＤＣＴ係数のブロックを、ブロック境界段
差検出部２６、アクティビティ算出部２７、および補正
値加算部３１に供給する。

【０２０６】従って、演算器４が出力するＤＣＴ係数の
ブロックは、そのピクチャタイプによらず（Ｉ，Ｐ，Ｂ
ピクチャのいずれであっても）、逆ＤＣＴ処理すること
により、元の画像の画素値のブロックが得られるものと
なっている。

【０２０７】ここで、以上から、図２２では、ＭＰＥＧ
デコード部１１は、ＭＰＥＧデコード処理全体を行うも
のである必要はない。即ち、図２２のＭＰＥＧデコード
部１１は、画像メモリ３４に記憶された参照画像を用い
て動き補償を行うことにより、予測画像を生成すること
ができるものであれば良い。

【０２０８】ブロック境界段差検出部２６は、演算器４
が出力するＤＣＴ係数のブロックについて、図１のブロ
ック境界段差検出部２１における場合と同様にして、差
分情報を求める。従って、ブロック境界段差検出部２６
で求められる差分情報は、画素値の差分ではなく、ＤＣ
Ｔ係数の差分となっている。

【０２０９】アクティビティ算出部２７は、演算器４が
出力するＤＣＴ係数のブロックから、そのブロックのア
クティビティを算出する。即ち、ブロックのアクティビ
ティは、そのブロックのＤＣＴ係数のうちのＡＣ成分の
２乗和との間に高い相関を有する。そこで、アクティビ
ティ算出部２７は、演算器４が出力するＤＣＴ係数のブ
ロックのＡＣ成分の２乗和を求め、そのブロックのアク
ティビティとして、補正値算出部２３および高域低減部
２５に出力する。

【０２１０】以下、図２２の画像処理装置では、図１に
おける場合と同様にして、ブロック歪み等を低減した画
像が復号される。

【０２１１】但し、演算器４が補正値加算部３１に出力
するＤＣＴ係数のブロックは、上述したように、そのピ
クチャタイプによらず、逆ＤＣＴ処理することにより、
元の画像の画素値のブロックが得られるものとなってい
るため、Ｉピクチャのみならず、ＰピクチャやＢピクチ
ャであっても、出力画像作成部３３において、予測画像
を加算する必要はない。

【０２１２】次に、図２３は、本発明を適用した伝送シ
ステムの一実施の形態の構成例を示している。

【０２１３】この伝送システムは、送信装置６１および
受信装置６２から構成され、送信装置６１から、ＭＰＥ
Ｇエンコードされた画像データが、例えば、公衆網や、
インターネット、ＣＡＴＶ網、衛星回線等のネットワー
ク６３を介して、受信装置６２に伝送されるようになっ
ている。

【０２１４】送信装置６１には、画像データが入力され
るようになっており、この画像データは、ＭＰＥＧエン
コード部７１に供給される。ＭＰＥＧエンコード部７１
は、そこに供給される画像データをＭＰＥＧエンコード
し、その結果得られる符号化データを、入力画像分析部
７２と、ＭＵＸ（マルチプレクサ）７４に供給する。

【０２１５】入力画像分析部７２は、ＭＰＥＧエンコー
ド部７１からの符号化データに対して、例えば、図１の
入力画像分析部１と同様の処理を施し、その処理結果
を、歪補正値算出部７３に供給する。歪補正値算出部７
３は、入力画像分析部７２の出力を用いて、例えば、図
１の歪補正値算出部２と同様の処理を行い、図１の画像
再構成部３に出力されるのと同様の補正値を得て、ＭＵ
Ｘ７４に供給する。

【０２１６】ＭＵＸ７４は、ＭＰＥＧエンコード部７１
からの符号化データと、歪補正値算出部７３からの補正
値とを多重化し、その結果得られる多重化データを、通
信Ｉ／Ｆ(Interface)７５に供給する。通信Ｉ／Ｆ７５
は、ＭＵＸ７４からの多重化データを、ネットワーク６
３を介して、受信装置６２に伝送する。

【０２１７】受信装置６２では、通信Ｉ／Ｆ８１が、上
述のようにして、ネットワーク６３を介して、送信装置
６１から伝送されてくる多重化データを受信し、ＤＭＵ
Ｘ（デマルチプレクサ）８２に供給する。ＤＭＵＸ８２
は、通信Ｉ／Ｆ８１からの多重化データを、符号化デー
タと補正値とに分離し、符号化データを入力画像分析部
８３に、補正値を画像再構成部８４に、それぞれ供給す
る。

【０２１８】入力画像分析部８３は、ＤＭＵＸ８２から
の符号化データに対して、例えば、図１の入力画像分析
部１と同様の処理を施し、その処理結果を、画像再構成
部８４に供給する。

【０２１９】画像再構成部８４は、操作部８５の操作に
したがい、入力画像分析部８３の出力を、ＤＭＵＸ８２
からの補正値によって補正し、あるいは補正せずに処理
し、復号画像を得て出力する。

【０２２０】即ち、ユーザが、操作部８５を、高画質の
画像を要求するように操作しなかった場合には、画像再
構成部８４は、入力画像分析部８３の出力を、ＤＭＵＸ
８２からの補正値によって補正せずに処理し、復号画像
を得て出力する。従って、この場合、ユーザには、画像
のアクティビティ、あるいは送信装置６１のＭＰＥＧエ
ンコード部７１における画像の圧縮率等によっては、ブ
ロック歪み等の目立つ復号画像が提供される。

【０２２１】一方、ユーザが、操作部８５を、高画質の
画像を要求するように操作した場合には、画像再構成部
８４は、入力画像分析部８３の出力を、ＤＭＵＸ８２か
らの補正値によって補正して処理し、復号画像を得て出
力する。従って、この場合、ユーザには、ブロック歪み
等の低減された高画質の復号画像が提供される。

【０２２２】さらに、この場合、画像再構成部８４は、
補正値による補正を行った高画質の画像を提供した旨の
メッセージ（以下、適宜、高画質画像提供メッセージと
いう）を、通信Ｉ／Ｆ８１に供給する。通信Ｉ／Ｆ８１
は、その高画質画像提供メッセージを、受信装置６２に
あらかじめ付されている受信装置ＩＤ(Identification)
とともに、ネットワーク６３を介して、送信装置６１に
伝送する。

【０２２３】送信装置６１では、通信Ｉ／Ｆ７５が、受
信装置６２からの高画質画像提供メッセージおよび受信
装置ＩＤを受信し、課金処理部７６に供給する。課金処
理部７６は、受信装置ＩＤと、その受信装置ＩＤに対応
するユーザに対する課金情報とを対応付けて管理してお
り、高画質画像提供メッセージおよび受信装置ＩＤを受
信すると、その受信装置ＩＤに対応するユーザに対する
課金処理を行い、課金情報を更新する。ユーザに対して
は、この課金情報に基づいて、高画質の画像の提供に対
する対価としての料金請求が行われる。

【０２２４】なお、上述の場合には、操作部８５の操作
に対応して、補正値による補正を行った高画質の画像を
提供し、その後、課金処理を行うようにしたが、その
他、例えば、ユーザから、あらかじめ料金を徴収してお
き、料金を支払ったユーザにのみ、補正値の利用を許可
して、その補正値による補正を行った高画質の画像を提
供するようにすることも可能である。さらに、補正値に
よる補正を行った高画質の画像の提供は、料金の徴収な
しで行うことも可能である。また、補正値は、送信装置
６１で生成するのではなく、受信装置６２で生成するこ
とも可能である。

【０２２５】次に、上述した一連の処理は、ハードウェ
アにより行うこともできるし、ソフトウェアにより行う
こともできる。一連の処理をソフトウェアによって行う
場合には、そのソフトウェアを構成するプログラムが、
汎用のコンピュータ等にインストールされる。

【０２２６】そこで、図２４は、上述した一連の処理を
実行するプログラムがインストールされるコンピュータ
の一実施の形態の構成例を示している。

【０２２７】プログラムは、コンピュータに内蔵されて
いる記録媒体としてのハードディスク１０５やＲＯＭ１
０３に予め記録しておくことができる。

【０２２８】あるいはまた、プログラムは、フロッピー
（登録商標）ディスク、CD-ROM(Compact Disc Read Onl
y Memory)，MO(Magneto optical)ディスク，DVD(Digita
l Versatile Disc)、磁気ディスク、半導体メモリなど
のリムーバブル記録媒体１１１に、一時的あるいは永続
的に格納（記録）しておくことができる。このようなリ
ムーバブル記録媒体１１１は、いわゆるパッケージソフ
トウエアとして提供することができる。

【０２２９】なお、プログラムは、上述したようなリム
ーバブル記録媒体１１１からコンピュータにインストー
ルする他、ダウンロードサイトから、ディジタル衛星放
送用の人工衛星を介して、コンピュータに無線で転送し
たり、LAN(Local Area Network)、インターネットとい
ったネットワークを介して、コンピュータに有線で転送
し、コンピュータでは、そのようにして転送されてくる
プログラムを、通信部１０８で受信し、内蔵するハード
ディスク１０５にインストールすることができる。

【０２３０】コンピュータは、CPU(Central Processing
Unit)１０２を内蔵している。CPU１０２には、バス１
０１を介して、入出力インタフェース１１０が接続され
ており、CPU１０２は、入出力インタフェース１１０を
介して、ユーザによって、キーボードや、マウス、マイ
ク等で構成される入力部１０７が操作等されることによ
り指令が入力されると、それにしたがって、ROM(Read O
nly Memory)１０３に格納されているプログラムを実行
する。あるいは、また、CPU１０２は、ハードディスク
１０５に格納されているプログラム、衛星若しくはネッ
トワークから転送され、通信部１０８で受信されてハー
ドディスク１０５にインストールされたプログラム、ま
たはドライブ１０９に装着されたリムーバブル記録媒体
１１１から読み出されてハードディスク１０５にインス
トールされたプログラムを、RAM(Random Access Memor
y)１０４にロードして実行する。これにより、CPU１０
２は、上述したフローチャートにしたがった処理、ある
いは上述したブロック図の構成により行われる処理を行
う。そして、CPU１０２は、その処理結果を、必要に応
じて、例えば、入出力インタフェース１１０を介して、
LCD(Liquid CryStal Display)やスピーカ等で構成され
る出力部１０６から出力、あるいは、通信部１０８から
送信、さらには、ハードディスク１０５に記録等させ
る。

【０２３１】ここで、本明細書において、コンピュータ
に各種の処理を行わせるためのプログラムを記述する処
理ステップは、必ずしもフローチャートとして記載され
た順序に沿って時系列に処理する必要はなく、並列的あ
るいは個別に実行される処理（例えば、並列処理あるい
はオブジェクトによる処理）も含むものである。

【０２３２】また、プログラムは、１のコンピュータに
より処理されるものであっても良いし、複数のコンピュ
ータによって分散処理されるものであっても良い。さら
に、プログラムは、遠方のコンピュータに転送されて実
行されるものであっても良い。

【０２３３】なお、本実施の形態では、ＭＰＥＧエンコ
ードされた画像を復号する場合を対象としたが、本発明
は、その他、ブロック単位で直交変換することによりエ
ンコードされた画像を復号する場合に適応可能である。

【０２３４】

【発明の効果】以上の如く、本発明の画像処理装置およ
び画像処理方法、並びに記録媒体によれば、ブロックの
境界における画素値と、そのブロックに隣接するブロッ
クである隣接ブロックの境界における画素値との差分に
対応する差分情報が求められ、その差分情報に基づい
て、直交変換係数の補正に用いる補正情報が求められ
る。従って、その補正情報により補正を行うことによ
り、ブロック歪み等を、容易に低減し、高画質の復号画
像を得ることが可能となる。

【図面の簡単な説明】

【図１】本発明を適用した画像処理装置の第１実施の形
態の構成例を示すブロック図である。

【図２】図１の画像処理装置の処理を説明するフローチ
ャートである。

【図３】ブロック境界段差検出部２１の処理を説明する
ための図である。

【図４】ＭＰＥＧにおけるフレームＤＣＴモードとフィ
ールドＤＣＴモードのマクロブロックを示す図である。

【図５】ブロック境界段差検出部２１の処理を説明する
ための図である。

【図６】ブロック境界段差検出部２１の処理を説明する
ための図である。

【図７】ブロック境界段差検出部２１の処理を説明する
ための図である。

【図８】ブロック境界段差検出部２１の処理を説明する
ための図である。

【図９】補正値算出部２３の処理を説明するための図で
ある。

【図１０】補正値算出部２３の処理を説明するための図
である。

【図１１】補正値算出部２３の処理を説明するための図
である。

【図１２】高域低減部２５の処理を説明するための図で
ある。

【図１３】高域低減部２５の処理による効果を説明する
ための図である。

【図１４】高域低減部２５の処理を説明するための図で
ある。

【図１５】補正値加算部３１の処理を説明するための図
である。

【図１６】本件発明者によるシミュレーション結果を示
すディスプレイ上に表示された中間階調の写真である。

【図１７】本件発明者によるシミュレーション結果を示
すディスプレイ上に表示された中間階調の写真である。

【図１８】逆ＤＣＴ変換部３２の構成例を示すブロック
図である。

【図１９】クラス分類回路４３の構成例を示すブロック
図である。

【図２０】電力演算回路５１の処理を説明するための図
である。

【図２１】図１８の逆ＤＣＴ変換部３２の処理を説明す
るフローチャートである。

【図２２】本発明を適用した画像処理装置の第２実施の
形態の構成例を示すブロック図である。

【図２３】本発明を適用した伝送システムの一実施の形
態の構成例を示すブロック図である。

【図２４】本発明を適用したコンピュータの一実施の形
態の構成例を示すブロック図である。

【符号の説明】

１入力画像分析部，２歪補正値算出部，３画
像再構成部，４演算器，１１ＭＰＥＧデコード
部，１２ＤＣＴ係数抽出／逆量子化部，１３サイ
ドインフォメーション抽出部，１４ＤＣＴ変換部，
２１ブロック境界段差検出部，２２アクティビ
ティ算出部，２３補正値算出部，２４ＤＣＴ変換
部，２５高域低減部，２６ブロック境界段差検
出部，２７アクティビティ算出部，３１補正値
加算部，３２逆ＤＣＴ変換部，３３出力画像作
成部，３４画像メモリ，３５ピクチャ選択部，
４１予測タップ抽出回路，４２クラスタップ抽
出回路，４３クラス分類回路，４４係数テーブル
記憶部，４５積和演算回路，５１電力演算回路，
５２クラスコード生成回路，５３閾値テーブル記
憶部，６１送信装置，６２受信装置，６３
ネットワーク，７１ＭＰＥＧエンコード部，７２
入力画像分析部，７３歪補正値算出部，７４Ｍ
ＵＸ，７５通信Ｉ／Ｆ，７６課金処理部，８
１通信Ｉ／Ｆ，８２ＤＭＵＸ，８３入力画像分
析部，８４画像再構成部，８５操作部，１０
１バス，１０２ CPU，１０３ ROM，１０４
RAM，１０５ハードディスク，１０６出力部，
１０７入力部，１０８通信部，１０９ドラ
イブ，１１０入出力インタフェース，１１１リ
ムーバブル記録媒体

───────────────────────────────────────────────────── フロントページの続き (72)発明者浜松俊彦東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者大塚秀樹東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者西片丈晴東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者國弘威東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者森藤孝文東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者内田真史東京都品川区北品川６丁目７番35号ソニー株式会社内Ｆターム(参考） 5C059 KK03 MA00 MA23 MC11 MC14 MC34 NN01 NN28 PP06 PP07 SS20 TA41 TB08 TC04 TC10 TC33 TC34 TC42 TD08 TD13 TD15 UA02 UA05 UA39 UA40

Claims

【特許請求の範囲】

【請求項１】画像を所定の大きさのブロックにブロッ
ク化し、各ブロックを直交変換して得られる直交変換係
数を処理する画像処理装置であって、前記ブロックの境界における画素値と、そのブロックに
隣接するブロックである隣接ブロックの境界における画
素値との差分に対応する差分情報を求める差分情報演算
手段と、前記差分情報に基づいて、前記直交変換係数の補正に用
いる補正情報を求める補正情報演算手段とを備えること
を特徴とする画像処理装置。
【請求項２】前記差分情報演算手段は、前記ブロック
の直交変換係数を逆直交変換することにより得られる画
素値を用いて、前記差分情報を求めることを特徴とする
請求項１に記載の画像処理装置。
【請求項３】前記差分情報演算手段は、前記ブロック
の直交変換係数を用いて、前記差分情報を求めることを
特徴とする請求項１に記載の画像処理装置。
【請求項４】前記補正情報演算手段は、前記差分情報
に対して、所定の重み付けを行うことにより、前記補正
情報を求めることを特徴とする請求項１に記載の画像処
理装置。
【請求項５】前記ブロックのアクティビティを検出す
るアクティビティ検出手段をさらに備え、前記補正情報演算手段は、前記差分情報に対して、前記
アクティビティに基づく重み付けを行うことにより、前
記補正情報を求めることを特徴とする請求項４に記載の
画像処理装置。
【請求項６】前記補正情報を修正する修正手段をさら
に備えることを特徴とする請求項１に記載の画像処理装
置。
【請求項７】前記修正手段は、前記補正情報の高周波
数成分を低減することにより、前記補正情報を修正する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】前記補正情報が、直交変換係数である場
合において、前記修正手段は、前記補正情報である直交変換係数の高
次のものを０とすることにより、前記補正情報を修正す
ることを特徴とする請求項６に記載の画像処理装置。
【請求項９】前記ブロックのアクティビティを検出す
るアクティビティ検出手段をさらに備え、前記修正手段は、前記アクティビティに基づいて、前記
補正情報である直交変換係数のうち、０とするものを決
定することを特徴とする請求項８に記載の画像処理装
置。
【請求項１０】前記ブロックの直交変換係数が量子化
されている場合において、前記修正手段は、前記ブロックの直交変換係数を量子化
するときに用いられた量子化スケールに基づいて、前記
補正情報である直交変換係数のうち、０とするものを決
定することを特徴とする請求項８に記載の画像処理装
置。
【請求項１１】前記補正情報が、直交変換係数である
場合において、前記修正手段は、前記補正情報である直交変換係数に対
して、所定の重み付けを行うことにより、前記補正情報
を修正することを特徴とする請求項６に記載の画像処理
装置。
【請求項１２】前記修正手段は、前記補正情報である
直交変換係数に対して、その直交変換係数の次数に基づ
く重み付けを行うことを特徴とする請求項１１に記載の
画像処理装置。
【請求項１３】前記ブロックの直交変換係数が量子化
されている場合において、前記修正手段は、前記補正情報である直交変換係数に対
して、前記ブロックの直交変換係数を量子化するときに
用いられた量子化テーブルに基づく重み付けを行うこと
を特徴とする請求項１１に記載の画像処理装置。
【請求項１４】前記ブロックの直交変換係数を、前記
補正情報によって補正し、補正直交変換係数を出力する
補正手段と、前記補正直交変換係数を、画素値に変換する変換手段とをさらに備えることを特徴とする請求項１に記載の画像
処理装置。
【請求項１５】前記補正手段は、前記補正情報である
直交変換係数を、前記ブロックの直交変換係数に対して
加算または減算することにより、補正直交変換係数を得
ることを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】前記ブロックの直交変換係数を逆直交
変換し、その逆直交変換結果と、所定の参照画像を動き
補償することにより得られる予測画像とを用いて、画像
を復号する復号手段をさらに備えることを特徴とする請
求項１４に記載の画像処理装置。
【請求項１７】前記復号手段は、前記変換手段が出力
する画素値で構成される画像を参照画像として動き補償
を行うことにより、前記予測画像を得ることを特徴とす
る請求項１６に記載の画像処理装置。
【請求項１８】画像を所定の大きさのブロックにブロ
ック化し、各ブロックを直交変換して得られる直交変換
係数を処理する画像処理方法であって、前記ブロックの境界における画素値と、そのブロックに
隣接するブロックである隣接ブロックの境界における画
素値との差分に対応する差分情報を求める差分情報演算
ステップと、前記差分情報に基づいて、前記直交変換係数の補正に用
いる補正情報を求める補正情報演算ステップとを備える
ことを特徴とする画像処理方法。
【請求項１９】画像を所定の大きさのブロックにブロ
ック化し、各ブロックを直交変換して得られる直交変換
係数を処理する画像処理を、コンピュータに行わせるプ
ログラムが記録されている記録媒体であって、前記ブロックの境界における画素値と、そのブロックに
隣接するブロックである隣接ブロックの境界における画
素値との差分に対応する差分情報を求める差分情報演算
ステップと、前記差分情報に基づいて、前記直交変換係数の補正に用
いる補正情報を求める補正情報演算ステップとを備える
プログラムが記録されていることを特徴とする記録媒
体。