JP2008136221A - 学習装置および方法、並びに、画像処理装置および方法 - Google Patents

Abstract

【課題】空間解像度が低い画像を、効率的、かつ、高精度で空間解像度の高い画像に変換する。
【解決手段】画素データをＲ，Ｇ，Ｂの色空間上のベクトルで表し、高解像度のＲ成分を予測するのに、低解像度のＲ成分だけでなくＲ，Ｇ，Ｂの成分を利用する。
【選択図】図３

Description

本発明は、学習装置および方法に関し、特に、効率よく、かつ、精度良く、予測を行うことができるようにした学習装置および方法に関する。

従来より、空間解像度の低い画像を空間解像度のより高い画像に変換して表示することが行われている。この場合、空間解像度の低い画素データから、より多くの画素データを補間する（生成する）ようにしている。

従来、このような補間処理を行うのに、空間解像度の低い画素データが、例えばＲ，Ｇ，Ｂのコンポーネント信号により構成されているとき、各コンポーネント信号毎に、独立に補間処理を行うようにしていた。

すなわち、空間解像度の高いＲの画素データは、空間解像度の低いＲの画素データから生成し、空間解像度の高いＧの画素データは、空間解像度の低いＧの画素データから生成し、空間解像度の高いＢの画素データは、空間解像度の低いＢの画素データから生成するようにしていた。

その結果、効率が悪くなるばかりでなく、良好な精度を得ることが困難であった。

本発明はこのような状況に鑑みてなされたものであり、効率と精度を改善するようにするものである。

請求項１に記載の学習装置は、第２の画素データを構成するコンポーネント信号と、その第２の画素データの近傍に位置する複数の第１の画素データそれぞれを構成する複数のコンポーネント信号および予測係数を用いて予測された第２の画素データを構成するコンポーネント信号の予測値との誤差を最小にする予測係数を求めるための演算を行う演算手段を備えることを特徴とする。

請求項２に記載の学習方法は、第２の画素データを構成するコンポーネント信号と、その第２の画素データの近傍に位置する複数の第１の画素データそれぞれを構成する複数のコンポーネント信号および予測係数を用いて予測された第２の画素データを構成するコンポーネント信号の予測値との誤差を最小にする予測係数を求めるための演算を行う演算ステップを備えることを特徴とする。

請求項１に記載の学習装置および請求項２に記載の学習方法においては、第２の画素データを構成するコンポーネント信号と、その第２の画素データの近傍に位置する複数の第１の画素データそれぞれを構成する複数のコンポーネント信号および予測係数を用いて予測された第２の画素データを構成するコンポーネント信号の予測値との誤差を最小にする予測係数を求めるための演算を行うことで、予測係数が決定される。

本発明によれば、効率的に高精度に予測処理を行うことが可能となる。

図１は、送信側から画像データを間引いて伝送し、受信側で、間引かれた画素を生成して再生するシステムの構成例を示している。伝送するディジタルビデオデータは、送信装置１の入力端子２０１からサブサンプリング回路２０２に入力され、水平方向に１つおきの画素データが間引かれ、伝送すべきデータ量が半分になるようになされている。エンコーダ２０３は、サブサンプリング回路２０２から供給されたデータを、例えばＤＣＴ（Discrete Cosine Transform）などの直交変換符号や、ＡＤＲＣ（Adaptive Dynamic Range Coding）などにより高能率符号化し、データ量をさらに低減するようになされている。送信処理回路２０４は、エンコーダ２０３の出力に対して、エラー訂正符号化、フレーム化、チャンネル符号化などの処理を行い、出力端子２０５から伝送路３に出力したり、光ディスク、磁気ディスクなどの記録媒体２に記録する。

伝送路３または記録媒体２から供給されたデータは、受信装置４の入力端子２１１から受信処理回路２１２に入力され、チャンネル符号化の復号化処理、フレーム分解処理、エラー訂正処理などが行われるようになされている。デコーダ２１３は、送信装置１側のエンコーダ２０３に対応する復号処理を行うようになされている。デコーダ２１３の出力は、同時化回路２１５と合成回路２１４に供給されている。

同時化回路２１５は、デコーダ２１３の出力を、処理対象とする画素データが同じタイミングで発生するようにタイミング調整を行い、調整後のデータをＡＤＲＣ処理回路２１６とデータ生成回路２１９に出力している。ＡＤＲＣ処理回路２１６は、同時化回路２１５より供給されたデータを、１ビットでＡＤＲＣ処理し、処理結果をクラス分類回路２１７に出力する。クラス分類回路２１７は、ＡＤＲＣ処理回路２１６より供給されたデータに対応するクラス分類処理を行い、分類されたクラスを示す信号をＲＯＭ（Read Only Memory）２１８にアドレスとして出力するようになされている。

ＲＯＭ２１８は、クラス分類回路２１７より供給されるクラスに対応するアドレスに記憶されている係数データを読み出し、データ生成回路２１９に出力するようになされている。データ生成回路２１９は、同時化回路２１５より供給されたデータに、ＲＯＭ２１８より供給された係数データを乗算し、新たな画素データを生成して、合成回路２１４に出力している。合成回路２１４は、デコーダ２１３より供給された、元々存在する画素データと、データ生成回路２１９により生成された画素データとを合成し、出力端子２２０から図示せぬＣＲＴなどに出力し、表示させるようになされている。

次に、その動作について説明する。入力端子２０１より入力されたディジタル画像データは、例えば図２に示すように、水平方向に１つおきに、サブサンプリング回路２０２において間引かれる。図２において、○印は、間引かれて残った画素データを表し、×印は、間引かれて伝送されない画素データを表している。これにより、伝送すべき画素データが半分になる。

この画素データは、エンコーダ２０３によりエンコードされた後、送信処理回路２０４により所定の処理が施され、出力端子２０５から伝送路３または記録媒体２に伝送される。

受信処理回路２１２は、入力端子２１１から伝送路３または記録媒体２からの伝送データを受信し、デコーダ２１３に出力する。デコーダ２１３は、入力されたデータをデコードし、デコードした結果得られた画素データ（図２において、○印で示す画素データ）を合成回路２１４と同時化回路２１５に出力する。

同時化回路２１５は、処理対象とする画素データが、同じタイミングで発生するように、所定の遅延を施す処理などを実行する。これにより、例えば図２に示す、省略されている画素Ｙ₁の上（Ｘ₁）、左（Ｘ₂）、右（Ｘ₃）および下（Ｘ₄）に位置する画素データＸ₁乃至Ｘ₄が、ＡＤＲＣ処理回路２１６とデータ生成回路２１９に、同じタイミングで供給される。

ＡＤＲＣ処理回路２１６は、入力された４個の画素データＸ₁乃至Ｘ₄により構成される１個のブロックのＡＤＲＣ処理を実行する。この実施例においては、図３に示すように、各画素データＸは、Ｒ，Ｇ，Ｂの各成分で規定される色空間上のベクトル（Ｘ_R，Ｘ_G，Ｘ_B）で構成されている。Ｘ_R，Ｘ_G，Ｘ_Bは、それぞれ画素データＸのＲ，Ｇ，Ｂのコンポーネント成分を表し、例えば、それぞれが８ビットで表現されている。ＡＤＲＣ処理回路２１６は、１ビットＡＤＲＣ処理を実行するため、例えば、画素データＸ₁のＲ成分Ｘ_R1を１ビットで表し、Ｇ成分Ｘ_G1を１ビットで表し、またＢ成分Ｘ_B1を１ビットで表す。すなわち、本来、２４ビット（＝３×８）で表されていた画素データＸ₁を、３ビット（＝３×１）のデータとする。他の画素データＸ₂乃至Ｘ₄も、同様に３ビットの画素データに変換され、それぞれが３ビットで表される画素データ（Ｘ₁，Ｘ₂，Ｘ₃，Ｘ₄）としてクラス分類回路２１７に供給される。

クラス分類回路２１７は、入力された合計１２ビット（＝４×３）のデータをクラスに分類し、その分類したクラスを表すクラスデータ信号を生成し、ＲＯＭ２１８に出力する。すなわち、この実施例の場合、１２ビットでクラスが表されるため、４０９６（＝２¹²）通りのクラスが存在することになる。

ＲＯＭ２１８には、各クラス毎に予測係数ｗが記憶されており、クラス分類回路２１７から所定のクラスを表す信号が供給されると、そのクラスに対応するアドレスに記憶されている予測係数ｗが読み出され、データ生成回路２１９に供給される。

データ生成回路２１９は、ＲＯＭ２１８より供給される予測係数ｗと、同時化回路２１５より供給される画素データＸ₁乃至Ｘ₄を用いて、次式に示すような演算を行って、図２に示す画素データＹ₁を生成する。
Ｙ_R1＝ｗ₁（Ｒ）Ｘ_R1＋ｗ₂（Ｒ）Ｘ_G1＋ｗ₃（Ｒ）Ｘ_B1
＋ｗ₄（Ｒ）Ｘ_R2＋ｗ₅（Ｒ）Ｘ_G2＋ｗ₆（Ｒ）Ｘ_B2
＋ｗ₇（Ｒ）Ｘ_R3＋ｗ₈（Ｒ）Ｘ_G3＋ｗ₉（Ｒ）Ｘ_B3
＋ｗ₁₀（Ｒ）Ｘ_R4＋ｗ₁₁（Ｒ）Ｘ_G4＋ｗ₁₂（Ｒ）Ｘ_B4

Ｙ_G1＝ｗ₁（Ｇ）Ｘ_R1＋ｗ₂（Ｇ）Ｘ_G1＋ｗ₃（Ｇ）Ｘ_B1
＋ｗ₄（Ｇ）Ｘ_R2＋ｗ₅（Ｇ）Ｘ_G2＋ｗ₆（Ｇ）Ｘ_B2
＋ｗ₇（Ｇ）Ｘ_R3＋ｗ₈（Ｇ）Ｘ_G3＋ｗ₉（Ｇ）Ｘ_B3
＋ｗ₁₀（Ｇ）Ｘ_R4＋ｗ₁₁（Ｇ）Ｘ_G4＋ｗ₁₂（Ｇ）Ｘ_B4

Ｙ_B1＝ｗ₁（Ｂ）Ｘ_R1＋ｗ₂（Ｂ）Ｘ_G1＋ｗ₃（Ｂ）Ｘ_B1
＋ｗ₄（Ｂ）Ｘ_R2＋ｗ₅（Ｂ）Ｘ_G2＋ｗ₆（Ｂ）Ｘ_B2
＋ｗ₇（Ｂ）Ｘ_R3＋ｗ₈（Ｂ）Ｘ_G3＋ｗ₉（Ｂ）Ｘ_B3
＋ｗ₁₀（Ｂ）Ｘ_R4＋ｗ₁₁（Ｂ）Ｘ_G4＋ｗ₁₂（Ｂ）Ｘ_B4

なお、ｗ_i（Ｒ），ｗ_i（Ｇ），ｗ_i（Ｂ）は、それぞれＲ，Ｇ，Ｂ用の予測係数を表している。

上記式より明らかなように、この実施例においては、画素データＹ₁のＲ成分Ｙ_R1が、周囲の画素Ｘ₁乃至Ｘ₄のＲ成分Ｘ_R1乃至Ｘ_R4だけでなく、Ｇ成分Ｘ_G1乃至Ｘ_G4、並びにＢ成分Ｘ_B1乃至Ｘ_B4から生成される。同様に、画素データＹ₁のＧ成分Ｙ_G1と、Ｂ成分Ｙ_B1も、それぞれ画素データＸ₁乃至Ｘ₄の対応する成分だけでなく、すべての成分Ｘ_R1乃至Ｘ_R4，Ｘ_G1乃至Ｘ_G4，Ｘ_B1乃至Ｘ_B4から生成される。

画像、特に、テレビカメラを用いて撮影したような自然な画像は相関を有し、比較的近傍の画素ほど強い相関を有する。従って、新たな画素データを演算により生成する場合、より近傍の画素データをもとに、その演算を行う方が、より効率的に、また、高精度で新たな画素データを生成することができる。

すなわち、上記式に示すように、例えば、画素データＹ₁のＲ成分Ｙ_R1を求めるのに、Ｘ_R1乃至Ｘ_B4の合計１２個のデータを用いているのであるが、例えば、このＹ_R1を演算により求めるのに、１２個のＲ成分だけを用いるようにするには、Ｒ成分は各画素に１個しか存在しないから、結局合計１２画素のＲ成分を利用する必要がある。このようにすれば、必然的に、いま注目している画素Ｙ₁から、より遠くに離れている画素データを用いざるを得ず、効率と精度が劣化することになる。

そこで、本実施例のように、各画素が有するＲ，Ｇ，Ｂ成分を用いて、注目画素のＲ成分（Ｇ成分とＢ成分も同様）を生成するようにすれば、より近い位置の画素データから必要な数のデータを得ることができる。従って、それだけ効率的に、高精度の画素データを生成することができる。

合成回路２１４は、以上のようにして、データ生成回路２１９により生成された新たな画素データＹと、デコーダ２１３より供給される元々存在する画素データＸとを合成し、出力端子２２０から出力する。従って、出力端子２２０から出力される画素データは、受信回路２１２で受信した画素データＸにより構成される画像より、空間解像度が高い画像となっている（図１のサブサンプリング回路２０２でサブサンプリングされる前の画像と同一の解像度の画像となっている）。

ＲＯＭ２１８には、上記した式の予測係数ｗが記憶されているのであるが、この予測係数ｗのテーブルは、例えば図４に示す装置から得ることができる。

すなわち、図４の実施例においては、入力端子２３１からディジタルビデオ信号が入力され、同時化回路２３２に供給されている。この入力端子２３１に入力されるディジタルビデオ信号は、テーブルを作成する上において必要な標準的な信号（従って、間引かれる前の高解像度の画像の信号）であることが好ましく、例えば標準的な絵柄の静止画像からなる信号を採用することができる。同時化回路２３２は、図１の同時化回路２１５と同様に、図２に示す画素データＸ₁乃至Ｘ₄が同時に出力されるように、タイミング調整を行う。同時化回路２３２より出力された画素データは、ＡＤＲＣ処理回路２３３とデータメモリ２３７に供給される。

ＡＤＲＣ処理回路２３３は、入力された画素データを１ビットでＡＤＲＣ処理し、クラス分類回路２３４に出力する。クラス分類回路２３４は、ＡＤＲＣ処理回路２３３より入力されたデータをクラス分類し、分類したクラスに対応する信号をスイッチ２３５の接点Ａを介してデータメモリ２３７にアドレスとして供給する。すなわち、同時化回路２３２、ＡＤＲＣ処理回路２３３、およびクラス分類回路２３４は、図１における同時化回路２１５、ＡＤＲＣ処理回路２１６、およびクラス分類回路２１７における場合と同様の処理を行う。

カウンタ２３６は、図示せぬ回路から供給されるクロックＣＫをカウントし、そのカウント値をスイッチ２３５の接点Ｃを介して、データメモリ２３７にアドレスとして供給している。

データメモリ２３７は、スイッチ２３５を介してクラス分類回路２３４からアドレスが供給されているとき、そのアドレスに同時化回路２３２から供給されるデータを書き込み、カウンタ２３６からスイッチ２３５を介してアドレスが供給されているとき、そのアドレスに記憶されているデータを読み出し、最小自乗法演算回路２３８に出力するようになされている。最小自乗法演算回路２３８は、データメモリ２３７から供給された画素データに対して、最小自乗法に基づく演算を行い、予測係数ｗ_iを演算し、メモリ２３９に出力するようになされている。メモリ２３９は、スイッチ２３５を介してカウンタ２３６から供給されるアドレスに、最小自乗法演算回路２３８から供給される予測係数ｗ_iを書き込むようになされている。

次に、その動作について説明する。予測係数を決定するための学習のためのディジタルビデオデータが同時化回路２３２において同時化され、ＡＤＲＣ処理回路２３３で１ビットのＡＤＲＣ処理が行われた後、クラス分類回路２３４に入力され、クラス分類される。いまの場合、図１における場合と同様に、４画素がクラス分類のための１ブロックとされ、各画素は、ＡＤＲＣ処理回路２３３において、各Ｒ，Ｇ，Ｂ成分が１ビットでＡＤＲＣ処理されるため、クラス分類回路２３４から１２ビットのクラスデータがスイッチ２３５の接点Ａを介してデータメモリ２３７にアドレスとして供給される。データメモリ２３７は、このアドレスに、同時化回路２３２より供給される画素データを記憶させる。

なお、ここで、記憶させる画素データは、図１のサブサンプリング回路２０２でサブサンプリングされる前の状態の、より高い空間解像度を有する画像の画素データである。従って、図２における○印の画素データＸ_iはもとより、×印で示す画像データＹ_iも記憶される。

上記式に示すように、１つの成分の画像データ、例えばＹ_R1を演算する係数は、ｗ₁（Ｒ）乃至ｗ₁₂（Ｒ）の１２個存在する。従って、これらの１２個の予測係数を求めるには、１２個の予測係数を未知数とする１２個の連立方程式が各クラスにおいて必要となる。データメモリ２３７には、この連立方程式を解くのに必要な数の画素データが少なくとも記憶される。

必要な数の画素データがデータメモリ２３７に記憶された後、スイッチ２３５が接点Ｃ側に切り替えられる。カウンタ２３６は、クロックＣＫをカウントし、そのカウント値を出力しているので、データメモリ２３７には、１ずつインクリメントする値が、読み出しアドレスとして入力される。データメモリ２３７は、入力された読み出しアドレスに対応する画素データを読み出し、最小自乗法演算回路２３８に出力する。最小自乗法演算回路２３８は、上記した式に対して、具体的データを当てはめ、予測係数ｗ_iを変数とする連立方程式を生成し、その連立方程式を解き、予測係数ｗ_iを求める。

そして、演算により求めた予測係数ｗ_iを用いて、所定の画素データ（例えば、上記した画素データＹ₁のＲ成分Ｙ_R1）を求める（予測する）。そして、演算（予測）により求めたＹ_R1の値と、実際の画素データＹ_R1との誤差を演算し、その誤差の自乗が最小となるように予測係数ｗ_iを演算する。演算により求められた予測係数ｗ_iは、いまデータメモリ２３７から読み出された画素データのアドレスと対応するメモリ２３９のアドレスに書き込まれる。このようにして、メモリ２３９には、予測係数ｗ_iが記憶される。そして、この記憶内容が、図１に示すＲＯＭ２１８に書き込まれる。

なお、上記実施例においては、ＲＯＭ２１８（メモリ２３９）に、予測係数ｗ_iを書き込むようにしたが、係数が乗算された後のデータそのものを書き込むようにすることも可能である。このようにすれば、図１におけるデータ生成回路２１９は不要となる。

図５は、送信装置１の他の構成例を示している。

Ｉ／Ｆ（InterFace）１１は、外部から供給される画像データの受信処理と、送信機／記録装置１６に対しての、符号化データの送信処理を行うようになされている。ＲＯＭ（Read Only Memory）１２は、ＩＰＬ（Initial Program Loading）用のプログラムその他を記憶している。ＲＡＭ（Random Access Memory）１３は、外部記憶装置１５に記録されているシステムプログラム（ＯＳ（Operating System））やアプリケーションプログラムを記憶したり、また、ＣＰＵ（Central Processing Unit）１４の動作上必要なデータを記憶するようになされている。ＣＰＵ１４は、ＲＯＭ１２に記憶されているＩＰＬプログラムに従い、外部記憶装置１５からシステムプログラムおよびアプリケーションプログラムを、ＲＡＭ１３に展開し、そのシステムプログラムの制御の下、アプリケーションプログラムを実行することで、Ｉ／Ｆ１１から供給される画像データについての、後述するような符号化処理を行うようになされている。外部記憶装置１５は、例えば、磁気ディスク装置などでなり、上述したように、ＣＰＵ１４が実行するシステムプログラムやアプリケーションプログラムを記憶している他、ＣＰＵ１４の動作上必要なデータも記憶している。送信機／記録装置１６は、Ｉ／Ｆ１１から供給される符号化データを、記録媒体２に記録し、または伝送路３を介して伝送するようになされている。

なお、Ｉ／Ｆ１１，ＲＯＭ１２，ＲＡＭ１３，ＣＰＵ１４、および外部記憶装置１５は、相互にバスを介して接続されている。

以上のように構成される送信装置１においては、Ｉ／Ｆ１１に画像データが供給されると、その画像データは、ＣＰＵ１４に供給される。ＣＰＵ１４は、画像データを符号化し、その結果得られる符号化データを、Ｉ／Ｆ１１に供給する。Ｉ／Ｆ１１は、符号化データを受信すると、それを、送信機／記録装置１６に供給する。送信機／記録装置１６では、Ｉ／Ｆ１１からの符号化データが、記録媒体２に記録され、または伝送路３を介して伝送される。

図６は、図５の送信装置１の、送信機／記録装置１６を除く部分の機能的なブロック図である。

符号化すべき画像データは、圧縮部２１、ローカルデコード部２２、および誤差算出部２３に供給されるようになされている。圧縮部２１は、画像データを、その画素を、単純に間引くことにより圧縮し、その結果得られる圧縮データ（間引きが行われた後の画像データ）を、判定部２４からの制御に従って補正するようになされている。圧縮部２１における補正の結果得られる補正データは、ローカルデコード部２２および判定部２４に供給するようになされている。

ローカルデコード部２２は、圧縮部２１からの補正データに基づいて、元の画像を予測し、その予測値を、誤差算出部２３に供給するようになされている。なお、ローカルデコード部２２は、後述するように、補正データとの線形結合により、予測値を算出するための予測係数を求める適応処理を行い、その予測係数に基づいて、予測値を求めるようになされており、上述したように、予測値を、誤差算出部２３に供給する他、そのとき求めた予測係数を、判定部２４に供給するようにもなされている。

誤差算出部２３は、そこに入力される、元の画像データ（原画像）に対する、ローカルデコード部２２からの予測値の予測誤差を算出するようになされている。この予測誤差は、誤差情報として、判定部２４に供給されるようになされている。

判定部２４は、誤差算出部２３からの誤差情報に基づいて、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることの適正さを判定するようになされている。そして、判定部２４は、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることが適正でないと判定した場合には、圧縮部２１を制御し、さらに、圧縮データを補正させ、その結果得られる新たな補正データを出力させるようになされている。また、判定部２４は、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることが適正であると判定した場合には、圧縮部２１から供給された補正データを、最適な圧縮データ（以下、適宜、最適圧縮データという）として多重化部２５に供給するとともに、ローカルデコード部２２から供給された予測係数を多重化部２５に供給するようになされている。

多重化部２５は、判定部２４からの最適圧縮データ（補正データ）と、予測係数とを多重化し、その多重化結果を、符号化データとして、送信機／記録装置１６（図５）に供給するようになされている。

次に、図７のフローチャートを参照して、その動作について説明する。圧縮部２１に対して、画像データが供給されると、圧縮部２１は、ステップＳ１において、その画像データを間引くことにより圧縮し、最初は、補正を行わずに、ローカルデコード部２２および判定部２４に出力する。ローカルデコード部２２では、ステップＳ２において、圧縮部２１からの補正データ（最初は、上述したように、画像データを、単純に間引いた圧縮データそのもの）がローカルデコードされる。

即ち、ステップＳ２では、圧縮部２１からの補正データとの線形結合により、元の画像の予測値を算出するための予測係数を求める適応処理が行われ、その予測係数に基づいて、予測値が求められる。ローカルデコード部２２において求められた予測値は誤差算出部２３に、また、予測係数は判定部２４に供給される。

ここで、ローカルデコード部２２が出力する予測値で構成される画像は、受信装置４側において得られる復号画像と同一のものである。

誤差算出部２３は、ローカルデコード部２２から、元の画像の予測値を受信すると、ステップＳ３において、元の画像データに対する、ローカルデコード部２２からの予測値の予測誤差を算出し、誤差情報として、判定部２４に供給する。判定部２４は、誤差算出部２３から誤差情報を受信すると、ステップＳ４において、その誤差情報に基づいて、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることの適正さを判定する。

即ち、ステップＳ４においては、誤差情報が所定の閾値ε以下であるかどうかが判定される。ステップＳ４において、誤差情報が所定の閾値ε以下でないと判定された場合、圧縮部２１が出力した補正データを、元の画像の符号化データとするのは適正でないと認識され、ステップＳ５に進み、判定部２４は、圧縮部２１を制御し、これにより、圧縮データを補正させる。圧縮部２１は、判定部２４の制御に従って、補正量（後述する補正値△）を変えて、圧縮データを補正し、その結果得られる補正データを、ローカルデコード部２２および判定部２４に出力する。そして、ステップＳ２に戻り、以下、同様の処理が繰り返される。

一方、ステップＳ４において、誤差情報が所定の閾値ε以下であると判定された場合、圧縮部２１が出力した補正データを、元の画像の符号化結果とするのは適正であると認識され、判定部２４は、所定の閾値ε以下の誤差情報が得られたときの補正データを、最適圧縮データとして、予測係数とともに、多重化部２５に出力する。多重化部２５では、ステップＳ６において、判定部２４からの最適圧縮データと予測係数とが多重化され、その結果得られる符号化データが出力されて、処理を終了する。

以上のように、誤差情報が所定の閾値ε以下となったときにおける、圧縮データを補正した補正データを、元の画像の符号化結果とするようにしたので、受信装置４側においては、その補正データに基づいて、元の画像（原画像）とほぼ同一の画像を得ることが可能となる。

次に、図８は、図６の圧縮部２１の構成例を示している。

符号化すべき画像データは、間引き回路３１に入力されるようになされており、間引き回路３１は、入力された画像データを１／Ｎ（いまの場合、１／２）に間引くようになされている。従って、間引き回路３１からは、画像データを、１／Ｎに圧縮した圧縮データが出力されるようになされている。この圧縮データは、間引き回路３１から補正回路３２に供給されるようになされている。

補正回路３２は、判定部２４（図６）からの制御信号に従って、補正値ＲＯＭ３３にアドレスを与え、これにより、補正値△を読み出すようになされている。そして、補正回路３２は、間引き回路３１からの圧縮データに対して、補正値ＲＯＭ３３からの補正値△を、例えば加算することで、補正データを生成し、ローカルデコード部２２および判定部２４に供給するようになされている。補正値ＲＯＭ３３は、間引き回路３１が出力する圧縮データを補正するための、各種の補正値△の組合せ（例えば、１フレーム分の圧縮データを補正するための補正値の組合せなど）を記憶しており、補正回路３２から供給されるアドレスに対応する補正値△の組合せを読み出して、補正回路３２に供給するようになされている。

次に、図９を参照して、図８の圧縮部２１の処理について説明する。

例えば、１フレーム（フィールド）分などの画像データが、間引き回路３１に供給されると、間引き回路３１は、ステップＳ１１において、その画像データを１／Ｎに間引き、その結果得られる圧縮データを、補正回路３２に出力する。

ここで、間引き回路３１は、図２に示すように、画像データを、例えば、各ライン毎に１／２に間引くようになされている。なお、間引き回路３１は、以上のような処理を、例えば、１フレーム（フィールド）単位で行うようになされている。従って、間引き回路３１から補正回路３２に対しては、１フレームの画像データが１／２に間引きされた圧縮データとして供給される。但し、間引き回路３１における間引き処理は、その他、１フレームの画像を幾つかのブロックに分割し、そのブロック単位で行うようにすることも可能である。

補正回路３２は、間引き回路３１から圧縮データを受信すると、ステップＳ１２において、判定部２４（図６）から制御信号を受信したかどうかを判定する。ステップＳ１２において、制御信号を受信していないと判定された場合、ステップＳ１５に進み、補正回路３２は、間引き回路３１からの圧縮データを、そのまま補正データとして、ローカルデコード部２２および判定部２４に出力し、ステップＳ１２に戻る。

即ち、判定部２４は、上述したように、誤差情報に基づいて、圧縮部２１（補正回路３２）を制御するようになされており、間引き回路３１から圧縮データが出力された直後は、まだ、誤差情報が得られないため（誤差情報が、誤差算出部２３から出力されないため）、判定部２４からは制御信号は出力されない。このため、間引き回路３１から圧縮データが出力された直後は、補正回路３２は、その圧縮データを補正せず（０を加算する補正をして）、そのまま補正データとして、ローカルデコード部２２および判定部２４に出力する。

一方、ステップＳ１２において、判定部２４からの制御信号を受信したと判定された場合、ステップＳ１３において、補正回路３２は、その制御信号に従ったアドレスを、補正値ＲＯＭ３３に出力する。これにより、ステップＳ１３では、補正値ＲＯＭ３３から、そのアドレスに記憶されている、１フレーム分の圧縮データを補正するための補正値△の組合せ（集合）が読み出され、補正回路３２に供給される。補正回路３２は、補正値ＲＯＭ３３から補正値△の組合せを受信すると、ステップＳ１４において、１フレームの圧縮データそれぞれに、対応する補正値△を加算し、これにより、圧縮データを補正した補正データを算出する。その後は、ステップＳ１５に進み、補正データが、補正回路３２からローカルデコード部２２および判定部２４に出力され、ステップＳ１２に戻る。

以上のようにして、圧縮部２１は、判定部２４の制御に従って、圧縮データを、種々の値に補正した補正データを出力することを繰り返す。

なお、判定部２４は、１フレームの画像についての符号化を終了すると、その旨を表す制御信号を、圧縮部２１に供給するようになされており、圧縮部２１は、その制御信号を受信すると、次のフレームの画像に対して、図９のフローチャートに従った処理を施すようになされている。

また、上述の場合においては、間引き回路３１に、２画素に１個の割合で画素データ（画素値）を抽出させることにより、圧縮データを生成させるようにしたが、その他、例えば、３×３画素の平均値を算出し、その平均値を、３×３画素の中心の画素の画素値として、圧縮データを生成させるようにすることなども可能である。

次に、図１０は、図６のローカルデコード部２２の構成例を示している。

圧縮部２１からの補正データは、クラス分類用ブロック化回路４１および予測値計算用ブロック化回路４２に供給されるようになされている。クラス分類用ブロック化回路４１は、補正データを、その性質に応じて所定のクラスに分類するための単位であるクラス分類用ブロックにブロック化するようになされている。

即ち、いま、クラス分類用ブロック化回路４１は、図２に示す４つの画素Ｘ₁，Ｘ₂，Ｘ₃，Ｘ₄の合計４画素で構成されるクラス分類用ブロックを構成するようになされている。このクラス分類用ブロックは、クラス分類適応処理回路４３に供給されるようになされている。

なお、この場合、クラス分類用ブロックは、４画素でなる十文字形状のブロックで構成されることとなるが、クラス分類用ブロックの形状は、その他、例えば、長方形や、正方形、その他の任意な形とすることが可能である。また、クラス分類用ブロックを構成する画素数も、４画素に限定されるものではない。

予測値計算用ブロック化回路４２は、補正データを、元の画像の予測値を計算するための単位である予測値計算用ブロックにブロック化するようになされている。この実施例の場合、そのブロックはクラス分類用のブロックと同一とされ、図２の画素データＸ₁乃至Ｘ₄により、そのブロックが構成される。

このように、この実施例の場合、予測値計算用ブロック化回路４２は、クラス分類用ブロック化回路４１と同一の範囲をブロック化するため、両者は共用するようにしてもよい。

予測値計算用ブロック化回路４２において得られた予測値計算用ブロックは、クラス分類適応処理回路４３に供給されるようになされている。

なお、予測値計算用ブロックについても、クラス分類用ブロックにおける場合と同様に、その画素数および形状は、上述したものに限定されるものではない。但し、予測値計算用ブロックを構成する画素数は、クラス分類用ブロックを構成する画素数以上とするのが望ましい。

また、上述のようなブロック化を行う場合において（ブロック化以外の処理についても同様）、画像の画枠付近では、対応する画素が存在しないことがあるが、この場合には、例えば、画枠を構成する画素と同一の画素が、その外側に存在するものとして処理を行う。

クラス分類適応処理回路４３は、ＡＤＲＣ（Adaptive Dynamic Range Coding）処理回路、クラス分類回路４５、および適応処理回路４６で構成され、クラス分類適応処理を行うようになされている。

クラス分類適応処理とは、入力信号を、その特徴に基づいて幾つかのクラスに分類し、各クラスの入力信号に、そのクラスに適切な適応処理を施すもので、大きく、クラス分類処理と適応処理とに分かれている。

ここで、クラス分類処理および適応処理について簡単に説明する。

まず、クラス分類処理について説明する。

いま、例えば、図１１（Ａ）に示すように、ある注目画素と、それに隣接する３つの画素により、２×２画素でなるブロック（クラス分類用ブロック）を構成し、また、各画素は、１ビットで表現される（０または１のうちのいずれかのレベルをとる）ものとする。この場合、２×２の４画素のブロックは、各画素のレベル分布により、図１１（Ｂ）に示すように、１６（＝（２¹）⁴）パターンに分類することができる。このようなパターン分けが、クラス分類処理であり、クラス分類回路４５において行われる。

なお、クラス分類処理は、画像（ブロック内の画像）のアクティビティ（画像の複雑さ）（変化の激しさ）などをも考慮して行うようにすることが可能である。

ここで、通常、各画素には、例えば８ビット程度が割り当てられる。また、本実施例においては、上述したように、クラス分類用ブロックは、３×３の９画素で構成される。従って、このようなクラス分類用ブロックを対象にクラス分類処理を行ったのでは、（２⁸）⁹という膨大な数のクラスに分類されることになる。

そこで、本実施例においては、ＡＤＲＣ処理回路４４において、クラス分類用ブロックに対して、ＡＤＲＣ処理が施されるようになされており、これにより、クラス分類用ブロックを構成する画素のビット数を小さくすることで、クラス数を削減するようになされている。

即ち、例えば、いま、説明を簡単にするため、図１２（Ａ）に示すように、直線上に並んだ４画素で構成されるブロックを考えると、ＡＤＲＣ処理においては、その画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、ブロックの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、ブロックを構成する画素の画素値がＫビットに再量子化される。

即ち、ブロック内の各画素値から、最小値ＭＩＮを減算し、その減算値をＤＲ／２^Kで除算する。そして、その結果得られる除算値に対応するコード（ＡＤＲＣコード）に変換される。具体的には、例えば、Ｋ＝２とした場合、図１２（Ｂ）に示すように、除算値が、ダイナミックレンジＤＲを４（＝２²）等分して得られるいずれの範囲に属するかが判定され、除算値が、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。そして、復号側においては、ＡＤＲＣコード００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂは、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲の中心値Ｌ₀₀、下から２番目のレベルの範囲の中心値Ｌ₀₁、下から３番目のレベルの範囲の中心値Ｌ₁₀、または最も上のレベルの範囲の中心値Ｌ₁₁に変換され、その値に、最小値ＭＩＮが加算されることで復号が行われる。

ここで、このようなＡＤＲＣ処理はノンエッジマッチングと呼ばれる。このようなノンエッジマッチングに対して、図１２（Ｃ）に示すように、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲に属する画素値の平均値ＭＩＮ’、またはその最も上のレベルの範囲に属する画素値の平均値ＭＡＸ’に、ＡＤＲＣコード００Ｂまたは１１Ｂそれぞれを変換するとともに、ＭＡＸ’−ＭＩＮ’で規定されるダイナミックレンジＤＲ’を等分（３等分）するレベルに、ＡＤＲＣコード０１Ｂと１０Ｂを変換することにより、ＡＤＲＣコードの復号を行うようなＡＤＲＣ処理があり、これは、エッジマッチングと呼ばれる。

なお、ＡＤＲＣ処理については、本件出願人が先に出願した、例えば、特開平３−５３７７８号公報などに、その詳細が開示されている。

ブロックを構成する画素に割り当てられているビット数より少ないビット数で再量子化を行うＡＤＲＣ処理を施すことにより、上述したように、クラス数を削減することができ、このようなＡＤＲＣ処理が、ＡＤＲＣ処理回路４４において行われるようになされている。

なお、本実施例では、クラス分類回路４５において、ＡＤＲＣ処理回路４４から出力されるＡＤＲＣコードに基づいて、クラス分類処理が行われるが、クラス分類処理は、その他、例えば、ＤＰＣＭ（予測符号化）や、ＢＴＣ（Block Truncation Coding）、ＶＱ（ベクトル量子化）、ＤＣＴ（離散コサイン変換）、アダマール変換などを施したデータを対象に行うようにすることも可能である。

次に、適応処理について説明する。

例えば、いま、元の画像の画素値ｙの予測値Ｅ［ｙ］を、その周辺の幾つかの画素の画素値（以下、適宜、学習データという）ｘ₁，ｘ₂，・・・と、所定の予測係数ｗ₁，ｗ₂，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。

Ｅ［ｙ］＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・
・・・（１）

そこで、一般化するために、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、

で定義すると、次のような観測方程式が成立する。

ＸＷ＝Ｙ’
・・・（２）

そして、この観測方程式に最小自乗法を適用して、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、元の画像の画素値（以下、適宜、教師データという）ｙの集合でなる行列Ｙ、および元の画像の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、

で定義すると、式（２）から、次のような残差方程式が成立する。

ＸＷ＝Ｙ＋Ｅ
・・・（３）

この場合、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗ_iは、自乗誤差

を最小にすることで求めることができる。

従って、上述の自乗誤差を予測係数ｗ_iで微分したものが０になる場合、即ち、次式を満たす予測係数ｗ_iが、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。

・・・（４）

そこで、まず、式（３）を、予測係数ｗ_iで微分することにより、次式が成立する。

・・・（５）

式（４）および（５）より、式（６）が得られる。

・・・（６）

さらに、式（３）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。

・・・（７）

式（７）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。

以上のようにして、最適な予測係数ｗを求め、さらに、その予測係数ｗを用い、式（１）により、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理であり、この適応処理が、適応処理回路４６において行われるようになされている。

なお、適応処理は、間引かれた画像には含まれていない、元の画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、元の画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。

次に、図１３のフローチャートを参照して、図１０のローカルデコード部２２の処理について説明する。

ローカルデコード部２２においては、まず最初に、ステップＳ２１において、圧縮部２１からの補正データがブロック化される。即ち、クラス分類用ブロック化回路４１において、補正データが、４画素のクラス分類用ブロックにブロック化され、クラス分類適応処理回路４３に供給されるとともに、予測値計算用ブロック化回路４２において、補正データが４画素の予測値計算用ブロックにブロック化され、クラス分類適応処理回路４３に供給される。

クラス分類適応処理回路４３には、上述したように、クラス分類用ブロックおよび予測値計算用ブロックの他、元の画像データが供給されるようになされており、クラス分類用ブロックはＡＤＲＣ処理部４４に、予測値計算用ブロックおよび元の画像データは適応処理回路４６に供給されるようになされている。

ＡＤＲＣ処理回路４４は、クラス分類用ブロックを受信すると、ステップＳ２２において、そのクラス分類用ブロックに対して、例えば、１ビットのＡＤＲＣ（１ビットで再量子化を行うＡＤＲＣ）処理を施し、これにより、補正データを、１ビットに変換（符号化）して、クラス分類回路４５に出力する。クラス分類回路４５は、ステップＳ２３において、ＡＤＲＣ処理が施されたクラス分類用ブロックに対して、クラス分類処理を施し、そのクラス分類用ブロックが属するクラスを判定する。このクラスの判定結果は、クラス情報として、適応処理回路４６に供給される。

なお、本実施例においては、Ｒ，Ｇ，Ｂの各成分が１ビットのＡＤＲＣ処理が施された４画素で構成されるクラス分類用ブロックに対して、クラス分類処理が施されるので、各クラス分類用ブロックは、４０９６（＝（２³）⁴）のクラスのうちのいずれかに分類されることになる。

そして、ステップＳ２４に進み、適応処理回路４６において、クラス分類回路４５からのクラス情報に基づいて、各クラスごとに適応処理が施され、これにより、予測係数および元の画像データの予測値が算出される。

即ち、本実施例においては、例えば、ある１つの画素に注目した場合に、その注目画素の周りに隣接する４個の画素でなる予測値計算用ブロックを用いて、適応処理が行われる。

具体的には、例えば、いま、図２に示した４個の補正データＸ₁，Ｘ₂，Ｘ₃，Ｘ₄でなるクラス分類用ブロックについてのクラス情報Ｃが、クラス分類回路４５から出力され、また、予測値計算用ブロックとして、４画素の補正データＸ₁，Ｘ₂，Ｘ₃，Ｘ₄でなる予測値計算用ブロックが、予測値計算用ブロック化回路４２から出力されたものとすると、まず、その予測値計算用ブロックを構成する補正データを、学習データとするとともに、元の画像における、補正データＹ₁を、教師データとして、式（７）に示した正規方程式がたてられる。

さらに、クラス情報Ｃにクラス分類される他の予測値計算用ブロックについても同様にして、正規方程式がたてられ、画素値Ｙ_R1の予測値Ｅ［Ｙ_R1］を求めるための予測係数ｗ₁（Ｒ）乃至ｗ₁₂（Ｒ）を算出することができるだけの数の正規方程式が得られると（従って、そのような数の正規方程式が得られるまでは、ステップＳ２４では、正規方程式をたてる処理までが行われる）、その正規方程式を解くことで、クラス情報Ｃについて、画素値Ｙ_R1の予測値Ｅ［Ｙ_R1］を求めるのに最適な予測係数ｗ₁（Ｒ）乃至ｗ₁₂（Ｒ）が算出される。そして、式（１）に対応する次式に従って、予測値Ｅ［Ｙ_R1］が求められる。Ｙ_G1，Ｙ_B1などについても同様である。

Ｅ［Ｙ_R1］＝ｗ₁（Ｒ）Ｘ_R1＋ｗ₂（Ｒ）Ｘ_G1＋ｗ₃（Ｒ）Ｘ_B1
＋ｗ₄（Ｒ）Ｘ_R2＋ｗ₅（Ｒ）Ｘ_G2＋ｗ₆（Ｒ）Ｘ_B2
＋ｗ₇（Ｒ）Ｘ_R3＋ｗ₈（Ｒ）Ｘ_G3＋ｗ₉（Ｒ）Ｘ_B3
＋ｗ₁₀（Ｒ）Ｘ_R4＋ｗ₁₁（Ｒ）Ｘ_G4＋ｗ₁₂（Ｒ）Ｘ_B4

Ｅ［Ｙ_G1］＝ｗ₁（Ｇ）Ｘ_R1＋ｗ₂（Ｇ）Ｘ_G1＋ｗ₃（Ｇ）Ｘ_B1
＋ｗ₄（Ｇ）Ｘ_R2＋ｗ₅（Ｇ）Ｘ_G2＋ｗ₆（Ｇ）Ｘ_B2
＋ｗ₇（Ｇ）Ｘ_R3＋ｗ₈（Ｇ）Ｘ_G3＋ｗ₉（Ｇ）Ｘ_B3
＋ｗ₁₀（Ｇ）Ｘ_R4＋ｗ₁₁（Ｇ）Ｘ_G4＋ｗ₁₂（Ｇ）Ｘ_B4

Ｅ［Ｙ_B1］＝ｗ₁（Ｂ）Ｘ_R1＋ｗ₂（Ｂ）Ｘ_G1＋ｗ₃（Ｂ）Ｘ_B1
＋ｗ₄（Ｂ）Ｘ_R2＋ｗ₅（Ｂ）Ｘ_G2＋ｗ₆（Ｂ）Ｘ_B2
＋ｗ₇（Ｂ）Ｘ_R3＋ｗ₈（Ｂ）Ｘ_G3＋ｗ₉（Ｂ）Ｘ_B3
＋ｗ₁₀（Ｂ）Ｘ_R4＋ｗ₁₁（Ｂ）Ｘ_G4＋ｗ₁₂（Ｂ）Ｘ_B4

ステップＳ２４において、以上のようにして各画素のＲ，Ｇ，Ｂの各成分についての予測係数が求められると、予測値が誤差算出部２３に出力されるとともに、予測係数が判定部２４に出力され、ステップＳ２１に戻り、以下同様の処理が繰り返される。

次に、図１４は、図６の誤差算出部２３の構成例を示している。

ブロック化回路５１には、元の画像データが供給されるようになされており、ブロック化回路５１は、その画素データを、ローカルデコード部２２から出力される予測値に対応する画素単位でブロック化し、その結果得られるブロックの画素（いまの場合、このブロックは１個の画素（図２のＹ₁）により構成される）を、自乗誤差算出回路５２に出力するようになされている。自乗誤差算出部５２には、上述したように、ブロック化回路５１から画素データが供給される他、ローカルデコード部２２から予測値としての画素データが供給されるようになされており、自乗誤差算出回路５２は、原画像に対する、予測値の予測誤差としての自乗誤差を算出し、積算部５５に供給するようになされている。

即ち、自動誤差算出回路５２は、演算器５３および５４で構成されている。演算器５３は、ブロック化回路５１からのブロック化された画像データそれぞれから、対応する予測値を減算し、その減算値を、演算器５４に供給するようになされている。演算器５４は、演算器５３の出力（元の画像データと予測値との差分）を自乗し、積算部５５に供給するようになされている。

積算部５５は、自乗誤差算出回路５２から自乗誤差を受信すると、メモリ５６の記憶値を読み出し、その記憶値と自乗誤差とを加算して、再び、メモリ５６に供給して記憶させることを繰り返すことで、自乗誤差の積算値（誤差分散）を求めるようになされている。さらに、積算部５５は、所定量（例えば、１フレーム分など）についての自乗誤差の積算が終了すると、その積算値を、メモリ５６から読み出し、誤差情報として、判定部２４に供給するようになされている。メモリ５６は、１フレームについての処理が終了するごとに、その記憶値をクリアしながら、積算部５５の出力値を記憶するようになされている。

次に、その動作について、図１５のフローチャートを参照して説明する。誤差算出部２３では、まず最初に、ステップＳ３１において、メモリ５６の記憶値が、例えば０にクリアされ、ステップＳ３２に進み、ブロック化回路５１において、画像データが、上述したようにブロック化され、その結果得られるブロックが、自乗誤差算出回路５２に供給される。自乗誤差算出回路５２では、ステップＳ３３において、ブロック化回路５１から供給されるブロックを構成する、元の画像の画像データと、ローカルデコード部２２から供給される予測値との自乗誤差が算出される。

即ち、ステップＳ３３では、演算器５３において、ブロック化回路５１より供給されたブロック化された画像データそれぞれから、対応する予測値が減算され、演算器５４に供給される。さらに、ステップＳ３３では、演算器５４において、演算器５３の出力が自乗され、積算部５５に供給される。

積算部５５は、自乗誤差算出回路５２から自乗誤差を受信すると、ステップＳ３４において、メモリ５６の記憶値を読み出し、その記憶値と自乗誤差とを加算することで、自乗誤差の積算値を求める。積算部５５において算出された自乗誤差の積算値は、メモリ５６に供給され、前回の記憶値に上書きされることで記憶される。

そして、積算部５５では、ステップＳ３５において、所定量としての、例えば、１フレーム分についての自乗誤差の積算が終了したかどうかが判定される。ステップＳ３５において、１フレーム分についての自乗誤差の積算が終了していないと判定された場合、ステップＳ３２に戻り、再び、ステップＳ３２からの処理を繰り返す。また、ステップＳ３５において、１フレーム分についての自乗誤差の積算が終了したと判定された場合、ステップＳ３６に進み、積算部５５は、メモリ５６に記憶された１フレーム分についての自乗誤差の積算値を読み出し、誤差情報として、判定部２４に出力する。そして、ステップＳ３１に戻り、再び、ステップＳ３１からの処理を繰り返す。

従って、誤差算出部２３では、元の画像データをＹ_iとするとともに、その予測値をＥ［Ｙ_i］とするとき、次式に従った演算が行われることで、誤差情報Ｑが算出される。

Ｑ＝（Σ（Ｙ_i）−Ｅ［Ｙ_i］）²
但し、Σは、１フレーム分についてのサメーションを意味する。

次に、図１６は、図６の判定部２４の構成例を示している。

予測係数メモリ６１は、ローカルデコード部２２から供給される予測係数を記憶するようになされている。補正データメモリ６２は、圧縮部２１から供給される補正データを記憶するようになされている。

なお、補正データメモリ６２は、圧縮部２１において、圧縮データが新たに補正され、これにより、新たな補正データが供給された場合には、既に記憶している補正データ（前回の補正データ）に代えて、新たな補正データを記憶するようになされている。また、このように補正データが、新たなものに更新されるタイミングで、ローカルデコード部２２からは、その新たな補正データに対応する、新たな予測係数のセットが出力されるが、予測係数メモリ６１においても、このように新たな予測係数が供給された場合には、既に記憶している予測係数（前回の予測係数）に代えて、その新たな予測係数を記憶するようになされている。

誤差情報メモリ６３は、誤差算出部２３から供給される誤差情報を記憶するようになされている。なお、誤差情報メモリ６３は、誤差算出部２３から、今回供給された誤差情報の他に、前回供給された誤差情報も記憶するようになされている（新たな誤差情報が供給されても、さらに新たな誤差情報が供給されるまでは、既に記憶している誤差情報を保持するようになされている）。なお、誤差情報メモリ６３は、新たなフレームについての処理が開始されるごとにクリアされるようになされている。

比較回路６４は、誤差情報メモリ６３に記憶された今回の誤差情報と、所定の閾値εとを比較し、さらに、必要に応じて、今回の誤差情報と前回の誤差情報との比較も行うようになされている。比較回路６４における比較結果は、制御回路６５に供給されるようになされている。

制御回路６５は、比較回路６４における比較結果に基づいて、補正データメモリ６２に記憶された補正データを、元の画像の符号化結果とすることの適正（最適）さを判定し、最適でないと認識（判定）した場合には、新たな補正データの出力を要求する制御信号を、圧縮部２１（補正回路３２）（図８）に供給するようになされている。また、制御回路６５は、補正データメモリ６２に記憶された補正データを、元の画像の符号化結果とすることが最適であると認識した場合には、予測係数メモリ６１に記憶されている予測係数を読み出し、多重化部２５に出力するとともに、補正データメモリ６２に記憶されている補正データを読み出し、最適圧縮データとして、やはり多重化部２５に供給するようになされている。さらに、この場合、制御回路６５は、１フレームの画像についての符号化を終了した旨を表す制御信号を、圧縮部２１に出力し、これにより、上述したように、圧縮部２１に、次のフレームについての処理を開始させるようになされている。

次に、図１７を参照して、判定部２４の動作について説明する。判定部２４では、まず最初に、ステップＳ４１において、誤差算出部２３から誤差情報を受信したかどうかが、比較回路６４によって判定され、誤差情報を受信していないと判定された場合、ステップＳ４１に戻る。また、ステップＳ４１において、誤差情報を受信したと判定された場合、即ち、誤差情報メモリ６３に誤差情報が記憶された場合、ステップＳ４２に進み、比較回路６４において、誤差情報メモリ６３に、いま記憶された誤差情報（今回の誤差情報）と、所定の閾値εとが比較され、いずれが大きいかが判定される。

ステップＳ４２において、今回の誤差情報が、所定の閾値ε以上であると判定された場合、比較回路６４において、誤差情報メモリ６３に記憶されている前回の誤差情報が読み出される。そして、比較回路６４は、ステップＳ４３において、前回の誤差情報と、今回の誤差情報とを比較し、いずれが大きいかを判定する。

ここで、１フレームについての処理が開始され、最初に誤差情報が供給されたときには、誤差情報メモリ６３には、前回の誤差情報は記憶されていないので、この場合には、判定部２４においては、ステップＳ４３以降の処理は行われず、制御回路６５において、所定の初期アドレスを出力するように、補正回路３２（図８）を制御する制御信号が出力されるようになされている。

ステップＳ４３において、今回の誤差情報が、前回の誤差情報以下であると判定された場合、即ち、圧縮データの補正を行うことにより誤差情報が減少した場合、ステップＳ４４に進み、制御回路６５は、補正値△を、前回と同様に変化させるように指示する制御信号を、補正回路３２に出力し、ステップＳ４１に戻る。また、ステップＳ４３において、今回の誤差情報が、前回の誤差情報より大きいと判定された場合、即ち、圧縮データの補正を行うことにより誤差情報が増加した場合、ステップＳ４５に進み、制御回路６５は、補正値△を、前回と逆に変化させるように指示する制御信号を、補正回路３２に出力し、ステップＳ４１に戻る。

なお、減少し続けていた誤差情報が、あるタイミングで上昇するようになったときは、制御回路６５は、補正値△を、いままでの場合の、例えば１／２の大きさで、前回と逆に変化させるように指示する制御信号を出力するようになされている。

そして、ステップＳ４１乃至Ｓ４５の処理を繰り返すことにより、誤差情報が減少し、これにより、ステップＳ４２において、今回の誤差情報が、所定の閾値εより小さいと判定された場合、ステップＳ４６に進み、制御回路６５は、予測係数メモリ６１に記憶されている予測係数を読み出すとともに、補正データメモリ６２に記憶されている補正データを読み出し、多重化部２５に供給して、処理を終了する。

その後は、次のフレームについての誤差情報が供給されるのを待って、再び、図１７に示すフローチャートに従った処理を繰り返す。

なお、補正回路３２には、圧縮データの補正は、１フレームすべての圧縮データについて行わせるようにすることもできるし、その一部の圧縮データについてだけ行わせるようにすることもできる。一部の圧縮データについてだけ補正を行う場合においては、制御回路６５に、例えば、誤差情報に対する影響の強い画素を検出させ、そのような画素についての圧縮データだけを補正するようにすることができる。誤差情報に対する影響の強い画素は、例えば、次のようにして検出することができる。即ち、まず最初に、間引き後に残った画素についての圧縮データをそのまま用いて処理を行うことにより、その誤差情報を得る。そして、間引き後に残った画素についての圧縮データを、１つずつ、同一の補正値△だけ補正するような処理を行わせる制御信号を、制御回路６５から補正回路３２に出力し、その結果得られる誤差情報を、圧縮データをそのまま用いた場合に得られた誤差情報と比較し、その差が、所定値以上となる画素を、誤差情報に対する影響の強い画素として検出すれば良い。

以上のように、誤差情報を所定の閾値εより小さくする（以下にする）まで、圧縮データの補正が繰り返され、誤差情報が所定の閾値εより小さくなったときにおける補正データが、画像の符号化結果として出力されるので、受信装置４においては、間引き後の画像を構成する画素の画素値を、元の画像を復元するのに最も適当な値にした補正データから、原画像と同一（ほぼ同一）の復号画像を得ることが可能となる。

また、画像は、間引き処理により圧縮される他、ＡＤＲＣ処理およびクラス分類適応処理などによっても圧縮されるため、非常に高圧縮率の符号化データを得ることができる。なお、送信装置１における、以上のような符号化処理は、間引きによる圧縮処理と、クラス分類適応処理とを、いわば有機的に統合して用いることにより、高能率圧縮を実現するものであり、このことから統合符号化処理ということができる。

次に、図１８は、図１の受信装置４のさらに他の構成例を示している。

受信機／再生装置７１においては、記録媒体２に記録された符号化データが再生され、または伝送路３を介して伝送されてくる符号化データが受信され、分離部７２に供給される。分離部７２では、符号化データが、補正データと予測係数に分離され、補正データは、クラス分類用ブロック化回路７３および予測値計算用ブロック化回路７７に供給され、予測係数は、予測回路７６に供給される。

クラス分類用ブロック化回路７３、ＡＤＲＣ処理回路７４、クラス分類回路７５、または予測値計算用ブロック化回路７７は、図１０におけるクラス分類用ブロック化回路４１、ＡＤＲＣ処理回路４４、クラス分類回路４５、または予測値計算用ブロック化回路４２それぞれと同様に構成されており、従って、これらのブロックにおいては、図１０における場合と同様の処理が行われ、これにより、予測値計算用ブロック化回路７７からは予測値計算用ブロックが出力され、また、クラス分類回路７５からはクラス情報が出力される。これらの予測値計算用ブロックおよびクラス情報は、予測回路７６に供給される。

予測回路７６では、クラス情報に対応した予測係数と、予測値計算用ブロック化回路７７から供給される予測値計算用ブロックを構成する補正データとを用い、式（１）に従って予測値が算出され、そのような予測値で構成される１フレームの画像が、復号画像として出力される。この復号画像は、上述したように、元の画像とほぼ同一の画像となる。

なお、受信側においては、図１８に示すような受信装置４でなくても、間引きされた画像を単純な補間により復号する装置により、予測係数を用いずに、通常の補間を行うことで復号画像を得ることができる。但し、この場合に得られる復号画像は、画質（解像度）の劣化したものとなる。

ところで、上述の場合おいては、図６のローカルデコード部２２において予測係数を求め、これを用いて、予測値を算出するようにしたが、ローカルデコード部２２では、予測係数を求めずに、予測値を算出するようにすることが可能である。

即ち、図１９は、図６のローカルデコード部２２の他の構成例を示している。なお、図中、図１０における場合と対応する部分については、同一の符号を付してある。即ち、図１９のローカルデコード部２２は、適応処理回路４６に代えて、予測係数ＲＯＭ８１および予測回路８２が設けられている他は、図１０における場合と同様に構成されている。

予測係数ＲＯＭ８１は、あらかじめ学習（後述する）により求められたクラスごとの予測係数を記憶しており、クラス分類回路４５が出力するクラス情報を受信し、そのクラス情報に対応するアドレスに記憶されている予測係数を読み出して、予測回路８２に供給する。

予測回路８２では、予測値計算用ブロック化回路４２からの予測値計算用ブロックと、予測係数ＲＯＭ８１からの予測係数とを用いて、式（１）（具体的には、例えば、式（８））に示した線形１次式が計算され、これにより、元の画像の予測値が算出される。

従って、図１９のクラス分類適応処理回路４３によれば、元の画像を用いずに、その予測値が算出される。

次に、図２０は、図１９の予測係数ＲＯＭ８１に記憶されている予測係数を得るための学習を行う画像処理装置の構成例を示している。

学習用ブロック化回路９１および教師用ブロック化回路９２には、あらゆる画像に適用可能な予測係数を得るための（従って間引き処理が行われる前の）学習用の画像データ（学習用画像）が供給されるようになされている。

学習用ブロック化回路９１は、入力される画像データから、例えば、４画素（例えば、図２のＸ₁乃至Ｘ₄）を抽出し、この４画素で構成されるブロックを、学習用ブロックとして、ＡＤＲＣ処理９３および学習データメモリ９６に供給する。

また、教師用ブロック化回路９２では、入力される画像データから、例えば、１画素（図２のＹ₁）で構成されるブロックが生成され、この１画素で構成されるブロックが、教師用ブロックとして、教師データメモリ９８に供給される。

なお、学習用ブロック化回路９１において、所定の数の画素で構成される学習用ブロックが生成されるとき、教師用ブロック化回路９２では、対応する画素の教師用ブロックが生成されるようになされている。

ＡＤＲＣ処理回路９３は、学習用ブロックを構成する４画素でなるブロックに対して、図１９のＡＤＲＣ処理回路４４における場合と同様に、１ビットのＡＤＲＣ処理を施す。ＡＤＲＣ処理の施された、４画素のブロックは、クラス分類回路９４に供給される。クラス分類回路９４では、ＡＤＲＣ処理回路９３からのブロックがクラス分類され、それにより得られるクラス情報が、スイッチ９５の端子ａを介して、学習データメモリ９６および教師データメモリ９８に供給される。

学習データメモリ９６または教師データメモリ９８では、そこに供給されるクラス情報に対応するアドレスに、学習用ブロック化回路９１からの学習用ブロックまたは教師用ブロック化回路９２からの教師用ブロックが、それぞれ記憶される。

従って、学習データメモリ９６において、４画素（図２のＸ₁乃至Ｘ₄）でなるブロックが学習用ブロックとして、あるアドレスに記憶されたとすると、教師データメモリ９８においては、そのアドレスと同一のアドレスに、それに対応する１画素（図２のＹ₁）のブロックが、教師用ブロックとして記憶される。

以下、同様の処理が、あらかじめ用意されたすべての学習用の画像について繰り返され、これにより、学習用ブロックと、図１９のローカルデコード部２２において、その学習用ブロックを構成する４画素と同一の位置関係を有する４個の補正データで構成される予測値計算用ブロックを用いて予測値が求められる１個の画素で構成される教師用ブロックとが、学習用データメモリ９６と、教師用データメモリ９８とにおいて、同一のアドレスに記憶される。

なお、学習用データメモリ９６と教師用データメモリ９８においては、同一アドレスに複数の情報を記憶することができるようになされており、これにより、同一アドレスには、複数の学習用ブロックと教師用ブロックを記憶することができるようになされている。

学習用画像すべてについての学習用ブロックと教師用ブロックとが、学習データメモリ９６と教師データメモリ９８に記憶されると、端子ａを選択していたスイッチ９５が、端子ｂに切り替わり、これにより、カウンタ９７の出力が、アドレスとして、学習データメモリ９６および教師データメモリ９８に供給される。カウンタ９７は、所定のクロックをカウントし、そのカウント値を出力しており、学習データメモリ９６または教師データメモリ９８では、そのカウント値に対応するアドレスに記憶された学習用ブロックまたは教師用ブロックが読み出され、演算回路９９に供給される。

従って、演算回路９９には、カウンタ９７のカウント値に対応するクラスの学習用ブロックのセットと、教師用ブロックのセットとが供給される。

演算回路９９は、あるクラスについての学習用ブロックのセットと、教師用ブロックのセットとを受信すると、それらを用いて、最小自乗法により、誤差を最小とする予測係数を算出する。

即ち、例えば、いま、学習用ブロックを構成する画素の画素値を、ｘ₁，ｘ₂，ｘ₃，・・・とし、求めるべき予測係数をｗ₁，ｗ₂，ｗ₃，・・・とするとき、これらの線形１次結合により、教師用ブロックを構成する、ある画素の画素値ｙを求めるには、予測係数ｗ₁，ｗ₂，ｗ₃，・・・は、次式を満たす必要がある。

ｙ＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋ｗ₃ｘ₃＋・・・

そこで、演算回路９９では、同一クラスの学習用ブロックと、対応する教師用ブロックとから、真値ｙに対する、予測値ｗ₁ｘ₁＋ｗ₂ｘ₂＋ｗ₃ｘ₃＋・・・の自乗誤差を最小とする予測係数ｗ₁，ｗ₂，ｗ₃，・・・が、上述した式（７）に示す正規方程式をたてて解くことにより求められる。

演算回路９９において求められた、クラスごとの予測係数は、メモリ１００に供給される。メモリ１００には、演算回路９９からの予測係数の他、カウンタ９７からカウント値が供給されており、これにより、メモリ１００においては、演算回路９９からの予測係数が、カウンタ９７からのカウント値に対応するアドレスに記憶される。

以上のようにして、メモリ１００には、各クラスに対応するアドレスに、そのクラスのブロックの画素を予測するのに最適な予測係数が記憶される。

図１９の予測係数ＲＯＭ８１には、以上のようにしてメモリ１００に記憶された予測係数が記憶されている。

なお、予測係数ＲＯＭ８１には、各クラスに対応するアドレスに、予測係数を記憶させるのではなく、教師用ブロックを構成する画素値の平均値などを記憶させるようにすることが可能である。この場合、クラス情報が与えられると、そのクラスに対応する画素値が出力されることになり、図１９のローカルデコード部２２において、予測値計算用ブロック化回路４２および予測回路８２を設けずに済むようになる。

また、図１９に示したようにローカルデコード部２２を構成する場合においては、図１８に示した受信装置４は、受信機／再生装置７１の後段を、図１９のクラス分類適応処理回路４３と同様に構成するようにすれば良い。

なお、本実施例においては、誤差情報として、誤差の自乗和を用いるようにしたが、誤差情報としては、その他、例えば、誤差の絶対値和や、その３乗以上したものの和などを用いるようにすることが可能である。いずれを誤差情報として用いるかは、例えば、その収束性などに基づいて決定するようにすることが可能である。

また、本実施例では、誤差情報が、所定の閾値ε以下になるまで、圧縮データの補正を繰り返し行うようにしたが、圧縮データの補正の回数には、上限を設けるようにすることも可能である。即ち、例えば、リアルタイムで画像の伝送を行う場合などにおいては、１フレームについての処理が、所定の期間内に終了することが必要であるが、誤差情報は、そのような所定の期間内に収束するとは限らない。そこで、補正の回数に上限を設けることにより、所定の期間内に、誤差情報が閾値ε以下に収束しないときは、そのフレームについての処理を終了し（そのときにおける補正データを、符号化結果とし）、次のフレームについての処理を開始するようにすることが可能である。

さらに、本実施例においては、１フレームの画像からブロックを構成するようにしたが、ブロックは、その他、例えば、時系列に連続する複数フレームにおける、同一位置の画素から構成するようにすることも可能である。

また、本実施例では、圧縮部２１において、画像を、単純に間引き、即ち、２画素毎に１個の画素を抽出し、これを圧縮データとするようにしたが、圧縮部２１には、その他、例えば、ブロックを構成する複数個の画素の平均値などを求めさせ、その平均値を、そのブロックにおける中心画素の画素値とすることにより、その画素数を少なくし（間引き）、これを圧縮データとするようにすることも可能である。

図２１は、この場合における送信装置１の構成例を示している。

ブロック化回路１１１には、符号化すべき画像データが入力されるようになされており、ブロック化回路１１１は、画像データを、その性質に応じて所定のクラスに分類するための単位であるクラス分類用ブロックにブロック化し、ＡＤＲＣ処理回路１１２および遅延回路１１５に供給するようになされている。

ＡＤＲＣ処理回路１１２は、ブロック化回路１１１からのブロック（クラス分類用ブロック）に対してＡＤＲＣ処理を施し、その結果得られるＡＤＲＣコードで構成されるブロックを、クラス分類回路１１３に供給するようになされている。

このＡＤＲＣ処理より、クラス分類用ブロックを構成する画素のビット数が低減されるようになされている。

クラス分類回路１１３は、ＡＤＲＣ処理回路１１２からのブロックを、その性質に応じて所定のクラスに分類するクラス分類処理を行い、そのブロックがいずれのクラスに属するかを、クラス情報として、マッピング係数メモリ１１４に供給するようになされている。

マッピング係数メモリ１１４は、後述するような学習（マッピング係数学習）により得られるマッピング係数を、クラス情報ごとに記憶しており、クラス分類回路１１３から供給されるクラス情報をアドレスとして、そのアドレスに記憶されているマッピング係数を読み出し、演算回路１１６に供給するようになされている。

遅延回路１１５は、ブロック化回路１１１から供給されるブロックを、そのブロックのクラス情報に対応するマッピング係数が、マッピング係数メモリ１１４から読み出されるまで遅延し、演算回路１１６に供給するようになされている。

演算回路１１６は、遅延回路１１５から供給されるブロックを構成する画素の画素値と、マッピング係数メモリ１１４から供給される、そのブロックのクラスに対応するマッピング係数とを用いて所定の演算を行うことにより、画像を、その画素数を間引いた（少なくした）符号化した符号化データを算出するようになされている。即ち、演算回路１１６は、ブロック化回路１１１が出力するブロックを構成する各画素の画素値（元の画像の画素値）をｙ₁，ｙ₂，・・・とするとともに、マッピング係数メモリ１１４が出力する、そのブロックのクラスに対応するマッピング係数をｋ₁，ｋ₂，・・・とするとき、それらを引数とする所定の関数値ｆ（ｙ₁，ｙ₂，・・・，ｋ₁，ｋ₂，・・・）を演算し、その関数値ｆ（ｙ₁，ｙ₂，・・・，ｋ₁，ｋ₂，・・・）を、ブロック化回路１１１が出力するブロック（クラス分類用ブロック）を構成する画素のうちの、例えば中心の画素の画素値として出力するようになされている。

従って、ブロック化回路１１１が出力するクラス分類用ブロックを構成する画素数をＮ画素とすると、演算回路１１６は、画像データを１／Ｎに間引き、これを、符号化データとして出力するようになされている。

なお、演算回路１１６が出力する符号化データは、Ｎ画素で構成されるブロックの中心の１個の画素を選択して出力するような、いわば単純な間引き処理により得られるものではなく、上述したように、そのブロックを構成するＮ画素により規定される関数値ｆ（ｙ₁，ｙ₂，・・・，ｋ₁，ｋ₂，・・・）であるが、この関数値ｆ（ｙ₁，ｙ₂，・・・，ｋ₁，ｋ₂，・・・）は、見方を変えれば、単純な間引き処理により得られる、ブロックの中心の画素の画素値を、その周辺の画素値に基づいて補正したものと考えることができる。そこで、マッピング係数と、ブロックを構成する画素との演算の結果得られるデータである符号化データを、以下、適宜、補正データともいう。

また、演算回路１１６における演算処理は、ブロック化回路１１１が出力するクラス分類用ブロックを構成する各画素の画素値を、関数値ｆ（ｙ₁，ｙ₂，・・・，ｋ₁，ｋ₂，・・・）にマッピング（写像）する処理とも考えることができる。そこで、そのような処理に用いられる係数ｋ₁，ｋ₂，・・・をマッピング係数と呼んでいる。

送信機／記録装置１１７は、演算回路１１６から符号化データとして供給される補正データを、記録媒体２に記録し、または伝送路３を介して伝送するようになされている。

次に、図２２のフローチャートを参照して、その動作について説明する。

ブロック化回路１１１には、例えば、１フレーム（フィールド）単位で画像データが供給されるようになされており、ブロック化回路１１１では、ステップＳ６１において、１フレームの画像が、クラス分類用ブロックにブロック化される。即ち、ブロック化回路１１１は、例えば、５画素でなるクラス分類用ブロックに分割し、ＡＤＲＣ処理回路１１２および遅延回路１１５に供給する。

なお、この場合、クラス分類用ブロックは、５画素でなる十文字形状のブロックで構成されることとなるが、クラス分類用ブロックの形状は、その他、例えば、長方形や、正方形、その他の任意な形とすることが可能である。また、クラス分類用ブロックを構成する画素数も、５画素に限定されるものではない。さらに、クラス分類用ブロックは、隣接する画素どうしで構成するのではなく、離れた画素どうしで構成するようにすることも可能である。但し、その形状および画素数は、後述する学習（マッピング係数学習）時における場合のものと一致している必要がある。

ＡＤＲＣ処理回路１１２は、ブロック化回路１１１からクラス分類用ブロックを受信すると、ステップＳ６２において、そのブロックのうちの中心の画素（図２のＹ₁）を除く４個の画素（図２のＸ₁乃至Ｘ₄）に対して、例えば、１ビットのＡＤＲＣ処理を施し、これにより、Ｒ，Ｇ，Ｂの各画素が、それぞれ１ビットで表現される画素で構成されるブロックとする。ＡＤＲＣ処理の施されたクラス分類用ブロックは、クラス分類回路１１３に供給される。

クラス分類回路１１３では、ステップＳ６３において、ＡＤＲＣ処理回路１１２からのクラス分類用ブロックがクラス分類され、その結果得られるクラス情報が、マッピング係数メモリ１１４に、アドレスとして供給される。これにより、マッピング係数メモリ１１４からは、クラス分類回路１１３より供給されたクラス情報に対応するマッピング係数が読み出され、演算回路１１６に供給される。

一方、遅延回路１１５では、ブロック化回路１１１からのクラス分類用ブロックの５画素データが遅延され、そのブロックのクラス情報に対応するマッピング係数が、マッピング係数メモリ１１４から読み出されるのを待って、演算器１１６に供給される。演算器１１６では、ステップＳ６４において、遅延回路１１５からのクラス分類用ブロックを構成する各画素の画素値と、マッピング係数メモリ１１４からのマッピング係数を用いて、上述した関数値ｆ（・）（この関数ｆのかっこ内の・は、画素値Ｘ₁，Ｘ₂，・・・と、マッピング係数ｋ₁，ｋ₂，・・・の集合を表すものとする）が演算されることにより、クラス分類用ブロックを構成する中心の画素（中心画素）の画素値を補正した補正データが算出される。いまの場合、図２の画素データＸ₁乃至Ｘ₄と画素データＹ₁（Ｘ₅）とから、画素データＹ₁（Ｘ₅）の位置の１個の画素データが生成される。また、このブロック化は、画素データに対して重複して行われ、最終的に、１／２の画素データが間引かれる。そして、この処理でも、上述したように、Ｒの成分（Ｇの成分もしくはＢの成分）を生成するのに、Ｒの成分（Ｇの成分もしくはＢの成分）だけでなく、Ｇの成分とＢの成分（Ｒの成分とＢの成分、またはＲの成分とＧの成分）が利用される。この補正データは、画像を符号化した符号化データとして、送信機／記録装置１１７に供給される。

送信機／記録装置１１７では、ステップＳ６５において、演算回路１１６からの符号化データが、記録媒体２に記録され、または伝送路３を介して伝送される。

そして、ステップＳ６６に進み、１フレーム分の画像データについての処理が終了したかどうかが判定される。ステップＳ６６において、１フレーム分の画像データについての処理が、まだ終了していないと判定された場合、ステップＳ６２に戻り、次のクラス分類用ブロックを対象に、ステップＳ６２以下の処理が繰り返される。また、ステップＳ６６において、１フレーム分の画像データについての処理が終了したと判定された場合、ステップＳ６１に戻り、次のフレームを対象に、ステップＳ６１以下の処理が繰り返される。

次に、図２３は、図２１のマッピング係数メモリ１１４に記憶されているマッピング係数を算出するための学習（マッピング係数学習）処理を行う画像処理装置の構成例を示している。

メモリ１２１には、学習に適したディジタル画像データ（以下、適宜、学習用画像という）が１フレーム以上記憶されている。ブロック化回路１２２は、メモリ１２１に記憶されている画像データを読み出し、図２１のブロック化回路１１１から出力されるクラス分類用ブロックと同一のブロックを構成して、ＡＤＲＣ処理回路１２３および演算回路１２６に供給するようになされている。

ＡＤＲＣ処理回路１２３またはクラス分類回路１２４は、図２１のＡＤＲＣ処理回路１１２またはクラス分類回路１１３における場合とそれぞれ同様の処理を行うようになされている。従って、クラス分類回路１２４からは、ブロック化回路１２２が出力するブロックのクラス情報が出力されるようになされている。そして、このクラス情報は、マッピング係数メモリ１３１に、アドレスとして供給されるようになされている。

演算回路１２６は、ブロック化回路１２２から供給されるブロックを構成する画素と、マッピング係数メモリ１３１から供給されるマッピング係数とを用いて、図２１の演算回路１１６における場合と同一の演算を行い、その結果得られる補正データ（関数値ｆ（・））を、ローカルデコード部１２７に供給するようになされている。

ローカルデコード部１２７は、演算回路１２６から供給される補正データに基づいて、元の学習用画像の予測値（ブロック化回路１２２が出力するブロックを構成する画素の画素値の予測値）を予測し（算出し）、誤差算出部１２８に供給するようになされている。誤差算出部１２８は、ローカルデコード部１２７から供給される予測値に対応する学習用画像の画素値（真値）をメモリ１２１から読み出し、その学習用画像の画素値に対する、予測値の予測誤差を算出（検出）し、その予測誤差を、誤差情報として、判定部１２９に供給するようになされている。

判定部１２９は、誤差算出部１２８からの誤差情報と、所定の閾値ε１とを比較し、その比較結果に対応して、マッピング係数設定回路１３０を制御するようになされている。マッピング係数設定回路１３０は、判定部１２９の制御に従って、クラス分類回路１２４におけるクラス分類の結果得られるクラス数と同一の数のマッピング係数のセットを設定（変更）し、マッピング係数メモリ１３１に供給するようになされている。

マッピング係数メモリ１３１は、マッピング係数設定回路１３０から供給されるマッピング係数を一時記憶するようになされている。なお、マッピング係数メモリ１３１は、クラス分類回路１２４においてクラス分類されるクラスの数だけのマッピング係数（マッピング係数のセット）を記憶することのできる記憶領域を有しており、各記憶領域においては、マッピング係数設定回路１３０から、新たなマッピング係数が供給されると、既に記憶しているマッピング係数に代えて、その新たなマッピング係数が記憶されるようになされている。

また、マッピング係数メモリ１３１は、クラス分類回路１２４から供給されるクラス情報に対応するアドレスに記憶されたマッピング係数を読み出し、演算回路１２６に供給するようにもなされている。

次に、図２４のフローチャートを参照して、その動作について説明する。

まず最初に、マッピング係数設定回路１３０は、ステップＳ７１においてマッピング係数の初期値のセットを、クラス分類回路１２４においてクラス分類されるクラスの数だけ設定し、マッピング係数メモリ１３１に供給する。マッピング係数メモリ１３１では、マッピング係数設定回路１３０からのマッピング係数（初期値）が、対応するクラスのアドレスに記憶される。

そして、ブロック化回路１２２は、ステップＳ７２において、メモリ１２１に記憶されている学習用画像すべてを、図２１のブロック化回路１１１における場合と同様に、５画素（図２のＸ₁乃至Ｘ₄，Ｙ₁）のブロックにブロック化する。さらに、ブロック化回路１２１は、そのブロックを、メモリ１２１から読み出し、ＡＤＲＣ処理回路１２３および演算回路１２６に順次供給する。

ＡＤＲＣ処理回路１２３では、ステップＳ７３において、ブロック化回路１２２からのブロックのうちの４画素（図２のＸ₁乃至Ｘ₄）に対して、図２１のＡＤＲＣ処理回路１１２における場合と同様に、１ビットのＡＤＲＣ処理が施され、クラス分類回路１２４に供給される。クラス分類回路１２４では、ステップＳ７４において、ＡＤＲＣ処理回路１２３から供給されたブロックのクラスが決定され、そのクラス情報が、アドレスとして、マッピング係数メモリ１３１に供給される。これにより、ステップＳ７５において、マッピング係数メモリ１３１の、クラス分類回路１２４から供給されるクラス情報に対応するアドレスから、マッピング係数が読み出され、演算回路１２６に供給される。

演算回路１２６は、ブロック化回路１２２からのブロックの５画素（図２のＸ₁乃至Ｘ₄，Ｙ₁）を受信するとともに、マッピング係数メモリ１３１から、そのブロックのクラスに対応するマッピング係数を受信すると、ステップＳ７６において、そのマッピング係数と、ブロック化回路１２２から供給されるブロックを構成する５画素の画素値とを用いて、上述の関数値ｆ（・）を演算する。この演算結果は、ブロック化回路１２２から供給されるブロックの中心画素の画素値を補正した補正データとして、ローカルデコード部１２７に供給される。

即ち、例えば、上述の図２において、Ｘ₁乃至Ｘ₄，Ｙ₁のブロックが、ブロック化回路１２２から出力されたものとすると、演算回路１２６では、その画素値を補正した補正データが求められ、ローカルデコード部２７に出力される。

但し、演算回路２６では、ブロック化回路１２２におけるブロック化が、画素データに対して重複して行われ、学習用画像を構成する画素数が、１／２に間引かれ、ローカルデコード部２７に供給される。

図２４に戻り、ステップＳ７６で補正データが算出された後は、ステップＳ７７に進み、メモリ１２１に記憶されたすべての学習用画像についての補正データが求められたかどうかが判定される。ステップＳ７７において、すべての学習用画像についての補正データが、まだ求められていないと判定された場合、ステップＳ７３に戻り、すべての学習用画像についての補正データが求められるまで、ステップＳ７３乃至Ｓ７７の処理を繰り返す。

また、ステップＳ７７において、すべての学習用画像についての補正データが求められたと判定された場合、即ち、メモリ１２１に記憶されたすべての学習用画像を、１／２に間引いた間引き画像が得られた場合（但し、この間引き画像は、学習用画像を、単純に１／２に間引いたものではなく、マッピング係数との演算により画素値が求められたものである）、ステップＳ７８に進み、ローカルデコード部１２７において、その間引き画像がローカルデコードされることにより、元の学習用画像の予測値が算出される。この予測値は、誤差算出部１２８に供給される。

ここで、このローカルデコード部１２７において得られる予測値で構成される画像（但し、後述するように、誤差算出部１２８から出力される誤差情報が閾値ε１より小さくなったときにおけるもの）は、受信装置４側において得られる復号画像と同一のものである。

誤差算出部１２８では、ステップＳ７９において、メモリ１２１から学習用画像が読み出され、その学習用画像に対する、ローカルデコード部１２７から供給される予測値の予測誤差が算出される。即ち、学習用画像の画素値をＹ_ijと表すとともに、ローカルデコード部１２７から出力される、その予測値をＥ［Ｙ_ij］と表すとき、誤差算出部１２８では、次式で示される誤差分散（誤差の自乗和）Ｑが算出され、これが、誤差情報として、判定部１２９に供給される。

Ｑ＝Σ（Ｙ_ij−Ｅ［Ｙ_ij］）²
但し、上式において、Σは、学習用画像の画素すべてについてのサメーションを表す。

判定部１２９は、誤差算出部１２８から誤差情報を受信すると、その誤差情報と所定の閾値ε１とを比較し、ステップＳ８０において、その大小関係を判定する。ステップＳ８０において、誤差情報が閾値ε１以上であると判定された場合、即ち、ローカルデコード部１２７において得られる予測値で構成される画像が、元の学習用画像と同一であるとは認められない場合、判定部１２９は、マッピング係数設定回路１３０に制御信号を出力する。マッピング係数設定回路１３０は、ステップＳ８１において、判定部１２９からの制御信号に従い、マッピング係数を変更し、その変更後のマッピング係数を、マッピング係数メモリ１３１に新たに記憶させる。

そして、ステップＳ７３に戻り、マッピング係数メモリ１３１に記憶された、変更後のマッピング係数を用いて、再び、ステップＳ７３以下の処理が繰り返される。

ここで、マッピング係数設定回路１３０における、マッピング係数の変更は、ランダムに行っても良いし、また、今回の誤差情報が、前回の誤差情報より小さくなった場合には、前回と同様の傾向で変化させ、今回の誤差情報が、前回の誤差情報より大きくなった場合には、前回と逆の傾向で変化させるようにすることもできる。

さらに、マッピング係数の変更は、すべてのクラスについて行うようにすることもできるし、その一部のクラスについてだけ行うようにすることもできる。一部のクラスについてのマッピング係数だけの変更を行う場合においては、例えば、誤差情報に対する影響の強いクラスを検出させ、そのようなクラスについてのマッピング係数だけを変更するようにすることができる。誤差情報に対する影響の強いクラスは、例えば、次のようにして検出することができる。即ち、まず最初に、マッピング係数の初期値を用いて処理を行うことにより、その誤差情報を得る。そして、マッピング係数を、１クラスごとに同一の量だけ変化させ、その結果得られる誤差情報を、初期値を用いた場合に得られた誤差情報と比較し、その差が、所定値以上となるクラスを、誤差情報に対する影響の強いクラスとして検出すれば良い。

また、マッピング係数が、上述したｋ１，ｋ２，・・・のように複数で１セットとされている場合には、その中の誤差情報に対する影響の強いものだけを変更させるようにすることもできる。

さらに、上述の場合においては、マッピング係数を、クラスごとに設定するようにしたが、マッピング係数は、その他、例えば、ブロックごとに独立して設定したり、また、近接するブロック単位などで設定したりするようにすることが可能である。

但し、マッピング係数を、例えば、ブロックごとに独立して設定するようにした場合などにおいては、ある１つのクラスに対して、複数セットのマッピング係数が得られることがある（この逆に、マッピング係数が、１セットも得られないクラスが生じることもある）。マッピング係数は、最終的には、クラスごとに決める必要があるため、上述のように、あるクラスに対して、複数セットのマッピング係数が得られた場合には、複数セットのマッピング係数を対象に、何らかの処理を行うことで、１セットのマッピング係数を決める必要がある。

一方、ステップＳ８０において、誤差情報が閾値ε１より小さいと判定された場合、即ち、ローカルデコード部１２７において得られる予測値で構成される画像が、元の学習用画像と同一であると認められる場合、処理を終了する。

この時点で、マッピング係数メモリ１３１に記憶されている、クラスごとのマッピング係数が、もとの画像と同一と認められる復号画像（予測値）を復元することができる補正データを得るために最適なものとして、図２１のマッピング係数メモリ１１４にセットされている。

従って、このようなマッピング係数を用いて補正データを生成することで、受信装置４側においては、元の画像とほぼ同一の画像を得ることが可能となる。

なお、図２３の実施例においては、上述したように、ブロック化回路１２２において、画像が４画素にブロック化され、また、ＡＤＲＣ処理回路１２３において、１ビットのＡＤＲＣ処理が行われるので、クラス分類回路１２４によるクラス分類により得られるクラス数は４０９６であり、従って、４０９６セットのマッピング係数が得られる。

次に、図２５は、図２３のローカルデコード部１２７の構成例を示している。

演算回路１２６からの補正データは、クラス分類用ブロック化回路１４１および予測値計算用ブロック化回路１４２に供給されるようになされている。クラス分類用ブロック化回路１４１は、補正データを、その性質に応じて所定のクラスに分類するための単位であるクラス分類用ブロックにブロック化するようになされている。

なお、図２５のクラス分類用ブロック化回路１４１において得られるクラス分類用ブロックは、予測値を求めるブロックのクラスを決定するために構成されるものであり、この点で、補正データを算出するブロックのクラスを決定するために、図２１のブロック化回路１１１で生成されるものとは異なる。

予測値計算用ブロック化回路１４２は、補正データを、元の画像（ここでは、学習用画像）の予測値を計算するための単位である予測値計算用ブロックにブロック化するようになされている。

予測値計算用ブロック化回路１４２において得られた予測値計算用ブロックは、予測回路１４６に供給されるようになされている。

なお、予測値計算用ブロックについても、クラス分類用ブロックにおける場合と同様に、その画素数および形状は、上述したものに限定されるものではない。但し、ローカルデコード部１２７において、予測値計算用ブロックを構成する画素数は、クラス分類用ブロックを構成する画素数よりも多くするのが望ましい。

また、上述のようなブロック化を行う場合において（ブロック化以外の処理についても同様）、画像の画枠付近では、対応する画素が存在しないことがあるが、この場合には、例えば、画枠を構成する画素と同一の画素が、その外側に存在するものとして処理を行う。

ＡＤＲＣ処理回路１４３は、クラス分類用ブロック化回路１４１が出力するブロック（クラス分類用ブロック）を対象に、例えば、１ビットのＡＤＲＣ処理を施し、クラス分類回路１４４に供給するようになされている。クラス分類回路１４４は、ＡＤＲＣ処理回路１４３からのブロックをクラス分類し、その分類結果としてのクラス情報を、予測係数ＲＯＭ１４５に供給するようになされている。予測係数ＲＯＭ１４５は、予測係数を記憶しており、クラス分類回路１４４からクラス情報を受信すると、そのクラス情報に対応するアドレスに記憶されている予測係数を読み出し、予測回路１４６に供給するようになされている。なお、予測係数ＲＯＭ１４５に記憶されている予測係数は、後述する学習（予測係数学習）により得られたものである。

予測回路１４６は、予測値計算用ブロック化回路１４２からの予測値計算用ブロックと、予測係数ＲＯＭ１４５からの予測係数とを用いて、元の画像（学習用画像）の予測値を算出（予測）するようになされている。

次に、図２６のフローチャートを参照して、その動作について説明する。

ローカルデコード部１２７においては、まず最初に、ステップＳ９１において、演算回路１２６からの補正データが順次受信されてブロック化される。即ち、クラス分類用ブロック化回路１４１において、補正データが、４画素（図２のＸ₁乃至Ｘ₄）のクラス分類用ブロックにブロック化され、ＡＤＲＣ処理回路１４３に供給されるとともに、予測値計算用ブロック化回路１４２において、補正データが４画素の予測値計算用ブロックにブロック化され、予測回路１４６に供給される。

なお、クラス分類用ブロック化回路１４１と予測値計算用ブロック化回路１４２では、対応するクラス分類用ブロックと予測値計算用ブロックが生成される。

ＡＤＲＣ処理回路１４３は、クラス分類用ブロックを受信すると、ステップＳ９２において、そのクラス分類用ブロックに対して、例えば、１ビットのＡＤＲＣ（１ビットで再量子化を行うＡＤＲＣ）処理を施し、これにより、補正データを、１ビットに変換（符号化）して、クラス分類回路１４４に出力する。クラス分類回路１４４は、ステップＳ９３において、ＡＤＲＣ処理が施されたクラス分類用ブロックに対して、クラス分類処理を施し、そのクラス分類用ブロックが属するクラスを判定する。このクラスの判定結果は、クラス情報として、予測係数ＲＯＭ１４５に供給される。

なお、図２５の実施例においては、Ｒ，Ｇ，Ｂの各成分がそれぞれ１ビットのＡＤＲＣ処理が施された４画素で構成されるクラス分類用ブロックに対して、クラス分類処理が施されるので、各クラス分類用ブロックは、４０９６（＝２¹²）のクラスのうちのいずれかに分類されることになる。

そして、ステップＳ９４に進み、予測係数ＲＯＭ１４５の、クラス分類回路１４４からのクラス情報に対応するアドレスから予測係数が読み出され、ステップＳ９５において、予測回路１４６は、その予測係数と、予測値計算用ブロック化回路１４２からの予測値計算用ブロックを構成する４個の画素値とを用い、例えば、次のような線形１次式に従って、元の画像の画素値ｙの予測値Ｅ［ｙ］を算出する。

Ｅ［ｙ］＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・
但し、ｗ₁，ｗ₂，・・・は予測係数を表し、ｘ₁，ｘ₂，・・・は予測値計算用ブロックを構成する画素の画素値（補正データ）を表す。但し、ｘ₁，ｘ₂，・・・は、それぞれＲ，Ｇ，Ｂの成分を有し、ｗ₁，ｗ₂，・・・も、Ｒ，Ｇ，Ｂ用の係数で構成される。

ここで、図２５の実施例においては、上述したように、予測値計算用ブロックを構成する４画素から、１画素の予測値が算出されるようになされている。

即ち、例えば、いま、図２に示した補正データＸ₁乃至Ｘ₄でなるクラス分類用ブロックについてのクラス情報Ｃが、クラス分類回路１４４から出力され、また、予測値計算用ブロックとして、Ｘ₁乃至Ｘ₄でなる予測値計算用ブロックが、予測値計算用ブロック化回路１４２から出力されたものとする。

さらに、予測係数ＲＯＭ１４５には、クラス情報Ｃに対応するアドレスに、予測係数のセットとして、ｗ₁（Ｒ）乃至ｗ₁₂（Ｒ）、ｗ₁（Ｇ）乃至ｗ₁₂（Ｇ）、ｗ₁（Ｂ）乃至ｗ₁₂（Ｂ）が記憶されているものとすると、これにより、上述した場合と同様に、例えば各画素の各成分Ｙ_Ri，Ｙ_Gi，Ｙ_Biの予測値Ｅ［Ｙ_Ri］，Ｅ［Ｙ_Gi］，Ｅ［Ｙ_Bi］が算出される。

ステップＳ９４において、以上のようにして予測値が求められると、ステップＳ９１に戻り、以下、ステップＳ９１乃至Ｓ９４の処理が繰り返され、これにより、４画素単位で予測値が求められていく。

図２５の予測係数ＲＯＭ１４５に記憶されている予測係数を得るための学習（予測係数学習）を行う画像処理装置は、図２０に示した場合と同様の構成となる。そこで、この説明は省略する。

次に、図２７は、図２１のマッピング係数メモリ１１４に記憶されているマッピング係数を算出するための学習（マッピング係数学習）処理を行う画像処理装置の他の構成例を示している。

なお、図２３の画像処理装置によれば、関数ｆが、例えば、線形１次式で表される場合の他、非線形な式や、２次以上の式で表される場合も、最適な予測係数を求めることができるが、図２７の画像処理装置では、関数ｆが、線形１次式で表される場合にのみ、最適な予測係数を求めることができるようになされている。

即ち、図２７の画像処理装置は、図２１において、ブロック化回路１１１が出力するブロックを構成する４画素（図２のＸ₁，Ｘ₂，Ｘ₃，Ｘ₄）の画素値をｙ₁，ｙ₂，ｙ₃，ｙ₄（それぞれが、Ｒ，Ｇ，Ｂ成分を有する）とするとともに、マッピング係数メモリ１１４が出力するマッピング係数をｋ₁，ｋ₂，ｋ₃，ｋ₄（それぞれが、Ｒ，Ｇ，Ｂ成分を有する）とする場合において、演算回路１１６が、次式に従って関数値ｆ（ｙ₁，ｙ₂，・・・，ｋ₁，ｋ₂，・・・）を演算して補正データを求めるようになされているときに用いることができる。

ｆ（・）＝ｋ₁ｙ₁＋ｋ₂ｙ₂＋ｋ₃ｙ₃＋ｋ₄ｙ₄

最適補正データ算出部１７０には、学習に適した学習用画像が、例えば、１フレーム単位などで供給されるようになされている。最適補正データ算出部１７０は、圧縮部１７１、補正部１７２、ローカルデコード部１７３、誤差算出部１７４、および判定部１７５で構成され、そこに入力される学習用画像から、その画素数を少なくして圧縮した画像であって、元の画像を予測するのに最適な画像を構成する画素値（以下、適宜、最適補正データという）を算出し、ラッチ回路１７６に供給するようになされている。

即ち、最適補正データ算出部１７０に供給された学習用画像は、圧縮部１７１および誤差算出部１７４に供給されるようになされている。圧縮部１７１は、図２１の演算回路１１６が画素を間引く割合と同一の割合で、学習用画像を単純に間引き、即ち、本実施例においては、学習用画像を１／２に単純に間引き、これにより学習用画像を圧縮して補正部１７２に供給するようになされている。

補正部１７２は、圧縮部１７１から供給される、単純な間引きが行われて圧縮されたデータ（以下、適宜、圧縮データという）を、判定部１７５からの制御に従って補正するようになされている。補正部１７２における補正の結果得られるデータ（このデータも、図２１の演算回路１１６の出力と同様に、５画素のブロックの中心画素の画素値を補正したものであるので、以下、適宜、補正データという）は、ローカルデコード部１７３に供給するようになされている。

ローカルデコード部１７３は、図２３のローカルデコード部１２７における場合と同様にして、補正部１７２からの補正データに基づいて、元の画像（学習用画像）を予測し、その予測値を、誤差算出部１７４に供給するようになされている。

誤差算出部１７４は、図２３の誤差算出部１２８における場合と同様にして、そこに入力される、元の画像データに対する、ローカルデコード部１７３からの予測値の予測誤差を算出するようになされている。この予測誤差は、誤差情報として、判定部１７５に供給されるようになされている。

判定部１７５は、誤差算出部１７４からの誤差情報に基づいて、補正部１７２が出力した補正データを、元の画像の圧縮結果とすることの適正さを判定するようになされている。そして、判定部１７５は、補正部１７２が出力した補正データを、元の画像の圧縮結果とすることが適正でないと判定した場合には、補正部１７２を制御し、さらに、圧縮データを補正させ、その結果得られる新たな補正データを出力させるようになされている。また、判定部１７５は、補正部１７２が出力した補正データを、元の画像の圧縮結果とすることが適正であると判定した場合には、補正部１７２から供給された補正データを、最適補正データとして、ラッチ回路１７６に供給するようになされている。

ラッチ回路１７６は、メモリ１７６Ａを内蔵しており、そのメモリ１７６Ａに、補正部１７２から供給される最適補正データを記憶させるようになされている。さらに、ラッチ回路１７６は、メモリ１７６Ａに記憶された最適補正データのうち、ブロック化回路１７７のメモリ１７７Ａから読み出されるブロックの中心画素に対応するものを読み出し、メモリ１８０に供給するようになされている。なお、ラッチ回路１７６は、メモリ１７６Ａに、１フレーム分の補正データが記憶されると、その旨を示す制御信号を、ブロック化回路１７７に出力するようになされている。

ブロック化回路１７７には、最適補正データ算出部１７０と同様に、学習用画像が１フレーム単位で供給されるようになされている。ブロック化回路１７７は、メモリ１７７Ａを内蔵しており、そのメモリ１７７Ａに、そこに供給される学習用画像を記憶させるようになされている。また、ブロック化回路１７７は、ラッチ回路１７６から制御信号を受信すると、メモリ１７７Ａに記憶された学習用画像を、図２１のブロック化回路１１１における場合と同様に、５画素で構成されるブロックに分割し、そのブロックを順次読み出して、ＡＤＲＣ処理回路１７８およびメモリ１８０に供給するようになされている。

なお、ブロック化回路１７７は、その内蔵するメモリ１７７Ａからブロックを読み出すときに、そのブロックの位置を示す制御信号を、ラッチ回路１７６に供給するようになされている。ラッチ回路１７６では、この制御信号に基づいて、メモリ１７７Ａから読み出される５画素のブロックが認識され、上述したように、そのブロックの中心画素に対応する最適補正データが、メモリ１７６Ａから読み出されるようになされている。即ち、これにより、メモリ１８０に対しては、ある５画素のブロックと、そのブロックに対応する最適補正データとが同時に供給されるようになされている。

ＡＤＲＣ処理回路１７８またはクラス分類回路１７９は、図２１のＡＤＲＣ処理回路１１２またはクラス分類回路１１３とそれぞれ同様に構成されている。そして、クラス分類回路１７９が出力する、ブロック化回路１７７からのブロックについてのクラス情報は、メモリ１８０に対して、アドレスとして供給されるようになされている。

メモリ１８０は、クラス分類回路１７９から供給されるクラス情報に対応するアドレスに、ラッチ回路１７６から供給される最適補正データと、ブロック化回路１７７から供給されるブロックとを対応付けて記憶するようになされている。なお、メモリ１８０は、１つのアドレスに複数の情報を記憶することができるようになされており、これにより、あるクラス情報に対応する最適補正データおよびブロックを、複数セット記憶することができるようになされている。

演算回路１８１は、メモリ１８０に記憶された、学習用画像の５画素のブロックを構成する５画素ｙ₁，ｙ₂，ｙ₃，ｙ₄，ｙ₅と、そのブロックに対応付けられている最適補正データｙ’とを読み出し、これらに最小自乗法を適用することで、クラスごとに、マッピング係数ｋ₁乃至ｋ₅を求め、メモリ１８２に供給するようになされている。メモリ１８２は、演算回路１８１から供給されるクラスごとのマッピング係数ｋ₁乃至ｋ₅を、そのクラスに対応したアドレスに記憶するようになされている。

次に、図２８のフローチャートを参照して、その動作について説明する。

学習用画像が入力されると、その学習用画像は、ブロック化回路１７７のメモリ１７７Ａに記憶されるとともに、最適補正データ算出部１７０に供給される。最適補正データ算出部１７０は、学習用画像を受信すると、ステップＳ１０１において、その学習用画像についての最適補正データを算出する。

このステップＳ１０１の処理は、図７のフローチャートの処理と同様である。すなわち、まず、圧縮部１７１が、ステップＳ１において、学習用画像を、１／２に間引くことにより圧縮データを生成し、補正部１７２を介して、即ち、最初は、補正を行わずに、ローカルデコード部１７３に出力する。ローカルデコード部１７３では、ステップＳ２において、補正部１７２からの補正データ（最初は、上述したように、画像データを、単純に間引いた圧縮データそのもの）に基づいて、元の画像の予測値が算出される（ローカルデコードが行われる）。この予測値は、誤差算出部１７４に供給される。

誤差算出部１７４は、ローカルデコード部１７３から、元の画像の予測値を受信すると、ステップＳ３において、元の画像データに対する、ローカルデコード部１７３からの予測値の予測誤差を算出し、誤差情報として、判定部１７５に供給する。判定部１７５は、誤差算出部１７４から誤差情報を受信すると、ステップＳ４において、その誤差情報に基づいて、補正部１７２が出力した補正データを、元の画像の圧縮結果とすることの適正さを判定する。

即ち、ステップＳ４においては、誤差情報が所定の閾値ε以下であるかどうかが判定される。ステップＳ４において、誤差情報が所定の閾値ε以下でないと判定された場合、補正部１７２が出力した補正データを、元の画像の圧縮結果とするのは適正でないと認識され、ステップＳ５に進み、判定部１７５は、補正部１７２を制御し、これにより、圧縮部１７１から出力された圧縮データを補正させる。補正部１７２は、判定部１７５の制御に従って、補正量（補正値△）を変えて、圧縮データを補正し、その結果得られる補正データを、ローカルデコード部１７３に出力する。そして、ステップＳ２に戻り、以下、同様の処理が繰り返される。

なお、圧縮データの補正は、例えば、上述の図２３で説明した、マッピング係数の変更と同様にして行うことが可能である。

一方、ステップＳ４において、誤差情報が所定の閾値ε以下であると判定された場合、補正部１７２が出力した補正データを、元の画像の圧縮結果とするのは適正であると認識され、判定部１７５は、所定の閾値ε以下の誤差情報が得られたときの補正データを、最適補正データとして、補正部１７２からラッチ回路１７６に出力させ、その内蔵するメモリ１７６Ａに記憶させて、リターンする。

以上のようにして、誤差情報が所定の閾値ε以下となったときにおける、圧縮データを補正した補正データが、最適補正データとして、メモリ１７６Ａに記憶させる。なお、この最適補正データは、誤差情報を所定の閾値ε以下とするものであるから、これを用いて、予測値を算出することにより、元の画像（原画像）とほぼ同一の画像を得ることができる。

図２８に戻り、ラッチ回路１７６は、そのメモリ１７６Ａに、１フレーム分の最適補正データを記憶すると、制御信号を、ブロック化回路１７７に出力する。ブロック化回路１７７は、ラッチ回路１７６から制御信号を受信すると、ステップＳ１０２において、メモリ１７７Ａに記憶された学習用画像を、５画素で構成されるブロックに分割する。そして、ブロック化回路１７７は、メモリ１７７Ａに記憶された学習用画像のブロックを読み出して、ＡＤＲＣ処理回路１７８およびメモリ１８０に供給する。

また、同時に、ブロック化回路１７７は、メモリ１７７Ａからブロックを読み出すときに、そのブロックの位置を示す制御信号を、ラッチ回路１７６に供給し、ラッチ回路１７６は、その制御信号に対応して、メモリ１７７Ａから読み出された５画素のブロックを認識し、そのブロックの中心画素に対応する最適補正データを読み出して、メモリ１８０に供給する。

そして、ステップＳ１０３に進み、ＡＤＲＣ処理回路１７８において、ブロック化回路１７７からのブロックがＡＤＲＣ処理され、さらに、クラス分類回路１７９において、そのブロックがクラス分類される。このクラス分類結果は、アドレスとして、メモリ１８０に供給される。

メモリ１８０では、ステップＳ１０４において、クラス分類回路１７９から供給されるクラス情報に対応するアドレスに、ラッチ回路１７６から供給される最適補正データと、ブロック化回路１７７から供給されるブロック（学習データ）とが対応付けられて記憶される。

そして、ステップＳ１０５に進み、メモリ１８０に、１フレーム分のブロックおよび最適補正データが記憶されたかどうかが判定される。ステップＳ１０５において、メモリ１８０に、１フレーム分のブロックおよび最適補正データが、まだ記憶されていないと判定された場合、ブロック化回路１７７から次のブロックが読み出されるとともに、ラッチ回路１７６からそのブロックに対応する最適補正データが読み出され、ステップＳ１０３に戻り、以下、ステップＳ１０３以降の処理を繰り返す。

また、ステップＳ１０５において、メモリ１８０に、１フレーム分のブロックおよび最適補正データが記憶されたと判定された場合、ステップＳ１０６に進み、学習用画像すべてについて処理が終了したかどうかが判定される。ステップＳ１０６において、学習用画像すべてについての処理が、まだ終了していないと判定された場合、ステップＳ１０１に戻り、次の学習用画像について、ステップＳ１０１からの処理が繰り返される。

一方、ステップＳ１０６において、学習用画像すべてについての処理が終了したと判定された場合、ステップＳ１０７に進み、演算回路１８１は、メモリ１８０に記憶された最適補正データとブロックとを、クラスごとに読み出し、これらにより、式（７）に示したような正規方程式をたてる。さらに、演算回路１８１は、ステップＳ１０８において、その正規方程式を解くことで、誤差を最小にする、クラスごとのマッピング係数を算出する。このマッピング係数は、ステップＳ１０９において、メモリ１２に供給されて記憶され、処理を終了する。

関数ｆが、線形１次式で表される場合においては、以上のようにしてメモリ１８２に記憶されたマッピング係数を、図２１のマッピング係数メモリ１１４に記憶させ、これを用いて画像の符号化を行うことができる。

なお、クラスによっては、マッピング係数を求めることができるだけの数の正規方程式が得られない場合がある。このような場合は、図２１の演算回路１１６において、ブロック化回路１１１から出力されるブロックを構成する５画素の、例えば平均値などが出力されるようなマッピング係数、即ち、ｋ₁乃至ｋ₅＝１／５などが、デフォルトの値として設定される。

次に、図２９は、図２１の送信装置に対応する受信装置４の構成例を示している。

受信機／再生装置１９１においては、記録媒体２に記録された符号化データが再生され、または伝送路３を介して伝送されてくる符号化データが受信され、デコード部１９２に供給される。

デコード部１９２は、図２５に示したローカルデコード部１２７におけるクラス分類用ブロック化回路１４１乃至予測回路１４６にそれぞれ対応するクラス分類用ブロック化回路１９３乃至予測回路１９８で構成されており、従って、デコード部１９２では、図２５のローカルデコード部１２７における場合と同様にして、補正データから予測値が求められ、この予測値で構成される画像が復号画像として出力される。

補正データは、誤差情報を所定の閾値以下とするものであり、従って、受信装置４においては、元の画像とほぼ同一の画像を得ることができる。

なお、受信側においては、図２９に示すような受信装置４でなくても、間引きされた画像を補間により復号する装置により、通常の補間を行うことで復号画像を得ることができる。但し、この場合に得られる復号画像は、画質（解像度）の劣化したものとなる。

以上においては、Ｒ，Ｇ，Ｂのコンポーネント成分を用いて画素データを表現するようにしたが、コンポーネント信号としては、この他、それぞれ次の式で表される輝度信号Ｙ、色信号Ｉ、および色信号Ｑの組み合わせ、輝度信号Ｙ、色差信号Ｒ−Ｙ、および色差信号Ｂ−Ｙの組み合わせ、または、主に印刷の分野において用いられているＣ（シアン）、Ｍ（マゼンダ）、Ｙ（イエロー）、さらに必要に応じて加えられるＫ（ブラック）の組み合わせを用いることができる。

Ｉ＝０．６０Ｒ−０．２８Ｇ−０．３２Ｂ
Ｑ＝０．２１Ｒ−０．５２Ｇ＋０．３１Ｂ

Ｒ−Ｙ＝ ０．７Ｒ−０．５９Ｇ−０．１１Ｂ
Ｂ−Ｙ＝−０．３Ｒ−０．５９Ｇ＋０．８９Ｂ

Ｃ＝２５５−Ｒ
Ｍ＝２５５−Ｇ
Ｙ＝２５５−Ｂ
但し、Ｃ，Ｍ，Ｒは、Ｒ，Ｇ，Ｂをそれぞれ８ビットとする加法混色で表現されている。

本発明の画像処理装置を応用したシステムの構成例を示すブロック図である。 図１のサブサンプリング回路の動作を説明する図である。 図１の実施例における画素データを説明する図である。 図１のＲＯＭ２１８の記憶内容を生成する装置の構成例を示すブロック図である。 図１の送信装置１の他の構成例を示すブロック図である。 図５の送信装置１の機能的構成例を示すブロック図である。 図６の送信装置１の動作を説明するためのフローチャートである。 図６の圧縮部２１の構成例を示すブロック図である。 図８の圧縮部２１の動作を説明するためのフローチャートである。 図６のローカルデコード部２２の構成例を示すブロック図である。 クラス分類処理を説明するための図である。 ＡＤＲＣ処理を説明するための図である。 図１０のローカルデコード部２２の動作を説明するためのフローチャートである。 図６の誤差算出部２３の構成例を示すブロック図である。 図１４の誤差算出部２３の動作を説明するためのフローチャートである。 図６の判定部２４の構成例を示すブロック図である。 図１６の判定部２４の動作を説明するためのフローチャートである。 図１の受信装置４のさらに他の構成例を示すブロック図である。 図６のローカルデコード部２２の他の構成例を示すブロック図である。 図１９の予測係数ＲＯＭ８１に記憶されている予測係数を算出する画像処理装置の一実施例の構成を示すブロック図である。 図１の送信装置１の他の構成例を示すブロック図である。 図２１の送信装置の動作を説明するためのフローチャートである。 マッピング係数を得るための学習を行う画像処理装置の第１実施例の構成を示すブロック図である。 図２３の画像処理装置の動作を説明するためのフローチャートである。 図２３のローカルデコード部１２７の構成例を示すブロック図である。 図２５のローカルデコード部１２７の処理を説明するためのフローチャートである。 マッピング係数を得るための学習を行う画像処理装置の第２実施例の構成を示すブロック図である。 図２７の画像処理装置の動作を説明するためのフローチャートである。 図１の受信装置４の他の構成例を示すブロック図である。

符号の説明

１ 送信装置， ２ 記録媒体， ３ 伝送路， ４ 受信装置， １１ Ｉ／Ｆ， １２ ＲＯＭ， １３ ＲＡＭ， １４ ＣＰＵ， １５ 外部記憶装置， １６ 送信機／記録装置， ２１ 圧縮部， ２２ ローカルデコード部， ２３ 誤差算出部， ２４ 判定部， ２５ 多重化部， ３１ 間引き回路， ３２ 補正回路， ３３ 補正値ＲＯＭ， ４１ クラス分類用ブロック化回路， ４２ 予測値計算用ブロック化回路， ４３ クラス分類適応処理回路， ４４ ＡＤＲＣ処理回路， ４５ クラス分類回路， ４６ 適応処理回路， ５１ ブロック化回路， ５２ 自乗誤差算出回路， ５３，５４ 演算器， ５５ 積算部， ５６ メモリ， ６１ 予測係数メモリ， ６２ 補正データメモリ， ６３ 誤差情報メモリ， ６４ 比較回路， ６５ 制御回路， ７１ 受信機／再生装置， ７２ 分離部， ７３ クラス分類用ブロック化回路， ７４ ＡＤＲＣ処理回路， ７５ クラス分類回路， ７６ 予測回路， ７７ 予測値計算用ブロック化回路， ８１ 予測係数ＲＯＭ， ８２ 予測回路， ９１ 学習用ブロック化回路， ９２ 教師用ブロック化回路， ９３ ＡＤＲＣ処理回路， ９４ クラス分類回路， ９５ スイッチ， ９６ 学習データメモリ， ９７ カウンタ， ９８ 教師データメモリ， ９９ 演算回路， １００ メモリ

Claims (2)

1. 画素データを表現するために組み合わされる複数のコンポーネント信号のうち、少なくとも第１と第２のコンポーネント信号により構成されている画素データからなる空間解像度の低い第１の画像から、空間解像度のより高い第２の画像を生成する画像処理装置であって、前記第１の画像の第１の画素データを取得する取得手段と、前記第１の画素データを構成する前記コンポーネント信号のうちの、前記第２の画像の第２の画素データの近傍に位置する前記第１の画像の複数の前記第１の画素データを構成する少なくとも第１のコンポーネント信号および第２のコンポーネント信号と、予め学習によって得られた予測係数との線形結合により、前記第２の画像の第２の画素データを構成する第１のコンポーネント信号を予測する予測手段とを備える学習装置において、
   前記第２の画素データを構成する前記コンポーネント信号と、その第２の画素データの近傍に位置する複数の前記第１の画素データそれぞれを構成する複数の前記コンポーネント信号および予測係数を用いて予測された前記第２の画素データを構成する前記コンポーネント信号の予測値との誤差を最小にする前記予測係数を求めるための演算を行う演算手段
   を備えることを特徴とする学習装置。
2. 画素データを表現するために組み合わされる複数のコンポーネント信号のうち、少なくとも第１と第２のコンポーネント信号により構成されている画素データからなる空間解像度の低い第１の画像から、空間解像度のより高い第２の画像を生成する画像処理装置であって、前記第１の画像の第１の画素データを取得する取得手段と、前記第１の画素データを構成する前記コンポーネント信号のうちの、前記第２の画像の第２の画素データの近傍に位置する前記第１の画像の複数の前記第１の画素データを構成する少なくとも第１のコンポーネント信号および第２のコンポーネント信号と、予め学習によって得られた予測係数との線形結合により、前記第２の画像の第２の画素データを構成する第１のコンポーネント信号を予測する予測手段とを備える学習方法において、
   前記第２の画素データを構成する前記コンポーネント信号と、その第２の画素データの近傍に位置する複数の前記第１の画素データそれぞれを構成する複数の前記コンポーネント信号および予測係数を用いて予測された前記第２の画素データを構成する前記コンポーネント信号の予測値との誤差を最小にする前記予測係数を求めるための演算を行う演算ステップ
   を備えることを特徴とする学習方法。

Images