JP3844031B2

JP3844031B2 - Image coding apparatus and image coding method, and image decoding apparatus and image decoding method

Info

Publication number: JP3844031B2
Application number: JP36016597A
Authority: JP
Inventors: 哲二郎近藤; 健治高橋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1996-12-26
Filing date: 1997-12-26
Publication date: 2006-11-08
Anticipated expiration: 2017-12-26
Also published as: JPH10243406A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像符号化装置および画像符号化方法、並びに、画像復号装置および画像復号方法に関する。特に、原画像とほぼ同一の復号画像が得られるように、画像を間引いて圧縮符号化する画像符号化装置および画像符号化方法、並びに、画像復号装置および画像復号方法に関する。
【０００２】
【従来の技術】
例えば、標準解像度または低解像度の画像（以下、適宜、ＳＤ画像という）を、高解像度の画像（以下、適宜、ＨＤ画像という）に変換したり、また、画像を拡大したりする場合においては、いわゆる補間フィルタなどによって、不足している画素の画素値の補間（補償）が行われるようになされている。
【０００３】
しかしながら、補間フィルタによって画素の補間を行っても、ＳＤ画像に含まれていない、ＨＤ画像の成分（高周波成分）を復元することはできないため、高解像度の画像を得ることは困難であった。
【０００４】
そこで、本件出願人は、ＳＤ画像を、そこに含まれていない高周波成分をも含むＨＤ画像に変換する画像変換装置（画像変換回路）を先に提案している。
【０００５】
この画像変換装置においては、ＳＤ画像と、所定の予測係数との線形結合により、ＨＤ画像の画素の予測値を求める適応処理を行うことで、ＳＤ画像には含まれていない高周波成分が復元されるようになされている。
【０００６】
即ち、例えば、いま、ＨＤ画像を構成する画素（以下、適宜、ＨＤ画素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかのＳＤ画素（ＳＤ画像を構成する画素）の画素値（以下、適宜、学習データという）ｘ₁，ｘ₂，・・・と、所定の予測係数ｗ₁，ｗ₂，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０００７】

【０００８】
そこで、一般化するために、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【数１】

で定義すると、次のような観測方程式が成立する。
【０００９】

【００１０】
そして、この観測方程式に最小自乗法を適用して、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなるＨＤ画素の真の画素値ｙの集合でなる行列Ｙ、およびＨＤ画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】

で定義すると、式（２）から、次のような残差方程式が成立する。
【００１１】

【００１２】
この場合、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗ_iは、自乗誤差
【数３】

を最小にすることで求めることができる。
【００１３】
従って、上述の自乗誤差を予測係数ｗ_iで微分したものが０になる場合、即ち、次式を満たす予測係数ｗ_iが、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００１４】
【数４】

【００１５】
そこで、まず、式（３）を、予測係数ｗ_iで微分することにより、次式が成立する。
【００１６】
【数５】

【００１７】
式（４）および（５）より、式（６）が得られる。
【００１８】
【数６】

【００１９】
さらに、式（３）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００２０】
【数７】

【００２１】
式（７）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで（但し、式（７）を解くには、式（７）において、予測係数ｗにかかる係数で構成される行列が正則である必要がある）、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。
【００２２】
以上のようにして、最適な予測係数ｗのセットを求め、さらに、その予測係数ｗのセットを用い、式（１）により、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である（但し、あらかじめ予測係数ｗのセットを求めておき、その予測係数ｗのセットから、予測値を求めるのも、適応処理に含まれるものとする）。
【００２３】
なお、適応処理は、ＳＤ画像には含まれていない、ＨＤ画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いて、いわば学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。即ち、容易に、高解像度の画像を得ることができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。
【００２４】
図２５は、画像の特徴（クラス）に基づいて以上のような適応処理により、ＳＤ画像をＨＤ画像に変換する画像変換装置の構成例を示している。
【００２５】
ＳＤ画像は、クラス分類回路１０１および遅延回路１０２に供給されるようになされており、クラス分類回路１０１では、ＳＤ画像を構成するＳＤ画素が順次、注目画素とされ、その注目画素が、所定のクラスにクラス分類される。
【００２６】
即ち、クラス分類回路１０１は、まず最初に、注目画素の周辺にあるＳＤ画素を幾つか集めてブロックを構成し（以下、適宜、処理ブロックという）、その処理ブロックを構成する、例えばすべてのＳＤ画素の画素値のパターンにあらかじめ割り当てられた値を、注目画素のクラスとして、係数ＲＯＭ１０４のアドレス端子（ＡＤ）に供給する。
【００２７】
具体的には、クラス分類回路１０１は、例えば、図２６に点線の四角形で囲んで示すように、注目画素を中心とする５×５のＳＤ画素（同図において○印で示す）でなる処理ブロックを、ＳＤ画像から抽出し、これらの２５のＳＤ画素の画素値のパターンに対応する値を、注目画素のクラスとして出力する。
【００２８】
ここで、各ＳＤ画素の画素値を表すのに、例えば、８ビットなどの多くのビット数が割り当てられている場合、２５のＳＤ画素の画素値のパターン数は、（２⁸）²⁵通りという莫大な数となり、その後の処理の迅速化が困難となる。
【００２９】
そこで、クラス分類を行う前の前処理として、処理ブロックには、それを構成するＳＤ画素のビット数を低減するための処理である、例えばＡＤＲＣ（Adaptiv Dynamic Range Coding）処理などが施される。
【００３０】
即ち、ＡＤＲＣ処理では、まず、処理ブロックを構成する２５のＳＤ画素から、その画素値の最大のもの（以下、適宜、最大画素という）と最小のもの（以下、適宜、最小画素という）とが検出される。そして、最大画素の画素値ＭＡＸと最小画素の画素値ＭＩＮとの差分ＤＲ（＝ＭＡＸ−ＭＩＮ）が演算され、このＤＲを処理ブロックの局所的なダイナミックレンジとする。このダイナミックレンジＤＲに基づいて、処理ブロックを構成する各画素値が、元の割当ビット数より少ないＫビットに再量子化される。つまり、処理ブロックを構成する各画素値から最小画素の画素値ＭＩＮが減算され、各減算値が、ＤＲ／２^Kで除算される。
【００３１】
その結果、処理ブロックを構成する各画素値はＫビットで表現されるようになる。従って、例えばＫ＝１とした場合、２５のＳＤ画素の画素値のパターン数は、（２¹）²⁵通りになり、ＡＤＲＣ処理を行わない場合に比較して、パターン数を非常に少ないものとすることができる。なお、画素値を、このようにＫビットにするＡＤＲＣ処理を、以下、適宜、ＫビットＡＤＲＣ処理という。
【００３２】
係数ＲＯＭ１０４は、あらかじめ学習が行われることにより求められた予測係数のセットを、クラスごとに記憶しており、クラス分類回路１０１からクラスが供給されると、そのクラスに対応するアドレスに記憶されている予測係数のセットを読み出し、予測演算回路１０５に供給する。
【００３３】
一方、遅延回路１０２では、予測演算回路１０５に対して、係数ＲＯＭ１０４から予測係数のセットが供給されるタイミングと、後述する予測タップ生成回路１０３から予測タップが供給されるタイミングとを一致させるために必要な時間だけ、ＳＤ画像が遅延され、予測タップ生成回路１０３に供給される。
【００３４】
予測タップ生成回路１０３では、そこに供給されるＳＤ画像から、予測演算回路１０５において所定のＨＤ画素の予測値を求めるのに用いるＳＤ画素が抽出され、これが予測タップとして、予測演算回路１０５に供給される。即ち、予測タップ生成回路１０３では、ＳＤ画像から、例えば、クラス分類回路１０１で抽出されたとの同一の処理ブロックが抽出され、その処理ブロックを構成するＳＤ画素が、予測タップとして、予測演算回路１０５に供給される。
【００３５】
予測演算回路１０５では、係数ＲＯＭ１０４からの予測係数ｗ，ｗ₂，・・・と、予測タップ生成回路１０３からの予測タップｘ₁，ｘ₂，・・・とを用いて、式（１）に示した演算、即ち、適応処理が行われることにより、注目画素ｙの予測値Ｅ［ｙ］が求められ、これが、ＨＤ画素の画素値として出力される。
【００３６】
即ち、ここでは、例えば、図２６において実線の四角形で囲む、注目画素を中心とする３×３のＨＤ画素（同図において・点で示す）の予測値が、１つの予測タップから求められるようになされており、この場合、予測演算回路１０５では、この９個のＨＤ画素について、式（１）の演算が行われる。従って、係数ＲＯＭ１０４では、１のクラスに対応するアドレスに、９セットの予測係数のセットが記憶されている。
【００３７】
以下同様の処理が、その他のＳＤ画素を注目画素として行われ、これにより、ＳＤ画像がＨＤ画像に変換される。
【００３８】
次に、図２７は、図２５の係数ＲＯＭ１０４に記憶させるクラス毎の予測係数のセットを算出する学習処理を行う学習装置の構成例を示している。
【００３９】
学習における教師データｙとなるべきＨＤ画像が、間引き回路１１１および遅延回路１１４に供給されるようになされており、間引き回路１１１では、ＨＤ画像が、例えば、その画素数が間引かれることにより少なくされ、これによりＳＤ画像とされる。このＳＤ画像は、クラス分類回路１１２および予測タップ生成回路１１３に供給される。
【００４０】
クラス分類回路１１２または予測タップ生成回路１１３では、図２５のクラス分類回路１０１または予測タップ生成回路１０３における場合と同様の処理が行われ、これにより注目画素のクラスまたは予測タップがそれぞれ出力される。クラス分類回路１１２が出力するクラスは、予測タップメモリ１１５および教師データメモリ１１６のアドレス端子（ＡＤ）に供給され、予測タップ生成回路１１３が出力する予測タップは、予測タップメモリ１１５に供給される。
【００４１】
予測タップメモリ１１５では、クラス分類回路１１２から供給されるクラスに対応するアドレスに、予測タップ生成回路１１３から供給される予測タップが記憶される。
【００４２】
一方、遅延回路１１４では、注目画素に対応するクラスが、クラス分類回路１１２から教師データメモリ１１６に供給される時間だけ、ＨＤ画像が遅延され、そのうちの、予測タップに対して図２６に示した位置関係にあるＨＤ画素の画素値だけが、教師データとして、教師データメモリ１１６に供給される。
【００４３】
そして、教師データメモリ１１６では、クラス分類回路１１２から供給されるクラスに対応するアドレスに、遅延回路１１４から供給される教師データが記憶される。
【００４４】
以下同様の処理が、あらかじめ学習用に用意されたすべてのＨＤ画像から得られるＳＤ画像を構成するすべてのＳＤ画素が注目画素とされるまで繰り返される。
【００４５】
以上のようにして、予測タップメモリ１１５または教師データメモリ１１６の同一のアドレスには、図２６において○印で示したＳＤ画素または図２６において・印で示したＨＤ画素とそれぞれ同一の位置関係にあるＳＤ画素またはＨＤ画素が、学習データｘまたは教師データｙとして記憶される。
【００４６】
なお、予測タップメモリ１１５と教師データメモリ１１６においては、同一アドレスに複数の情報を記憶することができるようになされており、これにより、同一アドレスには、同一のクラスに分類される複数の学習データｘと教師データｙを記憶することができるようになされている。
【００４７】
その後、演算回路１１７は、予測タップメモリ１１５または教師データメモリ１１６から、同一アドレスに記憶されている学習データとしての予測タップまたは教師データとしてのＨＤ画素の画素値を読み出し、それらを用いて、最小自乗法によって、予測値と教師データとの間の誤差を最小にする予測係数のセットを算出する。即ち、演算回路１１７では、クラス毎に、式（７）に示した正規方程式がたてられ、これを解くことによりクラス毎の予測係数のセットが求められる。
【００４８】
以上のようにして、演算回路１１７で求められたクラス毎の予測係数のセットが、図２５の係数ＲＯＭ１０４における、そのクラスに対応するアドレスに記憶されている。
【００４９】
なお、以上のような学習処理において、予測係数のセットを求めるのに必要な数の正規方程式が得られないクラスが生じる場合があるが、そのようなクラスについては、例えば、クラスを無視して正規方程式をたてて解くことにより得られる予測係数のセットなどが、いわばデフォルトの予測係数のセットとして用いられる。
【００５０】
ところで、図２５の画像変換装置によれば、ＨＤ画像の画素数を間引くなどして少なくすることにより得られるＳＤ画像から、上述したように、そこに含まれていない高周波成分をも含むＨＤ画像を得ることができるが、元のＨＤ画像に近づけるのには限界がある。その理由として、ＨＤ画像の画素数を間引いただけのＳＤ画像の画素（ＳＤ画素）の画素値が、元のＨＤ画像を復元するのに、最適ではないことが考えられる。
【００５１】
そこで、本件出願人は、元のＨＤ画像により近い画質の復号画像を得ることができるようにするため、適応処理を利用した画像の圧縮（符号化）について先に提案している（例えば、特願平８−２０６５５２号など）。
【００５２】
即ち、図２８は、適応処理によって、元のＨＤ画像により近い復号画像を得ることができるように、そのＨＤ画像を、最適なＳＤ画像に圧縮（符号化）する画像符号化装置の構成例を示している。
【００５３】
符号化対象のＨＤ画像は、間引き部１２１および誤差算出部４３に供給される。
【００５４】
間引き部１２１では、ＨＤ画像が、例えば、単純に間引かれることによりＳＤ画像とされ、補正部４１に供給される。補正部４１は、間引き部１２１からＳＤ画像を受信すると、最初は、そのＳＤ画像を、そのままローカルデコード部１２２に出力する。ローカルデコード部１２２は、例えば、図２５に示した画像変換装置と同様に構成され、補正部４１からのＳＤ画像を用いて、上述したような適応処理を行うことにより、ＨＤ画素の予測値を算出し、誤差算出部４３に出力する。誤差算出部４３は、ローカルデコード部１２２からのＨＤ画素の予測値の、元のＨＤ画素に対する予測誤差（誤差情報）を算出し、制御部４４に出力する。制御部４４は、誤差算出部４３からの予測誤差に対応して、補正部４１を制御する。
【００５５】
即ち、これにより、補正部４１は、間引き部１２１からのＳＤ画像の画素値を、制御部４４からの制御に従って補正し、ローカルデコード部１２２に出力する。ローカルデコード部１２２では、補正部４１から供給される補正後のＳＤ画像を用いて、再び、ＨＤ画像の予測値が求められる。
【００５６】
以下、例えば、誤差算出部４３が出力する予測誤差が、所定値以下となるまで、同様の処理が繰り返される。
【００５７】
そして、誤差算出部４３が出力する予測誤差が、所定値以下となると、制御部４４は、補正部４１を制御し、これにより、予測誤差が所定値以下となったときの、補正後のＳＤ画像を、ＨＤ画像の最適な符号化結果として出力させる。
【００５８】
従って、この補正後のＳＤ画像によれば、それに適応処理を施すことにより、予測誤差が所定値以下のＨＤ画像を得ることができる。
【００５９】
ここで、以上のようにして、図２８の画像符号化装置から出力されるＳＤ画像は、元のＨＤ画像により近い復号画像を得るのに最適なものということができるから、この画像符号化装置の補正部４１、ローカルデコード部１２２、誤差算出部４３、および制御部４４で構成される系が行う処理は、最適化処理ということができる。
【００６０】
【発明が解決しようとする課題】
ところで、適応処理は、いわば、ＨＤ画素の周辺のＳＤ画素で予測タップを構成し、その予測タップを用いて、ＨＤ画素の予測値を求めるものであるが、予測タップとして用いられるＳＤ画素は、画像とは無関係に選択されるようになされていた。
【００６１】
即ち、図２５の画像変換装置の予測タップ生成回路１０３や、この画像変換装置と同様に構成される図２８のローカルデコード部１２２では、常に、一定パターンの予測タップが生成（形成）されるようになされていた。
【００６２】
しかしながら、画像は、局所的に特性が異なる場合が多く、従って、特性が異なれば、それに対応した予測タップを用いて適応処理をした方が、元のＨＤ画像の画質により近い復号画像を得ることができると考えられる。
【００６３】
本発明は、このような状況に鑑みてなされたものであり、より画質の向上した復号画像を得ることができるようにするものである。
【００６４】
【課題を解決するための手段】
請求項１に記載の画像符号化装置は、原画像信号の画素数より少ない画素数の圧縮画像信号を発生する圧縮手段と、圧縮画像信号を構成する画素のうちの１つを注目画素として、原画像信号を予測するために用いる注目画素および注目画素の近傍の画素からなる複数パターンの予測タップを形成する第１の形成手段と、複数パターンの予測タップそれぞれと、所定の予測係数とから、原画像信号を予測し、複数パターンの予測タップそれぞれに対する予測値を出力する第１の予測手段と、複数パターンの予測タップそれぞれに対する予測値の、原画像信号に対する予測誤差を算出する第１の算出手段と、複数パターンの予測タップのうち、最小の予測誤差が得られる予測タップに対応するパターンコードを、注目画素の画素値の一部と置き換えることにより注目画素の画素値に付加する付加手段とを備えることを特徴とする。
【００６５】
請求項１３に記載の画像符号化方法は、原画像信号の画素数より少ない画素数の圧縮画像信号を発生する圧縮ステップと、圧縮画像信号を構成する画素のうちの１つを注目画素として、原画像信号を予測するために用いる注目画素および注目画素の近傍の画素からなる複数パターンの予測タップを形成する第１の形成ステップと、複数パターンの予測タップそれぞれと、所定の予測係数とから、原画像信号を予測し、複数パターンの予測タップそれぞれに対する予測値を出力する第１の予測ステップと、複数パターンの予測タップそれぞれに対する予測値の、原画像信号に対する予測誤差を算出する第１の算出ステップと、複数パターンの予測タップのうち、最小の予測誤差が得られる予測タップに対応するパターンコードを、注目画素の画素値の一部と置き換えることにより注目画素の画素値に付加する付加ステップとを備えることを特徴とする。
【００６６】
請求項２５に記載の画像復号装置は、符号化データから、圧縮画像信号と予測係数とを分離する分離手段と、符号化データに含まれる圧縮画像信号を構成する画素のうちの１つを注目画素として、その注目画素の画素値に付加されているパターンコードに対応するパターンの予測タップを、注目画素の近傍の画素を用いて形成する形成手段と、形成手段により形成された予測タップと、予測係数とから、原画像信号を予測し、その予測値を求める予測手段とを備えることを特徴とする。
【００６７】
請求項３１に記載の画像復号方法は、符号化データから、圧縮画像信号と予測係数とを分離する分離ステップと、符号化データに含まれる圧縮画像信号を構成する画素のうちの１つを注目画素として、その注目画素の画素値に付加されているパターンコードに対応するパターンの予測タップを、注目画素の近傍の画素を用いて形成する形成ステップと、形成ステップにより形成された予測タップと、予測係数とから、原画像信号を予測し、その予測値を求める予測ステップとを備えることを特徴とする。
【００６９】
請求項１に記載の画像符号化装置においては、圧縮手段は、原画像信号の画素数より少ない画素数の圧縮画像信号を発生し、第１の形成手段は、圧縮画像信号を構成する画素のうちの１つを注目画素として、原画像信号を予測するために用いる注目画素および注目画素の近傍の画素からなる複数パターンの予測タップを形成し、第１の予測手段は、複数パターンの予測タップそれぞれと、所定の予測係数とから、原画像信号を予測し、複数パターンの予測タップそれぞれに対する予測値を出力するようになされている。第１の算出手段は、複数パターンの予測タップそれぞれに対する予測値の、原画像信号に対する予測誤差を算出し、付加手段は、複数パターンの予測タップのうち、最小の予測誤差が得られる予測タップに対応するパターンコードを、注目画素の画素値の一部と置き換えることにより注目画素の画素値に付加するようになされている。
【００７０】
請求項１３に記載の画像符号化方法においては、原画像信号の画素数より少ない画素数の圧縮画像信号を発生し、圧縮画像信号を構成する画素のうちの１つを注目画素として、原画像信号を予測するために用いる注目画素および注目画素の近傍の画素からなる複数パターンの予測タップを形成し、複数パターンの予測タップそれぞれと、所定の予測係数とから、原画像信号を予測し、複数パターンの予測タップそれぞれに対する予測値を出力し、複数パターンの予測タップそれぞれに対する予測値の、原画像信号に対する予測誤差を算出し、複数パターンの予測タップのうち、最小の予測誤差が得られる予測タップに対応するパターンコードを、注目画素の画素値の一部と置き換えることにより注目画素の画素値に付加するようになされている。
【００７１】
請求項２５に記載の画像復号装置においては、分離手段は、符号化データから、圧縮画像信号と予測係数とを分離し、形成手段は、符号化データに含まれる圧縮画像信号を構成する画素のうちの１つを注目画素として、その注目画素の画素値に付加されているパターンコードに対応するパターンの予測タップを、注目画素の近傍の画素を用いて形成し、予測手段は、形成手段により形成された予測タップと、予測係数とから、原画像信号を予測し、その予測値を求めるようになされている。
【００７２】
請求項３１に記載の画像復号方法においては、符号化データから、圧縮画像信号と予測係数とを分離し、符号化データに含まれる圧縮画像信号を構成する画素のうちの１つを注目画素として、その注目画素の画素値に付加されているパターンコードに対応するパターンの予測タップを、注目画素の近傍の画素を用いて形成し、その予測タップと、予測係数とから、原画像信号を予測し、その予測値を求めるようになされている。
【００７４】
【発明の実施の形態】
以下に、本発明の実施の形態を説明するが、その前に、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態（但し、一例）を付加して、本発明の特徴を記述すると、次のようになる。
【００７５】
即ち、請求項１に記載の画像符号化装置は、画像信号を符号化する画像符号化装置であって、原画像信号の画素数より少ない画素数の圧縮画像信号を発生する圧縮手段（例えば、図５に示す間引き回路３１など）と、圧縮画像信号を構成する画素のうちの１つを注目画素として、原画像信号を予測するために用いる注目画素および注目画素の近傍の画素からなる複数パターンの予測タップを形成する第１の形成手段（例えば、図５に示す予測タップ生成回路３２や、図２２に示す予測タップ生成回路６１など）と、複数パターンの予測タップそれぞれと、所定の予測係数とから、原画像信号を予測し、複数パターンの予測タップそれぞれに対する予測値を出力する第１の予測手段（例えば、図５に示すクラス分類適応処理回路３３や、図２２に示すクラス分類適応処理回路６２など）と、複数パターンの予測タップそれぞれに対する予測値の、原画像信号に対する予測誤差を算出する第１の算出手段（例えば、図５に示す予測誤差算出回路３４や、図２２に示す予測誤差算出回路６３など）と、複数パターンの予測タップのうち、最小の予測誤差が得られる予測タップに対応するパターンコードを、注目画素の画素値の一部と置き換えることにより注目画素の画素値に付加する付加手段（例えば、図５に示すタップパターンコード付加回路３６や、図２２に示すタップパターンコード変更回路６４など）とを備えることを特徴とする。
【００７６】
請求項３に記載の画像符号化装置は、第１の予測手段が、予測誤差が最小となる予測係数を求める演算手段（例えば、図１１に示す演算回路８７など）を有することを特徴とする。
【００７７】
請求項４に記載の画像符号化装置は、第１の予測手段が、注目画素を、所定のクラスに分類するクラス分類手段（例えば、図１１に示すクラス分類回路８２など）をさらに有し、注目画素のクラスに対応する予測係数と、予測タップとから、予測値を求め、演算手段が、原画像信号および圧縮画像信号に基づいて、予測係数を、クラスごとに求めることを特徴とする。
【００７８】
請求項７に記載の画像符号化装置は、変換後の信号と予測係数により予測される予測値の、原画像信号に対する予測誤差が最小となる信号に圧縮画像信号を変換する最適化手段（例えば、図３に示す最適化部２３など）をさらに備えることを特徴とする。
【００７９】
請求項８に記載の画像符号化装置は、最適化手段が、注目画素の画素値に付加されたパターンコードに対応するパターンの予測タップを形成する第２の形成手段（例えば、図１６に示す予測タップ生成回路４２Ａなど）と、第２の形成手段により形成された予測タップと、予測係数とから、原画像信号を予測し、その予測値を出力する第２の予測手段（例えば、図１６に示すクラス分類適応処理回路４２Ｂなど）と、第２の予測手段により求められた予測値の、原画像信号に対する予測誤差を算出する第２の算出手段（例えば、図１６に示す誤差算出回路４３など）と、第２の算出手段により算出された予測誤差より予測誤差が小さくなるように画素値を所定の値だけ増加または減少させることにより、注目画素の画素値を補正する補正手段（例えば、図１６に示す補正部４１など）とを有することを特徴とする。
【００８０】
請求項１０に記載の画像符号化装置は、最適化処理を行うごとに得られる圧縮画像信号と、原画像信号とに基づいて、第２の予測手段により求められる予測値の、原画像信号に対する予測誤差が最小となる係数に予測係数を修正する修正手段（例えば、図３に示す適応処理部２４など）をさらに備え、第１および第２の予測手段が、修正手段により修正され予測係数を用いて、予測値を求めることを特徴とする。
【００８１】
請求項１１に記載の画像符号化装置は、最適化手段が出力する圧縮画像信号と、修正手段が出力する予測係数とを出力する出力手段（例えば、図３に示す多重化部２７など）をさらに備えることを特徴とする。
【００８２】
請求項１２に記載の画像符号化装置は、パターンコードが付加された圧縮画像信号と、予測係数とを出力する出力手段（例えば、図３に示す多重化部２７など）をさらに備えることを特徴とする。
【００８３】
請求項２５に記載の画像復号装置は、原画像信号の画素数より少ない画素数の圧縮画像信号を発生し、圧縮画像信号を構成する画素のうちの１つを注目画素として、原画像信号を予測するために用いる注目画素および注目画素の近傍の画素からなる複数パターンの予測タップを形成し、複数パターンの予測タップそれぞれと、所定の予測係数とから、原画像信号を予測し、複数パターンの予測タップそれぞれに対する予測値を出力し、複数パターンの予測タップそれぞれに対する予測値の、原画像信号に対する予測誤差を算出し、複数パターンの予測タップのうち、最小の予測誤差が得られる予測タップに対応するパターンコードを、注目画素の画素値の一部と置き換えることにより注目画素の画素値に付加することにより得られる圧縮画像信号および予測係数を含む符号化データを復号する画像復号装置であって、符号化データから、圧縮画像信号と予測係数とを分離する分離手段（例えば、図２４に示す分離部７２など）と、符号化データに含まれる圧縮画像信号を構成する画素のうちの１つを注目画素として、その注目画素の画素値に付加されているパターンコードに対応するパターンの予測タップを、注目画素の近傍の画素を用いて形成する形成手段（例えば、図２４に示す予測タップ生成回路７３など）と、形成手段により形成された予測タップと、予測係数とから、原画像信号を予測し、その予測値を求める予測手段（例えば、図２４に示すクラス分類適応処理回路７４など）とを備えることを特徴とする。
【００８４】
請求項２８に記載の画像復号装置は、予測手段が、注目画素を、所定のクラスに分類するクラス分類手段（例えば、図１７に示すクラス分類回路９１など）を有し、注目画素のクラスに対応する予測係数と、予測タップとから、予測値を求め、予測係数が、符号化データを符号化するときに、原画像信号および圧縮画像信号に基づいて、クラスごとに求められたものであることを特徴とする。
【００８６】
なお、勿論この記載は、各手段を上記したものに限定することを意味するものではない。
【００８７】
図１は、本発明を適用した画像処理装置の一実施の形態の構成を示している。送信装置１には、ディジタル化されたＨＤ画像の画像データが供給されるようになされている。送信装置１は、入力された画像データを間引くこと（その画素数を少なくすること）により圧縮、符号化し、その結果得られるＳＤ画像の画像データを、ＨＤ画像の符号化データとして、例えば、光ディスクや、光磁気ディスク、磁気テープその他でなる記録媒体２に記録し、または、例えば、地上波や、衛星回線、電話回線、ＣＡＴＶ網、その他の伝送路３を介して伝送する。
【００８８】
受信装置４では、記録媒体２に記録された符号化データが再生され、または、伝送路３を介して伝送されてくる符号化データが受信され、その符号化データを伸張、復号し、その結果得られるＨＤ画像の復号画像を、図示せぬディスプレイに供給して表示させる。
【００８９】
なお、以上のような画像処理装置は、例えば、光ディスク装置や、光磁気ディスク装置、磁気テープ装置その他の、画像の記録／再生を行う装置や、あるいはまた、例えば、テレビ電話装置や、テレビジョン放送システム、ＣＡＴＶシステムその他の、画像の伝送を行う装置などに適用される。また、後述するように、送信装置１が出力する符号化データのデータ量が少ないため、図１の画像処理装置は、伝送レートの低い、例えば、携帯電話機その他の、移動に便利な携帯端末などにも適用可能である。
【００９０】
図２は、送信装置１の構成例を示している。
【００９１】
Ｉ／Ｆ（InterFace）１１は、外部から供給されるＨＤ画像の画像データの受信処理と、送信機／記録装置１６に対しての、符号化データの送信処理を行うようになされている。ＲＯＭ（Read Only Memory）１２は、ＩＰＬ（Initial Program Loading）用のプログラムその他を記憶している。ＲＡＭ（Random Access Memory）１３は、外部記憶装置１５に記録されているシステムプログラム（ＯＳ（Operating System））やアプリケーションプログラムを記憶したり、また、ＣＰＵ（Central Processing Unit）１４の動作上必要なデータを記憶するようになされている。ＣＰＵ１４は、ＲＯＭ１２に記憶されているＩＰＬプログラムにしたがい、外部記憶装置１５からシステムプログラムおよびアプリケーションプログラムを、ＲＡＭ１３に展開し、そのシステムプログラムの制御の下、アプリケーションプログラムを実行することで、Ｉ／Ｆ１１から供給される画像データについての、後述するような符号化処理を行うようになされている。外部記憶装置１５は、例えば、磁気ディスク装置などでなり、上述したように、ＣＰＵ１４が実行するシステムプログラムやアプリケーションプログラムを記憶している他、ＣＰＵ１４の動作上必要なデータも記憶している。送信機／記録装置１６は、Ｉ／Ｆ１１から供給される符号化データを、記録媒体２に記録し、または伝送路３を介して伝送するようになされている。
【００９２】
なお、Ｉ／Ｆ１１，ＲＯＭ１２，ＲＡＭ１３，ＣＰＵ１４、および外部記憶装置１５は、相互にバスを介して接続されている。また、図２において、送信装置１はＣＰＵを用いた構成であるが、ハードロジックで構成することも可能である。
【００９３】
以上のように構成される送信装置１においては、Ｉ／Ｆ１１にＨＤ画像の画像データが供給されると、その画像データは、ＣＰＵ１４に供給される。ＣＰＵ１４は、画像データを符号化し、その結果得られる符号化データとしてのＳＤ画像を、Ｉ／Ｆ１１に供給する。Ｉ／Ｆ１１は、符号化データを受信すると、それを、送信機／記録装置１６に供給する。送信機／記録装置１６では、Ｉ／Ｆ１１からの符号化データが、記録媒体２に記録され、または伝送路３を介して伝送される。
【００９４】
図３は、図２の送信装置１の、送信機／記録装置１６を除く部分の機能的なブロック図である。
【００９５】
符号化すべき画像データとしてのＨＤ画像は、前処理部２１、最適化部２３、適応処理部２４、および予測タップパターン判定部２６に供給されるようになされている。
【００９６】
前処理部２１は、そこに供給されるＨＤ画像に対して、後述するような前処理を、例えば、１フレーム（または１フィールド）単位で施し、その結果得られるＳＤ画像または複数パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットを、スイッチ２２または２５の端子ａにそれぞれ供給するようになされている。スイッチ２２の端子ａまたはｂには、前処理部２１または予測タップパターン判定部２６が出力するＳＤ画像が、それぞれ供給されるようになされている。スイッチ２２は、前処理部２１において、あるＨＤ画像に前処理が施され、これによりＳＤ画像が出力されるときだけ、端子ａを選択し、それ以外のときは、端子ｂを選択し、前処理部２１または予測タップパターン判定部２６が出力するＳＤ画像を、最適化部２３に供給するようになされている。
【００９７】
最適化部２３は、スイッチ２２から供給されるＳＤ画像に対して、前述の図２８で説明した最適化処理を施し、その結果得られる最適ＳＤ画像を、適応処理部２５、予測タップパターン判定部２６、および多重化化部２７に供給するようになされている。適応処理部２４は、最適化部２３からの最適ＳＤ画像と、元のＨＤ画像とを用いて適応処理を行うことによって、最適ＳＤ画像の画素値との線形結合により求められるＨＤ画像の予測値の予測誤差を小さくするクラス毎の予測係数ｗのセットを複数パターンの予測タップ毎に算出し、スイッチ２５の端子ｂに出力するようになされている。
【００９８】
スイッチ２５は、前処理部２１において、あるＨＤ画像に前処理が施され、これにより複数パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットが出力されるときだけ、端子ａを選択し、それ以外のときは、端子ｂを選択し、前処理部２１または適応処理部２４が出力する複数パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットを、最適化部２３、予測タップパターン判定部２６、および多重化部２７に供給するようになされている。
【００９９】
予測タップパターン判定部２６は、最適化部２３から供給される最適ＳＤ画像から、複数パターンの予測タップを形成し、その複数パターンの予測タップそれぞれを用いて適応処理を行うことで、複数のＨＤ画像の予測値を求めるようになされている。さらに、予測タップパターン判定部２６は、複数パターンの予測タップのうち、複数のＨＤ画像の予測値の予測誤差を最小にするものを判定し、その判定結果に対応して、最適化部２３からの最適ＳＤ画像の画素値に、後述するパターンコードを付加して、スイッチ２２の端子ｂに供給するようになされている。
【０１００】
多重化部２７は、所定の場合に、最適化部２３から供給される最適ＳＤ画像と、スイッチ２５を介して供給される複数パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットとを多重化し、その多重化結果を、符号化データとして、送信機／記録装置１６（図２）に出力するようになされている。
【０１０１】
次に、図４のフローチャートを参照して、その動作について説明する。
【０１０２】
符号化すべきＨＤ画像が、前処理部２１、最適化部２３、適応処理部２４、および予測タップパターン判定部２６に供給されると、前処理部２１では、ステップＳ１において、ＨＤ画像に前処理が施される。
【０１０３】
即ち、前処理部２１は、ＨＤ画像の画素数を少なくして圧縮することによりＳＤ画像を構成し、そのＳＤ画像を構成するＳＤ画素それぞれを順次注目画素として、各注目画素に対して、複数パターンの予測タップを形成する。さらに、前処理部２１は、その複数パターンの予測タップそれぞれについて、式（７）に示した正規方程式をたてて解くことにより、クラス毎の予測係数ｗのセットを求める。そして、前処理部２１は、複数パターンの予測タップと、それぞれについて求めたクラス毎の予測係数ｗのセットの所定のクラスの予測係数のセットとを用いて、式（１）に示した線形１次式を計算することにより、複数パターンの予測タップそれぞれから得られる複数のＨＤ画像の予測値を求める。さらに、前処理部２１は、複数パターンの予測タップのうち、複数のＨＤ画像の予測値の予測誤差を最も小さくするものを検出し、その予測タップのパターンにあらかじめ対応付けられている、例えば、２ビットのコードであるタップパターンコードを、注目画素となっているＳＤ画素に付加して出力する。
【０１０４】
以上のようにして、タップパターンコードが付加されたＳＤ画像は、スイッチ２２の端子ａに、また、正規方程式を解くことにより得られた複数パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットは、スイッチ２５の端子ａに、それぞれ出力される。
【０１０５】
スイッチ２２および２５は、上述したように、前処理部２１からＳＤ画像および複数パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットが出力されるタイミングでは、いずれも端子ａを選択しており、従って、前処理部２１が出力するＳＤ画像は、スイッチ２２を介して、最適化部２３に供給され、また、前処理部２１が出力する複数パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットは、スイッチ２５を介して、最適化部２３および予測タップパターン判定部２６に出力される。
【０１０６】
最適化部２３は、ＳＤ画像および複数パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットを受信すると、ステップＳ２において、それらを用いて最適化処理を行う。即ち、最適化部２３は、ＳＤ画像および複数パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットを用いて適応処理を行い、その結果得られるＨＤ画像の予測値の予測誤差が小さくなるように、ＳＤ画像の画素値を補正する。そして、その結果得られる最適ＳＤ画像を、適応処理部２４および予測タップパターン判定部２６に供給する。
【０１０７】
適応処理部２４は、最適化部２３から最適ＳＤ画像を受信すると、ステップＳ３において、適応処理を行うことにより、最適ＳＤ画像を用いて得られるＨＤ画像の予測値の予測誤差を小さくする複数パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットを算出する。即ち、適応処理部２４は、最適ＳＤ画像を構成するＳＤ画素それぞれを順次注目画素として、各注目画素に対して予測タップを形成する。なお、このとき、予測タップは、注目画素に付加されているタップパターンコードに対応するパターンのものが形成される。そして、適応処理部２４は、複数パターンの予測タップ毎に、予測タップから正規方程式をたて、それを解くことにより、複数パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットを求める。この複数パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットは、スイッチ２５の端子ｂに供給される。
【０１０８】
以上の処理後、ステップＳ４に進み、スイッチ２２および２５が、いずれも、端子ａからｂに切り換えられ、これにより、適応処理部２４において求められた複数パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットが、スイッチ２５を介して、最適化部２３および予測タップパターン判定部２６に供給されるようになる。
【０１０９】
そして、予測タップパターン判定部２６は、最適化部２３から最適ＳＤ画像を受信し、さらに、適応処理部２４から複数パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットを受信すると、ステップＳ５において、その最適ＳＤ画像を構成する各ＳＤ画素を注目画素として形成される予測タップの最適なパターンが決定される。
【０１１０】
即ち、予測タップパターン判定部２６は、最適ＳＤ画像を構成するＳＤ画素それぞれを順次注目画素として、各注目画素に対して、複数パターンの予測タップを形成する。さらに、予測タップパターン判定部２６は、その複数パターンの予測タップそれぞれについて、適応処理部２４からのその予測タップに対応するクラス毎の予測係数ｗのセットのうち、所定のクラスの予測係数のセットを用いて、式（１）に示した線形１次式を計算することにより、複数パターンの予測タップそれぞれから得られる複数のＨＤ画像の予測値を求める。そして、予測タップパターン判定部２６は、複数パターンの予測タップそれぞれを用いて得られる複数のＨＤ画像の予測値の予測誤差のうちの最も小さいものに対応するパターンの予測タップを検出し、その予測タップに対応するタップパターンコードに、注目画素となっているＳＤ画素に既に付加されているタップパターンコードを変更する。即ち、いまの場合、ＳＤ画素には、既にタップパターンコードが付加されているので、それに代えて、予測誤差を最も小さくする予測タップのタップパターンコードが付加される。
【０１１１】
以上のようにして、タップパターンコードが変更されたＳＤ画像は、スイッチ２２の端子ｂに出力される。
【０１１２】
スイッチ２２は、ステップＳ４で切り換えられ、端子ｂを選択しているので、予測タップパターン判定部２６が出力するＳＤ画像は、スイッチ２２を介して、最適化部２３に供給される。最適化部２３では、ステップＳ６において、ステップＳ２における場合と同様に、最適化処理が行われ、これにより、最適ＳＤ画像が出力される。なお、この場合、最適化部２３では、ステップＳ２で説明したように適応処理が行われるが、この適応処理は、スイッチ２５を介して、適応処理部２４から供給される複数パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットを用いて行われる。
【０１１３】
最適化部２３から出力される最適ＳＤ画像は、適応処理部２４および予測タップパターン判定部２６に供給され、適応処理部２４では、ステップＳ７において、ステップＳ３における場合と同様に、最適化部２３が出力する最適ＳＤ画像を用いて適応処理が行われることにより、複数パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットが求められ、スイッチ２５を介して、最適化部２３および予測タップパターン判定部２６に出力される。
【０１１４】
その後、ステップＳ８に進み、ステップＳ５乃至Ｓ８の処理を所定の規定回数だけ行ったかどうかが判定される。ステップＳ８において、ステップＳ５乃至Ｓ８の処理を、所定の規定回数だけ、まだ行っていないと判定された場合、ステップＳ５に戻り、上述の処理を繰り返す。また、ステップＳ８において、ステップＳ５乃至Ｓ８の処理を、所定の規定回数だけ行ったと判定された場合、ステップＳ９に進み、多重化部２７は、前回のステップＳ６の処理において、最適化部２３が出力した最適ＳＤ画像と、そのとき用いられた複数パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットとを多重化し、符号化データとして出力して、処理を終了する。
【０１１５】
以上の処理が、例えば、１フレーム単位などで繰り返される。
【０１１６】
なお、上述の場合、ステップＳ８において、ステップＳ５乃至Ｓ８の処理を所定の規定回数だけ行ったかどうかを判定するようにしたが、その他、ステップＳ８では、例えば、その時点で最適化部２３から出力された最適ＳＤ画像を用いて適応処理を行うことにより得られるＨＤ画像の予測値の予測誤差の、１フレーム分の絶対値和などが、所定の閾値以下であるかどうかを判定し、閾値以下である場合には、ステップＳ９に進み、閾値以下でない場合には、ステップＳ５に戻るようにすることも可能である。即ち、ステップＳ５乃至Ｓ８の処理は、最適ＳＤ画像を用いて適応処理を行うことにより得られるＨＤ画像の予測値の予測誤差の、１フレーム分の絶対値和が、所定の閾値以下となるまで繰り返すようにすることが可能である。
【０１１７】
次に、図５は、図３の前処理部２１の構成例を示している。
【０１１８】
符号化すべきＨＤ画像は、間引き回路３１、クラス分類適応処理回路３３、および予測誤差算出回路３４に供給されるようになされている。
【０１１９】
間引き回路３１は、ＨＤ画像の画素数を、例えば、間引くことにより少なくし、ＳＤ画像を構成して、予測タップ生成回路３２およびタップパターンコード付加回路３６に供給するようになされている。即ち、間引き回路３１は、例えば、ＨＤ画像を、横×縦が３×３画素の９画素でなる正方形状のブロックに分割し、各ブロックの９画素の平均値を、その中心の画素の画素値として、ＳＤ画像を構成するようになされている。これにより、間引き回路３１では、例えば、図６に・印で示すＨＤ画素からなるＨＤ画像から、同図に○印で示すＳＤ画素からなるＳＤ画像が構成される。
【０１２０】
なお、間引き回路３１には、その他、例えば、上述のブロックの中心の画素だけを抽出させて、ＳＤ画像を構成させるようにすることなども可能である。
【０１２１】
予測タップ生成回路３２は、間引き回路３１からのＳＤ画像を構成する各ＳＤ画素（図６において、○印で示した部分）を、順次注目画素として、各注目画素について、複数パターンの予測タップを構成するようになされている。即ち、本実施の形態では、例えば、図７乃至図１０にそれぞれ示すように、注目画素を中心とする３×３画素、５×３画素、３×５画素、または７×５画素の４パターンの予測タップが形成されるようになされている。これらの４パターンの予測タップは、クラス分類適応処理回路３３に供給されるようになされている。
【０１２２】
クラス分類適応処理回路３３は、予測タップ生成回路３２から供給される４パターンの予測タップそれぞれについて、クラス分類を行い、さらに、各クラスについて、ＨＤ画像を用いて式（７）に示した正規方程式をたてて解くことにより、４パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットを求めるようになされている。また、クラス分類適応処理回路３３は、求めた４パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットのうち、所定のクラスの予測係数ｗのそれぞれと、４パターンの予測タップそれぞれとから、式（１）に示した線形１次式を演算することにより、４パターンの予測タップそれぞれから得られる複数のＨＤ画像の予測値を求め、予測誤差算出回路３４に出力するようにもなされている。
【０１２３】
なお、クラス分類適応処理回路３３において、４パターンの予測タップそれぞれについて求められたクラス毎の予測係数ｗのセットは、メモリ３５に供給されるようになされている。
【０１２４】
また、本実施の形態では、クラス分類適応処理回路３３において、４パターンの予測タップのそれぞれについて、正規方程式は、予測タップのパターンとは無関係に、例えば、図６に点線で囲んで示すように、注目画素となっているＳＤ画素を中心とする３×３のＨＤ画素の予測値を求めるようにたてられるようになされている。従って、クラス分類適応処理回路３３では、３×３のＨＤ画素の予測値を生成するための４パターンの予測タップのそれぞれについてのクラス毎の予測係数のセットが求められる。このクラス分類適応処理回路３３の詳細な構成については後述する。
【０１２５】
予測誤差算出回路３４は、各注目画素について、４パターンの予測タップそれぞれから得られたＨＤ画像の予測値の、元のＨＤ画像の画素値に対する予測誤差を求めるようになされている。つまり、４パターンの予測タップのそれぞれについて、例えば、ＨＤ画素の９画素の予測値と元のＨＤ画像の９画素の画素値との差分の自乗和が演算される。そして、予測誤差算出回路３４は、４パターンの予測タップのうち、予測誤差（差分の自乗和）が最も小さいものを検出する。さらに、予測誤差算出回路３４は、予測誤差が最も小さい予測タップのパターンに対応する２ビットのタップパターンコードを、メモリ３５およびタップパターンコード付加回路３６に出力するようになされている。
【０１２６】
メモリ３５は、クラス分類適応処理回路３３から供給される、４パターンの予測タップそれぞれについて求められたクラス毎の予測係数ｗのセットを一時記憶するようになされている。そして、メモリ３５は、例えば、１フレーム（または１フィールド）のＨＤ画像の処理が終了する（つまり、すべてのＳＤ画素にタップパターンコードが付加される）と、４パターンの予測タップのそれぞれについて求められたクラス毎の予測係数ｗのセットを読み出し、スイッチ２５の端子ａに出力するようになされている。
【０１２７】
タップパターンコード付加回路３６は、そこに供給されるＳＤ画像に対して、予測誤差算出回路３４から供給されるタップパターンコードを付加するようになされている。即ち、タップパターンコード付加回路３６は、注目画素となっているＳＤ画素の画素値（例えば、８ビットなどで構成される）のＬＳＢ（Least Significant Bit）側の２ビットを削除し、そこに、２ビットのタップパターンコードを配置するようになされている。タップパターンコード付加回路３６においてタップパターンコードの付加されたＳＤ画像は、スイッチ２２の端子ａに出力されるようになされている。
【０１２８】
ここで、クラス分類適応処理回路３３の構成について説明する。クラス分類適応処理回路３３は、４パターンの予測タップのそれぞれに対して処理を施す、クラス分類適応処理回路（予測係数、予測値算出）を有している。すなわち、クラス分類適応処理回路３３は、４パターンの予測タップそれぞれのための独立した４つのクラス分類適応処理回路（予測係数、予測値算出）を有している。図１１及び図１２は、そのうちの１つのクラス分類適応処理回路（予測係数、予測値算出）を示している。なお、４つのクラス分類適応処理回路（予測係数、予測値算出）は、異なる４つの予測タップが供給される他は、同様の構成であるので、１つのクラス分類適応処理回路（予測係数、予測値算出）を説明して、その他は省略する。
【０１２９】
図１１及び図１２に示されるクラス分類適応処理回路（予測係数、予測値算出）は、クラス分類回路８２、遅延回路８４、予測タップメモリ８５、教師データメモリ８６、演算回路８７及び遅延回路８８（図１１）、並びにクラス分類回路９１、係数ＲＡＭ９４及び予測演算回路９５（図１２）から構成されている。
【０１３０】
図１１に示されるクラス分類適応処理回路（予測係数、予測値算出）の一部を構成する、遅延回路８８を除く、クラス分類回路８２、遅延回路８４、予測タップメモリ８５、教師データメモリ８６、または演算回路８７は、図２７に示される学習装置のクラス分類回路１１２、遅延回路１１４、予測タップメモリ１１５、教師データメモリ１１６、または演算回路１１７と、それぞれ同様に構成されている。ただし、予測タップが予測タップ生成回路３２から供給されるため、図２７に示される予測タップ生成回路１１３の代わりに遅延回路８８が設けられており、予測タップ生成回路３２からの予測タップは遅延回路８８に供給されるようになされている。そして、遅延回路８８では、遅延回路８４と同様に、注目画素に対するクラスが、クラス分類回路８２から予測タップメモリ８５に供給される時間だけ、予測タップが遅延され、予測タップメモリ８５に供給されて記憶されるようになされている。
【０１３１】
また、図１２に示されるクラス分類適応処理回路（予測係数、予測値算出）の他の一部を構成する、係数ＲＡＭ９４を除くクラス分類回路９１または予測演算回路９５は、図２５に示されるクラス分類回路１０１または予測演算回路１０５と、それぞれ同様に構成されている。係数ＲＡＭ９４は、図１１の演算回路８７が出力するクラス毎の予測係数のセットを記憶するようになされている。
【０１３２】
以上のように構成されるクラス分類適応処理回路（予測係数、予測値算出）では、１フレームのＨＤ画素に対するデータが、図２７における場合と、ほぼ同様にして、予測タップメモリ８５及び教師データメモリ８６に記憶され、クラス毎の予測係数のセットが生成される。この生成されたクラス毎の予測係数のセットが、図１２の係数ＲＡＭ９４に供給されて記憶されるとともに、図５の前処理部２１のメモリ３５に供給されて記憶される。なお、上述したように、４パターンの予測タップのそれぞれについてのクラス毎の予測係数のセットが独立の回路で生成されるため、４パターンの予測タップのそれぞれについてのクラス毎の予測係数のセットが図１２の係数ＲＡＭ９４に供給されて記憶されるとともに、図５の前処理部２１のメモリ３５に供給されて記憶される。
【０１３３】
図１２に示されるクラス分類適応処理回路（予測係数、予測値算出）の一部を構成するクラス分類回路９１、係数ＲＡＭ９４及び予測演算回路９５では、係数ＲＡＭ９４にクラス毎の予測係数のセットが記憶されると、図２５の画像変換装置のクラス分類回路１０１、係数ＲＡＭ１０４、または予測演算回路１０５と、それぞれ同一の処理が行われ、これによりＨＤ画像の予測値が求められる。即ち、４パターンの予測タップのそれぞれについてのクラス毎の予測係数のセットが図１２の係数ＲＡＭ９４に記憶されると、クラス分類回路９１において、クラス分類が行われ、クラス情報が係数ＲＡＭ９４に供給される。係数ＲＡＭ９４は、供給されたクラス情報に対応する予測係数のセットを出力して、予測演算回路９５に供給する。予測演算回路９５は、供給された予測タップと予測係数のセットとから式（１）に示した線形一次式を演算することにより、複数のＨＤ画像の予測値を求める。
【０１３４】
なお、クラス分類回路８２とクラス分類回路９１は、同一の構成であるため、いずれか一方を設けるだけでもよい。
【０１３５】
次に、図１３のフローチャートを参照して、前処理部２１の処理について説明する。
【０１３６】
前処理部２１に、符号化すべきＨＤ画像が入力されると、そのＨＤ画像は、間引き回路３１、クラス分類適応処理回路３３、および予測誤差算出回路３４に供給される。間引き回路３１は、ＨＤ画像を受信すると、ステップＳ１１において、その画素数を間引き、ＳＤ画像を構成する。
【０１３７】
即ち、ステップＳ１１では、図１４のフローチャートに示すように、まず最初に、ステップＳ２１において、ＨＤ画像が、例えば、３×３画素のＨＤ画像のブロックに分割され、ステップＳ２２に進む。
【０１３８】
なお、本実施の形態において、ＨＤ画像は、例えば、輝度信号Ｙと、色差信号Ｕ，Ｖとから構成され、ステップＳ２１では、輝度信号のブロックと色差信号のブロックとが構成されるようになされている。
【０１３９】
ステップＳ２２では、いずれかのブロックが注目ブロックとされ、その注目ブロックを構成する３×３のＨＤ画素の画素値の平均値が計算される。さらに、ステップＳ２２では、その平均値が、注目ブロックの中心の画素（ＳＤ画素）の画素値とされ、ステップＳ２３に進む。
【０１４０】
ステップＳ２３では、注目ブロックが輝度信号のブロックであるかどうかが判定される。ステップＳ２３において、注目ブロックが輝度信号のブロックであると判定された場合、ステップＳ２４に進み、ＳＤ画素としての注目ブロックの中心の画素の画素値（ここでは、輝度信号）のＬＳＢ側の２ビットが、タップパターンコードを付加するために、例えば０にクリアされ、ステップＳ２５に進む。また、ステップＳ２３において、注目ブロックが輝度信号のブロックでないと判定された場合、即ち、注目ブロックが色差信号のブロックである場合、ステップＳ２４をスキップして、ステップＳ２５に進む。
【０１４１】
ここで、本実施の形態では、輝度信号についてのみ、複数パターンの予測タップが用意されており、色差信号については、固定パターンの予測タップが用いられるようになされている。従って、タップパターンコードが付加されるのは、輝度信号についてのみで、色差信号については、タップパターンコードは付加されないため、そのＬＳＢ側の２ビットをクリアすることは行われないようになされている。
【０１４２】
ステップＳ２５では、ステップＳ２１で構成されたブロックすべてを、注目ブロックとして処理したかどうかが判定され、まだ、すべてのブロックを、注目ブロックとして処理していないと判定された場合、ステップＳ２２に戻り、まだ注目ブロックとしていないブロックを、新たに注目ブロックとして、同様の処理を繰り返す。また、ステップＳ２５において、すべてのブロックを、注目ブロックとして処理したと判定された場合、即ち、ＳＤ画像が構成された場合、リターンする。
【０１４３】
図１３に戻り、ステップＳ１１において、以上のようにして構成されたＳＤ画像は、間引き回路３１から予測タップ生成回路３２およびタップパターンコード付加回路３６に供給される。予測タップ生成回路３２は、間引き回路３１からＳＤ画像を受信すると、ステップＳ１２において、それを構成するＳＤ画素を、順次注目画素として、各注目画素について、図７乃至図１０に示した４パターンの予測タップを形成（生成）し、クラス分類適応処理回路３３に供給する。
【０１４４】
なお、上述したように、４パターンの予測タップが形成されるのは輝度信号についてのみで、色差信号については、例えば、図１０に示したような、７×５画素の予測タップだけが、常時形成される。
【０１４５】
クラス分類適応処理回路３３は、ステップＳ１３において、まず、予測タップ生成回路３２から供給される４パターンの予測タップ（輝度信号の場合）それぞれについて、図１１および図１２に示したように構成される、それぞれのクラス分類適応処理回路（予測係数、予測値算出）でクラス分類を行う。
【０１４６】
ここで、本実施の形態では、クラス分類回路８２および９１（図１１および図１２）において、４パターンの予測タップそれぞれについて、例えば、次のようなクラス分類用のタップ（以下、適宜、クラスタップという）が構成され、クラス分類が行われるようになされている。
【０１４７】
即ち、輝度信号については、４パターンの予測タップのいずれに関しても、例えば、図１５（Ａ）に点線で囲んで示すように、注目画素を中心とする、ひし形状の範囲の５のＳＤ画素によって、クラスタップが構成される。そして、この５画素の画素値のうちの最大値と最小値との差をダイナミックレンジＤＲとし、このダイナミックレンジＤＲを用いて、クラスタップのうちの、縦に並ぶ３画素（図１５（Ａ）において実線で囲む３画素）が１ビットＡＤＲＣ処理される。そして、その３画素の画素値のパターンに、予測タップに対応するタップコードを付加したものが、注目画素のクラスとされる。従って、この場合、クラスタップのうちの、縦に並ぶ３画素を１ビットＡＤＲＣ処理して得られる画素値のパターンは３ビットで表現され、また、タップコードは２ビットであるから、輝度信号は、３２（＝２⁵）クラスのうちのいずれかにクラス分類される。
【０１４８】
一方、色差信号については、例えば、図１５（Ｂ）に点線で囲んで示すように、注目画素を中心とする、正方形状の範囲の９のＳＤ画素によって、クラスタップが構成される。そして、この９画素の画素値のうちの最大値と最小値との差をダイナミックレンジＤＲとし、このダイナミックレンジＤＲを用いて、クラスタップのうちの、注目画素を中心とするひし形状の範囲の５のＳＤ画素（図１５（Ｂ）において実線で囲む５画素）が１ビットＡＤＲＣ処理される。そして、その５画素の画素値のパターンが、注目画素のクラスとされる。従って、この場合、クラスタップのうちの、注目画素を中心とする５画素を１ビットＡＤＲＣ処理して得られる画素値のパターンは５ビットで表現されるから、色差信号も、輝度信号と同様に、３２（＝２⁵）クラスのうちのいずれかにクラス分類される。
【０１４９】
クラス分類適応処理回路３３では、以上のようにして、注目画素のクラスが決定されていき、これにより、予測タップメモリ８５または教師データメモリ８６（図１１）の各アドレスに、対応するクラスの予測タップまたはＨＤ画素（教師データ）が記憶される。そして、演算回路８７（図１１）において、４パターンの予測タップのそれぞれについて、各クラスごとに、予測タップメモリ８５または教師データメモリ８６にそれぞれ記憶された予測タップまたはＨＤ画像（教師データ）を用いて、式（７）の正規方程式がたてられ、それを解くことにより、４パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットが求められる。４パターンの予測タップそれぞれを用いて得られた、４パターンの予測タップのそれぞれについての各クラス毎の予測係数ｗのセットは、いずれもメモリ３５および係数ＲＡＭ９４に供給されて記憶される。
【０１５０】
その後、クラス分類適応処理回路３３は、ステップＳ１４において、４パターンの予測タップを用いて得られた４パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットそれぞれと、４パターンの予測タップそれぞれとから、式（１）に示した線形１次式を演算することにより、４パターンの予測タップそれぞれから得られるＨＤ画像の予測値を求め、予測誤差算出回路３４に出力する。
【０１５１】
即ち、ステップＳ１４では、間引き回路３１が出力するＳＤ画像を構成するＳＤ画素のうちの１つを注目画素として、予測タップ生成回路３２で生成された予測タップについて、クラス分類回路９１（図１２）が出力するクラスに対応するアドレスに記憶された予測係数ｗのセットが、係数ＲＡＭ９４（図１２）から読み出される。そして、予測演算回路９５（図１２）において、係数ＲＡＭ９４からの予測係数ｗのセットと、注目画素についての予測タップとを用いて、式（１）の線形１次式が演算されることにより、図６で説明した注目画素の周辺にある９個のＨＤ画素の予測値が求められ、予測誤差算出回路３４に供給される。
【０１５２】
なお、クラス分類適応処理回路３３においては、予測値が、４つの予測タップそれぞれについて求められる。
【０１５３】
予測誤差算出回路３４は、ステップＳ１５において、クラス分類適応処理回路３３から供給される、４パターンの予測タップそれぞれについてのＨＤ画像の予測値の、元のＨＤ画像の画素値に対する予測誤差を求める。つまり、例えば、４パターンの予測タップのそれぞれについて、ＨＤ画素の９画素の予測値と元のＨＤ画素の画素値との差分の自乗和を、予測誤差として求める。そして、ステップＳ１６に進み、注目画素について、予測誤差が最小の予測タップを検出する。さらに、予測誤差算出回路３４は、その予測タップに対応する２ビットのタップパターンコードを、タップパターンコード付加回路３６に出力する。
【０１５４】
タップパターンコード付加回路３６では、ステップＳ１７において、間引き回路３１からのＳＤ画像を構成するＳＤ画素のうちの注目画素の画素値（但し、本実施の形態では、輝度信号についてだけ）のＬＳＢ側の２ビットが、タップパターンコードとされて（注目画素の画素値のＬＳＢ側の２ビットに代えて、２ビットのタップパターンコードが付加されて）出力される。
【０１５５】
その後、ステップＳ１８に進み、すべてのＳＤ画素にタップパターンコードが付加されたかどうかが判定され、まだ、すべてのＳＤ画素にタップパターンコードが付加されていないと判定された場合、ステップＳ１４に戻り、タップパターンコードが付加されていないＳＤ画素のうちのいずれかを、新たに注目画素として、ステップＳ１４乃至Ｓ１８の処理を繰り返す。一方、ステップＳ１８において、すべてのＳＤ画素にタップパターンコードが付加されたと判定された場合、メモリ３５は、ステップＳ１９において、４パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットを出力して、処理を終了する。
【０１５６】
前処理部２１では、以上のようにして、間引き回路３１が出力するＳＤ画像を構成するＳＤ画素（ここでは、上述したように、３×３のＨＤ画素の平均値を画素値として有する画素）それぞれについて、予測誤差が最小となる予測タップのタップパターンコードが、いわば仮に付加される。
【０１５７】
次に、図１６は、図３の最適化部２３の構成例を示している。なお、図中、図２８の画像符号化装置における場合と基本的に同様に構成される部分については、同一の符号を付してある。即ち、最適化部２３は、間引き回路１２１がなく、ローカルデコード部１２２に代えてローカルデコード部４２が設けられている他は、図２８の画像符号化装置と基本的に同様に構成されている。
【０１５８】
ローカルデコード部４２は、予測タップ生成回路４２Ａおよびクラス分類適応処理回路４２Ｂから構成され、そこには、補正部４１からＳＤ画像が供給されるようになされている。予測タップ生成回路４２Ａは、補正部４１から供給されるＳＤ画像のＳＤ画素のＬＳＢ側に配置されているタップパターンコードに対応して予測タップを形成（生成）し、クラス分類適応処理回路４２Ｂに供給するようになされている。クラス分類適応処理回路４２Ｂには、予測タップの他、クラス分類用のＳＤ画素、４パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットが供給されるようになされている。クラス分類適応処理回路４２Ｂは、予測タップを構成する注目画素を、図１５で説明したようにして、クラス分類用のＳＤ画素を用いてクラス分類し、そのクラスに対応した予測係数ｗのセットと、予測タップとから、式（１）に示した線形１次式を演算することにより、図６に点線で囲んで示した、注目画素となっているＳＤ画素を中心とする３×３のＨＤ画素の画素値の予測値を求めるようになされている。この予測値は、誤差算出部４３に供給されるようになされている。
【０１５９】
ここで、図１７は、図１６のクラス分類適応処理回路４２Ｂの構成例を示している。なお、図中、図１２における場合と対応する部分については、同一の符号を付してある。即ち、クラス分類適応処理回路４２Ｂは、図１２に示したクラス分類適応処理回路３３を構成する１つのクラス分類適応処理回路（予測係数、予測値算出）の一部と同一に構成されており、その説明は省略する。
【０１６０】
次に、図１８のフローチャートを参照して、その動作について説明する。
【０１６１】
最適化部２３は、ＳＤ画像を受信すると、そのＳＤ画像を構成するＳＤ画素のうちの１つを注目画素とし、ステップＳ３１において、注目画素の画素値を補正する補正量を表す変数△を、例えば０に初期化する。また、ステップＳ３１では、補正量を変化させる変化量（以下、適宜、オフセット量という）を表す変数Ｓに、初期値としての、例えば４または１がセットされる。
【０１６２】
即ち、輝度信号については、上述したように、そのＬＳＢ側の２ビットがタップパターンコードであり、画素値を構成するものではないため、オフセット量Ｓには、４（＝２²）がセットされる。また、色差信号については、そのようなことはなく、すべてのビットが画素値を構成するため、オフセット量Ｓには、１（＝２⁰）がセットされる。
【０１６３】
さらに、ステップＳ３１では、注目画素の補正の回数をカウントする変数ｉに、初期値としての−１がセットされ、ステップＳ３２に進む。ステップＳ３２では、回数ｉが１だけインクリメントされ、ステップＳ３３に進み、注目画素の画素値を補正量△だけ補正した補正値を用いて適応処理を行った場合に、その補正により影響を受けるＨＤ画素の予測値の予測誤差Ｅが算出される。
【０１６４】
即ち、この場合、補正部４１は、注目画素の画素値に、例えば、補正量△を加算し、その加算値を、注目画素の画素値として、ローカルデコード部４２に出力する。ここで、注目画素について、最初にステップＳ３３の処理が施される場合、即ち、回数ｉ＝０の場合、補正量△は、ステップＳ３１でセットされた初期値である０のままであるから、補正部４１からは、注目画素の画素値がそのまま出力される。
【０１６５】
ローカルデコード部４２では、予測タップ生成回路４２Ａにおいて、注目画素の画素値のＬＳＢ側の２ビットに配置されているタップパターンコードに対応して、予測タップが形成され、クラス分類適応処理回路４２Ｂに出力される。クラス分類適応処理回路４２Ｂでは、まず、注目画素が、図５のクラス分類適応処理回路３３における場合と同様にクラス分類される。さらに、クラス分類適応処理回路４２Ｂでは、そのクラスに対応する予測係数と、予測タップ生成回路４２Ａからの予測タップとから、式（１）に示した線形１次式を演算することにより、ＨＤ画素の画素値の予測値が求められる。
【０１６６】
即ち、クラス分類適応処理回路４２Ｂでは、クラス分類回路９１（図１７）において、予測タップ生成回路４２Ａからの予測タップを構成するＳＤ画素から、図１５で説明したようなクラスタップが構成され、クラス分類が行われる。このクラス分類回路９１におけるクラス分類の結果得られるクラスは、係数ＲＡＭ９４（図１７）に供給される。
【０１６７】
係数ＲＡＭ９４（図１７）は、スイッチ２５を介して供給される４パターンの予測タップそれぞれについてのクラス毎の予測係数のセットを記憶しており、クラス分類回路９１からのクラスに対応する予測係数のセットであって、注目画素に付加されているタップパターンコードに対応する予測タップについての予測係数のセットを読み出す。この予測係数のセットは、予測演算回路９５（図１７）に供給される。
【０１６８】
予測演算回路９５では、係数ＲＡＭ９４からの予測係数のセットと、予測タップ生成回路４２Ａから供給される予測タップとを用いて、式（１）の線形１次式が演算されることにより、ＨＤ画素の予測値が求められる。
【０１６９】
また、クラス分類適応処理回路４２Ｂでは、注目画素の画素値を補正量△だけ補正した場合に、その補正により影響を受けるＨＤ画素についても、同様にして、予測値が求められる。
【０１７０】
即ち、例えば、いま、図１９に示すように、ＳＤ画素Ａを注目画素として補正したとする。本実施の形態では、予測タップの範囲が最も広いのは、図１０に示したように、７×５のＳＤ画素で予測タップが構成される場合で、このように、７×５のＳＤ画素で予測タップが構成される場合に、その予測タップにＳＤ画素Ａが含まれるケースであって、ＳＤ画素Ａから最も離れたＳＤ画素が注目画素とされるのは、ＳＤ画素Ｂ，Ｃ，Ｄ，Ｅが注目画素とされ、７×５画素の予測タップが構成されるケースである。そして、ＳＤ画素Ｂ，Ｃ，Ｄ，Ｅが注目画素とされ、７×５画素の予測タップが構成された場合、本実施の形態では、同図に実線で囲んで示す範囲ｂ，ｃ，ｄ，ｅの中の３×３のＨＤ画素の予測値がそれぞれ求められる。従って、ＳＤ画素Ａを注目画素として、その画素値を補正した場合に、その補正により影響を受けるのは、最悪のケースで、範囲ｂ，ｃ，ｄ，ｅを含む最小の長方形である、図１９において点線で示す範囲内の２１×１５のＨＤ画素の予測値ということになる。
【０１７１】
従って、本実施の形態では、クラス分類適応処理回路４２Ｂにおいて、このような２１×１５のＨＤ画素の予測値が求められる。
【０１７２】
クラス分類適応処理回路４２Ｂで求められたＨＤ画素の予測値は、誤差算出部４３に供給される。誤差算出部４３では、クラス分類適応処理回路４２ＢからのＨＤ画素の予測値から、対応するＨＤ画素の真の画素値が減算され、その減算値である予測誤差の、例えば自乗和が求められる。そして、この自乗和が、誤差情報Ｅとして、制御部４４に供給される。
【０１７３】
制御部４４は、誤差算出部４３から誤差情報を受信すると、ステップＳ３４において、回数ｉが０であるかどうかを判定する。ステップＳ３４において、回数ｉが０であると判定された場合、即ち、制御部４４が受信した誤差情報Ｅが、注目画素の補正を行わずに得られたものである場合、ステップＳ３５に進み、注目画素の補正を行わずに得られた誤差情報（未補正時の誤差情報）を記憶する変数Ｅ₀に、誤差情報Ｅがセットされ、また、前回得られた誤差情報を記憶する変数Ｅ’にも、誤差情報Ｅがセットされる。さらに、ステップＳ３５では、補正量△が、オフセット量Ｓだけインクリメントされ、制御部４４は、それにより得られた補正量△だけ、注目画素の画素値を補正するように、補正部４１を制御する。その後は、ステップＳ３２に戻り、以下、同様の処理を繰り返す。
【０１７４】
この場合、ステップＳ３２において、回数ｉは１だけインクリメントされて１となるから、ステップＳ３４では、回数ｉが０でないと判定され、ステップＳ３６に進む。ステップＳ３６では、回数ｉが１であるかどうかが判定される。この場合、回数ｉは１となっているから、ステップＳ３６では、回数ｉは１であると判定され、ステップＳ３７に進み、前回の誤差情報Ｅ’が、今回の誤差情報Ｅ以上であるかどうかが判定される。ステップＳ３７において、前回の誤差情報Ｅ’が、今回の誤差情報Ｅ以上でないと判定された場合、即ち、補正量△だけ注目画素の画素値を補正することにより、今回の誤差情報Ｅの方が、前回の誤差情報Ｅ’（ここでは、補正をしてない場合の誤差情報）より増加した場合、ステップＳ３８に進み、制御部４４は、オフセット量Ｓに、−１を乗算したものを、新たなオフセット量Ｓとし、さらに、補正量△をオフセット量Ｓの２倍だけインクリメントし、ステップＳ３２に戻る。
【０１７５】
即ち、注目画素の画素値を、補正量△（この場合、△＝Ｓ）だけ補正することにより、補正しなかったときよりも誤差が増加した場合には、オフセット量Ｓの符号が反転される（本実施の形態では、ステップＳ３１において正の値がオフセット量Ｓにセットされているので、ステップＳ３８では、オフセット量Ｓの符号は、正から負にされる）。さらに、前回はＳであった補正量△が、−Ｓにされる。
【０１７６】
また、ステップＳ３７において、前回の誤差情報Ｅ’が、今回の誤差情報Ｅ以上であると判定された場合、即ち、補正量△だけ注目画素の画素値を補正することにより、今回の誤差情報Ｅが、前回の誤差情報Ｅ’より減少した場合（または前回の誤差情報Ｅ’と同じである場合）、ステップＳ３９に進み、制御部４４は、補正量△をオフセット量Ｓだけインクリメントするとともに、前回の誤差情報Ｅ’に、今回の誤差情報Ｅをセットすることにより更新して、ステップＳ３２に戻る。
【０１７７】
この場合、ステップＳ３２において、回数ｉは、さらに１だけインクリメントされて２となるから、ステップＳ３４またはＳ３６では、回数ｉが０または１でないとそれぞれ判定され、その結果、ステップＳ３６からＳ４０に進む。ステップＳ４０では、回数ｉが２であるかどうかが判定される。いま、回数ｉは２となっているから、ステップＳ４０では、回数ｉは２であると判定され、ステップＳ４１に進み、未補正時の誤差情報Ｅ₀が今回の誤差情報Ｅ以下であり、かつオフセット量Ｓが負であるかどうかが判定される。
【０１７８】
ステップＳ４０において、未補正時の誤差情報Ｅ₀が今回の誤差情報Ｅ以下であり、かつオフセット量Ｓが負であると判定された場合、即ち、注目画素を＋Ｓだけ補正しても、また、−Ｓだけ補正しても、補正しないときより誤差が増加する場合、ステップＳ４２に進み、補正量△が０とされ、ステップＳ４７に進む。
【０１７９】
また、ステップＳ４０において、未補正時の誤差情報Ｅ₀が今回の誤差情報Ｅ以下でないか、またはオフセット量Ｓが負でないと判定された場合、ステップＳ４４に進み、前回の誤差情報Ｅ’が、今回の誤差情報Ｅ以上であるかどうかが判定される。ステップＳ４４において、前回の誤差情報Ｅ’が、今回の誤差情報Ｅ以上であると判定された場合、即ち、補正量△だけ注目画素の画素値を補正することにより、今回の誤差情報Ｅが、前回の誤差情報Ｅ’より減少した場合、ステップＳ４５に進み、制御部４４は、補正量△をオフセット量Ｓだけインクリメントするとともに、前回の誤差情報Ｅ’に、今回の誤差情報Ｅをセットすることにより更新して、ステップＳ３２に戻る。
【０１８０】
この場合、ステップＳ３２において、回数ｉは、さらに１だけインクリメントされて３となるから、以下では、ステップＳ３４，Ｓ３６、またはＳ４０では、回数ｉが０，１、または２でないとそれぞれ判定され、その結果、ステップＳ４０からＳ４４に進む。従って、ステップＳ４４において、前回の誤差情報Ｅ’が、今回の誤差情報Ｅ以上でないと判定されるまで、ステップＳ３２乃至Ｓ３４、Ｓ３６，Ｓ４０，Ｓ４４，Ｓ４５のループ処理が繰り返される。
【０１８１】
そして、ステップＳ４４において、前回の誤差情報Ｅ’が、今回の誤差情報Ｅ以上でないと判定された場合、即ち、補正量△だけ注目画素の画素値を補正することにより、今回の誤差情報Ｅの方が、前回の誤差情報Ｅ’より増加した場合、ステップＳ４６に進み、制御部４４は、補正量△をオフセット量Ｓだけデクリメットし、ステップＳ４７に進む。即ち、この場合、補正量△は、誤差が増加する前の値とされる。
【０１８２】
ステップＳ４７では、制御部４４は、補正部４１を制御することにより、ステップＳ４２またはＳ４６で得られた補正量△だけ注目画素の画素値を補正させ、これにより、注目画素の画素値は、適応処理により予測値を得るのに、予測誤差が最小となるような最適なものに補正される。
【０１８３】
そして、ステップＳ４８に進み、すべてのＳＤ画素を注目画素として処理を行ったかどうかが判定される。ステップＳ４８において、すべてのＳＤ画素を注目画素として、まだ処理を行っていないと判定された場合、ステップＳ３１に戻り、まだ、注目画素とされていないＳＤ画素を新たな注目画素として、同様の処理を繰り返す。また、ステップＳ４８において、すべてのＳＤ画素を注目画素として処理を行ったと判定された場合、処理を終了する。
【０１８４】
以上のようにして、ＳＤ画像の画素値は、ＨＤ画像の予測値を求めるのに、最適なものに最適化される。
【０１８５】
次に、図２０は、図３の適応処理部２４の構成例を示している。
【０１８６】
予測タップ生成回路５１には、最適化部２３からの最適ＳＤ画像が供給されるようになされており、そこでは、図１６の予測タップ生成回路４２Ａにおける場合と同様に、その画素値のＬＳＢ側の２ビットに配置されているタップパターンコードが検出され、そのタップパターンコードにしたがって、予測タップが構成され、クラス分類適応処理回路５２に供給されるようになされている。
【０１８７】
クラス分類適応処理回路５２には、予測タップの他、クラス分類に使用される最適ＳＤ画像及び元のＨＤ画像も供給されるようになされており、そこでは、予測タップを構成する注目画素のクラス分類が、例えば、図１５で説明した場合と同様にして行われ、さらに、その結果得られる各クラスについて、予測タップとＨＤ画像を用いて式（７）に示した正規方程式がたてられるようになされている。そして、クラス分類適応処理回路５２は、そのクラスごとの正規方程式を解くことにより新たな４パターンの予測タップのそれぞれについての予測係数ｗのセットを求めて出力するようになされている。
【０１８８】
次に、その動作について、図２１のフローチャートを参照して説明する。予測タップ生成回路５１は、最適ＳＤ画像を受信すると、ステップＳ５１において、その最適ＳＤ画素を構成する各ＳＤ画素に付加されているタップパターンコードを検出（抽出）し、ステップＳ５２に進み、その抽出したタップパターンコードに基づいて、予測タップを形成する。そして、予測タップ生成回路５１は、形成した予測タップを、クラス分類適応処理回路５２に出力する。クラス分類適応処理回路５２は、ステップＳ５３において、予測タップを構成する注目画素のクラス分類を行い、その結果得られる各クラスについて、予測タップとＨＤ画像を用いて正規方程式をたてて解くことにより予測係数ｗを求めて出力し、処理を終了する。
【０１８９】
これにより、適応処理部２４では、最適ＳＤ画像から、元のＨＤ画像を得るのに、予測誤差を最も小さくする４パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットが求められる。この４パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットは、上述したように、最適化部２３と予測タップパターン判定部２６に供給され、適応処理（式（１）に示す線形１次式の計算）に用いられる。
【０１９０】
なお、図２０の実施の形態では、予測タップ生成回路５１において、画素値のＬＳＢ側の２ビットに配置されているタップパターンコードを検出し、そのタップパターンコードに従って予測タップを構成するようにしたが、予測タップ生成回路５１は、図５の前処理部２１の予測タップ生成回路３２と同様に構成することも可能である。つまり、予測タップ生成回路５１には、４パターンの予測タップすべてを構成させ、クラス分類適応処理回路５２に供給させることができる。この場合、クラス分類適応処理回路５２は、４パターンの予測タップのそれぞれに対応する４つの予測係数を算出するためのクラス分類適応処理回路（輝度信号用）で構成することができ、このクラス分類適応処理回路のそれぞれは、図１１で示される、クラス分類適応処理回路（予測係数、予測値算出）を構成する一部と同様に構成することができる。
【０１９１】
そして、その場合、各クラス分類適応処理回路には、ＨＤ画像を構成する各ＨＤ画素に対して対応する各パターンの予測タップが供給され、その予測タップを構成する最適ＳＤ画素を用いてクラスタップが形成されて、それぞれクラス分類が行われる。さらに、各クラス分類適応処理回路において、１フレームのＨＤ画素と、そのＨＤ画素に対する予測タップとが、それぞれ教師データメモリ８６と予測タップメモリ８５とにクラス毎に記憶される。その後、各クラス分類適応処理回路のそれぞれにおいて、図２７の学習装置における場合と同様にして、４パターンの予測タップについての新たなクラス毎の予測係数のセットが生成される。
【０１９２】
次に、図２２は、図３の予測タップパターン判定部２６の構成例を示している。
【０１９３】
予測タップパターン判定部２６は、同図に示すように、予測タップ生成回路６１、クラス分類適応処理回路６２、予測誤差算出回路６３、およびタップパターンコード変更回路６４から構成されており、これらの予測タップ生成回路６１、クラス分類適応処理回路６２、予測誤差算出回路６３、またはタップパターンコード変更回路６４は、図５における前処理部２１の予測タップ生成回路３２、クラス分類適応処理回路３３、予測誤差算出回路３４、またはタップパターンコード付加回路３６と基本的に同様に構成されている。
【０１９４】
次に、図２３のフローチャートを参照して、その動作について説明する。
【０１９５】
予測タップパターン判定部２６には、最適ＳＤ画像、４パターンの予測タップのそれぞれについてのクラス毎の予測係数のセット、ＨＤ画像が供給されるようになされており、最適ＳＤ画像は、予測タップ生成回路６１とタップパターンコード変更回路６４に供給され、また、４パターンの予測タップのそれぞれについてのクラス毎の予測係数のセットまたはＨＤ画像は、クラス分類適応処理回路６２または予測誤差算出回路６３にそれぞれ供給されるようになされている。
【０１９６】
予測タップ生成回路６１は、最適ＳＤ画像を受信すると、ステップＳ６１において、図５の予測タップ生成回路３２と同様に、そのうちの１つを注目画素とし、その注目画素について、図７乃至図１０に示した４パターンの予測タップを形成する。そして、この４パターンの予測タップは、クラス分類適応処理回路６２に出力される。
【０１９７】
クラス分類適応処理回路６２は、注目画素を対象に形成された４パターンの予測タップを受信すると、ステップＳ６２において、その４パターンの予測タップそれぞれと、対応するクラス毎の予測係数ｗのセットそれぞれとを用いて、式（１）で表される線形１次式を計算し、これにより、４パターンの予測タップそれぞれから得られるＨＤ画像の９画素の予測値を求め、予測誤差算出回路６３に出力される。
【０１９８】
予測誤差算出回路６３では、ステップＳ６３またはＳ６４において、図５の予測誤差算出回路３４が行う図１３のステップＳ１５またはＳ１６における場合とそれぞれ同様の処理が行われ、これにより、４パターンの予測タップのうち、予測誤差を最小にするもののタップパターンコードが、タップパターンコード変更回路６４に出力される。
【０１９９】
タップパターンコード変更回路６４では、ステップＳ６５において、注目画素（最適ＳＤ画像のＳＤ画素）のＬＳＢ側の２ビットに付加されているタップパターンコードが、予測誤差算出回路６３から供給されるタップパターンコードに変更され、ステップＳ６６に進む。
【０２００】
ステップＳ６６では、すべてのＳＤ画素を注目画素として処理が行われたかどうかが判定され、まだ、すべてのＳＤ画素を注目画素としていないと判定された場合、ステップＳ６１に戻り、また注目画素とされていないＳＤ画素を新たに注目画素として、同様の処理を繰り返す。一方、ステップＳ６６において、すべてのＳＤ画素を注目画素として処理を行ったと判定された場合、処理を終了する。
【０２０１】
予測タップパターン判定部２６では、以上のように、適応処理部２４で得られた４パターンの予測タップのそれぞれについての予測係数ｗのセットを用いて、タップパターンコードが、より予測誤差が小さくなる予測タップに対応するものに変更される。
【０２０２】
次に、図２４は、図１の受信装置４の構成例を示している。
【０２０３】
受信機／再生装置７１においては、記録媒体２に記録された符号化データが再生され、または伝送路３を介して伝送されてくる符号化データが受信され、分離部７２に供給される。分離部７２では、符号化データが、ＳＤ画像の画像データと４パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットに分離され、ＳＤ画像の画像データは、予測タップ生成回路７３に供給され、４パターンの予測タップのそれぞれについてのクラス毎の予測係数ｗのセットは、クラス分類適応処理回路７４に供給される。
【０２０４】
予測タップ生成回路７３またはクラス分類適応処理回路７４は、図１６に示した最適化部２３のローカルデコード部４２を構成する予測タップ生成回路４２Ａまたはクラス分類適応処理回路４２Ｂ（図１７）とそれぞれ同様に構成されている。従って、ローカルデコード部４２における場合と同様にして、ＨＤ画像の予測値が求められ、これが復号画像として出力される。この復号画像は、上述したように、元の画像とほぼ同一の画像となる。
【０２０５】
なお、受信側においては、図２４に示すような受信装置４でなくても、間引きされた画像を単純な補間により復号する装置により、予測係数を用いずに、通常の補間を行うことで復号画像を得ることができる。但し、この場合に得られる復号画像は、画質（解像度）の劣化したものとなる。
【０２０６】
以上のように、ＨＤ画像を圧縮することにより得られるＳＤ画像を構成する画素のうちの１つを注目画素として、その注目画素に対して、複数パターンの予測タップを形成し、予測タップと予測係数との線形結合により、ＨＤ画像の予測値を求める適応処理を行い、複数パターンの予測タップそれぞれから得られる予測値の予測誤差を算出し、複数パターンの予測タップのうち、最小の予測誤差が得られるものに対応するタップパターンコードを、注目画素の画素値に付加するようにしたので、画像の局所的な特性に対応した予測タップを用いて適応処理が行われ、その結果、より画質の良い復号画像を得ることが可能となる。
【０２０７】
また、２ビットのタップパターンコードを、画素値のＬＳＢ側の２ビットに代えて配置するようにしたので、データ量の増加を防止することが可能となる。なお、タップパターンコードは、画素値のＬＳＢ側に配置されるので、それほど大きな画質の劣化はない。
【０２０８】
さらに、最適化部２３において、誤差を最小にする予測タップを用いて適応処理を行うことにより、ＳＤ画像を最適化するようにしたので、元のＨＤ画像をほぼ同一の復号画像を得ることが可能となる。
【０２０９】
また、適応処理部２４において、最適ＳＤ画像を用いて適応処理を行い、複数パターンの予測タップのそれぞれについてのクラス毎の予測係数のセットを、いわば、より適切なものに更新（修正）し、予測タップパターン判定部２６において、その更新された複数パターンの予測タップのそれぞれについてのクラス毎の予測係数のセットを用いて、予測タップを決め直すようにしたので、さらに画質の向上した復号画像を得ることが可能となる。
【０２１０】
以上、本発明を、ＨＤ画像を符号化／復号する画像処理装置に適用した場合について説明したが、本発明は、その他、ＳＤ画像などの標準解像度の画像その他を符号化／復号する場合にも適用可能である。即ち、例えば、ＮＴＳＣ方式などの標準方式のテレビジョン信号を符号化／復号する場合にも適用可能である。但し、本発明は、データ量の多い、いわゆるハイビジョン方式のテレビジョン信号などを符号化／復号する場合に、特に有効である。また、本発明は、いわゆる階層符号化を行う場合などにも適用可能である。
【０２１１】
なお、本実施の形態では、輝度信号についてのみ、複数パターンの予測タップを用意し、色差信号については、５×７画素の予測タップだけを用いるようにしたが、色差信号も、輝度信号と同様に処理することが可能である。
【０２１２】
また、本実施の形態においては、タップパターンコードを２ビットとするようにしたが、タップパターンコードは２ビットに限定されるものではない。但し、より少ないビット数であることが望ましい。
【０２１３】
さらに、本実施の形態では、画素値のＬＳＢ側の２ビットに代えて、タップパターンコードを配置するようにしたが、タップパターンコードは、画素値とは別に記録または伝送することも可能である。
【０２１４】
また、本実施の形態では、前処理部２１で前処理し、最適化部２３で最適化した最適ＳＤ画像を用いて、予測係数を更新し、その予測係数を用いて、再度、タップパターンコードを決め直すようにしたが、前処理部２１で前処理し、最適化部２３で最適化した最適ＳＤ画像を、そのまま符号化データとすることも可能である。この場合、復号画像の画質（Ｓ／Ｎ）は、タップパターンコードを決め直す場合に比較して、多少劣化するが、処理の高速化を図ることが可能となる。
【０２１５】
さらに、本実施の形態では、３×３，５×３，３×５，７×５画素の４パターンの予測タップを用いるようにしたが、これ以外の、例えば、１×５や５×１画素などの予測タップを用いるようにすることも可能である。また、予測タップのパターンも４種類に限定されるものではない。
【０２１６】
さらに、本実施の形態では特に言及しなかったが、画素値に、タップパターンコードを付加した後は、そのタップパターンコードが付加されたＬＳＢ側の２ビットを所定値にしたものを画素値として処理しても良いし、また、タップパターンコードも含めて画素値とし、処理を行うようにしても良い。なお、本件発明者が行った実験によれば、タップパターンコードも含めて画素値とした場合、そのタップパターンコードの部分を所定値としての０とした場合に比較して、Ｓ／Ｎは多少劣化するが、階調が多少向上するという結果が得られている。
【０２１７】
また、図１８においては、注目画素の画素値を、オフセット量Ｓとしての４または１ずつ補正することにより、予測誤差Ｅが最初に極小となる補正量△を検出するようにしたが、その他、例えば、注目画素の画素値がとり得る値すべてについて予測誤差Ｅを求め、その最小値を検出し、その場合の補正量△によって、注目画素の画素値を補正するようにすることも可能である。この場合、処理に時間を要することとなるが、よりＳ／Ｎの高い復号画像を得ることが可能となる。
【０２１８】
さらに、このように注目画素の画素値がとり得る値すべてについて予測誤差Ｅを求める場合には、注目画素の画素値の初期値は、どのような値（但し、注目画素の画素値がとり得る範囲内の値）であっても良い。即ち、この場合、初期値がどのような値であっても、予測誤差Ｅを最小にする補正値△を求めることができる。
【０２１９】
なお、本発明の主旨を逸脱しない範囲において、さまざまな変形や応用例が考えうる。従って、本発明の要旨は、上述の実施の形態に限定されるものではない。
【０２２０】
【発明の効果】
本発明の画像符号化装置および画像符号化方法によれば、圧縮画像信号を構成する画素のうちの１つを注目画素として、原画像信号を予測するために用いる注目画素および注目画素の近傍の画素からなる複数パターンの予測タップが形成され、複数パターンの予測タップそれぞれと、所定の予測係数とから、原画像信号が予測され、複数パターンの予測タップそれぞれに対する予測値が出力される。そして、複数パターンの予測タップそれぞれに対する予測値の、原画像信号に対する予測誤差が算出され、複数パターンの予測タップのうち、最小の予測誤差が得られる予測タップに対応するパターンコードが、注目画素の画素値の一部と置き換えられることにより注目画素の画素値に付加される。従って、そのパターンコードにしたがって予測タップを形成して復号を行うことで、より画質の向上した復号画像を得ることが可能となる。
【０２２１】
本発明の画像復号装置およびの画像復号方法によれば、符号化データから、圧縮画像信号と予測係数とが分離され、符号化データに含まれる圧縮画像信号を構成する画素のうちの１つを注目画素として、その注目画素の画素値に付加されているパターンコードに対応するパターンの予測タップが、注目画素の近傍の画素を用いて形成され、その予測タップと、予測係数とから、原画像信号が予測され、その予測値が求められる。従って、より原画像信号に近い予測値を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の一実施の形態の構成を示すブロック図である。
【図２】図１の送信装置１の構成例を示すブロック図である。
【図３】図２の送信装置１の機能的構成例を示すブロック図である。
【図４】図３の送信装置１の動作を説明するためのフローチャートである。
【図５】図３の前処理部２１の構成例を示すブロック図である。
【図６】図５の間引き回路３１の処理を説明するための図である。
【図７】予測タップの構成例を示す図である。
【図８】予測タップの構成例を示す図である。
【図９】予測タップの構成例を示す図である。
【図１０】予測タップの構成例を示す図である。
【図１１】図５のクラス分類適応処理回路３３を構成するクラス分類適応処理回路（予測係数、予測値算出）の一部の構成例を示すブロック図である。
【図１２】図５のクラス分類適応処理回路３３を構成するクラス分類適応処理回路（予測係数、予測値算出）の他の一部の構成例を示すブロック図である。
【図１３】図５の前処理部２１の処理を説明するためのフローチャートである。
【図１４】図１３のステップＳ１１の処理のより詳細を説明するためのフローチャートである。
【図１５】クラス分類を行うためのクラスタップの構成例を示す図である。
【図１６】図３の最適化部２３の構成例を示すブロック図である。
【図１７】図１６のクラス分類適応処理回路４２Ｂ及び図２４のクラス分類適応処理回路７４の構成例を示すブロック図である。
【図１８】図１６の最適化部２３の処理を説明するためのフローチャートである。
【図１９】図１８のステップＳ３３の処理を説明するための図である。
【図２０】図３の適応処理部２４の構成例を示すブロック図である。
【図２１】図２０の適応処理部２４の処理を説明するためのフローチャートである。
【図２２】図３の予測タップパターン判定部２６の構成例を示すブロック図である。
【図２３】図２２の予測タップパターン判定部２６の処理を説明するためのフローチャートである。
【図２４】図１の受信装置４の構成例を示すブロック図である。
【図２５】本件出願人が先に提案した画像変換装置の構成例を示すブロック図である。
【図２６】図２５のクラス分類回路１０１の処理を説明するための図である。
【図２７】本件出願人が先に提案した学習装置の構成例を示すブロック図である。
【図２８】本件出願人が先に提案した画像符号化装置の構成例を示すブロック図である。
【符号の説明】
１送信装置，２記録媒体，３伝送路，４受信装置，１１Ｉ／Ｆ，１２ＲＯＭ，１３ＲＡＭ，１４ＣＰＵ，１５外部記憶装置，１６送信機／記録装置，２１前処理部，２２スイッチ，２３最適化部，２４適応処理部，２５スイッチ，２６予測タップパターン判定部，３１間引き回路，３２予測タップ生成回路，３３クラス分類適応処理回路，３４予測誤差算出回路，３５メモリ，３６タップパターンコード付加回路，４１補正部，４２ローカルデコード部，４２Ａ予測タップ生成回路，４２Ｂクラス分類適応処理回路，４３誤差算出部，４４制御部，５１予測タップ生成回路，５２クラス分類適応処理回路，６１予測タップ生成回路，６２クラス分類適応処理回路，６３予測誤差算出回路，６４タップパターンコード変更回路，７１受信機／再生装置，７２分離部，７３予測タップ生成回路，７４クラス分類適応処理回路，８２クラス分類回路，８４遅延回路，８５予測タップメモリ，８６教師データメモリ，８７演算回路，８８遅延回路，９１クラス分類回路，９４係数ＲＡＭ，９５予測演算回路[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image encoding device and an image encoding method, And The present invention relates to an image decoding apparatus and an image decoding method. In particular, an image encoding device and an image encoding method for compressing and encoding an image by thinning out the image so that a decoded image almost identical to the original image is obtained, And The present invention relates to an image decoding apparatus and an image decoding method.
[0002]
[Prior art]
For example, when converting a standard resolution or low resolution image (hereinafter referred to as an SD image as appropriate) to a high resolution image (hereinafter referred to as an HD image as appropriate) or enlarging the image, Interpolation (compensation) of the pixel values of the missing pixels is performed by a so-called interpolation filter or the like.
[0003]
However, even if pixel interpolation is performed using an interpolation filter, it is difficult to obtain a high-resolution image because the HD image component (high-frequency component) that is not included in the SD image cannot be restored.
[0004]
Therefore, the applicant of the present application has previously proposed an image conversion device (image conversion circuit) for converting an SD image into an HD image including a high-frequency component not included therein.
[0005]
In this image conversion apparatus, high-frequency components not included in the SD image are restored by performing an adaptive process for obtaining a prediction value of a pixel of the HD image by linear combination of the SD image and a predetermined prediction coefficient. It is made so that.
[0006]
That is, for example, the predicted value E [y] of the pixel value y of a pixel constituting the HD image (hereinafter referred to as HD pixel as appropriate) is set to the pixel value of several SD pixels (pixels constituting the SD image). (Hereinafter referred to as learning data as appropriate) x ₁ , X ₂ , ... and a predetermined prediction coefficient w ₁ , W ₂ Consider a linear primary combination model defined by the linear combination of. In this case, the predicted value E [y] can be expressed by the following equation.
[0007]

[0008]
Therefore, in order to generalize, a matrix W composed of a set of prediction coefficients w, a matrix X composed of a set of learning data, and a matrix Y ′ composed of a set of predicted values E [y],
[Expression 1]

Then, the following observation equation holds.
[0009]

[0010]
Then, it is considered to apply the least square method to this observation equation to obtain a predicted value E [y] close to the pixel value y of the HD pixel. In this case, a matrix Y composed of a set of true pixel values y of HD pixels serving as teacher data and a matrix E composed of a set of residuals e of predicted values E [y] with respect to the pixel values y of HD pixels,
[Expression 2]

From the equation (2), the following residual equation is established.
[0011]

[0012]
In this case, the prediction coefficient w for obtaining the predicted value E [y] close to the pixel value y of the HD pixel _i Is the square error
[Equation 3]

Can be obtained by minimizing.
[0013]
Therefore, the above square error is converted into the prediction coefficient w. _i When the value differentiated by 0 is 0, that is, the prediction coefficient w satisfying the following equation: _i However, this is the optimum value for obtaining the predicted value E [y] close to the pixel value y of the HD pixel.
[0014]
[Expression 4]

[0015]
Therefore, first, Equation (3) is converted into the prediction coefficient w. _i Is differentiated by the following equation.
[0016]
[Equation 5]

[0017]
From equations (4) and (5), equation (6) is obtained.
[0018]
[Formula 6]

[0019]
Further, considering the relationship among the learning data x, the prediction coefficient w, the teacher data y, and the residual e in the residual equation of Equation (3), the following normal equation can be obtained from Equation (6). .
[0020]
[Expression 7]

[0021]
The normal equation of the equation (7) can be formed by the same number as the number of prediction coefficients w to be obtained. Therefore, by solving the equation (7) (however, to solve the equation (7), the equation (7) 7), the matrix composed of the coefficients related to the prediction coefficient w needs to be regular), and the optimal prediction coefficient w can be obtained. In solving equation (7), for example, a sweep-out method (Gauss-Jordan elimination method) or the like can be applied.
[0022]
As described above, an optimal set of prediction coefficients w is obtained, and further, a prediction value E [y] close to the pixel value y of the HD pixel is obtained by the equation (1) using the set of prediction coefficients w. Is an adaptive process (however, it is also included in the adaptive process that a set of prediction coefficients w is obtained in advance and a predicted value is obtained from the set of prediction coefficients w).
[0023]
Note that the adaptive processing is different from the interpolation processing in that a component included in the HD image that is not included in the SD image is reproduced. In other words, the adaptive process is the same as the interpolation process using a so-called interpolation filter as long as only Expression (1) is seen, but the prediction coefficient w corresponding to the tap coefficient of the interpolation filter uses the teacher data y. In other words, since it is obtained by learning, the components included in the HD image can be reproduced. That is, a high-resolution image can be easily obtained. From this, it can be said that the adaptive process is a process having an image creating action.
[0024]
FIG. 25 shows a configuration example of an image conversion apparatus that converts an SD image into an HD image by the adaptive processing as described above based on the image feature (class).
[0025]
The SD image is supplied to the class classification circuit 101 and the delay circuit 102. In the class classification circuit 101, the SD pixels constituting the SD image are sequentially set as the target pixel, and the target pixel is a predetermined pixel. Classified into classes.
[0026]
That is, the class classification circuit 101 first collects a number of SD pixels around the pixel of interest to form a block (hereinafter referred to as a processing block as appropriate), and configures the processing block, for example, all SD A value assigned in advance to the pixel value pattern of the pixel is supplied to the address terminal (AD) of the coefficient ROM 104 as the class of the pixel of interest.
[0027]
Specifically, the class classification circuit 101, for example, is a process composed of 5 × 5 SD pixels (indicated by a circle in FIG. 26) centered on the target pixel, as shown in FIG. A block is extracted from the SD image, and values corresponding to the pixel value patterns of these 25 SD pixels are output as the class of the pixel of interest.
[0028]
Here, when a large number of bits such as 8 bits are assigned to represent the pixel value of each SD pixel, the number of patterns of pixel values of 25 SD pixels is (2 ⁸ ) ^{twenty five} The number of streets becomes enormous, and it is difficult to speed up subsequent processing.
[0029]
Therefore, as preprocessing before class classification, for example, ADRC (Adaptiv Dynamic Range Coding) processing, which is processing for reducing the number of bits of SD pixels constituting the processing block, is performed on the processing block.
[0030]
That is, in the ADRC processing, first, from the 25 SD pixels constituting the processing block, there are the largest (hereinafter referred to as the maximum pixel) and the minimum (hereinafter referred to as the minimum pixel) of the pixel value. Detected. Then, a difference DR (= MAX−MIN) between the pixel value MAX of the maximum pixel and the pixel value MIN of the minimum pixel is calculated, and this DR is set as a local dynamic range of the processing block. Based on the dynamic range DR, each pixel value constituting the processing block is requantized to K bits smaller than the original number of assigned bits. In other words, the pixel value MIN of the minimum pixel is subtracted from each pixel value constituting the processing block, and each subtraction value becomes DR / 2. ^K Divide by.
[0031]
As a result, each pixel value constituting the processing block is expressed by K bits. Therefore, for example, when K = 1, the number of pattern values of 25 SD pixels is (2 ¹ ) ^{twenty five} As a result, the number of patterns can be made very small as compared with the case where ADRC processing is not performed. The ADRC process for setting the pixel value to K bits in this way is hereinafter referred to as K bit ADRC process as appropriate.
[0032]
The coefficient ROM 104 stores a set of prediction coefficients obtained by performing learning in advance for each class. When a class is supplied from the class classification circuit 101, the coefficient ROM 104 is stored at an address corresponding to the class. A set of prediction coefficients is read and supplied to the prediction calculation circuit 105.
[0033]
On the other hand, in the delay circuit 102, the timing at which the prediction coefficient set is supplied from the coefficient ROM 104 and the timing at which the prediction tap is supplied from the prediction tap generation circuit 103 described later are made to coincide with the prediction arithmetic circuit 105. The SD image is delayed by a necessary time and supplied to the prediction tap generation circuit 103.
[0034]
In the prediction tap generation circuit 103, an SD pixel used for obtaining a prediction value of a predetermined HD pixel in the prediction calculation circuit 105 is extracted from the SD image supplied thereto, and this is supplied to the prediction calculation circuit 105 as a prediction tap. Is done. That is, in the prediction tap generation circuit 103, for example, the same processing block as that extracted by the class classification circuit 101 is extracted from the SD image, and the SD pixel constituting the processing block serves as a prediction tap, and the prediction calculation circuit 105 To be supplied.
[0035]
In the prediction arithmetic circuit 105, the prediction coefficients w and w from the coefficient ROM 104 are displayed. ₂ ,..., Prediction tap x from the prediction tap generation circuit 103 ₁ , X ₂ ,... Is used to calculate the prediction value E [y] of the pixel of interest y by performing the calculation shown in Expression (1), that is, the adaptive process, and this is obtained as the pixel value of the HD pixel. Is output.
[0036]
That is, here, for example, the predicted value of a 3 × 3 HD pixel (indicated by a dot in the figure) surrounded by a solid rectangle in FIG. 26 and centered on the target pixel is obtained from one prediction tap. In this case, the prediction calculation circuit 105 performs the calculation of Expression (1) for these nine HD pixels. Accordingly, the coefficient ROM 104 stores nine sets of prediction coefficients at addresses corresponding to one class.
[0037]
Thereafter, the same processing is performed using other SD pixels as the target pixel, whereby the SD image is converted into an HD image.
[0038]
Next, FIG. 27 shows a configuration example of a learning apparatus that performs a learning process for calculating a set of prediction coefficients for each class to be stored in the coefficient ROM 104 of FIG.
[0039]
An HD image to be teacher data y in learning is supplied to the thinning circuit 111 and the delay circuit 114. In the thinning circuit 111, the HD image is reduced by thinning the number of pixels, for example. Thus, an SD image is obtained. This SD image is supplied to the class classification circuit 112 and the prediction tap generation circuit 113.
[0040]
In the class classification circuit 112 or the prediction tap generation circuit 113, processing similar to that in the class classification circuit 101 or the prediction tap generation circuit 103 in FIG. 25 is performed, whereby the class or prediction tap of the pixel of interest is output, respectively. The class output from the class classification circuit 112 is supplied to the prediction tap memory 115 and the address terminal (AD) of the teacher data memory 116, and the prediction tap output from the prediction tap generation circuit 113 is supplied to the prediction tap memory 115.
[0041]
The prediction tap memory 115 stores the prediction tap supplied from the prediction tap generation circuit 113 at an address corresponding to the class supplied from the class classification circuit 112.
[0042]
On the other hand, in the delay circuit 114, the HD image is delayed by the time for which the class corresponding to the target pixel is supplied from the class classification circuit 112 to the teacher data memory 116. Of these, the prediction tap is shown in FIG. Only the pixel values of the HD pixels in the positional relationship are supplied to the teacher data memory 116 as teacher data.
[0043]
In the teacher data memory 116, the teacher data supplied from the delay circuit 114 is stored at an address corresponding to the class supplied from the class classification circuit 112.
[0044]
Thereafter, the same processing is repeated until all the SD pixels constituting the SD image obtained from all the HD images prepared for learning are set as the target pixel.
[0045]
As described above, the same address in the prediction tap memory 115 or the teacher data memory 116 has the same positional relationship as the SD pixel indicated by a circle in FIG. 26 or the HD pixel indicated by a mark in FIG. A certain SD pixel or HD pixel is stored as learning data x or teacher data y.
[0046]
In the prediction tap memory 115 and the teacher data memory 116, a plurality of pieces of information can be stored at the same address, whereby a plurality of learnings classified into the same class are stored at the same address. Data x and teacher data y can be stored.
[0047]
Thereafter, the arithmetic circuit 117 reads out the pixel value of the HD pixel as the prediction tap or the teacher data as the learning data stored at the same address from the prediction tap memory 115 or the teacher data memory 116, and uses them to determine the minimum value. A set of prediction coefficients that minimizes the error between the predicted value and the teacher data is calculated by the square method. That is, in the arithmetic circuit 117, the normal equation shown in Expression (7) is established for each class, and by solving this, a set of prediction coefficients for each class is obtained.
[0048]
As described above, a set of prediction coefficients for each class obtained by the arithmetic circuit 117 is stored in an address corresponding to the class in the coefficient ROM 104 of FIG.
[0049]
In the learning process as described above, there may occur a class in which the number of normal equations necessary for obtaining a set of prediction coefficients cannot be obtained. For such a class, for example, the class is ignored. A set of prediction coefficients obtained by solving and solving a normal equation is used as a set of default prediction coefficients.
[0050]
By the way, according to the image conversion apparatus of FIG. 25, as described above, an HD image including a high-frequency component not included in an SD image obtained by reducing the number of pixels of the HD image by thinning or the like. However, there is a limit to approaching the original HD image. The reason may be that the pixel value of the SD image pixel (SD pixel) obtained by thinning the number of pixels of the HD image is not optimal for restoring the original HD image.
[0051]
Therefore, the applicant of the present application has previously proposed compression (encoding) of an image using adaptive processing in order to obtain a decoded image having a quality close to that of the original HD image (for example, a special feature). Application No. 8-206552).
[0052]
That is, FIG. 28 shows a configuration example of an image encoding device that compresses (encodes) an HD image into an optimal SD image so that a decoded image closer to the original HD image can be obtained by adaptive processing. Show.
[0053]
The HD image to be encoded is supplied to the thinning unit 121 and the error calculation unit 43.
[0054]
In the thinning unit 121, the HD image is converted into an SD image by simply being thinned out and supplied to the correction unit 41, for example. When the correction unit 41 receives the SD image from the thinning unit 121, the correction unit 41 first outputs the SD image to the local decoding unit 122 as it is. For example, the local decoding unit 122 is configured in the same manner as the image conversion apparatus illustrated in FIG. 25, and performs the adaptive processing as described above using the SD image from the correction unit 41, thereby obtaining the predicted value of the HD pixel. Calculate and output to the error calculator 43. The error calculation unit 43 calculates a prediction error (error information) of the prediction value of the HD pixel from the local decoding unit 122 with respect to the original HD pixel, and outputs it to the control unit 44. The control unit 44 controls the correction unit 41 in response to the prediction error from the error calculation unit 43.
[0055]
In other words, the correction unit 41 corrects the pixel value of the SD image from the thinning unit 121 according to the control from the control unit 44 and outputs it to the local decoding unit 122. In the local decoding unit 122, the predicted value of the HD image is obtained again using the corrected SD image supplied from the correcting unit 41.
[0056]
Hereinafter, for example, the same processing is repeated until the prediction error output from the error calculation unit 43 is equal to or less than a predetermined value.
[0057]
Then, when the prediction error output from the error calculation unit 43 is equal to or less than a predetermined value, the control unit 44 controls the correction unit 41, thereby correcting the SD when the prediction error is equal to or less than the predetermined value. The image is output as an optimal encoding result of the HD image.
[0058]
Therefore, according to this corrected SD image, an HD image having a prediction error of a predetermined value or less can be obtained by applying adaptive processing thereto.
[0059]
Here, as described above, the SD image output from the image encoding device in FIG. 28 can be said to be optimal for obtaining a decoded image closer to the original HD image. The processing performed by the system composed of the correction unit 41, the local decoding unit 122, the error calculation unit 43, and the control unit 44 can be referred to as optimization processing.
[0060]
[Problems to be solved by the invention]
By the way, in the adaptive process, a prediction tap is constituted by SD pixels around the HD pixel, and the prediction value of the HD pixel is obtained by using the prediction tap. The SD pixel used as the prediction tap is, It was designed to be selected regardless of the image.
[0061]
That is, the prediction tap generation circuit 103 of the image conversion apparatus of FIG. 25 and the local decoding unit 122 of FIG. 28 configured in the same manner as the image conversion apparatus always generate (form) prediction taps of a certain pattern. It was made to.
[0062]
However, images often have locally different characteristics. Therefore, if the characteristics are different, adaptive processing using a prediction tap corresponding to the characteristics can obtain a decoded image closer to the quality of the original HD image. It is thought that you can.
[0063]
The present invention has been made in view of such a situation, and makes it possible to obtain a decoded image with improved image quality.
[0064]
[Means for Solving the Problems]
An image encoding device according to claim 1 is provided. Compression means for generating a compressed image signal having a smaller number of pixels than the number of pixels of the original image signal; One of the pixels constituting the compressed image signal is set as the target pixel, Consists of a pixel of interest used to predict the original image signal and pixels in the vicinity of the pixel of interest A first forming means for forming a plurality of pattern prediction taps, each of the plurality of pattern prediction taps, and a predetermined prediction coefficient are used to predict an original image signal and output a prediction value for each of the plurality of pattern prediction taps. 1 prediction means, a first calculation means for calculating a prediction error for each of the prediction taps for a plurality of patterns, and a prediction tap for obtaining a minimum prediction error among the prediction taps for the plurality of patterns. The pattern code corresponding to By replacing part of the pixel value of the target pixel Adding means for adding to the pixel value of the pixel of interest.
[0065]
The image encoding method according to claim 13, A compression step for generating a compressed image signal having a smaller number of pixels than the number of pixels of the original image signal; One of the pixels constituting the compressed image signal is set as the target pixel, Consists of a pixel of interest used to predict the original image signal and pixels in the vicinity of the pixel of interest A first forming step for forming a plurality of pattern prediction taps, each of the plurality of pattern prediction taps, and a predetermined prediction coefficient are used to predict an original image signal and output a prediction value for each of the plurality of pattern prediction taps. 1 prediction step, a first calculation step for calculating a prediction error of the prediction value for each of the prediction taps for a plurality of patterns with respect to the original image signal, and a prediction tap for obtaining a minimum prediction error among the prediction taps for the plurality of patterns The pattern code corresponding to By replacing part of the pixel value of the target pixel And an additional step of adding to the pixel value of the target pixel.
[0066]
The image decoding device according to claim 25, Separating means for separating the compressed image signal and the prediction coefficient from the encoded data; With one of the pixels constituting the compressed image signal included in the encoded data as the target pixel, a prediction tap of a pattern corresponding to the pattern code added to the pixel value of the target pixel is set in the vicinity of the target pixel. The image processing apparatus includes: a forming unit formed using pixels; a prediction tap formed by the forming unit; and a prediction unit that predicts an original image signal from a prediction coefficient and obtains a predicted value thereof.
[0067]
Claim 31 The image decoding method described in A separation step of separating the compressed image signal and the prediction coefficient from the encoded data; With one of the pixels constituting the compressed image signal included in the encoded data as the target pixel, a prediction tap of a pattern corresponding to the pattern code added to the pixel value of the target pixel is set in the vicinity of the target pixel. The image forming apparatus includes a forming step formed using pixels, a prediction step for predicting an original image signal from a prediction tap formed by the forming step, and a prediction coefficient, and obtaining a predicted value thereof.
[0069]
In the image encoding device according to claim 1, The compression means generates a compressed image signal having a smaller number of pixels than the number of pixels of the original image signal, The first forming means uses one of the pixels constituting the compressed image signal as a target pixel, Consists of a pixel of interest used to predict the original image signal and pixels in the vicinity of the pixel of interest A plurality of pattern prediction taps are formed, and the first prediction unit predicts an original image signal from each of the plurality of pattern prediction taps and a predetermined prediction coefficient, and outputs a prediction value for each of the plurality of pattern prediction taps. It is made like that. The first calculation means calculates a prediction error of the prediction value for each of the prediction taps of the plurality of patterns with respect to the original image signal, and the addition means sets the prediction tap for obtaining the minimum prediction error among the prediction taps of the plurality of patterns. The corresponding pattern code is By replacing part of the pixel value of the target pixel This is added to the pixel value of the target pixel.
[0070]
In the image encoding method according to claim 13, Generate a compressed image signal with fewer pixels than the original image signal, One of the pixels constituting the compressed image signal is set as the target pixel, Consists of a pixel of interest used to predict the original image signal and pixels in the vicinity of the pixel of interest A plurality of pattern prediction taps are formed, each of the plurality of pattern prediction taps and a predetermined prediction coefficient are used to predict an original image signal, and a prediction value for each of the plurality of pattern prediction taps is output. The prediction error of the prediction value for the original image signal is calculated, and the pattern code corresponding to the prediction tap from which the minimum prediction error is obtained among the prediction taps of the plurality of patterns, By replacing part of the pixel value of the target pixel This is added to the pixel value of the target pixel.
[0071]
In the image decoding device according to claim 25, The separating means separates the compressed image signal and the prediction coefficient from the encoded data, The forming means uses one of the pixels constituting the compressed image signal included in the encoded data as the target pixel, and selects a prediction tap of the pattern corresponding to the pattern code added to the pixel value of the target pixel as the target The prediction means is formed using pixels in the vicinity of the pixel, and the prediction means predicts the original image signal from the prediction tap formed by the formation means and the prediction coefficient, and obtains the prediction value.
[0072]
Claim 31 In the image decoding method described in Separate the compressed image signal and the prediction coefficient from the encoded data, With one of the pixels constituting the compressed image signal included in the encoded data as the target pixel, a prediction tap of a pattern corresponding to the pattern code added to the pixel value of the target pixel is set in the vicinity of the target pixel. It is formed using pixels, and an original image signal is predicted from the prediction tap and a prediction coefficient, and the predicted value is obtained.
[0074]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below, but before that, in order to clarify the correspondence between the respective means of the invention described in the claims and the following embodiments, after each means, A corresponding embodiment (however, an example) is added in parentheses to describe the characteristics of the present invention, and the following is obtained.
[0075]
That is, the image encoding apparatus according to claim 1 is an image encoding apparatus that encodes an image signal, and includes a compression unit that generates a compressed image signal having a number of pixels smaller than the number of pixels of the original image signal (for example, A thinning circuit 31 shown in FIG. 5) and one of the pixels constituting the compressed image signal as a target pixel, Consists of a pixel of interest used to predict the original image signal and pixels in the vicinity of the pixel of interest First forming means for forming a plurality of patterns of prediction taps (for example, the prediction tap generation circuit 32 shown in FIG. 5 or the prediction tap generation circuit 61 shown in FIG. 22), each of the plurality of patterns of prediction taps, First prediction means that predicts the original image signal from the prediction coefficient and outputs a predicted value for each of the prediction taps of a plurality of patterns (for example, the class classification adaptive processing circuit 33 shown in FIG. 5 or the class classification shown in FIG. 22). Adaptive processing circuit 62 and the like, and first calculation means for calculating a prediction error of the prediction value for each of the prediction taps of the plurality of patterns with respect to the original image signal (for example, the prediction error calculation circuit 34 shown in FIG. And a pattern code corresponding to a prediction tap from which a minimum prediction error can be obtained among prediction taps of a plurality of patterns, By replacing part of the pixel value of the target pixel An adding means (for example, a tap pattern code adding circuit 36 shown in FIG. 5 or a tap pattern code changing circuit 64 shown in FIG. 22) for adding to the pixel value of the target pixel is provided.
[0076]
The image encoding apparatus according to claim 3, wherein the first prediction unit includes: Predictive error is minimized It has a calculation means (for example, a calculation circuit 87 shown in FIG. 11) for obtaining a prediction coefficient.
[0077]
In the image encoding device according to claim 4, the first prediction unit further includes a class classification unit (for example, a class classification circuit 82 shown in FIG. 11) that classifies the pixel of interest into a predetermined class, A prediction value is obtained from a prediction coefficient corresponding to the class of the pixel of interest and a prediction tap, and the calculation means obtains a prediction coefficient for each class based on the original image signal and the compressed image signal.
[0078]
The image encoding device according to claim 7, The compressed image signal is converted into a signal that minimizes the prediction error of the converted image and the prediction value predicted by the prediction coefficient relative to the original image signal. Further, it is characterized by further comprising optimization means (for example, an optimization unit 23 shown in FIG. 3) for conversion.
[0079]
The image coding apparatus according to claim 8, wherein the optimization unit forms a second prediction unit (for example, as shown in FIG. 16) that forms a prediction tap of a pattern corresponding to the pattern code added to the pixel value of the target pixel. A second prediction unit (for example, FIG. 16) that predicts the original image signal and outputs the predicted value from the prediction tap formed by the second generation unit and the prediction coefficient. And a second calculation unit (for example, an error calculation circuit 43 shown in FIG. 16) that calculates a prediction error of the prediction value obtained by the second prediction unit with respect to the original image signal. Etc.) and the prediction error calculated by the second calculation means By increasing or decreasing the pixel value by a predetermined value so that the prediction error becomes smaller And a correction means (for example, a correction unit 41 shown in FIG. 16) for correcting the pixel value of the target pixel.
[0080]
The image coding apparatus according to claim 10, wherein the predicted value obtained by the second prediction unit based on the compressed image signal obtained every time the optimization process is performed and the original image signal is applied to the original image signal. Prediction error Is the coefficient that minimizes The image processing apparatus further includes correction means for correcting the prediction coefficient (for example, the adaptive processing unit 24 shown in FIG. 3), and the first and second prediction means determine the prediction value using the prediction coefficient corrected by the correction means. It is characterized by.
[0081]
The image coding apparatus according to claim 11 includes an output unit (for example, the multiplexing unit 27 shown in FIG. 3) that outputs the compressed image signal output from the optimization unit and the prediction coefficient output from the correction unit. It is further provided with the feature.
[0082]
The image encoding device according to claim 12 further includes output means (for example, a multiplexing unit 27 shown in FIG. 3) that outputs a compressed image signal to which a pattern code is added and a prediction coefficient. And
[0083]
The image decoding device according to claim 25 generates a compressed image signal having a smaller number of pixels than the number of pixels of the original image signal, and uses one of the pixels constituting the compressed image signal as a target pixel. Consists of a pixel of interest used to predict the original image signal and pixels in the vicinity of the pixel of interest A plurality of pattern prediction taps are formed, each of the plurality of pattern prediction taps and a predetermined prediction coefficient are used to predict an original image signal, and a prediction value for each of the plurality of pattern prediction taps is output. The prediction error of the prediction value for the original image signal is calculated, and the pattern code corresponding to the prediction tap from which the minimum prediction error is obtained among the prediction taps of the plurality of patterns, By replacing part of the pixel value of the target pixel Compressed image signal obtained by adding to the pixel value of the pixel of interest And prediction coefficients An image decoding apparatus for decoding encoded data including: Separation means (for example, a separation unit 72 shown in FIG. 24) for separating the compressed image signal and the prediction coefficient from the encoded data; With one of the pixels constituting the compressed image signal included in the encoded data as the target pixel, a prediction tap of a pattern corresponding to the pattern code added to the pixel value of the target pixel is set in the vicinity of the target pixel. An original image signal is predicted from a forming unit (for example, a prediction tap generation circuit 73 shown in FIG. 24) formed using pixels, a prediction tap formed by the forming unit, and a prediction coefficient, and the predicted value is calculated. And a predicting means to be obtained (for example, a class classification adaptive processing circuit 74 shown in FIG. 24).
[0084]
The image decoding apparatus according to claim 28, wherein the prediction means includes class classification means (for example, a class classification circuit 91 shown in FIG. 17) for classifying the target pixel into a predetermined class, and sets the target pixel as a class of the target pixel. A predicted value is obtained from the corresponding prediction coefficient and the prediction tap, and the prediction coefficient is When encoding the encoded data, It is obtained for each class based on the original image signal and the compressed image signal.
[0086]
Of course, this description does not mean that the respective means are limited to those described above.
[0087]
FIG. 1 shows the configuration of an embodiment of an image processing apparatus to which the present invention is applied. The transmission device 1 is supplied with digitized HD image data. The transmission device 1 compresses and encodes the input image data (decreasing the number of pixels) and encodes the resulting SD image data as HD image encoded data, for example, an optical disc. Alternatively, the data is recorded on a recording medium 2 made of a magneto-optical disk, a magnetic tape, or the like, or transmitted through, for example, terrestrial waves, a satellite line, a telephone line, a CATV network, or other transmission paths 3.
[0088]
The receiving device 4 reproduces the encoded data recorded on the recording medium 2 or receives the encoded data transmitted via the transmission path 3, decompresses and decodes the encoded data, and the result The decoded image of the obtained HD image is supplied to a display (not shown) and displayed.
[0089]
The image processing apparatus as described above is, for example, an optical disk apparatus, a magneto-optical disk apparatus, a magnetic tape apparatus, or other apparatus for recording / reproducing an image, or, for example, a videophone apparatus or a television set. The present invention is applied to a broadcasting system, a CATV system, and other devices that transmit images. As will be described later, since the amount of encoded data output from the transmission apparatus 1 is small, the image processing apparatus in FIG. 1 has a low transmission rate, such as a mobile phone or other portable terminal that is convenient for movement. It is also applicable to.
[0090]
FIG. 2 shows a configuration example of the transmission apparatus 1.
[0091]
An I / F (InterFace) 11 performs reception processing of image data of HD images supplied from the outside and transmission processing of encoded data to the transmitter / recording device 16. A ROM (Read Only Memory) 12 stores a program for IPL (Initial Program Loading) and others. A RAM (Random Access Memory) 13 stores system programs (OS (Operating System)) and application programs recorded in the external storage device 15, and data necessary for the operation of a CPU (Central Processing Unit) 14. It is made to memorize. In accordance with the IPL program stored in the ROM 12, the CPU 14 expands the system program and the application program from the external storage device 15 to the RAM 13, and executes the application program under the control of the system program. The image data supplied from the image data is encoded as described later. The external storage device 15 is, for example, a magnetic disk device or the like, and stores system programs and application programs executed by the CPU 14 as well as data necessary for the operation of the CPU 14 as described above. The transmitter / recording device 16 records the encoded data supplied from the I / F 11 on the recording medium 2 or transmits it via the transmission path 3.
[0092]
The I / F 11, the ROM 12, the RAM 13, the CPU 14, and the external storage device 15 are connected to each other via a bus. In FIG. 2, the transmission device 1 has a configuration using a CPU, but can also be configured with hard logic.
[0093]
In the transmission apparatus 1 configured as described above, when image data of an HD image is supplied to the I / F 11, the image data is supplied to the CPU 14. The CPU 14 encodes image data and supplies an SD image as encoded data obtained as a result to the I / F 11. When the encoded data is received, the I / F 11 supplies the encoded data to the transmitter / recording device 16. In the transmitter / recording device 16, the encoded data from the I / F 11 is recorded on the recording medium 2 or transmitted via the transmission path 3.
[0094]
FIG. 3 is a functional block diagram of a portion excluding the transmitter / recording device 16 of the transmission device 1 of FIG.
[0095]
The HD image as the image data to be encoded is supplied to the preprocessing unit 21, the optimization unit 23, the adaptive processing unit 24, and the prediction tap pattern determination unit 26.
[0096]
The preprocessing unit 21 performs preprocessing as described later on the HD image supplied thereto, for example, in units of one frame (or one field), and an SD image or a plurality of patterns of prediction taps obtained as a result. A set of prediction coefficients w for each class is supplied to the terminal a of the

switch

22 or 25, respectively. The SD image output from the preprocessing unit 21 or the predicted tap pattern determination unit 26 is supplied to the terminal a or b of the switch 22, respectively. The switch 22 selects the terminal a only when a certain HD image is preprocessed by the preprocessing unit 21 and an SD image is output by this, and otherwise selects the terminal b. The SD image output from the processing unit 21 or the predicted tap pattern determination unit 26 is supplied to the optimization unit 23.
[0097]
The optimization unit 23 performs the optimization process described with reference to FIG. 28 on the SD image supplied from the switch 22, and the optimal SD image obtained as a result is represented by the adaptive processing unit 25, the prediction tap pattern determination unit. 26 and the multiplexing unit 27. The adaptive processing unit 24 performs an adaptive process using the optimal SD image from the optimization unit 23 and the original HD image, thereby obtaining a predicted value of the HD image obtained by linear combination with the pixel value of the optimal SD image. A set of prediction coefficients w for each class that reduces the prediction error is calculated for each prediction tap of a plurality of patterns, and is output to the terminal b of the switch 25.
[0098]
The switch 25 selects the terminal a only when the preprocessing unit 21 performs preprocessing on a certain HD image and thereby outputs a set of prediction coefficients w for each class for each of the prediction taps of a plurality of patterns. Otherwise, the terminal b is selected, and a set of prediction coefficients w for each class for each of the plurality of patterns of prediction taps output from the preprocessing unit 21 or the adaptive processing unit 24 is obtained by the optimization unit 23, The prediction tap pattern determination unit 26 and the multiplexing unit 27 are supplied.
[0099]
The prediction tap pattern determination unit 26 forms a plurality of patterns of prediction taps from the optimum SD image supplied from the optimization unit 23, and performs an adaptive process using each of the prediction taps of the plurality of patterns. The predicted value of the image is obtained. Further, the prediction tap pattern determination unit 26 determines the one that minimizes the prediction error of the prediction values of the plurality of HD images among the prediction taps of the plurality of patterns, and from the optimization unit 23 according to the determination result. A pattern code, which will be described later, is added to the pixel value of the optimum SD image and supplied to the terminal b of the switch 22.
[0100]
The multiplexing unit 27, in a predetermined case, sets an optimal SD image supplied from the optimization unit 23 and a set of prediction coefficients w for each class for each of the plurality of patterns of prediction taps supplied via the switch 25. And the multiplexed result is output as encoded data to the transmitter / recording device 16 (FIG. 2).
[0101]
Next, the operation will be described with reference to the flowchart of FIG.
[0102]
When the HD image to be encoded is supplied to the preprocessing unit 21, the optimization unit 23, the adaptive processing unit 24, and the prediction tap pattern determination unit 26, the preprocessing unit 21 preprocesses the HD image in step S1. Is given.
[0103]
That is, the preprocessing unit 21 forms an SD image by reducing the number of pixels of the HD image and compresses the SD image, and sequentially sets each of the SD pixels constituting the SD image as a target pixel. Form pattern prediction taps. Furthermore, the pre-processing unit 21 obtains a set of prediction coefficients w for each class by building and solving the normal equation shown in Expression (7) for each of the plurality of patterns of prediction taps. Then, the preprocessing unit 21 uses the prediction taps of a plurality of patterns and a set of prediction coefficients of a predetermined class of the set of prediction coefficients w for each class obtained for each of the linear 1 shown in Expression (1). By calculating the following equation, prediction values of a plurality of HD images obtained from the prediction taps of a plurality of patterns are obtained. Further, the pre-processing unit 21 detects the smallest prediction error of the prediction values of the plurality of HD images among the prediction taps of the plurality of patterns, and is associated with the pattern of the prediction tap in advance, for example, A tap pattern code, which is a 2-bit code, is added to the SD pixel that is the target pixel and output.
[0104]
As described above, the SD image to which the tap pattern code is added is applied to the terminal a of the switch 22 and the prediction coefficient w for each class for each of the prediction taps of a plurality of patterns obtained by solving the normal equation. Are output to the terminal a of the switch 25, respectively.
[0105]
As described above, the

switches

22 and 25 both select the terminal a at the timing when the set of the prediction coefficient w for each class for each of the SD image and the prediction taps of the plurality of patterns is output from the preprocessing unit 21. Accordingly, the SD image output from the preprocessing unit 21 is supplied to the optimization unit 23 via the switch 22, and each of the plurality of patterns of prediction taps output from the preprocessing unit 21 is classified for each class. The set of prediction coefficients w is output to the optimization unit 23 and the prediction tap pattern determination unit 26 via the switch 25.
[0106]
When receiving the set of prediction coefficients w for each class for each of the SD image and the prediction taps of a plurality of patterns, the optimization unit 23 performs an optimization process using them in step S2. That is, the optimization unit 23 performs an adaptive process using the set of prediction coefficients w for each class for each of the SD image and the prediction taps of a plurality of patterns, and the prediction error of the prediction value of the HD image obtained as a result is small. The pixel value of the SD image is corrected so that Then, the optimum SD image obtained as a result is supplied to the adaptive processing unit 24 and the prediction tap pattern determination unit 26.
[0107]
When the adaptive processing unit 24 receives the optimal SD image from the optimization unit 23, the adaptive processing unit 24 performs adaptive processing in step S3, thereby reducing the prediction error of the prediction value of the HD image obtained using the optimal SD image. A set of prediction coefficients w for each class for each of the prediction taps is calculated. That is, the adaptive processing unit 24 forms prediction taps for each pixel of interest by sequentially setting each of the SD pixels constituting the optimal SD image as the pixel of interest. At this time, a prediction tap having a pattern corresponding to the tap pattern code added to the target pixel is formed. Then, the adaptive processing unit 24 calculates a normal equation from the prediction tap for each prediction tap of the plurality of patterns and solves it to obtain a set of prediction coefficients w for each class for each of the prediction taps of the plurality of patterns. . A set of prediction coefficients w for each class for each of the plurality of pattern prediction taps is supplied to a terminal b of the switch 25.
[0108]
After the above processing, the process proceeds to step S4, where both the

switches

22 and 25 are switched from the terminal a to b, whereby each of the plurality of pattern prediction taps obtained in the adaptive processing unit 24 is obtained for each class. A set of prediction coefficients w is supplied to the optimization unit 23 and the prediction tap pattern determination unit 26 via the switch 25.
[0109]
Then, when the prediction tap pattern determination unit 26 receives the optimal SD image from the optimization unit 23 and further receives the set of prediction coefficients w for each class for each of the plurality of patterns of prediction taps from the adaptive processing unit 24, In step S5, an optimal pattern of prediction taps formed using each SD pixel constituting the optimal SD image as a target pixel is determined.
[0110]
In other words, the prediction tap pattern determination unit 26 forms a plurality of patterns of prediction taps for each target pixel, with each SD pixel constituting the optimal SD image as a target pixel. Furthermore, the prediction tap pattern determination unit 26 sets, for each of the plurality of patterns of prediction taps, a set of prediction coefficients of a predetermined class among the set of prediction coefficients w for each class corresponding to the prediction tap from the adaptive processing unit 24. Is used to calculate the linear linear expression shown in Expression (1), thereby obtaining predicted values of a plurality of HD images obtained from the prediction taps of a plurality of patterns. And the prediction tap pattern determination part 26 detects the prediction tap of the pattern corresponding to the smallest thing of the prediction errors of the prediction value of the some HD image obtained using each prediction tap of several patterns, and the prediction The tap pattern code already added to the SD pixel that is the target pixel is changed to the tap pattern code corresponding to the tap. That is, in this case, since the tap pattern code has already been added to the SD pixel, the tap pattern code of the prediction tap that minimizes the prediction error is added instead.
[0111]
As described above, the SD image in which the tap pattern code is changed is output to the terminal b of the switch 22.
[0112]
Since the switch 22 is switched in step S4 and the terminal b is selected, the SD image output from the prediction tap pattern determination unit 26 is supplied to the optimization unit 23 via the switch 22. In the optimization unit 23, in step S6, an optimization process is performed in the same manner as in step S2, thereby outputting an optimal SD image. In this case, the optimization unit 23 performs the adaptation process as described in step S2. This adaptation process is performed on the prediction taps of a plurality of patterns supplied from the adaptation processing unit 24 via the switch 25. This is done using a set of prediction coefficients w for each class for each.
[0113]
The optimum SD image output from the optimization unit 23 is supplied to the adaptation processing unit 24 and the prediction tap pattern determination unit 26. In the adaptation processing unit 24, the optimization unit 23 performs the same in step S7 as in step S3. Is performed using the optimum SD image output from the image, a set of prediction coefficients w for each class for each of the prediction taps of a plurality of patterns is obtained, and the optimization unit 23 and the prediction are performed via the switch 25. The data is output to the tap pattern determination unit 26.
[0114]
Thereafter, the process proceeds to step S8, and it is determined whether or not the processes of steps S5 to S8 have been performed a predetermined number of times. If it is determined in step S8 that the processes in steps S5 to S8 have not been performed a predetermined number of times, the process returns to step S5 and the above-described processes are repeated. If it is determined in step S8 that the processes in steps S5 to S8 have been performed a predetermined specified number of times, the process proceeds to step S9, where the multiplexing unit 27 determines that the optimization unit 23 has performed the optimization in step S6. The output optimum SD image and the set of prediction coefficients w for each class for each of the plurality of patterns of prediction taps used at that time are multiplexed, output as encoded data, and the process is terminated.
[0115]
The above processing is repeated, for example, in units of one frame.
[0116]
In the above-described case, it is determined in step S8 whether or not the processing of steps S5 to S8 has been performed a predetermined specified number of times. However, in step S8, for example, the output from the optimization unit 23 at that time is performed. It is determined whether or not the sum of absolute values for one frame of the prediction error of the prediction value of the HD image obtained by performing the adaptive process using the optimal SD image is less than or equal to a predetermined threshold value. If YES in step S9, the process proceeds to step S9. If not equal to or less than the threshold value, the process may return to step S5. That is, the processing in steps S5 to S8 is performed until the absolute value sum of one frame of the prediction error of the prediction value of the HD image obtained by performing the adaptive processing using the optimal SD image is equal to or less than a predetermined threshold value. It is possible to repeat.
[0117]
Next, FIG. 5 shows a configuration example of the preprocessing unit 21 of FIG.
[0118]
The HD image to be encoded is supplied to the thinning circuit 31, the class classification adaptive processing circuit 33, and the prediction error calculation circuit 34.
[0119]
The thinning circuit 31 reduces the number of pixels of the HD image, for example, by thinning out, constitutes an SD image, and supplies it to the prediction tap generation circuit 32 and the tap pattern code addition circuit 36. That is, the thinning circuit 31 divides an HD image into, for example, square blocks each having 9 pixels of horizontal × vertical 3 × 3 pixels, and the average value of the 9 pixels of each block is determined as the pixel of the center pixel. An SD image is formed as a value. Thereby, in the thinning circuit 31, for example, an SD image composed of SD pixels indicated by ◯ in the figure is constructed from an HD image composed of HD pixels indicated by ・ in FIG.
[0120]
In addition, for example, the thinning circuit 31 may be configured to extract only the pixel at the center of the above-described block to form an SD image.
[0121]
The prediction tap generation circuit 32 sequentially sets each SD pixel constituting the SD image from the thinning circuit 31 (the portion indicated by a circle in FIG. 6) as a target pixel, and sets a plurality of patterns of prediction taps for each target pixel. It is made to compose. That is, in the present embodiment, for example, as shown in FIGS. 7 to 10, four patterns of 3 × 3 pixels, 5 × 3 pixels, 3 × 5 pixels, or 7 × 5 pixels centered on the pixel of interest. Prediction taps are formed. These four patterns of prediction taps are supplied to the class classification adaptive processing circuit 33.
[0122]
The class classification adaptive processing circuit 33 performs class classification for each of the four patterns of prediction taps supplied from the prediction tap generation circuit 32, and further, for each class, the normal equation shown in Expression (7) using the HD image. By solving the above, a set of prediction coefficients w for each class for each of the four patterns of prediction taps is obtained. The class classification adaptive processing circuit 33 also includes a prediction coefficient w for each predetermined class, a prediction coefficient w for each predetermined pattern, and a prediction pattern for each of the four patterns, among the set of prediction coefficients w for each class for each of the obtained prediction taps for the four patterns. Thus, by calculating the linear linear expression shown in Expression (1), predicted values of a plurality of HD images obtained from each of the four patterns of prediction taps are obtained and output to the prediction error calculation circuit 34. ing.
[0123]
Note that the set of prediction coefficients w for each class obtained for each of the four patterns of prediction taps in the class classification adaptive processing circuit 33 is supplied to the memory 35.
[0124]
Further, in the present embodiment, in the class classification adaptive processing circuit 33, for each of the four patterns of prediction taps, the normal equation is shown as enclosed by a dotted line in FIG. 6, for example, regardless of the prediction tap pattern. The prediction value of the 3 × 3 HD pixel centered on the SD pixel as the target pixel is obtained. Accordingly, the class classification adaptive processing circuit 33 obtains a set of prediction coefficients for each class for each of the four patterns of prediction taps for generating a prediction value of 3 × 3 HD pixels. The detailed configuration of the class classification adaptive processing circuit 33 will be described later.
[0125]
The prediction error calculation circuit 34 is configured to obtain a prediction error with respect to the pixel value of the original HD image of the prediction value of the HD image obtained from each of the four patterns of prediction taps for each target pixel. That is, for each of the four patterns of prediction taps, for example, the sum of squares of the difference between the predicted value of 9 pixels of HD pixels and the pixel value of 9 pixels of the original HD image is calculated. The prediction error calculation circuit 34 detects the prediction error (sum of squares of differences) that is the smallest of the four patterns of prediction taps. Further, the prediction error calculation circuit 34 outputs a 2-bit tap pattern code corresponding to the prediction tap pattern with the smallest prediction error to the memory 35 and the tap pattern code addition circuit 36.
[0126]
The memory 35 is configured to temporarily store a set of prediction coefficients w for each class obtained from each of the four patterns of prediction taps supplied from the class classification adaptive processing circuit 33. Then, for example, when processing of an HD image of one frame (or one field) ends (that is, a tap pattern code is added to all SD pixels), the memory 35 obtains each of four prediction taps. The set of prediction coefficients w for each class is read out and output to the terminal a of the switch 25.
[0127]
The tap pattern code adding circuit 36 adds the tap pattern code supplied from the prediction error calculating circuit 34 to the SD image supplied thereto. That is, the tap pattern code adding circuit 36 deletes 2 bits on the LSB (Least Significant Bit) side of the pixel value (for example, composed of 8 bits) of the SD pixel that is the target pixel, A 2-bit tap pattern code is arranged. The SD image to which the tap pattern code is added in the tap pattern code adding circuit 36 is output to the terminal a of the switch 22.
[0128]
Here, the configuration of the class classification adaptive processing circuit 33 will be described. The class classification adaptive processing circuit 33 has a class classification adaptive processing circuit (prediction coefficient and prediction value calculation) that performs processing on each of the four patterns of prediction taps. That is, the class classification adaptive processing circuit 33 has four independent class classification adaptive processing circuits (prediction coefficient and prediction value calculation) for each of four patterns of prediction taps. FIG. 11 and FIG. 12 show one of the class classification adaptive processing circuits (prediction coefficient, prediction value calculation). Since the four class classification adaptive processing circuits (prediction coefficient, prediction value calculation) have the same configuration except that four different prediction taps are supplied, one class classification adaptive processing circuit (prediction coefficient, prediction value) Value calculation) will be described and the others will be omitted.
[0129]
The class classification adaptive processing circuit (prediction coefficient and prediction value calculation) shown in FIGS. 11 and 12 includes a class classification circuit 82, a delay circuit 84, a prediction tap memory 85, a teacher data memory 86, an arithmetic circuit 87, and a delay circuit 88 ( 11), a class classification circuit 91, a coefficient RAM 94, and a prediction calculation circuit 95 (FIG. 12).
[0130]
A class classification circuit 82, a delay circuit 84, a prediction tap memory 85, a teacher data memory 86, excluding the delay circuit 88, constituting a part of the class classification adaptive processing circuit (prediction coefficient and prediction value calculation) shown in FIG. Alternatively, the arithmetic circuit 87 is configured similarly to the class classification circuit 112, the delay circuit 114, the prediction tap memory 115, the teacher data memory 116, or the arithmetic circuit 117 of the learning device shown in FIG. However, since the prediction tap is supplied from the prediction tap generation circuit 32, a delay circuit 88 is provided instead of the prediction tap generation circuit 113 shown in FIG. 27, and the prediction tap from the prediction tap generation circuit 32 is a delay circuit. 88 to be supplied. In the delay circuit 88, as in the delay circuit 84, the prediction tap is delayed and supplied to the prediction tap memory 85 by the time for which the class for the pixel of interest is supplied from the class classification circuit 82 to the prediction tap memory 85. It is made to be memorized.
[0131]
In addition, the class classification circuit 91 or the prediction calculation circuit 95 excluding the coefficient RAM 94, which constitutes another part of the class classification adaptive processing circuit (prediction coefficient, prediction value calculation) shown in FIG. 12, is the class shown in FIG. The classification circuit 101 or the prediction calculation circuit 105 is configured in the same manner. The coefficient RAM 94 is configured to store a set of prediction coefficients for each class output from the arithmetic circuit 87 of FIG.
[0132]
In the class classification adaptive processing circuit (prediction coefficient and prediction value calculation) configured as described above, the data for one frame of HD pixels is almost the same as in FIG. 27, the prediction tap memory 85 and the teacher data memory. 86, a set of prediction coefficients for each class is generated. The generated set of prediction coefficients for each class is supplied to and stored in the coefficient RAM 94 in FIG. 12, and is also supplied to and stored in the memory 35 of the preprocessing unit 21 in FIG. As described above, since a set of prediction coefficients for each class for each of the four patterns of prediction taps is generated by an independent circuit, a set of prediction coefficients for each class of each of the four patterns of prediction taps is generated. 12 is supplied to and stored in the coefficient RAM 94 in FIG. 12, and is also supplied to and stored in the memory 35 of the preprocessing unit 21 in FIG.
[0133]
In the class classification circuit 91, the coefficient RAM 94, and the prediction calculation circuit 95 that constitute a part of the class classification adaptive processing circuit (prediction coefficient and prediction value calculation) shown in FIG. 12, a set of prediction coefficients for each class is stored in the coefficient RAM 94. Then, the same processing as that performed by the class classification circuit 101, the coefficient RAM 104, or the prediction calculation circuit 105 of the image conversion apparatus in FIG. 25 is performed, thereby obtaining a predicted value of the HD image. That is, when a set of prediction coefficients for each class for each of the four patterns of prediction taps is stored in the coefficient RAM 94 of FIG. 12, class classification is performed in the class classification circuit 91, and class information is supplied to the coefficient RAM 94. The The coefficient RAM 94 outputs a set of prediction coefficients corresponding to the supplied class information, and supplies it to the prediction calculation circuit 95. The prediction calculation circuit 95 calculates the linear primary expression shown in Expression (1) from the supplied prediction tap and the set of prediction coefficients, thereby obtaining prediction values of a plurality of HD images.
[0134]
Since the class classification circuit 82 and the class classification circuit 91 have the same configuration, only one of them may be provided.
[0135]
Next, the processing of the preprocessing unit 21 will be described with reference to the flowchart of FIG.
[0136]
When an HD image to be encoded is input to the preprocessing unit 21, the HD image is supplied to the thinning circuit 31, the class classification adaptive processing circuit 33, and the prediction error calculation circuit 34. When receiving the HD image, the thinning circuit 31 thins out the number of pixels to form an SD image in step S11.
[0137]
That is, in step S11, as shown in the flowchart of FIG. 14, first, in step S21, the HD image is divided into, for example, 3 × 3 pixel HD image blocks, and the process proceeds to step S22.
[0138]
In this embodiment, the HD image is composed of, for example, a luminance signal Y and color difference signals U and V, and in step S21, a luminance signal block and a color difference signal block are configured. ing.
[0139]
In step S22, one of the blocks is set as a target block, and an average value of the pixel values of 3 × 3 HD pixels constituting the target block is calculated. Further, in step S22, the average value is set as the pixel value of the center pixel (SD pixel) of the target block, and the process proceeds to step S23.
[0140]
In step S23, it is determined whether the target block is a luminance signal block. If it is determined in step S23 that the target block is a block of a luminance signal, the process proceeds to step S24, and the pixel value (in this case, the luminance signal) of the pixel at the center of the target block as the SD pixel is 2 bits on the LSB side. However, in order to add a tap pattern code, it is cleared to 0, for example, and the process proceeds to step S25. If it is determined in step S23 that the target block is not a luminance signal block, that is, if the target block is a color difference signal block, step S24 is skipped and the process proceeds to step S25.
[0141]
Here, in the present embodiment, a plurality of patterns of prediction taps are prepared only for luminance signals, and a fixed pattern of prediction taps is used for color difference signals. Accordingly, the tap pattern code is added only for the luminance signal, and the tap pattern code is not added for the color difference signal. Therefore, the 2 bits on the LSB side are not cleared. .
[0142]
In step S25, it is determined whether all the blocks configured in step S21 have been processed as the target block. If it is determined that all the blocks have not yet been processed as the target block, the process returns to step S22, Similar processing is repeated with a block that has not yet been set as the target block as a new target block. If it is determined in step S25 that all the blocks have been processed as the target block, that is, if an SD image is configured, the process returns.
[0143]
Returning to FIG. 13, in step S <b> 11, the SD image configured as described above is supplied from the thinning circuit 31 to the prediction tap generation circuit 32 and the tap pattern code addition circuit 36. When the prediction tap generation circuit 32 receives the SD image from the thinning-out circuit 31, in step S12, the SD pixels constituting the prediction tap are sequentially set as the target pixels, and the four patterns shown in FIGS. A prediction tap is formed (generated) and supplied to the class classification adaptive processing circuit 33.
[0144]
As described above, four patterns of prediction taps are formed only for luminance signals, and for color difference signals, for example, only a prediction tap of 7 × 5 pixels as shown in FIG. It is formed.
[0145]
In step S13, the class classification adaptive processing circuit 33 is first configured as shown in FIGS. 11 and 12 for each of the four patterns of prediction taps (in the case of luminance signals) supplied from the prediction tap generation circuit 32. Then, class classification is performed by each class classification adaptive processing circuit (prediction coefficient, prediction value calculation).
[0146]
Here, in the present embodiment, for example, for each of the four patterns of prediction taps in class classification circuits 82 and 91 (FIGS. 11 and 12), for example, the following class classification taps (hereinafter referred to as class taps as appropriate). Is configured and classification is performed.
[0147]
That is, with respect to any of the four patterns of prediction taps, for example, the luminance signal is represented by 5 SD pixels in a rhombus-shaped range centered on the target pixel, as shown by being surrounded by a dotted line in FIG. Class taps are configured. Then, the difference between the maximum value and the minimum value of the pixel values of the five pixels is set as a dynamic range DR, and three pixels arranged vertically in the class tap using the dynamic range DR (FIG. 15A). 1 pixel ADRC processing is performed on 3 pixels surrounded by a solid line in FIG. And the thing which added the tap code corresponding to a prediction tap to the pattern of the pixel value of these 3 pixels is made into the class of the attention pixel. Therefore, in this case, a pixel value pattern obtained by performing 1-bit ADRC processing on three vertically arranged pixels in the class tap is represented by 3 bits, and since the tap code is 2 bits, the luminance signal is , 32 (= 2 ^Five ) Classified into one of the classes.
[0148]
On the other hand, for the color difference signal, for example, as shown by being surrounded by a dotted line in FIG. 15B, a class tap is configured by nine SD pixels in a square range centering on the target pixel. Then, the difference between the maximum value and the minimum value among the pixel values of the nine pixels is set as a dynamic range DR, and the dynamic range DR is used to determine a rhombus-shaped range centering on the target pixel in the class tap. Five SD pixels (5 pixels surrounded by a solid line in FIG. 15B) are subjected to 1-bit ADRC processing. The pattern of pixel values of the five pixels is set as the class of the target pixel. Therefore, in this case, since the pixel value pattern obtained by performing 1-bit ADRC processing on 5 pixels centered on the target pixel in the class tap is expressed by 5 bits, the color difference signal is also the same as the luminance signal. , 32 (= 2 ^Five ) Classified into one of the classes.
[0149]
In the class classification adaptive processing circuit 33, the class of the target pixel is determined as described above, and accordingly, the prediction of the class corresponding to each address in the prediction tap memory 85 or the teacher data memory 86 (FIG. 11) is performed. Taps or HD pixels (teacher data) are stored. In the arithmetic circuit 87 (FIG. 11), for each of the four patterns of prediction taps, prediction taps or HD images (teacher data) stored in the prediction tap memory 85 or the teacher data memory 86 are used for each class. Thus, a normal equation of Equation (7) is established, and by solving it, a set of prediction coefficients w for each class for each of the four patterns of prediction taps is obtained. A set of prediction coefficients w for each class for each of the four patterns of prediction taps obtained using each of the four patterns of taps is supplied to and stored in the memory 35 and the coefficient RAM 94.
[0150]
Thereafter, in step S14, the class classification adaptive processing circuit 33 sets the prediction coefficient w for each class for each of the four patterns of prediction taps obtained using the four patterns of prediction taps, and the four patterns of prediction taps. From each of them, by calculating the linear linear expression shown in Expression (1), the prediction value of the HD image obtained from each of the four patterns of prediction taps is obtained and output to the prediction error calculation circuit 34.
[0151]
That is, in step S14, the class classification circuit 91 (FIG. 12) is used for the prediction tap generated by the prediction tap generation circuit 32 using one of the SD pixels constituting the SD image output from the thinning circuit 31 as the target pixel. Is read from the coefficient RAM 94 (FIG. 12). Then, in the prediction calculation circuit 95 (FIG. 12), the linear linear expression of Expression (1) is calculated using the set of prediction coefficients w from the coefficient RAM 94 and the prediction tap for the target pixel, Predicted values of nine HD pixels around the target pixel described with reference to FIG. 6 are obtained and supplied to the prediction error calculation circuit 34.
[0152]
In the class classification adaptive processing circuit 33, a predicted value is obtained for each of the four prediction taps.
[0153]
In step S <b> 15, the prediction error calculation circuit 34 obtains a prediction error for the prediction value of the HD image for each of the four patterns of prediction taps supplied from the class classification adaptive processing circuit 33 with respect to the pixel value of the original HD image. That is, for example, for each of the four patterns of prediction taps, the sum of squares of the difference between the predicted value of 9 HD pixels and the original HD pixel value is obtained as a prediction error. In step S16, a prediction tap with the smallest prediction error is detected for the target pixel. Further, the prediction error calculation circuit 34 outputs a 2-bit tap pattern code corresponding to the prediction tap to the tap pattern code adding circuit 36.
[0154]
In the tap pattern code adding circuit 36, in step S17, the pixel value of the target pixel among the SD pixels constituting the SD image from the thinning circuit 31 (however, only for the luminance signal in the present embodiment) on the LSB side. Two bits are output as a tap pattern code (a 2-bit tap pattern code is added instead of the two bits on the LSB side of the pixel value of the target pixel).
[0155]
Thereafter, the process proceeds to step S18, where it is determined whether tap pattern codes have been added to all SD pixels. If it is determined that tap pattern codes have not been added to all SD pixels, the process returns to step S14, The process of steps S14 to S18 is repeated by setting any one of the SD pixels to which the tap pattern code is not added as a new target pixel. On the other hand, if it is determined in step S18 that the tap pattern code has been added to all SD pixels, the memory 35 outputs a set of prediction coefficients w for each class for each of the four patterns of prediction taps in step S19. Then, the process ends.
[0156]
In the pre-processing unit 21, the SD pixels constituting the SD image output from the thinning circuit 31 as described above (here, the pixels having the average value of 3 × 3 HD pixels as the pixel values as described above). For each, a tap pattern code of a prediction tap that minimizes the prediction error is temporarily added.
[0157]
Next, FIG. 16 shows a configuration example of the optimization unit 23 of FIG. In the figure, parts that are basically the same as those in the image encoding apparatus of FIG. 28 are denoted by the same reference numerals. That is, the optimization unit 23 is basically configured in the same manner as the image encoding device in FIG. 28 except that the thinning circuit 121 is not provided and a local decoding unit 42 is provided instead of the local decoding unit 122. .
[0158]
The local decoding unit 42 includes a prediction tap generation circuit 42A and a class classification adaptive processing circuit 42B, and an SD image is supplied from the correction unit 41 thereto. The prediction tap generation circuit 42A forms (generates) a prediction tap corresponding to the tap pattern code arranged on the LSB side of the SD pixel of the SD image supplied from the correction unit 41, and sends it to the class classification adaptive processing circuit 42B. It is made to supply. In addition to the prediction tap, the class classification adaptive processing circuit 42B is supplied with a set of prediction coefficients w for each class for each of the SD pixels for class classification and the four patterns of prediction taps. The class classification adaptive processing circuit 42B classifies the target pixel constituting the prediction tap using the SD pixel for class classification as described in FIG. 15, and sets the prediction coefficient w corresponding to the class. By calculating the linear linear expression shown in the expression (1) from the prediction tap, the 3 × 3 HD centered on the SD pixel as the target pixel, which is surrounded by a dotted line in FIG. A predicted value of the pixel value of the pixel is obtained. This predicted value is supplied to the error calculation unit 43.
[0159]
Here, FIG. 17 shows a configuration example of the class classification adaptive processing circuit 42B of FIG. In the figure, portions corresponding to those in FIG. 12 are denoted by the same reference numerals. That is, the class classification adaptive processing circuit 42B is configured in the same way as a part of one class classification adaptive processing circuit (prediction coefficient, prediction value calculation) constituting the class classification adaptive processing circuit 33 shown in FIG. The description is omitted.
[0160]
Next, the operation will be described with reference to the flowchart of FIG.
[0161]
When receiving the SD image, the optimization unit 23 sets one of the SD pixels constituting the SD image as a target pixel, and sets a variable Δ representing a correction amount for correcting the pixel value of the target pixel in step S31. For example, it is initialized to 0. In step S31, for example, 4 or 1 is set as an initial value in a variable S that represents a change amount (hereinafter referred to as an offset amount as appropriate) for changing the correction amount.
[0162]
That is, for the luminance signal, as described above, since the 2 bits on the LSB side are a tap pattern code and do not constitute a pixel value, the offset amount S is 4 (= 2). ² ) Is set. Further, this is not the case for the color difference signal, and all bits constitute a pixel value, and therefore the offset amount S is 1 (= 2). ⁰ ) Is set.
[0163]
Further, in step S31, −1 as an initial value is set to a variable i for counting the number of corrections of the target pixel, and the process proceeds to step S32. In step S32, the number of times i is incremented by 1, and the process proceeds to step S33. When the adaptive processing is performed using the correction value obtained by correcting the pixel value of the target pixel by the correction amount Δ, the HD pixel affected by the correction is affected. A prediction error E of the predicted value is calculated.
[0164]
That is, in this case, the correction unit 41 adds, for example, the correction amount Δ to the pixel value of the target pixel, and outputs the addition value to the local decoding unit 42 as the pixel value of the target pixel. Here, when the process of step S33 is first performed on the target pixel, that is, when the number of times i = 0, the correction amount Δ remains 0, which is the initial value set in step S31. From the correction unit 41, the pixel value of the target pixel is output as it is.
[0165]
In the local decoding unit 42, in the prediction tap generation circuit 42A, a prediction tap is formed corresponding to the tap pattern code arranged in 2 bits on the LSB side of the pixel value of the pixel of interest, and the classification classification adaptive processing circuit 42B Is output. In the class classification adaptive processing circuit 42B, first, the pixel of interest is classified in the same manner as in the class classification adaptive processing circuit 33 in FIG. Further, the class classification adaptive processing circuit 42B calculates the HD pixel by calculating the linear primary expression shown in Expression (1) from the prediction coefficient corresponding to the class and the prediction tap from the prediction tap generation circuit 42A. The predicted value of the pixel value is obtained.
[0166]
That is, in the class classification adaptive processing circuit 42B, in the class classification circuit 91 (FIG. 17), the class tap as described in FIG. 15 is configured from the SD pixels constituting the prediction tap from the prediction tap generation circuit 42A, and the class Classification is performed. The class obtained as a result of the class classification in the class classification circuit 91 is supplied to the coefficient RAM 94 (FIG. 17).
[0167]
The coefficient RAM 94 (FIG. 17) stores a set of prediction coefficients for each class for each of the four patterns of prediction taps supplied via the switch 25, and the prediction coefficient corresponding to the class from the class classification circuit 91 is stored. A set of prediction coefficients for the prediction tap corresponding to the tap pattern code added to the target pixel is read. This set of prediction coefficients is supplied to the prediction calculation circuit 95 (FIG. 17).
[0168]
In the prediction calculation circuit 95, the linear primary expression of Expression (1) is calculated using the set of prediction coefficients from the coefficient RAM 94 and the prediction tap supplied from the prediction tap generation circuit 42A, thereby obtaining an HD pixel. Is predicted.
[0169]
Further, in the class classification adaptive processing circuit 42B, when the pixel value of the target pixel is corrected by the correction amount Δ, the predicted value is similarly obtained for the HD pixel affected by the correction.
[0170]
That is, for example, as shown in FIG. 19, it is assumed that the SD pixel A is corrected as a target pixel. In the present embodiment, the prediction tap has the widest range when the prediction tap is composed of 7 × 5 SD pixels as shown in FIG. In the case where the prediction tap is configured, the SD pixel A is included in the prediction tap, and the SD pixel farthest from the SD pixel A is the target pixel. SD pixels B, C, D , E are the target pixels, and a 7 × 5 pixel prediction tap is configured. Then, when the SD pixels B, C, D, and E are set as the target pixels and a prediction tap of 7 × 5 pixels is configured, in the present embodiment, ranges b, c, and d surrounded by solid lines in FIG. , E, the predicted values of 3 × 3 HD pixels are respectively obtained. Therefore, when the pixel value is corrected with the SD pixel A as the pixel of interest, the worst case is the smallest rectangle including the ranges b, c, d, and e. This is the predicted value of 21 × 15 HD pixels within the range indicated by the dotted line at 19.
[0171]
Therefore, in the present embodiment, such a predicted value of 21 × 15 HD pixels is obtained in the class classification adaptive processing circuit 42B.
[0172]
The predicted value of the HD pixel obtained by the class classification adaptive processing circuit 42B is supplied to the error calculation unit 43. The error calculation unit 43 subtracts the true pixel value of the corresponding HD pixel from the predicted value of the HD pixel from the class classification adaptive processing circuit 42B, and obtains, for example, the square sum of the prediction error that is the subtraction value. This sum of squares is supplied to the control unit 44 as error information E.
[0173]
When the error information is received from the error calculation unit 43, the control unit 44 determines whether or not the number of times i is 0 in step S34. If it is determined in step S34 that the number of times i is 0, that is, if the error information E received by the control unit 44 is obtained without correcting the target pixel, the process proceeds to step S35. Variable E for storing error information obtained without correcting the pixel of interest (error information when not corrected) ₀ In addition, the error information E is set, and the error information E is also set in the variable E ′ for storing the previously obtained error information. Further, in step S35, the correction amount Δ is incremented by the offset amount S, and the control unit 44 controls the correction unit 41 so as to correct the pixel value of the target pixel by the correction amount Δ obtained thereby. . Thereafter, the process returns to step S32, and the same processing is repeated thereafter.
[0174]
In this case, in step S32, the number of times i is incremented by 1 to become 1, so in step S34, it is determined that the number of times i is not 0, and the process proceeds to step S36. In step S36, it is determined whether or not the number of times i is 1. In this case, since the number of times i is 1, in step S36, it is determined that the number of times i is 1. The process proceeds to step S37, and whether or not the previous error information E ′ is greater than or equal to the current error information E. Is determined. If it is determined in step S37 that the previous error information E ′ is not equal to or greater than the current error information E, that is, the current error information E is corrected by correcting the pixel value of the target pixel by the correction amount Δ. If the error information E ′ has increased from the previous error information E ′ (in this case, error information when no correction is performed), the process proceeds to step S 38, and the control unit 44 newly calculates a value obtained by multiplying the offset amount S by −1. Further, the correction amount Δ is incremented by twice the offset amount S, and the process returns to step S32.
[0175]
That is, by correcting the pixel value of the target pixel by the correction amount Δ (in this case, Δ = S), the sign of the offset amount S is reversed when the error increases compared to when the correction is not performed. (In this embodiment, since a positive value is set in the offset amount S in step S31, the sign of the offset amount S is changed from positive to negative in step S38). Further, the correction amount Δ which was S in the previous time is set to −S.
[0176]
If it is determined in step S37 that the previous error information E ′ is equal to or greater than the current error information E, that is, the current error information E ′ is corrected by correcting the pixel value of the target pixel by the correction amount Δ. Is reduced from the previous error information E ′ (or the same as the previous error information E ′), the process proceeds to step S39, where the control unit 44 increments the correction amount Δ by the offset amount S and The error information E ′ is updated by setting the current error information E, and the process returns to step S32.
[0177]
In this case, in step S32, the number of times i is further incremented by 1 to become 2, so that in step S34 or S36, it is determined that the number of times i is not 0 or 1, respectively, and as a result, the process proceeds from step S36 to S40. In step S40, it is determined whether or not the number of times i is 2. Since the number of times i is now 2, in step S40, it is determined that the number of times i is 2, and the process proceeds to step S41, where error information E at the time of uncorrection is obtained. ₀ Is less than or equal to the current error information E, and whether or not the offset amount S is negative is determined.
[0178]
In step S40, error information E when uncorrected ₀ Is equal to or less than the current error information E, and the offset amount S is determined to be negative, that is, when the pixel of interest is corrected by + S or by only -S, or when it is not corrected. When the error increases, the process proceeds to step S42, the correction amount Δ is set to 0, and the process proceeds to step S47.
[0179]
In step S40, error information E at the time of uncorrection is displayed. ₀ Is not equal to or smaller than the current error information E, or the offset amount S is determined not to be negative, the process proceeds to step S44, and it is determined whether or not the previous error information E ′ is equal to or greater than the current error information E. . When it is determined in step S44 that the previous error information E ′ is equal to or greater than the current error information E, that is, by correcting the pixel value of the target pixel by the correction amount Δ, the current error information E is When it decreases from the previous error information E ′, the process proceeds to step S45, and the control unit 44 increments the correction amount Δ by the offset amount S and sets the current error information E to the previous error information E ′. And the process returns to step S32.
[0180]
In this case, since the number of times i is further incremented by 1 in step S32 to be 3, it is determined in steps S34, S36, or S40 that the number of times i is not 0, 1, or 2, respectively. As a result, the process proceeds from step S40 to S44. Therefore, the loop process of steps S32 to S34, S36, S40, S44, and S45 is repeated until it is determined in step S44 that the previous error information E ′ is not greater than or equal to the current error information E.
[0181]
In step S44, when it is determined that the previous error information E ′ is not equal to or greater than the current error information E, that is, by correcting the pixel value of the target pixel by the correction amount Δ, On the other hand, if it has increased from the previous error information E ′, the process proceeds to step S46, where the control unit 44 decrements the correction amount Δ by the offset amount S, and proceeds to step S47. That is, in this case, the correction amount Δ is a value before the error increases.
[0182]
In step S47, the control unit 44 controls the correction unit 41 to correct the pixel value of the pixel of interest by the correction amount Δ obtained in step S42 or S46, whereby the pixel value of the pixel of interest is adaptive. In order to obtain a predicted value by processing, the predicted value is corrected to an optimum value that minimizes the prediction error.
[0183]
Then, the process proceeds to step S48, and it is determined whether or not processing has been performed using all SD pixels as the target pixel. If it is determined in step S48 that all the SD pixels are the target pixels and the process has not yet been performed, the process returns to step S31, and the SD pixel that has not yet been set as the target pixel is set as a new target pixel. repeat. If it is determined in step S48 that the process has been performed using all SD pixels as the target pixel, the process ends.
[0184]
As described above, the pixel value of the SD image is optimized to be optimal for obtaining the predicted value of the HD image.
[0185]
Next, FIG. 20 shows a configuration example of the adaptive processing unit 24 of FIG.
[0186]
The prediction tap generation circuit 51 is supplied with the optimum SD image from the optimization unit 23, where the LSB side of the pixel value is the same as in the prediction tap generation circuit 42A of FIG. The tap pattern code arranged in 2 bits is detected, a prediction tap is constructed according to the tap pattern code, and is supplied to the class classification adaptive processing circuit 52.
[0187]
In addition to the prediction tap, the class classification adaptive processing circuit 52 is also supplied with an optimal SD image used for class classification and an original HD image, in which the class of the target pixel constituting the prediction tap is determined. For example, the classification is performed in the same manner as described with reference to FIG. 15. Further, for each class obtained as a result, the normal equation shown in Expression (7) is established using the prediction tap and the HD image. Has been made. The class classification adaptive processing circuit 52 obtains and outputs a set of prediction coefficients w for each of the new four patterns of prediction taps by solving the normal equation for each class.
[0188]
Next, the operation will be described with reference to the flowchart of FIG. When receiving the optimum SD image, the prediction tap generation circuit 51 detects (extracts) the tap pattern code added to each SD pixel constituting the optimum SD pixel in step S51, and proceeds to step S52 to extract the tap pattern code. A prediction tap is formed based on the tap pattern code. Then, the prediction tap generation circuit 51 outputs the formed prediction tap to the class classification adaptive processing circuit 52. In step S53, the class classification adaptive processing circuit 52 performs class classification of the target pixel constituting the prediction tap, and for each class obtained as a result, a normal equation is created by using the prediction tap and the HD image. The prediction coefficient w is obtained and output, and the process ends.
[0189]
Thus, the adaptive processing unit 24 obtains a set of prediction coefficients w for each class for each of the four patterns of prediction taps that minimize the prediction error in order to obtain the original HD image from the optimum SD image. As described above, a set of prediction coefficients w for each class for each of the four patterns of prediction taps is supplied to the optimization unit 23 and the prediction tap pattern determination unit 26, and the adaptive processing (linear expression shown in Expression (1)) is performed. Used in the calculation of the linear equation).
[0190]
In the embodiment of FIG. 20, the prediction tap generation circuit 51 detects the tap pattern code arranged in the 2 bits on the LSB side of the pixel value, and configures the prediction tap according to the tap pattern code. However, the prediction tap generation circuit 51 can also be configured in the same manner as the prediction tap generation circuit 32 of the preprocessing unit 21 in FIG. That is, the prediction tap generation circuit 51 can configure all four patterns of prediction taps and supply them to the class classification adaptive processing circuit 52. In this case, the class classification adaptive processing circuit 52 can be configured by a class classification adaptive processing circuit (for luminance signal) for calculating four prediction coefficients corresponding to each of the four patterns of prediction taps. Each of the adaptive processing circuits can be configured in the same manner as a part of the class classification adaptive processing circuit (prediction coefficient, prediction value calculation) shown in FIG.
[0191]
In this case, each class classification adaptive processing circuit is supplied with a prediction tap of each pattern corresponding to each HD pixel constituting the HD image, and the class tap using the optimum SD pixel constituting the prediction tap. Are formed, and classification is performed for each. Furthermore, in each class classification adaptive processing circuit, one frame of HD pixels and prediction taps for the HD pixels are stored for each class in the teacher data memory 86 and the prediction tap memory 85, respectively. Thereafter, in each of the class classification adaptive processing circuits, a new set of prediction coefficients for each class for the four patterns of prediction taps is generated in the same manner as in the learning apparatus of FIG.
[0192]
Next, FIG. 22 illustrates a configuration example of the prediction tap pattern determination unit 26 of FIG.
[0193]
The prediction tap pattern determination unit 26 includes a prediction tap generation circuit 61, a class classification adaptive processing circuit 62, a prediction error calculation circuit 63, and a tap pattern code change circuit 64 as shown in FIG. The tap generation circuit 61, the class classification adaptive processing circuit 62, the prediction error calculation circuit 63, or the tap pattern code change circuit 64 are the prediction tap generation circuit 32, the class classification adaptive processing circuit 33, the prediction error of the preprocessing unit 21 in FIG. The calculation circuit 34 or the tap pattern code addition circuit 36 is basically configured in the same manner.
[0194]
Next, the operation will be described with reference to the flowchart of FIG.
[0195]
The prediction tap pattern determination unit 26 is supplied with an optimal SD image, a set of prediction coefficients for each class for each of the four patterns of prediction taps, and an HD image. The set of prediction coefficients for each class or the HD image for each of the four patterns of prediction taps is supplied to the class classification adaptive processing circuit 62 or the prediction error calculation circuit 63, respectively. It is made to be supplied.
[0196]
When receiving the optimum SD image, the prediction tap generation circuit 61 sets one of the pixels as a target pixel in step S61 as in the case of the prediction tap generation circuit 32 of FIG. The four patterns of prediction taps shown are formed. The four patterns of prediction taps are output to the class classification adaptive processing circuit 62.
[0197]
When the class classification adaptive processing circuit 62 receives the four patterns of prediction taps formed on the target pixel, in step S62, each of the four patterns of prediction taps and the corresponding set of prediction coefficients w for each class Is used to calculate the linear linear expression represented by the expression (1), thereby obtaining the prediction value of 9 pixels of the HD image obtained from each of the four patterns of prediction taps, and outputting the prediction value to the prediction error calculation circuit 63 Is done.
[0198]
In step S63 or S64, the prediction error calculation circuit 63 performs the same processing as in step S15 or S16 of FIG. 13 performed by the prediction error calculation circuit 34 of FIG. Among these, the tap pattern code that minimizes the prediction error is output to the tap pattern code changing circuit 64.
[0199]
In the tap pattern code changing circuit 64, the tap pattern code added to the 2 bits on the LSB side of the target pixel (the SD pixel of the optimum SD image) in step S65 is supplied from the prediction error calculating circuit 63. The process proceeds to step S66.
[0200]
In step S66, it is determined whether or not processing has been performed with all SD pixels as the target pixel. If it is determined that all SD pixels have not been processed as the target pixel, the process returns to step S61 and is set as the target pixel. The same process is repeated with a new SD pixel as a new target pixel. On the other hand, if it is determined in step S66 that the process has been performed using all SD pixels as the target pixel, the process ends.
[0201]
As described above, the prediction tap pattern determination unit 26 uses the set of prediction coefficients w for each of the four patterns of prediction taps obtained by the adaptive processing unit 24 to reduce the prediction error of the tap pattern code. It is changed to the one corresponding to the prediction tap.
[0202]
Next, FIG. 24 illustrates a configuration example of the receiving device 4 of FIG.
[0203]
In the receiver / reproducing apparatus 71, the encoded data recorded on the recording medium 2 is reproduced or the encoded data transmitted via the transmission path 3 is received and supplied to the separation unit 72. In the separation unit 72, the encoded data is separated into a set of prediction coefficients w for each class for each of the image data of the SD image and the prediction taps of the four patterns, and the image data of the SD image is sent to the prediction tap generation circuit 73. The set of prediction coefficients w for each class for each of the four patterns of prediction taps is supplied to the class classification adaptive processing circuit 74.
[0204]
The prediction tap generation circuit 73 or the class classification adaptive processing circuit 74 is the same as the prediction tap generation circuit 42A or the class classification adaptive processing circuit 42B (FIG. 17) constituting the local decoding unit 42 of the optimization unit 23 shown in FIG. It is configured. Accordingly, the predicted value of the HD image is obtained in the same manner as in the local decoding unit 42, and this is output as a decoded image. As described above, this decoded image is almost the same as the original image.
[0205]
Note that, on the receiving side, even if the receiving apparatus 4 is not as shown in FIG. 24, decoding is performed by performing normal interpolation without using a prediction coefficient by an apparatus that decodes a thinned image by simple interpolation. An image can be obtained. However, the decoded image obtained in this case has deteriorated image quality (resolution).
[0206]
As described above, one of the pixels constituting the SD image obtained by compressing the HD image is set as the target pixel, and a plurality of patterns of prediction taps are formed for the target pixel. An adaptive process for obtaining a prediction value of an HD image is performed by linear combination with a coefficient, a prediction error of a prediction value obtained from each of a plurality of pattern prediction taps is calculated, and a minimum prediction error among prediction taps of a plurality of patterns is Since the tap pattern code corresponding to the obtained one is added to the pixel value of the target pixel, the adaptive processing is performed using the prediction tap corresponding to the local characteristics of the image, and as a result, the image quality is improved. A good decoded image can be obtained.
[0207]
Further, since the 2-bit tap pattern code is arranged in place of the 2 bits on the LSB side of the pixel value, it is possible to prevent an increase in the data amount. Note that since the tap pattern code is arranged on the LSB side of the pixel value, there is no significant deterioration in image quality.
[0208]
Further, since the optimization unit 23 performs the adaptive process using the prediction tap that minimizes the error, the SD image is optimized, so that a decoded image that is substantially the same as the original HD image can be obtained. It becomes possible.
[0209]
In addition, the adaptive processing unit 24 performs adaptive processing using the optimal SD image, and updates (corrects) the set of prediction coefficients for each class for each of the plurality of patterns of prediction taps, to a more appropriate one, In the prediction tap pattern determination unit 26, the prediction tap is re-determined using the set of prediction coefficients for each class for each of the updated prediction taps of the plurality of patterns. Can be obtained.
[0210]
The case where the present invention is applied to an image processing apparatus that encodes / decodes an HD image has been described above. However, the present invention can also be applied to a case where an image having a standard resolution such as an SD image is encoded / decoded. Applicable. That is, for example, the present invention can be applied to the case of encoding / decoding a standard television signal such as the NTSC system. However, the present invention is particularly effective when encoding / decoding a so-called high-vision television signal having a large amount of data. The present invention can also be applied to so-called hierarchical encoding.
[0211]
In this embodiment, a plurality of patterns of prediction taps are prepared only for the luminance signal, and only the 5 × 7 pixel prediction tap is used for the color difference signal. However, the color difference signal is the same as the luminance signal. Can be processed.
[0212]
In this embodiment, the tap pattern code is 2 bits, but the tap pattern code is not limited to 2 bits. However, it is desirable that the number of bits is smaller.
[0213]
Furthermore, in this embodiment, a tap pattern code is arranged instead of the 2 bits on the LSB side of the pixel value. However, the tap pattern code can be recorded or transmitted separately from the pixel value. .
[0214]
In the present embodiment, the prediction coefficient is updated using the optimal SD image pre-processed by the pre-processing unit 21 and optimized by the optimization unit 23, and the tap pattern code is again used using the prediction coefficient. However, the optimal SD image preprocessed by the preprocessing unit 21 and optimized by the optimization unit 23 can be used as encoded data as it is. In this case, the image quality (S / N) of the decoded image is somewhat degraded as compared with the case where the tap pattern code is re-determined, but the processing speed can be increased.
[0215]
Furthermore, in the present embodiment, 4 patterns of prediction taps of 3 × 3, 5 × 3, 3 × 5, and 7 × 5 pixels are used, but other than this, for example, 1 × 5 or 5 × 1 It is also possible to use prediction taps such as pixels. Also, the prediction tap patterns are not limited to four types.
[0216]
Further, although not particularly mentioned in the present embodiment, after adding a tap pattern code to the pixel value, the pixel value is obtained by setting the two bits on the LSB side to which the tap pattern code is added to a predetermined value. Processing may be performed, or processing may be performed using pixel values including a tap pattern code. According to the experiment conducted by the present inventor, when the pixel value including the tap pattern code is used, the S / N is slightly higher than when the tap pattern code portion is set to 0 as the predetermined value. Although the image quality deteriorates, the result is that the gradation is slightly improved.
[0217]
In FIG. 18, the correction value Δ at which the prediction error E is first minimized is detected by correcting the pixel value of the target pixel by 4 or 1 as the offset amount S. For example, it is also possible to obtain the prediction error E for all possible values of the pixel value of the target pixel, detect the minimum value thereof, and correct the pixel value of the target pixel with the correction amount Δ in that case. . In this case, although processing takes time, a decoded image with a higher S / N can be obtained.
[0218]
Further, when the prediction error E is obtained for all the values that can be taken by the pixel value of the target pixel in this way, the initial value of the pixel value of the target pixel can be any value (however, the pixel value of the target pixel can be taken). It may be a value within a range. That is, in this case, the correction value Δ that minimizes the prediction error E can be obtained regardless of the initial value.
[0219]
Various modifications and application examples can be considered without departing from the gist of the present invention. Therefore, the gist of the present invention is not limited to the above-described embodiment.
[0220]
【The invention's effect】
According to the image encoding device and the image encoding method of the present invention, one of the pixels constituting the compressed image signal is set as the target pixel, Consists of a pixel of interest used to predict the original image signal and pixels in the vicinity of the pixel of interest A plurality of pattern prediction taps are formed, an original image signal is predicted from each of the plurality of pattern prediction taps and a predetermined prediction coefficient, and a prediction value for each of the plurality of pattern prediction taps is output. Then, a prediction error of the prediction value for each of the prediction taps of the plurality of patterns is calculated with respect to the original image signal, and among the prediction taps of the plurality of patterns, the pattern code corresponding to the prediction tap that obtains the minimum prediction error is By replacing part of the pixel value of the target pixel It is added to the pixel value of the target pixel. Therefore, it is possible to obtain a decoded image with improved image quality by forming a prediction tap according to the pattern code and performing decoding.
[0221]
According to the image decoding apparatus and the image decoding method of the present invention, The compressed image signal and the prediction coefficient are separated from the encoded data, With one of the pixels constituting the compressed image signal included in the encoded data as the target pixel, the prediction tap of the pattern corresponding to the pattern code added to the pixel value of the target pixel is near the target pixel. An original image signal is predicted from the prediction tap and the prediction coefficient, which are formed using pixels, and the predicted value is obtained. Therefore, it is possible to obtain a predicted value closer to the original image signal.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an embodiment of an image processing apparatus to which the present invention is applied.
FIG. 2 is a block diagram illustrating a configuration example of the transmission device 1 of FIG.
3 is a block diagram illustrating a functional configuration example of the transmission device 1 of FIG. 2; FIG.
4 is a flowchart for explaining the operation of the transmission apparatus 1 of FIG. 3;
5 is a block diagram illustrating a configuration example of a preprocessing unit 21 in FIG. 3. FIG.
6 is a diagram for explaining processing of the thinning circuit 31 in FIG. 5; FIG.
FIG. 7 is a diagram illustrating a configuration example of a prediction tap.
FIG. 8 is a diagram illustrating a configuration example of a prediction tap.
FIG. 9 is a diagram illustrating a configuration example of a prediction tap.
FIG. 10 is a diagram illustrating a configuration example of a prediction tap.
11 is a block diagram showing a configuration example of a part of a class classification adaptive processing circuit (prediction coefficient and prediction value calculation) constituting the class classification adaptive processing circuit 33 of FIG. 5;
12 is a block diagram showing another configuration example of the class classification adaptive processing circuit (prediction coefficient and prediction value calculation) constituting the class classification adaptive processing circuit 33 of FIG. 5. FIG.
13 is a flowchart for explaining processing of the preprocessing unit 21 of FIG. 5;
FIG. 14 is a flowchart for explaining more details of the process in step S11 of FIG.
FIG. 15 is a diagram illustrating a configuration example of a class tap for performing class classification.
16 is a block diagram illustrating a configuration example of the optimization unit 23 in FIG. 3;
17 is a block diagram illustrating a configuration example of the class classification adaptation processing circuit 42B in FIG. 16 and the class classification adaptation processing circuit 74 in FIG. 24;
18 is a flowchart for explaining processing of the optimization unit 23 of FIG. 16;
FIG. 19 is a diagram for explaining the processing in step S33 of FIG. 18;
20 is a block diagram illustrating a configuration example of an adaptive processing unit 24 in FIG. 3;
FIG. 21 is a flowchart for explaining processing of the adaptive processing unit 24 in FIG. 20;
22 is a block diagram illustrating a configuration example of a predicted tap pattern determination unit 26 in FIG. 3;
23 is a flowchart for explaining processing of a predicted tap pattern determination unit 26 in FIG.
24 is a block diagram illustrating a configuration example of the reception device 4 in FIG. 1. FIG.
FIG. 25 is a block diagram illustrating a configuration example of an image conversion apparatus previously proposed by the present applicant.
FIG. 26 is a diagram for explaining processing of the class classification circuit 101 in FIG. 25;
FIG. 27 is a block diagram illustrating a configuration example of a learning apparatus previously proposed by the applicant of the present application.
FIG. 28 is a block diagram illustrating a configuration example of an image encoding device previously proposed by the present applicant.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Transmitting device, 2 Recording medium, 3 Transmission path, 4 Receiving device, 11 I / F, 12 ROM, 13 RAM, 14 CPU, 15 External storage device, 16 Transmitter / recording device, 21 Preprocessing part, 22 Switch, 23 optimization unit, 24 adaptive processing unit, 25 switch, 26 prediction tap pattern determination unit, 31 decimation circuit, 32 prediction tap generation circuit, 33 class classification adaptive processing circuit, 34 prediction error calculation circuit, 35 memory, 36 tap pattern code Additional circuit, 41 correction unit, 42 local decoding unit, 42A prediction tap generation circuit, 42B class classification adaptive processing circuit, 43 error calculation unit, 44 control unit, 51 prediction tap generation circuit, 52 class classification adaptive processing circuit, 61 prediction tap Generation circuit, 62 class classification adaptive processing circuit, 63 prediction error calculation circuit, 64 Pattern code changing circuit, 71 receiver / reproducing device, 72 separation unit, 73 prediction tap generation circuit, 74 class classification adaptive processing circuit, 82 class classification circuit, 84 delay circuit, 85 prediction tap memory, 86 teacher data memory, 87 arithmetic circuit, 88 delay circuit, 91 class classification circuit, 94 coefficient RAM, 95 prediction arithmetic circuit

Claims

An image encoding device for encoding an image signal,
Compression means for generating a compressed image signal having a smaller number of pixels than the number of pixels of the original image signal;
A prediction tap having a plurality of patterns including the target pixel used for predicting the original image signal and pixels in the vicinity of the target pixel is formed using one of the pixels constituting the compressed image signal as the target pixel. 1 forming means;
First prediction means for predicting the original image signal from each of the plurality of pattern prediction taps and a predetermined prediction coefficient, and outputting a prediction value for each of the plurality of pattern prediction taps;
First calculation means for calculating a prediction error of the predicted value for each of the prediction taps of the plurality of patterns with respect to the original image signal;
An adding means for adding a pattern code corresponding to a prediction tap from which the minimum prediction error is obtained among the prediction taps of the plurality of patterns to a pixel value of the target pixel by replacing a part of the pixel value of the target pixel An image encoding device comprising:

The image coding apparatus according to claim 1, wherein the adding unit arranges the pattern code in place of N bits on the LSB (Least Significant Bit) side of a pixel value of the target pixel.

The image coding apparatus according to claim 1, wherein the first prediction unit includes a calculation unit that obtains the prediction coefficient that minimizes the prediction error .

The first prediction means includes
Class classification means for classifying the pixel of interest into a predetermined class;
From the prediction coefficient corresponding to the class of the target pixel and the prediction tap, the prediction value is obtained,
The image coding apparatus according to claim 3, wherein the calculation unit obtains the prediction coefficient for each class.

The image coding apparatus according to claim 3, wherein the calculation unit obtains the prediction coefficient for each of the plurality of patterns of prediction taps.

The calculation means obtains the prediction coefficient for each of the classes for each of the plurality of patterns of prediction taps,
5. The first prediction unit obtains a prediction value for each of the plurality of pattern prediction taps from each of the plurality of pattern prediction taps and a prediction coefficient corresponding to the class of the target pixel. The image encoding apparatus described in 1.

2. The optimization apparatus according to claim 1, further comprising: an optimization unit configured to convert the compressed image signal into a signal in which a prediction error predicted from the converted signal and the prediction coefficient is minimized with respect to the original image signal. 7. The image encoding device according to any one of items 1 to 6.

The optimization means includes
Second forming means for forming a prediction tap of a pattern corresponding to the pattern code added to the pixel value of the target pixel;
Second prediction means for predicting the original image signal from the prediction tap formed by the second forming means and the prediction coefficient, and outputting the predicted value;
Second calculation means for calculating a prediction error of the predicted value obtained by the second prediction means with respect to the original image signal;
Correction means for correcting the pixel value of the target pixel by increasing or decreasing the pixel value by a predetermined value so that the prediction error is smaller than the prediction error calculated by the second calculation means. The image encoding apparatus according to claim 7.

The optimization means includes
In the second forming means, a prediction tap of a pattern corresponding to the pattern code added to the pixel value of the target pixel is formed,
In the second prediction means, the prediction value is obtained from the prediction tap formed by the second formation means and the prediction coefficient,
In the second calculation means, a prediction error of the prediction value obtained by the second prediction means with respect to the original image signal is calculated,
In the correction means, as described above is the prediction error from the prediction error calculated by the second calculating means decreases, the optimization process of the pixel value of the pixel of interest is increased or decreased by a predetermined value, the prediction error The image coding apparatus according to claim 8, wherein the image coding apparatus repeats until the value becomes minimum .

A coefficient that minimizes the prediction error of the prediction value obtained by the second prediction unit based on the compressed image signal obtained each time the optimization process is performed and the original image signal with respect to the original image signal. And a correction means for correcting the prediction coefficient.
The image coding apparatus according to claim 9, wherein the first and second prediction units obtain the prediction value using a prediction coefficient that has been corrected by the correction unit.

The image coding apparatus according to claim 10, further comprising an output unit that outputs a compressed image signal output from the optimization unit and a prediction coefficient output from the correction unit.

The image coding apparatus according to any one of claims 1 to 6, further comprising an output unit that outputs the compressed image signal to which the pattern code is added and the prediction coefficient.

An image encoding method for encoding an image signal,
A compression step for generating a compressed image signal having a smaller number of pixels than the number of pixels of the original image signal;
A prediction tap having a plurality of patterns including the target pixel used for predicting the original image signal and pixels in the vicinity of the target pixel is formed using one of the pixels constituting the compressed image signal as the target pixel. 1 forming step;
A first prediction step of predicting the original image signal from each of the prediction taps of the plurality of patterns and a predetermined prediction coefficient, and outputting a prediction value for each of the prediction taps of the plurality of patterns;
A first calculation step of calculating a prediction error of the prediction value for each of the prediction taps of the plurality of patterns with respect to the original image signal;
An addition step of adding a pattern code corresponding to a prediction tap that obtains the minimum prediction error among the prediction taps of the plurality of patterns to the pixel value of the target pixel by replacing a part of the pixel value of the target pixel. An image encoding method comprising:

The image coding method according to claim 13, wherein, in the adding step, the pattern code is arranged instead of N bits on the LSB (Least Significant Bit) side of the pixel value of the target pixel.

The image encoding method according to claim 13, wherein the first prediction step includes a calculation step of obtaining the prediction coefficient that minimizes the prediction error .

The first prediction step includes:
A classifying step of classifying the pixel of interest into a predetermined class;
From the prediction coefficient corresponding to the class of the target pixel and the prediction tap, the prediction value is obtained,
The image encoding method according to claim 15, wherein, in the calculation step, the prediction coefficient is obtained for each class.

The image encoding method according to claim 15, wherein, in the calculation step, the prediction coefficient is obtained for each of the plurality of patterns of prediction taps.

In the calculation step, for each prediction tap of the plurality of patterns, the prediction coefficient is obtained for each class,
The prediction value for each of the prediction taps of the plurality of patterns is obtained from the prediction taps of the plurality of patterns and a prediction coefficient corresponding to the class of the target pixel in the first prediction step. The image encoding method described in 1.

The optimization step of converting the compressed image signal into a signal having a prediction error with respect to the original image signal of the converted signal and the prediction value predicted by the prediction coefficient is minimized. The image coding method according to any one of 1 to 18.

The optimization step includes
A second forming step of forming a prediction tap of a pattern corresponding to the pattern code added to the pixel value of the target pixel;
A second prediction step of predicting the original image signal from the prediction tap formed by the second formation step and the prediction coefficient, and outputting the prediction value;
A second calculation step of calculating a prediction error of the prediction value obtained in the second prediction step with respect to the original image signal;
A correction step of correcting the pixel value of the target pixel by increasing or decreasing the pixel value by a predetermined value so that the prediction error is smaller than the prediction error calculated by the second calculation step. The image encoding method according to claim 19.

In the optimization step,
Forming a prediction tap of a pattern corresponding to the pattern code added to the pixel value of the target pixel in the second forming step;
In the second prediction step, the prediction value is obtained from the prediction tap formed in the second formation step and the prediction coefficient,
In the second calculation step, a prediction error of the prediction value obtained in the second prediction step with respect to the original image signal is calculated,
In the correction step, an optimization process for increasing or decreasing the pixel value of the target pixel by a predetermined value so that the prediction error is smaller than the prediction error calculated in the second calculation step is performed by the prediction error. The image coding method according to claim 20, wherein the image coding method is repeated until is minimized .

A coefficient that minimizes a prediction error of the prediction value obtained by the second prediction step with respect to the original image signal based on the compressed image signal obtained each time the optimization process is performed and the original image signal And further comprising a correction step of correcting the prediction coefficient,
The image encoding method according to claim 21, wherein, in the first and second prediction steps, the prediction value is obtained by using a prediction coefficient that has been corrected by the correction step.

The image encoding method according to claim 22, further comprising an output step of outputting a compressed image signal obtained in the optimization step and a prediction coefficient obtained in the correction step.

The image encoding method according to any one of claims 13 to 18, further comprising an output step of outputting the compressed image signal to which the pattern code is added and the prediction coefficient.

Generate a compressed image signal with fewer pixels than the original image signal,
Forming one of the pixels constituting the compressed image signal as a target pixel, and forming a plurality of patterns of prediction taps composed of the target pixel used for predicting the original image signal and pixels in the vicinity of the target pixel ;
Predicting the original image signal from each of the plurality of pattern prediction taps and a predetermined prediction coefficient, and outputting a prediction value for each of the plurality of pattern prediction taps;
Calculating a prediction error of the prediction value for each of the plurality of patterns of prediction taps with respect to the original image signal
A pattern code corresponding to a prediction tap that obtains the minimum prediction error among the prediction taps of the plurality of patterns is added to the pixel value of the target pixel by replacing it with a part of the pixel value of the target pixel. An image decoding apparatus for decoding encoded data including the compressed image signal and the prediction coefficient obtained,
Separating means for separating the compressed image signal and the prediction coefficient from the encoded data;
The prediction tap of the pattern corresponding to the pattern code added to the pixel value of the target pixel, with one of the pixels constituting the compressed image signal included in the encoded data as the target pixel, Forming means for forming using pixels in the vicinity of the pixel of interest;
An image decoding apparatus comprising: a prediction unit that predicts the original image signal from the prediction tap formed by the forming unit and the prediction coefficient, and obtains a predicted value thereof.

26. The pattern code is arranged in place of N bits on an LSB (Least Significant Bit) side of a pixel value of a pixel constituting the compressed image signal included in the encoded data. The image decoding device described.

26. The image decoding apparatus according to claim 25, wherein the prediction coefficient is a prediction coefficient that minimizes the prediction error .

The prediction means includes
Classifying means for classifying the pixel of interest into a predetermined class,
From the prediction coefficient corresponding to the class of the target pixel and the prediction tap, the prediction value is obtained,
The image decoding apparatus according to claim 27, wherein the prediction coefficient is obtained for each of the classes when the encoded data is encoded .

The image decoding apparatus according to claim 27, wherein the prediction coefficient is obtained for each of the plurality of patterns of prediction taps when the encoded data is encoded .

The prediction coefficient is obtained for each of the classes for each of the plurality of pattern prediction taps when encoding the encoded data ,
The prediction means includes the prediction tap of a pattern corresponding to the pattern code added to the pixel value of the target pixel, and a prediction coefficient corresponding to the class of the target pixel among the prediction coefficients for the prediction tap. The image decoding apparatus according to claim 28, wherein the predicted value is obtained from:

Generate a compressed image signal with fewer pixels than the original image signal,
Forming one of the pixels constituting the compressed image signal as a target pixel, and forming a plurality of patterns of prediction taps composed of the target pixel used for predicting the original image signal and pixels in the vicinity of the target pixel ;
Predicting the original image signal from each of the plurality of pattern prediction taps and a predetermined prediction coefficient, and outputting a prediction value for each of the plurality of pattern prediction taps;
Calculating a prediction error of the prediction value for each of the plurality of patterns of prediction taps with respect to the original image signal
A pattern code corresponding to a prediction tap that obtains the minimum prediction error among the prediction taps of the plurality of patterns is added to the pixel value of the target pixel by replacing it with a part of the pixel value of the target pixel. An image decoding method for decoding encoded data including the obtained compressed image signal and the prediction coefficient ,
A separation step of separating the compressed image signal and the prediction coefficient from the encoded data;
The prediction tap of the pattern corresponding to the pattern code added to the pixel value of the target pixel, with one of the pixels constituting the compressed image signal included in the encoded data as the target pixel, Forming using a pixel in the vicinity of the pixel of interest;
An image decoding method comprising: a prediction step of predicting the original image signal from the prediction tap formed by the forming step and the prediction coefficient and obtaining a predicted value thereof.

Instead of the N bits of the LSB (Least Significant Bit) side of the pixel values of pixels constituting the compressed picture signal included in the encoded data, to claim 31, wherein the pattern code is located The image decoding method as described.

The image decoding method according to claim 31 , wherein the prediction coefficient is a prediction coefficient that minimizes the prediction error .

The prediction step includes
A classifying step of classifying the pixel of interest into a predetermined class;
From the prediction coefficient corresponding to the class of the target pixel and the prediction tap, the prediction value is obtained,
The image decoding method according to claim 33 , wherein the prediction coefficient is obtained for each of the classes when the encoded data is encoded .

The image decoding method according to claim 33 , wherein the prediction coefficient is obtained for each of the plurality of patterns of prediction taps when the encoded data is encoded .

The prediction coefficient is obtained for each of the classes for each of the plurality of pattern prediction taps when encoding the encoded data ,
The prediction step includes the prediction tap of the pattern corresponding to the pattern code added to the pixel value of the target pixel, and the prediction coefficient corresponding to the class of the target pixel among the prediction coefficients for the prediction tap. The image decoding method according to claim 34 , wherein the predicted value is obtained from: