JP2001222702A

JP2001222702A - 画像処理装置および画像処理方法、並びに記録媒体

Info

Publication number: JP2001222702A
Application number: JP2000029087A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤; Kenji Tanaka; 健司田中
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-02-07
Filing date: 2000-02-07
Publication date: 2001-08-17

Abstract

(57)【要約】【課題】処理のパフォーマンスを向上させる。【解決手段】フレームメモリ３３には、教師画像をぼ
かした生徒画像が記憶され、フレームメモリ３Ａには、
生徒画像をぼかした第１のぼけ画像が記憶される。さら
に、フレームメモリ３Ｂには、第１のぼけ画像をぼかし
た第２のぼけ画像が記憶される。そして、制御回路４０
は、フレームメモリ３３に記憶された生徒画像を参照
し、予測タップおよびクラスタップを構成する、生徒画
像、第１のぼけ画像、および第２のぼけ画像の画素を設
定し、その設定結果を表す制御信号を、予測タップ構成
回路４およびクラスタップ構成回路５に供給する。これ
により、予測タップ構成回路４とクラスタップ構成回路
５では、その制御信号にしたがって、生徒画像、第１の
ぼけ画像、および第２のぼけ画像の画素が選択され、予
測タップとクラスタップがそれぞれ構成される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置およ
び画像処理方法、並びに記録媒体に関し、特に、例え
ば、画像の画質を向上させる処理のパフォーマンスを向
上させることができるようにする画像処理装置および画
像処理方法、並びに記録媒体に関する。

【０００２】

【従来の技術】本件出願人は、例えば、画像の解像度
や、Ｓ／Ｎ、その他の画像の画質を向上させるための処
理として、クラス分類適応処理を、先に提案している。

【０００３】クラス分類適応処理は、クラス分類処理と
適応処理とからなり、クラス分類処理によって、データ
を、その性質に基づいてクラス分けし、各クラスごとに
適応処理を施すものであり、適応処理は、以下のような
手法のものである。

【０００４】即ち、適応処理では、例えば、低Ｓ／Ｎの
画像（低Ｓ／Ｎ画像）を構成する画素（以下、適宜、低
Ｓ／Ｎ画素という）と、所定の予測係数との線形結合に
より、その低Ｓ／Ｎ画像のＳ／Ｎを向上させた高Ｓ／Ｎ
の画像（高Ｓ／Ｎ画像）の画素の予測値を求めること
で、その低Ｓ／Ｎ画像のＳ／Ｎを向上させた画像が得ら
れる。

【０００５】具体的には、例えば、いま、ある高Ｓ／Ｎ
画像を教師データとするとともに、その高Ｓ／Ｎ画像の
Ｓ／Ｎを劣化させた低Ｓ／Ｎ画像を生徒データとして、
高Ｓ／Ｎ画像を構成する画素（以下、適宜、高Ｓ／Ｎ画
素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかの低
Ｓ／Ｎ画素（低Ｓ／Ｎ画像を構成する画素）の画素値ｘ
₁，ｘ₂，・・・の集合と、所定の予測係数ｗ₁，ｗ₂，・
・・の線形結合により規定される線形１次結合モデルに
より求めることを考える。この場合、予測値Ｅ［ｙ］
は、次式で表すことができる。

【０００６】Ｅ［ｙ］＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・・・・（１）

【０００７】式（１）を一般化するために、予測係数ｗ
_jの集合でなる行列Ｗ、生徒データｘ_ijの集合でなる行
列Ｘ、および予測値Ｅ［ｙ_j］の集合でなる行列Ｙ’
を、

【数１】で定義すると、次のような観測方程式が成立する。

【０００８】ＸＷ＝Ｙ’ ・・・（２）ここで、行列Ｘの成分ｘ_ijは、ｉ件目の生徒データの集
合（ｉ件目の教師データｙ_iの予測に用いる生徒データ
の集合）の中のｊ番目の生徒データを意味し、行列Ｗの
成分ｗ_jは、生徒データの集合の中のｊ番目の生徒デー
タとの積が演算される予測係数を表す。また、ｙ_iは、
ｉ件目の教師データを表し、従って、Ｅ［ｙ_i］は、ｉ
件目の教師データの予測値を表す。なお、式（１）の左
辺におけるｙは、行列Ｙの成分ｙ_iのサフィックスｉを
省略したものであり、また、式（１）の右辺におけるｘ
₁，ｘ₂，・・・も、行列Ｘの成分ｘ_ijのサフィックスｉ
を省略したものである。

【０００９】そして、この観測方程式に最小自乗法を適
用して、高Ｓ／Ｎ画素の画素値ｙに近い予測値Ｅ［ｙ］
を求めることを考える。この場合、教師データとなる高
Ｓ／Ｎ画素の真の画素値ｙの集合でなる行列Ｙ、および
高Ｓ／Ｎ画素の画素値ｙに対する予測値Ｅ［ｙ］の残差
ｅの集合でなる行列Ｅを、

【数２】で定義すると、式（２）から、次のような残差方程式が
成立する。

【００１０】ＸＷ＝Ｙ＋Ｅ・・・（３）

【００１１】この場合、高Ｓ／Ｎ画素の画素値ｙに近い
予測値Ｅ［ｙ］を求めるための予測係数ｗ_jは、自乗誤
差

【数３】を最小にすることで求めることができる。

【００１２】従って、上述の自乗誤差を予測係数ｗ_jで
微分したものが０になる場合、即ち、次式を満たす予測
係数ｗ_jが、高Ｓ／Ｎ画素の画素値ｙに近い予測値Ｅ
［ｙ］を求めるため最適値ということになる。

【００１３】

【数４】・・・（４）

【００１４】そこで、まず、式（３）を、予測係数ｗ_j
で微分することにより、次式が成立する。

【００１５】

【数５】・・・（５）

【００１６】式（４）および（５）より、式（６）が得
られる。

【００１７】

【数６】・・・（６）

【００１８】さらに、式（３）の残差方程式における生
徒データｘ_ij、予測係数ｗ_j、教師データｙ_i、および残
差ｅ_iの関係を考慮すると、式（６）から、次のような
正規方程式を得ることができる。

【００１９】

【数７】・・・（７）

【００２０】なお、式（７）に示した正規方程式は、行
列（共分散行列）Ａおよびベクトルｖを、

【数８】で定義するとともに、ベクトルＷを、数１で示したよう
に定義すると、式ＡＷ＝ｖ・・・（８）で表すことができる。

【００２１】式（７）における各正規方程式は、生徒デ
ータｘ_ijおよび教師データｙ_iのセットを、ある程度の
数だけ用意することで、求めるべき予測係数ｗ_jの数Ｊ
と同じ数だけたてることができ、従って、式（８）を、
ベクトルＷについて解くことで（但し、式（８）を解く
には、式（８）における行列Ａが正則である必要があ
る）、最適な予測係数ｗ_jを求めることができる。な
お、式（８）を解くにあたっては、例えば、掃き出し法
（Gauss-Jordanの消去法）などを用いることが可能であ
る。

【００２２】以上のようにして、最適な予測係数ｗ_jを
求めておき、さらに、その予測係数ｗ_jを用い、式
（１）により、高Ｓ／Ｎ画素の画素値ｙに近い予測値Ｅ
［ｙ］を求めるのが適応処理である。

【００２３】なお、適応処理は、低Ｓ／Ｎ画像には含ま
れていないが、高Ｓ／Ｎ画像に含まれる成分が再現され
る点で、例えば、単なる補間処理とは異なる。即ち、適
応処理では、式（１）だけを見る限りは、いわゆる補間
フィルタを用いての補間処理と同一であるが、その補間
フィルタのタップ係数に相当する予測係数ｗが、教師デ
ータｙを用いての、いわば学習により求められるため、
高Ｓ／Ｎ画像に含まれる成分を再現することができる。
このことから、適応処理は、いわば画像の創造（解像度
想像）作用がある処理ということができる。

【００２４】また、ここでは、適応処理について、Ｓ／
Ｎを向上させる場合を例にして説明したが、適応処理
は、その他、例えば、画素数を増加させて解像度を向上
させた画像の予測値を求めること等に用いることがで
き、この場合、解像度の向上を図ることが可能である。

【００２５】図１は、以上のようなクラス分類適応処理
に用いる予測係数を学習する、従来の学習装置の一例の
構成を示している。

【００２６】教師データとしての高Ｓ／Ｎ画像（以下、
適宜、教師画像という）は、例えば、フレーム単位で、
フレームメモリ３１に供給され、フレームメモリ３１
は、そこに供給される教師画像を順次記憶する。

【００２７】ぼかしフィルタ３２は、フレームメモリ３
１に記憶された教師画像を、例えば、フレーム単位で読
み出し、ＬＰＦ(Low Pass Filter)をかけること等によ
って、教師画像のＳ／Ｎを低下させ、これにより、生徒
データとしての低Ｓ／Ｎ画像（以下、適宜、生徒画像と
いう）を生成し、フレームメモリ３３に供給する。

【００２８】即ち、ぼかしフィルタ３２は、例えば、図
２に示すように、図中、△印で示す教師画像を構成する
教師画素のＳ／Ｎを低下させ、図中、○印で示す生徒画
像を構成する生徒画素を生成する。従って、ここでは、
教師画像と生徒画像とは、同一の画素数で構成される。

【００２９】フレームメモリ３３は、ぼかしフィルタ３
２が出力する生徒画像を、例えば、フレーム単位で順次
記憶する。

【００３０】予測タップ構成回路３４は、フレームメモ
リ３１に記憶された教師画像を構成する画素（以下、適
宜、教師画素という）を、順次、注目画素とし、その注
目画素の位置に対応する生徒画像の位置から空間的また
は時間的に近い位置にある幾つかの生徒画像の画素（以
下、適宜、生徒画素という）を、フレームメモリ３３か
ら読み出し、予測係数との乗算に用いる予測タップを構
成する。

【００３１】即ち、図３に示すように、図中、▲印で示
す教師画素が注目画素とされた場合には、予測タップ構
成回路３４は、例えば、注目画素の位置に対応する、生
徒画素ｅと、その上、下、左、右、左上、左下、右上、
右下にそれぞれ隣接する生徒画素ｂ，ｈ，ｄ，ｆ，ａ，
ｇ，ｃ，ｉのうちの、例えば、ｂ，ｄ，ｅ，ｆ，ｈ等の
十字形状の５画素を、予測タップとする。

【００３２】そして、予測タップ構成回路３４で構成さ
れた予測タップは、正規方程式加算回路３７に供給され
る。

【００３３】クラスタップ構成回路３５は、注目画素
を、幾つかのクラスのうちのいずれかに分類するための
クラス分類に用いる生徒画素を、フレームメモリ３３か
ら読み出す。即ち、クラスタップ構成回路３５は、注目
画素の位置に対応する、生徒画像の位置から空間的また
は時間的に近い位置にある幾つかの生徒画素を、フレー
ムメモリ３３から読み出し、クラス分類に用いるクラス
タップとして、クラス分類回路３６に供給する。

【００３４】具体的には、図３に示すように、図中、▲
印で示す教師画素が注目画素とされた場合には、クラス
タップ構成回路３５は、例えば、注目画素の位置に対応
する、生徒画素ｅと、その上、下、左、右、左上、左
下、右上、右下にそれぞれ隣接する生徒画素ｂ，ｈ，
ｄ，ｆ，ａ，ｇ，ｃ，ｉの等の正方形状の９画素を、予
測タップとする。

【００３５】クラス分類回路３６は、クラスタップ構成
回路３５からのクラスタップに基づき、注目画素をクラ
ス分類し、その結果得られるクラスに対応するクラスコ
ードを、正規方程式加算回路３７に供給する。

【００３６】ここで、クラス分類を行う方法としては、
例えば、ADRC(Adaptive Dynamic Range Coding)を用い
る方法等がある。

【００３７】ADRCを用いる方法では、クラスタップを構
成する生徒画素が、ADRC処理され、その結果得られるAD
RCコードにしたがって、注目画素のクラスが決定され
る。

【００３８】なお、KビットADRCにおいては、例えば、
クラスタップを構成する生徒画素の画素値の最大値MAX
と最小値MINが検出され、DR=MAX-MINを、集合の局所的
なダイナミックレンジとし、このダイナミックレンジDR
に基づいて、クラスタップを構成する生徒画素がKビッ
トに再量子化される。即ち、クラスタップを構成する画
素の画素値の中から、最小値MINが減算され、その減算
値がDR/2^Kで除算（量子化）される。そして、以上のよ
うにして得られる、クラスタップを構成する各画素につ
いてのKビットの画素値を、所定の順番で並べたビット
列が、ADRCコードとして出力される。従って、クラスタ
ップが、例えば、１ビットADRC処理された場合には、そ
のクラスタップを構成する各生徒画素の画素値は、最小
値MINが減算された後に、最大値MAXと最小値MINとの平
均値で除算され、これにより、各画素値が１ビットとさ
れる（２値化される）。そして、その１ビットの画素値
を所定の順番で並べたビット列が、ADRCコードとして出
力される。

【００３９】ここで、ADRCによれば、クラスタップが、
Ｎ個の画素で構成され、そのクラスタップのＫビットAD
RC処理結果がクラスコードとされる場合には、注目画素
は、（２^N）^Kクラスのうちのいずれかのクラスにクラス
分類されることになる。

【００４０】正規方程式加算回路３７は、フレームメモ
リ３１から、注目画素となっている教師画素を読み出
し、予測タップ構成回路３４からの予測タップ（を構成
する生徒画素）と、注目画素（教師画素）を対象とした
足し込みを行う。

【００４１】即ち、正規方程式加算回路３７は、クラス
分類回路３６から供給されるクラスコードに対応するク
ラスごとに、予測タップ（生徒画素）を用い、式（８）
の行列Ａにおける各コンポーネントとなっている、生徒
画素どうしの乗算（ｘ_inｘ_im）と、サメーション（Σ）
に相当する演算を行う。

【００４２】さらに、正規方程式加算回路３７は、やは
り、クラス分類回路３６から供給されるクラスコードに
対応するクラスごとに、予測タップ（生徒画素）および
注目画素（教師画素）を用い、式（８）のベクトルｖに
おける各コンポーネントとなっている、生徒画素と注目
画素（教師画素）の乗算（ｘ_inｙ_i）と、サメーション
（Σ）に相当する演算を行う。

【００４３】正規方程式加算回路３７は、以上の足し込
みを、フレームメモリ３１に記憶された教師画素すべて
を、注目画素として行い、これにより、クラスごとに、
式（８）に示した正規方程式がたてられる。

【００４４】予測係数決定回路３８は、正規方程式加算
回路３７においてクラスごとに生成された正規方程式を
解くことにより、クラスごとの予測係数を求め、メモリ
３９の、各クラスに対応するアドレスに供給する。メモ
リ３９は、予測係数決定回路３８から供給される予測係
数を記憶する。

【００４５】なお、教師画像として用意する画像の数
（フレーム数）や、その画像の内容等によっては、正規
方程式加算回路３７において、予測係数を求めるのに必
要な数の正規方程式が得られないクラスが生じる場合が
あり得るが、予測係数決定回路３８は、そのようなクラ
スについては、例えば、デフォルトの予測係数を出力す
る。

【００４６】次に、図４のフローチャートを参照して、
図１の学習装置により行われる、予測係数の学習処理に
ついて説明する。

【００４７】まず最初に、ステップＳ１において、予測
係数の学習用にあらかじめ用意された分の教師画像がフ
レームメモリ３１に記憶され、ステップＳ２に進み、正
規方程式加算回路３７において、式（８）における、ク
ラスｃごとの行列Ａを記憶するための配列変数A[c]と、
ベクトルＶを記憶するための配列変数V[c]とが０に初期
化され、ステップＳ３に進む。

【００４８】ステップＳ３では、ぼかしフィルタ３２に
おいて、フレームメモリ３１に記憶された教師画像に対
して、ＬＰＦ(Low Pass Filter)がかけられ、これによ
り、教師画像のＳ／Ｎを低下させた生徒画像が生成され
る。ステップＳ３で生成された生徒画像は、フレームメ
モリ３３に、順次供給されて記憶される。

【００４９】そして、ステップＳ４に進み、フレームメ
モリ３１に記憶された教師画素のうちの、まだ、注目画
素とされていないものが、注目画素とされ、予測タップ
構成回路３４において、フレームメモリ３３に記憶され
た生徒画素を用いて、注目画素についての予測タップが
構成される。さらに、ステップＳ４では、クラスタップ
構成回路３５において、フレームメモリ３３に記憶され
た生徒画素を用いて、注目画素についてのクラスタップ
が構成される。そして、予測タップは、正規方程式加算
回路３７に供給され、クラスタップは、クラス分類回路
３６に供給される。ここで、図１の学習装置では（後述
する図５の予測装置においても同様）、予測タップやク
ラスタップは、図３で説明したように、注目画素を基準
として固定の位置にある生徒画素によって、常に構成さ
れる。

【００５０】クラス分類回路３６は、ステップＳ５にお
いて、クラスタップ構成回路３５からのクラスタップに
基づき、注目画素をクラス分類し、その結果得られるク
ラスに対応するクラスコードを、正規方程式加算回路７
に供給し、ステップＳ６に進む。

【００５１】ステップＳ６では、正規方程式加算回路３
７において、フレームメモリ３１から、注目画素となっ
ている教師画素が読み出され、予測タップ（を構成する
生徒画素）、注目画素（教師画素）を対象とし、配列変
数A[c]とv[c]を用いて、式（８）の行列Ａとベクトルｖ
の、上述したような足し込みが、クラス分類回路３６か
らのクラスｃごとに行われる。

【００５２】そして、ステップＳ７に進み、フレームメ
モリ３１に記憶された教師画像を構成する教師画素すべ
てを注目画素として、足し込みを行ったかどうかが判定
され、まだ、教師画素のすべてを注目画素として、足し
込みを行っていないと判定された場合、ステップＳ４に
戻る。この場合、まだ、注目画素されていない教師画素
のうちの１つが、新たに注目画素とされ、ステップＳ４
乃至Ｓ７の処理が繰り返される。

【００５３】また、ステップＳ７において、教師画素す
べてを注目画素として、足し込みを行ったと判定された
場合、即ち、正規方程式加算回路３７においてクラスご
との正規方程式が得られた場合、ステップＳ８に進み、
予測係数決定回路３８は、そのクラスごとに生成された
正規方程式を解くことにより、クラスごとの予測係数を
求め、メモリ３９の、各クラスに対応するアドレスに供
給する。メモリ３９は、予測係数決定回路３８から供給
される予測係数を記憶し、学習処理を終了する。

【００５４】次に、図５は、図１の学習装置において得
られた予測係数を用いて、低Ｓ／Ｎ画像のＳ／Ｎを向上
させた画像としての、高Ｓ／Ｎ画像の予測値を求める、
従来の予測装置の一例の構成を示している。

【００５５】フレームメモリ５１には、Ｓ／Ｎを向上さ
せる対象としての低Ｓ／Ｎ画像が、例えば、１フレーム
単位などで供給されるようになっており、フレームメモ
リ５１は、その低Ｓ／Ｎ画像を、そのＳ／Ｎを向上させ
る予測処理が終了するまで記憶する。

【００５６】なお、フレームメモリ５１に供給する低Ｓ
／Ｎ画像としては、例えば、テレビジョン放送として放
送されてくるテレビジョン放送番組を構成する画像や、
ＤＶＤやビデオＣＤ等の記録媒体から再生された画像等
を用いることができる。

【００５７】予測タップ構成回路５２は、図１の予測タ
ップ構成回路３４と同様の処理を行い、これにより、フ
レームメモリ５１に記憶された低Ｓ／Ｎ画像を用いて、
予測タップを構成し、予測演算回路５６に供給する。

【００５８】クラスタップ構成回路５３は、図１のクラ
スタップ構成回路３５と同様の処理を行い、これによ
り、フレームメモリ５１に記憶された低Ｓ／Ｎ画像を用
いて、クラスタップを構成し、クラス分類回路５４に供
給する。

【００５９】クラス分類回路５４は、図１のクラス分類
回路３６と同様の処理を行い、これにより、クラスタッ
プ構成回路５３からのクラスタップを用いたクラス分類
結果としてのクラスコードを、アドレスとしてメモリ５
５に供給する。

【００６０】メモリ５５は、図１のメモリ３９に記憶さ
れたのと同一の予測係数を記憶しており、クラス分類回
路５４からのクラスコードに対応するアドレスに記憶さ
れている予測係数を読み出して、予測演算回路５６に供
給する。

【００６１】予測演算回路５６は、予測タップ構成回路
５２から供給される予測タップと、メモリ５５から供給
される予測係数とを用いて、式（１）に示した線形予測
演算（積和演算）を行い、その結果得られる画素値を、
低Ｓ／Ｎ画像の画質を向上させた高Ｓ／Ｎ画像の予測値
として出力する。

【００６２】次に、図６のフローチャートを参照して、
図５の予測装置において行われる、低Ｓ／Ｎ画像の画質
を向上させる予測処理（クラス分類適応処理）について
説明する。

【００６３】まず最初に、ステップＳ１１において、フ
レームメモリ５１は、そこに供給される、例えば、１フ
レームの低Ｓ／Ｎ画像を記憶し、ステップＳ１２に進
む。

【００６４】ステップＳ１２では、フレームメモリ５１
に記憶された低Ｓ／Ｎ画像の画質を向上させた高Ｓ／Ｎ
画像（予測装置では、この高Ｓ／Ｎ画像は、実際には存
在しないが、仮想的に想定される）を構成する画素のう
ちの、まだ、注目画素とされていないものが、注目画素
とされ、予測タップ構成回路５２において、フレームメ
モリ５１に記憶された低Ｓ／Ｎ画像の画素を用いて、注
目画素についての予測タップが構成される。さらに、ス
テップＳ１２では、クラスタップ構成回路５３におい
て、フレームメモリ５１に記憶された低Ｓ／Ｎ画像の画
素を用いて、注目画素についてのクラスタップが構成さ
れる。そして、予測タップは、予測演算回路５６に供給
され、クラスタップは、クラス分類回路５４に供給され
る。

【００６５】クラス分類回路５４は、ステップＳ１３に
おいて、クラスタップ構成回路５３からのクラスタップ
に基づき、注目画素をクラス分類し、その結果得られる
クラスに対応するクラスコードを、メモリ５５に対し
て、アドレスとして供給し、ステップＳ１４に進む。

【００６６】ステップＳ１４では、メモリ５５におい
て、そこに記憶されている各クラスごとの予測係数のう
ち、クラス分類回路５４からのクラスコードで表される
アドレスに記憶されているものが読み出され、予測演算
回路５６に供給される。

【００６７】予測演算回路５６では、予測タップ構成回
路５２から供給される予測タップと、メモリ５５から供
給される予測係数とを用いて、式（１）に示した線形予
測演算を行い、その結果得られる画素値を、注目画素の
予測値として、一時記憶する。

【００６８】そして、ステップＳ１６に進み、フレーム
メモリ５１に記憶された低Ｓ／Ｎ画像のフレームに対応
する高Ｓ／Ｎ画像のフレームを構成する高Ｓ／Ｎ画素す
べてを注目画素として、その予測値を求めたかどうかが
判定される。ステップＳ１６において、高Ｓ／Ｎ画像の
フレームを構成する高Ｓ／Ｎ画素すべてを注目画素とし
て、まだ、予測値を求めていないと判定された場合、ス
テップＳ１２に戻り、高Ｓ／Ｎ画像のフレームを構成す
る画素のうち、まだ注目画素とされていないものが、新
たに注目画素とされ、以下、同様の処理が繰り返され
る。

【００６９】一方、ステップＳ１６において、高Ｓ／Ｎ
画像のフレームを構成する高Ｓ／Ｎ画素すべてを注目画
素として、予測値を求めたと判定された場合、ステップ
Ｓ１７に進み、予測演算回路５６は、それまでに求めた
予測値でなる高画質の１フレームの画像を出力し、処理
を終了する。

【００７０】なお、図６の予測処理は、フレームメモリ
５１に、１フレームの低Ｓ／Ｎ画像が供給されるごとに
繰り返し行われる。

【００７１】

【発明が解決しようとする課題】以上のように、クラス
分類適応処理では、クラスごとの予測係数が、学習によ
って求められ、そのクラスごとの予測係数を用いて、画
像の画質を向上させる。

【００７２】ところで、注目画素のクラス分類におい
て、各画素がＫビットで表される、Ｎ個の画素で構成さ
れるクラスタップを用いる場合には、注目画素は、上述
したように、（２^N）^Kクラスのうちのいずれかのクラス
にクラス分類されることになる。

【００７３】クラス分類は、予測値を求めようとする高
Ｓ／Ｎ画素の位置に対応する低Ｓ／Ｎ画像の位置から空
間的または時間的に近い位置にある低Ｓ／Ｎ画素の画素
値のパターンによって、各高Ｓ／Ｎ画素を、いわばグル
ープ分けするものであり、適応処理は、各グループ（上
述のクラスに相当する）ごとに、そのグループに属する
高Ｓ／Ｎ画素に対して、より適した予測係数を求めて、
その予測係数により、画質の向上を図るものであるか
ら、クラス分類は、基本的には、予測値を求めようとす
る高Ｓ／Ｎ画素に関係する、より多くの画素からクラス
タップを構成して行うのが望ましい。

【００７４】しかしながら、クラスタップを構成する画
素を増加させると、上述したことから、クラス数は、指
数関数的に増大し、学習処理や予測処理における演算量
や演算時間が増大する。

【００７５】また、予測処理においても、より多くの画
素から予測タップを構成した方が、よりＳ／Ｎを向上さ
せた画像を得ることができるが、予測タップを構成する
画素を増加させると、やはり、学習処理や予測処理にお
ける演算量や演算時間が増大する。

【００７６】ところで、上述の場合においては、横×縦
が３×３画素の十字形状や正方形状の予測タップやクラ
スタップ（以下、適宜、両方含めて、単に、タップとい
う）を構成するようにしたが、タップを構成する画素
を、例えば、単純に、横方向に１画素だけ増やして、４
×３画素とした場合を考えてみると、上述したように、
演算量や演算時間が増大する。

【００７７】そして、この場合、画像が、例えば、縦方
向の縞模様等が表示された、横方向の解像度の高いもの
であるときには、横方向のタップ数を増加させること
で、そのタップ数の増加に、いわば見合った分の画質の
向上が図られる。

【００７８】しかしながら、例えば、画像が、横方向の
縞模様等が表示された、縦方向の解像度の高いものであ
るときには、横方向のタップ数を増加させても、そのタ
ップ数の増加に見合った分の画質の向上が図られるとは
限らない。従って、この場合、単に、演算量や演算時間
が増大するだけとなることがある。

【００７９】本発明は、このような状況に鑑みてなされ
たものであり、画像の画質を向上させる処理のパフォー
マンスを向上させることができるようにするものであ
る。

【００８０】

【課題を解決するための手段】本発明の第１の画像処理
装置は、教師となる第２の画質の画像である教師画像か
ら、生徒となる第１の画質の画像である生徒画像を生成
する生徒画像生成手段と、生徒画像を処理し、生徒画像
と特性の異なる異特性画像を１種類以上生成する生徒画
像処理手段と、教師画像を構成する画素のうちの、注目
している注目画素を予測するのに、予測係数とともに用
いる予測タップを構成する生徒画像および１種類以上の
異特性画像の画素を設定する予測タップ設定手段と、予
測タップ設定手段による設定結果にしたがって、生徒画
像および１種類以上の異特性画像の画素を選択し、予測
タップを構成する予測タップ構成手段と、予測タップお
よび教師画像に基づいて、予測係数を求める予測係数演
算手段とを備えることを特徴とする。

【００８１】生徒画像処理手段には、生徒画像をぼかし
た画像を、異特性画像として生成させることができる。

【００８２】予測タップ設定手段には、注目画素に対応
する生徒画像の位置の周辺におけるアクティビティに基
づいて、予測タップを構成する生徒画像および１種類以
上の異特性画像の画素を設定させることができる。

【００８３】本発明の第１の画像処理装置には、注目画
素のクラスを求めるのに用いるクラスタップを構成する
生徒画像および１種類以上の異特性画像の画素を設定す
るクラスタップ設定手段と、クラスタップ設定手段によ
る設定結果にしたがって、生徒画像および１種類以上の
異特性画像の画素を選択し、クラスタップを構成するク
ラスタップ構成手段と、クラスタップに基づいて、注目
画素のクラスを求めるクラス分類を行うクラス分類手段
とをさらに設けることができ、この場合、予測係数演算
手段には、予測タップおよび教師画像に基づいて、クラ
スごとの予測係数を求めさせることができる。

【００８４】クラスタップ設定手段には、注目画素に対
応する生徒画像の位置の周辺におけるアクティビティに
基づいて、クラスタップを構成する生徒画像および１種
類以上の異特性画像の画素を設定させることができる。

【００８５】予測係数は、第１の画質の画像から、第２
の画質の画像を線形予測するための、第１の画質の画像
の画素と乗算される係数とすることができる。

【００８６】本発明の第１の画像処理方法は、教師とな
る第２の画質の画像である教師画像から、生徒となる第
１の画質の画像である生徒画像を生成する生徒画像生成
ステップと、生徒画像を処理し、生徒画像と特性の異な
る異特性画像を１種類以上生成する生徒画像処理ステッ
プと、教師画像を構成する画素のうちの、注目している
注目画素を予測するのに、予測係数とともに用いる予測
タップを構成する生徒画像および１種類以上の異特性画
像の画素を設定する予測タップ設定ステップと、予測タ
ップ設定ステップによる設定結果にしたがって、生徒画
像および１種類以上の異特性画像の画素を選択し、予測
タップを構成する予測タップ構成ステップと、予測タッ
プおよび教師画像に基づいて、予測係数を求める予測係
数演算ステップとを備えることを特徴とする。

【００８７】本発明の第１の記録媒体は、教師となる第
２の画質の画像である教師画像から、生徒となる第１の
画質の画像である生徒画像を生成する生徒画像生成ステ
ップと、生徒画像を処理し、生徒画像と特性の異なる異
特性画像を１種類以上生成する生徒画像処理ステップ
と、教師画像を構成する画素のうちの、注目している注
目画素を予測するのに、予測係数とともに用いる予測タ
ップを構成する生徒画像および１種類以上の異特性画像
の画素を設定する予測タップ設定ステップと、予測タッ
プ設定ステップによる設定結果にしたがって、生徒画像
および１種類以上の異特性画像の画素を選択し、予測タ
ップを構成する予測タップ構成ステップと、予測タップ
および教師画像に基づいて、予測係数を求める予測係数
演算ステップとを備えるプログラムが記録されているこ
とを特徴とする。

【００８８】本発明の第２の画像処理装置は、第１の画
質の画像を処理し、第１の画質の画像と特性の異なる異
特性画像を１種類以上生成する第１の画質の画像処理手
段と、第２の画質の画像を構成する画素のうちの、注目
している注目画素を予測するのに用いる予測タップを構
成する第１の画質の画像および１種類以上の異特性画像
の画素を設定する予測タップ設定手段と、予測タップ設
定手段による設定結果にしたがって、第１の画質の画像
および１種類以上の異特性画像の画素を選択し、予測タ
ップを構成する予測タップ構成手段と、予測タップに基
づいて、注目画素の予測値を求める予測手段とを備える
ことを特徴とする。

【００８９】第１の画質の画像処理手段には、第１の画
質の画像をぼかした画像を、異特性画像として生成させ
ることができる。

【００９０】予測タップ設定手段には、注目画素に対応
する第１の画質の画像の位置の周辺におけるアクティビ
ティに基づいて、予測タップを構成する第１の画質の画
像および１種類以上の異特性画像の画素を設定させるこ
とができる。

【００９１】予測手段には、予測タップと所定の予測係
数とに基づいて、注目画素の予測値を求めさせることが
できる。

【００９２】本発明の第２の画像処理装置には、注目画
素のクラスを求めるのに用いるクラスタップを構成する
第１の画質の画像および１種類以上の異特性画像の画素
を設定するクラスタップ設定手段と、クラスタップ設定
手段による設定結果にしたがって、第１の画質の画像お
よび１種類以上の異特性画像の画素を選択し、クラスタ
ップを構成するクラスタップ構成手段と、クラスタップ
に基づいて、注目画素のクラスを求めるクラス分類を行
うクラス分類手段とをさらに設けることができ、この場
合、予測手段には、予測タップおよびクラスごとの予測
係数に基づいて、注目画素の予測値を求めさせることが
できる。

【００９３】クラスタップ設定手段には、注目画素に対
応する第１の画質の画像の位置の周辺におけるアクティ
ビティに基づいて、クラスタップを構成する第１の画質
の画像および１種類以上の異特性画像の画素を設定させ
ることができる。

【００９４】予測手段には、予測タップおよび予測係数
に基づいて、注目画素の予測値を、線形予測させること
ができる。

【００９５】本発明の第２の画像処理方法は、第１の画
質の画像を処理し、第１の画質の画像と特性の異なる異
特性画像を１種類以上生成する第１の画質の画像処理ス
テップと、第２の画質の画像を構成する画素のうちの、
注目している注目画素を予測するのに用いる予測タップ
を構成する第１の画質の画像および１種類以上の異特性
画像の画素を設定する予測タップ設定ステップと、予測
タップ設定ステップによる設定結果にしたがって、第１
の画質の画像および１種類以上の異特性画像の画素を選
択し、予測タップを構成する予測タップ構成ステップ
と、予測タップに基づいて、注目画素の予測値を求める
予測ステップとを備えることを特徴とする。

【００９６】本発明の第２の記録媒体は、第１の画質の
画像を処理し、第１の画質の画像と特性の異なる異特性
画像を１種類以上生成する第１の画質の画像処理ステッ
プと、第２の画質の画像を構成する画素のうちの、注目
している注目画素を予測するのに用いる予測タップを構
成する第１の画質の画像および１種類以上の異特性画像
の画素を設定する予測タップ設定ステップと、予測タッ
プ設定ステップによる設定結果にしたがって、第１の画
質の画像および１種類以上の異特性画像の画素を選択
し、予測タップを構成する予測タップ構成ステップと、
予測タップに基づいて、注目画素の予測値を求める予測
ステップとを備えるプログラムが記録されていることを
特徴とする。

【００９７】本発明の第３の画像処理装置は、教師とな
る第２の画質の画像である教師画像から、生徒となる第
１の画質の画像である生徒画像を生成する生徒画像生成
手段と、生徒画像を処理し、生徒画像と特性の異なる学
習用異特性画像を１種類以上生成する生徒画像処理手段
と、教師画像を構成する画素のうちの、注目している注
目学習用画素を予測するのに、予測係数とともに用いる
学習用予測タップを構成する生徒画像および１種類以上
の学習用異特性画像の画素を設定する学習用予測タップ
設定手段と、学習用予測タップ設定手段による設定結果
にしたがって、生徒画像および１種類以上の学習用異特
性画像の画素を選択し、学習用予測タップを構成する予
測タップ構成手段と、学習用予測タップおよび教師画像
に基づいて、予測係数を求める予測係数演算手段と、第
１の画質の画像を処理し、第１の画質の画像と特性の異
なる予測用異特性画像を１種類以上生成する第１の画質
の画像処理手段と、第２の画質の画像を構成する画素の
うちの、注目している注目予測対象画素を予測するの
に、予測係数とともに用いる予測用予測タップを構成す
る第１の画質の画像および１種類以上の予測用異特性画
像の画素を設定する予測用予測タップ設定手段と、予測
用予測タップ設定手段による設定結果にしたがって、第
１の画質の画像および１種類以上の予測用異特性画像の
画素を選択し、予測用予測タップを構成する予測用予測
タップ構成手段と、予測用予測タップおよび予測係数に
基づいて、注目予測対象画素の予測値を求める予測手段
とを備えることを特徴とする。

【００９８】本発明の第１の画像処理装置および画像処
理方法、並びに記録媒体においては、教師となる第２の
画質の画像である教師画像から、生徒となる第１の画質
の画像である生徒画像が生成され、その生徒画像と特性
の異なる異特性画像が１種類以上生成される。さらに、
教師画像を構成する画素のうちの、注目している注目画
素を予測するのに、予測係数とともに用いる予測タップ
を構成する生徒画像および１種類以上の異特性画像の画
素が設定され、その設定結果にしたがって、生徒画像お
よび１種類以上の異特性画像の画素が選択されて、予測
タップが構成される。そして、その予測タップおよび教
師画像に基づいて、予測係数が求められる。

【００９９】本発明の第２の画像処理装置および画像処
理方法、並びに記録媒体においては、第１の画質の画像
と特性の異なる異特性画像が１種類以上生成され、第２
の画質の画像を構成する画素のうちの、注目している注
目画素を予測するのに用いる予測タップを構成する第１
の画質の画像および１種類以上の異特性画像の画素が設
定される。そして、その設定結果にしたがって、第１の
画質の画像および１種類以上の異特性画像の画素が選択
され、予測タップが構成されて、その予測タップに基づ
いて、注目画素の予測値が求められる。

【０１００】本発明の第３の画像処理装置においては、
教師となる第２の画質の画像である教師画像から、生徒
となる第１の画質の画像である生徒画像が生成され、そ
の生徒画像と特性の異なる学習用異特性画像が１種類以
上生成される。さらに、教師画像を構成する画素のうち
の、注目している注目学習用画素を予測するのに、予測
係数とともに用いる学習用予測タップを構成する生徒画
像および１種類以上の学習用異特性画像の画素が設定さ
れ、その設定結果にしたがって、生徒画像および１種類
以上の学習用異特性画像の画素が選択されて、学習用予
測タップが構成される。そして、その学習用予測タップ
および教師画像に基づいて、予測係数が求められる。一
方、第１の画質の画像と特性の異なる予測用異特性画像
が１種類以上生成され、第２の画質の画像を構成する画
素のうちの、注目している注目予測対象画素を予測する
のに、予測係数とともに用いる予測用予測タップを構成
する第１の画質の画像および１種類以上の予測用異特性
画像の画素が設定される。そして、その設定結果にした
がって、第１の画質の画像および１種類以上の予測用異
特性画像の画素が選択され、予測用予測タップが構成さ
れて、その予測用予測タップおよび予測係数に基づい
て、注目予測対象画素の予測値が求められる。

【０１０１】

【発明の実施の形態】図７は、本発明を適用した学習装
置の一実施の形態の構成例を示している。なお、図中、
図１における場合と対応する部分については、同一の符
号を付してあり、以下では、その説明は、適宜省略す
る。

【０１０２】即ち、図７の学習装置は、ぼかしフィルタ
２Ａおよび２Ｂ、フレームメモリ３Ａおよび３Ｂ、並び
に制御回路４０が新たに設けられているとともに、予測
タップ構成回路３４、クラスタップ構成回路３５、クラ
ス分類回路３６に替えて、それぞれ、予測タップ構成回
路４、クラスタップ構成回路５、クラス分類回路６が設
けられている他は、図１の学習装置と同様に構成されて
いる。

【０１０３】ぼかしフィルタ２Ａおよび２Ｂは、ぼかし
フィルタ３２が出力する生徒画像から、その生徒画像と
特性の異なる画像を生成するようになっている。

【０１０４】即ち、ぼかしフィルタ２Ａおよび２Ｂは、
例えば、いわゆるメディアンフィルタや、ガウシアンフ
ィルタ、あるいは、サブバンド分割を行うためのサブバ
ンドフィルタ等から構成されており、ぼかしフィルタ２
Ａは、ぼかしフィルタ３２が出力する生徒画像から、そ
の生徒画像をぼかした画像（以下、適宜、第１のぼけ画
像という）を生成する。また、ぼかしフィルタ２Ｂは、
ぼかしフィルタ２Ａが出力する第１のぼけ画像から、そ
の第１のぼけ画像をぼかした画像（以下、適宜、第２の
ぼけ画像という）を生成する。

【０１０５】フレームメモリ３Ａと３Ｂは、ぼかしフィ
ルタ２Ａと２Ｂが出力する第１と第２のぼけ画像をそれ
ぞれ記憶するようになっている。

【０１０６】予測タップ構成回路４は、図１の予測タッ
プ構成回路３４と同様に、予測タップを構成するが、そ
の予測タップを構成する画素は、制御回路４０からの制
御にしたがって、フレームメモリ３３に記憶された生徒
画像、フレームメモリ３Ａに記憶された第１のぼけ画
像、フレームメモリ３Ｂに記憶された第２のぼけ画像か
ら選択されるようになっている。

【０１０７】即ち、予測タップ構成回路４は、まず最初
に、生徒画像、第１のぼけ画像、第２のぼけ画像それぞ
れから、予測タップとする画素の候補（以下、適宜、予
測タップ候補という）を取得する。

【０１０８】ここで、生徒画像、第１のぼけ画像、第２
のぼけ画像それぞれから、予測タップ候補として取得す
る画素は、例えば、それらの画像の周波数帯域幅に反比
例するような距離に位置するものとすることができる。
即ち、生徒画像、第１のぼけ画像、第２のぼけ画像の周
波数帯域幅の比が、例えば、４：２：１である場合に
は、生徒画像からは、１の距離だけ離れた画素を、第１
のぼけ画像からは、２の距離だけ離れた画素を、第２の
ぼけ画像からは、４の距離だけ離れた画素を、それぞれ
予測タップ候補として取得するようにすることができ
る。

【０１０９】具体的には、図８に▲印で示す教師画素が
注目画素とされた場合には、生徒画像については、図８
に○印で示す生徒画素のうち、例えば、注目画素の位置
に対応する生徒画素Ｐ₁₁と、その上、下、左、右に隣接
する生徒画素Ｐ₁₂，Ｐ₁₃，Ｐ ₁₄，Ｐ₁₅の十字形状の５画
素が、予測タップ候補とされる。さらに、第１のぼけ画
像については、図９に□印で示す第１のぼけ画像の画素
のうち、注目画素（▲印で示す画素）の位置に対応する
画素Ｐ₂₁と、その上、下、左、右の１画素おきにある画
素Ｐ₂₂，Ｐ₂₃，Ｐ₂₄，Ｐ₂₅の十字形状の５画素が、予測
タップ候補とされる。また、第２のぼけ画像について
は、図１０に◇印で示す第２のぼけ画像の画素のうち、
注目画素（▲印で示す画素）の位置に対応する画素Ｐ₃₁
と、その上、下、左、右の３画素おきにある画素Ｐ₃₂，
Ｐ₃₃，Ｐ₃₄，Ｐ₃₅の十字形状の５画素が、予測タップ候
補とされる。

【０１１０】そして、予測タップ構成回路４は、制御回
路４０からの制御にしたがい、予測タップ候補から、最
終的に予測タップとする画素を選択し、それらの画素で
予測タップを構成して、正規方程式加算回路３７に供給
する。

【０１１１】即ち、予測タップ構成回路４は、制御回路
４０からの制御にしたがい、例えば、生徒画像から取得
された予測タップ候補としての５画素Ｐ₁₁乃至Ｐ₁₅（図
８）すべてを、予測タップとして選択する。さらに、予
測タップ構成回路４は、制御回路４０からの制御にした
がい、第１の生徒画像から取得された予測タップ候補と
しての５画素（図９）のうちの、例えば、横方向に並ぶ
Ｐ₂₄，Ｐ₂₁，Ｐ₂₅の３画素、または縦方向に並ぶＰ₂₂，
Ｐ₂₁，Ｐ₂₃の３画素を、予測タップとして選択する。ま
た、予測タップ構成回路４は、制御回路４０からの制御
にしたがい、第２の生徒画像から取得された予測タップ
候補としての５画素（図１０）のうちの、例えば、横方
向に並ぶＰ₃₄，Ｐ₃₅の２画素、または縦方向に並ぶ
Ｐ₃₂，Ｐ₃₃の２画素を、予測タップとして選択する。

【０１１２】そして、予測タップ構成回路４は、以上
の、生徒画像の５画素、第１の生徒画像の３画素、第２
の生徒画像の２画素の合計１０画素でなる予測タップ
を、正規方程式加算回路３７に供給する。

【０１１３】なお、予測タップ（後述するクラスタップ
構成回路５で構成されるクラスタップについても同様）
を構成させる生徒画像、第１の生徒画像、および第２の
生徒画像の画素数は、上述した値に限定されるものでは
ない。また、上述の場合には、生徒画像、第１の生徒画
像、および第２の生徒画像から、異なる画素数の画素を
選択して、予測タップを構成するようにしたが、生徒画
像、第１の生徒画像、および第２の生徒画像からは、同
一の画素数の画素を選択して、予測タップを構成するこ
とも可能である。さらに、上述の場合には、生徒画像、
第１の生徒画像、および第２の生徒画像から、十字形の
画素を、予測タップ候補として取得するようにしたが、
生徒画像、第１の生徒画像、および第２の生徒画像から
予測タップ候補として取得する画素も、上述したものに
限定されるものではない。

【０１１４】クラスタップ構成回路５は、図１のクラス
タップ構成回路３５と同様に、クラスタップを構成する
が、そのクラスタップを構成する画素は、制御回路４０
からの制御にしたがって、フレームメモリ３３に記憶さ
れた生徒画像、フレームメモリ３Ａに記憶された第１の
ぼけ画像、フレームメモリ３Ｂに記憶された第２のぼけ
画像から選択されるようになっている。

【０１１５】即ち、クラスタップ構成回路５は、制御回
路４０からの制御にしたがい、例えば、予測タップ構成
回路４と同様にして、フレームメモリ３３に記憶された
生徒画像、フレームメモリ３Ａに記憶された第１のぼけ
画像、およびフレームメモリ３Ｂに記憶された第２のぼ
け画像から、クラスタップの候補（クラスタップ候補）
となる画素を取得し、その画素の中から、クラスタップ
を構成させる画素を、制御回路４０からの制御信号にし
たがって選択し、クラスタップを構成して、クラス分類
回路６に出力する。

【０１１６】なお、ここでは、説明を簡単にするため
に、クラスタップ構成回路５において、予測タップと同
様のクラスタップが構成されるものとしたが、予測タッ
プとクラスタップとは、異なる画素で構成することが可
能である。

【０１１７】クラス分類回路６は、基本的には、図１の
クラス分類回路３６と同様にして、クラスタップ構成回
路５からのクラスタップに基づき、注目画素をクラス分
類するようになっている。但し、クラス分類回路６は、
クラスタップ構成回路５からのクラスタップに基づいて
行われるクラス分類結果を表すビット列に、制御回路４
０からの、クラスタップの構成を表す、例えば、１ビッ
トのクラスタップ構成信号を付加したビット列を、注目
画素のクラスコードとして、正規方程式加算回路３７に
供給するようになっている。

【０１１８】即ち、本実施の形態では、予測タップと同
一構成のクラスタップが構成されるが、このクラスタッ
プは、生徒画像から取得されたクラスタップ候補として
の５画素Ｐ₁₁乃至Ｐ₁₅（図８）、第１の生徒画像から取
得されたクラスタップ候補としての５画素（図９）のう
ちの横方向に並ぶＰ₂₄，Ｐ₂₁，Ｐ₂₅の３画素、第２の生
徒画像から取得されたクラスタップ候補としての５画素
（図９）のうちの横方向に並ぶＰ₃₄，Ｐ₃₅の２画素の合
計１０画素で構成される場合（このような構成のクラス
タップを、以下、適宜、横方向重視型クラスタップとい
う）と、生徒画像から取得されたクラスタップ候補とし
ての５画素Ｐ₁₁乃至Ｐ₁₅（図８）、第１の生徒画像から
取得されたクラスタップ候補としての５画素（図９）の
うちの縦方向に並ぶＰ₂₂，Ｐ₂₁，Ｐ₂₃の３画素、第２の
生徒画像から取得されたクラスタップ候補としての５画
素（図９）のうちの縦方向に並ぶＰ₃₂，Ｐ₃₃の２画素の
１０画素の合計１０画素で構成される場合（このような
構成のクラスタップを、以下、適宜、縦方向重視型クラ
スタップという）とがある。

【０１１９】以上のような横方向重視型クラスタップと
縦方向重視型クラスタップとでは、それぞれのクラスタ
ップを構成する画素の、注目画素から見た位置関係（ク
ラスタップの構成）が異なるため、これを区別するため
に、クラス分類回路６では、クラスタップ構成回路５か
らのクラスタップに基づいて行ったクラス分類結果を表
すビット列に、制御回路４０からの、クラスタップの構
成を表す１ビットのクラスタップ構成信号を付加したビ
ット列を、注目画素の最終的なクラスコードとするよう
になっている。

【０１２０】制御回路４０は、例えば、フレームメモリ
３３に記憶された生徒画像を参照することで、予測タッ
プおよびクラスタップを構成する、生徒画像、第１のぼ
け画像、および第２のぼけ画像の画素を設定し、その設
定結果を表す制御信号を、予測タップ構成回路４および
クラスタップ構成回路５に供給するようになっている。

【０１２１】即ち、制御回路４０は、生徒画像の、注目
画素に対応する部分が、例えば、縦方向の縞模様等が表
示された、横方向の解像度の高いものとなっている場合
には、生徒画像から取得された予測タップ候補としての
５画素Ｐ₁₁乃至Ｐ₁₅（図８）、第１の生徒画像から取得
された予測タップ候補としての５画素（図９）のうちの
横方向に並ぶＰ₂₄，Ｐ₂₁，Ｐ₂₅の３画素、第２の生徒画
像から取得された予測タップ候補としての５画素（図
９）のうちの横方向に並ぶＰ₃₄，Ｐ₃₅の２画素の合計１
０画素でなる予測タップ（このような構成の予測タップ
を、以下、適宜、横方向重視型予測タップという）を構
成するように指示する制御信号を、予測タップ構成回路
４に出力するとともに、横方向重視型クラスタップを構
成するように指示する制御信号を、クラスタップ構成回
路５に出力する。さらに、この場合、制御回路４０は、
横方向重視型クラスタップの構成を表すクラスタップ構
成信号を、クラス分類回路６に出力する。

【０１２２】また、制御回路４０は、生徒画像の、注目
画素に対応する部分が、例えば、横方向の縞模様等が表
示された、縦方向の解像度の高いものとなっている場合
には、生徒画像から取得された予測タップ候補としての
５画素Ｐ₁₁乃至Ｐ₁₅（図８）、第１の生徒画像から取得
された予測タップ候補としての５画素（図９）のうちの
縦方向に並ぶＰ₂₂，Ｐ₂₁，Ｐ₂₃の３画素、第２の生徒画
像から取得された予測タップ候補としての５画素（図
９）のうちの縦方向に並ぶＰ₃₂，Ｐ₃₃の２画素の１０画
素の合計１０画素でなる予測タップ（このような構成の
予測タップを、以下、適宜、縦方向重視型予測タップと
いう）を構成するように指示する制御信号を、予測タッ
プ構成回路４に出力するとともに、縦方向重視型クラス
タップを構成するように指示する制御信号を、クラスタ
ップ構成回路５に出力する。さらに、この場合、制御回
路４０は、縦方向重視型クラスタップの構成を表すクラ
スタップ構成信号を、クラス分類回路６に出力する。

【０１２３】なお、生徒画像の、注目画素に対応する部
分が、横方向または縦方向のうちのいずれの方向の解像
度が高いものとなっているかは、例えば、その部分のア
クティビティ等に基づいて検出することができる。ここ
で、アクティビティとしては、例えば、隣接する画素ど
うしの差分絶対値等を採用することができる。

【０１２４】次に、図１１のフローチャートを参照し
て、図７の学習装置による学習処理について説明する。

【０１２５】ステップＳ２１乃至Ｓ２３において、図４
のステップ１乃至Ｓ３における場合とそれぞれ同様の処
理が行われ、これにより、学習用の教師画像がフレーム
メモリ３１に記憶され、クラスｃごとの行列Ａを記憶す
るための配列変数A[c]と、ベクトルＶを記憶するための
配列変数V[c]とが０に初期化される。さらに、ぼかしフ
ィルタ３２において、教師画像から生徒画像が生成さ
れ、フレームメモリ３３に供給されて記憶される。

【０１２６】そして、ステップＳ２４に進み、ぼかしフ
ィルタ２Ａにおいて、ぼかしフィルタ３２が出力する生
徒画像から第１のぼけ画像が生成され、フレームメモリ
３Ａに供給されて記憶される。さらに、ステップＳ２４
では、ぼかしフィルタ２Ｂにおいて、ぼかしフィルタ２
Ａが出力する第１のぼけ画像から第２のぼけ画像が生成
され、フレームメモリ３Ｂに供給されて記憶される。

【０１２７】そして、ステップＳ２５に進み、制御回路
４０において、フレームメモリ３１に記憶された教師画
素のうちの、まだ、注目画素とされていないものが、注
目画素とされ、その注目画素に対応する、フレームメモ
リ３３に記憶された生徒画像の位置の周辺における画像
のアクティビティが検出される。さらに、制御回路４０
は、そのアクティビティに基づいて、上述したような予
測タップとクラスタップの構成を指示する制御信号を生
成し、予測タップ構成回路４とクラスタップ構成回路５
に、それぞれ出力する。また、制御回路４０は、クラス
タップの構成を表すクラスタップ構成信号を生成し、ク
ラス分類回路６に出力する。

【０１２８】その後、ステップＳ２６に進み、予測タッ
プ構成回路４において、フレームメモリ３３，３Ａ，３
Ｂにそれぞれ記憶された生徒画素、第１のぼけ画像、第
２のぼけ画像の予測タップ候補となっている画素から、
制御回路４０からの制御信号にしたがって、画素が選択
され、これにより、注目画素についての予測タップが構
成される。さらに、ステップＳ２６では、クラスタップ
構成回路５において、やはり、生徒画素、第１のぼけ画
像、第２のぼけ画像のクラスタップ候補となっている画
素から、制御回路４０からの制御信号にしたがって、画
素が選択され、これにより、注目画素についてのクラス
タップが構成される。そして、予測タップは、正規方程
式加算回路３７に供給され、クラスタップは、クラス分
類回路６に供給される。

【０１２９】クラス分類回路６は、ステップＳ２７にお
いて、クラスタップ構成回路５からのクラスタップに基
づき、注目画素をクラス分類し、その結果得られるビッ
ト列に、制御回路４０からのクラスタップ構成信号とし
ての１ビットを付加して、最終的なクラスコードｃを得
る。このクラスコードｃは、正規方程式加算回路７に供
給され、ステップＳ２８に進む。

【０１３０】ステップＳ２８では、図４のステップＳ６
における場合と同様に、正規方程式加算回路３７におい
て、フレームメモリ３１から、注目画素となっている教
師画素が読み出され、予測タップ構成回路４からの予測
タップ（を構成する生徒画素、第１のぼけ画像の画素、
第２のぼけ画像の画素）、注目画素（教師画素）を対象
とし、配列変数A[c]とv[c]を用いて、式（８）の行列Ａ
とベクトルｖの各コンポーネントの、前述したような足
し込みが、クラス分類回路６から供給されるクラス（ク
ラスコード）ｃごとに行われる。

【０１３１】そして、ステップＳ２９に進み、フレーム
メモリ３１に記憶された教師画像を構成する教師画素す
べてを注目画素として、足し込みを行ったかどうかが判
定され、まだ、教師画素のすべてを注目画素として、足
し込みを行っていないと判定された場合、ステップＳ２
５に戻る。この場合、まだ、注目画素されていない教師
画素のうちの１つが、新たに注目画素とされ、ステップ
Ｓ２５乃至Ｓ２９の処理が繰り返される。

【０１３２】また、ステップＳ２９において、教師画素
すべてを注目画素として、足し込みを行ったと判定され
た場合、即ち、正規方程式加算回路３７においてクラス
ごとの正規方程式が得られた場合、ステップＳ３０に進
み、予測係数決定回路３８は、そのクラスごとに生成さ
れた正規方程式を解くことにより、クラスごとの予測係
数を求め、メモリ３９の、各クラスに対応するアドレス
に供給する。メモリ３９は、予測係数決定回路３８から
供給される予測係数を記憶し、学習処理を終了する。

【０１３３】以上のように、生徒画像から、それと特性
の異なる第１および第２のぼけ画像を生成し、それらの
画素を用いて、タップ（クラスタップや予測タップ）を
構成するようにしたので、より画質を向上させる予測係
数を得ることができる。

【０１３４】即ち、第１や第２のぼけ画像の画素は、そ
れを生成するのに用いた生徒画像の複数の画素の影響を
受けており、従って、第１や第２のぼけ画像の画素を、
タップに含めて構成することで、そのタップには、生徒
画像における、ある程度大きな範囲の画像の性質が反映
される。さらに、タップには、生徒画像の画素も含まれ
るため、その微小な範囲の画像の性質も反映される。従
って、タップには、生徒画像の、いわばマクロ的な性質
とミクロ的な性質の両方が含まれることとなり、このよ
うなタップを用いることで、より画質を向上させる予測
係数を得ることができる。

【０１３５】また、生徒画像、並びに第１および第２の
ぼけ画像から、画素を選択して、タップを構成するよう
にしたので、処理のパフォーマンスを向上させることが
できる。

【０１３６】即ち、例えば、本実施の形態では、クラス
タップを１０画素で構成するようにしたので、そのクラ
スタップの１ビットADRC処理結果を、そのままクラス分
類結果とすると、クラス数は、２¹⁰クラスとなる。ま
た、本実施の形態では、クラス分類結果に、１ビットの
クラスタップ構成信号を付加したものを、最終的なクラ
スコードとするようにしているので、そのクラス数は、
２¹¹クラスになり、従って、クラスタップを１１画素で
構成して、その１ビットADRC処理結果を、クラス分類結
果とする場合と、同一のクラス数になる。

【０１３７】しかしながら、本実施の形態では、画像
が、横方向の解像度の高いものであるときには、横方向
のタップ数を増加させ、また、縦方向の解像度が高いも
のであるときには、縦方向のタップ数を増加させるよう
にしているので、クラスタップを１１画素で構成して、
その１ビットADRC処理結果を、クラス分類結果とする場
合に比較して、処理のパフォーマンスが向上する場合が
ある。

【０１３８】予測タップについても、クラスタップと同
様に、画像の解像度によって、そのタップ構成を変える
ようにしたので、処理のパフォーマンスを向上させるこ
とができる。

【０１３９】なお、本実施の形態においては、図８乃至
図１０に示したように、生徒画像、第１のぼけ画像、第
２のぼけ画像それぞれから、予測タップ候補やクラスタ
ップ候補とする画素として、十字形状の５画素を取得す
るようにしたが、生徒画像、第１のぼけ画像、第２のぼ
け画像それぞれからは、学習処理および予測処理を行う
ことによって、最も画質の向上を図ることができた画素
を、予測タップ候補やクラスタップ候補として取得する
ようにすることが可能である。

【０１４０】また、本実施の形態では、空間方向に位置
する画素だけを用いて、予測タップやクラスタップを構
成するようにしたが、予測タップやクラスタップは、時
間方向に位置する画素を用いて構成することも可能であ
る。時間方向に位置する画素のうちのいずれを、予測タ
ップやクラスタップとして選択するかは、例えば、時間
方向の解像度に基づいて決めるようにすることができ
る。

【０１４１】さらに、本実施の形態では、メディアンフ
ィルタ等によって、生徒画像を積分したような画像とし
てのぼけ画像を生成し、予測タップやクラスタップを構
成するのに用いるようにしたが、その他、例えば、生徒
画像を、いわば微分して高域強調したような、エッジ部
分を強調した画像を生成して、予測タップやクラスタッ
プを構成するのに用いることが可能である。

【０１４２】さらに、予測タップ（クラスタップについ
ても同様）として、横方向重視型予測タップと縦方向重
視型の予測タップの２種類の予測タップを選択的に構成
するようにしたが、３種類以上の予測タップを選択的に
構成するようにすることも可能である。

【０１４３】次に、図１２は、図７の学習装置によって
得られた予測係数を用いて予測処理（クラス分類適応処
理）を行う予測装置の一実施の形態の構成例を示してい
る。なお、図中、図５における場合と対応する部分につ
いては、同一の符号を付してあり、以下では、その説明
は、適宜省略する。

【０１４４】即ち、図１２の予測装置は、ぼかしフィル
タ５８Ａおよび５８Ｂ、並びに制御回路５７が新たに設
けられ、予測タップ構成回路５２、クラスタップ構成回
路５３、クラス分類回路５４に替えて、それぞれ予測タ
ップ構成回路１２、クラスタップ構成回路１３、クラス
分類回路１４が設けられている他は、図５における場合
と同様に構成されている。

【０１４５】ぼかしフィルタ５８Ａと５８Ｂは、図７の
ぼかしフィルタ２Ａと２Ｂそれぞれと同様に構成されて
おり、フレームメモリ５１に記憶された低Ｓ／Ｎ画像か
ら、その低Ｓ／Ｎ画像と特性の異なる画像を生成するよ
うになっている。

【０１４６】即ち、ぼかしフィルタ５８Ａは、フレーム
メモリ５１に記憶された低Ｓ／Ｎ画像から、その低Ｓ／
Ｎ画像をぼかした画像（この画像も、以下、適宜、第１
のぼけ画像という）を生成する。また、ぼかしフィルタ
５８Ｂは、ぼかしフィルタ５８Ａが出力する第１のぼけ
画像から、その第１のぼけ画像をぼかした画像（この画
像も、以下、適宜、第２のぼけ画像という）を生成す
る。

【０１４７】フレームメモリ１１Ａと１１Ｂは、ぼかし
フィルタ５８Ａと５８Ｂが出力する第１と第２のぼけ画
像をそれぞれ記憶するようになっている。

【０１４８】予測タップ構成回路１２は、図７の予測タ
ップ構成回路４と同様に、制御回路５７からの制御にし
たがって、フレームメモリ５１に記憶された低Ｓ／Ｎ画
像、フレームメモリ１１Ａに記憶された第１のぼけ画
像、フレームメモリ１１Ｂに記憶された第２のぼけ画像
から画素を選択し、予測タップを構成して、予測演算回
路５６に供給するようになっている。

【０１４９】クラスタップ構成回路１３は、図７のクラ
スタップ構成回路５と同様に、制御回路５７からの制御
にしたがって、フレームメモリ５１に記憶された低Ｓ／
Ｎ画像、フレームメモリ１１Ａに記憶された第１のぼけ
画像、フレームメモリ１１Ｂに記憶された第２のぼけ画
像から画素を選択し、クラスタップを構成して、クラス
分類回路１４に供給するようになっている。

【０１５０】クラス分類回路１４は、図７のクラス分類
回路６と同様に、クラスタップ構成回路１３からのクラ
スタップに基づき、注目画素をクラス分類し、そのクラ
ス分類結果を表すビット列に、制御回路５７からの、ク
ラスタップの構成を表す１ビットのクラスタップ構成信
号を付加したビット列を、注目画素のクラスコードとし
て、メモリ５５に供給するようになっている。

【０１５１】制御回路５７は、図７の制御回路４０と同
様に、フレームメモリ５１に記憶された低Ｓ／Ｎ画像を
参照し、予測タップおよびクラスタップを構成する、低
Ｓ／Ｎ画像、第１のぼけ画像、および第２のぼけ画像の
画素を設定し、その設定結果を表す制御信号を、予測タ
ップ構成回路１２およびクラスタップ構成回路１３に供
給するようになっている。さらに、制御回路５７は、上
述したようなクラスタップ構成信号を、クラス分類回路
１４に出力する。

【０１５２】なお、メモリ５５には、図７の学習装置に
よる学習処理により得られたクラスごとの予測係数が、
各クラスに対応するアドレスに記憶されている。

【０１５３】次に、図１３のフローチャートを参照し
て、図１２の予測装置による予測処理について説明す
る。

【０１５４】まず最初に、ステップＳ４１において、フ
レームメモリ５１は、そこに供給される、例えば、１フ
レームの低Ｓ／Ｎ画像を記憶し、ステップＳ４２に進
む。

【０１５５】ステップＳ４２では、ぼかしフィルタ５８
Ａにおいて、フレームメモリ５１に記憶された低Ｓ／Ｎ
画像から第１のぼけ画像が生成され、フレームメモリ１
１Ａに供給されて記憶される。さらに、ステップＳ４２
では、ぼかしフィルタ５８Ｂにおいて、ぼかしフィルタ
５８Ａが出力する第１のぼけ画像から第２のぼけ画像が
生成され、フレームメモリ１１Ｂに供給されて記憶され
る。

【０１５６】そして、ステップＳ４３に進み、制御回路
５７において、予測値を求めようとする高Ｓ／Ｎ画像
（前述したように、この高Ｓ／Ｎ画像は、仮想的に想定
される）を構成する高Ｓ／Ｎ画素のうちの、まだ、注目
画素とされていないものが、注目画素とされ、その注目
画素に対応する、フレームメモリ５１に記憶された低Ｓ
／Ｎ画像の位置の周辺における画像のアクティビティが
検出される。さらに、制御回路５７は、そのアクティビ
ティに基づいて、上述したような予測タップとクラスタ
ップの構成を指示する制御信号を生成し、予測タップ構
成回路１２とクラスタップ構成回路１３に、それぞれ出
力する。また、制御回路５７は、クラスタップの構成を
表すクラスタップ構成信号を生成し、クラス分類回路１
４に出力する。

【０１５７】その後、ステップＳ４４に進み、予測タッ
プ構成回路１２において、フレームメモリ５１，１１
Ａ，１１Ｂにそれぞれ記憶された低Ｓ／Ｎ画素、第１の
ぼけ画像、第２のぼけ画像の、上述したような予測タッ
プ候補となっている画素から、制御回路５７からの制御
信号にしたがって、画素が選択され、これにより、注目
画素についての予測タップが構成される。さらに、ステ
ップＳ４４では、クラスタップ構成回路１３において、
やはり、低Ｓ／Ｎ画素、第１のぼけ画像、第２のぼけ画
像のクラスタップ候補となっている画素から、制御回路
５７からの制御信号にしたがって、画素が選択され、こ
れにより、注目画素についてのクラスタップが構成され
る。そして、予測タップは、予測演算回路５６に供給さ
れ、クラスタップは、クラス分類回路１４に供給され
る。

【０１５８】クラス分類回路１４は、ステップＳ４５に
おいて、クラスタップ構成回路１３からのクラスタップ
に基づき、注目画素をクラス分類し、その結果得られる
ビット列に、制御回路５７からのクラスタップ構成信号
としての１ビットを付加して、最終的なクラスコードｃ
を得る。このクラスコードｃは、メモリ５５に供給さ
れ、ステップＳ４６に進む。

【０１５９】ステップＳ４６では、メモリ５５におい
て、そこに記憶されている各クラスごとの予測係数のう
ち、クラス分類回路１４からのクラスコードで表される
アドレスに記憶されているものが読み出され、予測演算
回路５６に供給されて、ステップＳ４７に進む。

【０１６０】以下、ステップＳ４７乃至Ｓ４９におい
て、図６のステップＳ１５乃至Ｓ１７における場合とそ
れぞれ同様の処理が行われ、これにより、高画質の１フ
レームの画像が求められて、予測処理を終了する。

【０１６１】なお、図１３の予測処理は、フレームメモ
リ５１に、１フレームの低Ｓ／Ｎ画像が供給されるごと
に繰り返し行われる。

【０１６２】以上のように、図７の学習装置において求
められた予測係数を用いて、予測処理を行うことで、よ
り画質の向上した画像を得ることが可能となる。

【０１６３】さらに、予測装置では、図７の学習装置と
同様に、予測タップおよびクラスタップを構成するとと
もに、クラス分類を行うようにしたので、やはり、処理
のパフォーマンスを向上させることができる。

【０１６４】なお、本実施の形態においては、図１２の
予測装置を構成するメモリ５５に、予測係数をあらかじ
め記憶させておくようにしたが、予測係数は、低Ｓ／Ｎ
画像とともに、予測装置に対して送信するようにするこ
とが可能である。

【０１６５】また、本実施の形態では、クラス分類を行
うようにしたが、クラス分類は行わないようにすること
が可能である。即ち、クラスは、１クラスとすることが
可能である。

【０１６６】さらに、本実施の形態では、生徒画像また
は低Ｓ／Ｎ画像の他に、第１のぼけ画像および第２のぼ
け画像を、学習処理または予測処理に用いるようにした
が、学習処理または予測処理は、生徒画像または低Ｓ／
Ｎ画像の他、第１のぼけ画像だけを用いたり、あるい
は、３種類以上のぼけ画像を用いて行うことも可能であ
る。

【０１６７】次に、上述した一連の処理は、ハードウェ
アにより行うこともできるし、ソフトウェアにより行う
こともできる。一連の処理をソフトウェアによって行う
場合には、そのソフトウェアを構成するプログラムが、
汎用のコンピュータ等にインストールされる。

【０１６８】そこで、図１４は、上述した一連の処理を
実行するプログラムがインストールされるコンピュータ
の一実施の形態の構成例を示している。

【０１６９】プログラムは、コンピュータに内蔵されて
いる記録媒体としてのハードディスク１０５やＲＯＭ１
０３に予め記録しておくことができる。

【０１７０】あるいはまた、プログラムは、フロッピー
ディスク、CD-ROM(Compact Disc Read Only Memory)，M
O(Magneto optical)ディスク，DVD(Digital Versatile
Disc)、磁気ディスク、半導体メモリなどのリムーバブ
ル記録媒体１１１に、一時的あるいは永続的に格納（記
録）しておくことができる。このようなリムーバブル記
録媒体１１１は、いわゆるパッケージソフトウエアとし
て提供することができる。

【０１７１】なお、プログラムは、上述したようなリム
ーバブル記録媒体１１１からコンピュータにインストー
ルする他、ダウンロードサイトから、ディジタル衛星放
送用の人工衛星を介して、コンピュータに無線で転送し
たり、LAN(Local Area Network)、インターネットとい
ったネットワークを介して、コンピュータに有線で転送
し、コンピュータでは、そのようにして転送されてくる
プログラムを、通信部１０８で受信し、内蔵するハード
ディスク１０５にインストールすることができる。

【０１７２】コンピュータは、CPU(Central Processing
Unit)１０２を内蔵している。CPU１０２には、バス１
０１を介して、入出力インタフェース１１０が接続され
ており、CPU１０２は、入出力インタフェース１１０を
介して、ユーザによって、キーボードやマウス等で構成
される入力部１０７が操作されることにより指令が入力
されると、それにしたがって、ROM(Read Only Memory)
１０３に格納されているプログラムを実行する。あるい
は、また、CPU１０２は、ハードディスク１０５に格納
されているプログラム、衛星若しくはネットワークから
転送され、通信部１０８で受信されてハードディスク１
０５にインストールされたプログラム、またはドライブ
１０９に装着されたリムーバブル記録媒体１１１から読
み出されてハードディスク１０５にインストールされた
プログラムを、RAM(Random Access Memory)１０４にロ
ードして実行する。これにより、CPU１０２は、上述し
たフローチャートにしたがった処理、あるいは上述した
ブロック図の構成により行われる処理を行う。そして、
CPU１０２は、その処理結果を、必要に応じて、例え
ば、入出力インタフェース１１０を介して、LCD(Liquid
CryStal Display)やスピーカ等で構成される出力部１
０６から出力、あるいは、通信部１０８から送信、さら
には、ハードディスク１０５に記録等させる。

【０１７３】ここで、本明細書において、コンピュータ
に各種の処理を行わせるためのプログラムを記述する処
理ステップは、必ずしもフローチャートとして記載され
た順序に沿って時系列に処理する必要はなく、並列的あ
るいは個別に実行される処理（例えば、並列処理あるい
はオブジェクトによる処理）も含むものである。

【０１７４】また、プログラムは、１のコンピュータに
より処理されるものであっても良いし、複数のコンピュ
ータによって分散処理されるものであっても良い。さら
に、プログラムは、遠方のコンピュータに転送されて実
行されるものであっても良い。

【０１７５】

【発明の効果】本発明の第１の画像処理装置および画像
処理方法、並びに記録媒体によれば、教師となる第２の
画質の画像である教師画像から、生徒となる第１の画質
の画像である生徒画像が生成され、その生徒画像と特性
の異なる異特性画像が１種類以上生成される。さらに、
教師画像を構成する画素のうちの、注目している注目画
素を予測するのに、予測係数とともに用いる予測タップ
を構成する生徒画像および１種類以上の異特性画像の画
素が設定され、その設定結果にしたがって、生徒画像お
よび１種類以上の異特性画像の画素が選択されて、予測
タップが構成される。そして、その予測タップおよび教
師画像に基づいて、予測係数が求められる。従って、処
理のパフォーマンスを向上させることが可能となる。

【０１７６】本発明の第２の画像処理装置および画像処
理方法、並びに記録媒体によれば、第１の画質の画像と
特性の異なる異特性画像が１種類以上生成され、第２の
画質の画像を構成する画素のうちの、注目している注目
画素を予測するのに用いる予測タップを構成する第１の
画質の画像および１種類以上の異特性画像の画素が設定
される。そして、その設定結果にしたがって、第１の画
質の画像および１種類以上の異特性画像の画素が選択さ
れ、予測タップが構成されて、その予測タップに基づい
て、注目画素の予測値が求められる。従って、処理のパ
フォーマンスを向上させることが可能となる。

【０１７７】本発明の第３の画像処理装置によれば、教
師となる第２の画質の画像である教師画像から、生徒と
なる第１の画質の画像である生徒画像が生成され、その
生徒画像と特性の異なる学習用異特性画像が１種類以上
生成される。さらに、教師画像を構成する画素のうち
の、注目している注目学習用画素を予測するのに、予測
係数とともに用いる学習用予測タップを構成する生徒画
像および１種類以上の学習用異特性画像の画素が設定さ
れ、その設定結果にしたがって、生徒画像および１種類
以上の学習用異特性画像の画素が選択されて、学習用予
測タップが構成される。そして、その学習用予測タップ
および教師画像に基づいて、予測係数が求められる。一
方、第１の画質の画像と特性の異なる予測用異特性画像
が１種類以上生成され、第２の画質の画像を構成する画
素のうちの、注目している注目予測対象画素を予測する
のに、予測係数とともに用いる予測用予測タップを構成
する第１の画質の画像および１種類以上の予測用異特性
画像の画素が設定される。そして、その設定結果にした
がって、第１の画質の画像および１種類以上の予測用異
特性画像の画素が選択され、予測用予測タップが構成さ
れて、その予測用予測タップおよび予測係数に基づい
て、注目予測対象画素の予測値が求められる。従って、
処理のパフォーマンスを向上させることが可能となる。

【図面の簡単な説明】

【図１】従来の学習装置の一例の構成を示すブロック図
である。

【図２】教師画像と生徒画像を示す図である。

【図３】図１の学習装置で構成される予測タップとクラ
スタップとを示す図である。

【図４】図１の学習装置による学習処理を説明するため
のフローチャートである。

【図５】従来の予測装置の一例の構成を示すブロック図
である。

【図６】図５の予測装置による予測処理を説明するため
のフローチャートである。

【図７】本発明を適用した学習装置の一実施の形態の構
成例を示すブロック図である。

【図８】生徒画像から取得される、予測タップ候補とな
る画素を示す図である。

【図９】第１のぼけ画像から取得される、予測タップ候
補となる画素を示す図である。

【図１０】第２のぼけ画像から取得される、予測タップ
候補となる画素を示す図である。

【図１１】図７の学習装置による学習処理を説明するた
めのフローチャートである。

【図１２】本発明を適用した予測装置の一実施の形態の
構成例を示すブロック図である。

【図１３】図１２の予測装置による予測処理を説明する
ためのフローチャートである。

【図１４】本発明を適用したコンピュータの一実施の形
態の構成例を示すブロック図である。

【符号の説明】

２Ａ，２Ｂぼかしフィルタ，３Ａ，３Ｂフレーム
メモリ，４予測タップ構成回路，５クラスタッ
プ構成回路，６クラス分類回路，１１Ａ，１１Ｂ
フレームメモリ，１２予測タップ構成回路，１
３クラスタップ構成回路，１４クラス分類回路，
３１フレームメモリ，３２ぼかしフィルタ，
３７正規方程式加算回路，３８予測係数決定回
路，３９メモリ，４０制御回路，５１フレー
ムメモリ，５５メモリ，５６予測演算回路，
５７制御回路，５８Ａ，５８Ｂぼかしフィルタ，
１０１バス，１０２ CPU，１０３ ROM，１０
４ RAM，１０５ハードディスク，１０６出力
部，１０７入力部，１０８通信部，１０９
ドライブ，１１０入出力インタフェース，１１１
リムーバブル記録媒体

Claims

【特許請求の範囲】

【請求項１】第１の画質の画像から、第２の画質の画
像を予測するときに用いられる予測係数の学習を行う画
像処理装置であって、教師となる前記第２の画質の画像である教師画像から、
生徒となる前記第１の画質の画像である生徒画像を生成
する生徒画像生成手段と、前記生徒画像を処理し、前記生徒画像と特性の異なる異
特性画像を１種類以上生成する生徒画像処理手段と、前記教師画像を構成する画素のうちの、注目している注
目画素を予測するのに、前記予測係数とともに用いる予
測タップを構成する前記生徒画像および１種類以上の異
特性画像の画素を設定する予測タップ設定手段と、前記予測タップ設定手段による設定結果にしたがって、
前記生徒画像および１種類以上の異特性画像の画素を選
択し、前記予測タップを構成する予測タップ構成手段
と、前記予測タップおよび前記教師画像に基づいて、前記予
測係数を求める予測係数演算手段とを備えることを特徴
とする画像処理装置。
【請求項２】前記生徒画像処理手段は、前記生徒画像
をぼかした画像を、前記異特性画像として生成すること
を特徴とする請求項１に記載の画像処理装置。
【請求項３】前記予測タップ設定手段は、前記注目画
素に対応する前記生徒画像の位置の周辺におけるアクテ
ィビティに基づいて、前記予測タップを構成する前記生
徒画像および１種類以上の異特性画像の画素を設定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】前記注目画素のクラスを求めるのに用い
るクラスタップを構成する前記生徒画像および前記１種
類以上の異特性画像の画素を設定するクラスタップ設定
手段と、前記クラスタップ設定手段による設定結果にしたがっ
て、前記生徒画像および１種類以上の異特性画像の画素
を選択し、前記クラスタップを構成するクラスタップ構
成手段と、前記クラスタップに基づいて、前記注目画素のクラスを
求めるクラス分類を行うクラス分類手段とをさらに備
え、前記予測係数演算手段は、前記予測タップおよび前記教
師画像に基づいて、前記クラスごとの予測係数を求める
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】前記クラスタップ設定手段は、前記注目
画素に対応する前記生徒画像の位置の周辺におけるアク
ティビティに基づいて、前記クラスタップを構成する前
記生徒画像および１種類以上の異特性画像の画素を設定
することを特徴とする請求項４に記載の画像処理装置。
【請求項６】前記予測係数は、第１の画質の画像か
ら、第２の画質の画像を線形予測するための、前記第１
の画質の画像の画素と乗算される係数であることを特徴
とする請求項１に記載の画像処理装置。
【請求項７】第１の画質の画像から、第２の画質の画
像を予測するときに用いられる予測係数の学習を行う画
像処理方法であって、教師となる前記第２の画質の画像である教師画像から、
生徒となる前記第１の画質の画像である生徒画像を生成
する生徒画像生成ステップと、前記生徒画像を処理し、前記生徒画像と特性の異なる異
特性画像を１種類以上生成する生徒画像処理ステップ
と、前記教師画像を構成する画素のうちの、注目している注
目画素を予測するのに、前記予測係数とともに用いる予
測タップを構成する前記生徒画像および１種類以上の異
特性画像の画素を設定する予測タップ設定ステップと、前記予測タップ設定ステップによる設定結果にしたがっ
て、前記生徒画像および１種類以上の異特性画像の画素
を選択し、前記予測タップを構成する予測タップ構成ス
テップと、前記予測タップおよび前記教師画像に基づいて、前記予
測係数を求める予測係数演算ステップとを備えることを
特徴とする画像処理方法。
【請求項８】第１の画質の画像から、第２の画質の画
像を予測するときに用いられる予測係数の学習を、コン
ピュータに行わせるプログラムが記録されている記録媒
体であって、教師となる前記第２の画質の画像である教師画像から、
生徒となる前記第１の画質の画像である生徒画像を生成
する生徒画像生成ステップと、前記生徒画像を処理し、前記生徒画像と特性の異なる異
特性画像を１種類以上生成する生徒画像処理ステップ
と、前記教師画像を構成する画素のうちの、注目している注
目画素を予測するのに、前記予測係数とともに用いる予
測タップを構成する前記生徒画像および１種類以上の異
特性画像の画素を設定する予測タップ設定ステップと、前記予測タップ設定ステップによる設定結果にしたがっ
て、前記生徒画像および１種類以上の異特性画像の画素
を選択し、前記予測タップを構成する予測タップ構成ス
テップと、前記予測タップおよび前記教師画像に基づいて、前記予
測係数を求める予測係数演算ステップとを備えるプログ
ラムが記録されていることを特徴とする記録媒体。
【請求項９】第１の画質の画像から、第２の画質の画
像を予測する画像処理装置であって、前記第１の画質の画像を処理し、前記第１の画質の画像
と特性の異なる異特性画像を１種類以上生成する第１の
画質の画像処理手段と、前記第２の画質の画像を構成する画素のうちの、注目し
ている注目画素を予測するのに用いる予測タップを構成
する前記第１の画質の画像および１種類以上の異特性画
像の画素を設定する予測タップ設定手段と、前記予測タップ設定手段による設定結果にしたがって、
前記第１の画質の画像および１種類以上の異特性画像の
画素を選択し、前記予測タップを構成する予測タップ構
成手段と、前記予測タップに基づいて、前記注目画素の予測値を求
める予測手段とを備えることを特徴とする画像処理装
置。
【請求項１０】前記第１の画質の画像処理手段は、前
記第１の画質の画像をぼかした画像を、前記異特性画像
として生成することを特徴とする請求項９に記載の画像
処理装置。
【請求項１１】前記予測タップ設定手段は、前記注目
画素に対応する前記第１の画質の画像の位置の周辺にお
けるアクティビティに基づいて、前記予測タップを構成
する前記第１の画質の画像および１種類以上の異特性画
像の画素を設定することを特徴とする請求項９に記載の
画像処理装置。
【請求項１２】前記予測手段は、前記予測タップと、
所定の予測係数とに基づいて、前記注目画素の予測値を
求めることを特徴とする請求項９に記載の画像処理装
置。
【請求項１３】前記注目画素のクラスを求めるのに用
いるクラスタップを構成する前記第１の画質の画像およ
び前記１種類以上の異特性画像の画素を設定するクラス
タップ設定手段と、前記クラスタップ設定手段による設定結果にしたがっ
て、前記第１の画質の画像および１種類以上の異特性画
像の画素を選択し、前記クラスタップを構成するクラス
タップ構成手段と、前記クラスタップに基づいて、前記注目画素のクラスを
求めるクラス分類を行うクラス分類手段とをさらに備
え、前記予測手段は、前記予測タップおよび前記クラスごと
の予測係数に基づいて、前記注目画素の予測値を求める
ことを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】前記クラスタップ設定手段は、前記注
目画素に対応する前記第１の画質の画像の位置の周辺に
おけるアクティビティに基づいて、前記クラスタップを
構成する前記第１の画質の画像および１種類以上の異特
性画像の画素を設定することを特徴とする請求項１３に
記載の画像処理装置。
【請求項１５】前記予測手段は、前記予測タップおよ
び前記予測係数に基づいて、前記注目画素の予測値を、
線形予測することを特徴とする請求項１２に記載の画像
処理装置。
【請求項１６】第１の画質の画像から、第２の画質の
画像を予測する画像処理方法であって、前記第１の画質の画像を処理し、前記第１の画質の画像
と特性の異なる異特性画像を１種類以上生成する第１の
画質の画像処理ステップと、前記第２の画質の画像を構成する画素のうちの、注目し
ている注目画素を予測するのに用いる予測タップを構成
する前記第１の画質の画像および１種類以上の異特性画
像の画素を設定する予測タップ設定ステップと、前記予測タップ設定ステップによる設定結果にしたがっ
て、前記第１の画質の画像および１種類以上の異特性画
像の画素を選択し、前記予測タップを構成する予測タッ
プ構成ステップと、前記予測タップに基づいて、前記注目画素の予測値を求
める予測ステップとを備えることを特徴とする画像処理
方法。
【請求項１７】第１の画質の画像から、第２の画質の
画像を予測する画像処理を、コンピュータに行わせるプ
ログラムが記録されている記録媒体であって、前記第１の画質の画像を処理し、前記第１の画質の画像
と特性の異なる異特性画像を１種類以上生成する第１の
画質の画像処理ステップと、前記第２の画質の画像を構成する画素のうちの、注目し
ている注目画素を予測するのに用いる予測タップを構成
する前記第１の画質の画像および１種類以上の異特性画
像の画素を設定する予測タップ設定ステップと、前記予測タップ設定ステップによる設定結果にしたがっ
て、前記第１の画質の画像および１種類以上の異特性画
像の画素を選択し、前記予測タップを構成する予測タッ
プ構成ステップと、前記予測タップに基づいて、前記注目画素の予測値を求
める予測ステップとを備えるプログラムが記録されてい
ることを特徴とする記録媒体。
【請求項１８】第１の画質の画像から、第２の画質の
画像を予測するときに用いられる予測係数の学習を行
い、前記第１の画質の画像から、前記予測係数を用い
て、第２の画質の画像を予測する画像処理装置であっ
て、教師となる前記第２の画質の画像である教師画像から、
生徒となる前記第１の画質の画像である生徒画像を生成
する生徒画像生成手段と、前記生徒画像を処理し、前記生徒画像と特性の異なる学
習用異特性画像を１種類以上生成する生徒画像処理手段
と、前記教師画像を構成する画素のうちの、注目している注
目学習用画素を予測するのに、前記予測係数とともに用
いる学習用予測タップを構成する前記生徒画像および１
種類以上の学習用異特性画像の画素を設定する学習用予
測タップ設定手段と、前記学習用予測タップ設定手段による設定結果にしたが
って、前記生徒画像および１種類以上の学習用異特性画
像の画素を選択し、前記学習用予測タップを構成する予
測タップ構成手段と、前記学習用予測タップおよび前記教師画像に基づいて、
前記予測係数を求める予測係数演算手段と、前記第１の画質の画像を処理し、前記第１の画質の画像
と特性の異なる予測用異特性画像を１種類以上生成する
第１の画質の画像処理手段と、前記第２の画質の画像を構成する画素のうちの、注目し
ている注目予測対象画素を予測するのに、前記予測係数
とともに用いる予測用予測タップを構成する前記第１の
画質の画像および１種類以上の予測用異特性画像の画素
を設定する予測用予測タップ設定手段と、前記予測用予測タップ設定手段による設定結果にしたが
って、前記第１の画質の画像および１種類以上の予測用
異特性画像の画素を選択し、前記予測用予測タップを構
成する予測用予測タップ構成手段と、前記予測用予測タップおよび前記予測係数に基づいて、
前記注目予測対象画素の予測値を求める予測手段とを備
えることを特徴とする画像処理装置。