JP2000148724A - データ処理装置およびデータ処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 入力データの処理結果としての出力データを
改善する。 【解決手段】 実時間学習部１では、入力データが適応
的に処理されることにより、出力データが時間の経過と
ともに改善されるように、処理方式が、実時間で学習さ
れ、データ処理部２では、その処理方式で、入力データ
が処理されて、出力データが出力される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、データ処理装置お
よびデータ処理方法に関し、特に、入力データを処理す
る処理方式を、実時間で学習することにより、入力デー
タが適応的に処理され、その結果得られる出力データ
が、時間の経過とともに改善されるようにするデータ処
理装置およびデータ処理方法に関する。

【０００２】

【従来の技術】図１８は、従来のデータ処理装置の一例
の構成を示している。

【０００３】処理すべき入力データは、判定部９１、お
よび処理部９２₁乃至９２_Mに供給される。処理部９２₁
乃至９２_Mでは、入力データが、それぞれ異なった処理
方式で処理され、選択部９３に供給される。

【０００４】一方、判定部９１では、例えば、入力デー
タの特徴量が抽出され、その特徴量に基づいて、処理部
９２₁乃至９２_Mの出力のうちのいずれかを選択するよう
に、選択部９３が制御される。選択部９３では、判定部
９１の制御にしたがい、処理部９２₁乃至９２_Mの出力の
うちのいずれかが選択され、出力データとして出力され
る。

【０００５】即ち、処理部９２₁乃至９２_Mでは、それぞ
れ異なった処理方式で入力データが処理されるようにな
されており、判定部９１は、入力データの特徴量に基づ
き、それらの処理方式から最も適したものを選択し、そ
の処理方式による入力データの処理結果を、選択部９３
に選択させるようになされている。

【０００６】従って、図１８のデータ処理装置では、例
えば、入力データが画像データであり、処理部９２₁乃
至９２_Mそれぞれが、画像データをフィルタリングす
る、タップ係数の異なるフィルタであるとすると、判定
部９１においては、処理部９２₁乃至９２_Mのうち、デー
タ処理装置の設計者が最も適切であると考えるタップ係
数を有するフィルタとして機能するものが、入力データ
の特徴量に基づいて決定され、選択部９３において、そ
のフィルタリング結果が、出力データとして選択され
る。

【０００７】

【発明が解決しようとする課題】以上のように、従来の
データ処理装置では、処理部９２₁乃至９２_Mのうち、デ
ータ処理装置の設計者が最も適切であると考えるタップ
係数を有するフィルタとして機能するものの処理結果が
選択されるが、そのようなタップ係数によって入力デー
タを処理することが、真に、入力データにとって適切で
あるとは限らない。

【０００８】即ち、処理部９２₁乃至９２_Mそれぞれが有
するタップ係数のいずれでもないタップ係数によってフ
ィルタリングを行った方が、入力データに適しており、
その結果、出力データも、より改善されたものが得られ
ることがある。

【０００９】本発明は、このような状況に鑑みてなされ
たものであり、入力データを処理する処理方式を、実時
間で学習することにより、入力データが適応的に処理さ
れ、その結果得られる出力データが、時間の経過ととも
に改善されるようにするものである。

【００１０】

【課題を解決するための手段】本発明のデータ処理装置
は、入力データを、所定の処理方式で処理し、出力デー
タを出力するデータ処理手段と、入力データが適応的に
処理されることにより、出力データが時間の経過ととも
に改善されるように、処理方式を、実時間で学習し、そ
の処理方式で処理を行うように、データ処理手段を制御
する実時間学習手段とを備えることを特徴とする。

【００１１】本発明のデータ処理方法は、入力データ
を、所定の処理方式で処理し、出力データを出力するデ
ータ処理ステップと、入力データが適応的に処理される
ことにより、出力データが時間の経過とともに改善され
るように、処理方式を、実時間で学習し、その処理方式
で処理を行うように、データ処理ステップを制御する実
時間学習ステップとを備えることを特徴とする。

【００１２】本発明のデータ処理装置においては、デー
タ処理手段は、入力データを、所定の処理方式で処理し
て、出力データを出力し、実時間学習手段は、入力デー
タが適応的に処理されることにより、出力データが時間
の経過とともに改善されるように、処理方式を、実時間
で学習し、その処理方式で処理を行うように、データ処
理手段を制御するようになされている。

【００１３】本発明のデータ処理方法においては、入力
データが適応的に処理されることにより、出力データが
時間の経過とともに改善されるように、処理方式を、実
時間で学習し、その処理方式で、入力データを処理し
て、出力データを出力するようになされている。

【００１４】

【発明の実施の形態】図１は、本発明を適用した自己適
応処理回路の一実施の形態の構成例を示している。

【００１５】この自己適応処理回路においては、処理対
象の入力データ（ここでは、例えば、ディジタルデータ
とする）である処理用入力データに対して最適な処理方
式による処理が施され、その結果得られる出力データが
出力されるようになされている。

【００１６】即ち、自己適応処理回路は、実時間学習部
１（実時間学習手段）と、データ処理部２（データ処理
手段）とから構成されている。

【００１７】実時間学習部１には、処理用入力データを
処理する処理方式の学習に用いられる学習用入力データ
が供給されるようになされており、実時間学習部１は、
その学習用入力データに基づき、処理用入力データが適
応的に処理されることにより、出力データが時間の経過
とともに改善されるように、処理方式を、実時間で学習
し、その学習の結果得られた処理方式で処理を行うよう
に、データ処理部２を制御する。

【００１８】データ処理部２では、実時間学習部１から
指示された処理方式によって、処理用入力データが適応
的に処理され、その処理の結果得られる出力データが出
力される。

【００１９】従って、データ処理部２では、上述したよ
うな実時間学習された処理方式で、処理用入力データが
処理されるので、その処理用入力データに対して、適応
的に処理が施され、これにより、その出力データは時間
の経過とともに改善される。

【００２０】即ち、データ処理部２が、処理用入力デー
タを処理する処理方式は、実時間学習部１における実時
間学習によって改善されていく。データ処理部２は、実
時間学習部１から指示される処理方式によって、処理用
入力データが適応的に処理され、時間の経過（処理用入
力データの処理量）に伴い、いわば学習の効果が徐々に
現れ、データ処理部２が出力する出力データは、時間の
経過とともに改善されていく（これは、データ処理部２
の処理方式が、時間の経過とともに、処理用入力データ
を処理するのに適したものに改善されていっているとい
うこともできる）。

【００２１】以上のように、自己適応処理回路では、処
理用入力データが適応的に処理されることにより、出力
データが時間の経過とともに改善されるように、処理方
式が、実時間で学習され、その学習の結果得られた処理
方式で処理が行われる結果、処理用入力データには、そ
れ自身（自己）に適した処理が施される。このことか
ら、図１の自己適応処理回路が行う処理は、自己適応処
理ということができる。

【００２２】ここで、出力データの改善とは、例えば、
処理用入力データが画像であれば、その画質が向上する
こと等、具体的には、例えば、Ｓ／Ｎや解像度が向上す
ることなどを意味する。また、データ処理部２における
処理の目的が、スムージングやエッジ強調であれば、そ
の効果が顕著に現れることを意味する。従って、出力デ
ータの改善とは、ユーザが希望する状態の出力データと
することを意味する。

【００２３】なお、実時間学習部１においては、そこに
入力される学習用入力データに基づいて、処理用入力デ
ータを処理する処理方式の実時間学習が行われるが、学
習用入力データとしては、図１において点線で示すよう
に、データ処理部２に入力される処理用入力データや、
データ処理部２から出力される出力データ（例えば、そ
の周波数特性など）、さらには、自己適応処理回路に対
して、処理用入力データの処理方式の学習を行うために
供給される補助入力データなどを用いることが可能であ
る。また、学習用入力データとしては、上述のデータの
うちの２以上を用いることもできる。

【００２４】次に、自己適応処理回路において、データ
処理部２の処理方式は、実時間学習部１が実時間学習す
ることで時々刻々改善されることになるが（従って、自
己適応処理回路は、いわば時変システムである）、処理
方式の改善は、大きく、処理のアルゴリズムが変更され
る場合と、一連の処理を構成する処理ステップ（処理の
構成要素）の内容が変更される場合とに分けることがで
きる。

【００２５】即ち、例えば、いま、処理用入力データを
ｘと、出力データをｙと表すと、データ処理部２におけ
る処理は、関数ｆ（）を用いて、式ｙ＝ｆ（ｘ）と表す
ことができる。

【００２６】例えば、ｆ（ｘ）＝ａ₀ｘ²＋ｂ₀ｘ＋ｃ₀と
した場合、データ処理部２の処理は、例えば、図２
（Ａ）に示すようなフローチャートで表すことができ
る。

【００２７】即ち、ステップＳ１において、ａ₀ｘ²が計
算され、ステップＳ２に進み、ｂ₀ｘが計算される。そ
して、ステップＳ３において、ａ₀ｘ²＋ｂ₀ｘ＋ｃ₀が計
算され、これにより、出力データｙが求められる。

【００２８】この場合において、関数ｆ（ｘ）の、いわ
ば形を変更するのが、処理のアルゴリズムの変更に相当
する。即ち、例えば、関数ｆ（ｘ）＝ａ₀ｘ²＋ｂ₀ｘ＋
ｃ₀を、ｆ（ｘ）＝（ａ₀ｘ²＋ｂ₀ｘ＋ｃ₀）²などに変更
するのが、処理のアルゴリズムの変更に相当する。

【００２９】この場合、データ処理部２の処理は、例え
ば、図２（Ｂ）に示すようなフローチャートで表すこと
ができる。

【００３０】即ち、ステップＳ１乃至Ｓ３それぞれにお
いて、図２（Ａ）における場合と同様の処理が行われ、
ステップＳ４に進み、（ａ₀ｘ²＋ｂ₀ｘ＋ｃ₀）²が計算
され、これにより、出力データｙが求められる。

【００３１】図２（Ａ）のフローチャートと、図２
（Ｂ）のフローチャートとを比較して分かるように、処
理のアルゴリズムが変更された場合には、その処理を表
現するフローチャートも変更されることになる。

【００３２】また、関数ｆ（ｘ）における係数を変更す
るのが、処理を構成する構成要素の内容の変更に相当す
る。即ち、例えば、関数ｆ（ｘ）＝ａ₀ｘ²＋ｂ₀ｘ＋ｃ₀
を、ｆ（ｘ）＝ａ₁ｘ²＋ｂ₁ｘ＋ｃ₁に変更するのが、処
理の構成要素の内容の変更に相当する。

【００３３】この場合、データ処理部２の処理は、図２
（Ａ）と同様の図３（Ａ）のフローチャートで表される
ものから、例えば、図３（Ｂ）のフローチャートで表さ
れるものに変更される。

【００３４】即ち、この場合、ステップＳ１において、
ａ₁ｘ²が計算され、ステップＳ２に進み、ｂ₁ｘが計算
される。そして、ステップＳ３において、ａ₁ｘ²＋ｂ₁
ｘ＋ｃ₁が計算され、これにより、出力データｙが求め
られる。

【００３５】図３（Ａ）のフローチャートと、図３
（Ｂ）のフローチャートとを比較して分かるように、関
数ｆ（ｘ）における係数が変更された場合には、処理を
構成する処理ステップの内容が変更される（図３では、
ステップＳ１は、ａ₀ｘ²の計算からａ₁ｘ²の計算に、ス
テップＳ２は、ｂ₀ｘの計算からｂ₁ｘの計算に、ステッ
プＳ３は、ａ₀ｘ²＋ｂ₀ｘ＋ｃ₀の計算からａ₁ｘ²＋ｂ₁
ｘ＋ｃ₁の計算に、それぞれ変更されている）。

【００３６】なお、処理方式の改善は、処理のアルゴリ
ズムの変更と、処理の構成要素の内容の変更との両方に
より行われる場合もある。

【００３７】また、図２および図３の説明に用いた関数
は、処理方式の改善を説明するためだけに用いた例であ
り、データ処理部２における処理を表す関数が、図２や
図３で説明したように変更された場合に、実際に、出力
データが改善されるかどうかといった問題とは無関係で
ある。

【００３８】ここで、自己適応処理回路では、関数ｆ
（ｘ）における係数の変更が、実時間学習により、いわ
ば新たに生成された適応的な係数に基づいて行われる点
で、従来における、例えば、ディジタルフィルタなどと
は異なる。即ち、従来のディジタルフィルタでは、その
タップ係数を、入力データなどに基づいて変更する場合
があるが、変更されるタップ係数は、あらかじめ用意さ
れたものであり、実時間学習により生成されたものでは
ない。言い換えれば、従来のディジタルフィルタでは、
あらかじめ用意されたタップ係数の中で、入力データに
適しているとシステムの設計者が考えたものが選択され
るだけであり、入力データに対して、適応的なタップ係
数が求められるわけではない。その結果、入力データに
対してより適したタップ係数があっても、あらかじめ用
意されていなければ用いることができない。従って、上
述のような従来のディジタルフィルタ等は、「適応的」
にタップ係数を変更するシステム等と呼ばれることがあ
るが、正確には、「適応的」でははく、「選択的」なだ
けである。即ち、入力データに対して適応的なタップ係
数が生成されるのではなく、入力データに対して一意的
に選択されるタップ係数が用いられるシステムである。

【００３９】これに対して、自己適応処理回路では、入
力データが適応的に処理されるようなタップ係数が、実
時間学習により生成される結果、入力データに対して真
に最適なタップ係数を用いることができる。より具体的
には、例えば、従来のディジタルフィルタでは、例え
ば、２セットのタップ係数が、あらかじめ用意されてい
る場合には、その２セットのタップ係数のうちの、入力
データに対して適しているとシステムの設計者が考える
ものが一意的に選択されて用いられることになるが、自
己適応処理回路では、入力データを処理するためのタッ
プ係数が、実時間学習により時々刻々と改善されていく
ことで、入力データに対してより適したタップ係数が求
められ、そのようなタップ係数を用いて、処理（従っ
て、入力データに対して適応的な処理）が行われること
になる。

【００４０】さらに、自己適応処理回路では、出力デー
タが時々刻々と改善されていく点で、入力データに対し
て適応的な処理を施すが、出力データが改善されること
がない従来の、例えば、ＡＤＲＣ（Adaptive Dynamic R
ange Coding）処理などとは異なる。即ち、ＡＤＲＣ処
理においては、例えば、画像のあるブロックについて、
そのブロックを構成する画素の画素値の最大値ＭＡＸと
最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−Ｍ
ＩＮを、ブロックの局所的なダイナミックレンジとし、
このダイナミックレンジＤＲに基づいて、ブロックを構
成する画素の画素値がＫビットに再量子化される。具体
的には、ブロック内の各画素値から、最小値ＭＩＮが減
算され、その減算値がＤＲ／２^Kで除算（量子化）され
る。従って、画素値の量子化ステップＤＲ／２^Kが、ブ
ロックのダイナミックレンジＤＲに基づいて求められ、
その量子化ステップＤＲ／２^Kで、画素値が量子化され
る点では、入力データに対して適応的な処理が施されて
いるが、その量子化結果としての出力データは時々刻々
と改善されていくといった性質のものではない。

【００４１】次に、実時間学習部１では、例えば、現在
時刻をｔとするとき、その現在時刻ｔにおける実時間学
習において、出力データを時間の経過とともに改善する
ために、基本的に、いままでの学習用入力データのサン
プル値すべてを考慮するが、現在時刻ｔと時間的に近い
位置のサンプル値に重みをおき、遠い位置のサンプル値
はあまり考慮しない方が、出力データが効果的に改善さ
れることがある。従って、実時間学習部１では、学習用
入力データに対して、そのような重み付けをして、即
ち、現在時刻ｔから時間的に離れた学習用入力データの
サンプル値を、その離れ具合に対応した割合で忘却する
ようにして、実時間学習を行うことが可能である。極端
には、現在時刻ｔから、所定の時間的範囲内にある学習
用入力データのみを用いるようにすることが可能であ
る。即ち、例えば、図４に示すように、現在時刻ｔから
±４サンプルの範囲にある学習用入力データのみを、現
在時刻ｔにおける実時間学習において用いるようにする
ことが可能である。これは、現在時刻ｔから５サンプル
以上離れている学習用入力データに対する重みを０とす
ることで行うことが可能である。

【００４２】また、現在時刻ｔにおける実時間学習で
は、その現在時刻ｔにおける学習用入力データのサンプ
ル値から所定の範囲内にあるサンプル値だけを用いるよ
うにすることも可能である。即ち、例えば、図４におい
て、時刻ｔ−２における学習用データのサンプル値は、
現在時刻ｔにおける学習用入力データのサンプル値とは
大きく異なっているが、このようなサンプル値は、学習
に悪影響を与えることがある。そこで、現在時刻ｔにお
ける学習用入力データのサンプル値とは大きく異なって
いるサンプル値は、その現在時刻ｔにおける実時間学習
においては用いないようにすること（重みを０とするこ
と）が可能である。

【００４３】次に、図５は、図１の自己適応処理回路を
適用したＮＲ（Noise Reduction）処理回路の一実施の
形態の構成例を示している。

【００４４】このＮＲ処理回路においては、そこにノイ
ズを有する入力データが入力されると、入力データに対
して自己適応処理が施されることにより、入力データか
らノイズを効果的に除去した出力データが出力されるよ
うになされている。

【００４５】即ち、例えば、いま、説明を簡単にするた
めに、図６（Ａ）に示すような、真値が一定で、かつ時
間的に変動するノイズが重畳された入力データについ
て、その平均をとることで、時間的に変動するノイズを
除去することを考えると、ノイズの度合いとしての、例
えば、ノイズのレベルが大きい入力データ（従って、Ｓ
／Ｎの悪いデータ）については、その重みを小さくし
（あまり考慮しないようにする）、ノイズのレベルの小
さい入力データ（従って、Ｓ／Ｎの良いデータ）につい
ては、その重みを大きくすることにより、ノイズを効果
的に除去することができる。

【００４６】そこで、図５のＮＲ処理回路では、入力デ
ータの評価値として、例えば、図６（Ｂ）に示すよう
な、入力データの、真値に対する近さ、即ち、入力デー
タが真値であることの信頼性を表す信頼度を実時間学習
により求め、その信頼度に対応した重み付けを入力デー
タに対して行いながら、その平均を計算することで、ノ
イズを効果的に除去するようになっている。

【００４７】従って、図５のＮＲ処理回路では、入力デ
ータについて、その信頼度に対応した重みを用いた重み
付け平均が求められ、出力データとして出力されるか
ら、いま、時刻ｔにおける入力データ、出力データ、入
力データの信頼度を、それぞれｘ（ｔ），ｙ（ｔ），α
_x(t)と表すと、次式にしたがって、出力データｙ（ｔ）
が求められることになる。

【００４８】

【数１】 ・・・（１） なお、ここでは、入力データの信頼度α_x(t)が大きいほ
ど、大きな重みを与えることとしている。

【００４９】式（１）から、現在時刻ｔから１サンプル
前の出力データｙ（ｔ−１）は、次式で求められる。

【００５０】

【数２】 ・・・（２）

【００５１】また、出力データｙ（ｔ）についても、そ
の出力データｙ（ｔ）の評価値として、真値に対する近
さ、即ち、出力データｙ（ｔ）が真値であることの信頼
性を表す信頼度α_y(t)を導入し、現在時刻ｔから１サン
プル前の出力データｙ（ｔ−１）の信頼度α_y(t-1)を、
次式で定義する。

【００５２】

【数３】 ・・・（３）

【００５３】この場合、式（１）乃至（３）から、出力
データｙ（ｔ）およびその信頼度α_y(t)は、次のように
表すことができる。

【００５４】

【数４】 ・・・（４）

【００５５】また、時刻ｔにおいて、出力データｙ
（ｔ）を求めるのに用いる重みを、ｗ（ｔ）と表し、こ
れを、次式で定義する。

【００５６】 ｗ（ｔ）＝α_y(t-1)／（α_y(t-1)＋α_x(t)） ・・・（５）

【００５７】式（５）から、次式が成り立つ。

【００５８】 １−ｗ（ｔ）＝α_x(t)／（α_y(t-1)＋α_x(t)） ・・・（６）

【００５９】式（５）および（６）を用いると、式
（４）における出力データｙ（ｔ）は、次のような乗算
と加算による重み付け平均によって表すことができる。

【００６０】 ｙ（ｔ）＝ｗ（ｔ）ｙ（ｔ−１）＋（１−ｗ（ｔ））ｘ（ｔ） ・・・（７）

【００６１】なお、式（７）で用いる重みｗ（ｔ）（お
よび１−ｗ（ｔ））は、式（５）から、１サンプル前の
出力データｙ（ｔ−１）の信頼度α_y(t-1)と、現在の入
力データｘ（ｔ）の信頼度α_x(t)とから求めることがで
きる。また、式（４）における現在の出力データｙ
（ｔ）の信頼度α_y(t)も、その１サンプル前の出力デー
タｙ（ｔ−１）の信頼度α_y(t-1)と、現在の入力データ
ｘ（ｔ）の信頼度α_x(t)とから求めることができる。

【００６２】ここで、入力データｘ（ｔ）の信頼度α
_x(t)、または出力データｙ（ｔ）の信頼度α_y(t)とし
て、それぞれの分散σ_x(t) ²、またはσ_y(t) ²の逆数を用
いることとすると、即ち、信頼度α_x(t)，信頼度α_y(t)
を、式 α_x(t)＝１／σ_x(t) ² α_y(t)＝１／σ_y(t) ² ・・・（８） とおくと、式（５）で定義される重みｗ（ｔ）は、次式
で表される。

【００６３】 ｗ（ｔ）＝σ_x(t) ²／（σ_y(t-1) ²＋σ_x(t) ²） ・・・（９）

【００６４】また、式（６）で定義される１−ｗ（ｔ）
は、次式で表される。

【００６５】 １−ｗ（ｔ）＝σ_y(t-1) ²／（σ_y(t-1) ²＋σ_x(t) ²） ・・・（１０）

【００６６】なお、σ_y(t) ²は、式（４），（８），
（９）から、次式で表される。

【００６７】 σ_y(t) ²＝ｗ（ｔ）²σ_y(t-1) ²＋（１−ｗ（ｔ））²σ_x(t) ² ・・・（１１）

【００６８】図５のＮＲ処理回路は、入力データｘ
（ｔ）および出力データｙ（ｔ）を学習用入力データと
して、式（５）にしたがい、重みｗ（ｔ）を実時間学習
（および式（６）にしたがって１−ｗ（ｔ）を実時間学
習）し、その結果得られる重みｗ（ｔ）を用いて、式
（７）にしたがい、１サンプル前の出力データｙ（ｔ−
１）と、現在の入力データｘ（ｔ）との重み付け平均を
計算することで、入力データｘ（ｔ）を適応的に処理
し、その入力データｘ（ｔ）に含まれるノイズを効果的
に除去するようになされている。即ち、これにより、Ｎ
Ｒ処理回路が出力する出力データｙ（ｔ）のＳ／Ｎは、
時間の経過とともに改善されていくようになされてい
る。

【００６９】ラッチ回路１１₁には、入力データが供給
されるようになされており、ラッチ回路１１₁は、そこ
に供給される入力データを、例えば、その入力データが
供給されるタイミングに同期してラッチ（記憶）し、そ
の後段のラッチ回路１１₂および入力信頼度計算部１２
に供給するようになされている。ラッチ回路１１₂また
はラッチ回路１１₃それぞれは、ラッチ回路１１₁と同様
に、その前段のラッチ回路１１₁または１１₂が出力する
入力データをラッチし、その後段のラッチ回路１１₃ま
たは１１₄と、入力信頼度計算部１２に供給するように
なされている。ラッチ回路１１₄は、その前段のラッチ
回路１１₃が出力する入力データをラッチし、入力信頼
度計算部１２に供給するようになされている。

【００７０】入力信頼度計算部１２には、ラッチ回路１
１₁乃至１１₄でラッチされた入力データが供給される
他、ラッチ回路１１₁に供給されるのと同一の入力デー
タが供給されるようになされている。従って、いま、ラ
ッチ回路１１₁および入力信頼度計算部１２に、入力デ
ータｘ（ｔ）が供給されたとすると、入力信頼度計算部
１２には、さらに、ラッチ回路１１₁乃至１１₄それぞれ
でラッチされた入力データｘ（ｔ−１）乃至ｘ（ｔ−
４）も供給されるようになされている。そして、入力信
頼度計算部１２は、入力データｘ（ｔ）乃至ｘ（ｔ−
４）から、例えば、その分散を計算し、その分散の逆数
を、入力データｘ（ｔ）の信頼度（以下、適宜、入力信
頼度という）α_x(t)として、出力信頼度計算部１３およ
び重み計算部１５に供給するようになされている。

【００７１】出力信頼度計算部１３は、入力信頼度計算
部１２からの入力信頼度α_x(t)と、ラッチ回路１４の出
力とから、式（４）にしたがって、出力データｙ（ｔ）
の信頼度（以下、適宜、出力信頼度という）α_y(t)を求
め、ラッチ回路１４に出力するようになされている。

【００７２】ラッチ回路１４は、出力信頼度計算部１３
からの出力信頼度α_y(t)を、例えば、入力データｘ
（ｔ）に同期してラッチし、出力信頼度計算部１３およ
び重み計算部１５に供給するようになされている。従っ
て、ラッチ回路１４から、出力信頼度計算部１３および
重み計算部１５には、１サンプル前の出力信頼度α
_y(t-1)が供給されるようになされている。

【００７３】重み計算部１５は、入力信頼度計算部１２
からの入力信頼度α_x(t)、およびラッチ回路１４からの
出力信頼度α_y(t-1)を用い、式（５）にしたがって、重
みｗ（ｔ）を求め、重み付け部１６および演算器１７に
出力するようになされている。

【００７４】ここで、以上のラッチ回路１１₁乃至１
１₄、入力信頼度計算部１２、出力信頼度計算部１３、
ラッチ回路１４、および重み計算部１５が、図１の実時
間学習部１に相当する。

【００７５】重み付け部１６は、重み計算部１５からの
重みｗ（ｔ）を、ラッチ回路２０の出力に乗算し、その
乗算結果を、演算器１９に供給するようになされてい
る。演算器１７は、重み計算部１５からの重みｗ（ｔ）
を１から減算し、その減算値１−ｗ（ｔ）を、重み付け
部１８に供給するようになされている。重み付け部１８
には、演算器１７の出力の他、入力データｘ（ｔ）が供
給されるようになされており、重み付け部１８は、演算
器１７の出力と、入力データｘ（ｔ）とを乗算し、その
乗算結果を、演算器１９に供給するようになされてい
る。演算器１９は、重み付け部１６と１８の出力どうし
を加算し、その加算結果を、出力データｙ（ｔ）として
出力するとともに、ラッチ回路２０に供給するようにな
されている。ラッチ回路２０は、演算器１９からの出力
データを、例えば、入力データｘ（ｔ）に同期してラッ
チし、重み付け部１６に供給するようになされている。

【００７６】ここで、以上の重み付け部１６、演算器１
７、重み付け部１８、演算器１９、およびラッチ回路２
０が、図１のデータ処理部２に相当し、式（７）にした
がった重み付け平均を計算して、出力データｙ（ｔ）と
して出力するようになされている。

【００７７】次に、図７のフローチャートを参照して、
図５のＮＲ処理回路の動作について説明する。

【００７８】まず最初に、ステップＳ１１において、入
力データｘ（ｔ）が、ラッチ回路１１₁、入力信頼度計
算部１２、および重み付け部１８に入力される。

【００７９】そして、ステップＳ１２に進み、入力信頼
度計算部１２において、入力信頼度α_x(t)が求められ
る。

【００８０】即ち、ラッチ回路１１₁は、そこに供給さ
れる入力データを、その入力データが供給されるタイミ
ングに同期してラッチし、その後段のラッチ回路１１₂
および入力信頼度計算部１２に供給する。ラッチ回路１
１₂またはラッチ回路１１₃それぞれは、ラッチ回路１１
₁と同様に、その前段のラッチ回路１１₁または１１₂が
出力する入力データをラッチし、その後段のラッチ回路
１１₃または１１₄と、入力信頼度計算部１２に供給す
る。そして、ラッチ回路１１₄は、その前段のラッチ回
路１１₃が出力する入力データをラッチし、入力信頼度
計算部１２に供給する。従って、入力信頼度計算部１２
には、入力データｘ（ｔ）が供給されるのと同時に、ラ
ッチ回路１１₁乃至１１₄それぞれから入力データｘ（ｔ
−１）乃至ｘ（ｔ−４）が供給される。入力信頼度計算
部１２は、上述したように、入力データｘ（ｔ）乃至ｘ
（ｔ−４）を用いて、入力信頼度α_x(t)を求め、出力信
頼度計算部１３および重み計算部１５に供給する。

【００８１】入力信頼度計算部１２から重み計算部１５
に対して、入力信頼度α_x(t)が供給されるタイミングに
おいては、ラッチ回路１４において、出力信頼度計算部
１３が１サンプル前に出力した出力信頼度α_y(t-1)がラ
ッチされており、重み計算部１５では、ステップＳ１３
において、入力信頼度計算部１２からの入力信頼度α
_x(t)と、ラッチ回路１４にラッチされている出力信頼度
α_y(t-1)とを用い、式（５）にしたがって、重みｗ
（ｔ）が求められる。この重みｗ（ｔ）は、重み付け部
１６および演算器１７に供給される。

【００８２】そして、重み付け部１６、演算器１７、重
み付け部１８、演算器１９、およびラッチ回路２０で
は、ステップＳ１４において、重み計算部１５が出力す
る重み（ｔ）を用い、式（７）にしたがって、入力デー
タｘ（ｔ）と、１サンプル前の出力データｙ（ｔ−１）
との重み付け平均値が計算される。

【００８３】即ち、重み付け部１６では、重み計算部１
５からの重みｗ（ｔ）が、ラッチ回路２０の出力に乗算
され、その乗算結果が、演算器１９に供給される。ここ
で、ラッチ回路２０は、重み計算部１５が重みｗ（ｔ）
を出力するタイミングにおいて、演算器１９が前回出力
した出力データｙ（ｔ−１）をラッチしており、従っ
て、重み付け部１６では、出力データｙ（ｔ−１）と重
みｗ（ｔ）との積ｗ（ｔ）ｙ（ｔ−１）が求められ、演
算器１９に供給される。

【００８４】また、演算器１７では、重み計算部１５か
らの重みｗ（ｔ）が１から減算され、その減算値１−ｗ
（ｔ）が、重み付け部１８に供給される。重み付け部１
８は、演算器１７の出力１−ｗ（ｔ）と、入力データｘ
（ｔ）とを乗算し、その乗算結果（１−ｗ（ｔ））ｘ
（ｔ）を、演算器１９に供給する。

【００８５】演算器１９では、重み付け部１６の出力ｗ
（ｔ）ｙ（ｔ−１）と、重み付け部１８の出力（１−ｗ
（ｔ））ｘ（ｔ）とが加算される。即ち、重み計算部１
５が出力する重み（ｔ）を用い、式（７）にしたがっ
て、入力データｘ（ｔ）と、１サンプル前の出力データ
ｙ（ｔ−１）との重み付け平均値が計算される。

【００８６】この重み付け平均値は、ステップＳ１５に
おいて、出力データｙ（ｔ）として出力される。さら
に、出力データｙ（ｔ）は、ラッチ回路２０に供給され
てラッチされる。

【００８７】そして、ステップＳ１６に進み、まだ、処
理すべき入力データが存在するかどうかが判定され、ま
だ存在すると判定された場合、ステップＳ１７に進み、
出力信頼度計算部１３において、出力信頼度が更新され
る。即ち、出力信頼度計算部１３は、ステップＳ１２で
入力信頼度計算部１２が計算した入力信頼度α_x(t)と、
ラッチ回路１４がラッチしている１サンプル前の出力信
頼度α_y(t-1)とを、式（４）にしたがって加算すること
で、現在の出力信頼度α_y(t)を求め、ラッチ回路１４に
出力する。そして、ステップＳ１１に戻り、次の入力デ
ータを対象に、同様の処理が繰り返される。

【００８８】一方、ステップＳ１６において、処理すべ
き入力データが存在しないと判定された場合、処理を終
了する。

【００８９】以上のように、現在の入力データｘ（ｔ）
の信頼度（入力信頼度）α_x(t)を求め、それと、１サン
プル前の出力信頼度α_y(t-1)とを加味して、重みｗ
（ｔ）を計算する。さらに、この重みｗ（ｔ）を用い
て、現在の入力データｘ（ｔ）と、１サンプル前の出力
データｙ（ｔ−１）との重み付け平均値を計算し、その
平均値を、入力データｘ（ｔ）の処理結果としての出力
データｙ（ｔ）とする。そして、その出力データｙ
（ｔ）の信頼度（出力信頼度）α_y(t)を、現在の入力信
頼度α_x(t)と、１サンプル前の出力信頼度α_y(t-1)とを
加算することで求め、次の入力データｘ（ｔ＋１）を処
理することを繰り返す。従って、重みｗ（ｔ）は、過去
の入力データにおいて、ノイズの多い部分はあまり加味
せずに、かつノイズの少ない部分は十分に加味するよう
にして学習されていき、即ち、入力データに対して適応
的な重みｗ（ｔ）が求められていき、その結果、出力デ
ータは、重みｗ（ｔ）の学習が進むにつれて時々刻々と
改善されていき、入力データから効果的にノイズを除去
したものが得られるようになる。

【００９０】なお、上述の場合においては、入力信頼度
α_x(t)として、入力データの分散の逆数を用いるように
したが、入力信頼度α_x(t)としては、その他、例えば、
入力データの平均値に対する、現在の入力データの自乗
誤差の逆数や、分散の逆数と自乗誤差の逆数とを加算し
たものなどを用いることが可能である。

【００９１】さらに、図５のＮＲ処理回路は、例えば、
画像データや音声データなどからのノイズの除去に適用
可能である。

【００９２】また、以上においては、図５のＮＲ処理回
路について、ノイズの除去という観点から説明を行った
が、入力データが適応的に処理されることにより、出力
データが時間の経過とともに改善されるように、処理方
式（ここでは重み係数ｗ（ｔ））が、実時間で学習さ
れ、その学習の結果得られた処理方式で処理が行われる
結果、入力データには、それ自身に適した処理が施され
るという自己適応処理の性質上、図５のＮＲ処理回路で
は、例えば、入力データの波形整形（波形等化）などを
行うことも可能である。

【００９３】さらに、上述の場合には、式（７）におい
て、出力データｙ（ｔ−１）に対して重みｗ（ｔ）を乗
算するとともに、入力データｘ（ｔ）に対して重み１−
ｗ（ｔ）を乗算して、出力データｙ（ｔ）を求めるよう
にしたが、出力データｙ（ｔ−１）または入力データｘ
（ｔ）のいずれか一方にのみ重みを乗算して、出力デー
タｙ（ｔ）を求めるようにすることも可能である。

【００９４】次に、図８は、図１の自己適応処理回路を
適用した画像処理装置の一実施の形態の構成例を示して
いる。

【００９５】この画像処理装置においては、クラス分類
適応処理が行われ、これにより、ＳＤ（Standard Densi
ty）画像がＨＤ（High Density）画像に変換されるよう
になされている。

【００９６】ここで、クラス分類適応処理は、クラス分
類処理と適応処理とからなり、クラス分類処理によっ
て、データを、その構造（性質）に基づいてクラス分け
し、各クラスごとに適応処理を施すものであり、適応処
理は、以下のような手法のものである。

【００９７】即ち、適応処理では、例えば、ＳＤ画像
と、所定の予測係数との線形結合により、ＨＤ画像の画
素の予測値を求めることで、ＳＤ画像には含まれていな
い高周波成分が復元されるようになされている。

【００９８】具体的には、例えば、いま、ＨＤ画像を構
成する画素（以下、適宜、ＨＤ画素という）の画素値ｙ
の予測値Ｅ［ｙ］を、幾つかのＳＤ画素（ＳＤ画像を構
成する画素）の画素値（以下、適宜、学習データとい
う）ｘ₁，ｘ₂，・・・と、所定の予測係数ｗ₁，ｗ₂，・
・・の線形結合により規定される線形１次結合モデルに
より求めることを考える。この場合、予測値Ｅ［ｙ］
は、次式で表すことができる。

【００９９】 Ｅ［ｙ］＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・・・・（１２）

【０１００】式（１２）を一般化するために、予測係数
ｗの集合でなる行列Ｗ、学習データの集合でなる行列
Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、

【数５】 で定義すると、次のような観測方程式が成立する。

【０１０１】ＸＷ＝Ｙ’・・・（１３）

【０１０２】そして、この観測方程式に最小自乗法を適
用して、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求
めることを考える。この場合、教師データとなるＨＤ画
素の真の画素値ｙの集合でなる行列Ｙ、およびＨＤ画素
の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でな
る行列Ｅを、

【数６】 で定義すると、式（１３）から、次のような残差方程式
が成立する。

【０１０３】ＸＷ＝Ｙ＋Ｅ・・・（１４）

【０１０４】この場合、ＨＤ画素の画素値ｙに近い予測
値Ｅ［ｙ］を求めるための予測係数ｗ_iは、自乗誤差

【数７】 を最小にすることで求めることができる。

【０１０５】従って、上述の自乗誤差を予測係数ｗ_iで
微分したものが０になる場合、即ち、次式を満たす予測
係数ｗ_iが、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］
を求めるため最適値ということになる。

【０１０６】

【数８】 ・・・（１５）

【０１０７】そこで、まず、式（１４）を、予測係数ｗ
_iで微分することにより、次式が成立する。

【０１０８】

【数９】 ・・・（１６）

【０１０９】式（１５）および（１６）より、式（１
７）が得られる。

【０１１０】

【数１０】 ・・・（１７）

【０１１１】さらに、式（１４）の残差方程式における
学習データｘ、予測係数ｗ、教師データｙ、および残差
ｅの関係を考慮すると、式（１７）から、次のような正
規方程式を得ることができる。

【０１１２】

【数１１】 ・・・（１８）

【０１１３】式（１８）の正規方程式は、学習データｘ
および教師データｙを、ある程度の数だけ用意すること
で、求めるべき予測係数ｗの数と同じ数だけたてること
ができ、従って、式（１８）を解くことで（但し、式
（１８）を解くには、式（１８）において、予測係数ｗ
にかかる係数で構成される行列が正則である必要があ
る）、最適な予測係数ｗを求めることができる。なお、
式（１８）を解くにあたっては、例えば、掃き出し法
（Gauss-Jordanの消去法）などを用いることが可能であ
る。

【０１１４】以上のようにして、最適な予測係数ｗを求
めておき、さらに、その予測係数ｗを用い、式（１２）
により、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求
めるのが適応処理である。

【０１１５】なお、適応処理は、ＳＤ画像には含まれて
いない、ＨＤ画像に含まれる成分が再現される点で、補
間処理とは異なる。即ち、適応処理では、式（１２）だ
けを見る限りは、いわゆる補間フィルタを用いての補間
処理と同一であるが、その補間フィルタのタップ係数に
相当する予測係数ｗが、教師データｙを用いての、いわ
ば学習により求められるため、ＨＤ画像に含まれる成分
を再現することができる。即ち、容易に、高解像度の画
像を得ることができる。このことから、適応処理は、い
わば画像の創造（解像度想像）作用がある処理というこ
とができる。

【０１１６】図８の画像処理装置は、以上のような適応
処理により、ＳＤ画像をＨＤ画像に変換するようになさ
れている。

【０１１７】即ち、この画像処理装置には、ＳＤ画像が
処理用入力データとして、ＨＤ画像が学習用入力データ
として、それぞれ入力されるようになされている。ここ
で、処理用入力データとしてのＳＤ画像は、例えば、テ
レビジョン放送として放送されてきたものを利用するこ
とができる。また、学習用入力データとしてのＨＤ画像
は、例えば、テレビジョン放送として、ＳＤ画像ととも
に放送するようにし、そのようにして放送されてきたも
のを利用することができる。さらに、学習用入力データ
としてのＨＤ画像は、ＳＤ画像をクラス分類適応処理す
る等して、ＨＤ画像にしたものを利用することも可能で
ある。なお、ＳＤ画像とＨＤ画像の内容は、同一である
ことが望ましい。

【０１１８】図８において、フレームメモリ２１、間引
き回路２２、フレームメモリ２３、クラスタップ生成回
路２４、予測タップ生成回路２５、クラス分類回路２
６、加算回路２７、予測タップメモリ２８、加算回路２
９、教師データメモリ３０、および演算回路３１は、図
１の実時間学習部１に相当し、フレームメモリ４１、ク
ラスタップ生成回路４２、予測タップ生成回路４３、ク
ラス分類回路４４、係数ＲＡＭ（Random Access Memor
y）４５、および予測演算回路４６は、図１のデータ処
理部２に相当している。そして、学習用入力データとし
てのＨＤ画像は、実時間学習部１のフレームメモリ２１
に、処理用入力データとしてのＳＤ画像は、データ処理
部２のフレームメモリ４１に、それぞれ供給されるよう
になされている。

【０１１９】データ処理部２において、フレームメモリ
４１は、そこに供給される処理用入力データとしてのＳ
Ｄ画像を、例えば、フレーム単位で一時記憶するように
なされている。

【０１２０】クラスタップ生成回路４２は、適応処理に
より予測値を求めようとするＨＤ画素（以下、適宜、注
目画素という）の周辺にあるＳＤ画素として、例えば、
注目画素からの距離が所定値以下のＳＤ画素でなるブロ
ック（以下、適宜、処理ブロックという）を、ＳＤ画像
から抽出し、これを、クラス分類処理に用いるクラスタ
ップとして、クラス分類回路４４に出力するようになさ
れている。

【０１２１】即ち、クラスタップ生成回路４２は、例え
ば、図９に示すように、注目画素を中心とする４×４の
ＳＤ画素（同図において○印で示す）でなるクラスタッ
プを、ＳＤ画像から抽出し、これを、注目画素について
のクラスタップとして、クラス分類回路４４に出力する
ようになされている。なお、図９の実施の形態では、Ｓ
Ｄ画像は、ＨＤ画像の横または縦の画素数を、それぞれ
１／２にしたものとなっている。

【０１２２】予測タップ生成回路４３は、予測演算回路
４６において注目画素の予測値を求めるのに用いるＳＤ
画素を抽出し、これを予測タップとして、予測演算回路
４６に供給するようになされている。即ち、予測タップ
生成回路４３は、ＳＤ画像から、例えば、図９に示した
ように、クラスタップ生成回路４２で抽出されたクラス
タップと同一のＳＤ画素を予測タップとして抽出し、予
測演算回路４６に供給するようになされている。

【０１２３】なお、ここでは、クラスタップと予測タッ
プとを、同一のＳＤ画素から構成するようにしたが、ク
ラスタップと予測タップとは、必ずしも、同一のＳＤ画
素から構成する必要はない。

【０１２４】クラス分類回路４４は、クラスタップ生成
回路４２からのクラスタップに基づいて、注目画素をク
ラス分類し、その結果得られるクラスを、係数ＲＡＭ４
５に対し、アドレスとして与えるようになされている。
即ち、クラス分類回路４４は、クラスタップを構成す
る、例えば、すべてのＳＤ画素の画素値のパターンにあ
らかじめ割り当てられた値を、注目画素のクラスとし、
そのクラスを、係数ＲＡＭ４５のアドレスとして出力す
るようになされている。

【０１２５】具体的には、ここでは、クラス分類回路４
４は、例えば、図９に示した、クラスタップとしての、
注目画素を中心とする４×４の１６のＳＤ画素の画素値
のパターンに対応する値を、注目画素のクラスとして出
力するようになされている。

【０１２６】ここで、各ＳＤ画素の画素値を表すのに、
例えば、８ビットなどの多くのビット数が割り当てられ
ている場合、１６のＳＤ画素の画素値のパターン数は、
（２⁸）¹⁶通りという莫大な数となり、その後の処理の
迅速化が困難となる。

【０１２７】そこで、クラス分類を行う前の前処理とし
て、クラスタップには、それを構成するＳＤ画素のビッ
ト数を低減するための処理である、例えば、上述したＡ
ＤＲＣ処理などを施すことができる。

【０１２８】ＡＤＲＣ処理によって、クラスタップを構
成する各画素値を１ビットで表現するすることとした場
合、１６のＳＤ画素の画素値のパターン数は、（２¹）
¹⁶通りになり、ＡＤＲＣ処理を行わない場合に比較し
て、パターン数を非常に少ないものとすることができ
る。

【０１２９】係数ＲＡＭ４５は、実時間学習部１が実時
間学習を行うことにより得られるクラスごとの予測係数
を記憶するようになされており、クラス分類回路４４か
らクラスが供給されると、そのクラスに対応するアドレ
スに記憶されている予測係数を読み出し、予測演算回路
４６に供給するようになされている。なお、係数ＲＡＭ
４５は、実時間学習部１からクラスごとの予測係数が供
給されるごとに、その予測係数に、記憶内容を更新する
ようになされている。また、係数ＲＡＭ４５に対して、
実時間学習部１から、最初の予測係数が供給される前に
おいては、係数ＲＡＭ４５には、クラスごとの予測係数
の、所定の初期値が記憶されている。

【０１３０】予測演算回路４６は、係数ＲＡＭ４５から
供給される、注目画素のクラスについての予測係数ｗ，
ｗ₂，・・・と、予測タップ生成回路４３からの予測タ
ップｘ₁，ｘ₂，・・・とを用いて、式（１２）に示した
演算を行うことにより、注目画素ｙの予測値Ｅ［ｙ］を
求め、ＨＤ画素の画素値として出力するようになされて
いる。

【０１３１】一方、実時間学習部１においては、フレー
ムメモリ２１は、そこに供給される学習用入力データと
してのＨＤ画像を、例えば、フレーム単位で一時記憶す
るようになされている。間引き回路２２は、フレームメ
モリ２１に記憶された、予測係数の実時間学習において
教師データｙとなるべきＨＤ画像を読み出し、その画素
数を間引くことで、ＳＤ画像とし、フレームメモリ２３
に供給するようになされている。フレームメモリ２３
は、間引き回路２２からのＳＤ画像を一時記憶するよう
になされている。

【０１３２】クラスタップ生成回路２４または予測タッ
プ生成回路２５は、フレームメモリ２３に記憶されたＳ
Ｄ画像を構成するＳＤ画素を用い、クラスタップ生成回
路４２または予測タップ生成回路４３と同様にして、注
目画素のクラスタップまたは予測タップを構成し、クラ
ス分類回路２６または加算回路２７にそれぞれ供給する
ようになされている。

【０１３３】クラス分類回路２６は、クラス分類回路４
４と同様にして、クラスタップ生成回路２４からのクラ
スタップを用いてクラス分類を行うことにより、注目画
素についてのクラスを求め、そのクラスを、予測タップ
メモリ２８および教師データメモリ３０に対して、アド
レスとして与えるようになされている。

【０１３４】加算回路２７は、クラス分類回路２６が出
力するクラスに対応するアドレスの記憶値を、予測タッ
プメモリ２８から読み出し、その記憶値と、予測タップ
生成回路２５からの予測タップを構成するＳＤ画素とを
加算することで、式（１８）の正規方程式の左辺におけ
る、予測係数ｗの乗数となっているサメーション（Σ）
に相当する演算を行う。そして、加算回路２７は、その
演算結果を、クラス分類回路２６が出力するクラスに対
応するアドレスに、上書きする形で記憶させるようにな
されている。

【０１３５】予測タップメモリ２８は、クラス分類回路
２６が出力するクラスに対応するアドレスの記憶値を読
み出し、加算回路２７に供給するとともに、そのアドレ
スに、加算回路２７の出力値を記憶するようになされて
いる。

【０１３６】加算回路２９は、フレームメモリ２１に記
憶されたＨＤ画像を構成するＨＤ画素のうちの注目画素
を、教師データとして読み出すとともに、クラス分類回
路２６が出力するクラスに対応するアドレスの記憶値
を、教師データメモリ３０から読み出し、その記憶値
と、フレームメモリ２１から読み出した注目画素とを加
算することで、式（１８）の正規方程式の右辺における
サメーション（Σ）に相当する演算を行う。そして、加
算回路２９は、その演算結果を、クラス分類回路２６が
出力するクラスに対応するアドレスに、上書きする形で
記憶させるようになされている。

【０１３７】なお、正確には、加算回路２７および２９
では、式（１８）における乗算も行われる。また、式
（１８）の右辺には、教師データｙと、ＳＤ画素ｘとの
乗算が含まれ、従って、加算回路２９で行われる乗算に
は、教師データｙの他に、ＳＤ画素ｘが必要となるが、
これは、加算回路２９において、フレームメモリ２１に
記憶されたＨＤ画素から求められる。

【０１３８】教師データメモリ３０は、クラス分類回路
２６が出力するクラスに対応するアドレスの記憶値を読
み出し、加算回路２９に供給するとともに、そのアドレ
スに、加算回路２９の出力値を記憶するようになされて
いる。

【０１３９】演算回路３１は、予測タップメモリ２８ま
たは教師データメモリ３０それぞれから、各クラスに対
応するアドレスに記憶されている記憶値を順次読み出
し、式（１８）に示した正規方程式をたてて、これを解
くことにより、クラスごとの予測係数を求めるようにな
されている。即ち、演算回路３１は、予測タップメモリ
２８または教師データメモリ３０それぞれの、各クラス
に対応するアドレスに記憶されている記憶値から、式
（１８）の正規方程式をたて、これを解くことにより、
クラスごとの予測係数を求め、係数ＲＡＭ４５に供給す
るようになされている。

【０１４０】次に、図１０のフローチャートを参照し
て、図８のデータ処理部２の処理について説明する。

【０１４１】データ処理部２には、処理用入力データと
してのＳＤ画像が供給され、フレームメモリ４１は、そ
の処理用入力データとしてのＳＤ画像を、例えば、フレ
ーム単位で順次記憶していく。

【０１４２】そして、データ処理部２では、ステップＳ
２１において、クラスタップ生成回路４２または予測タ
ップ生成回路４３が、適応処理により予測値を求めよう
とするＨＤ画素を注目画素として、その周辺にあるＳＤ
画素を、フレームメモリ４１から読み出し、クラスタッ
プまたは予測タップを構成する。このクラスタップまた
は予測タップは、クラス分類回路４４または予測演算回
路４６にそれぞれ供給される。

【０１４３】クラス分類回路４４は、クラスタップ生成
回路４２からクラスタップを受信すると、ステップＳ２
２において、そのクラスタップに基づき、注目画素のク
ラスを求め、係数ＲＡＭ４５に対し、アドレスとして与
える。係数ＲＡＭ４５は、ステップＳ２３において、ク
ラス分類回路４４からのクラスに対応するアドレスに記
憶されている予測係数を読み出し、予測演算回路４６に
供給する。

【０１４４】予測演算回路４６では、ステップＳ２４に
おいて、予測タップ生成回路４３からの予測タップと、
係数ＲＡＭ４５からの予測係数とを用いて、式（１２）
に示した演算が行われることにより、注目画素ｙの予測
値Ｅ［ｙ］が求められ、ステップＳ２５に進む。ステッ
プＳ２５では、予測係数演算回路４６が、ステップＳ２
４で求めた注目画素ｙの予測値Ｅ［ｙ］を、ＨＤ画素の
画素値として出力し、ステップＳ２６に進む。

【０１４５】ステップＳ２６では、フレームメモリ４１
に記憶された１フレームのＳＤ画像に対応する１フレー
ムのＨＤ画像を構成するＨＤ画素すべてを、注目画素と
して処理を行ったか否かが判定され、まだ行っていない
と判定された場合、ステップＳ２１に戻り、まだ注目画
素としていないＨＤ画素を、新たに注目画素として、以
下、同様の処理が繰り返される。

【０１４６】一方、ステップＳ２６において、１フレー
ムのＨＤ画像を構成するＨＤ画素すべてを、注目画素と
して処理を行ったと判定された場合、処理を終了する。

【０１４７】なお、図１０のフローチャートに示した処
理は、例えば、フレームメモリ４１に、新たなＳＤ画像
が記憶されるごとに行われる。

【０１４８】次に、図１１のフローチャートを参照し
て、図８の実時間学習部１の処理について説明する。

【０１４９】実時間学習部１には、学習用入力データと
してのＨＤ画像が供給され、フレームメモリ２１は、そ
の学習用入力データとしてのＨＤ画像を、例えば、フレ
ーム単位で順次記憶していく。

【０１５０】そして、ステップＳ３１において、間引き
回路２２は、フレームメモリ２１に記憶されたＨＤ画像
を読み出し、その画素数を間引くことで、ＳＤ画像とす
る。このＳＤ画像は、フレームメモリ２３に供給されて
記憶される。

【０１５１】フレームメモリ２３にＳＤ画像が記憶され
ると、ステップＳ３２において、クラスタップ生成回路
２４または予測タップ生成回路２５は、フレームメモリ
２３に記憶されたＳＤ画像を構成するＳＤ画素を用い、
フレームメモリ２１に記憶されたＨＤ画像を構成するＨ
Ｄ画素のうちの所定のものを注目画素として、クラスタ
ップまたは予測タップを構成し、クラス分類回路２６ま
たは加算回路２７にそれぞれ供給する。

【０１５２】クラス分類回路２６は、ステップＳ３３に
おいて、クラスタップ生成回路２４からのクラスタップ
を用いてクラス分類を行うことにより、注目画素につい
てのクラスを求め、そのクラスを、予測タップメモリ２
８および教師データメモリ３０に対して、アドレスとし
て与える。

【０１５３】そして、ステップＳ３４に進み、予測タッ
プまたは教師データそれぞれの足し込みが行われる。

【０１５４】即ち、ステップＳ３４において、予測タッ
プメモリ２８は、クラス分類回路２６が出力するクラス
に対応するアドレスの記憶値を読み出し、加算回路２７
に供給する。加算回路２７は、予測タップメモリ２８か
ら供給される記憶値と、予測タップ生成回路２５から供
給されるの予測タップを構成するＳＤ画素とを用いて、
式（１８）の正規方程式の左辺における、予測係数の乗
数となっているサメーション（Σ）に相当する演算を行
う。そして、加算回路２７は、その演算結果を、クラス
分類回路２６が出力するクラスに対応する、予測タップ
メモリ２８のアドレスに、上書きする形で記憶させる。

【０１５５】さらに、ステップＳ３４では、教師データ
メモリ３０は、クラス分類回路２６が出力するクラスに
対応するアドレスの記憶値を読み出し、加算回路２９に
供給する。加算回路２９は、フレームメモリ２１に記憶
されたＨＤ画像を構成するＨＤ画素のうちの注目画素
を、教師データとして読み出し（正確には、さらに、上
述したような必要なデータも読み出し）、その教師デー
タと、教師データメモリ３０から供給された記憶値とを
用いて、式（１８）の正規方程式の右辺におけるサメー
ション（Σ）に相当する演算を行う。そして、加算回路
２９は、その演算結果を、クラス分類回路２６が出力す
るクラスに対応する、教師データメモリ３０のアドレス
に、上書きする形で記憶させる。

【０１５６】その後、ステップＳ３５に進み、フレーム
メモリ２１に記憶された１フレームのＨＤ画像を構成す
るＨＤ画素すべてを、注目画素として処理を行ったか否
かが判定され、まだ行っていないと判定された場合、ス
テップＳ３１に戻り、まだ注目画素としていないＨＤ画
素を、新たに注目画素として、以下、同様の処理が繰り
返される。

【０１５７】一方、ステップＳ３５において、１フレー
ムのＨＤ画像を構成するＨＤ画素すべてを、注目画素と
して処理を行ったと判定された場合、ステップＳ３６に
進み、演算回路３１は、予測タップメモリ２８または教
師データメモリ３０それぞれから、各クラスに対応する
アドレスに記憶されている記憶値を順次読み出し、式
（１８）に示した正規方程式をたてて、これを解くこと
により、クラスごとの予測係数を求める。さらに、演算
回路３１は、ステップＳ３７において、その求めたクラ
スごとの予測係数を、係数ＲＡＭ４５に転送して記憶さ
せ、処理を終了する。

【０１５８】これにより、係数ＲＡＭ４５に記憶された
クラスごとの予測係数は、図１１のフローチャートに示
した処理が行われるごとに更新されていく。

【０１５９】なお、図１１のフローチャートに示した処
理は、例えば、フレームメモリ２１に、新たなＨＤ画像
が記憶されるごとに行われる。

【０１６０】また、実時間学習部１で行われる、以上の
ような予測係数の学習処理において、予測係数を求める
のに必要な数の正規方程式が得られないクラスが生じる
場合があるが、そのようなクラスについては、例えば、
係数ＲＡＭ４５に記憶された予測係数が更新されずに、
そのまま、データ処理部２の処理において用いられる。

【０１６１】さらに、図１０および図１１のフローチャ
ートに示した処理は、並列的に行われるようになされて
いる。

【０１６２】以上のように、実時間学習部１において、
予測タップメモリ２８および教師データメモリ３０の記
憶内容をリセットせずに、予測タップまたは教師データ
それぞれの足し込みが行われていき、その足し込み結果
を用いて、式（１８）の正規方程式がたてられ、クラス
ごとの予測係数が実時間で求められていく結果、そのク
ラスごとの予測係数は、学習用入力データとしてのＨＤ
画像を用いての学習処理が行われるごとに、処理用入力
データとしてのＳＤ画像に適したものとなっていき、こ
れにより、データ処理部２において、ＳＤ画像は適応的
に処理され、その処理結果として得られるＨＤ画像は、
学習が進むにつれて時々刻々と改善されていく。即ち、
データ処理部２が出力するＨＤ画像の解像度等は、時々
刻々と向上していく。

【０１６３】なお、実時間学習部１において、加算回路
２７における予測タップの足し込みは、予測タップメモ
リ２８から供給される記憶値、または予測タップ生成回
路２５から供給されるの予測タップを構成するＳＤ画素
の少なくとも一方に、所定の重みを乗算してから行うこ
とが可能である。例えば、予測タップメモリ２８から供
給される記憶値に、予測タップ生成回路２５から供給さ
れるの予測タップを構成するＳＤ画素よりも小さい重み
を乗算する場合には、過去の学習用入力データとしての
ＨＤ画像を、所定の割合で忘却しながら、予測係数の学
習を行うことができる。ここで、加算回路２７において
上述のような重み付けを行う場合には、加算回路２９に
おける足し込みにおいても、同様の重み付けが必要とな
る。

【０１６４】さらに、上述のように重み（忘却）を採用
する場合においては、例えば、テレビジョン放送におけ
るブランキング区間の信号から、そのＳ／Ｎを判定し、
Ｓ／Ｎが高い場合に得られた予測タップについての重み
は大きくし、Ｓ／Ｎが低い場合に得られた予測タップに
ついての重みは小さくするようにすることなどが可能で
ある。この場合、ノイズの影響を低減した学習を行うこ
とができる。

【０１６５】また、シーンチェンジを検出するように
し、シーンチェンジがあった場合には、予測タップメモ
リ２８から供給される記憶値に対する重みを０とするよ
うにすることができる。この場合、シーンチェンジがあ
ると、過去の学習をすべて忘却し、いわば一から学習を
やり直すことになるため、シーンチェンジ直後に、デー
タ処理部２が出力するＨＤ画像の画質は劣化するが、そ
の後に学習が進むにつれて、データ処理部２が出力する
ＨＤ画像の画質は、時々刻々と改善されていく。

【０１６６】また、上述の場合においては、処理用入力
データとしてのＳＤ画像とともに、それと同一内容の学
習用入力データとしてのＨＤ画像が放送されてくるもの
としたが、処理用入力データとしてのＳＤ画像と、学習
用入力データとしてのＨＤ画像とは、異なるタイミング
で放送するようにすることも可能である。但し、この場
合、図８の画像処理装置において、処理用入力データと
してのＳＤ画像を受信した場合には、そのＳＤ画像を、
データ処理部２に供給し、学習用入力データとしてのＨ
Ｄ画像を受信した場合には、そのＨＤ画像を、実時間学
習部１に供給するようにする必要がある。

【０１６７】次に、図１２は、図１の自己適応処理回路
を適用した画像処理装置の他の実施の形態の構成例を示
している。なお、図中、図８における場合と対応する部
分については、同一の符号を付してあり、以下では、そ
の説明は、適宜省略する。

【０１６８】この画像処理装置においても、図８の画像
処理装置における場合と同様にクラス分類適応処理が行
われ、これにより、ＳＤ画像がＨＤ画像に変換されるよ
うになされている。但し、図８の画像処理装置では、ク
ラスタップおよび予測タップの構造については、図９に
示したように、注目画素を中心とする４×４のＳＤ画素
のまま固定とし、クラスごとの予測係数についてのみ、
実時間学習が行われるようになされていたが、図１２の
画像処理装置では、クラスごとの予測係数の他、クラス
タップおよび予測タップの構造についても、実時間学習
が行われるようになされている。

【０１６９】即ち、図１２の実時間学習部１は、フレー
ムメモリ２１、間引き回路２２、特徴量抽出回路５１、
タップ候補生成回路５２、Ｎ個の学習処理部５３₁乃至
５３_N、および判定回路５４で構成されている。

【０１７０】そして、特徴量抽出回路５１は、フレーム
メモリ２３に記憶された、学習用入力データとしてのＨ
Ｄ画像を間引いて得られたＳＤ画像を読み出し、その特
徴量を抽出して、タップ候補生成回路５２に供給するよ
うになされている。

【０１７１】即ち、特徴量抽出回路５１は、例えば、フ
レームメモリ２３に記憶されたＳＤ画像を構成するＳＤ
画素を、順次、処理対象画素として、その処理対象画素
の近傍（空間的または時間的に近傍）にあるＳＤ画素と
の相関を演算する。そして、特徴量抽出回路５１は、フ
レームメモリ２３に記憶されたＳＤ画像を構成するＳＤ
画素すべてについての相関の平均値などを、ＳＤ画像の
特徴量として求め、タップ候補生成回路５２に供給す
る。

【０１７２】タップ候補生成回路５２は、特徴量抽出回
路５１からの特徴量に基づいて、複数のクラスタップお
よび予測タップの構造を、クラスタップおよび予測タッ
プの候補として生成するようになされている。

【０１７３】即ち、タップ候補生成回路５２は、ＳＤ画
像の特徴量としての相関が高い場合には、注目画素の近
傍にあるＳＤ画素を多く使用するクラスタップおよび予
測タップ（以下、適宜、両方含めて、タップという）の
候補を生成する。また、タップ候補生成回路５２は、Ｓ
Ｄ画像の特徴量としての相関が低い場合には、注目画素
から比較的遠い位置にあるＳＤ画素をも使用するタップ
の候補を生成する。具体的には、例えば、ＳＤ画像の特
徴量としての相関が高い場合には、互いに隣接するＳＤ
画素を用いたタップの候補が生成され、ＳＤ画像の特徴
量としての相関が低い場合には、数画素（例えば、１画
素や２画素など）おきのＳＤ画素を用いたタップの候補
が生成される。

【０１７４】なお、複数のタップの候補は、例えば、Ｓ
Ｄ画像の特徴量に対して基準のタップの構造を用意して
おき、その水平方向、垂直方向、または時間方向のうち
の１以上の方向のＳＤ画素の間隔を、広くしたり、ある
いは狭くしたりすることで生成することができる。ここ
で、例えば、図９の実施の形態等では、注目画素に対し
て空間方向に位置するＳＤ画素でタップを構成するよう
にしたが、タップは、注目画素に対して時間方向に位置
するＳＤ画素を用いて構成することも可能である。

【０１７５】図１２の実施の形態では、タップ候補生成
回路５２において、Ｎ個のタップの候補が生成されるよ
うになされており、そのＮ個のタップの候補それぞれ
は、学習処理部５３₁乃至５３_Nのうちの対応するものに
供給されるようになされている。即ち、例えば、Ｎ個の
タップの候補のうち、ｎ番目（ｎ＝１，２，・・・，
Ｎ）のものの構造を表す情報を、タップ構造情報＃ｎと
いうものとすると、そのタップ構造情報＃ｎは、学習処
理部５３_nに供給されるようになされている。

【０１７６】学習処理部５３_nには、タップ構造情報＃
ｎの他、フレームメモリ２１または２３にそれぞれ記憶
されたＨＤ画像またはＳＤ画像も供給されるようになさ
れている。学習処理部５３_nは、タップ構造情報＃ｎに
対応する構造のクラスタップおよび予測タップを構成
し、図８の実時間学習部１と同様にして、クラスごとの
予測係数を学習により求める。さらに、学習処理部５３
_nは、そのクラスごとの予測係数を用いて、フレームメ
モリ２３からのＳＤ画像に対して、クラス分類適応処理
を施すことで、そのＳＤ画像をＨＤ画像に変換する。そ
して、学習処理部５３_nは、その変換後のＨＤ画像の、
フレームメモリ２１に記憶されたＨＤ画像に対する誤差
（予測誤差）を求め、学習により求めたクラスごとの予
測係数、およびタップ候補生成回路５２からのタップ構
造情報＃ｎとともに、判定回路５４に出力するようにな
されている。

【０１７７】判定回路５４は、学習処理部５３₁乃至５
３_Nからの予測誤差のうちの最小値を検出し、学習処理
部５３₁乃至５３_Nのうち、最小の予測誤差が得られてい
るもの（以下、適宜、最適学習処理部という）が出力し
たクラスごとの予測係数を、係数ＲＡＭ４５に供給する
とともに、その最適学習処理部が出力したタップ構造情
報を、クラスタップ生成回路４２および予測タップ生成
回路４３に供給するようになされている。

【０１７８】次に、図１３は、図１２の学習処理部５３
_nの構成例を示している。

【０１７９】学習処理部５３_nは、予測係数学習部６
１、クラス分類適応処理部６２、および予測誤差算出部
６３から構成されており、予測係数学習部６１には、フ
レームメモリ２１からのＨＤ画像、フレームメモリ２３
からのＳＤ画像、およびタップ候補生成回路５２からの
タップ構造情報＃ｎが、クラス分類適応処理部６２に
は、フレームメモリ２３からのＳＤ画像、およびタップ
候補生成回路５２からのタップ構造情報＃ｎが、予測誤
差算出部６３には、フレームメモリ２１からのＨＤ画像
が、それぞれ供給されるようになされている。

【０１８０】予測係数学習部６１は、ＨＤ画像およびＳ
Ｄ画像に基づき、タップ構造情報＃ｎに対応する構造の
クラスタップおよび予測タップを用いて、図８の実時間
学習部１における場合と同様にして、クラスごとの予測
係数を学習により求め、クラス分類適応処理部６２に供
給する。なお、予測係数学習部６１において求められた
クラスごとの予測係数は、判定回路５４にも供給され
る。

【０１８１】クラス分類適応処理部６２は、予測係数学
習部６１からのクラスごとの予測係数を用いて、図８の
データ処理部２における場合と同様のクラス分類適応処
理が行われることにより、ＳＤ画像を構成するＳＤ画素
から、ＨＤ画素の予測値が求められ、その予測値でなる
ＨＤ画像が、予測誤差算出部６３に供給される。

【０１８２】予測誤差算出部６３では、フレームメモリ
２１に記憶されたＨＤ画像を構成するＨＤ画素と、その
ＨＤ画素に対応する、クラス分類適応処理部６２からの
ＨＤ画素の予測値との差分の自乗和などが、予測誤差と
して求められ、判定回路５４に供給される。

【０１８３】なお、学習処理部５３_nでは、そこで求め
られたクラスごとの予測係数および予測誤差の他、タッ
プ候補生成回路５２から供給されたタップ構造情報＃ｎ
も、判定回路５４に供給される。

【０１８４】次に、図１４は、図１３の予測係数学習部
６１の構成例を示している。

【０１８５】予測係数学習部６１は、図８のクラスタッ
プ生成回路２４、予測タップ生成回路２５、クラス分類
回路２６、加算回路２７、予測タップメモリ２８、加算
回路２９、教師データメモリ３０、または演算回路３１
とそれぞれ同様に構成されるクラスタップ生成回路７
１、予測タップ生成回路７２、クラス分類回路７３、加
算回路７４、予測タップメモリ７５、加算回路７６、教
師データメモリ７７、または演算回路７８から構成され
ている。

【０１８６】そして、クラスタップ生成回路７１および
予測タップ生成回路７２には、フレームメモリ２３に記
憶されたＳＤ画像が、加算回路７６には、フレームメモ
リ２１に記憶されたＨＤ画像が、それぞれ供給されるよ
うになされており、図８の実時間学習処理部１における
場合と同様にして、クラスごとの予測係数が求められ
る。

【０１８７】但し、クラスタップ生成回路７１および予
測タップ生成回路７２には、タップ候補生成回路５２が
出力するタップ構造情報＃ｎも供給されるようになされ
ており、クラスタップ生成回路７１または予測タップ生
成回路７２それぞれでは、そのタップ構造情報＃ｎに対
応した構造のクラスタップまたは予測タップが構成され
るようになされている。

【０１８８】なお、ここでも、クラスタップおよび予測
タップは同一構造にしているが、クラスタップと予測タ
ップの構造は異なるものにすることも可能である。

【０１８９】次に、図１５は、図１３のクラス分類適応
処理部６２の構成例を示している。

【０１９０】クラス分類適応処理部６２は、図８のクラ
スタップ生成回路４２、予測タップ生成回路４３、クラ
ス分類回路４４、係数ＲＡＭ４５、または予測演算回路
４６とそれぞれ同様に構成されるクラスタップ生成回路
８１、予測タップ生成回路８２、クラス分類回路８３、
係数ＲＡＭ８４、または予測演算回路８５から構成され
ている。

【０１９１】そして、クラスタップ生成回路８１および
予測タップ生成回路８２には、フレームメモリ２３に記
憶されたＳＤ画像が、係数ＲＡＭ８４には、図１４の予
測係数学習部６１（演算回路７８）で求められたクラス
ごとの予測係数が、それぞれ供給されるようになされて
おり、図８のデータ処理部２における場合と同様にし
て、係数ＲＡＭ８４に記憶されたクラスごとの予測係数
を用いて、ＳＤ画像がＨＤ画像に変換される。

【０１９２】但し、クラスタップ生成回路８１および予
測タップ生成回路８２には、タップ候補生成回路５２が
出力するタップ構造情報＃ｎも供給されるようになされ
ており、クラスタップ生成回路８１または予測タップ生
成回路８２それぞれでは、そのタップ構造情報＃ｎに対
応した構造のクラスタップまたは予測タップ（従って、
図１４のクラスタップ生成回路７１または予測タップ生
成回路７２でそれぞれ構成されるクラスタップまたは予
測タップと同一構造のもの）が構成されるようになされ
ている。

【０１９３】次に、図１６のフローチャートを参照し
て、図１２の実時間学習部１の処理について説明する。

【０１９４】実時間学習部１には、学習用入力データと
してのＨＤ画像が供給され、フレームメモリ２１は、そ
の学習用入力データとしてのＨＤ画像を、例えば、フレ
ーム単位で順次記憶していく。

【０１９５】そして、ステップＳ４１において、間引き
回路２２は、フレームメモリ２１に記憶されたＨＤ画像
を読み出し、その画素数を間引くことで、ＳＤ画像とす
る。このＳＤ画像は、フレームメモリ２３に供給されて
記憶される。

【０１９６】フレームメモリ２３にＳＤ画像が記憶され
ると、ステップＳ４２において、特徴量抽出回路５１
は、そのＳＤ画像の特徴量を抽出し、タップ候補生成回
路５２に供給する。タップ候補生成回路５２では、ステ
ップＳ４３において、特徴量抽出回路５１からの特徴量
に基づいて、Ｎ個のタップの候補が生成され、その構造
を表すタップ構造情報＃１乃至＃Ｎが、学習処理部５３
₁乃至５３_Nにそれぞれ供給される。

【０１９７】学習処理部５３_n（図１３）を構成する予
測係数学習部６１（図１４）のクラスタップ生成回路７
１または予測タップ生成回路７２では、ステップＳ４４
において、タップ構造情報＃ｎに対応する構造のクラス
タップまたは予測タップ（であって、フレームメモリ２
１に記憶されたＨＤ画像を構成するＨＤ画素のうちの所
定のものを注目画素としたもの）が、フレームメモリ２
１に記憶されたＳＤ画素から構成され、クラス分類回路
７３または加算回路７４にそれぞれ供給される。

【０１９８】クラス分類回路７３では、ステップＳ４５
において、クラスタップ生成回路７１からのクラスタッ
プを用いてクラス分類を行うことにより、注目画素につ
いてのクラスが求められ、そのクラスが、予測タップメ
モリ２８および教師データメモリ３０に対して、アドレ
スとして与えられる。

【０１９９】一方、加算回路７６には、注目画素として
のＨＤ画素が、フレームメモリ２１から読み出されて供
給される。

【０２００】そして、ステップＳ４６に進み、加算回路
７４または７６において、図１１のステップＳ３４にお
ける場合と同様に、予測タップまたは教師データそれぞ
れの足し込みが行われ、その足し込み結果が、予測タッ
プメモリ７５または教師データメモリ７７に供給され、
クラス分類回路７３が出力するクラスに対応するアドレ
スに記憶される。

【０２０１】その後、ステップＳ４７において、フレー
ムメモリ２１に記憶された１フレームのＨＤ画像を構成
するＨＤ画素すべてを、注目画素として処理を行ったか
否かが判定され、まだ行っていないと判定された場合、
ステップＳ４４に戻り、まだ注目画素としていないＨＤ
画素を、新たに注目画素として、以下、同様の処理が繰
り返される。

【０２０２】一方、ステップＳ４７において、１フレー
ムのＨＤ画像を構成するＨＤ画素すべてを、注目画素と
して処理を行ったと判定された場合、ステップＳ４８に
進み、演算回路７８は、予測タップメモリ２８または教
師データメモリ３０それぞれから、各クラスに対応する
アドレスに記憶されている記憶値を順次読み出し、式
（１８）に示した正規方程式をたてて、これを解くこと
により、クラスごとの予測係数を求める。さらに、演算
回路７８は、その求めたクラスごとの予測係数を、クラ
ス分類適応処理部６２（図１５）の係数ＲＡＭ８４に転
送して記憶させる（係数ＲＡＭ８４の記憶内容を更新す
る）。

【０２０３】クラス分類適応処理部６２では、ステップ
Ｓ４９において、係数ＲＡＭ８４に記憶されたクラスご
との予測係数を用いて、クラス分類適応処理が行われる
ことにより、フレームメモリ２３に記憶されたＳＤ画像
が、ＨＤ画像（フレームメモリ２１に記憶されたＨＤ画
像の予測値）に変換される。

【０２０４】即ち、クラス分類適応処理部６２（図１
５）では、クラスタップ生成回路８１または予測タップ
生成回路８２において、フレームメモリ２３からのＳＤ
画素を用いて、タップ構造情報＃ｎに対応する構造のク
ラスタップまたは予測タップが構成され、クラス分類回
路８３または予測演算回路８５にそれぞれ供給される。

【０２０５】クラス分類回路８３では、クラスタップ生
成回路８１からのクラスタップに基づき、注目画素のク
ラスが求められ、係数ＲＡＭ８４に対し、アドレスとし
て与えられる。係数ＲＡＭ８４は、クラス分類回路８３
からのクラスに対応するアドレスに記憶されている予測
係数を読み出し、予測演算回路８５に供給する。

【０２０６】予測演算回路８５では、予測タップ生成回
路８２からの予測タップと、係数ＲＡＭ８４からの予測
係数とを用いて、式（１２）に示した演算を行うことに
より、注目画素ｙの予測値Ｅ［ｙ］が求められ、予測誤
差算出部６３（図１３）に供給される。

【０２０７】予測誤差算出部６３では、ステップＳ５０
において、クラス分類適応処理部６２が出力するＨＤ画
像の、フレームメモリ２１に記憶されたＨＤ画像に対す
る予測誤差が求められ、予測係数学習部６１が出力する
クラスごとの予測係数、およびタップ構造情報＃ｎとと
もに、判定回路５４（図１２）に供給される。

【０２０８】判定回路５４は、ステップＳ５１におい
て、学習処理部５３₁乃至５３_Nからの予測誤差のうちの
最小値を検出し、ステップＳ５２に進み、学習処理部５
３₁乃至５３_Nのうち、最小の予測誤差が得られている最
適学習処理部が出力したクラスごとの予測係数を、デー
タ処理部２の係数ＲＡＭ４５に供給するとともに、その
最適学習処理部が出力したタップ構造情報を、データ処
理部２のクラスタップ生成回路４２および予測タップ生
成回路４３に供給して、処理を終了する。

【０２０９】なお、図１６のフローチャートに示した処
理は、例えば、フレームメモリ２１に、新たなＨＤ画像
が記憶されるごとに行われる。

【０２１０】そして、データ処理部２（図１２）では、
係数ＲＡＭ４５において、実時間学習部１（判定回路５
４）からのクラスごとの予測係数に、その記憶内容が更
新される。さらに、データ処理部２のクラスタップ生成
回路４２または予測タップ生成回路４３では、実時間学
習部１からのタップ構造情報に対応する構造のクラスタ
ップまたは予測タップが構成され、図８における場合と
同様にして、ＳＤ画像がＨＤ画像に変換される。

【０２１１】以上のように、クラスごとの予測係数の
他、クラスタップおよび予測タップの構造についても実
時間で学習を行うようにした場合には、画質がさらに向
上したＨＤ画像を得ることができる。

【０２１２】ここで、クラスタップ等の構造を実時間で
学習する場合にも、図１６のステップＳ４６において、
クラスごとの予測タップまたは教師データそれぞれの足
し込み時に、上述したような重みを導入することで、過
去の学習用入力データとしてのＨＤ画像を、所定の割合
で忘却しながら、クラスタップ等の構造についての学習
を行うことができる。

【０２１３】なお、クラスタップの構造の実時間学習を
行う場合においては、注目画素について構成されるクラ
スタップの構造が変わるので、クラスタップに基づいて
行うクラス分類結果としての注目画素のクラスも変わる
ことになる。

【０２１４】即ち、例えば、いま説明を簡単にするため
に、クラスタップを構成するＳＤ画素が１ビットで表現
されているとし、さらに、クラスタップの構造が、例え
ば、図９に示したように、注目画素を中心とする４×４
の隣接するＳＤ画素で構成される場合と、注目画素を中
心とする４×４の１画素ごとのＳＤ画素で構成される場
合との２つの場合のいずれかに変化するものとすると、
クラス数は、２¹⁶＋２¹⁶個だけ必要となる。

【０２１５】つまり、クラスタップが、注目画素を中心
とする４×４の隣接するＳＤ画素で構成される場合、ま
たは注目画素を中心とする４×４の１画素ごとのＳＤ画
素で構成される場合のいずれかの場合しか存在しなけれ
ば、必要なクラス数は、いずれの場合も、２¹⁶個であ
る。これに対して、クラスタップの構造が、注目画素を
中心とする４×４の隣接するＳＤ画素で構成される場合
と、注目画素を中心とする４×４の１画素ごとのＳＤ画
素で構成される場合との両方ありうる場合には、注目画
素を中心とする４×４の隣接するＳＤ画素でクラスタッ
プを構成するときに必要となる２¹⁶個のクラスの他に、
注目画素を中心とする４×４の１画素ごとのＳＤ画素で
クラスタップを構成するときに必要となる２¹⁶個のクラ
スが、さらに必要となる。

【０２１６】そして、注目画素を中心とする４×４の隣
接するＳＤ画素でクラスタップを構成するときに必要と
なる２¹⁶個のクラスと、注目画素を中心とする４×４の
１画素ごとのＳＤ画素でクラスタップを構成するときに
必要となる２¹⁶個のクラスとは、異なるクラスであるか
ら、クラスタップの構造が変わった場合に、例えば、図
１６のステップＳ４６において、クラスごとの予測タッ
プの足し込み（教師データの足し込みについても同様）
などを、どのように行うかが問題となるが、これは、例
えば、次のようにして行うことができる。

【０２１７】即ち、実時間学習により採用されうるクラ
スタップの構造それぞれについて必要となるクラス数の
総和に一致するだけ数のクラスをあらかじめ用意してお
き、ある構造のクラスタップを採用する場合には、その
構造のクラスタップに割り当てられたクラス以外のクラ
スは用いない（無視する）ようにすれば良い。

【０２１８】具体的には、実時間学習により採用されう
るクラスタップが、例えば、図１７に示すように、注目
画素を中心とする１０×１０のＳＤ画素からなる第１の
クラスタップと、注目画素を中心とする４×４のＳＤ画
素からなる第２のクラスタップとである場合には、第１
または第２のクラスタップについて、それぞれ２¹⁰⁰個
または２¹⁶個のクラスが必要となるから（但し、ＳＤ画
素は１ビットとする）、２¹⁰⁰＋２¹⁶個のクラスを用意
しておく。そして、２¹⁰⁰＋２¹⁶個のクラスのうちの２
¹⁰⁰個または２¹⁶個のクラスを、第１または第２のクラ
スタップにそれぞれ割り当て、第１のクラスタップが採
用された場合には、それに割り当てられた２^{10 0}個のク
ラスのみを対象として処理を行い、第２のクラスタップ
が採用された場合には、それに割り当てられた２¹⁶個の
クラスのみを対象として処理を行うようにすれば良い。

【０２１９】また、予測タップの構造が変わる場合に
は、式（１２）において、予測タップを構成するＳＤ画
素ｘと乗算される予測係数ｗも変わるが（式（１８）に
おける予測係数についても同様）、これについては、例
えば、注目画素に対して予測タップとなりうるＳＤ画素
すべてについて予測係数を用意しておき、その予測係数
に対する、式（１２）における乗数としてのＳＤ画素の
画素値のうち、予測タップとして採用されなかったＳＤ
画素の画素値は０として演算を行うことで対処可能であ
る。

【０２２０】なお、クラスタップの構造は固定にしてお
き、その固定のクラスタップにおいて必要となるクラス
の統廃合を、実時間学習部１に行わせるようにすること
も可能である。即ち、例えば、クラスタップが、Ａ個の
ＳＤ画素で構成され、そのクラスタップを構成する各Ｓ
Ｄ画素がＢビットで表現されている場合には、単純に
は、（２^A）^B個のクラスが必要となるが、あるクラスを
廃止したり（なくしたり）、また、ある１のクラスと他
の１のクラスとを１のクラスに統合したりした方が、デ
ータ処理部２が出力するＨＤ画像の画質が向上すること
がある。即ち、クラスの統廃合を行うことで、クラスタ
ップの構造を変えた場合と同様の効果が得られる場合が
ある。そこで、実時間学習部１には、例えば、上述した
予測誤差が小さくなるように、クラスの統廃合について
の実時間学習を行わせるようにすることも可能である。

【０２２１】また、上述の場合においては、データ処理
部２において、線形処理を行うようにしたが、データ処
理部２において非線形な処理を行う場合にも、本発明は
適用可能である。

【０２２２】さらに、図１２の実施の形態では、学習処
理部５３_nにおいて、タップ候補生成回路５２からのタ
ップ構造情報＃ｎに対応する構造のクラスタップおよび
予測タップを、新たなタップ構造情報＃ｎが供給される
までは、そのまま用いて、予測係数を求めるようにした
が、学習処理部５３_nでは、例えば、注目画素の周辺に
あるＳＤ画素どうしの相関などを、その注目画素の特徴
量として求め、タップ構造情報＃ｎに対応する構造のク
ラスタップおよび予測タップを、注目画素ごとに、その
特徴量に基づいた構造に変形して、予測係数を求めるよ
うにすることが可能である。

【０２２３】但し、この場合、例えば、タップ構造情報
＃ｎに対応する構造のクラスタップおよび予測タップを
変形するバリエーションの数に対応するだけ、クラス数
を多く用意する必要がある。また、データ処理部２で
は、上述した場合と同様にして注目画素の特徴量を求
め、クラスタップ生成回路４２または予測タップ生成回
路４３では、その特徴量に基づいて、判定回路５４から
供給されるタップ構造情報＃ｎに対応する構造を変形し
たクラスタップまたは予測タップをそれぞれ構成する必
要がある。

【０２２４】

【発明の効果】以上の如く、本発明のデータ処理装置お
よびデータ処理方法によれば、入力データが適応的に処
理されることにより、出力データが時間の経過とともに
改善されるように、処理方式が、実時間で学習され、そ
の処理方式で、入力データが処理されて、出力データが
出力される。従って、時間の経過とともに改善された出
力データを得ることができる。

【図面の簡単な説明】

【図１】本発明を適用した自己適応処理回路の一実施の
形態の構成例を示すブロック図である。

【図２】処理方式の改善について説明するための図であ
る。

【図３】処理方式の改善について説明するための図であ
る。

【図４】学習に用いる学習用入力データを説明するため
の図である。

【図５】本発明を適用したＮＲ処理回路の一実施の形態
の構成例を示すブロック図である。

【図６】図５のＮＲ処理回路の処理対象となる入力デー
タと、その信頼度を示す図である。

【図７】図５のＮＲ処理回路の処理を説明するためのフ
ローチャートである。

【図８】本発明を適用した画像処理装置の一実施の形態
の構成例を示すブロック図である。

【図９】クラスタップおよび予測タップを示す図であ
る。

【図１０】図８のデータ処理部２の処理を説明するため
のフローチャートである。

【図１１】図８の実時間学習部１の処理を説明するため
のフローチャートである。

【図１２】本発明を適用した画像処理装置の他の実施の
形態の構成例を示すブロック図である。

【図１３】図１２の学習処理部５３_nの構成例を示すブ
ロック図である。

【図１４】図１３の予測係数学習部６１の構成例を示す
ブロック図である。

【図１５】図１３のクラス分類適応処理部６２の構成例
を示すブロック図である。

【図１６】図１２の実時間学習部１の処理を説明するた
めのフローチャートである。

【図１７】クラスタップを示す図である。

【図１８】従来のデータ処理装置の一例の構成を示すブ
ロック図である。

【符号の説明】

１ 実時間学習部（実時間学習手段）， ２ データ処
理部（データ処理手段）， １１₁乃至１１₄ ラッチ回
路， １２ 入力信頼度計算部， １３ 出力信頼度計
算部， １４ ラッチ回路， １５ 重み計算部， １
６ 重み付け部， １７ 演算器， １８ 重み付け
部， １９ 演算器， ２０ ラッチ回路， ２１ フ
レームメモリ， ２２ 間引き回路， ２３ フレーム
メモリ，２４ クラスタップ生成回路， ２５ 予測タ
ップ生成回路， ２６ クラス分類回路， ２７ 加算
回路， ２８ 予測タップメモリ， ２９ 加算回路，
３０ 教師データメモリ， ３１ 演算回路， ４１
フレームメモリ， ４２クラスタップ生成回路， ４３
予測タップ生成回路， ４４ クラス分類回路， ４
５ 係数ＲＡＭ， ４６ 予測演算回路， ５１ 特徴
量抽出回路，５２ タップ候補生成回路， ５３₁乃至
５３_N 学習処理部， ５４ 判定回路， ６１ 予測
係数学習部， ６２ クラス分類適応処理部， ６３
予測誤差算出部， ７１ クラスタップ生成回路， ７
２ 予測タップ生成回路， ７３クラス分類回路， ７
４ 加算回路， ７５ 予測タップメモリ， ７６ 加
算回路， ７７ 教師データメモリ， ７８ 演算回
路， ８１ クラスタップ生成回路， ８２ 予測タッ
プ生成回路， ８３ クラス分類回路， ８４ 係数Ｒ
ＡＭ， ８５ 予測演算回路

Claims (7)

【特許請求の範囲】
1. 【請求項１】 入力データを処理し、その処理結果とし
   ての出力データを出力するデータ処理装置であって、 前記入力データを、所定の処理方式で処理し、前記出力
   データを出力するデータ処理手段と、 前記入力データが適応的に処理されることにより、前記
   出力データが時間の経過とともに改善されるように、前
   記処理方式を、実時間で学習し、その処理方式で処理を
   行うように、前記データ処理手段を制御する実時間学習
   手段とを備えることを特徴とするデータ処理装置。
2. 【請求項２】 前記実時間学習手段は、前記入力データ
   または出力データに基づいて、前記処理方式を学習する
   ことを特徴とする請求項１に記載のデータ処理装置。
3. 【請求項３】 前記実時間学習手段は、前記処理方式の
   学習のための専用のデータに基づいて、前記処理方式を
   学習することを特徴とする請求項１に記載のデータ処理
   装置。
4. 【請求項４】 前記実時間学習手段は、時系列に入力さ
   れる学習用のデータを用いて、前記処理方式を学習する
   ことを特徴とする請求項１に記載のデータ処理装置。
5. 【請求項５】 前記実時間学習手段は、時系列に入力さ
   れる学習用のデータのうち、現在の値から所定の範囲内
   にある値のものを用いて、前記処理方式を学習すること
   を特徴とする請求項４に記載のデータ処理装置。
6. 【請求項６】 前記実時間学習手段は、過去の前記学習
   用のデータを、所定の割合で忘却しながら、前記処理方
   式を学習することを特徴とする請求項４に記載のデータ
   処理装置。
7. 【請求項７】 入力データを処理し、その処理結果とし
   ての出力データを出力するデータ処理方法であって、 前記入力データを、所定の処理方式で処理し、前記出力
   データを出力するデータ処理ステップと、 前記入力データが適応的に処理されることにより、前記
   出力データが時間の経過とともに改善されるように、前
   記処理方式を、実時間で学習し、その処理方式で処理を
   行うように、前記データ処理ステップを制御する実時間
   学習ステップとを備えることを特徴とするデータ処理方
   法。