以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
請求項1に記載の画像信号処理装置は、
画像信号を処理する画像信号処理装置において、
ノイズを検出するノイズ検出手段(例えば、図26のローカルノイズ検出回路235)と、
第1の画像信号を第2の画像信号に変換するのに用いられる、学習を行うことによりあらかじめ得られた複数セットの所定のクラスごとの予測係数を記憶する予測係数記憶手段(例えば、図26の記憶部221)と、
前記第2の画像信号を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類手段(例えば、図25のクラス分類部32)と、
前記ノイズ検出手段において検出された前記ノイズのノイズ強度に基づいて、前記予測係数記憶手段に記憶された前記複数セットの予測係数のうちのいずれかのセットの予測係数を選択する選択手段(例えば、図26の選択スイッチ222)と、
前記第2の画像信号のクラスの前記予測係数のうちの、前記選択手段において選択された予測係数と、前記第1の画像信号とを用いた演算により、前記第2の画像信号を求める演算手段(例えば、図25の予測演算回路35)と
を備えることを特徴とする。
請求項3に記載の画像信号処理装置は、
送信されてくる前記第1の画像信号を受信する画像信号受信手段(例えば、図24のアンテナ12)と、
前記第1の画像信号に対応するノイズを有しない画像信号を記憶している画像信号記憶手段(例えば、図26のメモリ224)と、
前記画像信号受信手段で受信された第1の画像信号と、前記画像信号記憶手段に記憶された画像信号とを用いて、新たな予測係数を学習する学習手段(例えば、図26の学習回路223)と、
前記新たな予測係数によって、前記予測係数記憶手段の記憶内容を更新する更新手段(例えば、図26の学習回路223が行う図28のステップS86)と
をさらに備えることを特徴とする。
請求項4に記載の画像信号処理装置は、
前記ノイズ検出手段において検出された前記ノイズのノイズ強度を記憶するノイズ強度記憶手段(例えば、図26のメモリ236)
をさらに備えることを特徴とする。
請求項5に記載の画像信号処理方法は、
第1の画像信号を第2の画像信号に変換する画像信号処理方法において、
ノイズを検出するノイズ検出ステップ(例えば、図28のステップS81)と、
前記第2の画像信号を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類ステップ(例えば、図10のステップS23)と、
前記ノイズ検出ステップにおいて検出された前記ノイズのノイズ強度に基づいて、学習を行うことによりあらかじめ得られた複数セットの所定のクラスごとの予測係数を記憶している予測係数記憶手段に記憶された前記複数セットの予測係数のうちのいずれかのセットの予測係数を選択する選択ステップ(例えば、図28のステップS83)と、
前記第2の画像信号のクラスの前記予測係数のうちの、前記選択ステップにおいて選択された予測係数と、前記第1の画像信号とを用いた演算により、前記第2の画像信号を求める演算ステップ(例えば、図10のステップS25)と
を含むことを特徴とする。
請求項6に記載の記録媒体のプログラム、請求項7に記載のプログラムの各ステップの具体例も、請求項5に記載の画像信号処理方法の各ステップの発明の実施の形態における具体例と同様である。
(第1実施の形態)
図1は、本発明を適用したテレビジョン受像機1の一実施の形態を示す斜視図である。
図1では、テレビジョン受像機1(以下、テレビ1という)は、テレビ1に入力される画像信号を画面に表示する。ここで、テレビ1に入力される画像信号には、テレビ1自身が受信する画像信号の他、入力端子等を介して外部の装置から入力される画像信号などがある。テレビ1の(表示)画面と同一の面である正面の右下には、小型の電子機器3(以下、ベイ3という)を装着することができるように、小さな凹形状のスロット2が構成されている。なお、図1では、テレビ1に、スロット2を1つだけ設けてあるが、テレビ1には、複数のスロットを設け、複数のベイを装着することができる。
ユーザは、例えば、視聴したい番組のチャンネルの選択をするときなど、リモートコマンダ4(以下、リモコン4という)を操作する。リモコン4は、ユーザの操作に対応する操作コマンドを、例えば、電波などの無線により、テレビ1に送信する。
リモコン4から無線により送信された操作コマンドは、スロット2の左隣に配置されるリモコン受信部5により受信され、さらに、テレビ1のスロット2に装着されているベイ3でも受信される。そして、リモコン受信部5により受信された操作コマンドに基づいて、テレビ1は、入力される画像信号を画面に表示する。
ここで、ベイ3は、例えば、IC(Integrated Circuit)チップなどで構成され、テレビ1(のスロット2)に対して、着脱自在となされている。また、ベイ3内の回路は、テレビ1の画像信号処理に利用される。例えば、ベイ3内の回路は、所定の解像度を有する画像信号としての第1の画像信号を、その画像信号の解像度より高い解像度の画像信号としての第2の画像信号に変換する画像変換処理を行う。
さらに、ベイ3が、上述したように、テレビ1に対して着脱自在となされ、ベイ3内のソフトウエア(プログラムやデータ)が変更された新しいベイ3と交換することにより、ベイ3をバージョンアップすることが可能となる。ここで、ベイ3のバージョンアップは、ベイ3内の回路(ハードウエア)を変更することによって行うことも可能である。
例えば、最初にテレビ1(のスロット2)に装着されていたベイ3では、テレビ1に入力される画像信号を、走査線数が525本で、走査方式がインターレース方式である525i信号(D1出力)に変換する。そして、525i信号に変換された後の信号が、テレビ1の画面に表示される。
そして、ベイ3をバージョンアップすることにより、ベイ3は、例えば、テレビ1に入力される画像信号を、525i信号に変換する画像信号処理に加えて(あるいは代えて)、走査線数が525本で、走査方式がプログレッシブ方式である525p信号(D2出力)に変換することができるようになる。
さらに、ベイ3をバージョンアップすることにより、例えば、テレビ1に入力される画像信号をズームしたものを高画質化するズームに対応した機能を追加することができたり、スローモーションで再生され、テレビ1に入力された画像信号を高画質化するスローモーションに対応した機能などを追加することも可能である。
このようなベイ3のバージョンアップは、バージョンアップにより追加される機能に対応する操作コマンドをリモコン4にも備える必要があるため、リモコン4のバージョンアップとともに行われることが多い。例えば、ズームの機能を追加したバージョンにベイ3をバージョンアップする場合には、リモコン4において、ユーザがズームの機能を選択(指示)することができるように、リモコン4もバージョンアップされる。
ベイ3とリモコン4のバージョンアップの方法としては、例えば、バージョンアップされたベイ3とリモコン4のセットを販売し、ユーザが、そのセットを購入して、ベイ3およびリモコン4を交換する方法がある。しかしながら、この方法では、ユーザは、ベイ3とリモコン4がバージョンアップされているかどうかを販売している店舗に行って確認しなければならず、ユーザは煩わしさを感じることとなり、ユーザにとっては、好ましいことではない。
そこで、例えば、ベイ3とリモコン4がバージョンアップされたことが装置メーカ(例えば、テレビ1の製造または販売メーカ)からユーザにアナウンスされるようにして、そのとき、ユーザが、いまテレビ1に装着されているベイ3とリモコン4のセットを装置メーカに送り、バージョンアップされたベイ3とリモコン4を返送してもらうことにより、ベイ3とリモコン4のセットをバージョンアップする方法がある。
本実施の形態では、ベイ3とリモコン4のバージョンアップは、装置メーカが、ユーザが所有するベイ3とリモコン4のセットを一時回収し、バージョンアップされたベイ3とリモコン4のセットに交換することにより行われるものとする。
図2は、図1のテレビ1の第1実施の形態の構成例を示すブロック図である。
テレビ1(本体)は、画像信号入力部11を構成するチューナ13、画像信号処理回路14、CRT(Cathode Ray Tube)16、リモコン受信部5を構成するリモコン電波受信回路17、および制御回路18で構成される。
アンテナ12は、放送局から送られてくるテレビジョン信号(電波)を受信し、チューナ13に供給する。アンテナ12は、地上波、BS(Broadcasting Satellite )、CS(Communications Satellite)などのテレビジョン信号を受信することができる。ここで、放送局から送られてくるテレビジョン信号の中には、定期的に、あるいは、不定期な所定の時刻に、テスト画像(テスト信号)として利用される、いわゆるカラーバー画像が含まれる。
チューナ13は、アンテナ12から供給されるテレビジョン信号の中から、制御回路18の制御に基づいて、ユーザがリモコン4を操作して選択したチャンネルのテレビジョン信号を選択する。また、チューナ13は、選択したテレビジョン信号を画像信号処理回路14に供給する。ここで、画像信号処理回路14に供給されるテレビジョン信号は、例えば、音声信号と画像信号とで構成されるが、本実施の形態では、画像信号処理回路14において、画像信号に対して、処理を行うものとする。従って、以下においては、テレビジョン信号における画像信号(以下、入力画像信号という)に注目して、説明を行う。なお、音声信号に対して、以下の説明と同様の処理を行うことも可能である。
画像信号処理回路14は、ベイ3内の係数発生回路15との間でデータを授受しながら、各種の画像信号処理を行う。画像信号処理回路14が行う画像信号処理のうちの1つとして、画像信号を、第1の画像信号から第2の画像信号に変換する画像変換処理がある。
ここで、例えば、第1の画像信号を低解像度の画像信号とするとともに、第2の画像信号を高解像度の画像信号とすれば、画像変換処理は、解像度を向上させる解像度向上処理ということができる。また、例えば、第1の画像信号を低S/N(Signal/Noise)の画像信号とするとともに、第2の画像信号を高S/Nの画像信号とすれば、画像変換処理は、ノイズを除去するノイズ除去処理ということができる。
従って、画像変換処理によれば、第1および第2の画像信号をどのように定義するかによって、様々な処理を実現することができる。
第1実施の形態においては、画像信号処理回路14は、チューナ13から供給される画像信号を、高画質の画像信号に変換する画像変換処理を行うものとする。
画像信号処理回路14は、後述するクラス分類を行うことにより得られるクラスに対応するクラスコードと、チューナ13から供給される画像信号とを、係数発生回路15に出力する。係数発生回路15は、画像信号処理回路14から供給されるクラスコードから、後述するタップ係数を求め、そのタップ係数を画像信号処理回路14に供給する。そして、画像信号処理回路14は、係数発生回路15から供給されるタップ係数を用いて、高画質画像を生成し、CRT16に供給する。なお、画像信号処理回路14と係数発生回路15の詳細な構成については、図3で後述する。
CRT16は、画像信号処理回路14から供給される高画質の画像信号を、画面に表示する。なお、CRT16は、LCD(Liquid Crystal Display)などのその他のディスプレイであってもよい。
リモコン電波受信回路17は、リモコン4から送信されてくる、ユーザの操作に対応する操作コマンドを受信する。また、リモコン電波受信回路17は、受信した操作コマンドを制御回路18に供給する。
制御回路18は、リモコン電波受信回路17から供給される操作コマンドに応じて、テレビ1の各部を制御する(操作コマンドに応じた処理を実行する)。例えば、ユーザがリモコン4を操作することにより、地上波、BS、またはCSのいずれかのチャンネルを選択した場合、制御回路18は、チューナ13に、その選択に応じたチャンネルの画像信号を選択させるように制御する。
以上のように構成されるテレビ1においては、アンテナ12で受信される画像信号の中から、ユーザがリモコン4を操作することにより選択したチャンネルの画像信号が、画像信号処理回路14において高画質画像に変換されてCRT16に表示される。
図3は、図2の画像信号処理回路14の詳細な構成を示すブロック図である。
画像信号処理回路14は、チューナ13が供給する画像信号を第1の画像信号として、その第1の画像信号を、第2の画像信号としての高画質の画像信号に変換する。
即ち、画像信号処理回路14では、チューナ13から供給される画像信号が、第1の画像信号として、予測タップ抽出回路31、クラス分類部32のクラスタップ抽出回路33、およびベイ3内の係数発生回路15に供給される。
予測タップ抽出回路31は、第2の画像信号を構成する画素を、順次、注目画素とし、さらに、その注目画素の画素値を予測するのに用いる第1の画像信号を構成する画素(の画素値)の幾つかを、予測タップとして抽出する。
具体的には、予測タップ抽出回路31は、注目画素に対応する第1の画像信号の画素(例えば、注目画素に対して空間的および時間的に最も近い位置にある第1の画像信号の画素)に対して、空間的または時間的に近い位置にある複数の画素を、第1の画像信号から、予測タップとして抽出する。
予測タップ抽出回路31は、抽出した予測タップを予測演算回路35に供給する。
クラス分類部32は、クラスタップ抽出回路33とクラスコード発生回路34とで構成され、チューナ13が供給する画像信号のレベル分布の形状などに応じて、注目画素のクラス分類を行う。即ち、クラスタップ抽出回路33において、チューナ13が供給する画像信号からクラスタップが得られ、クラスコード発生回路34において、そのクラスタップからクラスコードが得られる。
即ち、クラスタップ抽出回路33は、注目画素を、幾つかのクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる第1の画像信号を構成する画素の幾つかを、クラスタップとして抽出する。
なお、予測タップとクラスタップは、同一のタップ構造を有するものとすることも、異なるタップ構造を有するものとすることも可能である。
クラスタップ抽出回路33で得られたクラスタップは、クラスコード発生回路34に供給される。
クラスコード発生回路34は、クラスタップ抽出回路33からのクラスタップを構成する画素のレベル分布に基づき、注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行い、その結果得られるクラスに対応するクラスコードを発生して、係数発生回路15に供給する。
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
ADRCを用いる方法では、クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する画素値がKビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算(量子化)される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、1ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最大値MAXと最小値MINとの平均値で除算され(小数点以下切り捨て)、これにより、各画素の画素値が1ビットとされる(2値化される)。そして、その1ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。クラスコード発生回路34は、例えば、クラスタップをADRC処理して得られるADRCコードを、クラスコードとして発生(出力)する。
なお、クラスコード発生回路34には、例えば、クラスタップを構成する画素の画素値のレベル分布のパターンを、そのままクラスコードとして出力させることも可能である。しかしながら、この場合、クラスタップが、N個の画素の画素値で構成され、各画素の画素値に、Kビットが割り当てられているとすると、クラスコード発生回路34が出力するクラスコードの場合の数は、(2N)K通りとなり、画素の画素値のビット数Kに指数的に比例した膨大な数となる。
従って、クラスコード発生回路34においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮することにより、クラス分類を行うのが好ましい。
ベイ3内の係数発生回路15は、後述する学習によって求められたクラスごとのタップ係数を記憶し、さらに、その記憶したタップ係数のうちの、クラスコード発生回路34から供給されるクラスコードに対応するアドレスに記憶されているタップ係数(クラスコード発生回路34から供給されるクラスコードが表すクラスのタップ係数)を、予測演算回路35に供給(出力)する。
ここで、タップ係数とは、ディジタルフィルタにおける、いわゆるタップにおいて入力データと乗算される係数に相当するものである。
また、係数発生回路15は、チューナ13から入力される画像信号と係数発生回路15の内部に記憶している画像信号とから、チューナ13から入力される画像信号のノイズの強度を演算する。
予測演算回路35は、予測タップ抽出回路31が出力する予測タップと、係数発生回路15が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測演算回路35は、注目画素の画素値(の予測値)、即ち、第2の画像信号を構成する画素の画素値を求めて出力する。
図4は、予測タップとクラスタップのタップ構造の例を示している。
図4左側は、クラスタップのタップ構造の例を示している。図4では、P1乃至P9の9個の画素で、クラスタップが構成されている。即ち、図4では、チューナ13が出力する画像信号のうちの、注目画素に対応する画素P5と、その画素の上方向(P1,P2)、下方向(P8,P9)、左方向(P3,P4)、右方向(P6,P7)に隣接する2画素それぞれとから、いわば十字形状のクラスタップが構成されている。
図4右側は、予測タップのタップ構造の例を示している。図4では、13個の画素で、予測タップが構成されている。即ち、図4では、チューナ13が出力する画像信号のうちの、注目画素に対応する画素を中心として縦方向に並ぶ5画素、注目画素に対応する画素の左と右に隣接する画素それぞれを中心として縦方向に並ぶ3画素、および注目画素に対応する画素から左と右に1画素だけ離れた画素それぞれから、いわばひし形状のクラスタップが構成されている。
次に、図3の予測演算回路35における予測演算と、その予測演算に用いられるタップ係数の学習について説明する。
いま、高画質の画像信号(高画質画像信号)を第2の画像信号とするとともに、その高画質画像信号をLPF(Low Pass Filter)によってフィルタリングする等してその画質(解像度)を低下させた低画質の画像信号(低画質画像信号)を第1の画像信号として、低画質画像信号から予測タップを抽出し、その予測タップとタップ係数を用いて、高画質画素の画素値を、所定の予測演算によって求める(予測する)ことを考える。
いま、所定の予測演算として、例えば、線形1次予測演算を採用することとすると、高画質画素の画素値yは、次の線形1次式によって求められることになる。
但し、式(1)において、xnは、高画質画素yについての予測タップを構成する、n番目の低画質画像信号の画素(以下、適宜、低画質画素という)の画素値を表し、wnは、n番目の低画質画素(の画素値)と乗算されるn番目のタップ係数を表す。なお、式(1)では、予測タップが、N個の低画質画素x1,x2,・・・,xNで構成されるものとしてある。
ここで、高画質画素の画素値yは、式(1)に示した線形1次式ではなく、2次以上の高次の式によって求めるようにすることも可能である。
いま、第kサンプルの高画質画素の画素値の真値をykと表すとともに、式(1)によって得られるその真値ykの予測値をyk'と表すと、その予測誤差ekは、次式で表される。
いま、式(2)の予測値yk'は、式(1)にしたがって求められるため、式(2)のyk'を、式(1)にしたがって置き換えると、次式が得られる。
但し、式(3)において、xn,kは、第kサンプルの高画質画素についての予測タップを構成するn番目の低画質画素を表す。
式(3)(または式(2))の予測誤差ekを0とするタップ係数wnが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのようなタップ係数wnを求めることは、一般には困難である。
そこで、タップ係数wnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数wnは、次式で表される自乗誤差の総和Eを最小にすることで求めることができる。
但し、式(4)において、Kは、高画質画素ykと、その高画質画素ykについての予測タップを構成する低画質画素x1,k,x2,k,・・・,xN,kとのセットのサンプル数(学習用のサンプルの数)を表す。
式(4)の自乗誤差の総和Eの最小値(極小値)は、式(14)に示すように、総和Eをタップ係数wnで偏微分したものを0とするwnによって与えられる。
そこで、上述の式(3)をタップ係数wnで偏微分すると、次式が得られる。
式(5)と(6)から、次式が得られる。
式(7)のekに、式(3)を代入することにより、式(7)は、式(8)に示す正規方程式で表すことができる。
式(8)の正規方程式は、例えば、掃き出し法(Gauss-Jordanの消去法)などを用いることにより、タップ係数wnについて解くことができる。
式(8)の正規方程式をクラスごとにたてて解くことにより、最適なタップ係数(ここでは、自乗誤差の総和Eを最小にするタップ係数)wnを、クラスごとに求めることができる。
図5は、式(8)の正規方程式をたてて解くことによりクラスごとのタップ係数wnを求める学習を行う学習装置の構成例を示している。
学習装置には、タップ係数wnの学習に用いられる学習用画像信号が入力されるようになっている。ここで、学習用画像信号としては、例えば、解像度の高い高画質画像信号を用いることができる。
学習装置において、学習用画像信号は、教師データ生成部51と生徒データ生成部53に供給される。
教師データ生成部51は、そこに供給される学習用画像信号から学習の教師(答え)となる教師データを生成し、教師データ記憶部52に供給する。即ち、ここでは、教師データ生成部51は、学習用画像信号としての高画質画像信号を、そのまま教師データとして、教師データ記憶部52に供給する。
教師データ記憶部52は、教師データ生成部51から供給される教師データとしての高画質画像信号を記憶する。
生徒データ生成部53は、学習用画像信号から学習の生徒となる生徒データを生成し、生徒データ記憶部54に供給する。即ち、生徒データ生成部53は、学習用画像信号としての高画質画像信号をフィルタリングすることにより、その解像度を低下させることで、低画質画像信号を生成し、この低画質画像信号を、生徒データとして、生徒データ記憶部54に供給する。
生徒データ記憶部54は、生徒データ生成部53から供給される生徒データを記憶する。
予測タップ抽出部55は、教師データ記憶部52に記憶された教師データとしての高画質画像信号を構成する画素を、順次、注目教師画素とし、その注目教師画素について、生徒データ記憶部54に記憶された生徒データとしての低画質画像信号を構成する低画質画素のうちの所定のものを抽出することにより、図3の予測タップ抽出回路31が構成するのと同一のタップ構造の予測タップを構成し、足し込み部58に供給する。
クラスタップ抽出部56は、注目教師画素について、生徒データ記憶部54に記憶された生徒データとしての低画質画像信号を構成する低画質画素のうちの所定のものを抽出することにより、図3のクラスタップ抽出回路33が構成するのと同一のタップ構造のクラスタップを構成し、クラスコード発生部57に供給する。
クラスコード発生部57は、クラスタップ抽出部56が出力するクラスタップに基づき、図3のクラスコード発生回路34と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部58に出力する。
足し込み部58は、教師データ記憶部52から、注目教師画素を読み出し、その注目教師画素と、予測タップ抽出部55から供給される注目教師画素について構成された予測タップを構成する生徒データとを対象とした足し込みを、クラスコード発生部57から供給されるクラスコードごとに行う。
即ち、足し込み部58には、教師データ記憶部52に記憶された教師データyk、予測タップ抽出部55が出力する予測タップxn,k、クラスコード発生部57が出力するクラスコードが供給される。
そして、足し込み部58は、クラスコード発生部57から供給されるクラスコードに対応するクラスごとに、予測タップ(生徒データ)xn,kを用い、式(8)の左辺の行列における生徒データどうしの乗算(xn,kxn',k)と、サメーション(Σ)に相当する演算を行う。
さらに、足し込み部58は、やはり、クラスコード発生部57から供給されるクラスコードに対応するクラスごとに、予測タップ(生徒データ)xn,kと教師データykを用い、式(8)の右辺のベクトルにおける生徒データxn,kおよび教師データykの乗算(xn,kyk)と、サメーション(Σ)に相当する演算を行う。
即ち、足し込み部58は、前回、注目教師画素とされた教師データについて求められた式(8)における左辺の行列のコンポーネント(Σxn,kxn',k)と、右辺のベクトルのコンポーネント(Σxn,kyk)を、その内蔵するメモリ(図示せず)に記憶しており、その行列のコンポーネント(Σxn,kxn',k)またはベクトルのコンポーネント(Σxn,kyk)に対して、新たに注目教師画素とされた教師データについて、その教師データyk+1および生徒データxn,k+1を用いて計算される、対応するコンポーネントxn,k+1xn',k+1またはxn,k+1yk+1を足し込む(式(8)のサメーションで表される加算を行う)。
そして、足し込み部58は、教師データ記憶部52に記憶された教師データすべてを注目教師画素として、上述の足し込みを行うことにより、各クラスについて、式(8)に示した正規方程式をたてると、その正規方程式を、タップ係数算出部59に供給する。
タップ係数算出部59は、足し込み部58から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数wnを求めて出力する。
図3のベイ3における係数発生回路15には、例えば、以上のようにして求められたクラスごとのタップ係数wmが記憶されている。
なお、上述の場合には、学習用画像信号を、そのまま第2の画像信号に対応する教師データとするとともに、その学習用画像信号の解像度を劣化させた低画質画像信号を、第1の画像信号に対応する生徒データとして、タップ係数の学習を行うようにしたことから、タップ係数としては、第1の画像信号を、その解像度を向上させた第2の画像信号に変換する解像度向上処理としての画像変換処理を行うものを得ることができる。
ここで、第1の画像信号に対応する生徒データと、第2の画像信号に対応する教師データとする画像信号の選択の仕方によって、タップ係数としては、各種の画像変換処理を行うものを得ることができる。
即ち、例えば、高画質画像信号を教師データとするとともに、その教師データとしての高画質画像信号に対して、ノイズを重畳した画像信号を生徒データとして、学習処理を行うことにより、タップ係数としては、第1の画像信号を、そこに含まれるノイズを除去(低減)した第2の画像信号に変換するノイズ除去処理としての画像変換処理を行うものを得ることができる。
次に、図6のフローチャートを参照して、図5の学習装置の処理(学習処理)について、説明する。
最初に、ステップS1において、教師データ生成部51と生徒データ生成部53が、学習用画像信号から、教師データと生徒データを、それぞれ生成して出力する。即ち、教師データ生成部51は、学習用画像信号を、そのまま、教師データとして出力する。また、生徒データ生成部31は、学習用画像信号を、所定のカットオフ周波数のLPFによってフィルタリングすることにより、各フレーム(またはフィールド)の教師データ(学習用画像信号)について、生徒データを生成して出力する。
教師データ生成部51が出力する教師データは、教師データ記憶部52に供給されて記憶され、生徒データ生成部53が出力する生徒データは、生徒データ記憶部54に供給されて記憶される。
その後、ステップS2に進み、予測タップ抽出部55は、教師データ記憶部52に記憶された教師データのうち、まだ、注目教師画素としていないものを、注目教師画素とする。さらに、ステップS2では、予測タップ抽出部55が、注目教師画素について、生徒データ記憶部54に記憶された生徒データから予測タップを構成し、足し込み部58に供給するとともに、クラスタップ抽出部56が、やはり、注目教師画素について、生徒データ記憶部54に記憶された生徒データからクラスタップを構成し、クラスコード発生部57に供給する。
そして、ステップS3に進み、クラスコード発生部57は、注目教師画素についてのクラスタップに基づき、注目教師画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部58に出力して、ステップS4に進む。
ステップS4では、足し込み部58は、教師データ記憶部52から、注目教師画素を読み出し、その注目教師画素と、予測タップ抽出部55から供給される注目教師画素について構成された予測タップを構成する生徒データとを対象とした式(8)の足し込みを、クラスコード発生部57から供給されるクラスコードごとに行い、ステップS5に進む。
ステップS5では、予測タップ抽出部55が、教師データ記憶部52に、まだ、注目教師画素としていない教師データが記憶されているかどうかを判定する。ステップS5において、注目教師画素としていない教師データが、まだ、教師データ記憶部52に記憶されていると判定された場合、予測タップ抽出部55は、まだ注目教師画素としていない教師データを、新たに、注目教師画素として、ステップS2に戻り、以下、同様の処理が繰り返される。
また、ステップS5において、注目教師画素としていない教師データが、教師データ記憶部52に記憶されていないと判定された場合、足し込み部58は、いままでの処理によって得られたクラスごとの式(8)における左辺の行列と、右辺のベクトルを、タップ係数算出部59に供給し、ステップS6に進む。
ステップS6では、タップ係数算出部59は、足し込み部58から供給されるクラスごとの式(8)における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、クラスごとに、タップ係数wnを求めて出力し、処理を終了する。
なお、学習用画像信号の数が十分でないこと等に起因して、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、タップ係数算出部59は、例えば、予め設定しておいたタップ係数を出力するようになっている。
次に、図7のフローチャートを参照して、図3の画像処理信号回路14と係数発生回路15の画像変換処理について説明する。
最初に、ステップS11において、予測タップ抽出回路31は、第2の画像信号を構成する画素を、順次、注目画素とし、さらに、その注目画素の画素値を予測するのに用いる第1の画像信号を構成する画素(の画素値)の幾つかを、予測タップとして抽出する。また、予測タップ抽出回路31は、抽出した予測タップを予測演算回路35に供給して、ステップS12に進む。
ステップS12において、クラスタップ抽出回路33は、注目画素を、幾つかのクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる第1の画像信号を構成する画素の幾つかを、クラスタップとして抽出する。また、クラスタップ抽出回路33は、得られたクラスタップをクラスコード発生回路34に供給して、ステップS13に進む。
ステップS13において、クラスコード発生回路34は、クラスタップ抽出回路33からのクラスタップを構成する画素のレベル分布に基づき、注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行い、その結果得られるクラスに対応するクラスコードを発生する。また、クラスコード発生回路34は、そのクラスコードを係数発生回路15に供給して、ステップS14に進む。
ステップS14において、係数発生回路15は、クラスコード発生回路34から供給されるクラスコードに対応するアドレスに記憶されているタップ係数(クラスコード発生回路34から供給されるクラスコードが表すクラスのタップ係数)を、予測演算回路35に供給(出力)する。
そして、ステップS15に進み、予測演算回路35は、予測タップ抽出回路31が出力する予測タップと、係数発生回路15が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測演算回路35は、注目画素の画素値(の予測値)、即ち、第2の画像信号を構成する画素の画素値を出力して、ステップS16に進む。
ステップS16において、画像信号処理回路14は、入力画像信号が終了したか否かを判定する。入力画像信号が終了していないと判定された場合、ステップS11に戻り、それ以降の処理が繰り返される。
一方、ステップS16において、入力画像信号が終了したと判定された場合、処理を終了する。
以上のように、画像信号処理回路14は、入力画像信号から高画質画像を得て出力することができる。
図8は、図3の係数発生回路15の詳細な構成例を示すブロック図である。
係数発生回路15は、記憶部71、選択スイッチ72、リモコン電波受信回路73、および受信ノイズ検出部74で構成されている。また、記憶部71は、地上波用のROMテーブル81、BS用のROMテーブル82、CS用のROMテーブル83、およびデフォルト用のROMテーブル84で構成されている。さらに、受信ノイズ検出部74は、ノイズ強度演算回路85、テスト信号用のメモリ86、およびノイズ強度用のメモリ87で構成されている。
クラスコード発生回路34(図3)が出力するクラスコードは、記憶部71のROMテーブル81乃至84に供給される。記憶部71は、入力画像信号のレベル分布の形状に応じてクラス分類され、そのクラス毎に予め学習により獲得されたタップ係数(予測係数)が格納されたテーブルを、所定の種類ごとに記憶する。換言すれば、記憶部71は、異なる種類の教師データと生徒データとのセットを用いてそれぞれ学習されたテーブルを、所定の種類ごとに記憶する。
テレビ1において受信する放送局からの電波は、その周波数帯域によって受信状況が異なるため、周波数帯域ごとに入力画像信号に適したタップ係数は異なってくる。また、各ユーザごとにおいても、受信している地域が異なれば、また、受信状況が異なることとなり、受信地域ごとに入力画像信号に適したタップ係数が異なることもあり得る。
そこで、第1実施の形態では、記憶部71は、タップ係数が格納されたテーブルを入力画像信号の、地上波、BS、およびCSという帯域(種類)ごとに記憶する。なお、ここでは、タップ係数が格納されたテーブルを地上波、BS、およびCSの3種類としたが、入力画像信号の帯域をさらに細かく分類してもよく、記憶部71に記憶するテーブルの種類は、上述の3種類に限らない。
ROMテーブル81は、地上波用の画像信号を入力画像信号として画像変換処理を行う場合に適した、クラス毎に予め学習により獲得されたタップ係数を記憶(格納)している。この学習においては、例えば、HD(High Definition)画像の画像信号を教師データとするとともに、そのHD画像をダウンサンプリングして地上波で送出した画像信号を受信して得られるSD(Standard Definition)画像の画像信号を生徒データとすることができる。これにより、高解像度化と地上波での伝搬により生じるノイズの除去を行うことが可能なタップ係数を得ることができる。また、例えば、SD画像の画像信号を教師データとするとともに、そのSD画像を地上波で送出した画像信号を受信して得られるSD画像の画像信号を生徒データとすることもできる。これにより、地上波での伝搬により生じるノイズの除去を行うことが可能なタップ係数を得ることができる。
ROMテーブル82は、BS用の画像信号を入力画像信号として画像変換処理を行う場合に適した、クラス毎に予め学習により獲得されたタップ係数を記憶(格納)している。また、ROMテーブル83は、CS用の画像信号を入力画像信号として画像変換処理を行う場合に適した、クラス毎に予め学習により獲得されたタップ係数を記憶(格納)している。ROMテーブル82または83に記憶されるタップ係数の学習に採用する教師データは、ROMテーブル81と同様のデータとすることができる。また、ROMテーブル82または83に記憶されるタップ係数の学習に採用する生徒データは、ROMテーブル81の学習における、地上波で送出した画像信号に代えて、BSまたはCSから送出された画像信号を用いる他は、ROMテーブル81と同様のデータとすることができる。
ROMテーブル84は、入力画像信号が地上波用、BS用、およびCS用のいずれにも該当しない画像信号である場合の、クラス毎に予め学習により獲得されたタップ係数を記憶(格納)する。ここで、ROMテーブル84に記憶されるクラス毎のタップ係数の値は、例えば、地上波用、BS用、CS用それぞれの対応するクラスのタップ係数の中間となる値とされる。あるいは、地上波用、BS用、CS用それぞれの学習に採用した教師データおよび生徒データの全てを、それぞれROMテーブル84に記憶させるタップ係数を求める際の教師データおよび生徒データとして学習することにより、ROMテーブル84に記憶されるクラス毎のタップ係数を得るようにしても良い。
ROMテーブル81乃至84それぞれは、クラスコード発生回路34から供給されるクラスコードに対応するタップ係数を選択スイッチ72に出力する。
選択スイッチ72は、ROMテーブル81乃至84それぞれの出力の中から、操作コマンドに対応付けられた種類のROMテーブルの出力(タップ係数)を選択する。即ち、選択スイッチ72は、リモコン電波受信回路73から供給される操作コマンドに基づいて、画像信号処理回路14に入力される画像信号の帯域を判別する。そして、選択スイッチ72は、判別された入力画像信号の帯域に基づいて、ROMテーブル81乃至84の出力(タップ係数)のいずれかを選択し、選択されたタップ係数を予測演算回路35(図3)に供給する。ここで、選択スイッチ72が出力するタップ係数は、入力画像信号に最適なタップ係数であるので、最適化係数であると言える。
なお、リモコン電波受信回路73は、入力画像信号の帯域情報を、即ち、地上波、BS、およびCSという3種類のいずれであるかの情報を、そのまま選択スイッチ72に供給するようにしてもよい。この場合、選択スイッチ72は、画像信号の帯域を判別する必要がない。
図3の予測演算回路35は、選択スイッチ72が選択したROMテーブルの出力であるタップ係数を用いた式(1)の予測式に基づいた演算により、最適な推定値を算出する。
リモコン電波受信回路73は、リモコン4から、上述したように、無線で送信されてくる操作コマンドを受信する。リモコン電波受信回路73は、受信した操作コマンドを選択スイッチ72とノイズ強度演算回路85に供給する。
図2において説明したように、放送局から送られてくるテレビジョン信号の中には、定期的に、あるいは、不定期な所定の時刻に、カラーバー画像が含まれている。ここで、画像信号処理回路14に入力される画像信号のうち、カラーバー画像の画像信号は、ノイズ強度演算回路85に供給される。
ノイズ強度演算回路85は、選択スイッチ72と同様に、リモコン電波受信回路73から供給される操作コマンドに基づいて、入力画像信号の帯域を判別する。また、ノイズ強度演算回路85は、判別した画像信号の帯域に対応するカラーバー画像の画像信号を、メモリ86から読み出し、そのカラーバー画像の画像信号と、チューナ13から入力されたカラーバー画像の画像信号とから、チューナ13から入力される画像信号のノイズの強度(以下、ノイズ強度ともいう)を演算する。さらに、ノイズ強度演算回路85は、演算したノイズ強度をメモリ87に出力する。ここで、ノイズ強度演算回路85が演算するノイズ強度としては、ノイズ量などがある。また、ノイズ強度演算回路85は、カラーバー画像の各表示色の表示位置のズレである色ズレ量などを検出するようにすることもできる。
メモリ86は、画像信号の各帯域に対応する、即ち、地上波用、BS用、およびCS用それぞれの、ノイズのない高画質のカラーバー画像の画像信号(テスト信号)を記憶している。そして、メモリ86は、必要に応じて、入力画像信号の帯域に対応するノイズのない高画質のカラーバー画像をノイズ強度演算回路85に供給する。
メモリ87は、ノイズ強度演算回路85から供給されたノイズ強度を、入力画像信号の帯域ごとに記憶する。これにより、ベイ3がバージョンアップされる場合、即ち、ベイ3が装置メーカに回収される場合、装置メーカとしては、メモリ87に記憶されている入力画像信号の帯域ごとのノイズ強度のデータも回収することができる。従って、回収した入力画像信号の帯域ごとのノイズ強度のデータを利用して、即ち、教師データからノイズ強度のデータを用いて生徒データを生成し、上述した学習を行うことにより、次のベイ3のバージョンアップでは、より高画質の画像変換処理が可能なタップ係数を得ることができる。
ここで、ベイ3のバージョンアップの際に、装置メーカに回収されるものは、少なくともノイズ強度が記憶されたメモリ87があればよいので、ノイズ強度演算回路85およびメモリ86は、テレビ1の内部、即ち、例えば、画像信号処理回路14に設けるようにしてもよい。
また、上述の図8の係数発生回路15は、1チップのICで構成される。なお、係数発生回路15の記憶部71、選択スイッチ72、リモコン電波受信回路73、および受信ノイズ検出部74のそれぞれが、1チップのICで構成されるようにしてもよい。
図9は、ノイズ強度演算回路85のノイズ強度の演算に利用される、テスト信号としての、入力画像信号のカラーバー画像と、メモリ86に記憶されているカラーバー画像を示している。
図9左側のカラーバー画像は、入力画像信号のカラーバー画像を示している。図9右側のカラーバー画像は、メモリ86に記憶されているカラーバー画像を示している。カラーバー画像は、画面(画像全体)を所定の領域に分割した領域ごとに、赤、青、黄などの各色や、黒、灰色、白などの各濃度のグレー色が表示されている画像である。図9では、各色の違いや各濃度の違いを模様などを使って表している。
図9においては、入力画像信号のカラーバー画像(図9左側)は、メモリ86に記憶されているカラーバー画像(図9右側)に較べて、全体の輝度が暗く(低く)、コントラストが悪い(小さい)ものとなっている。また、入力画像信号のカラーバー画像(図9左側)は、メモリ86に記憶されているカラーバー画像(図9右側)に較べて、各領域の境界も鮮明ではない。これらの差は、入力画像信号のノイズの影響等によって生じる。装置メーカは、ノイズ強度演算回路85が入力画像信号のノイズ強度を演算したデータ(メモリ87に記憶されたデータ)を、ベイ3を回収したときに知ることができる。そこで、装置メーカは、例えば、各帯域のノイズ状況を地域ごと(例えば、品川区など)に統計し(例えば、平均し)、各地域用のタップ係数を求めるなど、入力画像信号を画像変換処理するためのタップ係数をユーザごとにカスタマイズすることができる。
なお、メモリ87に記憶させるデータは、ノイズ強度演算回路85が演算したノイズ強度のデータとしたが、入力画像信号のテスト信号そのものを記憶するようにして、装置メーカがベイ3を回収した際に、装置メーカ側でノイズ強度を演算するようにすることもできる。
次に、図10のフローチャートを参照して、図7で説明した画像変換処理について再度説明する。
図10のステップS24を除くステップS21乃至S26の処理は、図7のステップS14を除くステップS11乃至S16の処理と同様である。換言すれば、図7と図10の処理では、図7のステップS14と、図7のステップS14に対応する図10のステップS24とが違うのみである。従って、ステップS24以外の各ステップの処理については、その説明を適宜省略する。
ステップS24において、係数発生回路15は、クラスコード発生回路34から供給されるクラスコードに対応するアドレスに記憶されているタップ係数として、図11を参照して後述するROMテーブル選択処理により選択されたROMテーブルが出力するタップ係数を、予測演算回路35に供給(出力)する。
そして、ステップS25に進み、予測演算回路35は、予測タップ抽出回路31が出力する予測タップと、ステップS24において係数発生回路15が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測演算回路35は、注目画素の画素値(の予測値)、即ち、第2の画像信号を構成する画素の画素値を出力する。
図11は、図10の画像変換処理とともに実行される係数発生回路15のROMテーブル選択処理を説明するフローチャートである。
初めに、ステップS41において、係数発生回路15(図8)のリモコン電波受信回路73は、リモコン4から操作コマンドを受信したか否かを判定する。ステップS41で、リモコン4から操作コマンドを受信してないと判定された場合、ステップS42に進み、選択スイッチ72は、記憶部71のROMテーブル81乃至84の出力のうち、ROMテーブル84の出力、即ち、デフォルト用のROMテーブル84の出力を選択する。なお、ステップS42において、選択スイッチ72は、以前に、ROMテーブル81乃至84のいずれかの出力を選択していた場合には、その選択されたROMテーブルの出力をそのまま選択するようにしてもよい。そして、ステップS42の処理後は、ステップS41に戻る。
一方、ステップS41で、リモコン4から操作コマンドを受信したと判定された場合、ステップS43に進み、リモコン電波受信回路73は、その操作コマンドが所定の釦を表すコマンドであるか否かを判定する。ここで、所定の釦とは、入力画像信号の帯域を判別することが可能な釦であり、例えば、地上波、BS、またはCSの切換え釦、若しくは、各チャンネル釦などである。
ステップS43で、受信した操作コマンドが所定の釦を表すコマンドではないと判定された場合、ステップS42に進み、上述したように、選択スイッチ72は、記憶部71のROMテーブル81乃至84の出力のうち、デフォルト用のROMテーブル84の出力、または前回の出力を選択する。
一方、ステップS43で、受信した操作コマンドが所定の釦を表すコマンドであると判定された場合、ステップS44に進み、リモコン電波受信回路73は、受信した操作コマンドを選択スイッチ72とノイズ強度演算回路85に供給する。そして、選択スイッチ72は、ROMテーブル81乃至83それぞれの出力の中から、リモコン電波受信回路73から供給された操作コマンドに対応したROMテーブルの出力(タップ係数)を選択する。
さらにステップS44では、ノイズ強度演算回路85は、リモコン電波受信回路73から供給される操作コマンドに基づいて、入力画像信号の帯域を判別し、その判別した画像信号の帯域に対応するカラーバー画像の画像信号を、メモリ86から読み出す。そして、ノイズ強度演算回路85は、読み出したカラーバー画像の画像信号と、チューナ13から入力されたカラーバー画像の画像信号とから、チューナ13から入力される画像信号のノイズの強度を演算する。さらに、ノイズ強度演算回路85は、演算したノイズ強度をメモリ87に出力して、ステップS41に戻る。
上述のROMテーブル選択処理は、図10の画像変換処理が終了されるまで、即ち、入力画像信号が終了したと判定されるまで、図10の画像変換処理と並行して実行される。そして、ROMテーブル選択処理において選択されたROMテーブル81乃至84のうちのいずれかの出力が、図10のステップS24で、入力画像信号のクラスコードに対応するタップ係数として、予測演算回路35に供給(出力)される。
以上のように、第1実施の形態では、係数発生回路15は、リモコン4から送信されてくる操作コマンドを受信し、その操作コマンドに基づいて、入力画像信号の帯域を判別する。また、係数発生回路15は、その入力画像信号の帯域に基づいて、ROMテーブル81乃至84の出力を選択することにより、入力画像信号の電波の周波数帯域に最適なタップ係数を画像信号処理回路14に出力(供給)する。そして、画像信号処理回路14は、供給された最適なタップ係数を用いて、入力画像信号から、例えば、高画質画像を得て出力するので、入力画像信号の電波の周波数帯域ごとに最適な画像変換処理を行うことができる。
従って、ユーザの視聴の特性を利用して(活用して)、即ち、ユーザが選択した入力画像信号の電波の周波数帯域を利用して、最適な画像変換処理を行うことができる。
また、第1実施の形態では、入力画像信号のテスト信号と、メモリ86に記憶されたテスト信号とから、入力画像信号のノイズ強度を演算したメモリ87を、ベイ3のバージョンアップの際に装置メーカに回収することにより、装置メーカは、ユーザが視聴している地域における電波の状況(ユーザの視聴の特性)を得て、さらなるタップ係数の学習を行うことにより、画像信号処理回路14に、より最適な画像変換処理を行うようにさせることができる。
(第2実施の形態)
図12は、図1のテレビ1の第2実施の形態の構成例を示すブロック図である。なお、図2の第1実施の形態と対応する部分については、同一の符号を付してあり、その説明を適宜省略する。
即ち、図12のテレビ1は、図2の第1実施の形態における係数発生回路15に代わって、係数発生回路101が設けられている他は、第1実施の形態と同様に構成されている。
第2実施の形態においても、第1実施の形態と同様に、画像信号処理回路14は、チューナ13から供給される画像信号から、高画質の画像信号に変換する画像変換処理を行うものとする。
画像信号処理回路14は、チューナ13から供給される入力画像信号のレベル分布の形状等に応じてクラス分類を行うことにより得られるクラスに対応するクラスコードと、チューナ13から供給される画像信号とを、係数発生回路101に供給する。係数発生回路101は、第1実施の形態と同様に、画像信号処理回路14から供給されるクラスコードからタップ係数を求め、そのタップ係数を画像信号処理回路14に供給する。そして、画像信号処理回路14は、係数発生回路101から供給されるタップ係数を用いて、高画質画像を生成し、CRT16に供給する。
図13は、図12の画像信号処理回路14の詳細な構成を示すブロック図である。なお、図3の第1実施の形態と対応する部分については、同一の符号を付してあり、その説明を適宜省略する。
即ち、図13の画像信号処理回路14においては、図3の第1実施の形態における係数発生回路15に代わって、係数発生回路101を用いて処理が行われる他は、第1実施の形態と同様に構成されている。
ベイ3内の係数発生回路101は、第1実施の形態と同様に、学習によって求められたクラスごとのタップ係数を記憶し、さらに、その記憶したタップ係数のうちの、クラスコード発生回路34から供給されるクラスコードに対応するアドレスに記憶されているタップ係数(クラスコード発生回路34から供給されるクラスコードが表すクラスのタップ係数)を、予測演算回路35に供給(出力)する。
図14は、図13の係数発生回路101の詳細な構成例を示すブロック図である。なお、図8の第1実施の形態と対応する部分については、同一の符号を付してあり、その説明を適宜省略する。
係数発生回路101は、受信ノイズ検出部74、記憶部111、選択スイッチ112、チャンネル(Ch)頻度検出部113、およびリモコン電波受信回路114で構成されている。
また、記憶部111は、チャンネル1(Ch.1)用のROMテーブル121、チャンネル6(Ch.6)用のROMテーブル122、チャンネル42(Ch.42)用のROMテーブル123、およびデフォルト用のROMテーブル124で構成されている。さらに、チャンネル頻度検出部113は、チャンネル(Ch)頻度計数回路125とメモリ126とで構成されている。
クラスコード発生回路34(図13)が出力するクラスコードは、記憶部111のROMテーブル121乃至124に供給される。記憶部111は、入力画像信号のレベル分布の形状に応じてクラス分類され、そのクラス毎に予め学習により獲得されたタップ係数(予測係数)が格納されたテーブルを、所定の種類ごとに記憶する。換言すれば、記憶部111は、教師データと生徒データとのセットを用いてそれぞれ学習されたテーブルを、所定の種類ごとに記憶する。
第2実施の形態では、記憶部111は、タップ係数が格納されたテーブルを入力画像信号の、例えば、チャンネル1、チャンネル6、およびチャンネル42というチャンネル(放送局)ごとに記憶する。なお、ここでは、タップ係数が格納されたテーブルをチャンネル1、チャンネル6、およびチャンネル42の3種類としたが、その他のチャンネルについてもテーブルを設けてもよく、記憶部111に記憶するテーブルの種類は、上述の3種類に限らない。
ROMテーブル121は、チャンネル1の画像信号を入力画像信号として画像変換処理を行う場合に適した、クラス毎に予め学習により獲得されたタップ係数を記憶(格納)している。この学習においては、例えば、HD画像の画像信号を教師データとするとともに、そのHD画像をダウンサンプリングしてチャンネル1で送出した画像信号を受信して得られるSD画像の画像信号を生徒データとすることができる。これにより、高解像度化とチャンネル1での伝搬により生じるノイズの除去を行うことが可能なタップ係数を得ることができる。また、例えば、SD画像の画像信号を教師データとするとともに、そのSD画像をチャンネル1で送出した画像信号を受信して得られるSD画像の画像信号を生徒データとすることもできる。これにより、チャンネル1での伝搬により生じるノイズの除去を行うことが可能なタップ係数を得ることができる。
ROMテーブル122は、チャンネル6の画像信号を入力画像信号として画像変換処理を行う場合に適した、クラス毎に予め学習により獲得されたタップ係数を記憶(格納)している。また、ROMテーブル123は、チャンネル42の画像信号を入力画像信号として画像変換処理を行う場合に適した、クラス毎に予め学習により獲得されたタップ係数を記憶(格納)している。ROMテーブル122または123に記憶されるタップ係数の学習に採用する教師データは、ROMテーブル121と同様のデータとすることができる。また、ROMテーブル122または123に記憶されるタップ係数の学習に採用する生徒データは、ROMテーブル121の学習における、チャンネル1で送出した画像信号に代えて、チャンネル6またはチャンネル42で送出した画像信号を用いる他は、ROMテーブル121と同様のデータとすることができる。
ROMテーブル124は、入力画像信号がチャンネル1、チャンネル6、およびチャンネル42のいずれにも該当しない画像信号である場合の、クラス毎に予め学習により獲得されたタップ係数を記憶(格納)する。ここで、ROMテーブル124に記憶されるクラス毎のタップ係数の値は、例えば、チャンネル1、チャンネル6、およびチャンネル42それぞれの対応するクラスのタップ係数の中間となる値とされる。あるいは、その他の任意のチャンネルの画像信号によって、クラス毎に予め学習により獲得されたタップ係数としてもよい。
ROMテーブル121乃至124それぞれは、クラスコード発生回路34から供給されるクラスコードに対応するタップ係数を選択スイッチ112に出力する。
選択スイッチ112は、ROMテーブル121乃至124それぞれの出力の中から、操作コマンドに対応付けられた種類のROMテーブルの出力(タップ係数)を選択する。即ち、選択スイッチ112は、リモコン電波受信回路114から供給される操作コマンドに基づいて、入力画像信号のチャンネルを判別する。そして、選択スイッチ112は、判別された画像信号のチャンネルに基づいて、ROMテーブル121乃至124の出力(タップ係数)のいずれかを選択し、選択されたタップ係数を予測演算回路35(図13)に供給する。ここで、選択スイッチ112が出力するタップ係数は、入力画像信号に最適なタップ係数であるので、最適化係数であると言える。
図13の予測演算回路35は、選択スイッチ112が選択したROMテーブルの出力であるタップ係数を用いた式(1)の予測式に基づいた演算により、最適な推定値を算出する。
リモコン電波受信回路114は、リモコン4から、上述したように、無線で送信されてくる操作コマンドを受信する。そして、リモコン電波受信回路114は、受信した操作コマンドを選択スイッチ112、ノイズ強度演算回路85、およびチャンネル頻度計数回路125に供給する。
チャンネル頻度計数回路125は、リモコン電波受信回路114から供給される操作コマンドに基づいて、入力画像信号の所定のチャンネルが選択された頻度(チャンネル選択頻度)を計数する。ここで、チャンネル頻度計数回路125は、メモリ126に記憶されたチャンネルごとのチャンネル選択頻度を読み出し、その読み出した値を1だけインクリメントして、メモリ126の読み出した位置と同じ位置に書き込む。
メモリ126は、チャンネル頻度計数回路125から供給されるチャンネルのチャンネル選択頻度を、チャンネルごとに記憶する。
ここで、ベイ3のバージョンアップの際に、装置メーカに回収されるものは、少なくともノイズ強度が記憶されたメモリ87とチャンネル選択頻度が記憶されたメモリ126があればよいので、ノイズ強度演算回路85、メモリ86、およびチャンネル選択頻度計数回路125は、テレビ1の内部、即ち、例えば、画像信号処理回路14に設けるようにしてもよい。
また、上述の図14の係数発生回路101は、1チップのICで構成される。なお、受信ノイズ検出部74、記憶部111、選択スイッチ112、チャンネル頻度検出部113、およびリモコン電波受信回路114のそれぞれが、1チップのICで構成されるようにしてもよい。
図13の画像信号処理回路14と係数発生回路101が行う画像変換処理は、第1実施の形態における図10で説明した画像変換処理と同様である。
次に、図15のフローチャートを参照して、第2実施の形態におけるROMテーブル選択処理について説明する。
初めに、ステップS51において、係数発生回路101(図14)のリモコン電波受信回路114は、リモコン4から操作コマンドを受信したか否かを判定する。ステップS51で、リモコン4から操作コマンドを受信してないと判定された場合、ステップS52に進み、選択スイッチ112は、記憶部111のROMテーブル121乃至124の出力のうち、ROMテーブル124の出力、即ち、デフォルト用のROMテーブル124の出力を選択する。なお、ステップS52において、選択スイッチ112は、以前に、ROMテーブル121乃至124のいずれかの出力を選択していた場合には、その選択されたROMテーブルの出力をそのまま選択するようにしてもよい。そして、ステップS52の処理後は、ステップS51に戻る。
一方、ステップS51で、リモコン4から操作コマンドを受信したと判定された場合、ステップS53に進み、リモコン電波受信回路114は、その操作コマンドが所定の釦を表すコマンドであるか否かを判定する。ここで、所定の釦とは、チャンネルを判別することが可能な釦であり、例えば、各チャンネル釦などである。
ステップS53で、受信した操作コマンドが所定の釦を表すコマンドではないと判定された場合、ステップS52に進み、上述したように、選択スイッチ112は、記憶部111のROMテーブル121乃至124の出力のうち、ROMテーブル124の出力、または前回の出力を選択する。
一方、ステップS53で、受信した操作コマンドが所定の釦を表すコマンドであると判定された場合、ステップS54に進み、リモコン電波受信回路114は、受信した操作コマンドをノイズ強度演算回路85、選択スイッチ112、およびチャンネル頻度計数回路125に供給する。そして、選択スイッチ112は、ROMテーブル121乃至123それぞれの出力の中から、リモコン電波受信回路114から供給された操作コマンドに対応したROMテーブルの出力(タップ係数)を選択する。
さらにステップS54では、ノイズ強度演算回路85は、リモコン電波受信回路114から供給される操作コマンドに基づいて、入力画像信号のチャンネルを判別し、その判別したチャンネルに対応するカラーバー画像の画像信号を、メモリ86から読み出す。そして、ノイズ強度演算回路85は、読み出したカラーバー画像の画像信号と、チューナ13から入力されたカラーバー画像の画像信号とから、チューナ13から入力される画像信号のノイズの強度を演算する。さらに、ノイズ強度演算回路85は、演算したノイズ強度をメモリ87に出力する。
また、ステップS54では、チャンネル頻度計数回路125は、リモコン電波受信回路114から供給される操作コマンドに基づいて、入力画像信号のチャンネルを判別し、メモリ126に記憶された各チャンネル毎のチャンネル選択頻度から、判別したチャンネルのチャンネル選択頻度を読み出し、その読み出した値を1だけインクリメントして、メモリ126の読み出した位置と同じ位置に書き込んで、ステップS51に戻る。
上述のROMテーブル選択処理は、図10の画像変換処理が終了されるまで、即ち、入力画像信号が終了したと判定されるまで、図10の画像変換処理と並行して実行される。そして、ROMテーブル選択処理において選択されたROMテーブル121乃至124のうちのいずれかの出力が、図10のステップS24で、入力画像信号のクラスコードに対応するタップ係数として、予測演算回路35に供給(出力)される。
以上のように、第2実施の形態では、係数発生回路101は、リモコン4から送信されてくる操作コマンドを受信し、その操作コマンドに基づいて、入力画像信号のチャンネルを判別する。また、係数発生回路101は、その入力画像信号のチャンネルに基づいて、ROMテーブル121乃至124の出力を選択することにより、入力画像信号のチャンネルごとに最適なタップ係数を画像信号処理回路14に出力(供給)する。そして、画像信号処理回路14は、供給された最適なタップ係数を用いて、入力画像信号から、例えば、高画質画像を得て出力するので、入力画像信号のチャンネルに最適な画像変換処理を行うことができる。なお、各放送局の電波状況(出力ワット、出力場所など)や、放送局からの電波を受信する地域が異なれば、入力画像信号の放送局(チャンネル)ごとに最適なタップ係数は、異なるものとなりうる。
従って、ユーザの視聴の特性を利用して(活用して)、即ち、ユーザが選択した入力画像信号のチャンネルを利用して、最適な画像変換処理を行うことができる。
また、第2実施の形態では、ユーザにより選択されたチャンネルの頻度をメモリ126に記憶するようにしたので、ベイ3のバージョンアップの際に装置メーカが回収したとき、装置メーカはユーザが視聴しているチャンネルの頻度を知ることができる。また、メモリ126には、さらに視聴時間をチャンネルごとに記憶させることができ、この場合、ユーザが興味のある番組を知ることができる。
(第3実施の形態)
図16は、図1のテレビ1の第3実施の形態の構成例を示すブロック図である。なお、図2の第1実施の形態と対応する部分については、同一の符号を付してあり、その説明を適宜省略する。
即ち、図16のテレビ1は、図2の第1実施の形態における画像信号処理回路14と係数発生回路15に代わって、画像信号処理回路141と係数発生回路142が設けられている他は、第1実施の形態と同様に構成されている。
第3実施の形態においても、第1実施の形態と同様に、画像信号処理回路141は、チューナ13から供給される画像信号から、高画質の画像信号に変換する画像変換処理を行うものとする。
画像信号処理回路141は、チューナ13から供給される入力画像信号のレベル分布の形状等に応じてクラス分類を行うことにより得られるクラスに対応するクラスコードと、チューナ13から供給される画像信号とを、係数発生回路142に供給する。係数発生回路142は、第1実施の形態と同様に、画像信号処理回路141から供給されるクラスコードからタップ係数を求め、そのタップ係数を画像信号処理回路141に供給する。そして、画像信号処理回路141は、係数発生回路142から供給されるタップ係数を用いて、高画質画像を生成し、CRT16に供給する。
図17は、図16の画像信号処理回路141の詳細な構成を示すブロック図である。なお、図3の第1実施の形態と対応する部分については、同一の符号を付してあり、その説明を適宜省略する。
図17の画像信号処理回路141においては、チューナ13が出力する画像信号は、リサイズ回路143に供給される。リサイズ回路143は、入力画像信号を、所定のリサイズ率に従ってリサイズ(拡大または縮小)し、サイズが変更されたリサイズ画像を生成する。
ここで、リサイズ回路143におけるリサイズ率は、リモコン電波受信回路17から供給される操作コマンドに基づいて制御回路18(図16)により制御される。リモコン電波受信回路17は、リモコン4から送信される、ユーザのズームの操作に対応する操作コマンドを受信し、制御回路18に供給する。
また、リサイズ率としては、例えば、入力画像信号のサイズと同じサイズのもの、即ち、サイズを変更しないもの(ズーム無という)、入力画像と同じ画像を入力画像信号のサイズに対して、例えば、縦と横のサイズを間引き処理などにより1/2にするもの(ズーム小という)、および、入力画像の、例えば、縦と横の1/2のサイズの所定の範囲の画像を補間処理などにより入力画像と同じサイズにするもの(ズーム大という)の3種類があるものとする。但し、ズーム小およびズーム大のリサイズ率は、上述の1/2に限定されない。リサイズ回路143は、生成したリサイズ画像の画像信号を予測タップ抽出回路31とクラスタップ抽出回路33のそれぞれに供給する。
なお、図3の第1実施の形態においては、入力画像信号が係数発生回路15にも供給されたが、第3実施の形態においては、入力画像信号は係数発生回路142には供給されない。
ベイ3内の係数発生回路142は、第1実施の形態と同様に、学習によって求められたクラスごとのタップ係数を記憶し、さらに、その記憶したタップ係数のうちの、クラスコード発生回路34から供給されるクラスコードに対応するアドレスに記憶されているタップ係数(クラスコード発生回路34から供給されるクラスコードが表すクラスのタップ係数)を、予測演算回路35に供給(出力)する。
図18は、図17の係数発生回路142の詳細な構成例を示すブロック図である。
係数発生回路142は、記憶部151、選択スイッチ152、およびリモコン電波受信回路153で構成されている。
また、記憶部151は、ズーム無用のROMテーブル161、ズーム小用のROMテーブル162、およびズーム大用のROMテーブル163で構成されている。
クラスコード発生回路34(図17)が出力するクラスコードは、記憶部151のROMテーブル161乃至163に供給される。記憶部151は、入力画像信号のレベル分布の形状に応じてクラス分類され、そのクラス毎に予め学習により獲得されたタップ係数(予測係数)が格納されたテーブルを、所定の種類ごとに記憶する。換言すれば、記憶部151は、異なる種類のサンプル画像によってそれぞれ学習されたテーブルを、所定の種類ごとに記憶する。
第3実施の形態では、記憶部151は、タップ係数が格納されたテーブルを入力画像信号の、例えば、ズーム無、ズーム小、およびズーム大というリサイズ率ごとに記憶する。なお、ここでは、タップ係数が格納されたテーブルをズーム無、ズーム小、およびズーム大の3種類としたが、その他のリサイズ率についてもテーブルを設けるようにしてもよく、記憶部151に記憶するテーブルの種類は、上述の3種類に限らない。
ROMテーブル161は、図17のリサイズ回路143において、制御回路18によりズーム無にリサイズ率が制御された画像信号を入力画像信号として画像変換処理を行う場合に適した、クラス毎に予め学習により獲得されたタップ係数を記憶(格納)している。この学習においては、例えば、SD画像の画像信号を教師データとするとともに、そのSD画像を送出した画像信号を受信して得られるSD画像の画像信号を生徒データとすることができる。これにより、ズーム無での伝搬により生じるノイズの除去を行うことが可能なタップ係数を得ることができる。
ROMテーブル162は、制御回路18によりズーム小にリサイズ率が制御された画像信号を入力画像信号として画像変換処理を行う場合に適した、クラス毎に予め学習により獲得されたタップ係数を記憶(格納)している。また、ROMテーブル163は、制御回路18によりズーム大にリサイズ率が制御された画像信号を入力画像信号として画像変換処理を行う場合に適した、クラス毎に予め学習により獲得されたタップ係数を記憶(格納)している。ROMテーブル162または163に記憶されるタップ係数の学習に採用する教師データは、ROMテーブル161における学習の場合と同様に、SD画像の画像信号とすることができる。また、ROMテーブル162または163に記憶されるタップ係数の学習に採用する生徒データは、教師データのSD画像の画像信号をズーム小またはズーム大で送出した画像信号を受信して得られるSD画像の画像信号とすることができる。
ROMテーブル161乃至163それぞれは、クラスコード発生回路34から供給されるクラスコードに対応するタップ係数を選択スイッチ152に出力する。
選択スイッチ152は、ROMテーブル161乃至163それぞれの出力の中から、操作コマンドに対応付けられた種類のROMテーブルの出力(タップ係数)を選択する。即ち、選択スイッチ152は、リモコン電波受信回路153から供給される操作コマンドに基づいて、画像信号処理回路141のリサイズ回路151で制御されたリサイズ率を判別する。そして、選択スイッチ152は、判別されたリサイズ率に基づいて、ROMテーブル161乃至163の出力(タップ係数)のいずれかを選択し、選択されたタップ係数を予測演算回路35(図17)に供給する。ここで、選択スイッチ152が出力するタップ係数は、入力画像信号のリサイズ率に最適なタップ係数であるので、最適化係数であると言える。
図17の予測演算回路35は、選択スイッチ152が選択したROMテーブルの出力であるタップ係数を用いた式(1)の予測式に基づいた演算により、最適な推定値を算出する。
図17の画像信号処理回路141と係数発生回路142が行う画像変換処理は、第1実施の形態における図10で説明した画像変換処理と同様である。
次に、図19のフローチャートを参照して、第3実施の形態におけるROMテーブル選択処理について説明する。
初めに、ステップS61において、係数発生回路142(図18)のリモコン電波受信回路153は、リモコン4から操作コマンドを受信したか否かを判定する。ステップS61で、リモコン4から操作コマンドを受信してないと判定された場合、ステップS62に進み、選択スイッチ152は、記憶部151のROMテーブル161乃至163の出力のうち、デフォルト用のROMテーブルとして、ズーム無のROMテーブル161の出力を選択する。なお、ステップS62において、選択スイッチ152は、以前に、ROMテーブル161乃至163のいずれかの出力を選択していた場合には、その選択されたROMテーブルの出力をそのまま選択するようにしてもよい。そして、ステップS62の処理後は、ステップS61に戻る。
一方、ステップS61で、リモコン4から操作コマンドを受信したと判定された場合、ステップS63に進み、リモコン電波受信回路153は、その操作コマンドが所定の釦を表すコマンドであるか否かを判定する。ここで、所定の釦とは、例えば、リサイズ率を指定する釦である。
ステップS63で、受信した操作コマンドが所定の釦を表すコマンドではないと判定された場合、ステップS62に進み、上述したように、選択スイッチ152は、記憶部151のROMテーブル161乃至163の出力のうち、ROMテーブル161の出力、または前回の出力を選択する。
一方、ステップS63で、受信した操作コマンドが所定の釦を表すコマンドであると判定された場合、ステップS64に進み、リモコン電波受信回路153は、受信した操作コマンドを選択スイッチ152に供給する。そして、選択スイッチ152は、ROMテーブル161乃至163それぞれの出力の中から、リモコン電波受信回路153から供給された操作コマンドに対応したROMテーブルの出力(タップ係数)を選択して、ステップS61に戻る。
上述のROMテーブル選択処理は、図10の画像変換処理が終了されるまで、即ち、入力画像信号が終了したと判定されるまで、図10の画像変換処理と並行して実行される。そして、ROMテーブル選択処理において選択されたROMテーブル161乃至164のうちのいずれかの出力が、図10のステップS24で、入力画像信号のクラスコードに対応するタップ係数として、予測演算回路35に供給(出力)される。
以上のように、第3実施の形態では、係数発生回路142は、リモコン4から送信されてくる操作コマンドを受信し、その操作コマンドに基づいて、リサイズ回路143において入力画像信号がリサイズされたときのリサイズ率を判別する。また、係数発生回路142は、そのリサイズ率に基づいて、ROMテーブル161乃至164の出力を選択することにより、入力画像信号のリサイズ率に最適なタップ係数を画像信号処理回路141に出力(供給)する。そして、画像信号処理回路141は、供給された最適なタップ係数を用いて、入力画像信号から、例えば、高画質画像を得て出力するので、入力画像信号のリサイズ率ごとに最適な画像変換処理を行うことができる。
従って、ユーザの視聴の特性を利用して(活用して)、即ち、ユーザが選択したリサイズ率を利用して、最適な画像変換処理を行うことができる。
(第4実施の形態)
図20は、図1のテレビ1の第4実施の形態の構成例を示すブロック図である。なお、図2の第1実施の形態と対応する部分については、同一の符号を付してあり、その説明を適宜省略する。
図20のテレビ1は、図2の画像入力部11を構成するチューナ13に代わって、入力端子172を有する画像信号入力部171が設けられている。また、図2の画像信号処理回路14に代わって画像信号処理回路173が、係数発生回路15に代わって係数発生回路174が、それぞれ設けられている。
画像信号入力部171には、外部の装置からの画像信号を入力する入力端子172が設けられている。入力端子172には、例えば、DVD (Digital Versatile Disc)装置181が接続され、DVD装置181においてDVDが再生されたときに出力される画像信号が入力端子172を介して、画像信号処理回路173に供給される。
第4実施の形態においても、第1実施の形態と同様に、画像信号処理回路173は、入力端子172から供給される画像信号(入力画像信号)から、高画質の画像信号に変換する画像変換処理を行うものとする。
画像信号処理回路173は、入力端子172から供給される入力画像信号のレベル分布の形状等に応じてクラス分類を行うことにより得られるクラスに対応するクラスコードを、係数発生回路174に出力する。係数発生回路174は、第1実施の形態と同様に、画像信号処理回路173から供給されるクラスコードからタップ係数を求め、そのタップ係数を画像信号処理回路173に供給する。そして、画像信号処理回路173は、係数発生回路174から供給されるタップ係数を用いて、高画質画像を生成し、CRT16に供給する。
図20において、リモコン4は、テレビ1の操作の他に、DVD装置181の操作もできるようになっているものとする。例えば、ユーザは、リモコン4を操作することにより、DVD装置181の早送り再生、(通常)再生、スロー再生(コマ送り)などを操作できる。
なお、入力端子172に接続される外部の装置は、DVD装置181に限らず、その他の、例えば、ビデオテープや半導体メモリ等の記録媒体を再生する装置であってもよい。
図21は、図20の画像信号処理回路173の詳細な構成を示すブロック図である。なお、図3の第1実施の形態と対応する部分については、同一の符号を付してあり、その説明を適宜省略する。
図21の画像信号処理回路173は、図3の第1実施の形態における画像信号処理回路14とは、係数発生回路174に入力画像信号が供給されないことを除いて同一である。また、図21では、図3の第1実施の形態における係数発生回路15に代わって、係数発生回路174が設けられている。
ベイ3内の係数発生回路174は、第1実施の形態と同様に、学習によって求められたクラスごとのタップ係数を記憶し、さらに、その記憶したタップ係数のうちの、クラスコード発生回路34から供給されるクラスコードに対応するアドレスに記憶されているタップ係数(クラスコード発生回路34から供給されるクラスコードが表すクラスのタップ係数)を、予測演算回路35に供給(出力)する。
図22は、図21の係数発生回路174の詳細な構成例を示すブロック図である。
係数発生回路174は、記憶部191、選択スイッチ192、再生速度頻度検出部193、およびリモコン電波受信回路194で構成されている。
また、記憶部191は、DVD装置181の早送り再生用のROMテーブル201、DVD装置181の標準再生用のROMテーブル202、およびDVD装置181のスロー再生用のROMテーブル203で構成されている。さらに、再生速度頻度検出部193は、再生速度頻度計数回路205およびメモリ206で構成されている。
クラスコード発生回路34(図21)が出力するクラスコードは、記憶部191のROMテーブル201乃至203に供給される。記憶部191は、入力画像信号のレベル分布の形状に応じてクラス分類され、そのクラス毎に予め学習により獲得されたタップ係数(予測係数)が格納されたテーブルを、所定の種類ごとに記憶する。換言すれば、記憶部191は、教師データと生徒データとのセットを用いてそれぞれ学習されたテーブルを、所定の種類ごとに記憶する。
DVD装置181や、その他の記録媒体の再生装置において、記録媒体を再生する場合、その再生速度によって、画像信号に重畳されるノイズが異なることがある。
そこで、第4実施の形態では、記憶部191は、タップ係数が格納されたテーブルをDVD装置181においてDVDが再生されたときの再生速度ごとに記憶する。例えば、DVDの再生速度が、早送りモードの再生速度(以下、早送りという)、標準(通常)モードの再生速度(以下、標準という)、スロー再生(コマ送り)モードの再生速度(以下、スローという)の3種類の速度に分けて記憶する。なお、ここでは、タップ係数が格納されたテーブルを上述の3種類とするが、その他のモード(速度)についてもテーブルを設けてもよく、記憶部191に記憶するテーブルの種類は、上述の3種類に限らない。
ROMテーブル201は、図20のDVD装置181においてDVDが、早送りで再生される画像信号を入力画像信号として画像変換処理を行う場合に適した、クラス毎に予め学習により獲得されたタップ係数を記憶(格納)している。この学習においては、例えば、記録する前のHD画像の画像信号を教師データとするとともに、そのHD画像をダウンコンバートしてDVD装置181でDVDに記録した後さらに早送りで再生して得られるSD画像の画像信号を生徒データとすることができる。これにより、早送りで再生された場合における、高解像度化と早送りで再生されることにより生じるノイズの除去を行うことが可能なタップ係数を得ることができる。また、例えば、記録する前のSD画像の画像信号を教師データとするとともに、そのSD画像をDVD装置181でDVDに記録した後さらに早送りで再生して得られるSD画像の画像信号を生徒データとすることができる。これにより、早送りで再生されることにより生じるノイズの除去を行うことが可能なタップ係数を得ることができる。
ROMテーブル202は、標準で再生される画像信号を入力画像信号として画像変換処理を行う場合に適した、クラス毎に予め学習により獲得されたタップ係数を記憶(格納)している。また、ROMテーブル203は、スローで再生される画像信号を入力画像信号として画像変換処理を行う場合に適した、クラス毎に予め学習により獲得されたタップ係数を記憶(格納)している。なお、ROMテーブル202または203に記憶されるタップ係数の学習に採用する教師データは、ROMテーブル201と同様のデータとすることができる。また、ROMテーブル202または203に記憶されるタップ係数の学習に採用する生徒データは、ROMテーブル201の学習における、早送りで再生して得られる画像信号の代わりに、標準またはスローで再生して得られる画像信号を用いる他は、ROMテーブル201と同様のデータとすることができる。
ROMテーブル201乃至203それぞれは、クラスコード発生回路34から供給されるクラスコードに対応するタップ係数を選択スイッチ192に出力する。
選択スイッチ192は、ROMテーブル201乃至203それぞれの出力の中から、操作コマンドに対応付けられた種類のROMテーブルの出力(タップ係数)を選択する。即ち、選択スイッチ192は、リモコン電波受信回路194から供給される操作コマンドに基づいて、DVD装置181においてDVDが再生される再生速度を判別する。そして、選択スイッチ192は、判別された再生速度に基づいて、ROMテーブル201乃至203の出力(タップ係数)のいずれかを選択し、選択されたタップ係数を予測演算回路35(図21)に供給する。ここで、選択スイッチ192が出力するタップ係数は、DVD装置181においてDVDが再生される再生速度に最適なタップ係数であるので、最適化係数であると言える。
リモコン電波受信回路194は、リモコン4から、上述したように、無線で送信されてくる操作コマンドを受信する。リモコン電波受信回路194は、受信した操作コマンドを選択スイッチ192と再生速度頻度計数回路205に供給する。
再生速度頻度計数回路205は、リモコン電波受信回路194から供給される操作コマンドに基づいて、DVD装置181において早送り、標準、およびスローの各再生速度で再生された頻度である再生速度頻度を計数する。即ち、再生速度頻度計数回路205は、メモリ206に記憶された再生速度ごとの再生速度頻度を読み出し、その読み出した値を1だけインクリメントして、メモリ206の読み出した位置と同じ位置に書き込む。
メモリ206は、再生速度頻度計数回路205から供給される各再生速度の再生速度頻度を、再生速度ごとに記憶する。
ここで、ベイ3のバージョンアップの際に、装置メーカに回収されるものは、少なくとも再生速度頻度が記憶されたメモリ206があればよいので、再生速度頻度計数回路205は、テレビ1の内部、即ち、例えば、画像信号処理回路173に設けるようにしてもよい。
また、上述の図22の係数発生回路174は、1チップのICで構成される。なお、記憶部191、選択スイッチ192、再生速度頻度検出部193、およびリモコン電波受信回路194のそれぞれが、1チップのICで構成されるようにしてもよい。
さらに、上述した例では、入力端子172には、DVD装置181が接続されることとしたが、DVD装置181の他、VTR装置などのその他の記録再生装置を入力端子172に接続するようにしてもよい。
VTR装置等の記録再生装置が所定の記録媒体を記録するときの記録モードとして、例えば、標準モードや3倍モード等の異なる記録モードを有する場合、図22において、記憶部191には、さらに、画像信号が記録されるときの記録モードごとに学習を行うことにより得られるタップ係数のROMテーブルを記憶させるようにしてもよい。
図21の画像信号処理回路173と係数発生回路174が行う画像変換処理は、第1実施の形態における図10で説明した画像変換処理と同様である。
次に、図23のフローチャートを参照して、第4実施の形態におけるROMテーブル選択処理について説明する。
初めに、ステップS71において、係数発生回路174(図22)のリモコン電波受信回路194は、リモコン4から操作コマンドを受信したか否かを判定する。ステップS71で、リモコン4から操作コマンドを受信してないと判定された場合、ステップS72に進み、選択スイッチ192は、記憶部191のROMテーブル201乃至203の出力のうち、デフォルト用のROMテーブルとして、標準用のROMテーブル202の出力を選択する。なお、ステップS72において、選択スイッチ192は、以前に、ROMテーブル201乃至203のいずれかの出力を選択していた場合には、その選択されたROMテーブルの出力をそのまま選択するようにしてもよい。そして、ステップS72の処理後は、ステップS71に戻る。
一方、ステップS71で、リモコン4から操作コマンドを受信したと判定された場合、ステップS73に進み、リモコン電波受信回路194は、その操作コマンドが所定の釦を表すコマンドであるか否かを判定する。ここで、所定の釦とは、例えば、早送り、再生、および、スローを指定する釦である。
ステップS73で、受信した操作コマンドが所定の釦を表すコマンドではないと判定された場合、ステップS72に進み、上述したように、選択スイッチ192は、記憶部191のROMテーブル201乃至203の出力のうち、ROMテーブル202の出力、または前回の出力を選択する。
一方、ステップS73で、受信した操作コマンドが所定の釦を表すコマンドであると判定された場合、ステップS74に進み、リモコン電波受信回路194は、受信した操作コマンドを選択スイッチ192と再生速度頻度計数回路205に供給する。そして、選択スイッチ192は、ROMテーブル201乃至203それぞれの出力の中から、操作コマンドに対応したROMテーブルの出力(タップ係数)を選択する。
さらに、ステップS74では、再生速度頻度計数回路205は、リモコン電波受信回路194から供給される操作コマンドに基づいて、入力画像信号の再生速度を判別し、メモリ206に記憶された各再生速度の再生速度選択頻度から、判別した再生速度の再生速度頻度を読み出し、その読み出した値を1だけインクリメントして、メモリ206の読み出した位置と同じ位置に書き込んで、ステップS71に戻る。
上述のROMテーブル選択処理は、図10の画像変換処理が終了されるまで、即ち、入力画像信号が終了したと判定されるまで、図10の画像変換処理と並行して実行される。そして、ROMテーブル選択処理において選択されたROMテーブル201乃至203のうちのいずれかの出力が、図10のステップS24で、入力画像信号のクラスコードに対応するタップ係数として、予測演算回路35に供給(出力)される。
以上のように、第4実施の形態では、係数発生回路174は、リモコン4から送信されてくる操作コマンドを受信し、その操作コマンドに基づいて、DVD装置181においてDVDが再生される再生速度を判別する。また、係数発生回路174は、その再生速度に基づいて、ROMテーブル201乃至203の出力を選択することにより、入力画像信号の再生速度に最適なタップ係数を画像信号処理回路173に出力(供給)する。そして、画像信号処理回路173は、供給された最適なタップ係数を用いて、入力画像信号から、例えば、高画質画像を得て出力するので、入力画像信号の再生速度ごとに最適な画像変換処理を行うことができる。
従って、ユーザの視聴の特性を利用して(活用して)、即ち、ユーザが選択した再生速度を利用して、最適な画像変換処理を行うことができる。
また、第4実施の形態では、ユーザが選択したDVD装置181のDVDの再生速度頻度をメモリ206に記憶するようにしたので、ベイ3のバージョンアップの際に装置メーカが回収したとき、装置メーカはユーザがDVD装置を再生する再生速度頻度を知ることができる。
(第5実施の形態)
図24は、図1のテレビ1の第5実施の形態の構成例を示すブロック図である。なお、図2の第1実施の形態と対応する部分については、同一の符号を付してあり、その説明を適宜省略する。
即ち、図24のテレビ1は、図2の第1実施の形態における係数発生回路15に代わって、係数発生回路211が設けられている他は、第1実施の形態と同様に構成されている。
第5実施の形態においても、第1実施の形態と同様に、画像信号処理回路14は、チューナ13から供給される入力画像信号から、高画質の画像信号に変換する画像変換処理を行うものとする。
画像信号処理回路14は、チューナ13から供給される入力画像信号のレベル分布の形状等に応じてクラス分類を行うことにより得られるクラスに対応するクラスコードと、チューナ13から供給される入力画像信号とを、係数発生回路211に出力する。係数発生回路211は、第1実施の形態と同様に、画像信号処理回路14から供給されるクラスコードからタップ係数を求め、そのタップ係数を画像信号処理回路14に供給する。そして、画像信号処理回路14は、係数発生回路211から供給されるタップ係数を用いて、高画質画像を生成し、CRT16に供給する。
図25は、図24の画像信号処理回路14の詳細な構成を示すブロック図である。なお、図3の第1実施の形態と対応する部分については、同一の符号を付してあり、その説明を適宜省略する。
即ち、図25の画像信号処理回路14においては、図3の第1実施の形態における係数発生回路15に代わって、係数発生回路211を用いて処理が行われる他は、第1実施の形態と同様に構成されている。
ベイ3内の係数発生回路211は、第1実施の形態と同様に、学習によって求められたクラスごとのタップ係数を記憶し、さらに、その記憶したタップ係数のうちの、クラスコード発生回路34から供給されるクラスコードに対応するアドレスに記憶されているタップ係数(クラスコード発生回路34から供給されるクラスコードが表すクラスのタップ係数)を、予測演算回路35に供給(出力)する。
図26は、図25の係数発生回路211の詳細な構成例を示すブロック図である。
係数発生回路211は、記憶部221、選択スイッチ222、学習回路223、メモリ224、およびローカルノイズ検出部225で構成されている。
また、記憶部221は、強ノイズ用のROMテーブル231、中ノイズ用のROMテーブル232、低ノイズ用のROMテーブル233、およびデフォルト用のROMテーブル234で構成されている。さらに、ローカルノイズ検出部225は、ローカルノイズ検出回路235とメモリ236とで構成されている。
クラスコード発生回路34(図25)が出力するクラスコードは、記憶部221のROMテーブル231乃至234に供給される。記憶部221は、入力画像信号のレベル分布の形状に応じてクラス分類され、そのクラス毎に予め学習により獲得されたタップ係数(予測係数)が格納されたテーブルを、所定の種類ごとに記憶する。換言すれば、記憶部221は、教師データと生徒データとのセットを用いてそれぞれ学習されたテーブルを、所定の種類ごとに記憶する。
第5実施の形態では、記憶部221は、タップ係数が格納されたテーブルを、例えば、強ノイズ、中ノイズ、低ノイズという、テレビ1の周囲に発生しているローカルなノイズ(以下、ローカルノイズともいう)の強度ごとに記憶する。なお、ここでは、タップ係数が格納されたテーブルをノイズの強度を強ノイズ、中ノイズ、低ノイズの3種類としたが、ノイズの強度をさらに細かく分類してもよく、記憶部221に記憶するテーブルの種類は、上述の3種類に限らない。
また、記憶部221は、学習回路223から供給される、異なる強度のノイズが付加された画像信号とノイズが付加されていない画像信号とのセットによってそれぞれ学習されたタップ係数が格納されたテーブルを、そのノイズの強度ごとに更新する。
ROMテーブル231乃至233において、学習回路223から供給されるタップ係数によりテーブルが更新される場合、ローカルノイズ検出回路235は、検出したノイズの強度が強ノイズ、中ノイズ、または低ノイズのいずれに属するかを判別し、その判別結果に応じて、学習回路223が学習により求めたタップ係数により記憶内容を更新すべきROMテーブルを指定する指定情報を、ROMテーブル231乃至233のいずれかに供給する。そして、ROMテーブル231乃至233のうちの、ローカルノイズ検出回路235からの指定情報によって指定されたROMテーブルが、学習回路223が出力するタップ係数により、記憶されているタップ係数を更新する。
ROMテーブル231は、ローカルノイズの強度が強ノイズである場合に、入力画像信号の画像変換処理を行う場合に適した、クラス毎に予め学習により獲得されたタップ係数を記憶(格納)している。この学習においては、例えば、HD画像の画像信号を教師データとするとともに、そのHD画像をダウンコンバートして強ノイズ(例えば、ホワイトノイズ)を付加して得られるSD画像の画像信号を生徒データとすることができる。これにより、高解像度化とノイズの除去を行うことが可能なタップ係数を得ることができる。また、例えば、SD画像の画像信号を教師データとするとともに、そのSD画像の画像信号に強ノイズを付加して得られるSD画像の画像信号を生徒データとすることもできる。これにより、ノイズの除去を行うことが可能なタップ係数を得ることができる。
また、ROMテーブル231が、学習回路223から供給されるタップ係数により記憶内容を更新すべきROMテーブルを指定する指定情報をローカルノイズ検出回路235から受け取った場合、即ち、ローカルノイズ検出回路235により検出されたローカルなノイズの強度が強ノイズである場合、ROMテーブル231は、学習回路223が出力するタップ係数を上書きすることにより、その記憶内容を更新する。
ROMテーブル232は、ローカルノイズの強度が中ノイズである場合に、入力画像信号の画像変換処理を行う場合に適した、クラス毎に予め学習により獲得されたタップ係数を記憶(格納)している。ここで、ROMテーブル232に記憶されるタップ係数の学習に採用する教師データは、ROMテーブル231と同様のデータとすることができる。また、ROMテーブル232に記憶されるタップ係数の学習に採用する生徒データは、ROMテーブル231の学習における、強ノイズを付加して得られる画像信号の代わりに、中ノイズを付加して得られる画像信号を採用する以外は、ROMテーブル231における場合と同様のデータとすることができる。
また、ROMテーブル232が、学習回路223から供給されるタップ係数により記憶内容を更新すべきROMテーブルを指定する指定情報をローカルノイズ検出回路235から受け取った場合、即ち、ローカルノイズ検出回路235により検出されたローカルなノイズの強度が中ノイズである場合、ROMテーブル232は、学習回路223が出力するタップ係数を上書きすることにより、その記憶内容を更新する。
ROMテーブル233は、ローカルノイズの強度が、低ノイズである場合に、入力画像信号の画像変換処理を行う場合に適した、クラス毎に予め学習により獲得されたタップ係数を記憶(格納)している。ここで、ROMテーブル233に記憶されるタップ係数の学習に採用する教師データは、ROMテーブル231と同様のデータとすることができる。また、ROMテーブル233に記憶されるタップ係数の学習に採用する生徒データは、ROMテーブル231の学習における、強ノイズを付加して得られる画像信号の代わりに、低ノイズを付加して得られる画像信号を採用する以外は、ROMテーブル231における場合と同様のデータとすることができる。
また、ROMテーブル233が、学習回路223から供給されるタップ係数により記憶内容を更新すべきROMテーブルを指定する指定情報をローカルノイズ検出回路235から受け取った場合、即ち、ローカルノイズ検出回路235により検出されたローカルなノイズの強度が低ノイズである場合、ROMテーブル233は、学習回路223が出力するタップ係数を上書きすることにより、その記憶内容を更新する。
ROMテーブル234は、ローカルノイズの強度が、強ノイズ、中ノイズ、低ノイズのいずれにも該当しない場合の、クラス毎に予め学習により獲得されたタップ係数を記憶(格納)する。ROMテーブル234に記憶されるクラス毎のタップ係数の値は、例えば、ノイズを付加しない画像信号を教師データと生徒データに採用して求めることができる。即ち、HD画像の画像信号を教師データとするとともに、そのHD画像をダウンコンバートして得られるSD画像の画像信号を生徒データとすることができる。
ROMテーブル231乃至234それぞれは、クラスコード発生回路34から供給されるクラスコードに対応するタップ係数を選択スイッチ222に出力する。
選択スイッチ222は、ローカルノイズ検出回路235により検出されたノイズの強度に基づいて、ROMテーブル231乃至234それぞれの出力の中から、ノイズの強度に対応付けられた種類のROMテーブルの出力(タップ係数)を選択する。即ち、選択スイッチ232は、ローカルノイズ検出回路235から供給されるノイズの強度に基づいて、ROMテーブル231乃至234の出力(タップ係数)のいずれかを選択し、選択されたタップ係数を予測演算回路35(図25)に供給する。ここで、選択スイッチ232が出力するタップ係数は、入力画像信号に最適なタップ係数であるので、最適化係数であると言える。
学習回路223は、チューナ13から供給される画像信号を生徒データとするとともに、メモリ224に記憶されている画像信号を教師データとして、クラス毎のタップ係数を算出する学習を行う。そして、学習回路223は、学習により求められたクラス毎のタップ係数をROMテーブル231乃至233に供給する。即ち、学習回路223は、チューナ13から供給される画像信号と、メモリ224に記憶されている画像信号とから、記憶部221のROMテーブル231乃至233のいずれかに記憶するタップ係数を算出する。
メモリ224は、チューナ13から供給される画像信号(生徒データ)に対応する、教師データとしての画像信号(テスト信号)を記憶する。メモリ224には、例えば、インターネットなどのネットワークを介してダウンロードされた、これから放送される放送番組の画像信号に対応するHD画像や、そのHD画像をダウンコンバートしたSD画像が記憶される。なお、教師データとしての画像信号がメモリ224にダウンロードされる際には、その画像信号とともに、ダウンロードした画像信号を特定する特定情報(画像信号の放送チャンネルや放送日時など)もダウンロードされる。そして、学習回路223は、その特定情報に基づいて、放送される時刻、メモリ224に記憶されている画像信号から、チューナ13から供給される生徒データに対応する教師データを認識してタップ係数の学習を行う。
ローカルノイズ検出回路235は、周囲の電波を受信し、テレビ1の周囲に発生するローカルなノイズの強度を検出する。ここで、テレビ1の周囲にあるノイズを発生する機器としては、例えば、電子レンジその他の電子機器がある。ローカルノイズ検出回路235は、例えば、リモコン4以外の電波を、全てテレビ1の周囲に発生するローカルなノイズとして検出する。第5実施の形態では、ノイズの強度は、強ノイズ、中ノイズ、および低ノイズの3種類とされる。そこで、ローカルノイズ検出回路235は、検出したノイズの強度が強ノイズ、中ノイズ、または低ノイズのいずれに属するかを判別する。そして、ローカルノイズ検出回路235は、上述したように、学習回路223が学習により求めたタップ係数により記憶内容を更新すべきROMテーブルを指定する指定情報を、その判別結果に応じて、ROMテーブル231乃至233のいずれかに供給する。
また、ローカルノイズ検出回路235は、検出したローカルノイズの強度が強ノイズ、中ノイズ、または低ノイズのいずれに属するかの判別結果を、検出した時刻(日付も含む)とともに、メモリ236に供給する。
メモリ236は、ローカルノイズ検出回路235から供給される、ローカルノイズの強度が強ノイズ、中ノイズ、または低ノイズのいずれに属するかの判別結果と、そのローカルノイズが検出された時刻とを記憶する。
図27は、図26の学習回路223の構成例を示すブロック図である。
図27の学習回路223は、図5の学習装置の教師データ記憶部52および生徒データ記憶部54乃至タップ係数算出部59それぞれと同様の処理を行う教師データ記憶部241乃至タップ係数算出部247から構成される。但し、生徒データは、チューナ13から生徒データ記憶部242に供給されるとともに、その生徒データに対応する教師データは、メモリ224から教師データ241に供給される。その他の、図27の教師データ記憶部241乃至タップ係数算出部247は、図5の教師データ記憶部52および生徒データ記憶部54乃至タップ係数算出部59とそれぞれ同様の処理を行う。
図25の画像信号処理回路14と係数発生回路211が行う画像変換処理は、第1実施の形態における図10で説明した画像変換処理と同様である。
次に、図28のフローチャートを参照して、第5実施の形態におけるROMテーブル選択処理について説明する。
初めに、ステップS81において、係数発生回路211(図26)のローカルノイズ検出回路235は、ローカルノイズを検出したか否かを判定する。ステップS81で、ローカルノイズを検出していないと判定された場合、ステップS82に進み、選択スイッチ222は、記憶部221のROMテーブル231乃至234の出力のうち、ROMテーブル234の出力、即ち、デフォルト用のROMテーブル234の出力を選択する。そして、ステップS82の処理後は、ステップS81に戻る。
一方、ステップS81で、ローカルノイズを検出したと判定された場合、ステップS83に進み、ローカルノイズ検出回路235は、検出したローカルノイズのノイズ強度を選択スイッチ222に供給する。選択スイッチ222は、ローカルノイズ検出回路235から供給されるノイズ強度が強ノイズ、中ノイズ、または低ノイズのうちのいずれに属するかを判別する。そして、選択スイッチ222は、ROMテーブル231乃至233それぞれの出力の中から、判別結果に対応したROMテーブルの出力(タップ係数)を選択する。
また、ステップS83では、ローカルノイズ検出回路235は、ノイズ強度が強ノイズ、中ノイズ、または低ノイズのうちのいずれに属するかを判別し、学習回路223が学習により求めたタップ係数により記憶内容を更新すべきROMテーブルを指定する指定情報を、その判別結果に応じて、ROMテーブル231乃至233のいずれかに供給して、ステップS84に進む。
ステップS84において、学習回路223は、チューナ13から供給される画像信号を生徒データとするとともに、メモリ224に記憶されている画像信号を教師データとして、クラス毎のタップ係数を算出する学習を開始して、ステップS85に進む。
ステップS85において、ローカルノイズ検出回路235は、ローカルノイズ検出回路235が検出したノイズの強度に変化があるかどうかを判定する。ステップS85において、検出したノイズの強度に変化があると判定されるまでステップS85の処理が繰り返される。即ち、検出したノイズの強度に変化があるまでは、ステップS83で指定されたROMテーブルに対する、学習回路223の学習が継続される。
ステップS85で、検出したノイズの強度に変化があると判定された場合、ステップS86に進み、学習回路223は、学習回路223が学習により求めたタップ係数により記憶内容を更新すべきROMテーブルを指定する指定情報をローカルノイズ検出回路235から供給されたROMテーブルに、学習回路223が出力するタップ係数を上書きすることにより、その記憶内容を更新して、ステップS81に戻る。
上述のROMテーブル選択処理は、図10の画像変換処理が終了されるまで、即ち、入力画像信号が終了したと判定されるまで、図10の画像変換処理と並行して実行される。そして、ROMテーブル選択処理において選択されたROMテーブル231乃至234のうちのいずれかの出力が、図10のステップS24で、入力画像信号のクラスコードに対応するタップ係数として、予測演算回路35に供給(出力)される。
以上のように、第5実施の形態では、係数発生回路211は、ローカルノイズを検出し、そのノイズの強度に基づいて、ROMテーブル231乃至234の出力を選択することにより、ローカルノイズのノイズの強度に最適なタップ係数を画像信号処理回路141に出力(供給)する。そして、画像信号処理回路14は、供給された最適なタップ係数を用いて、入力画像信号から、例えば、高画質画像を得て出力するので、ローカルノイズに最適な画像変換処理を行うことができる。
従って、ユーザの視聴の特性を利用して(活用して)、即ち、ユーザが視聴している環境に応じて、最適な画像変換処理を行うことができる。
(第6実施の形態)
図29は、図1のテレビ1の第6実施の形態の構成例を示すブロック図である。なお、上述した第1乃至第5実施の形態と対応する部分については、同一の符号を付してあり、その説明を適宜省略する。
図29のテレビ1は、画像信号入力部250において、外部の装置からの画像信号(画像源)を入力する3つの入力端子251乃至253が設けられている。入力端子251には、例えば、DVD装置181が接続されている。また、入力端子252にはVTR装置256が、入力端子253にはVTR装置257が、それぞれ接続されている。入力端子251乃至253それぞれに接続された外部の装置から入力された画像信号は、入力選択スイッチ254に供給される。なお、入力端子は、3つの入力端子251乃至253に限定されない。
ユーザは、リモコン4を操作して、入力端子251乃至253の何れの端子からの入力を選択する。即ち、ユーザは、DVD装置181、VTR装置256、またはVTR装置257の何れからの出力の画像信号をCRT15に表示するかを選択する。リモコン4は、ユーザの操作に対応する操作コマンド、即ち、入力端子251乃至253の何れの端子からの入力を選択するかを表すコマンド(以下、選択コマンドという)を、テレビ1に送信する。
また、リモコン4は、第4実施の形態における場合と同様に、テレビ1の操作の他に、DVD装置181、VTR装置256、およびVTR装置257の操作もできるようになっているものとする。つまり、ユーザは、リモコン4を操作することにより、テレビ1の入力端子251乃至253の選択と、選択された入力端子に接続されている装置の操作も行うことができる。さらに、リモコン4は、ユーザが入力端子251乃至253に接続されている装置の操作を行う場合、その操作コマンドとともに、選択された入力端子に接続されている装置のメーカ名や機種名(型式)等の情報(以下、接続装置情報という)を含む信号(コマンド)もテレビ1に送信できるものとする。リモコン4から送信される操作コマンド等は、リモコン電波受信回路17により受信される。
リモコン電波受信回路17は、リモコン4から送信されてくる選択コマンドを受信し、制御回路18に供給する。
制御回路18は、リモコン電波受信回路17から供給される選択コマンドに応じて、入力選択スイッチ254に入力端子251乃至253のうちの、選択コマンドが表す入力端子の画像信号を、入力選択スイッチ254に選択させる。
入力選択スイッチ254は、制御回路18の制御により、入力端子251乃至253のうちの所定の入力端子からの画像信号を選択する。そして、入力選択スイッチ254は、選択した画像信号を画像信号処理回路173に供給する。
第6実施の形態においても、第1実施の形態と同様に、画像信号処理回路173は、入力選択スイッチ254から供給される画像信号から、高画質の画像信号に変換する画像変換処理を行うものとする。
画像信号処理回路173は、入力選択スイッチ254から供給される入力画像信号のレベル分布の形状等に応じてクラス分類を行うことにより得られるクラスに対応するクラスコードを、係数発生回路255に出力する。係数発生回路255は、第1実施の形態と同様に、画像信号処理回路173から供給されるクラスコードからタップ係数を求め、そのタップ係数を画像信号処理回路173に供給する。そして、画像信号処理回路173は、係数発生回路255から供給されるタップ係数を用いて、高画質画像を生成し、CRT16に供給する。
図30は、図29の画像信号処理回路173の詳細な構成を示すブロック図である。なお、図21の第4実施の形態と対応する部分については、同一の符号を付してあり、その説明を適宜省略する。
図30の画像信号処理回路173では、図21の第4実施の形態における係数発生回路174に代わって、係数発生回路255を用いて処理が行われる他は、第4実施の形態と同様に構成されている。
ベイ3内の係数発生回路255は、第4実施の形態と同様に、学習によって求められたクラスごとのタップ係数を記憶し、さらに、その記憶したタップ係数のうちの、クラスコード発生回路34から供給されるクラスコードに対応するアドレスに記憶されているタップ係数(クラスコード発生回路34から供給されるクラスコードが表すクラスのタップ係数)を、予測演算回路35に供給(出力)する。
図31は、図30の係数発生回路255の詳細な構成例を示すブロック図である。
係数発生回路255は、記憶部261、選択スイッチ262、画像源検出部263、およびリモコン電波受信回路264で構成されている。
また、記憶部261は、入力端子251(入力1)用のROMテーブル271、入力端子252(入力2)用のROMテーブル272、および入力端子253(入力3)用のROMテーブル273で構成されている。さらに、画像源検出部263は、画像源選択頻度計数回路275およびメモリ276で構成されている。
クラスコード発生回路34(図30)が出力するクラスコードは、記憶部261のROMテーブル271乃至273に供給される。記憶部261は、入力画像信号のレベル分布の形状に応じてクラス分類され、そのクラス毎に予め学習により獲得されたタップ係数(予測係数)が格納されたテーブルを、所定の種類ごとに記憶する。換言すれば、記憶部261は、教師データと生徒データとのセットを用いてそれぞれ学習されたテーブルを、所定の種類ごとに記憶する。
第6実施の形態では、記憶部261は、タップ係数が格納されたテーブルを入力端子251乃至253ごとに記憶する。即ち、入力端子251用のROMテーブル271、入力端子252用のROMテーブル272、および入力端子253用のROMテーブル273に分けて記憶する。ここで、入力端子251には、DVD装置181が接続され、入力端子252と253には、VTR装置256と257が、それぞれ接続されている。そこで、ROMテーブル271乃至273それぞれは、DVDやビデオテープなどの記録媒体の種類の違いによるタップ係数のテーブルということができる。例えば、DVD(画像信号のソース)に記録された画像信号を再生した場合、画像信号には、MPEG符号化によるブロック歪が生じ得る。また、例えば、ビデオテープ(画像信号のソース)に記録された画像信号を再生した場合、画像信号には、磁気再生系特有の歪が生じ得る。このように、画像信号のソースによってその画像信号に生じるノイズが異なるので、記憶部261は、画像信号のソースごとにタップ係数が格納されたテーブルを記憶する。また、VTR装置であっても、例えば、VTR装置を製造するメーカの違いによって固有のノイズが付加する可能性がある。そこで、記憶部261は、VTR装置を製造するメーカ等の種類ごとにタップ係数が格納されたテーブルを記憶する。
なお、ここでは、テレビ1は、3つの入力端子251乃至253で構成されるものとしているので、3つのROMテーブル271乃至273で構成されるものとするが、その他の入力端子がある場合には、その入力端子についてもROMテーブルを構成することが可能である。
ROMテーブル271は、入力選択スイッチ254において、入力端子251に接続されたDVD装置181からの画像信号を入力画像信号として画像変換処理を行う場合に適した、クラス毎に予め学習により獲得されたタップ係数を記憶(格納)している。従って、この学習においては、例えば、DVD記録前のHD画像の画像信号を教師データとするとともに、そのHD画像をダウンサンプリングしてMPEG符号化によりDVDに記録したSD画像を再生して得られる画像信号を生徒データとすることができる。これにより、DVD再生における、高解像度化とブロック歪除去を行うことが可能なタップ係数を得ることができる。また、例えば、DVD記録前のHD画像をダウンサンプリングしたSD画像の画像信号を教師データとするとともに、MPEG符号化によりDVDに記録したSD画像を再生して得られる画像信号を生徒データとすることもできる。これにより、DVD再生における、ブロック歪除去などを行うことが可能なタップ係数を得ることができる。
ROMテーブル272は、入力選択スイッチ254において、入力端子252に接続されたVTR装置256からの画像信号を入力画像信号として画像変換処理を行う場合に適した、クラス毎に予め学習により獲得されたタップ係数を記憶(格納)している。また、ROMテーブル273は、入力選択スイッチ254において、入力端子253に接続されたVTR装置257からの画像信号を入力画像信号として画像変換処理を行う場合に適した、クラス毎に予め学習により獲得されたタップ係数を記憶(格納)している。ここで、ROMテーブル272または273に記憶されるタップ係数の学習に採用する教師データは、ビデオテープに記録前のHD画像の画像信号またはビデオテープに記録前のHD画像をダウンサンプリングしたSD画像の画像信号とすることができる。また、ROMテーブル272または273に記憶されるタップ係数の学習に採用する生徒データは、ROMテーブル271の学習における、DVDに記録したSD画像を再生して得られる画像信号に代えて、ビデオテープに記録したSD画像を再生して得られる画像信号を用いる他は、ROMテーブル271と同様のデータとすることができる。
ROMテーブル271乃至273それぞれは、クラスコード発生回路34から供給されるクラスコードに対応するタップ係数を選択スイッチ262に出力する。
選択スイッチ262は、ROMテーブル271乃至273それぞれの出力の中から、操作コマンドに対応付けられた種類のROMテーブルの出力(タップ係数)を選択する。即ち、選択スイッチ262は、リモコン電波受信回路264から供給される操作コマンドに基づいて、入力端子251乃至253の何れの画像信号が選択されたかを判別する。換言すれば、選択スイッチ262は、リモコン電波受信回路264から供給される操作コマンドに基づいて、入力端子251乃至253に接続されている何れの再生装置が選択されたかを判別する。そして、選択スイッチ262は、その判別結果に基づいて、ROMテーブル271乃至273の出力(タップ係数)のいずれかを選択し、選択されたタップ係数を予測演算回路35(図30)に供給する。ここで、選択スイッチ262が出力するタップ係数は、選択された画像信号に最適なタップ係数であるので、最適化係数であると言える。
リモコン電波受信回路264は、リモコン4から無線で送信されてくる操作コマンドを受信する。また、リモコン電波受信回路264は、リモコン4から送信されてくる、接続装置情報を含む信号(コマンド)を受信する。リモコン電波受信回路264は、受信した操作コマンドと接続装置情報を含む信号(コマンド)とを選択スイッチ262と画像源選択頻度計数回路275に供給する。
画像源選択頻度計数回路275は、リモコン電波受信回路264から供給される操作コマンドに基づいて、入力端子251乃至253から入力される画像信号が選択された頻度、即ち、入力端子251乃至253に接続された再生装置(画像源)が選択された頻度である画像源選択頻度を計数する。ここで、画像源選択頻度計数回路275は、リモコン電波受信回路264から受信した接続装置情報から装置メーカ名を得て、メモリ276において、メーカ名ごとに記憶されている画像源選択頻度を読み出し、その読み出した値を1だけインクリメントして、メモリ276の読み出した位置と同じ位置に書き込む。
従って、メモリ276は、画像源選択頻度計数回路275から供給される画像源選択頻度を装置メーカごとに記憶することができる。また、画像源選択頻度計数回路275から供給される画像源選択頻度を機種ごとに記憶するようにしてもよい。
ここで、ベイ3のバージョンアップの際に、装置メーカに回収されるものは、少なくとも装置メーカごとの画像源選択頻度等が記憶されたメモリ276があればよいので、画像源選択頻度計数回路275は、テレビ1の内部、即ち、例えば、画像信号処理回路173に設けるようにしてもよい。
また、上述の図31の係数発生回路255は、1チップのICで構成される。なお、記憶部261、選択スイッチ262、画像源検出部263、およびリモコン電波受信回路264のそれぞれが、1チップのICで構成されるようにしてもよい。
図30の画像信号処理回路173と係数発生回路255が行う画像変換処理は、第1実施の形態における図10で説明した画像変換処理と同様である。
次に、図32のフローチャートを参照して、第6実施の形態におけるROMテーブル選択処理について説明する。
初めに、ステップS91において、係数発生回路255のリモコン電波受信回路264(図31)は、リモコン4から操作コマンドを受信したか否かを判定する。ステップS91で、リモコン4から操作コマンドを受信してないと判定された場合、ステップS92に進み、選択スイッチ262は、記憶部261のROMテーブル271乃至273の出力のうち、前回の(以前に選択された)ROMテーブルの出力を選択する。そして、ステップS92の処理後は、ステップS91に戻る。
一方、ステップS91で、リモコン4から操作コマンドを受信したと判定された場合、ステップS93に進み、リモコン電波受信回路264は、その操作コマンドが所定の釦を表すコマンドであるか否かを判定する。ここで、所定の釦とは、例えば、入力端子251乃至253からの画像信号の何れかを指定する釦である。
ステップS93で、受信した操作コマンドが所定の釦を表すコマンドではないと判定された場合、ステップS92に進み、上述したように、選択スイッチ262は、記憶部261のROMテーブル271乃至273の出力のうち、前回のROMテーブルの出力を選択する。
一方、ステップS93で、受信した操作コマンドが所定の釦を表すコマンドであると判定された場合、ステップS94に進み、リモコン電波受信回路264は、受信した操作コマンドを選択スイッチ262と画像源選択頻度計数回路275に供給する。そして、選択スイッチ262は、ROMテーブル271乃至273それぞれの出力の中から、操作コマンドに対応したROMテーブルの出力(タップ係数)を選択する。
さらに、ステップS94では、画像源選択頻度計数回路275は、リモコン電波受信回路264から供給される操作コマンドに基づいて、メモリ276において、メーカ名ごとに記憶されている画像源選択頻度を読み出し、その読み出した値を1だけインクリメントして、メモリ276の読み出した位置と同じ位置に書き込んで、ステップS91に戻る。
上述のROMテーブル選択処理は、図10の画像変換処理が終了されるまで、即ち、入力画像信号が終了したと判定されるまで、図10の画像変換処理と並行して実行される。そして、ROMテーブル選択処理において選択されたROMテーブル271乃至273のうちのいずれかの出力が、図10のステップS24で、入力画像信号のクラスコードに対応するタップ係数として、予測演算回路35に供給(出力)される。
以上のように、第6実施の形態では、係数発生回路255は、リモコン4から送信されてくる操作コマンドを受信し、その操作コマンドに基づいて、入力端子251乃至253からの何れの画像信号が選択されたか、さらには、入力端子に接続されている装置がどのような(例えば、装置メーカ、DVDやビデオテープ等の画像信号のソースなど)装置であるかを判別する。そして、係数発生回路255は、入力端子から入力される画像信号に、即ち、入力端子に接続されている装置メーカや記録媒体の種類などの画像信号のソースに、最適なタップ係数を画像信号処理回路173に出力(供給)する。従って、画像信号処理回路173は、供給された最適なタップ係数を用いて、入力画像信号から、例えば、高画質画像を得て出力するので、装置メーカや記録媒体の種類などの画像信号のソースごとに最適な画像変換処理を行うことができる。
なお、上述した例では、選択スイッチ262が、リモコン電波受信回路264から供給される、入力端子251乃至253から入力される画像信号を選択する操作コマンドに基づいて、ROMテーブル271乃至273の出力を選択するようにしたが、リモコン電波受信回路264は、入力端子251乃至253に接続されているDVD装置181、およびVTR装置256と257の記録媒体を再生させる再生コマンド(操作コマンド)を受信するようにして、選択スイッチ262は、リモコン電波受信回路264から供給される再生コマンドに基づいて、ROMテーブル271乃至273の出力を選択するようにしてもよい。
以上から、ユーザの視聴の特性を利用して(活用して)、即ち、ユーザが選択した入力端子の選択を利用して、最適な画像変換処理を行うことができる。
また、第6実施の形態では、入力端子251乃至253に接続された装置が選択された画像源選択頻度と、その装置の接続装置情報をメモリ276に記憶するようにしたので、バージョンアップの際にベイ3を回収したとき、回収した装置メーカは、ユーザがテレビ1に接続する装置が使用される頻度と、その接続装置情報を知ることができる。それを利用して、例えば、装置メーカ、あるいは、装置の機種毎などに、最適なROMテーブルを設計することができる。
(第7実施の形態)
図33は、図1のテレビ1の第7実施の形態の構成例を示すブロック図である。なお、上述した第1乃至第6実施の形態と対応する部分については、同一の符号を付してあり、その説明を適宜省略する。
図33のテレビ1は、画像信号入力部281において、第6実施の形態と同様に、入力端子251乃至253には、DVD装置181、VTR装置256、およびVTR装置257がそれぞれ接続されている。また、入力端子251乃至253に入力される画像信号のそれぞれは、入力選択スイッチ254に供給されるとともに、ベイ3の係数発生回路283にも供給される。
入力選択スイッチ254は、制御回路18の制御により、入力端子251乃至253のうちの所定の入力端子からの画像信号を選択する。そして、入力選択スイッチ254は、選択した入力端子の画像信号を画像信号処理回路173に供給する。
また、画像信号入力部281のチューナ13は、アンテナ12から供給されるテレビジョン信号の中から、制御回路18の制御に基づいて、ユーザがリモコン4を操作して選択したチャンネルのテレビジョン信号(画像信号)を選択する。また、チューナ13は、選択したテレビジョン信号を、係数発生回路283と画像信号出力部282の出力端子291とに供給する。
出力端子291は、チューナ13から供給される画像信号を、DVD装置181、VTR装置256、およびVTR装置257のそれぞれに出力する。従って、チューナ13で選択されたチャンネルの画像信号が、係数発生回路283に供給されるとともに、DVD装置181、VTR装置256、およびVTR装置257のそれぞれに供給される。DVD装置181、VTR装置256、およびVTR装置257それぞれでは、チューナ13からの画像信号を所定の記録媒体に記録することができる。
ユーザは、第6実施の形態における場合と同様に、リモコン4を操作して、入力端子251乃至253のうちの何れの画像信号を選択するかを操作することができる。即ち、ユーザは、DVD装置181、VTR装置256、またはVTR装置257の何れの出力の画像信号をCRT15に表示するかを選択することができる。
また、ユーザは、リモコン4を操作し、DVD装置181、VTR装置256、またはVTR装置257において、出力端子291から供給される画像信号を記録媒体に記録(録画)させ、さらにその記録された画像信号を再生させることができる。
この場合、入力選択スイッチ254で選択された画像信号を入力しているDVD装置181、VTR装置256、またはVTR装置257において、(出力端子291から出力され、記録された)記録媒体から再生された(読み出された)画像信号を、画像処理回路173に供給することができる。
即ち、チューナ13から係数発生回路283に供給される画像信号を、1次的な画像信号と呼ぶとすると、DVD装置181、VTR装置256、またはVTR装置257から画像信号処理回路173に供給される画像信号は、チューナ13が出力した1次的な画像信号を一度、記録して再生した後の、いわば2次的な画像信号と言うことができる。
第7実施の形態においても、第1実施の形態と同様に、画像信号処理回路173は、入力選択スイッチ254から供給される画像信号から、高画質の画像信号に変換する画像変換処理を行うものとする。
画像信号処理回路173は、入力選択スイッチ254から供給される入力画像信号のレベル分布等の形状に応じてクラス分類を行うことにより得られるクラスに対応するクラスコードを、係数発生回路283に出力する。係数発生回路283は、画像信号処理回路173から供給されるクラスコードからタップ係数を求め、そのタップ係数を画像信号処理回路173に供給する。そして、画像信号処理回路173は、係数発生回路283から供給されるタップ係数を用いて、高画質画像を生成し、CRT16に供給する。
図34は、図33の画像信号処理回路173の詳細な構成を示すブロック図である。なお、図21の第4実施の形態と対応する部分については、同一の符号を付してあり、その説明を適宜省略する。
図34の画像信号処理回路173は、図21の第4実施の形態における係数発生回路174に代わって、係数発生回路283を用いて処理が行われる他は、第4実施の形態と同様に構成されている。
ベイ3内の係数発生回路283には、第4実施の形態と同様に、クラスコード発生回路34からクラスコードが供給される他、チューナ13から画像信号が供給される。また、係数発生回路283には、入力端子251乃至253のそれぞれから画像信号が供給される。
係数発生回路283は、第1実施の形態と同様に、学習によって求められたクラスごとのタップ係数を記憶し、さらに、その記憶したタップ係数のうちの、クラスコード発生回路34から供給されるクラスコードに対応するアドレスに記憶されているタップ係数(クラスコード発生回路34から供給されるクラスコードが表すクラスのタップ係数)を、予測演算回路35に供給(出力)する。
また、係数発生回路283は、チューナ13から供給される画像信号を教師データとするとともに、入力端子251乃至253のそれぞれから供給される画像信号を生徒データとして、タップ係数の学習を行うことにより、内部に記憶しているタップ係数を更新することができる。
図35は、図34の係数発生回路283の詳細な構成例を示すブロック図である。なお、図31の第6実施の形態と対応する部分については、同一の符号を付してあり、その説明を適宜省略する。
係数発生回路283は、記憶部261、選択スイッチ262、学習回路303、およびリモコン電波受信回路304で構成されている。
クラスコード発生回路34(図34)が出力するクラスコードは、記憶部261のROMテーブル271乃至273に供給される。記憶部261は、入力画像信号のレベル分布の形状に応じてクラス分類され、そのクラス毎に予め学習により獲得されたタップ係数(予測係数)が格納されたテーブルを、所定の種類ごとに記憶する。換言すれば、記憶部261は、教師データと生徒データとのセットを用いてそれぞれ学習されたテーブルを、所定の種類ごとに記憶する。
第7実施の形態では、記憶部261は、第6実施の形態と同様に、タップ係数が格納されたテーブルを入力端子251乃至253ごとに記憶する。即ち、記憶部261は、入力端子251用のROMテーブル271、入力端子252用のROMテーブル272、および入力端子253用のROMテーブル273に分けて記憶する。ここで、入力端子251には、DVD装置181が接続され、入力端子252と253には、VTR装置256と257が、それぞれ接続されているので、ROMテーブル271は、DVD装置181用のROMテーブル、ROMテーブル272は、VTR装置256用のROMテーブル、ROMテーブル273は、VTR装置257用のROMテーブルであると言うことができる。
さらに、記憶部261は、学習回路303から供給される、入力選択スイッチ254において選択された、DVD装置181、VTR装置256、またはVTR装置257から供給される画像信号と、チューナ13から供給される画像信号とのセットによって学習されたタップ係数が格納されたテーブルを、装置(入力端子)ごとに更新する。
ROMテーブル271は、入力選択スイッチ254において、入力端子251に接続されたDVD装置181からの画像信号を入力画像信号として画像変換処理を行う場合に適した、クラス毎に予め学習により獲得されたタップ係数を記憶している。ここで、ROMテーブル271に格納されるタップ係数を求める学習については、第6実施の形態における場合と同様である。
ROMテーブル272は、入力選択スイッチ254において、入力端子252に接続されたVTR装置256からの画像信号を入力画像信号として画像変換処理を行う場合に適した、クラス毎に予め学習により獲得されたタップ係数を記憶している。ここで、ROMテーブル272に格納されるタップ係数を求める学習については、第6実施の形態における場合と同様である。
ROMテーブル273は、入力選択スイッチ254において、入力端子253に接続されたVTR装置257からの画像信号を入力画像信号として画像変換処理を行う場合に適した、クラス毎に予め学習により獲得されたタップ係数を記憶している。ここで、ROMテーブル273に格納されるタップ係数を求める学習については、第6実施の形態における場合と同様である。
ROMテーブル271乃至273それぞれは、クラスコード発生回路34から供給されるクラスコードに対応するタップ係数を選択スイッチ262に出力する。
選択スイッチ262は、ROMテーブル271乃至273それぞれの出力の中から、操作コマンドに対応付けられた種類のROMテーブルの出力(タップ係数)を選択する。即ち、選択スイッチ262は、リモコン電波受信回路264から供給される操作コマンドに基づいて、入力端子251乃至253の何れの画像信号が選択されたかを判別する。換言すれば、選択スイッチ262は、リモコン電波受信回路264から供給される操作コマンドに基づいて、入力端子251乃至253に接続されている何れの再生装置が選択されたかを判別する。そして、選択スイッチ262は、その判別結果に基づいて、ROMテーブル271乃至273の出力(タップ係数)のいずれかを選択し、選択されたタップ係数を予測演算回路35(図34)に供給する。ここで、選択スイッチ262が出力するタップ係数は、選択された入力端子から入力される画像信号に最適なタップ係数であるので、最適化係数であると言える。
学習回路303は、DVD装置181、VTR装置256、またはVTR装置257から供給される画像信号を生徒データとするとともに、チューナ13から供給される画像信号を教師データとして、DVD装置181、VTR装置256、またはVTR装置257での画像信号の記録(録画)時に、リアルタイムでクラス毎のタップ係数を算出する学習を行う。換言すれば、DVD装置181、VTR装置256、またはVTR装置257で、チューナ13が出力する画像信号の記録が行われる場合、学習回路303は、チューナ13から供給される画像信号を教師データとするとともに、その画像信号を、DVD装置181、VTR装置256、またはVTR装置257において所定の記録媒体に記録して再生した画像信号を生徒データとして、リアルタイムでクラス毎のタップ係数を算出する学習を行う。そして、学習回路303は、学習により求められたクラス毎のタップ係数によってROMテーブル271乃至273のうちのいずれかを更新する。なお、学習回路303は、図27を参照して説明した第5実施の形態における場合と同様の構成を有している。
リモコン電波受信回路264は、リモコン4から無線で送信されてくる操作コマンドを受信する。また、リモコン電波受信回路264は、受信した操作コマンドを選択スイッチ262に供給する。
図34の画像信号処理回路173と係数発生回路283が行う画像変換処理は、第1実施の形態における図10で説明した画像変換処理と同様である。
次に、図36のフローチャートを参照して、第7実施の形態におけるROMテーブル選択処理について説明する。
初めに、ステップS101において、係数発生回路283のリモコン電波受信回路304は、リモコン4から操作コマンドを受信したか否かを判定する。ステップS101で、リモコン4から操作コマンドを受信してないと判定された場合、ステップS102に進み、選択スイッチ262は、記憶部261のROMテーブル271乃至273の出力のうち、前回の(以前に選択された)ROMテーブルの出力を選択する。そして、ステップS102の処理後は、ステップS101に戻る。
一方、ステップS101で、リモコン4から操作コマンドを受信したと判定された場合、ステップS103に進み、リモコン電波受信回路304は、その操作コマンドが所定の釦を表すコマンドであるか否かを判定する。ここで、所定の釦とは、例えば、入力端子251乃至253からの画像信号の何れかを指定する釦である。
ステップS103で、受信した操作コマンドが所定の釦を表すコマンドではないと判定された場合、ステップS102に進み、上述したように、選択スイッチ262は、記憶部261のROMテーブル271乃至273の出力のうち、前回のROMテーブルの出力を選択する。
一方、ステップS103で、受信した操作コマンドが所定の釦を表すコマンドであると判定された場合、ステップS104に進み、リモコン電波受信回路304は、受信した操作コマンドを選択スイッチ262に供給する。そして、選択スイッチ262は、ROMテーブル271乃至273それぞれの出力の中から、操作コマンドに対応したROMテーブルの出力(タップ係数)を選択して、ステップS101に戻る。
上述のROMテーブル選択処理は、図10の画像変換処理が終了されるまで、即ち、入力画像信号が終了したと判定されるまで、図10の画像変換処理と並行して実行される。そして、ROMテーブル選択処理において選択されたROMテーブル271乃至273のうちのいずれかの出力が、図10のステップS24で、入力画像信号のクラスコードに対応するタップ係数として、予測演算回路35に供給(出力)される。
以上のように、第7実施の形態では、係数発生回路283は、リモコン4から送信されてくる操作コマンドを受信し、その操作コマンドに基づいて、入力端子251乃至253の何れの入力が選択されたかを判別し、入力端子から入力される画像信号に最適なタップ係数を画像信号処理回路173に出力(供給)する。そして、画像信号処理回路173は、供給された最適なタップ係数を用いて、入力画像信号から、例えば、高画質画像を得て出力するので、入力端子から入力される画像信号に最適な画像変換処理を行うことができる。
従って、ユーザの視聴の特性を利用して(活用して)、即ち、ユーザが選択した入力端子の選択を利用して、最適な画像変換処理を行うことができる。
図35の係数発生回路283では、上述したように、タップ係数を更新することができる。そこで、図37のフローチャートを参照して、係数発生回路283が行う、タップ係数を更新するタップ係数更新処理について説明する。
初めに、ステップS111において、DVD装置181、VTR装置256、またはVTR装置257は、チューナ13が出力する画像信号が記録された記録媒体からの、その画像信号の再生を開始して、ステップS112に進む。DVD装置181、VTR装置256、またはVTR装置257が再生した画像信号は、入力端子251、252、または253から入力され、学習回路303に供給される。
ステップS112において、学習回路303は、DVD装置181、VTR装置256、またはVTR装置257から供給される画像信号を生徒データとするとともに、チューナ13から供給される画像信号を教師データとして、クラスごとに式(8)の正規方程式をたてて、ステップS113に進む。
ステップS113において、DVD装置181、VTR装置256、またはVTR装置257は、チューナ13から供給される画像信号を所定の記録媒体に記録する処理が終了したか否かを判定する。ステップS113で、チューナ13から供給される画像信号を所定の記録媒体に記録する処理が終了していないと判定された場合、ステップS112の処理が継続される。即ち、学習回路303において、DVD装置181、VTR装置256、またはVTR装置257から供給される画像信号を生徒データとするとともに、チューナ13から供給される画像信号を教師データとして、式(8)の正規方程式をたてる(足し込みを行う)ことが継続される。
一方、ステップS113において、チューナ13から供給される画像信号を所定の記録媒体に記録する処理が終了したと判定された場合、ステップS114に進み、DVD装置181、VTR装置256、またはVTR装置257は、ステップS111において開始された記録媒体に記録された画像信号を再生する処理を終了して、ステップS115に進む。
ステップS115において、学習回路303は、クラスごとの式(8)の正規方程式を解くことにより、クラスごとのタップ係数を算出して、ステップS116に進む。
ステップS116において、学習回路303は、ステップS115において求めたクラスごとのタップ係数を、ステップS112で生徒データとされた画像信号を再生したDVD装置181、VTR装置256、またはVTR装置257の装置に対応するROMテーブル271、272、または273に供給することにより、ROMテーブル271、272、または273に記憶されているタップ係数を更新して、処理を終了する。
なお、学習回路303では、DVD装置181、VTR装置256、またはVTR装置257から供給される画像信号(生徒データ)と、チューナ13から供給される画像信号(教師データ)とから、リアルタイムで学習を行う(クラス毎のタップ係数を算出する)ようにしたが、学習回路303内の教師データ記憶部241に、DVD装置181、VTR装置256、またはVTR装置257で記録が行われている間にチューナ13が出力する教師データとしての画像信号を記憶(保存)するようにして、DVD装置181、VTR装置256、またはVTR装置257における録画処理が終了した後に、オフラインで学習を行うようにしてもよい。
(第8実施の形態)
図38は、図1のテレビ1の第8実施の形態の構成例を示すブロック図である。なお、上述した第1乃至第7実施の形態と対応する部分については、同一の符号を付してあり、その説明を適宜省略する。
即ち、図38のテレビ1は、図2の第1実施の形態における画像信号処理回路14に代わって画像信号処理回路173が、係数発生回路15に代わって係数発生回路321が、それぞれ設けられている。
第8実施の形態においても、第1実施の形態と同様に、画像信号処理回路173は、チューナ13から供給される画像信号から、高画質の画像信号に変換する画像変換処理を行うものとする。
画像信号処理回路173は、チューナ13から供給される入力画像信号のレベル分布の形状等に応じてクラス分類を行うことにより得られるクラスに対応するクラスコードと、チューナ13から供給される入力画像信号とを、係数発生回路321に出力する。係数発生回路321は、第1実施の形態と同様に、画像信号処理回路173から供給されるクラスコードからタップ係数を求め、そのタップ係数を画像信号処理回路173に供給する。そして、画像信号処理回路173は、係数発生回路321から供給されるタップ係数を用いて、高画質画像を生成し、CRT16に供給する。
図39は、図38の画像信号処理回路173の詳細な構成を示すブロック図である。なお、図3の第1実施の形態と対応する部分については、同一の符号を付してあり、その説明を適宜省略する。
即ち、図39の画像信号処理回路173は、図3の第1実施の形態における画像信号処理回路14とは、係数発生回路321に入力画像信号が供給されないことを除いて同一である。また、図39では、図3の第1実施の形態における係数発生回路15に代わって、係数発生回路321が設けられている。
第1実施の形態では、図3の係数発生回路15に、あらかじめ学習により求めたクラスごとのタップ係数を記憶させておくようにしたが、第8実施の形態の係数発生回路321では、例えば、タップ係数の、いわば種となる種係数データと、所定のパラメータとから、所望の画質の画像を得ることができるクラスごとのタップ係数を生成することが可能である。
そこで、係数発生回路321は、パラメータの値ごとに種係数データを記憶し、さらに、その記憶した種係数データのうちの、クラスコード発生回路34から供給されるクラスコードに対応するアドレスに記憶されている種係数データ(クラスコード発生回路34から供給されるクラスコードが表すクラスの種係数データ)とパラメータとから、タップ係数を生成し、その生成したタップ係数を、予測演算回路35に供給(出力)する。
図40は、種係数データとパラメータとから、クラスごとのタップ係数を生成する係数発生回路321の構成例を示している。
係数発生回路321は、記憶部331、選択スイッチ332、係数生成回路333、およびリモコン電波受信回路335で構成されている。
クラスコード発生回路34(図39)が出力するクラスコードは、記憶部331のROMテーブル341乃至343に供給される。記憶部331は、後述する学習によって得られるクラス毎の種係数データのROMテーブルをパラメータの種類ごとに記憶する。即ち、パラメータの値の範囲ごとに異なる種係数データのROMテーブルが設けられている。図40では、記憶部331は、種係数データのセットAのROMテーブル341、種係数データのセットBのROMテーブル342、および種係数データのセットCのROMテーブル343で構成されている。なお、パラメータの種類は、3種類に分けたが、さらに細かくパラメータの値の範囲を分類する等して3種類以外の種類にすることも可能である。
選択スイッチ332は、リモコン電波受信回路335から供給されるパラメータに基づいて、ROMテーブル341乃至343の出力(種係数データ)のいずれかを選択し、選択された種係数データを係数生成回路333に供給する。
係数生成回路333は、選択スイッチ332から供給される種係数データと、リモコン電波受信回路335から供給されるパラメータとに基づいて、クラスコード発生回路34から供給されたクラスコードに対応するタップ係数を生成し、予測演算回路35に供給(出力)する。
リモコン電波受信回路335は、リモコン4から送信されてくるパラメータを受信し、受信したパラメータを選択スイッチ332と係数生成回路333とに供給する。また、リモコン電波受信回路335は、直前にリモコン4から受信したパラメータを記憶し、必要に応じて係数生成回路333に供給する。
ここで、リモコン4は、例えば、ユーザによって操作される操作つまみなどを備え、その操作に対応した値のパラメータを、リモコン電波受信回路335に送信するものとする。このパラメータは、予測演算回路35で求められる画素値で構成される画像の解像度などに対応する。
図40の係数発生回路321においては、ユーザによるリモコン4の操作に応じて、ROMテーブル341乃至343の出力(種係数データ)の中から選択される種係数データ、さらには、係数生成回路333において生成されるタップ係数が変わる。従って、予測演算回路35(図38)に供給されるタップ係数は、ユーザにより操作されて設定されたパラメータに対して最適なタップ係数であるので、最適化係数であると言える。
次に、図39の画像信号処理回路173と係数発生回路321が行う画像変換処理について説明する。
図10を参照して説明した第1実施の形態における画像変換処理では、ステップS24において、係数発生回路15は、クラスコード発生回路34から供給されるクラスコードに対応するアドレスに記憶されているタップ係数として、図11のROMテーブル選択処理により選択されたROMテーブルが出力するタップ係数を、予測演算回路35に供給(出力)する。
一方、第8実施の形態における画像変換処理では、図10のステップS24において、図41を参照して後述するROMテーブル選択処理により、係数発生回路321の係数生成回路333が、選択スイッチ332から供給される種係数データと、リモコン電波受信回路335から供給されるパラメータとに基づいて、タップ係数を生成する。さらに、係数発生回路321は、クラスコード発生回路34から供給されるクラスコードに対応するアドレスに記憶されているタップ係数として、その生成したタップ係数を、予測演算回路35に供給(出力)する。
第8実施の形態の画像変換処理におけるその他の処理は、図10の画像変換処理と同様に行われる。
次に、図41のフローチャートを参照して、第8実施の形態におけるROMテーブル選択処理について説明する。
初めに、ステップS121において、係数発生回路321のリモコン電波受信回路335は、リモコン4から操作コマンドを受信したか否かを判定する。ステップS121で、リモコン4から操作コマンドを受信してないと判定された場合、ステップS122に進み、選択スイッチ332は、記憶部331のROMテーブル341乃至343の出力のうち、前回の(以前に選択された)ROMテーブルの出力を選択する。そして、ステップS122の処理後は、ステップS125に進む。
一方、ステップS121で、リモコン4から操作コマンドを受信したと判定された場合、ステップS123に進み、リモコン電波受信回路335は、その操作コマンドがパラメータを表すコマンドであるか否かを判定する。
ステップS123で、受信した操作コマンドがパラメータを表すコマンドではないと判定された場合、ステップS122に進み、上述したように、選択スイッチ332は、記憶部331のROMテーブル341乃至343の出力のうち、前回のROMテーブルの出力を選択する。
一方、ステップS123で、受信した操作コマンドがパラメータを表すコマンドであると判定された場合、ステップS124に進み、リモコン電波受信回路335は、受信したパラメータを選択スイッチ332に供給する。そして、選択スイッチ332は、ROMテーブル341乃至343それぞれの出力の中から、パラメータに対応したROMテーブルの出力(種係数データ)を選択し、係数生成回路333に供給して、ステップS125に進む。
ステップS125において、係数生成回路333は、選択スイッチ332から供給された種係数データと、リモコン電波受信回路335から供給されるパラメータとに基づいて、タップ係数を生成し、予測演算回路35に供給(出力)して、ステップS121に戻る。ここで、リモコン4からリモコン電波受信回路335にパラメータが送信されてこない場合には、リモコン電波受信回路335は、内部に記憶してある、直前にリモコン4から受信したパラメータを係数生成回路333に供給することができる。
このROMテーブル選択処理は、上述した画像変換処理が終了されるまで、即ち、入力画像信号が終了したと判定されるまで、画像変換処理と並行して実行される。
次に、係数生成回路333におけるタップ係数の生成と、記憶部331のROMテーブル341乃至343に記憶させる種係数データの学習について説明する。
いま、高画質の画像信号(高画質画像信号)を第2の画像信号とするとともに、その高画質画像信号をLPF(Low Pass Filter)によってフィルタリングする等してその画質(解像度)を低下させた低画質の画像信号(低画質画像信号)を第1の画像信号として、低画質画像信号から予測タップを抽出し、その予測タップとタップ係数を用いて、高画質画素の画素値を、例えば、式(1)の線形1次予測演算によって求める(予測する)ことを考える。
ここで、高画質画素の画素値yは、式(1)に示した線形1次式ではなく、2次以上の高次の式によって求めるようにすることも可能である。
一方、係数生成回路321では、タップ係数wnが、記憶部331のROMテーブル341乃至343に記憶された種係数データと、リモコン電波受信回路335から供給されたパラメータとから生成されるが、この係数生成回路321におけるタップ係数wnの生成が、種係数データとパラメータを用いた、例えば次式によって行われることとする。
但し、式(9)において、βm,nは、n番目のタップ係数wnを求めるのに用いられるm番目の種係数データを表し、zは、パラメータを表す。なお、式(9)では、タップ係数wnが、M個の種係数データβ1,n,β2,n,・・・,βM,nを用いて求められるようになっている。
ここで、種係数データβm,nとパラメータzから、タップ係数wnを求める式は、式(9)に限定されるものではない。
いま、式(9)におけるパラメータzによって決まる値zm-1を、新たな変数tmを導入して、次式で定義する。
式(10)を、式(9)に代入することにより、次式が得られる。
式(11)によれば、タップ係数wnは、種係数データβm,nと変数tmとの線形1次式によって求められることになる。
ところで、いま、第kサンプルの高画質画素の画素値の真値をykと表すとともに、式(1)によって得られるその真値ykの予測値をyk'と表すと、その予測誤差ekは、次式で表される。
いま、式(12)の予測値yk'は、式(1)にしたがって求められるため、式(12)のyk'を、式(1)にしたがって置き換えると、次式が得られる。
但し、式(13)において、xn,kは、第kサンプルの高画質画素についての予測タップを構成するn番目の低画質画素を表す。
式(13)のwnに、式(11)を代入することにより、次式が得られる。
式(14)の予測誤差ekを0とする種係数データβm,nが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのような種係数データβm,nを求めることは、一般には困難である。
そこで、種係数データβm,nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な種係数データβm,nは、次式で表される自乗誤差の総和Eを最小にすることで求めることができる。
但し、式(15)において、Kは、高画質画素ykと、その高画質画素ykについての予測タップを構成する低画質画素x1,k,x2,k,・・・,xN,kとのセットのサンプル数(学習用のサンプルの数)を表す。
式(15)の自乗誤差の総和Eの最小値(極小値)は、式(16)に示すように、総和Eを種係数データβm,nで偏微分したものを0とするβm,nによって与えられる。
式(13)を、式(16)に代入することにより、次式が得られる。
いま、Xi,p,j,qとYi,pを、式(18)と(19)に示すように定義する。
この場合、式(17)は、Xi,p,j,qとYi,pを用いた式(20)に示す正規方程式で表すことができる。
式(20)の正規方程式は、例えば、掃き出し法(Gauss-Jordanの消去法)などを用いることにより、種係数データβm,nについて解くことができる。
図40の記憶部331のROMテーブル341乃至343においては、多数の高画質画素y1,y2,・・・,yKを学習の教師となる教師データとするとともに、各高画質画素ykについての予測タップを構成する低画質画素x1,k,x2,k,・・・,xN,kを学習の生徒となる生徒データとして、式(20)を解く学習を行うことにより求められた種係数データβm,nがパラメータzの範囲ごとに記憶されており、係数生成回路321の係数生成回路333では、種係数データβm,nと、リモコン電波受信回路335から供給されたパラメータzから、式(9)にしたがって、タップ係数wnが生成される。そして、図39の予測演算回路35において、そのタップ係数wnと、高画質画素としての注目画素についての予測タップを構成する低画質画素xnを用いて、式(1)が計算されることにより、高画質画素としての注目画素の画素値(に近い予測値)が求められる。
図42は、式(20)の正規方程式をたてて解くことにより種係数データβm,nを求める学習を行う学習装置の構成例を示している。なお、図中、図5における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
学習装置には、種係数データβm,nの学習に用いられる学習用画像信号が入力されるようになっている。ここで、学習用画像信号としては、例えば、解像度の高い高画質画像信号を用いることができる。
学習装置において、学習用画像信号は、教師データ生成部51と生徒データ生成部53に供給される。
教師データ生成部51は、そこに供給される学習用画像信号から教師データを生成し、教師データ記憶部52に供給する。即ち、ここでは、教師データ生成部51は、学習用画像信号としての高画質画像信号を、そのまま教師データとして、教師データ記憶部52に供給する。
教師データ記憶部52は、教師データ生成部51から供給される教師データとしての高画質画像信号を記憶する。
生徒データ生成部53は、学習用画像信号から生徒データを生成し、生徒データ記憶部54に供給する。即ち、生徒データ生成部53は、学習用画像信号としての高画質画像信号をフィルタリングすることにより、その解像度を低下させることで、低画質画像信号を生成し、この低画質画像信号を、生徒データとして、生徒データ記憶部54に供給する。
ここで、生徒データ生成部53には、学習用画像信号の他、パラメータzが取り得る範囲の幾つかの値が、パラメータ生成部351から供給されるようになっている。即ち、いま、パラメータzが取り得る値が0乃至Zの範囲の実数であるとすると、生徒データ生成部53には、例えば、z=0,1,2,・・・,Zが、パラメータ生成部351から供給されるようになっている。
生徒データ生成部53は、学習用画像信号としての高画質画像信号を、そこに供給されるパラメータzに対応するカットオフ周波数のLPFによってフィルタリングすることにより、生徒データとしての低画質画像信号を生成する。
従って、この場合、生徒データ生成部53では、図43に示すように、学習用画像信号としての高画質画像信号について、Z+1種類の、解像度の異なる生徒データとしての低画質画像信号が生成される。
なお、ここでは、例えば、パラメータzの値が大きくなるほど、カットオフ周波数の高いLPFを用いて、高画質画像信号をフィルタリングし、生徒データとしての低画質画像信号を生成するものとする。従って、ここでは。値の大きいパラメータzに対応する低画質画像信号ほど、解像度が低い。
また、本実施の形態では、説明を簡単にするために、生徒データ生成部53において、高画質画像信号の水平方向および垂直方向の両方向の解像度を、パラメータzに対応する分だけ低下させた低画質画像信号を生成するものとする。
図42に戻り、生徒データ記憶部54は、生徒データ生成部53から供給される生徒データを記憶する。
予測タップ抽出部55は、教師データ記憶部52に記憶された教師データとしての高画質画像信号を構成する画素を、順次、注目教師画素とし、その注目教師画素について、生徒データ記憶部54に記憶された生徒データとしての低画質画像信号を構成する低画質画素のうちの所定のものを抽出することにより、図39の予測タップ抽出回路31が構成するのと同一のタップ構造の予測タップを構成し、足し込み部352に供給する。
クラスタップ抽出部56は、注目教師画素について、生徒データ記憶部54に記憶された生徒データとしての低画質画像信号を構成する低画質画素のうちの所定のものを抽出することにより、図39のクラスタップ抽出回路33が構成するのと同一のタップ構造のクラスタップを構成し、クラスコード発生部57に供給する。
なお、予測タップ抽出部55とクラスタップ抽出部56には、パラメータ生成部351が生成するパラメータzが供給されるようになっており、予測タップ抽出部55とクラスタップ抽出部56は、パラメータ生成部351から供給されるパラメータzに対応して生成された生徒データ(ここでは、パラメータzに対応するカットオフ周波数のLPFを用いて生成された生徒データとしての低画質画像信号)を用いて、予測タップとクラスタップをそれぞれ構成する。
クラスコード発生部57は、クラスタップ抽出部56が出力するクラスタップに基づき、図39のクラスコード発生回路34と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部352に出力する。
パラメータ生成部351は、パラメータzが取り得る範囲の幾つかの値としての、例えば、上述したようなz=0,1,2,・・・,Zを生成し、生徒データ生成部53に供給する。また、パラメータ生成部351は、生成したパラメータzを、予測タップ抽出部55およびクラスタップ抽出部56、並びに足し込み部352にも供給する。
足し込み部352は、教師データ記憶部52から、注目教師画素を読み出し、その注目教師画素、予測タップ抽出部55から供給される注目教師画素について構成された予測タップを構成する生徒データ、およびその生徒データを生成したときのパラメータzを対象とした足し込みを、クラスコード発生部57から供給されるクラスコードごとに行う。
即ち、足し込み部352には、教師データ記憶部52に記憶された教師データyk、予測タップ抽出部55が出力する予測タップxi,k(xj,k)、およびクラスコード発生部57が出力するクラスコードの他、その予測タップを構成するのに用いられた生徒データを生成したときのパラメータzも、パラメータ生成部351から供給されるようになっている。
そして、足し込み部352は、クラスコード発生部57から供給されるクラスコードに対応するクラスごとに、予測タップ(生徒データ)xi,k(xj,k)とパラメータzを用い、式(20)の左辺の行列における、式(18)で定義されるコンポーネントXi,p,j,qを求めるための生徒データおよびパラメータzの乗算(xi,ktpxj,ktq)と、サメーション(Σ)に相当する演算を行う。なお、式(18)のtpは、式(10)にしたがって、パラメータzから計算される。式(18)のtqも同様である。
さらに、足し込み部352は、やはり、クラスコード発生部57から供給されるクラスコードに対応するクラスごとに、予測タップ(生徒データ)xi,k、教師データyk、およびパラメータzを用い、式(20)の右辺のベクトルにおける、式(19)で定義されるコンポーネントYi,pを求めるための生徒データxi,k、教師データyk、およびパラメータzの乗算(xi,ktpyk)と、サメーション(Σ)に相当する演算を行う。なお、式(19)のtpは、式(10)にしたがって、パラメータzから計算される。
即ち、足し込み部352は、前回、注目教師画素とされた教師データについて求められた式(20)における左辺の行列のコンポーネントXi,p,j,qと、右辺のベクトルのコンポーネントYi,pを、その内蔵するメモリ(図示せず)に記憶しており、その行列のコンポーネントXi,p,j,qまたはベクトルのコンポーネントYi,pに対して、新たに注目教師画素とされた教師データについて、その教師データyk、生徒データxi,k(xj,k)、およびパラメータzを用いて計算される、対応するコンポーネントxi,ktpxj,ktqまたはxi,ktpykを足し込む(式(18)のコンポーネントXi,p,j,qまたは式(19)のコンポーネントYi,pにおけるサメーションで表される加算を行う)。
そして、足し込み部352は、0,1,・・・,Zのすべての値のパラメータzにつき、教師データ記憶部52に記憶された教師データすべてを注目教師画素として、上述の足し込みを行うことにより、各クラスについて、式(20)に示した正規方程式をたてると、その正規方程式を、種係数算出部353に供給する。
種係数算出部353は、足し込み部352から供給されるクラスごとの正規方程式を解くことにより、クラスごとの種係数データβm,nを求めて出力する。
次に、図44のフローチャートを参照して、図42の学習装置の処理(学習処理)について説明する。
最初に、ステップS131において、教師データ生成部51と生徒データ生成部53が、学習用画像信号から、教師データと生徒データを、それぞれ生成して出力する。即ち、教師データ生成部51は、学習用画像信号を、そのまま、教師データとして出力する。また、生徒データ生成部31には、パラメータ生成部351が生成するZ+1個の値のパラメータzが供給され、生徒データ生成部31は、学習用画像信号を、パラメータ生成部351からのZ+1個の値(0,1,・・・,Z)のパラメータzに対応するカットオフ周波数のLPFによってフィルタリングすることにより、各フレームの教師データ(学習用画像信号)について、Z+1フレームの生徒データを生成して出力する。
教師データ生成部51が出力する教師データは、教師データ記憶部52に供給されて記憶され、生徒データ生成部53が出力する生徒データは、生徒データ記憶部54に供給されて記憶される。
その後、ステップS132に進み、パラメータ生成部351は、パラメータzを、初期値としての、例えば0にセットし、予測タップ抽出部55およびクラスタップ抽出部56、並びに足し込み部352に供給して、ステップS133に進む。ステップS133では、予測タップ抽出部55は、教師データ記憶部52に記憶された教師データのうち、まだ、注目教師画素としていないものを、注目教師画素とする。さらに、ステップS133では、予測タップ抽出部55が、注目教師画素について、生徒データ記憶部54に記憶された、パラメータ生成部351が出力するパラメータzに対する生徒データ(注目教師画素となっている教師データに対応する学習用画像信号を、パラメータzに対応するカットオフ周波数のLPFによってフィルタリングすることにより生成された生徒データ)から予測タップを構成(抽出)し、足し込み部352に供給するとともに、クラスタップ抽出部56が、やはり、注目教師画素について、生徒データ記憶部54に記憶された、パラメータ生成部351が出力するパラメータzに対する生徒データからクラスタップを構成(抽出)し、クラスコード発生部57に供給する。
そして、ステップS134に進み、クラスコード発生部57は、注目教師画素についてのクラスタップに基づき、注目教師画素のクラス分類を、図39のクラスコード発生回路34における場合と同様にして行い、その結果得られるクラスに対応するクラスコードを、足し込み部352に出力して、ステップS135に進む。
ステップS135では、足し込み部352は、教師データ記憶部52から注目教師画素を読み出し、その注目教師画素、予測タップ抽出部55から供給される予測タップ、パラメータ生成部351が出力するパラメータzを用い、式(20)における左辺の行列のコンポーネントxi,ktpxj,ktqと、右辺のベクトルのコンポーネントxi,ktpykを計算する。さらに、足し込み部352は、既に得られている行列のコンポーネントとベクトルのコンポーネントのうち、クラスコード発生部57からのクラスコードに対応するものに対して、注目画素、予測タップ、およびパラメータzから求められた行列のコンポーネントxi,ktpxj,ktqとベクトルのコンポーネントxi,ktpykを足し込み、ステップS136に進む。
ステップS136では、パラメータ生成部351が、自身が出力しているパラメータzが、その取り得る値の最大値であるZに等しいかどうかを判定する。ステップS136において、パラメータ生成部351が出力しているパラメータzが最大値Zに等しくない(最大値Z未満である)と判定された場合、ステップS137に進み、パラメータ生成部351は、パラメータzに1を加算し、その加算値を新たなパラメータzとして、予測タップ抽出部55およびクラスタップ抽出部56、並びに足し込み部352に出力する。そして、ステップS133に戻り、以下、同様の処理が繰り返される。
また、ステップS136において、パラメータzが最大値Zに等しいと判定された場合、ステップS138に進み、予測タップ抽出部55が、教師データ記憶部52に、まだ、注目教師画素としていない教師データが記憶されているかどうかを判定する。ステップS138において、注目教師画素としていない教師データが、まだ、教師データ記憶部52に記憶されていると判定された場合、予測タップ抽出部55は、まだ注目教師画素としていない教師データを、新たに、注目教師画素として、ステップS132に戻り、以下、同様の処理が繰り返される。
また、ステップS138において、注目教師画素としていない教師データが、教師データ記憶部52に記憶されていないと判定された場合、足し込み部352は、いままでの処理によって得られたクラスごとの式(20)における左辺の行列と、右辺のベクトルを、種係数算出部353に供給し、ステップS139に進む。
ステップS139では、種係数算出部353は、足し込み部352から供給されるクラスごとの式(20)における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、クラスごとに、種係数データβm,nを求めて出力し、処理を終了する。
なお、学習用画像信号の数が十分でないこと等に起因して、種係数データを求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、種係数算出部353は、例えば、予め設定された種係数データを出力するようになっている。
図40の記憶部331のROMテーブル341乃至343には、以上のようにして求められたクラスごとの種係数データβm,nが記憶されている。
上述の場合には、学習用画像信号を、そのまま第2の画像信号に対応する教師データとするとともに、その学習用画像信号の解像度を劣化させた低画質画像信号を、第1の画像信号に対応する生徒データとして、種係数データの学習を行うようにしたことから、種係数データとしては、第1の画像信号を、その解像度を向上させた第2の画像信号に変換する解像度向上処理としての画像変換処理を行うものを得ることができる。
この場合、画像信号処理回路173では、パラメータzに対応して、画像信号の水平解像度および垂直解像度を向上させることができる。従って、この場合、パラメータzは、解像度に対応するパラメータであるということができる。
ここで、第1の画像信号に対応する生徒データと、第2の画像信号に対応する教師データとする画像信号の選択の仕方によって、種係数データとしては、各種の画像変換処理を行うものを得ることができる。
即ち、例えば、高画質画像信号を教師データとするとともに、その教師データとしての高画質画像信号に対して、パラメータzに対応するレベルのノイズを重畳した画像信号を生徒データとして、学習処理を行うことにより、種係数データとしては、第1の画像信号を、そこに含まれるノイズを除去(低減)した第2の画像信号に変換するノイズ除去処理としての画像変換処理を行うものを得ることができる。
記憶部331のROMテーブル341乃至343に、ノイズ除去処理用の種係数データを記憶させておく場合、画像信号処理回路173では、パラメータzに対応して、画像信号のノイズ除去を行うことができる。
なお、上述の場合には、タップ係数wnを、式(9)に示したように、β1,nz0+β2,nz1+・・・+βM,nzM-1で定義し、この式(9)によって、水平および垂直方向の解像度を、いずれも、パラメータzに対応して向上させるためのタップ係数wnを求めるようにしたが、タップ係数wnとしては、水平解像度と垂直解像度を、独立のパラメータzxとzyに対応して、それぞれ独立に向上させるものを求めるようにすることも可能である。
即ち、タップ係数wnを、式(9)に代えて、例えば、3次式β1,nzx 0zy 0+β2,nzx 1zy 0+β3,nzx 2zy 0+β4,nzx 3zy 0+β5,nzx 0zy 1+β6,nzx 0zy 2+β7,nzx 0zy 3+β8,nzx 1zy 1+β9,nzx 2zy 1+β10,nzx 1zy 2で定義するとともに、式(10)で定義した変数tmを、式(10)に代えて、t1=zx 0zy 0,t2=zx 1zy 0,t3=zx 2zy 0,t4=zx 3zy 0,t5=zx 0zy 1,t6=zx 0zy 2,t7=zx 0zy 3,t8=zx 1zy 1,t9=zx 2zy 1,t10=zx 1zy 2で定義する。この場合も、タップ係数wnは、最終的には、式(11)で表すことができ、従って、学習装置(図42)において、パラメータzxとzyに対応して、教師データの水平解像度と垂直解像度をそれぞれ劣化させた画像信号を、生徒データとして用いて学習を行って、種係数データβm,nを求めることにより、水平解像度と垂直解像度を、独立のパラメータzxとzyに対応して、それぞれ独立に向上させるタップ係数wnを求めることができる。
その他、例えば、水平解像度と垂直解像度それぞれに対応するパラメータzxとzyに加えて、さらに、時間方向の解像度に対応するパラメータztを導入することにより、水平解像度、垂直解像度、時間解像度を、独立のパラメータzx,zy,ztに対応して、それぞれ独立に向上させるタップ係数wnを求めることが可能となる。
図45は、図39の係数発生回路321において、リモコン受信回路335が受信したパラメータの値と、その値に基づいて選択されるROMテーブルを説明する図である。
図45上側は、リモコン4が、例えば、上述したように、高画質画像信号の水平方向および垂直方向の両方向の解像度を表す1つのパラメータzをリモコン電波受信回路335に送信する場合の、選択スイッチ332が選択するROMテーブルを説明する図である。
ROMテーブル341乃至343それぞれには、パラメータzを0乃至za、za乃至zb、zb乃至zcの範囲で変化させながら学習を行うことによりそれぞれ得られる種係数データのセットA,B,Cが記憶されている。
この場合、例えば、リモコン電波受信回路335が0以上za未満のパラメータzを選択スイッチ332に供給すると、選択スイッチ332は、種係数データのセットAのROMテーブル341の出力(種係数データ)を選択する。また、リモコン電波受信回路335がza以上zb未満のパラメータzを選択スイッチ332に供給すると、選択スイッチ332は、種係数データのセットBのROMテーブル342の出力(種係数データ)を選択する。さらに、リモコン電波受信回路335がzb以上Z以下のパラメータzを選択スイッチ332に供給すると、選択スイッチ332は、種係数データのセットCのROMテーブル343の出力(種係数データ)を選択する。
図45下側は、リモコン4が、例えば、上述したように、高画質画像信号の水平解像度と垂直解像度をそれぞれ表す独立の2つのパラメータzxとzyをリモコン電波受信回路335に送信する場合の、選択スイッチ332が選択するROMテーブルを説明する図である。
ROMテーブル341には、パラメータzxを0乃至zx1の範囲で変化させ、かつ、パラメータzyを0乃至zy1の範囲で変化させながら学習を行うことによりそれぞれ得られる種係数データのセットAが記憶されている。
ROMテーブル342には、パラメータzxをzx1乃至Zxの範囲で変化させ、かつ、パラメータzyを0乃至zy1の範囲で変化させながら学習を行うことによりそれぞれ得られる種係数データのセットBが記憶されている。
ROMテーブル343には、パラメータzxを0乃至zx1Zxの範囲で変化させ、かつ、パラメータzyをzy1乃至Zyの範囲で変化させながら学習を行うことによりそれぞれ得られる種係数データのセットCが記憶されている。
この場合、例えば、リモコン電波受信回路335が、0以上zx1未満のパラメータzxと、0以上zy1未満のパラメータzyを選択スイッチ332に供給すると、選択スイッチ332は、種係数データのセットAのROMテーブル341の出力(種係数データ)を選択する。また、リモコン電波受信回路335が、zx1以上Zx以下のパラメータzxと、0以上zy1未満のパラメータzyを選択スイッチ332に供給すると、選択スイッチ332は、種係数データのセットBのROMテーブル341の出力(種係数データ)を選択する。さらに、リモコン電波受信回路335が、0以上zx1未満のパラメータzxと、zy1以上Zy以下のパラメータzyを選択スイッチ332に供給すると、選択スイッチ332は、種係数データのセットCのROMテーブル341の出力(種係数データ)を選択する。なお、パラメータzxがzx1以上Zx以下で、パラメータzyがzy1以上Zy以下の範囲についても、種係数データを求める学習を行い、その種係数データを記憶させたROMテーブルを、記憶部331に記憶させることが可能である。
以上のように、第8実施の形態では、係数発生回路321は、ユーザがリモコン4を操作することによりリモコン4から送信されてくるパラメータを受信し、そのパラメータに基づいて、最適な種係数データを選択してタップ係数を生成し、画像信号処理回路173に出力(供給)する。そして、画像信号処理回路173は、供給された最適なタップ係数を用いて、入力画像信号から、例えば、高画質画像を得て出力するので、パラメータに最適な画像変換処理を行うことができる。このパラメータは、例えば、上述したように、画像の解像度や、ノイズ除去に関するパラメータとすることができるので、ユーザは、リモコン4を操作することにより、CRT16に表示される画像を好みの画質の画像とすることができる。
従って、ユーザの視聴の特性(好み)を利用して(活用して)、最適な画像変換処理を行うことができる。
上述した実施の形態においては、ベイ3がテレビ1と着脱自在とされ、テレビ1本体とは関係なくベイ3のバージョンアップが可能となるので、テレビ1における画像変換処理の柔軟性、自由度を向上させることができる。また、ベイ3において、画像変換処理の一部を行うようにさせたので、テレビ1本体の処理の負担を軽減することができる。
また、上述した実施の形態では、係数発生回路15をベイ3内に配置し、着脱自在としたが、画像信号処理回路173も含めてベイ3内に配置するようにしてもよい。
また、例えば、ベイ3内の係数発生回路15は、リモコン4から送信されてくる操作コマンドを受信し、その操作コマンドに応じて、最適なROMテーブルを選択するので、本実施の形態では、ユーザは、画像変換処理が行われていることを意識することなく高解像度の画像を視聴することができる。
なお、上述した例では、本発明を1台のテレビ1に適用した場合について説明したが、本発明は、複数台のテレビ1を格子状に配列し、その複数台のテレビ1それぞれの画面のすべてを1つの画面として、画像を表示するようなマルチテレビシステムにも適用することができる。
上述した画像変換処理並びにROMテーブル選択処理、その他の一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアによって行う場合、例えば、その一連の処理は、図46に示されるようなコンピュータにプログラムを実行させることにより実現することができる。
図46において、CPU(Central Processing Unit)401は、ROM(Read Only Memory)402に記憶されているプログラム、または記憶部408からRAM(Random Access Memory)403にロードされたプログラムに従って各種の処理を実行する。RAM403にはCPU401が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU401、ROM402、およびRAM403は、バス404を介して相互に接続されている。このバス404にはまた、入出力インタフェース405も接続されている。
入出力インタフェース405には、キーボード、マウスなどよりなる入力部406、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部407、ハードディスクなどより構成される記憶部408、モデム、ターミナルアダプタなどより構成される通信部409が接続されている。通信部409は、インターネットなどのネットワークを介しての通信処理を行う。
入出力インタフェース405にはまた、必要に応じてドライブ410が接続され、磁気ディスク421、光ディスク422、光磁気ディスク423、或いは半導体メモリ424などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部408にインストールされる。
なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。