JP2006211255A - 情報処理装置および回収基板 - Google Patents

Abstract

【課題】ユーザの使用環境あるいは嗜好に合ったノイズ除去度値の調整情報を得ることができるようにする。
【解決手段】画質変更部６３Ａは、入力画像信号に対して、調整された解像度値とノイズ除去度値で解像度創造処理を行う。ノイズ量検出部６３Ｂは、入力画像信号のノイズ量ＮＤを検出する。回収基板部７０の蓄積部８１に、情報取得部８２で例えばフレーム毎に取得されたノイズ量を蓄積すると共に、マニュアルモード時に、画質変更部６３Ａにおけるノイズ除去度値が調整される毎に、情報取得部８２で取得されたノイズ除去度値およびノイズ量の対データを蓄積する。回収基板部７０を回収し、蓄積部８１の蓄積内容に基づいて、ユーザの使用環境あるいは嗜好に合ったノイズ除去度値の調整情報（ノイズ量とノイズ除去度値の対応情報、ノイズ除去度値の調整範囲情報）を得ることが可能となる。
【選択図】 図１

Description

この発明は、例えばテレビ受信機等に適用して好適な情報処理装置および回収基板に関する。

詳しくは、この発明は、少なくとも、入力情報信号から検出されるノイズ量、またはユーザにより調整されたノイズ除去度値およびその調整時に入力情報信号から検出されているノイズ量の対データを蓄積手段に蓄積するように制御することによって、ユーザの使用環境あるいは嗜好に合ったノイズ除去度値の調整情報を得ることができるようにした情報処理装置および回収基板に係るものである。

従来、テレビ受信機に、チューナから出力される映像信号（画像信号）に含まれるノイズを除去するノイズ除去処理部を備えることが知られている。また従来、この映像信号に含まれるノイズの量を検出し、ノイズ除去処理部を、検出されたノイズ量に対応したノイズ除去度値で動作させることが考えられている。

例えば、特許文献１には、映像信号に含まれるノイズの量を検出し、ノイズ量に応じて高域成分を含む高域成分を減衰させることが開示されている。このため、特許文献１には、入力映像信号のブランキング期間中に含まれるノイズを検出するブランキングノイズ検出回路と、この検出回路によるノイズ検出出力に基づいて入力映像信号の周波数特性を変化させる周波数特性可変回路を具備する自動画質調整回路が記載されている。

実開昭６１−５７６６２号公報

しかし、特許文献１に記載される技術では、ノイズ量と高域成分の減衰量との対応関係が、ユーザの実際の使用環境下におけるノイズ量、あるいはユーザのノイズ除去操作に基づいて決められたものではなく、あくまでもメーカー開発者の想定によって決められている。そのため、特許文献１に記載される技術では、ユーザの使用環境あるいは嗜好に合ったノイズ除去処理を行うことができないという不都合があった。

この発明の目的は、ユーザの使用環境あるいは嗜好に合ったノイズ除去度値の調整情報を得ることができるようにすることにある。

この発明に係る情報処理装置は、入力される情報信号に含まれるノイズを除去するノイズ除去処理手段と、このノイズ除去処理手段におけるノイズ除去度値をユーザが調整するための調整手段と、入力される情報信号に含まれるノイズの量を検出するノイズ量検出手段と、少なくとも、ノイズ量検出手段で検出されるノイズ量、または調整手段で調整されたノイズ除去度値およびその調整時にノイズ量検出手段で検出されているノイズ量の対データを、蓄積手段に蓄積するように制御する蓄積制御手段とを備えるものである。

また、この発明に係る回収基板は、入力される情報信号に含まれるノイズを除去するノイズ除去処理手段と、このノイズ除去処理手段におけるノイズ除去度値をユーザが調整するための調整手段と、入力される情報信号に含まれるノイズの量を検出するノイズ量検出手段とを備える情報処理装置に着脱自在に接続される回収基板であって、少なくとも、ノイズ量検出手段で検出されるノイズ量、または調整手段で調整されたノイズ除去度値およびその調整時にノイズ量検出手段で検出されているノイズ量の対データを蓄積する蓄積手段を備えるものである。

この発明においては、ノイズ除去処理手段で、入力情報信号からノイズを除去する処理が行われる。ここで、情報信号は、例えば、画像信号（映像信号）、音声信号などである。情報信号が画像信号であるとき、ノイズとして、ホワイトノイズ、ゴースト、ブロックノイズ、モスキートノイズ、リンギングなどが挙げられる。情報信号が音声信号であるとき、ノイズとして、ホワイトノイズ、符号化ノイズなどが挙げられる。このノイズ除去処理手段におけるノイズ除去度値をユーザが調整するための調整手段が備えられている。また、ノイズ量検出手段で、入力情報信号に含まれるノイズの量が検出される。

蓄積制御手段により、少なくとも、ノイズ量検出手段で検出されるノイズ量、または調整手段で調整されたノイズ除去度値およびその調整時にノイズ量検出手段で検出されているノイズ量の対データが蓄積手段に蓄積されるように制御される。このように、蓄積手段に、検出ノイズ量、またはノイズ除去度値および検出ノイズ量の対データが蓄積されることで、その蓄積内容に基づいて、ユーザの使用環境あるいは嗜好に合ったノイズ除去度値の調整情報を得ることができる。

例えば、蓄積手段は蓄積制御手段と共に、回収基板部（回収基板）に含まれている。この回収基板部は、処理本体部（情報処理装置）に着脱自在に接続される。この場合、上述したノイズ除去処理手段、調整手段およびノイズ量検出手段は、処理本体部に含まれている。このように蓄積手段が回収基板部に含まれている場合、この回収基板部を回収し、蓄積手段の蓄積内容に基づいて、ユーザの使用環境あるいは嗜好に合ったノイズ除去度値の調整情報を得ることが可能となる。この場合、処理本体部（情報処理装置）は、調整情報を得るための回路を設けないで済み、構成が複雑となることを防止できる。

また例えば、蓄積手段は所定のネットワークに接続されており、蓄積制御手段はネットワークインタフェースを介して蓄積手段に接続される。この場合、この蓄積手段側で、蓄積手段の蓄積内容に基づいて、ユーザの使用環境あるいは嗜好に合ったノイズ除去度値の調整情報を得ることが可能となる。この場合、処理本体部（情報処理装置）は、調整情報を得るための回路を設けないで済み、構成が複雑となることを防止できる。

例えば、ノイズ除去度値の調整情報は、ノイズ量とノイズ除去度値の対応情報とされる。この対応情報は、例えば、蓄積手段に蓄積されている複数個の検出ノイズ量に基づいて決定される。また、この対応情報は、例えば、蓄積手段に蓄積されているノイズ除去度値および検出ノイズ量の対データを複数個用いることで求められる。例えば、この対応情報は、複数個の対データを用いて、ノイズ量とノイズ除去度値の対応関係を示す１次近似直線を決定することで得られる。この場合、複数個の対データに蓄積された時間による重み付けをしてもよい。またこの場合、ノイズ量の軸を複数区間に分け、各区間毎に１次近似直線を決定するようにしてもよい。

また例えば、ノイズ除去度値の調整情報は、ノイズ除去度値の調整範囲の情報とされる。この調整範囲情報は、例えば、蓄積手段に蓄積されている複数個の検出ノイズ量に基づいて決定される。また、この調整範囲情報は、例えば、蓄積手段に蓄積されているノイズ除去度値および検出ノイズ量の対データを複数個用いることで決定される。例えば、この調整範囲情報は、複数個のノイズ除去度値に含まれる最大除去度値の頻度および最小除去度値の頻度に基づいて決定される。また例えば、この調整範囲情報は、複数個のノイズ除去度値の重心に基づいて決定される。この場合、複数個のノイズ除去度値に蓄積された時間による重み付けをしてもよい。

例えば、第１の保持手段に、上述したノイズ量とノイズ除去度値の対応情報が保持されている。回収基板部を回収して対応情報を得る場合、例えばメモリカード等を用いることでこの第１の保持手段に当該対応情報を格納できる。しかし、この第１の保持手段を処理本体部（情報処理装置）に新たに接続される回収基板部（回収基板）に含めることで、メモリカードなどを用いることなく、この回収基板部により処理本体部に対応情報を提供できる。また、ネットワークを介して接続される蓄積手段側で対応情報を得る場合、このネットワークを介して当該対応情報を取得して、第１の保持手段に格納できる。

このように第１の保持手段にノイズ量とノイズ除去度値の対応情報が保持されている場合、オートモード時には、ノイズ除去度値制御手段により、その対応情報に基づき、ノイズ除去処理手段におけるノイズ除去度値がノイズ量検出手段で検出されたノイズ量に対応したものに制御される。第１の保持手段に保持されるノイズ量とノイズ除去度値の対応情報が、上述したように蓄積手段に蓄積された、検出ノイズ量、あるいはノイズ除去度値および検出ノイズ量の対データに基づいて決定されたものであるときは、ユーザの使用環境あるいは嗜好に合ったノイズ除去度値に自動的に調整される。

例えば、第２の保持手段に、上述したノイズ除去度値の調整範囲の情報が保持されている。回収基板部を回収して対応情報を得る場合、例えばメモリカード等を用いることでこの第２の保持手段に当該調整範囲情報を格納できる。しかし、この第２の保持手段を処理本体部（情報処理装置）に新たに接続される回収基板部（回収基板）に含めることで、メモリカードなどを用いることなく、この回収基板部により処理本体部に調整範囲情報を提供できる。また、ネットワークを介して接続される蓄積手段側で調整範囲情報を得る場合、このネットワークを介して当該調整範囲情報を取得して、第２の保持手段に格納できる。

このように第２の保持手段に調整範囲情報が保持されている場合、マニュアルモード時には、調整範囲規制手段により、その調整範囲情報に基づき、調整手段で調整し得るノイズ除去度値の範囲が規制される。第２の保持手段に保持されるノイズ除去度値の調整範囲情報が、上述したように蓄積手段に蓄積された、検出ノイズ量、あるいはノイズ除去度値および検出ノイズ量の対データに基づいて決定されたものであるときは、ユーザは、使用環境あるいは自分の嗜好に合ったノイズ除去度値に簡単かつ確実に調整できる。

例えば、ノイズ除去処理手段は、入力情報信号に基づいて出力情報信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択部と、係数種データおよびノイズ除去度値を用いて推定式の係数データを生成する係数データ生成部と、データ選択部で選択された複数の情報データおよび係数データ生成部で生成された係数データを用い、推定式に基づいて、出力情報信号における注目位置の情報データを算出して得る演算部とを有する構成とされる。例えば、上述の係数種データは、第３の保持手段に保持される。この係数種データは、例えば、上述したノイズ除去度値の調整範囲にあるノイズ量の学習データを用いて生成されたものとされる。

この発明によれば、少なくとも、入力情報信号から検出されるノイズ量、またはユーザにより調整されたノイズ除去度値およびその調整時に入力情報信号から検出されているノイズ量の対データを蓄積手段に蓄積するように制御するものであり、蓄積手段の蓄積内容に基づいて、ユーザの使用環境あるいは嗜好に合ったノイズ除去度値の調整情報を得ることができる。

この発明の実施の形態について説明する。図１は、この発明を適用した画像処理装置５１の構成を示している。
この画像処理装置５１は、テレビチューナ６１、入力切替部６２、画質変更部６３Ａ、ノイズ量検出部６３Ｂ、画質設定部６４、音質設定部６５、モニタ６６、受光部６７、制御部６８、リムーバブルメディア６９、および回収基板部７０により構成されている。回収基板部７０は、さらに、蓄積部８１、情報取得部８２および係数メモリ８３により構成されている。そして、これらの各部は、バス６０により相互に接続され、必要な制御命令等が、各部に供給されるようになされている。

テレビチューナ６１は、図示せぬアンテナを介して受信した地上波からの放送信号を復調し、画像信号と音声信号を入力切替部６２に出力する。入力切替部６２にはまた、図示せぬＶＣＲから出力された画像信号と音声信号も入力されている。ここで、テレビチューナ６１、ＶＣＲは、それぞれ、画像信号源を構成している。入力切替部６２は、制御部６８からの指令に基づいて、入力された画像信号と音声信号のうち、所定の画像信号源（ソース）のものを選択し、選択された画像信号を画質変更部６３Ａに供給するとともに、選択された音声信号を音質設定部６５に出力する。

画質変更部６３Ａは、入力された画像信号の画質を、制御部６８からの制御命令などに基づいて変更し、画質設定部６４に出力する。すなわち、この画質変更部６３Ａは、入力された画像信号に対して、解像度、ノイズ除去度の画質変更処理を行う。

ノイズ量検出部６３Ｂは、画像信号に含まれるノイズ（ここでは、ホワイトノイズ）の量を検出する。このノイズ量検出部６３Ｂは、例えば、特許文献１に記載されるものと同様に、図２に示すような構成とされている。

このノイズ量検出部６３Ｂは、制御部６３ａおよび検出本体部６３ｂからなっている。制御部６３ａは、検出本体部６３ｂの動作をはじめ、全体の動作を制御する。検出本体部６３ｂは、入力された画像信号（映像信号）に含まれるノイズの量を検出する。制御部６３ａは、バス６０に接続されている。この制御部６３ａは、検出本体部６３ｂで例えばフレーム毎に検出されるノイズ量ＮＤを、バス６０に送出する。

検出本体部６３ｂは、ローパスフィルタ（ＬＰＦ）６３ｃ、ブランキングパルス（ＢＬＫパルス）生成回路６３ｄ、ハイパスフィルタ（ＨＰＦ）６３ｅ、ブランキングノイズ検出回路（ＢＬＫノイズ）検出回路６３ｆ、積分回路６３ｇおよびＡ／Ｄコンバータ６３ｈからなっている。

ローパスフィルタ６３ｃは、入力された画像信号（映像信号）の低域成分、特に水平、垂直のブランキング信号や同期信号の低域成分のみを通過させる。ブランキングパルス生成回路６３ｄは、ローパスフィルタ６３ｃの出力信号に基づいて、水平もしくは垂直のブランキングパルスを生成する。ハイパスフィルタ６３ｅは、入力された画像信号（映像信号）のノイズを含む高域成分のみを通過させる。

ブランキングノイズ検出回路６３ｆは、ブランキングパルス生成回路６３ｄで生成されたブランキングパルスに基づいて、ハイパスフィルタ６３ｅの出力信号からブランキング期間中の高域成分を検出する。この場合、ブランキング期間には画像信号は存在せず、従ってこの期間中の高域成分はノイズ成分となる。積分回路６３ｇは、ブランキングノイズ検出回路６３ｆで検出されたノイズ成分を積分してノイズ量に対応した電圧信号に変換する。Ａ／Ｄコンバータ６３ｈは、積分回路６３ｇの出力信号（電圧信号）をアナログ信号からデジタル信号に変換してノイズ量ＮＤを得る。

図１に戻って、画質設定部６４は、画質変更部６３Ａで変更される以外の画質、例えば、明るさ、色合いなどの設定を行う。画質設定部６４により明るさや色合いが調整された画像信号は、モニタ６６に供給される。音質設定部６５は、入力された音声信号の音質を制御部６８からの制御命令に基づいて調整設定し、モニタ６６に出力する。モニタ６６は、入力された画像信号に対応する画像を表示するとともに、入力された音声信号に対応する音声を、内蔵するスピーカから出力する。

制御部６８は、例えば、マイクロコンピュータなどにより構成される。受光部６７は、図示せぬリモートコントローラからの赤外線信号を受光し、その赤外線信号に対応する信号を制御部６８に出力する。リムーバブルメディア６９は、必要に応じて装着され、記録されているプログラムなどを制御部６８に供給する。制御部６８は、受光部６７より供給された信号に基づいて、対応する制御命令を生成し、バス６０を介して各部に出力する。

回収基板部７０の情報取得部８２は、例えば、マイクロコンピュータなどにより構成され、バス６０を介して入力された、制御命令、ノイズ量などに基づいて、蓄積部８１の蓄積動作を制御する。この意味で、情報取得部８２は、蓄積制御手段を構成している。蓄積部８１は、情報取得部８２で例えばフレーム毎に取得された、ノイズ量を蓄積する。図３は、その蓄積データ例を示している。また、蓄積部８１は、マニュアルモード時に、画質変更部６３Ａにおけるノイズ除去度値が調整される毎に、情報取得部８２で取得された、調整されたノイズ除去度値およびその調整時に検出されているノイズ量の対データを蓄積する。図４は、その蓄積データ例を示している。

情報取得部８２は、不揮発性メモリ８２ａを備えている。この不揮発性メモリ８２ａに、ノイズ除去度値の調整情報が保持されている。ここで、不揮発性メモリ８２ａは、第１の保持手段を構成しており、ノイズ除去度値の調整情報として、オートモード時に使用されるノイズ量とノイズ除去度値の対応情報を保持する。また、この不揮発性メモリ８２ａは、第２の保持手段を構成しており、ノイズ除去度値の調整情報として、マニュアルモード時に使用されるノイズ除去度値の調整範囲の情報を保持する。

情報取得部８２は、オートモード時に、不揮発性メモリ８２ａに保持されているノイズ量とノイズ除去度値との対応情報に基づいて、ノイズ量検出部６３Ｂで検出されたノイズ量に対応したノイズ除去度値をバス６０を通じて画質変更部６３Ａに送信し、この画質変更部６３Ａでそのノイズ除去度値に対応した解像度創造処理が行われるように制御する。この意味で、情報取得部８２は、ノイズ除去度値制御手段を構成している。

なお、この制御は、処理本体部側にある制御部６８で行うようにしてもよい。この場合、制御部６８は、ノイズ量検出部６３Ｂで検出されたノイズ量に対応したノイズ除去度値を、情報取得部８２の不揮発性メモリ８２に保持されているノイズ量とノイズ除去度値の対応情報に基づいて得、これを画質変更部６３Ａに送る。この場合、制御部６がノイズ除去度値制御手段を構成する。

係数メモリ８３は、例えば不揮発性メモリからなり、画質変更部６３Ａで用いる、各クラスの係数種データを保持する。この係数種データの生成方法については後述する。

ここで、画質変更部６３Ａの構成例を説明する。図５は、この画質変更部６３Ａの構成例を示している。
この画質変更部６３Ａは、画像信号Ｖａが入力される入力端子２０１と、この入力端子２０１に入力された画像信号Ｖａを処理する処理部２０２と、この処理部２０２で得られた画像信号Ｖｂを出力する出力端子２０３と、処理部２０２の動作を制御する制御部２０４とを有している。

制御部２０４は、バス６０で送られてくる制御命令などに基づいて、処理部２０２の動作を制御する。例えば、制御部２０４は、図示せずも、ＭＰＵ、このＭＰＵの動作プログラム等が記憶されたＲＯＭ、このＭＰＵの作業領域を構成するＲＡＭ等を備えた構成とされている。

処理部２０２は、例えば、５２５ｉ信号というＳＤ(Standard Definition)信号である画像信号Ｖａを、１０５０ｉ信号というＨＤ(High Definition)信号である画像信号Ｖｂに変換する。５２５ｉ信号は、１フレームのライン数が５２５本である、インタレース方式の画像信号である。１０５０ｉ信号は、１フレームのライン数が１０５０本である、インタレース方式の画像信号である。

図６は、５２５ｉ信号および１０５０ｉ信号のあるフレーム（Ｆ）の画素位置関係を示すものであり、奇数（ｏ）フィールドの画素位置を実線で示し、偶数（ｅ）フィールドの画素位置を破線で示している。大きなドットが５２５ｉ信号の画素であり、小さいドットが１０５０ｉ信号の画素である。この図６からわかるように、１０５０ｉ信号の画素データとしては、５２５ｉ信号のラインに近い位置のラインデータＬ１，Ｌ１′と、５２５ｉ信号のラインから遠い位置のラインデータＬ２，Ｌ２′とが存在する。ここで、Ｌ１，Ｌ２は奇数フィールドのラインデータ、Ｌ１′，Ｌ２′は偶数フィールドのラインデータである。また、１０５０ｉ信号の各ラインの画素数は、５２５ｉ信号の各ラインの画素数の２倍である。

図５に戻って、処理部２０２は、バッファメモリ２１１と、予測タップ選択部２１２と、クラスタップ選択部２１３とを有している。バッファメモリ２１１は、入力端子２０１に入力された画像信号Ｖａを一時的に記憶する。タップ選択部２１２，２１３は、それぞれ、バッファメモリ２１１に記憶されている画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データを、予測タップ、クラスタップのデータとして選択的に抽出する。

図７Ａは、予測タップのデータとして抽出される複数の画素データのパターン例を示している。図７Ｂは、クラスタップのデータとして抽出される複数の画素データ（実線部分）のパターン例を示している。なお、この図７Ａ，Ｂでは、注目位置が存在する現フィールドから予測タップ、クラスタップのデータとしての複数の画素データを抽出するようになっているが、さらに時間方向の前後の所定数のフィールドから抽出することも考えられる。

また、処理部２０２は、クラス検出部２１４を有している。このクラス検出部２１４は、クラスタップ選択部２１３で抽出されたクラスタップのデータとしての複数の画素データに対してデータ圧縮処理を施して、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを取得する。例えば、データ圧縮処理としては、ＡＤＲＣ(Adaptive Dynamic Range Coding)、ＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を利用できる。本実施の形態では、ＡＤＲＣ、例えば１ビットＡＤＲＣを利用している。

まず、ＫビットＡＤＲＣを利用する場合について説明する。この場合、クラスタップに含まれる画素データの最大値ＭＡＸと最小値ＭＩＮの差分であるダイナミックレンジＤＲ＝ＭＡＸ−ＭＩＮを検出し、またクラスタップに含まれるそれぞれの画素データについて、その画素データから最小値ＭＩＮを減算し、その減算値をＤＲ／２^Kで除算（量子化）し、クラスタップを構成するそれぞれの画素データをＫビットに再量子化し、それを所定の順番で並べたビット列をクラスコードＣＬとする。

したがって、１ビットＡＤＲＣを利用する場合には、クラスタップに含まれるそれぞれの画素データについて、その画素データから最小値ＭＩＮを減算し、その減算値をＤＲ／２で除算し、クラスタップに含まれるそれぞれの画素データを１ビットに再量子化し、それを所定の順番で並べたビット列をクラスコードＣＬとして出力する。

また、処理部２０２は、係数データ生成部２１５を有している。後述する推定予測演算部２１７では、予測タップとしての複数の画素データｘｉと、係数データＷｉとを用い、（１）式の推定式に基づいて、画像信号Ｖｂにおける注目位置の画素データｙが求められる。この（１）式において、ｎは、予測タップとしての複数の画素データｘｉの個数である。

上述した係数メモリ８３に保持される係数種データは、上述した推定式の係数データＷｉを生成するための、画質パラメータｒ，ｚを含む生成式の係数データである。（２）式は、その生成式の一例を示しており、ｗ_ijが係数種データである。ここで、画質パラメータｒは解像度を決めるパラメータであり、画質パラメータｚはノイズ除去度を決めるパラメータである。この係数種データｗ_ijは、画像信号Ｖａを（５２５ｉ信号）を、画像信号Ｖｂ（１０５０ｉ信号）に変換するための情報である。

上述の図６に示すように、５２５ｉ信号を１０５０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の１画素に対応して１０５０ｉ信号の４画素を得る必要がある。

図８は、奇数、偶数フィールドにおける１０５０ｉ信号を構成する２×２の単位画素ブロックＵＢ内の４画素における中心予測タップからの位相ずれを示している。奇数フィールドの場合、単位画素ブロックＵＢ内の４画素ＨＤ１〜ＨＤ４の位置は、それぞれ、中心予測タップＳＤ０の位置から、水平方向にｋ１〜ｋ４、垂直方向にｍ１〜ｍ４だけずれている。偶数フィールドの場合、単位画素ブロックＵＢ内の４画素ＨＤ１′〜ＨＤ４′の位置は、それぞれ、中心予測タップＳＤ０′の位置から、水平方向にｋ１′〜ｋ４′、垂直方向にｍ１′〜ｍ４′だけずれている。

そのため、上述した各クラスの係数種データｗ_ijは、８種類の出力画素（HD1〜HD4,HD1′〜HD4′）にそれぞれ対応した係数種データｗ_ijからなっている。結局、係数メモリ８３には、クラスおよび出力画素の組み合わせ毎に、係数種データｗ_ijが格納されている。

この係数種データｗ_ijは、画像信号Ｖｂに対応した教師信号としての画像信号Ｖｂ′と画像信号Ｖａに対応した生徒信号としての画像信号Ｖａ′とから学習によって予め生成されたものである。この係数種データｗ_ijの生成方法の詳細については後述する。

係数データ生成部２１５は、奇数、偶数の各フィールドにおいて、クラス検出部２１４で得られたクラスコードＣＬが表すクラスの、４出力画素（図８のHD1〜HD4、またはHD1′〜HD4′）にそれぞれ対応した４画素分の係数種データｗ_ijを係数メモリ８３から取得し、さらに制御部２０４から供給される画質パラメータｒ，ｚの値を用い、（２）式の生成式に基づいて、４画素分の係数データＷｉを生成する。

ここで、制御部２０４から係数データ生成部２１５に供給される画質パラメータｒ，ｚの値は、以下の値とされる。すなわち、画質パラメータｒの値に関しては、オートモード時およびマニュアルモード時のいずれにあっても、ユーザの操作により調整された解像度値とされる。また、画質パラメータｚの値に関しては、オートモード時およびマニュアルモード時では、それぞれ以下の値とされる。オートモード時にあっては、上述したように情報取得部８２から送られてくる、ノイズ量に対応したノイズ除去度値とされる。マニュアルモード時にあっては、ユーザの操作により調整されたノイズ除去度値とされる。

なお、ユーザの操作により解像度値、ノイズ除去度値の調整が行われるが、制御部２０４は、バス６０を通じて情報取得部８２の不揮発性メモリ８２ａからノイズ除去度値の調整範囲情報を取得し、その調整範囲情報に基づいてユーザによるノイズ除去度値の調整範囲を規制する。この意味で、制御部２０４は、調整範囲規制手段を構成している。

また、処理部２０２は、推定予測演算部２１７を有している。この推定予測演算部２１７は、画像信号Ｖｂにおける注目位置に存在する単位画素ブロックＵＢ毎に画素データを求める。すなわち、推定予測演算部２１７は、予測タップ選択部２１２で抽出される単位画素ブロックＵＢ内の４画素（注目画素）に対応した、予測タップのデータｘｉ、および係数データ生成部２１５で生成される、その単位画素ブロックＵＢ内の４画素に対応した４画素分の係数データＷｉを用い、その単位画素ブロックＵＢを構成する４画素の画素データｙ₁〜ｙ₄を、それぞれ上述した（１）式の推定式で、個別に演算する。

また、処理部２０２は、後処理部２１８を有している。この後処理部２１８は、推定予測演算部２１７より順次出力される、単位画素ブロックＵＢ内の４画の画素データｙ₁〜ｙ₄を線順次化し、１０５０ｉ信号のフォーマットで出力する。

次に、図５に示す画質変更部の動作を説明する。
ＳＤ信号である画像信号Ｖａが入力端子２０１に入力され、この画像信号Ｖａはバッファメモリ２１１に一時的に記憶される。そして、この画像信号Ｖａに基づき、クラス分類適応処理により、画像信号Ｖｂを構成する各画素データが生成される。

すなわち、クラスタップ選択部２１３では、バッファメモリ２１１に記憶されている画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データが、クラスタップのデータとして選択的に抽出される。この複数の画素データは、クラス検出部２１４に供給される。

クラス検出部２１４では、クラスタップのデータとしての複数の画素データに、例えば１ビットＡＤＲＣのデータ圧縮処理が施されて、画像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬが得られる。このクラスコードＣＬは係数データ生成部２１５に供給される。

この係数データ生成部２１５では、奇数、偶数の各フィールドにおいて、クラスコードＣＬで示されるクラスの、４出力画素（図６のHD1〜HD4、またはHD1′〜HD4′）にそれぞれ対応した４画素分の係数種データｗ_i0〜ｗ_i9が、係数メモリ８３から取得される。また、この係数データ生成部２１５には、制御部２０４から画質パラメータｒ，ｚの値が供給される。そして、この係数データ生成部２１５では、各フィールドにおいて、４画素分の係数種データｗ_i0〜ｗ_i9および画質パラメータｒ，ｚの値が用いられ、上述の（２）式の生成式に基づいて、４出力画素分の係数データＷｉが生成される。この係数データＷｉは、推定予測演算部２１７に供給される。

また、予測タップ選択部２１２では、バッファメモリ２１１に記憶されている画像信号Ｖａに基づいて、画像信号Ｖｂにおける注目位置の周辺に位置する複数の画素データｘｉが、予測タップのデータとして選択的に抽出される。この複数の画素データｘｉは、推定予測演算部２１７に供給される。推定予測演算部２１７では、予測タップ選択部２１２で抽出された予測タップのデータとしての複数の画素データｘｉと、係数データ生成部２１５で生成された４出力画素分の係数データＷｉとから、画像信号Ｖｂにおける注目位置に存在する単位画素ブロックＵＢ内の４画素（注目画素）の画素データｙ₁〜ｙ₄が、上述の（１）式の推定式に基づいて、個別に演算される。

この推定予測演算部２１７より順次出力される、画像信号Ｖｂを構成する各単位画素ブロックＵＢ内の４画素の画素データｙ₁〜ｙ₄は、後処理部２１８に供給される。この後処理部２１８では、推定予測演算部２１７より順次供給される単位画素ブロックＵＢ内の４画素のデータｙ₁〜ｙ₄が線順次化され、１０５０ｉ信号のフォーマットで出力される。つまり、後処理部２１８からは画像信号Ｖｂ（１０５０ｉ信号）が得られ、この画像信号Ｖｂは出力端子２０３に出力される。

図９は、回収基板部７０の情報取得部８２の構成例を示している。この情報取得部８２は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、不揮発性メモリ８２ａおよび入出力インタフェース（入出力Ｉ／Ｆ）１０４で構成され、これらはバス１０５に接続されている。ＲＯＭ１０２は、ＣＰＵ１０１の動作プログラム等を記憶している。ＲＡＭ１０３は、ＣＰＵ１０１の作業領域を構成している。不揮発性メモリ８２ａには、上述したように、ノイズ除去度値の調整情報が保持されている。入出力Ｉ／Ｆ１０４は、バス６０との間の入出力のインタフェース処理を行う。

次に、図１の画像処理装置５１の動作について説明する。
ユーザがリモートコントローラを操作して、例えば、所定のチャネルのテレビ放送の受信を指令すると、その指令に対応する赤外線信号が、受光部６７により受信され、対応する信号が、制御部６８に供給される。制御部６８は、この信号に基づいて、バス６０を介してテレビチューナ６１に、指定されたチャネルの受信を指令する制御命令を出力する。テレビチューナ６１は、この制御命令を受信したとき、指定されたチャネルの放送信号を受信し、これを復調して画像信号と音声信号を入力切替部６２に出力する。制御部６８は、いま、テレビ放送の受信が指令されているので、バス６０を介して入力切替部６２にテレビチューナ６１の出力を選択するように制御命令を出力する。

入力切替部６２は、この制御命令に基づいて、テレビチューナ６１から供給された画像信号と音声信号を選択し、この画像信号を画質変更部６３Ａに供給し、この音声信号を音質設定部６５に供給する。画質変更部６３Ａは、入力された画像信号に対して、所定の解像度値およびノイズ除去度値の解像度創造処理を行い、処理後の画像信号を画質設定部６４に供給する。

画質設定部６４は、画質変更部６３Ａより供給された画像信号の明るさと色合いを、バス６０を介して制御部６８から供給される制御命令に基づいて、指定された値に調整、設定し、モニタ６６に出力する。音質設定部６５は、バス６０を介して、制御部６８から供給される制御命令に基づいて、入力切替部６２により供給される音声信号の音質を調整、設定し、モニタ６６に出力する。これにより、モニタ６６からは、指定されたチャネルのテレビ放送の画像と音声が出力される。

画質変更部６３Ａにおける解像度創造処理の動作についてさらに説明する。入力切替部６２より出力される画像信号は、ノイズ量検出部６３Ｂにも供給され、その画像信号に含まれるノイズの量が検出される。このノイズ量検出部６３Ｂで検出されたノイズ量ＮＤは、バス６０に送出される。

マニュアルモードに設定されている時、ユーザは、リモートコントローラを制御して、解像度値、ノイズ除去度値を調整できる。この場合、制御部６８は、バス６０を介して、画質変更部６３Ａを制御する。画質変更部６３Ａは、この制御に基づいて、調整された解像度値、ノイズ除去度値を満足する解像度創造処理を行う。これにより、モニタ６６には、ユーザにより調整された解像度値およびノイズ除去度値で解像度創造処理を行った画像が表示される。

この場合、画質変更部６３Ａでは、回収基板部７０の情報取得部８２が有する不揮発性メモリ８２ａに保持されているノイズ除去度値の調整範囲情報に基づいて、当該ノイズ除去度値の調整範囲が規制される。ここで、情報取得部８２の不揮発性メモリ８２ａに、ユーザの使用環境あるいは嗜好に合ったノイズ除去度値の調整範囲情報が保持されていれば、ユーザは使用環境あるいは嗜好にあったノイズ除去度値に簡単かつ確実に調整できる。

また、オートモードに設定されている時、ユーザは、リモートコントローラを制御して、解像度値を調整できる。この場合、制御部６８は、バス６０を介して、画質変更部６３Ａを制御する。画質変更部６３Ａは、この制御に基づいて、調整された解像度値を満足する解像度創造処理を行う。これにより、モニタ６６には、ユーザにより調整された解像度値で解像度創造処理を行った画像が表示される。

また、オートモードに設定されている時、画質変更部６３Ａにおけるノイズ除去度値は、不揮発性メモリ８２ａに保持されているノイズ量とノイズ除去度値の対応情報に基づいて、ノイズ量検出部６３Ｂで検出されたノイズ量ＮＤに対応したノイズ除去度値とされる。これにより、モニタ６６には、画像信号に含まれるノイズの量に対応したノイズ除去度値で解像度創造処理を行った画像が表示される。

ここで、情報取得部８２の不揮発性メモリ８２ａに、ユーザの使用環境あるいは嗜好に合ったノイズ量とノイズ除去度値の対応情報が保持されていれば、ユーザの使用環境あるいは嗜好にあったノイズ除去度値に自動的に調整される。すなわちこの場合、ユーザの手を煩わせることなく、ユーザの使用環境あるいは嗜好にあったノイズ除去度の画像を得ることができる。

また、回収基板部７０では、情報取得部８２により、バス６０から例えばフレーム毎に取得されるノイズ量、またはマニュアルモード時であってノイズ除去度値が調整される毎に取得されるノイズ除去度値およびノイズ量の対データが、蓄積部８１に順次蓄積されていく（図３、図４参照）。

図１０のフローチャートは、情報取得部８２の制御動作を示している。
まず、ステップＳＴ１１で処理を開始し、ステップＳＴ１２で、待機状態にする。そして、ステップＳＴ１３で、バス６０よりノイズ量検出部６３Ｂから送出されたノイズ量を受信したか否かを判定する。ノイズ量を受信したときは、ステップＳＴ１４で、ノイズ量を蓄積部８１に記憶する。

そして、ステップＳＴ１５で、オートモードにあるか否かを判定する。オートモードにないときは、ステップＳＴ１２に戻って待機状態にする。オートモードにあるときは、ステップＳＴ１６で、前回受信したノイズ量と同じか否かを判定する。この判定は、受信したノイズ量をバッファ（ＲＡＭ１０３に設けられている）に記憶されているノイズ量と比較することで行われる。

同じであるときは、ステップＳＴ１２に戻って待機状態にする。同じでないときは、ステップＳＴ１７に進む。このステップＳＴ１７では、不揮発性メモリ８２ａに保持されているノイズ量とノイズ除去度値の対応情報に基づいて、ステップＳＴ１３で受信されたノイズ量に対応したノイズ除去度値を得、このノイズ除去度値を画質変更部６３Ａに送信する。そして、ステップＳＴ１８で、そのノイズ量を、ステップＳＴ１６で使用するために、バッファに記憶し、その後に、ステップＳＴ１２に戻って待機状態にする。

また、ステップＳＴ１３でノイズ量を受信していないときは、バス６０よりノイズ除去度値を変更する制御命令を受信したか否かを判定する。受信していないときは、ステップＳＴ１２に戻って待機状態にする。受信したときは、ステップＳＴ２０で、当該ノイズ除去度値とそのときのノイズ量、例えばバッファに記憶されているノイズ量を対応付け、対データとして蓄積部８１に記憶する。そして、その後に、ステップＳＴ１２に戻って待機状態にする。

次に、回収基板部７０を回収した後の処理について説明する。図１１のフローチャートは、回収基板部７０を回収した後の処理工程を示している。

まず、ステップＳＴ３１で、処理を開始し、ステップＳＴ３２で、蓄積部８１に、ユーザ操作情報、つまりノイズ除去度値とノイズ量の対データが蓄積されているか否かを判定する。蓄積部８１にユーザ操作情報がないときは、ステップＳＴ３３で、蓄積部８１に蓄積されているノイズ量情報に基づいて、ノイズ除去度値の調整範囲、およびノイズ量とノイズ除去度値の対応関係を決定する。

次に、ステップＳＴ３４で、ノイズ除去度値の調整範囲情報、およびノイズ量とノイズ除去度値の対応情報を、回収基板部７０と同様の構成とされた提供基板部の情報取得部８２が有する不揮発性メモリ８２ａに保持する。そして、その後に、ステップＳＴ３５で、処理を終了する。

また、ステップＳＴ３２で、蓄積部８１にユーザ操作情報が蓄積されているときは、ステップＳＴ３６に進む。このステップＳＴ３６では、ユーザ操作情報に基づいて、ノイズ除去度値の調整範囲、およびノイズ量とノイズ除去度値の対応関係を決定する。そして、ステップＳＴ３４で、ノイズ除去度値の調整範囲情報、およびノイズ量とノイズ除去度値の対応情報を、回収基板部７０と同様の構成とされた提供基板部の情報取得部８２が有する不揮発性メモリ８２ａに保持し、その後に、ステップＳＴ３５で、処理を終了する。

なお、提供基板部としては、回収された回収基板部７０そのもの、あるいはこの回収された回収基板部７０とは別なものを使用できるが、いずれにしても当該提供基板部は新たな回収基板部７０を構成することになる。

次に、ステップＳＴ３６における、ノイズ量とノイズ除去度値の対応関係の求め方を説明する。
図１２Ａ，Ｂ，Ｃは、それぞれ、蓄積部８１に蓄積されているノイズ除去度値およびノイズ量の対データの典型的な分布例を示している。図において、「○印」は、各対データの分布位置を示している。

図１２Ａの分布例では、ユーザが、ノイズの少ない画像ではノイズ除去度値を小さくしてノイズ除去効果を小さくし、ノイズの多い画像ではノイズ除去度値を大きくしてノイズ除去効果を大きくしていることがわかる。図１２Ｂの分布例では、ノイズの多い少ないに関係なく、ユーザが、ノイズ除去度値を大きくしてノイズ除去効果を大きくしていることがわかる。図１２Ｃの分布例では、ノイズの多い少ないに関係なく、ユーザが、ノイズ除去度値を小さくしてノイズ除去効果を小さくしていることがわかる。

ノイズ量とノイズ除去度値の対応関係を、ノイズ除去度値およびノイズ量の対データを複数個用いることで、例えば以下の方法１〜方法３のように求める。

（１）「方法１」
図１３Ａに示すように、複数個の対データを用いて、ノイズ量とノイズ除去度値の対応関係を示す１次近似直線ｓを決定する。ここで、１次近似直線ｓをｙ＝ａｘ＋ｂの式で表した場合、傾きａおよび切片ｂは、それぞれ、（３）式および（４）式で求められる。なお、これらの式で、ｎは使用する対データの個数を表しており、Ｘｉはｉ番目の対データのノイズ量、Ｙｉはｉ番目の対データのノイズ除去度値を示している。

図１４は、この方法１の処理工程を示すフローチャートである。まず、ステップＳＴ４１で、処理を開始し、ステップＳＴ４２で、複数個の対データを用いて、予測式（１次近似直線の式）の傾きａを算出する。次に、ステップＳＴ４３で、複数個の対データを用いて、予測式の切片ｂを算出する。そして、ステップＳＴ４４で、上述したステップＳＴ４２，ＳＴ４３で算出された傾きａおよび切片ｂにより、予測式（ノイズ量とノイズ除去度値の対応関係）を決定し、その後にステップＳＴ４５で、処理を終了する。

（２）「方法２」
図１３Ｂに示すように、ノイズ量の軸を複数区間に分け、各区間毎に、ノイズ量とノイズ除去度値の対応関係を示す１次近似直線を決定する。各区間の１次近似直線の決定の仕方は、上述の方法１の場合と同様であり、区間内に分布する複数個の対データを用いて行う。なお、図１３Ｂは、区間１、区間２、区間３の３区間に分けた例であって、それぞれの区間で１次近似直線ｓ1，ｓ2、ｓ3をそれぞれ決定する。

図１５は、この方法２の処理工程を示すフローチャートである。まず、ステップＳＴ５１で処理を開始し、ステップＳＴ５２で、ノイズ量軸の区間分割に係る分割数および分割位置の全ての組み合わせが終了したか否かを判定する。全ての組み合わせが終了していないときは、ステップＳＴ５３で、分割数および分割位置の組み合わせを設定する。

次に、ステップＳＴ５４で、複数個の対データを、設定された組み合わせの各区間に分離する。そして、ステップＳＴ５５で、区間毎に、区間内に分布する複数個の対データを用いて予測式（１次近似直線の式）を決定する。

そして、ステップＳＴ５６で、区間毎に、区間内に分布する複数個の対データを用いて、ステップＳＴ５５で決定された予測式による予測誤差を算出する。例えば、所定区間の区間内にｍ個の対データが分布しているものとすれば、この所定区間の予測誤差は当該ｍ個の対データにそれぞれ対応した予測誤差を積算したものとされる。なお、所定番目の対データのノイズ量をＸｉ、ノイズ除去度値をＹｉとし、また予測式によるノイズ量Ｘｉに対応したノイズ除去度値をＹｏとするとき、当該所定番目の対データに対応した予測誤差は｜Ｙｏ−Ｙｉ｜となる。

次に、ステップＳＴ５７で、各区間の予測誤差を合計した合計予測誤差を算出する。そして、ステップＳＴ５８で、合計予測誤差が最小か否かを判定する。合計予測誤差が最小であるか否かの判定は、保持されている合計予測誤差の最小値と比較することで行われる。なお、最初の組み合わせの処理時には、この比較処理を行うことなく、合計予測誤差が最小であると判定する。

合計予測誤差が最小でないときは、ステップＳＴ５２に戻り、次の組み合わせの処理に移行する。合計予測誤差が最小であるときは、ステップＳＴ５９で、ステップＳＴ５７で算出された合計予測誤差を最小値として保持する。そして、ステップＳＴ６０で、組み合わせ情報（分割数、分割位置）、および各区間の予測式を保持する。その後に、ステップＳＴ５２に戻り、次の組み合わせの処理に移行する。

また、ステップＳＴ５２で全ての組み合わせが終了したときは、ステップＳＴ６１に進む。このステップＳＴ６１では、保持している組み合わせ情報、および各区間の予測式を出力し、その後にステップＳＴ６２で、処理を終了する。

（３）「方法３」
図１３Ｃに示すように、複数個の対データを用いてノイズ量とノイズ除去度値の対応関係を示す１次近似直線ｓを決定するが、各対データは蓄積された時間（時刻）による重み付けをして用いる。図において、「●印」の対データは蓄積された時間が新しく、重みが大とされており、「○印」の対データは蓄積された時間が古く、重みが小とされている。１次近似直線ｓの決定の仕方は、上述の方法１の場合と同様である。

図１６は、この方法３の処理工程を示すフローチャートである。まず、ステップＳＴ７１で、処理を開始し、ステップＳＴ７２で、蓄積された時間の情報により、各対データの足し込み回数を決定する。例えば、蓄積された時間が新しい場合には、足し込み回数を多くし、これにより重みが大となるようにし、一方蓄積された時間が古い場合には、足し込み回数を少なくし、これにより重みが小となるようにする。

次に、ステップＳＴ７３で、複数個の対データを用いて、予測式（１次近似直線の式）の傾きａを算出する。次に、ステップＳＴ７４で、複数個の対データを用いて、予測式の切片ｂを算出する。そして、ステップＳＴ７５で、上述したステップＳＴ７３，ＳＴ７４で算出された傾きａおよび切片ｂにより、予測式（ノイズ量とノイズ除去度値の対応関係）を決定し、その後にステップＳＴ７６で、処理を終了する。

次に、ステップＳＴ３６における、ノイズ除去度値の調整範囲の求め方を説明する。
図１７Ａに示すように、現在のノイズ除去度値の調整範囲がＮmin〜Ｍmaxの範囲であって、複数個の対データのノイズ除去度値がＮmin側に偏っている場合を考える。「○印」は、各対データの分布位置を示している。

この場合、ユーザは、ノイズに関する感度が低く、ノイズを気にしないため、ノイズが多いとされている画像でもノイズ除去効果が小さくなるようにノイズ除去度値を調整している。したがってこの場合、ユーザは、画像にノイズが少ない場合に、自己の嗜好にあったノイズ除去度値に調整できていないことが推定される。

そこでこの場合、ノイズ除去度値の調整範囲は、例えば、図１７Ａに示すように全体的に下げられて、Ｎmin′〜Ｍmax′の範囲に決定される。これにより、ユーザは、画像にノイズが少ない場合に、ノイズ除去度値を現在よりさらに小さい値に調整でき、自己の嗜好にあったノイズ除去度値に調整できるようになる。

また、図１７Ｂに示すように、現在のノイズ除去度値の調整範囲がＮmin〜Ｍmaxの範囲であって、複数個の対データのノイズ除去度値がＮmax側に偏っている場合を考える。「○印」は、各対データの分布位置を示している。

この場合、ユーザは、ノイズに関する感度が高く、ノイズを嫌がるため、ノイズが少ないとされている画像でもノイズ除去効果が大きくなるようにノイズ除去度値を調整している。したがってこの場合、ユーザは、画像にノイズが多い場合に、自己の嗜好にあったノイズ除去度値に調整できていないことが推定される。

そこでこの場合、ノイズ除去度値の調整範囲は、例えば、図１７Ｂに示すように全体的に上げられて、Ｎmin′〜Ｍmax′の範囲に決定される。これにより、ユーザは、画像にノイズが多い場合に、ノイズ除去度値を現在よりさらに大きい値に調整でき、自己の嗜好にあったノイズ除去度値に調整できるようになる。

図１８のフローチャートは、調整範囲の決定処理の工程を示すフローチャートである。まず、ステップＳＴ８１で、処理を開始し、ステップＳＴ８２で、ノイズ除去度値が最小値Ｎminをとる対データの頻度（個数）を算出する。次に、ステップＳＴ８３で、ノイズ除去度値が最大値Ｎmaxをとる対データの頻度（個数）を算出する。そして、ステップＳＴ８４で、ステップＳＴ８２、ＳＴ８３で算出した頻度に基づいて、ノイズ除去度値の調整範囲を決定し、その後にステップＳＴ８５で、処理を終了する。

例えば、ステップＳＴ８４では、図１９Ａに示すようにノイズ除去度値が最大値Ｎmaxをとる対データのみが存在している場合、ノイズ除去度値の調整範囲を、破線図示するように全体的に上側にシフトすると共に、そのシフト量を最大値Ｎmaxをとる対データの個数に比例した値とする。

また例えば、ステップＳＴ８４では、図１９Ｂに示すようにノイズ除去度値が最小値Ｎminをとる対データのみが存在している場合、ノイズ除去度値の調整範囲を、破線図示するように全体的に下側にシフトすると共に、そのシフト量を最小値Ｎminをとる対データの個数に比例した値とする。

また例えば、ステップＳＴ８４では、図１９Ｃに示すようにノイズ除去度値が最小値Ｎminをとる対データおよびノイズ除去度値が最大値Ｎmaxをとる対データの双方が存在している場合、ノイズ除去度値の調整範囲を、破線図示するように上側および下側の双方に伸ばすようにする。この場合、例えば、上側に伸ばす量は最大値Ｎmaxをとる対データの個数に比例した値とし、また下側に伸ばす量は最小値Ｎminをとる対データの個数に比例した値とする。

なお、図１９Ｃの破線に示すように調整範囲を広げた場合には、ノイズ除去度値の調整ステップ幅を大きくする。また、図示せずも、ノイズ除去度値が最小値Ｎminをとる対データおよびノイズ除去度値が最大値Ｎmaxをとる対データの双方が存在しない場合、ノイズ除去度値の調整範囲を変更しないか、あるいは調整範囲を縮めるようにする。調整範囲を縮めた場合には、ノイズ除去度値の調整ステップ幅を小さくする。

また、ノイズ除去度値の調整範囲は、上述したようにノイズ除去度値が最小値Ｎminをとる対データの頻度およびノイズ除去度値が最大値Ｎmaxをとる対データの頻度に基づいて決定するのではなく、複数個の対データのノイズ除去度値の重心を求め、この重心に基づいて決定するようにしてもよい。例えば、ノイズ除去度値の調整範囲は、求められた重心が略中心となる一定範囲に決定される。また、このように複数個の対データのノイズ除去度値の重心を求める場合に、各ノイズ除去度値に、蓄積された時間による重み付けをして用いるようにしてもよい。

次に、回収基板部７０の係数メモリ８３が保持する係数種データの生成方法を説明する。この係数種データは、学習によって生成される。ここでは、（２）式の生成式における係数データである係数種ｗ_i0〜ｗ_i9を求める例を示すものとする。

ここで、以下の説明のため、（５）式のように、ｔj（ｊ＝０〜９）を定義する。
ｔ₀＝１，ｔ₁＝ｒ，ｔ₂＝ｚ，ｔ₃＝ｒ²，ｔ₄＝ｒｚ，ｔ₅＝ｚ²，ｔ₆＝ｒ³，
ｔ₇＝ｒ²ｚ，ｔ₈＝ｒｚ²，ｔ₉＝ｚ³
・・・（５）
この（５）式を用いると、（２）式は、（６）式のように書き換えられる。

最終的に、学習によって未定係数ｗ_ijを求める。すなわち、クラスおよび出力画素の組み合わせ毎に、複数の学習データを用いて、二乗誤差を最小にする係数値を決定する。いわゆる最小二乗法による解法である。学習数をｍ、ｋ（１≦ｋ≦ｍ）番目の学習データにおける残差をｅ_k、二乗誤差の総和をＥとすると、（１）式および（２）式を用いて、Ｅは（７）式で表される。ここで、ｘ_ikはＳＤ信号のｉ番目の予測タップ位置におけるｋ番目の画素データ、ｙ_kはそれに対応するｋ番目のＨＤ信号の画素データを表している。

最小二乗法による解法では、（７）式のｗ_ijによる偏微分が０になるようなｗ_ijを求める。これは、（８）式で示される。

ここで、（９）式、（１０）式のように、Ｘ_ipjq、Ｙ_ipを定義すると、（８）式は、行列を用いて、（１１）式のように書き換えられる。

この（１１）式が、係数種データｗ_i0〜ｗ_i9を算出するための正規方程式である。この正規方程式を掃き出し法（Gauss-Jordanの消去法）等の一般解法で解くことにより、係数種データｗ_i0〜ｗ_i9を求めることができる。

図２０は、係数種データの生成方法の概念を示している。
教師信号としてのＨＤ信号から、生徒信号としての複数のＳＤ信号を生成する。ここで、ＨＤ信号からＳＤ信号を生成する際に使用する間引きフィルタの周波数特性を変えることにより、解像度の異なるＳＤ信号を生成する。

解像度の異なるＳＤ信号によって、解像度を上げる効果の異なる係数種データを生成できる。例えばボケ具合の大きな画像が得られるＳＤ信号とボケ具合の小さな画像が得られるＳＤ信号があった場合、ボケ具合の大きな画像が得られるＳＤ信号による学習で、解像度を上げる効果の強い係数種データが生成され、ボケ具合の小さな画像が得られるＳＤ信号による学習で、解像度を上げる効果の弱い係数種データが生成される。

また、解像度の異なるＳＤ信号の各々に対してノイズを加えることで、ノイズの加わったＳＤ信号を生成する。ノイズを加える量を可変することでノイズ量が異なるＳＤ信号が生成され、それによってノイズ除去効果の異なる係数種データが生成される。例えばノイズをたくさん加えたＳＤ信号とノイズを少し加えたＳＤ信号とがあった場合、ノイズをたくさん加えたＳＤ信号による学習でノイズ除去効果の強い係数種データが生成され、ノイズを少し加えたＳＤ信号による学習でノイズ除去効果の弱い係数種データが生成される。

ノイズを加える量としては、例えば（１２）式のように、ＳＤ信号の画素値ｘに対して、ノイズｎを加えてノイズの加わったＳＤ信号の画素値ｘ′を生成する場合、Ｇを可変することでノイズ量を調整する。
ｘ′＝ｘ＋Ｇ・ｎ ・・・（１２）

例えば、周波数特性を可変する画質パラメータｒの値を、解像度値の調整範囲の最小値Ｖminから最大値Ｖmaxまで所定ステップΔＶで複数段階に可変し、またノイズを加える量を可変する画質パラメータｚの値を、上述したノイズ除去度値の調整範囲の最小値Ｎminから最大値Ｎmaxまで（調整範囲の変更後は最小値Ｎmin′から最大値Ｎmax′まで）、所定ステップΔＮで複数段階に可変して、複数種類のＳＤ信号を生成する。この複数種類のＳＤ信号とＨＤ信号との間で学習を行って、係数種データを生成する。この画質パラメータｒ，ｚは、図５の画質変更部における係数データ生成部２１５に供給される画質パラメータｒ，ｚに対応したものである。

次に、上述した係数種データｗ_i0〜ｗ_i9を生成するための係数種データ生成装置２５０について説明する。図２１は、この係数種データ生成装置２５０の構成を示している。

この係数種データ生成装置２５０は、入力端子２５１と、ＳＤ信号生成部２５２とを有している。入力端子２５１は、上述した画像信号Ｖｂに対応した、教師信号としての画像信号Ｖｂ′を入力するための端子である。ＳＤ信号生成部２５２は、この画像信号Ｖｂ′に対して、水平および垂直の間引き処理を行って、上述した画像信号Ｖａに対応した、生徒信号としての画像信号Ｖａ′を生成する。このＳＤ信号生成部２５２には、画質パラメータｒ，ｚが供給される。画質パラメータｒの値に対応して、画像信号Ｖｂ′から画像信号Ｖａ′を生成する際に使用する間引きフィルタの周波数特性が可変される。また、画質パラメータｚの値に対応して、画像信号Ｖａ′に加えるノイズの量が可変される。

また、係数種データ生成装置２５０は、予測タップ選択部２５３と、クラスタップ選択部２５４とを有している。これらタップ選択部２５３，２５４は、それぞれ、ＳＤ信号生成部２５２で生成された画像信号Ｖａ′に基づいて、画像信号Ｖｂ′における注目位置の周辺に位置する複数の画素データを、予測タップ、クラスタップのデータとして選択的に抽出する。これらタップ選択部２５３，２５４は、それぞれ、上述した処理部２０２（図５参照）のタップ選択部２１２，２１３に対応している。

また、係数種データ生成装置２５０は、クラス検出部２５５を有している。このクラス検出部２５５は、クラスタップ選択部２５４で選択的に抽出されたクラスタップのデータとしての複数の画素データを処理して、画像信号Ｖｂ′における注目位置の画素データが属するクラスを示すクラスコードＣＬを生成する。このクラス検出部２５５は、上述した処理部２０２のクラス検出部２１４に対応している。

また、係数種データ生成装置２５０は、教師タップ選択部２５６を有している。この教師タップ選択部２５６は、画像信号Ｖｂ′に基づいて、当該画像信号Ｖｂ′における注目位置の画素データを選択的に抽出する。

また、係数種データ生成装置２５０は、正規方程式生成部２５７を有している。この正規方程式生成部２５７は、教師タップ選択部２５６で選択的に抽出された、画像信号Ｖｂ′における各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応して予測タップ選択部２５３で選択的に抽出された、予測タップのデータとしての複数の画素データｘｉと、各注目位置の画素データｙにそれぞれ対応してクラス検出部２５５で生成されたクラスコードＣＬと、画質パラメータｒ，ｚの値とから、クラス毎に、係数種データｗ_i0〜ｗ_i9を得るための正規方程式（（１１）式参照）を生成する。

この場合、１個の画素データｙとそれに対応する複数個の画素データｘｉとの組み合わせで１個の学習データが生成される。教師信号としての画像信号Ｖｂ′と、それに対応した生徒信号としての画像信号Ｖａ′との間で、クラス毎に、多くの学習データが生成されていく。これにより、正規方程式生成部２５７では、各クラスの係数種データｗ_i0〜ｗ_i9を得るための正規方程式がそれぞれ生成される。

またこの場合、正規方程式生成部２５７では、出力画素（図８のHD1〜HD4，HD1′〜HD4′）毎に、正規方程式が生成される。すなわち、ＨＤ１〜ＨＤ４，ＨＤ１′〜ＨＤ４′に対応した正規方程式は、それぞれ、中心予測タップＳＤ０，ＳＤ０′からのずれ値がＨＤ１〜ＨＤ４，ＨＤ１′〜ＨＤ４′と同じ関係にある画素データｙから構成される学習データを用いて生成される。結局、正規方程式生成部２５７では、クラスおよび出力画素の組み合わせ毎に、係数種データｗ_i0〜ｗ_i9を得るための正規方程式が生成される。

また、係数種データ生成装置２５０は、係数種データ決定部２５８と、係数種メモリ２５９とを有している。係数種データ決定部２５８は、正規方程式生成部２５７から正規方程式のデータの供給を受け、当該正規方程式を掃き出し法等によって解き、クラスおよび出力画素の組み合わせ毎に、係数種データｗ_i0〜ｗ_i9を求める。係数種メモリ２５９は、係数種データ決定部２５８で求められた係数種データｗ_i0〜ｗ_i9を格納する。

次に、図２１に示す係数種データ生成装置２５０の動作を説明する。
入力端子２５１には、教師信号としての画像信号Ｖｂ′が入力される。この画像信号Ｖｂ′に対して、ＳＤ信号生成部２５２で水平および垂直の間引き処理が行われて、生徒信号としての画像信号Ｖａ′が生成される。この場合、ＳＤ信号生成部２５２には画質パラメータｒ，ｚが制御信号として供給され、周波数特性およびノイズ加算量が段階的に変化した複数の画像信号Ｖａ′が順次生成されていく。

クラスタップ選択部２５４では、画像信号Ｖａ′に基づいて、画像信号Ｖｂ′における注目位置の周辺に位置する複数の画素データがクラスタップのデータとして選択的に抽出される。この複数の画素データはクラス検出部２５５に供給される。そして、クラス検出部２５５では、各画素データに対してＡＤＲＣ等のデータ圧縮処理が施されて、画像信号Ｖｂ′における注目位置の画素データが属するクラスを示すクラスコードＣＬが生成される。このクラスコードＣＬは、正規方程式生成部２５７に供給される。

予測タップ選択部２５３では、画像信号Ｖａ′に基づいて、画像信号Ｖｂ′における注目位置の周辺に位置する複数の画素データｘｉが予測タップのデータとして選択的に抽出される。この複数の画素データｘｉは、正規方程式生成部２５７に供給される。また、教師タップ選択部２５６では、画像信号Ｖｂ′に基づいて、当該画像信号Ｖｂ′における注目位置の画素データｙが選択的に抽出される。この画素データｙは、正規方程式生成部２５７に供給される。

正規方程式生成部２５７では、画像信号Ｖｂ′における各注目位置を対象として、当該各注目位置の画素データｙと、この各注目位置の画素データｙにそれぞれ対応した、予測タップのデータとしての複数の画素データｘｉと、各注目位置の画素データｙが属するクラスを示すクラスコードＣＬと、ＳＤ信号生成部２５２に供給されている画質パラメータｒ，ｚの値とから、クラスおよび出力画素の組み合わせ毎に、係数種データｗ_i0〜ｗ_i9を得るための正規方程式（（１１）式参照）が生成される。

そして、係数種データ決定部２５８では、正規方程式生成部２５７から正規方程式のデータが供給され、当該正規方程式が掃き出し法等によって解かれ、クラスおよび出力画素の組み合わせ毎に、係数種データｗ_i0〜ｗ_i9が求められる。この係数種データｗ_i0〜ｗ_i9は、係数種メモリ２５９に格納される。

このように、図２１に示す係数種データ生成装置２５０においては、回収基板部７０の係数メモリ８３に格納すべき、係数種データｗ_i0〜ｗ_i9を生成できる。

上述したように、図１に示す画像処理装置５１の回収基板部７０の蓄積部８１には、オートモード時およびマニュアルモード時に、ノイズ量検出部６３Ｂで検出されたフレーム毎のノイズ量が蓄積されると共に、マニュアルモード時に、画質変更部６３Ａにおけるノイズ除去度値が調整される毎に、調整されたノイズ除去度値およびそのときのノイズ量の対データが蓄積される。

したがって、この回収基板部７０を回収し、蓄積部８１の蓄積内容に基づいて、ユーザの使用環境あるいは嗜好に合ったノイズ除去度値の調整情報（ノイズ量とノイズ除去度値の対応情報、ノイズ除去度値の調整範囲情報）を得ることができる。この場合、画像処理装置５１内でノイズ除去度値の調整情報を求める処理を行うものではなく、画像処理装置５１自体の構成を複雑にしないで済む。

なお、上述実施の形態においては、回収基板部７０に蓄積部８１を設け、この回収基板部７０を回収して、蓄積部８１の蓄積内容に基づいて、ユーザの使用環境あるいは嗜好に合ったノイズ除去度値の調整情報を得るようにしたものである。しかし、ネットワークに接続された蓄積手段を活用することも考えられる。

図２２に示す画像処理装置は、ネットワークに接続されたサーバを蓄積手段として利用した例である。この図２２において、図１と対応する部分には同一符号を付し、その詳細説明は省略する。

図２２に示す画像処理装置５１Ａは、ネットワークインタフェース（ネットワークＩ／Ｆ）９１を有している。情報取得部８２は、このネットワークインタフェース９１を介して、インターネット等のネットワーク９２に接続される。このネットワーク９２には、蓄積手段を構成するサーバ９３が接続されている。これにより、情報取得部８２で取得したノイズ量、およびノイズ除去度値およびノイズ量の対データを、ネットワーク９２を介してサーバ９３に供給し、このサーバ９３に蓄積できる。

また、このサーバ９３には処理器９４が接続されている。この処理器９４は、サーバ９３の蓄積内容に基づいて、ユーザの使用環境あるいは嗜好に合ったノイズ除去度値の調整情報（ノイズ量とノイズ除去度値の対応情報、ノイズ除去度値の調整範囲情報）および係数種データを得るための処理をする。この処理器９４で得られるノイズ除去度値の調整情報および係数種データはサーバ９３の所定の記憶領域に記憶される。

したがって、画像処理装置５１Ａは、このサーバ９３からネットワーク９２を介してユーザの使用環境あるいは嗜好に合ったノイズ除去度値の調整情報を取得でき、これを情報取得部８２の不揮発性メモリ８２ａに保持して使用できる。また、画像処理装置５１Ａは、このサーバ９３からネットワーク９２を介してノイズ除去度値の調整範囲に対応した係数種データを取得でき、これを係数メモリ８３に保持して使用できる。

詳細説明は省略するが、図２２に示す画像処理装置５１Ａのその他の構成および動作は、図１に示す画像処理装置５１と同様である。この画像処理装置５１Ａによれば、図１で説明したような基板の回収をせずとも、ユーザの使用環境あるいは嗜好に合ったノイズ除去度値の調整情報を得ることが可能となる。

また、上述実施の形態においては、除去すべきノイズが画像信号に含まれるホワイトノイズである例を示したが、この発明は、この除去すべきノイズがその他のノイズ、例えばゴースト、ブロックノイズ、モスキートノイズ、リンギングなどであっても同様に適用できる。

また、上述実施の形態においては、情報信号が画像信号であるものを示したが、この発明は情報信号が音声信号であるものにも同様に適用できる。この場合、入力される音声信号に含まれるノイズとしてはホワイトノイズ、符号化ノイズなどが挙げられる。

この発明は、ユーザの使用環境あるいは嗜好に合ったノイズ除去度値の調整情報を得ることができるようにしたものであり、画像表示装置、音響装置等に適用できる。

実施の形態としての画像処理装置の構成を示すブロック図である。 ノイズ量検出部の構成を示すブロック図である。 蓄積データ（ノイズ量）の一例を示す図である。 蓄積データ（ノイズ除去度値およびノイズ量の対データ）の一例を示す図である。 画質変更部の構成を示すブロック図である。 ＳＤ信号とＨＤ信号の画素位置関係を示す図である。 予測タップ、クラスタップのパターン例を示す図である。 ＨＤ信号の単位画素ブロック内の４画素の中心予測タップからの位相ずれを示す図である。 回収基板部の情報取得部の構成例を示すブロック図である。 情報取得部の制御動作を示すフローチャートである。 回収後の処理の工程を示すフローチャートである。 ノイズ除去度値およびノイズ量の対データの分布例を示す図である。 ノイズ量とノイズ除去度値の対応関係の求め方を説明するための図である。 ノイズ量とノイズ除去度値の対応関係の求め方（方法１）の処理工程を示すフローチャートである。 ノイズ量とノイズ除去度値の対応関係の求め方（方法２）の処理工程を示すフローチャートである。 ノイズ量とノイズ除去度値の対応関係の求め方（方法３）の処理工程を示すフローチャートである。 ノイズ除去度値の調整範囲の求め方を説明するための図である。 調整範囲の決定処理の工程を示すフローチャートである。 調整範囲の決定例を示す図である。 係数種データの生成方法を説明するための図である。 係数種データ生成装置の構成を示すブロック図である。 実施の形態としての画像処理装置の他の構成を示すブロック図である。

符号の説明

５１，５１Ａ・・・画像処理装置、６０・・・バス、６１・・・テレビチューナ、６２・・・入力切替部、６３Ａ・・・画質変更部、６３Ｂ・・・ノイズ量検出部、６４・・・画質設定部、６５・・・音質設定部、６６・・・モニタ、６７・・・受光部、６８・・・制御部、６９・・・リムーバブルメディア、７０・・・回収基板部、８１・・・蓄積部、８２・・・情報取得部、８２ａ・・・不揮発性メモリ、８３・・・係数メモリ、９１・・・ネットワークインタフェース、９２・・・ネットワーク、９３・・・サーバ、９４・・・処理器

Claims (18)

1. 入力される情報信号に含まれるノイズを除去するノイズ除去処理手段と、
   上記ノイズ除去処理手段におけるノイズ除去度値をユーザが調整するための調整手段と、
   上記入力される情報信号に含まれるノイズの量を検出するノイズ量検出手段と、
   少なくとも、上記ノイズ量検出手段で検出されるノイズ量、または上記調整手段で調整されたノイズ除去度値および該調整時に上記ノイズ量検出手段で検出されているノイズ量の対データを、蓄積手段に蓄積するように制御する蓄積制御手段と
   を備えることを特徴とする情報処理装置。
2. 上記蓄積手段をさらに備える
   ことを特徴とする請求項１に記載の情報処理装置。
3. 処理本体部と、該処理本体部に着脱自在に接続される回収基板部とを有し、
   上記処理本体部は、上記ノイズ除去処理手段、上記調整手段および上記ノイズ量検出手段を含み、
   上記回収基板部は、上記蓄積制御手段および上記蓄積手段を含む
   ことを特徴とする請求項２に記載の情報処理装置。
4. 上記蓄積手段は所定のネットワークに接続されており、
   上記蓄積制御手段を上記ネットワークを介して上記蓄積手段に接続するためのネットワークインタフェースをさらに備える
   ことを特徴とする請求項１に記載の情報処理装置。
5. ノイズ量とノイズ除去度値の対応情報を保持する第１の保持手段と、
   オートモード時に、上記ノイズ除去処理手段におけるノイズ除去度値を、上記第１の保持手段に保持されている上記ノイズ量とノイズ除去度値の対応情報に基づいて、上記ノイズ量検出手段で検出されるノイズ量に対応したノイズ除去度値に制御するノイズ除去度値制御手段とをさらに備える
   ことを特徴とする請求項１に記載の情報処理装置。
6. 上記第１の保持手段に保持される上記ノイズ量とノイズ除去度値の対応情報は、上記ノイズ除去度値およびノイズ量の対データを複数個用いることで求められる
   ことを特徴とする請求項５に記載の情報処理装置。
7. 上記ノイズ量とノイズ除去度値の対応情報は、上記ノイズ除去度値およびノイズ量の対データを複数個用い、上記ノイズ量とノイズ除去度値の対応関係を示す１次近似直線を決定することで得られる
   ことを特徴とする請求項６に記載の情報処理装置。
8. 上記複数個の対データを、蓄積された時間による重み付けをして用いる
   ことを特徴とする請求項７に記載の情報処理装置。
9. 上記ノイズ量の軸を複数区間に分け、各区間毎に上記１次近似直線を決定する
   ことを特徴とする請求項７に記載の情報処理装置。
10. 上記調整手段による上記ノイズ除去度値の調整範囲の情報を保持する第２の保持手段と、
    マニュアルモード時に、上記調整手段で調整し得る上記ノイズ除去度値の範囲を、上記第２の保持手段に保持されている上記ノイズ除去度値の調整範囲の情報に基づいて規制する調整範囲規制手段とを備える
    ことを特徴とする請求項１に記載の情報処理装置。
11. 上記第２の保持手段で保持される上記ノイズ除去度値の調整範囲は、上記ノイズ除去度値およびノイズ量の対データを複数個用いることで決定される
    ことを特徴とする請求項１０に記載の情報処理装置。
12. 上記ノイズ除去度値の調整範囲は、複数個のノイズ除去度値に含まれる最大除去度値の頻度および最小除去度値の頻度に基づいて決定される
    ことを特徴とする請求項１１に記載の情報処理装置。
13. 上記ノイズ除去度値の調整範囲は、複数個のノイズ除去度値の重心に基づいて決定される
    ことを特徴とする請求項１１に記載の情報処理装置。
14. 上記複数個のノイズ除去度値を、蓄積された時間による重み付けをして用いる
    ことを特徴とする請求項１３に記載の情報処理装置。
15. 上記ノイズ除去処理手段は、
    入力情報信号に基づいて、出力情報信号における注目位置の周辺に位置する複数の情報データを選択するデータ選択部と、
    係数種データおよび上記ノイズ除去度値を用いて推定式の係数データを生成する係数データ生成部と、
    上記データ選択部で選択された複数の情報データおよび上記係数データ生成部で生成された係数データを用い、上記推定式に基づいて、上記出力情報信号における注目位置の情報データを算出して得る演算部とを有し、
    上記係数種データを保持する第３の保持手段をさらに備える
    ことを特徴とする請求項１に記載の情報処理装置。
16. 入力される情報信号に含まれるノイズを除去するノイズ除去処理手段と、
    上記ノイズ除去処理手段におけるノイズ除去度値をユーザが調整するための調整手段と、
    上記入力される情報信号に含まれるノイズの量を検出するノイズ量検出手段とを備える情報処理装置に着脱自在に接続される回収基板であって、
    少なくとも、上記ノイズ量検出手段で検出されるノイズ量、または上記調整手段で調整されたノイズ除去度値および該調整時に上記ノイズ量検出手段で検出されているノイズ量の対データを蓄積する蓄積手段を備える
    ことを特徴とする回収基板。
17. ノイズ量とノイズ除去度値の対応情報を保持する第１の保持手段をさらに備える
    ことを特徴とする請求項１６に記載の回収基板。
18. 上記調整手段による上記ノイズ除去度値の調整範囲の情報を保持する第２の保持手段をさらに備える
    ことを特徴とする請求項１６に記載の回収基板。
    

Images