以下図面について、本発明の一実施の形態を詳述する。
(1)本実施の形態によるテレビ受信機の全体構成
図1において、1は本実施の形態におけるテレビ受信機を示し、受信した放送信号から得られる標準テレビジョン(SD:Standard Definition)信号をハイビジョン(HD:High Definition)信号にアップコンバートするようになされている。
このSD信号は、ライン数が525本でインタレース方式の映像信号(525i信号)でなり、HD信号は、ライン数が525本でプログレッシブ方式(ノンインタレース方式)の映像信号(525p信号)、又はライン数が1050本でインタレース方式の映像信号(1050i信号)でなる。
テレビ受信機1は、マイクロコンピュータ構成でなり、システム全体の制御を司るシステムコントローラ2と、外部のリモコン送信機4から送信されるリモートコントロール信号を受信するリモコン信号受信回路3とを有している。
リモコン信号受信回路3は、システムコントローラ2に接続され、リモコン送信機4よりユーザの操作に応じて出力されるリモートコントロール信号RMを受信し、その信号RMに対応する操作信号をシステムコントローラ2に供給するように構成されている。
このテレビ受信機1は、受信アンテナ5を介して放送信号(RF変調信号)がチューナ6に供給されると、当該チューナ6において選局処理、中間周波増幅処理及び検波処理等を施してSD信号(525i信号)を得た後、切換スイッチ8の一入力端aに与えられる。また外部入力端子7を介して供給されるSD信号(525i信号)が、切換スイッチ8の他入力端bに与えられる。
システムコントローラ2は、切換スイッチ8の切換制御を行うようにして、ユーザが指定した側の入力端a又はbから供給されたSD信号(525i信号)を第1のフレームメモリ9に供給して一時的に保存させる。
さらにテレビ受信機1には、第1のフレームメモリ9の後段に画像信号処理部10が設けられ、システムコントローラの制御の下で、この第1のフレームメモリ9から読み出されたSD信号(525i信号)をHD信号(525p信号又は1050i信号)にアップコンバートするようになされている。
この画像信号処理部10の後段には、第2のフレームメモリ11が設けられ、システムコントローラは、画像信号処理部10から出力されるHD信号(525p信号又は1050i信号)を必要に応じて一時的に保存するようになされている。
またシステムコントローラ2及び合成部14間には、OSD(On Screen Display)回路13が設けられ、システムコントローラ2が必要に応じて読出指令を与えると、OSD回路13は、予め記憶されている種々の文字図形等の表示パターンの中から当該読出指令に基づく表示パターンを読み出し、表示信号SCHとして合成部14に供給する。
続いてシステムコントローラ2は、画像信号処理部10から第2のフレームメモリ11を介して合成部14に与えられたHD信号と、OSD回路13から与えられた表示信号SCHとを合成させた後、当該合成結果として得られる映像信号を例えばCRT(cathode-ray tube)又はLCD(liquid crystal display)等からなるディスプレイ部12の表示画面に表示させる。
一方、OSD回路13は、表示信号SCHに基づく表示パターンがディスプレイ部12の表示画面のどの位置に表示されているかを表す表示位置信号SDPをシステムコントローラ2に送出する。これによりシステムコントローラ2は、表示位置信号SDPに基づいて現在ディスプレイ部12の表示画面に表示されている表示パターンが当該表示画面のどの位置に表示されているかを常時判断することができる。
このテレビ受像機1では、リモコン送信機4を用いたユーザの操作に応じた、ディスプレイ部12の表示画面上に表示される画像の水平及び垂直の解像度を無段階に滑らかに調整し得るようになされている。
具体的に画像信号処理部10では、後述するように、HD信号(525p信号又は1050i信号)を構成する画素データを所定の推定式を用いて算出する。かかる推定式の係数データが、リモコン送信機4から送信されるユーザの調整内容である水平及び垂直の解像度を決定するパラメータh、vと対応した関係にある。
図2にパラメータh、vを調整するためのユーザインターフェースの一例を示す。解像度の調整時には、ディスプレイ部12の表示画面12Aに、パラメータh、vの調整位置を「☆」マークのアイコンM1で示した調整画面P1がOSD表示される。
ユーザは、リモコン送信機4に搭載されたジョイスティック4aを上下左右に操作することにより、当該操作に応じてアイコンM1を調整画面内の所望方向に自由に移動させることができ、この結果、当該アイコンM1の位置に応じて水平及び垂直の解像度を決定するパラメータh、vの値を任意に調整し得る。
具体的には、図3のように調整画面P1を部分的に拡大して示すと、アイコンM1が左右方向に移動されると、水平解像度を決定するパラメータhの値が調整される一方、アイコンM1が上下方向に移動されると、垂直解像度を決定するパラメータvの値が調整される。このようにユーザはリモコン送信機4を用いて、ディスプレイ部12の表示画面12Aに表示された調整画面P1を参照しながら、パラメータh、vの値を自由にかつ容易に調整することができる。
なお本実施の形態では、リモコン送信機4に搭載されたジョイスティック4aを用いてパラメータh、vを調整する場合について述べたが、これ以外にもマウスやトラックボール等のその他のポインティングデバイスを設けて用いるようにしても良い。さらに、ユーザによって調整されたパラメータh、vの値を調整画面P1上に数値として表示するようにしても良い。
(1−1)画像信号処理部の内部構成
かかる図1に示す構成のテレビ受信機1において、画像信号処理部10は、第1のフレームメモリ9を介して供給されるSD信号(525i信号)を構成する画素データ(以下、これをSD画素データと呼ぶ)を、HD信号(525p信号又は1050i信号)を構成する画素データ(以下、これをHD画素データと呼ぶ)に変換する。このHD信号としての525p信号又は1050i信号の選択は、ユーザがリモコン送信機4を用いた操作内容に応じて決定される。
この画像信号処理部10は、第1のフレームメモリ9の出力段に並列接続された第1〜第3のタップ選択回路20〜22を有し、当該第1のフレームメモリ9に保存されているSD信号(525i信号)からHD信号(525p信号又は1050i信号)に係る注目画素の周辺に位置する複数のSD画素データを選択的に抽出するようになされている。
第1のタップ選択回路20は、予測に使用するSD画素(以下、これを予測タップと呼ぶ)のデータを選択的に抽出する。第2のタップ選択回路21は、SD画素データのレベル分布パターンに対応するクラス分類に使用するSD画素(以下、これを空間クラスタップと呼ぶ)のデータを選択的に抽出する。第3のタップ選択回路22は、動きに対応するクラス分類に使用するSD画素(以下、これを動きクラスタップと呼ぶ)のデータを選択的に抽出する。なお、空間クラス(主に空間内の波形表現のためのクラス分類)を複数フィールドに属するSD画素データを使用して決定する場合には、この空間クラスにも動き情報が含まれることになる。
ここでSD信号(525i信号)及びHD信号(525p信号)について、任意のフレーム(F)における奇数フィールド(o)の画素位置の関係を図4に示す。この図4において大きなドットが525i信号を表し、小さなドットが変換後の525p信号を表している。なお、図示しないが偶数フィールド(e)では、525信号のラインが空間的に0.5ずれたものとなる。
この図4からわかるように、HD信号(525p信号)の画素データは、SD信号(525i信号)のラインと同一ライン上に位置する画素群からなるラインデータL1と、SD信号(525i信号)の上下間のライン上に位置する画素群からなるラインデータL2とである。また、HD信号(525p信号)の各ライン上の画素数は、SD信号(525i信号)の各ライン上の画素数の2倍である。
次にSD信号(525i信号)及びHD信号(1050i信号)の、任意のフレーム(F)を形成する奇数フィールド(o)及び偶数フィールド(e)の画素位置の関係を図5に示す。この図5において大きなドットが525i信号を表し、小さなドットが変換後の1050p信号を表している。
この図5からわかるように、HD信号(1050i信号)の画素データは、SD信号(525i信号)のライン近傍のライン上に位置する画素群からなるラインデータL1、L1′と、SD信号(525i信号)のライン遠隔のライン上に位置する画素群からなるラインデータL2、L2′とである。これら複数のラインデータL1、L1´、L2、L2´のうち、ラインデータL1、L2は奇数フィールドに位置する一方、ラインデータL1′、L2′は偶数フィールドに位置する。また、HD信号(1050i信号)の各ライン上の画素数は、SD信号(525i信号)の各ライン上の画素数の2倍である。
図6(A)及び(B)に、SD信号(525i信号)からHD信号(525p信号)にアップコンバートする場合に、第1のタップ選択回路20において選択される予測タップ(SD画素)の具体例を示す。図6(A)及び(B)は、時間的に連続するフレーム(F−1)、F、(F+1)を形成する奇数フィールド(o)及び偶数フィールド(e)の垂直方向における画素群の位置関係を示している。
図6(A)に示すように、フレームFの奇数フィールド(F/o)を表すラインデータL1、L2を予測するときの予測タップは、次の偶数フィールド(F/e)に含まれ、変換後のHD信号(525p信号)の画素(注目画素)に対して空間的に近傍に位置するSD画素T1、T2、T3と、この奇数フィールド(F/o)に含まれ、変換後のHD信号(525p信号)の画素に対して空間的に近傍に位置するSD画素T4、T5、T6と、前のフレーム(F−1)の偶数フィールド(F−1/e)に含まれ、変換後のHD信号(525p信号)の画素に対して空間的に近傍に位置するSD画素T7、T8、T9と、さらにこのフレーム(F−1)の奇数フィールド(F−1/o)に含まれ、変換後のHD信号(525p信号)の画素に対して空間的に近傍に位置するSD画素T10である。
図6(B)に示すように、フレームFの偶数フィールド(F/e)を表すラインデータL1、L2を予測するときの予測タップは、次のフレーム(F+1)の奇数フィールド(F+1/o)に含まれ、変換後のHD信号(525p信号)の画素に対して空間的に近傍に位置するSD画素T1、T2、T3と、前のフレームFの偶数フィールド(F/e)に含まれ、変換後のHD信号(525p信号)の画素に対して空間的に近傍に位置するSD画素T4、T5、T6と、このフレームFの奇数フィールド(F/o)に含まれ、変換後のHD信号(525p信号)の画素に対して空間的に近傍に位置するSD画素T7、T8、T9と、さらに前のフレーム(F−1)の偶数フィールド(F−1/e)に含まれ、変換後のHD信号(525p信号)の画素に対して空間的に近傍位置のSD画素T10である。
なお、ラインデータL1を予測する際にはSD画素T9を予測タップの選択対象としないように設定しても良く、一方、ラインデータL2を予測する際にはSD画素T4を予測タップの選択対象としないように設定してもよい。
図7(A)及び(B)に、SD信号(525i信号)からHD信号(1050i信号)にアップコンバートする場合に、第1のタップ選択回路20において選択される予測タップ(SD画素)の具体例を示す。図7(A)及び(B)は、時間的に連続するフレーム(F−1)、F、(F+1)を形成する奇数フィールド(o)及び偶数フィールド(e)の垂直方向における画素群の位置関係を示している。
図7(A)に示すように、フレームFの奇数フィールド(F/o)を表すラインデータL1、L2を予測するときの予測タップは、次の偶数フィールド(F/e)に含まれ、変換後のHD信号(1050i信号)の画素(注目画素)に対して空間的に近傍に位置するSD画素T1、T2と、この奇数フィールド(F/o)に含まれ、変換後のHD信号(525p信号)の画素に対して空間的に近傍に位置するSD画素T3、T4、T5、T6と、前のフレーム(F−1)の偶数フィールド(F−1/e)に含まれ、変換後のHD信号(1050i信号)の画素に対して空間的に近傍に位置するSD画素T7、T8である。
図7(B)に示すように、フレームFの偶数フィールド(F/e)を表すラインデータL1′、L2′を予測するときの予測タップは、次のフレーム(F+1)の奇数フィールド(F+1/o)に含まれ、変換後のHD信号(1050ip信号)の画素に対して空間的に近傍に位置するSD画素T1、T2と、前のフレームFの偶数フィールド(F/e)に含まれ、変換後のHD信号(1050i信号)の画素に対して空間的に近傍に位置するSD画素T3、T4、T5、T6と、このフレームFの奇数フィールド(F/o)に含まれ、変換後の525p信号の画素に対して空間的に近傍に位置するSD画素T7、T8である。
なお、ラインデータL1、L1′を予測する際にはSD画素T6を予測タップの選択対象としないように設定しても良く、一方、ラインデータL2、L2′を予測する際にはSD画素T3を予測タップの選択対象としないように設定してもよい。
さらに、図6(A)〜図7(B)に示すように複数フィールド(奇数フィールド及び偶数フィールド)の同一位置にあるSD画素に加えて、水平方向の単数又は複数のSD画素を、予測タップの選択対象として設定するようにしても良い。
図8(A)及び(B)に、SD信号(525i信号)からHD信号(525p信号)アップコンバートする場合に、第2のタップ選択回路21において選択される空間クラスタップ(SD画素)の具体例を示す。図8(A)及び(B)は、時間的に連続するフレーム(F−1)、F、(F+1)の奇数フィールド(o)及び偶数フィールド(e)の垂直方向における画素群の位置関係を示している。
図8(A)に示すように、フレームFの奇数フィールド(F/o)を表すラインデータL1、L2を予測するときの空間クラスタップは、次の偶数フィールド(F/e)に含まれ、変換後のHD信号(525p信号)の画素(注目画素)に対して空間的に近傍に位置するSD画素T1、T2と、この奇数フィールド(F/o)に含まれ、変換後のHD信号(525p信号)の画素に対して空間的に近傍に位置するSD画素T3、T4、T5と、前のフレーム(F−1)の偶数フィールド(F−1/e)に含まれ、変換後のHD信号(525p信号)の画素に対して空間的に近傍に位置するSD画素T6、T7である。
図8(B)に示すように、フレームFの偶数フィールド(F/e)を表すラインデータL1、L2を予測するときの空間クラスタップは、次のフレーム(F+1)の奇数フィールド(F+1/o)に含まれ、変換後のHD信号(525p信号)の画素に対して空間的に近傍に位置するSD画素T1、T2と、前のフレームFの偶数フィールド(F/e)に含まれ、変換後のHD信号(525p信号)の画素に対して空間的に近傍に位置するSD画素T3、T4、T5、T6と、このフレームFの奇数フィールド(F/o)に含まれ、変換後のHD信号(525p信号)の画素に対して空間的に近傍に位置するSD画素T6、T7である。
なお、ラインデータL1を予測する際にはSD画素T7を空間クラスタップの選択対象としないように設定しても良く、一方、ラインデータL2を予測する際にはSD画素T6を空間クラスタップの選択対象としないように設定してもよい。
図9(A)及び(B)に、SD信号(525i信号)からHD信号(1050i信号)にアップコンバートする場合に、第2のタップ選択回路21において選択される空間クラスタップ(SD画素)の具体例を示す。図9(A)及び(B)は、時間的に連続するフレーム(F−1)、F、(F+1)を形成する奇数フィールド(o)及び偶数フィールド(e)の垂直方向における画素群の位置関係を示している。
図9(A)に示すように、フレームFの奇数フィールド(F/o)を表すラインデータL1、L2を予測するときの空間クラスタップは、この奇数フィールド(F/o)に含まれ、変換後のHD信号(1050i信号)の画素(注目画素)に対して空間的に近傍に位置するSD画素T1、T2、T3と、前のフレーム(F−1)の偶数フィールド(F−1/e)に含まれ、変換後のHD信号(1050i信号)の画素に対して空間的に近傍に位置するSD画素T4、T5、T6、T7である。
図9(B)に示すように、フレームFの偶数フィールド(F/e)のラインデータL1′、L2′を予測するときの空間クラスタップは、この偶数フィールド(F/e)に含まれ、変換後のHD信号(1050i信号)の画素に対して空間的に近傍に位置するSD画素T1、T2、T3と、前の奇数フィールド(F/o)に含まれ、変換後のHD信号(1050i信号)の画素に対して空間的に近傍に位置するSD画素T4、T5、T6、T7である。
なお、ラインデータL1、L1′を予測する際にはSD画素T7を空間クラスタップの選択対象としないように設定しても良く、一方、ラインデータL2、L2′を予測する際にはSD画素T4を空間クラスタップの選択対象としないように設定しても良い。
さらに、図8(A)〜図9(B)に示すように複数フィールド(奇数フィールド及び偶数フィールド)の同一位置にあるSD画素に加えて、水平方向の単数又は複数のSD画素を、空間クラスタップの選択対象として設定するようにしても良い。
図10(A)に、SD信号(525i信号)からHD信号(525p信号)にアップコンバートする場合に、第3のタップ選択回路22において選択される動きクラスタップ(SD画素)の具体例を示す。図10(A)は、時間的に連続するフレーム(F−1)、Fの奇数フィールド(o)及び偶数フィールド(e)の垂直方向における画素群の位置関係を示している。
図10(A)に示すように、フレームFの奇数フィールド(F/o)のラインデータL1、L2を予測するときの動きクラスタップは、次の偶数フィールド(F/e)に含まれ、変換後のHD信号(525p信号)の画素(注目画素)に対して空間的に近傍に位置するSD画素n2、n4、n6と、この奇数フィールド(F/o)に含まれ、変換後のHD信号(525p信号)の画素に対して空間的に近傍に位置するSD画素n1、n3、n5と、前のフレーム(F−1)の偶数フィールド(F−1/e)に含まれ、変換後のHD信号(525p信号)の画素に対して空間的に近傍に位置するSD画素m2、m4、m6と、さらに前のフレーム(F−1)の奇数フィールド(F−1/o)に含まれ、変換後のHD信号(525p信号)の画素に対して空間的に近傍に位置するSD画素m1、m3、m5である。フレーム間におけるSD画素n1〜n6のそれぞれの垂直方向の位置は、SD画素m1〜m6のそれぞれの垂直方向の位置と一致する。
図10(B)に、SD信号(525i信号)からHD信号(1050i信号)にアップコンバートする場合に、第3のタップ選択回路22において選択される動きクラスタップ(SD画素)の具体例を示す。図10(B)は、時間的に連続するフレーム(F−1)、Fの奇数フィールド(o)及び偶数フィールド(e)の垂直方向における画素群の位置関係を示している。
図10(B)に示すように、フレームFの奇数フィールド(F/o)のラインデータL1、L2を予測するときの動きクラスタップは、次の偶数フィールド(F/e)に含まれ、変換後のHD信号(1050i信号)の画素に対して空間的に近傍に位置するSD画素n2、n4、n6と、この奇数フィールド(F/o)に含まれ、変換後のHD信号(1050i信号)の画素に対して空間的に近傍に位置するSD画素n1、n3、n5と、前のフレーム(F−1)の偶数フィールド(F−1/e)に含まれ、変換後のHD信号(1050i信号)の画素に対して空間的に近傍に位置するSD画素m2、m4、m6と、さらにこのフレーム(F−1)の奇数フィールド(F−1/o)に含まれ、変換後のHD信号(1050i信号)の画素に対して空間的に近傍に位置するSD画素m1、m3、m5である。フレーム間におけるSD画素n1〜n6のそれぞれの垂直方向の位置は、SD画素m1〜m6のそれぞれの垂直方向の位置と一致する。
図1に示す画像信号処理部10では、空間クラス検出回路23は、第2のタップ選択回路21において選択的に抽出される空間クラスタップのデータ(SD画素データ)のレベル分布パターンを検出した後、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する。
この空間クラス検出回路23は、適応再量子化法(ADRC:Adaptive Dynamic Range Coding)等の情報圧縮方法を用いて、各SD画素データを例えば8ビットから2ビットまでデータ圧縮する演算を行った後、得られた圧縮データを空間クラスのクラス情報としてクラス合成回路25に送出する。
この適応再量子化法(ADRC)は、本来はVTR(Video Tape Recorder)向けの高性能符号化用に開発された手法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できることから、上述したデータ圧縮に使用して好適なものである。なお、情報圧縮手段としては、ADRC以外にDPCM(予測符号化)、VQ(ベクトル量子化)等を用いても良い。
かかる適応再量子化法(ADRC)を使用する場合、空間クラスタップのデータ(SD画素データ)の最大値をMAX、その最小値をMIN、空間クラスタップのデータのダイナミックレンジをDR(=MAX−MIN+1)、再量子化ビット数をPとすると、圧縮データとしての再量子化コードqiは、次式
に示すように、空間クラスタップのデータとしての各SD画素データkiに対する演算式として得られる。ただし、(1)式において、[ ]は切り捨て処理を意味している。この空間クラスタップのデータとして、Na個のSD画素データが存在するとき、iの値は1〜Naである。
また図1に示す画像信号処理部10では、動きクラス検出回路24は、第3のタップ選択回路22において選択的に抽出される動きクラスタップのデータ(SD画素データ)に基づき、主に動きの程度を表すための動きクラスを検出した後、そのクラス情報を出力する。
この動きクラス検出回路24は、動きクラスタップのデータ(SD画素データ)からフレーム間差分を算出した後、当該フレーム間差分の絶対値の平均値に対して所定の閾値処理を行うようにして動きの指標である動きクラスを検出してクラス合成回路25に送出する。
すなわち動きクラス検出回路24は、SD画素データmi、niからフレーム間差分の絶対値の平均値AVを、次式
のように算出する。この(2)式において、第3のタップ選択回路22から抽出されるSD画素データが12個(m1〜m6、n1〜n6)の場合には、が取り出されるとき、(2)式におけるiの最大値Nbは6となる。
続いて動きクラス検出回路24は、上述のように算出した平均値AVを少なくとも1以上の閾値と比較するようにして動きクラスのクラス情報MVを得る。例えば、3個の閾値th1、th2、th3(th1<th2<th3)を用いて4つの動きクラスを検出する場合、AV≦th1のときはMV=0、th1<AV≦th2のときはMV=1、th2<AV≦th3のときはMV=2、th3<AVのときはMV=3となる。
このようにクラス合成回路25は、空間クラス検出回路23から送出される空間クラスのクラス情報としての再量子化コードqiと、動きクラス検出回路24から送出される動きクラスのクラス情報MVとに基づいて、変換後のHD信号(525p信号又は1050i信号)の画素(注目画素)が属するクラスを示すクラスコードCLを生成する。
すなわちクラス合成回路25は、空間クラスタップのデータ(SD画素データ)の個数をNaとし、ADRCにおける再量子化ビット数をPとしたとき、次式
に示す演算処理を行うようにしてクラスコードCL3を得る。
また画像信号処理部10は、複数のレジスタ30〜33及び係数メモリ34を有しており、このうちレジスタ30には、後述する線順次変換回路28の動作を指定するための動作指定情報が格納されている。この線順次変換回路28は、変換後のHD信号のうち525p信号を出力する場合と1050i信号を出力する場合とで、その動作を切り換える必要があることから、レジスタ30から供給される動作指定情報に応じた動作を行うようになされている。
レジスタ31には、第1のタップ選択回路20において選択される予測タップのタップ位置情報が格納されている。かかるタップ位置情報は、例えば選択される可能性のある複数のSD画素にそれぞれ割り当てられた番号である。以下に述べるタップ位置情報は全て同様の情報でなる。第1のタップ選択回路20は、レジスタ31から供給されるタップ位置情報に基づく番号に対応するSD画素を予測タップとして選択する。
またレジスタ32は、第2のタップ選択回路21において選択される空間クラスタップのタップ位置情報が格納されている。この第2のタップ選択回路21は、レジスタ32から供給されるタップ位置情報に基づく番号に対応するSD画素を空間クラスタップとして選択する。
このレジスタ32には、動きが比較的小さい場合のタップ位置情報Aと、動きが比較的大きい場合のタップ位置情報Bとの2種類の情報が格納されており、動きクラス検出回路24から与えられる動きクラスのクラス情報MVに従ってタップ位置情報A又はBを選択して第2のタップ選択回路21が送出される。
すなわち、動きがないか或いは動きが小さいためにクラス情報MVの値が0又は1であるときは、レジスタ32からタップ位置情報Aが第2のタップ選択回路21に供給される。この第2のタップ選択回路21において選択される空間クラスタップは、上述した図8(A)〜図9(B)に示すように複数フィールドに跨るものとなる。
一方、動きが比較的大きいためにクラス情報MVの値が2又は3であるときは、レジスタ32からタップ位置情報Bが第2のタップ選択回路21に供給される。この第2のタップ選択回路21において選択される空間クラスタップは、図示しないが、変換後の画素と同一フィールド内のSD画素のみとなる。
なお、上述したレジスタ31においても、レジスタ32と同様に、動きが比較的小さい場合のタップ位置情報と、動きが比較的大きい場合のタップ位置情報との2種類の情報を格納しておき、動きクラス検出回路24から与えられる動きクラスのクラス情報MVに従って第1のタップ選択回路20に供給されるタップ位置情報が選択されるようにしても良い。
さらにレジスタ33は、第3のタップ選択回路22において選択される動きクラスタップのタップ位置情報が格納されている。第3のタップ選択回路22は、レジスタ33から供給されるタップ位置情報に基づく番号に対応するSD画素を動きクラスタップとして選択する。
さらに係数メモリ34には、後述する推定予測演算回路26において使用される所定の推定式の係数データがクラスごとに格納されている。この係数データは、SD信号(525i信号)をHD信号(525p信号又は1050i信号)にアップコンバートするための情報である。
係数メモリ34は、上述したクラス合成回路25から送出されるクラスコードCLが読み出しアドレス情報として供給されると、システムコントローラ2の制御の下で、当該係数メモリ34からクラスコードCLに対応する係数データを読み出して、推定予測演算回路26に送出する。
画像信号処理部10には、レジスタ30に格納するための動作指定情報と、レジスタ31〜33に格納するためのタップ位置情報とが予め蓄えられている情報メモリバンク35が設けられ、システムコントローラ2の制御に応じて、各レジスタ30〜33に対応する種々の情報を送出するようになされている。
かかる情報メモリバンク35には、レジスタ30に格納するための動作指定情報として、線順次変換回路28からHD信号(525p信号)を出力させるための第1の動作指定情報と、線順次変換回路28からHD信号(1050i信号)を出力させるための第2の動作指定情報とが予め蓄えられている。
ユーザがリモコン送信機4を用いて、HD信号(525p信号)にアップコンバートする第1の変換方法、又はHD信号(1050i信号)にアップコンバートする第2の変換方法のいずれかを選択すると、当該選択結果がシステムコントローラ2を介して情報メモリバンク35に供給される。この結果、システムコントローラ2は、ユーザが選択した第1又は第2の変換方法に応じた第1又は第2の動作指定情報を情報メモリバンク35から読み出してレジスタ30に供給する。
また情報メモリバンク35には、レジスタ31に格納するための予測タップのタップ位置情報として、第1の変換方法(525p)に対応する第1のタップ位置情報と、第2の変換方法(1050i)に対応する第2のタップ位置情報とが予め蓄えられている。システムコントローラ2は、ユーザの操作に応じて選択された第1又は第2の変換方法に応じた第1又は第2のタップ位置情報を情報メモリバンク35から読み出してレジスタ31に供給する。
さらに情報メモリバンク35には、レジスタ32に格納するための空間クラスタップのタップ位置情報として、第1の変換方法(525p)に対応する第1のタップ位置情報と、第2の変換方法(1050i)に対応する第2のタップ位置情報とが予め蓄えられている。
なお、第1及び第2のタップ位置情報は、それぞれ動きが比較的小さい場合のタップ位置情報Aと、動きが比較的大きい場合のタップ位置情報Bとの2種類の情報からなる。システムコントローラ2は、ユーザの操作に応じて選択された第1又は第2の変換方法に応じた第1又は第2のタップ位置情報を情報メモリバンク35から読み出して第2のタップ選択回路21に供給する。
また、情報メモリバンク35には、レジスタ33に格納するための動きクラスタップのタップ位置情報として、第1の変換方法(525p)に対応する第1のタップ位置情報と、第2の変換方法(1050i)に対応する第2のタップ位置情報とが予め蓄えられている。システムコントローラ2は、ユーザの操作に応じて選択された第1又は第2の変換方法に応じた第1又は第2のタップ位置情報を情報メモリバンク35から読み出して第3のタップ選択回路22に供給する。
また情報メモリバンク35には、第1及び第2の変換方法のそれぞれに対応した各クラスの係数種データが予め蓄えられている。この係数種データは、上述した係数メモリ34に格納するための係数データを生成するための生成式の係数データである。
なお後述する推定予測演算回路26は、予測タップのデータ(SD画素データ)xiと、係数メモリ34より読み出される係数データWiとに基づいて、変換後のHD画素データyを、次式
のような推定式を用いて求めることができる。
第1のタップ選択回路20において選択される予測タップが、図4及び図6(B)に示すように10個であるとき、(4)式におけるnの値は10となる。そして、この推定式の係数データWi(i=1〜n)は、パラメータh、vを用いて、次式
に示すように生成される。
また情報メモリバンク35には、この生成式の係数データである係数種データw10〜wn9が、変換方法毎にかつクラス毎に格納されている。この係数種データの作成方法については後述する。
システムコントローラ2は、ユーザの操作に応じて選択された第1又は第2の変換方法に対応する各クラスの係数種データを情報メモリバンク35から読み出して係数生成回路36に供給する。またシステムコントローラ2は、パラメータh、vを係数生成回路36に供給する。
この係数生成回路36は、供給される各クラスの係数種データ及びパラメータh、vの値を用いて、上述の(5)式による推定式を演算することにより、クラス毎に、パラメータh、vの値に対応した推定式の係数データWi(i=1〜n)を生成する。
その際、係数生成回路36は、各クラスの係数データWiを、例えば各垂直ブランキング期間に行うことにより、ユーザの操作によりパラメータh、vの値が変更されても、係数メモリ34に格納される各クラスの係数データWiをパラメータh、vの値に対応したものに即座に変更することができ、この結果、ユーザによる解像度の調整をスムーズに行うことができる。
このように係数生成回路36は、生成した各クラスの係数データWi(i=1〜n)を、システムコントローラ2の制御のもとで係数メモリ34に格納する。
また正規化係数生成回路37は、係数生成回路36において生成される各クラスの係数データWi(i=1〜n)に対応した正規化係数Sを、次式
のように演算する。
この正規化係数生成回路37は、生成した正規化係数Sを正規化係数メモリ38に供給して、当該正規化係数メモリ38においてクラス毎に正規化係数Sを格納させる。この正規化係数メモリ38には、上述したクラス合成回路25から供給されるクラスコードCLが読み出しアドレス情報として格納されており、システムコントローラ2は、指定されたクラスコードCLに対応した正規化係数Sを読み出して正規化演算回路27に供給する。
ここで推定予測演算回路26は、第1のタップ選択回路20で選択的に取り出される予測タップのデータ(SD画素データ)xiと、係数メモリ34より読み出される係数データWiとから、作成すべきHD信号の画素(注目画素)のデータを演算する。
この推定予測演算回路26では、HD信号(525p信号)にアップコンバートする場合には、上述した図4に示すように、奇数フィールド(o)及び偶数フィールド(e)において、SD信号(525i信号)のラインと同ライン上に位置する画素群からなるラインデータL1と、SD信号(525i信号)の上下間のライン上に位置する画素群からなるラインデータL2とを生成すると共に、各ラインL1、L2上の画素数を2倍に変換する必要がある。
また推定予測演算回路26では、HD信号(1050i信号)にアップコンバートする場合には、上述した図5に示すように、奇数フィールド(o)及び偶数フィールド(e)において、SD信号(525i信号)のライン近傍のライン上に位置する画素群からなるラインデータL1、L1′と、SD信号(525i信号)のライン遠隔のライン上に位置する画素群からなるラインデータL2、L2′とを生成すると共に、各ラインL1、L1´、L2、L2´上の画素数を2倍に変換する必要がある。
従って推定予測演算回路26では、HD信号(525p信号又は1050i信号)を構成する4画素のデータを同時に生成する。その際、推定予測演算回路26は、係数メモリ34から読み出されたそれぞれ値が異なる係数データWiと、予測タップのデータ(SD画素データ)xiとに基づいて、上述の(4)式の推定式を用いてHD画素データyを演算する。
続いて正規化演算回路27は、推定予測演算回路26から供給されるラインデータL1、L2(L1′、L2′)を構成する各HD画素データyを、正規化係数メモリ38から読み出されたそれぞれ値が異なる係数データWi(i=1〜n)に対応する正規化係数Sで除算して正規化する。
なお上述した係数生成回路36において生成される係数データWi(i=1〜n)は丸め誤差を含み、係数データWi(i=1〜n)の総和が1.0になることは保証されない。このため推定予測演算回路26は、演算結果であるHD画素データyを丸め誤差によってレベル変動が生じるおそれがある。上述したように正規化演算回路27は、HD画素データyを正規化することによって、そのレベル変動を除去することができる。
続いて線順次変換回路28は、推定予測演算回路26から正規化演算回路27を介して供給されるラインデータL1、L2(L1′、L2′)に対して水平周期を1/2倍とするライン倍速処理を行うようにして線順次化する。
図11は、HD信号(525p信号)にアップコンバートする場合のライン倍速処理をアナログ波形を用いて示すものである。推定予測演算回路26によって生成されるラインデータL1には順にa1、a2、a3、…のラインが含まれると共に、ラインデータL2には順にb1、b2、b3、…のラインが含まれる。
線順次変換回路28は、各ラインL1、L2のデータを時間軸方向に1/2に圧縮した後、当該圧縮されたデータを交互に選択することにより、線順次出力a0、b0、a1、b1、…を形成する。
なお、HD信号(1050i信号)にアップコンバートする場合には、線順次変換回路28は、奇数フィールド(o)及び偶数フィールド(e)でインタレース関係を満たすように線順次出力を発生する。従って線順次変換回路28は、HD信号(525p信号)にアップコンバートする場合と、HD信号(1050i信号)にアップコンバートする場合とで、その動作を切り換える必要があることから、レジスタ30から供給される動作指定情報に応じた動作を行うようになされている。
このように画像信号処理部10では、調整された複数種類のパラメータh、vの値に対応した推定式の係数データWi(i=1〜n)を用いてHD画素データyを演算により求めることができる。従ってユーザはパラメータh、vの値を調整するようにして、HD信号による画像の画質を水平解像度及び垂直解像度の各軸で自由にかつ滑らかに調整することができる。
なお画像信号処理部10では、かかる画質調整時に、係数生成回路36がユーザによって調整されたパラメータh、vの値に対応した各クラスの係数データをその都度生成することから、必要以上に大量の係数データを予め格納しておくメモリを必要としないという利点ある。
また上述したように、情報メモリバンク35には、予め学習によって生成された複数の係数種データが変換方法毎にかつクラス毎に記憶されている。以下において、上述した(5)式の生成式に供する係数データである係数種データw10〜wn9の生成方法の一例を説明する。
まず以下の説明のため、次式
のように、ti(i=0〜9)を定義する。この(7)式を用いると、上述の(5)式は、次式
のように書き換えることができる。
最終的に学習によって未定係数wxyを求める。すなわちいわゆる最小二乗法による解法により、変換方法毎かつクラス毎に、複数のSD画素データ及びHD画素データを用いて二乗誤差を最小にする係数値を決定する。
学習数をmとし、k(1≦k≦m)番目の学習データにおける残差をekとし、二乗誤差の総和をEとすると、上述の(4)式及び(5)式を用いて、二乗誤差の総和Eは、次式
で表される。ここで、xikはSD画像のi番目の予測タップ位置におけるk番目の画素データを表し、ykはそれに対応するk番目のHD画像の画素データを表している。
最小二乗法による解法では、(9)式のwxyによる偏微分が0になるようなwxyを求める。これは、次式
で示される。
以下、次式
のように、Xipjq、Yipを定義すると、(10)式は、行列を用いて、次式
この方程式は一般に正規方程式と呼ばれている。この正規方程式は、掃き出し法(Gauss-Jordanの消去法)等を用いて、wxyについて解かれ、係数種データが算出される。
上述した係数種データの生成方法の概念を図12に示す。HD信号から複数のSD信号を生成する。例えば、HD信号からSD信号を生成する際に使用するフィルタの水平帯域と垂直帯域を可変するパラメータh、vをそれぞれ9段階に可変して、合計81種類のSD信号を生成している。このようにして生成した複数のSD信号とHD信号との間で学習を行って係数種データを生成する。
(1−2)係数種データ生成装置の構成
上述した概念で係数種データを生成する係数種データ生成装置50の構成を図13に示す。
この係数種データ生成装置50は、教師信号としてのHD信号(525p信号又は1050i信号)が入力端子51を介して入力されると、SD信号生成回路52は、当該HD信号に対して水平方向及び垂直方向の間引き処理を行って入力信号としてのSD信号を生成する。
このSD信号生成回路52は、外部から供給される制御信号に応じて、第1の変換方法(525i信号から525p信号へのアップコンバート)又は第2の変換方法(525i信号から1050i信号へのアップコンバート)のいずれか選択し、当該選択した変換方法によりSD信号を生成する。
すなわちSD信号生成回路52は、第1の変換方法を選択した場合、HD信号(525p信号)に対して間引き処理を施してSD信号(525i信号)を生成する(図4参照)一方、第2の変換方法を選択した場合、HD信号(1050i信号)に対して間引き処理が施されてSD信号(525i信号)を生成する(図5参照)。
またSD信号生成回路52は、外部からパラメータh、vが制御信号として供給されると、当該パラメータh、vに対応して、HD信号からSD信号を生成する際に使用するフィルタの水平帯域と垂直帯域とを可変する。
ここで、フィルタの詳細について、いくつかの具体例を示す。まず第1の例として、水平帯域を制限する帯域フィルタと垂直帯域を制限する帯域フィルタとから構成されたフィルタを用いる場合、図14に示すように、パラメータh又はvの段階的な値に対応した周波数特性を設計して、逆フーリエ変換をすることにより、パラメータh又はvの段階的な値に対応した周波数特性を持つ1次元フィルタを得ることができる。
第2の例として、水平帯域を制限する1次元ガウシアンフィルタと垂直帯域を制限する1次元ガウシアンフィルタとから構成されたフィルタを用いる場合、かかる1次元ガウシアンフィルタが、次式
で示されることから、パラメータh又はvの段階的な値に対応して標準偏差σの値を段階的に変えることにより、パラメータh又はvの段階的な値に対応した周波数特性を持つ1次元ガウシアンフィルタを得ることができる。
また第3の例として、パラメータh、vの両方で水平及び垂直の周波数特性が決まる2次元フィルタF(h、v)で構成されたフィルタを用いる場合、この2次元フィルタの生成方法が、上述した1次元フィルタと同様に、パラメータh、vの段階的な値に対応した2次元周波数特性を設計して、2次元の逆フーリエ変換をすることにより、パラメータh、vの段階的な値に対応した2次元周波数特性を持つ2次元フィルタを得ることができる。
また係数種データ生成装置50は、SD信号生成回路52の出力段に並列接続された第1〜第3のタップ選択回路53〜55を有し、当該SD信号生成回路52から供給されるSD信号(525i信号)からHD信号(1050i信号又は525p信号)に係る注目画素の周辺に位置する複数のSD画素のデータを選択的に抽出するようになされている。
これら第1〜第3のタップ選択回路53〜55は、上述した図1に示す画像信号処理部10の第1〜第3のタップ選択回路20〜22と同様に構成されている。これら第1〜第3のタップ選択回路53〜55は、タップ選択制御部56から供給されるタップ位置情報によって指定されたタップを選択する。
タップ選択制御回路56は、外部から供給される制御信号に基づいて、第1又は第2の変換方法のいずれが選択されたかに応じて、当該選択された変換方法に応じたタップ位置情報を第1〜第3のタップ選択回路53〜55に供給する。
またタップ選択制御回路56は、動きクラス検出回路58から供給される動きクラスのクラス情報MVに従って、動きが比較的小さい場合又は動きが比較的大きい場合のいずれかのタップ位置情報を選択して、当該選択したタップ位置情報を第2のタップ選択回路54に供給する。
この第2のタップ選択回路54は、SD画素データのレベル分布パターンに対応するクラス分類に使用する空間クラスタップのデータ(SD画素データ)を選択的に抽出した後、空間クラス検出回路23に送出する。
空間クラス検出回路23は、第2のタップ選択回路54において選択的に抽出した空間クラスタップのデータ(SD画素データ)のレベル分布パターンを検出した後、当該レベル分布パターンに基づいて空間クラスを検出し、そのクラス情報をクラス合成回路59に送出する。
この空間クラス検出回路57は、上述した画像信号処理部10内に設けられた空間クラス検出回路23と同様に構成されれている。この空間クラス検出回路57は、空間クラスタップのデータとしての各SD画素データ毎の再量子化コードqiを空間クラスを示すクラス情報としてクラス合成回路59に送出する。
また第3のタップ選択回路55は、動きに対応するクラス分類に使用する動きクラスタップ(SD画素)のデータを選択的に抽出した後、動きクラス検出回路58に供給する。
この動きクラス検出回路58、第3のタップ選択回路55において選択的に抽出された動きクラスタップのデータ(SD画素データ)から、主に動きの程度を表すための動きクラスを検出した後、そのクラス情報MVをクラス合成回路59に送出する。
この動きクラス検出回路58は、上述した画像信号処理部10内に設けられた動きクラス検出回路24と同様に構成されている。この動きクラス検出回路58は、動きクラスタップのデータ(SD画素データ)からフレーム間差分を算出した後、さらにその差分の絶対値の平均値に対して閾値処理を行って動きの指標である動きクラスを検出する。
このクラス合成回路59は、空間クラス検出回路57から供給される空間クラスのクラス情報としての再量子化コードqiと、動きクラス検出回路58から供給される動きクラスのクラス情報MVとに基づいて、HD信号(525p信号又は1050i信号)に係る注目画素が属するクラスを示すクラスコードCLを生成する。このクラス合成回路59も、上述した画像信号処理部10内に設けられたクラス合成回路25と同様に構成されている。
また正規方程式生成部60は、入力端子51を介して供給されるHD信号から得られる注目画素データとしての各HD画素データyと、この各HD画素データyにそれぞれ対応して第1のタップ選択回路53において選択的に抽出される予測タップのデータ(SD画素データ)xiと、各HD画素データyにそれぞれ対応してクラス合成回路59から供給されるクラスコードCLとに基づいて、各クラス毎に係数種データw10〜wn9を得るための正規方程式((13)式参照)を生成する。
その際、SD信号生成回路52から順次出力される複数のSD信号がパラメータh、vに対応してフィルタの水平及び垂直の帯域を段階的に変化していることから、正規方程式生成部60は、一個のHD画素データyと当該HD画素データyに対応するn個の予測タップ画素データとの組み合わせにより複数の学習データを生成し、当該複数の学習データを登録してなる正規方程式を生成する。
なお図示しないが、第1のタップ選択回路53の前段に時間合わせ用の遅延回路を設けるようにして、この第1のタップ選択回路53から正規方程式生成部60に供給されるSD画素データxiのタイミング調整を行うようにしても良い。
次いで係数種データ決定部61は、正規方程式生成部60からクラス毎に供給される正規方程式のデータを受け取ると、当該正規方程式をクラス毎に例えば掃き出し法等の解法を用いて解くようにして、各クラスの係数種データw10〜wn9を求めた後、当該係数種データw10〜wn9を係数種メモリ62に記憶させる。
実際に、HD信号と当該HD信号から比較的帯域が狭いフィルタを用いて生成したSD信号との間で学習して算出される係数種データからは、比較的解像度の高いHD信号が得られる。これに対して、HD信号と当該HD信号から比較的帯域が広いフィルタを用いて生成したSD信号との間で学習して算出される係数種データからは、比較的解像度の低いHD信号が得られる。
このように係数種データ生成装置50では、供給されるHD信号に基づき複数のSD信号を順次生成し、当該各SD信号に応した第1又は第2の変換方法に対応させて、上述した図1の画像信号処理部10の情報メモリバンク35に記憶される各クラスの係数種データw10〜wn9を生成することができる。
(1−3)本実施の形態による解像度調整処理
ここで上述した図1に示すテレビ受信機1においては、画質調整モードの選択時に、コントラストやシャープネス等のような単一のパラメータによる画質調整ではなく、解像度調整やノイズ除去等のような相関性を保ちながら互いに独立した複数のパラメータによる画質調整を行う場合には、複数種類の調整結果をそれぞれ静止画像としてディスプレイ部12の表示画面12Aに同時に表示させると共に、当該各静止画像同士を直接目視対比しながら画質調整を行い得るようになされている。
ユーザが画質調整として解像度調整を指定した場合について、以下に説明する。まずディスプレイ部の表示画面12Aに映像表示されている状態で、ユーザによるリモコン送信機4の操作により画質調整モードが選択されると、システムコントローラ2は、図15に示す解像度調整処理手順RT1をステップSP0から開始し、続くステップSP1において、当該画質調整モードを表すメニュー画面(図示せず)を重畳表示させる。
このメニュー画面には、複数種類の画質調整用のメニュー(例えばコントラスト、シャープネス、解像度調整及びノイズ除去等)が一覧表示されている。システムコントローラ2は、ステップSP2において、このうちユーザによって解像度調整が指定されるのを待った後、ステップSP3に進んで、ディスプレイ部12の表示画面12Aに現在表示されている映像を停止させて1フレーム分の静止画像を得た後、当該静止画像のうち所定範囲の画像部分を複数の同一画像として同時に1フレームとして分割表示させる。
例えばこれら同一画像の数が4枚である場合、図16に示すように、ディスプレイ部12の表示画面12Aの左上の同一画像をパラメータ調整対象外として原画像のまま表示させる(以下、これを基準原画像と呼ぶ)PSと同時に、当該表示画面12Aの右上、左下及び右下の3枚の同一画像をパラメータ調整用の画像(以下、これを調整用画像と呼ぶ)PX〜PZとして表示させる。
さらに基準原画像PS内には、図17(A)に示すように、横軸及び縦軸にそれぞれ水平解像度及び垂直解像度を決定するためのパラメータ軸からなる2次元座標系CDTが重畳表示されると共に、基準原画像PS及び3枚の調整用画像PX〜PZについて、当該2次元座標系における現在の水平解像度及び垂直解像度を表す位置にそれぞれ「☆」、「×」、「○」及び「△」マークを表すアイコンMS、MX〜MZが重畳表示される。
システムコントローラ2は、これら基準原画像PS及び複数の調整用画像PX〜PZを同時に表示させた状態で、ステップSP4において、ユーザによるリモコン送信機4の操作に応じていずれかの調整用画像PX、PY又はPZが指定されるのを待った後、ステップSP5に進んで、当該指定された調整用画像PX、PY又はPZの現在の水平解像度及び垂直解像度を決定するためのパラメータを基準として、全ての調整用画像PX〜PZに対応するパラメータの値をそれぞれ異なる値に設定する(図17(B))。
このときシステムコントローラ2は、ユーザによるリモコン送信機4の操作に応じていずれかの調整用画像PX、PY又はPZが指定されるのを待った後、当該指定された調整用画像PX、PY又はPZをパラメータ調整対象としてリモコン送信機4による操作可能な状態に設定する。
かかる設定状態において、システムコントローラ2は、ユーザによってリモコン送信機4のジョイスティックや十字ボタン等が所望方向に操作されたとき、基準原画像PS内に表示されている複数のアイコンMX〜MZのうち指定された調整用画像PX、PY又はPZに対応するアイコンMX、MY又はMZのみを、操作方向に追従して移動表示させると同時に、かかる調整用画像PX、PY又はPZを基準として他の各調整用画像をこれに近似するように解像度調整して、その調整結果を当該各調整用画像に反映させる。
やがてシステムコントローラ2は、ステップSP6に進んで、ユーザによるリモコン送信機4の操作により最終的に解像度が決定されたか否かを判断し、否定結果が得られたときには再度ステップSP4に戻って、ユーザが所望する解像度の調整用画像PX、PY又はPZが指定されるのを待つようにして以下同様の処理を繰り返す。
これに対してステップSP6において肯定結果が得られると、このことはユーザにより指定された調整用画像PX、PY又はPZの解像度が調整結果として決定されたことを意味し、このときシステムコントローラ2は、ステップSP7に進んで、画質調整モードを終了するか否かを判断する。
このステップSP7において否定結果が得られると、システムコントローラ2は、再度ステップSP1に戻って、画質調整モードを表すメニュー画面(図示せず)を表示させるようにして上述と同様の処理を繰り返す。これに対してステップSP7において肯定結果が得られると、システムコントローラ2は、そのままステップSP8に進んで当該解像度調整処理手順RT1を終了する。
このようにテレビ受信機1では、例えば解像度調整等のような相関性を保ちながら互いに独立した複数のパラメータによる画質調整を行う際に、ディスプレイ部12の表示画面12A内に複数種類の画質でなる調整用画像PX〜PZを同時に一覧表示させるようにして、ユーザが所望の解像度の調整用画像PX、PY又はPZを他の調整用画像と直接対比しながら容易に指定することができる。
その際、テレビ受信機1では、ディスプレイ部12の表示画面12Aに表示されている複数の調整用画像PX〜PZのうち所望の解像度の調整用画像PX、PY又はPZが指定されると、当該指定された調整用画像PX、PY又はPZを基準として他の各調整用画像の解像度を近似させることにより、当該他の各調整用画像をユーザが所望する解像度の候補対象として一覧表示させるようになされている。
そしてこれら一覧表示された複数の調整用画像PX〜PZの中から所望の解像度でなる調整用画像PX、PY又はPZが指定されるごとに、当該指定された調整用画像PX、PY又はPZ以外の他の各調整用画像の解像度を決定するパラメータの値を当該指定回数に比例して収束させるようにして最終的にユーザが所望する解像度を得ることができるようになされている。
具体的には上述した図15に示す解像度調整処理手順RT1において、画質調整モードのメニュー画面のうち解像度調整が指定されると(ステップSP2)、システムコントローラ2は、図18に示すパラメータ決定処理手順RT2をステップSP10から開始し、続くステップSP11において、ディスプレイ部の表示画面12Aに1枚の基準原画像PS及び3枚の調整用画像PX〜PZを同時に1フレームとして分割表示させる(ステップSP3)と共に、当該各調整用画像PX〜PZのパラメータの値を初期値に設定する。
すなわちこれら複数の調整用画像PX〜PZに設定されるパラメータをそれぞれPx、Py及びPzとすると、初期値は、図19に示すように、Nを所定の自然数として、パラメータPxの値が0、パラメータPyの値がN/2+1、パラメータPzの値がNと表される。
これらパラメータPx、Py及びPzは、上述したように水平解像度を決定するパラメータhと、垂直解像度を決定するパラメータvとの組み合わせでなり、それぞれ(hx、vx)、(hy、vy)及び(hz、vz)と表される。
続いてシステムコントローラ2は、ステップSP12に進んで、いずれかの調整用画像PX、PY又はPZが指定されることにより(ステップSP4)、当該調整用画面PX、PY又はPZを基準とするパラメータPx、Py又はPzの値が選択されたか否かを判断する。
このステップSP12において肯定結果が得られると、このことは複数の調整用画像PX〜PZのうちユーザが所望の解像度の調整用画像PX、PY又はPZを指定したことを意味し、このときシステムコントローラ2は、ステップSP13に進んで、選択回数k(初期値は0)を+1だけインクリメントした後、ステップSP14において3つのパラメータPx〜Pzの値を再設定する(ステップSP5)。
このステップSP14において、システムコントローラ2は、指定された調整用画像PX、PY又はPZに対応するパラメータPx、Py又はPzの値(k=0のときPx=N、Py=N/2+1、Pz=0)を基準として、他のパラメータPx、Py又はPzの値に±N/2k(kは選択回数)を加算するようにして新たなパラメータPx、Py又はPzの値を設定する(図19)。このときパラメータPx、Py又はPzの値が0〜Nの範囲を越える場合には、0〜Nの範囲内に収めるように設定する。すなわちパラメータPx、Py又はPzの値が0以下のときは0に設定する一方、N以上のときはNに設定する。
やがてシステムコントローラ2は、ステップSP15に進んで、パラメータPx、Py又はPzの値の上限値Nが2kより小さい値になったか、又はユーザが最終的に解像度を決定したかのいずれかになったか否かを判断し(ステップSP6)、肯定結果が得られた場合には、そのままステップSP16に進んで当該パラメータ決定処理手順RT2を終了する。
これに対してステップSP15において否定結果が得られた場合、このことは解像度の調整が不能又はユーザにより終了したことを意味し、このときシステムコントローラ2は、再度ステップSP12に戻って、次のパラメータPx、Py又はPzの値が選択されるのを待つようにして上述と同様の処理を繰り返す。
このようにテレビ受信機1では、ユーザが所望の解像度の調整用画像PX、PY又はPZを指定するごとに、当該指定した調整用画像PX、PY又はPZを基準として他の各調整用画像の解像度を逐次近似するように、当該各調整用画像PX〜PZのパラメータPx〜Pzの値を再設定することにより、ユーザが調整用画像PX、PY又はPZを順次指定していくだけで所望の解像度に収束することができる。
実際にテレビ受信機1では、システムコントローラ2は、上述の解像度調整が行われると、第1のフレームメモリ9に記憶したSD信号(525i信号)に基づくフレーム画像を読み出して、画像信号処理部10において当該フレーム画像の4分の1の同一画像に対してそれぞれパラメータ調整処理を実行した後、当該各パラメータ調整処理の結果として得られるHD信号(525p信号又は1050i信号)に基づく1枚の基準原画像PS及び3枚の調整用画像PX、PY又はPZを第2のフレームメモリ11に順次記憶させる。
そしてシステムコントローラ2は、第2のフレームメモリ11に記憶されたHD信号(525p信号又は1050i信号)に基づく基準原画像PS及び複数の調整用画像PX、PY又はPZを、ディスプレイ部12の表示画面12A内で1フレームを形成するように所定タイミングで合成部14にそれぞれ送出する。
またシステムコントローラ2は、ユーザの操作内容に応じてOSD回路13に、それぞれ調整用画像PX、PY又はPZごとにパラメータ調整のための読出命令を与えると、当該OSD回路13は、これら読出命令に応じたパラメータ調整用の表示パターン(図17(A)における2次元座標系CDT並びに「☆」、「×」、「○」及び「△」マークを表すアイコンMS、MX〜MZ)を合成部14に送出する。
続いてシステムコントローラ2は、画像信号処理部10から第2のフレームメモリ11を介して合成部14に与えられた基準原画像PS及び複数の調整用画像PX〜PZと、OSD回路13から与えられたパラメータ調整用の表示パターンとをそれぞれ対応させて合成した後、当該合成結果として得られる画像信号に基づくフレーム画像をディスプレイ部12の表示画面12Aに表示させる。
一方、OSD回路13は、パラメータ調整用の表示パターンがディスプレイ部12の表示画面12Aのどの位置に表示されているかを表す表示位置信号SDPをそれぞれシステムコントローラ2に送出する。これによりシステムコントローラ2は、表示位置信号SDPに基づいて現在ディスプレイ部12の表示画面12Aに表示されているパラメータ調整用の表示パターンが当該表示画面12Aのどの位置に表示されているかを常時判断することができる。
(1−4)本実施の形態による動作及び効果
以上の構成において、このテレビ受信機1では、画質調整モード時に、例えば解像度調整等のような相関性を保ちながら互いに独立した複数のパラメータによる画質調整を行う場合、ディスプレイ部12の表示画面12Aに表示されている映像のうち指定された静止画像の所定範囲の画像部分を複数の同一画像として1フレームとして分割表示する。
これら複数の同一画像を1枚の基準原画像PS及び複数の調整用画像PX〜PZに分けて設定し、このうち基準原画像PSには、2次元座標系CDT並びに当該基準原画像PS及び複数の調整用画像PX〜PZの現在の解像度を表すアイコンMS、MX〜MZを重畳表示すると共に、残る複数の調整用画像PX〜PZには、それぞれ異なる解像度となるように初期値を設定する。
ユーザがディスプレイ部12の表示画面12Aに表示されている複数の調整用画像PX〜PZのうち所望の解像度でなる調整用画像PX、PY又はPZをリモコン送信機4を用いて指定すると、当該指定された調整用画像PX、PY又はPZを基準として他の調整用画像について水平解像度及び垂直解像度を決定するパラメータの値をそれぞれ再設定する。
このときディスプレイ部12の表示画面12Aには、元の解像度のままの基準原画像PSと、現時点での所望の解像度でなる調整用画像PX、PY又はPZと、当該調整用画像PX、PY又はPZの解像度を基準としてこれに近似する解像度でなる他の各調整用画像とが一覧表示されることから、ユーザはこれら複数の調整用画像PX〜PZ同士を直接対比しながら所望の解像度でなる調整用画像を指定することができる。
さらにディスプレイ部12の表示画面12Aに表示されている複数の調整用画像PX〜PZのうち、ユーザが所望の解像度でなる調整用画像PX、PY又はPZを指定すると、当該指定した調整用画像を基準として他の各調整用画像の解像度を近似させることにより、当該他の各調整用画像をユーザが所望する解像度の候補対象として一覧表示させることができる。
そしてユーザがこれら一覧表示された複数の調整用画像PX〜PZの中から所望の解像度でなる調整用画像PX、PY又はPZを指定していくごとに、当該指定した調整用画像PX、PY又はPZ以外の他の各調整用画像の解像度を決定するパラメータの値を当該指定回数に比例して収束させることにより、最終的にユーザが所望する解像度でなる調整用画像を表示させることができる。
従ってユーザは解像度調整をするにあたって、実際に画面表示される調整用画像を目視しながら所望の解像度であるものを順次指定していくだけで最終的に所望する解像度に収束させることができる。この結果、複数のパラメータを相関性を保ちながら互いに独立して調整する必要がある解像度調整のような画質調整であっても、調整前と調整後の画質を容易に目視確認することができると共に、複数のパラメータを同時に調整するといった煩雑さを回避して簡単に調整することができる。
以上の構成によれば、このテレビ受信機1において、解像度調整の際に、ディスプレイ部12の表示画面12Aに同一内容の静止画像でなる複数の調整用画像PX〜PZを同時に表示させておき、ユーザにより指定された調整用画像PX、PY又はPZを基準として他の各調整用画像の解像度を近似させてユーザが所望する解像度の候補対象として一覧表示させるようにし、さらにユーザにより所望の解像度でなる調整用画像PX、PY又はPZが指定されるごとに、当該指定された調整用画像PX、PY又はPZ以外の他の各調整用画像の解像度を決定するパラメータの値を当該指定回数に比例して収束させるようにして、最終的にユーザが所望する解像度でなる調整用画像を表示させるようにしたことにより、ユーザは実際に表示される調整用画像を目視しながら所望の解像度であるものを順次指定していくだけで最終的に所望する解像度に調整することができ、かくして画質調整を格段と容易に行い得るテレビ受信機1を実現できる。
(2)他の実施の形態
(2−1)他の実施の形態による係数種データの生成方法
次に、係数種データの生成方法について他の実施の形態について説明する。この実施の形態においても、上述した(5)式の生成式における係数データである係数種データw10〜wn9を求める場合について述べることとする。
この係数種データの生成方法についての概念図を図20に示す。まずHD信号から複数のSD信号を生成する。例えば、各HD信号ごとに、フィルタの水平帯域及び垂直帯域を可変するパラメータh、vをそれぞれ9段階に可変するようにして合計81種類のSD信号を生成する。このようにして生成した各SD信号及びHD信号間の学習に基づいて、以下に示す手法により(4)式の推定式の係数データWiを各SD信号に対応して生成した後、当該係数データWi(i=1〜n)を用いて係数種データw10〜wn9を生成する。
まず(4)式の推定式の係数データWiを最小二乗法により求める。一般化した例として、入力データをX、係数データをW、予測値をYとして、次式
の観測方程式を考える。この(15)式において、mは学習データの数を示し、nは予測タップの数を示している。
(15)式の観測方程式により収集されたデータに最小二乗法を適用する。この(15)式の観測方程式をもとに、次式
の残差方程式を考える。この(16)式の残差方程式から、各係数データWiの最確値は、次式
のe2を最小にする条件が成り立つ場合と考えられる。
すなわち、次式
のiに基づくn個の条件について、これらを満たすW1、W2、…、Wnの値を係数データとして算出すればよい。そこで、上述の(16)式の残差方程式から、次式
が得られ、さらにこの(19)式と上述の(15)式とから、次式
が得られる。
そしてこの(20)式と(16)式とから、次式
の正規方程式が得られる。
この(21)式の正規方程式は、未知数の数nと同じ数の方程式を立てることが可能であるため、各係数データWiの最確値を求めることができる。この場合、掃き出し法(Gauss-Jordanの消去法)等を用いて連立方程式を解けばよい。
次に各SD信号に対応して生成された係数データWi(i=1〜n)を使用して、係数種データw10〜wn9を求める。まずパラメータh、vに対応するSD信号を用いた学習に基づいて、あるクラスの係数データkvhi(iは予測タップの番号)が得られた場合に、当該係数データkvhiからクラスの係数種データを求める。
これら各係数データWiは、係数種データw10〜wn9を用いて、上述した(5)式により表される。ここで、係数データWiに対して最小二乗法を使用することを考えると、残差evhiは、上述の(7)式に示すtjを用いて、次式
のように表される。この(22)式に最小二乗法を適用すると、次式
が得られる。
ここで、Xjk、Yjをそれぞれ次式
のように定義すると、(23)式は、次式
のように書き換えられる。この(26)式も正規方程式であり、この式を掃き出し法等の一般解法を用いることにより、係数種データw10〜wn9を算出することができる。
かかる他の実施の形態における係数種データを生成する係数種データ生成装置70の構成を図21に示す。この図21では、上述した図13と対応する部分に同一符号を付し、その詳細な説明は省略することにする。また図21では、図13に示す係数種データ生成装置50と対応部分に同一符号を付すこととする。
この図21に示す係数種データ生成装置70において、正規方程式生成部71は、入力端子を介して供給されるHD信号(525p信号又は1050i信号)から得られる注目画素データとしての各HD画素データyと、この各HD画素データyにそれぞれ対応して第1のタップ選択回路53において選択的に抽出された予測タップのデータ(SD画素データ)xiと、各HD画素データyにそれぞれ対応してクラス合成回路59から供給されるクラスコードCLとに基づいて、クラス毎に、係数データWi(i=1〜n)を得るための正規方程式((21)式参照)を生成する。
その際、SD信号生成回路52から順次出力される複数のSD信号がパラメータh、vに対応してフィルタの水平及び垂直の帯域を段階的に変化していることから、正規方程式生成部60は、一個のHD画素データyと当該HD画素データyに対応するn個の予測タップ画素データとの組み合わせにより複数の学習データを生成し、当該複数の学習データを登録してなる正規方程式を生成する。
また係数データ決定部72は、正規方程式生成部71において生成された正規方程式のデータが供給されると、当該正規方程式を解法して、各SD信号にそれぞれ対応した各クラスの係数データWiを求める。
続いて正規方程式生成部73は、これら各SD信号に対応した各クラスの係数データWiを用いて、クラス毎に、係数主データw10〜wn9を得るための正規方程式((26)式参照)を生成する。
さらに係数種データ決定部74は、正規方程式生成部73において生成された正規方程式のデータが供給されると、当該正規方程式を解法して、係数種データw10〜wn9を求めた後、当該係数種データw10〜wn9をクラス別にアドレス分割された係数種メモリ62に記憶させる。
このように、図21に示す係数種データ生成装置70においても、供給されるHD信号に基づき複数のSD信号を順次生成し、当該各SD信号に応した第1又は第2の変換方法に対応させて、上述した図1の画像信号処理部10の情報メモリバンク35に記憶される各クラスの係数種データw10〜wn9を生成することができる。
なお上述したように図1に示す画像信号処理部10においては、係数データWi(i=1〜n)を生成するために(5)式の生成式を使用したが、例えば、次式
などを使用しても良く、さらに次数の異なった多項式や、他の関数で表現される式を適用させるようにしても良い。
また上述したように図1の画像信号処理部10においては、水平解像度を指定するパラメータhと垂直解像度を指定するパラメータvとを設定しておき、これら複数種類のパラメータh、vの値を調整することによって、画像の水平解像度及び垂直解像度をそれぞれ調整するようにした場合について述べたが、例えばノイズ除去度(ノイズ低減度)を指定するパラメータzを設定しておき、このパラメータzの値を調整することによって画像のノイズ除去度を調整するようにしても良い。
かかるノイズ除去度の調整の場合、係数データWi(i=1〜n)を生成する生成式として、例えば、次式
などを用いても良く、さらに次数の異なった多項式や、他の関数で表現される式を適用するようにしても良い。
さらに上述したようにパラメータzを含む生成式の係数データである係数種データは、上述したパラメータh、vを含む生成式の係数データWiである係数種データw10〜wn9を生成する場合と同様に、図13に示す係数種データ生成装置50又は図21に示す係数種データ生成装置70によって生成することができる。
この場合、係数種データ生成装置50又は70では、SD信号生成回路52に外部から制御信号としてパラメータzが供給され、このパラメータzの値に対応して、HD信号からSD信号を生成する際に、SD信号に対するノイズ付加状態が段階的に可変される。このようにSD信号に対するノイズ付加状態を段階的に可変させて学習データを登録するようにして、連続したノイズ除去度を得るための係数種データを生成することができる。
ここでパラメータzの値に対応したノイズ付加方法の詳細について、第1〜第3の例を具体的に示す。まず第1の例として、図22(A)に示すように、SD信号に振幅レベルを段階的に変化させたノイズ信号を加えるようにして、段階的にノイズレベルが変化するSD信号を生成する。
第2の例として、図22(B)に示すように、SD信号に一定振幅レベルのノイズ信号を加えるが、当該ノイズ信号を加える画面領域を段階的に可変させる。第3の例として、図22(C)に示すように、ノイズが含まれている1画面分のSD信号と、ノイズが含まれていない1画面分のSD信号とを用意しておき、正規方程式を生成する際に、それぞれのSD信号に対して複数回の学習を行う。
例えば「ノイズ0」では、ノイズなしのSD信号に対して1回の学習を行い、「ノイズi(iは0以上の整数)」では、ノイズなしのSD信号に対して30回の学習を行うと共にノイズありのSD信号に対して70回の学習を行う。
この場合、「ノイズi」の方がノイズ除去度が高い係数種データを算出する学習系になる。このように、ノイズなし及びノイズありのSD信号に対する学習回数を段階的に変化させて学習を行うことにより、連続したノイズ除去度を得るための係数種データを得ることができる。
このような手法を、正規方程式の加算による手法を用いて実現することもできる。まず「ノイズ0」〜「ノイズi」における推定式の係数データを算出するような学習を行う。このときの正規方程式は、上述した(21)式に示すようになる。
ここで、j番目の予測タップ位置のSD画素データのi番目の学習値をxij、HD画素データのi番目の学習値をyiとし、係数をWiとしたとき、Pij、Qjをそれぞれ次式
のように定義すると、(21)式は、次式
のように書き換えられる。
このような学習を用いて、ノイズなしのSD信号を学習した場合における、(33)式の左辺を[P1ij]、右辺を[Q1i]と定義し、同様に、ノイズありのSD信号を学習した場合における、(33)式の左辺を[P2ij]、右辺を[Q2i]と定義する。このような場合に、次式
のように、[Paij]、[Qai]を定義する。ただし、a(0≦a≦1)である。
ここで、a=0の場合の正規方程式は、次式
で表され、これは図17(C)の「ノイズ0」の場合の正規方程式と等価になり、a=0.7の場合は「ノイズi」の場合の正規方程式と等価になる。
このaを段階的に変化させて各ノイズレベルの正規方程式を作ることにより、目的とする係数種データを得ることができる。この場合、図21の係数種データ生成装置70の場合と同様に、各ノイズレベルの正規方程式よりそれぞれ係数データをWiを算出し、この各段階における係数データを用いて係数種データを求めることができる。
また各ノイズレベルの正規方程式を組み合わせて、上述した(13)式のような係数種データを得るための正規方程式を生成するようにしても良い。この手法については、以下において詳細する。ここでは、上述した(30)式を用いて、係数種データを求める正規方程式を生成する場合を考える。
予め何種類かのパラメータzに対応したノイズレベルのSD信号を生成して学習を行っておき、上述した(34)式及び(35)式に表される[P]及び[Q]を、[Pnij]及び[Qni]と表す。また上述した(7)式は、次式
のように書き換えられる。
この場合、上述した(24)式及び(25)式は、それぞれ次式
のように書き換えることができる。これらの式に対し、予測タップの総数を表す変数をmに書き換えて、次式
を解法することにより、係数種データwijを求めることができる。
また上述したように図1の画像信号処理部10においては、水平解像度を指定するパラメータhと垂直解像度を指定するパラメータvとを設定しておき、これら複数種類のパラメータh、vの値を調整することによって、画像の水平解像度及び垂直解像度をそれぞれ調整するようにした場合について述べたが、例えば水平解像度及び垂直解像度を単一のパラメータを用いて調整するようにしても良い。
この場合、単一のパラメータrについて、例えばr=1は(h、v)=(1、1)、r=2は(h、v)=(2、2)、…、又はr=1は(h、v)=(1、2)、r=2は(h、v)=(2、3)、…のような対応関係とされる。この場合、係数データWi(i=1〜n)を生成する生成式としては、rの多項式等が使用されることとなる。
また上述したように図1の画像信号処理部10においては、水平解像度を指定するパラメータhと垂直解像度を指定するパラメータvとを設定しておき、これら複数種類のパラメータh、vの値を調整することによって、画像の水平解像度及び垂直解像度をそれぞれ調整するようにした場合について述べたが、上述した水平解像度及び垂直解像度を指定するパラメータrと、ノイズ除去度(ノイズ低減度)を指定するパラメータzとを設定し、これら複数種類のパラメータr、zの値を調整することにより、画像の水平解像度及び垂直解像度とノイズ除去度とを調整するようにしても良い。
この場合、係数データWi(i=1〜n)を生成する生成式として、例えば、次式
等を適用することができ、さらに次数の異なった多項式や、他の関数で表現される式を用いるようにしても良い。
このように複数種類のパラメータr、zを調整するためのユーザインターフェースも、上述した図2と同様に構成することができる。すなわち図2及び図3との対応部分に同一符号を付して示す図23において、ディスプレイ部12の表示画面12Aに、調整時には、パラメータr、zの調整位置を「☆」マークのアイコンM2で示した調整画面P2がOSD表示される。
ユーザは、リモコン送信機4に搭載されたジョイスティック4aを上下左右に操作することにより、当該操作に応じてアイコンM2を調整画面内の所望方向に自由に移動させることができ、この結果、当該アイコンM2の位置に応じて解像度を指定するパラメータrの値とノイズ除去度(ノイズ低減度)を指定するパラメータzの値とを任意に調整し得る。なお、ユーザによって調整されたパラメータr、zの値を、調整画面上に数値表示するようにしても良い。
このようにパラメータr、zを含む生成式の係数データである係数種データは、上述したパラメータh、vを含む生成式の係数データWiである係数種データw10〜wn9を生成する場合と同様に、図13に示す係数種データ生成装置50又は図21に示す係数種データ生成装置70によって生成することができる。
この場合、係数種データ生成装置50又は70では、SD信号生成回路52に外部から制御信号としてパラメータr、zが供給され、このパラメータr、zの値に対応して、HD信号からSD信号を生成する際に、SD信号の水平帯域及び垂直帯域と当該SD信号に対するノイズ付加状態とが段階的に可変される。このようにSD信号に対する水平帯域及び垂直帯域と当該SD信号に対するノイズ付加状態とを段階的に可変させて学習データを登録するようにして、連続したノイズ除去度を得るための係数種データを生成することができる。
上述した係数種データの生成方法の概念を図24に示す。HD信号から複数のSD信号を生成する。例えば、HD信号からSD信号を生成する際に使用するフィルタのパラメータr、zをそれぞれ9段階に可変して、合計81種類のSD信号を生成している。このようにして生成した複数のSD信号とHD信号との間で学習を行って係数種データを生成する。なお、パラメータr、zを9段階よりもさらに多くの段階に可変するようにしても良いが、その場合には算出される係数種データの精度は良くなる一方、計算量は増大する。
さらに上述したように図1の画像信号処理部10においては、水平解像度を指定するパラメータhと垂直解像度を指定するパラメータvとを設定しておき、これら複数種類のパラメータh、vの値を調整することによって、画像の水平解像度及び垂直解像度をそれぞれ調整するようにした場合について述べたが、これらパラメータh、vの他に、さらに上述したノイズ除去度(ノイズ低減度)を指定するパラメータzを設定し、これら複数種類のパラメータh、v、zの値を調整することにより、画像の水平解像度及び垂直解像度とノイズ除去度とを調整するようにしても良い。
この場合、係数データWi(i=1〜n)を生成する生成式として、例えば、次式
等を適用することができ、さらに次数の異なった多項式や、他の関数で表現される式を用いるようにしても良い。
このように複数種類のパラメータh、v、zを調整するためのユーザインターフェースも、上述した図2と同様に構成することができる。すなわち図2及び図3との対応部分に同一符号を付して示す図25において、ディスプレイ部12の表示画面12A(図示せず)に、調整時には、解像度を指定するパラメータh、vとノイズ除去度(ノイズ低減度)を指定するパラメータzとをパラメータr、zの調整位置を「☆」マークのアイコンM3で示した調整画面P3がOSD表示される。
ユーザは、リモコン送信機4に搭載されたジョイスティック4aを上下左右に操作することにより、当該操作に応じてアイコンM3を調整画面内の所望方向に自由に移動させることができ、この結果、当該アイコンM3の位置に応じて解像度を指定するパラメータrの値とノイズ除去度(ノイズ低減度)を指定するパラメータzの値とを任意に調整し得る。
アイコンM3が左右に動かされることで水平の解像度を決定するパラメータhの値が調整され、一方アイコンM3が上下に動かされることで垂直の解像度を決定するパラメータvの値が調整され、さらにアイコンM3が奥行き方向に動かされることでノイズ除去度を決定するパラメータzの値が調整される。アイコンM3を奥行き方向に動かすには、例えばジョイスティック4aを斜め方向に操作すれば良い。
この場合、アイコンM3の大きさや色の濃さ、或いは色合い等を変化させることにより、奥行き方向を表現するようにしても良い。図中の破線で示されるアイコンM3´は、その大きさを変えることにより、実線で示されるアイコンM3が奥行き方向に移動された状態を示している。なお、ユーザによって調整されたパラメータh、v、zの値を、調整画面P3上に数値表示するようにしても良い。
このようにパラメータh、v、zを含む生成式の係数データである係数種データは、上述したパラメータh、vを含む生成式の係数データWiである係数種データw10〜wn9を生成する場合と同様に、図13に示す係数種データ生成装置50又は図21に示す係数種データ生成装置70によって生成することができる。
この場合、係数種データ生成装置50又は70では、SD信号生成回路52に外部から制御信号としてパラメータh、v、zが供給され、このパラメータh、v、zの値に対応して、HD信号からSD信号を生成する際に、SD信号の水平帯域及び垂直帯域と当該SD信号に対するノイズ付加状態とが段階的に可変される。このようにSD信号に対する水平帯域及び垂直帯域と当該SD信号に対するノイズ付加状態とを段階的に可変させて学習データを登録するようにして、連続したノイズ除去度を得るための係数種データを生成することができる。
上述した係数種データの生成方法の概念を図26に示す。HD信号から複数のSD信号を生成する。例えば、HD信号からSD信号を生成する際に使用するフィルタのパラメータh、v、zをそれぞれ9段階に可変して、合計729種類のSD信号を生成している。このようにして生成した複数のSD信号とHD信号との間で学習を行って係数種データを生成する。なお、パラメータh、v、zを9段階よりもさらに多くの段階に可変するようにしても良いが、その場合には算出される係数種データの精度は良くなる一方、計算量は増大する。
(2−2)他の実施の形態による画像信号処理部の構成
なお、上述した図1に示す画像信号処理部10における処理を、例えば図27に示すような画像信号処理部80によるソフトウェア処理を実行するようにしても実現することができる。
この図27に示す画像信号処理部80では、装置全体の動作を制御するCPU81と、このCPU81の動作プログラムや係数種データ等が格納されたROM(read only memory)82と、CPU81の作業領域を構成するRAM(random access memory)83とがそれぞれバス84を介して相互に接続されて構成されている。
また画像信号処理部80には、外部記憶装置としてのハードディスクドライブ(HDD)85と、フロッピ(登録商標)(R)ディスク86をドライブするフロッピ(R)ディスクドライブ(FDD)87とがそれぞれバス84を介して相互に接続されて構成されている。
さらに画像信号処理部80には、インターネット等の通信網88に有線又は無線で接続する通信部89を有し、当該通信部89がインターフェース90を介してバス84に接続されている。
さらに画像信号処理部80には、ユーザインターフェース部が設けられ、当該ユーザインターフェース部は、リモコン送信機4からのリモコン信号RMを受信するリモコン信号受信回路91と、LCD(liquid crystal display)等からなるディスプレイ92とが設けられている。またリモコン信号受信回路91及びディスプレイ92は、それぞれインターフェース93及び94を介してバスに接続されている。
さらに画像信号処理部80には、SD信号を入力するための入力端子95と、HD信号を出力するための出力端子96とが、それぞれインターフェース97及び98を介してバスに接続されている。
ここで、上述したようにROM82に処理プログラムや係数種データ等を予め格納しておくことに代えて、例えばインターネットなどの通信網88から通信部89を介してダウンロードしてハードディスク85やRAM83に蓄積して使用するようにしても良い。またこれら処理プログラムや係数種データ等をフロッピ(R)ディスク86で提供するようにしても良い。
また処理すべきSD信号を入力端子95から入力することに代えて、予めハードディスク85に記録しておき、又はインターネットなどの通信網88から通信部89を介してダウンロードするようにしても良い。さらに処理後のHD信号を出力端子に出力することに代えて、又はこれと並行してディスプレイに供給して画像表示させたり、さらにはハードディスク85に格納させたり、通信部89を介してインターネットなどの通信網89に送出させるようにしても良い。
かかる図27に示す構成の画像信号処理部80において、CPU81は、図28に示すアップコンバート処理手順RT3を実行するようにして、SD信号(525i)をHD信号(525p又は1050i)にアップコンバートすることができる。
まずCPU81は、このアップコンバート処理手順RT3をステップSP20から開始し、続くステップSP21において、SD画素データをフレーム単位又はフィールド単位で入力する。このSD画素データが入力端子95を介して外部入力される場合には、一時的にRAM83に格納する。またこのSD画素データがハードディスク85から読み出された場合にも一時的にRAM83に格納する。
続いてCPU81は、ステップSP22に進んで、入力されたSD画素データの全フレーム又は全フィールドについての処理が既に終了しているか否かを判断する。このステップSP22において肯定結果が得られた場合には、CPU81は、処理が終了していると判断して、ステップSP23に進んで、アップコンバート処理手順RT3を終了する。
これに対してステップSP22において否定結果が得られた場合には、CPU81は、ステップSP24に進んで、ユーザがリモコン送信機4を用いて入力した画質指定値(例えばパラメータh、vの値など)をRAM83から読み込ん後、ステップSP25に進む。
このステップSP25において、CPU81は、RAM83から読み込んだ画質指定値及び各クラスの係数種データを用いて、上述した生成式(例えば(5)式)により各クラスの推定式((4)式参照)の係数データWiを生成する。
続いてCPU81は、ステップSP26に進んで、入力されたSD画素データから、変換後の各HD画素データに対応してクラスタップ及び予測タップの画素データを取得した後、ステップSP27に進む。
このステップSP27において、CPU81は、入力されたSD画素データの全領域においてHD画素データを得る処理が終了したか否かを判断し、肯定結果が得られた場合には、再度ステップSP21に戻って、次のフレーム又はフィールドのSD画素データの入力処理に移行する。
これに対してステップSP27において否定結果が得られた場合には、CPU81は、処理が終了していないと判断して、ステップSP28に進む。このステップSP28において、CPU81は、取得したクラスタップのSD画素データからクラスコードCLを生成する。
続いてCPU81は、ステップSP29に進んで、生成したクラスコードCLに対応した係数データと予測タップのSD画素データとを用いて、上述の推定式によりHD画素データを生成した後、再度ステップSP26に戻って上述と同様の処理を繰り返す。
このように図28に示すアップコンバート処理手順RT3を実行することにより、入力されたSD信号を構成するSD画素データから、HD信号を構成するHD画素データを得ることができる。
上述したように画像信号処理部80では、かかる処理により得られたHD信号を出力端子を介して出力したり、ディスプレイ92の表示画面に画像表示させたり、さらにはハードディスクドライブ85に供給してハードディスクに記録させたりする。
また上述した図13に示す係数種データ生成装置50における処理を、ソフトウェア処理を実行するようにしても実現することができる。ここでは処理装置の構成を省略するが、上述と同様に、当該処理装置内のCPU81が、図24に示す係数種データ生成処理手順RT4を実行するようにして、係数種データを生成することができる。
まずCPU81は、この係数種データ生成処理手順RT42をステップSP30から開始し、続くステップSP31において、学習に使用される画質パターン(例えば、パラメータh、vで特定される)を選択した後、ステップSP32に進んで、全ての画質パターンに対して既に学習処理が終了したか否かを判断する。
このステップSP32において否定結果が得られた場合には、このことは全ての画質パターンに対して学習処理が終了していないと意味し、CPU81は、ステップSP33に進んで、既知のHD画素データをフレーム単位又はフィールド単位で入力する。
続いてCPU81は、このステップSP34に進んで、HD画素データの全フレーム又は全フィールドについての処理が既に終了しているか否かを判断する。このステップSP34において肯定結果が得られた場合には、CPU81は、再度ステップSP31に戻って上述と同様の処理を繰り返す。
これに対してステップSP34において否定結果が得られた場合には、CPU81は、ステップSP35に進んで、上述のステップSP33において入力されたHD画素データから上述のステップSP31において選択された画質パターンに基づいて、SD画素データを生成する。
続いてCPU81は、ステップSP36に進んで、当該SD画素データに基づいて、上述のステップSP35において入力された各HD画素データに対応して、クラスタップ及び予測タップの画素データを取得する。
この後CPU81は、ステップSP37に進んで、生成されたSD画素データの全領域において学習処理を終了しているか否かを判断し、肯定結果が得られた場合には、再度ステップSP33に戻って、次のフレーム又はフィールドのHD画素データの入力処理に移行した後、上述と同様の処理を繰り返す。
これに対してステップSP37において否定結果が得られた場合には、CPU81は、ステップSP38に進んで、取得したクラスタップのSD画素データからクラスコードCLを生成した後、ステップSP39に進んで、正規方程式((13)式参照)を生成し、その後再度ステップSP36に戻って上述と同様の処理を繰り返す。
一方、上述したステップSP32において肯定結果が得られた場合には、CPU81は、全ての画質パターンに対して学習処理が終了していると判断して、ステップSP40に進んで、かかる正規方程式を掃き出し法等を用いて解法することにより各クラスの係数種データを算出した後、ステップSP41においてその係数種データをメモリに保存し、その後ステップSP42に進んで係数種データ生成処理手順RT4を終了する。
このように図29に示す係数種データ生成処理手順RT4を実行することにより、図13に示す係数種データ生成装置50と同様の手法によって、各クラスの係数種データを得ることができる。
また、処理装置の構成を省略して図示しないが、図21の係数種データ生成装置70における処理も、同様にソフトウェアで実現することができる。すなわち図示しないCPUが、図30に示す係数種データ生成処理手順RT5を実行するようにして、係数種データを生成することができる。
まずCPUは、この係数種データ生成処理手順RT5をステップSP50から開始し、続くステップSP51において、学習に使用される画質パターン(例えば、パラメータh、vで特定される)を選択した後、ステップSP52に進んで、全ての画質パターンに対する係数データの算出処理が既に終了したか否かを判断する。
このステップSP52において否定結果が得られた場合には、このことは全ての画質パターンに対して算出処理が終了していないと意味し、CPUは、ステップSP53に進んで、既知のHD画素データをフレーム単位又はフィールド単位で入力する。
続いてCPUは、このステップSP54に進んで、HD画素データの全フレーム又は全フィールドについての処理が既に終了しているか否かを判断する。このステップSP54において否定結果が得られた場合には、CPUは、ステップSP55に進んで、上述のステップSP53において入力されたHD画素データから上述のステップSP51において選択された画質パターンに基づいて、SD画素データを生成する。
続いてCPUは、ステップSP56に進んで、当該SD画素データに基づいて、上述のステップSP53において入力された各HD画素データに対応して、クラスタップ及び予測タップの画素データを取得する。
この後CPUは、ステップSP57に進んで、生成されたSD画素データの全領域において学習処理を終了しているか否かを判断し、肯定結果が得られた場合には、再度ステップSP53に戻って、次のフレーム又はフィールドのHD画素データの入力処理に移行した後、上述と同様の処理を繰り返す。
これに対してステップSP57において否定結果が得られた場合には、CPUは、ステップSP58に進んで、取得したクラスタップのSD画素データからクラスコードCLを生成した後、ステップSP59に進んで、係数データを得るための正規方程式((21)式参照)を生成し、その後再度ステップSP56に戻って上述と同様の処理を繰り返す。
これに対して上述したステップSP54において肯定結果が得られた場合には、CPUは、ステップSP60に進んで、上述のステップSP59において生成された正規方程式を掃き出し法等を用いて解法し、各クラスの係数データを算出した後、再度ステップSP51に戻って上述と同様の処理を繰り返す。
一方、上述したステップSP52において肯定結果が得られた場合には、CPUは、全ての画質パターンに対して学習処理が終了していると判断して、ステップSP61に進んで、全ての画質パターンに対する係数データから、係数種データを求めるための正規方程式((26)式参照)を生成する。
続いてCPUは、ステップSP62に進んで、かかる正規方程式を掃き出し法等を用いて解法することにより各クラスの係数種データを算出した後、ステップSP63においてその係数種データをメモリに保存し、その後ステップSP64に進んで係数種データ生成処理手順RT5を終了する。
このように図30に示す係数種データ生成処理手順RT5を実行することにより、図21に示す係数種データ生成装置70と同様の手法によって、各クラスの係数種データを得ることができる。
(2−3)他の実施の形態によるテレビ受信機の構成
図1との対応部分に同一符号を付した図31において、他の実施の形態によるテレビ受信機100の構成を示す。このテレビ受信機100では、放送信号からSD信号(525i信号)を取得した後、当該SD信号をHD信号(525p又は1050i信号)にアップコンバートするようになされている。
この図31に示すテレビ受信機100は、上述の図1に示すテレビ受信機1の画像信号処理部10から正規化演算回路27、正規化係数メモリ38、正規化係数生成回路37及び係数生成回路36が取り除かれていることと、当該画像信号処理部10内の情報メモリバンク35に格納されている情報が異なることを除いて、当該テレビ受信機1と同様に画像信号処理部101が構成されている。
すなわち情報メモリバンク35には、図1に示す画像信号処理部10における情報メモリバンク35と同様に、レジスタ30に格納するための動作指定情報と、レジスタ31〜33に格納するためのタップ位置情報が予め蓄えられている。これに加えて情報メモリバンク35には、第1の変換方法(525p信号へのアップコンバート)及び第2の変換方法(1050i信号へのアップコンバート)のそれぞれに対応した、クラス及びパラメータh、vの値の組み合わせ毎の係数データが予め蓄えられている。
また情報メモリバンク35には、第1及び第2の変換方法のそれぞれに対応した各クラスの係数種データが予め蓄えられている。この係数種データは、上述した係数メモリ34に格納するための係数データを生成するための生成式の係数データである。
かかるテレビ受信機100における画像信号処理部101では、係数メモリ34には、例えば垂直ブランキング期間に、ユーザによって調整されたパラメータh、vの値及び変換方法に対応した各クラスの係数データが、システムコントローラ2の制御のもとで情報メモリバンク35から読み出されて格納される。この係数データは、SD信号(525i信号)をHD信号(525p信号又は1050i信号)にアップコンバートするための情報である。
なお、情報メモリバンク35に、調整されたパラメータh、vの値に対応した係数データが予め蓄えられていない場合には、システムコントローラ2は、その調整されたパラメータh、vの値の前後の値に対応した係数データを情報メモリバンク35から読み出した後、それらを用いた補間演算処理を行うことにより、調整されたパラメータh、vの値に対応した係数データを得るようにしても良い。
そして係数メモリ34は、上述したクラス合成回路25から送出されるクラスコードCLが読み出しアドレス情報として供給されると、システムコントローラ2の制御の下で、当該係数メモリ34からクラスコードCLに対応する係数データを読み出して、推定予測演算回路26に送出する。
推定予測演算回路26は、第1のタップ選択回路20で選択的に取り出される予測タップのデータ(SD画素データ)xiと、係数メモリ34より読み出される係数データWiとから、作成すべきHD信号の画素(注目画素)のデータを演算する((4)式参照)。
この推定予測演算回路26では、HD信号(525p信号)にアップコンバートする場合には、上述した図4に示すように、奇数フィールド(o)及び偶数フィールド(e)において、SD信号(525i信号)のラインと同ライン上に位置する画素群からなるラインデータL1と、SD信号(525i信号)の上下間のライン上に位置する画素群からなるラインデータL2とを生成すると共に、各ラインL1、L2上の画素数を2倍に変換する必要がある。
また推定予測演算回路26では、HD信号(1050i信号)にアップコンバートする場合には、上述した図5に示すように、奇数フィールド(o)及び偶数フィールド(e)において、SD信号(525i信号)のライン近傍のライン上に位置する画素群からなるラインデータL1、L1′と、SD信号(525i信号)のライン遠隔のライン上に位置する画素群からなるラインデータL2、L2′とを生成すると共に、各ラインL1、L1´、L2、L2´上の画素数を2倍に変換する必要がある。
従って推定予測演算回路26では、HD信号(525p信号又は1050i信号)を構成する4画素のデータを同時に生成する。その際、推定予測演算回路26は、係数メモリ34から読み出されたそれぞれ値が異なる係数データWiと、予測タップのデータ(SD画素データ)xiとに基づいて、上述の(4)式の推定式を用いてHD画素データyを演算する。
これにより、525p信号を出力する第1の変換方法が選択されているときは、奇数(o)フィールド及び偶数(e)フィールドで、525i信号のラインと同一位置のラインデータL1と、525i信号の上下のラインの中間位置のラインデータL2とが生成される(図4参照)。また、1050i信号を出力する第2の変換方法が選択されているときは、奇数(o)フィールド及び偶数(e)フィールドで、525i信号のラインに近い位置のラインデータL1、L1′と、525i信号のラインから遠い位置のラインデータL2、L2′とが生成される(図5参照)。
このように推定予測演算回路26で生成されたラインデータL1、L2(L1′、L2′)は線順次変換回路28に供給される。この線順次変換回路28は、供給されるラインデータL1、L2(L1´、L2´)に対して水平周期を1/2倍とするライン倍速処理を行うようにして線順次化する。
かかる線順次変換回路28は、変換後のHD信号のうち525p信号を出力する場合と1050i信号を出力する場合とで、その動作を切り換える必要があることから、レジスタ30から供給される動作指定情報に応じた動作を行うようになされている。
このように画像信号処理部では、調整された複数種類のパラメータh、vの値に対応した推定式の係数データWi(i=1〜n)を用いてHD画素データyを演算により求めることができる。従ってユーザはパラメータh、vの値を調整するようにして、HD信号による画像の画質を水平解像度及び垂直解像度の各軸で自由にかつ滑らかに調整することができる。
このように画像信号処理部101における情報メモリバンク35には、第1及び第2の変換方法にそれぞれ対応したクラス及びパラメータh、vの値の組み合わせ毎の係数データが予め学習によって生成されて蓄えられている。
上述のように図1に示す画像信号処理部101では、係数種データを生成する手法として、まずパラメータh、vの値を段階的に可変して得られるSD信号毎に、それを用いた学習によって各クラスの係数データを生成した後、当該SD信号毎の各クラスの係数データを用いて各クラスの係数種データを求めるようにした場合について述べたが、かかる図31に示す画像信号処理部101においては、情報メモリバンク35に予め蓄えておくクラス及びパラメータh、vの値の組み合わせ毎の係数データを、かかる手法を用いて生成したものを用いるようにしても良い。
(2−4)他の実施の形態による係数データ生成装置の構成
図13との対応部分に同一符号を付した図32において、他の実施の形態による係数データ生成装置110の構成を示す。この図32に示す係数データ生成装置110は、上述の図13に示す係数種データ生成装置50とは、係数種データ決定部61及び係数種メモリ62に代えて、ぞれぞれ係数データ決定部111及び係数メモリ112が設けられることと、正規方程式生成部113の構成が異なることを除いて、当該係数種データ生成装置50と同様に構成されている。
この係数データ生成装置110は、教師信号としてのHD信号(525p信号又は1050i信号)が入力端子51を介して入力されると、SD信号生成回路52は、当該HD信号に対して水平方向及び垂直方向の間引き処理を行って入力信号としてのSD信号を生成する。
ここで正規方程式生成部113は、入力端子51を介して供給されるHD信号から得られる注目画素データとしての各HD画素データyと、この各HD画素データyにそれぞれ対応して第1のタップ選択回路53において選択的に抽出される予測タップのデータ(SD画素データ)xiと、各HD画素データyにそれぞれ対応してクラス合成回路59から供給されるクラスコードCLとに基づいて、各クラス毎に係数データWi(i=1〜n)を得るための正規方程式((21)式参照)を生成する。
そして係数データ決定部111は、正規方程式生成部113からクラス毎に供給される正規方程式のデータを受け取ると、当該正規方程式をクラス毎に例えば掃き出し法等の解法を用いて解くようにして、各SD信号にそれぞれ対応した各クラスの係数データWiを求めた後、当該係数データWiをクラス及びパラメータh、vの値の組み合わせ別にアドレス分割された係数メモリ112に記憶させる。
このように係数データ生成装置110では、供給されるHD信号に基づき複数のSD信号を順次生成し、当該各SD信号に応した第1又は第2の変換方法に対応させて、上述した図31の画像信号処理部101の情報メモリバンク35に記憶される各クラスの係数データWiを生成することができる。
なお図31の画像信号処理部101においては、水平解像度を指定するパラメータhと垂直解像度を指定するパラメータvとを設定しておき、これら複数種類のパラメータh、vの値を調整することによって、画像の水平解像度及び垂直解像度をそれぞれ調整するようにした場合について述べたが、上述した水平解像度及び垂直解像度を指定するパラメータrと、ノイズ除去度(ノイズ低減度)を指定するパラメータzとを設定し、これら複数種類のパラメータr、zの値を調整することにより、画像の水平解像度及び垂直解像度とノイズ除去度とを調整するようにしても良い。この場合、画像信号処理部内の情報メモリバンクには、第1及び第2の変換方法にそれぞれ対応したクラス及びパラメータr、zの値の組み合わせ毎の係数データを予め蓄えておくようにすれば良い。
かかる係数データは、上述した図13に示す係数種データ生成装置50においてパラメータh、vの値に対応した係数データを生成する場合と同様に、図32に示す係数データ生成装置110により生成できる。この場合、係数データ生成装置110では、SD信号生成回路52に外部から制御信号としてパラメータzが供給され、このパラメータzの値に対応して、HD信号からSD信号を生成する際に、SD信号に対するノイズ付加状態が段階的に可変される。このようにSD信号に対するノイズ付加状態を段階的に可変させて学習データを登録するようにして、連続したノイズ除去度を得るための係数データを生成することができる。
また図31の画像信号処理部101においては、水平解像度を指定するパラメータhと垂直解像度を指定するパラメータvとを設定しておき、これら複数種類のパラメータh、vの値を調整することによって、画像の水平解像度及び垂直解像度をそれぞれ調整するようにした場合について述べたが、これらパラメータh、vの他に、さらに上述したノイズ除去度(ノイズ低減度)を指定するパラメータzを設定し、これら複数種類のパラメータh、v、zの値を調整することにより、画像の水平解像度及び垂直解像度とノイズ除去度とを調整するようにしても良い。
この場合、画像信号処理部101の情報メモリバンク35には、各変換方法にそれぞれ対応した、クラス及びパラメータh、v、zの値の組み合わせ毎の係数データが予め蓄えられることとなる。
この係数データも、上述した図13に示す係数種データ生成装置50においてパラメータh、vの値に対応した係数データを生成する場合と同様に、図32に示す係数データ生成装置110により生成できる。この場合、係数データ生成装置110では、SD信号生成回路52に外部から制御信号としてパラメータh、v、zが供給され、これらのパラメータh、v、zの値に対応して、HD信号からSD信号を生成する際に、SD信号に対するノイズ付加状態が段階的に可変される。このようにSD信号に対するノイズ付加状態を段階的に可変させて学習データを登録するようにして、連続したノイズ除去度を得るための係数データを生成することができる。
(2−5)他の実施の形態による画像信号処理部のソフトウェア処理
かかる図31に示す画像信号処理部101における処理を、本実施の形態における図1に示す画像信号処理部10の処理と同様に、上述した図27に示すような画像信号処理部80を用いてソフトウェア処理を実行するようにしても実現することができる。この場合、ROM82等に予め係数データを格納しておけば良い。
かかる図27に示す構成の画像信号処理部80において、CPU81は、図33に示すアップコンバート処理手順RT6を実行するようにして、SD信号(525i)をHD信号(525p又は1050i)にアップコンバートすることができる。
まずCPU81は、このアップコンバート処理手順RT6をステップSP70から開始し、続くステップSP71において、SD画素データをフレーム単位又はフィールド単位で入力する。このSD画素データが入力端子95を介して外部入力される場合には、一時的にRAM83に格納する。またこのSD画素データがハードディスク85から読み出された場合にも一時的にRAM83に格納する。
続いてCPU81は、ステップSP72に進んで、入力されたSD画素データの全フレーム又は全フィールドについての処理が既に終了しているか否かを判断する。このステップSP72において肯定結果が得られた場合には、CPU81は、処理が終了していると判断して、ステップSP73に進んで、アップコンバート処理手順RT6を終了する。
これに対してステップSP72において否定結果が得られた場合には、CPU81は、ステップSP74に進んで、ユーザがリモコン送信機4を用いて入力した画質指定値(例えばパラメータh、vの値など)をRAM83から読み込ん後、ステップSP75に進む。
このステップSP75において、CPU81は、RAM83から読み込んだ画質指定値に基づいて、ROM82等からその画質指定値に対応した各クラスの係数データWiを読み出して当該RAM83に一時的に格納する。
続いてCPU81は、ステップSP76に進んで、入力されたSD画素データから、変換後の各HD画素データに対応してクラスタップ及び予測タップの画素データを取得した後、ステップSP77に進む。
このステップSP77において、CPU81は、入力されたSD画素データの全領域においてHD画素データを得る処理が終了したか否かを判断し、肯定結果が得られた場合には、再度ステップSP71に戻って、次のフレーム又はフィールドのSD画素データの入力処理に移行する。
これに対してステップSP77において否定結果が得られた場合には、CPU81は、処理が終了していないと判断して、ステップSP78に進む。このステップSP78において、CPU81は、取得したクラスタップのSD画素データからクラスコードCLを生成する。
続いてCPU81は、ステップSP79において、生成したクラスコードCLに対応した係数データと予測タップのSD画素データとを用いて、上述の推定式によりHD画素データを生成した後、再度ステップSP76に戻って上述と同様の処理を繰り返す。
このように図33に示すアップコンバート処理手順RT6を実行することにより、入力されたSD信号を構成するSD画素データから、HD信号を構成するHD画素データを得ることができる。
上述したように画像信号処理部80では、かかる処理により得られたHD信号を出力端子を介して出力したり、ディスプレイ92の表示画面に画像表示させたり、さらにはハードディスクドライブ85に供給してハードディスクに記録させたりする。
(2−6)他の実施の形態による係数データ生成装置における処理
かかる図32に示す係数データ生成装置110における処理を、本実施の形態における図13に示す係数種データ生成装置50の処理と同様にソフトウェア処理を実行するようにしても実現することができる。
ここでは処理装置の構成を省略するが、上述と同様に、当該処理装置内のCPUが、図34に示す係数データ生成処理手順RT7を実行するようにして、係数データを生成することができる。
まずCPUは、この係数データ生成処理手順RT7をステップSP80から開始し、続くステップSP81において、学習に使用される画質パターン(例えば、パラメータh、vで特定される)を選択した後、ステップSP82に進んで、全ての画質パターンに対して既に係数データの算出処理が終了したか否かを判断する。
このステップSP82において否定結果が得られた場合には、このことは全ての画質パターンに対して算出処理が終了していないと意味し、CPUは、ステップSP83に進んで、既知のHD画素データをフレーム単位又はフィールド単位で入力する。
続いてCPUは、ステップSP84に進んで、HD画素データの全フレーム又は全フィールドについての処理が既に終了しているか否かを判断し、否定結果が得られた場合には、ステップSP85に進んで、上述のステップSP83において入力されたHD画素データから上述のステップSP81において選択された画質パターンに基づいて、SD画素データを生成する。
続いてCPUは、ステップSP86に進んで、当該SD画素データに基づいて、上述のステップSP83において入力された各HD画素データに対応して、クラスタップ及び予測タップの画素データを取得する。
この後CPUは、ステップSP87に進んで、生成されたSD画素データの全領域において学習処理を終了しているか否かを判断し、肯定結果が得られた場合には、再度ステップSP83に戻って、次のフレーム又はフィールドのHD画素データの入力処理に移行した後、上述と同様の処理を繰り返す。
これに対してステップSP87において否定結果が得られた場合には、CPUは、ステップSP88に進んで、取得したクラスタップのSD画素データからクラスコードCLを生成した後、ステップSP89に進んで、正規方程式((21)式参照)を生成し、その後再度ステップSP86に戻って上述と同様の処理を繰り返す。
一方、上述したステップSP84において肯定結果が得られた場合には、CPUは、HD画素データの全フレーム又は全フィールドについての処理が既に終了していると判断して、ステップSP90に進んで、上述したステップSP89において生成された正規方程式を掃き出し法等を用いて解法することにより各クラスの係数データを算出した後、再度ステップSP81に戻って上述と同様の処理を繰り返す。
また上述したステップSP82において肯定結果が得られた場合には、CPUは、全ての画質パターンに対して係数データの算出処理が終了していると判断して、ステップSP91に進んで、全ての画質パターンに対する各クラスの係数データをメモリに保存し、その後にステップSP92に進んで、係数データ生成処理手順RT7を終了する。
このように図34に示す係数データ生成処理手順RT7を実行することにより、図32に示す係数データ生成装置110と同様の手法によって、全ての画質パターンに対する各クラスの係数データを得ることができる。
なお上述のように本実施の形態においては、HD信号を生成する際に用いる推定式として線形一次方程式を適用する場合について述べたが、本発明はこれに限らず、例えば高次方程式を推定式として適用するようにしても良い。
また上述のように本実施の形態においては、SD信号(525i信号)をHD信号(525p信号又は1050i信号)にアップコンバートする場合について述べたが、本発明はこれに限らず、推定式を用いて種々の画像変換処理を行うようにしても良い。
さらに上述のように本実施の形態においては、入力されるパラメータの値を変化させることによって解像度アップやノイズ抑圧(ノイズ除去)の機能を連続して切り換えるようにした場合について述べたが、本発明はこれに限らず、これら以外にも、さらに復号化や信号形式の変換などの機能にも切り換えるようにしても良い。
図35に、これら複数機能の切り換えが可能な画像信号処理部120を示す。この画像信号処理部120では、解像度アップ、ノイズ抑圧、MPEG信号のデコード、JPEG(Joint Photographic Experts Group)信号のデコード、コンポジット信号からコンポーネント信号への変換などの各種機能を切り換えることができる。
この画像信号処理部120は、入力端子121を介して供給されるビデオ信号Vinからクラスタップのデータを抽出して当該データからクラスCLを検出するクラス検出部122と、当該検出されたクラスCLと外部入力されるパラメータPとに対応した推定式の係数データWiを発生する係数データ発生部123と、当該発生された係数データWiとビデオ信号Vinから抽出した予測タップのデータとに基づいてビデオ信号Voutを生成して出力端子125を介して出力するデータ生成部124とから構成されている。
このうち係数データ発生部123に供給されるパラメータPは、上述した複数機能を選択するためのパラメータである。例えば図36に示すように、パラメータPの値が、P1であるときは解像度アップの機能が選択され、P2であるときはノイズ抑圧の機能が選択され、P3であるときはMPEG信号(レートa)のデコードの機能が選択され、P4であるときはMPEG信号(レートb)のデコードの機能が選択され、P5であるときはコンポジット信号からコンポーネント信号への変換の機能が選択され、P6であるときはJPEG信号のデコードの機能が選択される。
この係数データ発生部123は、例えばパラメータPの値(P1〜P6)にそれぞれ対応して、各クラスの係数データWiが格納されたメモリ(図示せず)を有しており、このメモリからクラス検出部122において検出されたクラスCL及び入力されたパラメータPの値に対応した係数データWiを読み出して出力する。
なお係数データ発生部123は、パラメータPの値に対応した推定式の係数データWiを発生するにあたって、次式
に表すような生成式を設定し、この(43)式から得られる係数データである係数種データw0〜wnをクラス毎にメモリに格納しておくようにして、クラス検出部122において検出されたクラスCL及び供給されたパラメータPの値に対応した係数データWiを演算するようにしても良い。
このように画像信号処理部120では、外部供給されるパラメータPの値に対応する機能について選択的に処理を実行することができ、かかるパラメータPの値をユーザの操作に応じて変更することにより、当該操作に応じた機能を実行することができる。この結果、単一構成からなる画像信号処理部120が解像度アップ、ノイズ抑圧、MPEG信号のデコード、JPEG信号のデコード、コンポジット信号からコンポーネント信号への変換などの各種機能を実現することができる。
かかる解像度アップとして、この実施の形態では空間方向の解像度をアップする場合について述べたが、これ以外にも時間方向の解像度のアップも適用するようにしても良い。また一次元Y/C分離、二次元Y/C分離及び三次元Y/C分離等の間で機能の切り換えをするようにしても良い。
またかかる画像信号処理部120においては、パラメータPの値をユーザの設定入力により変更するようにしても良く、さらにはビデオ信号Vinの特徴に応じたパラメータPの値を自動的に設定するようにしても良い。またクラス検出部122内に設けられたクラスタップ選択回路やデータ生成部124内に設けられた予測タップ選択回路において、供給されるパラメータPの値に応じて各タップを選択するようにしても良い。
さらにかかる構成の画像信号処理部120では、パラメータPが離散的な値をとるようにした場合について述べたが、パラメータPが連続的な値をとるようにしても良い。この場合、パラメータPに対応した係数データWiは、離散的な係数データを用いた線形補間により、又は係数種データを用いる場合にはそのパラメータPの値の代入により得ることができる。このようにパラメータPが連続的な値をとるようにすれば、上述の図36に示すようにレートa、bのMPEG信号の復号をするものであっても、当該レートa、bの間の任意のレートでMPEG信号の復号を実行することができる。
(2−7)他の実施の形態による解像度調整処理
なお上述のように本実施の形態においては、本発明による画像処理装置として図1に示すようなテレビ受信機1を適用するようにした場合について述べたが、本発明はこれに限らず、供給される画像信号に基づく原画像に所定の画像処理を施すようになされたこの他種々の構成からなる画像処理装置に広く適用することができる。
この場合、画像処理として解像度調整を行うようにしたが、これ以外にもノイズ除去等のような複数のパラメータを相関性を保ちながら互いに独立して調整する処理であれば、種々の画像処理に対して広く適用することができる。
また上述のように本実施の形態においては、各調整用画像の画像処理の度合いを決定する複数のパラメータの値を、当該各調整用画像ごとにそれぞれ異なるように設定する設定手段として、画像信号処理部10(主としてシステムコントローラ2)を適用するようにした場合について述べたが、本発明はこれに限らず、外部操作に応じていずれかの調整用画像が指定されたとき、当該指定された調整用画像の画像処理の度合いを基準として、他の各調整用画像の画像処理の度合いを決定する複数のパラメータの値を、当該指定された調整用画像に近似する値にそれぞれ再設定することができれば、この他種々の構成からなる設定手段に広く適用するようにしても良い。
この画像信号処理部(設定手段)10は、リモコン送信機(操作手段)4を介していずれかの調整用画像が指定されるごとに、当該指定された調整用画像PX、PY又はPZ以外の他の各調整用画像の画像処理の度合いを決定する複数のパラメータPx、Py又はPzの値(初期値:k=0のときPx=N、Py=N/2+1、Pz=0)を選択回数(k、すなわち指定回数)ごとに±N/2k(kは選択回数)を加算するようにして収束させるようにした場合(図18)について述べたが、本発明はこれに限らず、各調整用画像の選択回数に比例して解像度が収束すれば、収束の度合い等については自由に設定するようにしても良い。
さらに上述のように本実施の形態においては、原画像と全部又は一部が同一の調整用画像を表示する表示手段として、図1に示すテレビ受信機1内のディスプレイ部12を適用するようにした場合について述べたが、本発明はこれに限らず、各調整用画像を設定手段により再設定された画像処理の度合いでそれぞれ表示することができれば、この他種々の構成からなる表示手段に広く適用するようにしても良い。
また本実施の形態の場合、原画像の一部と同一画像でなる基準原画像PS及び複数の調整用画像PX〜PZを単一のディスプレイ部12の表示画面に1フレームとして分割表示するようにしたが、本発明はこれ以外にも、図37に示すように、表示手段として上述したディスプレイ部12と同一構成でなる複数のディスプレイ部130A〜130Dを積層及び隣接させるように配置しておき、当該各ディスプレイ部130A〜130Dごとに原画像の全部と同一画像でなる基準原画像PS´及び複数の調整用画像PX´〜PZ´をそれぞれ割り当てるようにして一覧表示させるようにしても良い。
さらに上述のように本実施の形態においては、外部操作により複数の調整用画像の中からいずれかの調整用画像を指定するための操作手段として、テレビ受信機1とワイヤレス接続されたリモート送信機4を適用するようにした場合について述べたが、本発明はこれに限らず、当該リモコン送信機4に設けられた操作パネル等をテレビ受信機1に直接搭載するようにしても良い。
さらに上述のように本実施の形態においては、表示手段としてのディスプレイ部12は、画像信号処理部(設定手段)10により設定された各調整用画像の画像処理の度合いを決定する複数のパラメータの値を表すアイコンMS、MX〜MZを2次元座標系CDT上に一覧表示しておき(図17(A))、リモコン送信機(操作手段)4を介していずれかの調整用画像が指定されると、当該指定された調整用画像以外の他の各調整用画像に対応するアイコンMS、MX〜MZをそれぞれ画像処理の度合いに応じて移動表示させるようにした場合について述べたが、本発明はこれに限らず、要は、各調整用画像ごとに画像処理の度合いをマークとして一覧表示することができれば、2次元座標系以外にも各種グラフや数値表示等の種々の表示形態を適用するようにしても良い。
また図38に示すように、操作手段としてのリモコン送信機140において、表示部140Pを設け、当該表示部140Pに画像信号処理部(設定手段)10により設定された各調整用画像の画像処理の度合いを決定する複数のパラメータの値を表すアイコンを一覧表示しておき、ジョイスティック140aの操作に応じて、いずれかの調整用画像が指定されると、当該指定された調整用画像以外の他の各調整用画像に対応するアイコンをそれぞれ画像処理の度合いに応じて移動表示させるようにしても良い。
このようにリモコン送信機4に表示部140Pを搭載すれば、本実施の形態のように基準原画像PSに重畳して2次元座標系CDT及び各アイコンMS、MX〜MZが表示されることがないため、ユーザが基準原画像PSと他の各調整用画像PX〜PZとを直接対比する際に何ら画質の面で支障がなくて済むというメリットがある。
1……テレビ受信機、2……システムコントローラ、3、91……リモコン信号受信回路、4……リモコン送信機、4a……ジョイスティック、9……第1のフレームメモリ、10、80、101、120……画像信号処理部、11……第2のフレームメモリ、12、130A〜130D……ディスプレイ部、13……OSD回路、50、70……係数種データ生成装置、81……CPU、110……係数データ生成装置、140P……表示部、RT1……解像度調整処理手順、RT2……パラメータ決定処理手順、RT3、RT6……アップコンバート処理手順、RT4、RT5……係数種データ生成処理手順、RT7……係数データ生成処理手順。