JP2005326690A - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP2005326690A
JP2005326690A JP2004145558A JP2004145558A JP2005326690A JP 2005326690 A JP2005326690 A JP 2005326690A JP 2004145558 A JP2004145558 A JP 2004145558A JP 2004145558 A JP2004145558 A JP 2004145558A JP 2005326690 A JP2005326690 A JP 2005326690A
Authority
JP
Japan
Prior art keywords
signal
image
adjustment
data
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004145558A
Other languages
English (en)
Inventor
Tetsujiro Kondo
哲二郎 近藤
Hideo Nakaya
秀雄 中屋
Nobuyuki Yamaguchi
信行 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004145558A priority Critical patent/JP2005326690A/ja
Priority to US11/116,393 priority patent/US7460178B2/en
Priority to CNB2005100702895A priority patent/CN100382597C/zh
Priority to KR1020050040227A priority patent/KR101110210B1/ko
Publication of JP2005326690A publication Critical patent/JP2005326690A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】
本発明は、画像処理の度合いを格段と容易に調整することができる画像処理装置及び画像処理方法を実現しようとするものである。
【解決手段】
原画像と全部又は一部が同一の調整用画像を複数表示すると共に、各調整用画像の画像処理の度合いを決定する複数のパラメータの値を当該各調整用画像ごとにそれぞれ異なるように設定した後、外部操作により複数の調整用画像の中からいずれかの調整用画像が指定されたとき、当該指定された調整用画像の画像処理の度合いを基準として、他の各調整用画像の画像処理の度合いを決定する複数のパラメータの値を、当該指定された調整用画像に近似する値にそれぞれ再設定し、各調整用画像を再設定された画像処理の度合いでそれぞれ表示するようにした。
【選択図】 図15

Description

本発明は画像処理装置及び画像処理方法に関し、例えばテレビ受信機に適用して好適なものである。
従来、テレビ受信機においては、例えばNTSC(National Television System Committee)方式等の標準テレビジョン方式の映像を、より高解像度で臨場感のあるハイビジョン方式の映像に変換(アップコンバート)する機能が搭載されたものが提案され実現されている。
かかるハイビジョン方式では、走査線数が1125本と現行テレビジョン方式の2倍以上であり、アスペクト比(縦横比)が9:16と現行テレビジョン方式よりも横幅が広くなるように規格化されている。
一般的にテレビ受信機には、コントラストやシャープネス等の画質調整機能が搭載されており、ユーザが所望する表示状態となるように画質調整を行い得るようになされている。
近年では、テレビ受信機として、コントラストやシャープネス等のような単一のパラメータによる画質調整のみならず、解像度調整やノイズ除去等のような複数のパラメータを相関性を保ちながら互いに独立して調整し得るようになされたものが提案されている(例えば特許文献1参照。)。
このテレビ受信機において、例えば画質調整として水平解像度及び垂直解像度を一度に調整する場合、まずモニタの表示画面に所望サイズの調整画面を重畳表示させる。この調整画面には、2次元座標系が設定され、横軸方向に沿って水平解像度を決定するためのパラメータの値を調整すると共に、縦軸方向に沿って垂直解像度を決定するためのパラメータの値を調整するようになされている。
この調整画面には例えば「☆」マークで表すアイコンが表示され、ユーザがリモートコントローラを用いてジョイスティックや十字ボタン等を所望方向に操作すると、当該操作方向に調整画面内のアイコンが追従して移動すると同時に、表示画面全体が現在のアイコンの位置に対応する水平解像度及び垂直解像度となるように調整されるようになされている。
特開2002−218413公報
ところが、このような複数種類のパラメータを同時に調整する手法によると、あまりにも自由度が大きいため、使い勝手に慣れていないユーザにとっては、各パラメータを所望の値に調整するには非常に手間がかかるという問題があった。
またユーザが複数種類のパラメータを同時に調整させた場合でも、単一の表示画面を目視しているため、当該表示画面における調整後の画質が調整前の画質とどの程度変化したのかを判断し難いという問題があった。
本発明は以上の点を考慮してなされたもので、画像処理の度合いを格段と容易に調整することができる画像処理装置及び画像処理方法を提案しようとするものである。
かかる課題を解決するため本発明においては、供給される画像信号に基づく原画像に所定の画像処理を施す画像処理装置において、原画像と全部又は一部が同一の調整用画像を表示する表示手段と、各調整用画像の画像処理の度合いを決定する複数のパラメータの値を当該各調整用画像ごとにそれぞれ異なるように設定する設定手段と、外部操作により複数の調整用画像の中からいずれかの調整用画像を指定するための操作手段とを設け、設定手段は、操作手段を介していずれかの調整用画像が指定されたとき、当該指定された調整用画像の画像処理の度合いを基準として、他の各調整用画像の画像処理の度合いを決定する複数のパラメータの値を、当該指定された調整用画像に近似する値にそれぞれ再設定し、表示手段は、各調整用画像を設定手段により再設定された画像処理の度合いでそれぞれ表示するようにした。
このように画像処理装置では、ユーザは操作手段を用いて、実際に表示手段に表示される複数の調整用画像を目視しながら所望の画像処理の度合いである調整用画像を順次指定していくだけで最終的に所望する画像処理の度合いに調整することができ、この結果、調整前と調整後の画像処理の度合いを容易に目視確認することができると共に、複数のパラメータを同時に調整するといった煩雑さを回避して簡単に調整することができる。
また本発明においては、供給される画像信号に基づく原画像に所定の画像処理を施す画像処理方法において、原画像と全部又は一部が同一の調整用画像を複数表示すると共に、各調整用画像の画像処理の度合いを決定する複数のパラメータの値を当該各調整用画像ごとにそれぞれ異なるように設定する第1のステップと、外部操作により複数の調整用画像の中からいずれかの調整用画像が指定されたとき、当該指定された調整用画像の画像処理の度合いを基準として、他の各調整用画像の画像処理の度合いを決定する複数のパラメータの値を、当該指定された調整用画像に近似する値にそれぞれ再設定する第2のステップと、各調整用画像を再設定された画像処理の度合いでそれぞれ表示する第3のステップとを設けるようにした。
このように画像処理方法では、ユーザは実際に表示される複数の調整用画像を目視しながら所望の画像処理の度合いである調整用画像を順次指定していくだけで最終的に所望する画像処理の度合いに調整することができ、この結果、調整前と調整後の画像処理の度合いを容易に目視確認することができると共に、複数のパラメータを同時に調整するといった煩雑さを回避して簡単に調整することができる。
上述のように本発明によれば、供給される画像信号に基づく原画像に所定の画像処理を施す画像処理装置において、原画像と全部又は一部が同一の調整用画像を表示する表示手段と、各調整用画像の画像処理の度合いを決定する複数のパラメータの値を当該各調整用画像ごとにそれぞれ異なるように設定する設定手段と、外部操作により複数の調整用画像の中からいずれかの調整用画像を指定するための操作手段とを設け、設定手段は、操作手段を介していずれかの調整用画像が指定されたとき、当該指定された調整用画像の画像処理の度合いを基準として、他の各調整用画像の画像処理の度合いを決定する複数のパラメータの値を、当該指定された調整用画像に近似する値にそれぞれ再設定し、表示手段は、各調整用画像を設定手段により再設定された画像処理の度合いでそれぞれ表示するようにしたことにより、ユーザは操作手段を用いて、実際に表示手段に表示される複数の調整用画像を目視しながら所望の画像処理の度合いである調整用画像を順次指定していくだけで最終的に所望する画像処理の度合いに調整することができ、かくして画像処理の度合いを格段と容易に調整することができる画像処理装置を実現できる。
また本発明によれば、供給される画像信号に基づく原画像に所定の画像処理を施す画像処理方法において、原画像と全部又は一部が同一の調整用画像を複数表示すると共に、各調整用画像の画像処理の度合いを決定する複数のパラメータの値を当該各調整用画像ごとにそれぞれ異なるように設定する第1のステップと、外部操作により複数の調整用画像の中からいずれかの調整用画像が指定されたとき、当該指定された調整用画像の画像処理の度合いを基準として、他の各調整用画像の画像処理の度合いを決定する複数のパラメータの値を、当該指定された調整用画像に近似する値にそれぞれ再設定する第2のステップと、各調整用画像を再設定された画像処理の度合いでそれぞれ表示する第3のステップとを設けるようにしたことにより、ユーザは実際に表示される複数の調整用画像を目視しながら所望の画像処理の度合いである調整用画像を順次指定していくだけで最終的に所望する画像処理の度合いに調整することができ、かくして画像処理の度合いを格段と容易に調整することができる画像処理方法を実現できる。
以下図面について、本発明の一実施の形態を詳述する。
(1)本実施の形態によるテレビ受信機の全体構成
図1において、1は本実施の形態におけるテレビ受信機を示し、受信した放送信号から得られる標準テレビジョン(SD:Standard Definition)信号をハイビジョン(HD:High Definition)信号にアップコンバートするようになされている。
このSD信号は、ライン数が525本でインタレース方式の映像信号(525i信号)でなり、HD信号は、ライン数が525本でプログレッシブ方式(ノンインタレース方式)の映像信号(525p信号)、又はライン数が1050本でインタレース方式の映像信号(1050i信号)でなる。
テレビ受信機1は、マイクロコンピュータ構成でなり、システム全体の制御を司るシステムコントローラ2と、外部のリモコン送信機4から送信されるリモートコントロール信号を受信するリモコン信号受信回路3とを有している。
リモコン信号受信回路3は、システムコントローラ2に接続され、リモコン送信機4よりユーザの操作に応じて出力されるリモートコントロール信号RMを受信し、その信号RMに対応する操作信号をシステムコントローラ2に供給するように構成されている。
このテレビ受信機1は、受信アンテナ5を介して放送信号(RF変調信号)がチューナ6に供給されると、当該チューナ6において選局処理、中間周波増幅処理及び検波処理等を施してSD信号(525i信号)を得た後、切換スイッチ8の一入力端aに与えられる。また外部入力端子7を介して供給されるSD信号(525i信号)が、切換スイッチ8の他入力端bに与えられる。
システムコントローラ2は、切換スイッチ8の切換制御を行うようにして、ユーザが指定した側の入力端a又はbから供給されたSD信号(525i信号)を第1のフレームメモリ9に供給して一時的に保存させる。
さらにテレビ受信機1には、第1のフレームメモリ9の後段に画像信号処理部10が設けられ、システムコントローラの制御の下で、この第1のフレームメモリ9から読み出されたSD信号(525i信号)をHD信号(525p信号又は1050i信号)にアップコンバートするようになされている。
この画像信号処理部10の後段には、第2のフレームメモリ11が設けられ、システムコントローラは、画像信号処理部10から出力されるHD信号(525p信号又は1050i信号)を必要に応じて一時的に保存するようになされている。
またシステムコントローラ2及び合成部14間には、OSD(On Screen Display)回路13が設けられ、システムコントローラ2が必要に応じて読出指令を与えると、OSD回路13は、予め記憶されている種々の文字図形等の表示パターンの中から当該読出指令に基づく表示パターンを読み出し、表示信号SCHとして合成部14に供給する。
続いてシステムコントローラ2は、画像信号処理部10から第2のフレームメモリ11を介して合成部14に与えられたHD信号と、OSD回路13から与えられた表示信号SCHとを合成させた後、当該合成結果として得られる映像信号を例えばCRT(cathode-ray tube)又はLCD(liquid crystal display)等からなるディスプレイ部12の表示画面に表示させる。
一方、OSD回路13は、表示信号SCHに基づく表示パターンがディスプレイ部12の表示画面のどの位置に表示されているかを表す表示位置信号SDPをシステムコントローラ2に送出する。これによりシステムコントローラ2は、表示位置信号SDPに基づいて現在ディスプレイ部12の表示画面に表示されている表示パターンが当該表示画面のどの位置に表示されているかを常時判断することができる。
このテレビ受像機1では、リモコン送信機4を用いたユーザの操作に応じた、ディスプレイ部12の表示画面上に表示される画像の水平及び垂直の解像度を無段階に滑らかに調整し得るようになされている。
具体的に画像信号処理部10では、後述するように、HD信号(525p信号又は1050i信号)を構成する画素データを所定の推定式を用いて算出する。かかる推定式の係数データが、リモコン送信機4から送信されるユーザの調整内容である水平及び垂直の解像度を決定するパラメータh、vと対応した関係にある。
図2にパラメータh、vを調整するためのユーザインターフェースの一例を示す。解像度の調整時には、ディスプレイ部12の表示画面12Aに、パラメータh、vの調整位置を「☆」マークのアイコンM1で示した調整画面P1がOSD表示される。
ユーザは、リモコン送信機4に搭載されたジョイスティック4aを上下左右に操作することにより、当該操作に応じてアイコンM1を調整画面内の所望方向に自由に移動させることができ、この結果、当該アイコンM1の位置に応じて水平及び垂直の解像度を決定するパラメータh、vの値を任意に調整し得る。
具体的には、図3のように調整画面P1を部分的に拡大して示すと、アイコンM1が左右方向に移動されると、水平解像度を決定するパラメータhの値が調整される一方、アイコンM1が上下方向に移動されると、垂直解像度を決定するパラメータvの値が調整される。このようにユーザはリモコン送信機4を用いて、ディスプレイ部12の表示画面12Aに表示された調整画面P1を参照しながら、パラメータh、vの値を自由にかつ容易に調整することができる。
なお本実施の形態では、リモコン送信機4に搭載されたジョイスティック4aを用いてパラメータh、vを調整する場合について述べたが、これ以外にもマウスやトラックボール等のその他のポインティングデバイスを設けて用いるようにしても良い。さらに、ユーザによって調整されたパラメータh、vの値を調整画面P1上に数値として表示するようにしても良い。
(1−1)画像信号処理部の内部構成
かかる図1に示す構成のテレビ受信機1において、画像信号処理部10は、第1のフレームメモリ9を介して供給されるSD信号(525i信号)を構成する画素データ(以下、これをSD画素データと呼ぶ)を、HD信号(525p信号又は1050i信号)を構成する画素データ(以下、これをHD画素データと呼ぶ)に変換する。このHD信号としての525p信号又は1050i信号の選択は、ユーザがリモコン送信機4を用いた操作内容に応じて決定される。
この画像信号処理部10は、第1のフレームメモリ9の出力段に並列接続された第1〜第3のタップ選択回路20〜22を有し、当該第1のフレームメモリ9に保存されているSD信号(525i信号)からHD信号(525p信号又は1050i信号)に係る注目画素の周辺に位置する複数のSD画素データを選択的に抽出するようになされている。
第1のタップ選択回路20は、予測に使用するSD画素(以下、これを予測タップと呼ぶ)のデータを選択的に抽出する。第2のタップ選択回路21は、SD画素データのレベル分布パターンに対応するクラス分類に使用するSD画素(以下、これを空間クラスタップと呼ぶ)のデータを選択的に抽出する。第3のタップ選択回路22は、動きに対応するクラス分類に使用するSD画素(以下、これを動きクラスタップと呼ぶ)のデータを選択的に抽出する。なお、空間クラス(主に空間内の波形表現のためのクラス分類)を複数フィールドに属するSD画素データを使用して決定する場合には、この空間クラスにも動き情報が含まれることになる。
ここでSD信号(525i信号)及びHD信号(525p信号)について、任意のフレーム(F)における奇数フィールド(o)の画素位置の関係を図4に示す。この図4において大きなドットが525i信号を表し、小さなドットが変換後の525p信号を表している。なお、図示しないが偶数フィールド(e)では、525信号のラインが空間的に0.5ずれたものとなる。
この図4からわかるように、HD信号(525p信号)の画素データは、SD信号(525i信号)のラインと同一ライン上に位置する画素群からなるラインデータL1と、SD信号(525i信号)の上下間のライン上に位置する画素群からなるラインデータL2とである。また、HD信号(525p信号)の各ライン上の画素数は、SD信号(525i信号)の各ライン上の画素数の2倍である。
次にSD信号(525i信号)及びHD信号(1050i信号)の、任意のフレーム(F)を形成する奇数フィールド(o)及び偶数フィールド(e)の画素位置の関係を図5に示す。この図5において大きなドットが525i信号を表し、小さなドットが変換後の1050p信号を表している。
この図5からわかるように、HD信号(1050i信号)の画素データは、SD信号(525i信号)のライン近傍のライン上に位置する画素群からなるラインデータL1、L1′と、SD信号(525i信号)のライン遠隔のライン上に位置する画素群からなるラインデータL2、L2′とである。これら複数のラインデータL1、L1´、L2、L2´のうち、ラインデータL1、L2は奇数フィールドに位置する一方、ラインデータL1′、L2′は偶数フィールドに位置する。また、HD信号(1050i信号)の各ライン上の画素数は、SD信号(525i信号)の各ライン上の画素数の2倍である。
図6(A)及び(B)に、SD信号(525i信号)からHD信号(525p信号)にアップコンバートする場合に、第1のタップ選択回路20において選択される予測タップ(SD画素)の具体例を示す。図6(A)及び(B)は、時間的に連続するフレーム(F−1)、F、(F+1)を形成する奇数フィールド(o)及び偶数フィールド(e)の垂直方向における画素群の位置関係を示している。
図6(A)に示すように、フレームFの奇数フィールド(F/o)を表すラインデータL1、L2を予測するときの予測タップは、次の偶数フィールド(F/e)に含まれ、変換後のHD信号(525p信号)の画素(注目画素)に対して空間的に近傍に位置するSD画素T1、T2、T3と、この奇数フィールド(F/o)に含まれ、変換後のHD信号(525p信号)の画素に対して空間的に近傍に位置するSD画素T4、T5、T6と、前のフレーム(F−1)の偶数フィールド(F−1/e)に含まれ、変換後のHD信号(525p信号)の画素に対して空間的に近傍に位置するSD画素T7、T8、T9と、さらにこのフレーム(F−1)の奇数フィールド(F−1/o)に含まれ、変換後のHD信号(525p信号)の画素に対して空間的に近傍に位置するSD画素T10である。
図6(B)に示すように、フレームFの偶数フィールド(F/e)を表すラインデータL1、L2を予測するときの予測タップは、次のフレーム(F+1)の奇数フィールド(F+1/o)に含まれ、変換後のHD信号(525p信号)の画素に対して空間的に近傍に位置するSD画素T1、T2、T3と、前のフレームFの偶数フィールド(F/e)に含まれ、変換後のHD信号(525p信号)の画素に対して空間的に近傍に位置するSD画素T4、T5、T6と、このフレームFの奇数フィールド(F/o)に含まれ、変換後のHD信号(525p信号)の画素に対して空間的に近傍に位置するSD画素T7、T8、T9と、さらに前のフレーム(F−1)の偶数フィールド(F−1/e)に含まれ、変換後のHD信号(525p信号)の画素に対して空間的に近傍位置のSD画素T10である。
なお、ラインデータL1を予測する際にはSD画素T9を予測タップの選択対象としないように設定しても良く、一方、ラインデータL2を予測する際にはSD画素T4を予測タップの選択対象としないように設定してもよい。
図7(A)及び(B)に、SD信号(525i信号)からHD信号(1050i信号)にアップコンバートする場合に、第1のタップ選択回路20において選択される予測タップ(SD画素)の具体例を示す。図7(A)及び(B)は、時間的に連続するフレーム(F−1)、F、(F+1)を形成する奇数フィールド(o)及び偶数フィールド(e)の垂直方向における画素群の位置関係を示している。
図7(A)に示すように、フレームFの奇数フィールド(F/o)を表すラインデータL1、L2を予測するときの予測タップは、次の偶数フィールド(F/e)に含まれ、変換後のHD信号(1050i信号)の画素(注目画素)に対して空間的に近傍に位置するSD画素T1、T2と、この奇数フィールド(F/o)に含まれ、変換後のHD信号(525p信号)の画素に対して空間的に近傍に位置するSD画素T3、T4、T5、T6と、前のフレーム(F−1)の偶数フィールド(F−1/e)に含まれ、変換後のHD信号(1050i信号)の画素に対して空間的に近傍に位置するSD画素T7、T8である。
図7(B)に示すように、フレームFの偶数フィールド(F/e)を表すラインデータL1′、L2′を予測するときの予測タップは、次のフレーム(F+1)の奇数フィールド(F+1/o)に含まれ、変換後のHD信号(1050ip信号)の画素に対して空間的に近傍に位置するSD画素T1、T2と、前のフレームFの偶数フィールド(F/e)に含まれ、変換後のHD信号(1050i信号)の画素に対して空間的に近傍に位置するSD画素T3、T4、T5、T6と、このフレームFの奇数フィールド(F/o)に含まれ、変換後の525p信号の画素に対して空間的に近傍に位置するSD画素T7、T8である。
なお、ラインデータL1、L1′を予測する際にはSD画素T6を予測タップの選択対象としないように設定しても良く、一方、ラインデータL2、L2′を予測する際にはSD画素T3を予測タップの選択対象としないように設定してもよい。
さらに、図6(A)〜図7(B)に示すように複数フィールド(奇数フィールド及び偶数フィールド)の同一位置にあるSD画素に加えて、水平方向の単数又は複数のSD画素を、予測タップの選択対象として設定するようにしても良い。
図8(A)及び(B)に、SD信号(525i信号)からHD信号(525p信号)アップコンバートする場合に、第2のタップ選択回路21において選択される空間クラスタップ(SD画素)の具体例を示す。図8(A)及び(B)は、時間的に連続するフレーム(F−1)、F、(F+1)の奇数フィールド(o)及び偶数フィールド(e)の垂直方向における画素群の位置関係を示している。
図8(A)に示すように、フレームFの奇数フィールド(F/o)を表すラインデータL1、L2を予測するときの空間クラスタップは、次の偶数フィールド(F/e)に含まれ、変換後のHD信号(525p信号)の画素(注目画素)に対して空間的に近傍に位置するSD画素T1、T2と、この奇数フィールド(F/o)に含まれ、変換後のHD信号(525p信号)の画素に対して空間的に近傍に位置するSD画素T3、T4、T5と、前のフレーム(F−1)の偶数フィールド(F−1/e)に含まれ、変換後のHD信号(525p信号)の画素に対して空間的に近傍に位置するSD画素T6、T7である。
図8(B)に示すように、フレームFの偶数フィールド(F/e)を表すラインデータL1、L2を予測するときの空間クラスタップは、次のフレーム(F+1)の奇数フィールド(F+1/o)に含まれ、変換後のHD信号(525p信号)の画素に対して空間的に近傍に位置するSD画素T1、T2と、前のフレームFの偶数フィールド(F/e)に含まれ、変換後のHD信号(525p信号)の画素に対して空間的に近傍に位置するSD画素T3、T4、T5、T6と、このフレームFの奇数フィールド(F/o)に含まれ、変換後のHD信号(525p信号)の画素に対して空間的に近傍に位置するSD画素T6、T7である。
なお、ラインデータL1を予測する際にはSD画素T7を空間クラスタップの選択対象としないように設定しても良く、一方、ラインデータL2を予測する際にはSD画素T6を空間クラスタップの選択対象としないように設定してもよい。
図9(A)及び(B)に、SD信号(525i信号)からHD信号(1050i信号)にアップコンバートする場合に、第2のタップ選択回路21において選択される空間クラスタップ(SD画素)の具体例を示す。図9(A)及び(B)は、時間的に連続するフレーム(F−1)、F、(F+1)を形成する奇数フィールド(o)及び偶数フィールド(e)の垂直方向における画素群の位置関係を示している。
図9(A)に示すように、フレームFの奇数フィールド(F/o)を表すラインデータL1、L2を予測するときの空間クラスタップは、この奇数フィールド(F/o)に含まれ、変換後のHD信号(1050i信号)の画素(注目画素)に対して空間的に近傍に位置するSD画素T1、T2、T3と、前のフレーム(F−1)の偶数フィールド(F−1/e)に含まれ、変換後のHD信号(1050i信号)の画素に対して空間的に近傍に位置するSD画素T4、T5、T6、T7である。
図9(B)に示すように、フレームFの偶数フィールド(F/e)のラインデータL1′、L2′を予測するときの空間クラスタップは、この偶数フィールド(F/e)に含まれ、変換後のHD信号(1050i信号)の画素に対して空間的に近傍に位置するSD画素T1、T2、T3と、前の奇数フィールド(F/o)に含まれ、変換後のHD信号(1050i信号)の画素に対して空間的に近傍に位置するSD画素T4、T5、T6、T7である。
なお、ラインデータL1、L1′を予測する際にはSD画素T7を空間クラスタップの選択対象としないように設定しても良く、一方、ラインデータL2、L2′を予測する際にはSD画素T4を空間クラスタップの選択対象としないように設定しても良い。
さらに、図8(A)〜図9(B)に示すように複数フィールド(奇数フィールド及び偶数フィールド)の同一位置にあるSD画素に加えて、水平方向の単数又は複数のSD画素を、空間クラスタップの選択対象として設定するようにしても良い。
図10(A)に、SD信号(525i信号)からHD信号(525p信号)にアップコンバートする場合に、第3のタップ選択回路22において選択される動きクラスタップ(SD画素)の具体例を示す。図10(A)は、時間的に連続するフレーム(F−1)、Fの奇数フィールド(o)及び偶数フィールド(e)の垂直方向における画素群の位置関係を示している。
図10(A)に示すように、フレームFの奇数フィールド(F/o)のラインデータL1、L2を予測するときの動きクラスタップは、次の偶数フィールド(F/e)に含まれ、変換後のHD信号(525p信号)の画素(注目画素)に対して空間的に近傍に位置するSD画素n2、n4、n6と、この奇数フィールド(F/o)に含まれ、変換後のHD信号(525p信号)の画素に対して空間的に近傍に位置するSD画素n1、n3、n5と、前のフレーム(F−1)の偶数フィールド(F−1/e)に含まれ、変換後のHD信号(525p信号)の画素に対して空間的に近傍に位置するSD画素m2、m4、m6と、さらに前のフレーム(F−1)の奇数フィールド(F−1/o)に含まれ、変換後のHD信号(525p信号)の画素に対して空間的に近傍に位置するSD画素m1、m3、m5である。フレーム間におけるSD画素n1〜n6のそれぞれの垂直方向の位置は、SD画素m1〜m6のそれぞれの垂直方向の位置と一致する。
図10(B)に、SD信号(525i信号)からHD信号(1050i信号)にアップコンバートする場合に、第3のタップ選択回路22において選択される動きクラスタップ(SD画素)の具体例を示す。図10(B)は、時間的に連続するフレーム(F−1)、Fの奇数フィールド(o)及び偶数フィールド(e)の垂直方向における画素群の位置関係を示している。
図10(B)に示すように、フレームFの奇数フィールド(F/o)のラインデータL1、L2を予測するときの動きクラスタップは、次の偶数フィールド(F/e)に含まれ、変換後のHD信号(1050i信号)の画素に対して空間的に近傍に位置するSD画素n2、n4、n6と、この奇数フィールド(F/o)に含まれ、変換後のHD信号(1050i信号)の画素に対して空間的に近傍に位置するSD画素n1、n3、n5と、前のフレーム(F−1)の偶数フィールド(F−1/e)に含まれ、変換後のHD信号(1050i信号)の画素に対して空間的に近傍に位置するSD画素m2、m4、m6と、さらにこのフレーム(F−1)の奇数フィールド(F−1/o)に含まれ、変換後のHD信号(1050i信号)の画素に対して空間的に近傍に位置するSD画素m1、m3、m5である。フレーム間におけるSD画素n1〜n6のそれぞれの垂直方向の位置は、SD画素m1〜m6のそれぞれの垂直方向の位置と一致する。
図1に示す画像信号処理部10では、空間クラス検出回路23は、第2のタップ選択回路21において選択的に抽出される空間クラスタップのデータ(SD画素データ)のレベル分布パターンを検出した後、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する。
この空間クラス検出回路23は、適応再量子化法(ADRC:Adaptive Dynamic Range Coding)等の情報圧縮方法を用いて、各SD画素データを例えば8ビットから2ビットまでデータ圧縮する演算を行った後、得られた圧縮データを空間クラスのクラス情報としてクラス合成回路25に送出する。
この適応再量子化法(ADRC)は、本来はVTR(Video Tape Recorder)向けの高性能符号化用に開発された手法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できることから、上述したデータ圧縮に使用して好適なものである。なお、情報圧縮手段としては、ADRC以外にDPCM(予測符号化)、VQ(ベクトル量子化)等を用いても良い。
かかる適応再量子化法(ADRC)を使用する場合、空間クラスタップのデータ(SD画素データ)の最大値をMAX、その最小値をMIN、空間クラスタップのデータのダイナミックレンジをDR(=MAX−MIN+1)、再量子化ビット数をPとすると、圧縮データとしての再量子化コードqiは、次式
Figure 2005326690
に示すように、空間クラスタップのデータとしての各SD画素データkiに対する演算式として得られる。ただし、(1)式において、[ ]は切り捨て処理を意味している。この空間クラスタップのデータとして、Na個のSD画素データが存在するとき、iの値は1〜Naである。
また図1に示す画像信号処理部10では、動きクラス検出回路24は、第3のタップ選択回路22において選択的に抽出される動きクラスタップのデータ(SD画素データ)に基づき、主に動きの程度を表すための動きクラスを検出した後、そのクラス情報を出力する。
この動きクラス検出回路24は、動きクラスタップのデータ(SD画素データ)からフレーム間差分を算出した後、当該フレーム間差分の絶対値の平均値に対して所定の閾値処理を行うようにして動きの指標である動きクラスを検出してクラス合成回路25に送出する。
すなわち動きクラス検出回路24は、SD画素データmi、niからフレーム間差分の絶対値の平均値AVを、次式
Figure 2005326690
のように算出する。この(2)式において、第3のタップ選択回路22から抽出されるSD画素データが12個(m1〜m6、n1〜n6)の場合には、が取り出されるとき、(2)式におけるiの最大値Nbは6となる。
続いて動きクラス検出回路24は、上述のように算出した平均値AVを少なくとも1以上の閾値と比較するようにして動きクラスのクラス情報MVを得る。例えば、3個の閾値th1、th2、th3(th1<th2<th3)を用いて4つの動きクラスを検出する場合、AV≦th1のときはMV=0、th1<AV≦th2のときはMV=1、th2<AV≦th3のときはMV=2、th3<AVのときはMV=3となる。
このようにクラス合成回路25は、空間クラス検出回路23から送出される空間クラスのクラス情報としての再量子化コードqiと、動きクラス検出回路24から送出される動きクラスのクラス情報MVとに基づいて、変換後のHD信号(525p信号又は1050i信号)の画素(注目画素)が属するクラスを示すクラスコードCLを生成する。
すなわちクラス合成回路25は、空間クラスタップのデータ(SD画素データ)の個数をNaとし、ADRCにおける再量子化ビット数をPとしたとき、次式
Figure 2005326690
に示す演算処理を行うようにしてクラスコードCL3を得る。
また画像信号処理部10は、複数のレジスタ30〜33及び係数メモリ34を有しており、このうちレジスタ30には、後述する線順次変換回路28の動作を指定するための動作指定情報が格納されている。この線順次変換回路28は、変換後のHD信号のうち525p信号を出力する場合と1050i信号を出力する場合とで、その動作を切り換える必要があることから、レジスタ30から供給される動作指定情報に応じた動作を行うようになされている。
レジスタ31には、第1のタップ選択回路20において選択される予測タップのタップ位置情報が格納されている。かかるタップ位置情報は、例えば選択される可能性のある複数のSD画素にそれぞれ割り当てられた番号である。以下に述べるタップ位置情報は全て同様の情報でなる。第1のタップ選択回路20は、レジスタ31から供給されるタップ位置情報に基づく番号に対応するSD画素を予測タップとして選択する。
またレジスタ32は、第2のタップ選択回路21において選択される空間クラスタップのタップ位置情報が格納されている。この第2のタップ選択回路21は、レジスタ32から供給されるタップ位置情報に基づく番号に対応するSD画素を空間クラスタップとして選択する。
このレジスタ32には、動きが比較的小さい場合のタップ位置情報Aと、動きが比較的大きい場合のタップ位置情報Bとの2種類の情報が格納されており、動きクラス検出回路24から与えられる動きクラスのクラス情報MVに従ってタップ位置情報A又はBを選択して第2のタップ選択回路21が送出される。
すなわち、動きがないか或いは動きが小さいためにクラス情報MVの値が0又は1であるときは、レジスタ32からタップ位置情報Aが第2のタップ選択回路21に供給される。この第2のタップ選択回路21において選択される空間クラスタップは、上述した図8(A)〜図9(B)に示すように複数フィールドに跨るものとなる。
一方、動きが比較的大きいためにクラス情報MVの値が2又は3であるときは、レジスタ32からタップ位置情報Bが第2のタップ選択回路21に供給される。この第2のタップ選択回路21において選択される空間クラスタップは、図示しないが、変換後の画素と同一フィールド内のSD画素のみとなる。
なお、上述したレジスタ31においても、レジスタ32と同様に、動きが比較的小さい場合のタップ位置情報と、動きが比較的大きい場合のタップ位置情報との2種類の情報を格納しておき、動きクラス検出回路24から与えられる動きクラスのクラス情報MVに従って第1のタップ選択回路20に供給されるタップ位置情報が選択されるようにしても良い。
さらにレジスタ33は、第3のタップ選択回路22において選択される動きクラスタップのタップ位置情報が格納されている。第3のタップ選択回路22は、レジスタ33から供給されるタップ位置情報に基づく番号に対応するSD画素を動きクラスタップとして選択する。
さらに係数メモリ34には、後述する推定予測演算回路26において使用される所定の推定式の係数データがクラスごとに格納されている。この係数データは、SD信号(525i信号)をHD信号(525p信号又は1050i信号)にアップコンバートするための情報である。
係数メモリ34は、上述したクラス合成回路25から送出されるクラスコードCLが読み出しアドレス情報として供給されると、システムコントローラ2の制御の下で、当該係数メモリ34からクラスコードCLに対応する係数データを読み出して、推定予測演算回路26に送出する。
画像信号処理部10には、レジスタ30に格納するための動作指定情報と、レジスタ31〜33に格納するためのタップ位置情報とが予め蓄えられている情報メモリバンク35が設けられ、システムコントローラ2の制御に応じて、各レジスタ30〜33に対応する種々の情報を送出するようになされている。
かかる情報メモリバンク35には、レジスタ30に格納するための動作指定情報として、線順次変換回路28からHD信号(525p信号)を出力させるための第1の動作指定情報と、線順次変換回路28からHD信号(1050i信号)を出力させるための第2の動作指定情報とが予め蓄えられている。
ユーザがリモコン送信機4を用いて、HD信号(525p信号)にアップコンバートする第1の変換方法、又はHD信号(1050i信号)にアップコンバートする第2の変換方法のいずれかを選択すると、当該選択結果がシステムコントローラ2を介して情報メモリバンク35に供給される。この結果、システムコントローラ2は、ユーザが選択した第1又は第2の変換方法に応じた第1又は第2の動作指定情報を情報メモリバンク35から読み出してレジスタ30に供給する。
また情報メモリバンク35には、レジスタ31に格納するための予測タップのタップ位置情報として、第1の変換方法(525p)に対応する第1のタップ位置情報と、第2の変換方法(1050i)に対応する第2のタップ位置情報とが予め蓄えられている。システムコントローラ2は、ユーザの操作に応じて選択された第1又は第2の変換方法に応じた第1又は第2のタップ位置情報を情報メモリバンク35から読み出してレジスタ31に供給する。
さらに情報メモリバンク35には、レジスタ32に格納するための空間クラスタップのタップ位置情報として、第1の変換方法(525p)に対応する第1のタップ位置情報と、第2の変換方法(1050i)に対応する第2のタップ位置情報とが予め蓄えられている。
なお、第1及び第2のタップ位置情報は、それぞれ動きが比較的小さい場合のタップ位置情報Aと、動きが比較的大きい場合のタップ位置情報Bとの2種類の情報からなる。システムコントローラ2は、ユーザの操作に応じて選択された第1又は第2の変換方法に応じた第1又は第2のタップ位置情報を情報メモリバンク35から読み出して第2のタップ選択回路21に供給する。
また、情報メモリバンク35には、レジスタ33に格納するための動きクラスタップのタップ位置情報として、第1の変換方法(525p)に対応する第1のタップ位置情報と、第2の変換方法(1050i)に対応する第2のタップ位置情報とが予め蓄えられている。システムコントローラ2は、ユーザの操作に応じて選択された第1又は第2の変換方法に応じた第1又は第2のタップ位置情報を情報メモリバンク35から読み出して第3のタップ選択回路22に供給する。
また情報メモリバンク35には、第1及び第2の変換方法のそれぞれに対応した各クラスの係数種データが予め蓄えられている。この係数種データは、上述した係数メモリ34に格納するための係数データを生成するための生成式の係数データである。
なお後述する推定予測演算回路26は、予測タップのデータ(SD画素データ)xiと、係数メモリ34より読み出される係数データWiとに基づいて、変換後のHD画素データyを、次式
Figure 2005326690
のような推定式を用いて求めることができる。
第1のタップ選択回路20において選択される予測タップが、図4及び図6(B)に示すように10個であるとき、(4)式におけるnの値は10となる。そして、この推定式の係数データWi(i=1〜n)は、パラメータh、vを用いて、次式
Figure 2005326690
に示すように生成される。
また情報メモリバンク35には、この生成式の係数データである係数種データw10〜wn9が、変換方法毎にかつクラス毎に格納されている。この係数種データの作成方法については後述する。
システムコントローラ2は、ユーザの操作に応じて選択された第1又は第2の変換方法に対応する各クラスの係数種データを情報メモリバンク35から読み出して係数生成回路36に供給する。またシステムコントローラ2は、パラメータh、vを係数生成回路36に供給する。
この係数生成回路36は、供給される各クラスの係数種データ及びパラメータh、vの値を用いて、上述の(5)式による推定式を演算することにより、クラス毎に、パラメータh、vの値に対応した推定式の係数データWi(i=1〜n)を生成する。
その際、係数生成回路36は、各クラスの係数データWiを、例えば各垂直ブランキング期間に行うことにより、ユーザの操作によりパラメータh、vの値が変更されても、係数メモリ34に格納される各クラスの係数データWiをパラメータh、vの値に対応したものに即座に変更することができ、この結果、ユーザによる解像度の調整をスムーズに行うことができる。
このように係数生成回路36は、生成した各クラスの係数データWi(i=1〜n)を、システムコントローラ2の制御のもとで係数メモリ34に格納する。
また正規化係数生成回路37は、係数生成回路36において生成される各クラスの係数データWi(i=1〜n)に対応した正規化係数Sを、次式
Figure 2005326690
のように演算する。
この正規化係数生成回路37は、生成した正規化係数Sを正規化係数メモリ38に供給して、当該正規化係数メモリ38においてクラス毎に正規化係数Sを格納させる。この正規化係数メモリ38には、上述したクラス合成回路25から供給されるクラスコードCLが読み出しアドレス情報として格納されており、システムコントローラ2は、指定されたクラスコードCLに対応した正規化係数Sを読み出して正規化演算回路27に供給する。
ここで推定予測演算回路26は、第1のタップ選択回路20で選択的に取り出される予測タップのデータ(SD画素データ)xiと、係数メモリ34より読み出される係数データWiとから、作成すべきHD信号の画素(注目画素)のデータを演算する。
この推定予測演算回路26では、HD信号(525p信号)にアップコンバートする場合には、上述した図4に示すように、奇数フィールド(o)及び偶数フィールド(e)において、SD信号(525i信号)のラインと同ライン上に位置する画素群からなるラインデータL1と、SD信号(525i信号)の上下間のライン上に位置する画素群からなるラインデータL2とを生成すると共に、各ラインL1、L2上の画素数を2倍に変換する必要がある。
また推定予測演算回路26では、HD信号(1050i信号)にアップコンバートする場合には、上述した図5に示すように、奇数フィールド(o)及び偶数フィールド(e)において、SD信号(525i信号)のライン近傍のライン上に位置する画素群からなるラインデータL1、L1′と、SD信号(525i信号)のライン遠隔のライン上に位置する画素群からなるラインデータL2、L2′とを生成すると共に、各ラインL1、L1´、L2、L2´上の画素数を2倍に変換する必要がある。
従って推定予測演算回路26では、HD信号(525p信号又は1050i信号)を構成する4画素のデータを同時に生成する。その際、推定予測演算回路26は、係数メモリ34から読み出されたそれぞれ値が異なる係数データWiと、予測タップのデータ(SD画素データ)xiとに基づいて、上述の(4)式の推定式を用いてHD画素データyを演算する。
続いて正規化演算回路27は、推定予測演算回路26から供給されるラインデータL1、L2(L1′、L2′)を構成する各HD画素データyを、正規化係数メモリ38から読み出されたそれぞれ値が異なる係数データWi(i=1〜n)に対応する正規化係数Sで除算して正規化する。
なお上述した係数生成回路36において生成される係数データWi(i=1〜n)は丸め誤差を含み、係数データWi(i=1〜n)の総和が1.0になることは保証されない。このため推定予測演算回路26は、演算結果であるHD画素データyを丸め誤差によってレベル変動が生じるおそれがある。上述したように正規化演算回路27は、HD画素データyを正規化することによって、そのレベル変動を除去することができる。
続いて線順次変換回路28は、推定予測演算回路26から正規化演算回路27を介して供給されるラインデータL1、L2(L1′、L2′)に対して水平周期を1/2倍とするライン倍速処理を行うようにして線順次化する。
図11は、HD信号(525p信号)にアップコンバートする場合のライン倍速処理をアナログ波形を用いて示すものである。推定予測演算回路26によって生成されるラインデータL1には順にa1、a2、a3、…のラインが含まれると共に、ラインデータL2には順にb1、b2、b3、…のラインが含まれる。
線順次変換回路28は、各ラインL1、L2のデータを時間軸方向に1/2に圧縮した後、当該圧縮されたデータを交互に選択することにより、線順次出力a0、b0、a1、b1、…を形成する。
なお、HD信号(1050i信号)にアップコンバートする場合には、線順次変換回路28は、奇数フィールド(o)及び偶数フィールド(e)でインタレース関係を満たすように線順次出力を発生する。従って線順次変換回路28は、HD信号(525p信号)にアップコンバートする場合と、HD信号(1050i信号)にアップコンバートする場合とで、その動作を切り換える必要があることから、レジスタ30から供給される動作指定情報に応じた動作を行うようになされている。
このように画像信号処理部10では、調整された複数種類のパラメータh、vの値に対応した推定式の係数データWi(i=1〜n)を用いてHD画素データyを演算により求めることができる。従ってユーザはパラメータh、vの値を調整するようにして、HD信号による画像の画質を水平解像度及び垂直解像度の各軸で自由にかつ滑らかに調整することができる。
なお画像信号処理部10では、かかる画質調整時に、係数生成回路36がユーザによって調整されたパラメータh、vの値に対応した各クラスの係数データをその都度生成することから、必要以上に大量の係数データを予め格納しておくメモリを必要としないという利点ある。
また上述したように、情報メモリバンク35には、予め学習によって生成された複数の係数種データが変換方法毎にかつクラス毎に記憶されている。以下において、上述した(5)式の生成式に供する係数データである係数種データw10〜wn9の生成方法の一例を説明する。
まず以下の説明のため、次式
Figure 2005326690
のように、ti(i=0〜9)を定義する。この(7)式を用いると、上述の(5)式は、次式
Figure 2005326690
のように書き換えることができる。
最終的に学習によって未定係数wxyを求める。すなわちいわゆる最小二乗法による解法により、変換方法毎かつクラス毎に、複数のSD画素データ及びHD画素データを用いて二乗誤差を最小にする係数値を決定する。
学習数をmとし、k(1≦k≦m)番目の学習データにおける残差をekとし、二乗誤差の総和をEとすると、上述の(4)式及び(5)式を用いて、二乗誤差の総和Eは、次式
Figure 2005326690
で表される。ここで、xikはSD画像のi番目の予測タップ位置におけるk番目の画素データを表し、yはそれに対応するk番目のHD画像の画素データを表している。
最小二乗法による解法では、(9)式のwxyによる偏微分が0になるようなwxyを求める。これは、次式
Figure 2005326690
で示される。
以下、次式
Figure 2005326690
Figure 2005326690
のように、Xipjq、Yipを定義すると、(10)式は、行列を用いて、次式
Figure 2005326690
のように書き換えられる。
この方程式は一般に正規方程式と呼ばれている。この正規方程式は、掃き出し法(Gauss-Jordanの消去法)等を用いて、wxyについて解かれ、係数種データが算出される。
上述した係数種データの生成方法の概念を図12に示す。HD信号から複数のSD信号を生成する。例えば、HD信号からSD信号を生成する際に使用するフィルタの水平帯域と垂直帯域を可変するパラメータh、vをそれぞれ9段階に可変して、合計81種類のSD信号を生成している。このようにして生成した複数のSD信号とHD信号との間で学習を行って係数種データを生成する。
(1−2)係数種データ生成装置の構成
上述した概念で係数種データを生成する係数種データ生成装置50の構成を図13に示す。
この係数種データ生成装置50は、教師信号としてのHD信号(525p信号又は1050i信号)が入力端子51を介して入力されると、SD信号生成回路52は、当該HD信号に対して水平方向及び垂直方向の間引き処理を行って入力信号としてのSD信号を生成する。
このSD信号生成回路52は、外部から供給される制御信号に応じて、第1の変換方法(525i信号から525p信号へのアップコンバート)又は第2の変換方法(525i信号から1050i信号へのアップコンバート)のいずれか選択し、当該選択した変換方法によりSD信号を生成する。
すなわちSD信号生成回路52は、第1の変換方法を選択した場合、HD信号(525p信号)に対して間引き処理を施してSD信号(525i信号)を生成する(図4参照)一方、第2の変換方法を選択した場合、HD信号(1050i信号)に対して間引き処理が施されてSD信号(525i信号)を生成する(図5参照)。
またSD信号生成回路52は、外部からパラメータh、vが制御信号として供給されると、当該パラメータh、vに対応して、HD信号からSD信号を生成する際に使用するフィルタの水平帯域と垂直帯域とを可変する。
ここで、フィルタの詳細について、いくつかの具体例を示す。まず第1の例として、水平帯域を制限する帯域フィルタと垂直帯域を制限する帯域フィルタとから構成されたフィルタを用いる場合、図14に示すように、パラメータh又はvの段階的な値に対応した周波数特性を設計して、逆フーリエ変換をすることにより、パラメータh又はvの段階的な値に対応した周波数特性を持つ1次元フィルタを得ることができる。
第2の例として、水平帯域を制限する1次元ガウシアンフィルタと垂直帯域を制限する1次元ガウシアンフィルタとから構成されたフィルタを用いる場合、かかる1次元ガウシアンフィルタが、次式
Figure 2005326690
で示されることから、パラメータh又はvの段階的な値に対応して標準偏差σの値を段階的に変えることにより、パラメータh又はvの段階的な値に対応した周波数特性を持つ1次元ガウシアンフィルタを得ることができる。
また第3の例として、パラメータh、vの両方で水平及び垂直の周波数特性が決まる2次元フィルタF(h、v)で構成されたフィルタを用いる場合、この2次元フィルタの生成方法が、上述した1次元フィルタと同様に、パラメータh、vの段階的な値に対応した2次元周波数特性を設計して、2次元の逆フーリエ変換をすることにより、パラメータh、vの段階的な値に対応した2次元周波数特性を持つ2次元フィルタを得ることができる。
また係数種データ生成装置50は、SD信号生成回路52の出力段に並列接続された第1〜第3のタップ選択回路53〜55を有し、当該SD信号生成回路52から供給されるSD信号(525i信号)からHD信号(1050i信号又は525p信号)に係る注目画素の周辺に位置する複数のSD画素のデータを選択的に抽出するようになされている。
これら第1〜第3のタップ選択回路53〜55は、上述した図1に示す画像信号処理部10の第1〜第3のタップ選択回路20〜22と同様に構成されている。これら第1〜第3のタップ選択回路53〜55は、タップ選択制御部56から供給されるタップ位置情報によって指定されたタップを選択する。
タップ選択制御回路56は、外部から供給される制御信号に基づいて、第1又は第2の変換方法のいずれが選択されたかに応じて、当該選択された変換方法に応じたタップ位置情報を第1〜第3のタップ選択回路53〜55に供給する。
またタップ選択制御回路56は、動きクラス検出回路58から供給される動きクラスのクラス情報MVに従って、動きが比較的小さい場合又は動きが比較的大きい場合のいずれかのタップ位置情報を選択して、当該選択したタップ位置情報を第2のタップ選択回路54に供給する。
この第2のタップ選択回路54は、SD画素データのレベル分布パターンに対応するクラス分類に使用する空間クラスタップのデータ(SD画素データ)を選択的に抽出した後、空間クラス検出回路23に送出する。
空間クラス検出回路23は、第2のタップ選択回路54において選択的に抽出した空間クラスタップのデータ(SD画素データ)のレベル分布パターンを検出した後、当該レベル分布パターンに基づいて空間クラスを検出し、そのクラス情報をクラス合成回路59に送出する。
この空間クラス検出回路57は、上述した画像信号処理部10内に設けられた空間クラス検出回路23と同様に構成されれている。この空間クラス検出回路57は、空間クラスタップのデータとしての各SD画素データ毎の再量子化コードqiを空間クラスを示すクラス情報としてクラス合成回路59に送出する。
また第3のタップ選択回路55は、動きに対応するクラス分類に使用する動きクラスタップ(SD画素)のデータを選択的に抽出した後、動きクラス検出回路58に供給する。
この動きクラス検出回路58、第3のタップ選択回路55において選択的に抽出された動きクラスタップのデータ(SD画素データ)から、主に動きの程度を表すための動きクラスを検出した後、そのクラス情報MVをクラス合成回路59に送出する。
この動きクラス検出回路58は、上述した画像信号処理部10内に設けられた動きクラス検出回路24と同様に構成されている。この動きクラス検出回路58は、動きクラスタップのデータ(SD画素データ)からフレーム間差分を算出した後、さらにその差分の絶対値の平均値に対して閾値処理を行って動きの指標である動きクラスを検出する。
このクラス合成回路59は、空間クラス検出回路57から供給される空間クラスのクラス情報としての再量子化コードqiと、動きクラス検出回路58から供給される動きクラスのクラス情報MVとに基づいて、HD信号(525p信号又は1050i信号)に係る注目画素が属するクラスを示すクラスコードCLを生成する。このクラス合成回路59も、上述した画像信号処理部10内に設けられたクラス合成回路25と同様に構成されている。
また正規方程式生成部60は、入力端子51を介して供給されるHD信号から得られる注目画素データとしての各HD画素データyと、この各HD画素データyにそれぞれ対応して第1のタップ選択回路53において選択的に抽出される予測タップのデータ(SD画素データ)xiと、各HD画素データyにそれぞれ対応してクラス合成回路59から供給されるクラスコードCLとに基づいて、各クラス毎に係数種データw10〜wn9を得るための正規方程式((13)式参照)を生成する。
その際、SD信号生成回路52から順次出力される複数のSD信号がパラメータh、vに対応してフィルタの水平及び垂直の帯域を段階的に変化していることから、正規方程式生成部60は、一個のHD画素データyと当該HD画素データyに対応するn個の予測タップ画素データとの組み合わせにより複数の学習データを生成し、当該複数の学習データを登録してなる正規方程式を生成する。
なお図示しないが、第1のタップ選択回路53の前段に時間合わせ用の遅延回路を設けるようにして、この第1のタップ選択回路53から正規方程式生成部60に供給されるSD画素データxiのタイミング調整を行うようにしても良い。
次いで係数種データ決定部61は、正規方程式生成部60からクラス毎に供給される正規方程式のデータを受け取ると、当該正規方程式をクラス毎に例えば掃き出し法等の解法を用いて解くようにして、各クラスの係数種データw10〜wn9を求めた後、当該係数種データw10〜wn9を係数種メモリ62に記憶させる。
実際に、HD信号と当該HD信号から比較的帯域が狭いフィルタを用いて生成したSD信号との間で学習して算出される係数種データからは、比較的解像度の高いHD信号が得られる。これに対して、HD信号と当該HD信号から比較的帯域が広いフィルタを用いて生成したSD信号との間で学習して算出される係数種データからは、比較的解像度の低いHD信号が得られる。
このように係数種データ生成装置50では、供給されるHD信号に基づき複数のSD信号を順次生成し、当該各SD信号に応した第1又は第2の変換方法に対応させて、上述した図1の画像信号処理部10の情報メモリバンク35に記憶される各クラスの係数種データw10〜wn9を生成することができる。
(1−3)本実施の形態による解像度調整処理
ここで上述した図1に示すテレビ受信機1においては、画質調整モードの選択時に、コントラストやシャープネス等のような単一のパラメータによる画質調整ではなく、解像度調整やノイズ除去等のような相関性を保ちながら互いに独立した複数のパラメータによる画質調整を行う場合には、複数種類の調整結果をそれぞれ静止画像としてディスプレイ部12の表示画面12Aに同時に表示させると共に、当該各静止画像同士を直接目視対比しながら画質調整を行い得るようになされている。
ユーザが画質調整として解像度調整を指定した場合について、以下に説明する。まずディスプレイ部の表示画面12Aに映像表示されている状態で、ユーザによるリモコン送信機4の操作により画質調整モードが選択されると、システムコントローラ2は、図15に示す解像度調整処理手順RT1をステップSP0から開始し、続くステップSP1において、当該画質調整モードを表すメニュー画面(図示せず)を重畳表示させる。
このメニュー画面には、複数種類の画質調整用のメニュー(例えばコントラスト、シャープネス、解像度調整及びノイズ除去等)が一覧表示されている。システムコントローラ2は、ステップSP2において、このうちユーザによって解像度調整が指定されるのを待った後、ステップSP3に進んで、ディスプレイ部12の表示画面12Aに現在表示されている映像を停止させて1フレーム分の静止画像を得た後、当該静止画像のうち所定範囲の画像部分を複数の同一画像として同時に1フレームとして分割表示させる。
例えばこれら同一画像の数が4枚である場合、図16に示すように、ディスプレイ部12の表示画面12Aの左上の同一画像をパラメータ調整対象外として原画像のまま表示させる(以下、これを基準原画像と呼ぶ)PSと同時に、当該表示画面12Aの右上、左下及び右下の3枚の同一画像をパラメータ調整用の画像(以下、これを調整用画像と呼ぶ)PX〜PZとして表示させる。
さらに基準原画像PS内には、図17(A)に示すように、横軸及び縦軸にそれぞれ水平解像度及び垂直解像度を決定するためのパラメータ軸からなる2次元座標系CDTが重畳表示されると共に、基準原画像PS及び3枚の調整用画像PX〜PZについて、当該2次元座標系における現在の水平解像度及び垂直解像度を表す位置にそれぞれ「☆」、「×」、「○」及び「△」マークを表すアイコンMS、MX〜MZが重畳表示される。
システムコントローラ2は、これら基準原画像PS及び複数の調整用画像PX〜PZを同時に表示させた状態で、ステップSP4において、ユーザによるリモコン送信機4の操作に応じていずれかの調整用画像PX、PY又はPZが指定されるのを待った後、ステップSP5に進んで、当該指定された調整用画像PX、PY又はPZの現在の水平解像度及び垂直解像度を決定するためのパラメータを基準として、全ての調整用画像PX〜PZに対応するパラメータの値をそれぞれ異なる値に設定する(図17(B))。
このときシステムコントローラ2は、ユーザによるリモコン送信機4の操作に応じていずれかの調整用画像PX、PY又はPZが指定されるのを待った後、当該指定された調整用画像PX、PY又はPZをパラメータ調整対象としてリモコン送信機4による操作可能な状態に設定する。
かかる設定状態において、システムコントローラ2は、ユーザによってリモコン送信機4のジョイスティックや十字ボタン等が所望方向に操作されたとき、基準原画像PS内に表示されている複数のアイコンMX〜MZのうち指定された調整用画像PX、PY又はPZに対応するアイコンMX、MY又はMZのみを、操作方向に追従して移動表示させると同時に、かかる調整用画像PX、PY又はPZを基準として他の各調整用画像をこれに近似するように解像度調整して、その調整結果を当該各調整用画像に反映させる。
やがてシステムコントローラ2は、ステップSP6に進んで、ユーザによるリモコン送信機4の操作により最終的に解像度が決定されたか否かを判断し、否定結果が得られたときには再度ステップSP4に戻って、ユーザが所望する解像度の調整用画像PX、PY又はPZが指定されるのを待つようにして以下同様の処理を繰り返す。
これに対してステップSP6において肯定結果が得られると、このことはユーザにより指定された調整用画像PX、PY又はPZの解像度が調整結果として決定されたことを意味し、このときシステムコントローラ2は、ステップSP7に進んで、画質調整モードを終了するか否かを判断する。
このステップSP7において否定結果が得られると、システムコントローラ2は、再度ステップSP1に戻って、画質調整モードを表すメニュー画面(図示せず)を表示させるようにして上述と同様の処理を繰り返す。これに対してステップSP7において肯定結果が得られると、システムコントローラ2は、そのままステップSP8に進んで当該解像度調整処理手順RT1を終了する。
このようにテレビ受信機1では、例えば解像度調整等のような相関性を保ちながら互いに独立した複数のパラメータによる画質調整を行う際に、ディスプレイ部12の表示画面12A内に複数種類の画質でなる調整用画像PX〜PZを同時に一覧表示させるようにして、ユーザが所望の解像度の調整用画像PX、PY又はPZを他の調整用画像と直接対比しながら容易に指定することができる。
その際、テレビ受信機1では、ディスプレイ部12の表示画面12Aに表示されている複数の調整用画像PX〜PZのうち所望の解像度の調整用画像PX、PY又はPZが指定されると、当該指定された調整用画像PX、PY又はPZを基準として他の各調整用画像の解像度を近似させることにより、当該他の各調整用画像をユーザが所望する解像度の候補対象として一覧表示させるようになされている。
そしてこれら一覧表示された複数の調整用画像PX〜PZの中から所望の解像度でなる調整用画像PX、PY又はPZが指定されるごとに、当該指定された調整用画像PX、PY又はPZ以外の他の各調整用画像の解像度を決定するパラメータの値を当該指定回数に比例して収束させるようにして最終的にユーザが所望する解像度を得ることができるようになされている。
具体的には上述した図15に示す解像度調整処理手順RT1において、画質調整モードのメニュー画面のうち解像度調整が指定されると(ステップSP2)、システムコントローラ2は、図18に示すパラメータ決定処理手順RT2をステップSP10から開始し、続くステップSP11において、ディスプレイ部の表示画面12Aに1枚の基準原画像PS及び3枚の調整用画像PX〜PZを同時に1フレームとして分割表示させる(ステップSP3)と共に、当該各調整用画像PX〜PZのパラメータの値を初期値に設定する。
すなわちこれら複数の調整用画像PX〜PZに設定されるパラメータをそれぞれPx、Py及びPzとすると、初期値は、図19に示すように、Nを所定の自然数として、パラメータPxの値が0、パラメータPyの値がN/2+1、パラメータPzの値がNと表される。
これらパラメータPx、Py及びPzは、上述したように水平解像度を決定するパラメータhと、垂直解像度を決定するパラメータvとの組み合わせでなり、それぞれ(hx、vx)、(hy、vy)及び(hz、vz)と表される。
続いてシステムコントローラ2は、ステップSP12に進んで、いずれかの調整用画像PX、PY又はPZが指定されることにより(ステップSP4)、当該調整用画面PX、PY又はPZを基準とするパラメータPx、Py又はPzの値が選択されたか否かを判断する。
このステップSP12において肯定結果が得られると、このことは複数の調整用画像PX〜PZのうちユーザが所望の解像度の調整用画像PX、PY又はPZを指定したことを意味し、このときシステムコントローラ2は、ステップSP13に進んで、選択回数k(初期値は0)を+1だけインクリメントした後、ステップSP14において3つのパラメータPx〜Pzの値を再設定する(ステップSP5)。
このステップSP14において、システムコントローラ2は、指定された調整用画像PX、PY又はPZに対応するパラメータPx、Py又はPzの値(k=0のときPx=N、Py=N/2+1、Pz=0)を基準として、他のパラメータPx、Py又はPzの値に±N/2(kは選択回数)を加算するようにして新たなパラメータPx、Py又はPzの値を設定する(図19)。このときパラメータPx、Py又はPzの値が0〜Nの範囲を越える場合には、0〜Nの範囲内に収めるように設定する。すなわちパラメータPx、Py又はPzの値が0以下のときは0に設定する一方、N以上のときはNに設定する。
やがてシステムコントローラ2は、ステップSP15に進んで、パラメータPx、Py又はPzの値の上限値Nが2より小さい値になったか、又はユーザが最終的に解像度を決定したかのいずれかになったか否かを判断し(ステップSP6)、肯定結果が得られた場合には、そのままステップSP16に進んで当該パラメータ決定処理手順RT2を終了する。
これに対してステップSP15において否定結果が得られた場合、このことは解像度の調整が不能又はユーザにより終了したことを意味し、このときシステムコントローラ2は、再度ステップSP12に戻って、次のパラメータPx、Py又はPzの値が選択されるのを待つようにして上述と同様の処理を繰り返す。
このようにテレビ受信機1では、ユーザが所望の解像度の調整用画像PX、PY又はPZを指定するごとに、当該指定した調整用画像PX、PY又はPZを基準として他の各調整用画像の解像度を逐次近似するように、当該各調整用画像PX〜PZのパラメータPx〜Pzの値を再設定することにより、ユーザが調整用画像PX、PY又はPZを順次指定していくだけで所望の解像度に収束することができる。
実際にテレビ受信機1では、システムコントローラ2は、上述の解像度調整が行われると、第1のフレームメモリ9に記憶したSD信号(525i信号)に基づくフレーム画像を読み出して、画像信号処理部10において当該フレーム画像の4分の1の同一画像に対してそれぞれパラメータ調整処理を実行した後、当該各パラメータ調整処理の結果として得られるHD信号(525p信号又は1050i信号)に基づく1枚の基準原画像PS及び3枚の調整用画像PX、PY又はPZを第2のフレームメモリ11に順次記憶させる。
そしてシステムコントローラ2は、第2のフレームメモリ11に記憶されたHD信号(525p信号又は1050i信号)に基づく基準原画像PS及び複数の調整用画像PX、PY又はPZを、ディスプレイ部12の表示画面12A内で1フレームを形成するように所定タイミングで合成部14にそれぞれ送出する。
またシステムコントローラ2は、ユーザの操作内容に応じてOSD回路13に、それぞれ調整用画像PX、PY又はPZごとにパラメータ調整のための読出命令を与えると、当該OSD回路13は、これら読出命令に応じたパラメータ調整用の表示パターン(図17(A)における2次元座標系CDT並びに「☆」、「×」、「○」及び「△」マークを表すアイコンMS、MX〜MZ)を合成部14に送出する。
続いてシステムコントローラ2は、画像信号処理部10から第2のフレームメモリ11を介して合成部14に与えられた基準原画像PS及び複数の調整用画像PX〜PZと、OSD回路13から与えられたパラメータ調整用の表示パターンとをそれぞれ対応させて合成した後、当該合成結果として得られる画像信号に基づくフレーム画像をディスプレイ部12の表示画面12Aに表示させる。
一方、OSD回路13は、パラメータ調整用の表示パターンがディスプレイ部12の表示画面12Aのどの位置に表示されているかを表す表示位置信号SDPをそれぞれシステムコントローラ2に送出する。これによりシステムコントローラ2は、表示位置信号SDPに基づいて現在ディスプレイ部12の表示画面12Aに表示されているパラメータ調整用の表示パターンが当該表示画面12Aのどの位置に表示されているかを常時判断することができる。
(1−4)本実施の形態による動作及び効果
以上の構成において、このテレビ受信機1では、画質調整モード時に、例えば解像度調整等のような相関性を保ちながら互いに独立した複数のパラメータによる画質調整を行う場合、ディスプレイ部12の表示画面12Aに表示されている映像のうち指定された静止画像の所定範囲の画像部分を複数の同一画像として1フレームとして分割表示する。
これら複数の同一画像を1枚の基準原画像PS及び複数の調整用画像PX〜PZに分けて設定し、このうち基準原画像PSには、2次元座標系CDT並びに当該基準原画像PS及び複数の調整用画像PX〜PZの現在の解像度を表すアイコンMS、MX〜MZを重畳表示すると共に、残る複数の調整用画像PX〜PZには、それぞれ異なる解像度となるように初期値を設定する。
ユーザがディスプレイ部12の表示画面12Aに表示されている複数の調整用画像PX〜PZのうち所望の解像度でなる調整用画像PX、PY又はPZをリモコン送信機4を用いて指定すると、当該指定された調整用画像PX、PY又はPZを基準として他の調整用画像について水平解像度及び垂直解像度を決定するパラメータの値をそれぞれ再設定する。
このときディスプレイ部12の表示画面12Aには、元の解像度のままの基準原画像PSと、現時点での所望の解像度でなる調整用画像PX、PY又はPZと、当該調整用画像PX、PY又はPZの解像度を基準としてこれに近似する解像度でなる他の各調整用画像とが一覧表示されることから、ユーザはこれら複数の調整用画像PX〜PZ同士を直接対比しながら所望の解像度でなる調整用画像を指定することができる。
さらにディスプレイ部12の表示画面12Aに表示されている複数の調整用画像PX〜PZのうち、ユーザが所望の解像度でなる調整用画像PX、PY又はPZを指定すると、当該指定した調整用画像を基準として他の各調整用画像の解像度を近似させることにより、当該他の各調整用画像をユーザが所望する解像度の候補対象として一覧表示させることができる。
そしてユーザがこれら一覧表示された複数の調整用画像PX〜PZの中から所望の解像度でなる調整用画像PX、PY又はPZを指定していくごとに、当該指定した調整用画像PX、PY又はPZ以外の他の各調整用画像の解像度を決定するパラメータの値を当該指定回数に比例して収束させることにより、最終的にユーザが所望する解像度でなる調整用画像を表示させることができる。
従ってユーザは解像度調整をするにあたって、実際に画面表示される調整用画像を目視しながら所望の解像度であるものを順次指定していくだけで最終的に所望する解像度に収束させることができる。この結果、複数のパラメータを相関性を保ちながら互いに独立して調整する必要がある解像度調整のような画質調整であっても、調整前と調整後の画質を容易に目視確認することができると共に、複数のパラメータを同時に調整するといった煩雑さを回避して簡単に調整することができる。
以上の構成によれば、このテレビ受信機1において、解像度調整の際に、ディスプレイ部12の表示画面12Aに同一内容の静止画像でなる複数の調整用画像PX〜PZを同時に表示させておき、ユーザにより指定された調整用画像PX、PY又はPZを基準として他の各調整用画像の解像度を近似させてユーザが所望する解像度の候補対象として一覧表示させるようにし、さらにユーザにより所望の解像度でなる調整用画像PX、PY又はPZが指定されるごとに、当該指定された調整用画像PX、PY又はPZ以外の他の各調整用画像の解像度を決定するパラメータの値を当該指定回数に比例して収束させるようにして、最終的にユーザが所望する解像度でなる調整用画像を表示させるようにしたことにより、ユーザは実際に表示される調整用画像を目視しながら所望の解像度であるものを順次指定していくだけで最終的に所望する解像度に調整することができ、かくして画質調整を格段と容易に行い得るテレビ受信機1を実現できる。
(2)他の実施の形態
(2−1)他の実施の形態による係数種データの生成方法
次に、係数種データの生成方法について他の実施の形態について説明する。この実施の形態においても、上述した(5)式の生成式における係数データである係数種データw10〜wn9を求める場合について述べることとする。
この係数種データの生成方法についての概念図を図20に示す。まずHD信号から複数のSD信号を生成する。例えば、各HD信号ごとに、フィルタの水平帯域及び垂直帯域を可変するパラメータh、vをそれぞれ9段階に可変するようにして合計81種類のSD信号を生成する。このようにして生成した各SD信号及びHD信号間の学習に基づいて、以下に示す手法により(4)式の推定式の係数データWiを各SD信号に対応して生成した後、当該係数データWi(i=1〜n)を用いて係数種データw10〜wn9を生成する。
まず(4)式の推定式の係数データWiを最小二乗法により求める。一般化した例として、入力データをX、係数データをW、予測値をYとして、次式
Figure 2005326690
の観測方程式を考える。この(15)式において、mは学習データの数を示し、nは予測タップの数を示している。
(15)式の観測方程式により収集されたデータに最小二乗法を適用する。この(15)式の観測方程式をもとに、次式
Figure 2005326690
の残差方程式を考える。この(16)式の残差方程式から、各係数データWiの最確値は、次式
Figure 2005326690
のeを最小にする条件が成り立つ場合と考えられる。
すなわち、次式
Figure 2005326690
のiに基づくn個の条件について、これらを満たすW1、W2、…、Wnの値を係数データとして算出すればよい。そこで、上述の(16)式の残差方程式から、次式
Figure 2005326690
が得られ、さらにこの(19)式と上述の(15)式とから、次式
Figure 2005326690
が得られる。
そしてこの(20)式と(16)式とから、次式
Figure 2005326690
の正規方程式が得られる。
この(21)式の正規方程式は、未知数の数nと同じ数の方程式を立てることが可能であるため、各係数データWiの最確値を求めることができる。この場合、掃き出し法(Gauss-Jordanの消去法)等を用いて連立方程式を解けばよい。
次に各SD信号に対応して生成された係数データWi(i=1〜n)を使用して、係数種データw10〜wn9を求める。まずパラメータh、vに対応するSD信号を用いた学習に基づいて、あるクラスの係数データkvhi(iは予測タップの番号)が得られた場合に、当該係数データkvhiからクラスの係数種データを求める。
これら各係数データWiは、係数種データw10〜wn9を用いて、上述した(5)式により表される。ここで、係数データWiに対して最小二乗法を使用することを考えると、残差evhiは、上述の(7)式に示すtを用いて、次式
Figure 2005326690
のように表される。この(22)式に最小二乗法を適用すると、次式
Figure 2005326690
が得られる。
ここで、Xjk、Yをそれぞれ次式
Figure 2005326690
Figure 2005326690
のように定義すると、(23)式は、次式
Figure 2005326690
のように書き換えられる。この(26)式も正規方程式であり、この式を掃き出し法等の一般解法を用いることにより、係数種データw10〜wn9を算出することができる。
かかる他の実施の形態における係数種データを生成する係数種データ生成装置70の構成を図21に示す。この図21では、上述した図13と対応する部分に同一符号を付し、その詳細な説明は省略することにする。また図21では、図13に示す係数種データ生成装置50と対応部分に同一符号を付すこととする。
この図21に示す係数種データ生成装置70において、正規方程式生成部71は、入力端子を介して供給されるHD信号(525p信号又は1050i信号)から得られる注目画素データとしての各HD画素データyと、この各HD画素データyにそれぞれ対応して第1のタップ選択回路53において選択的に抽出された予測タップのデータ(SD画素データ)xiと、各HD画素データyにそれぞれ対応してクラス合成回路59から供給されるクラスコードCLとに基づいて、クラス毎に、係数データWi(i=1〜n)を得るための正規方程式((21)式参照)を生成する。
その際、SD信号生成回路52から順次出力される複数のSD信号がパラメータh、vに対応してフィルタの水平及び垂直の帯域を段階的に変化していることから、正規方程式生成部60は、一個のHD画素データyと当該HD画素データyに対応するn個の予測タップ画素データとの組み合わせにより複数の学習データを生成し、当該複数の学習データを登録してなる正規方程式を生成する。
また係数データ決定部72は、正規方程式生成部71において生成された正規方程式のデータが供給されると、当該正規方程式を解法して、各SD信号にそれぞれ対応した各クラスの係数データWiを求める。
続いて正規方程式生成部73は、これら各SD信号に対応した各クラスの係数データWiを用いて、クラス毎に、係数主データw10〜wn9を得るための正規方程式((26)式参照)を生成する。
さらに係数種データ決定部74は、正規方程式生成部73において生成された正規方程式のデータが供給されると、当該正規方程式を解法して、係数種データw10〜wn9を求めた後、当該係数種データw10〜wn9をクラス別にアドレス分割された係数種メモリ62に記憶させる。
このように、図21に示す係数種データ生成装置70においても、供給されるHD信号に基づき複数のSD信号を順次生成し、当該各SD信号に応した第1又は第2の変換方法に対応させて、上述した図1の画像信号処理部10の情報メモリバンク35に記憶される各クラスの係数種データw10〜wn9を生成することができる。
なお上述したように図1に示す画像信号処理部10においては、係数データWi(i=1〜n)を生成するために(5)式の生成式を使用したが、例えば、次式
Figure 2005326690
Figure 2005326690
などを使用しても良く、さらに次数の異なった多項式や、他の関数で表現される式を適用させるようにしても良い。
また上述したように図1の画像信号処理部10においては、水平解像度を指定するパラメータhと垂直解像度を指定するパラメータvとを設定しておき、これら複数種類のパラメータh、vの値を調整することによって、画像の水平解像度及び垂直解像度をそれぞれ調整するようにした場合について述べたが、例えばノイズ除去度(ノイズ低減度)を指定するパラメータzを設定しておき、このパラメータzの値を調整することによって画像のノイズ除去度を調整するようにしても良い。
かかるノイズ除去度の調整の場合、係数データWi(i=1〜n)を生成する生成式として、例えば、次式
Figure 2005326690
Figure 2005326690
などを用いても良く、さらに次数の異なった多項式や、他の関数で表現される式を適用するようにしても良い。
さらに上述したようにパラメータzを含む生成式の係数データである係数種データは、上述したパラメータh、vを含む生成式の係数データWiである係数種データw10〜wn9を生成する場合と同様に、図13に示す係数種データ生成装置50又は図21に示す係数種データ生成装置70によって生成することができる。
この場合、係数種データ生成装置50又は70では、SD信号生成回路52に外部から制御信号としてパラメータzが供給され、このパラメータzの値に対応して、HD信号からSD信号を生成する際に、SD信号に対するノイズ付加状態が段階的に可変される。このようにSD信号に対するノイズ付加状態を段階的に可変させて学習データを登録するようにして、連続したノイズ除去度を得るための係数種データを生成することができる。
ここでパラメータzの値に対応したノイズ付加方法の詳細について、第1〜第3の例を具体的に示す。まず第1の例として、図22(A)に示すように、SD信号に振幅レベルを段階的に変化させたノイズ信号を加えるようにして、段階的にノイズレベルが変化するSD信号を生成する。
第2の例として、図22(B)に示すように、SD信号に一定振幅レベルのノイズ信号を加えるが、当該ノイズ信号を加える画面領域を段階的に可変させる。第3の例として、図22(C)に示すように、ノイズが含まれている1画面分のSD信号と、ノイズが含まれていない1画面分のSD信号とを用意しておき、正規方程式を生成する際に、それぞれのSD信号に対して複数回の学習を行う。
例えば「ノイズ0」では、ノイズなしのSD信号に対して1回の学習を行い、「ノイズi(iは0以上の整数)」では、ノイズなしのSD信号に対して30回の学習を行うと共にノイズありのSD信号に対して70回の学習を行う。
この場合、「ノイズi」の方がノイズ除去度が高い係数種データを算出する学習系になる。このように、ノイズなし及びノイズありのSD信号に対する学習回数を段階的に変化させて学習を行うことにより、連続したノイズ除去度を得るための係数種データを得ることができる。
このような手法を、正規方程式の加算による手法を用いて実現することもできる。まず「ノイズ0」〜「ノイズi」における推定式の係数データを算出するような学習を行う。このときの正規方程式は、上述した(21)式に示すようになる。
ここで、j番目の予測タップ位置のSD画素データのi番目の学習値をxij、HD画素データのi番目の学習値をyとし、係数をWiとしたとき、Pij、Qをそれぞれ次式
Figure 2005326690
Figure 2005326690
のように定義すると、(21)式は、次式
Figure 2005326690
のように書き換えられる。
このような学習を用いて、ノイズなしのSD信号を学習した場合における、(33)式の左辺を[P1ij]、右辺を[Q1]と定義し、同様に、ノイズありのSD信号を学習した場合における、(33)式の左辺を[P2ij]、右辺を[Q2]と定義する。このような場合に、次式
Figure 2005326690
Figure 2005326690
のように、[Paij]、[Qa]を定義する。ただし、a(0≦a≦1)である。
ここで、a=0の場合の正規方程式は、次式
Figure 2005326690
で表され、これは図17(C)の「ノイズ0」の場合の正規方程式と等価になり、a=0.7の場合は「ノイズi」の場合の正規方程式と等価になる。
このaを段階的に変化させて各ノイズレベルの正規方程式を作ることにより、目的とする係数種データを得ることができる。この場合、図21の係数種データ生成装置70の場合と同様に、各ノイズレベルの正規方程式よりそれぞれ係数データをWiを算出し、この各段階における係数データを用いて係数種データを求めることができる。
また各ノイズレベルの正規方程式を組み合わせて、上述した(13)式のような係数種データを得るための正規方程式を生成するようにしても良い。この手法については、以下において詳細する。ここでは、上述した(30)式を用いて、係数種データを求める正規方程式を生成する場合を考える。
予め何種類かのパラメータzに対応したノイズレベルのSD信号を生成して学習を行っておき、上述した(34)式及び(35)式に表される[P]及び[Q]を、[Pnij]及び[Qn]と表す。また上述した(7)式は、次式
Figure 2005326690
のように書き換えられる。
この場合、上述した(24)式及び(25)式は、それぞれ次式
Figure 2005326690
Figure 2005326690
のように書き換えることができる。これらの式に対し、予測タップの総数を表す変数をmに書き換えて、次式
Figure 2005326690
を解法することにより、係数種データwijを求めることができる。
また上述したように図1の画像信号処理部10においては、水平解像度を指定するパラメータhと垂直解像度を指定するパラメータvとを設定しておき、これら複数種類のパラメータh、vの値を調整することによって、画像の水平解像度及び垂直解像度をそれぞれ調整するようにした場合について述べたが、例えば水平解像度及び垂直解像度を単一のパラメータを用いて調整するようにしても良い。
この場合、単一のパラメータrについて、例えばr=1は(h、v)=(1、1)、r=2は(h、v)=(2、2)、…、又はr=1は(h、v)=(1、2)、r=2は(h、v)=(2、3)、…のような対応関係とされる。この場合、係数データWi(i=1〜n)を生成する生成式としては、rの多項式等が使用されることとなる。
また上述したように図1の画像信号処理部10においては、水平解像度を指定するパラメータhと垂直解像度を指定するパラメータvとを設定しておき、これら複数種類のパラメータh、vの値を調整することによって、画像の水平解像度及び垂直解像度をそれぞれ調整するようにした場合について述べたが、上述した水平解像度及び垂直解像度を指定するパラメータrと、ノイズ除去度(ノイズ低減度)を指定するパラメータzとを設定し、これら複数種類のパラメータr、zの値を調整することにより、画像の水平解像度及び垂直解像度とノイズ除去度とを調整するようにしても良い。
この場合、係数データWi(i=1〜n)を生成する生成式として、例えば、次式
Figure 2005326690
等を適用することができ、さらに次数の異なった多項式や、他の関数で表現される式を用いるようにしても良い。
このように複数種類のパラメータr、zを調整するためのユーザインターフェースも、上述した図2と同様に構成することができる。すなわち図2及び図3との対応部分に同一符号を付して示す図23において、ディスプレイ部12の表示画面12Aに、調整時には、パラメータr、zの調整位置を「☆」マークのアイコンM2で示した調整画面P2がOSD表示される。
ユーザは、リモコン送信機4に搭載されたジョイスティック4aを上下左右に操作することにより、当該操作に応じてアイコンM2を調整画面内の所望方向に自由に移動させることができ、この結果、当該アイコンM2の位置に応じて解像度を指定するパラメータrの値とノイズ除去度(ノイズ低減度)を指定するパラメータzの値とを任意に調整し得る。なお、ユーザによって調整されたパラメータr、zの値を、調整画面上に数値表示するようにしても良い。
このようにパラメータr、zを含む生成式の係数データである係数種データは、上述したパラメータh、vを含む生成式の係数データWiである係数種データw10〜wn9を生成する場合と同様に、図13に示す係数種データ生成装置50又は図21に示す係数種データ生成装置70によって生成することができる。
この場合、係数種データ生成装置50又は70では、SD信号生成回路52に外部から制御信号としてパラメータr、zが供給され、このパラメータr、zの値に対応して、HD信号からSD信号を生成する際に、SD信号の水平帯域及び垂直帯域と当該SD信号に対するノイズ付加状態とが段階的に可変される。このようにSD信号に対する水平帯域及び垂直帯域と当該SD信号に対するノイズ付加状態とを段階的に可変させて学習データを登録するようにして、連続したノイズ除去度を得るための係数種データを生成することができる。
上述した係数種データの生成方法の概念を図24に示す。HD信号から複数のSD信号を生成する。例えば、HD信号からSD信号を生成する際に使用するフィルタのパラメータr、zをそれぞれ9段階に可変して、合計81種類のSD信号を生成している。このようにして生成した複数のSD信号とHD信号との間で学習を行って係数種データを生成する。なお、パラメータr、zを9段階よりもさらに多くの段階に可変するようにしても良いが、その場合には算出される係数種データの精度は良くなる一方、計算量は増大する。
さらに上述したように図1の画像信号処理部10においては、水平解像度を指定するパラメータhと垂直解像度を指定するパラメータvとを設定しておき、これら複数種類のパラメータh、vの値を調整することによって、画像の水平解像度及び垂直解像度をそれぞれ調整するようにした場合について述べたが、これらパラメータh、vの他に、さらに上述したノイズ除去度(ノイズ低減度)を指定するパラメータzを設定し、これら複数種類のパラメータh、v、zの値を調整することにより、画像の水平解像度及び垂直解像度とノイズ除去度とを調整するようにしても良い。
この場合、係数データWi(i=1〜n)を生成する生成式として、例えば、次式
Figure 2005326690
等を適用することができ、さらに次数の異なった多項式や、他の関数で表現される式を用いるようにしても良い。
このように複数種類のパラメータh、v、zを調整するためのユーザインターフェースも、上述した図2と同様に構成することができる。すなわち図2及び図3との対応部分に同一符号を付して示す図25において、ディスプレイ部12の表示画面12A(図示せず)に、調整時には、解像度を指定するパラメータh、vとノイズ除去度(ノイズ低減度)を指定するパラメータzとをパラメータr、zの調整位置を「☆」マークのアイコンM3で示した調整画面P3がOSD表示される。
ユーザは、リモコン送信機4に搭載されたジョイスティック4aを上下左右に操作することにより、当該操作に応じてアイコンM3を調整画面内の所望方向に自由に移動させることができ、この結果、当該アイコンM3の位置に応じて解像度を指定するパラメータrの値とノイズ除去度(ノイズ低減度)を指定するパラメータzの値とを任意に調整し得る。
アイコンM3が左右に動かされることで水平の解像度を決定するパラメータhの値が調整され、一方アイコンM3が上下に動かされることで垂直の解像度を決定するパラメータvの値が調整され、さらにアイコンM3が奥行き方向に動かされることでノイズ除去度を決定するパラメータzの値が調整される。アイコンM3を奥行き方向に動かすには、例えばジョイスティック4aを斜め方向に操作すれば良い。
この場合、アイコンM3の大きさや色の濃さ、或いは色合い等を変化させることにより、奥行き方向を表現するようにしても良い。図中の破線で示されるアイコンM3´は、その大きさを変えることにより、実線で示されるアイコンM3が奥行き方向に移動された状態を示している。なお、ユーザによって調整されたパラメータh、v、zの値を、調整画面P3上に数値表示するようにしても良い。
このようにパラメータh、v、zを含む生成式の係数データである係数種データは、上述したパラメータh、vを含む生成式の係数データWiである係数種データw10〜wn9を生成する場合と同様に、図13に示す係数種データ生成装置50又は図21に示す係数種データ生成装置70によって生成することができる。
この場合、係数種データ生成装置50又は70では、SD信号生成回路52に外部から制御信号としてパラメータh、v、zが供給され、このパラメータh、v、zの値に対応して、HD信号からSD信号を生成する際に、SD信号の水平帯域及び垂直帯域と当該SD信号に対するノイズ付加状態とが段階的に可変される。このようにSD信号に対する水平帯域及び垂直帯域と当該SD信号に対するノイズ付加状態とを段階的に可変させて学習データを登録するようにして、連続したノイズ除去度を得るための係数種データを生成することができる。
上述した係数種データの生成方法の概念を図26に示す。HD信号から複数のSD信号を生成する。例えば、HD信号からSD信号を生成する際に使用するフィルタのパラメータh、v、zをそれぞれ9段階に可変して、合計729種類のSD信号を生成している。このようにして生成した複数のSD信号とHD信号との間で学習を行って係数種データを生成する。なお、パラメータh、v、zを9段階よりもさらに多くの段階に可変するようにしても良いが、その場合には算出される係数種データの精度は良くなる一方、計算量は増大する。
(2−2)他の実施の形態による画像信号処理部の構成
なお、上述した図1に示す画像信号処理部10における処理を、例えば図27に示すような画像信号処理部80によるソフトウェア処理を実行するようにしても実現することができる。
この図27に示す画像信号処理部80では、装置全体の動作を制御するCPU81と、このCPU81の動作プログラムや係数種データ等が格納されたROM(read only memory)82と、CPU81の作業領域を構成するRAM(random access memory)83とがそれぞれバス84を介して相互に接続されて構成されている。
また画像信号処理部80には、外部記憶装置としてのハードディスクドライブ(HDD)85と、フロッピ(登録商標)(R)ディスク86をドライブするフロッピ(R)ディスクドライブ(FDD)87とがそれぞれバス84を介して相互に接続されて構成されている。
さらに画像信号処理部80には、インターネット等の通信網88に有線又は無線で接続する通信部89を有し、当該通信部89がインターフェース90を介してバス84に接続されている。
さらに画像信号処理部80には、ユーザインターフェース部が設けられ、当該ユーザインターフェース部は、リモコン送信機4からのリモコン信号RMを受信するリモコン信号受信回路91と、LCD(liquid crystal display)等からなるディスプレイ92とが設けられている。またリモコン信号受信回路91及びディスプレイ92は、それぞれインターフェース93及び94を介してバスに接続されている。
さらに画像信号処理部80には、SD信号を入力するための入力端子95と、HD信号を出力するための出力端子96とが、それぞれインターフェース97及び98を介してバスに接続されている。
ここで、上述したようにROM82に処理プログラムや係数種データ等を予め格納しておくことに代えて、例えばインターネットなどの通信網88から通信部89を介してダウンロードしてハードディスク85やRAM83に蓄積して使用するようにしても良い。またこれら処理プログラムや係数種データ等をフロッピ(R)ディスク86で提供するようにしても良い。
また処理すべきSD信号を入力端子95から入力することに代えて、予めハードディスク85に記録しておき、又はインターネットなどの通信網88から通信部89を介してダウンロードするようにしても良い。さらに処理後のHD信号を出力端子に出力することに代えて、又はこれと並行してディスプレイに供給して画像表示させたり、さらにはハードディスク85に格納させたり、通信部89を介してインターネットなどの通信網89に送出させるようにしても良い。
かかる図27に示す構成の画像信号処理部80において、CPU81は、図28に示すアップコンバート処理手順RT3を実行するようにして、SD信号(525i)をHD信号(525p又は1050i)にアップコンバートすることができる。
まずCPU81は、このアップコンバート処理手順RT3をステップSP20から開始し、続くステップSP21において、SD画素データをフレーム単位又はフィールド単位で入力する。このSD画素データが入力端子95を介して外部入力される場合には、一時的にRAM83に格納する。またこのSD画素データがハードディスク85から読み出された場合にも一時的にRAM83に格納する。
続いてCPU81は、ステップSP22に進んで、入力されたSD画素データの全フレーム又は全フィールドについての処理が既に終了しているか否かを判断する。このステップSP22において肯定結果が得られた場合には、CPU81は、処理が終了していると判断して、ステップSP23に進んで、アップコンバート処理手順RT3を終了する。
これに対してステップSP22において否定結果が得られた場合には、CPU81は、ステップSP24に進んで、ユーザがリモコン送信機4を用いて入力した画質指定値(例えばパラメータh、vの値など)をRAM83から読み込ん後、ステップSP25に進む。
このステップSP25において、CPU81は、RAM83から読み込んだ画質指定値及び各クラスの係数種データを用いて、上述した生成式(例えば(5)式)により各クラスの推定式((4)式参照)の係数データWiを生成する。
続いてCPU81は、ステップSP26に進んで、入力されたSD画素データから、変換後の各HD画素データに対応してクラスタップ及び予測タップの画素データを取得した後、ステップSP27に進む。
このステップSP27において、CPU81は、入力されたSD画素データの全領域においてHD画素データを得る処理が終了したか否かを判断し、肯定結果が得られた場合には、再度ステップSP21に戻って、次のフレーム又はフィールドのSD画素データの入力処理に移行する。
これに対してステップSP27において否定結果が得られた場合には、CPU81は、処理が終了していないと判断して、ステップSP28に進む。このステップSP28において、CPU81は、取得したクラスタップのSD画素データからクラスコードCLを生成する。
続いてCPU81は、ステップSP29に進んで、生成したクラスコードCLに対応した係数データと予測タップのSD画素データとを用いて、上述の推定式によりHD画素データを生成した後、再度ステップSP26に戻って上述と同様の処理を繰り返す。
このように図28に示すアップコンバート処理手順RT3を実行することにより、入力されたSD信号を構成するSD画素データから、HD信号を構成するHD画素データを得ることができる。
上述したように画像信号処理部80では、かかる処理により得られたHD信号を出力端子を介して出力したり、ディスプレイ92の表示画面に画像表示させたり、さらにはハードディスクドライブ85に供給してハードディスクに記録させたりする。
また上述した図13に示す係数種データ生成装置50における処理を、ソフトウェア処理を実行するようにしても実現することができる。ここでは処理装置の構成を省略するが、上述と同様に、当該処理装置内のCPU81が、図24に示す係数種データ生成処理手順RT4を実行するようにして、係数種データを生成することができる。
まずCPU81は、この係数種データ生成処理手順RT42をステップSP30から開始し、続くステップSP31において、学習に使用される画質パターン(例えば、パラメータh、vで特定される)を選択した後、ステップSP32に進んで、全ての画質パターンに対して既に学習処理が終了したか否かを判断する。
このステップSP32において否定結果が得られた場合には、このことは全ての画質パターンに対して学習処理が終了していないと意味し、CPU81は、ステップSP33に進んで、既知のHD画素データをフレーム単位又はフィールド単位で入力する。
続いてCPU81は、このステップSP34に進んで、HD画素データの全フレーム又は全フィールドについての処理が既に終了しているか否かを判断する。このステップSP34において肯定結果が得られた場合には、CPU81は、再度ステップSP31に戻って上述と同様の処理を繰り返す。
これに対してステップSP34において否定結果が得られた場合には、CPU81は、ステップSP35に進んで、上述のステップSP33において入力されたHD画素データから上述のステップSP31において選択された画質パターンに基づいて、SD画素データを生成する。
続いてCPU81は、ステップSP36に進んで、当該SD画素データに基づいて、上述のステップSP35において入力された各HD画素データに対応して、クラスタップ及び予測タップの画素データを取得する。
この後CPU81は、ステップSP37に進んで、生成されたSD画素データの全領域において学習処理を終了しているか否かを判断し、肯定結果が得られた場合には、再度ステップSP33に戻って、次のフレーム又はフィールドのHD画素データの入力処理に移行した後、上述と同様の処理を繰り返す。
これに対してステップSP37において否定結果が得られた場合には、CPU81は、ステップSP38に進んで、取得したクラスタップのSD画素データからクラスコードCLを生成した後、ステップSP39に進んで、正規方程式((13)式参照)を生成し、その後再度ステップSP36に戻って上述と同様の処理を繰り返す。
一方、上述したステップSP32において肯定結果が得られた場合には、CPU81は、全ての画質パターンに対して学習処理が終了していると判断して、ステップSP40に進んで、かかる正規方程式を掃き出し法等を用いて解法することにより各クラスの係数種データを算出した後、ステップSP41においてその係数種データをメモリに保存し、その後ステップSP42に進んで係数種データ生成処理手順RT4を終了する。
このように図29に示す係数種データ生成処理手順RT4を実行することにより、図13に示す係数種データ生成装置50と同様の手法によって、各クラスの係数種データを得ることができる。
また、処理装置の構成を省略して図示しないが、図21の係数種データ生成装置70における処理も、同様にソフトウェアで実現することができる。すなわち図示しないCPUが、図30に示す係数種データ生成処理手順RT5を実行するようにして、係数種データを生成することができる。
まずCPUは、この係数種データ生成処理手順RT5をステップSP50から開始し、続くステップSP51において、学習に使用される画質パターン(例えば、パラメータh、vで特定される)を選択した後、ステップSP52に進んで、全ての画質パターンに対する係数データの算出処理が既に終了したか否かを判断する。
このステップSP52において否定結果が得られた場合には、このことは全ての画質パターンに対して算出処理が終了していないと意味し、CPUは、ステップSP53に進んで、既知のHD画素データをフレーム単位又はフィールド単位で入力する。
続いてCPUは、このステップSP54に進んで、HD画素データの全フレーム又は全フィールドについての処理が既に終了しているか否かを判断する。このステップSP54において否定結果が得られた場合には、CPUは、ステップSP55に進んで、上述のステップSP53において入力されたHD画素データから上述のステップSP51において選択された画質パターンに基づいて、SD画素データを生成する。
続いてCPUは、ステップSP56に進んで、当該SD画素データに基づいて、上述のステップSP53において入力された各HD画素データに対応して、クラスタップ及び予測タップの画素データを取得する。
この後CPUは、ステップSP57に進んで、生成されたSD画素データの全領域において学習処理を終了しているか否かを判断し、肯定結果が得られた場合には、再度ステップSP53に戻って、次のフレーム又はフィールドのHD画素データの入力処理に移行した後、上述と同様の処理を繰り返す。
これに対してステップSP57において否定結果が得られた場合には、CPUは、ステップSP58に進んで、取得したクラスタップのSD画素データからクラスコードCLを生成した後、ステップSP59に進んで、係数データを得るための正規方程式((21)式参照)を生成し、その後再度ステップSP56に戻って上述と同様の処理を繰り返す。
これに対して上述したステップSP54において肯定結果が得られた場合には、CPUは、ステップSP60に進んで、上述のステップSP59において生成された正規方程式を掃き出し法等を用いて解法し、各クラスの係数データを算出した後、再度ステップSP51に戻って上述と同様の処理を繰り返す。
一方、上述したステップSP52において肯定結果が得られた場合には、CPUは、全ての画質パターンに対して学習処理が終了していると判断して、ステップSP61に進んで、全ての画質パターンに対する係数データから、係数種データを求めるための正規方程式((26)式参照)を生成する。
続いてCPUは、ステップSP62に進んで、かかる正規方程式を掃き出し法等を用いて解法することにより各クラスの係数種データを算出した後、ステップSP63においてその係数種データをメモリに保存し、その後ステップSP64に進んで係数種データ生成処理手順RT5を終了する。
このように図30に示す係数種データ生成処理手順RT5を実行することにより、図21に示す係数種データ生成装置70と同様の手法によって、各クラスの係数種データを得ることができる。
(2−3)他の実施の形態によるテレビ受信機の構成
図1との対応部分に同一符号を付した図31において、他の実施の形態によるテレビ受信機100の構成を示す。このテレビ受信機100では、放送信号からSD信号(525i信号)を取得した後、当該SD信号をHD信号(525p又は1050i信号)にアップコンバートするようになされている。
この図31に示すテレビ受信機100は、上述の図1に示すテレビ受信機1の画像信号処理部10から正規化演算回路27、正規化係数メモリ38、正規化係数生成回路37及び係数生成回路36が取り除かれていることと、当該画像信号処理部10内の情報メモリバンク35に格納されている情報が異なることを除いて、当該テレビ受信機1と同様に画像信号処理部101が構成されている。
すなわち情報メモリバンク35には、図1に示す画像信号処理部10における情報メモリバンク35と同様に、レジスタ30に格納するための動作指定情報と、レジスタ31〜33に格納するためのタップ位置情報が予め蓄えられている。これに加えて情報メモリバンク35には、第1の変換方法(525p信号へのアップコンバート)及び第2の変換方法(1050i信号へのアップコンバート)のそれぞれに対応した、クラス及びパラメータh、vの値の組み合わせ毎の係数データが予め蓄えられている。
また情報メモリバンク35には、第1及び第2の変換方法のそれぞれに対応した各クラスの係数種データが予め蓄えられている。この係数種データは、上述した係数メモリ34に格納するための係数データを生成するための生成式の係数データである。
かかるテレビ受信機100における画像信号処理部101では、係数メモリ34には、例えば垂直ブランキング期間に、ユーザによって調整されたパラメータh、vの値及び変換方法に対応した各クラスの係数データが、システムコントローラ2の制御のもとで情報メモリバンク35から読み出されて格納される。この係数データは、SD信号(525i信号)をHD信号(525p信号又は1050i信号)にアップコンバートするための情報である。
なお、情報メモリバンク35に、調整されたパラメータh、vの値に対応した係数データが予め蓄えられていない場合には、システムコントローラ2は、その調整されたパラメータh、vの値の前後の値に対応した係数データを情報メモリバンク35から読み出した後、それらを用いた補間演算処理を行うことにより、調整されたパラメータh、vの値に対応した係数データを得るようにしても良い。
そして係数メモリ34は、上述したクラス合成回路25から送出されるクラスコードCLが読み出しアドレス情報として供給されると、システムコントローラ2の制御の下で、当該係数メモリ34からクラスコードCLに対応する係数データを読み出して、推定予測演算回路26に送出する。
推定予測演算回路26は、第1のタップ選択回路20で選択的に取り出される予測タップのデータ(SD画素データ)xiと、係数メモリ34より読み出される係数データWiとから、作成すべきHD信号の画素(注目画素)のデータを演算する((4)式参照)。
この推定予測演算回路26では、HD信号(525p信号)にアップコンバートする場合には、上述した図4に示すように、奇数フィールド(o)及び偶数フィールド(e)において、SD信号(525i信号)のラインと同ライン上に位置する画素群からなるラインデータL1と、SD信号(525i信号)の上下間のライン上に位置する画素群からなるラインデータL2とを生成すると共に、各ラインL1、L2上の画素数を2倍に変換する必要がある。
また推定予測演算回路26では、HD信号(1050i信号)にアップコンバートする場合には、上述した図5に示すように、奇数フィールド(o)及び偶数フィールド(e)において、SD信号(525i信号)のライン近傍のライン上に位置する画素群からなるラインデータL1、L1′と、SD信号(525i信号)のライン遠隔のライン上に位置する画素群からなるラインデータL2、L2′とを生成すると共に、各ラインL1、L1´、L2、L2´上の画素数を2倍に変換する必要がある。
従って推定予測演算回路26では、HD信号(525p信号又は1050i信号)を構成する4画素のデータを同時に生成する。その際、推定予測演算回路26は、係数メモリ34から読み出されたそれぞれ値が異なる係数データWiと、予測タップのデータ(SD画素データ)xiとに基づいて、上述の(4)式の推定式を用いてHD画素データyを演算する。
これにより、525p信号を出力する第1の変換方法が選択されているときは、奇数(o)フィールド及び偶数(e)フィールドで、525i信号のラインと同一位置のラインデータL1と、525i信号の上下のラインの中間位置のラインデータL2とが生成される(図4参照)。また、1050i信号を出力する第2の変換方法が選択されているときは、奇数(o)フィールド及び偶数(e)フィールドで、525i信号のラインに近い位置のラインデータL1、L1′と、525i信号のラインから遠い位置のラインデータL2、L2′とが生成される(図5参照)。
このように推定予測演算回路26で生成されたラインデータL1、L2(L1′、L2′)は線順次変換回路28に供給される。この線順次変換回路28は、供給されるラインデータL1、L2(L1´、L2´)に対して水平周期を1/2倍とするライン倍速処理を行うようにして線順次化する。
かかる線順次変換回路28は、変換後のHD信号のうち525p信号を出力する場合と1050i信号を出力する場合とで、その動作を切り換える必要があることから、レジスタ30から供給される動作指定情報に応じた動作を行うようになされている。
このように画像信号処理部では、調整された複数種類のパラメータh、vの値に対応した推定式の係数データWi(i=1〜n)を用いてHD画素データyを演算により求めることができる。従ってユーザはパラメータh、vの値を調整するようにして、HD信号による画像の画質を水平解像度及び垂直解像度の各軸で自由にかつ滑らかに調整することができる。
このように画像信号処理部101における情報メモリバンク35には、第1及び第2の変換方法にそれぞれ対応したクラス及びパラメータh、vの値の組み合わせ毎の係数データが予め学習によって生成されて蓄えられている。
上述のように図1に示す画像信号処理部101では、係数種データを生成する手法として、まずパラメータh、vの値を段階的に可変して得られるSD信号毎に、それを用いた学習によって各クラスの係数データを生成した後、当該SD信号毎の各クラスの係数データを用いて各クラスの係数種データを求めるようにした場合について述べたが、かかる図31に示す画像信号処理部101においては、情報メモリバンク35に予め蓄えておくクラス及びパラメータh、vの値の組み合わせ毎の係数データを、かかる手法を用いて生成したものを用いるようにしても良い。
(2−4)他の実施の形態による係数データ生成装置の構成
図13との対応部分に同一符号を付した図32において、他の実施の形態による係数データ生成装置110の構成を示す。この図32に示す係数データ生成装置110は、上述の図13に示す係数種データ生成装置50とは、係数種データ決定部61及び係数種メモリ62に代えて、ぞれぞれ係数データ決定部111及び係数メモリ112が設けられることと、正規方程式生成部113の構成が異なることを除いて、当該係数種データ生成装置50と同様に構成されている。
この係数データ生成装置110は、教師信号としてのHD信号(525p信号又は1050i信号)が入力端子51を介して入力されると、SD信号生成回路52は、当該HD信号に対して水平方向及び垂直方向の間引き処理を行って入力信号としてのSD信号を生成する。
ここで正規方程式生成部113は、入力端子51を介して供給されるHD信号から得られる注目画素データとしての各HD画素データyと、この各HD画素データyにそれぞれ対応して第1のタップ選択回路53において選択的に抽出される予測タップのデータ(SD画素データ)xiと、各HD画素データyにそれぞれ対応してクラス合成回路59から供給されるクラスコードCLとに基づいて、各クラス毎に係数データWi(i=1〜n)を得るための正規方程式((21)式参照)を生成する。
そして係数データ決定部111は、正規方程式生成部113からクラス毎に供給される正規方程式のデータを受け取ると、当該正規方程式をクラス毎に例えば掃き出し法等の解法を用いて解くようにして、各SD信号にそれぞれ対応した各クラスの係数データWiを求めた後、当該係数データWiをクラス及びパラメータh、vの値の組み合わせ別にアドレス分割された係数メモリ112に記憶させる。
このように係数データ生成装置110では、供給されるHD信号に基づき複数のSD信号を順次生成し、当該各SD信号に応した第1又は第2の変換方法に対応させて、上述した図31の画像信号処理部101の情報メモリバンク35に記憶される各クラスの係数データWiを生成することができる。
なお図31の画像信号処理部101においては、水平解像度を指定するパラメータhと垂直解像度を指定するパラメータvとを設定しておき、これら複数種類のパラメータh、vの値を調整することによって、画像の水平解像度及び垂直解像度をそれぞれ調整するようにした場合について述べたが、上述した水平解像度及び垂直解像度を指定するパラメータrと、ノイズ除去度(ノイズ低減度)を指定するパラメータzとを設定し、これら複数種類のパラメータr、zの値を調整することにより、画像の水平解像度及び垂直解像度とノイズ除去度とを調整するようにしても良い。この場合、画像信号処理部内の情報メモリバンクには、第1及び第2の変換方法にそれぞれ対応したクラス及びパラメータr、zの値の組み合わせ毎の係数データを予め蓄えておくようにすれば良い。
かかる係数データは、上述した図13に示す係数種データ生成装置50においてパラメータh、vの値に対応した係数データを生成する場合と同様に、図32に示す係数データ生成装置110により生成できる。この場合、係数データ生成装置110では、SD信号生成回路52に外部から制御信号としてパラメータzが供給され、このパラメータzの値に対応して、HD信号からSD信号を生成する際に、SD信号に対するノイズ付加状態が段階的に可変される。このようにSD信号に対するノイズ付加状態を段階的に可変させて学習データを登録するようにして、連続したノイズ除去度を得るための係数データを生成することができる。
また図31の画像信号処理部101においては、水平解像度を指定するパラメータhと垂直解像度を指定するパラメータvとを設定しておき、これら複数種類のパラメータh、vの値を調整することによって、画像の水平解像度及び垂直解像度をそれぞれ調整するようにした場合について述べたが、これらパラメータh、vの他に、さらに上述したノイズ除去度(ノイズ低減度)を指定するパラメータzを設定し、これら複数種類のパラメータh、v、zの値を調整することにより、画像の水平解像度及び垂直解像度とノイズ除去度とを調整するようにしても良い。
この場合、画像信号処理部101の情報メモリバンク35には、各変換方法にそれぞれ対応した、クラス及びパラメータh、v、zの値の組み合わせ毎の係数データが予め蓄えられることとなる。
この係数データも、上述した図13に示す係数種データ生成装置50においてパラメータh、vの値に対応した係数データを生成する場合と同様に、図32に示す係数データ生成装置110により生成できる。この場合、係数データ生成装置110では、SD信号生成回路52に外部から制御信号としてパラメータh、v、zが供給され、これらのパラメータh、v、zの値に対応して、HD信号からSD信号を生成する際に、SD信号に対するノイズ付加状態が段階的に可変される。このようにSD信号に対するノイズ付加状態を段階的に可変させて学習データを登録するようにして、連続したノイズ除去度を得るための係数データを生成することができる。
(2−5)他の実施の形態による画像信号処理部のソフトウェア処理
かかる図31に示す画像信号処理部101における処理を、本実施の形態における図1に示す画像信号処理部10の処理と同様に、上述した図27に示すような画像信号処理部80を用いてソフトウェア処理を実行するようにしても実現することができる。この場合、ROM82等に予め係数データを格納しておけば良い。
かかる図27に示す構成の画像信号処理部80において、CPU81は、図33に示すアップコンバート処理手順RT6を実行するようにして、SD信号(525i)をHD信号(525p又は1050i)にアップコンバートすることができる。
まずCPU81は、このアップコンバート処理手順RT6をステップSP70から開始し、続くステップSP71において、SD画素データをフレーム単位又はフィールド単位で入力する。このSD画素データが入力端子95を介して外部入力される場合には、一時的にRAM83に格納する。またこのSD画素データがハードディスク85から読み出された場合にも一時的にRAM83に格納する。
続いてCPU81は、ステップSP72に進んで、入力されたSD画素データの全フレーム又は全フィールドについての処理が既に終了しているか否かを判断する。このステップSP72において肯定結果が得られた場合には、CPU81は、処理が終了していると判断して、ステップSP73に進んで、アップコンバート処理手順RT6を終了する。
これに対してステップSP72において否定結果が得られた場合には、CPU81は、ステップSP74に進んで、ユーザがリモコン送信機4を用いて入力した画質指定値(例えばパラメータh、vの値など)をRAM83から読み込ん後、ステップSP75に進む。
このステップSP75において、CPU81は、RAM83から読み込んだ画質指定値に基づいて、ROM82等からその画質指定値に対応した各クラスの係数データWiを読み出して当該RAM83に一時的に格納する。
続いてCPU81は、ステップSP76に進んで、入力されたSD画素データから、変換後の各HD画素データに対応してクラスタップ及び予測タップの画素データを取得した後、ステップSP77に進む。
このステップSP77において、CPU81は、入力されたSD画素データの全領域においてHD画素データを得る処理が終了したか否かを判断し、肯定結果が得られた場合には、再度ステップSP71に戻って、次のフレーム又はフィールドのSD画素データの入力処理に移行する。
これに対してステップSP77において否定結果が得られた場合には、CPU81は、処理が終了していないと判断して、ステップSP78に進む。このステップSP78において、CPU81は、取得したクラスタップのSD画素データからクラスコードCLを生成する。
続いてCPU81は、ステップSP79において、生成したクラスコードCLに対応した係数データと予測タップのSD画素データとを用いて、上述の推定式によりHD画素データを生成した後、再度ステップSP76に戻って上述と同様の処理を繰り返す。
このように図33に示すアップコンバート処理手順RT6を実行することにより、入力されたSD信号を構成するSD画素データから、HD信号を構成するHD画素データを得ることができる。
上述したように画像信号処理部80では、かかる処理により得られたHD信号を出力端子を介して出力したり、ディスプレイ92の表示画面に画像表示させたり、さらにはハードディスクドライブ85に供給してハードディスクに記録させたりする。
(2−6)他の実施の形態による係数データ生成装置における処理
かかる図32に示す係数データ生成装置110における処理を、本実施の形態における図13に示す係数種データ生成装置50の処理と同様にソフトウェア処理を実行するようにしても実現することができる。
ここでは処理装置の構成を省略するが、上述と同様に、当該処理装置内のCPUが、図34に示す係数データ生成処理手順RT7を実行するようにして、係数データを生成することができる。
まずCPUは、この係数データ生成処理手順RT7をステップSP80から開始し、続くステップSP81において、学習に使用される画質パターン(例えば、パラメータh、vで特定される)を選択した後、ステップSP82に進んで、全ての画質パターンに対して既に係数データの算出処理が終了したか否かを判断する。
このステップSP82において否定結果が得られた場合には、このことは全ての画質パターンに対して算出処理が終了していないと意味し、CPUは、ステップSP83に進んで、既知のHD画素データをフレーム単位又はフィールド単位で入力する。
続いてCPUは、ステップSP84に進んで、HD画素データの全フレーム又は全フィールドについての処理が既に終了しているか否かを判断し、否定結果が得られた場合には、ステップSP85に進んで、上述のステップSP83において入力されたHD画素データから上述のステップSP81において選択された画質パターンに基づいて、SD画素データを生成する。
続いてCPUは、ステップSP86に進んで、当該SD画素データに基づいて、上述のステップSP83において入力された各HD画素データに対応して、クラスタップ及び予測タップの画素データを取得する。
この後CPUは、ステップSP87に進んで、生成されたSD画素データの全領域において学習処理を終了しているか否かを判断し、肯定結果が得られた場合には、再度ステップSP83に戻って、次のフレーム又はフィールドのHD画素データの入力処理に移行した後、上述と同様の処理を繰り返す。
これに対してステップSP87において否定結果が得られた場合には、CPUは、ステップSP88に進んで、取得したクラスタップのSD画素データからクラスコードCLを生成した後、ステップSP89に進んで、正規方程式((21)式参照)を生成し、その後再度ステップSP86に戻って上述と同様の処理を繰り返す。
一方、上述したステップSP84において肯定結果が得られた場合には、CPUは、HD画素データの全フレーム又は全フィールドについての処理が既に終了していると判断して、ステップSP90に進んで、上述したステップSP89において生成された正規方程式を掃き出し法等を用いて解法することにより各クラスの係数データを算出した後、再度ステップSP81に戻って上述と同様の処理を繰り返す。
また上述したステップSP82において肯定結果が得られた場合には、CPUは、全ての画質パターンに対して係数データの算出処理が終了していると判断して、ステップSP91に進んで、全ての画質パターンに対する各クラスの係数データをメモリに保存し、その後にステップSP92に進んで、係数データ生成処理手順RT7を終了する。
このように図34に示す係数データ生成処理手順RT7を実行することにより、図32に示す係数データ生成装置110と同様の手法によって、全ての画質パターンに対する各クラスの係数データを得ることができる。
なお上述のように本実施の形態においては、HD信号を生成する際に用いる推定式として線形一次方程式を適用する場合について述べたが、本発明はこれに限らず、例えば高次方程式を推定式として適用するようにしても良い。
また上述のように本実施の形態においては、SD信号(525i信号)をHD信号(525p信号又は1050i信号)にアップコンバートする場合について述べたが、本発明はこれに限らず、推定式を用いて種々の画像変換処理を行うようにしても良い。
さらに上述のように本実施の形態においては、入力されるパラメータの値を変化させることによって解像度アップやノイズ抑圧(ノイズ除去)の機能を連続して切り換えるようにした場合について述べたが、本発明はこれに限らず、これら以外にも、さらに復号化や信号形式の変換などの機能にも切り換えるようにしても良い。
図35に、これら複数機能の切り換えが可能な画像信号処理部120を示す。この画像信号処理部120では、解像度アップ、ノイズ抑圧、MPEG信号のデコード、JPEG(Joint Photographic Experts Group)信号のデコード、コンポジット信号からコンポーネント信号への変換などの各種機能を切り換えることができる。
この画像信号処理部120は、入力端子121を介して供給されるビデオ信号Vinからクラスタップのデータを抽出して当該データからクラスCLを検出するクラス検出部122と、当該検出されたクラスCLと外部入力されるパラメータPとに対応した推定式の係数データWiを発生する係数データ発生部123と、当該発生された係数データWiとビデオ信号Vinから抽出した予測タップのデータとに基づいてビデオ信号Voutを生成して出力端子125を介して出力するデータ生成部124とから構成されている。
このうち係数データ発生部123に供給されるパラメータPは、上述した複数機能を選択するためのパラメータである。例えば図36に示すように、パラメータPの値が、Pであるときは解像度アップの機能が選択され、Pであるときはノイズ抑圧の機能が選択され、PであるときはMPEG信号(レートa)のデコードの機能が選択され、PであるときはMPEG信号(レートb)のデコードの機能が選択され、Pであるときはコンポジット信号からコンポーネント信号への変換の機能が選択され、PであるときはJPEG信号のデコードの機能が選択される。
この係数データ発生部123は、例えばパラメータPの値(P〜P)にそれぞれ対応して、各クラスの係数データWiが格納されたメモリ(図示せず)を有しており、このメモリからクラス検出部122において検出されたクラスCL及び入力されたパラメータPの値に対応した係数データWiを読み出して出力する。
なお係数データ発生部123は、パラメータPの値に対応した推定式の係数データWiを発生するにあたって、次式
Figure 2005326690
に表すような生成式を設定し、この(43)式から得られる係数データである係数種データw〜wをクラス毎にメモリに格納しておくようにして、クラス検出部122において検出されたクラスCL及び供給されたパラメータPの値に対応した係数データWiを演算するようにしても良い。
このように画像信号処理部120では、外部供給されるパラメータPの値に対応する機能について選択的に処理を実行することができ、かかるパラメータPの値をユーザの操作に応じて変更することにより、当該操作に応じた機能を実行することができる。この結果、単一構成からなる画像信号処理部120が解像度アップ、ノイズ抑圧、MPEG信号のデコード、JPEG信号のデコード、コンポジット信号からコンポーネント信号への変換などの各種機能を実現することができる。
かかる解像度アップとして、この実施の形態では空間方向の解像度をアップする場合について述べたが、これ以外にも時間方向の解像度のアップも適用するようにしても良い。また一次元Y/C分離、二次元Y/C分離及び三次元Y/C分離等の間で機能の切り換えをするようにしても良い。
またかかる画像信号処理部120においては、パラメータPの値をユーザの設定入力により変更するようにしても良く、さらにはビデオ信号Vinの特徴に応じたパラメータPの値を自動的に設定するようにしても良い。またクラス検出部122内に設けられたクラスタップ選択回路やデータ生成部124内に設けられた予測タップ選択回路において、供給されるパラメータPの値に応じて各タップを選択するようにしても良い。
さらにかかる構成の画像信号処理部120では、パラメータPが離散的な値をとるようにした場合について述べたが、パラメータPが連続的な値をとるようにしても良い。この場合、パラメータPに対応した係数データWiは、離散的な係数データを用いた線形補間により、又は係数種データを用いる場合にはそのパラメータPの値の代入により得ることができる。このようにパラメータPが連続的な値をとるようにすれば、上述の図36に示すようにレートa、bのMPEG信号の復号をするものであっても、当該レートa、bの間の任意のレートでMPEG信号の復号を実行することができる。
(2−7)他の実施の形態による解像度調整処理
なお上述のように本実施の形態においては、本発明による画像処理装置として図1に示すようなテレビ受信機1を適用するようにした場合について述べたが、本発明はこれに限らず、供給される画像信号に基づく原画像に所定の画像処理を施すようになされたこの他種々の構成からなる画像処理装置に広く適用することができる。
この場合、画像処理として解像度調整を行うようにしたが、これ以外にもノイズ除去等のような複数のパラメータを相関性を保ちながら互いに独立して調整する処理であれば、種々の画像処理に対して広く適用することができる。
また上述のように本実施の形態においては、各調整用画像の画像処理の度合いを決定する複数のパラメータの値を、当該各調整用画像ごとにそれぞれ異なるように設定する設定手段として、画像信号処理部10(主としてシステムコントローラ2)を適用するようにした場合について述べたが、本発明はこれに限らず、外部操作に応じていずれかの調整用画像が指定されたとき、当該指定された調整用画像の画像処理の度合いを基準として、他の各調整用画像の画像処理の度合いを決定する複数のパラメータの値を、当該指定された調整用画像に近似する値にそれぞれ再設定することができれば、この他種々の構成からなる設定手段に広く適用するようにしても良い。
この画像信号処理部(設定手段)10は、リモコン送信機(操作手段)4を介していずれかの調整用画像が指定されるごとに、当該指定された調整用画像PX、PY又はPZ以外の他の各調整用画像の画像処理の度合いを決定する複数のパラメータPx、Py又はPzの値(初期値:k=0のときPx=N、Py=N/2+1、Pz=0)を選択回数(k、すなわち指定回数)ごとに±N/2(kは選択回数)を加算するようにして収束させるようにした場合(図18)について述べたが、本発明はこれに限らず、各調整用画像の選択回数に比例して解像度が収束すれば、収束の度合い等については自由に設定するようにしても良い。
さらに上述のように本実施の形態においては、原画像と全部又は一部が同一の調整用画像を表示する表示手段として、図1に示すテレビ受信機1内のディスプレイ部12を適用するようにした場合について述べたが、本発明はこれに限らず、各調整用画像を設定手段により再設定された画像処理の度合いでそれぞれ表示することができれば、この他種々の構成からなる表示手段に広く適用するようにしても良い。
また本実施の形態の場合、原画像の一部と同一画像でなる基準原画像PS及び複数の調整用画像PX〜PZを単一のディスプレイ部12の表示画面に1フレームとして分割表示するようにしたが、本発明はこれ以外にも、図37に示すように、表示手段として上述したディスプレイ部12と同一構成でなる複数のディスプレイ部130A〜130Dを積層及び隣接させるように配置しておき、当該各ディスプレイ部130A〜130Dごとに原画像の全部と同一画像でなる基準原画像PS´及び複数の調整用画像PX´〜PZ´をそれぞれ割り当てるようにして一覧表示させるようにしても良い。
さらに上述のように本実施の形態においては、外部操作により複数の調整用画像の中からいずれかの調整用画像を指定するための操作手段として、テレビ受信機1とワイヤレス接続されたリモート送信機4を適用するようにした場合について述べたが、本発明はこれに限らず、当該リモコン送信機4に設けられた操作パネル等をテレビ受信機1に直接搭載するようにしても良い。
さらに上述のように本実施の形態においては、表示手段としてのディスプレイ部12は、画像信号処理部(設定手段)10により設定された各調整用画像の画像処理の度合いを決定する複数のパラメータの値を表すアイコンMS、MX〜MZを2次元座標系CDT上に一覧表示しておき(図17(A))、リモコン送信機(操作手段)4を介していずれかの調整用画像が指定されると、当該指定された調整用画像以外の他の各調整用画像に対応するアイコンMS、MX〜MZをそれぞれ画像処理の度合いに応じて移動表示させるようにした場合について述べたが、本発明はこれに限らず、要は、各調整用画像ごとに画像処理の度合いをマークとして一覧表示することができれば、2次元座標系以外にも各種グラフや数値表示等の種々の表示形態を適用するようにしても良い。
また図38に示すように、操作手段としてのリモコン送信機140において、表示部140Pを設け、当該表示部140Pに画像信号処理部(設定手段)10により設定された各調整用画像の画像処理の度合いを決定する複数のパラメータの値を表すアイコンを一覧表示しておき、ジョイスティック140aの操作に応じて、いずれかの調整用画像が指定されると、当該指定された調整用画像以外の他の各調整用画像に対応するアイコンをそれぞれ画像処理の度合いに応じて移動表示させるようにしても良い。
このようにリモコン送信機4に表示部140Pを搭載すれば、本実施の形態のように基準原画像PSに重畳して2次元座標系CDT及び各アイコンMS、MX〜MZが表示されることがないため、ユーザが基準原画像PSと他の各調整用画像PX〜PZとを直接対比する際に何ら画質の面で支障がなくて済むというメリットがある。
本発明は、画像処理装置及び画像処理方法において、テレビ受信機の他、画像表示が可能な表示画面を有する他の表示装置等の映像機器に広く適用することができる。
本実施の形態によるテレビ受信機の構成を示すブロック図である。 パラメータ調整用のユーザインターフェースの説明に供する略線図である。 図2に示す調整画面の表示状態を示す略線的な平面図である。 SD信号(525i信号)とHD信号(525p信号)の画素位置関係の説明に供する略線図である。 SD信号(525i信号)とHD信号(1050i信号)の画素位置関係の説明に供する略線図である。 SD信号(525i信号)とHD信号(525p信号)の画素位置関係と、予測タップの例の説明に供する略線図である。 SD信号(525i信号)とHD信号(1050i信号)の画素位置関係と、予測タップの例の説明に供する略線図である。 SD信号(525i信号)とHD信号(525p信号)の画素位置関係と、空間クラスタップの例の説明に供する略線図である。 SD信号(525i信号)とHD信号(1050i信号)の画素位置関係と、空間クラスタップの例の説明に供する略線図である。 SD信号(525i信号)とHD信号(525p信号及び1050i信号)の画素位置関係と、動きクラスタップの例の説明に供する略線図である。 HD信号(525p信号)出力する場合のライン倍速処理の説明に供するグラフである。 係数種データの生成方法の説明に供する概念図である。 本実施の形態による係数種データ生成装置を示すブロック図である。 帯域フィルタの周波数特性の説明に供するグラフである。 本実施の形態による解像度調整処理手順の説明に供するフローチャートである。 本実施の形態によるユーザインターフェースの説明に供する略線図である。 図16に示す基準原画像及び複数の調整用画像の表示状態の説明に供する略線的な平面図である。 本実施の形態によるパラメータ決定処理手順の説明に供するフローチャートである。 図18におけるパラメータの値の収束状態の説明に供する略線図である。 係数種データの生成方法の説明に供する概念図である。 他の実施の形態による係数種データ生成装置の構成を示すブロック図である。 ノイズ付加方法の説明に供する略線的な平面図である。 パラメータr、Zの調整画面の表示状態の説明に供する略線図である。 SD信号(パラメータr、z)の生成例の説明に供する概念図である。 パラメータh、v、zの調整画面の表示状態の説明に供する略線図である。 SD信号(パラメータh、v、z)の生成例の説明に供する概念図である。 他の実施の形態による画像信号処理部の構成を示すブロック図である。 アップコンバート処理手順の説明に供するフローチャートである。 係数種データ生成処理手順の説明に供するフローチャートである。 係数種データ生成処理手順の説明に供するフローチャートである。 他の実施の形態によるテレビ受信機の構成を示すブロック図である。 他の実施の形態による係数データ生成装置の構成を示すブロック図である。 アップコンバート処理手順の説明に供するフローチャートである。 係数データ生成処理手順の説明に供するフローチャートである。 他の実施の形態による画像信号処理部の構成を示すブロック図である。 パラメータPの値と機能との対応関係の説明に供する図表である。 他の実施の形態によるディスプレイ毎の異なるパラメータの処理結果の表示状態の説明に供する略線図である。 他の実施の形態によるパラメータ位置の表示部を備えたリモコン送信機の説明に供する略線図である。
符号の説明
1……テレビ受信機、2……システムコントローラ、3、91……リモコン信号受信回路、4……リモコン送信機、4a……ジョイスティック、9……第1のフレームメモリ、10、80、101、120……画像信号処理部、11……第2のフレームメモリ、12、130A〜130D……ディスプレイ部、13……OSD回路、50、70……係数種データ生成装置、81……CPU、110……係数データ生成装置、140P……表示部、RT1……解像度調整処理手順、RT2……パラメータ決定処理手順、RT3、RT6……アップコンバート処理手順、RT4、RT5……係数種データ生成処理手順、RT7……係数データ生成処理手順。

Claims (9)

  1. 供給される画像信号に基づく原画像に所定の画像処理を施す画像処理装置において、
    上記原画像と全部又は一部が同一の調整用画像を表示する表示手段と、
    各上記調整用画像の上記画像処理の度合いを決定する複数のパラメータの値を、当該各調整用画像ごとにそれぞれ異なるように設定する設定手段と、
    外部操作により上記複数の調整用画像の中からいずれかの上記調整用画像を指定するための操作手段と
    を具え、
    上記設定手段は、
    上記操作手段を介していずれかの上記調整用画像が指定されたとき、当該指定された上記調整用画像の画像処理の度合いを基準として、他の各上記調整用画像の上記画像処理の度合いを決定する上記複数のパラメータの値を、当該指定された調整用画像に近似する値にそれぞれ再設定し、
    上記表示手段は、
    各上記調整用画像を上記設定手段により再設定された上記画像処理の度合いでそれぞれ表示する
    ことを特徴とする画像処理装置。
  2. 上記設定手段は、
    上記操作手段を介していずれかの上記調整用画像が指定されるごとに、当該指定された調整用画像以外の他の各上記調整用画像の上記画像処理の度合いを決定する上記複数のパラメータの値を上記指定回数に比例して収束させる
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 上記表示手段は、
    上記設定手段により設定された各上記調整用画像の上記画像処理の度合いを決定する上記複数のパラメータの値を表すアイコンを一覧表示しておき、
    上記操作手段を介していずれかの上記調整用画像が指定されると、当該指定された調整用画像以外の他の各上記調整用画像に対応する上記アイコンをそれぞれ上記画像処理の度合いに応じて移動表示させる
    ことを特徴とする請求項1に記載の画像処理装置。
  4. 上記操作手段は、
    上記設定手段により設定された各上記調整用画像の上記画像処理の度合いを決定する上記複数のパラメータの値を表すアイコンを一覧表示する表示部を有し、
    上記表示部は、
    いずれかの上記調整用画像が指定されると、当該指定された調整用画像以外の他の各上記調整用画像に対応する上記アイコンをそれぞれ上記画像処理の度合いに応じて移動表示させる
    ことを特徴とする請求項1に記載の画像処理装置。
  5. 上記原画像及び各上記調整用画像は、静止画像でなる
    ことを特徴とする請求項1に記載の画像処理装置。
  6. 供給される画像信号に基づく原画像に所定の画像処理を施す画像処理方法において、
    上記原画像と全部又は一部が同一の調整用画像を複数表示すると共に、各上記調整用画像の上記画像処理の度合いを決定する複数のパラメータの値を、当該各調整用画像ごとにそれぞれ異なるように設定する第1のステップと、
    外部操作により上記複数の調整用画像の中からいずれかの上記調整用画像が指定されたとき、当該指定された上記調整用画像の画像処理の度合いを基準として、他の各上記調整用画像の上記画像処理の度合いを決定する上記複数のパラメータの値を、当該指定された調整用画像に近似する値にそれぞれ再設定する第2のステップと、
    各上記調整用画像を上記再設定された上記画像処理の度合いでそれぞれ表示する第3のステップと
    を具えることを特徴とする画像処理方法。
  7. 上記第2のステップでは、
    いずれかの上記調整用画像が指定されるごとに、当該指定された調整用画像以外の他の各上記調整用画像の上記画像処理の度合いを決定する上記複数のパラメータの値を上記指定回数に比例して収束させる
    ことを特徴とする請求項6に記載の画像処理方法。
  8. 上記第1のステップでは、
    設定された各上記調整用画像の上記画像処理の度合いを決定する上記複数のパラメータの値を表すアイコンを一覧表示しておき、
    上記第4のステップでは、
    いずれかの上記調整用画像が指定されると、当該指定された調整用画像以外の他の各上記調整用画像に対応する上記アイコンをそれぞれ上記画像処理の度合いに応じて移動表示させる
    ことを特徴とする請求項6に記載の画像処理方法。
  9. 上記原画像及び各上記調整用画像は、静止画像でなる
    ことを特徴とする請求項6に記載の画像処理方法。
JP2004145558A 2004-05-14 2004-05-14 画像処理装置及び画像処理方法 Pending JP2005326690A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004145558A JP2005326690A (ja) 2004-05-14 2004-05-14 画像処理装置及び画像処理方法
US11/116,393 US7460178B2 (en) 2004-05-14 2005-04-28 Image processing apparatus and image processing method
CNB2005100702895A CN100382597C (zh) 2004-05-14 2005-05-13 图像处理设备和图像处理方法
KR1020050040227A KR101110210B1 (ko) 2004-05-14 2005-05-13 화상 처리 장치 및 화상 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004145558A JP2005326690A (ja) 2004-05-14 2004-05-14 画像処理装置及び画像処理方法

Publications (1)

Publication Number Publication Date
JP2005326690A true JP2005326690A (ja) 2005-11-24

Family

ID=35350013

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004145558A Pending JP2005326690A (ja) 2004-05-14 2004-05-14 画像処理装置及び画像処理方法

Country Status (2)

Country Link
JP (1) JP2005326690A (ja)
CN (1) CN100382597C (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007306520A (ja) * 2006-05-15 2007-11-22 Sony Corp 信号変換装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101971210A (zh) * 2008-03-12 2011-02-09 皇家飞利浦电子股份有限公司 实时数字图像处理体系结构
JP2011123587A (ja) * 2009-12-09 2011-06-23 Seiko Epson Corp 画像処理装置、画像表示装置および画像処理方法
WO2012089766A1 (fr) * 2010-12-30 2012-07-05 Thomson Licensing Procede de traitement d'un contenu video permettant l'adaptation a plusieurs types de dispositifs d'affichage
CN103609116A (zh) * 2011-06-17 2014-02-26 松下电器产业株式会社 动态图像编码装置以及动态图像编码方法
EP2814238A1 (en) * 2012-02-09 2014-12-17 Sony Corporation Image processing device and image processing method
JP6438390B2 (ja) * 2013-05-22 2018-12-12 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法およびプログラム
CN104811799B (zh) * 2015-04-29 2018-08-07 北京奇艺世纪科技有限公司 一种视频画质比较方法和装置
CN113254680B (zh) * 2020-02-10 2023-07-25 北京百度网讯科技有限公司 多媒体信息的封面图处理方法、客户端和电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0927916A (ja) * 1995-07-11 1997-01-28 Fuji Xerox Co Ltd 画像処理装置および画像処理方法
JPH10210306A (ja) * 1997-01-20 1998-08-07 Canon Inc 画像処理方法及び装置
JPH1132227A (ja) * 1997-07-14 1999-02-02 Canon Inc 画像処理方法及び装置及び記憶媒体
JPH11136528A (ja) * 1997-08-29 1999-05-21 Canon Inc 情報処理装置および方法およびプログラム記憶媒体
JP2002199353A (ja) * 2000-12-26 2002-07-12 Sony Corp 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、並びに情報提供媒体
JP2002218413A (ja) * 2000-11-15 2002-08-02 Sony Corp 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、係数データ生成装置および生成方法、並びに情報提供媒体
JP2004080549A (ja) * 2002-08-20 2004-03-11 Make Softwear:Kk 画像表示方法、画像表示装置、画像印刷装置、コンピュータプログラム及び記録媒体
JP2004153533A (ja) * 2002-10-30 2004-05-27 Sanyo Electric Co Ltd 画質調整方法および画質調整装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1145334A (ja) * 1997-05-29 1999-02-16 Dainippon Screen Mfg Co Ltd 画像の比較表示方法及び記録媒体
CN1669318A (zh) * 2002-05-20 2005-09-14 索尼株式会社 图像信号处理装置及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0927916A (ja) * 1995-07-11 1997-01-28 Fuji Xerox Co Ltd 画像処理装置および画像処理方法
JPH10210306A (ja) * 1997-01-20 1998-08-07 Canon Inc 画像処理方法及び装置
JPH1132227A (ja) * 1997-07-14 1999-02-02 Canon Inc 画像処理方法及び装置及び記憶媒体
JPH11136528A (ja) * 1997-08-29 1999-05-21 Canon Inc 情報処理装置および方法およびプログラム記憶媒体
JP2002218413A (ja) * 2000-11-15 2002-08-02 Sony Corp 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、係数データ生成装置および生成方法、並びに情報提供媒体
JP2002199353A (ja) * 2000-12-26 2002-07-12 Sony Corp 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、並びに情報提供媒体
JP2004080549A (ja) * 2002-08-20 2004-03-11 Make Softwear:Kk 画像表示方法、画像表示装置、画像印刷装置、コンピュータプログラム及び記録媒体
JP2004153533A (ja) * 2002-10-30 2004-05-27 Sanyo Electric Co Ltd 画質調整方法および画質調整装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007306520A (ja) * 2006-05-15 2007-11-22 Sony Corp 信号変換装置

Also Published As

Publication number Publication date
CN100382597C (zh) 2008-04-16
CN1697513A (zh) 2005-11-16

Similar Documents

Publication Publication Date Title
KR101110210B1 (ko) 화상 처리 장치 및 화상 처리 방법
US7773150B2 (en) Information signal processor, method for processing information signal, image signal processor and image display apparatus using the same, coefficient seed data production device used in the same, method for producing coefficient seed data set, coefficient data production device, method for producing coefficient data set, and information-providing medium
US7852404B2 (en) Information signal processor, method for processing information signal, image signal processor and image display apparatus using the same, coefficient seed data production device used in the same, method for producing coefficient seed data set and information-providing medium
KR100939736B1 (ko) 계수 데이터 생성장치 및 생성방법, 그것을 사용한 정보신호 처리장치 및 처리방법, 그것에 사용하는 종계수 데이터 생성장치 및 생성방법, 및 정보제공매체
JP2005326690A (ja) 画像処理装置及び画像処理方法
WO2002052538A1 (fr) Dispositif de traitement de signaux d'informations, procede de traitement de signaux d'informations, dispositif de traitement de signaux d'images, dispositif d'affichage d'image comprenant ce dernier, et support d'informations
JP2001238185A (ja) 画像信号変換装置、画像信号変換方法、およびそれを使用した画像表示装置、並びにそれに使用される係数データの生成装置および生成方法
JP4662099B2 (ja) 情報信号処理装置およびそれにおける調整パラメータの設定方法
JP4311166B2 (ja) 情報信号の処理装置および処理方法、それに使用される係数種データの生成装置および生成方法、並びに各方法を実行するためのプログラム、そのプログラムを記録した媒体
JP4691814B2 (ja) 情報信号処理装置および情報信号処理方法、並びに記録媒体
JPH08317347A (ja) 画像情報変換装置
JP4692798B2 (ja) 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、並びに記録媒体
JP4062326B2 (ja) 係数生成装置および方法
JP4649786B2 (ja) 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数種データの生成装置および生成方法
JP4649812B2 (ja) 画像信号処理装置、画像信号処理方法およびそれを使用した画像表示装置、並びに各画像信号処理方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体
JP2005142743A (ja) 情報信号の処理装置および処理方法、並びにその処理方法を実行するためのプログラム、そのプログラムを記録した媒体
JP4692800B2 (ja) 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数種データの生成装置および生成方法、並びに記録媒体
JP2005300776A (ja) 情報処理装置及び方法
JPH08307834A (ja) 画像情報変換装置および方法
JP2004140559A (ja) コンテンツ処理装置および方法、記録媒体、並びに、プログラム
JP2002359821A (ja) 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数情報の生成装置および生成方法、並びに情報提供媒体
JP2005151599A (ja) 画像情報処理装置及び画像情報処理方法
JP2007243632A (ja) 信号処理装置および方法、記録媒体、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100318

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100401