以下、図面を参照しながら、この発明の実施の形態について説明する。図1は、実施の形態としての画像表示装置100の構成を示している。画像表示装置100は、マイクロコンピュータを備え、装置全体の動作を制御するための制御部101と、リモートコントロール信号を受信するリモコン信号受信回路102とを有している。リモコン信号受信回路102は、制御部101に接続され、リモコン送信機200よりユーザの操作に応じて出力される例えば赤外線のリモートコントロール信号を受信し、そのリモートコントロール信号に対応する操作信号を制御部101に供給するように構成されている。
また、画像表示装置100は、入力画像信号としての赤、緑、青の色信号Ri,Gi,Biが入力される入力端子103と、これら色信号Ri,Gi,Biを、出力画像信号としての赤、緑、青の色信号Ro,Go,Boに変換して出力する信号処理部104とを有している。
また、画像表示装置100は、ディスプレイ105と、通常モード時に、信号処理部104より出力される色信号Ro,Go,Boによる画像をディスプレイ105に表示させる表示制御部106とを有している。表示制御部106は、測定モード時には、測定用画像をディスプレイ105に表示させる。本実施の形態においては、グレタグ・マクベス・カラー・チェッカー(Gretag Macbeth Color Checker)を構成する24色の単色画像を順次表示させる。この単色画像を表示させるための色信号は、例えば制御部101内のメモリ(図示せず)に予め格納されているデータに基づいて発生する。
本実施の形態においては、上述したように測定モードとしてディスプレイ105に測定用画像を表示している状態で、リモコン送信機200により、測定用画像の画質に対応した特徴量としてのL*a*b*信号が検出される。リモコン送信機200の詳細については後述する。この場合、L*a*b*信号は、24色の単色画像毎に、さらに各単色画像についてディスプレイ105の表示デバイスの各ピクセルに対応して検出される。
リモコン送信機200による上述したL*a*b*信号の検出は、装置の購入直後の時点とその後の所定稼働時間毎の時点とで行われる。この場合、各時点における検出は、周囲の光学的環境を同じくして行う必要がある。例えば、夜間、室内灯を消した状態で行われる。
また、画像表示装置100は、上述したようにリモコン送信機200で検出され、無線送信される各時点のL*a*b*信号を、受信アンテナ107を介して受信する受信部108と、この受信部108で受信される各時点のL*a*b*信号を格納しておくメモリ109と、このメモリ109の書き込み、読み出しの制御を行うW/R制御回路110とを有している。
受信部108で受信された各時点のL*a*b*信号をメモリ109に記憶する際、信号処理部104の後述する劣化情報出力回路154に存在する稼働時間演算部162より出力されるディスプレイ105の稼働累積時間TMのデータを、当該L*a*b*信号と対にして記憶する。これにより、各時点のL*a*b*信号がそれぞれどの稼働累積時間に対応したものかを知ることが可能となる。このようにメモリ109に格納された各時点のL*a*b*信号は、信号処理部104に供給される。信号処理部104では、各時点のL*a*b*信号に基づいて、信号変換処理が行われる。
ここで、リモコン送信機200の詳細を説明する。図2は、リモコン送信機200の構成を示している。このリモコン送信機200は、全体の動作を制御するCPU(central processing unit)201と、このCPU201の動作プログラム等が格納されたROM(read only memory)202と、CPU301の作業領域を構成するRAM(random access memory)203とを有している。これらCPU201、ROM202およびRAM203は、それぞれバス204に接続されている。
また、リモコン送信機200は、ユーザインタフェース部としてのキー操作部205を有している。このキー操作部205はインタフェース206を介してバス204に接続されている。同様に、リモコン送信機200は、ユーザインタフェース部としての表示器207を有している。この表示器207はインタフェース208を介してバス204に接続されている。表示器207は、LCD等からなっている。
また、リモコン送信機200は、例えば赤外線のリモートコントロール信号を送信するリモコン信号送信回路209を有している。この送信回路209は、インタフェース210を介してバス204に接続されている。
また、リモコン送信機200は、ディスプレイ105に表示される測定用画像を撮像する撮像部211と、この撮像部211より出力される、ディスプレイ105の表示デバイスの各ピクセルに対応したXYX座標系の3刺激値XYZを、CIE1967(L*a*b*)空間上のL*a*b*信号に変換する信号処理部212とを有している。
撮像部211は、撮像素子として例えばCCD固体撮像素子が使用されて構成される。なお、撮像部211で得られる撮像信号(赤、緑、青の色信号)は表示器207に供給され、この表示器207に撮像画像が表示される。この表示器207の画面に画枠を設け、この画枠にディスプレイ105に表示される測定用画像が一致するようにして撮像を行うことで、ディスプレイ105の表示デバイスの各ピクセルと撮像素子の各画素とを対応させることができる。これにより、上述したように撮像部211より、ディスプレイ105の表示デバイスの各ピクセルに対応したXYX座標系の3刺激値XYZを得ることが可能となる。
信号処理部212は、インタフェース213を介してバス204に接続される。この信号処理部212で得られる、ディスプレイ105の各ピクセルに対応したL*a*b*信号はインタフェース213を介してRAM203に一時的に格納される。
また、リモコン送信機200は、RAM203に一時的に格納されているL*a*b*信号を、送信アンテナ214を介して無線送信するための送信部215を有している。この送信部215は、インタフェース216を介してバス204に接続されている。
図2に示すリモコン送信機200の動作を説明する。まず、リモコン信号を送信する場合の動作について説明する。この場合、ユーザがキー操作部205により画像表示装置100に所定の動作を行わせるためのキー操作を行うと、CPU201から、インタフェース210を介して、リモコン信号送信回路209にその操作に対応した制御データが送られる。これにより、リモコン信号送信回路209から、その操作に対応したリモートコントロール信号が出力される。
次に、ディスプレイ105に表示される測定用画像を撮像して、ディスプレイ105の表示デバイスの各ピクセルに対応したL*a*b*信号を画像表示装置100に送信する場合の動作について説明する。
ユーザがキー操作部205により撮像準備操作を行うと、CPU201は、インタフェース213を介して、撮像部211および信号処理部212を動作状態とする。このとき、この表示器207に撮像画像が表示される状態となるので、ユーザは、表示器207に設けられた画枠に、ディスプレイ105に表示される測定用画像が一致するように調整できる。
その調整後、ユーザがキー操作部205により撮像操作を行うと、その操作タイミングで信号処理部212から得られるディスプレイ105の表示デバイスの各ピクセルに対応したL*a*b*信号は、インタフェース213を介してRAM203に一時的に格納される。そして、その後、RAM203よりそのL*a*b*信号が読み出され、インタフェース216を通して送信部215に供給され、この送信部215から送信アンテナ214を介して画像表示装置100に送信される。
次に、信号処理部104についてさらに説明する。図3は信号処理部104の構成を示している。この信号処理部104は、赤、緑、青の色信号Ri,Gi,Biが入力される入力端子141と、これら色信号Ri,Gi,Biを、上述したディスプレイ105の経時劣化による画質劣化を補償する赤、緑、青の色信号Rop,Gop,Bopに変換して出力する信号処理回路142とを有している。
また、この信号処理部104は、信号処理回路142から出力される色信号Rop,Gop,Bopの走査線構造をディスプレイ105の表示構造に対応したものに変換する走査線変換回路143と、この走査線変換回路143から出力される赤、緑、青の色信号に対してディスプレイ105の階調特性に合わせたガンマ補正を行うガンマ補正回路144と、このガンマ補正回路144より出力される赤、緑、青の色信号Ro,Go,Boを出力する出力端子145とを有している。走査線変換回路143では、例えばインタレース方式からプログレッシブ方式への変換が行われる。
信号処理回路142の詳細を説明する。この信号処理回路142は、色信号Ri,Gi,Biを個別に処理してそれぞれ色信号Rop,Gop,Bopを得るものである。以下では、説明が煩雑となることを回避するため、赤の色信号Riから赤の色信号Ropを得るための処理系についてのみ説明する。しかし、実際には同じ処理系によって、緑の色信号Giから緑の色信号Gopを得るための処理、青の色信号Biから青の色信号Bopを得るための処理も並行して行われる。
信号処理回路142は、色信号Riに基づいて、色信号Ropにおける注目位置の周辺に位置する複数の画素データを選択的に取り出して出力する第1、第2のタップ選択回路151,152を有している。第1のタップ選択回路151は、予測に使用する予測タップの複数の画素データを選択的に取り出すものである。第2のタップ選択回路152は、クラス分類に使用するクラスタップの複数の画素データを選択的に取り出すものである。ここで、注目位置の周辺とは、注目位置に対して空間的(水平方向、垂直方向)および時間的(フレーム方向)に近い位置であることを意味している。
図4Aは予測タップの配置の一例を示し、図4Bはクラスタップの配置の一例を示している。これらの図4A,Bにおいて、「○」はタップの位置を示し、「×」は注目位置を示している。本実施の形態においては、現フィールド(実線図示)と前フィールド(破線図示)における7個の画素データが、予測タップの画素データとして取り出され、また現フィールド(実線図示)と前フィールド(破線図示)における13個の画素データが、クラスタップの画素データとして取り出される。
また、信号処理回路142は、第2のタップ選択回路152で選択的に取り出されるクラスタップの画素データから空間クラス情報を生成する空間クラス情報生成回路153を有している。この空間クラス情報生成回路153では、クラスタップの複数の画素データにそれぞれ1ビットのADRC(Adaptive Dynamic Range Coding)等の処理を施すことによって、空間クラス情報としてのADRCコードを生成する。
ADRCは、クラスタップの複数の画素データの最大値および最小値を求め、最大値と最小値の差であるダイナミックレンジを求め、ダイナミックレンジに適応して各画素値を再量子化するものである。1ビットのADRCの場合、クラスタップの複数の画素値の平均値より大きいか、小さいかでその画素値が1ビットに変換される。ADRC処理は、画素値のレベル分布を表すクラスの数を比較的小さなものにするための処理である。したがって、ADRCに限らず、VQ(ベクトル量子化)等の画素値のビット数を圧縮する符号化を使用するようにしてもよい。
また、信号処理回路142は、劣化情報出力回路154を有している。図5は、劣化情報出力回路154の構成を示している。この劣化情報出力回路154は、稼働時間カウンタ161、稼働時間演算部162および劣化情報出力部163とから構成されている。
稼働時間カウンタ161は、ディスプレイ105が動作している間、図示しないカウントクロックに基づいてカウントアップ動作を行う。この稼働時間カウンタ161のカウント値は、ディスプレイ105の動作累積時間に対応したものとなる。稼働時間演算部162は、稼働時間カウンタ161のカウント値に基づいて、ディスプレイ105の動作累積時間である稼働累積時間TMを求める。この稼働累積時間TMのデータは、劣化特徴量出力部163に供給され、また上述したようにメモリ109にも供給される。
メモリ109(図参照)には、複数の時点で、ディスプレイ105に表示される測定用画像としての24色の単色画像毎に、ディスプレイ105の表示デバイスの各ピクセルに対応して検出されたL*a*b*信号が、各時点における稼働累積時間TMのデータと対にして記憶される。劣化情報出力回路154の劣化情報出力部163には、例えばメモリ109に新たな時点におけるL*a*b*信号が記憶される毎に、このメモリ109に記憶されている各時点のL*a*b*信号が稼働累積時間TMのデータと共に供給される。
劣化情報出力部163は、メモリ109から各時点のL*a*b*信号が供給されるとき、24色の単色画像毎に、ディスプレイ105の表示デバイスの各ピクセルに対応して、L*,a*,b*それぞれについて、購入直後の時点を基準とした変化量を求めるための、稼働累積時間TMをパラメータとして持つ算出式(例えば、3次式)を生成し、その情報を内蔵メモリに格納しておく。この場合、各時点における稼働累積時間とL*,a*,b*の変化量との関係から、例えば最小二乗法等により算出式の係数が決定される。
例えば、図6は、稼働累積時間TMとL*の変化量との関係の一例を示している。時点t0は購入直後の検出時点を示しており、L*=L0である。時点ti,ti+1はその後の検出時点を示しており、それぞれL*=Li,L*=Li+1である。そのため、時点tiでは変化量はΔLi、時点ti+1では変化量はΔLi+1であった。上述した算出式は各時点の変化量に基づいて求められ、稼働累積時間TMをパラメータとして持つものである。したがって、その算出式により現在(稼働累積時間tn)における変化量ΔLnを得ることが可能となる。なお、a*,b*についても同様であり、上述したようにして求められる算出式により、現在における変化量Δan,Δbnを得ることが可能となる。
また、劣化情報出力部163は、作成すべき色信号Ropにおける注目位置に対応したピクセルについての、24色の単色画像のそれぞれにおけるL*,a*,b*の変化量の算出式を用いて、その注目位置に対応したピクセル部分における現在(稼働累積時間tn)の変化量ΔLn,Δan,Δbnを生成し、上述の注目位置に対応したピクセル部分における画質劣化情報として出力する。
図3に戻って、また、信号処理回路142は、劣化クラス情報を生成するための劣化クラス情報生成回路155を有している。この劣化クラス情報生成回路155は、劣化情報出力回路154より出力される、作成すべき色信号Ropにおける注目位置に対応したピクセル部分における画質劣化情報に基づいて、画質劣化のクラスを示す劣化クラス情報を生成する。この場合、画質劣化情報をそのまま劣化クラス情報として使用してもよく、また画質劣化情報を構成する各変化量を示す値のビット数をADRCの処理によって圧縮して用いてもよい。
また、信号処理回路142は、空間クラス情報生成回路153で生成される空間クラス情報および劣化クラス情報生成回路155で生成される劣化クラス情報に基づいて、クラス分類の結果を示すクラスコードCLを生成するクラスコード生成回路156を有している。このクラスコードCLは、色信号Ropにおける注目位置の画素データyの属するクラスを示すものである。
また、信号処理回路142は、係数メモリ157を有している。この係数メモリ157は、後述する推定予測演算回路158で使用される推定式で用いられる複数の係数データWi(i=1〜n)を、クラス毎に、格納するものである。この係数データWiは、色信号Riを色信号Ropに変換するための情報である。係数メモリ157には上述したクラスコード生成回路156より出力されるクラスコードCLが読み出しアドレス情報として供給される。この係数メモリ157からはクラスコードCLに対応した推定式の係数データWiが読み出されて、推定予測演算回路158に供給される。係数データWiの生成方法については後述する。
また、信号処理回路142は、第1のタップ選択回路151で選択的に取り出される予測タップの複数の画素データxiと、係数メモリ157より読み出される係数データWiとから、作成すべき色信号Ropにおける注目位置の画素データyを演算する推定予測演算回路158を有している。
この推定予測演算回路158には、第1のタップ選択回路151より注目位置に対応した予測タップの複数の画素データxiと、係数メモリ157よりその注目位置に対応した係数データWiとが供給され、注目位置の画素データyは(1)式の推定式で演算される。
次に、信号処理回路142の動作を説明する。入力端子141に入力される色信号Riより、第2のタップ選択回路152で、作成すべき色信号Ropにおける注目位置の周辺に位置するクラスタップの複数の画素データが選択的に取り出される。このクラスタップの複数の画素データは空間クラス情報生成回路153に供給される。この空間クラス情報生成回路153では、クラスタップの画素データに1ビットのADRC等の処理が施されて、空間クラス情報が生成される。
また、劣化情報出力回路154から、作成すべき色信号Ropにおける注目位置に対応したピクセル部分における画質劣化情報が出力される。この画質劣化情報は、その注目位置に対応したピクセル部分における、24色の単色画像のそれぞれについてのL*,a*,b*の現在(稼働時間tn)の変化量ΔLn,Δan,Δbnである。この画質劣化情報は劣化クラス情報生成回路155に供給される。この劣化クラス情報生成回路155では、この画質劣化情報に基づいて、劣化クラス情報が生成される。
そして、空間クラス情報生成回路153で生成される空間クラス情報および劣化クラス情報生成回路155で生成される劣化クラス情報はクラスコード生成回路156に供給される。このクラスコード生成回路156では、空間クラス情報および劣化クラス情報に基づいて、クラス分類の結果を示すクラスコードCLが生成される。
このクラスコードCLは、作成すべき色信号Ropにおける注目位置の画素データが属するクラスの検出結果を表している。このクラスコードCLは、係数メモリ157に読み出しアドレス情報として供給される。
また、入力端子141に入力される色信号Riに基づいて、第1のタップ選択回路151で、作成すべき色信号Ropにおける注目位置の周辺に位置する予測タップの複数の画素データxiが選択的に取り出される。この予測タップの複数の画素データxiは、推定予測演算回路158に供給される。推定予測演算回路158では、予測タップの複数の画素データxiと、係数メモリ157より読み出される注目位置に対応した係数データWiとを用いて、推定式((1)式参照)に基づいて、作成すべき色信号Ropにおける注目位置の画素データyが求められる。
このように、信号処理回路142では、作成すべき色信号Ropにおける注目位置に対応したピクセル部分における画質劣化情報に基づいて劣化クラス情報が生成され、さらにこの劣化クラス情報に基づいてクラスコードCLが生成される。そして、このクラスコードCLに対応した係数データWi(i=1〜n)が使用されて、画素データyが演算される。したがって、ディスプレイ105の表示デバイスの各ピクセル部分における画質劣化を個別に補償し得る色信号Ropを得ることができる。
なお、上述では、赤の色信号Riから赤の色信号Ropを得るための処理について説明したが、信号処理回路142では、緑、青の色信号Gi,Biに対しても同様の処理が行われ、同様にディスプレイ105の表示デバイスの各ピクセル部分における画質劣化を個別に補償し得る緑、青の色信号Gop,Bopを得ることができる。
図3に示す信号処理部104では、信号処理回路142より出力される色信号Rop,Gop,Bopは、走査線変換回路143に供給され、その走査線構造がディスプレイ105の表示構造に対応したものに変換される。例えば、この走査線変換回路143では、インタレース方式からプログレッシブ方式への変換が行われる。さらに、この走査線変換回路143から出力される赤、緑、青の色信号はガンマ補正回路144に供給され、ディスプレイ105の階調特性に合わせたガンマ補正が行われる。そして、このガンマ補正回路144より出力される赤、緑、青の色信号Ro,Go,Boは、出力画像信号として出力端子145に出力される。
次に、図1に示す画像表示装置100の動作を説明する。測定モード時には、表示制御部106により、ディスプレイ105に、測定用画像が表示される。本実施の形態においては、グレタグ・マクベス・カラー・チェッカーを構成する24色の単色画像が順次表示される。このようにディスプレイ105に測定用画像が表示されている状態で、リモコン送信機200(図2参照)により、測定用画像の画質に対応した特徴量としてのL*a*b*信号が検出される。この場合、L*a*b*信号は、24色の単色画像毎に、さらに各単色画像についてディスプレイ105の表示デバイスの各ピクセルに対応して検出される。
リモコン送信機200によるL*a*b*信号の検出は、装置の購入直後の時点とその後の所定稼働時間毎の時点とで行われる。この場合、各時点における検出は、周囲の光学的環境を同じくして行われる。このようにリモコン送信機200で検出される各時点のL*a*b*信号は、当該リモコン送信機200から無線送信される。
このようにリモコン送信機200より無線送信される各時点のL*a*b*信号は、受信部108で受信される。そして、この各時点のL*a*b*信号は、受信部108よりメモリ109に供給されて格納される。この場合、信号処理部104の劣化情報出力回路154に存在する稼働時間演算部162(図3、図5参照)より出力されるディスプレイ105の稼働累積時間TMのデータが、当該L*a*b*信号と対にして記憶される。
そして、例えば当該メモリ109に新たな時点におけるL*a*b*信号が記憶される毎に、このメモリ109に記憶されている各時点のL*a*b*信号が稼働累積時間TMのデータと共に、信号処理部104の劣化情報出力回路154に存在する劣化情報出力部163(図3、図5参照)に供給され、上述したように購入直後の時点を基準とした変化量を求めるための、稼働累積時間TMをパラメータとして持つ算出式が生成される。
通常モード時には、入力端子103に入力される赤、緑、青の色信号Ri,Gi,Biは信号処理部104に供給される。そして、この信号処理部104では、上述したように、ディスプレイ105の表示デバイスの各ピクセル部分における画質劣化を個別に補償し得る赤、緑、青の色信号Ro,Go,Boが得られる(図3およびその説明参照)。そして、表示制御部106により、信号処理部104より出力される色信号Ro,Go,Boによる画像が、ディスプレイ105に表示される。これにより、ディスプレイ105には、ディスプレイ105の表示デバイスの各ピクセル部分に経時劣化があっても、良好な画質の画像を得ることができる。
なお、上述実施の形態においては、信号処理回路142(図3参照)においては、空間クラス情報生成回路153で生成される空間クラス情報および劣化クラス情報生成回路155で生成される劣化クラス情報に基づいて、クラス分類の結果を示すクラスコードCLを生成するものであったが、劣化クラス情報生成回路155で生成される劣化クラス情報のみに基づいてクラスコードCLを生成するようにしてもよい。
また、上述実施の形態においては、24色の単色画像の全てから検出されたL*a*b*信号を用いるものを示したが、画質劣化を判定するために重要な一部の単色画像から検出されたL*a*b*信号を用いるようにしてもよい。
また、上述実施の形態においては、この撮像部211よりディスプレイ105の表示デバイスの各ピクセルに対応したXYX座標系の3刺激値XYZが出力されるものであって、それを信号処理部212でCIE1967(L*a*b*)空間上のL*a*b*信号に変換されるものを示した。しかし、撮像部211よりディスプレイ105の表示デバイスの各ピクセルに対応した赤、緑、青の色信号R,G,Bが出力されるものであってもよく、その場合には、信号処理部212で、色信号R,G,BをXYX座標系の3刺激値XYZに変換し、さらにこの3刺激値XYZをL*a*b*信号に変換すればよい。
また、上述実施の形態においては、測定モード時に、ディスプレイ105に表示された単色画像をリモコン送信機200の撮像部211で撮像することによってディスプレイ105の表示デバイスの各ピクセルに対応したL*a*b*信号を検出するものを示したが、例えばディスプレイ105の画面上から測定センサを用いて表示デバイスの各ピクセルに対応したL*a*b*信号を直接検出する等の構成とすることもできる。
また、上述実施の形態においては、測定用画像の画質に対応した特徴量としてL*a*b*信号を検出するものを示したが、測定用画像の画質に対応したその他の値を特徴量として用いてもよい。
次に、図3の信号処理回路142における係数メモリ157に記憶される係数データの生成方法について説明する。この係数データは、予め学習によって生成されたものである。
まず、この学習方法について説明する。上述の、(1)式において、学習前は係数データW1 ,W2,‥‥,Wn は未定係数である。学習は、クラス毎に、複数の信号データに対して行う。学習データ数がmの場合、(1)式に従って、以下に示す(2)式が設定される。nは予測タップの数を示している。
yk =W1 ×xk1+W2 ×xk2+‥‥+Wn ×xkn ・・・(2)
(k=1,2,‥‥,m)
m>nの場合、係数データW1 ,W2,‥‥,Wnは、一意に決まらないので、誤差ベクトルeの要素ekを、以下の(3)式で定義して、(4)式のe2を最小にする係数データを求める。いわゆる最小2乗法によって係数データを一意に定める。
ek=yk−{W1×xk1+W2×xk2+‥‥+Wn×xkn} ・・・(3)
(k=1,2,‥‥m)
(4)式のe2を最小とする係数データを求めるための実際的な計算方法としては、まず、(5)式に示すように、e2を係数データWi(i=1,2,・・・,n)で偏微分し、iの各値について偏微分値が0となるように係数データWiを求めればよい。
(5)式から係数データWiを求める具体的な手順について説明する。(6)式、(7)式のようにXji,Yi を定義すると、(5)式は、(8)式の行列式の形に書くことができる。
(8)式は、一般に正規方程式と呼ばれるものである。この正規方程式を掃き出し法(Gauss-Jordanの消去法)等の一般解法で解くことにより、係数データWi(i=1,2,・・・,n)を求めることができる。
図7は、係数データ生成装置170を示している。この係数データ生成装置170は、教師信号としての、赤、緑、青の色信号Rop,Gop,Bopに対応した教師信号としての色信号Rt,Gt,Btが入力される入力端子171と、この色信号Rt,Gt,Btを、赤、緑、青の色信号Ri,Gi,Biに対応した生徒信号としての色信号Rs,Gs,Bsを生成する生徒信号生成回路172とを有している。
生徒信号生成回路172には、図3の信号処理回路142の劣化クラス情報生成回路155より出力される劣化クラス情報に対応した、劣化クラス情報CLbが供給される。生徒信号生成回路172は、劣化クラス情報CLbで示される各クラスにおいて、色信号Rt,Gt,Btから色信号Rs,Gs,Bsを得るためのROMテーブルを備えている。生徒信号生成回路172は、このROMテーブルを用いて、劣化クラス情報CLbに対応した色信号Rs,Gs,Bsを生成する。
このROMテーブルは、例えば稼働累積時間が短く、表示デバイスの各ピクセル部分にほとんど経時劣化がないディスプレイ105を用いて、予め生成される。この場合、図3の信号処理部104において信号処理回路142と走査線変換回路143との間を非接続状態とし、走査線変換回路143に供給される赤、緑、青の色信号として、グレタグ・マクベス・カラー・チェッカーを構成する24色の単色画像を表示するための24組の赤、緑、青の色信号を使用する。
そして、これら各組の赤、緑、青の色信号を、それぞれ基準値Rr,Gr,Brからランダムに順次低下させていく。この場合、走査線変換回路143に供給される各組の赤、緑、青の色信号がそれぞれ基準値Rr,Gr,Brである状態でリモコン送信機200で検出されるL*a*b*信号を最初の検出信号とすると共に、各組の赤、緑、青の色信号のレベルを順次ランダムに変化させてL*a*b*信号を検出し、劣化クラス情報CLbを求め、この劣化クラス情報CLbで示される各クラスと、そのとき走査線変換回路143に供給された赤、緑、青の色信号の基準値Rr,Gr,Brに対する変化率との関係を構築していく。
この場合、上述したように24組の赤、緑、青の色信号が使用されるものであり、例えば、赤の色信号は24個存在する。従って、この赤の信号に関しては、24個の色信号のうち、0以外の値を持つ複数個の赤の色信号の変化率を平均化して、当該赤の色信号の変化率とする。緑の色信号および青の色信号においても同様である。
ROMテーブルには、このように構築された、劣化クラス情報CLbで示される各クラスと赤、緑、青の色信号の基準値Rr,Gr,Brに対する変化率との関係が記憶されている。したがって、あるクラスを示す劣化クラス情報CLbが与えられるとき、ROMテーブルからその劣化クラス情報CLbに対応する赤、緑、青の色信号の基準値Rr,Gr,Brに対する変化率の情報を読み出し、これを色信号Rt,Gt,Btに乗算することで、劣化クラス情報CLbに対応した色信号Rs,Gs,Bsを得ることができる。
以下では、説明が煩雑となることを回避するため、赤の色信号Riから赤の色信号Ropを生成する際に使用される係数データWiを得るための処理系についてのみ説明する。しかし、実際には同じ処理系によって、緑の色信号Giから緑の色信号Gopを生成する際に使用される係数データWi得るための処理、青の色信号Biから青の色信号Bopを生成する際に使用される係数データWiを得るための処理も並行して行われる。
また、係数データ生成装置170は、生徒信号生成回路172より出力される色信号Rsに基づいて、色信号Rtにおける注目位置の周辺に位置する複数の画素データを選択的に取り出して出力する、第1のタップ選択回路173および第2のタップ選択回路174を有している。これら第1、第2のタップ選択回路173,174は、上述した信号処理回路142の第1、第2のタップ選択回路151,152と同様に構成される。
また、係数データ生成装置170は、第2のタップ選択回路173で選択的に取り出されるクラスタップの複数の画素データから空間クラス情報を生成する空間クラス情報生成回路175を有している。この空間クラス情報生成回路175は、上述した信号処理回路142の空間クラス情報生成回路153と同様に構成される。
また、係数データ生成装置170は、空間クラス情報生成回路175で生成される空間クラス情報CLaおよび上述した劣化クラス情報CLbに基づいて、クラス分類の結果を示すクラスコードCLを生成するクラスコード生成回路176を有している。このクラスコード生成回路176は、上述した信号処理回路142のクラスコード生成回路156と同様に構成される。このクラスコードCLは、色信号Rtにおける注目位置の画素データyの属するクラスを示すものである。
また、係数データ生成装置170は、入力端子171に供給される色信号Rtの時間調整を行うための遅延回路177と、正規方程式生成部178とを有している。正規方程式生成部178は、遅延回路177で時間調整された色信号Rtから得られる各注目位置の画素データyと、この各注目位置の画素データyにそれぞれ対応して第1のタップ選択回路173で選択的に取り出される予測タップの複数の画素データxiと、各注目位置の画素データyにそれぞれ対応してクラスコード生成回路176で生成されるクラスコードCLとから、クラス毎に、係数データWi(i=1〜n)を得るための正規方程式((8)式参照)を生成する。
この場合、1個の画素データyとそれに対応するn個の予測タップの画素データxi(i=1〜n)との組み合わせで上述した1個の学習データが生成される。したがって、正規方程式生成部178では多くの学習データが登録された正規方程式が生成される。
また、係数データ生成装置170は、正規方程式生成部178でクラス毎に生成された正規方程式のデータが供給され、クラス毎に生成された正規方程式を解いて、各クラスの係数データWiを求める係数データ決定部179と、この求められた係数データWiを記憶する係数メモリ180とを有している。係数データ決定部179では、正規方程式が例えば掃き出し法などによって解かれて、係数データWiが求められる。
図7に示す係数データ生成装置170の動作を説明する。入力端子171には、教師信号としての赤の色信号Rtが入力される。この色信号Rtは生徒信号生成回路172に供給され、劣化クラス情報CLbに対応した、生徒信号としての色信号Rsが生成される。
生徒信号生成回路172より出力される色信号Rsに基づいて、第2のタップ選択回路174で、色信号Rtにおける注目位置の周辺に位置するクラスタップの複数の画素データが選択的に取り出される。このクラスタップの複数の画素データは空間クラス情報検出回路175に供給される。この空間クラス情報生成回路175では、クラスタップの画素データに1ビットのADRC等の処理が施されて、空間クラス情報CLaが生成される。
また、空間クラス情報生成回路175で生成される空間クラス情報CLaおよび劣化クラス情報CLbはクラスコード生成回路176に供給される。このクラスコード生成回路176では、空間クラス情報CLaおよび劣化クラス情報CLbに基づいて、クラス分類の結果を示すクラスコードCLが生成される。このクラスコードCLは、教師信号としての色信号Rtにおける注目位置の画素データが属するクラスの検出結果を表している。
また、生徒信号生成回路172より出力される色信号Rsに基づいて、第1のタップ選択回路173で、色信号Rtにおける注目位置の周辺に位置する予測タップの複数の画素データが選択的に取り出される。そして、遅延回路177より出力される色信号Rtより順次得られる注目位置の画素データyと、この画素データyに対応して第1のタップ選択回路173で選択的に取り出される予測タップの複数の画素データxiと、この画素データyに対応してクラスコード生成回路176で生成されたクラスコードCLとから、正規方程式生成部178では、クラス毎に、係数データWiを生成するための正規方程式が生成される。
そして、係数データ決定部179でその正規方程式が解かれ、各クラスの係数データWiが求められ、その係数データWiはクラス別にアドレス分割された係数メモリ180に記憶される。
なお、上述では、赤の色信号Riから赤の色信号Ropを生成する際に使用される係数データWiを得るための処理について説明したが、係数データ生成装置170では、緑、青の色信号Gi,Biから緑、青の色信号Gop,Bopを生成する際に使用される係数データWi得るための処理も同様に行われている。このように、図7に示す係数データ生成装置170においては、図3の信号処理回路142の係数メモリ157に記憶される各クラスの係数データWiを生成できる。
なお、図3の信号処理回路142における処理を、例えば図8に示すような画像信号処理装置300によって、ソフトウェアで実現することも可能である。まず、図8に示す画像信号処理装置300について説明する。この画像信号処理装置300は、装置全体の動作を制御するCPU301と、このCPU301の動作プログラムや係数データ等が格納されたROM(read only memory)302と、CPU301の作業領域を構成するRAM(random access memory)303とを有している。これらCPU301、ROM302およびRAM303は、それぞれバス304に接続されている。
また、画像信号処理装置300は、外部記憶装置としてのハードディスクドライブ(HDD)305と、フロッピー(登録商標)ディスク306をドライブするドライブ(FDD)307とを有している。これらドライブ305,307は、それぞれバス304に接続されている。
また、画像信号処理装置300は、インターネット等の通信網400に有線または無線で接続する通信部308を有している。この通信部308は、インタフェース309を介してバス304に接続されている。
また、画像信号処理装置300は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機200からのリモコン信号RMを受信するリモコン信号受信回路310と、LCD(liquid crystal display)等からなるディスプレイ311とを有している。受信回路310はインタフェース312を介してバス304に接続され、同様にディスプレイ311はインタフェース313を介してバス304に接続されている。
また、画像信号処理装置300は、色信号Ri,Gi,Biを入力するための入力端子314と、色信号Rop,Gop,Bopを出力するための出力端子315とを有している。入力端子314はインタフェース316を介してバス304に接続され、同様に出力端子315はインタフェース317を介してバス304に接続される。
ここで、上述したようにROM302に処理プログラムや係数データ等を予め格納しておく代わりに、例えばインターネットなどの通信網400より通信部308を介してダウンロードし、ハードディスクやRAM303に蓄積して使用することもできる。また、これら処理プログラムや係数種データ等をフロッピー(登録商標)ディスク306で提供するようにしてもよい。
また、処理すべき色信号Ri,Gi,Biを入力端子314より入力する代わりに、予めハードディスクに記録しておき、あるいはインターネットなどの通信網400より通信部308を介してダウンロードしてもよい。また、処理後の色信号Rop,Gop,Bopを出力端子315に出力する代わり、あるいはそれと並行してディスプレイ311に供給して画像表示をしたり、さらにはハードディスクに格納したり、通信部308を介してインターネットなどの通信網400に送出するようにしてもよい。
図9のフローチャートを参照して、図8に示す画像信号処理装置300における、色信号Ri,Gi,Biより色信号Rop,Gop,Bopを得るため処理手順を説明する。
まず、ステップST61で、処理を開始し、ステップS62で、例えば入力端子314より装置内に1フレーム分または1フィールド分の色信号Ri,Gi,Biを入力する。このように入力端子314より入力される色信号Ri,Gi,Biを構成する画素データはRAM303に一時的に格納される。なお、この色信号Ri,Gi,Biが装置内のハードディスクドライブ307に予め記録されている場合には、このドライブ307からこの色信号Ri,Gi,Biを読み出し、この色信号Ri,Gi,Biを構成する画素データをRAM303に一時的に格納する。
そして、ステップST63で、色信号Ri,Gi,Biの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップST64で、処理を終了する。一方、処理が終わっていないときは、ステップST65に進む。
このステップST65では、作成すべき色信号Rop,Gop,Bopにおける注目位置に対応したピクセルについての、24色の単色画像のそれぞれにおけるL*,a*,b*の変化量の算出式を用いて、その注目位置に対応したピクセル部分における現在の画質劣化情報を求め、劣化クラス情報を生成する。なお、算出式のデータは、RAM303に格納されている。
次に、ステップST66で、ステップST62で入力された色信号Ri,Gi,Biより、色信号Rop,Gop,Bopにおける注目位置に対応して、クラスタップおよび予測タップの複数の画素データを取得する。そして、ステップST67で、ステップST62で入力された1フレームまたは1フィールド分の色信号Ri,Gi,Biの画素データの全領域において色信号Rop,Gop,Bopの画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップST62に戻り、次の1フレーム分または1フィールド分の色信号Ri,Gi,Biの入力処理に移る。一方、処理が終了していないときは、ステップST68に進む。
このステップST68では、ステップST66で取得されたクラスタップの複数の画素データから空間クラス情報を生成し、この空間クラス情報と上述のステップST65で生成された劣化クラス情報とに基づいて、クラスコードCLを生成する。そして、ステップST69で、ROM302からそのクラスコードCLに対応した係数データWiを読み出し、RAM303に一時的に格納する。
次に、ステップST70で、その係数データWiと、ステップST66で取得された予測タップの複数の画素データを使用して、推定式により、色信号Rop,Gop,Bopにおける注目位置の画素データを生成し、その後にステップST66に戻って、上述したと同様の処理を繰り返す。
このように、図9に示すフローチャートに沿って処理をすることで、入力された色信号Ri,Gi,Biの画素データを処理して、色信号Rop,Gop,Bopの画素データを得ることができる。上述したように、このように処理して得られた色信号Rop,Gop,Bopは出力端子315に出力されたり、ディスプレイ311に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ305に供給されてハードディスクに記録されたりする。また、処理装置の図示は省略するが、図7の係数データ生成装置170における処理も、ソフトウェアで実現可能である。
図10のフローチャートを参照して、係数データを生成するための処理手順を説明する。まず、ステップST81で、処理を開始し、ステップST82で、劣化クラスを選択する。そして、ステップST83で、全ての劣化クラスに対して学習が終わったか否かを判定する。全ての劣化クラスに対して学習が終わっていないときは、ステップST84に進む。
このステップST84では、教師信号としての色信号Rt,Gt,Btを1フレーム分または1フィールド分だけ入力する。そして、ステップST85で、色信号Rt,Gt,Btの全フレームまたは全フィールドの処理が終了したか否かを判定する。終了していないときは、ステップST86で、ステップST84で入力された色信号Rt,Gt,Btより、ステップST82で選択された劣化クラスに基づいて、生徒信号としての色信号Rs,Gs,Bsを生成する。
そして、ステップST87で、ステップST86で生成された色信号Rs,Gs,Bsより、ステップST84で入力された色信号Rt,Gt,Btにおける注目位置に対応して、クラスタップおよび予測タップの複数の画素データを取得する。そして、ステップST88で、ステップST84で入力された色信号Rt,Gt,Btの全領域において学習処理を終了しているか否かを判定する。学習処理を終了しているときは、ステップST84に戻って、次の1フレーム分または1フィールド分の色信号Rt,Gt,Btの入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップST89に進む。
このステップST89では、ステップST87で取得されたクラスタップの複数の画素データから空間クラス情報を生成し、この空間クラス情報と上述のステップST82で選択された劣化クラスの情報に基づいて、クラスコードCLを生成する。そして、ステップST90で、クラス毎に、係数データを得るための正規方程式((8)式参照)を生成する。その後に、ステップST87に戻る。
上述したステップST85で、処理が終了したときは、ステップST91で、ステップST90で生成された正規方程式を掃き出し法などで解いて、ステップST82で選択された劣化クラスに対応した、各クラスの係数データを算出する。その後に、ステップST82に戻って、次の劣化クラスの選択を行って、上述したと同様の処理を繰り返し、次の劣化クラスに対応した、各クラスの係数データを求める。
また、上述のステップST83で、全ての劣化クラスに対応した各クラスの係数データの算出処理が終了したときは、ステップST92で、その係数データをメモリに保存し、その後にステップST93で、処理を終了する。
このように、図10に示すフローチャートに沿って処理をすることで、図7に示す係数データ生成装置170と同様の手法によって、係数データを得ることができる。
なお、上述実施の形態において、信号処理部104(図3参照)は、信号処理回路142の他に、走査線変換回路143およびガンマ補正回路144を備えた構成となっているが、信号処理回路142を、走査線変換回路143およびガンマ補正回路144における処理をも含めた構成とすることもできる。
また、上述の図1に示す画像表示装置100を、図11に示すように、信号処理ユニット100Aと、表示ユニット100Bとに分けた構成とすることもできる。この図11において、図1と対応する部分には同一符号を付して示している。
この場合、信号処理ユニット100Aは、制御部101Aと、入力端子103と、信号処理部104Aと、出力端子111と、受信アンテナ107と、受信部108と、メモリ109と、W/R制御回路110とからなっている。信号処理部104Aは、例えば上述の図3に示す信号処理部104の信号処理回路142の部分に相当する。また、制御部101Aは信号処理ユニット100Aの全体の動作を制御するものである。
また、表示ユニット100Bは、制御部101Bと、リモコン信号受信回路102と、信号処理部104Bと、ディスプレイ105と、表示制御部106と、入力端子112とからなっている。信号処理部104Bは、例えば上述の図3に示す信号処理部104の走査線変換回路143およびガンマ補正回路144の部分に相当する。また、制御部101Bは表示ユニット100Bの全体の動作を制御するものである。
100・・・画像表示装置、101・・・制御部、102・・・リモコン信号受信回路、103・・・入力端子、104・・・信号処理部、105・・・ディスプレイ、106・・・表示制御部、107・・・受信アンテナ、108・・・受信部、109・・・メモリ、141・・・入力端子、142・・・信号処理回路、143・・・走査線変換回路、144・・・ガンマ補正回路、145・・・出力回路、151・・・第1のタップ選択回路、152・・・第2のタップ選択回路、153・・・空間クラス情報生成回路、154・・・劣化情報出力回路、155・・・劣化クラス情報生成回路、156・・・クラスコード生成回路、157・・・係数メモリ、158・・・推定予測演算回路、161・・・稼働時間カウンタ、162・・・稼働時間演算部、163・・・劣化情報出力部、170・・・係数データ生成装置、171・・・入力端子、172・・・生徒信号生成回路、173・・・第1のタップ選択回路、174・・・第2のタップ選択回路、175・・・空間クラス情報生成回路、176・・・クラスコード生成回路、177・・・遅延回路、178・・・正規方程式生成部、179・・・係数データ決定部、180・・・係数メモリ、200・・・リモコン送信機、201・・・CPU、205・・・キー操作部、209・・・リモコン信号送信回路、211・・・撮像部、212・・・信号処理部、215・・・送信部、300・・・画像信号処理装置