JP2004294784A - 異なった特徴の画像が混在する画像を表す画像信号の階調特性制御 - Google Patents
異なった特徴の画像が混在する画像を表す画像信号の階調特性制御 Download PDFInfo
- Publication number
- JP2004294784A JP2004294784A JP2003087382A JP2003087382A JP2004294784A JP 2004294784 A JP2004294784 A JP 2004294784A JP 2003087382 A JP2003087382 A JP 2003087382A JP 2003087382 A JP2003087382 A JP 2003087382A JP 2004294784 A JP2004294784 A JP 2004294784A
- Authority
- JP
- Japan
- Prior art keywords
- area
- control
- region
- image
- gradation conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title description 10
- 238000006243 chemical reaction Methods 0.000 claims abstract description 218
- 238000012545 processing Methods 0.000 claims abstract description 92
- 238000012935 Averaging Methods 0.000 claims description 11
- 238000005192 partition Methods 0.000 claims description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 23
- 238000010586 diagram Methods 0.000 description 19
- 230000004048 modification Effects 0.000 description 14
- 238000012986 modification Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 238000007796 conventional method Methods 0.000 description 7
- 238000005286 illumination Methods 0.000 description 7
- 238000000638 solvent extraction Methods 0.000 description 3
- 101000860173 Myxococcus xanthus C-factor Proteins 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Landscapes
- Liquid Crystal (AREA)
- Liquid Crystal Display Device Control (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Image Processing (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
- Picture Signal Circuits (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
【課題】異なった特徴の画像領域が混在する画像を表す画像信号の階調特性をうまく制御する。
【解決手段】発明の入力画像信号に基づく画像を表示する画像表示装置は、前記入力画像信号の表す画像を複数の領域に区分する区分パターンをあらかじめｎ種類定義し、それぞれの区分パターンに従って得られたｎ種類分の領域群のそれぞれにおいて、その領域群の各領域に対応する領域画像の特徴を表す特徴情報を前記領域ごとに取得する特徴情報取得部と、前記ｎ種類の領域群同士の重ね合わせにより新たに区分される制御領域群を定義し、前記制御領域群の制御領域ごとに、その制御領域を特定する前記ｎ種類の領域群のｎ種類の領域に対して取得されているｎ種類の領域特徴情報に基づいて、その制御領域に対応する制御画像を表す信号の階調を変換する階調変換処理部と、を備えることを特徴とする。
【選択図】 図２
【解決手段】発明の入力画像信号に基づく画像を表示する画像表示装置は、前記入力画像信号の表す画像を複数の領域に区分する区分パターンをあらかじめｎ種類定義し、それぞれの区分パターンに従って得られたｎ種類分の領域群のそれぞれにおいて、その領域群の各領域に対応する領域画像の特徴を表す特徴情報を前記領域ごとに取得する特徴情報取得部と、前記ｎ種類の領域群同士の重ね合わせにより新たに区分される制御領域群を定義し、前記制御領域群の制御領域ごとに、その制御領域を特定する前記ｎ種類の領域群のｎ種類の領域に対して取得されているｎ種類の領域特徴情報に基づいて、その制御領域に対応する制御画像を表す信号の階調を変換する階調変換処理部と、を備えることを特徴とする。
【選択図】 図２
Description
【０００１】
【発明の属する技術分野】
この発明は、画像信号の階調特性を制御することにより、表示される画像の高画質化を図る技術に関する。
【０００２】
【従来の技術】
画像表示装置として、画像を投写表示するプロジェクタが普及しつつある。このプロジェクタは、液晶パネルのような非発光型の表示デバイスをライトバルブと呼ばれる光変調装置として用い、照明光を変調することにより画像を表示する投写型の画像表示装置である。なお、このような非発光型の表示デバイスを用いた直視型の画像表示装置もある。
【０００３】
非発光型の表示デバイスを用いた画像表示装置では、一般に、ＣＲＴ等の発光型の表示デバイスを用いた画像表示装置に比べて、コントラストが低く高画質化のネックとなっている。このため、コントラストを向上させて画質の向上を図ることが望まれている。
【０００４】
画像のコントラストを向上させる従来の第１の手法として、入力画像信号の特徴を検出し、検出した特徴に基づいて画像信号の階調特性を動的に制御する手法が提案されている（例えば、特許文献１および特許文献２参照）。また、第２の手法として、表示された画像の任意の領域をユーザが選択して、選択領域の画像の画質を調整する手法が提案されている（例えば、特許文献３参照）。
【０００５】
【特許文献１】
特開２００２−３６６１２１号公報
【特許文献２】
特開平９−１４９２５７号公報
【特許文献３】
特開平１１−１４６２１９号公報
【０００６】
【発明が解決しようとする課題】
しかし、従来の第１の手法では、以下で説明するような不具合が発生する。図１１は、従来の手法による不具合について示す説明図である。図１１は、１つの画像中に、明るい画像領域と暗い画像領域の異なった特徴を有する画像領域が混在する画像を示している。
【０００７】
従来の第１の手法では、１つの画像を表す画像信号のすべてに対して、同一の階調変換特性に基づいて階調特性の制御を実行している。このため、図１１に示した混在画像に対して、例えば、暗い画像領域のコントラストを向上させるように画像信号の階調変換特性を設定したとする。これにより、暗い画像領域に対しては、良好な階調特性の制御を行って画質の向上を図ることができる。しかしながら、暗い画像に合わせて設定された階調変換特性では、明るい画像領域の明側および暗側の画像がつぶれてしまい、明るい画像領域に対しては却って画質の劣化を招く場合がある。
【０００８】
また、従来の第２の手法では、いったん画像を表示し、調整したい領域を選択する必要があり、自動的に画質の調整することができないため、動画像の表示に適用することができない。
【０００９】
以上説明したように、従来の手法では、１つの画像中に異なった特徴の画像領域が混在するような場合について、十分に工夫されていないという問題があった。なお、上述のような異なった特徴の画像領域が混在する画像の画質調整の問題は、非発光型の表示デバイスを用いた画像表示装置だけでなく、発光型の表示デバイスを用いた画像表示装置においても発生する問題である。
【００１０】
この発明は、従来技術における上述の課題を解決するためになされたものであり、異なった特徴の画像領域が混在する画像を表す画像信号の階調特性をうまく制御することのできる技術を提供することを目的とする。
【００１１】
【課題を解決するための手段およびその作用・効果】
上記目的を達成するために、本発明の装置は、入力画像信号に基づく画像を表示する画像表示装置であって、
前記入力画像信号の表す画像を複数の領域に区分する区分パターンをあらかじめｎ種類定義し、それぞれの区分パターンに従って得られたｎ種類分の領域群のそれぞれにおいて、その領域群の各領域に対応する領域画像の特徴を表す特徴情報を前記領域ごとに取得する特徴情報取得部と、
前記ｎ種類の領域群同士の重ね合わせにより新たに区分される制御領域群を定義し、前記制御領域群の制御領域ごとに、その制御領域を特定する前記ｎ種類の領域群のｎ種類の領域に対して取得されているｎ種類の領域特徴情報に基づいて、その制御領域に対応する制御画像を表す信号の階調を変換する階調変換処理部と、
を備えることを特徴とする。
【００１２】
上記画像表示装置では、ある制御領域を特定するｎ種類の領域のそれぞれに対して取得されているｎ種類の領域特徴情報に基づいて、その制御領域に対応する制御画像を表す信号の階調を変換することができる。これにより、異なった特徴の画像領域が混在する画像に対して、それぞれの画像領域ごとに適切な階調変換特性を決定して、良好な階調特性の制御を行うことができる。
【００１３】
ここで、前記特徴情報取得部は、前記ｎ種類の領域群に対応してｎ個の領域特徴情報取得部を有しており、
各領域特徴情報取得部は、前記入力画像信号の表す画像を、対応する区分パターンに従って区分される領域群の各領域に対応する領域画像の特徴を表す領域特徴情報を前記領域ごとに取得することが好ましい。
【００１４】
こうすれば、制御領域群の制御領域ごとに、その制御領域を特定するｎ種類の領域群のｎ種類の領域に対してｎ種類の領域特徴情報を容易に取得することが可能である。
【００１５】
また、前記階調変換処理部は、
前記ｎ種類の領域群に対応して設けられたｎ個の領域階調変換処理部と、
前記ｎ個の領域階調変換処理部から供給されるｎ種類の領域階調変換結果の平均値を求めて、前記制御領域に対応する制御画像を表す信号の階調変換結果とする平均化処理部と、を備え、
前記各領域階調変換処理部は、対応する領域群における前記制御領域を特定する領域に対して取得されている領域特徴情報に基づいて、領域階調変換特性を決定するとともに、決定された領域階調変換特性に従って、前記制御領域に対応する制御画像を表す信号の階調を変換して前記領域階調変換結果を取得するようにしてもよい。
【００１６】
あるいは、前記階調変換処理部は、
前記ｎ種類の領域特徴情報に基づいて、前記制御領域に対応する制御画像に対する制御領域特徴情報を求める制御領域特徴情報取得部と、
前記制御領域特徴情報に基づいて制御領域階調変換特性を決定するとともに、前記制御領域階調変換特性に従って、前記制御領域に対応する制御画像を表す信号の階調変換結果を取得する制御領域階調変換処理部と、
を備えるようにしてもよい。
【００１７】
階調変換処理部を、上記いずれのように構成しても、ある制御領域を特定するｎ種類の領域に対して取得されているｎ種類の領域特徴情報に基づいて、容易に、その制御領域に対応する制御画像を表す信号の階調を変換することができる。
【００１８】
なお、本発明は、種々の形態で実現することが可能であり、例えば、画像表示方法および装置、画像処理方法および装置、階調特性変換方法および装置等の種々の形態で実現することができる。
【００１９】
【発明の実施の形態】
次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．画像表示装置の全体構成：
Ｂ．第１実施例の階調特性変換部：
Ｂ１．フォーマット変換部およびバッファ部：
Ｂ２．特徴情報取得部：
Ｂ３．階調変換処理部：
Ｂ４．変形例：
Ｃ．第２実施例の階調特性変換部：
Ｄ．変形例：
【００２０】
Ａ．画像表示装置の全体構成：
図１は、本発明を適用した画像表示装置の全体構成を示すブロック図である。この画像表示装置は、入力処理部１０と、階調特性変換装置としての階調特性変換部２０と、画像表示部としての液晶ディスプレイパネル４０（以下、単に「液晶パネル」あるいは「ＬＣＤ」とも呼ぶ）および液晶パネル駆動部３０と、制御部７０とを備えている。また、この画像表示装置はいわゆるプロジェクタであり、画像表示部には、液晶パネル４０を照明するための照明装置５０と、液晶パネル４０から射出された画像を表す光（画像光）をスクリーンＳＣ上に投写する投写光学系６０とを備えている。
【００２１】
なお、液晶パネル４０は、照明装置５０から射出された照明光を、液晶パネル駆動部３０からの駆動信号に応じて変調し、変調された光（画像を表す「画像光」とも呼ぶ）を出力する。また、図示は省略されているが、液晶パネル４０は、Ｒ、Ｇ、Ｂ用の３枚の液晶パネルを有している。また、照明装置５０は光を３色の光に分離する色光分離光学系を有しており、投写光学系６０は液晶パネル４０からの３色の光を合成する合成光学系を有している。なお、このようなプロジェクタの光学系の構成については、例えば本出願人により開示された特開平１０−１７１０４５号公報に詳述されているので、ここではその説明は省略する。
【００２２】
なお、液晶パネル４０を１枚のカラー液晶パネルとすることも可能である。また、液晶パネル４０を１枚のカラー液晶パネルとし、投写光学系６０を省略して、直視型の画像表示装置とすることも可能である。
【００２３】
制御部７０は、図示しないＣＰＵ、ＲＡＭ、ＲＯＭ等で構成されており、ＲＯＭに記憶されているデータに従って、各ブロックの動作を制御する。また、ＲＯＭに記憶されているデータに従って、入力処理部１０や階調特性変換部２０の種々の設定を実行する。
【００２４】
入力処理部１０は、アナログの入力画像信号ＶＳに含まれる同期信号を除く画像信号（以下、単に「画像信号」と呼ぶ場合もある）を、処理が容易なディジタルの画像信号に変換し、ディジタル画像信号ＤＩＶとして出力する。また、入力処理部１０は、拡大／縮小等の画像表示装置内で一般的に実行される種々の画像処理を実行する。なお、画像信号のフォーマットはＲＧＢ信号形式である。ただし、画像信号のフォーマットはＲＧＢ信号形式に限定されるものではなく、ＹＣ信号形式等の種々の信号形式であってもよい。
【００２５】
階調特性変換部２０は、後述するように、入力処理部１０から出力されたディジタル画像信号ＤＩＶに対して階調変換を行う。階調特性変換部２０から出力された階調変換後のディジタル画像信号ＤＯＶは、液晶パネル駆動部３０に供給される。
【００２６】
液晶パネル駆動部３０は、与えられたディジタル画像信号ＤＯＶに応じて、液晶パネル４０を駆動するための駆動信号を生成する。液晶パネル４０は、照明装置５０による照明光を、駆動信号に応じて変調する。変調された光は、画像光として投写光学系６０を介してスクリーンＳＣ上に投写される。これにより、スクリーンＳＣ上に画像が表示される。
【００２７】
Ｂ．第１実施例の階調特性変換部：
図２は、第１実施例の階調特性変換部の構成を示す説明図である。階調特性変換部２０は、第１のフォーマット変換部２１０と、特徴情報取得部２２０と、階調変換処理部２４０と、バッファ部２５０と、第２のフォーマット変換部２６０とを備えている。以下では、各ブロックの構成および動作について説明する。
【００２８】
Ｂ１．フォーマット変換部およびバッファ部：
第１のフォーマット変換部２１０は、ディジタル画像信号ＤＩＶの信号形式をＹＣ信号形式に変換する。本例では、ＲＧＢ信号形式をＹＣ信号形式に変換する例を示している。ただし、これに限定されるものではなく、ディジタル画像信号ＤＩＶの信号形式に応じて、その信号形式をＹＣ信号形式に変換するものが適用される。なお、ディジタル画像信号ＤＩＶの信号形式がＹＣ信号形式ならば、第１のフォーマット変換部２１０は省略可能である。
【００２９】
バッファ部２５０は、第１のフォーマット変換部２１０から出力されるＣ信号（色差信号あるいはクロマ信号）と、階調変換処理部２４０から出力される変換処理後のＹ信号（輝度信号）との時間的なタイミングを調整する。
【００３０】
第２のフォーマット変換部２６０は、後述する階調変換処理部２４０から供給される階調変換後のＹ信号、およびバッファ部２５０から供給されるタイミング調整後のＣ信号を、ＲＧＢ信号形式の信号に変換する。
【００３１】
Ｂ２．特徴情報取得部：
特徴情報取得部２２０は、第１領域特徴情報取得部２２２ａおよび第２領域特徴情報取得部２２２ｂを備えている。第１領域特徴情報取得部２２２ａは、図３（ａ）に示すように、入力されるＹ信号（輝度信号）の表す画像を、縦横複数画素ごとにマトリクス状に区分する第１の区分パターンに従った第１の領域群に区分する。そして、第１の領域群に含まれる領域ごとに、これに対応する領域画像を表す輝度信号の特徴情報（以下、「第１領域特徴情報」とも呼ぶ）を取得する。
【００３２】
また、第２領域特徴情報取得部２２２ｂは、図３（ｂ）に示すように、輝度信号の表す画像を、第１の区分パターンと異なる第２の区分パターンに従った第２の領域群に区分する。そして、第２の領域群に含まれる領域ごとに特徴情報（以下、「第２領域特徴情報」とも呼ぶ）を取得する。
【００３３】
ここで、図３（ａ）および（ｂ）は、横方向（行方向）にＮｃ画素（＝６４画素）で縦方向（列方向）にＮｒ画素（＝４８画素）の画像の例を示している。
【００３４】
第１の区分パターンは、図３（ａ）に示すように、横方向にＮｃｂ画素（＝１６画素）で縦方向にＮｒｂ画素（＝１６画素）ごとに区分し、横方向に４領域で縦方向に３領域の領域Ａｉｊ（ｉは１〜３の整数、ｊは１〜４の整数）を有する区分パターンの例を示している。ただし、横方向および縦方向の区分の間隔は一例であって、これに限定されるものではなく、種々の間隔とすることが可能である。
【００３５】
これに対し、第２の区分パターンは、図３（ｂ）に示すように、図３（ａ）の第１の区分パターンにおける横方向および縦方向の区分位置を、横方向にＮｃｂ／２画素（＝８画素）および縦方向にＮｒｂ／２画素（＝８画素）だけシフトさせ、横方向に５領域で縦方向に４領域の領域Ｂｍｎ（ｍは１〜４の整数、ｎは１〜５の整数）を有する区分パターンが用いられる。第２の区分パターンの場合、上から第２行目と第３行目の左から第２列目から第４列目の領域Ｂ２２〜Ｂ２４，Ｂ３２〜Ｂ３４は、第１の区分パターンにおける領域Ａｉｊと同じで、横方向の画素数がＮｃｂで縦方向の画素数がＮｒｂの領域となる。しかしながら、他の領域、すなわち、上から第１行目の領域Ｂ１１〜Ｂ１５および第４行目の領域Ｂ４１〜Ｂ４５の縦方向の画素数はＮｒｂ／２画素（＝８画素）となり、左から第１列目の領域Ｂ１１〜Ｂ４１および第５列目の領域Ｂ１５〜Ｂ４５の横方向の画素数はＮｃｂ／２（＝８画素）となる。
【００３６】
なお、特徴情報としては、領域画像を表す輝度信号の最小値、最大値、平均値、輝度ヒストグラム等の種々の特徴量が考えられる。本実施例では、領域ごとに、輝度信号の最小値、最大値および平均値が少なくとも求められる。
【００３７】
Ｂ３．階調変換処理部：
階調変換処理部２４０は、図２に示すように、第１領域階調変換処理部２４２ａと、第２領域階調変換処理部２４２ｂと、平均化処理部２４４とを備えている。
【００３８】
第１領域階調変換処理部２４２ａでは、以下で説明するように、第１領域特徴情報取得部２２２ａで取得された第１領域特徴情報に基づいて階調変換特性（以下、「第１領域階調変換特性」とも呼ぶ）が決定される。入力輝度信号は、決定された第１領域階調変換特性に基づいて階調変換され、その結果（以下、「第１領域階調変換結果」とも呼ぶ）が出力される。
【００３９】
第２領域階調変換処理部２４２ｂでも、以下で説明するように、第２領域特徴情報取得部２２２ｂで取得された第２領域特徴情報に基づいて階調変換特性（以下、「第２領域階調変換特性」とも呼ぶ）が決定される。入力輝度信号は、決定された第２領域階調変換特性に基づいて階調変換され、その結果（以下、「第２領域階調変換結果」とも呼ぶ）が出力される。
【００４０】
そして、平均化処理部２４４では、第１領域階調変換結果と第２領域階調変換結果の平均値が求められて、階調変換結果として出力される。
【００４１】
以下では、さらに、具体的に、第１領域階調変換処理部２４２ａ、第２領域階調変換処理部２４２ｂ、および平均化処理部２４４の動作を説明する。
【００４２】
ここで、図３（ａ）の第１の区分パターンによる第１の領域群と図３（ｂ）の第２の区分パターンによる第２の領域群とを重ね合わせると、図４（ａ）に示すように、第１の区分パターンにおける区分線（破線で示す）および第２の区分パターンにおける区分線（一点鎖線で示す）により新たに区分されるマトリクス状の領域（以下、「制御領域」とも呼ぶ）Ｃｏｐ（ｏは１〜６の整数、ｐは１〜８の整数）を定義することができる。
【００４３】
図４（ｂ）に示すように、例えば、制御領域Ｃ１１は第１の領域群の領域Ａ１１と第２の領域群の領域Ｂ１１、制御領域Ｃ１２は第１の領域群の領域Ａ１１と第２の領域群の領域Ｂ１２というように、各制御領域Ｃｏｐは、第１の領域群の対応する領域Ａｉｊと第２の領域群の対応する領域Ｂｍｎの組み合わせにより、それぞれ一義的に特定することができる。
【００４４】
そこで、第１領域階調変換処理部２４２ａでは、各制御領域Ｃｏｐを特定する第１領域群の領域Ａｉｊに対して取得された第１領域特徴情報に基づいて第１領域階調変換特性を決定する。そして、入力輝度信号を、その輝度信号の対応する制御領域に対して決定される第１領域階調変換特性に基づいて階調変換し、第１領域階調変換結果として出力する。
【００４５】
同様に、第２領域階調変換処理部２４２ｂでも、各制御領域Ｃｏｐを特定する第２領域群の領域Ｂｍｎに対して取得された第２領域特徴情報に基づいて第２領域階調変換特性を決定する。そして、入力輝度信号を、その輝度信号の対応する制御領域の第２領域階調変換特性に基づいて階調変換し、第２領域階調変換結果として出力する。
【００４６】
そして、平均化処理部２４４では、第１領域階調変換結果と第２領域階調変換結果の平均値を求めて、入力輝度信号に対応する階調変換結果として出力する。
【００４７】
図５は、ある制御領域における階調変換処理動作の例を示す説明図である。図５は、コントラストの向上を図るために、下式（１）〜（４）に、特徴情報である最小値ＹＳｍｉｎ、最大値ＹＳｍａｘおよび平均値ＡＰＬの３つのパラメータを入力することにより決定される階調変換特性の例を示している。
【００４８】
Ｙｏｕｔ＝ＹＯｍｉｎ（＝０） ：ＹＩｍｉｎ（＝０）≦Ｙｉｎ＜ＹＳｍｉｎ …（１）
Ｙｏｕｔ＝（ＡＰＬ−ＹＯｍｉｎ）・Ｙｉｎ／（ＡＰＬ−ＹＳｍｉｎ） ：ＹＳｍｉｎ≦Ｙｉｎ＜ＡＰＬ …（２）
Ｙｏｕｔ＝（ＹＯｍａｘ−ＡＰＬ）・Ｙｉｎ／（ＹＳｍａｘ−ＡＰＬ） ：ＡＰＬ≦Ｙｉｎ＜ＹＳｍａｘ …（３）
Ｙｏｕｔ＝ＹＯｍａｘ（＝１０２３） ：ＹＳｍａｘ≦Ｙｉｎ＜ＹＩｍａｘ（＝１０２３） …（４）
【００４９】
上記（１）〜（４）式は、輝度信号Ｙｉｎのとり得る階調範囲（ＹＩｍｉｎ〜ＹＯｍａｘ、本例では０〜１０２３の１０ビットの階調範囲）に対して、ある領域内の入力輝度信号Ｙｉｎの最小値がＹＳｍｉｎ（ＹＩｍｉｎ≦ＹＳｍｉｎ）、最大値がＹＳｍａｘ（ＹＳｍａｘ≦ＹＩｍａｘ）、平均値がＡＰＬである場合に、入力輝度信号Ｙｉｎに対する出力輝度信号Ｙｏｕｔが、平均値ＡＰＬを基準として出力ダイナミックレンジの最大範囲（ＹＯｍｉｎ〜ＹＯｍａｘ、本例では０〜１０２３の１０ビットの階調範囲）に変換される階調変換特性を示している。
【００５０】
なお、この階調変換特性では、平均値ＡＰＬに対する出力輝度信号の値を変化させずに、平均値ＡＰＬよりも小さい入力輝度信号および大きい入力輝度信号に対する出力輝度信号の変化の範囲を直線的に伸張している。輝度信号の平均値ＡＰＬはその画像の特徴を大きく表しており、平均値ＡＰＬに対する出力輝度信号が変化すると、その画像の印象が変化してしまう可能性が大きい。上記のように決定された階調変換特性では、入力輝度信号の平均値ＡＰＬに対する出力輝度信号の値を基準とすることにより、画像の印象が変化してしまうことを抑制しつつ、コントラストの向上を図ることが可能である。
【００５１】
第１領域階調変換処理部２４２ａでは、入力輝度信号Ｙｉｎの表す画像の対応する制御領域を特定する第１の領域群の領域Ａｉｊに対して取得された第１領域特徴情報に基づいて、図５に示すように、上式（１）〜（４）に従った第１領域階調変換特性が決定される。そして、決定された第１領域階調変換特性に基づいて、入力輝度信号Ｙｉｎに対する第１領域階調変換結果Ｙｏｕｔ（Ａ）が求められる。
【００５２】
同様に、第２領域階調変換処理部２４２ｂでは、制御領域を特定する第２の領域群の領域Ｂｍｎに対して取得された第２領域特徴情報に基づいて、図５に示すように、上式（１）〜（４）に従った第２領域階調変換特性が決定される。そして、決定された第２領域階調変換特性に基づいて、入力輝度信号Ｙｉｎに対する第２領域階調変換結果Ｙｏｕｔ（Ｂ）が求められる。
【００５３】
平均化処理部２４４では、第１領域階調変換結果Ｙｏｕｔ（Ａ）および第２領域階調変換結果Ｙｏｕｔ（Ｂ）の平均値が求められ、入力輝度信号Ｙｉｎに対する階調変換結果Ｙｏｕｔとして出力される。
【００５４】
以上説明したように、本実施例の階調変換処理部においては、各制御領域を特定する２種類の領域群の領域に対して取得された２種類の領域特徴情報に基づいて、２種類の領域階調変換特性が決定される。そして、決定された２種類の領域階調変換特性に従って、その制御領域に対応する画像の輝度信号に対する２種類の領域階調変換結果を求め、これらの平均値を階調変換結果としている。これにより、以下で説明する効果を得ることが可能である。
【００５５】
制御領域ごとに、その制御領域に対応する画像の輝度信号に対して、それぞれの制御領域に対応して取得された特徴情報に基づいて決定された階調変換特性に従って階調変換することができるので、制御領域ごとの画像の特徴に応じて良好な階調変換を行うことが可能となる。これにより、従来十分に工夫されていなかった１つの画像中に複数の異なる特徴の画像領域が混在するような場合においても、それぞれの異なった特徴の画像領域ごとに良好な階調特性の制御を自動的に行って、画質の向上を図ることが可能となる。
【００５６】
また、次のような効果を得ることが可能である。図６は、本実施例の階調変換処理による効果について示す説明図である。図６は、制御領域の一部を拡大して示している。例えば、１つの制御領域Ｃ２２に着目する。この制御領域Ｃ２２を特定する第１の領域群の領域はＡ１１であり、第２の領域郡の領域はＢ２２である。ここで、第１の領域群の領域Ａ１１は、Ｃ１１、Ｃ１２、Ｃ２１、およびＣ２２の４つの制御領域を含んでいるので、この領域Ａ１１について取得された第１領域特徴情報には、制御領域Ｃ２２以外のこれに隣接する他の３つの制御領域Ｃ１１、Ｃ１２、およびＣ２１に対応する画像の特徴情報も含まれることになる。
【００５７】
また、第２の領域群の領域Ｂ２２は、Ｃ２２、Ｃ２３、Ｃ３２、およびＣ３３の４つの制御領域を含んでいるので、この領域Ｂ２２について取得された第２領域特徴情報には、制御領域Ｃ２２以外のこれに隣接する他の３つの制御領域Ｃ２３、Ｃ３２、およびＣ３３に対応する画像の特徴情報も含まれることになる。
【００５８】
さらに、上述したように、制御領域ごとに、これを特定する２種類の領域群の領域の２種類の領域特徴情報に基づいて決定される２つの領域郡階調変換特性に従って変換された階調変換結果を平均して、その制御領域に対応する画像の信号の階調変換結果を求めている。
【００５９】
従って、１つの制御領域に対応する画像を表す信号の階調を変換する際に、その制御領域に隣接する周辺の制御領域の特徴情報も考慮されることになる。これにより、各制御領域の境界において、画像の連続性が得られずに画像の不整合が発生することを抑制することが可能となる。
【００６０】
また、次のような効果もある。上述した第２の区分パターンは、第１の区分パターンによる１つの領域の横方向（行方向）の画素数Ｎｃｂおよび縦方向（列方向）の画素数Ｎｒｂをそれぞれ１／２だけずらした区分パターンであるので、第１の区分パターンと第２の区分パターンを重ね合わせることにより区分される１つの制御領域は、第１の区分パターンの１つの領域の１／４の大きさとすることができる。従って、比較的大きな領域ごとにその特徴情報を求めることにより、その領域の１／４の大きさの制御領域ごとに異なった階調変換を実行することが可能となる。これにより、特徴情報を取得する領域の大きさを比較的大きくすることにより、処理に要する時間を少なくすることができるという効果がある。
【００６１】
Ｂ４．変形例：
図７は、第１実施例の階調特性変換部の変形例を示す説明図である。第１実施例の階調特性変換部２０の特徴情報取得部２２０および階調変換処理部２４０は、図７に示した変形例の階調特性変換部２０Ａのように、特徴情報取得部２２０Ａおよび階調変換処理部２４０Ａとすることが可能である。なお、特徴情報取得部２２０Ａおよび階調変換処理部２４０Ａを除く他の構成は、第１実施例の階調特性変換部２０と同じである。
【００６２】
特徴情報取得部２２０Ａは、第１実施例の特徴情報取得部２２０における第１領域特徴情報取得部２２２ａおよび第２領域特徴情報取得部２２２ｂに加えて第３領域特徴情報取得部２２２ｃおよび第４領域特徴情報取得部２２２ｄを備えている。また、階調変換処理部２４０Ａは、第１領域階調変換処理部２４２ａおよび第２領域階調変換処理部２４２ｂに加えて、第３領域特徴情報取得部２２２ｃおよび第４領域特徴情報取得部２２２ｄに対応する第３領域階調変換処理部２４２ｃおよび第４領域階調変換処理部２４２ｄを備えている。さらに、階調変換処理部２４０Ａの平均化処理部２４４は、第３領域階調変換処理部２４２ｃおよび第４領域階調変換処理部２４２ｄの追加に応じて、第１領域群階調変換処理結果〜第４領域群階調変換処理結果の平均値を求める構成に変更されている。
【００６３】
第１領域特徴情報取得部２２２ａ〜第４領域特徴情報取得部２２２ｄは、同様に、入力輝度信号の表す画像を、それぞれ第１の区分パターン〜第４の区分パターンに従って第１の領域群〜第４の領域群に区分する。そして、それぞれ、各領域群に含まれる領域ごとに、これに対応する領域画像を表す輝度信号の特徴情報（以下、「第１領域特徴情報」〜「第４領域特徴情報」とも呼ぶ）を取得する。
【００６４】
ここで、第１の区分パターンは、図８（ａ）に示すように、横方向にＮｃｂ画素で縦方向にＮｒｂ画素ごとに区分する区分パターンであるとする。これに対し、第２の区分パターンは、図８（ｂ）に示すように、図８（ａ）の第１の区分パターンにおける横方向および縦方向の区分位置を、横方向にＮｃｂ／４画素および縦方向にＮｒｂ／４画素だけシフトさせた区分パターンが用いられる。第３の区分パターンは、図８（ｃ）に示すように、図８（ａ）の第１の区分パターンにおける横方向および縦方向の区分位置を、横方向に（Ｎｃｂ・２／４）画素および縦方向に（Ｎｒｂ・２／４）画素だけシフトさせた区分パターン、すなわち、図８（ｂ）の第２の区分パターンにおける横方向および縦方向の区分位置を、さらに、横方向にＮｃｂ／４画素および縦方向にＮｒｂ／４画素だけシフトさせた区分パターンが用いられる。第４の区分パターンは、図８（ｄ）に示すように、図８（ａ）の第１の区分パターンにおける横方向および縦方向の区分位置を、横方向に（Ｎｃｂ・３／４）画素および縦方向に（Ｎｒｂ・３／４）画素だけシフトさせた区分パターン、すなわち、図８（ｃ）の第３の区分パターンにおける横方向および縦方向の区分位置を、さらに、横方向にＮｃｂ／４画素および縦方向にＮｒｂ／４画素だけシフトさせた区分パターンが用いられる。要するに、第１の区分パターンにおける横方向および縦方向の区分位置を、横方向にＮｃｂ／４画素および縦方向にＮｒｂ／４画素ずつ順にシフトさせた４種類の区分パターンが用いられる。
【００６５】
そして、これらの４種類の区分パターンを用いた場合、図８（ｅ）に示すように、第１の区分パターンによる１つの領域の横方向の画素数Ｎｃｂおよび縦方向の画素数Ｎｒｂに対して、横方向にＮｃｂ／４画素で縦方向にＮｒｂ／４画素の大きさ、すなわち、第１の区分パターンによる１つの領域に対して１／１６の大きさの制御領域を定義することができる。
【００６６】
第１領域階調変換処理部２４２ａ〜第４領域群特階調変換処理部２４２ｄでは、入力された輝度信号の表す画像の対応する制御領域に対して、これを特定する第１の領域群〜第４の領域群のそれぞれの領域について取得された第１領域特徴情報〜第４領域特徴情報に基づいて階調変換特性（以下、「第１領域階調変換特性」〜「第４領域階調変換特性」とも呼ぶ）が決定される。そして、その輝度信号は、決定された第１領域階調変換特性〜第４領域階調変換特性に基づいて階調変換され、その結果（以下、「第１領域階調変換結果」〜「第４領域階調変換結果」とも呼ぶ）が出力される。そして、求められた第１領域階調変換結果〜第４領域群階調変換処理結果の平均値が平均化処理部２４４で求められて、階調変換結果として出力される。
【００６７】
以上説明したように、本変形例の階調特性変換部２０Ａでは、制御領域ごとに、その制御領域に対応する画像の輝度信号に対して、それぞれの制御領域に対応して取得された特徴情報に基づいて決定された階調変換特性に従って階調変換することができるので、第１実施例の階調特性変換部２０と同様に、制御領域ごとの画像の特徴に応じて良好な階調変換を行うことが可能となる。これにより、従来十分に工夫されていなかった１つの画像中に複数の異なる特徴の画像領域が混在するような場合においても、それぞれの異なった特徴の画像領域ごとに良好な階調特性の制御を自動的に行って、画質の向上を図ることが可能となる。
【００６８】
また、１つの制御領域に対応する画像を表す信号の階調を変換する際に、その制御領域を特定する４種類の領域群の領域に対して取得された４種類の領域特徴情報に基づいて、４種類の領域階調変換特性が決定される。そして、決定された４種類の領域階調変換特性に従って、その制御領域に対応する画像の輝度信号に対する４種類の領域階調変換結果を求め、これらの平均値を階調変換結果としている。これにより、その制御領域に隣接する周辺の制御領域の特徴情報を、実施例の場合よりもさらに多く考慮することができるので、各制御領域の境界において、画像の連続性が得られずに画像の不整合が発生することを、より抑制することが可能となる。
【００６９】
また、１つの制御領域の大きさを、第１の区分パターンによる１つの領域の１／１６の大きさとすることができるので、比較的大きな領域ごとにその特徴情報を求めることにより、その領域の１／１６の大きさの制御領域ごとに異なった階調変換を実行することが可能となる。これにより、特徴情報を取得する領域の大きさを比較的大きくすることにより、処理に要する時間を、実施例に比べてさらに少なくすることができる。
【００７０】
Ｃ．第２実施例の階調特性変換部：
図９は、第２実施例の階調特性変換部の構成を示す説明図である。第２実施例の階調特性変換部２０Ｂは、第１実施例の階調特性変換部２０の階調変換処理部２４０を階調変換処理部２４０Ｂに置き変えた構成を有している。なお、階調特性変換部２０Ｂは、階調変換処理部２４０Ｂを除いて第１実施例の階調特性変換部２０と同じである。
【００７１】
階調変換処理部２４０Ｂは、制御領域特徴情報取得部２４６と、制御領域階調変換処理部２４８とを備えている。制御領域特徴情報取得部２４６では、図４に示した制御領域Ｃｏｐごとに、これを特定する第１領域群の領域Ａｉｊに対して第１領域特徴情報取得部２２２ａで取得される第１領域特徴情報と、第２領域群の領域Ｂｍｎに対して第２領域特徴情報取得部２２２ｂで取得される第２領域特徴情報とに基づいて、この制御領域に対応する画像の特徴情報（以下、「制御領域特徴情報」とも呼ぶ）を求める。
【００７２】
制御領域階調変換処理部２４８では、第１実施例の第１領域階調変換処理部２４２ａおよび第２領域階調変換処理部２４２ｂと同様に、入力輝度信号を、その輝度信号の対応する制御領域に対して求められた制御領域特徴情報に基づいて制御領域階調変換特性を決定する。そして、入力輝度信号を、その輝度信号の対応する制御領域階調変換特性に基づいて階調変換し、その階調変換結果を出力する。
【００７３】
図１０は、第２実施例における階調変換処理動作の例を示す説明図である。図１０の例も、図５の例と同様に、コントラストの向上を図るために、上式（１）〜（４）に、特徴情報である最小値ＹＳｍｉｎ、最大値ＹＳｍａｘおよび平均値ＡＰＬの３つのパラメータを入力することにより決定される階調変換特性の例を示している。
【００７４】
入力輝度信号Ｙｉｎの表す画像の対応する制御領域に対して、制御領域特徴情報取得部２４６では、その制御領域の輝度信号の平均値ＡＰＬ、最小値Ｙｓｍｉｎ、および最大値Ｙｓｍａｘを、この制御領域を特定する第１の領域群の領域Ａｉｊにおける輝度信号の平均値ＡＰＬ（Ａ）、最小値ＹＳｍｉｎ（Ａ）、および最大値ＹＳｍａｘ（Ａ）と、第２の領域群分の領域Ｂｍｎにおける輝度信号の平均値ＡＰＬ（Ｂ）、最小値ＹＳｍｉｎ（Ｂ）、および最大値ＹＳｍａｘ（Ｂ）とに基づいて求める。
【００７５】
制御領域における輝度信号の平均値ＡＰＬは、例えば、ＡＰＬ（Ａ）とＡＰＬ（Ｂ）とを平均することにより求めることができる。制御領域における輝度信号の最小値ＹＳｍｉｎは、ＹＳｍｉｎ（Ａ）とＹＳｍｉｎ（Ｂ）のいずれか小さい方とし、最大値ＹＳｍａｘは、ＹＳｍａｘ（Ａ）とＹＳｍａｘ（Ｂ）のいずれか大きい方とすることができる。最小値および最大値も２つの平均値とすることも可能であるが、ダイナミックレンジを考えると、最小値はいずれか小さいほうとし、最大値はいずれか大きい方とすることが好ましい。
【００７６】
制御領域階調変換処理部２４８では、入力輝度信号Ｙｉｎの表す画像の対応する制御領域に対して、取得された制御領域特徴情報に基づいて上式（１）〜（４）に従って、図１０に示すように、制御領域階調変換特性が決定される。そして、決定された制御領域階調変換特性に基づいて輝度信号Ｙｉｎに対する階調変換結果Ｙｏｕｔが求められる。
【００７７】
以上説明したように、階調変換処理部２４０Ｂにおいても、制御領域ごとに、これを特定する２種類の領域群の領域に対して取得された２種類の領域特徴情報により求められた制御領域特徴情報に基づいて制御領域階調変換特性が決定され、これに従って、その制御領域に対応する画像の輝度信号に対する階調変換結果が求められる。従って、本実施例の階調特性変換部２０Ｂを用いても、第１実施例と同様の効果を得ることができる。
【００７８】
なお、第２実施例の階調特性変換部２０Ｂも、第１実施例の階調特性変換部２０に対する変形例２０Ａと同様に、第１領域特徴情報取得部２２２ａおよび第２領域特徴情報取得部２２２ｂに加えて第３領域特徴情報取得部２２２ｃおよび第４領域特徴情報取得部２２２ｄを備えた特徴情報取得部２２０Ａに置き換えた構成とすることができる。
【００７９】
Ｄ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【００８０】
Ｄ１．変形例１：
上記第１実施例および第２実施例では、第１の区分パターンにおける横方向および縦方向の区分位置を、横方向にＮｃｂ／２画素および縦方向にＮｒｂ／２画素ずつシフトさせた２種類の区分パターンを用いて領域が重なるようにしている。また、第１実施例の変形例では、第１の区分パターンにおける横方向および縦方向の区分位置を、横方向にＮｃｂ／４画素および縦方向にＮｒｂ／４画素ずつ順にシフトさせた４種類の区分パターンを用いて領域が重なるようにしている。しかしながら、これに限定されるものではなく、例えば、それぞれ大きさの異なる領域を有する異なった区分パターンを用いて領域が重なるようにしても良い。すなわち、種々の異なったｎ種類の区分パターンを利用することが可能である。
【００８１】
Ｄ２．変形例２：
上記実施例の特徴情報取得部２２０では、特徴情報として少なくとも輝度信号の最大値、最小値および平均値を取得する場合を例に示しているが、輝度ヒストグラム等の種々の特徴情報を取得することも可能である。
【００８２】
Ｄ３．変形例３：
上式（１）〜（４）により決定された階調変換特性は、コントラストの向上を図るための一例であり、これに限定されるものではなく、画像の明るさや暗さ、鮮やかさ等の種々の特徴情報をパラメータとする変換式により決定される階調変換特性を適用するようにしてもよい。
【００８３】
Ｄ４．変形例４：
上記実施例では、輝度信号に対して階調変換処理を実行する場合を示している。しかしながら、これに限定されるものではなく、クロマ信号に対して同様に階調変換処理を実行することも可能である。また、ＲＧＢ信号のそれぞれに対して同様に階調変換処理を実行することも可能である。
【００８４】
Ｄ５．変形例５：
上記実施例の画像表示装置では、非発行型の表示デバイスである液晶パネルを用いたプロジェクタを例に説明しているが、これに限定されるものではない。例えば、非発光型の表示デバイスであるＤＭＤ（ＴＩ社の商標）をライトバルブと呼ばれる光変調素子として用いたプロジェクタにも適用可能である。また、プロジェクタに限らず直視型の画像表示装置にも適用可能である。また、発光型の表示デバイスを用いた投写型の画像表示装置や直視型の画像表示装置にも適用可能である。
【図面の簡単な説明】
【図１】本発明を適用した画像表示装置の全体構成を示すブロック図である。
【図２】第１実施例の階調特性変換部の構成を示す説明図である。
【図３】第１の区分パターンによる第１の領域群および第２の区分パターンによる第２の領域群を示す説明図である。
【図４】第１の領域群の領域および第２の領域群の領域により特定される制御領域について示す説明図である。
【図５】第１実施例における階調変換処理動作の例を示す説明図である。
【図６】第１実施例の階調変換処理の効果について示す説明図である。
【図７】第１実施例の階調特性変換部の変形例を示す説明図である。
【図８】特徴情報取得部における区分パターンを示す説明図である。
【図９】第２実施例の階調特性変換部の構成を示す説明図である。
【図１０】第２実施例における階調変換処理動作の例を示す説明図である。
【図１１】従来の手法による不具合について示す説明図である。
【符号の説明】
１０…入力処理部
２０…階調特性変換部
３０…液晶パネル駆動部（ＬＣＤ駆動部）
４０…液晶パネル（液晶ディスプレイパネル）
５０…照明装置
６０…投写光学系
７０…制御部
２１０…第１のフォーマット変換部
２２０…特徴情報取得部
２２０Ａ…特徴情報取得部
２２２ａ…第１領域特徴情報取得部
２２２ｂ…第２領域特徴情報取得部
２２２ｃ…第３領域特徴情報取得部
２２２ｄ…第４領域特徴情報取得部
２４０…階調変換処理部
２４２ａ…第１領域階調変換処理部
２４２ｂ…第２領域階調変換処理部
２４４…平均化処理部
２４０Ａ…階調変換処理部
２４２ｃ…第３領域階調変換処理部
２４２ｄ…第４領域階調変換処理部
２４０Ｂ…階調変換処理部
２４６…制御領域特徴情報取得部
２４８…制御領域階調変換処理部
２５０…バッファ部
２６０…第２のフォーマット変換部
【発明の属する技術分野】
この発明は、画像信号の階調特性を制御することにより、表示される画像の高画質化を図る技術に関する。
【０００２】
【従来の技術】
画像表示装置として、画像を投写表示するプロジェクタが普及しつつある。このプロジェクタは、液晶パネルのような非発光型の表示デバイスをライトバルブと呼ばれる光変調装置として用い、照明光を変調することにより画像を表示する投写型の画像表示装置である。なお、このような非発光型の表示デバイスを用いた直視型の画像表示装置もある。
【０００３】
非発光型の表示デバイスを用いた画像表示装置では、一般に、ＣＲＴ等の発光型の表示デバイスを用いた画像表示装置に比べて、コントラストが低く高画質化のネックとなっている。このため、コントラストを向上させて画質の向上を図ることが望まれている。
【０００４】
画像のコントラストを向上させる従来の第１の手法として、入力画像信号の特徴を検出し、検出した特徴に基づいて画像信号の階調特性を動的に制御する手法が提案されている（例えば、特許文献１および特許文献２参照）。また、第２の手法として、表示された画像の任意の領域をユーザが選択して、選択領域の画像の画質を調整する手法が提案されている（例えば、特許文献３参照）。
【０００５】
【特許文献１】
特開２００２−３６６１２１号公報
【特許文献２】
特開平９−１４９２５７号公報
【特許文献３】
特開平１１−１４６２１９号公報
【０００６】
【発明が解決しようとする課題】
しかし、従来の第１の手法では、以下で説明するような不具合が発生する。図１１は、従来の手法による不具合について示す説明図である。図１１は、１つの画像中に、明るい画像領域と暗い画像領域の異なった特徴を有する画像領域が混在する画像を示している。
【０００７】
従来の第１の手法では、１つの画像を表す画像信号のすべてに対して、同一の階調変換特性に基づいて階調特性の制御を実行している。このため、図１１に示した混在画像に対して、例えば、暗い画像領域のコントラストを向上させるように画像信号の階調変換特性を設定したとする。これにより、暗い画像領域に対しては、良好な階調特性の制御を行って画質の向上を図ることができる。しかしながら、暗い画像に合わせて設定された階調変換特性では、明るい画像領域の明側および暗側の画像がつぶれてしまい、明るい画像領域に対しては却って画質の劣化を招く場合がある。
【０００８】
また、従来の第２の手法では、いったん画像を表示し、調整したい領域を選択する必要があり、自動的に画質の調整することができないため、動画像の表示に適用することができない。
【０００９】
以上説明したように、従来の手法では、１つの画像中に異なった特徴の画像領域が混在するような場合について、十分に工夫されていないという問題があった。なお、上述のような異なった特徴の画像領域が混在する画像の画質調整の問題は、非発光型の表示デバイスを用いた画像表示装置だけでなく、発光型の表示デバイスを用いた画像表示装置においても発生する問題である。
【００１０】
この発明は、従来技術における上述の課題を解決するためになされたものであり、異なった特徴の画像領域が混在する画像を表す画像信号の階調特性をうまく制御することのできる技術を提供することを目的とする。
【００１１】
【課題を解決するための手段およびその作用・効果】
上記目的を達成するために、本発明の装置は、入力画像信号に基づく画像を表示する画像表示装置であって、
前記入力画像信号の表す画像を複数の領域に区分する区分パターンをあらかじめｎ種類定義し、それぞれの区分パターンに従って得られたｎ種類分の領域群のそれぞれにおいて、その領域群の各領域に対応する領域画像の特徴を表す特徴情報を前記領域ごとに取得する特徴情報取得部と、
前記ｎ種類の領域群同士の重ね合わせにより新たに区分される制御領域群を定義し、前記制御領域群の制御領域ごとに、その制御領域を特定する前記ｎ種類の領域群のｎ種類の領域に対して取得されているｎ種類の領域特徴情報に基づいて、その制御領域に対応する制御画像を表す信号の階調を変換する階調変換処理部と、
を備えることを特徴とする。
【００１２】
上記画像表示装置では、ある制御領域を特定するｎ種類の領域のそれぞれに対して取得されているｎ種類の領域特徴情報に基づいて、その制御領域に対応する制御画像を表す信号の階調を変換することができる。これにより、異なった特徴の画像領域が混在する画像に対して、それぞれの画像領域ごとに適切な階調変換特性を決定して、良好な階調特性の制御を行うことができる。
【００１３】
ここで、前記特徴情報取得部は、前記ｎ種類の領域群に対応してｎ個の領域特徴情報取得部を有しており、
各領域特徴情報取得部は、前記入力画像信号の表す画像を、対応する区分パターンに従って区分される領域群の各領域に対応する領域画像の特徴を表す領域特徴情報を前記領域ごとに取得することが好ましい。
【００１４】
こうすれば、制御領域群の制御領域ごとに、その制御領域を特定するｎ種類の領域群のｎ種類の領域に対してｎ種類の領域特徴情報を容易に取得することが可能である。
【００１５】
また、前記階調変換処理部は、
前記ｎ種類の領域群に対応して設けられたｎ個の領域階調変換処理部と、
前記ｎ個の領域階調変換処理部から供給されるｎ種類の領域階調変換結果の平均値を求めて、前記制御領域に対応する制御画像を表す信号の階調変換結果とする平均化処理部と、を備え、
前記各領域階調変換処理部は、対応する領域群における前記制御領域を特定する領域に対して取得されている領域特徴情報に基づいて、領域階調変換特性を決定するとともに、決定された領域階調変換特性に従って、前記制御領域に対応する制御画像を表す信号の階調を変換して前記領域階調変換結果を取得するようにしてもよい。
【００１６】
あるいは、前記階調変換処理部は、
前記ｎ種類の領域特徴情報に基づいて、前記制御領域に対応する制御画像に対する制御領域特徴情報を求める制御領域特徴情報取得部と、
前記制御領域特徴情報に基づいて制御領域階調変換特性を決定するとともに、前記制御領域階調変換特性に従って、前記制御領域に対応する制御画像を表す信号の階調変換結果を取得する制御領域階調変換処理部と、
を備えるようにしてもよい。
【００１７】
階調変換処理部を、上記いずれのように構成しても、ある制御領域を特定するｎ種類の領域に対して取得されているｎ種類の領域特徴情報に基づいて、容易に、その制御領域に対応する制御画像を表す信号の階調を変換することができる。
【００１８】
なお、本発明は、種々の形態で実現することが可能であり、例えば、画像表示方法および装置、画像処理方法および装置、階調特性変換方法および装置等の種々の形態で実現することができる。
【００１９】
【発明の実施の形態】
次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．画像表示装置の全体構成：
Ｂ．第１実施例の階調特性変換部：
Ｂ１．フォーマット変換部およびバッファ部：
Ｂ２．特徴情報取得部：
Ｂ３．階調変換処理部：
Ｂ４．変形例：
Ｃ．第２実施例の階調特性変換部：
Ｄ．変形例：
【００２０】
Ａ．画像表示装置の全体構成：
図１は、本発明を適用した画像表示装置の全体構成を示すブロック図である。この画像表示装置は、入力処理部１０と、階調特性変換装置としての階調特性変換部２０と、画像表示部としての液晶ディスプレイパネル４０（以下、単に「液晶パネル」あるいは「ＬＣＤ」とも呼ぶ）および液晶パネル駆動部３０と、制御部７０とを備えている。また、この画像表示装置はいわゆるプロジェクタであり、画像表示部には、液晶パネル４０を照明するための照明装置５０と、液晶パネル４０から射出された画像を表す光（画像光）をスクリーンＳＣ上に投写する投写光学系６０とを備えている。
【００２１】
なお、液晶パネル４０は、照明装置５０から射出された照明光を、液晶パネル駆動部３０からの駆動信号に応じて変調し、変調された光（画像を表す「画像光」とも呼ぶ）を出力する。また、図示は省略されているが、液晶パネル４０は、Ｒ、Ｇ、Ｂ用の３枚の液晶パネルを有している。また、照明装置５０は光を３色の光に分離する色光分離光学系を有しており、投写光学系６０は液晶パネル４０からの３色の光を合成する合成光学系を有している。なお、このようなプロジェクタの光学系の構成については、例えば本出願人により開示された特開平１０−１７１０４５号公報に詳述されているので、ここではその説明は省略する。
【００２２】
なお、液晶パネル４０を１枚のカラー液晶パネルとすることも可能である。また、液晶パネル４０を１枚のカラー液晶パネルとし、投写光学系６０を省略して、直視型の画像表示装置とすることも可能である。
【００２３】
制御部７０は、図示しないＣＰＵ、ＲＡＭ、ＲＯＭ等で構成されており、ＲＯＭに記憶されているデータに従って、各ブロックの動作を制御する。また、ＲＯＭに記憶されているデータに従って、入力処理部１０や階調特性変換部２０の種々の設定を実行する。
【００２４】
入力処理部１０は、アナログの入力画像信号ＶＳに含まれる同期信号を除く画像信号（以下、単に「画像信号」と呼ぶ場合もある）を、処理が容易なディジタルの画像信号に変換し、ディジタル画像信号ＤＩＶとして出力する。また、入力処理部１０は、拡大／縮小等の画像表示装置内で一般的に実行される種々の画像処理を実行する。なお、画像信号のフォーマットはＲＧＢ信号形式である。ただし、画像信号のフォーマットはＲＧＢ信号形式に限定されるものではなく、ＹＣ信号形式等の種々の信号形式であってもよい。
【００２５】
階調特性変換部２０は、後述するように、入力処理部１０から出力されたディジタル画像信号ＤＩＶに対して階調変換を行う。階調特性変換部２０から出力された階調変換後のディジタル画像信号ＤＯＶは、液晶パネル駆動部３０に供給される。
【００２６】
液晶パネル駆動部３０は、与えられたディジタル画像信号ＤＯＶに応じて、液晶パネル４０を駆動するための駆動信号を生成する。液晶パネル４０は、照明装置５０による照明光を、駆動信号に応じて変調する。変調された光は、画像光として投写光学系６０を介してスクリーンＳＣ上に投写される。これにより、スクリーンＳＣ上に画像が表示される。
【００２７】
Ｂ．第１実施例の階調特性変換部：
図２は、第１実施例の階調特性変換部の構成を示す説明図である。階調特性変換部２０は、第１のフォーマット変換部２１０と、特徴情報取得部２２０と、階調変換処理部２４０と、バッファ部２５０と、第２のフォーマット変換部２６０とを備えている。以下では、各ブロックの構成および動作について説明する。
【００２８】
Ｂ１．フォーマット変換部およびバッファ部：
第１のフォーマット変換部２１０は、ディジタル画像信号ＤＩＶの信号形式をＹＣ信号形式に変換する。本例では、ＲＧＢ信号形式をＹＣ信号形式に変換する例を示している。ただし、これに限定されるものではなく、ディジタル画像信号ＤＩＶの信号形式に応じて、その信号形式をＹＣ信号形式に変換するものが適用される。なお、ディジタル画像信号ＤＩＶの信号形式がＹＣ信号形式ならば、第１のフォーマット変換部２１０は省略可能である。
【００２９】
バッファ部２５０は、第１のフォーマット変換部２１０から出力されるＣ信号（色差信号あるいはクロマ信号）と、階調変換処理部２４０から出力される変換処理後のＹ信号（輝度信号）との時間的なタイミングを調整する。
【００３０】
第２のフォーマット変換部２６０は、後述する階調変換処理部２４０から供給される階調変換後のＹ信号、およびバッファ部２５０から供給されるタイミング調整後のＣ信号を、ＲＧＢ信号形式の信号に変換する。
【００３１】
Ｂ２．特徴情報取得部：
特徴情報取得部２２０は、第１領域特徴情報取得部２２２ａおよび第２領域特徴情報取得部２２２ｂを備えている。第１領域特徴情報取得部２２２ａは、図３（ａ）に示すように、入力されるＹ信号（輝度信号）の表す画像を、縦横複数画素ごとにマトリクス状に区分する第１の区分パターンに従った第１の領域群に区分する。そして、第１の領域群に含まれる領域ごとに、これに対応する領域画像を表す輝度信号の特徴情報（以下、「第１領域特徴情報」とも呼ぶ）を取得する。
【００３２】
また、第２領域特徴情報取得部２２２ｂは、図３（ｂ）に示すように、輝度信号の表す画像を、第１の区分パターンと異なる第２の区分パターンに従った第２の領域群に区分する。そして、第２の領域群に含まれる領域ごとに特徴情報（以下、「第２領域特徴情報」とも呼ぶ）を取得する。
【００３３】
ここで、図３（ａ）および（ｂ）は、横方向（行方向）にＮｃ画素（＝６４画素）で縦方向（列方向）にＮｒ画素（＝４８画素）の画像の例を示している。
【００３４】
第１の区分パターンは、図３（ａ）に示すように、横方向にＮｃｂ画素（＝１６画素）で縦方向にＮｒｂ画素（＝１６画素）ごとに区分し、横方向に４領域で縦方向に３領域の領域Ａｉｊ（ｉは１〜３の整数、ｊは１〜４の整数）を有する区分パターンの例を示している。ただし、横方向および縦方向の区分の間隔は一例であって、これに限定されるものではなく、種々の間隔とすることが可能である。
【００３５】
これに対し、第２の区分パターンは、図３（ｂ）に示すように、図３（ａ）の第１の区分パターンにおける横方向および縦方向の区分位置を、横方向にＮｃｂ／２画素（＝８画素）および縦方向にＮｒｂ／２画素（＝８画素）だけシフトさせ、横方向に５領域で縦方向に４領域の領域Ｂｍｎ（ｍは１〜４の整数、ｎは１〜５の整数）を有する区分パターンが用いられる。第２の区分パターンの場合、上から第２行目と第３行目の左から第２列目から第４列目の領域Ｂ２２〜Ｂ２４，Ｂ３２〜Ｂ３４は、第１の区分パターンにおける領域Ａｉｊと同じで、横方向の画素数がＮｃｂで縦方向の画素数がＮｒｂの領域となる。しかしながら、他の領域、すなわち、上から第１行目の領域Ｂ１１〜Ｂ１５および第４行目の領域Ｂ４１〜Ｂ４５の縦方向の画素数はＮｒｂ／２画素（＝８画素）となり、左から第１列目の領域Ｂ１１〜Ｂ４１および第５列目の領域Ｂ１５〜Ｂ４５の横方向の画素数はＮｃｂ／２（＝８画素）となる。
【００３６】
なお、特徴情報としては、領域画像を表す輝度信号の最小値、最大値、平均値、輝度ヒストグラム等の種々の特徴量が考えられる。本実施例では、領域ごとに、輝度信号の最小値、最大値および平均値が少なくとも求められる。
【００３７】
Ｂ３．階調変換処理部：
階調変換処理部２４０は、図２に示すように、第１領域階調変換処理部２４２ａと、第２領域階調変換処理部２４２ｂと、平均化処理部２４４とを備えている。
【００３８】
第１領域階調変換処理部２４２ａでは、以下で説明するように、第１領域特徴情報取得部２２２ａで取得された第１領域特徴情報に基づいて階調変換特性（以下、「第１領域階調変換特性」とも呼ぶ）が決定される。入力輝度信号は、決定された第１領域階調変換特性に基づいて階調変換され、その結果（以下、「第１領域階調変換結果」とも呼ぶ）が出力される。
【００３９】
第２領域階調変換処理部２４２ｂでも、以下で説明するように、第２領域特徴情報取得部２２２ｂで取得された第２領域特徴情報に基づいて階調変換特性（以下、「第２領域階調変換特性」とも呼ぶ）が決定される。入力輝度信号は、決定された第２領域階調変換特性に基づいて階調変換され、その結果（以下、「第２領域階調変換結果」とも呼ぶ）が出力される。
【００４０】
そして、平均化処理部２４４では、第１領域階調変換結果と第２領域階調変換結果の平均値が求められて、階調変換結果として出力される。
【００４１】
以下では、さらに、具体的に、第１領域階調変換処理部２４２ａ、第２領域階調変換処理部２４２ｂ、および平均化処理部２４４の動作を説明する。
【００４２】
ここで、図３（ａ）の第１の区分パターンによる第１の領域群と図３（ｂ）の第２の区分パターンによる第２の領域群とを重ね合わせると、図４（ａ）に示すように、第１の区分パターンにおける区分線（破線で示す）および第２の区分パターンにおける区分線（一点鎖線で示す）により新たに区分されるマトリクス状の領域（以下、「制御領域」とも呼ぶ）Ｃｏｐ（ｏは１〜６の整数、ｐは１〜８の整数）を定義することができる。
【００４３】
図４（ｂ）に示すように、例えば、制御領域Ｃ１１は第１の領域群の領域Ａ１１と第２の領域群の領域Ｂ１１、制御領域Ｃ１２は第１の領域群の領域Ａ１１と第２の領域群の領域Ｂ１２というように、各制御領域Ｃｏｐは、第１の領域群の対応する領域Ａｉｊと第２の領域群の対応する領域Ｂｍｎの組み合わせにより、それぞれ一義的に特定することができる。
【００４４】
そこで、第１領域階調変換処理部２４２ａでは、各制御領域Ｃｏｐを特定する第１領域群の領域Ａｉｊに対して取得された第１領域特徴情報に基づいて第１領域階調変換特性を決定する。そして、入力輝度信号を、その輝度信号の対応する制御領域に対して決定される第１領域階調変換特性に基づいて階調変換し、第１領域階調変換結果として出力する。
【００４５】
同様に、第２領域階調変換処理部２４２ｂでも、各制御領域Ｃｏｐを特定する第２領域群の領域Ｂｍｎに対して取得された第２領域特徴情報に基づいて第２領域階調変換特性を決定する。そして、入力輝度信号を、その輝度信号の対応する制御領域の第２領域階調変換特性に基づいて階調変換し、第２領域階調変換結果として出力する。
【００４６】
そして、平均化処理部２４４では、第１領域階調変換結果と第２領域階調変換結果の平均値を求めて、入力輝度信号に対応する階調変換結果として出力する。
【００４７】
図５は、ある制御領域における階調変換処理動作の例を示す説明図である。図５は、コントラストの向上を図るために、下式（１）〜（４）に、特徴情報である最小値ＹＳｍｉｎ、最大値ＹＳｍａｘおよび平均値ＡＰＬの３つのパラメータを入力することにより決定される階調変換特性の例を示している。
【００４８】
Ｙｏｕｔ＝ＹＯｍｉｎ（＝０） ：ＹＩｍｉｎ（＝０）≦Ｙｉｎ＜ＹＳｍｉｎ …（１）
Ｙｏｕｔ＝（ＡＰＬ−ＹＯｍｉｎ）・Ｙｉｎ／（ＡＰＬ−ＹＳｍｉｎ） ：ＹＳｍｉｎ≦Ｙｉｎ＜ＡＰＬ …（２）
Ｙｏｕｔ＝（ＹＯｍａｘ−ＡＰＬ）・Ｙｉｎ／（ＹＳｍａｘ−ＡＰＬ） ：ＡＰＬ≦Ｙｉｎ＜ＹＳｍａｘ …（３）
Ｙｏｕｔ＝ＹＯｍａｘ（＝１０２３） ：ＹＳｍａｘ≦Ｙｉｎ＜ＹＩｍａｘ（＝１０２３） …（４）
【００４９】
上記（１）〜（４）式は、輝度信号Ｙｉｎのとり得る階調範囲（ＹＩｍｉｎ〜ＹＯｍａｘ、本例では０〜１０２３の１０ビットの階調範囲）に対して、ある領域内の入力輝度信号Ｙｉｎの最小値がＹＳｍｉｎ（ＹＩｍｉｎ≦ＹＳｍｉｎ）、最大値がＹＳｍａｘ（ＹＳｍａｘ≦ＹＩｍａｘ）、平均値がＡＰＬである場合に、入力輝度信号Ｙｉｎに対する出力輝度信号Ｙｏｕｔが、平均値ＡＰＬを基準として出力ダイナミックレンジの最大範囲（ＹＯｍｉｎ〜ＹＯｍａｘ、本例では０〜１０２３の１０ビットの階調範囲）に変換される階調変換特性を示している。
【００５０】
なお、この階調変換特性では、平均値ＡＰＬに対する出力輝度信号の値を変化させずに、平均値ＡＰＬよりも小さい入力輝度信号および大きい入力輝度信号に対する出力輝度信号の変化の範囲を直線的に伸張している。輝度信号の平均値ＡＰＬはその画像の特徴を大きく表しており、平均値ＡＰＬに対する出力輝度信号が変化すると、その画像の印象が変化してしまう可能性が大きい。上記のように決定された階調変換特性では、入力輝度信号の平均値ＡＰＬに対する出力輝度信号の値を基準とすることにより、画像の印象が変化してしまうことを抑制しつつ、コントラストの向上を図ることが可能である。
【００５１】
第１領域階調変換処理部２４２ａでは、入力輝度信号Ｙｉｎの表す画像の対応する制御領域を特定する第１の領域群の領域Ａｉｊに対して取得された第１領域特徴情報に基づいて、図５に示すように、上式（１）〜（４）に従った第１領域階調変換特性が決定される。そして、決定された第１領域階調変換特性に基づいて、入力輝度信号Ｙｉｎに対する第１領域階調変換結果Ｙｏｕｔ（Ａ）が求められる。
【００５２】
同様に、第２領域階調変換処理部２４２ｂでは、制御領域を特定する第２の領域群の領域Ｂｍｎに対して取得された第２領域特徴情報に基づいて、図５に示すように、上式（１）〜（４）に従った第２領域階調変換特性が決定される。そして、決定された第２領域階調変換特性に基づいて、入力輝度信号Ｙｉｎに対する第２領域階調変換結果Ｙｏｕｔ（Ｂ）が求められる。
【００５３】
平均化処理部２４４では、第１領域階調変換結果Ｙｏｕｔ（Ａ）および第２領域階調変換結果Ｙｏｕｔ（Ｂ）の平均値が求められ、入力輝度信号Ｙｉｎに対する階調変換結果Ｙｏｕｔとして出力される。
【００５４】
以上説明したように、本実施例の階調変換処理部においては、各制御領域を特定する２種類の領域群の領域に対して取得された２種類の領域特徴情報に基づいて、２種類の領域階調変換特性が決定される。そして、決定された２種類の領域階調変換特性に従って、その制御領域に対応する画像の輝度信号に対する２種類の領域階調変換結果を求め、これらの平均値を階調変換結果としている。これにより、以下で説明する効果を得ることが可能である。
【００５５】
制御領域ごとに、その制御領域に対応する画像の輝度信号に対して、それぞれの制御領域に対応して取得された特徴情報に基づいて決定された階調変換特性に従って階調変換することができるので、制御領域ごとの画像の特徴に応じて良好な階調変換を行うことが可能となる。これにより、従来十分に工夫されていなかった１つの画像中に複数の異なる特徴の画像領域が混在するような場合においても、それぞれの異なった特徴の画像領域ごとに良好な階調特性の制御を自動的に行って、画質の向上を図ることが可能となる。
【００５６】
また、次のような効果を得ることが可能である。図６は、本実施例の階調変換処理による効果について示す説明図である。図６は、制御領域の一部を拡大して示している。例えば、１つの制御領域Ｃ２２に着目する。この制御領域Ｃ２２を特定する第１の領域群の領域はＡ１１であり、第２の領域郡の領域はＢ２２である。ここで、第１の領域群の領域Ａ１１は、Ｃ１１、Ｃ１２、Ｃ２１、およびＣ２２の４つの制御領域を含んでいるので、この領域Ａ１１について取得された第１領域特徴情報には、制御領域Ｃ２２以外のこれに隣接する他の３つの制御領域Ｃ１１、Ｃ１２、およびＣ２１に対応する画像の特徴情報も含まれることになる。
【００５７】
また、第２の領域群の領域Ｂ２２は、Ｃ２２、Ｃ２３、Ｃ３２、およびＣ３３の４つの制御領域を含んでいるので、この領域Ｂ２２について取得された第２領域特徴情報には、制御領域Ｃ２２以外のこれに隣接する他の３つの制御領域Ｃ２３、Ｃ３２、およびＣ３３に対応する画像の特徴情報も含まれることになる。
【００５８】
さらに、上述したように、制御領域ごとに、これを特定する２種類の領域群の領域の２種類の領域特徴情報に基づいて決定される２つの領域郡階調変換特性に従って変換された階調変換結果を平均して、その制御領域に対応する画像の信号の階調変換結果を求めている。
【００５９】
従って、１つの制御領域に対応する画像を表す信号の階調を変換する際に、その制御領域に隣接する周辺の制御領域の特徴情報も考慮されることになる。これにより、各制御領域の境界において、画像の連続性が得られずに画像の不整合が発生することを抑制することが可能となる。
【００６０】
また、次のような効果もある。上述した第２の区分パターンは、第１の区分パターンによる１つの領域の横方向（行方向）の画素数Ｎｃｂおよび縦方向（列方向）の画素数Ｎｒｂをそれぞれ１／２だけずらした区分パターンであるので、第１の区分パターンと第２の区分パターンを重ね合わせることにより区分される１つの制御領域は、第１の区分パターンの１つの領域の１／４の大きさとすることができる。従って、比較的大きな領域ごとにその特徴情報を求めることにより、その領域の１／４の大きさの制御領域ごとに異なった階調変換を実行することが可能となる。これにより、特徴情報を取得する領域の大きさを比較的大きくすることにより、処理に要する時間を少なくすることができるという効果がある。
【００６１】
Ｂ４．変形例：
図７は、第１実施例の階調特性変換部の変形例を示す説明図である。第１実施例の階調特性変換部２０の特徴情報取得部２２０および階調変換処理部２４０は、図７に示した変形例の階調特性変換部２０Ａのように、特徴情報取得部２２０Ａおよび階調変換処理部２４０Ａとすることが可能である。なお、特徴情報取得部２２０Ａおよび階調変換処理部２４０Ａを除く他の構成は、第１実施例の階調特性変換部２０と同じである。
【００６２】
特徴情報取得部２２０Ａは、第１実施例の特徴情報取得部２２０における第１領域特徴情報取得部２２２ａおよび第２領域特徴情報取得部２２２ｂに加えて第３領域特徴情報取得部２２２ｃおよび第４領域特徴情報取得部２２２ｄを備えている。また、階調変換処理部２４０Ａは、第１領域階調変換処理部２４２ａおよび第２領域階調変換処理部２４２ｂに加えて、第３領域特徴情報取得部２２２ｃおよび第４領域特徴情報取得部２２２ｄに対応する第３領域階調変換処理部２４２ｃおよび第４領域階調変換処理部２４２ｄを備えている。さらに、階調変換処理部２４０Ａの平均化処理部２４４は、第３領域階調変換処理部２４２ｃおよび第４領域階調変換処理部２４２ｄの追加に応じて、第１領域群階調変換処理結果〜第４領域群階調変換処理結果の平均値を求める構成に変更されている。
【００６３】
第１領域特徴情報取得部２２２ａ〜第４領域特徴情報取得部２２２ｄは、同様に、入力輝度信号の表す画像を、それぞれ第１の区分パターン〜第４の区分パターンに従って第１の領域群〜第４の領域群に区分する。そして、それぞれ、各領域群に含まれる領域ごとに、これに対応する領域画像を表す輝度信号の特徴情報（以下、「第１領域特徴情報」〜「第４領域特徴情報」とも呼ぶ）を取得する。
【００６４】
ここで、第１の区分パターンは、図８（ａ）に示すように、横方向にＮｃｂ画素で縦方向にＮｒｂ画素ごとに区分する区分パターンであるとする。これに対し、第２の区分パターンは、図８（ｂ）に示すように、図８（ａ）の第１の区分パターンにおける横方向および縦方向の区分位置を、横方向にＮｃｂ／４画素および縦方向にＮｒｂ／４画素だけシフトさせた区分パターンが用いられる。第３の区分パターンは、図８（ｃ）に示すように、図８（ａ）の第１の区分パターンにおける横方向および縦方向の区分位置を、横方向に（Ｎｃｂ・２／４）画素および縦方向に（Ｎｒｂ・２／４）画素だけシフトさせた区分パターン、すなわち、図８（ｂ）の第２の区分パターンにおける横方向および縦方向の区分位置を、さらに、横方向にＮｃｂ／４画素および縦方向にＮｒｂ／４画素だけシフトさせた区分パターンが用いられる。第４の区分パターンは、図８（ｄ）に示すように、図８（ａ）の第１の区分パターンにおける横方向および縦方向の区分位置を、横方向に（Ｎｃｂ・３／４）画素および縦方向に（Ｎｒｂ・３／４）画素だけシフトさせた区分パターン、すなわち、図８（ｃ）の第３の区分パターンにおける横方向および縦方向の区分位置を、さらに、横方向にＮｃｂ／４画素および縦方向にＮｒｂ／４画素だけシフトさせた区分パターンが用いられる。要するに、第１の区分パターンにおける横方向および縦方向の区分位置を、横方向にＮｃｂ／４画素および縦方向にＮｒｂ／４画素ずつ順にシフトさせた４種類の区分パターンが用いられる。
【００６５】
そして、これらの４種類の区分パターンを用いた場合、図８（ｅ）に示すように、第１の区分パターンによる１つの領域の横方向の画素数Ｎｃｂおよび縦方向の画素数Ｎｒｂに対して、横方向にＮｃｂ／４画素で縦方向にＮｒｂ／４画素の大きさ、すなわち、第１の区分パターンによる１つの領域に対して１／１６の大きさの制御領域を定義することができる。
【００６６】
第１領域階調変換処理部２４２ａ〜第４領域群特階調変換処理部２４２ｄでは、入力された輝度信号の表す画像の対応する制御領域に対して、これを特定する第１の領域群〜第４の領域群のそれぞれの領域について取得された第１領域特徴情報〜第４領域特徴情報に基づいて階調変換特性（以下、「第１領域階調変換特性」〜「第４領域階調変換特性」とも呼ぶ）が決定される。そして、その輝度信号は、決定された第１領域階調変換特性〜第４領域階調変換特性に基づいて階調変換され、その結果（以下、「第１領域階調変換結果」〜「第４領域階調変換結果」とも呼ぶ）が出力される。そして、求められた第１領域階調変換結果〜第４領域群階調変換処理結果の平均値が平均化処理部２４４で求められて、階調変換結果として出力される。
【００６７】
以上説明したように、本変形例の階調特性変換部２０Ａでは、制御領域ごとに、その制御領域に対応する画像の輝度信号に対して、それぞれの制御領域に対応して取得された特徴情報に基づいて決定された階調変換特性に従って階調変換することができるので、第１実施例の階調特性変換部２０と同様に、制御領域ごとの画像の特徴に応じて良好な階調変換を行うことが可能となる。これにより、従来十分に工夫されていなかった１つの画像中に複数の異なる特徴の画像領域が混在するような場合においても、それぞれの異なった特徴の画像領域ごとに良好な階調特性の制御を自動的に行って、画質の向上を図ることが可能となる。
【００６８】
また、１つの制御領域に対応する画像を表す信号の階調を変換する際に、その制御領域を特定する４種類の領域群の領域に対して取得された４種類の領域特徴情報に基づいて、４種類の領域階調変換特性が決定される。そして、決定された４種類の領域階調変換特性に従って、その制御領域に対応する画像の輝度信号に対する４種類の領域階調変換結果を求め、これらの平均値を階調変換結果としている。これにより、その制御領域に隣接する周辺の制御領域の特徴情報を、実施例の場合よりもさらに多く考慮することができるので、各制御領域の境界において、画像の連続性が得られずに画像の不整合が発生することを、より抑制することが可能となる。
【００６９】
また、１つの制御領域の大きさを、第１の区分パターンによる１つの領域の１／１６の大きさとすることができるので、比較的大きな領域ごとにその特徴情報を求めることにより、その領域の１／１６の大きさの制御領域ごとに異なった階調変換を実行することが可能となる。これにより、特徴情報を取得する領域の大きさを比較的大きくすることにより、処理に要する時間を、実施例に比べてさらに少なくすることができる。
【００７０】
Ｃ．第２実施例の階調特性変換部：
図９は、第２実施例の階調特性変換部の構成を示す説明図である。第２実施例の階調特性変換部２０Ｂは、第１実施例の階調特性変換部２０の階調変換処理部２４０を階調変換処理部２４０Ｂに置き変えた構成を有している。なお、階調特性変換部２０Ｂは、階調変換処理部２４０Ｂを除いて第１実施例の階調特性変換部２０と同じである。
【００７１】
階調変換処理部２４０Ｂは、制御領域特徴情報取得部２４６と、制御領域階調変換処理部２４８とを備えている。制御領域特徴情報取得部２４６では、図４に示した制御領域Ｃｏｐごとに、これを特定する第１領域群の領域Ａｉｊに対して第１領域特徴情報取得部２２２ａで取得される第１領域特徴情報と、第２領域群の領域Ｂｍｎに対して第２領域特徴情報取得部２２２ｂで取得される第２領域特徴情報とに基づいて、この制御領域に対応する画像の特徴情報（以下、「制御領域特徴情報」とも呼ぶ）を求める。
【００７２】
制御領域階調変換処理部２４８では、第１実施例の第１領域階調変換処理部２４２ａおよび第２領域階調変換処理部２４２ｂと同様に、入力輝度信号を、その輝度信号の対応する制御領域に対して求められた制御領域特徴情報に基づいて制御領域階調変換特性を決定する。そして、入力輝度信号を、その輝度信号の対応する制御領域階調変換特性に基づいて階調変換し、その階調変換結果を出力する。
【００７３】
図１０は、第２実施例における階調変換処理動作の例を示す説明図である。図１０の例も、図５の例と同様に、コントラストの向上を図るために、上式（１）〜（４）に、特徴情報である最小値ＹＳｍｉｎ、最大値ＹＳｍａｘおよび平均値ＡＰＬの３つのパラメータを入力することにより決定される階調変換特性の例を示している。
【００７４】
入力輝度信号Ｙｉｎの表す画像の対応する制御領域に対して、制御領域特徴情報取得部２４６では、その制御領域の輝度信号の平均値ＡＰＬ、最小値Ｙｓｍｉｎ、および最大値Ｙｓｍａｘを、この制御領域を特定する第１の領域群の領域Ａｉｊにおける輝度信号の平均値ＡＰＬ（Ａ）、最小値ＹＳｍｉｎ（Ａ）、および最大値ＹＳｍａｘ（Ａ）と、第２の領域群分の領域Ｂｍｎにおける輝度信号の平均値ＡＰＬ（Ｂ）、最小値ＹＳｍｉｎ（Ｂ）、および最大値ＹＳｍａｘ（Ｂ）とに基づいて求める。
【００７５】
制御領域における輝度信号の平均値ＡＰＬは、例えば、ＡＰＬ（Ａ）とＡＰＬ（Ｂ）とを平均することにより求めることができる。制御領域における輝度信号の最小値ＹＳｍｉｎは、ＹＳｍｉｎ（Ａ）とＹＳｍｉｎ（Ｂ）のいずれか小さい方とし、最大値ＹＳｍａｘは、ＹＳｍａｘ（Ａ）とＹＳｍａｘ（Ｂ）のいずれか大きい方とすることができる。最小値および最大値も２つの平均値とすることも可能であるが、ダイナミックレンジを考えると、最小値はいずれか小さいほうとし、最大値はいずれか大きい方とすることが好ましい。
【００７６】
制御領域階調変換処理部２４８では、入力輝度信号Ｙｉｎの表す画像の対応する制御領域に対して、取得された制御領域特徴情報に基づいて上式（１）〜（４）に従って、図１０に示すように、制御領域階調変換特性が決定される。そして、決定された制御領域階調変換特性に基づいて輝度信号Ｙｉｎに対する階調変換結果Ｙｏｕｔが求められる。
【００７７】
以上説明したように、階調変換処理部２４０Ｂにおいても、制御領域ごとに、これを特定する２種類の領域群の領域に対して取得された２種類の領域特徴情報により求められた制御領域特徴情報に基づいて制御領域階調変換特性が決定され、これに従って、その制御領域に対応する画像の輝度信号に対する階調変換結果が求められる。従って、本実施例の階調特性変換部２０Ｂを用いても、第１実施例と同様の効果を得ることができる。
【００７８】
なお、第２実施例の階調特性変換部２０Ｂも、第１実施例の階調特性変換部２０に対する変形例２０Ａと同様に、第１領域特徴情報取得部２２２ａおよび第２領域特徴情報取得部２２２ｂに加えて第３領域特徴情報取得部２２２ｃおよび第４領域特徴情報取得部２２２ｄを備えた特徴情報取得部２２０Ａに置き換えた構成とすることができる。
【００７９】
Ｄ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【００８０】
Ｄ１．変形例１：
上記第１実施例および第２実施例では、第１の区分パターンにおける横方向および縦方向の区分位置を、横方向にＮｃｂ／２画素および縦方向にＮｒｂ／２画素ずつシフトさせた２種類の区分パターンを用いて領域が重なるようにしている。また、第１実施例の変形例では、第１の区分パターンにおける横方向および縦方向の区分位置を、横方向にＮｃｂ／４画素および縦方向にＮｒｂ／４画素ずつ順にシフトさせた４種類の区分パターンを用いて領域が重なるようにしている。しかしながら、これに限定されるものではなく、例えば、それぞれ大きさの異なる領域を有する異なった区分パターンを用いて領域が重なるようにしても良い。すなわち、種々の異なったｎ種類の区分パターンを利用することが可能である。
【００８１】
Ｄ２．変形例２：
上記実施例の特徴情報取得部２２０では、特徴情報として少なくとも輝度信号の最大値、最小値および平均値を取得する場合を例に示しているが、輝度ヒストグラム等の種々の特徴情報を取得することも可能である。
【００８２】
Ｄ３．変形例３：
上式（１）〜（４）により決定された階調変換特性は、コントラストの向上を図るための一例であり、これに限定されるものではなく、画像の明るさや暗さ、鮮やかさ等の種々の特徴情報をパラメータとする変換式により決定される階調変換特性を適用するようにしてもよい。
【００８３】
Ｄ４．変形例４：
上記実施例では、輝度信号に対して階調変換処理を実行する場合を示している。しかしながら、これに限定されるものではなく、クロマ信号に対して同様に階調変換処理を実行することも可能である。また、ＲＧＢ信号のそれぞれに対して同様に階調変換処理を実行することも可能である。
【００８４】
Ｄ５．変形例５：
上記実施例の画像表示装置では、非発行型の表示デバイスである液晶パネルを用いたプロジェクタを例に説明しているが、これに限定されるものではない。例えば、非発光型の表示デバイスであるＤＭＤ（ＴＩ社の商標）をライトバルブと呼ばれる光変調素子として用いたプロジェクタにも適用可能である。また、プロジェクタに限らず直視型の画像表示装置にも適用可能である。また、発光型の表示デバイスを用いた投写型の画像表示装置や直視型の画像表示装置にも適用可能である。
【図面の簡単な説明】
【図１】本発明を適用した画像表示装置の全体構成を示すブロック図である。
【図２】第１実施例の階調特性変換部の構成を示す説明図である。
【図３】第１の区分パターンによる第１の領域群および第２の区分パターンによる第２の領域群を示す説明図である。
【図４】第１の領域群の領域および第２の領域群の領域により特定される制御領域について示す説明図である。
【図５】第１実施例における階調変換処理動作の例を示す説明図である。
【図６】第１実施例の階調変換処理の効果について示す説明図である。
【図７】第１実施例の階調特性変換部の変形例を示す説明図である。
【図８】特徴情報取得部における区分パターンを示す説明図である。
【図９】第２実施例の階調特性変換部の構成を示す説明図である。
【図１０】第２実施例における階調変換処理動作の例を示す説明図である。
【図１１】従来の手法による不具合について示す説明図である。
【符号の説明】
１０…入力処理部
２０…階調特性変換部
３０…液晶パネル駆動部（ＬＣＤ駆動部）
４０…液晶パネル（液晶ディスプレイパネル）
５０…照明装置
６０…投写光学系
７０…制御部
２１０…第１のフォーマット変換部
２２０…特徴情報取得部
２２０Ａ…特徴情報取得部
２２２ａ…第１領域特徴情報取得部
２２２ｂ…第２領域特徴情報取得部
２２２ｃ…第３領域特徴情報取得部
２２２ｄ…第４領域特徴情報取得部
２４０…階調変換処理部
２４２ａ…第１領域階調変換処理部
２４２ｂ…第２領域階調変換処理部
２４４…平均化処理部
２４０Ａ…階調変換処理部
２４２ｃ…第３領域階調変換処理部
２４２ｄ…第４領域階調変換処理部
２４０Ｂ…階調変換処理部
２４６…制御領域特徴情報取得部
２４８…制御領域階調変換処理部
２５０…バッファ部
２６０…第２のフォーマット変換部
Claims (5)
- 入力画像信号に基づく画像を表示する画像表示装置であって、
前記入力画像信号の表す画像を複数の領域に区分する区分パターンをあらかじめｎ種類定義し、それぞれの区分パターンに従って得られたｎ種類分の領域群のそれぞれにおいて、その領域群の各領域に対応する領域画像の特徴を表す特徴情報を前記領域ごとに取得する特徴情報取得部と、
前記ｎ種類の領域群同士の重ね合わせにより新たに区分される制御領域群を定義し、前記制御領域群の制御領域ごとに、その制御領域を特定する前記ｎ種類の領域群のｎ種類の領域に対して取得されているｎ種類の領域特徴情報に基づいて、その制御領域に対応する制御画像を表す信号の階調を変換する階調変換処理部と、
を備えることを特徴とする画像表示装置。 - 請求項１記載の画像表示装置であって、
前記特徴情報取得部は、前記ｎ種類の領域群に対応してｎ個の領域特徴情報取得部を有しており、
各領域特徴情報取得部は、前記入力画像信号の表す画像を、対応する区分パターンに従って区分される領域群の各領域に対応する領域画像の特徴を表す領域特徴情報を前記領域ごとに取得する、画像表示装置。 - 請求項１記載の画像表示装置であって、
前記階調変換処理部は、
前記ｎ種類の領域群に対応して設けられたｎ個の領域階調変換処理部と、
前記ｎ個の領域階調変換処理部から供給されるｎ種類の領域階調変換結果の平均値を求めて、前記制御領域に対応する制御画像を表す信号の階調変換結果とする平均化処理部と、を備え、
前記各領域階調変換処理部は、対応する領域群における前記制御領域を特定する領域に対して取得されている領域特徴情報に基づいて、領域階調変換特性を決定するとともに、決定された領域階調変換特性に従って、前記制御領域に対応する制御画像を表す信号の階調を変換して前記領域階調変換結果を取得する、画像表示装置。 - 請求項１記載の画像表示装置であって、
前記階調変換処理部は、
前記ｎ種類の領域特徴情報に基づいて、前記制御領域に対応する制御画像に対する制御領域特徴情報を求める制御領域特徴情報取得部と、
前記制御領域特徴情報に基づいて制御領域階調変換特性を決定するとともに、前記制御領域階調変換特性に従って、前記制御領域に対応する制御画像を表す信号の階調変換結果を取得する制御領域階調変換処理部と、
を備える、画像表示装置。 - 入力画像信号の階調特性を制御する階調特性変換装置であって、
前記入力画像信号の表す画像を複数の領域に区分する区分パターンをあらかじめｎ種類定義し、前記ｎ種類の区分パターンに従って区分されるｎ種類の領域群のそれぞれにおいて、その領域群の各領域に対応する領域画像の特徴を表す特徴情報を前記領域ごとに取得する特徴情報取得部と、
前記ｎ種類の領域群同士の重ね合わせにより新たに区分される制御領域群を定義し、前記制御領域群の制御領域ごとに、その制御領域を特定する前記ｎ種類の領域群のｎ種類の領域に対して取得されているｎ種類の領域特徴情報に基づいて、その制御領域に対応する制御画像を表す信号の階調を変換する階調変換処理部と、
を備えることを特徴とする階調特性変換装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003087382A JP4089483B2 (ja) | 2003-03-27 | 2003-03-27 | 異なった特徴の画像が混在する画像を表す画像信号の階調特性制御 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003087382A JP4089483B2 (ja) | 2003-03-27 | 2003-03-27 | 異なった特徴の画像が混在する画像を表す画像信号の階調特性制御 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004294784A true JP2004294784A (ja) | 2004-10-21 |
| JP4089483B2 JP4089483B2 (ja) | 2008-05-28 |
Family
ID=33401781
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003087382A Expired - Lifetime JP4089483B2 (ja) | 2003-03-27 | 2003-03-27 | 異なった特徴の画像が混在する画像を表す画像信号の階調特性制御 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4089483B2 (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007233173A (ja) * | 2006-03-02 | 2007-09-13 | Funai Electric Co Ltd | 液晶表示装置 |
| JP2007241172A (ja) * | 2006-03-13 | 2007-09-20 | Seiko Epson Corp | 動画像表示装置および動画像表示方法 |
| JP2009211708A (ja) * | 2003-09-11 | 2009-09-17 | Panasonic Corp | 階調変換処理装置、テレビジョン、情報携帯端末、カメラ、階調変換処理方法およびプロセッサ |
| JP2010055108A (ja) * | 2005-07-27 | 2010-03-11 | Seiko Epson Corp | 画像表示装置および画像表示方法 |
| US7736069B2 (en) | 2005-07-27 | 2010-06-15 | Seiko Epson Corporation | Moving image display device and moving image display method |
| JP2010256915A (ja) * | 2010-06-07 | 2010-11-11 | Seiko Epson Corp | 動画像表示装置および動画像表示方法 |
| US7911544B2 (en) | 2005-07-08 | 2011-03-22 | Seiko Epson Corporation | Image display device and image display method |
| JP2012073621A (ja) * | 2011-10-31 | 2012-04-12 | Seiko Epson Corp | 画像表示装置、及び画像表示方法 |
| US8165417B2 (en) | 2003-09-11 | 2012-04-24 | Panasonic Corporation | Visual processing device, visual processing method, visual processing program, integrated circuit, display device, image-capturing device, and portable information terminal |
| JP2013081235A (ja) * | 2012-12-13 | 2013-05-02 | Canon Inc | 画像処理装置及び画像処理方法 |
| US9583068B2 (en) | 2014-02-24 | 2017-02-28 | Seiko Epson Corporation | Image display apparatus and method of controlling image display apparatus |
-
2003
- 2003-03-27 JP JP2003087382A patent/JP4089483B2/ja not_active Expired - Lifetime
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009211708A (ja) * | 2003-09-11 | 2009-09-17 | Panasonic Corp | 階調変換処理装置、テレビジョン、情報携帯端末、カメラ、階調変換処理方法およびプロセッサ |
| US8165417B2 (en) | 2003-09-11 | 2012-04-24 | Panasonic Corporation | Visual processing device, visual processing method, visual processing program, integrated circuit, display device, image-capturing device, and portable information terminal |
| US7911544B2 (en) | 2005-07-08 | 2011-03-22 | Seiko Epson Corporation | Image display device and image display method |
| US8334934B2 (en) | 2005-07-08 | 2012-12-18 | Seiko Epson Corporation | Image display device and image display method |
| US8300070B2 (en) | 2005-07-27 | 2012-10-30 | Seiko Epson Corporation | Moving image display device and moving image display method |
| JP2010217914A (ja) * | 2005-07-27 | 2010-09-30 | Seiko Epson Corp | プロジェクターおよび画像投写方法 |
| US7736069B2 (en) | 2005-07-27 | 2010-06-15 | Seiko Epson Corporation | Moving image display device and moving image display method |
| JP2010055108A (ja) * | 2005-07-27 | 2010-03-11 | Seiko Epson Corp | 画像表示装置および画像表示方法 |
| US8902262B2 (en) | 2005-07-27 | 2014-12-02 | Seiko Epson Corporation | Moving image display device and moving image display method |
| JP2007233173A (ja) * | 2006-03-02 | 2007-09-13 | Funai Electric Co Ltd | 液晶表示装置 |
| JP4687515B2 (ja) * | 2006-03-13 | 2011-05-25 | セイコーエプソン株式会社 | 動画像表示装置および動画像表示方法 |
| US7965342B2 (en) | 2006-03-13 | 2011-06-21 | Seiko Epson Corporation | Video image display device and video image display method |
| JP2007241172A (ja) * | 2006-03-13 | 2007-09-20 | Seiko Epson Corp | 動画像表示装置および動画像表示方法 |
| JP2010256915A (ja) * | 2010-06-07 | 2010-11-11 | Seiko Epson Corp | 動画像表示装置および動画像表示方法 |
| JP2012073621A (ja) * | 2011-10-31 | 2012-04-12 | Seiko Epson Corp | 画像表示装置、及び画像表示方法 |
| JP2013081235A (ja) * | 2012-12-13 | 2013-05-02 | Canon Inc | 画像処理装置及び画像処理方法 |
| US9583068B2 (en) | 2014-02-24 | 2017-02-28 | Seiko Epson Corporation | Image display apparatus and method of controlling image display apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4089483B2 (ja) | 2008-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4432818B2 (ja) | 画像表示装置、画像表示方法、および画像表示プログラム | |
| US10440337B2 (en) | Projection apparatus, information processing apparatus, and control methods thereof | |
| JP4064980B2 (ja) | 色信号処理装置およびその方法 | |
| JP3909595B2 (ja) | 表示装置、及びその調光方法 | |
| EP2320412B1 (en) | Image display device, and image display method | |
| WO2010073909A1 (ja) | 画像処理装置及び画像表示装置 | |
| JP4594510B2 (ja) | 透過型画像表示装置および透過型画像表示装置の駆動方法 | |
| US20100165218A1 (en) | Display Device, Display Method, and Projection Type Display Device | |
| US20090295839A1 (en) | Display device, drive method therefor, and electronic apparatus | |
| JP5843662B2 (ja) | 表示装置及びテレビジョン受信機 | |
| MX2007007533A (es) | Dispositivo de representacion visual secuencial de campo de imagenes de color. | |
| JP2008536165A (ja) | 縞模様を減らすための色変換ユニット | |
| JP3885750B2 (ja) | 異なった特徴の画像が混在する画像を表す画像信号の階調特性制御 | |
| JP2015179253A (ja) | 表示装置及びその制御方法 | |
| JP4089483B2 (ja) | 異なった特徴の画像が混在する画像を表す画像信号の階調特性制御 | |
| JP2015158557A (ja) | 画像表示装置、及び、画像表示装置の制御方法 | |
| JP2008065185A (ja) | 表示コントローラ、表示装置、表示システム、および表示制御方法 | |
| JP6252031B2 (ja) | 電気光学装置の駆動装置、電気光学装置の駆動方法、電気光学装置及び電子機器 | |
| JP2012177770A (ja) | 画像表示装置及びその制御方法 | |
| JP2006153914A (ja) | 液晶プロジェクタ装置 | |
| JP2008116554A (ja) | バックライト制御装置、及び該装置を備えた映像表示装置 | |
| US10134361B2 (en) | Image processing device, projector, and image processing method | |
| JP2010237633A (ja) | プロジェクタ | |
| CN109327689B (zh) | 显示设备及显示方法 | |
| JP2005184048A (ja) | 異なった特徴の画像が混在する画像を表す画像信号の階調特性制御 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050215 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070723 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070828 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080205 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080218 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110307 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120307 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120307 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130307 Year of fee payment: 5 |