JP2004032207A

JP2004032207A - Image display, projector, program and storage medium

Info

Publication number: JP2004032207A
Application number: JP2002183487A
Authority: JP
Inventors: Kazunori Hiramatsu; 平松　和憲
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2002-06-24
Filing date: 2002-06-24
Publication date: 2004-01-29
Anticipated expiration: 2022-06-24
Also published as: JP3960142B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image display in which a decision is made whether a displayed image is a dynamic image or a static image, and optimal image processing is performed for a dynamic image or a static image, especially image processing for obtaining a static image having high image quality is performed by enhancing contrast of the static image, and to provide a projector, a program and a storage medium. <P>SOLUTION: The image display comprises a section 101 for calculating a variation in the luminance distribution of an image between frames being compared, a section 102 for making a decision whether that image is a dynamic image or a static image based on the variation in the luminance distribution, a section 103 performing specified correction of gradation based on the decision results from the deciding section 102, and a section 104 for displaying the image subjected to correction of gradation. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、画像表示装置、プロジェクタ、プログラム及び記憶媒体に関し、詳細には表示される画像のコントラストを向上させるための階調補正、いわゆる白黒伸長処理の技術に関する。
【０００２】
【従来の技術】
液晶プロジェクタをはじめとする画像表示装置において、高コントラストな画像を得る方法が従来知られている。例えば、特許公報第２９３６７９１号公報等に、画像の平均輝度を中心にして、輝度分布に応じてコントラスト特性曲線の傾きを変えること、即ち適応的に階調補正すること（適応型階調補正）が提案されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、基本的には画像ごとに階調補正特性が異なる。従って、上記適応型階調補正を行う場合、画像ごとに明るさが変化してしまう。特に、画像が連続的に変化する動画の場合、不自然な輝度変動が発生するおそれがある。このため、一般的に動画では顕著な階調補正は行いにくい。一方、静止画の場合、表示されている画像が一定であるか、又は画像の切り替わりがあっても数秒〜数十秒以上の時間間隔がある。このことから、静止画では、コントラストをより高める階調補正を行っても、上述のような不自然な輝度変動は生じにくい。
【０００４】
また、近年のプロジェクタに代表される大型ディスプレイは、インフォメーション表示やプレゼンテーション用途に使用される場合も多い。この場合、動画像のみならず、静止画像の自然画等を表示することが多い。そして、静止画像は、観察者にじっくりと観察されるため高コントラストであることが望ましい。
【０００５】
このように、動画ではコントラストを高める階調補正を行いにくいのに対し、静止画では容易にコントラストを高める階調補正を行うことができる。従って、静止画に好適な階調補正特性と、動画に好適な階調補正特性とが異なる。このため、静止画と動画とにそれぞれ好適な階調補正を行うことは困難であり問題である。
【０００６】
本発明は、上記問題に鑑みてなされたものであり、表示されている画像が動画又は静止画であるかを判定し、動画又は静止画に最適な画像処理、特に静止画のコントラストを向上させて高画質な静止画像を得る画像処理を行う画像表示装置、プロジェクタ、プログラム及び記憶媒体を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決し、その目的を達成するために、本発明は、比較するフレーム間における画像の輝度分布の変化量を算出する輝度分布変化量算出部と、前記変化量に基づいて所定の階調補正処理を行う階調補正処理部と、前記階調補正処理された画像を表示する表示部とを有することを特徴とする画像表示装置を提供する。これにより、動画又は静止画に最適な画像処理を行い、特に静止画のコントラストを向上させて高画質な静止画像を得ることができる。
【０００８】
また、本発明の好ましい態様によれば、前記輝度分布変化量算出部は、一定のシーンの表示時間を複数のシーンについて総和する総和算出部と、前記複数のシーンの数を前記総和した値で除した値を算出する頻度算出部とからなることが望ましい。これにより、輝度分布変化の頻度に基づいて動画、静止画の判定を正確に行うことができる。
【０００９】
また、本発明の好ましい態様によれば、前記輝度分布変化量算出部は、１フレーム時間あたりの輝度分布の変化量を算出することが望ましい。これにより、輝度分布変化量に基づいて動画、静止画の判定を正確に行うことができる。
【００１０】
また、本発明の好ましい態様によれば、前記階調補正処理部は、シーンの変化に同期して、前記所定の階調補正処理を行うことが望ましい。これにより、階調補正の特性を切り換えた際の、輝度変化を低減できる。
【００１１】
また、本発明の好ましい態様によれば、前記階調補正処理部は、前記輝度分布の変化量に基づいて段階的に前記所定の階調補正処理を行うことが望ましい。これにより、さらに自然な階調補正処理を行うことができる。
【００１２】
また、本発明によれば、光源光を供給する光源部と、画像信号に応じて前記光源部からの光を変調する空間変調素子と、前記空間変調素子からの画像を表示する上記の画像表示装置と、前記画像処理された画像を投写する投写レンズとを有することを特徴とするプロジェクタを提供できる。これにより、スクリーンに投写された動画又は静止画に最適な画像処理、特に静止画のコントラストを向上させて高画質な静止画像を得ることができる。
【００１３】
また、本発明によれば、階調補正された画像を表示する画像表示装置用のプログラムであり、コンピュータにより読み取り可能なプログラムであって、比較するフレーム間における画像の輝度分布の変化量を算出する輝度分布変化量算出手段と、前記輝度分布の変化量に基づいて所定の階調補正処理を行う階調補正処理手段と、前記画像処理された画像を表示する表示手段としてコンピュータを機能させることを特徴とするプログラムを提供する。これにより、動画又は静止画に最適な画像処理を行い、特に静止画のコントラストを向上させて高画質な静止画像を得ることができる。
【００１４】
また、本発明によれば、コンピュータにより読み取り可能な情報記憶媒体であって、上記のプログラムを記憶したことを特徴とする情報記憶媒体を提供する。これにより、コンピュータに上述のプログラムを簡便に実行させることができる。
【００１５】
【発明の実施の形態】
以下に添付図面を参照して、本発明の好適な実施形態を詳細に説明する。
（第１実施形態）
図１は、本発明の第１実施形態に係る画像表示装置１００の概略構成を示す図である。不図示の画像信号入力部からは、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分解された画像の信号が入力される。輝度分布変化量算出部１０１は、比較するフレーム間における画像の輝度分布の変化量を算出する。動画静止画判定部１０２は、前記輝度分布の変化量に基づいて前記画像が動画及び静止画の何れかの画像であるかを判定する。階調補正処理部１０３は、動画静止画判定部１０２の判定結果に基づいて所定の階調補正処理を行う。表示部１０４は、階調補正処理された画像を表示する。
【００１６】
図２（ａ）は、階調補正特性の例を示す図である。横軸は入力輝度信号値を示し、本実施形態では、０から２５５までの値を取る。また縦軸は出力輝度信号値を示し、同様に０から２５５までの値を取る。また、１つのフレームの全ての画素の輝度信号値を平均した値を画像平均輝度（Ａｖｅｒａｇｅ　ＰｉｃｔｕｒｅＬｅｖｅｌ）とし、それをＬｍｉｄで表す。画像表示装置１００は、この画像平均輝度Ｌｍｉｄを中心として階調補正を行う。図２（ａ）では、破線で示す補正前の特性曲線Ａが、実線で示す補正後の特性曲線Ｂに変換される。出力輝度信号値をＬｏｕｔ、入力輝度信号値をＬｉｎとすると、特性曲線Ａは、Ｌｏｕｔ＝Ｌｉｎで表され、特性曲線Ｂは、Ｌｏｕｔ＝Ｋ・（Ｌｉｎ−Ｌｍｉｄ）＋Ｌｍｉｄで表される。この式からわかるように特性曲線Ｂは、係数Ｋを傾きとする直線である。この係数Ｋは、後述するように、シーンチェンジの頻度または輝度分布の変化量に応じて求まる。特性曲線Ｂで表される階調補正処理を画像に施すと、特性曲線Ａと比べて、画像の黒い表示の部分がさらに黒く（黒伸長）なり、白い表示の部分はさらに白く（白伸長）なる。このため、画像のダイナミックレンジが広がり、高コントラストな画像を得ることができる。ところで、図２（ａ）では、階調補正後の特性曲線Ｂの傾きＫ（係数Ｋ）は、画像平均輝度の黒側と白側で同一である。しかしながらこれに限られず、係数Ｋがシーンチェンジの頻度または輝度分布の変化量に応じて求まるのであれば、黒側と白側の傾きＫ（係数Ｋ）を異ならせても良い。
【００１７】
図２（ｂ）は、階調補正処理部１０３の構成を説明する図である。階調補正処理部１０３は、例えばＲＧＢ信号のうちのＲに対応するＲ画像信号Ｒｉｎに対して、入力輝度信号値毎に定められる値である伸長倍率αをかけて階調補正を行う。そして、階調補正されたＲ画像信号はＲｏｕｔとして出力される。つまり、階調補正処理部は、Ｒｏｕｔ＝α・Ｒｉｎの演算を行う。階調補正処理部１０３は、Ｇ画像信号ＧｉｎおよびＢ画像信号Ｂｉｎも同様に処理する。ここで、αと入力・出力輝度信号値との関係は以下の通りである。
α＝｛Ｋ・（Ｌｉｎ−Ｌｍｉｄ）＋Ｌｍｉｄ｝／Ｌｉｎ＝Ｌｏｕｔ／Ｌｉｎ
ここで、Ｌｉｎは、入力されたＲ、Ｇ、Ｂ信号値によって決まる輝度値であり、例えば、Ｌｉｎ＝（Ｒｉｎ＋Ｇｉｎ＋Ｂｉｎ）／３で求まる。
【００１８】
本実施形態では、動画、静止画の判定の基準となる値として、画像の輝度分布の変化量を用いる。この変化量として、輝度分布変化の頻度ｆｒｅｑと、１フレームあたりの輝度分布の変化量Ｓとのいずれかのパラメータを用いることができる。まず、画像の輝度分布変化の頻度ｆｒｅｑを用いて動画、静止画の判定をする手順について説明する。
【００１９】
輝度分布変化の頻度ｆｒｅｑを算出するためには、輝度分布変化（以下、「シーンチェンジ」という）を予め判定する必要がある。図３（ａ）、（ｂ）、（ｃ）に基づいてシーンチェンジの判定について説明する。図３（ａ）、（ｂ）、（ｃ）は、横軸には輝度レベルｋを、縦軸には画素数をとって、輝度分布の形状を示す図（以下、「輝度分布ヒストグラム」という。）である。図３（ａ）は、比較する２つのフレームのうち、１つ前のフレームａ−１の輝度分布ヒストグラムＨａ−１（ｋ）である。図３（ｂ）は、フレームａ−１に続くフレームａの輝度分布ヒストグラムＨａ（ｋ）である。図３（ｃ）は、フレームａ−１とフレームａとの差分の絶対値の輝度分布ヒストグラムである。そして、次式（１）に基づいて、シーンチェンジ検出基準値βを算出する。
【００２０】
【数１】

【００２１】
ここで、
Ｈ_ａ−１：１つ前のフレームａ−１の輝度分布ヒストグラム；
Ｈ_ａ：フレームａの輝度分布ヒストグラム；
β：シーンチェンジ検出基準値．
【００２２】
次に、輝度分布変化量検出部１０１は、シーンチェンジ検出基準値βと、所定の閾値ｔｈとを比較する。そして、β＞ｔｈの場合に、シーンチェンジが有ると判定する。次に、輝度分布算出部１０１は、次式（２）に基づいて過去ｍ回分の輝度分布変化の頻度ｆｒｅｑを算出する。頻度ｆｒｅｑの単位は、１／ｓｅｃ又は１／ｆｒａｍｅである。
【００２３】
【数２】

【００２４】
図４は、輝度分布変化の頻度ｆｒｅｑの概念を説明する図である。横軸は時間又はフレーム数を示す。後述する手順により、所定の時間Ｔ_ａｌｌの範囲において、時刻ＴＴ_{ｉ−ｍ＋１}、ＴＴ_ｉ−２、ＴＴ_ｉ−１、ＴＴ_ｉの時にシーンチェンジしたと判定される場合を考える。そして、シーンチェンジの時間間隔がそれぞれ間隔ｔ_{ｉ−ｍ＋１}、ｔ_ｉ−２、ｔ_ｉ−１、ｔ_ｉである。頻度ｆｒｅｑの値が小さくなればなるほど、シーンチェンジの時間間隔が長くなる。この場合は、画像の動きの少ない静止画の状態が継続している状態である。
【００２５】
図５は、上記式（２）で算出された輝度分布変化の頻度ｆｒｅｑに基づいて、階調補正する手順を示すフローチャートである。ステップＳ５０１において、タイマー値がゼロにリセットされる。ステップＳ５０２において、輝度分布変化量算出部１０１は、上記式（１）に従ってシーンチェンジ検出基準値βを算出する。ステップＳ５０３において、動画静止画判定部１０２により、シーンチェンジ検出基準値βが所定の閾値ｔｈよりも大きいか否かが判断される。判断結果が偽の場合、ステップＳ５０２へ戻り、さらに次のフレームに対するシーンチェンジ検出基準値βが算出される。判断結果が真の場合、ステップＳ５０４へ進む。ステップＳ５０４において、パラメータｔにタイマー値を代入する。ステップＳ５０５において、ｍ個の配列メモリ｛Ｔ（ｍ−１）、Ｔ（ｍ−２）、・・・Ｔ（０）｝に対して、最新のｍ回分のタイマー値を代入する。次に、ステップＳ５０６において、上式（２）に基づいて輝度分布変化の頻度ｆｒｅｑが算出される。本実施の形態では、シーンチェンジとシーンチェンジとの間の期間を一定のシーン期間と呼ぶ。１つのシーン期間には、少なくとも１つのフレーム期間が含まれる。本実施の形態によれば、所定回数のシーンチェンジが生じるのに必要な時間間隔を求めることで、頻度ｆｒｅｑが算出される。
【００２６】
ステップＳ５０７において、階調補正値である伸長倍率αを算出する。図７（ａ）は、頻度ｆｒｅｑと伸長倍率αとの関係を示す階調補正特性図である。上述のように、頻度ｆｒｅｑの値が小さくなればなるほど、シーンチェンジの時間間隔が長くなる。この場合は、画像の動きの少ない静止画が継続している状態である。このため、図７（ａ）に示すように、頻度ｆｒｅｑの値が小さくなればなるほど係数Ｋを大きくする。逆に、頻度ｆｒｅｑの値が大きくなればなるほど係数Ｋを小さくする。頻度ｆｒｅｑの値の増大にあわせて、係数Ｋを１に近づけてもよい。この階調補正特性図に従って、頻度ｆｒｅｑに最適な伸長倍率αを求める。そして、階調補正処理部１０３は、伸長倍率αに基づいて階調補正を行う。
【００２７】
ステップＳ５０８において、階調補正が終了したか否かが判断される。判断結果が真の場合、一連の処理は終了する。例えば、ユーザが階調補正のＯＦＦを設定した場合、画像表示装置１へ入力される信号が切り換わる場合、画像表示装置１の電源がＯＦＦされる場合などである。これに対して、ステップＳ５０８の判断結果が偽の場合、ステップＳ５０１へ戻り、上述の手順を繰り返す。
【００２８】
また、好ましくは、階調補正処理部１０３は、前記シーンチェンジが生じた時ＴＴ_{ｉ−ｍ＋１}、ＴＴ_ｉ−２、ＴＴ_ｉ−１、ＴＴ_ｉに同期して、階調補正処理を行うことが望ましい。これにより、階調補正の特性（係数Ｋ）を切り換える際の輝度変化を低減できる。
【００２９】
また、好ましくは、階調補正処理部１０３は、輝度分布変化の頻度ｆｒｅｑに基づいて段階的に階調補正処理を行うことが望ましい。例えば、伸長倍率αを切り換えるときに、段階的に、３０〜６０段階くらいに伸長倍率αを分けて徐々に切り換えることが望ましい。１フレーム期間が１／６０秒とした場合、３０〜６０段階に分けると、０．５〜１．０秒程度の伸長倍率αの変化となる。これにより、より自然な階調補正処理を行うことができる。
【００３０】
また、本実施形態では、所定の時間Ｔ_ａｌｌ（図４）を、例えば３０秒から数分の間で選択することが望ましい。この時間Ｔ_ａｌｌを長くすることで、より正確なシーンチェンジ判定を行うことができる。
【００３１】
次に、画像の輝度分布変化量Ｓを用いて動画、静止画の判定をする手順について説明する。画像の輝度分布変化量Ｓは、上述したシーンチェンジ検出基準値βに基づいて次式（３）により算出する。
【００３２】
【数３】

【００３３】
ここで、Ｌは、比較しているフレームの数を示している。輝度分布変化量Ｓは、１フレーム時間あたりの輝度分布変化量に対応している。次に、図６は、上記式（３）で算出された輝度分布変化量Ｓに基づいて、階調補正する手順を示すフローチャートである。ステップＳ６０１において、輝度分布変化量算出部１０１は、上記式（１）に基づいてシーンチェンジ検出基準値βを算出する。ステップＳ６０２において、配列ＢにＬ個の最新の輝度分布変化量βを代入する。次に、ステップＳ６０３において、上記式（３）に基づいて輝度分布変化量Ｓが算出される。そして、ステップＳ６０４において、階調補正値である係数Ｋを算出する。図７（ｂ）は、変化量Ｓと係数Ｋとの関係を示す階調補正特性図である。輝度分布変化量Ｓの値が小さくなればなるほど、シーンチェンジの時間間隔が長くなる。この場合は、画像の動きの少ない静止画が継続している状態である。このため、図７（ｂ）に示すように、輝度分布変化量Ｓの値が小さくなればなるほど係数Ｋを大きくする。逆に、輝度分布変化量Ｓの値が大きくなればなるほど係数Ｋを小さくする。輝度分布変化量Ｓの値の増大にあわせて、係数Ｋを１に近づけてもよい。この階調補正特性図に従って、変化量Ｓに最適な伸長倍率αを求める。そして、階調補正処理部１０３は、伸長倍率αに基づいて階調補正を行う。
【００３４】
ステップＳ６０５において、階調補正が終了したか否かが判断される。判断結果が真の場合、一連の処理は終了する。例えば、ユーザが階調補正のＯＦＦを設定した場合、画像表示装置１へ入力される信号が切り換わる場合、画像表示装置１の電源がＯＦＦされる場合などである。これに対して、ステップＳ６０５の判断結果が偽の場合、ステップＳ６０１へ戻り、上述の手順を繰り返す。
【００３５】
上述の手順においては、輝度分布ヒストグラムはバッファに保持しておけば良い。また、輝度分布ヒストグラムは、画像の位置情報を含んでいないためデータ容量が小さいという利点を有する。従来、画像の動きを検出するためには、例えば公知のブロックパターンマッチング法等を使用する。ブロックパターンマッチング法では、画像情報を記憶しておくためにフレームメモリを要する。このため、非常に大きい記憶容量が必要となってしまう。これに対して、本実施形態では、動き検出ではなく、輝度分布変化量の頻度ｆｒｅｑや輝度分布変化量Ｓにより動画、静止画の判定を行っている。このため、少ないデータ容量で迅速、確実に上記判定を行うことができる。
【００３６】
図８は、画像表示装置１００内の階調補正処理を行うハードウエアのブロック図である。図８に示すハードウエアでは、ＣＰＵ８００、ＲＯＭ８０２、ＲＡＭ８０４、情報記憶媒体８０６、画像生成ＩＣ８１０、Ｉ／Ｏ（入出力ポート）８２０がシステムバス８１６により相互にデータ送受信可能に接続されている。そして、Ｉ／Ｏ８２０を介してコンピュータ等の機器に接続されている。
【００３７】
そして、上記ハードウエアのためのプログラムとして、階調補正された画像を表示する画像表示装置用のプログラムであり、コンピュータにより読み取り可能なプログラムであって、比較するフレーム間における画像の輝度分布の変化量を算出する輝度分布変化量算出手段と、前記輝度分布の変化量に基づいて所定の階調補正処理を行う階調補正処理手段と、前記画像処理された画像を表示する表示手段としてコンピュータを機能させることを特徴とするプログラムを用いることが望ましい。
【００３８】
図１に示した画像信号入力部の機能は、例えばＲＡＭ８０４を用いて実現できる。輝度分布変化量検出部１０１、動画静止画判定部１０２、階調補正処理部１０３の機能は、例えば、ＣＰＵ８００と画像生成ＩＣ８１０とＲＡＭ８０４とを用いて実現できる。
【００３９】
なお、輝度分布変化量検出部１０１、動画静止画判定部１０２、階調補正処理部１０３の機能を情報記憶媒体８０６からコンピュータにプログラムを読み取らせて実現することも可能である。また、情報記憶媒体８０６としては、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、光磁気ディスク、ＩＣカード、ＲＯＭカートリッジ、パンチカードやバーコード等の符号が印刷された印刷物、コンピュータの内部記憶装置（ＲＡＭやＲＯＭ等のメモリ）及び外部記憶装置等、コンピュータによって読み取ることができる種々の媒体を用いることができる。そのプログラムの読み取り方式は接触方式であっても、非接触方式であっても良い。
【００４０】
また、情報記憶媒体８０６に代えて、上述した各機能を実現するためにプログラムを、伝送路を介してホスト装置等からダウンロードすることによって上述した各機能を実現することも可能である。
【００４１】
（第２実施形態）
図９は、本発明の第２実施形態に係るプロジェクタ９００の概略構成を示す図である。本体部９１０は、照明光を供給する光源部９０１と、画像信号に応じて前記光源部からの光を変調する空間変調素子９０２と、空間変調素子からの画像を表示する上記第１実施形態に記載の画像表示装置１００とを備えている。そして、投写レンズ系９２０は、変調された映像をスクリーン９３０上に拡大して投写する。
【００４２】
また、本発明は、液晶プロジェクタ、ティルト・ミラー・デバイスを用いる画像表示装置、ＣＲＴ、ＬＣＤ、有機ＥＬ、プラズマディスプレイ、ＬＥＤディスプレイ等をはじめあらゆる方式の画像表示装置にも適用可能である。
【００４３】
【発明の効果】
以上説明したように、本発明によれば、表示されている画像が動画又は静止画であるかを判定し、動画又は静止画に最適な画像処理、特に静止画のコントラストを向上させて高画質な静止画像を得る画像処理を行う画像表示装置、プロジェクタ、プログラム及び記憶媒体を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る画像表示装置の概略構成を示す図である。
【図２】（ａ）は階調補正特性を示す図、（ｂ）は上記第１実施形態における階調補正処理部の構成示す図である。
【図３】（ａ）〜（ｃ）は輝度分布ヒストグラムである。
【図４】輝度分布変化の頻度の概念を説明する図である。
【図５】輝度分布変化の頻度に基づいて階調補正処理を行う手順を示すフローチャートである。
【図６】輝度分布変化量に基づいて階調補正処理を行う手順を示すフローチャートである。
【図７】（ａ）、（ｂ）はそれぞれ階調補正特性を示す図である。
【図８】上記第１実施形態に係る画像表示装置のブロック図である。
【図９】本発明の第２実施形態に係るプロジェクタの概略構成を示す図である。
【符号の説明】
１００　　画像表示装置
１０１　　輝度分布変化量算出部
１０２　　動画静止画判定部
１０３　　階調補正処理部
１０４　　表示部
８００　　ＣＰＵ
８０２　　ＲＯＭ
８０４　　ＲＡＭ
８０６　　情報記憶媒体
８１０　　画像生成ＩＣ
８１６　　システムバス
８２０　　Ｉ／Ｏ
９００　　プロジェクタ
９１０　　本体部
９２０　　投写レンズ系
９３０　　スクリーン[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image display device, a projector, a program, and a storage medium, and more particularly, to a technology of gradation correction for improving contrast of a displayed image, that is, a so-called black-and-white expansion process.
[0002]
[Prior art]
2. Description of the Related Art A method of obtaining a high-contrast image in an image display device such as a liquid crystal projector has been conventionally known. For example, Japanese Patent Publication No. 2936791 discloses changing the slope of a contrast characteristic curve in accordance with a luminance distribution around an average luminance of an image, that is, adaptively performing gradation correction (adaptive gradation correction). Has been proposed.
[0003]
[Problems to be solved by the invention]
However, basically, the gradation correction characteristics are different for each image. Therefore, when performing the adaptive gradation correction, the brightness changes for each image. In particular, in the case of a moving image in which an image changes continuously, unnatural luminance fluctuation may occur. For this reason, it is generally difficult to perform remarkable gradation correction in a moving image. On the other hand, in the case of a still image, the displayed image is constant or there is a time interval of several seconds to several tens of seconds or more even when the image is switched. For this reason, in a still image, the above-described unnatural luminance fluctuation is unlikely to occur even if gradation correction for further increasing the contrast is performed.
[0004]
In addition, large displays represented by recent projectors are often used for information display and presentation purposes. In this case, not only moving images but also natural images of still images are often displayed. It is desirable that the still image has a high contrast so that the observer can carefully observe the still image.
[0005]
As described above, it is difficult to perform the gradation correction for increasing the contrast in a moving image, but can easily perform the gradation correction for increasing the contrast in a still image. Therefore, tone correction characteristics suitable for still images and tone correction characteristics suitable for moving images are different. For this reason, it is difficult and problematic to perform suitable gradation correction for still images and moving images, respectively.
[0006]
The present invention has been made in view of the above-described problem, and determines whether a displayed image is a moving image or a still image, and performs image processing optimal for the moving image or the still image, and particularly, improves the contrast of the still image. Display device, projector, program, and storage medium for performing image processing for obtaining a high-quality still image by using the same.
[0007]
[Means for Solving the Problems]
In order to solve the above problems and achieve the object, the present invention provides a luminance distribution change amount calculation unit that calculates a change amount of a luminance distribution of an image between frames to be compared, and a predetermined floor based on the change amount. An image display device comprising: a gradation correction processing unit that performs a tone correction process; and a display unit that displays an image on which the gradation correction process has been performed. As a result, image processing optimal for a moving image or a still image can be performed, and particularly, the contrast of the still image can be improved to obtain a high-quality still image.
[0008]
Further, according to a preferred aspect of the present invention, the luminance distribution change amount calculation unit includes a total calculation unit that totals display times of a certain scene for a plurality of scenes, and a value obtained by summing the number of the plurality of scenes. It is desirable to include a frequency calculator for calculating the divided value. This makes it possible to accurately determine whether a moving image or a still image is based on the frequency of a change in the luminance distribution.
[0009]
Further, according to a preferred aspect of the present invention, it is preferable that the luminance distribution change amount calculating section calculates a luminance distribution change amount per one frame time. This makes it possible to accurately determine whether a moving image or a still image is based on the amount of change in the luminance distribution.
[0010]
According to a preferred aspect of the present invention, it is preferable that the gradation correction processing section performs the predetermined gradation correction processing in synchronization with a scene change. As a result, it is possible to reduce a change in luminance when the characteristic of the gradation correction is switched.
[0011]
According to a preferred aspect of the present invention, it is preferable that the gradation correction processing section performs the predetermined gradation correction processing stepwise based on the amount of change in the luminance distribution. Thereby, a more natural tone correction process can be performed.
[0012]
Further, according to the present invention, a light source unit that supplies light source light, a spatial modulation element that modulates light from the light source unit according to an image signal, and the image display that displays an image from the spatial modulation element It is possible to provide a projector, comprising: a device; and a projection lens that projects the image processed image. Thereby, it is possible to obtain a high-quality still image by improving image processing optimal for a moving image or a still image projected on the screen, particularly, by improving the contrast of the still image.
[0013]
According to the present invention, there is provided a program for an image display device for displaying a gradation-corrected image, the program being readable by a computer, and calculating a change amount of a luminance distribution of an image between frames to be compared. And a computer functioning as a display means for displaying the image-processed image, a gradation correction processing means for performing predetermined gradation correction processing based on the change amount of the luminance distribution, and a display means for displaying the image-processed image. A program characterized by the following is provided. As a result, image processing optimal for a moving image or a still image can be performed, and particularly, the contrast of the still image can be improved to obtain a high-quality still image.
[0014]
Further, according to the present invention, there is provided an information storage medium readable by a computer, wherein the information storage medium stores the above-mentioned program. This allows the computer to easily execute the above-described program.
[0015]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
(1st Embodiment)
FIG. 1 is a diagram showing a schematic configuration of an image display device 100 according to the first embodiment of the present invention. From an image signal input unit (not shown), an image signal separated into red (R), green (G), and blue (B) is input. The brightness distribution change amount calculation unit 101 calculates the change amount of the brightness distribution of the image between the frames to be compared. The moving image / still image determining unit 102 determines whether the image is a moving image or a still image based on the change amount of the luminance distribution. The gradation correction processing unit 103 performs a predetermined gradation correction process based on the determination result of the moving image / still image determination unit 102. The display unit 104 displays the image on which the gradation correction processing has been performed.
[0016]
FIG. 2A is a diagram illustrating an example of the gradation correction characteristic. The horizontal axis indicates the input luminance signal value, and takes a value from 0 to 255 in the present embodiment. The vertical axis indicates the output luminance signal value, which similarly takes a value from 0 to 255. Further, a value obtained by averaging the luminance signal values of all the pixels in one frame is defined as an image average luminance (Average Picture Level), and is represented by Lmid. The image display device 100 performs gradation correction centering on the image average luminance Lmid. In FIG. 2A, a characteristic curve A before correction indicated by a broken line is converted into a characteristic curve B after correction indicated by a solid line. Assuming that the output luminance signal value is Lout and the input luminance signal value is Lin, the characteristic curve A is represented by Lout = Lin, and the characteristic curve B is represented by Lout = K · (Lin−Lmid) + Lmid. As can be seen from this equation, the characteristic curve B is a straight line having the coefficient K as a slope. The coefficient K is determined according to the frequency of scene changes or the amount of change in the luminance distribution, as described later. When the image is subjected to the gradation correction process represented by the characteristic curve B, the black display portion of the image becomes blacker (black extension) and the white display portion becomes whiter (white extension) as compared with the characteristic curve A. Become. Therefore, the dynamic range of the image is widened, and a high-contrast image can be obtained. Incidentally, in FIG. 2A, the slope K (coefficient K) of the characteristic curve B after gradation correction is the same on the black side and the white side of the image average luminance. However, the present invention is not limited to this, and the slope K (coefficient K) between the black side and the white side may be different as long as the coefficient K is determined according to the frequency of scene changes or the amount of change in the luminance distribution.
[0017]
FIG. 2B is a diagram illustrating the configuration of the gradation correction processing unit 103. For example, the gradation correction processing unit 103 performs gradation correction on the R image signal Rin corresponding to R in the RGB signal by multiplying the R image signal Rin by an expansion magnification α that is a value determined for each input luminance signal value. Then, the R image signal whose gradation has been corrected is output as Rout. That is, the gradation correction processing unit performs an operation of Rout = α · Rin. The gradation correction processing unit 103 processes the G image signal Gin and the B image signal Bin in the same manner. Here, the relationship between α and the input / output luminance signal values is as follows.
α = {K · (Lin−Lmid) + Lmid} / Lin = Lout / Lin
Here, Lin is a luminance value determined by the input R, G, and B signal values, and is obtained, for example, by Lin = (Rin + Gin + Bin) / 3.
[0018]
In the present embodiment, the amount of change in the luminance distribution of an image is used as a reference value for determination of a moving image or a still image. Any of the parameters of the frequency freq of the brightness distribution change and the change amount S of the brightness distribution per frame can be used as the change amount. First, a procedure for judging a moving image or a still image using the frequency freq of the luminance distribution change of the image will be described.
[0019]
In order to calculate the frequency freq of the luminance distribution change, it is necessary to determine the luminance distribution change (hereinafter, referred to as “scene change”) in advance. The determination of a scene change will be described based on FIGS. 3 (a), 3 (b) and 3 (c). FIGS. 3A, 3B, and 3C are diagrams showing the shape of the luminance distribution with the horizontal axis representing the luminance level k and the vertical axis representing the number of pixels (hereinafter referred to as “luminance distribution histogram”). )). FIG. 3A shows the luminance distribution histogram Ha-1 (k) of the immediately preceding frame a-1 of the two frames to be compared. FIG. 3B is a luminance distribution histogram Ha (k) of the frame a following the frame a-1. FIG. 3C is a luminance distribution histogram of the absolute value of the difference between the frame a-1 and the frame a. Then, a scene change detection reference value β is calculated based on the following equation (1).
[0020]
(Equation 1)

[0021]
here,
Ha _-1 : the luminance distribution histogram of the previous frame a-1;
H _a: the luminance distribution histogram of the frame a;
β: scene change detection reference value.
[0022]
Next, the luminance distribution change amount detection unit 101 compares the scene change detection reference value β with a predetermined threshold th. If β> th, it is determined that a scene change has occurred. Next, the luminance distribution calculation unit 101 calculates the frequency freq of the luminance distribution change for the past m times based on the following equation (2). The unit of the frequency freq is 1 / sec or 1 / frame.
[0023]
(Equation 2)

[0024]
FIG. 4 is a diagram for explaining the concept of the frequency freq of the luminance distribution change. The horizontal axis indicates time or the number of frames. Consider a case in which it is determined that a scene change has occurred at times TT _{i−m + 1} , TT _i−2 , TT _i−1 , and TT _i within a predetermined time T _all by a procedure described later. The time intervals of the scene change are intervals t _{i-m + 1} , t _i-2 , t _i-1 , and t _i , respectively. The smaller the value of the frequency freq, the longer the time interval between scene changes. In this case, the state of the still image in which the motion of the image is small continues.
[0025]
FIG. 5 is a flowchart showing a procedure for performing tone correction based on the frequency freq of the luminance distribution change calculated by the above equation (2). In step S501, the timer value is reset to zero. In step S502, the luminance distribution change amount calculation unit 101 calculates the scene change detection reference value β according to the above equation (1). In step S503, the moving image / still image determination unit 102 determines whether the scene change detection reference value β is larger than a predetermined threshold th. If the determination result is false, the process returns to step S502, and the scene change detection reference value β for the next frame is calculated. If the determination is true, the process proceeds to step S504. In step S504, a timer value is substituted for the parameter t. In step S505, the latest m timer values are assigned to the m array memories {T (m-1), T (m-2),... T (0)}. Next, in step S506, the frequency freq of the luminance distribution change is calculated based on the above equation (2). In the present embodiment, a period between scene changes is referred to as a fixed scene period. One scene period includes at least one frame period. According to the present embodiment, the frequency freq is calculated by obtaining a time interval required for a predetermined number of scene changes to occur.
[0026]
In step S507, an extension magnification α that is a gradation correction value is calculated. FIG. 7A is a gradation correction characteristic diagram showing a relationship between the frequency freq and the expansion magnification α. As described above, the smaller the value of the frequency freq, the longer the time interval between scene changes. In this case, a still image with little motion of the image continues. For this reason, as shown in FIG. 7A, the coefficient K increases as the value of the frequency freq decreases. Conversely, the coefficient K is reduced as the value of the frequency freq increases. The coefficient K may be made closer to 1 in accordance with an increase in the value of the frequency freq. According to the gradation correction characteristic diagram, an optimum expansion magnification α for the frequency freq is obtained. Then, the gradation correction processing unit 103 performs gradation correction based on the extension magnification α.
[0027]
In step S508, it is determined whether the gradation correction has been completed. If the result of the determination is true, a series of processing ends. For example, the case where the user sets the gradation correction OFF, the case where the signal input to the image display device 1 is switched, and the case where the power of the image display device 1 is turned off. On the other hand, if the determination result in step S508 is false, the process returns to step S501, and the above procedure is repeated.
[0028]
Preferably, the gradation correction processing unit 103 performs the gradation correction processing in synchronization with TT _{i−m + 1} , TT _i−2 , TT _i−1 , and TT _i when the scene change occurs. desirable. As a result, it is possible to reduce a change in luminance when the characteristic (coefficient K) of the gradation correction is switched.
[0029]
Preferably, it is desirable that the gradation correction processing unit 103 performs the gradation correction processing stepwise based on the frequency freq of the luminance distribution change. For example, when switching the extension magnification α, it is desirable to gradually switch the extension magnification α in steps of about 30 to 60 steps. If one frame period is set to 1/60 second, the extension magnification α changes by about 0.5 to 1.0 second when divided into 30 to 60 steps. As a result, more natural tone correction processing can be performed.
[0030]
In the present embodiment, it is desirable to select the predetermined time T _all (FIG. 4) from, for example, 30 seconds to several minutes. By lengthening the time T _all , more accurate scene change determination can be performed.
[0031]
Next, a procedure for judging a moving image or a still image using the luminance distribution change amount S of an image will be described. The luminance distribution change amount S of the image is calculated by the following equation (3) based on the above-described scene change detection reference value β.
[0032]
[Equation 3]

[0033]
Here, L indicates the number of frames being compared. The luminance distribution change amount S corresponds to the luminance distribution change amount per one frame time. Next, FIG. 6 is a flowchart showing a procedure for performing tone correction based on the luminance distribution change amount S calculated by the above equation (3). In step S601, the luminance distribution change amount calculation unit 101 calculates a scene change detection reference value β based on the above equation (1). In step S602, L latest luminance distribution change amounts β are substituted into array B. Next, in step S603, the luminance distribution change amount S is calculated based on the above equation (3). Then, in step S604, a coefficient K which is a gradation correction value is calculated. FIG. 7B is a gradation correction characteristic diagram showing the relationship between the change amount S and the coefficient K. The smaller the value of the luminance distribution change amount S, the longer the time interval between scene changes. In this case, a still image with little motion of the image continues. Therefore, as shown in FIG. 7B, the coefficient K increases as the value of the luminance distribution change amount S decreases. Conversely, as the value of the luminance distribution change amount S increases, the coefficient K decreases. The coefficient K may be made closer to 1 in accordance with an increase in the value of the luminance distribution change amount S. According to the gradation correction characteristic diagram, the optimum expansion magnification α for the variation S is obtained. Then, the gradation correction processing unit 103 performs gradation correction based on the extension magnification α.
[0034]
In step S605, it is determined whether the gradation correction has been completed. If the result of the determination is true, a series of processing ends. For example, the case where the user sets the gradation correction OFF, the case where the signal input to the image display device 1 is switched, and the case where the power of the image display device 1 is turned off. On the other hand, if the determination result in step S605 is false, the process returns to step S601, and the above-described procedure is repeated.
[0035]
In the above procedure, the luminance distribution histogram may be stored in the buffer. Further, the luminance distribution histogram has an advantage that the data capacity is small because it does not include the position information of the image. Conventionally, in order to detect the motion of an image, for example, a known block pattern matching method or the like is used. In the block pattern matching method, a frame memory is required to store image information. For this reason, a very large storage capacity is required. On the other hand, in the present embodiment, determination of a moving image or a still image is performed based on the frequency freq of the luminance distribution change amount and the luminance distribution change amount S instead of the motion detection. Therefore, the above determination can be made quickly and reliably with a small data capacity.
[0036]
FIG. 8 is a block diagram of hardware for performing gradation correction processing in the image display device 100. In the hardware shown in FIG. 8, a CPU 800, a ROM 802, a RAM 804, an information storage medium 806, an image generation IC 810, and an I / O (input / output port) 820 are connected to each other via a system bus 816 so that data can be transmitted and received therebetween. Then, it is connected to a device such as a computer via an I / O 820.
[0037]
The program for the hardware is a program for an image display device that displays a tone-corrected image, and is a program that can be read by a computer. A luminance distribution change amount calculating means for calculating an amount, a gradation correction processing means for performing a predetermined gradation correction process based on the change amount of the luminance distribution, and a computer as a display means for displaying the image processed image. It is desirable to use a program characterized by functioning.
[0038]
The function of the image signal input unit shown in FIG. 1 can be realized using, for example, the RAM 804. The functions of the luminance distribution change amount detection unit 101, the moving image / still image determination unit 102, and the gradation correction processing unit 103 can be realized using, for example, the CPU 800, the image generation IC 810, and the RAM 804.
[0039]
Note that the functions of the luminance distribution change amount detection unit 101, the moving image / still image determination unit 102, and the gradation correction processing unit 103 can be realized by causing a computer to read a program from the information storage medium 806. Examples of the information storage medium 806 include a flexible disk, a CD-ROM, a magneto-optical disk, an IC card, a ROM cartridge, a printed matter on which codes such as a punch card and a barcode are printed, and a computer internal storage device (RAM, Various media that can be read by a computer, such as a memory such as a ROM) and an external storage device, can be used. The method of reading the program may be a contact method or a non-contact method.
[0040]
Further, instead of the information storage medium 806, it is also possible to realize each function described above by downloading a program for realizing each function described above from a host device or the like via a transmission path.
[0041]
(2nd Embodiment)
FIG. 9 is a diagram illustrating a schematic configuration of a projector 900 according to the second embodiment of the invention. The main unit 910 includes a light source unit 901 that supplies illumination light, a spatial modulation element 902 that modulates light from the light source unit according to an image signal, and the first embodiment that displays an image from the spatial modulation element. Image display device 100 described above. Then, the projection lens system 920 projects the modulated video image on a screen 930 in an enlarged manner.
[0042]
In addition, the present invention is applicable to any type of image display device including a liquid crystal projector, an image display device using a tilt mirror device, a CRT, an LCD, an organic EL, a plasma display, an LED display, and the like.
[0043]
【The invention's effect】
As described above, according to the present invention, it is determined whether the displayed image is a moving image or a still image, and the image processing optimal for the moving image or the still image, particularly, the contrast of the still image is improved to improve the image quality. It is possible to provide an image display device, a projector, a program, and a storage medium that perform image processing for obtaining a simple still image.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a schematic configuration of an image display device according to a first embodiment of the present invention.
FIG. 2A is a diagram illustrating a tone correction characteristic, and FIG. 2B is a diagram illustrating a configuration of a tone correction processing unit according to the first embodiment.
FIGS. 3A to 3C are luminance distribution histograms.
FIG. 4 is a diagram for explaining a concept of a frequency of a luminance distribution change.
FIG. 5 is a flowchart illustrating a procedure for performing a gradation correction process based on the frequency of a change in luminance distribution.
FIG. 6 is a flowchart illustrating a procedure for performing a gradation correction process based on a luminance distribution change amount.
FIGS. 7A and 7B are diagrams illustrating tone correction characteristics, respectively.
FIG. 8 is a block diagram of the image display device according to the first embodiment.
FIG. 9 is a diagram illustrating a schematic configuration of a projector according to a second embodiment of the invention.
[Explanation of symbols]
Reference Signs List 100 image display device 101 luminance distribution change amount calculation unit 102 moving image still image determination unit 103 gradation correction processing unit 104 display unit 800 CPU
802 ROM
804 RAM
806 Information storage medium 810 Image generation IC
816 System bus 820 I / O
900 Projector 910 Main unit 920 Projection lens system 930 Screen

Claims

A brightness distribution change amount calculation unit that calculates a change amount of the brightness distribution of the image between the frames to be compared,
A gradation correction processing unit that performs a predetermined gradation correction process based on the amount of change,
A display section for displaying the image subjected to the gradation correction processing.

The brightness distribution change amount calculation unit includes a sum calculation unit that sums display time of a certain scene for a plurality of scenes, and a frequency calculation unit that calculates a value obtained by dividing the number of the plurality of scenes by the sum. The image display device according to claim 1, wherein:

The image display device according to claim 1, wherein the brightness distribution change amount calculation unit calculates a change amount of the brightness distribution per one frame time.

The image display device according to claim 1, wherein the gradation correction processing unit performs the predetermined gradation correction processing in synchronization with a change in a scene.

The image display device according to claim 1, wherein the gradation correction processing unit performs the predetermined gradation correction processing stepwise based on the amount of change in the luminance distribution.

A light source unit for supplying light from the light source;
A spatial modulation element that modulates light from the light source unit according to an image signal,
The image display device according to any one of claims 1 to 5, which displays an image from the spatial modulation element.
A projection lens for projecting the displayed image.

A program for an image display device that displays a gradation-corrected image, the program being readable by a computer,
Brightness distribution change amount calculating means for calculating the change amount of the brightness distribution of the image between the frames to be compared,
Tone correction processing means for performing a predetermined tone correction process based on the amount of change in the luminance distribution,
A program causing a computer to function as display means for displaying the image subjected to the image processing.

An information storage medium readable by a computer, wherein the program according to claim 7 is stored.