JP2004032551A - 画像処理方法、画像処理装置及びプロジェクタ - Google Patents

Abstract

【課題】動画像のシーン毎に最適な階調変換、又は輝度補正等を施すためのシーンチェンジ判定ができる画像処理方法、画像処理装置、及びプロジェクタを提供すること。
【解決手段】フレームごとの正規化ヒストグラムを算出する正規化輝度ヒストグラム算出部１０１と、フレーム毎の正規化輝度ヒストグラムを記憶するヒストグラムバッファ２０１ａ、２０１ｂと、ヒストグラムバッファ２０１ａ、２０１ｂに記憶された第１フレームの正規化輝度ヒストグラムと第２フレームの正規化輝度ヒストグラムとの間の相関度に対応するシーンチェンジ検出基準値α、βを算出するシーンチェンジ検出基準値算出部１０２と、シーンチェンジ検出基準値α、βに基づいて、第１フレームの画像と第２フレームの画像との間でシーンの変化が生じているか否かを判定するシーンチェンジ判定部１０３とを有する。
【選択図】　　　図２

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理方法、画像処理装置、及びプロジェクタに関する。
【０００２】
【従来の技術】
画像表示装置において、動画像を表示する場合、動画像の状況に適応した階調変換処理、又は輝度補正処理等が行われている。これらの処理を行う従来例として、例えば、１フレームのＡＰＬ（Ａｖｅｒａｇｅ　Ｐｉｃｔｕｒｅ　Ｌｅｖｅｌ）、画像の平均輝度レベルを用いる方法がある。これはＡＰＬに応じて階調変換特性を変化させる方法で、例えばＡＰＬが低く全体的に暗いと推測される画像に対しては低階調側に階調を多く割り当てるなどの処理が行われている。
【０００３】
しかし、ＡＰＬだけを特徴量として適応処理を行うと画面の明暗だけを判断して階調変換特性を決定することになり、正しくそのシーンに適した画像処理は行えない。また、このＡＰＬ適応の階調変換処理では観察者の見た目にはシーンの変化（以下「シーンチェンジ」という。）が生じていない場合でも、ＡＰＬが変化した場合はこれに応じて階調変換特性が変化するため、階調変換特性等の変化により画像の明るさが変わりちらつきが生じ、不自然な画像となってしまう可能性がある。
【０００４】
従って、動画像において階調変換や輝度補正等をシーンごとに適応的に行うためには、観察者の見た目に一致する自然なシーンチェンジを検出すること望ましい。シーンチェンジを検出する方法としては、例えば特開平８−３３１５０４号公報に輝度ヒストグラムを用いる方法が提案されている。以下、輝度ヒストグラムとは、横軸に輝度レベルをとり、縦軸にその輝度レベルを有する画素の個数（頻度）をとった１フレーム内の各画素の輝度の度数分布図をいう。
【０００５】
輝度ヒストグラムを用いる方法では、まず、各フレームごとの輝度ヒストグラムを算出する。次に、比較するフレーム間における輝度ヒストグラムの輝度レベルごとの差分を求める。そして、各フレームごとにその差分値の総和（絶対値）を算出する。最後に、差分値の総和が所定の閾値よりも大きい場合に、比較するフレーム間においてシーンチェンジが生じたと判定する。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来技術の輝度ヒストグラムを用いる判定方法では、輝度ヒストグラムの度数分布の形状が考慮されていない。このため、シーンチェンジの判定結果と、観察者の視覚的な印象とが一致しないことがある。例えば、具体例を挙げると、夜間のような画像全体が暗いシーンにおいて、スポットライトが急に点燈するような場合である。この場合、スポットライトが点燈したシーンの輝度ヒストグラムの高輝度レベル領域に急峻な立ち上がりを有する形状の度数分布が現われる。また、このとき、その他の輝度レベルにおける度数分布の形状は、スポットライトが点燈する前のフレームの輝度ヒストグラムの形状と類似している。
【０００７】
従って、スポットライトが点燈するシーンの例では、階調変換又は輝度補正を行う際に、スポットライトが点燈する前後のフレームにおいてシーンチェンジが生じていないと判定することが望ましい。しかし、従来の輝度ヒストグラムを用いる方法によると、急峻な立ち上がりを有する形状の度数分布の影響により、フレーム間の輝度ヒストグラムの差分値が所定の閾値を超えてしまう。このため、スポットライトが点燈すると、シーンチェンジが生じたと判定し、階調補正特性等が変化するため、同じシーン内であるのに関わらず背景輝度が変化し、不自然な画像になる。
【０００８】
本発明は、上記問題に鑑みてなされたものであり、動画像のシーン毎に最適な階調変換、又は輝度補正等を施すためのシーンチェンジ判定ができる画像処理方法、画像処理装置、及びプロジェクタを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決し、その目的を達成するために、本発明は、フレーム毎の正規化輝度ヒストグラムを算出する正規化輝度ヒストグラム算出工程と、前記正規化輝度ヒストグラム算出手段によって求められた、第１フレームの正規化輝度ヒストグラムと第２フレームの正規化輝度ヒストグラムとの相関性に対応するシーンチェンジ検出基準値を算出するシーンチェンジ検出基準値算出工程と、前記シーンチェンジ検出基準値に基づいて、前記第１フレームの画像と前記第２フレームの画像との間でシーンの変化が生じているか否かを判定するシーンチェンジ判定工程とを含むことを特徴とする画像処理方法を提供する。これにより、動画像のシーン毎に最適な階調変換、又は輝度補正等を施すためのシーンチェンジ判定ができる。
【００１０】
前記シーンチェンジ検出基準値は、少なくとも第１のシーンチェンジ検出基準値と第２のシーンチェンジ検出基準値の、二つ以上のシーンチェンジ検出基準値を求める。これにより、正確にシーンチェンジの判定を行うことができる。
【００１１】
前記シーンチェンジ検出基準値算出工程は、前記第１のシーンチェンジ検出基準値を求めるために、前記第１フレームの正規化輝度ヒストグラムと前記第２フレームの正規化輝度ヒストグラムとの対応する輝度レベルの分布度数どうしの乗算値を算出する乗算値算出工程と、前記第１フレームの正規化輝度ヒストグラムの前記対応する輝度レベルの分布度数の自乗値を算出する自乗値算出工程と、前記乗算値と前記自乗値との差分の絶対値を算出する差分絶対値算出工程と、前記輝度レベルの範囲の最低輝度から最大輝度までにわたって前記差分の絶対値の総和を算出する総和工程とを含む。これにより、第１フレームの正規化輝度ヒストグラムの形状と、第１フレームの正規化輝度ヒストグラムと第２フレームの正規化輝度ヒストグラムを乗じたヒストグラムの形状の類似度を表すシーンチェンジ検出基準値が得られる。もし、第１フレームと第２フレームの正規化輝度ヒストグラム形状が類似していれば第１フレームの正規化ヒストグラムと第２フレームの正規化輝度ヒストグラムを乗じたヒストグラムの形状と、第１フレームの正規化輝度ヒストグラムの形状は類似しており、シーンチェンジ検出基準値は小さくなる。
【００１２】
前記シーンチェンジ検出基準値算出工程は、前記第２のシーンチェンジ検出基準値を求めるために、前記第１フレームの正規化輝度ヒストグラムと前記第２フレームの正規化輝度ヒストグラムとの対応する輝度レベルの分布度数どうしの乗算値を算出する乗算値算出工程と、前記第２フレームの正規化輝度ヒストグラムの前記対応する輝度レベルの分布度数の自乗値を算出する自乗値算出工程と、前記乗算値と前記自乗値との差分の絶対値を算出する差分絶対値算出工程と、前記輝度レベルの範囲の最低輝度から最大輝度までにわたって前記差分の絶対値の総和を算出する総和工程とを含む。これにより、第２フレームの正規化輝度ヒストグラムの形状と、第１フレームの正規化輝度ヒストグラムと第２フレームの正規化輝度ヒストグラムを乗じたヒストグラムの形状の類似度を表すシーンチェンジ検出基準値が得られる。もし、第１フレームと第２フレームの正規化輝度ヒストグラム形状が類似していれば第１フレームの正規化ヒストグラムと第２フレームの正規化輝度ヒストグラムを乗じたヒストグラムの形状と、第２フレームの正規化輝度ヒストグラムの形状は類似しており、シーンチェンジ検出基準値は小さくなる。
【００１３】
前記シーンチェンジ判定工程は、前記第１のシーンチェンジ検出基準値と前記第２のシーンチェンジ検出基準値の少なくともいずれか一方のシーンチェンジ検出基準値と、所定の閾値とを比較し、前記一方のシーンチェンジ検出基準値が前記所定の閾値以上である場合に、前記シーンの変化が生じていると判定する比較判定工程を含む。これにより、観察者にとって視覚的に自然なシーンチェンジの判定ができる。
【００１４】
前記比較判定工程は、前記第１のシーンチェンジ検出基準値と前記第２のシーンチェンジ検出基準値の両方のシーンチェンジ検出基準値が、前記所定の閾値よりも小さい他の閾値以上である場合に、前記シーンの変化が生じていると判定するこれにより、さらに、正確にシーンチェンジの判定を行うことができる。
【００１５】
また、前記比較判定工程は、前記第１のシーンチェンジ検出基準値と前記第２のシーンチェンジ検出基準値との和が、所定値以上である場合に、前記シーンの変化が生じていると判定してもよい。
【００１６】
また、本発明によれば、フレームごとの正規化ヒストグラムを算出する正規化輝度ヒストグラム算出部と、フレーム毎の正規化輝度ヒストグラムを記憶する正規化輝度ヒストグラム記憶部と、前記正規化輝度ヒストグラム記憶部に記憶された第１フレームの正規化輝度ヒストグラムと第２フレームの正規化輝度ヒストグラムとの間の相関度に対応するシーンチェンジ検出基準値を算出するシーンチェンジ検出基準値算出部と、前記シーンチェンジ検出基準値に基づいて、前記第１フレームの画像と前記第２フレームの画像との間でシーンの変化が生じているか否かを判定するシーンチェンジ判定部とを有することを特徴とする画像処理装置を提供する。これにより、動画像のシーン毎に最適な階調変換、又は輝度補正等を施すためのシーンチェンジ判定ができる。
【００１７】
また、本発明によれば、光源光を供給する光源部と、画像信号に応じて前記光源部からの光を変調する空間変調素子と、前記空間変調素子からの画像を処理する上述の画像処理装置と、前記画像処理された画像を投写する投写レンズとを有することを特徴とするプロジェクタを提供する。これにより、動画像のシーン毎に最適な階調変換、又は輝度補正等を施すためのシーンチェンジ判定ができる。
【００１８】
【発明の実施の形態】
以下に添付図面を参照して、本発明の好適な実施形態を詳細に説明する。
（第１実施形態）
図１は、本発明の第１実施形態に係る画像処理装置１００の概略構成を示す図である。フレーム正規化輝度ヒストグラム算出部１０１は輝度ヒストグラムの最大値を１に正規化した正規化輝度ヒストグラムを算出する。正規化ヒストグラムは、ある階調（輝度レベル。輝度の所定の範囲でも良い）に属する画素の量（数）を、階調毎に示すデータである。シーンチェンジ検出基準値算出部１０２は、比較するフレーム間の正規化輝度ヒストグラム形状の類似度に対応するシーンチェンジ検出基準値（相関基準値のひとつ）を算出する。そして、シーンチェンジ判定部１０３は、シーンチェンジ検出基準値に基づいて、比較するフレーム間の画像の間でシーンチェンジが生じているか否かを判定する。最後に、階調変換部１０４は、シーンチェンジの有無に応じて最適な階調特性を選択して階調変換を行う。ここで、フレーム正規化輝度ヒストグラム算出部１０１とシーンチェンジ検出基準値算出部１０２とシーンチェンジ判定部１０３とは、制御部２０に含まれる。また、制御部２０と階調変換部１０４の構成については後述する。
【００１９】
図２は、本画像処理装置１００におけるシーンチェンジ検出基準値算出部１０２のさらに詳細な構成を示す図である。図２では、シーンチェンジ検出基準値算出部１０２が２つの異なるシーンチェンジ検出基準値αとβとを算出する構成を示す。まず、シーンチェンジ検出基準値αを算出する構成について説明する。
【００２０】
ヒストグラムバッファ２０１ａは、正規化輝度ヒストグラム算出部１０１（図１）により算出された第１フレーム（現在よりも１つ前のフレーム）の正規化輝度ヒストグラムを記憶する。同様に、ヒストグラムバッファ２０１ｂは、正規化輝度ヒストグラム算出部１０１により算出された第１フレームに続く第２フレーム（現在のフレーム）の正規化輝度ヒストグラムを記憶する。
【００２１】
乗算器２０３は、ヒストグラムバッファ２０１ａ、２０１ｂに記憶されている正規化輝度ヒストグラムを先頭アドレスから順次読み出す。ここで、１つのアドレスは、正規化ヒストグラムの１つの階調に対応している。そして、乗算器２０３は、第１フレームの正規化輝度ヒストグラムの対応する輝度レベルの分布度数の自乗値を算出する。
【００２２】
乗算器２０４は、第１フレームの正規化輝度ヒストグラムと第２フレームの正規化輝度ヒストグラムとの対応する輝度レベルの分布度数どうしの乗算値を算出する。反転器２０６は、乗算器２０４で算出された乗算値を−１倍する。加算器２０７は、反転器２０６からの−１倍された乗算値と乗算器２０３からの自乗値とを加算する。
【００２３】
即ち、加算器２０７は、第１フレームの正規化輝度ヒストグラムと第２フレームの正規化輝度ヒストグラムとの対応する輝度レベルの分布度数どうしの乗算値と、第１フレームの正規化輝度ヒストグラムの対応する輝度レベルの分布度数の自乗値との差分を算出する。
【００２４】
加算器２０７からの値は、加算器２０９へ入力される。加算器２０９の出力側には、バッファ２１１が接続されている。バッファ２１１は、現在演算しているアドレスよりも１つ前のアドレスのヒストグラムバッファ２０１ａ、２０１ｂの正規化輝度ヒストグラムに基づいて加算器２０９までに演算された結果を保持している。そして、加算器２０９は、バッファ２１１に保持されている１つ前のアドレスの演算値と、加算器２０７からの現在のアドレスの演算値とを加算する。
【００２５】
上述の演算が、ヒストグラムバッファ２０１ａ、２０１ｂの最終アドレスまで行われると、第１フレームの正規化輝度ヒストグラムと第２フレームの正規化輝度ヒストグラムとの対応する輝度レベルの分布度数どうしの乗算値と、第１フレームの正規化輝度ヒストグラムの前記対応する輝度レベルの分布度数の自乗値との差分の総和が算出される。この総和が、シーンチェンジ検出基準値αとなる。より具体的には、現在のフレームよりも一つ前のフレームの正規化ヒストグラムをＡ（ｉ）とし、現在のフレームの正規化ヒストグラムをＢ（ｉ）とすると、次式のようになる。
【００２６】
【数１】

【００２７】
なお、この実施例において、ｉ＝０〜２５５である。また、差分値は、その絶対値を算出する。
【００２８】
次に、シーンチェンジ検出基準値βを算出する構成を説明する。乗算器２０５は、ヒストグラムバッファ２０１ａ、２０１ｂに記憶されている正規化輝度ヒストグラムを先頭アドレスから順次読み出す。ここで、１つのアドレスは正規化ヒストグラムの１つの階調に対応している。そして、乗算器２０５は、第２フレームの正規化輝度ヒストグラムの対応する輝度レベルの分布度数の自乗値を算出する。
【００２９】
乗算器２０４は、上述と同様に、第１フレームの正規化輝度ヒストグラムと第２フレームの正規化輝度ヒストグラムとの対応する輝度レベルの分布度数どうしの乗算値を算出する。さらに、反転器２０６も同様に、乗算器２０４で算出された乗算値を−１倍する。加算器２０８は、反転器２０６からの−１倍された乗算値と乗算器２０５からの自乗値とを加算する。
【００３０】
即ち、加算器２０８は、第１フレームの正規化輝度ヒストグラムと第２フレームの正規化輝度ヒストグラムとの対応する輝度レベルの分布度数どうしの乗算値と、第２フレームの正規化輝度ヒストグラムの対応する輝度レベルの分布度数の自乗値との差分を算出する。
【００３１】
加算器２０８からの値は、加算器２１０へ入力される。加算器２１０の出力側には、バッファ２１２が接続されている。バッファ２１２は、現在演算しているアドレスよりも１つ前のアドレスのヒストグラムバッファ２０１ａ、２０１ｂの正規化輝度ヒストグラムに基づいて加算器２１０までに演算された結果を保持している。そして、加算器２１０は、バッファ２１２に保持されている１つ前のアドレスの演算値と、加算器２０８からの現在のアドレスの演算値とを加算する。
【００３２】
上述の演算が、ヒストグラムバッファ２０１ａ、２０１ｂの最終アドレスまで行われると、第１フレームの正規化輝度ヒストグラムと第２フレームの正規化輝度ヒストグラムとの対応する輝度レベルの分布度数どうしの乗算値と、第２フレームの正規化輝度ヒストグラムの前記対応する輝度レベルの分布度数の自乗値との差分の総和が算出される。この総和が、シーンチェンジ検出基準値βとなる。より具体的には、現在のフレームよりも一つ前のフレームの正規化ヒストグラムをＡ（ｉ）とし、現在のフレームの正規化ヒストグラムをＢ（ｉ）とすると次式のようになる。
【００３３】
【数２】

【００３４】
なお、この実施例において、ｉ＝０〜２５５である。また、差分値は、その絶対値を算出する。
【００３５】
また、上記構成においては、２つのヒストグラムバッファ２０１ａ、２０１ｂを備えている。しかし、これに限られるものではなく、３つ以上のヒストグラムバッファを設けても良い。この場合、ヒストグラムバッファの数に応じた数の過去のフレームに対して上述の演算を行う。このため、ヒストグラムバッファの数と同じ数のシーンチェンジ検出基準値が算出される。
【００３６】
次に、算出されたシーンチェンジ検出基準値α、βに基づいてシーンチェンジの有無を判定する工程について説明する。図３は、シーンチェンジの有無を判定する手順のフローチャートである。本判定では、シーンチェンジ検出基準値α、βと、２つの閾値ｔｈ１、ｔｈ２とを比較して判定を行う。ここで、閾値ｔｈ１＞ｔｈ２である。
【００３７】
ステップＳ３０１において、シーンチェンジ検出基準値αが閾値ｔｈ１よりも大きいか否かが判断される。判断結果が真の場合、ステップＳ３０２へ進む。ステップＳ３０２ではシーンチェンジが有ると判定される。判断結果が偽の場合、ステップＳ３０３において、シーンチェンジ検出基準値βが閾値ｔｈ１よりも大きいか否かが判断される。判断結果が真の場合、ステップＳ３０２に進み、シーンチェンジが有ると判定される。判断結果が偽の場合、ステップＳ３０４に進む。
【００３８】
ステップＳ３０４において、シーンチェンジ検出基準値βが閾値ｔｈ２よりも大きいか否かが判断される。判断結果が偽の場合、ステップＳ３０６に進んで、シーンチェンジは無いと判定される。判断結果が真の場合、ステップＳ３０５へ進む。ステップＳ３０５において、シーンチェンジ検出基準値βが閾値ｔｈ２よりも大きいか否かが判断される。判断結果が偽の場合、ステップＳ３０６に進んで、シーンチェンジは無いと判定される。判断結果が真の場合、ステップＳ３０２へ進んで、シーンチェンジが有ると判定される。ステップＳ３０６においてシーンチェンジが有ると判定されると、シーンチェンジ判定部１０３は、階調特性変換部１０４へ後述する倍率変更要求信号を出力する。
【００３９】
上述の判定工程では、以下の２通りの条件（１）、（２）の少なくとも何れか一方を満足する場合に、シーンチェンジが有ると判定される。ただし、上述したようにｔｈ１＞ｔｈ２である。
（１）α＞ｔｈ１、又はβ＞ｔｈ１
（２）α＞ｔｈ２、及びβ＞ｔｈ２
さらに、シーンチェンジ検出基準値の和α＋βが、第３の閾値γよりも大きい場合に、シーンチェンジが有ると判定してもよい。
【００４０】
次に、種々の正規化輝度ヒストグラムの例を用いて本実施形態を説明する。図４（ａ）〜図４（ｌ）は、種々の正規化された輝度ヒストグラムを示す図である。全ての図において、横軸は輝度レベル、縦軸は度数（頻度、即ち画素の数）を示している。図４（ａ）、（ｄ）、（ｇ）、（ｊ）は、それぞれ現在よりも１つ前のフレームの輝度ヒストグラムを自乗した値のヒストグラムＡ１、Ａ２、Ａ３、Ａ４である。図４（ｂ）、（ｅ）、（ｈ）、（ｋ）は、それぞれ現在のフレームの輝度ヒストグラムを自乗した値のヒストグラムＢ１、Ｂ２、Ｂ３、Ｂ４である。図４（ｃ）、（ｆ）、（ｉ）、（ｌ）は、それぞれ現在のフレームと１つ前のフレームとの輝度ヒストグラムを乗算した値のヒストグラムＣ１、Ｃ２、Ｃ３、Ｃ４である。
【００４１】
図４（ａ）、（ｂ）、（ｃ）は、第１の例を示し、比較する２つのフレーム間において、ほとんど画像の変化が無い場合である。この場合、輝度ヒストグラムＡ１とＣ１との形状、Ｂ１とＣ１との形状は略等しい。このため、輝度ヒストグラムＡ１とＣ１、及びＢ１とＣ１とから演算される２つのシーンチェンジ検出基準値の値は小さい。
【００４２】
図４（ｄ）、（ｅ）、（ｆ）は、第２の例を示し、比較する２つのフレーム間において、１つ前のフレームで存在していたオブジェクトが、現在のフレームにおいて消えている場合である。この場合、輝度ヒストグラムＢ２とＣ２との形状が略等しい。そして、これらの輝度ヒストグラムから演算されるシーンチェンジ検出基準値の値は小さい。
【００４３】
図４（ｇ）、（ｈ）、（ｉ）は、第３の例を示し、比較する２つのフレーム間において、１つ前のフレームで存在していないオブジェクトが、現在のフレームにおいて新たに現われた場合である。この場合、輝度ヒストグラムＡ３とＣ３との形状が略等しい。そして、これらの輝度ヒストグラムから演算されるシーンチェンジ検出基準値の値は小さい。
【００４４】
図４（ｊ）、（ｋ）、（ｌ）は、第４の例を示し、比較する２つのフレーム間において、輝度ヒストグラムの分布形状が異なる場合である。この場合、輝度ヒストグラムＡ４とＣ４との形状、Ｂ４とＣ４との形状が大きく異なる。そして、これらの輝度ヒストグラムから演算される２つのシーンチェンジ検出基準値の値は大きい。
【００４５】
これらの４つの例において、上記条件（１）、（２）のうち少なくとも何れか一方の条件が満足された場合に、シーンチェンジが有ると判定される。このため、第４の例においてのみ、シーンチェンジがあると判定され、第１〜第３の例においてはシーンチェンジが無いと判定される。本実施形態では、このように、輝度ヒストグラムの分布形状の類似性（相関性）に基づいて、シーンチェンジの有無を判定している。このため、観察者の視覚的にも自然なシーンチェンジの検出ができる。この結果、各シーンの特徴を考慮した上、最適な階調変換等の画像処理を施すことができる。
【００４６】
次に、シーンチェンジ判定部１０３によってシーンチェンジが認識された場合に、白黒伸張処理の伸張倍率を変化させる画像処理回路を説明する。図５は、本実施形態の一例に係る白黒伸張回路の機能ブロック図である。
【００４７】
本実施形態の白黒伸張回路は、ＲＧＢの各信号の輝度値に基づき、基準となる輝度値（以下、「基準輝度値」という。）を求める輝度演算部１０と、求められた輝度値に基づき、ＲＧＢの各信号の輝度値の伸張倍率（伸張度）を設定する倍率設定手段として機能する最大輝度検出部４２、最大輝度変換部４６、最小輝度検出部４４、最小輝度変換部４８および倍率設定部５０とを含んで構成されている。
【００４８】
また、本実施形態の白黒伸張回路は、倍率設定部５０を制御する制御部２０と、倍率設定部５０によって設定された伸張度に基づき、黒方向への伸張か白方向への伸張かを決定する輝度変換部３２と、ＲＧＢの各信号の輝度値を伸張する伸張部３０−１〜３０−３とを含んで構成されている。なお、輝度変換部３２と伸張部３０−１〜３０−３は伸張手段の一種である。
【００４９】
輝度演算部１０は、ドットクロック入力部６からのドットクロック信号に基づくタイミングで、Ｒ信号入力部３からのＲ信号の信号値、Ｇ信号入力部４からのＧ信号の信号値、Ｂ信号入力部５からのＢ信号の信号値を入力し、基準輝度値の演算を行う。
【００５０】
図６は、本実施形態の一例に係る輝度演算部１０の回路構成図である。輝度演算部１０は、加算器１１０と、除算器１２０とを含んで構成されている。加算器１１０は、ＲＧＢの各信号の信号値の和を演算し、除算器１２０は、加算器１１０で求められた合計値を３で割って基準輝度値を出力する。
一般的な方式では、基準輝度値は、０．３０×Ｒ信号値＋０．５９×Ｇ信号値＋０．１１×Ｂ信号値として求められている。このように重み付けが異なるのは人間の目の感度が異なるからである。基準輝度値としてこの値を用いても良い。
【００５１】
しかし、白黒伸張を行う場合、上記数式を用いて輝度を求めた場合、Ｇの輝度成分が高い部分がより顕著に伸張されてしまうことがある。
そこで、本実施の形態では、基準輝度値を（Ｒ信号値＋Ｇ信号値＋Ｂ信号値）／３として求めている。
最大輝度変換部４６は、最大輝度検出部４２で検出された最大輝度をどの程度伸張するか決定する。また、最小輝度検出部４８は、最小輝度検出部４４で検出された最小輝度をどの程度伸張するか決定する。
【００５２】
本実施の形態では、最大輝度に近い輝度の階調および最小輝度に近い輝度の階調を、中間階調の輝度に比べて伸張しないようにしている。なぜなら輝度が０に近い領域、すなわち、黒に近い領域では最大輝度を伸張すると色がつぶれてしまうからである。同様に、輝度が２５５に近く白に近い領域でも最大輝度を伸張すると色がつぶれてしまうからである。
【００５３】
また、このように、最大輝度や最小輝度に近い領域で伸張率を下げた場合でも、最大輝度や最小輝度に近い領域の画素の階調の変化は見分けにくいため、中間階調をより伸張させることにより、効果的に白黒伸張を行うことができる。
このようにして輝度演算部１０によって求められた基準輝度値は、最大輝度検出部４２、最小輝度検出部４４および制御部２０に入力される。
【００５４】
最大輝度検出部４２は、輝度演算部１０から送られる基準輝度値に基づき、１フレームごとに最大輝度値を検出する。同様に、最小輝度検出部４４は、輝度演算部１０から送られる基準輝度値に基づき、１フレームごとに最小輝度値を検出する。なお、最大輝度検出部４２および最小輝度検出部４４は、フレームの切り替わりのタイミングを、垂直同期信号入力部２からの垂直同期信号に基づいて判断する。
【００５５】
最大輝度変換部４６で変換された最大輝度値を示す伸張後最大輝度信号、変換前の最大輝度値を示す伸張前最大輝度信号、最小輝度変換部４８で変換された最小輝度値を示す伸張後最小輝度信号、変換前の最小輝度値を示す伸張前最小輝度信号および制御部２０からの倍率変更要求信号は、倍率設定部５０に入力される。
【００５６】
次に、倍率設定部５０の回路構成について説明する。
図７は、本実施形態の一例に係る倍率設定部５０の回路構成図である。
倍率設定部５０は、伸張中間輝度演算部５２０と、白方向伸張倍率演算部５３０と、黒方向伸張倍率演算部５３２と、４つの加算器５１０〜５１６と、３つのラッチ部５６０〜５６４とを含んで構成されている。
【００５７】
また、倍率設定部５０は、最大輝度変換部４６から伸張前最大輝度信号と伸張後最大輝度信号を入力し、最小輝度変換部４８から伸張前最小輝度信号と伸張後最小輝度信号を入力し、制御部２０から倍率変更要求信号を入力する。
伸張中間輝度演算部５２０は、伸張後最大輝度信号と伸張後最小輝度信号を入力し、加算器５１０とラッチ部５６４に伸張中間輝度を示す情報を出力する。
【００５８】
ここで、伸張中間輝度について説明する。
図８は、本実施形態の一例に係る最大輝度値Ｌｍａｘの変換と最小輝度値Ｌｍｉｎの変換とを示す模式図である。本実施の形態では、８ビット２５６階調での画像処理を行う場合を想定する。
最大輝度変換部４６および最小輝度変換部４８は、１画像（１フレーム）における各画素の白黒伸張前の最大輝度値Ｌｍａｘ、白黒伸張前の最小輝度値Ｌｍｉｎを黒側または白側に伸張する。図８に示すように、伸張後の最大輝度値Ｌｍａｘ’は伸張前の最大輝度値Ｌｍａｘよりも値が大きく、伸張後の最小輝度値Ｌｍｉｎ’は伸張前の最小輝度値Ｌｍｉｎよりも値が小さい。
図１１は、図５に示す最大輝度変換部４６の変換特性を示すグラフである。横軸は入力される最大輝度値Ｌｍａｘであり、縦軸は出力される最大輝度値Ｌｍａｘ’である。この曲線は、入力が増加すると出力も増加し、両者の値が０〜２５５の間で変化するように設定されている。ただし、この曲線は、傾き（変化率）が所定の輝度値で変わるように、変曲点を持つ。ここでは、この曲線は、変曲点（ＷＬｔｈ，ＷＬｏｕｔ）と変曲点（ＷＨｔｈ，ＷＨｏｕｔ）とを持つように設定されている。
この曲線において、（０，０）と（ＷＬｔｈ，ＷＬｏｕｔ）との間の傾きと、（ＷＨｔｈ，ＷＨｏｕｔ）と（２５５，２５５）との間の傾きとでは、（０，０）と（ＷＬｔｈ，ＷＬｏｕｔ）との間の方が傾きが大きい。
図１２は、図５に示す最小輝度変換部４８の変換特性を示すグラフである。横軸は入力される最小輝度値Ｌｍｉｎであり、縦軸は出力される最小輝度値Ｌｍｉｎ’である。この曲線は、入力が増加すると出力も増加し、両者の値が０〜２５５の間で変化するように設定されている。この点は、最大輝度変換曲線の場合と同様である。この曲線は、変曲点（ＢＬｔｈ，ＢＬｏｕｔ）と変曲点（ＢＨｔｈ，ＢＨｏｕｔ）とを持つ。この曲線において、（０，０）と（ＢＬｔｈ，ＢＬｏｕｔ）との間の傾きと、（ＢＨｔｈ，ＢＨｏｕｔ）と（２５５，２５５）との間の傾きとでは、（０，０）と（ＢＬｔｈ，ＢＬｏｕｔ）との間の方が傾きが小さい。
このように、白側または黒側への伸張を行うことにより、コントラストを向上させ、画質を向上させることができる。
【００５９】
本実施の形態では、白側か黒側に伸張する基準となるしきい値である伸張中間輝度を示す値Ｌｍｉｄを（Ｌｍａｘ’＋Ｌｍｉｎ’）／４としている。そして、Ｌｍｉｄよりも大きな輝度を有する画素の輝度値は白側に伸張し、Ｌｍｉｄ以下の輝度値は黒側に伸張する。
また、伸張する度合いは、白側の伸張倍率Ｋｗは、（Ｌｍａｘ’−Ｌｍｉｄ）／（Ｌｍａｘ−Ｌｍｉｄ）とし、黒側の伸張倍率Ｋｂは、（Ｌｍｉｄ−Ｌｍｉｎ’）／（Ｌｍｉｄ−Ｌｍｉｎ）としている。
【００６０】
図７に示す加算器５１０は、伸張前最大輝度値（Ｌｍａｘ）から伸張中間輝度値（Ｌｍｉｄ）を引いた値を求め、当該値（Ｌｍａｘ−Ｌｍｉｄ）を白方向伸張倍率演算部５３０に出力する。
また、加算器５１２は、伸張後最大輝度値（Ｌｍａｘ’）から伸張中間輝度値（Ｌｍｉｄ）を引いた値を求め、当該値（Ｌｍａｘ’−Ｌｍｉｄ）を白方向伸張倍率演算部５３０に出力する。
【００６１】
また、加算器５１４は、伸張中間輝度値（Ｌｍｉｄ）から伸張前最小輝度値（Ｌｍｉｎ）を引いた値を求め、当該値（Ｌｍｉｄ−Ｌｍｉｎ）を黒方向伸張倍率演算部５３２に出力する。
また、加算器５１６は、伸張中間輝度値（Ｌｍｉｄ）から伸張後最小輝度値（Ｌｍｉｎ’）を引いた値を求め、当該値（Ｌｍｉｄ−Ｌｍｉｎ’）を黒方向伸張倍率演算部５３２に出力する。
白方向伸張倍率演算部５３０は、白方向伸張倍率Ｋｗ＝（Ｌｍａｘ’−Ｌｍｉｄ）／（Ｌｍａｘ−Ｌｍｉｄ）を求める。また、黒方向伸張倍率演算部５３２は、黒方向伸張倍率Ｋｂ＝（Ｌｍｉｄ−Ｌｍｉｎ’）／（Ｌｍｉｄ−Ｌｍｉｎ）を求める。
【００６２】
ラッチ部５６０は、白方向伸張倍率Ｋｗを示す情報を一時的に保持するとともに、当該情報を伸張部３０−１〜３０−３に出力する。同様に、ラッチ部５６２は、黒方向伸張倍率Ｋｂを示す情報を一時的に保持するとともに、当該情報を伸張部３０−１〜３０−３に出力する。
また、ラッチ部５６０〜５６４は、制御部２０からの倍率変更要求信号に基づき、変更要求があった場合のみそれぞれが保持する情報を更新する。
ラッチ部５６０は、白方向伸張倍率情報を、ラッチ部５６２は、黒方向伸張倍率情報を、ラッチ部５６４は、伸張中間輝度情報を、それぞれ伸張部３０−１〜３０−３に出力する。
【００６３】
次に、輝度変換部３２について説明する。
図９は、本実施形態の一例に係る輝度変換部３２（図５）の回路構成図である。
輝度変換部３２は、白方向の伸張倍率を保持するラッチ部３６０、黒方向の伸張倍率を保持するラッチ部３６２と、セレクタ回路３２０と、比較器３４０と、加算器３１０〜３１６と、セレクタ回路３２２、３２４と、乗算器３３０とを含んで構成されている。
比較器３４０は、伸張中間輝度情報（Ｌｍｉｄ）と、輝度信号（Ｌ）とを比較する。比較器３４０は、ＬｍｉｄがＬ以上である場合にはＨＩＧＨを出力し、そうでない場合にはＬＯＷを出力する。
【００６４】
ラッチ部３６０は、倍率変更要求信号がＨＩＧＨである場合には、新たな白方向伸張倍率情報を入力し、そうでない場合には元の白方向伸張倍率情報を保持する。
また、ラッチ部３６２は、倍率変更要求信号がＨＩＧＨである場合には、新たな黒方向伸張倍率情報を入力し、そうでない場合には元の黒方向伸張倍率情報を保持する。
【００６５】
セレクタ回路３２０は、比較器３４０からの信号がＨＩＧＨの場合にはラッチ部３６０で保持されている白方向伸張倍率情報を取得し、ＬＯＷの場合にはラッチ部３６２で保持されている黒方向伸張倍率情報を取得する。
加算器３１０は、Ｌｍｉｄ−Ｌを演算する。また、加算器３２０は、Ｌ−Ｌｍｉｄを演算する。
【００６６】
セレクタ回路３２２は、比較器３４０からの出力がＨＩＧＨである場合には加算器３１２からのＬ−Ｌｍｉｄの値を出力し、そうでない場合には加算器３１０からのＬｍｉｄ−Ｌの値を出力する。
乗算器３３０は、セレクタ回路３２０からの出力値と、セレクタ回路３２２からの出力値とを掛け合わせる。
加算器３１４は、Ｌｍｉｄから乗算器３３０からの出力値を引いた値を出力する。また、加算器３１６は、乗算器３３０からの出力値と、Ｌｍｉｄとを足した値を出力する。
【００６７】
セレクタ回路３２４は、比較器３４０からの出力がＨＩＧＨである場合には加算器３１６からのＬｍｉｄ＋乗算器３３０の出力値を出力し、そうでない場合には加算器３１４からのＬｍｉｄ−乗算器３３０の出力値を出力する。
以上のようにして、輝度変換部３２は、Ｌ＞＝Ｌｍｉｄの場合には、Ｋｗ（Ｌ−Ｌｍｉｄ）＋Ｌｍｉｄを出力し、Ｌ＜Ｌｍｉｄの場合には、Ｌｍｉｄ−Ｋｂ（Ｌｍｉｄ−Ｌ）を出力する。以下、説明の便宜のため、輝度変換部３２が出力するこれらの値をＬＯＵＴと表記する。
そして、輝度変換部３２は、ＬＯＵＴを図３に示す伸張部３０−１、３０−２および３０−３へ向け出力する。
図５における伸張部３０−１、３０−２および３０−３の構成および機能は互いに同じであるので、以下では、Ｒ信号を処理する伸張部３０−１についてのみ説明する。伸張部３０−１は、入力されたＲ信号値と、輝度信号値Ｌ（輝度演算部１０が出力する信号値）と、伸張処理後の輝度信号値ＬＯＵＴとに基づいて信号値ＲＯＵＴを出力する。
具体的には、伸張部３０−１は、除算器および乗算器を含んで構成されている。これらのうち除算器は、輝度信号値Ｌに対する輝度値ＬＯＵＴの比、つまり、ＬＯＵＴ／Ｌを算出する。一方、乗算器は、この比とＲ信号との積、つまり（ＬＯＵＴ／Ｌ）・Ｒを算出し出力する。この（ＬＯＵＴ／Ｌ）・Ｒが信号値ＲＯＵＴである。
同様に、伸張部３０−２および３０−３は、それぞれ信号値ＧＯＵＴおよび信号値ＢＯＵＴを出力する。なお、信号値ＲＯＵＴ、信号値ＧＯＵＴおよび信号値ＢＯＵＴによる輝度値は、次式で表されるように、輝度変換部３２で算出された輝度値ＬＯＵＴである。
（ＲＯＵＴ＋ＧＯＵＴ＋ＢＯＵＴ）／３＝（ＬＯＵＴ／Ｌ）（Ｒ＋Ｇ＋Ｂ）／３＝ＬＯＵＴ
【００６８】
以上のように、本実施形態によれば、最大輝度値および最小輝度値に基づくしきい値を基準として伸張方向を決定することにより、白側と黒側のどちらの方向に伸張するかを決定する基準が明確となる。
したがって、この基準を用いて白黒伸張を行うことにより、適切な白黒伸張がなされるため、画質を向上させることができる。
【００６９】
また、シーンチェンジ判定部がシーンチェンジが有ると判断する場合に、白黒伸張処理の倍率が変化する。この結果、画像のちらつきを抑制し、画質を向上させることができる。
【００７０】
また、本実施形態では、輝度を伸張する際に、最大輝度値に近い輝度値および最小輝度値に近い輝度値の伸張率を、中間輝度値に近い輝度値の伸張率と比べ小さい値に設定して輝度値の伸張を行っている。
これにより、伸張の効果の少ない最大輝度値や最小輝度値に近い領域での伸張を抑え、中間階調をより伸張することにより、効果的に白黒伸張を行うことができる。
これは、黒に近い領域で最大輝度を引き延ばしたり、白に近い領域で最小輝度を引き延ばすと色がつぶれてしまうからである。
【００７１】
さらに、本実施形態では、輝度演算部１０を、ＲＧＢの各信号の信号値を均等に割った値を輝度値として求めているが、通常の０．３０×Ｒ信号値＋０．５９×Ｇ信号値＋０．１１×Ｂ信号値を輝度値として用いても良い。
また、以上のようにして求められた伸張倍率を、Ｒ信号、Ｇ信号およびＢ信号の各輝度と均等に掛け合わせることにより、色バランスの崩れがなく、画質を向上させることができる。
【００７２】
（第２実施形態）
図１０は、本発明の第２実施形態に係るプロジェクタ６００の概略構成を示す図である。本体部５１０は、照明光を供給する光源部６１１と、画像信号に応じて前記光源部からの光を変調する空間変調素子６１２と、上記実施形態に記載の画像処理装置６１３とを備えている。そして、投写レンズ系６２０は、表示部の映像をスクリーン６３０上に拡大して投写する。
【００７３】
上述の本発明の好適な適用例としてデジタル映像機器が挙げられる。そして、デジタル映像機器における階調変換処理の前処理として本発明に係る画像処理方法を適用することができる。さらに、本発明は、映像編集装置等にも適用できる。この場合は、着目しているシーンに最適なシーンチェンジ検出により、シーン毎の頭出し機能などに適用できる。例えば、図３におけるシーンチェンジ判定部１０３からの出力（図５における倍率変更信号）がＨｉｇｈの場合に、映像信号を記録媒体に記録し始めるように、映像編集装置が構成され得る。なお、本発明は、上記各実施形態に限られず、その趣旨を逸脱しない範囲で様々な変形例をとることができる。
【００７４】
【発明の効果】
以上説明したように、動画像のシーン毎に最適な階調変換、又は輝度補正等を施すためのシーンチェンジ判定ができる画像処理方法、画像処理装置、及びプロジェクタを提供することができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る画像処理装置の概略構成を示す図である。
【図２】上記第１実施形態におけるシーンチェンジ検出基準値算出部の構成を示す図である。
【図３】上記第１実施形態におけるシーンチェンジ判定のフローチャートである。
【図４】上記第１実施形態における種々の輝度ヒストグラムの例を示す図である。
【図５】上記第１実施形態における白黒伸張回路の機能ブロック図である。
【図６】上記第１実施形態における輝度演算部の回路構成図である。
【図７】上記第１実施形態における倍率設定部の回路構成図である。
【図８】上記第１実施形態における伸張中間輝度を説明する図である。
【図９】上記第１実施形態における伸張部の回路構成図である。
【図１０】本発明の第２実施形態に係るプロジェクタの概略構成を示す図である。
【図１１】図５に示す最大輝度変換部の変換特性を示すグラフである。
【図１２】図５に示す最小輝度変換部の変換特性を示すグラフである。
【符号の説明】
１００　画像処理装置
１０１　正規化輝度ヒストグラム算出部
１０２　シーンチェンジ検出基準値算出部
１０３　シーンチェンジ判定部
１０４　階調特性変換部
２０１ａ、２０１ｂ　ヒストグラムバッファ
２０３、２０４、２０５　乗算器
２０６　反転器
２０７、２０８、２０９、２１０　加算器
２１１、２１２　バッファ
１０　輝度演算部
２０　制御部
４２　最大輝度検出部
４６　最大輝度変換部
４４　最小輝度検出部
４８　最小輝度変換部
５０　倍率設定部
３０　伸張部
２　垂直同期信号入力部
３、４、５　信号入力部
６　ドットクロック入力部
１１０　加算器
１２０　除算器
３１０、３１２、３１４、３１６　加算器
３２０、３２２、３２４　セレクタ回路
３３０　乗算器
３４０　比較器
３６０、３６２　ラッチ部
５１０、５１２、５１４、５１６　加算器
５２０　伸張中間輝度演算部
５３０　白方向伸張倍率演算部
５３２　黒方向伸張倍率演算部
５６０、５６２、５６４　ラッチ部
６００　プロジェクタ
６１０　本体部
６１１　光源部
６１２　空間変調素子
６１３　画像処理装置
６２０　投写レンズ系
６３０　スクリーン

Claims (9)

1. フレーム毎の正規化輝度ヒストグラムを算出する正規化輝度ヒストグラム算出工程と、前記正規化輝度ヒストグラム算出手段によって求められた、第１フレームの正規化輝度ヒストグラムと第２フレームの正規化輝度ヒストグラムとの相関性に対応するシーンチェンジ検出基準値を算出するシーンチェンジ検出基準値算出工程と、
   前記シーンチェンジ検出基準値に基づいて、前記第１フレームの画像と前記第２フレームの画像との間でシーンの変化が生じているか否かを判定するシーンチェンジ判定工程とを含むことを特徴とする画像処理方法。
2. 前記シーンチェンジ検出基準値は、少なくとも第１のシーンチェンジ検出基準値と第２のシーンチェンジ検出基準値とであることを特徴とする請求項１に記載の画像処理方法。
3. 前記シーンチェンジ検出基準値算出工程は、前記第１のシーンチェンジ検出基準値を求めるために、
   前記第１フレームの正規化輝度ヒストグラムと前記第２フレームの正規化輝度ヒストグラムとの対応する輝度レベルの分布度数どうしの乗算値を算出する乗算値算出工程と、
   前記第１フレームの正規化輝度ヒストグラムの前記対応する輝度レベルの分布度数の自乗値を算出する自乗値算出工程と、
   前記乗算値と前記自乗値との差分の絶対値を算出する差分絶対値算出工程と、
   前記輝度レベルの範囲の最低輝度から最大輝度までにわたって前記差分の絶対値の総和を算出する総和工程とを含むことを特徴とする請求項２に記載の画像処理方法。
4. 前記シーンチェンジ検出基準値算出工程は、前記第２のシーンチェンジ検出基準値を求めるために、
   前記第１フレームの正規化輝度ヒストグラムと前記第２フレームの正規化輝度ヒストグラムとの対応する輝度レベルの度数どうしの乗算値を算出する乗算値算出工程と、
   前記第２フレームの正規化輝度ヒストグラムの前記対応する輝度レベルの度数の自乗値を算出する自乗値算出工程と、
   前記乗算値と前記自乗値との差分の絶対値を算出する差分絶対値算出工程と、
   前記輝度レベルの範囲の最低輝度から最大輝度までにわたって前記差分の絶対値の総和を算出する総和工程とを含むことを特徴とする請求項２に記載の画像処理方法。
5. 前記シーンチェンジ判定工程は、前記第１のシーンチェンジ検出基準値と前記第２のシーンチェンジ検出基準値との少なくともいずれか一方のシーンチェンジ検出基準値と、所定の閾値とを比較し、前記一方のシーンチェンジ検出基準値が前記所定の閾値以上である場合に、前記シーンの変化が生じていると判定する比較判定工程を含むことを特徴とする請求項２に記載の画像処理方法。
6. 前記比較判定工程は、前記第１のシーンチェンジ検出基準値と前記第２のシーンチェンジ検出基準値との両方のシーンチェンジ検出基準値が、前記所定の閾値よりも小さい他の閾値以上である場合に、前記シーンの変化が生じていると判定することを特徴とする請求項５に記載の画像処理方法。
7. 前記比較判定工程は、前記第１のシーンチェンジ検出基準値と前記第２のシーンチェンジ検出基準値との和が、所定値以上である場合に、前記シーンの変化が生じていると判定することを特徴とする請求項５に記載の画像処理方法。
8. フレームごとの正規化ヒストグラムを算出する正規化輝度ヒストグラム算出部と、
   フレーム毎の正規化輝度ヒストグラムを記憶する正規化輝度ヒストグラム記憶部と、
   前記正規化輝度ヒストグラム記憶部に記憶された第１フレームの正規化輝度ヒストグラムと第２フレームの正規化輝度ヒストグラムとの間の相関度に対応するシーンチェンジ検出基準値を算出するシーンチェンジ検出基準値算出部と、
   前記シーンチェンジ検出基準値に基づいて、前記第１フレームの画像と前記第２フレームの画像との間でシーンの変化が生じているか否かを判定するシーンチェンジ判定部とを有することを特徴とする画像処理装置。
9. 光源光を供給する光源部と、
   画像信号に応じて前記光源部からの光を変調する空間変調素子と、
   前記空間変調素子からの画像を処理する請求項８に記載の画像処理装置と、
   前記画像処理された画像を投写する投写レンズとを有することを特徴とするプロジェクタ。

Images