JP5053724B2 - 画像表示装置、撮像装置、画像再生装置、及び画像表示方法 - Google Patents

Description

本発明は、画像表示装置、撮像装置、画像再生装置、及び画像表示方法に関し、特に屋外での表示画像の見えを改善することができる画像表示装置、撮像装置、画像再生装置、及び画像表示方法に関する。

画像を表示するディスプレイにおける表示画像の見えは、ディスプレイの周辺の環境光に影響される。特に、デジタルカメラ等の屋外で使用することが多い機器に設けられたディスプレイの場合は、環境光のために見えが悪化するケースが多い。

このような環境光に対してディスプレイの見えを改善するための提案として、例えば特許文献１では、環境光の明るさを測定し、測定した環境光の明るさに応じてディスプレイのバックライト及び表示画像のコントラストを調整することで見えを改善する技術が提案されている。また、特許文献２では、環境光の明るさと被写体の輝度に応じて表示信号にγ補正を施すことで見えを改善する技術が提案されている。
特許第３６９２３２１号公報 特許第２７３３３８６号公報

屋外で表示画像の見えが悪くなるシーンの典型として主要被写体が逆光となっているケースが考えられる。このような逆光シーンにおける表示画像の見えを改善するには、シーン全体の輝度部分や逆光部分の露光状態を考慮して、表示画面上の位置に対応した適切な補正をかける必要がある。具体的には、背景部分に対して暗い逆光部分はより明るく、もともと明るい背景部分のコントラストは維持若しくは強調する、といった局所的なコントラスト補正を施す方法である。しかしながら、上記特許文献１及び特許文献２は何れも環境光の明るさと被写体輝度の組み合わせによりバックライト光量やγ補正を一律に施すものである。即ち、シーンの局所的な特徴は考慮されておらず、逆光部分を明るくした分、背景部分のコントラストが低下する等、シーンによっては逆に見づらくなる場合がある。

本発明は、上記の事情に鑑みてなされたもので、シーンによらず、屋外等での表示画像の見えを改善することができる画像表示装置、撮像装置、画像再生装置、及び画像表示方法を提供することを目的とする。

上記の目的を達成するために、本発明の第１の態様の画像表示装置は、画像信号を受けて画像を表示する表示手段と、上記表示手段の周辺の環境光の強度を測定する環境光測定手段と、上記画像信号が得られた撮像時のシーンの輝度分布を、所定の画素数からなる領域毎に測定する輝度分布測定手段と、上記環境光の強度と上記領域毎のシーンの輝度分布とに基づいて上記画像の局所的なコントラストを補正するための補正パラメータを上記領域毎に算出するパラメータ算出手段と、上記算出された上記領域毎の補正パラメータを用いて上記領域毎の画像信号を補正して上記画像の局所的なコントラストを補正するコントラスト補正手段とを具備し、上記パラメータ算出手段は、上記画像信号に固定的なコントラスト補正を施すための固定コントラスト補正テーブルを記憶する固定コントラスト補正テーブル記憶部と、上記輝度分布測定手段で測定された上記領域毎のシーンの輝度分布をそれぞれ累積して累積ヒストグラムを上記領域毎に算出する累積ヒストグラム算出部と、上記環境光測定手段で測定された環境光の強度に応じて判断される合成比で上記固定コントラスト補正テーブルと上記領域毎の累積ヒストグラムとを合成して上記補正パラメータを上記領域毎に算出する合成部とを有することを特徴とする。

また、上記の目的を達成するために、本発明の第２の態様の撮像装置は、シーンを撮像して画像信号を得る撮像手段と、上記得られた画像信号を記録媒体に記録する画像記録手段と、上記画像信号を受けて画像を表示する表示手段と、上記表示手段の周辺の環境光の強度を測定する環境光測定手段と、上記画像信号が得られた撮像時のシーンの輝度分布を、所定の画素数からなる領域毎に測定する輝度分布測定手段と、上記領域毎のシーンの輝度分布に基づいて上記記録媒体に記録する画像の局所的なコントラストを補正するための記録用補正パラメータを上記領域毎に算出するとともに、上記環境光の強度と上記領域毎のシーンの輝度分布とに基づいて、上記表示手段に表示する画像の局所的なコントラストを補正するための表示用補正パラメータを上記領域毎に算出するパラメータ算出手段と、上記算出された上記領域毎の記録用補正パラメータを用いて上記領域毎の画像信号を補正して上記記録媒体に記録する画像の局所的なコントラストを補正するとともに、上記算出された上記領域毎の表示用補正パラメータを用いて上記領域毎の画像信号を補正して上記表示手段に表示する画像の局所的なコントラストを補正するコントラスト補正手段とを具備することを特徴とする。

また、上記の目的を達成するために、本発明の第３の態様の画像再生装置は、シーンを撮像して得られた画像信号と該画像信号を再生する際の局所的なコントラスト補正に用いられる再生用補正パラメータを算出するための合成比決定用パラメータとが記録された記録媒体から、上記画像信号及び上記合成比決定用パラメータを読み出す読出手段と、上記読み出された画像信号を再生して画像を表示する表示手段と、上記表示手段の周辺の環境光の強度を測定する環境光測定手段と、上記画像信号が得られた際のシーンの輝度分布を、所定の画素数からなる領域毎に測定する輝度分布測定手段と、上記読み出された画像信号に固定的なコントラスト補正を施すための固定コントラスト補正テーブルを記憶する固定コントラスト補正テーブル記憶手段と、上記輝度分布測定手段で測定された上記領域毎のシーンの輝度分布を累積して累積ヒストグラムを上記領域毎に算出する累積ヒストグラム算出手段と、上記合成比決定用パラメータと上記環境光測定手段で測定された環境光の強度とに基づいて判断される合成比で上記固定コントラスト補正テーブルと上記領域毎の累積ヒストグラムとを合成して上記再生用補正パラメータを上記領域毎に算出する合成手段と、を有するパラメータ算出手段と、上記算出された上記領域毎の再生用補正パラメータを用いて上記読み出された上記領域毎の画像信号を補正して上記画像の局所的なコントラストを補正するコントラスト補正手段とを具備することを特徴とする。

また、上記の目的を達成するために、本発明の第４の態様の画像表示方法は、表示部の周辺の環境光の強度を測定し、上記表示部に表示させる画像を示す画像信号が得られた撮像時のシーンの輝度分布を、所定の画素数からなる領域毎に測定し、上記環境光の強度と上記領域毎のシーンの輝度分布とに基づいて、上記画像の局所的なコントラストを補正するための補正パラメータを上記領域毎に算出し、上記算出された上記領域毎の補正パラメータを用いて、上記領域毎の画像信号を補正して上記画像の局所的なコントラストを補正し、上記局所的なコントラストを補正した画像を上記表示部に表示し、上記補正パラメータを算出する際に、上記画像信号に固定的なコントラスト補正を施すための固定コントラスト補正テーブルを記憶し、上記測定された上記領域毎のシーンの輝度分布をそれぞれ累積して累積ヒストグラムを上記領域毎に算出し、上記測定された環境光の強度に応じて判断される合成比で上記固定コントラスト補正テーブルと上記領域毎の累積ヒストグラムとを合成して上記補正パラメータを上記領域毎に算出することを特徴とする。

本発明によれば、シーンによらず、屋外等での表示画像の見えを改善することができる画像表示装置、撮像装置、画像再生装置、及び画像表示方法を提供することができる。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る画像表示装置を含む撮像装置の概念的な構成を示すブロック図である。図１に示すように、本実施形態の撮像装置は、輝度分布測定部１と、環境光測定部２と、パラメータ算出部３と、コントラスト補正部４と、表示部５と、記録部６とを有して構成されている。

輝度分布測定部１は、当該撮像装置に入力された画像信号が得られた際のシーンの輝度（明るさ）分布を測定する。環境光測定部２は、表示部５の周辺の環境光の強度を測定する。

パラメータ算出部３は、輝度分布測定部１によって測定されたシーンの輝度分布と環境光測定部２によって測定された環境光の強度とからコントラスト補正部４において画像信号に対するコントラスト補正を行うための補正パラメータを所定領域毎（１画素毎も含む）に算出する。ここで、補正パラメータは、コントラスト補正部４に入力される画像信号が表示に用いられるものか、記録に用いられるものかに応じて異ならせる。この補正パラメータの算出手法の詳細については後述する。

コントラスト補正部４は、パラメータ算出部３によって算出された所定領域毎の補正パラメータを用いて、対応する所定領域内の画像信号に対してコントラスト補正を施す。

表示部５は、コントラスト補正部４においてコントラスト補正がなされた画像信号に基づいて画像表示を行う。記録部６は、コントラスト補正部４においてコントラスト補正がなされた画像信号を記録する。

以下、図１の撮像装置についてさらに詳しく説明する。図２は、図１に示す撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。図２に示すデジタルカメラは、マイクロコンピュータ（マイコン）１０１と、操作部１０２と、環境光センサ１０３と、撮像部１０４と、Ａ／Ｄ変換部１０５と、バス１０６と、ＲＡＭ１０７と、画像処理回路１０８と、コントラスト補正回路１０９と、表示部（ＬＣＤ）１１０と、記録媒体１１１とを有して構成されている。

マイクロコンピュータ１０１は、デジタルカメラの各種シーケンスを統括的に制御する。マイクロコンピュータ１０１には、操作部１０２と、環境光センサ１０３とが接続されている。操作部１０２は、デジタルカメラの電源をオンオフするための電源ボタン、デジタルカメラの画像記録指示を行うためのレリーズボタン、デジタルカメラの動作モードを再生モードに設定するための再生ボタン、シーンモードを設定するための操作部、各種入力キー等を含む操作部材である。ユーザによって操作部１０２が操作されることにより、マイクロコンピュータ１０１は、操作部１０２の操作に応じた各種シーケンスを実行する。環境光測定部２としての機能を有する環境光センサ１０３は、表示部１１０の周辺に配置され、表示部１１０の周辺の環境光を受光し、その受光した環境光の強度に応じた信号をマイクロコンピュータ１０１に出力する。

撮像部１０４は、光学系、撮像素子等を有して構成されている。光学系は、図示しない被写体からの像を集光するための光学系である。撮像素子は、光学系を介して入射する光をアナログの電気信号（画像信号）に変換する。Ａ／Ｄ変換部１０５は撮像部１０４で得られたアナログの電気信号をデジタルの電気信号（画像データ）に変換する。

バス１０６は、デジタルカメラ内部で発生した各種データをカメラ内の各部に転送するための転送路である。このバス１０６は、マイクロコンピュータ１０１と、Ａ／Ｄ変換部１０５と、ＲＡＭ１０７と、画像処理回路１０８と、コントラスト補正回路１０９と、表示部１１０と、記録媒体１１１とに接続されている。ＲＡＭ１０７は、Ａ／Ｄ変換部１０５において得られた画像データや、画像処理回路１０８、コントラスト補正回路１０９において処理される画像データ等の各種データを一時的に格納する。

画像処理回路１０８は、Ａ／Ｄ変換部１０５において得られ、ＲＡＭ１０７に格納された画像データを読み出して画像処理を施す。この画像処理回路１０８は、ホワイトバランス（ＷＢ）補正部１０８ａと、同時化部１０８ｂと、Ｙ／Ｃ分離部１０８ｃと、色変換部１０８ｄと、ＪＰＥＧ圧縮／伸張部１０８ｅとを有している。

ＷＢ補正部１０８ａは、ＲＡＭ１０７から読み出された画像データのうちの赤成分（Ｒデータ）及び青成分（Ｂデータ）に対し、マイクロコンピュータ１０１から指示されるホワイトバランス補正値を掛け合わせることで画像データのホワイトバランス補正を行う。同時化部１０８ｂは、ＷＢ補正部１０８ａから出力されるベイヤ配列の画像データから、Ｒ、Ｇ、Ｂの３色を１画素成分とする画像データを生成する。Ｙ／Ｃ分離部１０８ｃは、同時化部１０８ｂから出力される画像データを輝度データ（Ｙ）と色差データ（Ｃ）とに分離する。そして、輝度データをＲＡＭ１０７に、色差データを色変換部１０８ｄに出力する。色変換部１０８ｄは、同時化部１０８ｂから出力される色差データを、マイクロコンピュータ１０１から指示されるカラーマトリクスに従って色変換することにより画像の色を補正する。そして、色補正した色差データ（Ｃ’）をＲＡＭ１０７に格納させる。ＪＰＥＧ圧縮／伸張部１０８ｅは、ＲＡＭ１０７から、画像処理後の画像データ（輝度データＹ’及び色差データＣ’）を読み出し、読み出した画像データをＪＰＥＧ方式等に従って圧縮する。また、ＪＰＥＧ圧縮／伸張部１０８ｅは、圧縮された画像データを読み出して伸張する機能も有している。

コントラスト補正回路１０９は、Ｙ／Ｃ分離部１０８ｃにおいて得られた輝度データに対してコントラスト補正を施す。このコントラスト補正回路１０９は、ヒストグラム算出部１０９ａと、ヒストグラム累積部１０９ｂと、補正テーブル算出部１０９ｃと、コントラスト補正部１０９ｄとを有している。

輝度分布測定部１としての機能を有するヒストグラム算出部１０９ａは、Ｙ／Ｃ分離部１０８ｃにおいて得られた１画面分の輝度データから、シーンの輝度分布を示すヒストグラムを、所定のヒストグラム算出領域単位で算出する。図３は、ヒストグラム算出領域の一例を示す図である。ヒストグラム算出領域２０１は、後述する局所的なコントラスト補正の対象となる画素２０２を中心とする正方領域である。このヒストグラム算出領域２０１は、補正対象となる画素のコントラスト補正が行われる毎に１画素ずつ水平方向にずらし、水平方向のコントラスト補正が終了する毎に１画素ずつ垂直方向にずらしていく。ここで、図３の例では、ヒストグラム算出領域２０１を６５画素×６５画素の領域としているが、必ずしも６５画素×６５画素でなくとも良い。

ヒストグラム累積部１０９ｂは、ヒストグラム算出部１０９ａによって算出されたヒストグラム算出領域２０１内のヒストグラムを低輝度側から累積して累積ヒストグラムを得る。補正テーブル算出部１０９ｃは、ヒストグラム累積部１０９ｂで得られた累積ヒストグラムを用いてコントラスト補正のための補正パラメータの一例としての補正テーブルを算出する。コントラスト補正部１０９ｄは、補正テーブル算出部１０９ｃによって算出された補正テーブルに基づいて、ヒストグラム算出領域２０１内の中心画素２０２の輝度データに対してコントラスト補正を施し、コントラスト補正を施した輝度データ（Ｙ’）をＲＡＭ１０７に出力する。

ここで、コントラスト補正をヒストグラム算出領域２０１内の中心画素２０２に対して行う場合、図３に示す画面の端の部分ではコントラスト補正を行えないことになる。そこで、このような画面端の画素については表示や記録に用いない画素としておくことが望ましい。なお、画面端の画素数は、ヒストグラム算出領域２０１の画素数を減らすことによって減らすことができる。

表示部１１０は、例えば液晶ディスプレイ（ＬＣＤ）等の表示部であり、撮像部１０４を介して得られた画像や、記録媒体１１１に記録された画像等の各種画像を再生表示する。記録媒体１１１は、例えばデジタルカメラに着脱自在に構成されたメモリカード等であり、画像処理回路１０８のＪＰＥＧ圧縮／伸張部１０８ｅによって圧縮された画像データを記録する。

以下、図２に示すデジタルカメラの動作についてさらに説明する。本実施形態では、デジタルカメラの動作モードがライブビューモードであるか、記録モードであるか、再生モードであるかに応じて異なるコントラスト補正を行う。ライブビューモードは撮像部１０４で得られた画像をリアルタイムに表示部１１０に表示させるモードである。また、記録モードは撮像部１０４で得られた画像を記録媒体１１１に記録させるモードである。さらに、再生モードは記録媒体１１１に記録された画像を表示部１１０に表示させるモードである。

本実施形態において、電源投入後等には、まず、デジタルカメラの動作モードがライブビューモードに設定される。ライブビューモードにおいて例えば操作部１０２のレリーズボタンが操作された場合には記録モードに移行する。また、ライブビューモードにおいて操作部１０２の再生ボタンが操作された場合には再生モードに移行する。

図４は、デジタルカメラの動作モードがライブビューモード又は記録モードの場合の動作制御について示すフローチャートである。図４において、まず、マイクロコンピュータ１０１は、自動露出調整（ＡＥ）処理及び自動焦点調整（ＡＦ）処理を実行する（ステップＳ１）。ここで、ＡＥ処理及びＡＦ処理は、従来周知の手法で実行して良い。例えば、ＡＥ処理は、撮像部１０４において得られる画像データから撮影時のシーンの輝度を評価し、この評価に従った適正露出条件を求めることで行う。また、ＡＦ処理は、例えば撮像部１０４において得られる画像データから画像のコントラストを評価し、このコントラストが最大となるように光学系に含まれる焦点調整用のレンズを移動させることで行う。

ＡＥ処理、ＡＦ処理の後、マイクロコンピュータ１０１は、撮像部１０４の露出量が適正露出量となるように、撮像部１０４へ入射する光の量と撮像部１０４の露光時間とを制御する（ステップＳ２）。この露出制御により、撮像部１０４において画像信号が得られる。続いて、撮像部１０４で得られた画像信号に対する撮像処理が行われる（ステップＳ３）。この撮像処理により、撮像部１０４において得られた画像信号がマイクロコンピュータ１０１の制御に従って読み出され、Ａ／Ｄ変換部１０５においてデジタルの画像データに変換された後、バス１０６を介してＲＡＭ１０７に格納される。ここで、撮像部１０４からの画像信号の読み出しの際には、デジタルカメラの動作モードがライブビューモードの場合には撮像部１０４の全ての画素からの画像信号を読み出すのではなく、一部を間引いて読み出すことが好ましい。これは、画像信号の読み出し時間や処理時間を短縮してリアルタイムの表示を可能とするためである。これに対し、デジタルカメラの動作モードが記録モードの場合には撮像部１０４の全ての画素からの画像信号を読み出すようにする。

ＲＡＭ１０７に画像データが格納された後、マイクロコンピュータ１０１は、画像処理回路１０８における画像処理を実行させる。まず、ＷＢ補正部１０８ａは、ＲＡＭ１０７に格納された画像データを読み出し、マイクロコンピュータ１０１から指示されたホワイトバランス補正値を画像データに乗じる補正を行う（ステップＳ４）。次に、同時化部１０８ｂは、ＷＢ補正部１０８ａの出力から補間によって３色を１画素成分とする画像データを生成する同時化処理を行う（ステップＳ５）。Ｙ／Ｃ分離部１０８ｃは、同時化部１０８ｂの出力を、輝度データと色差データとに分離する（ステップＳ６）。次に、色変換部１０８ｄは、Ｙ／Ｃ分離部１０８ｃにおいて分離された色差データをマイクロコンピュータ１０１から指示されたカラーマトリクスに従って色変換する（ステップＳ７）。次に、Ｙ／Ｃ分離部１０８ｃは分離した輝度データをＲＡＭ１０７に格納する。また、色変換部１０８ｄは色変換後の色差データをＲＡＭ１０７に格納する（ステップＳ８）。

次に、マイクロコンピュータ１０１はコントラスト補正回路１０９におけるコントラスト補正を実行させる。まず、ヒストグラム算出部１０９ａは、ＲＡＭ１０７に格納された１画面分の輝度データに対してヒストグラム算出領域２０１を設定し、該設定したヒストグラム算出領域２０１内の輝度データを読み出す（ステップＳ９）。次に、ヒストグラム算出部１０９ａは、読み出したヒストグラム算出領域２０１内の輝度データの頻度からヒストグラムを算出する（ステップＳ１０）。また、ヒストグラム算出領域２０１内の中心画素２０２に対応する輝度データをコントラスト補正部１０９ｄに出力する。図５は、ヒストグラム算出部１０９ａにおいて算出されるヒストグラムの一例を示している。図５に示すヒストグラムは、ヒストグラム算出領域２０１内の輝度データの頻度分布を低輝度側から求めることで算出される。このようなヒストグラムは、画面内のヒストグラム算出領域２０１に対応する部分の輝度分布を示すものとなる。

次に、ヒストグラム累積部１０９ｂは、ヒストグラム算出部１０９ａによって算出されたヒストグラムを低輝度側から順次累積することにより、図６に示すような累積ヒストグラムを算出する（ステップＳ１１）。一般には、図６に示す累積ヒストグラムを用いてヒストグラム算出領域２０１内の輝度データのコントラストを補正することにより、ヒストグラム算出領域２０１内の輝度分布が最適化されるように（ヒストグラム算出領域２０１内の輝度データの頻度が均一となるように）輝度データの大きさが補正される。しかしながら、環境光の状況によっては輝度分布を最適化した画像を表示した場合に見えが悪化する場合もあるため、本実施形態では、シーンの輝度分布に加えて環境光の強度を考慮した補正テーブルを算出し、この補正テーブルに基づいてコントラスト補正を行う。

このために、補正テーブル算出部１０９ｃは、ヒストグラム累積部１０９ｂによって算出された累積ヒストグラムと、マイクロコンピュータ１０１から指示される環境光センサ１０３の測定結果及びデジタルカメラの動作モードとから、ヒストグラム算出領域２０１内の中心画素２０２の輝度データに対してコントラスト補正を施すための補正テーブルを算出する（ステップＳ１２）。図７は、補正テーブルの例を示している。補正テーブル（図７に示す最終的な補正テーブル）は、デフォルト補正テーブルと累積ヒストグラムとを所定の合成比で合成することによって得られる。ここで、デフォルト補正テーブルは、例えば、補正前の輝度データ（入力輝度データ）と補正後の輝度データ（出力輝度データ）が所定の線形関係となる固定的な特性を有する補正テーブルであり、予め補正テーブル算出部１０９ｃに記憶されているものである。

ここで、図８を参照して補正テーブルの算出手法について説明する。図８は、補正テーブルの算出手法の一例について示したフローチャートである。

まず、補正テーブル算出部１０９ｃは、マイクロコンピュータ１０１から指示されるデジタルカメラの動作モードの情報を受け取り、現在のデジタルカメラの動作モードがライブビューモードであるか、記録モードであるか、或いは再生モードであるかをチェックする（ステップＳ３１）。次に、補正テーブル算出部１０９ｃは、マイクロコンピュータ１０１から指示される環境光センサ１０３による環境光の強度の測定結果の情報を受け取る（ステップＳ３２）。次に、補正テーブル算出部１０９ｃは、現在のデジタルカメラの動作モードと現在の環境光の強度とから、デフォルト補正テーブルと累積ヒストグラムとの合成比を判断する（ステップＳ３３）。合成比を判断した後、補正テーブル算出部１０９ｃは、判断した合成比を用いてデフォルト補正テーブルと累積ヒストグラムとを合成する（ステップＳ３４）。その後に図８の処理を終了させる。

図９（ａ）は、補正テーブルの合成比を判断するためのテーブルの例を示す図である。図９（ａ）に示すように、合成比は、現在のデジタルカメラの動作モードと環境光の強度に応じて決定される。ここで、デフォルト補正テーブルの比率を高くして合成を行った場合には、コントラスト補正後の画素の輝度は、撮像部１０４で取得されたときの輝度に近くなるように補正される。一方、累積ヒストグラムの比率を高くして合成を行った場合には、コントラスト補正後の画素の輝度は、ヒストグラム算出領域２０１内の輝度の頻度がより均一化されるように補正される。

記録モードの場合のコントラスト補正は、画像内の被写体の輝度バランスを補正するための補正である。そこで、記録モードの場合には、環境光の強度によらない一律の合成比で補正テーブル算出する。図９（ａ）の例において、記録モードの場合には、デフォルト補正テーブルと累積ヒストグラムとの合成比をｋ：１.０−ｋとしている。ここで、０.０≦ｋ≦１.０である。なお、合成比決定用パラメータとしてのｋは、予めシーン毎に最適化された固定値を補正テーブル算出部１０９ｃに記憶させておくようにしても良いし、ユーザによる補正強度の指示に応じて変えるようにしても良い。ここで、ｋを小さくするほど、累積ヒストグラムの影響が強くなってコントラスト補正の効果が強くなる。例えば、逆光シーンにおいては、ｋを小さくしておくことにより、画像の輝度の頻度分布を均一化して、明るい背景に対して暗い被写体を浮かび上がらせることが可能である。

また、ライブビューモードの場合のコントラスト補正は、画像表示時の見えを改善するための補正である。そこで、ライブビューモードの場合には、環境光の強度を考慮した合成比で補正テーブル算出する。図９（ａ）の例において、ライブビューモードで且つ環境光の強度が第１の閾値よりも小さい場合（表示部１１０の周囲が暗い場合）には、デフォルト補正テーブルと累積ヒストグラムとの合成比を記録モードと同じｋ：１.０−ｋ（ｋは記録モードのｋと同じ値。以下も同様である）としている。この場合には、環境光による画像の見えの悪化は殆どないとして記録モードと同じ合成比を用いる。これにより、表示部１１０で表示される画像と記録媒体１１１に記録される画像のコントラストが一致する。

また、ライブビューモードで且つ環境光の強度が第１の閾値よりも大きい第２の閾値よりも大きい場合（表示部１１０の周囲が明るい場合）には、デフォルト補正テーブルと累積ヒストグラムとの合成比を０.１：０.９としている。この場合は、環境光による影響が強いので、コントラスト補正の効果を強くして画像の見えを改善する。

さらに、環境光の強度が第１の閾値よりも大きく且つ第２の閾値よりも小さい場合には、ある程度のコントラスト補正を行う。図９（ａ）の例においては、デフォルト補正テーブルと累積ヒストグラムとの合成比をｋ−０.２：１.２−ｋとしている。なお、ｋの設定によっては合成比が０.０未満となったり、１.０を超えたりする場合もあるが、この場合には０.０或いは１.０にクリップする。これは、以後に説明する再生モードの場合も同様である。

また、後述する再生モード時においては、ライブビューモード時と同じ見え方で画像が表示されるように合成比を決定する。即ち、記録媒体１１１に記録される画像データは、記録モードに対応したコントラスト補正が既に行われているので、これを考慮して再生モード時の合成比を判断する。図９（ａ）の例において、再生モードで且つ環境光の強度が第１の閾値よりも小さい場合（表示部１１０の周囲が暗い場合）には、デフォルト補正テーブルと累積ヒストグラムとの合成比を１.０：０.０としている。この場合には、コントラスト補正は行われず、記録時の画像のコントラスト（環境光が暗い場合のライブビューモードのコントラストと同じ）が維持される。

また、再生モードで且つ環境光の強度が第２の閾値よりも大きい場合（表示部１１０の周囲が明るい場合）には、デフォルト補正テーブルと累積ヒストグラムとの合成比をｋ＋０.１：０.９−ｋとしている。このような合成比でコントラスト補正を行うことで、結果としてライブビューモードにおいて環境光の強度が強い場合に行われるコントラスト補正と同一のコントラスト補正が行われる。

さらに、環境光の強度が第１の閾値よりも大きく且つ第２の閾値よりも小さい場合には、デフォルト補正テーブルと累積ヒストグラムとの合成比をｋ＋０.３：０.７−ｋとしている。

ここで、図９（ａ）は、動作モード毎に３段階の閾値を設定し、これら閾値で区分される合成比の中から環境光の強度に応じて１つの合成比を選択するものである。これに対し、図９（ｂ）に示すようにして、合成比を環境光の強度に応じてより細かく設定できるようにしても良い。図９（ｂ）の例は、環境光の強度が閾値よりも大きい場合及び小さい場合の合成比を一定値（例えば、図９（ａ）と同じ値）とし、中間の強度に対応する合成比を線形関係によって求めるものである。

ここで、図４の説明に戻る。補正テーブル算出部１０９ｃにおいて補正テーブルが算出された後、コントラスト補正部１０９ｄは、ヒストグラム算出領域２０１の中心画素２０２に対応する輝度データに対してコントラスト補正を行う（ステップＳ１３）。コントラスト補正は、中心画素２０２の輝度データに、ステップＳ１２において算出された補正テーブルに従ったゲイン量を乗じることによって行う。これにより、画像のコントラストの強度が補正される。コントラスト補正の後、コントラスト補正部１０９ｄは、補正して得られた輝度データをＲＡＭ１０７に格納する（ステップＳ１４）。このようにして、画面内の１画素分の輝度データに対するコントラスト補正が行われる。

１画素分の輝度データに対するコントラスト補正が終了した後、コントラスト補正部１０９ｄは、１画面内の全画素に対するコントラスト補正が終了したかを、例えばコントラスト補正部１０９ｄに入力された輝度データの数をカウントすることによって判定する（ステップＳ１５）。ステップＳ１５の判定の結果、１画面内の全画素に対するコントラスト補正が終了していない場合に、コントラスト補正部１０９ｄは次の画素に対するコントラスト補正を行うべく、ヒストグラム算出部１０９ａに、ヒストグラム算出領域２０１を１画素だけ分水平又は垂直方向にシフトさせて輝度データを読み出すように指示を送る。この後、処理がステップＳ９に戻る。

また、ステップＳ１５の判定の結果、１画面内の全画素に対するコントラスト補正が終了した場合に、コントラスト補正部１０９ｄはその旨をマイクロコンピュータ１０１に通知する。これを受けてマイクロコンピュータ１０１は、表示部１１０に画像を再生表示させる（ステップＳ１６）。即ち、表示部１１０は、ＲＡＭ１０７に格納されたコントラスト補正後の輝度データ及び色変換後の色差データを読み出して、これら輝度データ及び色差データから映像信号を生成し、生成した映像信号を画像として表示させる。次に、マイクロコンピュータ１０１は、現在のデジタルカメラの動作モードがライブビューモードであるかを判定する（ステップＳ１７）。ステップＳ１７の判定において、現在のデジタルカメラの動作モードがライブビューモードである場合には、次のフレームの表示を行うべく、処理がステップＳ１に戻る。

一方、ステップＳ１７の判定において、現在のデジタルカメラの動作モードが記録モードである場合に、マイクロコンピュータ１０１は、画像処理回路１０８のＪＰＥＧ圧縮／伸張部１０８ｅによって、ＲＡＭ１０７に格納されたコントラスト補正後の輝度データ及び色変換後の色差データを圧縮する（ステップＳ１８）。その後、マイクロコンピュータ１０１は、ＪＰＥＧ圧縮／伸張部１０８ｅにおいて得られた画像データに撮影条件等の所定のヘッダ情報を付加して画像ファイルを作成する（ステップＳ１９）。ここで、本実施形態においては、画像ファイルのヘッダ情報に上述の合成比決定用パラメータｋをさらに記録しておく。ここで記録するｋは再生モード時のコントラスト補正に用いるためのものである。画像ファイルの作成後、マイクロコンピュータ１０１は、作成した画像ファイルを記録媒体１１１に記録させる（ステップＳ２０）。その後に、図４の処理を終了させる。

図１０は、デジタルカメラの再生モード時の動作制御について示すフローチャートである。図１０において、ユーザによる操作部１０２の操作によって画像ファイルがオープンされると（ステップＳ４１）、これを受けてマイクロコンピュータ１０１は、対応する画像ファイルのヘッダ情報からｋを取得する（ステップＳ４２）。続いて、マイクロコンピュータ１０１は、対応する画像ファイルの画像データを取得する（ステップＳ４３）。その後、マイクロコンピュータ１０１は、画像処理回路１０８のＪＰＥＧ圧縮／伸張部１０８ｅによって、圧縮されている画像データを伸張する（ステップＳ４４）。伸張の後、ＪＰＥＧ圧縮／伸張部１０８ｅは、伸張された画像データ（輝度データ及び色差データ）をＲＡＭ１０７に格納する（ステップＳ４５）。

次に、マイクロコンピュータ１０１はコントラスト補正回路１０９におけるコントラスト補正を実行させる。まず、ヒストグラム算出部１０９ａは、ＲＡＭ１０７に格納された１画面分の輝度データに対してヒストグラム算出領域２０１を設定し、該設定したヒストグラム算出領域２０１内の輝度データを読み出す（ステップＳ４６）。次に、ヒストグラム算出部１０９ａは、読み出したヒストグラム算出領域２０１内の輝度データの頻度からヒストグラムを算出する（ステップＳ４７）。また、ヒストグラム算出領域２０１内の中心画素２０２に対応する輝度データをコントラスト補正部１０９ｄに出力する。

次に、ヒストグラム累積部１０９ｂは、ヒストグラム算出部１０９ａによって算出されたヒストグラムを低輝度側から順次累積することにより、累積ヒストグラムを算出する（ステップＳ４８）。その後、補正テーブル算出部１０９ｃは、ヒストグラム累積部１０９ｂによって算出された累積ヒストグラムと、マイクロコンピュータ１０１から指示される環境光センサ１０３の測定結果及びｋの値とから、図９（ａ）又は図９（ｂ）の関係を用いて補正テーブルを算出する（ステップＳ４９）。補正テーブル算出部１０９ｃにおいて補正テーブルが算出された後、コントラスト補正部１０９ｄは、ヒストグラム算出領域２０１の中心画素２０２に対応する輝度データに対してコントラスト補正を行う（ステップＳ５０）。コントラスト補正の後、コントラスト補正部１０９ｄは、補正した輝度データをＲＡＭ１０７に格納する（ステップＳ５１）。１画素分の輝度データに対するコントラスト補正が終了した後、コントラスト補正部１０９ｄは、１画面内の全画素に対するコントラスト補正が終了したかを、例えばコントラスト補正部１０９ｄに入力された輝度データの数をカウントすることによって判定する（ステップＳ５２）。ステップＳ５２の判定の結果、１画面内の全画素に対するコントラスト補正が終了していない場合に、コントラスト補正部１０９ｄは次の画素に対するコントラスト補正を行うべく、ヒストグラム算出部１０９ａに、ヒストグラム算出領域２０１を１画素分シフトさせて輝度データを読み出すように指示を送る。この後、処理がステップＳ４６に戻る。

一方、ステップＳ５２の判定の結果、１画面内の全画素に対するコントラスト補正が終了した場合に、コントラスト補正部１０９ｄはその旨をマイクロコンピュータ１０１に通知する。これを受けてマイクロコンピュータ１０１は、表示部１１０に画像を再生表示させる（ステップＳ５３）。その後に図１０の処理を終了させる。

ここで、図１０で示した再生モードの処理は必ずしもデジタルカメラにおいて行う必要はない。例えば、画像の再生機能のみを有する画像再生装置において図１０で示した処理を実行させるようにしても良い。

以上説明したように、本実施形態では、環境光センサ１０３で測定される環境光の強度とヒストグラム算出領域２０１内の輝度分布とに応じて１画素単位で画像のコントラストを補正するための補正テーブルを算出して、画像に対して局所的なコントラスト補正を施している。これにより、表示部１１０のバックライトの輝度を補正しなくとも画像の見えを改善できるとともに、逆光シーン等の特殊なシーンであっても画像の見えが劣化しない。

また、動作モードに応じて異なるコントラスト補正を行うことにより、表示される画像の見えや記録される画像のコントラストを動作モードに応じた最適なものとすることが可能である。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上述の例では、ヒストグラム算出領域２０１を１画素ずつずらしているが、ヒストグラム算出領域２０１内の画素に対して一律のコントラスト補正を行うようにすれば、ヒストグラム算出領域を６５画素ずつずらすことも可能である。

また、上述した実施形態では環境光の強度を、環境光センサ１０３を用いて検出しているが、撮像部１０４を介して得られる画像の各部の被写体の明るさを評価して環境光を検出するようにしても良い。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

本発明の一実施形態に係る画像表示装置を含む撮像装置の概念的な構成を示すブロック図である。 図１に示す撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。 ヒストグラム算出領域の一例を示す図である。 図２のデジタルカメラの動作モードがライブビューモード又は記録モードの場合の動作制御について示すフローチャートである。 ヒストグラム算出部において算出されるヒストグラムの一例を示す図である。 ヒストグラム累積部において算出される累積ヒストグラムの一例を示す図である。 補正テーブルの例を示す図である。 補正テーブルの算出手法の一例について示したフローチャートである。 図９（ａ）は合成比判断のための第１の例について示した図であり、図９（ｂ）は合成比判断のための第２の例について示した図である。 図２のデジタルカメラの再生時の動作制御について示すフローチャートである。

符号の説明

１…輝度分布測定部、２…環境光測定部、３…パラメータ算出部、４…コントラスト補正部、５…表示部、６…記録部、１０１…マイクロコンピュータ、１０２…操作部、１０３…環境光センサ、１０４…撮像部、１０５…Ａ／Ｄ変換部、１０６…バス、１０７…ＲＡＭ、１０８…画像処理回路、１０８ａ…ホワイトバランス（ＷＢ）補正部、１０８ｂ…同時化部、１０８ｃ…Ｙ／Ｃ分離部、１０８ｄ…色変換部、１０８ｅ…ＪＰＥＧ圧縮／伸張部、１０９…コントラスト補正回路、１０９ａ…ヒストグラム算出部、１０９ｂ…ヒストグラム累積部、１０９ｃ…補正テーブル算出部、１０９ｄ…コントラスト補正部、１１０…表示部、１１１…記録媒体

Claims (10)

1. 画像信号を受けて画像を表示する表示手段と、
   上記表示手段の周辺の環境光の強度を測定する環境光測定手段と、
   上記画像信号が得られた撮像時のシーンの輝度分布を、所定の画素数からなる領域毎に測定する輝度分布測定手段と、
   上記環境光の強度と上記領域毎のシーンの輝度分布とに基づいて上記画像の局所的なコントラストを補正するための補正パラメータを上記領域毎に算出するパラメータ算出手段と、
   上記算出された上記領域毎の補正パラメータを用いて上記領域毎の画像信号を補正して上記画像の局所的なコントラストを補正するコントラスト補正手段と、
   を具備し、
   上記パラメータ算出手段は、
   上記画像信号に固定的なコントラスト補正を施すための固定コントラスト補正テーブルを記憶する固定コントラスト補正テーブル記憶部と、
   上記輝度分布測定手段で測定された上記領域毎のシーンの輝度分布をそれぞれ累積して累積ヒストグラムを上記領域毎に算出する累積ヒストグラム算出部と、
   上記環境光測定手段で測定された環境光の強度に応じて判断される合成比で上記固定コントラスト補正テーブルと上記領域毎の累積ヒストグラムとを合成して上記補正パラメータを上記領域毎に算出する合成部と、
   を有することを特徴とする画像表示装置。
2. 上記補正パラメータは、上記画像のコントラストの強度を補正するパラメータを含むことを特徴とする請求項１に記載の画像表示装置。
3. シーンを撮像して画像信号を得る撮像手段と、
   上記得られた画像信号を記録媒体に記録する画像記録手段と、
   上記画像信号を受けて画像を表示する表示手段と、
   上記表示手段の周辺の環境光の強度を測定する環境光測定手段と、
   上記画像信号が得られた撮像時のシーンの輝度分布を、所定の画素数からなる領域毎に測定する輝度分布測定手段と、
   上記領域毎のシーンの輝度分布に基づいて上記記録媒体に記録する画像の局所的なコントラストを補正するための記録用補正パラメータを上記領域毎に算出するとともに、上記環境光の強度と上記領域毎のシーンの輝度分布とに基づいて、上記表示手段に表示する画像の局所的なコントラストを補正するための表示用補正パラメータを上記領域毎に算出するパラメータ算出手段と、
   上記算出された上記領域毎の記録用補正パラメータを用いて上記領域毎の画像信号を補正して上記記録媒体に記録する画像の局所的なコントラストを補正するとともに、上記算出された上記領域毎の表示用補正パラメータを用いて上記領域毎の画像信号を補正して上記表示手段に表示する画像の局所的なコントラストを補正するコントラスト補正手段と、
   を具備することを特徴とする撮像装置。
4. 上記記録用補正パラメータ及び上記表示用補正パラメータは、上記画像のコントラストの強度を補正するパラメータを含むことを特徴とする請求項３に記載の撮像装置。
5. 上記パラメータ算出手段は、
   上記画像信号に固定的なコントラスト補正を施すための固定コントラスト補正テーブルを記憶する固定コントラスト補正テーブル記憶手段と、
   上記輝度分布測定手段により測定された上記領域毎のシーンの輝度分布をそれぞれ累積することにより累積ヒストグラムを上記領域毎に算出する累積ヒストグラム算出手段と、
   所定の合成比で上記固定コントラスト補正テーブルと上記領域毎の累積ヒストグラムとを合成して上記領域毎の記録用補正パラメータを算出するとともに、上記環境光測定手段で測定された環境光の強度に応じて判断される合成比で上記固定コントラスト補正テーブルと上記領域毎の累積ヒストグラムとを合成して上記表示用補正パラメータを上記領域毎に算出する合成手段と、
   を有することを特徴とする請求項３に記載の撮像装置。
6. 上記画像記録手段は、上記所定の合成比を決定するための合成比決定用パラメータを上記画像信号とともに上記記録媒体に記録することを特徴とする請求項５に記載の撮像装置。
7. 上記合成手段は、上記合成比決定用パラメータと上記環境光測定手段で測定された環境光の強度とに基づいて判断される合成比で上記固定コントラスト補正テーブルと上記領域毎の累積ヒストグラムとを合成して上記記録媒体に記録された画像信号を再生する際の局所的なコントラスト補正に用いられる再生用補正パラメータを算出し、
   上記コントラスト補正手段は、さらに、上記再生用補正パラメータを用いて上記記録媒体に記録された画像の局所的なコントラストを補正し、
   上記表示手段は、上記再生用補正パラメータを用いて局所的なコントラストが補正された画像を表示することを特徴とする請求項６に記載の撮像装置。
8. 上記再生用補正パラメータを用いて補正された画像のコントラストと上記表示用補正パラメータを用いて補正された画像のコントラストとが一致するように上記再生用補正パラメータが算出されることを特徴とする請求項７に記載の撮像装置。
9. シーンを撮像して得られた画像信号と該画像信号を再生する際の局所的なコントラスト補正に用いられる再生用補正パラメータを算出するための合成比決定用パラメータとが記録された記録媒体から、上記画像信号及び上記合成比決定用パラメータを読み出す読出手段と、
   上記読み出された画像信号を再生して画像を表示する表示手段と、
   上記表示手段の周辺の環境光の強度を測定する環境光測定手段と、
   上記画像信号が得られた際のシーンの輝度分布を、所定の画素数からなる領域毎に測定する輝度分布測定手段と、
   上記読み出された画像信号に固定的なコントラスト補正を施すための固定コントラスト補正テーブルを記憶する固定コントラスト補正テーブル記憶手段と、上記輝度分布測定手段で測定された上記領域毎のシーンの輝度分布を累積して累積ヒストグラムを上記領域毎に算出する累積ヒストグラム算出手段と、上記合成比決定用パラメータと上記環境光測定手段で測定された環境光の強度とに基づいて判断される合成比で上記固定コントラスト補正テーブルと上記領域毎の累積ヒストグラムとを合成して上記再生用補正パラメータを上記領域毎に算出する合成手段と、を有するパラメータ算出手段と、
   上記算出された上記領域毎の再生用補正パラメータを用いて上記読み出された上記領域毎の画像信号を補正して上記画像の局所的なコントラストを補正するコントラスト補正手段と、
   を具備することを特徴とする画像再生装置。
10. 表示部の周辺の環境光の強度を測定し、
    上記表示部に表示させる画像を示す画像信号が得られた撮像時のシーンの輝度分布を、所定の画素数からなる領域毎に測定し、
    上記環境光の強度と上記領域毎のシーンの輝度分布とに基づいて、上記画像の局所的なコントラストを補正するための補正パラメータを上記領域毎に算出し、
    上記算出された上記領域毎の補正パラメータを用いて、上記領域毎の画像信号を補正して上記画像の局所的なコントラストを補正し、
    上記局所的なコントラストを補正した画像を上記表示部に表示し、
    上記補正パラメータを算出する際に、
    上記画像信号に固定的なコントラスト補正を施すための固定コントラスト補正テーブルを記憶し、
    上記測定された上記領域毎のシーンの輝度分布をそれぞれ累積して累積ヒストグラムを上記領域毎に算出し、
    上記測定された環境光の強度に応じて判断される合成比で上記固定コントラスト補正テーブルと上記領域毎の累積ヒストグラムとを合成して上記補正パラメータを上記領域毎に算出する、
    ことを特徴とする画像表示方法。

Images