JP2011205347A - 画像表示装置およびプログラム - Google Patents

Abstract

【課題】 表示される画像での色の見えを周囲の明るさに応じてより良好に調整しうる手段を提供する。
【解決手段】 画像表示装置は、画像を表示する表示部と、第１取得部と、第２取得部と、制御部とを有する。第１取得部は、表示部による表示出力の表示照明条件を取得する。第２取得部は、環境光による外部照明条件を取得する。制御部は、表示照明条件および外部照明条件を用いて、表示部の表示領域のサイズまたは表示領域による視角に応じて環境光下での画像の色再現を調整した補正画像を表示部に表示させる。
【選択図】 図１

Description

本発明は、画像表示装置およびプログラムに関する。

従来から、画像表示装置での色の見えは、視環境（照明の輝度や白色点、周囲の明るさを含む）の条件に応じてそれぞれ異なることが知られている。例えば、視覚の順応している輝度が高い視環境では、人間の目には輝度や彩度のコントラストが通常よりも高く知覚される。

かかる視環境に応じた色の見えを予測するモデルとして、ＣＩＥＣＡＭ９７ｓやＣＩＥＣＡＭ０２などがある。また、一例として、あるデバイスでの色の見えを予測する場合には、デバイスの白色点や輝度を視覚が順応している白色点や輝度とみなして調整を行う技術も提案されている（例えば特許文献１参照）。

特開２００１−１４３０６５号公報

ところで、画像表示装置の視聴時において、周囲の明るさによる色の見えへの影響は、表示領域のサイズや表示領域による視角の大きさによっても相違する。

また、ＣＩＥＣＡＭ９７ｓやＣＩＥＣＡＭ０２のモデルでは、周囲の明るさがデバイスの輝度よりも大きい場合の影響を正しく考慮できていない場合があった。

そこで、本発明は、表示される画像での色の見えを周囲の明るさに応じてより良好に調整しうる手段を提供する。

本発明の一態様に係る画像表示装置は、画像を表示する表示部と、第１取得部と、第２取得部と、制御部とを有する。第１取得部は、表示部による表示出力の表示照明条件を取得する。第２取得部は、環境光による外部照明条件を取得する。制御部は、表示照明条件および外部照明条件を用いて、表示部の表示領域のサイズまたは表示領域による視角に応じて環境光下での画像の色再現を調整した補正画像を表示部に表示させる。

上記の一態様において、第１取得部は、表示部の表示輝度および白色点の少なくとも１つの情報を表示照明条件として取得してもよい。また、第２取得部は、環境光の輝度、照度および白色点の少なくとも１つの情報を外部照明条件として取得してもよい。

上記の一態様において、制御部は、表示照明条件の明るさが外部照明条件の明るさよりも暗いときに、画像のコントラストを高くする階調変換処理を行って補正画像を生成してもよい。

本発明の他の態様に係る画像表示装置は、画像を表示する表示部と、第１取得部と、第２取得部と、制御部とを有する。第１取得部は、表示部による表示出力の表示照明条件を取得する。第２取得部は、環境光による外部照明条件を取得する。制御部は、表示照明条件および外部照明条件を用いて、環境光下での画像の色再現を調整した補正画像を表示部に表示させる。また、制御部は、表示照明条件の明るさが外部照明条件の明るさよりも暗いときに、画像のコントラストを高くする階調変換処理を行って補正画像を生成する。

上記の一態様または他の態様において、制御部は、画像の明度および彩度の少なくとも一方のコントラストを高くする階調変換処理を行ってもよい。また、制御部は、階調範囲の中間値、画像全体の画素平均、主要被写体を中心とする注目領域の画素平均のいずれかの階調値を基準として、上記の階調変換処理を行ってもよい。また、制御部は、表示対象の画像が全体画像の一部を拡大した部分画像であるときに、部分画像全体または部分画像の中心近傍を基準として、上記の階調変換処理を行ってもよい。また、制御部は、表示部の反射特性に応じて上記の階調変換処理の階調変換特性を設定してもよい。

上記の一態様または他の態様において、制御部は、表示領域のサイズまたは表示領域による視角の大きさに応じて、補正画像を生成するときに表示照明条件の寄与度を変化させてもよい。

上記の一態様または他の態様において、第２取得部は、自然光を含む光を環境光として検出してもよい。

なお、上記の一態様または他の態様の画像表示装置を含む撮像装置や、これらの画像表示装置で行われる処理をコンピュータに実行させるプログラムや、このプログラムを記憶したプログラム記憶媒体や、上記の一態様または他の態様の画像表示装置で行われる処理方法は、いずれも本発明の具体的態様として有効である。

本発明によれば、表示照明条件および外部照明条件を用いて、表示される画像での色の見えを周囲の明るさに応じてより良好に調整しうる。

本実施形態での画像表示装置の構成例を示すブロック図 本実施形態の電子カメラにおける画像の表示制御の例を示す流れ図 図２のＳ１０６でのサブルーチンの例を示す流れ図 本実施形態での第３ＬＵＴのトーンカーブの例を示す図 本実施形態での第４ＬＵＴのトーンカーブの例を示す図 本実施形態での第５ＬＵＴのトーンカーブの例を示す図

＜画像表示装置の構成例＞
図１は、本実施形態での画像表示装置の構成例を示すブロック図である。本実施形態では、画像表示装置が電子カメラに組み込まれている例を説明する。

電子カメラは、撮像部１１と、モニタ１２と、測光センサ１３と、ＣＰＵ１５と、メディアＩ／Ｆ１６と、メモリ１７と、ユーザの各種操作を受け付ける操作部１８とを有する。なお、撮像部１１、モニタ１２、測光センサ１３、メディアＩ／Ｆ１６、メモリ１７、操作部１８は、それぞれＣＰＵ１５と接続されている。

撮像部１１は、被写体の像を撮像して撮影画像のデータを生成する。この撮像部１１は、被写体の像を撮像する撮像素子と、撮像素子の出力にアナログおよびデジタルの信号処理を施す信号処理回路を含んでいる。なお、図１では、撮像部１１に含まれる各要素の図示は省略する。

モニタ１２は、ＣＰＵ１５の表示制御により、撮像部１１で撮像された画像や、メディアＩ／Ｆ１６またはメモリ１７から読み込んだ再生画像や、電子カメラの設定画面などを表示する。本実施形態のモニタ１２は、例えば、電子カメラの筐体背面に配置される液晶ディスプレイパネルで構成される。

測光センサ１３は、電子カメラ周囲の環境光の明るさを検出し、環境光による外部照明条件を取得する。例えば、屋外や窓際などで電子カメラが使用される場合、上記の環境光には、自然光源（太陽）から照射される自然光の成分が含まれる。なお、測光センサ１３の取付位置は、装置外部の光を取り込める位置であれば特に限定されるものではない。一例として、本実施形態での測光センサ１３は、電子カメラの筐体背面側においてモニタ１２の近傍に配置されるものとする。

ＣＰＵ１５は、電子カメラの動作を統括的に制御するプロセッサである。例えば、電子カメラが被写体の像を撮像する撮影モードにおいて、ＣＰＵ１５は記録用の静止画像や動画像を撮像部１１に撮像させる。また、撮影モードでの撮像部１１は、ＣＰＵ１５の制御により、静止画撮影の撮影待機時にも所定間隔毎に観測用の画像（スルー画像）を連続的に撮像する。

そして、ＣＰＵ１５は、モニタ１２に対して表示対象の画像のデータを出力するとともに、モニタ１２での画像の表示輝度を調整する表示制御を実行する。例えば、静止画撮影時または動画撮影時には、ＣＰＵ１５の表示制御によって、スルー画像または動画像がモニタ１２に表示される。また、電子カメラの再生モードでは、ＣＰＵ１５の表示制御によって、後述の記憶媒体１９などに記憶された静止画像や動画像がモニタ１２に再生表示される。

また、ＣＰＵ１５は、画像のデータに対して階調変換処理や色空間変換処理などの画像処理を施す。なお、本実施形態のＣＰＵ１５は、後述の表示制御プログラムの実行により、環境光下での画像の見えを改善した補正画像をモニタ１２に表示させる。

メディアＩ／Ｆ１６は、不揮発性の記憶媒体１９を接続するためのコネクタを有している。そして、メディアＩ／Ｆ１６は、コネクタに接続された記憶媒体１９に対してデータの書き込み／読み込みを実行する。上記の記憶媒体１９は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体１９の一例としてメモリカードを図示する。

メモリ１７は、上記の表示制御プログラムや、この表示制御プログラムで使用される各種のデータ（ルックアップテーブル（ＬＵＴ）のデータ、色変換マトリクスのデータ、モニタ１２の白色点のデータなど）を記憶する不揮発性メモリである。なお、メモリ１７は、撮像部１１で撮影された画像のデータを記憶する記録領域を有していてもよい。

＜画像表示装置の動作例＞
次に、図２の流れ図を参照しつつ、本実施形態の電子カメラにおける画像の表示制御の例を説明する。図２の流れ図の処理は、撮影モードまたは再生モードの起動操作を受け付けたときに、ＣＰＵ１５が表示制御プログラムを実行することで開始される。

（ステップＳ１０１）
ＣＰＵ１５は、モニタ１２に表示させる入力画像を取得する。例えば、撮影モードであれば、ＣＰＵ１５は撮像部１１に被写体を撮像させるとともに、撮像部１１から入力画像としてスルー画像または動画像を順次取得する。また、再生モードであれば、ＣＰＵ１５は、メモリ１７または記憶媒体１９から再生表示する入力画像を取得する。

（ステップＳ１０２）
ＣＰＵ１５は、入力画像（Ｓ１０１）の色空間（例えばｓＲＧＢやＡｄｏｂｅ ＲＧＢなど）の情報を取得する。例えば、撮影モードの場合には、ＣＰＵ１５は撮像部１１の色空間の設定情報を取得すればよい。また、再生モードの場合には、ＣＰＵ１５は入力画像のデータに対応付けされているメタデータ（例えば画像ファイルのヘッダ領域のデータ）から色空間の情報を取得すればよい。

（ステップＳ１０３）
ＣＰＵ１５は、外部照明条件の情報を取得する。一例として、Ｓ１０３でのＣＰＵ１５は、測光センサ１３の出力から照度値Ｍ’を取得するとともに、下式（１）により外部照明条件として周囲輝度（Ｙｓ＿ａｂｓ’）を求める。
Ｙｓ＿ａｂｓ’＝Ｍ’／π …（１）
（ステップＳ１０４）
ＣＰＵ１５は、入力画像の色空間の情報（Ｓ１０２）を用いて、メモリ１７に記憶されているデータから第１ＬＵＴと第１マトリクスとを選択する。

ここで、第１ＬＵＴは、入力画像の階調特性を線形に変換するための階調変換ＬＵＴである。例えば、入力画像の色空間がｓＲＧＢである場合、ＣＰＵ１５は、ｓＲＧＢの階調変換ＬＵＴ（γ＝２．２）を第１ＬＵＴとして選択する。また、第１マトリクスは、入力画像の色空間をモニタ１２の出力色空間（Ｒ’Ｇ’Ｂ’と表記する）に変換するための色変換マトリクスである。例えば、入力画像の色空間がｓＲＧＢである場合、ＣＰＵ１５は、画像の色空間をｓＲＧＢからＲ’Ｇ’Ｂ’に変換する色変換マトリクスを第１マトリクスとして選択する。なお、本実施形態でのＬＵＴおよび色変換マトリクスは、例えば電子カメラの製造者が予め製造工程で生成したものをそれぞれ用いればよい。

（ステップＳ１０５）
ＣＰＵ１５は、モニタ１２の表示特性に応じて、メモリ１７に記憶されているＬＵＴから第２ＬＵＴを選択する。ここで、第２ＬＵＴは、モニタ１２の表示特性を考慮して出力画像の階調を最適化するための階調変換ＬＵＴである。例えば、モニタ１２の階調特性を示すγ’が１．８であるとき、ＣＰＵ１５は、１／γ’＝１／１．８の階調特性をもつＬＵＴを第２ＬＵＴとして選択する。

（ステップＳ１０６）
ＣＰＵ１５は、図３に示すサブルーチン（Ｓ２０１−Ｓ２０７）の処理により、モニタ１２の表示照明条件としての表示輝度（Ｙｗ＿ａｂｓ’）を設定する。

ステップＳ２０１：ＣＰＵ１５は、入力画像について予め想定されている想定視環境（モニタ１２の想定輝度Ｙｗ＿ａｂｓ、想定の周囲輝度Ｙｓ＿ａｂｓ）の情報と、モニタ１２の輝度調節範囲（Ｌｍｉｎ−Ｌｍａｘ）の情報とを取得する。ここで、撮影モードの場合、ＣＰＵ１５は、メモリ１７に予め記憶されている想定視環境の情報とモニタ１２の輝度調節範囲の情報とをそれぞれ取得すればよい。また、再生モードの場合、ＣＰＵ１５は、入力画像のデータに対応付けされているメタデータから想定視環境の情報を取得し、モニタ１２の輝度調節範囲の情報をメモリ１７から取得すればよい。

ステップＳ２０２：ＣＰＵ１５は、モニタ１２の想定輝度Ｙｗ＿ａｂｓと想定の周囲輝度Ｙｓ＿ａｂｓとの比に、実測した周囲輝度Ｙｓ＿ａｂｓ’を乗じて、モニタ１２の輝度目標値Ｌｔｐを求める。具体的には、ＣＰＵ１５は、下式（２）により輝度目標値Ｌｔｐを求めればよい。
Ｌｔｐ＝Ｙｓ＿ａｂｓ’＊Ｙｗ＿ａｂｓ／Ｙｓ＿ａｂｓ …（２）
ステップＳ２０３：ＣＰＵ１５は、ＬｍｉｎがＬｔｐ以下か（Ｌｍｉｎ≦Ｌｔｐ）否かを判定する。上記要件を満たす場合（Ｙｅｓ側）、ＣＰＵ１５はＳ２０４に処理を移行させる。一方、上記要件を満たさない場合（Ｎｏ側）、ＣＰＵ１５はＳ２０７に処理を移行させる。

ステップＳ２０４：ＣＰＵ１５は、ＬｔｐがＬｍａｘ以下か（Ｌｔｐ≦Ｌｍａｘ）否かを判定する。上記要件を満たす場合（Ｙｅｓ側）、ＣＰＵ１５はＳ２０５に処理を移行させる。一方、上記要件を満たさない場合（Ｎｏ側）、ＣＰＵ１５はＳ２０６に処理を移行させる。

ステップＳ２０５：この場合は、輝度目標値Ｌｔｐがモニタ１２の輝度調節範囲内にある。よって、ＣＰＵ１５は、輝度目標値Ｌｔｐをそのままモニタ１２の表示輝度Ｙｗ＿ａｂｓ’に設定する（Ｙｗ＿ａｂｓ’＝Ｌｔｐ）。そして、ＣＰＵ１５はＳ１０７の処理に復帰する。

ステップＳ２０６：この場合は、輝度目標値Ｌｔｐがモニタ１２の輝度調節範囲の下限値Ｌｍｉｎを下回る。よって、ＣＰＵ１５は、輝度調節範囲の下限値Ｌｍｉｎをモニタ１２の表示輝度Ｙｗ＿ａｂｓ’に設定する（Ｙｗ＿ａｂｓ’＝Ｌｍｉｎ）。そして、ＣＰＵ１５はＳ１０７の処理に復帰する。

ステップＳ２０７：この場合は、輝度目標値Ｌｔｐがモニタ１２の輝度調節範囲の上限値Ｌｍａｘを上回る。よって、ＣＰＵ１５は、輝度調節範囲の上限値Ｌｍａｘをモニタ１２の表示輝度Ｙｗ＿ａｂｓ’に設定する（Ｙｗ＿ａｂｓ’＝Ｌｍａｘ）。そして、ＣＰＵ１５はＳ１０７の処理に復帰する。以上で図３のサブルーチンの説明を終了する。

（ステップＳ１０７）
ＣＰＵ１５は、入力画像で想定されている周囲輝度とモニタ１２の輝度との比（Ｒｓｗ＝Ｙｓ＿ａｂｓ／Ｙｗ＿ａｂｓ）と、実際の周囲輝度とモニタ１２の輝度との比（Ｒｓｗ’=Ｙｓ＿ａｂｓ’／Ｙｗ＿ａｂｓ’）とを用いて、メモリ１７に記憶されている階調変換ＬＵＴから第３ＬＵＴを選択する。なお、第３ＬＵＴとして選択される階調変換ＬＵＴは、モニタ１２の表示領域のサイズおよびモニタ１２の標準観察距離（例えば、電子カメラ等の携帯機器の背面ディスプレイであれば約５０ｃｍ）から求めたユーザの視角を基準として、このユーザの視角内での環境光の影響に応じてトーンカーブが決定されている。

ここで、第３ＬＵＴは、主にモニタ１２の輝度よりも周囲が暗い場合に画像のコントラスト感を改善するための階調変換ＬＵＴである。図４に、本実施形態での第３ＬＵＴのトーンカーブの例を示す。Ｒｓｗに対してＲｓｗ’が十分小さい場合、第３ＬＵＴのトーンカーブは中間部が押し下げられた形状となり、暗部コントラストを抑えるように階調が補正される。Ｒｓｗに対してＲｓｗ’が十分大きい場合、第３ＬＵＴのトーンカーブは中間部が押し上げられた形状となり、暗部コントラストを立てるように階調が補正される。ＲｓｗとＲｓｗ’とがほぼ同程度の場合、第３ＬＵＴのトーンカーブはほぼ線形となる。

なお、一例として、Ｓ１０７でのＣＰＵ１５は、以下の表１に示すＲｓｗおよびＲｓｗ’の条件に基づいて、図４のトーンカーブに対応するＬＵＴのうちから第３ＬＵＴを選択すればよい。

（ステップＳ１０８）
ＣＰＵ１５は、Ｒ’Ｇ’Ｂ’と輝度／彩度の分離した色空間との間で画像の色空間を変換する第２マトリクスを設定する。一例として、本実施形態でのＣＰＵ１５は、Ｒ’Ｇ’Ｂ’とＹＣＣとの間で画像の色空間を変換する色変換マトリクスを第２マトリクスとして設定する。なお、変換先の色空間はＹＣＣに限定されず、例えばＨＳＶやＬ^*Ａ^*Ｂ^*であってもよい。また、変換先の色空間がＨＳＶやＬ^*Ａ^*Ｂ^*の場合には、Ｓ１０８での色空間の変換手段として式を用いたり、あるいは３次元色変換テーブルを用いたりしてもよい。

（ステップＳ１０９）
ＣＰＵ１５は、実際の周囲輝度とモニタ１２の輝度との比（Ｒｓｗ’）を用いて、メモリ１７に記憶されているＬＵＴから、輝度成分Ｙに関する第４ＬＵＴと、彩度成分Ｃに関する第５ＬＵＴとをそれぞれ選択する。

なお、第４ＬＵＴ、第５ＬＵＴとして選択される階調変換ＬＵＴは、モニタ１２の表示領域のサイズおよびモニタ１２の標準観察距離から求めたユーザの視角を基準として、このユーザの視角内での環境光の影響に応じてトーンカーブが決定されている。例えば、電子カメラのモニタ１２（背面ディスプレイ）は、パーソナルコンピュータのディスプレイやテレビ等と比べて小型であるため、ユーザの視角も小さくなる。そのため、電子カメラのモニタ１２の場合には、周囲の照明の影響が大きくなることを考慮して上記のＬＵＴの特性が予め調整されている。

ここで、第４ＬＵＴおよび第５ＬＵＴは、主にモニタ１２の輝度よりも周囲が明るい場合に画像のコントラスト感を向上させるための階調変換ＬＵＴである。モニタ１２よりも周囲が明るい場合、人間の視覚は画像の輝度よりも周囲の高い輝度に順応するため、画像の輝度および彩度のコントラストが通常よりもユーザには低く知覚される。

図５に、本実施形態での第４ＬＵＴのトーンカーブの例を示す。Ｒｓｗ’が十分小さい場合、第４ＬＵＴのトーンカーブはほぼ線形となる。一方、Ｒｓｗ’が大きくなるにつれて、第４ＬＵＴのトーンカーブは、低輝度部分の階調をつぶして中間調のコントラストを高くするＳ字状に変化する。

一般に周囲の輝度が高い場合、ユーザには画像の暗部がフレアにより白浮きして知覚される。そのため、高輝度環境下で選択される第４ＬＵＴは、低輝度部分の階調をつぶすことでフレアの影響を抑制しつつ、中間部での階調差を大きくする。これにより、高輝度環境下での画像のコントラスト感が保たれる。

また、第４ＬＵＴの選択に関し、モニタ表面の光の反射特性を考慮してＬＵＴのトーンカーブを調整してもよい。例えば、光の表面反射率が高いモニタの場合には、光の表面反射率が低いモニタの場合と比べて、同じ条件下でもフレアの影響がより低減するように暗部の抑制度合を強くする。

次に、図６に、本実施形態での第５ＬＵＴのトーンカーブの例を示す。第５ＬＵＴのトーンカーブはいずれも線形であるが、Ｒｓｗ’の大きさに比例してトーンカーブの傾きも大きくなる。これにより、高輝度環境下においてユーザに低く知覚される画像の彩度が調整される。

また、第５ＬＵＴの選択に関し、モニタ表面の光の反射特性を考慮してＬＵＴのトーンカーブを調整してもよい。例えば、光の表面反射率が高いモニタの場合には、光の表面反射率が低いモニタの場合と比べて、同じ条件下でもフレアの影響がより低減するようにトーンカーブの傾きを大きくする。

なお、一例として、Ｓ１０９でのＣＰＵ１５は、以下の表２に示すＲｓｗ’の条件に基づいて、図５のトーンカーブに対応するＬＵＴのうちから第４ＬＵＴを選択すればよい。同様に、Ｓ１０９でのＣＰＵ１５は、以下の表２に示すＲｓｗ’の条件に基づいて、図６のトーンカーブに対応するＬＵＴのうちから第５ＬＵＴを選択すればよい。

（ステップＳ１１０）
ＣＰＵ１５は、環境光下での入力画像の見えを改善した補正画像を生成する。一例として、Ｓ１１０でのＣＰＵ１５は、以下の（イ）−（ヘ）の処理を順次実行する。

（イ）ＣＰＵ１５は、入力画像の各画素において、第１ＬＵＴによるＲＧＢの各画素値の階調変換処理を行う。

（ロ）ＣＰＵ１５は、上記（イ）の処理後の画像に対して、第１マトリクスによる色変換処理を施す。これにより、画像の色空間はＲ’Ｇ’Ｂ’に変換される。

（ハ）ＣＰＵ１５は、上記（ロ）の処理後の画像に対して、第２ＬＵＴおよび第３ＬＵＴによる階調変換処理をそれぞれ施す。なお、この階調変換処理は、画像の各画素において各色の画素値でそれぞれ行われる。

（ニ）ＣＰＵ１５は、上記（ハ）の処理後の画像に対して、第２マトリクスによる色変換処理を施す。これにより、画像の色空間はＹＣＣに変換される。

（ホ）ＣＰＵ１５は、ＹＣＣに変換された画像の輝度面（Ｙ）に対して、第４ＬＵＴによる階調変換処理を施す。また、ＣＰＵ１５は、ＹＣＣに変換された画像の彩度面（Ｃ）に対して、第５ＬＵＴによる階調変換処理を施す。

（へ）ＣＰＵ１５は、上記（ホ）の処理後の画像に対して、第２マトリクスによる逆色変換処理を施す。これにより、画像の色空間は再びＲ’Ｇ’Ｂ’に変換される。以上により、補正画像が生成される。

（ステップＳ１１１）
ＣＰＵ１５は、モニタ１２の表示輝度をＹｗ＿ａｂｓ’に調整する。一例として、本実施形態ではモニタ１２が液晶ディスプレイパネルであるので、ＣＰＵ１５は、予めメモリ１７に記憶された情報に基づいて、モニタ１２の輝度がＹｗ＿ａｂｓ’となるようにバックライトの印可電圧を制御すればよい。

（ステップＳ１１２）
ＣＰＵ１５は、補正画像（Ｓ１１０）をモニタ１２に表示させる。以上で、図２の流れ図の説明を終了する。

本実施形態の電子カメラは、測光センサ１３の出力による外部照明条件（Ｙｓ＿ａｂｓ’）と、モニタ１２の表示照明条件（Ｙｗ＿ａｂｓ’）とを用いて、環境光下での画像の見えを元の入力画像よりも改善した補正画像をモニタ１２に表示する。

例えば、モニタ１２の輝度よりも周囲が暗い場合を考える。このとき、人間の視覚では、周囲がモニタ１２の輝度と同程度の場合よりも、画像の暗部コントラストが高く知覚される。しかし、本実施形態の電子カメラは、かかる場合には、第３ＬＵＴによる階調変換処理で補正画像のコントラストを入力画像よりも低く補正する。

一方、モニタ１２の輝度よりも周囲が明るい場合を考える。このとき、人間の視覚は画像の輝度よりも周囲の高い輝度に順応するため、周囲がモニタ１２の輝度と同程度の場合よりも、画像の輝度および彩度のコントラストがユーザには低く知覚される。しかし、本実施形態の電子カメラは、かかる場合には第４ＬＵＴおよび第５ＬＵＴによる階調変換処理で補正画像の輝度および彩度のコントラストを高く補正する。

よって、本実施形態の電子カメラでは、上記のいずれの場合でも、環境光下での補正画像の見えが入力画像よりも改善される。

また、上記の第３ＬＵＴから第５ＬＵＴは、いずれもモニタ１２の表示領域のサイズおよびモニタ１２の標準観察距離から求めたユーザの視角を基準として、このユーザの視角内での環境光の影響に応じてトーンカーブが決定されている。例えば、電子カメラの背面ディスプレイではユーザの視角が小さくなるので、屋外等での使用時にモニタ１２の輝度よりも周囲が明るくなると、ユーザの視覚は周囲の照明により順応し易くなる。本実施形態の電子カメラでは、これらの条件を考慮してＬＵＴの特性を予め調整するので、ユーザの視認性の高い補正画像をモニタ１２に表示できる。

＜実施形態の補足事項＞
（変形例１）
上記実施形態のＳ１０２において、ＣＰＵ１５は、入力画像の色空間の情報とともに、予め入力画像に与えられていた視環境の情報を取得し、この視環境の情報をＳ２０１の想定視環境の情報として用いてもよい。

また、上記実施形態において、ＣＰＵ１５は、ユーザの入力に応じてＳ２０１での想定視環境を設定してもよい。例えば、ＣＰＵ１５は、周囲の環境（室内／暗めの室内／暗室など）や観察媒体の照明条件（ＬＣＤ／テレビ／印刷など）をユーザに指定させるとともに、この選択された条件に対応する視環境の設定情報をメモリ１７から読み出すようにしてもよい。

（変形例２）
上記実施形態において、電子カメラの測光センサ１３としてカラーセンサを使用してもよい。そして、ＣＰＵ１５は、各々の視環境で順応している白色点を考慮した色順応変換を行い、モニタ１２での色の見えの再現性をより高めるようにしてもよい。この場合、ＣＰＵ１５は、図２に示す表示制御プログラムにおいて、Ｓ１０２，Ｓ１０３，Ｓ１１０の処理に代えて、以下のＳ１０２’，Ｓ１０３’，Ｓ１１０’の処理をそれぞれ実行すればよい。

Ｓ１０２’において、ＣＰＵ１５は、画像の視環境の情報として、予め想定された標準視環境の白色点（Ｘ_w，Ｙ_w，Ｚ_w）と、標準視環境での周囲白色点（Ｘ_s，Ｙ_s，Ｚ_s）の情報をそれぞれ取得する。例えばディスプレイでの観察であれば、上記の標準視環境は、標準ディスプレイ白色点と、標準ディスプレイでの周囲白色点とを用いればよい。そして、ＣＰＵ１５は、下式（３）−（５）の演算によって、標準視環境での順応白色点として、視覚の錐体空間ＬＭＳで表した値（Ｌ_{w_mix}，Ｍ_{w_mix}，Ｓ_{w_mix}）を求める。

ここで、本明細書の説明において、「Ｍ_{ＣＡＴ０２}」は、ＣＩＥＣＡＭ０２で色順応変換の色空間への変換マトリクスとして定義されているマトリクスを意味する。Ｓ１０２’でのＣＰＵ１５は、「Ｍ_{ＣＡＴ０２}」に代えて、ブラッドフォードマトリクスなどの他のマトリクスで変換される色空間を利用してもよい。また、「Ｒ_ｍｉｘ」は、周囲照明光の影響の比率を示す係数であって、０−１の間で予め調整された値（例えば０．８）が入力される。

Ｓ１０３’において、ＣＰＵ１５はカラーセンサの出力から実測の周囲白色点（Ｘ_s’，Ｙ_s’，Ｚ_s’）の情報を取得する。また、ＣＰＵ１５は、モニタ１２の白色点（Ｘ_w’，Ｙ_w’，Ｚ_w’）の情報を取得する。そして、ＣＰＵ１５は、下式（６）−（８）の演算によって、実測値に基づく順応白色点（Ｌ_{w_mix}’，Ｍ_{w_mix}’，Ｓ_{w_mix}’）を求める。

また、「Ｒ_ｍｉｘ’」は、「Ｒ_ｍｉｘ」と同様に、周囲照明光の影響の比率を示す係数であって、０−１の間で予め調整された値が入力される。

そして、Ｓ１１０’において、ＣＰＵ１５は、第１マトリクスによる色変換処理に代えて、以下のマトリクスＭ１１による色変換処理を施せばよい。

ここで、上記の式（９）において、「Ｍ_SRGB->XYZ」は入力画像の色空間（ＲＧＢ）を三刺激値ＸＹＺに変換するマトリクスを意味する。同様に、「Ｍ_XYZ->pRGB」は三刺激値ＸＹＺをモニタ１２の色空間に変換するマトリクスを意味する。

なお、上記実施形態において、ＣＰＵ１５は、撮像部１１で直前に撮影したスルー画像を用いて、周囲照明光の白色点を推定し、この変形例２の動作を行うようにしてもよい。

（変形例３）
上記実施形態では、入力画像の階調特性を第１ＬＵＴで線形に変換しているが、出力機器で表現されるビット数よりも高いビット数で処理しない場合には、表示される画像に階調とびが生じうる。演算の処理精度を大きくせずに階調とびを抑制するためには、図２に示す表示制御プログラムにおいて、ＣＰＵ１５は以下の処理を行えばよい。

まず、Ｓ１１０の処理において、ＣＰＵ１５は、第１ＬＵＴおよび第２ＬＵＴによる階調変換処理を施す。次に、ＣＰＵ１５は、上記処理後の色空間で色再現が最適化されたマトリクスＭ２１を適用して、入力画像の色空間をＲ’Ｇ’Ｂ’に変換すればよい。なお、無彩色の変化は有彩色の変化よりも画像の見えに影響が大きいことを考慮して、出力機器の白色点を入力画像の白色点に近づけるために、以下の制約でＭ２１を最適化してもよい。

出力機器の階調特性をγ’乗で表現するときに、

ただし、式（１１）の演算において、第１マトリクスＭ１の値は下式（１２）のように参照されるとともに、マトリクスＭ２１の値は下式（１３）のように参照されるものとする。

（変形例４）
上記実施形態では、電子カメラに実装された画像表示装置の例を説明した。しかし、本発明の画像表示装置は、テレビ、プロジェクタ、パーソナルコンピュータのディスプレイ、自動車に搭載されるナビゲーションシステムのモニタなどにも適用できる。また、本発明の画像表示装置は、電子カメラ以外の携帯可能なモニタ付きの電子機器（携帯電話、フォトビューア、携帯ゲーム機、電子書籍のビューアなど）に適用することができる。なお、これらの画像表示装置の基本構成は、撮像部１１がない点を除いて図１の構成と同様であるので図示は省略する。

ここで、本発明を他の機器に適用する場合には、図２に示す表示制御の例において、色変換マトリクスや階調変換ＬＵＴを適宜変更すればよい。なお、出力機器の表示領域のサイズが大きくなれば、出力機器に対するユーザの視角も大きくなり、環境光の影響も変化する。そのため、変形例４の場合における第４ＬＵＴおよび第５ＬＵＴの選択では、出力機器の表示領域のサイズおよび出力機器の標準観察距離から求めたユーザの視角の大小に応じて、ＣＰＵ１５が表示照明条件および外部照明条件の寄与度を変化させてもよい。一例として、変形例４において、ＣＰＵ１５は、表３の条件により視角の大きさに応じてＬＵＴを選択すればよい。

（変形例５）
上記実施形態の例では、第４ＬＵＴおよび第５ＬＵＴによって中間階調でのコントラストを調整している。上記実施形態の場合、補正画像での全体的な見えは大きく改善される一方で、画像の暗部やハイライト部でのコントラストは逆に低くなる。そのため、主要被写体が暗く写る画像を表示する場合や、画像の暗部やハイライト部の階調を確認する場合には、補正画像の方が逆にコントラストが悪化して見えてしまう。

そこで、ＣＰＵ１５は、入力画像の階調特性にしたがって第４ＬＵＴおよび第５ＬＵＴを設定するようにしてもよい。すなわち、ＣＰＵ１５は入力画像の階調分布を解析して主要階調範囲を決定し、この主要階調範囲でのコントラストが改善するＬＵＴを選択すればよい。

一例として、ＣＰＵ１５は、階調範囲の中間値あるいは画像全体の画素平均値を基準として上記の主要階調範囲を決定し、この階調値でのコントラストが改善する第４ＬＵＴを選択すればよい。また、ＣＰＵ１５は、画像から主要被写体を決定するとともに、主要被写体を中心とする注目領域の画素平均値を基準として上記の主要階調範囲を決定し、この階調値でのコントラストが改善する第４ＬＵＴを選択すればよい。なお、上記の主要被写体の決定は公知の手法（例えば顔検出やＡＦ位置の検出）によって行えばよい。さらに、ＣＰＵ１５は、表示対象の画像が全体画像の一部を拡大した部分画像であるときに、部分画像全体または部分画像の中心近傍を基準として上記の主要階調範囲を決定し、この階調値でのコントラストが改善する第４ＬＵＴを選択すればよい。かかる変形例５によれば、表示対象の画像に応じて、階調のつぶれの少ない補正画像を表示できる。

（変形例６）
上記実施形態において、ＣＰＵ１５は、複数のＬＵＴの値を補間して新たなトーンカーブを生成し、この補間されたトーンカーブを第３ＬＵＴ−第５ＬＵＴとして選択してもよい。これにより、より細かな変化に対応した階調変換処理を、比較的に少ないメモリの容量で実現できる。

（変形例７）
上記実施形態において、ＣＰＵ１５は、ユーザの設定に応じてモニタ１２の表示輝度を調整してもよい。この場合、図２に示す表示制御の例において、ＣＰＵ１５はＳ１０６の処理を省略し、ユーザの設定した表示輝度をＹｗ＿ａｂｓ’の値として用いればよい。

（変形例８）
上記実施形態において、測光センサ１３は、電子カメラの露出演算用の分割測光センサであってもよい。また、ＣＰＵ１５は、撮像部１１の出力（例えばスルー画像）を用いて環境光の情報を取得してもよい。これらの場合において、ＣＰＵ１５は、撮影画像の露出条件またはホワイトバランス演算値を用いて外部照明条件を求めてもよい。

（変形例９）
上記実施形態では、モニタ１２が液晶ディスプレイである例を説明した。しかし、本発明の画像表示装置のモニタは、有機ＥＬなどの他の表示デバイスであってもよい。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

１１…撮像部、１２…モニタ、１３…測光センサ、１５…ＣＰＵ、１６…メディアＩ／Ｆ、１７…メモリ、１８…操作部、１９…記憶媒体

Claims (10)

1. 画像を表示する表示部と、
   前記表示部による表示出力の表示照明条件を取得する第１取得部と、
   環境光による外部照明条件を取得する第２取得部と、
   前記表示照明条件および前記外部照明条件を用いて、前記表示部の表示領域のサイズまたは前記表示領域による視角に応じて前記環境光下での前記画像の色再現を調整した補正画像を前記表示部に表示させる制御部と、
   を備える画像表示装置。
2. 請求項１に記載の画像表示装置において、
   前記第１取得部は、前記表示部の表示輝度および白色点の少なくとも１つの情報を前記表示照明条件として取得し、
   前記第２取得部は、前記環境光の輝度、照度および白色点の少なくとも１つの情報を前記外部照明条件として取得する画像表示装置。
3. 請求項１または請求項２に記載の画像表示装置において、
   前記制御部は、前記表示照明条件の明るさが前記外部照明条件の明るさよりも暗いときに、前記画像のコントラストを高くする階調変換処理を行って前記補正画像を生成する画像表示装置。
4. 画像を表示する表示部と、
   前記表示部による表示出力の表示照明条件を取得する第１取得部と、
   環境光による外部照明条件を取得する第２取得部と、
   前記表示照明条件および前記外部照明条件を用いて、前記環境光下での前記画像の色再現を調整した補正画像を前記表示部に表示させる制御部と、を備え、
   前記制御部は、前記表示照明条件の明るさが前記外部照明条件の明るさよりも暗いときに、前記画像のコントラストを高くする階調変換処理を行って前記補正画像を生成する画像表示装置。
5. 請求項３または請求項４に記載の画像表示装置において、
   前記制御部は、前記画像の輝度および彩度の少なくとも一方のコントラストを高くする階調変換処理を行う画像表示装置。
6. 請求項３から請求項５のいずれか１項に記載の画像表示装置において、
   前記制御部は、階調範囲の中間値、前記画像全体の画素平均、主要被写体を中心とする注目領域の画素平均のいずれかの階調値を基準として、前記階調変換処理を行う画像表示装置。
7. 請求項３から請求項６のいずれか１項に記載の画像表示装置において、
   前記制御部は、表示対象の画像が全体画像の一部を拡大した部分画像であるときに、前記部分画像全体または前記部分画像の中心近傍を基準として、前記階調変換処理を行う画像表示装置。
8. 請求項３から請求項７のいずれか１項に記載の画像表示装置において、
   前記制御部は、前記表示部の反射特性に応じて前記階調変換処理の階調変換特性を設定する画像表示装置。
9. 請求項１から請求項８のいずれか１項に記載の画像表示装置において、
   前記制御部は、前記表示領域のサイズまたは前記表示領域による視角の大きさに応じて、前記補正画像を生成するときに前記表示照明条件および前記外部照明条件の寄与度を変化させる画像表示装置。
10. 表示装置による表示出力の表示照明条件を取得する第１取得処理と、
    環境光による外部照明条件を取得する第２取得処理と、
    前記表示照明条件および前記外部照明条件を用いて、前記表示装置の表示領域のサイズまたは前記表示領域による視角に応じて前記環境光下での画像の色再現を調整した補正画像を前記表示装置に表示させる表示制御処理と、
    をコンピュータに実行させるプログラム。

Images