JP2022135678A - 画像処理装置、撮像装置、制御方法及びプログラム - Google Patents

Abstract

【課題】閲覧者にとって均質な視認性、例えばコントラスト感を知覚させる表示用画像を生成する。
【解決手段】画像処理装置は、最高表示輝度の設定を変更可能に構成された表示手段に表示させる画像を生成する画像処理装置であって、画像信号を取得する第１の取得手段と、表示手段の最高表示輝度の設定を取得する第２の取得手段と、第１の取得手段により取得された画像信号に対して、階調変換を含む画像処理を行って表示させる画像を生成する生成手段と、第２の取得手段により取得された最高表示輝度の設定に基づいて、生成手段により行われる階調変換に用いられる階調特性を設定する設定手段と、を有し、階調特性は、最高表示輝度の設定に応じた輝度域に画像信号の信号値を割り当てるものであり、少なくとも一部の輝度域に対して、画像信号の信号値の対数値と絶対輝度が最高表示輝度の設定に依らず概略同一の比例定数の線形関係を示すことを特徴とする。
【選択図】図５

Description

本発明は、画像処理装置、撮像装置、制御方法及びプログラムに関し、特に表示用画像の生成に係る階調変換技術に関する。

表示器には、入力された画像の階調をどのような表示輝度で出力するかを決定する、固有のガンマ特性（表示特性）が定められている。このため、所望の階調表現で画像を表示器に表示させるためには、表示特性を考慮して入力画像を調整することが必要である。特許文献１には、撮像装置の電子ビューファインダの表示特性の逆特性を調整した階調特性を用いることで、視認性を向上させた入力画像を生成することが開示されている。

特開２０１０－２４５９２４号公報

特許文献１では、電子ビューファインダに表示される画像における視認性を担保すべく、表示特性の逆特性に撮像シーン（視環境）の明るさに応じたべき乗をかけて構成した階調特性を用いて、撮像画像から入力画像を生成している。より詳しくは、撮像シーンが明るい場合には、乗数を上げてコントラストを立てたスルー画像を表示し、暗い場合には、乗数を下げてコントラストを抑えたスルー画像を表示している。

一方、特許文献１のような撮像シーンの明るさに応じて全体的にべき乗をかける階調特性の変更は、電子ビューファインダを見るユーザに、それぞれの明るさで異なるコントラスト感を知覚させることになり、違和感を生じさせ得るものであった。またこのような知覚上の違和感は、周囲の明るさに応じて表示器の最高表示輝度を動的に変更する、あるいは、任意に最高表示輝度が変更される態様においても生じ得る。

本発明は、上述の問題点に鑑みてなされたものであり、閲覧者にとって均質な視認性、例えばコントラスト感を知覚させる表示用画像を生成する画像処理装置、撮像装置、制御方法及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、最高表示輝度の設定を変更可能に構成された表示手段に表示させる画像を生成する画像処理装置であって、画像信号を取得する第１の取得手段と、表示手段の最高表示輝度の設定を取得する第２の取得手段と、第１の取得手段により取得された画像信号に対して、階調変換を含む画像処理を行って表示させる画像を生成する生成手段と、第２の取得手段により取得された最高表示輝度の設定に基づいて、生成手段により行われる階調変換に用いられる階調特性を設定する設定手段と、を有し、階調特性は、最高表示輝度の設定に応じた輝度域に画像信号の信号値を割り当てるものであり、少なくとも一部の輝度域に対して、画像信号の信号値の対数値と絶対輝度とが最高表示輝度の設定に依らず概略同一の比例定数の線形関係を示すことを特徴とする。

このような構成により本発明によれば、閲覧者にとって均質な視認性、例えばコントラスト感を知覚させる表示用画像を生成することが可能となる。

本発明の実施形態及び変形例に係るデジタルカメラ１００の機能構成を例示した図 本発明の実施形態及び変形例に係る設定優先モードの入出力特性を例示した図 本発明の実施形態及び変形例に係る設定優先モードの入力信号と表示輝度との関係を例示した図 本発明の実施形態及び変形例に係る設定優先モードの絶対入出力特性を例示した図 本発明の実施形態１に係る均等知覚モードの絶対入出力特性を例示した図 本発明の実施形態１に係る均等知覚モードの絶対入出力特性を例示した別の図 本発明の実施形態及び変形例の設定優先モードに係る画像処理部１０５の機能構成を例示した図 本発明の実施形態及び変形例の均等知覚モードに係る画像処理部１０５の機能構成を例示した図 本発明の実施形態２に係る均等知覚モードの絶対入出力特性を例示した図

［実施形態１］
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

以下に説明する一実施形態は、画像処理装置の一例としての、電子ビューファインダとして動作可能な表示器を具備するデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、階調変換を行って表示用の画像を生成することが可能な任意の機器に適用可能である。任意の機器は、デジタルカメラやデジタルビデオカメラ、パーソナルコンピュータ、タブレット端末、携帯電話機、ゲーム機、ＡＲ（Augmented Reality：拡張現実）やＭＲ（Mixed Reality：複合現実）提示に使用する、例えば透過型のゴーグル等を含む。

《デジタルカメラの構成》
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。

制御部１０１は、少なくとも１つのプロセッサまたは回路からなる制御ユニットである。制御部１０１は、デジタルカメラ１００が有する各ブロックの動作プログラムを記録媒体１０２から読み出し、メモリ１０３に展開して実行することでデジタルカメラ１００の動作制御を行う。

記録媒体１０２は、例えばＦｌａｓｈ－ＲＯＭ等の電気的に消去・記録可能に構成された不揮発性の記録装置である。記録媒体１０２は、デジタルカメラ１００が有する各ブロックの動作プログラムに加え、各ブロックの動作に必要な定数を記録する。また記録媒体１０２は、撮像により得られた画像（ＲＡＷデータ、現像画像等）を記録する構成（半導体メモリカード）も兼ねるものであってよい。一方、メモリ１０３は、例えばＲＡＭやＤＲＡＭ等の揮発性の記録装置であり、各ブロックの動作プログラムの展開領域として用いられる。またメモリ１０３は、後述の表示器１０６に画像を表示させる際のＶＲＡＭとしても用いられる。

レンズ１１０は、撮像レンズ群を搭載したユニットであり、デジタルカメラ１００に着脱可能に構成される。レンズ１１０は通常、複数枚のレンズから構成されるが、図１では簡略して１枚のレンズのみを示している。レンズ１１０は、不図示の制御回路を有し、制御部１０１から入力された駆動信号に基づいて、その状態が制御される。

撮像部１０４は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、レンズ１１０により撮像面に結像された光学像を電気信号に変換することで、アナログ画像信号を取得する。取得されたアナログ画像信号は、不図示のＡ／Ｄ変換器によりデジタル画像信号（以下、ＲＡＷデータとして言及）に変換される。本実施形態では、撮像部１０４は、一般的な原色カラーフィルタを備える単板カラー撮像素子であるものとして説明する。ここで原色カラーフィルタは、各々６５０ｎｍ、５５０ｎｍ、４５０ｎｍ近傍に透過主波長帯を持つ３種類の色フィルタが、モザイク状（ベイヤ配列）に配置されて構成される。該原色カラーフィルタを適用することで、単板カラー撮像素子の各画素はＲ（赤）、Ｇ（緑）、またはＢ（青）のバンドのいずれかに対応する色プレーンを撮像する。換言すれば、単板カラー撮像素子を構成する光電変換素子は、各々単一の色プレーンに係る光強度を得ることしかできない。また撮像部１０４は、画素から得られる信号を処理する増幅回路等の周辺回路を含むものであってよい。

画像処理部１０５は、ＲＡＷデータ、または、記録媒体１０２から読み出されたＲＡＷデータに対して、画素補間、リサイズ、色変換等の各種画像処理を行う。詳細は後述する。また画像処理部１０５は、撮像により得られたＲＡＷデータに対して演算処理を行うことで、露光制御、測距制御に必要となる情報を導出する。本実施形態のデジタルカメラ１００では、該情報に基づいて、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。また画像処理部１０５は、撮像により得られた画像データに対して演算を行うことで、ＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行う。

表示器１０６は、例えば液晶ディスプレイ等の表示装置であり、デジタルカメラ１００の設定値等の情報やメッセージ、メニュー画面等のＧＵＩ、または撮像画像等を表示する。表示器１０６は、デジタルカメラ１００に内蔵された電子ビューファインダ（ＥＶＦ）や背面液晶ディスプレイ、あるいは、デジタルカメラ１００に着脱可能に接続された外部ディスプレイであってよい。以下の説明では、デジタルカメラ１００が撮像を行っている期間における電子ビューファインダの表示制御について説明するため、表示器１０６が電子ビューファインダであるものとして言及するが、本発明の実施はこれに限られるものではない。

また表示器１０６は、不図示の表示制御回路を含み、最高表示輝度を変更可能に構成されるものとする。表示器１０６の最高表示輝度は、例えば撮像シーンの測光により得られたＢＶ値に応じて動的に制御されるものであってもよいし、設定されている撮像モードに応じてシーン明るさが推定されて設定されるものであってもよい。ここで、撮像シーンの測光は、撮像部１０４により得られた画像信号に基づいて行われるものであってもよいし、別途設けられた測光センサの出力等に基づいて行われるものであってもよい。本実施形態では、表示器１０６の最高表示輝度がいずれであるかの情報が取得可能に構成されていてよく、当該情報は少なくとも画像処理部１０５に供給される。

操作部１０７は、本実施形態のデジタルカメラ１００が備える、各種操作入力を受け付けるユーザインタフェースである。操作部１０７は、各ユーザインタフェースに対する操作入力がなされたことを検出すると、対応する制御信号を制御部１０１に出力する。操作部１０７は、撮影準備動作の開始および撮影（本撮影）開始を指示するためのレリーズスイッチや、撮像モードを選択するための撮像モード選択スイッチ、方向キー、決定キー等を含む。

本実施形態ではハードウェアとしてデジタルカメラ１００が備える各ブロックに対応した回路やプロセッサにより発明に係る処理が実現されるものとして説明する。しかしながら、本発明の実施はこれに限られるものではなく、各ブロックの処理が該各ブロックと同様の処理を行うプログラムにより実現されるものであってもよい。

《電子ビューファインダ用画像の生成制御》
次に、本実施形態のデジタルカメラ１００において行われる、電子ビューファインダに表示させる画像（表示用画像）の生成について、詳細を説明する。本実施形態のデジタルカメラ１００は、撮像中の電子ビューファインダの表示モードとして、本発明に係る第１のモードとしての設定優先モードと第２のモードとしての均等知覚モードの２種類を有する。これらの表示モードは、撮像部１０４により取得された撮像画像を表示器１０６に順次表示させ、電子ビューファインダとして機能させる際の提示画像の生成方式（現像方式）を異ならせるものであり、撮像モードとは独立して切り替え可能であるものとする。

本実施形態のデジタルカメラ１００は、現像画像を記録する少なくとも一部の撮像モードにおいて、現像処理の過程で行われるコントラスト補正、露出補正、彩度補正等を予め設定することが可能に構成される。設定優先モードは、このように現像処理により適用される画像補正の内容を本撮影前に確認可能なように電子ビューファインダの表示を提供するモードであり、記録される画像を把握しながらの撮影に好適である。一方、均等知覚モードは、ユーザが肉眼で被写体を直接見る場合、あるいは、光学ファインダ（ＯＶＦ）を介してレンズ越しに被写体を見る場合と類似のコントラスト感の表示を提供するモードである。詳細は後述するが、本実施形態の均等知覚モードは、表示器の最高表示輝度に依らず、知覚的に均等な階調表現の表示を可能ならしめる。

画像処理部１０５による表示用画像の生成には、少なくとも、ＲＡＷデータに示される信号強度に対して階調値を割り当てる階調変換が含まれる。階調変換は、ＲＡＷデータの信号値と現像処理後の階調値との関係を示した入出力特性に基づいて行われる。例えば、階調変換は、分解能が１４ｂｉｔであるＲＡＷデータの信号値を、現像処理後には８ｂｉｔの階調値に変換する。設定優先モードと均等知覚モードとは、階調変換において参照される入出力特性が異なっており、これにより階調表現に差が表れる。

なお、本実施形態では電子ビューファインダの表示モードとして、いずれの撮像モードにおいても設定優先モードと均等知覚モードの２種類のモードが切り替え可能に設けられているものとして説明するが、本発明の実施はこれに限られるものではない。例えば、少なくとも一部の撮像モードにおいては、均等知覚モードのみが採用される構成であってもよい。

また表示器１０６の最高表示輝度は、電子ビューファインダの視認性を考慮して、撮像シーンが日中晴天である場合と夜景である場合とで異ならせるよう制御されるものとする。具体的には、撮像シーンが日中晴天時のように明るいシーンである場合には４５０ｎｉｔに設定され、夜景等の暗いシーンである場合には５０ｎｉｔに設定されるものとする。しかしながら、各シーンにおける最高表示輝度の値はこれに限られるものではなく、他の値が設定されるものであってもよい。

〈設定優先モード〉
まず、設定優先モードにおける表示用画像の生成について説明する。

本実施形態の画像処理部１０５では、設定優先モードに係る階調変換において、例えば図２に示されるように、撮像シーンの明るさに依らず共通の入出力特性を用いるものとする。図２の例では、上述したように１４ｂｉｔのＲＡＷデータの信号値に対して、８ｂｉｔの表示用画像（現像画像）の階調値が割り当てられている。

一方で、表示器１０６は、固有の表示特性（本実施形態では、例えばγ２．２であるものとする）を有しており、かつ、撮像シーンの明るさに応じて最高表示輝度が切り替えられる制御を行うよう構成される。このため、表示器１０６に表示用画像が表示された場合には、ＲＡＷデータの信号値と表示器１０６における表示輝度との関係は、図３のようになる。図では、撮像シーンが日中晴天である場合の関係を図３（ａ）に、夜景である場合の関係を図３（ｂ）に示している。図示されるように、図３のグラフでは縦軸が表示器１０６における表示輝度［ｎｉｔ］を示しており、日中晴天と夜景とではＲＡＷデータの信号値が割り当てられる輝度域が異なっている。換言すれば、撮像シーンの明るさに応じて表示器１０６の最高表示輝度を異ならせることが好ましいが、階調表現を実現する表示輝度の範囲もこれにより異なることになる。

ここで、設定優先モードにおいて最高表示輝度が異なる日中晴天と夜景とに表れる、人間の視覚上の知覚の違いについて図を参照して説明する。

ヴェーバー・フェヒナー則（Weber-Fechner law）によれば、人間が知覚する感覚量は、感覚受容器に与えられた刺激量の対数に比例する。本明細書では、このような感覚量と刺激量の関係性に基づいて、ＲＡＷデータの信号値から最終的な表示輝度に変換する入出力の関係を人間の知覚という尺度で評価することで、入出力特性の比較を行う。即ち、ＲＡＷデータに表れる光量に応じた信号値を刺激量とし、表示器１０６の最高表示輝度を加味した最終的な表示輝度を感覚量としてその関係を評価することで、電子ビューファインダを介した知覚上のコントラスト感の違いを説明する。なお、ここでいう入出力特性は、図２で示したＲＡＷデータの信号値から現像画像の階調値への変換に係る階調特性とは異なり、ＲＡＷデータの信号値から任意の表示器で表示させる際の絶対輝度への変換に係る階調特性である。以下では、これらを区別するために、ＲＡＷデータの信号値から絶対輝度への変換に係る階調特性を、絶対入出力特性として言及する。

以下では、ＲＡＷデータの信号値と絶対輝度との絶対入出力特性の関係を示すにあたり、前者を信号値の対数値、後者を人間の視覚特性に準拠した知覚的均等色空間の輝度成分値を用いる。本実施形態では、知覚的均等色空間の輝度成分値として、ITU-R BT.2100で規定されるＩＣｔＣｐ色空間のＩ値を採用する。Ｉ値は、SMPTE ST 2084で規格化されているＰＱ（Perceptual Quantization）方式のＥＯＴＦの逆特性（Inverse EOTF）を用いてＲＧＢ値から導出することができる。ＰＱ方式は、表示器固有の表示特性に依らない絶対輝度を定めるものであり、人間の視覚特性に基づいて効率的にビット割り当てが行われているため、感覚量を定義するには好適である。

これに基づけば、設定優先モードの２種類の撮像シーンにおける絶対入出力特性は、図４（ａ）に示されるような関係となる。図において、横軸がＲＡＷデータの信号値の対数値（以下、単にＲＡＷデータの対数値として言及）を示しており、適正露出の値で正規化されている（適正露出の対数値を０段とした段数表記で示している）。また縦軸がＩ値を示している。図４（ａ）の例では、曲線（実線）４０１が日中晴天時の絶対入出力特性を、曲線（破線）４０２が夜景時の絶対入出力特性を示している。図示されるように、日中晴天時と夜景時での最高表示輝度の違いにより、ＲＡＷデータの対数値に対して、割り当てられるＩ値の値域（輝度域）が異なっていることがわかる。

ここで、入出力、即ち、ＲＡＷデータの対数値とＩ値に線形関係が示されていれば、ヴェーバー・フェヒナー則に従っており、人間の知覚特性に合致した均等なコントラスト感を表していると言える。図４（ａ）の例では、日中晴天時の絶対入出力特性も夜景時の絶対入出力特性も、適正露出近傍の値域（段数域）に線形関係が表れている。以下、図４（ａ）のように、ＲＡＷデータの対数値を横軸に、Ｉ値を縦軸に表したグラフを「知覚リニアグラフ」として言及する。

ところで、ヴェーバー・フェヒナー則によれば、刺激量の増分（倍率）は感覚量の増分に比例するため、ＲＡＷデータの対数値の増分が等しいのであれば、基準とする対数値がいずれであってもＩ値の増分は変化しない。即ち、知覚的に均等であれば、ＲＡＷデータの対数値が基準値から任意数倍に増加するときの明るさの差（Ｉ値の増分）は、基準値に依らず概略同じに知覚されるはずである。つまり、同一の感覚受容器よる知覚（視覚）として捉えるのであれば、表示器１０６の最高表示輝度に依らず、知覚リニアグラフにおいて同一の傾き、即ち、同一の比例定数（刺激定数）を示す必要がある。

しかしながら、図４（ａ）の知覚リニアグラフに示した２つの絶対入出力特性は、図４（ｂ）において直線（一点鎖線）４０３及び直線（二点鎖線）４０４で示されるように、線形関係にある区間の傾きが異なっている。このことは、設定優先モードでは、表示器１０６の最高表示輝度を異ならせる２つの撮像シーンについて、異なるコントラスト感を知覚させる絶対入出力特性が採用されていることを意味する。即ち、電子ビューファインダにおいて知覚される明るさの差が昼夜で異なっており、均等ではないことを意味する。

知覚リニアグラフでの傾きの差は、例えば撮像シーンが夜景である場合には肉眼での見えと比較して適当なコントラスト感となるのに対し、日中晴天である場合には実際よりもコントラストが高く、暗部が黒潰れして見える等の態様で表れる。つまり、図２に示したような同一の入出力特性で得られた現像画像を表示器１０６に表示する態様では、被写体を肉眼で視認する場合と電子ビューファインダを介して視認する場合とのコントラスト感の乖離度は、表示器１０６の最高表示輝度に応じて変化する。より詳しくは、入出力特性を固定にして表示器１０６の最高表示輝度を変更させる場合、最高表示輝度が高くなるほどコントラストが高くなり（知覚リニアグラフにおいて傾きが急峻になり）、撮像シーン間でのコントラスト感の乖離に繋がる。

〈均等知覚モード〉
これに対し、均等知覚モードでは表示器１０６の最高表示輝度に依らず、知覚リニアグラフの線形関係にある段数域または輝度域において、一定の刺激定数を示すように絶対入出力特性が設定される。具体的には、最高表示輝度を４５０ｎｉｔに設定する日中晴天の撮像シーンでは、図５の知覚リニアグラフに曲線５０１で示される絶対入出力特性を用いる。そして、最高表示輝度を５０ｎｉｔに設定する夜景の撮像シーンでは、図６の知覚リニアグラフに曲線６０１で示される絶対入出力特性を用いる。

図示されるように、２つの絶対入出力特性は、共通の傾き（刺激定数）を示す破線５０２または６０２に少なくとも一部の段数域または輝度域で合致しており、暗部及び飽和部にかけて傾きをなだらかに寝かせた態様を示している。本実施形態では、破線５０２及び６０２の傾きは７５に設定されている。また２つの絶対入出力特性は、同一の撮像シーンについて設定優先モードとの間で明るさの雰囲気の相違が小さくなるよう、適正露出時におけるＩ値が設定優先モードと同じ値に設定されている。

ここで、線形関係が表れる（破線と合致する）範囲における傾きの値７５は、被写体を肉眼で視認する際と電子ビューファインダを介して視認する際とで明るさの差異が少なく、コントラスト感が均等になるよう、実験を経て導出された暫定的な最適値である。また本実施形態では、曲線５０１、破線５０２、曲線６０１、破線６０２のＩ切片はいずれも、設定優先モードにおいて、それぞれの最高表示輝度で適正露出におけるＩ値と同値に設定されている。これにより、適正露出での表示輝度を設定優先モードと同様に好適な値にしつつ、いずれの撮像シーンでも適正露出のＲＡＷデータの信号値からの差が均等な表示輝度の差で表れるようにすることができる。

従って、均等知覚モードでは、知覚リニアグラフにおいて等しい傾きを示す絶対入出力特性の階調特性を採用することで、表示器１０６の最高表示輝度に依らず、均等なコントラスト感の電子ビューファインダを提供することができる。即ち、少なくとも線形関係が表れる範囲における明るさの差異は、撮像シーンや表示器１０６の最高表示輝度に依らず一定に表れるため、均質なコントラスト感を知覚させることができる。

《画像処理部１０５の機能構成》
以下、各表示モードの表示用画像の生成に係る画像処理部１０５の機能構成について、図を参照して説明する。本実施形態では、設定優先モードと均等知覚モードで表示用画像の生成に係り行われる現像処理の違いを把握しやすくすべく、モードごとに異なる図に分けて機能構成を説明するが、これらは別のハードウェアとして実装される必要はない。即ち、少なくとも一部の機能構成が、表示モードの切り替えに応じて使用するか否かが制御される、あるいは動作が変更される等により、２つの表示モードの表示用画像を生成可能に構成されるものであってよい。これらの機能構成は、現像処理の過程で画像処理部１０５が実行する処理を、それぞれ異なるブロックとして例示している。

〈設定優先モード〉
設定優先モードにおける表示用画像に係る現像処理は、図７に示される機能構成で実現される。上述したように、撮像部１０４には３種類の色フィルタがモザイク状に配置された原色カラーフィルタが適用されている。このため、ＲＡＷデータ７０１は、色モザイク画像である。画像処理部１０５は、該ＲＡＷデータ７０１をメモリ１０３から読み出して設定優先モードに係る現像処理を適用し、表示用画像７０８を生成する。

ホワイトバランス部７０２は、ＲＡＷデータ７０１に対して、本来白である被写体の像を白色にせしめるように色変換するホワイトバランス処理を行う。より詳しくはホワイトバランス部７０２は、ＲＡＷデータ７０１を構成する各画素のＲＧＢデータを、例えばｘｙ色空間等の所定の色空間にプロットする。そしてホワイトバランス部７０２は、該色空間上で光源色の可能性が高い黒体輻射の軌跡付近にプロットされたデータのＲ、Ｇ、Ｂを積分し、その積分値からＲ及びＢ成分のホワイトバランス係数（Ｇ／Ｒ及びＧ／Ｂ）を導出する。ホワイトバランス部７０２は、得られたホワイトバランス係数を用いてホワイトバランス処理を行うことで、光源による色かぶりを補正して白を再現する。

色補間部７０３は、ホワイトバランス部７０２により変換された画像データに対して、ノイズリダクション処理、及び各画素に含まれない色成分の画素値を補間する処理を行う。当該処理により、全ての画素についてＲ、Ｇ及びＢの色情報（色成分の画素値）が揃った同時化画像が生成される。

色補間部７０３により生成された同時化画像は、マトリクス変換部７０４によるマトリクス変換処理が行われることで、処理の基本となるカラー画像に変換される。さらに、該カラー画像に対して、色輝度調整部７０６が、色及び輝度を調整する調整処理を適用し、階調変換部７０７が図２の入出力特性に係る階調変換（ガンマ変換）処理を適用することで、表示用画像７０８が生成される。

ここで、色輝度調整部７０６による調整には、記録画像に適用されるコントラスト補正、露出補正、彩度補正等の設定を記述した色輝度調整パラメータ７０５を参照して行われる調整が含まれる。また階調変換部７０７は、図２に示した入出力特性を用いる階調変換処理を、撮像シーンに依らず一律で適用する。

このように生成された表示用画像７０８が撮像シーンに応じて最高表示輝度が制御された表示器１０６に表示されることで、設定優先モードに係る電子ビューファインダが実現される。即ち、ＲＡＷデータ７０１と表示された表示用画像７０８について、図４の知覚リニアグラフに示した絶対入出力特性の関係が成り立っている。

〈均等知覚モード〉
均等知覚モードにおける表示用画像に係る現像処理は、図８に示される機能構成で実現される。図８では、設定優先モードと同様の動作を行う機能構成については、同一の参照番号を付し、以下では異なる動作を行う機能構成についてのみ説明する。

均等知覚モードでは、色輝度調整部８０１がマトリクス変換部７０４により得られたカラー画像に対して行う色輝度調整は、記録用設定に応じた調整を含まない。そして、色輝度調整部８０１による調整後の画像に対し、階調変換部８０５が階調変換処理を適用して表示用画像８０６が生成される。

階調変換部８０５により行われる階調変換処理には、階調特性構成部８０４により構成された階調特性が用いられる。階調特性構成部８０４は、階調特性の構成に際し、表示器１０６の最高表示輝度８０２と、該最高表示輝度８０２に対応する絶対入出力特性の調整用カーブ８０３（図５及び図６の曲線のいずれか）とを取得する。ここで調整用カーブ８０３は、ＲＡＷデータ７０１の対数値と絶対輝度であるＩ値との関係を示したものであるため、本実施形態の階調特性構成部８０４は表示器１０６において絶対輝度に対応する表示輝度となるよう変換を行う。即ち、調整用カーブ８０３は、調整用カーブ８０３で示される絶対入出力特性に対して表示特性の逆特性を乗じることで、階調変換部８０５の階調変換に用いられる階調特性を構成する。このように構成された階調特性を用いて、階調変換部８０５は色輝度調整がなされた画像の階調変換処理を行う。

このように生成された表示用画像８０６が撮像シーンに応じて最高表示輝度が制御された表示器１０６に表示されることで、均等知覚モードに係る電子ビューファインダが実現される。即ち、ＲＡＷデータ７０１と表示された表示用画像８０６について、図５または図６の知覚リニアグラフに示した絶対入出力特性の関係が成り立っており、最高表示輝度に依らず均等なコントラスト感の知覚が実現される。

［変形例１］
なお、上述した実施形態の均等知覚モードでは、調整用カーブ８０３に示される絶対輝度が担保されるように、表示器１０６の表示特性の逆特性を乗じるものとして説明したが、本発明の実施はこれに限られるものではない。上述したように、Ｉ値は表示器固有の表示特性に依らない絶対輝度を定めるＰＱ方式に準拠しているため、ＰＱ方式で現像された画像を表示可能な表示器を用いる態様であれば、調整用カーブ８０３からの階調特性の構成時に表示特性の逆特性を乗じる必要はない。本発明は、最高表示輝度が変更可能な表示器に対して、その変更に依らず均等に知覚されるコントラスト感を提示する画像を生成する機器であれば実現可能である。このとき、設定されている最高表示輝度の情報は、表示器との接続に採用されている規格に策定された信号を介して表示器から取得可能であってもよいし、その他の表示器の動作制御を行う機器から取得可能であってもよい。即ち、実施形態１のように、撮像シーンの測光結果に基づいて決定されるものである必要はない。

［変形例２］
また上述した実施形態の図５及び図６で示した均等知覚モードの絶対入出力特性では、破線５０２及び６０２の傾きを７５に設定するものとして説明したが、本発明の実施はこれに限られるものではない。例えば６５～８５の傾きであっても、被写体を肉眼で視認する際のコントラスト感が表れる。従って、２つの絶対入出力特性について、線形関係が表れる段数域または輝度域に係る刺激定数は厳密に同一である必要はなく、上記範囲（６５～８５）に含まれる概略同一の値に設定されるものであればよい。

［変形例３］
また図５及び図６に示した均等知覚モードの絶対入出力特性では、日中晴天時と夜景時とで表示器１０６の最高表示輝度が異なるため、線形関係が表れる段数域または輝度域に差異がある。図の例では、日中晴天時は－５段近傍から＋２段近傍まで、夜景時は－３段近傍から＋１段近傍までの、いずれも適正露出が含まれる段数域または輝度域に線形関係が表れる態様を示した。当該差異は、表示器１０６の最高表示輝度に応じて、ＲＡＷデータの信号値に割り当て可能な輝度域が拡張されていることに起因するものである。

しかしながら、本発明の実施はこれに限られるものではなく、線形関係が表れる段数域または輝度域は、例えば夜景時の高輝度側や日中晴天時の低輝度側等、視認させ易くする被写体の存在する輝度域に合わせて変更可能であってもよい。また、線形関係が表れる段数域または輝度域の広さ（幅）は、広い方が知覚的に均等であるとの印象をユーザに与えやすいものではあるが、必ずしも図５及び６に示したものに限定されるものではない。表示器１０６の最高表示輝度に依らない均等なコントラスト感の提示は、特定の段数域あるいは輝度域で実現されるよう変更可能であってよい。

［変形例４］
また図５及び図６では、各絶対入出力特性のＩ切片は、設定優先モードの適正露出におけるＩ値と同等に設定した態様を例示したが、本発明の実施はこれに限られるものではない。例えば、夜景の撮像シーンにおいて、肉眼に近いコントラスト感の知覚と暗部の視認性向上を両立するために、Ｉ切片をより高い値に設定してもよい。また例えば、夜景の撮像シーンにおいて、被写体を肉眼で視認する場合に近い明るさにすべく、Ｉ切片をより低い値に設定してもよい。この他、絶対入出力特性に係る傾きを最高表示輝度によらず概略同一にすることが担保されるのであれば、夜景の撮像シーンに限らず、Ｉ切片は任意の値に変更可能に構成されるものであってよい。当該Ｉ切片の変更は、ユーザ設定やシーン認識結果等に応じて行われるものであってもよい。

［変形例５］
また上述した実施形態では、表示器１０６の最高表示輝度の設定を２段階とし、均等知覚モードについて２種類の絶対入出力特性を例示して説明したが、本発明の実施がこれに限られないことは容易に理解されよう。即ち、本発明は、表示用画像の生成に用いられる階調特性に、入力である画像信号の対数値と該画像信号の現像画像を表示する際の絶対輝度との間で、最高表示輝度に依らず概略同一の比例定数の線形関係を示す段数域あるいは輝度域を含むものであればよい。従って、このような階調特性は、表示器１０６で設定可能な最高表示輝度の数だけ設けられ、それらの間で、線形関係が表れる区間の比例定数が概略同一であればよい。

［実施形態２］
ところで、設定優先モードのように記録画像に適用する補正設定を電子ビューファインダにて確認可能とする態様では、補正設定の内容と表示器１０６の最高表示輝度によっては表示器１０６に焼き付きを発生させる表示用画像が出力され得る。例えば、日中晴天時のようにダイナミックレンジが広い撮像シーンでは、視認性を向上させるべく、表示器１０６の最高表示輝度を高くして電子ビューファインダのダイナミックレンジを拡げることが好適である。しかしながら、記録画像に適用する補正設定によっては表示用画像が全面飽和する可能性もあり、長時間の表示により表示器１０６の損傷する可能性がある。また、最高表示輝度を高くした上でこのような画像を表示させることは、消費電力の増大にも繋がる。このため、設定優先モードにおいて表示器１０６に設定可能な最高表示輝度は、制限される必要がある。

一方で、均等知覚モードでは、記録画像に適用する補正設定に応じた調整がなされず、また絶対入出力特性により表示器１０６での絶対輝度が規定されるため、設定優先モードに比べて表示器１０６の損傷リスクが低い。このため、測光結果に応じて設定される表示器１０６の最高表示輝度は、設定優先モードよりも均等知覚モードの方が高い値に設定されるよう構成してもよい。

例えば、撮像シーンが日中晴天である場合に、設定優先モードでは最高表示輝度が４５０ｎｉｔに設定され、図４に示したようにＩ値７００に収まるような階調変換が行われるところ、均等知覚モードではより高い８００ｎｉｔを設定してもよい。このとき、最高表示輝度が高くなった分、電子ビューファインダのダイナミックレンジが拡張されるため、均等知覚モードに係る絶対入出力特性は、例えば図９に実線９０１で示されるようにＩ値の最高値を引き上げることができる。ここで、破線９０２は、日中晴天時に係る設定優先モードの絶対入出力特性を示しており、均等知覚モードの絶対入出力特性が、高い段数域においてより高いＩ値までマッピングされていることが理解されよう。従って、図示されるように、線形関係を示す輝度域（傾き一定の一点鎖線９０３と合致する輝度域）を拡張することができ、視認性が高く、かつ、より広域で均等なコントラスト感を知覚させる表示用画像を生成することができる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：デジタルカメラ、１０１：制御部、１０４：撮像部、１０５：画像処理部、１０６：表示器、７０１：ＲＡＷデータ、７０５：色輝度調整パラメータ、７０６：色輝度調整部、７０７：階調変換部、７０８：表示用画像、８０１：色輝度調整部、８０２：最高表示輝度、８０３：調整用カーブ、８０４：階調特性構成部、８０５：階調変換部、８０６：表示用画像

Claims (15)

1. 最高表示輝度の設定を変更可能に構成された表示手段に表示させる画像を生成する画像処理装置であって、
   画像信号を取得する第１の取得手段と、
   前記表示手段の前記最高表示輝度の設定を取得する第２の取得手段と、
   前記第１の取得手段により取得された前記画像信号に対して、階調変換を含む画像処理を行って前記表示させる画像を生成する生成手段と、
   前記第２の取得手段により取得された前記最高表示輝度の設定に基づいて、前記生成手段により行われる階調変換に用いられる階調特性を設定する設定手段と、
   を有し、
   前記階調特性は、
   前記最高表示輝度の設定に応じた輝度域に前記画像信号の信号値を割り当てるものであり、
   少なくとも一部の輝度域に対して、前記画像信号の信号値の対数値と絶対輝度とが前記最高表示輝度の設定に依らず概略同一の比例定数の線形関係を示す
   ことを特徴とする画像処理装置。
2. 前記少なくとも一部の輝度域の広さは、前記最高表示輝度の設定に応じて異なることを特徴とする請求項１に記載の画像処理装置。
3. 前記設定手段は、前記少なくとも一部の輝度域の広さを変更することを特徴とする請求項１に記載の画像処理装置。
4. 前記設定手段は、前記少なくとも一部の輝度域に含まれる前記絶対輝度の範囲を変更することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記設定手段は、所定の前記対数値に対する前記絶対輝度を変更することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記絶対輝度は、知覚的均等色空間の輝度成分であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記絶対輝度は、ＩＣｔＣｐ色空間におけるＩ値であることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記概略同一の比例定数が６５～８５であることを特徴とする請求項７に記載の画像処理装置。
9. 請求項１乃至８のいずれか１項に記載の画像処理装置と、
   撮像シーンを撮像して前記画像信号を出力する撮像手段と、
   前記表示手段と、
   前記表示手段の前記最高表示輝度の設定を変更する変更手段と、
   を有することを特徴とする撮像装置。
10. 前記変更手段は、前記撮像シーンの明るさに応じて前記最高表示輝度の設定を変更することを特徴とする請求項９に記載の撮像装置。
11. 前記画像信号を現像して記録画像を生成する現像手段と、
    前記現像手段により生成された前記記録画像を記録する記録手段と、
    をさらに有し、
    前記表示手段の表示モードには、前記画像信号に前記記録画像に係る補正を適用して生成された画像を表示する第１のモードと、前記生成手段により生成された前記表示させる画像を表示する第２のモードとを含み、
    同一の撮像シーンについて所定の前記対数値に対する前記絶対輝度が、前記第１のモードと前記第２のモードとで同等であることを特徴とする請求項９または１０に記載の撮像装置。
12. 前記変更手段は、同一の撮像シーンについて、前記第１のモードよりも前記第２のモードで前記最高表示輝度をより高く設定することを特徴とする請求項１１に記載の撮像装置。
13. 前記表示手段は、電子ビューファインダであることを特徴とする請求項９乃至１２のいずれか１項に記載の撮像装置。
14. 最高表示輝度の設定を変更可能に構成された表示手段に表示させる画像を生成する画像処理装置の制御方法であって、
    画像信号を取得する第１の取得工程と、
    前記表示手段の前記最高表示輝度の設定を取得する第２の取得工程と、
    前記第１の取得工程において取得された前記画像信号に対して、階調変換を含む画像処理を行って前記表示させる画像を生成する生成工程と、
    前記第２の取得工程において取得された前記最高表示輝度の設定に基づいて、前記生成工程において行われる階調変換に用いられる階調特性を設定する設定工程と、
    を有し、
    前記階調特性は、
    前記最高表示輝度の設定に応じた輝度域に前記画像信号の信号値を割り当てるものであり、
    少なくとも一部の輝度域に対して、前記画像信号の信号値の対数値と絶対輝度とが前記最高表示輝度の設定に依らず概略同一の比例定数の線形関係を示す
    ことを特徴とする制御方法。
15. コンピュータを、請求項１乃至８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images