JP2018121298A - 画像処理装置及び方法、及び撮像装置 - Google Patents

Abstract

【課題】 視聴環境での階調特性を映像信号に重畳しておくことで、映像信号に階調特性を重畳して表示できるようにすること。【解決手段】 撮像素子から出力された出力信号を、予め決められた表示装置に表示する輝度値に変換する階調特性を取得する取得手段と、前記階調特性と視覚特性とに基づいて、前記出力信号に対応する前記輝度値における前記階調特性の傾きと、当該輝度値における前記視覚特性の傾きとを比較する比較手段と、前記比較手段による比較の結果に基づいて、前記階調特性の傾きが前記視覚特性の傾きを超えている輝度値に対応する出力信号に、前記比較の結果を示す階調情報を重畳する重畳手段と、を有し、前記視覚特性は、輝度に応じて異なる、人間が認識可能な最小の輝度の変化量であることを特徴とする。【選択図】 図３

Description

本発明は、画像処理装置及び方法、及び撮像装置に関し、特にハイダイナミックレンジ表示に対応した画像処理装置及び方法、及び撮像装置に関する。

近年、表示機器のダイナミックレンジが拡大され、ハイダイナミックレンジ（ＨＤＲ）対応の表示機器が増加している。このＨＤＲ対応の表示機器における放送方式の規格として、ＳＭＰＴＥ ＳＴ２０８４が提案されている。ＳＭＰＴＥ ＳＴ２０８４では、入力信号に対する出力輝度値を規定した電気−光学変換特性は、各表示輝度において人間の視覚特性で輝度変化を識別可能な輝度差を表したＢａｒｔｅｎＣｕｒｖｅ（非特許文献１参照）に基づいて設計されている。

従来の一般的な撮影によって得られた映像信号を、ＨＤＲに対応していない従来通りのダイナミックレンジであるスタンダードダイナミックレンジ（ＳＤＲ）の視聴環境で表示する場合を考える。この場合には、カメラで記録した映像信号をダイナミックレンジの狭い従来の視聴環境に表示していたため、輝度変化がＢａｒｔｅｎＣｕｒｖｅを下回り、グラデーションのような階調変化が滑らかに見える。

Report ITU-R BT.2246-1(08/2012)/The present state of ultra high definition television

これに対し、カメラで記録した映像信号を、ダイナミックレンジが広いＨＤＲ対応の視聴環境で表示する場合、グラデーションの階調変化がＢａｒｔｅｎＣｕｒｖｅを上回った部分で、滑らかなはずの被写体の階調変化の中に、濃淡の縞（バンディング）が見えてしまう。このように、被写体のグラデーションの輝度変化範囲に対し、カメラ記録信号の階調が不足してしまうという問題点があった。

本発明は上記問題点を鑑みてなされたものであり、視聴環境での階調特性を映像信号に重畳しておくことで、映像信号に階調特性を重畳して表示できるようにすることを目的とする。

上記目的を達成するために、本発明の画像処理装置は、撮像素子から出力された出力信号を、予め決められた表示装置に表示する輝度値に変換する階調特性を取得する取得手段と、前記階調特性と視覚特性とに基づいて、前記出力信号に対応する前記輝度値における前記階調特性の傾きと、当該輝度値における前記視覚特性の傾きとを比較する比較手段と、前記比較手段による比較の結果に基づいて、前記階調特性の傾きが前記視覚特性の傾きを超えている輝度値に対応する出力信号に、前記比較の結果を示す階調情報を重畳する重畳手段と、を有し、前記視覚特性は、輝度に応じて異なる、人間が認識可能な最小の輝度の変化量であることを特徴とする。

本発明によれば、視聴環境での階調特性を映像信号に重畳しておくことで、映像信号に階調特性を重畳して表示することが可能になる。これにより、撮影者が視聴環境での階調性を確認することが可能になり、視聴時に階調特性の良い画像を得るための撮影条件を撮影者が決定する補助とすることができる。

本発明の実施形態におけるデジタルビデオカメラの外観図。 実施形態におけるデジタルビデオカメラの構成を示すブロック図。 第１の実施形態における画像処理部とシステム制御部の構成を示すブロック図。 第１の実施形態における処理の流れを示すフローチャート。 （ａ）ＨＤＲ対応のモニタ階調特性の一例であるＳＴ２０８４の特性を表したグラフ、及び、（ｂ）ＳＤＲ対応のモニタ階調特性の一例であるＩＴＵ−Ｒ ＢＴ．７０９を表したグラフを示す図。 第１の実施形態におけるＳＴ２０８４から最大輝度１０００ｃｄ／ｍ²までの領域に限定したモニタ階調特性を表したグラフ。 カメラ・モニタ階調特性の算出方法の関係を表した概念図。 輝度識別視覚特性の例を表したグラフ。 第１の実施形態におけるカメラ・モニタ階調特性と輝度識別視覚特性とを同じ軸にプロットしたグラフ。 第１の実施形態における各センサ出力信号値に対応した輝度識別視覚特性とカメラ・モニタ階調特性の輝度変化量の比の算出結果を表したグラフ。 第１の実施形態における（ａ）映像信号の表示例を示す図、（ｂ）階調情報を重畳した映像信号の表示例を示す図。 第２の実施形態における画像処理部とシステム制御部の内部構成を示すブロック図。 第２の実施形態における処理の流れを表したフローチャート。 第２の実施形態におけるカメラ・モニタ階調特性の圧縮例を表したグラフ。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態における撮像装置の一例として、デジタルビデオカメラ１００を示す外観図である。図１において、表示部２８は、画像や各種情報を表示する表示部である。録画スイッチ６１は、撮影指示を行うための操作部である。モード切替スイッチ６０は、各種モードを切り替えるための操作部である。コネクタ１１２は、接続ケーブルとデジタルビデオカメラ１００とを接続するために用いられる。操作部７０は、ユーザからの各種操作を受け付ける各種ボタン、十字キー等の操作部材より成る。電源スイッチ７２は、電源オン、電源オフを切り替えるための操作部である。記録媒体２００は、メモリカードやハードディスク等の記録媒体であり、記録媒体スロット２０１は記録媒体２００を格納するためのスロットである。記録媒体スロット２０１に格納された記録媒体２００は、デジタルビデオカメラ１００との通信が可能となる。

図２は、本実施形態におけるデジタルビデオカメラ１００の内部構成を示すブロック図である。図２において、撮影レンズ１０３はズームレンズ、フォーカスレンズを含むレンズ群であり、被写体像を結像させる。絞り１０１は光量調整に使用する絞りである。ＮＤフィルタ（減光フィルタ）１０４は減光用に使用するフィルタである。撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。また、撮像部２２には電子シャッタによる蓄積の制御や、アナログゲイン、読み出し速度の変更などの機能も備える。バリア１０２はデジタルビデオカメラ１００の撮影レンズ１０３を含む撮像系を覆うことにより、撮影レンズ１０３、絞り１０１、撮像部２２を含む撮像系の汚れや破損を防止する。

Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号（画像データ）に変換する。画像処理部２４は、Ａ／Ｄ変換器２３からの画像データ、または、メモリ制御部１５からの画像データに対して、所定の画素補間、縮小といったリサイズ処理や、色変換処理、ガンマ補正、デジタルゲインの付加等の処理を行う。また、撮像した画像データを用いて所定の演算処理を行い、演算結果をシステム制御部５０に送信する。システム制御部５０は、送信された演算結果に基づいて露出制御、焦点調節制御、ホワイトバランス制御等を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、オートホワイトバランス（ＡＷＢ）処理等が行われる。

また、Ａ／Ｄ変換器２３から出力された画像データは、画像処理部２４及びメモリ制御部１５を介して、或いは、直接メモリ制御部１５を介して、メモリ３２に書き込まれる。メモリ３２は、撮像部２２によって撮像され、Ａ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１３は、メモリ制御部１５を介してメモリ３２に格納されている表示用の画像データを読み出し、アナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データは、Ｄ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３においてアナログ信号に変換し、表示部２８に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示を行うことができる。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭが用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部５０は、デジタルビデオカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する第１の実施形態の各処理を実現する。システムメモリ５２にはＲＡＭが用いられ、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部５０は、メモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより、表示制御も行う。

システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。モード切替スイッチ６０、録画スイッチ６１、操作部７０は、システム制御部５０に各種の動作指示を入力するために用いられる。

モード切替スイッチ６０は、システム制御部５０の動作モードを、動画記録モード、静止画記録モード、再生モード等を含む複数のモードのいずれかに切り替える。なお、動画記録モードや静止画記録モードに含まれるモードとしては、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。動画記録モードの場合、モード切替スイッチ６０で、これらのモードのいずれかに直接切り替える。あるいは、モード切替スイッチ６０で動画撮影モードに一旦切り換えた後に、動画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。録画スイッチ６１は撮影待機状態と撮影状態を切り替える。システム制御部５０は、録画スイッチ６１により、撮像部２２からの信号読み出しから記録媒体２００への動画データの書き込みまでの一連の動作を開始する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右４方向の十字キーやＳＥＴボタンを用いて直感的に各種設定を行うことができる。

電源スイッチ７２は、電源オン、電源オフを切り替えるための操作部である。電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる。

外部Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００や、コネクタ１１２を介して外部表示機器２０２との通信を行うインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。コネクタ１１２を介して接続された外部表示機器２０２は映像信号を受け取り、外部表示機器２０２の表示装置に表示する。カメラ１００は、外部Ｉ／Ｆ１８を介して外部表示機器２０２のモニタガンマや最大輝度、入力ｂｉｔ数などの表示情報を受け取る。

次に、第１の実施形態における動作について説明する。図３は、第１の実施形態における主な処理を行う画像処理部２４とシステム制御部５０の構成を示すブロック図、図４は、第１の実施形態における処理の流れを示すフローチャートである。

まず、図４のＳ４０１において、モニタ階調特性取得部３０３によりモニタ階調特性を取得する。ここでのモニタとは、カメラ１００により撮影された映像信号を表示する視聴環境を指す。モニタ階調特性は、入力信号に対してモニタが出力する輝度値の関係を示す特性である。

一般的なモニタ階調特性を図５に示す。図５（ａ）は、ＨＤＲ対応のモニタ階調特性であるＳＴ２０８４の特性を示すグラフ、また、図５（ｂ）は、ＨＤＴＶ規格の従来のダイナミックレンジ（ＳＤＲ）対応の視聴環境で広く用いられているＩＴＵ−Ｒ ＢＴ．７０９の特性を示すグラフである。モニタ階調特性取得部３０３は、図５を用いたユーザによるモニタ階調特性の選択により、先に述べた規格化されたモニタ階調特性を選択する。

一例として、ここではＳＴ２０８４（１０ｂｉｔ）が選択され、モニタの最大輝度として１０００ｃｄ／ｍ²が入力された場合について説明する。この場合、図５（ａ）のＳＴ２０８４のモニタ階調特性（ガンマ特性）に基づいて、出力輝度範囲を最大輝度１０００ｃｄ／ｍ²に限定した、図６に示す特性をモニタ階調特性として用いる。この際にガンマ係数の入力や入力ビット数の入力を行うことでモニタ階調特性を入力しても良い。また、ユーザのカメラの撮影モードの決定に伴ってモニタ階調特性を決定してもよい。例えば、ＳＤＲモードではＩＴＵ−Ｒ ＢＴ．７０９、最大輝度1００ｃｄ／ｍ²、ビット深度８ｂｉｔと決定し、ＨＤＲモードではＳＴ．２０８４、最大輝度１００００ｃｄ／ｍ²、ビット深度１０ｂｉｔと決定するような制御を行ってもよい。更に、外部Ｉ／Ｆ１８、コネクタ１１２を介して、外部表示機器２０２と通信を行うことによってモニタ階調特性を取得してもよい。

次に、Ｓ４０２において、カメラ・モニタ階調特性算出部３０４によりカメラ・モニタ階調特性を算出する。カメラ・モニタ階調特性は、カメラガンマ特性３０１（カメラ階調特性）と、Ｓ４０１でモニタ階調特性取得部３０３により取得したモニタ階調特性とを合成した特性である。これは、被写体を撮像した際の各センサ出力信号に対する、視聴環境のモニタ上での輝度値の関係を表す特性となる。また、カメラガンマ特性は、ユーザが操作部７０を用いて選択したガンマ設定やカメラモードによって決定される。各特性と、カメラ・モニタ階調特性との関係を図７に示す。

図７（ａ）は、カメラガンマ特性の一例を示す図、図７（ｂ）は、モニタ階調特性の一例を示す図である。図７（ａ）及び図７（ｂ）に示す特性に基づいて、図７（ｃ）に示すカメラ・モニタ階調特性は、次のようにして得られる。まず、図７（ａ）に示すカメラガンマ特性に基づいて、撮像して得られたセンサ出力信号の各値（値Ｘ）を、対応するカメラ出力信号の各値（値Ｙ）に変換する。そして、図７（ｂ）に示すモニタ階調特性に基づいて、変換されたカメラ出力信号の各値（値Ｙ）を入力（モニタ入力信号）として、対応する表示輝度の各値（値Ｚ）に変換する。このようにセンサ出力信号の各値（値Ｘ）を、表示輝度の各値（値Ｚ）に変換する特性を、図７（ｃ）に示すカメラ・モニタ階調特性として算出する。

次に、Ｓ４０３において、階調特性比較部３０６により各センサ出力信号値に対する階調特性指数を算出する。階調特性指数とは、カメラ・モニタ階調特性算出部３０４により得られたカメラ・モニタ階調特性と、システム制御部５０に予め記憶されている輝度識別視覚特性３０５とを比較することで得られる、輝度変化の視覚特性上の識別し易さを表す数値である。以下に、カメラ・モニタ階調特性と輝度識別視覚特性との比較について説明する。

まず、輝度識別視覚特性の例を図８に示す。図８に示す輝度識別視覚特性は、各輝度おける、人間が識別可能な輝度の変化量の割合の最小値を示したものである。人間の視覚特性では、輝度によって認識可能な最小の輝度の変化量が異なるため、輝度に対して非線形に変化する。図８の特性は、横軸に示す任意の表示輝度の被写体の輝度変化に対する、縦軸に示す輝度変化の割合がグラフよりも大きい場合に、人間の視覚特性として、輝度変化をより認識しやすい（認識可能）という関係を表している。この輝度識別視覚特性とカメラ・モニタ階調特性を比較するために、カメラ・モニタ階調特性のセンサ出力信号の変化量に対する表示輝度の変化量（傾き）の割合（変化割合）を算出し、輝度識別視覚特性と同じ軸にプロットした図を図９に示す。図９中の点線が輝度識別視覚特性を表し、記号×の集合でプロットされたものがカメラ・モニタ階調特性である。カメラ・モニタ階調特性は、カメラガンマ特性とモニタ階調特性による階調変換で発生するビット圧縮や値の飛びによって、離散的な値となる。

輝度識別視覚特性の点線よりも上にプロットされた変化割合を有する表示輝度は、現在のカメラ・モニタ階調特性では輝度変化が大きく、人の視覚特性上、階調変化を認識しやすい。このため、人物の肌や空など、滑らかな階調変化を持つ被写体がこの表示輝度領域に存在すると、階調変化の中に急激な変化が現れるバンディングの原因となる。また、図９に示す各表示輝度における、輝度識別視覚特性に対する表示輝度の変化割合の比率を、各表示輝度に対応する各センサ出力信号値について表した階調特性指数を図１０に表す。このように輝度識別視覚特性とカメラ・モニタ階調特性とから、センサ出力信号値に対する階調特性指数を算出する。

次に、Ｓ４０４において、階調情報を撮影画像の映像信号に重畳する。ユーザは、撮影レンズ１０３のズーム位置や焦点状態、絞り１０１、ＮＤフィルタ１０４などの撮影条件を決定し、被写体を撮影する。撮影された信号は、撮像部２２、Ａ／Ｄ変換器２３を通って画像処理部２４のガンマ補正部３０２に入力される。ガンマ補正部３０２は、設定されたカメラガンマ特性３０１を用いて映像信号の階調変換を行う。階調変換された映像信号は情報表示重畳部３０７に送られる。

ここで撮影中の映像の例を図１１（ａ）に示す。この映像の各画素のセンサ出力値に対応した階調特性指数を、図１０に示した関係から求める。ここで、図１０の階調特性指数が１を超えるセンサ出力信号値は、輝度識別視覚特性と比較して、バンディングが起こる可能性が高い値である。そこで、情報表示重畳部３０７は、センサ出力信号値のうち、一例として階調特性指数が１を超えるセンサ出力信号値に対応した画素に対し、階調情報を重畳する。なお、階調情報を重畳する階調特性指数は１を超えるセンサ出力信号値に限られるものではなく、視聴環境によっては１以外の値であってもよい。階調情報としては、例えば、撮影した画像に重畳して表示するように、斜線状のパターン（ゼブラ・パターン）の情報を付加する。階調情報を重畳した例を図１１（ｂ）に示す。ここでは階調特性指数が１を超えるセンサ出力信号に対応した画素についてゼブラ・パターンの情報を付加するものとしたが、階調特性指数を複数の数値範囲に分割し、分割した数値範囲毎に異なる色が画像に重畳されるような階調情報を付加してもよい。また階調特性指数の複数の数値範囲に分割し、分割した数値範囲毎に、対応する画素数をヒストグラムにより表示するようにしてもよい。なお、本発明における階調情報の表示方法は上記に限られるものではなく、バンディングが起こる可能性が高い画素をユーザが識別可能に提示することができるのであれば、どのような形態で表示しても構わない。

最後に、Ｓ４０５において、表示装置により階調情報をユーザに提示する。Ｓ４０４において情報表示重畳部３０７により階調情報が重畳された撮影画像の映像信号（カメラ出力信号）を画像処理部２４から出力し、表示輝度に変換して表示部２８に表示する。また、階調情報を重畳した撮影画像の映像信号（カメラ出力信号）を外部Ｉ／Ｆ１８を介して外部表示機器２０２へ出力し、表示輝度に変換して表示してもよい。これにより、ユーザは撮影中の被写体からバンディングが起こる可能性が高い被写体を、表示された階調情報から読み取ることができる。ユーザはこれを受けて、主被写体である人物の肌がバンディングが起こる可能性が高い信号領域に入らないように撮影条件を変更することができる。例えば、露出条件の変更、カメラガンマ特性の変更、ライティングの変更などである。カメラガンマ特性やモニタ階調特性設定の変更があればＳ４０１から処理を繰り返し、変更後の条件での階調情報をユーザに提示する。

上記の通り本第１の実施形態に依れば、表示する視聴環境のモニタ階調特性とカメラガンマ特性とを合わせたカメラ・モニタ階調特性と、輝度識別視覚特性とから、センサ出力信号値に対する階調特性指数を求める。そして、階調特性指数に基づいて、センサ出力信号値に階調情報を付加し、表示輝度に変換してユーザに提示することで、カメラによる映像信号記録時の撮影設定の決定を補助することができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。なお、第２の実施形態における撮像装置は、第１の実施形態で図１及び図２を参照して説明したビデオカメラと同様の構成を有するものとし、説明を省略する。第２の実施形態では、第１の実施形態で対象とされた表示装置よりも最大輝度が低い表示手段によって同様の映像信号を表示する際の階調性を検出し、ユーザに提示する場合について説明する。

図１２は、第２の実施形態における主な処理を行う画像処理部２４とシステム制御部５０の構成を示すブロック図、図１３は、第２の実施形態における処理の流れを示すフローチャートである。なお、図１２において、図３と同様の処理を行う構成には同じ参照番号を付す。また、図１３において、図４と同様の処理には同じステップ番号を付し、適宜説明を省略する。

まず、上述した第１の実施形態と同様にして、Ｓ４０１においてモニタ階調特性を取得し、Ｓ４０２においてカメラ・モニタ階調特性を求める。次に、Ｓ１３０１において、最大輝度値及び出力ダイナミックレンジ（Ｄレンジ）の設定を受け付ける。

ここでは、最大輝度値として、第１の実施形態のモニタ階調特性取得部３０３によって設定された最大輝度値よりも低い最大輝度値が設定された場合について説明する。このような設定がなされる例として、記録した映像信号を最大輝度が限定される収録方法によって、ＤＶＤのような再生環境として一般的な記録媒体に収録した場合がある。ここでは、最大輝度値取得部３０８によって、５００ｃｄ／ｍ²の最大輝度値が設定され、出力Ｄレンジ設定部３０９によって非圧縮上限輝度値が４００ｃｄ／ｍ²が設定されたものとする。

次に、Ｓ１３０２において、カメラ・モニタ階調特性を圧縮する。階調圧縮変換部３１０は、設定された最大輝度値と出力Ｄレンジによってカメラ・モニタ階調特性を圧縮する。先に述べた最大輝度値５００ｃｄ／ｍ²、非圧縮上限輝度値４００ｃｄ／ｍ²の条件で、図７（ｃ）に示すカメラ・モニタ階調特性が圧縮された例を図１４に示す。図１４の実線の特性が第１の実施形態の最大輝度値１０００ｃｄ／ｍ²の特性である。これを元に、非圧縮上限輝度値である４００ｃｄ／ｍ²を超える表示輝度を持つ特性を最大輝度値５００ｃｄ／ｍ²に圧縮した特性が鎖線の特性である。また非圧縮上限輝度値の代わりに非圧縮上限輝度割合が８０％と設定されていた場合も、最大輝度値５００ｃｄ／ｍ²と非圧縮上限輝度割合８０％を掛けあわせた値が４００ｃｄ／ｍ²となり、鎖線の特性となる。今回は非圧縮上限輝度値が設定されているため、鎖線の特性を採用する。

一方、非圧縮上限輝度値または非圧縮上限輝度割合が設定されていない場合、表示輝度値全体を５００ｃｄ／ｍ²に圧縮した特性が一点鎖線の特性である。この特性は圧縮後の最大輝度５００ｃｄ／ｍ²を元の特性の最大輝度１０００ｃｄ／ｍ²で割った割合を表示輝度全体に掛けあわせて算出する。

なお、更に平均輝度値を設定しても良く、平均輝度値が設定された場合には、圧縮後の特性とセンサ出力信号値から全画素の平均輝度値を算出し、設定された最大輝度値と平均輝度値の条件を満たすように、圧縮後の表示輝度値を変更した特性を用いる。階調圧縮変換部３１０で決定された特性は階調特性比較部３０６に送られる。

そして、Ｓ４０３において、階調特性比較部３０６は、階調圧縮変換部３１０で変換されたカメラ・モニタ階調特性と輝度識別視覚特性３０５を用いて、センサ入力信号に対する階調性指数を算出する。以降、Ｓ４０４、Ｓ４０５において、第１の実施形態で説明した処理を行う。

上記の通り本第２の実施形態によれば、最大輝度値取得部３０８と出力Ｄレンジ設定部３０９によって設定された視聴環境の条件に応じてカメラ・モニタ階調特性を補正し、補正したカメラ・モニタ階調特性に基づく階調情報をユーザに提示する。これにより、想定される複数の表示装置の階調性を確認しつつ、撮影設定の決定を補助することができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１３：Ｄ／Ａ変換器、１８：外部Ｉ／Ｆ、２２：撮像部、２３：Ａ／Ｄ変換器、２４：画像処理部、２８：表示部、５０：システム制御部、５２：システムメモリ、５６：不揮発性メモリ、６０：モード切替スイッチ、７０：操作部、１００：デジタルビデオカメラ、２００：記録媒体、２０１：記録媒体スロット、２０２：外部表示機器、３０１：カメラガンマ特性、３０２：ガンマ補正部、３０３：モニタ階調特性取得部、３０４：カメラ・モニタ階調特性算出部、３０５：輝度識別視覚特性、３０６：階調特性比較部、３０７：情報表示重畳部、３０８：最大輝度値取得部、３０９：出力Ｄレンジ情報設定部、３１０：階調圧縮変換部

Claims (18)

1. 撮像素子から出力された出力信号を、予め決められた表示装置に表示する輝度値に変換する階調特性を取得する取得手段と、
   前記階調特性と視覚特性とに基づいて、前記出力信号に対応する前記輝度値における前記階調特性の傾きと、当該輝度値における前記視覚特性の傾きとを比較する比較手段と、
   前記比較手段による比較の結果に基づいて、前記階調特性の傾きが前記視覚特性の傾きを超えている輝度値に対応する出力信号に、前記比較の結果を示す階調情報を重畳する重畳手段と、を有し、
   前記視覚特性は、輝度に応じて異なる、人間が認識可能な最小の輝度の変化量であることを特徴とする画像処理装置。
2. 前記比較手段は、前記出力信号が取り得る各値について、当該各値に対応する輝度値における前記階調特性の傾きの、前記視覚特性の傾きに対する比を求め、
   前記重畳手段は、前記出力信号のうち、前記比が予め決められた値を超える出力信号に、前記階調情報を重畳することを特徴とする請求項１に記載の画像処理装置。
3. 前記取得手段は、
   前記出力信号を処理して、映像信号に変換する場合のカメラ階調特性を取得する第１の取得手段と、
   前記映像信号を、前記表示装置に表示する輝度値に変換する場合のモニタ階調特性を取得する第２の取得手段と、
   前記カメラ階調特性と前記モニタ階調特性とから、前記出力信号を前記輝度値に変換する前記階調特性を求める第３の取得手段と
   を有することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第２の取得手段は、ユーザによる入力に基づいて、前記モニタ階調特性を取得することを特徴とする請求項３に記載の画像処理装置。
5. 外部表示機器と通信する通信手段を更に有し、
   前記第２の取得手段は、前記通信手段による通信により、前記外部表示機器から前記モニタ階調特性を取得することを特徴とする請求項３または４に記載の画像処理装置。
6. 撮影モードを設定する設定手段を更に有し、
   前記第１の取得手段は、前記設定手段により設定された撮影モードに応じて前記カメラ階調特性を選択することを特徴とする請求項３乃至５のいずれか１項に記載の画像処理装置。
7. 前記階調情報が重畳された出力信号を、前記輝度値に変換する変換手段と、
   前記輝度値に基づいて表示を行う表示手段と
   を更に有することを特徴とすることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記表示手段は、前記階調情報が重畳された出力信号に対応する画素に、予め決められたパターンを重畳して表示することを特徴とする請求項７に記載の画像処理装置。
9. 前記階調情報が重畳された出力信号を、外部表示装置に出力する出力手段を更に有することを特徴とすることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記階調情報が重畳された出力信号を、前記輝度値に変換する変換手段と、
    前記輝度値に基づいて表示を行う表示手段と、を更に有し、
    前記表示手段は、前記階調情報に基づいて前記比を複数の範囲に分割し、前記階調情報が重畳された出力信号に対応する画素に、該分割した範囲毎に異なる色を重畳して表示することを特徴とする請求項２に記載の画像処理装置。
11. 前記階調情報が重畳された出力信号を、前記輝度値に変換する変換手段と、
    前記輝度値に基づいて表示を行う表示手段と、を更に有し、
    前記表示手段は、前記階調情報に基づいて前記比を複数の範囲に分割し、当該複数の範囲それぞれに対応する出力信号の数をヒストグラムとして重畳して表示することを特徴とする請求項２に記載の画像処理装置。
12. 前記取得手段は、
    前記変換された輝度値の最大輝度値を設定する設定手段と、
    前記階調特性により得られる最大輝度値が、前記設定された最大輝度値となるように、前記階調特性の少なくとも一部を圧縮する階調圧縮変換手段とを更に有し、
    前記比較手段は、前記階調圧縮変換手段により圧縮された前記階調特性に基づいて、前記比較を行うことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
13. 前記取得手段は、前記階調圧縮変換手段により前記階調特性を圧縮しない、上限の輝度値または輝度値の割合を設定する第２の設定手段を更に有し、
    前記階調圧縮変換手段は、前記上限の輝度値または前記輝度値の割合により示される輝度値を超える前記階調特性の領域を圧縮することを特徴とする請求項１２に記載の画像処理装置。
14. 前記取得手段は、前記出力信号が取り得る各値に対する前記輝度値の平均輝度値を設定する第３の設定手段を更に有し、
    前記階調圧縮変換手段は、前記階調特性の少なくとも一部を、前記階調特性により得られる最大輝度値が、前記設定された最大輝度値となると共に、前記圧縮された階調特性により変換して得られる前記出力信号が取り得る各値に対する前記輝度値の平均輝度値が、前記第３の設定手段に設定された平均輝度値となるように圧縮することを特徴とする請求項１３に記載の画像処理装置。
15. 請求項１乃至１４のいずれか１項に記載の画像処理装置と、
    前記撮像素子と
    を有することを特徴とする撮像装置。
16. 取得手段が、撮像素子から出力された出力信号を、予め決められた表示装置に表示する輝度値に変換する階調特性を取得する取得工程と、
    比較手段が、前記階調特性と視覚特性とに基づいて、前記出力信号に対応する前記輝度値における前記階調特性の傾きと、当該輝度値における前記視覚特性の傾きとを比較する比較工程と、
    重畳手段が、前記比較工程における比較の結果に基づいて、前記階調特性の傾きが前記視覚特性の傾きを超えている輝度値に対応する出力信号に、前記比較の結果を示す階調情報を重畳する重畳工程と、を有し、
    前記視覚特性は、輝度に応じて異なる、人間が認識可能な最小の輝度の変化量であることを特徴とする画像処理方法。
17. コンピュータを、請求項１乃至１４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
18. 請求項１７に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。