JP2018082359A - 画像処理装置及び方法、及び撮像装置 - Google Patents

Abstract

【課題】 画像にゲイン処理が施された場合であっても、人間の視覚特性を考慮して、効率良く画像信号を符号化すること。【解決手段】 撮像素子から出力された画像信号の露出情報を取得する露出情報取得部（２０１）と、露出情報に基づいて、画像信号にゲインをかける処理を含む信号処理を行う画像処理部（２４、２４’）と、露出情報とゲインと視覚特性とに基づいて階調変換特性を設定する階調変換特性設定部（２０２）と、処理された画像信号を階調変換特性を利用して階調変換を行う階調変換部（２０３）と、を有し、視覚特性は、輝度に応じて異なる、人間が認識可能な最小の輝度の変化量であって、階調変換特性設定部は、各輝度に対して、信号処理された画像信号を表現する１ビット深度あたりの輝度の変化量の割合を示す第１の関数と、人間が認識可能な最小の輝度の変化量の割合を示す第２の関数との交点を求め、該交点に基づいて、階調変換特性を設定する。【選択図】 図２

Description

本発明は、画像処理装置及び方法、及び撮像装置に関し、特に、画像信号の階調変換を行う画像処理装置及び方法、及び撮像装置に関する。

従来、テレビやディスプレイといった出力機器の出力ダイナミックレンジが十分ではなく、実際の被写体に比べてかなり狭いダイナミックレンジでしか表示できなかった。そのため、撮像装置で被写体を撮影した際に、広いダイナミックレンジの映像信号を出力機器の表示のダイナミックレンジに押し込むように、ダイナミックレンジを圧縮する処理が必要となっていた。そのような処理を行った場合、見た目とは異なった状態で出力機器から映像が表示され、臨場感が失われてしまっていた。

しかしながら、近年の技術革新により出力機器の最大輝度出力が大きく改善したため、階調表現可能な画像のダイナミックレンジが拡大し、人間の視覚特性の大部分をカバーするほどのダイナミックレンジでの出力が可能となった。このような出力機器のダイナミックレンジ性能向上に伴い、拡張されたダイナミックレンジ画像を表示するための出力機器の変換特性が、非特許文献１に記載されているように、SMPTE Standard ST 2084:2014として規格化されている。

また、特許文献１には、人間の網膜の応答特性に基づいて効率よく階調圧縮を行う画像の符号化方法が開示されている。

特開２００８−２３４３１５号公報 Report ITU-R BT.2246-1(08/2012)/The present state of ultra high definition television

非特許文献１に示す通り、人間の視覚特性は知覚される輝度に応じて認識できるＪＮＤ（Just Noticeable Difference）が異なるが、特許文献１に示す階調圧縮では人間の視覚特性が知覚される輝度に応じて異なることが考慮されていない。さらには、撮像装置に備えられた撮像素子のビット深度が十分であっても、信号処理時に加えられるゲイン等によって階調性が悪化し、ある条件下では必要なＪＮＤを満たしていても、異なる条件下では必要なＪＮＤを満たさない場合がある。

本発明は上記問題点を鑑みてなされたものであり、画像にゲイン処理が施された場合であっても、人間の視覚特性を考慮して、効率良く画像信号を符号化することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、撮像素子から出力された画像信号の露出情報を取得する取得手段と、前記露出情報に基づいて、前記画像信号にゲインをかける処理を含む信号処理を行う信号処理手段と、前記露出情報と前記ゲインと視覚特性とに基づいて階調変換特性を設定する設定手段と、前記信号処理手段により信号処理された画像信号を前記階調変換特性を利用して階調変換を行う階調変換手段と、を有し、前記視覚特性は、輝度に応じて異なる、人間が認識可能な最小の輝度の変化量であって、前記設定手段は、各輝度に対して、前記信号処理手段により信号処理された画像信号を表現する１ビット深度あたりの輝度の変化量の割合を示す第１の関数と、前記人間が認識可能な最小の輝度の変化量の割合を示す第２の関数との交点を求め、該交点に基づいて、前記階調変換特性を設定する。

本発明によれば、画像にゲイン処理が施された場合であっても、人間の視覚特性を考慮して、効率良く画像信号を符号化することができる。

本発明の第１の実施形態におけるデジタルビデオカメラの構成を示すブロック図。 第１の実施形態における画像処理部の内部構成を示すブロック図。 第１の実施形態における画像処理の流れ示すフローチャート。 視覚特性に基づくモデル関数と実施形態における階調変換特性との関係を表すグラフを示す図。 第１の実施形態における階調変換特性を表すグラフを示す図。 視覚特性に基づくモデル関数と実施形態における階調変換特性との関係を表すグラフを示す図。 第１の実施形態における階調変換特性を表すグラフを示す図。 第２の実施形態における画像処理部の内部構成を示すブロック図。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。

＜第１の実施形態＞
本発明の第１の実施形態において、一例としてデジタルビデオカメラ内の画像処理部で本発明の画像処理方法が採用された場合について説明するが、本発明は撮像装置内部での画像処理に制限されるものではなく、汎用的な画像処理方法として適用され得る。

図１は、本発明の第１の実施形態におけるデジタルビデオカメラ１００の内部構成を示すブロック図である。図１において、撮影レンズ１０３はズームレンズ、フォーカスレンズを含むレンズ群であり、被写体像を結像させる。絞り１０１は光量調整に使用する絞りである。ＮＤフィルタ（減光フィルタ）１０４は減光用に使用するフィルタである。撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。また、撮像部２２は、電子シャッタによる蓄積の制御や、アナログゲイン、読み出し速度の変更などの機能も備える。バリア１０２は、デジタルビデオカメラ１００の撮影レンズ１０３を含む撮像系を覆うことにより、撮影レンズ１０３、絞り１０１、撮像部２２を含む撮像系の汚れや破損を防止する。

Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号（画像データ）に変換する。画像処理部２４は、Ａ／Ｄ変換器２３からの画像データ、または、メモリ制御部１５からの画像データに対して、色変換処理、ガンマ補正、デジタルゲインの付加等の信号処理を行う。また、撮像した画像データを用いて所定の演算処理を行い、演算結果をシステム制御部５０に送信する。システム制御部５０は、送信された演算結果に基づいて露出制御、焦点調節制御、ホワイトバランス制御等を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等が行われる。なお、画像処理部２４についての詳細は後述する。

また、Ａ／Ｄ変換器２３から出力された画像データは、画像処理部２４及びメモリ制御部１５を介して、或いは、直接メモリ制御部１５を介して、メモリ３２に書き込まれる。メモリ３２は、撮像部２２によって撮像され、Ａ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１３は、メモリ制御部１５を介してメモリ３２に格納されている表示用の画像データを読み出し、アナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データは、Ｄ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３においてアナログ信号に変換し、表示部２８に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示を行うことができる。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭが用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部５０は、デジタルビデオカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する第１の実施形態の各処理を実現する。システムメモリ５２にはＲＡＭが用いられ、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部５０はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより、表示制御も行う。

システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。モード切替スイッチ６０、録画スイッチ６１、操作部７０は、システム制御部５０に各種の動作指示を入力するために用いられる。

モード切替スイッチ６０は、システム制御部５０の動作モードを、動画記録モード、静止画記録モード、再生モード等を含む複数のモードのいずれかに切り替える。なお、動画記録モードや静止画記録モードに含まれるモードとしては、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。動画記録モードの場合、モード切替スイッチ６０で、これらのモードのいずれかに直接切り替える。あるいは、モード切替スイッチ６０で動画記録モードに一旦切り換えた後に、動画記録モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。録画スイッチ６１は撮影待機状態と撮影状態を切り替える。システム制御部５０は、録画スイッチ６１により、撮像部２２からの信号読み出しから記録媒体９０への動画データの書き込みまでの一連の動作を開始する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右４方向の十字キーやＳＥＴボタンを用いて直感的に各種設定を行うことができる。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体９０を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる。

Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体９０、または外部出力機器とのインターフェースである。図では記録媒体９０との接続時の状態を示している。記録媒体９０は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

次に、第１の実施形態における画像処理部２４の内部構成について説明する。図２は画像処理部２４の内部構成と関係部位を示すブロック図である。通常、シャープネス制御などもこの部分で処理を行うが、本実施形態の説明には不要であるため、省略している。なお、画像処理部２４内の各ブロックは、システム制御部５０を通じて、デジタルビデオカメラ１００内部のあらゆるデータを取得可能である。

図２において、露出情報取得部２０１は露出情報（絞り、露光時間、感度、ＮＤフィルタの濃度等の情報）を取得し、階調変換特性設定部２０２に伝達する。露出情報の取得方法については様々な方法があり、画像データに付与されたメタデータとして取得する方法や、システム制御部５０からカメラ１００の設定情報として取得する場合や、ユーザが手動で入力する場合などが例としてあげられる。また、露出情報取得部２０１で取得する情報は、入力される画像の露出情報に限定されるものではない。例えば、撮影時にオンセットのディスプレイなどを通じて撮影後の処理における画像処理を想定しながら撮影する場合などは、想定される画像処理を含めたトータルの感度を算出し、露出情報として階調変換特性設定部２０２へ入力してもよい。階調変換特性設定部２０２では、露出情報取得部２０１より取得した露出情報を基に階調変換特性を決定し、階調変換部２０６に設定する。なお、この際の階調変換特性の決定方法については詳細に後述する。

また、ゲイン部２０３では、画像処理部２４に入力されたＲＧＢ信号に対し、一律にゲインを加える。ＷＢ補正部２０４ではホワイトバランス補正するためにＲＧＢに個別のゲインを与える。マトリクス演算部２０５は、色味を好適に調整するために、例えば３×３のマトリクスをＲＧＢ信号に対して掛ける。

続いて、図３のフローチャートを用いて階調変換特性設定部２０２における階調変換特性の決定方法について詳細に説明する。

まず、Ｓ１０１において、絞り、露光時間、感度、ＮＤフィルタの濃度などの露出情報を取得する。続いてＳ１０２では光電変換特性を算出する。本実施形態においては、ビデオカメラ１００の一部の画像処理部に本発明が適用された例を示すため、入力光量に対して線形関数により光電変換された画像信号を前提として記述する。ただし、光電変換特性を線形関数に限定する必要はなく、入力画像の画像信号と光量との変換特性が既知であれば本発明は適用可能である。ここで記述する光電変換特性とは、入力画像の被写界の絶対輝度と入力画像信号の符号値を対応づけた特性である。例えば、Ｓ１０１で取得された露出情報から、最大Ｂｖ値を算出し、画像信号の最大符号値と対応づける。入力画像信号が線形変換特性により光電変換されていることを想定すると、入力画像信号のビット数により、画像信号の全ての符号値が関連付けられることになる。

ここで、画像信号の符号値と被写界の絶対輝度値を関連付ける方法について具体的な数値を用いて説明する。ＡＰＥＸ（Additive System of Photographic Exposure）表現における基準輝度値のＢｖ値（基準Ｂｖ値）は、以下のように求められる。ここで、基準輝度値とは、画像データにおける入力１８％グレーとなる被写体（反射率１８％となる被写体）を基準とした輝度値である。各露出パラメータをＡＰＥＸ単位に換算して、基準輝度値を絶対輝度で表した基準Ｂｖ値は、
基準Ｂｖ値＝２^{（Ａｖ＋Ｔｖ−Ｓｖ）}×（０．３２×ｋ）[ｃｄ／ｍ^２］ …（１）
となる。なお、Ａｖは絞り値、Ｔｖはシャッター速度、Ｓｖは撮影感度をＡＰＥＸ単位に換算した露出（露出制御値）である。また、ｋは校正係数であって、入力１８％グレーとなるように、ＡＰＥＸ単位で表わされた輝度値を絶対輝度の単位であるｃｄ／ｍ^２（またはｎｉｔ）に換算する際に用いられる。本実施形態では、ｋ＝１２．５としている。なお、ＡＰＥＸ単位で表わされた輝度値Ｚを絶対輝度値Ｘに換算するには、ｌｏｇ_２（Ｘ／０．３２×ｋ）＝Ｚという関係式に基づき、Ｘ＝２^Ｚ×（０．３２×ｋ）により求めることができる。例えば、Ａｖ＝Ｆ４．０、Ｔｖ＝１／１２８、Ｓｖ＝ＩＳＯ感度２００である場合は式（１）から、
基準Ｂｖ値＝（２^{（４(Av)＋７(Tv)−６(Sv)）}）×（０．３２×１２．５）
＝１２８[ｃｄ／ｍ^２]
となる。このとき、撮像装置のダイナミックレンジ１２００％、基準輝度値の輝度値の上限値に対する割合を２０％、画像データのビット数を１４とすると、
基準輝度値の符号値＝（２^ｂｉｔ数）×（基準輝度値［％］／ダイナミックレンジ［％］） …（２）
となり、基準信号の符号値が求められる。上記式（２）に対して数値を入れると、
基準信号の符号値 ＝（２^１４）×（２０／１２００）
＝２７３
すなわち、基準信号の符号値は２７３と求められる。

基準信号の符号値が２７３、基準Ｂｖ値が１２８ｃｄ／ｍ^２であるから、線形に光電変換されていることを想定すると、最大符号値１６３８３のＢｖ値は７６８１ｃｄ／ｍ^２となる。これにより、入力画像の光電変換特性としては０〜７６８１ｃｄ／ｍ^２までの被写体輝度を線形に表現する特性であると算出される。なお、露出情報をもとに光電変換特性を算出したが、露出情報が異なる画像に対しては光電変換特性を算出し直す必要がある。

次に、Ｓ１０３において、ＷＢ補正部２０４から出力されるＷＢ補正済みＲＧＢ信号それぞれの分解能評価値（個別分解能評価値）を算出する。Ａ／Ｄ変換器２３から出力された信号がＲＧＢ各１４ビット、すなわち１６３８４階調を表現できる場合であっても、ゲイン部２０３、ＷＢ補正部２０４によって信号にゲインを加えたときには信号値が飽和してしまうため、表現できる階調数が減少する。

例として、Ｒ信号に対し、ゲイン部２０３によって２倍のゲイン、ＷＢ補正部２０４によって２倍のゲインを加えている場合、合わせて４倍のゲインが掛かることになる。このとき、Ａ／Ｄ変換器２３から出力された信号のうち、４０９６以上の信号は飽和してしまうことになり、０から４０９５までの４０９６階調しか表現できない。したがって、この場合、ＷＢ補正部２０４から出力されるＷＢ補正済みＲ信号は実質１２ビット相当であることになる。この実質的なビット数を分解能評価値として用いることにすると、ＷＢ補正済みＲＧＢ信号それぞれの分解能評価値ｂ_Ｒ、ｂ_Ｇ、ｂ_Ｂは、ゲイン部２０３によって加えられるゲインｓとＷＢ補正部２０４によって加えられるＲゲインｗ_Ｒ、Ｂゲインｗ_Ｂを用いて式（３）で表すことができる。

次に、Ｓ１０４において、ＷＢゲイン補正部２０７から出力されたＷＢ補正済みＲＧＢ信号が輝度値Ｙへと変換されるときのＷＢ補正済みＲＧＢそれぞれの寄与率を算出する。例として、マトリクス演算部２０５において、ＷＢ補正部２０４から出力されたＲＧＢ信号の色味をカメラとして好適な色味に変換するために下記のマトリクスＭ_Ｃを掛ける場合を考える。

このとき、ある規格、例えばＢＴ７０９色域等に則ったＲＧＢ信号からＸＹＺ信号への変換マトリクスをＭ_ＸＹＺと置くと、ＷＢ補正済みＲＧＢ信号（Ｒ_ｗ、Ｇ_ｗ、Ｂ_ｗ）から測色値ＸＹＺへの変換は次式のように表せる。

この式のＹへの係数部分がＷＢ補正済みＲＧＢ信号の輝度Ｙへの寄与率となる。例えば、ＢＴ７０９色域に対応したＲＧＢからＸＹＺへの変換マトリクスＭ_{ＸＹＺ７０９}は

と表されるため、輝度Ｙへの寄与度（ｃ_Ｒ、ｃ_Ｇ、ｃ_Ｂ）は下記のように計算できる。

最後に寄与度の合計が１になるように正規化することで寄与率とする。Ｙへの寄与率を（ｃ_Ｒ’、ｃ_Ｇ’、ｃ_Ｂ’）と置くと、寄与度（ｃ_Ｒ、ｃ_Ｇ、ｃ_Ｂ）から以下のように算出できる。

次に、Ｓ１０５において、Ｓ１０３で算出したＷＢ補正済みＲＧＢ信号それぞれの分解能評価値（ビット数）と、Ｓ１０４で算出した寄与率とから、ＲＧＢの分解能を総合した総合分解能評価値（ビット数）を算出する。例えば、分解能評価値と寄与率との内積、すなわち重み付け平均して求めるなどの方法が考えられるが、その方法に限定する必要はない。

次に、Ｓ１０６において、視覚特性に基づくモデル関数と、光電変換特性との交点算出を行う。図４は横軸を被写体輝度、縦軸をコントラストステップとして、人間の視覚特性に基づくモデル関数Ｓ０と、信号出力特性Ｓ１を図示したグラフである。なお、ある輝度Ｌにおける表現可能な最小の輝度の変化量をΔＬ、そのときのコントラストステップをＣｓとすると、コントラストステップＣｓは以下の式（９）で表される。
Ｃｓ＝ΔＬ／Ｌ …（９）
ここでは、表現可能な最小の輝度の変化量ΔＬは、隣り合った符号値に割り当てられた輝度の変化量となるので、ｉ番目の符号に対応する輝度をＬ（ｉ）とすると、
Ｃｓ＝（Ｌ（ｉ＋１）−Ｌ（ｉ））／Ｌ（ｉ） …（１０）
と表わすことができる。人間の視覚特性では、輝度によって認識可能なコントラストステップが変化するため、モデル関数Ｓ０は横軸の被写体輝度に対して非線形に変化する。モデル関数Ｓ０より上側では、輝度の変化量ΔＬに対するコントラストステップが大きいため、１符号値差あたりの輝度の変化量を認識することができる。一方、モデル関数Ｓ０より下側では、輝度の変化量ΔＬに対するコントラストステップが小さいため、１符号値差あたりの輝度の変化量を認識することができない。すなわち、モデル関数Ｓ０より下側の領域では、階調が無駄になってしまう。

一方、画像処理部２４への入力信号と出力信号のビット数について考えると、理想的にはビデオカメラの記録としてはＲＡＷ画像信号をそのまま記録するのが好ましい。しかし、記録信号の肥大化や記録装置への情報転送速度の制限、または画像処理回路の回路構成の簡易化の観点からすると、ＲＡＷ画像信号よりも少ないビット数の画像信号として記録することが一般的である。Ａ／Ｄ変換部２０から出力される信号が１４ビットのビット深度を持つ場合、Ｓ１０３で求めたようにＲＧＢ信号はそれぞれゲイン部２０３とＷＢ補正部２０４で加えられるゲインにより、表現できる階調数が少なくなる。また、ＲＧＢ信号それぞれで表現できる階調数は異なるが、上述したＳ１０５において、輝度に対する寄与率を用いてＲＧＢ信号を総合したビット深度に相当する値である総合分解能評価値を求めている。

一例として、Ｓ１０５で求めた総合分解能評価値が１２．５ビットであった場合、階調性は悪化するものの、１４ビットの階調をそのまま１２ビットに収まるように線形に階調変換すると図５のグラフＳ２に示すようになる。これは、図４に示すグラフＳ２に相当する。しかしながら、グラフＳ２に示すように階調変換を行うと、全輝度領域において、階調変換前と比較して階調変換後では１ビット深度あたりの輝度の変化量が大きくなってしまう。一方、図５のグラフＳ１に示すように、符号値がそのまま残るように階調変換を全く行わない場合、ビット数が減るために明部の情報がクリップされてしまうことになる。

ここで、ビット深度が１４ビットの場合を図４のグラフＳ１で表したものに対し、総合分解能評価値が１２．５ビットの場合は、クリップされる明部も仮想的に図示すると図４のグラフＳ３で示すようになる。これは、１ビット深度あたりのコントラストステップが全領域で平均的に２１．５＝２．８２倍大きくなるためである。このとき、Ｓ３とＳ０は５０ｃｄｍ^２付近で交わり、その後はＳ３の階調性が過剰であることが分かる。

そこで、本実施形態では、図６に示すように、階調変換特性Ｓ３とモデル関数Ｓ０との交点Ｃ０の輝度まではグラフＳ３の階調をそのまま残し、交点Ｃ０から先の高輝度部分は入力画像信号の最大符号値まで階調変換可能な階用変換特性とする。そのために、信号変換特性と視覚特性に基づくモデル関数との交点Ｃ０を求める。なお、交点の算出方法に関して制限はなく、交点の座標を直接求めても良いし、解析的に求めてもよい。また、算出する交点は図４に示すような座標平面上の座標値でもよいし、入力画像信号の符号値として算出してもよいし、入力画像信号の絶対輝度値として算出してもよい。

次に、Ｓ１０７において、階調変換特性における線形特性部分の比率を決定する。これは、Ｓ１０６で算出した交点Ｃ０に対応する輝度を入力画像信号の符号値に換算し、交点の符号値以下の低輝度側の符号値については光電変換そのもの（すなわち、傾き１の直線）とする。一方、交点の符号値より高輝度側の符号値については、入力符号値全体を階調表現可能な階調変換特性とする。なお、交点の符号値よりも高輝度側の階調変換特性に関しての制限はないが、視覚特性に基づくモデル関数よりも下回る関数特性であって、滑らかな階調表現が可能で、且つ、網膜の応答特性とも相性の良い対数変換特性を例として、図６に示す。

図６は、交点の輝度までは線形変換特性とし、交点の輝度から上を対数関数による階調変換特性とした例（グラフＳ４）を示す。これを横軸に入力コード、縦軸に出力コードとして表したものが図７である。グラフＳ１とＳ３は階調変換特性自体は同じであるため、同一の直線となる。また、図６では交点の輝度の符号値をもとにそのまま比率を決定したが、記録後の後編集時において感度変更や階調調整を行う場合を想定して、交点の符号値をそのまま階調変換特性における線形特性部分と非線形特性部分との接合点としない場合もある。例えば、交点付近の輝度領域に主被写体があり、後編集時に階調調整が想定される場合は、階調調整による主被写体付近でのバンディングによる画質品位の劣化を防ぐため、接合点を交点よりも高輝度側に移動して主被写体付近の階調性を重視してもよい。

最後にＳ１０８において、Ｓ１０７で生成された階調変換特性に基づいて、階調変換部２０６で階調変換を施す。

このようにして階調変換処理された画像を出力することで、絶対輝度と関連付けられて出力されることを想定した画像の撮影において、入力画像の光電変換特性を考慮し、人間の視覚特性に基づいて最も効率のよい階調情報を残すことができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。上述した第１の実施形態では、ＲＡＷ画像に対して行われた画像処理に基づいてＲＡＷ画像の階調変換特性を変更する場合について説明した。これに対し、第２の実施形態では、モニタリング等の用途のために出力する信号（以下、モニタリング信号）に対しては画像処理を行うが、ＲＡＷ画像に対しては最低限の画像処理しか行わない場合に、ＲＡＷ画像の階調を最適に設定する方法について説明する。なお、第１の実施形態と重複する部分については説明を省略する。

図８は、第２の実施形態における画像処理部２４’を説明した図である。図８の露出情報取得部２０１と階調変換特性設定部２０２は、第１の実施形態で図３を参照して説明したものと同様の構成を有するため、同じ参照番号を付して説明を省略する。第１の実施形態との違いとして、Ａ／Ｄ変換器２３から入力された信号が、ゲイン部８０３に入力される信号とＲＡＷゲイン部８０７に入力される信号の２つに分かれる。

ゲイン部８０３から出力画階調変換部８０６まではカメラとしての好適なホワイトバランスや色味、階調などを設定して出力や記録するための系であり、第１の実施形態の場合とは異なる。ただし、ゲイン部８０３でゲインを加え、ＷＢ補正部８０４でホワイトバランスを補正し、マトリクス演算部８０５で色味を調整し、出力画階調変換部８０６で階調変換を行うという処理内容は同じである。一方、ＲＡＷゲイン部８０７は、ＲＡＷ画像のＲＧＢ信号それぞれに同一のゲインを加える。また、ＲＡＷ階調変換部８０８は、ＲＡＷゲイン部８０７によりゲインを加えられたＲＡＷ画像に対して、階調変換を行う。

このような構成のとき、前述したようにＲＡＷ画像に対しては画像処理が行われないので、第１の実施形態のようにＲＡＷ画像に対して行われる画像処理に応じて階調変換特性を最適化することはできない。しかし、モニタリング信号の色味やホワイトバランスはユーザがメニュー等から指定できる範囲で、ユーザの意図を汲んだ画像になっていると考えられる。そこで、モニタリング信号に適用されている、ＷＢ補正部８０４で用いられたホワイトバランスゲインと、マトリクス演算部８０５で用いられたマトリクスが、ＲＡＷ画像の後処理でも用いられると仮定する。そしてこれらの値に基づき、第１の実施形態のＳ１０３、Ｓ１０４で行われた計算と同様の計算を行うことで、個別分解能評価値と総合分解能評価値を算出し、以降は第１の実施形態と同様の計算を行うことで、階調変換特性設定部２０２で階調特性を決定する。

上記の通り本第２の実施形態によれば、後処理の画像処理を考慮した視覚特性に基づく効率のよい階調情報を残すことができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１３：Ｄ／Ａ変換器、１８：Ｉ／Ｆ、２２：撮像部、２３：Ａ／Ｄ変換器、２４：画像処理部、２８：表示部、５０：システム制御部、５２：システムメモリ、６０：モード切替スイッチ、９０：記録媒体、１００：デジタルビデオカメラ、１０１：絞り、１０３：撮像レンズ、２０１：露出情報取得部、２０２：階調変換特性設定部、２０３，８０３：ゲイン部、２０４，８０４：ＷＢ補正部、２０５，８０５，：マトリクス演算部、２０６，８０６：階調変換部、８０７：ＲＡＷゲイン部、８０８：ＲＡＷ階調変換部

Claims (16)

1. 撮像素子から出力された画像信号の露出情報を取得する取得手段と、
   前記露出情報に基づいて、前記画像信号にゲインをかける処理を含む信号処理を行う信号処理手段と、
   前記露出情報と前記ゲインと視覚特性とに基づいて階調変換特性を設定する設定手段と、
   前記信号処理手段により信号処理された画像信号を前記階調変換特性を利用して階調変換を行う階調変換手段と、を有し、
   前記視覚特性は、輝度に応じて異なる、人間が認識可能な最小の輝度の変化量であって、
   前記設定手段は、各輝度に対して、前記信号処理手段により信号処理された画像信号を表現する１ビット深度あたりの輝度の変化量の割合を示す第１の関数と、前記人間が認識可能な最小の輝度の変化量の割合を示す第２の関数との交点を求め、該交点に基づいて、前記階調変換特性を設定することを特徴とする画像処理装置。
2. 撮像素子から出力された画像信号の露出情報を取得する取得手段と、
   前記露出情報に基づいて、前記画像信号にゲインをかける処理を含む信号処理を行う信号処理手段と、
   前記露出情報と前記ゲインと視覚特性とに基づいて階調変換特性を設定する設定手段と、
   前記撮像素子から出力された画像信号を前記階調変換特性を利用して階調変換を行う階調変換手段と、を有し、
   前記視覚特性は、輝度に応じて異なる、人間が認識可能な最小の輝度の変化量であって、
   前記設定手段は、各輝度に対して、前記信号処理手段により信号処理された画像信号を表現する１ビット深度あたりの輝度の変化量の割合を示す第１の関数と、前記人間が認識可能な最小の輝度の変化量の割合を示す第２の関数との交点を求め、該交点に基づいて、前記階調変換特性を設定することを特徴とする画像処理装置。
3. 前記信号処理手段により信号処理された画像信号を表示する表示手段と、
   前記階調変換手段により階調変換された画像信号を記録する記録手段と
   を更に有することを特徴とする請求項２に記載の画像処理装置。
4. 前記設定手段は、前記交点までの輝度に対応する前記階調変換特性が、入力した符号値と出力される符号値とが同じ符号値となる特性とし、前記交点より高い輝度に対応する前記階調変換特性が、変換前の符号値全体を変換後の符号値により階調表現可能な特性であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記階調変換特性は、前記交点の輝度に対応する符号値を接合点とする線形特性部分と非線形特性部分とを有することを特徴とする請求項４に記載の画像処理装置。
6. 前記信号処理手段は、前記撮像素子から出力された画像信号に一律のゲインをかけるゲイン手段を含み、
   前記設定手段は、前記信号処理手段による信号処理前の画像信号のビット深度と、前記ゲインを用いて、前記信号処理手段により信号処理された画像信号のビット深度を求めることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 画像信号は、複数の色の信号を含み、
   前記信号処理手段は、更に、ホワイトバランス補正を行う補正手段を含み、
   前記設定手段は、前記補正手段により補正された前記複数の色の信号にかけたゲインと当該ゲインの画像信号の輝度に対する寄与率とに基づいて得られた値を更に用いて、前記信号処理手段により信号処理された画像信号のビット深度を求めることを特徴とする請求項６に記載の画像処理装置。
8. 前記交点の輝度を、前記第１の関数と前記第２の関数の交点の座標を求めることにより、求めることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記交点の輝度を、解析的に求めることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
10. 前記撮像素子から出力された画像信号の符号値と、画像表示装置により表示される絶対輝度値とを関連付けて表示されることを想定した第１のモードと、関連付けずに出力されることを想定した第２のモードとを有し、前記第１のモードにおいて、前記設定手段による前記階調変換特性の設定を行うことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記露出情報は、絞り、感度、露光時間、減光フィルタの濃度のうち、少なくともいずれか１つを含むことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 撮像素子と、
    請求項１乃至１１のいずれか１項に記載の画像処理装置と
    を有することを特徴とする撮像装置。
13. 取得手段が、撮像素子から出力された画像信号の露出情報を取得する取得工程と、
    信号処理手段が、前記露出情報に基づいて、前記画像信号にゲインをかける処理を含む信号処理を行う信号処理工程と、
    設定手段が、前記露出情報と前記ゲインと視覚特性とに基づいて階調変換特性を設定する設定工程と、
    階調変換手段が、前記信号処理工程で信号処理された画像信号を前記階調変換特性を利用して階調変換を行う階調変換工程と、を有し、
    前記視覚特性は、輝度に応じて異なる、人間が認識可能な最小の輝度の変化量であって、
    前記設定工程では、各輝度に対して、前記信号処理工程で信号処理された画像信号を表現する１ビット深度あたりの輝度の変化量の割合を示す第１の関数と、前記人間が認識可能な最小の輝度の変化量の割合を示す第２の関数との交点を求め、該交点に基づいて、前記階調変換特性を設定することを特徴とする画像処理方法。
14. 取得手段が、撮像素子から出力された画像信号の露出情報を取得する取得工程と、
    信号処理手段が、前記露出情報に基づいて、前記画像信号にゲインをかける処理を含む信号処理を行う信号処理工程と、
    設定手段が、前記露出情報と前記ゲインと視覚特性とに基づいて階調変換特性を設定する設定工程と、
    階調変換手段が、前記撮像素子から出力された画像信号を前記階調変換特性を利用して階調変換を行う階調変換工程と、を有し、
    前記視覚特性は、輝度に応じて異なる、人間が認識可能な最小の輝度の変化量であって、
    前記設定工程では、各輝度に対して、前記信号処理工程で信号処理された画像信号を表現する１ビット深度あたりの輝度の変化量の割合を示す第１の関数と、前記人間が認識可能な最小の輝度の変化量の割合を示す第２の関数との交点を求め、該交点に基づいて、前記階調変換特性を設定することを特徴とする画像処理装置。
15. コンピュータを、請求項１乃至１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
16. 請求項１５に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images