JP2019047365A

JP2019047365A - 画像処理装置、画像処理装置の制御方法、撮像装置、プログラム

Info

Publication number: JP2019047365A
Application number: JP2017169283A
Authority: JP
Inventors: 将司上原; Masashi Uehara
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-09-04
Filing date: 2017-09-04
Publication date: 2019-03-22

Abstract

【課題】適応的にダイナミックレンジ拡張された画像を出力すること。【解決手段】撮像装置は、撮像光学系の射出瞳における異なる瞳部分領域からの光を受光する複数の光電変換部により、視差を有する視差画像データを取得する。画像処理部２４は視差画像データを用いてダイナミックレンジ（ＤＲ）拡張処理を行う。入力部１２００には視差画像データが入力され、判定部１２０３は画像の明るさ情報と被写体の顔情報と画像に関連する距離情報に基づき、シーンに応じて露出合成処理またはトーンマッピング処理を選択する。判定部１２０３の判定結果にしたがって、合成ＨＤＲ部１２０１は露出合成処理によるＤＲ拡張を行い、トーンマッピングＨＤＲ部１２０２はトーンマッピング処理によるＤＲ拡張を行う。【選択図】図１４

Description

本発明は、画像のダイナミックレンジ拡張処理の技術に関する。

瞳分割型撮像素子等により取得される瞳分割画像は、複数の視点で撮影された画像と等価であるため、多視点画像として扱うことで、より多くの情報を得ることができる。一方で、ダイナミックレンジ（以下、ＤＲとも記す）拡張と呼ばれる技術では、同一被写体を複数の露出状態で撮影した画像が用いられる。例えば、基準となる適正露出と、基準よりも明るい露出や、基準よりも暗い露出等で取得される画像のデータを合成することで、撮像素子のダイナミックレンジでは表現できない画像を生成できる。

特許文献１や特許文献２には、瞳分割画像を低露出の画像としてＤＲ拡張処理に利用する方法が開示されている。複数の撮像装置を用いることなく、また撮影条件を変更して複数回の撮影を行う必要がなく、１回の撮影で瞳分割画像を取得して簡単にＤＲ拡張を行うことができる。

特開２０１５−１４４４１６号公報特開２０１６−５８９９３号公報

しかしながら、特許文献１および２に記載の技術では、シーンに応じてＤＲ拡張の処理方法を選択することができない。その結果、適切な処理方法を選択することができない場合に不自然な画像が出力される可能性がある。
本発明は、適応的にダイナミックレンジ拡張された画像を出力することを目的とする。

本発明の実施形態の装置は、視差を有する複数の画像データを取得する取得手段と、露出合成処理を行う第１の画像処理手段と、トーンマッピング処理を行う第２の画像処理手段と、取得された前記画像データに対して、前記第１および第２の画像処理手段のうち、どちらによってダイナミックレンジ拡張処理を行うかを決定する決定手段と、前記第１または第２の画像処理手段により処理された画像データを出力する出力手段と、を備える。

本発明によれば、適応的にダイナミックレンジ拡張された画像を出力することができる。

本実施形態の撮像装置の概観を示す斜視図である。本実施形態の撮像装置の構成例を示すブロック図である。本実施形態における画素配列の概略を示す図である。本実施形態の画像処理部の構成を示すブロック図である。本実施形態の撮像装置の動作を説明するフローチャートである。本実施形態における画像ファイルの構造を説明する模式図である。瞳強度分布と撮像素子の入射角感度特性を説明する図である。シェーディング特性の説明図である。画素位置と画素値との関係を説明する図である。シェーディング補正係数の説明図である。本実施形態におけるＤＲ拡張部の動作を説明する図である。本実施形態における画像処理の操作画面例を示す図である。本実施形態における操作画面の表示制御のフローチャートである。本実施形態におけるＤＲ拡張部の概要を示すブロック図である。第１実施例の露出合成処理のフローチャートである。第１実施例のトーンマッピング処理のフローチャートである。第１実施例のＤＲ拡張処理における判定処理のフローチャートである。第２実施例のＤＲ拡張処理における判定処理のフローチャートである。

以下に、本発明の実施形態について、添付図面を参照して詳細に説明する。本実施形態の画像処理装置は、シーンに応じて適切なＤＲ拡張の処理方法を選択する。ＤＲ拡張処理において、出力のダイナミックレンジとしてＤＲ拡張後の広いレンジを利用できる場合には拡張されたダイナミックレンジがそのまま出力される。しかし、出力のダイナミックレンジは、実際のファイルフォーマットやディスプレイの規格等の制約を受けるため、拡張されたダイナミックレンジよりも狭くなる。つまり、ＤＲ拡張を行う過程で、出力のレンジに収まるようにＤＲ処理を行う必要がある。本実施形態では、出力ＤＲを限られた範囲に収めるために、２種類のＤＲ拡張処理方法を用いる例を説明する。

第１の処理方法は、ローカルトーンマッピングまたは露出合成等と呼ばれる方法である。これは、基準となる画像で表現しきれない領域、例えば黒つぶれした領域や、白飛びした領域を中心に、これらの画像領域のデータを部分的に他の露出の画像のデータで置き換える方法である。画像を部分的に調整するために、画像全体のコントラストや印象を大きく変えることなく合成できるが、この方法は部分的に画像を変化させてしまうために、画像内の総体的な露出の関係が崩れる可能性がある。被写体の顔等のオブジェクト全体が暗いか、または明るい場合には自然な画像に合成できる反面、顔等のオブジェクトの部分的な領域のみについて合成処理を行うと、不自然な画像が出力される可能性がある。

第２の処理方法はトーンマッピングと呼ばれる方法である。まず露出の異なる複数の画像を、広いダイナミックレンジで合成する処理が行われ、処理結果の画像に対して出力の狭いレンジに収まるように全体を圧縮する処理が行われる。画像全体に亘って広いダイナミックレンジの画像が一度生成されるため、領域ごとの露出の相対関係が崩れることはない反面、ＤＲ圧縮によって画像全体のコントラストが低下する可能性がある。

以下では、本発明の好適な実施形態として、画像処理装置を撮像装置に適用した例を説明するが、ＤＲ拡張処理を行う各種装置に適用可能である。各種装置とは、パーソナルコンピュータやＰＤＡ等の情報処理装置、携帯電話端末や画像ビューワ等の携帯型電子機器、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダー等である。

撮像装置の一例としてのデジタルカメラ（以下、単にカメラという）１００の外観図を図１に示す。図１（Ａ）はカメラ１００の前面斜視図であり、図１（Ｂ）はカメラ１００の背面斜視図である。

表示部２８はカメラ本体部の背面に設けられ、撮影画像や各種情報を表示する。ファインダ１６は、ユーザがフォーカシングスクリーンを観察することで、レンズ装置を通して得た被写体の光学像の焦点や構図の確認を行うために設けられた、覗き込み型の接眼ファインダである。ファインダ外液晶表示部４３はカメラ本体部の上面に設けられ、シャッタ速度や絞り値等の様々な設定値を表示する。

モード切替スイッチ６０は各種モードを切り替えるための操作部材であり、シャッタボタン６１は撮影指示を行うための操作部材である。メイン電子ダイヤル７１は回転操作部材であり、ユーザは回転操作により、シャッタ速度や絞り値等の設定値を変更できる。電源スイッチ７２はカメラ１００の電源のＯＮとＯＦＦを切り替える操作部材である。サブ電子ダイヤル７３は回転操作部材であり、選択枠の移動や画像送り等を行う際に使用される。十字キー７４は４方向キーを有し、押された部分に応じた操作が可能である。その他にＳＥＴボタン７５、ライブビュー（ＬＶ）ボタン７６、画像拡大ボタン７７、画像縮小ボタン７８がある。再生ボタン７９は撮影モードと再生モードとを切り替える操作ボタンであり、再生モードに移行すると、後述の記録媒体に記録された画像のうちで最新の画像が表示部２８の画面に表示される。

端子カバー４０は、外部機器との接続ケーブルをカメラ１００と接続するコネクタ（不図示）を保護する部材である。ミラー１２はクイックリターンミラーであり、不図示のアクチュエータによりアップダウン動作が行われる。通信端子１０はカメラ本体部にレンズ装置が装着された状態にて両者の間で通信を行うための端子である。蓋２０２は記録媒体を格納するスロット部の開閉蓋である。グリップ部９０は、ユーザがカメラ１００を構える際に右手で握りやすい形状の保持部である。

図２は、カメラ１００の構成例を示すブロック図である。レンズユニット１５０をカメラ本体部に装着して使用する形態を例示する。レンズユニット１５０による撮像光学系は複数枚のレンズから構成されるが、図には一枚のレンズ１０３のみ示す。通信端子６はレンズユニット１５０がカメラ本体部と通信するための端子であり、通信端子１０はカメラ本体部がレンズユニット１５０と通信するための端子である。レンズユニット１５０は、通信端子６，１０を介してシステム制御部５０と通信する。レンズシステム制御回路４は、絞り駆動回路２を介して絞り１の制御を行い、ＡＦ（オートフォーカス）駆動回路３を介して、レンズ１０３を移動させて焦点調節の制御を行う。

ミラー１２は、露光、ライブビュー撮影、動画撮影の際にシステム制御部５０からの指令にしたがってアップダウン動作する。ミラー１２によって、レンズユニット１５０を通過した光束をファインダ１６側と撮像部２２側とに切り替えることができる。ミラー１２は通常時にファインダ１６へ光束を導く位置に配されるが、撮影が行われる場合やライブビュー表示の場合には、撮像部２２へと光束を導くように跳ね上がって待避する。またミラー１２は、その中央部が光の一部を透過するハーフミラーとなっており、光束の一部が焦点検出部１１に入射する。焦点検出部１１は焦点検出処理を行ってデフォーカス量情報をシステム制御部５０に出力する。システム制御部５０はデフォーカス量情報に基づいて位相差ＡＦ処理を行い、レンズユニット１５０の焦点調節を制御する。

ダウン状態のミラー１２で反射された光は、フォーカシングスクリーン１３、ペンタプリズム１４、ファインダ１６へ導かれる。撮影者は、ペンタプリズム１４とファインダ１６を介して、フォーカシングスクリーン１３を観察することで、レンズユニット１５０を通して得た被写体の光学像の焦点や構図を確認できる。ＡＥ（自動露出）センサ１７は、２次元配列された光電変換素子で構成され、レンズユニット１５０を通して被写体の輝度を測定する。例えばＡＥセンサ１７はＢａｙｅｒ配列のＲ（ＩＲ）ＧＢ画素を有し、測色や被写体検出、測距等を行う。

シャッタ１０１は、システム制御部５０の制御指令にしたがって、撮像部２２の露光時間を制御可能なフォーカルプレーンシャッタである。撮像部２２は撮像素子を備え、結像された光学像を電気信号に変換する。撮像素子はＣＣＤ（電荷結合素子）やＣＭＯＳ（相補型金属酸化膜半導体）素子等を用いたイメージセンサである。例えば、撮像素子は、複数のマイクロレンズと、各マイクロレンズに対応する複数の光電変換部を有する画素構成の瞳分割型撮像素子である。各マイクロレンズ下の複数の光電変換部は、レンズ１０３を含む撮像光学系の射出瞳における異なる瞳部分領域からの光束をそれぞれ受光する。これにより各光電変換部により取得される信号は互いに視差を有する、異なる視点で撮像された信号となる。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換する。

画像処理部２４は、システム制御部５０の制御指令にしたがって所定の処理を行う。所定の処理とは、Ａ／Ｄ変換器２３からのデータ、または、メモリ制御部１５からのデータに対する、各種の補正処理、現像処理、色変換処理、符号化および圧縮処理等である。本実施形態の現像処理はデモザイキング処理、ＷＢ（ホワイトバランス）補正処理、ガンマ補正処理等の少なくとも一部を含む処理である。現像処理が行われていない画像データをＲＡＷデータとする。また、画像処理部２４は、撮像素子の光電変換部から得られた視点の異なる複数の画像（視点画像）のデータを用いて画像処理を行う。画像処理部２４は、複数の視点画像の視差情報を利用したリフォーカス処理、視点変更処理、明るさの違いを利用したハイダイナミックレンジ（以下、ＨＤＲと略記する）処理を行う。

さらに、画像処理部２４は複数の視点画像間の位相差に基づいて像ずれ量を算出する。算出された像ずれ量は画像内の被写体の、奥行き方向の相対的な位置関係を示す深度情報に相当する。必要に応じて像ずれ量に対し、撮像素子やレンズ１０３に起因する係数（Ｋ値）を用いてデフォーカス量、さらには被写体距離等の深度情報に換算することができる。画像処理部２４が利用する深度情報としてはこれに限らず、別の手段で生成または取得された深度情報を用いて各種画像処理を行ってもよい。

また、画像処理部２４は、撮像された画像データを用いて所定の演算処理を行う。得られた演算結果に基づいてシステム制御部５０が露光制御や測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ処理、ＡＥ処理、ＥＦ（フラッシュプリ発光）、ＡＷＢ（オートホワイトバランス）処理が行われる。

メモリ制御部１５は、Ａ／Ｄ変換器２３からの出力データ、または画像処理部２４が処理したデータをメモリ３２に記憶する処理を行う。メモリ３２は、Ａ／Ｄ変換器２３によるデジタルデータや、表示部２８に表示するための画像データを格納する。メモリ３２は画像表示用のビデオメモリを兼ねている。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を有する。Ｄ／Ａ変換器１９は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に出力する。メモリ３２に書き込まれた表示用の画像データはメモリ制御部１５によって読み出され、Ｄ／Ａ変換器１９を介して表示部２８の画面に表示される。表示部２８は、液晶表示パネル等の表示デバイスを備え、Ｄ／Ａ変換器１９からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換されてメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１９がアナログ信号へ変換し、表示部２８に逐次転送して表示することで、電子ビューファインダ機能が実現され、スルー画像表示（ライブビュー表示）が行われる。

ファインダ内液晶表示部４１は、フォーカシングスクリーン１３とペンタプリズム１４との間に配置され、ファインダ内表示部駆動回路４２により、ＡＦ枠（焦点検出枠）やカメラの設定状態を表すアイコン等を表示する。ファインダ外液晶表示部４３には、ファインダ外表示部駆動回路４４を介して、シャッタ速度や絞り等の設定値が表示される。

不揮発性メモリ５６は、電気的に消去および記憶可能なメモリであり、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。プログラムとは、本実施形態にて後述する各種フローチャートの処理を実行するためのプログラムのことである。

システム制御部５０はＣＰＵ（中央演算処理装置）を備え、カメラシステム全体を制御する。ＣＰＵは不揮発性メモリ５６に記憶されたプログラムを実行することで、本実施形態の各処理を実現する。システムメモリ５２にはＲＡＭ（Random Access Memory）が用いられる。システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等がシステムメモリ５２に展開される。システムタイマ５３は各種制御に用いる時間を計測する計時部である

ユーザは各種の操作部材を用いてシステム制御部５０への指示が可能であり、図２ではモード切替スイッチ６０、シャッタボタン６１、第１シャッタスイッチ６２および第２シャッタスイッチ６４を示す。モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画撮影モード、再生モード等に切り替えるためのスイッチである。第１シャッタスイッチ６２は、シャッタボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり、第１シャッタスイッチ信号ＳＷ１を発生する。ＳＷ１により、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等が開始する。第２シャッタスイッチ６４は、シャッタボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタスイッチ信号ＳＷ２を発生する。ＳＷ２により、一連の撮影動作が開始する。つまりシステム制御部５０は、撮像部２２の信号を読み出して記録媒体に画像データを書き込むまでの一連の撮影処理を開始する。

操作部７０は、表示部２８に表示される種々の機能アイコンや操作オブジェクト等を含む。例えば、メニュー画面が表示部２８に表示され、ユーザは表示部２８に表示されたメニュー画面を見ながら、十字キー７４の４方向キーとＳＥＴボタン７５を用いて各種設定を行うことができる。電源スイッチ７２は、ユーザがカメラ電源のオン・オフ操作に使用する。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池装着の有無、電池の種類、電池の残量を検出する。電源部３０は、一次電池または二次電池、ＡＣアダプタ等からなる。電源制御部８０はシステム制御部５０からの指令にしたがってＤＣ−ＤＣコンバータを制御し、記録媒体２００を含む各部へ電源供給を行う。

記録媒体Ｉ／Ｆ部１８は、メモリカードやハードディスク等の記録媒体２００とのインタフェース部である。撮影された画像データ等は記録媒体Ｉ／Ｆ部１８を介して記録媒体２００に記録される。また記録媒体２００に記録されたデータは、記録媒体Ｉ／Ｆ部１８を介してメモリ３２に格納される。

通信部５４は、無線通信または有線ケーブルによって映像信号や音声信号の送受信を行う。通信部５４は無線ＬＡＮ（Local Area Network）やインターネットと接続可能である。通信部５４は撮像部２２による撮像画像データや、記録媒体２００に記録された画像データを送信可能であり、また、外部機器から画像データ等の各種情報を受信可能である。

姿勢検知部５５は加速度センサやジャイロセンサ等を有し、重力方向に対するカメラ１００の姿勢を検知する。システム制御部５０は姿勢検知部５５により検知された姿勢に基づいて、ユーザがカメラを横に構えて撮影したのか、またはカメラを縦に構えて撮影したのかを判別する。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を画像ファイルに付加し、あるいは画像を回転して記録する処理を行う。

図３は、瞳分割型撮像素子における画素の配置例を模式的に示す図である。図３の紙面に垂直な方向をｚ方向とし、ｚ方向に直交する横方向（左右方向）をｘ方向とし、ｘ方向およびｚ方向に直交する縦方向（上下方向）をｙ方向と定義する。図３では、画素がｘ方向に４画素でｙ方向に４画素配列された領域を代表的に示している。

瞳分割型撮像素子は、撮影光学系の瞳領域を瞳分割方向に分割して、異なる瞳部分領域をそれぞれ通過した光束に基づく信号から複数の画像信号を生成可能である。具体的には、各画素の光電変換部が水平方向（瞳分割方向）に２分割されており、各光電変換部が副画素部として機能する。図３は、副画素部がｘ方向に８画素でｙ方向に４画素配列された領域を例示する。

図３の左上の２行２列の画素群２１０は、撮像素子に設けられた原色ベイヤー配列のカラーフィルタの繰り返し単位に対応している。従って、Ｒ（赤）の分光感度を有する画素２１０Ｒが左上に、Ｇ（緑）の分光感度を有する画素２１０Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２１０Ｂが右下に配置されている。また図３の右上の画素に代表的に示すように、各画素は、ｘ方向にて２つに等分割された光電変換部を有する。左半分の光電変換部を第１副画素部２１１、右半分の光電変換部を第２副画素部２１２として利用可能である。

第１副画素部２１１から取得される画像と、第２副画素部２１２から取得される画像とが、１組の視点画像を構成する。したがって、１回の撮影によって２つの視点画像データを生成することができる。また、各画素の第１副画素部２１１と第２副画素部２１２で得られる信号を加算することで、加算信号を瞳分割がなされていない１つの通常画素の画素信号として利用することができる。

本実施形態では、各マイクロレンズに対応する各画素の回路が、瞳分割された複数の光電変換部で共通の電荷蓄積部（フローティングデフュージョン部：ＦＤ部）を有する。ＦＤ部への電荷の転送と、ＦＤ部の電荷のリセットを制御することにより、各副画素部からの電荷に基づく画素信号および各副画素部からの電荷が混合されて出力された画素信号が出力可能である。各副画素部に入射される異なる瞳部分領域を通過した光束に基づく光学像をＡ像、Ｂ像と呼び、各光学像に基づく信号（電荷）をＡ像信号、Ｂ像信号という。また各副画素部からの信号が混合された信号を（Ａ＋Ｂ）像信号という。（Ａ＋Ｂ）像は分割されていない光電変換部によって取得される画像に相当する。

本実施形態では、通常の撮影モードにて、撮像時に（Ａ＋Ｂ）像信号のみを読み出す。多視点撮影モードでは、（Ａ＋Ｂ）像信号に加えてＡ像信号が読み出される。各撮影モードでの記録処理では、読み出された各画像信号に対応する画像データが記録されるものとする。なお、各画素における光電変換部については２分割に限らず、４分割、９分割等、任意の分割が可能である。

次に図４および図５を参照して、カメラ１００の撮影動作について、画像処理部２４の動作を中心に説明する。図４は画像処理部２４の構成を示すブロック図である。画像処理部２４は、可逆圧縮処理部２４１、非可逆圧縮処理部２４２、現像処理部２４３、アンダー露出画像入力部２４４、適正露出画像入力部２４５、シェーディング補正部２４６、ＤＲ拡張部２４７を備える。図５に示す処理は、システム制御部５０が撮影開始指示（例えば第２シャッタスイッチ６４のオン）を検知したことによって開始される。システム制御部５０は撮影準備処理で決定した露出条件に従って、絞り１およびシャッタ１０１の動作を制御し、撮像部２２の露光が行われる。

図５のＳ１０１で画像処理部２４は、システム制御部５０を通じて撮像部２２から（Ａ＋Ｂ）像とＡ像のデータを取得する。次のＳ１１０と、Ｓ１２０およびＳ１２１と、Ｓ１３０の各処理は並列処理として実行される。尚、メモリ３２の空き状況や、画像処理部２４の処理速度等に応じて、少なくとも一部を順序処理してもよい。

Ｓ１１０で可逆圧縮処理部２４１は、（Ａ＋Ｂ）像に対して可逆圧縮処理を行って可逆圧縮画像データを生成する。可逆圧縮画像データはメモリ制御部１５を介してメモリ３２に記憶される。また、Ｓ１２０で現像処理部２４３は、（Ａ＋Ｂ）像に対して現像処理を行い、現像処理されたデータはメモリ制御部１５を介してメモリ３２に記憶される。

Ｓ１２１で非可逆圧縮処理部２４２は、Ｓ１２０でメモリ３２に記憶された現像処理後の（Ａ＋Ｂ）像に対して非可逆圧縮処理を行う。非可逆圧縮画像データが生成されるとともに、非可逆圧縮画像を縮小したサムネイル画像のデータが生成される。ここでは、非可逆圧縮画像を表示用画像とする。非可逆圧縮画像（表示用画像）とサムネイル画像の各データはメモリ制御部１５を介してメモリ３２に記憶される。

Ｓ１３０で可逆圧縮処理部２４１は、Ａ像に対して可逆圧縮処理を行い、可逆圧縮画像データを生成する。生成されたデータはメモリ制御部１５を介してメモリ３２に記憶される。Ｓ１１０、Ｓ１２１、Ｓ１３０の処理が完了すると、Ｓ１４０に処理を進めて、画像処理部２４は画像ファイルを生成する。画像処理部２４は、（Ａ＋Ｂ）像とＡ像の可逆圧縮画像、表示用画像、サムネイル画像の各データをメモリ３２から読み出して画像ファイルを生成する。次のＳ１４１で画像処理部２４は、生成された画像ファイルを記録媒体２００に保存し、撮影処理を終了する。

図６を参照して、画像ファイルの構成を説明する。図６（Ａ）は画像ファイル１０００の概念図である。１つのファイルに複数ページの画像データを格納したマルチページファイルに対応したファイルフォーマットの一例としてのＴＩＦＦ（ＴａｇｇｅｄＩｍａｇｅＦｉｌｅＦｏｒｍａｔ）形式に準拠した画像ファイルの構造例を示す。画像ファイル１０００は、ＴＩＦＦヘッダ部１００１、複数のＩＦＤ（ＩｍａｇｅＦｉｌｅＤｉｒｅｃｔｏｒｙ）部１００２〜１００５、複数の画像データ部１００６〜１００９で構成される。

ＴＩＦＦヘッダ部１００１は、ＴＩＦＦ形式のファイル構造であることを識別するためのデータや、最初のＩＦＤ部へのオフセット等を格納する領域である。ＩＦＤ部１００２〜１００５は、各画像データ部１００６〜１００９に格納される画像データに関連する付帯情報を格納する領域である。付帯情報とは、撮影情報やパラメータ等のメタデータＡ〜Ｄと、画像データ部１００６〜１００９までのオフセット値Ｅ〜Ｈ、次のＩＦＤ部へのオフセット等である。最後のＩＦＤ部には、次のＩＦＤ部が存在しないことを示す特定のオフセット値が格納される。メタデータＡ〜Ｄは、対応する画像データ部に格納されている画像データのサイズ（縦横の画素数）と、縮小画像であるかどうかの情報と、画像データがＡ像、Ｂ像、（Ａ＋Ｂ）像のうちのどの光学像に基づく画像信号に対応するかの情報を含む。従って、画像ファイル１０００を用いた処理を行う装置は、ＩＦＤ部１００２〜１００５を参照することで、画像データ群から用途に応じた適切な画像データを読み出すことができる。

変数Ｘ＝０〜Ｎとして、ＸｔｈＩＦＤ部はＸｔｈ画像データ部に対応する。例えば、０ｔｈＩＦＤ部１００２は、０ｔｈ画像データ部１００６に対応した領域である。ＩＦＤ部１００２〜１００５のオフセット値Ｅ〜Ｈにより画像ファイル１０００内の各画像データの開始位置が特定される。

図６（Ｂ）は、画像処理部２４が生成する画像ファイル１１００の構造例を示す図である。撮影時に生成された非可逆圧縮画像（表示用画像）、サムネイル画像、（Ａ＋Ｂ）像の可逆圧縮画像、Ａ像の可逆圧縮画像を格納する画像ファイルを、ＴＩＦＦ形式で生成した場合の構造例を示す。

画像ファイル１１００はＴＩＦＦヘッダ部１１０１、０ｔｈＩＦＤ部１１０２〜３ｒｄＩＦＤ部１１０５、表示用画像部１１０６、サムネイル画像部１１０７、（Ａ＋Ｂ）像部１１０８、Ａ像部１１０９で構成される。ＴＩＦＦヘッダ部１１０１はＴＩＦＦファイル構造であることを識別するためのデータを格納する領域である。

０ｔｈＩＦＤ部１１０２は、表示用画像部１１０６に関連するメタデータＡと表示用画像部１１０６までのオフセット値Ｅを格納する領域である。１ｓｔＩＦＤ部１１０３は、サムネイル画像部１１０７に関連するメタデータＢとサムネイル画像部１１０７までのオフセット値Ｆを格納する領域である。２ｎｄＩＦＤ部１１０４は、（Ａ＋Ｂ）像部１１０８に関連するメタデータＣと（Ａ＋Ｂ）像部１１０８までのオフセット値Ｇを格納する領域である。３ｒｄＩＦＤ部１１０５は、Ａ像部１１０９に関連するメタデータＤとＡ像部１１０９までのオフセット値Ｈを格納する領域である。これらオフセット値Ｅ〜Ｈにより、画像ファイル内の各画像データの開始位置を特定できる。

表示用画像部１１０６は、表示部２８に画像を表示するために、画像処理部２４により生成された表示用画像データを格納する領域である。例えば、表示用画像の形式はＪＰＥＧ（Joint Photographic Experts Group）形式である。サムネイル画像部１１０７は、表示部２８にて画像一覧画面等のインデックス表示を行う際等に使用するサムネイル画像データを格納する領域である。表示用画像に対応する縮小画像のデータを使用可能である。

（Ａ＋Ｂ）像部１１０８は、Ａ像とＢ像を加算または合成した画像であって、現像処理前のいわゆるＲＡＷ形式の（Ａ＋Ｂ）像データを格納する領域である。Ａ像部１１０９は、ＲＡＷ形式のＡ像データを格納する領域である。（Ａ＋Ｂ）像信号からＡ像信号を減算することでＢ像信号を生成できる。Ａ像信号とＢ像信号を用いてリフォーカス処理や視点変更処理、立体視画像生成処理等を行うことができる。

サムネイル画像や表示用画像といった汎用的な表示処理に用いられる現像処理後の画像データは、現像処理が必要な（Ａ＋Ｂ）像データや、視差画像を取り扱わないアプリケーションでは使用しないＡ像データよりも前に配置される。これにより、使用される可能性の高い画像データの読み出し開始までに要する時間を短縮することができる。なお、（Ａ＋Ｂ）像およびＡ像をＲＡＷ形式で格納する構成を説明したが、画像処理部２４で可逆圧縮された画像データを格納する構成としてもよい。このような構成とすることで、画像ファイルのサイズを削減可能である。また（Ａ＋Ｂ）像とＡ像の各データを画像ファイルに格納する構成について説明したが、Ａ像の代わりにＢ像のデータを記録する構成でもよい。この場合、多視点撮影モードにおいて読み出す画像信号を（Ａ＋Ｂ）像信号とＢ像信号とすればよい。

次に、２種類のＤＲ拡張方法を例示して説明する。具体的には露出合成による処理方法とトーンマッピングによる処理方法である。ここでは露出合成処理を説明し、トーンマッピング処理については後述する。

図７〜図１０を参照して、瞳分割画像ごとに瞳強度分布が異なること、およびそれに基づくシェーディング特性について説明する。図７は、センサ瞳面における瞳強度分布と撮像素子（センサ）の像面における入射角感度特性を説明するための図である。左側に瞳強度分布例を示し、中央に撮像光学系の模式図を示し、右側に入射角感度の特性例を示す。中央図において左側から順にセンサ瞳面Ｊ１０７、マイクロレンズアレイＪ１０８、画素アレイＪ１０９が配置される。撮像素子を構成する主画素Ｊ１１１は、副画素Ｊ１１０ａと副画素Ｊ１１０ｂから構成されている。図９は画素位置とこれに対応する画素値との関係をグラフで示す図である。主画素Ｊ１１１から生成される画像が（Ａ＋Ｂ）像（図９の４０１ａｂ）、副画素Ｊ１１０ａの瞳分割画像がＡ像（図９のＪ２０１ａ）、副画素Ｊ１１０ｂの瞳分割画像がＢ像（図９のＪ２０１ｂ）である。Ａ像、Ｂ像の各データは、主画素Ｊ１１１を２つに瞳分割した副画素Ｊ１１０ａまたは副画素Ｊ１１０ｂから生成されるため、（Ａ＋Ｂ）像に対して１段（１ＥＶ）アンダーの露出となる。

図７の瞳強度分布にて、Ｘ軸は画素位置を表し、瞳のケラレにより副画素Ｊ１１０ａの瞳強度分布は実線に示すグラフ線Ｊ１０１ａとなり、副画素Ｊ１１０ｂの瞳強度分布は点線で示すグラフ線Ｊ１０１ｂとなる。瞳強度分布を示すグラフ線Ｊ１０１ａ、Ｊ１０１ｂにそれぞれ対応する像面中央での入射角感度特性を、グラフ線Ｊ１０３ａ、Ｊ１０３ｂで示す。入射角感度特性は角度軸に対する感度を表す特性である。グラフ線Ｊ１０３ａは副画素Ｊ１１０ａの入射角感度特性を示し、グラフ線Ｊ１０３ｂは副画素Ｊ１１０ｂの入射角感度特性を示す。範囲Ｊ１１２は絞り等で制限される入射光の角度範囲である。像面中央では、副画素Ｊ１１０ａ、Ｊ１１０ｂに入射する光量は等しい。

また瞳強度分布を示すグラフ線Ｊ１０１ａ、Ｊ１０１ｂにそれぞれ対応する像面端での入射角感度特性を、グラフ線Ｊ１０５ａ、Ｊ１０５ｂで示す。グラフ線Ｊ１０５ａは副画素Ｊ１１０ａの入射角感度特性を示し、グラフ線Ｊ１０５ｂは副画素Ｊ１１０ｂの入射角感度特性を示す。像面端と像面中央とで結像位置が異なるので、像面端の入射角感度特性は像面中央に対して偏心したプロファイルとなる。このため像面端では、図７の場合、副画素Ｊ１１０ａに入射する光量よりも副画素Ｊ１１０ｂに入射する光量の方が多くなる。

図８は、像面上の画素位置と画素値との関係を表すシェーディング特性のグラフを例示する。横軸Ｘは像面上の画素位置を表し、縦軸は画素値を表す。図８において、グラフ線Ｊ２０１ａは副画素Ｊ１１０ａのシェーディング特性を示し、グラフ線Ｊ２０１ｂは副画素Ｊ１１０ｂのシェーディング特性を示す。図７の像面中央の位置は、図８にてＸ＝０に対応し、図７の像面端の位置は、図８にてＸ＝５００に対応する。各画像データに対し、図８のシェーディング特性の逆特性を表わすシェーディング補正係数を乗算することでシェーディング補正が行われる。図１０はシェーディング補正係数のグラフを例示する。横軸Ｘは画素位置を表し、縦軸はシェーディング補正係数値を表す。グラフ線Ｊ４０１ａはＡ像（図９のＪ２０１ａ）に適用され、グラフ線Ｊ４０１ｂはＢ像（図９のＪ２０１ｂ）に適用される。
最終的に、（Ａ＋Ｂ）像を適正露出画像（図９のグラフ線４０２）とし、Ａ像をアンダー露出画像（図９のグラフ線４０３）とし、このアンダー露出画像をシェーディング補正した補正後アンダー露出画像（図９のグラフ線４０４）が取得される。そして、適正露出画像と補正後アンダー露出画像において、像面の全面で１段分（１ＥＶ分）の露出差を得ることができるため、画像合成によりダイナミックレンジを拡張することができる。

続いて図４、図９、図１０、図１１を参照し、露出合成処理における図２の画像処理部２４の構成と動作を説明する。図１０は画素位置とこれに対応するシェーディング補正係数との関係をグラフで示す図である。図４のシェーディング補正部２４６は、図９のアンダー露出画像（グラフ線４０３）のデータに対して、図１０のシェーディング補正係数（Ｊ４０１ａ）を乗算することで、シェーディング補正を行う。分割瞳のケラレ量ムラによる明暗ムラが補正される。シェーディング補正に用いるシェーディング補正係数は図２の不揮発性メモリ５６から読み出される。アンダー露出画像入力部２４４は、副画素Ｊ１１０ａ、Ｊ１１０ｂのうち一方の画素からアンダー露出画像のデータを取得する。適正露出画像入力部２４５は、副画素Ｊ１１０ａから得られる画像データおよび副画素Ｊ１１０ｂから得られる画像データを加算した適正露出画像を取得する。

ＤＲ拡張部２４７は、補正後アンダー露出画像（図９のグラフ線４０４）と適正露出画像（図９のグラフ線４０２）とを画像合成してダイナミックレンジ拡張処理を行う。被写体の明るさに応じて、補正後アンダー露出画像（詳細には、後述のゲインアップ後アンダー露出画像）と適正露出画像との合成により、階調表現レンジの拡張された合成画像が生成される。

図１１は、ＤＲ拡張部２４７の動作の説明図である。縦軸は画素値、横軸は被写体の明るさを表す。被写体の明るさ情報は、例えばシェーディング補正後のアンダー露出画像の画素値を参照することで取得できる。グラフ線３０１は補正後アンダー露出画像を表し、グラフ線３０３は適正露出画像を表す。ＴＨ２は画素の飽和レベルに相当する。撮像素子によって明るい被写体を適正露出で撮像した場合、画素値は飽和レベルでクリップされる。ＴＨ１は、適正露出の飽和レベルに対応する被写体の明るさを示す。点線で示すグラフ線３０２は補正後アンダー露出画像（グラフ線３０１）を１段ゲインアップした後のアンダー露出画像を表す。補正後アンダー露出画像は適正露出より１段アンダーの画像であり、１段のゲインアップによって、適正露出画像（グラフ線３０３）と明るさを合わせることができる。

ＤＲ拡張部２４７は、補正後アンダー露出画像と適正露出画像を比較し、領域ごとに輝度に基づいて差分絶対値和等を利用して最も類似している位置からシフト量を算出する。位置補正部２４７ａ（図４）はシフト量を用いて位置合わせを行う。そして判定部２４７ｂは、所定の画素位置における被写体の明るさが閾値ＴＨ１以上であるか否かを判定する。判定部２４７ｂの判定結果に応じて選択部２４７ｃは、補正後アンダー露出画像（グラフ線３０１）または適正露出画像（グラフ線３０３）のいずれかを選択する。選択部２４７ｃは、被写体の明るさが閾値未満である場合に適正露出画像（グラフ線３０３）を選択し、被写体の明るさが閾値以上である場合に補正後アンダー露出画像（グラフ線３０１）を選択する。ＤＲ拡張部２４７は、選択部２４７ｃにより補正後アンダー露出画像（グラフ線３０１）が選択された場合、補正後アンダー露出画像のデータのゲインアップを行う。被写体の明るさがＴＨ１未満の画素位置では適正露出画像を出力し、それ以外の画素位置ではゲインアップ後のアンダー露出画像（グラフ線３０２）を出力することで、ＤＲ拡張された画像を出力することができる。

本法の動作手順について説明する。以下の手順に示す各処理はシステム制御部５０によって制御され、不揮発性メモリ５６内のプログラムをメモリ３２に展開してＣＰＵが実行することにより実現される。
［手順１］：ＤＲ拡張部２４７は、シェーディング補正部２４６から補正後アンダー露出画像（グラフ線３０１）を取得する。
［手順２］：ＤＲ拡張部２４７は、適正露出画像入力部２４５を介して適正露出画像（グラフ線３０３）を取得する。
［手順３］：位置補正部２４７ａは、所定の画素位置における補正後アンダー露出画像（グラフ線３０１）と適正露出画像（グラフ線３０３）に対して位置合わせを行う。
［手順４］：判定部２４７ｂは、所定の画素位置における被写体の明るさが閾値（ＴＨ１）以上であるか否かを判定する。被写体の明るさが閾値以上である場合、次の［手順５］に進み、被写体の明るさが閾値未満である場合、［手順６］に進む。
［手順５］：選択部２４７ｃは、取得された補正後アンダー露出画像および適正露出画像のうち、補正後アンダー露出画像（グラフ線３０１）を選択する。
［手順６］：選択部２４７ｃは、取得された補正後アンダー露出画像および適正露出画像のうち、適正露出画像（グラフ線３０３）を選択する。
［手順７］：ＤＲ拡張部２４７は、［手順５］または［手順６］で選択された画像データに基づいて合成画像を生成する。このとき、被写体の明るさが閾値以上の画素位置では（すなわち、選択部２４７ｃにより補正後アンダー露出画像（グラフ線３０１）が選択された場合）、補正後アンダー露出画像のゲインアップ処理が行われる。ゲインアップ後のアンダー露出画像（グラフ線３０２）が生成される。

次に図１２を参照して、ＤＲ拡張用のＵＩ（ユーザ・インタフェース）画面について説明する。図１２は、図６（Ｂ）で説明した画像データが読み込まれた後に表示部２８に表示されるＵＩ画面４０００の例を示す。操作者はＵＩ画面４０００を見ながら操作部７０を操作し、解像感調整、ボケシフト、ゴースト低減、シャープネス、ガンマ調整に関する指示を行える。

図１２の領域４００１には、読み込んだ画像の現像結果が表示される。ＵＩ画面４０００上でユーザが各種画像処理の操作を行った場合に、その処理結果が表示される。チェックボックス４００２は、ユーザが解像感補正を行うかどうかを指示するための設定用オブジェクトである。解像感補正は、瞳分割による視差を利用して行う処理でピント位置をずらす（奥から手前）ことで行われる。スライダ４００３は、ピント位置をずらす（奥から手前）量をユーザが調整するための操作用オブジェクトである。スライダ４００４は、解像感補正の強さをユーザが設定するための操作用オブジェクトである。解像感補正の強さは、視差画像から取得された距離マップを考慮してデータに乗算するシャープネス処理の強さである。

チェックボックス４００５は、ユーザがボケシフト処理を行うかどうかを指示するための設定用オブジェクトである。Ａ像信号とＢ像信号は異なる光路を通るためボケの現れ方が異なる。（Ａ＋Ｂ）像信号を生成する際に、より好ましいボケとなるようにＡ像信号とＢ像信号との割合を調整する処理が行われる。選択ボタン４００６は、領域を選択するモードに遷移するときのボケシフト領域選択用のボタンオブジェクトである。ボケシフト処理を行う領域については、画面全体が予め設定されているが、任意の領域に対して設定することもできる。そのための領域をユーザが設定する時に選択ボタン４００６が使用される。チェックボックス４００７は、ボケシフト処理が行われる領域を境界線で表示する機能の設定用オブジェクトである。これがチェック済みの場合、ボケシフトの範囲の境界線が領域４００１上に表示される。スライダ４００８は、ボケシフト処理でＡ像信号とＢ像信号のどちら側を使用するかを調整するための操作用オブジェクトである。スライダ４００８を左右に動かすことで、Ａ像信号とＢ像信号の使用割合の設定が行われる。

チェックボックス４００９は、ユーザがゴースト低減処理を行うかどうかを指定するための設定用オブジェクトである。ゴースト低減処理は、Ａ像信号とＢ像信号が異なる光路を通った信号であることを利用して、Ａ像信号とＢ像信号の差分からゴースト成分を検出して除去する処理である。選択ボタン４０１０は、領域を選択するモードに遷移するときのゴースト低減領域選択用のオブジェクトである。ゴースト低減領域については画面全体が予め設定されているが、任意の領域に対して設定することもできる。チェックボックス４０１１は、ゴースト低減処理が行われる範囲を境界線で表示する機能の設定用オブジェクトである。設定されたゴースト低減範囲の境界線が領域４００１上に表示される。

チェックボックス４０１２は、ユーザがシャープネス処理を行うかどうかを指定するための設定用オブジェクトである。スライダ４０１３は、シャープネスの強さを調整するための操作用オブジェクトである。ユーザはスライダ４０１３を操作して、画面全体のシャープネス調整を行うことができる。

チェックボックス４０１４は、ユーザがガンマ調整処理を行うかどうかを指定するための設定用オブジェクトである。ガンマ調整処理は、現像処理で行われるホワイトバランス調整にて入力画像のビット数を超えてしまうビットを現像後の画像に反映する時の調整量を設定する処理である。領域４０１５は、ガンマ調整処理に係る調整エリアである。

領域４０１５には、ヒストグラム４０１６とホワイトポイント４０１７が表示される。ヒストグラム４０１６は、（Ａ＋Ｂ）像信号の画素信号をホワイトバランス（ＷＢ）調整した結果として表示される。または副画素信号をＷＢ調整した結果によって表示する例もある。ヒストグラム４０１６のホワイトポイント４０１７が表示される。ホワイトポイントとは、（Ａ＋Ｂ）像信号のＷＢ調整結果であるＲとＧとＢの値を、ＲＡＷ画像のビット数と同じビットでクリップするポイントである。または副画素信号をＷＢ調整した結果のＲとＧとＢの値を、ＲＡＷ画像のビット数と同じビットでクリップする例もある。ホワイトポイントを右に動かす操作によって、現像時にＲＡＷ画像のビット数を超えているデータを、画像に反映させる高輝度改善処理が行われる。

図１３のフローチャートを参照して、ＵＩ画面４０００を表示部２８に表示する処理例を説明する。図１３に示す処理は、操作者が操作部７０を操作して図６（Ｂ）で説明した画像データを読み込むことで開始する。

Ｓ４０１０でシステム制御部５０はＵＩ表示の制御を行う。図１２の画面４０００、４００２から４０１５までの各設定ＵＩの表示処理が実行される。領域４００１とヒストグラム４０１６とホワイトポイント４０１７は、後述する処理で表示される。Ｓ４０２０でシステム制御部５０は（Ａ＋Ｂ）像信号の画素信号のＷＢ調整を行う。Ｓ４０３０でシステム制御部５０は、Ｓ４０２０でＷＢ調整された信号からＲ，Ｇ，Ｂの各出力値を取得する。Ｓ４０４０でシステム制御部５０は、副画素信号のＷＢ調整を行う。Ｓ４０５０でシステム制御部５０は、Ｓ４０４０でＷＢ調整された信号からＲ，Ｇ，Ｂの各出力値を取得する。

Ｓ４０６０でシステム制御部５０は、ヒストグラム４０１６の作成および表示処理を実行する。ヒストグラム４０１６は、Ｓ４０３０で取得された（Ａ＋Ｂ）像信号のＷＢ調整後のデータ、または、Ｓ４０５０で取得された副画素信号のＷＢ調整後のデータを使用して生成することができる。あるいは、２つの処理で算出されるデータの最大値を表示する方法でもよい。副画素信号から生成されるヒストグラムは、（Ａ＋Ｂ）像信号の場合と比べて開口率が異なるので、開口率を考慮してゲインアップ処理が行われる。

Ｓ４０７０でシステム制御部５０は、現像された画像の表示に対応したホワイトポイント４０１７の位置を算出して描画処理を行う。Ｓ４０８０でシステム制御部５０は、現像後の画像を領域４００１内に表示させる処理を行う。

［第１実施例］
図１４から図１７を参照して、本発明の第１実施例を説明する。本実施例では、画像の明るさ情報と顔領域の情報を用いてＤＲ拡張処理の選択を行う例を詳述する。尚、明るさや顔領域の検出方法は周知であるため、それらの説明を省略する。

図１４は本実施例における代表的な画像処理装置の構成図である。入力部１２００は、ＤＲ拡張処理に必要な画像データを取得する。本実施例では、（Ａ＋Ｂ）像とＡ像の画像データが入力される。一般的なＨＤＲ合成処理では、複数の露出条件で撮影された画像を用いる事が多い。そのため、分割数が３以上の場合、例えば４分割された光電変換部を有する撮像素子であっても、基本的な原理は同様である。また入力部１２００には、画像データとともに撮影時に取得したメタデータも入力される。特に、複数の露出条件で撮影された画像を扱う場合、各画像の露出が、基準となる画像の露出とどのくらい異なるのかを示す情報が合成に必要である。後述する判定処理に用いる明るさ情報や顔情報等について本実施例では、画像データから抽出する構成である。これらの情報を撮像時に撮像装置で検出しておき、メタデータとして読み込むことで、判定処理の高速化や効率化を図ることができる。

合成ＨＤＲ部１２０１は、露出合成処理によりＨＤＲ処理を行い、トーンマッピングＨＤＲ部１２０２は、トーンマッピング処理によりＨＤＲ処理を行う。どちらの処理を適用するかを判定部１２０３が判定結果にしたがって決定する。出力部１２０４はいずれかのＨＤＲ処理が施された画像データを出力する。

図１５のフローチャートを参照して、合成ＨＤＲ部１２０１が行う露出合成処理について説明する。まずＳ５００１では露出合成を行うために画像データが入力され、Ｓ５００２でＨＤＲ処理に必要な前処理が行われる。次のＳ５００３では画像を複数の領域に分割する処理が行われる。分割された領域ごとにＳ５００４からＳ５００７の処理が行われる。つまり、各領域に対する処理が終了しない場合、Ｓ５００４の処理へ進み、すべての領域に対する処理が完了した場合にはＳ５００８の処理に進む。

Ｓ５００４では、領域ごとの明るさ情報が取得された後、次のＳ５００５では画像内における被写体の顔領域の情報が取得される。Ｓ５００６で合成ＨＤＲ部１２０１は、現在注目している領域に処理対象となる画素が存在するか否かを判断する。判断結果として、処理対象の画素に、例えば白飛びのような、あらかじめ決められた閾値を超える画素等が存在する場合、Ｓ５００７の処理へ進む。そのような画素が存在しない場合にはＳ５００３へ処理を戻す。Ｓ５００７で合成ＨＤＲ部１２０１は、対象画素およびその周辺画素に対してローカルトーンマッピング処理を適用する。そしてＳ５００３へ戻って、次の領域に対する処理が続行される。全ての領域に対して処理が行われた後、Ｓ５００８に進み、必要なＨＤＲの後処理が実行されて、一連の処理を終了する。

次に図１６を参照して、トーンマッピングＨＤＲ部１２０２が行う処理について説明する。Ｓ５１０１では、トーンマッピング処理を行うために画像データが入力され、次のＳ５１０２でＨＤＲの前処理が行われる。そしてＳ５１０３に進み、画像全体に対してトーンマッピング処理が適用される。入力画像データから、一度広いダイナミックレンジをもつ画像の生成処理が行われ、生成後の画像データに対して、あらかじめ定められたガンマ等の方法を用いてトーンマッピング処理が行われる。その結果、入力画像データと同じダイナミックレンジに圧縮されたデータが取得される。トーンマッピング処理でレンジを圧縮する際には、ガンマ以外の処理として、例えば彩度を変える処理等のように、既にいくつもバリエーションが提案されている。本実施例において処理方法の如何は問わない。Ｓ５１０３の処理後、Ｓ５１０４に進み、ＨＤＲの後処理が実行されて、一連の処理を終了する。

図１７を参照して、判定部１２０３によって行われるＤＲ拡張の判定および選択処理について説明する。まずＳ５３０１で処理対象となる画像データが入力される。Ｓ５３０２では画像の明るさ情報が取得される。明るさ情報については、白飛びや黒つぶれ等の箇所が判定される。この判定は、あらかじめ決められた閾値を用いて行われる。対象の画素値が閾値以上であるか否かによって白飛びや黒つぶれ等の該当箇所の存否が判定される。尚、既に別の処理等で算出されている判定結果が存在する場合には、当該判定結果を読み込んで流用してもよい。Ｓ５３０３では被写体の顔領域の情報が取得される。顔領域の情報についても、明るさ情報と同様に、既に算出されている判定結果を読み込むか、または新たに画像中の顔領域の判定処理が行われる。

Ｓ５３０４で判定部１２０３は、入力情報にしたがって処理方法の判定を行う。本実施例では最も簡易な判定例を示す。例えば、顔領域の中に白飛びがあり、かつＤＲ拡張によって処理すべき領域であると判定された場合（Ｓ５３０４でＹｅｓ）、Ｓ５３０５の処理に進む。他方、顔領域の中に白飛びがないか、またはＤＲ拡張によって処理すべき領域でないと判定された場合（Ｓ５３０４でＮｏ）、Ｓ５３０６の処理に進む。

Ｓ５３０５では、トーンマッピング処理を適用することが決定され、トーンマッピングＨＤＲ部１２０２が処理を実行する。またＳ５３０６では、露出合成処理を適用することが決定され、合成ＨＤＲ部１２０１が処理を実行する。ＤＲ拡張処理を適用した後の画像データに対し、出力部１２０４は出力処理を行う。出力先についてはシステムの構成や、その時の設定等によって異なる。例えば、その他に適用すべき処理がない場合には直接メモリ上のファイルとしてデータが出力され、あるいはディスプレイ等の出力機器に対してデータが出力される。通常、ＤＲ拡張処理以外にも適用すべき画像処理は存在する。処理の順序にもよるが、各種処理が適用され、例えば、ノイズ除去や明るさ調整、覆い焼き効果のような明示的な部分補正や、周辺光量低下の補正のようなレンズ収差補正等がある。
本実施例によれば、画像の明るさ情報と被写体の顔情報に基づいてＤＲ拡張処理を選択することで、適切にＤＲ拡張された画像を出力することができる。

［第２実施例］
次に本発明の第２実施例を説明する。本実施例では、第１実施例の判定処理に加えて、多視点画像に基づき、画像中の各領域における距離情報を利用した判定処理について説明する。尚、本実施例にて第１実施例と同様の構成や動作については既に使用した符号を用いることにより、それらの詳細な説明を省略し、主に相違点を説明する。

図１８は、本実施例の判定部１２０３が行う判定および選択処理の概要を示すフローチャートである。Ｓ５４０１からＳ５４０３はそれぞれ、図１７のＳ５３０１からＳ５３０３と同じであるため、それらの詳細な説明を省略する。本実施例では、Ｓ５４０４で距離情報を取得し、明るさ情報、顔領域と併せて距離情報を加味して判定を行う。

Ｓ５４０４の距離情報は、撮像画像の奥行き方向の深度情報に相当し、多視点画像の情報から画像中の距離情報として取得される。距離マップと呼ばれる距離情報の取得方法はすでにいくつか提案されている。例えば、複数の視差画像中のエッジのズレを用いて、画像中の距離を推定する方法がある。

Ｓ５４０５では、画像中の距離情報に基づき、距離分布に応じて画像を複数の領域に分割する処理が行われる。例えば、カメラから遠い被写体（天空等）の領域と、カメラの近くに立っている人物等の被写体の領域を、画像中から判別する処理が実行される。判別結果に基づいて画像の分割処理が行われる。

Ｓ５４０６では、ＤＲ拡張処理を選択するための判定処理が行われる。判定条件は、例えば、明るさ情報から補正対象の画素が選定された後に、その対象画素が顔領域内であるか、またはＳ５４０５で分割した領域の一部に含まれていることである。この判定条件を満たす場合、Ｓ５４０７に進み、トーンマッピング処理の実行が決定され、判定条件を満たさない場合にはＳ５４０８に進み、露出合成処理の実行が決定される。
本実施例によれば、画像の明るさ情報や被写体の顔情報に加え、画像に関連する距離情報に基づいてＤＲ拡張処理を選択することで、適切にＤＲ拡張された画像を出力することができる。

本発明の実施形態によれば、シーンに応じてＨＤＲ処理を適応的に選択することが可能となり、不自然な画像が出力されることを抑制できる。尚、本実施形態にて画像処理装置が行う上述の各種制御は、１つのハードウェアで行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２４画像処理部
２４７ダイナミックレンジ拡張部
１２００入力部
１２０１合成ＨＤＲ部
１２０２トーンマッピングＨＤＲ部
１２０３判定部
１２０４出力部

Claims

視差を有する複数の画像データを取得する取得手段と、
露出合成処理を行う第１の画像処理手段と、
トーンマッピング処理を行う第２の画像処理手段と、
取得された前記画像データに対して、前記第１および第２の画像処理手段のうち、どちらによってダイナミックレンジ拡張処理を行うかを決定する決定手段と、
前記第１または第２の画像処理手段により処理された画像データを出力する出力手段と、を備える
ことを特徴とする画像処理装置。
前記決定手段は、画像の明るさ情報、被写体の顔領域の情報、画像に関連する距離情報のうち、１つ以上の情報を用いて、ダイナミックレンジ拡張を行う画像処理手段を決定する
ことを特徴とする請求項１に記載の画像処理装置。
前記決定手段は、前記明るさ情報および前記顔領域の情報を取得し、前記顔領域にて明るさが閾値以上である領域または明るさが閾値より小さい領域が存在する場合、前記第２の画像処理手段によってダイナミックレンジ拡張を行うことを決定する
ことを特徴とする請求項２に記載の画像処理装置。
前記距離情報を用いて画像を複数の領域に分割する分割手段をさらに備え、
前記決定手段は、前記明るさ情報から設定される対象画素が前記顔領域または分割された領域に存在する場合、前記第２の画像処理手段によってダイナミックレンジ拡張を行うことを決定する
ことを特徴とする請求項２に記載の画像処理装置。
前記取得手段は、撮像光学系の異なる瞳部分領域を通過した光をそれぞれ受光する複数の光電変換部によって前記視差を有する複数の画像データを取得する
ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
前記視差を有する複数の画像データは、前記複数の光電変換部のうちのいずれかにより得られる第１の画像データと、前記複数の光電変換部から得られる第２の画像データである
ことを特徴とする請求項５に記載の画像処理装置。
前記第１の画像処理手段は、被写体の明るさが閾値より小さい画素位置にて適正露出画像の画素値を出力し、被写体の明るさが閾値以上である画素位置にてゲインアップされたアンダー露出画像の画素値を出力する
ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
請求項１から７のいずれか１項に記載の画像処理装置と、
撮像素子と、を備える撮像装置。
前記撮像素子は、複数のマイクロレンズと、各マイクロレンズに対応する複数の光電変換部を備え、
前記取得手段は、前記複数の光電変換部から前記視差を有する複数の画像データを取得する
ことを特徴とする請求項８に記載の撮像装置。
視差を有する複数の画像データを処理する画像処理装置にて実行される制御方法であって、
前記複数の画像データを取得する工程と、
取得された前記画像データに対して、第１の画像処理手段が行う露出合成処理、または第２の画像処理手段が行うトーンマッピング処理のうち、どちらによってダイナミックレンジ拡張処理を行うかを決定する工程と、
前記第１または第２の画像処理手段により処理された画像データを出力する工程と、を有する
ことを特徴とする画像処理装置の制御方法。
請求項１０に記載の各工程を画像処理装置のコンピュータに実行させるためのプログラム。