JP2019068342A - 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 - Google Patents

Abstract

【課題】表示機器の表示能力に基づいてＨＤＲ画像を生成することが可能な画像処理装置を提供する。【解決手段】画像処理装置（２４）は、１つのマイクロレンズを共有して光学系の互いに異なる瞳領域を通過した光を受光する第１画素および第２画素のうち一方の画素から第１画像データを取得する第１取得手段（２４４）と、第１画素から得られる画像データおよび第２画素から得られる画像データを加算した第２画像データを取得する第２取得手段（２４５）と、表示機器の表示能力に基づいて、第１画像データと第２画像データとを合成した第１画像または第２画像データに基づく第２画像を生成する生成手段（２４３、２４７）とを有する。【選択図】図１４

Description

本発明は、表示機器の表示能力に応じてＨＤＲ画像を作成することが可能な画像処理装置に関する。

従来、露出の異なる複数の画像を合成してＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像を作成する技術がある。特許文献１には、１つのマイクロレンズに複数の画素が割り当てられた瞳分割による複数の視点の画像を撮影し、その複数の視点の画像をＨＤＲ画像に合成する方法が開示されている。特許文献２には、複数の瞳分割画像に対してシェーディング補正を行ってＨＤＲ画像を作成する方法が開示されている。ＨＤＲ画像の主なフォーマットとしては、Ｒａｄｉｌａｎｃｅ、ＯｐｅｎＥＸＲ、ＪＰＥＧ−ＨＤＲ等がある。

ところで、従来の表示機器で表示可能な画像は、ＲＧＢそれぞれ８ビットのＪＰＥＧ等の標準画像である。しかし近年、表示機器の最大輝度が高くなり、８ビットを超えるビット数を持つ画像データであるＨＤＲ画像を表示可能な表示機器が登場している。ＨＤＲ画像を表示可能な表示機器は、最大輝度が従来の表示機器の１００ｎｉｔｓを超え、１０ビット、１２ビットの画像を扱うことができる。ただし、現在のところ、ＨＤＲ画像を表示可能な機器と表示することができない機器とが混在している。

特開２０１５−１４４４１６号公報 特開２０１６−５８９９３号公報

しかしながら、特許文献１や特許文献２に開示されている方法では、表示機器の表示能力に応じてＨＤＲ画像を作成することができない。

そこで本発明は、表示機器の表示能力に基づいてＨＤＲ画像を生成することが可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することを目的とする。

本発明の一側面としての画像処理装置は、１つのマイクロレンズを共有して光学系の互いに異なる瞳領域を通過した光を受光する第１画素および第２画素のうち一方の画素から第１画像データを取得する第１取得手段と、前記第１画素から得られる画像データおよび前記第２画素から得られる画像データを加算した第２画像データを取得する第２取得手段と、表示機器の表示能力に基づいて、前記第１画像データと前記第２画像データとを合成した第１画像または前記第２画像データに基づく第２画像を生成する生成手段とを有する。

本発明の他の側面としての撮像装置は、１つのマイクロレンズを共有して光学系の互いに異なる瞳領域を通過した光を受光する第１画素および第２画素を有する撮像素子と、前記画像処理装置とを有する。

本発明の他の側面としての画像処理方法は、１つのマイクロレンズを共有して光学系の互いに異なる瞳領域を通過した光を受光する第１画素および第２画素のうち一方の画素から第１画像データを取得するステップと、前記第１画素から得られる画像データおよび前記第２画素から得られる画像データを加算した第２画像データを取得するステップと、表示機器の表示能力に基づいて、前記第１画像データと前記第２画像データとを合成した第１画像または前記第２画像データに基づく第２画像を生成するステップとを有する。

本発明の他の側面としてのプログラムは、コンピュータに、前記画像処理方法を実行させる。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、表示機器の表示能力に基づいてＨＤＲ画像を生成することが可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。

各実施形態における撮像装置の外観図である。 各実施形態における撮像装置のブロック図である。 各実施形態における画素配列図である。 各実施形態における画像処理部のブロック図である。 各実施形態における撮像装置の動作を示すフローチャートである。 各実施形態における画像ファイルの構造の説明図である。 各実施形態におけるセンサ瞳面における瞳強度分布と撮像素子（センサ）の像面における入射角感度特性の説明図である。 各実施形態におけるシェーディング特性の説明図である。 各実施形態における画像処理部の動作の説明図である。 各実施形態におけるシェーディング補正係数の説明図である。 各実施形態におけるダイナミックレンジ拡張部の動作の説明図である。 各実施形態における画像処理の操作画面である。 各実施形態における画像処理の操作画面を表示するフローチャートである。 第１の実施形態における画像処理方法のフローチャートである。 第２の実施形態における画像処理方法のフローチャートである。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

（第１の実施形態）
まず、第１の実施形態について説明する。本実施形態では、表示機器の表示能力に応じて、画像処理装置に記録されている瞳分割による複数の視点の画像を合成する例について説明する。

まず、図１を参照して、本実施形態における撮像装置１００（デジタルカメラ）の外観構成について説明する。図１は、撮像装置１００の外観図であり、図１（ａ）は撮像装置１００の前面斜視図、図１（ｂ）は撮像装置１００の背面斜視図をそれぞれ示している。図１において、表示部２８は、撮像装置１００の背面に設けられており、画像や各種情報を表示する。ファインダ外表示部４３は、撮像装置１００の上面に設けられた表示部であり、シャッター速度や絞り等の撮像装置１００の様々な設定値を表示する。シャッターボタン６１は、撮影指示を行うための操作部である。モード切替スイッチ６０は、各種モードを切り替えるための操作部である。端子カバー４０は、外部機器と撮像装置１００とを接続する接続ケーブル等のコネクタ（不図示）を保護するカバーである。

メイン電子ダイヤル７１は、操作部７０に含まれる回転操作部材である。メイン電子ダイヤル７１を回すことにより、シャッター速度や絞り等の設定値の変更等を行うことができる。電源スイッチ７２は、撮像装置１００の電源のＯＮとＯＦＦを切り替える操作部材である。サブ電子ダイヤル７３は、操作部７０に含まれる回転操作部材であり、選択枠の移動や画像送り等を行う。十字キー７４は、操作部７０に含まれ、上、下、左、右部分をそれぞれ押し込み可能な十字キー（４方向キー）である。十字キー７４の押した部分に応じた操作が可能である。ＳＥＴボタン７５は、操作部７０に含まれる押しボタンであり、主に選択項目の決定などに用いられる。ＬＶボタン７６は、操作部７０に含まれ、メニューボタンにおいてライブビュー（ＬＶ）のＯＮとＯＦＦを切り替えるボタンである。動画撮影モードにおいては、動画撮影（記録）の開始、停止の指示に用いられる。拡大ボタン７７は、操作部７０に含まれ、撮影モードのライブビュー表示において拡大モードのＯＮとＯＦＦ、および、拡大モード中の拡大率の変更を行うための操作ボタンである。再生モードにおいては、再生画像を拡大し、拡大率を増加させるための拡大ボタンとして機能する。縮小ボタン７８は、操作部７０に含まれ、拡大された再生画像の拡大率を小さくし、表示画像を縮小させるためのボタンである。再生ボタン７９は、操作部７０に含まれ、撮影モードと再生モードとを切り替える操作ボタンである。撮影モード中に再生ボタン７９を押下することで再生モードに移行し、記録媒体２００に記録された画像のうち最新の画像を表示部２８に表示させることができる。

クイックリターンミラー１２は、システム制御部５０からの指示に従って、不図示のアクチュエータによりアップ／ダウンされる。通信端子１０は、撮像装置１００がレンズ側（着脱可能）と通信を行うための通信端子である。接眼ファインダ１６は、フォーカシングスクリーン１３を観察することにより、レンズユニット１５０を介して取得した被写体の光学像の焦点や構図の確認を行うための覗き込み型のファインダである。蓋２０２は、記録媒体２００を格納するスロットの蓋である。グリップ部９０は、ユーザが撮像装置１００を構えた際に右手で握りやすい形状を有する保持部である。

図２は、撮像装置１００のブロック図である。図２において、レンズユニット１５０は、交換可能なレンズ１０３（撮像光学系）を有する。レンズ１０３は、通常、複数枚のレンズから構成されるが、ここでは簡略して一枚のレンズのみで示している。通信端子６は、レンズユニット１５０が撮像装置１００側と通信を行うための通信端子である。通信端子１０は、撮像装置１００がレンズユニット１５０側と通信を行うための通信端子である。レンズユニット１５０は、通信端子６、１０を介してシステム制御部５０と通信し、内部のレンズシステム制御回路４によって絞り駆動回路２を介して絞り１を制御し、また、ＡＦ駆動回路３を介してレンズ１０３の位置を変位させることで焦点を調節する。

ＡＥセンサ１７は、２次元状に配列された複数の光電変換素子を備えて構成され、レンズユニット１５０を通した被写体の輝度を測光する。本実施形態において、ＡＥセンサ１７はＢａｙｅｒ配列を有するＲ（ＩＲ）ＧＢ画素の画素配列であり、測色、被写体検出、焦点検出等を行うこともできる。本実施形態において、ＡＥセンサ１７の画素数は、撮像部２２の撮像素子の画素数よりも少ないため、撮像素子から得られる信号に基づく画像解析よりも解像度の低い解析結果となる。

焦点検出部１１は、システム制御部５０にデフォーカス量に関する情報を出力する。システム制御部５０は、その情報に基づいてレンズユニット１５０を制御し、位相差ＡＦを行う。クイックリターンミラー１２（以下、ミラー１２）は、露光、ライブビュー撮影、動画撮影の際にシステム制御部５０からの指示に従って、不図示のアクチュエータによりアップ／ダウンされる。ミラー１２は、レンズ１０３から入射した光束をファインダ１６側と撮像部２２側とに切替えるためのミラーである。ミラー１２は、通常時において、ファインダ１６へ光束を導くよう反射させるように配されている。一方、ミラー１２は、撮影が行われる場合やライブビュー表示の場合、撮像部２２へ光束を導くように上方に跳ね上がり光束中から待避する（ミラーアップ）。またミラー１２は、その中央部が光の一部を透過できるようにハーフミラーとなっており、光束の一部を、焦点検出を行うための焦点検出部１１に入射するように透過させる。ユーザは、ペンタプリズム１４とファインダ１６とを介して、フォーカシングスクリーン１３を観察することにより、レンズユニット１５０を介して得られた被写体の光学像の焦点や構図の確認が可能となる。

シャッター１０１は、システム制御部５０の制御により撮像部２２の露光時間を自由に制御することが可能なフォーカルプレーンシャッターである。撮像部２２は、レンズ１０３（撮像光学系）を介して形成された光学像を電気信号（アナログ信号）に変換するＣＣＤセンサやＣＭＯＳセンサ等で構成される撮像素子１１０を有する。撮像素子１１０は、１つのマイクロレンズを共有して撮像光学系の互いに異なる瞳領域を通過した光を受光する第１画素および第２画素を有する。すなわち撮像素子１１０は、複数のマイクロレンズを有し、各マイクロレンズには複数の光電変換素子が割り当てられることで、各マイクロレンズ下の各光電変換素子にはレンズ１０３を含む撮像光学系の射出瞳における異なる瞳領域からの光束がそれぞれ入射される。これにより、各マイクロレンズ下の各光電変換素子から得られる信号は互いに視差を有する、異なる視点からの信号となる。Ａ／Ｄ変換器２３は、撮像部２２から出力されたアナログ信号をデジタル信号に変換する。

画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対して、各種の画像処理を行う。具体的には、画像処理部２４は、撮像装置１００に起因する画素欠陥等の補正処理や、デモザイキング処理、ホワイトバランス補正処理、および、ガンマ補正処理等を含む現像処理、色変換処理、符号化・圧縮処理等を行う。本実施形態では、現像処理は上記の処理の少なくとも一部を含む処理を指し、これらの現像処理が行われていない画像のためのデータをＲＡＷデータとする。本実施形態において、画像処理部２４は、撮像素子１１０から得られた複数の視点の画像の画像データを用いて、それらの画像データの視差情報を利用したリフォーカス処理や視点変更処理等の画像処理を行う。また画像処理部２４は、複数の視点の画像の画像データを用いて、明るさの違いを利用したＨＤＲ（ハイダイナミックレンジ）処理を行う。また画像処理部２４は、撮像素子１１０からの複数の視点の画像間の位相差に基づく像ずれ量を算出する。算出された像ずれ量は、画像内の被写体の、奥行き方向の相対的な位置関係を示す深度情報である。深度情報は、必要に応じて、撮像素子１１０やレンズ１０３に起因する係数（Ｋ値）を用いてデフォーカス量、さらには被写体距離の深度情報に換算される。ただし、画像処理部２４が利用する深度情報はこれに限定されるものではなく、別の手段で生成および取得された深度情報を用いて各種画像処理を行ってもよい。

また画像処理部２４は、撮像した画像データを用いて所定の演算処理を行い、システム制御部５０は、得られた演算結果に基づいて露光制御および焦点検出制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行うことができる。また画像処理部２４は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

Ａ／Ｄ変換器２３からの出力データは、画像処理部２４およびメモリ制御部１５を介して、または、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２により得られてＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。またメモリ３２は、画像表示用のメモリ（ビデオメモリ）を兼ねている。

Ｄ／Ａ変換器１９は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。これにより、メモリ３２に書き込まれた表示用の画像データは、Ｄ／Ａ変換器１９を介して表示部２８に表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１９からのアナログ信号に応じた表示を行う。このようにＤ／Ａ変換器１９は、Ａ／Ｄ変換器２３により一度Ａ／Ｄ変換されてメモリ３２に蓄積されたデジタル信号をアナログ変換し、表示部２８に逐次転送する。これにより表示部２８は、電子ビューファインダとして機能し、スルー画像表示（ライブビュー表示）を行うことができる。

ファインダ内表示部４１は、駆動回路４２を介して、現在オートフォーカスが行われている焦点検出点を示す枠（ＡＦ枠）や、撮像装置１００の設定状態を表すアイコン等を表示する。ファインダ外表示部４３は、駆動回路４４を介して、シャッター速度や絞り等の撮像装置１００の様々な設定値を表示する。不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等である。不揮発性メモリ５６は、システム制御部５０の動作用の定数や、後述する各種フローチャートを実行するためのプログラム等を記憶している。

システム制御部５０は、少なくとも１つのプロセッサを有する制御部であり、撮像装置１００の全体を制御する。システム制御部５０は、前述した不揮発性メモリ５６に記録されたプログラムを実行することにより、後述する本実施形態の各処理を実現する。システムメモリ５２は、ＲＡＭであり、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。またシステム制御部５０は、メモリ３２、Ｄ／Ａ変換器１９、表示部２８等を制御することにより表示制御を行う。

システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。モード切替スイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６４、および、操作部７０は、システム制御部５０に各種の動作指示を入力するための操作手段である。モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判定モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）がある。また、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチ６０の操作により、これらのモードのいずれかに直接切り替えることができる。または、モード切替スイッチ６０の操作により撮影モードの一覧画面に一旦切り換えた後、表示された複数のモードのいずれかを選択し、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

第１シャッタースイッチ６２は、撮像装置１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり、第１シャッタースイッチ信号ＳＷ１を発生する。システム制御部５０は、第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。操作部７０は、ユーザからの操作を受け付ける入力部としての各種操作部材である。操作部７０は、シャッターボタン６１、メイン電子ダイヤル７１、電源スイッチ７２、サブ電子ダイヤル７３、十字キー７４、ＳＥＴボタン７５、ＬＶボタン７６、拡大ボタン７７、縮小ボタン７８、再生ボタン７９等を含むが、これらに限定されるものではない。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

通信部５４は、無線または有線ケーブルによって接続し、映像信号や音声信号の送受信を行う。通信部５４は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットとも接続可能である。通信部５４は撮像部２２で撮像した画像（スルー画像を含む）や、記録媒体２００に記録された画像を送信可能であり、また、外部機器から画像データやその他の各種情報を受信することができる。

姿勢検知部５５は、重力方向に対する撮像装置１００の姿勢を検知する。システム制御部５０は、姿勢検知部５５により検知された姿勢に基づいて、撮像部２２で撮影された画像が、撮像装置１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像なのかを判定可能である。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２で撮像された画像の画像ファイルに付加し、また、画像を回転して記録することが可能である。姿勢検知部５５としては、加速度センサやジャイロセンサ等を用いることができる。

次に、図３を参照して、撮像素子１１０の画素配列について説明する。図３は、撮像素子１１０の画素配列図であり、横４画素×縦４画素配列された領域を代表的に示している。撮像素子１１０は、撮影光学系１０１の瞳領域を瞳分割方向に分割して、異なる瞳部分領域を通過した光束に基づく信号から複数の画像信号を生成可能に構成されている。具体的には、各画素の光電変換領域が水平方向（瞳分割方向）に２分割されており、各光電変換領域が副画素として機能する。従って、図３は、副画素が横８画素×縦４画素配列された領域とも言うことができる。

本実施形態において、図３の左上の２×２の画素群２１０は、撮像素子１１０に設けられた原色ベイヤー配列のカラーフィルタの繰り返し単位に対応している。従って、Ｒ（赤）の分光感度を有する画素２１０Ｒが左上に、Ｇ（緑）の分光感度を有する画素２１０Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２１０Ｂが右下に配置されている。また、図３の右上の画素に代表的に示すように、各画素は、横２×縦１に等分割された光電変換部を有しており、左半分の光電変換部が第１副画素（第１画素）２１１、右半分の光電変換部が第２副画素（第２画素）２１２として利用可能である。第１副画素２１１の出力を取得して得られる１つの画像と、第２副画素２１２の出力を取得して得られる１つの画像とが、１組の視点画像を構成する。したがって、撮像装置１００は１回の撮影によって２つの視点画像を生成することができる。また、各画素の第１副画素２１１と第２副画素２１２で得られる信号を加算することで、瞳分割がなされていない１つの通常画素の画素信号として利用することができる。

本実施形態では、各マイクロレンズに対応する各画素の回路が、瞳分割された複数の光電変換部で共通の電化蓄積部（フローティングデフュージョン部：ＦＤ部）を有して構成されている。このため、ＦＤ部への電荷の転送と、ＦＤ部の電荷のリセットを制御することにより、各副画素からの電荷に基づく画素信号および各副画素からの電荷が混合されて出力された画素信号とが出力可能になっている。ここで各副画素に入射される異なる瞳部分領域を通過した光束に基づく光学像をＡ像、Ｂ像、各光学像に基づく信号（電荷）をＡ像信号、Ｂ像信号、各副画素からの信号が混合された信号を（Ａ＋Ｂ）像信号と便宜上呼ぶ。本実施形態では、通常の撮影モードとして、撮像時に（Ａ＋Ｂ）像信号のみを読み出し、多視点撮影モードとして（Ａ＋Ｂ）像信号に加えてＡ像信号を読み出し、各撮影モードでの記録では、読み出された各画像信号に対応する画像データを記録する。

次に、図４および図５を参照して、撮像装置１００の撮影動作について、画像処理部２４の動作を中心に説明する。図４は、画像処理部２４のブロック図である。画像処理部２４は、可逆圧縮処理部２４１、非可逆圧縮処理部２４２、現像処理部２４３、アンダー露出画像入力部２４４、適正露出画像入力部２４５、シェーディング補正部２４６、および、ダイナミックレンジ拡張部２４７を有する。ダイナミックレンジ拡張部２４７は、位置補正部２４７ａ、判定部２４７ｂ、および、選択部２４７ｃを有する。

図５は、撮影動作（多視点撮影モードの動作）のフローチャートである。図５の各ステップは、主にシステム制御部５０の指令に基づいて、画像処理部２４の各部により実行される。図５の処理は、システム制御部５０が撮影開始指示（例えば第２シャッタースイッチ６４のオン）を検知したことにより開始する。システム制御部５０は、撮影準備処理において決定した露出条件に従って絞り１およびシャッター１０１の動作を制御し、撮像部２２を露光する。

まずステップＳ１０１において、画像処理部２４は、システム制御部５０を通じて、撮像部２２から（Ａ＋Ｂ）像とＡ像とを取得する（読み出す）。続くステップＳ１１０と、ステップＳ１２０、Ｓ１２１と、ステップＳ１３０とは並列処理が可能であるが、メモリ３２の空き状況や、画像処理部２４の処理スピード等に応じて、少なくとも一部を順序処理してもよい。

ステップＳ１１０において、可逆圧縮処理部２４１は、（Ａ＋Ｂ）像に対して可逆圧縮処理を適用して可逆圧縮画像を生成し、メモリ制御部１５を介してメモリ３２に保存する。

ステップＳ１２０において、現像処理部２４３は、（Ａ＋Ｂ）像に対して現像処理を適用し、メモリ制御部１５を介してメモリ３２に保存する。続いてステップＳ１２１において、非可逆圧縮処理部２４２は、ステップＳ１２０でメモリ３２に保存された現像処理後の（Ａ＋Ｂ）像に対して非可逆圧縮処理を適用して非可逆圧縮画像を生成するとともに、非可逆圧縮画像を縮小してサムネイル画像を生成する。ここでは、非可逆圧縮画像を表示用画像とする。画像処理部２４は、非可逆圧縮画像（表示用画像）とサムネイル画像とを、メモリ制御部１５を介してメモリ３２に保存する。

ステップＳ１３０において、可逆圧縮処理部２４１は、Ａ像に対して可逆圧縮処理を適用して可逆圧縮画像（Ａ）を生成し、メモリ制御部１５を介してメモリ３２に保存する。

ステップＳ１１０、Ｓ１２１、Ｓ１３０の各処理が完了すると、ステップＳ１４０に進む。ステップＳ１４０において、画像処理部２４は画像ファイルを生成する。すなわち画像処理部２４は、可逆圧縮画像、可逆圧縮画像（Ａ）、表示用画像、および、サムネイル画像をメモリ３２から読み出して画像ファイルを生成する。なお、ステップＳ１４０にて実行される画像ファイルの生成処理および画像ファイル構成の詳細については後述する。続いてステップＳ１４１において、画像処理部２４は、ステップＳ１４０にて生成した画像ファイルを、記録媒体２００に保存し、撮影処理を終了する。

＜画像ファイル構成＞
次に、図６を参照して、画像ファイルの構成について説明する。図６（ａ）は、画像ファイル１０００の概念図である。画像ファイル１０００は、１つのファイルに複数ページの画像データを格納したマルチページファイルに対応したファイルフォーマットの一例としてのＴＩＦＦ（Ｔａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）形式に準拠した画像ファイルの構造を持つ。画像ファイル１０００は、ＴＩＦＦヘッダ部１００１、複数のＩＦＤ（Ｉｍａｇｅ Ｆｉｌｅ Ｄｉｒｅｃｔｏｒｙ）部１００２〜１００５、複数の画像データ部１００６〜１００９で構成されている。

ＴＩＦＦヘッダ部１００１は、ＴＩＦＦ形式のファイル構造であることを識別するためのデータや、最初のＩＦＤ部へのオフセットなどを格納する領域である。ＩＦＤ部１００２〜１００５はそれぞれ、画像データ部１００６〜１００９に格納される画像データに関連する撮影情報やパラメータ等のメタデータＡ〜Ｄ、画像データ部１００６〜１００９までのオフセット値Ｅ〜Ｈ、次のＩＦＤ部へのオフセットを格納する。最後のＩＦＤ部には、次のＩＦＤ部が存在しないことを示す特定のオフセット値が格納される。また、ＩＦＤ部１００２〜１００５のそれぞれは、以下の情報をメタデータＡ〜Ｄに含んでいる。
・対応する画像データ部に格納されている画像データのサイズ（縦横の画素数）
・縮小画像であるかどうかの情報
・画像データがＡ像、Ｂ像、（Ａ＋Ｂ）像のうちのどの光学像に基づいた画像信号に対応するかの情報
従って、撮像装置１００（画像処理部２４）は、ＩＦＤ部１００２〜１００５を参照することで、複数の画像データの中から用途に応じた適切な画像データを読み出すことができる。

０ｔｈＩＦＤ部１００２は、０ｔｈ画像データ部１００６に対応した領域である。１つのＩＦＤ部は１つの画像データ部に対応しており、ＩＦＤ部１００２〜１００５のオフセット値Ｅ〜Ｈにより画像ファイル１０００内の各画像データの開始位置が特定される。

図６（ｂ）は、撮像装置１００（画像処理部２４）が生成する画像ファイル１１００の構造例を示す図である。ここでは、撮影時に生成した非可逆圧縮画像（表示用画像）、サムネイル画像、可逆圧縮画像（（Ａ＋Ｂ）像）、可逆圧縮画像（Ａ像）を格納する画像ファイルをＴＩＦＦ形式で生成した場合の構造例を示している。

画像ファイル１１００は、ＴＩＦＦヘッダ部１１０１、０ｔｈＩＦＤ部１１０２〜３ｒｄＩＦＤ部１１０５、サムネイル画像部１１０７、表示用画像部１１０６、（Ａ＋Ｂ）像部１１０８、Ａ像部１１０９で構成されている。ＴＩＦＦヘッダ部１１０１はＴＩＦＦファイル構造であることを識別するためのデータを格納する。０ｔｈＩＦＤ部１１０２は、表示用画像部１１０６に関連する撮影情報やパラメータなどのメタデータＡと表示用画像部１１０６までのオフセット値Ｅを格納する。１ｓｔＩＦＤ部１１０３は、サムネイル画像部１１０７に関連する撮影情報やパラメータなどのメタデータＢとサムネイル画像部１１０７までのオフセット値Ｆを格納する。２ｎｄＩＦＤ部１１０４は、（Ａ＋Ｂ）像部１１０８に関連する撮影情報やパラメータなどのメタデータＣと（Ａ＋Ｂ）像部１１０８までのオフセット値Ｇを格納する。３ｒｄＩＦＤ部１１０５は、Ａ像部１１０９に関連する撮影情報やパラメータなどのメタデータＤとＡ像部１１０９までのオフセット値Ｈを格納する。これらオフセット値Ｅ〜Ｈにより、画像ファイル内の各画像データの開始位置を特定することができる。

表示用画像部１１０６は、表示部２８等に表示するために画像処理部２４で生成された表示用画像を格納する領域である。本実施形態において、表示用画像はＪＰＥＧ形式である。サムネイル画像部１１０７は、表示部２８等にメモリ３２の画像一覧画面などのインデックス表示を行う際等に利用するためのサムネイル画像を格納する領域であり、表示用画像を間引くなどして縮小した画像である。（Ａ＋Ｂ）像部１１０８は、Ａ像とＢ像を加算または合成した画像であって、現像処理前のいわゆるＲＡＷ形式の（Ａ＋Ｂ）像を格納する領域である。Ａ像部１１０９は、ＲＡＷ形式のＡ像を格納する領域である。（Ａ＋Ｂ）像からＡ像を減算することでＢ像に相当する画像を生成することができる。Ａ像とＢ像とから、リフォーカス処理や視点変更処理、立体画像生成処理等を行うことができる。

サムネイル画像や表示用画像等の汎用的な表示処理に用いられる現像処理後の画像のデータを、現像処理が必要な（Ａ＋Ｂ）像や、複数の視点の画像を取り扱わないアプリケーションでは使用しないＡ像よりも前に配置している。このため、使用される可能性の高い画像データの読み出し開始までに要する時間を短縮することができる。なお本実施形態において、（Ａ＋Ｂ）像およびＡ像をＲＡＷ形式で格納する構成としたが、画像処理部２４で可逆圧縮した画像データを格納する構成としてもよい。このような構成により、画像ファイルのサイズを削減することが可能である。また本実施形態において、（Ａ＋Ｂ）像とＡ像を画像ファイルに格納する構成について説明したが、Ａ像の代わりにＢ像を記録する構成としてもよい。この場合、多視点撮影モードにおいて読み出す画像信号を（Ａ＋Ｂ）像信号とＢ像信号とすればよい。

＜ダイナミックレンジ拡張手法＞
次に、本実施形態におけるダイナミックレンジ拡張処理の手法を詳述する。まず、図７乃至図１０を参照して、複数の副画素から得られる瞳分割画像ごとに瞳強度分布が異なること、および、それに基づくシェーディング特性について、従来例を交えて説明する。図７は、センサ瞳面における瞳強度分布と撮像素子（センサ）の像面における入射角感度特性の説明図である。

Ｊ１０７はセンサ瞳面である。Ｊ１０８はマイクロレンズアレイ、Ｊ１０９は画素アレイであり、撮像素子１１０を構成している。Ｊ１１１は主画素であり、副画素（第１画素）Ｊ１１０ａと副画素（第２画素）Ｊ１１０ｂとから構成されている。主画素Ｊ１１１から生成される画像が（Ａ＋Ｂ）像（図９の４０１ａｂ）、副画素Ｊ１１０ａの瞳分割画像がＡ像（図９のＪ２０１ａ）、副画素Ｊ１１０ｂの瞳分割画像がＢ像（図９のＪ２０１ｂ）である。Ａ像およびＢ像は、主画素Ｊ１１１を２つに瞳分割した副画素Ｊ１１０ａ、Ｊ１１０ｂからそれぞれ生成されるため、（Ａ＋Ｂ）像に対して１段（１ＥＶ）アンダーな露出となる。

図７に示されるように、瞳のケラレにより、副画素Ｊ１１０ａの瞳強度分布はＪ１０１ａ、副画素Ｊ１１０ｂの瞳強度分布はＪ１０１ｂのようになる。瞳強度分布Ｊ１０１ａ、Ｊ１０１ｂに対応する像面中央での入射角感度特性はＪ１０３ａ、Ｊ１０３ｂのようになる。副画素Ｊ１１０ａの入射角感度特性はＪ１０３ａ、副画素Ｊ１１０ｂの入射角感度特性はＪ１０３ｂである。Ｊ１１２は、絞り等で制限される入射光の角度範囲である。像面中央において、副画素Ｊ１１０ａ、Ｊ１１０ｂに入射する光量は等しい。

瞳強度分布Ｊ１０１ａ、Ｊ１０１ｂに対応する像面端での入射角感度特性は、Ｊ１０５ａ、Ｊ１０５ｂのようになる。副画素Ｊ１１０ａの入射角感度特性はＪ１０５ａ、副画素Ｊ１１０ｂの入射角感度特性はＪ１０５ｂである。像面端と像面中央で結像位置が異なるため、像面端の入射角感度特性は像面中央に対して偏心したプロファイルとなる。このため、像面端では、図７の場合、副画素Ｊ１１０ａに入射する光量よりも副画素Ｊ１１０ｂに入射する光量のほうが多くなる。

上記のことから、像面上の画素位置（Ｘ）と画素値の関係を表すシェーディング特性は、図８のようになる。図８は、シェーディング特性の説明図であり、横軸は位置（Ｘ座標）、縦軸は画素値をそれぞれ示す。図８のＪ２０１ａは図７の副画素Ｊ１１０ａのシェーディング特性、Ｊ２０１ｂは図７の副画素Ｊ１１０ｂのシェーディング特性をそれぞれ示している。図７の像面中央は図８のＸ＝０、像面端はＸ＝５００、に対応する。

それぞれの画像に図８のシェーディング特性の逆特性をシェーディング補正係数として乗算することにより、シェーディング補正を行うことができる。図１０は、シェーディング補正係数の説明図であり、横軸は位置（Ｘ座標）、縦軸はシェーディング補正係数をそれぞれ示す。シェーディング補正係数Ｊ４０１ａはＡ像Ｊ２０１ａ、シェーディング補正係数Ｊ４０１ｂはＢ像Ｊ２０１ｂに適用される。

最終的に、図９に示されるように、（Ａ＋Ｂ）像４０１ａｂを適正露出画像４０２、Ａ像Ｊ２０１ａをアンダー露出画像４０３とし、アンダー露出画像４０３をシェーディング補正した補正後アンダー露出画像４０４が取得される。図９は、画像処理部２４の動作の説明図であり、横軸は位置（Ｘ座標）、縦軸は画素値をそれぞれ示す。そして、適正露出画像４０２と補正後アンダー露出画像４０４において、像面の全面で１段分（１ＥＶ分）の露出差を得ることができるため、画像合成してダイナミックレンジを拡大することができる。

次に、図４、図９、図１０、および、図１１を参照して、画像処理部２４の構成および動作を説明する。シェーディング補正部２４６は、図９のアンダー露出画像４０３に対して、図１０のシェーディング補正係数Ｊ４０１ａを乗算することで、シェーディング補正を行う（分割瞳のケラレ量のムラによる明暗ムラを補正する）。シェーディング補正に用いるシェーディング補正係数は、不揮発性メモリ５６から読み出される。アンダー露出画像入力部（第１取得手段）２４４は、副画素（第１画素）Ｊ１１０ａおよび副画素（第２画素）Ｊ１１０ｂのうち一方の画素からアンダー露出画像（第１画像データ）を取得する。

ダイナミックレンジ拡張部２４７は、図９の補正後アンダー露出画像４０４と適正露出画像４０２を画像合成してダイナミックレンジを拡大する（すなわち、階調表現レンジの拡張された合成画像を生成する）。適正露出画像入力部（第２取得手段）２４５は、副画素Ｊ１１０ａから得られる画像データおよび副画素Ｊ１１０ｂから得られる画像データを加算した適正露出画像（第２画像データ）を取得する。ダイナミックレンジ拡張部（生成手段）２４７は、被写体の明るさに応じて、補正後アンダー露出画像４０４（詳細には、後述のゲインアップ後アンダー露出画像）と適正露出画像４０２とを合成して合成画像を生成する。

図１１は、ダイナミックレンジ拡張部２４７の動作の説明図である。図１１において、縦軸は画素値、横軸は被写体の明るさをそれぞれ示す。被写体の明るさは、例えば補正後アンダー露出画像の画素値を参照すればよい。３０１は補正後アンダー露出画像、３０３は適正露出画像である。ＴＨ２は画素の飽和レベルであり、明るい被写体を適正露出で撮像した場合、画素値は飽和レベルＴＨ２でクリップされる。ＴＨ１は適正露出の飽和レベルに対応する被写体明るさである。３０２は、補正後アンダー露出画像３０１を１段ゲインアップしたゲインアップ後アンダー露出画像である。補正後アンダー露出画像３０１は、適正露出より１段アンダーであるため、１段ゲインアップすることで適正露出画像３０３と明るさを合わせることができる。

ダイナミックレンジ拡張部２４７の位置補正部２４７ａは、補正後アンダー露出画像３０１と適正露出画像３０３とを比較して、領域ごとに輝度を基づいて差分絶対値和等を利用して最も類似している位置からシフト量を算出し、シフト量を用いて位置合わせを行う。ダイナミックレンジ拡張部２４７の判定部２４７ｂは、所定の画素位置における被写体の明るさが閾値（ＴＨ１）以上であるか否かを判定する。ダイナミックレンジ拡張部２４７の選択部２４７ｃは、判定部２４７ｂの判定結果に応じて、補正後アンダー露出画像３０１または適正露出画像３０３のいずれかを選択する。

本実施形態において、選択部２４７ｃは、被写体の明るさが閾値未満である場合、適正露出画像３０３を選択する。一方、被写体の明るさが閾値以上である場合、補正後アンダー露出画像３０１を選択する。そしてダイナミックレンジ拡張部２４７は、選択部２４７ｃにより補正後アンダー露出画像３０１が選択された場合、補正後アンダー露出画像３０１をゲインアップする（例えば、画素値を２倍にする）。被写体明るさがＴＨ１未満の画素位置では適正露出画像３０３を、それ以外の画素位置ではゲインアップ後アンダー露出画像３０２を出力することにより、ダイナミックレンジ拡大された画像を出力することができる。

最後に、本手法の動作手順について説明する。本手法は、システム制御部５０によって制御され、不揮発性メモリ５６に格納されているプログラムをメモリ３２に展開し、システム制御部５０のＣＰＵが実行することにより実現される。まず、ダイナミックレンジ拡張部２４７は、シェーディング補正部２４６から補正後アンダー露出画像３０１を取得する（手順１）。続いて、ダイナミックレンジ拡張部２４７は、適正露出画像入力部２４５を介して、適正露出画像３０３を取得する（手順２）。続いて、位置補正部２４７ａは、所定の画素位置における補正後アンダー露出画像３０１と適正露出画像３０３に対して位置合わせを行う（手順３）。続いて、判定部２４７ｂは、所定の画素位置における被写体の明るさが閾値（ＴＨ１）以上であるか否かを判定する（手順４）。被写体の明るさが閾値以上である場合、手順５に進む。一方、被写体の明るさが閾値未満である場合、手順６に進む。

手順５において、選択部２４７ｃは、取得した補正後アンダー露出画像３０１および適正露出画像３０３のうち、補正後アンダー露出画像３０１を選択する。手順６において、選択部２４７ｃは、取得した補正後アンダー露出画像３０１および適正露出画像３０３のうち、適正露出画像３０３を選択する。そしてダイナミックレンジ拡張部２４７は、手順５または手順６で選択された画像データに基づいて合成画像を生成する。このとき、被写体の明るさが閾値以上の画素位置では（すなわち、選択部２４７ｃにより補正後アンダー露出画像３０１が選択された場合）、補正後アンダー露出画像３０１をゲインアップして、ゲインアップ後アンダー露出画像３０２を生成する。

＜ダイナミックレンジ拡張を行うためのＵＩ＞
次に、図１２を参照して、本実施形態における画像処理の操作画面について説明する。図１２は、画像処理の操作画面であり、図６（ｂ）の画像を読み込んだ後に表示部２８に表示されるＵＩ画面４０００を示している。ユーザは、ＵＩ画面４０００を表示した状態で操作部７０を操作し、解像感調整、ボケシフト、ゴースト低減、シャープネス、ガンマ調整の画像処理を行う。

４００１は、読み込んだ現像画像である。ＵＩ画面上の各種画像処理を行った場合には、その結果が表示される。４００２は、解像感補正を行うか否かのチェックボックスである。解像感補正は、瞳分割の視差を利用して行う処理でピント位置をずらす（奥から手前）ことで補正を行う。４００３は、ピント位置をずらす（奥から手前）量を調整するスライダである。４００４は、解像感補正の強さを設定するスライダである。解像感補正の強さは、複数の視点の画像から取得した距離マップを考慮したて掛けるシャープネス処理の強さである。

４００５は、ボケシフト処理を行うか否かのチェックボックスである。Ａ像信号、Ｂ像信号は互いに異なる光路を通るため、ボケの現れ方が変化する。（Ａ＋Ｂ）像信号を作る際により好ましいボケになるように、Ａ像信号とＢ像信号との割合を調整する。４００６は、領域を選択するモードに遷移するときのボケシフト領域選択ボタンである。ボケシフトを行う領域は、画面全体が設定されているが、任意の領域に対して掛けることもできる。ボケシフト領域選択ボタン４００６は、その領域を設定する際に用いられる。４００７は、ボケシフトの動作する領域を境界線で表示する機能である。設定したボケシフトの範囲の境界線が現像画像４００１上に表示される。４００８は、ボケシフトで水平方向に分割しているＡ像信号とＢ像信号のいずれを利用するかを調整するスライダである。スライダ４００８を左右に動かすことにより、Ａ像信号とＢ像信号の利用割合の設定が行われる。

４００９は、ゴースト低減処理を行うか否かのチェックボックスである。ゴースト低減処理は、Ａ像信号とＢ像信号のでは異なる光路を通った信号であることを利用して、Ａ像信号とＢ像信号との差分に基づいてゴーストの成分を検出し除去する。４０１０は、領域を選択するモードに遷移するときのゴースト低減領域選択ボタンである。ゴースト低減を行う領域は、画面全体が設定されているが、任意の領域に対して掛けることもできる。ゴースト低減領域設定ボタン４０１０は、その領域を設定する際に用いられる。４０１１は、ゴースト低減の動作する領域を境界線で表示する機能である。設定したゴースト低減の範囲の境界線が現像画像４００１上に表示される。４０１２は、シャープネス処理を行うか否かのチェックボックスである。４０１３は、シャープネスの強さを調整するスライダである。スライダ４０１３により画面全体のシャープネス調整を行う。

４０１４は、ガンマ調整処理を行うか否かのチェックボックスである。ガンマ調整は、現像処理で行われるホワイトバランス調整で、入力画像のビット数を超えてしまうビットを現像後の画像に反映する時の調整量を設定する処理である。４０１５は、ガンマ調整の調整エリアである。調整エリア４０１５には、後述するヒストグラム４０１６とホワイトポイント４０１７が表示される。４０１６は、現像画像４００１のヒストグラムである。ヒストグラム４０１６は、（Ａ＋Ｂ）像信号の画素信号をホワイトバランス調整した結果で表示する。ヒストグラム４０１６は、例えば、副画素信号をホワイトバランス調整した結果として表示される。４０１７は、ヒストグラム４０１６のホワイトポイントである。ホワイトポイントとは、（Ａ＋Ｂ）像信号の画素信号をホワイトバランス調整した結果のＲとＧとＢの値がＲＡＷ画像のビット数と同じビットでクリップするポイントである。副画素信号をホワイトバランス調整した結果のＲとＧとＢの値がＲＡＷ画像のビット数と同じビットでクリップするポイントとなどがある。ホワイトポイントを右に動かすことで、現像時にＲＡＷ画像のビット数を超えてあふれているデータを画像に反映する高輝度改善処理が行われる。

次に、図１３を参照して、本実施形態のＵＩ画面４０００を表示部２８上に表示する例を説明する。図１３は、画像処理の操作画面を表示するフローチャートである。図１３の処理は、ユーザが操作部７０を操作して図６（ｂ）の画像を読み込むことにより開始する。

まずステップＳ４０１０において、システム制御部５０は、ＵＩ表示を行う。すなわちシステム制御部５０は、図１２のＵＩ画面４０００、チェックボックス４００２から調整エリア４０１５までの各設定ＵＩを表示する。なお、現像画像４００１、ヒストグラム４０１６、および、ホワイトポイント４０１７は、後述する処理で表示される。

続いてステップＳ４０２０において、システム制御部５０は、（Ａ＋Ｂ）像信号の画素信号のホワイトバランス調整を行う。続いてステップＳ４０３０において、システム制御部５０は、ステップＳ４０２０にてホワイトバランス調整した結果のＲ、Ｇ、Ｂの出力値を取得する。続いてステップＳ４０４０において、システム制御部５０は、副画素信号のホワイトバランス調整を行う。続いてステップＳ４０５０において、システム制御部５０は、ステップＳ４０４０にてホワイトバランス調整した結果のＲ、Ｇ、Ｂの出力値を取得する。

続いてステップＳ４０６０において、システム制御部５０は、ヒストグラム４０１６を作成して表示する。ヒストグラム４０１６は、ステップＳ４０３０にて取得した（Ａ＋Ｂ）像信号のホワイトバランス調整後に得られた結果、または、ステップＳ４０５０にて取得した副画素信号のホワイトバランス調整後に得られた結果のいずれを利用して作成してもよい。また、両方の手法の最大値で表示するような表示方法を採用することもできる。副画素信号に基づいて作成されたヒストグラムは、（Ａ＋Ｂ）像信号と比べて開口率が異なるため、開口率を考慮してゲインアップしてもよい。続いてステップＳ４０７０において、システム制御部５０は、現像画像４００１の表示に対応するホワイトポイント４０１７の位置を算出して表示（描画）する。続いてステップＳ４０８０において、システム制御部５０は、現像画像４００１を表示する。

＜ＨＤＲ画像を作成する処理＞
次に、図１４を参照して、表示機器の表示能力情報を取得して、その表示能力情報に応じて画像を作成する処理の流れについて説明する。図１４は、表示機器の表示能力情報に応じて画像を作成する処理（画像処理方法）のフローチャートである。

まずステップＳ１４０１において、ダイナミックレンジ拡張部２４７は、シェーディング補正部２４６から補正後アンダー露出画像３０１を取得する。続いてステップＳ１４０２において、ダイナミックレンジ拡張部２４７は、適正露出画像入力部２４５を介して、適正露出画像３０３を取得する。続いてステップＳ１４０３において、撮像装置１００（システム制御部５０）は、表示機器から表示能力情報を取得する。表示能力情報とは、扱うことのできる画像のビット数や最大輝度等であるが、これらに限定されるものではない。

続いてステップＳ１４０４において、システム制御部（判定手段）５０は、表示機器がＨＤＲ表示に対応しているか否かを判定する。ステップＳ１４０４にて表示機器がＨＤＲ表示に対応していると判定された場合、ステップＳ１４０５に進む。一方、表示機器がＨＤＲ表示に対応していないと判定された場合、ステップＳ１４１２に進む。表示機器がＨＤＲ表示に対応しているか否かは、ビット数が８ビットを超えるか否か、または、最大輝度が１００ｎｉｔｓを超えるか否か等により判定される。

ステップＳ１４０５において、位置補正部２４７ａは、所定の画素位置における補正後アンダー露出画像３０１と適正露出画像３０３との位置合わせを行う。続いてステップＳ１４０６において、判定部２４７ｂは、所定の画素位置における被写体の明るさが閾値（ＴＨ１）以上であるか否かを判定する。ステップＳ１４０６にて被写体の明るさが閾値以上であると判定された場合、ステップＳ１４０７に進む。一方、被写体の明るさが閾値未満であると判定された場合、ステップＳ１４０８に進む。

ステップＳ１４０７において、選択部２４７ｃは、取得した補正後アンダー露出画像３０１および適正露出画像３０３のうち、補正後アンダー露出画像３０１を選択する。ステップＳ１４０８において、選択部２４７ｃは、取得した補正後アンダー露出画像３０１および適正露出画像３０３のうち、適正露出画像３０３を選択する。

続いてステップＳ１４０９において、ダイナミックレンジ拡張部２４７は、ステップＳ１４０７またはステップＳ１４０８にて選択された画像データ（補正後アンダー露出画像３０１または適正露出画像３０３）に基づいて合成画像を生成する。このとき、被写体の明るさが閾値以上の画素位置では（すなわち、選択部２４７ｃにより補正後アンダー露出画像３０１が選択された場合）、補正後アンダー露出画像３０１をゲインアップして、ゲインアップ後アンダー露出画像３０２を生成する。

続いてステップＳ１４１０において、システム制御部５０は、画像内の全ての画素を調べたか否かを判定する。ステップＳ１４１０にて画像内の全ての画素を調べていないと判定された場合、ステップＳ１４１１に進む。ステップＳ１４１１において、システム制御部５０は、注目画素を次の画素に設定し、ステップＳ１４０６に戻る。一方、ステップＳ１４１０にて画像内の全ての画素を調べたと判定された場合、本フローを終了する。

ステップＳ１４１２において、選択部２４７ｃは、取得した補正後アンダー露出画像３０１および適正露出画像３０３のうち、適正露出画像３０３を選択する。続いてステップＳ１４１３において、現像処理部（生成手段）２４３は、適正露出画像３０３を現像して、本フローを終了する。このような処理により、標準画像を得ることができる。標準画像の形式はＪＰＥＧ等があるが、これに限定されるものではない。

なお、図１４に示される処理において、表示機器の表示能力情報をＨＤＲ画像の作成タイミングで取得するが、ＨＤＲ画像を作成する処理を行う前に事前に表示する表示機器の表示能力情報を取得してもよい。また、図１４のステップＳ１４０４にて、表示機器の表示能力情報に応じて画像の作成する処理を切り替えている。表示機器がＨＤＲ表示に対応している場合にはＨＤＲ画像を合成し、表示機器がＨＤＲ表示に対応していない場合、標準画像を作成する。

このように本実施形態において、画像処理装置（画像処理部２４）は、画像を生成する生成手段（ダイナミックレンジ拡張部２４７および現像処理部２４３）を有する。生成手段は、表示機器の表示能力に基づいて、第１画像データと第２画像データとを合成した第１画像（合成画像）または第２画像データに基づく第２画像（標準画像）を生成する。好ましくは、生成手段は、表示機器がＨＤＲ表示に対応している場合、第１画像を生成する。一方、生成手段は、表示機器がＨＤＲ表示に対応していない場合、第２画像を生成する（Ｓ１４０９、Ｓ１４１３）。より好ましくは、生成手段は、被写体の明るさが所定の閾値（閾値ＴＨ１）よりも大きい場合には第１画像データを用い、被写体の明るさが所定の閾値よりも小さい場合には第２画像データを用いて、第１画像を生成する（ＳＳ１４０６〜Ｓ１４０９）。より好ましくは、生成手段は、画素ごとに、被写体の明るさと所定の閾値とを比較して第１画像データと第２画像データとの一方を選択することにより、合成画像としての第１画像を生成する（Ｓ１４０６）。また好ましくは、生成手段は、第１画像データを用いて第１画像を生成する際に、第１画像データの画素値を２倍にする（ゲインアップする）。

また本実施形態において、アンダー露出画像入力部２４４（第１取得手段）は、第１画素および第２画素のうち他方の画素から第３画像データ（例えば、副画素Ｊ１１０ｂから得られる画像データ）を取得してもよい。このとき生成手段は、被写体の明るさが所定の閾値よりも大きい場合には第１画像データおよび第３画像データを用い、被写体の明るさが所定の閾値よりも小さい場合には第２画像データを用いて、第１画像を生成する。より好ましくは、生成手段は、第１画像データおよび第３画像データを用いて第１画像を生成する際に、第１画像データと第３画像データとを加算する。

本実施形態によれば、表示機器の表示能力に応じて、ＨＤＲ画像を合成することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態では、撮像装置と表示機器とを接続しておき、表示機器の表示能力に応じて撮像装置の撮影モードを切り替えて撮影する例について説明する。

図１５を参照して、表示機器の表示能力情報に応じて撮影モードを切り替えて撮影して画像を作成する処理（画像処理方法）について説明する。図１５は、本実施形態における画像処理方法のフローチャートである。

まずステップＳ１５０１において、システム制御部（判定手段）５０は、表示機器がＨＤＲ表示に対応しているか否かを判定する。ステップＳ１５０１にて表示機器がＨＤＲ表示に対応していると判定された場合、ステップＳ１５０２に進む。一方、表示機器がＨＤＲ表示に対応していないと判定された場合、ステップＳ１５１１に進む。

ステップＳ１５０２において、システム制御部（モード設定手段）５０は、撮影モードを多視点撮影モードに設定する。多視点撮影モードとは、（Ａ＋Ｂ）像信号に加えてＡ像信号を記録するモードである。続いてステップＳ１５０３において、画像処理部２４は、システム制御部５０を通じて撮像部２２から（Ａ＋Ｂ）像とＡ像とを取得する。（Ａ＋Ｂ）像は適正露出画像３０３、Ａ像は補正後アンダー露出画像３０１にそれぞれ相当する。続くステップＳ１５０４〜Ｓ１５１０は、図１４のステップＳ１４０５〜Ｓ１４１１とそれぞれ同様であるため、それらの説明を省略する。

続いてステップＳ１５１１において、システム制御部（モード設定手段）５０は、撮影モードを通常モード（通常撮影モード）に設定する。通常モードとは、多視点撮影モード以外の静止画撮影モードであり、適正露出画像である（Ａ＋Ｂ）像信号のみを記録するモードである。すなわち通常モードは、第２画像としてＲＡＷ画像を取得するモードである。また通常撮影モードは、第２画像として、ＨＤＲ処理を行わない標準画像を取得するモードである。続いてステップＳ１５１２において、システム制御部５０は、撮影を行って適正露出画像３０３を記録する。続いてステップＳ１５１３において、現像処理部２４３は、適正露出画像３０３を現像して、本フローを終了する。

このように本実施形態では、ステップＳ１５０１において、表示機器の表示能力情報に応じて撮影モードを切り替える。表示機器がＨＤＲ表示に対応している場合、多視点撮影モードで撮影する。一方、表示機器がＨＤＲ表示に対応していない場合、通常モードで撮影する。すなわちモード設定手段（システム制御部５０）は、表示機器がＨＤＲ表示に対応している場合、多視点撮影モードに設定する。一方、モード設定手段は、表示機器がＨＤＲ表示に対応していない場合、通常撮影モードに設定する。本実施形態によれば、表示機器の表示能力情報に応じて、撮影モードを切り替えてＨＤＲ画像を作成することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施形態によれば、表示機器の表示能力に基づいてＨＤＲ画像を生成することが可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
システム制御部５０（フローチャートの動作主）が行うものとして説明した上述の各種制御は１つのハードウエアが行ってもよいし、複数のハードウエア（例えば、複数のプロセッサや回路）が処理を分担することで、装置全体の制御を行ってもよい。また、上述した実施形態においては、本発明を撮像装置に適用した場合を例にして説明したが、これに限定されるものではなく、撮影画像に対する画像処理を行うことができる画像処理装置に広く適用可能である。例えば本発明は、デジタルカメラ、カメラ機能を持つパーソナルコンピュータ、カメラ付き携帯電話端末、または、スマートフォン等に適用可能である。

２４ 画像処理部（画像処理装置）
２４３ 現像処理部（生成手段）
２４４ アンダー露出画像入力部（第１取得手段）
２４５ 適正露出画像入力部（第２取得手段）
２４７ ダイナミックレンジ拡張部（生成手段）

Claims (15)

1. １つのマイクロレンズを共有して光学系の互いに異なる瞳領域を通過した光を受光する第１画素および第２画素のうち一方の画素から第１画像データを取得する第１取得手段と、
   前記第１画素から得られる画像データおよび前記第２画素から得られる画像データを加算した第２画像データを取得する第２取得手段と、
   表示機器の表示能力に基づいて、前記第１画像データと前記第２画像データとを合成した第１画像または前記第２画像データに基づく第２画像を生成する生成手段と、を有することを特徴とする画像処理装置。
2. 前記表示機器がＨＤＲ表示に対応しているか否かを判定する判定手段を更に有し、
   前記生成手段は、
   前記表示機器が前記ＨＤＲ表示に対応している場合、前記第１画像を生成し、
   前記表示機器が前記ＨＤＲ表示に対応していない場合、前記第２画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、被写体の明るさが所定の閾値よりも大きい場合には前記第１画像データを用い、前記被写体の明るさが前記所定の閾値よりも小さい場合には前記第２画像データを用いて、前記第１画像を生成することを特徴とする請求項２に記載の画像処理装置。
4. 前記生成手段は、画素ごとに、前記被写体の明るさと前記所定の閾値とを比較して前記第１画像データと前記第２画像データとの一方を選択することにより、合成画像としての前記第１画像を生成することを特徴とする請求項３に記載の画像処理装置。
5. 前記生成手段は、前記第１画像データを用いて前記第１画像を生成する際に、前記第１画像データの画素値を２倍にすることを特徴とする請求項３または４に記載の画像処理装置。
6. 前記第１取得手段は、前記第１画素および前記第２画素のうち他方の画素から第３画像データを取得し、
   前記生成手段は、被写体の明るさが所定の閾値よりも大きい場合には前記第１画像データおよび前記第３画像データを用い、前記被写体の明るさが前記所定の閾値よりも小さい場合には前記第２画像データを用いて、前記第１画像を生成することを特徴とする請求項２に記載の画像処理装置。
7. 前記生成手段は、前記第１画像データおよび前記第３画像データを用いて前記第１画像を生成する際に、前記第１画像データと前記第３画像データとを加算することを特徴とする請求項６に記載の画像処理装置。
8. 前記生成手段は、前記第２の画像に対して現像処理を行うことにより前記第２の画像を生成することを特徴とする請求項２乃至７のいずれか１項に記載の画像処理装置。
9. 撮影モードを設定するモード設定手段を更に有し、
   前記モード設定手段は、
   前記表示機器が前記ＨＤＲ表示に対応している場合、多視点撮影モードに設定し、
   前記表示機器が前記ＨＤＲ表示に対応していない場合、通常撮影モードに設定することを特徴とする請求項２乃至８のいずれか１項に記載の画像処理装置。
10. 前記通常撮影モードは、前記第２画像としてＲＡＷ画像を取得するモードであることを特徴とする請求項９に記載の画像処理装置。
11. 前記通常撮影モードは、前記第２画像として、ＨＤＲ処理を行わない標準画像を取得するモードであることを特徴とする請求項９に記載の画像処理装置。
12. １つのマイクロレンズを共有して光学系の互いに異なる瞳領域を通過した光を受光する第１画素および第２画素を有する撮像素子と、
    前記第１画素および前記第２画素のうち一方の画素から第１画像データを取得する第１取得手段と、
    前記第１画素から得られる画像データおよび前記第２画素から得られる画像データを加算した第２画像データを取得する第２取得手段と、
    表示機器の表示能力に基づいて、前記第１画像データと前記第２画像データとを合成した第１画像または前記第２画像データに基づく第２画像を生成する生成手段と、を有することを特徴とする撮像装置。
13. １つのマイクロレンズを共有して光学系の互いに異なる瞳領域を通過した光を受光する第１画素および第２画素のうち一方の画素から第１画像データを取得するステップと、
    前記第１画素から得られる画像データおよび前記第２画素から得られる画像データを加算した第２画像データを取得するステップと、
    表示機器の表示能力に基づいて、前記第１画像データと前記第２画像データとを合成した第１画像または前記第２画像データに基づく第２画像を生成するステップと、を有することを特徴とする画像処理方法。
14. コンピュータに、請求項１３に記載の画像処理方法を実行させることを特徴とするプログラム。
15. 請求項１４に記載のプログラムを記憶していることを特徴とする記憶媒体。