JP2019029778A - 撮像装置、および画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】高輝度側階調優先処理によるダイナミックレンジの拡張を視差画像を利用して対象となる画像を切り替え、視差画像が利用できる場合に、領域毎に最適な素材画像を合成することで、よりその効果を出すこと。【解決手段】異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた画素を複数配列した撮像素子により取得される入力画像から、前記異なる瞳部分領域毎に生成された複数の視差画像を取得し、前記視差画像に対して、シェーディング補正を行うシェーディング補正手段と画像のずれ量を検出する像ずれ量検出手段と適正露出画像の高輝度領域を検出するハイライト・シャドウ領域検出手段と高輝度領域の階調を改善するための高輝度側階調優先処理実行手段と画像を合成する画像合成手段とその他の画像処理を行う現像処理手段と生成された画像を保存するための画像データ圧縮手段とを備えることを特徴とする。【選択図】図４

Description

本発明は、撮影レンズの射出瞳を複数の領域に瞳分割し、分割された瞳領域に応じた複数の視差画像を同時に撮影することができる撮像装置に関し、特に、それらの複数の画像を利用してダイナミックレンジのより広い画像を生成することを特徴とする撮像装置、および画像処理装置、その画像処理方法に関する。

デジタルカメラ、デジタルビデオカメラなどの撮像装置は、被写体からの光を撮影レンズなどで構成される撮像光学系によって電荷結合素子（ＣＣＤ）やＣＭＯＳセンサーなどの撮像デバイスに導いて、被写体画像に対応する電気信号を取得する。そして、この電気信号をアナログ−ディジタル（ＡＤ）変換し、デモザイキング処理することで被写体の画像データが得られる。また撮影レンズの射出瞳を複数の領域に瞳分割し、分割された瞳領域に応じた複数の視差画像を同時に撮影することができる撮像装置が提案されている。このような１つのマイクロレンズに複数の画素が割り当てられた瞳分割画素を有する撮像素子を含む撮像装置において、ハイダイナミックレンジ画像（以下ＨＤＲ画像と記載）を生成する機能を付与することができる撮像装置が開示されている（特許文献１）。

特許文献１によれば、単一のマイクロレンズを共有して光学系の異なる瞳領域を通過した光を受光する第１画素および第２画素のうち一方の画素から第１画像データを取得する第１取得手段と、前記第１画素から得られる画像データおよび前記第２画素から得られる画像データを加算した第２画像データを取得する第２取得手段と、被写体の明るさに応じて、前記第１画像データと前記第２画像データとを合成して合成画像を生成する画像合成手段を利用してダイナミックレンジを拡大している。

また、従来の一般的な撮像センサーを利用する撮像装置上で、撮像感度の設定範囲を１段高感度よりにシフト（ＩＳＯ １００−３２００をＩＳＯ ２００−６４００にシフト）することで、露出アンダーな画像データを用意して、ハイライト部分の階調表現性を向上させる特別なガンマ補正をかけることでダイナミックレンジの広い画像を生成する高輝度側階調優先モードを有する撮像装置も知られている（非特許文献１）。

特開２０１６−５８９９３号公報

Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２，１（２００５）

しかしながら、特許文献１に記載の従来技術では、撮像装置の操作者が複数の瞳分割を用いた視差画像を生成するような撮像モードで撮影する必要がある。また、視差画像を分離強調し、瞳強度分布に基づくシェーディング補正によるゲインを乗算するために、分離された補正視差画像にはノイズが増えてしまう傾向がある。このため、これらの画像をＨＤＲ合成すると高輝度以外の部分でノイズが増えたようにみえてしまうという課題がある。

同様に、非特許文献１に記載される撮像装置においても、露出を一段抑えて撮影し、画像処理で適正露出になるようなゲインをかけるため、低輝度の領域でノイズ成分が劣化し増えてしまうという問題がある。また、実際には露出を１段下げて撮影する必要があることから、利用するＩＳＯ感度に制限がかかり、最低感度を使えないという問題がある。さらに、高輝度側の階調性を向上させるべきか否かを、シーンに応じてユーザが都度判断しなければならないため、高輝度側階調優先モードを有効に利用できるかどうかは、ユーザが正しく判断し、かつ正しくモードの設定を行った場合に限られる。

そこで、上述した課題に鑑み、本発明は、複数の瞳分割による視差画像を利用するかどうかの設定により、高輝度側階調優先の画像処理を前記第１画像データの高輝度領域のみに対して行い、手輝度部分には、従来の画像に相当する第２の画像データに合成することで、低輝度部分のノイズの増加を抑え、かつ最低ＩＳＯ感度の利用を可能とし、良好な合成画像を得ることを目的とする。さらに、視差画像を利用しない撮影モードで行う高輝度側階調優先処理を適用する場合とを自動的に切り替えて、ノイズ感の少ないダイナミックレンジの広い階調豊かな画像を撮影モード設定に応じて提供することを目的とする。

上記の目的を達成するために、本発明に係る撮像装置は、
結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた画素を複数配列した撮像素子により取得される入力画像から、前記異なる瞳部分領域毎に生成された複数の視差画像を入力する手段（４００）と、
前記視差画像に対して、シェーディング補正を行い修正視差画像を生成するためのシェーディング補正手段（４５０）と、
前記複数の修正視差画像の画像のずれ量を検出する像ずれ量検出手段（４４０）と、
適正露出の画像の高輝度領域を検出するハイライト・シャドウ領域検出手段（４２０）と、
高輝度領域の階調を改善するための高輝度側階調優先処理実行手段（４３０）と、
２つの画像を合成する画像合成手段（４６０）と、
前記記載の画像処理以外の画像処理を行う現像処理手段（４１０）と、
生成された画像データを外部記憶媒体に保存するための画像データ圧縮手段（４７０）と、
を備えることを特徴とする。

本発明に係る撮像装置によれば、多視点撮影モードでの複数の視差画像を利用することで、従来一段露出アンダーな画像に対してかけられる低輝度部分のゲインアップによるノイズの増加という弊害、および従来の高輝度階調優先モードが持つ制約を克服して、最大限のダイナミックレンジの拡大された画像をえることが可能となる。

第１実施形態におけるデジタルカメラの概観を示す図 第１実施形態におけデジタルカメラの構成例を示すブロック図 第１実施形態における撮像素子の画素配列の概略を示す図 本発明の実施形態における画像処理部の構成を示す図 第１実施形態に係るダイナミックレンジ拡張処理の流れを示すフローチャート 第１実施形態に係るダイナミックレンジ拡張処理後の画像処理の流れと画像ファイル生成のフローチャート センサ瞳面における瞳強度分布と撮像素子（センサ）の像面における入射角感度特性を説明するための図 シェーディング特性を説明するための図 本発明の実施形態における画像処理部の動作を説明するための図 シェーディング補正係数を説明するための図 撮像装置が操作者が設定可能な画像形式と高輝度側階調優先の処理の有無を示す設定メニューの一例を示す図 撮像装置の設定の違いによる処理結果画像の分類を示す図 第２実施形態における画像処理装置の要部を示すブロック図 第２実施形態における画像処理装置が備える処理手段を模式的に表す図 （ａ）は画像ファイルの概念図、（ｂ）はデジタルカメラ（画像処理部）が生成する画像ファイルの構造例を示す図

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されてもよい。また、各実施の形態を適宜組み合せることも可能である。

＜撮像装置の構成＞
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

図１（ａ）、（ｂ）に本発明を適用可能な撮像装置の一例としてのデジタルカメラ１００の外観図を示す。図１（ａ）はデジタルカメラ１００の前面斜視図であり、図１（ｂ）はデジタルカメラ１００の背面斜視図である。

図１において、表示部２８は画像や各種情報を表示する、カメラ背面に設けられた表示部である。ファインダー外表示部４３は、カメラ上面に設けられた表示部であり、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。シャッターボタン６１は撮影指示を行うための操作部である。モード切替スイッチ６０は各種モードを切り替えるための操作部である。端子カバー４０は該部機器との接続ケーブルとデジタルカメラ１００とを接続する接続ケーブル等のコネクタ（不図示）を保護するカバーである。

メイン電子ダイヤル７１は操作部７０に含まれる回転操作部材であり、このメイン電子ダイヤル７１を回すことで、シャッター速度や絞りなどの設定値の変更等が行える。電源スイッチ７２はデジタルカメラ１００の電源のＯＮ及びＯＦＦを切り替える操作部材である。

サブ電子ダイヤル７３は操作部７０に含まれ、操作部７０に含まれる回転操作部材であり、選択枠の移動や画像送りなどを行える。十字キー７４は操作部７０に含まれ、上、下、左、右部分をそれぞれ押し込み可能な十字キー（４方向キー）である。十字キー７４の押した部分に応じた操作が可能である。ＳＥＴボタン７５は操作部７０に含まれ、押しボタンであり、主に選択項目の決定などに用いられる。ＬＶボタン７６は操作部７０に含まれ、メニューボタンにおいてライブビュー（以下、ＬＶ）のＯＮとＯＦＦを切り替えるボタンである。動画撮影モードにおいては、動画撮影（記録）の開始、停止の指示に用いられる。

拡大ボタン７７は操作部７０に含まれ、撮影モードのライブビュー表示において拡大モードのＯＮ、ＯＦＦ，及び拡大モード中の拡大率の変更を行うための操作ボタンである。再生モードにおいては再生画像を拡大し、拡大率を増加させるための拡大ボタンとして機能する。縮小ボタン７８は操作部７０に含まれ、拡大された再生画像の拡大率を低減させ、表示された画像を縮小させるためのボタンである。再生ボタン７９は操作部７０に含まれ、撮影モードと再生モードとを切り替える操作ボタンである。撮影モード中に再生ボタン７９を押下することで再生モードに移行し、記録媒体２００に記録された画像のうち最新の画像を表示部２８に表示させることができる。

クイックリターンミラー１２は、システム制御部５０から指示されて、不図示のアクチュエータによりアップダウンされる。通信端子１０はデジタルカメラ１００がレンズ側（着脱可能）と通信を行う為の通信端子である。接眼ファインダー１６はフォーカシングスクリーン１３を観察することで、レンズユニット１５０を通して得た被写体の光学像の焦点や構図の確認を行うための覗き込み型のファインダーである。蓋２０２は記録媒体２００を格納ひたスロットの蓋である。グリップ部９０は、ユーザーがデジタルカメラ１００を構えた際に右手で握りやすい形状とした保持部である。

図２は、本考案第１の実施形態によるデジタルカメラ１００の構成例を示すブロック図である。

図２において、システム制御部５０は、少なくとも１つのプロセッサーを有する制御部であり、デジタルカメラ１００全体を制御する。ＥＥＰＲＯＭに代表される不揮発性メモリ５６にはシステム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種画像処理手段を実行するためのプログラムのことである。

この記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。

５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部はメモリ３２、Ｄ／Ａ変換器１９、表示部２８等を制御することにより表示制御も行う。

図２において、レンズユニット１５０は、交換可能な撮影レンズを搭載するレンズユニットである。レンズ１０３は通常、複数枚のレンズから構成されるが、ここでは簡略して一枚のレンズのみで示している。通信端子６はレンズユニット１５０がデジタルカメラ１００側と通信を行う為の通信端子であり、通信端子１０はデジタルカメラ１００がレンズユニット１５０側と通信を行う為の通信端子である。レンズユニット１５０は、この通信端子６，１０を介してシステム制御部５０と通信し、内部のレンズシステム制御回路４によって絞り駆動回路２を介して絞り１の制御を行い、ＡＦ駆動回路３を介して、レンズ１０３の位置を変位させることで焦点を調節する。

ＡＥセンサー１７は、２次元配列された光電変換素子で構成され、レンズユニット１５０を通した被写体の輝度を測光する。本実施形態では、ＡＥセンサー１７はＢａｙｅｒ配列で配列されたＲ（ＩＲ）ＧＢ画素の画素配列となっており、測色や被写体検出、測距なども行うことができる。本実施形態では、撮像部２２の撮像素子よりは画素数が少ないため、撮像素子から得られる信号により行える画像解析よりも解像度の低い解析結果となる。

焦点検出部１１は、システム制御部５０にデフォーカス量情報を出力する。システム制御部５０はそれに基づいてレンズユニット１５０を制御し、位相差ＡＦを行う。

クイックリターンミラー１２（以下、ミラー１２）は、露光、ライブビュー撮影、動画撮影の際にシステム制御部５０から指示されて、不図示のアクチュエータによりアップダウンされる。ミラー１２は、レンズ１０３から入射した光束をファインダ１６側と撮像部２２側とに切替えるためのミラーである。ミラー１２は通常時はファインダ１６へと光束を導くよう反射させるように配されているが、撮影が行われる場合やライブビュー表示の場合には、撮像部２２へと光束を導くように上方に跳ね上がり光束中から待避する（ミラーアップ）。またミラー１２はその中央部が光の一部を透過できるようにハーフミラーとなっており、光束の一部を、焦点検出を行うための焦点検出部１１に入射するように透過させる。

撮影者は、ペンタプリズム１４とファインダー１６を介して、フォーカシングスクリーン１３を観察することで、レンズユニット１５０を通して得た被写体の光学像の焦点や構図の確認が可能となる。

シャッター１０１は、システム制御部５０の制御で撮像部２２の露光時間を自由に制御できるフォーカルプレーンシャッターである。

撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子１１０を有する。撮像素子１１０は、複数のマイクロレンズを有し、各マイクロレンズには複数の光電変換素子が割り当てられることで、各マイクロレンズ下の各光電変換素子にはレンズ１０３を含む撮像光学系の射出瞳における異なる瞳領域からの光束がそれぞれ入射される。これにより各マイクロレンズ下の各光電変換素子から得られる信号は互いに視差を有する、異なる視点からの信号となる。Ａ／Ｄ変換器２３は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。

画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し、撮像する装置に起因する画素欠陥などの補正処理や、デモザイキング処理、ホワイトバランス補正処理、ガンマ補正処理などを含む現像処理、色変換処理、符号化・圧縮処理などを行う。本実施形態では、現像処理は上記の処理の少なくとも一部を含む処理を指し、これらの現像処理が行われていない画像のためのデータをＲＡＷデータとする。

また、この画像処理部２４では撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

また、上述した撮像素子から得られた複数の視点画像の画像データを用いて、それらの視差情報を利用したリフォーカス処理、視点変更処理などの画像処理を具備していてもかまわない。

そして本考案においては、さらに画像の領域の高輝度部分と低輝度部分の領域を判定する機能をもつ。また高輝度領域の階調の改善を目的とした最適なガンマ処理を実行し高輝度領域のダイナミックレンジを拡張するダイナミックレンジ拡張処理も行う。

さらに、画像処理部２４は、撮像素子からの複数の視点画像間の位相差に基づいた像ずれ量の算出を行う。算出された像ずれ量は画像内の被写体の、奥行き方向の相対的な位置関係を示す深度情報であり、必要に応じて、撮像素子１１０やレンズ１０３に起因する係数（Ｋ値）を用いてデフォーカス量、さらには被写体距離の深度情報に換算することができる。画像処理部２４の利用する深度情報としてはこれに限らず、何らかの別の手段で生成、取得された深度情報を用いて各種画像処理を行ってもよい。

加えて前記算出された像ずれ量を考慮して、各種処理を終えた画像を合成する機能も具備する。

Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１９は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１９を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１９からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１９においてアナログ変換し、表示部２８に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示（ライブビュー表示）を行える。

ファインダー内液晶表示部４１には、ファインダー内表示部駆動回路４２を介して、現在オートフォーカスが行われている測距点を示す枠（ＡＦ枠）や、カメラの設定状態を表すアイコンなどが表示される。

ファインダー外液晶表示部４３には、ファインダー外表示部駆動回路４４を介して、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。

システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

モード切替スイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６４、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。

モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）がある。また、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。

モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）がある。また、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチ６０で、これらのモードのいずれかに直接切り替えられる。あるいは、モード切替スイッチ６０で撮影モードの一覧画面に一旦切り換えた後に、表示された複数のモードのいずれかを選択し、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。

第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。

操作部７０は、ユーザーからの操作を受け付ける入力部としての各種操作部材である。操作部７０には、少なくとも以下の操作部が含まれる。シャッターボタン６１、メイン電子ダイヤル７１、電源スイッチ７２、サブ電子ダイヤル７３、十字キー７４、ＳＥＴボタン７５、ＬＶボタン７６、拡大ボタン７７、縮小ボタン７８、再生ボタン７９。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。

電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

通信部５４は、無線または有線ケーブルによって接続し、映像信号や音声信号の送受信を行う。通信部５４は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットとも接続可能である。通信部５４は撮像部２２で撮像した画像（スルー画像を含む）や、記録媒体２００に記録された画像を送信可能であり、また、外部機器から画像データやその他の各種情報を受信することができる。

姿勢検知部５５は重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮像部２２で撮影された画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像なのかを判別可能である。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２で撮像された画像の画像ファイルに付加したり、画像を回転して記録することが可能である。姿勢検知部５５としては、加速度センサーやジャイロセンサーなどを用いることができる。

図４は第１実施形態にかかる撮像装置が備える画像処理部２４が内包する処理手段を模式的に表す図である。

図４に示される各種の処理手段はシステム制御部５０が具備するＣＰＵが不揮発性メモリ５６に記憶された所定の画像処理プログラム等を作業用メモリ３２に展開、実行し、撮像装置が備える各部がシステム制御部５０からの指令に基づいて所定の動作を行うことにより実現される。

画像処理部２４は画像入力手段４００、現像手段４１０、ハイライト・シャドウ領域検出手段４２０、高輝度側階調優先処理実行手段４３０、視差画像の像ずれ量検出手段４４０、視差画像シェーディング補正手段４５０、画像合成手段４６０、画像データ圧縮処理手段４７０を備える。

画像入力手段４００は複数の視差画像を撮像できる撮像素子からなる撮像部２２から画像のデータを作業メモリ３２に読み込む。本撮像素子の構造については、後述する。

読み込まれた複数の視差画像は視差画像シェーディング補正手段４５０により補正されて、本実施例で利用する形式の画像データとして用意される。またハイライト・シャドウ領域検出手段により、適正露出画像に含まれる高輝度の領域を判定し、多視点画像撮影モードの場合は、高輝度側階調優先処理実行手段４６０により、１つの視差画像に対して、その処理を行う。多視点画像撮影モードではない、通常の撮影の場合には、通常の画像に対して、従来技術例に記載の高輝度側階調優先処理が実行される。

さらに、視差画像に対して処理された高輝度側階調優先処理結果は、通常の画像に対して、判定された高輝度領域のみを複数の視差画像の像のずれ量を検出する像ずれ量検出手段４４０と画像合成手段４６０により１枚の画像に合成される。合成された画像は、その他の画像処理を行う現像手段４３０にて補正されて、その現像結果は画像データ圧縮処理手段４７０を使用して外部記憶装置である記録媒体２００に画像ファイルとして保存される。

以下、各種手段の前提となる要素を記載する。

＜撮像部の構造＞
図３は、撮像部２２に内蔵される撮像素子における画素の配置例を模式的に示す図であり、画素が横４画素×縦４画素配列された領域を代表的に示している。

撮像素子１１０は、撮影光学系１０１の瞳領域を瞳分割方向に分割して、異なる瞳部分領域を通過した光束に基づく信号から複数の画像信号を生成可能に構成されている。具体的には、各画素の光電変換領域が水平方向（瞳分割方向）に２分割されており、各光電変換領域が副画素として機能する。従って、図３は、副画素が横８画素×縦４画素配列された領域とも言うことができる。

本実施形態において、図３の左上の２×２の画素群２１０は、撮像素子１１０に設けられた原色ベイヤー配列のカラーフィルタの繰り返し単位に対応している。従って、Ｒ（赤）の分光感度を有する画素２１０Ｒが左上に、Ｇ（緑）の分光感度を有する画素２１０Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２１０Ｂが右下に配置されている。

また、図２の右上の画素に代表的に示すように、各画素は、横２×縦１に等分割された光電変換部を有しており、左半分の光電変換部が第１副画素２１１、右半分の光電変換部が第２副画素２１２として利用可能である。副画素２１１の出力を取得して得られる１つの画像と、副画素２１２の出力を取得して得られる１つの画像とが、１組の視点画像を構成する。したがって、デジタルカメラ１００は１回の撮影によって２つの視点画像を生成することができる。また、各画素の第１副画素２１１と第２副画素２１２で得られる信号を加算することで、瞳分割がなされていない１つの通常画素の画素信号として利用することができる。

ここで、本実施形態では、各マイクロレンズに対応する各画素の回路が、瞳分割された複数の光電変換部で共通の電化蓄積部（フローティングデフュージョン部：ＦＤ部）を有して構成されているため、該ＦＤ部への電荷の転送と、ＦＤ部の電荷のリセットを制御することにより、各副画素からの電荷に基づく画素信号および各副画素からの電荷が混合されて出力された画素信号とが出力可能になっている。ここで各副画素に入射される異なる瞳部分領域を通過した光束に基づく光学像をＡ像、Ｂ像、各光学像に基づく信号（電荷）をＡ像信号、Ｂ像信号、各副画素からの信号が混合された信号を（Ａ＋Ｂ）像信号と便宜上呼ぶものとする。

本実施形態では、通常の撮影モードとして、撮像時に（Ａ＋Ｂ）像信号のみを読み出し、多視点撮影モードとして（Ａ＋Ｂ）像信号に加えてＡ像信号を読み出し、各撮影モードでの記録では、読み出された各画像信号に対応する画像データを記録するものとする。

＜視差画像のシェーディング補正＞
次に複数の副画素から得られる瞳分割画像ごとに瞳強度分布が異なること、及びそれに基づくシェーディング特性について、従来例を交えて図７〜図１０を用いて説明する。

図７は、センサ瞳面における瞳強度分布と撮像素子（センサ）の像面における入射角感度特性を説明するための図である。
Ｊ１０７はセンサ瞳面である。Ｊ１０８はマイクロレンズアレイ、Ｊ１０９は画素アレイであり、撮像素子を構成している。Ｊ１１１は主画素であり、副画素Ｊ１１０ａと副画素Ｊ１１０ｂから構成されている。主画素Ｊ１１１から生成される画像が（Ａ＋Ｂ）像（図９の４０１ａｂ）、副画素Ｊ１１０ａの瞳分割画像がＡ像（図９のＪ２０１ａ）、副画素Ｊ１１０ｂの瞳分割画像がＢ像（図９のＪ２０１ｂ）である。Ａ像、Ｂ像は主画素Ｊ１１１を２つに瞳分割した副画素Ｊ１１０ａまたは、副画素Ｊ１１０ｂから生成されるため、（Ａ＋Ｂ）像に対して１段（１ＥＶ）アンダーな露出となる。

瞳強度分布は、瞳のケラレにより副画素Ｊ１１０ａの瞳強度分布はＪ１０１ａ、副画素Ｊ１１０ｂの瞳強度分布はＪ１０１ｂのようになる。

瞳強度分布Ｊ１０１ａ、Ｊ１０１ｂに対応する像面中央での入射角感度特性はＪ１０３ａ、Ｊ１０３ｂのようになる。副画素Ｊ１１０ａの入射角感度特性はＪ１０３ａ、副画素Ｊ１１０ｂの入射角感度特性はＪ１０３ｂである。Ｊ１１２は絞りなどで制限される入射光の角度範囲である。像面中央では、副画素Ｊ１１０ａ、Ｊ１１０ｂに入射する光量は等しい。

また瞳強度分布Ｊ１０１ａ、Ｊ１０１ｂに対応する像面端での入射角感度特性はＪ１０５ａ、Ｊ１０５ｂのようになる。副画素Ｊ１１０ａの入射角感度特性はＪ１０５ａ、副画素Ｊ１１０ｂの入射角感度特性はＪ１０５ｂである。像面端と像面中央で結像位置が異なるので、像面端の入射角感度特性は像面中央に対して偏心したプロファイルとなる。このため、像面端では、図７の場合だと副画素Ｊ１１０ａに入射する光量よりも副画素Ｊ１１０ｂに入射する光量のほうが多くなる。

上記のことから、像面上の画素位置（Ｘ）と画素値の関係を表すシェーディング特性は、図８のようになる。図８のＪ２０１ａは図７の副画素Ｊ１１０ａのシェーディング特性、Ｊ２０１ｂは図７の副画素Ｊ１１０ｂのシェーディング特性である。図７の像面中央は図８のＸ＝０、像面端はＸ＝５００、に対応する。

それぞれの画像に図８のシェーディング特性の逆特性をシェーディング補正係数として乗算することでシェーディング補正が行われる。シェーディング補正係数は図１０のようになり、Ｊ４０１ａはＡ像Ｊ２０１ａ、Ｊ４０１ｂはＢ像Ｊ２０１ｂに適用される。

図９のアンダー露出画像４０３に対して、図１０のシェーディング補正係数Ｊ４０１ａを乗算することで、シェーディング補正をする（分割瞳のケラレ量ムラによる明暗ムラを補正する）。シェーディング補正に用いるシェーディング補正係数は図２の不揮発性メモリ５６から読み出される。

最終的に、（Ａ＋Ｂ）像４０１ａｂを適正露出画像４０２、Ａ像Ｊ２０１ａをアンダー露出画像４０３とし、アンダー露出画像４０３をシェーディング補正した補正後アンダー露出画像４０４が取得される。そして、適正露出画像４０２と補正後アンダー露出画像４０４において、像面の全面で１段分（１ＥＶ分）の露出差を得ることができる。

このようにして、第１の視差画像であるＡ像をアンダー露出の画像として、センサーから読みだされた第１の視差画像と第２の視差画像の合算データである（Ａ＋Ｂ）像が適正露出画像として分離できる。

＜高輝度側階調優先処理＞
非特許文献１で開示される高輝度側階調優先処理について説明する。高輝度側階調優先モードでの撮影は、通常の撮影時に、適正露出となる明るさに対応する感度では、高輝度領域の輝度が飽和してしまい、いわゆる、「白くとんでいる」と表現される状態になってしまうようなケースに対応するために、あらかじめ、１段露出アンダーとなるような露出の設定で撮影を行う。こうすることで、とんでしまうような高輝度領域の輝度が飽和しないようにすることができる。これは画像として、何か認識できる被写体が映っていることを意味する。

そのような１段アンダーな状態で撮影された画像は、本来適正露出となる部分、しいては低輝度部分のデータの階調が損なわれてしまう。そこで、データの階調が損なわれている低輝度領域の輝度を重点的に適正に戻すためのガンマ補正を行う。

本処理により、高輝度のデータが飽和することなく、また飽和するまでの階調を従来よりも残しつつ、撮影することができる。

本実施例では、多視点撮影モードが設定されている撮影においては、高輝度側階調優先モードがＯＮの場合に、一段アンダーな画像を準備する代わりに、補正された第１視差画像を使用する。また、高輝度以外の領域の明るさを適正なものにするために、多視点撮影モードの場合には、すでに適正露出となっている第１視差画像と第２視差画像の合算データである（Ａ＋Ｂ）像のデータを使用する。この画像データを利用すれば、暗部のノイズを増加させるようなガンマ処理をかけることないし、撮影可能な最低感度での撮影も可能となる。

以上、本考案の処理要素ごとの動作概要を記載した。

以下に本考案のダイナミックレンジの広い階調豊かな画像を生成するための画像処理の全体の流れを説明する。

＜ダイナミックレンジ拡大処理＞
本実施形態のデジタルカメラ１００の撮影時における動作のうち、特に画像処理部２４の動作を、図５のフローチャートで説明する。

図５の処理は、システム制御部５０が撮影開始指示（例えば第２シャッタースイッチ６４のオン）を検知したことによって開始される。撮像素子システム制御部５０は、撮影準備処理において決定した露出条件に従って絞り１およびシャッター１０１の動作を制御し、撮像部２２を露光する。

ステップＳ５００では、画像処理部２４はシステム制御部５０を通じて撮像部２２から図３に示されたような構造をもつ撮像素子からデータを読み出す。このとき、ステップＳ５１０にて撮像装置１００が多視点画像撮影モードに設定されているか判定する。ここで、多視点画像撮影モードに設定されているならば、ステップＳ５２０にて複数の視差画像を読み出し、ステップＳ５３０のシェーディング補正手段を使って、視差画像の補正を行う。こうして、適正露出画像である（Ａ＋Ｂ）像と露出アンダー画像であるＡ像を取得する。

次にステップＳ５４０にて、撮像素子からの複数の視点画像間の位相差に基づいた像ずれ量の算出を行う。算出された像ずれ量は画像内の被写体の、奥行き方向の相対的な位置関係を示す深度情報であり、必要に応じて、撮像素子やレンズ１０３に起因する係数（Ｋ値）を用いてデフォーカス量、さらには被写体距離の深度情報に換算することができる。画像処理部２４の利用する深度情報としてはこれに限らず、何らかの別の手段で生成、取得された深度情報を用いて各種画像処理を行ってもよい。

さらに、ステップＳ５５０にてダイナミックレンジ拡張をするための設定として高輝度側階調優先の設定がＯＮであるかどうかを判断する。ここで設定がＯＮであれば、ステップＳ５６０で適正露出画像である（Ａ＋Ｂ）像のデータから高輝度領域をハイライト・シャドウ領域検出手段４２０を使って検出する。ＯＦＦの設定の場合には、以降の処理は行われず、多視点画像撮影モードによる画像を利用する他の画像処理であるリフォーカスやゴースト低減などの別の画像処理を行うことができる（ダイナミックレンジ拡張処理をしない、このケースの画像をＣ３画像と分類する。）。

最後にステップＳ５７０で露出アンダー画像であるＡ像における検出された高輝度領域に相当する画像領域を前記像ずれ量を加味して、適正露出画像である（Ａ＋Ｂ）像に対して合成処理を行う（このケースで生成される画像をＣ１画像と分類記載する。）。

一方、ステップＳ５１０で多機能撮影モードになっていない場合は、通常撮影モードとなり、取得できる画像は適正露出画像である（Ａ＋Ｂ）像のみとなる。

ここで、ステップＳ５８０で高輝度側階調優先モードになっているかどうか判定し、そうであれば、システム制御部があらかじめ、１段露出段数をさげて露出不足となるような設定で撮影を行っているので、ステップＳ５９０において画像全体に対して、特に高輝度領域のデータが飽和しないようなガンマ補正を実行する（このケースで生成される画像をＣ２画像と分類する。）。多機能撮影モードでも、高輝度側階調優先の設定もＯＦＦの場合は、本画像処理は行われない（このケースにおいても、何も処理しないので画像はＣ３画像と分類する）。

以上説明したように、多視点撮影モードで、かつ高輝度側階調優先処理の設定がＯＮの場合に通常撮影モードでの適正露出画像に対して高輝度側階調優先処理を実行した画像よりも、ノイズの少ない高品質でダイナミックレンジの広い画像（Ｃ１画像）を取得することができる。

上記の説明を補足するために、図１１に撮像装置の操作メニューにおいてのユーザーが設定できるメニューの一例を示す。この２つの操作者が設定可能なパラメータによって、本実施例の処理は前述したようなＣ１からＣ３までに分類される画像を生成することになる。処理結果画像の分類を図１２にまとめている。

ダイナミックレンジの拡張処理が終了すると、その画像データに対して、その他の画像処理を現像処理手段４１０を使って行う。こうしてすべての画像処理手段を経由した画像データは画像データ圧縮手段４７０を利用して画像ファイルとして記録され、別の画像処理装置において、その他の編集、補正作業をすることが可能となる。画像ファイルフォーマットについては、本発明では特に限定しない。主画像データとしてＣ１からＣ３までの画像が記録されていることが最低の要件となることは言うまでもない。

本発明の第２の実施形態では、撮像装置が生成した画像ファイルに記録されている視差画像を含む画像を利用して本発明の目的であるダイナミックレンジの広い画像を生成する画像処理装置である。

図１３に示されるＣＰＵ６００は、外部記憶装置６３０に記憶されたオペレーティングシステム（ＯＳ）や画像処理アプリケーションプログラムをメモリ６２０に展開し、実行することで、装置全体の動作が制御され、装置で実行される各種の処理が実現される。

なお、一般的なパーソナルコンピュータはもとより、デジタルカメラのように撮像装置を兼ねる場合であっても本発明の構成要素を保有していればこれを限定するものではない。

外部記憶装置６３０としては、例えば、ハードディスク等が用いられる。メモリ６２０としては、ＲＡＭ等の揮発性メモリが用いられる。なお、ＯＳや画像処理アプリケーションプログラムは、外部記憶装置６３０に代えて、ＲＯＭ等の不揮発性メモリに記憶されていてもよい。

外部記憶装置６３０には画像データが格納されている。ここでは、外部記憶装置６３０に格納されている画像は、デジタルカメラを用いて撮影された撮影画像であるものとする。ＣＰＵ６００は、外部記憶装置６３０から補正対象となる画像のデータを読み出して表示メモリ６１０に展開し、画像を表示装置６５０に表示する。表示装置６５０としては、液晶ディスプレイやＣＲＴ等が用いられる。

画像処理装置の操作者による操作は、キーボードやマウス等の入力装置６４０を介して、行われる。外部記憶装置６３０から読み出された撮影画像に対して補正を行うことにより生成される新しい画像の画像データは、外部記憶装置６４０にも格納される。

本考案の画像処理装置は外部記憶装置６３０に格納され、適宜実行されるソフトウェアに依存して、下記の第２の実施形態にかかる各画像処理装置となる。

図１４は第２の実施形態にかかる画像処理装置が備える処理手段を模式的に表す図である。

図１４に示される各種の処理手段はＣＰＵ６００が不揮発性メモリ１０３に記憶された所定の画像処理プログラム等を作業用メモリ６４０に展開、実行し、画像処理装置が備える各制御手段からの指令に基づいて所定の動作を行うことにより実現される。

画像処理装置は、画像ファイル入力手段７００、現像手段７１０、画像表示手段７２０を具備し、第１の実施形態で説明した各種制御手段であるハイライト・シャドウ領域検出手段４２０、高輝度側階調優先処理実行手段４３０、視差画像の像ずれ量検出手段４４０、画像合成手段４６０を備える。これらの制御手段の動作は基本的に第１実施形態の例示と同じであるので、詳細は割愛する。

撮像装置が生成した画像ファイルには、第１の実施例に説明した露出アンダーなＡ像である第１の画像データと、適正露出画像である視差画像の合算データである（Ａ＋Ｂ）像である第２の画像データの２種類が記録されている。以下に画像ファイルの構成を示す。

＜画像ファイル構成＞
図１５（ａ）は、画像ファイル１０００の概念図である。

画像ファイル１０００は、１つのファイルに複数ページの画像データを格納したマルチページファイルに対応したファイルフォーマットの一例としてのＴＩＦＦ（Ｔａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）形式に準拠した画像ファイルの構造を持つ。画像ファイル１０００は、ＴＩＦＦヘッダ部１００１、複数のＩＦＤ（Ｉｍａｇｅ Ｆｉｌｅ Ｄｉｒｅｃｔｏｒｙ）部１００２〜１００５、複数の画像データ部１００６〜１００９で構成されている。

１００１は画像ファイル１０００のＴＩＦＦヘッダ部であり、ＴＩＦＦ形式のファイル構造であることを識別するためのデータや、最初のＩＦＤ部へのオフセットなどを格納する領域である。
ＩＦＤ部１００２〜１００５は、それぞれ後述する画像データ部１００６〜１００９に格納される画像データに関連する撮影情報やパラメータなどのメタデータＡ〜Ｄと、画像データ部１００６〜１００９までのオフセット値Ｅ〜Ｈ、次のＩＦＤ部へのオフセットを格納する領域である。最後のＩＦＤ部には、次のＩＦＤ部が存在しないことを示す特定のオフセット値が格納される。また、ＩＦＤ部１００２〜１００５のそれぞれは、対応する画像データ部に格納されている画像データのサイズ（縦横の画素数）や、縮小画像であるかどうかの情報や、画像データがＡ像、Ｂ像、（Ａ＋Ｂ）像のうちのどの光学像に基づいた画像信号に対応するかの情報をメタデータＡ〜Ｄに含んでいる。従って、画像ファイル１０００を用いた処理を行う装置は、ＩＦＤ部１００２〜１００５を参照することで、複数の画像データの中から用途に応じた適切な画像データを読み出すことができる。

０ｔｈＩＦＤ部１００２は０ｔｈ画像データ部１００６に対応した領域である。１つのＩＦＤ部はひとつの画像データ部に対応しており、ＩＦＤ部１００２〜１００５のオフセット値Ｅ〜Ｈにより画像ファイル１０００内の各画像データの開始位置が特定される。

図１５（ｂ）は、本実施形態のデジタルカメラ１００（画像処理部２４）が生成する画像ファイル１１００の構造例を示す図である。ここでは、撮影時に生成した非可逆圧縮画像（表示用画像）、サムネイル画像、可逆圧縮画像（（Ａ＋Ｂ）像）、可逆圧縮画像（Ａ像）を格納する画像ファイルをＴＩＦＦ形式で生成した場合の構造例を示している。

画像ファイル１１００はＴＩＦＦヘッダ部１１０１、０ｔｈＩＦＤ部１１０２〜３ｒｄＩＦＤ部１１０５、サムネイル画像部１１０７、表示用画像部１１０６、（Ａ＋Ｂ）像部１１０８、Ａ像部１１０９で構成されている。

ＴＩＦＦヘッダ部１１０１はＴＩＦＦファイル構造であることを識別するためのデータを格納する。

０ｔｈＩＦＤ部１１０３は、表示用画像部１１０６に関連する撮影情報やパラメータなどのメタデータＢと表示用画像部１１０６までのオフセット値Ｆを格納する。

１ｓｔＩＦＤ部１１０２は、サムネイル画像部１１０７に関連する撮影情報やパラメータなどのメタデータＡとサムネイル画像部１１０７までのオフセット値Ｅを格納する。

２ｎｄＩＦＤ部１１０４は、（Ａ＋Ｂ）像部１１０８に関連する撮影情報やパラメータなどのメタデータＣと（Ａ＋Ｂ）像部１１０８までのオフセット値Ｇを格納する。

３ｒｄＩＦＤ部１１０５は、Ａ像部１１０９に関連する撮影情報やパラメータなどのメタデータＤとＡ像部１１０９までのオフセット値Ｈを格納する。

これらオフセット値Ｅ〜Ｈにより、画像ファイル内の各画像データの開始位置を特定できる。
表示用画像部１１０６は表示部２８などに表示するために、画像処理部２４で生成された表示用画像を格納する領域である。本実施形態では表示用画像をＪＰＥＧ形式としている。

サムネイル画像部１１０７は表示部２８などにメモリ３２の画像一覧画面などのインデックス表示を行う際などに利用するためのサムネイル画像を格納する領域であり、表示用画像を間引くなどして縮小した画像である。

（Ａ＋Ｂ）像部１１０８は、Ａ像とＢ像を加算もしくは合成した画像であって、現像処理前のいわゆるＲＡＷ形式の（Ａ＋Ｂ）像を格納する領域である。

右画像部１１０９は、ＲＡＷ形式のＡ像を格納する領域である。（Ａ＋Ｂ）像からＡ像を減算することでＢ像に相当する画像を生成することができる。Ａ像とＢ像とから、リフォーカス処理や視点変更処理、立体画像生成処理などを行うことができる。

サムネイル画像や表示用画像といった汎用的な表示処理に用いられる現像処理後の画像のデータを、現像処理が必要な（Ａ＋Ｂ）像や、視差画像を取り扱わないアプリケーションでは使用しないＡ像よりも前に配置している。そのため、使用される可能性の高い画像データの読み出し開始までに要する時間を短縮することができる。

なお、本実施例では（Ａ＋Ｂ）像およびＡ像をＲＡＷ形式で格納する構成としたが、画像処理部２４で可逆圧縮した画像データを格納する構成としてもよい。このような構成とすることで、画像ファイルのサイズを削減することが可能である。

また、本実施例では（Ａ＋Ｂ）像とＡ像を画像ファイルに格納する構成について説明したが、Ａ像の代わりにＢ像を記録する構成としてもよい。この場合、多視点撮影モードにおいて読み出す画像信号を（Ａ＋Ｂ）像信号とＢ像信号とすればよい。

＜各画像処理手段の動作＞
画像ファイル入力手段７００は、外部記録装置６３０から画像ファイルをメモリ６２０に読み込む。ここで、画像ファイルから第１の画像データと第２の画像データをそれぞれメモリに展開する。

また、撮影情報解析手段７１０が撮影時のメタ情報を解析して、どのような撮影設定で撮影されたのかを認識する。ここで、多視点撮影モードかどうか、高輝度側階調優先処理が指定されたかどうかの条件を取得する。多視点撮影モードで、高輝度側階調優先処理が指定されているならば、ハイライトシャドウ領域検出手段４２０が適正露出画像である（Ａ＋Ｂ）像から高輝度領域を決定する。まだ２つの画像データから像の位置合わせを行うために必要な像ずれ量を像ずれ量検出手段４４０が算出する。そして画像合成手段４６０が位置合わせをしながら、適正露出の（Ａ＋Ｂ）像に対して、高輝度部の画像には、Ａ像を合成していく。

多視点撮影モードではないが、高輝度側階調優先処理の指定がされていた場合には、高輝度側階調優先処理実行手段４３０が画像データに対して、適正露出にするためのゲインを画像全体に乗算する。その他の画像処理を現像処理手段４１０が行い、その結果を画像表示手段７２０が表示装置に表示する。この画像に対して、シャープネスや、ノイズリダクションといった各種画像処理をかけ、さらなる高画質化を狙うことが可能となる。

本第２の実施形態で例示した方法によれば、画像ファイルに記録された多視点撮影モードの画像があれば、情報処理装置に代表される画像処理装置を利用して、後から、ダイナミックレンジの広い画像を生成するとともに、各種画像処理を調整しながら、より高画質な画像を生成することが可能である。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

２４ 画像処理部、５０ システム制御部、４００ 画像入力手段、
４１０ 現像処理手段、４２０ ハイライト・シャドウ領域検出手段、
４３０ 高輝度側階調優先処理実行手段、４４０ 像ずれ量検出手段、
４５０ シェーディング補正手段、４６０ 合成実行手段、
４７０ 画像データ圧縮手段、６００ ＣＰＵ、６１０ 表示用メモリ、
６２０ 作業用メモリ、６３０ 外部記憶装置、６４０ 入力装置、
６５０ 表示装置、７００ 画像ファイル入力手段、７１０ 画像解析手段、
７２０ 画像表示手段

Claims (6)

1. 結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた画素を複数配列した撮像素子により取得される入力画像から、前記異なる瞳部分領域毎に生成された複数の視差画像を入力する手段（４００）と、
   前記視差画像に対して、シェーディング補正を行い修正視差画像を生成するためのシェーディング補正手段（４５０）と、
   前記複数の修正視差画像の画像のずれ量を検出する像ずれ量検出手段（４４０）と、
   適正露出の画像の高輝度領域を検出するハイライト・シャドウ領域検出手段（４２０）と、
   高輝度領域の階調を改善するための高輝度側階調優先処理実行手段（４３０）と、
   ２つの画像を合成する画像合成手段（４６０）と、
   前記記載の画像処理以外の画像処理を行う現像処理手段（４１０）と、
   生成された画像データを外部記憶媒体に保存するための画像データ圧縮手段（４７０）と、
   を備えることを特徴とする撮像装置。
2. 前記シェーディング補正手段（４５０）は、撮像素子からの第１の視差画像と、第１の視差画像と第２の視差画像の合算データである画像を生成する機能を有することを特徴とする請求項１に記載の撮像装置。
3. 前記高輝度側階調優先処理実行手段（４３０）は、多視点撮影モードとして視差画像ではない場合には露出アンダーな画像に対して、適正露出になるような補正を行うことを特徴とする請求項１に記載の撮像装置。
4. 前記画像合成手段（４６０）は、前記像ずれ量検出手段が検出したずれ量を利用して、位置合わせを行う機能を有し、位置合わせされた前記視点の異なる複数の像において、領域ごとに対応する複数の画素信号から画素信号を選択して合成することで出力画像を生成することを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像装置。
5. 前記画像合成手段（４６０）は、前記ハイライト・シャドウ領域検出手段（４２０）が決定した高輝度領域に前記シェーディング補正後の第１の視差画像を使うことすることを特徴とする請求項１又は請求項４に記載の撮像装置
6. 結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた画素を複数配列した撮像素子により取得される入力画像から、前記異なる瞳部分領域毎に生成された複数の視差画像を記録された画像ファイルを入力する画像ファイル入力手段（７００）と、
   撮影時どのような設定で撮影されたかの情報であるメタデータを取得し、解析する撮影情報解析手段（７１０）と、
   前記複数の修正視差画像の画像のずれ量を検出する像ずれ量検出手段（４４０）と、
   適正露出の画像の高輝度領域を検出するハイライト・シャドウ領域検出手段（４２０）と、
   高輝度領域の階調を改善するための高輝度側階調優先処理実行手段（４３０）と、
   ２つの画像を合成する画像合成手段（４６０）と、
   前記記載の画像処理以外の画像処理を行う現像処理手段（４１０）と、
   生成された画像データを表示装置に表示するための画像表示手段（７２０）と、
   を備えることを特徴とする画像処理装置および画像処理システム。