JP2018107664A - 画像処理装置および画像処理方法、撮像装置、プログラム - Google Patents

Abstract

【課題】 複数の視点画像を用いて合成された画像を所定のファイル形式で記録媒体に保存できる画像処理装置および画像処理方法を提供すること。
【解決手段】画像処理装置は、１回の撮影で取得される複数の視点画像データを取得して画像処理を行う。複数の視点画像データは、撮像装置にて撮像光学系の異なる瞳領域を通過した光をそれぞれ受光する複数の光電変換部から出力される画像データである。画像処理部１２０は、入力画像データである複数の視点画像データにＨＤＲ（ハイダイナミックレンジ）合成処理を行って出力画像データを生成する。制御部１１０は、合成された出力画像データをファイルとして記録媒体１５０に記録する際、入力画像データのファイル形式と同じファイル形式で保存する処理を行う。
【選択図】 図１

Description

本発明は、複数の視点画像データを用いてダイナミックレンジ拡張処理を行う画像処理技術に関する。

複数の画像を合成することにより、ダイナミックレンジ（以下、ＤＲとも表記する）を拡張する技術がある。撮像装置等では、白とびや黒つぶれのないハイダイナミックレンジ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ：ＨＤＲ）画像を生成し、ファイルとして保存する方法がある。特許文献１では、ＨＤＲ合成後の画像データと、合成前後で変化した画素の合成前の値を付加情報としてファイルに記録し、不自然な合成結果となった領域を後から修正可能とする技術が開示されている。また、特許文献２では、複数の視点画像から成るライトフィールド画像を複数用いて合成してＨＤＲ画像が取得される。ファイルの保存時には合成に使用しない画素値を特定の値に置き換えることにより、高効率に圧縮して保存することができる。

また、特許文献３では、瞳分割画像を用いてＨＤＲ画像を合成する技術が開示されている。具体的には、単一のマイクロレンズを共有して光学系の異なる瞳領域を通過した光を受光する撮像素子が用いられる。第１画素および第２画素のうち、一方の画素から得られる画像データと、第１画素および前記第２画素の値を加算して得られる画像データを、被写体の明るさに応じて合成することでＨＤＲ画像を生成することができる。

特開２０１３−２５１７２４号公報 特開２０１４−１６０９１２号公報 特開２０１６−５８９９３号公報

しかしながら、瞳分割画像を用いて合成されたＨＤＲ画像のデータを、ユーザが使用目的に合致した形式でファイルとして保存することを可能にする技術は、これまで提案されていなかった。
本発明の目的は、複数の視点画像を用いて合成された画像を所定のファイル形式で記録媒体に保存できる画像処理装置および画像処理方法を提供することである。

本発明の一実施形態の画像処理装置は、視点の異なる複数の視点画像データを入力画像データとして取得する取得手段と、前記入力画像データにダイナミックレンジ拡張に係る合成処理を行って出力画像データを生成する合成手段と、前記出力画像データまたは前記視点画像データおよび前記出力画像データを、予め定められたファイル形式で記録媒体にファイルとして保存する保存手段と、を備える。

本発明によれば、複数の視点画像を用いて合成された画像を所定のファイル形式で記録媒体に保存できる画像処理装置および画像処理方法を提供することができる。

本発明の実施形態に係る装置の構成を示す図である。 第１実施形態におけるユーザインターフェースの画面構成例を示す図である。 第１実施形態におけるＲＡＷ画像ファイルのデータ構造を示す図である。 第１実施形態の画像処理を説明するフローチャートである。 第１実施形態の画像読み込み処理を説明するフローチャートである。 第１実施形態のＨＤＲ合成処理における画素値の関係を表す図である。 第１実施形態のＨＤＲ合成処理を説明するフローチャートである。 第１実施形態のファイル保存処理手順を説明するフローチャートである。 第２実施形態のＨＤＲ合成済みＲＡＷ画像ファイルの構造を示す図である。 第２実施形態の画像処理を説明するフローチャートである。 第２実施形態の画像読み込み処理を説明するフローチャートである。 第２実施形態のファイル選択方法の説明図である。 第２実施形態のファイル保存処理を説明するフローチャートである。 図１３に続く処理を説明するフローチャートである。 第２実施形態の差分画像データと画像圧縮処理の説明図である。 第３実施形態のＲＡＷ画像ファイルのデータ構造を示す図である。 第３実施形態の画像処理を説明するフローチャートである。 第３実施形態のファイル形式の選択処理を説明するフローチャートである。 第３実施形態のファイル保存処理を説明するフローチャートである。 図１９に続く処理を説明するフローチャートである。

以下、本発明の各実施形態について、図面を参照して詳細に説明する。
［第１実施形態］
本実施形態では、ダイナミックレンジ拡張の合成処理前の画像データと合成パラメータをファイルに保存することが可能な画像処理装置の例を示す。図１（Ａ）は、本実施形態におけるＰｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ（以下、ＰＣという）１００の構成例を示すブロック図である。

制御部１１０はＰＣ１００全体を制御する中枢部であり、例えば中央演算処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備える。画像処理部１２０は、入力された画像データを用いてＨＤＲ合成処理を行う。ＨＤＲ合成処理については後述する。メモリ１３０は、外部から供給されるプログラムやデータを一時記憶するＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）である。メモリ１３０はプログラムの実行に伴って出力されるデータの一時的な格納領域としても用いられる。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１４０は、プログラムやパラメータを格納する記憶デバイスである。本実施形態にてＲＯＭ１４０はアプリケーション２００（図２参照）等の、制御部１１０によって実行されるソフトウェアのプログラムコードや、アプリケーション２００の動作において必要なパラメータ等を格納する。ＲＯＭ１４０は、例えばフラッシュＲＯＭであり、制御プログラムを書き換え可能である。

記録媒体１５０は、コンピュータが読み書き可能である。例えばコンピュータが備える内蔵メモリや、コンピュータに着脱可能に接続されるメモリカードやＨＤＤ、ＣＤ−ＲＯＭ、ＭＯディスク、光ディスク、光磁気ディスクなどの電子データを記録することができるような媒体等を使用可能である。記録媒体１５０には、画像データなどのデジタルデータがファイルとして格納されている。

操作部１６０は、キーボード、ポインティングデバイス等で構成される。ユーザは操作部１６０を用いてＰＣ１００への操作指示を行い、入出力データの指定、プログラムの変更、画像処理の実行等が可能である。

表示部１７０は液晶ディスプレイ等の表示デバイスを備える。表示部１７０の画面には、例えばアプリケーション２００のＧｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ（ＧＵＩ）画面や、画像処理の結果などが表示される。内部バス１８０はＰＣ１００において、各要素間の制御信号やデータ信号の伝送路である。なお、ＰＣ１００が撮像機能を有する場合には、撮像部１９０を備える。撮像部１９０は、レンズや絞りなどの光学部材を有する撮像光学系と、撮像光学系を通して結像される光像を光電変換する撮像素子を備える。制御部１１０および画像処理部１２０は撮像部１９０から取得される画像データに対し、現像などの画像処理を行う。

図１（Ｂ）は、瞳分割型撮像素子における画素の配置例を模式的に示す図である。図１（Ｂ）の紙面に垂直な方向をｚ方向として、ｚ方向に直交する横方向（左右方向）をｘ方向として、ｘ方向およびｚ方向に直交する縦方向（上下方向）をｙ方向と定義する。図１（Ｂ）は、画素がｘ方向に４画素でｙ方向に４画素配列された領域を代表的に示している。瞳分割型撮像素子は、撮影光学系の瞳領域を瞳分割方向に分割して、異なる瞳部分領域を通過した光束に基づく信号から複数の画像信号を生成可能である。具体的には、各画素の光電変換部が水平方向（瞳分割方向）に２分割されており、各光電変換部が副画素部として機能する。図１（Ｂ）では、副画素部がｘ方向に８画素でｙ方向に４画素配列された領域を例示する。

図１（Ｂ）の左上の２行２列の画素群１２１０は、撮像素子に設けられた原色ベイヤー配列のカラーフィルタの繰り返し単位に対応している。従って、Ｒ（赤）の分光感度を有する画素１２１０Ｒが左上に、Ｇ（緑）の分光感度を有する画素１２１０Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素１２１０Ｂが右下に配置されている。また、図１（Ｂ）の右上の画素に代表的に示すように、各画素は、ｘ方向にて２つに等分割された光電変換部を有しており、左半分の光電変換部が第１副画素部１２１１、右半分の光電変換部が第２副画素部１２１２として利用可能である。副画素部１２１１の出力を取得して得られる１つの画像と、副画素部１２１２の出力を取得して得られる１つの画像とが、１組の視点画像を構成する。したがって、１回の撮影によって２つの視点画像を生成することができる。また、各画素の第１副画素部１２１１と第２副画素部１２１２で得られる信号を加算することで、加算信号を瞳分割がなされていない１つの通常画素の画素信号として利用することができる。本実施形態では、各マイクロレンズに対応する各画素の回路が、瞳分割された複数の光電変換部で共通の電荷蓄積部（フローティングデフュージョン部：ＦＤ部）を有して構成されている。ＦＤ部への電荷の転送と、ＦＤ部の電荷のリセットを制御することにより、各副画素部からの電荷に基づく画素信号および各副画素部からの電荷が混合されて出力された画素信号とが出力可能である。例えば、各副画素部に入射される異なる瞳部分領域を通過した光束に基づく光学像としてのＡ像およびＢ像と、各副画素部からの信号が混合された信号をもつ（Ａ＋Ｂ）像を取得することができる。なお、各画素における光電変換部については４分割、９分割など、任意の分割が可能である。

図２は、アプリケーション２００が表示部１７０の画面に表示するユーザインターフェース（ＵＩ）の画面例を示す。フォルダの表示エリア２１０は、記録媒体１５０から読み込まれたファイルの一覧をフォルダツリー構造で表示するフォルダツリー表示エリアである。単一のフォルダをアイコン２１１で表現する表示処理が行われる。ユーザはアイコン２１１をクリックすることによって、画像処理の対象となる画像ファイルを内包するフォルダを選択することができる。サムネイル表示エリア２２０は、フォルダツリー表示エリア２１０で選択されたフォルダ内に保存された画像ファイルの一覧を表示する領域である。サムネイル画像２２１は、単一の画像ファイルに対応する縮小画像を表した画像である。ユーザはサムネイル画像２２１をクリックすることによって、画像処理の対象となる画像ファイルを選択することができる。プレビューエリア２３０は、ユーザによって選択された入力画像ファイルに画像処理を行った結果を表示する領域である。

編集操作領域２４０は、ユーザが画像編集操作を行うためのＧＵＩ群で構成される領域である。ＧＵＩ群とは、例えばボタン、スライダー、チェックボックス、数値の入力ボックスのオブジェクトである。ユーザは編集操作領域２４０の各ＧＵＩオブジェクトを操作することで、ＧＵＩに割り当てられた編集操作指示を行うことができる。編集操作とは、例えば画像回転、トリミング、明るさ調整、コントラスト調整、ホワイトバランス調整、ノイズ除去である。ＨＤＲ合成処理ボタン２４１は、ユーザがクリックすることでＨＤＲ合成処理の実行を指示するためのボタンである。保存処理ボタン２５０は、ユーザが入力画像ファイルに対する編集結果の保存を指示するためのボタンである。設定ボタン２５１は、アプリケーション２００の動作をユーザが設定するためのボタンである。この他、アプリケーション２００は、画像処理アプリケーションとしての一般的なメニュー操作部を有するが、図示を省略する。

図３は、記録媒体１５０に格納されているＲＡＷ画像ファイル３００のデータ構造を示す概念図である。ＲＡＷ画像とは、現像処理などの画像加工処理が行われていない画像である。本実施形態では、１つのファイルに複数ページの画像データを格納したマルチページファイルに対応したファイルフォーマットの一例としてＴＩＦＦ（Ｔａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）形式に準拠した画像ファイルの構造を説明する。

ＲＡＷ画像ファイル３００のＴＩＦＦヘッダ部３０１は、ＴＩＦＦ形式のファイル構造であることを識別するためのデータや、最初のＩＦＤ部へのオフセットなどを格納する領域である。
ＩＦＤ部３０２〜３０５にはそれぞれ、下記データが格納される。
・画像データ部３０６〜３０９に格納される各画像データに関連する撮影情報やパラメータなどのメタデータＡ〜Ｄ。
・画像データ部３０６〜３０９までのオフセット値Ｅ〜Ｈ。
・次のＩＦＤ部へのオフセット値。
最後に位置するＩＦＤ部には、次のＩＦＤ部が存在しないことを示す特定のオフセット値が格納される。また、ＩＦＤ部３０２〜３０５はそれぞれ、対応する画像データ部に格納されている画像データのサイズ（縦横の画素数）や、縮小画像であるかどうかの情報や、後述する瞳分割画像としての情報をメタデータＡ〜Ｄに含んでいる。従って、ＲＡＷ画像ファイル３００を用いた処理を行う画像処理装置は、ＩＦＤ部３０２〜３０５を参照することで、複数の画像データの中から用途に応じた適切な画像データを読み出すことができる。

画像データ部３０６〜３０９は、表示用画像データ部３０６、サムネイル画像データ部３０７、（Ａ＋Ｂ）像データ部３０８、Ａ像データ部３０９から成る。表示用画像データ部３０６は、表示部１７０などに表示するための表示用画像を格納する領域である。本実施形態では表示用画像のデータ形式をＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式とする。サムネイル画像データ部３０７はアプリケーション２００のサムネイル表示エリア２２０での表示などに使用するためのサムネイル画像を格納する領域である。サムネイル画像は表示用画像のデータの間引き処理などで縮小した画像である。（Ａ＋Ｂ）像データ部３０８とＡ像データ部３０９は、瞳分割画像を取得可能な撮像装置によって記録されたＲＡＷ画像データを格納する領域である。具体的には以下の方法でデータが記録される。

撮像装置はＣＣＤ（電荷結合素子）型イメージセンサやＣＭＯＳ（相補型金属酸化膜半導体）型イメージセンサ等の撮像素子を有する。撮像素子を構成する複数の主画素はそれぞれ、単一のマイクロレンズの下に配置され、単一のマイクロレンズを共有して撮像光学系の異なる瞳領域を通過した光を受光する第一画素および第二画素を有する。撮像素子によって受光された光学像は光電変換およびＡ（アナログ）／Ｄ（デジタル）変換を施され、第一画素の瞳分割画像（Ａ像）と第二画素の瞳分割画像（Ｂ像）が生成される。Ａ像およびＢ像は視点の異なる視点画像である。Ａ像およびＢ像はそれぞれ瞳強度分布が異なり、シェーディング特性を有するため、その逆特性を用いてシェーディング補正が行われる。この補正により、分割瞳のケラレ量ムラによる明暗ムラを補正することが可能である。撮像装置は、シェーディング補正後のＡ像データをＲＡＷ画像ファイル３００のＡ像データ部３０９に記録する処理を行う。また撮像装置は、Ａ像とＢ像を加算して得られる（Ａ＋Ｂ）像データを（Ａ＋Ｂ）像データ部３０８に記録する処理を行う。このとき、（Ａ＋Ｂ）像に対してＡ像は画素の開口が１段分の露出アンダー状態であるため、（Ａ＋Ｂ）像が適正露出画像で、Ａ像がアンダー露出画像となる。なお、Ａ像の代わりにＢ像をアンダー露出画像としてＲＡＷ画像ファイル３００に記録する構成でもよい。また、本実施形態では、（Ａ＋Ｂ）像およびＡ像のビット深度を１４ｂｐｐ（ｂｉｔｓ ｐｅｒ ｐｉｘｅｌ）とするが、それ以外のｂｉｔ深度で記録してもよい。本実施形態では、（Ａ＋Ｂ）像データ部３０８およびＡ像データ部３０９に格納されるデータとしては、圧縮されていない非圧縮ＲＡＷ画像データとする。この形態に限らず、（Ａ＋Ｂ）像データ部３０８およびＡ像データ部３０９に、可逆圧縮したＲＡＷ画像データを格納し、読み出し時に圧縮ＲＡＷ画像データの伸長処理を行う構成でもよい。

編集パラメータ部３１０は、編集処理のパラメータを記録する領域である。編集処理のパラメータは、ＲＡＷ画像ファイル３００に対して過去にアプリケーション２００などにより編集処理を行ったときのパラメータであり、画像編集パラメータとＨＤＲ合成パラメータで構成される。画像編集パラメータは、例えば編集操作領域２４０をユーザが操作することによって実行された画像編集処理のパラメータである。ＨＤＲ合成パラメータは、本実施形態では、入力ＲＡＷ画像データに対してＨＤＲ合成処理が行われたかどうかを示す判別用フラグ（以下、ＨＤＲ合成フラグという）とする。ＨＤＲ合成フラグがＯＮである場合、ＨＤＲ合成処理が実行されたことを意味する。なお、ＨＤＲ合成パラメータには、各画素に対する判定結果を用いてもよい。

次に、本実施形態に係る画像処理と保存処理の動作について、図４〜図８を用いて説明する。本実施形態では、フローチャートの処理を実現するプログラムがＲＯＭ１４０に記憶されている例を示すが、プログラムがメモリカードなどの記録媒体１５０に記録されている形態でもよい。またネットワーク上にプログラムがある場合、プログラムをダウンロードして実行する形態にも本実施形態を適用可能である。本実施形態ではアプリケーション２００がＰＣ１００上で動作する例を示すが、アプリケーション２００と同様の処理が可能な各種の処理装置、例えば撮像装置などに本実施形態を適用可能である。

図４のフローチャートを参照して、ＨＤＲ合成機能とファイル保存機能を備えたアプリケーション２００の動作を説明する。ＨＤＲ合成機能は、入力ＲＡＷ画像ファイルに対してＨＤＲ合成を行う機能である。ファイル保存機能は、編集処理後のＲＡＷ画像データを画像ファイルとして保存する機能である。Ｓ４００で制御部１１０は、ユーザからの操作指示を受け付ける。ユーザの操作指示が検出された場合、Ｓ４０１の処理へ移行し、操作指示がない場合にはＳ４００の判定処理が繰り返される。

Ｓ４０１で制御部１１０は、ユーザによる入力ＲＡＷ画像ファイルの選択操作が行われたか否かを判定する。ファイル選択操作は、例えばユーザがフォルダツリー表示エリア２１０に表示されたフォルダの１つをクリックし、その後にサムネイル表示エリア２２０に表示されたサムネイル画像の１つをクリックすることで行われるものとする。入力ＲＡＷ画像ファイルの選択操作が行われたと判定された場合、Ｓ４０２の処理へ移行する。また、入力ＲＡＷ画像ファイルの選択操作が行われていないと判定された場合には、Ｓ４０３の処理へ移行する。

Ｓ４０２で制御部１１０は、画像読み込み処理を行う。その詳細は後述する。画像読み込み処理が終了すると、制御部１１０は処理をＳ４００へ戻す。Ｓ４０３で制御部１１０は、ユーザによって編集操作領域２４０のＧＵＩオブジェクトが操作されたか否か、つまり画像編集操作が行われたか否かを判定する。画像編集操作が行われたと判定された場合、Ｓ４０４の処理へ移行し、画像編集操作が行われていないと判定された場合にはＳ４０５の処理に移行する。

Ｓ４０４で制御部１１０は、入力ＲＡＷ画像ファイルの（Ａ＋Ｂ）像データ部３０８に格納された画像データに対し、Ｓ４０３で操作されたＧＵＩオブジェクトに割り当てられた内容やパラメータに応じた画像編集処理を行う。画像編集処理の結果はプレビューエリア２３０に表示されることで、ユーザに提示される。画像編集処理が終了すると、制御部１１０はＳ４００の処理に戻す。なお、画像編集処理については本発明の本質的な事項ではないため、説明を省略する。

Ｓ４０５で制御部１１０は、ユーザによってＨＤＲ合成処理ボタン２４１が操作されたか否かを判定する。図２のＨＤＲ合成処理ボタン２４１が操作されたと判定された場合、Ｓ４０６の処理へ移行し、操作されていない場合にはＳ４０７の処理へ移行する。Ｓ４０６で制御部１１０は、ＨＤＲ合成処理を行う。その詳細は後述する。ＨＤＲ合成処理が終了すると、制御部１１０はＳ４００へ処理を戻す。

Ｓ４０７で制御部１１０は、ユーザによって保存処理ボタン２５０が操作されたか否かを判定する。図２の保存処理ボタン２５０が操作されたと判定された場合、Ｓ４０８の処理へ移行し、操作されていない場合にはＳ４０９の処理に移行する。

Ｓ４０８で制御部１１０は、ファイル保存処理を行う。その詳細は後述する。ファイル保存処理が終了すると、制御部１１０はＳ４００へ処理を戻す。Ｓ４０９で制御部１１０は、ユーザによってアプリケーション２００の終了操作が行われたか否かを判定する。アプリケーション２００の終了操作が行われたと判定された場合には処理を終了し、アプリケーション２００の終了操作が行われない場合にはＳ４００へ処理を戻す。

以上の動作において、処理の開始後に、Ｓ４０１で入力ＲＡＷ画像ファイルの選択がされるまでの間、Ｓ４０３〜Ｓ４０８がスキップされるように構成してもよい。あるいは、サムネイル表示エリア２２０に表示されているＲＡＷ画像ファイルのうち、特定の入力ＲＡＷ画像ファイルを、初期の入力ＲＡＷ画像ファイルとして設定してもよい。特定の入力ＲＡＷ画像ファイルとは、例えば表示位置、クリップ名、撮影日時などによる順番が先頭または末尾になるＲＡＷ画像ファイルや、前回画像処理の対象としたＲＡＷ画像ファイルなどである。

次に、図５のフローチャートを参照して、図４のＳ４０２に示した画像読み込み処理について説明する。Ｓ５００で制御部１１０は、記録媒体１５０から、図４のＳ４０１でユーザによって選択された入力ＲＡＷ画像ファイルを取得する。Ｓ５０１で制御部１１０は、画像編集パラメータが存在するか否かを判定する。入力ＲＡＷ画像ファイルの編集パラメータ部３１０に画像編集パラメータが記録されていると判定された場合、Ｓ５０２の処理に移行し、画像編集パラメータが記録されていないと判定された場合にはＳ５０３の処理へ移行する。

Ｓ５０２で制御部１１０は画像編集処理を実行する。入力ＲＡＷ画像ファイルの（Ａ＋Ｂ）像データ部３０８に格納された画像データに対し、編集パラメータ部３１０に記録された画像編集パラメータに応じた画像編集処理が行われる。画像編集処理が終了すると、Ｓ５０３の処理へ移行する。

Ｓ５０３で制御部１１０はＨＤＲ合成フラグの判別処理を行う。入力ＲＡＷ画像ファイルの編集パラメータ部３１０にＨＤＲ合成パラメータが存在し、かつＨＤＲ合成フラグがＯＮであるという判定条件を満たす場合、Ｓ５０４の処理へ移行する。判定条件を満たさない場合にはＳ５０５の処理に移行する。Ｓ５０４で制御部１１０は、入力ＲＡＷ画像ファイルに対し、ＨＤＲ合成処理を行う。その詳細は後述する。ＨＤＲ合成処理が終了すると、Ｓ５０５の処理へ移行する。

Ｓ５０５で制御部１１０はプレビュー表示処理を行う。入力ＲＡＷ画像ファイルから表示用画像データ部３０６の画像データを取得して、図２のプレビューエリア２３０に表示する処理が行われた後、画像読み込み処理を終了する。なお、プレビューエリア２３０に表示する画像データとしては、Ｓ５０２およびＳ５０４で処理を行った結果を用いて生成した画像データであってもよい。

次に、図６および図７を参照して、図４のＳ４０６および図５のＳ５０４におけるＨＤＲ合成処理について説明する。ＨＤＲ合成処理では、図３に示したＲＡＷ画像ファイル３００について、ダイナミックレンジを拡張した画像データを生成し、生成された画像データを表示する処理が実行される。

図６は、ＨＤＲ合成処理の説明図である。縦軸は画素値を表わし、横軸は被写体の明るさを表わす。グラフ線６０１はＡ像の画素値を表わし、グラフ線６０３は（Ａ＋Ｂ）像の画素値を表す。ＴＨ２は画素値の飽和レベルを表わす。明るい被写体を適正露出で撮像した場合、画素値はレベルＴＨ２でクリップされる。本実施形態では（Ａ＋Ｂ）像のビット深度を１４ｂｐｐとする。ＴＨ２は１４ｂｉｔで表現できる画素値の最大値に相当する。ＴＨ１は適正露出の飽和レベルに対応する被写体の明るさである。グラフ線６０２は、Ａ像を１段分ゲインアップしたＡ^*像の画素値を表わす。Ａ像は（Ａ＋Ｂ）像より１段分アンダーの画像であるため、Ａ^*像により（Ａ＋Ｂ）像と明るさを合わせることができる。また、１４ｂｐｐのＡ像を１段ゲインアップすることで、Ａ^*像として１５ｂｐｐの画素値を取得できる。Ａ^*像の画素値の上限は飽和レベルＴＨ２の２倍、つまり「ＴＨ２×２」となる。被写体の明るさを、「ＴＨ１×２」までのＡ^*像の画素値により表現することができる。

図７のフローチャートを参照して、ＨＤＲ合成処理について説明する。Ｓ７００で制御部１１０は、入力ＲＡＷ画像ファイルの（Ａ＋Ｂ）像データ部３０８から、（Ａ＋Ｂ）像データを取得する。Ｓ７０１で制御部１１０は、入力ＲＡＷ画像ファイルのＡ像データ部３０９から、Ａ像データを取得する。Ｓ７０２で制御部１１０は、所定の画素位置における被写体像の明るさが閾値（ＴＨ１）以上であるか否かを判定する。所定の画素位置における被写体像の明るさが閾値以上である場合、Ｓ７０３の処理へ移行する。所定の画素位置における被写体像の明るさが閾値未満である場合にはＳ７０４の処理へ移行する。

Ｓ７０３で制御部１１０は、取得したＡ像データ６０１および（Ａ＋Ｂ）像データ６０３のうち、Ａ像データ６０１を選択する。Ｓ７０４で制御部１１０は、取得したＡ像データ６０１および（Ａ＋Ｂ）像データ６０３のうち、（Ａ＋Ｂ）像データ６０３を選択する。Ｓ７０５で制御部１１０は、Ｓ７０３、Ｓ７０４で選択された画像データに基づいてＨＤＲ合成画像を生成する処理を行う。このとき制御部１１０は、被写体像の明るさが閾値以上の画素位置では、Ａ像データ６０１をゲインアップしてＡ^*像データ６０２を生成する。Ｓ７０６で制御部１１０は、Ｓ７０５で生成したＨＤＲ合成画像をプレビューエリア２３０に表示する処理を行い、ＨＤＲ合成処理を終了する。

次に、図８のフローチャートを参照して、図４のＳ４０８に示したファイル保存処理について説明する。アプリケーション２００による画像処理の結果は、ＲＡＷ画像ファイル３００と同じ構成を持つファイル形式で保存される。

Ｓ８００で制御部１１０は、入力ＲＡＷ画像ファイルの（Ａ＋Ｂ）像データ部３０８から、（Ａ＋Ｂ）像データを取得する。Ｓ８０１で制御部１１０は、入力ＲＡＷ画像ファイルのＡ像データ部３０９から、Ａ像データを取得する。Ｓ８０２で制御部１１０は、編集パラメータを取得する。編集パラメータは、以下のとおりである。
・入力ＲＡＷ画像ファイルの編集パラメータ部３１０から取得したパラメータ
・図４のＳ４０４で実行された画像編集処理のパラメータ
・図４のＳ４０６で実行されたＨＤＲ合成処理のＨＤＲ合成パラメータ。

Ｓ８０３で制御部１１０は、図４のＳ４０４の画像編集処理の結果を用いて表示用画像とサムネイル画像を生成する処理を行う。Ｓ８０４で制御部１１０は、Ｓ８００〜Ｓ８０３で取得した各データについてＩＦＤ部の情報を生成し、図３のＲＡＷ画像ファイル３００の形式で記録媒体１５０に保存し、ファイル保存処理を終了する。このとき、本実施形態では、入力ＲＡＷ画像ファイルが上書き保存されるものとする。ただし、上書き保存を行うか、または別のファイルとして保存するかをユーザが選択できるように構成してもよい。

本実施形態では、（Ａ＋Ｂ）像およびＡ像で構成されるＲＡＷ画像ファイルに対し、ＨＤＲ合成処理を施した結果を、元のファイルと同じ構成を持つＲＡＷ画像ファイルとして保存することが可能である。また、ＨＤＲ合成処理の結果を入力ＲＡＷ画像ファイルと同じファイル形式で保存することにより、再度アプリケーション２００での画像編集が可能である。本実施形態によれば、１回の撮影で取得される複数の視点画像データをＨＤＲ合成処理して生成されるＨＤＲ画像データを所定のファイル形式で記録媒体に保存する点で有利な画像処理装置を提供することができる。

［第２実施形態］
次に、本発明の第２実施形態を説明する。本実施形態では、保存するＲＡＷ画像ファイルの形式を、ユーザが複数の異なるファイル形式から選択可能な例を説明する。本実施形態におけるＰＣの構成を示すブロック図、アプリケーション２００のＵＩ構成図、記録媒体１５０に格納されているＲＡＷ画像ファイルの概念図は、それぞれ第１実施形態の図１〜図３と同様である。よって、それらの説明を省略し、主に相違点を説明する。このような説明の省略については後述の実施形態でも同じである。

図９および図１０を参照して、本実施形態に係る画像処理と保存処理について説明する。図９は、ＲＡＷ画像データ部と差分画像データ部を持つＨＤＲ合成済みＲＡＷ画像ファイル９００のデータ構造を示す概念図である。ＲＡＷ画像ファイル９００は、ＲＡＷ画像ファイル３００と同様、ＴＩＦＦ形式に準拠した画像ファイルのデータ構造を有する。領域９０１〜９０３、９０６〜９０７および９１０は、図３の３０１〜３０３、３０６〜３０７および３１０にそれぞれ相当するため、説明を省略する。

ＲＡＷ画像データ部９０８は、単一のＲＡＷ画像データを格納する領域である。本実施形態では、ＲＡＷ画像データのビット深度を１４ｂｐｐまたは１５ｂｐｐとする。差分画像データ部９０９は、ファイル保存処理で生成される差分画像データを格納する領域である。データの内容の詳細については後述する。また、差分画像データ部９０９は必ず存在するとは限らない。

ＩＦＤ部９０４および９０５は、それぞれＲＡＷ画像データ部９０８、差分画像データ部９０９に対応するＩＦＤ部である。第２ＩＦＤ部９０４には、ＲＡＷ画像データ部９０８に格納されているＲＡＷ画像データのビット深度の情報も記録されている。

次に図１０および図１１を参照して、本実施形態に係る画像処理とファイル保存処理について説明する。図１０は、ＨＤＲ合成機能とファイル保存機能を備えたアプリケーション２００の動作を説明するフローチャートである。ＨＤＲ合成機能は、入力ＲＡＷ画像ファイルに対してＨＤＲ合成を行う機能である。ファイル保存機能は、編集されたＲＡＷ画像ファイルを、ユーザの選択に応じた形式の画像ファイルとして保存する機能である。Ｓ１０００〜Ｓ１００４の処理はそれぞれ、図４のＳ４００〜４０４と同様の処理であるため、それらの説明を省略する。

Ｓ１００５で制御部１１０は、入力ＲＡＷ画像ファイルのＩＦＤ部の情報を検索し、入力ＲＡＷ画像ファイルに（Ａ＋Ｂ）像データ部３０８とＡ像データ部３０９の両方が存在するかどうかを判断する。（Ａ＋Ｂ）像データ部３０８およびＡ像データ部３０９が存在する場合には、Ｓ１００６の処理へ移行し、（Ａ＋Ｂ）像データ部３０８およびＡ像データ部３０９が存在しない場合にはＳ１００８の処理へ移行する。Ｓ１００６〜Ｓ１０１０の処理はそれぞれ、図４のＳ４０５〜Ｓ４０９と同様の処理であるため、それらの説明を省略する。

次に、図１１のフローチャートを参照して、図１０のＳ１００２における本実施形態に特有の画像読み込み処理について説明する。なお、Ｓ１１００〜Ｓ１１０２の処理はそれぞれ、図５のＳ５００〜Ｓ５０２と同様の処理であるため、それらの説明を省略する。

Ｓ１１０３で制御部１１０は、入力ＲＡＷ画像ファイルのＩＦＤ部の情報を検索し、入力ＲＡＷ画像ファイルにＡ像データ部３０９が存在するかどうかを判定する。入力ＲＡＷ画像ファイルにＡ像データ部３０９が存在すると判定された場合、Ｓ１１０４のＨＤＲ合成フラグ判定処理へ移行する。入力ＲＡＷ画像ファイルにＡ像データ部３０９が存在しない場合にはＳ１１０６の処理に移行する。Ｓ１１０４およびＳ１１０５の処理はそれぞれ、図５のＳ５０３およびＳ５０４と同様の処理であるため、それらの説明を省略する。

Ｓ１１０６で制御部１１０は、入力ＲＡＷ画像ファイルのＩＦＤ部の情報を検索し、入力ＲＡＷ画像ファイルに差分画像データ部９０９が存在するかどうかを判定する。入力ＲＡＷ画像ファイルに差分画像データ部９０９が存在する場合、Ｓ１１０７の処理へ移行し、存在しない場合にはＳ１１０８の処理に移行する。

Ｓ１１０７で制御部１１０は、ＲＡＷ画像データ部９０８の画像データに、差分画像データ部９０９の差分画像データを加算する。Ｓ１１０８で制御部１１０は、入力ＲＡＷ画像ファイルから表示用画像データ部３０６の画像データを取得してプレビューエリア２３０に表示し、画像読み込み処理を終了する。なお、プレビューエリア２３０に表示する画像データとしては、Ｓ１１０２、Ｓ１１０５およびＳ１１０７で処理を行った結果を用いて生成した画像データでもよい。
図１０のＳ１００７および図１１のＳ１１０５におけるＨＤＲ合成処理は、図６および図７で説明した処理と同様であるため、説明を省略する。

次に、図１２から図１４を用いて、図１０のＳ１００９におけるファイル保存処理について説明する。ファイル保存処理では、アプリケーション２００による画像処理の結果を、ユーザの選択に応じて、ＲＡＷ画像ファイル３００、ＨＤＲ合成済みＲＡＷ画像ファイル９００のいずれかと同じ構成を持つファイル形式で保存する処理が行われる。

図１２は、ファイル保存処理を説明するための図である。図１２（Ａ）は、ファイル保存処理においてユーザが選択可能なファイル形式の一覧表である。４つのファイル形式について、ファイルサイズ、データの劣化、保存後の視差画像利用の可否、互換性の有無をそれぞれ例示する。ファイル形式の情報は表示部１７０の画面に表示されてユーザに提示される。図１２（Ａ）では、出力画像データのファイル形式の情報としてファイルサイズ情報、互換性に関する情報、失われるデータによる画質の変化に関する情報を例示するが、その他の情報を使用可能である。ファイル形式は、「オリジナル」、「差分データを付加」、「１５ｂｐｐＲＡＷ」、「１４ｂｐｐＲＡＷ」とする。

図１２（Ｂ）は、ファイル保存処理においてユーザがファイル形式を選択するためのファイル形式選択ダイアログ１２００のＵＩ構成の例を示す。ダイアログ１２００内には、ユーザにファイル形式の選択を促すメッセージ１２０１が表示される。その下のドロップダウンリスト１２０２には、ユーザのクリックにより、ファイル形式を選択するためのリストが表示される。ユーザがドロップダウンリスト１２０２をクリックすると、図１２（Ａ）に示す複数のファイル形式の名称がリスト形式で表示される。ユーザはドラッグアンドドロップ操作により、所望のファイル形式を選択することができる。ダイアログ１２００が表示された際のドロップダウンリスト１２０２の初期状態は、いずれのファイル形式も選択していないものとする。なおデフォルト状態は、リスト内で一番上のファイル形式を選択した状態でもよく、または前回にファイル保存処理を行ったときと同じファイル形式を選択した状態でもよい。領域１２０３は、ユーザがドロップダウンリスト１２０２を操作することで選択したファイル形式に基づいて、保存されるファイルのサイズの予測値を表示するエリアである。ファイルサイズは、ドロップダウンリスト１２０２の選択状態が変化するごとに数値が更新される。ＯＫボタン１２０４は、ユーザはクリックすることでファイル保存処理の実行を指示するための操作領域である。キャンセルボタン１２０５は、ユーザがクリックすることでファイル保存処理の取り消しを指示するための領域であり、前の画面に戻ることができる。この他、ファイル形式選択ダイアログ１２００は、選択されたファイル形式について、図１２（Ａ）に示される情報の説明文を表示するエリアや、ファイルの保存場所を選択するエリア、ファイルの名称や拡張子を変更するエリアを有する。

図１３および図１４はファイル保存処理を説明するフローチャートである。Ｓ１３００で制御部１１０は、入力ＲＡＷ画像ファイルのＩＦＤ部の情報を検索し、入力ＲＡＷ画像ファイルにＡ像データ部３０９が存在するかどうかを判定する。入力ＲＡＷ画像ファイルにＡ像データ部３０９が存在すると判定された場合、Ｓ１３０２の処理へ移行し、存在しない場合にはＳ１３０１の処理に移行する。

Ｓ１３０１で制御部１１０は、入力ＲＡＷ画像ファイルと同じファイル形式を選択し、図１４のＳ１３０６の処理に移行する。また、Ｓ１３０２で制御部１１０は、図１２（Ｂ）に示すファイル形式選択ダイアログ１２００を表示部１７０の画面に表示する処理を行う。Ｓ１３０３で制御部１１０は、ファイル形式選択ダイアログ１２００のドロップダウンリスト１２０２で、図１２（Ａ）に示すいずれかのファイル形式が選択されているかどうかを判定する。いずれかのファイル形式が選択されている場合、Ｓ１３０４の処理へ移行し、選択されていない場合にはＳ１３０５の処理へ移行する。

Ｓ１３０４で制御部１１０は、ユーザによって図１２（Ｂ）のＯＫボタン１２０４が操作されたか否かを判定する。ＯＫボタン１２０４が操作された場合、図１４のＳ１３０６の処理へ移行し、操作されない場合にはＳ１３０５の処理に移行する。Ｓ１３０５で制御部１１０は、ユーザによってキャンセルボタン１２０５が操作されたか否かを判定する。図１２（Ｂ）のキャンセルボタン１２０５が操作された場合には、ファイル保存処理を終了し、操作されない場合にはＳ１３０３の処理に移行する。

図１４のＳ１３０６で制御部１１０は、ファイル形式選択ダイアログ１２００のドロップダウンリスト１２０２で、「オリジナル」のファイル形式が選択されているかどうかを判定する。「オリジナル」のファイル形式が選択されている場合には、Ｓ１３０７の処理へ移行し、選択されていない場合にはＳ１３０９の処理へ移行する。Ｓ１３０７およびＳ１３０８はそれぞれ、図８のＳ８００およびＳ８０１と同様の処理であるため、それらの説明を省略する。

Ｓ１３０９で制御部１１０は、図４のＳ４０６におけるＨＤＲ合成処理で得られたＨＤＲ合成画像を取得する。ＨＤＲ合成画像データは１５ｂｐｐの画像データである。Ｓ１３１０で制御部１１０は、ファイル形式選択ダイアログ１２００のドロップダウンリスト１２０２で、差分データ付加のファイル形式が選択されているかどうかを判定する。差分データ付加のファイル形式が選択されている場合、Ｓ１３１１の処理へ移行し、選択されていない場合にはＳ１３１２の処理へ移行する。

Ｓ１３１１で制御部１１０は、差分画像データを取得する。差分画像データは、Ｓ１３０９で取得したＨＤＲ合成画像から、ＨＤＲ合成画像を１４ｂｐｐでクリップした画像を減算することで得られる。本実施形態では、差分画像データはＡ像データの最高位ビットで表される１ｂｐｐの画像データと同義である。図１５（Ａ）は１４ｂｐｐのＨＤＲ ＲＡＷ画像データと差分画像データの説明図である。横軸は被写体の明るさを表し、縦軸は画素値を表す。

Ｓ１３１２で制御部１１０は、ファイル形式選択ダイアログ１２００のドロップダウンリスト１２０２で、１４ｂｐｐＲＡＷのファイル形式が選択されているかどうかを判定する。「１４ｂｐｐＲＡＷ」のファイル形式が選択されている場合、Ｓ１３１３の処理へ移行し、選択されていない場合、すなわち「１５ｂｐｐＲＡＷ」のファイル形式が選択されている場合にはＳ１３１４の処理へ移行する。

Ｓ１３１３で制御部１１０は、ＨＤＲ ＲＡＷ画像圧縮処理を行う。ＨＤＲ ＲＡＷ画像圧縮処理は、１５ｂｐｐのＨＤＲ合成画像を１４ｂｐｐのデータに変換する処理である。その詳細は後述する。ＨＤＲ ＲＡＷ画像圧縮処理が終了すると、Ｓ１３１４の処理へ移行する。Ｓ１３１４〜Ｓ１３１６の処理はそれぞれ、図８のＳ８０２〜Ｓ８０４と同様の処理であるため、それらの説明を省略する。

図１５（Ｂ）は、図１４のＳ１３１３におけるＨＤＲ ＲＡＷ画像圧縮処理を説明するための図である。縦軸はＨＤＲ ＲＡＷ画像圧縮処理の出力画像データにおける画素値を表わし、横軸は入力画像データにおける画素値を表わす。グラフ線１４０１はＨＤＲ ＲＡＷ圧縮処理をしない場合の出力画素値を表す。グラフ線１４０１の表わす出力画素値は、本実施形態では１５ｂｐｐＲＡＷのファイル形式が選択されている場合の出力画素値と同義である。図１５（Ｃ）は、１４ビット圧縮データの生成処理の流れを示す概念図である。ＨＤＲ合成処理部は、（Ａ＋Ｂ）像データおよびＡ像データと、撮影時のパラメータを取得し、合成パラメータに従って合成処理を実行する。生成された１５ｂｐｐのＲＡＷデータは圧縮処理されて、１４ｂｐｐのＨＤＲ ＲＡＷデータが得られる。

図１５（Ｂ）のグラフ線１４０２は、１５ｂｉｔ（０〜３２７６８）の入力画素値を、１４ｂｉｔ（０〜１６３８４）の範囲にマッピングした場合の出力画素値を表わす。マッピングには、アプリケーション２００が保持する入力画素値と出力画素値の対応表を参照し、各画素について対応する値を取り出す方法を用いる。なお、アプリケーション２００は対応表を複数保持し、入力画像データによって使い分けてもよい。例えば、全体的に暗い画像の場合には、グラフ線１４０２に示されるように出力画素値の値を入力画素値の小さい範囲により多く割り当てることで、低輝度部分の階調を残すことができる。また、図１４のＳ１３１４で取得される編集パラメータに対応表を追加することで、保存したファイルをアプリケーション２００に再度読み込んだ際に、逆変換によって元のＨＤＲ合成画像データに近いデータに変換することができる。

この他、グラフ線１４０３の表わす画素値のように、グラフ線１４０１の表わす画素値を１段分ゲインダウンした出力画素値とすることで１４ｂｐｐに圧縮する方法を用いてもよい。この場合、図１４のＳ１３１４で取得される編集パラメータに１段分ゲインアップする内容のデータを追加することで、保存したファイルをアプリケーション２００に再度読み込んだ際に、明るさを元のＨＤＲ合成画像データと合わせることができる。
本実施形態によれば、（Ａ＋Ｂ）像およびＡ像で構成されるＲＡＷ画像ファイルに対し、ＨＤＲ合成処理を施した結果を、ユーザが選択した形式のＲＡＷ画像ファイルとして保存することができる。

［第３実施形態］
次に、本発明の第３実施形態を説明する。本実施形態では、Ａ像およびＢ像で構成されるＲＡＷ画像ファイルに対し、ＨＤＲ合成処理を行う例を示す。第１実施形態では、ファイル保存処理を実行する際に必ずファイル形式選択ダイアログを表示する例を説明した。これに対して本実施形態では、ファイル形式が一度選択された場合、その後に、ファイル保存処理の実行のたびにファイル形式を選択する操作が不要な例を示す。

図１６は、記録媒体１５０に格納されているＲＡＷ画像ファイル１５００の概念図である。ＲＡＷ画像ファイル１５００は、ＲＡＷ画像ファイル３００と同様、ＴＩＦＦ形式に準拠した画像ファイルの構造を持ち、画像データ部はＡ像データ部とＢ像データ部を有する。領域１５０１〜１５０３、１５０６〜１５０７および１５１０は、図３の領域３０１〜３０３、３０６〜３０７および３１０にそれぞれ相当するため、それらの説明を省略する。

Ａ像データ部１５０８とＢ像データ部１５０９はそれぞれ、瞳分割画像を取得可能な撮像装置によって記録されたＲＡＷ画像データを格納する領域である。具体的には、第１実施形態で説明した撮像装置が、第一画素の瞳分割画像（Ａ像）と第二画素の瞳分割画像（Ｂ像）の各データを生成する。撮像装置はシェーディング補正を行ったＡ像をＲＡＷ画像ファイル１５００のＡ像データ部１５０８に記録し、シェーディング補正を行ったＢ像をＢ像データ部１５０９に記録する。このとき、Ａ像とＢ像を加算して得られる（Ａ＋Ｂ）像に対してＡ像およびＢ像は画素の開口が１段分の露出アンダーとなるため、（Ａ＋Ｂ）像が適正露出画像となり、Ａ像およびＢ像がアンダー露出画像となる。ＩＦＤ部１５０４および１５０５は、それぞれＡ像データ部１５０８、Ｂ像データ部１５０９に対応するＩＦＤ部である。

次に、本実施形態に係る画像処理と保存処理について、図１７から図２０を用いて説明する。図１７は、ＨＤＲ合成機能とファイル保存機能を備えたアプリケーション２００の動作を説明するフローチャートである。ＨＤＲ合成機能は、入力ＲＡＷ画像ファイルに対してＨＤＲ合成を行う機能である。ファイル保存機能は、編集されたＲＡＷ画像ファイルを、あらかじめ設定されたファイル形式で保存する機能である。Ｓ１６００〜Ｓ１６０４の処理はそれぞれ、図１０のＳ１０００〜Ｓ１００４と同様の処理であるため、それらの説明を省略する。

Ｓ１６０５で制御部１１０は、入力ＲＡＷ画像ファイルのＩＦＤ部の情報を検索し、入力ＲＡＷ画像ファイルにＡ像データ部１５０８とＢ像データ部１５０９の両方が存在するかどうかを判定する。入力ＲＡＷ画像ファイルにＡ像データ部１５０８とＢ像データ部１５０９の両方が存在すると判定された場合、Ｓ１６０６の処理へ移行する。入力ＲＡＷ画像ファイルにＡ像データ部１５０８およびＢ像データ部１５０９が存在しないと判定された場合にはＳ１６０８の処理に移行する。Ｓ１６０６の処理は、図１０のＳ１００６と同様の処理であるため、説明を省略する。

Ｓ１６０７で制御部１１０はＨＤＲ合成処理を行う。本実施形態において、ＨＤＲ合成処理は、入力画像ファイルのＡ像データ部１５０８とＢ像データ部１５０９から取得したデータを加算した（Ａ＋Ｂ）像データを生成し、プレビューエリア２３０に表示する処理である。Ａ像データとＢ像データはそれぞれ１４ｂｐｐの１段露出アンダーの画像であるため、それらを加算して得られる（Ａ＋Ｂ）像データは１５ｂｐｐの適正露出画像となり、図６のグラフ線６０２と同様の被写体の明るさに対応する画素値を持つ。

Ｓ１６０８で制御部１１０は、ユーザによってファイル形式の設定ボタン２５１が操作されたか否かを判定する。設定ボタン２５１が操作されたことが判定された場合、Ｓ１６０９の処理へ移行し、操作されない場合にはＳ１６１０の処理に移行する。Ｓ１６０９で制御部１１０は、ファイル形式設定処理を行う。その詳細は後述する。ファイル形式設定処理が終了すると、Ｓ１６００の処理へ移行する。Ｓ１６１０、Ｓ１６１２の処理はそれぞれ、図１０のＳ１００８、Ｓ１０１０と同様の処理であるため、それらの説明を省略する。

次に、図１８のフローチャートを参照して、図１６のＳ１６０９におけるファイル形式設定処理について説明する。Ｓ１７００〜Ｓ１７０２の処理はそれぞれ、図１３のＳ１３０２〜Ｓ１３０４と同様の処理であるため、それらの説明を省略する。

Ｓ１７０３で制御部１１０は、ファイル形式選択ダイアログ１２００のドロップダウンリスト１２０２で選択されたファイル形式を、アプリケーション２００の設定情報としてメモリ１３０に記録する。ファイル形式の設定情報はアプリケーション２００を終了する際にＲＯＭ１４０に記録され、再度アプリケーション２００を起動した際に読み込まれるので、同じ設定を再び使用できる。なお、ファイル形式の設定情報はＳ１７０３の時点でＲＯＭ１４０に記憶してもよいし、アプリケーション２００の終了時に破棄し、再度アプリケーション２００を起動した際は初期値を使用する構成でもよい。また、ファイル形式の設定情報の初期値は「オリジナル」の形式とする。なお、ファイル形式の設定情報が設定されていない場合には、保存処理ボタン２５０を無効とすることで図１７のＳ１６１０をスキップする構成でもよい。

Ｓ１７０４で制御部１１０は、ユーザによってキャンセルボタン１２０５が操作されたか否かを判定する。キャンセルボタン１２０５が操作されたことが判定された場合、ファイル形式設定処理を終了し、操作されない場合にはＳ１７０１の処理に戻る。

次に、図１９、図２０のフローチャートを参照して、図１７のＳ１６１１に示したファイル保存処理について説明する。Ｓ１８００およびＳ１８０１の処理はそれぞれ、図１３のＳ１３００およびＳ１３０１と同様の処理であるため、それらの説明を省略する。

Ｓ１８０２で制御部１１０は、図１７のＳ１６０９で設定されたファイル形式を選択する。Ｓ１８０３で制御部１１０は、Ｓ１６０１またはＳ１６０２で、「オリジナル」のファイル形式が選択されたかどうかを判定する。「オリジナル」のファイル形式が選択されていると判定された場合、Ｓ１８０４の処理へ移行し、選択されていない場合にはＳ１８０６の処理へ移行する。

Ｓ１８０４で制御部１１０は、入力ＲＡＷ画像ファイルのＡ像データ部１５０８から、Ａ像データを取得する。Ｓ１８０５で制御部１１０は、入力ＲＡＷ画像ファイルのＢ像データ部１５０９から、Ｂ像データを取得する。図１９および図２０のＳ１８０６〜Ｓ１８１３の処理はそれぞれ、図１３のＳ１３０９〜Ｓ１３１６と同様の処理であるため、それらの説明を省略する。

本実施形態によれば、Ａ像およびＢ像で構成されるＲＡＷ画像ファイルに対し、ＨＤＲ合成処理を施した結果を、ユーザが選択した形式のＲＡＷ画像ファイルとして保存することができる。また、一度ユーザがファイル形式を選択した結果をアプリケーションが保持することで、ファイル保存処理の実行ごとにファイル形式を選択する操作を行う必要がなく、所望のファイル形式でファイル保存を行える。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１０‥‥ 制御部
１２０‥‥ 画像処理部
１５０‥‥ 記録媒体
１６０‥‥ 操作部
１７０‥‥ 表示部

Claims (13)

1. 視点の異なる複数の視点画像データを入力画像データとして取得する取得手段と、
   前記入力画像データにダイナミックレンジ拡張に係る合成処理を行って出力画像データを生成する合成手段と、
   前記出力画像データまたは前記視点画像データおよび前記出力画像データを、予め定められたファイル形式で記録媒体にファイルとして保存する保存手段と、を備える
   ことを特徴とする画像処理装置。
2. 前記入力画像データは１回の撮像で取得される視点画像データであって、画像加工処理が行われる前のＲＡＷ画像データである
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記入力画像データは、撮像光学系の異なる瞳領域を通過した光をそれぞれ受光する第１および第２の光電変換部のうち、前記第１の光電変換部から取得される第１の画像データと、前記第１の画像データおよび第２の光電変換部から取得される画像データを加算して得られる第２の画像データであり、
   前記保存手段は、前記ファイルの第１の領域に前記第１の画像データを保存し、前記ファイルの第２の領域に前記第２の画像データを保存する処理を行う
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記入力画像データは、撮像光学系の異なる瞳領域を通過した光をそれぞれ受光する第１および第２の光電変換部のうち、前記第１の光電変換部から取得される第１の画像データと、前記第２の光電変換部から取得される第２の画像データの画像データであり、
   前記保存手段は、前記ファイルの第１の領域に前記第１の画像データを保存し、前記ファイルの第２の領域に前記第２の画像データを保存する処理を行う
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
5. 前記保存手段は、前記入力画像データのファイル形式で前記出力画像データを保存する
   ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記保存手段は、前記ファイルの第１の領域に前記ＲＡＷ画像データを保存し、前記ファイルの第２の領域に差分画像データを保存する
   ことを特徴とする請求項２に記載の画像処理装置。
7. 複数のファイル形式から１つのファイル形式を選択する選択手段を備え、
   前記保存手段は、前記選択手段により選択されたファイル形式で前記出力画像データを保存する
   ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
8. 前記複数のファイル形式の情報を表示する表示手段を備え、
   前記ファイル形式の情報は、前記出力画像データが保存されたファイルについて、ファイルサイズ情報、互換性に関する情報、画質の変化に関する情報のうちの１つ以上を含む
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記保存手段は、前記出力画像データに対して前記合成処理が行われたことを示す情報を付加する
   ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 請求項１から９のいずれか１項に記載の画像処理装置と、
    被写体を撮像する撮像素子を備える撮像装置。
11. 前記撮像素子は、複数のマイクロレンズと、複数の光電変換部を有し、各マイクロレンズがそれぞれ前記複数の光電変換部に対応しており、
    前記各マイクロレンズに対応する前記複数の光電変換部より出力される信号から前記複数の視点画像データが生成されることを特徴とする請求項１０に記載の撮像装置。
12. 視点の異なる複数の視点画像データを処理する画像処理装置にて実行される画像処理方法であって、
    前記視点画像データを入力画像データとして取得する工程と、
    前記入力画像データにダイナミックレンジ拡張に係る合成処理を行って出力画像データを生成する工程と、
    前記出力画像データまたは前記視点画像データおよび前記出力画像データを、予め定められたファイル形式で記録媒体にファイルとして保存する工程と、を有する
    ことを特徴とする画像処理方法。
13. 請求項１２に記載の各工程を画像処理装置のコンピュータに実行させるためのプログラム。

Images