JP2019033308A - 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置 - Google Patents

Abstract

【課題】 画像合成によって得た合成画像について、ユーザに分かりやすいメタデータを合成画像の画像ファイルに付与することができるという効果を有する。【解決手段】 画像処理装置は、ピント位置を変化させながら被写体を撮像して得られた複数の撮像画像が与えられ、上記複数の撮像画像を合成して合成画像を生成する合成制御部と、上記合成画像の合成に用いられた各撮像画像についての撮影条件に基づくメタデータを上記撮像画像毎に作成するメタデータ作成部と、上記合成制御部が生成した上記合成画像の画像ファイルに上記メタデータ作成部が作成した上記メタデータを付与して記録する記録制御部とを具備する。【選択図】図１

Description

本発明は、画像ファイルのメタデータを得る処理を行う画像処理装置、画像処理方法、画像処理プログラム及び撮像装置に関する。

従来、デジタルカメラなどの撮影機能付き携帯機器（撮像装置）が普及している。この種の撮像装置において使われる画像ファイルは、撮影情報等の規格化された情報、例えば、露出時間、絞り値、露出プログラム、ＩＳＯ感度、撮影日時の情報等を含む。

ユーザは、画像ファイル中のメタデータの内容を参照することで、当該画像の撮影条件等を確認することができ、例えば今後の撮影のパラメータ設定等の示唆を得ることができる。

ところで、近年、複数枚の画像を合成する深度合成撮影、パノラマ撮影等が可能なカメラが商品化されている。

特許文献１においては、撮像方向を変位させながらの撮像動作によって得られる複数のフレーム画像データを用いて生成されたパノラマ画像データが、全周パノラマ画像と判断される場合に、該パノラマ画像データと、該パノラマ画像データが全周パノラマ画像であることを示す情報とを関連付ける関連付け部を備える装置が開示されている。

深度合成撮影は、ピント位置を変化させながら複数回の撮影を行って得た複数の撮像画像を合成（深度合成）することで、ユーザが狙った被写体の全体にピントが合った画像を得るものである。

特開２０１５−１５６５２３号公報

画像ファイルのメタデータには、１枚の撮像画像についての撮影情報が含まれている。このため、合成画像については、ユーザは十分に分かりやすい情報を得ることができないことがある。

本発明は、画像合成によって得た合成画像について、ユーザに分かりやすいメタデータを合成画像の画像ファイルに付与することができる画像処理装置、画像処理方法、画像処理プログラム及び撮像装置を提供することを目的とする。

本発明の一態様による画像処理装置は、ピント位置を変化させながら被写体を撮像して得られた複数の撮像画像が与えられ、上記複数の撮像画像を合成して合成画像を生成する合成制御部と、上記合成画像の合成に用いられた各撮像画像についての撮影条件に基づくメタデータを上記撮像画像毎に作成するメタデータ作成部と、上記合成制御部が生成した上記合成画像の画像ファイルに上記メタデータ作成部が作成した上記メタデータを付与して記録する記録制御部とを具備する。

本発明の一態様による画像処理方法は、ピント位置を変化させながら被写体を撮像して得られた複数の撮像画像が与えられ、上記複数の撮像画像を合成して合成画像を生成し、上記合成画像の合成に用いられた各撮像画像についての撮影条件に基づくメタデータを上記撮像画像毎に作成し、上記合成画像の画像ファイルに上記メタデータを付与して記録する。

本発明の一態様による画像処理プログラムは、コンピュータに、ピント位置を変化させながら被写体を撮像して得られた複数の撮像画像が与えられ、上記複数の撮像画像を合成して合成画像を生成する手順と、上記合成画像の合成に用いられた各撮像画像についての撮影条件について、サイズが既知の補正用既知対象物を撮像して得た補正情報を用いて上記ピント位置を距離換算してメタデータとして作成する手順と、上記合成画像の画像ファイルに上記メタデータを付与して記録する手順とを実行させる。

本発明の一態様による撮像装置は、上記画像処理装置と、ピント位置可変の光学系によりピント位置を変化させながら被写体を撮像する撮像部とを具備する。

本発明によれば、画像合成によって得た合成画像について、ユーザに分かりやすいメタデータを合成画像の画像ファイルに付与することができるという効果を有する。

本発明の第１の実施の形態に係る画像処理装置を有する撮像装置を示すブロック図。 深度合成モードにおける撮影の様子を示す説明図。 深度合成モードにおける動作を説明するための説明図。 深度合成モードにおいて撮影された撮像画像及び合成画像を示す説明図。 深度合成モードにおいて撮影された撮像画像及び合成画像を示す説明図。 深度合成モードにおいて撮影された撮像画像及び合成画像を示す説明図。 横軸にピント位置をとり縦軸に距離の逆数をとって、所定のレンズについてピント位置と距離との関係を示すグラフ。 硬貨の種類と直径との関係を示す図表ｑ キャリブレーション処理のフローを示すフローチャートｑ キャリブレーション時の撮影の様子を示す説明図。 図９は第１の実施の形態の動作を説明するためのフローチャートである。 通常撮影時の画像ファイルに記録される内容を説明するための説明図。 深度合成モード時の画像ファイルに記録される内容を説明するための説明図。 変形例を示す説明図。 他の変形例を示す説明図。 本発明の第２の実施の形態において採用される深度合成のピント位置シフト制御を示すフローチャート。 深度合成による撮像画像のコントラストの変化を示す説明図。 本発明の第３の実施の形態を示すフローチャート。 第３の実施の形態の深度合成モードにおける撮影の様子を示す説明図。 深度合成モードにおいて撮影された撮像画像及び合成画像を示す説明図。 深度合成モードにおいて撮影された撮像画像及び合成画像を示す説明図。 深度合成モードにおいて撮影された撮像画像及び合成画像を示す説明図。 深度合成モードにおいて撮影された撮像画像及び合成画像を示す説明図。 キャリブレーションを説明するための説明図。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る画像処理装置を有する撮像装置を示すブロック図である。本実施の形態においては、撮像装置の画像処理装置は、撮像部に対して深度合成のための撮像制御を行うと共に、深度合成時に用いた各撮像画像の取得時の撮影情報等を撮像画像毎にメタデータとして合成画像の画像ファイルに付与して記録させるようになっている。これにより、合成画像のメタデータの内容を参照するユーザの利便性を向上させる。

なお、撮影情報としては、露出時間、絞り値、露出プログラム、ＩＳＯ感度、撮影日時の情報等の各種撮影パラメータを含む。更に、本実施の形態においては、撮影情報として被写体までの距離の情報（以下、被写体距離情報という）を含む。なお、本実施の形態においては、被写体距離は、撮影レンズから被写体の各部までの距離であって、合焦状態となる場合の距離をいう。

また、本実施の形態においては、メタデータとして被写体距離情報を含めるだけでなく、画像処理によるキャリブレーションによって、求める距離の情報の正確性を向上させるようになっている。

図１において、撮像装置１には撮像部１０が設けられている。撮像部１０は、ＣＣＤやＣＭＯＳセンサ等の撮像素子１１と、被写体の光学像を撮像素子の撮像面に導く撮影レンズ（光学系）１２とを備える。撮影レンズ１２としては、撮像部１０に取り付けられた固定のレンズであってもよく、また、交換式のレンズであってもよい。撮影レンズ１２は、ズームやフォーカシングのための図示しないレンズ等を備えており、これらのレンズは、レンズ駆動部１３によって駆動制御されるようになっている。レンズ駆動部１３のピント変更部１３ａは、後述する制御部２０のレンズ制御部２４からの制御信号に基づいて、フォーカシングのためのレンズを駆動して、ピント位置を変更することができるようになっている。なお、撮像部１０において採用する撮像素子１１としては、像面位相差法においてデフォーカス量を求めるためのフォーカス制御用の画素（以下、ＡＦ画素という）を有するものであってもよい。

また、光学系特性部１４は、光学系の特性に関する情報を取得して、制御部２０に出力するようになっている。なお、光学系の特性に関する情報としては、後述する深度合成に必要な情報、例えば、被写界深度情報、ピント合わせ可能範囲の情報やピント合わせ時の距離とピント位置の関係を示す情報等を含む。また、光学系特性部１４は、光学系の特性に関する情報として、焦点距離及び絞りの状態を反映させた情報を取得することができるようになっている。

制御部２０は、例えば、図示しないメモリに記憶されたプログラムに従ってカメラ制御を行う図示しないＣＰＵ等を用いたプロセッサによって構成することができる。制御部２０は、撮像部１０に撮像素子１１の駆動信号を出力してシャッタスピード、露光時間等を制御すると共に、撮像部１０からの撮像画像を読み出す。制御部２０の画像処理部２１は、読み出した撮像画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。

レンズ制御部２４は、レンズ駆動部１３を制御する。レンズ制御部２４は、オートフォーカス制御が可能である。例えば、レンズ制御部２４は、レンズ駆動部１３のピント変更部１３ａを制御してピント位置を変更しながら画像処理部２１のコントラスト判定処理結果によって、所謂山登りコントラスト法によるオートフォーカス制御が可能である。また、レンズ制御部２４は、撮像素子１１がＡＦ画素を有している場合には、像面位相差法によるオートフォーカス制御を行ってもよい。

制御部２０には、操作判定部２７が設けられている。操作判定部２７は、図示しないシャッタボタン、ファンクションボタン、撮影モード設定等の各種スイッチ等を含む操作部１５に対するユーザ操作を受け付けるようになっている。制御部２０は操作判定部２７の判定結果に基づいて各部を制御する。記録制御部２５は、各種信号処理後の撮像画像を圧縮処理し、圧縮後の画像を記録部３０に与えて記録させることができる。

記録部３０は、所定の記録媒体を備えており、記録制御部２５によって画像ファイルが記録されるようになっている。例えば、記録制御部２５は、画像ファイルとして例えばＥｘｉｆ（Exchangeable image file format）など特定の形式にして画像ファイルを記録することができ、記録部３０は、画像ファイル中の画像データ部分を記録する領域である画像データ部３１及びメタデータ部分を記録する領域であるメタデータ部３２を備えている。また、記録部３０には、所定の対象物の特徴量を記録した対象物特徴データベース（ＤＢ）３３が設けられている。

制御部２０の表示制御部２８は、表示に関する各種処理を実行する。表示制御部２８は、信号処理後の撮像画像を表示部４１に与えることができる。表示部４１は、ＬＣＤ（液晶パネル）等の表示画面を有しており、表示制御部２８から与えられた画像を表示する。また、表示制御部２８は、各種メニュー表示等を表示部４１の表示画面に表示させることもできるようになっている。

なお、表示部４１の表示画面上には、図示しないタッチパネルが設けられていてもよい。タッチパネルは、ユーザが指で指し示した表示画面上の位置に応じた操作信号を発生することができる。この操作信号は、制御部２０に供給される。これにより、制御部２０は、ユーザがタッチした表示画面上の位置やユーザが表示画面上を指でスライドさせるスライド操作を検出することができ、ユーザ操作に対応した処理を実行することができるようになっている。

なお、表示部４１の表示画面は撮像装置１の筐体１ａ（図２参照）の背面に沿って設けられており、撮影者は、撮影時に表示部４１の表示画面上に表示されたスルー画を確認することができ、スルー画を確認しながら撮影操作を行うこともできる。

通信制御部２９は、通信部４５を制御して、外部機器との間で通信を行うことができる。通信部４５は、通信制御部２９に制御されて、外部機器との間で有線又は無線によるデータの送信及び受信が可能である。例えば、通信部４５としては、ＵＳＢ規格の有線通信やＷｉｆｉ（登録商標）等の無線ＬＡＮやブルートゥース（登録商標）等による無線通信が可能に構成されている。通信制御部２９は、通信部４５を介して、撮像画像、合成画像等の画像ファイルやその他の各種情報を外部機器に送信することができるようになっている。

本実施の形態においては、深度合成等の画像合成を行う場合に、合成前の各撮像画像について被写体距離情報を含む撮影情報を取得し、取得した撮影情報をメタデータとして合成画像の画像ファイルに付与することができるようになっている。

制御部２０の深度合成制御部２２は、このような深度合成処理を制御する。即ち、合成制御部である深度合成制御部２２は、深度合成モードにおいて、撮像素子１１及びレンズ制御部２４を制御して深度合成のための複数回の撮影を行わせ、画像処理部２１を制御して取得された複数の撮像画像による深度合成画像を生成する。更に、本実施の形態においては、深度合成制御部２２は、メタデータ作成部２６を制御して、各撮像画像についての被写体距離情報をメタデータとして記録部３０に記録させるようになっている。

図２は深度合成モードにおける撮影の様子を示す説明図である。また、図３は深度合成モードにおける動作を説明するための説明図である。また、図４Ａから図４Ｃは深度合成モードにおいて撮影された撮像画像及び合成画像を示す説明図である。

図２の例は物品の撮影、所謂物撮りにおける様子を示している。インターネット等を介して物品を販売するネット販売では、販売する商品等の写真をサイト上に掲載することがある。この場合の商品写真については、通常細部まで鮮明な画像であった方がよい。しかしながら、商品が奥行き方向に長い部分を有する商品を撮影する場合には、商品の各部の被写体距離が比較的大きく異なる場合がある。このため、絞りを絞れなかったり、被写体距離が小さすぎたりする場合には、撮影機器の焦点深度が浅くなり、通常撮影モードでは、商品の一部にしかピントが合っていない画像が撮影されてしまうことがある。これに対し、深度合成モードを採用すれば、このようなユースシーンにおいて、細部までピントが合った画像の撮影を容易に行うことができる。

テーブル５４上には物品（商品）である瓶５５が載置されている。ユーザ５１は、瓶５５が視野範囲に入るように、右手５２で撮像装置１の各回路を収納した筐体１ａを把持して構える。撮影モード時には、この状態で筐体１ａの背面に設けた表示部４１の表示画面４１ａ上に、スルー画が表示される。ユーザ５１はこのスルー画を確認しながら、瓶５５の撮影を行う。

レンズ制御部２４は、深度合成制御部２２に制御されて、撮影範囲中の瓶５５の所定位置についてオートフォーカス制御を行いながら撮影を行う。いま、ユーザが図３の撮影タイミングにおいて操作部１５中の図示しないレリーズボタン操作すると、深度合成制御部２２は、所定の露出でオートフォーカス制御によるピント位置を変更しながら複数回の撮影を行う。図３の例では、深度合成制御部２２は、シャッタ速度が１／１００秒の状態で、１回目の露出時と２回目の露出時とでピント位置を切換えて撮像を行う。

例えば、１回目の撮影によって得られる画像が図４Ａに示す撮像画像５０ａであり、２回目の撮影によって得られる画像が図４Ｂに示す撮像画像５０ｂであるものとする。なお、図４Ａ〜図４Ｃは実線によってピントが合っている状態（合焦状態）を示し、破線によってピントが合っていない状態（非合焦状態）を示している。

１回目の撮影では、図４Ａに示すように、瓶５５の先端にピントが合った撮像画像５０ａが得られる。なお、撮像画像５０ａは瓶５５の先端側５５ａのピントは合っているが、破線部に示すように、瓶５５の中央よりも下側５５ｂではピントは合っていない。

２回目の撮影では、図４Ｂに示すように、瓶５５の中央にピントが合った撮像画像５０ｂが得られる。なお、撮像画像５０ｂは瓶５５の中央から下側５５ｂのピントは合っているが、破線部に示すように、瓶５５の中央よりも先端側５５ａではピントは合っていない。

図３の撮像画像の塗り潰し部分はピントが合っている画像部分を示しており、１回目の撮影では瓶５５の画像位置の画像の上側のみ合焦状態となっている。また、２回目の撮影では瓶５５の画像位置の画像の下側のみ合焦状態となっている。

画像処理部２１は、深度合成制御部２２に制御されて、深度合成モードにおけるこれらの２回の撮影によって得た２枚の撮像画像を合成して、図３に示すように、瓶５５の画像位置の全体について合焦状態となる合成画像５０ｃを得る。図４Ｃに示すように、深度合成の結果、合成画像５０ｃは、瓶５５の先端側５５ａから下側５５ｂまでの全域において合焦状態となっている。

制御部２０には、対象物判定部２３が設けられている。対象物判定部２３は、深度合成モードにおいてピント位置を変化させる範囲、即ち、合焦範囲を決定するための対象物判定を行うことができるようになっている。対象物判定部２３が所定の対象物を合焦対象被写体としては判定することで、深度合成モードにおいて、例えば、合焦対象被写体のみを合焦状態とすることが可能である。なお、対象物判定部２３は、後述するキャリブレーション処理に用いる対象物を判定するためにも用いられる。

対象物判定部２３は、撮像部１０からの撮像画像に対する画像解析を行って、撮像画像中から合焦範囲を決定するための合焦対象被写体を判定する。例えば、対象物判定部２３は、被写体に対する特徴量を用いて、合焦対象被写体を検出してもよい。例えば、被写体の特徴量の情報を記録部３０の対象物特徴データベース（ＤＢ）部３３に記録させてもよい。対象物判定部２３は、対象物特徴ＤＢ部３３から特徴量を読出し、特徴量を用いて合焦対象被写体を検出してもよい。更に、対象物判定部２３は、ユーザによる被写体の指定操作によって、合焦対象被写体を決定するようにしてもよい。

対象物特徴ＤＢ部３３には、被写体距離算出時のキャリブレーションに用いるサイズが既知の対象物（以下、補正用既知対象物という）の特徴量の情報も記録されている。対象物判定部２３は、対象物特徴ＤＢ部３３の情報を用いて、撮像画像中の補正用既知対象物を検出することもできるようになっている。なお、補正用既知対象物の特徴量としては、形状、模様、サイズ等がある。
ここに、特定の既知の大きさのコインや切手やメモリの入った定規など、色や大きさや形状やパターンで検出しやすいものを補正用既知対象物としてその画像の特徴情報と、大きさの情報を対応付けて記憶させておけば、適宜、撮影画像から、この特徴を有する部分を見つけ出して、その画像部分の大きさと、本来の大きさを使って、他の画像部分の実際の大きさを判定するのに用いることができる。

対象物特徴ＤＢ部３３に記録する補正用既知対象物の情報については、例えば操作部１５の操作によってユーザが追加更新することができるようになっていてもよい。なお、補正用既知対象物としては、どの方向から撮像した場合でもキャリブレーションのための補正情報を簡単に求めることができるように球状の物体や円形の物体が好ましい。

なお、対象物判定部２３は、撮像画像の各部における被写体距離と撮像画像に対する画像解析結果とに基づいて、同一物体又は輪郭が連続する被写体を合焦対象被写体として検出してもよい。また、対象物判定部２３は、撮像画像中の輪郭線を判定すると共に、輪郭線上の被写体距離の変化に基づいて、合焦対象被写体を判定してもよい。例えば、対象物判定部２３は、被写体距離の変化が所定の閾値よりも大きい場合には、輪郭が不連続であると判定してもよい。

制御部２０にはメタデータ作成部２６が設けられている。メタデータ作成部２６は、通常撮影時においては、撮影されて取得された撮像画像について、特定の規格の画像ファイルのメタデータとして、被写体距離情報を含むメタデータを生成することができる。

更に、本実施の形態においては、メタデータ作成部２６は、深度合成モードにおいて生成された合成画像について、特定の規格の画像ファイルのメタデータとして、合成に用いた撮像画像毎に被写体距離情報を含むメタデータを生成することができるようになっている。

メタデータ作成部２６は、データ換算部２６ａを有しており、データ換算部２６ａは、光学系特性部１４からの情報及びレンズ制御部２４からのピント位置の情報を用いてピント位置を距離に換算して、被写体距離を得ることができるようになっている。

図５は横軸にピント位置をとり縦軸に距離の逆数をとって、所定のレンズについてピント位置と距離との関係を示すグラフである。図５は所定のレンズについて、無限遠から至近までにおけるピント位置と距離の逆数との関係を３つのズーム位置毎に示している。例えば、ズーム位置がＺ１の場合において、レンズをピント位置ＬＤ１の位置に繰り出した場合の距離の逆数はＬ１であり、ピント位置ＬＤ２の位置に繰り出した場合の距離の逆数はＬ２であることが分かる。図５の特性はレンズ毎に異なり、制御部２０は撮像部１０の光学系特性部１４から光学系に関する情報を読出すことで、図５の関係を求めることができる。

例えば、図５の各曲線は、下記（１）式によって与えられる。メタデータ作成部２６のデータ換算部２６ａは、光学系特性部１４から読出した図５の特性情報を図示しないメモリ又は記録部３０に記録する。データ換算部２６ａは、レンズ制御部２４からのピント位置の情報と光学特性情報とに基づいて、撮像画像毎に被写体距離を求めるようになっている。
１／Ｌ＝α×ＬＤ＋β …（１）
なお、上記（１）式において、ＬＤはレンズ繰り出し位置（ピント位置）を示し、α，βは所定の定数である。距離の逆数１／Ｌは、ピント位置ＬＤに略々比例し、βはオフセット値、即ち、無限遠における距離の逆数に相当する。比例係数α及びオフセット値βは、レンズ毎及びズーム位置毎に異なる値となる。撮影レンズ１２として交換不能なレンズを採用した場合には、オフセット値βとして比較的正確な値を得ることができる。しかし、撮影レンズ１２として交換可能なレンズを採用した場合には、交換レンズ取付け時の機械精度等により、オフセット値βの精度は比較的低い場合も考えられる。また、撮影レンズ１２としてズーム可変のレンズを採用した場合には、ズーム位置の検出精度が低いときには、比例係数αの精度も比較的低いこともある。そこで、データ換算部２６ａは、サイズが既知の補正用既知対象物を用いてキャリブレーションを行うことで、距離算出の精度を向上させるようになっている。

図６から図８はキャリブレーション処理を説明するためのものであり、キャリブレーション用の補正用既知対象物として硬貨を用いる例を示している。図６は硬貨の種類と直径との関係を示す図表であり、図７はキャリブレーション処理のフローを示すフローチャートであり、図８はキャリブレーション時の撮影の様子を示す説明図である。

図６に示すように、硬貨はその種類に応じて直径が規定されている。対象物判定部２３によって撮像画像中に補正用既知対象物が含まれることが検出されると、データ換算部２６ａは、図７のステップＳ４１において、補正用既知対象物である硬貨の直径の情報を対象物特徴ＤＢ部３３から読出す。データ換算部２６ａは、撮像画像中における補正用既知対象物について、例えば画素数等によりサイズを求める（ステップＳ４２）。データ換算部２６ａは、補正用既知対象物の画像中のサイズと、対象物特徴ＤＢ部３３から読出したサイズとの比較によって、被写体距離のキャリブレーションを行うための補正情報を算出する（ステップＳ４３）。データ換算部２６ａは、算出した補正情報を記録部３０に記録するか又は図示しないメモリに記憶させる。データ換算部２６ａは、上記（１）式に従って、レンズ特性及びピント位置ＬＤに基づいて求めた被写体距離を、補正情報を用いて補正する。

図８は被写体距離の算出精度を向上させるために、被写体までの距離を変化させて補正情報を算出する例を示している。

いま、ピント位置及びズーム位置を固定にした状態で補正用既知対象物である硬貨６０の画像サイズが所定倍となるように、筐体１ａを筐体１ａ’の位置に変化させて撮像画像距離を変化させるものとする。ピント位置ＬＤがレンズ制御部２４によって与えられた場合には、上記（１）式において、α，βの値を算出することができ、被写体距離を正確に求めることが可能である。

データ換算部２６ａは、補正情報によって補正した被写体距離の情報を、当該撮像画像のメタデータとして生成する。メタデータ作成部２６は、被写体距離情報を含むメタデータをメタデータ部３２に記録するようになっている。

次に、このように構成された実施の形態の動作について図９〜図１１を参照して説明する。図９は第１の実施の形態の動作を説明するためのフローチャートである。図１０及び図１１は特定の規格の画像ファイルに記録される内容を説明するための説明図である。図１０は通常撮影時の画像ファイルを示し、図１１は深度合成モード時の画像ファイルを示している。

図９のステップＳ１において、制御部２０は、撮影モードが指定されているか否かを判定する。撮影モードが指定されている場合には、制御部２０は、ステップＳ２においてスルー画用の撮像画像を取得する。即ち、制御部２０は、撮像部１０に被写体を撮像させ、画像処理部２１は撮像部１０からの撮像画像に所定の画像処理を施して表示部４１に与える。表示部４１は、スルー画を表示画面上に表示すると共に、オートフォーカス機能及び自動露出機能により、ピント位置及び標準露出の設定を行う（ステップＳ３）
制御部２０は、ステップＳ４において、モード切換の指示があったか否かを判定する。モード切換の指示が発生した場合には、制御部２０はステップＳ５において、指示されたモードの各種設定を行う。例えば、深度合成モードが指定された場合には、深度合成モードに必要な各種設定が行われる。

モード切換の指示が発生していない場合には、制御部２０は次のステップＳ６において、キャリブレーションが指示されたか否かを判定する。キャリブレーションが指示されると、制御部２０はステップＳ７においてキャリブレーションを実行する。例えば、制御部２０のデータ換算部２６ａは、図７のフローに従って、キャリブレーションを実行して補正情報を求める。制御部２０は、ステップＳ７において求めた補正情報を記録部３０に記録しておく。なお、キャリブレーションの効果を得るためには、ステップＳ７の補正情報の算出時からズーム位置を変化させることなく撮影を行った方がよい。

次に、制御部２０は、ユーザによる撮影操作の有無を判定し（ステップＳ８）、撮影操作が行われない場合には処理をステップＳ１に戻す。ユーザがレリーズスイッチにより撮影を指示した場合には、制御部２０はステップＳ９において、現在のモードが撮影条件変更を伴うモード、例えば、深度合成モードであるか否かを判定する。

例えば、通常撮影モードである場合には、制御部２０は処理をステップＳ１０に移行して、取得した撮像画像の画像データとメタデータとを記録部３０に記録する。なお、画像データ部３１に記録される画像データとメタデータ部３２に記録されるメタデータとは相互に関連付けられて、撮像画像毎に画像データとメタデータとからなる画像ファイルが生成される。即ち、メタデータ作成部２６は、光学系特性部１４及びレンズ制御部２４等から撮影情報を取得する。データ換算部２６ａは、光学系に関する情報及びピント位置の情報に基づいて、被写体距離を算出する。この場合には、データ換算部２６ａは、記録部３０から補正情報を読出して、当該補正情報によって被写体距離をキャリブレーションする。データ換算部２６ａは、被写体距離情報を含むメタデータを記録部３０に与えて記録する。

図１０はこの場合の記録部３０に記録される画像データ及びメタデータの一例を説明するものである。図１０は３つの画像ファイル６１〜６３の情報を示しており、１つ目の画像ファイル６１は画像データ６１ａとメタデータ６１ｂとを含み、メタデータ６１ｂは被写体距離が５０ｍであることを示す距離情報を含む。また、２つ目の画像ファイル６２は画像データ６２ａとメタデータ６２ｂとを含み、メタデータ６２ｂは被写体距離が１５ｍであることを示す距離情報を含む。また、３つ目の画像ファイル６３は画像データ６３ａとメタデータ６３ｂとを含み、メタデータ６３ｂは被写体距離が１５ｃｍであることを示す距離情報を含む。このメタデータは、特定の規格のデータであり、ユーザは画像ファイルを読出す場合に、これらのメタデータの内容を確認することができる。

次に、ステップＳ５において深度合成モードの各種設定が行われているものとする。この場合には、制御部２０は、ステップＳ９からステップＳ１１に処理を移行する。制御部２０の深度合成制御部２２は、ステップＳ１１〜Ｓ１５において、深度合成のための複数回の撮影を行う。先ず、深度合成制御部２２は、ステップＳ１１において、現在のピント位置及びこのピント位置での撮像画像を記録部３０に記録する。深度合成モードにおいては、上述したように、ピント位置をずらしながら複数回の撮影を行う。ステップＳ１３では、深度合成制御部２２は、レンズ制御部２４を制御して、ピント変更部１３ａによりピント位置を例えば所定量シフトさせる。深度合成制御部２２は、この結果得られたシフト後の撮像画像及びそのピント位置を記録部３０に記録する（ステップＳ１４）。

深度合成制御部２２は、ステップＳ１５において、深度合成に必要な複数回の撮影が終了したか否かを判定する。例えば、深度合成制御部２２は、予め規定されたシフト量及び回数だけピント位置をシフトしながら撮影を行ってもよい。図９の例では、深度合成制御部２２は、ステップＳ１２において、対象物判定部２３を制御して、合焦状態で撮影を行う対象物である合焦対象被写体を検出し、当該合焦対象被写体の全域において合焦状態が得られるまでピント位置をシフトさせるようになっている。深度合成制御部２２は、合焦対象被写体の全域において合焦状態が得られたと判定した場合には、ステップＳ１５からステップＳ１６に処理を移行し、そうでない場合には処理をステップＳ１３に戻して、ピント位置のシフト、撮像及び記録を繰り返す。

深度合成制御部２２は、ステップＳ１６において、撮影された複数枚の撮像画像を合成して、合焦状態の合焦対象被写体を含む深度合成画像を生成する。深度合成モードにおいては、メタデータ作成部２６は、光学系特性部１４及びレンズ制御部２４等から撮像画像毎に撮影情報を取得する。データ換算部２６ａは、光学系に関する情報及びピント位置の情報に基づいて、各撮像毎に被写体距離を算出する（ステップＳ１７）。データ換算部２６ａは、記録部３０から補正情報を読出して、当該補正情報によって被写体距離をキャリブレーションする。深度合成制御部２２は、記録制御部２５を制御して合成画像を記録部３０の画像データ部３１に与えて記録する。また、メタデータ作成部２６は、記録制御部２５を制御して、データ換算部２６ａによって求めた被写体距離情報を含むメタデータを記録部３０に与えて記録する。なお、画像データ部３１に記録される画像データとメタデータ部３２に記録されるメタデータとは相互に関連付けられて、各合成画像毎に画像データとメタデータとからなる画像ファイルが生成される。

図１１はこの場合の記録部３０に記録される画像データ及びメタデータの一例を説明するものである。図１１は１合成画像ファイル６５の情報を示しており、画像ファイル６５は画像データ６５ａとメタデータ６５ｂ，６５ｃとを含む。メタデータ６５ｂは、深度合成画像の生成時の共通の撮影情報を示しており、図１１の例ではシャッタ速度（ＳＳ）が１／１００秒であり、絞りがＦナンバー（ＦＮｏ．）１６であることを示している。

また、メタデータ６５ｃは、深度合成画像の合成に用いた撮像画像毎の撮影情報を示しており、図１１の例では、深度合成に２枚の撮像画像が用いられ、各撮像画像取得時の被写体距離が、それぞれ１０ｃｍ，１３ｃｍであることを示している。

メタデータ６５ｂ，６５ｃは、特定の規格のデータであり、ユーザは画像ファイルを読出す場合に、これらのメタデータの内容を確認することができる。即ち、本実施の形態では、ユーザは、深度合成モードにおいて取得された合成画像について、作成に用いられた各撮像画像の撮影情報を個別に認識することが可能である。

図９のステップＳ１において、撮影モードが指示されていない場合には、制御部２０は、ステップＳ２１に移行して再生モードが指定されているか否かを判定する。制御部２０は、再生モードが指定されていない場合には、指定された他のモードに移行する。

再生モードが指定されると、制御部２０は、ステップＳ２２において、記録部３０に記録されている画像を選択するためのアイコン一覧表示を行う。ユーザがアイコン一覧表示から所定の画像を選択すると、制御部２０は、選択操作に基づく画像を選択して再生して、表示部４１の表示画面上に表示させる（ステップＳ２５）。なお、制御部２０は、画像選択操作がない場合には、次のステップＳ２４において戻る操作があったか否かを判定し、戻る操作があった場合には処理をステップＳ１に戻し、無かった場合には処理をステップＳ２２に戻す。

ステップＳ２５における画像の表示中に、制御部２０は、詳細表示の表示を指示する操作が発生したか否かを判定する（ステップＳ２６）。制御部２０は、詳細表示の表示指示が発生した場合には、処理をステップＳ２７に移行して、メタデータ部３２から読出したメタデータに基づく表示（メタデータ表示）を表示部４１に表示させる。これにより、例えば、図１０及び図１１のメタデータ６１ｂ〜６３ｂ，６５ｂ，６５ｃの内容が表示される。この表示によって、ユーザは撮像画像についての撮影情報及び合成画像については撮像画像毎の撮影情報を把握することができる。

詳細表示の表示指示がなかった場合又はメタデータ表示の表示中において、制御部２０は、外部送信指示が発生したか否かを判定する（ステップＳ２８）。外部送信指示が発生すると、制御部２０の通信制御部２９は、通信部４５を制御して、選択されている画像の画像ファイルを設定された送信先に送信する。

なお、制御部２０は、外部送信指示が無い場合又は外部送信の終了後のステップＳ３０において、戻る操作があったか否かを判定し、戻る操作があった場合には処理をステップＳ１に戻し、無かった場合には処理をステップＳ２５に戻す。

このように本実施の形態においては、複数の撮像画像を合成して合成画像を生成する場合でも、合成に用いた撮像画像毎に撮影情報等のメタデータを生成することができ、生成したメタデータをユーザが確認可能な例えば特定の規格のデータとして画像ファイルに付与することができる。これにより、合成画像であっても、撮像画像毎に撮影条件等を確認することができ、利便性に優れている。例えば、ユーザは、撮像画像毎の撮影条件等を参考にして深度合成画像生成のための撮影を行うことで、失敗の少ない撮影が可能である。

また、本実施の形態においては、画像ファイルに付与するメタデータとして被写体距離の情報を生成して記録することができる。この被写体距離情報は、光学系の特性情報及びピント位置に基づいて算出されると共に、補正用既知対象物に基づいて算出した補正情報を用いてキャリブレーションされており、高精度に求められる。これにより、ユーザは、被写体距離を正確に把握することができる。

（変形例１）
図１２は変形例を示す説明図である。図１２において図１１と同一の構成要素には同一符号を付して説明を省略する。

図９のフローでは、ステップＳ１７等において、各ピント位置で撮影した被写体の各部までの被写体距離を求め、ステップＳ１８ではメタデータとして撮像画像毎の被写体距離の情報を記録する例を説明した。本変形例は、被写体距離情報だけでなく、被写体距離差、即ち、被写体の各部までの距離の差の情報をメタデータとして記録するものである。この場合には、データ換算部２６ａは、ステップＳ１７において、被写体の所定部分までの距離と、この距離からピント位置をシフトさせて求めた他の所定部分までの距離との差である距離差を求める。

図１２はこの場合において記録部３０に記録される画像データ及びメタデータの一例を説明するものである。図１２は１合成画像ファイル６５の情報を示しており、画像ファイル６５は画像データ６５ａとメタデータ６５ｂ，６５ｄとを含む。

メタデータ６５ｄは、深度合成画像の合成に用いた撮像画像毎の撮影情報を示しており、図１２の例では、深度合成に３枚の撮像画像が用いられ、１枚目の撮像画像取得時の被写体距離が１０ｃｍで、２枚目の撮像画像は、１枚目の撮像画像取得時の被写体距離に対して＋１．５ｃｍの距離差を有する位置にピントを合わせて撮像され、３枚目の撮像画像は、１枚目の撮像画像取得時の被写体距離に対して＋３ｃｍの距離差を有する位置にピントを合わせて撮像されたものであることを示している。

このように本変形例では、深度合成に用いられた複数枚の撮像画像について、合焦状態となった被写体各部までの距離差を簡単に把握することができる。

なお、この変形例では、被写体距離の情報と、距離差の情報とを求めて記録する例を説明したが、被写体距離の情報を省略して、距離差の情報のみを記録するようになっていてもよい。

（変形例２）
図１３は他の変形例を示す説明図である。本変形例は、被写体距離情報だけでなく、ピントを合わせた被写体の部位（以下、ピント部位という）の画像中の位置座標（以下、ピント部位座標という）、ピント部位間の距離の情報をメタデータとして記録するものである。例えば、データ換算部２６ａは、図９のステップＳ１７において、これらの情報を求めるようになっていてもよい。深度合成制御部２２は、所定のピント位置で撮像した場合における画像処理部２１の画像処理結果に基づいて、当該ピント位置においてピントを合わせたピント部位のピント部位座標を求めてもよい。例えば、ピント部位座標は、画像中のｘ，ｙ座標によって表してもよい。

なお、データ換算部２６ａは、ピント部位間の距離を、キャリブレーションに用いた補正情報を用いて算出してもよい。例えば、補正用既知対象物として硬貨を用いた場合には、データ換算部２６ａは、硬貨の画像水平方向の寸法によって補正情報を求め、この補正情報を利用して画像垂直方向の寸法を算出してもよい。これにより、画像中の各部の距離から被写体の各部位間の距離を算出してもよい。

図１３はこの変形例において記録部３０に記録される画像データ及びメタデータの一例を説明するものである。図１３は１合成画像ファイル７１の情報を示しており、画像ファイル７１は画像データ７１ａとメタデータ７２ａ，７２ｂからなるメタデータ７１ｂとを含む。メタデータ７２ａは、深度合成画像の生成時の共通の撮影情報を示しており、図１３の例ではシャッタ速度（ＳＳ）が１／１００秒であり、絞りがＦナンバー（ＦＮｏ．）１６であることを示している。

メタデータ７２ｂは、深度合成画像の合成に用いた撮像画像毎の撮影情報を示しており、図１３の例では、深度合成のために撮像された１枚の撮像画像は、ピント部位Ｐ１にピントが合わされて撮像されたものであり、このピント部位Ｐ１までの被写体距離は１０ｃｍであることを示している。また、メタデータ７２ｂは、ピント部位Ｐ１から３ｃｍ離れた部位にピントを合わせた状態で２枚目の撮像画像が撮像されることを示している。

なお、図１３のメタデータ７２ｂ中には、ピント部位Ｐ１，Ｐ２に対応するがピント部位座標について示してないが、メタデータ部３２には各ピント部位のピント部位座標についても記録することができる。例えば、図９のステップＳ２７のメタデータの再生時に、制御部２０は、ピント部位座標の情報を読出して、ピント部位座標及びピント部位間の距離の表示を、画像データに基づく撮像画像の表示上に重ねて表示させてもよい。

図１３の例はこのような重畳表示を示しており、ピント部位Ｐ１，Ｐ２に対応する画像中のピント部位座標位置Ｐ１，Ｐ２の表示及びピント部位間の距離の表示７３が表示されている。

このように本変形例では、深度合成に用いられた複数枚の撮像画像について、合焦状態となった被写体のピント部位の位置及びピント部位間の距離を簡単に把握することができる。

なお、この変形例では、被写体距離の情報と、ピント部位について座標や部位間の距離の情報等を求めて記録する例を説明したが、被写体距離の情報を省略して、ピント部位について座標や部位間の距離の情報等のみを記録するようになっていてもよい。

（第２の実施の形態）
図１４は本発明の第２の実施の形態において採用される深度合成のピント位置シフト制御を示すフローチャートである。また、図１５は深度合成による撮像画像のコントラストの変化を示す説明図である。なお、本実施の形態におけるハードウェア構成は第１の実施形態と同様である。

図９のフローでは、ステップＳ１３のピント位置のシフト量は、予め規定された所定量であり、合成に用いる撮像は、予め規定された所定回数又はピント位置を合焦対象被写体の全域に合わせるまで行われた。これに対し、本実施の形態は、合焦対象被写体の合焦状態を判定することで、ピント位置のシフト量及びシフト回数（撮像回数）を決定するものである。

図１４のステップＳ５１において、メタデータ作成部２６は、光学系特性部１４から光学特性の情報を取得する。深度合成制御部２２は、現在のピント位置及び光学特性に基づいて現在のピント位置に対応する被写体距離を求める（ステップＳ５２）。

また、対象物判定部２３は、ステップＳ５３において、現在のピント位置から連続する輪郭、模様、色彩等によって、撮像画像中の合焦対象被写体を検出する。深度合成制御部２２は、ステップＳ５４において、合焦対象被写体について、合焦状態を判定する。例えば、深度合成制御部２２は、撮像画像の画像各部のコントラストによって、合焦対象被写体の合焦状態を判定してもよい。

いま、図４Ａ〜図４Ｃの瓶５５が合焦対象被写体として検出された場合について説明する。図１５の縦軸は瓶５５の縦方向の画像位置に対応し、横軸は各画像位置におけるコントラストを示しており、左側の曲線は図４Ａに対応した撮像画像のコントラストを示し、中央の曲線はピント位置を図４Ｂに示す瓶５５の中央に変更して得た撮像画像のコントラストを示し、右側の曲線は深度合成画像のコントラストを示している。

いま、ステップＳ５２において、瓶５５の先端位置が合焦状態となるようにピント位置が設定されたものとする。このピント位置の撮像画像によって、深度合成制御部２２は、光学特性の情報や画像処理部２１の画像処理等によって、図１５左側のコントラストを取得する。記録部３０には、合焦状態として許容可能なコントラストの限界値の情報が記録されており、深度合成制御部２２は、合焦対象被写体の画像部分の全域がこの限界値よりも高いか否か、即ち、合焦対象被写体の全域が合焦状態として許容可能であるか否かを判定する（ステップＳ５５）。

なお、この判定は、単一の撮像画像のみについて行うのではなく、それまでに撮像された全ての撮像画像の合焦状態を考慮して行われる。従って、合焦対象被写体の全域が合焦状態として許容可能であると判定された場合には、それまでに撮像された全ての撮像画像を合成して得た深度合成画像は、合焦対象被写体の全域において合焦状態が得られるものとなる。

深度合成制御部２２は、合焦対象被写体の全域が合焦状態として許容可能である場合には、ピント位置シフト制御を終了して深度合成のための撮像を終了する。また、深度合成制御部２２は、合焦対象被写体の全域が合焦状態として許容可能でない場合には、処理をステップＳ５６に移行して、合焦対象被写体中のコントラストがこの限界値以下となる境界部分を検出する。

深度合成制御部２２は、ステップＳ５７において、検出した境界部分にピントが合うようにピント位置を設定し、当該ピント位置における被写体距離を求めて、処理をステップＳ５４に戻す。ステップＳ５６において検出された境界部分が瓶５５の中央位置である場合には、ステップＳ５７において図４Ｂのピント位置で２回目の撮像が行われる。

この場合において、図１５の中央の曲線から、深度合成制御部２２は合焦対象被写体の全域において合焦状態が許容可能であるものと判定すると、深度合成のための撮像を停止し、それまでの撮像画像を用いて深度合成画像を生成する。図１５の右側の曲線はこの場合に得られる合成画像の合焦対象被写体部分のコントラストの変化を示しており、合焦対象被写体の全域において合焦状態が得られていることが分かる。

このように本実施の形態においては、ピント位置をシフトさせながら、合焦対象被写体について合焦状態を判定し、判定結果に基づいてピント位置のシフト量を求めると共に、判定結果に基づいて合成に用いる撮像の停止を決定しており、深度合成に必要な撮像を最小の必要回数だけ行うことを可能にする。これにより、深度合成に必要な撮影が無駄に行われることを防止して処理時間を短縮することができると共に、必要な撮影が行われずに希望する深度合成画像が得られないことを防止することができる。

なお、本実施の形態においても、上記変形例１，２を適用して、距離差の情報やピント部位について座標や、ピント部位間の距離の情報を記録するようになっていてもよい。

（第３の実施の形態）
図１６は本発明の第３の実施の形態を示すフローチャートである。図１６において図９のフローと同一の手順には同一符号を付して説明を省略する。図１７は第３の実施の形態の深度合成モードにおける撮影の様子を示す説明図である。また、図１８Ａから図１８Ｄは深度合成モードにおいて撮影された撮像画像及び合成画像を示す説明図である。また、図１９はキャリブレーションを説明するための説明図である。本実施の形態のハードウェア構成は第１の実施の形態と同様である。

本実施の形態は、撮影時に補正用既知対象物を同時に撮影することによって、キャリブレーションのための撮影を不要にするものである。

図１７は物撮りにおける撮影の様子を示している。テーブル５４上には物品（商品）である瓶５５と補正用既知対象物である硬貨６０が載置されている。ユーザ５１は、瓶５５及び硬貨６０が視野範囲に入るように、右手５２で撮像装置１の各回路を収納した筐体１ａを把持して構える。撮影モード時には、この状態で筐体１ａの背面に設けた表示部４１の表示画面４１ａ上に、スルー画が表示される。ユーザ５１はこのスルー画を確認しながら、瓶５５及び硬貨６０の撮影を行う。

図１６のフローは図９のフローのステップＳ６，Ｓ７を省略すると共にステップＳ６１を追加した点が図９のフローと異なる。深度合成モードにおいては、図１６のステップＳ１１〜Ｓ１５において、深度合成のために必要な複数回の撮像が行われる。

本実施の形態においては、深度合成のための複数回の撮像が終了すると、次のステップＳ６１において、深度合成制御部２２は、キャリブレーションに用いる補正量情報を算出するために、補正用既知対象物にピントを合わせた撮像を行うようになっている。

図１８Ａ〜図１８Ｄはこれらの撮像によって得られる画像を示しており、例えば、１回目から３回目の撮影によって得られる各撮像画像がそれぞれ図１８Ａ〜図１８Ｃに示す撮像画像５７ａ〜５７ｃであるものとする。なお、図１８Ａ〜図１８Ｄは実線によってピントが合っている状態（合焦状態）を示し、破線によってピントが合っていない状態（非合焦状態）を示している。

１回目の撮影では、図１８Ａに示すように、瓶５５の先端にピントが合った撮像画像５７ａが得られる。なお、撮像画像５７ａは瓶５５の先端側５５ａのピントは合っているが、破線部に示すように、瓶５５の中央よりも下側５５ｂではピントは合っていない。２回目の撮影では、図１８Ｂに示すように、瓶５５の中央にピントが合った撮像画像５７ｂが得られる。なお、撮像画像５７ｂは瓶５５の中央から下側５５ｂのピントは合っているが、破線部に示すように、瓶５５の中央よりも先端側５５ａではピントは合っていない。これらの撮像画像５７ａ，５７ｂを深度合成することによって、瓶５５の全域に亘ってピントがあった画像を得ることができる。

本実施の形態では、距離を算出してキャリブレーションを行うために、３回目の撮影が行われる。３回目の撮影では、補正用既知対象物である硬貨６０にピントを合わせた撮像を行う。この場合には、図１８Ｃに示すように、硬貨６０にのみピントが合い、瓶５５にはピントが合っていない撮像画像５７ｄが得られる。

データ換算部２６ａは、硬貨６０までの距離と硬貨６０の画像中におけるサイズとに基づいて、補正情報を算出する。データ換算部２６ａは、算出した補正情報を記録部３０に記録する（ステップＳ６１）。データ換算部２６ａは、ステップＳ１７において、撮像画像毎に求めた被写体距離のキャリブレーションを行う。

図１９は瓶５５を撮影した深度合成の１回目と２回目の撮影時のピント位置がそれぞれＬＤ１，ＬＤ２であり、硬貨６０を撮影した３回目の撮影時のピント位置がＬＤ３であることを示している。ピント位置は被写体距離の逆数に比例するので、ピント位置ＬＤ３における硬貨６０の画像中のサイズと実際のサイズとに基づく補正情報を、ピント位置ＬＤ１，ＬＤ２において求めた被写体距離に適用することによって、１回目と２回目の撮像画像について正確な被写体距離を算出することができる。

なお、図１６のフローでは、深度合成のための撮影の後、キャリブレーションのための補正用既知対象物の撮影を行う例を説明したが、この順番は特に限定されない。しかし、ピント位置を変更するためのレンズ駆動における精度を考慮すると、レンズを一方方向に移動させながらピント位置を変更させた方がピント位置を高精度に制御することができるので、合焦対象被写体の各部と補正用既知対象物との距離が近い方又は遠い方から順に撮影を行った方がよい。

他の作用は第１の実施の形態と同様である。

このように本実施の形態においては、第１の実施の形態と同様の効果が得られると共に、キャリブレーションのための撮影操作が不要であるという利点があり、全体の撮影時間を短縮することができる。

なお、本実施の形態においても、上記変形例１，２を適用して、距離差の情報やピント部位について座標や、ピント部位間の距離の情報を記録するようになっていてもよい。

さらに、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、レンズ型カメラでも、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。また、内視鏡、顕微鏡のような産業用、医療用の光学機器でもよく、監視カメラや車載用カメラ、据え置き型のカメラ、例えば、テレビジョン受信機やパーソナルコンピュータ等に取り付けられているカメラであってもよい。
また、ピントの合わせ方は、従来のカメラのように、ピント調整レンズを動かすもののみならず、撮像素子を動かすものもあり、これらの位置関係を固定で、固定焦点でカメラ全体を動かして複数画像を得るものもある。また、複眼で、複数のピント位置を撮像可能にしておき、ピント（フォーカス）位置の異なる複数の画像を得るものもある。こうしたいずれも、どこの位置にピントの合った画像かを記録できるものは、本発明の範疇に入るものである。このように記録しておく方が、後で見て撮影時の状況や条件等を把握しやすく、他のユーザに分かりやすく伝えることが出来る。また、必ずしも合成画像である必要はなく、得られた画像が合成しなくても良い場合もある。

本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。

また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ−ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に本実施の形態の画像処理装置を実現することができる。

１…撮像装置、１ａ…筐体、１０…撮像部、１１…撮像素子、１２…撮影レンズ、１３…レンズ駆動部、、１３ａ…ピント変更部、１４…光学系特性部、１５…操作部、２０…制御部、２１…画像処理部、２２…深度合成制御部、２３…対象物判定部、２４…レンズ制御部、２６…メタデータ作成部、２６ａ…データ換算部、２８…表示制御部、３０…記録部、３１…画像データ部、３２…メタデータ部、３３…対象物特徴ＤＢ部、４１…表示部。

Claims (17)

1. ピント位置を変化させながら被写体を撮像して得られた複数の撮像画像が与えられ、上記複数の撮像画像を合成して合成画像を生成する合成制御部と、
   上記合成画像の合成に用いられた各撮像画像についての撮影条件に基づくメタデータを上記撮像画像毎に作成するメタデータ作成部と、
   上記合成制御部が生成した上記合成画像の画像ファイルに上記メタデータ作成部が作成した上記メタデータを付与して記録する記録制御部と
   を具備したことを特徴とする画像処理装置。
2. 上記メタデータ作成部は、上記各撮像画像の撮像時のピント位置を撮像画像毎に距離換算した情報を含む上記メタデータを作成する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 上記メタデータ作成部は、上記各撮像画像の撮像時のピント位置の差を撮像画像間毎に距離換算し、上記距離換算した距離差の情報を含む上記メタデータを作成する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 上記メタデータ作成部は、上記各撮像画像の撮像時における上記光学系の情報と上記ピント位置とに基づいて、上記距離換算した情報を含む上記メタデータを作成する
   ことを特徴とする請求項２又は３に記載の画像処理装置。
5. 上記メタデータ作成部は、サイズが既知の補正用既知対象物を撮像して得た補正情報を用いて上記距離換算した上記メタデータをキャリブレーションする
   ことを特徴とする請求項２又は３記載の画像処理装置。
6. 上記メタデータ作成部は、上記各撮像画像の撮像時のピント位置の差を撮像画像間毎に距離換算し、当該距離換算した情報と上記補正情報とを用いて上記被写体のピントを合わせた部位間の距離の情報を含む上記メタデータを作成する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 上記メタデータ作成部は、上記被写体のピントを合わせた部位の上記撮像画像上における座標の情報を含む上記メタデータを作成する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
8. 上記メタデータを読出して、上記メタデータの内容を表示部に表示する表示制御部
   を更に具備したことを特徴とする請求項１又は２に記載の画像処理装置。
9. 合焦させる範囲の合焦対象被写体を判定する対象物判定部と、
   上記対象物判定部の判定結果に基づいてピント位置可変の光学系によりピント位置を変化させながら被写体を撮像する撮像部に対して、上記ピント位置の制御を行うレンズ制御部と
   を具備したことを特徴とする請求項１又は２に記載の画像処理装置。
10. 上記レンズ制御部は、上記撮像画像の各部のコントラストに基づいて、上記ピント位置のシフト量を決定する
    ことを特徴とする請求項９に記載の画像処理装置。
11. ピント位置を変化させながら被写体を撮像して得られた複数の撮像画像が与えられ、上記複数の撮像画像を合成して合成画像を生成し、
    上記合成画像の合成に用いられた各撮像画像についての撮影条件に基づくメタデータを上記撮像画像毎に作成し、
    上記合成画像の画像ファイルに上記メタデータを付与して記録する
    ことを特徴とする画像処理方法。
12. 上記各撮像画像の撮像時のピント位置を撮像画像毎に距離換算した情報を含む上記メタデータを作成する
    ことを特徴とする請求項１１に記載の画像処理方法。
13. サイズが既知の補正用既知対象物を撮像して得た補正情報を用いて上記距離換算した上記メタデータをキャリブレーションする
    ことを特徴とする請求項１２に記載の画像処理方法。
14. 合焦の対象となる合焦対象被写体と上記補正用既知対象物とを含む上記複数の撮像画像が与えられ、各撮像画像中の上記合焦対象被写体と上記補正用既知対象物とを判定し、
    当該判定結果に基づいてピント位置可変の光学系によりピント位置を変化させながら被写体を撮像する撮像部に対して、上記合焦対象被写体及び上記補正用既知対象物にピントを合わせるピント位置のシフト制御を行う
    ことを特徴とする請求項１３に記載の画像処理方法。
15. コンピュータに、
    ピント位置を変化させながら被写体を撮像して得られた複数の撮像画像が与えられ、上記複数の撮像画像を合成して合成画像を生成する手順と、
    上記合成画像の合成に用いられた各撮像画像についての撮影条件について、サイズが既知の補正用既知対象物を撮像して得た補正情報を用いて上記ピント位置を距離換算してメタデータとして作成する手順と、
    上記合成画像の画像ファイルに上記メタデータを付与して記録する手順と
    を実行させるための画像処理プログラム。
16. 上記メタデータを作成する手順は、上記各撮像画像の撮像時のピント位置を撮像画像毎に距離換算した情報を含む上記メタデータを作成する
    ことを特徴とする請求項１５に記載の画像処理プログラム。
17. 上記請求項１から１０のいずれか１つに記載の画像処理装置と、
    ピント位置可変の光学系によりピント位置を変化させながら被写体を撮像する撮像部と
    を具備したことを特徴とする撮像装置。

Images