JP2020141351A - 撮像装置 - Google Patents

Abstract

【課題】 撮影時に手振れが発生した場合でも撮影時間が延びることなく、高画質な深度合成画像が取得可能な撮像装置を提供すること。【解決手段】 複数の視差画像と、前記視差画像を合成して得た画像データとを取得可能な撮像装置であって、リフォーカス画像生成手段と、焦点位置が互いに異なる複数の画像データを順次撮影するように制御する撮影制御手段と、前記撮影制御手段により撮影する目標焦点位置を決定する目標焦点位置決定手段と、前記目標焦点位置からのずれを検出する焦点位置変動検出手段と、前記複数の画像データを合成する画像合成手段を有し、前記リフォーカス画像生成手段は、前記焦点位置変動検出手段が検出したずれに基づいて前記複数の視差画像から焦点位置を補正したリフォーカス画像を生成し、前記合成手段によって合成をおこなうことを特徴とする。【選択図】 図３

Description

本発明は、フォーカスレンズの焦点位置を変更しながら、複数の画像データを取得する撮像装置に関し、特にフォーカスレンズの焦点位置を変更しながら撮影して得られた複数の画像データから被写界深度を深くした画像を生成可能な撮像装置に関する。

従来、フォーカスレンズの焦点位置を変更して複数の画像データを撮影し、各画像データからコントラストの高い領域のみを抽出して合成して、被写界深度を深くした画像（深度合成画像）を得る撮像装置が知られている。

特許文献１には、フォーカスレンズの焦点位置を変更して複数の画像データを撮影する際に、手振れなどで焦点位置がずれる場合でも被写体に対する焦点位置を安定した変化幅に収めて撮影できるようにした撮像装置に関する技術が開示されている。

特開２０１６−５２２４号公報

しかしながら、上述の特許文献に開示された従来技術では、光軸方向の手振れを被写体の像倍率の変化などから検出し、撮影時にレンズの焦点位置が目標の焦点位置になるように制御する。そのため、深度合成画像を得るための撮影時間が延びる可能性がある。

そこで本発明の目的は、撮影時に手振れが発生した場合でも撮影時間が延びることなく、高画質な深度合成画像が取得可能な撮像装置を提供することにある。

上記の目的を達成するために、本発明に係る撮像装置は、
複数の視差画像と、前記視差画像を合成して得た画像データとを取得可能な撮像装置であって、
リフォーカス画像生成手段と、
焦点位置が互いに異なる複数の画像データを順次撮影するように制御する撮影制御手段と、
前記撮影制御手段により撮影する目標焦点位置を決定する目標焦点位置決定手段と、
前記目標焦点位置からのずれを検出する焦点位置変動検出手段と、
前記複数の画像データを合成する画像合成手段を有し、
前記リフォーカス画像生成手段は、前記焦点位置変動検出手段が検出したずれに基づいて前記複数の視差画像から焦点位置を補正したリフォーカス画像を生成し、前記合成手段によって合成をおこなうことを特徴とする。

本発明によれば、撮影時に手振れが発生した場合でも撮影時間が延びることなく、高画質な深度合成画像が取得可能な撮像装置の提供を実現できる。

デジタルカメラの構成例を示すブロック図 異なる焦点位置で被写体を撮影するときの像倍率の変化 深度合成モードの動作を示すフローチャート リフォーカス画像生成処理を示すフローチャート 画像データと目標焦点位置の関係を示す例 撮影した画像データに応じた目標焦点位置の変更処理を示す例

以下、本発明を実施するための形態について、図面を参照しながら詳細に説明する。

図１は、本発明の実施形態にかかわるデジタルカメラ１００の構成例を示すブロック図である。

１０１はシャッタである。１０２は撮影レンズである。１０３は撮像部である。１０４はＡＦ評価値検出部である。１０５はバリアである。１０６は画像処理部である。１０７はメモリ制御部である。１０８はメモリである。１０９は表示部である。１１０はＤ／Ａ変換機である。１１１はシステム制御部である。１１２は不揮発性メモリである。１１３はシステムメモリである。１１４はシステムタイマである。１１５はモード切替スイッチである。１１６はシャッタボタンである。１１７は電源スイッチである。１１８は操作部である。１１９は電源制御部である。１２０は電源部である。１２１はストロボである。１２２は記録媒体Ｉ／Ｆである。２００は記録媒体である。

シャッタ１０１は絞り機能を備えるシャッタである。

撮影レンズ１０２はズームレンズ、フォーカスレンズを含むレンズ群である。

撮像部１０３は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。撮像素子は、１つの画素が複数の瞳分割領域を持ち、受光した光を瞳分割領域ごとにアナログ画像信号に変換でき、それぞれのアナログ画像信号から視点の異なる複数の視差画像データを取得できる。複数の視差画像データについては、画素ごとに加算することで通常の撮像素子で得られる画像データを取得することができる。本実施形態では、１つの画素を２つの瞳分割領域Ａ、Ｂで構成しているものとする。瞳分割領域Ａの出力と、瞳分割領域Ｂの出力をそれぞれ独立した画像として取得し、２つの視差画像データＡ、Ｂを取得する。また、瞳分割領域Ａ、Ｂの出力を画素ごとに加算することで、通常の画像データを取得することができる。視差画像データＡ、Ｂの加算合成処理は、後述する画像処理部１０６でおこなってもよいし、撮像部１０３でおこなってもよい。視差画像データの加算合成処理によって得られた画像データは、視差画像と関連付けてメモリ１０８に記録しておく。また、瞳分割領域は２つに限らず、さらに多くの領域に分割し、多くの視差画像データを同時に取得する構成であってもよい。撮像部１０３はＡ／Ｄ変換処理機能を備えており、アナログ画像信号をデジタル画像信号に変換する。

ＡＦ評価値検出部１０４では、デジタル画像信号から得られるコントラスト情報や、視差情報から得られる位相差からＡＦ評価値を算出し、得られたＡＦ評価値を撮像部１０３からシステム制御部１１１に出力する。バリア１０５は、デジタルカメラ１００の撮影レンズ１０２を含む撮像系を覆うことで、撮影レンジ１０２、シャッタ１０１、撮像部１０３を含む撮像系の汚れや破損を防止する。

画像処理部１０６は、撮像部１０３から出力される画像データ、またはメモリ制御部１０７からの画像データに対して、所定の画素補間、縮小といったリサイズ処理、色変換処理などをおこなう。また画像処理部１０６は、撮影された２つの視差画像データからリフォーカス画像を生成する画像処理をおこなう。リフォーカス処理は、撮影後の画像処理によって画像の焦点位置の変更や被写界深度の調整が可能な処理であり、リフォーカス処理により生成された所定の焦点位置にピントが合った画像をリフォーカス画像という。撮像した２つの視差画像データを入力するとともに、視差画像データの画素をシフトして合成することで、所定の焦点位置で合焦したリフォーカス画像を生成する。

さらに画像処理部１０６は被写体の距離情報を取得することができる。入力した視差画像データＡ、Ｂから位相差を検出することで、被写体までの距離を取得する。そして撮像部から被写体までの距離情報を画素ごとに取得することが可能である。また、画像処理部１０６では撮像した画像データを用いて所定の演算処理がおこなわれ、得られた演算結果に基づいてシステム制御部１１１が露光制御、測距制御をおこなう。これによりＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出）処理、ＥＦ（フラッシュ自動調光発行）処理がおこなわれる。画像処理部１０６ではＡＦ（オートフォーカス）処理がおこなわれるが、このとき撮像部１０３に備えるＡＦ評価値検出部１０４の出力が用いられることもある。そして画像処理部１０６では、撮像した画像データを用いて所定の演算処理をおこない、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理もおこなう。

撮像部１０３の出力データは、画像処理部１０６およびメモリ制御部１０７を介して、あるいはメモリ制御部１０７を介してメモリ１０８に書き込まれる。メモリ１０８は、撮像部１０３によって取得およびデジタル画像信号に変換された画像データや、表示部１０９に表示するための画像データを格納する。メモリ１０８は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに充分な記憶容量を備えている。

またメモリ１０８は、画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換機１１０は、メモリ１０８に格納されている画像表示用のデータをアナログ信号に変換して表示部１０９に供給する。こうしてメモリ１０８に書き込まれた表示用の画像データは、Ｄ／Ａ変換機１１０を介して表示部１０９に表示される。表示部１０９はＬＣＤ等の表示機上にＤ／Ａ変換機１１０からのアナログ信号に応じた表示をおこなう。撮像部１０３でデジタル画像信号に変換されたのちにメモリ１０８に蓄積されたデジタル信号をＤ／Ａ変換機１１０においてアナログ変換し、表示部１０９に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示をおこなうことができる。

システム制御部１１１は、デジタルカメラ１００全体を制御する。不揮発性メモリ１１２は、電気的に消去、記録可能なメモリであり、例えばフラッシュメモリなどが用いられる。不揮発性メモリ１１２には、システム制御部１１１動作用の定数、プログラムなどが記録される。システムメモリ１１３はＲＡＭが用いられる。システム制御部１１１の動作に関係する定数、変数、不揮発性メモリ１１２から読み出したプログラム等を展開する。システム制御部１１１は、不揮発性メモリ１１２に記録されたプログラムを実行することで、本実施形態の各処理を実現したり、静止画や動画の撮影や再生をおこなったり、メモリ１０８、Ｄ／Ａ変換機１１０、表示部１０９などを制御して表示制御をおこなったりする。

システムタイマ１１４は、各種制御に用いる時間や、内蔵されたと時計の時間を計測する計時部である。

モード切替スイッチ１１５、シャッタボタン１１６、電源スイッチ１１７、操作部１１８はシステム制御部１１１に各種の動作指示を入力するための操作手段である。モード切替スイッチ１１５は、システム制御部１１１の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチ１１５やその他の操作部材を用いて、これらのモードのいずれかに切り替えられるものとする。同様に動画撮影モードも、記録サイズやフレームレートなどが異なる複数のモードが含まれてもよく、モード切替スイッチ１１５やその他の操作部材を用いて切り替えられるものとする。

シャッタボタン１１６は、デジタルカメラ１００に対して撮影準備および撮影指示をおこなう。シャッタボタン１１６を半押しすることで撮影準備指示となり、システム制御部１１１の制御によりＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作をおこなう。シャッタボタン１１６を全押しすることで撮影指示となり、システム制御部１１１によりシャッタ１０１や撮像部１０３を制御して信号を読み出し、表示部１０９に表示したり、後述する記録媒体２００に画像データを書き込んだりする一連の撮影処理動作を開始する。電源スイッチ１１７は、デジタルカメラ１００に対する電源供給のＯＮ／ＯＦＦを切り替える。

操作部１１８は、表示部１０９に表示される様々な機能アイコンを選択操作する。例えば、上下左右の４方向ボタンやＳＥＴボタンを操作したり、表示部１０９がタッチパネル機能を備える場合は、表示部１０９をタッチ操作したりして、機能アイコンを選択操作する。その他、回転操作可能なコントローラホイールなどの操作部材が含まれてもよい。
電源制御部１１９は、電子検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等から構成され、電池の装着の有無、電池の種類、電池残量の検出をおこなう。検出結果とシステム制御部１１１の指示に基づいて、ＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。

電源部１２０は、アルカリ電池やリチウム電池等の一次電池や、ＮｉＤｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプタ等からなる。ストロボ１２１は、撮影時に発光させることにより低照度シーンでの撮影や逆光シーンでの撮影時に照度を補うことができる。

記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

上述したデジタルカメラ１００では、撮影画面内の中央１点に対してＡＦをおこなったり、顔検出機能によって検出された撮影画面内の顔に対してＡＦをおこなったりすることが可能である。また、画像処理部１０６によって撮影画面内の領域分割などをおこなうことで主被写体を検出し、主被写体に対してＡＦをおこなうことも可能である。

図２は、異なる焦点位置で被写体を撮影するときの像倍率の変化を示す図である。図２の（ａ）において、デジタルカメラ１００は撮像面Ｕに配置されている。異なる２つの目標焦点位置をＦ１とＦ２とする。目標焦点位置Ｆ１において被写体像が結像する際の大きさをＳ１とし、このときの光軸と光線の角度をθ１とする。このとき、光軸を中心に角度±θ１の範囲であれば撮像される被写体の大きさは同じになる。また、目標焦点位置Ｆ１よりも撮像面Ｕに近い目標焦点位置Ｆ２で被写体像が結像する際の大きさをＳ２とし、このときの光軸と光線の角度をθ２する。θ２の角度はθ１よりも大きくなり、撮像される被写体の大きさも大きくなる。

撮像面Ｕから焦点位置Ｆ１までの距離をｘ１とし、大きさＳ１で撮像された被写体像の例を図２の（ｂ）に示す。撮像面Ｕから焦点位置Ｆ２までの距離をｘ２とし、大きさＳ２で撮像された被写体像の例を図２の（ｃ）に示す。

焦点位置Ｆ１と焦点位置Ｆ２では、Ｆ２の方がデジタルカメラ１００と被写体の距離が近づくことから、被写体の大きさＳ２はデジタルカメラ１００との距離変化に比例して、被写体の大きさＳ１に対して拡大されて撮像される。被写体の大きさＳ２は、以下の式により算出することができる。

Ｓ２＝Ｓ１×ｘ１／ｘ２
さらに、焦点位置Ｆ１と焦点位置Ｆ２の距離差をｄとするとき、距離差ｄは以下の式により算出することができる。

ｄ＝（Ｓ２−Ｓ１）×ｘ２／Ｓ２
深度合成処理では、画像処理部１０６はシステム制御部１１１からの指示に基づいて、基準となる画像データ内の被写体の像倍率とその他の画像データ内の被写体の像倍率が等しくなるように像倍率補正をおこなう。その後、画像処理部１０６は画像データに対して必要な周波数特性に適合させたフィルタ処理をおこなってエッジを検出する。画像中の各画素に対応したエッジの強さをコントラスト評価値とし、画像処理部１０６は各画像データ間でコントラスト評価値の比較をおこなう。そして画像処理部１０６は各画素に対して最も高い画素部分を抽出して、最終的に生成される１枚の画像の各領域に対応する画素ごとに重ね合せて合成画像を生成する。

以下、図３から６を参照して、本発明の実施例による、目標焦点位置と撮影した画像データの焦点位置のずれを検出し、リフォーカスによって補正する処理について説明する。

図３は、深度合成モードの動作を示すフローチャートである。

Ｓ３０１は被写体距離を取得するステップである。Ｓ３０２は目標焦点位置を決定するステップである。Ｓ３０３は撮影開始指示を判定するステップである。Ｓ３０４はフォーカスブラケット撮影をするステップである。Ｓ３０５は撮影した画像データの像倍率を算出するステップである。Ｓ３０６は画像データと目標焦点位置のずれ量を算出するステップである。Ｓ３０７は撮影した画像データの焦点位置が目標焦点位置からずれているかを判定するステップである。Ｓ３０８はリフォーカス画像生成処理をおこなうステップである。Ｓ３０９は深度合成画像を生成する画像合成をおこなうステップである。

図４は、リフォーカス画像生成処理を示すフローチャートである。Ｓ４０１は最大リフォーカス量を算出するステップである。Ｓ４０２はリフォーカス補正量を算出するステップである。Ｓ４０３はリフォーカス可能かを判定するステップである。Ｓ４０４は目標焦点位置を変更するステップである。Ｓ４０５はリフォーカス補正量を変更するステップである。Ｓ４０６はリフォーカス処理をおこなうステップである。

図５は撮影した画像データと目標焦点位置の関係を示す図である。図５の（ａ）は合焦させたい被写界深度内でコントラストが一定の値より高くなるように撮影するための目標焦点位置、図５の（ｂ）は実際に撮影された画像データの焦点位置、図５の（ｃ）はリフォーカスによって焦点位置を変更したあとの画像データの焦点位置である。

モード切替スイッチ１１５を操作して深度合成モードに設定すると、システム制御部１１１は表示部１０９にライブビュー表示を開始する。ステップＳ３０１においてシステム制御部１１１は画像処理部１０６を制御し、撮像部１０３から取得した視差画像データを使用して距離情報と主被写体情報を取得する。そして主被写体情報と距離情報の対応付けをおこない、主被写体距離情報を生成する。

ステップＳ３０２においてシステム制御部１１１は、ステップＳ３０１で生成した主被写体距離情報を用いて主被写体領域内で最も近い領域と最も遠い領域の距離差から、合焦させたい被写界深度を決定する。図５の（ａ）に示すように、合焦させたい被写界深度内でコントラストが一定の値より高くなるように撮影するための目標の焦点位置を決定する。矢印５００はその焦点位置におけるコントラストが一定水準以上になる被写界深度の範囲を表す。

ステップＳ３０３においてシステム制御部１１１は、シャッタボタン１１６の状態の状態を読み取り、撮影を開始するかを判断する。シャッタボタン１１６が全押しされている場合は撮影を開始すると判断してステップＳ３０４に進み、シャッタボタン１１６が全押しされていない場合はステップＳ３０１に戻る。

ステップＳ３０４において、システム制御部１１１はステップＳ３０２で決定した目標の焦点位置で撮影するようにレンズ１０２を駆動してフォーカスブラケット撮影をおこなう。シャッタ１０１、撮像部１０３、画像処理部１０６などを制御して撮影枚数分の画像データを取得する。画像データは撮影ごとにメモリ１０８に格納しておく。ここでは、図５（ｂ）に示すような焦点位置で画像データを取得したとする。

ステップＳ３０５においてシステム制御部１１１は、画像処理部１０６を制御して、撮影ごとに画像データ内の被写体の像倍率を算出する。算出した像倍率は、撮影ごとにメモリ１０８に格納しておく。

ステップＳ３０６においてシステム制御部１１１は、ステップＳ３０２で決定した目標の焦点位置における被写体の像倍率を推定する。そしてステップＳ３０５で算出し、メモリ１０８に格納した撮影ごとの像倍率から、図２で示した焦点距離間の距離差を求める式を用いて目標の焦点位置と、その焦点位置に対応する画像データを撮影した際の焦点位置の距離差を算出する。そして算出した距離差をずれ量として、画像データと関連付けてメモリ１０８に格納する。このとき、目標焦点位置に対してずれが生じていてもコントラストが一定の値よりも高くできる範囲であれば問題ないと判断して、算出した距離差がこの範囲外である場合にずれ量を格納してもよい。

ステップＳ３０７においてシステム制御部１１１は、ステップＳ３０６でずれ量がメモリ１０８に書き込まれた画像データがあるかを判定する。ずれが算出された画像データがある場合はステップＳ３０８に進み、ずれが算出された画像データがない場合はステップＳ３０９に進む。

ステップＳ３０８においてシステム制御部１１１は、画像処理部１０６を制御してずれが算出された画像データに対してリフォーカス画像生成処理をおこない、リフォーカス画像を生成する。リフォーカス画像の生成についての詳細は後述する。生成したリフォーカス画像について画像データ内の被写体の像倍率を算出し、ステップＳ３０５でメモリ１０８に記録した撮影ごとの像倍率情報を上書きして記録しておく。

ステップＳ３０９においてシステム制御部１１１は、画像処理部１０６を制御して画像データの合成処理をおこなう。ステップＳ３０５およびステップＳ３０８でメモリ１０８に記録した撮影ごとの像倍率情報をもとに、複数の画像データ内の被写体の像倍率が等しくなるように画像データのサイズを調整することで像倍率補正をおこなう。そして像倍率補正後の画像データを合成することで深度合成画像を生成して、本処理を終了する。

ステップＳ３０８におけるリフォーカス画像生成について、図４と、図５を用いて説明する。

リフォーカス画像生成処理を開始すると、ステップＳ４０１においてシステム制御部は焦点位置を補正できるリフォーカス範囲および上限値である最大リフォーカス量を求める。リフォーカス処理では、レンズ１０２および絞りによる開口系や撮像部１０３における撮像素子の画素ピッチ等により、視差画像データの視差量が制限されるので、リフォーカス可能な範囲に制限が生じる。そのため、リフォーカス範囲および上限値をあらかじめ算出しておく。ここで、リフォーカス範囲は公知の方法により求めることができる。

ステップＳ４０２においてシステム制御部１１１は、撮影時の焦点位置と目標焦点位置の差を比較し、もっとも差分が小さい画像データを各目標焦点位置に対する補正対象データとして割り当てる。そして補正対象データと目標焦点位置の距離差をリフォーカスの補正量とする。例えば撮影した画像データの焦点位置が図５の（ｂ）に示すようになっている場合、ｉｉの焦点位置は（ａ）のｉｉに示す目標焦点位置に対して矢印５０２に示す分だけずれており、ステップＳ３０６でメモリ１０８に格納されている。（ｂ）のｉとｉｉｉの焦点位置で撮影された画像データについて、それぞれ矢印５０１と５０３で示される目標焦点位置ｉｉとの距離差を求める。そして矢印５０１、５０２、５０３で表される距離差のうち、距離差が一番小さくなる画像データをリフォーカス画像生成に用いる補正対象データとして選択して、距離差をリフォーカスの補正量とする。この例では、矢印５０２が一番小さいため、差画像データｉｉを補正対象データとし、矢印５０２で表される距離差をリフォーカス量として算出することになる。

ステップＳ４０３においてシステム制御部１１１は、ステップＳ４０１で求めた最大リフォーカス量とステップＳ４０２で求めたリフォーカス補正量を比較し、リフォーカス可能かどうかを判定する。リフォーカス補正量が最大リフォーカス量よりも小さい場合はリフォーカス可能であると判断し、ステップＳ４０６へ進む。リフォーカス補正量が最大リフォーカス量よりも大きい場合はリフォーカス不可能と判断し、ステップＳ４０４へ進む。
ステップＳ４０４においてシステム制御部１１１は、目標焦点位置をリフォーカス可能な範囲に基づき、被写界深度の重なり方が一定になるように変更する。図６は撮影した画像データに応じた目標焦点位置の変更処理の例を示す図である。図６の（ａ）はステップＳ３０２で決定した目標焦点位置の一例である。図６の（ｂ）は撮影された画像データの焦点位置の一例である。目標焦点位置が撮影されたどの画像データからもリフォーカスできないと判断した場合、対象となる目標焦点位置に隣接した距離の画像から最大リフォーカス量動かした焦点位置を目標焦点位置として変更する。図６において６００は最大リフォーカス量である。最大リフォーカス量動かした目標焦点位置に基づき、等間隔になるように他の目標焦点位置を変更する。図６の（ｃ）に変更後の目標焦点位置の一例を示す。変更後の目標焦点位置ｉｉｉについて、撮影された画像データの焦点位置ｉｉｉの画像データをリフォーカスすることで生成し、変更後の目標焦点位置ｉｖについて、撮影された画像データの焦点位置ｉｖの画像データをリフォーカスすることで生成する。

ステップＳ４０５においてシステム制御部１１１は、変更された目標焦点位置に対して画像データのリフォーカス補正量を算出する。

ステップＳ４０６においてシステム制御部１１１は、画像処理部１０６などを制御してステップＳ４０２またはステップＳ４０５で算出したリフォーカス補正量に基づいて、補正対象の画像データをリフォーカスする。リフォーカスにより図５の（ｃ）に示すような焦点位置に補正された画像データを取得する。これにより深度合成用の画像を生成する。
これにより、手振れなどの影響で目標焦点位置からずれた画像データに対して、被写体の像倍率から算出した目標焦点位置と画像データの焦点位置のずれ量に基づいてリフォーカス処理をおこなうことができる。目標の焦点位置になるように補正した合成用画像データを生成して深度合成処理をおこなうため、手振れなどで目標の焦点位置からずれてしまった場合でも、深度合成したい被写界深度全域に対して一定以上のコントラストを維持することができる。このため、目標の焦点位置から焦点位置がずれた画像データであっても、高画質な深度合成画像を取得することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

本発明は、民生や業務用途において、画像撮影機器、再生機、システム、アプリケーション、画像処理装置などに利用可能である。

Ｓ３０１ 被写体距離を取得するステップ、
Ｓ３０２ 目標焦点位置を決定するステップ、
Ｓ３０３ 撮影開始指示を判定するステップ、
Ｓ３０４ フォーカスブラケット撮影をするステップ、
Ｓ３０５ 撮影した画像データの像倍率を算出するステップ、
Ｓ３０６ 画像データと目標焦点位置のずれ量を算出するステップ、
Ｓ３０７ 撮影した画像データの焦点位置が目標焦点位置からずれているかを判定するステップ、
Ｓ３０８ リフォーカス処理をおこなうステップ、
Ｓ３０９ 深度合成画像を生成する画像合成をおこなうステップ

Claims (5)

1. 複数の視差画像と、前記視差画像を合成して得た画像データとを取得可能な撮像装置であって、
   リフォーカス画像生成手段と、
   焦点位置が互いに異なる複数の画像データを順次撮影するように制御する撮影制御手段と、
   前記撮影制御手段により撮影する目標焦点位置を決定する目標焦点位置決定手段と、
   前記目標焦点位置からのずれを検出する焦点位置変動検出手段と、
   前記複数の画像データを合成する画像合成手段を有し、
   前記リフォーカス画像生成手段は、前記焦点位置変動検出手段が検出したずれに基づいて前記複数の視差画像から焦点位置を補正したリフォーカス画像を生成し、前記合成手段によって合成をおこなうことを特徴とする撮像装置。
2. 前記焦点位置変動検出手段は、画像データ内の被写体の像倍率に基づいて、焦点距離の移動量を算出し、前記目標焦点位置設定手段で設定した目標焦点位置に対してずれがあるかを判定することを特徴とする請求項１に記載の撮像装置。
3. 前記焦点位置変動検出手段は、前記目標焦点位置決定手段が設定した目標焦点位置に対してずれがあると判定した場合、焦点位置の移動量に基づいて焦点位置のずれ量を求めることを特徴とする請求項１又は請求項２に記載の撮像装置。
4. 前記リフォーカス画像生成手段は、前記焦点位置変動検出手段によりずれが検出された場合に、前記複数の視差画像から焦点位置を補正したリフォーカス画像を生成することを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像装置。
5. 前記リフォーカス画像生成手段により、前記目標焦点位置決定手段で設定された目標焦点位置に補正できない場合、前記目標焦点位置を前記リフォーカス画像生成手段で補正できる範囲に基づいて再決定することを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像装置。