JP2010072134A

JP2010072134A - 撮像装置

Info

Publication number: JP2010072134A
Application number: JP2008237362A
Authority: JP
Inventors: Teruhiro Yoshida; 彰宏吉田
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2008-09-17
Filing date: 2008-09-17
Publication date: 2010-04-02
Anticipated expiration: 2028-09-17
Also published as: JP5108696B2

Abstract

【課題】広い距離範囲および被写界深度が浅い撮影条件における被写体の合焦位置を加味し、適切なフォーカスブラケット撮影を行う。
【解決手段】撮像装置は、撮像レンズ１０１と、ＣＭＯＳセンサ１０４と、合焦状態を示す所定の周波数成分を抽出する検波部１１１とを有する。検波部１１１で、画面を複数の小領域に分割し且つ該小領域単位で周波数成分を抽出し、それらの周波数成分に基づき、合焦位置の位置分布を求める。フォーカスブラケット撮影に際し、撮像レンズ１０１の焦点距離が所定値以上で、且つ合焦位置の位置分布と第１の閾値との比較により所定の位置よりも至近側に所定値以上の分布の存在を判別したときは、位置分布を第１の閾値と比較し、分布値が第１の閾値より大きく且つ至近側の分布ピークとなる合焦位置とその前後を撮影し、そうでないときは、位置分布を第２の閾値と比較し、分布値が第２の閾値より大きい合焦位置を撮影する。
【選択図】図１

Description

本発明は、ディジタルカメラのような撮像装置に係り、特に、焦点調節機構を含む撮像光学系と、前記撮像光学系により結像される被写体光学像を電気信号に変換する固体撮像素子とを有する撮像装置に関するものである。

ディジタルカメラ等の撮像装置によって、奥行きのある被写体をオートフォーカスで撮影する際に、アルゴリズムやハードウェアの性能限界から、撮影意図にそぐわない位置にピントが合う、いわゆる偽合焦、を生じ、結果として意図した被写体に対してはピントずれとなることがある。このようなときには、ピントずれの救済策として、フォーカス位置を順次異ならせて複数枚の撮影を一括して行う、いわゆるフォーカスブラケット撮影を用いる方法がある。このフォーカスブラケット撮影は、焦点位置を前後に少し移動させて３回程度の撮影をおこなう仕様が一般的であるため、大きなピントずれを救済することは困難だった。
また、どの被写体にピントを合わせるかを撮影前に決めないで、あえて焦点位置を変えて複数枚撮影した後に、画像を比較・鑑賞してベストショットを選択したいという撮影者の要求がある。
例えば、特許文献１（特開平７−３１８７８５号）には、多点測距手段から得られた複数の測距データに基づいてフォーカス位置を変えてブラケット撮影するカメラが開示されている。

また、例えば、特許文献２（特開２００２−２７７７２５号）は、フォーカスブラケット撮影に係るものではないが、この特許文献２には、画像を複数のブロックに分割し、ブロック内を所定の輝度レベルとなるように露出を制御するとともに、ブロック内の焦点評価値を生成し、さらに所定のフォーカス範囲内にあるブロックの焦点評価値をもとに新たな焦点評価値を生成し、合焦制御を行うことが開示されている。
上述したような状況から、現行のフォーカスブラケット撮影よりも更に広い焦点範囲を移動し、且つ被写体の合焦位置情報を加味した使い勝手のよい新たなフォーカスブラケット撮影の実現は潜在的な市場要求があると考えられる。この場合、特に撮影の合焦位置の決定方法が重要となる。

特開平７−３１８７８５号公報特開２００２−２７７７２５号公報

ディジタルカメラ等におけるオートフォーカスでは、いわゆる山登りスキャン方式による合焦判定が行われることが多いが、全画面等の大きな領域で山登りスキャンを実施すると、合焦評価に用いられる周波数情報が領域の積算値として出力されるために、コントラストが高く且つ面積比の大きな主要被写体の周波数情報が支配的になり、他の被写体の周波数情報を分離して合焦位置を判別することが困難となる。具体的には、奥行き方向に連続する被写体や、撮影距離が近い２つの被写体で上述のような問題が発生する。
このような背景から、現行のフォーカスブラケット撮影よりもさらに広いフォーカス位置範囲を考慮し、且つ被写体の合焦位置情報を加味した使い勝手のよいフォーカスブラケット撮影は潜在的な市場要求があると考えられる。
一方、広いフォーカス位置範囲を無駄なくダイナミックに移動するフォーカスブラケット撮影は、フォーカスブラケット撮影方式として優れた撮影方式の一つではあると思われるが、あらゆるシーンにおいてベストな撮影方式であるとはいえない。すなわち、人物と背景の建物の組み合わせのような被写体に対してはダイナミックなフォーカス移動が適しているが、花や小物のクローズアップのような被写体では、先に説明した従来型のフォーカス移動量の少ない撮影が適しているといえる。

すなわち、手前の人物と後方の人物と背景の建物の組み合わせのような被写体では、手前の人物と後方の人物と背景の建物のそれぞれにピントを合わせて撮影することが望まれるのに対し、花のクローズアップのような被写体では、手前の花びらから後方の花びらまでを被写界深度を考慮しながら細かくピントを変えながら撮影することが望まれ、背景の地面等にピントを合わせた画像は不要である。
一般的に花や小物などをクローズアップして撮影する場合の撮影意図としては、主要被写体に対して特に重点を置いていると考えられる。
本発明は、上述した事情に鑑みてなされたもので、広い距離範囲における被写体の合焦位置を加味し、被写体の状況に応じた複数の適切なフォーカス位置についての撮影を行って、適切な被写体画像を撮影するフォーカスブラケット撮影を可能とする撮像装置を提供することを目的としている。

請求項１に記載した本発明に係る撮像装置は、上述した目的を達成するために、
焦点調節機構を含む撮像光学系と、前記撮像光学系により結像される被写体光学像を電気信号に変換する固体撮像素子と、前記固体撮像素子の出力から合焦状態を示す所定の周波数成分を抽出し前記撮像光学系の焦点調節機構の制御に供する検波部とを有する撮像装置において、
前記検波部は、
画面を複数の小領域に分割し、該小領域単位で前記周波数成分を抽出する手段を含み、
前記撮像装置は、
前記小領域単位でそれぞれ前記検波部により抽出される前記周波数成分に基づき合焦位置を算出する手段と、
前記合焦位置の位置分布を求める手段と、
前記位置分布値と第１の閾値とを比較する手段と、
前記位置分布値と第１の閾値との比較に基づき、前記位置分布値が前記第１の閾値より大きく且つ至近側の分布ピークとなる合焦位置とその前後について、順次異なる合焦位置で複数枚を撮影するフォーカスブラケット撮影を行う第１の撮影方式と、
前記位置分布値と第２の閾値とを比較し、分布値が前記第２の閾値より大きい合焦位置について、順次異なる合焦位置で複数枚を撮影するフォーカスブラケット撮影を行う第２の撮影方式とを有し、
撮像光学系の焦点距離が所定値以上で、且つ前記合焦位置の位置分布と前記第１の閾値との比較により所定の位置よりも至近側に所定値以上の分布の存在を判別したときは、前記第１の撮影方式にてフォーカスブラケット撮影を行うフォーカスブラケット撮影手段と
を具備することを特徴としている。

請求項２に記載した本発明に係る撮像装置は、請求項１の撮像装置であって、
前記フォーカスブラケット撮影手段は、前記第１の撮影方式を採用しないときは、前記第２の撮影方式にてフォーカスブラケット撮影を行うことを特徴としている。

請求項３に記載した本発明に係る撮像装置は、上述した目的を達成するために、
焦点調節機構を含む撮像光学系と、前記撮像光学系により結像される被写体光学像を電気信号に変換する固体撮像素子と、前記固体撮像素子の出力から合焦状態を示す所定の周波数成分を抽出し前記撮像光学系の焦点調節機構の制御に供する検波部とを有する撮像装置において、
前記検波部は、
画面を複数の小領域に分割し、該小領域単位で前記周波数成分を抽出する手段を含み、
前記撮像装置は、
前記小領域単位でそれぞれ前記検波部により抽出される前記周波数成分に基づき合焦位置を算出する手段と、
前記合焦位置の位置分布を求める手段と、
前記位置分布値と第１の閾値とを比較する手段と、
前記複数の小領域の周波数成分を積算して、前記複数の小領域の融合領域における合焦位置を算出し、前記合焦位置とその前後について、順次異なる合焦位置で複数枚を撮影するフォーカスブラケット撮影を行う第１の撮影方式と、
前記位置分布値と第２の閾値とを比較し、分布値が前記第２の閾値より大きい合焦位置について、順次異なる合焦位置で複数枚を撮影するフォーカスブラケット撮影を行う第２の撮影方式とを有し、
撮像光学系の焦点距離が所定値以上で、且つ前記合焦位置の位置分布と前記第１の閾値との比較により所定の位置よりも至近側に所定値以上の分布の存在を判別したときは、前記第１の撮影方式にてフォーカスブラケット撮影を行うフォーカスブラケット撮影手段と
を具備することを特徴としている。

請求項４に記載した本発明に係る撮像装置は、請求項３の撮像装置であって、
前記フォーカスブラケット撮影手段は、前記第１の撮影方式を採用しないときは、前記第２の撮影方式にてフォーカスブラケット撮影を行うことを特徴としている。

本発明によれば、
焦点調節機構を含む撮像光学系と、前記撮像光学系により結像される被写体光学像を電気信号に変換する固体撮像素子と、前記固体撮像素子の出力から合焦状態を示す所定の周波数成分を抽出し前記撮像光学系の焦点調節機構の制御に供する検波部とを有する撮像装置において、
前記検波部は、
画面を複数の小領域に分割し、該小領域単位で前記周波数成分を抽出する手段を含み、
前記撮像装置は、
前記小領域単位でそれぞれ前記検波部により抽出される前記周波数成分に基づき合焦位置を算出する手段と、
前記合焦位置の位置分布を求める手段と、
前記位置分布値と第１の閾値とを比較する手段と、
前記位置分布値と第１の閾値との比較に基づき、前記位置分布値が前記第１の閾値より大きく且つ至近側の分布ピークとなる合焦位置とその前後について、順次異なる合焦位置で複数枚を撮影するフォーカスブラケット撮影、
または、前記複数の小領域の周波数成分を積算して、前記複数の小領域の融合領域における合焦位置を算出し、前記合焦位置とその前後について、順次異なる合焦位置で複数枚を撮影するフォーカスブラケット撮影
を行う第１の撮影方式と、
前記位置分布値と第２の閾値とを比較し、分布値が前記第２の閾値より大きい合焦位置について、順次異なる合焦位置で複数枚を撮影するフォーカスブラケット撮影を行う第２の撮影方式とを有し、
撮像光学系の焦点距離が所定値以上で、且つ前記合焦位置の位置分布と前記第１の閾値との比較により所定の位置よりも至近側に所定値以上の分布の存在を判別したときは、前記第１の撮影方式にてフォーカスブラケット撮影を行うフォーカスブラケット撮影手段と
を具備することによって、
所定の焦点距離よりも望遠側で且つ被写体が至近側にあることを判別したときには、花や小物等のクローズアップ撮影と推定し、フォーカスブラケット撮影に、比較的狭い範囲で緻密にフォーカス位置を移動させる前記第１の撮影方式のいずれかを採用するようにして、
広い距離範囲における被写体の合焦位置を加味し、被写体の状況に応じた複数の適切なフォーカス位置についての撮影を行って、適切な被写体画像を撮影するフォーカスブラケット撮影を可能とする撮像装置を提供することができる。

以下、本発明に係る実施の形態に基づき、図面を参照して本発明の撮像装置を詳細に説明する。
図１は、本発明の第１の実施の形態に係る撮像装置の要部の構成を模式的に示すブロック図である。
図１に示す撮像装置は、光学ユニット１００、光学系駆動部１０５、画像処理部１１０、制御・演算部１２０、プログラム用メモリ１２１、操作部１２２、表示部１２３、圧縮・伸張処理部１２４、画像記録インタフェース（Ｉ／Ｆ）部１２５および画像バッファ用メモリ１２６を具備している。
光学ユニット１００は、撮像レンズ１０１、絞り・シャッタユニット１０２、光学ローパスフィルタ１０３およびＣＭＯＳ（相補型金属酸化物半導体）センサ１０４を有して構成される。この場合、固体撮像素子としてＣＭＯＳセンサ１０４を用いている。固体撮像素子は、ＣＣＤ固体撮像素子を用いて構成しても問題は無いが、本発明は、フォーカスブラケット撮影に関するものであるため連続撮影を前提としており、高速読み出しに大きな特徴を有するＣＭＯＳセンサ１０４を用いて構成することが望ましい。ＣＭＯＳセンサ１０４は、センサ部１０４ａ、駆動部１０４ｂ、ＣＤＳ（相関二重サンプリング）／ＰＧＡ（プログラマブル利得増幅器）１０４ｃおよびＡＤＣ（アナログ−ディジタル変換器）１０４ｄを有している。

光学ユニット１００の撮像レンズ１０１は、焦点調節機構を有する撮像光学系を構成し、フォーカス時、ズーム時および起動・停止時に機械的並びに光学的に位置を変える。また、絞り・シャッタユニット１０２は、被写体条件に合わせて絞り開口径の変更を行うとともに、同時露光による静止画撮影のためのシャッタ開閉動作を行う。光学系駆動部１０５は、撮像レンズ１０１と絞り・シャッタユニット１０２とを駆動する。制御・演算部１２０は、光学系駆動部１０５に駆動指示を与える。すなわち、制御・演算部１２０の駆動指示に応答して、光学系駆動部１０５が、撮像レンズ１０１および絞り・シャッタユニット１０２を作動させる。
ＣＭＯＳセンサ１０４では、光学ユニット１００の撮像レンズ１０１によって結像された被写体光学像を、受光素子が２次元に配列されてなるセンサ部１０４ａによって電荷に変換し、駆動部１０４ｂから与えられる読出し信号のタイミングで外部に電気信号を出力する。ＣＭＯＳセンサ１０４におけるセンサ部１０４ａの出力は、ＣＤＳ／ＰＧＡ１０４ｃで相関二重サンプリングされて利得制御され、ＡＤＣ１０４ｄで、Ａ／Ｄ変換されて後段の画像処理部１１０に供給される。

ＣＭＯＳセンサ１０４が出力した信号は、画像処理部１１０で画像処理されて所定のフォーマットの撮影画像データとされる。撮影画像データは、圧縮・伸張処理部１２４および画像記録Ｉ／Ｆ部１２５を介して、最終的には、ＳＤカード、コンパクトフラッシュ（登録商標）カード、またはＸＤピクチャーカード等のようなフラッシュメモリを用いた記録メディアに書き込まれ・保存される。記録メディアへの記録前のスルー画像としてモニタ状態で使用しているときは、ＣＭＯＳセンサ１０４出力は、画像処理部１１０で表示用画像として処理され、表示部１２３に随時更新表示される。山登りスキャンと表示部１２３への画像更新表示は、並列的に行われる場合と、排他的に行われる場合とがあり、これらのいずれが採用されるかは撮像装置の仕様に依存する。画像処理部１１０は、多くの機能を有して構成されるが、山登りスキャンによる被写体の周波数情報（スキャンラインにおける空間周波数情報に対応する）を取得するためのフォーカス用の検波部としての周波数情報検波部１１１を含んでいる。なお、この実施の形態において、周波数情報検波部１１１は、画面を小領域に分割し、小領域単位で検波する機能を有している。また、検波情報からの合焦位置の算出や、算出結果に基づく最終的なフォーカスブラケット撮影位置の決定は、制御・演算部１２０にて行われる。すなわち、撮影に係る種々の機能手段は、制御・演算部１２０にて実現され、フォーカスブラケット撮影手段も制御・演算部１２０の機能として含まれている。操作部１２２には、半分だけ押下した、いわゆる半押し状態（レリーズ１オン〜レリーズボタンを放せばオフ）と完全に押下した全押し状態（レリーズ２オン：このときレリーズ１もオン状態を維持〜レリーズボタンを放せばレリーズ１およびレリーズ２が共にオフ）とを識別して感応検知する２段押操作のレリーズボタンが含まれている。

次に、図２のフローチャートを参照して、本発明の第１の実施の形態におけるフォーカスブラケット撮影の制御動作を説明する。
処理を開始して（ステップＳ２０１）、２段レリーズボタンの半押し状態（レリーズ１のオン）を検出したら（ステップＳ２０２）、撮像レンズ１０１のフォーカス位置を移動させることで山登りスキャンを実施し、周波数情報検波部１１１にて画面を分割した小領域毎に周波数情報を取得して（ステップＳ２０３）、該小領域毎に合焦位置を算出する（ステップＳ２０４）。なお、ステップＳ２０１で処理が開始されて、レリーズボタンが半押し状態とならない場合には、ステップＳ２０２においてレリーズボタンが半押し状態となるのを待つ。
ステップＳ２０４に続いて、各小領域における合焦位置を分布化し、合焦位置の度数分布、すなわち小領域数分布を求めて（ステップＳ２０５）、撮影方式の決定処理を行う（ステップＳ２０６）。ステップＳ２０６の撮影方式の決定処理は、詳細は後述する（図９参照）が、フォーカスブラケット撮影を、第１の撮影方式に従って行うか、第２の撮影方式に従って行うかを決定する。そして、ステップＳ２０６で選択された撮影方式に従って、ブラケット撮影の所定枚数の撮影位置を決定する（ステップＳ２０７）。ステップＳ２０７のブラケット撮影の撮影位置の決定処理についての詳細も後述する（図９および図１０）。

２段レリーズボタンが、半押し状態を保持したまま（ステップＳ２０８）、全押し状態（レリーズ２のオン）まで押下されたら（ステップＳ２０９）、ステップＳ２０７の決定に従ってブラケット撮影を行い（ステップＳ２１０）、処理を終了する（ステップＳ２１１）。なお、半押し状態とした後にレリーズボタンを放した場合には、ステップＳ２０８で半押し状態が保持されていないと判定され、ステップＳ２０２へ戻る。また、レリーズボタンの半押し状態が保持されていて、レリーズボタンが全押しされていない場合には、ステップＳ２０９においてステップＳ２０８へ戻り、レリーズボタンが全押しされるのを待つ。
上述した本発明の第１の実施の形態に係るブラケット撮影における被写体の一例を図３（ａ）に模式的に示している。被写体は、異なる撮影距離にいる人物２名と、無限位置の高層ビル群とで構成されている。
周波数情報検波部１１１にて検波される画面を分割した小領域の検波枠の一例を図３（ｂ）に示している。図３（ｂ）に示す検波枠は、画角の縦および横をそれぞれ１２分割した１４４の小領域で構成されている。分割数については、特に規定しないが、分布化（図６参照）することを想定すると１０×１０＝１００以上の分割数で構成することが望ましい。

図４には、図３（ａ）の被写体と、図３（ｂ）の小領域分割された検波枠とを重ね合わせて示している。この図４のような被写体の例において、ステップＳ２０３の山登りスキャンによって、ステップＳ２０４で小領域単位での合焦位置を算出した結果を図５に示しており、この場合にステップＳ２０５で求められる合焦位置分布の一例を図６に示している。図５において、黒く塗り潰した領域は、手前の人物に対する合焦位置を判定した結果であり、図６の合焦位置ｘ３〜ｘ７を合焦位置として算出している。斜線を施した領域は、奥の人物の合焦位置を判定した結果であり、図６の合焦位置ｘ１０〜ｘ１２を合焦位置として算出している。網掛けを施した小領域は、背景の高層ビルの合焦位置を判定した結果であり、図６の合焦位置ｘ１５を合焦位置として算出している。白無地の小領域は、背景の空にコントラストがないために山登りスキャンにより合焦位置を判定することができない領域である。
また、図７には、本発明の第１の実施の形態に係るブラケット撮影における被写体の他の一例を、図３（ｂ）と同様に、周波数情報検波部１１１にて検波される画面を分割した小領域の検波枠と重ね合わせて模式的に示している。この場合の被写体は２本の花のクローズアップである。比較的短い撮影距離から望遠レンズ（焦点距離ｆ≧ｆ_０ｍｍ）を使った撮影を想定しているため、手前の花の花弁、中央のオシベおよびメシベと後方の花の花弁とは、近接していて相互間の距離は短いがそれぞれ異なるフォーカス面にある。

図７のような被写体の例において、ステップＳ２０３の山登りスキャンによって、ステップＳ２０４で小領域単位での合焦位置を算出した結果として、ステップＳ２０５で得られる合焦位置分布の一例を図８に示している。
すなわち、図８において、図７の被写体について小領域単位で合焦位置を算出し、その結果を分布化したものが合焦位置分布Ｉ（ｙ）である。横軸のｙ０〜ｙ１５は、山登りスキャンにおけるフォーカス位置を示している。図８の合焦位置ｙ０〜ｙ５は、２本の花の合焦位置であり、合焦位置ｙ１３〜ｙ１５は、背景の合焦位置である。
図２のステップＳ２０６における撮影方式の決定処理についての具体的な一例について、図９に示すサブフローチャートを参照して説明する。
撮影方式の決定処理が開始されると（ステップＳ２２１）、まず、２段レリーズボタンの半押し状態（レリーズ１のオン）を検出した後に、撮像レンズ１０１が望遠レンズ、すなわち焦点距離ｆが所定の焦点距離ｆ_０ｍｍ以上、
ｆ≧ｆ_０ｍｍ
であるか否かを判定する（ステップＳ２２２）。この場合、撮像レンズ１０１は、ズームレンズに代表される焦点距離可変のレンズを想定しているが、複数の焦点距離を切り替え選択することにより焦点距離を変更し得るレンズや、レンズ交換によって焦点距離を変更し得るレンズであっても良い。但し、撮像レンズ１０１は、適宜なる手段によって、選択された焦点距離ｆを制御側にて認識できるものとする。

ステップＳ２２２において焦点距離ｆが所定の焦点距離ｆ_０ｍｍ以上であると判定された場合には、続いて、図８に示されるフォーカス位置ｙ、合焦位置分布Ｉ（ｙ）および第１の閾値Ｊについて、位置ｙ０〜ｙ７の範囲において合焦位置分布Ｉ（ｙ）が第１の閾値Ｊ以上、
Ｉ（ｙ）≧Ｊ
となる合焦位置ｙを有するか否かを判定する（ステップＳ２２３）。なお、第１の閾値Ｊは、少なくとも比較的近距離領域（例えば位置ｙ０〜ｙ７の範囲）を含むように設定されている。
ステップＳ２２３において合焦位置分布Ｉ（ｙ）が第１の閾値Ｊ以上となる合焦位置ｙを有すると判定された場合、つまりステップＳ２２２およびステップＳ２２３のいずれの判定においてもイエス（ＹＥＳ）であった場合には、比較的狭い範囲でのフォーカスブラケット撮影を行う第１の撮影方式を選択し（ステップＳ２２４）、処理を終了して（ステップＳ２２６）、ステップＳ２０７のフォーカスブラケット撮影の位置決定処理に移行する。
なお、ステップＳ２２２とステップＳ２２３の少なくとも一方でノー（ＮＯ）と判定された場合には、広い位置範囲でのフォーカスブラケット撮影をおこなう第２の撮影方式を選択し（ステップＳ２２５）、ステップＳ２２６で処理を終了して、ステップＳ２０７のフォーカスブラケット撮影の位置決定処理に移行する。

図２のステップＳ２０７におけるフォーカスブラケット撮影の位置決定処理は、ステップＳ２０６、すなわち図９の撮影方式決定処理において、第１の撮影方式が選択されたか、第２の撮影方式が選択されたかによって異なる処理を行う。まず、第１の撮影方式が選択された場合のフォーカスブラケット撮影の位置決定処理についての具体的な一例について、図１０に示すサブフローチャートを参照して説明する。
第１の撮影方式が選択された場合、フォーカスブラケット撮影の位置決定処理が開始されると（ステップＳ２３１）、まず、図８に示されるフォーカス位置ｙ０〜ｙ７の範囲内における合焦位置分布のピーク位置を判別する（ステップＳ２３２）。次に、ステップＳ２３２で判別されたピーク位置を含みその前後の所定個数の合焦位置を撮影位置として決定して（ステップＳ２３３）、処理を終了する（ステップＳ２３４）。その後に、図２の処理フローにおけるステップＳ２０８およびステップＳ２０９を経て、ステップＳ２１０のフォーカスブラケット撮影が行われる際には、ステップＳ２３３で決定された撮影位置についてフォーカスブラケット撮影が行われる。

次に、図２のステップＳ２０６、すなわち図９の撮影方式決定処理において、第２の撮影方式が選択された場合のステップＳ２０７におけるフォーカスブラケット撮影の位置決定処理の具体的な一例について、図１１に示すサブフローチャートを参照して説明する。
第２の撮影方式が選択された場合、フォーカスブラケット撮影の位置決定処理が開始されると（ステップＳ２４１）、まず、図６に示される合焦位置分布Ｇ（ｘ）と閾値関数Ｆ（ｘ）を比較し（ステップＳ２４２）、合焦位置分布Ｇ（ｘ）の分布度数値が閾値関数Ｆ（ｘ）よりも大きな所定個数の合焦位置を撮影位置として決定して（ステップＳ２４３）、処理を終了する（ステップＳ２４４）。その後に、図２の処理フローにおけるステップＳ２０８およびステップＳ２０９を経て、ステップＳ２１０のフォーカスブラケット撮影が行われる際には、ステップＳ２４３で決定された撮影位置についてフォーカスブラケット撮影が行われる。
なお、ステップＳ２４２における閾値関数Ｆ（ｘ）の上下シフト移動などを可能として、閾値関数Ｆ（ｘ）の可変制御により、フォーカスブラケット撮影の撮影枚数を所定枚数とするように制御しても良い。

すなわち、図９に示した撮影方式の決定処理におけるステップＳ２２２で、撮像レンズ１０１の焦点距離ｆが所定の焦点距離ｆ_０ｍｍ以上（望遠レンズ）であると判定され、ステップＳ２２３で、図８における位置ｙ０〜ｙ７の範囲において合焦位置分布Ｉ（ｙ）が第１の閾値Ｊ以上となる合焦位置ｙを有していると判定された場合には、ステップＳ２２４で第１の撮影方式が選択される（特許請求の範囲請求項１にほぼ対応する）。第１の撮影方式の場合には、図１０の撮影位置決定処理に従い、ステップＳ２３２で、図８に示されるフォーカス位置ｙ０〜ｙ７の範囲内における合焦位置分布Ｉ（ｙ）のピーク位置を判別し、ステップＳ２３３で、そのピーク位置を含みその前後の所定個数の合焦位置を撮影位置として決定する。つまり、図８における合焦位置分布Ｉ（ｙ）からフォーカス位置ｙ０〜ｙ７の範囲内におけるピーク位置ｙ２を判別し、フォーカスブラケット撮影の撮影枚数を５枚とする場合には、その前後の２点ずつのフォーカス位置を含めて、合焦位置ｙ０、ｙ１、ｙ２、ｙ３およびｙ４の５点で撮影を行うことになる。

また、図９に示した撮影方式の決定処理におけるステップＳ２２２で、撮像レンズ１０１の焦点距離ｆが所定の焦点距離ｆ_０ｍｍ以上（望遠レンズ）でないと判定された場合、またはステップＳ２２２で焦点距離ｆが所定の焦点距離ｆ_０ｍｍ以上であると判定されたが、ステップＳ２２３で、図８における位置ｙ０〜ｙ７の範囲において合焦位置分布Ｉ（ｙ）が第１の閾値Ｊ以上となる合焦位置ｙを有していないと判定された場合には、ステップＳ２２５で第２の撮影方式が選択される（請求項２にほぼ対応する）。第２の撮影方式の場合には、図１１の撮影位置決定処理に従い、ステップＳ２４２で、図６に示す合焦位置分布関数Ｇ（ｘ）と第２の閾値である閾値関数Ｆ（ｘ）とを比較し、ステップＳ２４３で、その比較結果に基づき、フォーカスブラケット撮影の撮影位置を決定する。図６における位置ｘ０〜ｘ１５は、山登りスキャンをしたフォーカス位置を示し、これらのフォーカス位置ｘ０〜ｘ１５のなかからフォーカスブラケット撮影の撮影位置を選択することを前提としている。但し、この前提は、理解を容易にするためのアルゴリズムであって、必然ではなく、フォーカスブラケット撮影時に意図的にフォーカス位置をずらすことも想定され得る。この場合、第２の閾値としての閾値関数Ｆ（ｘ）＝ｆ（ｘ）＋αは、例として２本の一次関数を繋げた折れ線状の特性としている。この閾値関数Ｆ（ｘ）は、定数項αを可変とすることで閾値を上下にシフトさせて、撮影位置の数を増減し得る。閾値関数Ｆ（ｘ）が無限遠（ｉｎｆ）方向に向かって増加する増加関数としたのは、近距離（ｎｅａｒ）側被写体を優先的に撮影するためである。

なお、この図６のような場合には、例えば閾値関数Ｆ（ｘ）を超える分布値を有する合焦位置を撮影位置として、フォーカスブラケット撮影の撮影枚数を５枚とすると、撮影位置が５点となるように、閾値関数Ｆ（ｘ）をシフト移動させ、合焦位置ｘ４、ｘ５、ｘ６、ｘ１１およびｘ１５の５点で撮影を行うことになる。フォーカスブラケット撮影の撮影枚数を所定枚数とするための閾値関数Ｆ（ｘ）の制御は、シフト移動に限らず、回転移動や傾斜変更などのような関数ｆ（ｘ）自体の変更を含むようにしても良い。また、閾値関数Ｆ（ｘ）の制御により、撮影位置を所定個数とすることが煩雑になる場合には、所定個数以上で且つ所定個数に近い個数を得た後、例えば近距離側から所定個数を選定するようにしても良い。
上述したように、本発明の第１の実施の形態における第１の撮影方式に係るフォーカスブラケット撮影では、図７に示すような被写体の場合、手前の花の花弁から後方の花の花弁まで、それぞれに合焦させた撮影が行われる。また、本発明の第１の実施の形態における第２の撮影方式に係るフォーカスブラケット撮影では、図４に示すような被写体の場合、人物２名と高層ビルとを重要被写体とし、それぞれに合焦させた撮影が行われる。

次に、本発明の第２の実施の形態に係る撮像装置について説明する。
本発明の第２の実施の形態に係る撮像装置は、第１の実施の形態と同様に、図１に示すような要部の模式的構成を有している。また、フォーカスブラケット撮影の制御動作についても図２と同様の処理を行い、図２のステップＳ２０６における撮影方式の決定処理についても、図９のサブフローチャートに従って行い、図２のステップＳ２０７におけるフォーカスブラケット撮影の位置決定処理についても、図２のステップＳ２０６において、したがって図９の撮影方式決定処理のステップＳ２２５にて、第２の撮影方式が選択された場合には、図１１のサブフローチャートに従って行われる。そして、本発明の第２の実施の形態に係る撮像装置においては、図２のステップＳ２０６において、したがって図９の撮影方式決定処理のステップＳ２２４にて、第１の撮影方式が選択された場合の図２のステップＳ２０７におけるフォーカスブラケット撮影の位置決定処理についてのみ、第１の実施の形態とは異なり、図１２のサブフローチャートに従って行われる。

図２のステップＳ２０７におけるフォーカスブラケット撮影の位置決定処理は、ステップＳ２０６、すなわち図９の撮影方式決定処理、において、第１の撮影方式が選択されたか、第２の撮影方式が選択されたかによって異なる処理を行う。ここで、第１の撮影方式が選択された場合のフォーカスブラケット撮影の位置決定処理についての具体的な一例について、図１２に示すサブフローチャートを参照して説明する。
この実施の形態においては、第１の撮影方式が選択された場合、フォーカスブラケット撮影の位置決定処理が開始されると（ステップＳ２５１）、まず、図７のような被写体に対し、先に、図２のステップＳ２０３において、山登りスキャンで取得した小領域単位での周波数情報を積算して、図１３に示すような積算周波数情報を得る（ステップＳ２５２）。ステップＳ２５２において積算する領域は、この場合、図３（ｂ）に示した１４４個の全枠としても良いし、それら小領域の一部、例えば画面中央の縦６×横６の３６領域程度としても良い。さらには、撮影条件や被写体条件に応じた適宜なるパターンを形成する適宜個数を設定し、それらについての周波数情報を積算するようにしても良い。次に、比較的近距離側、例えば位置ｙ０〜ｙ７の範囲、において積算周波数情報のピークを判別し（ステップＳ２５３）、その判別されたピーク位置を含みその前後の所定個数の合焦位置を撮影位置として決定して（ステップＳ２５４）、処理を終了する（ステップＳ２５５）。

その後に、図２の処理フローにおけるステップＳ２０８およびステップＳ２０９を経て、ステップＳ２１０のフォーカスブラケット撮影が行われる際には、ステップＳ２５４で決定された撮影位置についてフォーカスブラケット撮影が行われる。
そして、図２のステップＳ２０６、すなわち図９の撮影方式決定処理において、第２の撮影方式が選択された場合のステップＳ２０７におけるフォーカスブラケット撮影の位置決定処理は、第１の実施の形態と同様に、図１１に示すサブフローチャートに従って撮影位置を決定する。
つまり、第２の撮影方式が選択された場合、ステップＳ２４１でフォーカスブラケット撮影の位置決定処理が開始されると、まず、ステップＳ２４２で図６に示される合焦位置分布Ｇ（ｘ）と閾値関数Ｆ（ｘ）を比較し、ステップＳ２４３にて、合焦位置分布Ｇ（ｘ）の分布度数値が閾値関数Ｆ（ｘ）よりも大きな所定個数の合焦位置を撮影位置として決定して、ステップＳ２４４で処理を終了する。
その後に、図２の処理フローにおけるステップＳ２０８およびステップＳ２０９を経て、ステップＳ２１０のフォーカスブラケット撮影が行われる際には、ステップＳ２４３で決定された撮影位置についてフォーカスブラケット撮影が行われる。

なお、この場合にも、ステップＳ２４２における閾値関数Ｆ（ｘ）の上下シフト移動などを可能として、閾値関数Ｆ（ｘ）の可変制御により、フォーカスブラケット撮影の撮影枚数を所定枚数とするように制御しても良い。
すなわち、図９に示した撮影方式の決定処理におけるステップＳ２２２で、撮像レンズ１０１の焦点距離ｆが所定の焦点距離ｆ_０ｍｍ以上の望遠レンズであると判定され、ステップＳ２２３で、図８における位置ｙ０〜ｙ７の範囲において合焦位置分布Ｉ（ｙ）が第１の閾値Ｊ以上となる合焦位置ｙを有していると判定された場合には、ステップＳ２２４で第１の撮影方式が選択される（請求項３にほぼ対応する）。この実施の形態における第１の撮影方式の場合には、図１２の撮影位置決定処理に従い、ステップＳ２５３で、図１３に示されるフォーカス位置ｙ０〜ｙ７の範囲内における積算周波数情報のピークを判別し、ステップＳ２５４においては、その判別されたピーク位置を含みその前後の所定個数の合焦位置を撮影位置として決定する。
つまり、図１３における積算周波数情報からフォーカス位置ｙ０〜ｙ７の範囲内におけるピーク位置ｙ３を判別し、フォーカスブラケット撮影の撮影枚数を５枚とする場合には、その前後の２点ずつのフォーカス位置を含めて、合焦位置ｙ１、ｙ２、ｙ３、ｙ４およびｙ５の５点で撮影を行うことになる。なお、図８の合焦位置分布のピークが位置ｙ２にあるのに対して、図１３の積算周波数情報のピークが位置ｙ３にあるのは、小領域単位による判定と複合した領域による判定による精度差に基づくものである。その理由について次に説明する。

先に述べた第１の実施の形態においては、焦点距離と第１の閾値により第１の撮影方式と決定したときには、合焦分布をそのまま流用することでブラケット撮影位置を決定する比較的単純なアルゴリズムを用いている。図８に合焦位置分布の一例が示されているが、この合焦位置分布を撮影方式の決定とブラケット撮影位置の決定の双方に使用している。
これに対して、ここで説明している第２の実施の形態においては、新たに周波数情報を演算して、その結果を基にブラケット撮影位置を決定することとしている。なお、この新たに周波数情報の演算は各小領域での検波結果を積算するものである。そもそも、小領域単位での合焦位置の取得は、第２の撮影方式を実現するために有効なアルゴリズムであって、第１の撮影方式のみを実施するのに必然的なものではなく、従来より用いられているＡＦ（オートフォーカス）用スキャン等によって比較的大きな検波枠で周波数情報を求めれば良い。小領域での山登りスキャンの合焦精度に関しての短所としては、（１）低コントラストの被写体に弱く、（２）手ぶれに弱いことが挙げられる。（１）の低コントラストの被写体とは、実際には、照明が暗くて被写体の充分な明暗が認識できないような条件や、被写体自体が均一面であるような条件のときである。これらのような条件では検波枠が小さいほど、周波数情報の出力が小さくなり、合焦位置を判断することが難しくなる。

また、（２）の手ぶれに関しては、ＡＦ用スキャン中の手ぶれにより、正しい周波数情報を得ることができないことを意味している。例えば、スキャン中に手ぶれにより検波枠と被写体の関係が１領域分ずれるとすれば、得られる周波数情報はスキャン途中から隣接領域の被写体情報に置き換わっていることになり、やはり、正しい合焦位置の判定ができなくなる。検波枠が小さいほど、このような影響を受け易くなる。これらのような不都合を考慮して、第１の撮影方式を、より精度良く実施するために、周波数情報の積算結果に基づいて、ブラケット撮影の中央とするフォーカス位置を判定することとした。
また、図９に示した撮影方式の決定処理におけるステップＳ２２２で、撮像レンズ１０１の焦点距離ｆが所定の焦点距離ｆ_０ｍｍ以上（望遠レンズ）でないと判定された場合、またはステップＳ２２２で焦点距離ｆが所定の焦点距離ｆ_０ｍｍ以上であると判定されたが、ステップＳ２２３で、図８における位置ｙ０〜ｙ７の範囲において合焦位置分布Ｉ（ｙ）が第１の閾値Ｊ以上となる合焦位置ｙを有していないと判定された場合には、第１の実施の形態と同様に、ステップＳ２２５で第２の撮影方式が選択される（請求項４にほぼ対応する）。第２の撮影方式については、第１の実施の形態と同様に、図１１の撮影位置決定処理に従い、ステップＳ２４２で、図６に示す合焦位置分布関数Ｇ（ｘ）と第２の閾値である閾値関数Ｆ（ｘ）とを比較し、ステップＳ２４３で、その比較結果に基づき、フォーカスブラケット撮影の撮影位置を決定する。

図６における第２の閾値としての閾値関数Ｆ（ｘ）＝ｆ（ｘ）＋αは、例として２本の一次関数を繋げた折れ線状の特性としている。この閾値関数Ｆ（ｘ）は、定数項αを可変とすることで閾値を上下にシフトさせて、撮影位置の数を増減し得る。閾値関数Ｆ（ｘ）が無限遠（ｉｎｆ）方向に向かって増加する増加関数としたのは、近距離（ｎｅａｒ）側被写体を優先的に撮影するためである。なお、この図６のような場合には、例えば閾値関数Ｆ（ｘ）を超える分布値を有する合焦位置を撮影位置として、フォーカスブラケット撮影の撮影枚数を５枚とすると、撮影位置が５点となるように、閾値関数Ｆ（ｘ）をシフト移動させ、合焦位置ｘ４、ｘ５、ｘ６、ｘ１１およびｘ１５の５点で撮影を行うことになる。この場合も、フォーカスブラケット撮影の撮影枚数を所定枚数とするための閾値関数Ｆ（ｘ）の制御は、シフト移動に限らず、回転移動や傾斜変更などのような関数ｆ（ｘ）自体の変更を含むようにしても良い。また、閾値関数Ｆ（ｘ）の制御により、撮影位置を所定個数とすることが煩雑になる場合には、所定個数以上で且つ所定個数に近い個数を得た後、例えば近距離側から所定個数を選定するようにしても良い。

上述したように、本発明の第２の実施の形態における第１の撮影方式に係るフォーカスブラケット撮影によっても、図７に示すような被写体の場合、手前の花の花弁から後方の花の花弁まで、それぞれに合焦させた撮影が行われる。また、本発明の第２の実施の形態における第２の撮影方式に係るフォーカスブラケット撮影では、図４に示すような被写体の場合、人物２名と高層ビルとを重要被写体とし、それぞれに合焦させた撮影が行われる。
以上、説明したように、本発明の第１の実施の形態に係る撮像装置においては、小領域単位での山登りスキャン情報を基にダイナミックにフォーカスを移動してフォーカスブラケット撮影をすることができ、フォーカスブラケット撮影により画角全面がピンボケである画像を撮影してしまう可能性を減らすことができて、しかも撮影距離や焦点距離の面から被写界深度が浅い撮影条件で撮影する場合には、撮影方式を変えることによって、比較的狭い範囲を緻密にフォーカス移動するフォーカスブラケット撮影をも実現することができる。すなわち、簡易なアルゴリズムで、撮影条件から推測される撮影者の意図に沿った適切な撮影方式を自動的に選択することができる。
また、本発明の第２の実施の形態に係る撮像装置においては、撮影距離や焦点距離の面から被写界深度が浅い撮影条件で撮影する場合には、複数の小領域の周波数成分を積算し主要被写体の合焦位置を決定する撮影方式とすることで、小領域単位で合焦位置を決定する撮影方式の短所である低コントラスト時や手ぶれ発生時の合焦精度の低下を回避し、ブラケット撮影の中央となるフォーカス位置をより適切に決定することができる。

本発明の第１の実施の形態に係る撮像装置の要部の構成を模式的に示すブロック図である。図１の撮像装置におけるフォーカスブラケット撮影の動作を説明するためのフローチャートである。図１の撮像装置の第２の撮影方式に係るフォーカスブラケット撮影位置を決定する原理を説明するための図であり、（ａ）は、被写体の一例を模式的に示す図であり、（ｂ）は、画面を小領域に分割した検波枠を模式的に示す図である。図３の（ａ）の被写体と図３の（ｂ）の検波枠とを重ね合わせた状態を示す模式図である。図４の場合の各検波枠についての合焦状態の一例を説明するための模式図である。図１の撮像装置の第２の撮影方式に係るフォーカスブラケット撮影位置を決定する原理を説明するための合焦位置分布Ｇ（ｘ）と第２の閾値としての閾値関数Ｆ（ｘ）の一例を模式的に示す図である。図１の撮像装置の第１の撮影方式に係るフォーカスブラケット撮影位置を決定する原理を説明するための被写体と検波枠とを重ね合わせた状態を示す模式図である。図１の撮像装置の第１の撮影方式に係るフォーカスブラケット撮影位置を決定する原理を説明するための合焦位置分布Ｉ（ｙ）と第１の閾値としての閾値Ｊの一例を模式的に示す図である。図１の撮像装置における撮影方式決定処理の詳細な動作を説明するためのフローチャートである。図１の撮像装置における第１の撮影方式に係る撮影位置決定処理の詳細な動作を説明するためのフローチャートである。図１の撮像装置における第２の撮影方式に係る撮影位置決定処理の詳細な動作を説明するためのフローチャートである。本発明の第２の実施の形態に係る撮像装置における第１の撮影方式に係る撮影位置決定処理の詳細な動作を説明するためのフローチャートである。図７の被写体に対し、山登りスキャンで取得した小領域単位での周波数情報を積算してなる積算周波数情報をグラフ化した特性図である。

符号の説明

１００光学ユニット
１０１撮像レンズ
１０２絞り・シャッタユニット
１０３光学ローパスフィルタ
１０４ＣＭＯＳ（相補型金属酸化物半導体）センサ
１０４ａセンサ部
１０４ｂ駆動部
１０４ｃＣＤＳ（相関二重サンプリング）／ＰＧＡ（プログラマブル利得増幅器）
１０４ｄＡＤＣ（アナログ−ディジタル変換器）
１０５光学系駆動部
１１０画像処理部
１１１検波部
１２０制御・演算部
１２１プログラム用メモリ
１２２操作部
１２３表示部
１２４圧縮・伸張処理部
１２５画像記録インタフェース（Ｉ／Ｆ）部
１２６画像バッファ用メモリ

Claims

焦点調節機構を含む撮像光学系と、前記撮像光学系により結像される被写体光学像を電気信号に変換する固体撮像素子と、前記固体撮像素子の出力から合焦状態を示す所定の周波数成分を抽出し前記撮像光学系の焦点調節機構の制御に供する検波部とを有する撮像装置において、
前記検波部は、
画面を複数の小領域に分割し、該小領域単位で前記周波数成分を抽出する手段を含み、
前記撮像装置は、
前記小領域単位でそれぞれ前記検波部により抽出される前記周波数成分に基づき合焦位置を算出する手段と、
前記合焦位置の位置分布を求める手段と、
前記位置分布値と第１の閾値とを比較する手段と、
前記位置分布値と第１の閾値との比較に基づき、前記位置分布値が前記第１の閾値より大きく且つ至近側の分布ピークとなる合焦位置とその前後について、順次異なる合焦位置で複数枚を撮影するフォーカスブラケット撮影を行う第１の撮影方式と、
前記位置分布値と第２の閾値とを比較し、分布値が前記第２の閾値より大きい合焦位置について、順次異なる合焦位置で複数枚を撮影するフォーカスブラケット撮影を行う第２の撮影方式とを有し、
撮像光学系の焦点距離が所定値以上で、且つ前記合焦位置の位置分布と前記第１の閾値との比較により所定の位置よりも至近側に所定値以上の分布の存在を判別したときは、前記第１の撮影方式にてフォーカスブラケット撮影を行うフォーカスブラケット撮影手段と
を具備することを特徴とする撮像装置。
前記フォーカスブラケット撮影手段は、前記第１の撮影方式を採用しないときは、前記第２の撮影方式にてフォーカスブラケット撮影を行うことを特徴とする請求項１に記載の撮像装置。
焦点調節機構を含む撮像光学系と、前記撮像光学系により結像される被写体光学像を電気信号に変換する固体撮像素子と、前記固体撮像素子の出力から合焦状態を示す所定の周波数成分を抽出し前記撮像光学系の焦点調節機構の制御に供する検波部とを有する撮像装置において、
前記検波部は、
画面を複数の小領域に分割し、該小領域単位で前記周波数成分を抽出する手段を含み、
前記撮像装置は、
前記小領域単位でそれぞれ前記検波部により抽出される前記周波数成分に基づき合焦位置を算出する手段と、
前記合焦位置の位置分布を求める手段と、
前記位置分布値と第１の閾値とを比較する手段と、
前記複数の小領域の周波数成分を積算して、前記複数の小領域の融合領域における合焦位置を算出し、前記合焦位置とその前後について、順次異なる合焦位置で複数枚を撮影するフォーカスブラケット撮影を行う第１の撮影方式と、
前記位置分布値と第２の閾値とを比較し、分布値が前記第２の閾値より大きい合焦位置について、順次異なる合焦位置で複数枚を撮影するフォーカスブラケット撮影を行う第２の撮影方式とを有し、
撮像光学系の焦点距離が所定値以上で、且つ前記合焦位置の位置分布と前記第１の閾値との比較により所定の位置よりも至近側に所定値以上の分布の存在を判別したときは、前記第１の撮影方式にてフォーカスブラケット撮影を行うフォーカスブラケット撮影手段と
を具備することを特徴とする撮像装置。
前記フォーカスブラケット撮影手段は、前記第１の撮影方式を採用しないときは、前記第２の撮影方式にてフォーカスブラケット撮影を行うことを特徴とする請求項３に記載の撮像装置。