JP2010266699A

JP2010266699A - 撮像装置

Info

Publication number: JP2010266699A
Application number: JP2009118188A
Authority: JP
Inventors: Masato Chiaki; 正人千秋
Original assignee: Hoya Corp
Current assignee: Hoya Corp
Priority date: 2009-05-15
Filing date: 2009-05-15
Publication date: 2010-11-25
Anticipated expiration: 2029-05-15
Also published as: JP5544755B2

Abstract

【課題】フォーカシングレンズを前後に移動させることなく、合焦のためにフォーカシングレンズを移動させる方向を決定すること可能な撮像装置を提供する。
【解決手段】撮像装置は、撮像素子を備える。合焦状態において、撮像素子で撮像して得られた画像信号に画像処理を施して画像データを生成し、画像データに基づく画像における特定領域を含む第１領域の基本画像Ｐ１、第１領域を含み第１領域よりも大きい第２領域の広域画像Ｐ２、及び第１領域の一部であり第１領域よりも小さい第３領域の狭域画像Ｐ３と、基本画像を得るための撮像の後の撮像で得られる画像における第１領域の比較対象画像との間でパターンマッチングを行う画像処理部を備える。画像処理部は、パターンマッチングの結果に基づいて、合焦状態が外れたか否かを判断し、合焦状態が外れた場合には、合焦のためにフォーカシングレンズを移動させる方向を決定する。
【選択図】図２

Description

本発明は、コントラスト方式による合焦制御が可能な撮像装置に関する。

従来、コントラスト方式による合焦制御が可能な撮像装置が提案されている。コントラスト方式の合焦制御では、フォーカシングレンズを光軸方向に移動させながら、コントラストデータが最大値を示す時に合焦したと判断し、フォーカシングレンズを合焦したと判断した位置（合焦位置）で停止させる。

特許文献１は、フォーカシングレンズを前後に移動させた時のコントラストデータなどに基づいて、合焦のためにフォーカシングレンズを移動させる方向を決定する撮像装置が提案されている。

特開２００７−８６５５９号公報

しかし、合焦状態が外れたか否かの判断や、移動方向決定のために、フォーカシングレンズを前後に移動させる必要がある。

したがって本発明の目的は、フォーカシングレンズを前後に移動させることなく、合焦のためにフォーカシングレンズを移動させる方向を決定すること可能な撮像装置を提供することである。

本発明に係る撮像装置は、撮像素子と、合焦状態において、撮像素子で撮像して得られた画像信号に画像処理を施して画像データを生成し、画像データに基づく画像における特定領域を含む第１領域の基本画像、第１領域を含み第１領域よりも大きい第２領域の広域画像、及び第１領域の一部であり第１領域よりも小さい第３領域の狭域画像と、基本画像を得るための撮像の後の撮像で得られる画像における第１領域の比較対象画像との間でパターンマッチングを行う画像処理部とを備え、画像処理部は、パターンマッチングの結果に基づいて、合焦状態が外れたか否かを判断し、合焦状態が外れた場合には、合焦のためにフォーカシングレンズを移動させる方向を決定する。

合焦状態における画像の特定領域を含む３つの画像（基本画像、広域画像、及び狭域画像）と、その後の撮像で得られる画像における、比較対象画像との間でパターンマッチングを行うことにより、特定領域にある主要被写体と撮像装置との距離の変化の有無を判断し、変化があった場合には、合焦制御を再開する。このとき、該距離が長くなったのか短くなったのかも判断出来るので、フォーカシングレンズを前後に移動させることなく、合焦のためにフォーカシングレンズを移動させる方向を決定することが可能になる。

このため、近距離側と遠距離側の両方にフォーカシングレンズを移動させて得られたコントラストデータに基づいて、合焦のためにフォーカシングレンズを移動すべき方向を決定する形態に比べて、再度合焦状態になるまでの時間を短くすることが可能になる。

また、フォーカシングレンズを近距離側と遠距離側の両方に移動させる場合、合焦のためにフォーカシングレンズを移動すべき方向と逆方向への移動制御が加わり、フォーカシングレンズを駆動するメカに余計な負荷が生じるが、本件発明では、かかる逆方向への移動制御が無いため、このような問題は生じない。

好ましくは、画像処理部は、異なる大きさの第２領域を２以上、及び異なる大きさの第３領域を２以上設け、２以上の広域画像、基本画像、及び２以上の狭域画像の中から、比較対象画像との一致性が高い画像を特定し、特定結果に基づいて、合焦のためのフォーカシングレンズの移動距離を算出する。

この場合、フォーカシングレンズの移動と、コントラストデータに基づく合焦状態にあるか否かの判断とのフィードバック制御回数を減らし、合焦させるまでの時間をさらに短くすることが可能になる。

また、好ましくは、画像処理部は、比較対象画像の画像パターンが、広域画像の画像パターンに近い場合は、フォーカシングレンズを近距離の被写体を撮影する時の合焦位置側に移動させて再度合焦制御を行い、比較対象画像の画像パターンが、狭域画像の画像パターンに近い場合は、フォーカシングレンズを遠距離の被写体を撮影する時の合焦位置側に移動させて再度合焦制御を行う。

また、好ましくは、特定領域は、合焦領域か顔領域のいずれかである。

以上のように本発明によれば、フォーカシングレンズを前後に移動させることなく、合焦のためにフォーカシングレンズを移動させる方向を決定すること可能な撮像装置を提供することができる。

本実施形態における撮像装置の構成図である。合焦状態における画像の合焦領域、基本画像、広域画像、及び狭域画像の関係を示す図である。合焦後、ライブビュー表示のための撮像で得られる画像における比較対象画像を示す図である。合焦状態が維持されたか否かの判断や、その後の合焦制御の手順を示すフローチャートである。合焦状態における画像の合焦領域、基本画像、第１、第２広域画像、第１、第２狭域画像の関係を示す図である。

以下、本実施形態について、図を用いて説明する。本実施形態における撮像装置１０は、撮像素子１１、フォーカシングレンズ１２、画像処理部１３、レリーズボタン１４、表示部１５、記録媒体１６、及びカメラ制御部１７を有するデジタルカメラである（図１参照）。

被写体からの反射光はレンズ（不図示）を介して入射し、撮像素子１１で撮像される。画像処理部１３は、撮像で得られた画像信号に所定の画像処理を施して画像データを生成し、画像データに対応する画像を表示部１５に表示する。かかる動作を１フレームごとに行うことにより、スルー画像が表示部１５に表示される（ライブビュー表示）。カメラ制御部１７は、画像処理部１３など撮像装置１０の各部の制御を行う。

レリーズボタン１４が半押しされた場合、画像処理部１３は、撮像で得られた画像信号から得られる輝度信号に基づいて、露光条件（絞り値や露光時間など）の算出、及び合焦制御を行う。合焦制御では、画像処理部１３は、フォーカシングレンズ１２をレンズの光軸方向に移動させながら、輝度信号に基づくコントラストデータを順次生成し、コントラストデータが最大値を示す時に合焦したと判断し、フォーカシングレンズ１２を合焦したと判断した位置（合焦位置）で停止させる。

なお、撮像装置１０のＡＦモードが、合焦後も合焦制御を継続して行う連続ＡＦモードに設定されている場合は、レリーズボタン１４が半押しされている間、合焦状態が維持されたか否かを判断し、合焦状態でなくなった場合には、再度フォーカシングレンズ１２を移動させて合焦制御を行う。

レリーズボタン１４が全押しされた場合、画像処理部１３は、半押し時に決定した絞り値などの露光条件やフォーカシングレンズ１２の合焦位置で、撮像を行い、撮像で得られた画像信号に所定の画像処理を施して画像データを生成し、該画像データに基づく静止画像を表示部１５に表示し、該画像データを含む画像ファイルを記録媒体１６に記録する。

次に、連続ＡＦモード時の、合焦状態が維持されたか否かの判断や、その後の合焦制御について、具体的に説明する。画像処理部１３は、フォーカシングレンズ１２を合焦位置に停止させた後（合焦後）、合焦状態の画像における合焦領域を特定し、特定した合焦領域を含む第１領域の画像をパターン化した基本画像Ｐ１、第１領域を含み第１領域よりも大きく、第１領域と相似形の第２領域の画像をパターン化した広域画像Ｐ２、及び第１領域の一部であり第１領域よりも小さく、第１領域と相似形の第３領域の画像をパターン化した狭域画像Ｐ３を一時記録する（基本画像Ｐ１、広域画像Ｐ２、及び狭域画像Ｐ３をテンプレートに登録する、図２参照）。なお、後述するパターンマッチングのために、広域画像Ｐ２は、基本画像Ｐ１と同じ大きさに縮小された状態で、狭域画像Ｐ３は、基本画像Ｐ１と同じ大きさに拡大された状態で一時記録される（比較対象画像Ｐ４を広域画像Ｐ２と同じ大きさに拡大したり、狭域画像Ｐ３と同じ大きさに縮小する形態であってもよい）。

画像処理部１３は、基本画像Ｐ１を得るための撮像後の撮像で得られる画像における第１領域の画像をパターン化し、パターン化した比較対象画像Ｐ４（図３参照）と、基本画像Ｐ１、広域画像Ｐ２、及び狭域画像Ｐ３との間でパターンマッチングを行う。パターンマッチングは、二値化などでパターン化された画像における黒画素の領域の一致性を調べることにより行われる。パターンマッチングの結果に基づいて、合焦領域にあった主要被写体と撮像装置１０との距離に変化があって合焦状態が外れたと判断した場合には、合焦のためにフォーカシングレンズ１２を移動させる方向を決定し、かかる方向にフォーカシングレンズ１２を移動させて再度合焦制御を行う。

パターンマッチングにより、比較対象画像Ｐ４の画像パターンが、広域画像Ｐ２の画像パターンに近い場合は、合焦状態が外れ、合焦領域にあった主要被写体と撮像装置１０との距離が短くなったと判断し、フォーカシングレンズ１２を近距離側（近距離の被写体を撮影する時の合焦位置側）に移動させて再度合焦制御を行う。

パターンマッチングにより、比較対象画像Ｐ４の画像パターンが、狭域画像Ｐ３の画像パターンに近い場合は、合焦状態が外れ、合焦領域にあった主要被写体と撮像装置１０との距離が長くなったと判断し、フォーカシングレンズ１２を遠距離側（遠距離の被写体を撮影する時の合焦位置側）に移動させて再度合焦制御を行う。

図３は、主要被写体と撮像装置１０との距離が短くなり、スルー画像上における主要被写体の領域が大きくなった状態を示す。

具体的に、合焦制御、及び合焦状態維持判断の手順を、図４のフローチャートを用いて説明する。撮像装置１０が連続ＡＦモードに設定されている状態で、レリーズボタン１４が半押しされると、かかる手順が開始され、レリーズボタン１４が全押しされるか、レリーズボタン１４の半押し状態が解除されるまで、継続的に行われる。

ステップＳ１１で、画像処理部１３は、撮像で得られた画像信号から得られる輝度信号に基づいて、合焦制御を行って、合焦領域を特定する。ステップＳ１２で、画像処理部１３は、特定した合焦領域に基づいて、第１領域を決定し、合焦状態における画像の第１領域の画像をパターン化した基本画像Ｐ１を一時記録する。ステップＳ１３で、画像処理部１３は、合焦状態における第２領域の画像をパターン化した広域画像Ｐ２、及び合焦状態における第３領域の画像をパターン化した狭域画像Ｐ３を一時記録する。

ステップＳ１４で、画像処理部１３は、ライブビュー表示のための撮像で得られる画像における、合焦時に設定した第１領域の画像をパターン化した比較対象画像Ｐ４を一時記録する。

なお、ステップＳ１２において、画像処理部１３は、基本画像Ｐ１だけでなく、第１領域を含む周辺領域の画像も一時記録し、ステップＳ１５のパターンマッチング後に、ステップＳ１６、Ｓ１８、Ｓ２０、及びＳ２２の判断を同時に行ってもよい。

ステップＳ１３の直後のステップＳ１４では、基本画像Ｐ１を含む画像の撮像時から１フレーム長さだけ経過した後に行われる撮像で得られた画像における第１領域の比較対象画像Ｐ４が一時記録される。

ステップＳ２０の直後のステップＳ１４では、基本画像Ｐ１を含む画像の撮像時からフレーム長さのｎ倍（ｎ≧２）の時間だけ経過した後に行われる撮像で得られた画像における第１領域の比較対象画像Ｐ４が一時記録される。

ステップＳ１５で、画像処理部１３は、比較対象画像Ｐ４と、基本画像Ｐ１、広域画像Ｐ２、及び狭域画像Ｐ３との間でパターンマッチングを行う。

ステップＳ１６で、画像処理部１３は、比較対象画像Ｐ４の画像パターンと広域画像Ｐ２の画像パターンとの一致性が高いか否かを判断する。比較対象画像Ｐ４と広域画像Ｐ２が類似しており、これらの画像パターンの一致性が高い場合には、ステップＳ１７に進められ、比較対象画像Ｐ４と広域画像Ｐ２が類似しておらず、これらの画像パターンの一致性が高くない場合には、ステップＳ１８に進められる。

ステップＳ１７で、画像処理部１３は、合焦状態が外れ、合焦領域にあった主要被写体と撮像装置１０との距離が短くなったと判断し、フォーカシングレンズ１２を近距離側に移動させながら、合焦制御を行って、新たな合焦領域を特定する。合焦後、ステップＳ１２に戻され、ステップＳ１７で特定された合焦領域に基づいて、基本画像Ｐ１、広域画像Ｐ２、及び狭域画像Ｐ３が更新される。

ステップＳ１８で、画像処理部１３は、比較対象画像Ｐ４の画像パターンと狭域画像Ｐ３の画像パターンとの一致性が高いか否かを判断する。比較対象画像Ｐ４と狭域画像Ｐ３が類似しており、これらの画像パターンの一致性が高い場合には、ステップＳ１９に進められ、比較対象画像Ｐ４と狭域画像Ｐ３が類似しておらず、これらの画像パターンの一致性が高くない場合には、ステップＳ２０に進められる。

ステップＳ１９で、画像処理部１３は、合焦状態が外れ、合焦領域にあった主要被写体と撮像装置１０との距離が長くなったと判断し、フォーカシングレンズ１２を遠距離側に移動させながら、合焦制御を行って、新たな合焦領域を特定する。合焦後、ステップＳ１２に戻され、ステップＳ１９で特定された合焦領域に基づいて、基本画像Ｐ１、広域画像Ｐ２、及び狭域画像Ｐ３が更新される。

ステップＳ２０で、画像処理部１３は、比較対象画像Ｐ４の画像パターンが、基本画像Ｐ１の画像パターンとの一致性が低いか否か（不一致であるか否か）を判断する。一致性が低い場合には、新たな合焦領域を特定する必要があると判断して、ステップＳ２１に進められる。一致性が低くない場合には、合焦領域の位置が維持されていると判断して、ステップＳ１４に戻される。

ステップＳ２１で、画像処理部１３は、第１領域を含む周辺領域（例えば第２領域）の中から、比較対象画像Ｐ４の画像パターンと一致する画像領域を検索する。ステップＳ２２で、画像処理部１３は、該周辺領域の中に、比較対象画像Ｐ４の画像パターンと一致する画像領域があるか否かを判断する。ある場合には、該周辺領域の比較対照画像Ｐ４の画像パターンと一致する画像領域中に、新たな合焦領域があると判断して、ステップＳ２３に進められる。無い場合には、該周辺領域の中に、新たな合焦領域が無いと判断し、合焦制御をやり直すために、ステップＳ１１に進められる。

ステップＳ２３で、画像処理部１３は、該周辺領域における比較対象画像Ｐ４の画像パターンと一致する画像領域の中から新たな合焦領域を特定し、ステップＳ１２に戻され、ステップＳ２３で新たに特定された合焦領域に基づいて、基本画像Ｐ１、広域画像Ｐ２、及び狭域画像Ｐ３が更新される。

本実施形態では、合焦状態における画像の合焦領域を含む３つのパターン化された画像（基本画像Ｐ１、広域画像Ｐ２、及び狭域画像Ｐ３）と、ライブビュー表示のための撮像で得られる画像における、合焦時に設定した第１領域の画像をパターン化した比較対象画像Ｐ４との間でパターンマッチングを行うことにより、主要被写体と撮像装置１０との距離の変化の有無を判断し、変化があった場合（合焦状態が外れた場合）には、合焦制御を再開する。このとき、該距離が長くなったのか短くなったのかも判断出来るので、フォーカシングレンズ１２を前後に移動させることなく、合焦状態が外れたか否かを判断することや、合焦のためにフォーカシングレンズ１２を移動させる方向を決定することが可能になる。

このため、近距離側と遠距離側の両方にフォーカシングレンズ１２を移動させて得られたコントラストデータに基づいて、合焦状態が外れたか否かを判断し、且つ合焦のためにフォーカシングレンズ１２を移動すべき方向を決定する形態に比べて、再度合焦状態になるまでの時間を短くすることが可能になる。

また、フォーカシングレンズ１２を近距離側と遠距離側の両方に移動させる場合、合焦のためにフォーカシングレンズ１２を移動すべき方向と逆方向への移動制御が加わり、フォーカシングレンズ１２を駆動するメカに余計な負荷が生じるが、本件発明では、かかる逆方向への移動制御が無いため、このような問題は生じない。

なお、本実施形態では、第２領域を１つと、第３領域を１つ設けて、第１領域の基本画像Ｐ１、第２領域の広域画像Ｐ２、及び第３領域の狭域画像Ｐ３と、比較対象画像Ｐ４との間のパターンマッチングに基づいて、フォーカシングレンズ１２の移動すべき方向を決定する形態を説明したが、異なる大きさの第２領域を２以上、及び異なる大きさの第３領域を２以上設け、これらの領域の画像（例えば、基本画像Ｐ１、第１、第２広域画像Ｐ２ａ、Ｐ２ｂ、第１、第２狭域画像Ｐ３ａ、Ｐ３ｂ）の中から、比較対象画像Ｐ４との一致性が高い画像を特定し、特定した画像と基本画像Ｐ１との倍率やレンズの焦点距離に基づいて、フォーカシングレンズ１２の移動方向の決定だけでなく、合焦のためのフォーカシングレンズ１２の移動距離を算出する形態を加えてもよい（図５参照）。この場合、フォーカシングレンズ１２の移動と、コントラストデータに基づく合焦状態にあるか否かの判断とのフィードバック制御回数を減らし、合焦させるまでの時間をさらに短くすることが可能になる。

また、本実施形態では、合焦領域が主要被写体であるとして、第１領域が合焦領域を含む形態で説明したが、第１領域が他の特定領域を含む形態、例えば、撮像装置１０が顔検出機能を有する場合には、顔領域が主要被写体であるとして、第１領域が顔領域を含む形態であってもよい。

また、本実施形態では、撮像装置１０が、静止画を得るためのレリーズボタン１４が半押し状態に間に、合焦状態が外れたか否かの判断や、合焦のためのフォーカシングレンズ１２の移動方向の決定を行う形態を説明したが、動画を得るための一定時間ごとの撮像中に行う形態であってもよい。

１０撮像装置
１１撮像素子
１２フォーカシングレンズ
１３画像処理部
１４レリーズボタン
１５表示部
１６記録媒体
１７カメラ制御部

Claims

撮像素子と、
合焦状態において、前記撮像素子で撮像して得られた画像信号に画像処理を施して画像データを生成し、前記画像データに基づく画像における特定領域を含む第１領域の基本画像、前記第１領域を含み前記第１領域よりも大きい第２領域の広域画像、及び前記第１領域の一部であり前記第１領域よりも小さい第３領域の狭域画像と、前記基本画像を得るための撮像の後の撮像で得られる画像における前記第１領域の比較対象画像との間でパターンマッチングを行う画像処理部とを備え、
前記画像処理部は、前記パターンマッチングの結果に基づいて、前記合焦状態が外れたか否かを判断し、前記合焦状態が外れた場合には、合焦のためにフォーカシングレンズを移動させる方向を決定することを特徴とする撮像装置。
前記画像処理部は、異なる大きさの前記第２領域を２以上、及び異なる大きさの前記第３領域を２以上設け、２以上の前記広域画像、前記基本画像、及び２以上の前記狭域画像の中から、前記比較対象画像との一致性が高い画像を特定し、特定結果に基づいて、合焦のための前記フォーカシングレンズの移動距離を算出することを特徴とする請求項１に記載の撮像装置。
前記画像処理部は、前記比較対象画像の画像パターンが、前記広域画像の画像パターンに近い場合は、前記フォーカシングレンズを近距離の被写体を撮影する時の合焦位置側に移動させて再度合焦制御を行い、前記比較対象画像の画像パターンが、前記狭域画像の画像パターンに近い場合は、前記フォーカシングレンズを遠距離の被写体を撮影する時の合焦位置側に移動させて再度合焦制御を行うことを特徴とする請求項１に記載の撮像装置。
前記特定領域は、合焦領域か顔領域のいずれかであることを特徴とする請求項１に記載の撮像装置。