JP2018004918A5

JP2018004918A5 -

Info

Publication number: JP2018004918A5
Application number: JP2016131036A
Authority: JP
Filing date: 2016-06-30
Publication date: 2019-08-15
Anticipated expiration: 2036-06-30

Description

上記目的を達成するために、本発明の焦点調節装置は、入射する光を光電変換して画像信号を出力する撮像手段から出力された前記画像信号から、追尾する被写体の領域、及び当該領域の像面位置及び信頼度を検出する追尾手段と、前記追尾手段により検出された像面位置の履歴に基づいて、予め決められた時点の像面位置を予測する予測手段と、前記追尾手段により検出された信頼度に基づいて、前記像面位置の誤差範囲を設定する設定手段と、前記予測手段により予測された前記画像信号の撮影時点での像面位置と、前記追尾手段により検出された像面位置との差が、前記誤差範囲内にある場合に、前記追尾手段により検出された被写体の領域を焦点調節領域として決定する決定手段と、前記焦点調節領域に焦点を合わせるためのフォーカスレンズの駆動量を算出する算出手段と、を有し、前記予測手段は、更に、予め決められた将来の時点での前記焦点調節領域に含まれる被写体の像面位置を予測し、前記算出手段は、前記予測された将来の時点での像面位置に焦点を合わせるように前記駆動量を算出する。

本発明の実施形態における撮像装置の断面図と、撮像装置の機能構成を示すブロック図。実施形態における撮像素子の構造を示す図。実施形態における画素構造と瞳分割の概略説明図。実施形態における焦点調節及び撮像処理のフローチャート。実施形態における被写体追尾処理のフローチャート。実施形態におけるテンプレートマッチングの例を示す図。実施形態における焦点検出処理のフローチャート。実施形態における焦点調節領域の設定処理のフローチャート。実施形態における像面方向の閾値設定を説明する図。実施形態における撮影前予測処理のフローチャート。

本実施形態では、撮像装置として、ファインダ１０４及び撮像素子１０３を有するカメラ本体１００と、撮影光学系を有する撮影レンズ１２０とを組み合わせて使用するレンズ交換式のデジタルスチルカメラについて説明する。しかしながら、本発明はレンズ交換式のデジタルスチルカメラに限るものではなく、画像信号に基づいて焦点調節を行うことのできる様々な光学機器に応用することが可能である。

表示器１０５は、ＬＣＤ(Liquid Crystal Display)パネル等により形成され、撮影画像の表示や撮影情報等の情報の表示を行う。また表示器１０５は、ライブビューモード時には、撮影予定の領域をリアルタイムで動画表示する。ここで、ライブビューモードとは、撮影レンズ１２０を介して入射し、撮像素子１０３に結像された被写体像を、プレビュー用に低画素数の動画像として読み出し、表示器１０５にリアルタイムで表示するモードである。このライブビューモード時には、後述する撮像面における位相差ＡＦを実行することができる。さらに、連写撮影中には各連写時の低画素数の静止画像を表示器１０５に表示する。

焦点調節部１１４は、換算したデフォーカス量に基づいて焦点位置を移動させるようにレンズＣＰＵ１２２に指示を行う。さらに焦点調節部１１４は、将来の像面位置を予測部１１９を用いて予測し、撮影レンズ１２０の焦点位置が予測した像面位置に来るために必要なレンズ駆動量を算出し、レンズＣＰＵ１２２に指示を行う。

次に、Ｓ２０２において追尾対象の被写体が存在すると判定された場合の追尾処理について説明する。この場合、Ｓ２０５においてマッチング処理を行う。ここで、図６を参照して、テンプレートマッチングの詳細に関して説明する。図６（ａ）は、テンプレートマッチングにおける被写体モデル（テンプレート）の例を示す。６０１は追尾対象の被写体を示す部分画像（テンプレート）であり、この画像の画素パターンを特徴量として扱う。６０２はテンプレート６０１の特徴量を表現したものであり、画素データの輝度信号を特徴量とする。特徴量Ｔ(ｉ，ｊ)は、テンプレート領域内の座標を（ｉ，ｊ）、水平画素数をＷ、垂直画素数をＨとすると、式（１）で表現される。
T(i, j) = {T(0, 0), T(1, 0), ... , T(W-1, H-1)} …（１）

次にＳ４０５で、Ｓ１０１で算出された追尾領域の像面位置が、Ｓ４０３またはＳ４０４で設定された誤差範囲内に収まっているかを判定する。誤差範囲内に収まっていれば（Ｓ４０５でＹＥＳ）、Ｓ４０６で追尾領域を焦点調節領域として設定する。一方、追尾領域の像面位置が誤差範囲内に収まっていなければ（Ｓ４０５でＮＯ）、Ｓ４０７で、Ｓ１０２でデフォーカス量を求めた領域のうち、Ｓ４０１で求めた予測式に基づく像面位置のデフォーカス量に近い領域を焦点調節領域として設定する。なお、予測式に基づく像面位置のデフォーカス量に近い領域が存在しなければ、焦点調節を行わない。

続いて、焦点調節領域設定部１１５において、図８のＳ４０６またはＳ４０７で設定された焦点調節領域の像面位置に対する、Ｓ５０６で算出された像面位置またはＳ５０７で算出されたデフォーカス量に対応する像面位置の差を判定する。ここでは、像面位置の差とＳ４０４で設定された誤差範囲Ｔ１との関係を、Ｓ５０８で判定する。像面位置が誤差範囲Ｔ１内にある場合（Ｓ５０８でＮＯ）、特に追加処理を実施せず、処理を終了する。一方、像面位置が誤差範囲Ｔ１以上の場合（Ｓ５０８でＹＥＳ）、Ｓ５０９において、次回の予測部１１９で利用する像面位置の履歴データの一部をリセットする。ここでは例えば、古いものから一定数、または一定割合のデータを削除する。過去の像面位置情報の影響を少なくすることにより、光軸方向に不規則な追尾被写体に対する予測精度を向上させる。

Claims

入射する光を光電変換して画像信号を出力する撮像手段から出力された前記画像信号から、追尾する被写体の領域、及び当該領域の像面位置及び信頼度を検出する追尾手段と、
前記追尾手段により検出された像面位置の履歴に基づいて、予め決められた時点の像面位置を予測する予測手段と、
前記追尾手段により検出された信頼度に基づいて、前記像面位置の誤差範囲を設定する設定手段と、
前記予測手段により予測された前記画像信号の撮影時点での像面位置と、前記追尾手段により検出された像面位置との差が、前記誤差範囲内にある場合に、前記追尾手段により検出された被写体の領域を焦点調節領域として決定する決定手段と、
前記焦点調節領域に焦点を合わせるためのフォーカスレンズの駆動量を算出する算出手段と、を有し、
前記予測手段は、更に、予め決められた将来の時点での前記焦点調節領域に含まれる被写体の像面位置を予測し、前記算出手段は、前記予測された将来の時点での像面位置に焦点を合わせるように前記駆動量を算出することを特徴とする焦点調節装置。
前記設定手段は、前記信頼度が予め決められた閾値以下の場合に、第１の誤差範囲を設定し、前記信頼度が予め決められた閾値よりも高い場合に、前記第１の誤差範囲よりも広い第２の誤差範囲を設定することを特徴とする請求項１に記載の焦点調節装置。
前記設定手段は、前記信頼度が高くなるほど、段階的に前記誤差範囲を広げることを特徴とする請求項１に記載の焦点調節装置。
前記設定手段は、前記信頼度が高くなるほど、前記誤差範囲を広くすることを特徴とする請求項１に記載の焦点調節装置。
前記撮影時点での像面位置と、前記予測した将来の時点での被写体の像面位置との差が、前記誤差範囲内に無い場合に、前記像面位置の履歴の少なくとも一部を、古い方から削除することを特徴とする請求項１乃至４のいずれか１項に記載の焦点調節装置。
前記決定手段は、前記予測手段により予測された前記撮影時点での像面位置と、前記追尾手段により検出された像面位置との差が、前記誤差範囲内に無い場合に、前記予測手段により予測された前記撮影時点での像面位置に近い像面位置を有する前記画像信号の領域を前記焦点調節領域として決定することを特徴とする請求項１乃至５のいずれか１項に記載の焦点調節装置。
前記予測手段により予測された前記撮影時点での像面位置に近い像面位置を有する前記画像信号の領域が無い場合に、前記算出手段は、前記駆動量を算出しないことを特徴とする請求項６に記載の焦点調節装置。
前記追尾手段は、前記追尾する被写体の領域をテンプレートとして、前記画像信号の部分領域とを照合して評価値を求め、前記評価値の分布に応じて前記信頼度を求めることを特徴とする請求項１乃至７のいずれか１項に記載の焦点調節装置。
前記追尾手段は、前記画像信号における前記被写体の特徴色の分布に基づいて前記被写体の領域を検出し、当該領域内と当該領域外との特徴色の分布に基づいて前記信頼度を求めることを特徴とする請求項１乃至８のいずれか１項に記載の焦点調節装置。
前記追尾手段は、前記信頼度を求める際、前記信頼度の履歴を参照して、前記画像信号における信頼度を求めることを特徴とする請求項１乃至９のいずれか１項に記載の焦点調節装置。
入射する光を光電変換して画像信号を出力する撮像手段と、
請求項１乃至１０のいずれか１項に記載の焦点調節装置と
を有することを特徴とする撮像装置。
追尾手段が、入射する光を光電変換して画像信号を出力する撮像手段から出力された前記画像信号から、追尾する被写体の領域、及び当該領域の像面位置及び信頼度を検出する追尾工程と、
予測手段が、前記追尾工程で検出された像面位置の履歴に基づいて、前記画像信号を撮影した撮影時点での像面位置を予測する予測工程と、
設定手段が、前記追尾工程で検出された信頼度に基づいて、前記像面位置の誤差範囲を設定する設定工程と、
決定手段が、前記予測工程で予測された前記画像信号の撮影時点での像面位置と、前記追尾工程で検出された像面位置との差が、前記誤差範囲内にある場合に、前記追尾工程で検出された被写体の領域を焦点調節領域として決定する決定工程と、
前記予測手段が、更に、予め決められた将来の時点での前記焦点調節領域に含まれる被写体の像面位置を予測する第２の予測工程と、
算出手段が、前記第２の予測工程で予測された前記像面位置に焦点を合わせるためのフォーカスレンズの駆動量を算出する算出工程と
を有することを特徴とする焦点調節方法。
コンピュータを、請求項１乃至１０のいずれか１項に記載の焦点調節装置の各手段として機能させるためのプログラム。
請求項１３に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。