JP2009015117A - 焦点調節装置および撮像装置 - Google Patents

焦点調節装置および撮像装置 Download PDF

Info

Publication number
JP2009015117A
JP2009015117A JP2007178186A JP2007178186A JP2009015117A JP 2009015117 A JP2009015117 A JP 2009015117A JP 2007178186 A JP2007178186 A JP 2007178186A JP 2007178186 A JP2007178186 A JP 2007178186A JP 2009015117 A JP2009015117 A JP 2009015117A
Authority
JP
Japan
Prior art keywords
focus adjustment
focus
area
focus detection
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007178186A
Other languages
English (en)
Other versions
JP5082631B2 (ja
Inventor
Hiroshi Takeuchi
宏 竹内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2007178186A priority Critical patent/JP5082631B2/ja
Priority to US12/216,300 priority patent/US8355047B2/en
Publication of JP2009015117A publication Critical patent/JP2009015117A/ja
Application granted granted Critical
Publication of JP5082631B2 publication Critical patent/JP5082631B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Abstract

【課題】撮影者の意図する被写体を追尾する。
【解決手段】焦点調節状態に基づいて複数の焦点検出位置のいずれかを選択する第1選択手段19と、結像光学系8による像を撮像して画像情報を繰り返し出力する撮像手段16と、画像情報と基準として設定された基準画像情報とに基づいて、複数の焦点検出位置のいずれかを選択する第2選択手段19と、第1選択手段と第2選択手段のいずれかによって選択された焦点検出位置に対して繰り返し検出される焦点調節状態に基づいて結像光学系8の焦点調節を繰り返し行うとともに、該焦点調節を一時的に禁止可能な焦点調節手段22と、焦点調節の禁止度合いを設定する設定手段20と、設定手段20によって設定された禁止度合いに基づいて、焦点調節手段22による焦点調節の対象とする焦点検出位置を選択する際の、第1選択手段と第2選択手段の寄与度を設定する制御手段19とを備える。
【選択図】図1

Description

本発明は焦点調節装置と撮像装置に関する。
追尾視野内の被写体の色や輝度などの特徴により撮影画面内で対象を追尾するとともに、撮影レンズの焦点調節状態を検出する画面内の焦点検出位置を追尾する対象の位置へ移動するようにした画像追尾装置が知られている(例えば、特許文献1参照)。
この装置では、追尾視野が画面内の所定領域から外れるとその時点で撮影レンズの駆動を一時禁止している。
この出願の発明に関連する先行技術文献としては次のものがある。
特開平05−060712号公報
しかしながら、上述した従来の画像追尾装置に対して、撮影レンズの焦点検出結果に基づいて焦点検出位置を選択する技術を適用することを考えた場合に、異なる選択基準を適切に使い分けることができないという問題がある。
(1) 請求項1の発明は、結像光学系の画面内に設定された複数の焦点検出位置に対して結像光学系の焦点調節状態を繰り返し検出する焦点検出手段と、焦点調節状態に基づいて複数の焦点検出位置のいずれかを選択する第1選択手段と、結像光学系による像を撮像して画像情報を繰り返し出力する撮像手段と、画像情報と基準として設定された基準画像情報とに基づいて、複数の焦点検出位置のいずれかを選択する第2選択手段と、第1選択手段と第2選択手段のいずれかによって選択された焦点検出位置に対して繰り返し検出される焦点調節状態に基づいて結像光学系の焦点調節を繰り返し行うとともに、該焦点調節を一時的に禁止可能な焦点調節手段と、焦点調節の禁止度合いを設定する設定手段と、設定手段によって設定された禁止度合いに基づいて、焦点調節手段による焦点調節の対象とする焦点検出位置を選択する際の、第1選択手段と第2選択手段の寄与度を設定する制御手段とを備える。
(2) 請求項2の焦点調節装置は、焦点調節手段によって、第1選択手段により選択された焦点検出位置に対して検出される焦点調節状態の変化と、第1選択手段または第2選択手段で選択される焦点検出位置の変動のいずれかに基づいて焦点調節を禁止し、設定手段によって、焦点調節状態の変化と焦点検出位置の変動の少なくとも一方に対する感度が異なる第1禁止度合いと第2禁止度合いを設定可能であり、制御手段によって、第1禁止度合いが設定された場合は第1選択手段の寄与度を第2選択手段の寄与度よりも大きくし、第2禁止度合いが設定された場合は第2選択手段の寄与度を第1選択手段の寄与度よりも大きくするようにしたものである。
(3) 請求項3の焦点調節装置は、繰り返し出力される画像情報に基づいて基準画像情報を更新する基準画像更新手段をさらに備え、制御手段によって、第2選択手段の寄与度を第1選択手段の寄与度に対して大きく設定する場合は、第1選択手段の寄与度を第2選択手段の寄与度に対して大きく設定する場合に比べて、基準画像更新手段によって基準画像情報を更新する頻度を低くするようにしたものである。
(4) 請求項4の焦点調節装置は、焦点調節手段によって、第2選択手段の寄与度が第1選択手段の寄与度よりも大きく、画像情報と基準画像情報との類似度が所定値以下となった場合に、焦点調節を禁止するようにしたものである。
(5) 請求項5の焦点調節装置は、焦点調節手段によって、第2選択手段の寄与度が第1選択手段の寄与度よりも大きく、第2選択手段によって焦点検出位置が選択できない場合に、焦点調節を禁止するようにしたものである。
(6) 請求項6の焦点調節装置は、設定手段によって、画像情報のうち、選択された焦点検出位置に対応する画像情報の変化の度合いに応じて禁止度合いを設定するようにしたものである。
(7) 請求項7の発明は、請求項1〜6のいずれか1項に記載の焦点調節装置を備えた撮像装置である。
本発明によれば、焦点調節の禁止度合いの設定に応じて適切に撮影者の意図する被写体に対する焦点検出位置を選択することができる。
撮影画面内に設定された複数の焦点検出エリアにおいて撮影レンズの焦点調節状態、すなわちデフォーカス量を検出し、前回の焦点調節時のデフォーカス量に近いデフォーカス量が検出された焦点検出エリアを焦点調節を行うエリアに採用して追尾対象の被写体を追尾するAF(自動焦点調節)追尾機能と、撮影画像の中の追尾対象の被写体の画像をテンプレート画像(基準画像)として記憶し、繰り返し撮像される画像の中でテンプレート画像と一致または類似した画像の位置を検索しながら(テンプレートマッチング)追尾対象の被写体を追尾する画像追尾機能とを備え、AF追尾機能と画像追尾機能により撮影レンズを駆動しながら対象を追尾する焦点調節装置を備えた撮像装置(一眼レフデジタルスチルカメラ)の一実施の形態を説明する。
図1は、一実施の形態の焦点調節装置を備えた撮像装置(一眼レフデジタルスチルカメラ)1の構成を示す。なお、図1では本願発明と直接関係のないカメラの機器および回路についての図示と説明を省略する。一実施の形態のカメラ1は、カメラ本体2に交換レンズ3が交換可能に装着される。カメラ本体2には被写体像を撮像して画像を記録するための第1撮像素子4が設けられる。この第1撮像素子4はCCDやCMOSなどにより構成することができる。撮影時にはクイックリターンミラー5およびサブミラー6が実線で示す撮影光路外の位置に退避してシャッター7が開放され、撮影レンズ8により第1撮像素子4の受光面に被写体像が結像される。
カメラ本体2の底部には、撮影レンズ8の焦点調節状態を検出するための焦点検出光学系9と測距素子10が設けられている。この一実施の形態では、瞳分割型位相差検出方式による焦点検出方法を採用した例を示す。焦点検出光学系9は、撮影レンズ8を通過した対の焦点検出用光束を測距素子10の受光面へ導き、対の光像を結像させる。測距素子10は例えば対のCCDラインセンサーを備え、対の光像に応じた焦点検出信号を出力する。撮影前にはクイックリターンミラー5およびサブミラー6が破線で示すような撮影光路内の位置に設定されており、撮影レンズ8からの対の焦点検出用光束はクイックリターンミラー5のハーフミラー部を透過し、サブミラー6により反射されて焦点検出光学系9および測距素子10へ導かれる。
カメラ本体2の上部にはファインダー光学系が設けられている。撮影前にはクイックリターンミラー5およびサブミラー6が破線で示す位置にあり、撮影レンズ8からの被写体光はクイックリターンミラー5に反射されて焦点板11へ導かれ、焦点板11上に被写体像が結像する。液晶表示素子12は、焦点板11上に結像された被写体像に焦点検出エリアマークなどの撮影情報を重畳表示するとともに、被写体像外の位置に露出値などの種々の撮影情報を表示する。焦点板11上の被写体像と液晶表示素子12による撮影情報はペンタダハプリズム13および接眼レンズ14を介して接眼窓15へ導かれ、撮影者が被写体像と撮影情報を視認することができる。
また、カメラ本体2上部のファインダー光学系には、被写体追尾や測光のために被写体像を撮像する第2撮像素子16が設けられる。焦点板11に結像した被写体像は、ペンタダハプリズム13、プリズム17および結像レンズ18を介して第2撮像素子16の受光面に再結像される。第2撮像素子16は被写体像に応じた画像信号を出力する。撮影前に焦点板11上に結像された被写体像は、ペンタダハプリズム13、プリズム17および結像レンズ18を介して第2撮像素子16へ導かれ、第2撮像素子16の受光面に被写体像が再結像される。詳細を後述するが、この第2撮像素子16により撮像された被写体像に基づいて画像追尾制御と露出制御が行われる。
カメラ本体2にはまた、ボディ駆動制御装置19、操作部材20などが設けられる。ボディ駆動制御装置19は、詳細を後述するマイクロコンピューターとメモリ、A/D変換器などの周辺部品から構成され、カメラ1の種々の制御と演算を行う。操作部材20には、シャッターボタン、焦点検出エリア選択スイッチ、撮影モード選択スイッチ、焦点調節モード選択スイッチなどのカメラ1を操作するためのスイッチやセレクターが含まれる。
上述したように、この一実施の形態では、撮影画面内に設定された複数の焦点検出エリアにおいて撮影レンズのデフォーカス量を検出し、前回の焦点調節時のデフォーカス量に近いデフォーカス量が検出された焦点検出エリアを焦点調節を行うエリアに採用して追尾対象の被写体を追尾するAF追尾機能と、撮影画像の中の追尾対象の被写体の画像をテンプレート画像(基準画像)として記憶し、繰り返し撮像される画像の中でテンプレート画像と一致または類似した画像の位置を検索しながら追尾対象の被写体を追尾する画像追尾機能とを備えており、AF追尾結果と画像追尾結果とに基づいて追尾対象の位置すなわち焦点調節を行う焦点検出エリア(焦点調節エリア)を決定する。この一実施の形態では、、焦点調節を一時禁止する度合い、つまり撮影レンズをロックオンする度合い、さらに換言すれば“ロックオン強度”を設定するためのロックオン設定部材を操作部材に設ける。このロックオン設定部材によって、AF追尾結果に対して画像追尾結果をどの程度考慮して焦点調節エリアを決定するかを調整する。
このロックオン設定部材は、“なし”、“弱”、“強”の3段階に設定が可能であり、なし→弱→強の順に画像追尾結果の採用割合が高くなる、換言すればAF追尾結果に対して画像追尾結果を考慮する度合いが強くなる。つまり、“なし”に設定した場合には、画像追尾結果をまったく考慮せずにAF追尾結果のみに基づいて焦点調節エリアを決定し、焦点調節を行う。“強”に設定した場合には、AF追尾結果よりも画像追尾結果を優先して焦点調節エリアを決定し、焦点調節を行う。
交換レンズ3には、ズーミングレンズ8a、フォーカシングレンズ8b、絞り21、レンズ駆動制御装置22などが設けられる。なお、この一実施の形態では撮影レンズ8をズーミングレンズ8a、フォーカシングレンズ8bおよび絞り21で体表的に表すが、撮影レンズ8の構成は図1に示す構成に限定されない。レンズ駆動制御装置22は図示しないマイクロコンピューターとメモリ、駆動回路、アクチュエーター、センサーなどの周辺部品から構成され、レンズ8a、8bおよび絞り21の駆動制御とそれらの位置検出を行う。レンズ駆動制御装置22に内蔵されるメモリには、交換レンズ3の焦点距離や開放絞り値などの情報が記憶されている。
ボディ駆動制御装置19とレンズ駆動制御装置22は、レンズマウント部の接点23を介して通信を行う。ボディ駆動制御装置19からレンズ駆動制御装置22へは、レンズ駆動量や制御絞り値などの情報を送信する。一方、レンズ駆動制御装置22からボディ駆動制御装置19へは、ズーミングレンズ8aによる焦点距離、フォーカシングレンズ8bによる撮影距離、絞り値などの情報を送信する。モニター24はカメラ本体2の背面に設けられ、スルー画や撮影画像の他に各種撮影情報を表示する。
図2はボディ駆動制御装置19の詳細な構成を示す。なお、本願発明と直接関係のない制御機能については図示と説明を省略する。ボディ駆動制御装置19は素子制御回路19a、A/D変換器19b、マイクロコンピューター19c、メモリ19dなどを備えている。素子制御回路19aは第2撮像素子16の電荷の蓄積と読み出しを制御する。A/D変換器19bは、第2撮像素子16から出力されるアナログ画像信号をデジタル画像信号に変換する。マイクロコンピューター19cは、ソフトウエア形態により追尾制御部19e、露出制御部19f、焦点検出演算部19gおよびレンズ駆動量演算部19hを構成する。
メモリ19dは、画像追尾用のテンプレート画像(基準画像)やAF追尾用のデフォーカス量などの情報、あるいは撮影レンズ8の焦点距離、開放F値、絞り値、像ズレ量からデフォーカス量への変換係数などのレンズ情報、フォーカシングレンズ8bの一時駆動禁止(以下、ロックオンという)の継続時間、各種判定用のしきい値や所定値などを記憶する。
追尾制御部19eは、第2撮像素子16により撮像した被写体像の内、撮影者が手動で指定した追尾対象位置、あるいはカメラ1が自動で設定した追尾対象位置に対応する画像をテンプレート画像(基準画像)としてメモリ19dに記憶させ、その後に第2撮像素子16で繰り返し撮影される画像の中からテンプレート画像と一致または類似する画像領域を検索することによって追尾対象の位置を認識する。露出演算部19fは、第2撮像素子16により撮像した画像信号に基づいて露出値を演算する。
焦点検出演算部19gは、測距素子10から出力される対の光像に応じた焦点検出信号に基づいて撮影レンズ8の焦点調節状態、ここではデフォーカス量を検出する。なお、詳細を後述するが、撮影レンズ8の撮影画面内には複数の焦点検出エリアが設定されており、測距素子10は焦点検出エリアごとに対の光像に応じた焦点検出信号を出力し、焦点検出演算部19gは焦点検出エリアごとに対の光像に応じた焦点検出信号に基づいてデフォーカス量を検出する。
図3は第2撮像素子16の詳細な構成を示す正面図である。第2撮像素子16は、マトリクス状に配列された複数の画素(光電変換素子)26(ここでは横16個×縦12個=192個)を備えている。各画素26は図4に示すように3個の部分26a、26b、26cに分割され、これらの部分26a、26b、26cにはそれぞれ赤R、緑G、青Bの原色フィルターが設けられている。これにより、各画素26ごとに被写体像のRGB信号を出力することができる。なお、第2撮像素子16の画素数はこの一実施の形態の画素数に限定されない。
次に、一実施の形態の被写体追尾動作を説明する。図5〜図7は一実施の形態の被写体追尾方法を説明するための図、図8〜図13は一実施の形態の被写体追尾制御を示すフローチャートである。ボディ駆動制御装置19は、第2撮像素子16により撮像した被写体像の内、撮影者が手動で追尾対象領域を指定するか、あるいはカメラが自動で追尾対象領域を設定した後、操作部材20のシャッターボタンを半押しすると、被写体追尾処理を開始する。
なお、シャッターボタンを全押しして撮影を行うとき以外は、クイックリターンミラー5が図1に破線で示す撮影光路内に設定されており、撮影レンズ8から入射した被写体光は焦点板11上に結像される。そして、焦点板11上の被写体像はペンタダハプリズム13、プリズム17および結像レンズ18を介して第2撮像素子16へ導かれ、第2撮像素子16から被写体像信号が繰り返し出力される。
図5は撮影者が接眼窓15から視認する被写体像(ファインダー像)である。撮影レンズ8により焦点板11上に結像された被写体像には、液晶表示素子12により焦点検出エリアマークなどの撮影情報が重畳表示され、ペンタダハプリズム13および接眼レンズ14を介して接眼窓15へ導かれ、撮影者が被写体像と撮影情報を視認することができる。この一実施の形態では、撮影レンズ8の撮影画面内に7個の焦点検出エリア45a〜45gが設定されており、液晶表示素子12により焦点板11上の被写体像にエリアマークを重畳し、各焦点検出エリア45a〜45gの位置を表示する。操作部材20の焦点検出エリア選択スイッチにより任意のエリアを選択すると、そのエリアのマーク45が点灯表示される。
図8のステップ1において、図5に示すように操作部材20の焦点検出エリア選択スイッチにより焦点検出エリア45bが選択され、この状態で操作部材20のシャッターボタンが半押しされると、焦点検出エリア45bがユーザー設定AFエリアとしてメモリ19dに記憶されるとともに、追尾対称の被写体が指定される。なお、ここでは撮影者がユーザー設定AFエリアおよび追尾対象の被写体を手動で指定する例を示したが、例えば自動的に被写体を認識する機能を備えたカメラでは被写体認識結果に基づいてユーザー設定AFエリアおよび追尾対象被写体を設定してもよい。
ステップ2において、第2撮像素子16により画像追尾/露出制御共用の追尾初期画像を取得するとともに、測距素子10により各焦点検出エリア45a〜45gに対応する対の光像を取得する。
ここで、追尾初期画像は画素ごとにRGB値で表す。
R[x,y]、G[x,y]、B[x,y] ・・・(1)
この画素ごとのRGB値に基づいて、各画素の色情報(この一実施の形態では色相)RG、BGを演算するとともに、画像を取得したときの露光時間T、ゲインGainおよび色合成係数Kr、Kg、Kbに基づいて輝度情報Lを演算する。
RG[x,y]=Log(R[x,y])−Log(G[x,y]),
BG[x,y]=Log(B[x,y])−Log(G[x,y]),
L[x,y]=Log(Kr×R[x,y]+Kg×G[x,y]+Kb×B[x,y])−Log(T)−Log(Gain) ・・・(2)
これらの色情報RG、BG、輝度情報Lをテンプレート画像として用いるためにメモリ19dに記憶する。
ステップ3では、焦点検出信号に基づいて各焦点検出エリア45a〜45gの撮影レンズ8の焦点調節状態、すなわちデフォーカス量を検出する。ステップ4で、ユーザー設定エリア45bに対して検出されたデフォーカス量をレンズ駆動量に変換し、レンズ駆動量をレンズ駆動制御装置22へ送信する。レンズ駆動制御装置22は、レンズ駆動量にしたがって撮影レンズ8のフォーカシングレンズ8bを駆動し、焦点調節を行う。
ステップ5において、図9に示す追尾制御初期処理サブルーチンを実行する。図9のステップ101において、追尾初期画像の中の焦点検出エリア45b(ユーザー設定AFエリア)に対応する領域の画像の被写体色情報を記憶する。ステップ102では、図6(a)に示すように、追尾初期画像の中の焦点検出エリア45bの周辺部において被写体色情報と同様な色情報を示す同色情報領域を検出し、続くステップ103で同色情報領域を初期の追尾被写体領域47とする。なお、ここでは被写体色情報に基づいて追尾被写体領域47を決定する例を示すが、処理の簡素化を図るために一律に3×3画素のように追尾被写体領域のサイズを統一したり、さらに撮影レンズ8の距離情報に応じて被写体領域のサイズを決定してもよい。
ステップ104において、追尾初期画像の中の追尾被写体領域47の画像を以降の追尾処理に用いるテンプレート画像48(図6(b)参照)としてメモリ19dに記憶する。例えば、追尾被写体領域47の始点位置が図6(a)に示すように(x,y)=(4,5)の場合には、テンプレート画像48の色情報(ここでは色相)RGref、BGrefと輝度情報Lrefは次のように表される。
RGref[rx,ry]=RG[x,y]、
BGref[rx,ry]=BG[x,y]、
Lref[rx,ry]=L[x,y] (rx,ry=1〜3、x=4〜6、y=5〜7) ・・・(3)
ステップ105で追尾被写体領域47を前後左右に所定画素(ここでは2画素とする)づつ拡大した領域を探索領域49に設定し、メモリ19dに記憶する。図6(a)に示す例では、探索領域49は、x=2〜8、y=3〜9の領域になる。その後、図8のステップ6へリターンする。
追尾制御の初期処理が終了したら図8のステップ6へ進み、操作部材20のシャッターボタンが全押しされたか否か、つまりシャッターレリーズ操作が行われたか否かを確認する。シャッターレリーズ操作がない場合はステップ7へ進み、第2撮像素子16から画像追尾/露出制御共用の追尾次画像を取得するとともに、測距素子10により各焦点検出エリア45a〜45gごとに焦点検出用の対の光像を取得する。なお、ステップ2における処理と同様に色情報RG[x,y]、BG[x,y]および輝度情報L[x,y]を算出し、メモリ19dに記憶する。続くステップ8で図10に示す追尾演算処理を実行する。
図10のステップ201において、追尾用画像の中の探索領域49からテンプレート画像48と同じサイズの領域を順次切り出し、切り出した画像とテンプレート画像48の対応する画素ごとに色情報の差Diffを算出する。図7(a)に示すように、探索領域49の中で1画素ずつ切り出し領域47aをずらしながらテンプレート画像48との色情報の差Diffを算出する。
今、図7(a)に示すように探索領域49の始点位置が(scx,scy)=(2,3)であるとすると、差Diffの演算は次のようにして行う。
Diff[dx,dy]=ΣΣ{ABS(RG[scx+dx−1+rx,scy+dy−1+ry]−RGref[rx,ry])+ABS(BG[scx+dx−1+rx,scy+dy−1+ry]−BGref[rx,ry])+ABS(L[scx+dx−1+rx,scy+dy−1+ry]−Lref[rx,ry])} ・・・(4)
(4)式において、dx,dy=1〜5、rx,ry=1〜3、scx=2、scy=3、ΣΣはrx=1〜3およびry=1〜3の総和演算である。
次に、ステップ202において、差Diff[dx,dy]の中の最小の差minDiffを検索し、探索領域49内で最小の差minDiffを算出したときの上記切り出し領域47aを新しい追尾被写体領域47に決定する。ここでは、図7(b)に示すように、始点位置が(x,y)=(5,6)の切り出し領域を新しい追尾被写体領域47とする。
ステップ203では、新しい追尾被写体領域47を中心に前後左右に所定画素(ここでは2画素とする)づつ拡大した領域を新しい探索領域49に設定する。ここでは、図7(b)に示すように、x=3〜9、y=4〜10の領域を新しい探索領域49とする。その後、図8のステップ9へリターンする。
リターン後の図8のステップ9において、上記ステップ7で測距素子10により取得した焦点検出エリア45a〜45gに対応する対の光像に基づいて、すべての焦点検出エリア45a〜45gのデフォーカス量(撮影レンズ8の焦点調節状態)を検出する。ステップ10において、図11〜図13に示すエリア決定レンズ駆動サブルーチンを実行し、焦点調節を行う焦点検出エリア(焦点調節エリア)を決定し、撮影レンズ8を焦点調節駆動する。
図11のステップ301において、操作部材20のロックオン設定部材が“強”に設定されているか否かを判別し、強設定時は図13に示す強設定時の焦点調節エリア決定処理を実行する。強設定でない場合はステップ302へ進み、ロックオン設定部材が“なし”に設定されているか否かを判別する。なし設定時は図11に示すなし設定時の焦点調節エリア決定処理を実行し、なし設定でない場合は図12に示す弱設定時の焦点調節エリア決定処理を実行する。
まず、図11に示す“なし”設定時の焦点調節エリア決定処理を説明する。図11のステップ303において、ユーザー設定AFエリア(図8のステップ1でメモリ19dに記憶したユーザー設定AFエリアで、この一実施の形態では図5に示す焦点検出エリア45b)で今回検出されたデフォーカス量(ステップ9参照)が前回の焦点調節時のデフォーカス量、つまり前回の焦点調節時に焦点調節エリアに採用された焦点検出エリアのデフォーカス量に近いか否かを判定する。両者の差が予め設定した同一被写体と見なせる判定しきい値以下の場合にはステップ304へ進み、ユーザー設定AFエリアで今回検出されたデフォーカス量をレンズ駆動量に変換し、レンズ駆動制御装置22によりフォーカシングレンズ8bを駆動して焦点調節を行う。
一方、ステップ303でユーザー設定AFエリアのデフォーカス量と前回の焦点調節時のデフォーカス量との差が上記判定しきい値より大きい場合には同一被写体でないと判断してステップ305へ進み、ユーザー設定AFエリア以外の焦点検出エリアで今回検出されたデフォーカス量の中に、前回の焦点調節時に焦点調節エリアに採用された焦点検出エリアのデフォーカス量に近いものがあるか、つまり両者の差が上記判定しきい値以下のものがあるか否かを判定する。差が判定しきい値以下のデフォーカス量がある場合は、その焦点検出エリアの被写体は前回の焦点調節時に追尾していた対象被写体と同一であると判断してステップ306へ進み、そのデフォーカス量をレンズ駆動量に変換し、レンズ駆動制御装置22によりフォーカシングレンズ8bを駆動して焦点調節を行う。
なお、ステップ305で、ユーザー設定AFエリア以外の焦点検出エリアでも差が判定しきい値以下のデフォーカス量がない場合、すなわちすべての焦点検出エリアで差が判定しきい値以下のデフォーカス量が見つからなかった場合にはステップ304へ進み、ユーザー設定エリアで今回検出されたデフォーカス量をレンズ駆動量に変換し、レンズ駆動制御装置22によりフォーカシングレンズ8bを駆動して焦点調節を行う。
このように、操作部材20のロックオン設定部材が“なし”に設定されているときは、画像追尾結果をまったく考慮せずにAF追尾結果のみにより焦点調節エリアを決定し、焦点調節を行う。すなわち、ユーザー設定AFエリアのデフォーカス量が前回の焦点調節時のデフォーカス量に近い場合には、ユーザー設定AFエリアで対象被写体を追尾していると判断し、ユーザー設定AFエリアのデフォーカス量に基づいて焦点調節を行う。また、ユーザー設定AFエリアのデフォーカス量が前回の焦点調節時のデフォーカス量に近くない場合は、他の焦点検出エリアの中から前回の焦点調節時のデフォーカス量と近いデフォーカス量を示すエリアを検索し、そのエリアを焦点調節エリアとする。つまり、ロックオン設定部材がなし設定時は、ユーザー設定AFエリアを優先するAF追尾を行い、撮影レンズ駆動の一時停止すなわちロックオンを行わない。
次に、図12に示す“弱”設定時の焦点調節エリア決定処理を説明する。ステップ311において、ユーザー設定AFエリアで今回検出されたデフォーカス量が前回の焦点調節時に焦点調節エリアに採用された焦点検出エリアのデフォーカス量に近いか否かを判定する。両者の差が予め設定した同一被写体と見なせる判定しきい値以下の場合にはステップ312へ進み、ユーザー設定AFエリアで今回検出されたデフォーカス量をレンズ駆動量に変換し、レンズ駆動制御装置22によりフォーカシングレンズ8bを駆動して焦点調節を行う。
一方、ステップ311でユーザー設定AFエリアのデフォーカス量と前回の焦点調節時のデフォーカス量との差が上記判定しきい値より大きいと判定された場合にはステップ313へ進み、ユーザー設定AFエリア以外の焦点検出エリアで今回検出されたデフォーカス量の中に、前回の焦点調節時に焦点調節エリアに採用された焦点検出エリアのデフォーカス量に近いものがあるか、つまり両者の差が上記判定しきい値以下のものがあるか否かを判定する。差が判定しきい値以下のデフォーカス量がある場合は、その焦点検出エリアの被写体が前回の焦点調節時に追尾していた対象被写体と同一であると判断してステップ314へ進み、そのデフォーカス量をレンズ駆動量に変換し、レンズ駆動制御装置22によりフォーカシングレンズ8bを駆動して焦点調節を行う。
ユーザー設定AFエリアおよびその他の焦点検出エリアにおいて、前回の焦点調節時に焦点調節エリアに採用された焦点検出エリアのデフォーカス量に近いデフォーカス量がない場合にはステップ315へ進み、ロックオンを開始してからの経過時間、つまり撮影レンズ8の駆動を一時禁止してからの経過時間が弱用として予め設定した所定時間を超えたか否かを判定する。ロックオン経過時間が弱用所定時間を超えた場合はステップ316へ進み、ロックオンを解除してユーザー設定AFエリアで今回検出されたデフォーカス量をレンズ駆動量に変換し、レンズ駆動制御装置22によりフォーカシングレンズ8bを駆動して焦点調節を行う。一方、ロックオン経過時間が弱用所定時間未満の場合はステップ317へ進み、ロックオンを継続する。
このように、操作部材20のロックオン設定部材が“弱”に設定されているときは、上述した“なし”設定時と同様に、画像追尾結果を考慮せずにAF追尾結果のみにより焦点調節エリアを決定し、焦点調節を行う。しかし、すべての焦点検出エリアで前回の焦点調節時に追尾していた対象被写体を検出できない場合に、“なし”設定時はユーザー設定AFエリアを焦点調節エリアとするのに対し、この“弱”設定時は撮影レンズ8の駆動を一時禁止してロックオンに入る。つまり、ロックオン設定部材の“弱”設定時には強度の低いロックオンが行われる。
最後に、図13に示す“強”設定時の焦点調節エリア決定処理を説明する。ステップ321において、今回の追尾被写体領域47の色情報とテンプレート画像48の色情報との類似度が低いか否かを判定する。すなわち、上述したテンプレート画像48との色情報の差Diffの最小値minDiffが予め設定した類似判定しきい値Kより大きく、両者の類似度が低い場合はステップ323へ進む。一方、最小差minDiffがしきい値K以下で類似度が高い場合はステップ322へ進み、追尾被写体領域47が焦点検出エリア外か否かを判別する。追尾被写体領域47に対応する焦点検出エリアが存在しない場合はステップ323へ進み、追尾被写体領域47に対応する焦点検出エリアが存在する場合はステップ326へ進む。
なお、追尾被写体領域47の範囲外であってもその近傍にある焦点検出エリアも追尾対象の被写体と重なっている可能性が高いので、このような追尾被写体領域47の近傍にある焦点検出エリアも追尾被写体領域47に対応する焦点検出エリアとしてもよい。
今回の追尾被写体領域47の色情報がテンプレート画像48の色情報と類似していない場合、または今回の追尾被写体領域47に対応する焦点検出エリアが存在しない場合には、ステップ323でロックオンを開始してからの経過時間、つまり撮影レンズ8の駆動を一時禁止してからの経過時間が強用として予め設定した所定時間を超えたか否かを判定する。ロックオン経過時間が強用所定時間を超えた場合はステップ324へ進み、ロックオンを解除してユーザー設定AFエリアで今回検出されたデフォーカス量をレンズ駆動量に変換し、レンズ駆動制御装置22によりフォーカシングレンズ8bを駆動して焦点調節を行う。一方、ロックオン経過時間が強用所定時間未満の場合はステップ325へ進み、ロックオンを継続する。なお、強用所定時間には上述した弱用所定時間よりも長い時間を設定する。
一方、今回の追尾被写体領域47の色情報がテンプレート画像48の色情報と類似しており、かつ、今回の追尾被写体領域47に対応する焦点検出エリアが存在する場合には、ステップ326で追尾被写体領域47に対応する焦点検出エリアのデフォーカス量が前回の焦点調節時に焦点調節エリアに採用された焦点検出エリアのデフォーカス量に近いか、つまり両者の差が上記判定しきい値以下か否かを判定する。なお、追尾被写体領域47に対応する焦点検出エリアが複数存在する場合には、デフォーカス量の差が最小の焦点検出エリアを選択する。差が判定しきい値以下のデフォーカス量がある場合はステップ327へ進み、そのデフォーカス量をレンズ駆動量に変換し、レンズ駆動制御装置22によりフォーカシングレンズ8bを駆動して焦点調節を行う。
一方、追尾被写体領域47に対応する焦点検出エリアのデフォーカス量の中に、差が判定しきい値以下のデフォーカス量がない場合は図12のステップ311へ進み、上述した弱設定時の焦点調節エリア決定処理を実行する。
このように、操作部材20のロックオン設定部材が“強”に設定されているときは、画像追尾結果とAF追尾結果とに基づいて焦点調節エリアを決定し、焦点調節を行う。つまり、画像追尾結果の追尾被写体領域47に対応する焦点検出エリアの中から、前回の焦点調節時に追尾していた対象被写体と同一の被写体を探索し、同一被写体を捕捉している焦点検出エリアを焦点調節エリアとする。しかし、テンプレートマッチングの結果、今回の撮像画像の中から類似度が高い追尾被写体領域が検出できなかった場合、あるいは追尾被写体領域は検出できたが焦点検出エリアの範囲から外れてしまった場合には、良い画像追尾結果が得られなかったして撮影レンズ8の駆動を一時禁止してロックオンに入る。
例えば、図5に示すように、前回の焦点調節時に追尾していた対象被写体51が焦点検出エリア45a〜45gから遠ざかると、画像追尾結果の追尾被写体領域が焦点検出エリアから外れてしまう。このような場合にAF追尾機能だけで被写体追尾を行うと、対象被写体51と撮影距離がほぼ等しい他の被写体52が焦点検出エリア45a〜45gに入った場合に、他の被写体52を前回の焦点調節時に追尾していた対象被写体と同一であると誤認し、撮影レンズのロックオンに入らず、他の被写体52を追尾し始める。
この一実施の形態では、ロックオン設定部材が“強”に設定されているときは、画像追尾結果とAF追尾結果とに基づいて焦点調節エリアを決定するため、画像追尾機能により追尾対象を見失ったときは撮影レンズの駆動が一時禁止され(ロックオンされ)、他の被写体52を追尾対象と誤認して追尾を継続することはない。また、図5に示すような状況になくても、画像追尾結果の信頼性が低い、つまりテンプレート画像との類似度が低いときは撮影レンズの駆動が一時禁止され(ロックオンされ)、不確かな被写体を追尾対象として追尾を継続することが避けられる。ロックオン設定部材の“強”設定時には強度の高いロックオンが行われる。
焦点調節エリア選択とレンズ駆動後の図8のステップ11において、テンプレート画像48の更新条件が成立しているか否かを判定する。この一実施の形態では、テンプレート更新条件として、ユーザー設定AFエリアと画像追尾結果(図8のステップ8参照)の被写体追尾領域47とが近いか、つまり、両者がユーザー設定AF領域で追尾対象を捕捉していると見なせる所定距離以下の位置関係にある場合とする。テンプレート更新条件が成立している場合はステップ12へ進み、上述したように、画像追尾結果の被写体追尾領域47の色情報RG[x,y]、BG[x,y]および輝度情報L[x,y]を、テンプレート画像48の色情報RGref[x,y]、BGref[x,y]および輝度情報Lref[x,y]としてメモリ19dに記憶し直す。その後、ステップ6へ戻って上述した処理を繰り返す。
このように、一実施の形態によれば、撮影画面内に設定された複数の焦点検出エリアで検出される撮影レンズのデフォーカス量に基づいて、撮影画面内における追尾対象の位置を検出するAF追尾機能と、撮像素子により撮像される撮影レンズの画像とテンプレート画像とに基づいて撮影画面内における追尾対象の位置を検出する画像追尾機能とを備えた被写体追尾装置において、ロックオン設定部材により設定された焦点調節の一時禁止度合い、すなわちロックオン強度に応じて、追尾対象の位置すなわち焦点調節エリアを決定する際のAF追尾結果と画像追尾結果の寄与度を設定し、焦点調節エリアのデフォーカス量に基づいて撮影レンズの焦点調節を行うようにしたので、撮影シーンに合わせてAF追尾機能と画像追尾機能とを適切に使い分け、撮影者の意図する被写体を追尾することができる。
また、一実施の形態によれば、ロックオン設定部材によりAF追尾結果の寄与度が高く設定された場合、すなわちロックオン強度が“なし”または“弱”の場合には、ユーザー設定AFエリアのデフォーカス量を優先して追尾対象の位置すなわち焦点調節エリアを決定するようにしたので、サッカーのようなスポーツ撮影においてボールを持つ選手を次々に切り換えて撮影するような場合には、ユーザー設定AFエリアでこれらの選手を適切に切り換えながら捕捉することができる。
さらに、一実施の形態によれば、ロックオン設定部材により画像追尾結果の寄与度が高く設定された場合、すなわちロックオン強度が“強”の場合には、画像追尾機能による追尾被写体領域に対応する焦点検出エリアのデフォーカス量を優先して追尾対象の位置すなわち焦点調節エリアを決定するようにしたので、同一被写体を追い続ける撮影シーンにおいて、他の被写体を誤って捕捉して追尾対象が切り換わってしまうことが防止され、撮影者の意図する被写体を追尾し続けることができる。
一実施の形態によれば、ロックオン設定部材により画像追尾結果の寄与度が高く設定され、かつ、画像追尾結果の追尾被写体領域の色情報とテンプレート画像の色情報との最小差minDiffが所定値より大きく類似度が低い場合に、撮影レンズの駆動を一時禁止してロックオンするようにしたので、信頼性の低い画像追尾結果の被写体を追尾対象として追尾を継続することを防止できる。
一実施の形態によれば、ロックオン設定部材により画像追尾結果の寄与度が高く設定され、かつ、画像追尾結果の追尾被写体領域に対応する焦点検出エリアが存在しない場合に、撮影レンズの駆動を一時禁止してロックオンするようにしたので、他の被写体を誤って捕捉して追尾対象が切り換わってしまうことが防止され、撮影者の意図する被写体を追尾し続けることができる。
《発明の一実施の形態の変形例》
上述した一実施の形態では、ロックオン設定部材の設定に応じて焦点調節エリアを選択する例を示したが、ロックオン設定部材の設定に応じてテンプレート画像の更新を行う変形例を説明する。なお、この変形例の構成は図1および図2に示す構成と同様であり、説明を省略する。
図14は被写体追尾制御を示すフローチャートである。なお、ステップ1〜9の処理は図8に示すステップ1〜9の処理と同様であり、図示と説明を省略する。ステップ9で焦点検出演算を行って焦点検出エリア45a〜45gのデフォーカス量を検出した後、ステップ401で図15〜図16に示すエリア決定レンズ駆動ルーチンを実行する。
図15のステップ501において、今回の追尾被写体領域47の色情報とテンプレート画像48の色情報との類似度が低いか否かを判定する。すなわち、上述したテンプレート画像48との色情報の差Diffの最小値minDiffが予め設定した類似判定しきい値Kより大きく、両者の類似度が低い場合はステップ503へ進む。一方、最小差minDiffがしきい値K以下で類似度が高い場合はステップ502へ進み、追尾被写体領域47が焦点検出エリア外か否かを判別する。追尾被写体領域47に対応する焦点検出エリアが存在しない場合はステップ503へ進み、追尾被写体領域47に対応する焦点検出エリアが存在する場合はステップ507へ進む。
今回の追尾被写体領域47の色情報がテンプレート画像48の色情報と類似していない場合、または今回の追尾被写体領域47に対応する焦点検出エリアが存在しない場合には、ステップ503で操作部材20のロックオン設定部材が“なし”に設定されているか否かを判別する。なし設定時にはステップ505へ進み、ユーザー設定AFエリアで今回検出されたデフォーカス量をレンズ駆動量に変換し、レンズ駆動制御装置22によりフォーカシングレンズ8bを駆動して焦点調節を行う。
一方、ロックオン設定部材が“弱”または“強”に設定されている場合はステップ504へ進み、ロックオンを開始してからの経過時間、つまり撮影レンズ8の駆動を一時禁止してからの経過時間が予め設定した所定時間を超えたか否かを判定する。ロックオン経過時間が所定時間を超えた場合はステップ505へ進み、ロックオンを解除してユーザー設定AFエリアで今回検出されたデフォーカス量をレンズ駆動量に変換し、レンズ駆動制御装置22によりフォーカシングレンズ8bを駆動して焦点調節を行う。一方、ロックオン経過時間が所定時間未満の場合はステップ506へ進み、ロックオンを継続する。
一方、今回の追尾被写体領域47の色情報がテンプレート画像48の色情報と類似しており、かつ、今回の追尾被写体領域47に対応する焦点検出エリアが存在する場合には、ステップ507で追尾被写体領域47に対応する焦点検出エリアのデフォーカス量が前回の焦点調節時に焦点調節エリアに採用された焦点検出エリアのデフォーカス量に近いか、つまり両者の差が上記判定しきい値以下か否かを判定する。なお、追尾被写体領域47に対応する焦点検出エリアが複数個存在する場合には、デフォーカス量の差が最小の焦点検出エリアを選択する。差が判定しきい値以下のデフォーカス量がある場合はステップ508へ進み、そのデフォーカス量をレンズ駆動量に変換し、レンズ駆動制御装置22によりフォーカシングレンズ8bを駆動して焦点調節を行う。
一方、追尾被写体領域47に対応する焦点検出エリアのデフォーカス量の中に、差が判定しきい値以下のデフォーカス量がない場合は図16のステップ509へ進み、ユーザー設定AFエリアで今回検出されたデフォーカス量が前回の焦点調節時に焦点調節エリアに採用された焦点検出エリアのデフォーカス量に近いか否かを判定する。両者の差が予め設定した同一被写体と見なせる判定しきい値以下の場合にはステップ510へ進み、ユーザー設定AFエリアで今回検出されたデフォーカス量をレンズ駆動量に変換し、レンズ駆動制御装置22によりフォーカシングレンズ8bを駆動して焦点調節を行う。
一方、ステップ509でユーザー設定AFエリアのデフォーカス量と前回の焦点調節時のデフォーカス量との差が上記判定しきい値より大きいと判定された場合にはステップ511へ進み、ユーザー設定AFエリア以外の焦点検出エリアで今回検出されたデフォーカス量の中に、前回の焦点調節時に焦点調節エリアに採用された焦点検出エリアのデフォーカス量に近いものがあるか、つまり両者の差が上記判定しきい値以下のものがあるか否かを判定する。差が判定しきい値以下のデフォーカス量がある場合は、その焦点検出エリアの被写体が前回の焦点調節時に追尾していた対象被写体と同一であると判断してステップ512へ進み、そのデフォーカス量をレンズ駆動量に変換し、レンズ駆動制御装置22によりフォーカシングレンズ8bを駆動して焦点調節を行う。
ユーザー設定AFエリアおよびその他の焦点検出エリアにおいて、前回の焦点調節時に焦点調節エリアに採用された焦点検出エリアのデフォーカス量に近いデフォーカス量がない場合には図14のステップ402へリターンする。
焦点調節エリア選択とレンズ駆動後の図14のステップ402において、操作部材20のロックオン設定部材が“強”に設定されているか否かを判別する。強設定時はステップ405へ進み、“なし”または“弱”設定時はステップ403へ進む。
“なし”または“弱”設定時には、ステップ403で“なし”または“弱”設定時のテンプレート画像48の更新条件を満たすか否かを判定する。この一実施の形態では、“なし”または“弱”設定時のテンプレート更新条件として、ユーザー設定AFエリアと画像追尾結果(図8のステップ8参照)の被写体追尾領域47とが近いか、つまり、両者がユーザー設定AFエリアで追尾対象を捕捉していると見なせる所定距離以下の位置関係にあり、かつ、ユーザー設定AFエリアで今回検出されたデフォーカス量と前回の焦点調節時に焦点調節エリアに採用された焦点検出エリアのデフォーカス量との差が予め設定された同一被写体と見なせる判定しきい値以下とする。
“なし”または“弱”設定時のテンプレート更新条件が成立している場合はステップ404へ進み、上述したように画像追尾結果の被写体追尾領域47の色情報RG[x,y]、BG[x,y]および輝度情報L[x,y]を、テンプレート画像48の色情報RGref[x,y]、BGref[x,y]および輝度情報Lref[x,y]としてメモリ19dに記憶し直す。一方、“なし”または“弱”設定時のテンプレート更新条件が成立していない場合はメモリ19dのテンプレート画像を更新しない。
また、“強”設定時には、ステップ405で“強”設定時のテンプレート画像48の更新条件を満たすか否かを判定する。この一実施の形態では、“強”設定時のテンプレート更新条件として、上述した“なし”または“弱”設定時のテンプレート更新条件が連続して所定回数成立した場合とする。“強”設定時のテンプレート更新条件が成立している場合はステップ406へ進み、被写体追尾領域47の色情報RG[x,y]、BG[x,y]および輝度情報L[x,y]を、テンプレート画像48の色情報RGref[x,y]、BGref[x,y]および輝度情報Lref[x,y]としてメモリ19dに記憶し直す。一方、“強”設定時のテンプレート更新条件が成立していない場合はメモリ19dのテンプレート画像を更新しない。
この変形例では、操作部材20のロックオン設定部材によりユーザーが設定した値(なし、弱および強)に応じてテンプレート画像の更新しやすさを変えることによって、上述した一実施の形態と同様の効果、すなわちAF追尾結果に画像追尾結果を考慮する度合いを変えることができ、ユーザーの意図する対象被写体を追尾し続ける“強度”を変化させて撮影シーンに適した被写体追尾制御を行うことができる。
《発明の一実施の形態の他の変形例》
上述した一実施の形態とその変形例では、操作部材20のロックオン設定部材によりユーザーが設定した値(なし、弱および強)に基づいて、AF追尾結果に対して画像追尾結果を考慮する度合いを設定する例を示したが、ユーザーによるロックオン設定部材の設定値、もしくはメモリ19dに予め記憶されているロックオン設定のデフォルト値を、選択されたAFエリアの色情報や輝度情報の変化の度合いに応じて変更するようにしてもよい。例えば、ユーザー設定AFエリアの色情報や輝度情報が頻繁に変化するほど、ユーザーが追尾対象を変える撮影シーンであると判断し、ロックオン設定値を“なし”や“弱”の、AF追尾結果に対して画像追尾結果を考慮する度合いが小さくなる方へ自動的に変更し、逆に、ユーザー設定AFエリアの色情報や輝度情報の変化が少ないほど、ユーザーが同一の対象を追尾し続ける撮影シーンであると判断し、ロックオン設定値を“強”の、AF追尾結果に対して画像追尾結果を考慮する度合いが大きくなる方へ自動的に変更する。変化の頻度は、色情報または輝度情報の変化が所定値を超える場合が一定時間内に何回生じたかで判断する。
このように、ユーザー設定AFエリアの色情報や輝度情報の変化頻度に応じてロックオン設定値を変更することによって、ユーザーの意図する対象被写体を追尾し続ける“強度”を自動的に変化させて撮影シーンに適した被写体追尾制御を行うことができる。
なお、上述した一実施の形態では、操作部材20のロックオン設定部材により“なし”、“弱”、“強”の3段階のロックオン強度を設定する例を示したが、ロックオン強度は2段階あるいは4段階以上に設定可能としてもよいし、無段階に設定可能としてもよい。
また、上述した一実施の形態では、各焦点検出エリアで検出されたデフォーカス量と、前回の焦点調節時に焦点調節エリアで検出されたデフォーカス量とを比較して、撮影画像から追尾対象を探索する例を示したが、デフォーカス量の履歴に基づいて対象被写体が撮影レンズの光軸方向に移動していると判断される場合には、デフォーカス量の検出履歴から対象被写体の移動を予測し、予測結果に基づいて撮影レンズを駆動するようにしてもよい。また、焦点調節エリアの選択に際しても、前回の焦点調節時に焦点調節エリアに採用された焦点検出エリアのデフォーカス量に近いものを検索するのではなく、対象被写体の予測位置に近いデフォーカス量を示す焦点検出エリアを焦点調節エリアに選択する。
一実施の形態の構成を示す図 一実施の形態のボディ駆動制御装置の詳細構成を示す図 第2撮像素子の詳細な構成を示す図 第2撮像素子の画素の詳細な構成を示す図 被写体追尾方法を説明するための図 被写体追尾方法を説明するための図 被写体追尾方法を説明するための図 一実施の形態の追尾制御を示すフローチャート 追尾制御初期処理ルーチンを示すフローチャート 追尾演算処理ルーチンを示すフローチャート エリア決定レンズ駆動ルーチンを示すフローチャート 図11に続く、エリア決定レンズ駆動ルーチンを示すフローチャート 図12に続く、エリア決定レンズ駆動ルーチンを示すフローチャート 変形例の追尾制御を示すフローチャート 変形例のエリア決定レンズ駆動ルーチンを示すフローチャート 図15に続く、変形例のエリア決定レンズ駆動ルーチンを示すフローチャート
符号の説明
8 撮影レンズ
10 測距素子
16 第2撮像素子
19 ボディ駆動制御装置
20 操作部材
22 レンズ駆動制御装置

Claims (7)

  1. 結像光学系の画面内に設定された複数の焦点検出位置に対して前記結像光学系の焦点調節状態を繰り返し検出する焦点検出手段と、
    前記焦点調節状態に基づいて前記複数の焦点検出位置のいずれかを選択する第1選択手段と、
    前記結像光学系による像を撮像して画像情報を繰り返し出力する撮像手段と、
    前記画像情報と基準として設定された基準画像情報とに基づいて、前記複数の焦点検出位置のいずれかを選択する第2選択手段と、
    前記第1選択手段と前記第2選択手段のいずれかによって選択された焦点検出位置に対して繰り返し検出される前記焦点調節状態に基づいて前記結像光学系の焦点調節を繰り返し行うとともに、該焦点調節を一時的に禁止可能な焦点調節手段と、
    前記焦点調節の禁止度合いを設定する設定手段と、
    前記設定手段によって設定された禁止度合いに基づいて、前記焦点調節手段による焦点調節の対象とする前記焦点検出位置を選択する際の、前記第1選択手段と前記第2選択手段の寄与度を設定する制御手段とを備えることを特徴とする焦点調節装置。
  2. 請求項1に記載の焦点調節装置において、
    前記焦点調節手段は、前記第1選択手段によって選択された焦点検出位置に対して検出される前記焦点調節状態の変化と、前記第1選択手段または前記第2選択手段で選択される前記焦点検出位置の変動のいずれかに基づいて前記焦点調節を禁止し、
    前記設定手段は、前記焦点調節状態の変化と前記焦点検出位置の変動の少なくとも一方に対する感度が異なる第1禁止度合いと第2禁止度合いを設定可能であり、
    前記制御手段は、前記第1禁止度合いが設定された場合は前記第1選択手段の寄与度を前記第2選択手段の寄与度よりも大きくし、前記第2禁止度合いが設定された場合は前記第2選択手段の寄与度を前記第1選択手段の寄与度よりも大きくすることを特徴とする焦点調節装置。
  3. 請求項1または請求項2に記載の焦点調節装置において、
    繰り返し出力される前記画像情報に基づいて前記基準画像情報を更新する基準画像更新手段をさらに備え、
    前記制御手段は、前記第2選択手段の寄与度を前記第1選択手段の寄与度に対して大きく設定する場合は、前記第1選択手段の寄与度を前記第2選択手段の寄与度に対して大きく設定する場合に比べて、前記基準画像更新手段によって前記基準画像情報を更新する頻度を低くすることを特徴とする焦点調節装置。
  4. 請求項1または請求項2に記載の焦点調節装置において、
    前記焦点調節手段は、前記第2選択手段の寄与度が前記第1選択手段の寄与度よりも大きく、前記画像情報と前記基準画像情報との類似度が所定値以下となった場合に、前記焦点調節を禁止することを特徴とする焦点調節装置。
  5. 請求項1または請求項2に記載の焦点調節装置において、
    前記焦点調節手段は、前記第2選択手段の寄与度が前記第1選択手段の寄与度よりも大きく、前記第2選択手段によって前記焦点検出位置が選択できない場合に、前記焦点調節を禁止することを特徴とする焦点調節装置。
  6. 請求項1〜5のいずれか1項に記載の焦点調節装置において、
    前記設定手段は、前記画像情報のうち、選択された前記焦点検出位置に対応する画像情報の変化の度合いに応じて前記禁止度合いを設定することを特徴とする焦点調節装置。
  7. 請求項1〜6のいずれか1項に記載の焦点調節装置を備えることを特徴とする撮像装置。
JP2007178186A 2007-07-06 2007-07-06 撮影装置 Expired - Fee Related JP5082631B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007178186A JP5082631B2 (ja) 2007-07-06 2007-07-06 撮影装置
US12/216,300 US8355047B2 (en) 2007-07-06 2008-07-02 Tracking device, focus adjustment device, image-capturing device, and tracking method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007178186A JP5082631B2 (ja) 2007-07-06 2007-07-06 撮影装置

Publications (2)

Publication Number Publication Date
JP2009015117A true JP2009015117A (ja) 2009-01-22
JP5082631B2 JP5082631B2 (ja) 2012-11-28

Family

ID=40221101

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007178186A Expired - Fee Related JP5082631B2 (ja) 2007-07-06 2007-07-06 撮影装置

Country Status (2)

Country Link
US (1) US8355047B2 (ja)
JP (1) JP5082631B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011071671A (ja) * 2009-09-25 2011-04-07 Nikon Corp 画像認識装置、および、撮像装置
JP2011107501A (ja) * 2009-11-19 2011-06-02 Nikon Corp 焦点調節装置、および、撮像装置
JP2012237809A (ja) * 2011-05-10 2012-12-06 Canon Inc 撮像装置
WO2013179923A1 (ja) * 2012-05-28 2013-12-05 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
JP2014095893A (ja) * 2012-10-12 2014-05-22 Panasonic Corp 撮像装置
JP2015052799A (ja) * 2014-10-29 2015-03-19 株式会社ニコン 焦点調節装置、および、撮像装置
JP2018022128A (ja) * 2016-07-21 2018-02-08 キヤノン株式会社 焦点調節装置および方法、および撮像装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4872834B2 (ja) * 2007-07-04 2012-02-08 株式会社ニコン 画像認識装置、焦点調節装置および撮像装置
EP2148499B1 (en) * 2008-07-25 2018-01-17 FUJIFILM Corporation Imaging apparatus and method
JP5018932B2 (ja) 2010-06-23 2012-09-05 株式会社ニコン 撮像装置
KR101694421B1 (ko) * 2010-11-11 2017-01-09 삼성전자주식회사 카메라를 구비한 휴대 단말기의 연속 자동 초점 조절 방법 및 장치
US20120169899A1 (en) * 2010-12-30 2012-07-05 Samsung Electronics Co., Ltd. Electronic device and method for searching for object
JP5663331B2 (ja) * 2011-01-31 2015-02-04 オリンパス株式会社 制御装置、内視鏡装置、絞り制御方法及びプログラム
JP5843486B2 (ja) * 2011-05-31 2016-01-13 キヤノン株式会社 撮像装置およびその制御方法
JP5751946B2 (ja) * 2011-06-15 2015-07-22 キヤノン株式会社 焦点調節装置およびその制御方法
JP5959923B2 (ja) * 2012-04-26 2016-08-02 キヤノン株式会社 検出装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置
US8964062B1 (en) * 2012-12-18 2015-02-24 Amazon Technologies, Inc. Integrated light sensor for dynamic exposure adjustment
JP6049448B2 (ja) * 2012-12-27 2016-12-21 キヤノン株式会社 被写体領域追跡装置、その制御方法及びプログラム
KR20140102443A (ko) * 2013-02-14 2014-08-22 삼성전자주식회사 카메라를 이용한 물체 추적 방법 및 이를 위한 카메라 시스템
JP5810136B2 (ja) 2013-07-04 2015-11-11 オリンパス株式会社 追尾装置、追尾方法及び追尾プログラム
US10901174B2 (en) * 2016-06-30 2021-01-26 Nikon Corporation Camera for limiting shifting of focus adjustment optical system
CN116528046A (zh) * 2020-11-09 2023-08-01 华为技术有限公司 目标用户追焦拍摄方法、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09318865A (ja) * 1996-05-24 1997-12-12 Nikon Corp カメラの焦点調節装置
JP2006058431A (ja) * 2004-08-18 2006-03-02 Fujinon Corp オートフォーカスシステム
JP2007017787A (ja) * 2005-07-08 2007-01-25 Nikon Corp 自動焦点調節装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6139009A (ja) 1984-07-31 1986-02-25 Canon Inc カメラ
JPH06230453A (ja) * 1993-02-02 1994-08-19 Nikon Corp 被写体追尾機能を有するカメラ
US5937216A (en) * 1996-05-24 1999-08-10 Nikon Corporation Focal adjustment apparatus for a camera
US6240253B1 (en) * 1998-09-14 2001-05-29 Minolta Co., Ltd. Automatic focusing camera
JP2003015019A (ja) * 2001-06-27 2003-01-15 Minolta Co Ltd 被写体検出装置およびカメラ
JP3992992B2 (ja) * 2002-02-19 2007-10-17 株式会社リコー 被写体像取得装置
JP4525089B2 (ja) * 2004-01-27 2010-08-18 フジノン株式会社 オートフォーカスシステム
JP4574220B2 (ja) * 2004-04-30 2010-11-04 富士フイルム株式会社 撮像装置及び撮像方法
EP1601189A2 (en) * 2004-05-26 2005-11-30 Fujinon Corporation Autofocus system
JP5045125B2 (ja) * 2006-03-15 2012-10-10 株式会社ニコン 被写体追尾装置および光学機器
JP4821460B2 (ja) 2006-06-28 2011-11-24 株式会社ニコン オートフォーカス装置、およびカメラ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09318865A (ja) * 1996-05-24 1997-12-12 Nikon Corp カメラの焦点調節装置
JP2006058431A (ja) * 2004-08-18 2006-03-02 Fujinon Corp オートフォーカスシステム
JP2007017787A (ja) * 2005-07-08 2007-01-25 Nikon Corp 自動焦点調節装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011071671A (ja) * 2009-09-25 2011-04-07 Nikon Corp 画像認識装置、および、撮像装置
JP2011107501A (ja) * 2009-11-19 2011-06-02 Nikon Corp 焦点調節装置、および、撮像装置
JP2012237809A (ja) * 2011-05-10 2012-12-06 Canon Inc 撮像装置
US9341922B2 (en) 2011-05-10 2016-05-17 Canon Kabushiki Kaisha Imaging apparatus
WO2013179923A1 (ja) * 2012-05-28 2013-12-05 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
JP2014095893A (ja) * 2012-10-12 2014-05-22 Panasonic Corp 撮像装置
JP2015052799A (ja) * 2014-10-29 2015-03-19 株式会社ニコン 焦点調節装置、および、撮像装置
JP2018022128A (ja) * 2016-07-21 2018-02-08 キヤノン株式会社 焦点調節装置および方法、および撮像装置

Also Published As

Publication number Publication date
US20090009606A1 (en) 2009-01-08
US8355047B2 (en) 2013-01-15
JP5082631B2 (ja) 2012-11-28

Similar Documents

Publication Publication Date Title
JP5082631B2 (ja) 撮影装置
JP5167750B2 (ja) 追尾装置、撮像装置、および追尾方法
JP5176483B2 (ja) 画像認識装置、画像追尾装置および撮像装置
EP1909229B1 (en) Tracking device and image-capturing apparatus
JP4872834B2 (ja) 画像認識装置、焦点調節装置および撮像装置
JP5247076B2 (ja) 画像追尾装置、焦点調節装置および撮像装置
JP5157256B2 (ja) 画像追尾装置および撮像装置
JP2009109839A (ja) 画像追尾装置、撮像装置
JP4893334B2 (ja) 画像追尾装置および撮像装置
JP5056136B2 (ja) 画像追尾装置
JP5403111B2 (ja) 画像追尾装置
JP2009265239A (ja) 焦点検出装置、焦点検出方法およびカメラ
JP4888249B2 (ja) 焦点検出装置および撮像装置
JP4985155B2 (ja) 焦点調節装置および撮像装置
JP2010200138A (ja) 被写体追尾装置
JP5447579B2 (ja) 追尾装置、焦点調節装置および撮影装置
JP2010054586A (ja) 焦点調節装置、撮像装置
JP5233646B2 (ja) 画像追尾装置、撮像装置、画像追尾方法
JP2012093775A (ja) 焦点検出装置および撮像装置
JP5772933B2 (ja) 撮像装置
JP2018063439A (ja) 焦点調節装置、撮像装置
JP5347834B2 (ja) 画像追尾装置
JP2010093320A (ja) 画像追尾装置および画像追尾方法
JP2016028298A (ja) 焦点調節装置、撮像装置
JP2018116290A (ja) 焦点調節装置および撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100705

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110926

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120807

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120820

R150 Certificate of patent or registration of utility model

Ref document number: 5082631

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150914

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150914

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees