JP2012215665A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】測距点選択に、追尾での演算結果を反映させる上で、追尾演算よりも、焦点検出演算に時間が掛かった場合、どの測距点を選択したらよいのか、決めることが出来ない、という問題があった。
【解決手段】複数の測距点を有し、前記複数の測距点から自動焦点調節に用いる測距点を選択する測距点選択機能を有する撮像装置において、焦点検出部は、複数の測距点のそれぞれについて焦点検出処理を行い、その検出結果の信頼度を取得し、追尾処理部は、撮像により得られた画像において被写体を追尾する追尾処理を実行し、その追尾結果の信頼度を評価する。カメラ制御部は、追尾処理が終了した時点で焦点検出処理が終了しておらず、追尾結果の信頼度が第１の所定値以上の場合には、焦点検出処理を中断し、その中断の時点における焦点検出処理の検出結果とその信頼度、追尾結果に基づいて、測距点を選択する。
【選択図】 図２Ａ

Description

本発明は、被写体を撮像する撮像装置であって、特に、被写体追尾の結果を反映させて複数の測距点のうち撮像時の自動焦点調節に使用するべき測距点を選択する撮像装置およびその制御方法に関する。

一般に、自動焦点調節のための複数の測距点を有するデジタルカメラにおいては、特定の被写体に焦点を合わせるために、これらの測距点のうちの１つまたは複数が選択されて自動焦点調節に用いられる。さらに、被写体追尾機能を有するデジタルカメラでは、このような測距点の選択において、特定の被写体を追尾し、その追尾結果反映させる。

一般に、焦点検出演算では、複数の測距点の各々について瞳分割光学系および焦点検出画素群により得られた信号に基づいて位相差方式による焦点検出の演算が行なわれる。一方、被写体追尾機能による追尾処理では、撮像画素群から得られた像信号を現像して得られた画像に基づいて、追尾対象の被写体の位置が検出される。撮像装置の測距点選択機能では、これら焦点検出処理による検出結果と追尾処理による追尾結果とに基づいて、上記複数の測距点から自動焦点調節（オートフォーカス）に用いる測距点を選択する。

特許文献１では、このような、測距点選択機能と被写体追尾機能とを有するデジタルカメラにおいて、焦点検出の信頼度が低い場合には、追尾駆動を禁止することが提案されている。

特開平７−２１８８２１号公報

焦点検出における測距点選択は、その実行可能な時間が限られており、全ての測距点についてのラインを処理する時間がなくなる可能性がある。そこで、測距点の選択においては、前回選択された測距点の近傍のラインの処理、電荷蓄積が早く終わったラインの処理を優先的に行うなどの処理を行うことで、限られた時間内で焦点検出処理を行うようにしている。

通常、追尾処理を終えた時点では焦点検出処理を終えており、これら追尾処理と焦点演算処理との結果を用いて測距点の選択が行なわれる。しかしながら、例えば測距点数の増加に伴い、追尾処理の演算結果を測距点選択に反映させる上で、追尾処理よりも焦点検出処理に時間が掛かるような場合が考えられる。そのような場合、追尾処理を終えてから焦点検出演算が終了するまでに時間差が生じることになる。ここで、仮に正確な追尾ができているとすれば、その追尾結果を用いて適切な測距点選択を行える可能性もある。したがって、追尾演算を終えた後にただ漫然と焦点検出演算が終了するのを待つことは、測距点選択処理に要する時間の増加になり、撮像装置の自動焦点調節における応答性に影響を及ぼすことになる。

特許文献１によれば、焦点検出の信頼度に関する記載はあるが、追尾演算と焦点検出演算との演算時間／信頼度の組み合わせを考慮するという提案はない。

本発明は、上記課題に鑑みてなされたものであり、適切な測距点を迅速に選択できる撮像装置およびその制御方法を提供することを目的とする。

上記目的を達成するための、本発明の一態様による撮像装置は以下の構成を備える。即ち、
複数の測距点から自動焦点調節に用いる測距点を選択する測距点選択機能を有する撮像装置であって、
前記複数の測距点のそれぞれについて焦点検出処理を行い、その検出結果の信頼度を取得する検出手段と、
前記焦点検出処理と並行して、撮像により得られた画像において被写体を追尾する追尾処理を実行し、前記追尾処理による追尾結果の信頼度を評価する追尾手段と、
前記追尾処理が終了した時点で前記検出手段による焦点検出処理が終了しておらず、前記追尾結果の信頼度が第１の所定値以上の場合に、前記焦点検出処理を中断する中断手段と、
前記中断手段により前記焦点検出処理が中断されると、前記中断の時点における前記焦点検出処理の検出結果とその信頼度、前記追尾結果に基づいて、前記複数の測距点から自動焦点調節に用いる測距点を選択する選択手段と、を備える。

本発明によれば、信頼度の高い追尾結果が得られた場合には焦点検出を打ち切り、その時点の焦点検出結果或いは追尾結果を用いて測距点を選択するので、自動焦点調節における応答性が向上する。。

実施形態に係る撮像装置の全体構成の一例を示すブロック図。 、 実施形態に係る撮像装置のタイムチャート。 実施形態に係る撮像装置のフローチャート。

以下、本発明の実施の形態を、図面を用いて詳述する。

［実施例］
図１は、本発明の実施の形態に係る撮像装置の全体構成の一例を示すブロック図である。本実施形態の撮像装置は、複数の測距点を有し、前記複数の測距点から自動焦点調節に用いる測距点を選択する測距点選択機能を有するものである。図１において、撮像装置１００は、被写体を結像するレンズ１０１と、レンズの焦点位置を制御するレンズ制御部１０２と、入射光量を調節する絞り１０３とを備える。さらに、撮像装置１００は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）を具備して構成される撮像画素群１０５を含む撮像素子１０４を備える。

撮像素子１０４は、撮像画素群１０５のほかに、焦点検出画素群１０６、瞳分割光学系１０７を有する。撮像画素群１０５は、その受光面上にＲＧＢ各カラーフィルタ（不図示）が設けられており、撮像用の像信号の取得に用いられる画素から成る。焦点検出画素群１０６は、位相差検出方式による焦点検出のための、互いに光学構成が光軸対称に構成された２種類の位相差センサで構成されている。瞳分割光学系１０７は、同一の被写体像を一対の位相差センサに導く。なお、一対の位相差センサは測距点毎に設けられ、瞳分割光学系１０７も測距点毎に設けられている。

また、撮像装置１００において、焦点検出部１０８は、焦点検出画素群１０６における一対の位相差センサの各画素列の像ずれ量から焦点（デフォーカス量）を検出する。空間周波数検出部１０９は、撮像画素群１０５のうち焦点検出画素群１０６の近傍に位置する複数の画素から成る像信号の高周波成分の強度を検出する。判定切替部１１０は、後述の画素補間部１１１による補間処理を、焦点検出部１０８による焦点検出結果に基づいて行うか、空間周波数検出部１０９を用いて得られた高周波成分の強度に基づいて行うかのいずれかを選択する。

画素補間部１１１は、焦点検出画素群１０６の位相差センサの位置に相当する画像データを、撮像画素群１０５により得られた像信号に基づいて、補間演算により生成する。なお、上述したように、画素補間部１１１による補間処理は、判定切替部１１０の判定に基づいて切り替わる。画像処理部１１２は、撮像画素群１０５により得られた像信号について現像処理や所定の補正処理を施して撮像画像（画像データ）を得る。追尾処理部１１３は、画像処理部１１２により得られた画像を用いて被写体を追尾する追尾処理を行う。表示部１１４は、例えば液晶表示器を有し、画像処理部１１２により得られた撮像画像を表示する。記録部１１５は、例えば着脱可能なメモリカードに、画像処理部１１２により得られた画像データを記録する。

さらに、撮像装置１００は、操作者の操作入力を受け付ける操作部１１６と、撮像装置１００全体を制御するカメラ制御部１１７とを備える。なお、上述した各部の機能は、その一部或いはすべてが、カメラ制御部１１７が所定のプログラムを実行することにより実現されてもよい。

図２Ａ，２Ｂにおいて、（１）は通常のシーケンスの場合を示しており、（２）〜（５）は、焦点検出の演算が追尾処理よりも長くなった場合の、本実施形態のカメラ制御部１１７による制御を示している。図２Ａ，２Ｂにおいて、
（２）は、追尾結果の信頼性、追尾終了時点の焦点検出の信頼性ともに高い場合、
（３）は、追尾結果の信頼性は高いが、追尾終了時点の焦点検出の信頼性は低い場合、
（４）は、追尾結果の信頼性は低いが、追尾終了時点の焦点検出の信頼性は高い場合、
（５）は、追尾結果の信頼性、追尾終了時点の焦点検出の信頼性ともに低い場合、
である。

図２Ａの（１）では、撮像画素群１０５への電荷蓄積と、撮像画素群１０５からの像信号の読出しが行われ（Ｓ２０１）、画像処理部１１２が像信号に対して現像処理や所定の補正処理（ホワイトバランス等）を行って画像を得る（Ｓ２０２）。追尾処理部１１３は、得られた画像に基づいて追尾処理を実行する（Ｓ２０３）。他方、焦点検出画素群１０６に電荷が蓄積されると（Ｓ２１１）、焦点検出部１０８はこれを読み出して、焦点検出処理を実行する（Ｓ２１２）。焦点検出画素群１０６は複数の測距点の各々に設けられ、焦点検出部１０８はこれら複数の測距点のそれぞれについて焦点検出を行って、使用すべき測距点の候補を選択する。（１）の例では、追尾処理（Ｓ２０３）が終了するまでに焦点検出処理（Ｓ２１２）が終了しており、カメラ制御部１１７は得られた焦点検出結果と追尾結果とに基づいて測距点を選択する（Ｓ２１３）。

図２Ａの（２）では、追尾処理（Ｓ２０３）が終了した時点で、焦点検出処理（Ｓ２１２）が未だ終了していない場合が示されている。特に、（２）では、追尾処理の追尾結果の信頼度が高く（追尾結果の信頼度が第１の所定値以上）、追尾処理が終了した時点における焦点検出処理の検出結果にも高い信頼度のものが得られている場合（検出結果の信頼度が第２の所定値以上）が示されている。この場合、カメラ制御部１１７は、焦点検出部１０８による焦点検出処理（Ｓ２１２）を、追尾処理が終了した時点で中断し（Ｓ２２１）、その時点までに得られた焦点検出結果と追尾結果に基づいて測距点を選択する（Ｓ２２２）。なお、追尾結果による追尾位置と、焦点検出結果による測距位置の候補が離れている場合は、焦点検出結果を優先して測距点を選択するものとする。なお、焦点検出結果を優先して用いるとは、焦点検出結果のみを用いることも含む。

図２Ａの（３）も、追尾処理（Ｓ２０３）が終了した時点で、焦点検出処理（Ｓ２１２）が未だ終了していない場合を示している。特に、（３）では、追尾処理の追尾結果の信頼度は高いが、追尾処理が終了した時点における焦点検出処理の検出結果は低い信頼度のものしか得られていない場合（検出結果の信頼度が第２の所定値未満）が示されている。この場合、カメラ制御部１１７は、焦点検出部１０８による焦点検出処理（Ｓ２１２）を、追尾処理が終了した時点で中断し（Ｓ２３１）、追尾結果を優先的に用いて測距点を選択する（Ｓ２２２）。なお、追尾結果を優先的に用いるとは、追尾結果のみを用いることも含む。

図２Ｂの（４）では、追尾処理（Ｓ２０３）が終了した時点で、焦点検出処理（Ｓ２１２）が未だ終了しておらず、且つ、追尾結果の信頼度が低い（追尾結果の信頼度が第１の所定値未満）場合を示している。この場合、追尾処理が終了した時点で焦点検出処理による検出結果の信頼度が高ければ（検出結果の信頼度が第２の所定値以上）、カメラ制御部１１７は焦点検出処理（Ｓ２１２）を、完了まで継続させる（Ｓ２４１）。そして、カメラ制御部１１７は、焦点検出処理を通常通り完了させると、その焦点検出結果に基づいて測距点を選択する（Ｓ２４２）。

図２Ｂの（５）では、（４）と同様に、追尾処理（Ｓ２０３）が終了した時点で、焦点検出処理（Ｓ２１２）が未だ終了しておらず、且つ、追尾結果の信頼度が低い（追尾結果の信頼度が第１の所定値未満）場合を示している。（５）に示されている処理は、追尾処理が終了した時点で焦点検出処理による検出結果の信頼度も低い場合（検出結果の信頼度が第２の所定値未満）であり、カメラ制御部１１７は焦点検出処理を、その完了まで継続させる（Ｓ２５１）。そして、カメラ制御部１１７は、追尾範囲を拡大して追尾処理を再度実行させる（Ｓ２５２）。追尾範囲を拡大した追尾処理（Ｓ２５２）と焦点検出処理（Ｓ２１２）が完了すると、カメラ制御部１１７は、その追尾結果及び／または焦点検出結果に基づいて測距点を選択する（Ｓ２５３）。

以上説明したような処理を実現するカメラ制御部１１７の制御について、図３のフローチャートを参照して説明する。ステップＳ３０１で、カメラ制御部１１７は、焦点検出部１０８による焦点検出処理、追尾処理部１１３による追尾処理を並行して実行させ、ステップＳ３０２で被写体の追尾処理が終了するのを待つ。追尾処理が終了すると、処理はステップＳ３０３に進み、カメラ制御部１１７は、焦点検出部１０８による焦点検出処理が終了しているか否かを判定する。この時点で焦点検出部１０８による焦点検出処理が終了していれば、処理はステップＳ３０４へ進み、カメラ制御部１１７は、追尾結果と焦点検出結果とに基づいて使用する測距点を選択する。以上のステップＳ３０４に至る処理は、図２Ａの（１）に示した動作に対応する。

ステップＳ３０３において、焦点検出処理が終了していないと判定されると、処理はステップＳ３０５へ進む。ステップＳ３０５では、追尾処理による追尾結果の信頼度が第１の所定値以上か否かを判断し、第１の所定値以上であれば処理はステップＳ３１１へ、第１の所定値未満であればステップＳ３２１へ進む。なお、追尾結果の信頼度の評価方法としては、
・追尾元の部分画像と追尾先の部分画像との間の輝度差の絶対値の総和が小さいほど信頼度を高く評価する、
・追尾元の部分画像と追尾先の部分画像との間で、上下方向または左右方向の相関量の傾きが小さいほど信頼度を高く評価する、
というような方法が挙げられる。

追尾結果の信頼度が第１の所定値以上の場合、処理はステップＳ３１１に進む。ステップＳ３１１において、カメラ制御部１１７は、焦点検出部１０８による焦点検出処理を中断する。そして、ステップＳ３１２において、カメラ制御部１１７は、追尾処理が終了した時点において焦点検出結果が得ている信頼度が、第２の所定値以上であるか否かを判定する。なお、焦点検出結果の信頼度の評価には、周知の方法を用いることができる。なお、複数の測距点の各々について焦点検出結果の信頼度を評価する場合は、その時点までに焦点検出を終えた測距点の信頼度の「平均値」、「最大値」などを用いてもよい。焦点検出結果の信頼度が第２の所定値以上の場合には処理はステップＳ３１３へ進み、焦点検出結果の信頼度が第２の所定値未満の場合には処理はステップＳ３１４へ進む。

ステップＳ３１３において、カメラ制御部１１７は、その時点における焦点検出結果と追尾結果とに基づいて使用すべき測距点を選択（決定）する。以上のステップＳ３１３へ至る処理は、図２Ａの（２）に示した動作に対応する。また、ステップＳ３１４に処理が進んだ場合は、追尾結果を元に測距点の選択を行う。以上のステップＳ３１４へ至る処理は、図２Ａの（３）に示した動作に対応する。

ステップＳ３０５の判断で、追尾結果の信頼度が第１の所定値未満の場合の処理であるステップＳ３２１においても、カメラ制御部１１７は、追尾処理が終了した時点において焦点検出結果の信頼度が、第２の所定値以上であるか否かを判定する。焦点検出結果の信頼度が第２の所定値以上であれば、ステップＳ３２２において、カメラ制御部１１７は、焦点検出部１０８による焦点検出処理が終了するのを待つ。そして、焦点検出処理が終了するとその焦点検出結果に基づいて測距点選択を行う（ステップＳ３２３）。以上のステップＳ３２３へ至る処理は、図２Ｂの（４）に示した動作に対応する。

他方、焦点検出結果の信頼度が第２の所定値未満の場合は、処理はステップＳ３２４に進む。ステップＳ３２４において、カメラ制御部１１７は、追尾処理部１１３に指示して、拡大された追尾範囲で追尾処理を再度実行させる。そして、ステップＳ３２５において、カメラ制御部１１７は、拡大された追尾範囲での追尾結果と焦点検出結果とに基づいて測距点再選択を行う。以上のステップＳ３２５へ至る処理は、図２Ｂの（４）に示した動作に対応する。

以上のように、本実施形態によれば、追尾演算の信頼度と焦点検出演算の信頼度／処理時間に応じて、測距点選択の結果を切り替えることにより、状況に応じて処理を異ならせることができ、適切な測距点を選択することが可能になる。特に、追尾処理による追尾結果の信頼度が高い場合には、焦点検出処理が処理中であってもそれを打ち切って測距点を選択するので、より迅速に測距点の選択が行なわれることになり、自動焦点調節における応答性が向上する。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である

Claims (8)

1. 複数の測距点から自動焦点調節に用いる測距点を選択する測距点選択機能を有する撮像装置であって、
   前記複数の測距点のそれぞれについて焦点検出処理を行い、その検出結果の信頼度を取得する検出手段と、
   前記焦点検出処理と並行して、撮像により得られた画像において被写体を追尾する追尾処理を実行し、前記追尾処理による追尾結果の信頼度を評価する追尾手段と、
   前記追尾処理が終了した時点で前記検出手段による焦点検出処理が終了しておらず、前記追尾結果の信頼度が第１の所定値以上の場合に、前記焦点検出処理を中断する中断手段と、
   前記中断手段により前記焦点検出処理が中断されると、前記中断の時点における前記焦点検出処理の検出結果とその信頼度、前記追尾結果に基づいて、前記複数の測距点から自動焦点調節に用いる測距点を選択する選択手段と、を備えることを特徴とする撮像装置。
2. 前記選択手段は、前記中断の時点での前記焦点検出処理の検出結果の信頼度が第２の所定値未満の場合に、前記追尾結果を優先的に用いて測距点を選択することを特徴とする請求項１に記載の撮像装置。
3. 前記選択手段は、前記中断の時点での前記焦点検出処理の検出結果の信頼度が第２の所定値以上の場合に、前記検出結果と前記追尾結果とを用いて測距点を選択することを特徴とする請求項１に記載の撮像装置。
4. 前記選択手段は、前記追尾結果の前記信頼度が前記第１の所定値未満であって、前記追尾処理が終了した時点での前記検出結果の信頼度が第２の所定値以上の場合は、前記検出手段による焦点検出処理を完了まで継続させて得られた焦点検出結果に基づいて測距点を選択することを特徴とする請求項１に記載の撮像装置。
5. 前記選択手段は、前記追尾結果の前記信頼度が前記第１の所定値未満であって、前記追尾処理が終了した時点での前記検出結果の信頼度が第２の所定値未満の場合は、前記検出手段による焦点検出処理を完了まで継続させて得られた焦点検出結果と、追尾範囲を拡大して前記追尾処理を実行して得られた追尾結果とに基づいて測距点を選択することを特徴とする請求項１に記載の撮像装置。
6. 前記追尾手段は、追尾元の部分画像と追尾先の部分画像との間の輝度差の絶対値の総和が小さいほど前記追尾結果の信頼度を高く評価することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記追尾手段は、追尾元の部分画像と追尾先の部分画像との間の、上下方向または左右方向の相関量の傾きが小さいほど前記追尾結果の信頼度を高く評価することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
8. 複数の測距点から自動焦点調節に用いる測距点を選択する測距点選択機能を有する撮像装置の制御方法であって、
   検出手段が、前記複数の測距点のそれぞれについて焦点検出処理を行い、その検出結果の信頼度を取得する工程と、
   追尾手段が、前記焦点検出処理と並行して、撮像により得られた画像において被写体を追尾する追尾処理を実行し、前記追尾処理による追尾結果の信頼度を評価する工程と、
   中断手段が、前記追尾処理が終了した時点で前記焦点検出処理が終了しておらず、前記追尾結果の信頼度が第１の所定値以上の場合に、前記焦点検出処理を中断する工程と、
   前記中断する工程により前記焦点検出処理が中断されると、選択手段が、前記中断の時点における前記焦点検出処理の検出結果とその信頼度、前記追尾結果に基づいて、前記複数の測距点から自動焦点調節に用いる測距点を選択する工程と、を有することを特徴とする撮像装置の制御方法。

Images