JP2007052061A - 撮像装置、合焦動作制御方法および電子情報機器 - Google Patents

Abstract

【課題】 無駄な合焦動作の起動を防いで消費電流を削減し、ぼけた映像が撮影、表示されることを防ぐ。
【解決手段】 結像面に結像される光学像を画像データに変換するＣＣＤ２と、光学像の焦点調整を行うためにフォーカスレンズ１を移動させて合焦位置を検出し、検出された合焦位置にフォーカスレンズを停止させる合焦動作を行う合焦手段と、前回の合焦動作による合焦直後の映像信号領域におけるオートフォーカス対象領域内の所定領域を、現在の映像信号領域における所定領域内で探索し、オートフォーカス対象領域内の所定領域に相当する領域が検出されなかった場合に、被写体が変化したと判定して、合焦手段による合焦動作を再起動させる被写体探索手段１７を備えている。
【選択図】 図１

Description

本発明は、被写体を撮像する際のオートフォーカス機能を有する撮像装置、この撮像装置を用いた合焦動作制御方法および、この撮像装置を用いたデジタルスチルカメラなどのデジタルカメラやカメラ付き携帯電話装置などの電子情報機器に関する。

従来、この種の撮像装置を用いたデジタルカメラは、一般的に、自動的に焦点を合わせるオートフォーカス（以下、ＡＦと略記する）機能を有している。そのオートフォーカスの方法としては、従来から、非特許文献１に開示されている山登り制御方式が広く用いられている。この山登り制御方式では、ＡＦ評価値を合焦位置の判断に用いている。このＡＦ評価値とは、合焦度合い（ピント度合い）を示す評価値であり、ＣＣＤなどの撮像素子から得られる画像データから高周波成分または近接画素の輝度差の成分を求めて、これをＡＦ評価値としている。

カメラが合焦状態（ピントが合っている状態）にあるときは、被写体の画像データのエッジ部分がはっきりしているため、ＡＦ評価値が大きくなり、非合焦状態のときにはＡＦ評価値が小さくなる。合焦手段は、フォーカスレンズを至近位置から無限遠位置まで、または無限遠位置から至近位置まで移動させながら、このＡＦ評価値を順次取得していき、ＡＦ評価値が最も大きくなった位置を合焦位置として検出して、その位置にフォーカスレンズを停止させてオートフォーカス動作を完了させている。

また、デジタルスチルカメラなどのスチル画像を撮像する装置には、一般的に、デジタルビデオカメラなどの動画を撮影する装置に比べて、厳密な合焦が要求されるため、撮影動作の度に合焦動作が行なわれるか、または常に合焦動作が所定時間間隔で繰り返し行なわれている。

しかしながら、撮影毎に山登りＡＦ制御を行なうと、操作者が撮影開始要求操作をしてから、実際に撮影が行なわれるまでのレリーズタイムラグが発生してしまうという問題がある。また、撮影毎または繰り返し合焦動作を行なうと、合焦動作中はモータによるレンズ移動が行われるため、消費電流が増加してしまい、電池の寿命が短くなるという問題もある。

そこで、動画撮影時に常時ピントの合った画像を撮影するため、または、常時ピントを合わせておくことにより、シャッタを押してから実際に写真が取れるまでのシャッタタイムラグを短縮するため、合焦動作を連続的に行うコンティニュアスオートフォーカス（以下、「ＣＡＦ」と略記する）方式を設定可能なデジタルスチルカメラが存在する。

このＣＡＦにおいてオートフォーカス動作（合焦動作）を再起動させる方式としては、オートフォーカス動作を終えてから一定の時間間隔（例えば５秒）で無条件にオートフォーカス動作を再起動させる方式がある。

また、特許文献１に開示されている従来の方式では、現時点での映像信号と、前回の合焦動作中または合焦直後に得られる映像信号のＡＦ（自動合焦点）評価値、ＡＥ（自動露光）評価値およびＡＷＢ（自動ホワイトバランス調整）評価値との差をそれぞれ求める。さらに、それらの差の絶対値と所定の値とを比較して、前回の合焦動作における合焦状態（ピントが合った状態）が維持されているか否かを判定し、前回の合焦動作（オートフォーカス動作）における合焦状態が維持されていない場合に合焦動作を再起動させる。合焦状態が維持されているかどうかは、所定の閾値を設定してその比較値（変化量）がその所定の閾値よりも大きければ、合焦状態が維持されていないと判断している。フレームレート（１／１５秒程度）に合わせてそのデータを取り続けて、その比較値（変化量）が閾値を越えた時点で、合焦状態が維持されていないと判断して、合焦動作（オートフォーカス動作）を行う。

ここで、ＡＦ評価値としては画像データ中の高周波成分または近接画素の輝度差の積分値が算出され、ＡＥ評価値としては、画像データ中の被写体の輝度値が算出され、ＡＷＢ評価値としては、画像データ中の被写体色が算出される。
「山登りサーボ方式によるテレビカメラの自動焦点調整」（「ＮＨＫ技術研究」第１７巻 第１号２１頁 昭和４０年発行 石田他） 特開２００３−２３２９８４号公報

しかしながら、上記ＣＡＦにおいて合焦動作（オートフォーカス動作）を再起動させる従来の方式には、以下のような問題がある。

一定の時間間隔で合焦動作を再起動させる従来の方式では、前回の合焦動作における合焦状態が維持されているか否かに関わらず、無条件で合焦動作が再起動される。このため、合焦動作中はモータなどのレンズ駆動手段によりフォーカスレンズの移動が行われるので、消費電流が増加し、電池の寿命が短くなってしまう。また、この従来の方式では、前回の合焦動作における合焦状態が維持されているにも関わらず合焦動作が再起動されるため、合焦動作の間は、ぼけた映像が撮影されて表示画面上に表示されることになる。このときの表示はぼけた映像で見た目がよくない。

特許文献１に開示されている従来の方式では、合焦動作を再起動させる場合、ＡＦ（合焦点；ピント）評価値やＡＥ（露出）評価値が明るさによって変動する。例えば戸外での撮影時に、一瞬、太陽が雲にかくれた場合、逆に、太陽が雲から出た場合、被写体が木陰から出た場合など、被写体までの距離が変わらず、合焦動作を再起動させる必要がなくても、被写体または被写体周辺の明るさの変化によって合焦動作を再起動してしまうことがある。

本発明は、上記従来の問題を解決するもので、無駄な合焦動作の起動を防いで消費電流を削減し、かつ、合焦動作の間に発生するぼけた映像の撮影を防ぐことができる撮像装置この撮像装置を用いた合焦動作制御方法および、この撮像装置を用いたデジタルスチルカメラなどのデジタルカメラやカメラ付き携帯電話などの電子情報機器を提供することを目的とする。

本発明の撮像装置は、結像面に結像される光学像を画素毎に画像データに変換する撮像手段と、該光学像の該結像面への焦点調整を行うためにフォーカスレンズを光軸方向に移動させて合焦位置を検出し、検出された合焦位置にフォーカスレンズを位置させる合焦手段と、直近の合焦動作で焦点を合わせて得た映像信号領域上の被写体の画像領域（被写体画像領域）が、現在の映像信号領域の所定の探索領域内で所定の閾値を基準にして変化したかどうかを探索し、該被写体画像領域が変化した場合にのみ、該合焦手段を再起動させる被写体探索手段とを有するものであり、そのことにより上記目的が達成される。

また、好ましくは、本発明の撮像装置における被写体探索手段は、前記合焦手段による直近の合焦動作後の前記映像信号領域におけるオートフォーカス対象領域内の所定領域を、現在の映像信号領域上の、該所定領域よりも広い所定の探索領域内で探索して、該所定領域に相当する領域が前記所定の閾値を基準にして検出されなかった場合に、前記被写体画像領域が変化したと判定して、該合焦手段による合焦動作を再起動させるようにしている。

さらに、好ましくは、本発明の撮像装置における被写体画像領域の変化は、前記直近の合焦動作時と前記現在で前記被写体までの距離が、前記合焦動作が必要な距離だけ変わったかどうかを、前記所定の閾値を基準にして判定される。

さらに、好ましくは、本発明の撮像装置における被写体探索手段は、前記所定領域の大きさをＭ画素×Ｎライン、前記探索領域の大きさをＨ画素×Ｖライン（Ｈ＞Ｍ、Ｖ＞Ｎ；Ｈ，Ｍ，Ｖ，Ｎは自然数）とし、該探索領域内で左上隅からＥ画素およびＦライン（ＥおよびＦはそれぞれ自然数）ずつ順次ずらしたＭ画素×Ｎラインの領域をＳ_Ｘ，Ｙ（１≦Ｘ≦Ｈ−Ｍ＋１、１≦Ｙ≦Ｖ−Ｎ＋１）として、該所定領域と該探索領域内の各領域Ｓ_Ｘ，Ｙとの類似度Ｅ_Ｘ，Ｙを求め、該類似度Ｅ_Ｘ，Ｙに基づいて、前記被写体画像領域が変化したかどうかを判定する。

さらに、好ましくは、本発明の撮像装置において、前記被写体画像領域が変化したかどうかを判定する際に、前記類似度Ｅ_Ｘ，Ｙの最小値が前記所定の閾値以上の場合に、該被写体画像領域が変化したと判断し、該類似度Ｅ_Ｘ，Ｙの最小値が該所定の閾値未満の場合に、該被写体画像領域が変化していないと判断する。

さらに、好ましくは、本発明の撮像装置における被写体探索手段は、前記所定領域と前記探索領域内の各領域Ｓ_Ｘ，Ｙとの類似度Ｅ_Ｘ，Ｙを、下記算出式
（但し、Ａ（ｉ，ｊ）は領域Ａの輝度値、Ｓ_Ｘ，Ｙ（ｉ，ｊ）は領域Ｓの輝度値とする）
によって演算する。

さらに、好ましくは、本発明の撮像装置における被写体探索手段は、前記所定領域と前記探索領域内の各領域Ｓ_Ｘ，Ｙとの類似度Ｅ_Ｘ，Ｙを、下記算出式
（但し、Ａ（ｉ，ｊ）は所定領域Ａの輝度値、Ｓ_Ｘ，Ｙ（ｉ，ｊ）は領域Ｓの輝度値とする）
によって演算する。

さらに、好ましくは、本発明の撮像装置における被写体探索手段は、前記所定領域Ａと前記探索領域内の各領域Ｓ_Ｘ，Ｙとの類似度Ｅ_Ｘ，Ｙを、該領域Ｓ_Ｘ，Ｙと該所定領域Ａにおけるエッジ量または２値化信号に対して前記算出式を適用して演算処理する。

さらに、好ましくは、本発明の撮像装置におけるエッジ量は、前記画像データがこれに隣接画素の画像データに比べてその輝度差が所定の閾値よりも大きい画素ではエッジがあるものとして画像データを「１」とし、該所定の閾値よりも小さい画素ではエッジがないものとして画像データを「０」とする。

さらに、好ましくは、本発明の撮像装置における２値化信号は、画素毎の画像データが、複数の輝度階調のうちの基準となる所定輝度階調よりも大きければ「１」とし、該所定輝度階調よりも小さければ「０」として２値化した信号である。

さらに、好ましくは、本発明の撮像装置における被写体探索手段は、前記類似度Ｅ_Ｘ，Ｙを、前記Ｍ画素×Ｎラインのうち、該Ｍ×Ｎ個よりも少ない一または複数の特定画素の輝度値を用いて求める。

さらに、好ましくは、本発明の撮像装置における被写体探索手段は手ぶれ検出手段を併用する。

さらに、好ましくは、本発明の撮像装置における被写体探索手段は、前記被写体画像領域が変化していないと判断した場合に、前記探索領域内で前記類似度が最小値となった位置と前記所定領域の位置との距離をＤとして、該距離Ｄが所定の閾値Ｄｔｈｒｅｓｈ１以上Ｄｔｈｒｅｓｈ２以下であれば、手ぶれと判断する。

さらに、好ましくは、本発明の撮像装置における合焦手段は、フォーカスレンズを無限遠位置から至近位置または該至近位置から該無限遠位置までレンズ光軸方向に移動させながら、前記画像データの輝度信号中の高周波成分またはエッジ成分からオートフォーカス評価値を算出し、該オートフォーカス評価値が極大値または最大値となった位置を合焦位置として検出する。

本発明の合焦動作制御方法は、本発明の上記撮像装置を用いて、前記被写体探索手段によって、前回の合焦動作直後の前記所定領域を、現在の所定の探索領域内で探索するステップと、探索結果、該所定領域に相当する領域が検出されなかった場合に、前記被写体画像領域が変化したと判定して、該合焦動作を再起動させ、該所定領域に相当する領域が検出された場合には、該合焦動作を再起動させないように制御するステップとを有するものであり、そのことにより上記目的が達成される。

本発明の電子情報機器は、本発明の上記撮像装置を用いて得た画像データを画像圧縮処理して記録する記録メディアと、該画像データを表示画面上に表示する表示手段と、該画像データを送信する通信手段とのうち少なくともいずれかを有するものであり、そのことにより上記目的が達成される。

上記構成により、以下、本発明の作用について説明する。

本発明にあっては、被写体までの距離が変わったかどうか、即ち、被写体の変化を合焦動作（オートフォーカス動作）の条件として合焦動作を再起動させることを特徴構成としている。

即ち、被写体探索手段を用いて、前回の合焦動作で得た合焦直後の映像信号領域中のＡＦ対象領域内の所定領域（ここに被写体がある）を、現在の映像信号領域中の所定探索領域内で探索する。この所定探索領域内でＡＦ対象領域内の所定領域に相当する領域が検出されなかった場合に、被写体が変化（被写体が所定探索領域から出たかまたは遠くか近くに移動した場合）したと判定して、合焦手段による合焦動作を再起動させる。また、合焦直後からの被写体の変化に基づいて合焦動作を再起動させるか否かが決定され、且つ、明るさによって変動する類似度への影響を軽減することができるため、合焦動作起動の誤判定を防いで、無駄な合焦動作を起動させないようにすることが可能となる。このように、無駄な合焦動作を起動しないので、合焦動作の間に生じるぼけた映像の撮影および表示を防ぐことも可能となる。

以上により、本発明によれば、合焦直後からの被写体の変化（移動変化）に基づいて合焦動作再起動の判定を行うため、無駄な合焦動作を起動する必要がなく、消費電流を削減し、電池寿命が長い撮像装置を得ることができる。また、無駄な合焦動作を起動しないため、合焦動作の間に生じるぼけた映像の撮影および表示を防ぐことができる。さらに、明るさによって変動する類似度への影響を軽減することができるため、合焦動作起動の誤判定を防ぐことできる。

以下に、本発明の撮像装置の実施形態を用いた電子情報機器を、デジタルスチルカメラに適用した場合について図面を参照しながら詳細に説明する。なお、この電子情報機器としては、デジタルスチルカメラなどのデジタルカメラの他に、カメラ付き携帯電話装置などがある。

本発明の撮像装置では、被写体までの距離が変わったかどうかを合焦動作（オートフォーカス動作）の条件として合焦動作を再起動させることを特徴構成としている。即ち、直近の合焦動作で焦点を合わせた被写体が、現在の映像信号領域における探索領域内で所定量以上に変化したかどうかを探索し、その探索の結果を用いて合焦手段を起動するか否かを判定することを特徴構成としている。

図１は、本発明の実施形態に係る撮像装置を用いたデジタルスチルカメラの要部構成例を示すブロック図である。なお、本発明の撮像装置において、結像面に結像される光学像を画素毎に画像データに変換する撮像素子としてはＣＣＤセンサーやＣＭＯＳセンサーなどが挙げられるが、本実施形態ではＣＣＤセンサー（以下「ＣＣＤ」と略記する）を使用して説明することにする。

図１において、本実施形態の撮像装置を用いたデジタルスチルカメラ１００は、被写体からの光を各画素毎の受光部上に集光する光学系としてのフォーカスレンズ１と、結像面に結像される入射光の光学像を画素毎に画像データに光電変換する複数の受光部で構成された撮像手段としてのＣＣＤ（撮像素子）２と、このＣＣＤ２からの撮像データを、ノイズ除去処理、利得処理およびＡ／Ｄ変換処理を行うＣＤＳ／ＡＧＣ／ＡＤＣ回路３と、フォーカスレンズ１を移動または停止させる駆動手段４と、ＣＣＤ２およびＣＤＳ／ＡＧＣ／ＡＤＣ回路３の動作をタイミング制御するタイミング信号発生器（以下、「ＴＧ」と略記する）５と、ＣＤＳ／ＡＧＣ／ＡＤＣ回路３からの出力デジタル信号をデジタルデータ処理する信号処理回路１０と、この信号処理回路１０から出力される表示データを記録する記録メディア２１と、この表示データに基づいて表示制御するＬＣＤコントローラ（以下、「ＬＣＤＣ」と略記する）２２と、信号処理回路１０からの表示データを、ＬＣＤＣ２２によって表示制御されて画面表示する液晶画面（以下、「ＬＣＤ」と略記する）２３とを有している。

ＣＣＤ２は、被写体光がフォーカスレンズ１により集光されて入射され、光電変換を行う複数の受光部（画素を構成する部分）が２次元状（またはマトリクス状）に配列された撮像面を有している。

信号処理回路１０は、撮像信号補間回路１１と、ホワイトバランス・ガンマ補正回路１２と、輝度・色差信号生成回路１３と、画像圧縮処理回路１４と、ビデオエンコーダ１５と、ＡＦ／ＡＥ評価値演算回路１６と、被写体探索手段としての被写体探索回路１７と、システムコントローラ１８とを有している。

撮像信号補間回路１１は、入力画像データが各画素毎にＲＧＢいずれか１成分の色信号であるため、他の色成分の信号を生成する補間処理を行う。入力画像データが例えばＲ信号であれば、そのＲ信号の周囲の撮像信号（画素信号）からＧ信号とＢ信号とを求めて補間処理を行う。

ホワイトバランス・ガンマ補正回路１２は、ホワイトバランスを合わせるためのゲイン調整およびガンマ補正を行う。

輝度・色差信号生成回路１３は、ＲＧＢ信号を輝度・色差信号に変換する。

画像圧縮処理回路１４は、輝度・色差信号生成回路１３からの輝度・色差信号のＪＰＥＧ圧縮処理を行う。

ビデオエンコーダ１５は、輝度・色差信号生成回路１３からの輝度・色差信号をＬＣＤ２３に表示可能な形式にデータ変換する。

ＡＦ／ＡＥ評価値演算回路１６は、輝度・色差信号生成回路１３からの輝度信号中の所定領域の高周波成分またはエッジ成分からＡＦ評価値を算出する。また、ＡＦ／ＡＥ評価値演算回路１６は、輝度・色差信号生成回路１３からの輝度信号中の所定領域の輝度値からＡＥ評価値を算出する。

被写体探索回路１７は、前回の合焦動作で得た合焦直後の映像信号領域中のＡＦ対象領域内の所定領域（被写体像画像領域）が、現在の映像信号領域中の探索領域内で、所定量以上に変化したかどうかを探索し、その探索結果が所定量以上の場合に、システムコントローラ１８に合焦動作を再起動するための再起動指令信号を出力する。

即ち、被写体探索回路１７は、直近の合焦動作で焦点を合わせて得た映像信号領域上の被写体画像領域が、現在の映像信号領域の所定の探索領域内で所定の閾値を基準にして変化したかどうかを探索し、この被写体画像領域が変化した場合にのみ、合焦手段を再起動させるようにシステムコントローラ１８を制御する。この被写体画像領域の変化は、直近の合焦動作時と現在で被写体までの距離が、合焦動作が必要な距離だけ変わったかどうかを、所定の閾値を基準にして判定される。

システムコントローラ１８は、ＣＣＤ２とＣＤＳ／ＡＧＣ／ＡＤＣ回路３を駆動制御するＴＧ５にタイミング制御信号を出力すると共に、シャッタによる撮影指令時や被写体探索回路１７による合焦再起動指令時に、ＡＦ／ＡＥ評価値演算回路１６からのＡＦ評価値およびＡＥ評価値を用いて、撮像時間の設定および、レンズ駆動手段４による合焦動作（オートフォーカス動作）を制御する。

また、システムコントローラ１８は、カメラ全体の制御を行うためのものであり、図１には示されていないが、制御プログラムに従って各種演算処理を行う制御部としてのＣＰＵ（中央演算処理装置）、この制御プログラムを格納するためのＲＯＭや制御プログラムおよび各処理過程のデータなどを格納するためのワークメモリとして働くＲＡＭなどによって構成されている。

これらのＡＦ／ＡＥ評価値演算回路１６、システムコントローラ１８およびレンズ駆動手段４によって合焦手段が構成され、この合焦手段は、光学像の焦点調整を行うためにレンズ駆動手段４（モータ）を用いてフォーカスレンズ１を出退移動させて合焦位置を検出し、検出された合焦位置にフォーカスレンズ１を停止させる合焦動作（オートフォーカス動作）を行う。

上記構成により、被写体光は、フォーカスレンズ１を通して集光されてＣＣＤ２に入射される。図１では、実際に設けられる光学系のうち、本発明の説明に必要なフォーカスレンズ１のみを図示している。フォーカスレンズ１は、光軸方向に進退させることによって被写体像の焦点調整を行うことができる。フォーカスレンズ１はモータなどのレンズ駆動手段４によって駆動される。このレンズ駆動手段４は、信号処理回路１０内のシステムコントローラ１８によって駆動量が制御される。

被写体光がＣＣＤ２に入射されることによりその撮像面に結像された光学像を画素（受光部）毎に電気信号に光電変換して、画素毎のアナログの信号電荷（撮像データ）としてＣＣＤ２から順次出力する。

ＣＣＤ２から出力された撮像データは、ＣＤＳ／ＡＧＣ／ＡＤＣ回路３によって、ノイズ成分の除去、ゲインの付加、およびアナログ信号からデジタル信号へのデータ変換が行われる。

ＣＣＤ２およびＣＤＳ／ＡＧＣ／ＡＤＣ回路３は、ＴＧ５により駆動タイミングが制御されている。ＴＧ５はシステムコントローラ１８によりタイミング制御されている。

ＣＤＳ／ＡＧＣ／ＡＤＣ回路３から出力されるデジタル化された画像データ信号は、信号処理回路１０に入力される。この時点では、各画素にＲＧＢいずれか１成分の信号しか含まれていない。

このため、信号処理回路１０では、まず、撮像信号補間回路１１によって他の色成分の信号がその周囲画素の撮像信号から生成される。次に、ホワイトバランス・ガンマ補正回路１２によって、ホワイトバランスを合わせるためのゲイン調整およびガンマ補正が行われる。続いて、輝度・色差信号生成回路１３によって、ＲＧＢ信号から輝度・色差信号に変換する。さらに、ここで輝度信号に対して輪郭強調などの各種処理が加えられる。

この輝度・色差信号は、ビデオエンコーダ回路１５によってＬＣＤ２３に表示可能な形式にデータ変換され、ＬＣＤＣ２２を介してＬＣＤ２３に表示される。

さらに、静止画が撮影された場合、輝度・色差信号は、画像圧縮処理回路１４によってＪＰＥＧ圧縮処理が行われ、ＪＰＥＧ圧縮データが記録メディア２１に保存される。

一方、ＡＦ／ＡＥ評価値演算回路１６では、輝度・色差信号生成回路１３からの輝度信号中の所定領域の高周波成分またはエッジ成分からＡＦ評価値を算出する。また、ＡＦ／ＡＥ評価値演算回路１６では、輝度・色差信号生成回路１３からの輝度信号中の所定領域の輝度値からＡＥ評価値を算出する。

システムコントローラ１８は、シャッタによる撮影指令時などに、レンズ駆動手段４（モータ）を制御して、これらのＡＦ評価値およびＡＥ評価値を用いてフォーカスレンズ１を出退移動させて合焦位置を検出し、検出された合焦位置にフォーカスレンズ１を停止させて合焦動作（オートフォーカス動作）を行う。

さらに、被写体探索回路１７では、前回の合焦動作で得た合焦直後の映像信号領域中のＡＦ対象領域内の所定領域（ここに被写体像がある）を、現在の映像信号領域中の探索領域内で探索する。その探索結果が所定量以上に変化した場合に、被写体までの距離が、合焦動作が必要な距離に変わったものと判断して、システムコントローラ１８に合焦動作を再起動するための再起動指令信号を出力する。これを受けて、システムコントローラ１８がレンズ駆動手段４（モータ）を制御して合焦動作（オートフォーカス動作）を行う。

図２および図３は、映像信号領域におけるＡＦ対象領域内の所定領域と探索領域を説明するための画面図である。

図２に示すように、画面表示領域に対応した映像信号領域Ｃの中央位置に探索領域Ｂが設けられている。この探索領域Ｂは、その中央位置に、ＡＦ対象領域内の所定領域Ａ（ここに被写体像がある）を含み、ＡＦ対象領域内の所定領域Ａよりも広い領域とする。被写体像がある所定領域Ａは、ＡＦ対象領域と同じでも良いが、演算量を少なくするために、ここではＡＦ対象領域よりも狭い領域としている。

以下に、図３を用いて被写体探索回路１７によるＡＦ対象領域内の所定領域Ａ（ここに被写体像がある）の探索方法の一例について説明する。

図３に示すように、ＡＦ対象領域内の所定領域Ａの大きさをＭ画素×Ｎライン、探索領域の大きさをＨ画素×Ｖライン（Ｈ＞Ｍ、Ｖ＞Ｎ）とする。また、探索領域Ｂ内で、左上隅を１画素および１ラインずつ順次ずらしたＭ画素×Ｎラインの領域をＳ_Ｘ，Ｙ（１≦Ｘ≦Ｈ−Ｍ＋１，１≦Ｙ≦Ｖ−Ｎ＋１）とする。被写体探索回路１７によって、ＡＦ対象領域内の所定領域Ａと、探索領域Ｂ内の各領域Ｓ_Ｘ，Ｙとについて、類似度Ｅ_Ｘ，Ｙを求める。なお、ＡＦ対象領域内の所定領域Ａと、探索領域Ｂ内の各領域Ｓ_Ｘ，Ｙとは同じ大きさである。

類似度Ｅ_Ｘ，Ｙは、例えば下記式（１）
によって算出することができる。ただし、上記式において、Ａ（ｉ，ｊ）は領域Ａの輝度値、Ｓ_Ｘ，Ｙ（ｉ，ｊ）は領域Ｓの輝度値とする。また、類似度Ｅ_Ｘ，Ｙは、下記式（２）
によっても算出することができる。２乗を取る方が差が大きく出てくる。

さらに、明るさの変化による類似度Ｅ_Ｘ，Ｙへの影響を軽減するために、領域Ｓ_Ｘ，Ｙと領域Ａのエッジ量あるいはその２値化信号に対して上記算出式を適用してもよい。この場合、エッジ量については、隣接する画素と比べて差が所定の閾値よりも大きいところはエッジがあるものとし、エッジがあれば「１」とし、なければ「０」とする。輝度階調が例えば８ビットで２５６階調の場合には、所定の閾値２０〜３０以上あればエッジあるものとする。また、この２値化信号について説明する。輝度階調が例えば８ビットで２５６階調で、その中間の１２８階調よりも大きければ「１」とし、それよりも小さければ「０」として２値化信号化することができる。

また、計算量を減らすために、Ｍ画素×Ｎラインの全画素ではなく、所定画素を対象としてＥ_Ｘ，Ｙを算出してもよい。さらに、領域Ｓ_Ｘ，Ｙを数（Ｅ）画素および数（Ｆ）ラインずつ順次ずらす構成としてもよい。これらのＥおよびＦは自然数である。

ここで、Ａ（ｉ，ｊ）とＳ_Ｘ，Ｙ（ｉ，ｊ）の差が小さいということは、両者が類似しているということを示している。即ち、上記算出方法では、類似度Ｅ_Ｘ，Ｙの値が小さいほど、ＡＦ対象領域内の所定領域Ａと、探索領域Ｂ内の各領域Ｓ_Ｘ，Ｙとの類似度が高くなる。そこで、被写体探索回路１７によって、類似度Ｅ_Ｘ，Ｙの最小値Ｅｍｉｎを求める。被写体がある所定領域Ａ（ｉ，ｊ）の位置がそのＡＦ対象領域内の中央位置から類似度Ｅ_Ｘ，Ｙの最小値Ｅｍｉｎの位置に移動（動きベクトル）したものと考えることができる。この類似度Ｅ_Ｘ，Ｙの最小値Ｅｍｉｎが所定の閾値Ｅｔｈｒｅｓｈ以上の場合に、被写体がある所定領域Ａ（ｉ，ｊ）が探索領域外に移動したかまたは、被写体までの距離が所定量を超えて変化（動きベクトル）したものと判断することができる。この場合に、合焦動作が必要な程、被写体が変化したと判断して、被写体探索回路１７からシステムコントローラ１８に合焦再起動指令信号を出力して、システムコントローラ１８、ＡＦ／ＡＥ評価値演算回路１６およびレンズ駆動手段４による合焦動作（オートフォーカス動作）を再起動させる。この所定の閾値Ｅｔｈｒｅｓｈは、実際に再起動が良好に動作する値（実験値など）とする。

また、その類似度Ｅ_Ｘ，Ｙの最小値Ｅｍｉｎが所定の閾値Ｅｔｈｒｅｓｈ未満の場合には、被写体が探索領域内にあるかまたは、被写体までの距離が所定量以下の変化しかないものと判断することができる。この場合には、合焦動作が必要な程、被写体が変化していないと判断して、合焦動作を再起動させない。即ち、被写体探索回路１７からシステムコントローラ１８に合焦再起動指令信号を出力しない。以上の演算量は、フレームレート（１／１０〜１／３０秒）で実行可能なように設定する。

さらに、被写体探索回路１７において、合焦動作を再起動させない場合には、探索領域内で類似度Ｅ_Ｘ，Ｙが最小値Ｅｍｉｎとなった位置と、探索領域内の領域Ａに相当する位置との距離をＤとして、その距離Ｄが所定の閾値Ｄｔｈｒｅｓｈ１以上閾値Ｄｔｈｒｅｓｈ２以下であれば、手ぶれと判断して、手ぶれ補正を行う。なお、手ぶれ補正方法については、従来から知られている一般的な方法を用いることが可能であり、ここではその内容は言及しない。この探索領域Ｂは、演算量を考えると、できるだけ小さい範囲がよいが、手ぶれが起こる範囲以上とすることもできる。

次に、本実施形態の撮像装置における被写体探索回路１７による合焦動作再起動の判定処理（合焦動作制御方法）について、図４を用いて説明する。

図４は、図１のデジタルスチルカメラ１００を構成する被写体探索回路１７による合焦動作再起動判定処理の処理手順の一例を説明するためのフローチャートである。

図４に示すように、まず、デジタルスチルカメラの電源投入後、静止画または動画撮影モードに設定され、ＡＦ方式としてＣＡＦが設定されると、ステップＳ１で、システムコントローラ１８によって通常の合焦動作が行われる。ここでは、まず、システムコントローラ１８がレンズ駆動手段４（モータ）を制御して、フォーカスレンズ１を無限遠位置または至近位置まで移動し、ＡＦ／ＡＥ評価値演算回路１６によってＡＦ評価値が取得される。

さらに、システムコントローラ１８がレンズ駆動手段４（モータ）を制御して、フォーカスレンズ１を、極大値または最大値を示すＡＦ評価値取得位置に移動させる。この動作は、ＡＦ評価値の極大値が検出されるまで繰り返されるか、または、フォーカスレンズ１が無限遠位置から開始した場合には至近位置に到達するまで、もしくは至近位置から開始した場合には無限遠位置に到達するまで繰り返される。フォーカスレンズ１が、ＡＦ評価値の極大値または最大値が検出された位置に移動されて、合焦動作が終了する。

次に、ステップＳ２で、ＡＦ対象領域内の所定領域Ａにおける輝度信号データが輝度・色差信号生成回路１３から被写体探索回路１７に格納される。

ステップＳ３で、通常の合焦動作完了後、信号処理回路１０がＣＣＤ２から画像データを取得する毎に、被写体探索回路１７によって、ＡＦ対象領域の所定領域を含む探索領域の輝度信号データを取得する。なお、ステップＳ２およびステップＳ３において、明るさの変化による類似度Ｅ_Ｘ，Ｙへの影響を軽減するために、領域Ｓ_Ｘ，Ｙと領域Ａのエッジ量を算出し、その２値化信号を求めてもよい。

ステップＳ４で、被写体探索回路１７によって、上記式（１）または式（２）を用いて、ＡＦ対象領域内の所定領域Ａと探索領域Ｂ内の各領域Ｓ_Ｘ，Ｙとについて、類似度Ｅ_Ｘ，Ｙを算出する。

ステップＳ５で、類似度Ｅ_Ｘ，Ｙの最小値Ｅｍｉｎが算出されると共に、探索領域内で類似度Ｅ_Ｘ，Ｙが最小値Ｅｍｉｎとなった位置と探索領域Ｂ内の所定領域Ａの位置との距離Ｄを示す被写体移動量を算出する。

ステップＳ６で、類似度Ｅ_Ｘ，Ｙの最小値Ｅｍｉｎがその閾値Ｅｔｈｒｅｓｈ以上であるかどうかを判定する。ステップＳ６で類似度Ｅ_Ｘ，Ｙの最小値Ｅｍｉｎが所定の閾値Ｅｔｈｒｅｓｈ以上の場合（”Ｙｅｓ”）には、被写体までの距離が変化したと判定して、ステップＳ１の処理に戻って合焦動作を再起動する。また、ステップＳ６で類似度Ｅ_Ｘ，Ｙの最小値Ｅｍｉｎが所定の閾値Ｅｔｈｒｅｓｈ未満の場合（”Ｎｏ”）、即ち、ステップＳ６で合焦動作が再起動されない場合には、次のステップＳ７の判定処理に移行する。

ステップＳ７で、探索領域Ｂ内で類似度Ｅ_Ｘ，Ｙが最小値Ｅｍｉｎとなった位置と探索領域内の領域Ａに相当する位置との距離Ｄを示す被写体移動量が、所定の閾値Ｄｔｈｒｅｓｈ１以上Ｄｔｈｒｅｓｈ２以下の範囲内かどうかを判定する。ステップＳ７で被写体移動量Ｄが、所定の閾値Ｄｔｈｒｅｓｈ１以上Ｄｔｈｒｅｓｈ２以下の範囲内の場合（”Ｙｅｓ”）には、手ぶれと判断して、次のステップＳ８の手ぶれ補正処理が行われる。その範囲外の場合（”Ｎｏ”）には、ステップＳ３の処理に戻って、被写体探索回路１７によって、ＡＦ対象領域の所定領域Ａを含む探索領域Ｂの輝度信号データを取得する。以降、ステップＳ４〜Ｓ８の各処理が順次行われる。

ステップＳ９で、手ぶれ補正処理後、終了指令の有無を判定し、終了指令がない場合（”Ｎｏ”）には、ステップＳ３の処理に戻って、被写体探索回路１７によって、ＡＦ対象領域の所定領域を含む探索領域の輝度信号データを取得する。以降、ステップＳ４〜Ｓ８の各処理が繰り返される。また、終了指令があった場合（”Ｙｅｓ”）には、合焦動作の再起動判定処理を終了する。

なお、上記合焦動作の再起動判定処理手順は、一例を示したものであり、上記手順に限定されるものではない。また、合焦動作に関しても、初回は精度を向上させるためにフォーカスレンズ１の稼動範囲を所定のステップ幅で全てサーチし、再起動時は所要時間を短縮化するために、前回の合焦動作における合焦位置の所定の近辺範囲をサーチするようにしてもよい。

以上により、本実施形態の撮像装置を用いたデジタルスチルカメラ１００にあっては、結像面に結像される光学像を画素毎に画像データに変換するＣＣＤ２と、光学像の焦点調整を行うためにフォーカスレンズ１を移動させて合焦位置を検出し、検出された合焦位置にフォーカスレンズを停止させる合焦動作を行う合焦手段（ＡＦ／ＡＥ評価値演算回路１６、システムコントローラ１８およびレンズ駆動手段４）と、前回の合焦動作による合焦直後の映像信号領域におけるオートフォーカス対象領域内の所定領域を、現在の映像信号領域における所定領域内で探索し、オートフォーカス対象領域内の所定領域に相当する領域が検出されなかった場合に、被写体が変化したと判定して、合焦手段による合焦動作を再起動させる被写体探索手段１７を備えている。

これによって、合焦直後からの被写体までの距離の変化に基づいて合焦動作再起動の判定を行うため、無駄な合焦動作を起動する必要がなく、消費電流を削減して、電池寿命が長い撮像装置を用いたデジタルスチルカメラ１００を得ることができる。このように、無駄な合焦動作を起動しないため、合焦動作の間でぼけた映像が撮影されるのを防ぐことができる。さらに、明るさによって変動する類似度への影響をも軽減することができるため、合焦動作起動の誤判定を防ぐことができる。

なお、上記実施形態では、システムコントローラ１８は、制御プログラムに従って各種演算処理を行う制御部としてのＣＰＵ（中央演算処理装置）と、この制御プログラムを格納するためのＲＯＭや、制御プログラムおよび各処理過程のデータなどを格納するためのワークメモリとして働くＲＡＭなどによってソフトウェア構成とし、被写体探索回路１７はハードウェアで構成したが、これに限らず、被写体探索回路１７およびシステムコントローラ１８を、制御プログラムに従って各種演算処理を行う制御部としてのＣＰＵ（中央演算処理装置）と、この制御プログラムを格納するためのＲＯＭや制御プログラムおよび各処理過程のデータなどを格納するためのワークメモリとして働くＲＡＭなどによってソフトウェア構成とすることもできる。さらに、これにＡＦ／ＡＥ評価値演算回路１６を加えてソフトウェア構成とすることもできる。

以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。

本発明は、被写体を撮像する際のオートフォーカス機能を有する撮像装置、この撮像装置を用いた合焦動作制御方法および、この撮像装置を用いたデジタルスチルカメラなどのデジタルビデオカメラやカメラ付き携帯電話装置などの電子情報機器の分野において、合焦直後からの被写体の変化（移動変化）に基づいて合焦動作再起動の判定を行うため、無駄な合焦動作を起動する必要がなく、消費電流を削減し、電池寿命が長い撮像装置を得ることができる。また、無駄な合焦動作を起動しないため、合焦動作の間に生じるぼけた映像の撮影および表示を防ぐことができる。さらに、明るさによって変動する類似度への影響を軽減することができるため、合焦動作起動の誤判定を防ぐことできる。

本発明の実施形態に係る撮像装置を用いたデジタルスチルカメラの要部構成例を示すブロック図である。 図１のデジタルスチルカメラで用いる映像信号領域におけるＡＦ対象領域内の所定領域と探索領域を示す図である。 図１のデジタルスチルカメラを構成する被写体探索回路によるＡＦ対象領域内の所定領域の探索方法の一例を説明するための図である。 図１のデジタルスチルカメラを構成する被写体探索回路による合焦動作再起動判定処理の処理手順の一例を説明するためのフローチャートである。

符号の説明

１ フォーカスレンズ
２ ＣＣＤ（撮像手段；撮像素子）
３ ＣＤＳ／ＡＧＣ／ＡＤＣ回路
４ 駆動手段
５ タイミング信号発生器（ＴＧ）
１０ 信号処理回路
１１ 撮像信号補間回路
１２ ホワイトバランス・ガンマ補正回路
１３ 輝度・色差信号生成回路
１４ 画像圧縮処理回路
１５ ビデオエンコーダ
１６ ＡＦ／ＡＥ評価値演算回路
１７ 被写体探索回路
１８ システムコントローラ
２１ 記録メディア
２２ ＬＣＤコントローラ（ＬＣＤＣ）
２３ 液晶画面（ＬＣＤ）
１００ デジタルスチルカメラ

Claims (16)

1. 結像面に結像される光学像を画素毎に画像データに変換する撮像手段と、
   該光学像の該結像面への焦点調整を行うためにフォーカスレンズを光軸方向に移動させて合焦位置を検出し、検出された合焦位置にフォーカスレンズを位置させる合焦手段と、
   直近の合焦動作で焦点を合わせて得た映像信号領域上の被写体の画像領域が、現在の映像信号領域の所定の探索領域内で所定の閾値を基準にして変化したかどうかを探索し、該被写体画像領域が変化した場合にのみ、該合焦手段を再起動させる被写体探索手段とを有する撮像装置。
2. 前記被写体探索手段は、前記合焦手段による直近の合焦動作後の前記映像信号領域におけるオートフォーカス対象領域内の所定領域を、現在の映像信号領域上の、該所定領域よりも広い所定の探索領域内で探索して、該所定領域に相当する領域が前記所定の閾値を基準にして検出されなかった場合に、前記被写体画像領域が変化したと判定して、該合焦手段による合焦動作を再起動させるようにした請求項１に記載の撮像装置。
3. 前記被写体画像領域の変化は、前記直近の合焦動作時と前記現在で前記被写体までの距離が、前記合焦動作が必要な距離だけ変わったかどうかを、前記所定の閾値を基準にして判定される請求項１または２に記載の撮像装置。
4. 前記被写体探索手段は、前記所定領域の大きさをＭ画素×Ｎライン、前記探索領域の大きさをＨ画素×Ｖライン（Ｈ＞Ｍ、Ｖ＞Ｎ；Ｈ，Ｍ，Ｖ，Ｎは自然数）とし、該探索領域内で左上隅からＥ画素およびＦライン（ＥおよびＦはそれぞれ自然数）ずつ順次ずらしたＭ画素×Ｎラインの領域をＳ_Ｘ，Ｙ（１≦Ｘ≦Ｈ−Ｍ＋１、１≦Ｙ≦Ｖ−Ｎ＋１）として、該所定領域と該探索領域内の各領域Ｓ_Ｘ，Ｙとの類似度Ｅ_Ｘ，Ｙを求め、該類似度Ｅ_Ｘ，Ｙに基づいて、前記被写体画像領域が変化したかどうかを判定する請求項２に記載の撮像装置。
5. 前記被写体画像領域が変化したかどうかを判定する際に、前記類似度Ｅ_Ｘ，Ｙの最小値が前記所定の閾値以上の場合に、該被写体画像領域が変化したと判断し、該類似度Ｅ_Ｘ，Ｙの最小値が該所定の閾値未満の場合に、該被写体画像領域が変化していないと判断する請求項４に記載の撮像装置。
6. 前記被写体探索手段は、前記所定領域と前記探索領域内の各領域Ｓ_Ｘ，Ｙとの類似度Ｅ_Ｘ，Ｙを、下記算出式
   （但し、Ａ（ｉ，ｊ）は所定領域Ａの輝度値、Ｓ_Ｘ，Ｙ（ｉ，ｊ）は領域Ｓの輝度値とする）
   によって演算する請求項４または５に記載の撮像装置。
7. 前記被写体探索手段は、前記所定領域と前記探索領域内の各領域Ｓ_Ｘ，Ｙとの類似度Ｅ_Ｘ，Ｙを、下記算出式
   （但し、Ａ（ｉ，ｊ）は所定領域Ａの輝度値、Ｓ_Ｘ，Ｙ（ｉ，ｊ）は領域Ｓの輝度値とする）
   によって演算する請求項４または５に記載の撮像装置。
8. 前記被写体探索手段は、前記所定領域Ａと前記探索領域内の各領域Ｓ_Ｘ，Ｙとの類似度Ｅ_Ｘ，Ｙを、該領域Ｓ_Ｘ，Ｙと該所定領域Ａにおけるエッジ量または２値化信号に対して前記算出式を適用して演算処理する請求項６または７に記載の撮像装置。
9. 前記エッジ量は、画像データがこれに隣接画素の画像データに比べてその輝度差が所定の閾値よりも大きい画素ではエッジがあるものとして画像データを「１」とし、該所定の閾値よりも小さい画素ではエッジがないものとして画像データを「０」とする請求項８に記載の撮像装置。
10. 前記２値化信号は、画素毎の画像データが、複数の輝度階調のうちの基準となる所定輝度階調よりも大きければ「１」とし、該所定輝度階調よりも小さければ「０」として２値化した信号である請求項８に記載の撮像装置。
11. 前記被写体探索手段は、前記類似度Ｅ_Ｘ，Ｙを、前記Ｍ画素×Ｎラインのうち、該Ｍ画素×Ｎ個よりも少ない一または複数の特定画素の輝度値を用いて求める請求項４に記載の撮像装置。
12. 前記被写体探索手段は手ぶれ検出手段を併用する請求項１または２に記載の撮像装置。
13. 前記被写体探索手段は、前記被写体画像領域が変化していないと判断した場合に、前記探索領域内で前記類似度Ｅ_Ｘ，Ｙが最小値となった位置と前記所定領域の位置との距離をＤとして、該距離Ｄが所定の閾値Ｄｔｈｒｅｓｈ１以上Ｄｔｈｒｅｓｈ２以下であれば、手ぶれと判断する請求項５または１２に記載の撮像装置。
14. 前記合焦手段は、フォーカスレンズを無限遠位置から至近位置または該至近位置から該無限遠位置までレンズ光軸方向に移動させながら、前記画像データの輝度信号中の高周波成分またはエッジ成分からオートフォーカス評価値を算出し、該オートフォーカス評価値が極大値または最大値となった位置を合焦位置として検出する請求項１に記載の撮像装置。
15. 請求項１〜１４のいずれかに記載の撮像装置を用いて、前記被写体探索手段によって、
    前回の合焦動作直後の前記所定領域を、現在の所定の探索領域内で探索するステップと、
    探索結果、該所定領域に相当する領域が検出されなかった場合に、前記被写体画像領域が変化したと判定して、該合焦動作を再起動させ、該所定領域に相当する領域が検出された場合には、該合焦動作を再起動させないように制御するステップとを有する合焦動作制御方法。
16. 請求項１〜１４のいずれかに記載の撮像装置を用いて得た画像データを画像圧縮処理して記録する記録メディアと、該画像データを表示画面上に表示する表示手段と、該画像データを送信する通信手段とのうち少なくともいずれかを有する電子情報機器。