JP2009246699A - 撮像装置 - Google Patents

Abstract

【課題】本発明は、表示画面内で追尾領域をより安定させることができる撮像装置を提供することを目的とする。
【解決手段】デジタルカメラ１は、被写体像を撮像して、動画像の一部となる画像データを生成するＣＣＤイメージセンサー１２と、自装置の振動を検出するぶれ検出器３０と、被写体像の動きに基づいて画像データ内の一部に設定された追尾領域５０を移動させる追尾領域移動手段と、追尾領域５０の移動を行なうように追尾領域移動手段を制御する通常モードと、追尾領域の移動を停止するように追尾領域移動手段を制御する停止モードとを、被写体像の動き、および、ぶれ検出器３０検出された振動の大きさに基づいて切り替えるモード切替手段と、を備える。
【選択図】図１９

Description

本発明は、被写体に対する追尾機能を備える撮像装置に関する。例えば、追尾機能を備えるデジタルカメラ、ビデオカメラなどに適用可能である。

従来の撮像装置としては、下記の特許文献１に記載されるようなものが存在する。

この撮像装置は、環境変化に関わらず精度の高い追尾動作を行なうことを目的としたものである。この撮像装置は、追尾対象となる被写体（追尾対象被写体）の特徴を記憶する記憶手段と、追尾対象被写体の移動を判定する判定手段と、前記判定手段が連続した所定回数の追尾対象被写体の停止を判定するとき、その判定結果に応じて記憶手段の記憶内容を更新する手段と、を備えるものである。
特開昭６１−９０８４号公報

ところで、撮像装置に設けられる撮像素子は、電子部品であるため、出力である画像データにノイズがのってしまう。このため、撮像素子によって取得された画像データは、複数フレーム間で、微妙に変化する。これは、画像データにのるノイズによって、画像データの出力に誤差が発生するからである。この誤差は一定ではなく、不定である。

このような場合、撮像装置が被写体に対して追尾動作を行なうと、被写体像に設定された追尾領域が、画像データ内の特徴の変化によって、移動される。したがって、追尾領域は、同じような箇所を頻繁に移動することになり、追尾領域が安定しない。これによって、液晶モニタ等の表示手段に追尾領域をそのまま表示させると、追尾領域が見づらいものとなってしまう（図１）。実際、被写体が動いていない、また、カメラを固定しているのにもかかわらず、追尾領域が移動してしまうといったことが問題となっている。

そこで本発明は、上記課題を解決するため、表示画面内で追尾領域を、より安定させることができる撮像装置を提供することを目的とする。

すなわち、本発明の撮像装置は、被写体像を撮像して、動画像の一部となる画像データを生成する撮像手段と、自装置の振動を検出する振動検出手段と、前記被写体像の動きに基づいて前記画像データ内の一部に設定された追尾領域を移動させる追尾領域移動手段と、前記追尾領域の移動を行なうように前記追尾領域移動手段を制御する通常モードと、前記追尾領域の移動を停止するように前記追尾領域移動手段を制御する停止モードとを、前記被写体像の動きおよび前記検出された振動の大きさに基づいて切り替えるモード切替手段と、を備える。

このようにすれば、前記被写体像の動きおよび前記検出された振動の大きさに基づいて切り替わる停止モードを設けることができ、これによって、停止モードにおいては、追尾領域移動手段による追尾領域の移動を停止させることができる。

また、好ましくは、前記モード切替手段は、動画像中の複数の画像データにおいて、前記被写体像の動きが、被写体が動いていない領域に含まれると判断した場合であって、前記検出された振動の大きさが、自装置が振動していない領域に含まれると判断した場合に、前記通常モードから前記停止モードに切り替える。

本発明は、停止モードにおいて、追尾領域の移動を停止させるようにしたので、表示画面内で追尾領域をより安定させることができる。

（実施の形態１）
１．構成
以下、本発明の一実施の形態について、図面を参照して説明する。

１−１ 全体構成の概要
図２は、本実施の形態に係るデジタルカメラ１の斜視図である。図３は、本実施の形態に係るデジタルカメラ１の構成を示すブロック図である。以下、具体的に構成を説明する。

光学系１１は、被写体からの光学信号を集光してＣＣＤイメージセンサー１２上に被写体像を形成する。光学系１１は、対物レンズ１１１とズームレンズ１１２とフォーカスレンズ１１３と絞り／シャッタ１１４とを含む。

ズームレンズ１１２は、ズーム駆動部１１５によって駆動され、被写体像の写る範囲（画角）を調整する。フォーカスレンズ１１３は、フォーカス駆動部１１６によって駆動され、ピントの調節を行なう。ズーム駆動部１１５は、ズームレンズ１１２を移動するためのカム機構やカム機構を駆動するためのアクチュエータなどを備えて構成され、コントローラ１７からの制御に応じて、ズームレンズ１１２を駆動させる。フォーカス駆動部１１６は、フォーカスレンズ１１３を移動するためのカム機構やカム機構を駆動するためのアクチュエータなどを備えて構成され、コントローラ１７からの制御に応じて、フォーカスレンズ１１３を駆動させる。

また、絞り／シャッタ１１４は、絞りとシャッタを兼用した部材である。絞り／シャッタ１１４は、絞り／シャッタ駆動部１１７によって駆動される。絞りは、５枚の羽根によって構成され、光学系１１を通る光の量を調整するものである。また、シャッタは、開けたり閉じられたりして、ＣＣＤイメージセンサー１２に当たる光の量を時間的に調整するものである。絞り／シャッタ駆動部１１７は、カム機構やカム機構を駆動するためのアクチュエータなどを備えて構成され、コントローラ１７からの制御に応じて、絞り／シャッタを駆動する。

なお、本実施の形態では、絞りとシャッタを兼用した絞り／シャッタ１１４を備えるようにしたが、これに限られず、絞りとシャッタとを別々に設けるようにしても良い。この場合、例えば、シャッタは光学系内に設けず、絞りだけを光学系に設けるとよい。この際、シャッタは、光学系とＣＣＤイメージセンサーの間に設けるとよい。このようにすれば、シャッタを光学系と別の部材で設けたので、レンズ交換タイプのデジタルカメラにも適用できるようになる。

ＣＣＤイメージセンサー１２は、光学系１１によって形成された被写体像を撮像して画像データを生成する撮像手段である。ＣＣＤイメージセンサー１２は、タイミングジェネレータ１２１から供給されるパルス信号に基づいて、被写体像を撮像し、画像データを生成する。タイミングジェネレータ１２１は、ＬＳＩなどの集積回路によって構成され、ＣＣＤイメージセンサー１２にパルス信号を供給する。ここでタイミングジェネレータ１２１がＣＣＤイメージセンサー１２に供給するパルス信号は、例えば、1秒間に３０回のフレーム読み出しパルス信号を供給する。これによって、ＣＣＤイメージセンサー１２では、３０分の１秒ごとのフレームの画像データを取得できるようになる。

ＡＤコンバータ１３は、ＣＣＤイメージセンサー１２で生成された画像データをデジタルデータに変換する。

画像処理部１４は、デジタルデータに変換された画像データに対して所定の処理を施す。所定の処理としては、ガンマ変換、ＹＣ変換、電子ズーム処理、圧縮処理、伸張処理などが考えられるが、これに限定されるものではない。

バッファメモリ１５は、画像処理部１４で画像処理を行う際、および、コントローラ１７で制御処理を行う際に、ワークメモリとして作用する。バッファメモリ１５は、例えば、DRAMなどで実現可能である。

フラッシュメモリ１６は、内蔵メモリとして用いられる。フラッシュメモリ１６は、画像データが画像処理された画像データの他に、コントローラ１７の制御のためのプログラムや設定値などを記憶可能である。

コントローラ１７は、デジタルカメラ１全体を制御するための制御手段である。コントローラ１７は、マイクロコンピュータで実現してもよく、ハードワイヤードな回路で実現しても良い。要するに、本発明の制御手段は、自装置を制御できるものであればよい。なお、コントローラ１７の各種制御については、後述する。

ぶれ検出器３０は、ジャイロセンサーなどで構成されるものであり、自装置の振動を検出する振動検出手段である。ぶれ検出器３０は、デジタルカメラ１の水平軸を中心とした上下方向の回転振動を検知する第１のジャイロセンサーと、デジタルカメラ１の鉛直軸を中心とした左右方向の回転振動を検知する第２のジャイロセンサーとを備える。そして、ぶれ検出器３０は、自装置の振動を検知して、振動量に対応するアナログ信号をコントローラ１７に出力する。この際、ぶれ検出器３０から出力されたアナログ信号（電圧値）は、ＡＤ変換手段によってデジタル信号に変換され、コントローラ１７に入力される。ここで本実施の形態の振動量は、デジタルカメラ１の振幅の大きさに対応させたものである。そのため、電圧値の大きさは、振幅の大きさに対応するように構成されている。本実施の形態では、振幅のピークとピークの差の大きさを出力するようにしている。例えば、出力値としては、２８０ｍＶ（pk-pk）や、１３０ｍＶ（pk-pk）などが出力される。

カードスロット１８は、メモリカード１９を着脱するためのスロットである。カードスロット１８は、メモリカード１９を制御する機能を有するようにしてもよい。メモリカード１９は、フラッシュメモリなどを内蔵する。メモリカード１９は、画像処理部１４によって画像処理された画像データを格納可能である。

タッチパネル２０は、液晶モニタと、マトリクススイッチを組み合わせて構成される。この液晶モニタは、画像データおよびデジタルカメラ１の各種設定等を表示する表示手段である。本発明の表示手段としては、液晶モニタに替えて、有機ELディスプレイなどを用いることもできる。また、このマトリクススイッチは、表示手段に表示された表示画像に、使用者がタッチ操作を行なった場合、タッチ操作に対応する位置の情報（操作信号）をコントローラ１７に出力するタッチセンサである。なおタッチセンサは、マトリクススイッチに替わる方式として、抵抗膜を設ける抵抗膜方式や圧電素子を取り付けたガラス板を設ける表面弾性波方式を取ることができる。なお、本実施の形態では、タッチパネル２０を備えるようにしたが、これに限られず、液晶モニタだけで構成するようにしてもよい。この場合、使用者が操作部を操作することによって、デジタルカメラに対する各種操作を受け付ける。

操作部２１は、デジタルカメラ１の外装に取り付けられた操作部材の総称である。操作部２１としては、十字キーや押下釦等が考えられる。本実施の形態では、操作部の一つの押下釦として、シャッタスイッチ２１１がある。シャッタスイッチ２１１は、デジタルカメラ１の上面に設けられるものであり、使用者からの半押しおよび全押しを検知できるようにしたものである。使用者によって半押し又は全押し操作が行なわれると、シャッタスイッチ２１１は操作に応じた操作信号をコントローラ１７に出力する。また本実施の形態では、操作部２１の一つの部材としてズームリング２１２が備えられている。ズームリング２１２は、使用者からの操作に応じて、デジタルカメラ１の焦点距離を変更するものである。ズームリング２１２は、使用者に操作されると、操作信号をコントローラ１７に出力する。これによって、コントローラ１７は、ズームレンズ１１２に対して焦点距離を変更するための制御信号を送ることができる。

１−２ 本実施の形態におけるコントローラ１７の制御の説明
本実施の形態におけるコントローラ１７は、追尾制御と、合焦制御と、モード切替処理とを行なう。すなわち、実施の形態１においてコントローラ１７は、追尾領域移動手段であり、合焦手段であり、モード切替手段である。

追尾領域移動手段を実現するコントローラ１７は、追尾動作として、ＣＣＤイメージセンサー１２で撮像している被写体像の動き、及び、ぶれ検出器３０によって入力された振動量に基づいて、画像データに設定された追尾領域を移動するものである。

合焦手段を実現するコントローラ１７は、ＣＣＤイメージセンサー１２によって生成された画像データが示す画像内の追尾領域５０内の画像データに基づいて、ＣＣＤイメージセンサー１２で撮像している被写体像の合焦状態を継続的に維持するように光学系１１を制御するものである。

モード切替手段を実現するコントローラ１７は、通常モードと停止モードを、被写体像の動きおよびぶれ検出器で検出された振動の大きさに基づいて切り替えるものである。

ここで通常モードは、追尾領域移動手段による追尾領域の移動を行なわせるように、追尾領域移動手段を制御するモードである。また、停止モードは、追尾領域移動手段による追尾領域の移動を停止させるように追尾領域移動手段を制御するモードである。

なお、通常モードにおけるコントローラ１７は、動画像中の複数の画像データにおいて、被写体像の動きが、被写体が動いていない領域に含まれると判断した場合であって、ぶれ検出器で検出された振動の大きさが、自装置が振動していない領域に含まれると判断した場合、通常モードから停止モードに切り替える。

一方、停止モードにおけるコントローラ１７は、動画像中の複数の画像データにおいて、被写体像の動きが、被写体が動いている領域に含まれると判断した場合、または、ぶれ検出器で検出された振動の大きさが、自装置が振動している領域に含まれると判断した場合、停止モードから通常モードに切り替える。

以下、具体的に制御を説明する。

１−２−１ 追尾制御
コントローラ１７は、画像データにおいて追尾領域５０が設定された被写体に対し、追尾動作を行なうものである。そしてコントローラ１７は、追尾動作を可能にするため、下記の処理を可能にする。すなわち、コントローラ１７は、追尾領域設定と、色記憶と、探索領域取得と、色情報探索と、動き量検出と、制限フィルタと、追尾領域移動の処理を可能にする。以下具体的に説明する。

追尾領域設定処理は、画像データ内に含まれる被写体像に追尾領域５０を設定するものである。したがって、コントローラ１７は、画像処理部１４から受け取った画像データを表示画面８０として液晶モニタに表示させる（図４）。そしてコントローラ１７は、使用者から表示画面８０がタッチ操作された場合、タッチ操作された位置に対応する画像データ内の被写体像に追尾領域５０を設定する。ここで表示画面８０がタッチ操作された場合、マトリクススイッチではタッチ操作された位置をコントローラ１７に出力する。そしてコントローラ１７は、タッチ操作された位置に対応する画像データ内の被写体に追尾領域５０を設定する。なお、コントローラ１７は、追尾領域が設定された画像データを表示画面８１として、液晶モニタに表示させる（図５）。

色記憶処理は、追尾領域５０内の画像データの色情報を記憶媒体に記憶するものである。ここで記憶媒体としては、バッファメモリ１５、フラッシュメモリ１６、メモリカード１９などが考えられるが、これに限れない。色記憶処理を実現するコントローラ１７は、追尾領域５０内の画像データを取得する（図６（Ａ））。そしてコントローラ１７は、追尾領域５０内の画像データの色情報を取得する。ここで色情報は、色相の色空間で表現する。すなわち、色相は、０〜３６０度の位相角として角度により表すことができる。ここで色空間がＨＳＶ色空間の場合、図７のように、Ｒ＝０／Ｇ＝１２０／Ｂ＝２４０の位置関係で表現できる。例えば、該当色が図７のように位置する場合、該当色の角度は、θとなる。これによって、例えば、図６（Ａ）の追尾領域５０内の画像データでは、図６（Ｂ）のヒストグラムで表現できる。ここでヒストグラムの横軸は、角度（度）を表しており、縦軸は、追尾領域内に存在する各色相の画素の数を表している。横軸は、Ｍｉｎが０度であり、Ｍａｘが３５９度である。このようにして取得された追尾領域５０の色情報をコントローラ１７は、バッファメモリ１５またはフラッシュメモリ１６、メモリカード１９などの記憶媒体に記憶する。好ましくは、追尾領域の色情報をデジタルカメラ１に内蔵された記憶媒体に記憶する。このようにすれば、追尾領域の色情報の読み出し時間を短くすることができる。なお、色相はスペクトル上での色の位置で表すことも可能である。この場合、光の波長を３００nm~７８０nmで表現することで可能となる。

探索領域取得処理は、追尾領域５０および追尾領域５０周辺の画像データを含む探索領域６０内の画像データを取得するものである。すなわち、コントローラ１７は、探索領域６０内の画像データを取得する。例えば、探索領域６０は、追尾領域５０の９倍（縦3倍・横3倍）の大きさで構成されている（図８）。

色情報探索処理は、探索領域６０内の画像データにおいて、追尾領域５０と同じ形状、同じ大きさで、かつ、記憶媒体に記憶された追尾領域５０の色情報と最も近似する領域７０を探索するものである。したがって、コントローラ１７は、記憶媒体に記憶された追尾領域５０の色情報を読み出す。そしてコントローラ１７は、読み出した追尾領域５０の色情報と、色情報が最も近似する領域７０を、探索領域６０内の画像データから探索する。

ここで最も近似する領域７０の探索方法は、探索するための領域（判別領域）を利用して、以下の方法で実現可能である。

まずコントローラ１７は、探索領域６０内の左端上端の判別領域（ａ）内における画像データを取得する（図９）。そしてコントローラ１７は、取得した画像データの色情報を解析する。ここで判別領域は、追尾領域５０と同じ形状で、同じの大きさである。判別領域（ａ）内の画像データの色情報を解析したコントローラ１７は、判別領域（ａ）内の色情報を、現在最も近似する領域の色情報として記憶媒体に記憶する。

次に、コントローラ１７は、判別領域を１画素右にずらし、判別領域（ｂ）内の色情報を取得する（図９）。そしてコントローラ１７は、判別領域（ｂ）内の色情報と、記憶された現在最も近似する領域の色情報（判別領域（ａ）内の色情報）と、を比較し、どちらが追尾領域５０内の色情報に近似するかを判別する。

ここで追尾領域５０内の色情報に近似すると判別された色情報が、判別領域（ｂ）内の色情報である場合、コントローラ１７は、判別領域（ｂ）内の色情報を、記憶媒体に記憶する。一方、追尾領域５０内の色情報に近似すると判別された色情報が、記憶された現在最も近似する領域（判別領域（ａ）内の色情報）である場合、判別領域を1画素右にずらし、次の領域の判別を行なう。これらの処理を繰り返すことによって、探索領域６０内の探索を行なう。なお、コントローラ１７は、判別領域が探索領域６０の右端上端に到達した場合、１画素下げて、左端からまた探索を行なう（図１０）。

これらの処理を繰り返すことによって、コントローラ１７は、探索領域６０全体を探索できる。したがって、コントローラ１７は、追尾領域５０の色情報に、最も近似する領域を探索できる。すなわち、探索終了時に、記憶媒体に記憶されている判別領域が、最も近似する領域７０となる。これによってコントローラ１７は、最も近似する領域７０を探索できる。

次に、コントローラ１７が、記憶された現在最も近似する色情報（例えば、判別領域（ａ）内の色情報）と、判別領域（ｂ）内の色情報とを比較し、どちらが追尾領域５０内の色情報に近似するかを判別する際の判別方法を説明する。判別方法は、色情報のヒストグラムに基づいて、抽出される曲線の近似度を求めることで、判別できる。すなわち、ある曲線と、他の曲線とのユークリッド距離（近似度）を測ることによって可能である。なお、ユークリッド距離ｄ（ｆ，ｇ）は、距離尺度であり、ベクトル量ｆとｇに対して、下記の数式１で算出できる。

したがって、コントローラ１７は、追尾領域５０内の色情報と判別領域（ａ）内の色情報とのユークリッド距離と、追尾領域５０内の色情報と対象領域（ｂ）内の色情報とのユークリッド距離を比較して、ユークリッド距離が小さい方を、現在最も近似する色情報として判別する。

なお、本実施の形態では、現在最も近似する領域として判別された判別領域内の色情報を記憶媒体に記憶するようにしているが、これに限られない。例えば、ユークリッド距離のような近似度を記憶媒体に記憶するようにしてもよい。このようにすれば、記憶された現在最も近似する領域の色情報と追尾領域の色情報とのユークリッド距離の算出をしなくてすむ。

また、判別領域内の色情報を現在最も近似する領域の色情報として記憶する際に、判別領域の位置情報を最も近似する領域の位置情報として記憶媒体に記憶するとよい。このようにすれば、コントローラ１７が探索領域内の探索を終了した時に、記憶媒体から情報を読み出すだけで、最も近似する領域の位置情報を取得できるようになる。ここで最も近似、する領域の位置情報として記憶する判別領域の位置情報は、判別領域の左端上端の位置情報を記憶しておくとよい。これによって、探索終了時に、記憶された現在最も近似する領域の位置情報が、追尾領域５０を移動するための移動位置となる（図１１）。すなわち、図１１の現在最も近似する領域が、探索領域内の最も近似する領域７０となる。

動き量検知処理は、撮像手段で撮像している被写体像の動きを検出するものである。したがって、コントローラ１７は、追尾領域５０が設定されている位置情報と、追尾領域５０を移動するための移動位置（最も近似する領域７０の位置情報）と、の関係を利用して、動き量を算出する。ここで動き量は、横方向と縦方向の画素の差分（画素数）で表現できる。例えば、図１２では、追尾領域５０の左端上端の位置情報（ｘ１，ｙ１）と、最も近似する領域７０の左端上端の位置情報（ｘ２，ｙ２）との関係によって、動き量は、（ｘ１−ｘ２，ｙ１−ｙ２）となる。ｘ１，ｘ２は、横方向の画素の位置を示しており、ｙ１，ｙ２は、縦方向の画素の位置を示している。この場合、画素の位置を説明するための基準点は、取得された画像データの左端下端で実現できる。すなわち、左端下端の画素は、位置情報（０，０）として設定される。また、この場合、右および上方向の画素がプラスの位置情報になるようにすればよい。なお、追尾領域移動手段が行う動き量検出は、上記実施の形態に限られず、被写体像の動きを検出できるものであればどのような方法であってもかまわない。

制限フィルタ処理は、ぶれ検出器３０で検出された振動の大きさに応じて、被写体像の動きの大きさに制限フィルタをかけるものである。すなわち、コントローラ１７は、ぶれ検出器３０から入力された振動量（左右方向・上下方向）に応じて、動き量検知処理で算出した動き量に制限フィルタをかける。ここで制限フィルタは、当該スレッシュよりも小さい前記被写体像の動きを制限するものである。したがって、当該被写体像の動きの大きさを０に変換する。これによって、被写体像の動きに制限をかけることができ、追尾領域が安定しないような状態では、追尾領域の移動を停止できる。

具体的に左右方向の振動量に応じて、動き量に制限フィルタをかける処理を説明する。まずコントローラ１７は、振動量（左右方向）に応じて、制限フィルタのスレッシュ（閾値）を決定する。制限フィルタのスレッシュは、計算式や対応表によって決定することができる。例えば、対応表としては、図１３に示すような対応表（左右方向・上下方向）を用いることができる。この場合、例えば、図１４のように振動量（左右方向）が２８０ｍＶである場合、スレッシュは、追尾領域の横方向の大きさの２０％となる。例えば、追尾領域のサイズが、縦２０画素×横２０画素である場合、４画素がスレッシュとなる。図１３の対応表において、対応表にない振動量（例えば３００ｍＶ）に関しては、線形補間によってスレッシュを求めるようにしている。

ここで図１３の対応表は、振動量が大きくなるほど、スレッシュが大きくなるように構成している。このようにすれば、デジタルカメラの振動に応じた、追尾領域の安定を行なうことができる。これは、デジタルカメラが振動していれば、画像データもそれに合わせて移動しているであろうとの考えに基づく。

但し、本発明は、これに限られない、例えば、撮像装置の振動が小さい環境の方が、追尾領域が見づらいものとなるため、撮像装置の振動が小さい状態では、追尾領域の移動を制御するように構成し、それ以外については、追尾領域の移動を制御しないように構成してもよい。

次にコントローラ１７は、この制限フィルタのスレッシュに基づいて、動き量に制限フィルタをかける。例えば、図１４の現在の２フレーム前において、スレッシュが、４画素で、動き量が、３画素である場合、スレッシュよりも、動き量の大きさが小さいため、動き量が０画素に変換される。これによって、追尾領域の動きが制限される。一方、スレッシュと動き量が同じ、又は、スレッシュよりも、動き量が大きい場合は、取得した動き量をそのまま動き量とする。例えば、図１４のように、スレッシュが、４画素で、動き量が、６画素である場合、スレッシュよりも、動き量の大きさが大きいため、動き量は６画素のままにしておく。なお、本実施の形態では、左右方向と上下方向とも振動量に対して同じ基準でスレッシュを決定しているが、これに限られない。

追尾領域移動処理は、制限フィルタ処理で決定された被写体像の動きの大きさに応じて、追尾領域５０を移動させるものである。すなわち、コントローラ１７は、追尾領域５０の位置情報と、変換後の動き量によって、追尾領域５１を移動する（図１５の表示画面８２）。

これらの手段によって、追尾制御を可能にしている。なお、追尾制御の動作は、後述する。

１−２−２ 合焦制御
コントローラ１７は、ＣＣＤイメージセンサー１２で撮像している追尾領域内の被写体像の合焦状態を調整するために、光学系１１を制御する。本実施の形態におけるコントローラ１７は、合焦状態を制御するため、以下の処理を行う。なお、コントローラ１７は、山登り方式（コントラスト方式）のオートフォーカス手段によって合焦状態を調整するものである。

コントローラ１７は、予め設定されたフォーカスレンズ１１３の稼動範囲で、フォーカスレンズ１１３を稼動させる。これに伴って、コントローラ１７は、画像処理部１４から画像データを連続的に取得する。そして、コントローラ１７は、画像処理部１４から連続的に入力された画像データ（追尾領域内）を解析する。この際、コントローラ１７は、入力された画像に対して、画像の境界の明瞭さや微細な部分の描写能力を表す度合いである鮮鋭度を算出する。そしてコントローラ１７は、連続的にされる画像の中から、最も鮮鋭度が最大となる画像を選択する。次に、コントローラ１７は、選択された画像が取得できるフォーカスレンズ１１３の位置を検出し、フォーカスレンズ１１３の現在位置に基づいて、フォーカスレンズ１１３の移動量を決定する。フォーカスレンズ１１３の移動量が決定されると、フォーカスレンズ１１３を移動するため、フォーカスレンズ駆動部１１６に移動量を含む信号を出力する。なお、フォーカスレンズ１１３の現在位置の検出方法は、どのような方法であってもよいが、好ましくは、フォーカスレンズ１１３に位置センサを設け、光学系１１におけるフォーカスレンズ１１３の現在位置を検出し、この現在位置の情報をコントローラ１７に出力するようにするとよい。

ここでコントローラ１７は、合焦状態を継続的に維持するように光学系１１を制御するため、ＣＣＤイメージセンサー１２によって取得される画像データに対して、追尾制御を行なっている間、合焦状態を調整し続ける。これはデジタルカメラ１で一般的に用いられているコンティニュアスＡＦと呼ばれるものである。コンティニュアスＡＦを、コントラスト方式のＡＦで実現する場合、例えば、特開２００３−１４００３５号公報に記載された技術によって実現可能である。具体的には、例えば、段落００１２〜段落００１６等に記載されたメインのＡＦ処理によって可能である。

これによって、デジタルカメラ１は、被写体に対して合焦状態を継続的に維持できる。

１−２−３ モード切替処理
コントローラ１７は、被写体像の動きの大きさ（動き量）、および、ぶれ検出器３０から入力された振動量（上下方向・左右方向）に基づいて、通常モードと停止モードを切り替える。

具体的に通常モードにおけるコントローラ１７は、連続した複数の画像データにおいて、被写体が動いていないと判断し、かつ、自装置が振動していないと判断した場合、通常モードから停止モードに切り替える。

このコントローラ１７は、被写体が動いていないか否かを判断するため、動き量検出処理で検出された被写体像の動き量が、被写体が動いていない領域（例えば、図１８では、８画素以下）に含まれるか否かを判断する。例えば、被写体像の動き量が、左に３画素、上に４画素（−３、＋４）の場合、動き量は合わせて７画素なので、被写体が動いていない領域に含まれる。この場合、１フレームの画像データにおいて、被写体が動いていない領域に含まれると判断される。コントローラ１７は、この被写体の動き量が、被写体が動いていない領域に含まれるか否かを判断する処理を、連続した複数の画像データ（例えば、図１８では、２４フレーム）で行う。連続した複数の画像データにおいて、被写体が動いていない領域に含まれると判断されると、コントローラ１７は、被写体が動いていないと判断する。

同様に通常モードにおけるコントローラ１７は、ぶれ検出器３０から入力された振動量が、自装置が振動していない領域（例えば、図１８では、上下方向で１５ｍＶ以下、左右方向で２４ｍＶ以下）に含まれるか否かを判断する。すなわち、上記と同様の方法で、複数の画像データが取得されている間（例えば、図１８では、０．８sec）に、自装置が振動していない領域に含まれるか否かを判断する。これによって、自装置が振動していないと判断できる。

コントローラ１７は、上述した処理を行なうことによって、連続した複数の画像データにおいて、被写体が動いていないと判断し、かつ、自装置が振動していないと判断した場合、通常モードから停止モードに切り替える。

次に、停止モードにおけるコントローラ１７の処理を説明する。停止モードのコントローラ１７は、被写体が動いていると判断した場合、または、自装置が振動していると判断した場合、停止モードから通常モードに切り替える。

この停止モードにおけるコントローラ１７は、被写体像の動き量が、被写体が動いている領域（例えば、図１８では、１６画素以上）に含まれるか否かを判断する。すなわち、上記と同様の方法で、複数の画像データにおいて（例えば、図１８では、９フレーム）、被写体が動いている領域に含まれるか否かを判断する。これによって、被写体が動いていると判断できる。

また、停止モードにおけるコントローラ１７は、ぶれ検出器３０から入力された振動量が、自装置が振動している領域（例えば、図１８では、上下方向で４８ｍＶ以上、左右方向で６８ｍＶ以上）に含まれるか否かを判断する。すなわち、上記と同様の方法で、複数の画像データが取得されている間（例えば、図１８では、０．３sec）に、自装置が振動している領域に含まれるか否かを判断する。これによって、自装置が振動していると判断できる。

コントローラ１７は、上述した処理を行なうことによって、連続した複数の画像データにおいて、被写体が動いていると判断した場合、または、自装置が振動していないと判断した場合、停止モードから通常モードに切り替える。

ここで停止モードは、追尾領域移動手段による追尾領域の移動を停止させるように追尾領域移動手段を制御するモードである。具体的には、停止モードに設定されている場合、コントローラ１７は、追尾制御における追尾領域移動処理を停止させる。すなわち、停止モードに設定されている場合、コントローラ１７は、追尾領域移動処理を行わないように追尾制御を制御する。

なお、本実施の形態では、停止モードから通常モードに切り替えられるとき、被写体が動いていると判断した場合、または、自装置が振動している場合に、通常モードに切り替えるように構成したが、これに限られない。例えば、自装置が振動している場合にのみ、停止モードから通常モードに切り替えるようにしてもよい。このようにした場合、被写体像の動きが不必要になるため、停止モードにおいて、追尾制御自体を停止させることができる。このようにすれば、停止モードにおけるデジタルカメラの処理を減らすことができる。
２．動作
２−１ 追尾動作
次に、このように構成されたデジタルカメラ１の動作について図１６、１７のフローチャートを用いて説明する。デジタルカメラ１は、図示しない電源スイッチがＯＦＦからＯＮに変更され、追尾撮影モードに設定されると、デジタルカメラ１は、以下の動作を行なう（図１６）。

まず、ＣＣＤイメージセンサー１２が、被写体像を画像データとして撮像する（Ｓ１）。撮像された画像データは、ＡＤコンバータ１３や画像処理部１４を介してコントローラ１７に入力される。この際、ステップＳ２が行われるまで、ＣＣＤイメージセンサー１２で繰り返し画像データが取得される。

コントローラ１７は、タッチパネル２０に、画像データを表示画面８０として表示させる（図４）。そしてコントローラ１７は、タッチパネル２０を介した使用者からのタッチ操作を受け付ける。使用者からタッチ操作を受け付けた場合、コントローラ１７は、タッチパネル２０がタッチ操作された位置に応じて、画像データに追尾領域５０を設定する（Ｓ２）。この際、コントローラ１７は、追尾領域が設定された画像データをタッチパネル２０に表示画面８１として表示させる（図５）。

次に、コントローラ１７は、追尾領域５０内の画像データを取得する。そしてコントローラ１７は、追尾領域５０内の画像データを解析した色情報を記憶媒体に記憶する（Ｓ３）。この際、コントローラ１７は、追尾領域５０が設定された被写体に対して、合焦状態の調整を行う（Ｓ４）。そして、コントローラ１７は、追尾制御の処理を行なう（Ｓ５）。なお、図示はしないが、追尾制御と並行して、合焦制御（コンティニュアスＡＦ）の処理を行う。

次に、追尾制御の動作を図１７のフローチャートを用いて説明する。

まず、ＣＣＤイメージセンサー１２は、被写体像を画像データとして撮像する（Ｔ１）。撮像された画像データは、ＡＤコンバータ１３や画像処理部１４を介してコントローラ１７に入力される。また、コントローラ１７は、探索領域６０内の画像データを取得する（Ｔ２）。コントローラ１７は、取得された探索領域６０内の画像データにおいて、追尾領域５０の色情報と最も近似する領域７０を探索する（Ｔ３）。そしてコントローラ１７は、近似すると判別された最も近似する領域７０内の画像データを解析し、この解析した色情報を記憶媒体に記憶する（Ｔ４）。またコントローラ１７は、追尾領域５０が設定された被写体像の動き量を検出する（Ｔ５）。さらにコントローラ１７は、ぶれ検出器３０から、検出された振動量を取得する（Ｔ６）。なお、ぶれ検出器３０は、コントローラ１７からの制御信号に応じて、振動量をコントローラ１７に出力するものであってもよいし、ぶれ検出器３０が逐次振動量を出力するものであっても良い。

図１７に戻って、コントローラ１７は、現在設定されているモードが、停止モードか否かを判別する（Ｔ７）。停止モードの場合、ステップＴ１に移行する。なお、この際、ステップＴ４で記憶した色情報は、消去する。すなわち、ステップＴ４で記憶する前に記憶されていた色情報を元の場所に戻し、追尾領域内の色情報とする。

一方、停止モード以外である場合、コントローラ１７は、振動量に応じて、動き量に制限フィルタをかける（Ｔ８）。その後コントローラ１７は、追尾領域の位置情報、および、制限フィルタがかけられた動き量に基づいて、追尾領域を移動する（Ｔ９）。この際、コントローラ１７は、追尾領域５１が移動された画像データを表示画面８２として、タッチパネル２０に表示させる（図１５）。そして再度ステップＴ１に移行し、新たな画像データ（フレーム）をＣＣＤイメージセンサー１２によって取得する。

これによって、デジタルカメラ１の被写体に対する追尾動作を可能にしている。

２−２ モード切替動作
次に、デジタルカメラ１のモード切替動作を図１９のフローチャートを用いて説明する。なお、本実施の形態では、デジタルカメラ１の電源がＯＦＦからＯＮに変更されると、通常モードに設定されて以下の処理を行う。

まず、通常モードにおけるコントローラ１７は、連続して取得された画像データにおいて、被写体が動いていないと判断し、かつ、自装置が振動していないと判断したかについて、判別を行なう（Ｕ１）。このステップＵ１の処理は、この条件に当てはまる結果が得られるまで繰り返される。

一方、コントローラ１７は、被写体が動いていないと判断し、自装置が振動していないと判断した場合、通常モードから停止モードに切り替える（Ｕ２）。

次に、停止モードにおけるコントローラ１７は、連続して取得された画像データにおいて、被写体が動いていると判断した場合、又は、自装置が振動していると判断した場合に該当するか否かを判別する（Ｖ１）。このステップＶ１の処理は、この条件に当てはまる結果が得られるまで繰り返される。

一方、コントローラ１７は、被写体が動いていると判断した場合、又は、自装置が振動していると判断した場合、停止モードから通常モードに切り替える（Ｖ２）。

これによってコントローラ１７は、通常モードと停止モードとを切り替えできるようにしている。

なお、本実施の形態では、被写体が動いていないかの判断を図１６に基づいて判断したが、これに限られず、被写体が動いていないことを判断できるものであればどのような方法であってもよい。自装置が振動しているかについても同様である。
３．まとめ
上述のように本実施の形態のデジタルカメラ１は、被写体像を撮像して、動画像の一部となる画像データを生成するＣＣＤイメージセンサー１２と、自装置の振動を検出するぶれ検出器３０と、被写体像の動きに基づいて画像データ内の一部に設定された追尾領域５０を移動させる追尾領域移動手段と、追尾領域５０の移動を行なうように追尾領域移動手段を制御する通常モードと、追尾領域の移動を停止するように追尾領域移動手段を制御する停止モードとを、被写体像の動き、および、ぶれ検出器３０検出された振動の大きさに基づいて切り替えるモード切替手段と、を備える。

このようにすれば、前記被写体像の動きおよび前記検出された振動の大きさに基づいて切り替わる停止モードを設けることができ、これによって、停止モードにおいては、追尾領域移動手段による追尾領域の移動を停止させることができる。
（他の実施の形態）
本発明の実施の形態として、実施の形態１を例示した。しかし、本発明は、実施の形態１に限定されず、他の実施の形態においても実現可能である。そこで、本発明の他の実施の形態を以下まとめて説明する。

本発明の実施の形態１では、撮像手段としてＣＣＤイメージセンサー１２０を例示した。しかし、ＣＣＤイメージセンサー１２０に替えて、他の撮像手段を用いてもよい。他の撮像素子としては、例えば、ＣＭＯＳイメージセンサーなどを用いてもよい。ＣＭＯＳイメージセンサーを用いることにより、消費電力を低減できる。すなわち、撮像手段は、被写体像を撮像して画像データを生成するものである。ＣＣＤイメージセンサーに替えて、ＣＭＯＳイメージセンサーを用いると、撮像手段から出力される画像データにのるノイズを減らすことができる。

また、本発明の実施の形態１では、タイミングジェネレータ１２１がＣＣＤイメージセンサー１２に供給するパルス信号を、例えば、1秒間に３０回のフレーム読み出しパルス信号を供給するように構成したが、これに限られない。例えば、1秒間に５０回や６０回のパルス信号を供給するようにしてもよい。要するに、タイミングジェネレータは、フレーム読み出しのためのパルス信号を供給できるものであればよい。

また、本発明の実施の形態１では、振動検出手段として、二つのジャイロセンサーによって構成される、２軸のぶれ検出器を例示したが、これに限られず、自装置の振動を検出できるものであればどのような構成であってもよい。例えば、振動検出手段は、１軸の振動を検出できるものであってもよい。また、ジャイロセンサーは、振動式、機械式、光学式など様々な構成で実現できる。また、振動の大きさについては、振動量で実現したが、これに限られず、どのような値で表現してもかまわない。

また、本発明の実施の形態１では、タッチパネルを備えた装置を例示したが、これに限られず、液晶モニタなどの表示手段と、十字キーや押下釦などの入力手段を備える装置で構成するようにしてもよい。

また、本発明の実施の形態１では、合焦手段として、山登り方式のオートフォーカスを用いるコントローラ１７を例示したが、これに限られず、他のＡＦ処理によって合焦状態を調整できるものであってもよい。例えば、他のＡＦ処理として、一眼レフのカメラなどで、一般的に用いられる位相差検出方式が考えられる。

さらに、本発明の実施の形態１では、合焦手段として、コンティニュアスＡＦを行なうコントローラ１７を例示したが、これに限られず、所定のタイミングで合焦状態を調整するものであってもよい。所定のタイミングとは、例えば、使用者が操作部に含まれるシャッタスイッチを全押することで、デジタルカメラに対して撮影の動作を指示した時などが考えられる。すなわち、合焦手段は、合焦状態を調整できるものであればどのような手段であってもよい。

加えて、本発明の実施の形態１では、使用者がタッチパネルを操作することによって、追尾領域を画像データに設定するようにしたが、これに限られない。例えば、十字キーなどの操作部をデジタルカメラに設け、この操作部を操作することによって、追尾領域を設定するようにしてもよい。

また、本発明の実施の形態１では、追尾領域移動手段は、追尾領域内の画像データの色情報に基づいて、追尾領域を移動するように構成したが、これに限られない。例えば、色情報に替えて、追尾領域が設定された画像データと、新たに取得された画像データの差分を求めることによって、動体の移動を検知し、追尾動作を行なうようにしてもよい。差分処理を利用して、追尾を方法としては、例えば、特許文献（特許登録番号１１３２００２号）の技術を利用可能である。これによって、被写体像の動き量を算出することができる。

また、本発明の実施の形態１では、色（色相）情報を利用して、追尾を行なっているが、これに限られず、輝度信号情報、さらに形状、温度又は被写体中の特徴あるコントラスト等その他の情報を利用して追尾処理を行なうことができる。

また、本発明の実施の形態１では、取得された画像データの各フレームで、追尾動作を行なうようにしたが、これに限られない。

また、本発明の実施の形態１では、説明の関係上、追尾領域を移動させた後に、新たな画像データを取得するように記載しているが、これに限られず、追尾動作Ｔ１〜Ｔ９を並列に処理するようにしてもよい。この場合、コンピュータのパイプライン処理のように実現するとよい。このようにすれば、処理の高速化を図れる。

さらに、本発明の実施の形態１では、一つのコントローラで様々な手段を実現するようにしているが、これに限られず、二つ以上のコントローラで実現するようにしてもよい。

また、本実施の形態では、色情報の近似判断の方法として、二つのヒストグラムのユークリッド距離を用いて判断を行なうようにしているが、これに限られない。例えば、二つのヒストグラムにおいて、色相ごとに画素数をANDして、残ったヒストグムラムの数（要するに、色相ごとに何画素一致しているか）で判断するようにしてもよい。この場合、残ったヒストグラムの数が多い方が、近似する領域となる。このようにすれば、ヒストグラムの対比処理が、主に色相ごとの画素数のＡＮＤ処理によって完了できるので、簡単な処理でヒストグラムの対比が可能となる。

また、本実施の形態では、自装置が振動しているか否かの判断を、ぶれ検出器で検出された振動量に基づいて判断するようにしたが、これに限られない。例えば、三脚を取り付ける三脚取り付け部に、三脚との接続を検知する検知手段を設けるようにしてもよい。この検知手段は、物理的に接続を検知してもよく、電気的に接続を検知してもよい、この場合、三脚が接続された場合に、自装置が振動していないと判断し、三脚が接続されていない場合に、自装置が振動していると判断するようにすればよい。また、この検知手段と、ぶれ検出器を組み合わせて、自装置の振動していないかを判断するようにしてもよい。

すなわち、本発明は、上記実施の形態に限られず、種々の態様で実施可能である。

本発明は、追尾機能を備える撮像装置に適用可能である。具体的には、追尾機能を備えるデジタルカメラ、ムービー、カメラ付き携帯端末等に利用できる。

従来の課題を説明するための図 本発明の実施の形態１にかかるデジタルカメラの斜視図 本発明の実施の形態１にかかるデジタルカメラのブロック構成図 本発明の実施の形態１にかかるデジタルカメラの表示画面例を示す図 本発明の実施の形態１にかかるデジタルカメラの追尾領域の設定操作を説明するための図 本発明の実施の形態１にかかる追尾領域内の画像データの色情報を説明するための図 本発明の実施の形態１にかかる色相空間を説明するための図 本発明の実施の形態１にかかる探索領域を説明するための図 本発明の実施の形態１にかかる最も近似する領域の探索方法を説明するための図 本発明の実施の形態１にかかる最も近似する領域の探索方法を説明するための図 本発明の実施の形態１にかかる現在最も近似する領域の情報として記憶される情報を説明するための図 本発明の実施の形態１にかかる動き量を説明するための図 本発明の実施の形態１にかかる振動量と制限フィルタのスレッシュの対応表を説明するための図 本発明の実施の形態１にかかる振動量に応じた動き量に制限フィルタをかけることを説明するための図 本発明の実施の形態１にかかる追尾領域を移動させる際の表示画面例を示す図 本発明の実施の形態１にかかるデジタルカメラの動作を説明するためのフローチャート 本発明の実施の形態１にかかるデジタルカメラの動作を説明するためのフローチャート 本発明の実施の形態１にかかる被写体が動いていない基準および自装置が振動していない基準を説明するための図 本発明の実施の形態１にかかる通常モードと停止モードとの切り替え動作を説明するためのフローチャート

符号の説明

１ デジタルカメラ
１１ 光学系
１１２ ズームレンズ
１１３ フォーカスレンズ
１２ ＣＣＤイメージセンサー
１３ ADコンバータ
１４ 画像処理部
１５ バッファメモリ
１７ コントローラ
１９ メモリカード
２０ タッチパネル
３０ ぶれ検出器
５０、５１ 追尾領域
６０ 探索領域
７０ 最も近似する領域
８０ 表示画面

Claims (2)

1. 被写体像を撮像して、動画像の一部となる画像データを生成する撮像手段と、
   自装置の振動を検出する振動検出手段と、
   前記被写体像の動きに基づいて前記画像データ内の一部に設定された追尾領域を移動させる追尾領域移動手段と、
   前記追尾領域の移動を行なうように前記追尾領域移動手段を制御する通常モードと、前記追尾領域の移動を停止するように前記追尾領域移動手段を制御する停止モードとを、
   前記被写体像の動きおよび前記検出された振動の大きさに基づいて切り替えるモード切替手段と、
   を備える撮像装置。
2. 前記モード切替手段は、
   動画像中の複数の画像データにおいて、前記被写体像の動きが、被写体が動いていない領域に含まれると判断した場合であって、前記検出された振動の大きさが、自装置が振動していない領域に含まれると判断した場合に、
   前記通常モードから前記停止モードに切り替える、
   請求項１に記載の撮像装置。

Images