JP2009296029A - 撮像装置 - Google Patents

Abstract

【課題】本発明は、画像データに対して追尾領域がずれて設定された場合であっても、より高い精度で追尾動作を行なうことを目的とする。
【解決手段】デジタルカメラ１は、被写体像を形成する光学系１１と、この形成された被写体像を撮像して、画像データを順次生成するＣＣＤイメージセンサー１２と、この画像データ内の一部である追尾領域および複数の補助領域を画像データに設定するコントローラ１７と、この設定された追尾領域内の画像データと、この設定された複数の補助領域内の画像データの間で、特徴情報の近似をそれぞれ比較するコントローラ１７と、このコントローラ１７による追尾領域と複数の補助領域の間の比較結果に応じて、追尾領域の位置を補正するコントローラ１７と、コントローラ１７で位置が補正された追尾領域内の画像データの特徴情報に基づいて、追尾領域を順次移動させるコントローラ１７と、を備える。
【選択図】図２

Description

本発明は、被写体に対する追尾機能を備える撮像装置に関する。例えば、追尾機能を備えるデジタルカメラ、ビデオカメラなどに適用可能である。

従来の撮像装置には、被写体に対する追尾機能を備える撮像装置が存在する。この撮像装置は、被写体像を形成する光学系と、光学系によって形成された被写体像を撮像して画像データを生成する撮像手段と、生成された画像データのうち一部の画像データに対して、追尾領域を設定する設定手段と、設定された追尾領域内の被写体像（追尾対象となる被写体）の特徴を抽出する抽出手段と、抽出された被写体像の特徴に基づいて、被写体像の相対的な移動を検出する検出手段と、当該検出された被写体像の相対的な移動に応じて、追尾領域を移動させる追尾領域移動手段と、を備えるものである。

具体的に追尾動作の一例を説明すると、撮像装置は、撮像素子で生成された画像データを液晶モニタ等に表示させ、使用者に追尾領域の設定を促す。使用者は、画像データに対して、追尾領域を設定する。撮像装置は、追尾領域が設定されると、設定された追尾領域内の特徴情報を抽出し、記憶媒体に記憶する。撮像装置は、撮像素子で新たな画像データを生成する。その後、撮像装置は、この新たな画像データの中から、記憶された特徴情報とほぼ等しい特徴情報を有する一部の画像データを選択する。撮像装置は、この選択された画像データに追尾領域を設定し、画像データと追尾領域を併せて液晶モニタ等に表示させる。これによって、撮像素子で順次生成される画像データの被写体に対して、追尾領域を追跡できるようにしている。

また、他の撮像装置としては、特許文献１に記載されるようなものが存在する。

この撮像装置は、追尾機能を備えるものであって、追尾領域の外側に複数の外部領域を設けるようにしたものである。この撮像装置は、撮像素子で生成される画像データ間で、追尾領域の動きベクトルと、複数の外部領域の動きベクトルを比較して、追尾領域の動きベクトルとほぼ等しい動きベクトルを有する外部領域を選択する。そして撮像装置は、この選択した外部領域の位置に応じて、追尾領域の位置を補正する。これによって、追尾領域の追尾に伴うズレを補正できるようにしている。
特開平５−３０４０６号公報

ところで、このような撮像装置では、使用者が画像データに追尾領域を設定する際、追尾領域の設定された位置が追尾したい被写体からずれてしまうことがある。特に、タッチパネルを備える撮像装置では、タッチパネルを操作することで追尾領域を設定できるので、追尾領域を設定した位置が追尾したい被写体からずれて設定されることが多い。

したがって、撮像装置では、図４のように、追尾領域の位置設定がずれることによって、追尾領域内の特徴情報に、被写体以外の背景の特徴情報が含まれてしまう。このため、撮像装置が、このような追尾領域内の特徴情報に基づいて、追尾動作を行なうと、追尾精度が低くなってしまう。これは、追尾領域内の特徴情報に、背景の特徴情報が含まれるため、背景の特徴情報も考慮した追尾動作となってしまうためである。

そこで本発明は、上記課題を解決するために、使用者が所望する被写体からずれた状態で追尾領域が設定された場合であっても、使用者の所望する被写体の位置を推測することにより、上記ずれを補正して、良好な追尾動作を実現することを目的とする。

すなわち、本発明は、被写体像を形成する光学系と、前記形成された被写体像を撮像して、画像データを順次生成する撮像手段と、前記画像データ内の一部である追尾領域を設定する領域設定手段と、前記順次生成された画像データから特徴情報を抽出する抽出手段と、前記追尾領域内において前記抽出手段で抽出された特徴情報及び前記追尾領域外において前記抽出手段で抽出された特徴情報に基づいて、前記追尾領域の位置を補正する位置補正手段と、前記位置補正された追尾領域内において前記抽出手段で抽出された特徴情報に基づいて、前記撮像手段で順次生成される画像データにおいて前記追尾領域を順次移動させる追尾領域移動手段と、を備える。

このようにすれば、追尾領域内における特徴情報と追尾領域外における特徴情報に基づいて、所望の被写体の位置を推測することができ、追尾領域を補正することができる。

また、好ましくは、追尾領域外において抽出された特徴情報は、前記追尾領域に対して略左右方向又は略上下左右方向における特徴情報である。

また、好ましくは、前記特徴情報は、色に関する情報とする。

本発明によれば、使用者が所望する被写体からずれた状態で追尾領域が設定された場合であっても、使用者の所望する被写体の位置を推測することにより、上記ずれを補正して、良好な追尾動作を実現できる。

（実施の形態１）
１．構成
以下、本発明の一実施の形態について、図面を参照して説明する。

１−１ 全体構成の概要
図１は、本実施の形態に係るデジタルカメラ１の斜視図である。図２は、本実施の形態に係るデジタルカメラ１の構成を示すブロック図である。以下、具体的に構成を説明する。

光学系１１は、被写体からの光学信号を集光してＣＣＤイメージセンサー１２上に被写体像を形成する。光学系１１は、対物レンズ１１１とズームレンズ１１２とフォーカスレンズ１１３と絞り／シャッタ１１４とを含む。

ズームレンズ１１２は、ズーム駆動部１１５によって駆動され、被写体像の写る範囲（画角）を調整する。すなわち、ズームレンズ１１２は、焦点距離を調整可能である。フォーカスレンズ１１３は、フォーカス駆動部１１６によって駆動され、ピントの調節を行なう。ズーム駆動部１１５は、ズームレンズ１１２を移動するためのカム機構やカム機構を駆動するためのアクチュエータなどを備えて構成され、コントローラ１７からの制御に応じて、ズームレンズ１１２を駆動させる。フォーカス駆動部１１６は、フォーカスレンズ１１３を移動するためのカム機構やカム機構を駆動するためのアクチュエータなどを備えて構成され、コントローラ１７からの制御に応じて、フォーカスレンズ１１３を駆動させる。

また、絞り／シャッタ１１４は、絞りとシャッタを兼用した部材である。絞り／シャッタ１１４は、絞り／シャッタ駆動部１１７によって駆動される。絞りは、５枚の羽根によって構成され、光学系１１を通る光の量を調整するものである。また、シャッタは、開けたり閉じられたりして、ＣＣＤイメージセンサー１２に当たる光の量を時間的に調整するものである。絞り／シャッタ駆動部１１７は、カム機構やカム機構を駆動するためのアクチュエータなどを備えて構成され、コントローラ１７からの制御に応じて、絞り／シャッタを駆動する。

なお、本実施の形態では、絞りとシャッタを兼用した絞り／シャッタ１１４を備えるようにしたが、これに限られず、絞りとシャッタとを別々に設けるようにしても良い。この場合、例えば、シャッタは光学系内に設けず、絞りだけを光学系に設けるとよい。この際、シャッタは、光学系とＣＣＤイメージセンサーの間に設けるとよい。このようにすれば、シャッタを光学系と別の部材で設けたので、レンズ交換タイプのデジタルカメラにも適用できるようになる。

ＣＣＤイメージセンサー１２は、光学系１１によって形成された被写体像を撮像して画像データを生成する撮像手段である。ＣＣＤイメージセンサー１２は、タイミングジェネレータ１２１から供給されるパルス信号に基づいて、被写体像を撮像し、画像データを生成する。タイミングジェネレータ１２１は、ＬＳＩなどの集積回路によって構成され、ＣＣＤイメージセンサー１２にパルス信号を供給する。ここでタイミングジェネレータ１２１がＣＣＤイメージセンサー１２に供給するパルス信号は、例えば、1秒間に３０回のフレーム読み出しパルス信号を供給する。これによって、ＣＣＤイメージセンサー１２では、３０分の１秒ごとのフレームの画像データを取得できるようになる。

ＡＤコンバータ１３は、ＣＣＤイメージセンサー１２で生成された画像データをデジタルデータに変換する。

画像処理部１４は、デジタルデータに変換された画像データに対して所定の処理を施す。所定の処理としては、ガンマ変換、ＹＣ変換、電子ズーム処理、圧縮処理、伸張処理などが考えられるが、これに限定されるものではない。

バッファメモリ１５は、画像処理部１４で画像処理を行う際、および、コントローラ１７で制御処理を行う際に、ワークメモリとして作用する。バッファメモリ１５は、例えば、DRAMなどで実現可能である。

フラッシュメモリ１６は、内蔵メモリとして用いられる。フラッシュメモリ１６は、画像処理された画像データの他に、コントローラ１７の制御のためのプログラムや設定値などを記憶可能である。

コントローラ１７は、デジタルカメラ１全体を制御するための制御手段である。コントローラ１７は、マイクロコンピュータで実現してもよく、ハードワイヤードな回路で実現しても良い。要するに、本発明の制御手段は、自装置を制御できるものであればよい。なお、コントローラ１７の各種制御については、後述する。

ぶれ検出器３０は、ジャイロセンサーなどで構成されるものであり、自装置の振動を検出する振動検出手段である。ぶれ検出器３０は、デジタルカメラ１の水平軸を中心とした上下方向の回転振動を検知する第１のジャイロセンサーと、デジタルカメラ１の鉛直軸を中心とした左右方向の回転振動を検知する第２のジャイロセンサーとを備える。そして、ぶれ検出器３０は、自装置の振動を検知して、振動量に対応するアナログ信号をコントローラ１７に出力する。この際、ぶれ検出器３０から出力されたアナログ信号（電圧値）は、ＡＤ変換手段によってデジタル信号に変換され、コントローラ１７に入力される。ここで本実施の形態の振動量は、デジタルカメラ１の振幅の大きさに対応させたものである。そのため、電圧値の大きさは、振幅の大きさに対応するように構成されている。本実施の形態では、振幅のピークとピークの差の大きさを出力するようにしている。例えば、出力値としては、２８０ｍＶ（pk-pk）や、１３０ｍＶ（pk-pk）などが出力される。

カードスロット１８は、メモリカード１９を着脱するためのスロットである。カードスロット１８は、メモリカード１９を制御する機能を有するようにしてもよい。メモリカード１９は、フラッシュメモリなどを内蔵する。メモリカード１９は、画像処理部１４によって画像処理された画像データを格納可能である。

表示部は、液晶モニタ２０と、タッチパネル２２とを組み合わせて構成される。この液晶モニタ２０は、画像データおよびデジタルカメラ１の各種設定等を表示する表示手段である。本発明の表示手段としては、液晶モニタ２０に替えて、有機ELディスプレイなどを用いることもできる。また、このタッチパネル２２は、マトリクススイッチ等で構成可能である。マトリクススイッチは、液晶モニタ２０に表示された表示画像に、使用者がタッチ操作を行なった場合、タッチ操作に対応する位置の情報（操作信号）をコントローラ１７に出力する。なお、タッチパネルには、マトリクススイッチに替わる方式として、抵抗膜を設ける抵抗膜方式や圧電素子を取り付けたガラス板を設ける表面弾性波方式を取ることができる。なお、本実施の形態では、タッチパネル２２を備えるようにしたが、これに限られず、液晶モニタ２０だけで構成するようにしてもよい。この場合、使用者が操作部を操作することによって、デジタルカメラに対する各種操作を受け付ける。

操作部２１は、デジタルカメラ１の外装に取り付けられた操作部材の総称である。操作部２１としては、十字キーや押下釦等が考えられる。

本実施の形態では、操作部の一つの押下釦として、シャッタスイッチ２１１がある。シャッタスイッチ２１１は、デジタルカメラ１の上面に設けられるものであり、使用者からの半押しおよび全押しを検知できるようにしたものである。使用者によって半押し又は全押し操作が行なわれると、シャッタスイッチ２１１は操作に応じた操作信号をコントローラ１７に出力する。すなわち、シャッタスイッチ２１１は、合焦指示を受けつけるように構成されている。

また本実施の形態では、操作部２１の一つの部材としてズームレバー２１２が備えられている。ズームレバー２１２は、使用者からの操作に応じて、デジタルカメラ１の焦点距離を変更するものである。ズームレバー２１２は、使用者に操作されると、操作信号をコントローラ１７に出力する。これによって、コントローラ１７は、ズームレンズ１１２に対して焦点距離を変更するための制御信号を送ることができる。

１−２ 本実施の形態におけるコントローラ１７の制御の説明
本実施の形態におけるコントローラ１７は、ＣＣＤイメージセンサー１２で生成された画像データに対して追尾領域および複数の補助領域を設定させる動作（以下、設定動作）と、追尾領域内の画像データの色情報および複数の補助領域内の画像データの色情報を比較する動作（以下、比較動作）と、比較動作に応じて画像データに対し追尾領域が設定された位置を補正する動作（以下、補正動作）と、位置が補正された追尾領域内の色情報に基づいて、順次生成される画像データ上で追尾領域を移動させる動作（以下、追尾動作）と、がある。すなわち、設定動作を実現するコントローラ１７は、領域設定手段であり、比較動作を実現するコントローラ１７は、比較手段であり、補正動作を実現するコントローラ１７は、位置補正手段であり、追尾動作を実現するコントローラ１７は、追尾領域移動手段である。

以下、各々の動作について、具体的に説明する。

１−２−１ 設定動作
設定動作を実現するコントローラ１７は、使用者からの画像データに対する追尾領域および複数の補助領域の設定動作を検知する。そして、コントローラ１７は、設定動作を検知した場合、この設定動作に応じて、画像データに追尾領域及び複数の補助領域を設定する。

具体的に説明する。コントローラ１７は、液晶モニタ２０に画像データをスルー画像として表示させる。そして、使用者は、液晶モニタ２０に表示されたスルー画像をタッチ操作することで、追尾領域を設定する画像データ内の被写体像を指定する。つまり、タッチパネル２２は、使用者からのタッチ操作を受け付けると、タッチ操作に応じた位置に関する情報をコントローラ１７に出力する。コントローラ１７は、この位置に関する情報に応じて、画像データに対して追尾領域５０を設定する（図３Ａ）。また、コントローラ１７は、追尾領域が設定された位置の左右方向に、２つの補助領域を設定する。図３Ａにおいて、追尾領域の左に表示された補助領域を第１補助領域５１、右に表示された補助領域を第２補助領域５２とする。なお、本実施の形態の左右方向とは、液晶モニタ２０の長手方向をいう。

１−２−２ 比較動作
比較動作を行なうコントローラ１７は、追尾領域５０内の画像データの色情報と、第１補助領域５１内の画像データの色情報を比較する。また、コントローラ１７は、追尾領域５０内の画像データの色情報と、第２補助領域５２の画像データの色情報を比較する。なお、コントローラ１７は、画像処理部１４で画像処理された画像データから、追尾領域５０内における色情報と、第１補助領域５１内における色情報と、第２補助領域内における特徴情報を抽出する抽出手段である。コントローラ１７は、この抽出手段を実現するコントローラ１７によって抽出された色情報を比較するようにしている。

具体的な比較方法は、以下のように行なう。まず、追尾領域５０内の画像データの色情報を色相の色空間に変換する。ここで、色相は、０〜３６０度の位相角として角度により表すことができる。また、色空間がＨＳＶ色空間の場合、図７のように、Ｒ＝０／Ｇ＝１２０／Ｂ＝２４０の位置関係で表現できる。例えば、該当色が図７のように位置する場合、該当色の角度は、θとなる。これによって、例えば、図３（Ａ）の追尾領域５０内の画像データでは、図３（Ｂ）のヒストグラムで表現できる。ここでヒストグラムの横軸は、角度（度）を表しており、縦軸は、追尾領域内に存在する各色相の画素の数を表している。横軸は、Ｍｉｎが０度であり、Ｍａｘが３５９度である。

次に、補助領域内の画像データの色情報から平均となる色情報を取得する。そして、この取得した平均となる色情報と、追尾領域内の色情報を比較して、各画素がどちらの領域に近似するかを判別する。詳しくは、図３のように、第１補助領域５１の平均となる色情報が色相６０度であり、第２補助領域５２の平均となる色情報が色相１８０度である場合、第１補助領域５１に近似する範囲が０度〜１２０度、３０１度〜３５９度となり、第２補助領域５２に近似する範囲が１２１度〜３００度となる。０度と３５９度は、色相の色空間であるため、似た色情報である。要するに、追尾領域５０内の色情報と複数の補助領域とを比較する場合、追尾領域５０内の色情報が、第１補助領域５１及び第２補助領域５２に対して、どの程度の割合で近似しているかを判断することにより比較を行なう。比較結果は、例えば、図３Ｃのように、第１補助領域５１に８０％が近似、第２補助領域５２に２０％が近似となる。この場合、追尾領域５０と第１補助領域５１がより近似していると判断できる。これは、第１補助領域５１の近似する範囲の画素数と、第２補助領域５２の近似する範囲の画素数とを比較することで可能となる。なお、図３Ｃは、画像データ内の追尾領域の部分のみを拡大表示したものである。

１−２―３ 補正動作
補正動作を実現するコントローラ１７は、比較動作によって、より近似していると判断された補助領域の方向に対して、追尾領域の位置を補正する。ここで、例えば、第１補助領域５１が追尾領域５０により近似すると判断された場合、第１補助領域５１の方向に追尾領域５０の位置を補正させる（図３Ｄ）。位置の補正量は、特に限定されないが、例えば、複数の補助領域と追尾領域との比較結果に基づいて、補正量を決定するとよい。上記の例の場合、追尾領域内の色情報は、第１補助領域と８０％近似しており、第２補助領域と２０％近似している。したがって、追尾領域は、２０％分の余分な特徴情報を含むと判断できるので、追尾領域の大きさの２０％分の補正を行なう。すなわち、追尾領域の横サイズ（補助領域が設けられた方向のサイズ）が１００画素である場合、第１補助領域の方向に、追尾領域を２０画素分補正する。

これによって、第１補助領域内に被写体が設定されており、第２補助領域内に背景が設定された場合、背景に近似した追尾領域内の画像データ分、追尾領域を補正することができる。したがって、より確実に補正ができるようになる。また、補正するのに必要な補正量をなるべく少なくすることができる。そのため、使用者が意図した位置により近づけて追尾領域を設定できる。

１−２−４ 追尾動作
追尾動作を実現するコントローラ１７は、図４のように追尾領域が設定された後の図５のように、補正動作で位置が補正され、画像データに設定された追尾領域５０の被写体に対し、追尾動作を行なうものである。追尾動作としてコントローラ１７は、色記憶と、検索領域取得と、色情報検索と、移動判別と、追尾領域移動の処理を行う。以下具体的に説明する。なお、図４では、表示画面に追尾領域５０が表示されているように記載されているが、実際には追尾領域５０を液晶モニタ２０に表示させない。このようにすれば、液晶モニタ２０には、補正後の追尾領域のみを表示させることが可能になる。これによって、使用者に対する無駄な表示を減らすことができる。ここで、追尾領域を液晶モニタ２０に表示画像として表示させてもよいことはいうまでもない。

色記憶処理は、追尾領域５０内の画像データの色情報を記憶媒体に記憶するものである。ここで記憶媒体としては、バッファメモリ１５、フラッシュメモリ１６、メモリカード１９などが考えられるが、これに限れない。色記憶処理を実現するコントローラ１７は、追尾領域５０内の画像データを取得する（図６（Ａ））。そしてコントローラ１７は、追尾領域５０内の画像データの色情報を取得する。ここで色情報は、上述したように、色相の色空間で表現する。したがって、例えば、図６（Ａ）の追尾領域５０内の画像データでは、図６（Ｂ）のヒストグラムで表現できる。このようにして取得された追尾領域５０の色情報をコントローラ１７は、バッファメモリ１５またはフラッシュメモリ１６、メモリカード１９などの記憶媒体に記憶する。好ましくは、追尾領域の色情報をデジタルカメラ１に内蔵された記憶媒体に記憶する。このようにすれば、追尾領域の色情報の読み出し時間を短くすることができる。なお、色相はスペクトル上での色の位置で表すことも可能である。この場合、光の波長を３００nm~７８０nmで表現することで可能となる。

検索領域取得処理は、追尾領域５０および追尾領域５０周辺の画像データを含む検索領域６０内の画像データを取得するものである。すなわち、コントローラ１７は、検索領域６０内の画像データを取得する。例えば、検索領域６０は、追尾領域５０の９倍（縦3倍・横3倍）の大きさで構成されている（図８）。

色情報検索処理は、検索領域６０内の画像データにおいて、追尾領域５０と同じ形状、同じ大きさで、かつ、記憶媒体に記憶された追尾領域５０の色情報と最も近似する領域７０を検索するものである。したがって、コントローラ１７は、記憶媒体に記憶された追尾領域５０の色情報を読み出す。そしてコントローラ１７は、読み出した追尾領域５０の色情報と、色情報が最も近似する領域７０を、検索領域６０内の画像データから検索する。

ここで最も近似する領域７０の検索方法は、検索するための領域（判別領域）を利用して、以下の方法で実現可能である。

まずコントローラ１７は、検索領域６０内の左端上端の判別領域（ａ）内における画像データを取得する（図９）。そしてコントローラ１７は、取得した画像データの色情報を解析する。ここで判別領域は、追尾領域５０と同じ形状で、同じの大きさである。判別領域（ａ）内の画像データの色情報を解析したコントローラ１７は、判別領域（ａ）内の色情報を、現在最も近似する領域の色情報として記憶媒体に記憶する。

次に、コントローラ１７は、判別領域を１画素右にずらし、判別領域（ｂ）内の色情報を取得する（図９）。そしてコントローラ１７は、判別領域（ｂ）内の色情報と、記憶された現在最も近似する領域の色情報（判別領域（ａ）内の色情報）と、を比較し、どちらが追尾領域５０内の色情報に近似するかを判別する。

ここで追尾領域５０内の色情報に近似すると判別された色情報が、判別領域（ｂ）内の色情報である場合、コントローラ１７は、判別領域（ｂ）内の色情報を、記憶媒体に記憶する。一方、追尾領域５０内の色情報に近似すると判別された色情報が、記憶された現在最も近似する領域（判別領域（ａ）内の色情報）である場合、判別領域を1画素右にずらし、次の領域の判別を行なう。これらの処理を繰り返すことによって、検索領域６０内の検索を行なう。なお、コントローラ１７は、判別領域が検索領域６０の右端上端に到達した場合、１画素下げて、左端からまた検索を行なう（図１０）。

これらの処理を繰り返すことによって、コントローラ１７は、検索領域６０全体を検索できる。したがって、コントローラ１７は、追尾領域５０の色情報に、最も近似する領域を検索できる。すなわち、検索終了時に、記憶媒体に記憶されている判別領域が、最も近似する領域７０となる。これによってコントローラ１７は、最も近似する領域７０を検索できる。

次に、コントローラ１７が、記憶された現在最も近似する色情報（例えば、判別領域（ａ）内の色情報）と、判別領域（ｂ）内の色情報とを比較し、どちらが追尾領域５０内の色情報に近似するかを判別する際の判別方法を説明する。判別方法は、色情報のヒストグラムに基づいて、抽出される曲線の近似度を求めることで、判別できる。すなわち、ある曲線と、他の曲線とのユークリッド距離（近似度）を測ることによって可能である。なお、ユークリッド距離ｄ（ｆ，ｇ）は、距離尺度であり、ベクトル量ｆとｇに対して、下記の数式１で算出できる。

したがって、コントローラ１７は、追尾領域５０内の色情報と判別領域（ａ）内の色情報とのユークリッド距離と、追尾領域５０内の色情報と対象領域（ｂ）内の色情報とのユークリッド距離を比較して、ユークリッド距離が小さい方を、現在最も近似する色情報として判別する。

なお、本実施の形態では、現在最も近似する領域として判別された判別領域内の色情報を記憶媒体に記憶するようにしているが、これに限られない。例えば、ユークリッド距離のような近似度を記憶媒体に記憶するようにしてもよい。このようにすれば、記憶された現在最も近似する領域の色情報と追尾領域の色情報とのユークリッド距離の算出をしなくてすむ。

また、判別領域内の色情報を現在最も近似する領域の色情報として記憶する際に、判別領域の位置情報を最も近似する領域の位置情報として記憶媒体に記憶するとよい。このようにすれば、コントローラ１７が検索領域内の検索を終了した時に、記憶媒体から情報を読み出すだけで、最も近似する領域の位置情報を取得できるようになる。ここで最も近似、する領域の位置情報として記憶する判別領域の位置情報は、判別領域の左端上端の位置情報を記憶しておくとよい。これによって、検索終了時に、記憶された現在最も近似する領域の位置情報が、追尾領域５０を移動するための移動位置となる（図１１）。すなわち、図１１の現在最も近似する領域が、検索領域内の最も近似する領域７０となる。

移動判別処理は、追尾領域を移動させるか否かを判別するものである。本実施の形態では、検索領域内の最も近似する領域７０の色情報と、記憶媒体に記憶された色情報が、ユークリッド距離換算で所定値未満か否かを判別する。所定値未満の場合、コントローラ１７は、追尾領域を移動させる。一方、所定値以上の場合、追尾領域を移動させない。なお、所定値は、特に限定されない。すなわち、移動判別処理は、追尾領域を移動させるか否かを、判別できるものであれば、どのような処理であってもかまわない。このように構成すれば、たとえば、色情報検索処理での検索結果の精度が低い場合、追尾領域の移動を取りやめることができる。これによって、撮像装置は、全体として精度の高い追尾動作を行なうことができる。

追尾領域移動処理は、移動判別処理で移動すると判断された場合、最も近似する領域７０の位置に対して、追尾領域５０を移動させるものである。（図１２の表示画面８２）。

これらの手段によって、追尾動作を可能にしている。なお、追尾領域移動手段は、特に限定される必要はない。したがって、従来技術の様々な追尾動作を行なう手段で対応可能である。
２．動作
次に、このように構成されたデジタルカメラ１の動作について図１３、１４、１５、１６のフローチャートを用いて説明する。デジタルカメラ１は、図示しない電源スイッチがＯＦＦからＯＮに変更され、追尾撮影モードに設定されると、以下の動作を行なう（図１３）。

まず、ＣＣＤイメージセンサー１２が、被写体像を画像データとして撮像する（Ｓ１）。撮像された画像データは、ＡＤコンバータ１３や画像処理部１４を介してコントローラ１７に入力される。この際、画像データに対する追尾領域の設定が行なわれるまで、ＣＣＤイメージセンサー１２で繰り返し画像データが取得される。

コントローラ１７は、液晶モニタ２０に、画像データを表示画面８０として表示させる。そしてタッチパネル２２は、使用者からのタッチ操作を受け付ける。タッチパネル２２は、使用者からタッチ操作を受け付けると、ステップＳ２を行う。なお、この際、タッチパネル２２は、タッチ操作の位置に関する情報をコントローラ１７に送信する。

ステップＳ２の動作について、図１４のフローチャートを用いて説明を行なう。コントローラ１７は、受け付けた位置に関する情報に応じて、図４のように、画像データに追尾領域５０を設定する（Ｓ２１）。また、コントローラ１７は、追尾領域５０に併せて第１補助領域及び第２補助領域を設定する（Ｓ２１）。次に、コントローラ１７は、追尾領域と第１補助領域及び第２補助領域の色情報を比較する（Ｓ２２）。そして、コントローラ１７は、第１補助領域と第２補助領域のどちらが追尾領域の色情報に近似するかを判別する（Ｓ２３）。

追尾領域が第１補助領域に近似すると判断した場合、コントローラ１７は、第１補助領域の方向に対して、追尾領域の位置を補正する（Ｓ２４）。一方、追尾領域が第２補助領域に近似すると判断した場合、コントローラ１７は、第２補助領域の方向に対して、追尾領域の位置を補正する（Ｓ２５）。この後、コントローラ１７は、位置が補正された追尾領域５０を表示画像として、液晶モニタ２０に表示させる（図５）。

そして、コントローラ１７は、位置が補正された追尾領域５０内の画像データを取得する。この際、コントローラ１７は、追尾領域５０内の画像データを解析した色情報を記憶媒体に記憶する（Ｓ２６）。

図１３に戻って、コントローラ１７は、位置が補正された追尾領域５０内の被写体に対して、合焦状態の調整を行う（Ｓ３）。具体的な合焦状態の調整方法は、従来技術と同様であるため、説明を割愛する。そして、コントローラ１７は、位置が補正された追尾領域内の色情報に基づいて、追尾処理を行なう（Ｓ４）。

ステップＳ４の処理を、図１５のフローチャートを用いて説明を行う。

まず、ＣＣＤイメージセンサー１２は、被写体像を撮像して、画像データを生成する（Ｔ１）。生成された画像データは、ＡＤコンバータ１３や画像処理部１４を介してコントローラ１７に入力される。また、コントローラ１７は、検索領域６０内の画像データを取得する（Ｔ２）。コントローラ１７は、取得された検索領域６０内の画像データにおいて、追尾領域５０の色情報と最も近似する領域７０を検索する（Ｔ３）。

次にコントローラ１７は、ステップＴ３の検索結果に応じて、追尾領域を移動させるか否かを判別する（Ｔ４）。追尾領域を移動させると判断した場合、コントローラ１７は、近似すると判別された最も近似する領域７０内の画像データを解析し、この解析した色情報を記憶媒体に記憶する（Ｔ５）。一方、追尾領域を移動させないと判断した場合、ステップＴ１に移行する。

コントローラ１７は、画像データ内の最も近似する領域７０が存在する位置に対して、追尾領域を移動（設定）させる（Ｔ６）。この際、コントローラ１７は、追尾領域５０が移動された画像データを表示画面８２として、液晶モニタ２０に表示させる（図１５）。また、コントローラ１７は、追尾領域５０内の被写体に対して、合焦状態の調整を行う（Ｔ７）。その後再度ステップＴ１に移行し、ＣＣＤイメージセンサー１２によって生成された新たな画像データを取得する。

これによって、デジタルカメラ１の被写体に対する追尾動作を可能にしている。

次に、撮影動作を図１６のフローチャートを用いて説明する。図１６のステップＵ１の動作は、図１３〜１５の動作と並行して行なう。また、図１６のステップＵ２〜Ｕ４の動作は、図１３〜１５の動作を停止して、行なう。

コントローラ１７は、シャッタスイッチ２１１が使用者から全押しを受け付けたか否かを検知する（Ｕ１）。シャッタスイッチ２１１が使用者から全押しを受け付けた場合、ステップＵ２に処理を移行する。一方、シャッタスイッチ１７が、使用者からの全押しを検知するまで、ステップＵ１の処理を繰り返す。

ステップＵ２に移行すると、図１３〜１５の何れかにおいて行なわれている動作を停止する。動作の停止は、ステップＴ１の前で処理を停止する。すなわち、シャッタスイッチが全押しされた時点で、ステップＴ５の動作を行なっていた場合、ステップＴ６〜Ｔ８の動作を行って、処理を停止する。

図１６に戻って、ステップＵ２では、コントローラ１７が、ＣＣＤイメージセンサー１２によって生成された新たな画像データを取得する（Ｕ２）。そしてコントローラ１７は、追尾領域内の画像データに基づいて、合焦状態を調整するように光学系１１を制御する（Ｕ３）。その後、コントローラ１７は、撮影制御の処理を行なう（Ｕ４）。具体的に撮影制御は、ＣＣＤイメージセンサー１２によって画像データを生成する。そして、画像処理部１４で、生成された画像データに対して画像処理を施す。この後、コントローラ１７が、画像処理された画像データを、メモリカード１９等の記憶媒体に記憶させる。
３．まとめ
上述したように、本実施の形態のデジタルカメラ１は、被写体像を形成する光学系１１と、この形成された被写体像を撮像して、画像データを順次生成するＣＣＤイメージセンサー１２と、この画像データ内の一部である追尾領域および複数の補助領域を画像データに設定するコントローラ１７と、この設定された追尾領域内の画像データと、この設定された複数の補助領域内の画像データの間で、特徴情報の近似をそれぞれ比較するコントローラ１７と、このコントローラ１７による追尾領域と複数の補助領域の間の比較結果に応じて、追尾領域の位置を補正するコントローラ１７と、コントローラ１７で位置が補正された追尾領域内の画像データの特徴情報に基づいて、追尾領域を順次移動させるコントローラ１７と、を備える。

このようにすれば、複数の補助領域の内、追尾領域に近似する補助領域を判断できる。このため、追尾領域と補助領域の位置関係に応じて、追尾領域の位置を補正することができる。つまり、追尾領域がずれて設定された場合であっても、追尾領域の位置を補正できる。
（他の実施の形態）
本発明の実施の形態として、実施の形態１を例示した。しかし、本発明は、実施の形態１に限定されず、他の実施の形態においても実現可能である。そこで、本発明の他の実施の形態を以下まとめて説明する。

本発明の実施の形態１では、撮像手段としてＣＣＤイメージセンサー１２０を例示した。しかし、ＣＣＤイメージセンサー１２０に替えて、他の撮像手段を用いてもよい。他の撮像素子としては、例えば、ＣＭＯＳイメージセンサーなどを用いてもよい。ＣＭＯＳイメージセンサーを用いることにより、消費電力を低減できる。すなわち、撮像手段は、被写体像を撮像して画像データを生成するものである。ＣＣＤイメージセンサーに替えて、ＣＭＯＳイメージセンサーを用いると、撮像手段から出力される画像データにのるノイズを減らすことができる。

また、本発明の実施の形態１では、タイミングジェネレータ１２１がＣＣＤイメージセンサー１２に供給するパルス信号を、例えば、1秒間に３０回のフレーム読み出しパルス信号を供給するように構成したが、これに限られない。例えば、1秒間に５０回や６０回のパルス信号を供給するようにしてもよい。要するに、タイミングジェネレータは、フレーム読み出しのためのパルス信号を供給できるものであればよい。

また、本発明の実施の形態１では、色情報を特徴情報として説明を行なった。しかし、これに限られず、１枚の画像データから取得できる情報であればどのような情報であってもかまわない。例えば、輝度情報、コントラスト情報などが考えられる。

また、本発明の実施の形態１では、複数の補助領域として、２つの補助領域を追尾領域の左右方向に設けるようにした。しかし、これに限られず、補助領域は、少なくとも一部が、追尾領域の外側に設けられるものであれば、どのようなものであってもかまわない。例えば、図１７Ａのように、４つの補助領域を追尾領域に対して上下左右に設けられることが考えられる。この場合、図３のような左右方向に対する追尾領域の位置の補正を、上下方向に対しても行なうようにするとよい。このようにすれば、図１７Ｂのように、上下方向に対する位置の補正と、左右方向に対する位置の補正ができる。このため、全方向に対して追尾領域を補正できるようになる。また、補助領域は、追尾領域に対して上下方向のみであってもよい。さらに、補助領域は、左斜め上下と、右斜め上下に設けるようにしてもよい。

さらに、本発明の実施の形態１では、追尾領域内の画像データの特徴情報と、補助領域内の画像データの特徴情報を比較する際、二つのヒストグラムにおいて、色相ごとの画素数をＡＮＤして、比較を行なうようにした。しかし、これに限られず、複数の補助領域の内、追尾領域と色情報が近似する補助領域を判断できるように、追尾領域と複数の補助領域意を比較するものであればどのような構成であってもかまわない。

すなわち、本発明は、上記実施の形態に限られず、種々の態様で実施可能である。

本発明は、追尾機能を備える撮像装置に適用可能である。具体的には、追尾機能を備えるデジタルカメラ、ビデオカメラ、カメラ付き携帯端末等に利用できる。

本発明の実施の形態１にかかるデジタルカメラの斜視図 本発明の実施の形態１にかかるデジタルカメラのブロック構成図 本発明の実施の形態１にかかる追尾領域の設定ズレに対する補正を説明するための図 本発明の実施の形態１にかかるデジタルカメラの追尾領域の設定操作を説明するための図 本発明の実施の形態１にかかるデジタルカメラの補正後の追尾領域を表示した表示画面例を示す図 本発明の実施の形態１にかかる追尾領域内の画像データの色情報を説明するための図 本発明の実施の形態１にかかる色相空間を説明するための図 本発明の実施の形態１にかかる検索領域を説明するための図 本発明の実施の形態１にかかる最も近似する領域の検索方法を説明するための図 本発明の実施の形態１にかかる最も近似する領域の検索方法を説明するための図 本発明の実施の形態１にかかる現在最も近似する領域の情報として記憶される情報を説明するための図 本発明の実施の形態１にかかる追尾領域を移動させる際の表示画面例を示す図 本発明の実施の形態１にかかるデジタルカメラの動作を説明するためのフローチャート 本発明の実施の形態１にかかるデジタルカメラの動作を説明するためのフローチャート 本発明の実施の形態１にかかるデジタルカメラの動作を説明するためのフローチャート 本発明の実施の形態１にかかるデジタルカメラの動作を説明するためのフローチャート 他の実施の形態にかかる追尾領域の設定ズレに対する補正を説明するための図

符号の説明

１ デジタルカメラ
１１ 光学系
１１２ ズームレンズ
１１３ フォーカスレンズ
１１５ ズーム駆動部
１１６ フォーカス駆動部
１２ ＣＣＤイメージセンサー
１２１ タイミングジェネレータ
１３ ＡＤコンバータ
１４ 画像処理部
１５ バッファメモリ
１６ フラッシュメモリ
１７ コントローラ
１８ カードスロット
１９ メモリカード
２０ 液晶モニタ
２１ 操作部
２２ タッチパネル
５０ 追尾領域
５１ 第１補助領域
５２ 第２補助領域
６０ 検索領域
７０ 最も近似する領域
８０ 表示画面

Claims (3)

1. 被写体像を形成する光学系と、
   前記形成された被写体像を撮像して、画像データを順次生成する撮像手段と、
   前記画像データ内の一部である追尾領域を設定する領域設定手段と、
   前記順次生成された画像データから特徴情報を抽出する抽出手段と、
   前記追尾領域内において前記抽出手段で抽出された特徴情報及び前記追尾領域外において前記抽出手段で抽出された特徴情報に基づいて、前記追尾領域の位置を補正する位置補正手段と、
   前記位置補正された追尾領域内において前記抽出手段で抽出された特徴情報に基づいて、前記撮像手段で順次生成される画像データにおいて前記追尾領域を順次移動させる追尾領域移動手段と、
   を備える撮像装置。
2. 前記追尾領域外において抽出された特徴情報は、前記追尾領域に対して略左右方向又は略上下左右方向における特徴情報である、
   請求項１に記載の撮像装置。
3. 前記特徴情報は、色に関する情報である、
   請求項１に記載の撮像装置。

Images