JP2010199694A - 撮像装置、画角調節方法、及び、プログラム - Google Patents

Abstract

【課題】 被写体のサイズが大きく変化した場合でも、処理量を増加させることなく、その被写体を所望の大きさで撮影する。
【解決手段】 追跡手段は、画像中の被写体領域の特徴量を記憶すると共に、その被写体領域に複数の探索点を設定し、乱数を用いて探索点の座標を更新し、記憶されている特徴量と更新後の探索点の特徴量とを比較して類似度に応じた重みを各探索点に設定し、探索点を重みに応じて選別し、選別された探索点の分散を求める。画角調節手段は、前記分散に応じて画角の調節量を決定する。
【選択図】 図２

Description

本発明は、撮像装置、画角調節方法、及び、プログラムに関し、詳しくは、被写体を追跡しながら撮影画角を調節してその被写体を所望の大きさで撮影することができる撮像装置、画角調節方法、及び、プログラムに関する。

従来より、移動する被写体を最適なサイズで画角に収めて撮影したいという要望がある。そして、そのような要望を満たすための技術として、例えば、下記の特許文献１に記載する、動きを伴う被写体をテンプレートマッチング法により継続的に検出して追跡し、その被写体のサイズの変化に合わせてズーム倍率を自動制御する技術を採用することで、撮影者はズーム操作を行うこと無しに、移動する被写体を最適なサイズで撮影することができる。

特開２００７−２０８４５３号公報

しかしながら、上記の特許文献１に記載されるテンプレートマッチング法は、「追跡する被写体のサイズや形状が大きくは変化しない」という前提が成立してこそ可能となる。
したがって、移動するとともにサイズや形状を変えてゆく被写体を追跡するケース、より具体的には、ランナーが遠方から近づき、撮影者の直前を横切り、そして、遠方へ去っていくようなケースでは、マッチングに利用するテンプレートを逐次変更する必要があり、処理量が増えるという問題があった。

そこで、本発明の目的は、被写体のサイズが大きく変化する場合でも、追跡のための処理量に負担をかけることなく、被写体を追跡して最適なサイズで撮影することができるようにすることにある。

請求項１に記載の発明は、撮像手段と、この撮像手段によって撮像される画像に含まれる、追跡すべき画像領域を指定する指定手段と、前記撮像手段に対し順次撮像するよう制御する撮像制御手段と、前記指定手段によって指定された画像領域の、前記撮像制御手段によって順次撮像される画像間の変化の傾向を判断する判断手段と、この判断手段によって判断された変化の傾向に応じて、前記画像領域を含む撮影画角を調節する画角調節手段と、を備えることを特徴とする撮像装置である。
請求項２に記載の発明は、前記指定手段によって指定された画像領域の特徴量を記憶する記憶手段と、この記憶手段に記憶された画像領域に複数の探索点を設定する探索点設定手段と、乱数を用いて前記探索点設定手段によって設定された探索点の座標を更新する更新手段と、前記記憶手段に記憶されている特徴量と前記更新手段によって更新された探索点の特徴量とを比較して類似度に応じた重みを各探索点に設定する重み設定手段と、前記重み設定手段によって重みが設定された探索点を、前記重みに応じて選別する選別手段と、前記選別手段によって選別された探索点の分散を取得する分散取得手段と、を更に備え、前記判断手段は、前記分散取得手段によって取得された分散の変化に応じて、前記撮像制御手段によって順次撮像される画像間の変化の傾向を判断することを特徴とする請求項１記載の撮像装置である。
請求項３に記載の発明は、前記分散取得手段によって取得された分散に応じて、前記画角調節手段によって、前記画角調節手段が調節するべき調節量を取得する調節量取得手段を更に備えることを特徴とする請求項１又は２記載の撮像装置である。
請求項４に記載の発明は、フォーカスレンズを駆動することにより被写体に合焦する合焦手段を更に備え、前記指定手段が指定する画像領域とは、前記画像中における前記合焦手段によって合焦した領域であることを特徴とする請求項１乃至３の何れかに記載の撮像装置である。
請求項５に記載の発明は、撮像部にて撮像される画像に含まれる、追跡すべき画像領域を指定する指定ステップと、前記撮像部に対し順次撮像するよう制御する撮像制御ステップと、前記指定ステップにて指定された画像領域の、前記撮像制御ステップにて順次撮像される画像間の変化の傾向を判断する判断ステップと、この判断ステップにて判断された変化の傾向に応じて、前記画像領域を含む撮影画角を調節する画角調節ステップと、を含むことを特徴とする画角調節方法である。
請求項６に記載の発明は、撮像装置が有するコンピュータを、撮像される画像に含まれる、追跡すべき画像領域を指定する指定手段、順次撮像するよう制御する撮像制御手段、前記指定手段によって指定された画像領域の、前記撮像制御手段によって順次撮像される画像間の変化の傾向を判断する判断手段、この判断手段によって判断された変化の傾向に応じて、前記画像領域を含む撮影画角を調節する画角調節手段、として機能させることを特徴とするプログラムである。

本発明によれば、被写体のサイズが大きく変化する場合でも、追跡のための処理量に負担をかけることなく、被写体を追跡して最適なサイズで撮影することができる。

デジタルカメラ１の外観図である。 デジタルカメラ１の概略構成を示すブロック図である。 本実施形態における撮影シーンの一例を示す概念図である。 自動ズームを行わない場合と行った場合のスルー画像対比図である。 記録モード処理を実行するための制御プログラムのフローを示す図である。 追跡可否判断処理（図５のステップＳ５参照）を中央制御部１８で実行するための制御プログラムのフローを示す図である。 （ａ）は、探索対象領域Ｔ［ｎｕｍ］の概念図、（ｂ）は、初期座標設定の概念図である。 粒子Ｐの分布を示す図である。 粒子Ｐの対応付けテーブルの概念図である。 新たなＰ［ｎｕｍ］の分布図である。 追跡処理（図５のステップＳ９参照）を中央制御部１８で実行するための制御プログラムのフローを示す図である。 本実施形態における追跡処理の概念図である。

以下、本発明の実施形態を、デジタルカメラを例にして、図面を参照しながら説明する。
図１は、デジタルカメラ１の外観図であり、（ａ）は前面図、（ｂ）は背面図である。この図において、デジタルカメラ１は、手持ちに適した形状のボディ２の前面に電動ズーム機能を内蔵したレンズ鏡筒３を配すると共に、そのボディ２の背面に液晶ディスプレイからなる表示部４、ズームキー５、ファンクションキー６及びカーソルキー７を配し、さらに、そのボディ２の上面に電源スイッチ８やハーフシャッタ機能付きのシャッタキー９を配して構成されている。なお、この構成は汎用デジタルカメラのものであるが、これに限定されず、たとえば、デジタル一眼レフカメラのような構成であっても構わないし、あるいは、携帯電話機やその他の電子機器に搭載されたもの、または、デジタルビデオカメラに搭載されたものであってもよい。

図２は、デジタルカメラ１の概略構成を示すブロック図である。この図において、デジタルカメラ１は、レンズ鏡筒３、ズーム駆動制御部１０、フォーカス駆動制御部１１、撮像部１２、ＣＤＳ／ＡＤＣ１３、画像処理部１４、符号化／復号化処理部１５、プレビューエンジン１６、キー入力部１７、表示部４、中央制御部１８、ＲＡＭ１９、プログラムメモリ２０、画像記録部２１、追跡処理部２２及びこれらの各部を接続するバスライン２３を含む。

各部の詳細を説明すると、まず、レンズ鏡筒３は、光軸が揃えられた複数枚の撮影レンズを収めたレンズユニットであり、図示の撮影レンズは、そのうちのズームレンズ３ａとフォーカスレンズ３ｂを示している。ズームレンズ３ａは、ズーム駆動制御部１０の制御によって動作する不図示のズームモータの動きに伴い、他の撮影レンズに対して光軸上を前後に移動可能になっており、この移動により、被写体２４に対する撮影レンズの撮影画角（ズーム倍率）を調整する。また、フォーカスレンズ３ｂは、フォーカス駆動制御部１１の制御によって動作する不図示のフォーカスモータの動きに伴い、他の撮影レンズに対して光軸上を前後に移動可能になっており、この移動により、被写体２４の焦点位置を調整する。

撮像部１２は、ＣＣＤやＣＭＯＳなどの二次元イメージセンサで構成されており、上述のズームレンズ３ａやフォーカスレンズ３ｂを含む撮影レンズの光軸上に配置され、この撮影レンズを介して結像する被写体の光学像に応じたアナログの撮像信号を出力する。

ＣＤＳ／ＡＤＣ１３は、撮像部１２から出力される被写体の光学像に応じたアナログの撮像信号をデジタル信号に変換する回路であり、このＣＤＳ／ＡＤＣ１３は、入力された撮像信号を保持するＣＤＳと、ＡＥ（自動露出調整）処理等に伴って撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）、増幅された撮像信号をデジタルの撮像信号に変換するＡ／Ｄ変換器（ＡＤＣ）等から構成されている。

画像処理部１４は、ＣＤＳ／ＡＤＣ１３から出力されたデジタルの撮像信号に対して各種の画像処理（ガンマ処理等）を施す回路である。

符号化／復号化処理部１５は、ＪＰＥＧ形式等の所定の符号化方式で記録画像（画像記録部２１に書き込まれる画像ファイル）を圧縮したり、また、同方式で再生画像（画像記録部２１から読み出される画像ファイル）を伸張したりする回路である。

プレビューエンジン１６は、ＣＤＳ／ＡＤＣ１３から出力されたデジタルの撮像信号を縮小加工し、構図確認用のスルー画像（またはプレビュー画像ともいう。）として表示部４に出力したり、また、画像記録モードにおいて画像記録部２１に記録される直前の画像を縮小加工して表示部４に出力したり、さらには、画像再生モードにおいて画像記録部２１から読み出された画像を縮小加工して表示部４に出力したりする回路である。

キー入力部１７は、ボディ２の各部に配置された各種ボタン類（ズームキー５、ファンクションキー６、カーソルキー７、シャッタキー９等）の操作信号を生成する回路である。

表示部４は、所定アスペクト比（たとえば、１６：９）の液晶ディスプレイとドライバからなり、表示信号やドライバを駆動する駆動制御信号が入力されると、その表示信号に基づく画像をスルー画像として下位レイヤーに表示し、また、中央制御部１８から出力されるメッセージやアイコンなどを上位レイヤーに表示する。

中央制御部１８は、デジタルカメラ１の各部を統括制御するワンチップマイクロコンピュータであり、この中央制御部１８は、予めプログラムメモリ１５に格納されている制御プログラムを読み出し、この制御プログラムを実行することによってデジタルカメラ１の各部を制御し、撮像信号に含まれる輝度情報に基づいたＡＥ制御処理や、コントラスト検出方式によるオートフォーカス（ＡＦ）制御処理、ズーム制御、及び、後述の記録モード処理などを行う。

ＲＡＭ１９は、ＣＤＳ／ＡＤＣ１３から出力される画像信号を一時的に記憶するバッファメモリであり、このバッファメモリは連続撮影された画像を複数枚記憶できる容量を持っている。

プログラムメモリ２０は、中央制御部１８で実行される制御プログラムを予め格納保持するものであり、画像記録部２１は、撮影済みの画像ファイルを記録保存するものである。この画像記録部２１は、たとえば、メモリカードのような着脱できるものであってもよい。

追跡処理部２２は、後述の追跡処理を実行する回路である。バスライン２３は、デジタルカメラ１の各部の信号伝達を行う共通線である。

次に、デジタルカメラ１の動作について説明する。
「撮影シーンの例」
図３は、本実施形態における撮影シーンの一例を示す概念図である。（ａ）は被写体２４とデジタルカメラ１の位置関係例であり、上からの俯瞰図である。この例では、被写体２４が遠方（図面に正対して右方）からデジタルカメラ１に向かって接近し、デジタルカメラ１の前を通り越し、再び遠ざかる際の時系列的な位置関係を示している。（ｂ）は、その際におけるデジタルカメラ１のファインダ画像（表示部４に写し出されているスルー画像）を示しており、画像２５は被写体２４が遠方からデジタルカメラ１に向かいつつあるとき、画像２６は被写体２４がデジタルカメラ１の前を通り過ぎる瞬間、画像２７は被写体２４がデジタルカメラ１に対して背を見せながら遠ざかるときのものである。

このような撮影シーンにおいては、画像２５、２６、２７に示すように、被写体２４が「小」から「大」、そして、再び「小」へと変化するので、撮影者は、ズームキー５を操作しながら、被写体２４が所望の大きさになるように設定し、任意のシャッタチャンスを待ってシャッタキー９を全押しするものの、継続的なズーム操作は面倒を否めない。そこで、本実施形態では、最初に一度だけズーム操作を行って画角を設定し、被写体２４の大きさを意図したものにした後は、以降、自動的に画角を調節できるようにして、上記の不都合（面倒）を回避する。

具体的には、画像２５の被写体２４が構図一杯に入るように手動でズームアップすると、それ以降の画像２６や画像２７の被写体２４の大きさが、手動ズームアップ時の大きさに合わせて自動的に加減されるようにし、これにより、上記の不都合（面倒）を回避する。

（ｃ）は、そのようにして設定された画像２５´〜２７´を示している。画像２５´の被写体２４は手動でズームアップされたもの、それ以降の画像２６´、２７´の被写体２４は自動的に大きさが加減されたものである。

この（ｃ）に示すように、本実施形態では、大きさが変化しつつ移動する被写体２４に対して、自動的に画角（ズーム倍率）を調節して、その被写体２４の大きさをほぼ一定に維持できるので、操作の面倒さを招くことなくいつでも所望の画角でシャッターを切ることができるという効果が得られる上、さらに、後でも詳しく説明するが、冒頭の特許文献１のようにテンプレートマッチング法も用いないので、この特許文献１の欠点（処理時間の増加）を招かないという特有の効果が得られる。

図４は、自動ズームを行わない場合と行った場合のスルー画像対比図である。（ａ）は自動ズームを行わない場合の画像２５、２６、２７を示しており、画像２５には遠方の被写体２４、画像２６にはデジタルカメラ１の前を通り過ぎる瞬間の被写体２４、画像２７には背を見せながら遠ざかる被写体２４が写っている。これらの画像２５、２６、２７において、自動ズームを行わない場合の被写体２４の大きさは「小」から「大」へと変化し、さらに再び「小」へと変化する経過を辿る。ここで、説明の便宜上、画像２５に写っている被写体２４の大きさをａ、画像２６に写っている被写体２４の大きさをｂ、画像２７に写っている被写体２４の大きさをｃとし、ａ＜ｂ＞ｃであるものとする。

本実施形態における意図は、（ａ）のように大きさが変化（ａ→ｂ→ｃ）する被写体２４を、（ｂ）に示すように一定の大きさ（Ａ＝Ｂ＝Ｃ）に維持することにある。

一定の大きさの目標は、多くの場合、ファインダからはみ出さない程度で且つできるだけファインダ一杯に入る大きさである。これは、たとえば、被写体２４をマラソンランナーとしたときに、そのランナーの表情と全身を構図一杯に捉えて撮影するという一般的要求に合致する。とりわけ、マラソンランナーのような動きの速い被写体２４を撮影する場合は、その速度感を表現するために背景を流して撮影する、いわゆる“流し撮り”のテクニックが用いられることが多く、このような場合、被写体２４をできるだけ大きく撮影する（引きで撮影する）ことが求められるから、前記の目標（ファインダからはみ出さない程度で且つできるだけファインダ一杯に入る大きさ）は合理的である。

かかる目標を得るために、本実施形態では、一度だけ手動によるズーム操作を行う。つまり、撮影者は、画像２５の段階でズームキー５を操作し、その画像２５に写し込まれている被写体２４の大きさｃを目標の大きさ（画像２５´に写し込まれている被写体２４の大きさＡ）に合わせ込む。

以降、本実施形態においては、画像２６に写し込まれている被写体２４の大きさｂが目標の大きさ（画像２６´に写し込まれている被写体２４の大きさＢ）になるように自動ズームを行い、さらに、画像２７に写し込まれている被写体２４の大きさｃが目標の大きさ（画像２７´に写し込まれている被写体２４の大きさＣ）になるように自動ズームを行うことにより、結局、その間のスルー画像（画像２５´〜画像２７´）に写し込まれている被写体２４の大きさを、目標の大きさに合わせて一定に維持（Ａ＝Ｂ＝Ｃ）することができるのである。

次に、本実施形態の制御プログラムについて説明する。
［記録モード処理］
図５は、記録モード処理を実行するための制御プログラムのフローを示す図である。記録モード処理とは、構図確認のためのスルー画像を表示部４に表示しながら、撮影者によるハーフシャッタ操作（シャッタキー９の半押し操作）を検出すると、ＡＥ（自動露出調整）やＡＷＢ（自動ホワイトバランス調整）及びＡＦ（オートフォーカス）を行い、さらに、撮影者によるフルシャッタ操作（シャッタキー９の全押し操作）を検出すると、その時点の撮影画像をＪＰＥＧファイルに変換して画像記録部２１に記録保存するという一連の処理のことである。

この制御プログラムは、予めプログラムメモリ２０に格納されたものであり、画像記録モードにおいて、中央制御部１８にて実行されるものである。

記録モード処理を開始すると、中央制御部１８は、まず、自動ズームモードであるか否かを判定する（ステップＳ１）。自動ズームモードとは、大きさが変化しつつ移動する被写体２４に対して、自動的に画角（ズーム倍率）を調節して、その被写体２４の大きさをほぼ一定に維持する際に用いられるモードのことである。ステップＳ１の判定結果がＮＯの場合は、他の撮影モード（自動ズームを用いない通常の記録モード等）であると判断し、その撮影モードを実行するための処理（図示略）に分岐するが、ステップＳ１の判定結果がＹＥＳの場合は、以下の処理を実行する。

まず、表示部４にスルー画像を表示すると（ステップＳ２）、撮影者はズームキー５を操作して、被写体が表示領域中で所望の大きさになるように画角を調整する（ステップＳ３）。

画角の調整を終えると、次に、中央制御部１８は、ハーフシャッタ（シャッタキー９の半押し操作）の検出を待ち（ステップＳ４）、ハーフシャッタの操作を検出すると、ＡＥ（自動露出調整）やＡＷＢ（自動ホワイトバランス調整）及びＡＦ（オートフォーカス）を行うとともに、後で詳しく説明する「追跡可否判断処理」（ステップＳ５）を実行し、その判断結果が「追跡可」であるか否かを判定する（ステップＳ６）。「追跡可否判断処理」とは、簡単に言えば、ハーフシャッタによってＡＦが行われた画像領域を追跡すべき画像領域（後述の評価対象画像）として指定し、その画像領域に含まれる被写体の動きを追跡できるか否かを判断する処理のことである。

ステップＳ４で追跡不可と判断された場合は、表示部４に追跡不可メッセージを表示（ステップＳ７）して再び画角調整（ステップＳ３）に戻り、追跡可と判断された場合は、表示部４に追跡可メッセージを表示（ステップＳ８）した後、後で詳しく説明する「追跡処理」（ステップＳ９）を実行しながら、シャッタキー５の全押し操作を待つ（ステップＳ１０）。「追跡処理」とは、簡単に言えば、ハーフシャッタによってＡＦが行われた被写体の動きを追跡しつつ、その被写体が一定の大きさ（前記の目標の大きさ）になるように継続的に自動ズームを行う一連の処理のことをいう。

ステップＳ４のハーフシャッタ検出から、このステップＳ９の追跡処理が完了するまでの間、撮影者によるハーフシャッタ操作は継続している。なお、その間において、撮影者によるハーフシャッタ操作が中断された場合、すなわち、シャッタキー９から指先が離れた場合は、撮影中止であるので、図示のフローでは省略しているが、その時点でフローから抜け、制御プログラムを途中終了する。

「追跡処理」を行っている間に、シャッタキー９の全押し操作を検出すると、その時点で撮像部１２から出力される高精細な画像信号をＪＰＥＧ形式の画像ファイルに変換し、その画像ファイルを画像記録部２１に記録保存（ステップＳ１１）した後、プログラムを終了する。

［追跡可否判断処理］
図６は、追跡可否判断処理（図５のステップＳ５参照）を中央制御部１８で実行するための制御プログラムのフローを示す図である。このフローでは、スルー画像から上記のＡＦＡＦが行われた画像領域ｎ枚（ここではｎ＝５）を評価対象画像として取得し（ステップＳ１１０）、この５枚の評価対象画像に対して以下の学習処理を順番に行う。

まず、評価対象画像に所定数の探索点（以下、粒子という）Ｐを生成する（ステップＳ１１１）。たとえば、粒子Ｐの個数を２５６個とすると、各々の粒子Ｐの座標は、Ｐ［ｎｕｍ］（Ｐｘ［ｎｕｍ］，Ｐｙ［ｎｕｍ］）（０＜＝ｎｕｍ＜＝２５５）と表される。

なお、本実施形態では、粒子Ｐの個数を２５６個としたが、これに限らず、適切な個数は、デジタルカメラ１に搭載されるＣＰＵの処理能力に基づいて適宜決定すればよい。

次いで、各粒子Ｐ［ｎｕｍ］を中心とする所定範囲を、探索対象領域Ｔ［ｎｕｍ］として設定する（ステップＳ１１２）。

図７（ａ）は、探索対象領域Ｔ［ｎｕｍ］の概念図である。この図に示すように、ｓｉｚｅ＝２とし、探索対象領域Ｔを各粒子から縦横２画素範囲、つまり各粒子を中心とした縦５画素、横５画素の範囲とする。この探索対象領域Ｔ［ｎｕｍ］は、次式（１）で表される。

なお、本実施形態では、説明の容易化のためにｓｉｚｅ＝２としたが、これに限らない。適切なｓｉｚｅの値は学習精度と処理負担のトレードオフから決定すべきであり、実用上の観点からは、たとえば、４＜ｓｉｚｅ＜１０程度に設定することが望ましい。

次いで、全ての粒子Ｐ［ｎｕｍ］の初期座標を設定する（ステップＳ１１３）。
図７（ｂ）は、初期座標設定の概念図である。この図に示すように、オートフォーカスエリアＥの内側に追跡対象領域Ｃを設定すると共に、その追跡対象領域Ｃの中心点を粒子Ｐの初期座標（Ｆx，Ｆy）とし、１枚目の評価対象画像のＹＵＶの各色空間（Ｙ色空間：Ｓｒ１、Ｕ色空間：Ｓｒ２、Ｖ色空間：Ｓｒ３）において、それぞれの追跡対象領域Ｃの基準画素値Ｂ１、Ｂ２、Ｂ３を記憶する（ステップＳ１１４）。

このように、フォーカスエリアＥの中心の座標を（Ｆx，Ｆy）とすると、粒子Ｐ［ｎｕｍ］の初期座標は、次式（２）のように表される。

なお、本実施形態では、評価対象画像の色空間としてＹＵＶ色空間を用いたが、これに限らず、ＲＧＢ色空間、ＨＳＶ色空間、ＨＬＳ色空間、ＯＨＨＴＡ色空間など他の色空間を用いてもよいことはもちろんである。デジタルカメラ１のスルー画像の色空間に応じて適宜選択すればよい。

評価対象画像のＹ色空間をＳｒ１、Ｕ色空間をＳｒ２、Ｖ色空間をＳｒ３としたときの、それぞれの基準画素値Ｂ１、Ｂ２、Ｂ３は、次式（３）〜（５）で表される。

次いで、点線で囲んだ５つの処理（ステップＳ１１５〜ステップＳ１１９）を実行するが、この５つの処理と同様の処理は、後述の「追跡処理」（図１２参照）にも含まれている。

この５つの処理を説明すると、まず、正規分布に従う乱数を用いて、全ての粒子Ｐ［ｎｕｍ］の座標を更新する（ステップＳ１１５）。

図８は、粒子Ｐの分布を示す図である。なお、この図では、簡単化のために２５６個の粒子Ｐのうちの２０個のみを示している。図において、正方形の升目はそれぞれ探索対象領域Ｔであり、一部探索対象領域にＴ［０］、Ｔ［１］、Ｔ［２］、Ｔ［３］、Ｔ［４］・・・・Ｔ［６］の符号を付してある。また、升目内のドットはそれぞれ粒子Ｐであり、同様に、それらの粒子ＰにＰ［０］、Ｐ［１］、Ｐ［２］、Ｐ［３］、Ｐ［４］・・・・Ｐ［６］の符号を付してある。

ここで、平均μ、分散σ２の正規分布に従う乱数をＮ（μ，σ２）とした場合、粒子Ｐ［ｎｕｍ］の座標は、次式（６）のように更新される。

このようにして、全ての粒子Ｐ［ｎｕｍ］の座標を更新すると、次に、各粒子の重みを算出する（ステップＳ１１６）。具体的には、評価対象画像のＹＵＶの各色空間において、それぞれの探索対象領域Ｔ［ｎｕｍ］を構成する画素Ｑの画素値を算出し、その画素値と記憶した基準画素値Ｂ１〜Ｂ３との差分が所定範囲内であるものの画素数を計数して、その個数を当該粒子の重みとする。

この「重み」は、評価対象画像の探索対象領域Ｔ［ｎｕｍ］と１枚目の評価対象画像の追跡対象領域Ｃとの類似度合いを示す。すなわち、重みが大きいということは、評価対象画像の探索領域Ｔ［ｎｕｍ］と、１枚目の評価対象画像の追跡対象領域Ｃとが類似していることを意味する。

具体的には、上下の閾値をＴＨ１，ＴＨ２として、次式（７）〜（９）を満たすものの画素Ｑの個数をカウントし、重みＰｗ［ｎｕｍ］とする。ちなみに、本実施形態では、ｓｉｚｅを２とし、各探索対象領域Ｔ［ｎｕｍ］を構成する画素Ｑを２５個としたので、重みＰｗ［ｎｕｍ］の最小値はゼロ、最大値は２５となる。

次に、粒子Ｐのリサンプリングを行う（ステップＳ１１７）。具体的には、閾値をＴＨ３として、重みＰｗがＴＨ３以下である粒子を除去した後、粒子Ｐのサンプリングを行う（ステップＳ１１８）。すなわち、リサンプリングにより残った粒子Ｐの重みＰｗの総和を所定値Ｎとするようにサンプリングを行う。次に、Ｎ個の識別子を生成し、これらＮ個の識別子のそれぞれを、重みＰｗに応じて粒子Ｐに対応付ける。つまり、粒子Ｐの重みＰｗが大きいほど、この粒子Ｐに対応する識別子の個数が多くなる。

次に、Ｎ個の識別子の中の１つをランダムに選択する処理を、粒子Ｐの個数に等しい回数だけ繰り返し、この選択された識別子に対応する粒子Ｐを、新たな２５６個の粒子Ｐ［ｎｕｍ］として記憶する。ここで、特定の粒子Ｐが複数回選択される場合があるが、この場合、特定の粒子Ｐを複数回記憶する。

図９は、粒子Ｐの対応付けテーブルの概念図である。この図において、ステップＳ１１７で用いるＴＨ３を４とし、重みＰｗの総和であるＮを１０２４とし、識別子として０〜１０２３までの整数を生成する。そして、これら１０２４個の整数のそれぞれを、重みＰｗに応じて粒子Ｐに対応付ける。

たとえば、粒子Ｐ［２３］は、重みＰｗが２２であるため、０−２１の整数に対応する。粒子Ｐ［２４８］は、重みＰｗが２２であるため、２２−４３の整数に対応する。

次に、ゼロから１０２３の範囲内で乱数を２５６回発生させて、発生した乱数に等しい数値を１０２４個の整数の中から抽出し、この抽出した数値に対応する粒子Ｐを新たな粒子Ｐ［ｎｕｍ］として記憶する。

つまり、以上のステップＳ１１７（粒子のリサンプリング）およびステップＳ１１８（粒子のサンプリング）の処理により、Ｐ［ｎｕｍ］の中から特定のものが選択されて、０〜２５５の番号が付され、新たなＰ［ｎｕｍ］として記憶される。

図１０は、新たなＰ［ｎｕｍ］の分布図である。粒子Ｐの分布は、先の図８に示す状態からこの図に示す状態になる。たとえば、Ｐ［５］、Ｐ［６］は、重みＰｗがＴＨ３未満であるか、または、乱数により選択されなかったために消去される。一方、Ｐ［０］は、新たなＰ［９２］、Ｐ［１１９］として記憶され、Ｐ［１］は、新たなＰ［２０８］として記憶され、Ｐ［２］は、新たなＰ［１０３］として記憶される。また、Ｐ［３］は、新たなＰ［１３９］として記憶され、Ｐ［４］は、新たなＰ［５４］として記憶される。

このようにして、新たなＰ［ｎｕｍ］の分布を得ると、次に、新たな粒子Ｐ［ｎｕｍ］の座標の分散Ｖを算出する（ステップＳ１１９）。ここまでが、点線で囲んだ５つの処理（ステップＳ１１５〜ステップＳ１１９）の動作説明である。

ちなみに、「分散Ｖ」とは、粒子の空間的な分布（正規分布に限らない）の分散を表す値であり、この「分散Ｖ」の値は、次式（１０）で与えられる。ただし、式（１０）中のｘ1、ｙ1は粒子の座標、上線付きのｘ、ｙはｘまたはｙの平均値を表す。なお、この「分散Ｖ」と前式（４）の「分散σ２」は無関係である。前式（４）の「分散σ２」は、ステップＳ１１５で粒子の座標を更新する際に、正規分布に従う乱数で座標の移動をさせているが、そのときの正規分布の分散を示している。それに対し「分散Ｖ」は、被写体を追跡している複数の粒子の空間的な分布の分散を示している。

次に、分散Ｖが所定の閾値未満であるか否かを判定し（ステップＳ１２０）、その判定結果がＮＯの場合は、撮影対象を追跡できないため、ステップＳ１２６に移り、追跡不可フラグをオンにして、図５のステップＳ６に戻る一方、その判定結果がＹＥＳの場合は、分散Ｖの前回からの変化量が大きいか否かを判定する（ステップＳ１２１）。

そして、その判定結果がＮＯの場合は、追跡不可フラグをオンにして、図５のステップＳ６に戻る一方、その判定結果がＹＥＳの場合は、全粒子Ｐ［ｎｕｍ］の座標の重みつき平均を撮影対象の現在の座標として算出し（ステップＳ１２２）、その座標が評価対象画像の追跡範囲内に位置しているか否かを判定する（ステップＳ１２３）。

そして、その判定結果がＮＯの場合は、追跡不可フラグをオンにして、図５のステップＳ６に戻る一方、その判定結果がＹＥＳの場合は、現在の評価対象画像が最後（５枚目）であるか否かを判定し（ステップＳ１２４）、その判定結果がＮＯの場合は、評価対象画像を次の画像に更新して（ステップＳ１２５）、ステップＳ１１５に戻ってループ処理を行い、その判定結果がＮＯの場合は、そのまま図５のステップＳ６に進む。

［追跡処理］
図１１は、追跡処理（図５のステップＳ９参照）を中央制御部１８で実行するための制御プログラムのフローを示す図である。

先にも説明したとおり、「追跡処理」とは、要するに、ハーフシャッタによってＡＦが行われた被写体の動きを追跡しつつ、追跡対象被写体の変化の傾向を判断して、その被写体が一定の大きさ（前記の目標の大きさ）になるように継続的に自動ズームを行う一連の処理のことをいう。

そして、本実施形態では、この「追跡処理」で、前記の５つのステップ（図６のステップＳ１１５〜ステップＳ１１９）と同一の処理を実行し、その処理によって得られる分散Ｖの変化の傾向と、追跡対象被写体の変化の傾向との間に一定の相関が成立していることに着目し、動きを伴う被写体を追跡しながら撮影画角を調節してその被写体を所望の大きさで撮影することができるようにしている。

すなわち、この追跡処理では、まず、前記の５つのステップ（図６のステップＳ１１５〜ステップＳ１１９）と同一の処理を実行し（ステップＳ２０１）、今回の分散Ｖ（Ｎ）と前回の分散Ｖ（Ｎ−１）とを比較する（ステップＳ２０２）。ステップＳ２０２の比較結果は「Ｖ（Ｎ）＜Ｖ（Ｎ−１）」、「Ｖ（Ｎ）＝Ｖ（Ｎ−１）」または「Ｖ（Ｎ）＞Ｖ（Ｎ−１）」のいずれかになる。「Ｖ＜Ｖ（Ｎ−１）」は今回の分散Ｖ（Ｎ）が前回の分散Ｖ（Ｎ−１）よりも“小さい”、「Ｖ（Ｎ）＝Ｖ（Ｎ−１）」は今回の分散Ｖ（Ｎ）と前回の分散Ｖ（Ｎ−１）が“同じ”、「Ｖ（Ｎ）＞Ｖ（Ｎ−１）」は今回の分散Ｖ（Ｎ）が前回の分散Ｖ（Ｎ−１）よりも“大きい”である。

分散Ｖ（Ｎ）が前回と比較して大きくなった場合（Ｖ（Ｎ）＞Ｖ（Ｎ−１））とは、たとえば、人物か近づいてきたなど、撮影対象が大きくなったと考えられる場合であり、この場合は、被写体の大きさを一定に保つためにズームアウト処理を行う。その逆に、分散Ｖ（Ｎ）が前回と比較して小さくなった場合（Ｖ（Ｎ）＜Ｖ（Ｎ−１））とは、たとえば、人物か遠ざかったなど、撮影対象が小さくなったと考えられる場合であり、この場合は、被写体の大きさを一定に保つためにズームイン処理を行う。

具体的には、ステップＳ２０２の比較結果が「小さい」場合（分散Ｖ（Ｎ）が前回と比較して小さくなった場合：Ｖ（Ｎ）＜Ｖ（Ｎ−１））はズームレンズ３ａをＴ（望遠）側に駆動制御（ズームイン制御）して画角を狭くし、同比較結果が「大きい」場合（分散Ｖ（Ｎ）が前回と比較して大きくなった場合：Ｖ（Ｎ）＞Ｖ（Ｎ−１））はズームレンズ３ａをＷ（広角）側に駆動制御（ズームアウト制御）して画角を広くする。また、同比較結果が「同じ」場合は何もしない（ズームレンズ３ａを駆動制御しない）。

図１２は、本実施形態における追跡処理の概念図であり、追跡処理の５つの処理（ステップＳ１１５〜ステップＳ１１９）によって得られた分散Ｖは、追跡対象被写体の大きさの変化を表している。たとえば、図１２の左側縦三つに並んだ被写体３９、４０、４１のうち中段の被写体４０の大きさを目標の大きさ（図５のステップＳ３で画角調整の目標となる大きさ）とする。この時、被写体４０の大きさを基準とし、被写体の大きさが被写体４０の大きさから被写体３９の大きさに変化する（つまり、近づきつつある）二つの被写体３９、４０に対する分散Ｖと、被写体４０の大きさから被写体４１の大きさに変化する（つまり、遠ざかりつつある）二つの被写体４０、４１に対する分散Ｖとを比べたとき、前者の分散Ｖは大きく（Ｖ（Ｎ）＞Ｖ（Ｎ−１））、後者の分散Ｖは小さい（Ｖ（Ｎ）＜Ｖ（Ｎ−１））。

したがって、分散Ｖの変化を調べることにより、追跡対象被写体の変化の傾向を判断することができ、その検出結果に従ってズームインやズームアウトの制御を行うことができる。

このように、本実施形態においては、追跡処理において、粒子Ｐ［ｎｕｍ］の座標の分散Ｖを算出し、その分散Ｖの変化に基づいて追跡対象被写体の大きさの変化を把握するので、テンプレートマッチング法などによって被写体を検出する必要がなくなり、被写体のサイズが大きく変化する場合であっても、処理量を増やすことなく、追跡対象被写体の大きさを一定に保つことができるという格別の効果を奏することができる。

１０ ズーム駆動制御部
１２ 撮像部
１８ 中央制御部
２２ 追跡処理部
２４ 被写体

Claims (6)

1. 撮像手段と、
   この撮像手段によって撮像される画像に含まれる、追跡すべき画像領域を指定する指定手段と、
   前記撮像手段に対し順次撮像するよう制御する撮像制御手段と、
   前記指定手段によって指定された画像領域の、前記撮像制御手段によって順次撮像される画像間の変化の傾向を判断する判断手段と、
   この判断手段によって判断された変化の傾向に応じて、前記画像領域を含む撮影画角を調節する画角調節手段と、
   を備えることを特徴とする撮像装置。
2. 前記指定手段によって指定された画像領域の特徴量を記憶する記憶手段と、
   この記憶手段に記憶された画像領域に複数の探索点を設定する探索点設定手段と、
   乱数を用いて前記探索点設定手段によって設定された探索点の座標を更新する更新手段と、
   前記記憶手段に記憶されている特徴量と前記更新手段によって更新された探索点の特徴量とを比較して類似度に応じた重みを各探索点に設定する重み設定手段と、
   前記重み設定手段によって重みが設定された探索点を、前記重みに応じて選別する選別手段と、
   前記選別手段によって選別された探索点の分散を取得する分散取得手段と、を更に備え、
   前記判断手段は、前記分散取得手段によって取得された分散の変化に応じて、前記撮像制御手段によって順次撮像される画像間の変化の傾向を判断する
   ことを特徴とする請求項１記載の撮像装置。
3. 前記分散取得手段によって取得された分散に応じて、前記画角調節手段によって、前記画角調節手段が調節するべき調節量を取得する調節量取得手段を更に備えることを特徴とする請求項２記載の撮像装置。
4. フォーカスレンズを駆動することにより被写体に合焦する合焦手段を更に備え、前記指定手段が指定する画像領域とは、前記画像中における前記合焦手段によって合焦した領域であることを特徴とする請求項１乃至３の何れかに記載の撮像装置。
5. 撮像部にて撮像される画像に含まれる、追跡すべき画像領域を指定する指定ステップと、
   前記撮像部に対し順次撮像するよう制御する撮像制御ステップと、
   前記指定ステップにて指定された画像領域の、前記撮像制御ステップにて順次撮像される画像間の変化の傾向を判断する判断ステップと、
   この判断ステップにて判断された変化の傾向に応じて、前記画像領域を含む撮影画角を調節する画角調節ステップと、
   を含むことを特徴とする画角調節方法。
6. 撮像装置が有するコンピュータを、
   撮像される画像に含まれる、追跡すべき画像領域を指定する指定手段、
   順次撮像するよう制御する撮像制御手段、
   前記指定手段によって指定された画像領域の、前記撮像制御手段によって順次撮像される画像間の変化の傾向を判断する判断手段、
   この判断手段によって判断された変化の傾向に応じて、前記画像領域を含む撮影画角を調節する画角調節手段、
   として機能させることを特徴とするプログラム。

Images