JP2017046029A - 撮像制御装置、撮像装置および撮像制御プログラム - Google Patents

Abstract

【課題】移動する被写体に対する追尾性能を従来よりも向上させる。【解決手段】撮像制御装置は、撮像範囲を撮像方向とは異なる方向にシフトさせるように駆動されるシフト手段２１２および撮像範囲の大きさを変更するように駆動される画角変更手段２１１のそれぞれの駆動を制御する制御手段２２２と、前記撮像範囲の撮像により生成された画像から被写体に関する情報を取得する被写体情報取得手段２５１１とを有する。制御手段は、被写体に関する情報とシフト手段の位置を検出するシフト位置検出手段２２２７ａ，２２２７ｂから取得したシフト手段の位置とに応じて画角変更手段の駆動を制御する。【選択図】図２

Description

本発明は、撮像において被写体を追尾する制御を行う撮像装置に関する。

撮像装置（以下、カメラという）には、該カメラの振れを角速度センサ等の振れ検出器により検出し、検出された振れに起因する像振れを抑制するように撮像光学系内のレンズ等のシフト素子を光軸に直交する方向にシフトさせる防振機能が設けられたものがある。ただし、撮像光学系の焦点距離が長い（撮像画角が小さい）望遠側での撮像において、特に撮像対象である被写体が移動している場合に以下の問題が生ずる。

第１に、ユーザは被写体を撮像画角に対応する撮像範囲（撮像画面）内に留めるために被写体を追尾するようにカメラを動かす必要があるが、撮像画角が小さいために被写体が撮像画面から外れやすい。このため、被写体を撮像画面内に捉え続けるためにはユーザに高度な撮像技術が求められる。第２に、ユーザが被写体を正確に追尾するようにカメラを動かしても、防振システムによってカメラの動きが手振れによるものと誤認識されてシフト素子がシフト駆動される。この結果、被写体を撮像画面内に留めておけなくなるおそれがある。

これらの問題に対して、特許文献１には、撮像により生成された画像内で被写体の位置を検出し、被写体が撮像画面のうち第１の領域より外側の領域で検出されたときに撮像光学系を自動的に広角側にズームアウトするように制御する撮像装置が開示されている。これにより、被写体の追尾中に被写体が撮像画面から外れそうになると撮像画角が自動的に大きくなるため、被写体を撮像画面内に捉えておくことが可能となる。また、特許文献１の撮像装置では、ズームアウト後に被写体が撮像画面のうち第２の領域内に入ると、撮像光学系を自動的に望遠側にズームインするように制御する。このようなズーム制御を、ここでは追尾ズーム制御という。

特開２０１５−３７２４８号公報

しかしながら、特許文献１にて開示された撮像装置のように追尾ズーム制御が行われる構成においてシフト素子の可動範囲（以下、シフト可能範囲という）と無関係にそれが行われると以下のような問題が生じる。

シフト可能範囲は、撮像光学系のズーム状態（つまりは撮像範囲）に応じて異なるように設定される。具体的には、ズームインした状態とズームアウトした状態とを比べると、前者の方が狭く、後者の方が広く設定される。ただし、ズームイン状態からズームアウトがなされたときに、シフト素子がズームアウト後のシフト可能範囲の端の近くに位置すると、シフト素子をシフト可能範囲の端に向かう方向にわずかにしかシフトさせることができない。このため、ズームアウトしたにもかかわらず被写体の追尾を続行することができなくなるおそれがある。また、ズームアウト状態からズームインがなされた際にシフト素子がズームイン後のシフト可能範囲の端に位置すると、それ以上シフト素子をシフト可能範囲を超えるようにシフトさせることができない。このため、被写体が撮像画面の中央から少しずれただけでズームイン状態での被写体の追尾を行うことができなくなるおそれがある。

本発明は、移動する被写体に対する追尾性能を従来よりも向上させることができるようにした撮像装置を提供する。

本発明の一側面としての撮像制御装置は、撮像範囲を撮像方向とは異なる方向にシフトさせるように駆動されるシフト手段および撮像範囲の大きさを変更するように駆動される画角変更手段のそれぞれの駆動を制御する制御手段と、撮像範囲の撮像により生成された画像から被写体に関する情報を取得する被写体情報取得手段とを有する。そして、制御手段は、被写体に関する情報とシフト手段の位置を検出するシフト位置検出手段から取得したシフト手段の位置とに応じて画角変更手段の駆動を制御することを特徴とする。

なお、上記撮像制御装置を有する撮像装置も本発明の他の一側面を構成する。

また、本発明の他の一側面としての撮像制御プログラムは、撮像範囲を撮像方向とは異なる方向にシフトさせるように駆動されるシフト手段および撮像範囲の大きさを変更するように駆動される画角変更手段のそれぞれの駆動を制御する処理をコンピュータに実行させるコンピュータプログラムである。そして、上記処理は、撮像範囲の撮像により生成された画像から被写体に関する情報を取得し、シフト手段の位置を取得し、被写体に関する情報とシフト手段の位置とに応じて画角変更手段の駆動を制御することを特徴とする。

本発明によれば、撮像範囲（撮像画角）が被写体に関する情報だけでなくシフト手段の位置に応じて変更されるので、撮像範囲の変更後に被写体を見失う確率を低下させて被写体追尾性能を向上させることができる。

本発明の実施例１であるカメラの動作（被写体追尾制御処理）を示すフローチャート。 実施例１のカメラの構成を示すブロック図およびシフト制御部の構成を示すブロック図。 実施例１のカメラの軸方向を示す図。 実施例１におけるシフトレンズの位置を示す図。 本発明の実施例２であるカメラの動作（被写体追尾制御処理）を示すフローチャート。 被写体を見失うケースを示す図。 実施例２における被写体速度と所定時間との関係を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

まず、図２（ａ）を用いて、本発明の実施例１である撮像装置（以下、カメラという）２０１の構成について説明する。２１０は光学ブロック（撮像光学系）であり、変倍レンズ２１１、シフトレンズ２１２、フォーカスレンズ２１３、絞り２１４およびシャッタ２１５を含む。

画角変更手段としての変倍レンズ２１１は、光学ブロック２１０の光軸に沿った方向（光軸方向）に移動して光学ブロック２１０の焦点距離（つまりは撮像画角）を変更する変倍を行う。なお、光軸方向は、カメラ２０１が撮像する方向としての撮像方向に対応する。

シフト素子（シフト手段）としてのシフトレンズ２１２は、手振れ等によるカメラ２０１の振れ（以下、カメラ振れという）に起因する像振れを補正（抑制）するために光軸方向に直交する方向にシフトする。また、シフトレンズ２１２は、そのシフト駆動を制御することで、像振れの補正だけでなく、光学ブロック２１０を通して撮像される被写体側の範囲、すなわち撮像範囲を撮像方向とは異なる（撮像方向に直交する）方向シフトさせることができる。撮像範囲のシフト駆動を制御することで、移動する被写体を追尾してカメラ２０１を移動（パンニング等）させながら撮像を行う際に被写体を撮像範囲、言い換えればカメラ２０１における撮像画面内に留めるように制御する被写体追尾制御を行うことができる。

フォーカスレンズ２１３は、光軸方向に移動して焦点調整を行う。絞り２１４は、その絞り開口の径を変化させることで光量を調節する。シャッタ２１５は、後述する撮像素子２３１の露光を制御する。

２２０は光学駆動コントロールブロックである。該ブロック２２０は、レンズ２１１〜２１３の駆動を制御するズーム制御部２２１、シフト制御部２２２およびフォーカス制御部２２３と、絞り２１４およびシャッタ２１５の駆動を制御する絞り制御部２２４およびシャッタ制御部２２５とを含む。

撮像素子２３１は、光学ブロック２１０により形成された光学像を電気信号に変換する。撮像素子２３１は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成され、撮像制御部２３２によってその動作タイミング等が制御される。

２３３は撮像素子２３１から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器である。Ａ／Ｄ変換器２３３からのデジタル信号（撮像信号）は、画像入力部２３４にて所定フォーマットに変換されて画像処理部２５１に入力される。画像処理部２５１は、撮像信号に対して画素補間処理および色変換処理等の画像処理を行って画像信号（画像データ）を生成する。画像データは、静止画と動画のデータを含む。撮像素子２３１および画像処理部２５１により撮像手段が構成される。

また、画像処理部２５１は、画像データから被写体を検出するとともに被写体に関する情報を取得する被写体検出部（被写体情報取得手段）２５１１を含む。さらに、画像処理部（画像処理手段）２５１は、画像データの一部を切り出してそのサイズを変更する処理等も行う。画像処理部２５１からの画像データは、内部メモリ２４３に一時的に保存される。

２４１はメモリ制御回路であり、Ａ／Ｄ変換器２３３、画像処理部２５１、圧縮伸長回路２４２および内部メモリ２４３を制御し、撮像画像の記録メディア２４４への記録も制御する。

２６１は画像表示制御部であり、２０６はＴＦＴやＬＣＤ等の表示デバイスにより構成される画像表示部である。内部メモリ２４３に書き込まれた画像データは、画像表示制御部２６１を介して画像表示部２０６により表示される。２４２は画像データを圧縮伸長する圧縮・伸長回路であり、内部メモリ２４３に格納された画像データを読み込んで圧縮処理または伸長処理を行い、該処理後の画像データを再び内部メモリ２４３に書き込む。

２８０はシステムコントローラであり、カメラ２０１全体の動作を制御する。２０２，２０３，２０４および２０５は、システムコントローラ２８０に対して各種動作を指示するためにユーザによって操作される操作部材であり、スイッチ、ダイアル、タッチパネル等で構成される。レリーズボタン２０３は、静止画撮像を指示したり、動画撮像の開始と停止を指示したりするために操作される。システムコントローラ２８０は、撮像制御部２３２を通じて撮像素子２３１の動作を制御するとともに、メモリ制御回路２４１を通じて画像処理部２５１を制御することで撮像動作を制御する。

２０４はズーム操作キーであり、変倍レンズ２１１の駆動（すなわちズーム）を指示するために操作する。システムコントローラ２８０は、ズーム操作キー２０４の操作方向および操作量に応じて、ズーム制御部２２１を通じて変倍レンズ２１１の駆動方向および駆動速度を制御する。２７１は電源制御部であり、電源ボタン２０２の信号をトリガとしてバッテリ２７２からの電力をシステムコントローラ２８０を通じてカメラ２０１内の各部に供給する。

図２（ｂ）には、制御手段としてのシフト制御部２２２の構成を示している。このシフト制御部２２２と前述した被写体検出部２５１１とにより撮像制御装置が構成される。２２２１は角速度センサ等により構成される振れ検知部（振れ検出手段）であり、カメラ振れに応じた振れ信号としての角速度信号を生成する。振れ検知部２２２１におけるピッチ振れセンサ２２２１ａは、２０１のピッチ方向のカメラ振れを検出し、ヨー振れセンサ２２２１ｂはヨー方向のカメラ振れを検出する。なお、カメラ２０１に対するピッチ、ヨーおよびロール方向とＸ，ＹおよびＺ軸の定義を図３に示す。矢印３０３ｐはＸ軸回りでのピッチ方向を示し、矢印３０３ｙはＹ軸回りでのヨー方向を示す。また、矢印３０２はＺ軸回りでのロール方向を示している。Ｚ軸は光学ブロック２１０の光軸に相当する。

振れセンサ２２２１ａ，２２２１ｂからの角速度信号（アナログ信号）は、Ａ／Ｄ変換器２２２３ａ，２２２３ｂによりデジタル信号としての角速度信号に変換される。フィルタ２２２３ａ，２２２３ｂはＡ／Ｄ変換器２２２２からの角速度信号のうち所定の低域カットオフ周波数以下の低周波成分を除去する。

目標位置算出部２２２４は、フィルタ２２２３ａ，２２２３ｂからの角速度信号を積分して、カメラ振れの振れ量（カメラ振れ角度）を算出する。また、目標位置算出部２２２４は、カメラ振れ角度を変倍レンズ２１１の位置であるズーム位置、フォーカスレンズ２１３の位置であるフォーカス位置およびこれらから求められる光学ブロック２１０の焦点距離や撮像倍率に基づいて増幅して、防振目標角度を算出する。これは、焦点距離や撮像倍率等の光学的な変化により、カメラ振れ角度に対する撮像素子２３１（撮像面）上での像変位量（つまりは防振敏感度）が変化するためである。

また、目標位置算出部２２２４は、算出した防振目標角度からシフトレンズ２１２の目標位置である目標シフト位置を算出する。さらに、目標位置算出部２２２４には、シフト位置検出手段としてのシフト位置検出部２２２７ａ，２２２７ｂにより検出されたシフトレンズ２１２の現在（実際）のピッチ方向およびヨー方向での位置（以下、実シフト位置という）を示す信号が入力される。目標位置算出部２２２４は、目標シフト位置と実シフト位置との差分を算出して位置制御部２２２５に入力する。

位置制御部２２２５は、目標シフト位置と実シフト位置との差分が０に近づくように、ドライバ２２２６に含まれるシフトアクチュエータ（ボイスコイルモータ等）の駆動を制御する。これにより、シフトレンズ２１２がシフト駆動され、像振れが抑制される。なお、シフトレンズ２１２のシフト駆動が可能な範囲は、ズーム位置に応じて定められる。これを、本実施例ではシフト可能範囲と称する。

次に、本実施例における被写体追尾制御の概要について説明する。被写体を追尾するためには、被写体に関する情報を取得する必要がある。本実施例にいう被写体に関する情報は、被写体の位置、サイズ（大きさ）および移動速度のうち少なくとも１つである。図２（ａ）に示した画像処理部２５１は、前述した被写体検出部２５１１を有する。被写体検出部２５１１は画像データから被写体を検出して、該被写体のサイズ、位置および移動速度を取得する。

具体的には、被写体検出部２５１１は、以下に説明するＡＦ追尾により得られる情報を用いて画像データ内の被写体の位置を検出する。ＡＦ追尾は、テンプレートマッチング法や、動画データの現在フレームと前フレームの差分から追尾対象（被写体）の位置を特定する相対差分法や、追尾対象を色や輝度により抽出してそれらが一致する画像領域を探索する色・輝度一致法等を用いて行うことができる。そして、このＡＦ追尾によって得られた被写体の座標およびサイズの情報を用いることで、移動する被写体にピントを合わせ続けるようにＡＦ（オートフォーカス）を行う。被写体検出部２５１１は、このＡＦ追尾により得られる情報から被写体の位置およびサイズを取得するとともに、被写体の座標の時間変化量から被写体の移動速度を算出する。

なお、被写体検出部２５１１は、ＡＦ追尾により得られる情報を用いずに被写体に関する情報を取得してもよい。例えば、現在フレームと前フレームから得られる動きベクトルを用いて被写体に関する情報を取得してもよい。

シフト制御部２２２は、こうして得られた被写体に関する情報を用いて被写体が撮像画面内のどの領域に位置するかを判定する。そして、被写体が位置すると判定した領域に応じて、被写体が撮像画面の中央付近に留まるようにシフトレンズ２１２のシフト駆動を制御する。

ところで、シフト制御部２２２が被写体を追尾するようにシフトレンズ２１２のシフト駆動を制御している際に、撮像画面（つまりはズーム位置）に対して被写体の移動量が大き過ぎると、シフトレンズ２１２がそのシフト可能範囲の端位置までシフトする場合がある。この場合、それ以降の追尾を行うためにシフトレンズ２１２をシフトさせることができず、被写体の追尾の続行が困難になるおそれがある。そこで、本実施例では、被写体を追尾する際にシフトレンズ２１２の位置やシフト量からズーム位置を決定する。

図１のフローチャートは、本実施例においてシフト制御部２２２が被写体追尾制御のために行う処理の流れを示している。シフト制御部２２２は、ＣＰＵまたはＭＰＵ等を用いてコンピュータとして構成され、コンピュータプログラムである撮像制御プログラムに従って本処理を実行する。また、図４には、シフトレンズ２１２の可動範囲であるシフト可能範囲を示しており、点Ｏを光軸位置（座標（０，０））とする。

まず、シフト制御部２２２は、ステップＳ１０１において、現在のズーム位置Ｚｎとシフト可能範囲を取得する。シフト可能範囲はズーム位置に応じて定まる所定の範囲であり、図４ではＮで示す。

次に、ステップＳ１０２では、シフト制御部２２２は、現在のシフトレンズ２１２の位置であるシフト位置Ｐ（ｘ，ｙ）を取得する。光軸位置Ｏからシフト位置Ｐまでの距離は、
｜Ｐ｜＝√（ｘ^２＋ｙ^２） …（１）
と表すことができる。

次に、ステップＳ１０３では、シフト制御部２２２は、ステップＳ１０２でシフト位置Ｐを取得した時刻からの経過時間が所定時間Ｔに達したか否かを判定する。シフト制御部２２２は、この所定時間Ｔの間にシフト位置Ｐの取得をｍ回（ｍは任意の整数）繰り返す。ｋ回目（ｋ＝１〜ｍ）に取得したシフト位置ＰをＰｋとする。経過時間が所定時間Ｔに達した場合はステップＳ１０４に進み、所定時間Ｔに達していなければステップＳ１０２に戻る。

ステップＳ１０４では、シフト制御部２２２は、所定時間Ｔの最後に取得したシフト位置Ｐｍが第１の所定範囲内か否かを判定する。図４において、第１の所定範囲をＲで示す。本実施例において、第１の所定範囲Ｒは、シフト可能範囲Ｎの任意の閾値ＴＨ１［倍］（ただし、ＴＨ１＜０）に設定する。また、本ステップでの判定は、式（１）により算出される光軸中心Ｏからシフト位置Ｐｍまでの距離｜Ｐｍ｜を用いて行う。この際、取得した全てのシフト位置Ｐ１〜Ｐｍについて第１の所定範囲Ｒ内か否かを判定してもよいし、シフト位置Ｐ１〜Ｐｍを加算して平均した値を用いて判定してもよい。

所定時間Ｔの最後に取得されたシフト位置Ｐｍが第１の所定範囲Ｒ内にある（｜Ｐｍ｜≦Ｎ・ＴＨ１である）場合は、追尾中の被写体の移動量に対して現状の撮像画角は適切または大きい（撮像倍率が適切または小さい）。この場合はステップＳ１０５に進む。一方、シフト位置Ｐｍが第１の所定範囲Ｒ外にある（｜Ｐｍ｜＞Ｎ・ＴＨ１である）場合は、追尾中の被写体の移動量に対して撮像画角が小さい（撮像倍率が大きい）。つまり、シフトレンズ２１２がそのシフト可能範囲でシフトするだけでは被写体を追尾しきれず、被写体を見失う可能性がある。このため、ステップＳ１０９に進む。

ステップＳ１０５では、シフト制御部２２２は、シフト位置Ｐｍが第２の所定範囲の内側か否かを判定する。図４において、第２の所定範囲をＳで示す。本実施例において、第２の所定範囲Ｓは、シフト可能範囲Ｎの任意の閾値ＴＨ２［倍］（ただし、ＴＨ２＜ＴＨ１＜０）に設定する。シフト位置Ｐｍが第２の所定範囲Ｓの内側にある（｜Ｐｍ｜≦Ｎ・ＴＨ２である）場合は撮像画角が大きいと判断してステップＳ１０６に進む。一方、シフト位置Ｐｍが第２の所定範囲Ｓの外側にある（｜Ｐｍ｜＞Ｎ・ＴＨ２である）場合は、撮像画角は適切としてそのまま本処理を終了する。

ステップＳ１０６では、シフト制御部２２２は、光学ブロック２１０を望遠側へズーム（ズームイン）する際の目標ズーム位置Ｚｔを求める。これは、前述した通り、追尾中の被写体の移動量に対して撮像画角が大きいため、撮像画角を小さくしても追尾性能に問題がないためである。目標ズーム位置Ｚｔは、小さくなった後の撮像画角に応じたシフト可能範囲Ｎｔに対してＰｍ′が、
Ｎｔ×ＴＨ２＜Ｐｍ′＜Ｎｔ×ＴＨ１ …（２）
を満足するように求められる。Ｎｔ×ＴＨ１およびＮｔ×ＴＨ２はそれぞれ、小さくなった後の撮像画角に応じた第１の所定範囲および第２の所定範囲である。Ｐｍ′はズーム位置を変更した後の防振敏感度を考慮して設定されたシフト位置である。
ステップＳ１０６の処理が終了したシフト制御部２２２は、ステップＳ１０７に進み、被写体追尾時に目標とするシフト位置である目標シフト位置Ｌｔを演算する。この目標シフト位置Ｌｔは、ステップＳ１０６で算出されたズーム位置Ｚｔに応じて求められる。この際、被写体に関する情報として被写体の移動速度（以下、被写体速度という）をパラメータの１つとして目標シフト位置Ｌｔを設定してもよい。例えば、被写体速度が速い場合には、変倍レンズ２１１およびシフトレンズ２１２の駆動中に被写体が到達する位置を予測して目標シフト位置を決定することで、ズームイン後に迅速に被写体の追尾を再開することができる。

続いて、ステップＳ１０８において、シフト制御部２２２は、変倍レンズ２１１をステップＳ１０６で算出したズーム位置Ｚｔに駆動するとともに、シフトレンズ２１２をステップＳ１０７で算出した目標シフト位置Ｌｔにシフト駆動する。なお、本ステップでの処理は、ユーザによりズーム操作キー２０４が操作されたときのみ行ってもよい。これにより、ユーザが撮像画面内での被写体のサイズの変更を希望しない場合は該サイズを維持したまま被写体を追尾することができる。この後、シフト制御部２２２は本処理を終了する。

一方、ステップＳ１０９では、シフト制御部２２２は、光学ブロック２１０を広角側へズームアウトする際の目標ズーム位置（つまりは変更後の撮像画角）Ｚｗを求める。これは、前述した通り、追尾中の被写体の移動量に対して撮像画角が小さいため、撮像画角を大きくしなければ被写体を見失う可能性があるためである。目標ズーム位置Ｚｗは、大きくなった後の撮像画角に応じたシフト可能範囲Ｎｗに対してＰｍ′が、
Ｎｗ×ＴＨ２＜Ｐｍ′＜Ｎｗ×ＴＨ１ …（２）′
を満足するように求められる。Ｎｗ×ＴＨ１およびＮｗ×ＴＨ２はそれぞれ、大きくなった後の撮像画角に応じた第１の所定範囲および第２の所定範囲である。

この際、シフト制御部２２２は、被写体速度をパラメータの１つとして目標ズーム位置Ｚｗを設定してもよい。例えば、被写体速度が速い場合には、より広角側にズームアウトさせることにより、ズームアウト終了後の被写体の追尾の安定性を向上させることができる。

また、被写体に関する情報として被写体のサイズを取得し、ズームアウト終了後に被写体がその検出が可能なサイズとなるように、目標ズーム位置Ｚｗを制限してもよい。これにより、ズームアウト終了後に被写体の検出ができず、追尾不能となることを回避できる。

そして、ステップＳ１１０では、シフト制御部２２２は、ステップＳ１０９で求めた目標ズーム位置Ｚｗに応じて、シフトレンズ２１２の目標シフト位置Ｌｗを演算する。この際、ステップＳ１０７と同様に、被写体速度をパラメータの１つとして目標シフト位置Ｌｗを求めてもよい。これにより、被写体速度が速い場合には、変倍レンズ２１１およびシフトレンズ２１２の駆動中に被写体が到達する位置を予測して目標シフト位置を決定することで、ズームアウト後に迅速に被写体の追尾を再開することができる。

続いてステップＳ１１１では、シフト制御部２２２は、変倍レンズ２１１をステップＳ１０９で算出したズーム位置Ｚｗに駆動するとともに、シフトレンズ２１２をステップＳ１１０で算出した目標シフト位置Ｌｗにシフト駆動する。なお、ステップＳ１０８でも説明したように、本ステップでの処理は、ユーザによりズーム操作キー２０４が操作されたときのみ行ってもよい。この後、シフト制御部２２２は本処理を終了する。

本実施例では、被写体追尾制御においてシフトレンズ２１２の位置（第１および第２の所定範囲に対して外側か内側か）を考慮して撮像画角を変更する。これにより、撮像画角の変更後に被写体を見失う確率を低下させて被写体追尾性能を向上させることができる。

次に、本発明の実施例２について説明する。本実施例では、被写体追尾制御中に被写体を見失った場合（つまりは撮像画面内での被写体の検出が不能となった場合）の処理について説明する。なお、本実施例におけるカメラの構成は実施例１と同じであり、実施例１と共通する構成要素には実施例１と同符号を付す。

被写体を見失うケースとしては、以下の２つがある。第１に、図６（ａ）に示すように、被写体が撮像画面外に出たときである。第２に、図６（ｂ）に示すように、撮像画面内での被写体の大きさが被写体を検出可能な最小サイズ（以下、最小検出被写体サイズという）Ｍｍｉｎよりも小さくなったときである。

図５のフローチャートには、本実施例においてシフト制御部２２２が被写体追尾制御のために行う処理の流れを示している。本処理は、実施例１にて説明した撮像制御プログラムに被写体の検出が不能となったか否かを判定するステップが設けられた場合において検出が不能となったと判定された場合に実行される。

ステップＳ５０１では、シフト制御部２２２は、被写体が検出不能になる直前に検出されていた被写体のサイズ（以下、ロスト前被写体サイズという）Ｍａと、被写体の位置（以下、被写体位置という）Ｑａと、被写体速度Ｖａとを取得する。ロスト前被写体サイズＭａ、被写体位置Ｑａおよび被写体速度Ｖａは、前述した通り、被写体検出部２５１１により検出される被写体に関する情報として取得することが可能である。また、このときのシフトレンズ２１２のシフト角度(位置)をＬａとする。

次に、ステップＳ５０２では、シフト制御部２２２は、ステップＳ５０１で取得したロスト前被写体サイズＭａと、最小検出被写体サイズＭｍｉｎとを比較する。Ｍａ≧Ｍｍｉｎである場合は、被写体サイズは被写体の検出が可能な条件を満足しているため、被写体が撮像画面外に出たことによって被写体を見失ったと推定できる。このため、シフト制御部２２２は、ステップＳ５０３に進む。このような状況となるのは、例えばシフトレンズ２１２がそのシフト可能範囲の端位置における駆動角度Ｒａまでシフトしてそれ以上の追尾を行えなくなったことが考えられる。一方、Ｍａ＜Ｍｍｉｎである場合は、被写体サイズが小さくなりすぎたために被写体を見失ったと判定できる。この場合は、ステップＳ５０９に進む。

ステップＳ５０３〜ステップＳ５０５では、シフト制御部２２２は、ズームアウトのための処理を行う。まず、ステップＳ５０３では、シフト制御部２２２は、：現在のズーム位置Ｚａからズーム位置Ｚｂにズームアウトしたときの被写体位置Ｑａ′（ズーム位置Ｚａ換算の位置）を予測する演算を行う。具体的には、ステップＳ５０１で取得した被写体位置Ｑａと被写体速度Ｖａとを用い、被写体を見失ってからズームアウトが終了するまでの時間をＴとして、ズームアウト終了時の被写体の予測位置である予測被写体位置Ｑａ′を次式（３）により算出する。
Ｑａ′＝Ｑａ＋ＶａＴ …（３）
この予測被写体位置Ｑａ′がズームアウト後の撮像画角内に入れば良い。

ここで、ズームアウトに要する時間（以下、ズーム駆動時間という）Ｔを被写体速度Ｖａに応じて変更してもよい。これは、一般に、被写体速度Ｖａが大きいほどズーム駆動時間Ｔが長くなる傾向があるためである。図７には、被写体速度Ｖａ（横軸）とズーム駆動時間Ｔ（縦軸）との関係を示している。Ｖａ＜ＶＴ１であるときには、ズーム駆動時間ＴとしてＴ１を選択する。ＶＴ１≦Ｖａ≦ＶＴ２であるときには、ズーム駆動時間ＴとしてＴ２（＞Ｔ１）を選択する。ＶＴ２＜Ｖａであるときには、ズーム駆動時間ＴとしてＴ３（＞Ｔ２）を選択する。

次に、ステップＳ５０４では、シフト制御部２２２は、ステップＳ５０３で求めた予測被写体位置Ｑａ′が、現在のズーム位置Ｚａにおいて、シフトレンズ２１２がどの位置にあれば撮像画角内に収まるのかを示す仮想のシフト角度Ｌａ′を算出する。Ｌａ′は、被写体位置ＱａとＱａ′を用いて次式（４）により算出される。
Ｌａ′＝Ｒａ×（Ｑａ′−Ｏ）／（Ｑａ−Ｏ） …（４）
ただし、Ｒａはズーム位置Ｚａにおけるシフトレンズ２１２のシフト可能範囲の端位置における駆動角度を示し、Ｏはズーム位置Ｚａにおける撮像画面の中心座標である。

次に、ステップＳ５０５では、シフト制御部２２２は、ステップＳ５０４で求めたＬａ′を用いて、以下の式（５）で示す条件を満足するズーム位置Ｚｂを算出する。
Ｌａ′＜Ｒｂ×ＴＨ …（５）
ただし、ＴＨ＜１である。また、Ｒｂはズーム位置Ｚｂにおけるシフトレンズ２１２のシフト可能範囲の端位置における駆動角度を示す。

なお、ＴＨは、１より小さい値であれば、シフト可能範囲Ｒに対して一律に設定してもよいし、ズーム位置に応じて変更してもよい。ＴＨ＜１とする理由については後述する。

次に、ステップＳ５０６では、シフト制御部２２２は、変倍レンズ２１１をズーム位置ＺａからＺｂまで駆動する。さらに、シフトレンズ２１２をズームに合わせてシフト駆動する。

そして、ズーム位置がＺｂに到達すると、ステップＳ５０７において、シフト制御部２２２は、ズーム位置Ｚｂに対応する撮像画角において被写体がどこに位置しているかを再探索する処理を行う。この再探索処理においては、予めステップＳ５０３で求めた予測被写体位置Ｑａ′を使用して探索領域を限定するとよい。これにより、再探索処理の演算負荷を軽減することができ、再探索処理を高速化することができる。

こうして被写体が検出されると、ステップＳ５０８において、シフト制御部２２２は、該被写体を追尾するようにシフトレンズ２１２のシフト駆動を制御し、本処理を終了する。

一方、ステップＳ５０９では、シフト制御部２２２は、Ｍａ／Ｍｍｉｎ≧１となるようにズームインしたときのズーム位置Ｚｃを算出する。そして、ステップＳ５０６に進み、変倍レンズ２１１をズーム位置ＺａからＺｃまで駆動するとともに、シフトレンズ２１２をシフト角度Ｌａからズーム位置Ｚｃに対応するシフト角度Ｌｃにシフト駆動する。この後、ステップＳ５０７およびＳ５０８の処理を行って、本処理を終了する。

本実施例によれば、被写体が撮像画面外に出て見失ったときに、迅速に外被写体を見つけ出すことができる。

また、本実施例では、式（５）の条件を満足するようにズームアウト後のズーム位置Ｚｂを算出する際に、シフトレンズ２１２のシフト可能範囲に対して、
（１−ＴＨ）×１００［％］
の余裕を残す。これにより、ズームアウト後に被写体が安定的に撮像画面内に収まることができ、ズームアウト直後に再び被写体を見失ってズームアウトが行われるというような頻繁なズーム駆動を防止することができる。しかも、ズームアウト後に移動する被写体を追尾するためにシフトレンズ２１２がシフト駆動されても直ぐにシフト可能範囲の端位置に達することなく追尾を続行することができる。

ところで、図５に示した被写体追尾処理を行いながら撮像を行う場合において、ズームアウト後の被写体サイズがユーザが意図した被写体サイズではない可能性がある。このため、ズームアウト後に画像処理部２５１に画像データのうち被写体が写っている部分画像領域を電子的に切り出させ、該部分画像領域からズームアウト前の撮像画角に対応したサイズの画像を生成させる処理を行わせてもよい。これにより、ズームアウト前の撮像画角、つまりはユーザが意図（選択）した被写体サイズでの撮像を続行することができる。一方、ズームインを行う際には、被写体サイズが変わることをユーザに対して予め警告したり、ユーザによりズーム操作キー２０４が操作されたときに限って行うようにしたりすることが望ましい。

なお、上記各実施例では、シフトレンズをシフト駆動することで撮像範囲をシフトさせる場合について説明したが、これに限らず、例えば撮像素子をシフト駆動することで撮像範囲をシフトさせてもよい。また、雲台を用いてカメラ全体をシフト駆動したりカメラに設けたシフト機構によって光学ブロック全体をシフト駆動したりして撮像範囲をシフトさせてもよい。すなわち、撮像素子、カメラおよび光学ブロックをシフト手段として用いることができる。

また、上記各実施例では、光学ブロック２１０がカメラ２０１に一体に設けられた光学ブロック（レンズ）一体型カメラについて説明した。しかし、光学ブロック２１０を含む交換レンズの着脱（交換）が可能なレンズ交換型カメラも、本発明の他の実施例に含まれる。この場合、シフト制御部２２２のうち少なくともシフト位置検出部２２２７ａ，２２２７ｂは交換レンズに設けられる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

２０１ カメラ（撮像装置）
２１１ 変倍レンズ
２１２ シフトレンズ
２２２ シフト制御部
２２２１ 振れ検知部
２２２５ 位置制御部
２２２７ａ，２２２７ｂ レンズ位置検出部
２５１１ 被写体検出部

Claims (12)

1. 撮像範囲を撮像方向とは異なる方向にシフトさせるように駆動されるシフト手段および前記撮像範囲の大きさを変更するように駆動される画角変更手段のそれぞれの駆動を制御する制御手段と、
   前記撮像範囲の撮像により生成された画像から被写体に関する情報を取得する被写体情報取得手段とを有し、
   前記制御手段は、前記被写体に関する情報と前記シフト手段の位置を検出するシフト位置検出手段から取得した前記シフト手段の位置とに応じて前記画角変更手段の駆動を制御することを特徴とする撮像制御装置。
2. 前記制御手段は、前記撮像範囲の大きさが変更された場合は、該変更後の撮像範囲と前記被写体に関する情報とに応じて前記シフト手段の駆動を制御することを特徴とする請求項１に記載の撮像制御装置。
3. 前記制御手段は、
   前記シフト手段の可動範囲よりも小さい第１の所定範囲を前記撮像範囲の大きさに応じて設定し、
   前記シフト手段が前記第１の所定範囲より外側に位置する場合は前記撮像範囲が大きくなり、かつ前記シフト手段が、該大きくなった撮像範囲に対する前記第１の所定範囲の内側に位置するように前記画角変更手段を制御することを特徴とする請求項１または２に記載の撮像制御装置。
4. 前記制御手段は、
   前記シフト手段の可動範囲よりも小さい第１の所定範囲と該第１の所定範囲より小さい第２の所定範囲とを前記撮像範囲の大きさに応じて設定し、
   前記シフト手段が前記第２の所定範囲の内側に位置する場合は前記撮像範囲が小さくなり、かつ前記シフト手段が、該小さくなった撮像範囲に対する前記第２の所定範囲の外側であって前記第１の所定範囲の内側に位置するように前記画角変更手段を制御することを特徴とする請求項１から３のいずれか一項に記載の撮像制御装置。
5. 前記被写体に関する情報は、前記被写体の位置、大きさおよび移動速度のうち少なくとも１つの情報であることを特徴とする請求項１から４のいずれか一項に記載の撮像制御装置。
6. 前記制御手段は、前記被写体に関する情報としての前記被写体の移動速度に応じて、前記画角変更手段の駆動により変更する前記撮像範囲の大きさを設定することを特徴する請求項１から５のいずれか一項に記載の撮像制御装置。
7. 前記制御手段は、前記被写体に関する情報としての前記被写体の大きさに応じて、前記画角変更手段の駆動により変更する前記撮像範囲の大きさを設定することを特徴する請求項１から６のいずれか一項に記載の撮像制御装置。
8. 前記制御手段は、前記画角変更手段の駆動により前記撮像範囲の大きさが変更される前の前記被写体に関する情報としての前記被写体の位置および移動速度を用いて、前記撮像範囲の大きさが変更された後の前記被写体の予測位置を算出し、該予測位置に応じて前記撮像範囲の変更後の大きさを設定することを特徴とする請求項１から７のいずれか一項に記載の撮像制御装置。
9. 前記制御手段は、前記画角変更手段の駆動により前記撮像範囲の大きさが変更される前の前記被写体に関する情報としての前記被写体の位置および移動速度を用いて、前記撮像範囲の大きさが変更された後の前記被写体の予測位置を算出し、該予測位置に応じて、大きさが変更された後の前記撮像範囲において前記被写体情報取得手段が前記被写体を探索する領域を設定することを特徴とする請求項１から８のいずれか一項に記載の撮像制御装置。
10. 前記制御手段は、前記画角変更手段の駆動により前記撮像範囲の大きさが変更された後において、前記被写体に関する情報としての前記被写体の大きさに応じて前記画像のうち前記被写体が写っている部分画像領域を切り出し、該部分画像領域から変更される前の前記撮像範囲の大きさに対応する画像を生成する処理を画像処理手段に行わせることを特徴とする請求項１から９のいずれか一項に記載の撮像制御装置。
11. 撮像により画像を生成する撮像手段と、
    請求項１から１０のいずれか一項に記載の撮像制御装置とを有することを特徴とする撮像装置。
12. 撮像範囲を撮像方向とは異なる方向にシフトさせるように駆動されるシフト手段および前記撮像範囲の大きさを変更するように駆動される画角変更手段のそれぞれの駆動を制御する処理をコンピュータに実行させるコンピュータプログラムであって、
    前記処理は、
    前記撮像範囲の撮像により生成された画像から被写体に関する情報を取得し、
    前記シフト手段の位置を取得し、
    前記被写体に関する情報と前記シフト手段の位置とに応じて前記画角変更手段の駆動を制御することを特徴とする撮像制御プログラム。