JP2010154391A - 自動追尾カメラ装置 - Google Patents

Abstract

【課題】被写体の大局的な動きを考慮してカメラを制御する自動追尾カメラ装置を提供する。
【解決手段】被写体を連続するフレーム群に撮像するカメラ部１１０と、フレーム群のそれぞれにおける被写体の位置を決定する検出部１２０と、フレーム群に対応する決定された被写体の位置の変化から、少なくとも１つの移動ベクトルを算出する移動ベクトル算出部１２５と、少なくとも１つの移動ベクトルに基づいて、カメラ部のパンチルトおよびズームを制御するパンチルトズーム制御部１６０、１７０と、を備える。
【選択図】図１

Description

本発明は、被写体の追跡撮像をおこなうビデオカメラの追跡制御装置に関する。

関連する技術分野においては、被写体を追跡して撮像するビデオカメラの開発がなされている。例えば、特許文献１による撮像装置（特許文献１の図１参照）は、画像情報を入力する画像入力手段と、前記画像情報を出力する画像出力手段と、前記画像入力手段を水平方向又は垂直方向に回転移動させる回転移動手段と、該回転移動手段が移動すべき移動量を算出して前記回転移動手段を制御する制御手段とを備える。この撮像装置は、画像入力手段に入力された画像情報を一時記憶する画像記憶手段を有する。移動量が所定閾値以上のとき、制御手段は、移動指令を回転移動手段に発する。移動量が所定閾値未満のとき、撮像装置は、画像記憶手段に記憶された情報に基づいて画像出力を制御する。

具体的には、被写体の移動量が所定閾値以上のとき、雲台等によりカメラの向きを変更する。被写体の移動量が所定閾値未満のとき、カメラの向きは変更せずに、移動方向に応じて画像記憶手段に記憶された入力画像蓄積領域から出力画像を切り出す位置を変更する。
特開平７−２９８１１７号公報

上述の撮像装置は、被写体の移動量に応じた制御をおこなう。しかし被写体が細かく動くときは、そのような動きに対して入力画像蓄積領域からの出力画像領域の制御がおこなわれる。そのため、出力として得られる映像は、被写体の細かな動きを打ち消す、逆方向の細かな動きを伴った映像となる。結果としてこの映像は、画面の細かな揺れに起因する、いわゆるカメラ酔いを起こしやすい。

本発明の目的は、被写体の比較的大きな動きに対しては、パンチルトによって被写体を追尾するが、被写体の比較的小さな動きに対しては、ズームによって被写体を追尾する撮像装置を提供することである。

本発明による自動追尾カメラ装置は、被写体を連続するフレーム群に撮像するカメラ部と、前記フレーム群のそれぞれにおける前記被写体の位置を決定する検出部と、前記フレーム群に対応する前記決定された被写体の位置の変化から、少なくとも１つの移動ベクトルを算出する移動ベクトル算出部と、前記少なくとも１つの移動ベクトルに基づいて、前記カメラ部のパンチルトおよびズームを制御するパンチルトズーム制御部と、を備える。

本発明のある実施形態による自動追尾カメラ装置において、前記移動ベクトル算出部は、前記決定された被写体の位置の変化に基づいて、前記被写体の平均移動ベクトルを表す主移動ベクトルを算出する主移動ベクトル算出部を有し、前記パンチルトズーム制御部は、前記主移動ベクトルに基づいて、前記カメラ部のパンチルトを制御するパンチルト制御部を有する。

本発明のある実施形態による自動追尾カメラ装置において、前記移動ベクトル算出部は、前記フレーム群のそれぞれの中心から、前記被写体の位置へ向かうベクトルを表す差分移動ベクトルを算出する差分移動ベクトル算出部を有し、前記パンチルトズーム制御部は、前記差分移動ベクトルに基づいて、前記カメラ部のズームを制御するズーム制御部
を有する。

本発明のある実施形態による自動追尾カメラ装置において、前記移動ベクトル算出部は、前記決定された被写体の位置の変化に基づいて、前記被写体の予測された移動ベクトルを表す慣性移動ベクトルを算出する慣性移動ベクトル算出部を有し、前記パンチルトズーム制御部は、前記慣性移動ベクトルに基づいて、前記カメラ部のズームを制御するズーム制御部を有する。

本発明によれば、被写体の大局的な動きに対しては、パンチルト制御部によってカメラの向きを制御する。被写体の大局的ではない（局所的な）動きに対しては、ズーム制御部によってカメラが撮像する範囲を制御する。これにより被写体ブレなど、被写体の比較的小さな動きに対しては、カメラの向きを変える追尾（パンチルト）はおこなわない。そのため被写体の小さな動きに起因する、小刻みなカメラの追尾が低減されるという効果を有する。

本発明のある実施形態によれば、被写体の動きに応じて、カメラのズームを制御する。これによって、被写体がフレームアウトすることを防ぎ得る。

本発明の他の実施形態によれば、被写体の短期的な動きから、将来のフレームにおける被写体の位置を予測する。この予測に基づいて、予測された位置がフレーム内に含まれるようにズームを制御する。その結果、被写体がフレームアウトすることを防ぎ得る。

（システム構成）
図面を参照して例示的実施形態を以下に詳細に説明する。図１は、例示的実施形態によるシステム１００を示す。システム１００は、カメラ部１１０、被写体位置検出部（単に「検出部」とも呼ぶ）１２０、移動ベクトル算出部１２５、およびパンチルトズーム制御部１５５を含む撮像装置である。

カメラ部１１０は、レンズ系１０２および撮像素子１０４を含む。撮像素子１０４は、レンズ系１０２を通し、動画を撮像し、撮像された動画を表す電気信号を検出部１２０に出力する。このような動画は、撮像時刻に対応付けられた複数の連続するフレーム群（例えば１秒間に６０フレーム）からなる。動画は、典型的には動く対象物（被写体とも呼ばれる）１０６を含む。撮像素子の例には、ＣＣＤ（電荷結合素子）イメージセンサ、ＣＭＯＳ（相補性金属酸化膜半導体）イメージセンサ、撮像管などが含まれる。

被写体位置検出部１２０は、撮像されたそれぞれのフレームにおける被写体の位置を決定する。被写体１０６の位置は、仮想的な２次元空間であるフレーム内でのｘ，ｙ座標として典型的には表される。検出部１２０は、撮像されたフレーム内で被写体の特徴点を検出し、その特徴点のフレーム内での位置を特定する。検出部１２０は、そのような特徴点の位置（すなわち被写体の位置）を表す信号１２２を、主移動ベクトル算出部１３０、差分移動ベクトル算出部１４０、および慣性移動ベクトル算出部１５０へ出力する。

移動ベクトル算出部１２５は、主移動ベクトル算出部１３０、差分移動ベクトル算出部１４０、および慣性移動ベクトル算出部１５０を含む。

主移動ベクトル算出部１３０は、検出部１２０によって検出された被写体位置１２２の変化に基づいて、被写体の移動方向を近似的に表す主移動ベクトル１３２、１３４を算出する。主移動ベクトル算出部１３０は、算出された主移動ベクトル１３２、１３４をそれぞれパンチルト制御部１６０および差分移動ベクトル算出部１４０に出力する。

差分移動ベクトル算出部１４０は、検出部１２０によって検出された被写体の位置１２２の変化と、および主移動ベクトル算出部１３０によって出力された主移動ベクトル１３４とに基づいて、主移動ベクトル１３４と被写体の実移動との差分を表す差分移動ベクトル１４２を算出する。差分移動ベクトル算出部１４０は、算出された差分移動ベクトル１４２をズーム制御部１７０に出力する。

慣性移動ベクトル算出部１５０は、検出部１２０によって検出された被写体の位置１２２の変化に基づいて、被写体の局所的な移動方向を表す慣性移動ベクトル１５２を算出する。慣性移動ベクトル算出部１５０は、算出された慣性移動ベクトル１５２をズーム制御部１７０に出力する。

パンチルトズーム制御部１５５は、パンチルト制御部１６０およびズーム制御部１７０を有する。

パンチルト制御部１６０は、主移動ベクトル１３２に基づいて、カメラ部１１０のパン（水平方向の向き）およびチルト（鉛直方向の向き）を制御する。具体的にはパンチルト制御部１６０は、カメラ部１１０との間にある機械的なリンク１６２を介して、カメラ部のパンおよびチルトを変えるようにカメラ部１１０を機械的に駆動する。よってパンチルト制御部１６０は、カメラ部１１０を駆動するためのアクチュエータ、およびアクチュエータを主移動ベクトル１３２に基づいて駆動するための制御回路などを有する。カメラ部１１０のパンおよびチルトを変えると、フレーム内における被写体の位置が変わる。

ズーム制御部１７０は、差分移動ベクトル１４２および慣性移動ベクトル１５２のうちの少なくとも１つに基づいて、カメラ部１１０のズームを制御する。典型的には、ズーム制御部１７０は、カメラ部１１０のレンズ系１０２との間にある機械的なリンク１７２を介して、カメラ部１１０のズームを変えるようにレンズ系１０２を機械的に駆動する。しかしズーム機構は、レンズ系の機械的な駆動によらずに、電子的におこなわれてもよい。そのような電子的ズーム機構は、画像データをメモリに格納すること、および格納された画像の一部を補間して拡大することによって実現され得る。

（実施形態１−−主移動ベクトル）
図２は、主移動ベクトル算出部１３０の機能を示す。以下の説明において、ある点（例えばXt）のｘ成分およびｙ成分は、撮像されたフレーム内のある一点を示し、添え字（ｔなど）は、時間軸上での順序を示す。図２においてｎフレームだけ前のフレームにおける被写体の位置から、現在のフレームにおける被写体の位置までをXt-n, … , Xtとするとき、主移動ベクトル算出部１３０は、時刻t-kにおける位置座標Xt-k（ｋ＝ｎ，…，０）の平均位置Mnを求める。

図３および図４は、平均位置Mnを算出する方法を示す。図３において、横軸にx軸、縦方向にｙ軸となるように直交座標系を設け、x軸、y軸のそれぞれにおいて平均位置を求めることにより平均位置Mnを算出する。各フレームにおいて次フレーム位置との差分ベクトルVt-kを求める。各差分ベクトルVt-kをそのｘ成分およびｙ成分に分解すると、Vt-kのｘ成分３１０およびVt-kのｙ成分３２０が得られる。この成分分解をｋ＝ｎ，…，１についておこなう。

図４において、ｋ＝ｎ，…，１についてVt-kのｘ成分３１０の平均は、ｘ成分平均値３３０で表される。ｋ＝ｎ，…，１についてVt-kのｙ成分３２０の平均は、ｙ成分平均値３４０で表される。ｘ成分平均値３３０およびｙ成分平均値３４０は、合成ベクトルDMnを構成する。本明細書では、図４に示される得られたベクトルDMnを「主移動ベクトル」１３２、１３４と呼ぶ。主移動ベクトル算出部１３０は、生成された主移動ベクトル１３２および１３４を、差分移動ベクトル算出部１４０およびパンチルト制御部１６０にそれぞれ出力する。

この主移動ベクトルDMnは、時刻t-n〜時刻tの（ｎ＋１）フレームの期間に、被写体が１フレーム当たりに移動する量（すなわち被写体の平均移動量）を表す。そのため、主移動ベクトルDMnは、被写体の平均移動ベクトルを表すと言える。したがって被写体１０６の大局的な動きに追従するために、パンチルト制御部１６０は、主移動ベクトルに基づいてカメラ部１１０のパンチルトを制御する。例えば、主移動ベクトルDMnが（１００，０）（画素／フレーム）であるなら、被写体は、フレームの右方向に１００画素／フレームで移動する。この大局的な動きに追従するためには、パンチルト制御部１６０は、カメラ部１１０を１００画素／フレームに対応する角度だけ右方向にパンすればよい。

本発明の実施形態によれば、パンチルトズーム制御部１５５は、単一の移動ベクトル、または複数の移動ベクトル群に基づいて、カメラ部１１０のパンチルトおよびズームの少なくとも１つを制御する。移動ベクトルの例には、上述の主移動ベクトル１３２、１３４、差分移動ベクトル１４２、および慣性移動ベクトル１５２が含まれる。

実施形態１によれば、大局的な被写体の動きに追従するために、主移動ベクトル１３２に基づいて、パンチルト制御部１６０がカメラ部１１０のパンチルトを制御する。主移動ベクトル１３２が所定の閾値よりも大きいとき、パンチルト制御部１６０は、カメラ部１１０のパンチルトを制御して、被写体を追尾する。逆に、主移動ベクトル１３２が所定の閾値よりも小さいとき、パンチルト制御部１６０は、カメラ部１１０を動かさない。これにより、追従する必要のある、比較的大きい被写体の動きに選択的に追従することができる。

（実施形態２−−差分移動ベクトル）
図５は、差分移動ベクトル算出部１４０の機能を示す。主移動ベクトルDMnを用いればフレームt-kにおけるフレームの中心Ｃt-kは、以下のように表現できる。

Ｃt-k＝Ｍｎ＋（ＤＭｎ×（n/2−k））
よって、現在のフレームtの次のフレーム、すなわちフレームt+1では、フレームの中心Ｃt+1はベクトルDMnを用いて以下のように表現できる。

Ｃt+1＝Ｍｎ＋（ＤＭｎ×（n/2＋1））
したがってシステム１００は、点Ｃt+1がフレームの中心になるようにパンチルトを制御すればよい。

ｋ＝ｎ，…，１について（すなわち各フレームにおいて）、位置Xt-kと中心Ｃt-kとの差分ベクトルを算出し、これをベクトルEt-kとする。ベクトルEt-kは、時刻t-kにおいてフレーム中心Ｃt-kから被写体位置Xt-kへと移動するのに必要な、フレーム内での向きと移動量とを表す。本明細書では、図５に示されるベクトルEt-kを「差分移動ベクトル」と呼ぶ。

図６は、被写体の実際の動きと、パンチルト制御がされたフレーム内での被写体の見かけの動きとを示す。図６において、カメラ部１１０は、被写体を追尾するようにそのパンチルトが制御されている。被写体１０６が実空間内の点６１０にあるとき、フレーム６１２内の被写体６１４は、フレームの中心６１６に対して上にある。被写体１０６が実空間内で点６１０から点６２０に移動するとき、パンチルト制御部１６０はカメラ部１１０を角度６２１だけパンする。このようなパンは、主移動ベクトルDMn-1に基づいて、点６１０から点６２０へ動く被写体を追尾するようおこなわれる。

被写体１０６が実空間内の点６２０にあるとき、フレーム６２２内の被写体６２４は、フレームの中心６２６に対して下にある。被写体１０６が実空間内で点６２０から点６３０に移動するとき、パンチルト制御部１６０はカメラ部１１０を角度６３１だけパンする。このようなパンは、主移動ベクトルDMnに基づいて、点６２０から点６３０へ動く被写体を追尾するようおこなわれる。

被写体１０６が実空間内の点６３０にあるとき、フレーム６３２内の被写体６３４（Xt-k）は、フレームの中心６３６（Ct-k）に対して上にあり、その差分移動ベクトルはEt-kで表される。図６の例では、被写体は実空間内で水平方向に等速で動く。そのためパン制御が被写体に追従しているときは、被写体はフレーム内で上下に動くように見える。このような場合は、被写体をフレーム内に収めるためには、この上下の動きがフレーム内に含まれるようにズームを調整する。例えば動きが大きすぎてフレーム内に収まらないときは、ズームを広角側にする。逆に動きが小さいときは、ズームを望遠側にする。

図６では被写体のフレーム内での見かけの動きは、単純な上下の動きとして表される。一般には被写体のフレーム内での見かけの動きは、より複雑な軌跡で表される。ズーム制御のために、そのような軌跡を含む差分包含図形を利用する。ｋ＝ｎ，…，１なるベクトルEt-kの中で、最大の大きさを持つベクトルを求め、最大差分ベクトルmaxEt-kとする。Ｃt+1を中心とし、差分ベクトルmaxEt-kの大きさを半径とする円を求め、差分包含図形Rnとする。代替としては円の代わりに、各Et-kベクトル（ｋ＝ｎ，…，１）の始点が同一点に位置するときに、各ベクトルの終点を内包するような任意の多角形を差分包含図形Rnとしてもよい。上記定義より、差分包含図形Rnは、過去（時刻t-n〜時刻t）における、被写体とフレームの中心との差が最も大きいものも包含する。

過去の履歴と同様に被写体が動くと仮定するなら、フレームが差分包含図形Rn（円の場合、半径はmaxEt-k）を含むように、ズーム制御部１７０を制御できる。例えばmaxEt-kが比較的小さければ、これは過去に被写体がフレームの中心からそれほどずれなかったことを意味する。このような場合、ズーム制御部１７０は、ある程度、被写体がフレーム内で大きく写るように制御する。換言すれば、ズーム制御部１７０は、被写体がフレームアウトしない程度に、レンズ系１０２を望遠側に動かすよう調整すればよい。

逆に、例えばmaxEt-kが比較的大きければ、これは過去に被写体がフレームの中心からある程度ずれたことを意味する。このような場合、ズーム制御部１７０は、ある程度、被写体がフレーム内で小さく写るように制御する。換言すれば、ズーム制御部１７０はレンズ系１０２を広角側に動かすよう調整すればよい。

実施形態２は、フレームが差分移動ベクトルEt-kのうち最大のものを含むように、ズーム制御部１７０がカメラ部１１０のズーム（例えばレンズ系１０２のズーム、すなわちレンズ系１０２の望遠・広角の動き）を制御する。その結果、被写体の細かな動きについてはパンチルト（水平・鉛直方向のカメラ部１１０の動き）を変えることなく、ズームだけを変えることによって、被写体に追従することができるという効果を有する。すなわち実施形態２によれば、実施形態１の構成およびそれに関連する機能に加え、局所的な被写体の動きをカバーするよう、差分移動ベクトル１４２に基づいて、ズーム制御部１７０がカメラ部１１０のズームを制御する。ズームを制御する方法は、カメラ部１１０の光学系を機械的に動かすことに限られない。例えば、後述の画像メモリ７４０に記憶された画像のデータの一部を取り出し、補間する電子的なズーミングを用いてもよい。

（実施形態３−−慣性移動ベクトル）
図７は、慣性移動ベクトル算出部１５０の機能を示す。ｎ＞ｍとなるｍについて、ｍフレーム前のフレームから、現在のフレームまでの位置をXt-m, … , Xtとする。これらｍ個の点に、二次曲線（円、楕円、放物線、双曲線）、または三角関数の曲線（正弦曲線など）を当てはめることによって、次フレームの位置Xt+1を予測し、そのような点をFmとする。Ｃt+1を中心とし、中心Ｃt+1と点Fmとの距離を半径とする円を求め、慣性包含図形Imとする。被写体が直線移動する場合は、直線をｍ個の点に当てはめてもよい。しかしより一般には曲線を複数の点に当てはめることによって点Fmを予測するのが好ましい。手ぶれなど振動も伴う被写体の動きに追従するには、周期関数を表す曲線（例えば正弦曲線）が好ましい。

中心Ｃt+1から点Fmの向きに、中心Ｃt+1と点Fmとの距離だけ離れた位置を内包する限り、円に限定されず、任意の多角形で構成される図形を差分包含図形Imとしてもよい。ズーム制御部１７０は、差分包含図形Rnおよび慣性包含図形Imの両者をフレーム内に含むようにカメラ部１１０のズームを制御する。本明細書では図７に示される始点Xt、終点Fmを持つベクトルＸＦを「慣性移動ベクトル」と呼ぶ。

本実施形態は、比較的短期的な将来における被写体の移動ベクトルを曲線当てはめによって予測する。この予測によって求められた慣性移動ベクトルが次フレーム内にカバーされるように、ズーム制御部１７０はカメラ部１１０を制御する。換言すれば、比較的短期的な被写体の移動がフレーム内に収まるように、ズーム制御部１７０によるズームを用いて被写体を追尾する。パンチルト制御部１６０によるパンチルトは用いない。その結果、不必要なパンチルトに起因するフレームの動揺を低減できるという効果を有する。

本明細書で「比較的短期的」とは例えば１フレーム先を指す。しかしこれには限定されず、例えば数フレーム先の被写体の移動ベクトルを示す慣性移動ベクトルを利用してもよい。

なお場合によっては、遡って利用する過去の位置の履歴から、被写体が周期的に動くことが予想され得る。例えば、撮影時の手ぶれと、被写体の動きとの組み合わせに起因して、フレーム内で被写体が周期的な動きを呈することが想定され得る。典型的には複数のフレーム内での被写体位置を表す点に、正弦曲線を当てはめることができる。このような場合は、差分包含図形Rnおよび慣性包含図形Imが、現在の点から少なくとも次の１周期分に相当する点群を含むように、カメラ部１１０のズームを制御し得る。このような過去の履歴の利用は、カメラの向きのふらつきを抑え得る。

代替として、被写体の動きが予想され得ない場合では、主移動ベクトルが大きく変化しないように、過去の履歴を利用する範囲を適宜、調整し得る。これによりカメラの向きのふらつきを抑え得る。

上の例では、主移動ベクトル算出部１３０においては、フレーム間の位置差分の平均移動量を主移動ベクトル１３２、１３４とした。しかし主移動ベクトル１３２、１３４は、被写体の移動を大局的に示す限り、フレーム間の位置差分の最頻の移動量、または移動量の中央値等であり得る。

上の例では、ズーム制御部１７０は、被写体の位置を含むようにその制御値を調整している。しかしズーム制御部１７０は、被写体の位置に加え、被写体の大きさを考慮に入れて、制御値を調整し得る。被写体の大きさも考慮することによって、上述の例示的構成による効果に加えて、被写体のフレームアウトを防ぐさらなる効果が得られる。

実施形態３によれば、慣性移動ベクトル１５２に基づいて、ズーム制御部１７０は、予測された被写体の位置をフレームが含むようにカメラ部１１０のズーム（例えばレンズ系１０２のズーム、すなわちレンズ系１０２の望遠・広角の動き）を制御する。その結果、予測された被写体の動きについてはパンチルト（水平・鉛直方向のカメラ部１１０の動き）を変えることなく、ズームだけを変えることによって、被写体に追従することができるという効果を有する。すなわち実施形態３によれば、実施形態１および２の構成およびそれに関連する機能に加え、比較的短期的な（大局的ではなく、局所的な）被写体の動きをカバーするよう、慣性移動ベクトル１５２に基づいて、ズーム制御部１７０がカメラ部１１０のズームを制御する。ズームを制御する方法は、カメラ部１１０の光学系を機械的に動かすことに限られない。例えば、後述の画像メモリ７４０に記憶された画像のデータの一部を取り出し、補間する電子的なズーミングを用いてもよい。

代替として、実施形態３は、実施形態２の構成およびそれに関連する機能を持たないシステムにおいて実現され得る。すなわち実施形態３は、例えば、差分移動ベクトル算出部１４０を持たない図１のシステム１００によって実現され得る。この場合、システム１００は、主移動ベクトル１３２および慣性移動ベクトル１５２を利用することによって、実施形態１および実施形態３の機能を実現し、それぞれに対応する効果を有する。

さらなる代替として、実施形態３は、実施形態１および実施形態２の構成およびそれに関連する機能を持たないシステムにおいても実現され得る。すなわち実施形態３は、例えば、主移動ベクトル算出部１３０および差分移動ベクトル算出部１４０を持たない図１のシステム１００によっても実現され得る。この場合、システム１００は、慣性移動ベクトル１５２を利用することによって、実施形態３の機能を実現し、それに対応する効果を有する。

検出部１２０、算出部１３０、１４０、１５０、パンチルト制御部１６０、およびズーム制御部１７０の機能は、典型的にはハードウェアで実現され得る。これら機能は、ハードウェアおよびソフトウェアの任意の適切な組み合わせによって実現され得る。例えば、これらの機能は、ＩＣ（集積回路）、ＬＳＩ（大規模集積回路）、ＡＳＩＣ（特定用途向け集積回路）のような半導体チップの形で実現され得る。代替として、これら機能は、マイクロプロセッサ上で走るソフトウェアによっても実現され得る。

図８は、システム１００の機能ブロックを実現するコントローラ８００のブロック図である。コントローラ８００は、ＣＰＵ（中央処理ユニット）８１０、ＲＯＭ（読み出し専用メモリ）８２０、ＲＡＭ（ランダムアクセスメモリ）８３０、画像メモリ８４０、ＨＤＤ（ハードディスクドライブ）８５０、画像入力Ｉ／Ｆ（インタフェース）８６０、画像出力Ｉ／Ｆ（インタフェース）８７０、位置入力Ｉ／Ｆ（インタフェース）８８０、およびＩ／Ｆ（インタフェース）８９０を有する。コントローラ８００のこれら要素は、システムバス８０５によって結合されることによって、データを一方向または両方向にやりとりできる。データの方向を表す図中の矢印は、一例であり、これには限られない。例えばＨＤＤ８５０が読み出し専用に設定される場合は、データは、一方向にだけ転送される。

ＣＰＵ８１０は、典型的にはＩＣ、ＬＳＩ、ＡＳＩＣなどによって実現され得る。ＲＯＭ８２０は、必要な機能ブロックを達成するソフトウェアプログラムを永久的に格納する。ＲＡＭ８３０は、ＣＰＵ８１０の主記憶装置として、さまざまなプログラムまたはデータを一時的に格納する。画像メモリ８４０は、システム１００が表示する画像を一時的に格納する。ＨＤＤ８５０は、システム１００が長期的に保存するプログラムまたはデータを格納する。コントローラ８００の機能は、ＣＰＵおよびメモリなどによらず、シーケンサとして実現されてもよい。

画像入力Ｉ／Ｆ８６０は、カメラ部１１０に結合され、撮像された画像を受け取る。画像出力Ｉ／Ｆ８７０は、外部に設けられた表示部に結合され、画像を出力する。位置入力Ｉ／Ｆ８８０は、例えばタッチパネルに結合され、ユーザによる指示に対応するデータを受け取る。Ｉ／Ｆ８９０は、外部の機器とさまざまなデータをやりとりする。例えばＩ／Ｆ８９０は、ネットワークを介してデータをやりとりするネットワークＩ／Ｆであり得る。

コントローラ８００は、その全体または一部がワンチップのＩＣとして実現され得る。代替としてコントローラ８００は、複数の半導体チップから構成されてもよい。

本発明による自動追尾カメラ装置は、被写体の移動ベクトルに基づいてパンチルトおよびズームの少なくとも１つを制御でき、追跡制御装置等の用途に適用できる。

例示的実施形態によるシステムを示すブロック図である。 主移動ベクトル算出部の機能を示す図である。 平均位置を算出する方法を示す図である。 平均位置を算出する方法を示す図である。 差分移動ベクトル算出部の機能を示す図である。 被写体の実際の動きと、パンチルト制御がされたフレーム内での被写体の見かけの動きとを示す図である。 慣性移動ベクトル算出部の機能を示す図である。 システムの機能ブロックを実現するコントローラのブロック図である。

符号の説明

１００ システム
１１０ カメラ部
１２０ 被写体位置検出部
１３０ 主移動ベクトル算出部
１４０ 差分移動ベクトル算出部
１５０ 慣性移動ベクトル算出部
１６０ パンチルト制御部
１７０ ズーム制御部

Claims (6)

1. 被写体を連続するフレーム群に撮像するカメラ部と、
   前記フレーム群のそれぞれにおける前記被写体の位置を決定する検出部と、
   前記フレーム群に対応する前記決定された被写体の位置の変化から、少なくとも１つの移動ベクトルを算出する移動ベクトル算出部と、
   前記少なくとも１つの移動ベクトルに基づいて、前記カメラ部のパンチルトおよびズームの少なくとも１つを制御するパンチルトズーム制御部と、
   を備える自動追尾カメラ装置。
2. 前記移動ベクトル算出部は、
   前記決定された被写体の位置の変化に基づいて、前記被写体の平均移動ベクトルを表す主移動ベクトルを算出する主移動ベクトル算出部
   を有し、
   前記パンチルトズーム制御部は、
   前記主移動ベクトルに基づいて、前記カメラ部のパンチルトを制御するパンチルト制御部
   を有する請求項１に記載の自動追尾カメラ装置。
3. 前記移動ベクトル算出部は、
   前記フレーム群のそれぞれの中心から、前記被写体の位置へ向かうベクトルを表す差分移動ベクトルを算出する差分移動ベクトル算出部
   を有し、
   前記パンチルトズーム制御部は、
   前記差分移動ベクトルに基づいて、前記カメラ部のズームを制御するズーム制御部
   を有する請求項２に記載の自動追尾カメラ装置。
4. 前記移動ベクトル算出部は、
   前記決定された被写体の位置の変化に基づいて、前記被写体の予測された移動ベクトルを表す慣性移動ベクトルを算出する慣性移動ベクトル算出部
   を有し、
   前記パンチルトズーム制御部は、
   前記慣性移動ベクトルに基づいて、前記カメラ部のズームを制御するズーム制御部
   を有する請求項３に記載の自動追尾カメラ装置。
5. 前記移動ベクトル算出部は、
   前記決定された被写体の位置の変化に基づいて、前記被写体の予測された移動ベクトルを表す慣性移動ベクトルを算出する慣性移動ベクトル算出部
   を有し、
   前記パンチルトズーム制御部は、
   前記慣性移動ベクトルに基づいて、前記カメラ部のズームを制御するズーム制御部
   を有する請求項２に記載の自動追尾カメラ装置。
6. 前記移動ベクトル算出部は、
   前記決定された被写体の位置の変化に基づいて、前記被写体の予測された移動ベクトルを表す慣性移動ベクトルを算出する慣性移動ベクトル算出部
   を有し、
   前記パンチルトズーム制御部は、
   前記慣性移動ベクトルに基づいて、前記カメラ部のズームを制御するズーム制御部
   を有する請求項１に記載の自動追尾カメラ装置。

Images