JP2000175101A - 自動追尾装置 - Google Patents

Abstract

(57)【要約】 【課題】カメラが追尾動作を行っている間に取得される
画像によって移動物体の移動量及び移動方向を検知する
ことで、カメラの追尾動作を停止させることなく連続的
に行えるようにし、動きの速い移動物体に対しても適切
に自動追尾することができる自動追尾装置を提供する。 【解決手段】画像処理プロセッサ２６は、カメラ１０が
自動追尾によりパン・チルト動作を行っている間にカメ
ラ１０で撮影される画像を２フレーム分画像メモリ２４
に記録する。そして、これらのフレーム画像から撮影範
囲に共通する範囲の画像を抽出し、その差画像を求めて
移動物体の移動量及び移動方向を算出する。これに基づ
き、画像処理プロセッサ２６は、ＣＰＵ２８を介して雲
台コントローラ１６に指示を送り、カメラ１０の撮影方
向を移動物体の移動方向に追尾させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は自動追尾装置に係
り、特にカメラの撮影方向を制御して、移動物体を自動
追尾する自動追尾装置に関する。

【０００２】

【従来の技術】自動追尾装置は、カメラをパン・チルト
動作させて追尾すべき移動物体にカメラの撮影方向を自
動で追従させるようにした装置である。従来から知られ
ている自動追尾の方法として特開昭５９−２０８９８３
号公報に記載のものが一般に知られている。この方法
は、カメラで撮像された一定時間間隔の画像に対して画
像間の差を求めて移動物体の画像を抽出し、この差画像
の重心位置から移動物体の移動量及び移動方向を検出す
るというものである。これによれば、形状や色彩などの
パターンから所要の移動物体を認識するといった複雑な
画像処理を必要とせず簡単、小型、且つ、安価な回路で
移動物体を自動追尾することができる。

【０００３】

【発明が解決しようとする課題】しかしながら、従来
は、移動物体の移動量及び移動方向を検出するために、
カメラの追尾動作（パン・チルト動作）を停止させてそ
の間に一定時間間隔の画像を取得し、その画像間の差に
より移動物体の画像のみを抽出するようにしている。即
ち、差画像を求めた際に、その差画像から停止物体（背
景）の画像が消去されなければならないため、画像間で
撮影範囲（撮影方向）が一致している必要がある。この
ため、カメラの自動追尾動作（パン・チルト動作）が断
続的となり、動きの速い移動物体に対しては、自動追尾
するのが困難であるという欠点があった。

【０００４】本発明はこのような事情に鑑みてなされた
もので、カメラの追尾動作を停止させることなく連続的
に行えるようにし、動きの速い移動物体に対しても適切
に自動追尾することができる自動追尾装置を提供するこ
とを目的とする。

【０００５】

【課題を解決するための手段】本発明は、前記目的を達
成するために、カメラによって撮影された画像に基づい
て追尾すべき被写体の移動量及び移動方向を検出し、該
検出した被写体の移動量及び移動方向に基づいて前記カ
メラの撮影方向を制御する自動追尾装置において、前記
カメラによって撮影された画像を所定の時間間隔おきに
取得する画像取得手段と、前記画像取得手段によって画
像を取得したときの前記カメラの撮影方向を検知する撮
影方向検知手段と、前記撮影方向検知手段によって検知
した前記カメラの撮影方向に基づいて、前記画像取得手
段によって取得された所定の２枚の画像から重複する撮
影範囲の画像を抽出する画像抽出手段と、前記画像抽出
手段によって抽出された２枚の画像を比較して、追尾す
べき被写体の移動量及び移動方向を検出する画像処理手
段と、を備えたことを特徴としている。

【０００６】本発明によれば、カメラから所定の時間間
隔で取得した２枚の画像から重複する撮影範囲の画像を
抽出し、その抽出した画像によって追尾すべき被写体の
移動量及び移動方向を検出するようにしたため、２枚の
画像の撮影範囲を一致させるためにカメラの追尾動作を
停止させる必要がなく、カメラを追尾動作させながら追
尾すべき被写体の移動量及び移動方向を逐次検出するこ
とができる。これにより、カメラを連続的に追尾動作さ
せることができ、動きの速い移動物体に対しても適切に
自動追尾させることができる。

【０００７】

【発明の実施の形態】以下添付図面に従って本発明に係
る自動追尾装置の好ましい実施の形態を詳述する。図１
は、本発明に係る自動追尾装置のカメラ等との接続及び
回路構成を示したブロック図である。同図に示すカメラ
１０は雲台１２に搭載され、この雲台１２が駆動される
ことによりカメラ１０がパン・チルト動作し、撮影方向
が切り換えられるようになっている。そして、雲台１２
には、雲台コントローラ１６が接続され、この雲台コン
トローラ１６から出力される制御信号によって上記カメ
ラ１０のパン・チルト動作や、カメラ１０の撮影動作及
びカメラ１０に装着されるレンズ装置１４のフォーカス
位置、ズーム位置等が制御されるようになっている。

【０００８】本発明に係る自動追尾装置１８は、上記カ
メラ１０の映像信号出力端子から映像信号を取得する。
カメラ１０から自動追尾装置１８に入力された映像信号
は、まず、Ｙ／Ｃ分離回路２０により、輝度信号（Ｙ信
号）とクロマ信号に分離され、Ｙ信号のみがＡ／Ｄコン
バータ２２によってデジタル信号（以下、画像データと
いう）に変換される。そして、この画像データは画像メ
モリ２４に記録される。尚、画像メモリ２４は２フレー
ム分の画像データを記録することが可能である。

【０００９】また、上記Ｙ／Ｃ分離回路２０からは映像
信号に同期した同期信号が画像処理プロセッサ２６に出
力される。画像処理プロセッサ２６は、この同期信号に
基づいて所定時間経過する前後の２フレーム分の画像デ
ータを上記画像メモリ２４に記録させる。画像メモリ２
４に２フレーム分の画像データが記録されると、画像処
理プロセッサ２６は、画像メモリ２４に記録したその画
像データを画像処理し、カメラ１０で追尾すべき移動物
体を検出すると共に、その移動物体を自動追尾するため
に移動させるべきカメラ１０のパン・チルト位置（撮影
方向）をその移動物体の移動量及び移動方向に基づいて
重心座標という形で算出する。尚、この画像処理プロセ
ッサ２６の処理内容の詳細については後述する。

【００１０】上記雲台コントローラ１６と信号のやり取
りを行うＣＰＵ２８は、上記画像処理プロセッサ２６の
処理で必要となる現在のカメラ１０のパン・チルト位置
を雲台コントローラ１６から取得し、画像処理プロセッ
サ２６に入力すると共に、上記画像処理プロセッサ２６
で算出された重心座標を雲台コントローラ１６に送信す
る。これにより、雲台コントローラ１６は、重心座標に
より指定されたパン・チルト位置にカメラ１０を移動さ
せ、カメラ１０の撮影方向を移動物体に追尾させる。

【００１１】次に、上記画像処理プロセッサ２６におけ
る移動物体の検出処理と、上記重心座標の算出処理の原
理について説明する。図２は、カメラ１０が自動追尾動
作を行っている際に、ある時刻Ｔ及び時刻Ｔから所定時
間経過した時刻Ｔ′における移動物体Ａの位置とカメラ
１０の撮影方向（撮影範囲）の関係を示した図である。
同図に示すようにある時刻Ｔにおいて移動物体Ａが位置
Ｐに存在し、所定時間経過した時刻Ｔ′では位置Ｐ′に
移動したとする。尚、静止物体Ｂは時刻Ｔと時刻Ｔ′で
同一位置に停止している。一方、カメラ１０は、自動追
尾動作により、時刻Ｔで撮影範囲Ｃの画像を撮像し、時
刻Ｔ′で撮影範囲Ｃ′の画像を撮像したとする。この場
合に、画像処理プロセッサ２６がこれらの時刻Ｔ、時刻
Ｔ′における２枚のフレーム画像を画像メモリ２４に記
録したとすると、画像メモリ２４に記録された２枚のフ
レーム画像は、それぞれ図３（Ａ）、（Ｂ）のようにな
る。

【００１２】画像処理プロセッサ２６は、初めに、これ
らの２枚のフレーム画像から移動物体Ａの画像を抽出す
る。移動物体Ａの画像を抽出するためには、通常、撮影
時刻の異なる２枚のフレーム画像について、対応する画
素同士の画像データの差を求めれば静止物体Ｂは消去さ
れて移動物体Ａのみが残るが、ここでは、時刻Ｔと時刻
Ｔ′との期間でカメラ１０の撮影範囲Ｃが移動している
ため、これを考慮して２枚のフレーム画像の差を求める
必要がある。即ち、本発明では従来と異なり、高速で移
動する移動物体に対しても自動追尾が可能なように、２
枚のフレーム画像をカメラ１０を停止させることなくパ
ン・チルト動作させながら取得する。このため、画像上
では静止物体も移動するため、２枚のフレーム画像の画
像データの差を単に求めたのでは、移動物体の画像を抽
出することはできない。

【００１３】そこで、まず、画像処理プロセッサ２６
は、２枚のフレーム画像に共通する撮影範囲を求める。
この２枚のフレーム画像に共通する撮影範囲は、図２に
おいて撮影範囲Ｃと撮影範囲Ｃ′とが重なる範囲であ
り、画像メモリ２４上に記録された画像については図３
（Ａ）、（Ｂ）の点線枠Ｄで示す範囲である。尚、以
下、点線枠Ｄを比較枠といい、比較枠の範囲を比較範囲
という。この比較範囲の画像上では、静止物体Ｂは図３
（Ａ）と図３（Ｂ）で同一位置に停止している。

【００１４】上記比較範囲を求めるために、画像処理プ
ロセッサ２６は、各時刻Ｔ、Ｔ′においてフレーム画像
を画像メモリ２４に記録させると同時に、上記ＣＰＵ２
８を介して雲台コントローラ１６からカメラ１０のパン
・チルト位置を取得し、そのパン・チルト位置をフレー
ム画像と対応させて記録しておく。このように記録して
おいたパン・チルト位置に基づいて時刻Ｔと時刻Ｔ′の
間にカメラ１０の撮影範囲が上下左右に移動した量を算
出することで、容易に比較範囲を求めることができる。

【００１５】比較範囲を求めると、次に、この比較範囲
の画像データを画像メモリ２４から抽出し、この比較範
囲内の各画素について画像データの差の絶対値を求め
る。これにより、図３（Ａ）、（Ｂ）に示したフレーム
画像からは、図４に示すような差画像Ｅが得られる。こ
れによれば、図２、３に示した静止物体Ｂが画像上から
消去され、時刻Ｔと時刻Ｔ′における移動物体Ａの画像
データのみが抽出される。即ち、移動している物体がこ
の処理により検出される。

【００１６】次に、画像処理プロセッサ２６は、上述の
ようにして検出した移動物体Ａを自動追尾するための重
心座標を上記差画像Ｅから算出する。重心座標は、図４
に示す差画像Ｅにおける２つの移動物体Ａを含めた重心
位置Ｇの座標であり、時刻Ｔにおける移動物体Ａの位置
Ｐから重心位置Ｇまでの（画像上における）距離は、移
動物体Ａが時刻Ｔから時刻Ｔ′までの間に移動した（画
像上における）距離の約半分の距離に等しく、また、時
刻Ｔにおける移動物体Ａの位置Ｐから重心位置Ｇを結ぶ
方向は、移動物体Ａが時刻Ｔから時刻Ｔ′までの間に移
動した方向に等しい。即ち、重心座標は、移動物体Ａの
移動量と移動方向を間接的に表している。

【００１７】この重心座標を求めるために、まず、差画
像Ｅの各画素の画像データを２値化する。この処理によ
り理想的には、移動物体Ａが存在する画素が１、それ以
外の範囲では０となる。尚、この２値化の処理の前に、
ノイズ成分が２値化によって１とならないように画像デ
ータの収縮といった処理を行ってもよい。また、２値化
した後に、画像データの値が１となった画素のうち連続
とみなせる画素を１つのまとまりとしてその面積を求
め、面積が所定値より小さいものについては対象から除
外するというような処理により、移動物体Ａのみを適切
に抽出するようにしてもよい。

【００１８】次に、差画像Ｅの適当な点を原点（例え
ば、撮影範囲の中央位置に対応する差画像Ｅ上の点）と
し、各画素の位置座標のＸ成分又はＹ成分の値にその画
素の２値化した画像データの値（１又は０）を乗算し
て、この値を差画像Ｅの全画素について加算する（１次
モーメントの算出）。そして、このようにして求めた
Ｘ、Ｙ成分に関する１次モーメントの値を差画像Ｅの全
画素についての画像データの総和で割る。このようにし
て求めた重心座標は移動物体Ａを追尾するためのカメラ
１０のパン・チルト位置の目標位置となるもので、例え
ば、この重心座標の位置にカメラ１０の撮影範囲の中央
位置が一致するようにカメラ１０のパン・チルト位置を
制御することで、移動物体Ａをカメラ１０で追尾するこ
とができる。

【００１９】以上のようにして画像処理プロセッサ２６
で算出された重心座標は、ＣＰＵ２８によって雲台コン
トローラ１６に送信される。雲台コントローラ１６は、
重心座標の位置が撮影範囲の中央となるように、雲台１
２を制御し、カメラ１０の撮影方向を移動させる。尚、
雲台コントローラ１６は、このような制御を行うため
に、カメラ１０のパン・チルト位置と重心座標との関係
をレンズ装置１４の焦点距離をパラメータとする所定の
関係式で把握している。

【００２０】次に、上記画像処理プロセッサ２６で行わ
れる処理全体の流れについて図５のフローチャートを用
いて説明する。画像処理プロセッサ２６は、まず、カメ
ラ１０からの映像信号により１フレーム分の画像データ
を取得し、画像メモリ２４に記録させる（尚、この時に
１フレーム分の画像データが記録される画像メモリ２４
の領域を画像メモリとする）。また、同時にカメラ１
０のパン・チルト位置データを雲台コントローラ１６か
らＣＰＵ２８を介して取得し、内部のメモリに記録する
（ステップＳ１０）。

【００２１】所定時間経過すると、画像処理プロセッサ
２６は、上述と同様にカメラ１０からの映像信号により
１フレーム分の画像データを取得し、画像メモリ２４に
記録させる（尚、この時に１フレーム分の画像データが
記録される画像メモリ２４の領域を画像メモリとす
る）。同時にカメラ１０のパン・チルト位置データを雲
台コントローラ１６からＣＰＵ２８を介して取得し、内
部のメモリに記録する（ステップＳ１２）。

【００２２】次に、画像処理プロセッサ２６は、画像メ
モリと画像メモリに記録した各フレーム画像につい
て、上記比較枠を設定する（ステップＳ１４）。この比
較枠は、上述のように２つのフレーム画像を取り込んだ
際のパン・チルト位置データから求められる。続いて、
画像処理プロセッサ２６は比較枠内の差画像から上述し
た処理によって重心座標を計算する（ステップＳ１
６）。そして、この重心座標に基づいて重心の移動量を
算出し、重心の移動量が所定の閾値より大きいか否か、
即ち、移動物体がある下限値よりも大きく移動したか否
かを判定する（ステップＳ１８）。ＮＯであれば、上記
ステップＳ１２に戻り、画像メモリに新たなフレーム
画像の画像データを取り込み上述の処理を繰り返し実行
する。

【００２３】一方、ＹＥＳであれば、ＣＰＵ２８を介し
て雲台コントローラ１６に重心座標を出力する。これに
より、その重心座標が撮影範囲の中心位置となるよう
に、雲台コントローラ１６から雲台１２にパン・チルト
コントロール電圧が加えられ、カメラ１０がその重心座
標に向けて移動する（ステップＳ２０）以上の処理が終
了すると、上記ステップＳ１０に戻り、以上の処理を繰
り返し実行する。

【００２４】以上のように上記ステップＳ１０とステッ
プＳ１２における画像データの取り込みは、カメラ１０
がパン・チルト動作している間にも並行して行われ、ま
た、カメラ１０がパン・チルト動作中でも移動物体が移
動している間は、ステップＳ１６において重心座標が逐
次更新されるため、カメラ１０のパン・チルト動作が連
続的に行われるようになり、高速で移動する移動物体に
対しても適切にカメラ１０を自動追尾させることができ
るようになる。

【００２５】

【発明の効果】以上説明したように本発明に係る自動追
尾装置によれば、カメラから所定の時間間隔で取得した
２枚の画像から重複する撮影範囲の画像を抽出し、その
抽出した画像によって追尾すべき被写体の移動量及び移
動方向を検出するようにしたため、２枚の画像の撮影範
囲を一致させるためにカメラの追尾動作を停止させる必
要がなく、カメラを追尾動作させながら追尾すべき被写
体の移動量及び移動方向を逐次検出することができる。
これにより、カメラを連続的に追尾動作させることがで
き、動きの速い移動物体に対しても適切に自動追尾させ
ることができる。

【図面の簡単な説明】

【図１】図１は、本発明に係る自動追尾装置のカメラ等
との接続及び回路構成を示したブロック図である。

【図２】図２は、カメラが自動追尾動作を行っている際
に、ある時刻Ｔ及び時刻Ｔから所定時間経過した時刻
Ｔ′における移動物体Ａの位置とカメラの撮影方向（撮
影範囲）の関係を示した図である。

【図３】図３（Ａ）、（Ｂ）は、画像メモリに記録され
るフレーム画像の一例を示した図である。

【図４】図４は、図３（Ａ）、（Ｂ）のフレーム画像の
差画像の様子を示した図である。

【図５】図５は、本発明に係る自動追尾装置の画像処理
プロセッサの処理手順を示した図である。

【符号の説明】

１０…カメラ １２…雲台 １４…レンズ １６…雲台コントローラ １８…自動追尾装置 ２４…画像メモリ ２６…画像処理プロセッサ ２８…ＣＰＵ

Claims (1)

【特許請求の範囲】
1. 【請求項１】カメラによって撮影された画像に基づいて
   追尾すべき被写体の移動量及び移動方向を検出し、該検
   出した被写体の移動量及び移動方向に基づいて前記カメ
   ラの撮影方向を制御する自動追尾装置において、 前記カメラによって撮影された画像を所定の時間間隔お
   きに取得する画像取得手段と、 前記画像取得手段によって画像を取得したときの前記カ
   メラの撮影方向を検知する撮影方向検知手段と、 前記撮影方向検知手段によって検知した前記カメラの撮
   影方向に基づいて、前記画像取得手段によって取得され
   た所定の２枚の画像から重複する撮影範囲の画像を抽出
   する画像抽出手段と、 前記画像抽出手段によって抽出された２枚の画像を比較
   して、追尾すべき被写体の移動量及び移動方向を検出す
   る画像処理手段と、 を備えたことを特徴とする自動追尾装置。