JP2001169169A - 自動追尾装置 - Google Patents

Abstract

(57)【要約】 【課題】テレビカメラの映像に移動する複数の被写体が
存在する場合でも、追尾すべき所望の被写体を色相によ
って識別することで、所望の被写体を適切にカメラで自
動追尾することができる自動追尾装置を提供する。 【解決手段】画像処理装置１４において、予め追尾すべ
き被写体の色相を示すＨＵＥ値のヒストグラムを作成し
ておく。そして、自動追尾を開始した際に、画像処理装
置１４においてカメラ４０の映像信号に基づいて移動し
ている被写体の位置を検出すると共に、追尾すべき被写
体の色相と同一の被写体を選出し、その選出した被写体
の位置を雲台コントローラ１２に送信する。雲台コント
ローラ１２は雲台１０のパン・チルトの制御信号を送信
してカメラ４０の撮影方向をその追尾すべき被写体の方
向に移動させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は自動追尾装置に係
り、特にカメラの撮影方向を自動で移動させて所望の被
写体を自動追尾する自動追尾装置に関する。

【０００２】

【従来の技術】自動追尾装置は、雲台に搭載したテレビ
カメラをモータ駆動によりパン・チルトさせてカメラの
撮影方向を自動で変更し、移動する被写体（移動物体）
を自動追尾する装置である。自動追尾の方法として特公
平６−１４６９８号公報に記載のものが一般的に知られ
ている。この方法は、カメラから得られる映像信号から
所定時間間隔の２フレーム分の画像の差を求めて移動す
る被写体の画像を抽出し、その被写体の画像の重心位置
から被写体の移動量及び移動方向を検出する。そして、
移動する被写体が常に画面中央部となるように、検出し
た被写体の移動量及び移動方向に基づいてカメラの撮影
方向を雲台により自動で動かすというものである。

【０００３】

【発明が解決しようとする課題】しかしながら、上述の
ような自動追尾の方法では、カメラで撮影した映像に移
動する複数の被写体が存在する場合には、どの被写体を
追尾すべきかが判断できず、所望の被写体を適切に追尾
することができないという欠点があった。

【０００４】本発明はこのような事情に鑑みてなされた
もので、カメラで撮影された映像に移動する複数の被写
体が存在する場合でも所望の被写体のみをカメラで自動
追尾することができる自動追尾装置を提供することを目
的とする。

【０００５】

【課題を解決するための手段】本発明は、前記目的を達
成するために、カメラの撮影方向を移動させて、追尾す
べき被写体を自動追尾する自動追尾装置において、追尾
すべき被写体の色相を設定する色相設定手段と、前記カ
メラで撮影された映像から移動する被写体を抽出する移
動被写体抽出手段と、前記色相設定手段によって設定さ
れた色相に基づいて、前記移動被写体抽出手段によって
抽出された被写体から前記追尾すべき被写体を選択する
追尾被写体選択手段と、前記追尾被写体選出手段によっ
て選択された被写体の位置に基づいて前記カメラの撮影
方向を移動させる制御手段と、を備えたことを特徴とし
ている。

【０００６】本発明によれば、追尾したい被写体を色相
により選択し、その色相の被写体の位置に基づいて自動
追尾を行うようにしたため、移動する複数の被写体が存
在する場合でも、適切に追尾すべき所望の被写体のみを
自動追尾することができる。

【０００７】

【発明の実施の形態】以下添付図面に従って本発明に係
る自動追尾装置の好ましい実施の形態を詳述する。

【０００８】図１は、本発明が適用される自動追尾機能
搭載のリモコン雲台システムの全体構成図である。同図
に示すリモコン雲台システムは、リモコン雲台１０（以
下、単に雲台１０という）、雲台コントローラ１２、及
び、画像処理装置１４とから構成される。雲台１０は、
テレビカメラ（以下、単にカメラという）を収容するハ
ウジング１５と、ハウジング１５をパンニング及びチル
ティングさせる雲台本体１６とから構成される。ハウジ
ング１５の前面には透明の保護ガラス１７が設けられ、
ハウジング１５内に収納されたカメラはこの保護ガラス
１７を介してハウジング１５外部の映像を撮影する。

【０００９】上記ハウジング１５は、雲台本体１６から
延設されたチルト軸（図示せず）に支持され、このチル
ト軸は雲台本体１６に内蔵されたチルトモータによって
回転駆動される。また、雲台本体１６は図示しない据付
台上に固定されたパン軸１８によって支持され、このパ
ン軸１８は雲台本体１６に内蔵されたパンモータによっ
て回転駆動される。従って、雲台本体１６に内蔵された
パンモータとチルトモータが駆動されると、ハウジング
１５に収納されたカメラがパン・チルト動作し、カメラ
の撮影方向が変更される。

【００１０】上記雲台コントローラ１２は、雲台１０に
ケーブルを介して接続され（尚、専用回線、公衆回線等
の通信回線を介して接続することも可能である。）、雲
台コントローラ１２に設けられている各種操作部材の操
作に基づいて制御信号を雲台１０に送信し、雲台１０及
び雲台１０に搭載されたカメラの各種動作を制御する。
本発明において雲台コントローラ１２は、自動追尾機能
により、画像処理装置１４から与えられる追尾すべき位
置（以下で示す追尾すべき被写体の重心位置）に基づい
て雲台１０のハウジング１５をパン・チルトさせる制御
信号を雲台１０に送信し、カメラの撮影方向（パン・チ
ルト位置）を追尾すべき被写体の方向に移動させるコン
トローラとして機能する。

【００１１】図２は、上記リモコン雲台システムの構成
を示したブロック図である。同図に示すように雲台１０
のハウジング１５に収納されるカメラ４０は、カメラ本
体４２とカメラ本体４２に装着されるレンズ装置４４と
から構成される。カメラ本体４２は、撮像素子や所要の
処理回路を備えており、撮像素子によって撮影した画像
（動画）を映像信号として外部に出力する。撮影開始や
終了等の撮影動作の制御は雲台コントローラ１２から雲
台１０を介して与えられる制御信号に基づいて行われ
る。

【００１２】レンズ装置４４は、モータ駆動可能なフォ
ーカスレンズやズームレンズ等の光学部材を備えてお
り、フォーカスレンズやズームレンズが移動することに
よりカメラ４０のフォーカス、ズームの調整が行われ
る。フォーカスやズーム等のレンズ装置４４の動作に関
する制御は、カメラ本体４２と同様に雲台コントローラ
１２から与えられる制御信号に基づいて行われる。

【００１３】雲台１０は、上述のように雲台コントロー
ラ１２から与えられる制御信号によりハウジング１５を
駆動し、カメラ４０をパン・チルト動作させると共に、
カメラ本体４２又はレンズ装置４４の制御に関して雲台
コントローラ１２から与えられる制御信号をカメラ本体
４２又はレンズ装置４４に転送する。

【００１４】画像処理装置１４は、雲台コントローラ１
２が自動追尾モードとなっているときに有効に作用する
装置であり、同図に示すように主としてＹ／Ｃ分離回路
４６、画像メモリ５０、ＨＵＥ変換回路５１、画像処理
プロセッサ５２、ＣＰＵ５４等から構成される。Ｙ／Ｃ
分離回路４６は、カメラ４０のカメラ本体４２から出力
された映像信号を輝度信号（Ｙ信号）と色差信号（Ｒ−
Ｙ信号、Ｂ−Ｙ信号）に分離する。ここで分離された輝
度信号と色差信号はそれぞれＡ／Ｄコンバータ４８、４
９によってデジタル信号（以下、それぞれ輝度信号の画
像データ、色差信号の画像データといい、両方含むとき
は単に画像データという）に変換され、画像メモリ５０
に書き込まれる。尚、画像メモリ５０には、後述のよう
に２フレーム分の輝度信号の画像データと１フレーム分
の色差信号の画像データが記録される。

【００１５】ＨＵＥ変換回路５１は、画像処理プロセッ
サ５２によって指定された範囲の各画素について、画像
メモリ５０に格納された色差信号の画像データを読み出
し、その画像データを色相を示すデータ（ＨＵＥ値）に
変換する。具体的には次式(1) によってＨＵＥ値（Ｈ）
を求める。

【００１６】 Ｈ＝ｔａｎ^-1（（Ｂ−Ｙ）／（Ｒ−Ｙ）） …(1) （ただし、（Ｒ−Ｙ）、（Ｂ−Ｙ）は、それぞれＲ−Ｙ
信号とＢ−Ｙ信号の画像データの値を示す。） 画像処理プロセッサ５２は、Ｙ／Ｃ分離回路４６から映
像信号に同期して与えられる同期信号に基づいて、２フ
レーム分の画像についての輝度信号の画像データと、こ
のうち後から取り込まれる画像についての１フレーム分
の色差信号の画像データとを画像メモリ５０に記憶させ
る。また、その画像メモリ５０に記憶した輝度信号の画
像データ及びＨＵＥ変換回路５１から得られるＨＵＥ値
とに基づいてカメラ４０で追尾すべき被写体の位置を検
出するための処理を行う。尚、画像処理プロセッサ５２
の処理内容についての詳細は後述する。

【００１７】ＣＰＵ５４は、画像処理プロセッサ５２で
の処理結果に基づきカメラ４０で追尾すべき被写体の位
置を取得し、その位置を雲台コントローラ１２に与え
る。また、その他必要な処理を実行する。尚、ＣＰＵ５
４の処理内容についての詳細は後述する。

【００１８】上記雲台コントローラ１２は、自動追尾モ
ードでない場合には、上述のように雲台コントローラ１
２に設けられている各種操作部材の操作に基づいて制御
信号を雲台１０に送信し、雲台１０及び雲台１０に搭載
されたカメラ４０の各種動作を制御する。一方、自動追
尾モードの場合には、画像処理装置１４のＣＰＵ５４か
ら与えられる追尾すべき被写体の位置（重心座標）に基
づいて、その重心座標が画面（カメラ４０で撮影された
画像が構成される範囲）の中央となるように雲台１０に
パン・チルトの制御信号を出力し、カメラ４０の撮影方
向を追尾すべき被写体に追尾させる制御を行う。

【００１９】以上の如く構成されたリモコン雲台システ
ムにおける自動追尾の処理手順について図３のフローチ
ャート及び図４を用いて説明する。まず、自動追尾を開
始する前に、画像処理プロセッサ５２は、追尾すべき所
望の被写体のＨＵＥ値（色相）のヒストグラムを作成す
る（ステップＳ１０）。即ち、自動追尾開始前に追尾す
べき被写体をカメラ４０で撮影し、カメラ本体４２から
Ｙ／Ｃ分離回路４６、Ａ／Ｄコンバータ４８を介して、
その被写体を映した１フレーム分の画像データを画像処
理装置１４の画像メモリ５０に取り込む。操作者は、そ
の画像メモリ５０に記憶された画像データをモニタに表
示させ、追尾すべき被写体の範囲をマウス等で指定す
る。画像処理プロセッサ５２は、その指定された範囲に
ついて、画像メモリ５０の色差信号の画像データに基づ
きＨＵＥ変換回路５１から各画素のＨＵＥ値を取得し、
その指定された範囲のＨＵＥ値のヒストグラムを作成す
る。そして、そのヒストグラムのデータをＣＰＵ５４内
のメモリに格納しておく。

【００２０】雲台コントローラ１２において自動追尾モ
ードがオンになり、自動追尾が開始されると、まず、画
像処理プロセッサ５２は、カメラ４０のカメラ本体４２
からＹ／Ｃ分離回路４６、Ａ／Ｄコンバータ４８を介し
て得られる１フレーム分の輝度信号の画像データ（この
画像を画像とする）を画像メモリ５０に取り込む（ス
テップＳ１２）。尚、画像については、輝度信号の画
像データのみで色差信号の画像データは画像メモリ５０
に記録しない。

【００２１】続いて、所定時間経過後に画像と同様に
１フレーム分の画像データ（この画像を画像とする）
を画像メモリ５０に取り込む（ステップＳ１２）。尚、
画像については、輝度信号と色差信号の両方の画像デ
ータを画像メモリ５０に取り込む。図４（Ａ）は、画像
メモリ５０に取り込まれた画像と画像の例を示した
図であり、△で示す被写体は静止し、□と○で示す被写
体が移動している。上記ステップＳ１０において例えば
□の被写体のＨＵＥ値のヒストグラムを作成すると、□
の被写体が追尾すべき被写体となる。

【００２２】次に、画像処理プロセッサ５２は、画像
と画像の差画像を求める（ステップＳ１６）。即ち、
画像と画像の輝度信号の画像データの同一画素同志
の差を求め、その絶対値を求める。これにより、移動し
ている被写体の画像データのみが抽出される。図４
（Ｂ）は、図４（Ａ）に示した画像と画像の差画像
を示した図であり、移動した□と○の被写体のみが抽出
される。

【００２３】続いて、画像処理プロセッサ５２は、ステ
ップＳ１６で求めた差画像の各画素の画像データを２値
化する（ステップＳ１８）。この処理により理想的には
移動している被写体の画素データが１、それ以外で０と
なる。次いで、２値化した差画像を収縮する処理を行
い、細かいノイズを除去する（ステップＳ２０）。そし
て、この差画像のデータに基づいて一体とみなされる被
写体ごとにラベリングＮＯを付ける（ステップＳ２
２）。図４（Ｃ）は、被写体にラベリングＮＯを付した
様子を示したもので、差画像に含まれる各被写体のそれ
ぞれにラベリングＮＯ１〜４が付されている。

【００２４】続いて画像処理プロセッサ５２は、各ラベ
リングＮＯの被写体ごとに面積を求める（ステップＳ２
４）。ＣＰＵ５４は、各ラベリングＮＯの被写体の面積
を画像処理プロセッサ５２から取得してそれぞれの面積
を所定のしきい値と比較し、そのしきい値よりも大きい
被写体だけを選出する（ステップＳ２６）。これによ
り、しきい値よりも小さな被写体、又は動きの少ない被
写体は以下の処理の対象から除外される。もし、しきい
値よりも大きい被写体がなければ、上記ステップＳ１４
に戻り、上述の処理を繰り返す。

【００２５】次に、画像処理プロセッサ５２は、ＣＰＵ
５４によって選出されたラベリングＮＯの被写体ごとに
１次モーメントを求め（ステップＳ２８）、各被写体の
重心位置を求める（ステップＳ３０）。尚、この重心位
置は、例えば画面上に想定された縦横の座標値によって
表され、以下、その重心位置を重心座標という。図４
（Ｄ）は、各ラベリングＮＯ１〜４の被写体の重心座標
を求めた結果を示した図であり、同図に示す＋の位置が
重心位置を示している。

【００２６】次に、画像処理プロセッサ５２は、各ラベ
リングＮＯの被写体の画素範囲について、画像メモリ５
０から画像の色差信号の画像データを読み出し、ＨＵ
Ｅ変換回路５１によってＨＵＥ値を取得する。そして、
各ラベリングＮＯの被写体範囲のＨＵＥ値のヒストグラ
ムを作成する（ステップＳ３２）。続いて、ステップＳ
１０で作成した追尾すべき被写体の色相にもっとも近い
被写体を選出する（ステップＳ３４）。例えば、ステッ
プＳ１０で作成した追尾すべき被写体のヒストグラムに
おいて最大度数となるＨＵＥ値及びその近傍のＨＵＥ値
の画素数が最も多い被写体を選出する。図４で示した例
において、□の被写体を追尾すべき被写体としてステッ
プＳ１０でＨＵＥ値のヒストグラムを作成した場合、差
画像のラベリングＮＯ１と２が追尾すべき被写体となる
が、画像の色差信号の画像データによりＨＵＥ値のヒ
ストグラムを作成しているため、図４（Ｅ）に示すよう
にラベリングＮＯ１の被写体がステップＳ３４の処理で
選出される被写体となる。

【００２７】ＣＰＵ５４は、以上のようにして選出され
たラベリングＮＯの被写体の重心座標を雲台コントロー
ラ１２に送信する。雲台コントローラ１２は、その重心
座標が画面の中央となるように雲台１０にパン・チルト
の制御信号を出力する（ステップＳ３６）。これによ
り、雲台１０のハウジング１５がパン・チルトし、カメ
ラ４０の撮影方向が追尾すべき被写体の方向に移動す
る。尚、雲台コントローラ１２は、雲台１０から逐次現
在のパン・チルト位置及びズーム位置（焦点距離）を取
得しており、これらの位置とＣＰＵ５４から与えられた
重心座標により、その重心座標が画面の中央となるよう
なカメラ４０のパン・チルト位置を求めている。

【００２８】画像処理装置１４のＣＰＵ５４は、雲台コ
ントローラ１２から雲台１０の現在のパン・チルト位置
に関する情報を取得して雲台１０のパン・チルト動作が
停止したか否かを判定する（ステップＳ３８）。ＣＰＵ
５４が雲台１０のパン・チルト動作が停止したと判定し
た場合には、上記ステップＳ１２に戻り、ステップＳ１
２からの処理が繰り返し実行される。

【００２９】以上のように、追尾すべき所望の被写体を
その色相により特定することで、カメラの映像内に移動
する複数の被写体が存在する場合でも適切に所望の被写
体のみを追尾することができる。

【００３０】尚、追尾すべき被写体のＨＵＥ値のヒスト
グラムの作成は、上記図３のステップＳ１０において操
作者がその被写体をモニタ上で指定して行うようにした
が、これに限らず、例えば、上記ステップＳ１２〜ステ
ップＳ２６の処理によって最初に移動する被写体を検出
し、その被写体を自動的に追尾すべき被写体として、そ
の被写体のＨＵＥ値のヒストグラムを自動で作成するよ
うにしてもよい。

【００３１】以上、上記実施の形態では、カメラ４０の
撮影方向を移動させて自動追尾する場合について説明し
たが、本発明は、カメラ４０の撮影方向に加えて撮影画
角の大きさ（ズーム位置）を変更して自動追尾する場合
でも同様に適用できる。

【００３２】また、上記実施の形態では、テレビカメラ
により自動追尾する場合について説明したが、本発明は
これに限らず、静止画を撮影するカメラ（例えばデジタ
ルスチルカメラ等）を使用して被写体を自動追尾する場
合にも適用できる。

【００３３】

【発明の効果】以上説明したように本発明に係る自動追
尾装置によれば、追尾したい被写体を色相により選択
し、その色相の被写体の位置に基づいて自動追尾を行う
ようにしたため、移動する複数の被写体が存在する場合
でも、適切に追尾すべき所望の被写体のみを自動追尾す
ることができる。

【図面の簡単な説明】

【図１】図１は、本発明が適用される自動追尾機能搭載
のリモコン雲台システムの全体構成図である。

【図２】図２は、リモコン雲台システムの構成を示した
ブロック図である。

【図３】図３は、自動追尾の処理手順を示したフローチ
ャートである。

【図４】図４は、自動追尾の処理手順の説明に用いた説
明図である。

【符号の説明】

１０…雲台、１２…雲台コントローラ、１４…画像処理
装置、４０…カメラ、４２…カメラ本体、４４…レンズ
装置、４６…Ｙ／Ｃ分離回路、４８…Ａ／Ｄコンバー
タ、５０…画像メモリ、５１…ＨＵＥ変換回路、５２…
画像処理プロセッサ、５４…ＣＰＵ

Claims (1)

【特許請求の範囲】
1. 【請求項１】カメラの撮影方向を移動させて、追尾すべ
   き被写体を自動追尾する自動追尾装置において、 追尾すべき被写体の色相を設定する色相設定手段と、 前記カメラで撮影された映像から移動する被写体を抽出
   する移動被写体抽出手段と、 前記色相設定手段によって設定された色相に基づいて、
   前記移動被写体抽出手段によって抽出された被写体から
   前記追尾すべき被写体を選択する追尾被写体選択手段
   と、 前記追尾被写体選択手段によって選択された被写体の位
   置に基づいて前記カメラの撮影方向を移動させる制御手
   段と、 を備えたことを特徴とする自動追尾装置。