JP2007081754A - カメラ雲台装置 - Google Patents

Abstract

【課題】 対象となる被写体が撮影者の意図しない動きをした場合でも、撮影者が事前に考えた任意の位置・大きさの構図で被写体を自動的に撮影できる。
【解決手段】 被写体を映像により認識し（ステップＳ１１）、被写体の特徴等を事前トレースし（ステップＳ１２）、トレースデータの編集・登録を行い（ステップＳ１３）、最終的に自動追尾モードにおいて、被写体に対する撮影者の意図する構図の自動追尾を行う（ステップＳ１４）。
【選択図】図３

Description

本発明は、移動体を自動追尾して撮像するカメラ雲台装置に関するものである。

従来から、特許文献１に記載されているような雲台に搭載したテレビカメラをパン及びチルト動作させ、移動する被写体を追尾することが可能な自動追尾機能が知られている。また、特許文献２に記載されているような予めズーム・フォーカス・パン・チルトの動作データを登録しておき、その動作を再現するトレース機能を組み合わせる方法も知られている。

更には、特許文献３に記載されているように、被写体の主制御位置が画面の一定の位置になるように自動追尾する方法も知られている。これは予めパン・チルト・ハイトの少なくとも何れか１つから成る主制御位置データに対して、パン・チルト・ズーム・フォーカスの主制御位置ではない少なくとも何れか１つから成る副制御位置データを記憶したトレースデータを作成・登録しておく。

このように、主制御位置に対して副制御位置データを変化させることで、上述の自動追尾機能の欠点である無駄な上下動を無くし、かつ移動範囲が制限がない追尾を実現することができる。

特許第２８６８０８７号公報 特公平６−１４６９８号公報 特開２００２−２４７４４０号公報

しかしながら前述の従来例では、対象となる被写体の主制御位置であるパン・チルト・ハイトの少なくとも何れか１つが常に一定値になるため、取得できる映像は限られたものになり、撮影者の意志を盛り込むような追尾をすることは困難である。

本発明の目的は、上述の課題を解消し、対象となる被写体が撮影者の意図しない動きをした場合でも、撮影者が事前に考えた任意の位置・大きさの構図で自動的に撮影できるカメラ雲台装置を提供することにある。

また本発明の他の目的は、事前トレースデータが撮影者の意図した構図でなくとも、撮影者が事前トレースデータを容易に編集できるようにすることで、撮影者の任意の構図を自動で撮影できるカメラ雲台装置を提供することにある。

上記目的を達成するための本発明に係るカメラ雲台装置の技術的特徴は、被写体を自動追尾して撮像可能なカメラ雲台装置において、予め被写体を追尾して得られるカメラ雲台のトレースデータ及び該トレースデータと同期して撮像した画像を記録する記録手段と、前記被写体を認識する被写体認識手段と、前記被写体と前記トレースデータとのずれ量を検出するずれ量検出手段と、前記トレースデータ及び前記ずれ量に基づいて前記カメラ雲台を制御する制御手段とを有することにある。

本発明に係るカメラ雲台装置によれば、事前トレースデータを記憶し、このデータを基に再トレースを行うことで、対象となる移動体を画面上の全ゆる点において自動撮影することが可能となる。

また、被写体の色情報を認識するようにすれば、事前トレースデータと同期して、キーポイントとなる重要な構図を静止画として記録できる。これにより、データ補完して使用することで、重心のずれによりパン・チルトを制御し、大きさのずれによりズーム・フォーカスを制御することで、撮影者の意図したカメラワークを自動で実現することができる。

更に、被写体をパターンマッチングにより認識するようにすると、撮影者の意図したカメラワークを自動で実現することができる。

事前トレースデータに同期したキーポイントとなる構図データの時間データや被写体位置を編集する手段を備えることができる。これにより、事前トレースデータが撮影者の意図するライン・構図でなくても、基準となる事前トレースデータを撮影者が意図するように編集することが可能となる。

本発明を図示の実施例に基づいて詳細に説明する。

図１は本発明が適用されるインテリジェント雲台システムの全体構造のブロック回路構成図である。雲台システム１０はテレビカメラ１１、テレビカメラ１１に装着されたレンズ装置１２、テレビカメラ１１をパン・チルト動作させるための雲台１３、及び雲台１３を操作する操作器１４から構成されている。また、雲台システム１０と別個の場所に配置された追尾用処理装置２０は、画像処理回路２１、追尾用ＣＰＵ２２、メモリ２３から構成されている。

画像処理回路２１はカメラ１１からの映像信号を受け取り、追尾に必要な被写体の大きさや形状の情報を取り出し、追尾用ＣＰＵ２２に送る。追尾用ＣＰＵ２２は画像処理回路２１からフィードバックされた情報を基に、その時間における雲台１３を操作すべき操作量を算出して操作器１４に指令し、操作器１４は雲台１３に対して操作コマンドを送ることで、テレビカメラ１１を操作する。

ここで、追尾用処理装置２０が操作器１４を制御する構成となっているが、図２に示すように追尾用処理装置２０を雲台システム１０側に設け、操作器１４を外部に配置し、操作器１４は雲台１３のモード変換及び手動操作時の場合のみ使用するようにしてもよい。

図３は追尾処理用装置２０の一連の動作のフローチャート図である。画像処理回路２１が雲台システム１０を被写体認識モード、トレースデータ取得モード、トレースデータ編集モードと順次に切換えてゆくことで、被写体を映像により認識する（ステップＳ１１）
次いで、被写体に対し事前トレースし（ステップＳ１２）、トレースデータの編集・登録を行い（ステップＳ１３）、最終的に自動追尾モードにおいて、撮影者の意図する構図における被写体の自動追尾を行う（ステップＳ１４）。

ステップＳ１１の被写体を認識させる手順は、先ず雲台システム１０を被写体認識モードにし、例えば図４に示すように、被写体である航空機が写っている静止画を取得し、撮影者が被写体の最も特徴的な航空機の胴部の色領域を選択する。追尾用ＣＰＵ２２はこの領域の中で最も多い領域を占めている色又は選択された領域の平均値を求め、これを被写体の色情報としてメモリ２３に登録しておく。

映像情報から被写体を認識するには、例えば画面のピクセル分の二次元配列を用意し、各ピクセルの色情報が、前述の登録された被写体の色と、或る一定の閾値以内である場合には１、それ以外ならば０とする２値の二次元配列を作成する。このようにして区別された領域が最も大きい部分を、最終的な被写体として認識する。

ここで、前述の方法では最も大きい領域としたが、図５に示すように或る一定以上の大きさを持つ領域を表示し、そこからクリック等で撮影者に最終的な被写体となるべき領域を選択させてもよい。

図６は図３のステップＳ１２、Ｓ１３のトレースデータの登録までの動作フローチャート図である。先ず、撮影者は雲台システム１０をトレースデータ取得モードにし（ステップＳ２１）、手動操作で登録したい構図の映像を撮影する（ステップＳ２２）。その間に、雲台システム１０は或る一定の間隔でパン・チルトの位置情報を追尾用ＣＰＵ２２を介してメモリ２３に送る（ステップＳ２３）。

また、テレビカメラ１１で撮影された映像は画像処理回路２１に送られ（ステップＳ２４）、上述の方法で被写体を認識し、そこから被写体の重心を算出し（ステップＳ２５）、その重心の位置情報をメモリ２３に送る（ステップＳ２６）。メモリ２３には、スタートから順に雲台１３のパン位置・チルト位置・画面上における被写体の重心のｘ座標・ｙ座標の４つのデータが二次元配列として格納される。

かくすることで、データ取得時間の間隔と、何番目のデータかを表す配列のインデックスから、スタートから或る時間に対する被写体の位置を決定することができる。

また、操作器１４は例えばスイッチを押すと静止画として画像を取得できるような機構を持ち、撮影者は構図についてのキーポイントでそのスイッチを押す。或いは、或る一定間隔で定期的に自動で画像を取得するなどして（ステップＳ２７）、静止画を複数枚取得しておく（ステップＳ２８）。これにより、図７に示すような一定間隔でパン・チルト及びこれらと同様に画面上での被写体の重心のｘ座標・ｙ座標のデータが得られ、或る時間においては静止画データもメモリ２３に記憶されることになる。

撮影者が被写体の事前トレースを終えると（ステップＳ２９）、静止画とその取得時間から、上述の方法を用いて或る静止画取得時間における被写体の大きさを求める（ステップＳ３０）。このデータを例えば線形補完やスプライン補完のようなデータ補完をすることで、結果的には図８に示すようにデータ補完によって計算された時間における被写体の大きさも二次元配列に加えられる。

トレースデータを編集する際には、例えば図９に示すようなディスプレイにおいて、キーポイントとなる静止画とその時間における画面上の対象物の大きさ・重心位置及びそれぞれの画像の間隔を表示する。そして、大きさ・重心位置・画像間の間隔を任意の値に変更し、そして、変更したデータを基に図１０に示すように再度データ補完を行うことで、最終的なトレースデータをメモリ２３に登録する。

図１１は図３のステップＳ１４における自動追尾機能の処理手順のフローチャート図である。先ず、雲台システム１０を自動追尾モードとすると（ステップＳ４１）、追尾用ＣＰＵ２２が自動追尾を開始し、追尾用処理装置２０は対象となる移動体の重心座標と大きさを、画像処理回路２１から取得する（ステップＳ４２）。取得した重心座標をトレースデータの座標と比較し（ステップＳ４３）、トレースデータに合うようにパン・チルトを調節する（ステップＳ４４）。

同様に、取得した対象となる被写体の大きさと、トレースデータにおける被写体の大きさを比較し（ステップＳ４５）、トレースデータに合うようにズームを調節する（ステップＳ４６）。このズーム調節によってフォーカスがずれるため、オートフォーカス機能等によってフォーカスを変化することになる。

その際に、被写体の大きさが変化しないように、ＣＡＦＳ（Constant Angle Focusing System）機構を備えたレンズを用いるか、又はズーム・フォーカスを繰り返す。これにより、被写体の大きさが取得した対象物のデータと同じで、かつフォーカスが合った画像になるようにしておく。次に、トレースデータの続きがあるかを判定し（ステップＳ４７）、続きがあればステップＳ４２に戻り、なければ自動追尾モードを終了とする（ステップＳ４８）。

上述の実施例においては、被写体の認識に色情報を用いたが、この他の手法として、形状ベースのパターンマッチングによって被写体を認識する方法が考えられる。形状ベースのパターンマッチングとは、２つの画像の正規化相互相関を得て、画像相関値の最大値を求めることである。本実施例においては、先ず被写体の形状を認識しておき、次の静止画において被写体をマッチングさせ、その平行移動量と拡大・縮小比を求めて自動追尾を行う。

パターンマッチングにおいては、先ず被写体の認識方法は、先の特許文献３にも記載されているように、対象とすべき被写体が移動中に２枚の画像を取得し、雲台１３の位置情報によって算出される２枚の画像の双方に撮影されている領域を比較枠とする。この比較枠において、２枚の画像の差分を求め、そこから移動体を認識する。この際に、差分により認識された移動体が複数ある場合には、上述の色情報の場合と同様に、最も大きい領域を選択するか、又は図５に示すように撮影者に選択させるようにしてもよい。

トレースデータの取得及び編集・登録は、色認識の場合と同様に行うが、この際にパターンマッチングに関しては、対象物の大きさに関する情報を必要としない。従って、メモリ２３には、スタートから順に雲台１３のパン・チルト位置・画面上における対象物の重心のｘ座標・ｙ座標の４つのデータを二次元配列として保持する。

図１２はパターンマッチングを用いた場合の自動追尾モードのフローチャート図である。先ず、色認識の場合と同様に、雲台１３を自動追尾モードにする（ステップＳ５１）。次に、事前トレースの際に画像取得を行ったタイミングかどうかを判定し（ステップＳ５２）、画像取得時であればパターンマッチングを行うことで、トレースデータと現在の画像のずれ量を算出する（ステップＳ５３）。

このずれ量の算出により、次の画像取得時間までのパン・チルト・ズームのトレースデータの修正を行い（ステップＳ５４）、次の画像取得タイミングまでの間はトレースデータ通りにパン・チルト・ズームを制御する（ステップＳ５５）。

また、ステップＳ５２で画像取得タイミングでなければステップＳ５５に進み、前述のようにオートフォーカス機能によって被写体の大きさが変化してしまうことを抑えるようにする。その後に、トレースデータに続きがあるかどうかを判定し（ステップＳ５６）、続きがある場合にはステップＳ５２に戻り、ない場合には自動追尾を終了する（ステップＳ５７）。

実施例のブロック回路構成図である。 変形例のブロック回路構成図である。 手順のフローチャート図である。 被写体の色情報を取得する方法の説明図である。 任意の領域を選択するための方法の説明図である。 トレースデータを取得する動作フローチャート図である。 取得したトレースデータの説明図である。 データ補完した被写体の大きさのデータのグラフ図である。 トレースデータを編集する操作ディスプレイの正面図である。 補正したトレースデータの説明図である。 被写体の認識に色認識を用いた場合の自動追尾モードの動作フローチャート図である。 被写体の認識にパターンマッチングを用いた場合の自動追尾モードの動作フローチャート図である。

符号の説明

１０ 雲台システム
１１ テレビカメラ
１２ レンズ装置
１３ 雲台
１４ 操作器
２０ 追尾処理装置
２１ 画像処理回路
２２ 追尾用ＣＰＵ
２３ メモリ

Claims (4)

1. 被写体を自動追尾して撮像可能なカメラ雲台装置において、予め被写体を追尾して得られるカメラ雲台のトレースデータ及び該トレースデータと同期して撮像した画像を記録する記録手段と、前記被写体を認識する被写体認識手段と、前記被写体と前記トレースデータとのずれ量を検出するずれ量検出手段と、前記トレースデータ及び前記ずれ量に基づいて前記カメラ雲台を制御する制御手段とを有することを特徴とするカメラ雲台装置。
2. 前記ずれ量検出手段は前記被写体の重心のずれ及び被写体の大きさを用い、前記制御手段は前記重心のずれによりパン・チルトを制御し、前記大きさのずれによりズーム・フォーカスを制御することを特徴とする請求項１に記載のカメラ雲台装置。
3. 前記被写体認識手段は被写体の色及び被写体の形状の少なくとも一方を基準として被写体を認識することを特徴とする請求項１又は２に記載のカメラ雲台装置。
4. 前記トレースデータの時間データ及び被写体位置の少なくとも一方を編集する編集手段を有することを特徴とする請求項１に記載のカメラ雲台装置。

Images