JP2005236568A - カメラの撮像方向を制御する装置 - Google Patents

Abstract

【課題】 設置時の設定負担を軽減し、利便性を向上できるカメラの撮像方向制御装置を提供する。
【解決手段】 カメラ１によって撮像された映像から移動体を検出した移動体検出結果を取得し、カメラ１の、過去の撮像方向から現在の撮像方向までの移動量と、移動体検出結果とに基づき、現在のカメラ１の撮像方向に関する得点情報を演算し、当該得点情報を利用して、現在のカメラ１の撮像方向に関する総得点情報を生成し、当該カメラ１の撮像方向に関する総得点情報に基づき、次のカメラ１の撮像方向の制御内容を定める撮像方向制御装置である。
【選択図】 図１

Description

本発明は、ＰＴＺ（Pan Tilt Zoom）カメラなどの撮像方向等を制御する装置に関する。

監視カメラなどの用途に供するため、撮像方向等を外部の装置から制御可能なカメラが開発されている（特許文献１等）。こうしたカメラの撮像方向の制御は、従来、予め定められた複数の撮像方向に対し、所定の順番に、又はランダムにカメラを向ける制御を行うようになっていた。

例えばコンビニエンスストア等に設置する場合、当該設置場所から各商品棚の列の方向や、レジの方向などに対して、複数の撮像方向を設定しておき、これらを順番に巡るように設定しておくこととしていた。
特開平９−１９１４５５号公報 B.K.P. Horn and B.G. Schunck.Determining optical flow. AI Memo 572. Massachusetts Institue of Technology, 1980.

しかしながら、上記従来の撮像方向の制御では、カメラの設置場所ごとにその撮像方向を設定しなければならない。また、設置場所を変えると、改めて撮像方向を設定しなければならず、設置時の負担が大きく、利便性が低い。

本発明は上記実情に鑑みて為されたもので、設置時の設定負担を軽減し、利便性を向上できるカメラの撮像方向制御装置を提供することを、その目的の一つとする。

上記従来例の問題点を解決するための本発明は、カメラの撮像方向を制御する制御装置であって、前記カメラによって撮像された映像から移動体を検出した移動体検出結果を取得する手段と、カメラの、過去の撮像方向から現在の撮像方向までの移動量と、前記移動体検出結果とに基づき、現在のカメラの撮像方向に関する得点情報を演算し、当該得点情報を利用して、現在のカメラの撮像方向に関する総得点情報を生成する手段と、を有し、前記カメラの撮像方向に関する総得点情報に基づき、次のカメラの撮像方向の制御内容を定めることを特徴としている。

またここで、カメラの撮像方向を制御する際に、次のカメラの撮像方向で演算される得点情報に関する予測値を生成する手段をさらに含み、前記総得点情報を生成する手段が、カメラの次の撮像方向までの移動量と、次の撮像方向での移動体の検出結果とに基づき、現在のカメラの撮像方向に関する実際の得点情報を演算し、前記予測値と前記演算された実際の得点情報に基づいて演算される実測値との差に基づいて、当該実際の得点情報の総得点情報への影響重みを調整することを特徴とすることとしてもよい。この場合、前記総得点情報を生成する手段は、前記前記予測値と実測値との差が所定のしきい値より大きいときには、当該実際の得点情報の総得点情報への影響重みを増大させるよう調整することとしてもよい。

また、カメラの撮像方向ごとに、前回当該方向を撮像した時点から現在の時点までの経過時間を管理する手段をさらに含み、前記カメラの撮像方向に関する総得点情報と、前記カメラの撮像方向ごとの経過時間の情報とに基づき、次のカメラの撮像方向の制御内容を定めることとしてもよい。

また上記従来例の問題点を解決するための本発明は、カメラの撮像方向を制御する方法であって、前記カメラによって撮像された映像から移動体を検出した移動体検出結果を取得する手順と、カメラの、過去の撮像方向から現在の撮像方向までの移動量と、前記移動体検出結果とに基づき、現在のカメラの撮像方向に関する得点情報を演算し、当該得点情報を利用して、現在のカメラの撮像方向に関する総得点情報を生成する工程と、を実行し、前記カメラの撮像方向に関する総得点情報に基づき、次のカメラの撮像方向の制御内容を定めることを特徴としている。

さらに、本発明の一態様に係るプログラムは、コンピュータに、カメラの撮像方向を制御させる制御プログラムであって、前記カメラによって撮像された映像から移動体を検出した移動体検出結果を取得する手順と、カメラの、過去の撮像方向から現在の撮像方向までの移動量と、前記移動体検出結果とに基づき、現在のカメラの撮像方向に関する得点情報を演算し、当該得点情報を利用して、現在のカメラの撮像方向に関する総得点情報を生成する手順と、前記カメラの撮像方向に関する総得点情報に基づき、次のカメラの撮像方向の制御内容を定める手順と、をコンピュータに実行させることを特徴としている。

本発明の実施の形態について図面を参照しながら説明する。本実施の形態に係る撮像方向制御装置１０は、例えば図１に示すようなカメラシステムに用いられる。このカメラシステムは、撮像方向を制御可能な雲台に搭載された少なくとも一つのカメラ１（例えばＰＴＺ（Pan-Tilt-Zoom）カメラなど）と、カメラ１に接続された撮像方向制御装置１０とを備えて構成されている。また、撮像方向制御装置１０は、制御部１１と、記憶部１２と、映像入力インタフェース１３と、制御信号出力インタフェース１４とを含んで構成されている。なお、ここではカメラ１と撮像方向制御装置１０とは、別体として構成されているが、これらは一体の装置として構成してもよい。

カメラ１は、撮像方向制御装置１０から入力される撮像方向の制御信号に従って、雲台を駆動し、撮像方向を変更する。また、このカメラ１は現在撮像している映像信号を次々出力している（つまり動画の映像信号を出力している）。また、このカメラ１は、現在撮像方向を移動中であるか否かを表す移動中信号を出力する。

制御部１１は、記憶部１２に格納されているプログラムに従って動作しており、映像入力インタフェース１３から入力される映像信号から、カメラ１によって撮像された映像を取得し、所定の処理によってカメラ１の次の撮像方向を決定して、カメラ１に当該決定した撮像方向を撮像するよう制御する制御信号を制御信号出力インタフェース１４を介して出力する。この制御部１１によるカメラ１の次の撮像方向を決定する処理（撮像方向制御処理）の具体的な内容については後に詳しく述べる。

記憶部１２は、ハードディスク装置や半導体記憶素子等を用いて構成される。具体的にこの記憶部１２は、制御部１１によって実行されるプログラムを格納している。また、この記憶部１２は、制御部１１の撮像方向制御処理によって生成されるパラメータ情報を格納するものである。さらに、記憶部１２は、制御部１１の処理中に生成される種々のデータを記憶するワークメモリとしても動作する。

映像入力インタフェース１３は、カメラ１が出力する映像信号の入力を受けて、これをディジタル処理し、映像データを生成して制御部１１に出力している。制御信号出力インタフェース１４は、例えばシリアルインタフェースであり、制御部１１が出力する制御信号をカメラ１に出力する。

ここで制御部１１による撮像方向制御処理の具体的な内容について説明する。本実施の形態では、制御部１１は、強化学習によってカメラ１の撮像方向を制御することになっている。一般に強化学習（Reinforcement Learning）とは、教師付き学習（Supervised Learning）に対するものである。すなわち強化学習では、試行錯誤を通じて環境に適応する学習制御が行われる。具体的に、学習主体であるエージェントは、環境との間で次のような相互作用をする。

ステップ１．エージェントは時刻ｔにおける環境の状態Ｓ（ｔ）を取得する。

ステップ２．エージェントは、Ｓ（ｔ）を参照して、所定の方法で行動ａ（ｔ）を決定して出力する。

ステップ３．エージェントの行動に応答して環境の状態が更新され、Ｓ（ｔ＋１）となり、エージェントは、その状態の更新（状態遷移）に応じた報酬ｒ（ｔ）を環境から受取る。

ステップ４．時刻ｔをインクリメントしてステップ１へ戻って処理を続ける。

本実施の形態の制御部１１は、基本的には、現在（時刻ｔ）のカメラの撮像方向を環境の状態Ｓ（ｔ）、撮像方向の制御を「行動」ａ（ｔ）、映像信号中で検出された移動体の数を報酬ｒ（ｔ）として強化学習を行いながらカメラの撮像方向を制御するものである。なお、撮像方向ａは、パン角、チルト角のそれぞれについて段階的に、例えば１５度ごと（０度，１５度，３０度，４５度…）に制御するものとする。

制御部１１は、図２に示すように、カメラ１が出力する移動中信号が入力されなくなるまで待機し（Ｓ１）、移動中信号の入力がなくなると、所定時間（例えば１秒間）内に映像入力インタフェース１３が出力する映像データを記憶部１２に格納して蓄積する（Ｓ２）。

制御部１１は、記憶部１２に蓄積した映像データから移動体を検出する処理を実行し、移動体の数を調べる（Ｓ３）。ここで移動体の検出処理としては、広く知られているオプティカル・フロー（非特許文献１等を参照）や、ＭＰＥＧ（Ｍotion Picture Experts Group）における動き検出等を用いることができ、移動体の数は、映像データ上で移動体を検出した部分の連続領域の数をカウントすることで調べることができる。なお、以下の説明では移動体の数を用いているが、これに代えて、又はこれと併せて移動体の移動方向、移動量など他の移動状態に関する情報を用いてもよい。

制御部１１は、また、前回（時刻ｔ−１）のカメラ１の撮像方向と、今回（時刻ｔ）のカメラ１の撮像方向との差（移動量）を演算する（Ｓ４）。この演算は例えば両撮像方向のベクトルのなす角度として演算することができる。そして制御部１１は、移動体の数と移動量とに基づいて、重みａ，ｂ（ａ，ｂはいずれも正の値、例えば双方とも１／１０００とする）を用いて、報酬ｒを、
ｒ＝−ａ×移動量＋ｂ×移動体検出数
として演算する（Ｓ５）。ここで演算される報酬の値が本発明の得点情報に相当する。

本実施の形態において特徴的なことの一つは、カメラ１が有用な映像を撮影していない期間（例えば撮像方向移動のために対象物を識別不能な映像が撮影されているなどしている期間）を短縮するため、このようにカメラ１の撮像方向の移動量（移動距離や移動時間）を強化学習の報酬に影響させていることである。

次に、制御部１１は、この時刻ｔでの報酬ｒtを用いて総得点情報Ｑを次のようにして更新し、記憶部１２に格納する（Ｓ６）。

この（１）式において、α、γは、それぞれ学習率、割引率と呼ばれるパラメータであり、いずれも０より大で１以下の値をとる。また、

は、取りうるａの値を用いて演算されるＸ（ａ）のうち、最大のＸ（ａ）を表す。

また、制御部１１は、このとき、Ｑ（Ｓt+1，ａ）を最大にするａに対応する制御信号を出力して（Ｓ７）、処理Ｓ１から処理を繰返す。

本実施の形態ではこのように、カメラの現在の撮像方向と、カメラの次の撮像方向とを表す情報で張られる２次元空間に総得点情報を関連付けておき（図３）、現在の撮像方向を定めたときに、総得点情報が最大となるように次の撮像方向を選択することになる。

また、制御部１１は、処理Ｓ７で選択した次の撮像方向ａに係る値Ｑ（Ｓt+1，ａ）を得点情報に関する予測値としておき、次の撮像方向に移動した後で生成される得点情報としての報酬ｒを実測値として、これらの差を算出し、この差に基づいて報酬ｒの総得点情報Ｑへの影響重み（つまり上記学習率α）を調整してもよい。

具体的に、予測値Ｑ（Ｓt+1，ａ）と、報酬ｒとの差をΔＱ＝Ｑ（Ｓt+1，ａ）−ｒとし、
α′＝α（１＋ε（｜ΔＱ｜−θ））
として学習率を更新する。ここでθはしきい値であり、εは正の値（安定化パラメータ値）である。学習率はしたがって、ΔＱの絶対値がしきい値を越えた場合に増大し、ΔＱの絶対値がしきい値を下回ったときに減少する。また安定化パラメータは、安定化させるまでの時間に関係する量として定めることができる。例えば２時間程度の学習の後に安定化させる設定であれば、２時間＝７２００秒なので、例えばそれに近接する切りのよい数値１００００を用いて、εを１／１００００と定めることができる。なお、ここではΔＱに対して線形の式によってαを更新しているが、ΔＱに対して対数的に変化する式を用いてもよい。

さらに、ここまでの説明では総得点情報Ｑをそのまま用いて次の撮像方向を決定していたが、次のようにしてもよい。すなわち、各撮像方向ごとに前回当該方向を撮像した時刻を記憶しておき、各撮像方向ごとに、その総得点情報Ｑに対して、上記前回撮像した時刻から現在時刻までの差（経過時間）に応じたバイアス値を加えて評価値Ｖ（Ｓt，ａ）を生成する。そして、この評価値Ｖを最大とする撮像方向ａを選択する。なお、この場合も総得点情報Ｑの更新は、（１）式で示したように、評価値Ｖではなく、総得点情報Ｑを用いて行う。つまりこの場合は、

とする。なお、ａVは、評価値Ｖを最大とする撮像方向ａである。

このように構成した本実施の形態のカメラシステムによると、設定された段階的パン角・チルト角について、移動体を撮像しやすい方向に向きやすくなり、また移動量がなるべく少なくなる方向に向きやすくなる。また、カメラの設置場所ごとにその撮像方向を設定する必要がなく、設置時の負担が小さく、利便性を向上できる。

さらに、ここまでの説明では、強化学習の方法としていわゆるＱラーニング（Q-Learning）アルゴリズムを用いているが、これに代えて、ＴＤ（Temporal
Difference）学習を用いてもよい。この場合、移動体の移動方向で得点情報（報酬ｒ）を調整してもよい。例えば検出された移動体の移動方向と、撮像方向の移動方向との内積に所定の正の値（影響重み）を乗じた値を、報酬ｒに加算することとしてもよい。さらに、撮像された映像データから顔を検出し、次の撮像方向で同じ顔が検出されたときに、報酬ｒが高くなるように調整してもよい。

さらに、一定の期間が経過した後に、学習（総得点情報の更新）を停止し、以降は、獲得した総得点情報を用いてカメラの撮像方向の制御を行ってもよい。

次に、図４に示すような仮想的なフィールドに本実施形態のカメラシステムを配置した場合の動作例について説明する。図４に示すフィールドにおいて、２つある点Ｏのいずれかに平均１．８体／分のポワソン分布確率で移動体が出現し、当該移動体が１ｍ／秒で線上を移動し、各ノードＡからＦのいずれかに到来したときには、ランダムに次の移動方向を決定するものとして、こうして生成した６０分の仮想データを生成して、１０％から５０％のノイズを加え、前半４０分を学習時間とし、後半２０分にて学習を停止（つまり総得点情報の更新を停止）して評価する。

また、カメラ１の撮像方向は、カメラ１の設置位置から基本撮像方向（図４中破線で示す）を０度として、−１００度から＋１００度まで２５度単位に９段階のパン角のいずれかとして設定する。簡単のためチルト角は０度で固定している。

この結果、移動体が出現してから、当該移動体を検出するまでの時間を平均すると、約１．２秒という実験結果が得られた。なお、各撮像方向をランダムに向く場合（ランダム）、順次向く場合（ラウンドロビン）、移動体を検出した回数分布の値に比例した確率でランダムに向く場合（重みつきランダム）とを比較のために採用してみると、それぞれの移動体を検出するまでの時間の平均は、２．４秒、１．８秒、１．４秒となった（図５）。

このように本実施の形態によれば、比較的短時間で環境に適合し、移動体を検出できるようになる。

本発明の実施の形態に係るカメラシステムの構成ブロック図である。 本発明の実施の形態に係る制御部１１の処理例を表すフローチャート図である。 総得点情報の一例を表す説明図である。 実験のために設定した仮想フィールドの例を表す説明図である。 実験結果を表す説明図である。

符号の説明

１ カメラ、１１ 制御部、１２ 記憶部、１３ 映像入力インタフェース、１４ 制御信号出力インタフェース。

Claims (6)

1. カメラの撮像方向を制御する制御装置であって、
   前記カメラによって撮像された映像から移動体を検出した移動体検出結果を取得する手段と、
   カメラの、過去の撮像方向から現在の撮像方向までの移動量と、前記移動体検出結果とに基づき、現在のカメラの撮像方向に関する得点情報を演算し、当該得点情報を利用して、現在のカメラの撮像方向に関する総得点情報を生成する手段と、
   を有し、
   前記カメラの撮像方向に関する総得点情報に基づき、次のカメラの撮像方向の制御内容を定めることを特徴とするカメラの撮像方向制御装置。
2. 請求項１に記載の撮像方向制御装置において、
   カメラの撮像方向を制御する際に、次のカメラの撮像方向で演算される得点情報に関する予測値を生成する手段をさらに含み、
   前記総得点情報を生成する手段が、カメラの次の撮像方向までの移動量と、次の撮像方向での移動体の検出結果とに基づき、現在のカメラの撮像方向に関する実際の得点情報を演算し、前記予測値と前記演算された実際の得点情報に基づいて演算される実測値との差に基づいて、当該実際の得点情報の総得点情報への影響重みを調整することを特徴とすることを特徴とする撮像方向制御装置。
3. 請求項２に記載の撮像方向制御装置において、
   前記総得点情報を生成する手段は、前記前記予測値と実測値との差が所定のしきい値より大きいときには、当該実際の得点情報の総得点情報への影響重みを増大させるよう調整することを特徴とする撮像方向制御装置。
4. 請求項１から３のいずれか一項に記載の撮像方向制御装置において、
   カメラの撮像方向ごとに、前回当該方向を撮像した時点から現在の時点までの経過時間を管理する手段をさらに含み、
   前記カメラの撮像方向に関する総得点情報と、前記カメラの撮像方向ごとの経過時間の情報とに基づき、次のカメラの撮像方向の制御内容を定めることを特徴とするカメラの撮像方向制御装置。
5. カメラの撮像方向を制御する方法であって、
   前記カメラによって撮像された映像から移動体を検出した移動体検出結果を取得する手順と、
   カメラの、過去の撮像方向から現在の撮像方向までの移動量と、前記移動体検出結果とに基づき、現在のカメラの撮像方向に関する得点情報を演算し、当該得点情報を利用して、現在のカメラの撮像方向に関する総得点情報を生成する工程と、
   を実行し、
   前記カメラの撮像方向に関する総得点情報に基づき、次のカメラの撮像方向の制御内容を定めることを特徴とするカメラの撮像方向制御方法。
6. コンピュータに、カメラの撮像方向を制御させる制御プログラムであって、
   前記カメラによって撮像された映像から移動体を検出した移動体検出結果を取得する手順と、
   カメラの、過去の撮像方向から現在の撮像方向までの移動量と、前記移動体検出結果とに基づき、現在のカメラの撮像方向に関する得点情報を演算し、当該得点情報を利用して、現在のカメラの撮像方向に関する総得点情報を生成する手順と、
   前記カメラの撮像方向に関する総得点情報に基づき、次のカメラの撮像方向の制御内容を定める手順と、
   をコンピュータに実行させることを特徴とするカメラの撮像方向制御プログラム。
   

Images