JP2011193198A - 監視カメラ端末 - Google Patents

Abstract

【課題】追跡しているオブジェクトに対して撮像倍率を大きくするタイミング、すなわちズームアップするタイミング、を逃すことなく、当該オブジェクトのズームアップ画像の撮像が適正に行える監視カメラ端末を提供する。
【解決手段】オブジェクト抽出手段が、撮像手段が監視対象エリア内を撮像したフレーム画像を処理し、撮像されているオブジェクトを抽出する。また、追跡手段が、撮像手段が撮像したフレーム画像を時系列に処理し、時間経過にともなう、監視対象エリア内におけるオブジェクトの位置の変化を得る。また、判定手段が、追跡手段が追跡しているオブジェクトの移動方向が予め設定した特定範囲に収まっているかどうかを判定する。そして、撮像倍率変更手段は、判定手段がオブジェクトの移動方向が予め定めた範囲内であると判定した場合、撮像手段の撮像倍率を、通常時よりも大きくする。
【選択図】図６

Description

この発明は、自端末に割り当てられている監視対象エリアを撮像したフレーム画像を処理し、この監視対象エリア内でオブジェクトを追跡する監視カメラ端末に関する。

従来、駅、ショッピングセンタ、繁華街等の不特定多数の人が集まる場所では、監視カメラ端末を用いて、特異な行動をとった不審者等の人物（以下、単に不審者と言う。）の検出や、当該不審者を撮像した画像の記録保存等を行っている。また、複数の監視カメラ端末で不審者を広域にわたって追跡することも行われている。不審者を広域にわたって追跡するシステムでは、この不審者の移動に応じて、追跡する監視カメラ端末を切り替えている。不審者を追跡する監視カメラ端末を切り替えるときは、追跡を引き継ぐ監視カメラ端末との間で、当該不審者の受け渡しを行っている。

また、監視カメラの撮像倍率を大きくして（ズームアップして、）、不審者の顔画像を撮像し、記録保存する提案もなされている（特許文献１、２等参照）。

特開２００６−２６２３５９号公報 特開２００８−３０１１６２号公報

しかしながら、特許文献１、２等は、不審者の顔が撮像されているかどうかの検出を行い、不審者の顔が撮像されていることが検出できたときに、ズームアップする構成である。このため、サングラスや、マスクを掛けている等して、顔が撮像されていることが検出できなかった不審者については、ズームアップするタイミングを逃すことがあった。また、監視カメラに対する顔の向きによっても、顔が撮像されていることが検出できないこともある。

また、不審者の顔が撮像されていることが検出できても、その後に、ズームアップするので、実際にズームアップしたときには、監視カメラに対する不審者の顔の向きが変わっていることがある。すなわち、ズームアップするタイミングの遅れによって、当該不審者の顔のズームアップ画像の撮像に失敗することがあった。

この発明の目的は、追跡しているオブジェクトに対して撮像倍率を大きくするタイミング、すなわちズームアップするタイミング、を逃すことなく、当該オブジェクトのズームアップ画像の撮像が適正に行える監視カメラ端末を提供することにある。

この発明の監視カメラ端末は、上記目的を達するために、以下のように構成している。

オブジェクト抽出手段が、撮像手段が監視対象エリア内を撮像したフレーム画像を処理し、撮像されているオブジェクトを抽出する。ここで抽出するオブジェクトは、不審者等の人物であってもよいし、車両等の移動体であってもよい。また、追跡手段が、監視対象エリア内で、オブジェクト抽出手段が抽出したオブジェクトの移動を追跡する。具体的には、撮像手段が撮像したフレーム画像を時系列に処理し、時間経過にともなう、監視対象エリア内におけるオブジェクトの位置の変化を得る。また、判定手段が、追跡手段が追跡しているオブジェクトの移動方向が予め設定した特定範囲に収まっているかどうかを判定する。そして、撮像倍率変更手段は、判定手段がオブジェクトの移動方向が予め定めた範囲内であると判定した場合、撮像手段の撮像倍率を、通常時よりも大きくする（ズームアップする。）。

上述の特定の範囲は、例えばズームアップしてオブジェクトを正面から撮像したい場合であれば、オブジェクトの正面が撮像手段に対向する方向、すなわちオブジェクトが撮像手段に向かって移動している方向、に合わせて設定すればよい。また、ズームアップしてオブジェクトを側面から撮像したい場合であれば、オブジェクトの側面が撮像手段に対向する方向、すなわちオブジェクトが撮像手段の撮像方向に対して直交する方向に移動している方向、に合わせて設定すればよい。

このように、オブジェクトの移動方向によりズームアップするタイミングを決定する構成としたので、追跡しているオブジェクトに対して撮像倍率を大きくするタイミング、すなわちズームアップするタイミング、を逃したり、そのタイミングが遅れたりするのを抑えられる。したがって、オブジェクトを確認するのに適したズームアップ画像の撮像に失敗するのを抑えられる。

また、オブジェクトが人であり、その人の顔をズームアップして撮像する場合には、撮像手段と、追跡手段が追跡しているオブジェクトと、の水平距離が所定距離以下であるときに、撮像倍率変更手段による撮像倍率の変更を禁止してもよい。すなわち、撮像手段の俯角が、人の顔を撮像するのに適していないときには、ズームアップをしない構成としてもよい。

また、撮像手段は、撮像視野が固定されている構成であってもよいし、撮像視野が直交する２軸方向に変更できる構成であってもよい。

この発明によれば、オブジェクトを確認するのに適したズームアップ画像の撮像に失敗するのを抑えられる。

監視カメラ端末の主要部の構成を示すブロック図である。 監視カメラ端末における監視対象エリアと、撮像エリアとを説明する図である。 監視カメラ端末の動作を示すフローチャートである。 追跡処理を示すフローチャートである。 追跡処理時の撮像画像を示す図である。 追跡処理時における、不審者の移動にともなう撮像視野の中心の変化を示す図である。 追跡処理時における、不審者の移動にともなう撮像視野の中心の変化を示す図である。

以下、この発明の実施形態である監視カメラ端末について説明する。

図１は、この発明の実施形態にかかる監視カメラ端末の主要部の構成を示す図である。監視カメラ端末１は、制御部１１と、撮像部１２と、駆動機構部１３と、撮像視野制御部１４と、画像処理部１５と、記憶部１６と、タイマ１７と、無線通信部１８と、を備えている。制御部１１は、本体各部の動作を制御する。

撮像部１２は、撮像視野内（撮像エリア）を撮像したフレーム画像を１秒間に３０フレーム程度出力する。この撮像部１２は、パン方向、およびチルト方向に、個別に回動する雲台（不図示）に取り付けている。パン方向と、チルト方向とは直交する方向である。また、撮像部１２は、撮像光学系を駆動する光学系駆動部（不図示）を有し、撮像倍率Ｚｏｏｍを変化させることができる。

駆動機構部１３は、撮像部１２を取り付けている雲台をパン方向、およびチルト方向に回動するモータ等の駆動源を有する。また、雲台のパン方向にかかる回動角θ、およびチルト方向にかかる回動角φを検出するセンサを有する。

撮像視野制御部１４は、撮像部１２に対して撮像倍率Ｚｏｏｍを指示する。撮像部１２は、この指示にしたがって、撮像倍率Ｚｏｏｍを変化させる。また、撮像視野制御部１４は、駆動機構部１３に対して、撮像部１２を取り付けている雲台のパン方向にかかる回動角θ、およびチルト方向にかかる回動角φを指示する。駆動機構部１３は、この指示にしたがって、撮像部１２を取り付けている雲台のパン方向にかかる回動角θ、およびチルト方向にかかる回動角φを変化させる。

撮像部１２は、雲台のパン方向にかかる回動角θ、雲台のチルト方向にかかる回動角φ、および撮像倍率Ｚｏｏｍの変化にともなって、その撮像視野が変化する。監視カメラ端末１には、図２に示すように、監視対象エリアが定められている。この監視対象エリアは、撮像部１２の撮像視野を変化させることによって撮像可能な範囲である。

また、画像処理部１５は、撮像部１２が撮像したフレーム画像を処理し、撮像されている人物を抽出し、ここで抽出した人物にＩＤを付す。このＩＤは、人物を識別できるユニークな値である。また、画像処理部１５には、撮像部１２を取り付けている雲台のパン方向にかかる回動角θ、およびチルト方向にかかる回動角φを検出するセンサの出力が入力されている。すなわち、画像処理部１５は、このセンサの出力により、撮像部１２を取り付けている雲台のパン方向にかかる回動角θ、およびチルト方向にかかる回動角φを得る。また、画像処理部１５は、撮像部１２から入力されている撮像倍率Ｚｏｏｍにかかる信号により、当該撮像部１２の撮像倍率Ｚｏｏｍを得る。画像処理部１５は、雲台のパン方向にかかる回動角θ、チルト方向にかかる回動角φ、および撮像倍率Ｚｏｏｍにより、撮像部１２の撮像視野、すなわち監視対象エリアにおける撮像エリアの位置、を得ることができる。したがって、画像処理部１５は、撮像部１２が撮像したフレーム画像上における人物の位置を、監視対象エリアにおける位置に変換できる。画像処理部１５は、追跡している人物の移動に応じて、撮像部１２の撮像視野を撮像視野制御部１４に指示する。

この画像処理部１５は、例えば時空間ＭＲＦ(Markov Random Field) モデルを利用して、撮像されている人物の抽出や追跡を行う構成である。時空間ＭＲＦモデルは、公知のように、時空間画像の時間軸方向の相関関係に着目し、ＭＲＦモデルを時空間モデルとして拡張したものである。この時空間ＭＲＦモデルは、処理対象であるフレーム画像に対して数ピクセル×数ピクセル（例えば、８ピクセル×８ピクセル）のブロックでエリア分割を行い、時間的に連続するフレーム画像間でのブロック毎の動きベクトルを参照した時間軸方向の相関を定義するモデルである。

記憶部１６は、本体を動作させる動作プログラムや、動作時に利用する設定データ、動作時に発生した処理データ等を記憶する。タイマ１７は、現在時刻を計時する。無線通信部１８は、他の監視カメラ端末１等との間における無線通信を制御する。

監視カメラ端末１は、監視対象エリア内において、特異な行動をとった不審者等の人物（以下、単に不審者と言う。）を追跡する。また、追跡している不審者が、別の監視カメラ端末１の監視対象エリア内へ移動するときには、当該別の監視カメラ端末１との間で、不審者の受け渡し（追跡の引き継ぎ）を行う。不審者の受け渡しを行う監視カメラ端末１間（隣接する監視カメラ端末１間）では、監視対象エリアの一部が重なっている。一方の監視カメラ端末１の監視エリアから、他方の監視カメラ端末１の監視エリアに移動する人物は、この重なっている領域（以下、受け渡し領域と言う。）を通る。一方の監視カメラ端末１が追跡している不審者が、他方の監視カメラ端末１との受け渡しエリアを通って、他方の監視カメラ端末１の監視対象エリアに入るとき、他方の監視カメラ端末１が、この受け渡しエリアで不審者を同定し、この不審者の追跡を一方の監視カメラ端末１から引き継ぐ。

また、この監視カメラ端末１は、監視エリア内において、不審者を追跡しているときに、当該不審者の顔をズームアップして撮像する処理を行う。以下、この監視カメラ端末１の動作について説明する。

図３は、この監視カメラ端末１の動作を示すフローチャートである。監視カメラ端末１は、監視対象エリア内における不審者の探索にかかる探索処理を開始する（ｓ１）。監視カメラ端末１は、この時点では、不審者の追跡を行っていない（後述するｓ４にかかる追跡処理を実行していない。）。監視カメラ端末１は、ｓ１で開始した探索処理で不審者が検出されるか（ｓ２）、隣接する監視カメラ端末１からの不審者の受け渡し要求があるのを待つ（ｓ３）。

ｓ１で開始する探索処理は、一定時間（数秒）毎に、撮像部１２の撮像視野を変化させる。具体的には、撮像視野制御部１４が、一定時間毎に、予め定められた条件に基づき、撮像部１２を取り付けている雲台のパン方向にかかる回動角θ、およびチルト方向にかかる回動角φを駆動機構部１３に指示する。この条件は、例えば、撮像部１２の撮像視野が、監視対象エリア全体を走査するように設定されている。また、このときの撮像倍率Ｚｏｏｍは、予め定めた撮像倍率である。

画像処理部１５は、撮像部１２が撮像したフレーム画像を処理し、撮像されている人物を抽出するとともに、抽出した人物にＩＤを付与する。このとき、画像処理部１５は、すでにＩＤが付与されている人物については、新たにＩＤを付与しない。また、画像処理部１５は、抽出した人物毎に、ＩＤと監視対象エリアにおける位置とを対応付けたオブジェクトマップを作成する。このオブジェクトマップには、作成時にタイマ１７が計時していた時刻がタイムスタンプとして付与される。画像処理部１５は、時間的に連続するオブジェクトマップを用いて、ＩＤを付与した人物毎に、その行動を解析する。そして、その行動が特異な人物（予め定めた行動パターンである人物）がいれば、その人物を不審者とする。

ｓ３では、無線通信部１８で、他の監視カメラ端末１から自端末に対する受け渡し要求を受信するのを待っている。

監視カメラ端末１は、不審者を検出すると、追跡処理を開始する（ｓ４）。また、他の監視カメラ端末１から自端末に対する受け渡し要求を受信すると、引き継ぎ処理を実行する（ｓ５）。

図４は、ｓ４にかかる追跡処理を示すフローチャートである。監視カメラ端末１は、撮像部１２の撮像倍率Ｚｏｏｍを、追跡時の通常倍率に設定する（ｓ１１）。監視カメラ端末１の画像処理部１５は、撮像部１２が撮像したフレーム画像を取り込み（ｓ１２）、このフレーム画像を処理し、不審者が撮像部１２の中心になる撮像視野（雲台のパン方向にかかる回動角θ、およびチルト方向にかかる回動角φ）を算出する（ｓ１３）。

監視カメラ端末１は、撮像部１２の撮像視野をｓ１３で算出した撮像視野に合わせる（ｓ１４）。すなわち、雲台のパン方向にかかる回動角θ、およびチルト方向にかかる回動角φを、ｓ１３で算出した角度に合わせる。具体的には、画像処理部１５は、ここで算出した雲台のパン方向にかかる回動角θ、およびチルト方向にかかる回動角φを撮像視野制御部１４に通知する。撮像視野制御部１４が、この通知に基づいて、駆動機構部１３による雲台のパン方向にかかる回動角θ、およびチルト方向にかかる回動角φを変更する。

次に、監視カメラ端末１は、不審者の顔を撮像するズームアップタイミングであるかどうかを判定する（ｓ１５）。監視カメラ端末１は、ｓ１５でズームアップタイミングであると判定すると、撮像倍率Ｚｏｏｍを追跡時の通常倍率よりも大きい撮像倍率（以下、顔撮像倍率と言う。）にする（ｓ１６）。一方、監視カメラ端末１は、ｓ１５でズームアップタイミングでないと判定すると、撮像倍率Ｚｏｏｍを追跡時の通常倍率にする（ｓ１７）。

なお、ｓ１６、ｓ１７では、直前の撮像倍率Ｚｏｏｍによって、実際には撮像倍率が変化しないときもある。また、ｓ１５にかかるズームアップタイミング判定処理の詳細については、後述する。

監視カメラ端末１は、不審者が隣接する他の監視カメラ端末１との受け渡しエリア内に位置しているかどうかを判定する（ｓ１８）。監視カメラ端末１は、ｓ１８で、不審者が隣接する他の監視カメラ端末１との受け渡しエリア内に位置していないと判定すると、ｓ１２戻り、上述した処理を繰り返す。

監視カメラ端末１は、ｓ１２〜ｓ１８に示す処理を繰り返すことにより、図５に示すように、不審者Ｘを撮像部１２の撮像視野の略中心にとらえながら、この不審者Ｘを追跡することができる。また、画像処理部１５は、この追跡処理においても、不審者について、ＩＤと監視対象エリアにおける位置とを対応付けたオブジェクトマップを作成している。したがって、このオブジェクトマップを用いることにより、不審者の移動方向や、移動速度にかかる移動ベクトルが得られる。

ここで、ｓ１５にかかるズームアップタイミング判定処理について説明する。監視カメラ端末１は、上述したように、ｓ１２〜ｓ１８に示す処理を繰り返すことにより、不審者Ｘを撮像部１２の撮像視野の略中心にとらえながら、この不審者Ｘを追跡している。すなわち、図６に示すように、不審者Ｘの移動に応じて、撮像部１２の撮像視野の中心を変化させている。図６では、撮像部１２を重心に配置した球体モデルを模式的に示し、不審者Ｘの移動にともなう、この球体モデル表面上における撮像部１２の撮像視野の中心の変化を表している。さらに、図７は、この球体モデル表面上における撮像視野中心の変化を、メルカトル図法による地図上に示した図である。図６、および図７では、撮像部１２におけるパン方向を経度、およびチルト方向を緯度として示している。

上記の説明から明らかなように、図７に示すメルカトル図法による地図上における、撮像部１２の撮像視野の中心の変化は、不審者Ｘの移動にともなうものである。図７に示すメルカトル図法による地図上において、撮像部１２の撮像視野の中心の変化が経線に平行なベクトルであるとき、不審者Ｘの移動方向は、撮像部１２の撮像方向に沿う方向である。通常、人は移動しているとき、その移動方向を見ている。このことから、撮像部１２の撮像視野の中心の変化を示すベクトルが、図７に示すメルカトル図法による地図上において、経線に対する傾きが±α°である範囲（この発明言う特定範囲に相当する。）内であるとき、撮像部１２において、この不審者Ｘの顔を略正面から撮像できる。

図７に示す三角形が、経線に対する傾きが±α°である範囲を示している。この角度範囲（±α°）は、撮像部１２の性能や、設置環境等に基づいて予め設定し、記憶部１６に記憶させている。

また、撮像部１２の撮像視野の俯角が大きいときには、ズームアップしても不審者の頭を上方から撮像することになり、当該不審者の顔が撮像できない。すなわち、図７にメルカトル図法による地図上における緯度がβよりも大きくなると（図７では下側）、ズームアップしても不審者の顔が撮像できない。言い換えれば、撮像部１２と、追跡している不審者と、の水平距離が所定距離以下になると、ズームアップしても当該不審者の顔が撮像できない。このβも、撮像部１２の性能や、設置環境等に基づいて予め設定し、記憶部１６に記憶させている。

ｓ１５では、前回と今回との間における、撮像部１２の撮像視野の中心の変化が、図７に示すメルカトル図法による地図上で、経線に対する傾きが±α°の範囲で、且つ、今回の撮像視野の中心がβよりも小さいときに、ズームアップタイミングであると判定する。

このように、追跡している不審者の顔画像が撮像されているかどうかではなく、当該不審者の移動にともなう、撮像部１２の撮像視野の中心の変化により、ズームアップタイミングであるかどうかを判定する。これにより、追跡している不審者に対して撮像倍率を顔撮像倍率にするタイミング、すなわちズームアップするタイミング、を逃したり、そのタイミングが遅れたりするのを抑えられる。したがって、不審者を確認するのに適した、当該不審者の顔のズームアップ画像の撮像に失敗するのを抑えられる。

また、ｓ１８で、不審者が受け渡しエリアに位置していると判定すると、相手側の監視カメラ端末１との間、当該不審者の受け渡し処理を行い（ｓ１９）、ｓ１に戻る。

このｓ１９にかかる受け渡し処理では、まず追跡していた不審者の追跡を引き継ぐ相手側の監視カメラ端末１に対して、受け渡し要求を送信する。相手側の監視カメラ端末１は、この受け渡し要求を、上述したｓ３で受信し、ｓ５にかかる引き継ぎ処理を行う。隣接する監視カメラ端末１間での不審者の受け渡しは、当該不審者が受け渡しエリアに位置しているときに、各監視カメラ端末１が略同じタイミングで受け渡しエリアを撮像する。そして、撮像したフレーム画像を用いて、隣接する監視カメラ端末１間で、受け渡しエリアに位置している人物の同定を行い、追跡を引き継ぐ側の監視カメラ端末１が不審者を特定する。そして、特定した不審者の追跡処理を開始する。

また、不審者の追跡を受け渡した側の監視カメラ端末１（これまで、不審者を追跡していた監視カメラ端末１）は、ｓ１に戻り、上述した処理を繰り返す。

また、上記の説明では撮像視野をパン方向、およびチルト方向に変更できる監視カメラ端末１を例にして説明したが、撮像視野がパン方向、およびチルト方向に変更できない構成であってもよい。但し、この場合には、ズームアップしたときに、不審者がフレームアウトする可能性があるので、上述のｓ１５にかかるズームアップタイミングの判定では、経度方向における不審者の位置も条件に加える必要がある。

なお、上述の例では、追跡対象を不審者として説明したが、この追跡対象は人に限らず、車両等の他の種類の移動体であってもよい。

１…監視カメラ端末
１１…制御部
１２…撮像部
１３…駆動機構部
１４…撮像視野制御部
１５…画像処理部
１６…記憶部
１７…タイマ
１８…無線通信部

Claims (4)

1. 監視対象エリア内を撮像したフレーム画像を出力する撮像手段と、
   前記撮像手段が撮像したフレーム画像を処理し、撮像されているオブジェクトを抽出するオブジェクト抽出手段と、
   前記監視対象エリア内における、前記オブジェクト抽出手段が抽出したオブジェクトの移動を追跡する追跡手段と、
   前記追跡手段が追跡しているオブジェクトの移動方向が予め設定した特定範囲に収まっているかどうかを判定する判定手段と、
   前記判定手段がオブジェクトの移動方向が予め定めた特定範囲内であると判定した場合、前記撮像手段の撮像倍率を、通常時よりも大きくする撮像倍率変更手段と、を備えた監視カメラ端末。
2. 前記判定手段は、前記特定範囲を、前記撮像手段の撮像方向を基準にして設定している請求項１に記載の監視カメラ端末。
3. 前記撮像手段と、前記追跡手段が追跡しているオブジェクトと、の水平距離が所定距離以下であるときに、前記撮像倍率変更手段による撮像倍率の変更を禁止する請求項１、または２に記載の監視カメラ端末。
4. 前記追跡手段が追跡しているオブジェクトの移動に合わせて、前記撮像手段の撮像視野を前記監視対象エリア内で変化させる撮像視野制御手段を、備えた請求項１〜３のいずれかに記載の監視カメラ端末。

Images