JP2005347942A - 監視システム、監視システムの制御プログラム、および監視装置 - Google Patents

Abstract

【課題】 状況に応じた適切な処理を行なうことができる監視システムを提供する。
【解決手段】 複数のカメラを備えた監視システムは、各カメラに写っている人物の計数結果を集計し（Ｓ３０３）、計数結果に対して所定の演算を行ない（Ｓ３０５）、その結果に基づいてシステムの制御動作を決定する（Ｓ３０７）。決定された制御動作どおりに各カメラが制御される（Ｓ３０９）。優先度の高い画像の条件を良くし、優先度の低い画像の条件を落とすなどすることがで、システムのパフォーマンスの向上を図ることができる。
【選択図】 図８

Description

この発明は、監視システム、監視システムの制御プログラム、および監視装置に関し、特に、画像中の特定の物体を計数する計数処理を行なう監視システム、監視システムの制御プログラム、および監視装置に関する。

従来より、撮影されたカメラ画像中の人物の数をカウントし、監視を行なう監視システムが知られている。

以下の特許文献１においては、状況に応じて監視カメラのパン、チルトを制御する技術が開示されている。

以下の特許文献２においては、人物監視システムにおいて、リアルタイム性が要求されない処理は、サーバに負担させることが記載されている。
特開２００２−２４５５６０号公報 特開２０００−９９６９０号公報

しかしながら、従来の技術においては以下のような問題点があった。

特許文献１、２に開示された技術では、複数の監視カメラを用いているが、複数の監視カメラを設ける理由は、単純に監視領域を広げるためである。人を検出すると、それに基づいて対応した処理（解像度を上げるなど）を行なうようなシステムを構築した場合において、複数のカメラで同時に人を発見した場合、すべてのカメラにおいて決められた前述の処理を行なうと、非常に処理が重たくなる。また、データの伝送処理能力を超えてしまうことがありうる。

ハードウェアや伝送能力が一定である以上、リアルタイム処理を行なおうと思えば、ハードウェアや伝送能力に見合った処理を行なわざるを得ない。しかし、従来の技術においては各々のカメラごとに処理を決定していたので、全体としての処理を決めることは困難である。

この発明は上述の問題点を解決するためになされたものであり、状況に応じた適切な処理を行なうことができる監視システム、監視システムの制御プログラム、および監視装置を提供することを目的としている。

上記目的を達成するため、この発明のある局面に従うと、複数のカメラと、監視装置とを備えた監視システムにおいて、複数のカメラの各々は、撮像装置と、撮像装置で撮影された画像に基づいて、画像中の特定の物体を計数する計数処理部と、撮像装置で撮影された画像に基づいて、監視処理を行なう監視処理部とを備え、監視装置は、複数のカメラの各々における計数処理部の計数結果を演算する演算手段と、演算手段の行なった演算の結果に基づいて、監視システムの動作を決定する決定手段と、決定手段の行なった決定に基づいて、監視システムを制御する制御手段とを備える。

好ましくは演算手段は、複数のカメラの各々における計数処理部の計数結果の四則演算、比較、統計量の算出その他の演算処理を行なう。

好ましくは決定手段は、監視システムの動作として、各カメラの監視場所、各カメラの画質、画像の記録、記録する画像、記録画質、モニタ表示画像、モニタ表示サイズ、監視モード、および人数計数モードの少なくとも１つの決定を行なう。

この発明の他の局面に従うと、複数のカメラから入力された画像に基づいて処理を行なう、監視システムの制御プログラムは、複数のカメラのそれぞれで撮影された画像中の特定の物体を計数する計数処理ステップと、計数結果を演算する演算ステップと、演算ステップで行なった演算の結果に基づいて、監視システムの動作を決定する決定ステップと、決定ステップで行なった決定に基づいて、監視システムを制御する制御ステップとをコンピュータに実行させる。

この発明のさらに他の局面に従うと、複数のカメラから入力された画像に基づいて処理を行なう監視装置は、複数のカメラのそれぞれで撮影された画像中の特定の物体を計数する計数処理手段と、計数結果を演算する演算手段と、演算手段で行なった演算の結果に基づいて、監視システムの動作を決定する決定手段と、決定手段で行なった決定に基づいて、監視システムを制御する制御手段とを備える。

この発明に従うと、複数のカメラの各々における計数処理部の計数結果の演算結果に基づいて、監視システムの動作が決定され、それに基づいて、監視システムの制御が行なわれる。

これにより、状況に応じた適切な処理を行なうことができる監視システム、監視システムの制御プログラム、および監視装置を提供することができる。

以下、本発明の実施の形態の１つにおける、人数計数機能を有する監視カメラを複数使用する監視システムについて説明する。本システムでは、人数計数機能のついたカメラを使用することにより、監視と共に人数計数をも行なう。それぞれの監視カメラで計数された人数計数結果を演算（比較）することにより、監視システムの動作が決定される。

すなわち、各々のカメラから得られた人数計数結果に応じて、システム全体としてのハードウェアや伝送能力に応じた処理が決定され、その決定に基づいてシステムが制御される。

なお、システム全体としての処理は、ハードウェアおよび伝送能力をフルに活用できるように決定することが望ましい。

図１は、本実施の形態における監視システムの構成を示す図である。

図を参照して、監視システムは、複数の監視カメラ２０１ａ，２０１ｂ，２０１ｃ，・・・と、それらに接続される監視装置としてのサーバ２５１と、サーバ２５１に接続されるＰＣなどから構成されるモニタ２５３ａと、警報を受付ける警備会社システム２５３ｂとから構成される。

各監視カメラ２０１ａ，２０１ｂ，２０１ｃ，．．．は、サーバ２５１に対して、人数計数結果、および撮像された画像を送信する。

サーバ２５１は、各監視カメラから得られた人数計数結果を演算処理し、監視システムの次の動作を決める。また、サーバ２５１は、各監視カメラからの映像を記録したり、あるいはオペレータのモニタ２５３ａなど遠隔地のモニタ画面に映像を送信することで表示したり、警備会社のシステム２５３ｂに映像や警報を送信する機能を持つ。

図２は、図１の監視カメラ２０１ａ，２０１ｂ，２０１ｃ，．．．の１つのハードウェア構成を示すブロック図である。

図を参照して、監視カメラは、監視カメラ全体の制御を行なうＣＰＵ１０１と、ＣＣＤカメラ１０３と、メモリ１０９と、ＣＣＤカメラ１０３を駆動する駆動部１０５と、外部Ｉ／Ｆ１０７とを備えている。

監視カメラは、監視機能と、人数計数機能を有する。監視機能により、人などの物体が撮影されたことの検知などを行ない、人数計数機能により、何人の人が撮影されたかの計測を行なう。

図３は、図１の監視カメラ２０１ａ，２０１ｂ，２０１ｃ，．．．の１つの機能ブロック図である。

図を参照して、監視カメラは、ＣＣＤカメラ１０３の駆動および撮像を行なうカメラ駆動／撮像部２０９と、人数計数処理を行なう計数処理部２０７とを備えている。

カメラ駆動／撮像部２０９は、基本的なカメラとしての機能である撮像を行なう撮像部２０３、およびＰＴＺ（パン、チルト、ズーム）などの命令を与える駆動部２０５を有する。監視カメラは、録画、ストリーム送信などの監視処理と、人を数える計数処理が可能である。

カメラ駆動／撮像部２０９は、外部（サーバ２５１）へ画像を送信する。人数計数部２０７は、外部（サーバ２５１）へ人数の計数結果を送信する。サーバ２５１で決定された処理は、カメラ駆動／撮像部２０９に送られ、それに基づいた監視および計数処理が行なわれる。また、監視カメラは、画像情報から判断して動作するといった主体的な処理を行なうこともできる。

なお、人数計数部２０７は、図３に示すようにカメラ内部にあってもよいし、他の計算機（たとえばサーバ２５１など）上にあってもよい。

計数処理とは、カメラから得られた画像に存在する人を計数する処理である。本実施の形態では、特に定まった方式を必要とするわけでなく、既に提案されているオプティカルフローを用いた方式や、背景差分を用いた方式などを利用することができる。

監視処理は、録画、ストリーム送信、画像処理、追尾、認識などの処理を含んでいる。録画した画像はカメラ内部に保存され、ストリーム送信では撮影画像はカメラ外部に送られる。また、監視処理では、物体の追尾を行なったり、物体の認識を行なう。

図４は、監視カメラの取りうる状態を説明するための図である。

図に示されるように、監視カメラは、監視状態Ｐ１と人数計数状態Ｐ２を取ることができる。監視状態Ｐ１とは、監視場所に異常がないかどうかを検知する状態であり、監視対象の人物および人物のグループの追尾や、顔のズームアップなどの処理を行なう状態である。人数計数状態Ｐ２とは、撮影した画像内の人物の数を計数する状態である。

監視状態Ｐ１と人数計数状態Ｐ２との間の遷移は、以下に示すような条件に基づいて行なわれる。

・決められた時刻になると遷移する。

・外部からの入力／命令（監視しているオペレータからの指示、マイクからの音声、外部センサ、サーバからの指示など）によって遷移する。

・人数計数状態にあるときに、人を検出すると監視状態に遷移する。

・人数計数状態にあるときに、人数計数処理が終了すると監視状態に遷移する。

・監視状態にあるときに、監視対象者の顔画像を記録すると人数計数状態に遷移する。

なお、監視カメラが多数あり、ある監視対象範囲を複数のカメラで撮影することが可能な場合、監視状態および人数計数状態にあるカメラをそれぞれ最低１台ずつ用意することで、常に監視および人数計数を行なっている状態にしてもよい。

図５は、監視カメラの監視処理を示すフローチャートである。

図を参照して、ステップＳ１０１でＣＣＤカメラ１０３を用いた画像の撮影が行なわれる。ステップＳ１０３で撮影された画像の中から人物の検出処理が行なわれる。

ステップＳ１０５で画像中に人物が存在するかが判定され、ＹＥＳであれば、ステップＳ１０７で人物の存在に対応した処理（警報、外部への通報、ストリーム送信、画像処理、追尾、認識など）を行なう。そして、ステップＳ１０９で画像を保存する。

図６は、監視カメラの計数処理を示すフローチャートである。

図を参照して、ステップＳ２０１でＣＣＤカメラ１０３を用いた画像の撮影が行なわれる。ステップＳ２０３で撮影された画像の中から人物の抽出処理が行なわれる。

ステップＳ２０５で人物のカウント処理が行なわれ、ステップＳ２０７でその結果が外部に出力される。

図７は、図１のサーバ２５１の構成を示すブロック図である。

図を参照して、サーバは、装置全体の制御を行なうＣＰＵ６０１と、ディスプレイ６０５と、ネットワークに接続したり外部と通信を行なうためのＬＡＮ（ローカルエリアネットワーク）カード６０７（またはモデムカード）と、キーボードやマウスなどにより構成される入力装置６０９と、フレキシブルディスクドライブ６１１と、ＣＤ−ＲＯＭドライブ６１３と、ハードディスクドライブ６１５と、ＲＡＭ６１７と、ＲＯＭ６１９とを備えている。

フレキシブルディスクドライブ６１１により、フレキシブルディスクＦに記録されたプログラムなどのデータを読取ることが可能であり、ＣＤ−ＲＯＭドライブ６１３により、ＣＤ−ＲＯＭ６１３ａに記録されたプログラムなどのデータを読取ることが可能である。

サーバ２５１は、各カメラの人数計数の結果を取得し、演算を行なう。サーバ２５１は、その演算の結果によって処理を決定する。ここでいう演算には、比較演算も含む概念である。

サーバ２５１で行われる演算によって得られる情報はさまざまなものがある。以下にその一例を示す。

・全体の人数
・最も人が多い（少ない）場所
・人が多い（少ない）場所の順序
・過去のある時刻と比較した人数変化の最も多い（少ない）場所
・全体の人数に対する各カメラに写っている人数の割合
また、サーバ２５１は、各カメラから送られてきた画像を保存する、認識／認証を行う、モニタに表示する、遠隔地にストリーム送信する、遠隔地に画像を送信するなどの機能を有する。

サーバ２５１は、各カメラの人数計数の結果によって、システムの動作を決定する。例えば、
・各カメラで撮影する画像の画質、サイズ、フレームレートなどを変更する
・各カメラからサーバに送られてくる画像の画質、サイズ、フレームレートなどを変更する
・各カメラから送られてきた画像のうち、保存する画像と保存しない画像を決める
・各カメラから送られてきた画像で、保存する画像の画質、サイズ、フレームレートなどを変更する
・サーバからモニタ／遠隔地へ送信する画像と送信しない画像を決定する
・サーバからモニタ／遠隔地へ送信する画像の画質、サイズ、フレームレートを変更する
本実施の形態では、これらを組み合わせ、限られたハードウェア、伝送能力の中で、処理の優先順位を決め、少しでも有用な情報を送信できるようにする。

例えば、監視カメラが店舗に設置されている例を考える。計数専用のカメラと、監視専用のカメラがあるものとし、複数の出入り口を監視し、入退場者がいたときにその動画を保存／表示するようなシステムを考える。

同時に複数の出入り口に入退場者がいた場合、全ての画像をそのまま送信するには伝送能力が足りず、表示するのが困難であるとき、本実施の形態におけるシステムでは、伝送能力を考えながら、サーバに送信する画像の画質、サイズ、フレームレートなどを落とす。これにより、全ての画像をリアルタイムに送信できるようにする。

たくさんの入退場者がいるのが定常的な場合には、過去との人数の差が大きい場所の情報が有用になることがある。このようなとき、たとえば過去との人数の差が多い場所３つをモニタリングするようなことが可能である。また、人数の差の割合に応じて、画像の画質、サイズ、フレームレートを段階的に変化させることが可能である。つまり、役立ちそうな情報があると思われる場所ほど良い条件の画像を送信するものである。

また、単純に、画像に存在する人数の割合に基づいて画質、画像サイズ、フレームレートを変えてもよい。逆に、万引きなどの犯罪は人目につかないところで多発すると考えられるため、人数が少ない場所の画像ほど画質、サイズ、フレームレートを上げるようにしてもよい。

以上においては送信用の画像の変更方法について述べたが、実際に監視カメラが撮影する画像の画質、サイズ、フレームレートについても同様に変更することが可能である。例えば、モニタ２５３ａでの表示やストリーム送信用の画像を低画質な画像とするときに、カメラからサーバに高画質な画像を送る必要はないため、監視カメラが撮影する画像の画質を低画質とするようにしてもよい。

また、監視カメラからサーバに送られる映像を保管する際にも同様のことがいえる。例えば、画像内の人数が一定以上になったときにその画像を保管するような場合において、画像を保管するカメラが多くなった場合には、従来では必然的に保管しなければならないデータの量が増えていたが、各カメラから出力された人数を比較演算することで、常に人数が多かった上位の５台のカメラからの５枚の画像のみを保管するなどといった処理を行なうことができる。

このようにして、状況に応じてハードウェアや伝送路をフルに使用する処理を行なうことができる。

図８は、サーバ２５１の行なう処理を示すフローチャートである。

図を参照して、ステップＳ３０１で処理トリガが発生したか判断し、発生するまで待機する。

ステップＳ３０３で各カメラからの人数の計数結果を集計し、ステップＳ３０５で集計した計数結果に対して所定の演算を行なう。ステップＳ３０７で演算結果に対してシステムの制御動作を決定する。

ステップＳ３０９で、決定された制御動作どおりに各カメラを制御する。ステップＳ３１１で終了するかを判断し、ＮＯであればステップＳ３０１からの処理を繰返し行なう。

なおサーバでは、複数のカメラの各々における計数結果の四則演算、比較、統計量の算出などの演算処理を行なうことができ、システムの動作として、各カメラの監視場所、各カメラの画質、画像の記録、記録する画像、記録画質、モニタ表示画像、モニタ表示サイズ、監視モード、および人数計数モードの少なくとも１つの決定を行なうことができる。

たとえばサーバで行なう演算処理として、広い場所を複数のカメラで監視するときに、全てのカメラから出力された人数の合計を演算する処理や、各カメラに全体の何割の人物が写っているかを演算する処理や、各カメラが撮影している人物の数が相対的に多いか少ないかを決定する処理が考えられる。

また、モードを決定する処理としては、監視優先か人数計数優先かを決定する処理や、人物の自動追尾機能を有効にするか否かを決定する処理や、人数計数を有効にするか否かを決定する処理が挙げられる。

［変形例］
なお、人数計数機能をカメラ内部に持たせるのではなく、サーバ２５１に持たせることとしてもよい。この場合、各カメラからサーバには、人数計数用の画像、記録／送信用の画像を送ることになる。もちろんこれらは同一の画像でもよい。

また、サーバが人数計数用に必要なデータのサイズを決定し、その決定に基づいてシステムを制御することとしてもよい。

以上のように、複数の監視カメラからの人数計数結果を演算し各カメラの画像の優先順位などを決定することで、優先度の高い画像の条件を（画質を上げるなどで）良くし、優先度の低い画像の条件を落とすなどすることができる。これにより、常にハードウェアおよび伝送能力の上限でシステムを動作させるパフォーマンスを得ることができる。

また、上述の実施の形態におけるフローチャートの処理を実行するプログラムを提供することもできるし、そのプログラムをＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、メモリカードなどの記録媒体に記録してユーザに提供することにしてもよい。また、プログラムはインターネットなどの通信回線を介して装置にダウンロードするようにしてもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の実施の形態の１つにおける監視システムの構成を示す図である。 図１の監視カメラ２０１ａ，２０１ｂ，２０１ｃ，．．．の１つのハードウェア構成を示すブロック図である。 図１の監視カメラ２０１ａ，２０１ｂ，２０１ｃ，．．．の１つの機能ブロック図である。 監視カメラの取りうる状態を説明するための図である。 監視カメラの監視処理を示すフローチャートである。 監視カメラの計数処理を示すフローチャートである。 図１のサーバ２５１の構成を示すブロック図である。 サーバ２５１の行なう処理を示すフローチャートである。

符号の説明

１０３ ＣＣＤカメラ、１０５ 駆動部、１０７ 外部Ｉ／Ｆ、１０９ メモリ、２０１ａ，２０１ｂ，２０１ｃ 監視カメラ、２０３ 撮像部、２０５ 駆動部、２０７ 計数処理部、２５１ サーバ、２５３ａ モニタ、２５３ｂ 警備会社システム。

Claims (5)

1. 複数のカメラと、監視装置とを備えた監視システムであって、
   前記複数のカメラの各々は、
   撮像装置と、
   前記撮像装置で撮影された画像に基づいて、画像中の特定の物体を計数する計数処理部と、
   前記撮像装置で撮影された画像に基づいて、監視処理を行なう監視処理部とを備え、
   前記監視装置は、
   前記複数のカメラの各々における計数処理部の計数結果を演算する演算手段と、
   前記演算手段の行なった演算の結果に基づいて、監視システムの動作を決定する決定手段と、
   前記決定手段の行なった決定に基づいて、監視システムを制御する制御手段とを備えた、監視システム。
2. 前記演算手段は、前記複数のカメラの各々における計数処理部の計数結果の四則演算、比較、統計量の算出その他の演算処理を行なう、請求項１に記載の監視システム。
3. 前記決定手段は、監視システムの動作として、各カメラの監視場所、各カメラの画質、画像の記録、記録する画像、記録画質、モニタ表示画像、モニタ表示サイズ、監視モード、および人数計数モードの少なくとも１つの決定を行なう、請求項１または２に記載の監視システム。
4. 複数のカメラから入力された画像に基づいて処理を行なう、監視システムの制御プログラムであって、
   前記複数のカメラのそれぞれで撮影された画像中の特定の物体を計数する計数処理ステップと、
   前記計数結果を演算する演算ステップと、
   前記演算ステップで行なった演算の結果に基づいて、監視システムの動作を決定する決定ステップと、
   前記決定ステップで行なった決定に基づいて、監視システムを制御する制御ステップとをコンピュータに実行させる、監視システムの制御プログラム。
5. 複数のカメラから入力された画像に基づいて処理を行なう、監視装置であって、
   前記複数のカメラのそれぞれで撮影された画像中の特定の物体を計数する計数処理手段と、
   前記計数結果を演算する演算手段と、
   前記演算手段で行なった演算の結果に基づいて、監視システムの動作を決定する決定手段と、
   前記決定手段で行なった決定に基づいて、監視システムを制御する制御手段とを備えた、監視装置。

Images