JP2006287884A - 知的映像監視システム - Google Patents

Abstract

【課題】監視員の負荷の低減のためおよび警報を出す判断のばらつきをなくすためには監視対象の判別ができる知的映像解析システムを提供する。
【解決手段】映像中の監視対象物の要素単位で解析できるスマートカメラシステム即ち知的映像解析システムを利用した知的映像監視システムを構成し、該システムの解析機能を使って監視対象物の監視項目を細分化した監視要素毎に判定し総合的な判断により警報を出すことができる前記知的映像監視システムによって、警報は監視員による映像を見て危険等の判断をする人間が介在する監視システムからシステムによる判断に置き換えることにより、危険な状態や異常な状態等のより正確な判断とともに即時伝達が達成できる。これによって監視員の負荷を低減できる。また監視員は他の業務であるシステムの管理等の他の仕事もこなす時間が取れコストダウンにも貢献できる。
【選択図】図５

Description

発明が属する技術分野

本発明は映像監視システムに関する

従来の映像監視システムは（図１）に示す通り、１台又は複数の監視カメラ１０１で得られた映像を有線または無線で伝送経路１０２を通じて監視室１０８に伝送し、該監視室においてその映像をシステム統合サーバ１０３によって記録装置１０４、表示装置１０５、プリンター等１０６に接続し、監視カメラ１０１から伝送された映像情報を該表示装置等を介して監視員１０７が監視し、監視地点で発生した危険な状態もしくは異常な状態等監視指示項目、たとえば崖崩れ、不審者の侵入等を発見し、関係者もしくは関係機関に危険もしくは警告を伝達し同時にその映像を記録（特許文献１）するものであった。

監視地点の映像情報が集められる監視室１０８においては、該監視員１０７が複数の監視地点のカメラからの映像を一度に監視できるように複数の表示装置または単一の表示装置の画面を分割（特許文献２）するなどして、全ての監視点の映像を常時表示させて監視する方法と、単一もしくは複数の表示装置に複数の監視点の映像を一定時間ごとに順次切り替えて表示する方法の表示装置を使って監視が実施されており、前記監視員１０７は表示装置の映像を見て監視を続け、監視項目すなわち異常、危険等の事象を見つけ出し、発見した時はあらかじめ決められた場所、人達に通報する。また記録装置では常時伝送された映像を記録し続ける。

この監視員１０７の機能すなわち表示装置１０５の映像を見て異常や危険等を判定し通報する機能を映像の解析システム等を使った監視システムに置換えようとする試みも行われている。（ａ）モーションディテクター検知システムで映像のフレーム間の変化を検出して判定する方式、（ｂ）映像の変化領域の面積と移動速度から異常を検出するシステム、（ｃ）映像のピクセル集合のベクトルを算出することによって検出して判定する方法、即ちオプティカルフロー検知システムなどが良く知られている。

（ａ）は現在最も一般化している検知システムであるが、映像中のどのような物体の変化でも同じように検出する、すなわち映像物体の特定、識別はできない。（ｂ）は映像の変化領域の連続性と縦横比などから人物、自動車などの識別をして検出するため映像中の他の動くものたとえば草木等のゆれるものとの区別が出来る。しかし重なり合った複数の人物や人物の特定な行動、例えば人物が手を上げていたり横になっていたりする行動の判定は出来ない。（ｃ）については最近開発された方法で土砂崩れ、河川の流量を計測する監視システムに利用されているが、監視カメラ自体が揺れたり映像内で動き廻る物体例えばカメラのレンズに滴が這うとか虫が這う等が有るときには誤動作が予想される。また観視対象である河川の流れの流域、筋が変わってしまった時などは監視システムの設定のし直しも必要になる。
特許公開平１０−２９４９３３ 特許公表２００４−５２２３７９ 特許公開２０００−１７５１７７ ティーハン リユー、バラック オザー、ウエイン ウォルフ"スマートカメラシステム デザイン"電気電子学会収録集ＰＶ２００２号 ２００２年 Ｔｉｅｈａｎ Ｌｖ， Ｂｕｒａｋ Ｏｚｅｒ，ａｎｄ Ｗａｙｎｅ Ｗｏｌｆ、"Ｓｍａｒｔ Ｃａｍｅｒａ Ｓｙｓｔｅｍ Ｄｅｓｉｇｎ，"ｉｎ Ｐｒｏｃｃｅｅｄｉｎｇｓ，ＰＶ２００２，ＩＥＥＥ，２００２． ウエイン ウォルフ、バラック オザー、ティーハンリュー"スマートカメラを付加したシステム"電気電子学会コンピュータ部会 ３５（９）号 ２００２年 Ｗａｙｎｅ Ｗｏｌｆ、Ｂｕｒａｋ Ｏｚｅｒ，Ｔｉｅｈａｎ Ｌｖ，"Ｓｍａｒｔ Ｃａｍｅｒａｓ ａｓ ｅｍｂｅｄｄｅｄ ｓｙｓｔｅｍ，"ＩＥＥＥ Ｃｏｍｐｕｔｅｒ，３５（９）Ｓｅｐｔｅｍｂｅｒ ２００２，

発明が解決しようとする課題

防犯、防災のために設置されている監視システムは主に被害を受けてからの証拠に映像として利用されることが多い（特許文献３）。理由は表示装置で監視員が事象発生を見てから通報する場合がほとんどであるため事象発生後の対応、処置になってしまう。常時監視を続け、犯罪、災害の兆候を探しそれらの発生の可能性を発見するには常時注意が必要であり、監視員の根気が必要である。さらに複数の表示装置を監視する場合にはその負荷の多さによる監視漏れは避けられない。これら監視員の常時監視と複数の表示装置の監視と言う不可能に近い負荷に対し負荷軽減を図ると共に、事件、災害の被害を最小限に抑えるためには、危険等の発生を早くから情報収集し解析してその解析結果を判断材料にして災害や事故を速く発見し警報を出すことのできる監視システムが必要である。現在、監視員に代わって映像解析システムによる判定を行う方法（０００４）が試みられて来たが、判定にはまだ欠点を含んでおり満足できていない。従って監視員の負荷軽減にまで至っていない。

課題を解決する為の手段

上記課題を解決するために、監視員の判断行為即ち監視員が記憶している監視基準に照らしあわせて行う危険発生等の判断行為とその判断に基づく警報を発信する機能に代わって監視システム自体が判断しまた伝達業務を行うことのできる監視システムが必要であり、その実現のためにスマートカメラシステム（非特許文献１，２）の知的映像解析システムを該監視システムに組み込むことによって可能となる。即ちまず危険と判断する情報を監視基準として該システム内に記憶させて置き該監視カメラなどから入手した監視対象物の映像情報を該映像解析システムで解析して監視基準と比較照合して危険等を判断する機能を持つスマートカメラシステム組み込み型映像監視システムを構成し、該システムの映像による判定結果によって、監視員や関係部署に危険や異常等の情報や発生を知らせることを該システム内部で判断し該映像と共にまたは重ねて関連表示装置に該システム統合サーバを介し送信し「危険表示」や「警報表示」を出す等判定と情報伝達の機能を備えた知的映像監視システムを構築することにより解決できる。

発明の効果

本発明は次のような効果をもたらす。監視員の監視機能に代わって前記判定と情報の伝達機能を持つスマートカメラシステム即ち知的映像解析システムを使って映像の中の監視対象物の動作状態や行為を解析し、該システム内部に記憶させておいた危険な状態や異常な状態等の監視基準に照らし比較判定し、それら危険な状態や異常事態に該当すれば危険等と判断し該映像と共に「危険の表示」や「警報」もしくは「注意報」を良く目に留まるようにフラッシングや赤色のような目立つ表示もしくは音を使って自動的に行い、該発生を監視員や関係する人達に分かりやすく確実に伝える機能を持つ。従って監視員が常時監視映像を表示している表示装置を注視し続けなければならない仕事が大きく軽減される。即ち監視員の疲労が低減できるとともに監視員が監視だけに勤務時間を取られることなく重複して他の仕事を受け持つことができと言う人件費のトータルコスト低減が図れる。

さらに大容量を必要とした記憶媒体については、前記スマートカメラシステム即ち知的映像解析システムによる判定機能を使って危険等を感知した時点の一定時間前の映像から記録を行えばよく、必要とする記録容量は非常に少なくて済む経済効果が期待できる。さらに記録映像が限られるので、監視カメラによるプライバシーの侵害にもほとんど抵触せずに済む。

さらに本発明の効果を引き出すためには、監視カメラが任意の場所に設置できることが必要である。カメラ機能を有するＧＰＳ携帯電話はひとつの例としてこの目的に合致する。すなわち該携帯電話の位置情報を持つカメラ映像情報を電話回線を使って監視室との間で送受信できることである。さらに該スマートカメラシステム即ち知的映像監視システムによる判定機能を移植したコンピュータシステムを監視地点にある該携帯電話に付属させることによって知的映像監視システムを構成しＧＰＳによってこのカメラの位置情報を得られる機能を利用し、費用と手間のかさむ従来の監視システム設置作業特に監視カメラの設置が簡単に危険監視等の検知にもっとも適した場所に設置することができ、監視室と離れた箇所即ち時間的にも距離的にも離れたところ例えば山の中や高速道路脇等でもこのシステムにより監視することができ、危険等の発生の予想される監視に最も適した位置に設置でき、従ってより早く危険等の事象が検知できるので災害に対する対応の時間的余裕が取れる。危険と判断された場合には該当する該携帯電話による映像等を監視室に送信するが、多数の該携帯電話を持つ該システムであっても危険等の発生した箇所の通信だけで良いので通信回線が込み合うこともなく監視室に伝達される。自然災害を例にすれば発生源の近くに設定できることにより土石流等の災害警報が早く出せ、出た後の対策、準備時間も従来と比較して多く取れるので避難時の多くの人命救助に効果が期待される。当然ではあるが監視室からは常に該監視カメラの情報を呼び出して監視できる。さらに該カメラ付ＧＰＳ携帯電話もしくは単にＧＰＳ装置をカメラ付携帯電話や通常の監視カメラに付属させ同時にコンピュータシステムの機能を付属させることによりインターネット回線によっても常時監視カメラの位置情報と共に監視映像の送信や解析結果による判定も含め監視側に送り続けることもできる。

（図１）はすでに据え付けてある従来型映像監視システムを示す。（図２）は（図１）の従来型映像監視システムにスマートカメラシステム即ち知的映像解析システムを組み込ませたコンピュータシステム２１０を映像等送信装置２０２部と該システム統合サーバ２０３部の中間経路に接続し、該機能の追加型である知的映像監視システムを提供できることを示す。該コンピュータシステムにより監視目的の映像対象物の各要素部分の状態例えば服装やマスクのような身につけている物の種類、さらに動作であるが例えば手を上げた状態や横になっている状態等を監視することができる。（図３）は本発明の基本をなすスマートカメラシステム即ち知的映像解析システムの機能を説明するためのもので監視要素部分の状態、例えば顔３０１、手３０２、胴体３０３を独立の監視要素とし、それぞれの動きについて顔は３１１、手は３１２、胴体は３１３に移動をした例を示し、その各部分をとらえて解析する方法を示す。したがって従来から据付られている監視システムの映像情報をそのまま使って当該発明の効果を得られることを示す。（図４）は従来の映像監視システムに使われている解析システムの解析手順（０００４）の（ａ）の説明図で２枚のフレームは時間差で位置の移動のあった映像すなわち映像４０１から映像４１１に移動したのを可動物体と判定し監視に利用しようとする方法を示す。

（図５）は知的映像監視システムを使って危険等を判断し警報等を出力する際に警報の重みを付けて送り出すシステムを示しており、重要度順序のついた危険情報等を監視員もしくはあらかじめ設定された場所、人に伝達、通知するシステムを示す。当然ではあるが監視映像に重ねて危険情報を出すこともできる。この目的は、監視にあたって危険とか事件発生の判定をする場合に監視員は「どちらとも言えない」と言う事象に遭遇する。つまりグレーゾーンの処置に困る。本知的映像監視システムはこのグレーゾーンの判定を加えることにより危険の発生か否かの情報を監視員や関係者に送り関心や注意を促すことができ、監視作業を担当する人々のこころの準備をさせることができる。
監視地点にある監視カメラ５０１からの映像情報５０２はスマートカメラシステムを移植されたコンピュータシステム５０３によって監視基準として記憶されている監視設定項目５０４について、その詳細設定の監視要素５０５ごとに解析し、危険等に対する重要性から順次序列された組み合わせの監視設定項目の要素ごとの組み合わせ設定５０６即ち要素グループ毎に判定し、重要性の序列によって重大警報から注意報までをランク付けし、該映像と共にインターネット回線もしくは通信手段５０７を使って監視室５０８もしくは関係連絡先に通報する。このシステムによる判定結果を使った警報情報である重大警報や注意報の送信を行うことによって危険な事象や災害の起こる予測や注意に基づき早い対策が打てることのできる知的映像監視システムを提供する。

（図６）はスマートカメラシステム即ち知的映像解析システムを移植したコンピュータシステムを監視地点にある各監視カメラ６０１に付属させ、あらかじめ設定された行動や動作を監視基準として記憶させておき監視カメラからの映像の監視対象物の解析結果と比較し警報を出す条件を満たした時には警報の表示とその判定を下した時点より前の任意の時間からの映像を常時接続のインターネット回線６０２を介して監視室６１１に送信する。該監視室では警報情報を受信用のコンピュータシステム６０４で受け、システム統合サーバ６０５により映像表示装置６０７に表示させ、監視員６１０に知らせる。同時に該映像の記録は映像記録装置６０８にて記録し、警報を自動警報出力装置６０６から所定の宛先へ送る。また必要によりプリンター６０９で画像を印刷する如くなした知的映像監視システムの説明図である。

現行映像監視システム 現行システムに機能追加して知的映像監視システム構成にした図 「ＳＣＳ映像解析システム」による動作等の解析模式図 従来型映像解析システムによる動作解析模式図 知的映像監視システムによる警報ランク付けシステム図 フロントエンドにカメラと判断機能部分を設置した知的映像監視システム

符号の説明

１０１ 監視カメラ １０２ 映像等送信装置 １０３ システム統合サーバ
１０４ 記録装置 １０５ 表示装置 １０６ プリンター
１０７ 監視員 １０８ 監視室
２０１ 監視カメラ ２０２ 映像等送信装置 ２０３ システム統合サーバ
２０４ 記録装置 ２０５ 表示装置 ２１０ スマートカメラシステム内蔵のコンピュータシステム
３０１ 映像の中の認識人物の顔 ３０２ 手 ３０３ 胴体
３１１ 連続した次のフレームの同じ人物の移動した顔 ３１２ 移動した手
３１３ 移動した胴体
４０１ 映像の中の人物の認識領域 ４１１ 連続の次フレームの人物認識領域
５０１ 監視カメラ ５０２ 監視カメラからの映像情報
５０３ スマートカメラシステム内蔵のコンピュータシステム
５０４ システム内監視設定項目 ５０５ 詳細設定「監視要素」
５０６ 要素組み合わせ処理設定 ５０７インターネット回線（通信手段）
５０８ 監視室
６０１ 監視カメラおよびスマートカメラシステム内蔵のコンピュータシステム
６０２ インターネット通信回線
６０３ インターネットサービスプロバイダへ送信
６０４ 受信用コンピュータ
６０５ システム統合サーバ ６０６ 自動警報出力装置
６０７ 映像表示装置 ６０８ 映像記録装置 ６０９ プリンター
６１０ 監視員 ６１１ 監視室

Claims (4)

1. 監視カメラからの映像を記録装置に記録し、該映像を表示装置に表示し、プリンター等で該映像をコピーして紙面等に打ち出す装置及び該映像を送る通信手段と該映像により監視員が判断を下し警報を関連部署に伝達する警報伝達手段さらにそれぞれの装置を制御するためのコンピュータシステムであるシステム統合サーバ等を持つ映像監視システムの機能に加えて、該コンピュータシステムにスマートカメラシステムの機能即ち知的映像解析システムの機能を移植し、監視対象物の監視のための複数の要素部分の情報を該コンピュータシステム内部にあらかじめ監視基準として記憶させて置き、該監視カメラからの該映像中の監視対象物の前記要素部分ごとに動作やその状態の解析を行なわせ、該映像の要素部分それぞれの解析結果と、あらかじめ設定した該監視基準に対し合致するか否かを判定させ、さらに合致した場合には危険と判断する機能と、その判断に基づき警報もしくは注意報を該映像と一緒に該関連部門に伝達する機能等を該コンピュータシステムに組み込むことにより知的映像監視システムを構成する。この前記知的映像監視システムを使い該映像による監視対象物を人物（単数または複数）とし、該人物の要素部分を複数指定し例えば顔、胴体、手、足の各部分等の動作状態即ち例として手を上げた状態などを意味するが、これを１つめの識別のための要素部分とし、衣類、マスク、帽子、手袋、靴等の外観的な識別を２つめの識別のための要素部分とし、これらの識別要素およびその組み合わせをあらかじめ監視基準として選択し該システム内部に記憶させ、該監視カメラの映像から得た監視対象物の要素部分の解析結果と対比させ、記憶された状態と合致したと判定した場合には危険又は注意の必要有と判断し警報または注意報を該システムが即座に出し、同時に警報発生時の前の一定時間より該映像を記録し、その映像をあらかじめ指示された場所に送信し警報と共に該映像を表示装置に表示させるようになしたことを特徴とする人物識別機能を持つ知的映像監視システム。
2. （請求項１）記載の人物識別機能を持つ知的映像監視システムを使って、侵入者監視の正確さの向上のため該識別要素を少なくとも３つ以上の複数の項目に分類し例えば分類１として人物の顔、手、足、胴等の動作状態を選択し、分類２として外形修飾物例えば衣類、マスク、帽子等、さらに分類３として目の動作即ち視認行為とし、特定物例えば設置されている監視カメラや清算所等を見るまたは確認すると言う視認行為の回数を識別要素とする。以上の３つの分類項目の各識別要素の組み合わせを、あらかじめ監視基準として該システムに記憶させて置き、該監視カメラから送られて来た該映像の解析結果が設定された監視基準と合致したと判定した場合に危険もしくは注意等の警報を該システムが即座に出し、監視員、関係者に周知させるようになし、同時に警報発生時の前の一定時間より該映像を記録、送信し続け、警報や警報表示と共に該映像を表示させるようになしたことを特徴とする侵入者識別機能を持つ知的映像監視システム。
3. （請求項１）及び（請求項２）記載の機能を持つ知的映像監視システムであって、あらかじめ監視基準すなわち該システムに設定させた複数の該識別要素の組み合わせを危険度、もしくは注意の重要さを決める情報とし、該情報に重要度の順位を付け、例えば５段階の順位を設定することによって、前記順位付けされた危険度または注意の重要さを初期警報から重大警報のような段階的警報の名称を持たせた監視基準とし、該監視基準を該システムに記憶させ、該監視カメラからの該映像の解析結果がどの組み合わせに該当するかを該システム内部で判定し、いずれかの組み合わせに該当した場合には危険または注意の信号を出す判断を該システム内部で行い監視員、関係者にこの判断された情報即ち危険度等の順位付けした段階的警報等を送信し、同時に警報発生時の一定時間前よりの該映像を記録、送信し、それぞれ単独に、もしくは該映像の中に重ねてまたは並べて該段階的警報を表示させるようになしたことを特徴とする警報の危険度を映像と共に表示する知的映像監視システム。
4. （請求項３）記載の機能を持つ知的映像監視システムであって、監視の対象を自然災害とし、監視カメラは通常の監視カメラ又はカメラ機能付き携帯電話もしくはＧＰＳ機能付きカメラ機能付き携帯電話であって、監視カメラ単独もしくはコンピュータシステムを付帯したカメラシステムを監視地点に設置し、例えば崖崩れの監視であれば監視のための対象物の要素部分を複数設定し一つ目は発生部の広さまたは幅、二つ目はその量または岩石の大きさ、三つ目は土地、岩石等の移動もしくは落下速度等とし、各要素部分ごとに危険度合いを示す数値例えば広さであればその発生場所の大きさもしくは面積等の数値を使って広さを段階的に設定した監視要素とし、それらの単独もしくは組み合わせを監視基準として該システム内部に記憶させ、監視カメラから送られてきた該映像より得られた各要素部分の解析結果がどの組み合わせに該当するかを該システム内部で判定し監視基準に合致する場合には決められた順位即ち最大危険度表示５から最低表示１と順位付けされた危険情報を出し、該順位付けされた警報情報を該映像情報と共に監視員、関係者に送信、伝達する。自然災害に対し初期警報とか重大警報のような名前の警報表示もしくは５から１のような段階的警報表示を該映像情報と重ねてもしくは映像と警報をそれぞれ別々に伝達、表示をさせ危険を知らせることを特徴とした自然災害監視のための段階的警報手段を持つ知的映像監視システム。