JP2005038115A - Intruder monitoring method and device - Google Patents

Intruder monitoring method and device Download PDF

Info

Publication number
JP2005038115A
JP2005038115A JP2003199005A JP2003199005A JP2005038115A JP 2005038115 A JP2005038115 A JP 2005038115A JP 2003199005 A JP2003199005 A JP 2003199005A JP 2003199005 A JP2003199005 A JP 2003199005A JP 2005038115 A JP2005038115 A JP 2005038115A
Authority
JP
Japan
Prior art keywords
monitoring
intruder
moving
image
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003199005A
Other languages
Japanese (ja)
Other versions
JP4220322B2 (en
Inventor
Motoaki Oguma
基朗 小熊
Tomokazu Ebata
智一 江端
Original Assignee
Hitachi Ltd
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd, 株式会社日立製作所 filed Critical Hitachi Ltd
Priority to JP2003199005A priority Critical patent/JP4220322B2/en
Publication of JP2005038115A publication Critical patent/JP2005038115A/en
Application granted granted Critical
Publication of JP4220322B2 publication Critical patent/JP4220322B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To prevent the erroneous detection of an intruder, and to improve detecting precision. <P>SOLUTION: The status of a monitor area is acquired by a camera device 1101, and the detection processing of a traveling object is executed by an image/voice control managing device 1200. When the traveling object is detected, a stimulus sound or a stimulus light is applied from a speaker 1103 or a strobe 1104 to the traveling object, and the reaction of the traveling object is detected by the camera device 1101 and a microphone 1102. The image/voice control managing device 1200 decides that the traveling object is an intruder when the video of the traveling object after stimulation changes from the video of the traveling object before stimulation. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は侵入者を監視する監視方法及び装置に関する。
【0002】
【従来の技術】
ITVカメラ等で撮影した撮影エリアの画像を基に移動物体を監視する監視装置が知られている。特許文献1には、監視装置より入力された3フレームの画像を基に2・3フレーム、1・3フレームを用いて2つの背景画像を作成し、そこから類似度の低い変化領域を移動物体として検出する方法が提案されている。
【0003】
また、特許文献2では、監視カメラに音センサーを付属することで、集音された音を特定の周波数成分を通過させるフィルタに通すことで、発生した火災や衝撃等の異常の種類を検知する手段を備えた監視カメラ装置が提案されている。
【0004】
【特許文献1】
特開2000−23141号公報(段落0013−0015、図1)
【特許文献2】
特開2002−123878号公報(段落0011−0015、図1,3)
【0005】
【発明が解決しようとする課題】
特許文献1に記載の監視カメラでは、撮影された画像より移動物体を検知するため、移動物体として検知した蛾や蜘蛛等も侵入者として検知してしまう。
【0006】
また、特許文献2に記載の監視カメラでは、音センサーは火災や衝撃などを検知する目的で付与されているので、音の種類によって侵入者を検知するのには向いていない。
【0007】
本発明の目的は、上記従来技術の問題点に鑑み、移動物体に刺激を与え高精度に侵入者を検出できる監視装方法及び装置を提供することにある。
【0008】
【課題を解決するための手段】
上記の目的を解決するための本発明は、カメラにより繰り返し監視エリアの映像を取得し、該映像の画像処理によって移動体を検出する侵入者監視方法において、前記移動体を検出したときに、光または音による刺激を該移動体に対して与え、移動体の映像が前記刺激の前後で変化している場合に前記移動体が侵入者であると判定する侵入者監視処理によることを特徴とする。
【0009】
また、前記画像処理が時系列の映像の変化量によって移動体を検出すると、前記侵入者監視処理は移動体の検出データと予め登録されている対象外情報と照合し、不一致の場合に前記刺激を与える。
【0010】
また、前記侵入者監視処理の後、誤検知の状況に応じて移動体検出パラメータを最適化するプログラム最適化処理を行う。
【0011】
本発明の侵入者監視装置は、監視エリアの映像を取得するカメラを持つ監視装置と、取得された映像を画像処理して移動体を検出する検出処理装置と、検出された移動体を表示する表示装置を備えるものにおいて、前記監視装置は音を発する音響装置または光を発する発光装置を含み、前記検出処理装置は前記移動体を検出した場合に、前記音響装置または前記発光装置を介して前記移動体に刺激を与えると共に、前記刺激の前後における映像の変化から侵入者を判定する侵入者監視機能を設けたことを特徴とする。
【0012】
前記監視エリアが複数有り、その監視エリア毎に前記監視装置を設け、1つの監視エリアに侵入者が検出された場合に、他の監視エリアのカメラを侵入者に向けて制御する。
【0013】
本発明の監視ネットワークシステムは、複数の侵入者監視装置をネットワークで結ぶものにおいて、前記侵入者監視装置は上記の侵入者監視方法または侵入者監視装置によるものである。
【0014】
本発明の作用を説明する。カメラデバイス装置は監視エリアを撮影するITVカメラと、移動物体を検知する画像処理装置を備え、また移動物体を刺激するために音を発するスピーカー、または光を発するフラッシュ備える。また刺激した後の移動物体が出す音を集音するためのマイクを備える。
【0015】
移動体の検出は前記ITVカメラ等で撮影した所定周期の画像を処理し、2フレーム間の差分による変化領域を抽出することで前記移動物体を検知する。前記移動物体検知後に前記スピーカーから出力する音声は侵入者が認識できる程度の長さであり、かつ侵入者を十分に刺激する音量・内容を有する。前記移動物体検知後に前記ストロボより発光するフラッシュは侵入者を十分に刺激できる明るさとする。
【0016】
侵入者以外の移動物体、例えば警備員、救急車両のサイレン音、日の入り、照明等により取得した画像や音声に変化領域が存在する場合に誤認識が発生する。これを防ぐために、かかる変化をもたらす既知の画像や音声を登録し、検出した移動物体と登録情報を比較し、一致する場合は検出対象から除外する。
【0017】
また、カメラが複数ある場合、移動物体を検知したカメラより他のカメラに移動物体の検出位置等の情報を通知することで、まだ移動物体を検知していないカメラが移動物体の来る方向を予測し、自己の向きを制御する。これにより、移動物体の追跡が容易になる。
【0018】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。図1は本発明の実施例1による侵入者監視装置の構成を示すブロック図である。侵入者監視装置は監視装置群1100、画像音声制御管理装置1200及び表示装置群1300からなる。
【0019】
監視装置群1100は、特定の監視エリアの画像を取得するカメラデバイス装置1101と、音声を取得するマイク1102と、音声を発するスピーカー1103などの音響装置や光を発するストロボ1104などの発光装置を有している。画像音声制御管理装置1200は、監視装置群1100の入出力装置の制御、画像音声の解析を行うことで侵入者を検出する処理を行う検出処理装置である。表示装置群1300は取得した画像や音声といった情報を表示するための表示装置1301、スピーカー1302、画像音声制御管理装置に対して設定値等の入力を行うキーボード1303などを有している。
【0020】
侵入者監視装置の動作の概要について説明する。カメラデバイス装置1101は取得した画像情報を画像音声制御装置1200に送り、マイク1102は収集した音声情報を画像音声情報装置1200に送る。画像音声制御管理装置1200は取得した画像・音声より監視エリアに不審者が侵入したか判断する。また、画像音声制御管理装置1200は取得した画像・音声制御情報を表示装置1301に出力し、また侵入者を検知した場合、その旨を表示装置群1300に出力する。さらに、画像音声制御管理装置1200は不審者と思われる対象に対して、注意を促すためにスピーカー1103やストロボ1104を制御して、外部に対し音や光で刺激を与える。
【0021】
また、画像音声制御管理装置1200はカメラデバイス装置1101の感度やズーム等の設定や、マイク1102の感度、スピーカー1103のボリューム、ストロボ1104の光の強さなど、監視装置群1100の設定値の調整を行う。また、これらの監視装置群1100が向きを変更する機能を有している場合には、画像音声制御管理装置1200は向きの制御も行う。
【0022】
画像音声制御管理装置1200は不審者を検出した場合、予め検出対象外として登録されている画像・音声情報と比較することで、検出対象外であるか否かの判断行う機能をもつ。また誤検知による不審者の検出が頻出した場合は、誤検知を減らすために不審者として判断する基準となるパラメータの値を自動的、または手動により調整する機能をもつ。
【0023】
図2に侵入者監視装置の設置例を示す。2つの部屋を持った建物を示し、左の部屋1401に監視装置群1100を設置し、右の部屋1402に画像音声制御管理装置1200と表示装置群1300を設置している。ここで、1501は監視装置群1100の監視エリアを表し、1601は監視者を表す。画像音声制御管理装置1200は離れた場所にある監視装置群1100を制御し、その画像情報及び不審者が侵入したかの検出結果を表示装置群1300に出力する。
【0024】
図3は画像音声制御管理装置の構成を示すブロック図である。画像音声制御管理装置1200は入出力制御装置1202、プログラム実行装置1201及び記憶装置1203から構成される。
【0025】
入出力制御装置1202はカメラデバイス装置1101、マイク1102、スピーカー1103、ストロボ1104の入出力制御や、感度や音声出力の大きさの設定値の変更を行う。プログラム実行処理装置1201は監視装置群1100の動作を制御することでカメラデバイス装置1101から画像の取得、マイク1102から音声の取得、スピーカー1103から音声の出力、ストロボ1104から光の出力を行う。また、監視装置群1100の感度や出力の大きさといった設定値の変更を要求する。
【0026】
入出力制御装置1202によって得られた画像・音声情報は記憶装置1203に蓄積される。プログラム実行処理装置1201は取得した画像・音声情報を解析することで不審者の検出を行う。また、プログラム実行処理装置が侵入者か否かを判断するために、記憶装置1203は予め検出対象外とする画像・音声情報を記憶している。
【0027】
図4は画像音声制御管理装置の他の構成を示すブロック図である。画像音声制御装置1200は内臓している各プログラムを変更するための入力媒体として、CDドライブ1304やDVDドライブ1305等の入力デバイス装置を有している場合もある。
【0028】
この他に、画像音声制御管理装置1200はカメラデバイス装置1301、マイク1302、スピーカー1303、ストロボ1304等の監視装置群1100の一つまたは複数と一体化することで、インテリジェントカメラとして構成される場合もある。
【0029】
図5は画像音声制御管理装置の動作を示すフローチャートである。画像音声制御管理装置1200が起動すると、カメラデバイス情報取得処理2100により、プログラム実行処理装置1201が入出力制御装置1202を操作して、カメラデバイス装置1101の感度やズームといった情報を取得する。その後は、画像音声制御管理装置1200が停止するまで、画像・音声情報の取得処理2200、侵入者監視処理2300、プログラム調節処理2400を繰り返し行う。
【0030】
侵入者監視処理2300は取得した画像・音声情報から不審者が侵入したか判断する処理である。プログラム調節処理2400は現在時刻において不審者を検知するのに適切なカメラ感度に設定値を変更したり、不審者の誤検知が頻発した場合に不審者侵入の判断基準値を調整する処理で、プログラム適時選択処理とも呼ばれる。
【0031】
カメラデバイス情報取得処理2100について説明する。画像音声制御管理装置1200は起動時にカメラデバイス情報取得処理2100を行い、接続しているカメラデバイス装置1101、マイク1102、スピーカー1103、ストロボ1104の製品個別番号の状態を読み込む。画像音声制御管理装置1200の記憶装置1203にはカメラデバイス情報テーブルを持っており、これらの情報を取得する。画像音声制御装置1200の起動時には前回停止時のカメラデバイス情報テーブルの値をもっており、起動時に現在との比較を行いカメラデバイス情報テーブルの更新を行う。
【0032】
図6にカメラデバイス情報テーブルの構成を示す。カメラデバイス情報の項番1〜4は、画像音声制御管理装置1200に接続されているカメラデバイス装置1101、マイク1102、スピーカー1103、ストロボ1104の製品を特定する製品固有の番号を表す。項番5は侵入者監視処理2300の侵入者検出プログラム、及びプログラム調節処理2400のプログラムのバージョン情報を示す。項番6は侵入者監視処理2300で用いる照合データ情報の管理番号を示す。項番7、8にはプログラムおよび照合データが更新されたことを管理する更新日付を持つ。項番9はカメラデバイス装置1101が起動しているか、起動していないかのフラグである。カメラデバイス装置が起動した場合はカメラ起動フラグはON、停止した場合はOFFになる。また、カメラデバイス装置1101が初回の起動であれば、各入出力装置の製品番号がセットされる。
【0033】
画像・音声情報の取得処理2200について説明する。画像・音声情報の取得処理2200は、プログラム実行処理装置1201が入出力制御装置1202を介してカメラデバイス装置1101から画像、マイク1102から音声を取得し記憶装置1203に保存する。プログラム実行処理装置1201は記憶装置1203の画像情報・音声情報を表示装置群1300に渡すことにより、リアルタイムに画像・音声情報を出力することができる。
【0034】
侵入者監視処理2300について説明する。侵入者監視処理2300は、画像・音声情報の取得処理2200から取得した画像・音声情報を基に侵入者を検出する処理である。
【0035】
図7は侵入者監視処理の動作を示すフローチャートである。まず、移動物体検出処理(1)2301により、入力した画像・音声情報の変化量を基に監視エリアに移動物体があるかの検出を行う。カメラデバイス装置1101が取得する画像情報、マイク1102が取得する音声情報は常に画像音声制御管理装置1200に送信される。画像音声制御管理装置1200において、入出力制御装置1202を介して取得された画像・音声情報を基にプログラム実行装置1201によって移動物体検出処理(1)2301が行われる。移動物体検出処理(1)2301は時系列に対する画像・音声情報の変化量によって移動体があるか判断する。移動物体の検知方法は、例えば特開2002−262296や特開2003−58891等の検出方法を用いて行う。
【0036】
図8は移動物体検出処理(1)から侵入者検出処理に至る過程を示す説明図である。図8(a)は移動物体検出処理(1)により、移動物体1602を表示装置1200上で検出した状況を示している。
【0037】
また、移動体検出処理(1)2301では移動体1602が明らかに人物でない場合を省くための処理を行う。処理のアルゴリズムは、移動物体1602が重力を無視した上下の移動を行っている場合は、移動物体1602が蛾や蜘蛛などの可能性が高いと判断し侵入者ではないと判断する。また画像が全体的に周期的に同じ方向に振動する動作が確認された場合は風により室外の木が揺れていると判断し侵入者ではないと判断する。また照明の点灯、日の出や日の入りによって画像全体が急に明るくなったり暗くなったりした場合についても侵入者ではないと判断する。
【0038】
このアルゴリズムによる判断の結果、侵入者の可能性が高い移動物体であると判断された場合、プログラム実行処理1201は検出データと登録データの照合処理(1)2302を行う。
【0039】
検出データと登録データの照合処理(1)2302について説明する。照合処理(1)2302は侵入者の可能性が高い移動物体1602と、監視対象外として予め記憶装置1203に登録されている画像・音声情報とを照合し、検出対象であるか否かを判断する。
【0040】
例えば、予め来ることが予定されている人物の顔画像を登録しておく。例えば特開2003−36442公報に記載の個人認証装置を用いれば、検知した移動物体が登録済みの人物であるか否かの判断を行うことができる。また、作業服の情報や黄色いヘルメット等の情報を登録データとすることで、特定の服装をした人物を監視対象外とすることができる。また、緊急車両やトラック等、特徴のある音声データが存在する場合は、その音声情報を照合することで監視対象外の情報であると判断することができる。
【0041】
検出データと登録データの照合処理の結果、登録データに該当する場合は検出対象外データとして侵入者監視処理2300を終了する。一方、画像・音声データが登録データに該当しなかった場合、次に検出対象への刺激処理2305を行う。
【0042】
検出対象への刺激処理2305について説明する。図8(b)は検出対象への刺激処理2305を示したものである。検出対象への刺激処理2305は、プログラム実行処理装置1201から入出力制御装置1202を介してスピーカー1103、ストロボ1104を用いて監視エリアに対して刺激を与える。たとえば移動体1602に対して「誰だ!」の音声による刺激を与えたり、または、「ドン!」といった刺激音と共にストロボによって光を発することで、移動体1602に対して刺激を与える。
【0043】
これらの刺激に対して移動物体1602が侵入者であれば、ビクッと体を震わす、逃げ出す、立ち止まる等の反応をすることが予想される。そこで、刺激を与えた後の移動物体の動作を観測することで、移動物体が侵入者であるか否かを明確に判断することが可能になる。
【0044】
また、刺激の内容については、例えば検出データと登録データの照合処理で登録データである可能性が曖昧である場合は、名前を尋ねる仕組みとしてもよい。たとえば、移動物体が人物画像として特定できた場合には光を点灯し、「名前をお願いします」と音声を発し、移動物体に対して明示的に反応を促す。そして、この後の動作を観測することで移動物体が侵入者か否かを判断することが可能になる。
【0045】
プログラム実行処理装置1201は移動物体に対する刺激処理2305を行ったあと、移動体検出処理(2)2306を行う。移動体検出処理(2)2306の具体的な処理動作は移動体検出処理(1)2301と同様であるが、刺激を与えた後の移動物体を観測する点が異なる。
【0046】
移動体検出処理(2)2306により移動物体が検出された場合は、検出データと登録データの照合処理(2)2308を行い、検出データが登録データに含まれているか判定する。この処理は検出データと登録データの照合処理(1)2303と同様の処理を行うが、刺激を与えた後に検知した内容から判断することにより照合による認識率が向上する。検出データが登録データに含まれていた場合は処理を終了する。含まれていなかった場合は、侵入者判定処理2310を行う。また、移動体検出処理(2)2306にて移動物体が検出されなかった場合も侵入者判定処理2310を行うようにする。
【0047】
侵入者判定処理2310では移動物体検出処理(1)2301と移動物体検出処理(2)2306の両方より検出された移動物体の検出情報を比較することで、検出対象への刺激処理2305にて刺激を発する前後における監視エリア状態の変化の比較を行い、移動物体が侵入者であるか判定する。検出対象への刺激処理により、監視対象に変化が見られた場合は侵入者であると判定する。
【0048】
侵入者が検出された場合は侵入者発見通知処理2312により、表示装置群1300に対して侵入者を発見したことを通知し、表示装置に侵入者検知の画像・音声出力により通知する。図8(c)に示すように、監視員1601は侵入者1602の存在を知ることができる。
【0049】
次に、プログラム調節処理2110について説明する。図9はプログラム調節処理の機能を示したものである。プログラム調節処理2110には、適時プログラム選択処理、プログラム更新処理及びプログラム最適化所の3つの種類に分けられる。適時プログラム選択処理は、現在行っている監視状態を最適なものに維持するための機能で、自動的にカメラの感度調整を最適に調整する。プログラム更新処理は、プログラム実行処理装置1201が実行するプログラムをCDやDVDから最新のものに更新する機能である。プログラム最適化処理は誤検知が多い場合に、パラメータを調整し誤検知を減らす機能である。これらの処理は自動または手動で行われる。
【0050】
図10にプログラム調節処理2400の流れを示す。まず、適時プログラム調節処置2401を行い環境に合わせたカメラデバイス装置1101の感度調整を行う。次に画像音声制御管理装置1200により、CDやDVD等から最新のプログラムが取得された場合、プログラム更新処理2403を行う。さらに、画像音声制御管理装置1200の侵入者検出の通知について監視者から誤報だったという通知があった場合はプログラム最適化処理2406を行う。
【0051】
適時プログラム選択処理2401について説明する。一日において、日の入り日の沈みまたは部屋の電灯により明るさが異なる。そのため、監視エリアが明るい場合はカメラデバイス装置1101の感度を低くし、監視エリアが暗い場合にはカメラデバイス装置1101の感度を上げる。そこで、映し出す画像が適切なものになるように自動的に感度の調節を行う。自動調節の例としては、画像音声制御管理装置1200の記憶装置1203に予め時刻と感度の対応表を登録し、その対応表を参照して感度パラメータを設定する。図11に時刻と感度の対応表の一例を示す。
【0052】
プログラム更新処理2403について説明する。画像音声制御管理装置1200のCDドライブやDVDドライブ等の入力デバイス装置に、新しいプログラムやデータの入ったCDやDVDを挿入し、プログラムやデータを記憶装置1203に登録する。これにより、侵入者監視処理2300の検出プログラム、検出データと照合する登録データ2303、適時プログラム選択処理2401のプログラムや、プログラム最適化処理2406プログラムを追加、削除、更新できる。
【0053】
プログラム最適化処理2406について説明する。侵入者監視処理2300において検出した結果が誤報の場合、監視者はキーボード1303より画像音声制御管理装置1200に誤報であったことの入力が可能である。プログラム実行処理装置1201は侵入者検出の誤報が多いと判断した場合、移動体検出のパラメータの調整を自動的に行う。また、検出データと登録データとの照合のパターンに登録してあった場合の誤報に関しては、照合の判断基準を緩めるように自動的に調整を行う。以下にプログラム最適化処理2406の一例を示す。
【0054】
図12はプログラム最適化処理2406の流れである。まず、監視者は侵入者検出に対して誤報であると判断した場合、移動体がない状態での検出誤りによる誤報か、あるいは登録済みの照合データによる照合処理の誤りによる誤報かの入力2407を行う。
【0055】
プログラム最適化処理2406は誤報の原因が移動体検出の誤りであった場合は、過去のN回の移動体検出において誤報が一定の割合(設定値)を超えていた場合(2409)に、移動体であると判断する基準が低すぎると判断し基準値を高くする修正を行う(2410)。また、原因が照合処理の誤りであった場合は、照合データによる照合結果の条件が高すぎたとして同照合データによる照合基準を下げることで照合される可能性を高くする処理(2412)を行う。
【0056】
以上、実施例1によれば、画像処理により移動物体を検出すると、その移動物体に対して音または光の刺激を与え、その反応を検出して移動物体が侵入者であるか否かを判定するので、不正侵入者の検出精度を向上できる。また、誤検知が多い場合に移動体検出の判定基準あるいは照合処理の基準値を自動調整するプログラム最適化処理を行うので、検出エリアの状況に適応できる効果がある。
【0057】
図13は本発明の実施例2を示す侵入者監視装置の構成を示すブロック図である。本実施例の侵入者監視装置は複数の監視装置群1100と画像音声制御管理装置1200と表示装置群1300から構成される。監視装置群1100を複数有している以外は図1の実施例1と同様である。
【0058】
監視装置群1100を複数有する侵入者監視装置の画像音声制御管理装置1200は、監視装置群1100の一つより侵入者発見の通知を受け取ると表示装置群1300に侵入者情報を表示する。その機能に伴い、侵入者検出をしていない監他の視装置群1100に対して侵入者発見の通知を行う。侵入者発見の通知を受けた他の監視装置群1101は、自己のカメラデバイス装置1101の方向を変えるなどにより、侵入者の追跡を可能にする。
【0059】
図14は複数の監視装置群1100がある場合の画像音声制御管理装置の動作の流れである。画像音声制御管理装置1200が起動するとカメラデバイス情報取得処理2100を行い、その後は画像音声制御管理装置1200が停止するまで、画像・音声情報の取得処理2200、侵入者監視処理2300、監視装置制御処理2500、プログラム調節処理2400を繰り返し行う。監視装置群1100が複数になったことで監視装置制御処理2500が加わったこと以外の動作は監視装置群1100が1つの場合と同じである。
【0060】
監視装置制御処理について説明する。侵入者監視処置2300によりある監視装置群1100により侵入者が検出された場合、プログラム実行処理装置は検出した監視装置群1100の場所とカメラデバイス装置1101が向いている方向から侵入者の場所を測定し、他の監視装置群1100に対して侵入者が来るであろう方向に向きの変化を促す。これにより、侵入者を検出していない監視装置群1100も侵入者を捕らえ易くなる。
【0061】
次に図15から図19を用いて、複数の監視装置群を持つ侵入者監視装置の動作を説明する。図15は監視エリアと監視装置の配置を示している。部屋A4101、部屋B4102、部屋C4103、部屋D4104があり、4201〜4204は各部屋の扉を示す。監視装置群A3101、監視装置群C3103、監視装置群F3106は部屋B、C、Dに配置されている。監視装置群B3102、監視装置群D3104、監視装置群E3105は図示の各廊下に配置されている。また3201〜3206は各監視装置群の監視エリアを示す。また、部屋Dには画像音声制御管理装置1200、表示装置1300が配置され、監視員1601がいる。
【0062】
図16は図15と同じ配置における通常時の監視状態を示す。監視装置群3101−3106は省エネのため廊下に配置されている監視装置群のみ監視を行う。すなわち、監視装置群B3102、監視装置群D3104、監視装置群E3105が侵入者の監視を行い、監視装置群A3101、監視装置群C3103、監視装置群F3106は待機状態になっている。
【0063】
図17は侵入者1602が監視装置群E3105の監視エリア3205に入った状態を示す。監視エリア内に移動体を検出した監視装置群E3105は、図7の侵入者確認機能2300を行い、移動体1602に刺激を与え動作を監視することで侵入者であるか判断する。移動体1602が侵入者であると判断した場合、監視装置群E3105は画像音声制御管理装置1200に侵入者を検知したことを通知する。
【0064】
図18は侵入者検出の通知を受けた画像音声制御管理装置の動作を示している。侵入者検出の通知を受けた画像音声制御管理装置1200は表示装置1300に侵入者発見と、発見したカメラ情報、カメラに映った画像を表示する。表示装置1300を監視している監視員1601は、表示装置1300に映し出された情報を基に現場に行き、警備員に連絡等を行う。また、画像音声制御管理装置1200は監視装置制御処理を行い、全ての、あるいは特定の監視装置群の制御を行う。
【0065】
図19は画像音声制御装置による監視装置制御処理を行った場合の監視装置群の動作を示している。画像音声制御管理装置1200は侵入者の位置情報、監視装置群の位置情報、および部屋の図面等の情報より各監視装置群の制御を行い、監視装置群の向きの変更、待機状態から起動状態への変更を行う。監視装置群A101、監視装置群C3103、監視装置群F3106は待機状態から監視状態に移行し、また監視装置群の位置と部屋の図面情報より侵入者が入って来るであろうドア4201、4202,4203の方向にそれぞれカメラの向きを変える。侵入者を検出した監視装置群D3105は侵入者の監視を続行する。また、他の監視装置群で侵入者の位置と直接関係ない位置にあるカメラデバイス装置A3102は特に動作は行わない。また、侵入者位置に近い位置にある監視装置群C3104は侵入者に対してカメラが正面を向くように向きを変える。
【0066】
実施例2によれば、複数の監視装置群が配置されているので、最初に侵入者を発見した監視装置群の位置及び侵入者の方向から、画像音声制御管理装置は侵入者の位置を推測し、各監視装置群のカメラ方向を侵入者に向けて制御し、各カメラが共同して侵入者を追跡可能にしている。
【0067】
図20は本発明の実施例3で、複数の侵入者監視装置を備える監視ネットワークシステムのブロック図を示す。本実施例の監視ネットワークシステムは複数の侵入者監視装置を持つことで、デパート内や地下街といった広範囲の監視エリアの監視が可能となる。画像音声制御装置間ではデータをやりとりする。これにより、一箇所の画像音声制御装置で更新したプログラムや照合データなどを他の画像音声制御装置へ配信することで、全ての画像音声制御装置で最新のプログラムや照合データを用いることが可能になる。また、プログラム最適化処理についても多くの監視装置群の情報を用いることで、さらに効率よく処理を行うことが可能である。侵入者を検知した場合は、画像音声制御装置間で情報のやり取りを行い、共同して監視装置制御機能を行うことにより、効率よく侵入者の検出が可能となる。
【0068】
図21は本発明の実施例4による監視ネットワークシステムのブロック図である。インターネットなど広域網を使用することで、地域規模または全国規模での監視と情報収集が可能になる。
【0069】
本実施例の監視ネットワークシステムは複数の監視装置群を持つ画像音声制御管理装置、または複数の画像音声制御装置から構成される監視ネットワークシステムを複数繋げることでより、広範囲の監視エリアの監視を行う。また、コントロールサーバを導入することで、全ての監視状況について一元的な管理を行い、プログラムや照合データの更新、検出情報を収集することで、効率のよいプログラム最適化、侵入者が頻出する監視エリアの情報収集などが可能となる。
【0070】
【発明の効果】
本発明によれば、監視エリア内で検出した移動物体に刺激を与えその反応を検出することで、精度の高い侵入者の検出が可能になる。
【0071】
また、画像音声制御装置が持つ登録データと照合することで、侵入者外の登録人物を検出対象より外すこと、あるいは検出精度を最適に調節することで、信頼度の高い侵入者監視が可能になる。
【0072】
また、画像音声制御管理装置やコントロールサーバにより複数の監視装置群が繋がるネットワークシステムを構築することにより、最新のプログラム、照合データの情報を配布でき効率のよいシステムを構築できる。さらに、侵入者の位置を管理することで、複数の監視装置群によって広範囲の集約監視により効率のより侵入者監視が可能になる。
【図面の簡単な説明】
【図1】本発明の実施例1による侵入者監視装置の概略構成を示すブロック図。
【図2】監視エリアと各機器の配置を示す説明図。
【図3】画像音声制御管理装置の構成を示すブロック図。
【図4】画像音声制御管理装置の他の構成を示すブロック図。
【図5】画像音声制御管理装置の概略の動作を示すフロー図。
【図6】カメラデバイス情報テーブルの構成を示す説明図。
【図7】侵入者監視機能の処理手順を示すフロー図。
【図8】移動体検出から刺激処理を経て侵入者検出に至る過程を示す説明図。
【図9】プログラム調節処理の内容を示す説明図。
【図10】プログラム調節処理の手順を示すフロー図。
【図11】カメラ感度と時間の関係による設定値の一例を示す説明図。
【図12】プログラム最適化処理の手順を示すフロー図。
【図13】本発明の実施例2による侵入者監視装置の概略構成を示すブロック図。
【図14】実施例2による画像音声制御管理装置の概略の動作を示すフロー図。
【図15】複数の監視エリアへのカメラデバイス装置の配置の状況を示す説明図。
【図16】複数の監視エリアでの通常の監視を示す説明図。
【図17】1台のカメラデバイスが侵入者を検知した状態を示す説明図。
【図18】侵入者検出を受けた画像音声制御管理装置の監視装置制御処理を示す説明図。
【図19】画像音声制御管理装置に制御された各監視装置群のカメラ方向を示す説明図。
【図20】本発明の実施例3による監視ネットワークシステムの略構成を示すブロック図。
【図21】本発明の実施例4による監視ネットワークシステムの略構成を示すブロック図。
【符号の説明】
1100…監視装置群、1101…カメラデバイス装置、1102…マイク、1103…スピーカー、1104…ストロボ、1200…画像音声制御管理装置、1201…プログラム実行装置、1202…入出力制御装置、1203…記憶装置、1300…表示装置群、1301…表示装置、1302…スピーカー、1303…キーボード、1304…CDドライブ、1305…DVDドライブ、1501…監視エリア、1602…侵入者、3101−3106…監視装置群、3201−3206…監視エリア。
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a monitoring method and apparatus for monitoring an intruder.
[0002]
[Prior art]
There is known a monitoring device that monitors a moving object based on an image of a shooting area shot by an ITV camera or the like. In Patent Document 1, two background images are created using 2/3 frames and 1/3 frames based on 3 frame images input from a monitoring device, and a moving object is moved from a low similarity region to a change area. A method of detecting as has been proposed.
[0003]
Further, in Patent Document 2, by attaching a sound sensor to the surveillance camera, the collected sound is passed through a filter that passes a specific frequency component, thereby detecting the type of abnormality such as a fire or an impact that has occurred. A surveillance camera device having means has been proposed.
[0004]
[Patent Document 1]
JP 2000-23141 (paragraphs 0013-0015, FIG. 1)
[Patent Document 2]
Japanese Patent Laid-Open No. 2002-123878 (paragraphs 0011-0015, FIGS. 1 and 3)
[0005]
[Problems to be solved by the invention]
In the surveillance camera described in Patent Document 1, since a moving object is detected from a captured image, a bag or a bag detected as a moving object is also detected as an intruder.
[0006]
Further, in the surveillance camera described in Patent Document 2, the sound sensor is provided for the purpose of detecting a fire or an impact, and thus is not suitable for detecting an intruder by the type of sound.
[0007]
An object of the present invention is to provide a monitoring apparatus method and apparatus capable of detecting an intruder with high accuracy by stimulating a moving object in view of the above-described problems of the prior art.
[0008]
[Means for Solving the Problems]
The present invention for solving the above-mentioned object is an intruder monitoring method in which a video of a monitoring area is repeatedly acquired by a camera and a moving body is detected by image processing of the video. Alternatively, the present invention is characterized by intruder monitoring processing in which a stimulus by sound is given to the moving body, and the moving body determines that the moving body is an intruder when the image of the moving body changes before and after the stimulus. .
[0009]
In addition, when the image processing detects a moving object based on the amount of change in time-series video, the intruder monitoring process compares the detection data of the moving object with pre-registered non-target information. give.
[0010]
In addition, after the intruder monitoring process, a program optimization process for optimizing the moving object detection parameter according to the erroneous detection situation is performed.
[0011]
The intruder monitoring apparatus of the present invention displays a monitoring apparatus having a camera that acquires a video of a monitoring area, a detection processing apparatus that detects the moving body by performing image processing on the acquired video, and the detected moving body. In the apparatus including the display device, the monitoring device includes an acoustic device that emits sound or a light emitting device that emits light, and the detection processing device detects the moving body through the acoustic device or the light emitting device. The present invention is characterized in that an intruder monitoring function is provided, in which a moving body is stimulated and an intruder is determined based on a change in video before and after the stimulation.
[0012]
There are a plurality of monitoring areas, and the monitoring device is provided for each monitoring area. When an intruder is detected in one monitoring area, the cameras in the other monitoring areas are controlled toward the intruder.
[0013]
The monitoring network system of the present invention connects a plurality of intruder monitoring devices with a network, and the intruder monitoring device is based on the intruder monitoring method or the intruder monitoring device described above.
[0014]
The operation of the present invention will be described. The camera device apparatus includes an ITV camera that captures an image of a monitoring area, an image processing apparatus that detects a moving object, and a speaker that emits sound or a flash that emits light to stimulate the moving object. In addition, a microphone for collecting the sound produced by the moving object after stimulation is provided.
[0015]
The moving object is detected by processing an image of a predetermined period taken by the ITV camera or the like, and extracting the change area due to the difference between two frames to detect the moving object. The sound output from the speaker after detection of the moving object is long enough to be recognized by the intruder and has a volume and content that sufficiently stimulates the intruder. The flash emitted from the strobe after the moving object is detected is bright enough to stimulate an intruder.
[0016]
A misrecognition occurs when a moving object other than an intruder, for example, a security guard, a siren sound of an ambulance, an image or a sound acquired by sunset, lighting, or the like has a change area. In order to prevent this, a known image or sound that causes such a change is registered, the detected moving object is compared with the registration information, and if they match, it is excluded from the detection target.
[0017]
Also, when there are multiple cameras, the camera that has detected a moving object notifies the other camera of information such as the detection position of the moving object, so that the camera that has not yet detected the moving object predicts the direction in which the moving object will come And control the direction of self. This facilitates tracking of a moving object.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing the configuration of an intruder monitoring apparatus according to Embodiment 1 of the present invention. The intruder monitoring device includes a monitoring device group 1100, an image / sound control management device 1200, and a display device group 1300.
[0019]
The monitoring device group 1100 includes a camera device device 1101 that acquires an image of a specific monitoring area, a microphone 1102 that acquires sound, a sound device such as a speaker 1103 that emits sound, and a light emitting device such as a strobe 1104 that emits light. is doing. The image / audio control management device 1200 is a detection processing device that performs processing for detecting an intruder by controlling the input / output devices of the monitoring device group 1100 and analyzing image / audio. The display device group 1300 includes a display device 1301 for displaying information such as acquired images and sounds, a speaker 1302, a keyboard 1303 for inputting setting values and the like to the image and sound control management device, and the like.
[0020]
An outline of the operation of the intruder monitoring apparatus will be described. The camera device apparatus 1101 sends the acquired image information to the image / audio control apparatus 1200, and the microphone 1102 sends the collected audio information to the image / audio information apparatus 1200. The image / sound control management apparatus 1200 determines whether a suspicious person has entered the monitoring area based on the acquired images / sounds. In addition, the image / sound control management apparatus 1200 outputs the acquired image / sound control information to the display apparatus 1301, and when an intruder is detected, outputs the fact to the display apparatus group 1300. Furthermore, the image / sound control management apparatus 1200 controls the speaker 1103 and the strobe 1104 to call attention to a subject that seems to be a suspicious person, and gives external stimuli with sound and light.
[0021]
The audio / video control management apparatus 1200 adjusts the setting values of the monitoring apparatus group 1100 such as the sensitivity and zoom settings of the camera device apparatus 1101, the sensitivity of the microphone 1102, the volume of the speaker 1103, and the light intensity of the strobe 1104. I do. When these monitoring device groups 1100 have a function of changing the orientation, the audio / video control management device 1200 also controls the orientation.
[0022]
When detecting a suspicious person, the image / sound control management apparatus 1200 has a function of determining whether or not it is not a detection target by comparing it with image / sound information registered in advance as a detection target. In addition, when a suspicious person is frequently detected due to erroneous detection, a function is provided for automatically or manually adjusting a parameter value serving as a reference for determining as a suspicious person in order to reduce erroneous detection.
[0023]
FIG. 2 shows an installation example of the intruder monitoring device. A building having two rooms is shown, a monitoring device group 1100 is installed in the left room 1401, and an audio / video control management device 1200 and a display device group 1300 are installed in the right room 1402. Here, 1501 represents a monitoring area of the monitoring device group 1100, and 1601 represents a monitor. The image / sound control management device 1200 controls the monitoring device group 1100 at a remote location, and outputs the image information and the detection result of whether a suspicious person has entered the display device group 1300.
[0024]
FIG. 3 is a block diagram showing the configuration of the audio / video control management apparatus. The image / sound control management device 1200 includes an input / output control device 1202, a program execution device 1201, and a storage device 1203.
[0025]
The input / output control device 1202 performs input / output control of the camera device device 1101, the microphone 1102, the speaker 1103, and the strobe 1104, and changes setting values of sensitivity and audio output level. The program execution processing device 1201 controls the operation of the monitoring device group 1100 to acquire an image from the camera device device 1101, acquire sound from the microphone 1102, output sound from the speaker 1103, and output light from the strobe 1104. In addition, a change in setting values such as the sensitivity of the monitoring device group 1100 and the output level is requested.
[0026]
The image / audio information obtained by the input / output control device 1202 is stored in the storage device 1203. The program execution processing device 1201 detects a suspicious person by analyzing the acquired image / sound information. Further, in order to determine whether or not the program execution processing device is an intruder, the storage device 1203 stores in advance image / sound information that is not detected.
[0027]
FIG. 4 is a block diagram showing another configuration of the audio / video control management apparatus. The image / sound control apparatus 1200 may have an input device device such as a CD drive 1304 or a DVD drive 1305 as an input medium for changing each program incorporated therein.
[0028]
In addition, the audio / video control management apparatus 1200 may be configured as an intelligent camera by being integrated with one or a plurality of monitoring apparatus groups 1100 such as a camera device apparatus 1301, a microphone 1302, a speaker 1303, and a strobe 1304. is there.
[0029]
FIG. 5 is a flowchart showing the operation of the image / sound control management apparatus. When the image / sound control management apparatus 1200 is activated, the program execution processing apparatus 1201 operates the input / output control apparatus 1202 by the camera device information acquisition process 2100 to acquire information such as sensitivity and zoom of the camera device apparatus 1101. Thereafter, the image / sound information acquisition process 2200, the intruder monitoring process 2300, and the program adjustment process 2400 are repeated until the image / sound control management apparatus 1200 stops.
[0030]
The intruder monitoring process 2300 is a process for determining whether a suspicious person has intruded from the acquired image / sound information. The program adjustment process 2400 is a process of changing the setting value to an appropriate camera sensitivity to detect a suspicious person at the current time, or adjusting a judgment reference value for suspicious person intrusion when erroneous detection of a suspicious person occurs frequently. Also called program timely selection processing.
[0031]
The camera device information acquisition process 2100 will be described. The image / sound control management apparatus 1200 performs camera device information acquisition processing 2100 at the time of activation, and reads the state of product individual numbers of the connected camera device apparatus 1101, microphone 1102, speaker 1103, and strobe 1104. The storage device 1203 of the image / sound control management apparatus 1200 has a camera device information table, and acquires such information. When the image / sound control apparatus 1200 is activated, it has the value of the camera device information table at the previous stop, and at the time of activation, it compares with the current and updates the camera device information table.
[0032]
FIG. 6 shows the configuration of the camera device information table. Item numbers 1 to 4 of the camera device information represent product-specific numbers that specify the products of the camera device device 1101, the microphone 1102, the speaker 1103, and the strobe 1104 connected to the image / sound control management device 1200. Item number 5 indicates version information of the intruder detection program of the intruder monitoring process 2300 and the program of the program adjustment process 2400. Item number 6 indicates the management number of the collation data information used in the intruder monitoring process 2300. Item numbers 7 and 8 have an update date for managing that the program and verification data have been updated. Item number 9 is a flag indicating whether or not the camera device apparatus 1101 is activated. When the camera device device is activated, the camera activation flag is turned on, and when it is stopped, it is turned off. If the camera device device 1101 is activated for the first time, the product number of each input / output device is set.
[0033]
The image / audio information acquisition process 2200 will be described. In the image / audio information acquisition processing 2200, the program execution processing device 1201 acquires images from the camera device device 1101 and audio from the microphone 1102 via the input / output control device 1202, and stores them in the storage device 1203. The program execution processing device 1201 can output the image / audio information in real time by passing the image information / audio information of the storage device 1203 to the display device group 1300.
[0034]
The intruder monitoring process 2300 will be described. The intruder monitoring process 2300 is a process for detecting an intruder based on the image / sound information acquired from the image / sound information acquisition process 2200.
[0035]
FIG. 7 is a flowchart showing the operation of the intruder monitoring process. First, a moving object detection process (1) 2301 detects whether there is a moving object in the monitoring area based on the input image / audio information change amount. Image information acquired by the camera device apparatus 1101 and audio information acquired by the microphone 1102 are always transmitted to the image / audio control management apparatus 1200. In the image / sound control management device 1200, the moving object detection process (1) 2301 is performed by the program execution device 1201 based on the image / sound information acquired via the input / output control device 1202. The moving object detection process (1) 2301 determines whether there is a moving object based on the amount of change in image / audio information with respect to time series. The detection method of a moving object is performed using detection methods, such as Unexamined-Japanese-Patent No. 2002-262296, Unexamined-Japanese-Patent No. 2003-58891, etc., for example.
[0036]
FIG. 8 is an explanatory diagram showing a process from the moving object detection process (1) to the intruder detection process. FIG. 8A shows a situation in which the moving object 1602 is detected on the display device 1200 by the moving object detection process (1).
[0037]
In the moving object detection process (1) 2301, a process for omitting the case where the moving object 1602 is clearly not a person is performed. When the moving object 1602 moves up and down ignoring gravity, the processing algorithm determines that the moving object 1602 is highly likely to be a trap or a trap and is not an intruder. If it is confirmed that the image vibrates periodically in the same direction as a whole, it is determined that the outdoor tree is swaying by the wind and it is not an intruder. Also, it is determined that the person is not an intruder when the entire image suddenly becomes brighter or darker due to lighting, sunrise or sunset.
[0038]
As a result of the determination by this algorithm, when it is determined that the moving object is highly likely to be an intruder, the program execution process 1201 performs a collation process (1) 2302 of the detection data and the registered data.
[0039]
The collation process (1) 2302 between the detection data and the registered data will be described. The collation process (1) 2302 collates the moving object 1602 that is highly likely to be an intruder with the image / sound information registered in advance in the storage device 1203 as a non-monitoring target, and determines whether the object is a detection target. To do.
[0040]
For example, a face image of a person scheduled to come in advance is registered. For example, if the personal authentication device described in Japanese Patent Application Laid-Open No. 2003-36442 is used, it can be determined whether or not the detected moving object is a registered person. In addition, by using information on work clothes and information such as a yellow helmet as registered data, a person wearing a specific outfit can be excluded from monitoring. Further, when there is characteristic voice data such as an emergency vehicle or a truck, it can be determined that the information is out of the monitoring target by collating the voice information.
[0041]
As a result of the collation processing between the detection data and the registration data, if the registration data is satisfied, the intruder monitoring processing 2300 is ended as non-detection target data. On the other hand, when the image / sound data does not correspond to the registration data, the stimulus processing 2305 for the detection target is performed next.
[0042]
The stimulation processing 2305 for the detection target will be described. FIG. 8B shows a stimulation process 2305 for the detection target. In the stimulation processing 2305 for the detection target, stimulation is given to the monitoring area using the speaker 1103 and the strobe 1104 from the program execution processing device 1201 via the input / output control device 1202. For example, the moving body 1602 is stimulated by a voice of “who is!”, Or light is emitted by a strobe together with a stimulating sound such as “don!”, Thereby stimulating the moving body 1602.
[0043]
If the moving object 1602 is an intruder in response to these stimuli, it is expected to react such as shaking the body, escaping, or stopping. Therefore, it is possible to clearly determine whether or not the moving object is an intruder by observing the movement of the moving object after applying the stimulus.
[0044]
In addition, as for the content of the stimulus, for example, when the possibility of being registered data is ambiguous in the collation processing of the detection data and the registered data, a mechanism for asking the name may be used. For example, when the moving object can be identified as a human image, the light is turned on, and a voice “Please give me your name” is emitted, and the moving object is explicitly urged to react. Then, it is possible to determine whether or not the moving object is an intruder by observing the subsequent operation.
[0045]
The program execution processing device 1201 performs the moving object detection process (2) 2306 after performing the stimulation process 2305 for the moving object. The specific processing operation of the moving object detection process (2) 2306 is the same as that of the moving object detection process (1) 2301, except that a moving object after applying a stimulus is observed.
[0046]
When a moving object is detected by the moving object detection process (2) 2306, a collation process (2) 2308 of detection data and registration data is performed to determine whether the detection data is included in the registration data. This process is the same as the detection data and registration data collation process (1) 2303, but the recognition rate by the collation is improved by judging from the detected contents after giving the stimulus. If the detection data is included in the registration data, the process ends. If not included, an intruder determination process 2310 is performed. The intruder determination process 2310 is also performed when a moving object is not detected in the moving object detection process (2) 2306.
[0047]
In the intruder determination processing 2310, the detection information of the moving object detected by both the moving object detection processing (1) 2301 and the moving object detection processing (2) 2306 is compared, and the stimulation processing 2305 stimulates the detection target. A comparison of changes in the monitoring area state before and after issuing is performed to determine whether the moving object is an intruder. If a change is observed in the monitoring target due to the stimulus processing on the detection target, it is determined that the person is an intruder.
[0048]
When an intruder is detected, an intruder detection notification process 2312 notifies the display device group 1300 that the intruder has been detected, and notifies the display device by an image / sound output for intruder detection. As shown in FIG. 8C, the monitor 1601 can know the presence of the intruder 1602.
[0049]
Next, the program adjustment process 2110 will be described. FIG. 9 shows the function of the program adjustment process. The program adjustment processing 2110 can be divided into three types: timely program selection processing, program update processing, and program optimization station. The timely program selection process is a function for maintaining the current monitoring state in an optimum state, and automatically adjusts the sensitivity adjustment of the camera automatically. The program update processing is a function for updating a program executed by the program execution processing device 1201 from a CD or a DVD to the latest one. The program optimization process is a function that adjusts parameters to reduce false detections when there are many false detections. These processes are performed automatically or manually.
[0050]
FIG. 10 shows a flow of the program adjustment processing 2400. First, timely program adjustment processing 2401 is performed to adjust the sensitivity of the camera device apparatus 1101 according to the environment. Next, when the latest program is acquired from the CD or DVD by the image / sound control management apparatus 1200, a program update process 2403 is performed. Further, when there is a notification from the supervisor about the intruder detection notification of the image / sound control management apparatus 1200, a program optimization process 2406 is performed.
[0051]
The timely program selection process 2401 will be described. In one day, the brightness varies depending on sunset or room light. Therefore, when the monitoring area is bright, the sensitivity of the camera device apparatus 1101 is lowered, and when the monitoring area is dark, the sensitivity of the camera device apparatus 1101 is increased. Therefore, the sensitivity is automatically adjusted so that the projected image becomes appropriate. As an example of automatic adjustment, a correspondence table of time and sensitivity is registered in advance in the storage device 1203 of the audio / video control management device 1200, and sensitivity parameters are set with reference to the correspondence table. FIG. 11 shows an example of a correspondence table between time and sensitivity.
[0052]
The program update process 2403 will be described. A CD or DVD containing a new program or data is inserted into an input device device such as a CD drive or DVD drive of the image / sound control management apparatus 1200, and the program or data is registered in the storage device 1203. As a result, the detection program for the intruder monitoring process 2300, the registration data 2303 for collating with the detection data, the program for the timely program selection process 2401, and the program optimization process 2406 program can be added, deleted, and updated.
[0053]
The program optimization process 2406 will be described. When the result detected in the intruder monitoring process 2300 is a false report, the monitor can input the fact that the report is false from the keyboard 1303 to the image / sound control management apparatus 1200. If the program execution processing device 1201 determines that there are many false alarms regarding intruder detection, it automatically adjusts parameters for detecting the moving object. In addition, regarding misinformation when it is registered in the collation pattern between the detected data and the registered data, adjustment is automatically performed so as to loosen the criteria for collation. An example of the program optimization process 2406 is shown below.
[0054]
FIG. 12 shows the flow of the program optimization process 2406. First, when the monitor determines that the intruder detection is a false report, an input 2407 for a false report due to a detection error in the absence of a moving object or a false report due to a matching process error using registered collation data is input. Do.
[0055]
In the program optimization processing 2406, if the cause of the false alarm is an error in detecting the moving object, the error is detected when the error report exceeds a certain ratio (set value) in the past N mobile object detections (2409). It is determined that the criterion for determining the body is too low, and correction is performed to increase the reference value (2410). Further, when the cause is an error in the collation processing, a process (2412) is performed that increases the possibility of collation by lowering the collation standard based on the collation data, assuming that the collation result condition based on the collation data is too high. .
[0056]
As described above, according to the first embodiment, when a moving object is detected by image processing, a sound or light stimulus is applied to the moving object, and the reaction is detected to determine whether the moving object is an intruder. Therefore, the detection accuracy of unauthorized intruders can be improved. In addition, since there is a program optimization process that automatically adjusts the criteria for moving object detection or the reference value for collation processing when there are many false detections, there is an effect that can be adapted to the situation of the detection area.
[0057]
FIG. 13 is a block diagram showing the configuration of the intruder monitoring apparatus according to the second embodiment of the present invention. The intruder monitoring apparatus according to the present exemplary embodiment includes a plurality of monitoring apparatus groups 1100, an image / audio control management apparatus 1200, and a display apparatus group 1300. Except for having a plurality of monitoring device groups 1100, it is the same as the first embodiment of FIG.
[0058]
When the video / audio control management device 1200 of the intruder monitoring device having a plurality of monitoring device groups 1100 receives a notification of intruder discovery from one of the monitoring device groups 1100, the intruder information is displayed on the display device group 1300. Along with this function, notification of intruder discovery is performed to the supervisory and other visual device group 1100 that has not detected the intruder. The other monitoring device group 1101 that has received the notification of the discovery of the intruder enables tracking of the intruder by changing the direction of its own camera device device 1101 or the like.
[0059]
FIG. 14 is a flow of the operation of the audio / video control management apparatus when there are a plurality of monitoring apparatus groups 1100. When the image / sound control management apparatus 1200 is activated, the camera device information acquisition process 2100 is performed. Thereafter, the image / sound information acquisition process 2200, the intruder monitoring process 2300, and the monitoring apparatus control process are performed until the image / sound control management apparatus 1200 is stopped. 2500 and program adjustment processing 2400 are repeated. The operations other than the addition of the monitoring device control processing 2500 due to the number of monitoring device groups 1100 being the same are the same as in the case where the number of monitoring device groups 1100 is one.
[0060]
The monitoring device control process will be described. When an intruder is detected by a monitoring device group 1100 by the intruder monitoring procedure 2300, the program execution processing device measures the location of the intruder from the direction of the detected monitoring device group 1100 and the direction in which the camera device device 1101 faces. Then, the other monitoring device group 1100 is urged to change the direction in which the intruder will come. Accordingly, the monitoring device group 1100 that has not detected the intruder can easily catch the intruder.
[0061]
Next, the operation of the intruder monitoring apparatus having a plurality of monitoring apparatus groups will be described with reference to FIGS. FIG. 15 shows the arrangement of monitoring areas and monitoring devices. There are a room A 4101, a room B 4102, a room C 4103, and a room D 4104, and 4201 to 4204 indicate doors of the respective rooms. Monitoring device group A 3101, monitoring device group C 3103, and monitoring device group F 3106 are arranged in rooms B, C, and D. The monitoring device group B 3102, the monitoring device group D 3104, and the monitoring device group E 3105 are arranged in the illustrated corridors. Reference numerals 3201 to 3206 denote monitoring areas of the respective monitoring device groups. In room D, an audio / video control management device 1200 and a display device 1300 are arranged, and a monitor 1601 is present.
[0062]
16 shows a normal monitoring state in the same arrangement as FIG. The monitoring device group 3101-3106 monitors only the monitoring device group arranged in the corridor for energy saving. That is, the monitoring device group B 3102, the monitoring device group D 3104, and the monitoring device group E 3105 monitor intruders, and the monitoring device group A 3101, the monitoring device group C 3103, and the monitoring device group F 3106 are in a standby state.
[0063]
FIG. 17 shows a state where the intruder 1602 has entered the monitoring area 3205 of the monitoring device group E3105. The monitoring device group E3105 that has detected the moving body in the monitoring area performs the intruder confirmation function 2300 in FIG. 7 to stimulate the moving body 1602 and monitor the operation to determine whether it is an intruder. When it is determined that the moving body 1602 is an intruder, the monitoring device group E3105 notifies the image / sound control management device 1200 that the intruder has been detected.
[0064]
FIG. 18 shows the operation of the audio / video control management apparatus that has received the notification of intruder detection. Upon receiving the notification of intruder detection, the image / sound control management apparatus 1200 displays the intruder discovery, the detected camera information, and the image reflected on the camera on the display device 1300. A monitor 1601 monitoring the display device 1300 goes to the site based on the information displayed on the display device 1300 and contacts the security guard. In addition, the image / sound control management apparatus 1200 performs a monitoring apparatus control process, and controls all or a specific monitoring apparatus group.
[0065]
FIG. 19 shows the operation of the monitoring device group when the monitoring device control process is performed by the audio / video control device. The image / sound control management device 1200 controls each monitoring device group from information such as the location information of the intruder, the location information of the monitoring device group, and the room drawing, and changes the orientation of the monitoring device group, starting from the standby state. Make a change to The monitoring device group A101, the monitoring device group C3103, and the monitoring device group F3106 shift from the standby state to the monitoring state, and the doors 4201, 4202, from which intruders will enter based on the position of the monitoring device group and the drawing information of the room. The direction of the camera is changed in the direction of 4203, respectively. The monitoring device group D3105 that has detected the intruder continues to monitor the intruder. Further, the camera device apparatus A3102 located in a position not directly related to the position of the intruder in other monitoring apparatus groups does not perform any particular operation. In addition, the monitoring device group C3104 at a position close to the intruder position changes the direction so that the camera faces the front of the intruder.
[0066]
According to the second embodiment, since a plurality of monitoring device groups are arranged, the image and sound control management device estimates the position of the intruder from the position of the monitoring device group that first discovered the intruder and the direction of the intruder. Then, the camera direction of each monitoring device group is controlled toward the intruder, and each camera can jointly track the intruder.
[0067]
FIG. 20 is a block diagram of a monitoring network system that is a third embodiment of the present invention and includes a plurality of intruder monitoring devices. Since the monitoring network system of this embodiment has a plurality of intruder monitoring devices, it is possible to monitor a wide range of monitoring areas such as in department stores and underground malls. Data is exchanged between the image and sound control devices. This makes it possible to use the latest program and collation data in all the image and sound control devices by distributing the program and collation data updated by one image and sound control device to other image and sound control devices. Become. Also, the program optimization process can be performed more efficiently by using information from a large number of monitoring device groups. When an intruder is detected, information can be exchanged between the image and sound control devices, and the monitoring device control function can be jointly performed, so that the intruder can be detected efficiently.
[0068]
FIG. 21 is a block diagram of a monitoring network system according to the fourth embodiment of the present invention. By using a wide area network such as the Internet, it becomes possible to monitor and collect information on a regional or national scale.
[0069]
The monitoring network system of the present embodiment monitors a wide range of monitoring areas by connecting a plurality of image / sound control management devices having a plurality of monitoring device groups or a plurality of monitoring network systems composed of a plurality of image / sound control devices. . In addition, by introducing a control server, all monitoring situations are centrally managed, and updates of programs and verification data and collection of detection information enable efficient program optimization and frequent intruder monitoring. It is possible to collect area information.
[0070]
【The invention's effect】
According to the present invention, it is possible to detect an intruder with high accuracy by applying a stimulus to a moving object detected in a monitoring area and detecting a reaction thereof.
[0071]
In addition, it is possible to monitor intruders with high reliability by collating with registered data held by the image and sound control device to remove registered persons outside the intruder from the detection target or by optimally adjusting the detection accuracy. Become.
[0072]
Also, by constructing a network system in which a plurality of monitoring device groups are connected by an image / sound control management device or a control server, the latest program and collation data information can be distributed, and an efficient system can be constructed. Furthermore, by managing the location of the intruder, it becomes possible to monitor the intruder more efficiently by a wide range of centralized monitoring using a plurality of monitoring device groups.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of an intruder monitoring apparatus according to Embodiment 1 of the present invention.
FIG. 2 is an explanatory diagram showing a monitoring area and arrangement of devices.
FIG. 3 is a block diagram showing a configuration of an image / sound control management apparatus.
FIG. 4 is a block diagram showing another configuration of the audio / video control management apparatus.
FIG. 5 is a flowchart showing a schematic operation of the audio / video control management apparatus.
FIG. 6 is an explanatory diagram showing a configuration of a camera device information table.
FIG. 7 is a flowchart showing a processing procedure of an intruder monitoring function.
FIG. 8 is an explanatory diagram showing a process from detection of a moving object to detection of an intruder through a stimulation process.
FIG. 9 is an explanatory diagram showing the contents of a program adjustment process.
FIG. 10 is a flowchart showing a procedure of program adjustment processing.
FIG. 11 is an explanatory diagram showing an example of setting values based on the relationship between camera sensitivity and time.
FIG. 12 is a flowchart showing a procedure of program optimization processing.
FIG. 13 is a block diagram showing a schematic configuration of an intruder monitoring apparatus according to Embodiment 2 of the present invention.
FIG. 14 is a flowchart showing a schematic operation of the audio / video control management apparatus according to the second embodiment.
FIG. 15 is an explanatory diagram showing a situation of arrangement of camera device devices in a plurality of monitoring areas.
FIG. 16 is an explanatory diagram showing normal monitoring in a plurality of monitoring areas.
FIG. 17 is an explanatory diagram showing a state in which one camera device detects an intruder.
FIG. 18 is an explanatory diagram showing monitoring device control processing of the image and sound control management device that has received intruder detection.
FIG. 19 is an explanatory diagram showing the camera direction of each monitoring device group controlled by the audio / video control management device.
FIG. 20 is a block diagram showing a schematic configuration of a monitoring network system according to a third embodiment of the present invention.
FIG. 21 is a block diagram showing a schematic configuration of a monitoring network system according to a fourth embodiment of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1100 ... Monitoring device group 1101 ... Camera device apparatus 1102 ... Microphone 1103 ... Speaker 1104 ... Strobe, 1200 ... Image sound control management apparatus, 1201 ... Program execution apparatus, 1202 ... Input / output control apparatus, 1203 ... Storage apparatus, DESCRIPTION OF SYMBOLS 1300 ... Display device group, 1301 ... Display device, 1302 ... Speaker, 1303 ... Keyboard, 1304 ... CD drive, 1305 ... DVD drive, 1501 ... Monitoring area, 1602 ... Intruder, 3101-3106 ... Monitoring device group, 3201-3206 ... monitoring area.

Claims (8)

  1. カメラにより繰り返し監視エリアの映像を取得し、該映像の画像処理によって移動体を検出する侵入者監視方法において、
    前記移動体を検出したときに、光または音による刺激を該移動体に対して与え、移動体の映像が前記刺激の前後で変化している場合に前記移動体が侵入者であると判定する侵入者監視処理によることを特徴とする侵入者監視方法。
    In an intruder monitoring method of repeatedly acquiring a video of a monitoring area with a camera and detecting a moving object by image processing of the video,
    When the moving object is detected, a stimulus by light or sound is given to the moving object, and the moving object is determined to be an intruder when the image of the moving object changes before and after the stimulus. An intruder monitoring method characterized by being based on intruder monitoring processing.
  2. 請求項1において、
    前記画像処理が時系列の映像の変化量によって移動体を検出すると、前記侵入者監視処理は移動体の検出データと予め登録されている対象外情報と照合し、不一致の場合に前記刺激を与えることを特徴とする侵入者監視方法。
    In claim 1,
    When the image processing detects a moving object based on the amount of change in time-series video, the intruder monitoring process compares the detection data of the moving object with pre-registered non-target information, and gives the stimulus when there is a mismatch. An intruder monitoring method characterized by that.
  3. 請求項2において、
    前記移動体の検出時に前記監視エリアから音の情報を取得し、予め登録されている対象外音情報と照合する侵入者監視方法。
    In claim 2,
    An intruder monitoring method in which sound information is acquired from the monitoring area at the time of detection of the moving object, and collated with previously registered non-target sound information.
  4. 請求項1または2において、
    前記侵入者監視処理の後、誤検知の状況に応じて移動体検出パラメータを最適化するプログラム最適化処理を行うことを特徴とする侵入者監視方法。
    In claim 1 or 2,
    After the said intruder monitoring process, the intruder monitoring method characterized by performing the program optimization process which optimizes a mobile body detection parameter according to the condition of a false detection.
  5. 監視エリアの映像を取得するカメラを持つ監視装置と、取得された映像を画像処理して移動体を検出する検出処理装置と、検出された移動体を表示する表示装置を備える侵入者監視装置において、
    前記監視装置は音を発する音響装置または光を発する発光装置を含み、
    前記検出処理装置は前記移動体を検出した場合に、前記音響装置または前記発光装置を介して前記移動体に刺激を与えると共に、前記刺激の前後における映像の変化から侵入者を判定する侵入者監視機能を設けたことを特徴とする侵入者監視装置。
    In an intruder monitoring apparatus comprising a monitoring device having a camera for acquiring a video of a monitoring area, a detection processing device for performing image processing on the acquired video to detect a moving body, and a display device for displaying the detected moving body ,
    The monitoring device includes an acoustic device that emits sound or a light emitting device that emits light,
    When the detection processing device detects the moving body, the detection processing device gives a stimulus to the moving body via the acoustic device or the light emitting device, and determines an intruder from a change in an image before and after the stimulation. An intruder monitoring device characterized by providing a function.
  6. 請求項5において、
    前記監視エリアが複数有り、その監視エリア毎に前記監視装置を設け、1つの監視エリアに侵入者が検出された場合に、他の監視エリアのカメラを侵入者に向けて制御することを特徴とする侵入者監視装置。
    In claim 5,
    There are a plurality of the monitoring areas, the monitoring device is provided for each of the monitoring areas, and when an intruder is detected in one monitoring area, the cameras in the other monitoring areas are controlled toward the intruder. Intruder monitoring device.
  7. 複数の侵入者監視装置をネットワークで結ぶ監視ネットワークシステムにおいて、
    前記侵入者監視装置は請求項5または6に記載の侵入者監視装置であることを特徴とする監視ネットワークシステム。
    In a monitoring network system that connects multiple intruder monitoring devices via a network,
    The monitoring network system according to claim 5 or 6, wherein the intruder monitoring device is the intruder monitoring device according to claim 5 or 6.
  8. 複数の侵入者監視装置をネットワークで結ぶ監視ネットワークシステムにおいて、
    前記侵入者監視装置は請求項5または6に記載の侵入者監視装置を設けると共に、前記ネットワークにコントロールサーバを接続したインターネットなどの広域網を用い、前記侵入者監視装置を一元的に管理することを特徴とする監視ネットワークシステム。
    In a monitoring network system that connects multiple intruder monitoring devices via a network,
    The intruder monitoring apparatus is provided with the intruder monitoring apparatus according to claim 5 or 6, and centrally manages the intruder monitoring apparatus using a wide area network such as the Internet in which a control server is connected to the network. A monitoring network system characterized by
JP2003199005A 2003-07-18 2003-07-18 Intruder monitoring method and apparatus Expired - Fee Related JP4220322B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003199005A JP4220322B2 (en) 2003-07-18 2003-07-18 Intruder monitoring method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003199005A JP4220322B2 (en) 2003-07-18 2003-07-18 Intruder monitoring method and apparatus

Publications (2)

Publication Number Publication Date
JP2005038115A true JP2005038115A (en) 2005-02-10
JP4220322B2 JP4220322B2 (en) 2009-02-04

Family

ID=34208588

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003199005A Expired - Fee Related JP4220322B2 (en) 2003-07-18 2003-07-18 Intruder monitoring method and apparatus

Country Status (1)

Country Link
JP (1) JP4220322B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9960858B2 (en) 2014-01-31 2018-05-01 Ricoh Company, Ltd. Positional information transmission system, positional information transmitter, and positional information transmitting method
WO2018087987A1 (en) * 2016-11-10 2018-05-17 シャープ株式会社 Imaging device, imaging method, and program
JP2019022209A (en) * 2017-07-19 2019-02-07 和碩聯合科技股▲ふん▼有限公司Pegatron Corporation Video monitoring system and video monitoring method

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61116489A (en) * 1984-11-10 1986-06-03 Matsushita Electric Works Ltd Picture monitoring method
JPH01128197A (en) * 1987-11-13 1989-05-19 Komatsu Ltd Stimulus reactive thief sensor
JPH08235454A (en) * 1995-02-22 1996-09-13 Toshiba Tesco Kk Fishes and shellfishes burglarproof device
JP2000295598A (en) * 1999-04-05 2000-10-20 Senon Ltd Remote monitor system
JP2002101408A (en) * 2000-09-22 2002-04-05 Asahi Precision Co Ltd Supervisory camera system
JP2002171514A (en) * 2000-11-30 2002-06-14 Toshiba Corp Remote monitor system
JP2003018587A (en) * 2001-06-29 2003-01-17 Sharp Corp Intercom system
JP2003036442A (en) * 2001-07-25 2003-02-07 Optex Co Ltd Device for authenticating individual

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61116489A (en) * 1984-11-10 1986-06-03 Matsushita Electric Works Ltd Picture monitoring method
JPH01128197A (en) * 1987-11-13 1989-05-19 Komatsu Ltd Stimulus reactive thief sensor
JPH08235454A (en) * 1995-02-22 1996-09-13 Toshiba Tesco Kk Fishes and shellfishes burglarproof device
JP2000295598A (en) * 1999-04-05 2000-10-20 Senon Ltd Remote monitor system
JP2002101408A (en) * 2000-09-22 2002-04-05 Asahi Precision Co Ltd Supervisory camera system
JP2002171514A (en) * 2000-11-30 2002-06-14 Toshiba Corp Remote monitor system
JP2003018587A (en) * 2001-06-29 2003-01-17 Sharp Corp Intercom system
JP2003036442A (en) * 2001-07-25 2003-02-07 Optex Co Ltd Device for authenticating individual

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9960858B2 (en) 2014-01-31 2018-05-01 Ricoh Company, Ltd. Positional information transmission system, positional information transmitter, and positional information transmitting method
WO2018087987A1 (en) * 2016-11-10 2018-05-17 シャープ株式会社 Imaging device, imaging method, and program
JP2019022209A (en) * 2017-07-19 2019-02-07 和碩聯合科技股▲ふん▼有限公司Pegatron Corporation Video monitoring system and video monitoring method

Also Published As

Publication number Publication date
JP4220322B2 (en) 2009-02-04

Similar Documents

Publication Publication Date Title
EP3118826B1 (en) Home, office security, surveillance system using micro mobile drones and ip cameras
US10936655B2 (en) Security video searching systems and associated methods
EP3539095B1 (en) Doorbell call center
KR20070029760A (en) Monitoring devices
US8305441B2 (en) Data processing apparatus
US20170132888A1 (en) Intruder detection devices, methods and systems
US20160019427A1 (en) Video surveillence system for detecting firearms
EP3051510B1 (en) Improved alarm routing in integrated security system based on security guard s real-time location information in the premises for faster alarm response
US20070252693A1 (en) System and method for surveilling a scene
US10943451B1 (en) Outdoor furniture monitoring
CA3091552A1 (en) Gunshot detection system with building management system integration
JP4220322B2 (en) Intruder monitoring method and apparatus
JP2011145839A (en) Monitoring system, device, method and program
US20210027602A1 (en) Enhanced audiovisual analytics
US20200152032A1 (en) Systems and methods for monitoring advertisements
JP5586383B2 (en) Image monitoring device
JP2001344679A (en) Remote monitoring/burglar prevention system
US10834363B1 (en) Multi-channel sensing system with embedded processing
AU2021103548A4 (en) Smart home surveillance system using iot application with warning of intruder activities
US10650651B1 (en) Automated geospatial security event grouping
WO2021064591A1 (en) Improved method and system for camera security
KR20170010426A (en) Method for alarming a danger using the camera
CN109637063A (en) Acoustic control images security system
CN112532920A (en) Construction site system intelligent monitoring implementation method and system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051209

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20051209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071218

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080507

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081111

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081113

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121121

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121121

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131121

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees