JP2008500603A - 監視システム及び監視方法 - Google Patents

監視システム及び監視方法 Download PDF

Info

Publication number
JP2008500603A
JP2008500603A JP2006522156A JP2006522156A JP2008500603A JP 2008500603 A JP2008500603 A JP 2008500603A JP 2006522156 A JP2006522156 A JP 2006522156A JP 2006522156 A JP2006522156 A JP 2006522156A JP 2008500603 A JP2008500603 A JP 2008500603A
Authority
JP
Japan
Prior art keywords
signal
acoustic
monitor
visual
visual signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006522156A
Other languages
English (en)
Inventor
サマラディス、パリス
ラマクリシュナン、ビクシャ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Research Laboratories Inc
Original Assignee
Mitsubishi Electric Research Laboratories Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Research Laboratories Inc filed Critical Mitsubishi Electric Research Laboratories Inc
Publication of JP2008500603A publication Critical patent/JP2008500603A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19695—Arrangements wherein non-video detectors start video recording or forwarding but do not generate an alarm themselves
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Burglar Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Abstract

システム及び方法は、音響活動又はその検出された特徴部を視覚化すること、及び、音響活動を、カメラによって取得されたビデオと共に視覚信号として表示することを含む。簡単な信号処理の使用か、より複雑な音声解析又は音認識の使用のいずれかにより、音響信号から有益な情報を抽出することができる。抽出された情報は、カメラによって取得されたビデオ信号上に重ね合わされる視覚信号に変換することができる。

Description

本発明は、包括的に、ビデオ信号及び音響信号の処理に関し、より詳細には、監視システムにおいて、音響信号によってビデオ信号を増強することに関する。
典型的な監視システムでは、ユーザ（通常は警備員）は、カメラに接続されたモニタを介して種々の場所をモニタリングする。場所の目視によるモニタリングは、その場所における活動、たとえば、人々及び車両の移動並びに環境の状況に関する情報を提供する。
適切な監視を実施し、意味のある活動に応答するために、ユーザは、通常、場所における一定の動きを見る必要がある。しかしながら、その監視モニタリング方法は、種々の状況において不適切である可能性がある。
経済的制約のため、こうしたシステムは、カメラが、固定された場所に焦点が合っているか、又は、所定の弧に沿って回転するかのいずれかであるため、各場所の観察範囲が制限される。それによって、意図して、又は、意図せずに、特定の場所において起こっていることについての誤解を生じ得る「盲」点をもたらす可能性がある。さらに、視覚情報のみでは、異常な出来事に応答して介入を起こすのに十分な情報を伝達しない場合がある。
従来の監視システムの欠点をさらに示すために、２、３の例を考える。カメラは、配電室の外側の廊下に配置されている。部屋の中の変圧器において、小さな爆発が起こる。煙と炎が部屋から廊下に広がるまで、視覚的手がかりは利用できない。その時点では、警報は遅過ぎる場合がある。同様に、雪の降る状況下で、夜間に駐車場をモニタリングするカメラは、侵入(break-in)又は急襲(assault)を感知することができない可能性がある。
また、カメラが故意に手を加えられて、カメラの意図する目的にとって役に立たなくされる可能性もある。
上記の例の全てにおいて、カメラの近くのマイクロフォンによって取得される音声信号等の付加的な情報によって、ユーザに警告することができ得る。この解決策は、一台
のカメラを用いる監視システムにとって十分であり得る。しかしながら、多くの、たとえば、数十台又は数百台のカメラを用いて、カメラの台数より少ない人数のユーザによってモニタリングするシステムの場合、監視を強化するどころではなく、複数の重なり合う音声信号は、判読できない不協和音以外の何者をももたらさないであろう。
したがって、ビデオ信号を補強する音響信号でビデオ信号を増強することについての必要性が存在する。
本発明によるシステム及び方法は、音響活動又はその検出された特徴部を視覚化すること、及び、音響活動を、カメラによって取得されたビデオと共に視覚信号として表示することを含む。
簡単な信号処理の使用か、より複雑な音声解析又は音認識の使用のいずれかにより、音響信号から有益な情報を抽出することができる。抽出された情報は、カメラによって取得されたビデオ信号上に重ね合わされる視覚信号に変換することができる。
システム及び方法は、ビデオ信号と共に音響信号を視覚的に表す。音響信号は、解析されるとともに視覚信号に変換され、その視覚信号は、ビデオ信号に重ね合わされるか、又は、ビデオ信号と共にその他の方法で表示されることができる。最新のカメラのほとんどはマイクロフォンを装備しているため、本発明は監視システムの大幅な変更を必要としない。
システム構成
図１は、本発明による監視システム１００を示す。システムは、ビデオ信号１１１を取得するカメラのセット１１０を含む。各カメラには、音響信号１２１を取得するマイクロフォン１２０が接続される。
各マイクロフォンからの音声信号１２１は、たとえば、音認識モジュール１３０によって解析されるとともに、視覚信号１３１に変換される。視覚信号１３１は、ビデオ信号１１１と組み合わされ、ユーザ１５０によって閲覧される対応するモニタ１４０上に表示される。視覚信号は、図１の影付き部分によって示すように、ディスプレイの輝度又は色を変えることができる。別法として、視覚信号は、アイコン又はテキスト１４１の形態であることができる。
システム動作
音エネルギーの視覚化
多くの場合、音響信号のエネルギーレベルは、或る場所における異常なイベントを示すのに十分である。図２に示す、安全な廊下の場合を考える。視覚活動は、人々の存在を示すことができるが、カメラの観察角度は、監視下のエリア全体をカバーしない場合がある。音響活動のレベルをモニタリングするとともに、その音響信号を、表示されるビデオの対応する輝度レベルに変換することによって、或る画像が他の画像より明るいモニタのアレイがもたらされる。このより明るい画像は、より高い音レベルを意味し、これはたとえば、或る場所における人々の存在を示す。このモニタのアレイを調べると、ユーザは、より大きな活動レベルに関連するモニタ２０１を検査するように、自然に注意が引き付けられる。
特定音の検出
解析及び変換モジュール１３０を、扉の開閉、悲鳴、足音、走る音等の、特定の音響信号を検出し、特定するように訓練することも可能である。特定された音響信号は、モニタ上の光度（intensity）レベルとして、アイコンで、又はテキストで視覚的に表示することができる。ディスプレイの色もまた、通常のグレースケールから、赤又は黄色で着色されたディスプレイに変えることができる。
空間情報の可視化
マイクロフォンのアレイを使用することによって、図３に示すように、音の位置特定を実施して、ユーザを補助することが可能である。ここで、発電機の列がモニタリングされている。がたがた鳴る又はギイギイ鳴ることによって示されるように、発電機の１つが誤動作する場合、異常音源であるエリア３０１を示すことができる。
本発明は、好ましい実施の形態の例によって述べられたが、本発明の精神及び範囲内で、種々の他の適合及び変更が行われてもよいことが理解されるべきである。したがって、本発明の真の精神及び範囲に入る、全てのこうした変形及び変更を網羅することが、添付の特許請求の範囲の目的である。
本発明による監視システムのブロック図である。 対応する音響信号によって視覚的に増強される画像を示す図である。 対応する音響信号によって視覚的に増強される画像を示す図である。

Claims (8)

  1. 各々のカメラが関連する場所のビデオを取得するように構成されるカメラのセットと、
    対応するカメラの各々について１つのマイクロフォンが存在し、各々のマイクロフォンが前記関連する場所において生成された音響信号を取得するように構成されるマイクロフォンのセットと、
    前記音響信号の各々を解析し、前記音響信号を視覚信号に変換する手段と、
    前記マイクロフォン及び対応するカメラの各々について１つのモニタが存在し、各々のモニタが前記ビデオ及び前記視覚信号を同時に表示するように構成されるモニタのセットと
    を備える監視システム。
  2. 前記視覚信号は、前記モニタ上に表示されるテキストである
    請求項１記載のシステム。
  3. 前記視覚信号は、前記モニタ上に表示される画像の色である
    請求項１記載のシステム。
  4. 前記視覚信号は、前記モニタ上に表示されるアイコンである
    請求項１記載のシステム。
  5. 前記視覚信号は、前記モニタ上に表示される画像の光度である
    請求項１記載のシステム。
  6. 前記光度は、前記音響信号のエネルギーに相当する
    請求項５記載のシステム。
  7. 前記視覚信号は、前記音響信号の音源の場所に相当する
    請求項１記載のシステム。
  8. カメラのセットによって、ビデオのセットを取得すること、
    対応するカメラの各々について１つのマイクロフォンが存在する、マイクロフォンのセットによって、音響信号のセットを取得すること、
    前記音響信号の各々を解析し、前記音響信号を視覚信号に変換すること、
    及び
    関連するモニタ上に、前記ビデオ及び前記視覚信号を同時に表示すること
    を含む監視方法。
JP2006522156A 2004-05-24 2005-05-20 監視システム及び監視方法 Pending JP2008500603A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/852,382 US20050259149A1 (en) 2004-05-24 2004-05-24 Surveillance system with acoustically augmented video monitoring
PCT/JP2005/009713 WO2005114605A1 (en) 2004-05-24 2005-05-20 Surveillance system and method

Publications (1)

Publication Number Publication Date
JP2008500603A true JP2008500603A (ja) 2008-01-10

Family

ID=34968278

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006522156A Pending JP2008500603A (ja) 2004-05-24 2005-05-20 監視システム及び監視方法

Country Status (6)

Country Link
US (1) US20050259149A1 (ja)
EP (1) EP1751723B1 (ja)
JP (1) JP2008500603A (ja)
CN (1) CN100511302C (ja)
DE (1) DE602005004660T2 (ja)
WO (1) WO2005114605A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010183417A (ja) * 2009-02-06 2010-08-19 Hitachi Ltd 音声情報表示システム、音声情報表示方法、及び音声情報表示装置
WO2015194141A1 (ja) * 2014-06-19 2015-12-23 日本電気株式会社 情報提示装置、情報提示システム、情報提示方法、および、記憶媒体

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080147356A1 (en) * 2006-12-14 2008-06-19 Leard Frank L Apparatus and Method for Sensing Inappropriate Operational Behavior by Way of an Array of Acoustical Sensors
EP2825898A4 (en) * 2012-03-12 2015-12-09 Nokia Technologies Oy TREATMENT OF A SOUND SOURCE
EP3016382B1 (en) 2014-10-27 2016-11-30 Axis AB Monitoring methods and devices
CN106887122B (zh) * 2015-12-15 2019-08-30 美的集团股份有限公司 通过音箱进行报警的方法、装置以及音箱

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5504522A (en) * 1993-07-21 1996-04-02 Sony Corporation Audio and video signal monitor apparatus
US5548346A (en) * 1993-11-05 1996-08-20 Hitachi, Ltd. Apparatus for integrally controlling audio and video signals in real time and multi-site communication control method
US6669642B2 (en) * 2001-09-17 2003-12-30 Ge Medical Systems Global Technology Company, Llc Doppler signal processing apparatus and ultrasonic diagnostic apparatus

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2046300U (zh) * 1988-11-30 1989-10-18 青岛电视台 双色音频电平图示器
CN2083366U (zh) * 1990-12-13 1991-08-21 华东师范大学 微机化声频图示仪
DE19621152A1 (de) * 1996-05-14 1997-11-20 Klaus Ebert Verfahren zum Überwachen und zum Auslösen eines Alarmes für einen zu sichernden Bereich und ein Überwachungssystem
US20030081120A1 (en) * 2001-10-30 2003-05-01 Steven Klindworth Method and system for providing power and signals in an audio/video security system
CN2513311Y (zh) * 2001-12-17 2002-09-25 浙江大学 数字式监控摄像机

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5504522A (en) * 1993-07-21 1996-04-02 Sony Corporation Audio and video signal monitor apparatus
US5548346A (en) * 1993-11-05 1996-08-20 Hitachi, Ltd. Apparatus for integrally controlling audio and video signals in real time and multi-site communication control method
US6669642B2 (en) * 2001-09-17 2003-12-30 Ge Medical Systems Global Technology Company, Llc Doppler signal processing apparatus and ultrasonic diagnostic apparatus

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010183417A (ja) * 2009-02-06 2010-08-19 Hitachi Ltd 音声情報表示システム、音声情報表示方法、及び音声情報表示装置
WO2015194141A1 (ja) * 2014-06-19 2015-12-23 日本電気株式会社 情報提示装置、情報提示システム、情報提示方法、および、記憶媒体
JPWO2015194141A1 (ja) * 2014-06-19 2017-04-20 日本電気株式会社 情報提示装置、情報提示システム、情報提示方法、および、プログラム
US10475220B2 (en) 2014-06-19 2019-11-12 Nec Corporation Information presentation apparatus, information presentation method, and non-transitory computer-readable storage medium
US10559108B2 (en) 2014-06-19 2020-02-11 Nec Corporation Superimposition of situation expression onto captured image
US10593089B2 (en) 2014-06-19 2020-03-17 Nec Corporation Superimposition of situation expression onto captured image
US11164354B2 (en) 2014-06-19 2021-11-02 Nec Corporation Superimposition of situation expressions onto captured image

Also Published As

Publication number Publication date
WO2005114605A1 (en) 2005-12-01
US20050259149A1 (en) 2005-11-24
CN1961342A (zh) 2007-05-09
EP1751723B1 (en) 2008-02-06
EP1751723A1 (en) 2007-02-14
DE602005004660D1 (de) 2008-03-20
CN100511302C (zh) 2009-07-08
DE602005004660T2 (de) 2009-01-29

Similar Documents

Publication Publication Date Title
EP2564380B1 (en) Method and system for security system tampering detection
CN105450983B (zh) 产生虚拟全景缩略图的装置
KR20110025886A (ko) 오디오 및 비디오 감시가 결합된 방법 및 시스템
US20110058037A1 (en) Fire detection device and method for fire detection
US8860812B2 (en) Ambient presentation of surveillance data
JP2013131153A (ja) 自律型防犯警戒システム及び自律型防犯警戒方法
JP2008500603A (ja) 監視システム及び監視方法
KR102407327B1 (ko) 화재감지장치 및 이를 포함하는 화재감지시스템
JP2006514757A (ja) 多数の同時の動画像における事象検出を効率的に実行する方法およびシステム
CN105554440A (zh) 监控方法和设备
CN108205868A (zh) 一种校园防火防盗智能监控管理系统
CN106295470A (zh) 一种银行自助服务区预警监测方法、装置及系统
KR100707506B1 (ko) 음향 신호 분석을 통한 방범 시스템 및 그 방법
KR101615824B1 (ko) 위급상황 cctv 모니터링 시스템
JP2000172961A (ja) 監視警戒装置
CN100483471C (zh) 带有成像传感器的报警装置
CN115762046A (zh) 一种建筑物顶部轻生者预警与干预装置
WO2017099262A1 (ko) 영상화면비교부를 갖는 cctv 시스템 관리방법
KR101416076B1 (ko) 감시카메라 비상호출 시스템
CN107633631B (zh) 一种具有障碍物的边境监测方法，及控制设备
KR101062432B1 (ko) 엘리베이터의 비상벨 호출에 따른 경비실 및 방제실의 제어시스템
JP2005101807A (ja) 屋外監視装置および屋外監視方法
JP2008160617A (ja) 監視カメラ装置及びこれを用いた監視カメラシステム
US20240054871A1 (en) Surveillance and/or security systems, event processing, and associated units, systems, methods, and computer-readable media
US20240161590A1 (en) Light switch systems configured to respond to gunfire and methods of use

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100406

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100914