JP2004120595A

JP2004120595A - Abnormality monitoring device, abnormality monitoring method, computer program and computer-readable recording medium

Info

Publication number: JP2004120595A
Application number: JP2002283725A
Authority: JP
Inventors: Masanobu Funakoshi; 船越　正伸
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-09-27
Filing date: 2002-09-27
Publication date: 2004-04-15

Abstract

<P>PROBLEM TO BE SOLVED: To make abnormality detection accuracy maintainable while making the power to be consumed for processing a moving image reducible. <P>SOLUTION: In this abnormality monitoring device which performs abnormality detection by analyzing a video image generated by photographing a monitoring area, collects voice in the monitoring area and performs the abnormality detection in the monitoring area by voice, advanced abnormality detection accuracy is made securable while saving the power consumption by starting an abnormality detecting operation by the video image by using the abnormality detection by voice as a trigger, reducing the power consumption by halting the operation of a moving image processing part in normal time and starting the operation of the moving image processing part when an abnormality has occurred. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は異常監視装置、異常監視方法、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体に関し、特に、監視領域の異常を映像と音声とを利用して自動的に検出する異常監視装置に用いて好適なものである。
【０００２】
【従来の技術】
映像と音声とを利用して異常事態の発生を検出する異常監視装置が実用化されている。前記のような映像と音声とを利用した従来の異常監視装置は、倉庫や閉店後の店舗等のような人気のない場所に設置され、不審者や侵入者を自動的に検知するために利用されている。
【０００３】
このような従来の異常監視装置では、映像や音声から異常を検知した場合、専用回線や一般公衆回線、もしくは、インターネットやＬＡＮなどのネットワークなどを経由して監視センターなどに異常が発生したことを通知するとともに、その時に撮影した映像や、集音した音声を圧縮符号化して蓄積したり、もしくは、前述したネットワークを経由して送信したりする仕組みになっている。
【０００４】
この場合、映像の全てを符号化すると符号量が増大してしまい、蓄積する記憶容量が増大する。あるいは、伝送する符号量が増えるといった問題が生じるため、撮影した動画像から、動きのある物体の動画像のみを抽出する動体抽出を行うとともに、予め作成しておいた背景静止画像とともに符号化するようにして、蓄積及び伝送する符号量を減らす工夫がなされている。
【０００５】
【発明が解決しようとする課題】
ところが、このような動体抽出を行ってから画像を符号化するような異常監視装置では、動体を抽出する処理の負担が重いので、抽出動作を常に行うようにすると消費電力が増大してしまうという問題があった。
【０００６】
さらに、ビデオカメラからの映像を用いて異常発生の検知を行う既存の異常監視装置では、撮影した映像を常に分析する必要があるため、動画撮影や映像分析を止めることができないという不都合があった。
本発明は前述の問題点にかんがみ、動画像を処理するために消費される電力を削減できるようにしながら、監視領域の異常を検知する精度を良好に保つことができるようにすることを目的とする。
【０００７】
【課題を解決するための手段】
本発明の異常監視装置は、監視領域を撮影して生成した映像を分析して異常検知を行うとともに、前記監視領域中の音声を集音し、前記監視領域中の異常検知を音声により行う異常監視装置であって、前記音声による異常検知をトリガとして前記映像による異常検知動作を開始するようにしたことを特徴としている。
また、本発明の他の特徴とするところは、所定の監視領域の全体を撮影する固定ビデオカメラ装置と、前記監視領域中の特定領域をズームアップして撮影可能な雲台付きズームビデオカメラ装置と、前記雲台付きズームビデオカメラ装置の動作を制御するズームビデオカメラ制御手段と、前記監視領域中の特定領域の音声を集音する複数のマイクロフォン装置と、前記雲台付きズームビデオカメラ装置、固定ビデオカメラ装置及び前記複数のマイクロフォン装置によって集められる映像及び音声に基づいて異常を検知する異常検知手段と、前記固定ビデオカメラ装置で撮影している映像と予め撮影しておいた監視領域の映像との差分により、前記監視領域中で動いている物体を表す動画像を抽出する動画像抽出手段と、前記雲台付きズームビデオカメラ装置で撮影した動画象、固定ビデオカメラ装置で撮影した動画像、及び前記動画像抽出手段から出力された動画像を圧縮符号化して圧縮映像信号を生成する映像圧縮符号化手段と、前記複数のマイクロフォン装置で集音した音声を圧縮符号化して圧縮音声信号を生成する音声圧縮符号化手段と、前記映像圧縮符号化手段で圧縮された圧縮映像信号及び音声圧縮符号化手段で圧縮された圧縮音声信号とを重畳して、異常発生情報とともに通信回線を介して監視センターに送信することにより前記監視領域に異常が発生したことを通知するデータ送信手段とを備えた異常監視装置であって、前記異常検知手段は、前記複数のマイクロフォン装置のそれぞれから得られる音声信号のエネルギーが所定の閾値以上になると、前記雲台付きズームビデオカメラ装置及び固定ビデオカメラ装置と、前記動画像抽出手段と、前記映像圧縮符号化手段と、前記音声圧縮符号化手段と、前記データ送信手段とを起動するように制御することを特徴としている。
【０００８】
本発明の異常監視方法は、監視領域を撮影して生成した映像を分析して異常検知を行うとともに、前記監視領域中の音声を集音し、前記監視領域中の異常検知を音声により行う異常監視方法であって、前記音声による異常検知をトリガとして前記映像による異常検知動作を開始するように制御処理を行うことを特徴としている。
また、本発明の他の特徴とするところは、所定の監視領域の全体を固定ビデオカメラ装置で撮影する処理と、前記監視領域中の特定領域をズームアップして撮影可能な雲台付きズームビデオカメラ装置を用いて撮影する処理と、前記雲台付きズームビデオカメラ装置の動作を制御するズームビデオカメラ制御処理と、前記監視領域中の特定領域の音声を複数のマイクロフォン装置で集音する集音処理と、前記雲台付きズームビデオカメラ装置、固定ビデオカメラ装置及び前記複数のマイクロフォン装置によって集められる映像及び音声に基づいて異常を検知する異常検知処理と、前記固定ビデオカメラ装置で撮影している映像と予め撮影しておいた監視領域の映像との差分により、前記監視領域中で動いている物体を表す動画像を抽出する動画像抽出処理と、前記雲台付きズームビデオカメラ装置で撮影した動画象、固定ビデオカメラ装置で撮影した動画像、及び前記動画像抽出手段から出力された動画像を圧縮符号化して圧縮映像信号を生成する映像圧縮符号化処理と、前記複数のマイクロフォン装置で集音した音声を圧縮符号化して圧縮音声信号を生成する音声圧縮符号化処理と、前記映像圧縮符号化処理で圧縮された圧縮映像信号及び前記音声圧縮符号化処理で圧縮された圧縮音声信号とを重畳して、異常発生情報とともに通信回線を介して監視センターに送信することにより前記監視領域に異常が発生したことを通知するデータ送信処理とを行う異常監視方法であって、前記異常検知処理は、前記複数のマイクロフォン装置のそれぞれから得られる音声信号のエネルギーが所定の閾値以上になると、前記雲台付きズームビデオカメラ装置及び固定ビデオカメラ装置による撮影処理と、前記動画像抽出処理と、前記映像圧縮符号化処理と、前記音声圧縮符号化処理と、前記データ送信処理とを実行させることを特徴としている。
【０００９】
本発明のコンピュータプログラムは、監視領域を撮影して生成した映像を分析して異常検知を行うとともに、前記監視領域中の音声を集音し、前記監視領域中の異常検知を音声により行う異常監視方法をコンピュータに実行させるコンピュータプログラムであって、前記音声による異常検知をトリガとして前記映像による異常検知動作を開始するようにする制御処理をコンピュータに実行させることを特徴としている。
また、本発明の他の特徴とするところは、所定の監視領域の全体を固定ビデオカメラ装置で撮影する処理と、前記監視領域中の特定領域をズームアップして撮影可能な雲台付きズームビデオカメラ装置を用いて撮影する処理と、前記雲台付きズームビデオカメラ装置の動作を制御するズームビデオカメラ制御処理と、前記監視領域中の特定領域の音声を複数のマイクロフォン装置で集音する集音処理と、前記雲台付きズームビデオカメラ装置、固定ビデオカメラ装置及び前記複数のマイクロフォン装置によって集められる映像及び音声に基づいて異常を検知する異常検知処理と、前記固定ビデオカメラ装置で撮影している映像と予め撮影しておいた監視領域の映像との差分により、前記監視領域中で動いている物体を表す動画像を抽出する動画像抽出処理と、前記雲台付きズームビデオカメラ装置で撮影した動画象、固定ビデオカメラ装置で撮影した動画像、及び前記動画像抽出手段から出力された動画像を圧縮符号化して圧縮映像信号を生成する映像圧縮符号化処理と、前記複数のマイクロフォン装置で集音した音声を圧縮符号化して圧縮音声信号を生成する音声圧縮符号化処理と、前記映像圧縮符号化処理で圧縮された圧縮映像信号及び前記音声圧縮符号化処理で圧縮された圧縮音声信号とを重畳して、異常発生情報とともに通信回線を介して監視センターに送信することにより前記監視領域に異常が発生したことを通知するデータ送信処理とを行う異常監視方法をコンピュータに実行させるコンピュータプログラムであって、前記異常検知処理は、前記複数のマイクロフォン装置のそれぞれから得られる音声信号のエネルギーが所定の閾値以上になると、前記雲台付きズームビデオカメラ装置及び固定ビデオカメラ装置による撮影処理と、前記動画像抽出処理と、前記映像圧縮符号化処理と、前記音声圧縮符号化処理と、前記データ送信処理とをコンピュータに実行させることを特徴としている。
【００１０】
本発明のコンピュータ読み取り可能な記録媒体は、前記に記載のコンピュータプログラムを格納したことを特徴としている。
【００１１】
【発明の実施の形態】
次に、添付図面を参照しながら本発明の異常監視装置、異常監視方法、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体の実施の形態について説明する。
図１は、第１の実施の形態を示し、異常監視装置の一構成例を示す構成図である。図１に示した構成において、１は雲台付きズームビデオカメラであり、カメラ制御部２から送出される制御信号に従って、監視範囲の特定領域をズームアップして撮影することが可能である。この雲台付きズームビデオカメラ１によって撮影された動画信号は動画圧縮部３に送出される。
【００１２】
２はカメラ制御部であり、バス１０を介して送信されるカメラ制御コマンドに従って、雲台付きズームカメラ１に制御信号を適宜送出する。３は動画圧縮部であり、雲台付きズームカメラ１や動体抽出部５から送出される動画信号を適宜フォーマットに圧縮符号化し、ＣＰＵ１５から送出される制御信号に従って圧縮符号化した動画データをバス１０を介して適宜各構成要素に送信することができる。
【００１３】
なお、本実施の形態においては、動画圧縮方式としてＭＰＥＧ−４ビデオ符号化方式が用いられている。前記ＭＰＥＧ−４ビデオ符号化方式を用いることによって、動体抽出部５で抽出された任意形状の動画をそのまま圧縮符号化することが可能である。
【００１４】
４は固定カメラであり、本実施の形態における監視範囲全体の映像を撮影して動体抽出部５に送出する。５は動体抽出部であり、固定カメラ４から送出される映像信号と、予め用意しておいた背景静止画像との差分を分析して、映像に捕らえられている動作する物体の画像を抜き出して、動画圧縮部３へ送出する。
【００１５】
６はマイクロフォン装置であり、監視領域中に複数本が設置されていて、それぞれの設置場所近辺に発生する音声を集音し、背景雑音フィルタ７へ音声信号を送信する。前記背景雑音フィルタ７は、前記複数のマイクロフォン装置６から送出された各音声信号から、空調音や機械音などの背景雑音を除去し、音圧・位置判定ミキサー８に送出する。
【００１６】
音圧・位置判定ミキサー８は、背景雑音フィルタ７から送出される各音声信号の音圧を測定し、最も音圧の大きな音声信号の音圧値を、バス１０を介してＣＰＵ１５に送出する。同時に、各音声信号の全てを適宜ミキシングして音声圧縮部９に送出する。
【００１７】
音声圧縮部９は、音圧・位置判定ミキサー８から送信される音声信号を適宜フォーマットに圧縮符号化し、ＣＰＵ１５から送出される制御信号に従って圧縮符号化した動画データをバス１０を介して適宜各構成要素に送信する。
【００１８】
バス１０は、ＣＰＵ１５の制御の対象とする構成要素を指示するアドレス信号を転送し、ＣＰＵ１５の制御の対象とする各構成要素のコントロール信号を転送し、各構成機器相互間のデータ転送を行う。
【００１９】
１１はデータ送信部であり、本発明の異常監視装置をＬＡＮやインターネットなどを経由して外部のシステムと接続するための機器である。本実施の形態の異常監視装置は、必要に応じてこの接続を経由して、監視センター、もしくは警備室などに圧縮した映像や音声を重畳して送信することが可能である。
【００２０】
１２はＲＡＭであり、書込み可能のランダムアクセスメモリである。各構成要素からの各種データの一時記憶と、本実施の形態における各種処理が記述されたプログラムを読み込み、このプログラムに基づいてＣＰＵ１５が各種処理を行うために用いられる。
【００２１】
１３はＲＯＭであり、読出し専用の固定メモリである。ＲＯＭ１３には本実施の形態の構成例における基本Ｉ／Ｏプログラムが格納される。　１４は外部記憶部であり、データやプログラム等を記憶するための外部記憶領域である。データやプログラム等は必要に応じて保管され、また、保管されたデータやプログラムは必要な時に呼び出される。
【００２２】
前記ＣＰＵ１５は、監視処理のための演算、論理判断等を行ない、１０のバスを介して、バスに接続された各構成要素を制御する。なお、本実施の形態において、異常検知の判断は全てＣＰＵ１５によって行われる。
【００２３】
１６はデバイス制御部である。バス１０を介して伝達されるＣＰＵ１５の指示によって、デバイス制御部１６に接続されている機器を制御し、また、接続されている機器が出力する信号やデータを、バス１０を介してＣＰＵ１０や外部記憶部を主とする各構成要素に適宜転送する。
【００２４】
１７はメディアドライブである。記録メディア１８に記録されているプログラムやデータはこのメディアドライブ１７が読み取ることにより本異常監視装置にロードされる。また、外部記憶部１４に蓄えられた圧縮映像、音声などの各種データを、メディアドライブ１７を通じて記録メディア１８に書き込むことができる。
【００２５】
記録メディア１８であり、これは、具体的にはＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、ＤＶＤ−ＶＩＤＥＯ、ＤＶＤ−ＡＵＤＩＯ、ＣＤ−ＤＡ、ＣＤ−ＲＯＭ、ＣＤ−Ｖ、ＣＤ−Ｒ、ＣＤ−ＲＷなどのＤＶＤ規格もしくはＣＤ規格のメディアを総称したものである。本実施の形態において、記録メディア１８は関連データ、もしくはプログラムなどの大容量データの読み書きに用いられる。
【００２６】
かかる各構成要素からなる本発明の異常監視装置においては、マイクロフォン装置６からの音声入力に応じて作動するものであって、マイクロフォン６に音声入力が供給されると、背景雑音フィルタ７と音圧・位置判定ミキサー８とを経由して、インタラプト信号がＣＰＵ１５に送られる。これによって、ＣＰＵ１５がＲＯＭ１３内に記憶してある各種の制御信号を読出し、それらの制御信号に従って、各種の制御が行なわれる。
【００２７】
本実施の形態の装置は、基本Ｉ／Ｏプログラム、ＯＳ，及び監視処理プログラムをＣＰＵ１５が実行することによって動作する。基本Ｉ／ＯプログラムはＲＯＭ１３中に書き込まれており、ＯＳは外部記憶部１４に書き込まれている。そして、本装置の電源がＯＮにされると、基本Ｉ／Ｏプログラム中のＩＰＬ（イニシャルプログラムローディング）機能により外部記憶部１４からＯＳがＲＡＭ１２に読み込まれ、ＯＳの動作が開始される。
【００２８】
本監視処理プログラムは、図６に示される監視処理手順のフローチャートに基づいてプログラムコード化されたものである。
図２は、本監視処理プログラム及び関連データを記録メディア１８に記録したときの記録メディア１８の内容を示す構成図である。
【００２９】
本実施の形態において、本監視処理プログラム及び関連データは記録メディア１８に記録されている。図示したように記録メディア１８の先頭領域には、この記録メディア１８のボリューム情報とディレクトリ情報が記録されており、その後にこの記録メディア１８のコンテンツである本監視処理プログラムと、監視処理プログラム関連データが記録されている。
【００３０】
図３は、本実施の形態の異常監視装置に、本監視処理プログラムを導入する模式図である。記録メディア１８に記録された監視処理プログラム及び関連データは、図３に示したようにメディアドライブ１７を通じて本実施の形態の異常監視装置にロードすることができる。
【００３１】
この記録メディア１８をメディアドライブ１７にセットすると、ＯＳ及び基本Ｉ／Ｏプログラムの制御のもとに本監視処理プログラム及び関連データが記録メディア１８から読み出され、外部記憶部１４に格納される。その後、再起動時にこれらの情報がＲＡＭ１２にロードされて動作可能となる。
【００３２】
図４は、本監視処理プログラムがＲＡＭ１２にロードされ実行可能となった状態のメモリマップを示す。このとき、ＲＡＭ１２上のワークエリアには、雲台制御テーブル１９、音圧値２０、位置ＩＤ２１が存在する。このうち、雲台制御テーブル１９は、雲台付きズームビデオカメラ１の雲台を制御するためのテーブルであり、図５を用いて制御内容を後述する。
【００３３】
また、音圧値２０には、マイクロフォン６で集音した音声信号のうち、最も音圧の高い音声信号の音圧値が逐次更新されて格納される。また、位置ＩＤ２１には、最も音圧の高い音声信号を集音したマイクロフォン６の識別番号が逐次更新されて格納される。
【００３４】
図５は、本実施の形態における雲台制御テーブル１９の構成例である。図示したように、本実施の形態において、雲台制御テーブル１９に格納される各データは、位置ＩＤと、パン角度と、チルド角度によって構成される。このうち、位置ＩＤは、マイクロフォン６が設置されている監視領域の各位置に一意に割り振られる識別記号である。
【００３５】
また、パン角度とチルト角度は、雲台付きズームカメラ１が位置ＩＤで示される場所を撮影するときの上下左右の首振り角度を示しており、マイクロフォン６を設置するときに予め定められて格納される値である。なお、本実施の形態において、テーブル中の各角度の基準点は雲台の正面を０°とし、パンは右を＋方向、チルトは上を＋方向としている。本テーブルは位置ＩＤをキーにして検索することが可能である。
【００３６】
以下、本実施の形態における監視処理の手順をフローチャートに従って説明する。
図６は、本実施の形態における監視処理全体の処理手順を説明するフローチャートである。
まず、ステップＳ１においては、マイクロフォン装置６によって集音した各音声信号を、背景雑音フィルタ７に通して背景雑音を除去し、音圧・位置判定ミキサー８によって最も音圧の大きな音声信号の音圧を測定し、音圧値と最も音圧の大きな音声を集音したマイクロフォン装置の位置ＩＤをバス１０を介してＣＰＵ１５に送出する音声検知処理を行う。
【００３７】
なお、この音声検知処理において、各音声信号は音圧・位置判定ミキサー８によって同時に適宜ミキシングされ、音声圧縮部９によって圧縮された音声信号はバス１０を介して適宜外部記憶部１４に格納される。前記音声検知処理を終えると、次に、ステップＳ２へ処理が進む。
【００３８】
ステップＳ２においては、ＣＰＵ１５において、ステップＳ１で測定した音圧値が予め設定した規定の閾値を超えているかどうかを判定する処理を行う。なお、このときに、ＣＰＵ１５によって音圧値と位置ＩＤはそれぞれＲＡＭ１２上に付した符号２０、２１の領域に同時に格納される。この判定の結果、音圧値が閾値以下の場合は、前述したステップＳ１の処理に戻る。一方、音圧値が閾値以上である場合は、ステップＳ３の処理に進む。
【００３９】
ステップＳ３においては、ＣＰＵ１５から制御信号を送信することにより、雲台付きズームビデオカメラ１、カメラ制御部２、動画圧縮部３、固定カメラ４、動体抽出部５によって構成される映像処理部分を起動する処理を行う。これらの処理を終えると、ステップＳ４及びステップＳ５へと処理が進む。
【００４０】
ステップＳ４の処理は、動体抽出部５において、固定カメラ４で捉えた映像と、予め作成しておいた背景静止画との差分をとることによって動体を抽出する動体抽出処理である。この動体抽出処理によって抽出された動体の映像は直ちに動画圧縮部３に送出されて、雲台付きズームビデオカメラ１で撮影された動画像と同時にＭＰＥＧ−４圧縮符号化され、バス１０を介して外部記憶部１４に格納される。処理を終えると、ステップＳ６へと処理が進む。
【００４１】
一方、ステップＳ５の処理は、ＲＡＭ１２上の位置ＩＤによってＲＡＭ１２上の雲台制御テーブル１９を検索し、得られた制御情報に従って雲台付きズームビデオカメラ１の向きを制御する処理である。この処理の詳細は、図７を用いて後述する。前記雲台制御処理を終えると、ステップＳ６へと処理が進む。
【００４２】
ステップＳ６においては、ステップＳ５で抽出された動体の動画像をＣＰＵ１５で分析して、実際に侵入者などがいるかどうかを判定する処理を行う。この種の処理はこのような異常監視装置において一般的に行われており、公知であるので詳細な説明を省略する。この判定の結果、侵入者などの動体が抽出されている場合は、異常が発生したとみなしてステップＳ７へ処理が進む。一方、前記ステップＳ６の判定の結果、動体が抽出されていない場合は、ステップＳ９へと処理が進む。
【００４３】
ステップＳ７においては、データ送信部１１を介して、異常が発生したことを外部の監視センターや警備室などに伝達する処理を行う。この伝達処理において、異常発生情報とともに、外部記憶部１４に蓄積された符号化された映像と音声もＬＡＮやＩＮＴＥＲＮＥＴなどのネットワークを介して送出される。前記伝達処理を終えると、ステップＳ８へ処理が進む。
【００４４】
ステップＳ８においては、前記ステップＳ５で抽出された動体の映像上の大きさを測定し、それによって雲台付きズームビデオカメラ１のズーム制御処理を行う。このズーム制御処理の詳細は図８を用いて後述する。前記ズーム制御処理を終えるとステップＳ１に戻り、前述した処理を繰り返し行う。
【００４５】
一方、ステップＳ９に進んだ場合には、ステップＳ６の判定に従って、ステップＳ３で起動した映像処理を行う各構成要素の動作を停止する処理を行う。よって、本実施の形態における異常監視装置では、異常が認められない場合には、映像処理によって消費される電力を最小限に抑えることができる。この各構成要素の動作を停止する処理は、ＣＰＵ１５から各構成要素に停止信号を送出することによって実行される。
【００４６】
なお、本実施の形態において、音声処理を行う構成要素はこの後も引き続き動作する。また、ステップＳ３で起動してからステップＳ９において停止するまでに外部蓄積部１４に格納された圧縮符号化された映像及び音声のデータは、この処理において破棄される。こうすることによって、余分な圧縮符号化データが外部蓄積部１４に蓄積することを防ぐことができる。処理を終えると、Ｓ１に処理が進む。
【００４７】
図７は、本実施の形態におけるステップＳ４の雲台制御処理の手順を詳細に説明するためのフローチャートである。
まず、ステップＳ１１においては、ＲＡＭ上の位置ＩＤ２１によってＲＡＭ上の雲台制御テーブル１９を検索する処理を行う。前記テーブル上の位置ＩＤ２１は、設置されたマイクロフォン６の数だけ用意されているため雲台のパン角度とチルド角度が一意に検索される。
【００４８】
前記検索処理を終えると、次に、ステップＳ１２へ処理が進む。ステップＳ１２は、ステップＳ１１で検索された雲台のパン角度とチルド角度の値から適宜制御コマンドを作成し、バス１０を介してカメラ制御部２に作成した制御コマンドを送信する処理を行う。前記コマンド送信処理を終えると、ステップＳ１３へ処理が進む。
【００４９】
ステップＳ１３においては、カメラ制御部２において、ステップＳ１２で作成された制御コマンドに従って雲台付きズームビデオカメラ１の雲台を操作する処理を行う。この結果、雲台付きズームビデオカメラ１の向きが、最も大きな音圧の音声信号を集音したマイクロフォン６が設置されている場所に向けられる。雲台操作処理を終えると、雲台制御処理を終了してリターンする。
【００５０】
図８は、本実施の形態におけるステップＳ８のズーム制御処理を詳細化したフローである。
まず、ステップＳ２１においては、ステップＳ５によって抽出された動体の動画像より、画像が納まる矩形の大きさを画素単位で算出する処理を行う。この種の処理は動画像処理において一般的に行われており、公知であるので詳細な説明を省略する。前記矩形算出処理を終えると、ステップＳ２２へ処理が進む。
【００５１】
ステップＳ２２においては、ＣＰＵ１５において、ステップＳ２１で算出された矩形の大きさと、雲台付きズームビデオカメラ１のオートフォーカス焦点距離とにより、動体全体が雲台付きズームビデオカメラ１が撮影する画面内に丁度納まるように、雲台付きズームビデオカメラ１のズームファクタを算出する処理を行う。この種の算出処理は雲台付きズームビデオカメラ１の制御方法として一般的に行われており、公知であるので詳細な説明を省略する。前記算出処理を終えると、ステップＳ２３へ処理が進む。
【００５２】
ステップＳ２３においては、ステップＳ２２で算出されたズームファクタからズーム制御コマンドを作成して、カメラ制御部２へ送出する処理を行う。前記送信処理を終えると、ステップＳ２４へ処理が進む。
【００５３】
ステップＳ２４においては、ステップＳ２３で作成したズーム制御コマンドによって雲台付きズームビデオカメラ１のズーム制御を実際に処理行う。この操作によって、動体の詳細な映像を自動的に捉えることが可能になり、侵入者の姿をより高精彩な動画像に収めることができる。前記ズーム処理を終えると、ズーム制御処理を終了してリターンする。
【００５４】
次に、図９〜図１２を参照しながら本発明の第２の実施の形態を説明する。
図９は、本実施の形態における動画ビットレート制御テーブルの構成例を示す図である。図９に示したように、本実施の形態においては、図１０に示したＲＡＭ上の動画ビットレート制御テーブル２２０に格納される各データは、音圧値と、動画ビットレートとによって構成されている。
【００５５】
このうち、音圧値は、音圧・位置判定ミキサー８によって測定された音圧の値であり、ｄＢで表される値である。また、動画ビットレートは、動画圧縮部３において作成される動画ビットストリームのビットレートを示す。図９に示した動画ビットレート制御テーブルは音圧をキーにして検索することが可能である。
【００５６】
図１０は、本実施の形態における監視処理プログラムがＲＡＭ１２にロードされ実行可能となった状態の監視装置のメモリマップを示す。このとき、ＲＡＭ１２上のワークエリアには、雲台制御テーブル２１９、ビットレート制御テーブル２２０、音圧値２２１、位置ＩＤ２２２が存在する。このうち、雲台制御テーブル２１９は、図５を用いて前述したものと同一である。また、映像ビットレート制御テーブル２２０は、図９を用いて前述したものである。
【００５７】
また、音圧値２２１には、マイクロフォン６で集音した音声信号のうち、最も音圧の高い音声信号の音圧値が逐次更新されて格納される。また、位置ＩＤ２２２には、最も音圧の高い音声信号を集音したマイクロフォン６の識別番号が逐次更新されて格納される。
【００５８】
以下、本実施の形態における異常監視処理の手順について、図１１のフローチャートを参照しながら説明する。
図１１は、本実施の形態における監視処理全体の処理手順を説明するフローチャートである。
まず、最初のステップＳ２０１は、マイクロフォン６によって集音した各音声信号を、背景雑音フィルタ７に通して背景雑音を除去し、音圧・位置判定ミキサー８によって最も音圧の大きな音声信号の音圧を測定し、音圧値と最も音圧の大きな音声を集音したマイクロフォン６の位置ＩＤ２２１を、バス１０を介してＣＰＵ１５に送出する音声検知処理である。
【００５９】
なお、この処理において、同時に各音声信号は音圧・位置判定ミキサー８によって適宜ミキシングされ、音声圧縮部９によって圧縮された音声信号はバス１０を介して適宜外部記億部１４に格納される。この音声検知処理を終えると、ステップＳ２０２へ処理が進む。
【００６０】
次に、ステップＳ２０２においては、ＣＰＵ１５において、ステップＳ２０１で測定した音圧が規定の閾値を超えているかどうか判定する処理である。なお、このときに同時にＣＰＵ１５によって音圧値２２１と位置ＩＤ２２２はそれぞれＲＡＭ１２上の雲台制御テーブル２１９、音圧値２２１に格納される。本実施の形態の場合は、音圧の閾値は２０ｄＢであるため、音圧値が２０ｄＢ以下の場合は、ステップＳ２０１に戻る。また、音圧値が２０ｄＢ以上である場合は、ステップＳ２０３へ処理が進む。
【００６１】
ステップＳ２０３においては、ＲＡＭ上に格納された音圧値２２１によって動画ビットレートを変更する動画ビットレート変更処理を行う。この処理の詳細は図１１を用いて後述する。前記動画ビットレート変更処理を終えると、ステップＳ２０４とステップＳ２０５へ処理が進む。
【００６２】
ステップＳ２０４においては、動体抽出部５において、固定カメラ４で捉えた映像と、予め作成しておいた背景静止画との差分をとることによって動体を抽出する動体抽出処理を行う。この動体抽出処理によって抽出された動体の映像は直ちに動画圧縮部３に送出されて、雲台付きズームビデオカメラ１で撮影された動画像と同時にＭＰＥＧ−４により圧縮符号化され、バス１０を介して外部記億部１４に格納される。この動体抽出処理を終えると、ステップＳ２０６へと処理が進む。
【００６３】
一方、ステップＳ２０５においては、ＲＡＭ上の位置ＩＤ２２２によってＲＡＭ上の雲台制御テーブル２１９を検索し、得られた制御情報に従って、前述したように、雲台付きズームビデオカメラ１の向きを制御する処理を行う。この雲台制御処理を終えると、ステップＳ２０６へ処理が進む。
【００６４】
ステップＳ２０６においては、ＣＰＵ１５において、ステップＳ２０５で抽出された動体の動画像を分析して、実際に侵入者などがいるかどうかを判定する動体動画像処理を行う。この種の処理はこのような監視装置において一般的に行われており、公知であるので詳細な説明を省略する。この判定の結果、侵入者などの動体が抽出されている場合は、異常が発生したとみなして、ステップＳ２０７へ処理が進む。また、動体が抽出されていない場合は、ステップＳ２０１に戻り前述した処理を繰り返し行う。
【００６５】
ステップＳ２０７においては、データ送信部１１を介して、異常が発生したことを外部の監視センターや警備室などに伝達する処理を行う。この伝達処理において、異常発生情報とともに、外部記憶部１４に蓄積された符号化された映像と音声もＬＡＮやＩＮＴＥＲＮＥＴ、などのネットワークを介して送出される。前記伝達処理を終えると、ステップＳ２０８へ処理が進む。
【００６６】
ステップＳ２０８においては、ステップＳ２０５で抽出された動体の映像上の大きさを測定し、それによって雲台付きズームカメラ１のズーム制御処理を行う。この処理の詳細は、図１２を用いて後述する。前記ズーム制御処理を終えると、ステップＳ２０１に戻って前述した処理を繰り返し行う。
【００６７】
図１２は、本実施の形態におけるステップＳ２０３の動画ビットレート変更処理を詳細化したフローチャートある。
動画ビットレート変更処理が開始されると、まず、ステップＳ３１１において、ＲＡＭ上の音圧値２２０によってＲＡＭ上の動画ビットレート制御テーブル２２０を検索する処理を行う。本実施の形態において、この検索によって、動画ビットレート制御テーブル２２０のデータは音圧値２２１を超えない最大のものが選択される。
【００６８】
例えば、音圧値２２１に格納された値が３５ｄＢの場合、動画ビットレート制御テーブル上の音圧値３０ｄＢの列である動画ビットレートである９６ｋｂｐｓが、検索結果として選択される。この動画ビットレート変更処理を終えると、ステップＳ３１２へ進む。
【００６９】
ステップＳ３１２においては、ステップＳ３１１によって選択された動画ビットレートに基づき、ＣＰＵ１５においてビットレート変更用の制御コマンドを作成し、バス１０を介して動画圧縮部３に制御コマンドを送信する処理を行う。このコマンド送信処理を終えると、ステップＳ３１３へ進む。
【００７０】
ステップＳ３１３においては、動画圧縮部３において、ステップＳ３１２で送信された制御コマンドに従って動画圧縮符号化ビットレートを変更する処理を行う。このビットレート変更処理の結果、動画圧縮部３から出力されるビットストリームのビットレートが変更される。この処理を終えると、動画ビットレート変更処理を終了してリターンする。
【００７１】
なお、本発明は前述した実施の形態に限定されるものではない。すなわち、前述の実施の形態では、異常検知判定に音声と映像のみを利用しているが、異常検知精度を高めるためにその他のセンサ、例えば、温度センサ、赤外線センサ、圧力センサ、磁気センサなどを併用した場合においても、映像処理部分の動作停止制御やズームカメラ制御において本発明を適用することが可能であり、同様な効果が得られる。その他、本発明はその要旨を逸脱しない範囲で種種変形して実施することができる。
【００７２】
（本発明の他の実施の形態）
本発明は複数の機器から構成されるシステムに適用しても１つの機器からなる装置に適用してもよい。
【００７３】
また、前述した実施の形態の機能を実現するように各種のデバイスを動作させるように、前記各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、記憶媒体から、またはインターネット等の伝送媒体を介して前記実施の形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【００７４】
また、この場合、前記ソフトウェアのプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるプログラムコードを記憶する記憶媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００７５】
また、コンピュータが供給されたプログラムコードを実行することにより、前述の実施の形態で説明した機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等の共同して前述の実施の形態で示した機能が実現される場合にもかかるプログラムコードは本発明の実施の形態に含まれることは言うまでもない。
【００７６】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合にも本発明に含まれる。
【００７７】
【発明の効果】
以上説明してきたように、本発明によれば、異常検知時に映像と音声を圧縮符号化して伝送する異常監視装置において、通常は処理の重い映像処理部分を停止しておき、音声により監視領域に異常が認められた場合のみ映像処理部分を起動するようにしたので、映像処理部分で消費される電力を抑えつつ、監視領域の異常検知精度を高精度に維持することができる。
また、本発明の他の特徴によれば、音声の異常が認められた場所を雲台付きズームビデオカメラ装置で的確に捉えるようにしたので、侵入者や異常な状態をより詳細な映像で自動的に捉えることができる。
【００７８】
また、本発明の他の特徴によれば、映像の圧縮符号化のビットレートを音圧の上下に応じて逐次制御するようにしたので、映像では捉えることができない変化が生じた場合でも、音の変化によって侵入者や監視領域の変化をより鮮明な動画像で捉えるようにすることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態を示し、実施の形態における異常監視装置の一構成例を示す図である。
【図２】実施の形態における監視処理プログラムを格納した媒体の内容構成例を示す図である。
【図３】実施の形態において異常監視装置に監視処理プログラムを導入するイメージを示す図である。
【図４】実施の形態における異常監視装置のメモリマップ構成を示す図である。
【図５】実施の形態における雲台制御テーブルの一例を示す図である。
【図６】実施の形態における異常監視装置の処理手順を示すフローチャートである。
【図７】実施の形態における雲台制御処理の手順を示すフローチャートである。
【図８】実施の形態におけるズーム制御処理の手順を示すフローチャートである。
【図９】第２の実施の形態における動画ビットレート制御テーブルの一例を示す図である。
【図１０】第２の実施の形態における異常監視装置のメモリマップ構成を示す図である。
【図１１】第２の実施の形態における異常監視装置の処理手順を示すフローチャートである。
【図１２】第２の実施の形態における動画ビットレート変更処理の手順を示すフローチャートである。
【符号の説明】
１　雲台付きズームビデオカメラ
２　カメラ制御部
３　動画圧縮部
４　固定ビデオカメラ
５　動体抽出部
６　マイクロフォン
７　背景雑音フィルタ
８　音圧・位置判定ミキサー
９　音声圧縮部
１０　バス
１１　データ送信部
１２　ＲＡＭ
１３　ＲＯＭ
１４　外部記憶部
１５　ＣＰＵ
１６　デバイス制御部
１７　メディアドライブ
１８　記録メディア
１９　ＲＡＭ上の雲台制御テーブル
２０　ＲＡＭ上の音圧値
２１　ＲＡＭ上の位置ＩＤ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an abnormality monitoring device, an abnormality monitoring method, a computer program, and a computer-readable recording medium, and is particularly suitable for use in an abnormality monitoring device that automatically detects abnormality in a monitoring area using video and audio. Things.
[0002]
[Prior art]
An abnormality monitoring device that detects occurrence of an abnormal situation using video and audio has been put to practical use. Conventional anomaly monitoring devices using video and audio as described above are installed in unpopular places such as warehouses and stores after closing, and are used to automatically detect suspicious persons and intruders. Have been.
[0003]
In such a conventional abnormality monitoring device, when an abnormality is detected from video or audio, the abnormality is detected in a monitoring center or the like via a dedicated line, a general public line, or a network such as the Internet or a LAN. In addition to the notification, the video and the sound collected at that time are compressed and encoded and stored, or transmitted via the above-described network.
[0004]
In this case, if the entire video is encoded, the code amount increases, and the storage capacity to be stored increases. Alternatively, since a problem such as an increase in the amount of codes to be transmitted occurs, a moving object is extracted from a captured moving image to extract only a moving image of a moving object, and encoded together with a background still image created in advance. In this way, measures are taken to reduce the amount of codes to be stored and transmitted.
[0005]
[Problems to be solved by the invention]
However, in an abnormality monitoring device that encodes an image after performing such moving object extraction, the load of the process of extracting the moving object is heavy, so that the power consumption increases if the extraction operation is always performed. There was a problem.
[0006]
Furthermore, in the existing abnormality monitoring device that detects the occurrence of abnormality using the image from the video camera, it is necessary to always analyze the captured image, and thus there is a disadvantage that it is not possible to stop moving image capturing and image analysis. .
SUMMARY OF THE INVENTION The present invention has been made in view of the above-described problems, and has as its object to reduce the power consumed for processing a moving image while maintaining good accuracy in detecting an abnormality in a monitoring area. I do.
[0007]
[Means for Solving the Problems]
The abnormality monitoring device of the present invention analyzes an image generated by photographing a monitoring area, performs an abnormality detection, collects sound in the monitoring area, and performs an abnormality detection in the monitoring area by voice. The monitoring device is characterized in that the abnormality detection operation by the video is started by using the abnormality detection by the audio as a trigger.
According to another feature of the present invention, a fixed video camera apparatus for photographing the entire predetermined monitoring area, and a zoom video camera apparatus with a pan head capable of zooming up and photographing a specific area in the monitoring area A zoom video camera control means for controlling the operation of the zoom video camera device with the camera platform, a plurality of microphone devices for collecting sound in a specific area in the monitoring area, the zoom video camera device with the camera platform, Abnormality detecting means for detecting an abnormality based on images and sounds collected by the fixed video camera device and the plurality of microphone devices; an image captured by the fixed video camera device and an image of a monitoring area captured in advance Moving image extracting means for extracting a moving image representing a moving object in the monitoring area, A video compression encoding means for compressing and encoding a moving image captured by a camera device, a moving image captured by a fixed video camera device, and a moving image output from the moving image extracting means to generate a compressed video signal; Compression encoding means for compressing and encoding audio collected by the microphone device to generate a compressed audio signal; and a compressed video signal compressed by the video compression encoding means and a compression compressed by the audio compression encoding means. Superimposing an audio signal, and transmitting data to a monitoring center via a communication line together with abnormality occurrence information, thereby notifying that an abnormality has occurred in the monitoring area. When the energy of the audio signal obtained from each of the plurality of microphone devices becomes equal to or greater than a predetermined threshold value, the abnormality detection unit includes And controlling the video camera device and the fixed video camera device to activate the moving image extraction unit, the video compression encoding unit, the audio compression encoding unit, and the data transmission unit. I have.
[0008]
The abnormality monitoring method of the present invention analyzes an image generated by photographing a monitoring area, performs an abnormality detection, collects sound in the monitoring area, and detects an abnormality in the monitoring area by voice. In the monitoring method, a control process is performed such that the abnormality detection operation by the video is started by using the abnormality detection by the audio as a trigger.
Another feature of the present invention is a process of photographing the entire predetermined monitoring area with a fixed video camera device, and a zoom video with a pan head capable of photographing by zooming up a specific area in the monitoring area. Processing for photographing using a camera device, zoom video camera control processing for controlling the operation of the zoom video camera device with a camera platform, and sound collection for collecting sound in a specific area in the monitoring area with a plurality of microphone devices. Processing, an abnormality detection process of detecting an abnormality based on video and audio collected by the zoom video camera device with the camera platform, the fixed video camera device, and the plurality of microphone devices, and shooting by the fixed video camera device. A moving image for extracting a moving image representing a moving object in the monitoring area based on a difference between the image and a previously captured image of the monitoring area. Image extraction processing, compression encoding of a moving image photographed by the zoom video camera device with the camera platform, a moving image photographed by the fixed video camera device, and a moving image output from the moving image extracting means, to generate a compressed video signal. A video compression encoding process to generate, an audio compression encoding process to compress and encode audio collected by the plurality of microphone devices to generate a compressed audio signal, and a compressed video signal compressed by the video compression encoding process And data transmission for notifying that an abnormality has occurred in the monitoring area by superimposing the compressed audio signal compressed in the audio compression encoding process and transmitting the superimposed information together with abnormality occurrence information to a monitoring center via a communication line. And an abnormality monitoring method for performing the processing, wherein the abnormality detection processing is performed when energy of a sound signal obtained from each of the plurality of microphone devices is reduced. When a predetermined threshold or more, the shooting process by the head-mounted zoom video camera device and the fixed video camera device, the moving image extraction process, the video compression encoding process, the audio compression encoding process, the data Transmission processing is executed.
[0009]
The computer program of the present invention analyzes an image generated by photographing a monitoring area to perform abnormality detection, collects sound in the monitoring area, and performs abnormality detection in the monitoring area by voice. A computer program for causing a computer to execute the method, wherein the computer is configured to execute a control process for starting the abnormality detection operation based on the video using the abnormality detection based on the audio as a trigger.
Another feature of the present invention is a process of photographing the entire predetermined monitoring area with a fixed video camera device, and a zoom video with a pan head capable of photographing by zooming up a specific area in the monitoring area. Processing for photographing using a camera device, zoom video camera control processing for controlling the operation of the zoom video camera device with a camera platform, and sound collection for collecting sound in a specific area in the monitoring area with a plurality of microphone devices. Processing, an abnormality detection process of detecting an abnormality based on video and audio collected by the zoom video camera device with the camera platform, the fixed video camera device, and the plurality of microphone devices, and shooting by the fixed video camera device. A moving image for extracting a moving image representing a moving object in the monitoring area based on a difference between the image and a previously captured image of the monitoring area. Image extraction processing, compression encoding of a moving image photographed by the zoom video camera device with the camera platform, a moving image photographed by the fixed video camera device, and a moving image output from the moving image extracting means, to generate a compressed video signal. A video compression encoding process to generate, an audio compression encoding process to compress and encode audio collected by the plurality of microphone devices to generate a compressed audio signal, and a compressed video signal compressed by the video compression encoding process And data transmission for notifying that an abnormality has occurred in the monitoring area by superimposing the compressed audio signal compressed in the audio compression encoding process and transmitting the superimposed information together with abnormality occurrence information to a monitoring center via a communication line. A computer program for causing a computer to execute an abnormality monitoring method for performing the processing, wherein the abnormality detection processing comprises: When the energy of the audio signal obtained from each of the devices is equal to or more than a predetermined threshold, the image capturing process by the zoom video camera device and the fixed video camera device with the camera platform, the moving image extraction process, and the video compression encoding process are performed. The computer is configured to execute the voice compression encoding process and the data transmission process.
[0010]
A computer-readable recording medium according to the present invention stores the computer program described above.
[0011]
BEST MODE FOR CARRYING OUT THE INVENTION
Next, an embodiment of an abnormality monitoring device, an abnormality monitoring method, a computer program, and a computer-readable recording medium of the present invention will be described with reference to the accompanying drawings.
FIG. 1 is a configuration diagram illustrating the first embodiment and illustrating a configuration example of an abnormality monitoring device. In the configuration shown in FIG. 1, reference numeral 1 denotes a zoom video camera with a camera platform, which can zoom in on a specific area in a monitoring range and shoot an image according to a control signal transmitted from the camera control unit 2. The moving image signal photographed by the zoom video camera 1 with the camera platform is sent to the moving image compression unit 3.
[0012]
Reference numeral 2 denotes a camera control unit which appropriately sends a control signal to the zoom camera 1 with a pan head according to a camera control command transmitted via the bus 10. Reference numeral 3 denotes a moving image compression unit, which compresses and encodes a moving image signal transmitted from the zoom camera 1 with the camera platform and the moving object extracting unit 5 into an appropriate format, and compresses and encodes moving image data in accordance with a control signal transmitted from the CPU 15 to the bus 10. Can be transmitted to each component as appropriate.
[0013]
In the present embodiment, an MPEG-4 video encoding method is used as a moving image compression method. By using the MPEG-4 video encoding method, it is possible to compress and encode a moving image of an arbitrary shape extracted by the moving object extracting unit 5 as it is.
[0014]
Reference numeral 4 denotes a fixed camera, which captures an image of the entire monitoring range in the present embodiment and sends it to the moving object extracting unit 5. Reference numeral 5 denotes a moving object extracting unit which analyzes a difference between a video signal transmitted from the fixed camera 4 and a background still image prepared in advance to extract an image of a moving object captured in the video. , To the moving image compression unit 3.
[0015]
Reference numeral 6 denotes a microphone device, a plurality of which are installed in the monitoring area. The microphone device 6 collects sounds generated near each installation location, and transmits an audio signal to the background noise filter 7. The background noise filter 7 removes background noise such as air-conditioning sound and mechanical sound from each audio signal transmitted from the plurality of microphone devices 6, and transmits the same to a sound pressure / position determination mixer 8.
[0016]
The sound pressure / position determination mixer 8 measures the sound pressure of each sound signal sent from the background noise filter 7, and sends the sound pressure value of the sound signal with the largest sound pressure to the CPU 15 via the bus 10. At the same time, all of the audio signals are appropriately mixed and sent to the audio compression unit 9.
[0017]
The audio compression unit 9 compresses and encodes the audio signal transmitted from the sound pressure / position determination mixer 8 into an appropriate format, and converts the moving image data, which has been compression-encoded according to the control signal sent from the CPU 15, via the bus 10 as appropriate. Send to element.
[0018]
The bus 10 transfers an address signal indicating a component to be controlled by the CPU 15, transfers a control signal of each component to be controlled by the CPU 15, and performs data transfer between components.
[0019]
Reference numeral 11 denotes a data transmission unit, which is a device for connecting the abnormality monitoring device of the present invention to an external system via a LAN, the Internet, or the like. The abnormality monitoring device of the present embodiment can superimpose the compressed video and audio to a monitoring center, a security room, or the like via this connection as necessary.
[0020]
Reference numeral 12 denotes a RAM, which is a writable random access memory. A temporary storage of various data from each component and a program in which various processes in the present embodiment are described are read, and the CPU 15 is used to perform various processes based on the programs.
[0021]
Reference numeral 13 denotes a ROM, which is a fixed read-only memory. The ROM 13 stores a basic I / O program in the configuration example of the present embodiment. An external storage unit 14 is an external storage area for storing data, programs, and the like. Data and programs are stored as needed, and the stored data and programs are called up when necessary.
[0022]
The CPU 15 performs calculations, logic judgments, and the like for monitoring processing, and controls each component connected to the bus via ten buses. Note that, in the present embodiment, all determinations of abnormality detection are performed by the CPU 15.
[0023]
Reference numeral 16 denotes a device control unit. The device connected to the device control unit 16 is controlled by the instruction of the CPU 15 transmitted via the bus 10, and signals and data output from the connected device are transmitted to the CPU 10 and the external device via the bus 10. The data is appropriately transferred to each component mainly including the storage unit.
[0024]
Reference numeral 17 denotes a media drive. The programs and data recorded on the recording medium 18 are read by the media drive 17 and loaded into the abnormality monitoring device. Various data such as compressed video and audio stored in the external storage unit 14 can be written to the recording medium 18 through the media drive 17.
[0025]
The recording medium 18 is specifically a DVD-ROM, DVD-RAM, DVD-R, DVD-RW, DVD + RW, DVD-VIDEO, DVD-AUDIO, CD-DA, CD-ROM, CD-V. , CD-R, CD-RW, etc., are collectively referred to as DVD standard or CD standard media. In the present embodiment, the recording medium 18 is used for reading and writing large amounts of data such as related data or programs.
[0026]
The abnormality monitoring device according to the present invention, which includes the above components, operates in response to a voice input from the microphone device 6. When the voice input is supplied to the microphone 6, the background noise filter 7 and the sound pressure An interrupt signal is sent to the CPU 15 via the position determination mixer 8. As a result, the CPU 15 reads various control signals stored in the ROM 13 and performs various controls according to the control signals.
[0027]
The device according to the present embodiment operates by the CPU 15 executing a basic I / O program, an OS, and a monitoring processing program. The basic I / O program is written in the ROM 13, and the OS is written in the external storage unit 14. When the power of the apparatus is turned on, the OS is read from the external storage unit 14 into the RAM 12 by the IPL (initial program loading) function in the basic I / O program, and the operation of the OS is started.
[0028]
This monitoring processing program is program-coded based on the flowchart of the monitoring processing procedure shown in FIG.
FIG. 2 is a configuration diagram showing the contents of the recording medium 18 when the present monitoring processing program and related data are recorded on the recording medium 18.
[0029]
In the present embodiment, the monitoring processing program and the related data are recorded on the recording medium 18. As shown in the figure, in the head area of the recording medium 18, volume information and directory information of the recording medium 18 are recorded, and thereafter, the monitoring processing program, which is the contents of the recording medium 18, and the monitoring processing program related data. Is recorded.
[0030]
FIG. 3 is a schematic diagram for introducing the present monitoring processing program into the abnormality monitoring device of the present embodiment. The monitoring processing program and related data recorded on the recording medium 18 can be loaded into the abnormality monitoring device of the present embodiment through the media drive 17 as shown in FIG.
[0031]
When the recording medium 18 is set in the media drive 17, the monitoring processing program and related data are read from the recording medium 18 under the control of the OS and the basic I / O program, and stored in the external storage unit 14. Thereafter, at the time of restart, these pieces of information are loaded into the RAM 12 and become operable.
[0032]
FIG. 4 shows a memory map in a state where the monitoring processing program is loaded into the RAM 12 and is executable. At this time, the head area control table 19, sound pressure value 20, and position ID 21 exist in the work area on the RAM 12. Among these, the pan head control table 19 is a table for controlling the pan head of the zoom video camera 1 with a pan head, and the control contents will be described later with reference to FIG.
[0033]
In the sound pressure value 20, the sound pressure value of the sound signal having the highest sound pressure among the sound signals collected by the microphone 6 is sequentially updated and stored. In the position ID 21, the identification number of the microphone 6 that has collected the audio signal having the highest sound pressure is sequentially updated and stored.
[0034]
FIG. 5 is a configuration example of the camera platform control table 19 in the present embodiment. As illustrated, in the present embodiment, each data stored in the camera platform control table 19 is configured by a position ID, a pan angle, and a tilde angle. The position ID is an identification symbol uniquely assigned to each position in the monitoring area where the microphone 6 is installed.
[0035]
In addition, the pan angle and the tilt angle indicate the up, down, left, and right swing angles when the zoom camera 1 with the camera platform shoots the location indicated by the position ID, and are predetermined and stored when the microphone 6 is installed. Value. In the present embodiment, the reference point of each angle in the table is 0 ° in front of the pan head, panning is in the + direction on the right, and tilt is in the + direction on the top. This table can be searched using the position ID as a key.
[0036]
Hereinafter, the procedure of the monitoring process according to the present embodiment will be described with reference to a flowchart.
FIG. 6 is a flowchart illustrating a processing procedure of the entire monitoring process according to the present embodiment.
First, in step S1, each sound signal collected by the microphone device 6 is passed through a background noise filter 7 to remove background noise, and the sound pressure / position determination mixer 8 controls the sound pressure of the sound signal having the largest sound pressure. Is measured, and a sound detection process of transmitting the sound pressure value and the position ID of the microphone device that has collected the sound with the highest sound pressure to the CPU 15 via the bus 10 is performed.
[0037]
In the sound detection processing, the sound signals are mixed appropriately by the sound pressure / position determination mixer 8 at the same time, and the sound signals compressed by the sound compression unit 9 are stored in the external storage unit 14 via the bus 10 as appropriate. . Upon completion of the voice detection process, the process proceeds to step S2.
[0038]
In step S2, the CPU 15 performs a process of determining whether the sound pressure value measured in step S1 exceeds a predetermined threshold. At this time, the sound pressure value and the position ID are simultaneously stored in the areas denoted by reference numerals 20 and 21 on the RAM 12 by the CPU 15. If the result of this determination is that the sound pressure value is equal to or less than the threshold, the process returns to step S1 described above. On the other hand, if the sound pressure value is equal to or larger than the threshold, the process proceeds to step S3.
[0039]
In step S3, by transmitting a control signal from the CPU 15, the video processing unit configured by the zoom video camera 1 with the camera platform, the camera control unit 2, the moving image compression unit 3, the fixed camera 4, and the moving object extraction unit 5 is started. Is performed. When these processes are completed, the process proceeds to steps S4 and S5.
[0040]
The process in step S4 is a moving object extraction process in which the moving object extracting unit 5 extracts a moving object by calculating a difference between a video captured by the fixed camera 4 and a background still image created in advance. The video of the moving object extracted by the moving object extraction processing is immediately sent to the moving image compression unit 3, and is MPEG-4 compression-coded at the same time as the moving image captured by the zoom video camera 1 with a camera platform, and is transmitted via the bus 10. It is stored in the external storage unit 14. Upon completion of the process, the process proceeds to step S6.
[0041]
On the other hand, the process of step S5 is a process of searching the camera platform control table 19 on the RAM 12 based on the position ID on the RAM 12, and controlling the orientation of the zoom video camera 1 with the camera platform according to the obtained control information. Details of this processing will be described later with reference to FIG. When the camera platform control process is completed, the process proceeds to step S6.
[0042]
In step S6, the CPU 15 analyzes the moving image of the moving object extracted in step S5, and performs a process of determining whether there is actually an intruder or the like. This type of processing is generally performed in such an abnormality monitoring device, and is well-known, so detailed description will be omitted. If the result of this determination is that a moving object such as an intruder has been extracted, it is considered that an abnormality has occurred, and the process proceeds to step S7. On the other hand, if the result of determination in step S6 is that no moving object has been extracted, the process proceeds to step S9.
[0043]
In step S7, a process of transmitting the occurrence of the abnormality to an external monitoring center, security room, or the like via the data transmission unit 11 is performed. In this transmission processing, the coded video and audio stored in the external storage unit 14 are transmitted via a network such as a LAN or INTERNET together with the abnormality occurrence information. Upon completion of the transmission process, the process proceeds to step S8.
[0044]
In step S8, the size of the moving object extracted in step S5 on the image is measured, and the zoom control of the zoom video camera 1 with the camera platform is performed based on the measured size. Details of this zoom control processing will be described later with reference to FIG. Upon completion of the zoom control processing, the process returns to step S1, and the above-described processing is repeated.
[0045]
On the other hand, when the process proceeds to step S9, according to the determination in step S6, a process of stopping the operation of each component that performs the video processing started in step S3 is performed. Therefore, in the abnormality monitoring device according to the present embodiment, when no abnormality is recognized, the power consumed by the image processing can be minimized. The process of stopping the operation of each component is executed by sending a stop signal from the CPU 15 to each component.
[0046]
In the present embodiment, the components that perform the audio processing continue to operate thereafter. Further, the compression-encoded video and audio data stored in the external storage unit 14 from the start in step S3 to the stop in step S9 is discarded in this process. By doing so, it is possible to prevent extra compressed encoded data from being stored in the external storage unit 14. Upon completion of the process, the process proceeds to S1.
[0047]
FIG. 7 is a flowchart for explaining in detail the procedure of the camera platform control process in step S4 according to the present embodiment.
First, in step S11, a process of searching the camera platform control table 19 on the RAM by the position ID 21 on the RAM is performed. Since the position IDs 21 on the table are prepared by the number of microphones 6 installed, the pan angle and the tilde angle of the camera platform are uniquely searched.
[0048]
Upon completion of the search process, the process proceeds to step S12. In step S12, a control command is appropriately created from the pan and tilde angles of the camera platform searched in step S11, and the created control command is transmitted to the camera control unit 2 via the bus 10. Upon completion of the command transmission process, the process proceeds to step S13.
[0049]
In step S13, the camera control unit 2 performs a process of operating the camera platform of the zoom video camera 1 with camera platform in accordance with the control command created in step S12. As a result, the orientation of the zoom video camera 1 with the camera platform is directed to the place where the microphone 6 that collects the audio signal of the highest sound pressure is installed. When the pan head operation processing is completed, the pan head control processing ends and the routine returns.
[0050]
FIG. 8 is a detailed flow of the zoom control processing in step S8 in the present embodiment.
First, in step S21, a process of calculating, in pixel units, the size of a rectangle in which an image fits is performed from the moving image of the moving object extracted in step S5. This type of processing is generally performed in moving image processing, and is well-known, so detailed description will be omitted. Upon completion of the rectangle calculation process, the process proceeds to step S22.
[0051]
In step S22, the CPU 15 uses the size of the rectangle calculated in step S21 and the autofocus focal length of the zoom video camera 1 with a pan head to display an entire moving object in a screen shot by the zoom video camera 1 with a pan head. A process of calculating the zoom factor of the zoom video camera 1 with a camera platform is performed so that the zoom factor can be just fit. This kind of calculation processing is generally performed as a control method of the zoom video camera 1 with a camera platform, and is well-known, so that detailed description will be omitted. Upon completion of the calculation process, the process proceeds to step S23.
[0052]
In step S23, a process of creating a zoom control command from the zoom factor calculated in step S22 and sending it to the camera control unit 2 is performed. Upon completion of the transmission process, the process proceeds to step S24.
[0053]
In step S24, the zoom control of the zoom video camera 1 with the camera platform is actually performed according to the zoom control command created in step S23. This operation makes it possible to automatically capture a detailed image of the moving object, and the intruder can be captured in a higher-resolution moving image. When the zoom processing is completed, the zoom control processing is completed and the routine returns.
[0054]
Next, a second embodiment of the present invention will be described with reference to FIGS.
FIG. 9 is a diagram illustrating a configuration example of a moving image bit rate control table according to the present embodiment. As shown in FIG. 9, in the present embodiment, each data stored in the moving image bit rate control table 220 on the RAM shown in FIG. 10 is composed of a sound pressure value and a moving image bit rate. I have.
[0055]
Among them, the sound pressure value is a sound pressure value measured by the sound pressure / position determination mixer 8, and is a value expressed in dB. The moving image bit rate indicates the bit rate of the moving image bit stream created in the moving image compression unit 3. The moving image bit rate control table shown in FIG. 9 can be searched using sound pressure as a key.
[0056]
FIG. 10 shows a memory map of the monitoring apparatus in a state where the monitoring processing program according to the present embodiment is loaded into the RAM 12 and becomes executable. At this time, the head area control table 219, bit rate control table 220, sound pressure value 221, and position ID 222 exist in the work area on the RAM 12. Among them, the pan head control table 219 is the same as that described above with reference to FIG. The video bit rate control table 220 is as described above with reference to FIG.
[0057]
In the sound pressure value 221, the sound pressure value of the sound signal having the highest sound pressure among the sound signals collected by the microphone 6 is sequentially updated and stored. In the position ID 222, the identification number of the microphone 6 that has collected the audio signal with the highest sound pressure is sequentially updated and stored.
[0058]
Hereinafter, the procedure of the abnormality monitoring process according to the present embodiment will be described with reference to the flowchart in FIG.
FIG. 11 is a flowchart illustrating a processing procedure of the entire monitoring process according to the present embodiment.
First, in step S201, each sound signal collected by the microphone 6 is passed through a background noise filter 7 to remove background noise, and the sound pressure / position determination mixer 8 controls the sound pressure of the sound signal having the highest sound pressure. Is a sound detection process of transmitting the sound pressure value and the position ID 221 of the microphone 6 that has collected the sound with the highest sound pressure to the CPU 15 via the bus 10.
[0059]
In this process, at the same time, each audio signal is appropriately mixed by the sound pressure / position determination mixer 8, and the audio signal compressed by the audio compression unit 9 is appropriately stored in the external storage unit 14 via the bus 10. When this sound detection processing ends, the processing proceeds to step S202.
[0060]
Next, in step S202, the CPU 15 determines whether or not the sound pressure measured in step S201 exceeds a prescribed threshold. At this time, the CPU 15 simultaneously stores the sound pressure value 221 and the position ID 222 in the camera platform control table 219 and the sound pressure value 221 on the RAM 12, respectively. In the case of the present embodiment, since the threshold value of the sound pressure is 20 dB, if the sound pressure value is equal to or less than 20 dB, the process returns to step S201. If the sound pressure value is equal to or more than 20 dB, the process proceeds to step S203.
[0061]
In step S203, a moving image bit rate change process for changing the moving image bit rate based on the sound pressure value 221 stored in the RAM is performed. Details of this processing will be described later with reference to FIG. Upon completion of the moving image bit rate changing process, the process proceeds to steps S204 and S205.
[0062]
In step S204, the moving object extraction unit 5 performs a moving object extraction process of extracting a moving object by calculating a difference between a video captured by the fixed camera 4 and a background still image created in advance. The video of the moving object extracted by the moving object extraction processing is immediately transmitted to the moving image compression unit 3, and is compression-encoded by MPEG-4 at the same time as the moving image captured by the zoom video camera 1 with a camera platform, and is transmitted via the bus 10. And stored in the external storage unit 14. When this moving object extraction processing is completed, the processing proceeds to step S206.
[0063]
On the other hand, in step S205, the pan head control table 219 in the RAM is searched according to the position ID 222 in the RAM, and the direction of the zoom video camera with pan head 1 is controlled according to the obtained control information as described above. I do. When this pan head control process is completed, the process proceeds to step S206.
[0064]
In step S206, the CPU 15 analyzes the moving image of the moving object extracted in step S205, and performs moving object moving image processing for determining whether there is actually an intruder or the like. This type of processing is generally performed in such a monitoring device, and is well-known, so detailed description will be omitted. As a result of this determination, if a moving object such as an intruder has been extracted, it is determined that an abnormality has occurred, and the process proceeds to step S207. If no moving object has been extracted, the process returns to step S201 to repeat the above-described processing.
[0065]
In step S207, a process of transmitting the occurrence of the abnormality to an external monitoring center or security room via the data transmission unit 11 is performed. In this transmission process, the coded video and audio accumulated in the external storage unit 14 are transmitted via a network such as a LAN or INTERNET together with the abnormality occurrence information. Upon completion of the transmission process, the process proceeds to step S208.
[0066]
In step S208, the size of the moving object extracted in step S205 on the image is measured, and the zoom control of the zoom camera 1 with the camera platform is performed accordingly. Details of this processing will be described later with reference to FIG. Upon completion of the zoom control process, the process returns to step S201, and the above-described process is repeated.
[0067]
FIG. 12 is a detailed flowchart of the moving image bit rate changing process in step S203 in the present embodiment.
When the moving image bit rate changing process is started, first, in step S311, a process of searching the moving image bit rate control table 220 on the RAM based on the sound pressure value 220 on the RAM is performed. In the present embodiment, the maximum data not exceeding the sound pressure value 221 is selected as the data of the moving image bit rate control table 220 by this search.
[0068]
For example, when the value stored in the sound pressure value 221 is 35 dB, a moving image bit rate of 96 kbps, which is a column of the sound pressure value 30 dB on the moving image bit rate control table, is selected as a search result. Upon completion of the moving image bit rate changing process, the process proceeds to step S312.
[0069]
In step S312, the CPU 15 creates a control command for changing the bit rate based on the moving image bit rate selected in step S311 and transmits the control command to the moving image compression unit 3 via the bus 10. Upon completion of this command transmission process, the flow advances to step S313.
[0070]
In step S313, the moving image compression unit 3 performs a process of changing the moving image compression encoding bit rate according to the control command transmitted in step S312. As a result of the bit rate change processing, the bit rate of the bit stream output from the moving image compression unit 3 is changed. When this process ends, the moving image bit rate change process ends and the process returns.
[0071]
Note that the present invention is not limited to the above-described embodiment. That is, in the above-described embodiment, only sound and video are used for abnormality detection determination. However, other sensors, such as a temperature sensor, an infrared sensor, a pressure sensor, and a magnetic sensor, are used to increase abnormality detection accuracy. Even when used together, the present invention can be applied to the operation stop control of the video processing part and the zoom camera control, and the same effects can be obtained. In addition, the present invention can be implemented with various modifications without departing from the gist thereof.
[0072]
(Another embodiment of the present invention)
The present invention may be applied to a system including a plurality of devices or an apparatus including one device.
[0073]
In addition, a transmission medium such as the Internet or the like is transmitted to a computer in an apparatus or a system connected to the various devices so as to operate various devices so as to realize the functions of the above-described embodiments. A program implemented by supplying software program codes for realizing the functions of the above-described embodiments via a computer (CPU or MPU) of the system or apparatus according to the program stored in the computer or the MPU. Are included in the scope of the present invention.
[0074]
In this case, the program code of the software implements the functions of the above-described embodiment, and the program code itself and a unit for supplying the program code to the computer, for example, the program code is stored. The storage medium described constitutes the present invention. As a storage medium for storing such a program code, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a magnetic tape, a nonvolatile memory card, a ROM, and the like can be used.
[0075]
When the computer executes the supplied program code, not only the functions described in the above-described embodiments are realized, but also the OS (Operating System) or other operating system running on the computer. Needless to say, the program code is also included in the embodiment of the present invention when the functions described in the above-described embodiment are implemented in cooperation with application software or the like.
[0076]
Further, after the supplied program code is stored in a memory provided in a function expansion board of a computer or a function expansion unit connected to the computer, a CPU provided in the function expansion board or the function expansion unit based on the instruction of the program code. The present invention also includes a case where the functions of the above-described embodiments are implemented by performing part or all of the actual processing.
[0077]
【The invention's effect】
As described above, according to the present invention, in an abnormality monitoring device that compresses and transmits video and audio when an abnormality is detected, a video processing portion that is normally heavy is stopped, and the audio is transmitted to a monitoring area by audio. Since the video processing section is started only when an abnormality is recognized, the power consumption in the video processing section can be suppressed and the abnormality detection accuracy of the monitoring area can be maintained with high accuracy.
Further, according to another feature of the present invention, the location where the audio abnormality is recognized is accurately captured by the zoom video camera device with the pan head, so that the intruder or the abnormal state can be automatically displayed with a more detailed image. Can be caught.
[0078]
Further, according to another feature of the present invention, the bit rate of the video compression encoding is sequentially controlled according to the increase and decrease of the sound pressure. , The change of the intruder or the monitoring area can be captured in a clearer moving image.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating an embodiment of the present invention and a configuration example of an abnormality monitoring device according to the embodiment;
FIG. 2 is a diagram illustrating an example of a content configuration of a medium storing a monitoring processing program according to an embodiment.
FIG. 3 is a diagram showing an image of introducing a monitoring processing program into an abnormality monitoring device in the embodiment.
FIG. 4 is a diagram showing a memory map configuration of the abnormality monitoring device in the embodiment.
FIG. 5 is a diagram illustrating an example of a camera platform control table according to the embodiment;
FIG. 6 is a flowchart illustrating a processing procedure of the abnormality monitoring device according to the embodiment.
FIG. 7 is a flowchart illustrating a procedure of a camera platform control process according to the embodiment;
FIG. 8 is a flowchart illustrating a procedure of a zoom control process according to the embodiment;
FIG. 9 is a diagram illustrating an example of a moving image bit rate control table according to the second embodiment.
FIG. 10 is a diagram illustrating a memory map configuration of an abnormality monitoring device according to a second embodiment.
FIG. 11 is a flowchart illustrating a processing procedure of the abnormality monitoring device according to the second embodiment.
FIG. 12 is a flowchart illustrating a procedure of a moving image bit rate change process according to the second embodiment.
[Explanation of symbols]
1 Zoom video camera with head
2 Camera control unit
3 Video compression section
4 Fixed video camera
5 Moving body extraction unit
6 microphone
7 Background noise filter
8 Sound pressure / position determination mixer
9 Audio compression unit
10 Bus
11 Data transmission unit
12 RAM
13 ROM
14 External storage unit
15 CPU
16 Device control unit
17 Media Drive
18 Recording media
19 Pan head control table on RAM
20 Sound pressure value on RAM
21 Position ID on RAM

Claims

An abnormality monitoring device that performs an abnormality detection by analyzing a video generated by photographing a monitoring region, collects audio in the monitoring region, and performs an abnormality detection in the monitoring region by audio.
An abnormality monitoring device characterized in that the abnormality detection operation by the video is started by using the abnormality detection by the voice as a trigger.

A fixed video camera device for photographing the entire predetermined monitoring area,
A zoom video camera device with a pan head capable of shooting by zooming up a specific area in the monitoring area,
Zoom video camera control means for controlling the operation of the zoom video camera device with the camera platform,
A plurality of microphone devices that collect sound of a specific area in the monitoring area,
Anomaly detection means for detecting anomalies based on the video and audio collected by the zoom video camera device with the camera platform, the fixed video camera device and the plurality of microphone devices,
A moving image extracting means for extracting a moving image representing an object moving in the monitoring region by a difference between the image captured by the fixed video camera device and the image of the monitoring region captured in advance,
A video compression code that generates a compressed video signal by compression encoding a moving image captured by the zoom video camera device with a camera platform, a moving image captured by a fixed video camera device, and a moving image output from the moving image extraction unit. Means,
Audio compression encoding means for compressing and encoding audio collected by the plurality of microphone devices to generate a compressed audio signal,
The monitoring is performed by superimposing the compressed video signal compressed by the video compression encoding unit and the compressed audio signal compressed by the audio compression encoding unit, and transmitting the superimposed information together with abnormality occurrence information to a monitoring center via a communication line. An abnormality monitoring device comprising: a data transmission unit that notifies that an abnormality has occurred in an area,
When the energy of the audio signal obtained from each of the plurality of microphone devices is equal to or greater than a predetermined threshold, the abnormality detection unit, the zoom video camera device and the fixed video camera device with the camera platform, the moving image extraction unit, An abnormality monitoring device, wherein the video compression encoding unit, the audio compression encoding unit, and the data transmission unit are controlled to be activated.

The abnormality detecting means is configured to detect an abnormality in the monitoring area when a moving image is output from the moving image extracting means when a sound pressure of an audio signal obtained from each of the plurality of microphone devices exceeds a certain threshold. 3. The abnormality monitoring device according to claim 2, wherein the abnormality transmission information and the compressed and coded compressed video signal and compressed audio signal are transmitted by the data transmission unit assuming that the abnormality has been detected.

The abnormality monitoring device according to claim 2, wherein the video compression encoding unit includes a bit rate control unit that sequentially controls a level of an encoding bit rate based on a level of a sound pressure of the audio signal.

The zoom video camera control means, when the sound pressure of the audio signal obtained from each of the plurality of microphone devices exceeds a certain threshold, analyzes the audio signal obtained from each of the plurality of microphone devices, The zoom video camera device with the camera platform is pointed in the direction in which the microphone from which the sound signal with high energy was obtained is installed, and a zoom factor is calculated from the moving image area extracted by the moving image extracting means, thereby calculating the cloud. The abnormality monitoring device according to any one of claims 2 to 4, wherein the zoom operation of the table-mounted zoom video camera device is controlled.

The abnormality monitoring device according to any one of claims 2 to 5, wherein the video compression encoding unit compresses and encodes the video using an MPEG-4 moving image compression method.

An abnormality monitoring method for analyzing an image generated by photographing a monitoring area to perform abnormality detection, collecting sound in the monitoring area, and performing abnormality detection in the monitoring area by audio,
An abnormality monitoring method, characterized in that control processing is performed such that an abnormality detection operation by the video is started by using the abnormality detection by voice as a trigger.

A process of photographing the entire predetermined monitoring area with a fixed video camera device,
A process of shooting using a zoom video camera device with a pan head capable of shooting by zooming up a specific area in the monitoring area,
A zoom video camera control process for controlling the operation of the zoom video camera device with the camera platform,
Sound collection processing for collecting sound in a specific area in the monitoring area by a plurality of microphone devices,
Anomaly detection processing for detecting anomalies based on the video and audio collected by the head-mounted zoom video camera device, the fixed video camera device and the plurality of microphone devices,
A moving image extraction process for extracting a moving image representing an object moving in the monitoring region by a difference between the image captured by the fixed video camera device and the image of the monitoring region captured in advance,
A video compression code that generates a compressed video signal by compression encoding a moving image captured by the zoom video camera device with a camera platform, a moving image captured by a fixed video camera device, and a moving image output from the moving image extraction unit. Conversion processing,
Audio compression encoding processing for compressing and encoding audio collected by the plurality of microphone devices to generate a compressed audio signal;
By superimposing the compressed video signal compressed in the video compression encoding process and the compressed audio signal compressed in the audio compression encoding process, and transmitting the information together with abnormality occurrence information to a monitoring center via a communication line, An abnormality monitoring method for performing a data transmission process for notifying that an abnormality has occurred in a monitoring area,
The abnormality detection processing includes, when energy of an audio signal obtained from each of the plurality of microphone devices becomes equal to or greater than a predetermined threshold, photographing processing by the zoom video camera device with the camera platform and the fixed video camera device; An abnormality monitoring method, comprising executing a process, the video compression encoding process, the audio compression encoding process, and the data transmission process.

The abnormality detection process, when the sound pressure value of the audio signal obtained from each of the plurality of microphone devices exceeds a predetermined threshold value, if a moving image by the moving image extraction process is output, The abnormality monitoring method according to claim 8, wherein the abnormality occurrence information and the compression-encoded video signal and the audio signal are transmitted by the data transmission processing, assuming that an abnormality in the monitoring area has been detected. .

The abnormality monitoring method according to claim 8, wherein the video compression encoding process includes a bit rate control process for sequentially controlling a level of a coding bit rate according to a level of a sound pressure of the audio signal.

The zoom video camera control process, when the sound pressure value of the audio signal obtained from each of the plurality of microphone devices exceeds a predetermined threshold value, the audio signal obtained from each of the plurality of microphone devices Analyze, aim the zoom video camera device with the camera platform in the direction in which the microphone from which the audio signal with the largest energy was obtained is installed, and calculate the zoom factor from the moving image area extracted by the moving image extraction process. The abnormality monitoring method according to any one of claims 8 to 10, wherein a zoom operation of the zoom video camera device with the camera platform is controlled by calculation.

The abnormality monitoring method according to claim 8, wherein the video compression encoding process performs compression encoding using an MPEG-4 moving image compression method.

A computer that performs an abnormality monitoring method of analyzing an image generated by photographing a monitoring area to perform abnormality detection, collecting sound in the monitoring area, and detecting the abnormality in the monitoring area by sound. A computer program,
A computer program for causing a computer to execute a control process for starting an abnormality detection operation by the video triggered by the abnormality detection by the sound.

A process of photographing the entire predetermined monitoring area with a fixed video camera device,
A process of shooting using a zoom video camera device with a pan head capable of shooting by zooming up a specific area in the monitoring area,
A zoom video camera control process for controlling the operation of the zoom video camera device with the camera platform,
Sound collection processing for collecting sound in a specific area in the monitoring area by a plurality of microphone devices,
Anomaly detection processing for detecting anomalies based on the video and audio collected by the head-mounted zoom video camera device, the fixed video camera device and the plurality of microphone devices,
A moving image extraction process for extracting a moving image representing an object moving in the monitoring region by a difference between the image captured by the fixed video camera device and the image of the monitoring region captured in advance,
A video compression code that generates a compressed video signal by compression encoding a moving image captured by the zoom video camera device with a camera platform, a moving image captured by a fixed video camera device, and a moving image output from the moving image extraction unit. Conversion processing,
Audio compression encoding processing for compressing and encoding audio collected by the plurality of microphone devices to generate a compressed audio signal;
By superimposing the compressed video signal compressed in the video compression encoding process and the compressed audio signal compressed in the audio compression encoding process, and transmitting the information together with abnormality occurrence information to a monitoring center via a communication line, A computer program for causing a computer to execute an abnormality monitoring method of performing a data transmission process of notifying that an abnormality has occurred in a monitoring area, and
The abnormality detection processing includes, when energy of an audio signal obtained from each of the plurality of microphone devices becomes equal to or greater than a predetermined threshold, photographing processing by the zoom video camera device with the camera platform and the fixed video camera device, and extracting the moving image. A computer program for causing a computer to execute a process, the video compression encoding process, the audio compression encoding process, and the data transmission process.

A computer-readable recording medium storing the computer program according to claim 13.