JP2012058944A

JP2012058944A - 異常検知装置

Info

Publication number: JP2012058944A
Application number: JP2010200586A
Authority: JP
Inventors: Kazuyoshi Fukushi; 和義福士
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2010-09-08
Filing date: 2010-09-08
Publication date: 2012-03-22
Anticipated expiration: 2030-09-08
Also published as: JP5627962B2

Abstract

【課題】異常音に類似する様々な音響が存在する環境下においても、誤検知を頻発することない音響による異常検知装置を提供する。
【解決手段】監視領域にて生じている音響信号を取得する集音部と、集音部が集音した音響信号を分析し、所定の異常音を検出する音響分析部と、監視領域を含む領域の画像を順次取得する撮像部と、画像から人物像を抽出し、該人物像の数を算出する画像分析部と、音響分析部の異常音検出結果と画像分析部にて算出された人物像数とに基いて監視領域内の異常状態を判定する異常判定部と、異常判定部の判定結果を出力する出力部とから構成される音響による異常検知装置であって、異常判定部は、音響分析部にて所定の異常音と判定されたときに画像分析部にて複数の人物像を検出されていると異常状態と判定する。
【選択図】図２

Description

本発明は、音響情報に基づいて監視領域内の異常状態を検知する音響による異常検知装置に関する。

従来、集音部にて取得した音響信号から、強盗の強迫音声、銃声、客等の悲鳴などの異常波形をもった異常音を検知し、警備会社等へ通報する音響による異常検知装置が提案されている（特許文献１）。また、周囲の雑音による誤検知を低減するために、音響信号をスペクトル分析することにより、周囲の雑音から悲鳴の存在を検知する音響による異常検知装置も提案されている（特許文献２）。

特公平５−６７１８特開平９−２５１５８３

しかしながら、上記の従来の音響による異常検知装置は、音響信号のみから監視領域内の異常状態を検知しているため、周囲のアナウンス音やテレビ音等といった異常音に類似する音響信号を誤って検出してしまう問題があった。このような誤検知を低減するために、検出感度を下げると逆に失検知の要因となりかねないことから、検出感度による調整も困難であった。

ところで、発明者は、多くの強盗事案について事例分析した結果、強盗事案が発生した場合、悲鳴や銃声等の異常音が発生したとき少なくとも、２人以上の人物が周辺に所在していることに気がついた。すなわち、何らかの理由により独り号泣しているような悲鳴に似た音声などは、強盗事案という賊と被害者の２者以上の人物がかかわって生じる音声ではないということである。

そこで本発明は、上記のような異常音と周辺に所在する人数に着目し、異常音に類似する様々な音響が存在する環境下においても、誤検知を頻発することなく、監視領域内の異常状態を検出しうることを目的としたものである。

かかる課題を解決するために、重要物を保管している監視領域にて生じている音響信号を取得する集音部と、前記集音部が集音した前記音響信号を分析し、所定の異常音を検出する音響分析部と、前記監視領域を含む領域の画像を順次取得する撮像部と、前記画像から人物像を抽出し、該人物像の数を算出する画像分析部と、前記音響分析部の異常音検出結果と前記画像分析部にて算出された人物像数とに基いて前記監視領域内の異常状態を判定する異常判定部と、前記異常判定部の判定結果を出力する出力部とから構成される音響による異常検知装置であって、前記異常判定部は、前記音響分析部にて所定の異常音と判定されたときに前記画像分析部にて複数の前記人物像が検出されていると異常状態と判定することを特徴とした異常検知装置を提供する。

かかる構成により、本発明の音響分析部は、集音部によって集音された音響信号を分析することにより、監視領域で悲鳴等の異常音が発生したか否かを判定する。また、本発明の画像分析部は、撮像部にて取得された少なくとも監視領域を含む領域の画像を分析し、人物像を抽出して、当該人物像の数を算出する。そして、本発明の異常判定部は、音響分析部にて監視領域で悲鳴等の異常音が発生したと判定されたとき、画像分析部にて複数の人物像が検出されているならば異常状態と判定する。そして、本発明の出力部は、当該判定結果を出力する。
これにより、例えば、金庫等に保管されている重要物を奪おうとしている強盗によって従業員が威嚇された際に、音響分析部にて当該従業員の発した悲鳴を検出し、画像分析部にて強盗と従業員の複数の人物像を検出することにより、異常判定部は監視領域内が異常状態であると判定できる。一方、例えば、監視領域内に設置されているテレビ等からの悲鳴を音響分析部にて検出したとしても、画像分析部にて複数の人物像を検出できなければ、異常判定部は監視領域内が異常状態であると判定しない。このように、本発明は、たとえ監視領域内が異常音に類似する様々な音響の存在する環境であったとしても、複数の人物が存在しているか否かといった室内状況を考慮することによって、誤検知の頻発を抑えることができる。

また、本発明の好ましい態様として、前記音響分析部が検出する異常音が人の悲鳴音声であることとする。

上記のように、本発明の異常検知装置は、監視領域内の人物の所在情報を積極的に利用したことにより、異常音に類似する様々な音響が存在する環境下においても、誤検知を多発することなく、監視領域内の異常状態を検出することができる。

異常検知装置の構成と配置イメージを模式的に示した図管理装置の構成を示すブロック図移動軌跡情報を示す図制御部における処理を示すフローチャート複数人物像検出処理を示すフローチャート悲鳴検出処理を示すフローチャート異常判定処理を示すフローチャート

以下、本発明の一実施形態として、建物内の金庫が設置されている部屋内を監視領域とし、当該監視領域における音響情報と監視領域内の所定領域を撮像した画像情報とから監視領域内における異常状態を検知する場合の実施例について、図面を参照して説明する。

図１は、異常検知装置１の全体構成および配置について模式的に示した図である。異常検知装置１は、管理装置２、撮像装置３及び集音装置４によって構成される。
本実施例では、異常検知装置１は、金庫７が設置されている部屋内を監視領域とし、監視領域内において発生する異常音である悲鳴が検出されたときに、撮像装置３からの監視画像に複数の人物像が検出されている場合に、異常状態であると判定し、警備装置５を介して遠隔地に所在する警備センタ装置６へ異常通報する処理を行う。

管理装置２は、建物内の図示しない事務室や警備室等に設置され、管理装置２に接続された撮像装置３から送信された監視画像及び集音装置４から送信された音響信号に基づいて異常状態の検知処理を行う。また、管理装置２は、異常状態の検知時に、事務室等に所在する管理者や警備員等に音声や画像表示によって警報出力することにより、異常状態を報知する。さらに、管理装置２は、警備装置５に接続され、異常状態の検知時に警備装置５に異常信号を送信する。

撮像装置３は、ＣＣＤ素子やＣ−ＭＯＳ素子等の撮像素子、光学系部品等を含んで構成される所謂監視カメラである。撮像装置３は、室内の壁９の上部又は天井部に設置され、監視領域を斜め上方から俯瞰して撮像するよう設置される。好適には、撮像装置３は、撮像範囲が部屋（閉空間）の略全域であるよう設置される。撮像装置３は、監視領域を所定時間おきに撮像して監視画像を管理装置２に順次送信する。入力画像が撮像される時間間隔は例えば１／５秒である。

集音装置４は、マイクロフォン、増幅器及びＡ／Ｄ変換器等を含んで構成され、監視空間の音をデジタル信号（音響信号）に変換する電気回路である。集音装置４は、少なくとも監視領域を含む領域にて発生した音響を集音できる位置に設置され、当該音響を音響信号に変換して、管理装置２に出力する。なお、増幅器は、金庫７が設置された部屋内で悲鳴が発せられたときに出力される音響信号の音量が７０〜１００ｄＢの範囲内に納まる程度の増幅率に予め設定される。

なお、管理装置２と接続されている警備装置５は、監視領域と同じ建物内の図示しない事務室や警備室等に設置されている。警備装置５は、管理装置２からの異常信号を受信すると、公衆電話回線などの広域通信ネットワークを介して警備センタ装置６に当該異常を送信し、遠隔地にある図示しない警備センタに常駐する警備員に対して異常の発生を報知する。

図２は、管理装置２の構成を示している。管理装置２は、コンピュータ機能を有しており、記憶部２１、制御部２２、入力部２３、出力部２４及び通信部２５を備えている。

通信部２５は、ＬＡＮやＵＳＢ等の通信インタフェースであり、撮像装置３、集音装置４及び警備装置５と通信を行う。

入力部２３は、キーボードやマウス、タッチパネル、可搬記憶媒体の読み取り装置等の情報入力デバイスである。管理者等は、入力部２３を用いて、管理装置２に対して増幅率等の様々な設定情報や操作情報等を入力することができる。

出力部２４は、制御部２２による処理結果を様々な外部装置に出力するためのインタフェースである。出力部２４は、例えばスピーカやブザー等の音響出力装置と接続され、制御部２２からの指示により、当該音響出力装置に対して警告音の鳴動を実行させる異常信号を出力する。また、出力部２４は、例えばディスプレイ等の表示出力装置と接続され、制御部２２からの指示により、当該表示出力装置に対して警告メッセージを表示出力させる。管理者等は、警告出力として出力部２４からの表示出力や音声出力を確認することにより、監視領域内における異常状態を検知することができる。なお、管理者等は、表示出力を確認することにより、異常検知装置１の設定情報、監視領域における監視画像等を確認することもできる。
また、出力部２４は、外部の警備装置５に対して異常信号を送信する通信インタフェースを含んでもよい。これにより、制御部２２の処理によって異常状態が検知された場合に、管理装置２は、異常状態を知らせる信号を外部の監視センタなどに通知することができる。なお、この場合、出力部２４は、通信部２５と共通のインタフェース装置であってもよい。

記憶部２１は、ＲＯＭ、ＲＡＭ、ＨＤＤ等の情報記憶装置である。記憶部２１は、各種プログラムや各種データを記憶し、制御部２２との間でこれらの情報を入出力する。各種データには、母音特徴量２１１及び移動軌跡情報２１２が含まれる。

母音特徴量２１１は予め作成された母音の特徴量のデータであり、後述する母音抽出手段２２４において音響信号から母音を抽出するために参照される。母音特徴量２１１は母音の種類ごとに各母音の種類を表す識別子と対応付けて記憶されている。
母音特徴量２１１の元データは、多数の話者から採取した悲鳴の語尾のサンプル音響信号である。事前に、これらのサンプル音響信号のそれぞれから悲鳴の語尾の周波数特徴量を表すスペクトル包絡のパラメータを抽出し、母音の種類ごとに当該パラメータの分布を学習しておく。本実施例では、スペクトル包絡を表すパラメータとして８次のＬＰＣケプストラム（LPC：Linear Predictive Coding）、分布としてＧＭＭ（Gaussian Mixture Model；混合正規分布）を用いる。なお、周波数特徴量はこれに限らず、ＭＦＣＣ（Mel-Frequency Cepstral Coefficients）など音声分析で知られている様々なスペクトルパラメータを利用することもできる。また、悲鳴の語尾の母音として「あ」「え」「お」の３種類を用いる。すなわち、母音特徴量２１１として、「あ」のＬＰＣケプストラムのＧＭＭ、「え」のＬＰＣケプストラムのＧＭＭ、「お」のＬＰＣケプストラムのＧＭＭのそれぞれが記憶部２１に記憶されている。

移動軌跡情報２１２は、撮像装置３にて取得した監視画像を解析し、当該監視画像に含まれる人物像の監視画像上における座標を時系列に保存することにより、当該人物像の移動軌跡を追跡できるよう生成された情報である。移動軌跡情報２１２の具体例としては、図３に示されるように、監視画像が取得された時刻と、当該監視画像内に人物像が含まれていた場合に当該人物像に付与される一意の識別子である像ＩＤと、当該人物像の重心の監視画像上における座標と、を対応付けるテーブルとして記憶部２１に保存される。なお、像ＩＤは、後述するように、制御部２２にて過去時刻における監視画像内の人物像と現在時刻における人物像との関連を解析され、過去時刻における人物像と現在時刻における人物像とが同一であると判定されれば共通する像ＩＤが付与され、過去時刻における人物像と現在時刻における人物像とが同一でないと判定されれば新規の像ＩＤが付与される。

制御部２２は、例えばＣＰＵやＤＳＰ等の演算装置であって、記憶部２１に記憶されるプログラムに従って各種の情報処理を実行する。本実施例では、制御部２２は、集音装置４によって取得した音響信号と撮像装置３によって取得した監視画像とを解析して、異常状態を検知した場合に当該異常の内容に応じた信号を出力部２４に出力する異常検知処理を行う。また、制御部２２は、入力部２３からの設定情報や操作情報等の入力情報を記憶部２１に保存する処理を行う。制御部２２は、機能的に、人物像抽出手段２２１と、追跡手段２２２と、人物像算出手段２２３と、母音抽出手段２２４と、悲鳴判定手段２２５と、異常判定手段２２６とを含んで構成される。

人物像抽出手段２２１は、撮像装置３によって所定時間おきに撮像された監視画像のそれぞれについて、当該監視画像の中から、１又は複数の人物像を抽出する人物像抽出処理を行う。具体的には、例えば人物像抽出手段２２１は、予め人が誰もいない状態の監視空間を撮像して得られた監視画像を背景画像として記憶部２１に記憶しておき、当該背景画像と監視画像とを比較して差分画素を抽出する。そして、互いに隣接する差分画素を含んで構成される差分画素群のうち、所定の条件を満足する形状や所定値以上の大きさを有する差分画素群を、人を表す人物像として抽出する。また、人物像抽出手段２２１は、上記方法のほか、エッジ検出などの各種の画像処理を組み合わせて人物像を抽出してもよい。人物像抽出手段２２１によって抽出された人物像に関する情報（例えば人物像の位置や色ヒストグラム等の画像特徴に関する量）は、記憶部２１に記憶され、後述する追跡手段２２２による人物像の追跡処理に用いられる。

追跡手段２２２は、撮像装置３が所定時間おきに取得した各監視画像について、人物像抽出手段２２１が人物像を抽出するごとに、人物像の追跡処理を行う。人物像の追跡処理では、追跡手段２２２は、新たに撮像された監視画像から人物像抽出手段２２１によって抽出された各人物像を、過去時刻において抽出されて記憶部２１に記憶されている人物像と比較することによって、当該人物像に対応する人物の監視空間内における移動経路を記憶部２１の移動軌跡情報２１２に保存する。具体的には、追跡手段２２２は、新たな監視画像から抽出された各人物像に関する情報（例えば人物像の位置や画像特徴に関する量）を、前回撮像され記憶部２１に保存されている監視画像から抽出された人物像に関する情報と比較することによって、同じ人物を表す人物像同士を関連付ける。そして、同一人物を表す人物像として互いに関連付けられた人物像について同一の像ＩＤを付与し、時系列に従って撮像された各監視画像上の座標を、像ＩＤと対応付けて記憶部２１の移動軌跡情報２１２に保存する。

人物像算出手段２２３は、現在時刻において抽出されている人物像の総数を算出する人物像算出処理を行う。本実施例では、人物像算出処理は、移動軌跡情報２１２を参照し、現在時刻において追跡されている人物像の像ＩＤの総数を求めることにより行われる。
また、人物像算出手段２２３は、算出した人物像の総数が複数人（２人以上）であった場合、記憶部２１の複数人フラグをＯＮとする処理を行う。ここで、複数人フラグとは、複数の人物像を検出したことを示すフラグである。

母音抽出手段２２４は集音装置４が集音した音響信号から音声の母音部分を抽出して、抽出結果を悲鳴判定手段２２５に出力する。すなわち母音抽出手段２２４は、入力音響信号の周波数特徴量をフレームごとに算出して各周波数特徴量を母音特徴量２１１と比較し、各フレームが母音の周波数特徴量を有するか否かを判定して判定結果を悲鳴判定手段２２５に出力する。

好ましくは、母音抽出手段２２４は、母音の周波数特徴量を有するフレームが判定されたときに当該フレームの母音種別（「あ」、「え」又は「お」）の情報をも悲鳴判定手段２２５に出力する。母音抽出手段２２４が抽出する母音「あ」、「え」又は「お」は、悲鳴の語尾として典型的に発声される母音である。「あ」を語尾とする典型例な悲鳴の例としては「きゃー」「ぎゃー」「わー」「うわー」「あわわー」を挙げることができ、「え」を語尾とする典型例な悲鳴の例としては「助けてー」「止めてー」「助けてくれー」「止めてくれー」を挙げることができ、「お」を語尾とする典型例な悲鳴の例としては「止めろー」を挙げることができる。

母音抽出手段２２４が算出する周波数特徴量は母音特徴量２１１と同種であり、本例では８次のＬＰＣケプストラムである。フレーム長及びフレーム周期には音声分析に適した値が予め設定される。本例では、フレーム長を２０ｍｓ、フレーム周期を１０ｍｓとする。具体的には母音抽出手段２２４は、入力音響信号の各フレームの周波数特徴量と各母音の母音特徴量２１１との距離を算出して予め設定された母音判定しきい値と比較し、フレームの周波数特徴量といずれかの母音特徴量２１１の距離が母音判定しきい値以下であれば、当該フレームは母音であり当該母音特徴量２１１と対応する母音種別であると判定する。一方、母音抽出手段２２４は、距離が母音判定しきい値以下の母音特徴量２１１がひとつもないフレームは母音ではないと判定する。

母音特徴量２１１がＧＭＭで記憶されている本例において、各母音特徴量２１１とフレームの周波数特徴量の距離Ｄは、数式１で算出される。

但し、Ｋは距離算出対象の母音特徴量２１１を構成している正規分布の数、ｋはそのインデックス番号（ｋ＝１，…，Ｋ）を表しており、ｎは周波数特徴量の次数、ｉはそのインデックス番号（ｉ＝１，…，ｎ）を表している。また、ｘ_ｉは入力音響信号の周波数特徴量を表すベクトルのｉ番目要素、ｍ_ｋ，ｉはｋ番目の正規分布の平均を表す平均ベクトルのｉ番目要素、σ^２ _ｋ，ｉはｋ番目の正規分布におけるベクトルｉ番目要素の分散、ｗ_ｋはｋ番目の正規分布の重み係数、をそれぞれ表している。

悲鳴判定手段２２５は、処理対象のフレームが、予め設定された悲鳴音量しきい値以上の音量（パワー）を有しているか否かを判定することにより、悲鳴の音量であるか否かを判定する処理を行う。また、母音抽出手段２２４により抽出された母音部分が、予め設定された悲鳴判定時間以上継続しているか否かを判定することにより、悲鳴を検出する処理を行う。なお、悲鳴音量しきい値及び悲鳴判定時間には悲鳴の語尾の検出に適した値が予め設定される。本例では、悲鳴音量しきい値を７０ｄＢ、悲鳴判定時間を２００ｍｓとする。因みにフレーム周期が１０ｍｓと設定される本例においてフレーム数に換算された悲鳴判定時間は２０フレームとなる。

上述したように悲鳴音声全体の発声内容は様々だが、悲鳴の語尾に注目することで抽出すべき発声内容を高々３種類に減少させることができる。これにより発声内容が想定外の悲鳴を検出し損ねる不具合が著しく減少する。また母音部分を有することにより咳、くしゃみ、クラクション、扉を閉める音、きしみ音、缶等の落下音など、音量が大きく継続時間長の長い悲鳴以外の音を悲鳴と誤検出する不具合を減少させることができる。また母音部分の音量の条件により通常音量の会話音声を悲鳴と誤検出する不具合を減少させることができる。また母音部分の継続時間長の条件により笑い声のような大声の母音を悲鳴と誤検出する不具合を減少させることができる。

ここで大声での会話音声の語中において母音が連続する区間が含まれると、悲鳴と誤検出する可能性がある。そこで悲鳴判定手段２２５は、母音抽出手段２２４が抽出した母音種別を参照して同一母音が継続している区間のそれぞれを上記母音部分（判定区間）として悲鳴か否かを判定する。つまり母音種別が異なる区間は互いに異なる母音部分として悲鳴か否かが判定される。これにより、例えば大声会話音声の語中に「あ」と「お」が連続する「あお」という区間が含まれ、「あお」の区間の長さが悲鳴判定時間に達していたとしても、「あ」の区間と「お」の区間が別々の判定区間となるので、この大声会話音声を悲鳴と誤検出する不具合を減少させることができる。

異常判定手段２２６は、人物像算出手段２２３における検出結果である複数人フラグと悲鳴判定手段２２５における悲鳴検出処理結果である悲鳴フラグとに基づいて、悲鳴が検出されたときに複数人の人物像が検出されているか否かを判定し、監視領域内の異常状態判定処理を行う。そして、監視領域内において異常状態であると判定した場合、異常判定手段２２６は、出力部２４に対して警告出力を行わせる。

以下、本実施例に係る管理装置２の制御部２２が実行する処理の流れの一例について、図４〜図７のフローチャートに基づいて説明する。
図４は、制御部２２における異常検知処理を示すフローチャートである。

動作に先立ち、管理者等により管理装置２の入力部２３を用いて悲鳴音量しきい値の設定等の各種初期設定が行なわれる（Ｓ１）。初期設定では、まず、部屋が無人であることを確認した管理者が管理装置２を起動すると、制御部２２の人物像抽出手段２２１は、起動後の所定時間に撮像された監視画像を用いて背景画像を生成し、記憶部２１に記憶させる。また、初期設定では、上記の他にも必要に応じて、悲鳴音量しきい値や悲鳴判定時間等を入力し設定登録する。上記の初期設定が終わると撮像装置３から新たな監視画像が入力されるたびにステップＳ３〜Ｓ８の異常検知処理が繰り返される。

続いて図４に戻り、ステップＳ３の複数人物像検出処理について説明する。複数人物像検出処理は、撮像装置３によって監視画像を取得する毎に（すなわち監視画像のフレーム周期毎に）、人物像抽出手段２２１、追跡手段２２２、人物像算出手段２２３によって実施される処理である。
図５は、本実施例に係る複数人物像検出処理を示すフローチャートである。以下では、図５のフローチャートに基づいて複数人物像検出処理を説明する。

図５に示すように、まず、撮像装置３より現在時刻における監視画像が取得され（Ｓ３０）、当該監視画像を通信部２５を介して送信されると、人物像抽出手段２２１は、当該監視画像と背景画像とを比較して、人物像抽出処理を行う（Ｓ３２）。

次に、制御部２２は、ステップＳ３２の人物像抽出処理で１以上の人物像が抽出されたか否か判定する（Ｓ３４）。人物像が抽出されなかった場合（Ｓ３４−Ｎｏ）、ステップＳ３０で取得した監視画像を新たな背景画像として記憶部２１に記憶して（Ｓ４４）、ステップＳ４６へ進む。ここで、人物像が抽出されなかった場合に背景画像を更新するのは、時間の経過によって背景画像に変化が生じる場合に対応するためである。

ステップＳ３２の人物像抽出処理で人物像が抽出された場合（Ｓ３４−Ｙｅｓ）、追跡手段２２２は、前述した人物像の追跡処理を行う（Ｓ３６）。次に、人物像算出手段２２３は、人物像算出処理を行う（Ｓ３８）。

次に、人物像算出手段２２３は、複数の人物像が存在するか否か判定し（Ｓ４０）、複数の人物像が存在する場合（Ｓ４０−Ｙｅｓ）、複数人フラグをＯＮとし（Ｓ４２）、複数人物像検出処理を終了し、ステップＳ５へ進む。

一方、ステップＳ４０にて複数の人物像が存在しない場合（Ｓ４０−Ｎｏ）、またはステップＳ４４にて背景画像を更新した場合、複数人フラグをＯＦＦとし（Ｓ４６）、複数人物像検出処理を終了し、ステップＳ５へ進む。

続いて図４に戻り、ステップＳ５の悲鳴検出処理について説明する。悲鳴検出処理は、母音抽出手段２２４と悲鳴判定手段２２５とによって実施される処理であり、集音装置４によって送信され記憶部２１に記憶された音響信号について、予め定めたフレーム周期毎に実施される処理である。すなわち、制御部２２は、記憶部２１にフレーム周期の長さの音響信号が新たに追加記憶されたか否かを確認する。そして、フレーム周期が到来すると、制御部２２は、記憶部２１から予め設定されたフレーム長だけのフレームデータを読み出して、ハミング窓関数による窓掛け処理を行い、窓掛けしたフレームデータに対して悲鳴検出処理を行う。
図６は、本実施例に係る悲鳴検出処理を示すフローチャートである。以下では、図６のフローチャートに基づいて悲鳴検出処理を説明する。

制御部２２によって記憶部２１からフレームデータが読み出されると、悲鳴判定手段２２５は、当該フレームデータの音量（パワー）を算出し（Ｓ５２）、算出された音量を悲鳴音量しきい値と比較する（Ｓ５４）。音量が悲鳴音量しきい値を超えていなければ（Ｓ５４−Ｎｏ）、悲鳴判定手段２２５は悲鳴なしと判定し、制御部２２は悲鳴カウンタの値をリセットして（Ｓ７０）、悲鳴検出処理を終了し、処理をステップＳ８へ進める。一方、音量が悲鳴音量しきい値を超えていれば（Ｓ５４−Ｙｅｓ）、悲鳴判定手段２２５は、悲鳴が発生している可能性があるとして処理をステップＳ５６へ進める。

次に母音抽出手段２２４は、フレームデータの周波数特徴量を算出する（Ｓ５６）。そして、母音抽出手段２２４は、記憶部２１から「あ」の母音特徴量２１１、「え」の母音特徴量２１１及び「お」の母音特徴量２１１を順次読み出し、読み出した各母音特徴量２１１とフレームデータの周波数特徴量とを比較してフレームデータが母音であるか否かを判定する（Ｓ５６）。また母音抽出手段２２４は、フレームデータが母音と判定された場合、その母音種別を特定する。

フレームデータが母音でないと判定された場合（Ｓ５８−Ｎｏ）、母音抽出手段２２４は母音が抽出されなかった旨を悲鳴判定手段２２５に出力する。この出力を受けた悲鳴判定手段２２５は悲鳴なしと判定する。そして、制御部２２は悲鳴カウンタの値をリセットして（Ｓ７０）、悲鳴検出処理を終了し、処理をステップＳ８へ進める。

一方、フレームデータが母音であると判定されると（Ｓ５８−Ｙｅｓ）、母音抽出手段２２４は、特定された母音種別が前回特定された母音種別と同一か否かを確認するとともに今回特定された母音種別を記憶部２１に記憶させる（Ｓ６０）。次回の確認では記憶部２１に記憶される今回の母音種別が前回の母音種別として参照される。

今回特定された母音種別が前回特定された母音種別と同一ならば（Ｓ６０−Ｙｅｓ）、母音抽出手段２２４は同母音が継続抽出された旨を悲鳴判定手段２２５に出力する。この出力を受けた悲鳴判定手段２２５は悲鳴カウンタを１だけ増加させる（Ｓ６２）。
他方、今回特定された母音種別が前回特定された母音種別と同一でなければ（Ｓ６０−Ｎｏ）、母音抽出手段２２４は新たな母音が抽出された旨を悲鳴判定手段２２５に出力する。この出力を受けた悲鳴判定手段２２５は悲鳴カウンタに１を設定する（Ｓ６４）。
こうしてステップＳ６２又はステップＳ６４にて悲鳴カウンタの値が更新されると、悲鳴判定手段２２５は、悲鳴カウンタを悲鳴判定時間と比較する（Ｓ６６）。悲鳴カウンタが悲鳴判定時間を超えていない場合（Ｓ６６−Ｎｏ）、悲鳴判定手段２２５は判定継続中であるとし、制御部２２は次のフレーム周期が到来するまで悲鳴検出処理を終了させ、ステップＳ８へ処理を進める。

悲鳴カウンタが悲鳴判定時間を超えていた場合（Ｓ６６−Ｙｅｓ）、悲鳴判定手段２２５は、悲鳴フラグをＯＮとする（Ｓ６８）。その後、制御部２２は悲鳴カウンタの値をリセットして（Ｓ７０）、悲鳴検出処理を終了し、ステップＳ８へ処理を進める。

続いて図４に戻り、ステップＳ８の異常判定処理について説明する。ステップＳ８の異常判定処理は、記憶部２１の複数人フラグと悲鳴フラグとに基づいて、異常判定手段２２６にて実施される処理である。
図７は、本実施例に係る異常判定処理を示すフローチャートである。以下では、図７のフローチャートに基づいて異常判定処理を説明する。

図７に示すように、まず、異常判定手段２２６は、記憶部２１の悲鳴フラグがＯＮとなっているか否かを判定する（Ｓ８０）。

ステップＳ８０で悲鳴フラグがＯＮとなっている場合（Ｓ８０−Ｙｅｓ）、異常判定手段２２６は、記憶部２１の複数人フラグがＯＮとなっているか否かを判定する（Ｓ８２）。

ステップＳ８２で複数人フラグがＯＮとなっている場合（Ｓ８２−Ｙｅｓ）、異常判定手段２２６は、出力部２４へ警告信号を出力する。出力部２４は、制御部２２の異常判定手段２２６から警告信号を受信すると、警告出力処理を行う（Ｓ８４）。
警告出力処理では、出力部２４は所定の警告出力を行う。例えば、出力部２４に接続されたスピーカから異常状態の種類に対応する警告音を鳴動させると共に、出力部２４に接続されたディスプレイに当該異常状態の種類を警告メッセージとして出力する。管理者等は、これらの警告音や警告メッセージを確認することにより、監視領域内における異常状態を検知することができる。また、出力部２４は、通信部２５を介して警備装置５に当該異常状態を通知する。これにより、管理装置２は、警備装置５を介して警備センタ装置６に異常状態を通知することができ、外部の監視センタで常駐監視している警備員に対して異常を通知することができる。

ステップＳ８２で複数人フラグがＯＮとなっていない場合（Ｓ８２−Ｎｏ）、またはステップＳ８４で警報出力処理を行った場合、異常判定手段２２６は、悲鳴フラグをＯＦＦにする処理を行う（Ｓ８６）。

ステップＳ８６で悲鳴フラグをＯＦＦとした場合、またはステップＳ８０で悲鳴フラグがＯＮでなかった場合（Ｓ８０−Ｎｏ）、異常判定処理を終了し、ステップＳ３へ戻り、以後、前述と同様にステップＳ３からステップＳ８の処理を繰り返す。

本発明は、上記実施例に限定されるものではなく、特許請求の範囲に記載した技術的思想の範囲内で、更に種々の異なる実施例で実施されてもよいものである。また、実施例に記載した効果は、これに限定されるものではない。

前記実施例では、人物像算出手段２２３は、追跡手段２２２による追跡処理の結果である移動軌跡情報２１２を参照し、現在時刻において追跡されている人物像の像ＩＤの総数を求めることにより、人物像算出処理を行う。しかし、これに限らず、人物像算出手段２２３は、人物像抽出手段２２１にて抽出された人物像の数をカウントする処理を行うことにより、人物像の総数を求めてもよい。すなわち、追跡手段２２２を省略し、追跡処理を行わない場合であっても、本発明の効果を得ることができる。

前記実施例では、異常音として悲鳴を検出することにより、監視領域内の異常状態を検知している。しかし、これに限らず、悲鳴以外の異常音、例えば、銃声や怒声等の異常音を検出することにより、監視領域内の異常状態を検知してもよい。例えば、予め設定された異常音量しきい値以上の音量を検出した場合に、簡易的に銃声や怒声等の異常音とみなすことができる。すなわち、ステップＳ５２にて音量を算出した後に、異常音量しきい値と比較し、異常音量しきい値以上で合った場合に、悲鳴フラグをＯＮとすることにより、実現することができる。
また、破壊音は、一般に急速に音量が大きく検出された後、短時間のうちに減衰して小さくなるといったように、検出される音の立ち上がりと立下りに顕著な特徴が現れる。そのため、異常音として破壊音を検出する場合、集音装置４により取得した音響信号の音の立ち上がり率、ピーク音量、立下り減衰率、継続時間を算出し、これらの値と、予め設定された破壊音の特徴を備えた閾値とを照合することにより、破壊音か否かを判定することができる。また、予め金庫等を叩いた時に出る音の周波数成分を分析しておき、検知の際に、音響信号にその固有の周波数成分があるかどうかを評価し、判定結果に加味することで、上記判定の確からしさを大幅に向上させることが可能である。さらに、金庫等の頑丈な作りのものに対しては、一撃で破壊することは困難であるため、同じような破壊音が短い時間内で連続的に複数回観測された場合に異常音として検出を確定するといった条件を課すことも有効である。

以上に本発明の実施の形態について説明した。本実施の形態では、異常検知装置１が、本発明の異常検知装置として機能している。また、集音装置４が、本発明の集音部として機能している。また、制御部２２の母音抽出手段２２４、悲鳴判定手段２２５が、本発明の音響分析部として機能している。また、撮像装置３が、本発明の撮像部として機能している。また、制御部２２の人物像抽出手段２２１、追跡手段２２２、人物像算出手段２２３が、本発明の画像分析部として機能している。また、出力部２４が、本発明の出力部として機能している。

１・・・異常検知装置
２・・・管理装置
３・・・撮像装置
４・・・集音装置
５・・・警備装置
６・・・警備センタ装置
７・・・金庫
９・・・壁
２１・・・記憶部
２２・・・制御部
２３・・・入力部
２４・・・出力部
２５・・・通信部
２１１・・・母音特徴量
２１２・・・移動軌跡情報
２２１・・・人物像抽出手段
２２２・・・追跡手段
２２３・・・人物像算出手段
２２４・・・母音抽出手段
２２５・・・悲鳴判定手段
２２６・・・異常判定手段

Claims

監視領域にて生じている音響信号を取得する集音部と、
前記集音部が集音した前記音響信号を分析し、所定の異常音を検出する音響分析部と、
前記監視領域を含む領域の画像を順次取得する撮像部と、
前記画像から人物像を抽出し、該人物像の数を算出する画像分析部と、
前記音響分析部の異常音検出結果と前記画像分析部にて算出された人物像数とに基いて前記監視領域内の異常状態を判定する異常判定部と、
前記異常判定部の判定結果を出力する出力部とから構成される音響による異常検知装置であって、
前記異常判定部は、前記音響分析部にて所定の異常音と判定されたときに前記画像分析部にて複数の前記人物像が検出されていると異常状態と判定することを特徴とした異常検知装置。
前記音響分析部が検出する異常音が人の悲鳴音声であることを特徴とした請求項１記載の異常検知装置。