JP2004357014A - 監視通報システム - Google Patents

Abstract

【課題】大規模なクライアント側で取得した音声及び画像をサーバ側に伝送するに際して、クライアントから送信する情報伝送量を低減してサーバ側の監視タスクを低減する。
【解決手段】通報ユニット２では、画像認識部５２により画像異常類似度を生成すると共に、又は音声認識部３３により音声異常類似度を生成して、画像認識部５２により異常度を演算する。そして、通報ユニット２では、画像認識部５２により異常が発生したことを認識すると、入力センサ４３、画像認識部５２又は音源方向推定部３２により監視対象の方向推定情報する。そして、通報ユニット２では、統合方向検知部５３により各方向推定情報を統合して、可動式カメラ４２の撮像方向を制御し、可動式カメラ４２にて撮像した画像を監視サーバ３に送信する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の通報ユニットにて発生した緊急事態を監視者に通報するための監視通報システムに関する。
【０００２】
【従来の技術】
従来より、緊急通報装置としては、下記の特許文献１〜特許文献４などに記載された技術が知られている。下記特許文献１に記載された技術は、緊急通報装置に設けられた緊急通報ボタンが押下された場合、又は話者の特徴的な音声を認識した場合に、異常が発生しているか否かを判断している。
【０００３】
また、下記の特許文献２及び特許文献３に記載された技術では、水平面で異なる方位に向けて配置した複数のマイクを用いて、侵入物体等の音源の方位を特定し、当該特定した方位にビデオカメラを向けることにより、侵入物体等の画像及び音声を取得している。
【０００４】
さらに、下記特許文献４に関連する監視通報システムとして、出願人は図１５に示すシステムを構成している。具体的には、同図に示すように、複数の通報ユニット１０１Ａ〜１０１Ｃ・・・と、監視サーバ１０２及び監視用モニタ１０３とを光ネットワーク１０４にて接続して、各通報ユニット１０１にて取得した画像及び音声を送信するように構成されている。ここで、各通報ユニット１０１は、全方位式カメラ１１１及び可動式カメラ１１２により撮像した画像データを環境画像ノイズ除去部１２１によりノイズ除去して画像記憶部１２２に記憶すると共に、マイク１１３により集音した音声を環境音除去部１３１により雑音除去して音声記憶部１３２に記憶したりする。
【０００５】
そして、この監視通報システムでは、監視者が監視サーバ１０２を操作することによりカメラ遠隔制御信号を生成して、カメラ制御部１２３により可動式カメラ１１２の撮像方向を制御している。また、この監視通報システムでは、通話スイッチ１１４がユーザにより押下操作された場合には、画像記憶部１２２に記憶した画像データをメディアコンバータ１１５及びルータ１１６を介して送信したり、ＶＯＩＰ処理部１３３によってスピーカ部１１７及びマイク１１３を使用して、監視者とユーザとの通話を実現していた。
【０００６】
【特許文献１】
特開２０００−３４８２７８号公報
【０００７】
【特許文献２】
特開２００２−３４４９５７号公報
【０００８】
【特許文献３】
特開平７−２８４１８６号公報
【０００９】
【特許文献４】
特開２００２−２８８７６４号公報
【００１０】
【発明が解決しようとする課題】
しかしながら、前記特許文献４に関連する技術では、クライアント側である端末にて取得した画像情報をそのまま監視サーバ等に伝送する構成となっており、クライアントとサーバ間での伝送帯域や、サーバ側での監視タスクが限られているため、大規模な数量のクライアントに対応することが困難である。また、仮に同技術を採用して、大規模クライアントを備えたシステムを構築できたとしても、クライアントが設置されている全域に亘ってサーバ側で監視を行うためのタスクが大きくなり、監視者の負担が大きくなるという問題点があった。
【００１１】
また、かかる問題を解決するために、本願の発明者らは、後述する解決手段を提案するに至ったが、特許文献１のような屋内での異常認識でなく、屋外での異常認識にあっては環境騒音が認識精度を低下させるという問題に直面した。より詳しく説明すると、例えば、異常音声に似ている環境騒音が発せられた場合には、当該環境騒音を異常音声であると誤認識して誤報を発生することがあり、その誤報がまず問題となること、及びその誤報が多い場合には、サーバ側の監視タスクを増大させるに至り、当該解決手段の効果を没却せしめかねないという問題があった。
【００１２】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、大規模なクライアント側で取得した音声及び画像をサーバ側に伝送するに際して、クライアントから送信する情報伝送量を低減してサーバ側の監視タスクを低減すると共に、緊急通常時の監視応答レスポンスを高め、更には通報者にて特別な操作をする必要を無くすことができ、併せて、環境騒音があっても誤報することなく通報信頼性を向上させた監視通報システムを提供することを目的とする。
【００１３】
【課題を解決するための手段】
本発明に係る監視通報システムは、上述の課題を解決するために、監視者に画像又は音声を提示する監視サーバとの間で通信をする通信手段と、監視対象を撮像して、画像データを生成する撮像手段と、前記撮像手段周辺の音を集音して、音声データを生成する複数の集音手段と、複数の前記集音手段のうち、少なくとも一つの集音手段で生成された音声データから前記監視対象の状況を認識する音声認識手段と、前記音声認識手段により前記監視対象に異常が発生したと判定した場合に、前記複数の集音手段により集音された音声データを用いて、前記撮像手段に対する前記監視対象の方向を推定する方向推定手段と、前記方向推定手段により推定された方向を撮像方向とするように前記撮像手段を駆動する撮像制御手段と、前記撮像制御手段により撮像方向が制御された前記撮像手段により生成した画像データ、及び前記集音手段により生成した音声データを前記監視サーバに送信するように前記通信手段を制御する監視制御手段とを備える。
【００１４】
このような監視通報システムでは、監視サーバにより周囲の異常を監視させるために、音声認識手段により異常の発生を認識して監視対象の方向を推定し、当該推定した監視対象の方向を撮像手段の撮像方向とする。
【００１５】
本発明に係る他の監視通報システムは、上述の課題を解決するために、監視者に画像又は音声を提示する監視サーバとの間で通信をする通信手段と、ズーム機能を備え、当該ズーム機能を利用して監視対象を撮像して画像データを生成する撮像手段と、前記撮像手段周辺の音を集音して、音声データを生成する集音手段と、前記撮像手段のズーム機能を広角にして生成された画像データから前記監視対象の状況を認識する画像認識手段と、前記画像認識手段により前記監視対象に異常が発生したと判定した場合に、前記撮像手段のズーム機能を広角にして生成された画像データを用いて、前記撮像手段に対する前記監視対象の方向を推定する方向推定手段と、前記方向推定手段により推定された方向を撮像中心とするように前記撮像手段を駆動する撮像制御手段と、前記撮像制御手段により撮像方向が制御された前記撮像手段により生成した画像データ、及び前記集音手段により生成した音声データを前記監視サーバに送信するように前記通信手段を制御する監視制御手段とを備える。
【００１６】
このような監視通報システムでは、監視サーバにより周囲の異常を監視させるために、画像認識手段により異常の発生を認識し、広角の画像データから監視対象の方向を推定し、当該推定した監視対象の方向を撮像手段の撮像中心とする。
【００１７】
本発明に係る他の監視通報システムは、上述の課題を解決するために、監視者に画像又は音声を提示する監視サーバとの間で通信をする通信手段と、全方位を撮像して、全方位画像データを生成する第１撮像手段と、撮像方向を変更する可動機構を備え、当該可動機構を利用して監視対象を撮像して画像データを生成する第２撮像手段と、前記撮像手段周辺の音を集音して、音声データを生成する集音手段と、前記第１撮像手段で生成された全方位画像データから前記監視対象の状況を認識する画像認識手段と、前記画像認識手段により前記監視対象に異常が発生したと判定した場合に、前記第１撮像手段で生成された全方位画像データを用いて、前記撮像手段に対する前記監視対象の方向を推定する方向推定手段と、前記方向推定手段により推定された方向を撮像方向とするように前記第２撮像手段の可動機構を駆動する撮像制御手段と、前記撮像制御手段により撮像方向が制御された前記第２撮像手段により生成した画像データ、及び前記集音手段により生成した音声データを前記監視サーバに送信するように前記通信手段を制御する監視制御手段とを備える。
【００１８】
このような監視通報システムでは、監視サーバにより周囲の異常を監視させるために、全方位画像データを用いて異常の発生を認識して監視対象の方向を推定し、当該推定した監視対象の方向を第２撮像手段の撮像方向とする。
【００１９】
本発明に係る他の監視通報システムは、上述の課題を解決するために、監視者に画像又は音声を提示する監視サーバとの間で通信をする通信手段と、ズーム機能を備え、当該ズーム機能を利用して監視対象を撮像して画像データを生成する撮像手段と、前記撮像手段周辺の音を集音して、音声データを生成する複数の集音手段と、複数の前記集音手段のうち、少なくとも一つの集音手段で生成された音声データから前記監視対象の状況を認識する音声認識手段と、前記音声認識手段により前記監視対象に異常が発生したと判定した場合に、前記複数の集音手段により集音された音声データを用いて、前記撮像手段に対する前記監視対象の方向を推定する方向推定手段と、前記方向推定手段により推定された方向を撮像方向とするように前記撮像手段を駆動する撮像制御手段と、前記撮像制御手段により撮像方向が制御された前記撮像手段により生成した画像データから、前記監視対象を認識する画像認識手段と、前記画像認識手段により認識された前記監視対象部分を拡大するようにズーム機能を制御して前記撮像手段により生成された画像データ、及び前記集音手段により生成した音声データを前記監視サーバに送信するように前記通信手段を制御する監視制御手段とを備える。
【００２０】
このような監視通報システムは、監視サーバにより周囲の異常を監視させるために、音声認識手段により異常の発生を認識して、画像認識手段により監視対象の方向を認識する。
【００２１】
本発明に係る他の監視通報システムは、上述の課題を解決するために、複数の通報ユニットと、当該通報ユニットにより生成した音声及び画像を監視者に提示する監視サーバとが通信回線を介して接続されたシステムであって、前記各通報ユニットは、少なくとも画像データ及び音声データを前記監視サーバとの間で通信する通信手段と、監視対象を撮像して、画像データを生成する撮像手段と、前記撮像手段周辺の音を集音して、音声データを生成する集音手段と、前記監視サーバからの遠隔制御信号により前記撮像手段の撮像方向を制御する撮像制御手段とを備え、前記監視サーバは、前記通報ユニットとの間で通信をする通信手段と、前記複数の通報ユニットの前記集音手段のうち、少なくとも一つの集音手段で生成されて前記通信手段により受信した音声データから前記監視対象の状況を認識する音声認識手段と、前記音声認識手段により前記監視対象に異常が発生したと判定した場合に、前記複数の通報ユニットの前記集音手段により集音された音声データを用いて、前記各通報ユニットの前記撮像手段に対する前記監視対象の方向を推定する方向推定手段と、前記方向推定手段により推定した前記各通報ユニットの撮像手段の撮像方向を示す遠隔制御信号を前記各通報ユニットに送信するように前記通信手段を制御し、当該遠隔制御信号に従って前記撮像制御手段により撮像方向が制御された各通報ユニットの前記撮像手段により生成した画像データ、及び前記集音手段により生成した音声データを受信する監視制御手段とを備える。
【００２２】
このような監視通報システムは、監視サーバにより周囲の異常を監視させるために、監視サーバに音声認識手段を備えて監視対象に異常が発生したこと及び監視対象の方向を認識し、監視サーバにより通報ユニットの撮像手段の撮像方向を遠隔制御する。
【００２３】
本発明に係る他の監視通報システムは、上述の課題を解決するために、複数の通報ユニットと、当該通報ユニットにより生成した音声及び画像を監視者に提示する監視サーバとが通信回線を介して接続されたシステムであって、前記各通報ユニットは、監視対象を撮像して、画像データを生成する撮像手段と、前記撮像手段周辺の音を集音して、音声データを生成する集音手段と、前記集音手段で生成された音声データから前記監視対象の状況を認識する音声認識手段と、少なくとも画像データ及び音声データを前記監視サーバとの間で通信し、前記音声認識手段により前記監視対象の状況に異常が発生したと判定した場合に、異常発生信号を前記監視サーバに送信する通信手段と、前記監視サーバからの遠隔制御信号により前記撮像手段の撮像方向を制御する撮像制御手段とを備え、前記監視サーバは、前記通報ユニットとの間で通信をする通信手段と、前記通報ユニットから異常発生信号を受信した場合に、異常が発生した通報ユニットの前記撮像手段、及び当該通報ユニットの周囲に存在する通報ユニットの前記撮像手段に対する前記監視対象の方向を推定する方向推定手段と、前記方向推定手段により推定した前記各通報ユニットの撮像手段の撮像方向を示す遠隔制御信号を前記各通報ユニットに送信するように前記通信手段を制御し、当該遠隔制御信号に従って前記撮像制御手段により撮像方向が制御された各通報ユニットの前記撮像手段により生成した画像データ、及び前記集音手段により生成した音声データを受信する監視制御手段とを備える。
【００２４】
このような監視通報システムでは、監視サーバにより周囲の異常を監視させるために、何れかの通報ユニットの音声認識手段で異常が発生した場合に、異常が発生した通報ユニットのみならず周囲の通報ユニットの撮像手段の撮像方向をも、監視サーバにより制御する。
【００２５】
本発明に係る他の監視通報システムは、上述の課題を解決するために、複数の通報ユニットと、当該通報ユニットにより生成した音声及び画像を監視者に提示する監視サーバとが通信回線を介して接続されたシステムであって、前記各通報ユニットは、監視対象を撮像して、画像データを生成する撮像手段と、前記撮像手段周辺の音を集音して、音声データを生成する集音手段と、前記集音手段で生成された音声データから前記監視対象の状況を認識する音声認識手段と、少なくとも画像データ及び音声データを前記監視サーバとの間で通信し、前記音声認識手段により前記監視対象の状況に異常が発生したと判定した場合に、異常発生信号を前記監視サーバに送信する通信手段と、前記監視サーバからの遠隔制御信号により前記撮像手段の撮像方向を制御する撮像制御手段とを備え、前記監視サーバは、前記通報ユニットとの間で通信をする通信手段と、前記複数の通報ユニットの設置場所を示す設置場所データを記憶し、前記複数の通報ユニットから複数の異常発生信号を受信した場合に、前記設置場所データを参照して異常が発生した通報ユニットの設置場所を抽出し、異常が発生した前記通報ユニットの設置場所の順序に従って、前記監視対象の移動方向を認識する移動方向認識手段と、前記異常発生信号を送信した通報ユニット、及び当該通報ユニットから前記移動方向認識手段により認識した移動方向に存在する通報ユニットの前記撮像手段に対する前記監視対象の方向を推定する方向推定手段と、前記方向推定手段により推定した前記各通報ユニットの撮像手段の撮像方向を示す遠隔制御信号を前記各通報ユニットに送信するように前記通信手段を制御し、当該遠隔制御信号に従って前記撮像制御手段により撮像方向が制御された各通報ユニットの前記撮像手段により生成した画像データ、及び前記集音手段により生成した音声データを受信する監視制御手段とを備える。
【００２６】
このような監視通報システムでは、監視サーバにより周囲の異常を監視させるために、監視サーバに予め各通報ユニットの設置場所データを記憶しておき、移動方向を認識して、当該移動方向に応じて通報ユニットの撮像手段の撮像方向を制御する。
【００２７】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
【００２８】
本発明は、例えば図１に示すように構成された監視通報システムに適用される。
【００２９】
［監視通報システムの構成］
この監視通報システムは、光伝送ネットワーク１に、クライアント側である複数の通報ユニット２Ａ、２Ｂ、２Ｃ・・・（以下、総称するときには単に「通報ユニット２」と呼ぶ。）と、各通報ユニット２を管理するための監視サーバ３とが接続されて構成されている。
【００３０】
監視サーバ３は、光伝送ネットワーク１を介して、各通報ユニット２からの音声データ及び画像データが送信され、受信した音声データを音声記憶部に記憶すると共に、画像データを画像記憶部に記憶する。また、この監視サーバ３では、ユーザである監視者に画像及び音声を提示するための複数の監視用モニタ１１、及び監視者に異常を判断させるための異常判断表示用モニタ１２を備える。更に、監視用モニタ１１及び異常判断表示用モニタ１２に表示している画像に対応した音声信号を放音する放音機構が設けられている。これにより、監視サーバ３では、監視者により通報ユニット２の周辺で発生した緊急事態を監視することを可能としている。
【００３１】
更にまた、この監視サーバ３は、監視者に操作される操作入力機構を備え、当該操作入力機構が操作されることに応じた通報ユニット２に対するカメラ遠隔制御信号、音声認識設定信号及び画像認識制御信号を通報ユニット２に送る。なお、監視サーバ３による他の処理については後述する。
【００３２】
この監視通報システムでは、例えば交差点道路周辺において、図２に示すように、通報ユニット２Ａ〜２Ｇが屋外のある地域の範囲の道路に、間隔を介して設置されて光伝送ネットワーク１に接続されて構成されている。各通報ユニット２は、その構成例の一例を図３に示すように、道路に設けられたポール２ａにマイク２６、全方位カメラ４１及び可動式カメラ４２が設けられている。本例において、通報ユニット２は、ユーザが歩行しているときの略頭部位置のポール２ａにマイク２６を設け、ユーザの頭上のポール２ａに可動式カメラ４２及び全方位カメラ４１が設けられている。
【００３３】
通報ユニット２は、設置場所周囲の音声及び画像を取得して、監視サーバ３に送信するものである。この通報ユニット２は、光伝送ネットワーク１を介して監視サーバ３との間で通信をするための通信機能として、メディアコンバータ２１、ルータ２２を備える。
【００３４】
この通報ユニット２では、音声や画像を監視サーバ３に送信するに際して、ルータ２２により宛先を監視サーバ３とした通信データを作成し、メディアコンバータ２１により各種信号変換を行って光信号として光伝送ネットワーク１に送出する。また、この通報ユニット２では、光伝送ネットワーク１を介して監視サーバ３からの光信号をメディアコンバータ２１及びルータ２２にて受信して、カメラサーバ２３や音声信号処理部２４に出力する。
【００３５】
「通報ユニット２による音声データ処理」
つぎに、通報ユニット２による音声データに関する処理及びその機能的な構成について説明する。
【００３６】
また、この通報ユニット２は、監視サーバ３に音声データを伝送するための構成として、音声信号処理部２４、スピーカ部２５、複数のマイク２６Ａ、２６Ｂ、２６Ｃ（以下、総称するときには単に「マイク２６」と呼ぶ。）、通話スイッチ２７を備える。
【００３７】
マイク２６Ａ〜２６Ｃは、図４にポール２ａを上方から見た場合を示すように、ポール２ａの側面に同一直線上に並べずに、一定の距離ｄを介して配置されている。このマイク２６は、通報ユニット２の周辺の音声を受けると、当該音声から音声信号を生成して音声信号処理部２４に出力する。
【００３８】
音声信号処理部２４は、マイク２６Ａ〜２６Ｃからの音声信号を入力すると、当該各音声信号を図示しないアンプ及びＡ／Ｄ変換器により所定のレベルのディジタルデータである音声データとして環境音除去部３１に送る。
【００３９】
環境音除去部３１は、マイク２６Ａ〜２６Ｃから音声データが送られると、環境雑音成分を除去する処理を各音声データについて行い、通報ユニット２の近傍に存在するユーザの音声を含む複数の音声データを作成し、音源方向推定部３２及び音声認識部３３に送る。
【００４０】
音源方向推定部３２では、環境音除去部３１からの複数の音声データが送られると、当該複数の音声データを用いて相関処理を行う。このとき、音源方向推定部３２は、サンプリング時刻をずらした２つの異なる音声データを足し合わせ、信号レベルが最も大きくなる音声データの組み合わせを認識し、当該音声データの組み合わせたマイク２６の音声検出方向を音源到来方向候補とする。具体的に説明すると、音源方向推定部３２は、例えばマイク２６Ａにより検出された音声の音声データとマイク２６Ｂにより検出された音声の音声データとを足し合わせ、その音声レベルを計算する。また、音源方向推定部３２は、マイク２６Ａとマイク２６Ｃとの組み合わせ、マイク２６Ｂとマイク２６Ｃとの組み合わせについても同様の計算をして、３つの組み合わせのうち最も音声レベルが高い組み合わせを認識して音源到来方向候補とする。そして、音源方向推定部３２では、複数の音源到来方向候補から、監視対象の方向となる方向推定情報θｖを推定する。
【００４１】
なお、音源方向推定部３２では、同一のポール２ａに取り付けられたマイク２６のみを使用して方向推定情報θｖを推定する場合のみならず、複数の通報ユニット２で生成した音声データを光伝送ネットワーク１を介して受信して方向推定情報θｖを推定しても良い。
【００４２】
また、音源方向推定部３２では、各マイク２６の音声検出時刻の時間差又は位相差を求めて、監視対象の方向を推定しても良い。更に、音源方向推定部３２では、各マイク２６が、地面に対して垂直に設置されたポール２ａの側面であって、地面に対する水平面上に他のマイク２６と所定の間隔を介して取り付けられている場合、各マイク２６の音波の到達時間差又は位相差を求めて、監視対象の水平面方向を推定しても良い。更にまた、この音源方向推定部３２では、各マイク２６が、地面に対して垂直に設置されたポール２ａの側面であって、地面に対する垂直面上に他のマイク２６と所定の間隔を介して取り付けられている場合、各マイク２６の音波の到達時間差又は位相差を求めて、監視対象の垂直面方向を推定しても良い。これにより、音源方向推定部３２では、監視対象からの異常音の到来方向を的確に推定することができる。
【００４３】
音声認識部３３は、環境音除去部３１から音声データが送られると、当該音声データから音響的な特徴ベクトルを抽出し、当該抽出した特徴ベクトルと、予め異常特徴音データベース記憶部３４に記憶しておいた特徴ベクトルで表現された単語辞書データ或いは文章辞書データとのマッチングを行って音声認識をする。ここで、単語辞書及び文章辞書には、例えば「助けて」という音声を示す特徴ベクトルや、「やめて」という音声を示す特徴ベクトルなど、異常時に発声されると想定されるものが含まれている。
【００４４】
また、この異常特徴音データベース記憶部３４には、監視対象が生体である場合の異常発生時の音声データのみならず、又は監視対象が物体である場合の物体の衝突音又は破壊音を示す音響データを記憶していても良く、当該音響データを用いて監視対象の異常発生の有無を認識しても良い。これにより、音声認識部３３では、異常特徴音データベース記憶部３４の内容を参照して、特定の異常音を認識することができる。
【００４５】
更に、異常特徴音データベース記憶部３４には、音声データ又は音響データの基本周波数、パワースペクトル、フォルマント、ケプストラム及びこれらの時間的変位のうち、少なくとも一つを音声データ又は音響データの特徴ベクトル（特徴量）として記憶しておいても良い。
【００４６】
更にまた、異常特徴音データベース記憶部３４には、音声データがサンプリングされた時系列データｓ（ｔ）として与えられたとき、下記の式に示すＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）などのフーリエ変換を行って、音声データを周波数関数に変換し、図５に示すように、当該周波数関数の複数のピークｆ１〜ｆ３に対応した周波数を近似的にフォルマントとする。
【００４７】
Ｓ（ｅｘｐ（−ｊｗｍ））＝Σｓ（ｔ）・ｅｘｐ（−ｊｗｍ）
そして、異常特徴音データベース記憶部３４には、フォルマントを音声データの特徴量として記憶しておく。
【００４８】
また、異常特徴音データベース記憶部３４には、上記式における周波数関数Ｓ（ｅｘｐ（−ｊｗｍ））の対数を下記の式のように逆フーリエ変換を行うことによりケプストラムＣ（ｎ）を求め、当該ケプストラムを音声データの特徴量として記憶しておいても良い。
【００４９】
Ｃ（ｎ）＝（１／Ｎ）ΣｌｏｇＹ・ｅｘｐ（２πｋ／Ｎ）
そして、音声認識部３３は、異常特徴音データベース記憶部３４に記憶されている特徴ベクトルのうち、抽出した特徴ベクトルと最も距離が近い特徴ベクトルを選択する。そして、音声認識部３３は、選択した特徴ベクトルと、抽出した特徴ベクトルとの距離によって異常音である度合い（以下、音声異常類似度Ａｖと呼ぶ。）を計算する。音声認識部３３は、計算した音声異常類似度Ａｖを音声記憶部３５に記憶する。
【００５０】
なお、異常特徴音データベース記憶部３４に記憶されているデータは、人の声に限らず、例えば車の衝突音の特徴ベクトルなどであっても良い。これにより、人の声のみならず、物体の衝突や破壊等の事故の異常であっても音声異常類似度Ａｖを生成することができる。
【００５１】
また、この音声信号処理部２４は、通報ユニット２が設置されている場所に応じて特有の環境音の特徴ベクトルが記憶された環境特徴音データベース記憶部３６を備える。この環境特徴音データベース記憶部３６には、例えば電車の踏切音や横断歩道の警告音など異常音でない環境音の特徴ベクトルが記憶されている。
【００５２】
この環境音の特徴ベクトルは、音声信号処理部２４からルータ２２及びメディアコンバータ２１を介して監視サーバ３に送られ、監視サーバ３にて異常音でない音と判断されたことを示す音声認識設定信号が送られることに応じて、環境特徴音データベース記憶部３６に登録される。なお、監視サーバ３では、通報ユニット２からの環境音が異常音か否かを判定する処理を予め用意しておいた環境特徴音データベースを使用して自動的に行っても良く、監視者の手動により行っても良い。
【００５３】
この環境特徴音データベース記憶部３６に記憶された環境音の特徴ベクトルは、音声認識部３３にて異常音の音声認識をするに際して、音声認識部３３により読み込まれて、異常音か否かを判定する特徴ベクトルと比較される。そして、音声認識部３３では、異常音か否かを判定する特徴ベクトルが環境音の特徴ベクトルに近い場合には異常音と判定しないとする。これにより、通報ユニット２では、環境音を異常音と誤認識することなく、異常検出の信頼性を向上させることができる。
【００５４】
音声記憶部３５には、以前にマイク２６にて検出した音声データ、及び当該音声データに対応した音声異常類似度Ａｖが記憶されている。この音声記憶部３５に記憶されている音声データ及び音声異常類似度Ａｖは、監視者が監視サーバ３を操作することにより、光伝送ネットワーク１を介して監視サーバ３でダウンロードすることが可能となっている。
【００５５】
なお、この音声異常類似度Ａｖは、監視サーバ３からの音声認識設定信号によって設定されたものを含む。すなわち、監視サーバ３では、各通報ユニット２の音声記憶部３５に記憶された音声データを参照して、当該音声データが異常音に該当すると判定した場合には、当該音声データを音声認識部３３により音声認識させて特徴ベクトルを異常音として異常特徴音データベース記憶部３４に追加する。このように、通報ユニット２では、異常特徴音データベース記憶部３４や環境特徴音データベース記憶部３６に記憶する特徴ベクトルが監視サーバ３により追加されることにより、設置初期時と比較して異常検出の信頼性を向上させることができる。
【００５６】
また、音声信号処理部２４は、環境音除去部３１から音声データが出力されるＶＯＩＰ（Ｖｏｉｃｅ ｏｖｅｒ ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ））処理部３７を備える。このＶＯＩＰ処理部３７は、通話スイッチ２７が操作された場合に、環境音除去部３１からの音声データを監視サーバ３に送る。
【００５７】
「通報ユニット２による画像データ処理」
つぎに、通報ユニット２による画像データに関する処理及びその機能的な構成について説明する。
【００５８】
この通報ユニット２は、監視サーバ３に画像信号を伝送するための構成として、カメラサーバ２３、全方位カメラ４１、可動式カメラ４２及び入力センサ４３を備える。
【００５９】
全方位カメラ４１は、広視野角を有するレンズにより集光し、内部のＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）撮像素子により画像信号を生成する。可動式カメラ４２は、パン機能、チルト機能及びズーム機能を備え、ＣＣＤ撮像素子により画像信号を生成する。全方位カメラ４１及び可動式カメラ４２は、カメラサーバ２３と接続され、画像信号をカメラサーバ２３に出力する。
【００６０】
カメラサーバ２３では、全方位カメラ４１から通報ユニット２の周辺状況を撮像した画像信号を入力すると、当該画像信号をＡ／Ｄ変換して画像データとして環境画像ノイズ除去部５１に送る。この環境画像ノイズ除去部５１では、画像データを入力すると、当該画像データからノイズを除去して、画像認識部５２に送る。
【００６１】
画像認識部５２は、図６に示すような機能構成を有し、全方位カメラ４１及び可動式カメラ４２からの画像データについて画像認識処理をする。
【００６２】
この画像認識部５２では、画像データを入力すると、オブジェクト画像抽出部６１により、例えば背景差分法などの画像処理を行うことにより、背景画像と、その他のオブジェクト画像とを分割する。このオブジェクト画像としては、例えば人物や車などを示す画像データである。そして、画像認識部５２では、例えば静止画像の画像データを入力した場合、特徴量抽出部６２により、オブジェクト画像の画像内位置情報、大きさ情報、色情報などを認識して、当該各情報をオブジェクトについての特徴量に変換する。また、特徴量抽出部６２では、複数のフレームに亘る動画像を入力した場合には、オブジェクト画像の動き速さ情報も画像特徴量として変換する。
【００６３】
そして、画像認識部５２では、オブジェクト画像の位置情報から、当該オブジェクト画像に相当する監視対象物（以下、オブジェクトと呼ぶ。）の方向θｉの候補である方向推定情報を移動方向推定部６３により求めて、統合方向検知部５３に送る。
【００６４】
また、このカメラサーバ２３は、異常と想定されるオブジェクトの特徴量を蓄積して記憶した特徴画像データベース記憶部５４を備える。画像認識部５２では、オブジェクトの特徴量を求めると、特徴画像データベース記憶部５４に蓄積されたオブジェクトの特徴量とマッチング処理をして、求めたオブジェクトの特徴量と蓄積されたオブジェクトの特徴量とを用いて特徴ベクトルの距離を計算する。そして、画像認識部５２では、特徴ベクトルの距離によって、異常画像類似度計算部６４により、異常である度合いを示す画像異常類似度Ａｊを求める。
【００６５】
更に、画像認識部５２は、環境画像ノイズ除去部５１からの画像データを画像記憶部５５に記憶させる。
【００６６】
更に、このカメラサーバ２３は、例えば赤外線を用い、異なる方向の人体を検知するための複数の人体検知センサを入力センサ４３として備える。この入力センサ４３は、人物オブジェクトが通報ユニット２の周囲に存在する場合に、複数の人体検知センサのうち、人体を検出した人体検知センサを特定する。そして、この入力センサ４３は、特定した人体検知センサの人体検知方向から人体オブジェクトが存在する方向を推定して、方向推定情報として統合方向検知部５３に送る。
【００６７】
また、この入力センサ４３としては、図７に通報ユニット２を上方から見た様子を示すように、全方位カメラ４１又は可動式カメラ４２の撮像領域内であって異なる検出範囲とされた複数の距離センサ４４Ａ〜４４Ｄを備えるものであっても良い。そして、この距離センサ４４Ａ〜４４Ｄでは、人体等の監視対象を検出した場合には距離情報を含む方向推定情報を統合方向検知部５３に送る。なお、各距離センサ４４は、超音波センサ又は光学式センサであれば良い。
【００６８】
更に、入力センサ４３としては、全方位カメラ４１又は可動式カメラ４２の撮像領域内であって異なる検出範囲とされた複数の赤外線センサからなるものであっても良い。これにより、各赤外線センサでは、監視対象から反射して検出した赤外線情報を用いて監視対象の存在する領域を示す方向推定情報を統合方向検知部５３に送る。
【００６９】
統合方向検知部５３は、音源方向推定部３２、画像認識部５２及び入力センサ４３からの各方向推定情報から、オブジェクトの存在する通報ユニット２に対する方向を決定して、カメラ制御部５６に送る。
【００７０】
カメラ制御部５６では、統合方向検知部５３により決定されたオブジェクトの方向から、可動式カメラ４２のパン及びチルト量Δθ、ズーム量ΔＺを設定する。このとき、カメラ制御部５６では、パン及びチルト量Δθを設定するための可動式カメラ４２の方向推定角θを、音声異常類似度Ａｖ、画像異常類似度Ａｉ、音声を用いた方向推定情報θｖ、画像を用いた方向推定情報θｉを用いて、
θ＝（Ａｖ×θｖ＋Ａｉ×θｉ）／（Ａｖ＋Ａｉ）
なる演算をすることにより求める。すなわち、カメラ制御部５６では、方向推定情報θｖ及び方向推定情報θｉの重み付け係数として、音声異常類似度Ａｖ及び画像異常類似度Ａｉを使用する。そして、カメラ制御部５６では、求めた方向推定角θに対する現在の可動式カメラ４２の撮像方向から、パン及びチルト量Δθを決定する。
【００７１】
また、カメラ制御部５６は、ズーム量ΔＺを設定するためのズーム設定値Ｚを、方向推定情報θｖと方向推定情報θｉとの差が小さい場合には、当該方向推定情報θｉ及び方向推定情報θｖにおけるオブジェクトの存在確率が高いのでズーム設定値Ｚを大きくし、方向推定情報θｖと方向推定情報θｉとの差が大きい場合には当該方向推定情報θｉ及び方向推定情報θｖにおけるオブジェクトの存在確率が低いのでズーム設定値Ｚを小さくするように設定する。
【００７２】
このとき、カメラ制御部５６は、例えば、方向推定情報θｖ及び方向推定情報θｉを用いて、
Ｚ＝α／（θｖ−θｉ）
α：定数
なる演算をすることによりズーム設定値Ｚを求める。そして、カメラ制御部５６では、求めたズーム設定値Ｚに対する現在の可動式カメラ４２のズーム設定値から、ズーム量ΔＺを決定する。
【００７３】
そして、カメラ制御部５６では、パン及びチルト量Δθ及びズーム量ΔＺだけ可動式カメラ４２を駆動させて、可動式カメラ４２にオブジェクトを撮像させ、可動式カメラ４２により撮像した画像データを画像認識部５２に送る。
【００７４】
「異常判定処理」
つぎに、通報ユニット２及び監視サーバ３による異常判定に関する処理及びその機能的な構成について説明する。
【００７５】
画像認識部５２では、異常判定をするに際して、上述の音声異常類似度Ａｖ及び画像異常類似度Ａｉを統合することにより異常度Ａを演算する。このとき、画像認識部５２では、例えば下記の式を用いて、
Ａ＝α×Ａｉ＋β×Ａｖ
α、β：定数
なる演算をする。これにより、画像認識部５２では、通報ユニット２についての異常度Ａを計算し、光伝送ネットワーク１を介して監視サーバ３に送る。また、画像認識部５２では、異常値Ａを演算し、当該異常値Ａが予め設定しておいた閾値よりも高くなった場合には、可動式カメラ４２にて撮像された画像及び音声を監視サーバ３に送信させても良い。
【００７６】
これに応じて、監視サーバ３では、通報ユニット２から送信された複数の画像を監視用モニタ１１または異常判断表示用モニタ１２にて表示することにより、監視者に異常度Ａが閾値以上となっている通報ユニット２周辺の画像及び音声を監視させる。
【００７７】
また、監視サーバ３では、図８に示すように、光伝送ネットワーク１を介して接続されている複数の通報ユニット２が存在する自身の監視地域７１において、図８（Ａ）に示すように、通報ユニット２−１の異常度Ａが低い場合には、任意の通報ユニット２−２，２−３，２−４により撮像した画像データを監視しているとする。そして、通報ユニット２−１の異常度Ａが閾値を越えた場合には、当該通報ユニット２−１から監視サーバ３にその旨の情報が送信される。
【００７８】
これに応じて、監視サーバ３では、異常が通報ユニット２−１周辺で発生していることを判断して、当該通報ユニット２−１の周辺の通報ユニット２−１１，通報ユニット２−１２，通報ユニット２−１３により撮像した画像データ及び音声データを送信する制御信号を各通報ユニット２に送信する。また、監視サーバ３では、通報ユニット２−１の方向を撮像方向とするカメラ遠隔制御信号を通報ユニット２−１１，通報ユニット２−１２，通報ユニット２−１３に送信する。また、監視サーバ３では、異常度Ａが閾値以上となった通報ユニット２−１について、ＶＯＩＰ処理部３７による音声通信を可能とする制御信号を送信して、通報ユニット２−１の通話スイッチ２７を操作したユーザと監視サーバ３側の監視者との通話を可能とする。これにより、通報ユニット２−１では、通話スイッチ２７が操作されてマイク２６で検出した音声データを監視サーバ３に送信する状態となる。
【００７９】
これにより、通報ユニット２−１１，２−１２，２−１３は、可動式カメラ４２によりカメラ遠隔制御信号に従った方向を撮像して、画像データ及び音声データを監視サーバ３に送信して、監視者による監視を可能とするアクティブ状態となる。監視サーバ３では、通報ユニット２−１，通報ユニット２−１１，通報ユニット２−１２，通報ユニット２−１３から画像データ及び音声データが送られると、監視用モニタ１１及び異常判断表示用モニタ１２により画像及び音声を確認して、多くの情報によって監視者による監視を行わせる。
【００８０】
また、この監視通報システムでは、異常度Ａが高くなった場合に、通報ユニット２−１のみならず、通報ユニット２−１１，通報ユニット２−１２，通報ユニット２−１３により取得した画像データ及び音声データを記憶しておくことにより、多角的に異常が発生した地域の情報を分析することを可能とする。
【００８１】
このような監視通報システムでは、異常度Ａを上回る通報ユニット２についてのみ監視サーバ３にて監視をするようにしたので、監視サーバ３側にてすべての通報ユニット２について監視を行う必要がない。したがって、この監視通報システムによれば、監視サーバ３側の監視タスクを低減することができる。
【００８２】
また、この監視通報システムでは、全方位カメラ４１及び可動式カメラ４２にて撮像して取得した画像データを画像記憶部５５に記憶して、監視サーバ３からカメラサーバ２３へのダウンロード要求に応じて画像データを送信することができるので、監視者により過去の画像をダウンロードして解析をさせることができる。
【００８３】
「異常監視処理」
つぎに、上述したように構成された監視通報システムにおいて、上述した処理の他に実現可能な異常監視処理の処理手順について図９〜図１４を参照して説明する。
【００８４】
図９に示す通報ユニット２の異常監視処理では、先ず、処理開始時において可動式カメラ４２の角度を初期位置とするようにカメラ制御部５６により図示しない可動機構を制御し（ステップＳ１）、ズームアウトの程度を最大とするように可動式カメラ４２のズーム機能をカメラ制御部５６により制御する（ステップＳ２）。これにより、通報ユニット２では、可動式カメラ４２により撮像した画像信号を用いて広角の画像データを生成する状態となる。
【００８５】
このような状態において、通報ユニット２では、可動式カメラ４２により撮像されて取得した画像データを用いて、少なくとも画像認識部５２による画像異常類似度Ａｉを求めて、異常度Ａを演算する異常判定処理を行う。そして、通報ユニット２では、異常度Ａが所定の閾値よりも低いと判定した場合には（ステップＳ３）、ステップＳ１及びステップＳ２の処理を繰り返し、異常度Ａが所定の閾値よりも高いと判定した場合には（ステップＳ３）、画像認識部５２により、ステップＳ２にて設定したズーム機能により撮像して生成している広角の画像データから、監視対象となる移動物体を抽出する処理をする（ステップＳ４）。そして、画像認識部５２では、抽出した移動物体の位置から、方向推定情報θｉを作成して統合方向検知部５３に送る。
【００８６】
次に、通報ユニット２では、統合方向検知部５３により、少なくとも方向推定情報θｉを用いて可動式カメラ４２の撮像方向を推定し、移動物体が画像データの中心となるように可動式カメラ４２を制御し（ステップＳ５）、ズームインするように可動式カメラ４２を制御する（ステップＳ６）。これにより、通報ユニット２では、移動物体を画像中心に含む画像データを生成して、画像記憶部５５に記憶したり、監視サーバ３に送信することが可能となる。
【００８７】
つぎに、図１０に示す通報ユニット２の異常監視処理では、図９に示した異常監視処理と同様にステップＳ１〜ステップＳ３の処理を行い、ステップＳ３にて異常度Ａが所定の閾値よりも高いと判定した場合に、画像認識部５２により、全方位カメラ４１により撮像して生成した全方位の画像データを用いて移動物体を抽出する（ステップＳ１１）。そして、画像認識部５２では、移動物体の抽出位置から、方向推定情報θｉを作成して統合方向検知部５３に送る。
【００８８】
これに応じて、通報ユニット２では、統合方向検知部５３により少なくとも方向推定情報θｉを用いて移動物体の存在位置を計算し（ステップＳ１２）、当該存在位置の計算値からカメラ制御部５６により可動式カメラ４２の撮像方向（角度）を制御し（ステップＳ１３）、ズームインするように可動式カメラ４２を制御する（ステップＳ６）。これにより、通報ユニット２では、移動物体を含む画像データを生成して、画像記憶部５５に記憶したり、監視サーバ３に送信することが可能となる。
【００８９】
つぎに、図１１に示す通報ユニット２の異常監視処理では、先ず、ステップＳ２１において、音声認識部３３により、複数のマイク２６Ａ〜マイク２６Ｃについて、監視対象からの音声の方向を決定するための遅延時間を決定する。そして、音声認識部３３では、ステップＳ２２において、各マイク２６Ａ、マイク２６Ｂ及びマイク２６Ｃにより検出して生成した音声データ（チャンネル信号）を、ステップＳ２１にて決定した遅延時間だけずらして加算することにより、遅延和Ｓ（λ）を得る。このとき、音声認識部３３では、マイク２６Ａとマイク２６Ｂ、マイク２６Ａとマイク２６Ｃ、マイク２６Ｂとマイク２６Ｃの組み合わせについての遅延和を求める。
【００９０】
これにより、音声認識部３３では、ステップＳ２３において、全ての組み合わせ、すなわち全ての角度について遅延和Ｓ（λ）を計算したと判定した場合には、最も値が大きい遅延和Ｓ（λ）を求めて統合方向検知部５３に方向推定情報θｖとして送る（ステップＳ２４）。また、この音声認識部３３では、音声検出時刻の時間差又は位相差を求めて、方向推定情報θｖを作成しても良い。
【００９１】
次に、統合方向検知部５３では、少なくとも方向推定情報θｖから可動式カメラ４２が撮像する推定方向を求め、カメラ制御部５６により可動式カメラ４２の撮像方向を制御する。
【００９２】
つぎに、図１２に示す監視サーバ３の異常監視処理では、監視サーバ３により、通報ユニット２Ａからの時系列データである音声データＳＡ（ｔ）を受信し（ステップＳ３１）、通報ユニット２Ｂからの時系列データである音声データＳＢ（ｔ）を受信し（ステップＳ３２）、通報ユニット２Ｃからの時系列データである音声データＳＣ（ｔ）を受信する（ステップＳ３３）。
【００９３】
次に、監視サーバ３では、各音声データＳＡ（ｔ）、音声データＳＢ（ｔ）及び音声データＳＣ（ｔ）を用いて、各通報ユニット２間における音声データの相関を計算する（ステップＳ３４）。そして、監視サーバ３では、相関計算結果から、監視対象が発する音声の到来方向を推定し、当該到来方向を撮像方向とするためのカメラ遠隔制御信号を通報ユニット２Ａ、通報ユニット２Ｂ、通報ユニット２Ｃについて作成して送信する。これにより、通報ユニット２Ａ、通報ユニット２Ｂ及び通報ユニット２Ｃは、ステップＳ３５にて推定された到来方向を撮像方向とするように可動式カメラ４２を制御することができる。
【００９４】
このような異常監視処理を行う監視通報システムによれば、設置場所が異なる複数の通報ユニット２を単一の音声到来場所に向けることにより、複数の角度から異常事態の画像データを得ることができ、多角的な異常事態の分析をさせることができる。
【００９５】
つぎに、図１３に示す監視サーバ３の異常監視処理では、先ず、監視用モニタ１１により画像及び音声を監視者に提示している通報ユニット２Ａ、及び当該通報ユニット２Ａの周辺場所に設置された通報ユニット２Ｂ及び通報ユニット２Ｃにより取得した音声データＳＡ（λ）、ＳＢ（λ）及びＳＣ（λ）を監視サーバ３により受信する（ステップＳ４１）。
【００９６】
そして、監視サーバ３では、通報ユニット２Ａの異常度Ａが所定の閾値を超えて、通報ユニット２Ａから異常発生信号を受信した場合（ステップＳ４２）、通報ユニット２Ａの周辺の通報ユニット２Ｂ及び通報ユニット２Ｃを監視対象とし（ステップＳ４３）、ステップＳ４１にて受信した各音声データＳＡ（λ）、ＳＢ（λ）、ＳＣ（λ）の相関を計算する（ステップＳ４４）。そして、監視サーバ３では、相関計算結果から、監視対象が発する音声の到来方向を推定し、当該到来方向を撮像方向とするためのカメラ遠隔制御信号を通報ユニット２Ｂ、通報ユニット２Ｃについて作成して送信する。これにより、通報ユニット２Ｂ及び通報ユニット２Ｃは、ステップＳ３５にて推定された到来方向を撮像方向とするように可動式カメラ４２を制御することができる。
【００９７】
このような異常監視処理を行う監視通報システムによれば、異常が発生した通報ユニット２の周囲の通報ユニット２の撮像方向を音声の到来方向とすることができるので、監視対象が移動して異常発生場所が移動する場合であっても周囲状況を把握することができる。
【００９８】
つぎに、図１４に示す監視サーバ３の異常監視処理では、予め監視サーバ３に複数の通報ユニット２の設置場所を示す設置場所データを記憶しておき、監視地域７１（通報ユニット２の設置エリア）内で異常度Ａが最も高い通報ユニット２Ａを抽出する（ステップＳ５１）。なお、本例では、例えば異常度Ａが所定値以上となった場合に自動的に通報ユニット２から監視サーバ３に異常度Ａを示す情報を送信するものとする。
【００９９】
次に、監視サーバ３では、異常度Ａが最も高い通報ユニット２が通報ユニット２Ａから通報ユニット２Ｂに変更したか否かを判定する（ステップＳ５２）。そして、監視サーバ３では、通報ユニット２Ａ及び通報ユニット２Ｂの設置場所を設置場所データから抽出し、異常発生順に設置場所データを並べて監視対象の移動方向を認識する。これにより、監視サーバ３では、監視対象の移動方向（通報ユニット２Ａから通報ユニット２Ｂ）の延長方向を可動式カメラ４２の撮像方向とする（ステップＳ５３）。
【０１００】
このような異常監視処理を行う監視通報システムによれば、通報ユニット２の撮像方向を異常が発生した監視対象の移動方向とすることができるので、監視対象が移動して異常発生場所が移動する場合であっても周囲状況を把握することができる。
【０１０１】
［実施形態の効果］
以上詳細に説明したように、本発明を適用した監視通報システムによれば、通報ユニット２の近傍にいるユーザが危険な状態に遭遇したときに、適切に監視サーバ３の監視者に通報を行い、迅速な対応をすることで、より安全な環境を提供することができる。
【０１０２】
また、この監視通報システムによれば、多数の通報ユニット２を設定して大規模なクライアントで取得した音声及び画像を監視サーバ３に伝送するに際して、異常度Ａが閾値以上となった各通報ユニット２や周辺の通報ユニット２からのみ画像及び音声を送信するので、各通報ユニット２の情報伝送量を低減して監視サーバ３の監視タスクを低減すると共に、緊急通常時の監視応答レスポンスを高め、更には通報者にて特別な操作をする必要を無くすことができる。
【０１０３】
更に、この監視通報システムによれば、通報ユニット２が設置されている地域において、犯罪や事故が発生した時、通報ユニット２の近傍にいるユーザや被害者が通報ユニット２の通報ボタンを操作して通報して監視サーバ３側で通報ユニット２のカメラ機構を手動で切り換え、カメラ機構の角度やズーム等を制御する必要が無い。
【０１０４】
更にまた、この監視通報システムによれば、通話スイッチ２７をユーザが操作することによる通報や監視サーバ３の監視者による手動の可動式カメラ４２の制御に加えて、自動的に且つ迅速に警察や警備会社等の監視者に通報を行うことができる。例えば、この監視通報システムによれば、歩行しているユーザがひったくりなどの犯罪者に襲われて悲鳴等を発した場合、異常な状態になったことを通報ユニット２により検出してユーザや犯罪者の音声や画像を通報することができる。
【０１０５】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【０１０６】
【発明の効果】
本発明によれば、多数の場所の画像及び音声を取得する大規模なシステムを使用した場合であって、音声及び画像を監視サーバに伝送するに際して、送信する情報伝送量を低減してサーバ側の監視タスクを低減すると共に、緊急通常時の監視応答レスポンスを高め、更には通報者にて特別な操作をする必要を無くすことができる。
【図面の簡単な説明】
【図１】本発明を適用した監視通報システムの機能的な構成を示すブロック図である。
【図２】本発明を適用した監視通報システムにおいて、通報ユニットの配置例を説明するための図である。
【図３】本発明を適用した監視通報システムの通報ユニットの側面図である。
【図４】本発明を適用した監視通報システムにおいて、通報ユニットのマイクの設置例を示す上面図である。
【図５】異常特徴音データベース記憶部に記憶する音声データの特徴量としてのフォルマントについて説明するための図である。
【図６】画像認識部の機能的な構成を示すブロック図である。
【図７】入力センサとして距離センサを使用した場合に、方向推定情報を作成するときの説明図である。
【図８】監視地域に多数の通報ユニットを設定した場合において、異常度が低い場合に監視サーバでモニタによる監視が行われているアクティブ状態の通報ユニットを説明するための図を（Ａ）に示し、異常度が高い場合に監視サーバでモニタによる監視が行われているアクティブ状態の通報ユニットを説明するための図を（Ｂ）に示す。
【図９】通報ユニットによる異常監視処理の一例を示すフローチャートである。
【図１０】通報ユニットによる異常監視処理の他の一例を示すフローチャートである。
【図１１】通報ユニットによる異常監視処理の更に他の一例を示すフローチャートである。
【図１２】監視サーバによる異常監視処理の一例を示すフローチャートである。
【図１３】監視サーバによる異常監視処理の他の一例を示すフローチャートである。
【図１４】監視サーバによる異常監視処理の更に他の一例を示すフローチャートである。
【図１５】従来の監視通報システムの具体的な構成例を示すブロック図である。
【符号の説明】
１ 光伝送ネットワーク
２ 通報ユニット
３ 監視サーバ
１１ 監視用モニタ
１２ 異常判断表示用モニタ
２１ メディアコンバータ
２２ ルータ
２３ カメラサーバ
２４ 音声信号処理部
２５ スピーカ部
２６ マイク
２７ 通話スイッチ
３１ 環境音除去部
３２ 音源方向推定部
３３ 音声認識部
３４ 異常特徴音データベース記憶部
３５ 音声記憶部
３６ 環境特徴音データベース記憶部
３７ ＶＯＩＰ処理部
４１ 全方位カメラ
４２ 可動式カメラ
４３ 入力センサ
５１ 環境画像ノイズ除去部
５２ 画像認識部
５３ 統合方向検知部
５４ 特徴画像データベース記憶部
５５ 画像記憶部
５６ カメラ制御部
６１ オブジェクト画像抽出部
６２ 特徴量抽出部
６３ 移動方向推定部
６４ 異常画像類似度計算部
７１ 監視領域

Claims (18)

1. 監視者に画像又は音声を提示する監視サーバとの間で通信をする通信手段と、
   監視対象を撮像して、画像データを生成する撮像手段と、
   前記撮像手段周辺の音を集音して、音声データを生成する複数の集音手段と、
   複数の前記集音手段のうち、少なくとも一つの集音手段で生成された音声データから前記監視対象の状況を認識する音声認識手段と、
   前記音声認識手段により前記監視対象に異常が発生したと判定した場合に、前記複数の集音手段により集音された音声データを用いて、前記撮像手段に対する前記監視対象の方向を推定する方向推定手段と、
   前記方向推定手段により推定された方向を撮像方向とするように前記撮像手段を駆動する撮像制御手段と、
   前記撮像制御手段により撮像方向が制御された前記撮像手段により生成した画像データ、及び前記集音手段により生成した音声データを前記監視サーバに送信するように前記通信手段を制御する監視制御手段と
   を備えることを特徴とする監視通報システム。
2. 監視者に画像又は音声を提示する監視サーバとの間で通信をする通信手段と、
   ズーム機能を備え、当該ズーム機能を利用して監視対象を撮像して画像データを生成する撮像手段と、
   前記撮像手段周辺の音を集音して、音声データを生成する集音手段と、
   前記撮像手段のズーム機能を広角にして生成された画像データから前記監視対象の状況を認識する画像認識手段と、
   前記画像認識手段により前記監視対象に異常が発生したと判定した場合に、前記撮像手段のズーム機能を広角にして生成された画像データを用いて、前記撮像手段に対する前記監視対象の方向を推定する方向推定手段と、
   前記方向推定手段により推定された方向を撮像中心とするように前記撮像手段を駆動する撮像制御手段と、
   前記撮像制御手段により撮像方向が制御された前記撮像手段により生成した画像データ、及び前記集音手段により生成した音声データを前記監視サーバに送信するように前記通信手段を制御する監視制御手段と
   を備えることを特徴とする監視通報システム。
3. 監視者に画像又は音声を提示する監視サーバとの間で通信をする通信手段と、
   全方位を撮像して、全方位画像データを生成する第１撮像手段と、
   撮像方向を変更する可動機構を備え、当該可動機構を利用して監視対象を撮像して画像データを生成する第２撮像手段と、
   前記撮像手段周辺の音を集音して、音声データを生成する集音手段と、
   前記第１撮像手段で生成された全方位画像データから前記監視対象の状況を認識する画像認識手段と、
   前記画像認識手段により前記監視対象に異常が発生したと判定した場合に、前記第１撮像手段で生成された全方位画像データを用いて、前記撮像手段に対する前記監視対象の方向を推定する方向推定手段と、
   前記方向推定手段により推定された方向を撮像方向とするように前記第２撮像手段の可動機構を駆動する撮像制御手段と、
   前記撮像制御手段により撮像方向が制御された前記第２撮像手段により生成した画像データ、及び前記集音手段により生成した音声データを前記監視サーバに送信するように前記通信手段を制御する監視制御手段と
   を備えることを特徴とする監視通報システム。
4. 前記画像認識手段は、
   前記画像データから、前記監視対象に相当する画像認識対象画像を抽出する画像認識対象抽出手段と、
   前記画像認識対象抽出手段により抽出された画像認識対象画像の特徴量を抽出する特徴量抽出手段と、
   複数の監視対象の特徴量を記憶する特徴量記憶手段と、
   前記特徴量抽出手段により抽出された特徴量と、前記特徴量記憶手段に記憶された特徴量とを比較して類似度を算出し、前記監視対象に異常が発生していることを判定する類似度算出手段と
   を備えることを特徴とする請求項２又は請求項３に記載の監視通報システム。
5. 監視者に画像又は音声を提示する監視サーバとの間で通信をする通信手段と、
   ズーム機能を備え、当該ズーム機能を利用して監視対象を撮像して画像データを生成する撮像手段と、
   前記撮像手段周辺の音を集音して、音声データを生成する複数の集音手段と、
   複数の前記集音手段のうち、少なくとも一つの集音手段で生成された音声データから前記監視対象の状況を認識する音声認識手段と、
   前記音声認識手段により前記監視対象に異常が発生したと判定した場合に、前記複数の集音手段により集音された音声データを用いて、前記撮像手段に対する前記監視対象の方向を推定する方向推定手段と、
   前記方向推定手段により推定された方向を撮像方向とするように前記撮像手段を駆動する撮像制御手段と、
   前記撮像制御手段により撮像方向が制御された前記撮像手段により生成した画像データから、前記監視対象を認識する画像認識手段と、
   前記画像認識手段により認識された前記監視対象部分を拡大するようにズーム機能を制御して前記撮像手段により生成された画像データ、及び前記集音手段により生成した音声データを前記監視サーバに送信するように前記通信手段を制御する監視制御手段と
   を備えることを特徴とする監視通報システム。
6. 前記方向推定手段は、各集音手段の音声検出時刻の時間差又は位相差を求めて、前記監視対象の方向を推定することを特徴とする請求項５に記載の監視通報システム。
7. 前記各集音手段は、地面に対する水平面上に他の集音手段と所定の間隔を介して取り付けられて、前記方向推定手段は、各集音手段の音波の到達時間差又は位相差を求めて、前記監視対象の水平面方向を推定することを特徴とする請求項５に記載の監視通報システム。
8. 前記各集音手段は、地面に対する垂直面上に他の集音手段と所定の間隔を介して取り付けられて、前記方向推定手段は、各集音手段の音波の到達時間差又は位相差を求めて、前記監視対象の垂直面方向を推定することを特徴とする請求項５に記載の監視通報システム。
9. 前記各集音手段は、地面に対して垂直に設置されたポールの側面であって、前記地面に対する水平面上に他の集音手段と所定の間隔を介して取り付けられていることを特徴とする請求項１又は請求項５に記載の監視通報システム。
10. 複数の通報ユニットと、当該通報ユニットにより生成した音声及び画像を監視者に提示する監視サーバとが通信回線を介して接続された監視通報システムにおいて、
    前記各通報ユニットは、
    少なくとも画像データ及び音声データを前記監視サーバとの間で通信する通信手段と、
    監視対象を撮像して、画像データを生成する撮像手段と、
    前記撮像手段周辺の音を集音して、音声データを生成する集音手段と、
    前記監視サーバからの遠隔制御信号により前記撮像手段の撮像方向を制御する撮像制御手段とを備え、
    前記監視サーバは、
    前記通報ユニットとの間で通信をする通信手段と、
    前記複数の通報ユニットの前記集音手段のうち、少なくとも一つの集音手段で生成されて前記通信手段により受信した音声データから前記監視対象の状況を認識する音声認識手段と、
    前記音声認識手段により前記監視対象に異常が発生したと判定した場合に、前記複数の通報ユニットの前記集音手段により集音された音声データを用いて、前記各通報ユニットの前記撮像手段に対する前記監視対象の方向を推定する方向推定手段と、
    前記方向推定手段により推定した前記各通報ユニットの撮像手段の撮像方向を示す遠隔制御信号を前記各通報ユニットに送信するように前記通信手段を制御し、当該遠隔制御信号に従って前記撮像制御手段により撮像方向が制御された各通報ユニットの前記撮像手段により生成した画像データ、及び前記集音手段により生成した音声データを受信する監視制御手段とを備えること
    を特徴とする監視通報システム。
11. 複数の通報ユニットと、当該通報ユニットにより生成した音声及び画像を監視者に提示する監視サーバとが通信回線を介して接続された監視通報システムにおいて、
    前記各通報ユニットは、
    監視対象を撮像して、画像データを生成する撮像手段と、
    前記撮像手段周辺の音を集音して、音声データを生成する集音手段と、
    前記集音手段で生成された音声データから前記監視対象の状況を認識する音声認識手段と、
    少なくとも画像データ及び音声データを前記監視サーバとの間で通信し、前記音声認識手段により前記監視対象の状況に異常が発生したと判定した場合に、異常発生信号を前記監視サーバに送信する通信手段と、
    前記監視サーバからの遠隔制御信号により前記撮像手段の撮像方向を制御する撮像制御手段とを備え、
    前記監視サーバは、
    前記通報ユニットとの間で通信をする通信手段と、
    前記通報ユニットから異常発生信号を受信した場合に、異常が発生した通報ユニットの前記撮像手段、及び当該通報ユニットの周囲に存在する通報ユニットの前記撮像手段に対する前記監視対象の方向を推定する方向推定手段と、
    前記方向推定手段により推定した前記各通報ユニットの撮像手段の撮像方向を示す遠隔制御信号を前記各通報ユニットに送信するように前記通信手段を制御し、当該遠隔制御信号に従って前記撮像制御手段により撮像方向が制御された各通報ユニットの前記撮像手段により生成した画像データ、及び前記集音手段により生成した音声データを受信する監視制御手段とを備えること
    を特徴とする監視通報システム。
12. 複数の通報ユニットと、当該通報ユニットにより生成した音声及び画像を監視者に提示する監視サーバとが通信回線を介して接続された監視通報システムにおいて、
    前記各通報ユニットは、
    監視対象を撮像して、画像データを生成する撮像手段と、
    前記撮像手段周辺の音を集音して、音声データを生成する集音手段と、
    前記集音手段で生成された音声データから前記監視対象の状況を認識する音声認識手段と、
    少なくとも画像データ及び音声データを前記監視サーバとの間で通信し、前記音声認識手段により前記監視対象の状況に異常が発生したと判定した場合に、異常発生信号を前記監視サーバに送信する通信手段と、
    前記監視サーバからの遠隔制御信号により前記撮像手段の撮像方向を制御する撮像制御手段とを備え、
    前記監視サーバは、
    前記通報ユニットとの間で通信をする通信手段と、
    前記複数の通報ユニットの設置場所を示す設置場所データを記憶し、前記複数の通報ユニットから異常発生信号を受信した場合に、前記設置場所データを参照して異常が発生した複数の通報ユニットの設置場所を抽出し、異常が発生した前記通報ユニットの設置場所の順序に従って、前記監視対象の移動方向を認識する移動方向認識手段と、
    前記異常発生信号を送信した通報ユニット、及び当該通報ユニットから前記移動方向認識手段により認識した移動方向に存在する通報ユニットの前記撮像手段に対する前記監視対象の方向を推定する方向推定手段と、
    前記方向推定手段により推定した前記各通報ユニットの撮像手段の撮像方向を示す遠隔制御信号を前記各通報ユニットに送信するように前記通信手段を制御し、当該遠隔制御信号に従って前記撮像制御手段により撮像方向が制御された各通報ユニットの前記撮像手段により生成した画像データ、及び前記集音手段により生成した音声データを受信する監視制御手段とを備えること
    を特徴とする監視通報システム。
13. 前記方向推定手段は、前記撮像手段の撮像領域内であって異なる検出範囲とされた複数の距離センサを備え、各距離センサにより検出した前記監視対象の距離情報を用いて前記監視対象の方向を推定することを特徴とする請求項１に記載の監視通報システム。
14. 前記距離センサは、超音波センサ又は光学式センサであることを特徴とする請求項１３に記載の監視通報システム。
15. 前記方向推定手段は、前記撮像手段の撮像領域内であって異なる検出範囲とされた複数の赤外線センサを備え、各赤外線センサにより検出した赤外線情報を用いて前記監視対象の存在する領域を求め、前記監視対象の方向を推定することを特徴とする請求項１に記載の監視通報システム。
16. 前記音声認識手段は、前記監視対象が生体である場合の異常発生時の音声データ、又は前記監視対象が物体である場合の音響データを記憶する音データベースを備え、当該音データベースに記憶された音声データ及び音響データと前記集音手段により生成した音声データとを比較して、前記監視対象の異常発生の有無を認識することを特徴とする請求項１に記載の監視通報システム。
17. 前記音データベースは、音声データ又は音響データの基本周波数、パワースペクトル、フォルマント、ケプストラム及びこれらの時間的変位のうち、少なくとも一つを音声データ又は音響データの特徴量として記憶していることを特徴とする請求項１６に記載の監視通報システム。
18. 前記音データベースは、前記撮像手段の周辺の環境音データを記憶し、当該環境音データと類似した音声データに基づいて前記監視対象の状況を異常と認識する判定を停止させることを特徴とする請求項１６に記載の監視通報システム。

Images