JP2009277101A - 監視装置、監視方法、及び記録媒体 - Google Patents

Abstract

【課題】個人宅にも適用可能であり、複数の状態を識別してそれぞれの状態に対応したアクションを取ることを可能とする監視技術を提供する。
【解決手段】監視装置において、予め録音された音のデータである登録音データを格納する登録音データ格納手段と、登録音データに対応付けてアクションルールを格納するアクションルール格納手段と、音データを入力する音データ入力手段と、前記音データ入力手段により入力された入力音データと、前記登録音データ格納手段に格納された登録音データとを比較し、当該入力音データが当該登録音データに該当するか否かを判断する判断手段と、前記判断手段により、前記入力音データが前記登録音データに該当すると判断された場合に、当該登録音データに対応するアクションルールを前記アクションルール格納手段から読み出し、当該アクションルールに基づきアクションを実行するアクション実行手段とを備える。
【選択図】図２

Description

本発明は、家庭、オフィス等の室内環境における状況を把握するための技術に関するものであり、特に、音に基づき状況を検出し、検出した内容に応じたアクションを実行するための技術に関するものである。

室内等における状況を把握するための技術として、建物周辺やその内部で不審者等がいないかどうかを監視する技術が従来からある。このような技術では、映像監視カメラ、赤外線センサ、マイク等の機器を監視を行いたい場所に設置し、これらの機器により異常が検知された場合に、予め指定された場所への通知、ベルを鳴らす等のアクションが行われる。

映像監視カメラを用いて監視を行う映像監視においては、異常物体が存在していないときの画像を基準画像として予め登録しておき、その基準画像とカメラによる撮影画像との差分を取ることで異常物体の検出を行っている。

赤外線センサを用いて監視を行う技術においては、赤外線を常時発信部から受信部にあて、発信部と受信部との間を物体が通過することにより赤外線が遮断され、受信部が赤外線を受信しなくなったことを検知することにより異常判定を行っている。また、マイクを用いて監視を行う技術においては、集音している音がある閾値を超えた場合に、異常であると判定する。

上記技術に基づく監視技術は、一般に、本来人がおらず、音や物体の動きが無い時に作動させ、音や映像の変化を捉えて異常を検知するものである。もしくは、監視技術を入退室管理に用い、赤外線センサにより感知エリア内で人物をとらえた場合や、マイクで異常音を検出した場合に、映像をカメラで録画し、予め登録した基準となる顔テンプレートとのマッチングにより入室者（侵入者）を検出する技術もある。また、特許文献１に開示されているように、複数のカメラを用いた画像監視技術もある。
特開２００３−１６３９２８号公報

上述したように、従来は、定常状態と異なる映像の検出やセンサ遮断の検出、あるいは、無音（環境音）から有音（音声等）を検出し、それをトリガにしてアラーム情報を送信するという異常通報技術が主に提供されており、そこでは、異常の内容や状態は考慮されていない。つまり、従来技術では、異常が発生しているかいないかの２状態しか識別しておらず、複数の異なる内容に応じて、異なるアクションを実施することは行われていない。

また、個人宅の状態把握の場面として、遠隔にいる高齢者（両親等）の安否を確認したいというニーズがある。この場合、ドアの開閉や湯沸しポットに設置したセンサから、当該ドアやポットの使用の有無を検出することで、安否を確認する。しかし、この場合も上記と同様に、使用したかしないかの２状態しか識別されていない。また、映像監視カメラに関しては、プライバシーの観点から、個人宅には設置しにくいという問題もある。

本発明は上記の点に鑑みてなされたものであり、個人宅にも適用可能であり、更に、複数の状態を識別してそれぞれの状態に対応したアクションを取ることを可能とする監視技術を提供することを目的とする。

上記の課題を解決するために、本発明は、入力された音データに基づき、アクションを実行する監視装置であって、予め録音された音のデータである登録音データを格納する登録音データ格納手段と、登録音データに対応付けてアクションルールを格納するアクションルール格納手段と、音データを入力する音データ入力手段と、前記音データ入力手段により入力された入力音データと、前記登録音データ格納手段に格納された登録音データとを比較し、当該入力音データが当該登録音データに該当するか否かを判断する判断手段と、前記判断手段により、前記入力音データが前記登録音データに該当すると判断された場合に、当該登録音データに対応するアクションルールを前記アクションルール格納手段から読み出し、当該アクションルールに基づきアクションを実行するアクション実行手段とを備えたことを特徴とする監視装置として構成される。

前記監視装置は、アクションに対応付けて宛先情報を格納する宛先情報格納手段を更に備え、前記アクションが、情報を送信するアクションである場合において、前記アクション実行手段は、当該アクションに対応する宛先情報を前記宛先情報格納手段から読み出し、当該宛先情報が示す宛先に前記情報を送信することとしてもよい。

また、前記監視装置は、当該監視装置に接続される入出力装置と人とが対話を行うために使用されるシナリオを格納するシナリオ格納手段と、対話用音データを格納する対話データ格納手段とを更に備え、前記アクション実行手段は、前記シナリオを前記シナリオ格納手段から読み込み、当該シナリオに記述された情報に従って、前記対話データ格納手段から対話用音データを読み出し、当該対話用音データを前記入出力装置に送信し、前記入出力装置から送信され、入力される音データに基づきアクションを実行することとしてもよい。

また、本発明は、コンピュータを、上記監視装置における各手段として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体として構成することもできる。

本発明によれば、映像を用いずに、音を用いることとしたため、個人宅にも適用し易い監視技術の実現が可能となる。更に、本発明によれば、入力音データと、登録音データ格納手段に格納された登録音データとを比較し、入力音データが登録音データに該当すると判断された場合に、当該登録音データに対応するアクションルールに基づきアクションを実行することとしたので、登録音データに対応する複数の状態を識別してそれぞれの状態に対応したアクションを取ることが可能となる。

以下、図面を参照して本発明の実施の形態を説明する。

（システム構成）
図１に、本発明の実施の形態における監視システム１の全体構成図を示す。図１に示すように、本実施の形態における監視システム１は、監視対象場所に設置される集音装置２及び入出力装置３と、本発明に係る装置である監視装置４と、受信端末５及び電話機６とを有する。

集音装置２、入出力装置３、監視装置４、及び受信端末５は、インターネット等のデータ通信ネットワーク７に接続される。監視装置４は更に電話網８に接続され、同じく電話網８に接続されている電話機６と電話網８を介した通信が可能となっている。

集音装置２及び入出力装置３が設置される監視対象場所は、例えば個人宅、事業所ビル等である。また、受信端末５及び電話機６は、緊急対応サービス提供者等の場所に設置される。緊急対応サービス提供者は、例えば警備会社、消防署、病院、ケアサービス会社等である。また、受信端末５及び電話機６は、監視対象場所である個人宅の個人の家族や知人宅に設置することもできる。もちろん、受信端末５及び電話機６を、緊急対応サービス提供者等の場所と、家族や知人宅のそれぞれに設置することとしてもよい。

なお、図１に示す例では、集音装置２及び入出力装置３と、監視装置４とをデータ通信ネットワーク７を介して接続しているが、監視装置４を監視対象場所に設置し、集音装置２と入出力装置３とを監視装置４に対してローカルネットワークを用いて接続することとしてもよい。

監視対象場所に設置される集音装置２は、監視対象場所における音を収集し、収集した音を音データに変換して監視装置に送信する機能を有する装置である。なお、本明細書における"音"は、人間が発する音声を含む意味で使用している。

また、監視対象場所に設置される入出力装置３は、音を入力し、入力された音を音データとして監視装置４に送信する機能とともに、監視装置４から音データを受信し、その音データを音として出力する機能を備えている。また、入出力装置３は、監視装置４からオン／オフの制御が可能なように構成されている。

受信端末５は、メール受信機能やWeb閲覧機能等を有する一般的なパソコン等の端末であり、データ通信ネットワーク７を介して監視装置４からメッセージを受信し、それを表示することができる。電話機は、一般の固定電話機、携帯電話機等である。

図２に、監視装置４の機能構成図を示す。図２に示すように、監視装置４は、入力部４１、制御部４２、比較判断部４３、データ抽出部４４、メッセージ作成部４５、登録処理部４６、出力部４７、録音データ蓄積部４８、アクションルール蓄積部４９、発信先データ蓄積部５０、収集音データ蓄積部５１、対話データ蓄積部５２、シナリオ蓄積部５３を有する。

入力部４１は、データ通信ネットワーク７あるいはローカルネットワークを介して外部装置からデータを受信し、それを制御部４２に渡す機能を有する。また、入力部４１は、監視装置４の操作者がデータ入力を行うための機能も含む。制御部４２は、アクションルール等に基づき、各機能部を利用して本実施の形態に係る監視動作やアクション動作を実行するための機能部である。比較判断部４３は、入力された音データ（入力音データと呼ぶ）と、録音データ蓄積部４８に格納されている各音データ（登録音データと呼ぶ）とを比較することにより、入力音データが、いずれかの登録音データに該当するものであるかどうかの判断を行う機能部である。データ抽出部４４は、アクションルールに基づく処理の実行に際して、各蓄積部から処理に必要なデータを抽出する機能を有する。

メッセージ作成部４５は、出力部４７を介して電子メールを送信する際に、メールの本文を作成する機能部である。登録処理部４６は、入力部４１を介して入力された録音データ、対話データ等をこれらに対応する各蓄積部に格納するための機能部である。また、入出力装置３を用いて録音データ、対話データ等を登録する場合において、登録処理部４６は、入出力装置３に対して登録のためのガイダンス音声メッセージを送信する機能等も有している。
出力部４７は、データ通信ネットワーク７を介して音データ、電子メール、メッセージ等を送出する機能、電話網８を介して電話発信を行い、通話相手に音（メッセージ）を送信する機能等を有する。

録音データ蓄積部４８は、アクションのトリガーとして使用する音データ（予め録音しておくデータ）や、メッセージとして出力するための音データ等を格納する機能部である。図３(a)に、録音データ蓄積部４８が格納するデータの構造の例を示す。図３(a)に示すように、録音データ蓄積部４８には、音データが、その識別情報と対応付けて格納されている。

アクションルール蓄積部４９は、ある特定の入力音データが検出された場合に、その特定の入力音データに対応してどのようなアクションをとるかを定めたルールであるアクションルール（アクション条件とも呼ぶ）を格納する機能部である。図３(b)に示すように、アクションルール蓄積部４９には、音の識別情報（図３(a)に示す識別情報に対応するもの）と、それに対応するアクションルールとが対応付けて格納されている。アクションルールは、すぐにアクションに結びつくルール（例えばアクションの内容（識別情報）そのもの）でもよいし、更なる入力音データを要求し、その入力音データが所定の登録音データに該当する場合に所定のアクションを実行するといった処理動作を示すルールでもよい。

発信先データ蓄積部５０は、アクションに対応する連絡先を格納する機能部であり、図３(c)に示すように、アクションの識別情報と、連絡先が対応付けて格納されている。 収集音データ蓄積部５１は、監視装置４が監視動作を行っているときに、入力部４１を介して受信する音データを蓄積する機能部である。また、対話データ蓄積部５２は、後述するシナリオに基づき入出力装置３と人間との間で対応を行う場合において、入出力装置３が出力する音声メッセージを格納する機能部である。当該音声メッセージは予め格納しておくものである。シナリオ蓄積部５３は、シナリオ（のデータ）を、その識別情報と対応付けて格納する機能部である。シナリオの内容例については後述する。

なお、監視装置４は、CPUと、メモリやハードディスク等の記憶装置とを含む一般的なコンピュータに、本実施の形態で説明する処理に対応するプログラムを実行させることにより実現されるものであり、上述した各機能部は、コンピュータに当該プログラムが実行されて実現される機能部である。従って、例えば、各機能部間での情報のやりとりは、実際にはメモリ等の記憶装置を介して行われるものである。なお、上記プログラムは、メモリ等の記録媒体に格納し、そこからコンピュータにインストールすることもできるし、ネットワーク上のサーバからダウンロードするようにしてもよい。

（監視装置４の動作）
次に、監視装置４の処理動作について説明する。監視装置４がその目的とする動作を行うために、以下で説明する事前処理を行うことが必要である。

まず、監視装置４がアクションを実行するトリガーとするために検出することが必要となる音のデータを録音データ蓄積部４８に格納する。例えば、監視対象場所において、検出すべき音と同様の音を（例えば数十秒間）発生させ、入出力装置３によりその音データを監視装置４に送信する。監視装置４では、登録処理部４６によりその音データが、当該音データを識別するための識別情報（例えば監視対象場所に設置されたPC等から入力する）と対応付けて録音データ蓄積部４８に格納される。

また、アクションルール蓄積部４９には、アクションルールを格納し、シナリオ蓄積部５３にはシナリオを格納しておく。更に、発信先データ蓄積部５０には、各アクションに対応する発信先データ（連絡先情報）を格納しておき、対話データ蓄積部５１には、シナリオの実行に際して必要となる会話データを格納しておく。

以上の事前処理の後、実際の監視動作が行われる。図４に示すフローチャートに沿って、監視装置４が実行する処理動作を説明する。

本実施の形態では、特定のアクションを行うべき事象が何も発生していない通常の状態において、集音装置２が常時音を収集する動作を行い、音が収集された場合に、集音装置２はその音データを監視装置４に送信する。監視装置４の制御部４２は、入力部４１を介して入力音データを受信する（ステップ１）。その入力音データは収集音データ蓄積部５１に格納される。

監視装置４の制御部４２は、データ抽出部４４の機能を用いて、収集音データ蓄積部５１に格納された音データから所定の長さを切り出す処理を行う（ステップ２）。切り出しに際しては、音データから音の変化があった部分や、無音区間を識別し、無音でないまとまった区間を切り出すように処理を行う。

切り出す音の長さは、既に録音データ蓄積部４８に蓄積されている各登録音データの長さと同じか、又は、登録音データの長さより短い長さとする。続いて、制御部４２は、比較判断部４３を用いて、切り出された入力音データと、録音データ蓄積部４８に格納されている各登録音データとを比較し、入力音データが、録音データ蓄積部４８に格納されている各登録音データのうちのいずれかの登録音データに該当する音データであるかどうかを判断する（ステップ３）。なお、ステップ３において、入力音データが、特定の登録音データに該当する音データであるかどうかを判断する処理を行ってもよい。

ここで、入力音データが、ある登録音データに対応するものであると判断された場合（ステップ３のYes）は、ステップ４の処理に進み、登録音データに対応するものであると判断されなかった場合（ステップ３のNo）は、ステップ１に戻り、音データの入力を待つ。

ステップ４において、制御部４２は、ステップ３で入力音データに対応すると判断された登録音データの識別情報を利用して、データ抽出部４４により当該登録音データに対応するアクションルールをアクションルール蓄積部４９から読み出す。そして、制御部４２は、当該アクションルールを実行することにより、アクションルールに従った制御動作を行う（ステップ５）。

前述したように、アクションルールは、すぐにアクションに結びつくルールである場合もあるし、更なる入力音データを待ち、それに基づきアクションを行ったり、シナリオを実行したりするルールである場合もある。いずれにせよ、本実施の形態において当該アクションルールに基づき実行されるアクションとしては、電話発信、メール送信、音出力等がある。以下では、電話発信、メール送信の例について説明する。

（電話発信の例）
アクションルールに基づき電話発信を行うアクションが実行される場合、制御部４２は、データ抽出部４４を利用して、当該アクションルールに含まれる当該アクションの識別情報に対応する連絡先情報（電話番号）を発信先データ蓄積部５０から取得し、出力部４７により、当該電話番号を宛先とする電話発信を行う。例えば、入力音データ（登録音データ）に対応するアクションルールが、特定の緊急連絡先に電話連絡を行うというアクションを実行することであった場合に、制御部４２は、この場合の緊急連絡先として発信先データ蓄積部５０に格納されている電話番号に発信を行うことになる。

また、例えば、入力音データに対応するアクションルールが、警備会社に電話連絡を行うというアクションを実行することであった場合に、制御部４２は、警備会社の連絡先として発信先データ蓄積部５０に格納されている電話番号を取得し、そこに発信を行う。また、入力音データに対応するアクションルールが、医療機関に電話連絡を行うというアクションを実行することであった場合に、制御部４２は、医療機関の連絡先として発信先データ蓄積部５０に格納されている電話番号に発信を行う。この場合の入力音データは、例えば、ベッドから転倒した音等が考えられる。

また、登録音データとして「苦しい！」、「助けて！」、「救急車！」といった救援要請を求める音声のデータが登録されており、それらの登録音データに対応するアクションルールとして、消防署に電話をかけて救急車を呼ぶというアクションを実行するためのルールがアクションルール蓄積部４９に格納されている場合において、入力音データとして上記救援要請に該当する音データが入力された場合に、制御部４２は、消防署の電話番号を発信先データ蓄積部５０から取得して消防署の電話機に発信する。

上記の各場合において発信を行った後、制御部４２は、録音データ蓄積部４８から予め登録された登録音データを取得し（どの登録音データを取得するかはアクションルールに記述されている、もしくは連絡先に応じて予め定めておく）、出力部４７を介してその音データを音（音声）として連絡先に伝える。例えば、連絡先が消防署の場合においては、特定の住所に救急車が来て欲しい旨を伝えるための音声データを登録しておき、当該音声が消防署に伝えられるようにする。

なお、アクションとしての電話連絡は、上記のような緊急連絡用に用いることができる他、例えば、子供の帰宅を検知して母親の携帯電話機へ電話連絡を行うといった通常連絡用に使用することもできる。

（メール送信の例）
入力音データに対応するアクションルールが、特定のアドレスに電子メールを送信するアクションを実行するためのルールである場合、制御部４２は、当該アクションの識別情報を利用して、発信先データ蓄積部５０から当該アクションに対応する発信先のメールアドレスを取得する。そして、制御部４２は、メッセージ作成部４５を用いて当該アクションに対応する定型文を含む電子メールを作成し、当該電子メールを出力部４７を介して上記アドレス宛に送信する。

電子メールの場合は、それを受信した相手がすぐに見るとは限らないため、緊急連絡方法としては必ずしも適さないが、例えば、警備会社の受信端末に受信電子メールがリアルタイムに表示され、警備会社の担当者がそれを常時確認できるようにすれば、電話メールを緊急連絡方法として使用することは可能である。

なお、アクションとしてのメール送信は、上記のような緊急連絡用に用いることができる他、例えば、子供の帰宅を検知して母親の携帯電話機へ電子メールで帰宅を知らせるといった通常連絡用に使用することもできる。

なお、電話連絡、メール送信等はアクションの一例にすぎず、本実施の形態の監視装置４は、アクションルールを適宜設定することにより様々なアクションを実行させることができる。例えば、予め人（家族）が録音しておいた音声メッセージをスピーカから流すことにより、避難場所、待機場所、元気づけメッセージを伝えるというアクションを実行することも可能である。

（アクションルール実行の他の例）
前述したように、アクションルールは、更なる入力音データに基づきアクションを実行するルールであったり、更なる入力音データに基づきシナリオ等を実行するルールである場合がある。以下、アクションルールが更なる入力音データを待って実際のアクションを実行する場合の例１、例２を説明する。

＜例１＞
まず、子供が帰宅した場合に、シナリオに従った対話を通じてアクションを行う場合の監視装置４の動作例を、図４、図５を参照して説明する。

本例では、監視対象場所である子供の自宅におけるドアの開閉音が登録音データとして録音データ蓄積部４８に格納されており、アクションルール蓄積部４９には、当該登録音に対応するアクションルールとして、図５のフローチャートで示す処理に対応するアクションルールが格納されている。また、シナリオ蓄積部５３には、上記アクションルールにおいて用いられるシナリオが格納され、対話データ蓄積部５２には当該シナリオの実行において、入出力装置３が発することになる音声に対応する対話データが格納されている。

本例では、まず、前述した図４のステップ３において、監視装置４の制御部４２が比較判断部４３を用いて、入力音データがドアの開閉音の登録音データに該当するものであるかどうかを判断する。そして、入力音データがドアの開閉音の登録音データに相当するものであると判断された場合に、制御部４２は、アクションルール蓄積部４９から当該入力音データ（登録音データ）に対応するアクションルールを取得し、当該アクションルールに従って監視装置４の制御動作を実行する。

図５は、このアクションルールが実行される監視装置４の処理動作を示すフローチャートである。まず、制御部４２は、出力部４７を介して、監視対象場所に設置された入出力装置３のスイッチをオンとする（ステップ１１）。そして、制御部４２は、上記アクションルールに従って、所定のシナリオをシナリオ蓄積部５３から読み込む（ステップ１２）。このシナリオには、状況（入出力装置３から入力された音声等）に応じて、どの対話データを出力するか、どの入力音データを待つべきか等が記述されている。制御部４２は、アクションルールを実行する中で、当該シナリオのデータを参照して、どの入力音を待つべきか、更に、その入力音に対してどの対話データを出力するかを決定する。なお、アクションルール自体にシナリオに記述された内容を記述してもよいが、シナリオを用いることにより、処理の変更等を柔軟に行うことが可能となる。

続いて、本例では、シナリオに従って、制御部４２が対話データ蓄積部５２から所定の対話データ（母親の声で「おかえりなさい」等の音声データ）を取得し、それを出力部４７を介して入出力装置３に送信する（ステップ１３）。入出力装置３ではその音声が出力される。

そして、制御部４２は、入出力装置３からの音データの入力待ちの状態となる。入出力装置３から監視装置４に対して音データが入力された場合（ステップ１４）、制御部４２は、前述した切り出し処理と同様の切り出し処理を行って、その入力音データが、シナリオに定められた所定の登録音データ（子供の声で「ただいま」等）に該当するものであるかどうかの判断を行う（ステップ１５）。

そして、ステップ１５において、所定の登録音データに対応する入力音データが入力されたと判定された場合に、制御部４２は、本例でのアクションルールもしくはシナリオに従ってアクションを実行する（ステップ１６）。ここでは、子供が帰宅したことを示す定型メッセージを含む電子メールを、予め登録してある母親のメールアドレス宛に送信する。電子メールに代えて、前述したような電話連絡を行うこととしてもよい。

その後、制御部４２は再び入力音データ受信待ちになる。そして、入出力装置３から監視装置４に対して音データが入力された場合（ステップ１７）、制御部４２は、シナリオに従って、その入力音データが、上記メール送信後に待つべき所定の登録音データ（「これから塾へ行く」、「これから遊びに行く」等）に対応するものであるかどうかの判断を行う（ステップ１８）。

そして、入力音データが、所定の登録音データである場合に、制御部４２は、その登録音データに対応するアクションを行う（ステップ１９）。なお、登録音データに対応するアクションはシナリオに記述されている。
例えば、入力音データが「これから塾に行く」であると判断された場合には、制御部４２は、メッセージ作成部４５により「子供が塾に出かける」というメッセージを記述した電子メール本文を作成し、発信先データ蓄積部５０に格納されている母親のメールアドレスを取得して、当該電子メールを母親のメールアドレスに送信する。

＜例２＞
次に、人間が入出力装置３に対して話しをすることにより入力される音声から、帰宅者を識別し、その帰宅者に応じたアクションを行う場合の例について図６のフローチャートを参照して説明する。

本例でも、上述した例と同様に、図４に示したフローチャートに沿って、まずはドアの開閉音の有無が判断され、ドアの開閉音が検出された場合にアクションルールに従った動作がなされる。図６のフローチャートは、そのアクションルールに基づく監視装置４の動作を示すフローチャートである。

本例では、録音データ蓄積部４８に、子供Aの声での「ただいま」という登録音データ、及び子供Bの声での「ただいま」という登録音データが、それぞれ識別情報とともに予め格納されている。また、対話データ蓄積部５２には、母親が予め録音した各種メッセージが、それぞれ識別情報とともに予め格納されている。

また、本例では、複数のシナリオが予めシナリオ蓄積部５３に格納されている。各シナリオは曜日に応じて使い分けられるものである。図７に本例においてシナリオ蓄積部５３に蓄積されるシナリオの例を示す。

図７に示すように、月曜日に使用されるシナリオには、子供Aの「ただいま」の入力音があった場合に、１５：４０になったら母親のメッセージA１を出力し、子供Bの「ただいま」の入力音があった場合には、１６：００になったらメッセージB１を出力する等が記述されている。他の曜日も同様である。なお、各シナリオには、入出力装置３をオンした後に「おかえり」を出力する旨も記述されているが、図７にはそれを示していない。

ドアの開閉音が検出され、アクションルールが読み込まれた後の処理を示す図６のフローチャートのステップ２１において、まず、制御部４２は、出力部４７を介して、監視対象場所に設置された入出力装置３のスイッチをオンとする（ステップ２１）。

そして、制御部４２は、現在の曜日を判断し（ステップ２２）、その曜日に対応するシナリオをシナリオ蓄積部５３から読み込む（ステップ２３）。

続いて、制御部４２は、読み込んだシナリオに従って、対話データ蓄積部５２から所定の対話データ（母親の声での「おかえりなさい」等の音声データ）を取得し、それを出力部４７を介して入出力装置３に送信する（ステップ２４）。入出力装置３ではその音声が出力される。

そして、制御部４２は、入出力装置３からの音データの入力待ちの状態となる。入出力装置３から監視装置４に対して音データが入力された場合（ステップ２５）、制御部４２は、前述した切り出し処理と同様の切り出し処理を行って、その入力音データが、シナリオに定められた所定の登録音データに対応するものであるかどうかの判断を行う（ステップ２６）。

そして、ステップ２６において所定の登録音データに対応する入力音データが入力されたと判定された場合に、制御部４２は、シナリオに従って、現在時刻がその入力音の発話者（子供A又は子供B）に対応するアクション（対話データを送信するというアクション）を行う時刻であるかどうかの判定を行う（ステップ２７、２８）。現在時刻がその時刻でなければその時刻が到来するまで待つことになる。そして、その時刻になったときに、シナリオに従って、母親のメッセージを対話データ蓄積部５２から取得し、それを出力部４７を介して入出力装置３に送信する（ステップ２９）。入出力装置３では、その音データが再生されて母親のメッセージが出力される。

このような処理を行うことにより、例えば、月曜日に子供Aが帰宅した場合、１５：４０になったところで、母親の声で、「A君、１６時にピアノだから、そろそろ準備をして、遅れないように行きなさい」といったメッセージを入出力装置３に出力させることができる。

このように、月曜日１６時にA君はピアノ、B君は塾、火曜日１８時はA君、B君ともに塾等、その週の予定に応じて、メッセージを録音しておくとともに、曜日毎のシナリオを設定しておくことで、あたかも母親が家にいるような環境を実現できる。

本例では、入出力装置３は、子供と母親との間のメッセージメモ装置であると同時に、子供の行動を母親に知らせる連絡装置にもなる。

このとき、帰宅者は、自由な話を行うのではなく、予め自分で録音しておいたメッセージを発話することとしている。すなわち、本実施の形態における監視装置４は、自由な発話に対する音声認識を行うのではなく、生活上での母親への連絡に必要な事象を識別するために、有限個の個数の特定のフレーズを予め録音しておき、帰宅時には、帰宅を意味するフレーズを発声するようにし、出かけるときには、予め登録した目的地に応じたフレーズを発声することで入出力装置３に認識させ、母親への連絡のトリガとしている。

なお、上記の例において、例えば、子供の音声とともに、外部要因により他の音を検出した場合には、例外的に上記の処理と異なる処理を行うようにアクションルールを設定しておいてもよい。

（実施の形態の効果）
上述したように、本実施の形態で説明した監視装置４を用いることにより、遠隔地から観察したい場所の状況把握、緊急に対応しなければならない異常状況を検出でき、その種類に応じたアクションを自動的に実行できる。特に、検出したい人の音声や機械音（動きの音）を予め登録することにより、個人、物動作、状態が特定できるため、家族や関係者にとって、次に起こすべきアクションを明確にすることが可能となり、大きな効果を奏する。また、本実施の形態では、アクションルールやシナリオを蓄積部に格納し、そこから読み出したアクションルールやシナリオに従って動作を行うこととしているので、アクションルールやシナリオを適宜設定することにより、様々な状況に対応可能な監視機能を提供できる。

また、予め検出した音を録音しておくことにより判定を行う本実施の形態の手法は、何の音であるかを認識することとは異なり、予め登録してある音と同じか、もしくは同種の音であるかどうかの判定（マッチング）だけを実施すれば良いため、容易に実現可能である。

そして、集音のための装置を用い、撮像装置を用いないため、特に個人宅に導入する際の抵抗感が少ないという効果もある。また、個人宅では、入出力装置（ロボット）などを取り入れて集音することで、個人宅の住人は入出力装置との相手をするだけになり、個人宅の住人にとって抵抗感なく監視装置側での情報収集を行うことができる。

本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

本発明の実施の形態における監視システム１の全体構成図である。 監視装置４の機能構成図である。 各蓄積部に格納されるデータの例を示す図である。 監視装置４が実行する処理動作を説明するためのフローチャートである。 監視装置４が実行する処理動作を説明するためのフローチャートである。 監視装置４が実行する処理動作を説明するためのフローチャートである。 シナリオ蓄積部５３に蓄積されるシナリオの例を示す図である。

符号の説明

１ 監視システム
２ 集音装置
３ 入出力装置
４ 監視装置
５ 受信端末
６ 電話機
７ データ通信ネットワーク
８ 電話網
４１ 入力部
４２ 制御部
４３ 比較判断部
４４ データ抽出部
４５ メッセージ作成部
４６ 登録処理部
４７ 出力部
４８ 録音データ蓄積部
４９ アクションルール蓄積部
５０ 発信先データ蓄積部
５１ 収集音データ蓄積部
５２ 対話データ蓄積部
５３ シナリオ蓄積部

Claims (7)

1. 入力された音データに基づき、アクションを実行する監視装置であって、
   予め録音された音のデータである登録音データを格納する登録音データ格納手段と、
   登録音データに対応付けてアクションルールを格納するアクションルール格納手段と、
   音データを入力する音データ入力手段と、
   前記音データ入力手段により入力された入力音データと、前記登録音データ格納手段に格納された登録音データとを比較し、当該入力音データが当該登録音データに該当するか否かを判断する判断手段と、
   前記判断手段により、前記入力音データが前記登録音データに該当すると判断された場合に、当該登録音データに対応するアクションルールを前記アクションルール格納手段から読み出し、当該アクションルールに基づきアクションを実行するアクション実行手段と
   を備えたことを特徴とする監視装置。
2. 前記監視装置は、アクションに対応付けて宛先情報を格納する宛先情報格納手段を更に備え、
   前記アクションが、情報を送信するアクションである場合において、前記アクション実行手段は、当該アクションに対応する宛先情報を前記宛先情報格納手段から読み出し、当該宛先情報が示す宛先に前記情報を送信することを特徴とする請求項１に記載の監視装置。
3. 前記監視装置は、当該監視装置に接続される入出力装置と人とが対話を行うために使用されるシナリオを格納するシナリオ格納手段と、対話用音データを格納する対話データ格納手段とを更に備え、
   前記アクション実行手段は、前記シナリオを前記シナリオ格納手段から読み込み、当該シナリオに記述された情報に従って、前記対話データ格納手段から対話用音データを読み出し、当該対話用音データを前記入出力装置に送信し、前記入出力装置から送信され、入力される音データに基づきアクションを実行することを特徴とする請求項１又は２に記載の監視装置。
4. 入力された音データに基づき、アクションを行う監視装置が実行する監視方法であって、前記監視装置は、予め録音された音のデータである登録音データを格納する登録音データ格納手段と、登録音データに対応付けてアクションルールを格納するアクションルール格納手段とを備え、前記監視方法は、
   音データを入力する音データ入力ステップと、
   前記音データ入力ステップにより入力された入力音データと、前記登録音データ格納手段に格納された登録音データとを比較し、当該入力音データが当該登録音データに該当するか否かを判断する判断ステップと、
   前記判断ステップにより、前記入力音データが前記登録音データに該当すると判断された場合に、当該登録音データに対応するアクションルールを前記アクションルール格納手段から読み出し、当該アクションルールに基づきアクションを実行するアクション実行ステップと
   を備えたことを特徴とする監視方法。
5. 前記監視装置は、アクションに対応付けて宛先情報を格納する宛先情報格納手段を更に備え、
   前記アクション実行ステップにおいて、前記アクションが、情報を送信するアクションである場合において、前記監視装置は、当該アクションに対応する宛先情報を前記宛先情報格納手段から読み出し、当該宛先情報が示す宛先に前記情報を送信することを特徴とする請求項４に記載の監視方法。
6. 前記監視装置は、当該監視装置に接続される入出力装置と人とが対話を行うために使用されるシナリオを格納するシナリオ格納手段と、対話用音データを格納する対話データ格納手段とを更に備え、
   前記アクション実行ステップにおいて、前記監視装置は、前記シナリオを前記シナリオ格納手段から読み込み、当該シナリオに記述された情報に従って、前記対話データ格納手段から対話用音データを読み出し、当該対話用音データを前記入出力装置に送信し、前記入出力装置から送信され、入力される音データに基づきアクションを実行することを特徴とする請求項４又は５に記載の監視方法。
7. コンピュータを、請求項１ないし３のうちいずれか１項に記載の監視装置における各手段として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images