JP2013225248A - 音識別システム、音識別装置、音識別方法およびプログラム - Google Patents

音識別システム、音識別装置、音識別方法およびプログラム Download PDF

Info

Publication number
JP2013225248A
JP2013225248A JP2012097738A JP2012097738A JP2013225248A JP 2013225248 A JP2013225248 A JP 2013225248A JP 2012097738 A JP2012097738 A JP 2012097738A JP 2012097738 A JP2012097738 A JP 2012097738A JP 2013225248 A JP2013225248 A JP 2013225248A
Authority
JP
Japan
Prior art keywords
sound
monitoring
unit
monitoring target
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012097738A
Other languages
English (en)
Inventor
Yoshinori Saida
好則 才田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2012097738A priority Critical patent/JP2013225248A/ja
Publication of JP2013225248A publication Critical patent/JP2013225248A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

【課題】音の収集を行っての監視において、監視対象とする音の登録に登録者の多大な負担を要せずにユーザの行動パターンに応じた監視を行うことができ、かつ、ユーザのプライバシを保護できるようにする。
【解決手段】音解析部220において、音識別部222は、マイク110が採取した音の種別を識別し、監視対象音決定部227は、音識別部222が識別した種別を元に監視対象音を決定する。また、音監視部210において、監視判定部212は、マイク110の採取した音が監視対象音決定部227の決定した監視対象音に該当するか否かを判定し、該当すると判定すると通知信号を出力する。
【選択図】図1

Description

本発明は、音識別システム、音識別装置、音識別方法およびプログラムに関する。
センサや端末機器等を用いて音の収集及び識別を行って、宅内等の状況を監視する一般的な方式として、収集した音を有線もしくは無線で接続されたサーバに送信して処理を行う方式がある。この方式では、サーバ上の音識別装置もしくは音識別システムにて、収集した音の認識処理を行うことで、状況の把握を行う。通常このサーバ機器は、ユーザ宅内とは別の、監視サービスを実施する企業内に設置される。
音識別にて把握される状況としては、例えば、警報音が鳴っている、特定の機器が動作している、静音状態である、物音が発生している、といったものが挙げられる。
ここで、非特許文献1(19ページおよび図3.1参照)には、音声認識処理方法の一例が記載されている。この音声認識処理方法の概要としては、センサや端末機器に搭載されたマイクを用いて収集された音声データに対して、特徴抽出部にて音の特徴を抽出し、あらかじめ準備された識別辞書との比較処理を識別部にて行うことで、収集した音声データの識別を行う。識別結果としては、類似と判定された識別辞書内の要素を得られる。例えば救急車のサイレン音、火災報知機の警報音、特定機器のモーター音といった識別結果を得られる。
この音声認識処理方法を前述の一般的な状況監視方式に適用すると、次の手順が考えられる。まず、宅内に設置されたセンサや端末機器が収集した音声データを、監視・見守りサービスを提供している企業のサーバに送信する。そして、このサーバ上の音識別装置もしくは音識別システムシステムにて音声認識処理を実施し、収集した音の識別処理を行って識別結果を得る。
一般に音識別処理は処理負荷が高く、また識別辞書のデータ容量も大きいものとなるため、監視・見守りサービス等での音識別処理は、ユーザ宅内に設置されたセンサや端末機器上ではなく、サービス提供企業に設置されたサーバ機器上にて実施される。
ここで、特許文献1に記載の安否確認装置は、住居の複数箇所に設置された音検出用の複数の音センサ手段と、この音センサ手段で検出した音を基に、検出音データを生成する行動監視手段と、この行動監視手段で生成された検出音データと行動パターンデータとを比較する安否判定手段と、この安否判定手段で検出音データと行動パターンデータとの比較の結果、検出音データに異常があると判定された際に、緊急通報を伝送する緊急通報手段と、を具備する。具体的には、特許文献2に記載の安否確認装置は、検出音データと行動パターンデータとが異なる場合に緊急通報を伝送する。
これにより、住人のプライバシが保護され、緊急時に緊急通報が可能、とされている。
また、特許文献2に記載の監視システムは、監視区域をカメラで撮影する監視システムであり、カメラが撮影する監視区域の音を拾うマイクが設けられ、カメラからの映像信号を画像処理手段により画像処理し、かつマイクで拾った音から音声/非音声認識手段により音素を認識し、この音素の時系列データから異常音声/異常音識別手段にて警告すべき異常音声であるか否かを判定し、異常と判定した場合、異常音声/異常音識別手段からの異常音声を文字データ出力手段により警告文字データに変換し、警告文字データを画像データに重畳する。
これにより、監視区域の映像に加えて監視区域内及びその周囲の聴取可能な音を識別して異常を警告することが可能、とされている。
特開2003−242569号公報 特開2007−228459号公報
荒木雅弘、「フリーソフトでつくる音声認識システム」、森北出版、2007年10月
前述のセンサと音識別装置もしくは音識別システムとを用いて宅内等の状況を監視する方式では、ユーザ(監視対象宅内にいるサービス利用者)のプライバシを侵害してしまうおそれがある。
例えば、家庭の監視・見守りサービスとして、留守時の泥棒侵入検出や火災報知機音の鳴動を、音収集および解析にて行う際、センサ等で収集した音を全てサーバに送信し、サーバにて監視対象音の検出を行う。従って、センサ等からサーバに送信される音声には、監視対象音以外に、ユーザのプライバシに関わる会話音声等も含まれ得る。かかる音声等を悪用されると、ユーザのプライバシが侵害されてしまうおそれがある。
また、特許文献1に記載の安否確認装置は、行動監視装置から伝送された音検出データを基に、住人の1日の行動をパターン化した行動パターンデータと、検出音データとが異なる場合に、緊急通報を伝送する。このため、住人が普段と異なる行動を行った場合、安否確認装置が誤通報してしまうことが考えられる。例えば、住人が新たな趣味で日曜大工を始めた場合、安否確認装置が工具の音を検出して異常発生と判定し、誤通報してしまうおそれがある。
ここで、特許文献1には、通常生活において稀に生じる音や異常音のデータを収集分析して安否確認用メモリに記憶させてもよいことが記載されている。しかしながら、住人の日常生活で発生していないが将来発生する可能性のある音を全て予測し、安否確認装置に収集させる作業は、登録者(例えば住人)にとって大きな負担となる。
また、特許文献2には、ユーザの行動パターンに応じた監視を行う技術は示されていない。
ここで、特許文献2には、多層パーセプトロンを用いたバックプロパゲーション学習にて音素認識を行うことや、音素認識にて得られた出力を用いて、異常音声/異常音情報を認識することが記載されている。しかしながら、特許文献2には、監視対象の異常音声/異常音情報をどのように決定し、どのように監視システムに登録するかについては示されていない。
本発明は、上述の課題を解決することのできる音識別システム、音識別装置、音識別方法およびプログラムを提供することを目的としている。
この発明は上述した課題を解決するためになされたもので、本発明の一態様による音識別システムは、マイクと、音監視部と、音解析部とを具備し、前記音解析部は、前記マイクが採取した音の種別を識別する音識別部と、前記音識別部が識別した前記種別を元に監視対象音を決定する監視対象音決定部と、を具備し、前記音監視部は、前記マイクの採取した音が前記監視対象音決定部の決定した監視対象音に該当するか否かを判定し、該当すると判定すると通知信号を出力する監視判定部を具備することを特徴とする。
また、本発明の一態様による音識別装置は、音監視部と、音解析部とを具備し、前記音解析部は、マイクにて採取された音の種別を識別する音識別部と、前記音識別部が識別した前記種別を元に監視対象音を決定する監視対象音決定部と、を具備し、前記音監視部は、前記マイクの採取した音が前記監視対象音決定部の決定した監視対象音に該当するか否かを判定し、該当すると判定すると通知信号を出力する監視判定部を具備することを特徴とする。
また、本発明の一態様による音識別方法は、マイクと、音監視部と、音解析部とを具備する音識別システムの音識別方法であって、前記音解析部は、前記マイクが採取した音の種別を識別する音識別ステップと、前記音識別ステップにて識別した前記種別を元に監視対象音を決定する監視対象音決定ステップと、を実行し、前記音監視部は、前記マイクの採取した音が前記監視対象音決定ステップにて決定した監視対象音に該当するか否かを判定し、該当すると判定すると通知信号を出力する監視判定ステップを実行することを特徴とする。
また、本発明の一態様による音識別方法は、音識別装置の音識別方法であって、マイクにて採取した音の種別を識別する音識別ステップと、前記音識別ステップにて識別した前記種別を元に監視対象音を決定する監視対象音決定ステップと、マイクにて採取した音が前記監視対象音決定ステップにて決定した監視対象音に該当するか否かを判定し、該当すると判定すると通知信号を出力する監視判定ステップと、を具備することを特徴とする。
また、本発明の一態様によるプログラムは、音識別装置としてのコンピュータに、マイクにて採取した音の種別を識別する音識別ステップと、前記音識別ステップにて識別した前記種別を元に監視対象音を決定する監視対象音決定ステップと、マイクにて採取した音が前記監視対象音決定ステップにて決定した監視対象音に該当するか否かを判定し、該当すると判定すると通知信号を出力する監視判定ステップと、を実行させるためのプログラムである。
本発明によれば、監視対象とする音の登録に登録者の多大な負担を要せずにユーザの行動パターンに応じた監視を行うことができ、かつ、ユーザのプライバシを保護することができる。
本発明の一実施形態における音識別システムの機能構成を示す概略ブロック図である。 同実施形態における監視対象音データベースが記憶している監視対象音データのデータ内容の一例を示す説明図である。 同実施形態における登録音データベースが記憶しているデータ内容の一例を示す説明図である。 同実施形態におけるユーザ提示部の提示画面の例を示す説明図である。 同実施形態において、集音装置の検出した音が監視対象音に該当しない場合の音識別システムの動作例を示すシーケンス図である。 同実施形態において、集音装置の検出した音が監視対象音に該当する場合の音識別システムの動作例を示すシーケンス図である。 同実施形態において、監視対象音が未登録の場合の音識別システムの動作例を示すシーケンス図である。 同実施形態において、監視対象音が未登録の場合の、音識別システムのもう1つの動作例を示すシーケンス図である。 同実施形態において、音検出部の音の変化の検出をトリガとして音識別システムが処理を行う際の処理手順を示すフローチャートである。 同実施形態において、監視対象音を登録する際の音識別システムの動作例を示す説明図である。 同実施形態において、監視対象音を登録する際に音識別システムが行う処理の手順を示すフローチャートである。 同実施形態における第1変形例である音識別装置の機能構成を示す概略ブロック図である。 本変形例において監視対象音データベースが記憶している監視対象音データのデータ内容の一例を示す説明図である。 同実施形態における第2変形例である音識別装置の機能構成を示す概略ブロック図である。 音識別システムにおける本発明の最小構成を示す概略構成図である。
以下、図面を参照して、本発明の実施の形態について説明する。
図1は、本発明の一実施形態における音識別システムの機能構成を示す概略ブロック図である。同図において、音識別システム1は、集音装置100−1〜100−N(Nは正整数)と、解析サーバ装置200とを具備する。集音装置100−1〜100−Nと解析サーバ装置200とは、無線もしくは有線の通信手段にて接続されている。
なお以下では、集音装置100−1〜100−Nを総称して「集音装置100」と表記する。
集音装置100−1〜100−Nは、それぞれ、マイク110と、音検出部120、送信部130とを具備する。解析サーバ装置200は、音監視部210と、音解析部220とを具備する。
音監視部210は、受信部211と、監視判定部212と、監視対象音データベース213とを具備する。
音解析部220は、収集音データベース221と、音識別部222と、登録音データベース223と、発生頻度記録部224と、発生頻度記録データベース225と、ユーザ提示部226と、監視対象音決定部227と、代表音生成部228とを具備する。
音識別システム1は、個人宅などの構造物内における監視・見守りサービスを提供するためのシステムである。なお、本実施形態では、監視対象の宅内における音の発生頻度を検出する音識別システムについて説明する。後述するように、音識別システム1を用いて、リアルタイムの監視・見守りサービスを提供することも可能である。例えば、音識別システム1は、泥棒等の侵入の監視や独居者の状態の見守り(倒れて動けない場合など救護を要する状態の検出)を行い、異常状態を検出すると、監視・見守りサービス提供事業者のサービス員に通知する。
集音装置100は、監視対象宅内のN個所に設置されて、それぞれ監視のための音データ(音声データ。ただし、声に限らず広く音を示す)を出力する。集音装置100の設置箇所に関しては、監視対象宅内の各部屋に1つずつ設置してもよいし、各部屋内の異なる場所に複数個ずつ設置してもよい。また1家屋に1個設置してもよい。
マイク110は、周囲音を採取して音データを出力する。
音検出部120は、当該音検出部120に接続されたマイク110からの音データを常時監視(モニタ)する。音検出部120は、マイク110からの音データを一時的に保存しておき、音データに何らかの変化を検出すると、変化を検出した時刻の前後にわたる音データを、送信部130を介して解析サーバ装置200(受信部211)に送信する。
音検出部120が検出する変化は、音識別システム1が処理を行うトリガとして用いられる。すなわち、音検出部120は、音の変化を検出することで監視対象宅内における状態変化を検出する。そして、音識別システム1は、監視対象宅内における状態変化(特に変化後の状態)について処理(通報の要否判定、または、監視対象音の設定の準備のための処理など)を行う。
ここで、音検出部120が監視対象宅内における状態変化を検出する方法として、様々なものを用いることができる。例えば、音検出部120が、音入力値の変化として音量の変化を検出するようにしてもよいし、特定周波数帯の音の発生を検出するようにしてもよい。あるいは、集音装置100が、音以外のセンサ、例えば赤外線を用いた人感知センサ、または振動センサ等を具備してセンサ値の変動を検出し、検出タイミングで音検出部120が音データを検出するようにしてもよい。
送信部130は、解析サーバ装置200(受信部211)と有線または無線にて通信接続され、音検出部120からの音データを送信する。
解析サーバ装置200は、監視対象の宅外(例えば、監視・見守りサービス提供事業者の建物内)に設置され、集音装置100からの音データに基づいて異常の有無を判定する。そして、異常を検出すると、解析サーバ装置200は、検出した音の種別毎に音の発生頻度を記録する。解析サーバ装置200が、監視・見守りサービス提供事業者のサービス員にリアルタイムで通知するようにもできる。
音監視部210は、集音装置100からの音データが、音解析部220の決定する監視対象音に該当するか否かを判定することで、異常検出を行う。
受信部211は、送信部130からの音データを受信して監視判定部212に出力する。
監視判定部212は、マイク110の採取した音が監視対象音決定部227の決定した監視対象音に該当するか否かを判定し、該当すると判定すると通知信号を出力する。具体的には、監視判定部212は、受信部211が受信した、集音装置100からの音データに対して、監視対象音データベース213に格納されている監視対象音特徴データに適合(特徴が一致)するか否かを判定する。その際、後述するように、監視判定部212は、代表音生成部228が生成した監視対象音データに基づいて、マイク110の採取した音が監視対象音決定部227の決定した監視対象音に該当するか否かを判定する。
そして、監視判定部212は、適合しないと判定した音データを破棄する。一方、適合すると判定した場合、監視判定部212は、音が発生したことおよび音の種別を示す情報を、発生頻度記録部224に出力する。
なお、監視判定部212が、集音装置100からの音データが監視対象音特徴データに適合すると判定した際に、監視者に通報するようにすれば、監視者は、リアルタイムで監視・見守りサービスを提供することができる。
一方、監視対象音データベース213に監視対象音特徴データが登録されていない場合、監視判定部212は、音データを音識別部222に送信する。
このように、監視判定部212は、監視対象音が未登録であると判定すると、マイク110が採取した音を音解析部220に出力し、監視対象音が登録済みであると判定すると、マイク110が採取した音の前記音解析部への出力を抑制する。
監視対象音データベース213は、監視対象音決定部227が決定した監視対象音(監視対象とする音)を示すデータを、音の種別毎に記憶する。
図2は、監視対象音データベース213が記憶している監視対象音データのデータ内容の一例を示す説明図である。同図を参照すると、監視対象音データベース213のデータ内容は、IDと、音ラベル名と、監視対象音特徴データとを含むデータ要素から構成され、これらが、複数個格納されている。データ要素の各々(図2の各行)は、種別毎の監視対象音を示しており、データ全体(図2の表全体)で、監視対象音を示している。
IDは、各データ要素の識別子であり、例えば通し番号が格納されている。
音ラベル名は、音の種別を示す。なお、本発明における音の種別として、音を分類可能な様々なものを用いることができる。例えば、洗濯機洗濯終了電子音(機器の状態毎の電子音)に代えて洗濯機電子音(機器毎の電子音)とするなど、より大まかなレベルの種別を用いるようにしてもよい。
音の種別として詳細なレベルのものを用いることで、音監視部210は、通報の要否をより正確に判定することができる。一方、音の種別として大まかなレベルのものを用いることで、監視判定部212や音識別部222が判定を行う際の比較対象の数を減らすことができ、判定に要する時間や負荷を軽減させることができる。例えば、ユーザが音の種別のレベルを選択できるようにしてもよい。
監視対象音特徴データは、該当する種別の音に共通する特徴を示すデータであり、代表音生成部228が生成したデータが格納されている。監視対象音特徴データは、集音装置100からの音が監視対象音に該当するか否かを監視判定部212が判定するために用いられる。監視判定部212は、集音装置100からの音データが、監視対象音データベース213が記憶している監視対象音特徴データの1つ以上に適合する(特徴が一致する)と判定すると、監視対象音に該当すると判定する。一方、監視判定部212は、監視対象音データベース213が記憶している監視対象音特徴データのいずれにも適合しないと判定すると、監視対象音に該当しないと判定する。
監視対象音の一例としては、玄関チャイム音、家電操作音、警報アラーム音が挙げられる。
音解析部220は、音監視部210が異常検出を行うための監視対象音を決定する。
ここで、音監視部210と音解析部220とは、互いに独立した記憶領域を有している。そして、音解析部220側から音監視部210の記憶領域へはアクセス制限がかけられている。このアクセス制限にて、解析サーバ装置200を用いて異常監視を行うサービス員は、音監視部210が集音装置100から受信した音データにアクセスすることはできない。かかるアクセス制限により、監視対象宅内にいるユーザの会話が集音装置100からの音データに含まれている場合でも、ユーザのプライバシを保護し得る。
収集音データベース221は、音解析部220が監視対象音を決定する際、集音装置100からの音データを一時的に記憶する。
登録音データベース223は、監視対象音の候補としての音データ群を予め記憶している。
図3は、登録音データベース223が記憶しているデータ内容の一例を示す説明図である。同図を参照すると、登録音データベース223のデータ内容は、IDと、音ラベル名と、登録済み音データと、登録済み音特徴データと、重要度とを含むデータ要素から構成され、これらが、複数個格納されている。データ要素の各々(図3の各行)は、種別毎の音を示しており、データ全体(図3の表全体)で、登録済みの音を示している。以下では、登録音データベース223が記憶しているデータ全体を「有意音データ」と称する。
IDは、各データ要素の識別子であり、例えば通し番号が格納されている。
音ラベル名は、図2を参照して説明した監視対象音の場合と同様、音の種別を示す。
登録済み音データは、該当する種別のサンプル音としての音データである。
登録済み音特徴データは、図2を参照して説明した監視対象音の場合と同様、該当する種別の音に共通する特徴を示すデータである。登録済み音特徴データは、集音装置100からの音の種別を音識別部222が判定(識別)するために用いられる。音識別部222は、集音装置100からの音データが、登録音データベース223が記憶している登録済み音特徴データのいずれかに適合すると判定すると、当該登録済み音特徴データに対応付けられている音ラベル名を読み出すことで、音の種別を識別する。ここで、登録済み音特徴データと対応付けられている音ラベル名とは、当該登録済み音特徴データと同一の要素データに含まれる音ラベル名である。
なお、集音装置100からの音データが、登録音データベース223が記憶している登録済み音特徴データのいずれにも適合しないと判定した場合、音識別部222は、当該音データの示す音が、有意音でない(従って、監視対象音の候補でない)と判定する。
重要度は、該当する種別の音に対する監視要否の一般的傾向を示す。重要度「高」は、監視が必要な傾向にあることを示し、重要度「低」は、監視が不要な傾向にあることを示す。この重要度は、監視対象音決定部227が監視対象音を決定する際に用いられる。
音識別部222は、マイク110が採取した音の種別を識別する。具体的には、音識別部222は、登録音データベース223に事前に登録済みの音データ群と、受信部211が受信した音データとの比較処理を行うことで、音データの識別を行う。登録済みの音データに適合したと判定した場合、音識別部222は、当該音データを有意音として識別し、有意音の種別毎の発生情報を発生頻度記録部224に通知する。ここでいう有意音は、登録音データベース223が記憶している音データに適合した音であり、監視対象音の候補となる。
発生頻度記録部224は、音識別部222が識別した有意音の発生頻度を、有意音の種別毎に発生頻度記録データベース225に記録する。また、監視対象音の登録後において、発生頻度記録部224は、監視判定部212からの情報に基づいて、登録対象音の発生頻度を、登録対象音の種別毎に発生頻度記録データベース225に記録する。
発生頻度記録データベース225は、発生頻度記録部224の記録する、有意音の種別毎の発生頻度や、登録対象音の種別毎の発生頻度を記憶する。
ユーザ提示部226は、発生頻度記録部224が記録した有意音の種別毎の(該当宅内での)発生頻度情報を発生頻度記録データベース225から読み出し、音の種別とその頻度という形で表示(ユーザに提示)する。そして、ユーザ提示部226は、監視対象とする音の種別の選択操作を受け付ける。このように、ユーザ提示部226は、宅内での見守り・監視の対象とする音の選択機能をユーザに提供する。
図4は、ユーザ提示部226の提示画面の例を示す説明図である。ユーザ提示部226は、提示画面をユーザ端末装置に表示させることで、当該提示画面をユーザに提示する。
ここでのユーザ端末装置は、ユーザが閲覧および操作可能な端末装置であればよく、様々なものを用いることができる。例えば、ユーザ端末装置は、ユーザの所持する携帯端末装置(携帯電話機またはスマートフォン)であってもよいし、監視対象宅内に設置された専用端末であってもよい。
図4を参照すると、音の種別名M101〜M103と、種別名毎に設けられたチェックボックスC101〜C103と、「OK」キーK101と、「Cancel」キーK102とが示されている。
音の種別名M101〜M103は、監視対象音の候補としての音の種別を示している。ユーザ提示部226は、発生頻度記録部224が検出した発生頻度(すなわち、発生頻度記録データベース225が記憶している発生頻度)の低い順に、音の種別名を示す提示画面をユーザ端末装置に表示させる。さらに、ユーザ提示部226が、各種別の音の発生頻度(例えば、1日当たりの発生回数)を表示する提示画面をユーザ端末装置に表示させるようにしてもよい。
なお、監視対象の宅内にて発生した実績のない音の種別については、ユーザ提示部226が、提示画面に含める(監視対象音の候補としてユーザに提示する)ようにしてもよいし、含めないようにしてもよい。監視対象の宅内にて発生した実績のない音の種別を含めてユーザに提示することで、ユーザの監視対象音の選択幅を広げることができる。これにより、ユーザは、所望の監視対象音をより的確に選択し得る。
一方、監視対象の宅内にて発生した実績のある種別の音のみを監視対象音に決定することで、ユーザに提示する候補の数を絞ることができる。特に、監視対象の宅内で発生し得ない音の種別をユーザに提示することを回避できる。これにより、ユーザは、より容易に監視対象音を選択しうる。
チェックボックスC101〜C103の各々は、対応する音の種別の選択/非選択の切替操作を受け付ける領域である。チェックボックスC101のチェックマークは、玄関ベルの音を監視対象音に含めることを示している。同様に、チェックボックスC103のチェックマークは、ドア開閉音を監視対象音に含めることを示している。一方、チェックボックスC102にチェックマークが無いことは、電話ベルの音を監視対象音に含めないことを示している。
「OK」キーK101は、監視対象音の選択/非選択を確定させるユーザ操作を受け付けるキー(タッチ領域)である。「Cancel」キーK102は、「OK」キーは、監視対象音の設定ないし更新を行わずに処理を終了させるユーザ操作を受け付けるキーである。
ユーザは、例えば、チェックボックスC101〜C103にタッチすることで、該当する種別の選択/非選択を反転させ、「OK」キーK101にタッチすることで、選択/非選択を確定させる。
監視対象音決定部227は、監視対象音(監視対象の宅内における発生を監視する音)を、音の種別単位で決定する。監視対象音決定部227が、監視対象音(の種別)を決定する方法として、様々なものを用いることができる。
例えば、監視対象音決定部227が、ユーザ提示部226が受けた監視希望音種別(監視対象とする音の種別についてのユーザの希望)に従って、監視対象としてユーザ指定された種別の音を監視対象音に決定するようにしてもよい。この場合、監視対象音決定部227は、ユーザ提示部226が発生頻度に応じて(図4の例では発生頻度の低い順に)表示した有意音の種別に基づいてユーザが指定した種別の音を監視対象音に決定する。この点で、監視対象音決定部227は、発生頻度記録部224が記録した種別毎の音の発生頻度を元に、監視対象音を決定する。監視対象音決定部227が、監視対象としてユーザ指定された種別の音を監視対象音に決定することで、ユーザの意図を直接的に反映させて監視対象音を決定することができる。
あるいは、監視対象音決定部227が、発生頻度記録データベース225が記録した有意音の種別毎の発生頻度に基づいて、発生頻度の低い音を監視対象音に決定するようにしてもよい。発生頻度の低い音は、ユーザの日常生活で発生する音とは異なる音(以下、「異常音」と称する)と考えられ、この点で通報が必要な可能性が高い。監視対象音決定部227が、発生頻度の低い音を監視対象音に決定することで、監視対象音を自動的に決定することができ、ユーザの負担を軽減できる。
その際、監視対象音決定部227が、監視対象の宅内にて発生した実績のない種別の音を監視対象音に含めるようにしてもよいし、含めないようにしてもよい。
監視対象音決定部227が、監視対象の宅内にて発生した実績のない種別の音を監視対象音に含めることで、解析サーバ装置200は、様々な異常音に対応することができ、通報漏れを低減させ得る。
一方、監視対象音決定部227が、監視対象の宅内にて発生した実績のある種別の音のみを監視対象音に決定することで、監視対象音の増大を防止できる。ここで、監視対象の宅内にて発生した実績のない種別の音を全て監視対象音に含めると、監視対象音が膨大になることが考えられる。すると、解析サーバ装置の処理能力によっては、監視判定部212の判定(集音装置100の採取した音が監視対象音に該当するか否かの判定)に時間を要し、また、監視判定部212の負荷が増大してしまう場合がある。これに対して、監視対象音決定部227が、監視対象の宅内にて発生した実績のある種別の音を監視対象音に決定することで、監視対象音の増大を防止できるので、監視判定部212の判定に要する時間の増大や、監視判定部212の負荷の増大を防止し得る。
監視対象音決定部227が監視対象音を自動的に決定する場合、図4を参照して説明した提示画面をユーザに提示する必要はない。従って、解析サーバ装置200がユーザ提示部226を具備していなくてもよい。
あるいは、監視対象音決定部227が、ユーザ操作に基づく監視対象音の決定と、出現頻度に基づく監視対象音の決定とを併用するようにしてもよい。例えば、監視対象音決定部227が、所定の出現頻度以下の音の種別のうち、ユーザの選択したものを監視対象音とするようにしてもよい。具体的には、ユーザ提示部226が、所定の出現頻度以下の音の種別のみをユーザに提示する(提示画面に含める)。そして、監視対象音決定部227は、ユーザに提示された種別のうち、ユーザの選択した種別の音を監視対象音に決定する。このように、ユーザ提示部226が、所定の出現頻度以下の音の種別のみをユーザに提示することで、ユーザに提示する候補の数を低減させることができ、ユーザはより容易に選択を行い得る。
さらに、本実施形態では、監視対象音決定部227は、登録音データベース223に登録されている音データ群それぞれに設定されている優先度情報等に基づいて、監視対象音を決定する。具体的には、監視対象音決定部227は、登録音データベース223が記憶する有意音データにて重要度「高」とされている種別の音を全て監視対象音に含める。一方、重要度「低」とされている種別の音については、監視対象音決定部227は、上述したユーザ選択ないし出現頻度に基づいて、監視対象音に含めるか否かを個別に決定する。監視対象音決定部227が、重要度「高」とされている種別の音を含めて監視対象音を決定することで、通報漏れを低減させることができる。また、監視対象音決定部227が、重要度「高」とされている種別の音を含めて監視対象音を決定することで、監視対象音の候補をユーザに提示する際に、候補の数を低減させることができ、ユーザはより容易に選択を行い得る。
このように、監視対象音決定部227は、音識別部222が識別した種別を元に監視対象音を決定する。また、監視対象音決定部227は、発生頻度記録部224が記録した種別毎の音の発生頻度を元に、監視対象音を決定する。また、監視対象音決定部227は、ユーザ提示部226が受けた監視対象音の種別の選択操作に基づいて、監視対象音を決定する。
代表音生成部228は、監視対象音決定部227が決定した監視対象音種別毎に、監視判定部212における比較処理に用いる監視対象音特徴データを生成する。その際、代表音生成部228は、マイク110が採取した音のうち監視対象音に該当する音に基づいて、監視対象音の判定基準を示す監視対象音データを生成する。具体的には、代表音生成部228は、登録音データベース223に登録されている同種音データを元に、実際に該当宅内で収集され一致と判断された音データとの差異、例えば再生周波数帯のずれ、該当宅内固有のノイズ成分等を加味した上で、監視対象音特徴データを生成する。代表音生成部228は、生成された監視対象音特徴データを、監視対象音データベース213に登録する(記憶させる)。
なお、音監視部210と、音解析部220はそれぞれ独立したモジュールとなっており、特に音解析部220からは音監視部210内で処理中の音データは直接参照できないように構成されている。音監視部210が音解析部220に明示的に送信した音データのみが参照可能となっている。
これは、監視対象の宅内で収集した音データ内容のプライバシに配慮して、必要最小限の音データのみを音解析部220での詳細な解析対象とするためである。後述するとおり、一旦詳細な解析が終了すると、音監視部210における監視対象音特徴データとの比較処理のみの実施となり、音解析部220へは音データが送信されなくなる。
ここで、音監視部210と音解析部220との実装方式として様々なものを用いることができる。例えば、音監視部210と音解析部220とを、ネットワークで接続され、それぞれ独立した2つのサーバ装置上で動作する処理部として実装してもよい。あるいは、音監視部210と音解析部220とを、一つのサーバ装置上で動作するそれぞれ独立した2つの仮想マシン(Virtual Machine)上で動作する処理部として実装してもよい。また、一つのサーバ装置上の同一OS上で動作する2つの独立したプロセスとして実装することも可能である。2つの処理部の間での音データ隔離に関する強固さは、独立した2つのサーバ装置上で動作する処理部として実装する方法が最も強固となる。次に、一つのサーバ装置上で動作するそれぞれ独立した2つの仮想マシン上で動作する処理部として実装する方法が強固となる。
次に、図5〜図11を参照して音識別システム1の動作について説明する。
図5は、集音装置100の検出した音が監視対象音に該当しない場合の音識別システム1の動作例を示すシーケンス図である。
各集音装置100内の音検出部120は、当該音検出部120に接続されたマイク110からの音データを常時監視しており、マイク110が採取した周囲音の音データを常時または連続的に取得する(ステップA1)。そして、音検出部120は、音入力値の変化(マイク110が採取した音における変化)を検出する(ステップA2)。上述したように、この音入力値の変化の検出は、監視対象宅内における状態変化の検出の一例であり、音識別システム1が処理を行うトリガとなる。
音検出部120は、音入力値の変化を検出すると、その検出時刻の前後を含む音データを生成し、送信部130を介して解析サーバ装置200の受信部211に送信する(ステップA11)。
例えば、音検出部120は、検出時刻前後のA秒間(Aは正の実数)、トータルで2×A秒間の音データを記録して送信する。その際、音検出部120は、音データに併せて音の検出時刻も通知する。
解析サーバ装置200では、音監視部210内の受信部211が、集音装置100からの音データを受信して監視判定部212に出力する。そして、監視判定部212は、受信部211からの音データと、監視対象音データベース213の記憶している監視対象音特徴データとを比較(特徴の一致するものの有無を判定)することで、当該音データの示す音が監視対象音に該当するか否かを判定する(ステップA12)。
例えば、監視判定部212は、まず、受信部211が受信した音データを音特徴データに変換し、この音特徴データと、監視対象音特徴データとの間の類似度判定を行う。音特徴データへの変換方法に関しては後述する。音特徴データ間の類似度判定方法の一例としては、監視判定部212は、音特徴データを構成する複数の要素からなるベクトルデータ間の距離計算、例えばユークリッド距離の計算を用いる。監視判定部212は、2音特徴データ間の距離が一定閾値以下であれば特徴一致と判定し、そうでなければ特徴不一致と判定する。
監視判定部212は、特徴の一致する監視対象音特徴データを検出するまで、この比較処理を行う。従って、特徴の一致する監視対象音特徴データが存在しない場合は、監視判定部212は、この比較処理を監視対象音データベース213に格納されている全てのデータに対して実施する。
図5の例では、監視判定部212は、受信部211からの音データがいずれの監視対象音特徴データにも適合しない(すなわち、当該音データの示す音が監視対象音に該当しない)と判定している。
この場合、監視判定部212は、当該音データを破棄する(ステップA21)。
その後、同図の処理を終了する。
このように、集音装置100からの音データの示す音(以下、単に「集音装置100からの音」と表記する)が監視対象音に該当しない場合、音監視部210(監視判定部212)が音データを破棄し、音解析部220へは出力しない。従って、音監視部210が扱うデータに対して、解析サーバ装置200を操作可能な者(例えば監視・見守りサービス提供事業者の従業員)のアクセスを制限することで、ユーザのプライバシ保護を図ることができる。例えば、集音装置100から解析サーバ装置200への音声データに、ユーザの会話が含まれている場合でも、会話内容が他者に漏洩することを防止し得る。
図6は、集音装置100の検出した音が監視対象音に該当する場合の音識別システム1の動作例を示すシーケンス図である。同図のステップA1〜ステップA11は、図5の場合と同様であり、同一の符号を付して説明を省略する。
また、ステップA12において、図5のステップA12と同様、監視判定部212は、受信部211からの音データと、監視対象音データベース213の記憶している監視対象音特徴データとを比較する。
そして、図6の例では、監視判定部212は、受信部211からの音データが監視対象音特徴データのいずれかに適合した(すなわち、当該音データの示す音が監視対象音に該当する)と判定している。
この場合、監視判定部212は、監視対象音の発生情報を生成して音解析部220(発生頻度記録部224)に出力する(ステップA31)。その際、監視判定部212は、監視対象音の発生情報に、発生した音の種別を示す情報(適合した監視対象音特徴データに対応する音ラベルの情報)や、該当音の検出時刻を示す情報や、該当音を検出した集音装置100を示す識別情報を含める。
一方、集音装置100からの音データについては、監視判定部212は、音解析部220に出力せずに破棄する(ステップA32)。
監視判定部212からの監視対象音の発生情報を受けた音解析部220では、発生頻度記録部224が、当該発生情報を発生頻度記録データベース225に記録する(ステップA33)。
その後、同図の処理を終了する。
このように、集音装置100からの音が監視対象音に該当する場合、監視判定部212は、監視対象音の発生情報の発生情報を音解析部220へ出力し、音データについては音解析部220へ出力しない。従って、図5を参照して説明した、集音装置100からの音が監視対象音に該当しない場合と同様、ユーザのプライバシ保護を図ることができる。
図7は、監視対象音が未登録の場合の音識別システム1の動作例を示すシーケンス図である。同図のステップA1〜ステップA11は、図5の場合と同様であり、同一の符号を付して説明を省略する。
また、ステップA12において、図5のステップA12と同様、監視判定部212は、受信部211からの音データと、監視対象音データベース213の記憶している監視対象音特徴データとを比較する。
そして、図7の例では、監視判定部212は、監視対象音が未登録であると判定している。
この場合、監視判定部212は、受信部211からの音データを、検出時刻および検出した集音装置100の識別情報と共に音解析部220(音識別部222)に出力する(ステップA41)。この音データは、監視対象音を登録する前処理として、音解析部220(発生頻度記録部224)が、有意音の発生頻度を検出するために用いられる。
なお、監視判定部212が監視対象音の登録の有無を判定する方法としては、例えば、監視対象音データベース213が登録フラグを記憶しておく方法を用いることができる。この登録フラグの値は、初期設定では「未登録」となっている。そして、代表音生成部228は、監視対象音を登録する際に、登録フラグの値を「登録済み」に更新する。監視判定部212は、この登録フラグの値を参照して、監視対象音の登録の有無を判定することができる。
あるいは、監視対象音データベース213が監視対象音を記憶していない場合に監視対象音を未登録と判定するなど、監視判定部212が、他の方法で監視対象音の登録の有無を判定するようにしてもよい。
音解析部220では、音識別部222が、監視判定部212からの音データと、登録音データベース223の記憶している登録済みの音の特徴データとを比較することで、当該音データの示す音の種別の判定を試みる(ステップA51)。
音解析部220が行う比較処理の実装の一例としては、一般的な音声認識で用いられる処理を用いる。例えば、非特許文献「フリーソフトでつくる音声認識システム」(荒木雅弘、森北出版、2007年10月、p2−9)に記載の処理を用いることができる。この非特許文献の処理では、識別対象音データの特徴抽出処理を行って音特徴データ(非特許文献中では特徴ベクトルと表記)を生成する。そして、この音特徴データと、あらかじめ準備された識別辞書データに格納された音特徴データとの類似度判定を行うことで識別結果を決める。
この非特許文献中の識別辞書データに該当するものが、登録音データベース223の記憶する登録済みの音データ群(図3参照)である。
特徴抽出処理の一例としては、フーリエ変換を用いて音データの周波数成分と振幅を取り出した周波数スペクトルを加工して特徴データとして用いることができる。また、より詳細な解析を行うためには、メル周波数ケプストラム係数(Mel-Frequency Cepstrum Coefficient:MFCC)に基づく特徴データを用いることもできる。
音特徴データ間の類似度判定処理の一例としては、それぞれの音特徴データを構成するベクトル間のユークリッド距離を計算することで、2音間の類似度を距離という形で計算する。その上で、今回の識別対象音特徴データに対して、登録音データベース223に格納された登録済み音データ群のなかでもっとも距離が近く、かつその距離が一定の距離閾値以下の場合に当該登録済み音データと特徴一致と判断することができる。
ここで、特徴抽出処理の処理内容によって、生成される特徴データの種類も異なるため、比較を行う音特徴データ同士は、同じ形式の特徴データ同士となるようにする。具体的には、監視判定部212における、宅内で検出された音データの特徴抽出処理結果データの形式と、監視対象音データベース213に格納されている監視対象音特徴データの形式とを一致させる。また、音識別部222における、宅内で検出された音データの特徴抽出処理結果データの形式と、登録音データベース223に格納されている登録済み音特徴データの形式とを一致させる。
なお、監視判定部212における特徴量抽出処理は、処理速度を考慮してより高速な、簡略化された特徴量抽出処理方式を用いることができる。一方で音識別部222における特徴量抽出処理は、処理速度が遅くても、より精度の高い特徴量抽出処理方式を用いることができる。
特に、リアルタイムで通報を行う場合や、変形例として後述するように音監視部210を監視対象の宅内に配置する場合、高速処理(リアルタイムでの処理)や低負荷での処理を行う必要がある。そこで、監視判定部212では、より高速な、簡略化された特徴量抽出処理方式を用いることが考えられる。
一方、音識別部222が行う処理の結果は、監視対象音決定部227が、監視対象音を決定する際に統計的に用いるものである。従って、音識別部222は、必ずしもリアルタイムで処理を行う必要はない。また、本実施形態では、音解析部220は、監視対象の宅外に設置される解析サーバ装置200が具備しており、比較的容易に、処理能力の高い情報処理装置を解析サーバ装置200として用いることができる。そこで、音識別部222では、処理速度が遅くても、より精度の高い特徴量抽出処理方式を用いて、処理精度の向上を図ることができる。
図7の例では、音識別部222は、監視判定部212からの音データが、登録済みの音の特徴データのいずれにも適合しない(従って、音の種別の識別に失敗した)と判定している。
この場合、音識別部222は、監視判定部212からの音データを破棄する(ステップA61)。
その後、同図の処理を終了する。
このように、監視対象音が未登録の場合、音監視部210(監視判定部212)は、監視対象音の登録の準備のために、集音装置100からの音データを音解析部220(音識別部222)へ出力する。その際、音識別部222は、当該音データが登録済みの音の特徴データのいずれにも適合しない(有意音でない)と判定すると、当該音データを破棄する。これにより、解析サーバ装置200を操作可能な者が当該音データにアクセスする可能性を低減させ、ユーザのプライバシ保護を図ることができる。
図8は、監視対象音が未登録の場合の、音識別システム1のもう1つの動作例を示すシーケンス図である。同図のステップA1〜ステップA41は、図7の場合と同様であり、同一の符号を付して説明を省略する。
また、ステップA51において、図7のステップA51と同様、音識別部222は、監視判定部212からの音データと、登録音データベース223の記憶している登録済みの音の特徴データとを比較することで、当該音データの示す音の種別の判定を試みる。
そして、図8の例では、音識別部222は、監視判定部212からの音データが適合する、登録済みの音の特徴データを検出している。すなわち、音識別部222は、監視判定部212からの音データの種別の識別に成功している。
この場合、音識別部222は、当該音データを、音の種別と対応付けて収集音データベース221に登録する(ステップA71)。この音データは、代表音生成部228が監視対象音データを生成するために用いられる。
また、音識別部222は、該当音の発生情報を生成して発生頻度記録部224に出力する(ステップA72)。この発生情報は、発生頻度記録部224が種別毎の音の発生回数を計数する(発生頻度を検出する)ためのものであり、音の種別を示す情報を含んでいればよい。例えば、音識別部222は、図6のステップA31における監視判定部212と同様、音の種別を示す情報や、該当音の検出時刻を示す情報や、該当音を検出した集音装置100を示す識別情報を含む発生情報を生成して発生頻度記録部224に出力する。
そして、発生頻度記録部224は、音識別部222からの発生情報を発生頻度記録データベース225に登録することで、種別毎の音の発生回数を計数する(ステップA73)。
その後、同図の処理を終了する。
図5〜図8に例示した処理は、図9のフローチャートに従って行われる。
図9は、音検出部120の音の変化の検出をトリガとして音識別システム1が処理を行う際の処理手順を示すフローチャートである。音識別システム1は、自らの電源をON(接続)されて動作状態となると、同図の処理を行う。なお、図5〜図8の各ステップに相当するステップには、同一の符号を付している。
各集音装置100内の音検出部120は、当該音検出部120に接続されたマイク110からの音データを常時監視しており、マイク110が採取した周囲音の音データを常時または連続的に取得する(ステップA1)。
そして、音検出部120は、音入力値の変化(マイク110が採取した音における変化)を検出したか否かを判定する(ステップA2)。変化を検出していないと判定した場合(ステップA2:NO)、ステップA1へ戻る。すなわち、音検出部120は、引き続きマイク110からの音データを監視し、音入力値の変化の有無を判定する。
一方、ステップA2において、音入力値の変化を検出したと判定した場合(ステップA2:YES)、音検出部120は、その検出時刻の前後を含む音データを生成し、送信部130を介して解析サーバ装置200の受信部211に送信する(ステップA11)。
受信部211は、集音装置100からの音データを受信すると監視判定部212に出力する。そして、監視判定部212は、受信部211からの音データと、監視対象音データベース213の記憶している監視対象音特徴データとを比較(特徴の一致するものの有無を判定)することで、当該音データの示す音が監視対象音に該当するか否かを判定する(ステップA12)。
監視対象音に該当しないと判定した場合(ステップA12:一致しない)、監視判定部212は、当該音データを破棄する(ステップA21)。
その後、ステップA1へ戻る。
一方、ステップA12において、監視対象音に該当すると判定した場合(ステップA12:一致した)、監視判定部212は、監視対象音の発生情報を生成して音解析部220(発生頻度記録部224)に出力する(ステップA31)。また、集音装置100からの音データについては、監視判定部212は、音解析部220に出力せずに破棄する(ステップA32)。
監視判定部212からの監視対象音の発生情報を受けた音解析部220では、発生頻度記録部224が、当該発生情報を発生頻度記録データベース225に記録する(ステップA33)。
その後、ステップA1へ戻る。
一方、ステップA12において、監視対象音が未登録であると判定した場合(ステップA12:データベースの登録無し)、監視判定部212は、受信部211からの音データを音解析部220(音識別部222)に出力する(ステップA41)。
音解析部220では、音識別部222が、監視判定部212からの音データと、登録音データベース223の記憶している登録済みの音の特徴データとを比較することで、当該音データの示す音の種別の判定を試みる(ステップA51)。
監視判定部212からの音データが、登録済みの音の特徴データのいずれにも適合しないと判定した場合(ステップA51:一致しない)、音識別部222は、監視判定部212からの音データを破棄する(ステップA61)。
その後、ステップA1へ戻る。
一方、ステップA51において、監視判定部212からの音データが適合する登録済みの音の特徴データを検出した場合(ステップA51:一致した)、音識別部222は、当該音データを、音の種別と対応付けて収集音データベース221に登録する(ステップA71)。
また、音識別部222は、該当音の発生情報を生成して発生頻度記録部224に出力する(ステップA72)。
そして、発生頻度記録部224は、音識別部222からの発生情報を発生頻度記録データベース225に登録することで、種別毎の音の発生回数を計数する(ステップA73)。
その後、ステップA1へ戻る。
図10は、監視対象音を登録する際の音識別システム1の動作例を示す説明図である。
まず、ユーザ提示部226が、発生頻度記録データベース225から、音の種別毎の発生頻度情報を読み出す(ステップB1)。そして、ユーザ提示部226は、図4を参照して説明したように、音の種別毎の発生頻度情報をユーザに提示(ユーザ端末に表示)して、監視対象音のユーザ選択情報(監視希望音種別)を取得する(ステップB2)。
ユーザ提示部226は、取得した監視対象音のユーザ選択情報を監視対象音決定部227に出力する。そして、監視対象音決定部227は、上述したように、監視対象音のユーザ選択情報や、種別毎の音の発生頻度情報や、種別毎に設定されている重要度に基づいて、監視対象音を種別単位で決定する(ステップB3)。
監視対象音決定部227は、決定した監視対象音を示す情報を代表音生成部228に出力する。そして、代表音生成部228は、監視対象音決定部227が決定した監視対象音の種別毎に、監視判定部212における比較処理に用いる監視対象音特徴データを生成する(ステップB4)。その際、代表音生成部228は、登録音データベース223に登録されている該当音データを元に、監視対象の宅内で収集された該当種別の音データとの差異、例えば再生周波数帯のずれ、該当宅内固有のノイズ成分等を加味して監視対象音特徴データを生成する。
例えば、代表音生成部228は、まず、登録音データベース223に登録されている該当音データと、監視対象の宅内で収集された該当種別の音データ群(複数の音データ)間の差異を解析する。ここで、代表音生成部228は、監視対象の宅内で収集された音データとして、収集音データベース221が記憶している音データを用いる。
具体的には、代表音生成部228は、例えばフーリエ変換による周波数スペクトル分析等を用いて、再生周波数、再生速度のずれや、ノイズ成分の混入の有無等を調べる。これらの差異は、該当宅内の環境及び、該当音を発生させた機器の稼動状態、設置状態、劣化状態等に起因するものであると考えられる。これらを考慮した監視対象音特徴データを生成することにより、監視判定部212における特徴音データの比較処理における識別精度を上げることが可能となる。
代表音生成部228は、これらの解析により、監視対象の宅内で収集された該当種別の音データ群に共通する差異を特定する。
そして、代表音生成部228は、特定した差異に応じた補正を、登録音データベース223に登録されている該当音データに対して施した上で、特徴データ抽出処理を行うことで、監視対象音特徴データを生成する。
例えば、差異として再生周波数帯のずれが特定された場合、代表音生成部228は、監視対象の宅内で収集された音の周波数に近くなるように周波数の補正を行う。
また、再生速度のずれが特定された場合、代表音生成部228は、再生速度の補正を行う。あるいは、ノイズの混入が特定された場合、代表音生成部228は、登録音データに含まれている音に影響がない周波数帯に関して、当該ノイズ成分を混入させる。
代表音生成部228は、この生成処理を、監視対象音決定部227によって監視対象と定められた音の種別全てに対して実施する。
その後、代表音生成部228は、種別毎に得られた監視対象音特徴データを、監視対象音データベース213に登録する(ステップB5)。その際、該当音それぞれに対して登録音データベース223が記憶していた音ラベル(音の種別)も同時に登録する。
そして、代表音生成部228は、収集音データベース221が記憶している収集音データを破棄する(ステップB6)。
その後、同図処理を終了する。
なお、図10の処理にて監視対象音の登録が完了した後は、図5や図6に例示されるように、音識別システム1は、集音装置100が監視対象の宅内で取得した音データの監視処理を行う。その際、図5および図6を参照して説明したように、音監視部210は、音データを音解析部220へ出力しない。従って、音監視部210が扱うデータに対して、解析サーバ装置200を操作可能な者のアクセスを制限することで、ユーザのプライバシ保護を図ることができる。
図10に例示した処理は、図11のフローチャートに従って行われる。
図11は、監視対象音を登録する際に音識別システム1が行う処理の手順を示すフローチャートである。音識別システム1が同図の処理を行うタイミングについては、様々な設定が可能である。例えば、音識別システム1が、監視対象の宅内の音の収集を開始してから所定期間(例えば10日)経過後に図11の処理を行うようにしてもよい。あるいは、ユーザの指定に従って、音識別システム1が図11の処理を行うようにしてもよい。
なお、図5〜図8の各ステップに相当するステップには、同一の符号を付している。
図11の処理において、まず、ユーザ提示部226が、発生頻度記録データベース225から、音の種別毎の発生頻度情報を読み出す(ステップB1)。そして、ユーザ提示部226は、音の種別毎の発生頻度情報をユーザに提示して、監視対象音のユーザ選択情報を取得する(ステップB2)。
次に、ユーザ提示部226は、取得した監視対象音のユーザ選択情報を監視対象音決定部227に出力する。そして、監視対象音決定部227は、上述したように、監視対象音のユーザ選択情報や、種別毎の音の発生頻度情報や、種別毎に設定されている重要度に基づいて、監視対象音を種別単位で決定する(ステップB3)。
なお、監視対象音決定部227が監視対象音に決定する音の種別は、1つであってもよいし、複数であってもよい。
監視対象音決定部227は、決定した監視対象音を示す情報を代表音生成部228に出力する。そして、代表音生成部228は、監視対象音決定部227が決定した監視対象音の種別毎に、監視判定部212における比較処理に用いる監視対象音特徴データを生成する(ステップB4)。
その後、代表音生成部228は、種別毎に得られた監視対象音特徴データを、監視対象音データベース213に登録する(ステップB5)。そして、代表音生成部228は、収集音データベース221が記憶している収集音データを破棄する(ステップB6)。
その後、同図処理を終了する。
以上のように、音解析部220において、音識別部222は、マイク110が採取した音の種別を識別し、監視対象音決定部227は、音識別部222が識別した種別を元に監視対象音を決定する。また、音監視部210において、監視判定部212は、マイク110の採取した音が監視対象音決定部227の決定した監視対象音に該当するか否かを判定し、該当すると判定すると通知信号を出力する。
このように、監視対象音を決定する部分と、監視対象音への該当性を判定する部分とを別構成としたことで、監視対象とする音の登録に登録者(例えばユーザ)の多大な負担を要せずにユーザの行動パターンに応じた監視を行うことができ、かつ、ユーザのプライバシを保護することができる。
すなわち、監視対象音の決定する際、処理能力の高い情報処理装置を用いて大量の情報を処理することができ、登録者の負担を軽減することができる。例えば、監視対象音の候補を、監視対象の宅内における発生頻度の低い順に提示する、あるいは、所定の発生頻度以下のもののみ提示することで、登録者の負担を軽減することができる。
かつ、監視対象音の登録完了後は、監視対象音を決定する部分への、監視対象の宅内で得られた音データの出力を抑制することができる。従って、監視対象音を決定する部分を他者が操作可能な状況下でも、当該他者の音データへのアクセスを制限することができ、ユーザのプライバシを保護し得る。
また、監視対象音決定部227は、発生頻度記録部224が記録した種別毎の音の発生頻度を元に監視対象音を決定する。これにより、登録者の負担を軽減することができ、または、監視対象音を自動で登録できる。
すなわち、ユーザ提示部226が、監視対象の宅内における発生頻度の低い順に音の種別を提示することで、登録者は、発生頻度の低い音を比較的容易に選択し得る。ここで、発生頻度の低い音は、ユーザの日常生活で発生する音とは異なる音(異常音)と考えられ、この点で通報が必要な可能性が高い。ユーザ提示部226が、監視対象の宅内における発生頻度の低い順に音の種別を提示することで、登録者は、特に異常音について、比較的容易に選択を行い得る。また、ユーザ提示部226が、所定の発生頻度以下の種別のみ提示することで、登録者の選択対象を減らすことができ、登録者の負担を低減させることができる。
あるいは、上述したように、発生頻度に基づいて監視対象音を自動的に登録することができ、人手による登録処理を不要とすることができる。
また、音監視部210と音解析部220とは、互いに独立した記憶領域を有する。すなわち、図1において音監視部210が有する記憶領域は、音解析部220が有する記憶領域と独立している。そして、監視判定部212は、監視対象音が未登録であると判定すると、マイク110が採取した音を音解析部220に出力する。一方、監視判定部212は、監視対象音が登録済みであると判定すると、マイク110が採取した音の音解析部220への出力を抑制する。
これにより、監視対象音の登録に際しては、処理能力の高い情報処理装置を用いて音解析部220の処理を実行でき、大量のデータを迅速に処理し得る。一方、監視対象音の登録後は、音解析部220に対して音データ(ユーザのプライバシ情報を含みうるデータ)を隠すことができ、音解析部220を操作可能な者へのプライバシ情報の漏洩を防止し得る。
また、ユーザ提示部226は、発生頻度記録部224が記録した種別毎の音の発生頻度を表示し、監視対象とする音の種別の選択操作を受け付ける。そして、監視対象音決定部227は、ユーザ提示部226が受けた監視対象とする音の種別の選択操作に基づいて、監視対象音を決定する。
このように、監視対象音決定部227がユーザ操作に基づいて監視対象音を決定することで、より的確に(より正確にユーザの意図を反映させて)監視対象音を決定することができる。
また、代表音生成部228は、マイク110が採取した音のうち監視対象音に該当する音に基づいて、監視対象音の判定基準を示す監視対象音データを生成する。そして、監視判定部212は、代表音生成部228が生成した監視対象音データに基づいて、マイク110の採取した音が監視対象音決定部227の決定した監視対象音に該当するか否かを判定する。
これにより、監視判定部212は、マイク110の特性や、監視対象の宅内の環境や状況に応じた特徴情報(監視対象音特徴データ)を用いて、マイク110が採取した音が監視対象音に該当するか否かを判定することができる。従って、監視判定部212が行う判定の精度を向上させ得る。
次に、本実施形態における音識別システム1の変形例について説明する。
図12は、音識別システム1の第1変形例である音識別システム2の機能構成を示す概略ブロック図である。同図において、音識別システム2は、集音装置100−1〜100−N(Nは正整数)と、解析サーバ装置300とを具備する。集音装置100−1〜100−Nと解析サーバ装置300とは、無線もしくは有線の通信手段にて接続されている。
集音装置100−1〜100−Nは、それぞれ、マイク110と、音検出部120、送信部130とを具備する。解析サーバ装置300は、音監視部310と、音解析部220とを具備する。
音監視部310は、受信部211と、監視判定部212と、監視対象音データベース213と、監視音処理部314とを具備する。
音解析部220は、収集音データベース221と、音識別部222と、登録音データベース223と、発生頻度記録部224と、発生頻度記録データベース225と、ユーザ提示部226と、監視対象音決定部227と、代表音生成部228とを具備する。
図12において図1の各部に対応して同様の機能を有する部分には、同一の符号(100−1〜100−N、110、120、130、211〜213、220〜228)を付して説明を省略する。
音識別システム2では、音識別システム1(図1)の構成に加えて、音監視部210が、監視音処理部314を具備している。
また、監視対象音データベース213は、図2を参照して説明したデータに加えて、監視対象音の発生状況に応じた動作指定を示す情報を記憶している。
図13は、本変形例において監視対象音データベース213が記憶している監視対象音データのデータ内容の一例を示す説明図である。同図を参照すると、監視対象音データベース213のデータ内容は、図2に示されるデータ内容に加えて、監視対象音毎の当該音発生時の動作の指定と、いずれにも一致しなかった場合の動作の指定とを含んでいる。
このように、監視対象音データベース213は、監視対象音決定部227が決定した監視対象とする音を示すデータを、音の種別毎に処理と対応付けて記憶する。
また、監視音処理部314は、監視対象音データベース213の記憶する処理を実行する。具体的には、監視判定部212が、監視対象音データベース213の記憶する、監視対象音を示すデータに基づいて、マイク110採取した音の種別を判定し、判定した音の種別に対応付けられている処理を監視音処理部314に出力する。そして、監視音処理部314は、監視判定部212が出力した処理を実行する。
音識別システム2の動作の概要は、音識別システム1の動作と同様であり、以下では音識別システム1の動作との差異について説明する。
音識別システム1では、監視判定部212は、図9のステップA12において、集音装置100からの音が監視対象音に該当すると判定した場合は、ステップA31〜A32にて、該当する音の種別の発生情報を発生頻度記録部224に通知し、音データを破棄する。また、集音装置100からの音が監視対象音に該当すると判定した場合は、監視判定部212は、音データを破棄する。これにより、監視対象音の登録後は、音解析部220には監視対象音の発生情報しか送付されない処理となっていた。
一方、音識別システム2では、監視判定部212の判定結果、および、監視対象音データベース213に記載の該当音発生時の動作指示内容に応じて、監視音処理部314が、監視対象の宅内で検出された音データの取り扱いを決定し、処理を行う。
具体的には、監視対象音データベース213内に登録してある監視対象音に適合した場合、当該監視対象音に対して設定されている動作指示内容が破棄であるときは、監視音処理部314は、音データを破棄する。他の動作例としては、音データの破棄及び発生情報通知、音データ出力及び発生情報通知、といったものが挙げられる。
また、監視対象音データベース213内に登録してある監視対象音のいずれにも適合しなかった場合についても、監視音処理部314が、音データの破棄、音データの破棄及び発生情報通知、音データ出力といった動作を行うよう指示できる。
音データ出力が指示された場合、監視音処理部314は、集音装置100からの音データを音解析部220に出力する。音解析部220は、音データを用いて音識別システム1の場合と同様の処理を行う。
以上の処理により、音識別システム2では、音の種別に応じた運用を行うことができる。例えば、玄関ベルや警報ベルといった重要度が高い音に関しては、発生情報を通知しつつ音データを破棄する。また、監視判定部212が人の声と判定した場合は、ユーザのプライバシを考慮して破棄する。一方、いずれとも一致しなかった場合、解析サーバ装置200での収集および解析処理を行うため、音解析部220に音データ出力する、といった運用を行うことができる。
以上のように、監視対象音データベース213は、監視対象音決定部227が決定した監視対象音を示すデータを、音の種別毎に処理と対応付けて記憶する。そして、監視音処理部314は、監視判定部212の判定結果に応じて、監視対象音データベース213の記憶する処理を実行する。
これにより、監視音処理部314は、監視判定部212が検出した音の種別に応じて柔軟に処理を行うことができる。
図14は、音識別システム1の第2変形例である音識別システム3の機能構成を示す概略ブロック図である。同図において、音識別システム3は、集音装置100−1〜100−N(Nは正整数)と、宅内設置装置400と、解析サーバ装置500とを具備する。集音装置100−1〜100−Nと宅内設置装置400と、および、宅内設置装置400と解析サーバ装置500とは、無線もしくは有線の通信手段にて接続されている。
集音装置100−1〜100−Nは、それぞれ、マイク110と、音検出部120、送信部130とを具備する。宅内設置装置400は、音監視部210を具備する。解析サーバ装置500は、音解析部220を具備する。
音監視部210は、受信部211と、監視判定部212と、監視対象音データベース213とを具備する。
音解析部220は、収集音データベース221と、音識別部222と、登録音データベース223と、発生頻度記録部224と、発生頻度記録データベース225と、ユーザ提示部226と、監視対象音決定部227と、代表音生成部228とを具備する。
図14において図1の各部に対応して同様の機能を有する部分には、同一の符号(100−1〜100−N、110、120、130、210〜213、220〜228)を付して説明を省略する。
音識別システム2は、監視対象の宅内に設置された宅内設置装置400が音監視部210を具備する点で、解析サーバ装置200が音監視部210を具備する音識別システム1(図1)と異なる。
なお、宅内設置装置400は集音装置100(音識別システム3が集音装置100を2つ以上具備する場合は、集音装置100のいずれか)と同じ筐体に含まれてもよいし、それぞれ別筐体で、有線もしくは無線手段によって接続されている形態でもよい。図14では、別筐体での場合の構成を記載している。
音識別システム3における処理の手順は、音識別システム1の場合と同様である。
以上のように、宅内設置装置400が音監視部210を具備するので、音監視部210は、監視対象の宅内にて処理を実行する。従って、音識別システム1の場合と比較して、音データが解析サーバ装置200へ送信されるケースが減少する。この点で、ユーザのプライバシ保護度合いの向上、および、監視対象の宅内と解析サーバ装置200との間の通信量の低減を図ることができる。
なお、以上では、音識別システム2の構成においても、監視対象の宅内に設置された装置が音監視部210を具備するようにしてもよい。この場合も、上記と同様の効果を得られる。
次に、図15を参照して、音識別システム1における本発明の最小構成について説明する。
図15は、音識別システム1における本発明の最小構成を示す概略構成図である。同図を参照すると、図1に示される各部のうち、マイク110と、音監視部210と、音解析部220と、監視判定部212と、音識別部222と、監視対象音決定部227とが示されている。
そして、音解析部220は、マイク110が採取した音の種別を識別する音識別部222と音識別部222が識別した種別を元に監視対象音を決定する監視対象音決定部227とを具備している。また、音監視部210は、マイク110の採取した音が監視対象音決定部227の決定した監視対象音に該当するか否かを判定し、該当すると判定すると通知信号を出力する監視判定部212を具備している。
かかる構成において、図1の構成について説明したのと同様、監視対象音を決定する部分と、監視対象音への該当性を判定する部分とを別構成としたことで、監視対象とする音の登録に登録者(例えばユーザ)の多大な負担を要せずにユーザの行動パターンに応じた監視を行うことができ、かつ、ユーザのプライバシを保護することができる。
なお、解析サーバ装置200、300、500、および、宅内設置装置400の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)マイクと、音監視部と、音解析部とを具備し、前記音解析部は、前記マイクが採取した音の種別を識別する音識別部と、前記音識別部が識別した前記種別を元に監視対象音を決定する監視対象音決定部と、を具備し、前記音監視部は、前記マイクの採取した音が前記監視対象音決定部の決定した監視対象音に該当するか否かを判定し、該当すると判定すると通知信号を出力する監視判定部を具備することを特徴とする音識別システム。
(付記2)前記音解析部は、前記音識別部が識別した前記種別毎に当該種別の音の発生頻度を記録する発生頻度記録部を具備し、前記監視対象音決定部は、前記発生頻度記録部が記録した前記種別毎の音の発生頻度を元に、前記監視対象音を決定することを特徴とする付記1に記載の音識別システム。
(付記3)前記音監視部と前記音解析部とは、互いに独立した記憶領域を有し、前記監視判定部は、前記監視対象音が未登録であると判定すると、前記マイクが採取した音を前記音解析部に出力し、前記監視対象音が登録済みであると判定すると、前記マイクが採取した音の前記音解析部への出力を抑制することを特徴とする付記1または付記2に記載の音識別システム。
(付記4)前記マイクを具備して監視対象の構造物内に設置された集音装置と、前記音監視部を具備して前記監視対象の構造物内に設置された宅内設置装置と、前記音解析部を具備して前記監視対象の構造物外に設置された解析サーバ装置と、を具備し、前記集音装置と前記宅内配置装置と前記解析サーバ装置とは、通信接続さていることを特徴とする付記1から3のいずれか一項に記載の音識別システム。
(付記5)前記発生頻度記録部が記録した前記種別毎の音の発生頻度を表示し、監視対象とする音の種別の選択操作を受け付けるユーザ提示部を具備し、前記監視対象音決定部は、前記ユーザ提示部が受けた前記監視対象とする音の種別の選択操作に基づいて、前記監視対象音を決定することを特徴とする付記1から4のいずれか一項に記載の音識別システム。
(付記6)前記音監視部は、前記監視対象音決定部が決定した前記監視対象とする音を示すデータを、音の種別毎に処理と対応付けて記憶する監視対象音データベースと、前記監視対象音データベースの記憶する前記処理を実行する監視音処理部と、を具備し、前記監視判定部は、前記監視対象音データベースの記憶する、前記監視対象とする音を示すデータに基づいて、前記マイクの採取した音の種別を判定し、判定した音の種別に対応付けられている前記処理を前記監視音処理部に実行させることを特徴とする付記1から5のいずれか一項に記載の音識別システム。
(付記7)前記音解析部は、前記マイクが採取した音のうち監視対象音に該当する音に基づいて、監視対象音の判定基準を示す監視対象音データを生成する代表音生成部を具備し、前記監視判定部は、前記代表音生成部が生成した監視対象音データに基づいて、前記マイクの採取した音が前記監視対象音決定部の決定した監視対象音に該当するか否かを判定することを特徴とする付記1から6のいずれか一項に記載の音識別システム。
(付記8)音監視部と、音解析部とを具備し、前記音解析部は、マイクにて採取された音の種別を識別する音識別部と、前記音識別部が識別した前記種別を元に監視対象音を決定する監視対象音決定部と、を具備し、前記音監視部は、前記マイクの採取した音が前記監視対象音決定部の決定した監視対象音に該当するか否かを判定し、該当すると判定すると通知信号を出力する監視判定部を具備することを特徴とする音識別装置。
(付記9)前記音解析部は、前記音識別部が識別した前記種別毎に当該種別の音の発生頻度を記録する発生頻度記録部を具備し、前記監視対象音決定部は、前記発生頻度記録部が記録した前記種別毎の音の発生頻度を元に、前記監視対象音を決定することを特徴とする付記8に記載の音識別装置。
(付記10)前記音監視部と前記音解析部とは、互いに独立した記憶領域を有し、前記監視判定部は、前記監視対象音が未登録であると判定すると、前記マイクが採取した音を前記音解析部に出力し、前記監視対象音が登録済みであると判定すると、前記マイクが採取した音の前記音解析部への出力を抑制することを特徴とする付記8または付記9に記載の音識別装置。
(付記11)前記発生頻度記録部が記録した前記種別毎の音の発生頻度を表示し、監視対象とする音の種別の選択操作を受け付けるユーザ提示部を具備し、前記監視対象音決定部は、前記ユーザ提示部が受けた前記監視対象とする音の種別の選択操作に基づいて、前記監視対象音を決定することを特徴とする付記8から10のいずれか一項に記載の音識別装置。
(付記12)前記音監視部は、前記監視対象音決定部が決定した前記監視対象とする音を示すデータを、音の種別毎に処理と対応付けて記憶する監視対象音データベースと、前記監視対象音データベースの記憶する前記処理を実行する監視音処理部と、を具備し、前記監視判定部は、前記監視対象音データベースの記憶する、前記監視対象とする音を示すデータに基づいて、前記マイクの採取した音の種別を判定し、判定した音の種別に対応付けられている前記処理を前記監視音処理部に実行させることを特徴とする付記8から11のいずれか一項に記載の音識別装置。
(付記13)前記音解析部は、前記マイクが採取した音のうち監視対象音に該当する音に基づいて、監視対象音の判定基準を示す監視対象音データを生成する代表音生成部を具備し、前記監視判定部は、前記代表音生成部が生成した監視対象音データに基づいて、前記マイクの採取した音が前記監視対象音決定部の決定した監視対象音に該当するか否かを判定することを特徴とする付記8から12のいずれか一項に記載の音識別装置。
(付記14)マイクと、音監視部と、音解析部とを具備する音識別システムの音識別方法であって、前記音解析部は、前記マイクが採取した音の種別を識別する音識別ステップと、前記音識別ステップにて識別した前記種別を元に監視対象音を決定する監視対象音決定ステップと、を実行し、前記音監視部は、前記マイクの採取した音が前記監視対象音決定ステップにて決定した監視対象音に該当するか否かを判定し、該当すると判定すると通知信号を出力する監視判定ステップを実行することを特徴とする音識別方法。
(付記15)音識別装置の音識別方法であって、マイクにて採取した音の種別を識別する音識別ステップと、前記音識別ステップにて識別した前記種別を元に監視対象音を決定する監視対象音決定ステップと、マイクにて採取した音が前記監視対象音決定ステップにて決定した監視対象音に該当するか否かを判定し、該当すると判定すると通知信号を出力する監視判定ステップと、を具備することを特徴とする音識別方法。
(付記16)音識別装置としてのコンピュータに、マイクにて採取した音の種別を識別する音識別ステップと、前記音識別ステップにて識別した前記種別を元に監視対象音を決定する監視対象音決定ステップと、マイクにて採取した音が前記監視対象音決定ステップにて決定した監視対象音に該当するか否かを判定し、該当すると判定すると通知信号を出力する監視判定ステップと、を実行させるためのプログラム。
1、2、3 音識別システム
100 集音装置
110 マイク
120 音検出部
130 送信部
200 解析サーバ装置
210 音監視部
211 受信部
212 監視判定部
213 監視対象音データベース
220 音解析部
221 収集音データベース
222 音識別部
223 登録音データベース
224 発生頻度記録部
225 発生頻度記録データベース
226 ユーザ提示部
227 監視対象音決定部
228 代表音生成部
300 解析サーバ装置
314 監視音処理部
400 宅内設置装置
500 解析サーバ装置

Claims (10)

  1. マイクと、音監視部と、音解析部とを具備し、
    前記音解析部は、
    前記マイクが採取した音の種別を識別する音識別部と、
    前記音識別部が識別した前記種別を元に監視対象音を決定する監視対象音決定部と、
    を具備し、
    前記音監視部は、前記マイクの採取した音が前記監視対象音決定部の決定した監視対象音に該当するか否かを判定し、該当すると判定すると通知信号を出力する監視判定部を具備することを特徴とする音識別システム。
  2. 前記音解析部は、前記音識別部が識別した前記種別毎に当該種別の音の発生頻度を記録する発生頻度記録部を具備し、
    前記監視対象音決定部は、前記発生頻度記録部が記録した前記種別毎の音の発生頻度を元に、前記監視対象音を決定する
    ことを特徴とする請求項1に記載の音識別システム。
  3. 前記音監視部と前記音解析部とは、互いに独立した記憶領域を有し、
    前記監視判定部は、前記監視対象音が未登録であると判定すると、前記マイクが採取した音を前記音解析部に出力し、前記監視対象音が登録済みであると判定すると、前記マイクが採取した音の前記音解析部への出力を抑制する
    ことを特徴とする請求項1または請求項2に記載の音識別システム。
  4. 前記マイクを具備して監視対象の構造物内に設置された集音装置と、
    前記音監視部を具備して前記監視対象の構造物内に設置された宅内設置装置と、
    前記音解析部を具備して前記監視対象の構造物外に設置された解析サーバ装置と、
    を具備し、
    前記集音装置と前記宅内配置装置と前記解析サーバ装置とは、通信接続さていることを特徴とする請求項1から3のいずれか一項に記載の音識別システム。
  5. 前記発生頻度記録部が記録した前記種別毎の音の発生頻度を表示し、監視対象とする音の種別の選択操作を受け付けるユーザ提示部を具備し、
    前記監視対象音決定部は、前記ユーザ提示部が受けた前記監視対象とする音の種別の選択操作に基づいて、前記監視対象音を決定する
    ことを特徴とする請求項1から4のいずれか一項に記載の音識別システム。
  6. 前記音監視部は、前記監視対象音決定部が決定した前記監視対象とする音を示すデータを、音の種別毎に処理と対応付けて記憶する監視対象音データベースと、
    前記監視対象音データベースの記憶する前記処理を実行する監視音処理部と、
    を具備し、
    前記監視判定部は、前記監視対象音データベースの記憶する、前記監視対象とする音を示すデータに基づいて、前記マイクの採取した音の種別を判定し、判定した音の種別に対応付けられている前記処理を前記監視音処理部に実行させる
    ことを特徴とする請求項1から5のいずれか一項に記載の音識別システム。
  7. 音監視部と、音解析部とを具備し、
    前記音解析部は、
    マイクにて採取された音の種別を識別する音識別部と、
    前記音識別部が識別した前記種別を元に監視対象音を決定する監視対象音決定部と、
    を具備し、
    前記音監視部は、前記マイクの採取した音が前記監視対象音決定部の決定した監視対象音に該当するか否かを判定し、該当すると判定すると通知信号を出力する監視判定部を具備することを特徴とする音識別装置。
  8. マイクと、音監視部と、音解析部とを具備する音識別システムの音識別方法であって、
    前記音解析部は、
    前記マイクが採取した音の種別を識別する音識別ステップと、
    前記音識別ステップにて識別した前記種別を元に監視対象音を決定する監視対象音決定ステップと、
    を実行し、
    前記音監視部は、前記マイクの採取した音が前記監視対象音決定ステップにて決定した監視対象音に該当するか否かを判定し、該当すると判定すると通知信号を出力する監視判定ステップを実行することを特徴とする音識別方法。
  9. 音識別装置の音識別方法であって、
    マイクにて採取した音の種別を識別する音識別ステップと、
    前記音識別ステップにて識別した前記種別を元に監視対象音を決定する監視対象音決定ステップと、
    マイクにて採取した音が前記監視対象音決定ステップにて決定した監視対象音に該当するか否かを判定し、該当すると判定すると通知信号を出力する監視判定ステップと、
    を具備することを特徴とする音識別方法。
  10. 音識別装置としてのコンピュータに、
    マイクにて採取した音の種別を識別する音識別ステップと、
    前記音識別ステップにて識別した前記種別を元に監視対象音を決定する監視対象音決定ステップと、
    マイクにて採取した音が前記監視対象音決定ステップにて決定した監視対象音に該当するか否かを判定し、該当すると判定すると通知信号を出力する監視判定ステップと、
    を実行させるためのプログラム。
JP2012097738A 2012-04-23 2012-04-23 音識別システム、音識別装置、音識別方法およびプログラム Pending JP2013225248A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012097738A JP2013225248A (ja) 2012-04-23 2012-04-23 音識別システム、音識別装置、音識別方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012097738A JP2013225248A (ja) 2012-04-23 2012-04-23 音識別システム、音識別装置、音識別方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2013225248A true JP2013225248A (ja) 2013-10-31

Family

ID=49595260

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012097738A Pending JP2013225248A (ja) 2012-04-23 2012-04-23 音識別システム、音識別装置、音識別方法およびプログラム

Country Status (1)

Country Link
JP (1) JP2013225248A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017208356A1 (ja) * 2016-05-31 2017-12-07 株式会社オプティム IoT制御システム、IoT制御方法及びプログラム
US10109298B2 (en) 2015-11-30 2018-10-23 Fujitsu Limited Information processing apparatus, computer readable storage medium, and information processing method
WO2019069592A1 (ja) * 2017-10-03 2019-04-11 東芝ライフスタイル株式会社 動作音比較装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002133558A (ja) * 2000-10-27 2002-05-10 Victor Co Of Japan Ltd 監視用信号の通信方法、及び監視用信号通信装置
JP2003274360A (ja) * 2002-03-14 2003-09-26 Sony Corp 撮像装置、撮像方法、撮像管理装置、撮像管理システム
JP2008519989A (ja) * 2004-11-15 2008-06-12 松下電器産業株式会社 音声認識システムと同システムを用いたセキュリティ装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002133558A (ja) * 2000-10-27 2002-05-10 Victor Co Of Japan Ltd 監視用信号の通信方法、及び監視用信号通信装置
JP2003274360A (ja) * 2002-03-14 2003-09-26 Sony Corp 撮像装置、撮像方法、撮像管理装置、撮像管理システム
JP2008519989A (ja) * 2004-11-15 2008-06-12 松下電器産業株式会社 音声認識システムと同システムを用いたセキュリティ装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10109298B2 (en) 2015-11-30 2018-10-23 Fujitsu Limited Information processing apparatus, computer readable storage medium, and information processing method
WO2017208356A1 (ja) * 2016-05-31 2017-12-07 株式会社オプティム IoT制御システム、IoT制御方法及びプログラム
WO2019069592A1 (ja) * 2017-10-03 2019-04-11 東芝ライフスタイル株式会社 動作音比較装置
JP2019066378A (ja) * 2017-10-03 2019-04-25 東芝ライフスタイル株式会社 動作音比較装置
CN111183340A (zh) * 2017-10-03 2020-05-19 东芝生活电器株式会社 动作音比较装置

Similar Documents

Publication Publication Date Title
US11631407B2 (en) Smart speaker system with cognitive sound analysis and response
US10832673B2 (en) Smart speaker device with cognitive sound analysis and response
US11676478B2 (en) Monitoring security
EP3193316A1 (en) Systems and methods for adaptive detection of audio alarms
US20140104429A1 (en) Correctional facility access and security apparatus, systems, and methods
JP5626372B2 (ja) 事象検知システム
KR100811077B1 (ko) 이동통신단말기를 이용한 개인 보안시스템 및 그 보안방법
CN106558317A (zh) 声音处理装置和声音处理方法
KR20190024254A (ko) 도어벨 장치
KR101031868B1 (ko) 음성인식을 이용한 방범 시스템
CN104376619A (zh) 一种监控方法和设备
KR102488741B1 (ko) 현장 상황 식별성이 향상된 비상벨 시스템
JP2013225248A (ja) 音識別システム、音識別装置、音識別方法およびプログラム
JP2006324715A (ja) 通話装置
CN111784971B (zh) 报警处理方法和系统、计算机可读存储介质和电子设备
US20220292170A1 (en) Enrollment System with Continuous Learning and Confirmation
JP5599064B2 (ja) 音認識装置および音認識方法
KR20140131054A (ko) 긴급 구조 요청 단말 및 긴급 구조 요청 방법
WO2022190701A1 (ja) 不審者アラーム通知システム、不審者アラーム通知方法および不審者アラーム通知プログラム
CN115206328A (zh) 数据处理方法、装置和客服机器人
JP7355120B2 (ja) 処理装置、処理方法及びプログラム
CN114915574A (zh) 一种通过声音自动检测智能门铃响应延迟的方法和系统
CN113516997A (zh) 一种语音事件识别装置和方法
WO2023026437A1 (ja) 監視装置、監視システム、監視方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
KR102641750B1 (ko) 몰래 카메라 탐지 기능을 갖는 비상벨 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160209

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160816