JP2011237865A - 生活空間の見守りシステム - Google Patents
生活空間の見守りシステム Download PDFInfo
- Publication number
- JP2011237865A JP2011237865A JP2010106323A JP2010106323A JP2011237865A JP 2011237865 A JP2011237865 A JP 2011237865A JP 2010106323 A JP2010106323 A JP 2010106323A JP 2010106323 A JP2010106323 A JP 2010106323A JP 2011237865 A JP2011237865 A JP 2011237865A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- spectrogram
- frequency
- simplified
- living space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
【構成】 見守りシステム10は、家16(生活空間)の中に音センサデバイス18を設置し、音センサデバイスのマイクロコントローラ18bは、音センサ18aの音信を処理することによって、時間および周波数の両方向において簡略化したスペクトログラムを生成す。このスペクトログラムはホームゲートウェイ14からネットワーク12を通して見守りサーバ20に伝送される。見守りサーバでは、簡略化したスペクトログラムに対して複数のフィルタを掛け、それによるスコア値を算出し、各フィルタのスコア値から、生活空間および/または対象者の状況を認識する。
【効果】対象者のプライバシを十分に考慮しつつ、具体的な状況を認識できる。
【選択図】 図1
【効果】対象者のプライバシを十分に考慮しつつ、具体的な状況を認識できる。
【選択図】 図1
Description
この発明は生活空間の見守りシステムに関し、特に、たとえば家の中などの生活空間にマイクロフォンなどの音センサを配置して生活音を検出することによって、その家の中で生活するたとえば独居高齢者の状態を見守るような、見守りシステムに関する。
日本は高齢化が急速に進み、総人口に占める高齢者(65歳以上)の割合が21%にも達する超高齢社会となった。特に高齢単身世帯の増加が著しく、1人でも安心して暮らせるような生活支援のための仕組みづくりが求められている。
独居高齢者の見守りシステムには、ポットなどの家電製品にセンサを内蔵する方法、住宅設備の水、ガス、電気などの使用量を把握する方法、家の各所に設置した人感センサで動きを捉える方法、映像、音など人感センサよりも多くの情報が得られるセンサで空間認識する方法など、さまざまな方法が提案されている。これらの非拘束、無意識で取得する方法では、家族などのシステム利用者に関わる人が、利用者の日々の生活パターンを把握しておくことで、日常と異なる傾向が現れた際に電話やメールで連絡するといった行動を起こすことが期待できる。
非特許文献1の方法では、マイクロフォンを用いて日々の生活から生じる音の強さを取得し、異常検出を試みている。
品川佳満、岸本俊夫、太田茂、「マイクロフォンセンサを用いた在宅行動モニタリング」、川崎医療福祉学会誌、15(2), 615-620, 2006
品川佳満、岸本俊夫、太田茂、「マイクロフォンセンサを用いた在宅行動モニタリング」、川崎医療福祉学会誌、15(2), 615-620, 2006
非特許文献1の背景技術では、音の強さのみで状況を推定するようにしているため、単純な状態、たとえば起きている、寝ているなどの状態しか推定できない。
また、居室等に配置したマイクロフォンが収集した音をそのまま利用するようにしているため、プライバシの保護が不充分になるおそれがある。
それゆえに、この発明の主たる目的は、新規な、生活空間の見守りシステムを提供することである。
この発明の他の目的は、対象者のプライバシを十分に考慮しつつ、より具体的な状況を認識できる、生活空間の見守りシステムを提供することである。
本発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、本発明の理解を助けるために後述する実施の形態との対応関係を示したものであって、本発明を何ら限定するものではない。
第1の発明は、生活空間の見守りシステムであって、生活空間内に設置されて、音を収集して音信号を出力する音センサ、音センサからの音信号を処理することによって、周波数および時間の両軸方向において簡略した簡略化スペクトログラムを生成するスペクトログラム生成手段、および簡略化スペクトログラムをフィルタリング処理することによって、生活空間内の状態を観測する状態観察手段を備える、生活空間の見守りシステムである。
第1の発明では、たとえば家(16:実施例において相当または対応する部分を例示する参照号を示す。以下同様。)の中の生活空間に音センサ(18,18a)を配置し、この音センサから音信号が出力される。
マイクロコントローラなどのコンピュータを含むスペクトログラム生成手段(18b,243,S1−S7)では、この音信号を音信号データとして取り込み、一例として、音信号データの1024サンプルに対して、窓関数をかけて、128サンプルごとの8分割の後、1個ずつとばした4個のデータのみを切り出し、切り出したデータそれぞれに短時間フーリエ変換(STFT)を行って時間軸方向に簡略化する。その後、周波数軸方向に簡略化する。周波数軸方向における簡略化処理では、FFTにより求められる周波数成分を、たとえば5つの周波数帯に大まかにまとめる。まとめる操作においては、周波数成分を生活音分類項目に合うように区分し、その区分中における信号強度の最大値または平均値を用いて、それぞれ新たな周波数帯と信号強度に置き換える処理を行うことで時間軸方向簡略化したデータを生成する。つまり、スペクトログラム生成手段では、時間軸および周波数軸の両方向においてともに簡略化したスペクトログラムを生成する。
このようにして簡略したスペクトログラムが、実施例ではホームゲートウェイおよびネットワークを通して、状態観察手段を構成する見守りサーバ(20)に送られる。
見守りサーバすなわち状態観察手段(20,283,S21)では、上述の周波数方向に簡略化したM個(実施例では5つ)の周波数帯に対応してM個(実施例では5つ)のフィルタを設定し、そのフィルタリング処理によって生活空間および/または対象者の状態を認識する。
第1の発明によれば、音センサが出力する音信号から時間および周波数の両軸方向に粗い(簡略化した)スペクトログラムを生成するので、つまり生の音を用いないので、対象者のプライバシを保護することができる。簡略化したスペクトログラムをフィルタリングした結果に基づいて状態認識がなされるので、音の強さだけによって状態認識をする場合に比べて、より具体的な状況が認識できる。
第2の発明は、第1の発明に従属し、スペクトログラム生成手段は、複数の周波数帯において代表値を用いることによって周波数方向における簡略化を行い、状態観察手段は、スペクトログラム生成手段の周波数帯と同じ周波数帯のフィルタを用いてフィルタリング処理を実行してスコア値を算出するフィルタリング手段、および各フィルタのスコア値に基づいて状況を認識する状況認識手段を含む、生活空間の見守りシステムである。
第2の発明では、たとえば、各フィルタのスコア値のパターンを予め設定している状況パターンのデータベースと対照することによって、そのときの、または一定時間での生活空間および/または対象者の状況を認識する。第2の発明によれば、フィルタリングのスコア値に基づいて状況認識するため、単に音の強さだけで判断する場合などに比べて、生活空間および/または対象者のより具体的な状況を認識することができる。
第3の発明は、第2の発明に従属し、生活空間内に複数の音センサを配置し、スペクトログラム生成手段は各音センサからの音信を処理して複数の、周波数および時間の両軸方向において簡略した簡略化スペクトログラムを生成し、状態観察手段は、複数のスペクトログラムをフィルタリングした結果のスコア値に基づいて音源位置を推定する音源位置推定手段をさらに含み、状況認識手段は、各フィルタのスコア値および音源位置に基づいて状況を認識する、生活空間の見守りシステムである。
第3の発明では、複数の音センサデバイスのうちの2つの音センサの出力を用いて、その音が、1対の音センサデバイスを結ぶ線上のどの位置付近から発生しているかを推定(位置推定)できる。つまり、1対の音センサからの音データ(スコア値)の差分をとることで、これらの音センサに対する音源位置の相関関係が現れる。音源の位置が推定できるので、状況パターンデータベースには、音源位置を加味した状況分析パターンを蓄積しておき、そのパターンデータを用いて、音源位置を加味して状況を認識する。第3の発明によれば、スコア値および音源位置に基づいて状況を分析するので、さらに詳細な状況を認識することができる。
第4の発明は、第1ないし第3のいずれかの発明に従属し、スペクトログラム生成手段が設定する複数の周波数帯は、全体として対象生活空間における生活音の周波数範囲をカバーするように設定されている、生活空間の見守りシステムである。
第4の発明では、M個(実施例では5つ)の周波数帯は、低周波数帯域(歩く音など)を対象とする0−300Hz、人の声1(音声基本周波数を含む音など)を対象とする300−800Hz、人の声2(倍音を多く含む音など)を対象とする800−2000Hz、中周波数帯域(テレビなどの複合的音など)を対象とする2000−4000Hz、そして高周波数帯域(紙などに触る音など)を対象とする3400−5512Hzに設定し、全体として生活音(便宜上、人が直接物に触れることで発生する音を生活音と定義し、それ以外の要因が絡む音を環境音と定義する。)をカバーするようにした。第4の発明によれば、生活音をカバーするようにしているため、安価な音センサ(マイクロフォン)を使用しても、生活空間や対象者を効率よく見守ることができる。
この発明によれば、対象者のプライバシを十分に考慮しつつ、より具体的な状況を認識できる、生活空間の見守りシステムが得られる。
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
図1を参照して、この実施例の生活空間の見守りシステム(以下、単に、「見守りシステム」という。)10は、たとえばインタネットのようなネットワーク12を利用する。ネットワーク12には対象となる生活空間を形成する家16に設置されているホームゲートウェイ14が接続される。ホームゲートウェイ14は、家16すなわち部屋や廊下などの家16の中の任意の場所(生活空間)に設置された、典型的にはマイクロフォンのような音センサを含む音センサデバイス18が収集して簡略化処理をした音データをネットワーク12を介して、見守りサーバ20に与える。
この実施例の見守りシステム10は、音センサデバイス18においてたとえば周波数方向および時間方向の2つの軸方向において粗くする手法などによって音データを簡略化して、それをホームゲートウェイ14を通して見守りサーバ20に伝送する。一方、見守りサーバ20で、その簡略化した音データをフィルタリングすることによって、通常生活時、不在時、異常時などの状態または状況の識別情報を取得し、関係者に識別結果を伝える。
この実施例の見守りシステム10では、簡略化した音データを用いることにより、ネットワーク12を介して伝送する音データのデータ量を削減することができるとともに、生の音または音データをそのまま用いないので、話の内容などがその音データから分かることがなく、対象者のプライバシを十分に保護できる。
実施例では、音センサデバイス18としては、たとえばBluethoothやWi-Fi、ZigBee(いずれも商品名)などの無線通信手段を内蔵した音センサデバイスを用いる。そのような無線式の音センサデバイス18を用いることで、音センサを家16内の任意の場所に自由に配置することができる。
音センサデバイス18は図1に示すように、典型的にはマイクロフォンのような音センサ18aと、この音センサ18aから入力される音信号から簡略化したスペクトログラムを生成するマイクロコントローラ18bを含む。マイクロコントローラ18bは、生成した簡略化スペクトログラムを上述の無線手段によってホームゲートウェイ14に送る。実施例の場合、音センサ18aとしては、少なくとも生活音の周波数範囲である、周波数範囲100−10000Hzの音だけを集音できればよいので、比較的安価なマイクロフォンを利用できる。そのようなマイクロフォンとしては基本的には無指向性のものを用いるが、特に局所的な音を観察したい場合には指向性のものを利用することも可能である。
なお、図示しないが、開閉センサや人感センサなどの各種センサを家16内に設置し、それらの各種センサのセンサ出力に基づく判断と簡略化した音データに基づく判断とを併用して、より高精度な状況分析を行えるようにしてもよい。開閉センサは、ドアや窓の開閉を検知できるセンサであり、人感センサは、対象となっている部屋や領域に人が存在するかなどを検知できるセンサである。これらの各種センサもホームゲートウェイに接続されてセキュリティサーバ(図示せず)のようなシステムで利用されるのであるが、ホームゲートウェイ14がセキュリティシステムのものと共用され、見守りサーバ20に、簡略化した音センサデータだけでなく、これらのセンサデータを伝達し、見守りサーバ20では音データと併せてセンサデータを解釈することによって、より具体的な対象者の状況を把握するようにしてもよい。たとえば、人感センサのデータと開閉センサのデータとの組み合わせから、対象者が外出しているかどうかなどが判別できる。
図2にマイクロコントーラ18bのメモリマップが示される。メモリ22は、プログラム領域24を含み、このプログラム領域24には、OS241の他、音信号取り込みプログラム242、スペクトログラム生成プログラム243および送信プログラム244などが予め設定されている。
音信号取り込みプログラム242を実行することによって、マイクロコントーラ18bは、音センサ18aから音信号を、一例として、サンプリング周波数11025Hz、サンプリングビット数16ビットで音データとして取得する。次に取得した音データに対して、短時間フーリエ変換(STFT)を適用することで得られる周波数特性から振幅スペクトルを計算する。ただし、マイクロコントローラ18bのような安価なコンピュータを搭載しているので、実施例では、計算処理を軽くするため、サンプリング周波数を低く抑えようにしている。もちろん、より高速計算が可能なコンピュータをマイクロコントローラ18bに代えて用い、サンプリングし周波数を高くすることも可能である。
スペクトログラム生成プログラム243では、このようにして取得した音データから時間および周波数のそれぞれ軸方向において簡略化したスペクトログラムを生成する。
時間軸方向における簡略化処理では、たとえば図3に示すように、音データの1024サンプルに対して、ある窓関数(一例では、128サンプルごとの8分割の後、1個ずつとばした4個のデータのみを切り出す)をかけた後、切り出されたデータそれぞれに短時間フーリエ変換(STFT)を行う(図4)。ただし、図4では、音データを窓関数により切り出し後、フーリエ変換を行う場合を図示したが、1024サンプル全体に対して高速フーリエ変換(FFT)をかけた後、その処理結果に対し、上で述べた窓関数をかけてデータを切り出してもよい。
周波数軸方向における簡略化処理では、FFTにより求められる周波数成分を、生活音分類項目に適合するように、たとえば図4に示す手順に従って、まとめる操作を行う。単にサンプリング周波数11025Hzの128サンプルから振幅スペクトルを求めた場合、周波数分解能はおよそ86.13Hzとなるが、そのままではデータ量が多く、プライバシ保護の観点からもぼかす処理が必要である。そこで、まとめる操作において、周波数成分を生活音分類項目に合うように区分し、その区分中における信号強度の最大値または平均値を用いて、それぞれ新たな周波数帯と信号強度に置き換える処理を行うことで簡略化したデータを生成する。
この実施例では、状況推定に用いる生活音の分類では、次の項目が検出できるように、周波数帯を区分し、それぞれに具体的な周波数を割り当てた。男性と女性の音声基本周波数はそれぞれ125Hzと250Hz付近にあること、アナログ電話は300−3400Hzであることなどを参考に区分している。
1) 低周波数帯域(歩く音など)…0−300Hz
2) 人の声1(音声基本周波数を含む音など)…300−800Hz
3) 人の声2(倍音を多く含む音など)…800−2000Hz
4) 中周波数帯域(テレビなどの複合的音など)…2000−4000Hz
5) 高周波数帯域(紙などに触る音など)…3400−5512Hz
なお、便宜上、人が直接物に触れることで発生する音を生活音と、それ以外の要因が絡む音を環境音と定義する。これにより、たとえば、リモコンを操作するときの音は生活音、テレビから発せられる音は環境音に分類する。
1) 低周波数帯域(歩く音など)…0−300Hz
2) 人の声1(音声基本周波数を含む音など)…300−800Hz
3) 人の声2(倍音を多く含む音など)…800−2000Hz
4) 中周波数帯域(テレビなどの複合的音など)…2000−4000Hz
5) 高周波数帯域(紙などに触る音など)…3400−5512Hz
なお、便宜上、人が直接物に触れることで発生する音を生活音と、それ以外の要因が絡む音を環境音と定義する。これにより、たとえば、リモコンを操作するときの音は生活音、テレビから発せられる音は環境音に分類する。
その後、各周波数帯の信号強度(振幅値)を、代表値、たとえば最大値または平均値によって置き換えることによって、周波数方向において簡略化する。ただし、実施例では、各周波数帯における信号強度が得られる振幅スペクトルに対して時間の概念を加え、おのおのの時刻と周波数に対応する信号強度の数値を時系列に並べたデータ、すなわち簡略化したスペクトログラムを生成する。つまり、周波数方向をおおまかに簡略化したのち、周波数帯ごとに、時間軸に沿って前後M個(一例では5個)の移動平均を計算することによって、ノイズ低減処理を実行する。
このようにして、スペクトログラム生成プログラム243を実行することによって、音センサデバイス18のマイクロコントローラ18bは時間軸および周波数軸共に簡略化または単純化したスペクトログラムを生成する。
図5にスペクトログラム生成プログラム243で生成した簡略化スペクトログラムの一例が図示されている。図5(a)がビニール袋音を示し、図5(b)はスリッパ音を示し、図5(c)が男性発話音をそれぞれ簡略化したときのグラフを表している。スペクトログラムは、STFTを適用することで求めた。ただし、図5(a)−(c)のそれぞれの最上の図は音センサ18aが収集した音信号の波形を示し、上から2段目が時間軸についてだけ簡略化したスペクトログラムであり、上から3段目が、各周波数帯において代表値として「最大値」を採用した場合の時間軸および周波数軸においてともに簡略化スペクトログラムであり、最下段が、各周波数帯の代表値として「平均値」を採用した場合の簡略化スペクトログラムである。ただし、図5の写真は、さらに時間軸に対して移動平均によりノイズを低減する処理を行ったものを、横軸に簡略化した時間、縦軸に簡略化した周波数帯を示している。
下2つの写真とその上の写真を比べると、代表値として最大値を採った簡略化スペクトログラムのほうが、代表値として平均値を採用したものに比べて、再現性がよいことがわかる。したがって、実施例では代表値として最大値を採用した簡略化スペクトログラムを用いて、見守りサーバ20における分析を行なうものとした。
送信プログラム244を実行することによって、マイクロコントローラ18bは、簡略化したスペクトログラムのデータを、適宜のフォーマットのデータとしてホームゲートウェイ14に向けて送信する。
図1の実施例では1つだけの音センサデバイス18を用いたが、複数の音センサデバイスを用いる場合には、すべての音センサデバイスから同様にして、時間軸および周波数軸共に簡略化したスペクトログラムがホームゲートウェイ14に送信されるので、ホームゲートウェイ14はすべてのスペクトログラムデータをネットワーク12を通じて見守りサーバ20に送信する。
図6は、見守りサーバ20のメモリマップを示す図解図であり、メモリ26は、プログラム領域28およびデータ記憶領域30を含む。プログラム領域28には、OS281の他、受信プログラム282、フィルタリングプログラム283、状況認識プログラム284、通信プログラム285などが設定される。
受信プログラム282は、ネットワーク12を通してホームゲートウェイ14から送られてくる簡略化したスペクトログラムのデータなどを適正に受信するためのプログラムである。受信したスペクトログラムデータは、データ記憶領域30のスペクトログラムデータ記憶領域301に保存される。
見守りサーバ20に送られてくる、簡略化されたスペクトログラムのデータから、当該生活空間ひいては見守り対象者がどのような状況なのかを識別するため、話し声検出用、歩く音検出用といったフィルタ(係数)を、各時刻に対し、単純化された周波数軸に沿って掛ける。フィルタリングプログラム283はこのようなフィルタリング処理を定義したプログラムである。上述のように周波数方向に簡略化したM個(実施例では5つ)の周波数帯に対応してM個(実施例では5つ)のフィルタを設定し、そのフィルタリング処理によって各周波数帯におけるスコア値(評価値)を求める。ただし、他に周波数の全域を捉える全域フィルタを参照用(基準用)に設けておくことも考えられる。そして、スコア値の実際の計算では、一例として、各周波数帯において、まず時間軸に対して前後5個分から移動平均を求めてノイズを低減し、そして各種フィルタを周波数軸の各周波数帯に畳み込み演算することでスコアを算出する。つまり、フィルタリングプログラム283を実行することによって、見守りサーバ20は、各フィルタのスコア値を求めることができる。
このようにして求めたスコア値は後述の状況認識に必要なので、或る程度長時間にわたって、スコア値記憶領域302に保存する。
図7がこのようにして算出したスコア値をプロットしたグラフの一例である。図7(a)がビニール袋音、図7(b)がスリッパ音、図7(c)男性発話音に対して計算したスコア値であり、上から、(1)全ての周波数を捉えるフィルタ、(2)低周波の音を捉えるフィルタ、(3)話す声の音を捉えるフィルタ、(4)高周波の音を捉えるフィルタによるスコア値である。フィルタ係数としては、周波数全域を捉えるフィルタでは、たとえば「0.2 0.2 0.2 0.2 0.2」のように重みを全て等しくした。低周波を捉えるフィルタでは、たとえば「8 -1 −1.5 -2 −2.5」のように低い周波数成分の重みを大きく、高い周波数成分の重みを小さくした。声(人の声1、人の声2)を捉えるフィルタでは、たとえば「1 3 1 -1 −3」のように音声基本周波数を基本に重み付けをした。高周波を捉えるフィルタでは、たとえば「−3 -1.5 −1 1.5 3」のように低周波を捉えるフィルタのほぼ逆の重み付けをした。図7ではこのようなフィルタ係数によるフィルタリング処理を、ビニール袋音(a)、スリッパ音(b)、男性発話音(c)に対して行った結果をプロットしている。
状況認識プログラム284を実行することによって見守りサーバ20は、図7のようなスコア値から、状況認識用に設定した閾値を超えたものを判別して状況を分類するする。ただし、単純に瞬間ごとに設定した閾値に達したら分類するのではなく、ある程度時間を考慮した分析を行い、持続的に閾値を超えた状態が続けば話し声といった分類をする。このとき、データ記憶領域30の状況パターンデータベース記憶領域303に予め設定されている、状況パターンを参照することによって、各周波数帯のスコア値に基づいて、状況を認識することができる。
状況パターンとしては、実際に対象者の生活空間で採取した音データを分析して予め作成しておくもので、たとえば、新聞を読んでいるときのスコアパターン、料理を作っているときのスコアパターン、食事をしているときのスコアパターン、テレビを見ているときのスコアパターン、風呂に入るときのスコアパターンなど、種々の行動推定に役立つ、各フィルタリングのスコア値の変化パターンが考えられる。したがって、状況認識プログラム284では、各フィルタのスコア値が得られるつど、以上のようなスコアパターンとパターンマッチング処理を実行して、現在の対象者がどのような行動をとっているか、いないかを認識する。
さらに、たとえば、対象の独居高齢者の実際の生活スケジュールを予め記憶しておき、そのような生活スケジュールに従って実際の行動(推定した行動)が行なわれているか否かなどを判断することによって、対象者に異常が発生していないかなどの状況認識を行なうようにすることも考えられる。
図6に戻って、通信プログラム285を実行することによって、見守りサーバ20は、見守りサーバ20が契約している1つまたは複数の通知先に、定期的に状況認識の結果を送信し、または異常な状況が生じたときに連絡する。ただし、通知先は、データ記憶領域30の通知先登録領域304に予め登録しているので、その登録データをみて、電話、ファクシミリあるいはメールなどによって連絡する。
次ぎに、図8および図9を参照して、この見守りシステム10の一連の動作を説明する。図8に示すフローチャートは、実施例では音センサデバイス18のマイクロコントローラ18bが実行するものとして定義されている。
音センサ18aから音信号が入力されると、最初のステップS1でマイクロコントローラ18bは、先に説明した音信号取り込みプログラム242に従って、サンプリング周波数11025Hzで、16ビット幅の音信号データを取り込む。具体的には、図3に示す手順に従って、時間軸方向に単純化(簡略化)した128サンプルの音信号データを取り込み、データメモリ(図示せず)に一時記憶する。
続いて、マイクロコントローラ18bは、ステップS3において、128サンプルの各々について、たとえばハニング窓関数を用いて一定時間(たとえば0.1秒)ごとにSTFTを実行することによって、時間軸方向に簡略化(または単純化)したスペクトログラムを作成し、それをデータメモリに一時記憶する。
続いて、マイクロコントローラ18bは、ステップS5において、時間方向に粗くしたスペクトログラムを周波数方向に粗くする処理を行なう。つまり、上で説明した生活音の周波数範囲を5つに区分し、それぞれの周波数区分の振幅値をたとえば最大値に置き換えることによって、周波数を大まかに5つの周波数帯にまとめる。
そして、ステップS7で、上で述べたノイズ低減処理を実行し、時間および周波数の両軸方向に共に簡略化した、スペクトログラムを生成し、ステップS9でそれぞれを、ホームゲートウェイ14すなわち見守りサーバ20に送る。
見守りサーバ20では、先に説明した受信プログラム282を実行して簡略化スペクトログラムを受信し、データ記憶領域30のスペクトログラム記憶領域301(図6)にそのスペクトログラムデータを保存する。
そして、図9のステップS21において、見守りサーバ20は、先に説明したフィルタリングプログラム283を実行して、M個(5個)のフィルタ毎にスコア値を計算して求める。求めたスコア値は、スコア値記憶領域302(図6)に保存される。
その後ステップS25において、見守りサーバ20は、状況認識プログラム284を実行することによって、対象者および/または生活空間におけるそのときの状況を認識する。この状況認識ステップでは、上で説明したような、状況パターンのデータベースを参照して、異常な状況が生じていないか判断する。
たとえば、他のセンサ(たとえば開閉センサや人感センサ)と協働して、外出した形跡がないのに生活時間帯に生活音が観測されない場合は、異常状態であると認識する。
たとえば、対象となっている生活空間内には誰もいないはずなのに、生活音が観測される場合には、火事や泥棒の異常状態を推定できる。
たとえば、非常に大きい突発音が発生した後、生活音が観測できない場合は、階段からの落下のような異常状態を推定することができる。
そして、ステップS25で異常状態かどうか判断し、“YES”なら、続くステップS27において、通信プログラム285を実行して、異常状態の発生を予め登録した通知先に送信する。
ただし、異常状態を検出しなくても、スコア値を算出する都度、または状況認識を実行する都度、その結果を通知先に通知するようにすることも考えられる。これは後の実施例でも同様である。つまり、異常状態かどうかに拘らず、定期的に通知先へ通知するようにしてもよい。
上述の実施例では、対象となる生活空間に1個だけの音センサデバイスを配置した実施例について説明した。しかしながら、対象者や対象者の生活空間の状態を寄り精度よく観察しようとすれば、複数の音センサデバイスを利用することが望ましい。
図10はこの発明の他の実施例の見守りシステムを示すブロック図である。この実施例では、家16内に複数の音センサデバイス181−18nを設置する。これら音センサデバイス181−18nの設置場所としては、居間、寝室、浴室、など任意の場所が考えられる。
この実施例のように複数の音センサデバイス181−18nを用いる利点としては、それぞれの見守り場所においてきめ細かく観察できるという利点の他に、音源位置を推定できるという利点がある。
発明者等の実験においては、図11のような音センサデバイス181および182の配置で実験した。図11では、2つの音センサデバイス181および182の間の距離が4.5m、各センサデバイスの設置高さが90cmの環境下において、2つの音センサデバイス181および182を結ぶ線上において50−60cm間隔で7回音を鳴らしたときの値を表したものが図12および図13である。
図12および図13におけるLチャンネルが、図11の下側の音センサにデバイス181に相当し、Rチャンネルが図11の上側の音センサにデバイス182に相当する。図12は、時間の簡略化処理で128サンプル毎にまとめられた区間から、絶対値を取った振幅値の中で最大値を取得したときの値を描いたグラフを示している。また差分ではLからRを引いた値を描画している。同様に図13は、図5で求めたように、全ての周波数を捉える全域フィルタのスコア値を用い、LチャンネルおよびRチャンネルを求め、そのLとRの差分をそれぞれプロットしたグラフである。差分を示した図12と図13の両方のグラフから、音の発生源距離に応じて、音の強さ、すなわち音圧に違いが生じていることが見て取れる。
つまり、複数の音センサデバイスを用いれば、そのうちの2つの音センサの出力を用いて、その音が、1対の音センサデバイスを結ぶ線上のどの位置付近から発生しているかを推定(位置推定)できる。したがって、対となる音センサデバイスを変更することによって、かなり高精度に家の中のどの位置辺りから発音があったかを特定することができる。
このように、音データの差分をとることで、相関関係が現れていることがわかる。位置推定の例である図12と図13の2つのグラフにおいて、30秒付近の値は4.5mのおよそ真ん中付近にあたる。そこから、約50cmずれるに従って値が変化し、センサに近づくにつれ、一方の値が大きくなっていることが確認できる。特にフィルタを掛けることで求めたスコア値では、音発生源とセンサ間の距離が最も近い場合に、変化の度合いが急に増していることが見て取れる。また、スコア値で求めたグラフ(図13)は、振幅で求めたグラフ(図12)に比べ、音源距離に対する変化の度合いがわかりにくいが、これは、振幅の場合は時間の単純化までを、フィルタの場合は、さらに周波数の単純化とノイズ低減処理を行っているため、多くの情報が削られてしまい、小さな変化の捕捉が難しくなってしまったことが原因であると考えられる。しかしながら、図13のグラフにおいても、距離減衰特性により、音発生源とセンサ間のおよその距離を把握することができるようになる。
このように、図10の実施例では音源位置の推定がある程度可能なので、図14に示すように、ステップS21でフィルタリングしてスコア値を求めた後、ステップS22で、図13に示すように、フィルタリングしたスコア値の大きさによって、音源位置を推定する処理を見守りサーバ20が実行することとした。
音源の位置が推定できるこの実施例の場合、状況パターンデータベース記憶領域303(図6)には、音源位置を加味した状況分析パターンを蓄積しておき、状況認識プログラム284ではそのパターンデータを用いて状況を認識する。
たとえば、話し声の位置と足音の位置が同じなら、その人が1人とカウントできる。
たとえば、廊下で足音が移動する方向が認識できるので、対象者が移動している方向が認識できる。
たとえば、浴室方向へ歩いた後に浴室付近で大きな音がしたときは、浴室で事故が発生した可能性がある。
たとえば、玄関付近で大きな音がしたときには、転倒事故が考えられる。
居間の真ん中で話し声が検出された直後に無音状態になったときには何らかの異常状態が発生している可能性がある。
そして、図14のステップS23で状況認識プログラム284を実行し、ステップS25で異常の有無を判断する。これらのステップは図9の対応するステップと同じであるので、ここでは重複する説明は省略する。ただし、この実施例では、ステップS23の状況認識においては、上述の音源位置を各フィルタのスコア値に加味して認識することによって、生活空間および/または対象者のより詳細な状況を把握することができる。
上述のいずれの実施例でも、簡易なコンピュータであるマイクロコントローラを内蔵する音センサデバイス18を用い、音センサデバイスが自身で簡略化したスペクトログラムを生成し、それをネットワーク12を通して見守りサーバ20に送り、見守りサーバ20でその簡略化スペクトログラムをフィルタリングすることによって、状況認識するようにした。したがって、対象者のプライバシを十分保護できるとともに、ネットワーク上に送り出すデータ量が少なく、通信負荷が軽いという利点もある。
さらに、図1の実施例でも、図10の実施例でも実施可能であるが、状況を認識するまでもなく異常状態を判別する方法がある。その方法では、フィルタリングプログラム283(図6)において、異常時に生じる音のフィルタを準備し、時間および周波数の両方向にともに簡略化したスペクトログラムを図15のステップS21でフィルタリング処理することによって、スコア値を算出し、その異常フィルタのスコア値が大きければ異常状態が発生したと認識する。
なお、上述の実施例では、時間および周波数の両方向において共に簡略化したスペクトログラムを生成するために、図8に示すようにまず時間方向に簡略化し、ついで周波数方向に簡略化する方法を例示した。この方法では、時間軸方向における簡略化を一度に行えるので、効率的であるという利点がある。しかしながら、時間および周波数を簡略化したスペクトログラムを生成する方法としては、この方法以外の方法が採用されてもよい。たとえば、まず周波数方向に大まかにまとめ、その後各周波数帯毎に時間軸方向に簡略化する方法、あるいは、両方向同時に簡略化する方法が考えられる。いずれの方法においても、周波数方向においては、少なくとも先に説明した生活音を観測できる周波数帯を設定する必要がある。
また、図12に示すように、音源位置推定において振幅値を利用するためには、見守りサーバ20に振幅値のデータがそのまま伝送されなければならないが、そうすると、音センサデバイス18からは時間軸方向だけを簡略化したスペクトログラムのデータを出力し、それを受け取って見守りサーバ20で、音源位置を推定した後、図4のステップS3−S7を実行して、時間および周波数の両方向において簡略化したスペクトログラムを生成する必要がある。
つまり、上で説明した実施例では、音センサデバイスのマイクロコントローラが時間および周波数の両方向において簡略化したスペクトログラムを生成して、それをホームゲートウェイを介して見守りサーバ20に送ったが、ホームゲートウェイ14からは、時間軸方向にだけ簡略化したスペクトログラムを送り、まず位置推定を行なった後、見守りサーバ20でステップS3以降を実行するように変更することも可能である。
さらに、同じ居室に3つ以上の音センサデバイスを設置する場合には、三角測量の要領で音源位置をかなり精度よく推定することができる。
基本的に実施例の見守りサーバ20は、多くの契約者の生活空間を見守ることができるように、ネットワークを介して各家のホームゲートウェイに接続された。しかしながら、見守り対象の家ごとに設けたコンピュータで同じような状況認識を個別に行なうことも考えられる。つまり、実施例ではネットワークを利用した分散処理を行なったが、必ずしも、分散型でなくてもよい。
10 …見守りシステム
12 …ネットワーク
14 …ホームゲートウェイ
16 …家
18、181−18n、182 …音センサデバイス
18a …音センサ(マイクロフォン)
18b …マイクロコントローラ
20 …見守りサーバ
12 …ネットワーク
14 …ホームゲートウェイ
16 …家
18、181−18n、182 …音センサデバイス
18a …音センサ(マイクロフォン)
18b …マイクロコントローラ
20 …見守りサーバ
Claims (4)
- 生活空間の見守りシステムであって、
前記生活空間内に設置されて、音を収集して音信号を出力する音センサ、
前記音センサからの音信号を処理することによって、周波数および時間の両軸方向において簡略した簡略化スペクトログラムを生成するスペクトログラム生成手段、および
前記簡略化スペクトログラムをフィルタリング処理することによって、前記生活空間内の状態を観測する状態観察手段を備える、生活空間における見守りシステム。 - 前記スペクトログラム生成手段は、複数の周波数帯において代表値を用いることによって周波数方向における簡略化を行い、
前記状態観察手段は、前記スペクトログラム生成手段の周波数帯と同じ周波数帯のフィルタを用いてフィルタリング処理を実行してスコア値を算出するフィルタリング手段、および各フィルタのスコア値に基づいて状況を認識する状況認識手段を含む、請求項1記載の見守りシステム。 - 生活空間内に複数の音センサを配置し、前記スペクトログラム生成手段は各音センサからの音信を処理して複数の、周波数および時間の両軸方向において簡略した簡略化スペクトログラムを生成し、
前記状態観察手段は、前記複数のスペクトログラムをフィルタリングした結果のスコア値に基づいて音源位置を推定する音源位置推定手段をさらに含み、前記状況認識手段は、各フィルタのスコア値および音源位置に基づいて状況を認識する、請求項2記載の見守りシステム。 - 前記スペクトログラム生成手段が設定する複数の周波数帯は、全体として対象生活空間における生活音の周波数範囲をカバーするように設定されている、請求項1ないし3のいずれかに記載の見守りシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010106323A JP2011237865A (ja) | 2010-05-06 | 2010-05-06 | 生活空間の見守りシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010106323A JP2011237865A (ja) | 2010-05-06 | 2010-05-06 | 生活空間の見守りシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011237865A true JP2011237865A (ja) | 2011-11-24 |
Family
ID=45325802
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010106323A Pending JP2011237865A (ja) | 2010-05-06 | 2010-05-06 | 生活空間の見守りシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011237865A (ja) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014059483A (ja) * | 2012-09-18 | 2014-04-03 | Fuji Xerox Co Ltd | 分類装置及びプログラム |
WO2014132340A1 (ja) | 2013-02-26 | 2014-09-04 | 株式会社日立製作所 | 見守りシステム |
JP2016126479A (ja) * | 2014-12-26 | 2016-07-11 | 富士通株式会社 | 特徴音抽出方法、特徴音抽出装置、コンピュータプログラム、配信システム |
GB2538043A (en) * | 2015-03-09 | 2016-11-09 | Buddi Ltd | Activity monitor |
JP2017117492A (ja) * | 2017-03-13 | 2017-06-29 | 株式会社日立製作所 | 見守りシステム |
US10109298B2 (en) | 2015-11-30 | 2018-10-23 | Fujitsu Limited | Information processing apparatus, computer readable storage medium, and information processing method |
CN111199749A (zh) * | 2018-11-20 | 2020-05-26 | 松下电器(美国)知识产权公司 | 行为识别方法、装置,机器学习方法、装置以及记录介质 |
US10733875B2 (en) | 2016-06-17 | 2020-08-04 | Citizen Watch Co., Ltd. | Detection device, information input device, and watching system |
JP2021140756A (ja) * | 2021-01-13 | 2021-09-16 | 東京瓦斯株式会社 | 見守りの方法、システム、プログラム、記録媒体、機器、および住居 |
CN113947873A (zh) * | 2020-07-17 | 2022-01-18 | 青岛海尔洗衣机有限公司 | 定时提醒方法、装置及电子设备 |
WO2022054407A1 (ja) * | 2020-09-08 | 2022-03-17 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 行動推定装置、行動推定方法、及び、プログラム |
JP2022062661A (ja) * | 2021-01-13 | 2022-04-20 | 東京瓦斯株式会社 | 見守りの方法、システム、プログラム、記録媒体、機器、および住居 |
WO2023008260A1 (ja) * | 2021-07-29 | 2023-02-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 情報処理システム、情報処理方法、及び情報処理プログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003242569A (ja) * | 2002-02-14 | 2003-08-29 | Es Toshiba Engineering Kk | 安否確認装置 |
JP2004198831A (ja) * | 2002-12-19 | 2004-07-15 | Sony Corp | 音声認識装置および方法、プログラム、並びに記録媒体 |
JP2005077875A (ja) * | 2003-09-02 | 2005-03-24 | Tama Tlo Kk | 警報音源認識装置及び警報音源認識方法 |
JP2009260849A (ja) * | 2008-04-18 | 2009-11-05 | Panasonic Electric Works Co Ltd | 報知システム |
-
2010
- 2010-05-06 JP JP2010106323A patent/JP2011237865A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003242569A (ja) * | 2002-02-14 | 2003-08-29 | Es Toshiba Engineering Kk | 安否確認装置 |
JP2004198831A (ja) * | 2002-12-19 | 2004-07-15 | Sony Corp | 音声認識装置および方法、プログラム、並びに記録媒体 |
JP2005077875A (ja) * | 2003-09-02 | 2005-03-24 | Tama Tlo Kk | 警報音源認識装置及び警報音源認識方法 |
JP2009260849A (ja) * | 2008-04-18 | 2009-11-05 | Panasonic Electric Works Co Ltd | 報知システム |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9218540B2 (en) | 2012-09-18 | 2015-12-22 | Fuji Xerox Co., Ltd. | Apparatus and computer readable medium for signal classification using spectrogram and templates |
JP2014059483A (ja) * | 2012-09-18 | 2014-04-03 | Fuji Xerox Co Ltd | 分類装置及びプログラム |
JPWO2014132340A1 (ja) * | 2013-02-26 | 2017-02-02 | 株式会社日立製作所 | 見守りシステム |
WO2014132340A1 (ja) | 2013-02-26 | 2014-09-04 | 株式会社日立製作所 | 見守りシステム |
CN104956415A (zh) * | 2013-02-26 | 2015-09-30 | 株式会社日立制作所 | 监视系统 |
US9728060B2 (en) | 2013-02-26 | 2017-08-08 | Hitachi, Ltd. | Monitoring system |
JP2016126479A (ja) * | 2014-12-26 | 2016-07-11 | 富士通株式会社 | 特徴音抽出方法、特徴音抽出装置、コンピュータプログラム、配信システム |
GB2538043B (en) * | 2015-03-09 | 2017-12-13 | Buddi Ltd | Activity monitor |
US10438473B2 (en) | 2015-03-09 | 2019-10-08 | Buddi Limited | Activity monitor |
WO2016142672A3 (en) * | 2015-03-09 | 2016-11-17 | Buddi Limited | Activity monitor |
GB2538043A (en) * | 2015-03-09 | 2016-11-09 | Buddi Ltd | Activity monitor |
US10109298B2 (en) | 2015-11-30 | 2018-10-23 | Fujitsu Limited | Information processing apparatus, computer readable storage medium, and information processing method |
US10733875B2 (en) | 2016-06-17 | 2020-08-04 | Citizen Watch Co., Ltd. | Detection device, information input device, and watching system |
JP2017117492A (ja) * | 2017-03-13 | 2017-06-29 | 株式会社日立製作所 | 見守りシステム |
CN111199749A (zh) * | 2018-11-20 | 2020-05-26 | 松下电器(美国)知识产权公司 | 行为识别方法、装置,机器学习方法、装置以及记录介质 |
US11501209B2 (en) * | 2018-11-20 | 2022-11-15 | Panasonic Intellectual Property Corporation Of America | Behavior identification method, behavior identification device, non-transitory computer-readable recording medium recording therein behavior identification program, machine learning method, machine learning device, and non-transitory computer-readable recording medium recording therein machine learning program |
CN113947873A (zh) * | 2020-07-17 | 2022-01-18 | 青岛海尔洗衣机有限公司 | 定时提醒方法、装置及电子设备 |
CN113947873B (zh) * | 2020-07-17 | 2023-11-21 | 青岛海尔洗衣机有限公司 | 定时提醒方法、装置及电子设备 |
WO2022054407A1 (ja) * | 2020-09-08 | 2022-03-17 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 行動推定装置、行動推定方法、及び、プログラム |
JP2021140756A (ja) * | 2021-01-13 | 2021-09-16 | 東京瓦斯株式会社 | 見守りの方法、システム、プログラム、記録媒体、機器、および住居 |
JP2022062661A (ja) * | 2021-01-13 | 2022-04-20 | 東京瓦斯株式会社 | 見守りの方法、システム、プログラム、記録媒体、機器、および住居 |
WO2023008260A1 (ja) * | 2021-07-29 | 2023-02-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 情報処理システム、情報処理方法、及び情報処理プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2011237865A (ja) | 生活空間の見守りシステム | |
CN110268470A (zh) | 音频设备滤波器修改 | |
US8269625B2 (en) | Signal processing system and methods for reliably detecting audible alarms | |
US11941968B2 (en) | Systems and methods for identifying an acoustic source based on observed sound | |
DK2353153T3 (en) | SYSTEM FOR TRACKING PERSON'S PRESENCE IN A BUILDING, PROCEDURE AND COMPUTER PROGRAM PRODUCT | |
US10438473B2 (en) | Activity monitor | |
US20130100268A1 (en) | Emergency detection and response system and method | |
GB2466242A (en) | Identifying sounds and reducing false positive identification of sound | |
Schroeder et al. | Detection and classification of acoustic events for in-home care | |
CN102630324A (zh) | 通过至少一声传感器监控预先确定的限定区的设备和方法 | |
US11631394B2 (en) | System and method for determining occupancy | |
Hollosi et al. | Voice activity detection driven acoustic event classification for monitoring in smart homes | |
EP3193317A1 (en) | Activity classification from audio | |
JP6695057B2 (ja) | 認知機能評価装置、認知機能評価方法、およびプログラム | |
CN112700765A (zh) | 辅助技术 | |
JP2020524300A (ja) | 音声データに基づいてイベント指定を取得する方法およびデバイス | |
JP2014145932A (ja) | 話者認識装置、話者認識方法及び話者認識プログラム | |
US9697700B2 (en) | Ambient condition detector with processing of incoming audible commands followed by speech recognition | |
JP2019198695A (ja) | 通知システム、通知装置、通知方法、及びプログラム | |
GB2494511A (en) | Digital sound identification | |
JP2006230446A (ja) | 健康状態推定装置 | |
CA2792621A1 (en) | Emergency detection and response system and method | |
EP2769368A1 (en) | Emergency detection and response system and method | |
Sharma et al. | Smartphone audio based distress detection | |
Tanaka et al. | Footstep modeling and detection using locally stationary autoregressive model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130410 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131203 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140408 |