JP2018181122A - 電子機器及び異常検知プログラム - Google Patents

Abstract

【課題】視聴音の識別精度を向上させること。【解決手段】見守り端末１０は、複数のチャンネルごとに取得される放送音の信号における無音区間と、マイクから取得される信号における無音区間との類似度に基づいて、放送音が視聴音としてマイクに回り込むチャンネルを識別する視聴音識別部と、視聴音識別部により識別されたチャンネルの放送音に基づいて、マイクから取得される信号から視聴音を抑圧する抑圧部と、視聴音の抑圧後の前記マイクの信号から異常音を検知する異常検知部と、を有する。【選択図】図２

Description

本発明は、電子機器及び異常検知プログラムに関する。

ＩｏＴ（Internet of Things）を活用して居住者、例えば高齢者や要介護者を見守るソリューションが注目されている。例えば、居住者宅に設置された見守り端末のマイクから入力される信号から異常音、例えば「咳」などを検知することにより、居住者の異常を関係者に通知するリモートケアサービスが提供されることがある。

特開２０１６−１６３０７１号公報

ところで、マイクからの入力信号から異常音を検出する場合、テレビやラジオの視聴音が妨げとなる場合がある。この視聴音を抑圧するために、一例として、放送音の信号とマイクからの入力信号との相関から入力信号に含まれる視聴音がいずれのチャンネルであるかを識別する技術を援用することが考えられる。

しかしながら、放送音の信号とマイクからの入力信号との間で単純に相関をとるだけでは、視聴音の識別精度に自ずから限界がある。

１つの側面では、本発明は、視聴音の識別精度を向上させることができる電子機器及び異常検知プログラムを提供することを目的とする。

一態様では、電子機器は、複数のチャンネルごとに取得される放送音の信号における無音区間と、マイクから取得される信号における無音区間との類似度に基づいて、前記放送音が視聴音として前記マイクに回り込むチャンネルを識別する視聴音識別部と、前記視聴音識別部により識別されたチャンネルの放送音に基づいて、前記マイクから取得される信号から前記視聴音を抑圧する抑圧部と、前記視聴音の抑圧後の前記マイクの信号から異常音を検知する異常検知部と、を有する。

視聴音の識別精度を向上させることができる。

図１は、実施例１に係るリモートケアシステムの構成例を示す図である。 図２は、実施例１に係る見守り端末の機能的構成の一例を示すブロック図である。 図３は、異常検知処理の手順を示すフローチャートである。 図４は、放送受信処理の手順を示すフローチャートである。 図５は、視聴音識別処理の手順を示すフローチャートである。 図６は、類似度算出処理の手順を示すフローチャートである。 図７は、無音パターン算出処理の手順を示すフローチャートである。 図８は、抑圧制御処理の手順を示すフローチャートである。 図９は、第１の抑圧処理の手順を示すフローチャートである。 図１０は、回り込み音の遅延量の一例を示す図である。 図１１は、回り込み音の遅延算出処理の手順を示すフローチャートである。 図１２は、特定パターンの一例を示す図である。 図１３は、視聴音の到来方向と視聴音の音源から各マイクまでの距離差との関係を示す図である。 図１４は、実施例１及び実施例２に係る異常検知プログラムを実行するコンピュータのハードウェア構成例を示す図である。

以下に添付図面を参照して本願に係る電子機器及び異常検知プログラムについて説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

［システム構成］
図１は、実施例１に係るリモートケアシステムの構成例を示す図である。図１に示すリモートケアシステム１は、居住者宅３に設置された見守り端末１０のマイクから入力される信号から居住者３Ａの異常音を検知する異常検知処理を通じて、居住者３Ａの異常の有無を関係者端末３０に通知するリモートケアサービスを実現するものである。

このように居住者３Ａの異常音を検知する場合、放送受信装置２０から出力されるテレビやラジオなどの放送音が視聴音としてマイクの入力信号で観測されることにより、異常音の検知の妨げとなる。

このことから、リモートケアサービスの一環として、リモートケアシステム１は、マイクの入力信号に含まれる視聴音を抑圧するために、放送音固有の特徴を用いる視聴音識別処理を実現する。すなわち、テレビやラジオ等の放送では、本編及びコマーシャルの切り替り時、あるいは番組間の切り替り時に無音が挿入される。このような放送音固有の特徴を用いて、放送音の信号とマイクの信号との比較時に両者の無音パターンが一致するか否かにより、マイクの信号に含まれる視聴音のチャンネルを識別して視聴音を抑圧する。これにより、テレビやラジオ等の視聴音にロバストな異常音の検知を実現できる。

図１に示すように、リモートケアシステム１には、見守り端末１０と、関係者端末３０とが含まれる。図１には、見守り端末１０および関係者端末３０を１つずつ例示したが、任意の数の見守り端末１０および関係者端末３０がリモートケアシステム１に収容されることとしてもかまわない。

これら見守り端末１０及び関係者端末３０の間は、ネットワークＮＷを介して接続される。このネットワークＮＷは、有線または無線を問わず、任意の通信網により構築することができる。さらに、ネットワークＮＷの一部には、有線または無線の通信網が混在してもよい。例えば、関係者端末３０が無線通信装置として実装される場合、ネットワークＮＷには、無線通信装置を収容するセルに対応する最寄りの基地局やアクセスポイント等の中継装置が含まれる。

見守り端末１０は、居住者３Ａ、例えば高齢者や要介護者を見守るソリューションを実現する端末装置である。ここで言う「居住者」には、あくまで一例として、高齢者や要介護者などが含まれる。なお、見守り端末１０は、電子機器の一例である。

一実施形態として、見守り端末１０は、居住者宅３に設置される。例えば、見守り端末１０は、音を電気信号に変換するマイクロフォン、いわゆるマイクを有する。以下では、マクロフォンのことをその略称である「マイク」と記載する。このマイクを用いて、見守り端末１０は、マイクから入力される信号から居住者３Ａの異常音、例えば「咳」などを検知する。例えば、見守り端末１０は、異常音が検知された場合、予め登録された連絡先に指定された関係者端末３０に居住者３Ａの異常を通知することができる。このように居住者３Ａの異常を通知する場合、異常音が検知されたからといって直ちに通知を行わずともよく、異常音の検知結果に任意の統計処理を行って統計値が条件を満たす場合に始めて異常を通知することとしてもかまわない。例えば、異常音の検知頻度、例えば１分間あたりの咳の回数が所定の閾値、例えば１０回以上となる場合に居住者３Ａの異常を通知したり、異常音が累積して検知された回数が所定の閾値、例えば３０回以上となる場合に居住者３Ａの異常を通知したりすることができる。

関係者端末３０は、居住者３Ａの関係者により使用される端末装置である。ここで言う「関係者」には、あくまで例示として、居住者の家族や親戚の他、上記のリモートケアサービスの運用に携わるコールセンタの担当者やコールセンタに駐在する医療従事者などが含まれてもかまわない。

一実施形態として、関係者端末３０には、スマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）などの移動体通信端末のみならず、タブレット端末やスレート端末などを採用することができる。このようにハンドヘルド型の携帯端末装置に限定されず、関係者端末３０には、ヘッドマウントディスプレイ、スマートグラスやスマートウォッチなどのウェアラブルデバイスの他、あらゆるＩｏＴデバイスを採用することができる。なお、ここでは、あくまで携帯端末装置の例を挙げたが、関係者端末３０は、据置き型の情報処理装置、例えばパーソナルコンピュータ等であってもかまわない。

［見守り端末１０の機能的構成］
図２は、実施例１に係る見守り端末１０の機能的構成の一例を示すブロック図である。図２に示すように、見守り端末１０は、第１のマイク１１Ａと、第２のマイク１１Ｂと、放送受信部１２と、視聴音識別部１３と、選択部１４と、第１の抑圧部１５Ａと、第２の抑圧部１５Ｂと、異常検知部１６とを有する。

図２に示す視聴音識別部１３、選択部１４、第１の抑圧部１５Ａ、第２の抑圧部１５Ｂ及び異常検知部１６などの機能部は、ＭＰＵ（Micro Processing Unit）やＣＰＵ（Central Processing Unit）などのハードウェアプロセッサにより仮想的に実現される。すなわち、プロセッサがＲＡＭ（Random Access Memory）等のメモリ上に上記の音声検出処理を実行する異常検知プログラムをプロセスとして展開することにより、上記の機能部が仮想的に実現される。ここでは、プロセッサの一例として、ＣＰＵやＭＰＵを例示したが、汎用型および特化型を問わず、任意のプロセッサにより上記の機能部が実現されることとしてもかまわない。この他、上記の機能部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによって実現されることとしてもかまわない。

また、図２に示す機能部は、あくまで例示であり、見守り端末１０の機能的構成が図２に示す例以外の機能的構成を有することを妨げない。すなわち、見守り端末１０は、上記の機能部以外の他の機能部を有することとしてもかまわない。例えば、見守り端末１０は、図２では図示が省略されているが、ネットワークＮＷに接続する通信インタフェースなどを有することができる。この他、上記のリモートケアサービスでは、異常検知のみならず、人の動きや温湿度などを複合して安否の確認を行うこともできるので、人感センサや温湿度センサなどをさらに有することもできる。また、上記のリモートケアサービスでは、コールセンタとの間で通話を行う通話機能をさらに有することもできる。

また、図２に示す機能部に対する信号やデータの入出力の関係を表す実線が例示されているが、これはデータの入出力の関係は、少なくとも一方から他方へデータが伝送されることが示されており、必ずしも双方向にデータの授受が行われずともかまわない。

第１のマイク１１Ａ及び第２のマイク１１Ｂは、いずれも音声を電気信号に変換する装置である。第１のマイク１１Ａ及び第２のマイク１１Ｂは、マイクアレイとして実装される。第１のマイク１１Ａ及び第２のマイク１１Ｂは、放送音等の音波が到来する方向を識別するために、所定の距離ｄを隔てて配置される。以下では、第１のマイク１１Ａから入力される信号のことを「第１マイク信号」と記載すると共に、第２のマイク１１Ｂから入力される信号のことを「第２マイク信号」と記載する場合がある。

放送受信部１２は、テレビやラジオなどの放送波を受信する処理部である。例えば、放送受信部１２は、アンテナを介して受信される放送波から放送音の信号を復調するチューナー等により実装することができる。この放送受信部１２が受信する放送音のチャンネルは、視聴音識別部１３により指示される。

視聴音識別部１３は、第１マイク信号に含まれる視聴音のチャンネルを識別する処理部である。この視聴音の識別の詳細は後述するが、放送音の信号と第１マイク信号との間でテレビやラジオ等の放送における本編及びコマーシャルの切り替り時または番組間の切り替り時に現れる無音パターンが一致するか否かにより、第１マイク信号に含まれる視聴音のチャンネルが識別される。ここでは、あくまで一例として、第１マイク信号に含まれる視聴音のチャンネルを識別する場合を例示するが、第２マイク信号に含まれる視聴音のチャンネルを識別することとしてもかまわない。

選択部１４は、第１の抑圧部１５Ａ及び第２の抑圧部１５Ｂのうちいずれの処理部に視聴音の抑圧を実行させるかを選択する処理部である。例えば、選択部１４は、視聴音識別部１３により視聴音のチャンネルが識別できるか否かにより、第１の抑圧部１５Ａまたは第２の抑圧部１５Ｂを選択する。

第１の抑圧部１５Ａ及び第２の抑圧部１５Ｂは、いずれも第１マイク信号に含まれる視聴音を抑圧する処理部である。このうち、第１の抑圧部１５Ａは、第１のマイク１１Ａに対する視聴音の伝達特性に基づいて放送受信装置２０により出力された放送音が第１のマイク１１Ａへ回り込んだ視聴音、いわゆる回り込み音を抑圧する。また、第２の抑圧部１５Ｂは、第１マイク信号及び第２マイク信号を用いて視聴音の到来方向の成分を抑圧する。

異常検知部１６は、視聴音の抑圧後の第１マイク信号から異常音を検知する処理部である。例えば、異常検知部１６は、視聴音の抑圧後の第１マイク信号から咳の特徴量を算出する。続いて、異常検知部１６は、咳の特徴量が所定の閾値よりも大きいか否かを判定する。このとき、咳の特徴量が所定の閾値よりも大きい場合、第１マイク信号に咳の音が含まれると判断される。この場合、異常検知部１６は、居住者３Ａの異常を関係者端末３０へ通知することができる。

［異常検知処理］
図３は、異常検知処理の手順を示すフローチャートである。この処理は、一例として、第１のマイク１１Ａ及び第２のマイク１１Ｂから第１マイク信号及び第２マイク信号が入力された場合に開始される。

図３に示すように、第１のマイク１１Ａから第１マイク信号が入力されると共に、第２のマイク１１Ｂから第２マイク信号が入力される（ステップＳ１０１）。すると、見守り端末１０は、ステップＳ１０１で入力された第１マイク信号に含まれる視聴音を抑圧する（ステップＳ１０２）。

その後、異常検知部１６は、ステップＳ１０２で視聴音が抑圧された第１マイク信号を分析することにより咳の特徴量を算出する（ステップＳ１０３）。このとき、咳の特徴量が所定の閾値よりも大きい場合、すなわち咳の特徴量＞閾値である場合（ステップＳ１０４Ｙｅｓ）、居住者３Ａの異常を関係者端末３０へ通知する（ステップＳ１０５）。なお、咳の特徴量が所定の閾値未満である場合、すなわち咳の特徴量≦閾値である場合（ステップＳ１０４Ｎｏ）、ステップＳ１０５はスキップされる。

その後、第１マイク信号および第２マイク信号の入力が終了するまで（ステップＳ１０６Ｎｏ）、上記のステップＳ１０１からステップＳ１０５までの処理を繰り返し実行する。なお、第１マイク信号および第２マイク信号の入力が終了すると（ステップＳ１０６Ｙｅｓ）、処理を終了する。

［放送受信処理］
図４は、放送受信処理の手順を示すフローチャートである。この処理は、放送受信部１２により実行される処理である。図４に示すように、図示しないアンテナを介して放送波を受信すると（ステップＳ２０１）、放送受信部１２は、ステップＳ２０１で受信された放送波を視聴音識別部１３に指示されたチャンネルの放送音の信号へ変換する（ステップＳ２０２）。

そして、放送受信部１２は、ステップＳ２０２で変換された放送音の信号を視聴音識別部１３へ出力する（ステップＳ２０３）。その後、視聴音識別部１３からチャンネルの切り替え指示を受け付けた場合（ステップＳ２０４Ｙｅｓ）、放送受信部１２は、放送波から復調する放送音のチャンネルを切替え（ステップＳ２０５）、ステップＳ２０１の処理へ移行する。

なお、視聴音識別部１３からチャンネルの切り替え指示を受け付けていない場合（ステップＳ２０４Ｎｏ）、ステップＳ２０５の処理をスキップし、ステップＳ２０１の処理へ移行する。

［視聴音識別処理］
図５は、視聴音識別処理の手順を示すフローチャートである。この処理は、視聴音識別部１３により実行される処理である。図５に示すように、第１のマイク１１Ａから入力される第１マイク信号が取得されるのと並行して、放送受信部１２により出力される放送音の信号が取得される（ステップＳ３０１及びステップＳ３０２）。このように取得される信号の時間長は、フレーム単位であってもかまわないが、視聴音のチャンネルを識別できる程度の時間長、例えば３秒間などのサブフレーム単位とすることができる。なお、ステップＳ３０１及びステップＳ３０２の処理は、並行して実行することもできれば、順不同で実行することもできる。

続いて、視聴音識別部１３は、ステップＳ３０１で取得された第１マイク信号と、ステップＳ３０２で取得された放送音の信号との間で類似度を算出する「類似度算出処理」を実行する（ステップＳ３０３）。

ここで、ステップＳ３０３で算出された類似度が所定の閾値以上である場合（ステップＳ３０４Ｙｅｓ）、ステップＳ３０２で取得された放送音が第１マイク信号に含まれる可能性が高いと推定できる。この場合、視聴音識別部１３は、ステップＳ３０２で取得された放送音のチャンネルを視聴音のチャンネルの識別結果として選択部１４へ出力し（ステップＳ３０５）、処理を終了する。

一方、ステップＳ３０３で算出された類似度が所定の閾値以上でない場合（ステップＳ３０４Ｎｏ）、ステップＳ３０２で取得された放送音が視聴音として第１マイク信号で観測されないと判断できる。この場合、視聴音識別部１３は、全てのチャンネルで類似度が算出されたか否かを判定する（ステップＳ３０６）。

そして、全てのチャンネルで類似度が算出されていない場合（ステップＳ３０６Ｎｏ）、放送受信部１２により放送音が受信されるチャンネルを類似度が未算出であるチャンネルに切り替えるように放送受信部１２へ指示し（ステップＳ３０７）、ステップＳ３０１の処理へ移行する。

一方、全てのチャンネルで類似度が算出された場合（ステップＳ３０６Ｙｅｓ）、全ての放送音が視聴音として第１マイク信号で観測されないと判断できる。この場合、視聴音識別部１３は、視聴音のチャンネルの識別結果として「該当チャンネルなし」を選択部１４へ出力し（ステップＳ３０８）、処理を終了する。

［類似度算出処理］
図６は、類似度算出処理の手順を示すフローチャートである。この処理は、図５に示すステップＳ３０３の処理に対応する。図６に示すように、視聴音識別部１３は、第１マイク信号のサブフレームから無音パターンを算出する「第１の無音パターン算出処理」を実行するのと並行して、放送音の信号のサブフレームから無音パターンを算出する「第２の無音パターン算出処理」を実行する（ステップＳ４０１及びステップＳ４０２）。ここで言う「無音パターン」とは、第１マイク信号または放送音の信号で観測される無音区間のパターンを指す。なお、ステップＳ４０１及びステップＳ４０２の処理は、並行して実行することもできれば、順不同で実行することもできる。

［類似度算出処理のサブフロー］
ここで、図７を用いて、無音パターン算出処理の詳細について説明する。図７は、無音パターン算出処理の手順を示すフローチャートである。この処理は、図６に示すステップＳ４０１及びステップＳ４０２の処理に対応する。なお、無音パターンを算出する手順は、第１マイク信号または放送音の信号のいずれの無音パターンを算出する場合でも同一であるので、ここでは、あくまで一側面として、第１マイク信号の無音パターンが算出される例を示すこととする。

図７に示すように、視聴音識別部１３は、第１マイク信号のサブフレームに含まれるフレームを取得する（ステップＳ５０１）。続いて、視聴音識別部１３は、ステップＳ５０１で取得されたフレームのパワーを算出する（ステップＳ５０２）。

このフレームパワーは、一例として、下記の式（１）にしたがって算出することができる。下記の式（１）における「ａ_ｎ」は、フレームに含まれる信号値のうちｎ番目の信号値を指す。また、下記の式（１）における「Ｎ」は、フレームを構成する信号値の総数を指す。

そして、視聴音識別部１３は、ステップＳ５０２で算出されたフレームパワーが所定の閾値よりも大きいか否かを判定する（ステップＳ５０３）。このとき、フレームパワーが閾値よりも大きい場合（ステップＳ５０３Ｙｅｓ）、視聴音識別部１３は、ステップＳ５０１で取得されたフレームのパワーに「１」を設定する（ステップＳ５０４）。一方、フレームパワーが閾値未満である場合（ステップＳ５０３Ｎｏ）、視聴音識別部１３は、ステップＳ５０１で取得されたフレームのパワーに「０」を設定する（ステップＳ５０５）。

その後、第１マイク信号のサブフレームに含まれる全てのフレームが取得されるまで（ステップＳ５０６Ｎｏ）、上記のステップＳ５０１から上記のステップＳ５０５までの処理を繰り返し実行する。そして、第１マイク信号のサブフレームに含まれる全てのフレームが取得された場合（ステップＳ５０６Ｙｅｓ）、視聴音識別部１３は、第１マイク信号のサブフレームに含まれるフレームごとに当該フレームのパワーが「１」または「０」に２値化された無音パターン信号を算出し（ステップＳ５０７）、処理を終了する。

なお、ここでは、あくまで一側面として、第１マイク信号から無音パターン信号を算出する場合を例示したが、放送音の信号から無音パターン信号を算出する場合も同様の処理が実行される。以下では、両者を区別する観点から、第１マイク信号から算出された無音パターン信号のことを「マイク入力の無音パターン信号」と記載する一方で、放送音の信号から算出された無音パターン信号のことを「放送音の無音パターン信号」と記載する場合がある。

［類似度算出処理のメインフローへの復帰］
図６のステップＳ４０２の処理が実行された後の説明に戻り、視聴音識別部１３は、ステップＳ４０１で算出されたマイク入力の無音パターン信号と、ステップＳ４０２で算出された放送音の無音パターン信号との間で相関係数を算出する（ステップＳ４０３）。

すなわち、放送音の無音パターン信号に対し、マイク入力の無音パターン信号をフレーム単位でスライドさせながら、放送音の無音パターン信号に対するマイク入力の無音パターン信号のスライド幅ごとに２つの無音パターン信号の相関係数を算出する。

この相関係数は、一例として、下記の式（２）にしたがって算出することができる。下記の式（２）における「corr(j)」は、マイク入力の無音パターン信号と放送音の無音パターン信号の相関係数を指し、さらに、当該相関係数は、放送音の無音パターン信号に対し、ｊサンプル分に対応するフレーム数にわたってマイク入力の無音パターン信号がスライドされた場合の相関係数を表す。また、下記の式（２）における「m_i+j」は、マイク入力の無音パターン信号のｉ＋ｊ番目のサンプルを指す。また、また、下記の式（２）における「b_i」は、放送音の無音パターン信号のｉ番目のサンプルを指す。

その上で、視聴音識別部１３は、ステップＳ４０３で放送音の無音パターン信号に対するマイク入力の無音パターン信号のスライド幅ごとに算出された相関係数のうち最大値となる相関係数max(corr(j))を抽出する（ステップＳ４０４）。このようにステップＳ４０４で抽出された最大値の相関係数max(corr(j))を類似度として導出し（ステップＳ４０５）、処理を終了する。

なお、図５〜図７に示す処理では、マイク入力の無音パターン信号および放送音の無音パターン信号の間でスライド幅ごとに算出される相関係数のうち最大の相関係数を類似度として算出し、この類似度が所定の閾値以上であるか否かにより、放送音が視聴音として第１マイク信号で観測されるか否かを判定する場合を例示したが、マイク入力の無音パターン信号および放送音の無音パターン信号の比較方法はこれに限定されない。

例えば、マイク入力の無音パターン信号および放送音の無音パターン信号の間で無音区間を形成するフレーム数を比較することもできる。すなわち、マイク入力の無音パターン信号の無音区間のうちフレーム数が最大である第１の最大無音区間のフレーム数と、放送音の無音パターン信号の無音区間のうちフレーム数が最大である第２の最大無音区間のフレーム数とが同数であるか否かを判定する。これら両者が同数である場合、放送音が視聴音として第１マイク信号で観測されると判断することができる。さらに、加重要件を設定することもできる。例えば、第１の最大無音区間のフレーム数および第２の最大無音区間のフレーム数が同数である場合、第１の最大無音区間に先行する所定のフレーム数における２値の配列パターンおよび第１の最大無音区間に後続する所定のフレーム数における２値の配列パターンと、第２の最大無音区間に先行する所定のフレーム数における２値の配列パターンおよび第２の最大無音区間に後続する所定のフレーム数における２値の配列パターンとが一致する場合に始めて放送音が視聴音として第１マイク信号で観測されると判断することもできる。

［抑圧制御処理］
図８は、抑圧制御処理の手順を示すフローチャートである。この処理は、選択部１４、第１の抑圧部１５Ａ及び第２の抑圧部１５Ｂにより実行される処理である。図８に示すように、視聴音識別部１３により視聴音のチャンネルが識別できた場合（ステップＳ６０１Ｙｅｓ）、選択部１４は、第１の抑圧部１５Ａおよび第２の抑圧部１５Ｂのうち第１の抑圧部１５Ａを選択する。

このように第１の抑圧部１５Ａが選択された場合、第１のマイク１１Ａに対する視聴音の伝達特性に基づいて放送受信装置２０により出力された放送音が第１のマイク１１Ａへ回り込んだ視聴音、いわゆる回り込み音を抑圧する「第１の抑圧処理」が実行される（ステップＳ６０２）。

［抑圧制御処理のサブフロー］
ここで、上記の第１の抑圧処理の詳細について説明する。図９は、第１の抑圧処理の手順を示すフローチャートである。この処理は、図８に示すステップＳ６０２の処理に対応する。図９に示すように、第１の抑圧部１５Ａは、第１マイク信号のサブフレームおよび放送音の信号のサブフレームを取得する（ステップＳ７０１）。

続いて、第１の抑圧部１５Ａは、放送受信部１２が受信する放送音を放送受信装置２０が出力する放送音のリファレンスとし、放送音が出力されるタイミングに対する回り込み音の遅延を算出する「回り込み音の遅延算出処理」を実行する（ステップＳ７０２）。

図１０は、回り込み音の遅延量の一例を示す図である。図１０の上段には、放送受信部１２により受信される放送音の信号のサブフレームに含まれるフレームパワーの時間波形が示されている。これから判別できる通り、放送における本編及びコマーシャルの切り替り時または番組間の切り替り時に挿入される無音が放送音の信号のサブフレームに含まれる場合、切り替り前および切り替り後には、放送音が観測される一方で、切り替り中には、放送音が観測されず、フレームパワーがゼロである無音区間が継続する。

一方で、図１０の下段には、第１マイク信号のサブフレームに含まれるフレームパワーの時間波形が示されている。これから判別できる通り、放送における本編及びコマーシャルの切り替り時または番組間の切り替り時に挿入される無音が第１マイク信号のサブフレームに含まれる場合であっても、切り替り前および切り替り後と比較すればフレームパワーが小さいものの、切り替り中にもマイク音が観測される。これは、一側面として、放送受信装置２０から出力された放送音の反射音などが遅延して第１のマイク１１Ａに到来することなどに起因する。

さらに、図１０の上段に示すフレームパワーの時間波形と、図１０の下段に示すフレームパワーの時間波形とを比較すると、放送音に比べて第１のマイク１１Ａへの回り込み音が遅延することもわかる。これは、一側面として、放送受信装置２０が放送音を出力してから放送音やその反射音が第１のマイク１１Ａに回り込むまでに時間差が生じることに起因する。このような放送音に対する回り込み音の遅延量がステップＳ７０２で算出される。

［第１の抑圧処理のサブフロー］
この回り込み音の遅延算出の詳細について説明する。図１１は、回り込み音の遅延算出処理の手順を示すフローチャートである。この処理は、図９に示すステップ７０２の処理に対応する。

図１１に示すように、第１の抑圧部１５Ａは、第１マイク信号のサブフレームから無音パターンを算出するのと並行して、放送音の信号のサブフレームから無音パターンを算出する（ステップＳ８０１及びステップＳ８０２）。これらの無音パターンは、一例として、図７に示すフローチャートと同様の手順にしたがって算出することができる。なお、ステップＳ８０１及びステップＳ８０２の処理は、並行して実行することもできれば、順不同で実行することもできる。

続いて、第１の抑圧部１５Ａは、ステップＳ８０２で算出された放送音の無音パターン信号が特定パターンと一致するか否かを判定する（ステップＳ８０３）。図１２は、特定パターンの一例を示す図である。図１２に示す格子は、フレームを指し、さらに、格子の中に記載された数字は、フレームパワーの閾値判定により付与された２値、すなわち「１」または「０」のいずれかを指す。図１２に示す特定パターンは、放送音の無音パターン信号との間でフレームごとに当該フレームに付与された値が照合される。そして、放送音の無音パターン信号および特定パターンの間で全てのフレームの値が同一である場合、放送音の無音パターン信号が特定パターンと一致すると判定される。

ここで、放送音の無音パターン信号が特定パターンと一致する場合（ステップＳ８０３Ｙｅｓ）、放送音のサブフレームには、放送における本編及びコマーシャルの切り替り、あるいは番組間の切り替りに対応する場面が含まれていると判断できる。

この場合、第１の抑圧部１５Ａは、放送音の信号に関するフレームパワーの時間波形および第１マイク信号に関するフレームパワーの時間波形の相関を取ることにより、回り込み音の遅延フレーム数を算出する（ステップＳ８０４）。なお、放送音の無音パターン信号が特定パターンと一致しない場合（ステップＳ８０３Ｎｏ）、ステップＳ８０４はスキップされる。

例えば、第１の抑圧部１５Ａは、放送音の信号に関するフレームパワーの時間波形に対し、第１マイク信号に関するフレームパワーの時間波形をフレーム単位でスライドさせながら、放送音の信号に関するフレームパワーの時間波形に対する第１マイク信号に関するフレームパワーの時間波形のスライド幅ごとに２つの時間波形の相関係数を算出する。このような相関係数は、上記の式（２）にしたがって算出することができる。

この場合、上記の式（２）における「corr(j)」は、第１マイク信号に関するフレームパワーの時間波形と放送音の信号に関するフレームパワーの時間波形の相関係数を指し、さらに、当該相関係数は、放送音の信号に関するフレームパワーの時間波形に対し、ｊサンプル分に対応するフレーム数にわたって第１マイク信号に関するフレームパワーの時間波形がスライドされた場合の相関係数に対応する。また、上記の式（２）における「m_i+j」は、第１マイク信号のフレームパワーのうちｉ＋ｊ番目のサンプルのフレームパワーに対応する。また、上記の式（２）における「b_i」は、放送音の信号のフレームパワーのうちｉ番目のサンプルのフレームパワーに対応する。

その上で、第１の抑圧部１５Ａは、最大値の相関係数max(corr(j))が観測されるスライド幅ｊを抽出する。このように抽出されたスライド幅ｊが回り込み音の遅延フレーム数Ｍとして算出される。

［第１の抑圧処理のメインフローへの復帰］
図９のステップＳ７０３の説明に戻り、第１の抑圧部１５Ａは、第１のマイク１１Ａに対する視聴音の伝達特性を更新する（ステップＳ７０３）。

例えば、第１の抑圧部１５Ａは、現フレーム、すなわち最新のフレームから遅延フレーム数Ｍを遡ったＭフレーム前の放送音のフレームパワーを周波数領域へ変換する。この周波数領域への変換には、あくまで一例として、フーリエ変換や高速フーリエ変換などを適用することができる。このような周波数領域への変換を通じて、Ｍフレーム前の放送音のスペクトルが得られる。これと並行して、第１の抑圧部１５Ａは、最新のフレームのマイク入力音のフレームパワーを周波数領域へ変換する。これにより、現フレームのマイク入力音のスペクトルが得られる。

これらＭフレーム前の放送音のスペクトル及び現フレームのマイク入力のスペクトルに基づいて、第１の抑圧部１５Ａは、回り込み音の伝達特性を更新する。例えば、下記の式（３）にしたがって現フレームにおける伝達特性の実部を算出すると共に、下記の式（４）にしたがって現フレームにおける伝達特性の虚部を算出する。

Hcur＿im(t,k)=(Mre(t,k)Sre(t,k)+Mim(t,k)Sim(t,k))／(Sre(t,k)²+Sim(t,k)²)・・・（３）
Hcur＿re(t,k)=(Mim(t,k)Sre(t,k)-Mre(t,k)Sim(t,k))／(Sre(t,k)²+Sim(t,k)²)・・・（４）

ここで、上記の式（３）及び上記の式（４）における「Sre(t,k)」は、Ｍフレーム前の放送音のスペクトルの実部を指し、また、「Sim(t,k)」は、Ｍフレーム前の放送音のスペクトルの虚部を指す。また、上記の式（３）及び上記の式（４）における「Mre(t,k)」は、現フレームにおけるマイク入力音のスペクトルの実部を指し、また、「Mim(t,k)」は、現フレームにおけるマイク入力音のスペクトルの虚部を指す。また、「ｋ」は、周波数のインデックスを指す。

これら式（３）及び（４）により算出された現フレームにおける伝達特性の実部及び虚部を下記の式（５）及び下記の式（６）へさらに代入することにより、第１の抑圧部１５Ａは、第１のマイク１１Ａに対する視聴音の伝達特性を更新する。なお、下記の式（５）における「H＿re(t,k)」は、第１のマイク１１Ａに対する視聴音の伝達特性の実部の更新結果を指し、また、下記の式（６）における「H＿im(t,k)」は、第１のマイク１１Ａに対する視聴音の伝達特性の虚部の更新結果を指す。また、下記の式（５）における「H＿re(t-1,k)」は、１フレーム前の伝達特性の実部の更新結果を指し、また、下記の式（６）における「H＿im(t-1,k)」は、１フレーム前の伝達特性の虚部の更新結果を指す。また、下記の式（５）及び下記の式（６）における「α」は、伝達特性の更新係数を指し、例えば、０．９９が用いられる。

H＿re(t,k)=(1-α）Hcur＿re(t,k)+αH＿re(t-1,k)・・・（５）
H＿im(t,k)=(1-α）Hcur＿im(t,k)+αH＿im(t-1,k)・・・（６）

このように伝達特性が更新された後、第１の抑圧部１５Ａは、更新後の伝達特性にしたがってＭフレーム前の放送音のスペクトルから第１のマイク１１Ａへの回り込み音を推定する（ステップＳ７０４）。例えば、第１の抑圧部１５Ａは、下記の式（７）及び下記の式（８）にしたがって回り込み音のスペクトルの実部および虚部を推定できる。なお、下記の式（７）における「D＿re(t,k)」は、回り込み音のスペクトルの実部を指す。また、下記の式（８）における「D＿im(t,k)」は、回り込み音のスペクトルの虚部を指す。

D＿re(t,k)=S＿re(t,k)H＿re(t,k)-S＿im(t,k)H＿im(t,k)・・・（７）
D＿im(t,k)=S＿im(t,k)H＿re(t,k)+S＿re(t,k)H＿im(t,k)・・・（８）

その後、第１の抑圧部１５Ａは、一例として、回り込み音のスペクトルから定まる抑圧係数を現フレームにおけるマイク入力音のスペクトルに乗じることにより、第１マイク信号に含まれる回り込み音を抑圧し（ステップＳ７０５）、抑圧後の第１マイク信号を異常検知部１６へ出力し（ステップＳ７０６）、処理を終了する。

例えば、第１の抑圧部１５Ａは、下記の式（９）にしたがって抑圧係数を算出する。下記の式（９）における「Sup(t,k)」は、現フレームおよびｋ番目のインデックスの周波数の抑圧係数を指し、例えば、０から１までの値が導出される。

Sup(t,k)=(D＿re(t,k)*D＿re(t,k)+D＿im(t,k)*D＿im(t,k))
／(M＿re(t,k)*M＿re(t,k)+M＿im(t,k)*M＿im(t,k))・・・（９）

そして、第１の抑圧部１５Ａは、下記の式（１０）及び下記の式（１１）にしたがって抑圧係数により回り込み音が抑圧されたマイク入力音のスペクトルの実部および虚部を算出する。下記の式（１０）における「Ore(t,k)」は、回り込み音が抑圧されたマイク入力音のスペクトルの実部を指す。また、下記の式（１１）における「Oim(t,k)」は、回り込み音が抑圧されたマイク入力音のスペクトルの虚部を指す。

Ore(t,k)=Sup(t,k)*M＿re(t,k)・・・（１０）
Oim(t,k)=Sup(t,k)*M＿im(t,k)・・・（１１）

その上で、第１の抑圧部１５Ａは、回り込み音が抑圧されたマイク入力音のスペクトルを時間領域へ変換する。この時間領域への変換には、あくまで一例として、逆フーリエ変換や逆高速フーリエ変換などを適用できる。このような時間領域への変換を通じて、回り込み音の抑圧後の第１マイク信号の時間波形を得ることができる。

［抑圧制御処理のメインフローへの復帰］
図８のステップＳ６０１の分岐の説明に戻り、視聴音識別部１３により視聴音のチャンネルが識別できなかった場合（ステップＳ６０１Ｎｏ）、選択部１４は、第１マイク信号のサブフレームのパワーを算出する（ステップＳ６０３）。このサブフレームのパワーを算出する場合にも、上記の式（１）にしたがってサブフレームのパワーを算出することができる。この場合、上記の式（１）においてフレームと記載の部分をサブフレームに置き換えることにより、サブフレームのパワーを算出できる。

そして、第１マイク信号のサブフレームのパワーが所定の閾値未満である場合（ステップＳ６０４Ｎｏ）、録画などのように、リアルタイムで放送中の番組以外が視聴されている可能性が低いと判断できる。この場合、選択部１４は、第１の抑圧部１５Ａおよび第２の抑圧部１５Ｂのいずれも選択しない。よって、第１マイク信号には、視聴音の抑圧が実施されず、第１マイク信号がそのまま異常検知部１６へ出力される（ステップＳ６０５）。

一方、第１マイク信号のサブフレームのパワーが所定の閾値以上である場合（ステップＳ６０４Ｙｅｓ）、録画などのように、リアルタイムで放送中の番組以外が視聴されている可能性が高いと判断できる。この場合、選択部１４は、第１の抑圧部１５Ａおよび第２の抑圧部１５Ｂのうち第２の抑圧部１５Ｂを選択する。

このように第２の抑圧部１５Ｂが選択された場合、第２の抑圧部１５Ｂは、第１のマイク１１Ａ及び第２のマイク１１Ｂに視聴音が到来する時間差、いわゆる位相差に基づいて、視聴音の到来方向を算出する（ステップＳ６０６）。

ここで、第１のマイク１１Ａ及び第２のマイク１１Ｂに視聴音が到来する時間差ｔは、第１マイク信号および第２マイク信号の相関を取ることにより、最大値の相関係数が算出されるスライド幅を時間差ｔとして算出することができる。

図１３は、視聴音の到来方向と視聴音の音源から各マイクまでの距離差との関係を示す図である。図１３に示すように、第１のマイク１１Ａ及び第２のマイク１１Ｂを結ぶ直線と直交する方向を０度として視聴音の到来方向θを表すとき、視聴音の音源から第１マイク信号までの距離と、視聴音の音源から第１マイク信号までの距離との距離差は、ｄ×ｓｉｎθで表すことができる。このため、視聴音の到来方向θは、下記の式（１２）により導出することができる。

θ＝ｓｉｎ^−１（ｔｃ／ｄ）・・・（１２）

その後、第２の抑圧部１５Ｂは、第１マイク信号に対し、第２マイク信号を時間差ｔにわたって進める方向でスライドさせた上で、第１マイク信号から時間差ｔの分進める方向にスライドさせた第２マイク信号を減算することにより、第１マイク信号に含まれる視聴音を抑圧する第２の抑圧処理を実行し（ステップＳ６０７）、処理を終了する。

なお、ここでは、第１マイク信号から第２マイク信号を減算することにより視聴音を抑圧する例を説明したが、他の方法により視聴音を抑圧することとしてもかまわない。例えば、視聴音の到来方向θに第１のマイク１１Ａ及び第２のマイク１１Ｂの死角を向けて抑圧した処理音を出力することとしてもかまわない。また、ステップＳ７０３で更新された第１のマイク１１Ａに対する視聴音の伝達特性から視聴音の到来方向θを算出して保存しておくこともできる。これにより、第２の抑圧処理を行う場合に当該視聴音の到来方向θを用いることとしてもかまわない。

［効果の一側面］
上述してきたように、本実施例に係る見守り端末１０は、放送音固有の特徴を用いて、放送音の信号とマイクの信号との比較時に両者の無音パターンが一致するか否かにより、マイクの信号に含まれる視聴音のチャンネルを識別して視聴音を抑圧する。したがって、本実施例に係る見守り端末１０によれば、視聴音の識別精度を向上させることができる。

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

［分散および統合］
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されておらずともよい。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、視聴音識別部１３、選択部１４、第１の抑圧部１５Ａ、第２の抑圧部１５Ｂおよび異常検知部１６の一部または全部を見守り端末１０の外部装置としてネットワーク経由で接続するようにしてもよい。また、視聴音識別部１３、選択部１４、第１の抑圧部１５Ａ、第２の抑圧部１５Ｂおよび異常検知部１６の一部または全部を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の見守り端末１０の機能を実現するようにしてもよい。

［異常検知プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１４を用いて、上記の実施例と同様の機能を有する異常検知プログラムを実行するコンピュータの一例について説明する。

図１４は、実施例１及び実施例２に係る異常検知プログラムを実行するコンピュータのハードウェア構成例を示す図である。図１４に示すように、コンピュータ１００は、第１のマイク１１０ａと、第２のマイク１１０ｂと、チューナー１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０〜１８０の各部はバス１４０を介して接続される。

ＨＤＤ１７０には、図１４に示すように、上記の実施例１で示した視聴音識別部１３、選択部１４、第１の抑圧部１５Ａ、第２の抑圧部１５Ｂおよび異常検知部１６と同様の機能を発揮する異常検知プログラム１７０ａが記憶される。この異常検知プログラム１７０ａは、図２に示した視聴音識別部１３、選択部１４、第１の抑圧部１５Ａ、第２の抑圧部１５Ｂおよび異常検知部１６の各構成要素と同様、統合又は分離してもかまわない。すなわち、ＨＤＤ１７０には、必ずしも上記の実施例１で示した全てのデータが格納されずともよく、処理に用いるデータがＨＤＤ１７０に格納されればよい。

このような環境の下、ＣＰＵ１５０は、ＨＤＤ１７０から異常検知プログラム１７０ａを読み出した上でＲＡＭ１８０へ展開する。この結果、異常検知プログラム１７０ａは、図１４に示すように、異常検知プロセス１８０ａとして機能する。この異常検知プロセス１８０ａは、ＲＡＭ１８０が有する記憶領域のうち異常検知プロセス１８０ａに割り当てられた領域にＨＤＤ１７０から読み出した各種データを展開し、この展開した各種データを用いて各種の処理を実行する。例えば、異常検知プロセス１８０ａが実行する処理の一例として、図３〜図９や図１１に示す処理などが含まれる。なお、ＣＰＵ１５０では、必ずしも上記の実施例１で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。

なお、上記の異常検知プログラム１７０ａは、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶されておらずともかまわない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に異常検知プログラム１７０ａを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から異常検知プログラム１７０ａを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに異常検知プログラム１７０ａを記憶させておき、コンピュータ１００がこれらから異常検知プログラム１７０ａを取得して実行するようにしてもよい。

１ リモートケアシステム
３ 居住者宅
３Ａ 居住者
１０ 見守り端末
１１Ａ 第１のマイク
１１Ｂ 第２のマイク
１２ 放送受信部
１３ 視聴音識別部
１４ 選択部
１５Ａ 第１の抑圧部
１５Ｂ 第２の抑圧部
１６ 異常検知部
２０ 放送受信装置
３０ 関係者端末

Claims (4)

1. 複数のチャンネルごとに取得される放送音の信号における無音区間と、マイクから取得される信号における無音区間との類似度に基づいて、前記放送音が視聴音として前記マイクに回り込むチャンネルを識別する視聴音識別部と、
   前記視聴音識別部により識別されたチャンネルの放送音に基づいて、前記マイクから取得される信号から前記視聴音を抑圧する抑圧部と、
   前記視聴音の抑圧後の前記マイクの信号から異常音を検知する異常検知部と、
   を有することを特徴とする電子機器。
2. 前記抑圧部は、前記マイクに対する前記視聴音の伝達特性に基づいて、前記視聴音識別部により識別されたチャンネルの放送音が前記マイクへ回り込む前記視聴音を推定することにより、前記マイクから取得される信号から前記視聴音を抑圧することを特徴とする請求項１に記載の電子機器。
3. 前記視聴音識別部は、前記類似度として相関係数を算出することを特徴とする請求項１または２に記載の電子機器。
4. 複数のチャンネルごとに取得される放送音の信号における無音区間と、マイクから取得される信号における無音区間との類似度に基づいて、前記放送音が視聴音として前記マイクに回り込むチャンネルを識別し、
   識別されたチャンネルの放送音に基づいて、前記マイクから取得される信号から前記視聴音を抑圧し、
   前記視聴音の抑圧後の前記マイクの信号から異常音を検知する、
   処理をコンピュータに実行させることを特徴とする異常検知プログラム。

Images