JP2015139083A - 聴覚補完システム及び聴覚補完方法 - Google Patents

Abstract

【課題】利用者の聴覚を効率的に補完し、もって利用者に対して快適な生活環境を提供すること。
【解決手段】コアユニット２０の聴覚補完処理部２３ａは、自装置で集音した音データから生活音データ、音方向データ及び話者感情データ等を聴覚補完情報として生成する。聴覚補完処理部２３ａは、生活音データをイヤピース１０に送信し、音方向データ及び話者感情データを自装置の表示部２７ａへの表示制御に用いる。イヤピース１０は、自装置で集音した音データのノイズを除去しつつ増幅し、コアユニット２０から受信した生活音データと合成して出力する。
【選択図】図２

Description

この発明は、利用者の聴覚を補完する聴覚補完システム及び聴覚補完方法に関する。

従来、音を増幅する補聴器により聴覚障害者の聴こえの問題を解消する技術が知られている。最近では、音をデジタル信号処理し、聴覚障害者に対してノイズを低減したクリアな音声を提供するデジタル方式の補聴器が主流になりつつある。

例えば、特許文献１には、アナログ入力音信号をデジタル入力信号に変換し、外部メモリからプログラム及び設定値を読み込み、デジタル入力信号に対して信号処理を行い、信号処理した信号をアナログ出力信号に変換し、アナログ出力信号又はアナログ入力音信号を切り替えて出力音信号として出力する技術が開示されている。また、低音域と高音域を分割しつつ必要に応じて高音域を低減することでノイズを低減する技術も知られている（例えば、特許文献２参照）。

このように、上記特許文献１及び２等に代表される従来の補聴器では、聴覚障害者に対してよりクリアな音声を提供する観点から様々な工夫がなされている。

特開２０１１−０３５６８４号公報 特開２０１２−１０９９３３号公報

しかしながら、聴覚障害者は、可能な限り聴覚に支障がない健聴者と同等な生活スタイルで日常を過ごすことを望んでおり、単にノイズが低減されたクリアな音声で話者の発話内容を聴き取ることを望んでいるわけではない。

例えば、健聴者は、台所から聴こえるコトコト音などの生活音により安らぎや充実感等を感じる場合が多いが、かかる生活音がノイズとともに除去されてしまうと、聴覚障害者が生活音に伴う安らぎや充実感を得ることができない。なお、聴覚障害者が生活音を聴き取れるようにノイズ除去レベルを下げると、該聴覚障害者が公共場所等に所在する際に却ってノイズが増加してしまい、聴覚障害者がクリアな音声を聴き取れない結果となる。

また、健聴者は、話者の声の高低のパターンを示すトーン並びに声の響きや調子を示す声色から話者の心中を察するケースが多いが、デジタル方式で量子化する際の量子化誤差等によってトーンや声色に関する情報が失われると、聴覚障害者が健聴者と同様に話者の心中を察することができない結果となる。

さらに、健聴者は、複数の話者と会話する場合に、個々の話者の声の周波数の違いや声の到来方向などを考慮して誰の発言であるかを無意識に認識しているが、上記量子化誤差等により方向情報や周波数のわずかな差違が失われると、誰の発言であるかを認識できない結果となる。

これらのことから、聴覚障害者と健聴者の間に所在する聴覚に関するギャップを補完し、聴覚障害者に対して健聴者と同等な生活スタイルをいかにして提供するかが重要な課題となっている。なお、かかる課題は、聴覚障害者のみについて生ずる課題ではなく、健聴者のうちの比較的難聴傾向にある利用者についても同様に生ずる課題である。

本発明は、上記従来の課題を解決するためになされたものであって、利用者の聴覚を効率的に補完し、もって利用者に対して快適な生活環境を提供することができる聴覚補完システム及び聴覚補完方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明は、利用者の耳に装着され、装置内部に設けられた第１のマイクにより集音された音データからノイズを除去しつつ増幅した出力音データを生成して出力するイヤピースと、前記イヤピースと通信可能に接続され、装置内部に設けられた第２のマイクにより集音された音データから前記利用者の聴覚を補完する聴覚補完情報を生成し、生成した聴覚補完情報を報知する本体装置とを備えたことを特徴とする。

また、本発明は、上記発明において、前記本体装置は、前記第２のマイクにより集音された音データに含まれる生活音を強調した生活音データを前記聴覚補完情報として生成して前記イヤピースに出力し、前記イヤピースは、前記第１のマイクにより集音された音データからノイズを除去しつつ増幅した出力音データと前記生活音データとを合成した合成音データを出力することを特徴とする。

また、本発明は、上記発明において、前記本体装置は、前記第２のマイクにより集音された音データから前記利用者の周辺状況に応じて異なる周波数帯の音を強調した強調音データを前記聴覚補完情報として生成して前記イヤピースに出力し、前記イヤピースは、前記第１のマイクにより集音された音データからノイズを除去しつつ増幅した出力音データと前記強調音データとを合成した合成音データを出力することを特徴とする。

また、本発明は、上記発明において、前記本体装置は、他の装置から音データを受信した場合に、前記他の装置から受信した音データを連携音データとして前記イヤピースに出力し、前記イヤピースは、前記第１のマイクにより集音された音データからノイズを除去しつつ増幅した出力音データと前記連携音データとを合成した合成音データを出力することを特徴とする。

また、本発明は、上記発明において、前記本体装置は、前記第２のマイクにより集音された音データから音の到来方向を示す音方向データを前記聴覚補完情報として生成し、前記音方向データを所定の表示手段に表示制御することを特徴とする。

また、本発明は、上記発明において、前記本体装置は、前記第２のマイクにより集音された音データに含まれる音声から話者の感情を示す話者感情データを前記聴覚補完情報として生成し、前記話者感情データを所定の表示手段に表示制御することを特徴とする。

また、本発明は、上記発明において、前記イヤピースが載置された場合に当該イヤピースを無線充電するポッドと、前記本体装置が載置された場合に当該本体装置を無線充電するクレイドルとをさらに備え、前記本体装置は、前記クレイドルにより無線充電されるとともに、前記イヤピースを無線充電する無線充電手段をさらに備えたことを特徴とする。

また、本発明は、利用者の耳に装着されるイヤピースが、前記利用者に到来する音データを集音する第１の集音ステップと、前記イヤピースと通信可能に接続された本体装置が、前記利用者に到来する音データを集音する第２の集音ステップと、前記本体装置が、前記第２の集音ステップにより集音された音データから前記利用者の聴覚を補完する聴覚補完情報を生成する聴覚補完情報生成ステップと、前記本体装置が、前記聴覚補完情報生成ステップにより生成された前記聴覚補完情報を報知する報知ステップと、前記イヤピースが、前記第１の集音ステップにより集音された音データからノイズを除去しつつ増幅した出力音データを生成して出力する音出力ステップとを含んだことを特徴とする。

本発明によれば、利用者の耳に装着され、装置内部に設けられた第１のマイクにより集音された音データからノイズを除去しつつ増幅した出力音データを生成して出力するイヤピースと、イヤピースと通信可能に接続され、装置内部に設けられた第２のマイクにより集音された音データから利用者の聴覚を補完する聴覚補完情報を生成し、生成した聴覚補完情報を報知する本体装置とを備えるよう構成したので、利用者の聴覚を効率的に補完し、もって利用者に対して快適な生活環境を提供することができる。

図１は、聴覚補完システムのシステム構成を示す図である。 図２は、聴覚補完システムによる聴覚の補完について説明するための説明図である。 図３は、図１に示したイヤピースの内部構成を示すブロック図である。 図４は、図１に示したコアユニットの内部構成を示すブロック図である。 図５は、コアユニットによる音データの処理について説明するための説明図である。 図６は、フィルタの選択について説明するための説明図である。 図７は、タッチパネルディスプレイによるユーザインタフェースについて説明するための説明図である。（その１） 図８は、タッチパネルディスプレイによるユーザインタフェースについて説明するための説明図である。（その２） 図９は、ユーザインタフェースの変形例について説明するための説明図である。 図１０は、コアユニットによる音データの処理手順を示すフローチャートである。

以下に、添付図面を参照して、本発明に係る聴覚補完システム及び聴覚補完方法の好適な実施例を詳細に説明する。

まず、本実施例に係る聴覚補完システムのシステム構成について説明する。図１は、聴覚補完システムのシステム構成を示す図である。図１に示すように、聴覚補完システムは、イヤピース１０と、コアユニット２０と、ポッド３０と、クレイドル４０とを有する。

イヤピース１０は、利用者の耳穴に挿入することで装着される耳穴式の装置であり、自装置で集音した音をフィルタリングした音データとコアユニット２０から受信した音データとを合成して出力する。このイヤピース１０は、本実施例で採用した耳穴式に限定されるものではなく、耳のひだに入れる耳ひだ式や耳に掛ける耳掛け式であっても良い。なお、このイヤピース１０は、コアユニット２０と連携させずに単独利用する場合には、従前の補聴器と同様に利用することができる。

コアユニット２０は、本発明の聴覚補完に係る処理等を行う本体装置であり、ブルートゥース（Bluetooth）（登録商標）や赤外線等の近距離通信によってイヤピース１０と通信可能に接続される。その詳細な説明については後述するが、このコアユニット２０は、自装置で集音した音データから利用者の聴覚を補完する聴覚補完情報を生成し、生成した聴覚補完情報を表示するとともに、必要に応じて聴覚補完情報を音データに変換してイヤピース１０に出力する処理等を行う。コアユニット２０は、利用者のポケットへの収納や、ストラップ等を用いた装着が可能である。

ポッド３０は、イヤピース１０を載置するための装置であり、利用者の就寝時など該利用者がイヤピース１０を使用しない場合にイヤピース１０がポッド３０に載置される。利用者によってイヤピース１０がポッド３０に載置されるか又はポッド３０付近に置かれたならば、該イヤピース１０はポッド３０により非接触で無線充電される。

クレイドル４０は、コアユニット２０を載置するための装置であり、利用者の就寝時など該利用者がコアユニット２０を使用しない場合にコアユニット２０がクレイドル４０に載置される。利用者によってコアユニット２０がクレイドル４０に載置されるか又はクレイドル４０付近に置かれたならば、該コアユニット２０はクレイドル４０により非接触で無線充電される。なお、イヤピース１０は、コアユニット２０又はクレイドル４０により非接触で無線充電することも可能である。

次に、本実施例に係る聴覚補完システムによる聴覚補完の概念について説明する。図２は、本実施例に係る聴覚補完システムによる聴覚補完の概念を説明するための説明図である。同図に示すように、イヤピース１０及びコアユニット２０は、それぞれ外部から到来する音を集音して音データを生成する。

コアユニット２０は、自装置で集音した音データから聴覚補完情報を生成する聴覚補完処理部２３ａを有している。具体的には、この聴覚補完処理部２３ａは、自装置で集音した音データから生活音データ、音方向データ及び話者感情データを含む聴覚補完情報を生成する。

この生活音データは、自装置で集音した音データから、台所から聴こえるコトコト音などの生活音を示すデータであり、あらかじめ登録された抽出対象となる生活音の周波数及びパターンが音データに含まれている場合には、該当する生活音データを音データから抽出する。

音方向データは、自装置で集音した音データの到来方向を示すデータである。話者感情データは、自装置で集音した音データに含まれる音声から抽出した話者の感情に係るデータである。時系列的に見て話者の音声のトーンや声色が変化した場合には、話者の感情に起伏が生じたものと判定し、これを話者感情データとして抽出する。

聴覚補完処理部２３ａは、生活音データをイヤピース１０に送信するとともに、音方向データ及び話者感情データを自装置の表示部２７ａに表示制御する。図２では、話者の感情を示す話者アイコンＦ１と、音声の到来方向を示す音声アイコンＦ２を表示部２７ａに表示した例を図示している。例えば、利用者自身の位置を表示部２７ａの中心とし、話者アイコンＦ１の相対位置と音声アイコンＦ２の表示角度により、話者の音声の到来方向を認識することができるとともに、話者アイコンＦ１の図柄によって話者の感情を推測することが可能となる。

イヤピース１０は、自装置で集音した音データからノイズを除去しつつ、この音データに含まれる音声帯域から音声を抽出する音声抽出部１３ａを有する。この音声抽出部１３ａは、自装置で集音した音データのうち、特に音声を効果的に聞き取ることができるよう調整されている。

イヤピース１０は、音声抽出部１３ａが出力した出力音データと、コアユニット２０から受信した生活音データとを合成して出力する。このため、利用者は、音声だけでなく生活音も良好に聞き取ることができ、これにより台所作業を行う家族の行動を認識し、もって安心感や安らぎを感じることが可能となる。

なお、コアユニット２０から生活音データを受信しない場合には、音声抽出部１３ａが出力した出力音データがそのまま出力されるので、イヤピース１０が単体の補聴器として動作する。なお、話者の感情をトーン信号などを使ってイヤピース１０を介して音で出力することも可能である。

次に、図１に示したイヤピース１０の内部構成について説明する。図３は、図１に示したイヤピース１０の内部構成を示すブロック図である。図３に示すように、イヤピース１０は、マイク１１、ＡＤ変換部１２、制御部１３、無線通信部１４、電源部１５、ＤＡ変換部１６及びイヤホン１７を有する。

マイク１１は、利用者に到来する音を集音し、アナログ信号として出力する。ＡＤ変換部１２は、マイク１１が出力したアナログ信号をデジタル信号に変換し、制御部１３に出力する。

無線通信部１４は、コアユニット２０と無線通信を行う通信ユニットである。無線通信部１４は、コアユニット２０から生活音データ等の音データを受信し、制御部１３に出力する。

制御部１３は、デジタル信号処理を行うＤＳＰ（Digital Signal Processor）である。制御部１３は、その内部に音声抽出部１３ａ及び出力合成部１３ｂを有する。音声抽出部１３ａは、ＡＤ変換部１２が出力したデジタル信号からノイズ成分をフィルタリングし、音声に対応する周波数帯に増幅を行って出力音データを生成する。

出力合成部１３ｂは、音声抽出部１３ａが生成した出力音データと無線通信部１４が受信した音データとを合成し、合成音データを生成する。なお、コアユニット２０から音データを受信していない場合には、音声抽出部１３ａが生成した出力音データと合成音データとは同一となる。

ＤＡ変換部１６は、制御部１３が出力したデジタル信号である合成音データをアナログ信号に変換する。イヤホン１７は、ＤＡ変換部１６の出力したアナログ信号により、利用者の耳に音を出力することとなる。

電源部１５は、制御部１３及び無線通信部１４に電力を供給する電源であり、この電源部１５は、既に説明したようにポッド３０、クレイドル４０又はコアユニット２０により無線充電可能である。

図３に示したイヤピース１０を単独で用いる場合には左右いずれかの耳に装着することとなるが、２つのイヤピース１０を左右の耳にそれぞれ装着することとしてもよい。

次に、図１に示したコアユニット２０の内部構成について説明する。図４は、図１に示したコアユニット２０の内部構成を示すブロック図である。図４に示すように、コアユニット２０は、マイク２１ａ、マイク２１ｂ、ＡＤ変換部２２ａ、ＡＤ変換部２２ｂ、制御部２３、無線通信部２４、電源部２５、記憶部２６及びタッチパネルディスプレイ２７を有する。

マイク２１ａ及びマイク２１ｂは、利用者に到来する音を集音し、アナログ信号として出力する。マイク２１ａとマイク２１ｂとは、コアユニット２０の筐体上の離隔した位置に設ける。ＡＤ変換部２２ａは、マイク２１ａが出力したアナログ信号をデジタル信号に変換し、制御部２３に出力する。ＡＤ変換部２２ｂは、マイク２１ｂが出力したアナログ信号をデジタル信号に変換し、制御部２３に出力する。

無線通信部２４は、イヤピース１０や外部の装置と無線通信を行う通信ユニットである。無線通信部２４は、制御部２３が出力した音データをイヤピース１０に送信する。また、無線通信部２４は、外部の装置と各種データの送受信を行う。

記憶部２６は、フラッシュメモリ等からなる記憶デバイスである。記憶部２６は、外部の装置から受信したデータの格納、コアユニット２０の制御に関する制御データの格納、録音データの格納等に用いられる。

タッチパネルディスプレイ２７は、液晶ディスプレイ等からなる表示部２７ａと、タッチパネル等からなる操作部２７ｂとを組み合わせた表示操作部である。なお、操作部２７ｂとして物理的なボタン等を設けてもよい。

制御部２３は、デジタル信号処理を行うＤＳＰ（Digital Signal Processor）である。制御部２３は、その内部に聴覚補完処理部２３ａと、連携処理部２３ｂと、イヤピース出力処理部２３ｃと、録音管理部２３ｄと、充電管理部２３ｅと、通信管理部２３ｆとを有する。

聴覚補完処理部２３ａは、マイク２１ａ及びマイク２１ｂにより集音された音データから利用者の聴覚を補完する聴覚補完情報を生成する処理部である。その詳細については後述するが、聴覚補完処理部２３ａは、生成した聴覚補完情報のうち、生活音データ等の音データをイヤピース出力処理部２３ｃに出力するとともに、音方向データ及び話者感情データ等を表示部２７ａへの表示制御に用いる。

連携処理部２３ｂは、外部の装置との連携を行う処理部である。外部の装置としては、スマートフォン等の携帯端末や、テレビ、電話機、コンピュータ等を用いることができる。連携処理部２３ｂは、外部の装置から音データを取得した場合には、取得した音データをイヤピース出力処理部２３ｃに出力する。連携処理部２３ｂからイヤピース出力処理部２３ｃに出力される音データが連携音データである。

具体的には、コンピュータと連携する場合には、メール着信音等を取得する。また、携帯端末やテレビ等と連携する場合には、携帯電話やテレビの音出力を取得する。また、スマートフォンや電話機と連携する場合には、通話相手の音声を取得することができる。なお、通話時の利用者の音声については、スマートフォンや電話機のマイクで集音することとなる。

また、連携処理部２３ｂは、外部の装置から受信した天気予報データやスケジュールデータ等を記憶部２６に格納し、利用者の操作に応じて表示部２７ａに表示制御する。また、連携処理部２３ｂは、記憶部２６に格納した録音データを利用者の操作に応じて外部の装置に送信する。また、連携処理部２３ｂは、テレビ等から字幕データを受信し、表示部２７ａに表示制御することができる。

イヤピース出力処理部２３ｃは、聴覚補完処理部２３ａが出力した音データと、連携処理部２３ｂが出力した音データとをイヤピース１０に出力する処理部である。具体的には、イヤピース出力処理部２３ｃは、イヤピース１０に出力すべき音データを合成し、合成した音データを無線通信部２４によりイヤピース１０に送信する。

録音管理部２３ｄは、マイク２１ａ及びマイク２１ｂが集音した音データを録音データとして記憶部２６に格納し、利用者の操作に応じて再生や消去を行う処理部である。録音データの記憶部２６への格納は常時行うことが好適である。

充電管理部２３ｅは、コアユニット２０及びイヤピース１０の充電を管理する処理部である。充電管理部２３ｅは、コアユニット２０及びイヤピース１０の充電量を監視し、必要に応じて利用者に報知する。また、充電管理部２３ｅは、コアユニット２０の充電を行ったクレイドル４０を識別し、当該クレイドル４０を特定するクレイドルＩＤを記憶部２６に格納する。また、充電管理部２３ｅは、イヤピース１０が所定距離以内に所在している場合には、イヤピース１０を充電する無線充電手段として機能する。

通信管理部２３ｆは、無線通信部２４による通信状況を管理する処理部である。通信管理部２３ｆは、イヤピース１０との通信が途切れた場合に、利用者に対して報知を行う。また、通信管理部２３ｆは、イヤピース１０との通信が途切れた場合に、その時刻情報を記憶部２６に格納する。ＧＰＳ（Global Positioning System）等により位置情報を取得可能であれば、イヤピース１０との通信が途切れた場所を記憶部２６に格納してもよい。このようにイヤピース１０との通信途絶時の情報を格納することにより、利用者がイヤピース１０を紛失した際にイヤピース１０を見つける手がかりを提供することができる。

電源部２５は、制御部２３、無線通信部２４、記憶部２６及びタッチパネルディスプレイ２７に電力を供給する電源であり、この電源部２５は、既に説明したようにクレイドル４０により無線充電可能である。

次に、コアユニット２０による音データの処理についてさらに説明する。図５は、コアユニット２０による音データの処理について説明するための説明図である。図５に示すように、マイク２１ａ及びマイク２１ｂが集音した音データは、ＡＤ変換部２２ａ及びＡＤ変換部２２ｂによりデジタル信号に変換された後、録音管理部２３ｄに出力される。

録音管理部２３ｄは、マイク２１ａ及びマイク２１ｂが集音した音データを録音データとして記憶部２６に格納するとともに、聴覚補完処理部２３ａに出力する。また、録音管理部２３ｄは、記憶部２６から録音データを読み出して、聴覚補完処理部２３ａに出力する録音再生が可能である。

聴覚補完処理部２３ａは、方向識別部２３ａ１、個人識別部２３ａ２、感情識別部２３ａ３、フィルタ選択部２３ａ４、増幅部２３ａ５、音声フィルタ２３ａ６、生活音フィルタ２３ａ７、車両走行音フィルタ２３ａ８及び緊急車両音フィルタ２３ａ９を有する。

方向識別部２３ａ１は、マイク２１ａが取得した音データ（ＡＤ変換部２２ａの出力）と、マイク２１ｂが取得した音データ（ＡＤ変換部２２ｂの出力）とを用いて音の到来方向を識別する。具体的には、方向識別部２３ａ１は、マイク２１ａとマイク２１ｂとがそれぞれ取得した音データにおける音の到来時間の差を算出し、算出した到来時間の差によって音の到来方向を識別する。方向識別部２３ａ１は、識別した音の到来方向を示す音方向データを生成し、表示部２７ａの表示制御に用いる。

個人識別部２３ａ２は、マイク２１ａが取得した音データを用いて音声の話者を識別する。具体的には、個人識別部２３ａ２は、マイク２１ａが取得した音データから音声の特徴パラメータを算出し、特徴パラメータが一致する音声を同一人物の音声であると識別する。音声の特徴パラメータの算出には、ＭＦＣＣ（Mel-Frequency Cepstrum Coefficient）等の任意の手法を用いることができる。

個人識別部２３ａ２は、話者を識別した場合には、話者に関する情報を話者識別データとして表示部２７ａの表示制御に用いる。また、特定の話者について音声の特徴パラメータと個人名とを対応付け、登録データとして記憶部２６に格納しておけば、マイク２１ａが取得した音データから算出した特徴パラメータが登録データの特徴パラメータと一致した場合に、該登録データの個人名を表示することも可能である。

感情識別部２３ａ３は、マイク２１ａが取得した音データを用いて話者の感情を識別する。具体的には、感情識別部２３ａ３は、マイク２１ａが取得した音データに含まれる音声の大きさ、高さ及びピッチの変化を検出し、検出した変化により話者の感情を識別する。話者が興奮して話すときの音声は、平静に話すときの音声に比べると音量が大きくなり、音域が高くなり、言葉が早口になる傾向がある。そこで、音声の大きさ、高さ及びピッチの変化を検出することにより、話者の感情の変化を推定できるのである。感情識別部２３ａ３は、識別した話者の感情を示す話者感情データを生成し、表示部２７ａへの表示制御に用いる。

音声フィルタ２３ａ６は、マイク２１ａが取得した音データ（ＡＤ変換部２２ａの出力）から、音声に対応する周波数帯を抽出して音声データとして出力するフィルタである。生活音フィルタ２３ａ７は、マイク２１ａが取得した音データから、生活音に対応する周波数帯を抽出して生活音データとして出力するフィルタである。車両走行音フィルタ２３ａ８は、マイク２１ａが取得した音データから、車両走行音に対応する周波数帯を抽出して車両走行音データとして出力するフィルタである。緊急車両音フィルタ２３ａ９は、マイク２１ａが取得した音データから、緊急車両のサイレンに対応する周波数帯を抽出して緊急車両音データとして出力するフィルタである。なお、ここでは４種のフィルタを用いる場合を例示したが、任意のフィルタを追加することができる。

フィルタ選択部２３ａ４は、聴覚補完システムの利用状況に応じて各フィルタの使用可否を選択する。利用状況は、利用者の操作入力によっても決定可能であるが、充電管理部２３ｅから最後に充電に使用したクレイドル４０のクレイドルＩＤを取得し、このクレイドルＩＤに応じて決定することもできる。

図６は、フィルタの選択について説明するための説明図である。図６（ａ）では、シーン種別「自宅」、シーン種別「運転中」、シーン種別「職場」、シーン種別「録音再生」の４つの利用状況について、各フィルタの使用可否を示している。

シーン種別「自宅」では、音声フィルタ２３ａ６がオフ（不使用）、生活音フィルタ２３ａ７がオン（使用）、車両走行音フィルタ２３ａ８がオフ、緊急車両音フィルタ２３ａ９がオフとなっている。音声フィルタ２３ａ６がオフであるのは、イヤピース１０において音声抽出が行われているためである。従って、自宅で聴覚補完システムを使用する場合には、イヤピース１０からは音声と生活音が強調されて出力されることとなる。

シーン種別「運転中」では、音声フィルタ２３ａ６がオフ、生活音フィルタ２３ａ７がオフ、車両走行音フィルタ２３ａ８がオン、緊急車両音フィルタ２３ａ９がオンとなっている。音声フィルタ２３ａ６がオフであるのは、イヤピース１０において音声抽出が行われているためである。従って、運転中に聴覚補完システムを使用する場合には、イヤピース１０からは音声、車両走行音及び緊急車両音が強調されて出力されることとなる。

シーン種別「職場」では、音声フィルタ２３ａ６がオフ、生活音フィルタ２３ａ７がオフ、車両走行音フィルタ２３ａ８がオフ、緊急車両音フィルタ２３ａ９がオフとなっている。この場合には、フィルタの出力はイヤピース１０に送信されないが、イヤピース１０において音声抽出が行われているので、音声が強調されて出力されることとなる。

シーン種別「録音再生」では、音声フィルタ２３ａ６がオン、生活音フィルタ２３ａ７がオフ、車両走行音フィルタ２３ａ８がオフ、緊急車両音フィルタ２３ａ９がオフとなっている。録音再生時には、イヤピース１０で音声抽出が行うことができないため、コアユニット２０で音声の抽出を行うのである。なお、録音再生を行う場合には、各フィルタのオンオフを利用者が個別に選択可能としてもよい。

図６（ｂ）は、クレイドルＩＤとシーン種別の対応関係を示す図である。図６（ｂ）では、クレイドルＩＤが「Ｃ００１」であるクレイドル４０が自宅に設置されており、クレイドルＩＤが「Ｃ００２」であるクレイドル４０が車両に設置されており、クレイドルＩＤが「Ｃ００３」であるクレイドル４０が職場に設置されていることを示している。従って、最後に充電に使用したクレイドル４０のクレイドルＩＤが「Ｃ００１」であれば、シーン種別を「自宅」と判定し、最後に充電に使用したクレイドル４０のクレイドルＩＤが「Ｃ００２」であれば、シーン種別を「運転中」と判定し、最後に充電に使用したクレイドル４０のクレイドルＩＤが「Ｃ００３」であれば、シーン種別を「職場」と判定することができる。

なお、録音管理部２３ｄが記憶部２６から読み出した録音データを聴覚補完処理部２３ａに出力している場合には、最後に充電に使用したクレイドル４０のクレイドルＩＤに関わらず、シーン種別「録音再生」に決定される。

図５に戻って説明を続ける。フィルタ選択部２３ａ４は、決定したシーン種別に応じて「オン」に設定されたフィルタに、マイク２１ａが取得した音データを出力する。各フィルタは、マイク２１ａが取得した音データから所定の周波数帯を抽出し、増幅部２３ａ５に出力する。

増幅部２３ａ５は、各フィルタの出力を合成して増幅し、イヤピース出力処理部２３ｃに出力する。すなわち、増幅部２３ａ５が出力する音データには、音声データ、生活音データ、車両走行音データ、緊急車両音データ等の強調音データが含まれることとなる。なお、各フィルタの出力に対する増幅率は、利用者の聴力の特性に合わせて個別に設定可能である。

イヤピース出力処理部２３ｃは、聴覚補完処理部２３ａが出力した音データと、連携処理部２３ｂが出力した連携音データとを合成し、合成した音データをイヤピース１０に送信する。

次に、図７及び図８を参照し、タッチパネルディスプレイ２７によるユーザインタフェースについて説明する。図７に示すように、ホーム画面では、中央に「録音再生アイコン」が表示される。また、「録音再生アイコン」の上に「充電状況アイコン」が表示され、「録音再生アイコン」の右に「天気・予定アイコン」が表示され、「録音再生アイコン」の下に「音量調整アイコン」が表示され、「録音再生アイコン」の左に「周囲音アイコン」が表示される。さらに画面の最上部には、時刻や充電量等を簡易表示するステータス表示領域が設けられている。

ホーム画面で「充電状況アイコン」を選択すると、コアユニット２０及びイヤピース１０の充電量を表示する充電状況画面となる。

ホーム画面で「天気・予定アイコン」を選択すると、連携処理部２３ｂが外部の装置から取得した天気予報データやスケジュールデータの概要を表示する天気・予定画面となる。この天気・予定画面からは、天気予報データの詳細を示す天気一覧画面や、スケジュールデータの詳細を示す予定一覧画面に遷移可能である。

ホーム画面で「音量調整アイコン」を選択すると、イヤピース１０の音量を調整する音量調整画面となる。音量調整画面では、その時点での音量設定が表示されるともに、音量を変更するためのスライドボタンが表示される。音量調整画面からは、左右のイヤピース１０の音量を個別に調整するための音量調整（右耳）画面及び音量調整（左耳）画面に遷移可能である。

ホーム画面で「周囲音アイコン」を選択すると、コアユニット２０に到来した音の大きさを方向別に示す周囲音画面となる。周囲音画面からは、過去の所定時間内に到来した音の大きさの変化を示すボリュームグラフ画面に遷移可能である。

また、ホーム画面以外の各画面には、前画面に戻る操作を受け付けるアイコンが表示されている。さらに、充電状況画面、天気・予定画面、音量調整画面及び周囲音画面は、スライド操作を受け付けることで、他の画面に遷移可能である。

具体的には、充電状況画面は、右下方向のスライド操作を受け付けると天気・予定画面に遷移し、左下方向のスライド操作を受け付けると周囲音画面に遷移する。天気・予定画面は、左上方向のスライド操作を受け付けると充電状況画面に遷移し、左下方向のスライド操作を受け付けると音量調整画面に遷移する。音量調整画面は、左上方向のスライド操作を受け付けると周囲音画面に遷移し、右上方向のスライド操作を受け付けると天気・予定画面に遷移する。周囲音画面は、右上方向のスライド操作を受け付けると充電状況画面に遷移し、右下方向のスライド操作を受け付けると音量調整画面に遷移する。

ホーム画面で「録音再生アイコン」を選択すると、図８に示す録音再生モード画面となる。録音再生モード画面では、中央に「録音再生アイコン」が表示される。また、「録音再生アイコン」の上に「録音アイコン」が表示され、「録音再生アイコン」の右に「チェックマーカーアイコン」が表示され、「録音再生アイコン」の下に「音声フォルダアイコン」が表示され、「録音再生アイコン」の左に「聞き返し再生アイコン」が表示される。

録音再生モード画面で「録音アイコン」を選択すると、録音を開始可能な録音画面となる。録音画面からは、ファイル設定画面に遷移可能である。ファイル設定画面では、録音データとして記憶部２６に格納された音声ファイルへのタグの設定、エクスポート先の設定、タイトルの入力が可能である。

録音再生モード画面で「チェックマーカーアイコン」を選択すると、音声ファイルに再生などの基準等として使用可能なチェックマークを設定するチェックマーカー画面となる。

録音再生モード画面で「音声フォルダアイコン」を選択すると、それまでに生成した音声ファイルを表示する音声フォルダ画面となる。音声ファイルは、リスト表示や生成日時に対応付けたカレンダー表示が可能である。音声フォルダ画面で音声ファイルを選択すると、再生コントロール画面に遷移する。再生コントロール画面では、音声ファイルの再生の他、削除が可能である。さらにファイル設定画面にも遷移可能である。

録音再生モード画面で「聞き返し再生アイコン」を選択すると、音声ファイルを聞き返すことのできる聞き返し再生画面となる。この聞き返し再生画面では、聞き返し開始時点を指定することで、聞き返し開始時点以降の音声を再生させることができる。

なお、録音再生モード画面、録音画面、チェックマーカー画面、音声フォルダ画面、聞き返し再生画面等では、前画面に戻る操作を受け付けるアイコンが表示されている。

次に、ユーザインタフェースの変形例について説明する。図９は、ユーザインタフェースの変形例について説明するための説明図である。図９に示す例では、表示部２７ａの下部に設けた３つのボタン（左ボタン、中ボタン、右ボタン）を用いて種々の操作を受け付けるようにしている。

図９に示したホーム画面では、日時や天気の情報を表示している。ホーム画面で左ボタンを操作すると、イヤピース１０の音量を調整する左右音量調整画面となる。左右音量調整画面では、その時点での音量設定が表示される。また、３つのボタンは、左右のイヤピース１０の選択に割り当てられる。イヤピース１０が選択されると、３つのボタンは音量を大きくする操作、音量を小さくする操作、音量を確定する操作に割り当てられる。なお、コアユニット２０の側面等に音量調整ボタンを設け、音量調整ボタンが操作された場合には他の画面で操作中であっても左右音量調整画面を表示することとしてもよい。

ホーム画面で中ボタンを操作すると、簡易聞き返しモード画面となる。この簡易聞き返しモード画面では、３つのボタンは、巻き戻し操作、再生／停止操作、早送り操作に割り当てられる。なお、録音途中に簡易聞き返し機能を同時に利用した場合には、録音の開始点と終了点の表示により録音が継続されていることを確認可能にする。

ホーム画面で右ボタンを操作すると、録音再生モード画面となる。この録音再生モード画面では、左ボタンに音声フォルダへの遷移操作が割り当てられ、中ボタンに録音・チェックマーク画面への遷移操作が割り当てられる。

録音再生モード画面で音声フォルダへの遷移操作が行われると、音声フォルダ画面が表示される。音声フォルダ画面では、３つのボタンは、前の音声ファイルの表示操作、表示中の音声ファイルの再生操作、次の音声ファイルの表示操作に割り当てられる。音声ファイルの再生操作が行われると、音声ファイルの再生画面に遷移する。音声画面の再生画面では、３つのボタンは、巻き戻し操作、再生／停止操作、早送り操作に割り当てられる。なお、早送り操作に割り当てられた右ボタンを短く押すと次のチェックマークの位置までスキップして再生するスキップ再生が可能である。

録音再生モード画面で録音・チェックマーク画面への遷移操作が行われると、録音・チェックマーク画面が表示される。この録音・チェックマーク画面では、中ボタンに録音の開始／終了操作が割り当てられ、右ボタンにチェックマークの挿入操作が割り当てられる。さらに、既に挿入したチェックマークが存在する場合には、そのチェックマークの数がふきだしで表示される。また、左ボタンの上には音声フォルダに対応するアイコンが表示され、音声ファイルが既に存在する場合には、その音声ファイルの数がふきだしで表示される。なお、録音中にホーム画面へ戻ると、ホーム画面において録音中であることを示す表示が行われる。

次に、コアユニット２０による音データの処理手順について説明する。図１０は、コアユニット２０による音データの処理手順を示すフローチャートである。コアユニット２０は、マイク２１ａ及びマイク２１ｂの出力をＡＤ変換部２２ａ及びＡＤ変換部２２ｂによりデジタル信号に変換して取得する（ステップＳ１０１）。録音管理部２３ｄは、マイク２１ａ及びマイク２１ｂが集音した音データを録音データとして記憶部２６に格納する（ステップＳ１０２）。

聴覚補完処理部２３ａ内の方向識別部２３ａ１は、マイク２１ａ及びマイク２１ｂの出力から音の到来時間の差を算出し、算出した到来時間の差によって音の到来方向を識別する（ステップＳ１０３）。

聴覚補完処理部２３ａ内の個人識別部２３ａ２は、マイク２１ａの出力から音声の特徴パラメータを算出し、特徴パラメータが一致する音声を同一人物の音声であると識別する（ステップＳ１０４）。

聴覚補完処理部２３ａ内の感情識別部２３ａ３は、マイク２１ａの出力に含まれる音声の大きさ、高さ及びピッチの変化を検出し、検出した変化により話者の感情を識別する（ステップＳ１０５）。

聴覚補完処理部２３ａは、方向識別部２３ａ１により識別した音の到来方向と、個人識別部２３ａ２による話者の識別結果と、感情識別部２３ａ３により識別した話者の感情とを表示部２７ａに表示制御する（ステップＳ１０６）。

フィルタ選択部２３ａ４は、利用者の操作入力、最後に充電に使用したクレイドル４０のクレイドルＩＤ、録音データの再生中であるか否か等によりシーン種別を決定し（ステップＳ１０７）、決定したシーン種別に応じたフィルタを選択する（ステップＳ１０８）。

フィルタ選択部２３ａ４により選択されたフィルタは、マイク２１ａの出力から所定の周波数帯を抽出し強調音データ（音声データ、生活音データ、車両走行音データ、緊急車両音データ等）として出力するフィルタリングを行う（ステップＳ１０９）。増幅部２３ａ５は、各フィルタが出力した強調音データを合成して増幅する（ステップＳ１１０）。

ステップＳ１１０の後、連携処理部２３ｂは、外部の装置から音データを取得したか否かを判定する（ステップＳ１１１）。外部の装置から音データを取得しているならば（ステップＳ１１１；Ｙｅｓ）、イヤピース出力処理部２３ｃは、ステップＳ１１０の合成結果に、外部の装置から取得した音データである連携音データをさらに合成する（ステップＳ１１２）。

ステップＳ１１２の後、若しくは外部の装置から音データを取得していない場合（ステップＳ１１１；Ｎｏ）、イヤピース出力処理部２３ｃは、合成の結果得られた音データをイヤピース１０に送信し（ステップＳ１１３）、処理を終了する。

上述してきたように、本実施例に係る聴覚補完システムは、コアユニット２０のマイク２１ａ及びマイク２１ｂで集音した音データから音の到来方向や話者の感情等を聴覚補完情報として抽出し、表示部２７ａに表示制御することにより、利用者の聴覚を視覚によって効率的に補完し、もって利用者に対して快適な生活環境を提供することができる。

また、生活音等についても対応する周波数帯の音データを抽出して増幅し、イヤピース１０から出力することができるので、利用者は音声以外の音データについても聞き取ることが可能となり、もって利用者に対して快適な生活環境を提供することができる。

また、聴覚補完システムが利用される際の周辺状況を判定し、周辺状況に応じた周波数帯の音データを抽出して増幅し、イヤピース１０から出力することができるので、利用者は状況に応じて種々の音を聞き取ることが可能となる。

また、コアユニット２０が外部の装置と連携することにより、外部の装置から取得した音データをイヤピース１０から出力可能となり、また、外部の装置から取得した天気予報データやスケジュールデータ等の表示が可能となる。

また、コアユニット２０はクレイドル４０により無線充電可能であり、イヤピース１０はポッド３０、クレイドル４０又はコアユニット２０により無線充電可能である。イヤピース１０はコアユニット２０により無線充電可能であるため、外出先でポッド３０やクレイドル４０がない状況であってもイヤピース１０の充電が可能である。

無線充電の方式としては、電磁誘導により発生させた起電力を充電に用いる電磁誘導型、磁界共鳴により電力を伝送する磁界共鳴型、電解共鳴により電力を伝送する電界共鳴型、電力をマイクロ波により送受信するマイクロ波型など、任意の方式を用いる事ができる。

なお、上記実施例に示した構成及び動作は、本発明を限定するものではなく、適宜変更して実施する事ができる。例えば、上記実施例では、イヤピース１０とコアユニット２０とが無線通信する構成を例示したが、イヤピース１０とコアユニット２０とを有線接続して通信するよう構成してもよい。

また、上記実施例では、音の到来方向や話者感情を表示により報知する構成を例示したが、これらをイヤピース１０からの音出力により報知することもできる。音の到来方向を音により報知する場合には、左右のイヤピース１０のいずれかから信号音を出力すればよい。また、話者感情を音により報知する場合には、話者感情が平静であると識別したならば音声をそのまま出力し、話者感情が興奮状態や沈静状態にあると識別したならば識別結果に合わせた信号音を音声に重畳して出力すればよい。

また、上記実施例では、イヤピース１０にマイク１１や音声抽出部１３ａ等を設け、イヤピース１０単体でも補聴器として利用可能となるよう構成した場合を例示したが、イヤピースが音出力のみを行う構成としてもよい。この場合には、コアユニット２０の音声フィルタ２３ａ６を常にオン状態とし、イヤピースはコアユニット２０から受信した音データをそのまま出力することとなる。

また、上記実施例では、コアユニット２０が自装置で集音した音データから聴覚補完情報を生成する構成を例示したが、イヤピースが集音した音データをコアユニットに送信し、コアユニットはイヤピースから受信した音データから聴覚補完情報を生成するよう構成してもよい。

以上のように、本発明に係る聴覚補完システム及び聴覚補完方法は、利用者の聴覚を効率的に補完し、もって利用者に対して快適な生活環境を提供することに適している。

１０ イヤピース
１１、２１ａ、２１ｂ マイク
１２、２２ａ、２２ｂ ＡＤ変換部
１３、２３ 制御部
１３ａ 音声抽出部
１３ｂ 出力合成部
１４、２４ 無線通信部
１５、２５ 電源部
１６ ＤＡ変換部
１７ イヤホン
２０ コアユニット
２３ａ 聴覚補完処理部
２３ａ１ 方向識別部
２３ａ２ 個人識別部
２３ａ３ 感情識別部
２３ａ４ フィルタ選択部
２３ａ５ 増幅部
２３ａ６ 音声フィルタ
２３ａ７ 生活音フィルタ
２３ａ８ 車両走行音フィルタ
２３ａ９ 緊急車両音フィルタ
２３ｂ 連携処理部
２３ｃ イヤピース出力処理部
２３ｄ 録音管理部
２３ｅ 充電管理部
２３ｆ 通信管理部
２６ 記憶部
２７ タッチパネルディスプレイ
２７ａ 表示部
２７ｂ 操作部
３０ ポッド
４０ クレイドル

Claims (8)

1. 利用者の耳に装着され、装置内部に設けられた第１のマイクにより集音された音データからノイズを除去しつつ増幅した出力音データを生成して出力するイヤピースと、
   前記イヤピースと通信可能に接続され、装置内部に設けられた第２のマイクにより集音された音データから前記利用者の聴覚を補完する聴覚補完情報を生成し、生成した聴覚補完情報を報知する本体装置と
   を備えたことを特徴とする聴覚補完システム。
2. 前記本体装置は、
   前記第２のマイクにより集音された音データに含まれる生活音を強調した生活音データを前記聴覚補完情報として生成して前記イヤピースに出力し、
   前記イヤピースは、
   前記第１のマイクにより集音された音データからノイズを除去しつつ増幅した出力音データと前記生活音データとを合成した合成音データを出力する
   ことを特徴とする請求項１に記載の聴覚補完システム。
3. 前記本体装置は、
   前記第２のマイクにより集音された音データから前記利用者の周辺状況に応じて異なる周波数帯の音を強調した強調音データを前記聴覚補完情報として生成して前記イヤピースに出力し、
   前記イヤピースは、
   前記第１のマイクにより集音された音データからノイズを除去しつつ増幅した出力音データと前記強調音データとを合成した合成音データを出力する
   ことを特徴とする請求項１又は２に記載の聴覚補完システム。
4. 前記本体装置は、
   他の装置から音データを受信した場合に、前記他の装置から受信した音データを連携音データとして前記イヤピースに出力し、
   前記イヤピースは、
   前記第１のマイクにより集音された音データからノイズを除去しつつ増幅した出力音データと前記連携音データとを合成した合成音データを出力する
   ことを特徴とする請求項１、２又は３に記載の聴覚補完システム。
5. 前記本体装置は、
   前記第２のマイクにより集音された音データから音の到来方向を示す音方向データを前記聴覚補完情報として生成し、前記音方向データを所定の表示手段に表示制御する
   ことを特徴とする請求項１〜４のいずれか一つに記載の聴覚補完システム。
6. 前記本体装置は、
   前記第２のマイクにより集音された音データに含まれる音声から話者の感情を示す話者感情データを前記聴覚補完情報として生成し、前記話者感情データを所定の表示手段に表示制御する
   ことを特徴とする請求項１〜５のいずれか一つに記載の聴覚補完システム。
7. 前記イヤピースが載置された場合に当該イヤピースを無線充電するポッドと、
   前記本体装置が載置された場合に当該本体装置を無線充電するクレイドルと
   をさらに備え、
   前記本体装置は、前記クレイドルにより無線充電されるとともに、前記イヤピースを無線充電する無線充電手段をさらに備えた
   ことを特徴とする請求項１〜６のいずれか一つに記載の聴覚補完システム。
8. 利用者の耳に装着されるイヤピースが、前記利用者に到来する音データを集音する第１の集音ステップと、
   前記イヤピースと通信可能に接続された本体装置が、前記利用者に到来する音データを集音する第２の集音ステップと、
   前記本体装置が、前記第２の集音ステップにより集音された音データから前記利用者の聴覚を補完する聴覚補完情報を生成する聴覚補完情報生成ステップと、
   前記本体装置が、前記聴覚補完情報生成ステップにより生成された前記聴覚補完情報を報知する報知ステップと、
   前記イヤピースが、前記第１の集音ステップにより集音された音データからノイズを除去しつつ増幅した出力音データを生成して出力する音出力ステップと
   を含んだことを特徴とする聴覚補完方法。

Images