JP2015139084A - 聴覚補完システム、聴覚補完装置及び聴覚補完方法 - Google Patents

Abstract

【課題】利用者の聴覚を効率的に補完し、もって利用者に対して快適な生活環境を提供すること。【解決手段】コアユニット２０の聴覚補完処理部２３ａは、自装置で集音した音データから生活音データ、音方向データ及び話者感情データ等を聴覚補完情報として生成する。聴覚補完処理部２３ａは、生活音データをイヤピース１０に送信し、音方向データ及び話者感情データを自装置の表示部２７ａへの表示制御に用いる。イヤピース１０は、自装置で集音した音データのノイズを除去しつつ増幅し、コアユニット２０から受信した生活音データと合成して出力する。【選択図】図１

Description

この発明は、利用者の聴覚を補完する聴覚補完システム、聴覚補完装置及び聴覚補完方法に関する。

従来、音を増幅する補聴器により聴覚障害者の聴こえの問題を解消する技術が知られている。最近では、音をデジタル信号処理し、聴覚障害者に対してノイズを低減したクリアな音声を提供するデジタル方式の補聴器が主流になりつつある。

例えば、特許文献１には、アナログ入力音信号をデジタル入力信号に変換し、外部メモリからプログラム及び設定値を読み込み、デジタル入力信号に対して信号処理を行い、信号処理した信号をアナログ出力信号に変換し、アナログ出力信号又はアナログ入力音信号を切り替えて出力音信号として出力する技術が開示されている。また、低音域と高音域を分割しつつ必要に応じて高音域を低減することでノイズを低減する技術も知られている（例えば、特許文献２参照）。

このように、上記特許文献１及び２等に代表される従来の補聴器では、聴覚障害者に対してよりクリアな音声を提供する観点から様々な工夫がなされている。

特開２０１１−０３５６８４号公報 特開２０１２−１０９９３３号公報

しかしながら、聴覚障害者は、可能な限り聴覚に支障がない健聴者と同等な生活スタイルで日常を過ごすことを望んでおり、単にノイズが低減されたクリアな音声で話者の発話内容を聴き取ることを望んでいるわけではない。

例えば、健聴者は、台所から聴こえるコトコト音などの生活音により安らぎや充実感等を感じる場合が多いが、かかる生活音がノイズとともに除去されてしまうと、聴覚障害者が生活音に伴う安らぎや充実感を得ることができない。なお、聴覚障害者が生活音を聴き取れるようにノイズ除去レベルを下げると、該聴覚障害者が公共場所等に所在する際に却ってノイズが増加してしまい、聴覚障害者がクリアな音声を聴き取れない結果となる。

また、健聴者は、話者の声の高低のパターンを示すトーン並びに声の響きや調子を示す声色から話者の心中を察するケースが多いが、デジタル方式で量子化する際の量子化誤差等によってトーンや声色に関する情報が失われると、聴覚障害者が健聴者と同様に話者の心中を察することができない結果となる。

さらに、健聴者は、複数の話者と会話する場合に、個々の話者の声の周波数の違いや声の到来方向などを考慮して誰の発言であるかを無意識に認識しているが、上記量子化誤差等により方向情報や周波数のわずかな差違が失われると、誰の発言であるかを認識できない結果となる。

これらのことから、聴覚障害者と健聴者の間に所在する聴覚に関するギャップを補完し、聴覚障害者に対して健聴者と同等な生活スタイルをいかにして提供するかが重要な課題となっている。なお、かかる課題は、聴覚障害者のみについて生ずる課題ではなく、健聴者のうちの比較的難聴傾向にある利用者についても同様に生ずる課題である。

本発明は、上記従来の課題を解決するためになされたものであって、利用者の聴覚を効率的に補完し、もって利用者に対して快適な生活環境を提供することができる聴覚補完システム、聴覚補完装置及び聴覚補完方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明は、利用者に到来する音データを集音する１又は複数の集音手段と、前記集音手段により集音された音データから音声を抽出する音声抽出手段と、前記集音手段により集音された音データから前記利用者の聴覚を補完する聴覚補完情報を抽出する聴覚補完情報抽出手段と、前記聴覚補完情報抽出手段により抽出された聴覚補完情報を報知する報知手段と、少なくとも前記音声抽出手段により抽出された音声を含む出力音データを前記利用者に出力する音出力手段とを備えたことを特徴とする。

また、本発明は、上記発明において、前記聴覚補完情報抽出手段は、前記集音手段により集音された音データから所定の周波数帯の音を前記聴覚補完情報として抽出し、前記報知手段は、前記聴覚補完情報抽出手段により抽出された所定の周波数帯の音を前記音声抽出手段により抽出された音声に重畳して前記出力音データを生成することを特徴とする。

また、本発明は、上記発明において、前記利用者の周辺状況を判定する状況判定手段をさらに備え、前記聴覚補完情報抽出手段は、前記集音手段により集音された音データから前記周辺状況に対応した周波数帯の音を前記聴覚補完情報として抽出し、前記報知手段は、前記聴覚補完情報抽出手段により抽出された周波数帯の音を前記音声抽出手段により抽出された音声に重畳して前記出力音データを生成することを特徴とする。

また、本発明は、上記発明において、前記聴覚補完情報抽出手段は、前記集音手段により集音された音データに含まれる音の到来方向を前記聴覚補完情報として抽出し、前記報知手段は、前記音データに含まれる音の到来方向を所定の表示手段に表示制御することを特徴とする。

また、本発明は、上記発明において、前記集音手段を複数備え、前記聴覚補完情報抽出手段は、前記複数の集音手段により集音された複数の音データにおける音の到来時間の差に応じて到来方向を判定することを特徴とする。

また、本発明は、上記発明において、前記聴覚補完情報抽出手段は、前記集音手段により集音された音データに含まれる音声から話者の感情を前記聴覚補完情報として抽出し、前記報知手段は、前記話者の感情を所定の表示手段に表示制御することを特徴とする。

また、本発明は、上記発明において、前記聴覚補完情報抽出手段は、前記集音手段により集音された音データに含まれる音声の大きさ、高さ及び／又はピッチの変化を検出し、検出した変化により推定される話者の感情を前記聴覚補完情報として抽出することを特徴とする。

また、本発明は、利用者の耳に装着される聴覚補完装置であって、前記利用者に到来する音データを集音する１又は複数の集音手段と、前記集音手段により集音された音データから音声を抽出する音声抽出手段と、前記集音手段により集音された音データから前記利用者の聴覚を補完する聴覚補完情報を抽出する聴覚補完情報抽出手段と、前記聴覚補完情報抽出手段により抽出された聴覚補完情報を報知する報知手段と、少なくとも前記音声抽出手段により抽出された音声を含む出力音データを前記利用者に出力する音出力手段とを備えたことを特徴とする。

また、本発明は、利用者に到来する音データを集音する集音ステップと、前記集音ステップにより集音された音データから音声を抽出する音声抽出ステップと、前記集音ステップにより集音された音データから前記利用者の聴覚を補完する聴覚補完情報を抽出する聴覚補完情報抽出ステップと、前記聴覚補完情報抽出ステップにより抽出された聴覚補完情報を報知する報知ステップと、少なくとも前記音声抽出ステップにより抽出された音声を含む出力音データを前記利用者に出力する音出力ステップとを含んだことを特徴とする。

本発明によれば、利用者に到来する音データを集音し、集音された音データから音声を抽出するとともに利用者の聴覚を補完する聴覚補完情報を抽出し、抽出された聴覚補完情報を報知し、抽出された音声を含む出力音データを利用者に出力するよう構成したので、利用者の聴覚を効率的に補完し、もって利用者に対して快適な生活環境を提供することができる。

図１は、実施例１に係る聴覚補完システムについて説明するための説明図である。 図２は、図１に示したイヤピースの内部構成を示すブロック図である。 図３は、図１に示したコアユニットの内部構成を示すブロック図である。 図４は、コアユニットによる音データの処理について説明するための説明図である。 図５は、フィルタの選択について説明するための説明図である。 図６は、音の到来方向の識別について説明するための説明図である。 図７は、話者の感情の識別について説明するための説明図である。 図８は、音データに対するフィルタリングについて説明するための説明図である。 図９は、コアユニットによる音データの処理手順を示すフローチャートである。 図１０は、実施例２に係る聴覚補完装置であるイヤピースの構成を示すブロック図である。 図１１は、図１０に示したイヤピースによる音データの処理手順を示すフローチャートである。 図１２は、実施例３に係る聴覚補完システムについて説明するための説明図である。 図１３は、図１２に示したイヤピースの内部構成を示すブロック図である。 図１４は、図１２に示したコアユニットの内部構成を示すブロック図である。

以下に、添付図面を参照して、本発明に係る聴覚補完システム、聴覚補完装置及び聴覚補完方法の好適な実施例を詳細に説明する。

まず、本実施例１に係る聴覚補完システムについて説明する。図１は、聴覚補完システムのシステム構成を示す図である。図１に示すように、聴覚補完システムは、イヤピース１０と、コアユニット２０とを有する。

イヤピース１０は、利用者の耳穴に挿入することで装着される耳穴式の装置である。このイヤピース１０は、本実施例で採用した耳穴式に限定されるものではなく、耳のひだに入れる耳ひだ式や耳に掛ける耳掛け式であっても良い。

コアユニット２０は、本発明の聴覚補完に係る処理等を行う本体装置であり、ブルートゥース（Bluetooth）（登録商標）や赤外線等の近距離通信によってイヤピース１０と通信可能に接続される。コアユニット２０は、利用者のポケットへの収納や、ストラップ等を用いた装着が可能である。

利用者の就寝時など該利用者がイヤピース１０を使用しない場合には、イヤピース１０をポッドやクレイドル等に載置し、非接触で無線充電することができる。同様に、利用者の就寝時など該利用者がコアユニット２０を使用しない場合には、コアユニット２０をクレイドル等に載置し、非接触で無線充電することができる。なお、イヤピース１０は、コアユニット２０により非接触で無線充電することも可能である。

イヤピース１０及びコアユニット２０は、それぞれ外部から到来する音を集音して音データを生成する。

コアユニット２０は、自装置で集音した音データから聴覚補完情報を生成する聴覚補完処理部２３ａを有している。具体的には、この聴覚補完処理部２３ａは、自装置で集音した音データから生活音データ、音方向データ及び話者感情データを含む聴覚補完情報を生成する。

この生活音データは、自装置で集音した音データから、台所から聴こえるコトコト音などの生活音を抽出したデータである。生活音データは、あらかじめ登録された抽出対象となる生活音の周波数及びパターンを自装置で集音した音データから抽出することで生成される。

音方向データは、自装置で集音した音データの到来方向を示すデータである。話者感情データは、自装置で集音した音データに含まれる音声から抽出した話者の感情に係るデータである。時系列的に見て話者の音声のトーンや声色が変化した場合には、話者の感情に起伏が生じたものと判定し、これを話者感情データとして抽出する。

聴覚補完処理部２３ａは、生活音データをイヤピース１０に送信するとともに、音方向データ及び話者感情データを自装置の表示部２７ａに表示制御する。図１では、話者の感情を示す話者アイコンＦ１と、音声の到来方向を示す音声アイコンＦ２を表示部２７ａに表示した例を図示している。例えば、利用者自身の位置を表示部２７ａの中心とし、話者アイコンＦ１の相対位置と音声アイコンＦ２の表示角度により、話者の音声の到来方向を認識することができるとともに、話者アイコンＦ１の図柄によって話者の感情を推測することが可能となる。

イヤピース１０は、自装置で集音した音データからノイズを除去しつつ、この音データに含まれる音声帯域から音声を抽出する音声抽出部１３ａを有する。この音声抽出部１３ａは、自装置で集音した音データのうち、特に音声を効果的に聞き取ることができるよう調整されている。

イヤピース１０は、音声抽出部１３ａが出力した出力音データと、コアユニット２０から受信した生活音データとを合成して出力する。このため、利用者は、音声だけでなく生活音も良好に聞き取ることができ、これにより台所作業を行う家族の行動を認識し、もって安心感や安らぎを感じることが可能となる。

なお、コアユニット２０から生活音データを受信しない場合には、音声抽出部１３ａが出力した出力音データがそのまま出力されるので、イヤピース１０が単体の補聴器として動作する。なお、話者の感情をトーン信号などを使ってイヤピース１０を介して音で出力することも可能である。

次に、図１に示したイヤピース１０の内部構成について説明する。図２は、図１に示したイヤピース１０の内部構成を示すブロック図である。図２に示すように、イヤピース１０は、マイク１１、ＡＤ変換部１２、制御部１３、無線通信部１４、電源部１５、ＤＡ変換部１６及びイヤホン１７を有する。

マイク１１は、利用者に到来する音を集音し、アナログ信号として出力する集音手段である。ＡＤ変換部１２は、マイク１１が出力したアナログ信号をデジタル信号に変換し、制御部１３に出力する。

無線通信部１４は、コアユニット２０と無線通信を行う通信ユニットである。無線通信部１４は、コアユニット２０から生活音データ等の音データを受信し、制御部１３に出力する。

制御部１３は、デジタル信号処理を行うＤＳＰ（Digital Signal Processor）である。制御部１３は、その内部に音声抽出部１３ａ及び出力合成部１３ｂを有する。音声抽出部１３ａは、ＡＤ変換部１２が出力したデジタル信号からノイズ成分をフィルタリングし、音声に対応する周波数帯に増幅を行って出力音データを生成する音声抽出手段である。

出力合成部１３ｂは、音声抽出部１３ａが生成した出力音データと無線通信部１４が受信した音データとを合成し、合成音データを生成する。なお、コアユニット２０から音データを受信していない場合には、音声抽出部１３ａが生成した出力音データと合成音データとは同一となる。

ＤＡ変換部１６は、制御部１３が出力したデジタル信号である合成音データをアナログ信号に変換する。イヤホン１７は、ＤＡ変換部１６の出力したアナログ信号により、利用者の耳に音を出力する音出力手段として機能する。

電源部１５は、制御部１３及び無線通信部１４に電力を供給する電源であり、この電源部１５は、既に説明したようにポッド、クレイドル又はコアユニット２０により無線充電可能である。

図１に示したイヤピース１０を単独で用いる場合には左右いずれかの耳に装着することとなるが、２つのイヤピース１０を左右の耳にそれぞれ装着することとしてもよい。

次に、図１に示したコアユニット２０の内部構成について説明する。図３は、図１に示したコアユニット２０の内部構成を示すブロック図である。図３に示すように、コアユニット２０は、マイク２１ａ、マイク２１ｂ、ＡＤ変換部２２ａ、ＡＤ変換部２２ｂ、制御部２３、無線通信部２４、電源部２５、記憶部２６及びタッチパネルディスプレイ２７を有する。

マイク２１ａ及びマイク２１ｂは、利用者に到来する音を集音し、アナログ信号として出力する集音手段である。マイク２１ａとマイク２１ｂとは、コアユニット２０の筐体上の離隔した位置に設ける。ＡＤ変換部２２ａは、マイク２１ａが出力したアナログ信号をデジタル信号に変換し、制御部２３に出力する。ＡＤ変換部２２ｂは、マイク２１ｂが出力したアナログ信号をデジタル信号に変換し、制御部２３に出力する。

無線通信部２４は、イヤピース１０や外部の装置と無線通信を行う通信ユニットである。無線通信部２４は、制御部２３が出力した音データをイヤピース１０に送信する。

記憶部２６は、フラッシュメモリ等からなる記憶デバイスである。記憶部２６は、コアユニット２０の制御に関する制御データの格納、録音データの格納等に用いられる。

タッチパネルディスプレイ２７は、液晶ディスプレイ等からなる表示部２７ａと、タッチパネル等からなる操作部２７ｂとを組み合わせた表示操作部である。なお、操作部２７ｂとして物理的なボタン等を設けてもよい。

制御部２３は、デジタル信号処理を行うＤＳＰ（Digital Signal Processor）である。制御部２３は、その内部に聴覚補完処理部２３ａと、イヤピース出力処理部２３ｃと、録音管理部２３ｄと、充電管理部２３ｅと、通信管理部２３ｆとを有する。

聴覚補完処理部２３ａは、マイク２１ａ及びマイク２１ｂにより集音された音データから利用者の聴覚を補完する聴覚補完情報を生成する聴覚補完情報抽出手段である。その詳細については後述するが、聴覚補完処理部２３ａは、生成した聴覚補完情報のうち、生活音データ等の音データをイヤピース出力処理部２３ｃに出力するとともに、音方向データ及び話者感情データ等を表示部２７ａへの表示制御に用いる。すなわち、音方向データ及び話者感情データ等については、表示部２７ａが報知手段として用いられることになる。また、生活音データ等の音データについては、イヤピース出力処理部２３ｃによりイヤピース１０に出力され、最終的にイヤホン１７から出力されるので、イヤホン１７が報知手段として機能することとなる。

イヤピース出力処理部２３ｃは、聴覚補完処理部２３ａが出力した音データをイヤピース１０に出力する処理部である。具体的には、イヤピース出力処理部２３ｃは、イヤピース１０に出力すべき音データを合成し、合成した音データを無線通信部２４によりイヤピース１０に送信する。

録音管理部２３ｄは、マイク２１ａ及びマイク２１ｂが集音した音データを録音データとして記憶部２６に格納し、利用者の操作に応じて再生や消去を行う処理部である。録音データの記憶部２６への格納は常時行うことが好適である。

充電管理部２３ｅは、コアユニット２０及びイヤピース１０の充電を管理する処理部である。充電管理部２３ｅは、コアユニット２０及びイヤピース１０の充電量を監視し、必要に応じて利用者に報知する。また、充電管理部２３ｅは、コアユニット２０の充電を行ったクレイドルを識別し、当該クレイドルを特定するクレイドルＩＤを記憶部２６に格納する。また、充電管理部２３ｅは、イヤピース１０が所定距離以内に所在している場合には、イヤピース１０を充電する。

通信管理部２３ｆは、無線通信部２４による通信状況を管理する処理部である。通信管理部２３ｆは、イヤピース１０との通信が途切れた場合に、利用者に対して報知を行う。また、通信管理部２３ｆは、イヤピース１０との通信が途切れた場合に、その時刻情報を記憶部２６に格納する。ＧＰＳ（Global Positioning System）等により位置情報を取得可能であれば、イヤピース１０との通信が途切れた場所を記憶部２６に格納してもよい。このようにイヤピース１０との通信途絶時の情報を格納することにより、利用者がイヤピース１０を紛失した際にイヤピース１０を見つける手がかりを提供することができる。

電源部２５は、制御部２３、無線通信部２４、記憶部２６及びタッチパネルディスプレイ２７に電力を供給する電源であり、この電源部２５は、既に説明したようにクレイドルにより無線充電可能である。

次に、コアユニット２０による音データの処理についてさらに説明する。図４は、コアユニット２０による音データの処理について説明するための説明図である。図４に示すように、マイク２１ａ及びマイク２１ｂが集音した音データは、ＡＤ変換部２２ａ及びＡＤ変換部２２ｂによりデジタル信号に変換された後、録音管理部２３ｄに出力される。

録音管理部２３ｄは、マイク２１ａ及びマイク２１ｂが集音した音データを録音データとして記憶部２６に格納するとともに、聴覚補完処理部２３ａに出力する。また、録音管理部２３ｄは、記憶部２６から録音データを読み出して、聴覚補完処理部２３ａに出力する録音再生が可能である。

聴覚補完処理部２３ａは、方向識別部２３ａ１、個人識別部２３ａ２、感情識別部２３ａ３、フィルタ選択部２３ａ４、増幅部２３ａ５、音声フィルタ２３ａ６、生活音フィルタ２３ａ７、車両走行音フィルタ２３ａ８及び緊急車両音フィルタ２３ａ９を有する。

方向識別部２３ａ１は、マイク２１ａが取得した音データ（ＡＤ変換部２２ａの出力）と、マイク２１ｂが取得した音データ（ＡＤ変換部２２ｂの出力）とを用いて音の到来方向を識別する。具体的には、方向識別部２３ａ１は、マイク２１ａとマイク２１ｂとがそれぞれ取得した音データにおける音の到来時間の差を算出し、算出した到来時間の差によって音の到来方向を識別する。方向識別部２３ａ１は、識別した音の到来方向を示す音方向データを生成し、表示部２７ａの表示制御に用いる。

個人識別部２３ａ２は、マイク２１ａが取得した音データを用いて音声の話者を識別する。具体的には、個人識別部２３ａ２は、マイク２１ａが取得した音データから音声の特徴パラメータを算出し、特徴パラメータが一致する音声を同一人物の音声であると識別する。音声の特徴パラメータの算出には、ＭＦＣＣ（Mel-Frequency Cepstrum Coefficient）等の任意の手法を用いることができる。

個人識別部２３ａ２は、話者を識別した場合には、話者に関する情報を話者識別データとして表示部２７ａの表示制御に用いる。また、特定の話者について音声の特徴パラメータと個人名とを対応付け、登録データとして記憶部２６に格納しておけば、マイク２１ａが取得した音データから算出した特徴パラメータが登録データの特徴パラメータと一致した場合に、該登録データの個人名を表示することも可能である。

感情識別部２３ａ３は、マイク２１ａが取得した音データを用いて話者の感情を識別する。具体的には、感情識別部２３ａ３は、マイク２１ａが取得した音データに含まれる音声の大きさ、高さ及びピッチの変化を検出し、検出した変化により話者の感情を識別する。話者が興奮して話すときの音声は、平静に話すときの音声に比べると音量が大きくなり、音域が高くなり、言葉が早口になる傾向がある。そこで、音声の大きさ、高さ及びピッチの変化を検出することにより、話者の感情の変化を推定できるのである。感情識別部２３ａ３は、識別した話者の感情を示す話者感情データを生成し、表示部２７ａへの表示制御に用いる。

音声フィルタ２３ａ６は、マイク２１ａが取得した音データ（ＡＤ変換部２２ａの出力）から、音声に対応する周波数帯を抽出して音声データとして出力するフィルタである。生活音フィルタ２３ａ７は、マイク２１ａが取得した音データから、生活音に対応する周波数帯を抽出して生活音データとして出力するフィルタである。車両走行音フィルタ２３ａ８は、マイク２１ａが取得した音データから、車両走行音に対応する周波数帯を抽出して車両走行音データとして出力するフィルタである。緊急車両音フィルタ２３ａ９は、マイク２１ａが取得した音データから、緊急車両のサイレンに対応する周波数帯を抽出して緊急車両音データとして出力するフィルタである。なお、ここでは４種のフィルタを用いる場合を例示したが、任意のフィルタを追加することができる。

フィルタ選択部２３ａ４は、聴覚補完システムの利用状況に応じて各フィルタの使用可否を選択する状況判定手段として機能する。利用状況は、利用者の操作入力によっても決定可能であるが、充電管理部２３ｅから最後に充電に使用したクレイドルのクレイドルＩＤを取得し、このクレイドルＩＤに応じて決定することもできる。

図５は、フィルタの選択について説明するための説明図である。図５（ａ）では、シーン種別「自宅」、シーン種別「運転中」、シーン種別「職場」、シーン種別「録音再生」の４つの利用状況について、各フィルタの使用可否を示している。

シーン種別「自宅」では、音声フィルタ２３ａ６がオフ（不使用）、生活音フィルタ２３ａ７がオン（使用）、車両走行音フィルタ２３ａ８がオフ、緊急車両音フィルタ２３ａ９がオフとなっている。音声フィルタ２３ａ６がオフであるのは、イヤピース１０において音声抽出が行われているためである。従って、自宅で聴覚補完システムを使用する場合には、イヤピース１０からは音声と生活音が強調されて出力されることとなる。

シーン種別「運転中」では、音声フィルタ２３ａ６がオフ、生活音フィルタ２３ａ７がオフ、車両走行音フィルタ２３ａ８がオン、緊急車両音フィルタ２３ａ９がオンとなっている。音声フィルタ２３ａ６がオフであるのは、イヤピース１０において音声抽出が行われているためである。従って、運転中に聴覚補完システムを使用する場合には、イヤピース１０からは音声、車両走行音及び緊急車両音が強調されて出力されることとなる。

シーン種別「職場」では、音声フィルタ２３ａ６がオフ、生活音フィルタ２３ａ７がオフ、車両走行音フィルタ２３ａ８がオフ、緊急車両音フィルタ２３ａ９がオフとなっている。この場合には、フィルタの出力はイヤピース１０に送信されないが、イヤピース１０において音声抽出が行われているので、音声が強調されて出力されることとなる。

シーン種別「録音再生」では、音声フィルタ２３ａ６がオン、生活音フィルタ２３ａ７がオフ、車両走行音フィルタ２３ａ８がオフ、緊急車両音フィルタ２３ａ９がオフとなっている。録音再生時には、イヤピース１０で音声抽出が行うことができないため、コアユニット２０で音声の抽出を行うのである。なお、録音再生を行う場合には、各フィルタのオンオフを利用者が個別に選択可能としてもよい。

図５（ｂ）は、クレイドルＩＤとシーン種別の対応関係を示す図である。図５（ｂ）では、クレイドルＩＤが「Ｃ００１」であるクレイドルが自宅に設置されており、クレイドルＩＤが「Ｃ００２」であるクレイドルが車両に設置されており、クレイドルＩＤが「Ｃ００３」であるクレイドルが職場に設置されていることを示している。従って、最後に充電に使用したクレイドルのクレイドルＩＤが「Ｃ００１」であれば、シーン種別を「自宅」と判定し、最後に充電に使用したクレイドルのクレイドルＩＤが「Ｃ００２」であれば、シーン種別を「運転中」と判定し、最後に充電に使用したクレイドルのクレイドルＩＤが「Ｃ００３」であれば、シーン種別を「職場」と判定することができる。

なお、録音管理部２３ｄが記憶部２６から読み出した録音データを聴覚補完処理部２３ａに出力している場合には、最後に充電に使用したクレイドルのクレイドルＩＤに関わらず、シーン種別「録音再生」に決定される。

図４に戻って説明を続ける。フィルタ選択部２３ａ４は、決定したシーン種別に応じて「オン」に設定されたフィルタに、マイク２１ａが取得した音データを出力する。各フィルタは、マイク２１ａが取得した音データから所定の周波数帯を抽出し、増幅部２３ａ５に出力する。

増幅部２３ａ５は、各フィルタの出力を合成して増幅し、イヤピース出力処理部２３ｃに出力する。すなわち、増幅部２３ａ５が出力する音データには、音声データ、生活音データ、車両走行音データ、緊急車両音データ等の強調音データが含まれることとなる。なお、各フィルタの出力に対する増幅率は、利用者の聴力の特性に合わせて個別に設定可能である。

イヤピース出力処理部２３ｃは、聴覚補完処理部２３ａが出力した音データをイヤピース１０に送信する。

次に、音の到来方向の識別についてさらに説明する。図６は、音の到来方向の識別について説明するための説明図である。マイク２１ａとマイク２１ｂとは、コアユニット２０の筐体上の離隔した位置に配置されているため、図６（ａ）に示すように、音の到来時間に差が生じる。方向識別部２３ａ１は、マイク２１ａへの音の到来時間とマイク２１ｂへの音の到来時間との差分ｄＴを算出する。

図６（ｂ）に示すように、差分ｄＴが０より大きければ音の到来方向はマイク２１ａ側であり、差分ｄＴが０より小さければ音の到来方向はマイク２１ｂ側である。従って、マイク２１ａ及びマイク２１ｂの配置と、差分ｄＴとによって、音の到来方向を識別することができるのである。

次に、話者の感情の識別についてさらに説明する。図７は、話者の感情の識別について説明するための説明図である。図７に示すように、感情識別部２３ａ３は、マイク２１ａが取得した音データに含まれる音声の大きさ、高さ及びピッチの変化を検出する。

図７では、音声区間Ｒ２における音声は、音声区間Ｒ１における音声よりも振幅が大きく、音域が高く、ピッチが速くなっている。このため、感情識別部２３ａ３は、音声区間Ｒ２における話者の感情が、音声区間Ｒ１における話者の感情よりも興奮した状態にあると推定する。この場合には、感情識別部２３ａ３は、興奮した状態にあることを模式的に示す感情表示を表示部２７ａに表示制御する。

また、音声区間Ｒ３における音声は、音声区間Ｒ１における音声よりも振幅が小さく、音域が低く、ピッチが遅くなっている。このため、感情識別部２３ａ３は、音声区間Ｒ３における話者の感情が、音声区間Ｒ１における話者の感情よりも沈静した状態にあると推定する。この場合には、感情識別部２３ａ３は、沈静した状態にあることを模式的に示す感情表示を表示部２７ａに表示制御する。

次に、音データに対するフィルタリングについて説明する。図８は、音データに対するフィルタリングについて説明するための説明図である。図８（ａ）に示すように、音声フィルタ２３ａ６は、マイク２１ａが出力する音データから音声に対応する周波数帯の音データを抽出する。

同様に、生活音フィルタ２３ａ７は生活音に対応する周波数帯の音データを抽出し、車両走行音フィルタ２３ａ８は車両走行音に対応する周波数帯の音データを抽出し、緊急車両音フィルタ２３ａ９は緊急車両のサイレンに対応する周波数帯の音データを抽出する。

従って、フィルタ選択部２３ａ４が音声フィルタ２３ａ６及び生活音フィルタ２３ａ７を選択した場合には、図８（ｂ）に示すように、増幅部２３ａ５は、音声フィルタ２３ａ６が抽出した周波数帯の音データと、生活音フィルタ２３ａ７が抽出した周波数帯の音データとを合成して増幅することとなる。

次に、コアユニット２０による音データの処理手順について説明する。図９は、コアユニット２０による音データの処理手順を示すフローチャートである。コアユニット２０は、マイク２１ａ及びマイク２１ｂの出力をＡＤ変換部２２ａ及びＡＤ変換部２２ｂによりデジタル信号に変換して取得する（ステップＳ１０１）。録音管理部２３ｄは、マイク２１ａ及びマイク２１ｂが集音した音データを録音データとして記憶部２６に格納する（ステップＳ１０２）。

聴覚補完処理部２３ａ内の方向識別部２３ａ１は、マイク２１ａ及びマイク２１ｂの出力から音の到来時間の差を算出し、算出した到来時間の差によって音の到来方向を識別する（ステップＳ１０３）。

聴覚補完処理部２３ａ内の個人識別部２３ａ２は、マイク２１ａの出力から音声の特徴パラメータを算出し、特徴パラメータが一致する音声を同一人物の音声であると識別する（ステップＳ１０４）。

聴覚補完処理部２３ａ内の感情識別部２３ａ３は、マイク２１ａの出力に含まれる音声の大きさ、高さ及びピッチの変化を検出し、検出した変化により話者の感情を識別する（ステップＳ１０５）。

聴覚補完処理部２３ａは、方向識別部２３ａ１により識別した音の到来方向と、個人識別部２３ａ２による話者の識別結果と、感情識別部２３ａ３により識別した話者の感情とを表示部２７ａに表示制御する（ステップＳ１０６）。

フィルタ選択部２３ａ４は、利用者の操作入力、最後に充電に使用したクレイドルのクレイドルＩＤ、録音データの再生中であるか否か等によりシーン種別を決定し（ステップＳ１０７）、決定したシーン種別に応じたフィルタを選択する（ステップＳ１０８）。

フィルタ選択部２３ａ４により選択されたフィルタは、マイク２１ａの出力から所定の周波数帯を抽出し強調音データ（音声データ、生活音データ、車両走行音データ、緊急車両音データ等）として出力するフィルタリングを行う（ステップＳ１０９）。増幅部２３ａ５は、各フィルタが出力した強調音データを合成して増幅する（ステップＳ１１０）。イヤピース出力処理部２３ｃは、合成の結果得られた音データをイヤピース１０に送信し（ステップＳ１１１）、処理を終了する。

上述してきたように、本実施例１に係る聴覚補完システムは、コアユニット２０のマイク２１ａ及びマイク２１ｂで集音した音データから音の到来方向や話者の感情等を聴覚補完情報として抽出し、表示部２７ａに表示制御することにより、利用者の聴覚を視覚によって効率的に補完し、もって利用者に対して快適な生活環境を提供することができる。

また、生活音等についても対応する周波数帯の音データを抽出して増幅し、イヤピース１０から出力することができるので、利用者は音声以外の音データについても聞き取ることが可能となり、もって利用者に対して快適な生活環境を提供することができる。

また、聴覚補完システムが利用される際の周辺状況を判定し、周辺状況に応じた周波数帯の音データを抽出して増幅し、イヤピース１０から出力することができるので、利用者は状況に応じて種々の音を聞き取ることが可能となる。

また、コアユニット２０はクレイドルにより無線充電可能であり、イヤピース１０はポッド、クレイドル又はコアユニット２０により無線充電可能である。イヤピース１０はコアユニット２０により無線充電可能であるため、外出先でポッドやクレイドルがない状況であってもイヤピース１０の充電が可能である。

実施例１では、イヤピース１０とコアユニット２０とを有する聴覚補完システムにおいて聴覚補完を行う構成を示したが、本実施例２ではイヤピース単体で聴覚補完を行う構成について説明する。

図１０は、実施例２に係る聴覚補完装置であるイヤピース１１０の構成を示すブロック図である。図１０に示すように、イヤピース１１０は、マイク１１と、ＡＤ変換部１２と、制御部１１３と、電源部１５と、ＤＡ変換部１６と、イヤホン１７とを有する。

マイク１１は、利用者に到来する音データを集音し、アナログ信号として出力する集音手段である。ＡＤ変換部１２は、マイク１１が出力したアナログ信号をデジタル信号に変換し、制御部１１３に出力する。

制御部１１３は、デジタル信号処理を行うＤＳＰ（Digital Signal Processor）である。制御部１１３は、その内部にフィルタ選択部１１３ａ、音声フィルタ１１３ｂ１、生活音フィルタ１１３ｂ２、車両走行音フィルタ１１３ｂ３、緊急車両音フィルタ１１３ｂ４、増幅部１１３ｃ及び充電管理部１１３ｄを有する。

音声フィルタ１１３ｂ１は、マイク１１が取得した音データ（ＡＤ変換部１２の出力）から、音声に対応する周波数帯を抽出して音声データとして出力するフィルタである。生活音フィルタ１１３ｂ２は、マイク１１が取得した音データから、生活音に対応する周波数帯を抽出して生活音データとして出力するフィルタである。車両走行音フィルタ１１３ｂ３は、マイク１１が取得した音データから、車両走行音に対応する周波数帯を抽出して車両走行音データとして出力するフィルタである。緊急車両音フィルタ１１３ｂ４は、マイク１１が取得した音データから、緊急車両のサイレンに対応する周波数帯を抽出して緊急車両音データとして出力するフィルタである。なお、ここでは４種のフィルタを用いる場合を例示したが、任意のフィルタを追加することができる。

充電管理部１１３ｄは、イヤピース１１０の充電を管理する処理部である。充電管理部１１３ｄは、イヤピース１１０の充電量を監視し、必要に応じて利用者に報知する。また、充電管理部１１３ｄは、イヤピース１１０の充電を行った装置を識別し、当該装置を特定する装置ＩＤをフィルタ選択部１１３ａに出力する。

フィルタ選択部１１３ａは、イヤピース１１０の利用状況に応じて各フィルタの使用可否を選択する。利用状況は、利用者の操作入力によっても決定可能であるが、充電管理部１１３ｄが出力した装置ＩＤに応じて決定することもできる。

フィルタ選択部１１３ａは、決定した利用状況に応じて選択されたフィルタに、マイク１１が取得した音データを出力する。各フィルタは、マイク１１が取得した音データから所定の周波数帯を抽出し、増幅部１１３ｃに出力する。

増幅部１１３ｃは、各フィルタの出力を合成して増幅し、出力音データを生成する。増幅部１１３ｃが生成した出力音データは、ＤＡ変換部１６によりアナログ信号に変換される。イヤホン１７は、ＤＡ変換部１６の出力したアナログ信号により、利用者の耳に音を出力することとなる。

電源部１５は、制御部１１３に電力を供給する電源であり、この電源部１５は、実施例１と同様にポッドやクレイドル等により無線充電可能である。

次に、イヤピース１１０による音データの処理手順について説明する。図１１は、イヤピース１１０による音データの処理手順を示すフローチャートである。イヤピース１１０は、マイク１１の出力をＡＤ変換部１２によりデジタル信号に変換して取得する（ステップＳ２０１）。

フィルタ選択部１１３ａは、利用者の操作入力、若しくは、最後に充電に使用した装置の装置ＩＤにより利用状況を決定し（ステップＳ２０２）、決定した利用状況に応じたフィルタを選択する（ステップＳ２０３）。

フィルタ選択部１１３ａにより選択されたフィルタは、マイク１１の出力から所定の周波数帯を抽出するフィルタリングを行う（ステップＳ２０４）。増幅部１１３ｃは、各フィルタのフィルタリング結果を合成して増幅し、出力音データを生成する（ステップＳ２０５）。イヤピース１１０は、合成結果である出力音データをＤＡ変換部１６によりアナログ信号に変換し、イヤホン１７から出力して（ステップＳ２０６）、処理を終了する。

上述してきたように、本実施例２に係る聴覚補完装置であるイヤピース１１０は、マイク１１で集音した音データから生活音等に対応する周波数帯の音データを抽出して増幅し、イヤホン１７から出力するので、利用者は音声以外の音データについても聞き取ることが可能となる。

また、聴覚補完装置が利用される際の周辺状況を判定し、その状況に応じた周波数帯の音データを抽出して増幅し、イヤホン１７から出力することができるので、利用者は状況に応じて種々の音を聞き取ることが可能となる。

実施例１では、コアユニット２０が自装置で集音した音データから聴覚補完情報を生成する構成を例示したが、イヤピースが集音した音データをコアユニットに送信し、コアユニットはイヤピースから受信した音データから聴覚補完情報を生成するよう構成してもよい。本実施例３では、コアユニットがイヤピースから受信した音データを用いて聴覚補完情報を生成する構成について説明する。

図１２は、実施例３に係る聴覚補完システムについて説明するための説明図である。図１２に示すように、実施例３に係る聴覚補完システムは、イヤピース２１０Ｒと、イヤピース２１０Ｌと、コアユニット２２０とを有する。

イヤピース２１０Ｒは、利用者の右耳に装着される装置であり、イヤピース２１０Ｌは、利用者の左耳に装着される装置である。イヤピース２１０Ｒ及び２１０Ｌは、それぞれマイク及びイヤホンを内蔵しており、マイクにより集音した音データをコアユニット２２０に送信する。

コアユニット２２０内部の聴覚補完処理部２２３ａは、イヤピース２１０Ｒ及び２１０Ｌから受信した音データを用いて聴覚補完情報を生成する点が実施例１に示した聴覚補完処理部２３ａと異なる。聴覚補完処理部２２３ａは、イヤピース２１０Ｒ及び２１０Ｌから受信した音データを用いて音方向データ及び話者感情データを含む聴覚補完情報を生成する。

音方向データ及び話者感情データの生成については実施例１と同様であり、音方向データ及び話者感情データはコアユニット２２０の表示部２７ａに表示制御される。なお、音方向データの生成については、イヤピース２１０Ｒとイヤピース２１０Ｌとがそれぞれ取得した音データにおける音の到来時間の差を算出し、算出した到来時間の差によって音の到来方向を識別することとなる。

このように、コアユニット２２０は、実施例１と同様に、音方向データ及び話者感情データ等を生成し、表示部２７ａに表示制御することができる。また、図示を省略したが、コアユニット２２０は、実施例１と同様に、生活音データ等の強調音データを生成してイヤピース２１０Ｒ及び２１０Ｌに送信することができ、イヤピース２１０Ｒ及び２１０Ｌは生活音データ等の強調音データをイヤホンから出力することができる。

次に、図１２に示したイヤピース２１０Ｒの内部構成について説明する。図１３は、図１２に示したイヤピース２１０Ｒの内部構成を示すブロック図である。図１３に示すように、イヤピース２１０Ｒは、マイク１１、ＡＤ変換部１２、制御部２１３、無線通信部２１４、電源部１５、ＤＡ変換部１６及びイヤホン１７を有する。

制御部２１３は、マイク１１により集音され、ＡＤ変換部１２によりデジタル信号に変換された音データを音声抽出部１３ａに出力するとともに、無線通信部２１４に出力する。無線通信部２１４は、制御部２１３が出力した音データをコアユニット２２０に送信するとともに、コアユニット２２０から生活音データ等の音データを受信して制御部２１３に出力する。

その他の構成及び動作については実施例１に示したイヤピース１０と同様であるので、同一の構成要素には同一の符号を付して説明を省略する。また、イヤピース２１０Ｌの内部構成も図１２に示したイヤピース２１０Ｒと同様であるので説明を省略する。

次に、図１２に示したコアユニット２２０の内部構成について説明する。図１４は、図１２に示したコアユニット２２０の内部構成を示すブロック図である。図１４に示すように、コアユニット２２０は、制御部２２３、無線通信部２２４、電源部２５、記憶部２６及びタッチパネルディスプレイ２７を有する。

無線通信部２２４は、イヤピース２１０Ｒ及び２１０Ｌや外部の装置と無線通信を行う通信ユニットである。無線通信部２２４は、イヤピース２１０Ｒ及び２１０Ｌから受信した音データを制御部２２３に出力するとともに、制御部２２３が出力した音データをイヤピース２１０Ｒ及び２１０Ｌに送信する。

制御部２２３は、その内部に聴覚補完処理部２２３ａと、イヤピース出力処理部２３ｃと、録音管理部２３ｄと、充電管理部２３ｅと、通信管理部２３ｆとを有する。聴覚補完処理部２２３ａは、イヤピース２１０Ｒ及び２１０Ｌにより集音された音データから利用者の聴覚を補完する聴覚補完情報を生成する点が実施例１と異なる。その他の構成及び動作については実施例１に示したコアユニット２０と同様であるので、同一の構成要素には同一の符号を付して説明を省略する。

上述してきたように、本実施例３に係る聴覚補完システムは、イヤピース２１０Ｒ及び２１０Ｌで集音した音データから音の到来方向や話者の感情等を聴覚補完情報として抽出し、表示部２７ａに表示制御することにより、利用者の聴覚を視覚によって効率的に補完し、もって利用者に対して快適な生活環境を提供することができる。

また、生活音等についても対応する周波数帯の音データを抽出して増幅し、イヤピース２１０Ｒ及び２１０Ｌから出力することができるので、利用者は音声以外の音データについても聞き取ることが可能となり、もって利用者に対して快適な生活環境を提供することができる。

また、聴覚補完システムが利用される際の周辺状況を判定し、周辺状況に応じた周波数帯の音データを抽出して増幅し、イヤピース２１０Ｒ及び２１０Ｌから出力することができるので、利用者は状況に応じて種々の音を聞き取ることが可能となる。

なお、上記実施例１、２及び３に示した構成及び動作は、本発明を限定するものではなく、適宜変更して実施する事ができる。例えば、上記実施例１及び３では、イヤピースとコアユニットとが無線通信する構成を例示したが、イヤピースとコアユニットとを有線接続して通信するよう構成してもよい。

また、上記実施例１及び３では、音の到来方向や話者感情を表示により報知する構成を例示したが、これらをイヤピースからの音出力により報知することもできる。音の到来方向を音により報知する場合には、左右のイヤピースのいずれかから信号音を出力すればよい。また、話者感情を音により報知する場合には、話者感情が平静であると識別したならば音声をそのまま出力し、話者感情が興奮状態や沈静状態にあると識別したならば識別結果に合わせた信号音を音声に重畳して出力すればよい。このように音の到来方向や話者感情の音出力による報知は、実施例２に示したように表示部を持たない構成でも利用することができる。

また、上記実施例１及び３では、イヤピースにマイクや音声抽出部等を設け、イヤピース単体でも補聴器として利用可能となるよう構成した場合を例示したが、イヤピースが音出力のみを行う構成としてもよい。この場合には、コアユニットの音声フィルタを常にオン状態とし、イヤピースはコアユニットから受信した音データをそのまま出力することとなる。

以上のように、本発明に係る聴覚補完システム、聴覚補完装置及び聴覚補完方法は、利用者の聴覚を効率的に補完し、もって利用者に対して快適な生活環境を提供することに適している。

１０、１１０、２１０Ｒ、２１０Ｌ イヤピース
１１、２１ａ、２１ｂ マイク
１２、２２ａ、２２ｂ ＡＤ変換部
１３、２３、１１３、２１３ 制御部
１３ａ 音声抽出部
１３ｂ 出力合成部
１４、２４、２１４、２２４ 無線通信部
１５、２５ 電源部
１６ ＤＡ変換部
１７ イヤホン
２０、２２０ コアユニット
２３ａ、２２３ａ 聴覚補完処理部
２３ａ１ 方向識別部
２３ａ２ 個人識別部
２３ａ３ 感情識別部
２３ａ４、１１３ａ フィルタ選択部
２３ａ５、１１３ｃ 増幅部
２３ａ６、１１３ｂ１ 音声フィルタ
２３ａ７、１１３ｂ２ 生活音フィルタ
２３ａ８、１１３ｂ３ 車両走行音フィルタ
２３ａ９、１１３ｂ４ 緊急車両音フィルタ
２３ｃ イヤピース出力処理部
２３ｄ 録音管理部
２３ｅ、１１３ｄ 充電管理部
２３ｆ 通信管理部
２６ 記憶部
２７ タッチパネルディスプレイ
２７ａ 表示部
２７ｂ 操作部

Claims (9)

1. 利用者に到来する音データを集音する１又は複数の集音手段と、
   前記集音手段により集音された音データから音声を抽出する音声抽出手段と、
   前記集音手段により集音された音データから前記利用者の聴覚を補完する聴覚補完情報を抽出する聴覚補完情報抽出手段と、
   前記聴覚補完情報抽出手段により抽出された聴覚補完情報を報知する報知手段と、
   少なくとも前記音声抽出手段により抽出された音声を含む出力音データを前記利用者に出力する音出力手段と
   を備えたことを特徴とする聴覚補完システム。
2. 前記聴覚補完情報抽出手段は、前記集音手段により集音された音データから所定の周波数帯の音を前記聴覚補完情報として抽出し、
   前記報知手段は、前記聴覚補完情報抽出手段により抽出された所定の周波数帯の音を前記音声抽出手段により抽出された音声に重畳して前記出力音データを生成する
   ことを特徴とする請求項１に記載の聴覚補完システム。
3. 前記利用者の周辺状況を判定する状況判定手段をさらに備え、
   前記聴覚補完情報抽出手段は、前記集音手段により集音された音データから前記周辺状況に対応した周波数帯の音を前記聴覚補完情報として抽出し、
   前記報知手段は、前記聴覚補完情報抽出手段により抽出された周波数帯の音を前記音声抽出手段により抽出された音声に重畳して前記出力音データを生成する
   ことを特徴とする請求項２に記載の聴覚補完システム。
4. 前記聴覚補完情報抽出手段は、前記集音手段により集音された音データに含まれる音の到来方向を前記聴覚補完情報として抽出し、
   前記報知手段は、前記音データに含まれる音の到来方向を所定の表示手段に表示制御する
   ことを特徴とする請求項１、２又は３に記載の聴覚補完システム。
5. 前記集音手段を複数備え、
   前記聴覚補完情報抽出手段は、前記複数の集音手段により集音された複数の音データにおける音の到来時間の差に応じて到来方向を判定する
   ことを特徴とする請求項４に記載の聴覚補完システム。
6. 前記聴覚補完情報抽出手段は、前記集音手段により集音された音データに含まれる音声から話者の感情を前記聴覚補完情報として抽出し、
   前記報知手段は、前記話者の感情を所定の表示手段に表示制御する
   ことを特徴とする請求項１〜５のいずれか一つに記載の聴覚補完システム。
7. 前記聴覚補完情報抽出手段は、前記集音手段により集音された音データに含まれる音声の大きさ、高さ及び／又はピッチの変化を検出し、検出した変化により推定される話者の感情を前記聴覚補完情報として抽出する
   ことを特徴とする請求項６に記載の聴覚補完システム。
8. 利用者の耳に装着される聴覚補完装置であって、
   前記利用者に到来する音データを集音する１又は複数の集音手段と、
   前記集音手段により集音された音データから音声を抽出する音声抽出手段と、
   前記集音手段により集音された音データから前記利用者の聴覚を補完する聴覚補完情報を抽出する聴覚補完情報抽出手段と、
   前記聴覚補完情報抽出手段により抽出された聴覚補完情報を報知する報知手段と、
   少なくとも前記音声抽出手段により抽出された音声を含む出力音データを前記利用者に出力する音出力手段と
   を備えたことを特徴とする聴覚補完装置。
9. 利用者に到来する音データを集音する集音ステップと、
   前記集音ステップにより集音された音データから音声を抽出する音声抽出ステップと、
   前記集音ステップにより集音された音データから前記利用者の聴覚を補完する聴覚補完情報を抽出する聴覚補完情報抽出ステップと、
   前記聴覚補完情報抽出ステップにより抽出された聴覚補完情報を報知する報知ステップと、
   少なくとも前記音声抽出ステップにより抽出された音声を含む出力音データを前記利用者に出力する音出力ステップと
   を含んだことを特徴とする聴覚補完方法。

Images