JP2020109961A - 脳波（ｅｌｅｃｔｒｏ−ｅｎｃｅｐｈａｌｏｇｒａｍ；ｅｅｇ）信号に基づく自己調整機能を有する補聴器 - Google Patents

Abstract

【課題】発話が検出されると、この音声は神経反応と相関され、この相関の強さに基づいて明瞭度を改善する音声処理パラメータを調整する補聴器を提供する。【解決手段】補聴器は、マイクロフォン信号に基づいて処理済み信号を提供するように構成された、処理ユニットと、処理ユニットに結合され、処理済み信号に基づいて音響信号を提供するスピーカと、音響刺激に対するユーザの神経応答を測定し、センサ出力を提供するセンサと、を備える。処理ユニットは、マイクロフォン信号に基づいて発話の存在を検出し、センサ出力およびマイクロフォン信号を処理して、発話明瞭度を推定する。処理ユニットはまた、少なくとも推定された発話明瞭度に基づいて、補聴器の音声処理パラメータを調整する。【選択図】図５

Description

本出願は、概して補聴器に関する。

補聴器をフィッティングすることは難題である。音声増幅の多数の自由パラメータは、個人のニーズに基づいて選択されなければならないが、そうするための最良の基準は十分に確立されていない。オージオグラムは、容易に得られ、異なる周波数帯域における利得の客観的基準を提供するが、圧縮のような他のパラメータは、その客観的選択基準がないままである。オージオグラムのみに基づく結果として得られる音声増幅では、発話の良好な明瞭度につながらないことが多く、背景ノイズを不快に増幅してしまう場合がある。これらの問題に対処するために、オージオロジストは、主観的なフィードバックをユーザに求め、彼らの個人的な経験に基づいて選択を行う。しかしながら、オージオロジストとの時間は短いフィッティングセッションに限定され、行動的なフィードバックは信頼できない可能性があり、臨床環境では、日常経験を予測するには不十分であることが多い。このため、補聴器の調整が不十分になってしまう可能性があり、これによって、消費者にとって購入コストが高いにもかかわらず使用されないままにされるデバイスがあるなど、ユーザの不満足につながる。要するに、フィッティングプロセスは、製造業者の管理外でエラーを起こしやすく、ブランドにとって相当なリスクとなる。デバイスの提供後に、より頻繁な、または利用中のユーザフィードバックを求めることは、面倒であり得るし、一般的に高齢の集団に有益なものに限定され得る。

したがって、ユーザのフィードバックが最小限で済む又は全く必要とすることなく、ユーザの日々の経験や客観的な基準に基づいて、補聴器パラメータを適応させることが刻下の急務である。

本明細書で説明される実施形態は、改善された発話明瞭度に自身を調整することができる補聴器に関する。一実施形態では、この補聴器は、例えば音響刺激などのユーザによって自然に受信された音声を、その音声と同時に測定されたユーザの神経反応と共に記録する。発話が検出されると、この音声は神経反応と相関され、この相関の強さが発話明瞭度の推定値とされる。補聴器における音声処理のパラメータは、この推定値に基づいて明瞭度を改善するために漸進的に調整される。

本発明の第１の態様は、補聴器のユーザによって自然に受信される音響刺激に対応するマイクロフォン信号を提供するように構成されたマイクロフォンと、マイクロフォンに結合され、少なくともマイクロフォン信号に基づいて処理済み信号を提供するように構成された処理ユニットと、処理ユニットに結合され、処理済み信号に基づいて音響信号を提供するように構成されたスピーカと、音響刺激に対するユーザの神経反応を測定し、センサ出力を提供するように構成されたセンサとを備え、処理ユニットは、マイクロフォン信号に基づいて発話の存在を検出し、センサ出力およびマイクロフォン信号を処理して発話明瞭度を推定するように構成され、処理ユニットは、少なくとも推定された発話明瞭度に基づいて、補聴器のための音声処理パラメータを調整するように構成される、補聴器に関する。

本発明の特定の実施形態では、処理ユニットは、発話またはマイクロフォン信号内の発話信号の音節および／または音素などの個々の発話の特徴または成分を検出することなく、センサ出力を処理するように構成される。これらの個々の発話の特徴または成分は、典型的には、５００ｍｓ未満など、１秒未満の持続時間または長さを有する。処理ユニットは、個々の発話の特徴または成分に関連する、いわゆる後期陽性電位、または類似の事象関連電位（ＥＲＰ）を検出することなく、センサ出力を処理するように構成されてもよい。例えば、処理ユニットは、補聴器の通常動作中の連続する発話、例えば、５秒または１０秒を超える、あるいは３０秒または１分を超える持続時間を有する文全体などの発話セグメントに基づいて、神経反応（例えば、ＥＥＧ信号）から発話明瞭度を推定するように構成されてもよい。そうすることで、処理ユニットは、検出された発話を個々の発話の特徴または成分に分解し、これらの個々の発話の特徴または成分の各々に対して神経反応を測定することから解放され得る。例えばマイクロフォン信号における発話の有無を単に検出することは、連続する発話の個々の発話の特徴または成分を検出および／または分離するのとは対照的に、処理ユニットに要求するリソースがはるかに少ないことが多いので、個々の発話の特徴または成分の代わりに連続する発話を使用すると、ＭＩＰＳおよび／またはメモリの使用などの処理ユニットの計算リソースの浪費を著しく低減し得る。

任意で、神経反応は脳活動（ｅｎｃｅｐｈａｌｏｇｒａｐｈｉｃ ａｃｔｉｖｉｔｙ）を含む。

任意で、センサは、補聴器のユーザの外耳道内または耳の外側に配置されるように構成される。

任意で、補聴器は、補聴器のユーザの他方の外耳道内または他方の耳の外側に配置されるように構成された追加のセンサをさらに含む。

任意で、処理ユニットは、発話を含む音響刺激と神経反応との間の刺激反応相関の強度に基づいて、発話明瞭度を推定するように構成される。

任意で、刺激反応相関は、音響刺激の特徴と神経反応の特徴との時間的相関を含む。

音響刺激の特徴は、例えば発話振幅エンベロープ又は発話エンベロープのような、マイクロフォンからの出力に基づいて補聴器に記録された音声の振幅エンベロープを含む。

任意で、神経反応の特徴は、脳波（ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｐｈｉｃ）誘発反応を含む。

任意で、処理ユニットは、多変量回帰技法を使用して、刺激反応相関を決定するように構成される。

任意で、音声処理パラメータは、補聴器の長期処理パラメータを含む。

任意で、補聴器の長期処理パラメータは、増幅利得、圧縮係数、電力推定のための時定数、または増幅ニーポイント、または音声増強モジュールの任意の他のパラメータを含む。

任意で、長期処理パラメータは、複数の将来の信号を処理するために繰り返し使用される。

任意で、処理ユニットは、推定された発話明瞭度を改善するために適応アルゴリズムを使用するように構成される。

任意で、処理ユニットは、推定された発話明瞭度を改善するために強化学習を実行するように構成される。

任意で、処理ユニットは、神経反応を音響刺激と相関させるために正準相関分析を実行するように構成される。

任意で、処理ユニットは、神経反応と音響刺激との間の相関を最大にするモデルを構築するために、正準相関分析を実行するように構成される。

任意で、補聴器は、センサ出力を記憶するためのメモリをさらに含む。

任意で、センサ出力は、少なくとも３０秒のデータを含む。

任意で、処理ユニットは、より良好な聞こえを提供するように構成された音声増強モジュールをさらに備える。

任意で、補聴器は、メモリをさらに含み、センサ出力およびマイクロフォン信号は、同時に補聴器のメモリに記録される。

任意で、補聴器は、メモリをさらに含み、センサ出力およびマイクロフォン信号は、センサ出力をマイクロフォン信号に時間的に関連付けるデータ構造に基づいて、メモリに格納される。

本発明の第２の態様は、補聴器によって実行される方法に関する。補聴器は、補聴器のユーザによって自然に受信された音響刺激に対応するマイクロフォン信号を提供するように構成されたマイクロフォンと、少なくともマイクロフォン信号に基づいて処理済み信号を提供するように構成された処理ユニットと、処理済み信号に基づいて音響信号を提供するように構成されたスピーカと、センサとを備える。方法は、センサによって、音響刺激に対する神経反応を取得することと、神経反応に基づいて、センサ出力を提供することと、処理ユニットによって、センサ出力およびマイクロフォン信号を処理し、発話明瞭度を推定することと、少なくとも推定された発話明瞭度に基づいて、補聴器のための音声処理パラメータを調整すること、とを含む。他のおよびさらなる態様並びに特徴は、以下の実施形態の詳細な説明を読むことによって明らかになるであろう。

図面は、実施形態の設計および有用性を示し、類似の要素は共通の参照番号によって参照される。これらの図面は、必ずしも縮尺どおりに描かれているわけではない。上記の利点や目的、および他の利点や目的がどのように得られるかをより良く理解するために、実施形態がより具体的に説明され、添付の図面に示される。これらの図面は、典型的な実施形態のみを示すものであって、その範囲を限定すると見なされるべきではない。

異なる実施形態による発話明瞭度推定器を有する補聴器を示す。 異なる実施形態による発話明瞭度推定器を有する補聴器を示す。 異なる実施形態による発話明瞭度推定器を有する補聴器を示す。 異なる実施形態による発話明瞭度推定器を有する補聴器を示す。 異なる実施形態による発話明瞭度推定器を有する補聴器を示す。 異なる実施形態による発話明瞭度推定器を有する補聴器を示す。 発話明瞭度推定器を有する補聴器における信号フローを示す。 発話明瞭度推定器からの出力に基づいて、補聴器のビームフォーマ、ノイズ低減モジュール、およびコンプレッサのパラメータを調整する、補聴器内の調整器を示す。 発話明瞭度推定器および音声分類器を有する補聴器を示す。 補聴器によって実行される方法を示す。

様々な実施形態を、図面を参照して以下に記載する。図面は、縮尺通りで描かれておらず、同様の構造または機能の要素は、図面全てにわたって同様の参照番号によって表されていることに留意されたい。また、図面は、実施形態の説明を容易にすることのみを意図していることにも留意されたい。図面は、本発明の網羅的な説明として、または本発明の範囲に対する限定として意図されていない。さらに、図示された実施形態は、示された態様や利点すべてを有する必要はない。特定の実施形態に関連して説明された態様や利点は、必ずしもその実施形態に限定されず、そのように図示されていなくても、任意の他の実施形態で実施することができる。

図１Ａは、補聴器１００を示す。補聴器１００は、マイクロフォン１０２と、マイクロフォン１０２に結合された処理ユニット１０４と、処理ユニット１０４に結合されたスピーカ１０６とを含む。マイクロフォン１０２は、音声を受信し、ユーザによって自然に受信された音響刺激に基づいてマイクロフォン信号を提供するように構成される。したがって、マイクロフォン信号は音響刺激に対応する。処理ユニット１０４は、少なくともマイクロフォン信号に基づいて、処理済み信号を提供するように構成される。スピーカ１０６は、処理済み信号に基づいて、音響信号を提供するように構成される。１つのマイクロフォン１０２のみが示されているが、いくつかの実施形態では、補聴器１００は、複数のマイクロフォン１０２（例えば、２つのマイクロフォン）を含んでいてもよい。補聴器１００はまた、ユーザによって聴取または知覚された音響信号に対する反応神経活動を測定するように構成されたセンサ１１０を含む。このような神経反応は、センサ出力に対応する。処理ユニット１０４は、センサ出力およびマイクロフォン信号を処理して発話明瞭度を推定し、少なくとも推定された発話明瞭度に基づいて、補聴器１００の音声処理パラメータを調整するように構成される。具体的には、図に示すように、処理ユニット１０４は、センサ出力およびマイクロフォン信号を処理して発話明瞭度を推定するように構成された発話明瞭度推定器１１２と、少なくとも推定された発話明瞭度に基づいて、補聴器１００の音声処理パラメータを調整するように構成された調整器１１４とを含む。

処理ユニット１０４はまた、より良好な聞こえを提供する（例えば、聴力損失補償を提供する）ように構成された、聴力損失処理モジュールなどの、音声増強モジュール（図示せず）を含む。音声増強モジュールは、マイクロフォン１０２によって提供されるマイクロフォン信号に基づいて、例えば聴力損失補償済み信号のような増強済み音声信号を生成するように構成される。次いで、スピーカ１０６は、増強済み音声信号に基づいて、音響信号を生成または提供する。

図示の実施形態では、センサ出力は、発話明瞭度を推定するための処理ユニット１０４による処理のために、３０秒以上のデータ（少なくとも１分のデータ、少なくとも２分のデータ、少なくとも３分のデータ、少なくとも５分のデータ、少なくとも６０分のデータ、少なくとも２０分のデータ、少なくとも３０分のデータなど）を含んでいてもよい。他の実施形態では、センサ出力は、３０秒未満のデータを含んでいてもよい。また、いくつかの実施形態では、処理ユニット１０４によって利用されるデータの量は、ノイズを低減または除去するためにセンサ応答を平均するのに要する期間であってもよい。

いくつかの実施形態では、処理ユニット１０４によって調整される音声処理パラメータは、補聴器の短期処理パラメータおよび／または長期処理パラメータを含んでいてもよい。短期処理パラメータとは、秒以下の時間スケールで変化するパラメータであり、長期処理パラメータとは、分以上の時間スケールで変化するパラメータである。例えば、音声増幅利得パラメータは、長期処理パラメータであってもよい。短期パラメータは、ビームフォーマまたはビームフォーミングアルゴリズムの好適な方向であってもよく、これは、1秒ごとに変化する必要があり得る。

図示の実施形態では、補聴器１００は耳あな型（ＩＴＥ）補聴器である。しかしながら、他の実施形態では、補聴器１００は、他のタイプの補聴器であってもよい。非限定的な例として、補聴器１００は、外耳道挿入型（ＩＴＣ）補聴器（図１Ｂ）、ＢＴＥユニット１９６を有する耳かけ型（ＢＴＥ）補聴器（図１Ｃ）、または耳あな内レシーバ型（ＲＩＴＥ）補聴器（外耳道内レシーバ型（ＲＩＣ）補聴器とも呼ばれる）（図１Ｄ）であってもよい。いくつかの実施形態では、補聴器１００は、両耳にフィットしてもよく、すなわち、ユーザの各耳に１つの補聴器を使用してもよい。このような場合、補聴器１００はバイノーラル補聴器であってもよい。また、いくつかの実施形態では、補聴器１００は、処方せんなしで入手することができるＯＴＣ（Ｏｖｅｒ−Ｔｈｅ−Ｃｏｕｎｔｅｒ）補聴器であってもよい。ＯＴＣ補聴器は、ＩＴＥ補聴器、ＩＴＣ補聴器、ＢＴＥ補聴器、ＲＩＣ補聴器、またはバイノーラル補聴器であってもよい。

センサ１１０は、補聴器１００のユーザの外耳道内に配置されるように構成されてもよい。いくつかの実施形態では、センサ１１０は、補聴器１００のユーザの脳活動を感知するように構成される。そのような場合、神経反応は、脳波誘発反応などの脳波活動を含む。

いくつかの実施形態では、センサ１１０は、補聴器１００のユーザの耳の外側に配置されるように構成されてもよい。例えば、図１Ｅに示すように、いくつかの実施形態では、補聴器１００は、神経活動を測定するための追加のセンサ１１０をＢＴＥユニット１９６に含んでいてもよい。センサ１１０は、ＢＴＥユニット１９６の側面であって、補聴器１００のユーザの皮膚に対向して配置されるように構成された側面上に設けられている。さらなる実施形態では、イヤピースにセンサを有する代わりに、またはそれに加えて、補聴器１００は、補聴器のユーザの耳の周りにセンサ１１０を配置するようにセンサ１１０を担持する基板１９８を含んでいてもよい（図１Ｆ）。基板１９８は、ＢＴＥユニット１９６に固定的に取り付けられてもよく、あるいは、コネクタを介してＢＴＥユニット１９６に取り外し可能に結合されてもよい。あるいは、基板１９８は、補聴器１００から分離されていてもよい。そのような場合、基板１９８は、センサ１１０から補聴器１００に信号を送信するように構成された送信機を含んでいてもよい。他の実施形態では、補聴器１００は、ユーザの両外耳道内、ユーザの両耳の周り、またはユーザの両外耳道内および両耳の周りに配置されるセンサを含んでいてもよい。

いくつかの実施形態では、処理ユニット１０４は、発話を含むマイクロフォン信号によって表される音響刺激と、（センサ出力によって表される）神経反応との間の刺激反応相関（ＳＲＣ）の強度に基づいて発話明瞭度を推定するように構成され、センサ出力およびマイクロフォン信号は、補聴器１００のメモリに同時に記録される。一実施形態では、刺激反応相関は、マイクロフォン信号の特徴とセンサ出力の特徴との時間的相関を含む。例えば、マイクロフォン信号の特徴は、マイクロフォンによって受信された音声の振幅エンベロープを含んでいてもよい。また、いくつかの実施形態では、処理ユニット１０４は、多変量回帰技術を使用して、刺激反応相関を決定するように構成されてもよい。

いくつかの実施形態では、発話明瞭度を改善するために刺激反応相関を使用して補聴器１００を調整するために、処理ユニット１０４は、限られた量のデータ（例えば、マイクロフォン信号およびセンサ出力の両方）を記録した後に、ユーザのＳＲＣの変化を検出するように構成されてもよい。いくつかの実施形態では、処理ユニット１０４は、例えば、少なくとも１分のデータ、少なくとも２分のデータ、少なくとも３分のデータ、少なくとも５分のデータ、少なくとも６０分のデータ、少なくとも２０分のデータ、少なくとも３０分のデータなどの、少なくとも３０秒のデータ（例えば、センサ出力およびマイクロフォン信号）を使用するように構成される。

したがって、いくつかの実施形態では、補聴器１００は、例えば神経反応を表すセンサ出力と、例えばその神経反応に関連付けられ、その神経反応を誘発する刺激を表すマイクロフォン信号とを記憶するためのメモリをさらに含む。補聴器１００のメモリは、センサ出力とマイクロフォン信号との間の時間的関係をキャプチャするデータ構造を使用して、センサ出力とマイクロフォン信号とを記憶してもよい。例えば、データ構造は、センサ出力とマイクロフォン信号とを結び付けるタイムスタンプを含んでいてもよい。これにより、処理ユニット１０４は、ユーザが神経反応を生成したどのマイクロフォン信号に、どのセンサ出力が対応するかを知ることができる。いくつかの実施形態では、メモリは、例えば、少なくとも１分のデータ、少なくとも２分のデータ、少なくとも３分のデータ、少なくとも５分のデータ、少なくとも６０分のデータ、少なくとも２０分のデータ、少なくとも３０分のデータなどの、少なくとも３０秒のデータを記憶してもよい。これにより、補聴器１００の処理ユニット１０４は、発話明瞭度を推定するために、十分な量のセンサ出力および対応するマイクロフォン信号を利用することができる。

いくつかの実施形態では、処理ユニット１０４は、発話明瞭度の推定を改善するために適応アルゴリズムを使用するように構成される。例えば、いくつかの実施形態では、処理ユニット１０４は、発話明瞭度の推定を改善するために強化学習を実行するように構成される。

いくつかの実施形態では、補聴器１００の処理ユニット１０４は、センサ出力をマイクロフォン信号と相関させるために正準相関分析を実行するように構成される。一実施形態では、例えば、発話明瞭度推定器などの処理ユニット１０４は、音声エンベロープとＥＥＧ誘発反応との間の刺激反応相関を計算するために、刺激と反応との間で相関するいくつかの成分を抽出する正準相関分析を実行するように構成される。また、いくつかの実施形態では、補聴器１００の処理ユニット１０４は、神経反応と刺激との間の相関を最大にするモデルを構築するために、正準相関分析を実行するように構成される。

いくつかの実施形態では、補聴器の長期処理パラメータは、音声信号を処理するために処理ユニット１０４によって使用される１つまたは複数のパラメータであってもよい。非限定的な例として、長期処理パラメータは、増幅利得、圧縮係数、電力推定の時定数などを含んでもよい。場合によっては、長期処理パラメータは、聴力損失を補うために連続的に適用されるボリューム増幅利得などの、複数の将来の信号を処理するために繰り返し使用するためのものであってもよい。

図２は、補聴器１００に関連する信号の流れを示す。図に示すように、補聴器１００のマイクロフォン１０２は、補聴器１００のユーザの自然環境から、例えばオーディオ刺激などの音声を受信し、受信した音声に基づいてマイクロフォン信号２１０を提供する。マイクロフォン信号２１０は、補聴器１００に記録されてもよい。音声は、発話を含んでもよく、したがって、マイクロフォン信号２１０は、発話成分を有する。補聴器１００の処理ユニット１０４は、マイクロフォン信号２１０に対して前処理を実行する。図示の実施形態では、前処理は、発話検出などの特徴検出を含んでいてもよい。一実施形態では、処理ユニット１０４は、マイクロフォン信号２１０内の発話を検出するために発話検出を実行するように構成されてもよい。また、いくつかの実施形態では、前処理は、音声エンベロープを推定することを含んでいてもよい。音声エンベロープは、例えば、１００〜４００Ｈｚなどの発話の周波数帯域の信号をバンドパスフィルタリングし、このバンドパスフィルタリングされた音声信号の絶対値を２５Ｈｚなどのローパスカットオフ周波数でローパスフィルタリングすることによって推定することができる。処理ユニット１０４はまた、記録されたマイクロフォン信号２１０を処理するために、追加の前処理を実行してもよい。非限定的な例として、この前処理は、フィルタリング、スケーリング、増幅、平均化、加算、アップサンプリング、ダウンサンプリング、または前述のものの任意の組合せを含んでもよい。

ユーザが発話を聞くと、ユーザは、知覚された発話に基づく神経反応も示す。例えば、神経反応は、脳活動を含んでいてもよい。センサ１１０は、神経反応を感知し、例えばＥＥＧ信号などのセンサ出力２１２を提供する。次に、補聴器１００の処理ユニット１０４は、センサ出力２１２を前処理して、処理済みセンサ出力２１２を得る。例えば、処理ユニット１０４は、特徴検出、フィルタリング、スケーリング、増幅、平均化、加算、アップサンプリング、ダウンサンプリング、またはこれらの任意の組合せを実行するように構成された前処理ユニットを有してもよい。

いくつかの実施形態では、聴覚装置１００は、複数のセンサ１１０を含んでいてもよく、センサ１１０の各々は、ＥＥＧ信号を提供するように構成される。補聴器１００の処理ユニット１０４は、ＥＥＧデータを検査してもよく、任意で、電極または記録品質の問題に起因して過度にノイズの多いチャネルからのデータを、例えば、それらを０に設定することによって廃棄してもよい。さらに、処理ユニット１０４は、任意で、例えばセグメントのある持続時間において、標準偏差１、２、３、４などある一定の値だけ中央値から離れているサンプルを、例えばそれらを０に設定することによって、廃棄してもよい。

いくつかの実施形態では、オーディオ信号２１０は、アップサンプリングされてもよく、またはダウンサンプリングされてもよい。これに加えて、またはこれに替えて、いくつかの実施形態では、センサ出力２１２は、アップサンプリングまたはダウンサンプリングされてもよい。

図２に示すように、補聴器１００はまた、マイクロフォン信号２１０を処理するための第１の信号調整器１８０と、センサ出力２１２を処理するための第２の信号調整器１９０とを含む。第１の信号調整器１８０は、調整後のマイクロフォン信号２１０がセンサ出力２１２または調整後のセンサ出力２１２と相関するように、マイクロフォン信号２１０を調整するように構成される。同様に、第２の信号調整器１９０は、マイクロフォン信号２１０（または調整後のオーディオ信号２１０）と相関するように、センサ出力２１２を調整するように構成される。いくつかの実施形態では、第１の信号調整器１８０は、音響信号が脳信号でどのように表されるかに基づいてマイクロフォン信号２１０を調整するように構成されてもよく、したがって、第１の信号調整器１８０は、「エンコーダ」の形態とみなされてもよい。また、いくつかの実施形態では、第２の信号調整器１９０は、センサ出力２１２がどのように解釈されるかに基づいてセンサ出力２１２を調整するように構成されてもよく、したがって、第２の信号調整器１８２は、「エンコーダ」の形態とみなされてもよい。第１および第２の信号調整器１８０、１９０の各々は、例えば、外れ値などのデータの除去、データの結合、データのスケーリング、データエンベロープの作成、または前述のものの任意の組合せを行うように構成されてもよい。例えば、第１の信号調整器１８０は、時間的に音声エンベロープ推定値を結合し（例えば、時間的にフィルタリングし）てよく、第２の信号調整器１９０は、以下に説明される式１に従って、空間的に（電極間で）複数の神経信号を結合してもよい。音声エンベロープは、本明細書の文脈で使用され得る発話音声の多くの特徴のうちの１つにすぎないことに留意されたい。他の特徴として、異なる周波数帯域におけるパワーエンベロープ（スペクトログラム）、または発話音声の音声上の特徴、または神経反応を誘発することが期待される他の有意な特徴を含んでいてもよい。他の実施形態では、補聴器１００は、第１の信号調整器１８０および／または第２の信号調整器１９０を含まなくてもよい。

マイクロフォン信号２１０およびセンサ出力２１２が前処理された後、処理ユニット１０４は、次に、得られた処理済みマイクロフォン信号２１０および処理済みセンサ出力２１２に基づいて相関を実行し、相関結果２３０を得る。いくつかの実施形態では、処理ユニット１０４は、処理済みマイクロフォン信号２１０と処理済みセンサ出力２１２との間の相関を決定する（例えば、計算する）ように構成されてもよい。相関が高ければ、発話は明瞭であると考えることができる。一方、相関が低ければ、発話は不明瞭であると考えられる。したがって、本明細書に記載される補聴器１００は、ユーザが自然環境において音声にさらされながら補聴器１００を通常通り日々使用する中で、発話明瞭度を示す神経活動を測定することができるので、有利である。これは、ＥＥＧ信号との相関のために人工的なプロービング音声を生成する必要がないので、有利である。そのような人工音声は、ユーザにとって、嫌で気の散るものである場合がある。いくつかの実施形態では、センサ１１０は、ＥＥＧ活動を感知し、感知されたＥＥＧ活動に応じてＥＥＧ信号を提供する。ＥＥＧ信号は、神経マーカとして機能することにより、補聴器１００がユーザの発話を理解する能力を推定（発話明瞭度の推定）することを可能にする。ＥＥＧ信号は、ユーザが意識してユーザフィードバックを能動的に提供することを必要とせずに、受動的に取得される。代わりに、ＥＥＧ信号は、発話に対するユーザの認知反応を表す。

いくつかの実施形態では、処理ユニット１０４は、ピアソン相関値を決定することによって、センサ出力２１２とマイクロフォン信号２１０との間の相関を決定するように構成されてもよい。いくつかの実施形態では、複数のセンサ出力２１２を提供するための複数のセンサ１１０がある場合、処理ユニット１０４は、それぞれのセンサ出力２１２について複数の相関値を決定してもよく、これらのセンサ出力２１２の合計の平均を決定してもよい。

いくつかの実施形態では、処理ユニット１０４は、得られた処理済みマイクロフォン信号２１０および処理済みセンサ出力２１２に基づいて相関を実行し、相関結果２３０として刺激反応相関（ＳＲＣ）を得る。処理ユニット１０４は、補聴器１００の音声処理パラメータを調整するためにＳＲＣを使用してもよい。いくつかの実施形態では、ＳＲＣは、発話明瞭度の一例と見なされてもよい。他の実施形態では、ＳＲＣは、推定された発話明瞭度を表す発話明瞭度パラメータを決定するために、処理ユニット１０４によって使用されてもよい。そのような場合、処理ユニット１０４は、補聴器１００の音声処理パラメータを調整するために、発話明瞭度パラメータを使用してもよい。さらに、いくつかの実施形態では、発話明瞭度パラメータ自体が、発話明瞭度（相関結果２３０）の一例として考慮されてもよい。

ＳＲＣを決定するために、処理ユニット１０４によって様々な技法が使用されてもよい。１つのアプローチでは、処理ユニット１０４は、発話の振幅エンベロープｓ（ｔ）を各ＥＥＧチャネルｒｉ（ｔ）における反応と相関させるように構成される。これにより、脳反応が発話振幅の線形「符号化」としてモデル化される。あるいは、処理ユニット１０４は、ＥＥＧ反応を線形フィルタリングし、それを電極間で結合してもよい。この刺激の「復号化」モデルは、発話の振幅エンベロープに相関される。両方の場合において、モデルの性能は、刺激ｓ（ｔ）（復号化）または反応ｒｉ（ｔ）（符号化）のいずれかとの相関として測定される。更なる実施形態では、処理ユニット１０４は、符号化と複合化とのハイブリッドアプローチを使用するように構成されてよく、すなわち、符号化された刺激ｕ＾（ｔ）（例えば、処理済みのマイクロフォン信号２１０）と復号化された反応ｖ＾（ｔ）（例えば、処理済みのセンサ出力２１２）との相関を最大化するモデルを構築することによって、ハイブリッドアプローチを使用するように構成されてもよい。これらの２つの信号は、以下のように定義される：

この場合、ｓ（ｔ）は時間ｔにおける音声振幅エンベロープを表し、ｈ（ｔ）は刺激信号（例えば、マイクロフォン信号２１０）に適用される符号化フィルタであり、＊はコンボリューションを表し、ｗｉは神経反応（例えば、センサ出力２１２）に適用される重み付けを表し、ｒｉ（ｔ）は電極ｉにおける時間ｔにおける神経反応である。いくつかの実施形態では、処理ユニット１０４は、符号化された刺激と復号化された反応との間の相関を最大にするモデルを構築するために、正準相関分析（ＣＣＡ）を使用するように構成される。ＣＣＡは、（複数の信号の線形結合である）いくつかの成分を計算し、各成分は相関信号の一部をキャプチャする。例えば、第１の信号調整器１８０の場合、成分は、音声の特徴（エンベロープ）の時間サンプルの組み合わせをキャプチャしてもよい。第２の信号調整器１９０の場合、成分は、複数の神経センサ信号の線形結合をキャプチャしてもよい。刺激反応相関（ＳＲＣ）は、異なる成分のｕ＾（ｔ）とｖ＾（ｔ）との相関の合計として計算されてもよい。一実施形態では、処理ユニット１０４は、ＣＣＡを２つの行列に適用する。一方の行列は刺激の特徴（音声振幅）のためのものであり、他方は脳反応（ＥＥＧ誘発反応）のためのものである。ＣＣＡは、２つのデータ行列間で時間的に相関する複数の次元（成分）を提供してもよい。

ＳＲＣが決定される方法は、説明された例に限定されず、処理ユニット１０４は、他の技法を使用してＳＲＣを決定してもよいことに留意されたい。例えば、他の実施形態では、処理ユニット１０４は、最小二乗アルゴリズムを使用し、マイクロフォン信号から抽出された音声の特徴を用いて神経反応を線形回帰することによってＳＲＣを決定してもよい。また、ＳＲＣは、上記の例に限定されるべきではなく、他の実施形態では、ＳＲＣは、マイクロフォン信号２１０およびセンサ出力２１２に基づいて得られる任意の相関結果であってもよい。さらに、いくつかの実施形態では、ＳＲＣは、発話明瞭度推定器１１２によって出力される発話明瞭度の一例と見なされてもよい。

図３に示すように、いくつかの実施形態では、処理ユニット１０４の調整器１１４は、フィッティング手順を実行して、発話明瞭度推定器１１２によって提供される出力に基づいて、補聴器１００の音声処理パラメータを調整してもよい。発話明瞭度推定器１１２による出力は、ＳＲＣ、相関値、発話明瞭度パラメータ、またはこれらの任意の組合せであってよい。図示された実施形態に示されるように、処理ユニット１０４は、補聴器１００のビームフォーマに関するビームフォーミングパラメータ（例えば、「オムニ」設定、「固定」設定、「バイラテラル」設定の選択、ビーム幅の設定などによる）、補聴器１００のノイズ低減モジュールに関する利得の低減量または増大量、補聴器１００の音声増強（例えば、聴力損失補償）に関する利得パラメータ、コンプレッサに関する１つまたは複数の時定数（例えば、１つまたは複数の時定数を高速、低速、または所望の値に設定する）、コンプレッサに関する１つまたは複数のニーポイントの設定、または前述の任意の組合せを調整してもよい。

いくつかの実施形態では、処理ユニット１０４は、ＳＲＣが特定の閾値未満であるかどうかを判定するように構成された評価器を含んでいてもよい。ＳＲＣが特定の閾値未満であることは、ユーザが発話信号に対する注意を失っていること、またはユーザが発話信号に意図的に注意を払わないようにしていることを示す。ＳＲＣが閾値未満であると判定された場合、処理ユニット１０４は、補聴器１００のコンプレッサ、ビームフォーマ、またはノイズ低減モジュールに関する音声処理パラメータを調整する。

いくつかの実施形態では、処理ユニット１０４は、補聴器１００の全体的に最適化された設定を提供するために、コンプレッサ、ビームフォーマ、およびノイズ低減モジュールのそれぞれに関して複数の音声処理パラメータを調整してもよい。一実装形態では、ＳＲＣは、コスト関数として利用されてもよく、それに基づいて、処理ユニット１０４は、最適化を実行して、コンプレッサ、ビームフォーマ、ノイズ低減モジュール、または前述のものの任意の組合せに関する音声処理パラメータを決定する。

いくつかの実施形態では、音声処理パラメータの調整は、推定された発話明瞭度と、補聴器１００の分類器によって決定された音声分類との両方に基づいてもよい。特に、補聴器１００は、マイクロフォン１０２によって受信され、補聴器１００に記録された音声に基づいて、音声分類（例えば、発話検出または環境分類）を決定するように構成された音声分類器４００（例えば、発話検出器または環境分類器）を含んでいてもよい（図４）。例えば、音声分類器は、補聴器１００のユーザがレストラン、図書館、飛行機等の中にいると判定してもよい。そのような場合、処理ユニット１０４は、使用環境へのより良い適合を決定するために、そのような情報を利用して、最適化のためにパラメータ空間を制約してもよい。例えば、音声分類が、補聴器１００のユーザがレストランにいることを示す場合、処理ユニット１０４の調整器１１４は、それに応じてビームフォーミングパラメータを調整することに焦点を当ててもよい。さらに、いくつかの実施形態では、発話検出器が発話を検出をする場合には、刺激反応相関推定２３０は、記録されたマイクロフォン信号において発話が存在する時に限定されてもよい。この情報は、長期処理パラメータの更新を、発話が存在する間にのみ得られる発話明瞭度推定に制限するために、処理ユニット１０４によって使用されてもよい。

本明細書で説明される１つまたは複数の実施形態では、処理ユニット１０４は、所望の結果が得られるまで、発話明瞭度の推定と、音声処理パラメータの調整を反復するように構成されてもよい。例えば、所望の結果は、ＳＲＣがある所定のレベル（例えば、達しうる最大のレベル）に達することであってもよい。このような場合、処理ユニット１０４は、ＳＲＣが閾値を下回っていることを検出する（発話明瞭度が低いことを示す）と、処理ユニット１０４は、補聴器１００の１つまたは複数の音声処理パラメータを調整する。処理ユニット１０４は、ＳＲＣの決定と、ＳＲＣが増加して所望のレベルに戻るかどうかの決定をし続ける。そうならない場合、処理ユニット１０４は、ＳＲＣを所望のレベルに到達させようと試み、補聴器１００の１つまたは複数の音声処理パラメータを再び調整する。処理ユニット１０４は、ＳＲＣが所望のレベル（例えば、達しうる最大のレベル）に達するまで、上記を繰り返す。上記の技法は、１つまたは複数の音声処理パラメータに対して行われた調整が許容可能であるかどうかをユーザが確認する必要がないため、有利である。代わりに、ＳＲＣの増加から、音声処理パラメータの調整をユーザが許容可能であることを意味すると推測することができる。

他の実施形態では、補聴器１００は、任意で、調整が許容可能であるかどうかをユーザが確認できるようにするためのユーザインターフェース（例えば、ボタン）を含んでいてもよい。例えば、補聴器１００が音声処理パラメータの調整を自動的に行うたびに、処理ユニット１０４は、スピーカ１０６を操作して、調整が行われたことをユーザに通知する音声信号を生成してもよい。ユーザは、調整を許容できないことを示すためにボタンを押すための制限時間（例えば、３秒）を与えられていてよい。ユーザが制限時間内にボタンを押さない場合、処理ユニット１０４は、調整が許容可能であると推定してもよい。一方、ユーザが時間制限内にボタンを押して反対を示す場合、処理ユニット１０４は、補聴器１００の以前の音声処理パラメータに戻してもよい。

いくつかの実施形態では、補聴器１００が第１の信号調整器１８０および/または第２の信号調整器１９０のようなコンポーネントを含む場合、推定された発話明瞭度は、第１の信号調整器１８０（エンコーダ）および／または第２の信号調整器１９０（デコーダ）を調整（例えば、チューニング）するために、処理ユニット１０４（例えば、図２に示されるチューナ１９２）によって使用されてもよい。これにより、処理ユニット１０４は、より良好な相関結果を得ることができる。１つの技法では、処理ユニット１０４は、チューニングを実行するために相関成分分析を実行するように構成されてもよい。

上記の実施形態に示されるように、発話明瞭度に基づく補聴器１００のパラメータの調整は、補聴器１００のユーザにユーザフィードバックを能動的に提供するよう要求することなく、補聴器１００によって自動的かつ「受動的に」実行されるので、有利である。この補聴器は、本質的に完全な自己適応型であり、ユーザまたはオージオロジストの介入を全く（または非常に限定された程度でしか）必要としない。これは、ユーザに発話明瞭度のレベルを示す入力を能動的に提供するよう要求するという、ユーザにとって煩わしく不便なアプローチとは対照的である。本明細書に記載されたアプローチはまた、日常生活における発話明瞭度を予測できるかできないか定かではない純粋なトーンに対する閾値感度のみを使用するオージオグラムに基づいて補聴器パラメータを調整する解決策よりも優れている。また、本明細書で説明される技法は、合成音声に対する反応を検出するためにＥＥＧを使用する既存の解決策などで聴覚閾値を推定するために通常行われるように、人工トーンまたは人工音声をユーザに提示することを必要としない。その代わりに、神経反応を自然に知覚される音声と相関させることによって、ユーザの脳が音声にどのように反応するかを、日常生活の中で連続的かつ目立たずに推定することができる。さらに、音声処理パラメータの調整は、長期間の聴覚経験に関する最適化技術に基づいているので、ノイズを含む短時間のＥＥＧ信号の限界を克服する。したがって、本明細書に記載される実施形態は、既存の適応型補聴器を含む現在の補聴器にとって有意な改善である。本明細書に記載される実施形態はまた、ユーザの能動的な入力や、ディスペンサまたはオージオロジストの存在無しにフィッティングが実行されることを可能にするので、小売（ＯＴＣ）市場にとっても高い価値がある。

図５は、補聴器によって実行される方法５００を示す。補聴器は、例えば図１の補聴器であってもよい。補聴器は、音響刺激に対応するマイクロフォン信号を提供するように構成されたマイクロフォンと、少なくともマイクロフォン信号に基づいて処理済み信号を提供するように構成された処理ユニットと、処理済み信号に基づいて音響信号を提供するように構成されたスピーカと、センサとを有していてもよい。図５に示すように、方法５００は、センサによって神経反応を取得すること（項目５０１）と、神経反応に基づいて、センサによってセンサ出力を提供すること（項目５０２）と、マイクロフォンによって検出された音声に基づいて生成されたマイクロフォン信号を取得すること（項目５０３）と、センサ出力およびマイクロフォン信号を処理ユニットによって処理し、発話明瞭度を推定すること（項目５０４）と、少なくとも推定された発話明瞭度に基づいて、補聴器の音声処理パラメータを調整すること（項目５０６）とを含む。神経反応は、発話明瞭度を推定するための処理ユニットによる処理のための３０秒以上のデータを含んでいてもよい。あるいは、神経反応は、３０秒未満のデータを含んでいてもよい。また、いくつかの実施形態では、音声処理パラメータは、補聴器の長期処理パラメータを含んでいてもよい。いくつかの実施形態では、項目５０４は、発話明瞭度推定器１１２によって実行されてもよく、発話明瞭度推定器１１２は、発話明瞭度の一例として相関結果２３０を提供する。

上記の実施形態は、推定された発話明瞭度に基づいて自身を調整する補聴器１００を参照して説明されてきたが、他の実施形態では、推定された発話明瞭度に基づく補聴器の音声処理パラメータの調整は、代替的に、補聴器１００と通信するフィッティング装置によって実行されてもよい。例えば、一実施形態では、フィッティングセッション中にオージオグラムに基づいてフィッティング装置によって補聴器１００が最初に設定された後、フィッタが、第１のラウドスピーカを操作して、補聴器１００のユーザに発話音声を提示する一方、第２のラウドスピーカがノイズを提示する。次いで、ユーザに装着されたセンサが神経活動を測定している間に、ユーザは発話信号に注意を払うように求められてもよい。場合によっては、センサはＥＥＧセンサであってもよい。センサは、ユーザの外耳道内に配置されるイヤピースに実装されてもよい。あるいは、センサは、外耳道の外側のユーザの耳の周りに装着される装置に実装されてもよい。他の場合には、センサは、ユーザが着用する帽子またはヘッドギアに実装されてもよい。フィッティング装置の処理ユニットは、本明細書で説明する技法の実施形態に従って、センサの出力信号に基づいて発話明瞭度を推定する。推定された発話明瞭度に基づいて、フィッティング装置は、補聴器１００の１つまたは複数の音声処理パラメータを調整してもよい。例えば、フィッティング装置は、図３の実施形態を参照して同様に説明したように、音声増強モジュールの１つまたは複数のパラメータ、補聴器１００のビームフォーマの１つまたは複数のパラメータ、補聴器１００のノイズ低減モジュールの１つまたは複数のパラメータ、補聴器１００のコンプレッサの１つまたは複数のパラメータ、または前述の任意の組合せを調整してもよい。

さらなる実施形態では、処理ユニット１０４の１つまたは複数の特徴は、携帯電話、ｉＰａｄ（登録商標）、タブレット、ラップトップなどのモバイル機器に実装されてもよい。例えば、いくつかの実施形態では、センサからのセンサ出力、および補聴器１００からのマイクロフォン信号もモバイル機器に送信されてよく、モバイル機器は、上記で同様に説明したように、センサ出力およびマイクロフォン信号に基づいて発話明瞭度を推定する。モバイル機器はまた、補聴器１００の１つまたは複数の音声処理パラメータに対して１つまたは複数の調整を決定するように構成されてもよい。モバイル機器は、信号を補聴器１００に送信して、補聴器１００においてそのような調整を実施してもよい。

「処理ユニット」という用語は、ソフトウェア、ハードウェア、またはその両方の組合せを指してもよいことに留意されたい。いくつかの実施形態では、処理ユニット１０４は、本明細書で説明される処理ユニット１０４のコンポーネント（例えば、発話明瞭度推定器１１２、調整器１１４、音声増強モジュール）を実装するように構成された１つまたは複数のプロセッサ、および／または１つまたは複数の集積回路を含むことができる。

また、本明細書で使用される「マイクロフォン信号」という用語は、マイクロフォンによって直接出力される信号を指してもよく、または、１つまたは複数の（例えば、補聴器に設けられている）コンポーネントによって処理されたマイクロフォン信号を指してもよいことに留意されたい。同様に、本明細書で使用される「センサ出力」という用語は、センサによって直接出力される信号を指してもよく、または、１つまたは複数の（例えば、補聴器に設けられている）コンポーネントによって処理されたセンサ出力を指してもよいことに留意されたい。

また、「マイクロフォン信号」とは、マイクロフォンによって出力される１つまたは複数の信号、またはマイクロフォンによって出力され、コンポーネントによって処理された１つまたは複数の信号を指してもよい。同様に、「センサ出力」とは、センサによって出力される１つまたは複数の信号、またはセンサによって出力され、コンポーネントによって処理された１つまたは複数の信号を指してもよい。

さらに、本明細書で使用される「発話明瞭度」という用語は、補聴器ユーザの発話明瞭度、発話把握度、発話理解度、単語認識度、または単語検出度を表す、またはそれらと相関する任意のデータ、パラメータ、および／または関数を指してもよい。

特定の実施形態が示され、説明されたが、それらは、特許請求の範囲に記載された発明を限定することを意図しておらず、特許請求の範囲に記載された発明の精神および範囲から逸脱することなく様々な変更および修正がなされ得ることは、当業者にとって明らかであろう。したがって、本明細書および図面は、限定的な意味ではなく例示的な意味で見なされるべきである。特許請求の範囲に記載された発明は、代替形態、変形形態、および均等形態を包含することを意図している。

Claims (15)

1. 補聴器であって、
   前記補聴器のユーザによって自然に受信される音響刺激に対応するマイクロフォン信号を提供するように構成されたマイクロフォンと、
   前記マイクロフォンに結合された処理ユニットであって、少なくとも前記マイクロフォン信号に基づいて処理済み信号を提供するように構成された、処理ユニットと、
   前記処理ユニットに結合されたスピーカであって、前記処理済み信号に基づいて音響信号を提供するように構成されたスピーカと、
   前記音響刺激に対する前記ユーザの神経応答を測定し、センサ出力を提供するように構成されたセンサと、を備え、
   前記処理ユニットは、
   前記マイクロフォン信号に基づいて発話の存在を検出し、
   前記センサ出力および前記マイクロフォン信号を処理して、発話明瞭度を推定するように構成され、
   前記処理ユニットはまた、少なくとも推定された前記発話明瞭度に基づいて、前記補聴器の音声処理パラメータを調整するように構成される、補聴器。
2. 前記神経応答が脳活動（ｅｎｃｅｐｈａｌｏｇｒａｐｈｉｃ ａｃｔｉｖｉｔｙ）を含む、請求項１に記載の補聴器。
3. 前記処理ユニットは、発話を含む前記音響刺激と前記神経応答との間の刺激応答相関の強度に基づいて、前記発話明瞭度を推定するように構成されている、請求項１または２に記載の補聴器。
4. 前記刺激応答相関は、前記音響刺激の特徴と前記神経応答の特徴との時間的相関を含む、請求項３に記載の補聴器。
5. 前記音響刺激の前記特徴は、前記マイクロフォンからの出力に基づいて前記補聴器に記録された音声の振幅エンベロープを含む、請求項４に記載の補聴器。
6. 前記神経応答の前記特徴は、脳波（ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｐｈｉｃ）誘発応答を含む、請求項４に記載の補聴器。
7. 処理ユニットは、多変量回帰技法を使用して前記刺激応答相関を決定するように構成される、請求項３から６のいずれかに記載の補聴器。
8. 前記音声処理パラメータは、前記補聴器のための長期処理パラメータを含む、請求項１から７のいずれかに記載の補聴器。
9. 前記処理ユニットは、推定された前記発話明瞭度を改善するために、強化学習を実行するように構成されている、請求項１から８のいずれかに記載の補聴器。
10. 前記処理ユニットは、前記神経応答を前記音響刺激と相関させるために、正準相関分析を実行するように構成される、請求項１に記載の補聴器。
11. 前記処理ユニットは、前記神経応答と前記音響刺激との間の相関を最大化するモデルを構築するために、正準相関分析を実行するように構成される、請求項１から１０のいずれかに記載の補聴器。
12. 前記センサ出力は、少なくとも３０秒のデータを含む、請求項１から１１のいずれかに記載の補聴器。
13. メモリをさらに備え、
    前記センサ出力および前記マイクロフォン信号は、前記補聴器の前記メモリに同時に記録される、請求項１から１２のいずれかに記載の補聴器。
14. メモリをさらに備え、
    前記センサ出力および前記マイクロフォン信号は、前記センサ出力を前記マイクロフォン信号に時間的に関連付けるデータ構造に基づいて、前記メモリに記憶される、請求項１から１３のいずれかに記載の補聴器。
15. 補聴器によって実行される方法であって、
    前記補聴器は、
    前記補聴器のユーザによって自然に受信される音響刺激に対応するマイクロフォン信号を提供するように構成されたマイクロフォンと、
    少なくとも前記マイクロフォン信号に基づいて処理済み信号を提供するように構成された処理ユニットと、
    前記処理済み信号に基づいて音響信号を提供するように構成されたスピーカと、
    センサと、を備え、
    前記方法は、
    前記センサによって、前記音響刺激に対する神経応答を取得することと、
    前記神経応答に基づいて、センサ出力を提供することと、
    前記処理ユニットによって、前記センサ出力および前記マイクロフォン信号を処理し、発話明瞭度を推定することと、
    少なくとも推定された前記発話明瞭度に基づいて、前記補聴器の音声処理パラメータを調整することと、を含む方法。

Images