JP2021536207A - 聴覚装置の環境音声信号を強化するための方法、システム、および聴覚装置 - Google Patents

聴覚装置の環境音声信号を強化するための方法、システム、および聴覚装置 Download PDF

Info

Publication number
JP2021536207A
JP2021536207A JP2021547030A JP2021547030A JP2021536207A JP 2021536207 A JP2021536207 A JP 2021536207A JP 2021547030 A JP2021547030 A JP 2021547030A JP 2021547030 A JP2021547030 A JP 2021547030A JP 2021536207 A JP2021536207 A JP 2021536207A
Authority
JP
Japan
Prior art keywords
audio signal
processing unit
communication network
auditory device
auditory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021547030A
Other languages
English (en)
Inventor
ベニート フェリエ、マルチャーノ
ディーデリック ボル、エルマー
シン、スクジンダー
Original Assignee
オーダス ビー. ブイ.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オーダス ビー. ブイ. filed Critical オーダス ビー. ブイ.
Publication of JP2021536207A publication Critical patent/JP2021536207A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/554Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/04Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception comprising pocket amplifiers
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L21/0232Processing in the frequency domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/48Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using constructional means for obtaining a desired frequency response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/70Adaptation of deaf aid to hearing loss, e.g. initial electronic fitting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/41Detection or adaptation of hearing aid parameters or programs to listening situation, e.g. pub, forest
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43Signal processing in hearing aids to enhance the speech intelligibility
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/55Communication between hearing aids and external devices via a network for data exchange
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/03Aspects of the reduction of energy consumption in hearing devices

Abstract

【解決手段】本発明は、聴覚装置の音声信号を強化するための方法に関し、聴覚装置を聞いているユーザの環境から生じた環境音声信号を受信するために、聴覚装置のマイクを使用することと、ノイズを抑制し、および/または音声データを増幅することによって環境音声信号を強化するために、処理ユニットの手段によって環境音声信号を処理することと、スピーカの手段を使用して、聴覚装置を聞いているユーザに強化された音声信号を出力することと、を含み、処理ユニットは、聴覚装置から離れた通信ネットワーク内に配置され、処理ユニットは、通信ネットワークを介して、聴覚装置のマイクから環境音声信号を受信し、強化された音声信号を聴覚装置のスピーカに再送信するように構成されることを特徴とする。【選択図】図1

Description

本発明は、聴覚装置を聞いているユーザの環境から生じた環境音声信号を受信するために、聴覚装置のマイクを使用することと、ノイズを抑制し、および/または音声データを増幅することによって環境音声信号を強化するために、処理ユニットの手段によって環境音声信号を処理することと、スピーカの手段を使用して、聴覚装置を聞いているユーザに強化された音声信号を出力することと、を含む聴覚装置の音声信号を強化するための方法に関する。
発明の背景
WO2018/083570A1は、互いに動作可能なように結合されたマイク、スマートフォンおよびイヤホンを備え、そのマイクは環境音声データを受信し、記録し、スマートフォンに転送するように構成されている、インテリジェント補聴器が開示されている。そのスマートフォンは、マイクから受信した音声データに対してノイズ抑制とデータ増幅を行い、強化された音声データを生成してイヤホンに転送するように構成されている。そのイヤホンは、強化された音声データを受信および出力するように構成されている。
しかしながら、上記の先行技術によるデバイスの問題は、ユーザの音の知覚を改善するための音声信号の処理が、相当な量の処理能力を必要とすることである。この処理は、一般に、ユーザの補聴器に含まれるプロセッサ(CPU)または処理装置によって実行される。実際には、これはバッテリー寿命の大幅な短縮、過度に複雑な補聴器、高コスト、そして何よりも、高いCPU負荷につながる。
さらに、ユーザが補聴器などを携帯して、環境音声信号をユーザの最適な音の知覚に一致する信号に処理する場合、ユーザの耳の中または上の補聴器の追加の重量のため、ユーザの快適さは比較的低い。さらに、聴覚装置/補聴器の持ち運びは、しばしばユーザの汚名につながる。
US2015/0199977A1は、さらに、補聴器、サーバ、およびスマートフォンまたはタブレットコンピュータなどの外部デバイスを含む、音声信号の発話理解度を改善するためのシステムを開示している。その補聴器は、短距離トランシーバを有している。サーバは、インターネット経由でアクセスでき、発話をテキストに変換する発話認識エンジンを備えている。外部デバイスは、上記補聴器と通信するための短距離トランシーバ、インターネットを介して上記サーバへの無線データ接続を提供するための第2のトランシーバ、補聴器用の発話ストリームを処理するための手段、テキストの文字列に基づいて発話を合成するように適合されたテキスト読み上げエンジンを有する。音声信号の発話理解度を改善する方法も開示されている。しかしながら、音声信号の改善、たとえば難聴の補償は、補聴器自体のデジタルプロセッサ(US2015/0199977A1の図1などの参照番号35)またはテーブルあるいはスマートフォンなどの外部デバイスによって実行され、段落[0010]、[0040]、[0046]に開示されているように、相当の量の「ローカル」処理能力、バッテリー使用量を必要とし、ユーザが多くのデバイスを持ち運んだり移動したりする必要がある。
US2010/0040248A1は、1つまたは複数のコプロセッサデバイスを使用して聴覚補助装置を強化するための技術を開示している。しかしながら、信号処理の大部分は、依然として聴覚補助装置自体で行われる。
US2013/0343584A1は、外部デバイスの資源を利用することによって1つまたは複数の機能が支援または改善される聴覚補助装置を開示している。また、US2013/0343584A1の開示により、聴覚補助装置自体で相当の量の処理が行われる可能性がある。
本発明の目的
したがって、本発明の目的は、聴覚装置の音声信号を強化して、ユーザの音の知覚を改善する方法を提供することであり、使用者側の聴覚装置の電池寿命が増加し、ユーザの装置を簡略化することができる。そして重要なことは、CPUの高い負荷を防ぐことができるということである。
本発明の別の目的は、比較的快適な聴覚装置を提供することである。
本発明の別の目的は、ユーザが聴覚装置を装着しているときに見られる可能性が低く、ユーザが汚名を着せられる可能性が低いように設計できる聴覚装置を提供することである。
発明の説明
本明細書において、本発明による方法は、処理ユニットが聴覚装置から離れた通信ネットワーク内に配置され、処理ユニットは、通信ネットワークを介して、聴覚装置のマイクから環境音声信号を受信し、強化された音声信号を聴覚装置のスピーカに再送信するように構成されることを特徴とする。
環境音声信号を処理して強化された音声信号にすることは(ほとんどの場合)補聴器自体では行われないため、ユーザ側で必要な処理能力の量が大幅に削減される。その処理は、ユーザの場所に配置された聴覚装置またはスマートフォンなどの同様のデバイスに含まれるプロセッサ(CPU)または処理ユニットによって実行される必要がない。
これにより、バッテリーの寿命が大幅に延び、聴覚装置の複雑さが比較的軽減され、コストが削減され、CPUの負荷が軽減される。
環境音声信号は、話している人、風、通り過ぎる車両など、聴覚装置を聞いているユーザの近くで生じる任意の種類の音声信号だけでなく、ユーザの近くのスマートフォン、ラップトップ、テレビなどのユーザ機器から生じる音声でもあり得る。
この特許出願の文脈において、「聴覚装置」は、従来の耳内の補聴器だけでなく、聴覚を改善することができる装置として広く解釈されるべきであることに留意すべきである。
さらに、使用されるノイズ抑制および音声データ増幅のアルゴリズムは、前述の先行技術文書WO2018/083570A1などから、当業者に知られている。「聴覚装置から離れている」という表現は、補聴器自体でも、ユーザが保持または携帯する別のデバイスでも処理が行われないことを意味する。しかしながら、たとえば、ユーザがいる部屋に配置されたサーバ上でその処理は行われることは考えられる。しかしながら好ましくは、処理ユニットは、たとえば、インターネットサーバまたはクラウドコンピューティングネットワーク内のサーバ上に配置される。
一実施形態は、通信ネットワークが50ミリ秒未満の待ち時間を有するように構成される、上記の方法に関する。
一実施形態は、通信ネットワークが30ミリ秒未満の待ち時間を有するように構成される、上記の方法に関する。
一実施形態は、通信ネットワークが10ミリ秒未満の待ち時間を有するように構成される、上記の方法に関する。
一実施形態は、通信ネットワークが1〜5ミリ秒の待ち時間を有するように構成される、上記の方法に関する。
上記の待ち時間の利点は、50ミリ秒以下の待ち時間を有し、聴覚装置と処理ユニットとの間の「リアルタイム」通信を行うことができ、ユーザが「リアルタイム」を経験できることである。待ち時間とは、パッケージが通信ネットワークを介して処理装置から聴覚装置へ、および聴覚装置から聴覚装置へ移動するのにかかる時間である「応答時間」を意味する。特に、発明者は、50ミリ秒未満の待ち時間は、たとえば5Gネットワークを介して達成できることを発見した。
一実施形態は、聴覚装置が環境音声信号を聴覚装置のマイクから通信ネットワーク内の処理ユニットに無線で送信するための送信機と、通信ネットワーク内の処理ユニットから強化された音声信号を受信する無線用の受信機とを備えた通信ユニットに接続される。これは、たとえば、Wi−FiまたはBluetoothの接続を介して、場合によってはユーザの近くのWi−FiまたはBluetoothの送信機または受信機を使用して実現できる、上記の方法に関する。
一実施形態は、通信ネットワークが、本出願人によるオランダ特許出願NL2020909に開示されるように、ユーザの最適な聴覚プロファイルに一致するように強化された音声信号をさらに処理するためのさらなる処理ユニットを含む、上記の方法に関連する(その出願の内容は、参照により本出願に組み込まれる)。
このようにして、環境音声信号をさらなる処理ユニットに直接送信することができ、そこで保存された最適な聴覚プロファイルと一致させるように環境音声信号が処理される。あるいは、環境音声信号は、最初に処理ユニットによって処理されて、ノイズを抑制し、および/または音声データを増幅することによって音声信号を強化し、次に、ユーザの最適な聴覚プロファイルに一致するようにさらに処理される。
本発明の別の態様は、
聴覚装置を聞いているユーザの環境から生じた環境音声信号を受信するための、聴覚装置に含まれるマイクと、
ノイズを抑制し、および/または音声データを増幅して環境音声信号を強化する手段によって、環境音声信号を処理するための処理ユニットと、
聴覚装置を聞いているユーザに強化された音声信号を出力するように構成された、イヤホンなどのスピーカと、を備え、
処理ユニットは、聴覚装置から離れた通信ネットワーク内に配置され、
処理ユニットは、通信ネットワークを介して、聴覚装置のマイクから環境音声信号を受信し、強化された音声信号を聴覚装置のスピーカに再送信するように構成されることを特徴とする、
聴覚装置の音声信号を強化するためのシステムに関する。
一実施形態は、聴覚装置は、環境音声信号を聴覚装置のマイクから通信ネットワーク内の処理ユニットに無線で送信するための送信機と、通信ネットワーク内の処理ユニットから強化された音声信号を受信する無線用の受信機とを備えた通信ユニットに接続される、システムに関する。
一実施形態は、通信ユニットの受信機および送信機がトランシーバとして構成され、独立した送信機および受信機を備えた通信ユニットよりもコンパクトである、システムに関する。
一実施形態は、聴覚装置が完全に自己完結型であるように、聴覚装置は通信ユニットを含む、システムに関する。
一実施形態は、通信ネットワークは、50ミリ秒未満、より好ましくは30ミリ秒未満、さらにより好ましくは10ミリ秒未満、最も好ましくは1〜5ミリ秒の待ち時間を有するように構成される、システムに関する。
本発明の別の態様は、
聴覚装置を聞いているユーザの環境から生じた環境音声信号を受信するためのマイクと、
聴覚装置を聞いているユーザに強化された音声信号を出力するように構成されたスピーカと、
環境音声信号を聴覚装置のマイクから通信ネットワーク内の処理ユニットに無線で送信するための送信機と、通信ネットワーク内の処理ユニットから強化された音声信号を受信する無線用の受信機とを備えた通信ユニットと、を備え、
処理ユニットは、聴覚装置から離れた通信ネットワーク内に配置され、
処理ユニットは、ノイズを抑制し、および/または音声データを増幅することによって環境音声信号を強化するために、環境音声信号を処理するように構成されている、
上記の方法またはシステムに使用するための聴覚装置に関する。
以下、本発明による方法の例示的な実施形態および図面を参照しながら、本発明を説明する。
図1は、本発明によるシステムの例示的な実施形態を示している。 図2は、本発明によるシステムの例示的な実施形態を示している。
詳細な説明
図1は、本発明によるシステムの例示的な実施形態を開示している。このシステムは、処理ユニット3と通信する聴覚装置2を備え、処理ユニット3は、サーバ4に配置されている。サーバ4は、聴覚装置2から離れた場所に配置され、サーバ4は、電気通信ネットワークなどの通信ネットワーク14、またはインターネットなどの公共通信ネットワークを介して聴覚装置2と通信する。
聴覚装置2は、第1および第2のマイク11、11’、第1および第2のスピーカ9、9’、デジタルアナログ変換器10、および通信ユニット1を備える。通信ユニット1は、送信機8と受信機5とを備える。
聴覚装置2は、たとえば、スマートフォンまたはユーザが着用する補聴器などのユーザ機器であり、シムカードまたは同様の機能を有する専用チップ(図示せず)を備え、聴覚装置はサーバ4に5G通信ネットワークなどの通信ネットワークを介して接続されている。
通信ユニット1の送信機8は、聴覚装置2の2つのマイク11、11’と通信可能に接続されている。2つのマイク11、11’を使用すると、環境音声信号の発信方向を特定できる。通信ユニット1の受信機5は、聴覚装置2のスピーカ9、9’と通信可能に接続されている。聴覚装置2は、単一のマイク11および/または単一のスピーカ9を備えることも可能である。
送信機8および受信機5は、処理ユニット3に通信可能に接続されている。処理ユニット3は、送信機8を介してマイク11、11’から受信した音声信号を処理し、聴覚装置2に配置された通信ユニット1の受信機5を介して処理された音声信号をスピーカ9、9’に送信するように構成されている。
デジタルアナログ変換器は、デジタル信号をアナログ信号に、またはその逆に変換するように構成されている。この場合、デジタルアナログ変換器は、環境音声信号を送信機8を介して処理ユニット3に無線で送信する前に、マイク11、11’によって受信されたアナログ環境音声信号をデジタル信号に変換するように構成されている。環境音声信号が処理ユニット3によって処理されて強化された音声信号になった後、強化された音声信号は受信機5に伝送される。次に、デジタルアナログ変換器は、強化されたデジタル音声信号をアナログ音声信号に変換し、その後、強化された音声信号は、スピーカ9を介してユーザ12に伝えられる。
図1には、スピーカ9、9’が聴覚装置2に配置されていることが示されている。ただし、図2に示すように、聴覚装置2のスピーカ9、9’は、聴覚装置2から(少し)離れて配置されてもよい。受信機5は、スピーカ9およびデジタルアナログ変換器(図示しない。)を含むスピーカユニット16のさらなる受信機15に無線で接続されている。受信機5とさらなる受信機15との間の接続は、たとえば、ブルートゥース(登録商標)、または近距離無線通信(NFC)を介して用意することができる。たとえば、マイク11を備えた聴覚装置2は、スピーカユニット16を装着しているユーザ12の近くの部屋のテーブル上に配置されることが予想される。
スピーカユニット16は、ヘッドセット、またはたとえばアップルエアポッドなどのヘッドホンであり得る。スピーカユニット16は、ユーザの1つまたは2つの耳に少なくとも部分的にそれぞれ挿入され得る単一または2つのイヤホン9、9’を備えることも可能である。
一実施形態では、スピーカ9は、単に電線を介して通信ユニット1に接続されている。スピーカ9は、聴覚装置2から(比較的短い)距離で提供されることが可能であるが、この実施形態では、デジタルアナログ変換器とさらなる受信機15とを備えるスピーカユニット16は必須ではない。
図2は、聴覚装置2の音声信号を強化するためのシステム13の例示的な実施形態を開示している。聴覚装置2のマイク11は、聴覚装置2を聞いているユーザ12、すなわち聴覚装置2を携帯しているユーザ12の環境から生じる環境音声信号を受信するように構成される。環境音声信号は、ノイズを抑制し、および/または音声データを増幅することによって環境音声信号を強化するために、処理ユニット3の手段によって処理される。強化された音声信号は、スピーカ9の手段によって聴覚装置2を聞いているユーザ12に出力される。処理ユニット3は、聴覚装置2から(物理的に)離れた通信ネットワーク14に配置されている。処理ユニット3は、聴覚装置2のマイク11から環境音声信号を受信し、通信ネットワーク14を介して強化された音声信号を聴覚装置2のスピーカ9に再送信するように構成される。通信ネットワーク14は、好ましくは、50ミリ秒未満、より好ましくは30ミリ秒未満、さらにより好ましくは10ミリ秒未満、最も好ましくは1〜5ミリ秒の待ち時間を有するように構成される。通信ネットワーク14の待ち時間を短縮する役割を果たすいくつかの要因がある。たとえば、通信ネットワーク14の帯域幅、通信ネットワーク14の負荷、競合率(実際の帯域幅に対する潜在的な最大需要の比率)、ローカル交換からの距離、トラフィックスロットリング、サーバの負荷、ネットワークルート、および発生したルーティング遅延の数と大きさなどである。また、当業者に知られているように、ネットワーク内のノードの数が通信ネットワークの待ち時間に影響を与えることが予想され、ノード(たとえば、ルーター)が多いほど、ルーティング遅延のため待ち時間が長くなる。
少量の最終処理が、たとえば、補聴器2自体において実施されてもよいことには留意すべきである。しかしながら、音声強化処理は行われない、または、最小限の音声強化処理および/または最終処理のみをローカルで、たとえば、聴覚装置2自体において実行されるように、強化された音声信号は、本質的には、ほぼ完全に、たとえば90〜100%、または完全に、すなわち100%、通信ネットワーク14に配置された処理ユニット3によって生成/処理される。
多くの音声強化技術は、本発明の範囲内にあるノイズを抑制し、および/または音声データを増強することに使用することができ、たとえば、アクティブノイズ低減/キャンセル、風ノイズ低減、インパルスノイズ低減、閉塞低減、フィードバック制御、サウンドスムージング、発話の強調および/またはフォーカス、デバイスのバイノーラル接続、T設定、FM互換性、デジタル信号処理、複数チャネル処理、方向操作、サウンド選択、場所または環境に基づく自動設定制御、ユーザ定義の複数メモリ、動き検出、周波数圧縮、指向性発話強調、および音声/ビデオ(a/v)同期である。また、リズム、ダイナミクス、メロディー、ハーモニー、フォーム、音色およびテクスチャーといった音楽の要素を強化するための技術およびアルゴリズムも考えられる。
a/v同期では、特に映画中の唇の同期に関して、音声フィードがビデオフィードより100ミリ秒以内で進んでおり、音声が25ミリ秒以内でビデオから遅れている場合、したがって音声の遅延時間がビデオフィードに対して−100ミリ秒から+25ミリ秒の間の場合、音声とビデオの間の逸脱は一般に検出できないことがわかった。一般に、音声の遅延時間が−125ミリ秒から+45ミリ秒の場合、逸脱が検出可能になる。さらに、−185ミリ秒から+90ミリ秒の間の音声の遅延時間は許容できないと考えられる。上記に続いて、本発明者らは、本発明を使用することによる一般に検出不可能なa/v同期のために、少なくとも50ミリ秒の待ち時間を有する接続が提供されるべきであることを見いだした。それは、5Gネットワークを使用することで可能であることもわかった。他の音声強化技術についても、同様の見方ができる。
聴覚装置2は、環境音声信号を聴覚装置2のマイク11から通信ネットワーク14内の処理ユニット3に(無線で)送信するための送信機8と、強化された音声信号を通信ネットワーク14内の処理ユニット3から(無線で)受信するための受信機5とを備えた通信ユニット1を備える。好ましくは、通信ユニット1は、聴覚装置2内に、または聴覚装置2によって物理的に含まれている。
処理ユニット3は、データベース7を含む記憶ユニット6と通信する。記憶ユニット6は、サーバ4に配置することもできる。好ましくは、データベースは、それぞれの多数のユーザ12の関連する多数の最適な聴覚プロファイルを含む。それぞれの最適な聴力プロファイルは、ユーザ12の聴力範囲の情報で構成されている。データベース7にアクセスすることにより、環境音声信号を強化された音声信号に処理するときに、ユーザ12の最適な聴覚プロファイルを考慮することができる。このように、ノイズ抑制および/または増幅は、部分的ではあるが、ユーザ12の最適な聴覚プロファイルに基づくことができる。これは、たとえば、複数のユーザ12がSkype、Goto、またはZoomミーティングのようなオンライン会議に(同時に)参加している場合に、各ユーザ12は、音声信号をローカルで処理して強化された音声信号を生成することなく、最適な音を聞くことができ、非常に有利である。
本発明による聴覚装置2の音声信号を強化するための方法は、
聴覚装置2のマイク11を介して、聴覚装置2を聞いているユーザ12の環境から生じた環境音声信号を受信することと、
環境音声信号を、通信ユニット1の送信機8を介して、サーバ4に配置された処理ユニット3に送信することであって、処理ユニット3は、通信ユニット1から離れて配置され、通信ネットワーク14を介してそこへ接続されている、送信することと、
処理ユニット3によって、環境音声信号を処理することであって、それにより、ノイズを抑制し、および/または音声データを増幅することによって、強化された環境音声信号を形成する、環境音声信号を処理することと、
処理ユニット3によって、通信ユニット1の受信機5を介して強化された音声信号をスピーカ9に伝送することと、
強化された音声信号を、スピーカ9を介して聴覚装置2を聞いているユーザ12に出力することと、
のステップを含む。
上記の説明は、本発明の好ましい実施形態の動作を例示することを意図しており、本発明の保護の範囲を縮小することを意図していないことは明らかである。上記の説明から始めて、本発明の概念および本発明の保護の範囲内で、当業者には多くの実施形態が考えられるであろう。
1 通信ユニット
2 聴覚装置
3 処理ユニット
4 サーバ
5 受信機
6 記憶ユニット
7 データベース
8 送信機
9 スピーカ/イヤホン
10 (デジタルアナログ)変換器
11 マイク
12 ユーザ
13 システム
14 通信ネットワーク
15 さらなる受信機
16 スピーカユニット

Claims (15)

  1. 聴覚装置を聞いているユーザの環境から生じた環境音声信号を受信するために、前記聴覚装置のマイクを使用することと、
    ノイズを抑制し、および/または音声データを増幅することによって前記環境音声信号を強化するために、処理ユニットの手段によって前記環境音声信号を処理することと、
    スピーカの手段を使用して、前記聴覚装置を聞いている前記ユーザに前記強化された音声信号を出力することと、を含み、
    前記処理ユニットは、前記聴覚装置から離れた通信ネットワーク内に配置され、
    前記処理ユニットは、前記通信ネットワークを介して、前記聴覚装置の前記マイクから前記環境音声信号を受信し、前記強化された音声信号を前記聴覚装置の前記スピーカに再送信するように構成されることを特徴とする、
    聴覚装置の音声信号を強化するため方法。
  2. 前記通信ネットワークは、50ミリ秒未満の待ち時間を有するように構成されている、
    請求項1に記載の方法。
  3. 前記通信ネットワークは、30ミリ秒未満の待ち時間を有するように構成されている、
    請求項1または2に記載の方法。
  4. 前記通信ネットワークは、10ミリ秒未満の待ち時間を有するように構成されている、
    請求項1から3のいずれか一項に記載の方法。
  5. 前記通信ネットワークは、1〜5ミリ秒の待ち時間を有するように構成されている、
    請求項1から4のいずれか一項に記載の方法。
  6. 前記聴覚装置は、前記環境音声信号を前記聴覚装置の前記マイクから前記通信ネットワーク内の前記処理ユニットに無線で送信するための送信機と、前記通信ネットワーク内の前記処理ユニットから前記強化された音声信号を受信する無線用の受信機とを備えた通信ユニットに接続される、
    請求項1から5のいずれか一項に記載の方法。
  7. 前記通信ネットワークは、前記ユーザの最適な聴覚プロファイルに一致するように、前記強化された音声信号をさらに処理するためのさらなる処理ユニットを備える、
    請求項1から6のいずれか一項に記載の方法。
  8. 聴覚装置を聞いているユーザの環境から生じた環境音声信号を受信するための、前記聴覚装置に含まれるマイクと、
    ノイズを抑制し、および/または音声データを増幅して前記環境音声信号を強化する手段によって、前記環境音声信号を処理するための処理ユニットと、
    前記聴覚装置を聞いているユーザに前記強化された音声信号を出力するように構成されたスピーカと、を備え、
    前記処理ユニットは、前記聴覚装置から離れた通信ネットワーク内に配置され、
    前記処理ユニットは、前記通信ネットワークを介して、前記聴覚装置の前記マイクから前記環境音声信号を受信し、前記強化された音声信号を前記聴覚装置の前記スピーカに再送信するように構成されることを特徴とする、
    聴覚装置の音声信号を強化するためのシステム。
  9. 前記聴覚装置は、前記環境音声信号を前記聴覚装置の前記マイクから前記通信ネットワーク内の前記処理ユニットに無線で送信するための送信機と、前記通信ネットワーク内の前記処理ユニットから前記強化された音声信号を受信する無線用の受信機とを備えた通信ユニットに接続される、
    請求項8に記載のシステム。
  10. 前記通信ユニットの前記受信機と前記送信機は、トランシーバとして構成されている、
    請求項9に記載のシステム。
  11. 前記聴覚装置は、前記通信ユニットを含む、
    請求項8から10のいずれか一項に記載のシステム。
  12. 前記通信ネットワークは、50ミリ秒未満、より好ましくは30ミリ秒未満、さらにより好ましくは10ミリ秒未満、最も好ましくは1〜5ミリ秒の待ち時間を有するように構成される、
    請求項8から11のいずれか一項に記載のシステム。
  13. 前記処理ユニットは、前記ユーザに関連付けられた最適な聴覚プロファイルを含むデータベースを含む記憶ユニットと通信する、
    請求項8から12のいずれか一項に記載のシステム。
  14. 前記処理ユニットは、それぞれの多数のユーザに関連付けられた多数の最適な聴覚プロファイルを含むデータベースを含む記憶ユニットと通信し、
    それぞれのユーザの最適な聴覚プロファイルは、前記環境音声信号を前記強化された音声信号に処理するときに考慮される、
    請求項13に記載のシステム。
  15. 前記聴覚装置を聞いているユーザの環境から生じた環境音声信号を受信するためのマイクと、
    前記聴覚装置を聞いているユーザに強化された音声信号を出力するように構成されたスピーカと、
    前記環境音声信号を前記聴覚装置の前記マイクから通信ネットワーク内の処理ユニットに無線で送信するための送信機と、前記通信ネットワーク内の前記処理ユニットから前記強化された音声信号を受信する無線用の受信機とを備えた通信ユニットと、をさらに備え、
    前記処理ユニットは、前記聴覚装置から離れた通信ネットワーク内に配置され、
    前記処理ユニットは、ノイズを抑制し、および/または音声データを増幅することによって前記環境音声信号を強化するために、前記環境音声信号を処理するように構成されている、
    請求項1から7のいずれか一項に記載の方法または請求項8から14のいずれか一項に記載のシステムに使用するための聴覚装置。
JP2021547030A 2018-08-23 2019-08-22 聴覚装置の環境音声信号を強化するための方法、システム、および聴覚装置 Pending JP2021536207A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
NL2021491 2018-08-23
NL2021491A NL2021491B1 (en) 2018-08-23 2018-08-23 Method, system, and hearing device for enhancing an environmental audio signal of such a hearing device
PCT/NL2019/050541 WO2020040638A1 (en) 2018-08-23 2019-08-22 Method, system, and hearing device for enhancing an environmental audio signal of such a hearing device

Publications (1)

Publication Number Publication Date
JP2021536207A true JP2021536207A (ja) 2021-12-23

Family

ID=68240787

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021547030A Pending JP2021536207A (ja) 2018-08-23 2019-08-22 聴覚装置の環境音声信号を強化するための方法、システム、および聴覚装置

Country Status (9)

Country Link
US (1) US20210195346A1 (ja)
EP (1) EP3841762B1 (ja)
JP (1) JP2021536207A (ja)
KR (1) KR20210055715A (ja)
CN (1) CN112956214A (ja)
AU (1) AU2019324315A1 (ja)
CA (1) CA3113989A1 (ja)
NL (1) NL2021491B1 (ja)
WO (1) WO2020040638A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3930348A3 (en) 2020-06-25 2022-03-23 Oticon A/s A hearing system comprising a hearing aid and a processing device

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5721783A (en) * 1995-06-07 1998-02-24 Anderson; James C. Hearing aid with wireless remote processor
EP1720375B1 (en) * 2005-05-03 2010-07-28 Oticon A/S System and method for sharing network resources between hearing devices
US7929722B2 (en) * 2008-08-13 2011-04-19 Intelligent Systems Incorporated Hearing assistance using an external coprocessor
US8611570B2 (en) * 2010-05-25 2013-12-17 Audiotoniq, Inc. Data storage system, hearing aid, and method of selectively applying sound filters
US20150281853A1 (en) * 2011-07-11 2015-10-01 SoundFest, Inc. Systems and methods for enhancing targeted audibility
US9185501B2 (en) * 2012-06-20 2015-11-10 Broadcom Corporation Container-located information transfer module
EP2936834A1 (en) 2012-12-20 2015-10-28 Widex A/S Hearing aid and a method for improving speech intelligibility of an audio signal
US20140254842A1 (en) * 2013-03-07 2014-09-11 Surefire, Llc Situational Hearing Enhancement and Protection
EP2874410A1 (en) * 2013-11-19 2015-05-20 Oticon A/s Communication system
CN104023302A (zh) * 2014-05-19 2014-09-03 周电 可编程数字助听系统及其方法
US10701495B2 (en) * 2014-08-08 2020-06-30 The Regents Of The University Of California External device leveraged hearing assistance and noise suppression device, method and systems
EP3159017B1 (de) * 2015-10-19 2018-05-02 Bioenergy Capital AG Resorbierbare matrix zur wundabdeckung
US10652671B2 (en) * 2015-12-15 2020-05-12 Sonova Ag Method of operating a hearing device
EP3285500B1 (en) * 2016-08-05 2021-03-10 Oticon A/s A binaural hearing system configured to localize a sound source
AU2017355584B2 (en) 2016-11-02 2020-02-20 Chears Technology Company Limited Intelligent hearing aid

Also Published As

Publication number Publication date
AU2019324315A1 (en) 2021-04-22
US20210195346A1 (en) 2021-06-24
NL2021491B1 (en) 2020-02-27
CA3113989A1 (en) 2020-02-27
KR20210055715A (ko) 2021-05-17
CN112956214A (zh) 2021-06-11
EP3841762B1 (en) 2024-04-24
WO2020040638A1 (en) 2020-02-27
EP3841762A1 (en) 2021-06-30

Similar Documents

Publication Publication Date Title
EP4203515A1 (en) Communication device and hearing aid system
US8180078B2 (en) Systems and methods employing multiple individual wireless earbuds for a common audio source
CN108886647B (zh) 耳机降噪方法及装置、主耳机、从耳机及耳机降噪系统
WO2019090283A1 (en) Coordinating translation request metadata between devices
US20160088403A1 (en) Hearing assistive device and system
US20230367817A1 (en) Real-time voice processing
JP2022514325A (ja) 聴覚デバイスにおけるソース分離及び関連する方法
US20230319497A1 (en) Sensor management for wireless devices
JP2021536207A (ja) 聴覚装置の環境音声信号を強化するための方法、システム、および聴覚装置
EP3072314B1 (en) A method of operating a hearing system for conducting telephone calls and a corresponding hearing system
US9913029B2 (en) Sound filtering system
EP4207194A1 (en) Audio device with audio quality detection and related methods
US20230209282A1 (en) Communication device, terminal hearing device and method to operate a hearing aid system
US20230209281A1 (en) Communication device, hearing aid system and computer readable medium
CN116192316A (zh) 数据传输方法、装置和耳机
JP2016019263A (ja) 音声通信装置およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230912

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231122

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240312