JP2023094551A - 通信装置及び聴覚補助システム - Google Patents
通信装置及び聴覚補助システム Download PDFInfo
- Publication number
- JP2023094551A JP2023094551A JP2022182979A JP2022182979A JP2023094551A JP 2023094551 A JP2023094551 A JP 2023094551A JP 2022182979 A JP2022182979 A JP 2022182979A JP 2022182979 A JP2022182979 A JP 2022182979A JP 2023094551 A JP2023094551 A JP 2023094551A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- audio
- terminal
- paf
- communication device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 title claims abstract description 264
- 230000005236 sound signal Effects 0.000 claims abstract description 141
- 238000004422 calculation algorithm Methods 0.000 claims description 32
- 230000004913 activation Effects 0.000 claims description 16
- 238000010801 machine learning Methods 0.000 claims description 16
- 230000004048 modification Effects 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 6
- 230000001419 dependent effect Effects 0.000 claims description 5
- 230000003213 activating effect Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims 2
- 238000000034 method Methods 0.000 description 20
- 238000012545 processing Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 14
- 230000000875 corresponding effect Effects 0.000 description 12
- 208000016354 hearing loss disease Diseases 0.000 description 12
- 238000013473 artificial intelligence Methods 0.000 description 9
- 230000015654 memory Effects 0.000 description 8
- 206010011878 Deafness Diseases 0.000 description 7
- 230000003321 amplification Effects 0.000 description 7
- 238000003199 nucleic acid amplification method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000010370 hearing loss Effects 0.000 description 6
- 231100000888 hearing loss Toxicity 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 208000025721 COVID-19 Diseases 0.000 description 1
- 238000012896 Statistical algorithm Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 230000001447 compensatory effect Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000012956 testing procedure Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
- H04R25/554—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/08—Mouthpieces; Microphones; Attachments therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
- H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Otolaryngology (AREA)
- Neurosurgery (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
【課題】聴覚補助のための通信装置及び聴覚補助システムを提供する。【解決手段】通信装置110と、通信装置110に無線通信リンク116を介して結合されている端末聴覚装置120と、を含む聴覚補助システム200において、通信装置110は、無線通信端末及び/又は端末インターフェース114と、無線通信端末及び/又は端末インターフェースからオーディオ信号128を表す信号を受信する少なくとも1つのプロセッサ106と、プロセッサに結合され、所定のユーザの個人可聴性特徴を含む個人可聴性特徴(PAF)ファイル112を内部に記憶させた記憶要素108と、を含む。プロセッサはさらに、データストリーム130として受信したPAFファイルに従って信号を修正し、修正された信号に基づいてオーディオストリーム132を表す別の信号を無線通信端末に提供する。【選択図】図2
Description
本開示は、一般に聴覚補助システムに関する。
世界保健機関(WHO)によれば、今日、世界の5人に1人がある程度の難聴(軽度から重度)を経験している。難聴を有する人々の80%近くが低所得から中所得の国々に住んでいる。Bluetooth(登録商標)機能を備えた補聴器が人気を集めている。これらのデバイスは、電話及び他のBluetooth(BT)可能なモノのインターネット(IoT)/ウェアラブルのデバイスにシームレスに接続する。
新しいBluetooth Low Energy(BT LE)プロトコルをサポートする補聴器が、まもなくパーソナルコンピュータ(PC)に直接接続することができるようになる。関連分野のBT対応補聴器は高価であり、複数の度合いの難聴を経験している世界人口の多くにとって費用負担可能な範囲外である可能性がある。聴覚障害を有する人々は、オンラインコミュニケーション及び他のオーディオベースのタスクに従事するとき、困難及び/又は不利益を経験する可能性がある。これらのコミュニケーションの障壁は、COVID-19のパンデミックに応じて採用されたリモートのオンライン学習及び作業モデルにより、近年増大されている。
関連技術におけるBT可能補聴器では、全てのオーディオ処理と個人可聴性曲線への適合が補聴器内で実行される。さらなる関連技術は、人工知能(AI)メカニズムを使用して発話認識を向上させる。さらなる関連技術では、パーソナルコンピュータ(PC)が生のオーディオストリームをヘッドホンに送信する。
図面において、同様の参照文字は一般に、異なる図を通して同じ部分を参照する。図面は必ずしも縮尺どおりでなく、その代わりに一般に、発明の原理を示すことに重点が置かれている。以下の説明では、本発明の様々な態様について、以下の図面を参照して説明する。
通信装置の一例示的な概略図を示す。
聴覚補助システムの一例示的な概略図を示す。
聴覚補助システムの一例示的な概略図を示す。
聴覚補助システムの一例示的なフローチャートを示す。
通信装置の一例示的な概略図を示す。
聴覚補助システムの一例示的な概略図を示す。
聴覚補助システムの一例示的な概略図を示す。
聴覚補助システムの一例示的な概略図を示す。
聴覚補助システムの一例示的なフローチャートを示す。
オーディオ信号を修正する方法のフロー図を示す。
オーディオ信号を修正する方法のフロー図を示す。
以下の詳細な説明は、本開示が実施され得る具体的な詳細及び例を例示として示す添付の図面を参照する。1つ以上の例が、当業者が本開示を実施することを可能にするように十分に詳細に説明されている。本開示の範囲から逸脱することなく、他の例が利用される場合があり、構造的、論理的、及び電気的な変更が行われる場合がある。本明細書で説明する様々な例は、いくつかの例を1つ以上の他の例と組み合わせて新しい例を形成することができるため、必ずしも相互排他的ではない。様々な例が方法と関連して説明され、様々な例が装置と関連して説明される。しかしながら、方法に関連して説明される例は同様に装置に適用されてもよく、その逆も同様であることが理解され得る。図面全体を通して、同じ又は類似の要素、特徴、及び構造を示すために、同様の参照番号が使用されていることに留意されたい。
図1の各々は通信装置110を示し、図5は通信装置510を示し、図2及び図3の各々は、通信装置110と端末聴覚装置(terminal hearing device)120とを含む聴覚補助装置(hearing aid device)200を示し、図6A、図6B、及び図7の各々は、通信装置510と端末聴覚装置120とを含む聴覚補助装置600を示す。
例示的に、通信装置110、510は、接続された端末聴覚装置120及び対応する聴覚補助システム200、600それぞれと組み合わせて、関連技術の補聴器(hearing aids)の代替として、端末聴覚装置120としてより低コストのイヤーバッド(ear buds)(<USD200)の使用を可能にする。
通信装置110は、パーソナルコンピュータ(PC)、又は端末聴覚装置120との通信機能を提供する通信インターフェースを有する任意の種類のコンピューティング装置であってよい。このように、難聴を有する人口の大部分が、通信装置110を使用するとき、向上した聴覚へのアクセスを得ることができる。例として、通信装置110は、携帯電話、例えば、iPhone(登録商標)、Android(登録商標)、Blackberry(登録商標)などのスマートフォン、デジタル強化コードレス電気通信(Digital Enhanced Cordless Telecommunications、「DECT」)電話、固定電話、タブレット、メディアプレーヤー、例えば、iPod(登録商標)、MP3プレーヤー等)、コンピュータ、例えば、デスクトップ又はラップトップ、PC、Apple(登録商標)コンピュータ等、ホームエンターテインメント又はホームシアターシステムの一部にすることができるオーディオ/ビデオ(A/V)ワイヤレス通信端末、例えば、車内のカーオーディオシステム又は回路、リモートコントロール、アクセサリ電子装置、ワイヤレススピーカー、又はスマートウォッチ、又はクラウドコンピューティング装置、又は具体的に設計されたユニバーサルシリアルバス(USB)ドライブでもよい。
例示的に、通信装置110、510は、個人可聴性特徴(personal audibility feature、PAF)、例えば、個人可聴性曲線(personal audibility curve)から導出される計算労力及びオーディオ適合の顕著な部分を通信装置110、510に引き継ぎ、通信装置110の計算リソースを利用する。これにより、聴覚障害を有する人々に対して、例えばイヤーバッドを端末聴覚装置120として使用することによって、費用負担可能なコストでより高品質の強化されたオーディオ及び発話認識を可能にする。
さらに、例示的に、通信装置110は、イヤーバッドマイクロフォンにより捕捉された周囲音を(例えば、無線で、例えば、Bluetoothサブシステムを介して)受信し、この周囲音をデコードし、デコードされた周囲音を例えばプロセッサに転送し、PAF聴覚設定を適用し、Bluetoothサブシステムにループバックして、PAF聴覚設定が適用された周囲音をプレイバックのためにイヤーバッドスピーカーに(双方向ストリームにおける第2の方向で)送信するように構成されてもよい。
したがって、2つの有利な態様を組み合わせてもよい。一方で、音を捕捉するためにイヤーバッドマイクロフォンを使用することは、ユーザが、頭部を(及び、それにより耳の中、上、又は近くのマイクロフォンを)音源に向かって移動することにより、焦点を自然にシフトする可能性を有し得、かつ/あるいは、例えば、各々がその独自のマイクロフォンを有するイヤーバッドのペアが使用される場合、ユーザの位置に関する方向性を提供し得る間、ユーザの周囲音が捕捉されることを意味する。他方で、ユーザの捕捉された周囲音を通信装置110に中継することは、イヤーバッドが費用負担可能なコストで提供され得ることと、関連技術の補聴器に含まれるプロセッサにより提供可能であり得るものと比較して、潜在的に向上した処理リソースが通信装置110により提供され得ることを意味する。
さらに、例示的に、通信装置510は、(それ自身の周囲又は環境における)周囲音を捕捉し、この周囲音をデコードし、デコードされた周囲音を例えばプロセッサに転送し、PAF聴覚設定を適用し、PAF聴覚設定が適用された音をBluetoothサブシステムに転送して、PAF聴覚設定が適用された音をプレイバックのためにイヤーバッドスピーカーに送信するように構成されてもよい。
別様に表現すると、通信装置510は、外部マイクロフォンとして使用されてもよく(イヤーバッドに対して外部、例えば別個の装置として、を意味し、任意で、外部マイクロフォンは、イヤーバッドからリモートの位置にあってもよい)、これは、イヤーバッドにのみマイクロフォンを有する聴覚補助にまさる利点を提供し得る。例えば、通信装置510は、会議室の近くの隅からの話者の音声を捕捉するように配置されてもよい。次いで、PCオーディオサブシステムが、捕捉されたオーディオ信号を処理し、所与のユーザの聴覚設定とマッチし得るユーザPAFプロファイルを適用することができる。Bluetoothサブシステムは、PAFプロファイルが適用されたオーディオ信号を圧縮することにより、及び、オーディオ信号をイヤーバッドに、任意で、左右のイヤーバッドに個々のストリームとして送信することにより、続くことができる。難聴を有するユーザは、イヤーバッドを装着すると、話者が位置し得る会議室の遠い隅からのクリアな音声信号を受信できる場合がある。外部マイクロフォンにより提供される利点は、ターゲット音源により近い位置を特定可能であること(locatability)に対して代替的に又は追加で、より高品質のマイクロフォン(例えば、より低い自己ノイズを有する)、専用のマイクロフォン、例えば、指向性マイクロフォン、ノイズ・キャンセリングマイクロフォン、又はハイドロフォン、又はより多数のマイクロフォンを使用する可能性であり得、あるいは該可能性を含むことができる。通信装置510による音の捕捉は、要求に応じて、例えば、手動制御により、又は少なくとも1つのマイクロフォンで受け取った音響アクティブ化信号(acoustic activation signal)により、アクティブ化可能でもよい。音の捕捉がアクティブ化されているとき、捕捉された音は、上述のように処理され、イヤーバッドに転送されてもよく、その場合、それは、イヤーバッド拡声器によりブロードキャストされる唯一の音信号である場合があり、あるいは、通信装置510により捕捉及び処理された音信号は、ユーザの身近な環境からの音信号がオーバーレイされる場合があり、これは、イヤーバッドにおけるマイクロフォンにより捕捉され、例えば上述のように通信装置510で処理され得る。したがって、ユーザは、例えば、会議の話者からの発話を含むオーディオ信号と、代替的に又は同時に、ユーザの近く、例えば隣の席からの発話からのオーディオ信号を受信することができる。
PAFファイルは、向上したユーザ端末聴覚装置ペア固有の音声増幅を可能にする端末聴覚装置120のオーディオ再生特徴(audio reproduction feature)をさらに含むことができる。
換言すれば、聴覚補助システム200は、したがって従来の端末聴覚装置120、例えばイヤーバッド、ヘッドホンなどを採用しているが、端末聴覚装置120のオーディオ処理、人工知能(AI)、個人可聴性曲線、及び音響設定は、端末聴覚装置120の外部にある通信装置110にアウトソースされている。このように、低コストの聴覚補助システム100を提供することができる。さらに、向上したチューニング、発話認識及び明瞭さのための向上したAI特徴セット、向上したノイズキャンセリング、向上したフィードバック抑制、及び/又は向上したバイノーラルリンクなど、一般的な集団に対して適合及び向上したチューニングされたオーディオ品質が提供される。
さらに、通信装置110は、ユーザ及び端末聴覚装置120ごとに聴覚閾値を個人向けにする(personalize)、例えば、PAFファイルに記憶される可聴性選好プロファイルを生成することができる。コンピューティング装置110は、聴覚補助システム200のユーザの聴覚障害に固有の個人可聴性特徴(PAF)ファイル112と、端末聴覚装置120のオーディオ再生特徴を定義することができる。例示的な例として、PAFファイル112は、オージオグラムを含むことができるが、他の特徴、例えばユーザの音声認識WIN/HINT検査も含むことができる。PAFファイルは、ユーザの聴覚障害を表すオージオグラムをグラフフォーマット又は表形式でPAFファイルに含めることができる。オージオグラムは、ユーザの聴覚障害を低減するために、可聴帯域にわたり周波数(例えば、ヘルツ単位の)の関数として必要な補償増幅(例えば、デシベル単位の)を示す。
PAFファイル112は、例えばサーバ、例えばクラウドサーバを介して、複数の通信装置110間で共有されてもよい。このように、PAFファイル112を使用する聴覚補助アプリケーション(以下では、アプリとも表記される)をサポートする異なる通信装置110を使用することができる。PAFファイル112の較正は、検査手順をガイドするために通信装置110で実行されているアプリケーションプログラムに接続する聴覚訓練士(audiologist)により行われてもよい。代替的に又は追加で、検査手順を定義する通信装置110上のAIベースの較正メカニズムが使用されてもよい。
PAFファイル112は、所定のユーザの個人可聴性特徴と、端末聴覚装置120のオーディオ再生特徴を含むことができる。PAFファイル112は、ユーザの個人可聴性特徴と端末聴覚装置120のオーディオ再生特徴とを含むことができる単一の共有可能ファイルでもよい。一例として、個人可聴性特徴は、個人可聴性曲線、例えば、ISO226:2003に従った個人の等ラウドネス曲線(equal loudness contour)を含むことができる。オーディオ再生特徴は、端末聴覚装置120の一意ID、名前、ネットワークアドレス、及び/又は分類の情報を含むことができる。オーディオ再生特徴は、端末聴覚装置120のスピーカー124のオーディオマッピング曲線をさらに含んでもよい。ここで、オーディオマッピング曲線は、端末聴覚装置120のスピーカー124による、所定のオーディオスペクトルの音響再生精度として理解されてもよい。
一例として、PAFファイル112は、以下の内容、すなわち、端末聴覚装置の識別、ユーザのオージオグラム、ユーザのWIN/HINT検査結果を有することができる。これらの検査結果は、様々なオーディオアルゴリズム、一例としてイコライザ、周波数圧縮、AIベースの発話強化をトリミングする(trim)ために、自動的に使用されてもよい。PAFファイル112は、ターゲットオーディオ補正アルゴリズム係数(既知のアルゴリズムに対して)をさらに含んでもよい。ターゲットオーディオ補正アルゴリズム係数は、聴覚訓練士又は聴覚補助システムのユーザにより手動でトリミングされてもよい。通信装置110は、聴覚支援のための新しいアルゴリズムの使用をサポートしてもよい。新しいアルゴリズムは、PAFファイル112に記憶された生の検査データを使用してもよく、PAFファイル112にフォローアップリビジョンのターゲットオーディオ補正アルゴリズム係数を記憶してもよい。
図1の通信装置110は、無線通信端末(wireless communication terminal)114(これは無線通信端末インターフェースを含むことができる)と、無線通信端末114からオーディオ信号128を受信するように構成された少なくとも1つのプロセッサ106と、プロセッサ106に結合された記憶要素108を含む。
PAFファイル112を記憶する記憶要素108は、1つ以上のメモリ、例えば、揮発性の、不揮発性の、磁気的、光学的、又は電気的媒体、例えば、読取専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、電気的消去可能プログラマブルROM(EEPROM)、フラッシュメモリなど、及び/又は、ラグを低減、緩和、又は除去するために通信装置110に統合されたバッファを有するクラウドベースのメモリを含むことができる。
記憶要素108は、内部に個人可聴性特徴(PAF)ファイル112を記憶させている。PAFファイル112は、所定のユーザの個人可聴性特徴を含む。PAFファイル112は、例えば、結合を介してデータストリーム130として、例えば、要求に応じて、及び/又は端末聴覚装置120の通信装置110への結合の後、プロセッサ106で受信されてもよい。
プロセッサ106はさらに、PAFファイル112に従ってオーディオ信号128を修正し、修正されたオーディオ信号128に基づくオーディオストリーム132を無線通信端末132に提供するように構成される。プロセッサ106はさらに、オーディオ信号128をPAFファイル112に適合させるように構成されてもよい。
プロセッサ106は、コントローラ、コンピュータ、ソフトウェアなどを含むことができ、プロセッサ106は、例えば、オーディオ信号102を修正し、例えば、増幅及び/又は周波数シフトする。増幅は、周波数を用いて、例えばPAFファイル112に従って変化することができる。このように、通信装置110は、個人向けにされた可聴信号を端末聴覚装置120のユーザに提供する。それを表現する別の方法としては、プロセッサ106は、デジタルオーディオ信号128を処理してデジタルオーディオ信号128の周波数エンベロープを整形し、PAFファイル112に基づいて信号を強化して、聴覚補助システム200のユーザに対するそれらの可聴性を向上させることができる。
一例として、プロセッサ106は、環境ノイズに関連づけられたオーディオ信号102よりも大きく、人間の発話に関連づけられた周波数帯域のオーディオ信号102を増幅する。このように、聴覚補助システム200のユーザは、会話を聞き、会話に参加することができる。
プロセッサ106は、PAFファイル112に基づいてオーディオ信号128に対して周波数依存のゲイン及び/又は減衰を設定するアルゴリズムを含んでもよい。
PAFファイル112と組み合わせたプロセッサ106は、オーディオ信号128の音レベル圧力及び/又は周波数依存ゲインを調整するために適合されてもよい。換言すれば、プロセッサ106は、PAFファイル112に記憶された情報に基づいてオーディオ信号128を増幅し、修正されたオーディオ信号132を結果としてもたらす。
プロセッサ106は、修正されたオーディオ信号132を無線通信端末114に提供する。無線通信端末114は、増幅されたオーディオ信号132をオーディオパケット134で端末聴覚装置120の無線通信端末118に提供する。
プロセッサ106は、分類器及び音分析器をさらに含んでもよい。分類器は、無線通信端末114を介して受信したオーディオ信号128を分析する。分類器は、受信した音の特性の分析に基づいて、聴き取り条件(hearing condition)を分類する。例えば、拾われた音の分析は、騒がしい場所で数人と話している、静かな会話、テレビを視聴している等を識別することができる。聴き取り条件が分類された後、プロセッサ106は、分類された聴き取り条件に従ってオーディオ信号128を処理するためのプログラムを選択し、使用することができる。例えば、聴き取り条件が、騒がしい場所での会話として分類されている場合、プロセッサ106は、会話に関連づけられたPAFファイル112に記憶された情報に基づいて、受信したオーディオ信号102の周波数を増幅し、周囲のノイズ周波数を減衰させることができる。
プロセッサ106は、単一のデジタルプロセッサ106でもよく、あるいは、異なる、潜在的に分散されたプロセッサユニットで構成されてもよい。プロセッサ106は、少なくとも1つのデジタルプロセッサ106ユニットでもよい。プロセッサ106は、ソフトウェア及び/又はコンピュータコードで適切にプログラムされるマイクロプロセッサ、マイクロコントローラ、デジタルプロセッサ106(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、個別の論理回路などのうちの1つ以上、又は専用のハードウェアとプログラマブル回路の組み合わせを含んでもよい。プロセッサ106はさらに、発話及び背景ノイズなどの音を区別し、シームレスな聴覚体験のために音を別様に処理するように構成されてもよい。プロセッサ106はさらに、風、周囲の撹乱などからのフィードバック又はノイズのキャンセルをサポートするように構成することができる。プロセッサ106はさらに、通信装置110の記憶要素108に、又は、外部記憶要素に、例えばクラウドなどのコンピュータネットワークに記憶され得るプログラム、ソフトウェアなどにアクセスするように構成されてもよい。
図2は、通信装置110と、通信装置110に結合されている端末聴覚装置120とを含む、聴覚補助システム200の一例示的な概略図を示す。
端末聴覚装置120は、通信装置110の無線通信端末114に通信上結合されるように構成された無線通信端末118(これは無線通信端末インターフェースを含むことができる)と、スピーカー124と、無線通信端末118とスピーカー124との間に結合された少なくとも1つのプロセッサ122を含むことができる。
端末聴覚装置120は、スピーカー124を含み、これは、拡声器、音出力装置として、又は音生成装置としても参照され、例えば、ユーザが音として知覚する音波又は機械的振動を生成するオーディオスピーカー又は他のタイプのトランスデューサである。
プロセッサ122は、無線通信端末118により受信したオーディオパケット134からスピーカー124に信号136を提供するように構成され得る。プロセッサ122は、例えば、一般的なボリューム調整などの動的なユーザ選好を適用するように構成されてもよい。スピーカー124は、PAF修正されたオーディオ信号126を聴覚補助システム200の所定のユーザに提供する。換言すれば、PAF修正されたオーディオ信号126は、オーディオ信号102の修正された、例えば、少なくとも部分的に増幅された(代替的又は追加的に、例えば、少なくとも部分的に周波数シフトされた)バージョンであってよく、これにおいて、修正(例えば、増幅)は、聴覚補助システム200のユーザの聴覚障害の特徴に、及び任意で、端末聴覚装置120のオーディオ再生特徴に相関する、PAFファイル112に記憶された情報に基づく。
端末聴覚装置120は、少なくとも1つのイヤホンを含んでもよい。端末聴覚装置120は、一例として、挿耳型イヤホン(in-the-ear phone)(イヤーバッドとも呼ばれる)でもよい。一例として、端末聴覚装置120は、第1の端末聴覚ユニットと第2の端末聴覚ユニットを含むことができる。一例として、第1の端末聴覚ユニットはユーザの左耳に対して構成されてもよく、第2の端末聴覚ユニットはユーザの右耳に対して構成されてもよく、あるいは、その逆も同様である。しかしながら、ユーザは、耳を1つだけ有する場合もあり、あるいは、聴覚障害を有する耳が1つだけである場合がある。端末聴覚装置120は、通信装置110との無線通信リンクのための第1の通信端末インターフェース118を含み得る第1の端末聴覚ユニットを含んでもよい。さらに、第1及び第2の端末聴覚ユニットは、第1及び第2の端末聴覚ユニット間の無線通信リンクのための第2の通信端末をそれぞれ含んでもよい。端末聴覚装置120は、通信装置110との無線通信リンクのための通信端末インターフェース118を含む任意の種類のヘッドセットを含んでもよく、あるいは該ヘッドセットであってもよい。
任意で、複数の端末聴覚装置120が通信装置110に結合されてもよく、例えば、ユーザごとに2つの端末聴覚装置120、例えば、左耳用と右耳用(これは、任意で、例えば双方のユニットを一緒に使用することが義務的である場合、上記のように、単一の端末聴覚装置120の聴覚ユニットのペアを形成するものとみなされてもよい)か、及び/又は、複数のユーザのうちのユーザごとに1つ以上の端末聴覚装置120かのいずれかである。各ユーザについて、任意でユーザの各耳について、又は、各ユーザの各端末聴覚装置120についてそれぞれ、個々のPAFファイル112が記憶要素108に記憶されてもよい。個々のPAFファイル112は、ユーザ、ユーザの耳、及び/又は端末聴覚装置120の識別を含むことができ、特定の端末聴覚装置120を通信装置110に結合すると、マッチするPAFファイル112を選択することができる。
端末聴覚装置120は、オーディオソースから受け取った音102(受け取ったオーディオ信号102とも呼ばれる)を(例えば、デジタルの)オーディオ信号128に変換するように構成されたマイクロフォン104を含む。
端末聴覚装置120は、例えば双方向無線リンク116を介してオーディオ信号120を通信装置110の無線通信端末114に送信するように構成された無線通信端末118をさらに含む。
通信装置110及び端末聴覚装置120の無線通信端末114、118はそれぞれ、例えば、Bluetoothインターフェース、例えば、Bluetooth Low Energy(LE)インターフェース、ZigBee(登録商標)、Z-Wave、Wi-Fi HaLow/IEEE802.11ahなどの短距離移動無線通信インターフェースとして構成されてもよい。例として、以下のBluetoothインターフェース、すなわち、Bluetooth V1.0A/1.0Bインターフェース、Bluetooth V1.1インターフェース、Bluetooth V1.2インターフェース、Bluetooth V2.0インターフェース(任意で、プラスEDR(Enhanced Data Rate))、Bluetooth V2.1インターフェース(任意で、プラスEDR(Enhanced Data Rate))、Bluetooth V3.0インターフェース、Bluetooth V4.0インターフェース、Bluetooth V4.1インターフェース、Bluetooth V4.2インターフェース、Bluetooth V5.0インターフェース、Bluetooth V5.1インターフェース、Bluetooth V5.2インターフェースなどのうちの1つ以上が提供されてもよい。このように、例示的に、聴覚補助システム200は、トランスポートプロトコルとしてBluetooth Low Energy(BLE)オーディオ(例えば、圧縮)ストリーム又は任意の他の短距離移動無線通信オーディオストリームから、又はBluetooth Low Energy(BLE)オーディオ(例えば、圧縮)ストリーム又は任意の他の短距離移動無線通信オーディオストリームに至る(go from or to)オーディオサンプルにPAFを適用する。
無線技術は、端末聴覚装置120と通信装置110との間の無線通信を可能にする。通信装置110は、端末聴覚装置120にオーディオパケット134を送信する、端末聴覚装置外部の装置、例えば、パーソナルコンピュータ、携帯電話、タブレット、iPodなど)である。端末聴覚装置120は、例えばAdvanced Audio Distribution Profile(A2DP)を使用して、オーディオソースからのオーディオをストリーミングする。例えば、端末聴覚装置120は、Bluetooth Basic Rate/Enhanced Data RateTM(Bluetooth BR/EDRTM)を使用して、A2DPを使用してオーディオを送信するように構成されたスマートフォン(通信装置110として)からのオーディオストリームをストリーミングすることができる。オーディオデータを運ぶとき、A2DP又はハンズフリープロファイル(Hands Free Profile、HFP)などのBluetooth Classicプロファイルは、通信装置110から端末聴覚装置120へのポイントツーポイントリンクを提供する。使用され得るさらなる例示的なBluetooth規格には、Bluetooth LE Audio Basic Audio Profile(BAP)プロファイル、Hearing Accessibility Profile(HAP)及びLow Complexity Communication Codec(LC3)が含まれる。
無線通信端末114と118との間の無線通信リンク116は、通常、オーディオ信号128及び132それぞれが対応する無線規格に従って提供されることを必要とし得るため、無線で送信可能であるように修正されたこれらのオーディオ信号は、それぞれ、(オーディオ信号128の代わりに)オーディオパケット129、及び(オーディオ信号132の代わりに)オーディオパケット134と呼ばれる。宛先で受信された後、それぞれ、オーディオパケット129はオーディオ信号128に戻すように変換することができ、オーディオパケット134はオーディオ信号132に戻すように変換することができる。
一例として、マイクロフォン104は、端末聴覚装置120のシーン(環境とも表記される)からの受け取ったオーディオ信号102に関連づけられたデジタルオーディオ信号128を提供し、それを無線で通信装置110に転送することができる。通信装置110のプロセッサ106は、PAFファイル112に基づいて、及び任意で機械学習アルゴリズムに基づいて、オーディオ信号128を修正する、例えば増幅することができる。例示的に、オーディオ信号の修正(例えば、少なくとも部分的な増幅)は、PAFファイル112に記憶された情報に対応する。
機械学習アルゴリズムが使用される場合、プロセッサ106における処理は、オーディオ信号128とPAFファイル112に記憶された情報とに加えて、機械学習アルゴリズムにコンテキストデータを入力することを含むことができる。コンテキストデータは、オーディオ信号102から、例えば、ノイズレベル又はオーディオスペクトルに基づいて導出されてもよい。
機械学習アルゴリズムは、端末聴覚装置120を、例えば複数の潜在的な所定の端末聴覚装置の1つとして分類するために、過去のコンテキストデータを用いて訓練されてもよい。機械学習アルゴリズムは、ニューロンネットワーク、統計的信号処理、及び/又はサポートベクターマシンを含んでもよい。一般に、機械学習アルゴリズムは、コンテキストデータの形式の入力データを有し、コンテキストデータに相関した分類を出力する関数に基づくことができる。この関数は、訓練の間に調整され得る重みを含むことができる。訓練の間、過去データ又は訓練データ、例えば、過去のコンテキストデータ及び過去の分類に対応するものは、重みを調整することに使用することができる。しかしながら、訓練は、聴覚補助システム200の使用の間に実施されてもよい。一例として、機械学習アルゴリズムは、学習の間に調整され得る重みに基づいてもよい。ユーザが、通信装置110と端末聴覚装置120との間の通信接続を確立したとき、機械学習アルゴリズムが、コンテキストデータと端末聴覚装置120のメタデータとを用いて訓練されてもよい。ユーザ入力から学習する間、重み付けを適合させるために、アルゴリズムが使用されてもよい。一例として、ユーザは、例えば個人の特定のサブセットとのアクティブなリスニング又は会話を聴くべき別のスピーカーを手動で選択することができる。さらに、ユーザフィードバックが、機械学習アルゴリズムの参照データであってもよい。
端末聴覚装置120のメタデータとオーディオ信号のコンテキストデータは、機械学習アルゴリズムに入力することができる。例えば、機械学習アルゴリズムは、畳み込みニューロンネットワーク(neuronal network)などの人工ニューロンネットワークを含んでもよい。代替的に又は追加で、機械学習アルゴリズムは、サポートベクターマシン、パターン認識アルゴリズム、統計アルゴリズムなどの、他のタイプの訓練可能なアルゴリズムを含んでもよい。メタデータは、端末聴覚装置のオーディオ再生特徴でもよく、一意のID、名前、ネットワークアドレスなどに関する情報を含んでもよい。
図3は、聴覚補助システム200がどのように機能するかに重点を置いた、高レベルの解決策ブロック図としての聴覚補助システム200の別の例示を示す。
通信装置110は、図においてPCプラットフォーム又はイヤーバッドアシスタントとも呼ばれ、端末聴覚装置120(イヤーバッド)のユーザに対応するPAFプロファイルを適用するために使用される。
周囲音が、イヤーバッドマイクロフォン104により捕捉され、双方向ストリーム134、129の一部として(無線接続116を介して)、無線通信端末114(Bluetoothサブシステム)により受信されるように通信装置110に送信される。オーディオパケット129は、通信装置110の無線通信端末114により(例えば、図3に示すように、LEオーディオコーデック/ストリームマネージャにより)デコードされ、オーディオ信号128として、プロセッサ106とPAFファイル112を有する記憶要素108とを含み得るオーディオサブシステムに転送され、PAF聴覚設定を適用してもよく、それにより、修正されたオーディオ信号132が形成される。その後、処理は、Bluetoothサブシステムにループバックし、修正されたオーディオ信号132をオーディオパケット134にエンコードして、無線通信端末118(図3には示されていない)でデコードするため、及びスピーカー124を介したプレイバックのために、それらをイヤーバッドスピーカー120に送信する。
図4は、AIアルゴリズムのためのメッセージフロー、処理フロー、及びトリガの詳細を提供する、聴覚補助システム200の一例示的なフローチャートを示す。
前提条件として、通信装置110(例えば、PC)は、端末聴覚装置120(この場合では、2つのイヤーバッド)との制御接続を維持する。
イヤーバッドの1つが音声捕捉(例えば、任意の種類の音声捕捉、最小レベルを上回る音声捕捉、キーフレーズの捕捉など)を検出し、PCループバック処理のアクティブ化をトリガするためにPCに通知する。代替的に(ここでは図示せず)、通信装置110は、単にイヤーバッドをオンにすることによって、ボタンを押すことによってなどで、音捕捉のために構成されてもよい。次いで、PCは、エンコーダ及びデコーダのために必要なBluetooth LE Audioコーデックパラメータを用いて、各イヤーバッドとの双方向ストリームを構成及び作成する。これの全てが、ループバックフローループ440に入る前に発生する。
ストリームが準備ができたとき、システムは「ループバックフローループ」440に移り、これにおいて、音102、例えば音声/発話は、2つのイヤーバッド120により継続的に捕捉され、Bluetooth LE Audio(双方向無線接続116)を通じて無線でPC110に送られる。次いで、受信した音(例えば、音声/発話)は、例えばAIを採用し得る、オーディオサブシステムにより、例えばプロセッサ106により処理され、Bluetoothサブシステムに移動されて、各イヤーバッド120に(オーディオパケット134として)送り返される。オーディオ処理は、例えばPAFファイル112として通信装置110内の記憶要素108に記憶することができ、かつ特定のユーザプロファイルを扱う、PAF(Personalized Audibility Features、個人向け可聴性特徴)を利用する。
図5の通信装置510は、図1の通信装置110の対応する要素及び構造と機能性において類似し又は同一である様々な要素及び構造を含む。重複する説明は省略される。
通信装置510は、オーディオソースから受け取った音102を、マイクロフォン104ごとに1つの、少なくとも1つのオーディオ信号128に変換するように構成された少なくとも1つのマイクロフォン104と、少なくとも1つのオーディオ信号128を受信するように構成された少なくとも1つのプロセッサ106と、無線通信端末114と、プロセッサ106に結合され、個人可聴性特徴(PAF)ファイル112を内部に記憶させた記憶要素108であり、PAFファイル112は所定のユーザの個人可聴性特徴を含む、記憶要素108を含む。プロセッサ106はさらに、PAFファイル112に従って少なくとも1つのオーディオ信号128を修正し、修正されたオーディオ信号に基づくオーディオストリーム132を無線通信端末114に提供するように構成され、オーディオストリーム132の提供は、手動制御により、又は少なくとも1つのマイクロフォン104で受け取った音響アクティブ化信号によりアクティブ化可能である。アクティブ化可能であること(activatability)/非アクティブ化可能であること(deactivatability)は、マイクロフォン104及び通信装置510の外部の双方とのインターフェースを有する「オン/オフ」メンバ550により示される。制御メカニズムのうちの1つのみが提供される場合があり、「手動制御」は任意の種類の非自動的なアクティブ化を含み、これは、ユーザによる意図的なアクションを必要とするが、必ずしも手動のアクティブ化ではなく、必ずしも通信装置自体で行われる手動のアクションではないことを理解すべきである。代わりに、アクティブ化/非アクティブ化コマンドが、例えば、無線通信端末114を介して通信装置110で受信されてもよい。
図5の通信装置510は、上述したように、外部マイクロフォン104として使用されることに適する(イヤーバッドに対して外部、例えば別個の装置として、を意味し、任意で、外部マイクロフォンは、イヤーバッドからリモートの位置にあってもよい)。オーディオストリーム132の提供は、例えば、端末聴覚装置120におけるマイクロフォンにより受け取ったオーディオ信号を使用して生成されたオーディオストリームの代替として、又は、端末聴覚装置120におけるマイクロフォンにより受け取ったオーディオ信号に追加で、例えば、オーバーレイされたオーディオ信号として、端末聴覚装置120でオーディオストリーム132を受信することが有益であるとユーザが判断したときにオンに切り替えられてもよい。
オーディオ信号128の処理は、図5の通信装置110におけるオーディオ信号128が、通信装置110に含まれ又は結合されており、かつ端末聴覚装置120の外部であるマイクロフォン104により受け取られる点を除き、通信装置110におけるオーディオ信号128の処理と同様であってよい。
図6A及び図6Bの各々は、通信装置510と端末聴覚装置120とを含む聴覚補助システム600を概略的に示す。端末聴覚装置120の構成及び機能は、図2の端末聴覚装置120と類似し又は同一であってよく、例外は、図6Aの端末聴覚装置120は必ずしもマイクロフォン104を備えていなくてもよく、すなわち、それは、例えば通信装置110から無線通信端末118を介してのみオーディオストリームを受信するように構成され得ることである。図6Bの聴覚補助システム600は、通信装置110のマイクロフォン104からのオーディオストリームと端末聴覚装置120のマイクロフォン104からのオーディオストリームとの2つのオーディオストリーム136が、代替的に又は連帯的に(jointly)(オーバーレイとして、例えば、調整可能な重みを用いて)スピーカー124に提供され得る点で、図2の聴覚補助システム200の機能を図6Aの聴覚補助システム600の機能と組み合わせている。
通信装置110のマイクロフォン104を使用してオーディオストリーム132を提供することにより、オーディオソース102に対応するオーディオストリーム128を、仮定の又は実際に存在する聴覚装置マイクロフォン104により受け取ったオーディオソース102の音に基づくオーディオストリーム128の信号品質より高い信号品質で提供することができる。
通信装置110の少なくとも1つのマイクロフォン104を使用したオーディオストリームと、聴覚装置マイクロフォンを使用したオーディオストリームとの間の信号品質における差は、通信装置110と少なくとも1つの端末聴覚装置120との間の少なくとも1つの構成差で生じる。例えば、通信装置110の少なくとも1つのマイクロフォン104は、端末聴覚装置120よりもオーディオソースにより近い場合があり、かつ/あるいは、通信装置110の少なくとも1つのマイクロフォン104は、端末聴覚装置120より多数のマイクロフォン(例えば、1つより多くの、又は2つより多くのマイクロフォン104、例えば、4つのマイクロフォン104)を含み、通信装置110の少なくとも1つのマイクロフォン104は、端末聴覚装置120のマイクロフォンより高品質であり、例えば、より低い自己ノイズ、より低いインピーダンスを有し、及び/又はより高い最大許容音圧レベル(sound pressure level、SPL)を有し、かつ/あるいは、通信装置110の少なくとも1つのマイクロフォン104は専用マイクロフォンであり、端末聴覚装置のマイクロフォンはそうでなく、例えば、ノイズキャンセリング(noise cancelling)マイクロフォン、指向性マイクロフォン、ノイズ・キャンセリング(noise-cancelling)マイクロフォン、又はハイドロフォンである。
図7は、聴覚補助システム600を高レベルの解決策ブロック図として示す。通信装置100(PCプラットフォームとして示される)は、外部(端末聴覚装置120に対して)のリモートマイクロフォン104として使用され、この場合では、2つのマイクロフォン104が設けられている。
マイクロフォン104を用いて、例えば会議室の一角からの話者の音声を捕捉し、プロセッサ106(PCオーディオサブシステムとも呼ばれる)は、次いで、捕捉されたオーディオ信号128を処理し、記憶要素108にPAFファイル112として記憶されたユーザPAFプロファイルを適用する。PAFプロファイルは、ユーザの聴覚設定とマッチする。
結果として生じる修正されたオーディオ信号132は、無線通信端末114(LEオーディオコーデック/ストリームマネージャを含むBluetoothサブシステム)に提供することができ、そこで、オーディオ信号132は、圧縮及び/又はエンコードされ(又は、より一般的には、採用される無線伝送規格に適合するように修正され)、オーディオパケット134として、例えば左右の耳用の2つの受信端末聴覚装置120の場合、2つの個々のオーディオストリーム134R、134Lとして、イヤーバッド120に、例えば左のイヤーバッド120及び右のイヤーバッド120Rに送信される。次いで、イヤーバッド120を装着した難聴を有するユーザは、人間の話者が講義をしている会議室の他方の(例えば、離れた)隅からのクリアな音声信号を受信することができる。
図8は、AIアルゴリズムのためのメッセージフロー、処理フロー、及びトリガの詳細を提供する、聴覚補助システム600の一例示的なフローチャートを示す。
前提条件として、通信装置110(例えば、PC)は、端末聴覚装置120(この場合では、2つのイヤーバッド)との制御接続を維持する。
PCオーディオサブシステムは、オーディオソースからの、例えば会議室内の離れた話者からの、音102を捕捉するように構成される。離れた話者の捕捉のアクティブ化は、手動で制御されてもよく、あるいは例えばキーフレーズ検出を介して自動的にトリガされてもよい。
リモートPC110は、捕捉トリガを検出すると、オーディオサブシステムAI処理をアクティブ化して、通信装置110がマイクロフォン104(図8では、4つの例示的なマイクロフォン104を示す)を介して受け取る離れた話者の音声/発話の処理を開始する。
次いで、オーディオサブシステムは、イヤーバッド120のための音声信号134が利用可能であることをBluetoothサブシステムに通知する。Bluetoothサブシステムは、イヤーバッド120ごとに1つのストリーム134で、2つのイヤーバッド120との間の適切なBluetooth LE Audioエンコーディングを用いた音声ストリーム134を作成する。これの全てが、リモート捕捉フローループ880に入る前に発生する。
ストリーム134が準備ができたとき、システムは「リモート捕捉フローループ」880に移り、これにおいて、音102、例えば音声信号は継続的に捕捉され、オーディオサブシステムAIにより処理され、Bluetoothサブシステムに移動されて、Bluetooth LE Audioを通じて無線で各イヤーバッド120に送信される。オーディオ処理は、例えばPAFファイル112として通信装置110内の記憶要素108に記憶することができ、かつ特定のユーザプロファイルを扱う、PAF(個人向け可聴性特徴)を利用する。
図9は、オーディオ信号を修正する方法のフロー図900を示す。この方法は、通信装置の無線通信端末を介して、通信装置のプロセッサでオーディオ信号を受信すること(910で)と、通信装置の記憶要素から、所定のユーザの個人可聴性特徴を含む個人可聴性特徴(PAF)ファイルを取り出すこと(920で)と、PAFファイルに従ってオーディオ信号を修正すること(930で)と、修正されたオーディオ信号に基づくオーディオストリームを無線通信端末に提供すること(940で)を含む。
図10は、オーディオ信号を修正する方法のフロー図1000を示す。この方法は、通信装置で、少なくとも1つのマイクロフォンによりオーディオソースから受け取った音を、マイクロフォンごとに1つの、少なくとも1つのオーディオ信号に変換すること(1010で)と、通信装置の記憶要素から、所定のユーザの個人可聴性特徴を含む個人可聴性特徴(PAF)ファイルを取り出すこと(1020で)と、PAFファイルに従って少なくとも1つのオーディオ信号を修正し、修正されたオーディオ信号に基づいてオーディオストリームを形成すること(1030で)と、手動制御により、又は少なくとも1つのマイクロフォンで受け取った音響アクティブ化信号により、オーディオストリームの提供をアクティブ化すること(1040で)と、通信装置の無線通信端末にオーディオストリームを提供すること(1050で)を含む。
コンピュータ読取可能媒体が提供されてもよい。例えば、上述の処理を実行するための命令が、聴覚補助システムの通信装置のプロセッサで実行され得るプログラムの一部であってもよい。コンピュータ読取可能媒体は、この通信装置の記憶要素でもよい。さらに、プログラムは通信装置のプロセッサにより実行されてもよく、コンピュータ読取可能媒体は通信装置の記憶要素でもよい。
一般に、コンピュータ読取可能媒体は、フロッピーディスク、ハードディスク、USB(ユニバーサルシリアルバス)記憶装置、RAM(ランダムアクセスメモリ)、ROM(読取専用メモリ)、EPROM(消去可能プログラマブル読取専用メモリ)、又はFLASH(登録商標)メモリでもよい。コンピュータ読取可能媒体は、さらに、プログラムコードのダウンロードを可能にするデータ通信ネットワーク、例えばインターネットでもよい。コンピュータ読取可能媒体は、非一時的又は一時的な媒体でもよい。
本明細書で用いられるとき、プログラムは、プロセッサで提供されるオーディオ周波数シェーピング又は補償を設定するための増幅アルゴリズムを実現する命令のセットである。増幅アルゴリズムは、「ゲイン周波数応答」アルゴリズムと呼ばれることもある。
例
ここに記載する例は例示的であり、網羅的ではない。
例1は通信装置でもよい。通信装置は、無線通信端末と、無線通信端末からのオーディオ信号を表す信号を受信するように構成された少なくとも1つのプロセッサと、プロセッサに結合され、個人可聴性特徴(PAF)ファイルを内部に記憶させた記憶要素とを含むことができ、PAFファイルは、所定のユーザの個人可聴性特徴を含み、プロセッサはさらに、PAFファイルに従ってオーディオ信号を表す信号を修正し、修正された信号に基づくオーディオストリームを表すさらなる信号を無線通信端末に提供するように構成される。
例2において、例1の対象事項は任意で、修正は、PAFファイルに記憶された情報に対応し、PAFファイルは、所定の端末聴覚装置のオーディオ再生特徴をさらに含むことを含んでもよい。
例3において、例2の対象事項は任意で、オーディオ再生特徴は、所定の端末聴覚装置のオーディオ再生特徴のグループのうちの少なくとも1つを含み、グループは、一意ID、名前、ネットワークアドレス、及び分類の情報を含むことを含んでもよい。
例4において、例1~3のいずれかの対象事項は任意で、無線通信端末は双方向通信に対して構成されることを含んでもよい。
例5において、例1~4のいずれかの対象事項は任意で、無線通信端末はさらに、オーディオストリームを表すさらなる信号を端末聴覚装置に送信するように構成されることを含んでもよい。
例6において、例1~5のいずれかの対象事項は任意で、無線通信端末はさらに、端末聴覚装置からオーディオ信号を表す信号を受信するように構成されていることを含んでもよい。
例7において、例1~6のいずれかの対象事項は任意で、記憶要素はさらなるPAFファイルを内部に記憶させており、さらなるPAFファイルは所定のユーザのさらなる個人可聴性特徴を含み、PAFファイルの個人可聴性特徴はユーザの第1の耳に関連し、さらなるPAFファイルのさらなる個人可聴性特徴はユーザの第2の耳に関連することを含んでもよい。
例8において、例1~7のいずれかの対象事項は任意で、プロセッサは、無線通信端末からのさらなるオーディオ信号を表す信号を受信するように構成されることと、プロセッサはさらに、さらなるPAFファイルに従ってさらなるオーディオ信号を表す信号を修正し、修正されたさらなる信号に基づくオーディオストリームを表すまたさらなる信号(yet further signal)を無線通信端末に提供するように構成されることを含んでもよい。
例9において、例1~8のいずれかの対象事項は任意で、無線通信端末は、オーディオストリームを表すさらなる信号をユーザの第1の耳に対応する端末聴覚装置に送信するように構成され、さらに、オーディオストリームを表すまたさらなる信号をユーザの第2の耳に対応するさらなる端末聴覚装置に送信するように構成されることを含んでもよい。
例10において、例1~9のいずれかの対象事項は任意で、オーディオ信号を表す信号は、ユーザの第1の耳に位置する端末聴覚装置から生じ、さらなるオーディオ信号を表す信号は、ユーザの第2の耳に位置するさらなる端末聴覚装置から生じ、プロセッサはさらに、オーディオ信号を表す信号とさらなるオーディオ信号を表す信号とを連帯的に(jointly)分析し、オーディオ信号を表す信号とさらなるオーディオ信号を表す信号との間の位置依存の差に従ってノイズ及び/又はターゲット音認識を実行するように構成され、プロセッサは、PAFファイルと認識されたターゲット音及び/又はノイズとに従って、オーディオ信号を表す信号とさらなるオーディオ信号を表す信号とを修正するように構成されることを含んでもよい。
例11において、例1~10のいずれかの対象事項は任意で、個人可聴性特徴は個人可聴性曲線を含むことを含んでもよい。
例12において、例1~11のいずれかの対象事項は任意で、プロセッサは、PAFファイルと機械学習アルゴリズムに従ってオーディオ信号を表す信号を修正するように構成されることを含んでもよい。
例13は聴覚補助システムである。聴覚補助システムは、通信装置及び端末聴覚装置を含むことができ、通信装置は、無線通信端末と、無線通信端末からオーディオ信号を表す信号を受信するように構成された少なくとも1つのプロセッサと、プロセッサに結合され、個人可聴性特徴(PAF)ファイルを内部に記憶させた記憶要素であり、PAFファイルは所定のユーザの個人可聴性特徴を含む、記憶要素とを含み、プロセッサはさらに、PAFファイルに従ってオーディオ信号を表す信号を修正し、修正された信号に基づくオーディオストリームを表すさらなる信号を、無線通信端末を介して端末聴覚装置に提供するように構成される。
例14において、例13の対象事項は任意で、端末聴覚装置は、オーディオソースから受け取った音を、オーディオ信号を表す信号に変換するように構成されたマイクロフォンを含むことを含んでもよい。
例15において、例13又は14の対象事項は任意で、端末聴覚装置は、オーディオ信号を表す信号を通信装置の無線通信端末に送信するように構成された無線通信端末をさらに含むことを含んでもよい。
例16において、例13~15のいずれかの対象事項は任意で、通信装置の及び端末聴覚装置の無線通信端末は、短距離インターフェースとして構成されることを含んでもよい。
例17において、例13~16のいずれかの対象事項は任意で、通信装置の及び端末聴覚装置の無線通信端末は、Bluetoothインターフェース、特にBluetooth Low Energyインターフェースとして構成されることを含んでもよい。
例18において、例13~17のいずれかの対象事項は任意で、端末聴覚装置は、少なくとも1つのイヤホンを含むことを含んでもよい。
例19は通信装置である。通信装置は、オーディオソースから受け取った音を、マイクロフォンごとに1つの、オーディオ信号を表す少なくとも1つの信号に変換するように構成された少なくとも1つのマイクロフォンと、オーディオ信号を表す少なくとも1つの信号を受信するように構成された少なくとも1つのプロセッサと、無線通信端末と、プロセッサに結合され、個人可聴性特徴(PAF)ファイルを内部に記憶させた記憶要素であり、PAFファイルは所定のユーザの個人可聴性特徴を含む、記憶要素とを含み、プロセッサはさらに、PAFファイルに従ってオーディオ信号を表す少なくとも1つの信号を修正し、修正された信号に基づくオーディオストリームを表すさらなる信号を無線通信端末に提供するように構成され、オーディオストリームを表すさらなる信号の提供は、手動制御により、又は少なくとも1つのマイクロフォンで受け取った音響アクティブ化信号によりアクティブ化可能である。
例20において、例19の対象事項は任意で、個人可聴性特徴は個人可聴性曲線を含むことを含んでもよい。
例21において、例19又は20の対象事項は任意で、修正は、PAFファイルに記憶された情報に対応し、PAFファイルは、所定の端末聴覚装置のオーディオ再生特徴をさらに含むことを含んでもよい。
例22において、例21の対象事項は任意で、オーディオ再生特徴は、所定の端末聴覚装置のオーディオ再生特徴のグループのうちの少なくとも1つを含み、グループは、一意ID、名前、ネットワークアドレス、及び分類の情報を含むことを含んでもよい。
例23において、例19~22のいずれかの対象事項は任意で、プロセッサは、PAFファイルと機械学習アルゴリズムに従ってオーディオ信号を表す信号を修正するように構成されることを含んでもよい。
例24は聴覚補助システムである。聴覚補助システムは、通信装置であり、オーディオソースから受け取った音を、マイクロフォンごとに1つの、オーディオ信号を表す少なくとも1つの信号に変換するように構成された少なくとも1つのマイクロフォンと、オーディオ信号を表す少なくとも1つの信号を受信するように構成された少なくとも1つのプロセッサと、無線通信端末と、プロセッサに結合され、個人可聴性特徴(PAF)ファイルを内部に記憶させた記憶要素であり、PAFファイルは所定のユーザの個人可聴性特徴を含む、記憶要素とを含み、プロセッサはさらに、PAFファイルに従ってオーディオ信号を表す少なくとも1つの信号を修正し、修正された信号に基づくオーディオストリームを表すさらなる信号を無線通信端末に提供するように構成され、オーディオストリームを表すさらなる信号の提供は、手動制御により、又は少なくとも1つのマイクロフォンで受け取った音響アクティブ化信号によりアクティブ化可能である、通信装置と、無線通信端末からオーディオストリームを表すさらなる信号を受信するように構成された少なくとも1つの端末聴覚装置とを含むことができる。
例25において、例24の対象事項は任意で、少なくとも1つの端末聴覚装置は、端末聴覚装置ごとに1つの、少なくとも1つの聴覚装置マイクロフォンを含むことを含んでもよい。
例26において、例24又は25の対象事項は任意で、通信装置の少なくとも1つのマイクロフォンは、オーディオソースに対応するオーディオストリームを表すさらなる信号を、少なくとも1つの聴覚装置マイクロフォンにより受け取ったオーディオソースの音に基づくオーディオストリームを表すまたさらなる信号(yet further signal)の信号品質より高い信号品質で提供するように構成されることを含んでもよい。
例27において、例26の対象事項は任意で、通信装置の少なくとも1つのマイクロフォンを使用したオーディオストリームを表すさらなる信号と、少なくとも1つの聴覚装置マイクロフォンを使用したオーディオストリームを表すまたさらなる信号との間の信号品質における差は、通信装置と少なくとも1つの端末聴覚装置との間の構成差のグループのうちの少なくとも1つで生じ、このグループは、通信装置の少なくとも1つのマイクロフォンが、端末聴覚装置よりもオーディオソースにより近いこと、通信装置の少なくとも1つのマイクロフォンが、端末聴覚装置より多数のマイクロフォンを含むこと、通信装置の少なくとも1つのマイクロフォンが、端末聴覚装置のマイクロフォンより高品質であり、例えば、より低い自己ノイズ、より低いインピーダンスを有し、及び/又はより高い最大許容音圧レベル(SPL)を有すること、通信装置の少なくとも1つのマイクロフォンが専用マイクロフォンのグループのうちの専用マイクロフォンであり、端末聴覚装置のマイクロフォンはそうでなく、このグループは、ノイズキャンセリングマイクロフォン、指向性マイクロフォン、ノイズ・キャンセリングマイクロフォン、及びハイドロフォンを含むこと、を含むことを含んでもよい。
例28において、例24~例27のいずれかの対象事項は任意で、少なくとも1つの端末聴覚装置は、別のオーディオソースから受け取った音を、オーディオ信号を表す別の信号に変換するように構成された少なくとも1つの聴覚装置マイクロフォンを含み、少なくとも1つの端末聴覚装置は、少なくとも、オーディオストリームを表すさらなる信号の提供が非アクティブ化されて(de-activated)いる間、オーディオ信号を表す別の信号を無線通信端末に送信するように構成され、プロセッサはさらに、オーディオ信号を表す別の信号を受信し、PAFファイルに従ってオーディオ信号を表す別の信号を修正し、オーディオ信号を表す修正された信号に基づくオーディオストリームを表す別のさらなる信号を、無線通信端末を介して少なくとも1つの端末聴覚装置に提供するように構成されることを含んでもよい。
例29において、例28の対象事項は任意で、少なくとも1つの端末聴覚装置は、オーディオストリームを表すさらなる信号の提供がアクティブ化されている間もオーディオ信号を表す別の信号を無線通信端末に送信するように構成され、少なくとも1つの端末聴覚装置は、少なくとも1つの拡声器を含み、端末聴覚装置はさらに、さらなる信号とまたさらなる信号とのオーバーレイされたオーディオ信号を拡声器に提供するように構成されることを含んでもよい。
例29において、例24~例28のいずれかの対象事項は任意で、第2の端末聴覚装置をさらに含むことができ、記憶要素は、第2の個人可聴性特徴(PAF)ファイル内部に記憶させており、PAFファイルは第2の所定のユーザの個人可聴性特徴を含み、プロセッサはさらに、第2のPAFファイルに従ってオーディオ信号を表す少なくとも1つの信号を修正し、修正された信号に基づくオーディオストリームを表す第2のさらなる信号を、無線通信端末を介して第2の端末聴覚装置に提供するように構成される。
例30において、例24~例29のいずれかの対象事項は任意で、少なくとも1つのマイクロフォンは、空間的に離れた位置に配置された少なくとも2つのマイクロフォンを含み、プロセッサはさらに、オーディオ信号を表す少なくとも2つの信号を連帯的に分析し、2つの信号間の位置依存の差に従ってノイズ及び/又はターゲット音認識を実行するように構成され、プロセッサは、PAFファイルと認識されたターゲット音及び/又はノイズとに基づいて、オーディオ信号を表す信号を修正するように構成されることを含んでもよい。
例31において、例24~30のいずれかの対象事項は任意で、通信装置の及び端末聴覚装置の無線通信端末は、短距離インターフェースとして構成されることを含んでもよい。
例32において、例24~31のいずれかの対象事項は任意で、通信装置の及び端末聴覚装置の無線通信端末は、Bluetoothインターフェース、特にBluetooth Low Energyインターフェースとして構成されることを含んでもよい。
例33において、例24~33のいずれかの対象事項は任意で、端末聴覚装置は、少なくとも1つのイヤホンを含むことを含んでもよい。
例34において、例1~33のいずれかの対象事項は任意で、個人可聴性特徴は、少なくとも1つの個人可聴性選好プロファイルを含むことができることを含んでもよい。
例35において、例1~34のいずれかの対象事項は任意で、信号を修正することは、信号を少なくとも部分的に増幅することを含み、あるいは該増幅することからなることを含んでもよい。
例36において、例13~18及び24~35のいずれか1つの対象事項は任意で、個人可聴性特徴を決定するように構成されてもよい。
例37において、例1~例36のいずれかの対象事項は任意で、通信装置は移動通信装置又は固定通信装置であることを含んでもよい。
例38において、例1~例37のいずれかの対象事項は任意で、通信装置は、スマートフォン、タブレットコンピュータ、ウェアラブルデバイス(例えば、スマートウォッチ)、統合プロセッサ及び通信インターフェースを備えた装飾品、ラップトップ、ノートブック、パーソナルデジタルアシスタント(PDA)などの端末通信装置、又はパーソナルデスクトップコンピュータなどでもよく、あるいはこれらを含むことができることを含んでもよい。
例39において、例1~38のいずれかの対象事項は任意で、PAFファイルは単一のファイルでもよく、ユーザの個人可聴性特徴及び端末聴覚装置のオーディオ再生特徴を含むことができることを含んでもよい。
例40において、例13~18及び24~39のいずれか1つの対象事項は任意で、端末聴覚装置は挿耳型イヤホンであることを含んでもよい。
例41は、通信装置の1つ以上のプロセッサにより実行された場合に、1つ以上のプロセッサに、通信装置の無線通信端末を介して、オーディオ信号を表す信号を受信し、通信装置の記憶要素から、所定のユーザの個人可聴性特徴を含む個人可聴性特徴(PAF)ファイルを取り出し、PAFファイルに従ってオーディオ信号を表す信号を修正し、修正された信号に基づくオーディオストリームを表すさらなる信号を無線通信端末に提供する、ことをさせる命令を含むことができる非一時的コンピュータ読取可能媒体である。
例42は、通信装置の1つ以上のプロセッサにより実行された場合に、1つ以上のプロセッサに、少なくとも1つのマイクロフォンによりオーディオソースから受け取った音を、マイクロフォンごとに1つの、オーディオ信号を表す少なくとも1つの信号に変換し、通信装置の記憶要素から、所定のユーザの個人可聴性特徴を含む個人可聴性特徴(PAF)ファイルを取り出し、PAFファイルに従ってオーディオ信号を表す信号を修正し、修正された信号に基づくオーディオストリームを表すさらなる信号を提供し、手動制御により、又は少なくとも1つのマイクロフォンで受け取った音響アクティブ化信号により、オーディオストリームを表すさらなる信号の提供をアクティブ化し、オーディオストリームを表すさらなる信号を通信装置の無線通信端末に提供する、ことをさせる命令を含むことができる非一時的コンピュータ読取可能媒体である。
例43は、実行されたときにいずれかの前述の例の通信装置を実現するマシン読取可能命令を含むマシン読取可能記憶装置である。
例44は、オーディオ信号を表す信号を受信する無線通信手段と、個人可聴性特徴(PAF)ファイルを記憶する記憶手段であり、PAFファイルは所定のユーザの個人可聴性特徴を含む、記憶手段と、PAFファイルに記憶された情報に従って信号を修正し、オーディオストリームを表すさらなる信号を無線通信手段に提供する処理手段と、を含む通信手段である。
例45は、オーディオソースから受け取った音を、オーディオ信号を表す少なくとも1つの信号に変換する音受け取り手段と、個人可聴性特徴(PAF)ファイルを記憶する記憶手段であり、PAFファイルは所定のユーザの個人可聴性特徴を含む、記憶手段と、PAFファイルに記憶された情報に従って信号を修正し、修正された信号に基づいてオーディオストリームを表すさらなる信号を提供する処理手段と、さらなる信号を受信する無線通信手段と、手動制御により、又は音受け取り手段で受け取った音響アクティブ化信号により、さらなる信号の提供をアクティブ化するアクティブ化手段と、を含む通信手段である。語「例示的」は、本明細書において「例、インスタンス、又は例示の役割を果たす」ことを意味するために用いられる。「例示的」として本明細書に記載される例又は設計は、必ずしも他の例又は設計よりも好ましく又は有利であると解釈されるべきではない。
説明又は特許請求の範囲における語「複数」及び「多重」は、1より大きい数量を明示的に指す。説明又は特許請求の範囲における用語「(の)グループ」、「(の)セット」、「(の)集合」、「(の)シリーズ」、「(の)シーケンス」、「(の)グループピング」等は、1に等しいか又は1より大きい数量、すなわち1以上を指す。「複数」又は「多重」などを明示的に示さない、複数形で表現された用語は、1に等しいか又は1より大きい数量を指す。
例えば、本明細書で用いられる用語「プロセッサ」又は「コントローラ」は、データの処理を可能にする任意の種類の技術的エンティティとして理解されてもよい。データは、プロセッサ又はコントローラが実行する1つ以上の特定の機能に従って処理されてもよい。さらに、本明細書で用いられるプロセッサ又はコントローラは、任意の種類の回路、例えば、任意の種類のアナログ又はデジタル回路として理解されてもよい。したがって、プロセッサ又はコントローラは、アナログ回路、デジタル回路、混合信号回路、論理回路、プロセッサ、マイクロフォンロプロセッサ、中央処理装置(CPU)、グラフィックス処理ユニット(GPU)、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、集積回路、特定用途向け集積回路(ASIC)など、又はこれらの任意の組み合わせであってもよく、あるいはこれらを含んでもよい。それぞれの機能の他の種類の実装も、プロセッサ、コントローラ、又は論理回路として理解されてもよい。本明細書に詳述されるプロセッサ、コントローラ、又は論理回路のうちの任意の2つ(又はそれ以上)が、同等の機能などを有する単一のエンティティとして実現されてもよく、逆に、本明細書に詳述される任意の単一のプロセッサ、コントローラ、又は論理回路が、同等の機能などを有する2つ(又はそれ以上)の別個のエンティティとして実現されてもよいことが理解される。
用語「接続されている」は、(例えば、機械的及び/又は電気的な、)例えば、直接的又は間接的な、接続及び/又は相互作用の意味で理解することができる。例えば、いくつかの要素を、それらが物理的に保持されるように機械的に(例えば、ソケットに接続されたプラグ)、及びそれらが電気的に導電性のパスを有するように電気的に(例えば、信号パスが通信チェーンに沿って存在する)、一緒に接続することができる。
上記の説明及び接続された図は、電子デバイスのコンポーネントを別個の要素として示している場合があるが、当業者は、個別の要素を単一の要素に組み合わせ又は統合する様々な可能性を理解するであろう。そのようなものには、単一のコンポーネントからの2つ以上のコンポーネントを組み合わせること、2つ以上のコンポーネントを共通のシャーシに取り付けて統合されたコンポーネントを形成すること、個別のソフトウェアコンポーネントを共通のプロセッサコア上で実行することなどを含んでもよい。逆に、当業者は、単一の要素を2つ以上の個別の要素に分離する可能性、例えば、単一のコンポーネントを2つ以上の別個のコンポーネントに分けること、チップ又はシャーシを元々提供された個別の要素に分離すること、ソフトウェアコンポーネントを2つ以上のセクションに分離し、各々を別個のプロセッサコア上で実行することなどを認識するであろう。さらに、ハードウェア及び/又はソフトウェアコンポーネントの特定の実装は単なる例示であり、本明細書に記載される方法を実行するハードウェア及び/又はソフトウェアの他の組み合わせが本開示の範囲内であることが理解される。
本明細書で詳述される方法の実装は本質的に例示的であり、したがって、対応する装置で実装可能であるものとして理解されることが理解される。同様に、本明細書で詳述される装置の実装は、対応する方法として実装可能であるものとして理解されることが理解される。したがって、本明細書で詳述される方法に対応する装置は、関連する方法の各態様を実行するように構成された1つ以上のコンポーネントを含んでもよいことが理解される。
上記の説明で定義された全ての頭字語は、ここに含まれる全ての請求項で追加的に保持される。
本開示は、特定の実施形態を参照して特に図示及び説明されたが、添付の特許請求の範囲により定義される開示の主旨及び範囲から逸脱することなく、形態及び詳細の様々な変更がその中でなされ得ることを当業者は理解すべきである。ゆえに、本開示の範囲は添付の特許請求の範囲により示され、したがって、特許請求の範囲の同等物の意味及び範囲内にある全ての変更は包含されることを意図している。
Claims (26)
- 無線通信端末と、
前記無線通信端末からオーディオ信号を表す信号を受信するように構成された少なくとも1つのプロセッサと、
前記プロセッサに結合され、個人可聴性特徴(PAF)ファイルを内部に記憶させた記憶要素であり、前記PAFファイルは所定のユーザの個人可聴性特徴を含む、記憶要素と、を含み、
前記プロセッサはさらに、前記PAFファイルに従って前記オーディオ信号を表す前記信号を修正し、前記修正された信号に基づくオーディオストリームを表すさらなる信号を前記無線通信端末に提供するように構成される、
通信装置。 - 前記修正は、前記PAFファイルに記憶された情報に対応し、前記PAFファイルは、所定の端末聴覚装置のオーディオ再生特徴をさらに含む、請求項1に記載の通信装置。
- 前記無線通信端末はさらに、前記オーディオストリームを表す前記さらなる信号を端末聴覚装置に送信するように構成される、請求項1又は2に記載の通信装置。
- 前記無線通信端末はさらに、端末聴覚装置から前記オーディオ信号を表す前記信号を受信するように構成される、請求項1又は2に記載の通信装置。
- 前記個人可聴性特徴は個人可聴性曲線を含む、請求項1又は2に記載の通信装置。
- 前記プロセッサは、前記PAFファイルと機械学習アルゴリズムに従って前記オーディオ信号を表す前記信号を修正するように構成される、請求項1又は2に記載の通信装置。
- 通信装置と端末聴覚装置とを含む聴覚補助システムであって、
前記通信装置は、
無線通信端末と、
前記無線通信端末からオーディオ信号を表す信号を受信するように構成された少なくとも1つのプロセッサと、
前記プロセッサに結合され、個人可聴性特徴(PAF)ファイルを内部に記憶させた記憶要素であり、前記PAFファイルは所定のユーザの個人可聴性特徴を含む、記憶要素と、を含み、
前記プロセッサはさらに、前記PAFファイルに従って前記オーディオ信号を表す前記信号を修正し、前記修正された信号に基づくオーディオストリームを表すさらなる信号を、前記無線通信端末を介して前記端末聴覚装置に提供するように構成される、
聴覚補助システム。 - 前記端末聴覚装置は、オーディオソースから受け取った音を、前記オーディオ信号を表す前記信号に変換するように構成されたマイクロフォンを含む、請求項7に記載の聴覚補助システム。
- 前記端末聴覚装置は、前記オーディオ信号を表す前記信号を前記通信装置の前記無線通信端末に送信するように構成された無線通信端末をさらに含む、請求項8に記載の聴覚補助システム。
- 前記通信装置の及び前記端末聴覚装置の前記無線通信端末は、短距離インターフェースとして構成される、請求項9に記載の聴覚補助システム。
- オーディオソースから受け取った音を、マイクロフォンごとに1つの、オーディオ信号を表す少なくとも1つの信号に変換するように構成された少なくとも1つのマイクロフォンと、
前記オーディオ信号を表す前記少なくとも1つの信号を受信するように構成された少なくとも1つのプロセッサと、
無線通信端末と、
前記プロセッサに結合され、個人可聴性特徴(PAF)ファイルを内部に記憶させた記憶要素であり、前記PAFファイルは所定のユーザの個人可聴性特徴を含む、記憶要素と、
を含み、
前記プロセッサはさらに、前記PAFファイルに従って前記オーディオ信号を表す前記少なくとも1つの信号を修正し、前記修正された信号に基づくオーディオストリームを表すさらなる信号を前記無線通信端末に提供するように構成され、
前記オーディオストリームを表す前記さらなる信号の提供は、手動制御により、又は前記少なくとも1つのマイクロフォンで受け取った音響アクティブ化信号によりアクティブ化可能である、
通信装置。 - 前記個人可聴性特徴は個人可聴性曲線を含む、請求項11に記載の通信装置。
- 前記修正は、前記PAFファイルに記憶された情報に対応し、前記PAFファイルは、所定の端末聴覚装置のオーディオ再生特徴をさらに含む、請求項11又は12に記載の通信装置。
- 前記オーディオ再生特徴は、前記所定の端末聴覚装置のオーディオ再生特徴のグループのうちの少なくとも1つを含み、前記グループは、
一意IDの情報、
名前、
ネットワークアドレス、及び
分類
を含む、請求項13に記載の通信装置。 - 前記プロセッサは、前記PAFファイルと機械学習アルゴリズムに従って前記オーディオ信号を表す前記信号を修正するように構成される、請求項11又は12に記載の通信装置。
- 聴覚補助システムであって、
通信装置であり、
オーディオソースから受け取った音を、マイクロフォンごとに1つの、オーディオ信号を表す少なくとも1つの信号に変換するように構成された少なくとも1つのマイクロフォンと、
前記オーディオ信号を表す前記少なくとも1つの信号を受信するように構成された少なくとも1つのプロセッサと、
無線通信端末と、
前記プロセッサに結合され、個人可聴性特徴(PAF)ファイルを内部に記憶させた記憶要素であり、前記PAFファイルは所定のユーザの個人可聴性特徴を含む、記憶要素と、を含み、
前記プロセッサはさらに、前記PAFファイルに従って前記オーディオ信号を表す前記少なくとも1つの信号を修正し、前記修正された信号に基づくオーディオストリームを表すさらなる信号を前記無線通信端末に提供するように構成され、
前記オーディオストリームを表す前記さらなる信号の提供は、手動制御により、又は前記少なくとも1つのマイクロフォンで受け取った音響アクティブ化信号によりアクティブ化可能である、通信装置と、
前記無線通信端末からの前記オーディオストリームを表す前記さらなる信号を受信するように構成された少なくとも1つの端末聴覚装置と、
を含む聴覚補助システム。 - 前記少なくとも1つの端末聴覚装置は、端末聴覚装置ごとに1つの、少なくとも1つの聴覚装置マイクロフォンを含む、請求項16に記載の聴覚補助システム。
- 前記通信装置の前記少なくとも1つのマイクロフォンは、前記オーディオソースに対応する前記オーディオストリームを表す前記さらなる信号を、前記少なくとも1つの聴覚装置マイクロフォンにより受け取った前記オーディオソースの前記音に基づくオーディオストリームを表すまたさらなる信号の信号品質より高い信号品質で提供するように構成される、請求項17に記載の聴覚補助システム。
- 前記通信装置の前記少なくとも1つのマイクロフォンを使用した前記オーディオストリームを表す前記さらなる信号と、前記少なくとも1つの聴覚装置マイクロフォンを使用した前記オーディオストリームを表す前記またさらなる信号との間の信号品質における差は、前記通信装置と前記少なくとも1つの端末聴覚装置との間の構成差のグループのうちの少なくとも1つで生じ、前記グループは、
前記通信装置の前記少なくとも1つのマイクロフォンが、前記端末聴覚装置よりも前記オーディオソースにより近いこと、
前記通信装置の前記少なくとも1つのマイクロフォンが、前記端末聴覚装置より多数のマイクロフォンを含むこと、
前記通信装置の前記少なくとも1つのマイクロフォンが、前記端末聴覚装置の前記マイクロフォンより高品質であり、例えば、より低い自己ノイズ、より低いインピーダンスを有し、及び/又はより高い最大許容音圧レベル(SPL)を有すること、
前記通信装置の前記少なくとも1つのマイクロフォンが専用マイクロフォンのグループのうちの専用マイクロフォンであり、前記端末聴覚装置の前記マイクロフォンはそうでなく、前記グループは、
ノイズキャンセリングマイクロフォン、
指向性マイクロフォン、
ノイズ・キャンセリングマイクロフォン、及び
ハイドロフォン、を含むこと、
を含む、請求項18に記載の聴覚補助システム。 - 前記少なくとも1つの端末聴覚装置は、別のオーディオソースから受け取った音を、前記オーディオ信号を表す別の信号に変換するように構成された少なくとも1つの聴覚装置マイクロフォンを含み、
前記少なくとも1つの端末聴覚装置は、少なくとも、前記オーディオストリームを表す前記さらなる信号の提供が非アクティブ化されている間、前記オーディオ信号を表す前記別の信号を前記無線通信端末に送信するように構成され、
前記プロセッサはさらに、前記オーディオ信号を表す前記別の信号を受信し、前記PAFファイルに従って前記別の信号を修正し、前記修正された別の信号に基づくオーディオストリームを表す別のさらなる信号を、前記無線通信端末を介して前記少なくとも1つの端末聴覚装置に提供するように構成される、
請求項16又は17に記載の聴覚補助システム。 - 前記少なくとも1つの端末聴覚装置は、前記オーディオストリームを表す前記さらなる信号の提供がアクティブ化されている間も前記別の信号を前記無線通信端末に送信するように構成され、
前記少なくとも1つの端末聴覚装置は、少なくとも1つの拡声器を含み、
前記端末聴覚装置はさらに、前記さらなる信号と前記別のさらなる信号とのオーバーレイされたオーディオ信号を前記拡声器に提供するように構成される、
請求項20に記載の聴覚補助システム。 - 第2の端末聴覚装置、をさらに含み、
前記記憶要素は、第2の個人可聴性特徴(PAF)ファイルを内部に記憶させており、前記PAFファイルは第2の所定のユーザの個人可聴性特徴を含み、
前記プロセッサはさらに、前記第2のPAFファイルに従って前記オーディオ信号を表す前記少なくとも1つの信号を修正し、前記修正された信号に基づく前記オーディオストリームを表す第2の信号を、前記無線通信端末を介して前記第2の端末聴覚装置に提供するように構成される、
請求項16又は17に記載の聴覚補助システム。 - 前記少なくとも1つのマイクロフォンは、空間的に離れた位置に配置された少なくとも2つのマイクロフォンを含み、
前記プロセッサはさらに、オーディオ信号を表す少なくとも2つの信号を連帯的に分析し、前記オーディオ信号間の位置依存の差に従ってノイズ及び/又はターゲット音認識を実行するように構成され、
前記プロセッサは、前記PAFファイルと認識されたターゲット音及び/又はノイズとに基づいて前記オーディオ信号を修正するように構成される、
請求項16又は17に記載の聴覚補助システム。 - 通信装置の1つ以上のプロセッサに、
前記通信装置の無線通信端末を介して、オーディオ信号を表す信号を受信し、
前記通信装置の記憶要素から、所定のユーザの個人可聴性特徴を含む個人可聴性特徴(PAF)ファイルを取り出し、
前記PAFファイルに従って前記オーディオ信号を表す前記信号を修正し、
前記修正された信号に基づくオーディオストリームを表すさらなる信号を前記無線通信端末に提供する
ことをさせるコンピュータプログラム。 - 通信装置の1つ以上のプロセッサに、
少なくとも1つのマイクロフォンによりオーディオソースから受け取った音を、マイクロフォンごとに1つの、オーディオ信号を表す少なくとも1つの信号に変換し、
前記通信装置の記憶要素から、所定のユーザの個人可聴性特徴を含む個人可聴性特徴(PAF)ファイルを取り出し、
前記PAFファイルに従って前記オーディオ信号を表す前記信号を修正し、
前記修正された信号に基づくオーディオストリームを表すさらなる信号を提供し、手動制御により、又は前記少なくとも1つのマイクロフォンで受け取った音響アクティブ化信号により、前記オーディオストリームを表す前記さらなる信号の提供をアクティブ化し、
前記オーディオストリームを表す前記さらなる信号を前記通信装置の無線通信端末に提供する
ことをさせるコンピュータプログラム。 - 請求項24又は25に記載のコンピュータプログラムを記憶したコンピュータ読取可能記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/560,319 | 2021-12-23 | ||
US17/560,319 US20230209284A1 (en) | 2021-12-23 | 2021-12-23 | Communication device and hearing aid system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023094551A true JP2023094551A (ja) | 2023-07-05 |
Family
ID=83691147
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022182979A Pending JP2023094551A (ja) | 2021-12-23 | 2022-11-16 | 通信装置及び聴覚補助システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230209284A1 (ja) |
EP (1) | EP4203515A1 (ja) |
JP (1) | JP2023094551A (ja) |
CN (1) | CN116347313A (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023053387A (ja) * | 2022-02-04 | 2023-04-12 | 株式会社三洋物産 | 遊技機 |
JP2023053388A (ja) * | 2018-03-08 | 2023-04-12 | 株式会社三洋物産 | 遊技機 |
JP2023054226A (ja) * | 2017-12-29 | 2023-04-13 | 株式会社三洋物産 | 遊技機 |
JP2023054222A (ja) * | 2019-03-28 | 2023-04-13 | 株式会社三洋物産 | 遊技機 |
JP2023054225A (ja) * | 2019-04-11 | 2023-04-13 | 株式会社三洋物産 | 遊技機 |
JP2023054227A (ja) * | 2018-02-15 | 2023-04-13 | 株式会社三洋物産 | 遊技機 |
JP2023054223A (ja) * | 2019-03-28 | 2023-04-13 | 株式会社三洋物産 | 遊技機 |
JP2023054224A (ja) * | 2019-04-11 | 2023-04-13 | 株式会社三洋物産 | 遊技機 |
JP2023060269A (ja) * | 2022-04-01 | 2023-04-27 | 株式会社三洋物産 | 遊技機 |
JP2023060270A (ja) * | 2022-04-01 | 2023-04-27 | 株式会社三洋物産 | 遊技機 |
JP2023063369A (ja) * | 2022-01-07 | 2023-05-09 | 株式会社三洋物産 | 遊技機 |
JP2023071934A (ja) * | 2019-02-15 | 2023-05-23 | 株式会社三洋物産 | 遊技機 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5721783A (en) * | 1995-06-07 | 1998-02-24 | Anderson; James C. | Hearing aid with wireless remote processor |
US9326078B2 (en) * | 2012-07-23 | 2016-04-26 | Starkey Laboratories, Inc. | Methods and apparatus for improving speech understanding in a large crowd |
CN107911528A (zh) * | 2017-12-15 | 2018-04-13 | 刘方辉 | 一种基于智能手机的听力补偿系统及其自助验配方法 |
EP3991293A4 (en) * | 2019-06-27 | 2023-08-02 | Bengal Rehabilitation Group | MOBILE PHONE BASED HEARING LOSS CORRECTION SYSTEM |
-
2021
- 2021-12-23 US US17/560,319 patent/US20230209284A1/en active Pending
-
2022
- 2022-10-12 EP EP22201052.2A patent/EP4203515A1/en active Pending
- 2022-11-16 JP JP2022182979A patent/JP2023094551A/ja active Pending
- 2022-11-22 CN CN202211466819.8A patent/CN116347313A/zh active Pending
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023054226A (ja) * | 2017-12-29 | 2023-04-13 | 株式会社三洋物産 | 遊技機 |
JP2023054227A (ja) * | 2018-02-15 | 2023-04-13 | 株式会社三洋物産 | 遊技機 |
JP2023053388A (ja) * | 2018-03-08 | 2023-04-12 | 株式会社三洋物産 | 遊技機 |
JP2023071934A (ja) * | 2019-02-15 | 2023-05-23 | 株式会社三洋物産 | 遊技機 |
JP2023054222A (ja) * | 2019-03-28 | 2023-04-13 | 株式会社三洋物産 | 遊技機 |
JP2023054223A (ja) * | 2019-03-28 | 2023-04-13 | 株式会社三洋物産 | 遊技機 |
JP2023054225A (ja) * | 2019-04-11 | 2023-04-13 | 株式会社三洋物産 | 遊技機 |
JP2023054224A (ja) * | 2019-04-11 | 2023-04-13 | 株式会社三洋物産 | 遊技機 |
JP2023063369A (ja) * | 2022-01-07 | 2023-05-09 | 株式会社三洋物産 | 遊技機 |
JP2023053387A (ja) * | 2022-02-04 | 2023-04-12 | 株式会社三洋物産 | 遊技機 |
JP2023060269A (ja) * | 2022-04-01 | 2023-04-27 | 株式会社三洋物産 | 遊技機 |
JP2023060270A (ja) * | 2022-04-01 | 2023-04-27 | 株式会社三洋物産 | 遊技機 |
Also Published As
Publication number | Publication date |
---|---|
EP4203515A1 (en) | 2023-06-28 |
US20230209284A1 (en) | 2023-06-29 |
CN116347313A (zh) | 2023-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP4203515A1 (en) | Communication device and hearing aid system | |
US10553235B2 (en) | Transparent near-end user control over far-end speech enhancement processing | |
US20190066710A1 (en) | Transparent near-end user control over far-end speech enhancement processing | |
CN108886647B (zh) | 耳机降噪方法及装置、主耳机、从耳机及耳机降噪系统 | |
US11049509B2 (en) | Voice signal enhancement for head-worn audio devices | |
US11205440B2 (en) | Sound playback system and output sound adjusting method thereof | |
EP3195620B1 (en) | Configuration of hearing prosthesis sound processor based on control signal characterization of audio | |
US20230319497A1 (en) | Sensor management for wireless devices | |
US20190347062A1 (en) | Sound Enhancement Adapter | |
TW201919434A (zh) | 多連接裝置及多連接方法 | |
US11210058B2 (en) | Systems and methods for providing independently variable audio outputs | |
US10178482B2 (en) | Audio transmission system and audio processing method thereof | |
JP2010506526A (ja) | 補聴器の動作方法、および補聴器 | |
US20230209281A1 (en) | Communication device, hearing aid system and computer readable medium | |
JP2021536207A (ja) | 聴覚装置の環境音声信号を強化するための方法、システム、および聴覚装置 | |
US20230209282A1 (en) | Communication device, terminal hearing device and method to operate a hearing aid system | |
US10997984B2 (en) | Sounding device, audio transmission system, and audio analysis method thereof | |
US10154351B2 (en) | Hearing aid communication system and hearing aid communication method thereof | |
US20240196139A1 (en) | Computing Devices and Methods for Processing Audio Content for Transmission to a Hearing Device | |
EP4207194A1 (en) | Audio device with audio quality detection and related methods | |
KR20170018554A (ko) | 소리 필터링 시스템 | |
EP4042718A1 (en) | Fitting two hearing devices simultaneously | |
JP2020072303A (ja) | 電子機器 | |
CN111416903A (zh) | 声音播放系统及其调整输出声音的方法 |