JP2019083515A - 音源定位バイノーラル聴覚システム - Google Patents

音源定位バイノーラル聴覚システム Download PDF

Info

Publication number
JP2019083515A
JP2019083515A JP2018189501A JP2018189501A JP2019083515A JP 2019083515 A JP2019083515 A JP 2019083515A JP 2018189501 A JP2018189501 A JP 2018189501A JP 2018189501 A JP2018189501 A JP 2018189501A JP 2019083515 A JP2019083515 A JP 2019083515A
Authority
JP
Japan
Prior art keywords
signal
electronic
user
microphone
binaural hearing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2018189501A
Other languages
English (en)
Other versions
JP2019083515A5 (ja
Inventor
ウデセン イェスパー
Udesen Jesper
ウデセン イェスパー
ヨハン グラン カール−フレドリック
Johan Gran Karl-Fredrik
ヨハン グラン カール−フレドリック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GN Hearing AS
Original Assignee
GN Hearing AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GN Hearing AS filed Critical GN Hearing AS
Publication of JP2019083515A publication Critical patent/JP2019083515A/ja
Publication of JP2019083515A5 publication Critical patent/JP2019083515A5/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50Customised settings for obtaining desired overall acoustical characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/552Binaural
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40Arrangements for obtaining a desired directivity characteristic
    • H04R25/407Circuits for combining signals of a plurality of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/554Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/558Remote control, e.g. of amplification, frequency
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • H04S7/304For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083Reduction of ambient noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/41Detection or adaptation of hearing aid parameters or programs to listening situation, e.g. pub, forest
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43Signal processing in hearing aids to enhance the speech intelligibility
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Stereophonic System (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

【課題】外部装置から受信した信号に対して、ユーザが、バイノーラル信号を定位できるようにフィルタリングする補聴器を提供する。【解決手段】バイノーラル聴覚システム100は、バイノーラル補聴器と、電子モノラル信号受信器114と、到来方向(DOA)推定部10と、聴力損失プロセッサ116を備える。電子モノラル信号受信器は、モノラル信号送信器から発せられる電子モノラル信号を受信し、2組のマイクロフォン出力信号40〜46を電子モノラル信号と相関して、第1組および第2組のマイクロフォン24〜30の指向性伝達関数94−R〜96−Lを提供する。それによって、ユーザに、変換された電子モノラル信号が音源から到来すると聴こえるように知覚させる。【選択図】図3

Description

バイノーラル聴覚システムに音波として伝播する音声を発する音源の向上された定位を備えるバイノーラル聴覚システムが提供される。ここで、音声は、バイノーラル聴覚システムに有線または無線で送信される電子モノラル信号に変換もされる。対応する方法も提供される。
聴覚障害者は、以下の少なくとも2つの固有の問題を経験することが多い。
(1)聴覚閾値レベルの上昇としての聴力損失
(2)聴力正常者と比較して、ノイズの中、会話を理解する能力の低下。多くの聴覚障害患者は、到来する音声に対する可聴度を増幅により回復した状態でも、ノイズ中音声明瞭度(speech−in−noise intelligibility)テストの結果が、聴力正常者よりも劣っていた。語音聴取閾値(SRT)は、音声を認識する能力の欠如の測定基準であり、ノイズ下聴き取りテストにおいて、50%正しく音声を理解できる場合の信号に必要な信号雑音比として定義される。
聴力損失を補うために、今日の多くのデジタル補聴器は、多チャネル増幅、および圧縮信号処理により聴覚障害者の音声明瞭度を回復している。これにより、聴き取れていなかった音声キューを聴き取り可能とし、患者の聴力回復が図られる。
しかし、ノイズ下で会話(発話者が複数いる環境での会話を含む)を聴き取れなくなることは、非補聴器使用者を含む、多くの人々にとって深刻な問題である。
特定の発話者による発話に対する信号雑音比を向上する手段として、当該発話者がいわゆるスパウスマイクロフォンと呼ばれる装置に含まれるマイクロフォンを利用することが考えられる。スパウスマイクロフォンは、当該発話者の近傍に存在することで、その発話を、高信号雑音比で拾う。スパウスマイクロフォンは、その発話を対応する電子モノラル信号に高信号雑音比で変換し、その信号を、好ましくは無線で聴覚機器(典型的にはイヤホンまたは補聴器)に送る。これにより、ユーザには、そのSRTを十分上回る信号雑音比の音声信号が届けられる。
人々から声が聞きたいと望まれる発話者からの発話の信号雑音比を上げる更なる方法として、例えば電話、FMシステム(ネックループ付き)、誘導ループシステム(ヒアリングループとも呼ばれる)が生成した音声信号を、テレコイルにより磁気的に拾うことが考えられる。ここで、人々から声が聞きたいと望まれる発話者とは、例えば教会、講堂、劇場、映画館等の公共の場で発言する人物、または駅、空港、ショッピングモール等で場内アナウンスにより多数の人々に発言する人物である。これにより、聴者のSRTを大幅に上回る高信号雑音比で、音声が聴覚機器(典型的には補聴器)に送信され得る。
近年では、MP3プレーヤや、テレビ等のメディアプレーヤからストリーミングされる音楽や音声等の、ストリーミング音声全般を受信するための無線信号を受信するため、無線回路を装備した補聴器やヘッドセットが存在する。
さらには、例えば補聴器を携帯電話、オーディオヘッドセット、ラップトップコンピュータ、携帯情報端末、デジタルカメラ等に相互接続するためのBluetooth(登録商標)技術を含む、狭域ネットワークを介して各種オーディオ信号源に接続する補聴器やヘッドセットも出現している。HomeRF、DECT、PHS、無線LAN(WLAN)、またはその他の固有ネットワーク等のその他の無線ネットワークも提案されている。
しかし、同時に複数の電子モノラル信号を、従来のバイノーラル聴覚システムを使用して聴き取ろうとしても、ユーザにとって信号源を区別することが困難であることが多い。
通常、バイノーラル聴覚システムは、ユーザが頭の中で音源を定位するように、音声を再生する。この音声は、いわゆる外在化(externalized)ではなく、内在化(internalized)されているとされる。
「ノイズ下での会話聴き取りの問題」として、必要な音声明瞭度を実現できるほど信号雑音比(SNR)が高いのに、会話がすべて聴き取り困難となることが、聴覚システムのユーザ共通の不満となっている。この主な原因としては、聴覚システムが内在化音場を生成することが挙げられる。これによりユーザの認知負荷が増すので、ユーザは聴き取り疲れを起こしたり、しまいには聴覚システムを外したりしてしまいかねない。
したがって、各モノラル信号送信器に対応する音源の定位が向上したバイノーラル聴覚システムが求められている。音源はそれぞれ、バイノーラル聴覚システムへ音波として伝播する音を発するもので、バイノーラル聴覚システムが電子モノラル信号に基づいて音声を再生できるように、バイノーラル聴覚システムに有線または無線で送信される電子モノラル信号に音声を変換するように構成されたモノラル信号送信器に対応する。
以下の説明において、「モノラル信号送信器」という用語は、バイノーラル聴覚システムに有線または無線で(通常は無線で)電子モノラル信号を送るように構成された装置を指す。バイノーラル聴覚システムは、電子モノラル信号を受信し、バイノーラル聴覚システムのユーザの耳に送られる信号に変換するように構成される。これにより、ユーザは音声を聴くことができる。
第1種類のモノラル信号送信器は、モノラル信号送信器に対応する音源から発せられた音声を受信し、バイノーラル聴覚システムに送信される電子モノラル信号に変換する1つまたは複数のマイクロフォンを有する。バイノーラル聴覚システムは、電子モノラル信号に基づく音声を再生するように構成される。モノラル信号送信器の1つまたは複数のマイクロフォンが音源の近傍に配置される場合、当該音源は上記種類のモノラル信号送信器に関連付けられる。この送信器の場合、1つまたは複数のマイクロフォンにより音声が高信号雑音比で記録される。例えば、モノラル信号送信器は人物が装着するスパウスマイクロフォンであってもよい。スパウスマイクロフォンは人物の口の近くに装着されるので、人物からの音声がほとんど減衰されずにスパウスマイクロフォンにより記録される。スパウスマイクロフォンは指向性マイクロフォンを有し得る。これにより、人物の口以外の方向の音声は減衰される。したがって、スパウスマイクロフォンは超高信号雑音比で人物からの音声を拾う。一方、バイノーラル聴覚システムに音波として伝播する音声は、人物とバイノーラル聴覚システムとの距離の二乗に基づいて減衰される。さらに、音声はバイノーラル聴覚システムのマイクロフォンにより、ユーザのいる音環境内のその他音源から発せられ得る音声と共に検出される。したがって、電子モノラル信号の信号雑音比は通常、バイノーラル聴覚システムのマイクロフォンで受信される音声の信号雑音比よりも圧倒的に高くなる。
第1種類のモノラル信号送信器の例としては、上述のスパウスマイクロフォンや、例えば教会、講堂、劇場、映画館等の中で、聴衆の中の複数の聴き手を前にして発話者が発する発話を拾うためのマイクロフォンを備える発話者システム、例えばFMシステム(ネックループを備える)、誘導ループシステム(「ヒアリングループ」とも呼ばれる)等が挙げられる。
第2種類のモノラル信号送信器は、ラジオ、テレビ、DVDプレーヤ、メディアプレーヤ、コンピュータ、電話、テレカンファレンスシステム、アラーム付き装置等であって、1つまたは複数のラウドスピーカを有する。1つまたは複数のラウドスピーカは、ソース信号を、バイノーラル聴覚システムに音波として伝播する音声に変換する。したがって、この種のモノラル信号送信器は音源も含む。この種のモノラル信号送信器は、音声変換対象のソース信号に基づいて電子モノラル信号を生成することから、音源は、電子モノラル信号に符号化もされるソース信号が供給されることにより、この種のモノラル信号送信器に関連付けられる。
このモノラル信号送信器は、デジタル音声、すなわちデジタル音声信号にデジタル化済みの音声を送信する、ストリーミングユニットを有してもよい。
簡潔性のため、本開示全体において、「電子モノラル信号」という用語は、電子モノラル信号が生成される出力から、最終的な目的地点までの間の、電子モノラル信号の信号経路内のあらゆるアナログまたはデジタル形式の電子モノラル信号を指すものとする。
例えば、スパウスマイクロフォンで、電子モノラル信号はバイノーラル聴覚システムへの無線送信のために符号化、変調され得るアナログマイクロフォン出力信号として生成され得る。バイノーラル聴覚システムで、電子モノラル信号は復調、復号化され、フィルタリングされて最終的に信号(バイノーラル聴覚システムのユーザが聞き取り可能な音響信号)に変換される。したがって、同じ「電子モノラル信号」という用語が、その信号経路内の各種任意の形式の信号に使用される。
以下の説明において、音源への方向、および音源から生じた音声の到来方向(DOAと略する)という表現は、バイノーラル聴覚システムを装着したユーザの例えば前方視方向を基準とした、ユーザから音源への方向を示す。
例えば、音源は第1種類のモノラル信号送信器(例えばスパウスマイクロフォン)の装着者であってもよい。第1種類のモノラル信号送信器は、人物の発話を、バイノーラル聴覚システムに無線送信される電子モノラル信号に変換する。これにより、人物の発話が、バイノーラル聴覚システムのマイクロフォンにより受信、検出されるように、バイノーラル聴覚システムへの音波として伝播し、さらにバイノーラル聴覚システムに無線送信される電子モノラル信号に符号化もされる。当該電子モノラル信号は、バイノーラル聴覚システムの無線モノラル信号受信器に受信されてから、音声の再生に供される。
この例では、DOAは、バイノーラル聴覚システムのユーザの例えば前方視方向を基準にして、ユーザから人物の唇への方向となる。
DOAの方位は、ユーザの前方視方向を基準に、水平面上に投射される、モノラル信号送信器に関連付けられた音源への方向の、認知角度φである。前方視方向は、ユーザの頭部の中心、およびユーザの鼻の中心を通過するように引かれた仮想線により定義される。したがって、ユーザの前方視方向の先の音源の方位値はφ=0°となり、ユーザの前方視方向の正反対に位置する音源の方位値はφ=180°となる。ユーザの前方視方向に直交する垂直平面の左側に位置する音源の方位値はφ=−90°となり、ユーザの前方視方向に直交する垂直平面の右側に位置する音源の方位値はφ=+90°となる。
以下の説明で、「ユーザ」という用語は、「バイノーラル聴覚システムのユーザ」を示す。
各電子モノラル信号に空間的キューを追加可能なバイノーラル聴覚システムが提供される。各空間的キューは、バイノーラル聴覚システムに音波として伝播した音声のDOAに対応する。音声はまた、受信した電子モノラル信号に基づいてバイノーラル聴覚システム内で再生される。
バイノーラル聴覚システムにおいて、異なるモノラル信号送信器から生じた各電子モノラル信号は、ユーザの音環境において、それぞれ現在推定されたDOAに配置された各音源をユーザが認知するように、ユーザの耳に提示される。
このようにして、人の聴覚系のバイノーラル信号処理を利用して、ユーザの、別々のモノラル信号送信器からの信号を区別する能力を向上する。さらに、電子モノラル信号の内の、所望の信号から再生される音声に注意を傾けて聴くことや、複数の電子モノラル信号から再生される音声を同時に聴いて認識する能力の向上も図られる。
聴力が正常のユーザと聴力を損失したユーザのいずれも、このバイノーラル聴覚システムを使用すれば、外在化や、各モノラル信号送信器に関連付けられた音源の定位向上という利点を享受でき、外在化された音源から再生された音声を利用できる。
詳細に後述するように、バイノーラル聴覚システムにおいて、指向性伝達関数を有するバイノーラルフィルタを利用して、空間的キューを電子モノラル信号に加える。
人間は、バイノーラル音声定位能力を有し、それにより、三次元空間において、モノラル信号送信器の検出、定位が実現される。
聴覚入力は、2つの信号、すなわち鼓膜それぞれでの音圧から構成される。この信号を以下にバイノーラル音声信号と称する。所定の空間的音場で生成されたであろう鼓膜での音圧が、鼓膜で正確に再生されれば、人の聴覚系では空間的音場で生成された実際の音声と、再生音声とは区別できないであろう。
所定の方向に配置された音源からの、鼓膜への音波送信と、聴者の左右の耳に関する距離が、それぞれ左鼓膜、右鼓膜用の2つの伝達関数で説明される。伝達関数は、カラーレーション、両耳間時間差および両耳間スペクトル差等の任意の線形歪みを含む。このような、それぞれ左鼓膜、右鼓膜用の、2つで一組の伝達関数を頭部伝達関数(HRTF)と称する。HRTFの各伝達関数は、対応する外耳道内、または近傍の特定の点での平面波により生成された音圧p(左外耳道内のpと右外耳道内のp)の基準に対する比として定義される。通常、この基準として選択されているのは音圧pである。これは、聴者不在と仮定して、頭部の真ん中の位置での平面波で生成され得るものである。
HRTFは、頭部回りの回折、肩からの反射、外耳道での反射等、聴者の耳への音声送信に関するあらゆる情報を含む。したがって、HRTFは個人差がある。
以下の説明では、HRTFの伝達関数の1つについても、便宜上HRTFと称する。
HRTFは、聴者の耳に対する、音源の方向および距離に応じて変化する。HRTFは、任意の方向および距離について測定でき、例えばフィルタにより、例えば電子的にシミュレーションできる。当該フィルタがマイクロフォン等の信号源と、聴者が使用するヘッドフォンとの間の信号経路に挿入されれば、聴者は、耳内音圧の正確な再現により、該当するHRTFをシミュレーションしたフィルタの伝達関数で定義された、当該距離および当該方向に位置する音源から発せられた音声がヘッドフォンで生成されたものと認識するであろう。
空間的に符号化された情報に、脳のバイノーラル処理を実行すると、様々な良い影響につながる。具体的には、信号源区別、到来方向(DOA)推定、奥行/距離認識である。
人の聴覚系がどのようにして音源の距離および方向についての情報を抽出するかは完全には解明されていないが、人の聴覚系が多数のキューを使用して判定することは分かっている。これらのキューとしては、スペクトルキュー、残響キュー、両耳間時間差(ITD)、両耳間位相差(IPD)、および両耳間レベル差(ILD)が挙げられる。
バイノーラル処理におけるキューで最も重要なのが、両耳間時間差(ITD)と、両耳間レベル差(ILD)であろう。ITDは、音源から両耳への距離の差に基づく。このキューが主に有用なのは、特に1.5kHzまでであり、この周波数を超えると、聴覚系がITDキューを認識不能となる。
レベル差は、回析の結果であり、音源に対する耳の相対位置により定まる。このキューは、2kHz超で非常に効果的である。ただし、聴覚系はスペクトル全体で、ILDの変化に対して等しく敏感である。
聴力損失は、低周波数では顕著でないことが多いため、ITDキューが最も聴覚障害者に有用であると言われている。
指向性伝達関数は、スペクトルキュー、残響キュー、両耳間時間差(ITD)、両耳間位相差(IPD)、および両耳間レベル差(ILD)等の指向性キューを電子モノラル信号に加えるHRTFまたは当該HRTFへの近似である。これにより、電子モノラル信号に指向性伝達関数を適用するバイノーラルフィルタの出力信号に基づくバイノーラル音声信号を聴き取るユーザは、指向性伝達関数により定義された方向に存在する音源から発せられた音声を知覚する。
例えば、個別のHRTFへの近似は、KEMAR等のマネキンを使用して判定されてもよい。これにより、バイノーラル聴覚システムのユーザが、バイノーラル聴覚システムを使用しながら方向感覚を保つのに十分な精度のHRTF近似が実現できる。
バイノーラル聴覚システムの、バイノーラル聴覚システムに音波として伝播する音声を発する音源の定位が向上する。音声はさらに、バイノーラル聴覚システムに有線または無線送信される電子モノラル信号に変換もされる。
バイノーラル聴覚システムのマイクロフォンが受信する、バイノーラル聴覚システムへ音波として伝播する音声に、電子モノラル信号が関連付けられてもよい。これにより、各音源から各マイクロフォンへの指向性伝達関数が判定できる。当該関数は、音源から各マイクロフォンへの送信路のフィルタ関数を含む。
ユーザの各耳では、その耳に装着されたマイクロフォンの、判定された指向性伝達関数の内の選択された1つ、またはその耳に装着されたマイクロフォンの、判定された指向性伝達関数から判定された結果的指向性伝達関数を使用して、フィルタリングされた信号の、該当するマイクロフォンが装着された耳に送信される信号への変換前に、電子モノラル信号をフィルタリングしてもよい。これにより、ユーザは、フィルタリングされた信号が、各音源のDOAから到来するものと知覚する。
例えば、ユーザの外耳道入り口に配置されたマイクロフォンの指向性伝達関数は、ユーザの対応するHRTFの左耳部分または右耳部分に良好に近似することがよく知られている。
その後、判定された指向性伝達関数は、HRTFまたは近似HRTFと比較されてもよい。これにより、判定された指向性伝達関数の一部を成すHRTFまたは近似HRTFを判定し、そのHRTFまたは近似HRTFを使用して、フィルタリングされた信号を該当するマイクロフォンが装着された耳に送信される信号へ変換する前に、電子モノラル信号をフィルタリングしてもよい。これにより、ユーザは、フィルタリングされた信号が、各音源のDOAから到来するものと知覚する。
例えば、音声伝播は、電子モノラル信号と、各出力信号との線形関係により、線形波動方程式で表すことができる。
例えば、時不変系の時間領域について、電子モノラル信号x(n)と、各マイクロフォン出力信号y(n)により以下の式が成立する。
Figure 2019083515
式中、(*)は畳み込み演算子であり、kはマイクロフォンの指標であり、nはサンプルの指標であり、gは音源からk番目のマイクロフォンまでの伝達路のフィルタ関数のインパルス応答であり、vはk番目のマイクロフォンで受信されたノイズである。各音源からk番目のマイクロフォンまでの伝達路のフィルタ関数g(n)のインパルス応答には、室内残響およびk番目の指向性伝達関数のインパルス応答が含まれる。
伝達関数g(n)のインパルス応答を判定する1つの方法として、以下の最小化問題を解くことが挙げられる。
Figure 2019083515
式中、Nはマイクロフォンの総数であり、pは整数であり、例えばp=2である。
前記最小化問題は、1組の選択されたマイクロフォンに関して解を求めてもよい。
前記最小化問題は、周波数領域において解を求めてもよい。
残響が全くない、またはわずかである空間において、インパルス応答g(n)を有する指向性伝達関数G(f)は、周波数領域における電子モノラル信号X(f)と周波数領域におけるk番目のマイクロフォンの出力信号Y(f)との間の比として判定されてもよい。
Figure 2019083515
さらに、伝達関数G(f)のインパルス応答g^(n)は、指向性伝達関数のインパルス応答として使用されてもよく、あるいは伝達関数のインパルス応答g^(n)は、室内残響を除去または抑制するために切り捨てられてもよく、切り捨て後のインパルス応答g^(n)は指向性伝達関数のインパルス応答として使用されてもよい。
次に、ユーザのそれぞれの耳において、該当する耳に装着されたマイクロフォンの、判定された指向性伝達関数、すなわち時間領域におけるインパルス応答g^(n)および周波数領域における伝達関数G(f)の内の選択された関数、または該当する耳に装着されたマイクロフォンの判定された指向性伝達関数から判定された結果的指向性伝達関数が、フィルタリングされた信号を該当するマイクロフォンが装着された耳に伝達される信号へと変換する前に、モノラル信号をフィルタリングするために使用されてもよく、これによりユーザはフィルタリングされた信号が音源のDOAから到来しているように知覚する。
判定された指向性伝達関数は、HRTFまたは近似HRTFのインパルス応答と比較されて、判定された指向性伝達関数の一部を形成するHRTFまたは近似HRTFを判定してもよい。また、このHRTFまたは近似HRTFは、フィルタリングされた信号を該当するマイクロフォンが装着された耳に伝達される信号へと変換する前にモノラル信号をフィルタリングするために使用されてもよく、これによりユーザはフィルタリングされた信号を音源のDOAから到来しているように知覚する。
したがって、バイノーラル聴覚システムが提供され、
バイノーラル聴覚システムは、と、電子モノラル信号受信器と、DOA推定部と、バイノーラルフィルタを備えており、
前記バイノーラル聴覚機器は、
前記バイノーラル聴覚システムのユーザの第1の耳に装着されるように適用され、第1組のマイクロフォンを収容する第1ハウジングであって、前記第1組のマイクロフォンが、前記第1組のマイクロフォンに到来する音声を、第1組の対応するマイクロフォン出力信号に変換する、第1ハウジングと、
前記バイノーラル聴覚システムのユーザの第2の耳に装着されるように適用され、第2組のマイクロフォンを収容する第2ハウジングであって、前記第2組のマイクロフォンが、前記第2組のマイクロフォンに到来する音声を、第2組の対応するマイクロフォン出力信号に変換する、第2ハウジングと、
第1出力トランスデューサであって、前記バイノーラル聴覚機器着用の際に、前記第1出力トランスデューサに供給される第1トランスデューサオーディオ信号を、前記ユーザの前記第1の耳で人の聴覚系により受信可能な第1音響出力信号に変換する、第1出力トランスデューサと、
第2出力トランスデューサであって、前記バイノーラル聴覚機器着用の際に、前記第2出力トランスデューサに供給される第2トランスデューサオーディオ信号を、前記ユーザの前記第2の耳で人の聴覚系により受信可能な第2音響出力信号に変換する、第2出力トランスデューサと、を有しており、
前記電子モノラル信号受信器は、
モノラル信号送信器から発せられる電子モノラル信号を受信し、前記電子モノラル信号を復号化し、出力するように適用されており、
前記モノラル信号送信器は、前記ユーザから離れて位置する音源から発せられる音声を符号化することにより前記電子モノラル信号を生成し、
前記音源から発せられる前記音声は、前記第1組および前記第2組のマイクロフォン出力信号の少なくとも一部が前記電子モノラル信号に対応するように、前記バイノーラル聴覚システムに伝播し、
前記DOA推定部は、
前記第1組および前記第2組のマイクロフォン出力信号を前記電子モノラル信号と相関して、前記第1組および前記第2組のマイクロフォンの指向性伝達関数を提供するように適用されており、
前記バイノーラルフィルタは、
前記指向性伝達関数、即ち到来方向に基づく伝達関数により前記電子モノラル信号をフィルタリングすることで、前記第1および前記第2出力トランスデューサにそれぞれ前記第1および前記第2トランスデューサオーディオ信号を提供し、それによって前記ユーザに前記変換された電子モノラル信号が前記音源から到来すると聴こえるように知覚させるように適用される。
前記DOA推定部は、
前記電子モノラル信号に対応する前記第1組および前記第2組のマイクロフォン出力信号の少なくとも一部を強調するために、
前記第1組のマイクロフォン出力信号の選択されたマイクロフォン出力信号と、前記電子モノラル信号との相互相関をとり、第1組のフィルタリングされたマイクロフォン出力信号を提供することと、
前記第2組のマイクロフォン出力信号の選択されたマイクロフォン出力信号と、前記電子モノラル信号との相互相関をとり、第2組のフィルタリングされたマイクロフォン出力信号を提供することと、
前記第1組および前記第2組のフィルタリングされたマイクロフォン出力信号に基づいてDOAを推定することと、
によって、音源から発せられる音声のDOAを推定するように適用されてもよい。
前記DOA推定部は、
Mic1(t)を前記第1組のマイクロフォン出力信号のマイクロフォン出力信号、
iを前記第1組のマイクロフォン出力信号の前記マイクロフォン出力信号の指数、
Mic2(t)を前記第2組のマイクロフォン出力信号のマイクロフォン出力信号、
jを前記第2組のマイクロフォン出力信号の前記マイクロフォン出力信号の指数、
Rm_n(t’)を受信された電子モノラル信号、
nを前記電子モノラル信号を発信した前記モノラル信号送信器の指数、
t’を時間tまたは逆転時間T−t、
Tを前記フィルタリングが因果的(causal)となるように付加された任意の定数、
演算子*を畳み込み演算子として、
第1組のフィルタリングされたマイクロフォン出力信号F1(t)=Mic1(t)*Rm_n(t’)を提供することと、
第2組のフィルタリングされたマイクロフォン出力信号F2(t)=Mic2(t)*Rm_n(t’)を提供することと、
によって、音源によって発信された音声のDOAの推定を行い、第1および第2組のマイクロフォン出力信号の、受信した電子モノラル信号Rm_n(t’)に対応する少なくとも一部を強調することと、
第1および第2組のフィルタリングされたマイクロフォン出力信号F1(t)、F2(t)に基づいて到来方向を推定することと、を行うように適用されてもよい。
前記第1および第2組のフィルタリングされたマイクロフォン出力信号はそれぞれ少なくとも1つのフィルタリングされたマイクロフォン出力信号を含み、前記第1および第2組のフィルタリングされたマイクロフォン出力信号はそれぞれ、前記第1および第2組のマイクロフォンのそれぞれのマイクロフォンからのフィルタリングされたマイクロフォン出力信号を含んでもよい。
ユーザの頭部に対して固定位置に装着された装置であるヘッドトラッカーにより、急速な頭部の動きが追跡されてもよい。したがって、ヘッドトラッカーはユーザの頭部の動きを検出し、頭部の向きおよび、可能であればユーザの頭部の位置に基づくトラッキング信号を出力できる。
バイノーラル聴覚システムは、DOA推定部が判定したDOAを調整するために使用され得るトラッキング信号を出力するヘッドトラッカーを有してもよい。これにより、頭部の動きに応じたDOAの調整の、当該動きに対する遅延が低減され得る。
ヘッドトラッカーは、バイノーラル聴覚システムの第1および第2ハウジングの一方または両方に収容されてもよい。
ヘッドトラッカーは、例えばバイノーラル聴覚システムのヘッドバンドに装着される、個別のハウジングに収容されてもよい。
ヘッドトラッカーは、ユーザがその頭部の、所期の動作位置に聴覚機器を装着した際に、頭部ヨーさらには任意で頭部ピッチ、頭部ロールを判定するように配置された慣性測定部を有してもよい。
頭部ヨー、頭部ピッチ、および頭部ロールは、頭部座標系を使用して判定されてもよい。頭部座標系は、その中心をユーザの頭部の中心として定義され得る。頭部の中心とは、ユーザの左および右耳それぞれの鼓膜の中心を結ぶ線の中心として定義される。
すなわち、頭部座標系のx軸は、ユーザの鼻の中心から前方を指し、y軸は左鼓膜の中心を通るように左耳を指し、z軸は上方向を指してもよい。
頭部ヨーは、ユーザの位置の水平面に投射される、頭部座標系のx軸、即ちユーザの前方視方向と、水平参照方向(磁気北または真北等)との間の角度である。したがって、DOAの方位と同様、頭部ヨーは水平角であり、音源が動かない場合、頭部ヨーの変化は、対応するDOAの方位の同様の変化につながる。
頭部ピッチは、頭部座標系のx軸と、水平面との間の角度である。
頭部ロールは、y軸と、水平面との間の角度である。
ヘッドトラッカーは、頭部ヨー、頭部ピッチ、頭部ロールについての情報を提供する3軸MEMSジャイロと、ユーザの頭部の3次元変位についての情報を、当該分野で公知の方法で提供する3軸加速度計とを有してもよい。
したがって、ヘッドトラッカーにより、バイノーラル聴覚システムにおける処理のため、ユーザの現在位置と、頭部の向きを提供できる。
ヘッドトラッカーはさらに、地球の磁気、例えば磁気北に対して、頭部ヨーを判定しやすくする、3軸磁力計の形式の、方位磁針を有してもよい。
例えば、上述の電子モノラル信号に基づくバイノーラルフィルタの伝達関数の判定の際に、ヘッドトラッカーが頭部の動きを検出しない、または検出しても些細であれば、判定された伝達関数が電子モノラル信号のフィルタリングに使用される。その後、ヘッドトラッカーが頭部の動きを検出すると、ヘッドトラッカーが検出したユーザの頭部の向きの変化に従って、判定された伝達関数が修正される。例えば、検出された頭部ヨーの変化に応じてDOAの方位が変化する。
言い換えると、ユーザの頭部が動かない状態で、電子モノラル信号に基づいて較正された、ヘッドトラッカーが出力するトラッキング信号に基づいて、該当する音源のDOAが判定されてもよい。
本開示の全体において、「適用する」および「構成する」という語は同意語として使用されており、互いに置換可能である。
バイノーラル聴覚システムで電子モノラル信号を処理する方法もまた提供される。
前記バイノーラル聴覚システムは、前記バイノーラル聴覚システムのユーザの第1の耳に装着される第1組のマイクロフォンと、前記ユーザの第2の耳に装着される第2組のマイクロフォンと、電子入力であって、前記電子入力で受信した電子モノラル信号を提供する前記電子入力と、を有している。
前記方法は、
前記第1組および前記第2組のマイクロフォンのそれぞれから提供される第1組および第2組のマイクロフォン出力信号を、前記電子モノラル信号と相関して、前記第1組および前記第2組のマイクロフォンの指向性伝達関数を提供することと、
前記指向性伝達関数に基づく伝達関数により前記電子モノラル信号をフィルタリングすることと、を備える。
前記方法は、
前記第1組のマイクロフォン出力信号の選択されたマイクロフォン出力信号を前記電子モノラル信号と相互相関して、第1組のフィルタリングされたマイクロフォン出力信号を提供するステップと、
前記第2組のマイクロフォン出力信号の選択されたマイクロフォン出力信号を前記電子モノラル信号と相互相関して、第2組のフィルタリングされたマイクロフォン出力信号を提供するステップと、を備えてもよい。
前記電子モノラル信号に対応する前記第1および前記第2組のマイクロフォン出力信号の少なくとも一部は、前記第1組および第2組のフィルタリングされたマイクロフォン出力信号に強調されている。
バイノーラル聴覚システムで電子モノラル信号を処理する方法もまた提供される。
バイノーラル聴覚システムは、当該バイノーラル聴覚システムのユーザの第1の耳に装着される第1組のマイクロフォンと、前記ユーザの第2の耳に装着される第2組のマイクロフォンと、電子入力であって、前記電子入力で受信される電子モノラル信号を提供する電子入力と、を有している。
前記方法は、
Mic1(t)を前記第1組のマイクロフォン出力信号のマイクロフォン出力信号、
iを前記第1組のマイクロフォン出力信号の前記マイクロフォン出力信号の指数、
Mic2(t)を前記第2組のマイクロフォン出力信号のマイクロフォン出力信号、
jを前記第2組のマイクロフォン出力信号の前記マイクロフォン出力信号の指数、
Rm_n(t’)を受信された電子モノラル信号、
nを前記電子モノラル信号を発信した前記モノラル信号送信器の指数、
t’を時間tまたは逆転時間T−t、
Tを前記フィルタリングが因果的となるように付加された任意の定数、
演算子*を畳み込み演算子として、
第1組のフィルタリングされたマイクロフォン出力信号F1(t)=Mic1(t)*Rm_n(t’)を提供することと、
第2組のフィルタリングされたマイクロフォン出力信号F2(t)=Mic2(t)*Rm_n(t’)を提供することと、
によって、前記電子入力で受信した前記電子モノラル信号に関連付けられた音源から発せられた音声の、前記ユーザに対する到来方向を推定して、前記選択されたマイクロフォン出力信号の、前記電子モノラル信号Rm_n(t’)に対応する少なくとも一部を強調することと、
前記第1および第2組のフィルタリングされたマイクロフォン出力信号F1(t)、F2(t)に基づいて、前記到来方向を推定することと、
前記到来方向に基づく伝達関数で前記電子モノラル信号をフィルタリングすることと、を備える。
前記方法はさらに、前記電子モノラル信号を発する前記モノラル信号送信器に関連付けられた前記音源からの音声の音響的受信についての、前記バイノーラル聴覚システムを装着するユーザの前記左耳と、前記右耳との間の両耳間時間差(ITD)を、前記第1組および第2組のフィルタリングされたマイクロフォン出力信号に基づいて判定することを含んでもよい。
前記ITDは、前記ユーザが前記バイノーラル聴覚システムを装着した際に、前記左耳に配置される前記1つまたは複数のマイクロフォンにより生成される出力信号の1つに基づく前記相関フィルタの1つにより提供されるフィルタリングされたマイクロフォン出力信号と、前記ユーザが前記バイノーラル聴覚システムを装着した際に、前記右耳に配置される前記1つまたは複数のマイクロフォンにより生成される出力信号の1つに基づく別の前記相関フィルタにより提供されるフィルタリングされたマイクロフォン出力信号との間の前記時間遅延であって、当該2つのフィルタリングされたマイクロフォン出力信号の相関が最大となる時間遅延を判定することで判定されてもよい。
当該判定は、前記2つのフィルタリングされたマイクロフォン出力信号の相互相関または、差分二乗和(SSD)等を利用して実現されてもよい。
前記方法はさらに、
前記第1および第2組のフィルタリングされたマイクロフォン出力信号の少なくとも1つから選択されたフィルタリングされたマイクロフォン出力信号間の前記時間遅延を判定することと、
前記モノラル信号送信器が前記ユーザの前方に存在するか、後方に存在するかを、前記相互相関に基づいて判定することと、を含んでもよい。
当該判定は、前記2つのフィルタリングされたマイクロフォン出力信号の相互相関または、差分二乗和(SSD)等を利用して実現されてもよい。
前記バイノーラル聴覚システムは、頭部装着装置、例えばヘッドセット、ヘッドフォン、イヤホン、イヤディフェンダ、イヤマフ等を備えてもよく、その例としては、耳かけ型(BTE)、耳内レシーバ型(RIE)、耳あな型(ITE)、外耳道挿入型(ITC)、完全外耳道挿入型(CIC)等の任意の種類の補聴器を備えた、イヤーハンガー、インイヤー、オンイヤー、オーバーイヤー、ビハインドネック、ヘルメット、またはヘッドガード等のバイノーラル補聴器が挙げられる。
前記頭部装着装置内のマイクロフォンおよび出力トランスデューサの各種位置は、頭部装着装置の分野において公知である。
前記第1組および第2組のマイクロフォンは、無指向性マイクロフォンの組であってもよく、例としては、例えば選択的に、マイクロフォンに到来する音声を、補聴器等の頭部装着装置の分野において公知の指向性特徴を形成するために使用できる各マイクロフォン出力信号へ変換するための無指向性前側および後側マイクロフォンが挙げられる。
耳あな型(ITE)、外耳道挿入型(ITC)、完全外耳道挿入型(CIC)の聴覚機器、例えば補聴器の場合、それぞれのハウジングは、例えば、供給されたトランスデューサオーディオ信号を、ユーザの鼓膜に向かって音波として伝播する音声へと変換するためのレシーバ等の出力トランスデューサをさらに収容してもよい。
ユーザの耳介の後ろに配置される、耳かけ型(BTE)の補聴器等の聴覚機器の場合、それぞれのハウジングは、例えば、レシーバ等の出力トランスデューサをさらに収容してもよく、また、ハウジングに接続された音響管であって、該音響管を介してレシーバによって出力された音声を、ユーザの外耳道に配置、保持され、音声をユーザの鼓膜へと伝達するための出力孔を有するイヤピースへと伝播する音響管をさらに有する。
耳内レシーバ型(RIE)の補聴器等の聴覚機器の場合、レシーバがイヤピースへと移され、したがって、音響管がオーディオ信号伝達部材に置き換えられている点を除いては、BTE聴覚機器のハウジングと同様のハウジングを有する。該オーディオ信号伝達部材は、トランスデューサのオーディオ信号を、その出力孔を介してユーザの鼓膜に向かって音声を発信するためのイヤピースに配置されたレシーバへと伝播するための導電体を備える。
イヤピースを備える聴覚機器の中には、該イヤピースに収容された1つまたは複数のマイクロフォンをさらに有するものもある。
バイノーラル聴覚システムは、人工内耳(CI)等の埋め込み型装置を備える聴覚人工器官を含んでもよく、この場合、出力トランスデューサは、蝸牛に埋め込まれて、人工内耳の分野において公知のように蝸牛から脳へと聴覚情報を伝達する蝸牛神経に電子的刺激を与える電極アレイである。
バイノーラル聴覚システムは、該バイノーラル聴覚システムのその他の部品と通信し、バイノーラル聴覚システムの信号処理の少なくとも一部を実行するように適用または構成された装着式装置を含んでもよく、バイノーラル聴覚システムのユーザインターフェース、またはユーザインターフェースの一部を含んでもよい。
装着式装置は、携帯用端末、例えばIPAD(登録商標)、ミニIPAD等のタブレットPCであってもよく、スマートフォン、例えばIPhone(登録商標)、アンドロイド(登録商標)フォン、ウィンドウズ(登録商標)フォン等であってもよい。
1つまたは複数のDOA推定部、あるいは1つまたは複数のDOA推定部の一部、および/またはバイノーラルフィルタ、あるいはバイノーラルフィルタの一部、および/またはバイノーラル聴覚システムの処理回路の他の部品は、バイノーラル聴覚システムの他の部品に相互接続されている装着式装置に含まれてもよい。
装着式装置に含まれるバイノーラル聴覚システムの回路部品については、特にバイノーラル聴覚システムがバイノーラル補聴器を備える場合に、該バイノーラル聴覚システムにおいて使用可能な限定的な演算資源や電力供給と比較して、装着式装置において通常使用可能なより多くの演算資源や電力供給を活用できる利点があり得る。
装着式装置は、バイノーラル聴覚システムの少なくとも一部をユーザが制御できるように適用されたユーザインターフェースを収容してもよい。
装着式装置は、バイノーラル聴覚システムの遠隔制御装置として機能してもよい。
装着式装置は、インターネット等の広域ネットワークとの接続のためのインターフェースを有してもよい。
装着式装置は、GSM(登録商標)、IS−95、UMTS、CDMA−2000等の携帯電話ネットワークを介して、広域ネットワークにアクセスしてもよい。
バイノーラル聴覚システムは、制御信号を装着式装置からバイノーラル聴覚システムの他の部品へと伝達するためのデータインターフェースを備えてもよい。
データインターフェースは、例えばUSBインターフェース等の無線インターフェースであってもよく、またはBluetoothインターフェース(例えばBluetooth低エネルギーインターフェース)等の無線インターフェースであってもよい。
電子モノラル信号受信器は、例えばストリーミングされた音楽や発話等のストリーミングされたオーディオ一般の受信のための、無線信号の受信を行うように適用された無線装置であってもよい。
電子モノラル信号受信器は、デジタルオーディオ、場合によっては送信器識別子、場合によってはネットワーク制御信号等の、受信した電子モノラル信号から、デジタルデータを読み出し、読み出したデジタルデータをバイノーラル聴覚システムの他の部品に、処理または処理制御のために転送するように適用されてもよい。
受信した電子モノラル信号は、複数のモノラル信号送信器からの信号を含んでもよく、したがって、受信した電子モノラル信号は、以下に開示するDOA推定部等のバイノーラル聴覚システムの他の部品に転送される複数の信号を形成してもよく、例えば各モノラル信号送信器について、1つの電子モノラル信号が1つのDOA推定部に転送される。
受信した電子モノラル信号は、モノラル信号送信器の識別に関するデータをさらに含んでもよい。電子モノラル信号受信器は、これらのデータを受信した電子モノラル信号から抽出し、該受信した電子モノラル信号が複数の電子モノラル信号に分割されるように、すなわち各モノラル信号送信器に対して1つの信号が与えられるように適用されてもよい。
バイノーラル聴覚システムが、各電子モノラル信号に対して、モノラル信号送信器に関連付けられた音源への方向感覚を付与することができるようにするために、バイノーラル聴覚システムは、第1組および第2組のマイクロフォン出力信号の、電子モノラル信号に対応する少なくとも一部を強調するために、第1組および第2組のマイクロフォン出力信号それぞれの各電子モノラル信号に対する相互相関を取って、第1組および第2組のフィルタリングされたマイクロフォン出力信号をそれぞれ提供して、前記第1組および第2組のフィルタリングされたマイクロフォン出力信号に基づいてDOAを推定することに基づいて、該当するモノラル信号送信器に関連付けられた音源からの音声のDOAを推定する、DOA推定部を有してもよい。
電子モノラル信号は、干渉ノイズがないまたは極めて少ない状態で、モノラル信号送信器により生成されるため、高信号雑音比となる。
バイノーラル聴覚システムにより、特定のモノラル信号送信器に関連付けられた特定の音源に関する空間的キューが、非常に高ノイズの環境でも得られ、さらには複数の音源が存在する音環境でも選択的に得られる。これら環境はそれぞれ、各モノラル信号送信器に関連付けられるものである。
バイノーラル聴覚システムにより、特定のモノラル信号送信器に関連付けられた特定の音源に関連付けられた空間的キューが、バイノーラル聴覚システムのマイクロフォンの出力信号と、特定のモノラル信号送信器から生じる電子モノラル信号とを、相関フィルタで相関をとることで得られる。相関フィルタはマイクロフォン出力信号を出力する。マイクロフォン出力信号では、特定のモノラル信号送信器の電子モノラル信号とは無関係の部分が削減または削除されている。言い換えると、マイクロフォンの出力信号の特定のモノラル信号送信器の電子モノラル信号に対応する部分が強調されている。
相関フィルタは、空間的キューの取得が望まれるモノラル信号送信器からの電子モノラル信号に対して等しい、場合によっては時間逆転されている、インパルス応答h(t)を有する整合フィルタであってもよい。
したがって、Rm_n(t)は電子モノラル信号を生成する各モノラル信号送信器に関連付けられた複数の音源を含む音環境において、選択した受信した電子モノラル信号を指す。ここで、Rmは、Received monaural(受信したモノラル)の略で、nは当該モノラル信号送信器の指数で、tは時間である。Rm_n(t)を生成するモノラル信号送信器に関連付けられた音源に関する空間的キューを得ることが求められる場合、ユーザの左耳に配置された1つまたは複数のマイクロフォンにより形成された1つまたは複数の出力信号と、ユーザの右耳に配置された1つまたは複数のマイクロフォンにより形成された1または複数の出力信号が、インパルス応答により、各相関フィルタで、フィルタリングされる。ここで、
h(t)=Rm_n(−t)または、
h(t)=Rm_n(t)である。
このようにして、マイクロフォンの出力信号の、複数の電子モノラル信号Rm_n(t)の内の選択された1つに対応する部分が、フィルタリングされたマイクロフォン出力信号において強調される。そして、受信した電子モノラル信号Rm_n(t)の選択された1つを生成するモノラル信号送信器に関連付けられた音源が発する音声のDOAが、フィルタリングされたマイクロフォン出力信号に基づいて推定される。これにより、電子モノラル信号のうちの選択された1つよりもノイズやその他電子モノラル信号の影響が低くなるため、選択的DOA推定や推定精度の向上が図られる。
したがって、各相関フィルタは、以下のフィルタ関数を実行する。
F(t)=Mic(t)*Rm_n(−t)、
式中、F(t)はフィルタリングされたマイクロフォン出力信号であり、
Mic(t)は、ユーザの左耳に配置された1つまたは複数のマイクロフォンにより形成された、または1つまたは複数のマイクロフォンの組み合わせにより形成された出力信号の1つ、或いはユーザの右耳に配置された1つまたは複数のマイクロフォンにより形成された、または1つまたは複数のマイクロフォンの組み合わせにより形成された出力信号の1つであり、
Rm_n(−t)は、選択された時間逆転の電子モノラル信号であり、
演算子*は畳み込み演算子である。
或いは、相関フィルタは、時間を逆転せずに、Rm_n(t)によりマイクロフォン出力信号Mic(t)を畳み込んでもよい。
以下では、相関フィルタのフィルタ動作を、選択した1つの受信した電子モノラル信号Rm_n(t)とマイクロフォン出力信号Mic(t)の相互相関を取ると称する。
したがって、受信した選択した1つの電子モノラル信号Rm_n(t)によるマイクロフォン出力信号Mic(t)の相互相関の出力F(t)は、以下のとおりであってもよい。
F(t)=Mic(t)*Rm_n(−t)または、
F(t)=Mic(t)*Rm_n(t)。
時間逆転の電子モノラル信号は、定数Tで時間シフトしてもよい。これにより、相関フィルタが因果的(causal)フィルタとなることが保証される。したがって、受信した選択した1つの電子モノラル信号Rm_n(t)とマイクロフォン出力信号Mic(t)の相互相関の出力F(t)は、以下のとおりであってもよい。
F(t)=Mic(t)*Rm_n(T-t)。
バイノーラル聴覚システムは単一の電子モノラル信号を受信し、DOAを推定する方法は単一の電子モノラル信号に対して実行されてもよい。
バイノーラル聴覚システムは、複数の電子モノラル信号を受信し、DOAを推定する方法は、複数の電子モノラル信号の内の選択された電子モノラル信号、複数の電子モノラル信号の内の選択された電子モノラル信号群、または、複数の電子モノラル信号の全てに実行されてもよい。
選択された1つの電子モノラル信号を発するモノラル信号送信器に関連付けられた音源からの音声の音響的受信についての、前記バイノーラル聴覚システムを装着するユーザの左耳と、右耳との間の両耳間時間差(ITD)を、相関フィルタにより提供されるフィルタリングされたマイクロフォン出力信号、すなわちユーザがバイノーラル聴覚システムを装着する際にそれぞれ左耳と右耳に配置されるマイクロフォンのフィルタリングされた出力信号に基づいて判定してもよい。
ITDは、ユーザがバイノーラル聴覚システムを装着した際に、左耳に配置される前記1つまたは複数のマイクロフォンにより生成される出力信号の1つに基づく相関フィルタの1つにより提供されるフィルタリングされたマイクロフォン出力信号と、ユーザがバイノーラル聴覚システムを装着した際に、右耳に配置される前記1つまたは複数のマイクロフォンにより生成される出力信号の1つに基づく別の相関フィルタにより提供されるフィルタリングされたマイクロフォン出力信号との相互相関で判定されてもよい。
相互相関は、複数のフィルタリングされたマイクロフォン出力信号に対して実行され、その結果の合計として、最終的な相互相関出力が形成されてもよい。
そしてITDは、相互相関出力、場合によっては最終的な相互相関出力が最大となる時間遅延τとして判定されてもよい。
判定されたITDを、該当する電子モノラル信号に適用してもよい。すなわち、電子モノラル信号は判定されたITDで遅延され、片方の耳に提供されてもよい。その際、他方の耳には、遅延のない電子モノラル信号が提供される。遅延された電子モノラル信号が提供される耳は、ITD判定に応じて選択される。これにより、ユーザに方向感覚が伝達される。
対応する両耳間レベル差ILDを、例えばユーザの耳への電波路の長さの差、および/または頭部の影や回析の影響に基づくITDに基づいて算出されてもよい。そしてILDを該当する電子モノラル信号に適用してもよい。即ち、電子モノラル信号は、判定されたILDで減衰され、片方の耳に提供されてもよい。その際、他方の耳には、減衰されない電子モノラル信号が提供される。減衰された電子モノラル信号が提供される耳は、ILD判定に応じて選択される。これにより、ユーザに伝達される方向感覚が向上する。
判定されたITDの、DOA、例えば方位φへのマッピングは固有のものではない。例えば、ユーザ後方の特定の位置の音源と、前方における対応する位置の別の音源に対してITDが同一となり得る。
モノラル信号送信器に関連付けられた音源がユーザの前方に存在するのか、後方に存在するのかを判定するため、ユーザの耳の同一の耳における異なる配置の各マイクロフォンのフィルタリングされたマイクロフォン出力信号の相互相関をとってもよい。
相互相関は、複数のフィルタリングされたマイクロフォン出力信号に対して実行され、その結果を合計して、最終的な相互相関出力を形成してもよい。
その後、相互相関、例えば最終的な相互相関が最大となる時間遅延τ2nを判定してもよい。τ2nの符号により、音源nがユーザの前方に存在するか、後方に存在するかが判定される。
τおよび場合によってはτ2nに基づいて、電子モノラル信号が発せられるモノラル信号送信器に関連付けられた音源のDOAが、例えばテーブル参照により判定できる。
推定DOA、例えば方位φに基づいて、推定DOAに対応する指向性伝達関数を有し、電子モノラル信号に基づく、ユーザの右耳、左耳それぞれに向けた信号を出力するように構成されたバイノーラルフィルタが選択され得る。出力信号は、推定DOAに基づき、且つ対応するITDを導入するため、位相シフトにより互いに位相がずれている。したがって、対応するモノラル信号送信器に関連付けられた音源の知覚位置は、頭部外に、かつバイノーラル補聴器システムのユーザの頭部の向きに対して側方にシフトされる。
さらに/あるいは、バイノーラルフィルタは、電子モノラル信号に基づく、ユーザの右耳、左耳のそれぞれに向けた信号を出力するように構成されてもよい。出力信号は、電子モノラル信号をそれぞれ右ゲインおよび左ゲインで乗算したものであってもよい。これにより、推定DOAに基づき、且つ対応するILDが得られ、ユーザが知覚する方向感覚が強調される。
例えば、バイノーラルフィルタは、推定DOAに対応する指向性伝達関数を有するHRTFを選択してもよい。これによりユーザは、受信された電子モノラル信号が、ユーザに対する現在位置における音源から発せられたものと知覚する。
HRTFは、それぞれユーザに対して個別に判定されたHRTF組から選択されてもよいし、KEMARヘッドで判定された近似HRTF組から選択されてもよいし、人間の平均的なHRTFから判定されてもよい。
特定のDOAについて選択されたHRTFは、別のHRTFや別のDOAから、例えば補間により算出されてもよい。
HRTFは、異なる複数のモノラル信号送信器が発した複数の電子モノラル信号について選択されてもよい。左耳および右耳用のフィルタリングされたマイクロフォン出力信号を合計して、合計したフィルタリングされたマイクロフォン出力信号を左耳と右耳とにそれぞれ提供してもよい。これにより、ユーザは、各電子モノラル信号が、その電子モノラル信号を発した各モノラル信号送信器に対応する異なる音源に向けた各方向から聴こえるように知覚することになる。
(実施例)
以下に、ユーザの音環境に存在する、複数のN個のモノラル信号送信器のn番目のモノラル信号送信器に関連付けられたn番目の音源に対するDOAを推定する方法をより詳細に説明する。n番目の音源は、発話を含む電子モノラル信号を無線送信するスパウスマイクロフォンを使用して発話する人物であってもよい。
バイノーラル聴覚システムは、ユーザの左耳、右耳にそれぞれ装着される第1および第2ハウジングを有する。補聴器の分野で公知のように、ハウジングはそれぞれ、2つの無指向性マイクロフォン、即ちユーザの各耳で指向性マイクロフォンアレイを形成可能な前側マイクロフォンおよび後側マイクロフォンを収容する。
したがって、本実施例では、第1ハウジングはユーザの右耳に装着され、それぞれ右耳前側出力信号Mic1(t)と、右耳後側マイクロフォン出力信号Mic1(t)とを出力する、指数I=1の右耳前側マイクロフォンと、指数I=2の右耳後側マイクロフォンを含む、第1組のマイクロフォンを収容するように構成される。同様に、第2ハウジングはユーザの左耳に装着され、それぞれ左耳前側出力信号Mic2(t)と、左耳後側マイクロフォン出力信号Mic2(t)とを出力する、指数j=1の左耳前側マイクロフォンと、指数j=2の左耳後側マイクロフォンを含む、第2組のマイクロフォンを収容するように構成される。
方法の第1ステップにおいて、マイクロフォン信号とn番目の電子モノラル信号Rm_n(t)の相関がとられ、マイクロフォン信号における、n番目のモノラル信号送信器により発せられる音声が強調される。すなわち、以下のとおり相関がとられる。
左耳:
EF_LF(t)=Hi_LF(t)*Rm_n(−t)
EF_LR(t)=Hi_LR(t)*Rm_n(−t)
右耳:
EF_RF(t)=Hi_RF(t)*Rm_n(−t)
EF_RR(t)=Hi_RR(t)*Rm_n(−t)
式中、
Hi_LF(t)は、左耳の前側マイクロフォンの出力信号Mic2(t)、
EF_LF(t)は、左耳の前側マイクロフォンについて確立された相関フィルタの対応出力信号、
Hi_LRは、左耳の後側マイクロフォンの出力信号Mic2(t)、
EF_LR(t)は、左耳の後側マイクロフォンについて確立された相関フィルタの対応出力信号、
Hi_RFは、右耳の前側マイクロフォンの出力信号Mic1(t)、
EF_RF(t)は、右耳の前側マイクロフォンについて確立された相関フィルタの対応出力信号、
Hi_RRは、右耳の後側マイクロフォンの出力信号Mic1(t)、
EF_RR(t)は、右耳の後側マイクロフォンについて確立された相関フィルタの対応出力信号、
*は畳み込み演算子である。
或いは、電子モノラル信号Rm_nを時間逆転することなく、相互相関をとってもよい。
方法の次のステップにおいて、ITDが、それぞれ別の耳に装着されたマイクロフォンの強調信号を相互相関することで判定される。すなわち、EF_LFとEF_RFの相互相関をとり、EF_LRとEF_RRの相互相関をとり、当該相互相関の和により、S(t)が形成される。
S(t)=EF_LF(t)*EF_RF(−t)+EF_LR(t)*EF_RR(−t)
次に、S(t)が最大となる時間遅延τが判定される。
τはn番目のモノラル信号送信器から発せられ、ユーザの左耳、右耳にそれぞれ装着されたマイクロフォンで受信した音響音声のITDである。
方法の次のステップにおいて、n番目のモノラル信号送信器に関連付けられたn番目の音源が、ユーザの前方に存在するか、後方に存在するかを、同一の耳の前側および後側マイクロフォンの強調信号の相互相関で判定する。すなわち、EF_LFとEF_LRの相互相関をとり、EF_LRとEF_RFの相互相関をとり、当該相互相関の和により、U(t)が形成される。
U(t)=EF_LF(t)*EF_LR(−t)+EF_RF(t)*EF_RR(−t)
次に、U(t)が最大となる時間遅延τ2nが判定される。
τ2nの符号により、n番目のモノラル信号送信器に関連付けられたn番目の音源がユーザの前方に存在するか、後方に存在するかが判定される。
n番目の音源のDOAの方位φが、τ、τ2n、およびテーブル参照に基づいて判定される。
テーブル参照(例えば、KEMAR HRTFデータベースを使用)により、対応するHRTF(HRTF_L(φ、t)、HRTF_R(φ、t))が選択可能である。HRTF_LおよびHRTF_Rは、それぞれHRTFの左耳部分および右耳部分である。
選択したHRTFでn番目の電子モノラル信号Rm_n(t)をフィルタリングし、
Yn_L(t)=HRTF_L(φ、t)*Rm_n(t)
Yn_R(t)=HRTF_R(φ、t)*Rm_n(t)
Yn_L(t)とYn_R(t)とをユーザの左耳、右耳にそれぞれ提供することで
n番目のモノラル信号送信器からの、n番目の電子モノラル信号Rm_n(t)に、DOAについての情報が付与される。
このようにして、ユーザは、n番目の電子モノラル信号Rm_n(t)を、n番目の音源のDOAから到来しているかのように聴こえるように知覚する。
この実施例では、ユーザの音環境に存在し、バイノーラル聴覚システムにそれぞれ電子モノラル信号を送信するN個の音源と、対応するモノラル信号送信器全てに対して上記処理が繰り返される。
N個のモノラル信号送信器それぞれについて、マイクロフォン信号と各n番目の電子モノラル信号Rm_n(t)の相関がとられる。これにより、マイクロフォン信号における、n番目のモノラル信号送信器が発した音声が強調される。そして、n番目の音源のDOAの各方位φが判定され、各n番目の電子モノラル信号Rm_n(t)をフィルタリングするために、対応するn番目のHRTFが選択される。これにより、各方位φに対応する空間的キューが、n番目の電子モノラル信号Rm_n(t)で伝達される。
最後に、得られた信号を合計して、ユーザの左耳、右耳にそれぞれ提供されるY_L(t)およびY_R(t)が形成される。
Y_L(t)=Y1_L(t)+Y2_L(t)+…+Yn_L(t)+…+YN_L(t)
Y_R(t)=Y1_R(t)+Y2_R(t)+…+Yn_R(t)+…+YN_R(t)。
このようにして、ユーザは、N個の電子モノラル信号Rm_n(t)を、各n番目の音源のDOAから到来しているかのように聴こえるように知覚する。したがって、ユーザは各モノラル信号送信器に関連付けられた個々の音源を区別可能となり、例えば選択された音源に自身の聴覚を集中できる。さらに、電子モノラル信号の外在化により、ユーザがより発話を理解しやすくなり、さらに複数の同時に発言する音源の内の1つからの発話をより理解しやすくなる。
バイノーラル聴覚システムは、アンテナと、バイノーラル聴覚システムへの無線送信用に符号化された1つまたは複数の電子モノラル信号を受信するためにアンテナに接続される無線受信器とを有してもよい。無線受信器は、受信した符号化信号から1つまたは複数の電子モノラル信号を抽出するように適用される。受信した符号化信号は、デジタル形式の1つまたは複数の電子モノラル信号を、場合によっては電子モノラル信号送信器の識別子と共に含んでもよい。これにより、別々のモノラル信号送信器からの電子モノラル信号が区別でき、電子モノラル信号がそれぞれ個別の各DOA推定部に提供できる。
したがって、バイノーラル聴覚システムは、それぞれ音環境の各モノラル信号送信器に対応する複数のDOA推定部を有してもよい。
各DOA推定部は、第1および第2組のマイクロフォン出力信号の少なくとも一方から選択されたマイクロフォンの相互相関をとり、モノラル信号送信器に関連付けられた音源が、ユーザの前方に存在するか、後方に存在するかを、相互相関に基づいて判定するように適用されてもよい。
各DOA推定部は、相互相関が最大となる第1時間遅延を判定し、モノラル信号送信器に関連付けられた音源が、ユーザの前方に存在するか、後方に存在するかを、第1時間遅延の符号に基づいて判定するように適用されてもよい
各DOA推定部は、第1組のマイクロフォン出力信号から選択されたマイクロフォン出力信号を、第2組のマイクロフォン出力信号から選択されたマイクロフォン出力信号に相互相関して、相互相関に基づいてDOAを推定するように適用されてもよい。
各DOA推定部は、第1組のマイクロフォン出力信号から選択されたマイクロフォン出力信号と、第2組のマイクロフォン出力信号から選択されたマイクロフォン出力信号との相互相関が最大となる第2時間遅延を判定し、両耳間時間差を第2時間遅延として判定するように適用されてもよい。
各DOA推定部は、両耳間時間差に基づいてDOAを判定するように適用されてもよい。
各DOA推定部は、両耳間時間差と、第1時間遅延の符号に基づいて、DOAを判定するように適用されてもよい。
バイノーラル聴覚システムは、
電子モノラル信号をフィルタリングし、信号群からそれぞれ選択される第1および第2出力信号を出力するように適用されるバイノーラルフィルタを備えてもよく、前記信号群は、
推定DOAに基づく位相シフトにより位相がシフトされた電子モノラル信号と、
推定DOAに基づくゲインが乗算される電子モノラル信号と、
ゲインが乗算され、位相が位相シフトによりシフトされた電子モノラル信号であって、ゲインと位相シフトが推定DOAに基づく電子モノラル信号とから成り、
第1および第2出力信号は、第1および第2出力トランスデューサにそれぞれ供給されて、第1および第2トランスデューサオーディオ信号を構成することで、ユーザは、変換された電子モノラル信号が推定DOAから到来するように聴こえるように知覚する。
バイノーラルフィルタは、電子モノラル信号に等しいが、それぞれ異なるシフト量で位相がシフトされることで、ITDに対応するシフト量で、互いの位相がシフトされた、第1および第2出力信号を提供するように適用されてもよい。
さらに/あるいは、バイノーラルフィルタは、入力信号に等しいが、推定DOAに対応するILDが得られるように、互いに異なる各ゲインで乗算された、出力信号を提供するように適用されてもよい。
バイノーラルフィルタは、推定DOAのために、バイノーラル聴覚システムのユーザに対して個別に判定されたHRTFに相当する、或いは例えばKEMAR頭部のような、人工的な頭部について判定された、個別に判定されたHRTFに近似するHRTHに相当する指向性伝達関数を有してもよい。これにより、バイノーラル聴覚システムのユーザが、バイノーラル聴覚システムを装着した際に、方向感覚を維持可能とするのに十分な精度の個々のHRTFに対する近似が実現され得る。
バイノーラルフィルタは、複数の周波数チャネルにおける電子モノラル信号を個別に処理するように適用されてもよい。
バイノーラル聴覚システムは、各推定DOAに対応する異なる電子モノラル信号に適用される異なる指向性伝達関数を有する複数のバイノーラルフィルタを有してもよい。
第1および第2聴覚機器は、ユーザの聴力損失を補償するように適用される聴力損失プロセッサを備える補聴器であってもよい。
バイノーラル聴覚システムは、信号が複数の周波数チャネルに分割されて、各周波数チャネル内の信号の少なくとも一部が個別に処理される、多チャネル第1および/または第2補聴器を含むバイノーラル補聴器を含んでもよい。
複数の周波数チャネルは、ワープ周波数を含んでもよい。例えば、全ての周波数チャネルがワープ周波数チャネルであってもよい。
バイノーラル補聴器はさらに、聴力損失補償のためのその他従来の方法に応じて使用される回路をさらに提供するものであってもよい。これにより、新たな回路や、別の従来の回路が、異なる種類の音環境での動作に応じて選択できる。異なる様々な音環境としては、スピーチ、ざわめき、レストランでの音、音楽、交通騒音等が挙げられる。
例えば、バイノーラル補聴器は、デジタル信号プロセッサ(DSP)を有してもよい。当該プロセッサの処理を制御するため、各種信号処理アルゴリズムを選択可能である。当該アルゴリズムはそれぞれ、実際に実行される信号処理の調製用の各種パラメータを有する。多チャネル補聴器の周波数チャネルそれぞれのゲインは、当該パラメータの例である。
選択可能な1つの信号処理アルゴリズムは、上述した空間的キューを1つまたは複数の電子モノラル信号に付与する方法に応じて動作する。
例えば、従来のノイズ低減のための、各種アルゴリズムを利用できる。ノイズ低減とは、不要な信号の減衰と、必要な信号の増幅である。
異なる音環境からそれぞれ得られたマイクロフォン出力信号の特徴は大いに異なり得る。当該特徴としては、平均および最高音圧レベル(SPL)、および/または周波数コンテンツが挙げられる。したがって、各種類の音環境が特定のプログラムに関連付けられてもよい。信号処理アルゴリズムのアルゴリズムパラメータの特定の設定により、特定の音環境における最適な信号品質を有する処理音声が提供されるのである。当該パラメータの組は概して、広帯域ゲイン、コーナー周波数、または周波数選択的フィルタアルゴリズムの傾き、および自動ゲイン制御(AGC)アルゴリズムのニーポイントおよび圧縮比を制御するパラメータを含む。
各アルゴリズムの信号処理の特徴は、販売店での最初のフィッティング時に判定されて、バイノーラル補聴器の不揮発性メモリ領域にプログラムされてもよい。
バイノーラル補聴器は、補聴器ハウジングのボタン、トグルスイッチ等、またはリモコンのようなユーザインターフェースを有してもよい。バイノーラル補聴器のユーザは、これを使用して、利用可能な信号処理アルゴリズムを一つ選択して、該当する音環境での所期の聴力損失補償を実現してもよい。
通常、アナログ信号は、AD変換器で対応するデジタル信号に変換することで、デジタル信号処理に適したデジタル信号となる。したがって、アナログ信号の振幅は二値で表される。したがって、時間、振幅が連続したアナログ信号が、一連のデジタル値の形式の、離散時間および離散振幅のデジタル信号で表される。
本開示全体で、一の信号が、別の信号に基づく場合は、当該一の信号が当該別の信号を表わすものとされる。例えば、当該一の信号は、当該別の信号をAD変換またはDA変換することで形成され得る。或いは、音響信号と電子信号の一方から他方への変換により、当該一の信号が形成されてもよい。さらに、当該一の信号はアナログまたはデジタルフィルタリング、或いはその他信号との混合により形成されてもよい。さらに、当該位置の信号は、当該別の信号の周波数変換のような変換により形成されてもよい。その他状況も考えられ得る。
さらに、プロセッサのように特定の回路により処理される信号は、当該信号の回路への入力から出力までの信号経路の一部を成す、任意のアナログまたはデジタル信号を識別するための名称により、識別されてもよい。例えば、マイクロフォンの出力信号、すなわちマイクロフォンオーディオ信号は、マイクロフォンの出力から、そのレシーバへの入力の間の信号経路の一部を成す、任意の処理済みマイクロフォンオーディオ信号を含むアナログまたはデジタル信号を識別するために使用されてもよい。
バイノーラル聴覚システムはさらに、例えば聴力損失補償、ノイズ低減等のその他従来の方法に応じて使用される回路をさらに提供するものであってもよい。これにより、新たな回路や、別の従来の回路が、異なる種類の音環境での動作に応じて選択できる。異なる様々音環境としては、スピーチ、ざわめき、レストランでの音、音楽、交通騒音等が挙げられる。
例えば、バイノーラル聴覚システムは、デジタル信号プロセッサ(DSP)を有してもよい。当該プロセッサの処理を制御するため、各種信号処理アルゴリズムを選択可能である。当該アルゴリズムはそれぞれ、実際に実行される信号処理の調製用の各種パラメータを有する。多チャネル補聴器の周波数チャネルそれぞれのゲインは、当該パラメータの例である。
選択可能な信号処理アルゴリズムの1つは、本稿に開示の方法に従って動作する。
例えば、各種アルゴリズムが、従来のノイズ抑制、すなわち不要な信号の減衰や所望の信号の増幅のために提供されてもよい。
バイノーラル聴覚システムにおける信号処理は、専用ハードウェアで実施されても、信号プロセッサで実施されても、もしくは専用ハードウェアと1つまたは複数の信号プロセッサとの組合せによって実施されてもよい。
本稿において、「プロセッサ」、「信号プロセッサ」、「コントローラ」、「システム」等の用語は、ハードウェア、ハードウェアとソフトウェアとの組合せ、ソフトウェア、または実行中のソフトウェアのいずれかであるCPUに関連するエンティティを指すと意図される。プロセッサという用語は、CPUに関連するエンティティであっても、そうでなくてもよい、何らかのハードウェアを含む任意の集積回路をさらに指してもよい。例えば、いくつかの実施形態では、プロセッサはフィルタを含んでもよい。
例えば、「プロセッサ」、「信号プロセッサ」、「コントローラ」、「システム」等は、プロセッサ上で動作するプロセス、プロセッサ、オブジェクト、実行可能ファイル、一連の実行、および/またはプログラムを含んでもよいが、これらに限定されるものではない。
例として、「プロセッサ」、「信号プロセッサ」、「コントローラ」、「システム」等の用語は、プロセッサおよびハードウェアプロセッサ上で動作するアプリケーションを指す。1つまたは複数の「プロセッサ」、「信号プロセッサ」、「コントローラ」、「システム」等、またはこれらの任意の組合せは、プロセルおよび/または一連の実行の中に存在してもよく、1つまたは複数の「プロセッサ」、「信号プロセッサ」、「コントローラ」、「システム」等、またはこれらの任意の組合せは、1つのハードウェアプロセッサ(他のハードウェア回路と組み合わせてもよい)に集中されてもよいし、および/または2つ以上のハードウェアプロセッサ(他のハードウェア回路と組み合わせてもよい)間で分散されてもよい。
さらに、プロセッサ(または同様の用語)は、信号処理を実施可能な、任意の構成要素、または構成要素の任意の組合せであってもよい。例えば、信号プロセッサは、ASICプロセッサ、FPGAプロセッサ、汎用プロセッサ、マイクロプロセッサ、回路素子、または集積回路であってもよい。
本発明の好適な実施形態を、図面を参照して以下により詳細に説明する。
バイノーラル聴覚システムが有利に使用され得る例示的音環境を示す。 バイノーラル聴覚システムのDOA推定部の一例を示すブロック図である。 例示的なバイノーラル聴覚システムのブロック図を示す。
新規の方法およびバイノーラル聴覚システムを、新規なバイノーラル補聴器システムの各種例が図示された図面を参照して以下により詳細に説明する。ただし、この方法およびバイノーラル補聴器システムは、別の形態で実施されてもよく、本稿に規定された例に限定されると解釈すべきではない。これらの例は本開示を網羅的かつ完全にするために提供されたものであり、当業者に本発明の範囲を十分に知らしめるものである。
添付の図は概略図であり、明確に示すために単純化されており、本発明の理解に重要な詳細を示すのみであり、その他の詳細は割愛されている。
全体的に、同様の符号は同様の構成要素を指している。同様の構成要素は、各図面の説明に関して詳細に説明されない。
図1は、第1および第2種類の、2つの例示的なモノラル信号送信器、すなわち人物の発話者1200が装着するスパウスマイクロフォン1100と、テレビ1300のストリーミングユニット1400とを含む音環境1000における、添付の特許請求の範囲に記載のバイノーラル聴覚システム100の例を概略的に示す。
図示の第1種類のモノラル信号送信器、すなわちスパウスマイクロフォン1100は、身体装着型装置であり、通常は取り付けクリップで衣服に取り付けられるか、ストラップを使用して首からぶら下げられる。スパウスマイクロフォン1100は、その着用者である人物の発話者1200の口から短い距離に装着されることを意図したものである。
スパウスマイクロフォン1100は、人物の発話者1200が発した発話を受信するマイクロフォン1110と、マイクロフォン1110からの出力信号1112を受信し、デジタルオーディオ形式の電子モノラル信号に変換し、さらに電波1116を発するアンテナ1114を介したバイノーラル聴覚システム100への無線送信1116のためにデジタルオーディオを符号化するストリーミングユニット1130とを有する。
バイノーラル聴覚システム100は、バイノーラル聴覚システム100の無線受信器(図示省略)により受信、復号された電子モノラル信号に基づいて、発話をそのユーザ1500に再生するように構成される。発話はさらに、音波1120としてユーザ1500と、バイノーラル聴覚システム100とに伝播する。
ユーザ1500とスパウスマイクロフォン1100への、音波1120の伝播路を点線で示す。
図示の第2種類のモノラル信号送信器、すなわちテレビ1300は、ソース信号1320をバイノーラル聴覚システム100へ音波1330として伝播する音声に変換する1つまたは複数のラウドスピーカ1310を有する。したがって、この種のモノラル信号送信器さらに音源、すなわちラウドスピーカ1310を有する。この種のモノラル信号送信器1300は、バイノーラル聴覚システム100へ音波1330として伝播する音声に変換される同一のソース信号1320に基づいて電子モノラル信号を生成する。
テレビ1300はさらに、ソース信号1320からデジタルオーディオの形態の電子モノラル信号への変換のための、また、電波1416を発信するアンテナ1414を介したバイノーラル聴覚システム100への無線送信のためにデジタルオーディオを符号化するためのストリーミングユニット1400をさらに有する。バイノーラル聴覚システム100は、バイノーラル聴覚システム100の無線受信器(図示省略)によって受信され、復号された電子モノラル信号に基づいて、そのユーザ1500へソース信号1320を再生するように適用される。
ユーザ1500の前方視方向を、矢印1510で示す。前方視方向1510は、ユーザの頭部の中心、およびユーザ1500の鼻の中心を通過するように引かれた仮想線により定義される。人物1200からユーザ1500へ伝播する音波1120のDOAを湾曲した矢印1520で示す。
湾曲した矢印1520が示す角度は、DOAの方位φに対応する。方位は、ユーザ1500が前方視方向1510を向いた状態で、水平面上に投射される、モノラル信号送信器1130、1400への方向の認知角度φである。前方視方向は、ユーザの頭部の中心、およびユーザ1500の鼻の中心を通過するように引かれた仮想線により定義される。したがって、ユーザの前方視方向の先のモノラル信号送信器の方位値はφ=0°となり、その正反対に位置するモノラル信号送信器の方位値はφ=180°となる。ユーザ1500の前方視方向に直交する垂直平面の左側に位置するモノラル信号送信器の方位値はφ=−90°となり、ユーザ1500の前方視方向に直交する垂直平面の右側に位置するモノラル信号送信器の方位値はφ=+90°となる。
図1は音環境1000の上面図であるため、紙面が水平面となる。
テレビ1300からユーザ1500へ伝播する音波1330のDOAの方位を湾曲した矢印1530で示す。
バイノーラル聴覚システム100は、バイノーラル聴覚システム100の無線受信器(図示省略)によって受信され、復号された各電子モノラル信号に、空間的キューを加えることができる。加えられた空間的キューは、音波1120、1330としてバイノーラル聴覚システム100に伝播された音声のDOAに対応し、この音声は、受信した電子モノラル信号に基づいて、バイノーラル聴覚システム100において再生される。
バイノーラル聴覚システム100では、異なるモノラル信号送信器1130、1400から生じた電子モノラル信号は、ユーザ1500の音環境1000において、ユーザ1500がそれぞれ現在のDOAに配置された各音源1200、1300を認知するように、ユーザ1500の耳に提示される。
このようにして、人の聴覚系のバイノーラル信号処理を利用して、ユーザ1500の、別々のモノラル信号送信器1130、1300からの信号を区別する能力を向上する。さらに、モノラル信号器1130、1300の内の所望の1つに注意を向けて聴くことや、複数のモノラル信号送信器1130、1300を同時に聴いて認識する能力の向上も図られる。
聴力が正常のユーザ、聴力を損失したユーザのいずれも、このバイノーラル聴覚システム100を使用すれば、外在化や、音源定位の向上という利点を享受でき、外在化された音源から再生された音声を利用できる。
図示のバイノーラル聴覚システム100は、ヘッドトラッカー120を有する。ヘッドトラッカー120は、バイノーラル聴覚システム100のヘッドバンド118に搭載された個別のハウジングに収容される。したがって、ヘッドトラッカー120はユーザ1500の頭部の動きを検出し、ユーザ1500の頭部の向きと変位に基づくトラッキング信号を出力できる。
頭部の動きに対応した、DOAの調整の遅れを低減するために、トラッキング信号を使用してDOAを調整する。
ヘッドトラッカー120は、ユーザ1500が、バイノーラル聴覚システム100をユーザ1500の頭部の意図した動作位置に装着した際に、頭部ヨー、頭部ピッチ、頭部ロールを判定するための慣性測定部を有する。
ヘッドトラッカー120は、頭部ヨー、頭部ピッチ、頭部ロールについての情報を提供する3軸MEMSジャイロと、ユーザ1500の頭部の3次元変位についての情報を、当該分野で公知の方法で提供する3軸加速度計とを有する。
したがって、ヘッドトラッカー120はバイノーラル聴覚システム100における処理のため、ユーザ1500の現在位置と、頭部の向きについての情報を含むトラッキング信号を出力する。
例えば、上述の電子モノラル信号に基づくバイノーラルフィルタの伝達関数の判定の際に、ヘッドトラッカー120が頭部の動きを検出しない、または検出しても些細であれば、判定された伝達関数が電子モノラル信号のフィルタリングに使用される。その後、ヘッドトラッカー120が頭部の動きを検出すると、ヘッドトラッカー120が検出したユーザ1500の頭部の向きの変化に従って、判定された伝達関数が修正される。例えば、検出された頭部ヨーの変化に応じてDOAの方位が変化する。
言い換えると、ユーザ1500の頭部が動かない状態で、電子モノラル信号14に基づいて較正された、ヘッドトラッカー120が出力するトラッキング信号124に基づいて、該当する音源のDOAが判定されてもよい。バイノーラル聴覚システム100では、指向性伝達関数を備えるバイノーラルフィルタを使用して、電子モノラル信号に空間的キューが追加される。
例えば、電子モノラル信号(図2の参照符号14)は、音波1120、1330としてバイノーラル聴覚システム100に伝播し、バイノーラル聴覚システム100のマイクロフォン24、26、28、30で受信される音声に関連付けられる。これにより、各音源1200、1300から、各マイクロフォン24、26、28、30への指向性伝達関数が判定される。指向性伝達関数は、音源1200、1300から各マイクロフォン24、26、28、30への伝達路のフィルタ関数を含む。
ユーザ1500のそれぞれの耳において、該当する耳に装着されたマイクロフォンの、判定された指向性伝達関数の内の選択された関数、または該当する耳に装着されたマイクロフォン24、26、28、30の、判定された指向性伝達関数から判定された結果的指向性伝達関数が、フィルタリングされた信号を該当するマイクロフォンが装着された耳に伝達される信号へと変換する前に、電子モノラル信号をフィルタリングするために使用されてもよく、これにより、ユーザ1500はフィルタリングされた信号が各音源1200、1300のDOA1520、1530から到来すると知覚する。
例えば、ユーザ1500の外耳道入り口に配置されたマイクロフォンの指向性伝達関数は、ユーザ1500の対応するHRTFの左耳部分または右耳部分に良好に近似することがよく知られている。
判定された指向性伝達関数は、HRTFまたは近似HRTFと比較されて、判定された指向性伝達関数の一部を形成するHRTFまたは近似HRTFを判定してもよい。また、このHRTFまたは近似HRTFは、フィルタリングされた信号を該当するマイクロフォンが装着された耳に伝達される信号へと変換する前に、電子モノラル信号をフィルタリングするために使用されてもよく、これによりユーザ1500はフィルタリングされた信号が音源1200、1300のDOA1520、1530から到来すると知覚する。
例えば、音声伝播は、電子モノラル信号と、マイクロフォン24、26、28、30の各出力信号との線形関係により、線形波動方程式で表すことができる。
例えば、時不変系の時間領域について、電子モノラル信号x(n)と、各出力信号y(n)により以下の式が成立する。
Figure 2019083515
式中、(*)は畳み込み演算子であり、kはマイクロフォンの指標であり、すなわち図1においてはk=1、2、3、または4であり、nはサンプルの指標であり、gは各音源1200、1300からk番目のマイクロフォンまでの伝達路1120、1530のフィルタ関数のインパルス応答であり、vはk番目のマイクロフォンで受信されたノイズである。音源1200、1300からk番目のマイクロフォンまでの伝達路のフィルタ関数のインパルス応答g(n)には、室内残響およびk番目の指向性伝達関数のインパルス応答が含まれる。
伝達関数のインパルス応答g(n)を判定する1つの方法は、以下の最小化問題を解くことである。
Figure 2019083515
式中N=4、すなわちマイクロフォンの総数であり、pは整数であり、例えばp=2である。
最小化問題は、1組の選択されたマイクロフォンに関して解を求めてもよい。
最小化問題は、周波数領域において解を求めてもよい。
残響が全くない、またはわずかである空間において、インパルス応答g(n)を有する指向性伝達関数G(f)は、周波数領域における電子モノラル信号X(f)と周波数領域におけるk番目のマイクロフォンの出力信号Y(f)との間の比として判定されてもよい。
Figure 2019083515
伝達関数G(f)のインパルス応答g^(n)は、指向性伝達関数のインパルス応答として使用されてもよく、あるいは伝達関数のインパルス応答g^(n)は、室内残響を除去または抑制するために切り出されてもよく、切り出し後のインパルス応答g^(n)は指向性伝達関数のインパルス応答として使用されてもよい。
次に、ユーザ1500のそれぞれの耳において、該当する耳に装着されたマイクロフォンの、判定された指向性伝達関数、すなわち時間領域におけるインパルス応答g^(n)および周波数領域における伝達関数G(f)の内の選択された関数、または該当する耳に装着されたマイクロフォンの判定された指向性伝達関数から判定された結果的指向性伝達関数が、フィルタリングされた信号を該当するマイクロフォンが装着された耳に伝達される信号へと変換する前に、電子モノラル信号をフィルタリングするために使用されてもよく、これによりユーザ1500はフィルタリングされた信号が音源のDOAから到来しているように知覚する。
判定された指向性伝達関数は、HRTFまたは近似HRTFのインパルス応答と比較されて、判定された指向性伝達関数の一部を形成するHRTFまたは近似HRTFを判定してもよい。また、このHRTFまたは近似HRTFは、フィルタリングされた信号を該当するマイクロフォンが装着された耳に伝達される信号へと変換する前に、電子モノラル信号をフィルタリングするために使用されてもよく、これによりユーザ1500はフィルタリングされた信号が音源のDOAから到来すると知覚する。
バイノーラルフィルタの指向性伝達関数判定の一例を、以下に説明する。
図2は、添付の特許請求の範囲に記載の、バイノーラル聴覚システム100のDOA推定部10の一例を示すブロック図である。
DOA推定部10は、バイノーラル聴覚システム100(図示省略)の無線受信器(図示省略)により提供される電子モノラル信号14を受信するための入力12を有する。無線受信器(図示省略)は、各複数の存在し得るモノラル信号送信器(図示省略)の各モノラル信号送信器(図示省略)から無線で電子モノラル信号を受信するように適用される。モノラル信号送信器(図示省略)は、電子モノラル信号をバイノーラル聴覚システム100に送信するように適用される。電子モノラル信号は、音源(図示省略)から発せられて、バイノーラル聴覚システム100(図示省略)に伝播する音声に対応する。該当する音源(図示省略)は、スパウスマイクロフォン1100(図示省略)を使用して話している人物(図示省略)であり得る。スパウスマイクロフォン1100(図示省略)により、その発話を含む電子モノラル信号が、バイノーラル聴覚システム100(図示省略)に無線送信される。
DOA推定部10は、右耳前側マイクロフォン24、右耳後側マイクロフォン26、左耳前側マイクロフォン30、左耳後側マイクロフォン28に接続するためのさらなる入力16、18、20、22を有する。
バイノーラル聴覚システム100は、第1および第2ハウジング(図示省略)、すなわちユーザの右耳に装着される右耳ハウジングと、ユーザ1500の左耳に装着される左耳ハウジングとを有する。右耳ハウジング(図示省略)は右耳前側マイクロフォン24と右耳後側マイクロフォン26とを収容し、左耳ハウジング(図示省略)は左耳前側マイクロフォン30と左耳後側マイクロフォン28を収容する。これらマイクロフォンにより、例えば補聴器の分野で公知のように、ユーザ1500の各耳で、指向性マイクロフォンアレイが形成できる。
DOA推定部10は、受信、復号化された電子モノラル信号14に対して、マイクロフォン出力信号40、42、44、46をそれぞれ相関させる、4つの相関フィルタ32、34、36、38を有する。これにより、マイクロフォン信号において、各モノラル信号送信器(図示省略)に関連付けられた音源(図示省略)から発せられた音声が強調される。
このように、以下の相関が実施される。式中、*は畳み込み演算子である。
相関フィルタ32(右耳−前側マイクロフォン24)において、
EF_RF(t)=Hi_RF(t)*Rm_n(−t)となり、
式中、Hi_RF(t)は右耳における前側マイクロフォン24の出力信号40であり、
EF_RF(t)は右耳における前側マイクロフォン24に対して確立された相関フィルタ32の対応する強調出力信号48である。
相関フィルタ34(右耳−後側マイクロフォン26)において、
EF_RR(t)=Hi_RR(t)*Rm_n(−t)となり、
式中、Hi_RR(t)は右耳における後側マイクロフォン26の出力信号42であり
EF_RR(t)は右耳における後側マイクロフォンに対して確立された相関フィルタ34の対応する強調出力信号50である。
相関フィルタ36(左耳−後側マイクロフォン28)において、
EF_LR(t)=Hi_LR(t)*Rm_n(−t)となり、
式中、Hi_LR(t)は左耳における後側マイクロフォン28の出力信号44であり、
EF_LR(t)は左耳における後側マイクロフォン28に対して確立された相関フィルタ36の対応する強調出力信号52である。
相関フィルタ38(左耳−前側マイクロフォン30)において、
EF_LF(t)=Hi_LF(t)*Rm_n(−t)となり、
式中、Hi_LF(t)は左耳における前側マイクロフォン30の出力信号46であり、
EF_LF(t)は左耳における前側マイクロフォン30に対して確立された相関フィルタ38の対応する強調出力信号54である。
あるいは、電子モノラル信号Rm_n(t)を時間逆転させずに、相互相関がとられてもよい。
各相関フィルタ32、34、36、38で、各モノラル信号送信器からの電子モノラル信号14と、マイクロフォン24、26、28、30の出力信号40、42、44、46との相関がとられると、相関フィルタ32、34、36、38は強調出力信号48、50、52、54を提供する。当該信号においては、マイクロフォン24、26、28、30の出力信号40、42、44、46のうちで、特定のモノラル信号送信器の電子モノラル信号に対応する部分が強調されている。
電子モノラル信号に対応する、出力信号40、42、44、46の当該部分のITDを判定するために、相関フィルタ56、58において、別々の耳に装着された各マイクロフォンの強調信号の相互相関がとられる。
相関フィルタ56(異なる耳における前側マイクロフォン)において、
(t)=EF_LF(t)*EF_RF(−t)
式中、S(t)は相関フィルタ56の出力信号60であり、EF_LF(t)は出力信号54であり、EF_RF(t)は出力信号48である。
相関フィルタ58(異なる耳における後側マイクロフォン)において、
(t)=EF_LR(t)*EF_RR(−t)
式中、S(t)は相関フィルタ58の出力信号62であり、EF_LR(t)は出力信号52であり、EF_RR(t)は出力信号50である。
相互相関出力60、62は加算器64で加算され、
S(t)=EF_LF(t)*EF_RF(−t)+EF_LR(t)*EF_RR(−t)
が形成される。式中、S(t)は加算器64の出力信号66である。
その後、S(t)が最大となる時間遅延τが、ITD推定部68によりITDと判定される。
したがって、ITD推定部68の出力信号70は、ユーザ1500の左耳、右耳にそれぞれ装着されるマイクロフォン24、26、28、30が受信する場合の、特定のモノラル信号送信器に関連付けられた音源からの音響音声のITDである。
並行して、特定のモノラル信号送信器がユーザ1500の前後いずれに存在するかを判定するため、相関フィルタ72、74において、同一の耳の前側および後側マイクロフォンの強調信号の相互相関がとられる。
相関フィルタ72(左耳の前側および後側マイクロフォン)において、
(t)=EF_LF(t)*EF_LR(−t)が得らえる。
式中、U(t)は相関フィルタ72の出力信号76であり、EF_LF(t)は出力信号54であり、EF_LR(t)は出力信号52である。
相関フィルタ74(右耳の前側および後側マイクロフォン)において、
(t)=EF_RF(t)*EF_RR(−t)が得られる。
式中、U(t)は相関フィルタ74の出力信号78であり、EF_RF(t)は出力信号48であり、EF_RR(t)は出力信号50である。
相互相関出力76、78は加算器80で加算され、
U(t)=EF_LF(t)*EF_LR(−t)+EF_RF(t)*EF_RR(−t)
が形成される。式中、U(t)は加算器80の出力信号82である。
そして、U(t)が最大となる時間遅延τが、前後推定部84で判定される。
τの符号により、特定のモノラル信号送信器がユーザ1500の前方に存在するか、後方に存在するかが判定される。
したがって、前後推定部84の出力信号86は論理変数、すなわち、特定のモノラル信号送信器がユーザ1500の前側、後ろ側のいずれに存在するかを示すτの符号となる。
方位推定部88は、ITD、τ、およびテーブル参照に基づいて判定された特定のモノラル信号送信器の音声のDOAの方位φを提供するための出力90を有する。
KEMAR HRTFデータベース92によるテーブル参照を利用して、対応するHRTF(φ、f)が選択できる。
バイノーラルインパルス応答hrtf(φ、t)を備える選択されたHRTF(φ、f)で特定のモノラル信号送信器信号Rm_n(t)をフィルタリングすることで(図2には不図示。図3参照)、DOAについての情報が特定のモノラル信号送信器から生じる特定の電子モノラル信号Rm_n(t)に付与される。バイノーラルインパルス応答における左耳部分がhrtf_L(φ、t)で、右耳部分がhrtf_R(φ、t)である。
Yn_L(t)=hrtf_L(φ、t)*Rm_n(t)
Yn_R(t)=hrtf_R(φ、t)*Rm_n(t)
そして、Yn_L(t)とYn_R(t)とがそれぞれユーザ1500の左耳と右耳に提供される(図示省略)。
このようにして、ユーザ1500は、特定の電子モノラル信号Rm_n(t)を、特定のモノラル信号送信器に関連付けられた音源のDOAから到来しているかのように知覚し、聴き取る。
DOA推定部10は、DOA推定部にトラッキング信号124を提供するヘッドトラッカー120(図示省略)の出力に接続するためのさらなる入力122を有する。
トラッキング信号124は、ユーザ1500の頭部の動きによる頭部ヨー、すなわちDOAの方位変化の情報を含む。
例えば、上述の電子モノラル信号に基づくバイノーラルフィルタの伝達関数の判定の際に、ヘッドトラッカー120が頭部の動きを検出しない、または検出しても些細であれば、判定された伝達関数が電子モノラル信号のフィルタリングに使用される。その後、ヘッドトラッカー120が頭部の動きを検出すると、ヘッドトラッカー120が検出したユーザ1500の頭部の向きの変化に従って、判定された伝達関数が修正される。例えば、検出された頭部ヨーに応じてDOAの方位が変化する。
言い換えると、ユーザ1500の頭部が動かない状態で、電子モノラル信号に基づいて較正された、ヘッドトラッカー120が出力するトラッキング信号に基づいて、該当する音源のDOAが判定されてもよい。
図3は、バイノーラル聴覚システム100の一例、すなわちユーザ1500の右耳、左耳にそれぞれ装着される第1および第2ハウジング(図示省略)を備えるバイノーラル補聴器を示すブロック図である。
バイノーラル補聴器100の補聴器は、耳かけ型(BTE)、耳内レシーバ型(RIE)、耳あな型(ITE)、外耳道挿入型(ITC)、完全外耳道挿入型(CIC)等の任意の補聴器の種類であってもよい。
第1ハウジング(図示省略)はユーザ1500の右耳に装着されるように適用され、第1組のマイクロフォン、すなわち第1無指向性前側マイクロフォン24および第1無指向性後側マイクロフォン26を収容する。これにより、第1組のマイクロフォンに届く音声が、対応する第1組のマイクロフォン出力信号40、42に変換され、補聴器の分野で公知のように、当該信号は指向性特徴を形成するために使用できる。
耳あな型(ITE)、外耳道挿入型(ITC)、完全外耳道挿入型(CIC)補聴器の場合、第1ハウジング(図示省略)は、第1出力トランスデューサ102、すなわち右耳レシーバ102をさらに収容する。これにより、右耳レシーバ102に供給される第1トランスデューサオーディオ信号104が、音波としてユーザ1500の右耳の鼓膜に伝播する第1音声信号に変換される。
耳かけ型(BTE)補聴器の場合、第1ハウジング(図示省略)は右耳レシーバ102をさらに収容し、第1ハウジングに音響管が接続される。これにより、ユーザ1500の外耳道内に配置、保持されて、右外耳道の鼓膜への音声送信のための出力孔を有するイヤピースに、第1ハウジングのレシーバの音声出力が音響管を通じて伝播される。
耳内レシーバ型補聴器の場合、第1ハウジング(図示省略)は、導電体を有する音声信号伝達部材に接続される。これにより、イヤピースの出力孔を通じて右外耳道の鼓膜に音声が発せられるように、第1トランスデューサオーディオ信号104がイヤピース内に配置された右耳レシーバ102に伝播する。
第2ハウジング(図示省略)はユーザ1500の左耳に装着されるように適用され、第2組のマイクロフォン、すなわち第2無指向性前側マイクロフォン30および第2無指向性後側マイクロフォン28を収容する。これにより、第2組のマイクロフォンに届く音声が、対応する第2組のマイクロフォン出力信号44、46に変換され、補聴器の分野で公知のように、当該信号は指向性特徴を形成するために使用できる。
耳あな型(ITE)、外耳道挿入型(ITC)、完全外耳道挿入型(CIC)補聴器の場合、第2ハウジング(図示省略)は、第2出力トランスデューサ106、すなわち左耳レシーバ106をさらに収容する。これにより、左耳レシーバ106に供給される第2トランスデューサオーディオ信号108が、ユーザ1500の左耳の鼓膜に伝播する第2音声信号に変換される。
耳かけ型(BTE)補聴器の場合、第2ハウジング(図示省略)は左耳レシーバ106をさらに収容し、第2ハウジングに音響管が接続される。これにより、ユーザ1500の外耳道内に配置、保持されて、ユーザ1500の左耳の鼓膜への音声送信のための出力孔を有するイヤピースに、第2ハウジングの左耳レシーバ106の音声出力が音響管を通じて伝播される。
耳内レシーバ型補聴器の場合、第2ハウジング(図示省略)は、導電体を有する音声信号伝達部材に接続される。これにより、イヤピースの出力孔を通じてユーザ1500の左耳の鼓膜に音声が発せられるように、第2トランスデューサオーディオ信号108がイヤピース内に配置された左耳レシーバ106に伝播する。
BTE型補聴器ハウジング内に、出力トランスデューサが配置されてもよい。この場合、音声信号伝達部材は、BTE型補聴器ハウジング内に配置されたレシーバからの音響音声信号を伝播するための音響管を含んでもよい。ユーザ1500の外耳道内に配置、保持されて、右外耳道の鼓膜への音声送信のための出力孔を有するイヤピースに、音響音声信号が音響管を通じて伝播される。
出力トランスデューサは、イヤピース内に配置されたレシーバであってもよい。この場合、音声信号伝達部材は、BTE型補聴器ハウジング内の信号プロセッサの出力から、音響音声信号を伝播するための導電体を有する。イヤピースの出力孔を介して音声を発するため、導電体を介して当該信号がイヤピース内に配置されたレシーバに送られる。
バイノーラル補聴器100はアンテナ、テレコイル等の電子入力110をさらに有する。これにより、それぞれバイノーラル補聴器100のマイクロフォン24、26、28、30に音波として伝播する音声を示す受信した電子モノラル信号14、112が提供される。電子モノラル信号14、112は、各モノラル信号送信器(図示省略)により発せられ、入力110で受信される。
補聴器ユーザ1500が聴きたいと望む人物が発した発話は、その人物が持ち携帯するスパウスマイクロフォン1100(図示省略)により記録されてもよい。スパウスマイクロフォン1100の出力信号は、無線データ送信でバイノーラル補聴器100の電子入力110に送信されるように、符号化されてもよい。無線受信器114は、スパウスマイクロフォン出力信号を示す送信データを受信するように電子入力110に接続され、受信した信号を電子モノラル信号14、112に復号化する。
バイノーラル補聴器100は、図2により詳細に示されるDOA推定部10をさらに有する。図3のDOA推定部10では、図2に示す回路が複数の同様の回路に多重化されている。同回路はそれぞれ、バイノーラル補聴器100の電子入力110に電子モノラル信号Rm_n(t)を送信する、複数のモノラル信号送信器の1つに対応する。ここで、nは複数のモノラル信号送信器のそれぞれを識別するための指標である。
図3において、受信器114は2つの電子モノラル信号14、112を出力するが、受信器114が任意のN個の電子モノラル信号を受信、復号化可能であることが理解されよう。
各N個の電子モノラル信号14、112についてDOA推定部10は、例えばKEMARデータベースのような、HRTFデータベース92に、n番目の電子モノラル信号用の推定DOAの方位φをそれぞれ提供する。データベース92において、適切なHRTF(φ、f)が、例えばテーブル参照により選択され、各電子モノラル信号Rm_n(t)に接続される。
図3では、任意のN個の電子モノラル信号の内の電子モノラル信号14、112についてこれが示されている。
HRTF94が選択され、電子モノラル信号112に接続される。HRTF94は、それぞれ右耳に耳出力95−Rを提供し、左耳に左耳出力95−Lを提供する、右耳部分94−Rと左耳部分94−Lとを有する。バイノーラル出力信号95−R、95−Lは、聴力損失プロセッサ116に提供される。聴力損失プロセッサ116は、ユーザ1500の聴力損失に応じて信号を処理し、聴力損失補償信号104、108を、レシーバ102、106に提供して、音声がユーザ1500に送信される。
HRTF96が選択され、電子モノラル信号14に接続される。HRTF96は、それぞれ右耳に耳出力97−Rを提供し、左耳に左耳出力97−Lを提供する、右耳部分96−Rと左耳部分96−Lとを有する。バイノーラル出力信号97−R、97−Lは、聴力損失プロセッサ116に提供される。聴力損失プロセッサ116は、ユーザ1500の聴力損失に応じて信号を処理し、聴力損失補償信号104、108を、レシーバ102、106に提供して、音声がユーザ1500に送信される。
したがって、通常は任意の数N個のモノラル信号送信器のそれぞれについて、相関フィルタにおいてマイクロフォン信号40、42、44、46が各n番目の電子モノラル信号Rm_n(t)14、112に相関される。これにより、マイクロフォン信号において、n番目のモノラル信号送信器が発した音声が強調される。
n番目のモノラル信号送信器のDOAの各方位φがフィルタリングされた信号に基づいて判定され、判定された方位φに対応するn番目のHRTF94、96が選択されて、各n番目の電子モノラル信号Rm_n(t)14、112のフィルタリングに使用される。これによって、バイノーラルフィルタ94、96の出力信号Yn_R(t)95−R、97−R、およびYn_L(t)95−L、97−Lにおいて、各方位φに対応する空間的キューが、n番目の電子モノラル信号Rm_n(t)に付与される。
最後に、得られた信号が加算されて、ユーザ1500の左耳レシーバ106および右耳レシーバ102にそれぞれ提供されるY_L(t)108およびY_R(t)104が形成される。
Y_L(t)=Y1_L(t)+Y2_L(t)+…+Yn_L(t)+…+YN_L(t)
Y_R(t)=Y1_R(t)+Y2_R(t)+…+Yn_R(t)+…+YN_R(t)
このようにして、ユーザ1500は、N個の電子モノラル信号Rm_n(t)をそれぞれ、各モノラル信号送信器に関連付けられた各n番目の音源のDOAから到来しているかのように知覚し、聴き取ることになる。したがって、ユーザ1500は各モノラル信号送信器に関連付けられた個々の音源を区別できるようになり、例えば自身の聴覚を選択された音源に集中することが可能となる。さらに、音源の外在化を知覚することで、ユーザ1500がより発話を理解しやすくなり、さらに複数の同時に発言する音源の内の1つからの発話をより理解しやすくなる。
DOA推定部10は、DOA推定部にトラッキング信号124を提供するヘッドトラッカー120の出力への接続のためのさらなる入力122を有してもよい。
トラッキング信号124は、ユーザ1500の頭部の動きにより生じた頭部ヨー、即ちDOAの方位の変化についての情報を含む。
例えば、上述の電子モノラル信号に基づくバイノーラルフィルタの伝達関数の判定の際に、ヘッドトラッカー120が頭部の動きを検出しない、または検出しても些細であれば、判定された伝達関数が電子モノラル信号のフィルタリングに使用される。その後、ヘッドトラッカー120が頭部の動きを検出すると、ヘッドトラッカー120が検出したユーザ1500の頭部の向きの変化に従って、判定された伝達関数が修正される。例えば、検出された頭部ヨーに応じてDOAの方位が変化する。
言い換えると、ユーザ1500の頭部が動かない状態で、電子モノラル信号14に基づいて較正された、ヘッドトラッカー120が出力するトラッキング信号124に基づいて、該当する音源のDOAが判定されてもよい。
例えば、図2および図3に示すようなバイノーラル聴覚システム回路は、システム100の周波数領域全体で動作してもよい。
図3に示すバイノーラル補聴器100は、多チャネルバイノーラル補聴器100であってもよい。すなわち、処理されるマイクロフォン信号40、42、44、46および電子モノラル信号14、112が複数の周波数チャネルに分割され、各周波数チャネルで信号がそれぞれ個別に処理されてもよい。
多チャネルバイノーラル補聴器100について、図3では単一の周波数チャネルにおける回路と信号処理が示され得る。回路と信号処理は、例えば全ての周波数チャネルのように、複数の周波数チャネルで冗長化され得る。
例えば、図2および図3に示す信号処理を、選択した周波数帯で実行してもよい。当該周波数帯は、例えば販売店で特定のユーザ1500に補聴器をフィッティングする際に選択される。
選択された周波数帯は、周波数チャネルの内の1つまたは複数、或いは全てを含んでもよい。選択された周波数帯は断片的であってもよい。すなわち、選択された周波数帯は、必ずしも連続した周波数チャネルを含まなくてもよい。
複数の周波数チャネルは、ワープ周波数を含んでもよい。例えば、全ての周波数チャネルがワープ周波数チャネルであってもよい。
マイクロフォン24、26、28、30は、従来通りにバイノーラル補聴器100の聴力損失プロセッサ116に接続されてもよい。これにより、ある状況では、従来の聴力損失補償を選択し、別の状況では、フィルタリングされた電子モノラル信号95−R、95−L、97−R、97−Lを、プロセッサ48における聴力損失補償に選択するといったことが可能となる。
前側および後側マイクロフォン24、26、28、30の代わりに任意の数のマイクロフォンを使用してもよく、マイクロフォンの選択された出力信号を合成して、1つまたは複数のマイクロフォン信号40、42、44、46を形成してもよい。
バイノーラル聴覚システム100の構成要素と回路は、聴覚システム100の別々のハウジングに分配されてもよい。
例えば、バイノーラル聴覚システム100は、例えば補聴器の分野で公知のように、それぞれ左耳、右耳に装着されるように適用されるハウジングを有してもよい。そして補聴器の分野で公知のように、マイクロフォン24、26、28、30、および出力トランスデューサ、例えばレシーバ102、106がハウジング、さらには場合によってはイヤピース内に収容されてもよい。DOA検出部と、HRTFは、それぞれ両方のハウジング内に収容されるように、冗長化されてもよい。
或いは、ハウジングの一方が、マイクロフォンおよび出力トランスデューサを収容し、処理回路がすべて他方のハウジングに収容されてもよい。この場合、適宜ハウジング間で信号が送信されてもよい。
バイノーラル聴覚システム100はさらに、スマートフォンのような装着式装置(図示省略)を含んでもよい。装着式装置は、その供給電力や処理電力を消費するDOA検出部、および/またはHRTFを収容してもよい。これにより、バイノーラル聴覚システム100の第1および第2ハウジングは、バイノーラル聴覚システム100の従来部品のみを収容することが求められる。
装着式装置(図示省略)は、バイノーラル聴覚システム100のユーザインターフェースを収容してもよい。
以下の項目は、出願時の特許請求の範囲に記載の要素である。
(項目1)
バイノーラル聴覚システムであって、
バイノーラル聴覚機器と、電子モノラル信号受信器と、到来方向推定部と、バイノーラルフィルタを備えており、
前記バイノーラル聴覚機器は、
前記バイノーラル聴覚システムのユーザの第1の耳に装着されるように適用され、第1組のマイクロフォンを収容する第1ハウジングであって、前記第1組のマイクロフォンが、前記第1組のマイクロフォンに到来する音声を、第1組の対応するマイクロフォン出力信号に変換する、第1ハウジングと、
前記バイノーラル聴覚システムの前記ユーザの第2の耳に装着されるように適用され、第2組のマイクロフォンを収容する第2ハウジングであって、前記第2組のマイクロフォンが、前記第2組のマイクロフォンに到来する音声を、第2組の対応するマイクロフォン出力信号に変換する、第2ハウジングと、
第1出力トランスデューサであって、前記バイノーラル聴覚機器着用の際に、前記第1出力トランスデューサに供給される第1トランスデューサオーディオ信号を、前記ユーザの前記第1の耳で人の聴覚系により受信可能な第1音響出力信号に変換する、第1出力トランスデューサと、
第2出力トランスデューサであって、前記バイノーラル聴覚機器着用の際に、前記第2出力トランスデューサに供給される第2トランスデューサオーディオ信号を、前記ユーザの前記第2の耳で人の聴覚系により受信可能な第2音響出力信号に変換する、第2出力トランスデューサと、を有しており、
前記電子モノラル信号受信器は、
モノラル信号送信器から発せられる電子モノラル信号を受信し、
前記電子モノラル信号を復号化し、出力するように適用されており、
前記モノラル信号送信器は、前記ユーザから離れて位置する音源から発せられる音声を符号化することにより前記電子モノラル信号を生成し、
前記音源から発せられる前記音声は、前記第1組および前記第2組のマイクロフォン出力信号の少なくとも一部が前記電子モノラル信号に対応するように、前記バイノーラル聴覚システムに伝播し、
前記到来方向推定部は、
前記第1組および前記第2組のマイクロフォン出力信号を前記電子モノラル信号と相関して、前記第1組および前記第2組のマイクロフォンの指向性伝達関数を提供するように適用されており、
前記バイノーラルフィルタは、
前記指向性伝達関数に基づく伝達関数により前記電子モノラル信号をフィルタリングすることで、前記第1および前記第2出力トランスデューサにそれぞれ前記第1および前記第2トランスデューサオーディオ信号を提供し、それによって前記ユーザに前記変換された電子モノラル信号が前記音源から到来すると聴こえるように知覚させる、ように適用されるバイノーラル聴覚システム。
(項目2)
前記到来方向推定部は、
前記電子モノラル信号に対応する前記第1組および前記第2組のマイクロフォン出力信号の少なくとも一部を強調するために、
前記第1組のマイクロフォン出力信号の選択されたマイクロフォン出力信号と、前記電子モノラル信号との相互相関をとり、第1組のフィルタリングされたマイクロフォン出力信号を提供することと、
前記第2組のマイクロフォン出力信号の選択されたマイクロフォン出力信号と、前記電子モノラル信号との相互相関をとり、第2組のフィルタリングされたマイクロフォン出力信号を提供することと、
前記第1組および前記第2組のフィルタリングされたマイクロフォン出力信号に基づいて、前記到来方向を推定することと、によって、
前記音源から発せられる前記音声の前記ユーザでの前記到来方向を推定するように適用される、項目1に記載のバイノーラル聴覚システム。
(項目3)
前記到来方向推定部は、前記第1および前記第2組のマイクロフォン出力信号の一方から選択されたマイクロフォン信号の相互相関をとり、前記相互相関に基づいて、前記モノラル信号送信器に関連付けられる前記音源が、前記ユーザの前方に位置するか、前記ユーザの後方に位置するするかを判定するように適用される、項目2に記載のバイノーラル聴覚システム。
(項目4)
前記到来方向推定部は、前記相互相関の結果が最大となる第1の時間遅延を判定し、前記第1の時間遅延の符号に基づいて、前記モノラル信号送信器に関連付けられる前記音源が、前記ユーザの前方に位置するか、前記ユーザの後方に位置するかを判定するように適用される、項目3に記載のバイノーラル聴覚システム。
(項目5)
前記到来方向推定部は、前記第1組のマイクロフォン出力信号から選択されたマイクロフォン出力信号と、前記第2組のマイクロフォン出力信号から選択されたマイクロフォン出力信号との相互相関をとり、前記相互相関に基づいて、前記到来方向を推定するように適用される、項目1から4のいずれか一項に記載のバイノーラル聴覚システム。
(項目6)
前記到来方向推定部は、前記第1組のマイクロフォン出力信号から選択されたマイクロフォン出力信号と、前記第2組のマイクロフォン出力信号から選択されたマイクロフォン出力信号との相互相関の結果が最大となる第2の時間遅延を判定し、前記第2の時間遅延を両耳間時間差として判定するように適用される、項目5に記載のバイノーラル聴覚システム。
(項目7)
前記到来方向推定部は、前記両耳間時間差に基づいて、前記到来方向を推定するように適用される、項目6に記載のバイノーラル聴覚システム。
(項目8)
前記到来方向推定部は、前記両耳間時間差と前記第1の時間遅延の前記符号とに基づいて、前記到来方向を推定するように適用される、項目4および7に記載のバイノーラル聴覚システム。
(項目9)
前記バイノーラルフィルタは、前記電子モノラル信号をフィルタリングし、前記第1および前記第2トランスデューサオーディオ信号を出力するように適用されており、
前記第1および前記第2トランスデューサオーディオ信号は、
前記推定到来方向に基づいて、互いに位相がシフトしている前記第1および前記第2トランスデューサオーディオ信号と、
前記推定到来方向に基づいて、相互ゲイン差により増幅された前記第1および前記第2トランスデューサオーディオ信号と、
前記推定到来方向に基づいて、互いに位相がシフトしており、相互ゲイン差により増幅された前記第1および前記第2トランスデューサオーディオ信号と、
から成る信号群から選択される、項目1から8のいずれか一項に記載のバイノーラル聴覚システム。
(項目10)
前記バイノーラルフィルタの指向性伝達関数は、頭部伝達関数(Head Related Transfer Function)に略等しい、項目9に記載のバイノーラル聴覚システム。
(項目11)
前記バイノーラルフィルタは、前記電子モノラル信号を複数の周波数チャネルで個別に処理するように適用される、項目1から10のいずれか一項に記載のバイノーラル聴覚システム。
(項目12)
前記ユーザの前記頭部に装着されて、ユーザ頭部の動きについての情報を含むトラッキング信号を提供し、前記到来方向推定部に提供するように構成されるヘッドトラッカーをさらに備える、項目1から11のいずれか一項に記載のバイノーラル聴覚システム。
(項目13)
前記第1および前記第2聴覚機器は、前記ユーザの聴力損失を補償するように適用される聴力損失プロセッサを備える補聴器である、項目1から12のいずれか一項に記載のバイノーラル聴覚システム。
(項目14)
バイノーラル聴覚システムで電子モノラル信号を処理する方法であって、
前記バイノーラル聴覚システムは、前記バイノーラル聴覚システムのユーザの第1の耳に装着される第1組のマイクロフォンと、前記ユーザの第2の耳に装着される第2組のマイクロフォンと、電子入力であって、前記電子入力で受信した電子モノラル信号を提供する前記電子入力と、を有しており、
前記方法は、
前記第1組および前記第2組のマイクロフォンのそれぞれから提供される第1組および第2組のマイクロフォン出力信号を、前記電子モノラル信号と相関して、前記第1組および前記第2組のマイクロフォンの指向性伝達関数を提供することと、
前記指向性伝達関数に基づく伝達関数により前記電子モノラル信号をフィルタリングすることと、を備える方法。
(項目15)
前記第1組および前記第2組のマイクロフォンのそれぞれから提供される前記第1組および前記第2組のマイクロフォン出力信号の選択されたマイクロフォン出力信号を、前記電子モノラル信号と相互相関して、前記電子モノラル信号に対応する前記第1および前記第2組のマイクロフォン出力信号の少なくとも一部が強調された第1組および第2組のフィルタリングされたマイクロフォン出力信号のそれぞれを提供することを備える、項目14に記載の方法。
(項目16)
前記第1組および前記第2組のマイクロフォン出力信号の少なくとも一方から選択されたマイクロフォン信号を相互相関することと、
前記相互相関に基づいて、前記モノラル信号送信器に関連付けられる音源が、前記ユーザの前方に位置するか、前記ユーザの後方に位置するするかを判定することと、を備える項目15に記載の方法。

Claims (16)

  1. バイノーラル聴覚システムであって、
    バイノーラル聴覚機器と、電子モノラル信号受信器と、到来方向推定部と、バイノーラルフィルタを備えており、
    前記バイノーラル聴覚機器は、
    前記バイノーラル聴覚システムのユーザの第1の耳に装着されるように適用され、第1組のマイクロフォンを収容する第1ハウジングであって、前記第1組のマイクロフォンが、前記第1組のマイクロフォンに到来する音声を、第1組の対応するマイクロフォン出力信号に変換する、第1ハウジングと、
    前記バイノーラル聴覚システムの前記ユーザの第2の耳に装着されるように適用され、第2組のマイクロフォンを収容する第2ハウジングであって、前記第2組のマイクロフォンが、前記第2組のマイクロフォンに到来する音声を、第2組の対応するマイクロフォン出力信号に変換する、第2ハウジングと、
    第1出力トランスデューサであって、前記バイノーラル聴覚機器着用の際に、前記第1出力トランスデューサに供給される第1トランスデューサオーディオ信号を、前記ユーザの前記第1の耳で人の聴覚系により受信可能な第1音響出力信号に変換する、第1出力トランスデューサと、
    第2出力トランスデューサであって、前記バイノーラル聴覚機器着用の際に、前記第2出力トランスデューサに供給される第2トランスデューサオーディオ信号を、前記ユーザの前記第2の耳で人の聴覚系により受信可能な第2音響出力信号に変換する、第2出力トランスデューサと、を有しており、
    前記電子モノラル信号受信器は、
    モノラル信号送信器から発せられる電子モノラル信号を受信し、
    前記電子モノラル信号を復号化し、出力するように適用されており、
    前記モノラル信号送信器は、前記ユーザから離れて位置する音源から発せられる音声を符号化することにより前記電子モノラル信号を生成し、
    前記音源から発せられる前記音声は、前記第1組および前記第2組のマイクロフォン出力信号の少なくとも一部が前記電子モノラル信号に対応するように、前記バイノーラル聴覚システムに伝播し、
    前記到来方向推定部は、
    前記第1組および前記第2組のマイクロフォン出力信号を前記電子モノラル信号と相関して、前記第1組および前記第2組のマイクロフォンの指向性伝達関数を提供するように適用されており、
    前記バイノーラルフィルタは、
    前記指向性伝達関数に基づく伝達関数により前記電子モノラル信号をフィルタリングすることで、前記第1および前記第2出力トランスデューサにそれぞれ前記第1および前記第2トランスデューサオーディオ信号を提供し、それによって前記ユーザに前記変換された電子モノラル信号が前記音源から到来すると聴こえるように知覚させる、ように適用されるバイノーラル聴覚システム。
  2. 前記到来方向推定部は、
    前記電子モノラル信号に対応する前記第1組および前記第2組のマイクロフォン出力信号の少なくとも一部を強調するために、
    前記第1組のマイクロフォン出力信号の選択されたマイクロフォン出力信号と、前記電子モノラル信号との相互相関をとり、第1組のフィルタリングされたマイクロフォン出力信号を提供することと、
    前記第2組のマイクロフォン出力信号の選択されたマイクロフォン出力信号と、前記電子モノラル信号との相互相関をとり、第2組のフィルタリングされたマイクロフォン出力信号を提供することと、
    前記第1組および前記第2組のフィルタリングされたマイクロフォン出力信号に基づいて、前記到来方向を推定することと、によって、
    前記音源から発せられる前記音声の前記ユーザでの前記到来方向を推定するように適用される、請求項1に記載のバイノーラル聴覚システム。
  3. 前記到来方向推定部は、前記第1および前記第2組のマイクロフォン出力信号の一方から選択されたマイクロフォン信号の相互相関をとり、前記相互相関に基づいて、前記モノラル信号送信器に関連付けられる前記音源が、前記ユーザの前方に位置するか、前記ユーザの後方に位置するするかを判定するように適用される、請求項2に記載のバイノーラル聴覚システム。
  4. 前記到来方向推定部は、前記相互相関の結果が最大となる第1の時間遅延を判定し、前記第1の時間遅延の符号に基づいて、前記モノラル信号送信器に関連付けられる前記音源が、前記ユーザの前方に位置するか、前記ユーザの後方に位置するかを判定するように適用される、請求項3に記載のバイノーラル聴覚システム。
  5. 前記到来方向推定部は、前記第1組のマイクロフォン出力信号から選択されたマイクロフォン出力信号と、前記第2組のマイクロフォン出力信号から選択されたマイクロフォン出力信号との相互相関をとり、前記相互相関に基づいて、前記到来方向を推定するように適用される、請求項1から4のいずれか一項に記載のバイノーラル聴覚システム。
  6. 前記到来方向推定部は、前記第1組のマイクロフォン出力信号から選択されたマイクロフォン出力信号と、前記第2組のマイクロフォン出力信号から選択されたマイクロフォン出力信号との相互相関の結果が最大となる第2の時間遅延を判定し、前記第2の時間遅延を両耳間時間差として判定するように適用される、請求項5に記載のバイノーラル聴覚システム。
  7. 前記到来方向推定部は、前記両耳間時間差に基づいて、前記到来方向を推定するように適用される、請求項6に記載のバイノーラル聴覚システム。
  8. 前記到来方向推定部は、前記両耳間時間差と前記第1の時間遅延の前記符号とに基づいて、前記到来方向を推定するように適用される、請求項4および7に記載のバイノーラル聴覚システム。
  9. 前記バイノーラルフィルタは、前記電子モノラル信号をフィルタリングし、前記第1および前記第2トランスデューサオーディオ信号を出力するように適用されており、
    前記第1および前記第2トランスデューサオーディオ信号は、
    前記推定到来方向に基づいて、互いに位相がシフトしている前記第1および前記第2トランスデューサオーディオ信号と、
    前記推定到来方向に基づいて、相互ゲイン差により増幅された前記第1および前記第2トランスデューサオーディオ信号と、
    前記推定到来方向に基づいて、互いに位相がシフトしており、相互ゲイン差により増幅された前記第1および前記第2トランスデューサオーディオ信号と、
    から成る信号群から選択される、請求項1から8のいずれか一項に記載のバイノーラル聴覚システム。
  10. 前記バイノーラルフィルタの指向性伝達関数は、頭部伝達関数(Head Related Transfer Function)に略等しい、請求項9に記載のバイノーラル聴覚システム。
  11. 前記バイノーラルフィルタは、前記電子モノラル信号を複数の周波数チャネルで個別に処理するように適用される、請求項1から10のいずれか一項に記載のバイノーラル聴覚システム。
  12. 前記ユーザの前記頭部に装着されて、ユーザ頭部の動きについての情報を含むトラッキング信号を提供し、前記到来方向推定部に提供するように構成されるヘッドトラッカーをさらに備える、請求項1から11のいずれか一項に記載のバイノーラル聴覚システム。
  13. 前記第1および前記第2聴覚機器は、前記ユーザの聴力損失を補償するように適用される聴力損失プロセッサを備える補聴器である、請求項1から12のいずれか一項に記載のバイノーラル聴覚システム。
  14. バイノーラル聴覚システムで電子モノラル信号を処理する方法であって、
    前記バイノーラル聴覚システムは、前記バイノーラル聴覚システムのユーザの第1の耳に装着される第1組のマイクロフォンと、前記ユーザの第2の耳に装着される第2組のマイクロフォンと、電子入力であって、前記電子入力で受信した電子モノラル信号を提供する前記電子入力と、を有しており、
    前記方法は、
    前記第1組および前記第2組のマイクロフォンのそれぞれから提供される第1組および第2組のマイクロフォン出力信号を、前記電子モノラル信号と相関して、前記第1組および前記第2組のマイクロフォンの指向性伝達関数を提供することと、
    前記指向性伝達関数に基づく伝達関数により前記電子モノラル信号をフィルタリングすることと、を備える方法。
  15. 前記第1組および前記第2組のマイクロフォンのそれぞれから提供される前記第1組および前記第2組のマイクロフォン出力信号の選択されたマイクロフォン出力信号を、前記電子モノラル信号と相互相関して、前記電子モノラル信号に対応する前記第1および前記第2組のマイクロフォン出力信号の少なくとも一部が強調された第1組および第2組のフィルタリングされたマイクロフォン出力信号のそれぞれを提供することを備える、請求項14に記載の方法。
  16. 前記第1組および前記第2組のマイクロフォン出力信号の少なくとも一方から選択されたマイクロフォン信号を相互相関することと、
    前記相互相関に基づいて、前記モノラル信号送信器に関連付けられる音源が、前記ユーザの前方に位置するか、前記ユーザの後方に位置するするかを判定することと、を備える請求項15に記載の方法。
JP2018189501A 2017-10-05 2018-10-04 音源定位バイノーラル聴覚システム Ceased JP2019083515A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17194985.2 2017-10-05
EP17194985.2A EP3468228B1 (en) 2017-10-05 2017-10-05 Binaural hearing system with localization of sound sources

Publications (2)

Publication Number Publication Date
JP2019083515A true JP2019083515A (ja) 2019-05-30
JP2019083515A5 JP2019083515A5 (ja) 2021-11-11

Family

ID=60022003

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018189501A Ceased JP2019083515A (ja) 2017-10-05 2018-10-04 音源定位バイノーラル聴覚システム

Country Status (5)

Country Link
US (1) US11438713B2 (ja)
EP (1) EP3468228B1 (ja)
JP (1) JP2019083515A (ja)
CN (1) CN109640235B (ja)
DK (1) DK3468228T3 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020220720A1 (zh) * 2019-04-30 2020-11-05 深圳市韶音科技有限公司 一种声学输出装置
US10834507B2 (en) * 2018-05-03 2020-11-10 Htc Corporation Audio modification system and method thereof
EP3761668B1 (en) * 2019-07-02 2023-06-07 Sonova AG Hearing device for providing position data and method of its operation
EP4011094A1 (en) * 2019-08-08 2022-06-15 GN Hearing A/S A bilateral hearing aid system and method of enhancing speech of one or more desired speakers
US11062723B2 (en) 2019-09-17 2021-07-13 Bose Corporation Enhancement of audio from remote audio sources
EP3941092A1 (en) * 2020-07-16 2022-01-19 Sonova AG Fitting of hearing device dependent on program activity
CN115250412A (zh) * 2021-04-26 2022-10-28 Oppo广东移动通信有限公司 音频处理方法、装置、无线耳机及计算机可读介质
US11856370B2 (en) 2021-08-27 2023-12-26 Gn Hearing A/S System for audio rendering comprising a binaural hearing device and an external device
DE102021211278B3 (de) * 2021-10-06 2023-04-06 Sivantos Pte. Ltd. Verfahren zur Bestimmung einer HRTF und Hörgerät
US20230319488A1 (en) * 2022-03-29 2023-10-05 The Board Of Trustees Of The University Of Illinois Crosstalk cancellation and adaptive binaural filtering for listening system using remote signal sources and on-ear microphones

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160112811A1 (en) * 2014-10-21 2016-04-21 Oticon A/S Hearing system
JP2017085362A (ja) * 2015-10-28 2017-05-18 国立研究開発法人情報通信研究機構 立体音再生装置およびプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1316240B1 (en) * 2000-07-14 2005-11-09 GN ReSound as A synchronised binaural hearing system
JP4543014B2 (ja) 2006-06-19 2010-09-15 リオン株式会社 聴音装置
JP5249207B2 (ja) 2006-06-23 2013-07-31 ジーエヌ リザウンド エー/エス 適応性のある方向性信号処理を備えた補聴装置
DK2347603T3 (en) * 2008-11-05 2016-02-01 Hear Ip Pty Ltd System and method for producing a directional output signal
JP5409786B2 (ja) 2009-06-17 2014-02-05 パナソニック株式会社 補聴装置
CN102428717B (zh) 2009-08-11 2016-04-27 贺尔知识产权公司 估计声音波达方向的系统和方法
DK2537353T3 (en) 2010-02-19 2018-06-14 Sivantos Pte Ltd Apparatus and method for directional spatial noise reduction
US9215535B2 (en) * 2010-11-24 2015-12-15 Sonova Ag Hearing assistance system and method
EP2584794A1 (en) * 2011-10-17 2013-04-24 Oticon A/S A listening system adapted for real-time communication providing spatial information in an audio stream
EP2876900A1 (en) 2013-11-25 2015-05-27 Oticon A/S Spatial filter bank for hearing system
US9432778B2 (en) * 2014-04-04 2016-08-30 Gn Resound A/S Hearing aid with improved localization of a monaural signal source
CN104980869A (zh) 2014-04-04 2015-10-14 Gn瑞声达A/S 改进的单声道信号源定位的助听器
DK3041270T3 (da) * 2014-12-30 2019-08-05 Gn Hearing As Fremgangsmåde til overlejring af rumlige auditive markeringer på eksternt opfangede mikrofonsignaler
JP6762091B2 (ja) 2014-12-30 2020-09-30 ジーエヌ ヒアリング エー/エスGN Hearing A/S 外部からピックアップされたマイクロホン信号の上に空間聴覚キューを重ね合わせる方法
EP3248393B1 (en) * 2015-01-22 2018-07-04 Sonova AG Hearing assistance system
DK3108929T3 (da) 2015-06-22 2020-08-31 Oticon Medical As Lydbehandling til et bilateralt cochleaimplantatsystem
EP3157268B1 (en) 2015-10-12 2021-06-30 Oticon A/s A hearing device and a hearing system configured to localize a sound source

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160112811A1 (en) * 2014-10-21 2016-04-21 Oticon A/S Hearing system
JP2017085362A (ja) * 2015-10-28 2017-05-18 国立研究開発法人情報通信研究機構 立体音再生装置およびプログラム

Also Published As

Publication number Publication date
EP3468228B1 (en) 2021-08-11
DK3468228T3 (da) 2021-10-18
CN109640235A (zh) 2019-04-16
US20190110137A1 (en) 2019-04-11
EP3468228A1 (en) 2019-04-10
CN109640235B (zh) 2022-02-25
US11438713B2 (en) 2022-09-06

Similar Documents

Publication Publication Date Title
US10869142B2 (en) Hearing aid with spatial signal enhancement
US11438713B2 (en) Binaural hearing system with localization of sound sources
US10431239B2 (en) Hearing system
US9307331B2 (en) Hearing device with selectable perceived spatial positioning of sound sources
US9930456B2 (en) Method and apparatus for localization of streaming sources in hearing assistance system
US9432778B2 (en) Hearing aid with improved localization of a monaural signal source
JP6193844B2 (ja) 選択可能な知覚空間的な音源の位置決めを備える聴覚装置
US11805364B2 (en) Hearing device providing virtual sound
EP2351384A1 (en) Method of rendering binaural stereo in a hearing aid system and a hearing aid system
EP2928213B1 (en) A hearing aid with improved localization of a monaural signal source
EP2806661B1 (en) A hearing aid with spatial signal enhancement
EP2887695B1 (en) A hearing device with selectable perceived spatial positioning of sound sources
US11856370B2 (en) System for audio rendering comprising a binaural hearing device and an external device
DK201370280A1 (en) A hearing aid with spatial signal enhancement

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210930

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210930

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220111

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220408

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220510

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20221220