JP2015165658A - 人工聴覚ヘッドセット - Google Patents

人工聴覚ヘッドセット Download PDF

Info

Publication number
JP2015165658A
JP2015165658A JP2015030240A JP2015030240A JP2015165658A JP 2015165658 A JP2015165658 A JP 2015165658A JP 2015030240 A JP2015030240 A JP 2015030240A JP 2015030240 A JP2015030240 A JP 2015030240A JP 2015165658 A JP2015165658 A JP 2015165658A
Authority
JP
Japan
Prior art keywords
signal
microphone
pair
microphone array
dependent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015030240A
Other languages
English (en)
Other versions
JP6616946B2 (ja
Inventor
ホルバッハ ウルリッヒ
Ulrich Horbach
ホルバッハ ウルリッヒ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman International Industries Inc
Original Assignee
Harman International Industries Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harman International Industries Inc filed Critical Harman International Industries Inc
Publication of JP2015165658A publication Critical patent/JP2015165658A/ja
Application granted granted Critical
Publication of JP6616946B2 publication Critical patent/JP6616946B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S1/005For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1008Earpieces of the supra-aural or circum-aural type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/033Headphones for stereophonic communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/4012D or 3D arrays of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01Hearing devices using active noise cancellation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S3/004For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • H04S7/304For headphones

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)
  • Headphones And Earphones (AREA)
  • Stereophonic Arrangements (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

【課題】外部音声源からの指向性音を向上させるための人工聴覚ヘッドセットを提供する。
【解決手段】ヘッドセットは、一対のヘッドホンと、マイクロホンアレイ114a、114bを有し、マイクロホンアレイ信号VLF、VLR、VRF、VRRはビーム形成された指向性信号ULF、ULR、URF、URRに変換され、ノイズ低減ブロック(共通のノイズ低減マスク)314a、314bを用いて拡散信号成分が抑制され、複数の頭部伝達関数(HRTF)対316a、316b、316c、316dを用いてバイノーラル形式に変換される。
【選択図】図3

Description

本出願は、拡散音を抑制しながら外部音源の指向性音を向上させる人工聴覚ヘッドセットに関する。
人工聴覚は、音楽および音声の知覚を向上させるように設計された電子デバイスを指す。一般的な人工聴覚デバイスとしては、人工内耳、補聴器、および聴覚障害者に音の感覚を提供する他のデバイスが挙げられる。多くのヘッドホンは今日、ユーザの集中力またはヘッドホンに接続された電子デバイスから再生された音声を聴く能力に悪影響を及ぼす外部ノイズを遮断または抑制するノイズキャンセル機能を含む。これらのノイズキャンセル機能は典型的に、同様にヘッドホン着用者を効果的に聴覚障害にする拡散音および指向性音の両方を含むすべての外部音を抑制する。
本開示の1つ以上の実施形態は、左スピーカを有する左ヘッドホンと、右スピーカを有する右ヘッドホンとを含む一対のヘッドホンを備えるヘッドセットに関する。マイクロホンアレイ対は、左ヘッドホンと一体化した左マイクロホンアレイと、右ヘッドホンと一体化した右マイクロホンアレイとを含むことができる。マイクロホンアレイ対の各々は、外部音源から外部音声を受信するために少なくとも前方マイクロホンおよび後方マイクロホンを含むことができる。ヘッドセットは、外部音声と関連付けられた左および右マイクロホンアレイ信号を受信するように構成されたデジタル信号プロセッサをさらに含むことができる。デジタル信号プロセッサは、左および右マイクロホンアレイ信号の各々から一対の指向性信号を生成し、指向性信号対から拡散音を抑制し、頭部伝達関数(HRTF)対のパラメトリックモデルを指向性信号の各対に適用し、HRTF対の各対からのHTRF出力信号を追加して、左ヘッドホン出力信号および右ヘッドホン出力信号を生成するようにさらに構成され得る。
ヘッドホン対は、電子音声源からの音声コンテンツを再生することができる。指向性信号の各対は、前方および後方ポインティングビーム信号を含むことができる。デジタル信号プロセッサは、無相関信号成分を抑制するために共通のマスクを用いて、指向性信号対にノイズ低減を適用することができる。
左マイクロホンアレイ信号は、少なくとも左前方マイクロホン信号ベクトルおよび左後方マイクロホン信号ベクトルを含むことができる。さらに、デジタル信号プロセッサは、左前方および後方マイクロホン信号ベクトルから左カージオイド信号対を計算することができる。さらに、デジタル信号プロセッサは、左カージオイド信号対および左マイクロホンアレイ信号に基づいて、実数値の時間依存性および周波数依存性マスクを計算し、時間依存性および周波数依存性マスクにそれぞれの左前方および後方マイクロホン信号ベクトルを乗算して、左前方および後方ポインティングビーム信号を取得することができる。
右マイクロホンアレイ信号は、少なくとも右前方マイクロホン信号ベクトルおよび右後方マイクロホン信号ベクトルを含む。さらに、デジタル信号は、右前方および後方マイクロホン信号ベクトルから右カージオイド信号対を計算することができる。さらに、デジタル信号プロセッサは、右カージオイド信号対および右マイクロホンアレイ信号に基づいて、実数値の時間依存性および周波数依存性マスクを計算し、時間依存性および周波数依存性マスクにそれぞれの右前方および後方マイクロホン信号ベクトルを乗算して、右前方および後方ポインティングビーム信号を取得することができる。
本開示の1つ以上の追加の実施形態は、ヘッドセットの外部の音声源からの指向性音を向上させるための方法に関する。ヘッドセットは、左マイクロホンアレイを有する左ヘッドホンと、右マイクロホンアレイを有する右ヘッドホンとを含むことができる。本方法は、外部音声源に対応する一対のマイクロホンアレイ信号を受信することを含むことができる。マイクロホンアレイ信号対は、左マイクロホンアレイ信号および右マイクロホンアレイ信号を含むことができる。本方法はまた、マイクロホンアレイ信号対の各々から一対の指向性信号を生成することと、指向性信号対から拡散信号成分を抑制することとを含むことができる。本方法は、頭部伝達関数(HRTF)対のパラメトリックモデルを指向性信号の各対に適用することと、HRTF対の各対からのHTRF出力信号を追加して、左ヘッドホン出力信号および右ヘッドホン出力信号を生成することとをさらに含むことができる。
指向性信号対から拡散信号成分を抑制することは、無相関信号成分を抑制するために共通のマスクを用いて、指向性信号対にノイズ低減を適用することを含むことができる。
左マイクロホンアレイ信号は、少なくとも左前方マイクロホン信号ベクトルおよび左後方マイクロホン信号ベクトルを含むことができる。左マイクロホンアレイ信号から指向性信号対を生成することは、左前方および後方マイクロホン信号ベクトルから左カージオイド信号対を計算することを含むことができる。これは、左カージオイド信号対および左マイクロホンアレイ信号に基づいて、実数値の時間依存性および周波数依存性マスクを計算することと、時間依存性および周波数依存性マスクにそれぞれの左前方および後方マイクロホン信号ベクトルを乗算して、左前方および後方ポインティングビーム信号を取得することとをさらに含むことができる。
右マイクロホンアレイ信号は、少なくとも右前方マイクロホン信号ベクトルおよび右後方マイクロホン信号ベクトルを含むことができる。右マイクロホンアレイ信号から指向性信号対を生成することは、右前方および後方マイクロホン信号ベクトルから右カージオイド信号対を計算することを含むことができる。これは、右カージオイド信号対および右マイクロホンアレイ信号に基づいて、実数値の時間依存性および周波数依存性マスクを計算することと、時間依存性および周波数依存性マスクにそれぞれの右前方および後方マイクロホン信号ベクトルを乗算して、右前方および後方ポインティングビーム信号を取得することとをさらに含むことができる。
指向性信号対から拡散信号成分を抑制することは、無相関信号成分を抑制するために共通のマスクを用いて、指向性信号対にノイズ低減を適用することを含むことができる。
さらに、本開示の1つ以上の追加の実施形態は、ヘッドセットの外部の音声源からの指向性音を向上させるための方法に関する。ヘッドセットは、左マイクロホンアレイを有する左ヘッドホンと、右マイクロホンアレイを有する右ヘッドホンとを含むことができる。各マイクロホンアレイは、少なくとも前方マイクロホンおよび後方マイクロホンを含むことができる。各マイクロホンアレイに対して、本方法は、外部音声源に対応するマイクロホンアレイ信号を受信することを含むことができる。マイクロホンアレイ信号は、前方マイクロホンに対応する少なくとも前方マイクロホン信号ベクトルと、後方マイクロホンに対応する後方マイクロホン信号ベクトルとを含むことができる。本方法は、前方および後方マイクロホン信号ベクトルから前方ポインティングビーム信号および後方ポインティングビーム信号を計算することと、前方ポインティングおよび後方ポインティングビーム信号にノイズ低減マスクを適用して、無相関信号成分を抑制し、ノイズ低減された前方ポインティングビーム信号およびノイズ低減された後方ポインティングビーム信号を取得することとをさらに含むことができる。本方法はまた、前方頭部伝達関数(HRTF)対をノイズ低減された前方ポインティングビーム信号に適用して、前方直接HRTF出力信号および前方間接HRTF出力信号を取得することと、ノイズ低減された後方ポインティングビーム信号に後方HRTF対を適用して、後方直接HRTF出力信号および後方間接HRTF出力信号を取得することとを含むことができる。さらに、本方法は、前方直接HRTF出力信号および後方直接HRTF出力信号を追加して、第1のヘッドホン信号の少なくとも一部分を取得することと、前方間接HRTF出力信号および後方間接HRTF出力信号を追加して、第2のヘッドホン信号の少なくとも一部分を取得することとを含むことができる。
本方法は、左マイクロホンアレイと関連付けられた第1のヘッドホン信号を右マイクロホンアレイと関連付けられた第2のヘッドホン信号に追加して、左ヘッドホン出力信号を形成することと、右マイクロホンアレイと関連付けられた第1のヘッドホン信号を左マイクロホンアレイと関連付けられた第2のヘッドホン信号に追加して、右ヘッドホン出力信号を形成することとをさらに含むことができる。
前方および後方マイクロホン信号ベクトルから前方ポインティングビーム信号および後方ポインティングビーム信号を計算することは、前方および後方マイクロホン信号ベクトルからカージオイド信号対を計算することを含むことができる。これは、カージオイド信号対およびマイクロホンアレイ信号に基づいて、実数値の時間依存性および周波数依存性マスクを計算することと、時間依存性および周波数依存性マスクにそれぞれの前方および後方マイクロホン信号ベクトルを乗算して、前方ポインティングおよび後方ポインティングポインティングビーム信号を取得することとをさらに含むことができる。
時間依存性および周波数依存性マスクは、時間平均によって計算された前方および後方マイクロホン信号ベクトルの正規化相互スペクトル密度の絶対値として計算され得る。さらに、時間依存性および周波数依存性マスクは、前方ポインティングおよび後方ポインティングビーム信号を縮小および拡大するために非線形マッピングを用いてさらに修正され得る。
例えば、本願発明は以下の項目を提供する。
(項目1)
左スピーカを有する左ヘッドホンと、右スピーカを有する右ヘッドホンとを含む一対のヘッドホンと、
上記左ヘッドホンと一体化した左マイクロホンアレイと、上記右ヘッドホンと一体化した右マイクロホンアレイとを含む一対のマイクロホンアレイであって、その各々が、外部音源から外部音声を受信するために少なくとも前方マイクロホンおよび後方マイクロホンを含む、一対のマイクロホンアレイと、
上記外部音声と関連付けられた左および右マイクロホンアレイ信号を受信するように構成されたデジタル信号プロセッサであって、
上記左および右マイクロホンアレイ信号の各々から一対の指向性信号を生成し、
上記指向性信号対から拡散音を抑制し、
頭部伝達関数(HRTF)対のパラメトリックモデルを指向性信号の各対に適用し、
HRTF対の各対からのHTRF出力信号を追加して、左ヘッドホン出力信号および右ヘッドホン出力信号を生成するようにさらに構成される、デジタル信号プロセッサと、を備える、ヘッドセット。
(項目2)
上記ヘッドホン対は、電子音声源からの音声コンテンツを再生するようにさらに構成される、上記項目に記載のヘッドセット。
(項目3)
指向性信号の各対は、前方および後方ポインティングビーム信号を含む、上記項目のいずれか一項に記載のヘッドセット。
(項目4)
上記左マイクロホンアレイ信号は、少なくとも左前方マイクロホン信号ベクトルおよび左後方マイクロホン信号ベクトルを含む、上記項目のいずれか一項に記載のヘッドセット。
(項目5)
上記左マイクロホンアレイ信号から上記指向性信号対を生成するように構成された上記デジタル信号プロセッサは、
上記左前方および後方マイクロホン信号ベクトルから左カージオイド信号対を計算し、
上記左カージオイド信号対および上記左マイクロホンアレイ信号に基づいて、実数値の時間依存性および周波数依存性マスクを計算し、
上記時間依存性および周波数依存性マスクに上記それぞれの左前方および後方マイクロホン信号ベクトルを乗算して、左前方および後方ポインティングビーム信号を取得するように構成される、上記デジタル信号プロセッサを含む、上記項目のいずれか一項に記載のヘッドセット。
(項目6)
上記右マイクロホンアレイ信号は、少なくとも右前方マイクロホン信号ベクトルおよび右後方マイクロホン信号ベクトルを含む、上記項目のいずれか一項に記載のヘッドセット。
(項目7)
上記右マイクロホンアレイ信号から上記指向性信号対を生成するように構成された上記デジタル信号プロセッサは、
上記右前方および後方マイクロホン信号ベクトルから右カージオイド信号対を計算し、
上記右カージオイド信号対および上記右マイクロホンアレイ信号に基づいて、実数値の時間依存性および周波数依存性マスクを計算し、
上記時間依存性および周波数依存性マスクに上記それぞれの右前方および後方マイクロホン信号ベクトルを乗算して、右前方および後方ポインティングビーム信号を取得するように構成される、上記デジタル信号プロセッサを含む、上記項目のいずれか一項に記載のヘッドセット。
(項目8)
上記指向性信号対から拡散音を抑制するように構成された上記デジタル信号プロセッサは、
無相関信号成分を抑制するために共通のマスクを用いて、上記指向性信号対にノイズ低減を適用するように構成される、上記デジタル信号プロセッサを含む、上記項目のいずれか一項に記載のヘッドセット。
(項目9)
ヘッドセットの外部の音声源からの指向性音を向上させるための方法であって、上記ヘッドセットが、左マイクロホンアレイを有する左ヘッドホンと、右マイクロホンアレイを有する右ヘッドホンとを含み、
上記外部音声源に対応する一対のマイクロホンアレイ信号を受信することであって、上記マイクロホンアレイ信号対が、左マイクロホンアレイ信号および右マイクロホンアレイ信号を含む、受信することと、
上記マイクロホンアレイ信号対の各々から一対の指向性信号を生成することと、
上記指向性信号対から拡散信号成分を抑制することと、
頭部伝達関数(HRTF)対のパラメトリックモデルを各対の指向性信号に適用することと、
HRTF対の各対からのHTRF出力信号を追加して、左ヘッドホン出力信号および右ヘッドホン出力信号を生成することと、を含む、方法。
(項目10)
上記左マイクロホンアレイ信号は、少なくとも左前方マイクロホン信号ベクトルおよび左後方マイクロホン信号ベクトルを含む、上記項目に記載の方法。
(項目11)
上記左マイクロホンアレイ信号から上記指向性信号対を生成することは、
上記左前方および後方マイクロホン信号ベクトルから左カージオイド信号対を計算することと、
上記左カージオイド信号対および上記左マイクロホンアレイ信号に基づいて、実数値の時間依存性および周波数依存性マスクを計算することと、
上記時間依存性および周波数依存性マスクに上記それぞれの左前方および後方マイクロホン信号ベクトルを乗算して、左前方および後方ポインティングビーム信号を取得することと、を含む、上記項目のいずれか一項に記載の方法。
(項目12)
上記右マイクロホンアレイ信号は、少なくとも右前方マイクロホン信号ベクトルおよび右後方マイクロホン信号ベクトルを含む、上記項目のいずれか一項に記載の方法。
(項目13)
上記右マイクロホンアレイ信号から上記指向性信号対を生成することは、
上記右前方および後方マイクロホン信号ベクトルから右カージオイド信号対を計算することと、
上記右カージオイド信号対および上記右マイクロホンアレイ信号に基づいて、実数値の時間依存性および周波数依存性マスクを計算することと、
上記時間依存性および周波数依存性マスクに上記それぞれの右前方および後方マイクロホン信号ベクトルを乗算して、右前方および後方ポインティングビーム信号を取得することと、を含む、上記項目のいずれか一項に記載の方法。
(項目14)
上記指向性信号対から拡散信号成分を抑制することは、
無相関信号成分を抑制するために共通のマスクを用いて、上記指向性信号対にノイズ低減を適用することを含む、上記項目のいずれか一項に記載の方法。
(項目15)
指向性信号の各対は、前方および後方ポインティングビーム信号を含む、上記項目のいずれか一項に記載の方法。
(項目16)
ヘッドセットの外部の音声源からの指向性音を向上させるための方法であって、上記ヘッドセットが、左マイクロホンアレイを有する左ヘッドホンと、右マイクロホンアレイを有する右ヘッドホンとを含み、各マイクロホンアレイが、少なくとも前方マイクロホンおよび後方マイクロホンを含み、各マイクロホンアレイに対して、
上記外部音声源に対応するマイクロホンアレイ信号を受信することであって、上記マイクロホンアレイ信号が、上記前方マイクロホンに対応する少なくとも前方マイクロホン信号ベクトルと、上記後方マイクロホンに対応する後方マイクロホン信号ベクトルとを含む、受信することと、
上記前方および後方マイクロホン信号ベクトルから前方ポインティングビーム信号および後方ポインティングビーム信号を計算することと、
上記前方ポインティングおよび後方ポインティングビーム信号にノイズ低減マスクを適用して、無相関信号成分を抑制し、ノイズ低減された前方ポインティングビーム信号およびノイズ低減された後方ポインティングビーム信号を取得することと、
前方頭部伝達関数(HRTF)対を上記ノイズ低減された前方ポインティングビーム信号に適用して、前方直接HRTF出力信号および前方間接HRTF出力信号を取得することと、
上記ノイズ低減された後方ポインティングビーム信号に後方HRTFを適用して、後方直接HRTF出力信号および後方間接HRTF出力信号を取得することと、
上記前方直接HRTF出力信号および上記後方直接HRTF出力信号を追加して、第1のヘッドホン信号の少なくとも一部分を取得することと、
上記前方間接HRTF出力信号および上記後方間接HRTF出力信号を追加して、第2のヘッドホン信号の少なくとも一部分を取得することと、を含む、方法。
(項目17)
上記左マイクロホンアレイと関連付けられた上記第1のヘッドホン信号を上記右マイクロホンアレイと関連付けられた上記第2のヘッドホン信号に追加して、左ヘッドホン出力信号を形成することと、
上記右マイクロホンアレイと関連付けられた上記第1のヘッドホン信号を上記左マイクロホンアレイと関連付けられた上記第2のヘッドホン信号に追加して、右ヘッドホン出力信号を形成することと、をさらに含む、上記項目のいずれか一項に記載の方法。
(項目18)
上記前方および後方マイクロホン信号ベクトルから上記前方ポインティングビーム信号および後方ポインティングビーム信号を計算することは、
上記前方および後方マイクロホン信号ベクトルからカージオイド信号対を計算することと、
上記カージオイド信号対および上記マイクロホンアレイ信号に基づいて、実数値の時間依存性および周波数依存性マスクを計算することと、
上記時間依存性および周波数依存性マスクに上記それぞれの前方および後方マイクロホン信号ベクトルを乗算して、前方ポインティングおよび後方ポインティングポインティングビーム信号を取得することと、を含む、上記項目のいずれか一項に記載の方法。
(項目19)
上記時間依存性および周波数依存性マスクは、時間平均によって計算された上記前方および後方マイクロホン信号ベクトルの正規化相互スペクトル密度の絶対値として計算される、上記項目のいずれか一項に記載の方法。
(項目20)
上記時間依存性および周波数依存性マスクは、上記前方ポインティングおよび後方ポインティングビーム信号を縮小または拡大するために非線形マッピングを用いてさらに修正される、上記項目のいずれか一項に記載の方法。
(摘要)
外部音声源からの指向性音を向上させるための人工聴覚ヘッドセット。ヘッドセットは、一対のヘッドホンであって、各々が、電子音声源からヘッドホンを通じて提示されるコンテンツを聴く間であっても、複数のマイクロホンを通じて聴取者を環境に結び付けるマイクロホンアレイを有する、一対のヘッドホンを含む。マイクロホンアレイ信号は最初に、ビーム形成された指向性信号に変換される。拡散信号成分は、共通のノイズ低減マスクを用いて抑制され得る。音声信号は次に、複数の頭部伝達関数(HRTF)対を用いてバイノーラル形式に変換される。
本開示の1つ以上の実施形態に従う、人によって着用された例示的な人工聴覚ヘッドセットを示す環境図である。 本開示の1つ以上の実施形態に従う、人工聴覚ヘッドセットの単純化された例示的な概略図である。 本開示の1つ以上の実施形態に従う、例示的な信号処理ブロック図である。 本開示の1つ以上の実施形態に従う、別の例示的な信号処理ブロック図である。 本開示の1つ以上の実施形態に従う、マイクロホンアレイ信号処理方法の単純化された例示的なプロセスフロー図である。 本開示の1つ以上の実施形態に従う、マイクロホンアレイ信号処理方法の別の単純化された例示的なプロセスフロー図である。
以下の詳細な説明では、この一部を形成する添付図面を参照する。図面では、文脈上、特に指示がない限り、類似の符号が典型的に、類似の構成要素を特定する。図面に示される機能ブロック、モジュール、またはユニットにおける例の分割は、これらの機能ブロック、モジュール、またはユニットが物理的に別個のユニットとして必然的に実装されることを示すものとして解釈されるべきではない。図示または記載される機能ブロック、モジュール、またはユニットは、別個のユニット、回路、チップ、機能、モジュール、または回路素子として実装されてもよい。1つ以上の機能ブロックまたはユニットはまた、共通の回路、チップ、回路素子、またはユニットで実装されてもよい。
詳細な説明、図面、および特許請求の範囲に記載される例示的な実施形態は、限定的であるものではない。本明細書に提示される主題の趣旨および範囲から逸脱することなく、他の実施形態が利用されてもよく、他の変更がなされてもよい。本開示の態様は、本明細書に一般的に記載され、図面に図解されるように、多種多様な異なる構成で配列され、置換され、組み合わせられ、設計されてもよく、これらのすべては、明示的に企図され、本開示の一部にする。
図1は、本開示の1つ以上の実施形態に従う、左耳104および右耳106を有する人102によって着用された例示的な人工聴覚ヘッドセット100を表す環境図を示す。ヘッドセット100は、左ヘッドホン108aと、右ヘッドホン108bと含む一対のヘッドホン108を含むことができ、これは、音波110、112を人102の各それぞれの耳104、106に送信する。各ヘッドホン108は、ヘッドセット100が着用されるとき、左マイクロホンアレイ114aがユーザの頭部の左側に配設され、右マイクロホンアレイ114bがユーザの頭部の右側に配設されるように、マイクロホンアレイ114を含むことができる。マイクロホンアレイ114は、それらのそれぞれのヘッドホン108と一体化されてもよい。さらに、各マイクロホンアレイ114は、少なくとも前方マイクロホンおよび後方マイクロホンを含む複数のマイクロホン116を含むことができる。例えば、左マイクロホンアレイ114aは、少なくとも左前方マイクロホン116aおよび左後方マイクロホン116cを含むことができるが、右マイクロホンアレイ114bは、少なくとも右前方マイクロホン116bおよび右後方マイクロホン116dを含むことができる。複数のマイクロホン116は、全指向性であってもよいが、単一指向性または二指向性マイクロホン等の異なる極性パターンを有する他のタイプの指向性マイクロホンが使用されてもよい。
一対のヘッドホン108は、しっかりと密封されたノイズキャンセルの耳周りのヘッドホン、耳上のヘッドホン、インイヤ型のイヤホンなどであってもよい。したがって、聴取者は、電子音声源118からヘッドホン108を介して提示される音楽または音声等のコンテンツを聴きながら、しっかりと隔絶され、マイクロホン116を通じて外部世界にのみ可聴に接続されてもよい。信号処理は、聴衆または群衆ノイズ、航空機の内部ノイズ、交通ノイズ等の望ましくない拡散音を抑制しながら、ある特定の方向から来る声などの所望の外部音源の自然な聴覚を保つようにマイクロホン信号に適用されてもよい。1つ以上の実施形態によれば、指向性聴覚は、例えば、正常に聴こえないノイズからの遠い音声源を判別するために自然な聴覚によって向上され得る。このように、人工聴覚ヘッドセット100は、「超人的聴覚」または「音響拡大鏡」を提供することができる。
図2は、本開示の1つ以上の実施形態に従う、ヘッドセット100の単純化された例示的な概略図である。図2に示されるように、ヘッドセット100は、アナログ音声信号をデジタル形式に変換するために各マイクロホン116と関連付けられたアナログデジタルコンバータ(ADC)210を含むことができる。ヘッドセットは、デジタル化マイクロホン信号を処理するためにデジタル信号プロセッサ(DSP)212をさらに含むことができる。説明を簡単にするために、本開示にわたって使用されるように、マイクロホン信号またはマイクロホンアレイ信号への包括的言及は、特に特定されない限り、アナログまたはデジタル形式のいずれか、および時間または周波数領域におけるこれらの信号を指すことができる。
各ヘッドホン108は、入力音声信号に反応して音波110、112を発生させるためのスピーカ214を含むことができる。例えば、左ヘッドホン108aは、DSP212から左ヘッドホン出力信号LHを受信するために左スピーカ214aを含むことができ、右ヘッドホン108bは、DSP212から右ヘッドホン出力信号RHを受信するために右スピーカ214bを含むことができる。したがって、ヘッドセット100は、デジタルアナログコンバータDAC、および/または各スピーカ214と関連付けられたスピーカドライバ(図示せず)をさらに含むことができる。ヘッドホンスピーカ214は、音声再生デバイス、携帯電話等の電子音声源118から音声信号を受信するようにさらに構成されてもよい。ヘッドセット100は、電子音声源118から音声信号を受信するためにこの音声源に接続可能なワイヤ120(図1)およびアダプタ(図示せず)を含むことができる。加えてまたはあるいは、ヘッドセット100は、無線で電子音声源118から音声信号を受信することができる。図解されないが、電子音声源からの音声信号は、スピーカ214に伝達される前にそれら独自の信号処理を受けることができる。ヘッドセット100は、外部音源216からの音声を表す音波および電子音声源118からの音声を同時に送信するように構成されてもよい。したがって、ヘッドセット100は、この環境に接続された状態で音楽または電話の会話を聴くことを望むあらゆるユーザに概して有用であり得る。
図3は、マイクロホンアレイ信号vを処理するためにDSP212で少なくとも一部、実装され得る例示的な信号処理ブロック図を示す。ADC210は、DSP信号処理ブロックを強調するために図3に示されない。同一の信号処理ブロックは、最終のヘッドホン信号を形成するために出力で追加された各耳および対単位で利用される。図示されるように、信号処理ブロックは、左マイクロホンアレイ信号処理部308aと、右マイクロホンアレイ信号処理部308bとを含む同一の信号処理部308に分割される。説明を簡単にするために、マイクロホンアレイ信号のうちの1つに適用された信号処理アルゴリズムの同一部308は、特に指示されない限り、包括的に(すなわち、左または右の指定なしに)後述される。マイクロホンアレイ114と関連付けられた信号への参照の包括的表記は概して、(A)前方(front)もしくは前方(forward)を表す信号識別子の下付き文字において「F」もしくは「+」指定、または(B)後方(rear)もしくは後方(rearward)を表す信号識別子の下付き文字において「R」もしくは「−」指定のいずれかを含む。対照的に、左マイクロホンアレイ114aと関連付けられた信号への特定の参照は、左耳の位置を指すことを表すために信号識別子の下付き文字において追加の「L」指定を含む。同様に、右マイクロホンアレイ114bと関連付けられた信号への特定の参照は、右耳の位置を指すことを表すために信号識別子の下付き文字において追加の「R」指定を含む。
この表記を使用すると、マイクロホンアレイ114の前方マイクロホン信号は、vで包括的に標識されてもよいが、左マイクロホンアレイ114aと関連付けられた左前方マイクロホン信号への特定の参照は、vLFで標識されてもよく、右マイクロホンアレイ114bと関連付けられた右前方マイクロホン信号ベクトルへの特定の参照は、vRFで標識されてもよい。以下に定義される例示的な式の多くが左マイクロホンアレイ114aまたは右マイクロホンアレイ114bのいずれかから受信された信号に等しく適用可能であるため、包括的参照表記は、適用可能な程度に使用される。しかしながら、図3に標識される信号は、左側信号処理部308aおよび右側信号処理部308bの両方が示されるように特定の参照表記を使用する。
マイクロホン116は、時間領域信号ストリームを発生させる。図3を参照すると、マイクロホンアレイ信号vは、少なくとも前方マイクロホン信号ベクトルvおよび後方マイクロホン信号ベクトルvを含む。アルゴリズムは、短期フーリエ変換(STFT)306を用いて周波数領域で動作する。左STFT306aは、周波数領域において左マイクロホンアレイ信号Vを形成するが、右STFT306bは、周波数領域において右マイクロホンアレイ信号Vを形成する。周波数領域のマイクロホンアレイ信号Vは、少なくとも前方マイクロホン信号ベクトルVおよび後方マイクロホン信号ベクトルVを含む。第1の信号処理段階では、前方マイクロホン処理ブロック310(例えば、左前方マイクロホン処理ブロック310aまたは右前方マイクロホン処理ブロック310b)および後方マイクロホン処理ブロック312(例えば、左後方マイクロホン処理ブロック312aまたは右後方マイクロホン処理ブロック312b)は各々、前方マイクロホン信号ベクトルVおよび後方マイクロホン信号ベクトルVを受信する。各マイクロホン処理ブロック310、312は、各マイクロホンアレイ114のうちの2つのマイクロホン116から前方ポインティング指向性信号Uおよび後方ポインティング指向性信号Uを生成するためにビームフォーマとして本質的に機能する。マイクロホンアレイ114のための指向性信号を生成するために、一対のカージオイド信号X+/−は、式1および2に後述されるように、既知の減算遅延式を用いて最初に計算されてもよい。
カージオイド反応パターンを取得するために、遅延値は、アレイ軸にわたって音響信号の移動時間を一致させるために選択されてもよい。DSPの遅延は、単一サンプルの期間によって量子化されてもよい。48kHzのサンプルレートでは、例えば、最小遅延は、約21μ秒である。空気中の音の速度は、温度で変動する。一例として70°Fを用いると、空気中の音の速度は、約344m/秒である。したがって、音波は、21μ秒で約7mm移動する。このように、48kHzのサンプルレートでの4〜5つのサンプルの遅延は、約28mm〜35mmのマイクロホン間の距離に使用されてもよい。ビーム形成された指向性信号に対するカージオイド反応パターンの形状は、マイクロホン間の遅延または距離を変更することによって操作されてもよい。
ある特定の実施形態では、カージオイド信号X+/−は、前方ポインティング指向性信号Uおよび後方ポインティング指向性信号Uとしてそれぞれ使用され得る。1つ以上の追加の実施形態によれば、カージオイド信号X+/−を直接使用するのではなく、実数値の時間および周波数依存性マスクm+/−が適用され得る。マスクを適用することは、非線形信号処理の形態である。1つ以上の実施形態によれば、実数値の時間および周波数依存性マスクm+/−は、例えば、以下の式3を用いて計算され得る。
Vの再帰的に生成された時間平均を表す
では、α=0.01〜0.05であり、i=時間指標であり、そこで
の複素共役である。
図示されるように、DSP212は、時間平均によって計算された正規化相互スペクトル密度の絶対値として実数値の時間および周波数依存性マスクm+/−を計算することができる。式3では、Vは、VまたはVのいずれかであり得る。前方ポインティング指向性信号Uおよび後方ポインティング指向性信号Uは次に、要素単位で各マイクロホン信号ベクトルVに、前方ポインティングビームに対してm、または後方ポインティングビームに対してmのいずれかを乗算することによって取得され得る。
このように、マスクm+/−、0〜1間の数は、ある特定の信号を空間的に強調するか、または強調しないように空間フィルタとして機能することができる。加えて、この方法を用いると、マスク機能は、以下の式6によって表されるように、非線形マッピングFを用いてさらに修正され得る。
例えば、標準カージオイドより狭いビーム(例として超指向性ビーム形成)が必要とされる場合、この機能は、元のマイクロホン信号Vと差分信号Xとの間の低相関を示すmの低値をさらに減衰させることができる。極端な場合に「バイナリマスク」が利用されてもよい。バイナリマスクは、閾値未満のすべての値を0に設定するステップ関数として表されてもよい。マスク機能を操作して、ビームを縮小することは、ひずみを追加し得るが、ビームを拡大することは、ひずみを減少させることができる。
図3における後続のノイズ低減ブロック314(例えば、左ノイズ低減ブロック314aまたは右ノイズ低減ブロック314b)は、拡散(すなわち、指向性ではない)音を示す無相関信号成分を抑制するために、第2の共通のマスクmNRを結果として生じる前方ポインティング指向性信号Uおよび後方ポインティング指向性信号Uに適用することができる。共通のノイズ低減マスクmNRは、以下に示される式7によって計算され得る。
拡散音の場合、共通のマスクmNRの値は、0に近くなり得る。離散音の場合、共通のマスクmNRの値は、1に近くなり得る。取得されると、共通のマスクmNRは次に、式8および9に示されるように、ノイズ低減された前方ポインティングビーム信号Yおよびノイズ低減された後方ポインティングビーム信号Yを含む、ビーム形成された指向性信号およびノイズ低減された指向性信号を生成するように適用され得る。
左マイクロホンアレイ114aおよび右マイクロホンアレイ114bの両方に対する結果として生じるノイズ低減された前方ポインティングビーム信号Yおよびノイズ低減された後方ポインティングビーム信号Yは次に、左逆STFT315aおよび右STFT315bを含む逆STFT315を用いて、時間領域に戻って変換され得る。逆STFT315は、時間領域において前方ポインティングビーム信号yおよび後方ポインティングビーム信号yを生成する。時間領域ビーム信号は次に、頭部伝達関数対316のパラメトリックモデルを用いて空間化し得る。頭部伝達関数(HRTF)は、耳がいかに空間のある点から音を受信するかを特徴付ける反応である。2つの耳に対する一対のHRTFは、空間の特定の点から来るように見えるバイノーラル音を合成するために使用され得る。一例として、−45°(前方)および−135°(後方)の左耳HRTFおよび+45°(前方)および+135°(後方)の右耳HRTFのパラメトリックモデルが利用されてもよい。
各HRTF対316は、直接HRTFおよび間接HRTFを含むことができる。図3に示される左マイクロホンアレイ信号処理部308aへの特定の参照では、左前方HRTF対316aは、左ノイズ低減された前方ポインティングビーム信号yLFに適用されて、左前方直接HRTF出力信号HD,LFおよび左前方間接HRTF出力信号HI,LFを取得することができる。同様に、左後方HRTF対316cは、左ノイズ低減された後方ポインティングビーム信号yLRに適用されて、左後方直接HRTF出力信号HD,LRおよび左後方間接HRTF出力信号HI,LRを取得することができる。左前方直接HRTF出力信号HD,LFおよび左後方直接HRTF出力信号HD,LRは、左ヘッドホン出力信号LHの少なくとも第1の部分を取得するために追加されてもよい。一方、左前方間接HRTF出力信号HI,LFおよび左後方間接HRTF出力信号HI,LRは、右ヘッドホン出力信号RHの少なくとも第1の部分を取得するために追加されてもよい。
右マイクロホンアレイ信号処理部308bへの特定の参照では、右前方HRTF対316bは、右ノイズ低減された前方ポインティングビーム信号yRFに適用されて、右前方直接HRTF出力信号HD,RFおよび右前方間接HRTF出力信号HI,RFを取得することができる。同様に、右後方HRTF対316dは、右ノイズ低減された後方ポインティングビーム信号yRRに適用されて、右後方直接HRTF出力信号HD,RRおよび右後方間接HRTF出力信号HI,RRを取得することができる。右前方直接HRTF出力信号HD,RFおよび右後方直接HRTF出力信号HD,RRは、右ヘッドホン出力信号RHの少なくとも第2の部分を取得するために追加されてもよい。一方、右前方間接HRTF出力信号HI,RFおよび右後方間接HRTF出力信号HI,RRは、左ヘッドホン出力信号LHの少なくとも第2の部分を取得するために追加されてもよい。
集合的に、それぞれの左ヘッドホンスピーカ214aおよび右ヘッドホンスピーカ214bに送信された最終の左ヘッドホン出力信号LHおよび右ヘッドホン出力信号RHは、以下の式10および11を用いて表され得る。
図4は、2013年9月19日に公開された米国特許出願第2013/0243200 A1号(参照により本明細書に組み込まれる)に開示されたパラメトリックモデルに従ってHRTF対416a〜dを利用する例示的な信号処理用途を示す。図示されるように、各HRTF対416a〜dは、指向性信号yLF、yLR、yRF、yRRをそれぞれの直接および間接HRTF出力信号に変換するために1つ以上の合計フィルタ(例えば、「Hsrear」)、クロスフィルタ(例えば、「Hcfront」、「Hcrear」等)、または両耳間遅延フィルタ(例えば、「Tfront」、「Trear」等)を含むことができる。
図5は、本開示の1つ以上の実施形態に従う、マイクロホンアレイ信号処理方法500の単純化されたプロセスフロー図である。ステップ505では、ヘッドセット100は、マイクロホンアレイ信号vを受信することができる。より具体的には、DSP212は、左マイクロホンアレイ信号vLF、vLRおよび右マイクロホンアレイ信号vRF、vRRを受信し、これらの信号を周波数領域に変換することができる。マイクロホンアレイ信号から、DSP212は次に、ステップ510で提供されるように、各マイクロホンアレイ114に対する一対のビーム形成された指向性信号U、Uを生成することができる。ステップ515では、DSP212は、共通のマスクmNRを適用することによって拡散音を抑制するためにノイズ低減を実施することができる。結果として生じたノイズ低減された指向性信号Yは、周波数領域(図示せず)に戻って変換され得る。次に、HRTF対316は、ステップ520で提供されるように、それぞれのノイズ低減された指向性信号yに適用されて、音声信号をバイノーラル形式に変換することができる。ステップ525では、最終の左ヘッドホン出力信号LHおよび右ヘッドホン出力信号RHは、図3に関して上述されるように、それぞれの左マイクロホンアレイ信号処理部308aおよび右マイクロホンアレイ信号処理部308bから信号出力を対単位で追加することによって生成され得る。
図6は、本開示の1つ以上の実施形態に従う、マイクロホンアレイ信号処理方法600のより詳細な例示的なプロセスフロー図である。図3に関して上述されるように、左マイクロホンアレイ信号および右マイクロホンアレイ信号の両方を処理する際に同一のステップが利用されてもよい。ステップ605では、ヘッドセット100は、左マイクロホンアレイ信号vLF、vLRおよび右マイクロホンアレイ信号vRF、vRRを受信することができる。左マイクロホンアレイ信号vLF、vLRは、左前方マイクロホン116aおよび左後方マイクロホン116cで外部音源216から受信された音声を表し得る。同様に、右マイクロホンアレイ信号vRF、vRRは、右前方マイクロホン116bおよび右後方マイクロホン116dで外部音源216から受信された音声を表し得る。各入力マイクロホン信号は、ステップ610で提供されるように、アナログ形式からデジタル形式に変換され得る。さらに、ステップ615では、デジタル化された左および右マイクロホンアレイ信号は、例えば、短期フーリエ変換(STFT)306を用いて、周波数領域に変換され得る。左前方マイクロホン信号ベクトルVLFおよび左後方マイクロホン信号ベクトルVLRならびに右前方マイクロホン信号ベクトルVRFおよび右後方マイクロホン信号ベクトルVRRはそれぞれ、周波数領域への変換の結果として取得され得る。
ステップ620では、DSP212は、左前方マイクロホン信号ベクトルVLFおよび左後方マイクロホン信号ベクトルVLRならびに右前方マイクロホン信号ベクトルVRFおよび右後方マイクロホン信号ベクトルVRRの各々に対して一対のカージオイド信号X+/−を計算することができる。カージオイド信号X+/−は、式1および2に示されるように、減算遅延ビームフォーマを用いて計算され得る。時間および周波数依存性マスクm+/−は次に、ステップ625で提供されるように、カージオイド信号X+/−の各対に対して計算され得る。例えば、DSP212は、式3によって示されるように、左カージオイド信号および左マイクロホン信号ベクトルを用いて時間および周波数依存性マスクm+/−を計算することができる。DSP212はまた、右カージオイド信号および右マイクロホン信号ベクトルを用いて別個の時間および周波数依存性マスクm+/−を計算することができる。時間および周波数依存性マスクm+/−は次に、ステップ630で実証されるように、式4および5を用いて、それらマスクのそれぞれのマイクロホン信号ベクトルVに適用されて、左側前方ポインティングビーム信号ULFおよび左側後方ポインティングビーム信号ULRならびに右側前方ポインティングビーム信号URFおよび右側後方ポインティングビーム信号URRを生成することができる。ビーム形成された信号は、ステップ635でノイズ低減を受けて、無相関信号成分を抑制することができる。この目的を達成するために、共通のマスクmNRは、式8および9を用いて、左側前方ポインティングビーム信号ULFおよび左側後方ポインティングビーム信号ULRならびに右側前方ポインティングビーム信号URFおよび右側後方ポインティングビーム信号URRに適用され得る。共通のマスクmNRは、拡散音を抑制し、それにより指向性音を強調することができ、式7に関して上述されるように計算され得る。
ステップ640では、結果として生じるノイズ低減されたビーム信号Yは、逆STFT315を用いて時間領域に戻って変換され得る。結果として生じる時間領域のビーム信号yは次に、ステップ645でHRTF対316のパラメトリックモデルを用いてバイノーラル形式に変換され得る。例えば、DSP212は、左耳HRTF対316a、cのパラメトリックモデルを適用して、左マイクロホンアレイ114aに対するノイズ低減された左側前方ポインティングビーム信号yLFおよび左側後方ポインティングビーム信号yLRを空間化することができる。同様に、DSP212は、右耳HRTF対316b、dのパラメトリックモデルを適用して、右マイクロホンアレイ114bに対するノイズ低減された右側前方ポインティングビーム信号yRFおよび右側後方ポインティングビーム信号yRRを空間化することができる。ステップ650では、様々な左側HRTF出力信号および右側HRTF出力信号は次に、式10および11に関して上述されるように、それぞれの左ヘッドホン出力信号LHおよび右ヘッドホン出力信号RHを生成するために対単位で追加され得る。
例示的な実施形態が上述されるが、これらの実施形態は、本発明のすべての考えられる形態を記載することを意図していない。むしろ、本明細書に使用される用語は、限定ではなく説明の用語であり、本明細書に提示される主題の趣旨および範囲から逸脱することなく、様々な変更がなされ得ることが理解される。加えて、様々な実装する実施形態の特徴は、本開示のさらなる実施形態を形成するために組み合わせられてもよい。

Claims (20)

  1. 左スピーカを有する左ヘッドホンと、右スピーカを有する右ヘッドホンとを含む一対のヘッドホンと、
    前記左ヘッドホンと一体化した左マイクロホンアレイと、前記右ヘッドホンと一体化した右マイクロホンアレイとを含む一対のマイクロホンアレイであって、その各々が、外部音源から外部音声を受信するために少なくとも前方マイクロホンおよび後方マイクロホンを含む、一対のマイクロホンアレイと、
    前記外部音声と関連付けられた左および右マイクロホンアレイ信号を受信するように構成されたデジタル信号プロセッサであって、
    前記左および右マイクロホンアレイ信号の各々から一対の指向性信号を生成し、
    前記指向性信号対から拡散音を抑制し、
    頭部伝達関数(HRTF)対のパラメトリックモデルを指向性信号の各対に適用し、
    HRTF対の各対からのHTRF出力信号を追加して、左ヘッドホン出力信号および右ヘッドホン出力信号を生成するようにさらに構成される、デジタル信号プロセッサと、を備える、ヘッドセット。
  2. 前記ヘッドホン対は、電子音声源からの音声コンテンツを再生するようにさらに構成される、請求項1に記載のヘッドセット。
  3. 指向性信号の各対は、前方および後方ポインティングビーム信号を含む、請求項1に記載のヘッドセット。
  4. 前記左マイクロホンアレイ信号は、少なくとも左前方マイクロホン信号ベクトルおよび左後方マイクロホン信号ベクトルを含む、請求項1に記載のヘッドセット。
  5. 前記左マイクロホンアレイ信号から前記指向性信号対を生成するように構成された前記デジタル信号プロセッサは、
    前記左前方および後方マイクロホン信号ベクトルから左カージオイド信号対を計算し、
    前記左カージオイド信号対および前記左マイクロホンアレイ信号に基づいて、実数値の時間依存性および周波数依存性マスクを計算し、
    前記時間依存性および周波数依存性マスクに前記それぞれの左前方および後方マイクロホン信号ベクトルを乗算して、左前方および後方ポインティングビーム信号を取得するように構成される、前記デジタル信号プロセッサを含む、請求項4に記載のヘッドセット。
  6. 前記右マイクロホンアレイ信号は、少なくとも右前方マイクロホン信号ベクトルおよび右後方マイクロホン信号ベクトルを含む、請求項1に記載のヘッドセット。
  7. 前記右マイクロホンアレイ信号から前記指向性信号対を生成するように構成された前記デジタル信号プロセッサは、
    前記右前方および後方マイクロホン信号ベクトルから右カージオイド信号対を計算し、
    前記右カージオイド信号対および前記右マイクロホンアレイ信号に基づいて、実数値の時間依存性および周波数依存性マスクを計算し、
    前記時間依存性および周波数依存性マスクに前記それぞれの右前方および後方マイクロホン信号ベクトルを乗算して、右前方および後方ポインティングビーム信号を取得するように構成される、前記デジタル信号プロセッサを含む、請求項6に記載のヘッドセット。
  8. 前記指向性信号対から拡散音を抑制するように構成された前記デジタル信号プロセッサは、
    無相関信号成分を抑制するために共通のマスクを用いて、前記指向性信号対にノイズ低減を適用するように構成される、前記デジタル信号プロセッサを含む、請求項1に記載のヘッドセット。
  9. ヘッドセットの外部の音声源からの指向性音を向上させるための方法であって、前記ヘッドセットが、左マイクロホンアレイを有する左ヘッドホンと、右マイクロホンアレイを有する右ヘッドホンとを含み、
    前記外部音声源に対応する一対のマイクロホンアレイ信号を受信することであって、前記マイクロホンアレイ信号対が、左マイクロホンアレイ信号および右マイクロホンアレイ信号を含む、受信することと、
    前記マイクロホンアレイ信号対の各々から一対の指向性信号を生成することと、
    前記指向性信号対から拡散信号成分を抑制することと、
    頭部伝達関数(HRTF)対のパラメトリックモデルを各対の指向性信号に適用することと、
    HRTF対の各対からのHTRF出力信号を追加して、左ヘッドホン出力信号および右ヘッドホン出力信号を生成することと、を含む、方法。
  10. 前記左マイクロホンアレイ信号は、少なくとも左前方マイクロホン信号ベクトルおよび左後方マイクロホン信号ベクトルを含む、請求項9に記載の方法。
  11. 前記左マイクロホンアレイ信号から前記指向性信号対を生成することは、
    前記左前方および後方マイクロホン信号ベクトルから左カージオイド信号対を計算することと、
    前記左カージオイド信号対および前記左マイクロホンアレイ信号に基づいて、実数値の時間依存性および周波数依存性マスクを計算することと、
    前記時間依存性および周波数依存性マスクに前記それぞれの左前方および後方マイクロホン信号ベクトルを乗算して、左前方および後方ポインティングビーム信号を取得することと、を含む、請求項10に記載の方法。
  12. 前記右マイクロホンアレイ信号は、少なくとも右前方マイクロホン信号ベクトルおよび右後方マイクロホン信号ベクトルを含む、請求項9に記載の方法。
  13. 前記右マイクロホンアレイ信号から前記指向性信号対を生成することは、
    前記右前方および後方マイクロホン信号ベクトルから右カージオイド信号対を計算することと、
    前記右カージオイド信号対および前記右マイクロホンアレイ信号に基づいて、実数値の時間依存性および周波数依存性マスクを計算することと、
    前記時間依存性および周波数依存性マスクに前記それぞれの右前方および後方マイクロホン信号ベクトルを乗算して、右前方および後方ポインティングビーム信号を取得することと、を含む、請求項12に記載の方法。
  14. 前記指向性信号対から拡散信号成分を抑制することは、
    無相関信号成分を抑制するために共通のマスクを用いて、前記指向性信号対にノイズ低減を適用することを含む、請求項9に記載の方法。
  15. 指向性信号の各対は、前方および後方ポインティングビーム信号を含む、請求項9に記載の方法。
  16. ヘッドセットの外部の音声源からの指向性音を向上させるための方法であって、前記ヘッドセットが、左マイクロホンアレイを有する左ヘッドホンと、右マイクロホンアレイを有する右ヘッドホンとを含み、各マイクロホンアレイが、少なくとも前方マイクロホンおよび後方マイクロホンを含み、各マイクロホンアレイに対して、
    前記外部音声源に対応するマイクロホンアレイ信号を受信することであって、前記マイクロホンアレイ信号が、前記前方マイクロホンに対応する少なくとも前方マイクロホン信号ベクトルと、前記後方マイクロホンに対応する後方マイクロホン信号ベクトルとを含む、受信することと、
    前記前方および後方マイクロホン信号ベクトルから前方ポインティングビーム信号および後方ポインティングビーム信号を計算することと、
    前記前方ポインティングおよび後方ポインティングビーム信号にノイズ低減マスクを適用して、無相関信号成分を抑制し、ノイズ低減された前方ポインティングビーム信号およびノイズ低減された後方ポインティングビーム信号を取得することと、
    前方頭部伝達関数(HRTF)対を前記ノイズ低減された前方ポインティングビーム信号に適用して、前方直接HRTF出力信号および前方間接HRTF出力信号を取得することと、
    前記ノイズ低減された後方ポインティングビーム信号に後方HRTFを適用して、後方直接HRTF出力信号および後方間接HRTF出力信号を取得することと、
    前記前方直接HRTF出力信号および前記後方直接HRTF出力信号を追加して、第1のヘッドホン信号の少なくとも一部分を取得することと、
    前記前方間接HRTF出力信号および前記後方間接HRTF出力信号を追加して、第2のヘッドホン信号の少なくとも一部分を取得することと、を含む、方法。
  17. 前記左マイクロホンアレイと関連付けられた前記第1のヘッドホン信号を前記右マイクロホンアレイと関連付けられた前記第2のヘッドホン信号に追加して、左ヘッドホン出力信号を形成することと、
    前記右マイクロホンアレイと関連付けられた前記第1のヘッドホン信号を前記左マイクロホンアレイと関連付けられた前記第2のヘッドホン信号に追加して、右ヘッドホン出力信号を形成することと、をさらに含む、請求項16に記載の方法。
  18. 前記前方および後方マイクロホン信号ベクトルから前記前方ポインティングビーム信号および後方ポインティングビーム信号を計算することは、
    前記前方および後方マイクロホン信号ベクトルからカージオイド信号対を計算することと、
    前記カージオイド信号対および前記マイクロホンアレイ信号に基づいて、実数値の時間依存性および周波数依存性マスクを計算することと、
    前記時間依存性および周波数依存性マスクに前記それぞれの前方および後方マイクロホン信号ベクトルを乗算して、前方ポインティングおよび後方ポインティングポインティングビーム信号を取得することと、を含む、請求項16に記載の方法。
  19. 前記時間依存性および周波数依存性マスクは、時間平均によって計算された前記前方および後方マイクロホン信号ベクトルの正規化相互スペクトル密度の絶対値として計算される、請求項18に記載の方法。
  20. 前記時間依存性および周波数依存性マスクは、前記前方ポインティングおよび後方ポインティングビーム信号を縮小または拡大するために非線形マッピングを用いてさらに修正される、請求項18に記載の方法。

JP2015030240A 2014-02-28 2015-02-19 人工聴覚ヘッドセット Active JP6616946B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/193,402 US9681246B2 (en) 2014-02-28 2014-02-28 Bionic hearing headset
US14/193,402 2014-02-28

Publications (2)

Publication Number Publication Date
JP2015165658A true JP2015165658A (ja) 2015-09-17
JP6616946B2 JP6616946B2 (ja) 2019-12-04

Family

ID=52444226

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015030240A Active JP6616946B2 (ja) 2014-02-28 2015-02-19 人工聴覚ヘッドセット

Country Status (4)

Country Link
US (1) US9681246B2 (ja)
EP (1) EP2914016A1 (ja)
JP (1) JP6616946B2 (ja)
CN (1) CN104883636B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020512754A (ja) * 2017-03-20 2020-04-23 ボーズ・コーポレーションBose Corporation ノイズ低減のためのオーディオ信号処理

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11750965B2 (en) 2007-03-07 2023-09-05 Staton Techiya, Llc Acoustic dampening compensation system
CA2971147C (en) 2014-12-23 2022-07-26 Timothy DEGRAYE Method and system for audio sharing
FR3052622B1 (fr) * 2016-06-13 2020-02-28 Elno Casque acoustique
EP3322200A1 (en) * 2016-11-10 2018-05-16 Nokia Technologies OY Audio rendering in real time
US10555106B1 (en) 2017-01-27 2020-02-04 Facebook Technologies, Llc Gaze-directed audio enhancement
US10366708B2 (en) 2017-03-20 2019-07-30 Bose Corporation Systems and methods of detecting speech activity of headphone user
US10424315B1 (en) 2017-03-20 2019-09-24 Bose Corporation Audio signal processing for noise reduction
US10499139B2 (en) 2017-03-20 2019-12-03 Bose Corporation Audio signal processing for noise reduction
WO2018180024A1 (ja) * 2017-03-27 2018-10-04 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10249323B2 (en) 2017-05-31 2019-04-02 Bose Corporation Voice activity detection for communication headset
CN107426643B (zh) * 2017-07-31 2019-08-23 歌尔股份有限公司 上行降噪耳机
CN112424863B (zh) 2017-12-07 2024-04-09 Hed科技有限责任公司 语音感知音频系统及方法
US10438605B1 (en) 2018-03-19 2019-10-08 Bose Corporation Echo control in binaural adaptive noise cancellation systems in headsets
CN108683975A (zh) * 2018-05-14 2018-10-19 维沃移动通信有限公司 一种音频设备
CN112544089B (zh) 2018-06-07 2023-03-28 索诺瓦公司 提供具有空间背景的音频的麦克风设备
US10869128B2 (en) 2018-08-07 2020-12-15 Pangissimo Llc Modular speaker system
EP3668123A1 (en) * 2018-12-13 2020-06-17 GN Audio A/S Hearing device providing virtual sound
CN110136732A (zh) * 2019-05-17 2019-08-16 湖南琅音信息科技有限公司 双通道智能音频信号处理方法、系统及音频设备
EP3873105B1 (en) 2020-02-27 2023-08-09 Harman International Industries, Incorporated System and methods for audio signal evaluation and adjustment
US11290837B1 (en) 2020-10-23 2022-03-29 Facebook Technologies, Llc Audio system using persistent sound source selection for audio enhancement
US11259139B1 (en) * 2021-01-25 2022-02-22 Iyo Inc. Ear-mountable listening device having a ring-shaped microphone array for beamforming
CN115967883A (zh) * 2021-10-12 2023-04-14 Oppo广东移动通信有限公司 耳机、用户设备及处理信号的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007036608A (ja) * 2005-07-26 2007-02-08 Yamaha Corp ヘッドホン装置
JP2011199699A (ja) * 2010-03-23 2011-10-06 Yamaha Corp ヘッドフォン
US20130243200A1 (en) * 2012-03-14 2013-09-19 Harman International Industries, Incorporated Parametric Binaural Headphone Rendering
JP2014033376A (ja) * 2012-08-04 2014-02-20 Korg Inc 音響効果装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001097558A2 (en) * 2000-06-13 2001-12-20 Gn Resound Corporation Fixed polar-pattern-based adaptive directionality systems
US7333622B2 (en) * 2002-10-18 2008-02-19 The Regents Of The University Of California Dynamic binaural sound capture and reproduction
US20080152167A1 (en) 2006-12-22 2008-06-26 Step Communications Corporation Near-field vector signal enhancement
US9053697B2 (en) * 2010-06-01 2015-06-09 Qualcomm Incorporated Systems, methods, devices, apparatus, and computer program products for audio equalization
US9025782B2 (en) * 2010-07-26 2015-05-05 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for multi-microphone location-selective processing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007036608A (ja) * 2005-07-26 2007-02-08 Yamaha Corp ヘッドホン装置
JP2011199699A (ja) * 2010-03-23 2011-10-06 Yamaha Corp ヘッドフォン
US20130243200A1 (en) * 2012-03-14 2013-09-19 Harman International Industries, Incorporated Parametric Binaural Headphone Rendering
JP2014033376A (ja) * 2012-08-04 2014-02-20 Korg Inc 音響効果装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020512754A (ja) * 2017-03-20 2020-04-23 ボーズ・コーポレーションBose Corporation ノイズ低減のためのオーディオ信号処理
US11594240B2 (en) 2017-03-20 2023-02-28 Bose Corporation Audio signal processing for noise reduction

Also Published As

Publication number Publication date
CN104883636A (zh) 2015-09-02
JP6616946B2 (ja) 2019-12-04
US20150249898A1 (en) 2015-09-03
US9681246B2 (en) 2017-06-13
EP2914016A1 (en) 2015-09-02
CN104883636B (zh) 2019-06-21

Similar Documents

Publication Publication Date Title
JP6616946B2 (ja) 人工聴覚ヘッドセット
JP6977050B2 (ja) 両側性マイクロホンアレイにおける風雑音を制御すること
JP6864109B2 (ja) 二重用途の両側性マイクロホンアレイ
US10715917B2 (en) Sound wave field generation
JP6017825B2 (ja) 特に「ハンズフリー」電話システム向けの近接音声信号を雑音除去するための手段を有するマイクロホンとイヤホンの組合せ型のオーディオ・ヘッドセット
US11037544B2 (en) Sound output device, sound output method, and sound output system
JP5409656B2 (ja) 補聴装置
US8194880B2 (en) System and method for utilizing omni-directional microphones for speech enhancement
AU2019203605A1 (en) Methods circuits devices systems and associated computer executable code for acquiring acoustics signals
US9749743B2 (en) Adaptive filtering
US20150350805A1 (en) Sound wave field generation
US10469945B2 (en) Sound wave field generation based on a desired loudspeaker-room-microphone system
TWI607653B (zh) 頻率響應的補償方法與電子裝置及其電腦可讀取媒體
US10547943B2 (en) Adaptive filtering audio signals based on psychoacoustic constraints
US20150287400A1 (en) Adaptive filtering
JP6518286B2 (ja) 両耳用聴覚システムの動作方法
Guiraud et al. An introduction to the speech enhancement for augmented reality (spear) challenge
Gößling et al. Performance analysis of the extended binaural MVDR beamformer with partial noise estimation
As’ad et al. Beamforming designs robust to propagation model estimation errors for binaural hearing aids
CN108966110B (zh) 声音信号处理方法、装置及系统、终端及存储介质
Miyahara et al. A hearing device with an adaptive noise canceller for noise-robust voice input
Wu et al. Hearing aid system with 3D sound localization
As’ad et al. Adaptive differential microphone array with distortionless response at arbitrary directions for hearing aid applications
CN115039419A (zh) 信息处理装置、信息处理方法、信息处理程序和信息处理系统
JP2010217268A (ja) 音源方向知覚が可能な両耳信号を生成する低遅延信号処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191016

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191111

R150 Certificate of patent or registration of utility model

Ref document number: 6616946

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250