JP2021110938A - 平面マイクロフォンアアレイのための複数音源トラッキング及び発話区間検出 - Google Patents

平面マイクロフォンアアレイのための複数音源トラッキング及び発話区間検出 Download PDF

Info

Publication number
JP2021110938A
JP2021110938A JP2020212089A JP2020212089A JP2021110938A JP 2021110938 A JP2021110938 A JP 2021110938A JP 2020212089 A JP2020212089 A JP 2020212089A JP 2020212089 A JP2020212089 A JP 2020212089A JP 2021110938 A JP2021110938 A JP 2021110938A
Authority
JP
Japan
Prior art keywords
tdoa
microphone
voice
audio
calculated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020212089A
Other languages
English (en)
Other versions
JP2021110938A5 (ja
Inventor
マスナディ‐シラジ、アリレザ
Masnadi-Shirazi Alireza
ネスタ、フランチェスコ
Nesta Francesco
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Synaptics Inc
Original Assignee
Synaptics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Synaptics Inc filed Critical Synaptics Inc
Publication of JP2021110938A publication Critical patent/JP2021110938A/ja
Publication of JP2021110938A5 publication Critical patent/JP2021110938A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/8006—Multi-channel systems specially adapted for direction-finding, i.e. having a single aerial system capable of giving simultaneous indications of the directions of different signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/87—Detection of discrete points within a voice signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/004—Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005—Microphone arrays
    • H04R29/006—Microphone matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8083—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2203/00—Details of circuits for transducers, loudspeakers or microphones covered by H04R3/00 but not provided for in any of its subgroups
    • H04R2203/12—Beamforming aspects for stereophonic sound reproduction with loudspeaker arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/21—Direction finding using differential microphone array [DMA]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23—Direction finding using a sum-delay beam-former
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Abstract

【課題】マルチストリーム音声環境内のターゲット音声信号を検出及び処理するために、マイクロフォンアレイによる計算量が低減されたマルチ音源トラッキング及びマルチストリーム発話区間検出のためのシステム及び方法を提供する。【解決手段】方法は、マルチ音源音声信号をマイクロフォンアレイからのマイクロフォン対によって定義された、多次元空間の内に構築されたＴＤＯＡ軌跡情報に基づくステアード最小分散（ＳＴＭＶ）ビームフォーマーにより、マルチ音源音声信号について算定されたＴＤＯＡ検出データに基づいて音声トラックを更新し、ＴＤＯＡ検出データに基づいて複数の音声トラックのそれぞれについて発話区間検出（ＶＡＤ）データを構築し、更新された複数の音声トラック及び構成されたＶＡＤデータを用いて１以上の強調されたマルチ音源音声信号を生成する。【選択図】図６

Description

本開示は、１以上の実施形態によれば、一般には、音声処理に関し、より詳細には、例えば、一般的な平面マイクロフォンアレイのための複数音源トラッキング及びマルチストリーム発話区間検出のためのシステム及び方法に関する。
スマートスピーカや、他の音声制御式のデバイス及び電子機器は、近年人気を得ている。スマートスピーカは、環境から音声入力（例えば、ユーザーの口頭のコマンド）を受信するために、マイクロフォンのアレイをしばしば備えている。ターゲット音声（例えば、口頭のコマンド）が音声入力において検出されたときに、スマートスピーカは検出されたターゲット音声を１以上のコマンドに変換し、当該コマンドに基づいて異なるタスクを実行し得る。
これらのスマートスピーカの問題の一つとして、効率的かつ効果的に、ターゲット音声（例えば、口頭のコマンド）を作動環境のノイズや他のアクティブな話者から分離することが挙げられる。例えば、１以上の話者が、１以上のノイズ源の存在下でアクティブになり得る。特定の話者を強調することが目的であるときには、話者はターゲット話者と呼ばれる一方、残りの話者は干渉源と看做すことが出来る。既存の話者強調アルゴリズムは、主として、独立成分分析（ｉｎｄｅｐｅｎｄｅｎｔ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ）（ＩＣＡ）に関連するブラインド音源分離（ｂｌｉｎｄ ｓｏｕｒｃｅ ｓｅｐａｒａｔｉｏｎ）（ＢＳＳ）法や、空間フィルタリング又はビームフォーミング法のような、複数の入力チャンネル（マイクロフォン）を用いて音源の空間情報を活用する。
ＢＳＳ法は、しかしながら、第１にはバッチ処理のためにデザインされたものであり、反応の遅延が大きいため、しばしば実際の応用には望ましくない、あるいは適用できない場合さえあり得る。空間フィルタリング又はビームフォーミング法は、一方で、最小化されるべきコスト関数としての発話区間検出（ｖｏｉｃｅ ａｃｔｉｖｉｔｙ ｄｅｔｅｃｔｉｏｎ）（ＶＡＤ）の下での監視をしばしば必要とするが、これは、ノイズ／干渉のみの区分に属する共分散行列の推定に過度に依存し得る。
そのため、マルチストリーム音声環境内のターゲット音声信号を検出及び処理するために、改善されたシステム及び方法が必要とされている。
以下の図面及び後述の詳細な説明を参照することで、本開示の態様とその利点がより良く理解され得る。同様の参照番号が、１以上の図面で示される同様の要素を識別するために用いられるが、その図示は本開示の実施形態を示すことを目的としているのであって、これを限定することを目的としていないことが理解されなくてはならない。図中の構成要素は必ずしも正寸ではなく、代わりに、本開示の原理を明確に示すことに重点が置かれている。
図１は、本開示の１以上の実施形態に係る、音声処理デバイスの例示的な作動環境を示す。
図２は、本開示の１以上の実施形態に係る、例示的な音声処理デバイスのブロック図である。
図３は、本開示の１以上の実施形態に係る、マルチトラック音声強調のための例示的な音声処理プロセッサのブロック図である。
図４は、本開示の様々な実施形態に係る、一般的なマイクロフォンアレイからの複数の音声信号を処理するための例示的なマルチトラックアクティビティ検出エンジンのブロック図である。
図５Ａは、本開示の１以上の実施形態に係る、マイクロフォン対の例示的な幾何学的配置を示す図である。
図５Ｂは、本開示の１以上の実施形態に係る、異なるマイクロフォンアレイの幾何学的配置に対応する多次元空間上での例示的な到達時差（ｔｉｍｅ ｄｉｆｆｅｒｅｎｃｅ ｏｆ ａｒｒｉｖａｌ）（ＴＤＯＡ）軌跡情報のメッシュを示す図である。
図６は、本開示の様々な実施形態に係る、マルチ音源トラッキング及びアクティビティ検出によりマルチ音源音声信号を強調するための例示的な方法の論理フロー図である。
図７は、本開示の様々な実施形態に係る、マイクロフォン対を用いて多次元空間上のＴＤＯＡ軌跡情報を算定するための例示的な処理の論理フロー図である。
本開示は、マルチストリーム音声環境内のターゲット音声信号を検出及び処理するために、改善されたシステム及び方法を提供する。
発話区間検出（ＶＡＤ）は、複数の入力チャンネルから得られた音源の空間情報を利用する処理でのターゲット音声の発話強調を監視するために用いられ得る。ＶＡＤは、所望の話者がアクティブになったときに、ノイズ／干渉の影響が実質的にゼロにし得るように、所望の話者が沈黙している期間の間に干渉／ノイズ源の空間的な統計値をもたらす場合がある。例えば、各音源のＶＡＤは、いつ既存の追跡の近辺に検出があったかを決定することによってＶＡＤの検出の履歴を利用することで、音源の到達時差（ＴＤＯＡ）又は到達方向（Ｄｉｒｅｃｔｉｏｎ ｏｆ Ａｒｒｉｖａｌ）（ＤＯＡ）の形での空間情報を追跡すると推測し得る。この処理は、一般に、測定値から追跡（Ｍｅａｓｕｒｅｍｅｎｔ−ｔｏ−Ｔｒａｃｋ）（Ｍ２Ｔ）問題として知られている。このようにして、目的の音源すべてについて、複数のＶＡＤが推定され得る。
具体的には、既存のＤＯＡ法は、通常、方位角及び仰角の閉形式マッピングに基づいて、マイクロフォンのアレイ全体について単一のステアリングベクトルを構築する。この方法は、線形又は円形のアレイの特別な配置を利用するために用いることが出来る。このようなＤＯＡ法は、マイクロフォンアレイの一般又は任意の配置に拡張することが出来ない。さらに、これらの閉形式マッピングに基づくＤＯＡ法は、しばしば多次元空間での広範囲な検索を必要とする。任意の配置については、既存のＴＤＯＡベースの方法を用いることが出来る。この方法は、特定のアレイの配置に限定されない場合があり、多次元のＴＤＯＡベクトル（各ペアについて１次元）を形成する各マイクロフォン対についてのステアリングベクトルを複数構築する場合がある。しかしながら、これらの既存の方法は、各ＴＤＯＡ対のスペクトラムにおけるピークが交差する交点によって形成されるＴＤＯＡゴーストを誘発するリスクを含む。その結果、特定のアレイ配置を含むＴＤＯＡゴーストを除去するために更なる後処理が、しばしば必要となる。
特定のアレイの配置に制約されないマルチストリームＶＡＤの必要性に鑑みて、本明細書で説明される実施形態は、一般のアレイの配置（例えば、平面上に配置されたマイクロフォンアレイ）に適用可能なマルチ音源ＴＤＯＡトラッキングとＶＡＤメカニズムとの組合せを提供する。マルチ音源ＴＤＯＡトラッキングとＶＡＤメカニズムとの組合せは、ＴＤＯＡの検索を各次元について別々に実行することで、従来のＴＤＯＡに通常含まれる計算の数を低減する場合がある。
いくつかの実施形態では、不要なゴーストＴＤＯＡを回避する、平面上に配置された一般のアレイの配置のための多次元ＴＤＯＡ法が採用される。一実施形態では、一般的に構成されたマイクロフォンのデカルト座標が取得される。マイクロフォンの一つは、基準マイクロフォンとして選択される場合がある。マイクロフォンの方位角及び仰角が、スキャンされる場合があり、これに基づいて、物理的に可能なＴＯＤＡの平面軌跡が、複数のマイクロフォン対の多次元ＴＤＯＡ空間上に形成可能となる。このように、形成された平面軌道によりゴーストＴＤＯＡを回避され、そのため、ゴーストＴＤＯＡを取り除くための更なる後処理は不要となる。さらに、完全にＤＯＡスキャンする方法と比べて、本明細書で開示される多次元ＴＤＯＡ法は、完全な多次元空間上で検索するのではなく、対のＴＤＯＡ領域上で各次元に関して別々に検索を実行することで、計算の複雑さを低減する。
図１は、本開示の様々な実施形態に係る音声処理システムが作動し得る、例示的な作動環境１００を示す。作動環境１００は、音声処理デバイス１０５、ターゲット音源１１０、及び、１以上のノイズ源１３５−１４５を含む。図１で示された例では、作動環境１００は部屋として示されている。しかし、作動環境は、車内、オフィスの会議室、家庭の部屋、屋外のスタジアム、又は、空港といった他の場所を含み得ると考えられる。本開示の様々な実施形態において、音声処理デバイス１０５は、２以上の音声感知コンポーネント（例えば、マイクロフォン）１１５ａ―１１５ｄと、オプションとして、１以上の音声出力コンポーネント（例えば、スピーカ）１２０ａ―１２０ｂと、備える場合がある。
音声処理デバイス１０５は、音声感知コンポーネント１１５ａ―１１５ｄにより音を感知し、２以上の音声入力信号を含むマルチチャンネル音声入力信号を生成するように構成されている場合がある。音声処理デバイス１０５は、本明細書で開示される音声処理技術を用いて音声入力信号を処理して、ターゲット音源１１０から受信した音声信号を強調する場合がある。例えば、処理された音声信号は、発話認識エンジン、又は、音声コマンドプロセッサといった音声処理デバイス１０５内の他の構成要素、あるいは、外部デバイスに伝達される場合がある。従って、音声処理デバイス１０５は、音声信号を処理するスタンドアローンのデバイス、又は、外部デバイスと情報交換あるいは制御するために、処理された音声信号を他の信号（例えば、コマンド、命令、等）に変換するデバイス、である場合がある。他の実施形態では、音声処理デバイス１０５は、携帯電話やボイスオーバーＩＰ（ｖｏｉｃｅ−ｏｖｅｒ−ＩＰ）（ＶｏＩＰ）が使用可能なデバイス、といった通信デバイスである場合がある。そして、処理された音声信号は、遠隔のユーザーに対して出力するために、ネットワークを介して他のデバイスに伝達される場合がある。通信デバイスは、処理された音声信号を遠隔のデバイスから更に受信し、処理された音声信号を音声出力コンポーネント１２０ａ―１２０ｂを用いて出力する場合がある。
ターゲット音源１１０は、音声処理デバイス１０５に検出可能な音を生成する如何なる音源であっても良い。システムに検出されるべきターゲット音声は、ユーザー又はシステムの要求によって指定される基準に基づいて定義され得る。例えば、ターゲット音声は、人間の発話、特定の動物又は機械によって作られた音、として定義され得る。図示の例では、ターゲット音声は人間の発話として定義され、ターゲット音源１１０は人間である。ターゲット音源１１０に加え、作動環境１００は１以上のノイズ源１３５−１４５を含む場合がある。様々な実施形態では、ターゲット音声ではない音はノイズとして処理され得る。図示の例では、ノイズ源１３５−１４５は、音楽を流すラウドスピーカ１３５、テレビ番組・映画若しくはスポーツイベントを流すテレビ１４０、及び、ターゲットでない話者１４５間での背景の会話、を含み得る。様々な作動環境において、他のノイズ源が存在し得ることが理解されよう。
なお、ターゲット音声及びノイズが、音声処理デバイス１０５の音声感知コンポーネント１１５ａ―１１５ｄに異なる方向から、異なる時刻に到達し得る。例えば、ノイズ源１３５−１４５は、作動環境１００内の異なる位置でノイズを生じる場合がある。そして、ターゲット音源（人間）１１０は、作動環境１００内の複数の位置間で移動しながら発話する場合がある。さらに、ターゲット音声、及び／又は、ノイズは作動環境１００内の設備（例えば、壁）で反射する場合がある。例えば、ターゲット音声がターゲット音源１１０から音声感知コンポーネント１１５ａ―１１５ｄのそれぞれに進み得る経路を考える。矢印１２５ａ―１２５ｄで示すように、ターゲット音声はターゲット音源１１０から各音声感知コンポーネント１１５ａ―１１５ｄのそれぞれにまで、直接進む場合がある。さらに、ターゲット音声は、矢印１３０ａ―１３０ｂで示すように、壁１５０ａ及び１５０ｂに反射して、ターゲット音源１１０から音声感知コンポーネント１１５ａ―１１５ｄに間接的に到達する場合がある。様々な実施形態では、音声処理デバイス１０５は、部屋のインパルス応答を推定及び適用し、さらに、ターゲット音声を強調してノイズを抑制するために、１以上の音声処理技術を用いる場合がある。
図２は、本開示の様々な実施形態に係る、例示的な音声処理デバイス２００を示す。いくつかの実施形態では、音声処理デバイス２００は、図１の音声処理デバイス１０５として実装される場合がある。音声処理デバイス２００は、音声センサアレイ２０５と、音声信号プロセッサ２２０と、ホストシステムコンポーネント２５０と、を備える。
音声センサアレイ２０５は、それぞれが音波の形態の音声入力を音声信号に変換するトランスデューサとして実装され得る、２以上のセンサを備える。図示された環境では、音声センサアレイ２０５は、それぞれが音声信号プロセッサ２２０の音声入力回路部２２２に供給される音声入力信号を生成する、複数のマイクロフォン２０５ａ―２０５ｎを備える。一実施形態では、音声センサアレイ２０５は、各チャンネルがマイクロフォン２０５ａ―ｎのうちの一つからの音声入力信号に対応するマルチチャンネル音声信号を生成する。
音声信号プロセッサ２２０は、音声入力回路部２２２と、デジタルシグナルプロセッサ２２４と、オプションで音声出力回路部２２６と、を備える。様々な実施形態では、音声信号プロセッサ２２０は、アナログ回路部と、デジタル回路部と、ファームウェアに記憶されたプログラムの命令を実行するように作動可能であるデジタルシグナルプロセッサ２２４と、を備える集積回路として実装され得る。音声入力回路部２２２は、例えば、音声センサアレイ２０５へのインターフェースと、アンチエイリアシングフィルタと、アナログデジタルコンバータ回路部と、エコー消去回路部と、他の音声処理の回路部及びコンポーネントを備える場合がある。デジタルシグナルプロセッサ２２４はマルチチャンネルのデジタル音声信号を処理して、１以上のホストシステムコンポーネント２５０に出力される強調された音声信号を生成するように作動可能である。様々な実施形態では、デジタルシグナルプロセッサ２２４は、エコー消去、ノイズ消去、ターゲット信号強調、ポストフィルタリング、及び、他の音声信号処理機能、を実行するように作動可能である場合がある。
オプションの音声出力回路部２２６は、スピーカ２１０ａ及び２１０ｂのような少なくとも１個のスピーカに出力するために、デジタルシグナルプロセッサ２２４から受信した音声信号を処理する。様々な実施形態では、音声出力回路部２２６は、１以上のデジタル音声信号をアナログに変換するデジタルアナログコンバータと、スピーカ２１０ａ―２１０ｂを駆動する１以上のアンプと、を含む場合がある。
音声処理デバイス２００は、例えば、携帯電話、スマートスピーカ、タブレット、ラップトップコンピュータ、デスクトップコンピュータ、音声制御式の機器、又は、自動車のような、ターゲット音声のデータを受信及び強調するように作動可能な如何なるデバイスとして実装され得る。ホストシステムコンポーネント２５０は、音声処理デバイス２００を作動させるための、ハードウェア及びソフトウェアの様々なコンポーネントを備える場合がある。図示された実施形態では、ホストシステムコンポーネント２５０は、プロセッサ２５２と、ユーザインターフェースコンポーネント２５４と、外部デバイス及びネットワーク２８０（例えば、インターネット、クラウド、ローカルエリアネットワーク、又は、電話回線網）のようなネットワークと通信する通信インターフェース２５６と、モバイルデバイス２８４と、メモリ２５８と、を備える。
プロセッサ２５２及びデジタルシグナルプロセッサ２２４は、プロセッサ、マイクロプロセッサ、シングルコアのプロセッサ、マルチコアのプロセッサ、マイクロコントローラ、プログラマブル論理回路（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）（ＰＬＤ）（例えば、フィールドプログラマブルゲートアレイ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）（ＦＰＧＡ））、デジタル信号処理（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ）（ＤＳＰ）デバイス、又は、他の論理デバイスのうちの１以上を備える場合がある。ここで他の論理デバイスは、ハードウェアにより、ソフトウェアを実行することにより、又は、これら両方の組合せにより、本開示の実施形態において本明細書で議論される様々な処理を実行するように構成され得る。ホストシステムコンポーネント２５０は、例えばバス又は他の電子的な通信インターフェースを通して、音声信号プロセッサ２２０及び他のホストシステムコンポーネント２５０と接続及び通信するように構成される。
音声信号プロセッサ２２０及びホストシステムコンポーネント２５０は、ハードウェアコンポーネント、回路部、及び、ソフトウェアを組合せたものを組み込んでいるとして示されている。しかし、いくつかの実施形態では、実行するように作動可能なハードウェアコンポーネント及び回路部の機能のうち少なくともいくつか、あるいは全ては、プロセッサ２５２及び／又はデジタルシグナルプロセッサ２２４によって、メモリ２５８又はデジタルシグナルプロセッサ２２４のファームウェアに記憶されたソフトウェアの命令及び／又は設定データに応答して実行可能なソフトウェアのモジュールとして実装されうることが理解されよう。
メモリ２５８は、音声データとプログラムの命令を含むデータ及び情報を記憶するように作動可能な１以上のメモリデバイスとして実装され得る。メモリ２５８は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ−Ｅｒａｓａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ハードディスクドライブ、及び／又は、他の種類のメモリ、といった揮発性及び不揮発性のメモリデバイスを含む、１以上の様々な種類のメモリデバイスを備える場合がある。
プロセッサ２５２は、メモリ２５８に記憶されたソフトウェアの命令を実行するように作動可能である場合がある。様々な実施形態では、発話認識エンジン２６０は、音声信号プロセッサ２２０から受信した強調された音声信号を処理するように作動可能である。この処理は、音声コマンドを識別及び実行することを含む。音声通信コンポーネント２６２は、モバイルデバイス２８４又はユーザーデバイス２８６のような１以上の外部デバイスとの、モバイルフォン又はセルラーフォンの通信網又はＩＰネットワーク間のＶｏＩＰ通話を用いた通話のような音声通信を容易にするように作動可能な場合がある。様々な実施形態では、音声通信は、強調された音声信号を外部の通信デバイスに伝達することを含む。
ユーザインターフェースコンポーネント２５４は、ディスプレイ、タッチパッドディスプレイ、キーパッド、１以上のボタン、及び／又は、ユーザーに音声処理デバイス２００と直接にやり取りすることを可能にするように作動可能な他の入力／出力コンポーネントを含む場合がある。
通信インターフェース２５６は、音声処理デバイス２００と外部デバイスとの間の通信を容易にする。例えば、通信インターフェース２５６は、音声処理デバイス２００と、１以上のローカルデバイスと、の間の（例えば、８０２．１１の）Ｗｉ−Ｆｉ（登録商標）、又は、ブルートゥース（登録商標）による接続を可能にする場合がある。ここで１以上のローカルデバイスは、例えば、モバイルデバイス２８４、又は、リモートサーバ２８２に（ネットワーク２８０を介するような）ネットワークアクセスを提供するワイヤレスルータ、といったものである。様々な実施形態では、通信インターフェース２５６は、音声処理デバイス２００と１以上の他のデバイスの間の直接又は間接の通信を容易にする、他の有線又は無線の通信コンポーネントを含み得る。
図３は、本開示の様々な実施形態に係る、例示的な音声信号プロセッサ３００を示す。いくつかの実施形態では、音声信号プロセッサ３００は、アナログ及びデジタル回路部と、図２の音声信号プロセッサ２２０のようなデジタルシグナルプロセッサによって実装されたファームウェアロジックと、を含む１以上の集積回路として具体化される。図示されているように、音声信号プロセッサ３００は、音声入力回路部３１５と、サブバンド周波数解析器３２０と、マルチトラックＶＡＤエンジン３２５と、音声強調エンジン３３０と、シンセサイザ３３５と、を備える。
音声信号プロセッサ３００は、少なくとも２個の音声センサ３０５ａ―ｎを備えるセンサアレイ３０５のような、複数の音声センサからマルチチャンネル音声入力を受信する。音声センサ３０５ａ―３０５ｎは、例えば、図２の音声処理デバイス２００のような音声処理デバイス、又は、それに接続された外部コンポーネントと統合された複数のマイクロフォンを含み得る。音声センサ３０５ａ―３０５ｎの配列は、本開示の様々な実施形態により、音声信号プロセッサ３００にとって既知であっても未知であっても良い。
音声信号は、アンチエイリアシングフィルタ、アナログデジタルコンバータ、及び／又は、他の音声入力回路を備える場合がある音声入力回路部３１５によって最初に処理される場合がある。様々な実施形態では、音声入力回路部３１５は、デジタルで、マルチチャンネルな、時間領域の音声信号を出力する。ここで、Ｍはセンサ（例えば、マイクロフォン）入力の数である。マルチチャンネル音声信号は、当該マルチチャンネル音声信号を連続する複数のフレームに分割し、各チャンネルの各フレームを複数の周波数サブバンドに分解するサブバンド周波数解析器３２０に入力される。様々な実施形態では、サブバンド周波数解析器３２０は、フーリエ変換処理を含み、複数の周波数ビンを出力する。分解された音声信号は、その後、マルチトラックＶＡＤエンジン３２５と、音声強調エンジン３３０と、に供給される。
マルチトラックＶＡＤエンジン３２５は、１以上の音声トラックのフレームを解析し、ターゲット音声アクティビティが現在のフレーム内に存在するかを示すＶＡＤ出力を生成するように作動可能である。上記で議論したように、ターゲット音声は、音声システムによって認識されるべき如何なる音声であっても良い。ターゲット音声が人間の発話であるときには、マルチトラックＶＡＤエンジン３２５は、特に発話アクティビティの検出のために実装され得る。様々な実施形態では、マルチトラックＶＡＤエンジン３２５は、音声データのフレームを受信し、音声データのフレームに対応するそれぞれの音声トラックにおけるターゲット音声の存在又は非存在に関するＶＡＤ指標出力を各音声トラックについて生成するように作動可能である。マルチトラックＶＡＤエンジン３２５の詳細な構成要素及び処理は、図４の４００に関連して更に示される。
音声強調エンジン３３０は、サブバンドフレームをサブバンド周波数解析器３２０から、ＶＡＤ指標をマルチトラックＶＡＤエンジン３２５から、受信する。本開示の様々な実施形態において、音声強調エンジン３３０は受信したマルチトラックＶＡＤ指標に基づいてサブバンドフレームを処理して、マルチトラック音声信号を強調するように構成されている。例えば、音声強調エンジン３３０は、音声信号のうちターゲット音源の方向からと決定された部分を強調し、音声信号のうちノイズであると決定された他の部分を抑制する場合がある。
ターゲット音声信号を強調した後、音声強調エンジン３３０は処理された音声信号をシンセサイザ３３５に渡す場合がある。様々な実施形態では、シンセサイザ３３５は、サブバンドを組み合わせることで、１以上のマルチチャンネル音声信号をフレーム毎に再構成して、時間領域の強調された音声信号を形成する。強調された音声信号はその後、再び時間領域に変換され、さらなる処理のためにシステムの構成要素又は外部デバイスに送られる。
図４は、本開示の様々な実施形態に係る、一般のマイクロフォンアレイから複数の音声信号を処理するための例示的なマルチトラックＶＡＤエンジン４００を示す。マルチトラックＶＡＤエンジン４００は、デジタル回路部とデジタルシグナルプロセッサによって実行されるロジックの組合せとして実現され得る。いくつかの実施形態では、マルチトラックＶＡＤエンジン４００は、図３の３００のような音声処理プロセッサにインストールされている場合がある。マルチトラックＶＡＤエンジン４００は、図３のマルチトラックＶＡＤエンジン３２５に、構造的、及び、機能的な詳細を更に提供し得る。
本開示の様々な実施形態では、マルチトラックＶＡＤエンジン４００は、サブバンド解析モジュール４０５、ブロックベースＴＤＯＡ推定モジュール４１０、ＴＤＯＡ軌跡算定モジュール４２０、及び、マルチ音源トラッキング及びマルチストリームＶＡＤ推定モジュール４３０を備える。
サブバンド解析モジュール４０５は、複数の音声信号４０２を受信する。音声信号４０２は、ｘｍ（ｔ）、ｍ＝１、…、Ｍ、で示され、時間領域でサンプルされた、全部でＭ個のマイクロフォン（例えば、図３の音声センサ３０５ａ−ｎと同様）のうちｍ番目のマイクロフォンで録音された音声信号である。音声信号ｘｍ（ｔ）、ｍ＝１、…、Ｍは、図３の音声入力回路部３１５を介して受信される場合がある。
サブバンド解析モジュール４０５は、音声信号４０２を取得し、音声信号４０２を時間周波数領域表現４０４に変換するように構成されている。時間周波数領域表現４０４は、オリジナルの時間領域の音声信号ｘｍ（ｔ）に対応して、Ｘｍ（ｌ，ｋ）で表される。ここで、ｌはサブバンド時間のインデックスを示し、ｋは周波数バンドのインデックスを示す。例えば、サブバンド解析モジュール４０５は、フーリエ変換を実行して入力された時間領域の音声信号を周波数領域表現に変換する図３のサブバンド周波数解析器３２０と同様である場合がある。サブバンド解析モジュール４０５は、その後、生成された時間周波数領域表現４０４をブロックベースＴＤＯＡ推定モジュール４１０と、マルチ音源トラッキング及びマルチストリームＶＡＤ推定モジュール４３０と、に送ることがある。
ＴＤＯＡ軌跡算定モジュール４２０は、一般のマイクロフォンアレイ（例えば、一般のアレイ配置を形成する音声センサ３０５ａ−ｎ）をスキャンするように構成されている。例えば、平面上のマイクロフォンアレイの所与の任意の配置について、許容可能なＴＤＯＡの位置の軌跡が、システム起動時に一度算定される。このポイントの軌跡により、ゴーストの形成を回避することが出来る。
Ｍ個のマイクロフォンの配列について、第１マイクロフォンが基準マイクロフォンとして選択される場合がある。これにより、すべてが第１マイクロフォンに関連する、Ｍ−１対のマイクロフォン対が順次に得られる。例えば、図５Ａは、例示的なマイクロフォン対を示す。マイクロフォン対は、ｉ−１番目の対としてインデックスが付されるが、遠方の音源（遠方場モデルを想定）から放出された方位角θ及び仰角ゼロの入射レイ５０５について、ｉ番目のマイクロフォン５０２と１番目の基準マイクロフォン５０１が含まれる。５０１及び５０２のマイクロフォン対の間の距離は、２つのマイクロフォン間の角度と共に、ｄｉ−１と、ψｉ−１と、でそれぞれに表される。これらは、ｉ番目のマイクロフォン５０２のデカルト座標が与えられれば算定可能である。入射レイ５０５が方位角θと仰角φの角度を有する一般的なケースでは、（ｉ−１）番目のマイクロフォン対のＴＤＯＡは、
Figure 2021110938
 として算定可能である。ここで、ｃは伝播速度である。
異なる方位角及び仰角をスキャンした後、ＴＤＯＡ軌跡算定モジュール４２０は、許容可能なＴＤＯＡのメッシュを構築する場合がある。Ｍ個のマイクロフォンの全てがある平面上に位置する場合、結果のＴＤＯＡ軌跡（θ及びφの全てのスキャンについて、
Figure 2021110938
 となる）もまた（Ｍ−１）次元空間上のある平面上に位置する。Ｍ個のマイクロフォンの配置が異なると、（Ｍ−１）次元空間上の平面が異なることになる。
例えば、図５Ｂでは、異なる２つの例示的なマイクロフォンの配置が、それぞれのＴＤＯＡメッシュと共に示されている。Ｍ＝４個のマイクロフォンのセットが、５１０で示されている。ここで、第１マイクロフォンと第３マイクロフォンの間の距離は８ｃｍであり、許容可能なＴＤＯＡのメッシュの結果は、５１５で示されているＭ−１＝３次元空間である。５２０で示されているように第１マイクロフォンと第３マイクロフォンの距離が１６ｃｍに増えた場合に許容可能なＴＤＯＡのメッシュの結果は、５２５で示される。
図４に戻って、ＴＤＯＡ軌跡算定モジュール４２０は、その後、（Ｍ−１）次元のＴＤＯＡ４０３をブロックベースＴＤＯＡ推定モジュール４１０に送る場合がある。ブロックベースＴＤＯＡ推定モジュール４１０は、マルチ音源音声の時間周波数表現４０４と、ＴＤＯＡ４０３と、を受信する。ＴＤＯＡ推定モジュール４１０は、マルチ音源音声の時間周波数表現４０４と、ＴＤＯＡ４０３と、に基づいて、連続するフレームから取得したデータを用いてソースのマイクロフォン（例えば、図３の音声センサ３０５ａ−ｎ）のＴＤＯＡ情報を抽出する。
一実施形態では、ブロックベースＴＤＯＡ推定モジュール４１０は、ＴＤＯＡ情報をマルチ音源音声の時間周波数領域表現４０４からＴＤＯＡ情報を取得するために、ステアード最小分散（ｓｔｅｅｒｅｄ ｍｉｎｉｍｕｍ ｖａｒｉａｎｃｅ）（ＳＴＭＶ）ビームフォーマーを用いる。より詳しくは、ブロックベースＴＤＯＡ推定モジュール４１０はあるマイクロフォンを基準マイクロフォンとして選択し、そして、残りのＭ−１個のマイクロフォンと基準マイクロフォンとをペアリングすることにより、総数Ｍ−１対のマイクロフォン対を指定する場合がある。マイクロフォン対は、ｐ＝１、…、Ｍ−１でインデックスが付される。
例えば、第１マイクロフォンが基準マイクロフォンとして選択され、これに応じて、Ｘ１（ｌ，ｋ）が基準マイクロフォンからの音声の時間周波数表現を示す場合がある。ｐ番目のマイクロフォンの対について、ブロックベースＴＤＯＡ推定モジュール４１０はｐ番目の対の周波数表現を、行列形式の
Figure 2021110938
 として算定する。ここで、（ ）Ｔは転置を示す。ブロックベースＴＤＯＡ推定モジュール４１０は、そして、各周波数バンドｋについてｐ番目の入力信号対を
Figure 2021110938
 で算定する。ここで、（ ）Ｈはエルミート転置を示す。
いくつかの実装では、Rp（ｋ）の算定における加算は、特定の数の連続するフレームのブロックにわたって行われる。簡潔にするために、ここではブロックのインデックスは省略されている。
ブロックベースＴＤＯＡ推定モジュール４１０は、続いて、各対と周波数バンドについてのステアリング行列を以下のように構築する場合がある。
Figure 2021110938
 ここで、τｐは、θとφ（簡潔にするために省略）の異なるスキャンの後にＴＤＯＡ軌跡算定モジュール４２０から取得したｐ番目の対についてのＴＤＯＡである。ｆｋはｋのバンドにおける周波数である。ｄｉａｇ（［ａ，ｂ］）は対角要素がａ及びｂである２×２の対角行列を示す。
各マイクロフォン対ｐについて、ブロックベースＴＤＯＡ推定モジュール４１０は、全ての周波数バンドにわたってコヒーレントに整列された方位共分散行列を、次のように構築する。
Figure 2021110938
方位共分散行列Ｃｐ（τｐ）の算定は、マイクロフォン対ｐ全体、及び、τｐについての方位角／仰角（θ，φ）のスキャン全てにわたって繰り返される。全てのスキャンにわたる計算量を低減するために、ｐ番目のマイクロフォン対に対応するｐ次元それぞれのＴＤＯＡ空間は、ｑ個のセグメントに線形量子化される。処理の開始時（システムの起動時）において、方位角及び仰角（θ，φ）のそれぞれのスキャンニングから取得したＴＤＯＡ軌跡ポイントである
Figure 2021110938
 は、各次元について量子化された最も近いポイントにマップされる。方位角／仰角（θ，φ）について、
Figure 2021110938
 のマッピングがメモリにセーブされる。ここで、
Figure 2021110938
 は、角度θ及びφのスキャンニングに係るｐ次元の量子化されたＴＤＯＡのインデックスである。
例えば、Ｍ＝４個のマイクロフォンが存在し、方位角と仰角のスキャンがそれぞれ
Figure 2021110938
 であるとする。実行される必要があるＣｐ（τｐ）の個別の計算の数は、
Figure 2021110938
 である。ＴＤＯＡ軌跡ポイントである
Figure 2021110938
 が量子化されたときには、ＴＤＯＡの次元のうちいくつかがｑ個の量子化されたセグメントの中で同じセグメントに量子化され得るため、全ての計算を実行する必要があるわけでは無い。そのため、ｑ＝５０の例では、Ｃｐ（τｐ）を算定するために必要となる個別の計算の最大数は、
Figure 2021110938
 に低減される。ＴＤＯＡ量子化を含むＣｐ（τｐ）の算定を実行するための疑似コードは、次のアルゴリズム１としてあらわされる場合がある。
Figure 2021110938
次に、対ｐのそれぞれについて、無歪の基準に従って、その同等の疑似尤度解でビームのパワーを最小化する方向は、次のように算定される。
Figure 2021110938
 ここで、
Figure 2021110938
 である。ブロックベースＴＤＯＡ推定モジュール４１０は、その後、マイクロフォンのＭ−１個の全ての対について、ＳＴＭＶ結合疑似尤度を次のように算定し得る。
Figure 2021110938
Ｍ−１個の対の最大ＳＴＭＶ結合疑似尤度をもたらす方位角及び仰角が、その後、次のように同定される。
Figure 2021110938
 方位角及び仰角である
Figure 2021110938
 が、その後、マルチ音源トラッキング及びマルチストリームＶＡＤ推定のために用いられる場合がある。可能な解法の一つは、各マイクロフォン対の２つのマイクロフォンの間の角度を直接にトラッキングすることを含む場合がある。しかしながら、３６０度の方位角のラップアラウンド効果によって、対にされたマイクロフォンの間の角度を直接にトラッキングしたときには、マイクロフォンの音源が０°を３６０°に向かって横切る場合、及び、逆の場合、トラックロスが生じる場合がある。そこで、そのような混乱を避けるために、対にされたマイクロフォンの間の角度に基づいて、次の極座標変換を用いて検出ｚが循環的に算定される。
Figure 2021110938
 ここで、
Figure 2021110938
 はスケーリング定数である。スケーリング定数は、測定空間を拡張して、トラッキングを角度のような有意な概念に係るパラメータで実行できるようにする場合がある。
ブロックベースＴＤＯＡ推定モジュール４１０は、その後、算定された検出ｚをマルチ音源トラッキング及びマルチストリームＶＡＤ推定モジュール４３０に送る。トラックの最大数である
Figure 2021110938
 が存在する場合には、ブロックベースＴＤＯＡ推定モジュール４１０から取得されたＴＤＯＡは、先行するステップから取得されたトラックを再帰的に更新することでトラックされる。詳細には、ブロック（時間ステップ）ｎ−１において取得された検出がｚｎ−１で表され、それまでにｔｎ−１個のトラックが存在する場合、時間ステップｎにおいて出現する新たな検出ｚｎ４０６について、マルチ音源トラッキング及びマルチストリームＶＡＤ推定モジュール４３０が新たな検出ｚｎを既存のトラックのゲートに基づいて以下のように処理する。
ｚｎが、先行のｔｎ−１個のうち１個のトラックのゲートに含まれる場合には、その特定のトラックが、検出ｚｎを組込むために更新される。
ｚｎが、先行する（複数の）ｔｎ−１個のトラックの重複するゲートに含まれる場合には、検出ｚｎを組込むために、検出ｚｎに最も近いトラックが更新される。
ｚｎが、先行のｔｎ−１個のトラックのゲートの何れにも含まれず、トラックの最大数である
Figure 2021110938
 が到達しない（例えば、
Figure 2021110938
 ）場合には、そして、検出ｚｎを組込むために新たなトラックが開始され、既存のトラックの数が時間ステップｎ（例えば、ｔｎ＝ｔｎ−１＋１）で更新される。
ｚｎが、先行のｔｎ−１個のトラックのゲートの何れにも含まれず、トラックの最大数である
Figure 2021110938
 が到達する（例えば、
Figure 2021110938
 ）場合には、既存の
Figure 2021110938
 個のトラックのうちパワーが最小であるトラックがキルされ、検出ｚｎを組込むために、新たなトラックに置換えられる。
他の全てのトラックは（先行するステップと同様に）更新、開始、又は、置き換えられていないため、次に、これらのトラックは同じ平均値で更新される。しかし、不確実性を計算に入れるために、例えば、ランダムウォークモデルに基づいて、各トラックのそれぞれの分散は増加する。将来に出現する音源が開始される機会があるように、それぞれのトラックのパワーもまた減衰される。このように、時間ステップｎにおいて最新の検出４０６を組込んだトラッキング結果４０８が、モジュール４３０に出力され得る。トラッキング結果４０８は、
Figure 2021110938
 によって示される。
全ての音声トラックが更新されたときには、モジュール４３０は、最近傍のＭ２Ｔ割当てを用いて、マルチストリームＶＡＤ４１２を生成する。詳細には、時間ステップｎにおいて、Ｍ２Ｔ割当ては、検出ｚｎに最も近いトラックに１を割当て、他のトラックに０を割当てることで実行される場合がある。いくつかの実装では、前の時間ステップにおいて１になった後にゼロが完全に割り当てられるより前に中間値（例えば、−１）を取るように、ＶＡＤにハングオーバーが適用される場合がある。このようにして、それぞれのトラック内で発話アクティビティが検出されたかをそれぞれに示す、
Figure 2021110938
 として表されるマルチストリームＶＡＤ４１２は、音声強調のためにモジュール４３０から、例えば、図３の音声強調エンジン３３０へと出力される。
図６は、本開示の様々な実施形態に係る、マルチ音源トラッキング及びＶＡＤによりマルチ音源音声信号を強調するための例示的な方法６００を示す。いくつかの実施形態では、方法６００は、音声信号プロセッサ３００の１以上のコンポーネントによって、及び／又は、マルチトラックＶＡＤエンジン４００の１以上のコンポーネントによって実行される場合がある。
方法６００は、マイクロフォンアレイの空間情報に基づいてＴＤＯＡ軌跡情報が算定され得るステップ６０２で開始される。例えば、ＴＤＯＡ軌跡情報は、マイクロフォンアレイを様々な方位角及び入射角を有する入射レイでスキャンすることにより、システムの起動時に一度算定される場合がある。算定は、図７を参照してさらに説明するように、マイクロフォンアレイからのマイクロフォンを対にすることで構築された多次元空間において、計算の複雑さが低減された状態で実行される得る。
ステップ６０２についてさらに詳細なステップを提供する図７を参照して、ステップ７０２において、マイクロフォンアレイから第１マイクロフォンが基準マイクロフォンとして選択される場合がある。ステップ７０４において、マイクロフォンアレイの残るマイクロフォンが、それぞれ基準マイクロフォンと対にされる場合がある。ステップ７０６において、各マイクロフォン対について、入射レイの特定の方位角及び特定の仰角に対応するＴＤＯＡ位置が、（例えば、図４を参照して説明された式（１）により）それぞれの対の中の２個のマイクロフォン間の距離及び角度に基づいて算定される場合がある。入射レイの特定の方位角及び特定の仰角を有する例示的なマイクロフォン対が、図５Ａにおいても示されている。
ステップ７０８において、処理されるべき更なるマイクロフォン対が存在する場合、本方法は、ステップ７１０において次のマイクロフォン対を抽出し、全てのマイクロフォン対についてのＴＤＯＡ位置が算定されるまで、ステップ７０６を繰り返す。
ステップ７１２において、方位角及び仰角の更なるスキャンが存在する場合、本方法はステップＳ７１４において方位角及び仰角の次のスキャンを抽出し、方位角及び仰角の全てのスキャンについてＴＤＯＡ位置が算定されるまでステップ７０６を繰り返す。
ステップ７１２において、（例えば、全てのマイクロフォン対について方位角及び仰角のスキャン全体にわたってＴＤＯＡ位置が算定されたといったように）処理されるべき更なる方位角／仰角のスキャンが存在しない場合、ステップ７１６においてＴＤＯＡ位置ポイントのメッシュが形成され得る。マイクロフォンアレイの異なる配置に対応するＴＤＯＡ位置ポイントの例示的なメッシュが、図５Ｂで示されている。
図６に戻って、システム起動時にＴＤＯＡ位置情報を算定すると、方法６００はステップ６０４に移行する。ステップ６０４において、１以上のマルチ音源音声信号がマイクロフォンアレイから受信される場合がある。例えば、図４のマルチ音源音声４０２の時間領域上のサンプルが、図３の音声入力回路部３１５を介して受信される。
ステップ６０６において、１以上のマルチ音源音声信号が時間領域から時間周波数表現に変換される場合がある。例えば、図４に関連して説明したように、サブバンド解析モジュール４０５は時間領域信号を時間周波数表現に変換する場合がある。
ステップ６０８において、算定されたＴＤＯＡ軌跡に基づいて、ＳＴＭＶビームフォーマーにより、１以上のマルチ音源音声信号についてＴＤＯＡ検出データが算定される場合がある。例えば、各マイクロフォン対について、それぞれのマイクロフォン対からの１以上のマルチ音源音声信号の時間周波数表現を用いて、全ての周波数バンドの共分散行列が（例えば、図４に関連して説明された式（２）により）算定される場合がある。そして、それぞれのマイクロフォン対に対応する方位角及び仰角の異なるスキャンについてのＴＤＯＡ位置に基づいて、ステアリング行列が全ての周波数バンドについて（例えば、図４に関連して説明された式（３）により）構築される場合がある。方位共分散行列が、構築されたステアリング行列及び算定された共分散行列に基づいて、全ての周波数バンドにわたって（例えば、図４に関連して説明された式（４）により）整列されて構築される場合がある。ビームのパワーを最小化する疑似尤度解が、構築された方位共分散行列に基づいて、（例えば、図４を参照して説明された式（５）により）決定される場合がある。そして、ＳＭＴＶ結合疑似尤度が、全てのマイクロフォン対にわたって決定された全ての疑似尤度解の積をとることで（例えば、図４を参照して説明された式（６）により）算定される場合がある。ＳＴＭＶ結合疑似尤度を最大化する方位角及び仰角の対が、（例えば、図４を参照して説明された式（７）により）決定される場合がある。決定された方位角及び仰角の対は、（例えば、図４を参照して説明された式（８）により）ＴＤＯＡ検出データを示す極座標表現に変換される場合がある。
ステップ６１０において、複数の音声トラックが更新される場合があり、現在の時間ステップまでに算定されたＴＤＯＡ検出データに基づいて、ＶＡＤデータが構築される場合がある。例えば、現在の時間ステップに対応するＴＤＯＡ検出と、現在の時間ステップまでに先行して確立された既存の音声トラックのセットと、が同定される場合がある。そして、方法６００は、ＴＤＯＡ検出を既存の音声トラックの一つに組み込むか、新たな音声トラックを構築するかを、ＴＤＯＡ検出と既存の音声トラックのゲートの比較に基づいて（図４のモジュール４３０に関連して説明されたように）決定する場合がある。他の例として、方法６００は、それぞれの音声トラックがＴＤＯＡ検出に最も近いときに、それぞれの音声トラックのＶＡＤに第１の値を割当て、他の音声トラックのＶＡＤに第２の値を割当てる場合がある（図４のモジュール４３０に関連して説明されたように）。
ステップ６１２において、更新された複数の音声トラック及び構築されたＶＡＤデータを用いて、１以上の強調されたマルチ音源音声信号が生成される場合がある。例えば、強調されたマルチ音源信号は、次に、様々なデバイス又はコンポーネントに伝達される場合がある。例えば、強調されたマルチ音源信号はパケット化され、ネットワークを超えて他の音声出力デバイス（例えば、スマートフォン、コンピュータ等）に伝達される場合がある。強調されたマルチ音源信号は、更なる処理のために、自動化された発話認識コンポーネントのような声処理回路部にもまた伝達される場合がある。
前述の開示は、開示された正確な形態または特定の使用分野に本発明を限定することを意図したものでは無い。したがって、本開示に照らして、本明細書で明示的に説明された又は暗示されたかにかかわらず、本開示について様々な代替の実施形態、及び／又は、変形例が可能であると考えられる。例えば、本明細書で説明された実施形態は、ヒューマン・マシンインタラクションのタスクを管理する目的で、複数の音源の環境内での位置を提供されるために（例えば、ビデオストリーム、３Ｄカメラ、Ｌｉｄａｒ、等のような他の様式からの追加情報と組み合わせたアプリケーションで）用いられる場合がある。ここまで本開示の実施形態を説明したが、当業者は従来のアプローチに対する利点を認識し、本開示の範囲から逸脱することなく、形態および詳細が変更可能であることを認識するだろう。したがって、本開示は、特許請求の範囲によってのみ限定される。

Claims (20)

  1. マルチ音源トラッキング及び発話区間検出によりマルチ音源音声を強調するための方法であり、
    音声入力回路部を介して、１以上のマルチ音源音声信号をマイクロフォンアレイから受信することと、
    前記マイクロフォンアレイからのいくつかのマイクロフォン対によって定義された多次元空間の内に構築されたＴＤＯＡ軌跡情報に基づくステアード最小分散（ＳＴＭＶ）ビームフォーマーにより、前記１以上のマルチ音源音声信号についてＴＤＯＡ検出データを算定することと、
    現在の時間ステップまでに算定された前記ＴＤＯＡ検出データに基づいて、複数の音声トラックを更新することと、
    算定された前記ＴＤＯＡ検出データに基づいて、前記複数の音声トラックのそれぞれについて発話区間検出（ＶＡＤ）データを構築することと、
    更新された前記複数の音声トラック及び構成された前記ＶＡＤデータを用いて、１以上の強調されたマルチ音源音声信号を生成することと、
    を含む方法。
  2. 前記マイクロフォンアレイからのいくつかのマイクロフォン対によって定義された前記多次元空間が、
    前記マイクロフォンアレイから第１マイクロフォンを基準マイクロフォンとして選択することと、
    前記マイクロフォンアレイの残るマイクロフォンのそれぞれを前記基準マイクロフォンと対にすることと、
    によって形成される、
    請求項１の方法。
  3. 前記ＴＤＯＡ軌跡情報が、
    各マイクロフォン対について、それぞれの対に含まれる２個のマイクロフォンの間の距離と角度とに基づいて、入射レイの特定の方位角及び特定の仰角に対応するＴＤＯＡ位置を算定することと、
    マイクロフォン対の全てにわたって前記入射レイの前記特定の方位角及び前記特定の仰角を変更することによってＴＤＯＡ位置ポイントのメッシュを形成することと、
    によって、前記いくつかのマイクロフォン対の空間情報に基づいて、起動ステージにおいて１回算定される、
    請求項２の方法。
  4. 前記マイクロフォンアレイが実際には第２平面上に物理的に位置するときには、ＴＤＯＡ位置ポイントの前記メッシュが、マイクロフォン対の総数と同数の次元を有する前記多次元空間内の第１平面上に位置する、
    請求項３の方法。
  5. 前記１以上のマルチ音源音声信号について前記ＴＤＯＡ検出データを算定することが、各マイクロフォン対について、
    それぞれのマイクロフォン対からの前記１以上のマルチ音源音声信号の時間周波数表現を用いて、全ての周波数バンドについての共分散行列を算定することと、
    それぞれのマイクロフォン対に対応する方位角及び仰角の異なるスキャンについてのＴＤＯＡ位置に基づいて、全ての周波数バンドについてステアリング行列を構築することと、
    構築された前記ステアリング行列及び算定された前記共分散行列に基づいて、全ての周波数バンドにわたって整列された方位共分散行列を構築することと、
    構築された前記方位共分散行列に基づいて、ビームのパワーを最小にする疑似尤度解を決定することと、
    を更に含む、
    請求項２の方法。
  6. 全てのマイクロフォン対にわたって決定された全ての疑似尤度解の積を取ることで、ＳＴＭＶ結合疑似尤度を算定することと、
    前記ＳＴＭＶ結合疑似尤度を最大にする方位角及び仰角の対を決定することと、
    決定された方位角及び仰角の前記対を、前記ＴＤＯＡ検出データを示す極座標表現に変換することと、
    を更に含む、
    請求項５の方法。
  7. 構築された前記ステアリング行列及び算定された前記共分散行列に基づいて、前記全ての周波数バンドにわたって整列された方位共分散行列を構築することが、マイクロフォン対の全て、及び、方位角及び仰角のスキャンの全てにわたって繰り返される、
    請求項６の方法。
  8. 構築された前記ステアリング行列及び算定された前記共分散行列に基づいて、全ての周波数バンドにわたって整列された前記方位共分散行列を構築することが、
    前記多次元空間を、セグメントの数が前記多次元空間の次元の総数よりも少ないところの、いくつかのセグメントに分割することと、
    ＴＤＯＡ位置ポイントのメッシュからの各ＴＤＯＡ位置ポイントを、最も近いセグメントにマッピングすることと、
    方位角及び仰角のスキャンの全てから構築されたＴＤＯＡ位置ポイントの前記メッシュに代えて、前記いくつかのセグメントと、ＴＤＯＡ位置ポイントの前記メッシュと前記いくつかのセグメントとの間のマッピングの関係とを用いて前記方位共分散行列を算定することと、
    によって、減少された反復で実行される、
    請求項６の方法。
  9. 現在の時間ステップまでに算定された前記ＴＤＯＡ検出データに基づいて、前記複数の音声トラックを更新することが、
    現在の時間ステップに対応するＴＤＯＡ検出と、前記現在の時間ステップまでにあらかじめ確立された既存の音声トラックのセットと、を同定することと、
    前記ＴＤＯＡ検出と、前記既存の音声トラックのゲートとの比較に基づいて、前記ＴＤＯＡ検出を前記既存の音声トラックのうち１つに組み込むか、新たな音声トラックを確立するか、を決定することと、
    を更に含む、
    請求項１の方法。
  10. 算定された前記ＴＤＯＡ検出データに基づいて、前記複数の音声トラックのそれぞれについてＶＡＤデータを構築することが、
    それぞれの音声トラックが前記ＴＤＯＡ検出に最も近いときに、第１の値をそれぞれの音声トラックに割当てることと、
    他の音声トラックに第２の値を割当てることと、
    を更に含む、
    請求項１の方法。
  11. マルチ音源トラッキング及び発話区間検出によりマルチ音源音声を強調するための音声処理デバイスであり、
    １以上のマルチ音源音声信号をマイクロフォンアレイから受信するように構成された音声入力回路部と、
    到達時差（ＴＤＯＡ）推定器であり、マイクロフォンアレイからのいくつかのマイクロフォン対によって定義された多次元空間の内に構築されたＴＤＯＡ軌跡情報に基づくステアード最小分散（ＳＴＭＶ）ビームフォーマーにより、前記１以上のマルチ音源音声信号についてＴＤＯＡ検出データを算定するように構成されたＴＤＯＡ推定器と、
    現在の時間ステップまでに算定された前記ＴＤＯＡ検出データに基づいて、複数の音声トラックを更新し、算定された前記ＴＤＯＡ検出データに基づいて、前記複数の音声トラックのそれぞれについて発話区間検出（ＶＡＤ）データを構築するように構成されたマルチ音源音声追跡器と、
    更新された前記複数の音声トラック及び構築された前記ＶＡＤデータを用いて、１以上の強調されたマルチ音源音声信号を生成するように構成された音声強調エンジンと、
    を備える、音声処理デバイス。
  12. 前記マイクロフォンアレイからのいくつかのマイクロフォン対によって定義された前記多次元空間が、
    前記マイクロフォンアレイから第１マイクロフォンを基準マイクロフォンとして選択することと、
    前記マイクロフォンアレイの残るマイクロフォンのそれぞれを前記基準マイクロフォンと対にすることと、
    によって形成される、
    請求項１１の音声処理デバイス。
  13. 前記ＴＤＯＡ軌跡情報が、
    各マイクロフォン対について、それぞれの対に含まれる２個のマイクロフォンの間の距離と角度とに基づいて、入射レイの特定の方位角及び特定の仰角に対応するＴＤＯＡ位置を算定することと、
    マイクロフォン対の全てにわたって前記入射レイの前記特定の方位角及び前記特定の仰角を変更することによってＴＤＯＡ位置ポイントのメッシュを形成することと、
    によって、前記いくつかのマイクロフォン対の空間情報に基づいて、起動ステージにおいて１回算定される、
    請求項１２の音声処理デバイス。
  14. 前記マイクロフォンアレイが実際には第２平面上に物理的に位置するときには、ＴＤＯＡ位置ポイントの前記メッシュが、マイクロフォン対の総数と同数の次元を有する前記多次元空間内の第１平面上に位置する、
    請求項１３の音声処理デバイス。
  15. 前記ＴＤＯＡ推定器が、各マイクロフォン対について、
    それぞれのマイクロフォン対からの前記１以上のマルチ音源音声信号の時間周波数表現を用いて、全ての周波数バンドについての共分散行列を算定することと、
    それぞれのマイクロフォン対に対応する方位角及び仰角の異なるスキャンについてのＴＤＯＡ位置に基づいて、全ての周波数バンドについて、ステアリング行列を構築することと、
    構築された前記ステアリング行列及び算定された前記共分散行列に基づいて、全ての周波数バンドにわたって整列された方位共分散行列を構築することと、
    構築された前記方位共分散行列に基づいて、ビームのパワーを最小にする疑似尤度解を決定することと、
    によって前記ＴＤＯＡ検出データを算定するように構成されている、
    請求項１２の音声処理デバイス。
  16. 前記ＴＤＯＡ推定器が、
    全てのマイクロフォン対にわたって決定された全ての疑似尤度解の積を取ることで、ＳＴＭＶ結合疑似尤度を算定することと、
    前記ＳＴＭＶ結合疑似尤度を最大にする方位角及び仰角の対を決定することと、
    決定された方位角及び仰角の前記対を、前記ＴＤＯＡ検出データを示す極座標表現に変換することと、
    によって前記ＴＤＯＡ検出データを算定するように更に構成されている、
    請求項１５の音声処理デバイス。
  17. 前記ＴＤＯＡ推定器が、構築された前記ステアリング行列及び算定された前記共分散行列に基づいて前記全ての周波数バンドにわたって整列された方位共分散行列を構築するように更に構成されており、算定された前記共分散行列が前記マイクロフォン対の全て、及び、方位角及び仰角のスキャンの全てにわたって繰り返される、
    請求項１６の音声処理デバイス。
  18. 前記ＴＤＯＡ推定器が、
    前記多次元空間を、セグメントの数が前記多次元空間の次元の総数よりも少ないところの、いくつかのセグメントに分割することと、
    ＴＤＯＡ位置ポイントのメッシュからの各ＴＤＯＡ位置ポイントを、最も近いセグメントにマッピングすることと、
    方位角及び仰角のスキャンの全てから構築されたＴＤＯＡ位置ポイントの前記メッシュに代えて、前記いくつかのセグメントと、ＴＤＯＡ位置ポイントの前記メッシュと前記いくつかのセグメントの間のマッピング関係とを用いて前記方位共分散行列を算定することと、
    によって、構築された前記ステアリング行列及び算定された前記共分散行列に基づいて前記全ての周波数バンドにわたって整列された前記方位共分散行列を、減少した反復で構築するように更に構成されている、
    請求項１６の音声処理デバイス。
  19. 前記マルチ音源音声追跡器が、
    現在の時間ステップに対応するＴＤＯＡ検出と、前記現在の時間ステップまでにあらかじめ確立された既存の音声トラックのセットと、を同定することと、
    前記ＴＤＯＡ検出と、前記既存の音声トラックのゲートとの比較に基づいて、前記ＴＤＯＡ検出を前記既存の音声トラックの１つに組み込むか、新たな音声トラックを確立するか、を決定することと、
    によって、現在の時間ステップまでに算定された前記ＴＤＯＡ検出データに基づいて、前記複数の音声トラックを更新するように構成されている、
    請求項１１の音声処理デバイス。
  20. 前記マルチ音源音声追跡器が、
    それぞれの音声トラックが前記ＴＤＯＡ検出に最も近いときに、第１の値をそれぞれの音声トラックに割当てることと、
    他の音声トラックに第２の値を割当てることと、
    によって、算定された前記ＴＤＯＡ検出に基づいて、前記複数の音声トラックについてＶＡＤデータを構築するように構成されている、
    請求項１１の音声処理デバイス。
JP2020212089A 2020-01-10 2020-12-22 平面マイクロフォンアアレイのための複数音源トラッキング及び発話区間検出 Pending JP2021110938A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/740,297 2020-01-10
US16/740,297 US11064294B1 (en) 2020-01-10 2020-01-10 Multiple-source tracking and voice activity detections for planar microphone arrays

Publications (2)

Publication Number Publication Date
JP2021110938A true JP2021110938A (ja) 2021-08-02
JP2021110938A5 JP2021110938A5 (ja) 2023-12-20

Family

ID=76709199

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020212089A Pending JP2021110938A (ja) 2020-01-10 2020-12-22 平面マイクロフォンアアレイのための複数音源トラッキング及び発話区間検出

Country Status (4)

Country Link
US (2) US11064294B1 (ja)
JP (1) JP2021110938A (ja)
KR (1) KR20210091034A (ja)
CN (1) CN113113034A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202022101069U1 (de) 2022-02-24 2022-03-23 Pankaj Agarwal Intelligentes Geräuscherkennungssystem auf der Grundlage der Verarbeitung mehrerer Geräusche durch künstliche Intelligenz

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7407580B2 (ja) 2018-12-06 2024-01-04 シナプティクス インコーポレイテッド システム、及び、方法
US11197232B2 (en) * 2019-04-01 2021-12-07 Ofinno, Llc Location reporting handling
US11064294B1 (en) 2020-01-10 2021-07-13 Synaptics Incorporated Multiple-source tracking and voice activity detections for planar microphone arrays
CN111586547B (zh) * 2020-04-28 2022-05-06 北京小米松果电子有限公司 音频输入模组的检测方法及装置、存储介质
US11830471B1 (en) * 2020-08-31 2023-11-28 Amazon Technologies, Inc. Surface augmented ray-based acoustic modeling
CN113782047B (zh) * 2021-09-06 2024-03-08 云知声智能科技股份有限公司 语音分离方法、装置、设备和存储介质
US11823707B2 (en) 2022-01-10 2023-11-21 Synaptics Incorporated Sensitivity mode for an audio spotting system
US20220236360A1 (en) * 2022-04-19 2022-07-28 Intel Corporation Method and system of detection of acoustic source aiming direction
CN115113139B (zh) * 2022-05-12 2024-02-02 苏州清听声学科技有限公司 基于传声器阵列的声源识别方法、装置及电子设备
WO2024065256A1 (en) * 2022-09-28 2024-04-04 Citrix Systems, Inc. Positional and echo audio enhancement
CN115295000B (zh) * 2022-10-08 2023-01-03 深圳通联金融网络科技服务有限公司 提高多对象说话场景下语音识别准确性的方法、装置及设备

Family Cites Families (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3484112B2 (ja) 1999-09-27 2004-01-06 株式会社東芝 雑音成分抑圧処理装置および雑音成分抑圧処理方法
US6370500B1 (en) 1999-09-30 2002-04-09 Motorola, Inc. Method and apparatus for non-speech activity reduction of a low bit rate digital voice message
GB2379148A (en) 2001-08-21 2003-02-26 Mitel Knowledge Corp Voice activity detection
US7088831B2 (en) 2001-12-06 2006-08-08 Siemens Corporate Research, Inc. Real-time audio source separation by delay and attenuation compensation in the time domain
AUPS270902A0 (en) 2002-05-31 2002-06-20 Canon Kabushiki Kaisha Robust detection and classification of objects in audio using limited training data
US7146315B2 (en) 2002-08-30 2006-12-05 Siemens Corporate Research, Inc. Multichannel voice detection in adverse environments
CN1303582C (zh) 2003-09-09 2007-03-07 摩托罗拉公司 自动语音归类方法
KR100754385B1 (ko) 2004-09-30 2007-08-31 삼성전자주식회사 오디오/비디오 센서를 이용한 위치 파악, 추적 및 분리장치와 그 방법
US7464029B2 (en) 2005-07-22 2008-12-09 Qualcomm Incorporated Robust separation of speech signals in a noisy environment
JP2007047427A (ja) 2005-08-10 2007-02-22 Hitachi Ltd 音声処理装置
KR100821177B1 (ko) 2006-09-29 2008-04-14 한국전자통신연구원 통계적 모델에 기반한 선험적 음성 부재 확률 추정 방법
KR100964402B1 (ko) 2006-12-14 2010-06-17 삼성전자주식회사 오디오 신호의 부호화 모드 결정 방법 및 장치와 이를 이용한 오디오 신호의 부호화/복호화 방법 및 장치
US8098842B2 (en) 2007-03-29 2012-01-17 Microsoft Corp. Enhanced beamforming for arrays of directional microphones
US8005237B2 (en) 2007-05-17 2011-08-23 Microsoft Corp. Sensor array beamformer post-processor
EP2081189B1 (en) 2008-01-17 2010-09-22 Harman Becker Automotive Systems GmbH Post-filter for beamforming means
US9113240B2 (en) 2008-03-18 2015-08-18 Qualcomm Incorporated Speech enhancement using multiple microphones on multiple devices
KR20100006492A (ko) 2008-07-09 2010-01-19 삼성전자주식회사 부호화 방식 결정 방법 및 장치
EP2146519B1 (en) 2008-07-16 2012-06-06 Nuance Communications, Inc. Beamforming pre-processing for speaker localization
JP2010085733A (ja) 2008-09-30 2010-04-15 Equos Research Co Ltd 音声強調システム
US9202456B2 (en) 2009-04-23 2015-12-01 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for automatic control of active noise cancellation
US20110010172A1 (en) 2009-07-10 2011-01-13 Alon Konchitsky Noise reduction system using a sensor based speech detector
JP5411807B2 (ja) 2010-05-25 2014-02-12 日本電信電話株式会社 チャネル統合方法、チャネル統合装置、プログラム
US9037458B2 (en) 2011-02-23 2015-05-19 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for spatially selective audio augmentation
CN102956230B (zh) 2011-08-19 2017-03-01 杜比实验室特许公司 对音频信号进行歌曲检测的方法和设备
EP2791935B1 (en) 2011-12-12 2016-03-09 Dolby Laboratories Licensing Corporation Low complexity repetition detection in media data
CN103325386B (zh) 2012-03-23 2016-12-21 杜比实验室特许公司 用于信号传输控制的方法和系统
KR101318328B1 (ko) 2012-04-12 2013-10-15 경북대학교 산학협력단 성김 특성 최소화를 통한 암묵 신호 제거를 이용한 음성 향상 방법 및 장치
US9768829B2 (en) 2012-05-11 2017-09-19 Intel Deutschland Gmbh Methods for processing audio signals and circuit arrangements therefor
TWI474317B (zh) 2012-07-06 2015-02-21 Realtek Semiconductor Corp 訊號處理裝置以及訊號處理方法
US10142007B2 (en) 2012-07-19 2018-11-27 Intel Deutschland Gmbh Radio communication devices and methods for controlling a radio communication device
DK2701145T3 (en) 2012-08-24 2017-01-16 Retune DSP ApS Noise cancellation for use with noise reduction and echo cancellation in personal communication
EP2747451A1 (en) 2012-12-21 2014-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Filter and method for informed spatial filtering using multiple instantaneous direction-of-arrivial estimates
US9183849B2 (en) 2012-12-21 2015-11-10 The Nielsen Company (Us), Llc Audio matching with semantic audio recognition and report generation
US9158760B2 (en) 2012-12-21 2015-10-13 The Nielsen Company (Us), Llc Audio decoding with supplemental semantic audio recognition and report generation
CN104969289B (zh) 2013-02-07 2021-05-28 苹果公司 数字助理的语音触发器
CN104078050A (zh) 2013-03-26 2014-10-01 杜比实验室特许公司 用于音频分类和音频处理的设备和方法
US9769576B2 (en) * 2013-04-09 2017-09-19 Sonova Ag Method and system for providing hearing assistance to a user
EP2801974A3 (en) 2013-05-09 2015-02-18 DSP Group Ltd. Low power activation of a voice activated device
CN104217729A (zh) 2013-05-31 2014-12-17 杜比实验室特许公司 音频处理方法和音频处理装置以及训练方法
US9747899B2 (en) 2013-06-27 2017-08-29 Amazon Technologies, Inc. Detecting self-generated wake expressions
US9601130B2 (en) 2013-07-18 2017-03-21 Mitsubishi Electric Research Laboratories, Inc. Method for processing speech signals using an ensemble of speech enhancement procedures
US9240182B2 (en) 2013-09-17 2016-01-19 Qualcomm Incorporated Method and apparatus for adjusting detection threshold for activating voice assistant function
GB2518663A (en) 2013-09-27 2015-04-01 Nokia Corp Audio analysis apparatus
US9502028B2 (en) 2013-10-18 2016-11-22 Knowles Electronics, Llc Acoustic activity detection apparatus and method
US9654894B2 (en) 2013-10-31 2017-05-16 Conexant Systems, Inc. Selective audio source enhancement
EP2884489B1 (en) 2013-12-16 2020-02-05 Harman Becker Automotive Systems GmbH Sound system including an engine sound synthesizer
US9589560B1 (en) 2013-12-19 2017-03-07 Amazon Technologies, Inc. Estimating false rejection rate in a detection system
EP2916321B1 (en) 2014-03-07 2017-10-25 Oticon A/s Processing of a noisy audio signal to estimate target and noise spectral variances
US9548065B2 (en) 2014-05-05 2017-01-17 Sensory, Incorporated Energy post qualification for phrase spotting
US9484022B2 (en) 2014-05-23 2016-11-01 Google Inc. Training multiple neural networks with different accuracy
US9369113B2 (en) 2014-06-20 2016-06-14 Steve Yang Impedance adjusting device
US10360926B2 (en) 2014-07-10 2019-07-23 Analog Devices Global Unlimited Company Low-complexity voice activity detection
US9432769B1 (en) 2014-07-30 2016-08-30 Amazon Technologies, Inc. Method and system for beam selection in microphone array beamformers
US9953661B2 (en) 2014-09-26 2018-04-24 Cirrus Logic Inc. Neural network voice activity detection employing running range normalization
US9530400B2 (en) 2014-09-29 2016-12-27 Nuance Communications, Inc. System and method for compressed domain language identification
US10049678B2 (en) 2014-10-06 2018-08-14 Synaptics Incorporated System and method for suppressing transient noise in a multichannel system
JP6450139B2 (ja) 2014-10-10 2019-01-09 株式会社Ｎｔｔドコモ 音声認識装置、音声認識方法、及び音声認識プログラム
US20160275961A1 (en) 2015-03-18 2016-09-22 Qualcomm Technologies International, Ltd. Structure for multi-microphone speech enhancement system
US9734822B1 (en) 2015-06-01 2017-08-15 Amazon Technologies, Inc. Feedback based beamformed signal selection
US10229700B2 (en) 2015-09-24 2019-03-12 Google Llc Voice activity detection
US9668073B2 (en) 2015-10-07 2017-05-30 Robert Bosch Gmbh System and method for audio scene understanding of physical object sound sources
US11631421B2 (en) 2015-10-18 2023-04-18 Solos Technology Limited Apparatuses and methods for enhanced speech recognition in variable environments
US10347271B2 (en) 2015-12-04 2019-07-09 Synaptics Incorporated Semi-supervised system for multichannel source enhancement through configurable unsupervised adaptive transformations and supervised deep neural network
US9978397B2 (en) 2015-12-22 2018-05-22 Intel Corporation Wearer voice activity detection
US10090005B2 (en) 2016-03-10 2018-10-02 Aspinity, Inc. Analog voice activity detection
KR102151682B1 (ko) 2016-03-23 2020-09-04 구글 엘엘씨 다중채널 음성 인식을 위한 적응성 오디오 강화
US9947323B2 (en) 2016-04-01 2018-04-17 Intel Corporation Synthetic oversampling to enhance speaker identification or verification
US11107461B2 (en) 2016-06-01 2021-08-31 Massachusetts Institute Of Technology Low-power automatic speech recognition device
US20180039478A1 (en) 2016-08-02 2018-02-08 Google Inc. Voice interaction services
EP3522152B1 (en) 2016-09-30 2020-02-12 Sony Corporation Signal processing device, signal processing method, and program
US9741360B1 (en) 2016-10-09 2017-08-22 Spectimbre Inc. Speech enhancement for target speakers
US9881634B1 (en) 2016-12-01 2018-01-30 Arm Limited Multi-microphone speech processing system
WO2018106971A1 (en) 2016-12-07 2018-06-14 Interactive Intelligence Group, Inc. System and method for neural network based speaker classification
US10546575B2 (en) 2016-12-14 2020-01-28 International Business Machines Corporation Using recurrent neural network for partitioning of audio data into segments that each correspond to a speech feature cluster identifier
US10083689B2 (en) 2016-12-23 2018-09-25 Intel Corporation Linear scoring for low power wake on voice
US10170134B2 (en) 2017-02-21 2019-01-01 Intel IP Corporation Method and system of acoustic dereverberation factoring the actual non-ideal acoustic environment
JP6652519B2 (ja) 2017-02-28 2020-02-26 日本電信電話株式会社 ステアリングベクトル推定装置、ステアリングベクトル推定方法およびステアリングベクトル推定プログラム
US10224053B2 (en) 2017-03-24 2019-03-05 Hyundai Motor Company Audio signal quality enhancement based on quantitative SNR analysis and adaptive Wiener filtering
US10269369B2 (en) 2017-05-31 2019-04-23 Apple Inc. System and method of noise reduction for a mobile device
US10403299B2 (en) 2017-06-02 2019-09-03 Apple Inc. Multi-channel speech signal enhancement for robust voice trigger detection and automatic speech recognition
US10096328B1 (en) 2017-10-06 2018-10-09 Intel Corporation Beamformer system for tracking of speech and noise in a dynamic environment
US10090000B1 (en) 2017-11-01 2018-10-02 GM Global Technology Operations LLC Efficient echo cancellation using transfer function estimation
US10777189B1 (en) 2017-12-05 2020-09-15 Amazon Technologies, Inc. Dynamic wakeword detection
US10504539B2 (en) 2017-12-05 2019-12-10 Synaptics Incorporated Voice activity detection systems and methods
US10679617B2 (en) 2017-12-06 2020-06-09 Synaptics Incorporated Voice enhancement in audio signals through modified generalized eigenvalue beamformer
WO2019126569A1 (en) 2017-12-21 2019-06-27 Synaptics Incorporated Analog voice activity detector systems and methods
US10957338B2 (en) * 2018-05-16 2021-03-23 Synaptics Incorporated 360-degree multi-source location detection, tracking and enhancement
US11062727B2 (en) * 2018-06-13 2021-07-13 Ceva D.S.P Ltd. System and method for voice activity detection
JP7407580B2 (ja) 2018-12-06 2024-01-04 シナプティクス インコーポレイテッド システム、及び、方法
US11232788B2 (en) 2018-12-10 2022-01-25 Amazon Technologies, Inc. Wakeword detection
KR102174598B1 (ko) * 2019-01-14 2020-11-05 한국과학기술원 회절 인지를 통한 비가시선 음원 위치 추적 방법 및 시스템
US11069353B1 (en) 2019-05-06 2021-07-20 Amazon Technologies, Inc. Multilingual wakeword detection
CN114051738A (zh) * 2019-05-23 2022-02-15 舒尔获得控股公司 可操纵扬声器阵列、系统及其方法
US11064294B1 (en) 2020-01-10 2021-07-13 Synaptics Incorporated Multiple-source tracking and voice activity detections for planar microphone arrays
US11308959B2 (en) 2020-02-11 2022-04-19 Spotify Ab Dynamic adjustment of wake word acceptance tolerance thresholds in voice-controlled devices
US11769520B2 (en) 2020-08-17 2023-09-26 EMC IP Holding Company LLC Communication issue detection using evaluation of multiple machine learning models

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202022101069U1 (de) 2022-02-24 2022-03-23 Pankaj Agarwal Intelligentes Geräuscherkennungssystem auf der Grundlage der Verarbeitung mehrerer Geräusche durch künstliche Intelligenz

Also Published As

Publication number Publication date
US11937054B2 (en) 2024-03-19
US11064294B1 (en) 2021-07-13
US20210314701A1 (en) 2021-10-07
CN113113034A (zh) 2021-07-13
US20210219053A1 (en) 2021-07-15
KR20210091034A (ko) 2021-07-21

Similar Documents

Publication Publication Date Title
JP2021110938A (ja) 平面マイクロフォンアアレイのための複数音源トラッキング及び発話区間検出
US9721583B2 (en) Integrated sensor-array processor
US11694710B2 (en) Multi-stream target-speech detection and channel fusion
US10123113B2 (en) Selective audio source enhancement
US10930298B2 (en) Multiple input multiple output (MIMO) audio signal processing for speech de-reverberation
US10957338B2 (en) 360-degree multi-source location detection, tracking and enhancement
JP7324753B2 (ja) 修正された一般化固有値ビームフォーマーを用いた音声信号のボイス強調
US20130096922A1 (en) Method, apparatus and computer program product for determining the location of a plurality of speech sources
WO2016040885A1 (en) Systems and methods for restoration of speech components
Potamitis et al. An integrated system for smart-home control of appliances based on remote speech interaction.
US11264017B2 (en) Robust speaker localization in presence of strong noise interference systems and methods
CN103181190A (zh) 用于远场多源追踪和分离的系统、方法、设备和计算机可读媒体
CN108109617A (zh) 一种远距离拾音方法
CN110610718B (zh) 一种提取期望声源语音信号的方法及装置
CN111415686A (zh) 针对高度不稳定的噪声源的自适应空间vad和时间-频率掩码估计
US10049685B2 (en) Integrated sensor-array processor
US11521635B1 (en) Systems and methods for noise cancellation
KR20210137146A (ko) 큐의 클러스터링을 사용한 음성 증강
US11727926B1 (en) Systems and methods for noise reduction
Salvati et al. Joint identification and localization of a speaker in adverse conditions using a microphone array
US11483644B1 (en) Filtering early reflections
Hu et al. Processing of speech signals using a microphone array for intelligent robots
WO2023086273A1 (en) Distributed audio device ducking
US20180342259A1 (en) Integrated Sensor-Array Processor
WO2023167828A1 (en) Spatial representation learning

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231212

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231212