JP2021533423A - オーディオ認識方法、ターゲットオーディオを位置決める方法、それらの装置、およびデバイスとコンピュータプログラム - Google Patents

オーディオ認識方法、ターゲットオーディオを位置決める方法、それらの装置、およびデバイスとコンピュータプログラム Download PDF

Info

Publication number
JP2021533423A
JP2021533423A JP2021531173A JP2021531173A JP2021533423A JP 2021533423 A JP2021533423 A JP 2021533423A JP 2021531173 A JP2021531173 A JP 2021531173A JP 2021531173 A JP2021531173 A JP 2021531173A JP 2021533423 A JP2021533423 A JP 2021533423A
Authority
JP
Japan
Prior art keywords
audio
time frequency
signal
audio signal
frequency point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021531173A
Other languages
English (en)
Other versions
JP7158806B2 (ja
Inventor
脊萌 ▲鄭▼
イアン・エルナン・リュウ
毅 高
▲韋▼▲偉▼ 黎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of JP2021533423A publication Critical patent/JP2021533423A/ja
Application granted granted Critical
Publication of JP7158806B2 publication Critical patent/JP7158806B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/8006—Multi-channel systems specially adapted for direction-finding, i.e. having a single aerial system capable of giving simultaneous indications of the directions of different signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0224—Processing in the time domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

音源方位角演算方法、ターゲットオーディオを位置決める方法、装置およびデバイスが開示されており、この方法は、空間内の複数の方向のオーディオ信号を取得するステップと、オーディオ信号に対してエコー除去処理を行うステップと、オーディオ信号の特徴を使用して、オーディオ信号の複数の時間周波数ポイントでの重みを取得し、各時間周波数ポイントでの重みはーゲットオーディオダイレクト信号の相対的な割合を示すステップと、複数の方向における各方向のオーディオ信号に対して、複数の時間周波数ポイントでの重みを使用して、オーディオ信号の複数の時間周波数ポイントでの時間周波数成分をそれぞれ重み付けて、各方向のオーディオ信号の重み付け信号エネルギーを得るステップと、各方向のオーディオ信号の重み付け信号エネルギーを使用して、オーディオ信号におけるターゲットオーディオダイレクト信号に対応する音源方位角を得るステップと、を含む。

Description

本願は、２０１８年１１月３０日に中国特許局へ出願された、出願番号が２０１８１１４５５８８０．６であり、出願名称が「音源方位角演算、ターゲットオーディオを位置決める方法、装置、およびデバイス」である中国特許出願の優先権を主張し、その全ての内容が参照することにより本願に組み込まれる。
本願の実施例は、オーディオインタラクションアプリケーションの技術分野に関し、特に、オーディオ認識方法、オーディオインタラクションデバイスがターゲットオーディオを位置決める方法、それらの装置、およびオーディオインタラクションデバイスに関する。
スマートスピーカーおよびその派生品の流行に従って、マンマシンの間の音声インタラクションは、だんだん重要なマンマシンインタラクション方式になる。スマートスピーカーなどのオーディオインタラクションデバイスは、人々の日常生活に音声認識インターフェースを提供し、これにより、マンマシンの間の音声インタラクションが開始される。
オーディオインタラクションデバイスは、人間との音声インタラクションにおいて、人間、即ちターゲット音声に対応する音源の方位を知る必要があり、これにより、指向性ピックアップ、雑音低減処理を行いながらターゲット音声に対して音声強化を行うことができ、これによって、音声信号の品質を向上させる。
具体的には、ターゲット方向の音声、すなわちターゲット音声がビーム形成アルゴリズムなどによって強化され、このプロセスは、ターゲット方向、すなわちターゲット音声の方向を表す方位角に依存する。既存の実装では、ビーム形成アルゴリズムは、システムがターゲット音声の方位角を事前に提供する必要があり、また、ビーム形成アルゴリズムは、この方位角の正確さに非常に敏感になる。
したがって、方位角の正確さを向上させることは、音声信号の品質と音声インタラクションの性能を向上させるボトルネックになっている。
関連技術において方位角が正確に得られない技術的問題を解決するために、本願の実施例は、オーディオ認識方法、オーディオインタラクションデバイスがターゲットオーディオを位置決める方法と装置、およびオーディオインタラクションデバイスを提供する。
本願の実施例に係るオーディオ認識方法であって、
空間内の複数の方向のオーディオ信号を取得するステップであって、前記オーディオ信号は、ターゲットオーディオダイレクト信号を含むステップと、
前記オーディオ信号に対してエコー除去処理を行うステップと、
前記オーディオ信号の特徴を使用して、エコー除去後の前記オーディオ信号の複数の時間周波数ポイントでの重みを取得するステップであって、各時間周波数ポイントでの重みは、前記時間周波数ポイントでの、前記エコー除去後のオーディオ信号における前記ターゲットオーディオダイレクト信号の相対的な割合を示すものであるステップと、
前記複数の方向における各方向のオーディオ信号に対して、前記複数の時間周波数ポイントでの重みを使用して、前記オーディオ信号の前記複数の時間周波数ポイントでの時間周波数成分をそれぞれ重み付けて、前記各方向のオーディオ信号の重み付け信号エネルギーを得るステップと、
前記各方向のオーディオ信号の重み付け信号エネルギーを使用して、前記オーディオ信号における前記ターゲットオーディオダイレクト信号に対応する音源方位角を得るステップと、
前記ターゲットオーディオダイレクト信号に対応する音源方位角に基づいて、オーディオ認識を行うステップと、
を含む。
本願の実施例に係る、オーディオインタラクションデバイスがターゲットオーディオを位置決める方法であって、
オーディオインタラクションデバイスは、空間内の複数の方向のオーディオ信号を取得するステップであって、前記オーディオ信号は、ターゲットオーディオダイレクト信号を含むステップと、
前記オーディオ信号に対してエコー除去処理を行うステップと、
オーディオインタラクションデバイスは、前記オーディオ信号の特徴を使用して、エコー除去後の前記オーディオ信号の複数の時間周波数ポイントでの重みを取得するステップであって、各時間周波数ポイントでの重みは、前記時間周波数ポイントでの、前記エコー除去後のオーディオ信号における前記ターゲットオーディオダイレクト信号の相対的な割合を示すものであるステップと、
前記複数の方向における各方向のオーディオ信号に対して、前記複数の時間周波数ポイントでの重みを使用して、前記オーディオ信号の前記複数の時間周波数ポイントでの時間周波数成分をそれぞれ重み付けて、前記各方向のオーディオ信号の重み付け信号エネルギーを得るステップと、
前記各方向のオーディオ信号の重み付け信号エネルギーを使用して、オーディオインタラクションにおけるターゲットオーディオに対応する音源方位角を得るステップと、
前記音源方位角によって前記オーディオインタラクションにおけるターゲットオーディオの音源位置を位置決めるステップと、
を含む。
本願の実施例に係るオーディオ認識装置であって、
空間内の複数の方向のオーディオ信号を取得する信号取得モジュールであって、前記オーディオ信号は、ターゲットオーディオダイレクト信号を含む信号取得モジュールと、
前記オーディオ信号に対してエコー除去処理を行うエコー除去モジュールと、
前記オーディオ信号に対してエコー除去処理を行うエコー除去モジュールと、
前記オーディオ信号の特徴を使用して、エコー除去後の前記オーディオ信号の複数の時間周波数ポイントでの重みを取得する重み演算モジューであって、各時間周波数ポイントでの重みは、前記時間周波数ポイントでの、前記エコー除去後のオーディオ信号における前記ターゲットオーディオダイレクト信号の相対的な割合を示すものである重み演算モジュールと、
前記複数の方向における各方向のオーディオ信号に対して、前記複数の時間周波数ポイントでの重みを使用して、前記オーディオ信号の前記複数の時間周波数ポイントでの時間周波数成分をそれぞれ重み付けて、前記各方向のオーディオ信号の重み付け信号エネルギーを得る空間スペクトル演算モジュールと、
前記各方向のオーディオ信号の重み付け信号エネルギーを使用して、前記オーディオ信号における前記ターゲットオーディオダイレクト信号に対応する音源方位角を得る方位角決定モジュールと、
前記ターゲットオーディオダイレクト信号に対応する音源方位角に基づいて、オーディオ認識を行うオーディオ認識モジュールと、
を備える。
本願の実施形態に係る、オーディオインタラクションデバイスがターゲットオーディオを位置決める装置であって、
空間内の複数の方向のオーディオ信号を取得するオーディオ取得モジュールであって、前記オーディオ信号は、ターゲットオーディオダイレクト信号を含むオーディオ取得モジュールと、
前記オーディオ信号に対してエコー除去処理を行うエコー除去処理モジュールと、
前記オーディオ信号の特徴を使用して、エコー除去後の前記オーディオ信号の複数の時間周波数ポイントでの重みを取得する時間周波数ポイント演算モジュールであって、各時間周波数ポイントでの重みは、前記時間周波数ポイントでの、前記エコー除去後のオーディオ信号における前記ターゲットオーディオダイレクト信号の相対的な割合を示すものである時間周波数ポイント演算モジュールと、
前記複数の方向における各方向のオーディオ信号に対して、前記複数の時間周波数ポイントでの重みを使用して、前記オーディオ信号の前記複数の時間周波数ポイントでの時間周波数成分をそれぞれ重み付けて、前記各方向のオーディオ信号の重み付け信号エネルギーを得る空間スペクトル重み付けモジュールと、
前記各方向のオーディオ信号の重み付け信号エネルギーを使用して、オーディオインタラクションにおけるターゲットオーディオに対応する音源方位角を得る方位角位置決めモジュールと、
前記音源方位角によって前記オーディオインタラクションにおけるターゲットオーディオの音源位置を位置決める位置決定モジュールと、
を備える。
本願の実施例に係るオーディオインタラクションデバイスであって、プロセッサと、メモリとを備え、前記メモリにコンピュータ可読命令が記憶されており、前記コンピュータ可読命令が前記プロセッサによって実行される場合、前記のような方法を実現する。
本願の実施例に係るコンピュータ読み取り可能な記憶媒体であって、コンピュータ可読命令が記憶されており、各実施形態の方法を実現するように、前記コンピュータ可読命令が、１つまたは複数のプロセッサによって実行させる。
本願の実施例の実施形態によって提供される技術的案は、以下の有益な効果を含むことができ、即ち、
与えられたオーディオ信号に向け、それに対してエコー除去処理を行った後、まず、エコー除去後に得られた時間周波数領域表現及び時間周波数ポイントでの重みを取得し、その後、時間周波数ポイントでの重みおよび時間周波数領域表現により、時間周波数ポイントに対応する重み付け共分散行列を取得し、この重み付け共分散行列は、オーディオ信号におけるターゲットオーディオダイレクト信号の相対的な割合を記述するために使用されるものであり、重み付け共分散行列によって空間スペクトルの重み付け演算を行い、オーディオ信号が時間周波数ポイントに応じて重み付けされた空間スペクトルを得、最後に、空間スペクトルからオーディオ信号におけるターゲットオーディオダイレクト信号に対応する音源方位角を得ることで、空間スペクトルの役割で、演算量を効果的に制御し、また、重み付け共分散行列がオーディオ信号におけるターゲットオーディオダイレクト信号の相対的な割合に対応するものであるため、干渉信号の空間スペクトルへの干渉を効果的に低減させ、複雑なシーンにおける方位角演算のロバスト性を増強させ、さらに、方位角の正確性を大幅に向上させ、オーディオインタラクションの進行のために、方位角を正確に得ることができる。
以上の一般的な説明および後述の詳細な説明は、単なる例示であり、本願の実施例を限定するものではない、ということが理解されるべきである。
ここでの図面は、明細書に組み込まれて本明細書の一部を構成し、本願の実施例に適合する実施例を示し、また、本明細書とともに本願の実施例の原理を説明するために使用される。
本願の実施例に係る実施環境の概略図である。 一例示的な実施例により示される、オーディオインタラクションデバイスのハードウェア構成のブロック図である。 一例示的な実施形例により示される、音源方位角演算方法のフローチャートである。 一例示的な実施形例により示される、音源方位角演算方法のフローチャートである。 一例示的な実施形例により示される、空間スペクトルと角度との間の関係の概略図である。 図３の対応する実施形例により示される、ステップ３５０について説明するフローチャートである。 一例示的な実施例により示される、ＤＲＲから重みへの可能なマッピング関係の概略図である。 図５の対応する実施例により示される、ステップ３５５について説明するフローチャートである。 別の例示的な実施例により示される、音源方位角演算方法のフローチャートである。 一例示的な実施例により示される、オーディオインタラクションデバイスがターゲットオーディオを位置決める方法のフローチャートである。 一例示的な実施例により示される、本願の実施例がオーディオインタラクションデバイスにおいて方位角決定を実現するシステムアーキテクチャ図である。 一例示的な実施例により示される、重み付け推定モジュールの実現概略図である。 一例示的な実施例により示される、音源方位角演算装置のブロック図である。 図１２の対応する実施例により示される、重み演算モジュールを説明するブロック図である。 図１２の対応する実施例により示される、重みマッピングユニットを説明するブロック図である。 別の例示的な実施例により示される、エコー除去モジュールのブロック図である。 一例示的な実施例により示される、オーディオインタラクションデバイスがターゲットオーディオを位置決める装置のブロック図である。
ここでは、例示的な実施例を詳細に説明し、その例示を図面に示す。以下の説明が図面に言及する場合、特に明記しない限り、異なる図面における同じ数字は、同じまたは類似の要素を表す。以下の例示的な実施例に記載された実施形態は、本願の実施例と一致する全ての実施形態を表すわけではない。逆に、それらは、添付の特許請求の範囲において詳述された、本願の実施例のいくつかの態様と一致する装置および方法の単なる例にすぎない。
図１は、本願の実施例に係る実施環境の概略図である。一例示的な実施例において、この実施環境は、オーディオインタラクションデバイスの任意の使用シーンであってもよい。図１に示すように、この使用環境は、リビングルームでユーザが配置されたオーディオインタラクションデバイス１１０を入口とする騒々しい環境である。
このような使用環境では、ユーザの音声入力に加えて、リビングルームにおけるテレビなどの機器から出力される音声も存在し、これによりユーザの音声入力に対する背景雑音が構成される。
オーディオインタラクションデバイス１１０には、マイクロフォンアレイが設けられており、マイクロフォンアレイによりサンプリングが行われて、オーディオ信号が得られる。取得されたオーディオ信号には、ターゲットオーディオダイレクト信号や雑音信号、エコー信号などが含まれるため、オーディオインタラクションデバイス１１０を介してターゲットオーディオの方位角を推定し、さらに、方位角に基づいてターゲットオーディオを強化させる必要があり、これにより、オーディオインタラクションデバイス１１０は、最終的に、ユーザによって送信されたオーディオ信号、すなわちユーザの音声信号を取得し、それを認識するようにオーディオ認識サービスに転送し、これによって、ユーザにコンテンツサービスを提供することができる。
各実施例では、図３ａに示すように、オーディオインタラクションデバイス１１０は、空間内の複数の方向のオーディオ信号を取得し、前記オーディオ信号に対してエコー除去処理を行うことができる（Ｓ２１）。なお、前記オーディオ信号はターゲットオーディオダイレクト信号を含む。前記オーディオ信号の特徴を使用して、オーディオインタラクションデバイス１１０は、エコー除去後の前記オーディオ信号の複数の時間周波数ポイントでの重みを得ることができる（Ｓ２２）。なお、各時間周波数ポイントでの重みは、前記時間周波数ポイントでの、前記オーディオ信号における前記ターゲットオーディオ信号ダイレクト信号の相対的な割合を示す。オーディオインタラクションデバイス１１０は、前記複数の方向における各方向のオーディオ信号に対して、前記複数の時間周波数ポイントでの重みを使用して、前記オーディオ信号の前記複数の時間周波数ポイントでの時間周波数成分をそれぞれ重み付けて、前記各方向のオーディオ信号の重み付け信号エネルギーを得ることができる（Ｓ２３）。前記各方向のオーディオ信号の重み付け信号エネルギーを使用して、オーディオインタラクションデバイス１１０は、前記オーディオ信号における前記ターゲットオーディオダイレクト信号に対応する音源方位角を得ることができる（Ｓ２４）。この音源方位角を使用して、オーディオインタラクションデバイス１１０は、オーディオ認識を行うことができる（Ｓ２５）。
オーディオインタラクションデバイス１１０によって、ユーザのために音声認識が実現され、さらに認識された音声コンテンツに基づいて、ユーザに対して相応のコンテンツが提供される。もちろん、ユーザの音声認識のために方位角演算を行うことに加えて、認識する必要があるオーディオに対して方位角演算を行うことにより、オーディオを正確に認識することもできる。オーディオインタラクションデバイス１１０を入口として入力されたのは、音声信号であってもよく、他のオーディオ信号であってもよいし、これらがオーディオ信号に総称され、さらに様々な異なるシーンに適用される。
残響が大きいか、またはオーディオインタラクションデバイスが自発的に音響を発生させてエコーを生成するシーンの場合では、例えば前述の例示的な例によって説明された騒々しい環境では、残響および／またはエコーが存在するため、方位角の推定が非常に難しくなって、ターゲット方向とは全く関係ないか、ターゲット方向から乖離した方位角推定結果が生成されやすくなり、しかしながら、本願の実施例の役割の下で、重み付け共分散の推定および重み付け共分散の役割によって、方位角演算のロバスト性が強化され、得られた方位角の正確さは非常に優れている。
図２は、一例示的な実施例により示される、オーディオインタラクションデバイスのハードウェア構成のブロック図である。説明すべきものとして、このオーディオインタラクションデバイスは、本願の実施例に適合される一例にすぎず、本願の実施例の使用範囲に対するいかなる制限を提供しているとは考えられない。このオーディオインタラクションデバイスは、図２に示される例示的なハードウェア構成に依存する必要があるか、またはそれを必ず備えるとも解釈できない。
このオーディオインタラクションデバイス１１０のハードウェア構成は、配置または性能の違いによって大きく異なることができ、図２に示すように、このオーディオインタラクションデバイス１１０は、機能ボタン１１１と、ピックアップマイクロホン１１２と、メインボード１１３と、メイン制御チップ１１４と、ブルートゥース（登録商標）チップ１１５と、ＷｉＦｉチップ１１６と、放熱シート１１７とを備える。
ここで、機能ボタン１１１は、このオーディオインタラクションデバイス１１０の機能配置を行うために使用されるものである。ユーザは、機能ボタン１１１のトリガにより、このオーディオインタラクションデバイスに対して必要な機能を配置する。
ピックアップマイクロホン１１２は、マルチマイクアレイによって構成されており、オーディオ信号の入力を強化することで、遠距離ピックアップを良好に実現する。
機能ボタン１１１およびピックアップマイクロホン１１２は、メインボード１１３上のチップに制御されるように、接続ラインを介してメインボード１１３に接続されており、さらに、オーディオインタラクションデバイス１１０の機能を実現することができる。
メインボード１１３上のチップには、メイン制御チップ１１４、ブルートゥース（登録商標）チップ１１５、ＷｉＦｉチップ１１６が含まれる。メイン制御チップ１１４に書き込まれたオペレーティングシステムは、オーディオインタラクションデバイス１１０の機能を実現し、その内部に配置された記憶媒体が、リソース記憶のキャリアとして機能する、ということが理解されるべきである。
記憶媒体は、ランダム記憶媒体、磁気ディスクまたは光ディスクなどであってもよく、その上に記憶されたリソースには、オペレーティングシステム、アプリケーションプログラムおよびデータなどが含まれ、記憶方式が、一時的な記憶または永久的な記憶であってもよい。ここで、オペレーティングシステムは、オーディオインタラクションデバイス１１０の各ハードウェアおよびアプリケーションプログラムを管理して制御する。アプリケーションプログラムは、オペレーティングシステムに基づいて少なくとも１つの特定の動作を完了するコンピュータプログラムであり、一連の動作命令の実行によって、本願の実施例に係る方法を実現する。データは、ディスクに記憶された写真、画像などであってもよい。
以上で詳細に説明したように、本願の実施例に適用されるオーディオインタラクションデバイス１１０は、記憶媒体に記憶されている一連の動作命令をメインチップ１１４により読み出すことによって、ターゲットオーディオの方位角決定を行う。
図３は、一例示的な実施形態により示される、音源方位角演算方法のフローチャートである。一例示的な実施例において、この音源方位角演算方法は、図３に示すように、少なくとも以下のステップを含む。
ステップ３１０で、オーディオ信号を取得する。
ここで、オーディオ信号は、オーディオインタラクションデバイスがサンプリングを行うことによって得られたものである。一例示的な実施例において、実行されているオーディオインタラクションでは、ユーザの音声入力は、ターゲットオーディオであり、その形成されたターゲットオーディオダイレクト信号が、雑音信号、エコー信号とともに、オーディオインタラクションデバイスがサンプリングを行うことによって得られたオーディオ信号を構成する。オーディオ信号は、オーディオインタラクションデバイスがターゲットオーディオダイレクト信号を得るために、マイクロフォンアレイによってサンプリングを行って得られた空間内の複数の方向のオーディオ信号であり、ターゲットオーディオダイレクト信号は、音声インタラクションに必要な音声認識のために音声コンテンツを提供する。
オーディオ信号は、ユーザが入力した音声信号に加えて、異なるシーンに適応される他のオーディオ信号を含むようにしてもよい。他の例示的な実施例では、オーディオ信号は、ユーザの音声入力によって生成されたものではなく、他のオーディオソース、例えば、オーディオインタラクションデバイスと連動するオーディオソースによって生成されたものである。しかしながら、どのようなシーンに適用されるオーディオ信号は、いずれも、オーディオインタラクションデバイスによってサンプリングして得られたものである。
ステップ３３０で、オーディオ信号に対してエコー除去処理を行う。
ここで、オーディオインタラクションデバイスによってサンプリングされたオーディオ信号のいずれかに対して、エコー参照信号の抽出、エコーの除去、時間周波数領域分析などの一連のプロセスを含むオーディオ処理を行う。
実行されたエコー参照信号の抽出およびエコーの除去のプロセスは、オーディオ信号に対するエコー除去処理であり、これによって、エコー除去後のオーディオ信号が得られる。
ステップ３５０で、エコー除去後のオーディオ信号の時間周波数領域表現および時間周波数ポイントでの重みを得る。
ここで、前述したように、オーディオインタラクションデバイスによってサンプリングされたオーディオ信号に対して、オーディオ処理を実行し、即ち、エコー参照信号の抽出、エコーの除去、時間周波数領域の分析などの一連のプロセスを実行し、さらに、オーディオ信号のエコー除去後の時間周波数領域表現を得る。
ここでいう時間周波数領域表現は、オーディオ信号のエコー除去処理が完了された後、時間周波数領域分析を行って得られた、時間周波数ポイントに対応するオーディオ信号表示である。フレームで表現されるオーディオ信号について、時間周波数領域において時間領域と周波数領域の両方から信号表現が実行され、これは、得られた時間周波数領域表現であり、各時間周波数領域表現は、一意に存在する時間周波数ポイントに対応する、ということが理解されるべきである。
オーディオ信号の時間周波数領域表現は、時間周波数領域の信号記述を行うために使用されるものである。オーディオ信号が時間周波数ポイントに対応する時間周波数領域表現によって、各時間周波数ポイントでの重みが得られる。時間周波数ポイントでの重みは、この時間周波数ポイントでのターゲットオーディオダイレクト信号の相対的な割合を記述するために使用されるものである。オーディオ信号は、この時間周波数ポイントでのターゲットオーディオダイレクト信号の相対的な割合が大きいほど、その重みが大きくなり、逆に、オーディオ信号におけるターゲットオーディオダイレクト信号の相対的な割合が小さいほど、その重みも小さくなる。
取得された時間周波数ポイントでの重みは、オーディオ信号のエコー除去後のこの時間周波数ポイントで存在している、ターゲットオーディオに関する情報演算によって得られたものである。このようにして、時間周波数ポイントごとにターゲットオーディオの割合を記述する重みを推定することができる。
時間周波数ポイント演算によって得られた重みは、ある１次元でのターゲットオーディオに関する情報演算から得られたものであり、すなわち、時間周波数ポイント演算から単一の重みを得て、この単一の重みは、オーディオ信号の時間周波数ポイントでの重みとするようにしてよい。これ以外にも、多次元でのターゲットオーディオに関する情報演算から時間周波数ポイントでの複数の重みを得るようにしてもよいし、この場合、複数の重みを総合して、オーディオ信号の時間周波数ポイントでの重みを得る。
例示的には、ターゲットオーディオに関する情報は、オーディオ特徴パラメータであり、このオーディオ特徴パラメータは、時間周波数領域表現の時間周波数ポイントでの信号対雑音比推定値であってもよい。これに加えて、このオーディオ特徴パラメータはまた、時間周波数領域表現の時間周波数ポイントでのダイレクト対残響信号強度比、残留エコー信号推定値、および時間周波数ポイントがターゲットウェイクワードに対応する確率といういくつかのオーディオ特徴パラメータのうちの１つまたは任意の組合せを含む。
前記複数の方向における各方向のオーディオ信号に対して、前記複数の時間周波数ポイントでの重みを使用して、前記オーディオ信号の前記複数の時間周波数ポイントでの時間周波数成分をそれぞれ重み付けて、前記各方向のオーディオ信号の重み付け信号エネルギーを得るために、ステップ３７０で、時間周波数ポイントでの重みおよび時間周波数領域表現により、時間周波数ポイントに対応する重み付け共分散行列を取得することができ、この重み付け共分散行列は、オーディオ信号におけるターゲットオーディオダイレクト信号の相対的な割合を記述するために使用されるものである。
ここで、ステップ３５０の実行により、オーディオ信号の各時間周波数ポイントでの重みを得ることにより、得られた重みおよびオーディオ信号のエコー除去後の時間周波数領域表現に基づいて、重み付け共分散行列の推定を行う。
推定された重み付け共分散行列は、オーディオ信号の時間周波数領域表現に関連している。重み付け共分散行列は、オーディオ信号の各時間周波数ポイントでの重みおよび時間周波数領域表現に対して重み付け演算を行って得られたものである。
重み付け共分散行列における重み付け要素は、その対応する数値の大きさが、その対応する時間周波数ポイントでのターゲットオーディオダイレクト信号の相対的な割合の大きさを表すために使用されるものである。
オーディオ信号のエコー除去後の時間周波数領域表現は、オーディオ信号におけるターゲットオーディオダイレクト信号の時間周波数領域での正確な記述である。また、時間周波数ポイントでの重みも、オーディオ信号のエコー除去後の時間周波数領域表現に基づいてターゲットオーディオのために推定されたものであり、そのため、両者は、オーディオ信号におけるターゲットオーディオダイレクト信号の存在を表すために使用されるものであり、両者を総合して重み付け共分散行列を構築し、これによって、後続に実行する空間スペクトル演算は、各時間周波数ポイントに対して行うことができるようになる。
ステップ３８０で、この重み付け共分散行列により、空間スペクトルの重み付け演算を行い、オーディオ信号が時間周波数ポイントに応じて重み付けされた空間スペクトル、すなわち各方向のオーディオ信号の重み付け信号エネルギーを得る。
ここで、空間スペクトルの演算に対して、重み付け共分散行列を導入し、オーディオ信号のエコー除去後の時間周波数領域表現に対して、フレーム毎に対応する、各周波数ポイントに向ける空間スペクトル重み付け演算を行い、これにより、オーディオ信号が時間周波数ポイントに応じて重み付けされた空間スペクトルを得る。これによって、空間スペクトル演算のために、雑音及び残留エコーの干渉を低減させ、演算量を制御する前提で、ロバスト性を向上させる。
一例示的な実施例において、重み付けされていない空間スペクトルは、以下の式で演算して得られる。即ち、

Figure 2021533423
ターゲットウェイクワード（即ち、予め設定されたキーワードであり、デバイスがこのキーワードを検出してからオーディオ認識を開始する）は、フレームｎ０からフレームｎ１までの時間帯にあり、即ち、ｎは、フレーム番号であり、ｆは、周波数ポイント番号であり、ｆ＝１，２，…Ｎｆ，Ｎｆは、周波数ポイントの個数であり、ｆ０およびｆ１は、空間スペクトルを推定するために選択された周波数範囲であり、「．Ｈ」は、共役転置演算子（Ｈｅｒｍｉｔｉａｎ Ｏｐｅｒａｔｏｒ）を表し、ｗ（θ，ｆ）は、予め設計された、周波数ポイントｆで、方向θを指す空間フィルタ係数であり、ｗ（θ，ｆ）∈ＣＮ×１（Ｎ×１の複素数ベクトル）、Ｓ（ｎ，ｆ）は、オーディオ信号に対して時間周波数分析を実行して得られたフレームｎ、周波数点ｆでの時間周波数成分である。
ｗ（θ，ｆ）の設計は、固定ビーム形成アルゴリズムまたは適応的ビーム形成アルゴリズムを用いて実現するようにしてよく、ｗ（θ，ｆ）の設計の目的／効果は、θ方向の信号を保持し、他の方向からの信号を最大程度に抑制することである、ということが理解されるべきである。
これを基にして、重み付けされた空間スペクトルｐｇ（θｉ）を計算すること、即ち、重み付け共分散行列を導入して空間スペクトル重み付けを行うことは、以下の式により実現される。

Figure 2021533423
ここで、ｇ（ｎ，ｆ）は、各時間周波数ポイントでの重みであり、θｉは、ｉ番目の方向であり、Ｎθは、方向の総数である。
この場合、Ｃ（ｎ，ｆ）＝Ｓ（ｎ，ｆ）ＳＨ（ｎ，ｆ）を定義すると、式（３）が下記のように簡略化され、即ち、

Figure 2021533423
重み付け共分散行列Ｇ（ｎ０，ｎ１，ｆ）が下記のように定義され、即ち、

Figure 2021533423
式（３）は、さらに、下記のように簡略化されることができ、即ち、

Figure 2021533423
これにより、式（４）によって、重み付けされた空間スペクトルが得られる。
ステップ３９０で、空間スペクトルからオーディオ信号におけるターゲットオーディオダイレクト信号に対応する音源方位角を得る。
ここで、上記のようなステップにより空間スペクトル推定が完了された後、空間スペクトルが方向に対応するものであるため、空間スペクトルによって方位角の選択は可能になり、さらに、ターゲットオーディオダイレクト信号のマイクロフォンアレイに位置する方位角の方向は分かることができ、これは、オーディオインタラクションにおける音源方位角である。
空間スペクトル推定は、重み付け共分散行列を導入して行われ、また、重み付け共分散行列における重み要素は、雑音信号および残響エコー信号のターゲットオーディオダイレクト信号に対する干渉のサイズを表すために使用されるものであり、そのため、重み付け共分散行列の役割の下で、雑音信号および残響エコー信号の空間スペクトル推定における干渉が遮断される。
例えば、スマートスピーカーなどのオーディオインタラクションデバイスが自発的に音響を発生させる場合、エコー除去プロセスによって、オーディオ信号における大部分のエコー信号が除去されたが、得られた時間周波数領域表現では、残留エコー信号のエネルギーがターゲットオーディオダイレクト信号のエネルギーよりも大きい場合もあり、特に、ユーザがオーディオインタラクションデバイスから遠い場合、または音声が比較的に小さい場合、この際に、重み付け共分散行列の役割の下で、残留エコー信号が空間スペクトル推定に強い干渉を与えるということが遮断されることができ、さらに、推定して得られた方位角がオーディオインタラクションデバイスのラッパ方向に偏ったり、領域内のある強い反射源方向に近づいたりすることを回避できる。
空間スペクトルにより実行された方位角選択について、一例示的な実施例において、空間スペクトルと角度の間の関係により、対応する空間スペクトルがピーク点にある角度を音源方位角とする。
例えば、空間スペクトルと角度の間の関係は図４に示されるように、図４は、一例示的な実施例により示される、空間スペクトルと角度の間の関係の概略図である。上記のステップにより空間スペクトルｐ（θｉ）が演算して得られた後、図４におけるピーク点、すなわち図２の６０度方向を音源方位角とする。
もちろん、これは、音源方位角の取得の例示的な方法にすぎないが、これに限らず、他の方法によって、空間スペクトルに基づいて音源方位角を選択することもある。どの選択法を採用しても、複雑なシーンに対してロバスト性を備えた空間スペクトルの役割の下で、音源方位角を正確に得ることができる。
例えば、環境が複雑で、強い残響または反射源が存在する場合、演算によって得られた空間スペクトルは残響方向または反射源方向で高いエネルギーピークを発生させ、相応的に、ターゲットオーディオダイレクト信号のエネルギーピークが他の方向に対して弱くなる可能性もあり、これは、空間スペクトルの推定が複雑な環境の影響を受けて、ロバスト性が強くないためである。
しかし、上述したステップの実現により、即ち、重み付け共分散行列の推定と導入により、空間スペクトルのロバスト性が大幅に強化され、これによって、空間スペクトルを介して音源方位角が得られる方式を変化する必要がなく、音源方位角も正確に得られ、また、空間スペクトルの応用により演算量も制御される。
図５は、図３の対応する実施例により示される、ステップ３５０について説明するフローチャートである。一例示的な実施例において、このステップ３５０は以下のステップを含む。
ステップ３５１で、オーディオ信号の時間周波数領域表現を取得する。
ステップ３５３で、オーディオ信号の時間周波数領域表現に対して、時間周波数ポイントに応じてオーディオ特徴パラメータの推定を行う。
ステップ３５５で、時間周波数ポイントに対応するオーディオ特徴パラメータに基づいて、オーディオ信号の時間周波数ポイントでの重みを得る。
ここで、前述したように、オーディオ信号の時間周波数領域表現は、オーディオ信号のエコー除去後の時間周波数ポイントでの信号表現である。つまり、時間周波数ポイントごとに、対応するオーディオ信号時間周波数領域表現がある。オーディオ特徴パラメータは、オーディオ信号のエコー除去後のターゲットオーディオの存在状況および雑音、残響エコーの存在状況を記述するために使用されるものである。
一例示的な実施例において、オーディオ特徴パラメータは、少なくとも時間周波数領域表現の時間周波数ポイントでの信号対雑音比（Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ、略してＳＮＲ）の推定値である。これに加えて、オーディオ特徴パラメータは、他のタイプの特徴パラメータ、例えば、時間周波数領域表現の時間周波数ポイントでのダイレクト対残響信号強度比（Ｄｉｒｅｃｔ−ｔｏ−Ｒｅｖｅｒｂ Ｒａｔｉｏ、略してＤＲＲ）、残響エコー信号の推定値（Ｓｉｇｎａｌ−ｔｏ−Ｅｃｈｏ Ｒａｔｉｏ、略してＳＥＲ）、および時間周波数ポイントがターゲットウェイクワードに対応する確率を含むようにしてよい。
単一のタイプのオーディオ特徴パラメータに従って、この単一のタイプのオーディオ特徴パラメータの次元での、オーディオ信号の時間周波数ポイントでの重みが得られる、ということが理解されるべきである。言い換えれば、オーディオ信号の１つの時間周波数ポイントでの、推定されたオーディオ特徴パラメータは、単一の存在であり、この時間周波数ポイントで単一の重みが得られ、また、この重みがオーディオ信号の時間周波数ポイントでの重みとして使用される。
これに対応して、複数のタイプのオーディオ特徴パラメータに従って、所在する時間周波数ポイントに対して、各オーディオ特徴パラメータに対応する重みが得られ、所在する時間周波数ポイントで得られたすべての重みが総合され、オーディオ信号の時間周波数ポイントでの重みとして使用される。
さらに、それぞれ異なるタイプのオーディオ特徴パラメータについて、オーディオ特徴パラメータの推定を説明する。
（１）時間周波数領域表現の時間周波数ポイントでの信号対雑音比推定値とは、この時間周波数領域表現によって、自身が所在する時間周波数ポイントに対して推定して得られた信号対雑音比を指す。
一例示的な実施例において、信号対雑音比ＳＮＲは、以下の式により算出して得られ、即ち、

Figure 2021533423
ここで、ｋ（ｎ，ｆ）は、時間周波数ポイント（ｎ，ｆ）での雑音推定信号であり、Ｓ１（ｎ，ｆ）は、音声信号のエコー除去後の時間周波数ポイント（ｎ，ｆ）での時間周波数領域表現である。雑音推定信号ｋ（ｎ，ｆ）は、行われた最小値追跡によって得られたものである。
（２）時間周波数領域表現の時間周波数ポイントでのダイレクト対残響信号強度比とは、この時間周波数ポイントでの時間周波数領域表現について、ターゲットオーディオダイレクト信号と残響信号のそれぞれのエネルギー比を指す。
一例示的な実施例において、以下のような簡単な計算方法によって推定することができ、即ち、

Figure 2021533423
ここで、Ｂｎ＞０は、部屋の残響時間長（または予め設定されたある固定時間長）を表し、Ｂｆ＞０は、システムに採用された時間周波数分析アルゴリズムの周波数間漏れ幅、例えば、時間周波数分析（ＦＦＴ）の長さ、および、使用された時間分析窓関数によって決定された周波数分解能である。
（３）残留エコー信号の推定値は、時間周波数領域表現Ｓ１（ｎ，ｆ）におけるＳＥＲ（Ｓｉｇｎａｌ−ｔｏ−Ｅｃｈｏ Ｒａｔｉｏ）を推定して得られた値である。残留エコー信号の推定値の取得は、ＥＣ−ＰＰ（Ｅｃｈｏ−Ｃａｎｃｅｌｌａｔｉｏｎ−Ｐｏｓｔ−Ｐｒｏｃｅｓｓｉｎｇ、エコー除去後処理）推定を行うことにより実現される。
一例示的な実施例において、まず、時間周波数領域表現における残留エコー信号

Figure 2021533423
 を推定し、次に、残留エコー信号の推定値を以下の式で演算し、即ち、

Figure 2021533423
（４）時間周波数ポイントがターゲットウェイクワードに対応する確率は、時間周波数ポイントがターゲットウェイクワードに帰属する確率である。マイクロフォンアレイの前処理プロセスの間に、いずれも、キーワード検出が行われ、オーディオ信号に予め設定されたキーワード、すなわちターゲットウェイクワードが現れるかどうかが検出される、ということが理解されるべきである。
一例示的な実施例において、キーワードを検出すると同時に、キーワード、即ち、ターゲットウェイクワードにおける、各音素が現れる起止時間点、さらにターゲットウェイクワードが所在する時間周波数ポイントも得られる。
これにより、各時間周波数ポイントがターゲットウェイクワードに属する確率、すなわち、時間周波数ポイントがターゲットウェイクワードに対応する確率が得られ、一部の非ターゲットウェイクワードの時間周波数ポイントが空間スペクトル推定の計算から除外され、さらに、空間スペクトル推定の雑音、特に非定常状態の雑音に対するロバスト性を向上させることができる。
要するに、時間周波数ポイントに対応するオーディオ特徴パラメータを推定して得られた後、時間周波数ポイントに対応するオーディオ特徴パラメータから、マッピングによってオーディオ信号のこの時間周波数ポイントでの重みが得られる。
オーディオ特徴パラメータは、ターゲットオーディオダイレクト信号に対するものであるため、オーディオ特徴パラメータの数値の大きさは、ターゲットオーディオダイレクト信号と正の相関になり、雑音信号およびエコー信号と負の相関になり、オーディオ特徴パラメータは、ターゲットオーディオダイレクト信号の所在する時間周波数ポイントでのエネルギー強度に対応するものである。したがって、オーディオ特徴パラメータと重みとの間には、正相関のマッピング関係が存在する。
一例示的な実施例において、マッピング関数によって、推定して得られたオーディオ特徴パラメータに基づいて、対応する時間周波数ポイントでの重みを得ることができる。
図６に示すように、図６は、一例示的な実施例により示される、ＤＲＲ（ｎ，ｆ）から重みｇ１（ｎ，ｆ）への可能なマッピング関係を示す図である。このＤＲＲ推定値に基づいて、重みｇ１（ｎ，ｆ）は、図６に示すマッピング関数によって得られる。ここでは、図６に採用されている関数曲線および２つの曲がり点の位置は、いずれも一例である、ということが理解されるべきである。
この例示的な実施例では、オーディオ信号に対する時間周波数領域表現により、ターゲットオーディオを記述するオーディオ特徴パラメータが得られ、さらに、雑音信号、残留エコー信号を排除することができる重みが得られ、これにより、後続の空間スペクトル計算が干渉されないことが保証される。
一例示的な実施例において、オーディオ特徴パラメータは、単一の一種であってよく、即ち、時間周波数領域表現の時間周波数ポイントでの信号対雑音比推定値であってもよく、このステップ３５３は、オーディオ信号の時間周波数領域表現に対して、各時間周波数ポイントでの信号対雑音比推定値を推定するステップであって、この信号対雑音比推定値は、マッピングによってオーディオ信号の時間周波数ポイントでの重みを得るために使用されるものであるステップを含む。
ここで、オーディオ特徴パラメータに対して、時間周波数領域表現の時間周波数ポイントでの信号対雑音比推定値が不可欠なものである。オーディオ特徴パラメータのタイプが単一である場合、このオーディオ特徴パラメータは、時間周波数領域表現の時間周波数ポイントでの信号対雑音比推定値であり、オーディオ特徴パラメータが複数のタイプの特徴パラメータを含む場合、時間周波数領域表現の時間周波数ポイントでの信号対雑音比推定値に基づいて新しく追加して豊富された他のタイプの機能パラメータである。
図７は、図５の対応する実施例により示される、ステップ３５５について説明するフローチャートである。一例示的な実施例において、オーディオ特徴パラメータは、複数のタイプがあり、このステップ３５５は、少なくとも以下のステップを含む。
ステップ４０１で、時間周波数ポイントでの、オーディオ信号の時間周波数領域表現の異なるオーディオ特徴パラメータによってそれぞれマッピングされた重みを取得する。
ステップ４０３で、取得された重みを重み付けて、オーディオ信号の時間周波数ポイントでの重みを得る。
ここで、前述したように、時間周波数領域表現の時間周波数ポイントでのオーディオ特徴パラメータは、複数のタイプにすることができ、さらに、相応の重みは、マッピングによって異なる次元で得られたものである。
マッピングによって得られた複数の重みに対して重み付け演算を行うことにより、複数の重みを総合してオーディオ信号の時間周波数ポイントでの重みを得る。
一例示的実施例において、オーディオ特徴パラメータは、時間周波数ポイントがターゲットウェイクワードに対応する確率を含み、この場合、ステップ３５３は、以下のステップを含む。
オーディオ信号におけるターゲットウェイクワードを検出し、検出されたターゲットウェイクワードに対して、所在する時間周波数ポイントを推定し、各時間周波数ポイントがターゲットウェイクワードに対応する確率を得る。
ここで、実行されたキーワード検出（Ｋｅｙｗｏｒｄ−Ｓｐｏｔｔｉｎｇ、略してＫＷＳ）によって、検出されたターゲットウェイクワードが所在する時間周波数ポイントを推定し、それによって、各時間周波数ポイントに対して、自身がターゲットウェイクワードに対応する確率を得る。
一例示的な実施例において、このステップ３７０は、時間周波数ポイントでオーディオ信号の時間周波数領域表現および重みによって重み付け演算を行い、重み付け共分散行列における、時間周波数ポイントに対応する重み付け要素値を得、時間周波数ポイントに対応する重み付け要素値のすべてが、重み付け共分散行列を構成する。
ここで、前述のステップの実行により、各時間周波数ポイントでのオーディオ信号の時間周波数領域表現および重みを得た後、この時間周波数ポイントに対して、重み付け共分散行列における重み付け要素値を演算することができる。
具体的には、時間周波数領域表現と重みとの間の重み付け演算により、重み付け要素値を得、すなわち、下記の式で説明されるように、重み付け共分散行列Ｇ（ｎ０，ｎ１，ｆ）は、以下の通りであり、即ち、

Figure 2021533423
図８は、別の例示的な実施例により示される、音源方位角の演算方法のフローチャートである。別の例示的な実施例において、図８に示すように、この音源方位角の演算方法は、ステップ３３０を実行し、少なくとも以下のステップを含む。
ステップ５１０で、オーディオインタラクションデバイスにおいて、エコー参照信号を取得し、エコー参照信号によって、マイクロフォンで収集されたオーディオ信号に対して線形エコー除去を行う。
ステップ５３０で、オーディオ信号のエコー除去後に、時間周波数分析を行い、前記エコー除去後のオーディオ信号の時間周波数領域表現を得る。
ここで、オーディオインタラクションデバイスは、オーディオに関連するサービスのインターフェースとして、ユーザのためにオーディオインタラクションを実現する。オーディオインタラクションデバイスは、スマートスピーカー、音声制御機能付きのスマートテレビまたはテレビボックスなどの製品であってもよく、オーディオインタラクションデバイスのマイクロフォンは、アレイ形式であり、すなわちマイクロフォンアレイである。
オーディオインタラクションデバイスが動作状態にある場合、信号サンプリングを行い、所在する環境に存在しているオーディオ信号を得る。オーディオインタラクションにおいて得られたオーディオ信号は、ターゲットオーディオダイレクト信号、雑音信号およびエコー信号を含む、ということが理解されるべきである。
一例示的な実施例において、時間周波数分析は、短時間フーリエ変換によって信号時間周波数分析を実現するようにしてよい。
マイクロフォンアレイでは、各マイクロフォンによってサンプリングして得られたオーディオ信号がエコー参照信号によってエコー除去された後、各オーディオ信号に対して、各時間周波数ポイントでの時間周波数領域表現を得ることにより、重み付け共分散行列を導入して空間スペクトル推定に入り、音源方位角を決定することができる空間スペクトルを得る。
この例示的な実施例により、オーディオインタラクションデバイスにおけるオーディオ信号に関する前処理が実現され、これに基づいて重み付け共分散行列および対応する空間スペクトルの推定が可能にする。
図９は、一例示的な実施例により示される、オーディオインタラクションデバイスがターゲットオーディオを位置決める方法のフローチャートである。一例示的な実施例において、図９に示すように、当該オーディオインタラクションデバイスがターゲットオーディオを位置決める方法は、少なくとも以下のステップを含む。
ステップ７１０で、オーディオインタラクションデバイスは、オーディオ信号を取得する。
ステップ７２０で、オーディオ信号に対してエコー除去処理を行う。
ステップ７３０で、オーディオインタラクションデバイスは、エコー除去後のオーディオ信号の時間周波数領域表現および時間周波数ポイントでの重みを取得し、オーディオ信号は、オーディオインタラクションデバイスにおけるマイクロフォンによりサンプリングして得られたものである。
ステップ７４０で、時間周波数ポイントでの重みおよび時間周波数領域表現によって、オーディオ信号の、時間周波数ポイントに対応する重み付け共分散行列を取得し、重み付け共分散行列は、オーディオ信号におけるターゲットオーディオダイレクト信号の相対的な割合を記述するために使用されるものである。
ステップ７５０で、重み付け共分散行列によって空間スペクトルの重み付け演算を行い、オーディオ信号が時間周波数ポイントに応じて重み付けされた空間スペクトルを得る。
ステップ７６０で、オーディオインタラクションデバイスは、空間スペクトルからオーディオインタラクションにおけるターゲットオーディオに対応する音源方位角を得る。
ステップ７７０で、音源方位角によってオーディオインタラクションにおけるターゲットオーディオの音源位置を位置決める。
この例示的な実施例により、ターゲットオーディオの音源の位置決めが実現され、これによって、ターゲットオーディオに対応する音源の位置が分かる。
上述したような例示的な実施形例によれば、演算量が制御された場合、ロバスト性を向上させた空間スペクトル推定が実現され、例えば雑音信号、残留エコー信号などの干渉信号の空間スペクトル推定への干渉が効果的に低減され、さらに、方位角推定のロバスト性を向上させる。
これにより、残響、エコーや雑音のシーンで、方位角推定の正確さとロバスト性を向上させることができ、相応的に、オーディオインタラクションデバイスにおけるオーディオ認識性能を改善させ、向上させることができる。
オーディオインタラクションデバイスにおける方位角推定の実現の説明を例として、上述の方法と関連して説明を行う。
従来の方位角推定において、一方では、空間内の各方向からの信号エネルギーを使用して方位角を推定するクラシック空間スペクトル推定アルゴリズムによって実現でき、他方では、線形残響抑圧能力付きの空間スペクトル推定アルゴリズムによって実現できる。
ここで、クラシック空間スペクトル推定アルゴリズムは、オーディオ信号の時間周波数領域表現によって空間スペクトル推定の結果を得る。
しかしながら、環境に強い残響または反射源がある場合、推定された空間スペクトルは、残響方向または反射源方向に、より高いエネルギーピークを生成する可能性があり、また、そのターゲットオーディオのエネルギーピークが他の方向に対して弱くなる可能性もあり、これは、いずれも、方位角の正確な推定が不可能になる。
また、例えば、行われたオーディオ信号前処理により、オーディオ信号における大部分のエコー信号を除去することができるが、オーディオ信号の時間周波数領域表現に残留しているエコー信号は、ターゲットオーディオ信号のエネルギーを超える可能性もあり、特に、ユーザがオーディオインタラクションデバイスから遠い場合、または話し声が小さい場合、残留しているエコー信号は、推定された空間スペクトルに強い干渉を与える可能性があり、最終的には、方位角がオーディオインタラクションデバイスのスピーカー方向またはある強い反射源方向に偏ることをもたらす。
したがって、クラシック空間スペクトル推定アルゴリズムは、ロバスト性を欠き、さらに、方位角推定の不正確性をもたらす。
線形残響抑圧能力付きの空間スペクトル推定アルゴリズムは、線形処理アルゴリズムにより、各オーディオ信号における残響成分を低減して、空間内の各ターゲットオーディオのダイレクト成分を保持し、これにより、空間スペクトルの推定に対する残響の影響が低減される。
しかしながら、この線形残響抑圧アルゴリズムは、適応的アルゴリズムであり、つまり、環境に雑音やエコーが存在している場合、残響抑圧の性能の低下が非常に顕著になり、また、収束しないことや発散することが起こりやすい。次に、線形残響抑圧アルゴリズムは、雑音やエコーシーンでの空間スペクトル推定のロバスト性を向上させることができず、また、演算量が非常に大きくなり、そのため、オーディオインタラクションデバイス上での展開が困難である。
したがって、従来の方位角推定は、いずれも、オーディオインタラクションデバイスに適用されず、本願の実施例の例示的な実施形態の方法によって、演算量を制御する前提で、残響、雑音、およびスピーカーエコーに対する空間スペクトル推定のロバスト性を向上させる、ということを実現する必要がある。
図１０は、一例示的な実施例により示される、本願の実施例ではオーディオインタラクションデバイスで方位角決定を実現するシステムアーキテクチャ図である。本願の実施例では、オーディオインタラクションデバイスで実行される方位角推定は、図１０に示すように、オーディオインタラクションデバイスにおけるマイクロフォンアレイがオーディオ信号のサンプリングを行い、多重のオーディオ信号を得る。
即ち、アレイにおけるマイクロフォンｍｉｃ−１、ｍｉｃ−２、…ｍｉｃ−Ｎによって、多重の音声信号ｍ１（ｔ）、ｍ２（ｔ）、…ｍＮ（ｔ）がそれぞれサンプリングして得られ、線形エコー除去モジュール９１０に入力される。
線形エコー除去モジュール９１０は、抽出されたエコー参照信号ｒ（ｔ）に基づいて、エコー除去を完成し、エコー除去後のオーディオ信号Ｓ１（ｔ）、Ｓ２（ｔ）、…ＳＮ（ｔ）を得、さらに、時間周波数分析モジュール９３０に入力する。
時間周波数分析モジュールによって多重のエコー除去後のオーディオ信号Ｓ１（ｔ）、Ｓ２（ｔ）、…ＳＮ（ｔ）に対して時間周波数分析を行った後、相応の時間周波数領域表現、即ちＳ１（ｎ，ｆ）、Ｓ２（ｎ，ｆ）、…ＳＮ（ｎ，ｆ）を得、さらに、空間スペクトル推定モジュール９７０に入力する。
オーディオ信号の時間周波数領域表現Ｓ１（ｎ，ｆ）、Ｓ２（ｎ，ｆ）、…ＳＮ（ｎ，ｆ）に対して、重み付け推定モジュール９５０は、ＫＷＳ情報、エコー参照信号の時間周波数領域表現Ｒ（ｎ，ｆ）およびＤＲＲ推定、ＳＮＲ推定、ＥＣ−ＰＰ推定によって重み付け共分散行列を得、図１１は、一例示的な実施例により示される、重み付け推定モジュールの実現の概略図であり、これによって、重み付け共分散行列を構成する重みが得られる。
具体的には、得られた複数の重みが相乗方式で総合され、下記の公式の通りであり、即ち、

Figure 2021533423
これにより、１つの時間周波数ポイントでのＤＲＲ推定値、ＳＥＲ、ＳＮＲがすべて高い場合、対応する重みが１に近くなる可能性があり、いずれかの重みが低い場合、この時間周波数ポイントでの重みが０に近くなる、というが保証され、これによって、ターゲットオーディオダイレクト信号の重み付け共分散行列における相対的な割合を向上させ、空間スペクトル推定に対する干渉信号の影響が低減される。
空間スペクトルについて、空間角度θは、連続変数である（数え切れないほどの方位角が存在している）ので、方位角ごとに、空間スペクトルｐ（θ）を計算することができない、ということが理解されるべきである。実際の工学応用では、限られた数の方位角θｉ，ｉ＝１，２，…Ｎθ（Ｎθは、選択された方位角の個数）を選択して、対応する方向の空間スペクトルを計算する、ということが多い。
本願の実施例の実現によれば、空間スペクトル推定モジュールは、ターゲットオーディオダイレクト信号ｓｄ、ターゲット音声の残響反射信号ｓｒ、雑音信号のダイレクト及び反射成分ｎｄｒ、さらに残留しているエコー信号ｅに対して、重み付け値ｇ（ｎ，ｆ）によって空間スペクトルの推定を行い、ｓｄが支配する時間周波数ポイントで、ｇ（ｎ，ｆ）が大きく、ｓｄがｓｒ、ｎｄｒまたはｅによってカバーされた時間周波数ポイントで、ｇ（ｎ，ｆ）が小さいので、音声のダイレクト信号ｓｄの重み付け共分散行列Ｇ（ｎ０，ｎ１，ｆ）における相対的な割合を高め、さらに、干渉信号（ｓｒ，ｎｄｒおよびｅを含む）の空間スペクトル推定への干渉を低減させ、最終的には、複雑シーンでの方位角推定アルゴリズムのロバスト性を高める。
以下、本願の実施例に係る装置の実施形態であり、それは、本願の実施例に係る上記の方法の実施形態を実行するために使用されるものである。本願の実施例に係る装置の実施形態に開示されていない詳細について、本願の実施例に係る他の方法の実施形態を参照してください。
図１２は、一例示的な実施例により示される、音源方位角の演算装置のブロック図である。一例示的な実施例において、図１２に示すように、この音源方位角の演算装置には、信号取得モジュール１１１０と、エコー除去モジュール１１２０と、重み演算モジュール１１３０と、行列構築モジュール１１４０と、空間スペクトル演算モジュール１１５０と、方位角決定モジュール１１６０とが含まれるが、これらに限定されない。
信号取得モジュール１１１０は、オーディオ信号を取得する。
ここで、このオーディオ信号は、空間内の複数の方向のオーディオ信号であり、ターゲットオーディオダイレクト信号を含む。
エコー除去モジュール１１２０は、オーディオ信号に対してエコー除去処理を行う。
重み演算モジュール１１３０は、前記オーディオ信号の特徴を使用して、エコー除去後の前記オーディオ信号の、複数の時間周波数ポイントでの重みを取得し、各時間周波数ポイントでの重みは、前記時間周波数ポイントでの、前記オーディオ信号における前記ターゲットオーディオダイレクト信号の相対的な割合を示す。
空間スペクトル演算モジュール１１５０は、前記複数の方向における各方向のオーディオ信号に対して、前記複数の時間周波数ポイントでの重みを使用して、前記オーディオ信号の前記複数の時間周波数ポイントでの時間周波数成分をそれぞれ重み付けて、前記各方向のオーディオ信号の重み付け信号エネルギーを得る。
いくつかの実施例では、重み演算モジュール１１３０は、エコー除去後のオーディオ信号の時間周波数領域表現および時間周波数ポイントでの重みを取得するようにしてよい。この装置は、行列構築モジュール１１４０をさらに備えるようにしてよく、この行列構築モジュール１１４０は、前記時間周波数ポイントでの重みおよび時間周波数領域表現によって、前記時間周波数ポイントに対応する重み付け共分散行列を演算し、前記重み付け共分散行列は、オーディオ信号におけるターゲットオーディオダイレクト信号の相対的な割合を記述するために使用されるものである。空間スペクトル演算モジュール１１５０は、前記重み付け共分散行列によって空間スペクトルの重み付け演算を行い、前記オーディオ信号が時間周波数ポイントに応じて重み付けされた空間スペクトルを得る。方位角決定モジュール１１６０は、前記空間スペクトルから前記オーディオ信号におけるターゲットオーディオダイレクト信号に対応する音源方位角を得る。
図１３は、図１２の対応する実施例により示される、重み演算モジュールを説明するブロック図である。一例示的な実施例において、図１３に示すように、この重み演算モジュールは、時間周波数分析ユニット１１１１と、パラメータ推定ユニット１１１３と、重みマッピングユニット１１１５とを備える。
時間周波数分析ユニット１１１１は、オーディオ信号の時間周波数領域表現を取得する。
パラメータ推定ユニット１１１３は、オーディオ信号の時間周波数領域表現に対して、時間周波数ポイントに応じてオーディオ特徴パラメータの推定を行う。
重みマッピングユニット１１１５は、前記時間周波数ポイントに対応するオーディオ特徴パラメータに基づいて、前記オーディオ信号の前記時間周波数ポイントでの重みを得る。
一例示的な実施例において、オーディオ特徴パラメータは、時間周波数領域表現の時間周波数ポイントでの信号対雑音比推定値を含み、時間周波数分析ユニット１１１１は、さらに、オーディオ信号の時間周波数領域表現に対して、各時間周波数ポイントでの信号対雑音比推定値を推定し、前記信号対雑音比推定値は、マッピングによって前記オーディオ信号の時間周波数ポイントでの重みを得るために使用されるものである。
図１４は、図１２の対応する実例により示される、重みマッピングユニットを説明するブロック図である。一例示的な実施例において、オーディオ特徴パラメータは、複数のタイプがあり、図１４に示すように、この重みマッピングユニット１１１３は、マッピング取得ユニット１２０１と重み付けユニット１２０３とを備える。
マッピング取得ユニット１２０１は、時間周波数ポイントでの、オーディオ信号の時間周波数領域表現の異なるオーディオ特徴パラメータによってそれぞれマッピングされた重みを取得する。
重み付けユニット１２０３は、取得された前記重みに対して重み付け演算を行い、前記オーディオ信号の前記時間周波数ポイントでの重みを得る。
一例示的な実施例において、オーディオ特徴パラメータは、時間周波数ポイントがターゲットウェイクワードに対応する確率を含み、パラメータ推定ユニット１１１３は、さらに、前記オーディオ信号におけるターゲットウェイクワードを検出し、検出された前記ターゲットウェイクワードに対して、所在する時間周波数ポイントを推定し、各時間周波数ポイントがターゲットウェイクワードに対応する確率を得る。
一例示的な実施例において、行列構築モジュールは、さらに、時間周波数ポイントで、前記オーディオ信号の時間周波数領域表現および重みによって、重み付け演算を行い、前記重み付け共分散行列における、前記時間周波数ポイントに対応する重み付け要素値を得、時間周波数ポイントに対応する重み付け要素値のすべてが前記重み付け共分散行列を構成する。
図１５は、別の例示的な実施例により示される、音源方位角の演算装置のブロック図である。別の例示的な実施例において、図１５に示すように、このエコー除去モジュール１１２０は、エコー除去モジュール１１２１と、時間周波数分析モジュール１１２３とを備える。
エコー除去モジュール１１２１は、前記オーディオインタラクションデバイスにおいて、エコー参照信号を取得し、前記エコー参照信号によって、マイクロフォンで収集された前記オーディオ信号に対して線形エコー除去を行う。
時間周波数分析モジュール１１２３は、前記オーディオ信号のエコー除去後に、時間周波数分析を行い、前記エコー除去後のオーディオ信号の時間周波数領域表現を得る。
図１６は、一例示的な実施例により示される、オーディオインタラクションデバイスがターゲットオーディオを位置決める装置のブロック図である。一例示的な実施例において、図１６に示すように、このオーディオインタラクションデバイスがターゲットオーディオを位置決める装置は、オーディオ取得モジュール１４１０と、エコー除去処理モジュール１４２０と、時間周波数ポイント演算モジュール１４３０と、行列演算モジュール１４４０と、空間スペクトル重み付けモジュール１４５０と、方位角位置決めモジュール１４６０と、位置決定モジュール１４７０とを備える。
オーディオ取得モジュール１４１０は、オーディオ信号を取得する。
ここで、前記オーディオ信号は、空間内の複数の方向のオーディオ信号であってよく、ターゲットオーディオダイレクト信号を含む。
エコー除去処理モジュール１４２０は、オーディオ信号に対してエコー除去処理を行う。
時間周波数ポイント演算モジュール１４３０は、前記オーディオ信号の特徴を使用して、エコー除去後の前記オーディオ信号の、複数の時間周波数ポイントでの重みを取得し、各時間周波数ポイントでの重みは、前記時間周波数ポイントでの、前記オーディオ信号における前記ターゲットオーディオダイレクト信号の相対的な割合を示す。
空間スペクトル重み付けモジュール１４５０は、前記複数の方向における各方向のオーディオ信号に対して、前記複数の時間周波数ポイントでの重みを使用して、前記オーディオ信号の前記複数の時間周波数ポイントでの時間周波数成分をそれぞれ重み付けて、前記各方向のオーディオ信号の重み付け信号エネルギーを得る。
方位角位置決めモジュール１４６０は、前記各方向のオーディオ信号の重み付け信号エネルギーを使用して、オーディオインタラクションにおけるターゲットオーディオに対応する音源方位角を得る。
位置決定モジュール１４７０は、前記音源方位角によって前記オーディオインタラクションにおけるターゲットオーディオの音源位置を位置決める。
いくつかの実施例において、時間周波数ポイント演算モジュール１４３０は、エコー除去後のオーディオ信号の時間周波数領域表現および時間周波数ポイントでの重みを取得することに使用されることができ、前記オーディオ信号は、前記オーディオインタラクションデバイスにおけるマイクロフォンによりサンプリングして得られたものである。この装置は、行列演算モジュール１４４０をさらに備えるようにしてよく、この行列演算モジュール１４４０は、前記時間周波数ポイントでの重みおよび時間周波数領域表現によって、前記オーディオ信号の前記時間周波数ポイントに対応する重み付け共分散行列を取得し、前記重み付け共分散行列は、オーディオ信号におけるターゲットオーディオダイレクト信号の相対的な割合を記述するために使用されるものである。空間スペクトル重み付けモジュール１４５０は、前記重み付け共分散行列によって空間スペクトルの重み付け演算を行い、前記オーディオ信号が時間周波数ポイントに応じて重み付けされた空間スペクトルを得る。方位角位置決めモジュール１４６０は、前記空間スペクトルからオーディオインタラクションにおけるターゲットオーディオに対応する音源方位角を得ることに使用されることができる。
オプションとして、本願の実施例はまた、オーディオインタラクションデバイスを提供し、このオーディオインタラクションデバイスは、図１に示す実施環境において使用されることができ、図３、図５、図６、図７、図８および図９のいずれかに示す方法の全部または一部のステップを実行し、前記デバイスは、
プロセッサと、
プロセッサ実行可能命令を記憶するためのメモリと、を備える。
ここで、前記プロセッサは、前述した方法を実行するように構成される。
本実施例におけるデバイスのプロセッサが動作を実行する具体的な方法は、関連する前述の実施例に詳細に説明されたが、ここでは詳細には説明されない。
各実施例におけるハードウェアモジュールは、ハードウェアの方式またはハードウェアプラットフォームプラスソフトウェアの方式で実装されるようにしてよい。上記のソフトウェアは、不揮発性記憶媒体に記憶されている機器可読命令を含む。したがって、各実施例は、ソフトウェア製品として具現化されるようにしてもよい。
各例では、ハードウェアは、専門のハードウェアまたは機器可読命令を実行するハードウェアによって実現されるようにしてよい。例えば、ハードウェアは、特定の動作を完了するために、専門的に設計された永久回路または論理デバイス（例えば、ＦＰＧＡやＡＳＩＣなどの専用プロセッサ）とするようにしてよい。ハードウェアは、特定の動作を実行するために、ソフトウェアによって一時的に配置されたプログラマブル論理デバイスまたは回路（例えば、汎用プロセッサまたは他のプログラマブルプロセッサを含む）を含むようにしてよい。
図中のモジュールに対応する機器可読命令は、コンピュータ上で動作するオペレーティングシステムなどに、ここで説明された一部または全部の動作を完了させることができる。不揮発性コンピュータ読み取り可能な記憶媒体は、コンピュータ内の拡張ボードに設定されたメモリに挿入されるか、またはコンピュータに接続された拡張ユニットに設定されたメモリに書き込まれることができる。拡張ボードや拡張ユニットに取り付けられたＣＰＵなどは、命令に従って、一部または全部の実際の動作を実行するようにしてもよい。
不揮発性コンピュータ読み取り可能な記憶媒体は、ソフトディスク、ハードディスク、磁気ディスク、光ディスク（例えば、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ）、磁気テープ、不揮発性メモリカード、およびＲＯＭを含む。オプションとして、プログラムコードは、通信ネットワークによってサーバコンピュータからダウンロードされるようにしてよい。
本願の実施例は、上記で説明されて添付図面に示された正確な構造に限定されるものではなく、また、その範囲を逸脱しない前提で、様々な補正や変更が実行され得る、ということが理解されるべきである。本願の実施例の範囲は、添付の特許請求の範囲によってのみ制限される。
110 オーディオインタラクションデバイス
111 ボタン
112 ピックアップマイクロホン
113 メインボード
114 メイン制御チップ
115 ブルートゥース（登録商標）チップ
116 ＷｉＦｉチップ
117 放熱シート
1110 情報取得モジュール
1111 時間周波数分析ユニット
1113 パラメータ推定ユニット
1115 重みマッピングユニット
1120 エコー除去モジュール
1121 エコー除去モジュール
1123 時間周波数分析モジュール
1130 重み演算モジュール
1140 行列構築モジュール
1150 空間スペクトル演算モジュール
1160 方位角決定モジュール
1201 マッピング取得ユニット
1203 重み付けユニット
1410 オーディオ取得モジュール
1420 エコー除去処理モジュール
1430 時間周波数ポイント演算モジュール
1440 行列演算モジュール
1450 空間スペクトル重み付けモジュール
1460 方位角位置決めモジュール
1470 位置決定モジュール

Claims (16)

  1. オーディオ認識方法であって、
    空間内の複数の方向のオーディオ信号を取得するステップであって、前記オーディオ信号は、ターゲットオーディオダイレクト信号を含むステップと、
    前記オーディオ信号に対してエコー除去処理を行うステップと、
    前記オーディオ信号の特徴を使用して、エコー除去後の前記オーディオ信号の複数の時間周波数ポイントでの重みを取得するステップであって、各時間周波数ポイントでの重みは、前記時間周波数ポイントでの、前記エコー除去後のオーディオ信号における前記ターゲットオーディオダイレクト信号の相対的な割合を示すものであるステップと、
    前記複数の方向における各方向のオーディオ信号に対して、前記複数の時間周波数ポイントでの重みを使用して、前記オーディオ信号の前記複数の時間周波数ポイントでの時間周波数成分をそれぞれ重み付けて、前記各方向のオーディオ信号の重み付け信号エネルギーを得るステップと、
    前記各方向のオーディオ信号の重み付け信号エネルギーを使用して、前記オーディオ信号における前記ターゲットオーディオダイレクト信号に対応する音源方位角を得るステップと、
    前記ターゲットオーディオダイレクト信号に対応する音源方位角に基づいて、オーディオ認識を行うステップと、
    を含むことを特徴とするオーディオ認識方法。
  2. 前記重みを使用して、前記オーディオ信号の各時間周波数成分を重み付けて、前記各方向のオーディオ信号の信号エネルギーを得るステップは、
    前記重みおよびエコー除去後の前記オーディオ信号の時間周波数領域表現により、前記複数の時間周波数ポイントにおける各時間周波数ポイントでの重み付け共分散行列を取得するステップであって、前記重み共分散行列が、前記オーディオ信号における前記ターゲットオーディオダイレクト信号の相対的な割合を記述するために使用されるものであるステップと、
    前記重み付け共分散行列によって空間スペクトルの重み付け演算を行い、前記オーディオ信号が時間周波数ポイントに応じて重み付けされた空間スペクトルを得るステップと、を含む、
    ことを特徴とする請求項１に記載の方法。
  3. 前記オーディオ信号の特徴を使用して、エコー除去後の前記オーディオ信号の複数の時間周波数ポイントにおける各時間周波数ポイントでの重みを取得するステップは、
    前記オーディオ信号の時間周波数領域表現を取得するステップと、
    オーディオ信号の時間周波数領域表現に対して、時間周波数ポイントに応じてオーディオ特徴パラメータの推定を行うステップと、
    前記時間周波数ポイントに対応するオーディオ特徴パラメータに基づいて、前記オーディオ信号の前記時間周波数ポイントでの重みを得るステップと、を含む、
    ことを特徴とする請求項１に記載の方法。
  4. 前記オーディオ特徴パラメータは、前記時間周波数領域表現の時間周波数ポイントでの信号対雑音比推定値を含み、前記オーディオ信号の時間周波数領域表現に対して、時間周波数ポイントに応じてオーディオ特徴パラメータの推定を行うステップは、
    オーディオ信号の時間周波数領域表現に対して、各時間周波数ポイントでの信号対雑音比推定値を推定するステップであって、前記信号対雑音比推定値は、マッピングによって前記オーディオ信号の時間周波数ポイントでの重みを得るために使用されるものであるステップ、を含む、
    ことを特徴とする請求項３に記載の方法。
  5. 前記オーディオ特徴パラメータは、複数のタイプがあり、前記時間周波数ポイントに対応するオーディオ特徴パラメータに基づいて、前記オーディオ信号の前記時間周波数ポイントでの重みを得るステップは、
    時間周波数ポイントでの、オーディオ信号の時間周波数領域表現の異なるオーディオ特徴パラメータによってそれぞれマッピングされた重みを取得するステップと、
    取得された前記重みに対して重み付け演算を行い、前記オーディオ信号の前記時間周波数ポイントでの重みを得るステップと、を含む、
    ことを特徴とする請求項３に記載の方法。
  6. 前記オーディオ特徴パラメータは、時間周波数領域表現の時間周波数ポイントでのダイレクト対残響信号強度比、残留エコー信号推定値、および前記時間周波数ポイントがターゲットウェイクワードに対応する確率のうちの少なくとも１つまたは任意の組合せ、をさらに含む、
    ことを特徴とする請求項５に記載の方法。
  7. 前記オーディオ特徴パラメータは、前記時間周波数ポイントがターゲットウェイクワードに対応する確率を含み、前記オーディオ信号の時間周波数領域表現に対して、時間周波数ポイントに応じてオーディオ特徴パラメータの推定を行うステップは、
    前記オーディオ信号におけるターゲットウェイクワードを検出し、検出された前記ターゲットウェイクワードに対して、所在する時間周波数ポイントを推定し、各時間周波数ポイントがターゲットウェイクワードに対応する確率を得るステップ、を含む、
    ことを特徴とする請求項６に記載の方法。
  8. 前記複数の時間周波数ポイントにおける各時間周波数ポイントでの重み付け共分散行列を取得するステップは、
    時間周波数ポイントで前記オーディオ信号の時間周波数領域表現および重みによって重み付け演算を行い、前記重み付け共分散行列における、前記時間周波数ポイントに対応する重み付け要素値を得、時間周波数ポイントに対応する重み付け要素値のすべてが前記重み付け共分散行列を構成するステップ、を含む、
    ことを特徴とする請求項２に記載の方法。
  9. 前記オーディオ信号に対してエコー除去処理を行うステップは、
    オーディオインタラクションデバイスにおいてエコー参照信号を取得し、前記エコー参照信号によって、マイクロフォンで収集された前記オーディオ信号に対して線形エコー除去を行うステップと、
    前記オーディオ信号のエコー除去後に、時間周波数分析を行い、前記エコー除去後のオーディオ信号の時間周波数領域表現を得るステップと、を含む、
    ことを特徴とする請求項１に記載の方法。
  10. オーディオインタラクションデバイスがターゲットオーディオを位置決める方法であって、
    オーディオインタラクションデバイスは、空間内の複数の方向のオーディオ信号を取得するステップであって、前記オーディオ信号は、ターゲットオーディオダイレクト信号を含むステップと、
    前記オーディオ信号に対してエコー除去処理を行うステップと、
    オーディオインタラクションデバイスは、前記オーディオ信号の特徴を使用して、エコー除去後の前記オーディオ信号の複数の時間周波数ポイントでの重みを取得するステップであって、各時間周波数ポイントでの重みは、前記時間周波数ポイントでの、前記エコー除去後のオーディオ信号における前記ターゲットオーディオダイレクト信号の相対的な割合を示すものであるステップと、
    前記複数の方向における各方向のオーディオ信号に対して、前記複数の時間周波数ポイントでの重みを使用して、前記オーディオ信号の前記複数の時間周波数ポイントでの時間周波数成分をそれぞれ重み付けて、前記各方向のオーディオ信号の重み付け信号エネルギーを得るステップと、
    前記各方向のオーディオ信号の重み付け信号エネルギーを使用して、オーディオインタラクションにおけるターゲットオーディオに対応する音源方位角を得るステップと、
    前記音源方位角によって前記オーディオインタラクションにおけるターゲットオーディオの音源位置を位置決めるステップと、
    を含むことを特徴とする位置決め方法。
  11. オーディオ認識装置であって、
    空間内の複数の方向のオーディオ信号を取得する信号取得モジュールであって、前記オーディオ信号は、ターゲットオーディオダイレクト信号を含む信号取得モジュールと、
    前記オーディオ信号に対してエコー除去処理を行うエコー除去モジュールと、
    前記オーディオ信号の特徴を使用して、エコー除去後の前記オーディオ信号の複数の時間周波数ポイントでの重みを取得する重み演算モジューであって、各時間周波数ポイントでの重みは、前記時間周波数ポイントでの、前記エコー除去後のオーディオ信号における前記ターゲットオーディオダイレクト信号の相対的な割合を示すものである重み演算モジュールと、
    前記複数の方向における各方向のオーディオ信号に対して、前記複数の時間周波数ポイントでの重みを使用して、前記オーディオ信号の前記複数の時間周波数ポイントでの時間周波数成分をそれぞれ重み付けて、前記各方向のオーディオ信号の重み付け信号エネルギーを得る空間スペクトル演算モジュールと、
    前記各方向のオーディオ信号の重み付け信号エネルギーを使用して、前記オーディオ信号における前記ターゲットオーディオダイレクト信号に対応する音源方位角を得る方位角決定モジュールと、
    前記ターゲットオーディオダイレクト信号に対応する音源方位角に基づいて、オーディオ認識を行うオーディオ認識モジュールと、
    を備えることを特徴とするオーディオ認識装置。
  12. 前記重み演算モジュールは、
    前記オーディオ信号の時間周波数領域表現を取得する時間領域分析ユニットと、
    オーディオ信号の時間周波数領域表現に対して、時間周波数ポイントに応じてオーディオ特徴パラメータの推定を行うパラメータ推定ユニットと、
    前記時間周波数ポイントに対応するオーディオ特徴パラメータに基づいて、前記オーディオ信号の前記時間周波数ポイントでの重みを得る重みマッピングユニットと、を備える、
    ことを特徴とする請求項１１に記載の装置。
  13. 前記オーディオ特徴パラメータは、複数のタイプがあり、前記重みマッピングユニットは、
    時間周波数ポイントでの、オーディオ信号の時間周波数領域表現の異なるオーディオ特徴パラメータによってそれぞれマッピングされた重みを取得するマッピング取得ユニットと、
    取得された前記重みに対して重み付け演算を行い、前記オーディオ信号の前記時間周波数ポイントでの重みを得る重み付けユニットと、を備える、
    ことを特徴とする請求項１２に記載の装置。
  14. オーディオインタラクションデバイスがターゲットオーディオを位置決める装置であって、
    空間内の複数の方向のオーディオ信号を取得するオーディオ取得モジュールであって、前記オーディオ信号は、ターゲットオーディオダイレクト信号を含むオーディオ取得モジュールと、
    前記オーディオ信号に対してエコー除去処理を行うエコー除去処理モジュールと、
    前記オーディオ信号の特徴を使用して、エコー除去後の前記オーディオ信号の複数の時間周波数ポイントでの重みを取得する時間周波数ポイント演算モジュールであって、各時間周波数ポイントでの重みは、前記時間周波数ポイントでの、前記エコー除去後のオーディオ信号における前記ターゲットオーディオダイレクト信号の相対的な割合を示すものである時間周波数ポイント演算モジュールと、
    前記複数の方向における各方向のオーディオ信号に対して、前記複数の時間周波数ポイントでの重みを使用して、前記オーディオ信号の前記複数の時間周波数ポイントでの時間周波数成分をそれぞれ重み付けて、前記各方向のオーディオ信号の重み付け信号エネルギーを得る空間スペクトル重み付けモジュールと、
    前記各方向のオーディオ信号の重み付け信号エネルギーを使用して、オーディオインタラクションにおけるターゲットオーディオに対応する音源方位角を得る方位角位置決めモジュールと、
    前記音源方位角によって前記オーディオインタラクションにおけるターゲットオーディオの音源位置を位置決める位置決定モジュールと、
    を備えることを特徴とする位置決め装置。
  15. オーディオインタラクションデバイスであって、
    プロセッサと、メモリとを備え、
    前記メモリにコンピュータ可読命令が記憶されており、前記コンピュータ可読命令が前記プロセッサによって実行される場合、請求項１〜１０のいずれか１項に記載の方法を実現する、
    ことを特徴とするオーディオインタラクションデバイス。
  16. コンピュータ読み取り可能な記憶媒体であって、コンピュータ可読命令が記憶されており、請求項１〜１０のいずれか１項に記載の方法を実現するように、前記コンピュータ可読命令が、１つまたは複数のプロセッサによって実行させる、
    ことを特徴とするコンピュータ読み取り可能な記憶媒体。
JP2021531173A 2018-11-30 2019-11-29 オーディオ認識方法、ターゲットオーディオを位置決める方法、それらの装置、およびデバイスとコンピュータプログラム Active JP7158806B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811455880.6A CN109597022B (zh) 2018-11-30 2018-11-30 声源方位角运算、定位目标音频的方法、装置和设备
CN201811455880.6 2018-11-30
PCT/CN2019/121946 WO2020108614A1 (zh) 2018-11-30 2019-11-29 音频识别方法、定位目标音频的方法、装置和设备

Publications (2)

Publication Number Publication Date
JP2021533423A true JP2021533423A (ja) 2021-12-02
JP7158806B2 JP7158806B2 (ja) 2022-10-24

Family

ID=65960546

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021531173A Active JP7158806B2 (ja) 2018-11-30 2019-11-29 オーディオ認識方法、ターゲットオーディオを位置決める方法、それらの装置、およびデバイスとコンピュータプログラム

Country Status (5)

Country Link
US (1) US11967316B2 (ja)
EP (1) EP3822654B1 (ja)
JP (1) JP7158806B2 (ja)
CN (2) CN110491403B (ja)
WO (1) WO2020108614A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110491403B (zh) 2018-11-30 2022-03-04 腾讯科技（深圳）有限公司 音频信号的处理方法、装置、介质和音频交互设备
CN110097891B (zh) * 2019-04-22 2022-04-12 广州视源电子科技股份有限公司 一种麦克风信号处理方法、装置、设备及存储介质
CN110265020B (zh) * 2019-07-12 2021-07-06 大象声科（深圳）科技有限公司 语音唤醒方法、装置及电子设备、存储介质
CN110415718B (zh) * 2019-09-05 2020-11-03 腾讯科技（深圳）有限公司 信号生成的方法、基于人工智能的语音识别方法及装置
CN110517702B (zh) * 2019-09-06 2022-10-04 腾讯科技（深圳）有限公司 信号生成的方法、基于人工智能的语音识别方法及装置
CN112614500A (zh) * 2019-09-18 2021-04-06 北京声智科技有限公司 回声消除方法、装置、设备及计算机存储介质
CN112929506B (zh) * 2019-12-06 2023-10-17 阿里巴巴集团控股有限公司 音频信号的处理方法及装置，计算机存储介质及电子设备
CN111009257B (zh) * 2019-12-17 2022-12-27 北京小米智能科技有限公司 一种音频信号处理方法、装置、终端及存储介质
CN111239680B (zh) * 2020-01-19 2022-09-16 西北工业大学太仓长三角研究院 一种基于差分阵列的波达方向估计方法
CN111933170B (zh) * 2020-07-20 2024-03-29 歌尔科技有限公司 语音信号的处理方法、装置、设备及存储介质
CN111833899B (zh) * 2020-07-27 2022-07-26 腾讯科技（深圳）有限公司 一种基于多音区的语音检测方法、相关装置及存储介质
JP7350698B2 (ja) * 2020-09-09 2023-09-26 株式会社東芝 音響装置及び音響装置のボリューム制御方法
CN112151051B (zh) * 2020-09-14 2023-12-19 海尔优家智能科技（北京）有限公司 音频数据的处理方法和装置及存储介质
CN112492207B (zh) * 2020-11-30 2023-04-18 深圳卡多希科技有限公司 一种基于声源定位控制摄像头转动的方法和装置
US11783826B2 (en) * 2021-02-18 2023-10-10 Nuance Communications, Inc. System and method for data augmentation and speech processing in dynamic acoustic environments
CN112799017B (zh) * 2021-04-07 2021-07-09 浙江华创视讯科技有限公司 声源定位方法、装置、存储介质及电子设备
CN113138363A (zh) * 2021-04-22 2021-07-20 苏州臻迪智能科技有限公司 一种声源定位方法、装置、存储介质和电子设备
CN113207058B (zh) * 2021-05-06 2023-04-28 恩平市奥达电子科技有限公司 一种音频信号的传输处理方法
CN113640744A (zh) * 2021-08-20 2021-11-12 歌尔科技有限公司 声源定位方法及音频设备
CN113628633A (zh) * 2021-10-14 2021-11-09 辰风策划(深圳)有限公司 用于企业多方会晤的多通道信息传输的降噪方法
CN116047413B (zh) * 2023-03-31 2023-06-23 长沙东玛克信息科技有限公司 一种封闭混响环境下的音频精准定位方法
CN116645973B (zh) * 2023-07-20 2023-09-29 腾讯科技（深圳）有限公司 定向音频增强方法、装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135642A (ja) * 2000-10-24 2002-05-10 Atr Onsei Gengo Tsushin Kenkyusho:Kk 音声翻訳システム
US20040252845A1 (en) * 2003-06-16 2004-12-16 Ivan Tashev System and process for sound source localization using microphone array beamsteering
JP2010114554A (ja) * 2008-11-05 2010-05-20 Yamaha Corp 放収音装置
US20190043491A1 (en) * 2018-05-18 2019-02-07 Intel Corporation Neural network based time-frequency mask estimation and beamforming for speech pre-processing

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6999593B2 (en) * 2003-05-28 2006-02-14 Microsoft Corporation System and process for robust sound source localization
CN102809742B (zh) * 2011-06-01 2015-03-18 杜比实验室特许公司 声源定位设备和方法
CN102314884B (zh) * 2011-08-16 2013-01-02 捷思锐科技（北京）有限公司 语音激活检测方法与装置
EP2701145B1 (en) * 2012-08-24 2016-10-12 Retune DSP ApS Noise estimation for use with noise reduction and echo cancellation in personal communication
EP2738762A1 (en) * 2012-11-30 2014-06-04 Aalto-Korkeakoulusäätiö Method for spatial filtering of at least one first sound signal, computer readable storage medium and spatial filtering system based on cross-pattern coherence
CN104103277B (zh) * 2013-04-15 2017-04-05 北京大学深圳研究生院 一种基于时频掩膜的单声学矢量传感器目标语音增强方法
US9640179B1 (en) * 2013-06-27 2017-05-02 Amazon Technologies, Inc. Tailoring beamforming techniques to environments
CN103439688B (zh) * 2013-08-27 2015-04-22 大连理工大学 一种用于分布式麦克风阵列的声源定位系统及定位方法
US9734822B1 (en) * 2015-06-01 2017-08-15 Amazon Technologies, Inc. Feedback based beamformed signal selection
EP3223279B1 (en) * 2016-03-21 2019-01-09 Nxp B.V. A speech signal processing circuit
HK1221372A2 (zh) * 2016-03-29 2017-05-26 萬維數碼有限公司 種獲得空間音頻定向向量的方法、裝置及設備
US10861478B2 (en) * 2016-05-30 2020-12-08 Oticon A/S Audio processing device and a method for estimating a signal-to-noise-ratio of a sound signal
US20170365271A1 (en) * 2016-06-15 2017-12-21 Adam Kupryjanow Automatic speech recognition de-reverberation
US10431211B2 (en) * 2016-07-29 2019-10-01 Qualcomm Incorporated Directional processing of far-field audio
CN107976651B (zh) * 2016-10-21 2020-12-25 杭州海康威视数字技术股份有限公司 一种基于麦克风阵列的声源定位方法及装置
US20180190282A1 (en) * 2016-12-30 2018-07-05 Qualcomm Incorporated In-vehicle voice command control
CN106908755B (zh) 2017-03-01 2019-03-26 西安电子科技大学 无线声传感器网络下压缩气体泄漏的声源方位估计方法
US10546593B2 (en) * 2017-12-04 2020-01-28 Apple Inc. Deep learning driven multi-channel filtering for speech enhancement
CN108322859A (zh) * 2018-02-05 2018-07-24 北京百度网讯科技有限公司 用于回声消除的设备、方法和计算机可读存储介质
CN110491403B (zh) * 2018-11-30 2022-03-04 腾讯科技（深圳）有限公司 音频信号的处理方法、装置、介质和音频交互设备
US11276397B2 (en) * 2019-03-01 2022-03-15 DSP Concepts, Inc. Narrowband direction of arrival for full band beamformer
US11158335B1 (en) * 2019-03-28 2021-10-26 Amazon Technologies, Inc. Audio beam selection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135642A (ja) * 2000-10-24 2002-05-10 Atr Onsei Gengo Tsushin Kenkyusho:Kk 音声翻訳システム
US20040252845A1 (en) * 2003-06-16 2004-12-16 Ivan Tashev System and process for sound source localization using microphone array beamsteering
JP2010114554A (ja) * 2008-11-05 2010-05-20 Yamaha Corp 放収音装置
US20190043491A1 (en) * 2018-05-18 2019-02-07 Intel Corporation Neural network based time-frequency mask estimation and beamforming for speech pre-processing

Also Published As

Publication number Publication date
EP3822654B1 (en) 2023-12-27
CN110491403B (zh) 2022-03-04
WO2020108614A1 (zh) 2020-06-04
JP7158806B2 (ja) 2022-10-24
EP3822654A4 (en) 2021-10-13
CN109597022A (zh) 2019-04-09
CN109597022B (zh) 2023-02-17
CN110491403A (zh) 2019-11-22
EP3822654A1 (en) 2021-05-19
US11967316B2 (en) 2024-04-23
US20210174792A1 (en) 2021-06-10

Similar Documents

Publication Publication Date Title
JP2021533423A (ja) オーディオ認識方法、ターゲットオーディオを位置決める方法、それらの装置、およびデバイスとコンピュータプログラム
US10602267B2 (en) Sound signal processing apparatus and method for enhancing a sound signal
RU2596592C2 (ru) Пространственный аудио процессор и способ обеспечения пространственных параметров на основе акустического входного сигнала
TWI647961B (zh) 聲場的高階保真立體音響表示法中不相關聲源方向之決定方法及裝置
JP6400566B2 (ja) ユーザインターフェースを表示するためのシステムおよび方法
US9282399B2 (en) Listen to people you recognize
CN110503971A (zh) 用于语音处理的基于神经网络的时频掩模估计和波束形成
US20190104357A1 (en) Machine learning based sound field analysis
US9558757B1 (en) Selective de-reverberation using blind estimation of reverberation level
CN110675887B (zh) 一种用于会议系统的多麦克风切换方法和系统
US10602270B1 (en) Similarity measure assisted adaptation control
Seewald et al. Combining srp-phat and two kinects for 3d sound source localization
CN113470685B (zh) 语音增强模型的训练方法和装置及语音增强方法和装置
JP6265903B2 (ja) 信号雑音減衰
CN113160846B (zh) 噪声抑制方法和电子设备
US20140249809A1 (en) Audio signal noise attenuation
FR3102325A1 (fr) Localisation perfectionnée d’une source acoustique
CN112786065A (zh) 声源方向的确定
JP6903947B2 (ja) 非目的音抑圧装置、方法及びプログラム
CN109801643B (zh) 混响抑制的处理方法和装置
CN112289335A (zh) 语音信号的处理方法、装置及拾音设备
CN115410590A (zh) 一种语音增强方法和系统
JP2010072164A (ja) 目的信号区間推定装置、目的信号区間推定方法、目的信号区間推定プログラム及び記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210210

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220609

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220912

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221006

R150 Certificate of patent or registration of utility model

Ref document number: 7158806

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150