JP2019504539A - エコー遅延トラッキング方法、装置及びコンピュータ記憶媒体 - Google Patents

エコー遅延トラッキング方法、装置及びコンピュータ記憶媒体 Download PDF

Info

Publication number
JP2019504539A
JP2019504539A JP2018528587A JP2018528587A JP2019504539A JP 2019504539 A JP2019504539 A JP 2019504539A JP 2018528587 A JP2018528587 A JP 2018528587A JP 2018528587 A JP2018528587 A JP 2018528587A JP 2019504539 A JP2019504539 A JP 2019504539A
Authority
JP
Japan
Prior art keywords
signal
frequency
current frame
noise ratio
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018528587A
Other languages
English (en)
Other versions
JP6557786B2 (ja
Inventor
リアン，ジュンビン
Original Assignee
テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド filed Critical テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド
Publication of JP2019504539A publication Critical patent/JP2019504539A/ja
Application granted granted Critical
Publication of JP6557786B2 publication Critical patent/JP6557786B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/085—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using digital techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0264—Noise filtering characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/20—Arrangements for preventing acoustic feed-back
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本願の実施形態はエコー遅延トラッキング方法を開示し、本方法は：現在のフレームのリファレンス信号及び現在のフレームのコレクション信号を取得するステップ：現在のフレームのコレクション信号におけるターゲットの信号雑音比・周波数の情報を識別するステップであって、ターゲットの信号雑音比・周波数は第1プリセット閾値より大きい信号雑音比・周波数である、ステップ；ターゲットの信号雑音比・周波数の情報に従って、現在のフレームのコレクション信号は所定の条件を満足する有効なフレーム信号であることが判断されると、ターゲットの信号雑音比・周波数に対応する信号部分について、現在のフレームのリファレンス信号及び現在のフレームのコレクション信号の相互相関演算を実行するステップ；及び相互相関演算の結果に従ってエコー遅延値を取得するステップを含む。本願はエコー遅延トラッキング装置も開示する。

Description

＜関連出願＞
本願は2016年5月25日付で中国特許庁に出願された「エコー遅延トラッキング方法及び装置」と題する中国特許出願第201610353009.X号に基づく優先権を主張しており、その内容全体は本願のリファレンスに組み込まれる。
＜技術分野＞
本願はコンピュータ通信の分野に関連し、特に、エコー遅延トラッキング方法及びエコー遅延トラッキング装置に関連する。
＜背景技術＞
エコー遅延検出は、アコースティック・エコー・キャンセレーション・アルゴリズムの前段処理部分である。エコー・キャンセレーション処理が実行される前に、リファレンス信号(スピーカ再生信号)とリファレンス信号のエコー信号との間の時間差、即ち、エコー遅延が先ず算出され、それにより、以後、適応フィルタリング・エコー・キャンセレーション及び非線形エコー抑制処理が実行される。既存の解決手段は比較的弱い干渉耐性を有し、エコー遅延は、誤判断を招きやすく、多くの残留エコーの原因となってしまう。
本願の実施形態は、既存の技術的解決手段が比較的乏しい干渉耐性しか有しておらず、エコー遅延が誤判断を招きやすく、多くの残留エコーとなってしまう技術的問題を効果的に解決するために、エコー遅延トラッキング方法、エコー遅延トラッキング装置、及びモバイル電子デバイスを提供する。
上記の技術的課題を解決するために、本願の実施形態の第1側面はエコー遅延トラッキング方法を開示し、本方法は：
現在のフレームのリファレンス信号及び現在のフレームのコレクション信号を取得するステップ：
前記現在のフレームのコレクション信号におけるターゲットの信号雑音比・周波数の情報(target signal-to-noise ratio frequency information)を識別するステップであって、前記ターゲットの信号雑音比・周波数は第1プリセット閾値より大きい信号雑音比・周波数である、ステップ；
前記ターゲットの信号雑音比・周波数の情報に従って、前記現在のフレームのコレクション信号は所定の条件を満足する有効なフレーム信号であることが判断されると、前記ターゲットの信号雑音比・周波数に対応する信号部分について、前記現在のフレームのリファレンス信号及び前記現在のフレームのコレクション信号の相互相関演算を実行するステップ；及び
前記相互相関演算の結果に従ってエコー遅延値を取得するステップ；
を含む方法である。
第1側面に関し、第1の可能な実現形態では、前記現在のフレームのコレクション信号におけるターゲットの信号雑音比・周波数の情報を識別するステップが：
前記現在のフレームのコレクション信号のパワー・スペクトルを算出し、各周波数のノイズ・レベルを算出するステップ；
前記パワー・スペクトル及び前記ノイズ・レベルに従って各周波数の信号雑音比を算出するステップ；及び
各周波数の信号雑音比の中で前記第1プリセット閾値より大きい信号雑音比・周波数の数量(a quantity)及び周波数位置情報を取得するステップを含む。
第1側面の第1の可能な実現形態に関し、第2の可能な実現形態では、前記現在のフレームのコレクション信号におけるターゲットの信号雑音比・周波数の情報を識別するステップの後に、本方法は：
前記現在のフレームのコレクション信号の周波数の全数量の中で前記数量のパーセンテージが第2プリセット閾値より大きいか否かを分析するステップ；
分析の結果が「yes」である場合、前記現在のフレームのコレクション信号は所定の条件を満足する有効なフレーム信号であると判断するステップを更に含む。
第1側面の第1の可能な実現形態に関し、第3の可能な実現形態では、前記相互相関演算の結果に従ってエコー遅延値を取得するステップが：
スムージング処理値を取得するために、前記相互相関演算の結果について平滑化処理を実行するステップ；及び
前記スムージング処理値からエコー遅延値を選択するステップを含む。
第1側面の第3の可能な実現形態に関し、第4の可能な実現形態では、前記相互相関演算の結果について平滑化処理を実行するステップの前に、前記方法は：the method further includes:
前記現在のフレームのリファレンス信号のパワー・スペクトルを算出し、各周波数のスムージング処理値を算出するステップ；
第1の2値化アレイを取得するために、前記パワー・スペクトル及び前記スムージング処理値について2値化処理を実行するステップ；
nが正の整数である場合において、ターゲット・アレイを取得するために現在のフレームより前のnフレームの2値化データをキャッシュするステップ；
前記ターゲット・アレイにおける2進数値のうち1を有する数量をカウントするステップ；及び
1を有する数量に従って重み付け係数を算出するステップ；
を更に有し、前記相互相関演算の結果について平滑化処理を実行するステップが、前記相互相関演算の結果について、前記重み付け係数に従って重み付けスムージング処理を実行するステップを含む。
第1側面の第3の可能な実現形態に関し、第5の可能な実現形態では、前記ターゲットの信号雑音比・周波数に対応する信号部分について、前記現在のフレームのリファレンス信号及び前記現在のフレームのコレクション信号の相互相関演算を実行するステップが：
Figure 2019504539
 という数式の計算により、履歴nフレーム(history n frames)及び現在のフレームのコレクション信号の差分結果値を取得し、
iは0からn-1までの数であり、m1=INT(M*500)/fs*2であり、m2=INT(M*1200)/Fs*2であり；fsはサンプリング周波数値であり；Mは高速フーリエ変換(FFT)の数量の半分であり；kは、現在のフレームのコレクション信号の各周波数の信号雑音比の中で第1プリセット閾値より大きい信号雑音比・周波数の周波数位置情報であり；Refbbuf(i)(k)は第1のターゲット・アレイであり；Capb(k)は、各周波数の前記スムージング処理値及び前記現在のフレームのコレクション信号の前記パワー・スペクトルに従って2値化処理を実行することにより取得される第2の2値化アレイである。
本願の実施形態の第2側面は、プロセッサ及びメモリを少なくとも有するエコー遅延トラッキング装置を開示し、前記メモリは取得モジュールと、識別モジュールと、相互相関演算モジュールと、遅延値取得モジュールとを保存し、前記プロセッサにより実行される場合に：
前記取得モジュールは、現在のフレームのリファレンス信号及び現在のフレームのコレクション信号を取得するように構成されており；
前記識別モジュールは、前記現在のフレームのコレクション信号におけるターゲットの信号雑音比・周波数の情報を識別するように構成されており、前記ターゲットの信号雑音比・周波数は第1プリセット閾値より大きい信号雑音比・周波数であり；
前記相互相関演算モジュールは、前記ターゲットの信号雑音比・周波数の情報に従って、前記現在のフレームのコレクション信号は所定の条件を満足する有効なフレーム信号であることが判断されると、前記ターゲットの信号雑音比・周波数に対応する信号部分について、前記現在のフレームのリファレンス信号及び前記現在のフレームのコレクション信号の相互相関演算を実行するように構成されており；
前記遅延値取得モジュールは、前記相互相関演算の結果に従ってエコー遅延値を取得するように構成されている。
第2側面に関し、第1の可能な実現形態では、前記識別モジュールが第1計算ユニットと、第2計算ユニットと、数量取得ユニットとを有し、前記プロセッサにより実行される場合に：
前記第1計算ユニットは、前記現在のフレームのコレクション信号のパワー・スペクトルを算出し、各周波数のノイズ・レベルを算出するように構成されており；
前記第2計算ユニットは、前記パワー・スペクトル及び前記ノイズ・レベルに従って各周波数の信号雑音比を算出するように構成されており；及び
前記数量取得ユニットは、各周波数の信号雑音比の中で前記第1プリセット閾値より大きい信号雑音比・周波数の数量及び周波数位置情報を取得するように構成されている。
第2側面の第1の可能な実現形態に関し、第2の可能な実現形態では、前記メモリは分析モジュールを更に保存し、前記プロセッサにより実行される場合に、前記分析モジュールは：
前記現在のフレームのコレクション信号におけるターゲットの信号雑音比・周波数の情報を識別した後に、前記現在のフレームのコレクション信号の周波数の全数量の中で前記数量のパーセンテージが第2プリセット閾値より大きいか否かを分析し；及び
分析の結果が「yes」である場合、前記現在のフレームのコレクション信号は所定の条件を満足する有効なフレーム信号であると判断する、ように構成されている。
第2側面の第1の可能な実現形態に関し、第3の可能な実現形態では、前記遅延値取得モジュールがスムージング処理ユニットと選択ユニットとを有し、前記プロセッサにより実行される場合に：
前記スムージング処理ユニットは、スムージング処理値を取得するために、前記相互相関演算の結果について平滑化処理を実行するように構成されており；及び
前記選択ユニットは、前記スムージング処理値からエコー遅延値を選択するように構成されている。
第2側面の第3の可能な実現形態に関し、第4の可能な実現形態では、前記メモリが、パワー・スペクトル・スムージング計算モジュールと、2値化処理モジュールと、キャッシュ・モジュールと、統計モジュールと、重み付け係数計算モジュールとを保存するように更に構成されており、前記プロセッサにより実行される場合に：
前記パワー・スペクトル・スムージング計算モジュールは：前記スムージング処理ユニットが前記相互相関演算の結果について平滑化処理を実行する前に、前記現在のフレームのリファレンス信号のパワー・スペクトルを算出し、各周波数のスムージング処理値を算出するように構成されており；
前記2値化処理モジュールは、第1の2値化アレイを取得するために、前記パワー・スペクトル及び前記スムージング処理値について2値化処理を実行するように構成されており；
前記キャッシュ・モジュールは、nが正の整数である場合において、ターゲット・アレイを取得するために現在のフレームより前のnフレームの2値化データをキャッシュするように構成されており；
前記統計モジュールは、前記ターゲット・アレイにおける2進数値のうち1を有する数量をカウントするように構成されており；
前記重み係数計算モジュールは、1を有する数量に従って重み付け係数を算出するように構成されており；
前記スムージング処理ユニットは、前記相互相関演算の結果について、前記重み付け係数に従って重み付けスムージング処理を実行するように更に構成されている。
第2側面の第3の可能な実現形態に関し、第5の可能な実現形態では、前記プロセッサにより実行される場合に、前記相互相関演算モジュールは：
Figure 2019504539
 という数式の計算により、履歴nフレーム及び現在のフレームのコレクション信号の差分結果値を取得するように更に構成されており、
iは0からn-1までの数であり、m1=INT(M*500)/fs*2であり、m2=INT(M*1200)/Fs*2であり；fsはサンプリング周波数値であり；Mは高速フーリエ変換(FFT)の数量の半分であり；kは、現在のフレームのコレクション信号の各周波数の信号雑音比の中で第1プリセット閾値より大きい信号雑音比・周波数の周波数位置情報であり；Refbbuf(i)(k)は第1のターゲット・アレイであり；Capb(k)は、各周波数の前記スムージング処理値及び前記現在のフレームのコレクション信号の前記パワー・スペクトルに従って2値化処理を実行することにより取得される第2の2値化アレイである。
本願の実施形態の第3側面はモバイル電子デバイスを開示し、モバイル電子デバイスは、プロセッサと、メモリと、入力装置と、出力装置とを含む。プロセッサは、メモリに保存されている同期サービス管理プログラムを実行することにより、第1側面のエコー遅延トラッキング方法、第1側面の第1の可能な実現形態、第1側面の第2の可能な実現形態、第1側面の第3の可能な実現形態、第1側面の第4の可能な実現形態、又は第1側面の第5の可能な実現形態におけるエコー遅延トラッキング方法の全てのステップを実行する。
本願の実施形態の第4側面はコンピュータ記憶媒体を開示し、コンピュータ記憶媒体はプログラムを保存し、実行される場合に、プログラムは、第1側面のエコー遅延トラッキング方法、第1側面の第1の可能な実現形態、第1側面の第2の可能な実現形態、第1側面の第3の可能な実現形態、第1側面の第4の可能な実現形態、又は第1側面の第5の可能な実現形態におけるエコー遅延トラッキング方法の全てのステップをコンピュータに実行させることを含む。
本願の実施形態及び既存の技術の技術的解決手段をより明確に説明するために、以下、実施形態又は既存の技術の説明に必要な添付図面を簡単に説明する。明らかに、以下の説明における添付図面は本願の実施形態の幾つかを示しているにすぎず、当業者は創作的労力無しにこれらの添付図面から他の図面を導出するかもしれない。
本願の実施形態によるエコー・キャンセレーション・アルゴリズム・モジュールの概略的なフローチャートを示す図。
本願の実施形態によるエコー遅延を生成する関連部分の原理的な概略図。
本願の実施形態によるエコー遅延トラッキング方法のシナリオの概略図。
本願の実施形態によるエコー遅延トラッキング方法の概略的なフローチャートを示す図。
本願の別の実施形態によるエコー遅延トラッキング方法の概略的なフローチャートを示す図。
本願の実施形態によるエコー遅延トラッキング装置の概略的な構造図。
本願の実施形態による識別モジュールの概略的な構造図。
本願の別の実施形態によるエコー遅延トラッキング装置の概略的な構造図。
本願の実施形態による遅延値取得モジュールの概略的な構造図。
本願の別の実施形態によるエコー遅延トラッキング装置の概略的な構造図。
本願の別の実施形態によるエコー遅延トラッキング装置の概略的なハードウェア構造図。
以下は本願の実施形態における添付図面を参照しながら本願の実施形態の技術的解決手段を明確且つ完全に説明している。明らかに、説明される実施形態は全ての実施形態ではなく本願の幾つかの実施形態である。創作的労力を発揮することなく本願の実施形態に基づいて当業者に把握される他の全ての実施形態は本願の保護範囲内に属する。
図1は本願の実施形態によるエコー・キャンセレーション・アルゴリズム・モジュールの概略的なフローチャートである。発呼側デバイス(a call device)のスピーカからの音声リファレンス信号がエアを介して送信されマイクロフォンにより拾われると、エコーが生成される。
図2は本願の実施形態によるエコー遅延を生成する関連部分の原理的な概略図である。エコー信号は、アプリケーション・レイヤと、システム・レイヤと、再生側及び収集側の基本ファームウェアとによりキャッシュ(又は一時保存)される必要があるので、比較的長い遅延がキャッシュによって引き起こされる。更に、音声は空中で送信され、リファレンス信号は比較的長い遅延の後に信号収集側(the signal collection end)に到着する。遅延検出モジュールが上述した遅延で正確な検出を実行した後に、エコー・キャンセレーション・モジュールは、遅延キャンセレーション及びタイムライン・アライメントが実行されるダブル・エンド信号(the double-end signals)についてエコー・キャンセレーションを実行しなければならない。
図1及び図2における技術的解決手段では、リモート側信号及びローカル側信号の相互相関関数の計算に基づいて(リモート側信号はスピーカにより送信されるリファレンス信号であり、ローカル側信号はマイクロフォンにより収集される信号である)、関連性(relevance)の最大値が探索され、(その値に対応する)リモート側信号及びローカル側信号の間の時間差がエコー遅延値として使用され、具体的には：リモート側電力スペクトル及びローカル側電力スペクトルを取得するために、リモート側信号及びローカル側信号に関してFFTを実行し、現在のフレームにおけるローカル側信号及びリモート側信号の電力スペクトルの相互相関関数を算出し、相互相関関数をトラッキング及びフィルタリングし、フィルタリング結果のピーク値をエコー遅延値として使用することを含む。
図3に示されるように、図3は本願の実施形態によるエコー遅延トラッキング方法のシナリオの概略図である。音声通信を実行するために、ネットワーク・サーバを利用することにより、電子デバイス間に音声コネクションが設定されていても良い。データ送信側は、データ受信機へ、マイクロフォンのようなコレクション装置を利用することにより、収集される音声データ・フレームをリアルタイムに送信し、それと同時にリアルタイムでスピーカを利用して、データ受信機へ送信される音声データ・フレームを再生しても良い。電子デバイスは、エコーをキャンセルするためにリモート側音声信号及びローカル側音声信号に関してエコー遅延処理と非線形エコー抑制とを実行する必要がある。
以下、本願の実施形態によるエコー遅延トラッキング方法の概略的なフローチャート、本願の実施形態で提供されるエコー遅延トラッキング方法の技術的解決手段を、図4に関連して詳細に説明する。技術的解決手段は以下のステップを含む：
ステップS400：現在のフレームのリファレンス信号及び現在のフレームのコレクション信号を取得する。
具体的には、2つの音声通信者の間で音声通信コネクションが設定され、両者の双方の電子デバイスは、ピア・エンドにより送信された音声信号(即ち、音声リファレンス信号)及びローカル・エンドにより収集される音声信号(即ち、音声コレクション信号)をリアルタイムで取得することが可能である。
S402：現在のフレームのコレクション信号におけるターゲットの信号雑音比・周波数の情報を識別する。
具体的には、電子デバイスは現在のフレームのコレクション信号を識別し、閾値が予め設定されても良く(即ち、第1プリセット閾値である閾値は0.1に設定されても良く、技術者は技術者の経験又は条件に従って閾値を設定しても良い)、現在のフレーム信号の各周波数の信号雑音比は、第1プリセット閾値より大きな全ての信号雑音比・周波数を発見してその信号雑音比・周波数をターゲットの信号雑音比・周波数として利用するために、第1プリセット閾値と比較される。ターゲットの信号雑音比・周波数は高い信号雑音比・周波数であり、第1プリセット閾値は本願の実施形態で限定されていない点は、理解されるであろう。技術者は技術者の経験又は条件に従って第1プリセット閾値を設定しても良く、本願の実施形態では第1プリセット閾値に応じて高い信号雑音比・周波数を決定しても良い。本願の実施形態におけるターゲットの信号雑音比・周波数の情報は、ターゲットの信号雑音比・周波数の数量、又は位置、又は数量に関する情報、又は位置に関する情報、等々を含んでも良い。
ステップS404：ターゲットの信号雑音比・周波数の情報に従って、現在のフレームのコレクション信号は所定の条件を満足する有効なフレーム信号であることが判断されると、ターゲットの信号雑音比・周波数に対応する信号部分について、現在のフレームのリファレンス信号及び現在のフレームのコレクション信号の相互相関演算を実行する。
具体的に、本願の実施形態では、決定ポリシーが予め決定されていても良く、現在のフレームのコレクション信号が有効なフレーム信号であるか否かは、ターゲットの信号雑音比・周波数の情報に従って決定されても良い。例えば、現在のフレームのコレクション信号が有効なフレーム信号であるか否かは、ターゲットの信号雑音比・周波数の数量、又は、ターゲットの信号雑音比・周波数の位置分布等に従って決定されても良く、決定される内容は、数量が所定値に到達したか否か、或いは、全周波数の中でターゲットの信号雑音比・周波数の数量が占めるパーセンテージが所定値に到達したか否か、或いは、位置分布が所定の状況に適合するか否か等を含んでも良いが、本願の実施形態では限定されていない。技術者は、実際の状況に応じて判断ポリシーを設定しても良く、その判断ポリシーは本願の実施形態の保護範囲内に属する：ただし、現在のフレームのコレクション信号が有効なフレーム信号であるか否かは、ターゲットの信号雑音比・周波数の情報に従って決定されることが仮定される。
本願の実施形態では、相互相関演算が、有効なフレーム信号についてしか実行されない。現在のフレームのコレクション信号が有効なフレーム信号ではないことが判断されると、エコー遅延トラッキング処理は、その現在のフレームのコレクション信号について実行されなくて良い。現在のフレームのコレクション信号が有効なフレーム信号であることが判断されると、相互相関演算の結果を取得するために、現在のフレームのリファレンス信号及び現在のフレームのコレクション信号の相互相関演算が、ターゲットの信号雑音比・周波数に対応する信号部分のみについて実行される。
ステップS406：相互相関演算の結果に従ってエコー遅延値を取得する。
具体的に、日常的な音声呼アプリケーションでは、エコー遅延トラッキングに干渉する最も一般的な要因は、主に、ローカル・エンドの背景雑音である。ローカル・エンドの背景雑音は、エコー信号と一緒にマイクロフォンにより収集される。雑音は安定した雑音かもしれないし、或いは不安定な雑音かもしれないので、エコー遅延トラッキング処理に先行してノイズ抑制モジュールが追加されたとしても、雑音の無い純粋なエコー信号を取得することは非常に困難である。その結果、そのようなノイズのある信号は、スペクトル・エネルギの相互相関演算の精度に影響を及ぼす。特に、低信号雑音比アプリケーションのシナリオでは、ノイズが信号より非常に強く、この場合に得られる相互相関値は大きなエラーを有し、最終的に追跡されるエコー遅延値は不正確になり、エコー・キャンセレーション・モジュールがエコーをキャンセルできないことや、エコーが残留してローカル・エンドの音声が破壊されてしまうこと等を直接的に招いてしまう。相互相関演算による及びステップS404により得られる結果は、高い信号雑音比・周波数の信号部分のみについて相互相関演算が実行されることであり、従って、低信号雑音比・周波数が相互相関演算の精度に影響を及ぼしてしまうことが回避され、既存の技術的解決手段が比較的乏しい干渉耐性しか有しておらず、エコー遅延が誤判断を招きやすく、多くの残留エコーとなってしまう技術的問題が、効果的に解決され、エコー遅延値の精度は大幅に改善される。
更に、図5に示されるように、図5は本願の別の実施形態によるエコー遅延トラッキング方法の概略的なフローチャートである。本願におけるエコー遅延トラッキング方法の具体的な実現例が、一例を用いて詳細に説明され、本方法は以下のステップを含む：
ステップS500：現在のフレームのリファレンス信号及び現在のフレームのコレクション信号を取得する。
具体的には図4の実施形態のステップS400で言及しているので、詳細について繰り返し説明しない。
ステップS502：現在のフレームのリファレンス信号のパワー・スペクトルを算出し、各周波数のスムージング値(a smoothing value of each frequency)を算出する。
具体的には、パワー・スペクトルRef(j)を取得するために、現在のフレームのリファレンス信号についてFFTが実行されても良く、ここで、j=m1〜m2であり、m1=INT(M*500)/fs*2、m2=INT(M*1200)/fs*2であり、MはFFTのポイント数の半分であり、fsはサンプリング周波数値である。そして、各周波数のRef(j)についてのスムージング値Refsm(j)が算出される：
Refsm(j)=0.98* Refsm(j)+0.02* Ref(j)
ステップS504：第1の2値化アレイを取得するために、パワー・スペクトル及びスムージング値について2値化処理を実行する。
具体的には、Ref(j)とRefsm(j)との間で数値の比較が実行されても良い。Ref(j)がRefsm(j)より大きい場合、第1の2値化アレイは1であり；そうでなければ第1の2値化アレイは0であり、それにより、第1の2値化アレイが取得され、即ち、Refb(j)という2値化アレイが取得される。
ステップS506：ターゲット・アレイを取得するために、現在のフレームより前のn個のフレームの2値化データをキャッシュする。
具体的には、ターゲット・アレイは、Refb(j)をRefbbuf(i)(j)に保存することにより、ターゲット・アレイが取得されても良く、ここで、i=0ないしn-1であり、アレイのサイズはn*(m2-m1)であり、nは正の整数である。
ステップ508：第1ターゲット・アレイ内の2進数値のうち1を含む数量(a quantity)をカウントする。
具体的には、各Refbbuf(i)のうち1を含む2進数値の数量One_Ref(i)がカウントされても良く、ここでi=0〜n-1である。
ステップS510：1を含む数量に応じて重み付け係数を算出する。
具体的には、重み付け係数a(i)は次式を利用することにより算出されても良い：
a(i)=0.0005+0.002* One_Ref(i)/(m2-m1)
ここで、i=0〜n-1である。
ステップS512：現在のフレームのコレクション信号のパワー・スペクトルを算出し、各周波数のノイズ・レベルを算出する。
具体的には、パワー・スペクトルCapf(j)を取得するために、現在のフレームのリファレンス信号についてFFTが実行されても良く、ここで、j=m1〜m2であり、m1=INT(M*500)/fs*2、m2=INT(M*1200)/fs*2であり、MはFFTのポイント数の半分であり、fsはサンプリング周波数値である。そして、各周波数のCapf(j)のスムージング値Capsm(j)が算出される：
Capsm(j)=0.98*Capsm(j)+0.02*Cap(j)
各周波数のノイズ・レベルN(j)は、最小制御再帰平均(a minima controlled recursive averaging：MCRA)アルゴリズムを利用することにより推定されても良く、ここで、j=m1〜m2である。
ステップS514：現在のフレームのコレクション信号の各周波数のスムージング値を算出する。
具体的には、本願の実施形態では、各周波数のスムージング値Capf(j)は、次のようにして算出されても良い：
Capsm(j)=0.98*Capsm(j)+0.02*Cap(j)
ステップS516：第2の2値化アレイを取得するために、パワー・スペクトル及びスムージング値について2値化処理を実行する。
具体的には、Cap(j)とCapsm(j)との間で数値の比較が実行されても良い。Cap(j)がCapsm(j)より大きい場合、第2の2値化アレイは1であり；そうでなければ第2の2値化アレイは0であり、それにより、第2の2値化アレイが取得され、即ち、Capb(j)という2値化アレイが取得される。
ステップS518：パワー・スペクトル及びノイズ・レベルに応じて各周波数の信号雑音比を算出する。
具体的には、各周波数の信号雑音比snr(j)は、次のような計算により取得されても良い：
snr(j)=Cap(j)/N(j)
ここで、j=m1〜m2である。
ステップS520：各周波数の信号雑音比の中で第1プリセット値より大きい信号雑音比・周波数の数量及び周波数位置情報を取得する。
具体的には、snr(j)>THRES_SNR(即ち、第1プリセット閾値)である対応する周波数がkとして識別され、ここでk⊆[m1-m2]であり、kは、各周波数の信号雑音比の中で第1プリセット閾値より大きい信号雑音比・周波数の周波数位置情報を表現し、各周波数の信号雑音比の中で第1プリセット閾値より大きい信号雑音比・周波数の数量Lが数えられても良い。
ステップS522：現在のフレームのコレクション信号の周波数の全数量の中で上記の数量のパーセンテージが、第2プリセット閾値より大きいか否かを分析する。
具体的には、分析は、L/(m2-m1)>第2プリセット閾値 であるか否かを判断することにより実行されても良い。本願の実施形態における第2プリセット閾値は、0以上1以下の数であり、0.6、0.7等であっても良い。第2プリセット閾値は、本願の実施形態では限定されておらず、技術者は技術者の経験又は条件に応じて第2プリセット閾値を設定して良い。
分析結果が肯定的(yes)である場合、現在のフレームのコレクション信号は所定の条件を満たす有効なフレーム信号であることが判断され、ステップS524が実行され；そうでない場合、現在のフレームのコレクション信号は所定の条件を満たす有効なフレーム信号ではないと判断され、エコー遅延トラッキングのような処理は、断念されても良く、現在のフレームのコレクション信号等について実行されなくても良い。これは本願の実施形態では限定されていない。
ステップS524：ターゲットの信号雑音比・周波数に対応する信号部分に関し、現在のフレームのリファレンス信号及び現在のフレームのコレクション信号の相互相関演算を実行する。
履歴nフレーム及び現在のフレームのコレクション信号の差分結果値が、以下の数式に従う計算により取得される：
Figure 2019504539
ここで、iは0からn-1までの値であり、m1=INT(M*500)/fs*2であり、m2=INT(M*1200)/Fs*2であり；fsはサンプリング周波数値であり；MはFFTポイント数の半分であり；kは、現在のフレームのコレクション信号の各周波数の信号雑音比の中で第1プリセット閾値より大きい信号雑音比・周波数の周波数位置情報であり；Refbbuf(i)(k)は第1ターゲット・アレイであり；Capb(k)は、各周波数のスムージング値及び現在のフレームのコレクション信号のパワー・スペクトルに従って2値化処理を実行することにより取得される第2の2値化アレイである。
ステップS526：スムージング処理値を取得するために、相互相関演算の結果について、重み付け係数に従って重み付け平滑化処理を実行する。
具体的に、重み付け平滑化処理は次式に従って実行されても良い：
CxorRsm(i)=(1-a(i))* CxorRsm(i)+a(i)*CxorR(i)
ステップS528において、スムージング処理値からエコー遅延値を選択する。
具体的には、n個のCxorRsm(i)値の最小値に対応するi値が、候補のエコー遅延値として使用されても良く、候補のエコー遅延値がトラッキングされ、候補のエコー遅延値が以下の3つの条件を満足するならば、最終的に選択されるエコー遅延値として決定される。
1．n個のCxorRsm(i)値のピーク・バレー差分(山−谷の高低差)が、5.5より大きくなければならないこと。
2．CxorRsm(i)の最小値が、17.5より小さくなければならないこと。
3．候補のエコー遅延値が、k個のフレームの中で不変であり続けること。
ステップS510及びS512の実行は省略されても良いこと、及びステップS524における平滑化処理は、以下の数式を利用することに置換されても良いことに留意すべきである。
CxorRsm(i)=(1-a)* CxorRsm(i)+a*CxorR(i)
ここで、aはフィルタリング係数である。
ステップS502ないしS510及びステップS512ないしS522は同時に実行されても良いし、任意のシーケンスで実行されても良いことに更に留意すべきである。この点は本願の実施形態では限定されていない。ステップS514ないしS516及びステップS518ないしS522は、同時に実行されても良いし、任意のシーケンスで実行されても良いことに更に留意すべきである。この点は本願の実施形態では限定されていない。
本願の実施形態を実現することにより、現在のフレームのコレクション信号におけるターゲットの信号雑音比・周波数の情報が識別され、ターゲットの信号雑音比・周波数は第1プリセット閾値より大きく、現在のフレームのリファレンス信号及び現在のフレームのコレクション信号の相互相関演算は、ターゲットの信号雑音比・周波数に対応する信号部分のみについて実行され、最終的に、相互相関演算の結果に従ってエコー遅延値が取得され、それにより、低信号雑音比・周波数が相互相関演算の精度に影響を及ぼしてしまうことが回避され、既存の技術的解決手段が比較的乏しい干渉耐性しか有しておらず、エコー遅延が誤判断を招きやすく、多くの残留エコーとなってしまう技術的問題が、効果的に解決され、エコー遅延値の精度は大幅に改善される。更に、重み付け平滑化処理が相互相関演算の結果について実行されても良く、それにより、特徴が顕著であるフレームに重み付けすることにより、より大きなウェイトが許容され、エコー遅延トラッキングの収束速度が改善される。
本願の実施形態における上記の解決手段をより良く実現するために、本願は対応するエコー遅延トラッキング装置を更に提供する。図6に示されるように、図6は、本願の実施形態によるエコー遅延トラッキング装置の概略的な構造図である。エコー遅延トラッキング装置60は、取得モジュール600と、識別モジュール602と、相互相関演算モジュール604と、遅延値取得モジュール606とを含んで良い。
取得モジュール600は、現在のフレームのリファレンス信号及び現在のフレームのコレクション信号を取得するように構成される。
識別モジュール602は、現在のフレームのリファレンス信号及び現在のフレームのコレクション信号を取得するように構成されており；ターゲットの信号雑音比・周波数は第1プリセット閾値より大きい信号雑音比・周波数である。
相互相関演算モジュール604は、ターゲットの信号雑音比・周波数の情報に従って、現在のフレームのコレクション信号は所定の条件を満足する有効なフレーム信号であることが判断されると、ターゲットの信号雑音比・周波数に対応する信号部分について、現在のフレームのリファレンス信号及び現在のフレームのコレクション信号の相互相関演算を実行するように構成されている。
遅延値取得モジュール606は、相互相関演算の結果に従ってエコー遅延値を取得するように構成されている。
具体的に図7に示されるように、図7は本願の実施形態による識別モジュールの概略的な構造図である。識別モジュール602は、第1計算ユニット6020と、第2計算ユニット6022と、数量取得ユニット6024とを含んでも良い。
第1計算ユニット6020は、現在のフレームのコレクション信号のパワー・スペクトルを算出し、各周波数のノイズ・レベルを算出するように構成されている。
第2計算ユニットは、パワー・スペクトル及びノイズ・レベルに従って各周波数の信号雑音比を算出するように構成されている。
数量取得ユニット6024は、各周波数の信号雑音比の中で第1プリセット閾値より大きい信号雑音比・周波数の数量及び周波数位置情報を取得するように構成されている。
更に、図8に示されるように、図8は本願の別の実施形態によるエコー遅延トラッキング装置の概略的な構造図である。エコー遅延トラッキング装置60は、取得モジュール600と、識別モジュール602と、相互相関演算モジュール604と、遅延値取得モジュール606とを含み、分析モジュール608を更に含んでも良く、分析モジュール608は、現在のフレームのコレクション信号におけるターゲットの信号雑音比・周波数の情報を識別した後に、現在のフレームのコレクション信号の周波数の全数量の中で上記の数量のパーセンテージが第2プリセット閾値より大きいか否かを分析し；及び 分析の結果が「yes」である場合、現在のフレームのコレクション信号は所定の条件を満足する有効なフレーム信号であると判断するように構成されていても良い。
更に図9に示されるように、図9は本願の実施形態による遅延値取得モジュールの概略的な構造図である。遅延値取得モジュール606は、スムージング処理ユニット6060と、選択ユニット6062とを含んでも良い。
スムージング処理ユニット6060は、スムージング処理値を取得するために、相互相関演算の結果について平滑化処理を実行するように構成されている。
選択ユニット6062は、スムージング処理値からエコー遅延値を選択するように構成されている。
更に図10に示されるように、図10は本願の別の実施形態によるエコー遅延トラッキング装置の概略的な構造図である。エコー遅延トラッキング装置60は、取得モジュール600と、識別モジュール602と、相互相関演算モジュール604と、遅延値取得モジュール606と、分析モジュール608とを含み、更に、パワー・スペクトル・スムージング計算モジュール6010と、2値化処理モジュール6012と、キャッシュ・モジュール6014と、統計モジュール6016と、重み付け係数計算モジュール6018とを含んでいても良い。
パワー・スペクトル・スムージング計算モジュール6010は：スムージング処理ユニットが相互相関演算の結果について平滑化処理を実行する前に、現在のフレームのリファレンス信号のパワー・スペクトルを算出し、各周波数のスムージング処理値を算出するように構成されている。
2値化処理モジュール6012は、第1の2値化アレイを取得するために、パワー・スペクトル及びスムージング処理値について2値化処理を実行するように構成されている。
キャッシュ・モジュール6014は、ターゲット・アレイを取得するために現在のフレームより前のnフレームの2値化データをキャッシュするように構成されている(nは正の整数)。
統計モジュール6016は、ターゲット・アレイにおける2進数値のうち1を含む数量をカウントするように構成されている。
重み係数計算モジュール6018は、1を含む数量に従って重み付け係数を算出するように構成されている。
スムージング処理ユニット6060は、相互相関演算の結果について、重み付け係数に従って重み付けスムージング処理を実行するように更に構成されている。
更に、相互相関演算モジュール604は：
Figure 2019504539
 という数式の計算により、履歴nフレーム及び現在のフレームのコレクション信号の差分結果値を取得するように更に構成されており、
iは0からn-1までの数であり、m1=INT(M*500)/fs*2であり、m2=INT(M*1200)/Fs*2であり；fsはサンプリング周波数値であり；Mは高速フーリエ変換(FFT)の数量の半分であり；kは、現在のフレームのコレクション信号の各周波数の信号雑音比の中で第1プリセット閾値より大きい信号雑音比・周波数の周波数位置情報であり；Refbbuf(i)(k)は第1のターゲット・アレイであり；Capb(k)は、各周波数の前記スムージング処理値及び現在のフレームのコレクション信号の前記パワー・スペクトルに従って2値化処理を実行することにより取得される第2の2値化アレイである。
図11は本願の別の実施形態によるエコー遅延トラッキング装置の概略的なハードウェア構造図である。本装置は、プロセッサ1101と、バス1102と、メモリ1103とを含んでも良い。プロセッサ1101及びメモリ1103はバス1102を利用することで互いに接続される。
メモリ1103は、取得モジュール600と、識別モジュール602と、相互相関演算モジュール604と、遅延値取得モジュール606とを保存する。
メモリ1102は、分析モジュール608と、パワー・スペクトル・スムージング計算モジュール6010と、2値化処理モジュール6012と、キャッシュ・モジュール6014と、統計モジュール6016と、重み付け係数計算モジュール6018とを更に含んでいても良い。
遅延値取得モジュール606は、スムージング処理ユニット6060と、選択ユニット6062とを更に含んでいても良い。
メモリ1103に保存されているモジュールがプロセッサ1102により実行される場合に、モジュールにより実行されるオペレーションは、上記の実施形態におけるものと同じであり、詳細はここで繰り返し説明されない。
結論として、本願の実施形態を実現することにより、現在のフレームのコレクション信号におけるターゲットの信号雑音比・周波数の情報が識別され、ターゲットの信号雑音比・周波数は第1プリセット閾値より大きく、現在のフレームのリファレンス信号及び現在のフレームのコレクション信号の相互相関演算は、ターゲットの信号雑音比・周波数に対応する信号部分のみについて実行され、最終的に、相互相関演算の結果に従ってエコー遅延値が取得され、それにより、低信号雑音比・周波数が相互相関演算の精度に影響を及ぼしてしまうことが回避され、既存の技術的解決手段が比較的乏しい干渉耐性しか有しておらず、エコー遅延が誤判断を招きやすく、多くの残留エコーとなってしまう技術的問題が、効果的に解決され、エコー遅延値の精度は大幅に改善される。更に、重み付け平滑化処理が相互相関演算の結果について実行されても良く、それにより、特徴が顕著であるフレームに重み付けすることにより、より大きなウェイトが許容され、エコー遅延トラッキングの収束速度が改善される。
実施形態における方法の全部又は一部のプロセスは、関連するハードウェアを指図するコンピュータ・プログラムによって実現されて良いことを、当業者は理解する。プログラムはコンピュータ読み取り可能な記憶媒体に保存されて良い。プログラムが実行される場合に、実施形態における方法のプロセスが実行されても良い。上記の記憶媒体は、磁気ディスク、光ディスク、リード・オンリ・メモリ(ROM)、ランダム・アクセス・メモリ(RAM)等であっても良い。
ここに開示される内容は、本願の実施形態の一例に過ぎず、疑う余地無く本願の保護範囲を限定するようには意図されていない。従って、本願の特許請求の範囲に応じて為される均等な変形は本願の範囲内に属する。

Claims (13)

  1. エコー遅延トラッキング方法であって：
    現在のフレームのリファレンス信号及び現在のフレームのコレクション信号を取得するステップ：
    前記現在のフレームのコレクション信号におけるターゲットの信号雑音比・周波数の情報を識別するステップであって、前記ターゲットの信号雑音比・周波数は第1プリセット閾値より大きい信号雑音比・周波数である、ステップ；
    前記ターゲットの信号雑音比・周波数の情報に従って、前記現在のフレームのコレクション信号は所定の条件を満足する有効なフレーム信号であることが判断されると、前記ターゲットの信号雑音比・周波数に対応する信号部分について、前記現在のフレームのリファレンス信号及び前記現在のフレームのコレクション信号の相互相関演算を実行するステップ；及び
    前記相互相関演算の結果に従ってエコー遅延値を取得するステップ；
    を有する方法。
  2. 前記現在のフレームのコレクション信号におけるターゲットの信号雑音比・周波数の情報を識別するステップが：
    前記現在のフレームのコレクション信号のパワー・スペクトルを算出し、各周波数のノイズ・レベルを算出するステップ；
    前記パワー・スペクトル及び前記ノイズ・レベルに従って各周波数の信号雑音比を算出するステップ；及び
    各周波数の信号雑音比の中で前記第1プリセット閾値より大きい信号雑音比・周波数の数量及び周波数位置情報を取得するステップ；
    を有する、請求項1に記載の方法。
  3. 前記現在のフレームのコレクション信号におけるターゲットの信号雑音比・周波数の情報を識別するステップの後に、本方法は：
    前記現在のフレームのコレクション信号の周波数の全数量の中で前記数量のパーセンテージが第2プリセット閾値より大きいか否かを分析するステップ；
    分析の結果が「yes」である場合、前記現在のフレームのコレクション信号は所定の条件を満足する有効なフレーム信号であると判断するステップ；
    を更に有する、請求項2に記載の方法。
  4. 前記相互相関演算の結果に従ってエコー遅延値を取得するステップが：
    スムージング処理値を取得するために、前記相互相関演算の結果について平滑化処理を実行するステップ；及び
    前記スムージング処理値からエコー遅延値を選択するステップ；
    を有する、請求項2に記載の方法。
  5. 前記相互相関演算の結果について平滑化処理を実行するステップの前に、前記方法は：
    前記現在のフレームのリファレンス信号のパワー・スペクトルを算出し、各周波数のスムージング処理値を算出するステップ；
    第1の2値化アレイを取得するために、前記パワー・スペクトル及び前記スムージング処理値について2値化処理を実行するステップ；
    nが正の整数である場合において、ターゲット・アレイを取得するために現在のフレームより前のnフレームの2値化データをキャッシュするステップ；
    前記ターゲット・アレイにおける2進数値のうち1を有する数量をカウントするステップ；及び
    1を有する数量に従って重み付け係数を算出するステップ；
    を更に有し、前記相互相関演算の結果について平滑化処理を実行するステップが、前記相互相関演算の結果について、前記重み付け係数に従って重み付けスムージング処理を実行するステップを含む、請求項4に記載の方法。
  6. 前記ターゲットの信号雑音比・周波数に対応する信号部分について、前記現在のフレームのリファレンス信号及び前記現在のフレームのコレクション信号の相互相関演算を実行するステップが：
    Figure 2019504539
    という数式の計算により、履歴nフレーム及び現在のフレームのコレクション信号の差分結果値を取得し、iは0からn-1までの数であり、m1=INT(M*500)/fs*2であり、m2=INT(M*1200)/Fs*2であり；fsはサンプリング周波数値であり；Mは高速フーリエ変換(FFT)の数量の半分であり；kは、現在のフレームのコレクション信号の各周波数の信号雑音比の中で第1プリセット閾値より大きい信号雑音比・周波数の周波数位置情報であり；Refbbuf(i)(k)は第1のターゲット・アレイであり；Capb(k)は、各周波数の前記スムージング処理値及び前記現在のフレームのコレクション信号の前記パワー・スペクトルに従って2値化処理を実行することにより取得される第2の2値化アレイである、請求項4に記載の方法。
  7. プロセッサ及びメモリを少なくとも有するエコー遅延トラッキング装置であって、前記メモリは取得モジュールと、識別モジュールと、相互相関演算モジュールと、遅延値取得モジュールとを保存し、前記プロセッサにより実行される場合に：
    前記取得モジュールは、現在のフレームのリファレンス信号及び現在のフレームのコレクション信号を取得するように構成されており；
    前記識別モジュールは、前記現在のフレームのコレクション信号におけるターゲットの信号雑音比・周波数の情報を識別するように構成されており、前記ターゲットの信号雑音比・周波数は第1プリセット閾値より大きい信号雑音比・周波数であり；
    前記相互相関演算モジュールは、前記ターゲットの信号雑音比・周波数の情報に従って、前記現在のフレームのコレクション信号は所定の条件を満足する有効なフレーム信号であることが判断されると、前記ターゲットの信号雑音比・周波数に対応する信号部分について、前記現在のフレームのリファレンス信号及び前記現在のフレームのコレクション信号の相互相関演算を実行するように構成されており；
    前記遅延値取得モジュールは、前記相互相関演算の結果に従ってエコー遅延値を取得するように構成されている；
    エコー遅延トラッキング装置。
  8. 前記識別モジュールが第1計算ユニットと、第2計算ユニットと、数量取得ユニットとを有し、前記プロセッサにより実行される場合に：
    前記第1計算ユニットは、前記現在のフレームのコレクション信号のパワー・スペクトルを算出し、各周波数のノイズ・レベルを算出するように構成されており；
    前記第2計算ユニットは、前記パワー・スペクトル及び前記ノイズ・レベルに従って各周波数の信号雑音比を算出するように構成されており；及び
    前記数量取得ユニットは、各周波数の信号雑音比の中で前記第1プリセット閾値より大きい信号雑音比・周波数の数量及び周波数位置情報を取得するように構成されている；
    請求項7に記載の装置。
  9. 前記メモリは分析モジュールを更に保存し、前記プロセッサにより実行される場合に、前記分析モジュールは：
    前記現在のフレームのコレクション信号におけるターゲットの信号雑音比・周波数の情報を識別した後に、前記現在のフレームのコレクション信号の周波数の全数量の中で前記数量のパーセンテージが第2プリセット閾値より大きいか否かを分析し；及び
    分析の結果が「yes」である場合、前記現在のフレームのコレクション信号は所定の条件を満足する有効なフレーム信号であると判断する；
    ように構成されている、請求項8に記載の装置。
  10. 前記遅延値取得モジュールがスムージング処理ユニットと選択ユニットとを有し、前記プロセッサにより実行される場合に：
    前記スムージング処理ユニットは、スムージング処理値を取得するために、前記相互相関演算の結果について平滑化処理を実行するように構成されており；及び
    前記選択ユニットは、前記スムージング処理値からエコー遅延値を選択するように構成されている；
    請求項8に記載の装置。
  11. 前記メモリが、パワー・スペクトル・スムージング計算モジュールと、2値化処理モジュールと、キャッシュ・モジュールと、統計モジュールと、重み付け係数計算モジュールとを保存するように更に構成されており、前記プロセッサにより実行される場合に：
    前記パワー・スペクトル・スムージング計算モジュールは：前記スムージング処理ユニットが前記相互相関演算の結果について平滑化処理を実行する前に、前記現在のフレームのリファレンス信号のパワー・スペクトルを算出し、各周波数のスムージング処理値を算出するように構成されており；
    前記2値化処理モジュールは、第1の2値化アレイを取得するために、前記パワー・スペクトル及び前記スムージング処理値について2値化処理を実行するように構成されており；
    前記キャッシュ・モジュールは、nが正の整数である場合において、ターゲット・アレイを取得するために現在のフレームより前のnフレームの2値化データをキャッシュするように構成されており；
    前記統計モジュールは、前記ターゲット・アレイにおける2進数値のうち1を有する数量をカウントするように構成されており；
    前記重み係数計算モジュールは、1を有する数量に従って重み付け係数を算出するように構成されており；
    前記スムージング処理ユニットは、前記相互相関演算の結果について、前記重み付け係数に従って重み付けスムージング処理を実行するように更に構成されている；
    請求項10に記載の装置。
  12. 前記プロセッサにより実行される場合に、前記相互相関演算モジュールは：
    Figure 2019504539
    という数式の計算により、履歴nフレーム及び現在のフレームのコレクション信号の差分結果値を取得するように更に構成されており、
    iは0からn-1までの数であり、m1=INT(M*500)/fs*2であり、m2=INT(M*1200)/Fs*2であり；fsはサンプリング周波数値であり；Mは高速フーリエ変換(FFT)の数量の半分であり；kは、現在のフレームのコレクション信号の各周波数の信号雑音比の中で第1プリセット閾値より大きい信号雑音比・周波数の周波数位置情報であり；Refbbuf(i)(k)は第1のターゲット・アレイであり；Capb(k)は、各周波数の前記スムージング処理値及び前記現在のフレームのコレクション信号の前記パワー・スペクトルに従って2値化処理を実行することにより取得される第2の2値化アレイである、請求項10に記載の装置。
  13. コンピュータ・プログラムを保存する不揮発性のコンピュータ記憶媒体であって、前記コンピュータ・プログラムは請求項1ないし6のうち何れか一項に記載の方法を実行するように構成されている、不揮発性のコンピュータ記憶媒体。
JP2018528587A 2016-05-25 2017-05-23 エコー遅延トラッキング方法、装置及びコンピュータ記憶媒体 Active JP6557786B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201610353009.XA CN105872156B (zh) 2016-05-25 2016-05-25 一种回声时延跟踪方法及装置
CN201610353009.X 2016-05-25
PCT/CN2017/085467 WO2017202292A1 (zh) 2016-05-25 2017-05-23 一种回声时延跟踪方法及装置

Publications (2)

Publication Number Publication Date
JP2019504539A true JP2019504539A (ja) 2019-02-14
JP6557786B2 JP6557786B2 (ja) 2019-08-07

Family

ID=56634789

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018528587A Active JP6557786B2 (ja) 2016-05-25 2017-05-23 エコー遅延トラッキング方法、装置及びコンピュータ記憶媒体

Country Status (6)

Country Link
US (1) US10841432B2 (ja)
EP (1) EP3468162B1 (ja)
JP (1) JP6557786B2 (ja)
KR (1) KR102114766B1 (ja)
CN (1) CN105872156B (ja)
WO (1) WO2017202292A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105872156B (zh) * 2016-05-25 2019-02-12 腾讯科技（深圳）有限公司 一种回声时延跟踪方法及装置
CN106210371B (zh) * 2016-08-31 2018-09-18 广州视源电子科技股份有限公司 一种回声时延的确定方法、装置及智能会议设备
CN106231145B (zh) * 2016-08-31 2019-09-27 广州市百果园网络科技有限公司 一种回声延时处理方法及回声延时处理装置
EP3490199B1 (en) 2016-09-22 2021-07-21 Tencent Technology (Shenzhen) Company Limited Calling method and terminal
CN106506872B (zh) * 2016-11-02 2019-05-24 腾讯科技（深圳）有限公司 通话状态检测方法及装置
CN107331406B (zh) * 2017-07-03 2020-06-16 福建星网智慧软件有限公司 一种动态调整回声延时的方法
CN107610713B (zh) * 2017-10-23 2022-02-01 科大讯飞股份有限公司 基于时延估计的回声消除方法及装置
WO2019112467A1 (en) * 2017-12-08 2019-06-13 Huawei Technologies Co., Ltd. Method and apparatus for acoustic echo cancellation
CN110162193A (zh) * 2018-02-12 2019-08-23 北京钛方科技有限责任公司 一种触碰定位装置及方法
CN108831497B (zh) * 2018-05-22 2020-06-09 出门问问信息科技有限公司 一种回声压缩方法及装置、存储介质、电子设备
JP7187183B2 (ja) * 2018-06-14 2022-12-12 株式会社トランストロン エコー抑圧装置、エコー抑圧方法およびエコー抑圧プログラム
US11146607B1 (en) * 2019-05-31 2021-10-12 Dialpad, Inc. Smart noise cancellation
CN110148421B (zh) * 2019-06-10 2021-07-20 浙江大华技术股份有限公司 一种残余回声检测方法、终端和装置
CN110349592B (zh) * 2019-07-17 2021-09-28 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
CN110992973A (zh) * 2019-11-29 2020-04-10 维沃移动通信有限公司 一种信号时延的确定方法和电子设备
CN110970051A (zh) * 2019-12-06 2020-04-07 广州国音智能科技有限公司 语音数据采集方法、终端及可读存储介质
CN111402868B (zh) * 2020-03-17 2023-10-24 阿波罗智联(北京)科技有限公司 语音识别方法、装置、电子设备及计算机可读存储介质
TWI778502B (zh) 2021-01-22 2022-09-21 威聯通科技股份有限公司 回聲延時估計方法及回聲延時估計系統
CN114255748A (zh) * 2021-04-06 2022-03-29 北京安声科技有限公司 扫地机器人
CN113241086B (zh) * 2021-05-14 2023-05-30 北京达佳互联信息技术有限公司 音频处理方法、装置、电子设备及存储介质
CN114171061A (zh) * 2021-12-29 2022-03-11 苏州科达特种视讯有限公司 时延估计方法、设备及存储介质
CN114724572B (zh) * 2022-03-31 2024-07-16 杭州网易智企科技有限公司 确定回声延时的方法和装置
CN114650340B (zh) * 2022-04-21 2024-07-02 深圳市中科蓝讯科技股份有限公司 一种回声消除方法、装置及电子设备
CN116609726A (zh) * 2023-05-11 2023-08-18 钉钉(中国)信息技术有限公司 一种声源定位方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002525982A (ja) * 1998-09-18 2002-08-13 アンドレア エレクトロニクス コーポレイション 混信消去方法及び装置
JP2009212953A (ja) * 2008-03-05 2009-09-17 Oki Electric Ind Co Ltd 伝搬遅延時間推定器、プログラム及び方法、並びにエコーキャンセラ
JP2011061449A (ja) * 2009-09-09 2011-03-24 Oki Electric Industry Co Ltd エコーキャンセラ
JP2013012841A (ja) * 2011-06-28 2013-01-17 Nippon Telegr & Teleph Corp <Ntt> エコー消去装置、その方法及びプログラム
JP2014075756A (ja) * 2012-10-05 2014-04-24 Nippon Telegr & Teleph Corp <Ntt> 遅延推定方法とその方法を用いたエコー消去方法と、それらの装置とプログラムとその記録媒体

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI106489B (fi) * 1996-06-19 2001-02-15 Nokia Networks Oy Kaikusalpa ja kaiunpoistajan epälineaarinen prosessori
KR20000064767A (ko) * 1997-01-23 2000-11-06 비센트 비.인그라시아 통신 시스템의 비선형 처리 장치 및 방법
US6092040A (en) * 1997-11-21 2000-07-18 Voran; Stephen Audio signal time offset estimation algorithm and measuring normalizing block algorithms for the perceptually-consistent comparison of speech signals
KR100723283B1 (ko) * 1999-06-24 2007-05-30 코닌클리케 필립스 일렉트로닉스 엔.브이. 음향 에코 및 잡음 제거 적응성 필터
EP1243082A1 (en) * 1999-12-17 2002-09-25 Nokia Corporation A delay measurement system in a packet network
US20040252652A1 (en) * 2003-06-10 2004-12-16 Alexander Berestesky Cross correlation, bulk delay estimation, and echo cancellation
EP1715669A1 (en) * 2005-04-19 2006-10-25 Ecole Polytechnique Federale De Lausanne (Epfl) A method for removing echo in an audio signal
CN101026659B (zh) * 2006-02-23 2010-04-07 中兴通讯股份有限公司 一种回声延时定位的实现方法
DE602006010323D1 (de) * 2006-04-13 2009-12-24 Fraunhofer Ges Forschung Audiosignaldekorrelator
CN101321201B (zh) 2007-06-06 2011-03-16 联芯科技有限公司 回声消除装置、通信终端及确定回声时延的方法
US8503669B2 (en) * 2008-04-07 2013-08-06 Sony Computer Entertainment Inc. Integrated latency detection and echo cancellation
US8170226B2 (en) * 2008-06-20 2012-05-01 Microsoft Corporation Acoustic echo cancellation and adaptive filters
US9049281B2 (en) * 2011-03-28 2015-06-02 Conexant Systems, Inc. Nonlinear echo suppression
WO2012106926A1 (zh) * 2011-07-25 2012-08-16 华为技术有限公司 一种参数域回声控制装置和方法
KR20150002784A (ko) * 2012-06-08 2015-01-07 인텔 코포레이션 장기 지연된 에코에 대한 에코 소거 알고리즘
CN102780821B (zh) * 2012-07-06 2014-08-13 歌尔声学股份有限公司 一种送受话端采样率偏差纠正方法和系统
US9762742B2 (en) * 2014-07-24 2017-09-12 Conexant Systems, Llc Robust acoustic echo cancellation for loosely paired devices based on semi-blind multichannel demixing
GB2527865B (en) * 2014-10-30 2016-12-14 Imagination Tech Ltd Controlling operational characteristics of an acoustic echo canceller
CN104506747B (zh) * 2015-01-21 2017-08-25 北京捷思锐科技股份有限公司 一种回声消除的方法及装置
CN105472191B (zh) * 2015-11-18 2019-09-20 百度在线网络技术（北京）有限公司 一种跟踪回声时延的方法和装置
CN105872156B (zh) * 2016-05-25 2019-02-12 腾讯科技（深圳）有限公司 一种回声时延跟踪方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002525982A (ja) * 1998-09-18 2002-08-13 アンドレア エレクトロニクス コーポレイション 混信消去方法及び装置
JP2009212953A (ja) * 2008-03-05 2009-09-17 Oki Electric Ind Co Ltd 伝搬遅延時間推定器、プログラム及び方法、並びにエコーキャンセラ
JP2011061449A (ja) * 2009-09-09 2011-03-24 Oki Electric Industry Co Ltd エコーキャンセラ
JP2013012841A (ja) * 2011-06-28 2013-01-17 Nippon Telegr & Teleph Corp <Ntt> エコー消去装置、その方法及びプログラム
JP2014075756A (ja) * 2012-10-05 2014-04-24 Nippon Telegr & Teleph Corp <Ntt> 遅延推定方法とその方法を用いたエコー消去方法と、それらの装置とプログラムとその記録媒体

Also Published As

Publication number Publication date
WO2017202292A1 (zh) 2017-11-30
US20190027160A1 (en) 2019-01-24
JP6557786B2 (ja) 2019-08-07
EP3468162A4 (en) 2019-04-10
CN105872156A (zh) 2016-08-17
KR102114766B1 (ko) 2020-05-25
EP3468162B1 (en) 2020-10-14
KR20180073649A (ko) 2018-07-02
US10841432B2 (en) 2020-11-17
CN105872156B (zh) 2019-02-12
EP3468162A1 (en) 2019-04-10

Similar Documents

Publication Publication Date Title
JP6557786B2 (ja) エコー遅延トラッキング方法、装置及びコンピュータ記憶媒体
EP3703052B1 (en) Echo cancellation method and apparatus based on time delay estimation
TWI647961B (zh) 聲場的高階保真立體音響表示法中不相關聲源方向之決定方法及裝置
CN110782910B (zh) 一种高检出率的啸叫音频检测系统
WO2017181772A1 (zh) 语音检测方法、装置及存储介质
CN106157967A (zh) 脉冲噪声抑制
JP5838861B2 (ja) 音声信号処理装置、方法及びプログラム
CN108010536B (zh) 回声消除方法、装置、系统及存储介质
KR20100133830A (ko) 도래각 측정 장치 및 방법
WO2021093808A1 (zh) 一种有效语音信号的检测方法、装置及设备
US7916814B2 (en) Method and apparatus for real-time pulse parameter estimator
KR101767925B1 (ko) 음원 위치 추정 장치 및 방법
CN106847299B (zh) 延时的估计方法及装置
JP5815435B2 (ja) 音源位置判定装置、音源位置判定方法、プログラム
CN115293219B (zh) 一种融合小波和峭度的脉冲信号去噪方法
CN116312621A (zh) 时延估计方法、回声消除方法、训练方法和相关设备
JP2017083566A (ja) 雑音抑圧装置、雑音抑圧方法、およびプログラム
CN114166491A (zh) 目标设备故障监测方法、装置、电子设备及介质
CN117711434B (zh) 音频处理方法及装置、电子设备及计算机可读存储介质
CN117741356B (zh) 一种复杂工况下避雷器阀片老化评估方法、介质及系统
CN118741415A (zh) 基于通信技术的支付精确定位匹配的方法及系统
Layeghy et al. A time frequency approach to CFAR detection
CN115604067A (zh) 一种信号的定时同步方法、装置、电子设备及存储介质
CN117672174A (zh) 声反馈消除方法、声反馈消除装置、存储介质及电子设备
CN117711434A (zh) 音频处理方法及装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190712

R150 Certificate of patent or registration of utility model

Ref document number: 6557786

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250