JP7261250B2 - 信号間レイテンシの決定方法、装置、機器、及び記憶媒体 - Google Patents

信号間レイテンシの決定方法、装置、機器、及び記憶媒体 Download PDF

Info

Publication number
JP7261250B2
JP7261250B2 JP2021029967A JP2021029967A JP7261250B2 JP 7261250 B2 JP7261250 B2 JP 7261250B2 JP 2021029967 A JP2021029967 A JP 2021029967A JP 2021029967 A JP2021029967 A JP 2021029967A JP 7261250 B2 JP7261250 B2 JP 7261250B2
Authority
JP
Japan
Prior art keywords
signal
current
latency
determining
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021029967A
Other languages
English (en)
Other versions
JP2021100261A (ja
Inventor
ダンチン ヤン
ガン スー
ジュンフア スー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Original Assignee
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Intelligent Connectivity Beijing Technology Co Ltd filed Critical Apollo Intelligent Connectivity Beijing Technology Co Ltd
Publication of JP2021100261A publication Critical patent/JP2021100261A/ja
Application granted granted Critical
Publication of JP7261250B2 publication Critical patent/JP7261250B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0224—Processing in the time domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0264—Noise filtering characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04—Time compression or expansion
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02163—Only one microphone

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Measurement Of Current Or Voltage (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Analogue/Digital Conversion (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

本開示はデータ処理技術に関し、特に音声技術に関するものである。
現在、電子機器がマイクロフォンによって録音した信号は、基準信号を含む可能性がある。例えば、電子機器がオーディオを再生している時、マイクロフォンも音声を録音しており、この場合、マイクロフォンは電子機器によって再生されたオーディオを録音することになる。
したがって、電子機器が音声信号を処理する場合、エコーキャンセル処理を行う必要がある。具体的には、基準信号をマイクロフォンで録音された信号から差し引いてクリーンな信号を取得するものとする。基準信号は、電子機器が再生しているオーディオ信号を指す。
いくつかのシーンでは、マイクロフォンによって録音された信号と基準信号との間に長いレイテンシがあるため、エコーキャンセル処理を行う前に、録音信号と基準信号との間のレイテンシを推定する必要がある。どのように信号間のレイテンシを効率的に決定することは、当業者が緊急に解決すべき技術的問題である。
本開示は、従来技術における信号間のレイテンシを決定する際の低効率の問題を解決するために、信号間レイテンシの決定方法、装置、機器、及び記憶媒体を提供する。
第１の態様によれば、信号間レイテンシの決定方法が提供され、前記方法は、
プリセットサンプリングレートにおいて現在サンプリングレートを決定し、前記現在サンプリングレートに基づいて第１の現在信号と第２の現在信号を処理するステップと、処理後の第１の現在信号と処理後の第２の現在信号に基づいて現在レイテンシを決定するステップと、前記現在レイテンシに基づいて、前記第１の現在信号と前記第２の現在信号において第１の目標信号と第２の目標信号をそれぞれ決定するステップと、前記第１の目標信号を前記第１の現在信号として決定し、前記第２の目標信号を前記第２の現在信号として決定するステップと、をプリセットサンプリングレートのそれぞれが現在サンプリングレートとして決定されるまで繰り返し、ここで、初期の第１の現在信号は録音信号であり、初期の第２の現在信号は基準信号であり、
現在サンプリングレートのそれぞれに対応する前記現在レイテンシに基づいて、前記録音信号と前記基準信号との間の目標レイテンシを決定することと、を含む。
第２の態様によれば、信号間レイテンシの決定装置が提供され、前記装置は、
サイクルモジュールであって、プリセットサンプリングレートにおいて現在サンプリングレートを決定し、前記現在サンプリングレートに基づいて第１の現在信号と第２の現在信号を処理するステップと、処理後の第１の現在信号と処理後の第２の現在信号に基づいて現在レイテンシを決定するステップと、前記現在レイテンシに基づいて、前記第１の現在信号と前記第２の現在信号において第１の目標信号と第２の目標信号をそれぞれ決定するステップと、前記第１の目標信号を前記第１の現在信号として決定し、前記第２の目標信号を前記第２の現在信号として決定するステップと、をプリセットサンプリングレートのそれぞれが現在サンプリングレートとして決定されるまで繰り返すために用いられ、ここで、初期の第１の現在信号は録音信号であり、初期の第２の現在信号は基準信号であるサイクルモジュールと、
現在サンプリングレートのそれぞれに対応する前記現在レイテンシに基づいて、前記録音信号と前記基準信号との間の目標レイテンシを決定するために用いられる決定モジュールと、を含む。
第３の態様によれば、電子機器が提供され、前記電子機器は、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信接続されるメモリと、を含み、
ここで、前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令は、第１の態様に記載の信号間レイテンシの決定方法を前記少なくとも１つのプロセッサに実行させるように、前記少なくとも１つのプロセッサによって実行される。
第４の態様によれば、コンピュータ命令が記憶されている非一時的なコンピュータ可読記憶媒体が提供され、前記コンピュータ命令はコンピュータに第１の態様に記載の信号間レイテンシの決定方法を実行させるために用いられる。
第５の態様によれば、他の信号間レイテンシの決定方法が提供され、
プリセットサンプリングレートにおいて現在サンプリングレートを決定し、前記現在サンプリングレートに基づいて前記第１の現在信号と前記第２の現在信号との間の現在レイテンシを決定するステップと、前記現在レイテンシに基づいて前記第１の現在信号に対応する新たな第１の現在信号を決定し、前記第２の現在信号に対応する新たな第２の現在信号を決定するステップと、をプリセットサンプリングレートのそれぞれが現在サンプリングレートとして決定されるまで繰り返し、ここで、初期の第１の現在信号は録音信号であり、初期の第２の現在信号は基準信号であり、
前記現在サンプリングレートのそれぞれに対応する前記現在レイテンシに基づいて、前記録音信号と前記基準信号との間の目標レイテンシを決定することと、を含む。
本開示にて提供される信号間レイテンシの決定方法、装置、機器、及び記憶媒体では、プリセットサンプリングレートにおいて現在サンプリングレートを決定し、現在サンプリングレートに基づいて第１の現在信号と第２の現在信号を処理するステップと、処理後の第１の現在信号と処理後の第２の現在信号に基づいて現在レイテンシを決定するステップと、現在レイテンシに基づいて、第１の現在信号と第２の現在信号において第１の目標信号と第２の目標信号をそれぞれ決定するステップと、第１の目標信号を第１の現在信号として決定し、第２の目標信号を第２の現在信号として決定するステップと、をプリセットサンプリングレートのそれぞれが現在サンプリングレートとして決定されるまで繰り返し、ここで、初期の第１の現在信号は録音信号であり、初期の第２の現在信号は基準信号であり、現在サンプリングレートのそれぞれに対応する現在レイテンシに基づいて、録音信号と基準信号との間の目標レイテンシを決定することと、を含む。本開示にて提供される信号間レイテンシの決定方法、装置、機器、及び記憶媒体では、信号をダウンサンプリングすることにより、レイテンシを決定するための計算量を削減でき、それにより決定効率を向上させる。また、現在決定されるレイテンシにより、２つの信号の整列位置を含む信号セグメントを信号内で推定し、さらに、該信号セグメントに対して上記した処理プロセスを再び行うことで、決定範囲を徐々に狭めることができ、すなわち短い信号を処理することで、正確なレイテンシを取得することができ、それにより決定精度を確保しながら、データ処理量を削減することができる。
図面は本解決手段をよりよく理解するためのものであり、本出願を限定するものではない。ここで、
本出願の例示的な実施例に示される適用シーンの図である。 本出願の例示的な実施例に示される録音信号及び基準信号の概略図である。 本出願の例示的な実施例に示される信号間レイテンシの決定方法のフローチャートである。 本出願の例示的な実施例に示される現在信号を処理する概略図である。 本出願の例示的な実施例に示される第１の現在信号と第２の現在信号の概略図である。 本出願の他の例示的な実施例に示される信号間レイテンシの決定方法のフローチャートである。 本出願の例示的な実施例に示される第１の目標信号と第２の目標信号を決定する概略図である。 本出願の他の例示的な実施例に示される第１の目標信号と第２の目標信号を決定する概略図である。 本出願の例示的な実施例に示される信号間レイテンシの決定装置の構成図である。 本出願の他の例示的な実施例に示される信号間レイテンシの決定装置の構成図である。 本出願の例示的な実施例に示される電子機器の構成図である。 本出願の第３の例示的な実施例に示される信号間レイテンシの決定方法のフローチャートである。
以下は、本出願の例示的な実施例を、理解を容易にするために本出願の実施例の様々な詳細を含み、単なる例示として見なされるべきである添付の図面と併せて説明する。したがって、当業者は、本出願の範囲及び精神から逸脱することなく、本明細書に記載された実施例に様々な変更及び補正を行うことができることがわかるはずである。同様に、明確かつ簡潔にするために、以下の説明では、よく知られている機能及び構造の説明を省略する。
図１Ａは本出願の例示的な実施例に示される適用シーンの図である。
図１Ａに示すように、電子機器１１は、オーディオ再生機能及びオーディオ信号収集機能を有する。例えば、電子機器にはオーディオ信号を録音できるマイクロフォンが設けられている。
電子機器１１によって再生されるオーディオ信号は信号１２であり、電子機器によって録音されるオーディオ信号は、例えば、ユーザが話し出したオーディオ信号１３であってもよい。電子機器１１がオーディオ信号１２を再生しながらオーディオ信号１３を録音すると、同時にオーディオ信号１２を録音することになる。電子機器によって録音される信号をより純粋にするために、録音された信号から信号１２を除去する必要がある。
電子機器１１は、再生する必要があるオーディオ信号１２を受信してから再生するまでに一定の時間を要するため、電子機器が再生するオーディオ信号１２と録音するオーディオ信号１３との間には一定のレイテンシがあり、録音した信号から再生する必要がある信号をそのまま差し引いて、クリーンな信号を得ることができない。
図１Ｂは本出願の例示的な実施例に示される録音信号及び基準信号の概略図である。
図１Ｂに示すように、録音信号は２１であり、基準信号は２２であり、電子機器が基準信号を受信する開始時刻はｔ０であり、信号を録音する開始時刻もｔ０である。電子機器は基準信号２２に対して一連の処理を行ってからそれを再生する必要であり、このプロセスにおいてかかる時間が（ｔ１－ｔ０）であり、実際に再生される基準信号は２３である。
録音信号２１から基準信号２２をそのまま差し引くと、基準信号の再生時刻と録音信号の録音開始時刻が一致しないため、録音信号におけるエコーを効果的に除去することができない。したがって、録音信号２１と基準信号２２との間のレイテンシ（ｔ１－ｔ０）を決定する必要がある。レイテンシに基づいて、タイミング上に基準信号２２を実際に再生される基準信号２３の態様に調整してエコーキャンセル処理を行うものとしてもよい。
録音されたクリーンなオーディオ信号を得ようとする場合、録音された信号と再生された信号との間のレイテンシを決定してから、エコーキャンセル処理を行う必要がある。現在の一態様では、録音された信号と再生されたオーディオ信号とをフレームごとに比較して、両者のレイテンシを決定するものとしてもよいが、この方法は、計算量が大きすぎて、レイテンシを決定する効率が低くなる。
本出願にて提供される信号間のレイテンシを決定する方法は、オリジナルの録音信号及び基準信号をダウンサンプリングし、ダウンサンプリング信号に基づいて２つの信号のレイテンシを予備的に推定し、また該レイテンシに基づいて、２つの信号のうち整列位置を含む目標信号を推定し、目標信号に対して上記したステップを繰り返し、それにより、複数回のダウンサンプリングによって、より正確なレイテンシ結果が得られるまで、段階的に推定する。
本出願にて提供される方法は、信号に対してダウンサンプリング処理を行うため、計算量を大幅に削減でき、現在状況に基づいて、２つの信号のうち整列位置を含む目標信号を推定でき、それにより目標信号のみを処理することができ、精度を確保する場合には、データ処理量をさらに削減することができ、さらに、レイテンシ決定効率を向上させる。
電子機器は、録音信号と基準信号との間のレイテンシを決定した後、決定されたレイテンシに基づいてエコーキャンセル処理を行うことができ、レイテンシを決定するプロセスにおいてレイテンシを効率的かつ正確に決定することができるため、さらに録音された音声を効率的かつ正確に処理することができる。
図２は本出願の例示的な実施例に示される信号間レイテンシの決定方法のフローチャートである。
図２に示すように、本出願の実施例にて提供される信号間レイテンシの決定方法は、ステップ２０１～ステップ２０６を含む。
ステップ２０１において、プリセットサンプリングレートにおいて現在サンプリングレートを決定する。
ここで、本出願にて提供される方法は、コンピューティング能力を有する電子機器、例えば、図１に示される電子機器１１によって実行されてもよい。
具体的には、電子機器１１は、オーディオ再生機能と録音機能を備え、例えば、電子機器１１にスピーカとマイクロフォンが同時に設けられており、オーディオ再生機能と録音機能をそれぞれ実現するために用いられる。電子機器は、具体的には、携帯電話、テレビ会議又は電話会議を行うために用いられる機器、スマートスピーカーなどの機器であってもよく、本実施例ではこれについて限定されない。
さらに、複数のレベルにあるプリセットサンプリングレートを予め設定してもよく、これらのプリセットサンプリングレートの値は同じではなく、例えば、それぞれ「１／２、１／４…１／２ｎ」のような一組のプリセットサンプリングレートを設定してもよく、ｎは、必要に応じて設定されてもよい。
実際に適用される時、サンプリングレートとは、サンプリング周波数を指し、具体的には、単位時間においてサンプリングする個数を指す。サンプリングレートの逆数がサンプリング周期である。例えば、サンプリングレートが１／２の場合、単位時間当たりにサンプリングする数が１／２であり、サンプリング周期が２であり、すなわち、２つのサンプリング周期おきに１つのサンプルを収集することが示される。
ここで、プリセットサンプリングレートにおいて現在サンプリングレートを決定するためのルールを予め設定してもよい。例えば、まず、プリセットサンプリングレートの最小値を現在サンプリングレートとし、そして大きいサンプリングレートを現在サンプリングレートとする。
具体的には、例えば、まず、１／２ｎを現在サンプリングレートとして、以下のステップを実行する。続いて１／２（ｎ－１）を現在サンプリングレートとして、以下のステップを実行し、以下同様に、すべてのプリセットサンプリングレートがトラバースされるまでに終わる。
ステップ２０２において、現在サンプリングレートに基づいて第１の現在信号と第２の現在信号を処理する。ここで、初期の第１の現在信号は録音信号であり、初期の第２の現在信号は基準信号である。
さらに、説明を明確にするため、本実施例において第１の現在信号と第２の現在信号を定義する。ここで、ステップ２０２を初めて実行する時、第１の現在信号は録音信号であり、第２の現在信号は基準信号である。ステップ２０２を再び実行する時、以下のステップに基づいて第１の現在信号と第２の現在信号を決定する。
実際に適用される時、決定された現在サンプリングレートに基づいて第１の現在信号と第２の現在信号をそれぞれ処理することができる。具体的には、該２つの信号に対してサンプリング処理を行うことができる。
ここで、本ステップを初めて実行する時、実質的に現在サンプリングレートに基づいて録音信号、基準信号をそれぞれ処理する。ステップ２０２を再び実行する時、現在サンプリングレートに基づいて、決定された第１の現在信号と第２の現在信号を処理することである。
具体的には、現在サンプリングレートを用いて第１の現在信号と第２の現在信号に対してサンプリング処理をそれぞれ行うことができる。具体的にサンプリングレートに基づいてサンプリング周期を決定し、かつ１つのサンプリング周期おきに信号において１つのサンプルを収集することで、サンプリング後の信号を取得する。
図３は本出願の例示的な実施例に示される現在信号を処理する概略図である。
さらに、現在サンプリングレートを用いて第１の現在信号と第２の現在信号に対して処理する方法は類似し、本実施例は図３でこのプロセスについて概略的に説明する。
図３に示すように、３１は現在信号（第１の現在信号又は第２の現在信号）であり、該信号は時間に関する関数であってもよく、すなわち横軸は時間であり、縦軸は信号の振幅である。
実際に適用される時、サンプリングレートに基づいて現在信号３１においてサンプリングし、複数のサンプル３２を得るものとしてもよい。これらのサンプル３２の集合は、現在サンプリングレートを用いて現在信号３１を処理した後の信号である。
ここで、第１の現在信号と第２の現在信号をそれぞれ処理し、それにより処理後の第１の現在信号と第２の現在信号を得る。第１の現在信号と第２の現在信号に対してサンプリング処理を行ったため、処理後の信号に含まれるデータ量を大幅に削減させる。例えば、元の現在信号に１００００個のデータが含まれ、処理後の現在信号に１００個のサンプリングデータのみが含まれる可能性がある。
ステップ２０３において、処理後の第１の現在信号と処理後の第２の現在信号に基づいて現在レイテンシを決定する。
具体的には、第１の現在信号と第２の現在信号に対してサンプリング処理を行った後、処理後の第１の現在信号と処理後の第２の現在信号に基づいて現在レイテンシを決定することができる。処理後の第１の現在信号と処理後の第２の現在信号に含まれるデータは、いずれも処理前の信号よりも少ないため、処理後の信号に基づいてレイテンシを決定する計算量は、処理前の信号に基づいてレイテンシを決定する計算量よりも少ない。
さらに、処理後の信号は元の信号に対してサンプリング処理を行うことによって得られるため、処理後の第１の現在信号は第１の現在信号の特性を反映でき、処理後の第２の現在信号は第２の現在信号の特性を反映できる。処理後の第１の現在信号と処理後の第２の現在信号に基づいて現在レイテンシを決定することができる。
実際に適用される時、最初のサイクル中に決定された現在レイテンシの精度が低い可能性があるが、サイクル回数が増えるにつれて、決定されたレイテンシの結果はより正確になる。また、決定されたレイテンシの精度はサンプリングレートの大きさにも関連性があり、本実施例にて提供される方法では、最初のサイクルでより小さいサンプリングレートでサンプリングしてもよく、サイクル回数が増えるにつれてサンプリングレートを徐々に上げ、それによりデータの計算量を削減できるだけでなく、決定結果の精度も保証できる。
ここで、現在レイテンシを決定する場合、処理後の第１の現在信号と処理後の第２の現在信号を比較でき、この２つの信号は、サンプリング処理後の信号であるため、それに含まれるデータの量は多くなく、このため、データ処理量を削減し、レイテンシ決定効率を向上させることができる。
具体的には、処理後の第１の現在信号と処理後の第２の現在信号をフレームごとに比較することで、この両者の間のレイテンシを決定することができる。例えば、処理後の第１の現在信号において、処理後の第２の現在信号を含む開始位置を決定し、それによりこの両者の間のレイテンシを決定する。処理後の第１の現在信号と処理後の第２の現在信号の相互相関エネルギー値を計算し、相互相関エネルギー値が最も大きい位置に基づいて、２つの信号のレイテンシを決定することもできる。
ステップ２０４において、現在レイテンシに基づいて、第１の現在信号と第２の現在信号において第１の目標信号と第２の目標信号をそれぞれ決定する。
さらに、現在サンプリングレートとは見なされない値がプリセットサンプリングレートにある場合、ステップ２０４を実行する。プリセットサンプリングレートにある各値が現在サンプリングレートと見なされ、かつ現在サンプリングレートごとに基づいて、対応する現在レイテンシを決定した場合、ステップ２０４～２０５を実行しなくてもよい。代わりに、ステップ２０６を直接実行する。
実際に適用される時、すべてのプリセットサンプリングレートが適用されていない場合、結果をより正確にするために、プリセットサンプリングレートに基づいて、現在レイテンシを決定し続けることができると考えられる。
ここで、現在決定されているレイテンシに基づいて第１の現在信号と第２の現在信号において第１の目標信号と第２の目標信号をそれぞれ決定することができる。第１の目標信号と第２の目標信号は整列位置を含むと考えられる。
具体的には、一般に、録音信号と基準信号との間に、基準信号の処理によるレイテンシがある。時刻ｔ０から信号を録音し始め、かつ、電子機器が時刻ｔ０で基準信号を受信して再生すると仮定すると、基準信号を再生するためには、一連の処理を行う必要があるため、実質的に再生される信号の開始時刻がｔ０からｔ１とずれてしまう。
この場合、エコーキャンセル処理を行うために、基準信号をタイミング上に後ろに（ｔ１～ｔ０）ずらすことで、録音信号と実際に再生される基準信号とをタイミング上に一致させる必要がある。この場合、基準信号の処理に時間がかかるため、録音信号に含まれる基準信号の開始位置が録音信号の開始位置よりも遅れることになり、録音信号において両者の時間差、つまり両者のレイテンシを取得する必要があると考えられる。
この場合、第１の現在信号において、レイテンシに基づいて整列位置を決定することができ、例えば、現在レイテンシが５ｍｓの場合は、第１の現在信号における５ｍｓ目の位置を整列位置として、該整列位置に基づいて第１の目標信号を決定することができる。例えば、現在サンプリングレートに基づいてレイテンシ誤差を決定することにより、整列位置の前後の信号を第１の目標信号とすることができる。例えば、誤差が±１ｍｓの場合は、第１の目標信号は第１の現在信号の４ｍｓ～６ｍｓのセグメントになる。第２の現在信号については、開始位置から第１の目標信号と同じ時間長さの信号のセグメントを第２の目標信号とすることができる。
録音信号の開始位置が、実際に録音された基準信号の開始位置よりもタイミング上に遅れる場合は、レイテンシに基づいて第２の現在信号において整列位置を決定し、次に、該整列位置に基づいて第２の目標信号を決定することができる。第１の現在信号については、開始位置から第２の目標信号と同じ時間長さの信号のセグメントを第１の目標信号とすることができる。
さらに、本実施例によれば、第１の目標信号と第２の目標信号における録音信号と基準信号が含まれる整列位置を推定することができ、それにより、この２つのセグメントの信号を処理してより正確なレイテンシを決定することができる。このような方法は、整列位置を含まない信号を除去することができ、それによりデータ処理量を大幅に削減することができる。
図４は本出願の例示的な実施例に示される第１の現在信号と第２の現在信号の概略図である。
図４に示すように、４１は第１の現在信号であり、４２は第２の現在信号であり、決定された現在レイテンシはΔｔである。
現在レイテンシΔｔに基づいて、第１の現在信号４１において可能な整列位置４３を推定し、該整列位置４３を含む信号のセグメントを第１の目標信号４４とすることができ、第１の目標信号には第２の現在信号４２に対応する整列位置が絶対に含まれると考えられる。また、第２の現在信号４２の開始位置から、第１の目標信号４４と同じ時間長さの信号を第２の目標信号４５とすることができる。この２つの目標信号４４及び４５を処理して、より正確なレイテンシを決定することができる。
第１の目標信号４４及び第２の目標信号４５はいずれも現在信号において決定されるものであるため、その中のデータは元の録音信号と基準信号のうちの一部であり、具体的には、第１の目標信号は録音信号の一部であり、第２の目標信号は基準信号の一部であり、したがって、この２つの目標信号を処理し続けて現在レイテンシを決定することは、元の録音信号、基準信号を処理してレイテンシを決定することに相当し、サンプリングレートが高ければ高いほど、決定された結果は、精度を損なうことなく、より正確になる。
ステップ２０５において、第１の目標信号を第１の現在信号として決定し、第２の目標信号を第２の現在信号として決定する。
第１の目標信号を第１の現在信号として決定し、第２の目標信号を第２の現在信号として決定し、ステップ２０１を実行し続けてもよい。
プリセットサンプリングレートのそれぞれが現在サンプリングレートとして決定されるまで上記したステップを繰り返す。このような方法により、第１の現在信号と第２の現在信号の長さを徐々に短くすることができ、それによりレイテンシの決定範囲を徐々に狭くすることで、結果がより正確になる。
例えば、初期の第１の現在信号は録音信号であり、第２の現在信号は基準信号であり、この２つの信号は比較的長いが、低いサンプリングレートを用いてそれらを処理することで、データ処理量を削減することができる。
その後、現在レイテンシを決定し、第１の目標信号と第２の目標信号を取得することができ、この２つの信号の長さは、録音信号と基準信号よりも短いため、より高いレベルのサンプリングレートを用いてそれを処理してもよく、より高い精度を有する他の現在レイテンシを決定して他の第１の目標信号と第２の目標信号を取得する。
この２つの信号の長さはこの前の信号よりも短いため、より高いレベルのサンプリングレートを用いてそれを処理し、より高い精度を有する他の現在レイテンシを決定し、他の第１の目標信号と第２の目標信号を取得することができる。以下同様に、このような方法により、処理する必要がある第１の現在信号と第２の現在信号の長さを徐々に短くしながら、決定結果の精度を向上させることができる。
ステップ２０６において、現在サンプリングレートのそれぞれに対応する現在レイテンシに基づいて、録音信号と基準信号との間の目標レイテンシを決定する。
ここで、上記したステップを繰り返すことにより、プリセットサンプリングレートのそれぞれを現在サンプリングレートとする場合、対応する現在レイテンシを決定することができる。最後に、毎回決定される最終のレイテンシに基づいて、正確な目標レイテンシを得ることができる。
具体的には、これらの現在レイテンシを累積して目標レイテンシを得ることができる。例えば、サイクルプロセスを３回実行し、初めて決定された現在レイテンシが５ｍｓであり、２回目に決定されたレイテンシが－１ｍｓであり、３回目に決定されたレイテンシが０．５ｍｓであると、これら３つの値を加算し、４．５ｍｓの目標レイテンシを得ることができる。基準信号が録音信号より４．５ｍｓ遅れていると考えられる。
録音信号と基準信号の間の目標レイテンシを決定した後、２つの信号に対して整列処理を行い、さらに、録音信号から基準信号を減算し、録音されたクリーンな信号を得てエコーキャンセルという目的を達成する。本実施例にて提供される方法では、レイテンシを決定するプロセスにおいてレイテンシを効率的かつ正確に決定することができるため、さらに録音された音声を効率的かつ正確に処理することができる。
本実施例にて提供される方法は、信号間のレイテンシを決定するために用いられ、該方法は、本実施例にて提供される方法が設定されている機器によって実行され、該機器は通常ハードウェア及び／又はソフトウェアで実現される。
本実施例にて提供される信号間レイテンシの決定方法は、プリセットサンプリングレートにおいて現在サンプリングレートを決定し、現在サンプリングレートに基づいて第１の現在信号と第２の現在信号を処理するステップと、処理後の第１の現在信号と処理後の第２の現在信号に基づいて現在レイテンシを決定するステップと、現在レイテンシに基づいて、第１の現在信号と第２の現在信号において第１の目標信号と第２の目標信号をそれぞれ決定するステップと、第１の目標信号を第１の現在信号として決定し、第２の目標信号を第２の現在信号として決定するステップと、をプリセットサンプリングレートのそれぞれが現在サンプリングレートとして決定されるまで繰り返し、ここで、初期の第１の現在信号は録音信号であり、初期の第２の現在信号は基準信号であり、現在サンプリングレートのそれぞれに対応する現在レイテンシに基づいて、録音信号と基準信号との間の目標レイテンシを決定することと、を含む。本出願にて提供される方法では、信号をダウンサンプリングすることにより、レイテンシを決定するための計算量を削減でき、それにより決定効率を向上させる。また、現在決定されるレイテンシにより、２つの信号の整列位置を含む信号セグメントを信号内で推定し、さらに、該信号セグメントに対して上記した処理プロセスを再び行うことで、決定範囲を徐々に狭めることができ、すなわち短い信号を処理することで、正確なレイテンシを取得することができ、それにより決定精度を確保しながら、データ処理量を削減することができる。
図５は本出願の他の例示的な実施例に示される信号間レイテンシの決定方法のフローチャートである。
図５に示すように、本出願にて提供される信号間レイテンシの決定方法はステップ５０１～ステップ５０６を含む。
ステップ５０１において、プリセットサンプリングレートにおいて、現在サンプリングレートとされていない最小のプリセットサンプリングレートを現在サンプリングレートとする。
ここで、本出願にて提供される方法は、コンピューティング能力を有する電子機器、例えば、図１に示される電子機器１１によって実行されてもよい。
具体的には、電子機器１１は、オーディオ再生機能と録音機能を備え、例えば、電子機器１１にスピーカとマイクロフォンが同時に設けられており、オーディオ再生機能と録音機能をそれぞれ実現するために用いられる。電子機器は、具体的には、携帯電話、テレビ会議又は電話会議を行うために用いられる機器、スマートスピーカーなどの機器であってもよく、本実施例ではこれについて限定されない。
さらに、複数のレベルにあるプリセットサンプリングレートを予め設定してもよく、これらのプリセットサンプリングレートの値は同じではなく、例えば、それぞれ「１／２、１／４…１／２ｎ」のような一組のプリセットサンプリングレートを設定してもよく、ｎは、必要に応じて設定されてもよい。
実際に適用される時、プリセットサンプリングレートにおいて現在サンプリングレートとされていないサンプリングレートを決定し、そして、これらのプリセットサンプリングレートにおいて最小値を現在サンプリングレートとして決定することができる。
電子機器は本実施例にて提供される方法を実行する時、プリセットサンプリングレートのそれぞれに基づいて第１の現在信号と第２の現在信号に対して処理を順次行う。第１の現在信号と第２の現在信号を初めて処理する時に、最小のプリセットサンプリングレートを使用してもよく、第１の現在信号と第２の現在信号を２回目に処理する時に、２番目に小さいプリセットサンプリングレートを使用してもよく、以下同様に、プリセットサンプリングレートのそれぞれを使用して第１の現在信号と第２の現在信号を処理するまでに終わる。
例えば、プリセットサンプリングレートには、小さい順にｎ１、ｎ２、ｎ３である３つの値が含まれると、サイクルプロセスでは、１回目のサイクルで使用されるサンプリングレートはｎ１であり、２回目のサイクルで使用されるサンプリングレートはｎ２であり、３回目のサイクルで使用されるサンプリングレートはｎ３である。それにより、処理プロセス全体において、サンプリングレートを段階的に上げて、さらに決定結果の精度を向上させる。
ステップ５０２において、現在サンプリングレートを用いて第１の現在信号に対してダウンサンプリング処理を行い、現在サンプリングレートを用いて第２の現在信号に対してダウンサンプリング処理を行う。ここで、初期の第１の現在信号は録音信号であり、初期の第２の現在信号は基準信号である。
ここで、説明の便宜上、本出願の実施例に第１の現在信号と第２の現在信号が定義される。サイクルプロセスでは、第１の現在信号と第２の現在信号を処理対象とする。
具体的には、１回目のサイクルでは、初期の第１の現在信号は録音信号であり、初期の第２の現在信号は基準信号であり、すなわち、１回目のサイクルでは、実質的な処理対象は録音信号及び基準信号である。
さらに、その後のサイクルプロセスでは、第１の現在信号と第２の現在信号は、処理結果に基づいて決定される。
実際に適用される時、決定された現在サンプリングレートを用いて第１の現在信号と第２の現在信号に対してダウンサンプリング処理をそれぞれ行い、それにより第１の現在信号と第２の現在信号の長さを短縮し、処理データを小さくし、さらにレイテンシを決定する処理速度を向上させる。
例えば、第１の現在信号は、１００００個のサンプル点、すなわち１００００個のデータを含み、それに対してダウンサンプリング処理を行うことで、ダウンサンプリング後の第１の現在信号が１００個のデータのみを含むことになると、この１００個のデータを処理することは、１００００個のデータを処理する場合に比べて計算量を大幅に削減できる。
ステップ５０３において、処理後の第１の現在信号と処理後の第２の現在信号をフレームごとに比較し、また比較結果に基づいて現在レイテンシを決定する。
ここで、処理後の第１の現在信号と処理後の第２の現在信号に含まれるデータ量が明らか大幅に削減され、この場合、処理後の第１の現在信号と処理後の第２の現在信号をフレームごとに比較し、また比較結果に基づいて現在レイテンシを決定することができる。該現在レイテンシは現在サンプリングレートに基づいて決定された第１の現在信号と第２の現在信号との間のレイテンシを指す。
例えば、初めてサイクルする場合、第１の現在信号が録音信号であり、第２の現在信号が基準信号であり、そのように、最小のプリセットサンプリングレートに基づいて決定された現在レイテンシは、大まかに推定された録音信号と基準信号との間のレイテンシである。
本実施例にて提供される方法では、第１の現在信号と第２の現在信号に含まれるデータ量が大きい場合、より低いサンプリングレートを用いてそれを処理し、第１の現在信号と第２の現在信号のデータ量の削減につれて、サンプリングレートが高くなり、このような方法により、データ処理量を削減しながら、決定結果の精度を保証することができる。
具体的には、第１の現在信号と第２の現在信号をフレームごとに比較することにより、第１の現在信号においてそれに含まれる第２の現在信号の開始位置を検索し、例えば、第１の現在信号の５０ｍｓ位置には第２の現在信号の開始内容が含まれる場合、５０ｍｓを現在レイテンシとしてもよい。
さらに、２つの信号のうちいくつかの連続するフレームのデータを比較することにより、両者のレイテンシを推定することができる。
選択的に、ステップ５０３の後に、さらにプリセットサンプリングレートのそれぞれを現在サンプリングレートとして決定して上記したステップを実行するか否かを判断でき、そうであれば、ステップ５０６を実行し、そうでなければ、ステップ５０４Ａ又は５０４Ｂを実行し続ける。この方式は最後のプリセットサンプリングレートに基づいて現在レイテンシを決定した後、目標レイテンシを直接決定することができ、それにより目標信号を決定するステップを省略し、それによりデータ処理速度をさらに向上させる。
ステップ５０４Ａにおいて、現在レイテンシ、現在サンプリングレートに対応する誤差に基づいて第１の現在信号において第１の目標信号を決定し、第２の現在信号において第２の目標信号を決定する。
１つの実施形態において、現在サンプリングレートに基づいて対応する現在レイテンシを決定した後、それぞれ第１の現在信号において第１の目標信号を決定し、第２の現在信号において第２の目標信号を決定することができる。
ここで、サンプリングレートが異なると、決定されたレイテンシの誤差も異なる。例えば、サンプリングレートが低ければ低いほど、現在信号から収集されたサンプルデータもより少なくなり、決定された現在レイテンシの誤差もより大きくなり、サンプリングレートが高ければ高いほど、現在信号から収集されたサンプルデータもより多くなり、決定された現在レイテンシの誤差もより小さくなる。現在レイテンシ、現在サンプリングレートに対応する誤差に基づいて現在信号においてレイテンシ範囲を決定し、それにより信号の処理範囲を縮小させる。
具体的には、プリセットサンプリングレートのそれぞれに対応する誤差、すなわち、各現在サンプリングレートの誤差を設定することができる。第１の目標信号と第２の目標信号を決定する必要がある場合、現在サンプリングレートに対応する誤差を直接読み取ることができる。
さらに、現在レイテンシに基づいて第１の現在信号において第１の位置を決定し、第１の位置、現在サンプリングレートに対応する誤差に基づいて第１の目標信号を決定することができる。
図６は本出願の例示的な実施例に示される第１の目標信号と第２の目標信号を決定する概略図である。
図６に示すように、録音信号において、実際に録音された基準信号の開始位置が録音信号の開始位置より遅れていると仮定する。そのように、現在レイテンシに基づいて、第１の現在信号６１において第１の位置６２を決定することができる。さらに現在サンプリングレートに対応する誤差に基づいて、該第１の位置６２を含む第１の目標信号を決定する。例えば、現在レイテンシが５０ｍｓである場合、第１の現在信号６１の５０ｍｓ位置を第１の位置６２として決定し、例えば、誤差が±２ｍｓである場合、４８ｍｓ～５２ｍｓの信号を第１の目標信号６３とする。
このような実施形態では、現在サンプリングレートが誤差値に対応しており、特に現在サンプリングレートが小さい場合には誤差値が大きいため、大まかに推定した現在レイテンシと誤差値に基づいて具体的なレイテンシ範囲を決定することにより、信号処理の範囲を狭めることができる。例えば上記した実施例において、レイテンシが４８ｍｓ～５２ｍｓの範囲内であると考えられると、それ以降の処理は、このセグメントの信号のみを処理することができ、さらにデータ処理量を顕著に削減ことができる。
また、サンプリングレート対応する誤差に基づいて目標時間長さを決定することができ、第２の現在信号の開始位置から、長さが目標時間長さである信号を第２の目標信号として決定する。
続いて図６を参照すると、録音信号において、実際に録音された基準信号の開始位置が録音信号の開始位置より遅れていると仮定する。そのように、サンプリングレートに対応する誤差に基づいて目標時間長さを決定することができ、例えば誤差が±２ｍｓである場合、目標時間長さは４ｍｓであり、第２の現在信号６４のフロントエンドにある４ｍｓの信号を第２の目標信号６５とすることができる。
ここで、録音信号のある位置から基準信号が含まれていると考えられると、録音信号に含まれる基準信号の開始位置を決定すれば、両者のレイテンシを決定することができる。そのため、本出願の実施例では、第１の現在信号において第１の目標信号の範囲を推定し、第２の現在信号の開始信号セグメントを第２の目標信号とし、さらに両者を処理し、それにより第１の目標信号において第２の目標信号の開始位置を決定し、それにより正確な現在レイテンシを決定する。
録音信号の開始位置が実際に再生された基準信号の開始位置より遅れていると仮定すると、現在レイテンシに基づいて第２の現在信号において第２の位置を決定することができる。そして、現在サンプリングレートに対応する誤差に基づいて、該第２の位置を含む第２の目標信号を決定する。サンプリングレートに対応する誤差に基づいて目標時間長さを決定することもでき、第１の現在信号のフロントエンドにある目標時間長さの信号セグメントを第１の目標信号とすることができる。
ステップ５０４Ｂにおいて、現在レイテンシに基づいて第１の現在信号と第２の現在信号に対して整列処理を行い、現在サンプリングレートに対応する誤差に基づいて、整列された第１の現在信号において第１の目標信号を決定し、整列された第２の現在信号において第２の目標信号を決定する。
他の実施形態では、現在レイテンシを決定した後、さらに該現在レイテンシに基づいて第１の現在信号、第２の現在信号に対して整列処理を行うことができる。
上記した実施形態と同様に、本実施形態においても、プリセットサンプリングレートに対応する誤差が予め設定されている。
信号を整列した後、現在サンプリングレートに対応する誤差に基づいて、整列された第１の現在信号において第１の目標信号を決定し、整列された第２の現在信号において第２の目標信号を決定することができる。
図７は本出願の他の例示的な実施例に示される第１の目標信号と第２の目標信号を決定する概略図である。
図７に示すように、録音信号において、録音された基準信号の開始位置が録音信号自体の開始位置よりも遅れていると仮定すると、現在レイテンシに基づいて第１の現在信号又は第２の現在信号を調整し、両者を整列させることができる。例えば、現在レイテンシが５０ｍｓの場合、第２の現在信号の開始位置を第１の現在信号に含まれる第２の現在信号の開始位置と整列するように、第２の現在信号を５０ｍｓだけ後方に移動できる。あるいは、第２の現在信号の開始位置を第１の現在信号に含まれる第２の現在信号の開始位置と整列するように、第１の現在信号を５０ｍｓだけ前方に移動できる。
図７に示すように、第２の現在信号を後方に移動させると仮定すると、整列された第１の現在信号７１と第２の現在信号７２を得ることができる。
決定された現在レイテンシにはまだ一定の誤差があるため、第１の現在信号の開始データに第２の現在信号の開始データが必ず含まれているとは限らない。誤差に基づいて信号範囲を決定することにより、処理する必要があるデータの長さを短くすることができる。
図７に示すように、現在サンプリングレートに対応する誤差に基づいて、整列された第１の現在信号において第１の目標信号７３を決定し、整列された第２の現在信号において第２の目標信号７４を決定することができる。
ここで、整列された第１の現在信号において開始点整列位置７５を決定することができ、開始点整列位置、サンプリングレートに対応する誤差に基づいて第１の目標信号７３を決定することができる。例えば、現在レイテンシが５０ｍｓである場合、開始点整列位置７５は、第１の現在信号の５０ｍｓの位置とすることができ、例えば、誤差が±２ｍｓである場合、５０±２ｍｓの信号セグメントを第１の目標信号７３とすることができる。
具体的には、サンプリングレートに対応する誤差に基づいて目標時間長さを決定することもでき、例えば、誤差が±２ｍｓである場合、目標時間長さは４ｍｓであり、第２の現在信号の開始位置から、長さが目標時間長さである信号を第２の目標信号７４として決定することができる。
さらに、決定された目標信号は元の現在信号に比べ、長さが著しく短縮され、かつ目標信号に２つの信号の整列位置が含まれるため、短縮後の目標信号のみに基づいて処理することができ、それにより、より正確なレイテンシを決定でき、かつデータ処理量を削減することができる。
ステップ５０５において、第１の目標信号を第１の現在信号として決定し、第２の目標信号を第２の現在信号として決定する。
新たな第１の現在信号と第２の現在信号に基づいてステップ５０１を実行し続けることができる。
選択的に、さらにプリセットサンプリングレートのそれぞれを現在サンプリングレートとするか否かを判断することができ、そうであれば、ステップ５０６を実行することができ、そうでなければ、ステップ５０１を実行し続けることができる。
本実施例にて提供される方法では、ステップ５０５の後、或いはステップ５０３の後にステップ５０６を実行してもよく、具体的には必要に応じて設定してもよい。
ステップ５０６において、現在サンプリングレートのそれぞれに対応する現在レイテンシに対して累積処理を行い、録音信号と基準信号との間の目標レイテンシを得る。
具体的には、上記した実施形態に基づいて、現在サンプリングレートのそれぞれに対して対応する現在レイテンシを決定でき、現在レイテンシを累積して目標レイテンシを得ることができる。
さらに、サイクル回数の増加に伴い、処理する必要がある信号の長さが短くなり、サンプリングレートが高くなり、すなわち精度が高くなり、複数回に決定された現在レイテンシを組み合わせることにより、データ処理量を削減しながら、決定結果の精度を保証することができる。
目標レイテンシを決定した後、目標レイテンシに基づいて録音信号に対してエコーキャンセル処理を継続することができる。
実際に適用される時、選択可能な実施形態において、現在レイテンシを毎回決定した後、さらに現在レイテンシが正確であるか否かを決定することができ、正確であれば、第１の目標信号と第２の目標信号を決定するステップを実行する。不正確であれば、現在レイテンシを決定し続け、それにより決定された現在レイテンシが不正確であるため、決定された目標レイテンシが不正確であるという問題を回避する。
ここで、既存の技術的解決手段を採用して、レイテンシが正確であるか否かを具体的に決定することができる。
図８は本出願の例示的な実施例に示される信号間レイテンシの決定装置の構成図である。
図８に示すように、本出願にて提供される信号間レイテンシの決定装置は、
サイクルモジュール８１であって、プリセットサンプリングレートにおいて現在サンプリングレートを決定し、現在サンプリングレートに基づいて第１の現在信号と第２の現在信号を処理するステップと、処理後の第１の現在信号と処理後の第２の現在信号に基づいて現在レイテンシを決定するステップと、現在レイテンシに基づいて、第１の現在信号と第２の現在信号において第１の目標信号と第２の目標信号をそれぞれ決定するステップと、第１の目標信号を第１の現在信号として決定し、第２の目標信号を第２の現在信号として決定するステップと、をプリセットサンプリングレートのそれぞれが現在サンプリングレートとして決定されるまで繰り返すために用いられ、ここで、初期の第１の現在信号は録音信号であり、初期の第２の現在信号は基準信号であるサイクルモジュール８１と、
現在サンプリングレートのそれぞれに対応する現在レイテンシに基づいて、録音信号と基準信号との間の目標レイテンシを決定するために用いられる決定モジュール８２と、を含む。
本実施例にて提供される信号間レイテンシの決定装置は、
サイクルモジュールであって、プリセットサンプリングレートにおいて現在サンプリングレートを決定し、現在サンプリングレートに基づいて第１の現在信号と第２の現在信号を処理するステップと、処理後の第１の現在信号と処理後の第２の現在信号に基づいて現在レイテンシを決定するステップと、現在レイテンシに基づいて、第１の現在信号と第２の現在信号において第１の目標信号と第２の目標信号をそれぞれ決定するステップと、第１の目標信号を第１の現在信号として決定し、第２の目標信号を第２の現在信号として決定するステップと、をプリセットサンプリングレートのそれぞれが現在サンプリングレートとして決定されるまで繰り返すために用いられ、ここで、初期の第１の現在信号は録音信号であり、初期の第２の現在信号は基準信号であるサイクルモジュールと、現在サンプリングレートのそれぞれに対応する現在レイテンシに基づいて、録音信号と基準信号との間の目標レイテンシを決定するために用いられる決定モジュールと、を含む。本出願にて提供される装置では、信号をダウンサンプリングすることにより、レイテンシを決定するための計算量を削減でき、それにより決定効率を向上させる。また、現在決定されるレイテンシにより、２つの信号の整列位置を含む信号セグメントを信号内で推定し、さらに、該信号セグメントに対して上記した処理プロセスを再び行うことで、決定範囲を徐々に狭めることができ、すなわち短い信号を処理することで、正確なレイテンシを取得することができ、それにより決定精度を確保しながら、データ処理量を削減することができる。
図９は本出願の他の例示的な実施例に示される信号間レイテンシの決定装置の構成図である。
図９に示すように、上記した実施例に基づいて、本実施例にて提供される信号間レイテンシの決定装置では、
前記サイクルモジュール８１は、前記プリセットサンプリングレートにおいて、前記現在サンプリングレートとされていない最小のプリセットサンプリングレートを前記現在サンプリングレートとするために用いられるサンプリングレート決定ユニット８１１を含む。
選択的に、前記サイクルモジュール８１は、
前記現在サンプリングレートを用いて前記第１の現在信号に対してダウンサンプリング処理を行い、
前記現在サンプリングレートを用いて前記第２の現在信号に対してダウンサンプリング処理を行うために用いられるダウンサンプリングユニット８１２を含む。
前記サイクルモジュール８１は、
処理後の前記第１の現在信号と処理後の前記第２の現在信号をフレームごとに比較し、また比較結果に基づいて前記現在レイテンシを決定するために用いられる現在レイテンシ決定ユニット８１３を含む。
選択的に、前記サイクルモジュール８１はさらに、
前記現在レイテンシが正確である場合、前記現在レイテンシに基づいて、前記第１の現在信号と前記第２の現在信号において第１の目標信号と第２の目標信号をそれぞれ決定する前記ステップを実行するために用いられる。
前記サイクルモジュール８１はさらに、
前記現在レイテンシが不正確である場合、処理後の前記第１の現在信号と処理後の前記第２の現在信号をフレームごとに比較し、また比較結果に基づいて前記現在レイテンシを決定する前記ステップを実行し続けるために用いられる。
前記サイクルモジュール８１は、
前記現在レイテンシ、前記現在サンプリングレートに対応する誤差に基づいて前記第１の現在信号において第１の目標信号を決定し、前記第２の現在信号において第２の目標信号を決定するために用いられる第１の決定ユニット８１４を含む。
選択的に、前記第１の決定ユニット８１４は具体的には、
前記現在レイテンシに基づいて、前記第１の現在信号において第１の位置を決定し、前記第１の位置、前記現在サンプリングレートに対応する誤差に基づいて第１の目標信号を決定し、
前記サンプリングレートに対応する誤差に基づいて目標時間長さを決定し、前記第２の現在信号の開始位置から、長さが前記目標時間長さである信号を前記第２の目標信号として決定するために用いられる。
前記サイクルモジュール８１は、
前記現在レイテンシに基づいて前記第１の現在信号と前記第２の現在信号に対して整列処理を行い、
前記現在サンプリングレートに対応する誤差に基づいて、整列された前記第１の現在信号において第１の目標信号を決定し、整列された前記第２の現在信号において第２の目標信号を決定するために用いられる第２の決定ユニット８１５を含む。
選択的に、前記第２の決定ユニット８１５は具体的には、
整列された前記第１の現在信号において開始点整列位置を決定し、前記開始点整列位置、前記サンプリングレートに対応する誤差に基づいて第１の目標信号を決定し、
前記サンプリングレートに対応する誤差に基づいて目標時間長さを決定し、前記第２の現在信号の開始位置から、長さが前記目標時間長さである信号を前記第２の目標信号として決定するために用いられる。
選択的に、前記決定モジュール８２は具体的には、
現在サンプリングレートのそれぞれに対応する前記現在レイテンシに対して累積処理を行い、前記録音信号と前記基準信号との間の目標レイテンシを得るために用いられる。
前記サイクルモジュール８１は、処理後の第１の現在信号と処理後の第２の現在信号に基づいて現在レイテンシを決定した後、さらに、
前記プリセットサンプリングレートのそれぞれを前記現在サンプリングレートとして決定する場合、現在サンプリングレートのそれぞれに対応する前記現在レイテンシに基づいて、前記録音信号と前記基準信号との間の目標レイテンシを決定する前記ステップを実行し、
前記プリセットサンプリングレートのそれぞれを前記現在サンプリングレートとして決定しない場合、前記現在レイテンシに基づいて、前記第１の現在信号と前記第２の現在信号において第１の目標信号と第２の目標信号をそれぞれ決定する前記ステップを実行するために用いられる。
本出願の実施例に基づいて、本出願はさらに電子機器及び可読記憶媒体を提供する。
図１０に示すように、本開示の実施例の電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことが意図される。電子機器は、さらに、パーソナルデジタルプロセシング、携帯電話、スマートフォン、ウェアラブル機器、及び他の同様のコンピューティング装置など、様々な形態のモバイル装置を表すことができる。本明細書に示された部材、それらの接続及び関係、並びにそれらの機能は、単なる例であり、本明細書に記載及び／又は要求される本出願の実現を限定することを意図していない。
図１０に示すように、該電子機器は、１つ又は複数のプロセッサ１００１と、メモリ１００２と、各部材を接続するための、高速インタフェース及び低速インタフェースを含むインタフェースとを含む。各部材は、異なるバスを介して互に接続され、共通のマザーボード上に実装されてもよく、必要に応じて他の形態で実装されてもよい。プロセッサは、外部入力／出力装置（インタフェースに結合された表示機器）上にＧＵＩのグラフィック情報を表示するために、メモリ内又はメモリ上に記憶されている命令を含む、電子機器内で実行される命令を処理することができる。他の実施形態では、必要に応じて、複数のプロセッサ及び／又は複数のバスを複数のメモリとともに使用してもよい。同様に、複数の電子機器を接続してもよく、各機器により一部の必要な操作（例えば、サーバアレイ、ブレードサーバセット、又はマルチプロセッサシステムなどとする）が提供される。図１０では１つのプロセッサ１００１を例に挙げる。
メモリ１００２は、本出願にて提供される非一時的なコンピュータ可読記憶媒体である。ここで、前記メモリには、少なくとも１つのプロセッサに本出願にて提供される信号間レイテンシの決定方法を実行させるために、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されている。本出願の非一時的なコンピュータ可読記憶媒体は、本出願にて提供される信号間レイテンシの決定方法をコンピュータに実行させるためのコンピュータ命令を記憶する。
非一時的なコンピュータ可読記憶媒体として、メモリ１００２は、本出願の実施例における信号間レイテンシの決定方法に対応するプログラム命令／モジュール（例えば、図８に示されるサイクルモジュール８１及び決定モジュール８２）などの非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能プログラム、及びモジュールを記憶するために用いることができる。プロセッサ１００１は、メモリ１００２に記憶されている非一時的なソフトウェアプログラム、命令、及びモジュールを実行することにより、様々な機能適用及びデータ処理を実行し、すなわち、上記した方法の実施例における信号間レイテンシの決定方法を実現する。
メモリ１００２は、プログラム記憶領域及びデータ記憶領域を含んでもよく、ここで、プログラム記憶領域は、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶することができ、データ記憶領域は、電子機器の使用に応じて作成されたデータなどを記憶することができる。また、メモリ１００２は、高速ランダムアクセスメモリを含んでもよく、さらに、少なくとも１つの磁気ディスクストレージデバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステートストレージデバイスなどの非一時的なメモリを含んでもよい。いくつかの実施例では、メモリ１００２は選択的に、プロセッサ１００１に対して遠隔に設置されるメモリを含み、これらの遠隔メモリは、ネットワーク経由で電子機器に接続されることができる。上記したネットワークの例には、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びそれらの組み合わせが含まれるが、これらに限定されるものではない。
電子機器は、入力装置１００３及び出力装置１００４をさらに含んでもよい。プロセッサ１００１、メモリ１００２、入力装置１００３及び出力装置１００４は、バス又は他の形態を介して接続されてもよいが、図１０ではバスを介して接続されることを例に挙げる。
入力装置１００３は入力された数字又は文字情報を受信し、電子機器のユーザ設定及び機能制御に関連するキー信号出力を生成することができ、例えばタッチスクリーン、キーパッド、マウス、トラックパッド、タッチパネル、ポインティングスティック、１つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置１００４は、表示機器、補助照明装置（例えば、ＬＥＤ）、触覚フィードバック装置（例えば、振動モータ）などを含んでもよい。該表示機器は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、プラズマディスプレイを含んでもよいが、これらに限定されるものではない。いくつかの実施形態では、表示機器はタッチスクリーンであってもよい。
ここで説明したシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実施されることができる。これらの実施形態は、専用又は汎用のプログラマブルプロセッサであり得、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、該記憶システム、該少なくとも１つの入力装置、及び該少なくとも１つの出力装置にデータ及び命令を送信することができる少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行及び／又は解釈され得る１つ以上のコンピュータプログラム内で実施されることを含んでもよい。
これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含み、高度プロセス及び／又はオブジェクト指向プログラミング言語、及び／又はアセンブリ／機械語でこれらのコンピュータプログラムを実行してもよい。本明細書で使用される用語の「機械可読媒体」及び「コンピュータ可読媒体」は、プログラマブルプロセッサに機械命令及び／又はデータを提供するための任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光学ディスク、メモリ、プログラマブル論理機器（ＰＬＤ））を指し、機械可読信号として機械命令を受け取る機械可読媒体を含む。用語の「機械可読信号」は、機械命令及び／又はデータをプログラマブルプロセッサに提供するために用いられる任意の信号を指す。
ユーザとの対話機能を提供するために、ここで説明されているシステムと技術は、コンピュータで実行されてもよく、該コンピュータは、ユーザに情報を表示する表示装置（例えばＣＲＴ（陰極線管）やＬＣＤ（液晶ディスプレイ）モニター）、及びキーボードやポインティング装置（例えばマウスやトラックボール）を有し、ユーザは、該キーボード及び該ポインティング装置を介してコンピュータに入力を行うことができる。他の種類の装置はさらにユーザとの対話機能を提供するために用いることができ、例えば、ユーザに提供するフィードバックは、任意の形態の感知フィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形態（声入力、音声入力又は触覚入力を含む）でユーザからの入力を受信することができる。
ここで説明するシステムと技術は、バックエンド部材（例えば、データサーバーとして）を含むコンピューティングシステム、又はミドルウェア部材（例えば、アプリケーションサーバー）を含むコンピューティングシステム、又はフロントエンド部材を含むコンピューティングシステム（例えば、グラフィックユーザインタフェース又はインターネットブラウザを有するユーザコンピュータであり、ユーザが該グラフィックユーザインタフェース又は該インターネットブラウザを介してここで説明するシステムと技術の実施形態と対話できる）、又はこのようなバックエンド部材、ミドルウェア部材、或いはフロントエンド部材の任意の組み合わせを含むコンピューティングシステム内で実施されてもよい。システムの部材は、任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によって互に接続されてもよい。通信ネットワークとしては、例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネットなどが挙げられる。
コンピュータシステムは、クライアント及びサーバを含んでもよい。クライアント及びサーバは、一般に、互に離れており、通常、通信ネットワークを介して対話する。クライアントとサーバの関係は、それぞれのコンピュータ上で実行され、互にクライアント－サーバ関係を有するコンピュータプログラムによって生成される。
図１１は本出願の第３の例示的な実施例に示される信号間レイテンシの決定方法のフローチャートである。
図１１に示すように、本出願にて提供される信号間レイテンシの決定方法は、ステップ１１０１～１１０３を含む。
ステップ１１０１において、プリセットサンプリングレートにおいて現在サンプリングレートを決定し、現在サンプリングレートに基づいて第１の現在信号と前記第２の現在信号との間の現在レイテンシを決定し、ここで、初期の第１の現在信号は録音信号であり、初期の第２の現在信号は基準信号である。
ここで、本出願にて提供される方法は、コンピューティング能力を有する電子機器、例えば、図１に示される電子機器１１によって実行されてもよい。
具体的には、電子機器１１は、オーディオ再生機能と録音機能を備え、例えば、電子機器１１にスピーカとマイクロフォンが同時に設けられており、オーディオ再生機能と録音機能をそれぞれ実現するために用いられる。電子機器は、具体的には、携帯電話、テレビ会議又は電話会議を行うために用いられる機器、スマートスピーカーなどの機器であってもよく、本実施例ではこれについて限定されない。
さらに、複数のレベルにあるプリセットサンプリングレートを予め設定してもよく、これらのプリセットサンプリングレートの値は同じではない。ここで、プリセットサンプリングレートにおいて現在サンプリングレートを決定するためのルールを予め設定してもよい。例えば、サンプリングレートの最小値を現在サンプリングレートとし、そして大きいサンプリングレートを現在サンプリングレートとする。
例えば、ステップ１１０１を初めて実行する時に、最小のプリセットサンプリングレートを現在サンプリングレートとし、ステップ１１０１を２回目に実行する時に、２番目に小さいプリセットサンプリングレートを現在サンプリングレートとし、以下同様である。
現在サンプリングレートごとに基づいて、現在信号を処理することができ、それにより、信号の長さを短くすることができ、ステップ１１０２を実行する時に、データ処理量を効果的に削減することができる。
実際に適用される時、ステップ１１０１を初めて実行する時に、第１の現在信号は録音信号であり、第２の現在信号は基準信号である。ステップ１１０１を再び実行する時に、以下のステップに基づいて第１の現在信号と第２の現在信号を決定する。
ステップ１１０２において、現在レイテンシに基づいて第１の現在信号に対応する新たな第１の現在信号を決定し、第２の現在信号に対応する新たな第２の現在信号を決定する。
実際に適用される時、現在レイテンシに基づいて第１の現在信号に対応する新たな第１の現在信号を決定し、第２の現在信号に対応する新たな第２の現在信号を決定するものとしてもよい。
ここで、決定された新たな第１の現在信号は、第１の現在信号の一部であり、新たな第２の現在信号は、第２の現在信号の一部である。新たな第１の現在信号及び新たな第２の現在信号において、録音信号と基準信号との整列位置が含まれ、このような方法により、元のデータにおける整列位置を含まない部分を除去することができ、それにより、データ処理量を効果的に削減することができる。
一実施形態では、現在レイテンシに基づいて、第１の現在信号と第２の現在信号において第１の目標信号と第２の目標信号をそれぞれ決定し、また第１の目標信号を新たな第１の現在信号とし、第２の目標信号を新たな第２の現在信号とする。そして、ステップ１１０１を実行し続ける。
ステップ１１０２の後、プリセットサンプリングレートのそれぞれが現在サンプリングレートとして決定されるまで、新たな第１の現在信号、新たな第２の現在信号に基づいてステップ１１０１を実行し続けることができる。
ステップ１１０３において、現在サンプリングレートのそれぞれに対応する現在レイテンシに基づいて、録音信号と基準信号との間の目標レイテンシを決定する。
ここで、上記したステップを繰り返すことにより、プリセットサンプリングレートのそれぞれを現在サンプリングレートとする場合、対応する現在レイテンシを決定することができる。最後に、毎回決定される最終のレイテンシに基づいて、正確な目標レイテンシを得ることができる。
具体的には、これらの現在レイテンシを累積して目標レイテンシを得ることができる。例えば、サイクルプロセスを３回実行し、初めて決定された現在レイテンシが５ｍｓであり、２回目に決定されたレイテンシが－１ｍｓであり、３回目に決定されたレイテンシが０．５ｍｓであると、これら３つの値を加算し、４．５ｍｓの目標レイテンシを得ることができる。基準信号が録音信号より４．５ｍｓ遅れていると考えられる。
録音信号と基準信号の間の目標レイテンシを決定した後、２つの信号に対して整列処理を行い、さらに、録音信号から基準信号を減算し、録音されたクリーンな信号を得てエコーキャンセルという目的を達成する。本実施例にて提供される方法では、レイテンシを決定するプロセスにおいてレイテンシを効率的かつ正確に決定することができるため、さらに録音された音声を効率的かつ正確に処理することができる。
上記に示された様々な形態のフローを使用して、ステップを並べ替え、追加、又は削除することができることが理解される。例えば、本開示に記載された各ステップは、並列に実行されても、順次実行されても、異なる順序で実行されてもよく、本出願に開示された技術的解決手段の所望の結果を実現できればよく、本明細書はここで限定しない。
上記した具体的な実施形態は、本出願の保護範囲を限定するものではない。当業者は、設計要件及び他の要因に応じて、様々な補正、組み合わせ、サブコンビネーション、及び置換を行うことができることを理解すべきである。本出願の趣旨と原則の範囲内で行われた変更、同等の置換、及び改善などは、いずれも本出願の保護範囲に含まれるべきである。

Claims (17)

  1. プリセットサンプリングレートにおいて現在サンプリングレートを決定し、前記現在サンプリングレートに基づいて第１の現在信号と第２の現在信号を処理するステップと、処理後の第１の現在信号と処理後の第２の現在信号に基づいて現在レイテンシを決定するステップと、前記現在レイテンシに基づいて、前記第１の現在信号と前記第２の現在信号において第１の目標信号と第２の目標信号をそれぞれ決定するステップと、前記第１の目標信号を前記第１の現在信号として決定し、前記第２の目標信号を前記第２の現在信号として決定するステップと、をプリセットサンプリングレートのそれぞれが現在サンプリングレートとして決定されるまで繰り返し、ここで、初期の第１の現在信号は録音信号であり、初期の第２の現在信号は基準信号であり、
    現在サンプリングレートのそれぞれに対応する前記現在レイテンシに基づいて、前記録音信号と前記基準信号との間の目標レイテンシを決定することと、を含み、
    前記現在レイテンシに基づいて、前記第１の現在信号と前記第２の現在信号において第１の目標信号と第２の目標信号をそれぞれ決定することは、
    前記現在レイテンシ、前記現在サンプリングレートに対応する誤差に基づいて前記第１の現在信号において第１の目標信号を決定し、前記第２の現在信号において第２の目標信号を決定することを含み、または、
    前記現在レイテンシに基づいて、前記第１の現在信号と前記第２の現在信号において第１の目標信号と第２の目標信号をそれぞれ決定することは、
    前記現在レイテンシに基づいて前記第１の現在信号と前記第２の現在信号に対して整列処理を行うことと、
    前記現在サンプリングレートに対応する誤差に基づいて、整列された前記第１の現在信号において第１の目標信号を決定し、整列された前記第２の現在信号において第２の目標信号を決定することと、を含む信号間レイテンシの決定方法。
  2. プリセットサンプリングレートにおいて現在サンプリングレートを決定することは、
    前記プリセットサンプリングレートにおいて、前記現在サンプリングレートとされていない最小のプリセットサンプリングレートを前記現在サンプリングレートとすることを含む請求項１に記載の方法。
  3. 前記現在サンプリングレートに基づいて第１の現在信号と第２の現在信号を処理することは、
    前記現在サンプリングレートを用いて前記第１の現在信号に対してダウンサンプリング処理を行うことと、
    前記現在サンプリングレートを用いて前記第２の現在信号に対してダウンサンプリング処理を行うことと、を含む請求項１に記載の方法。
  4. 処理後の第１の現在信号と処理後の第２の現在信号に基づいて現在レイテンシを決定することは、
    処理後の前記第１の現在信号と処理後の前記第２の現在信号をフレームごとに比較し、また比較結果に基づいて前記現在レイテンシを決定することを含む請求項１に記載の方法。
  5. 前記現在レイテンシが正確である場合、前記現在レイテンシに基づいて、前記第１の現在信号と前記第２の現在信号において第１の目標信号と第２の目標信号をそれぞれ決定する前記ステップを実行することをさらに含む請求項４に記載の方法。
  6. 前記現在レイテンシが不正確である場合、処理後の前記第１の現在信号と処理後の前記第２の現在信号をフレームごとに比較し、また比較結果に基づいて前記現在レイテンシを決定することを実行し続けることをさらに含む請求項４に記載の方法。
  7. 前記第１の現在信号において第１の目標信号を決定することは、
    前記現在レイテンシに基づいて、前記第１の現在信号において第１の位置を決定し、前記第１の位置、前記現在サンプリングレートに対応する誤差に基づいて第１の目標信号を決定することを含み、
    前記第２の現在信号において第２の目標信号を決定することは、
    前記サンプリングレートに対応する誤差に基づいて目標時間長さを決定し、前記第２の現在信号の開始位置から、長さが前記目標時間長さである信号を前記第２の目標信号として決定することを含む請求項１に記載の方法。
  8. 整列された前記第１の現在信号において第１の目標信号を決定することは、
    整列された前記第１の現在信号において開始点整列位置を決定し、前記開始点整列位置、前記サンプリングレートに対応する誤差に基づいて第１の目標信号を決定することを含み、
    整列された前記第２の現在信号において第２の目標信号を決定することは、
    前記サンプリングレートに対応する誤差に基づいて目標時間長さを決定し、前記第２の現在信号の開始位置から、長さが前記目標時間長さである信号を前記第２の目標信号として決定することを含む請求項１に記載の方法。
  9. 現在サンプリングレートのそれぞれに対応する前記現在レイテンシに基づいて、前記録音信号と前記基準信号との間の目標レイテンシを決定することは、
    現在サンプリングレートのそれぞれに対応する前記現在レイテンシに対して累積処理を行い、前記録音信号と前記基準信号との間の目標レイテンシを得ることを含む請求項１から６のいずれか一項に記載の方法。
  10. 処理後の第１の現在信号と処理後の第２の現在信号に基づいて現在レイテンシを決定した後、さらに、
    前記プリセットサンプリングレートのそれぞれを前記現在サンプリングレートとして決定する場合、現在サンプリングレートのそれぞれに対応する前記現在レイテンシに基づいて、前記録音信号と前記基準信号との間の目標レイテンシを決定することを実行することと、
    前記プリセットサンプリングレートのそれぞれを前記現在サンプリングレートとして決定しない場合、前記現在レイテンシに基づいて、前記第１の現在信号と前記第２の現在信号において第１の目標信号と第２の目標信号をそれぞれ決定する前記ステップを実行することと、を含む請求項１から６のいずれか一項に記載の方法。
  11. サイクルモジュールであって、プリセットサンプリングレートにおいて現在サンプリングレートを決定し、前記現在サンプリングレートに基づいて第１の現在信号と第２の現在信号を処理するステップと、処理後の第１の現在信号と処理後の第２の現在信号に基づいて現在レイテンシを決定するステップと、前記現在レイテンシに基づいて、前記第１の現在信号と前記第２の現在信号において第１の目標信号と第２の目標信号をそれぞれ決定するステップと、前記第１の目標信号を前記第１の現在信号として決定し、前記第２の目標信号を前記第２の現在信号として決定するステップと、をプリセットサンプリングレートのそれぞれが現在サンプリングレートとして決定されるまで繰り返すために用いられ、ここで、初期の第１の現在信号は録音信号であり、初期の第２の現在信号は基準信号であるサイクルモジュールと、
    現在サンプリングレートのそれぞれに対応する前記現在レイテンシに基づいて、前記録音信号と前記基準信号との間の目標レイテンシを決定するために用いられる決定モジュールと、を含み、
    前記サイクルモジュールは、
    前記現在レイテンシ、前記現在サンプリングレートに対応する誤差に基づいて前記第１の現在信号において第１の目標信号を決定し、前記第２の現在信号において第２の目標信号を決定するために用いられる第１の決定ユニットを含み、または、
    前記サイクルモジュールは、
    前記現在レイテンシに基づいて前記第１の現在信号と前記第２の現在信号に対して整列処理を行い、
    前記現在サンプリングレートに対応する誤差に基づいて、整列された前記第１の現在信号において第１の目標信号を決定し、整列された前記第２の現在信号において第２の目標信号を決定するために用いられる第２の決定ユニットを含む信号間レイテンシの決定装置。
  12. 前記サイクルモジュールは、
    前記プリセットサンプリングレートにおいて、前記現在サンプリングレートとされていない最小のプリセットサンプリングレートを前記現在サンプリングレートとするために用いられるサンプリングレート決定ユニットを含む請求項１１に記載の装置。
  13. 前記サイクルモジュールは、
    処理後の前記第１の現在信号と処理後の前記第２の現在信号をフレームごとに比較し、また比較結果に基づいて前記現在レイテンシを決定するために用いられる現在レイテンシ決定ユニットを含む請求項１１に記載の装置。
  14. 前記サイクルモジュールは、処理後の第１の現在信号と処理後の第２の現在信号に基づいて現在レイテンシを決定した後、さらに、
    前記プリセットサンプリングレートのそれぞれを前記現在サンプリングレートとして決定する場合、現在サンプリングレートのそれぞれに対応する前記現在レイテンシに基づいて、前記録音信号と前記基準信号との間の目標レイテンシを決定することを実行し、
    前記プリセットサンプリングレートのそれぞれを前記現在サンプリングレートとして決定しない場合、前記現在レイテンシに基づいて、前記第１の現在信号と前記第２の現在信号において第１の目標信号と第２の目標信号をそれぞれ決定する前記ステップを実行するために用いられる請求項１１から１３のいずれか一項に記載の装置。
  15. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに通信接続されるメモリと、を含み、
    前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令は、請求項１から１０のいずれか一項に記載の方法を前記少なくとも１つのプロセッサに実行させるように、前記少なくとも１つのプロセッサによって実行される電子機器。
  16. コンピュータ命令が記憶されている非一時的なコンピュータ可読記憶媒体であって、
    前記コンピュータ命令はコンピュータに請求項１から１０のいずれか一項に記載の方法を実行させるために用いられる非一時的なコンピュータ可読記憶媒体。
  17. コンピュータプログラムであって、前記コンピュータプログラムがコンピュータで実行されると、前記コンピュータに請求項１から１０のいずれか一項に記載の方法を実行させるコンピュータプログラム。
JP2021029967A 2020-05-21 2021-02-26 信号間レイテンシの決定方法、装置、機器、及び記憶媒体 Active JP7261250B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010437931.3 2020-05-21
CN202010437931.3A CN111613238B (zh) 2020-05-21 2020-05-21 信号之间延时的确定方法、装置、设备以及存储介质

Publications (2)

Publication Number Publication Date
JP2021100261A JP2021100261A (ja) 2021-07-01
JP7261250B2 true JP7261250B2 (ja) 2023-04-19

Family

ID=72203545

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021029967A Active JP7261250B2 (ja) 2020-05-21 2021-02-26 信号間レイテンシの決定方法、装置、機器、及び記憶媒体

Country Status (4)

Country Link
US (1) US11462227B2 (ja)
EP (1) EP3839948A1 (ja)
JP (1) JP7261250B2 (ja)
CN (1) CN111613238B (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030174847A1 (en) 1998-07-31 2003-09-18 Circuit Research Labs, Inc. Multi-state echo suppressor
JP2007214976A (ja) 2006-02-10 2007-08-23 Sharp Corp エコーキャンセル装置、テレビ電話端末、及びエコーキャンセル方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04100424A (ja) * 1990-08-20 1992-04-02 Nippon Telegr & Teleph Corp <Ntt> 遅延時間測定装置および遅延時間測定方法
US9142221B2 (en) * 2008-04-07 2015-09-22 Cambridge Silicon Radio Limited Noise reduction
GB2515593B (en) * 2013-12-23 2015-12-23 Imagination Tech Ltd Acoustic echo suppression
CN109102821B (zh) * 2018-09-10 2021-05-25 思必驰科技股份有限公司 时延估计方法、系统、存储介质及电子设备
CN113903351A (zh) * 2019-03-18 2022-01-07 百度在线网络技术（北京）有限公司 回声消除方法、装置、设备及存储介质
CN111009254B (zh) * 2019-12-13 2022-06-10 恒玄科技(上海)股份有限公司 音频回声滤波系统及主动降噪系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030174847A1 (en) 1998-07-31 2003-09-18 Circuit Research Labs, Inc. Multi-state echo suppressor
JP2007214976A (ja) 2006-02-10 2007-08-23 Sharp Corp エコーキャンセル装置、テレビ電話端末、及びエコーキャンセル方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Enhancing Echo Cancellation via Estimation of Delay，IEEE TRANSACTIONS ON SIGNAL PROCESSING，2005年11月，VOL.53, NO.11，p.4159-4168

Also Published As

Publication number Publication date
CN111613238A (zh) 2020-09-01
EP3839948A1 (en) 2021-06-23
US11462227B2 (en) 2022-10-04
US20210366503A1 (en) 2021-11-25
JP2021100261A (ja) 2021-07-01
CN111613238B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
US9916840B1 (en) Delay estimation for acoustic echo cancellation
US11929097B2 (en) Method and apparatus of editing multimedia file, electronic device, and storage medium
CN111177453B (zh) 控制音频播放的方法、装置、设备及计算机可读存储介质
WO2021169459A1 (zh) 短视频的生成方法、平台、电子设备及存储介质
JP7281521B2 (ja) 音声制御方法及び音声制御装置、電子機器並びに記憶媒体
CN113347489B (zh) 视频片段检测方法、装置、设备及存储介质
JP2021128327A (ja) 口形特徴予測方法、装置及び電子機器
KR102487794B1 (ko) 비디오 중의 핫스팟 세그먼트를 추출하는 방법, 장치, 전자 기기, 저장 매체, 및 컴퓨터 프로그램 제품
JP2022006159A (ja) 情報を処理するための方法及び装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム
CN111831383A (zh) 窗口拼接方法、装置、设备以及存储介质
CN112887761A (zh) 视频播放方法、装置、服务器及存储介质
JP7261250B2 (ja) 信号間レイテンシの決定方法、装置、機器、及び記憶媒体
JP7331044B2 (ja) 情報処理方法、装置、システム、電子機器、記憶媒体およびコンピュータプログラム
KR20210038278A (ko) 음성 제어 방법, 장치, 전자 기기 및 판독 가능 저장 매체
US11646050B2 (en) Method and apparatus for extracting video clip
CN106341564B (zh) 一种信号数据的处理方法、装置及智能会议设备
WO2020024949A1 (zh) 确定时间戳的方法和装置
JPWO2006013660A1 (ja) 再生信号処理装置
JP2023070068A (ja) 動画結合方法、装置、電子機器および記憶媒体
JP7300478B2 (ja) 負の遅延時間の検出方法、装置、電子機器及び記憶媒体
EP3891962B1 (en) Synchronized jitter buffers to handle codec switches
US11301442B2 (en) Method and system for using array level time buckets to efficiently calculate top contributors using relevant performance metric
JP7162040B2 (ja) エコー遅延検出方法、装置、プログラム及び非一時的コンピュータ読み取り可能な記憶媒体
US11449558B2 (en) Relationship network generation method and device, electronic apparatus, and storage medium
TWI713362B (zh) 多媒體內容播放裝置與多媒體內容播放方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210226

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20211101

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220913

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220921

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230407

R150 Certificate of patent or registration of utility model

Ref document number: 7261250

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150