JP2019023742A - オーディオ信号内の雑音を推定するための方法、雑音推定器、オーディオ符号化器、オーディオ復号器、およびオーディオ信号を送信するためのシステム - Google Patents

オーディオ信号内の雑音を推定するための方法、雑音推定器、オーディオ符号化器、オーディオ復号器、およびオーディオ信号を送信するためのシステム Download PDF

Info

Publication number
JP2019023742A
JP2019023742A JP2018174338A JP2018174338A JP2019023742A JP 2019023742 A JP2019023742 A JP 2019023742A JP 2018174338 A JP2018174338 A JP 2018174338A JP 2018174338 A JP2018174338 A JP 2018174338A JP 2019023742 A JP2019023742 A JP 2019023742A
Authority
JP
Japan
Prior art keywords
audio signal
noise
energy value
audio
band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018174338A
Other languages
English (en)
Other versions
JP6730391B2 (ja
Inventor
ベンジャミン・シューベルト
schubert Benjamin
マヌエル・ヤンダー
Jander Manuel
アンソニー・ロムバート
Lombard Anthony
マーティン・ディエッツ
Dietz Martin
マルクス・ムルトゥルス
Multrus Markus
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of JP2019023742A publication Critical patent/JP2019023742A/ja
Priority to JP2020113803A priority Critical patent/JP6987929B2/ja
Application granted granted Critical
Publication of JP6730391B2 publication Critical patent/JP6730391B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26Pre-filtering or post-filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G10L19/025Detection of transients or attacks for time/frequency resolution switching
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L21/0232Processing in the frequency domain
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/012Comfort noise or silence coding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise

Abstract

【課題】固定小数点プロセッサを使用してオーディオ信号内の雑音を効率的に推定する手法を提供する。
【解決手段】オーディオ信号102内の雑音を推定するため、オーディオ信号102のエネルギー値174を判定しS100、判定したエネルギー値を対数領域へと変換するS102。変換したエネルギー値178に基づいて、オーディオ信号102の雑音レベルを推定するS104。
【選択図】図3

Description

本発明は、オーディオ信号の処理の分野に関し、より詳細には、オーディオ信号、たとえば、符号化されるオーディオ信号、または、復号されたオーディオ信号内の雑音を推定する手法に関する。実施形態は、オーディオ信号内の雑音を推定する方法、雑音推定器、オーディオ符号化器、オーディオ復号器、およびオーディオ信号を送信するためのシステムを説明する。
オーディオ信号の処理の分野、たとえば、オーディオ信号の符号化または復号されたオーディオ信号の処理において、雑音を推定することが所望される状況がある。たとえば、参照により本明細書に組み込まれる国際出願EP2013/077525号明細書および国際出願EP2013/077527号明細書には、周波数領域において背景雑音のスペクトルを推定するために、雑音推定器、たとえば、最小値統計雑音推定器を使用することが記載されている。このアルゴリズムへと供給される信号は、たとえば、高速フーリエ変換(FFT)または任意の他の適切なフィルタバンクによって、ブロックごとに周波数領域へと変換されている。この枠組みは通常、コーデックの枠組みと同一である。すなわち、コーデック内にすでに存在する変換を再使用することができ、たとえば、EVS(拡張音声サービス)符号化器において、前処理のためにFFTが使用される。雑音推定を目的として、FFTのパワースペクトルが計算される。スペクトルは、心理音響的に動機付けられた帯域にグループ化され、帯域内のパワースペクトルビンは、帯域ごとのエネルギー値を形成するように蓄積される。最終的に、オーディオ信号の心理音響的処理に使用されることも多いこの手法によって、エネルギー値のセットが獲得される。各帯域は、それ自体の雑音推定アルゴリズムを有する。すなわち、各フレームにおいて、経時的な信号を分析し、任意の所与のフレームにおける各帯域の推定雑音レベルを与える雑音推定アルゴリズムを使用して、そのフレームのエネルギー値が処理される。
高品質発話およびオーディオ信号に使用されるサンプル分解能は16ビットであり得、すなわち、信号は、96dBの信号対雑音比(SNR)を有する。パワースペクトルを計算するということは、信号を周波数領域へと変換し、各周波数ビンの2乗を計算することを意味する。2乗関数に起因して、これは32ビットのダイナミックレンジを必要とする。複数のパワースペクトルビンをまとめて帯域にするには、帯域内のエネルギー分布が実際には分からないため、ダイナミックレンジのためにさらなるヘッドルームが必要である。結果として、プロセッサ上で雑音推定器を作動させるためには、32ビットを超える、一般的には約40ビットのダイナミックレンジがサポートされる必要がある。
バッテリのようなエネルギー貯蔵ユニットから受け取られるエネルギーに基づいて動作する、オーディオ信号を処理するデバイス、たとえば、携帯電話のような携帯機器においては、エネルギーを維持するために、オーディオ信号の電力効率のよい処理が、バッテリ寿命のために必須である。既知の手法によれば、オーディオ信号の処理は、一般的に、16または32ビット固定小数点フォーマットのデータの処理をサポートする固定小数点プロセッサによって実施される。16ビットデータを処理することによって処理の最低の複雑度が達成され、一方、32ビットデータの処理は、すでにいくらかのオーバーヘッドを必要とする。40ビットのダイナミックレンジによるデータの処理は、データを2つ、すなわち、仮数および指数に分割することを必要とし、これらの両方が、データを修正するときに対処されなければならず、その結果として、計算がさらにより複雑になり、ストレージ要求がさらにより高くなる。
国際出願EP2013/077525号明細書 国際出願EP2013/077527号明細書
R.Martin「Noise Power Spectral Density Estimation Based on Optimal Smoothing and Minimum Statistics」(2001) T.GerkmannおよびR.C.Hendriks「Unbiased MMSE−based noise power estimation with low complexity and low tracking delay」(2012) L.Lin、W.Holmes、およびE.Ambikairajah「Adaptive noise estimation algorithm for speech enhancement」(2003)
上述した従来技術から開始して、本発明の目的は、不要な計算オーバーヘッドを回避するために固定小数点プロセッサを使用してオーディオ信号内の雑音を効率的に推定するための手法を提供することである。
この目的は、独立請求項において定義されているものとしての主題によって達成される。
本発明は、オーディオ信号内の雑音を推定するための方法であって、オーディオ信号のエネルギー値を判定することと、エネルギー値を対数領域へと変換することと、変換したエネルギー値に基づいてオーディオ信号の雑音レベルを推定することとを含む、方法を提供する。
本発明は、雑音推定器であって、オーディオ信号のエネルギー値を判定するように構成されている検出器と、エネルギー値を対数領域へと変換するように構成されている変換器と、変換したエネルギー値に基づいてオーディオ信号の雑音レベルを推定するように構成されている推定器とを備える、雑音推定器を提供する。
本発明は、本発明の方法に従って動作するように構成されている雑音推定器を提供する。
実施形態によれば、対数領域は、log2領域を含む。
実施形態によれば、雑音レベルを推定することは、対数領域において直接的に、変換しれたエネルギー値に基づいて所定の雑音推定アルゴリズムを実施することを含む。雑音推定は、R.Martin「Noise Power Spectral Density Estimation Based on Optimal Smoothing and Minimum Statistics」(2001)によって記載されている最小値統計アルゴリズムに基づいて実行することができる。他の実施形態において、T.GerkmannおよびR.C.Hendriks「Unbiased MMSE−based noise power estimation with low complexity and low tracking delay」(2012)によって記載されているMMSEベースの雑音推定器、または、L.Lin、W.Holmes、およびE.Ambikairajah「Adaptive noise estimation algorithm for speech enhancement」(2003)によって記載されているアルゴリズムのような、代替的な雑音推定アルゴリズムが使用されてもよい。
実施形態によれば、エネルギー値を判定することは、オーディオ信号を周波数領域へと変換することによってオーディオ信号のパワースペクトルを得ることと、パワースペクトルを心理音響的に動機付けられた帯域にグループ化することと、各帯域のエネルギー値を形成するためにパワースペクトルビンを帯域内に累積することとを含み、各帯域のエネルギー値は対数領域へと変換され、対応する変換されたエネルギー値に基づいて、各帯域の雑音レベルは推定される。
実施形態によれば、オーディオ信号は複数のフレームを含み、各フレームについて、エネルギー値が判定されて対数領域へと変換され、変換されたエネルギー値に基づいて各帯域の雑音レベルは推定される。
実施形態によれば、エネルギー値は以下のように対数領域へと変換される。
Figure 2019023742
Figure 2019023742
はfloor(x)であり、En_logはlog2領域における帯域nのエネルギー値であり、En_linは線形領域における帯域nのエネルギー値であり、Nは分解能/精度である。
実施形態によれば、変換されたエネルギー値に基づいて雑音レベルを推定することは、対数データをもたらし、方法は、さらなる処理のために対数データを直接使用すること、または、さらなる処理のために対数データを線形領域に変換し戻すことをさらに含む。
実施形態によれば、対数データは、送信が対数領域で行われる場合には送信データに直接変換され、対数データを送信データへと直接的に変換するには、ルックアップテーブルまたは近似とともにシフト関数、たとえば、
Figure 2019023742
を使用する。
本発明は、コンピュータ上で実行されると、本発明の方法を実行する命令を記憶しているコンピュータ可読媒体を備える非一時的コンピュータプログラム製品を提供する。
本発明は、本発明の雑音推定器を備えるオーディオ符号化器を提供する。
本発明は、本発明の雑音推定器を備えるオーディオ復号器を提供する。
本発明は、オーディオ信号を送信するためのシステムであって、受信オーディオ信号に基づいてコード化オーディオ信号を生成するように構成されているオーディオ符号化器と、コード化オーディオ信号を受信し、コード化オーディオ信号を復号し、復号オーディオ信号を出力するように構成されているオーディオ復号器とを備え、オーディオ符号化器およびオーディオ復号器のうちの少なくとも一方は、本発明の雑音推定器を備える、システムを提供する。
本発明は、雑音推定アルゴリズムが線形エネルギーデータに対して作動する従来の手法とは対照的に、オーディオ/発話材料内の雑音レベルを推定することを目的として、対数入力データに基づいてもアルゴリズムを作動させることが可能であるという本発明者らの知見に基づく。雑音推定に対して、データ精度に対する要求はそれほど高くなく、たとえば、両方とも参照により本明細書に組み込まれる国際出願EP2013/077525号明細書または国際出願EP2013/077527号明細書に記載されているような快適雑音生成のための推定値を使用するとき、帯域ごとのほぼ正確な雑音レベルを推定すれば十分であり、すなわち、雑音レベルが、たとえば、0.1dBだけより高いと推定されるか否かは、最終的な信号において注目されるものではないことが分かっている。したがって、データのダイナミックレンジをカバーするためには40ビットが必要とされ得るが、従来の手法において、中/高レベル信号のためのデータ精度は、実際に必要であるよりもはるかに高い。これらの知見に基づいて、実施形態によれば、本発明の重要な要素は、帯域ごとのエネルギー値を対数領域、好ましくはlog2領域へと変換し、たとえば、最小値統計アルゴリズムまたは任意の他の適切なアルゴリズムに基づいて、対数領域において直接的に雑音推定を実行することであり、それによって、たとえば、16ビットにおいてエネルギー値を表現するこがを可能になり、その結果として、たとえば、固定小数点プロセッサを使用して、より効率的な処理が可能になる。
以下において、本発明の実施形態を、添付の図面を参照しながら説明する。
符号化されるべきオーディオ信号または復号オーディオ信号内の雑音を推定するための本発明の手法を実施する、オーディオ信号を送信するためのシステムの単純化したブロック図である。 オーディオ信号符号化器および/またはオーディオ信号復号器において使用することができる一実施形態による雑音推定器の単純化したブロック図である。 一実施形態によるオーディオ信号内の雑音を推定するための本発明の手法を示す流れ図である。
以下において、本発明の手法の実施形態をさらに詳細に説明する。添付の図面において、同一または類似の機能を有する要素は、同じ参照符号によって示されることに留意されたい。
図1は、符号化器側および/または復号器側において本発明の手法を実施する、オーディオ信号を送信するためのシステムの単純化したブロック図を示す。図1のシステムは、入力102においてオーディオ信号104を受信する符号化器100を備える。符号化器は、オーディオ信号104を受信し、符号化器の出力108において提供される符号化オーディオ信号を生成する符号化プロセッサ106を含む。符号化プロセッサは、オーディオ信号の連続的なオーディオフレームを処理し、符号化されるべきオーディオ信号104内の雑音を推定するための本発明の手法を実施するようにプログラムまたは構築することができる。しかしながら、他の実施形態において、符号化器は、送信システムの一部分である必要はなく、符号化器は、符号化オーディオ信号を生成する独立型デバイスであってもよく、または、オーディオ信号送信機の一部分であってもよい。一実施形態によれば、符号化器100は、112において示されているように、オーディオ信号の無線送信を可能にするためのアンテナ110を備えることができる。他の実施形態において、符号化器100は、たとえば、参照符号114において示されているように、有線接続回線を使用して、出力108において提供される符号化オーディオ信号を出力してもよい。
図1のシステムは、復号器150をさらに備え、復号器150は、たとえば、有線回線114またはアンテナ154を介して、復号器150によって処理されるべき符号化オーディオ信号を受信する入力152を有する。復号器150は、符号化信号に対して動作し、出力160において復号オーディオ信号158を提供する復号プロセッサ156を備える。復号プロセッサは、復号オーディオ信号104内の雑音を推定するための本発明の手法を実施するための処理のためにプログラムまたは構築することができる。他の実施形態においては、復号器は、送信システムの一部分である必要はなく、むしろ、復号器は、符号化オーディオ信号を復号するための独立型デバイスであってもよく、または、オーディオ信号受信機の一部分であってもよい。
図2は、一実施形態による雑音推定器170の単純化したブロック図を示す。雑音推定器170は、図1に示すオーディオ信号符号化器および/またはオーディオ信号復号器において使用することができる。雑音推定器170は、オーディオ信号102のエネルギー値174を判定するための検出器172と、エネルギー値174を対数領域(変換したエネルギー値178参照)へと変換するための変換器176と、変換したエネルギー値178に基づいてオーディオ信号102の雑音レベル182を推定するための推定器180とを含む。推定器170は、共通のプロセッサによって実装されてもよく、または、検出器172、変換器176および推定器180の機能を実施するようにプログラムまたは構築されている複数のプロセッサによって実装されてもよい。
以下において、図1の符号化プロセッサ106および復号プロセッサ156のうちの少なくとも一方において、または、図2の推定器170によって実施することができる本発明の手法の実施形態をさらに詳細に説明する。
図3は、オーディオ信号内の雑音を推定するための本発明の手法の流れ図を示す。オーディオ信号が受信され、第1のステップS100において、オーディオ信号のエネルギー値174が判定される。判定されたエネルギー値はその後、ステップS102において、対数領域へと変換される。変換されたエネルギー値178に基づいて、ステップS104において、雑音が推定される。実施形態によれば、ステップS106において、対数データ182によって表される推定雑音データのさらなる処理が行われるのは、対数領域であるべきか否かについて判定される。対数領域におけるさらなる処理が所望される(ステップS106において、はい)場合、推定雑音を表す対数データがステップS108において処理され、たとえば、送信が対数領域においても行われる場合に、対数データが送信パラメータへと変換される。そうでない場合(ステップS106において、いいえ)ステップ110において対数データ182が線形データへと変換し戻され、線形データは、ステップS112において処理される。
実施形態によれば、ステップS100において、オーディオ信号のエネルギー値を判定することは、従来の手法におけるように行われてもよい。オーディオ信号に適用されているFFTのパワースペクトルが計算され、心理音響的に動機付けられた帯域へとグループ化される。帯域内のパワースペクトルビンは、エネルギー値のセットが得られるように帯域ごとのエネルギー値を形成するように蓄積される。他の実施形態において、パワースペクトルを、MDCT(修正離散コサイン変換)、CLDFB(複素低遅延フィルタバンク)、または、スペクトルの種々の部分をカバーするいくつかの変換の組み合わせのような、任意の適切なスペクトル変換に基づいて計算してもよい。ステップS100において、各帯域のエネルギー値174が判定され、ステップS102において、各帯域のエネルギー値174はステップS102において対数領域へと変換され、実施形態によれば、log2領域へと変換される。帯域エネルギーは、以下のようにlog2領域へと変換することができる。
Figure 2019023742
Figure 2019023742
はfloor(x)であり、En_logはlog2領域における帯域nのエネルギー値であり、Rn_linは線形領域における帯域nのエネルギー値であり、Nは分解能/精度である。
実施形態によれば、(int)log2関数が通常、固定小数点数における先行ゼロの数を判定する「norm」関数を使用する固定小数点プロセッサ上で、非常に迅速に、たとえば、1サイクルで計算することができるという点において有利である、log2領域への変換が実施される。時折、上記の式において定数Nによって表現される、(int)log2領域よりも高い精度が必要とされる。このわずかにより高い精度は、norm命令または近似の後に最上位ビットを有する単純なルックアップテーブルによって達成することができる。これは、より低い精度が許容可能であるときに低複雑度対数計算を達成するための一般的な手法である。上記の式において、変換されたエネルギーが正のままであることを保証するために、log2関数の内部に定数「1」が追加されている。実施形態によれば、これは、雑音推定器が雑音エネルギーの統計モデルに依拠する場合に重要であり得る。それは、負の値に対して雑音推定を実施することはそのようなモデルに違反することになり、結果として、推定器の予期せぬ挙動をもたらすことになるためである。
一実施形態によれば、上記の式においてNは6に設定され、これは、2=64ビットのダイナミックレンジと等価である。これは、上述した40ビットのダイナミックレンジよりも大きく、それゆえ、十分である。このデータを処理するために、目標は16ビットデータを使用することであり、9ビットが仮数のために残され、1ビットが符号のために残される。そのようなフォーマットは、一般的に「6Q9」フォーマットとして示される。代替的に、正の値しか考慮されなくてもよいため、符号ビットを回避して仮数に使用することができ、合計10ビットが仮数のために残される。これは「6Q10」フォーマットとして参照される。
最小値統計アルゴリズムの詳細な記載は、R.Martin「Noise Power Spectral Density Estimation Based on Optimal Smoothing and Minimum Statistics」(2001)に見出すことができる。このアルゴリズムは基本的に、一般的に数秒にわたる、各スペクトル帯域の所与の長さのスライドする時間窓にわたって、平滑化パワースペクトルの最小値を追跡することに存する。アルゴリズムはまた、雑音推定の精度を改善するためのバイアス補償をも含む。その上、時間変動雑音の追跡を改善するために、もたらされる推定雑音エネルギーの増大が穏やかであることを条件として、元の最小値の代わりに、はるかにより短い時間窓にわたって計算する局所的最小値の追跡を使用することができる。増大の許容量はR.Martin「Noise Power Spectral Density Estimation Based on Optimal Smoothing and Minimum Statistics(2001)において、パラメータnoise_slope_maxによって決定される。一実施形態によれば、従来どおり、線形エネルギーデータに対して作動する最小値統計雑音推定アルゴリズムが使用される。しかしながら、本発明者らの知見によれば、オーディオ材料または発話材料内の雑音レベルを推定する目的で、アルゴリズムには代わりに対数入力データを供給することができる。信号処理自体は修正されないままであるが、最小限の再調整のみが必要とされる。この再調整は、線形データと比較した対数データのダイナミックレンジの低減に対処するためにパラメータnoise_slope_maxを低減することに存する。これまでのところ、最小値統計アルゴリズム、または、他の適切な雑音推定技法は、線形データに対して作動される必要があるがあると仮定されていた。すなわち、実際には対数表現であるデータは適切でないと仮定されていた。この従来の仮定とは対照的に、本発明者らは、ほとんどの演算は16ビットで行うことができ、依然として32ビットを必要とするのはアルゴリズムのいくらかの部分のみであるため、雑音推定は実際には、16ビットでしか表されない入力データを使用することを可能にし、結果として、固定小数点実施態様において複雑度をはるかにより低くすることを可能にする対数データに基づいて作動され得ることを見出した。最小値統計アルゴリズムにおいて、たとえば、バイアス補償は、入力パワーの分散、したがって、一般的に依然として32ビット表現を必要とする4次統計に基づく。
図3に関連して上述したように、雑音推定プロセスの結果は、種々の様式でさらに処理され得る。実施形態によれば、第1の様式は、たとえば、送信パラメータが、しばしばそうであるように対数領域においても送信される場合に、対数データ182を送信パラメータへと直接的に変換することによって、ステップS108に示すように、対数データ182を直接的に使用することである。第2の様式は、たとえば、表引きとともに、または、近似を使用することによって、通常、非常に高速で、一般的にプロセッサ上で1サイクルしか必要としない、たとえば、以下のようなシフト関数を使用して、対数データがさらなる処理のために線形領域へと変換し戻されるように、対数データ182を処理することである。
Figure 2019023742
以下において、対数データに基づいて雑音を推定するための本発明の手法を実施するための詳細な例は、符号化器を参照しながら説明するが、上記で概説したように、本発明の手法は、たとえば、両方とも参照により本明細書に組み込まれる、国際出願EP2012/077525号明細書または国際出願EP2012/077527号明細書に記載されているように、復号器において復号されている信号に適用することもできる。以下の実施形態は、図1の符号化器100のような、オーディオ符号化器においてオーディオ信号内の雑音を推定するための本発明の手法の実施態様を説明する。より詳細には、拡張音声サービスコーダ(EVSコーダ)において受信するオーディオ信号内の雑音を推定するための本発明の手法を実施するための、EVS符号化器の信号処理アルゴリズムの説明がなされる。
16ビット等速PCM(パルスコード変調)フォーマットにおける、20ms長のオーディオサンプルの入力ブロックを仮定する。4つのサンプリングレート、たとえば、8000、16000、32000および48000サンプル/s、および、可能性として5.9、7.2、8.0、9.6、13.2、16.4、24.4、32.0、48.0、64.0または128.0kbit/sの、符号化ビットストリームのビットレートを仮定する。6.6、8.85、12.65、14.85、15.85、18.25、19.85、23.05または23.85kbit/sの、符号化ビットストリームのビットレートにおいて動作するAMR−WB(適応的マルチレート広帯域(コーデック))相互運用モードも提供され得る。
以下の説明の目的で、以下の慣習を、数式に適用する。
Figure 2019023742
は、x以下の最大の整数を示す。すなわち、
Figure 2019023742
である。Σは、総和を示す。
別途指定しない限り、log(x)は、以下の説明全体を通じて、10を底とする対数を示す。
符号化器は、48、32、16または8kHzにおいてサンプリングされる全帯域(FB)、超広帯域(SWB)、広帯域(WB)または狭帯域(NB)信号を許容する。同様に、復号器出力は、48、32、16または8kHzのFB、SWB、WBまたはNBであり得る。パラメータR(8、16、32または48)を、符号化器における入力サンプリングレートまたは復号器における出力サンプリングレートを示すために使用する。
入力信号は、20msフレームを使用して処理される。コーデック遅延は、入力および出力のサンプリングレートに依存する。WB入力およびWB出力について、全体的なアルゴリズム遅延は42.875msである。これは、1つの20msフレーム、入力および出力リサンプリングフィルタの1.875msの遅延、符号化器先読みの10ms、1msのポストフィルタリング遅延、および、復号器における、上位層変換コーディングの重畳加算演算を可能にするための10msから構成される。NB入力およびNB出力について、上位層は使用されず、10msの復号器遅延は、フレーム消去の存在下でのコーデック性能の改善および音楽信号に使用される。NB入力およびNB出力の全体的なアルゴリズム遅延は、1つの20msフレーム、入力リサンプリングフィルタの2ms、符号化器先読みの10ms、出力リサンプリングフィルタの1.875ms、および符号化器における10msの遅延の、43.875msである。出力がレイヤ2に限定される場合、コーデック遅延は10msだけ低減することができる。
符号化器の全体的な機能は、以下の処理セクション、すなわち、一般的な処理、CELP(符号励振線形予測)コード化モード、MDCT(修正離散コサイン変換)コード化モード、切り替えコード化モード、フレーム消去隠蔽サイド情報、DTX/CNG(不連続送信/快適雑音生成器)動作、AMR−WB相互運用オプション、およびチャネルアウェア符号化を含む。
本発明の実施形態によれば、本発明の手法は、DTX/CNG動作セクションにおいて実施される。コーデックは各入力フレームをアクティブまたは非アクティブとして分類するための信号アクティビティ検出(SAD)アルゴリズムを備える。これは、可変ビットレートにおいて背景雑音の統計を近似および更新するために周波数領域快適雑音生成(FD−CNG)モジュールが使用される、不連続送信(DTX)動作をサポートする。したがって、非アクティブ信号期間の間の伝送速度は可変であり、背景雑音の推定レベルに依存する。しかしながら、CNG更新速度はまた、コマンドラインパラメータによって固定することもできる。
スペクトル−時間特性に関して実際の入力背景雑音を模倣する人工雑音を作り出すことを可能にするために、FD−CNGは、雑音推定アルゴリズムを利用して、符号化器入力に存在する背景雑音のエネルギーを追跡する。雑音推定値はその後、非アクティブ段階の間に復号器側で各周波数帯域において生成されるランダム系列の大きさを更新するために、SID(無音挿入記述子)フレームの形態のパラメータとして送信される。
FD−CNG雑音推定器は、ハイブリッドスペクトル分析手法に依拠する。コア帯域幅に対応する低周波数は、高分解能FFT分析によってカバーされ、一方で、残りのより高い周波数は、400Hzの大幅により低いスペクトル分解能を呈するCLDFBによって捕捉される。CLDFBは、入力信号をコアサンプリングレートにダウンサンプリングするためのリサンプリングツールとしても使用されることに留意されたい。
しかしながら、SIDフレームのサイズは、実際には限定される。背景雑音を記述するパラメータの数を低減するために、入力エネルギーは結局、パーティションと呼ばれるスペクトル帯域のグループの間で平均される。
1.スペクトルパーティションエネルギー
パーティションエネルギーは、FFTおよびCLDFB帯域について別個に計算される。その後、FFTパーティションに対応するL[FET] SIDエネルギー、および、CLDFBパーティションに対応するL[CLDFB] SIDエネルギーが、サイズLSID=L[FET] SID+L[CLDFB] SIDの単一アレイEFD−CNGへと連結される。これは、後述する雑音推定器に対する入力としての役割を果たすことになる(「2.FD−CNG雑音推定」参照)。
1.1 FFTパーティションエネルギーの計算
コア帯域幅をカバーする周波数のパーティションエネルギーは、以下のように得られる。
Figure 2019023742
式中、E[0] CB(i)及びE[1] CB(i)はそれぞれ、第1の分析窓および第2の分析窓の臨界帯域iにおける平均エネルギーである。コア帯域幅を捕捉するFFTパーティションの数L[FET] SIDは、使用される構成に従って、17から21の間に及ぶ(「1.3 FD−CNG符号化器構成」参照)。ディエンファシススペクトル重みHde−emph(i)は、ハイパスフィルタを補償するために使用され、以下のように定義される。
Figure 2019023742
1.2 CLDFBパーティションエネルギーの計算
コア帯域幅を上回る周波数のパーティションエネルギーは、以下のように計算される。
Figure 2019023742
式中、jmin(i)及びjmax(i)はそれぞれ、i番目のパーティション内の第1のCLDFB帯域および最後のCLDFB帯域のインデックスであり、ECLDFB(j)はj番目のCLDFB帯域の総エネルギーであり、ACLDFBはスケーリング係数である。定数16は、CLDFB内の時間スロットの数を指す。CLDFBパーティションの数LCLDFBは、後述するように、使用される構成に依存する。
1.3 FD−CNG符号化器構成
以下の表は、符号化器における種々のFD−CNG構成についてのパーティションの数およびそれらの上方境界をリストしている。
Figure 2019023742
各パーティションi=0,…,LSID−1について、
Figure 2019023742
は、i番目のパーティション内の最後の帯域の周波数に対応する。各スペクトルパーティション内の第1の帯域および最後の帯域のインデックスjmin(i)及びjmax(i)は、以下のように、コアの構成の関数として導出され得る。
Figure 2019023742
式中、
Figure 2019023742
は、第1のスペクトルパーティション内の第1の帯域の周波数である。したがって、FD−CNGは、50Hzよりも上でのみ、何らかの快適雑音を生成する。
2. FD−CNG雑音推定
FD−CNGは、入力スペクトル内に存在する背景雑音のエネルギーを追跡するために、雑音推定器に依拠する。これは主に、R.Martin「Noise Power Spectral Density Estimation Based on Optimal Smoothing and Minimum Statistics」(2001)によって記載されている最小値統計アルゴリズムに基づく。しかしながら、入力エネルギーのダイナミックレンジ
Figure 2019023742
を低減し、したがって、雑音推定アルゴリズムの固定小数点実施態様を促進するために、雑音推定の前に非線形変換が適用される(「2.1 入力エネルギーに対するダイナミックレンジ圧縮」参照)。その後、結果もたらされる雑音推定値に対して逆変換を使用して、元のダイナミックレンジを復元する(「2.3 推定雑音エネルギーのダイナミックレンジ拡張」参照)。
2.1入力エネルギーに対するダイナミックレンジ圧縮
入力エネルギーを非線形関数によって処理し、以下のように、9ビット分解能で量子化する。
Figure 2019023742
2.2 雑音追跡
最小値統計アルゴリズムの詳細な記載は、R.Martin「Noise Power Spectral Density Estimation Based on Optimal Smoothing and Minimum Statistics」(2001)に見出すことができる。このアルゴリズムは基本的に、一般的に数秒にわたる、各スペクトル帯域の所与の長さのスライドする時間窓にわたって、平滑化パワースペクトルの最小値を追跡することに存する。アルゴリズムはまた、雑音推定の精度を改善するためのバイアス補償をも含む。その上、時間変動雑音の追跡を改善するために、もたらされる推定雑音エネルギーの増大が穏やかであることを条件として、元の最小値の代わりに、はるかにより短い時間窓にわたって計算される局所的最小値の追跡を使用することができる。増大の許容量はR.Martin「Noise Power Spectral Density Estimation Based on Optimal Smoothing and Minimum Statistics」(2001)において、パラメータnoise_slope_maxによって決定する。
雑音追跡器の主な出力は、雑音推定値
Figure 2019023742
である。快適雑音においてより平滑な推移を得るために、1次再帰フィルタ、すなわち、
Figure 2019023742
を適用することができる。
さらに、入力エネルギーEMS(i)が最後の5フレームにわたって平均化される。これは、各スペクトルパーティション内の
Figure 2019023742
に対して上限を適用するために使用される。
2.3 推定雑音エネルギーのダイナミックレンジ拡張
推定雑音エネルギーは、上述したダイナミックレンジ圧縮を補償するために非線形関数によって処理される。
Figure 2019023742
本発明によれば、特に、固定小数点計算を使用するプロセッサ上で処理されるオーディオ/発話信号について、雑音推定器の複雑度を低減することを可能にする、オーディオ信号内の雑音を推定するための改善された手法を説明する。本発明の手法は、たとえば、高スペクトル−時間分解能での快適雑音の生成について参照する国際出願EP2012/077527号明細書、または、低ビットレートにおける背景雑音のモデル化のための快適雑音付加について参照する国際出願EP2012/077527号明細書において記載されている環境における、オーディオ/発話信号処理のための雑音推定器に使用されるダイナミックレンジを低減することを可能にする。説明されているシナリオにおいて、雑音の多い発話信号、たとえば、電話通話において非常に一般的な状況である、背景雑音の存在下での発話、および、EVSコーデックの試験されるカテゴリのうちの1つについて、背景雑音の品質を増強するために、または、快適雑音生成のために、最小値統計アルゴリズムに基づいて動作する雑音推定器を使用する。EVSコーデックは、標準化によれば、固定演算を用いるプロセッサを使用することになり、本発明の手法は、もはや線形領域ではなく、対数領域においてオーディオ信号のエネルギー値を処理することによって、最小値統計雑音推定器に使用される信号のダイナミックレンジを低減することによって、処理複雑度を低減することを可能にする。
説明されている概念のいくつかの態様は、装置の文脈において説明されているが、これらの態様が、対応する方法の説明をも表すことは明らかであり、ブロックまたはデバイスは方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップの文脈において説明されている態様は、対応するブロックもしくは項目または対応する装置の特徴の説明をも表す。
特定の実施要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアにおいて実装することができる。実施態様は、それぞれの方法が実施されるようにプログラム可能コンピュータシステムと協働する(または協働することが可能である)、電子可読制御信号を記憶しているデジタル記憶媒体、たとえば、フロッピーディスク、DVD、Blue−Ray、CD、ROM、PROM、EPROM、EEPROMまたはフラッシュメモリを使用して実施することができる。それゆえ、デジタル記憶媒体は、コンピュータ可読であり得る。
本発明によるいくつかの実施形態は、本明細書において説明されている方法のうちの1つが実施されるように、プログラム可能コンピュータシステムと協働することが可能である、電子可読制御信号を有するデータキャリアを含む。
一般的に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で作動するときに、本方法の1つを実施するように動作可能である。プログラムコードを、たとえば、機械可読キャリア上に記憶してもよい。
他の実施形態は、機械可読キャリア上に記憶している、本明細書において説明されている方法の1つを実施するためのコンピュータプログラムを含む。
すなわち、それゆえ、本発明の方法の一実施形態は、コンピュータプログラムがコンピュータ上で作動すると、本明細書において説明されている方法の1つを実施するためのプログラムコードを有するコンピュータプログラムである。
それゆえ、本発明の方法のさらなる実施形態は、本明細書において説明されている方法の1つを実施するためのコンピュータプログラムを記録して含む、データキャリア(またはデジタル記憶媒体もしくはコンピュータ可読媒体)である。
それゆえ、本発明の方法のさらなる実施形態は、本明細書において記載されている方法のうちの1つを実施するためのコンピュータプログラムを表すデータストリームまたは信号系列である。データストリームまたは信号系列は、たとえば、データ通信接続、たとえばインターネットを介して転送されるように構成することができる。
さらなる実施形態は、本明細書において記載されている方法のうちの1つを実施するように構成または適合されている処理手段、たとえば、コンピュータまたはプログラム可能な論理装置を含む。
さらなる実施形態は、本明細書において説明されている方法の1つを実施するためのコンピュータプログラムをインストールされているコンピュータを含む。
いくつかの実施形態において、プログラム可能な論理装置(たとえば、フィールドプログラマブルゲートアレイFPGA)が、本明細書において説明されている方法の機能の一部またはすべてを実施するために使用されてもよい。いくつかの実施形態において、フィールドプログラマブルゲートアレイは、本明細書において説明されている方法のうちの1つを実施するために、マイクロプロセッサと協働することができる。一般的に、方法は、任意のハードウェア装置によって実施されることが好ましい。
上述した実施形態は、本発明の原理の例示に過ぎない。本明細書において記載されている構成および詳細の修正および変形は、当該技術分野においては明らかであると理解されたい。それゆえ、添付の特許請求の範囲によってのみ限定されることが意図され、本明細書において実施形態の記述および説明によって示される特定の詳細によっては限定されない。

Claims (12)

  1. オーディオ信号(102)内の雑音を推定するための方法であって、
    前記オーディオ信号(102)のエネルギー値(174)を判定すること(S100)と、
    前記エネルギー値(174)をlog2領域へと変換すること(S102)と、
    前記log2領域において直接的に、前記変換したエネルギー値(178)に基づいて前記オーディオ信号(102)の雑音レベル(182)を推定すること(S104)と、を含む方法。
  2. 前記雑音レベルを推定すること(S104)は、最小値統計アルゴリズムのような、所定の雑音推定アルゴリズムを実施することを含む、請求項1に記載の方法。
  3. 前記エネルギー値(174)を判定すること(S100)は、前記オーディオ信号(102)を周波数領域へと変換することによって前記オーディオ信号(102)のパワースペクトルを得ることと、前記パワースペクトルを心理音響的に動機付けられた帯域にグループ化することと、各帯域のエネルギー値(174)を形成するためにパワースペクトルビンを帯域内に累積することとを含み、各帯域の前記エネルギー値(174)を対数領域へと変換し、対応する前記変換したエネルギー値(174)に基づいて、各帯域の雑音レベルを推定する、請求項1または2に記載の方法。
  4. 前記オーディオ信号(102)は複数のフレームを含み、各フレームについて、前記エネルギー値(174)を判定して前記対数領域へと変換し、前記変換したエネルギー値(174)に基づいてフレームの各帯域の前記雑音レベルを推定する、請求項1〜3のいずれか一項に記載の方法。
  5. 前記エネルギー値(174)を、以下の式に従って前記対数領域へと変換し(S102)、
    Figure 2019023742
    Figure 2019023742
    はfloor(x)であり、En_logは前記log2領域における帯域nのエネルギー値であり、En_linは線形領域における帯域nのエネルギー値であり、Nは量子化分解能である、請求項1〜4のいずれか一項に記載の方法。
  6. 前記変換したエネルギー値(178)に基づいて前記雑音レベルを推定すること(S104)は、対数データをもたらし、前記方法は、
    さらなる処理のために前記対数データを直接的に使用すること(S108)、または
    さらなる処理のために前記対数データを前記線形領域へと変換し戻すこと(S110、S112)
    をさらに含む、請求項1〜5のいずれか一項に記載の方法。
  7. 前記log2領域において送信が行われる場合に、前記対数データを送信データへと直接的に変換し(S108)、
    前記対数データを送信データへと直接的に変換すること(S110)は、ルックアップテーブルまたは近似とともに、シフト関数、たとえば、
    Figure 2019023742
    を使用する、請求項6に記載の方法。
  8. コンピュータ上で実行されると、請求項1〜7のいずれか一項に記載の方法を実行する命令を記憶しているコンピュータ可読媒体を備える、非一時的コンピュータプログラム製品。
  9. 雑音推定器(170)であって、
    オーディオ信号(102)のエネルギー値(174)を判定するように構成されている検出器(172)と、
    前記エネルギー値(174)をlog2領域へと変換するように構成されている変換器(176)と、
    前記log2領域において直接的に、前記変換したエネルギー値(178)に基づいて前記オーディオ信号(102)の雑音レベル(182)を推定するように構成されている推定器(180)プロセッサと、を備える、雑音推定器(170)。
  10. 請求項9に記載の雑音推定器を備える、オーディオ符号化器(100)。
  11. 請求項9に記載の雑音推定器(170)を備える、オーディオ復号器(150)。
  12. オーディオ信号を送信するためのシステム(102)であって、
    受信オーディオ信号(102)に基づいてコード化オーディオ信号(102)を生成するように構成されているオーディオ符号化器(100)と、
    前記コード化オーディオ信号(102)を受信し、前記コード化オーディオ信号(102)を復号し、前記復号オーディオ信号(102)を出力するように構成されているオーディオ復号器(150)と、を備え、
    前記オーディオ符号化器および前記オーディオ復号器のうちの少なくとも一方は、請求項9に記載の雑音推定器(170)を備える、システム。

JP2018174338A 2014-07-28 2018-09-19 オーディオ信号内の雑音を推定するための方法、雑音推定器、オーディオ符号化器、オーディオ復号器、およびオーディオ信号を送信するためのシステム Active JP6730391B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020113803A JP6987929B2 (ja) 2014-07-28 2020-07-01 オーディオ信号内の雑音を推定するための方法、雑音推定器、オーディオ符号化器、オーディオ復号器、およびオーディオ信号を送信するためのシステム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP14178779.6 2014-07-28
EP14178779.6A EP2980801A1 (en) 2014-07-28 2014-07-28 Method for estimating noise in an audio signal, noise estimator, audio encoder, audio decoder, and system for transmitting audio signals

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017504799A Division JP6408125B2 (ja) 2014-07-28 2015-07-21 オーディオ信号内の雑音を推定するための方法、雑音推定器、オーディオ符号化器、オーディオ復号器、およびオーディオ信号を送信するためのシステム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020113803A Division JP6987929B2 (ja) 2014-07-28 2020-07-01 オーディオ信号内の雑音を推定するための方法、雑音推定器、オーディオ符号化器、オーディオ復号器、およびオーディオ信号を送信するためのシステム

Publications (2)

Publication Number Publication Date
JP2019023742A true JP2019023742A (ja) 2019-02-14
JP6730391B2 JP6730391B2 (ja) 2020-07-29

Family

ID=51224866

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017504799A Active JP6408125B2 (ja) 2014-07-28 2015-07-21 オーディオ信号内の雑音を推定するための方法、雑音推定器、オーディオ符号化器、オーディオ復号器、およびオーディオ信号を送信するためのシステム
JP2018174338A Active JP6730391B2 (ja) 2014-07-28 2018-09-19 オーディオ信号内の雑音を推定するための方法、雑音推定器、オーディオ符号化器、オーディオ復号器、およびオーディオ信号を送信するためのシステム
JP2020113803A Active JP6987929B2 (ja) 2014-07-28 2020-07-01 オーディオ信号内の雑音を推定するための方法、雑音推定器、オーディオ符号化器、オーディオ復号器、およびオーディオ信号を送信するためのシステム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017504799A Active JP6408125B2 (ja) 2014-07-28 2015-07-21 オーディオ信号内の雑音を推定するための方法、雑音推定器、オーディオ符号化器、オーディオ復号器、およびオーディオ信号を送信するためのシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020113803A Active JP6987929B2 (ja) 2014-07-28 2020-07-01 オーディオ信号内の雑音を推定するための方法、雑音推定器、オーディオ符号化器、オーディオ復号器、およびオーディオ信号を送信するためのシステム

Country Status (19)

Country Link
US (3) US10249317B2 (ja)
EP (4) EP2980801A1 (ja)
JP (3) JP6408125B2 (ja)
KR (1) KR101907808B1 (ja)
CN (2) CN106716528B (ja)
AR (1) AR101320A1 (ja)
AU (1) AU2015295624B2 (ja)
BR (1) BR112017001520B1 (ja)
CA (1) CA2956019C (ja)
ES (2) ES2768719T3 (ja)
MX (1) MX363349B (ja)
MY (1) MY178529A (ja)
PL (2) PL3175457T3 (ja)
PT (2) PT3614384T (ja)
RU (1) RU2666474C2 (ja)
SG (1) SG11201700701TA (ja)
TW (1) TWI590237B (ja)
WO (1) WO2016016051A1 (ja)
ZA (1) ZA201700532B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2980801A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for estimating noise in an audio signal, noise estimator, audio encoder, audio decoder, and system for transmitting audio signals
GB2552178A (en) * 2016-07-12 2018-01-17 Samsung Electronics Co Ltd Noise suppressor
CN107068161B (zh) * 2017-04-14 2020-07-28 百度在线网络技术(北京)有限公司 基于人工智能的语音降噪方法、装置和计算机设备
RU2723301C1 (ru) * 2019-11-20 2020-06-09 Акционерное общество "Концерн "Созвездие" Способ разделения речи и пауз по значениям дисперсий амплитуд спектральных составляющих
CN113193927B (zh) * 2021-04-28 2022-09-23 中车青岛四方机车车辆股份有限公司 一种电磁敏感性指标的获得方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63500543A (ja) * 1985-07-01 1988-02-25 モトロ−ラ・インコ−ポレ−テツド 雑音抑圧システム
JPH01255000A (ja) * 1988-02-29 1989-10-11 Internatl Standard Electric Corp 音声認識システムに使用されるテンプレートに雑音を選択的に付加するための装置及び方法
JP2008505557A (ja) * 2004-07-01 2008-02-21 スタッカート・コミュニケーションズ・インコーポレーテッド マルチバンド受信機同期
JP2011521498A (ja) * 2008-03-29 2011-07-21 クゥアルコム・インコーポレイテッド Dc補償およびagcのための方法およびシステム
JP6408125B2 (ja) * 2014-07-28 2018-10-17 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン オーディオ信号内の雑音を推定するための方法、雑音推定器、オーディオ符号化器、オーディオ復号器、およびオーディオ信号を送信するためのシステム

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5227788A (en) * 1992-03-02 1993-07-13 At&T Bell Laboratories Method and apparatus for two-component signal compression
FI103700B (fi) * 1994-09-20 1999-08-13 Nokia Mobile Phones Ltd Samanaikainen puheen ja datan siirto matkaviestinjärjestelmässä
JPH11514453A (ja) * 1995-09-14 1999-12-07 エリクソン インコーポレイテッド 音声信号を適応的に濾波して雑音のある環境条件での音声了解度を高めるシステム
FR2739995B1 (fr) * 1995-10-13 1997-12-12 Massaloux Dominique Procede et dispositif de creation d'un bruit de confort dans un systeme de transmission numerique de parole
JP3538512B2 (ja) * 1996-11-14 2004-06-14 パイオニア株式会社 データ変換装置
JPH10319985A (ja) * 1997-03-14 1998-12-04 N T T Data:Kk ノイズレベル検出方法、システム及び記録媒体
JP3357829B2 (ja) * 1997-12-24 2002-12-16 株式会社東芝 音声符号化/復号化方法
US7272556B1 (en) * 1998-09-23 2007-09-18 Lucent Technologies Inc. Scalable and embedded codec for speech and audio signals
US6289309B1 (en) * 1998-12-16 2001-09-11 Sarnoff Corporation Noise spectrum tracking for speech enhancement
SE9903553D0 (sv) 1999-01-27 1999-10-01 Lars Liljeryd Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL)
US7254116B2 (en) * 2000-04-07 2007-08-07 Broadcom Corporation Method and apparatus for transceiver noise reduction in a frame-based communications network
JP2002091478A (ja) * 2000-09-18 2002-03-27 Pioneer Electronic Corp 音声認識システム
US20030004720A1 (en) * 2001-01-30 2003-01-02 Harinath Garudadri System and method for computing and transmitting parameters in a distributed voice recognition system
CN1232951C (zh) * 2001-03-02 2005-12-21 松下电器产业株式会社 编码装置和译码装置
TW561706B (en) * 2001-03-12 2003-11-11 Conexant Systems Inc Method and apparatus for multipath signal detection, identification, and monitoring for wideband code division multiple access systems
US7650277B2 (en) * 2003-01-23 2010-01-19 Ittiam Systems (P) Ltd. System, method, and apparatus for fast quantization in perceptual audio coders
CN1182513C (zh) * 2003-02-21 2004-12-29 清华大学 基于局部能量加权的抗噪声语音识别方法
JP4212591B2 (ja) * 2003-06-30 2009-01-21 富士通株式会社 オーディオ符号化装置
US7251322B2 (en) * 2003-10-24 2007-07-31 Microsoft Corporation Systems and methods for echo cancellation with arbitrary playback sampling rates
GB2409389B (en) * 2003-12-09 2005-10-05 Wolfson Ltd Signal processors and associated methods
DE602005022641D1 (de) * 2004-03-01 2010-09-09 Dolby Lab Licensing Corp Mehrkanal-Audiodekodierung
US7869500B2 (en) * 2004-04-27 2011-01-11 Broadcom Corporation Video encoder and method for detecting and encoding noise
US7649988B2 (en) * 2004-06-15 2010-01-19 Acoustic Technologies, Inc. Comfort noise generator using modified Doblinger noise estimate
DE102004059979B4 (de) * 2004-12-13 2007-11-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Berechnung einer Signalenergie eines Informationssignals
DE102004063290A1 (de) * 2004-12-29 2006-07-13 Siemens Ag Verfahren zur Anpassung von Comfort Noise Generation Parametern
US7707034B2 (en) * 2005-05-31 2010-04-27 Microsoft Corporation Audio codec post-filter
KR100647336B1 (ko) 2005-11-08 2006-11-23 삼성전자주식회사 적응적 시간/주파수 기반 오디오 부호화/복호화 장치 및방법
EP1989702A4 (en) * 2006-01-18 2012-03-14 Lg Electronics Inc DEVICE AND METHOD FOR CODING AND DECODING A SIGNAL
US7873511B2 (en) * 2006-06-30 2011-01-18 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder and audio processor having a dynamically variable warping characteristic
ATE408217T1 (de) * 2006-06-30 2008-09-15 Fraunhofer Ges Forschung Audiokodierer, audiodekodierer und audioprozessor mit einer dynamisch variablen warp-charakteristik
CN101115051B (zh) * 2006-07-25 2011-08-10 华为技术有限公司 音频信号处理方法、系统以及音频信号收发装置
CN101140759B (zh) * 2006-09-08 2010-05-12 华为技术有限公司 语音或音频信号的带宽扩展方法及系统
CN1920947B (zh) * 2006-09-15 2011-05-11 清华大学 用于低比特率音频编码的语音/音乐检测器
US7912567B2 (en) * 2007-03-07 2011-03-22 Audiocodes Ltd. Noise suppressor
CN101335003B (zh) * 2007-09-28 2010-07-07 华为技术有限公司 噪声生成装置、及方法
ATE500588T1 (de) * 2008-01-04 2011-03-15 Dolby Sweden Ab Audiokodierer und -dekodierer
US20090259469A1 (en) * 2008-04-14 2009-10-15 Motorola, Inc. Method and apparatus for speech recognition
RU2536679C2 (ru) * 2008-07-11 2014-12-27 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Передатчик сигнала активации с деформацией по времени, кодер звукового сигнала, способ преобразования сигнала активации с деформацией по времени, способ кодирования звукового сигнала и компьютерные программы
MY178597A (en) * 2008-07-11 2020-10-16 Fraunhofer Ges Forschung Audio encoder, audio decoder, methods for encoding and decoding an audio signal, and a computer program
MY155538A (en) * 2008-07-11 2015-10-30 Fraunhofer Ges Forschung An apparatus and a method for generating bandwidth extension output data
US7961125B2 (en) * 2008-10-23 2011-06-14 Microchip Technology Incorporated Method and apparatus for dithering in multi-bit sigma-delta digital-to-analog converters
CN101740033B (zh) * 2008-11-24 2011-12-28 华为技术有限公司 一种音频编码方法和音频编码器
US20100145687A1 (en) * 2008-12-04 2010-06-10 Microsoft Corporation Removing noise from speech
US8930185B2 (en) 2009-08-28 2015-01-06 International Business Machines Corporation Speech feature extraction apparatus, speech feature extraction method, and speech feature extraction program
CN102054480B (zh) * 2009-10-29 2012-05-30 北京理工大学 一种基于分数阶傅立叶变换的单声道混叠语音分离方法
AU2011240239B2 (en) * 2010-04-13 2014-06-26 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio or video encoder, audio or video decoder and related methods for processing multi-channel audio or video signals using a variable prediction direction
RU2552184C2 (ru) * 2010-05-25 2015-06-10 Нокиа Корпорейшн Устройство для расширения полосы частот
EP2395722A1 (en) * 2010-06-11 2011-12-14 Intel Mobile Communications Technology Dresden GmbH LTE baseband reveiver and method for operating same
JP5296039B2 (ja) 2010-12-06 2013-09-25 株式会社エヌ・ティ・ティ・ドコモ 移動通信システムにおける基地局及びリソース割当方法
US9030619B2 (en) 2010-12-10 2015-05-12 Sharp Kabushiki Kaisha Semiconductor device, method for manufacturing semiconductor device, and liquid crystal display device
AR085895A1 (es) * 2011-02-14 2013-11-06 Fraunhofer Ges Forschung Generacion de ruido en codecs de audio
CA2903681C (en) * 2011-02-14 2017-03-28 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Audio codec using noise synthesis during inactive phases
US9280982B1 (en) * 2011-03-29 2016-03-08 Google Technology Holdings LLC Nonstationary noise estimator (NNSE)
CN102759572B (zh) * 2011-04-29 2015-12-02 比亚迪股份有限公司 一种产品的质量检测方法和检测装置
KR101294405B1 (ko) * 2012-01-20 2013-08-08 세종대학교산학협력단 위상 변환된 잡음 신호를 이용한 음성 영역 검출 방법 및 그 장치
US8880393B2 (en) * 2012-01-27 2014-11-04 Mitsubishi Electric Research Laboratories, Inc. Indirect model-based speech enhancement
CN103325384A (zh) * 2012-03-23 2013-09-25 杜比实验室特许公司 谐度估计、音频分类、音调确定及噪声估计
CN102664017B (zh) * 2012-04-25 2013-05-08 武汉大学 一种3d音频质量客观评价方法
WO2013188712A1 (en) 2012-06-14 2013-12-19 Skyworks Solutions, Inc. Power amplifier modules including related systems, devices, and methods
KR101657916B1 (ko) * 2012-08-03 2016-09-19 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 멀티채널 다운믹스/업믹스의 경우에 대한 일반화된 공간적 오디오 객체 코딩 파라미터 개념을 위한 디코더 및 방법
EP2717261A1 (en) * 2012-10-05 2014-04-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder, decoder and methods for backward compatible multi-resolution spatial-audio-object-coding
CN103021405A (zh) * 2012-12-05 2013-04-03 渤海大学 基于music和调制谱滤波的语音信号动态特征提取方法
SG11201504810YA (en) 2012-12-21 2015-07-30 Fraunhofer Ges Forschung Generation of a comfort noise with high spectro-temporal resolution in discontinuous transmission of audio signals
EP2936486B1 (en) * 2012-12-21 2018-07-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Comfort noise addition for modeling background noise at low bit-rates
CN103558029B (zh) * 2013-10-22 2016-06-22 重庆建设机电有限责任公司 一种发动机异响故障在线诊断系统和诊断方法
CN103546977A (zh) * 2013-11-11 2014-01-29 苏州威士达信息科技有限公司 基于HD Radio系统的动态频谱接入方法
CN103714806B (zh) * 2014-01-07 2017-01-04 天津大学 一种结合svm和增强型pcp特征的和弦识别方法
US10593435B2 (en) 2014-01-31 2020-03-17 Westinghouse Electric Company Llc Apparatus and method to remotely inspect piping and piping attachment welds
US9628266B2 (en) * 2014-02-26 2017-04-18 Raytheon Bbn Technologies Corp. System and method for encoding encrypted data for further processing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63500543A (ja) * 1985-07-01 1988-02-25 モトロ−ラ・インコ−ポレ−テツド 雑音抑圧システム
JPH01255000A (ja) * 1988-02-29 1989-10-11 Internatl Standard Electric Corp 音声認識システムに使用されるテンプレートに雑音を選択的に付加するための装置及び方法
JP2008505557A (ja) * 2004-07-01 2008-02-21 スタッカート・コミュニケーションズ・インコーポレーテッド マルチバンド受信機同期
JP2011521498A (ja) * 2008-03-29 2011-07-21 クゥアルコム・インコーポレイテッド Dc補償およびagcのための方法およびシステム
JP6408125B2 (ja) * 2014-07-28 2018-10-17 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン オーディオ信号内の雑音を推定するための方法、雑音推定器、オーディオ符号化器、オーディオ復号器、およびオーディオ信号を送信するためのシステム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FEBE DE WET, ET AL.: "Additive background noise as a source of non-linear mismatch in the cepstral and log-energy domain", COMPUTER SPEECH AND LANGUAGE, vol. Volume 19, Issue 1, JPN6018014944, January 2005 (2005-01-01), pages 31 - 54, ISSN: 0004184748 *
MARIUS ROTARU, ET AL.: "An Efficient GSC VSS-APA Beamformer with Integrated Log-energy Based VAD for Noise Reduction in Spee", PROCEEDINGS OF THE 2013 IEEE INTERNATIONAL SYMPOSIUM ON SIGNALS, CIRCUITS AND SYSTEMS(ISSCS 2013), JPN6018014942, July 2013 (2013-07-01), pages 1 - 4, XP032518224, ISSN: 0004184749, DOI: 10.1109/ISSCS.2013.6651240 *

Also Published As

Publication number Publication date
EP3614384B1 (en) 2021-01-27
BR112017001520A2 (pt) 2018-01-30
BR112017001520B1 (pt) 2023-03-14
AR101320A1 (es) 2016-12-07
CN106716528A (zh) 2017-05-24
WO2016016051A1 (en) 2016-02-04
MX2017001241A (es) 2017-03-14
SG11201700701TA (en) 2017-02-27
US11335355B2 (en) 2022-05-17
CN106716528B (zh) 2020-11-17
CN112309422B (zh) 2023-11-21
JP2020170190A (ja) 2020-10-15
AU2015295624B2 (en) 2018-02-01
ZA201700532B (en) 2019-08-28
KR20170039226A (ko) 2017-04-10
CA2956019C (en) 2020-07-14
MX363349B (es) 2019-03-20
RU2017106161A3 (ja) 2018-08-28
PT3175457T (pt) 2020-02-10
RU2017106161A (ru) 2018-08-28
US20170133031A1 (en) 2017-05-11
EP2980801A1 (en) 2016-02-03
US20190198033A1 (en) 2019-06-27
KR101907808B1 (ko) 2018-10-12
MY178529A (en) 2020-10-15
JP6987929B2 (ja) 2022-01-05
CN112309422A (zh) 2021-02-02
JP2017526006A (ja) 2017-09-07
EP3175457B1 (en) 2019-11-20
TW201606753A (zh) 2016-02-16
CA2956019A1 (en) 2016-02-04
TWI590237B (zh) 2017-07-01
ES2768719T3 (es) 2020-06-23
US20210035591A1 (en) 2021-02-04
US10249317B2 (en) 2019-04-02
ES2850224T3 (es) 2021-08-26
EP3826011A1 (en) 2021-05-26
EP3175457A1 (en) 2017-06-07
PL3175457T3 (pl) 2020-05-18
RU2666474C2 (ru) 2018-09-07
PL3614384T3 (pl) 2021-07-12
EP3614384A1 (en) 2020-02-26
AU2015295624A1 (en) 2017-02-16
PT3614384T (pt) 2021-03-26
JP6408125B2 (ja) 2018-10-17
JP6730391B2 (ja) 2020-07-29
US10762912B2 (en) 2020-09-01

Similar Documents

Publication Publication Date Title
JP6730391B2 (ja) オーディオ信号内の雑音を推定するための方法、雑音推定器、オーディオ符号化器、オーディオ復号器、およびオーディオ信号を送信するためのシステム
EP2791937B1 (en) Generation of a high band extension of a bandwidth extended audio signal
KR102417047B1 (ko) 잡음 환경에 적응적인 신호 처리방법 및 장치와 이를 채용하는 단말장치
JP2010537261A (ja) 周波数サブバンドのスペクトルダイナミクスに基づくオーディオ符号化における時間マスキング
JP6864378B2 (ja) 改良されたミッド/サイド決定を持つ包括的なildを持つmdct m/sステレオのための装置および方法
CN111357050A (zh) 使用尺度参数的降采样或内插对音频信号进行编码及解码的装置及方法
CN111344784A (zh) 控制编码器和/或解码器中的带宽
RU2660633C2 (ru) Устройство и способ для кодирования, обработки и декодирования огибающей аудиосигнала путем разделения огибающей аудиосигнала с использованием квантования и кодирования распределения
EP4330963A1 (en) Method and device for multi-channel comfort noise injection in a decoded sound signal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200702

R150 Certificate of patent or registration of utility model

Ref document number: 6730391

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250