CN106463140A - 具有语音信息的改进型帧丢失矫正 - Google Patents
具有语音信息的改进型帧丢失矫正 Download PDFInfo
- Publication number
- CN106463140A CN106463140A CN201580023682.0A CN201580023682A CN106463140A CN 106463140 A CN106463140 A CN 106463140A CN 201580023682 A CN201580023682 A CN 201580023682A CN 106463140 A CN106463140 A CN 106463140A
- Authority
- CN
- China
- Prior art keywords
- signal
- voice
- component
- decoding
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 50
- 230000005236 sound signal Effects 0.000 claims abstract description 5
- 230000003595 spectral effect Effects 0.000 claims abstract description 5
- 238000001228 spectrum Methods 0.000 claims description 40
- 239000002131 composite material Substances 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 16
- 230000002085 persistent effect Effects 0.000 claims description 13
- 230000001965 increasing effect Effects 0.000 claims description 12
- 230000001052 transient effect Effects 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 230000004069 differentiation Effects 0.000 claims description 2
- 229910002056 binary alloy Inorganic materials 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 7
- 230000015572 biosynthetic process Effects 0.000 abstract description 6
- 238000003786 synthesis reaction Methods 0.000 abstract description 6
- 238000010276 construction Methods 0.000 abstract 1
- 230000005540 biological transmission Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000012952 Resampling Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000002347 injection Methods 0.000 description 3
- 239000007924 injection Substances 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 241001362574 Decodes Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/028—Noise substitution, i.e. substituting non-tonal spectral components by noisy source
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L25/81—Detection of presence or absence of voice signals for discriminating voice from music
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/93—Discriminating between voiced and unvoiced parts of speech signals
- G10L2025/932—Decision in previous or following frames
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/93—Discriminating between voiced and unvoiced parts of speech signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
Abstract
本发明涉及数字音频信号的处理,包括一系列在连续帧中分布的样本。尤其是在解码所述信号以便在解码过程中替换丢失的至少一个信号帧的情况下,进行所述处理。所述方法包括下列步骤:a)在解码时可用的有效信号段中,搜索信号中的至少一个周期,所述周期是按照所述有效信号确定的;b)分析所述周期中的信号从而确定所述周期中信号的频谱分量;c)通过从所述预定频谱分量中选择的增加分量和加入增加分量的噪音构成合成信号,从而合成替代丢失帧的至少一帧。特别地,按照解码时得到的有效信号的语音信息加权加入增加分量的噪音的量。
Description
本发明涉及电信编码/解码领域,尤其是解码时的帧丢失矫正领域。
“帧”是由至少一个样本构成的音频段(本发明适用于根据G.711的编码时的一个或多个样本的丢失以及根据标准G.723、G.729等的在编码时一个或多个样本数据包的丢失)。
当采用编码器进行实时通信,而且解码器受到电信网络条件(射频问题、接入网络拥塞等)扰乱时,会发生音频帧丢失。在这种情况下,解码器利用帧丢失矫正机制,从而试图通过使用在解码器上可用的信息(例如,为过去的一帧或多帧已经解码的音频信号)将重构的信号代替丢失的信号。即便网络性能下降,这种技术也可以保持服务质量。
帧丢失矫正技术通常高度依赖于所采用的编码类型。
在CELP编码的情况下,通常通过调整重复在上一帧解码的某些参数(频谱包络、基音(pitch)、码本增益),比如所述调整为修改频谱包络,使其朝平均包络收敛,或者利用随机固定码本。
在变换编码的情况下,最广泛地用于矫正帧丢失的技术包括:如果帧丢失,则重复接收的最后一帧,并且在超过一帧丢失后立即把重复帧设为零。在很多编码标准(G.719、G.722.1、G.722.1C)中运用这种技术。还可以引用G.711编码标准的情况,在其附件I中所述的一个帧丢失矫正的实例确定了已解码信号中的一个基本周期(称为“基音周期”)并对其进行重复,重叠并相加已解码信号和重复的信号(“重叠相加(overlap-add)”)。如此重叠相加“消除”了音频假象,但是为了实施需要在解码器中进行格外延迟(对应于重叠的持续时间)。
此外,在编码标准G.722.1的情况下,具有50%的重叠相加和正弦窗的调制重叠变换(或称为MLT)能确保最后丢失的帧与重复的帧之间的过渡足够慢,以至于在单独一个丢失帧的情况下,能够消除与帧的简单重复相关的假象。与G.711标准(附件I)中所述的帧丢失矫正不同,该实施例不需要格外延迟,因为它利用现有延迟以及MLT变换的时域混叠(temporal aliasing)实现与重构信号的重叠相加。
这种技术成本低,但是其主要缺点是帧丢失前解码的信号与重复的信号的不一致性。这导致相位的不连续,如果两帧之间重复的持续时间较少,这样便会产生明显的音频假象,当用于MLT变换的窗口是文献FR1350845并参照该文件的图1A和图1B所述的“短暂延迟”时,就是这种情况。在这种情况下,即便是结合基音搜索和重叠相加的方案也不足以消除音频假象,所述基音搜索正如根据标准G.711(附件I)中的编码器的情况,所述重叠相加利用MLT变换的窗口。
文献FR1350845提出一种混合方法,该混合方法把这两种方法的优点相结合,以便在变换域中保持相位连续性。本发明是在该框架内定义的。下面参考图1对FR1350845中提出的方案进行详细描述。
尽管这种方案特别有发展前景,但是其仍需要改进,因为在解码信号只有一个基本周期(“单声道基音”)的情况下,例如在语音信号的话音段(voiced segment)中,帧丢失矫正后的音频质量会下降,而且不像通过比如CELP(“代码激励线性预测”)型这样的语音模型进行的帧丢失矫正那么好。
本发明改善了该现状。
为此目的,提出一种处理数字音频信号的方法,所述数字音频信号包括分布在连续帧中的一系列样本,在解码所述信号以便替换解码过程中丢失的至少一个信号帧的情况下,执行该方法。
该方法包括以下步骤:
a)在解码时可用的有效信号段中,搜索信号中的至少一个周期,所述周期是按照所述有效信号确定的,
b)分析所述周期中的信号从而确定所述周期中信号的频谱分量,
c)通过从下列部分构成合成信号来合成丢失帧的至少一个替代帧:
-增加从所述确定的频谱分量中选择的分量,以及,
-加入增加分量的噪音。
特别地,根据在解码时得到的有效信号的语音信息对加入增加分量的噪音的量进行加权。
有利的是,解码时的语音信息以编码器的至少一个比特率传输,在传递的信号为话音信号的情况下为该信号的正弦分量赋予较多的权重,否则为噪音赋予较多的权重,因此产生更加令人满意的听觉效果。但是,在非话音(unvoiced)信号或者音乐信号的情况下,不必为替换丢失帧而合成信号保持这么多的分量。在这种情况下,可为噪音赋予较多权重,所述噪音是为了合成信号而注入的。这样有利地降低了处理的复杂度,尤其是在非语音信号的情况下,不会降低合成的质量。
在一个实施例中把噪音信号加入分量中,因此在有效信号有声的情况下,以较小的增益加权该噪音信号。例如,可以通过接收信号与增加的所选分量之间的残余从之前所接收的帧中得到噪音信号。
在额外的实施例或者选择性的实施例中,在有效信号有声的情况下,所选择的用于增加的分量的数量较大。因此,如果信号为话音信号,则如上所述更多地考虑传递的信号的频谱。
有利的是,可以选择实施例的补充形式,其中,如果信号是话音信号,则选择更多的分量,同时把应用于噪音信号的增益减少到最少。因此,通过选择更多分量部分地抵消了通过把小于1的增益应用于噪音信号而衰减的能量总量。相反,如果信号不是话音信号,或弱话音信号,应用于噪音信号的增益则不减少,并且选择较少分量。
此外,可进一步改善解码过程中质量/复杂度之间的折衷,在步骤a)中,在有效信号有声的情况下,可在较长长度的有效信号段内搜索上述周期。在下文详细说明中所示的实施例中,如果信号为话音信号,在有效信号内通过关联进行搜索,重复周期通常与至少一个基音周期相关联,而且在这种情况下,尤其对于男声而言,例如,可在30毫秒以上进行基音搜索。
在一个可选实施例中,在编码流(“比特流”)中提供语音信息,所述编码流(“比特流”)是在解码过程中接收的,并且与包括分布在连续帧中的一系列样本的信号相对应。在解码过程中出现帧丢失的情况下,采用包含在丢失帧之前的有效信号帧中的语音信息。
因此,语音信息来自产生比特流并确定语音信息的编码器,在一个特殊实施例中,以比特流中的单个比特编码语音信息。但是,作为一个示例性实施例,在编码器中生成这种声音数据可取决于编码器与解码器之间的通信网络中是否有足够的带宽。例如,如果带宽低于阈值,编码器则不传输声音数据,以节省带宽。在这种情况下,仅作为示例而言,在解码器上采集的最后的语音信息可用于帧合成,作为选择,可决定将其用于非话音情况以进行帧合成。
在实施过程中,以比特流中的一比特进行编码语音信息,应用于噪音信号的增益值也可以是二进制的,如果信号为话音信号,把增益值设为0.25,否则为1。
作为选择,语音信息来自确定(例如,通过比较信号频谱分量的振幅与背景噪音而得到的)频谱调和性或平坦性的编码器,然后,编码器以二进制形式在比特流中传递该值(采用一比特以上)。
在这种选择方案中,可根据所述平坦度值确定增益值(例如,根据该平坦度值连续增加)。
通常,可将所述平坦度值与阈值作比较,以便确定:
-如果平坦度值低于阈值,信号则为话音信号,以及,
-否则,信号为非话音信号,
(由此以二进制形式表示话音度的特征)。
因此,在单个比特的实施及其变体过程中,选择分量和/或选择发生基音搜索的信号段的持续时间的标准可以是二进制的。
例如,关于分量的选择:
-如果信号为话音信号,则选择振幅大于相邻第一频谱分量振幅的频谱分量,以及相邻第一频谱分量,以及,
-否则,只选择振幅大于相邻第一频谱分量振幅的频谱分量。
关于选择基音搜索段的持续时间,例如:
-如果信号为话音信号,在持续时间大于30毫秒(例如33毫秒)的有效信号段内搜索周期,
-否则,在持续时间小于30毫秒(例如28毫秒)的有效信号段内搜索周期。
因此,本发明目的是通过修改文献FR1350845中所示的处理过程中的各个步骤(基音搜索、分量选择、噪音注入)而改善就该文献而言的现有技术,但尤其是仍然以原始信号的特征为基础。
可以根据语音和/或音乐分类,在对特定的语音组别是适当情况下,能把原始信号的这些特征编码为进入解码器的数据流中的特殊信息(或“比特流”)。
解码时,比特流中的这一信息使之能够对质量与复杂度之间的折衷进行优化,并且共同地:
-改变注入所选频谱分量之和的噪音的增益,从而构成替换丢失帧的合成信号,
-改变为了合成而选择的分量的数量,
-改变基音搜索段的持续时间。
可在用于确定语音信息的编码器中实施这种实施例,尤其是在帧丢失的情况下,在解码器中实施这种实施例。可将其作为软件实施,以便针对3GPP组(SA4)中所述的增强语音服务(或“EVS"”)进行编码/解码。
在这种能力方面,本发明还提供一种计算机程序,所述计算机程序包括在由处理器执行该程序时实施上述方法的指令。在下文的详细说明中展示了这种程序的示例流程图,关于解码参考图4,关于编码参考图3。
本发明还涉及到一种设备,用于解码包括一系列样本的数字音频信号,所述一系列样本分布在连续帧中。该设备包括用于替换至少一个丢失的信号帧的装置(比如,处理器和存储器,或者ASIC元件或其它电路),通过下列步骤进行替换:
a)在解码时可用的有效信号段中,搜索信号中的至少一个周期,所述周期是根据所述有效信号确定的,
b)分析所述周期中的信号,从而确定所述周期中信号的频谱分量,
c)通过构成合成信号来合成替代丢失帧的至少一帧,所述合成信号是通过下列部分构成的:
-从所述确定频谱分量中选择的增加分量,以及,
-加入增加分量的噪音,
根据解码时得到的有效信号的语音信息加权加入增加分量的噪音的量。
同样,本发明还涉及到一种用于编码数字音频信号的设备,包括装置(比如存储器和处理器,或者ASIC元件或其它电路),所述装置用于提供在编码装置传送的比特流中的语音信息、区分可能变为话音的语音信号与音乐信号,以及在语音信号的情况下:
-确定信号为话音信号或普通信号,从而将其视为普通话音信号,或者,
-确定信号为不活跃的、瞬态的或者非话音信号,从而将其视为普通非话音信号。
通过仔细阅读下文的详细说明以及附图,本发明的其它特征和优点将显而易见,在附图中:
-图1概括了就文献FR1350845而言的矫正帧丢失的方法的主要步骤;
-图2示意性地显示了根据本发明的方法的步骤;
-图3阐释了一个在就本发明意义而言的一个实施例中编码过程中实施的步骤的示例;
-图4显示了一个在就本发明意义而言的一个实施例中解码过程中实施的步骤的示例;
-图5阐释了解码过程中实施的关于在有效信号段Nc中进行基音搜索的步骤的一个示例;
-图6示意性地阐释了一个就本发明意义而言的编码器设备和解码器设备的示例。
现在我们参考图1,阐释了文献FR1350845中所述的主要步骤。在下文用b(n)表示的一系列N个音频样本储存在解码器的缓冲存储器中。这些样本与已经解码的样本相对应,并且因此可用于在解码器矫正帧丢失。如果待合成的首个样本是样本N,那么音频缓冲则与前面的样本0至N-1相对应。在变换编码的情况下,音频缓冲器与上一帧中的样本相对应,这是不可改变的,因为此类型的编码/解码在重构信号过程中不提供延迟;因此,没有提供实现足够持续时间的淡入淡出,以覆盖帧丢失。
下面是频域滤波的步骤S2,其中,通过用Fc(例如Fc=4kHz)表示的分离频率把音频缓冲器b(n)分为两个频段,即一个低频段LB和一个高频段HB。如此过滤最好是无延迟过滤。现在,在fs至Fc抽样之后,把音频缓冲器的大小降低到N’=N*Fc/f。在本发明的变体中,该过滤步骤是可选的,在全频段实施后续步骤。
下一个步骤S3包括在低频段搜索循环点以及与以频率Fc重新采样的缓冲器b(n)的基本周期(或“基音”)相对应的段p(n)。该实施例使之能够考虑待重构的丢失帧中的基音连续性。
步骤S4包括使段p(n)分裂为正弦分量的总和。例如,可以计算与信号长度相对应的持续时间内信号p(n)的离散傅里叶变换(DFT)。因此,得到信号每个正弦分量(或“峰值”)的频率、相位和振幅。也可能是除DFT外的其它变换。例如,可以应用诸如DCT、MDCT或MCLT这样的变换。
步骤S5是选择K个正弦分量的步骤,从而只保留最重要的分量。在一个特殊实施例中,分量的选择首先与选择振幅A(n)相对应,A(n)>A(n-1),而且A(n)>A(n+1),其中,由此确保振幅与频谱峰值相对应。
为此,插入段p(n)(基音)的样本,得到由P'个样本构成的段p'(n),其中ceil(x)是大于或等于x的整数。在幂为2的长度内更有效地进行傅里叶变换FFT分析,而不会(因为插值)修改实际的基音周期。计算p'(n)的FFT变换:Π(k)=FFT(p′(n));而且,通过FFT变换,直接得到正弦分量的相位和振幅A(k),通过下式给出介于0和1之间的归一化频率:
下面,在首次选择的振幅中,按照振幅降序选择分量,所以所选峰值的累积振幅至少通常为当前帧一半频谱上累积振幅的x%(例如x=70%)。
此外,还可以限制分量的数量(例如,限制到20),从而降低合成复杂度。
正弦合成步骤S6包括生成长度至少等于丢失帧(T)大小的段s(n)。计算合成信号s(n),作为所选正弦分量的总和:
其中k是步骤S5中所选的K个峰值的指数。
步骤S7包括“噪音注入”(填入与未选择的线路相对应的频谱区域),从而补偿由于在低频段遗漏某些频率峰值导致的能量损失。一项具体实施包括计算与基音p(n)相对应的段与合成信号s(n)之间的残余r(n),其中n∈[0;P-1],从而:
r(n)=p(n)-s(n)n∈[0;P-1]
对大小为P的这个残余进行转换,例如,将其分割成多个窗口,并通过不同大小的窗口之间的重叠进行重复,如专利FR1353551所述:
然后,把信号(n)与信号r'(n)相结合:
应用于高频段的步骤S8可仅包括重复传递的信号。
在步骤S9中,与步骤S8中经过滤的高频段混合(在步骤S11中简单的重复)之后,通过以其初始频率fc对低频段重新采样合成信号。
步骤S10是重叠相加,以确保帧丢失之前的信号与合成信号之间的连续性。
现在我们在就本发明意义而言的一个实施例中对加入图1的方法中的元素进行描述。
根据图2所示的一般方法,在解码(步骤DI-1)过程中采用以编码器的至少一个比特率传输的帧丢失前信号的语音信息,从而定量地确定待加入替换一个或多个丢失帧的合成信号的噪音的比例。因此,解码器(通过分配低于噪音信号r'(k)的增益G(res),所述噪音信号r'(k)源自步骤DI-3的残余,而且/或者通过选择更多振幅A(k)分量,以便用于在步骤DI-4中构建合成信号)利用语音信息基于话音度来减少混入合成信号的噪音总量。
此外,解码器可调整其参数,尤其是用于基音搜索,以便基于语音信息优化处理过程中的质量/复杂度之间的折衷。例如,关于基音搜索,如果信号为话音信号,(在步骤DI-5中)基音搜索的窗口Nc可较大,正如我们在下文中参考图5所见。
为了确定话音度,可由解码器以两种方式按照编码器的至少一个比特率提供信息:
-根据编码器中识别的话音度,值为1或0的一比特的形式(在随后处理过程中出现帧丢失的情况下,在步骤DI-1中从编码器接收的,在步骤DI-2中读取的),或者,
-与背景噪音相比,作为构成编码过程中的信号的峰值的平均振幅的值。
可在图2的可选步骤DI-10中,在解码器以多比特接收该频谱“平坦度”数据Pl,然后在步骤DI-11中将其与阈值作比较,这与在步骤DI-1和DI-2中确定话音度是高于阈值还是低于阈值一样,以及与推导适当的处理一样,尤其是对于峰值的选择以及基音搜索段长度的选择而言。
在此所述的示例中,从编码器(至少以编解码器的一个比特率)接收该信息(无论形式为一比特值或多比特值)。
实际上,参考图3,在编码器中,在步骤C2中分析以方框C1的形式表示的输入信号。分析步骤包括确定当前帧的音频信号是否在解码器出现帧丢失的情况下具有需要特殊处理的特征,例如,对于话音语音信号而言就是这种情况。
在一个特殊实施例中,可方便地采用在编码器中已经确定的分类(语音/音乐或其它),从而避免增加处理的整体复杂度。实际上,至于可在语音或音乐之间切换编码模式的编码器,编码器中的分类已经允许采用适用于信号(语音或音乐)性质的编码技术。同样,在语音的情况下,比如G.718标准的编码器这样的预测性编码器还可以采用分类,以便使编码器参数适合信号的类型(话音/非话音、瞬态、普通、不活跃的声音)。
在第一个特殊实施例中,仅保留一位比特用于“帧丢失特性描述”。在步骤C3将其加入编码流(或“比特流”),以表明信号是否为语音信号(话音信号或普通信号)。例如,可根据下表基于下列内容将该位设为1或0:
·语音/音乐分类器的决定
·以及语音编码模式分类器的决定。
在此,“普通”一词是指普通的语音信号(不是关于爆破音发音的瞬态的,不是不活跃的,也不一定是纯话音的,比如没有辅音的元音发音)。
在第二个选择性实施例中,以比特流传递到解码器的信息不是二进制的,而是与频谱中峰谷之间比率的量化相对应。该比率可表达为频谱“平坦度”的测量值,用Pl表示:
在这个表达式中,x(k)是(FFT之后)在频域内分析当前帧产生的大小为N的振幅的频谱。
在一个选择方案中,提供正弦分析,在编码器中将信号分解为正弦分量和噪音,通过正弦分量与帧总能量的比率得到平坦度测量值。
步骤C3(包括语音信息的一位比特或者平坦度测量值的多位比特)之后,在随后传输到解码器之前,按照惯例在步骤C4中编码编码器的音频缓冲。
现在参考图4,我们将描述在本发明的一个示例中的解码器中实施的步骤。
在步骤D1中没有帧丢失的情况下(NOK箭头退出图4中的测试D1),在步骤D2中,解码器读取包含在比特流中的信息,包括“帧丢失特性描述”信息(至少以编解码器的一个比特率)。该信息存储在存储器中,所以当下一帧丢失时,可重复使用该信息。然后,解码器继续传统的解码步骤D3等,以便得到合成的输出帧FR SYNTH。
在发生帧丢失的情况下(OK箭头退出测试D1),应用步骤D4、D5、D6、D7、D8和D12,这些步骤分别与图1的步骤S2、S3、S4、S5、S6和S11相对应。但是,分别关于步骤S3和S5进行少量改动,分别对应步骤D5(为了基音的确定而搜索循环点)和D7(选择正弦分量)。此外,通过按照就本发明意义而言的解码器的图4中的步骤D9和D10确定增益,而在图1的步骤S7中进行噪音注入。
在已知“帧丢失特性描述”信息的情况下(已经接收上一帧时),本发明包括修改处理步骤D5、D7和D9-D10,如下。
在第一个实施例中,“帧丢失特性描述”信息是二进制的,其值:
-对于比如音乐或瞬态这样类型的非话音信号而言,等于0,
-否则等于1(上表)。
步骤D5包括搜索循环点和与在频率Fc重新采样的音频缓冲内的基音相对应的段p(n)。在图5中阐释了文献FR1350845中所述的这种技术,其中:
-解码器中的音频缓冲的样本大小为N',
-确定Ns个样本的目标缓冲BC的大小,
-在Nc个样本上进行相关性搜索,
-相关曲线“Correl”在mc处具有最大值,
-循环点为指定的循环pt,并且定位在相关最大值的Ns个样本,
-然后,在p(n)的剩余样本N'-1上确定基音。
具体而言,我们计算在大小为Ns的目标缓冲器段、N'-Ns与N'-1(例如6毫秒的持续时间)之间的、和在样本0和Nc之间开始的大小为Ns的滑动段之间的归一化相关性corr(n)(其中,Nc>N'-Ns):
关于音乐信号,由于信号性质,值Nc不需要非常大(例如Nc=28毫秒)。这个限制避免了基音搜索期间计算的复杂性。
但是,来自之前接收的最后一个有效帧的语音信息允许确定待重构的信号是否为话音语音信号(单声道基音)。因此,在这种情况下,通过这种信息,可以增加段Nc的大小(例如Nc=33毫秒),从而优化基音搜索(并且可能找到较高的相关值)。
在图4的步骤D7中,选择正弦分量,从而只保留最重要的分量。在一个特殊实施例中,也是在文献FR1350845中所示的,首先选用的分量相当于选择振幅A(n),其中A(n)>A(n-1),且A(n)>A(n+1),对于
在本发明的情况下,能有利地知道待重构的信号是否为语音信号(话音信号或普通信号)并且因此具有明显的峰值和较低的噪音水平。在这种情况下,最好不只选择如上文所示的峰值A(n),其中A(n)>A(n-1)且A(n)>A(n+1),并且将选择扩展到A(n-1)和A(n+1),因此所选峰值代表较大部分的频谱总能量。与在步骤D8中通过正弦合成而合成的信号水平相比,如此修改能降低噪音水平(尤其是在下文所示的步骤D9和步骤D10中注入的噪音水平),同时保持总能级充足,而不会导致与能量波动相关的音频假象。
下面,在信号没有噪音的情况下(至少处于低频的情况下),正如普通语音信号或话音语音信号的情况那样,我们观察到与FR1350845的含义中的转换的残余r'(n)相对应的噪音的增加实际上降低了质量。
因此,通过在步骤D10中施加增益G而将语音信息方便地用于减少噪音。从步骤D8产生的信号s(n)与从步骤D9产生的噪音信号r'(n)混合,但是在此施加的增益G取决于源自上一帧的比特流的“帧丢失特性描述”信息,其为:
在这个特殊实施例中,按照下面作为示例给出的表格,根据上一帧的信号性质为话音或非话音,G可以是等于1或0.25的常数:
“帧丢失特性描述”的比特值 | 0 | 1 |
增益G | 1 | 0.25 |
在选择性实施例中,其中“帧丢失特性描述”信息具有描述频谱平坦度Pl特征的多个分散等级,可直接根据Pl值表达增益G。对于进行基音搜索的段Nc的界限而言,和/或对于为了合成信号所考虑的峰值An的数量而言,也是如此。
可将如下所示的处理定义为一个示例。
已经根据Pl值直接定义增益G:G(Pl)=2Pl
此外,把Pl值与平均值-3dB作比较,假定0值与平频谱相对应,-5dB与具有明显峰值的频谱相对应。
如果Pl值小于平均阈值的值-3dB(因此,与具有明显峰值的频谱相对应,通常为话音信号的频谱),于是,我们可将进行基音搜索的段的持续时间Nc设为33毫秒,而且,我们可以选择峰值A(n),使得A(n)>A(n-1),且A(n)>A(n+1),并选择第一相邻峰值A(n-1)和A(n+1)。
否则(如果Pl值高于阈值,与不太明显的峰值、更多背景噪音相对应,例如,音乐信号),可选择较短的持续时间Nc,例如25毫秒,而且只选择满足A(n)>A(n-1)且A(n)>A(n+1)的峰值A(n)。
然后通过混合噪音继续解码,因此得到具有通过按这种方式选择的分量的增益,以便在步骤D13中得到低频的合成信号,并将其加入在步骤D14中得到的高频的合成信号,从而在步骤D15中得到普通合成信号。
关于图6,阐释了本发明的一个可能性实施方案,其中,解码器DECOD(例如,包括诸如适当的编程存储器MEM以及与该存储器配合的处理器PROC的软件和硬件,或者作为选择,比如ASIC这样的元件或其它元件,以及通信接口COM)嵌入诸如电话TEL的电信装置中,以便实施图4的方法,该解码器利用从编码器ENCOD收到的语音信息。例如,该编码器包括软件和硬件,其例如是用于确定语音信息的适当的编程存储器MEM'以及与该存储器配合的处理器PROC',或者作为选择,比如ASIC这样的元件或其它元件,以及通信接口COM'。把编码器ENCOD嵌入电信装置中,比如电话TEL'中。
当然,本发明不仅限于上文通过示例的方式所述的实施例;本发明延伸到其它变体。
因此,应理解的是,语音信息例如可采用不同形式作为变体。在上文所述的示例中,这可能是单个比特的二进制值(话音或非话音),或者是涉及到一个参数的多位比特,比如所述参数为信号频谱的平坦度或者能够(定量或定性地)描述话音度特征的任何其它参数。此外,可通过例如基于相关程度的解码来确定该参数,可以在识别基音周期时测量所述相关程度。
上文通过示例的方式展示了一个实施例,其包括把来自前一个有效帧的信号分割为高频段和低频段,尤其是在低频段选择频谱分量。尽管这种实施方案因为降低了处理的复杂度而有利,但是,这种实施方案是可选的。作为选择,可考虑在有效信号的整个频谱,执行就本发明意义而言的在语音信息的协助下的替换帧的方法。
上文描述了一个实施例,其中,本发明是在通过重叠相加的变换编码的情况下实现的。当然,此类型的方法可适合于任何其它类型的编码(尤其是CELP)。
应注意的是,在通过重叠相加进行变换编码的情况下(其中,因为重叠,所以通常在至少两个帧的持续时间内构成合成信号),可通过暂时加权残余而由(在有效信号与峰值之和之间的)残余得到所述噪音信号。例如,可通过重叠窗口加权,正如通过重叠进行变化而编码/解码的普通情况那样。
应理解的是,施加根据语音信息的增益加入了另一项权重,该时间基于话音度。
Claims (16)
1.处理包括一系列样本的数字音频信号的方法,所述一系列样本分布在连续帧中,在解码所述信号以便替换解码过程中丢失的至少一个信号帧的情况下,执行该方法,
该方法包括以下步骤:
a)在解码时可用的有效信号段(Nc)中,搜索信号中的至少一个周期,所述周期是根据所述有效信号确定的,
b)分析所述周期中的信号,从而确定所述周期中信号的频谱分量,
c)通过从下列部分构成合成信号来合成丢失帧的至少一个替代帧:
-增加从所述确定的频谱分量中选择的分量,以及,
-加入增加分量的噪音,
其中,根据解码时得到的有效信号的语音信息加权加入增加分量的噪音的量。
2.根据权利要求1所述的方法,其中,在有效信号有声的情况下,以更小的增益加权加入增加分量的噪音信号。
3.根据权利要求2所述的方法,其中,通过有效信号与增加的所选分量之间的残余得到噪音信号。
4.根据前述权利要求中任一项所述的方法,其中,在有效信号有声的情况下,所选择的用于增加的分量的数量较大。
5.根据前述权利要求中任一项所述的方法,其中,在步骤a)中,在有效信号有声的情况下,在更长长度的有效信号段(Nc)内搜索周期。
6.根据前述权利要求中任一项所述的方法,其中,在比特流中提供语音信息,所述比特流是在解码过程中接收的,且与包括一系列样本的所述信号相对应,所述一系列样本分布在连续帧中。
而且,在解码过程中出现帧丢失的情况下,采用包含在丢失帧之前的有效信号帧中的语音信息。
7.根据权利要求6所述的方法,其中,语音信息来自产生比特流并确定语音信息的编码器,而且,以比特流中的单个比特编码语音信息。
8.根据权利要求7与权利要求2相结合所述的方法,其中,如果信号为话音信号,增益值为0.25,否则为1。
9.根据权利要求6所述的方法,其中,语音信息来自确定频谱平坦度值(Pl)的编码器,频谱平坦度值是通过比较信号频谱分量的振幅与背景噪音得到的,所述编码器以二进制形式在比特流中传递所述值。
10.根据权利要求7与权利要求2相结合所述的方法,其中,根据所述平坦度值确定增益值。
11.根据权利要求9和10中任一项所述的方法,其中,将所述平坦度值与阈值作比较,以便:
-如果平坦度值低于阈值,确定信号则为话音信号,以及,
-否则,确定信号为非话音信号。
12.根据权利要求7和11中任一项与权利要求4相结合所述的方法,其中:
-如果信号为话音信号,则选择振幅大于相邻第一频谱分量振幅的频谱分量,以及相邻第一频谱分量,以及,
-否则,只选择振幅大于相邻第一频谱分量振幅的频谱分量。
13.根据权利要求7和11之中一个权利要求与权利要求5相结合所述的方法,其中:
-如果信号为话音信号,在持续时间大于30毫秒的有效信号段内搜索周期,
-如果不是,在持续时间小于30毫秒的有效信号段内搜索周期。
14.计算机程序,其特征在于,包括在由处理器执行该程序时实施根据权利要求1至13之中任一个权利要求所述的方法的指令。
15.用于解码包括一系列样本的数字音频信号的设备,所述一系列样本分布在连续帧中,该设备包括用于替换至少一个丢失的信号帧的装置(MEM、PROC),通过下列步骤进行替换:
a)在解码时可用的有效信号段(Nc)中,搜索信号中的至少一个周期,所述周期是根据所述有效信号确定的,
b)分析所述周期中的信号,从而确定所述周期中信号的频谱分量,
c)通过构成合成信号来合成替代丢失帧的至少一帧,所述合成信号是通过下列部分构成的::
-从所述确定频谱分量中选择的增加分量,以及,
-加入增加分量的噪音,
根据解码时得到的有效信号的语音信对加入增加分量的噪音的量加权。
16.用于编码数字音频信号的设备,包括装置(MEM'、PROC'),其用于提供在编码装置传送的比特流中的语音信息、区分可能变为话音的语音信号与音乐信号,以及在语音信号的情况下:
-确定信号为话音信号或普通信号,从而将其视为普通话音信号,或者,
-确定信号为不活跃的、瞬态的或者非话音信号,从而将其视为普通非话音信号。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1453912A FR3020732A1 (fr) | 2014-04-30 | 2014-04-30 | Correction de perte de trame perfectionnee avec information de voisement |
FR1453912 | 2014-04-30 | ||
PCT/FR2015/051127 WO2015166175A1 (fr) | 2014-04-30 | 2015-04-24 | Correction de perte de trame perfectionnée avec information de voisement |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106463140A true CN106463140A (zh) | 2017-02-22 |
CN106463140B CN106463140B (zh) | 2019-07-26 |
Family
ID=50976942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580023682.0A Active CN106463140B (zh) | 2014-04-30 | 2015-04-24 | 具有语音信息的改进型帧丢失矫正 |
Country Status (12)
Country | Link |
---|---|
US (1) | US10431226B2 (zh) |
EP (1) | EP3138095B1 (zh) |
JP (1) | JP6584431B2 (zh) |
KR (3) | KR20170003596A (zh) |
CN (1) | CN106463140B (zh) |
BR (1) | BR112016024358B1 (zh) |
ES (1) | ES2743197T3 (zh) |
FR (1) | FR3020732A1 (zh) |
MX (1) | MX368973B (zh) |
RU (1) | RU2682851C2 (zh) |
WO (1) | WO2015166175A1 (zh) |
ZA (1) | ZA201606984B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111883171A (zh) * | 2020-04-08 | 2020-11-03 | 珠海市杰理科技股份有限公司 | 音频信号的处理方法及系统、音频处理芯片、蓝牙设备 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR3020732A1 (fr) * | 2014-04-30 | 2015-11-06 | Orange | Correction de perte de trame perfectionnee avec information de voisement |
CN108369804A (zh) * | 2015-12-07 | 2018-08-03 | 雅马哈株式会社 | 语音交互设备和语音交互方法 |
BR112021025420A2 (pt) * | 2019-07-08 | 2022-02-01 | Voiceage Corp | Método e sistema para codificar metadados em fluxos de áudio e para adaptação de taxa de bits intraobjeto e interobjeto flexível |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030028386A1 (en) * | 2001-04-02 | 2003-02-06 | Zinser Richard L. | Compressed domain universal transcoder |
CN1781141A (zh) * | 2003-05-08 | 2006-05-31 | 杜比实验室特许公司 | 使用频谱分量耦合和频谱分量再生的改进音频编码系统和方法 |
US20060149539A1 (en) * | 2002-11-27 | 2006-07-06 | Koninklijke Philips Electronics N.V. | Method for separating a sound frame into sinusoidal components and residual noise |
US20080027711A1 (en) * | 2006-07-31 | 2008-01-31 | Vivek Rajendran | Systems and methods for including an identifier with a packet associated with a speech signal |
WO2008072913A1 (en) * | 2006-12-14 | 2008-06-19 | Samsung Electronics Co., Ltd. | Method and apparatus to determine encoding mode of audio signal and method and apparatus to encode and/or decode audio signal using the encoding mode determination method and apparatus |
WO2010127617A1 (en) * | 2009-05-05 | 2010-11-11 | Huawei Technologies Co., Ltd. | Methods for receiving digital audio signal using processor and correcting lost data in digital audio signal |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR1350845A (fr) | 1962-12-20 | 1964-01-31 | Procédé de classement visible sans index | |
FR1353551A (fr) | 1963-01-14 | 1964-02-28 | Fenêtre destinée en particulier à être montée sur des roulottes, des caravanes ou installations analogues | |
US5504833A (en) * | 1991-08-22 | 1996-04-02 | George; E. Bryan | Speech approximation using successive sinusoidal overlap-add models and pitch-scale modifications |
US5956674A (en) * | 1995-12-01 | 1999-09-21 | Digital Theater Systems, Inc. | Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels |
US5799271A (en) * | 1996-06-24 | 1998-08-25 | Electronics And Telecommunications Research Institute | Method for reducing pitch search time for vocoder |
JP3364827B2 (ja) * | 1996-10-18 | 2003-01-08 | 三菱電機株式会社 | 音声符号化方法、音声復号化方法及び音声符号化復号化方法並びにそれ等の装置 |
WO1999010719A1 (en) * | 1997-08-29 | 1999-03-04 | The Regents Of The University Of California | Method and apparatus for hybrid coding of speech at 4kbps |
ES2247741T3 (es) * | 1998-01-22 | 2006-03-01 | Deutsche Telekom Ag | Metodo para conmutacion controlada por señales entre esquemas de codificacion de audio. |
US6640209B1 (en) * | 1999-02-26 | 2003-10-28 | Qualcomm Incorporated | Closed-loop multimode mixed-domain linear prediction (MDLP) speech coder |
US6138089A (en) * | 1999-03-10 | 2000-10-24 | Infolio, Inc. | Apparatus system and method for speech compression and decompression |
US6691092B1 (en) * | 1999-04-05 | 2004-02-10 | Hughes Electronics Corporation | Voicing measure as an estimate of signal periodicity for a frequency domain interpolative speech codec system |
US6912496B1 (en) * | 1999-10-26 | 2005-06-28 | Silicon Automation Systems | Preprocessing modules for quality enhancement of MBE coders and decoders for signals having transmission path characteristics |
US7016833B2 (en) * | 2000-11-21 | 2006-03-21 | The Regents Of The University Of California | Speaker verification system using acoustic data and non-acoustic data |
JP4089347B2 (ja) * | 2002-08-21 | 2008-05-28 | 沖電気工業株式会社 | 音声復号装置 |
US7970606B2 (en) * | 2002-11-13 | 2011-06-28 | Digital Voice Systems, Inc. | Interoperable vocoder |
DE10254612A1 (de) * | 2002-11-22 | 2004-06-17 | Humboldt-Universität Zu Berlin | Verfahren zur Ermittlung spezifisch relevanter akustischer Merkmale von Schallsignalen für die Analyse unbekannter Schallsignale einer Schallerzeugung |
JP3963850B2 (ja) * | 2003-03-11 | 2007-08-22 | 富士通株式会社 | 音声区間検出装置 |
US7825321B2 (en) * | 2005-01-27 | 2010-11-02 | Synchro Arts Limited | Methods and apparatus for use in sound modification comparing time alignment data from sampled audio signals |
US7930176B2 (en) * | 2005-05-20 | 2011-04-19 | Broadcom Corporation | Packet loss concealment for block-independent speech codecs |
KR100744352B1 (ko) * | 2005-08-01 | 2007-07-30 | 삼성전자주식회사 | 음성 신호의 하모닉 성분을 이용한 유/무성음 분리 정보를추출하는 방법 및 그 장치 |
US7720677B2 (en) * | 2005-11-03 | 2010-05-18 | Coding Technologies Ab | Time warped modified transform coding of audio signals |
US8255207B2 (en) * | 2005-12-28 | 2012-08-28 | Voiceage Corporation | Method and device for efficient frame erasure concealment in speech codecs |
WO2008063034A1 (en) * | 2006-11-24 | 2008-05-29 | Lg Electronics Inc. | Method for encoding and decoding object-based audio signal and apparatus thereof |
US8060363B2 (en) * | 2007-02-13 | 2011-11-15 | Nokia Corporation | Audio signal encoding |
US8990073B2 (en) * | 2007-06-22 | 2015-03-24 | Voiceage Corporation | Method and device for sound activity detection and sound signal classification |
CN100524462C (zh) * | 2007-09-15 | 2009-08-05 | 华为技术有限公司 | 对高带信号进行帧错误隐藏的方法及装置 |
US20090180531A1 (en) * | 2008-01-07 | 2009-07-16 | Radlive Ltd. | codec with plc capabilities |
US8036891B2 (en) * | 2008-06-26 | 2011-10-11 | California State University, Fresno | Methods of identification using voice sound analysis |
CN102089814B (zh) * | 2008-07-11 | 2012-11-21 | 弗劳恩霍夫应用研究促进协会 | 对编码的音频信号进行解码的设备和方法 |
FR2966634A1 (fr) * | 2010-10-22 | 2012-04-27 | France Telecom | Codage/decodage parametrique stereo ameliore pour les canaux en opposition de phase |
WO2014036263A1 (en) * | 2012-08-29 | 2014-03-06 | Brown University | An accurate analysis tool and method for the quantitative acoustic assessment of infant cry |
US8744854B1 (en) * | 2012-09-24 | 2014-06-03 | Chengjun Julian Chen | System and method for voice transformation |
FR3001593A1 (fr) * | 2013-01-31 | 2014-08-01 | France Telecom | Correction perfectionnee de perte de trame au decodage d'un signal. |
US9564141B2 (en) * | 2014-02-13 | 2017-02-07 | Qualcomm Incorporated | Harmonic bandwidth extension of audio signals |
US9697843B2 (en) * | 2014-04-30 | 2017-07-04 | Qualcomm Incorporated | High band excitation signal generation |
FR3020732A1 (fr) * | 2014-04-30 | 2015-11-06 | Orange | Correction de perte de trame perfectionnee avec information de voisement |
-
2014
- 2014-04-30 FR FR1453912A patent/FR3020732A1/fr active Pending
-
2015
- 2015-04-24 US US15/303,405 patent/US10431226B2/en active Active
- 2015-04-24 KR KR1020167033307A patent/KR20170003596A/ko active Application Filing
- 2015-04-24 KR KR1020237028912A patent/KR20230129581A/ko active Application Filing
- 2015-04-24 JP JP2016565232A patent/JP6584431B2/ja active Active
- 2015-04-24 MX MX2016014237A patent/MX368973B/es active IP Right Grant
- 2015-04-24 ES ES15725801T patent/ES2743197T3/es active Active
- 2015-04-24 EP EP15725801.3A patent/EP3138095B1/fr active Active
- 2015-04-24 KR KR1020227011341A patent/KR20220045260A/ko not_active IP Right Cessation
- 2015-04-24 CN CN201580023682.0A patent/CN106463140B/zh active Active
- 2015-04-24 BR BR112016024358-7A patent/BR112016024358B1/pt active IP Right Grant
- 2015-04-24 RU RU2016146916A patent/RU2682851C2/ru active
- 2015-04-24 WO PCT/FR2015/051127 patent/WO2015166175A1/fr active Application Filing
-
2016
- 2016-10-11 ZA ZA2016/06984A patent/ZA201606984B/en unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030028386A1 (en) * | 2001-04-02 | 2003-02-06 | Zinser Richard L. | Compressed domain universal transcoder |
US20060149539A1 (en) * | 2002-11-27 | 2006-07-06 | Koninklijke Philips Electronics N.V. | Method for separating a sound frame into sinusoidal components and residual noise |
CN1781141A (zh) * | 2003-05-08 | 2006-05-31 | 杜比实验室特许公司 | 使用频谱分量耦合和频谱分量再生的改进音频编码系统和方法 |
US20080027711A1 (en) * | 2006-07-31 | 2008-01-31 | Vivek Rajendran | Systems and methods for including an identifier with a packet associated with a speech signal |
WO2008072913A1 (en) * | 2006-12-14 | 2008-06-19 | Samsung Electronics Co., Ltd. | Method and apparatus to determine encoding mode of audio signal and method and apparatus to encode and/or decode audio signal using the encoding mode determination method and apparatus |
WO2010127617A1 (en) * | 2009-05-05 | 2010-11-11 | Huawei Technologies Co., Ltd. | Methods for receiving digital audio signal using processor and correcting lost data in digital audio signal |
Non-Patent Citations (2)
Title |
---|
ITU-T STANDARD: "Pulse code modulation (PCM) of voice frequencies,APPENDIX I:A high quality low-complexity algorithm for packet loss concealment with G.711", 《INTERNATIONAL TELECOMMUNICATION UNION》 * |
VIPUL N.PARIKH ET AL.: "Frame Erasure Concealment Using Sinusoidal Analysis-Synthesis and Its Application to MDCT-Based Codecs", 《2000 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING. PROCEEDINGS (CAT. NO.00CH37100)》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111883171A (zh) * | 2020-04-08 | 2020-11-03 | 珠海市杰理科技股份有限公司 | 音频信号的处理方法及系统、音频处理芯片、蓝牙设备 |
CN111883171B (zh) * | 2020-04-08 | 2023-09-22 | 珠海市杰理科技股份有限公司 | 音频信号的处理方法及系统、音频处理芯片、蓝牙设备 |
Also Published As
Publication number | Publication date |
---|---|
EP3138095A1 (fr) | 2017-03-08 |
KR20170003596A (ko) | 2017-01-09 |
RU2682851C2 (ru) | 2019-03-21 |
MX2016014237A (es) | 2017-06-06 |
KR20220045260A (ko) | 2022-04-12 |
US20170040021A1 (en) | 2017-02-09 |
US10431226B2 (en) | 2019-10-01 |
ZA201606984B (en) | 2018-08-30 |
BR112016024358A2 (pt) | 2017-08-15 |
FR3020732A1 (fr) | 2015-11-06 |
JP2017515155A (ja) | 2017-06-08 |
ES2743197T3 (es) | 2020-02-18 |
WO2015166175A1 (fr) | 2015-11-05 |
RU2016146916A (ru) | 2018-05-31 |
KR20230129581A (ko) | 2023-09-08 |
MX368973B (es) | 2019-10-23 |
CN106463140B (zh) | 2019-07-26 |
JP6584431B2 (ja) | 2019-10-02 |
RU2016146916A3 (zh) | 2018-10-26 |
BR112016024358B1 (pt) | 2022-09-27 |
EP3138095B1 (fr) | 2019-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1747554B1 (en) | Audio encoding with different coding frame lengths | |
RU2441286C2 (ru) | Способ и устройство для обнаружения звуковой активности и классификации звуковых сигналов | |
DE60024123T2 (de) | Lpc-harmonischer sprachkodierer mit überrahmenformat | |
CN101681627B (zh) | 使用音调规则化及非音调规则化译码的信号编码方法及设备 | |
CN103548081B (zh) | 噪声稳健语音译码模式分类 | |
KR101797033B1 (ko) | 부호화 모드를 이용한 음성신호의 부호화/복호화 장치 및 방법 | |
CN102985969B (zh) | 编码装置、解码装置和编码方法、解码方法 | |
CN104025189B (zh) | 编码语音信号的方法、解码语音信号的方法,及使用其的装置 | |
KR20020052191A (ko) | 음성 분류를 이용한 음성의 가변 비트 속도 켈프 코딩 방법 | |
CN1432176A (zh) | 用于预测量化有声语音的方法和设备 | |
WO2008044164A2 (en) | Pitch lag estimation | |
CN101371296A (zh) | 用于编码和解码信号的设备和方法 | |
CN101281749A (zh) | 可分级的语音和乐音联合编码装置和解码装置 | |
CN1186765C (zh) | 2.3kb/s谐波激励线性预测语音编码方法 | |
CN106463140B (zh) | 具有语音信息的改进型帧丢失矫正 | |
CN115867966A (zh) | 用于确定生成神经网络的参数的方法和装置 | |
CN114550732B (zh) | 一种高频音频信号的编解码方法和相关装置 | |
CN102376306B (zh) | 语音帧等级的获取方法及装置 | |
JP2002544551A (ja) | 遷移音声フレームのマルチパルス補間的符号化 | |
WO2005041169A2 (en) | Method and system for speech coding | |
CN1244090C (zh) | 具备背景噪声再现的语音编码 | |
CN1650156A (zh) | 合成分析语音编码器中用于进行语音编码的方法和装置 | |
KR101798084B1 (ko) | 부호화 모드를 이용한 음성신호의 부호화/복호화 장치 및 방법 | |
KR100757366B1 (ko) | Zinc 함수를 이용한 음성 부호화기 및 그의 표준파형추출 방법 | |
JPH07104793A (ja) | 音声信号の符号化装置及び復号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |