CN111602197A - 解码装置、编码装置、它们的方法以及程序 - Google Patents
解码装置、编码装置、它们的方法以及程序 Download PDFInfo
- Publication number
- CN111602197A CN111602197A CN201880086667.4A CN201880086667A CN111602197A CN 111602197 A CN111602197 A CN 111602197A CN 201880086667 A CN201880086667 A CN 201880086667A CN 111602197 A CN111602197 A CN 111602197A
- Authority
- CN
- China
- Prior art keywords
- fricative
- spectrum
- unit
- sequence
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 92
- 238000001228 spectrum Methods 0.000 claims abstract description 541
- 230000007480 spreading Effects 0.000 claims abstract description 91
- 239000013598 vector Substances 0.000 claims description 127
- 230000003595 spectral effect Effects 0.000 claims description 91
- 230000005236 sound signal Effects 0.000 claims description 58
- 238000012545 processing Methods 0.000 claims description 56
- 230000008569 process Effects 0.000 claims description 46
- 238000006243 chemical reaction Methods 0.000 description 21
- 230000004048 modification Effects 0.000 description 14
- 238000012986 modification Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 230000006866 deterioration Effects 0.000 description 8
- 239000000284 extract Substances 0.000 description 8
- 238000003825 pressing Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 230000010076 replication Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
- G10L21/0388—Details of processing therefor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/032—Quantisation or dequantisation of spectral components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
解码装置,包括:频带扩展部(25),通过在与频域的样本串相比高域侧,配置基于通过解码得到的频域的样本串中包含的K个样本的样本,得到解码扩展频谱序列;以及摩擦音调整解除部(23),在表示是否是被输入的摩擦音性的音的信息表示是摩擦音性的音的情况下,得到将解码扩展频谱序列中的与规定的频率相比位于低域侧的低域侧频率样本串的全部或者一部分、和与其相同数目的、解码扩展频谱序列中的与规定的频率相比位于高域侧的高域侧频率样本串的全部或者一部分进行了调换的结果,作为解码音信号的频谱序列。
Description
技术领域
本发明涉及音信号的编码技术等信号处理技术中,将源自音信号的频谱的样本串进行编码或者解码的技术。
背景技术
在将音信号压缩编码时,为了提高其压缩效率,历来进行将音信号以频谱串来表现,对于该频谱串进行考虑了听觉的重要度的比特分配而进行编码。考虑了听觉的重要度的比特分配通过对频谱串中的与低频率对应的样本优先分配比特等来进行。其结果,有时采用如下结构:对频谱串中的与高频率对应的样本完全不分配比特,关于与高频率对应的样本串的直接的信息在编码装置中完全不进行编码。由于在与该编码装置对应的解码装置中,将频谱串中的与高频率对应的样本值设为0而得到解码音,所以有时使用在非专利文献1中记载的那样的频带扩展技术,即,在解码装置中将一边调节与低频率对应的样本串的振幅一边复制的结果作为与高频率对应的样本串的解码结果输出的技术。这是基于人在收听音时对于高频率的灵敏度低,若能够听到低频率的倍音则没有不适感的事实。通过将在高频带中节约的比特数分配给低频带,可以高精度地表现对人的听觉特性更重要的信息。这样,音信号的编码方式通常被设计为对低频率的频谱分配更多比特数。
现有技术文献
非专利文献
非专利文献1:M.Arora,J.Lee,and S.Park,“High Quality Blind BandwidthExtension of Audio for Portable Player Applications,”AES 120th Convention,Paris,France,2006.
发明内容
发明要解决的课题
按照非专利文献1的频带扩展技术,对于自然音中的大多数音,能够从解码装置得到的解码音得到听觉品质的劣化少的频带扩展音。但是,在自然音中还存在人的发话语音中的摩擦音那样能量集中在高频率而在低频率中基本上没有能量那样的音,若对于那样的音信号在编码装置中进行如上述那样的比特数的分配的编码,则特别是在比特率低的条件下,从解码装置得到该音的主要频率成分失真较大的解码音,若通过非专利文献1的频带扩展技术从解码音得到频带扩展音,则存在频带扩展音在听觉上劣化的课题。
因此,本发明的目的是提供以解码侧的频带扩展为前提的在编码侧进行压缩编码的编码装置、与解码侧的频带扩展相伴进行解码的解码装置、它们的方法以及程序,使得摩擦音等音信号在听觉上的劣化也变少。
用于解决课题的手段
本发明的一个方式的解码装置包括:解码部,将规定的时间区间的帧单位的频谱码且为对高域侧的一部分不分配比特的频谱码解码,得到频域的样本串;频带扩展部,通过在与解码部解码频谱码得到的频域的样本串相比高域侧,配置基于解码部解码频谱码得到的频域的样本串中包含的K个样本的样本,得到解码扩展频谱序列,其中K为2以上的整数;以及摩擦音调整解除部,在表示是否是被输入的摩擦音性的音的信息表示是摩擦音性的音的情况下,得到将频带扩展部得到的解码扩展频谱序列中的与规定的频率相比位于低域侧的低域侧频率样本串的全部或者一部分、和与其相同数目的、频带扩展部得到的解码扩展频谱序列中的与规定的频率相比位于高域侧的高域侧频率样本串的全部或者一部分进行了调换的结果,作为解码音信号的频谱序列,在上述以外的情况下,得到频带扩展部得到的解码扩展频谱序列直接作为解码音信号的频谱序列。
本发明的一个方式的解码装置,将规定的时间区间的帧单位的频谱码解码而得到解码音信号的频谱序列,包括:解码部,在表示是否是被输入的摩擦音性的音的信息表示是摩擦音性的音的情况下,设为在频谱码中对低域侧的一部分不分配比特,将频谱码解码得到频域的频谱序列,在上述以外的情况下,设为在频谱码中对高域侧的一部分不分配比特,将频谱码解码得到频域的频谱序列;以及摩擦音对应频带扩展部,在表示是否是被输入的摩擦音性的音的信息表示是摩擦音性的音的情况下,对解码部得到的频域的频谱序列进行向低域侧的频带扩展,得到解码音信号的频谱序列,在上述以外的情况下,对解码部得到的频域的频谱序列进行向高域侧的频带扩展,得到解码音信号的频谱序列。
本发明的一个方式的编码装置,包括编码部,通过对高域侧的一部分不分配比特的编码处理,将与规定的时间区间的帧单位的音信号对应的频率的样本串编码得到频谱码,编码装置包括:摩擦音判定部,判定音信号是否是摩擦音性的音;以及,摩擦音调整部,在摩擦音判定部判定为是摩擦音性的音的情况下,得到将音信号的频谱序列中的与规定的频率相比位于低域侧的低域侧频谱序列的全部或者一部分、和与其相同数目的、频谱序列中的与规定的频率相比位于高域侧的高域侧频谱序列的全部或者一部分进行了调换后的结果,作为已调整频谱序列,在上述以外的情况下,得到与音信号对应的频谱序列直接作为已调整频谱序列,编码部将摩擦音调整部得到的已调整频谱序列作为与音信号对应的频率的样本串进行编码,得到频谱码编码装置还包括频带扩展增益编码部,所述频带扩展增益编码部存储多个码、和与码的每一个对应的增益候选向量,增益候选向量的每一个包含K个增益候选值,得到与增益候选向量对应的码作为频带扩展增益码,并输出,其中所述增益候选向量是,将已调整频谱序列中的编码部分配了比特的K个已调整频谱与增益候选向量中包含的K个增益候选值相乘而得到的K个值的绝对值的序列、与已调整频谱序列中的编码部没有分配比特的K个已调整频谱的绝对值的序列的误差为最小的增益候选向量,其中K是2以上的整数。
发明的效果
根据编码装置以及解码装置,能够进行编码以及解码,使得摩擦音等音信号在听觉上的劣化变少。
附图说明
图1是表示第一实施方式的编码装置的例子的方框图。
图2是表示第一实施方式的编码方法的例子的流程图。
图3是表示第一实施方式的解码装置的例子的方框图。
图4是表示第一实施方式的解码方法的例子的流程图。
图5是用于说明摩擦音调整处理的例子的图。
图6是用于说明摩擦音调整处理的例子的图。
图7是用于说明摩擦音调整处理的例子的图。
图8是用于说明摩擦音调整处理的例子的图。
图9是表示第二实施方式的编码装置的例子的方框图。
图10是表示第二实施方式的编码方法的例子的流程图。
图11是表示第二实施方式的解码装置的例子的方框图。
图12是表示第二实施方式的解码方法的例子的流程图。
图13是用于说明频带扩展处理以及摩擦音调整解除处理的例子的图。
图14是用于说明频带扩展处理以及摩擦音调整解除处理的例子的图。
具体实施方式
<第一实施方式>
第一实施方式是成为作为本发明的一个实施方式的第二实施方式的前提的实施方式。
第一实施方式的系统包含编码装置以及解码装置。编码装置将以规定的时间长度的帧单位输入的时域的音信号进行编码,得到码,并输出。编码装置输出的码被输入到解码装置。解码装置将输入的码解码,输出帧单位的时域的音信号。被输入到编码装置的音信号例如是,通过麦克风将语音或音乐等音拾音,进行AD变换而得到的语音信号或者音响信号。而且,解码装置输出的音信号例如通过被DA变换,用扬声器再现而能够收听。
《编码装置》
参照图1,说明第一实施方式的编码装置的处理过程。如图1中例示的那样,第一实施方式的编码装置包括:频域变换部11、摩擦音判定部12、摩擦音调整部13、编码部14、复用部15。被输入到编码装置的时域的音信号被输入到频域变换部11。编码装置在各部中进行以规定的时间长度的帧单位的处理。第一实施方式的编码方法通过编码装置的各部进行以下以及图2中例示的步骤S11至步骤S15的处理来实现。
而且,也可以设为不是将时域的音信号而是将频域的音信号输入到编码装置的结构。在设为该结构的情况下,编码装置可以不包含频域变换部11,只要将规定的时间长度的帧单位的频域的音信号输入到摩擦音判定部12和摩擦音调整部13即可。
[频域变换部11]
在频域变换部11中输入被输入到编码装置的时域的音信号。频域变换部11以规定的时间长度的帧单位,例如通过修正离散余弦变换(MDCT)等将输入的时域的音信号变换为频域的N点的频谱序列X0,…,XN-1后输出(步骤S11)。N是正整数,例如为N=32等。而且,对X以下标方式附加的添标是从频率低的频谱开始按顺序分配的编号。作为向频域的变换方法,可以使用不是MDCT的各种公知的变换方法等(例如,离散傅里叶变换、短时傅里叶变换等)。
频域变换部11将通过变换得到的频谱序列输出到摩擦音判定部12以及摩擦音调整部13。而且,频域变换部11也可以为了听觉性的加权而对通过变换得到的频谱序列施加滤波处理和压扩处理,将滤波处理后或压扩处理后的序列作为频谱序列X0,…,XN-1输出。
[摩擦音判定部12(摩擦音判定装置)]
在摩擦音判定部12中,例如被输入频域变换部11输出的频谱序列X0,…,XN-1。摩擦音判定部12以帧单位,使用所输入的频谱序列X0,…,XN-1,判定音信号是否为摩擦音性的音,将其判定结果作为摩擦音判定信息输出到摩擦音调整部13以及复用部15(步骤S12)。作为摩擦音判定信息,例如使用1比特的信息即可。即,摩擦音判定部12以帧单位,在音信号为摩擦音性的音的情况下,作为表示是摩擦音性的音的信息,输出比特"1"作为摩擦音判定信息即可,在该帧的音信号不是摩擦音性的音的情况下,作为表示不是摩擦音性的音的信息,输出比特"0"作为摩擦音判定信息即可。
摩擦音判定部12例如求出输入的频谱序列X0,…,XN-1中的位于高域侧的样本的平均能量相对于输入的频谱序列X0,…,XN-1中的位于低域侧的样本的平均能量的比越大则值越大的指标作为该帧为摩擦音性的音的指标。摩擦音判定部12在求出的指标大于预先决定的阈值或者为阈值以上的情况下判定为摩擦音性的音,在并非如此的情况下,即求出的指标为预先决定的阈值以下或者小于阈值的情况下判定为不是摩擦音性的音。
若将大于1且小于N-1的整数值设为MA,将大于MA且小于N的整数值设为MB,则摩擦音判定部12例如将频谱序列X0,…,XN-1中的样本号为MA以下的样本即X0,…,XMA设为位于低域侧的样本,将频谱序列X0,…,XN-1中的样本号为MB以上的样本即XMB,…,XN-1设为位于高域侧的样本,将X0,…,XMA的全部或者一部分的样本的值的绝对值和的平均值或者平方和的平均值设为低域侧平均能量,将XMB,…,XN-1的全部或者一部分的样本的值的绝对值和的平均值或者平方和的平均值设为高域侧平均能量,求出将高域侧平均能量除以低域侧平均能量而得到的值作为是摩擦音性的音的指标。
而且,可以设定整数值MA,使得在摩擦音判定部12成为低域侧平均能量的计算对象的低域侧的样本被包含在后述的摩擦音调整部13中的低域侧频谱序列中。即,在摩擦音判定部12中使用的整数值MA可以设为不足后述的摩擦音调整部13的整数值M的值。而且,可以设定整数值MB,使得在摩擦音判定部12中成为高域侧平均能量的计算对象的高域侧的样本被包含在后述的摩擦音调整部13中的高域侧频谱序列中。即,在摩擦音判定部12中使用的整数值MB可以设为后述的摩擦音调整部13的整数值M以上的值。
在将位于低域侧的样本X0,…,XMA中的一部分的样本的值用于上述的指标的计算的情况下,可以从X0,…,XMA中的频率最低的侧将1个或者多个样本的值用于上述的指标的计算。即,可以将α设为不足MA的正整数,将X0,…,Xα的样本的值的绝对值和的平均值或者平方和的平均值设为低域侧平均能量。该α的值根据事先的实验等预先决定,使得若X0,…,Xα为摩擦音性的音以外的音则频谱变为通常能够存在的范围即可。
在后述的编码部14中的编码处理中,由于在编码处理中得到的比特数的最大值的制约,有时对已调整频谱序列中的从最高的频率开始的数个样本完全不分配比特。在该情况下,有时无论进行了还是未进行后述的摩擦音调整部13中的频谱的调整处理,对频谱序列中的从最高的频率开始的β个(β为正整数)样本完全不分配比特。在这样的情况下,可以将XMB,…,XN-1中除去了从最高的频率开始β个样本的XMB,…,XN-1-β用于上述的指标的计算。即,可以将XMB,…,XN-1-β的样本的值的绝对值和的平均值或者平方和的平均值设为高域侧平均能量。而且,该β的值与事先设计的编码部14进行的编码处理和摩擦音调整部13进行的调整处理对应地预先决定即可。
图5和图6是N=32、M=20的情况下的后述摩擦音调整部13的例子。在这些例子中,频谱序列中的X0,…,X19被设为低域侧频谱序列,频谱序列中的X20,…,X31被设为高域侧频谱序列。因此,摩擦音判定部12将MA设为小于20的值、例如19,将MB设为20以上的值、例如20,将X0,…,X19的全部或者一部分的样本的值的绝对值和的平均值或者平方和的平均值设为低域侧平均能量,将X20,…,X31的全部或者一部分的样本的值的绝对值和的平均值或者平方和的平均值设为高域侧平均能量即可。这里,在设为α=8的情况下,摩擦音判定部12将X0,…,X8的样本的值的绝对值和的平均值或者平方和的平均值设为低域侧平均能量即可。并且这里在设为β=4的情况下,摩擦音判定部12将X20,…,X27的样本的值的绝对值和的平均值或者平方和的平均值设为高域侧平均能量即可。
而且,如图1中以虚线表示的那样,在摩擦音判定部12中不是输入频域变换部11输出的频谱序列而是输入被输入到编码装置的时域的音信号,以帧单位,使用被输入的时域的音信号,判定该帧的音信号是否为摩擦音性的音。该判定例如通过如下方式进行即可:求被输入的时域的音信号的零交叉数作为该帧为摩擦音性的音的指标,在求出的指标大于预先决定的阈值或者为阈值以上的情况下判定为是摩擦音性的音,在并非如此的情况下、即求出的指标为预先决定的阈值以下或者小于阈值的情况下,判定为不是摩擦音性的音。
[摩擦音调整部13]
在摩擦音调整部13中被输入频域变换部11输出的频谱序列X0,…,XN-1、以及摩擦音判定部12输出的摩擦音判定信息。摩擦音调整部13以帧单位,在被输入的摩擦音判定信息表示是摩擦音性的音的情况下对输入的频谱序列X0,…,XN-1进行以下的频谱的调整处理而得到已调整频谱序列Y0,…,YN-1,将得到的已调整频谱序列Y0,…,YN-1输出到编码部14,在摩擦音判定信息表示不是摩擦音性的音的情况下将频谱序列X0,…,XN-1直接作为已调整频谱序列Y0,…,YN-1输出到编码部14(步骤S13)。
若将大于1且小于N的整数值设为M,则例如如果将频谱序列X0,…,XN-1中的样本号不足M的样本即X0,…,XM-1的样本群设为低域侧频谱序列,将频谱序列X0,…,XN-1中的样本号为M以上的样本即XM,…,XN-1的样本群设为高域侧频谱序列,则在摩擦音判定信息表示是摩擦音性的音的情况下摩擦音调整部13进行的调整处理是以下处理,即,得到将低域侧频谱序列X0,…,XM-1的全部或者一部分的样本、与和其相同数目的高域侧频谱序列XM,…,XN-1的全部或者一部分的样本进行了调换后的结果,作为已调整频谱序列Y0,…,YN-1。以下,例示摩擦音调整部13进行的调整处理。作为摩擦音调整部13进行的调整处理,可以有包含以下例示的内容的各种处理,但是预先决定进行哪些处理。
〔摩擦音调整部13进行的调整处理的例子1〕
在摩擦音判定信息表示是摩擦音性的音的情况下,例如,摩擦音调整部13通过进行下述的步骤1-1至步骤1-6,得到已调整频谱序列Y0,…,YN-1。而且,下述的步骤1-1至步骤1-6为了容易理解地表示摩擦音调整部13的动作而分为6个步骤,但是分开进行下述的步骤1-1至步骤1-6只不过是一例,摩擦音调整部13也可以通过进行排列的要素的调换或索引的替换等,通过1次的步骤进行与步骤1-1至步骤1-6等效的处理。
步骤1-1:将频谱序列X0,…,XN-1中的样本号不足M的样本的样本群设为低域侧频谱序列X0,…,XM-1,将频谱序列X0,…,XN-1中的样本号为M以上的样本的样本群设为高域侧频谱序列XM,…,XN-1。
步骤1-2:取出在步骤1-1中得到的低域侧频谱序列X0,…,XM-1中包含的C个(C为正整数)的样本,作为向高域侧的调整对象样本。
步骤1-3:取出在步骤1-1中得到的高域侧频谱序列XM,…,XN-1中包含的C个样本,作为向低域侧的调整对象样本。
步骤1-4:得到在步骤1-2中取出了低域侧频谱序列中的向高域侧的调整对象样本的样本位置,配置了在步骤1-3中从高域侧频谱序列取出的向低域侧的调整对象样本的结果,作为低域侧已调整频谱序列Y0,…,YM-1。
步骤1-5:得到在步骤1-3中取出了高域侧频谱序列中的向低域侧的调整对象样本的样本位置,配置了在Step1-2中从低域侧频谱序列取出的向高域侧的调整对象样本的结果,作为高域侧已调整频谱序列YM,…,YN-1。
步骤1-6:将在步骤1-4中得到的低域侧已调整频谱序列Y0,…,YM-1、与在步骤1-5中得到的高域侧已调整频谱序列YM,…,YN-1结合,得到已调整频谱序列Y0,…,YN-1。
在图5中表示N=32、M=20、C=8的情况下的步骤1-1至步骤1-6的例子。摩擦音调整部13首先将频谱序列X0,…,X31中的X0,…,X19设为低域侧频谱序列,将X20,…,X31设为高域侧频谱序列(步骤1-1)。摩擦音调整部13取出低域侧频谱序列X0,…,X19中包含的8个样本X2,…,X9作为向高域侧的调整对象样本(步骤1-2)。摩擦音调整部13取出高域侧频谱序列X20,…,X31中包含的8个样本X20,…,X27作为向低域侧的调整对象样本(步骤1-3)。摩擦音调整部13得到在低域侧频谱序列中的存在过X2,…,X9的样本位置配置了X20,…,X27的结果,作为低域侧已调整频谱序列Y0,…,Y19(步骤1-4)。摩擦音调整部13得到在高域侧频谱序列中的存在过X20,…,X27的样本位置配置了X2,…,X9的结果,作为高域侧已调整频谱序列Y20,…,Y31(步骤1-5)。摩擦音调整部13将低域侧已调整频谱序列Y0,…,Y19和高域侧已调整频谱序列Y20,…,Y31结合,得到已调整频谱序列Y0,…,Y31(步骤1-6)。
〔摩擦音调整部13进行的调整处理的例子2〕
而且,摩擦音调整部13也可以取代上述的步骤1-4而进行下述的步骤1-4'。
步骤1-4’:在步骤1-2中,将取出了低域侧频谱序列中的向高域侧的调整对象样本的剩余的样本向低域侧挤压,在空出的高域侧的样本位置配置在步骤1-3中从高域侧频谱序列取出的向低域侧的调整对象样本,得到其结果作为低域侧已调整频谱序列Y0,…,YM-1。
摩擦音调整部13通过取代步骤1-4而进行步骤1-4',在后级的编码部14中,所对应的频率越低的样本越能够提高听觉的重要度地进行编码。
这样,在摩擦音判定部12判定为是摩擦音性的音的情况下,摩擦音调整部13也可以设为通过低域侧已调整频谱序列和高域侧已调整频谱序列构成已调整频谱序列,将低域侧频谱序列中的一部分样本包含在高域侧已调整频谱序列中,将低域侧频谱序列中的剩余的样本配置在低域侧已调整频谱序列中的低域侧,将高域侧频谱序列中的一部分的样本配置在低域侧已调整频谱序列中的高域侧,将高域侧频谱序列中的剩余的样本包含在高域侧已调整频谱序列中,从而得到已调整频谱序列。
〔摩擦音调整部13进行的调整处理的例子3〕
同样,摩擦音调整部13也可以取代上述的步骤1-5而进行下述的步骤1-5'。
步骤1-5’:将在步骤1-3中取出了高域侧频谱序列中的向低域侧的调整对象样本后的剩余的样本向低域侧挤压,在空出的高域侧的样本位置配置在Step1-2中从低域侧频谱序列取出的向高域侧的调整对象样本,得到其结果作为高域侧已调整频谱序列YM,…,YN-1。
通过摩擦音调整部13取代步骤1-5而进行步骤1-5',在后级的编码部14中,与原来位于低域侧的样本相比,能够将原来位于高域侧的样本提高听觉的重要度而进行编码。
图6中表示N=32、M=20、C=8的情况下的取代步骤1-1至步骤1-6中的步骤1-4而进行步骤1-4'、取代步骤1-5而进行步骤1-5'的例子。摩擦音调整部13首先将频谱序列X0,…,X31中的X0,…,X19设为低域侧频谱序列,将X20,…,X31设为高域侧频谱序列(步骤1-1)。摩擦音调整部13取出低域侧频谱序列X0,…,X19中包含的8个样本X2,…,X9作为向高域侧的调整对象样本(步骤1-2)。摩擦音调整部13取出高域侧频谱序列X20,…,X31中包含的8个样本X20,…,X27作为向低域侧的调整对象样本(步骤1-3)。摩擦音调整部13将低域侧频谱序列中的X10,…,X19向低域侧挤压,在向低域侧挤压后的X10,…,X19的高域侧配置X20,…,X27,得到其结果作为低域侧已调整频谱序列Y0,…,Y19(步骤1-4')。摩擦音调整部13将高域侧频谱序列中的X28,…,X31向低域侧挤压,在向低域侧挤压后的X28,…,X31的高域侧配置X2,…,X9,得到其结果作为高域侧已调整频谱序列Y20,…,Y31(步骤1-5')。摩擦音调整部13将低域侧已调整频谱序列Y0,…,Y19和高域侧已调整频谱序列Y20,…,Y31结合,得到已调整频谱序列Y0,…,Y31(步骤1-6)。
这样,也可以是,在摩擦音判定部12判定为是摩擦音性的音的情况下,摩擦音调整部13通过低域侧已调整频谱序列和高域侧已调整频谱序列构成已调整频谱序列,将低域侧频谱序列中的一部分的样本配置在高域侧已调整频谱序列中的高域侧,将低域侧频谱序列中的剩余的样本包含在低域侧已调整频谱序列中,将高域侧频谱序列中的一部分的样本包含在低域侧已调整频谱序列中,将高域侧频谱序列中的剩余的样本配置在高域侧已调整频谱序列中的低域侧,从而得到已调整频谱序列。
〔摩擦音调整部13进行的调整处理的例子4〕
而且,希望摩擦音调整部13在上述的步骤1-2中的来自低域侧频谱序列的向高域侧的调整对象样本中,不包含从频率最低者开始的1个或者多个样本。这是因为,频率低的样本是对帧间的信号波形的连续性产生贡献的样本,应该在编码部14中进行分配了更多比特的编码。即,在将γ设为了正整数时,从低域侧频谱序列中的Xγ,…,XM-1选择C个调整对象样本即可,例如将Xγ,…,Xγ+C-1设为调整对象样本即可。而且,若增大γ的值,则帧间的信号波形的连续性增高,但是在编码部14对其它的样本分配的比特数相对变少,所以帧内的解码音的听觉品质变低。因此,考虑这些情况,可以通过事先的实验等决定γ的值。
在上述的图5和图6的例子中,设γ=2,使得在来自低域侧频谱序列的向高域侧的调整对象样本中不包含从低域侧频谱序列中的频率最低者开始的2个样本即X0和X1。
换言之,也可以是在摩擦音判定部12判定为是摩擦音性的音的情况下,,摩擦音调整部13得到调换了位于低域侧频谱序列中的高域侧的一部分、和与其相同数目的、高域侧频谱序列的全部或者一部分后的结果,作为已调整频谱序列。
〔摩擦音调整部13进行的调整处理的例子5〕
在后述的编码部14中的编码处理中,由于在编码处理中得到的比特数的最大值的制约,有时对已调整频谱序列中的从频率最高者开始的数个样本完全不分配比特。在该情况下,对高域侧频谱序列XM,…,XN-1中的从频率最高者开始的1个或者多个样本可以不将其设为编码对象,而将高域侧频谱序列XM,…,XN-1中的位于低域侧的剩余的样本设为编码对象。因此,在该情况下,摩擦音调整部13使得上述的步骤1-3中的来自高域侧频谱序列的向低域侧的调整对象样本中,不包含高域侧频谱序列中的从频率最高者开始的1个或者多个样本。
在上述的图5和图6的例子中,使得不将高域侧频谱序列中的从频率最高者开始的4个样本即X28,…,X31包含于来自高域侧频谱序列的向低域侧的调整对象样本中。
换言之,也可以是,在摩擦音判定部12判定为是摩擦音性的音的情况下,摩擦音调整部13得到将低域侧频谱序列的全部或者一部分、和与其相同数目的高域侧频谱序列中的位于低域侧的一部分进行了调换的结果,作为已调整频谱序列。
[编码部14]
在编码部14中被输入摩擦音调整部13输出的已调整频谱序列Y0,…,YN-1。编码部14通过以帧单位对样本号小的样本优先分配比特的方法,例如通过与非专利文献1相同的方法,将输入的已调整频谱序列Y0,…,YN-1编码而得到频谱码,将得到的频谱码输出到复用部15(步骤S14)。
这里,对样本号小的样本优先分配比特的方法例如是如下方法等:将已调整频谱序列Y0,…,YN-1分为多个部分序列,越是样本号小的部分序列,将部分序列中包含的各样本除以越小的值的增益,将除法运算结果的整数值分别用可变长度码或固定长度码进行编码,或进行向量量化,得到与已调整频谱序列对应的码即频谱码。这时,对于样本号大的一部分的部分序列,也可以不得到与该部分序列对应的码。即,对于样本号大的一部分的部分序列,也可以不分配比特。
对于已调整频谱序列Y0,…,YN-1中的样本号小的部分序列,变为将部分序列中包含的样本的值分别除以小的值的增益而得到的大的值的整数值分别进行编码,所以各整数值变为分配较多比特而进行编码。另一方面,对于已调整频谱序列Y0,…,YN-1中的样本号大的部分序列,变为将部分序列中包含的样本的值分别除以大的值的增益而得到的小的值的整数值分别进行编码,所以各整数值变为分配较少的比特而进行编码。部分序列中包含的样本的值分别除以大的值的增益而得到的整数值大多为0。
而且,如图1中点划线所示,若将摩擦音调整部13和编码部14设为摩擦音对应编码部17,则可以说,在摩擦音判定部12判定为是摩擦音性的音的情况下,摩擦音对应编码部17通过对高域侧优先分配比特的编码处理将频谱序列进行编码而得到频谱码,在上述以外的情况下,摩擦音对应编码部17通过对低域侧优先分配比特的编码处理,将频谱序列进行编码而得到频谱码。
[复用部15]
在复用部15中被输入摩擦音判定部12输出的摩擦音判定信息和编码部14输出的频谱码。复用部15以帧单位,输出使与被输入的摩擦音判定信息对应的码和频谱码连接而得到的码(步骤S15)。在摩擦音判定部12输出的摩擦音判定信息为1比特的信息的情况下,将摩擦音判定部12输出而被输入到复用部15的摩擦音判定信息本身设为与摩擦音判定信息对应的码即可。
《解码装置》
参照图3,说明第一实施方式的解码装置的处理过程。如图3中例示的那样,第一实施方式的解码装置包含复用分离部21、解码部22、摩擦音调整解除部23、时域变换部24。在解码装置中被输入编码装置输出的码。输入到解码装置的码被输入到复用分离部21。解码装置在各部中进行规定的时间长度的帧单位的处理。第一实施方式的解码方法通过解码装置的各部进行以下以及图4中例示的步骤S21至步骤S24的处理来实现。
[复用分离部21]
在复用分离部21中被输入编码装置输出的码。复用分离部21以帧单位,将输入的码分离为与摩擦音判定信息对应的码和频谱码,将从与摩擦音判定信息对应的码得到的摩擦音判定信息输出至摩擦音调整解除部23,将频谱码输出至解码部22(步骤S21)。
在将摩擦音判定信息设为1比特的信息的情况下,只要将与被输入到复用分离部21的摩擦音判定信息对应的码本身设为摩擦音判定信息即可。
[解码部22]
在解码部22中被输入复用分离部21输出的频谱码。解码部22以帧单位,通过与编码装置的编码部14进行的编码方法对应的解码方法,将输入的频谱码解码而得到解码已调整频谱序列^Y0,…,^YN-1,将得到的解码已调整频谱序列^Y0,…,^YN-1输出到摩擦音调整解除部23(步骤S22)。
在编码装置的编码部14的说明位置通过与在上面叙述过的编码方法对应的解码方法将频谱码解码的情况下,解码部22将频谱码解码而得到整数值串,将越是样本号小的部分序列则将越小的值的增益乘以整数值而得到的样本值的多个部分序列结合,得到解码已调整频谱序列^Y0,…,^YN-1。在对于样本号大的一部分的部分序列在编码装置中没有进行比特的分配的情况下,例如与该部分序列对应的解码已调整频谱的值设为0。而且,对于整数值为0的样本,乘以增益而得到的值也为0,所以解码已调整频谱的值变为0。即,对于样本号大的一部分的部分序列,整数值大多为0,解码已调整频谱的值大多为0。
这样,解码部22将规定的时间区间的帧单位的频谱码、且为对低域侧优先分配比特的频谱码解码,得到与解码音信号对应的频域的样本串(解码已调整频谱序列)。
[摩擦音调整解除部23]
在摩擦音调整解除部23中被输入复用分离部21输出的摩擦音判定信息和解码部22输出的解码已调整频谱序列^Y0,…,^YN-1。摩擦音调整解除部23以帧单位,在输入的摩擦音判定信息表示是摩擦音性的音的情况下,对输入的解码已调整频谱序列^Y0,…,^YN-1进行以下的调整解除处理,得到解码频谱序列^X0,…,^XN-1,将得到的解码频谱序列^X0,^X1,…,^XN-1输出到时域变换部24,在摩擦音判定信息表示不是摩擦音性的音的情况下,将解码已调整频谱序列^Y0,…,^YN-1直接作为解码频谱序列^X0,…,^XN-1输出到时域变换部24(步骤S23)。
若将大于1且小于N的整数值设为M,例如将解码已调整频谱序列^Y0,…,^YN-1中的样本号不足M的样本即^Y0,…,^YM-1的样本群设为低域侧解码已调整频谱序列,将解码已调整频谱序列^Y0,…,^YN-1中的样本号为M以上的样本即^YM,…,^YN-1的样本群设为高域侧解码已调整频谱序列,则在摩擦音判定信息表示是摩擦音性的音的情况下摩擦音调整解除部23进行的调整解除处理是如下处理:将低域侧解码已调整频谱序列^Y0,…,^YN-1的全部或者一部分的样本、和与其相同数目的高域侧解码调整频谱序列^YM,…,^YN-1的全部或者一部分的样本调换,得到调换后的结果作为解码频谱序列^X0,…,^XN-1。作为摩擦音调整解除部23进行的调整解除处理,可以有包含以下例示的处理的各种处理,但是预先决定调整解除处理,以成为对应的编码装置的摩擦音调整部13进行的调整处理的逆处理。
换言之,在输入的表示是否为摩擦音性的音的信息表示是摩擦音性的音的情况下,摩擦音调整解除部23将在解码部22得到的频域的样本串中的比规定的频率位于低域侧的低域侧频率样本串(低域侧解码已调整频谱序列)的全部或者一部分、和与其相同数目的、解码部22得到的频域的样本串中的比规定的频率位于高域侧的高域侧频率样本串(高域侧解码已调整频谱序列)的全部或者一部分调换,得到调换后的结果作为解码音信号的频谱序列(解码频谱序列),在上述以外的情况下,摩擦音调整解除部23得到解码部22得到的频域的样本串(解码已调整频谱序列)直接作为解码音信号的频谱序列(解码频谱序列)。
〔摩擦音调整解除部23进行的调整解除处理的例子1〕
在摩擦音判定信息表示是摩擦音性的音的情况下,摩擦音调整解除部23例如通过进行下述的步骤2-1至步骤2-6,得到解码频谱序列^X0,…,^XN-1。而且,为了容易理解地表示摩擦音调整解除部23的动作,将下述的步骤2-1至步骤2-6分为6个步骤,但是摩擦音调整解除部23将下述的步骤2-1至步骤2-6分开进行只不过是一例,也可以通过进行排列的要素的调换或索引的替换等,通过1次的步骤进行与步骤2-1至步骤2-6等效的处理。
步骤2-1:将解码已调整频谱序列^Y0,…,^YN-1中的样本号不足M的样本的样本群设为低域侧解码已调整频谱序列^Y0,…,^YM-1,将解码已调整频谱序列^Y0,…,^YN-1中的样本号为M以上的样本的样本群设为高域侧解码已调整频谱序列^YM,…,^YN-1。
步骤2-2:取出在步骤2-1中得到的低域侧解码已调整频谱序列^Y0,…,^YM-1中包含的C个(C为正整数)样本,作为向高域侧的调整对象样本。
步骤2-3:取出在步骤2-1中得到的高域侧解码已调整频谱序列^YM,…,^YN-1中包含的C个样本,作为向低域侧的调整对象样本。
步骤2-4:得到在步骤2-2中取出了低域侧解码已调整频谱序列中的向高域侧的调整对象样本的样本位置,配置了在步骤2-3中从高域侧解码已调整频谱序列取出的向低域侧的调整对象样本的结果,作为低域侧解码频谱序列^X0,…,^XM-1。
步骤2-5:得到在步骤2-3中取出了高域侧解码已调整频谱序列中的向低域侧的调整对象样本的样本位置,配置了在Step2-2从低域侧解码已调整频谱序列取出的向高域侧的调整对象样本的结果,作为高域侧解码频谱序列^XM,…,^XN-1。
步骤2-6:将在步骤2-4中得到的低域侧解码频谱序列^X0,…,^XM-1、与在步骤1-5中得到的高域侧解码频谱序列^XM,…,^XN-1结合,得到解码频谱序列^X0,…,^XN-1。
图7表示N=32、M=20、C=8的情况下的步骤2-1至步骤2-6的例子。摩擦音调整解除部23首先将解码已调整频谱序列^Y0,…,^Y31中的^Y0,…,^Y19设为低域侧解码已调整频谱序列,将^Y20,…,^Y31设为高域侧解码已调整频谱序列(步骤2-1)。摩擦音调整解除部23取出低域侧解码已调整频谱序列^Y0,…,^Y19中包含的8个样本^Y2,…,^Y9作为向高域侧的调整对象样本(步骤2-2)。摩擦音调整解除部23取出高域侧解码已调整频谱序列^Y20,…,^Y31中包含的8个样本^Y20,…,^Y27作为向低域侧的调整对象样本(步骤2-3)。摩擦音调整解除部23得到在低域侧解码已调整频谱序列中存在过^Y2,…,^Y9的样本位置配置了^Y20,…,^Y27的结果,作为低域侧解码频谱序列^X0,…,^X19(步骤2-4)。摩擦音调整解除部23得到在高域侧解码已调整频谱序列中存在过^Y20,…,^Y27的样本位置配置了^Y2,…,^Y9的结果,作为高域侧解码频谱序列^X20,…,^X31(步骤2-5)。摩擦音调整解除部23将低域侧解码频谱序列^X0,…,^X19与高域侧解码频谱序列^X20,…,^X31结合,得到解码频谱序列^X0,…,^X31(步骤2-6)。
〔摩擦音调整解除部23进行的调整解除处理的例子2〕
在编码装置的摩擦音调整部13取代步骤1-4而进行了步骤1-4'的情况下,摩擦音调整解除部23取代上述的步骤2-4而进行下述的步骤2-4'。
步骤2-4’:·将在步骤2-2中取出了低域侧解码已调整频谱序列中的向高域侧的调整对象样本后剩余的样本向低域侧和高域侧挤压,在空出的间隙的样本位置配置在步骤2-3中从高域侧解码已调整频谱序列取出的向低域侧的调整对象样本,得到配置后的结果作为低域侧解码频谱序列^X0,…,^XM-1。
〔摩擦音调整部13进行的调整处理的例子3〕
在编码装置的摩擦音调整部13取代步骤1-5而进行了步骤1-5'的情况下,摩擦音调整解除部23取代上述的步骤2-5而进行下述的步骤2-5'。
步骤2-5’:将在步骤2-3中取出了高域侧解码已调整频谱序列中的向低域侧的调整对象样本后的剩余的样本向高域侧挤压,在空出的低域侧的样本位置配置在Step2-2中从低域侧解码已调整频谱序列取出了向高域侧的调整对象样本,得到配置后的结果高域侧解码频谱序列^XM,…,^XN-1。
图8表示N=32、M=20、C=8的情况下的取代从步骤2-1至步骤2-6中的步骤2-4而进行步骤2-4'、取代步骤2-5而进行步骤2-5'的例子。摩擦音调整解除部23首先将解码已调整频谱序列^Y0,…,^Y31中的^Y0,…,^Y19设为低域侧解码已调整频谱序列,将^Y20,…,^Y31设为高域侧解码已调整频谱序列(步骤2-1)。摩擦音调整解除部23取出低域侧解码已调整频谱序列^Y0,…,^Y19中包含的8个样本^Y12,…,^Y19作为向高域侧的调整对象样本(步骤2-2)。摩擦音调整解除部23取出高域侧解码已调整频谱序列^Y20,…,^Y31中包含的8个样本^Y24,…,^Y31作为向低域侧的调整对象样本(步骤2-3)。摩擦音调整解除部23将低域侧解码已调整频谱序列中的^Y0,^Y1向低域侧挤压,将^Y2,…,^Y11向高域侧挤压,在空出的间隙配置^Y24,…,^Y31,得到配置后的结果作为低域侧解码频谱序列^X0,…,^X19(步骤2-4')。摩擦音调整解除部23将高域侧解码已调整频谱序列中的^Y20,…,^Y23向高域侧挤压,在向高域侧挤压后的^Y20,…,^Y23的低域侧配置^Y12,…,^Y19,得到配置后的结果作为高域侧解码频谱序列^X20,…,^X31(步骤2-5')。摩擦音调整解除部23将低域侧解码频谱序列^X0,…,^X19和高域侧解码频谱序列^X20,…,^X31结合,得到解码频谱序列^X0,…,^X31(步骤1-6)。
〔摩擦音调整解除部23进行的调整解除处理的例子4〕
在编码装置的摩擦音调整部13在步骤1-2中来自低域侧频谱序列的向高域侧的调整对象样本中不包含从频率最低者开始的1个或者多个样本的情况下,摩擦音调整解除部23在步骤2-2中,使得来自低域侧解码已调整频谱序列的向高域侧的调整对象样本中不包含从频率最低者开始的1个或者多个样本。
〔摩擦音调整解除部23进行的调整解除处理的例子5〕
在编码装置的摩擦音调整部13在步骤1-3中来自高域侧频谱序列的向低域侧的调整对象样本中不包含从频率最高者开始的1个或者多个样本的情况下,摩擦音调整解除部23在步骤2-3中,使得来自高域侧解码已调整频谱序列的向低域侧的调整对象样本中不包含从频率最高者开始的1个或者多个样本。
而且,如图3中点划线所示,可以说,若将解码部22和摩擦音调整解除部23设为摩擦音对应解码部26,则在表示是否为输入的摩擦音性的音的信息表示是摩擦音性的音的情况下,摩擦音对应解码部26在频谱码中对高域侧优先分配比特,将频谱码解码得到频谱序列(解码频谱序列),在上述以外的情况下,摩擦音对应解码部26在频谱码中对低域侧优先分配比特,将频谱码解码得到频谱序列(解码频谱序列)。
[时域变换部24]
在时域变换部24中被输入摩擦音调整解除部23输出的解码频谱序列^X0,…,^XN-1。时域变换部24使用与编码装置的频域变换部11进行的向频域的变换方法对应的至时域的变换方法,例如逆MDCT,按每帧,将解码频谱序列^X0,…,^XN-1变换为时域的信号,得到帧单位的音信号(解码音信号),并输出(步骤S24)。
而且,在编码装置的频域变换部11中对通过变换得到的频谱序列施以用于听觉的加权的滤波处理和压扩处理的情况下,时域变换部24将对解码频谱序列进行了与这些处理对应的逆滤波处理或逆压扩处理的结果变换为时域的信号,输出由此得到的解码音信号。
而且,也可以设为解码装置不输出时域的解码音信号而输出频域的解码音信号的结构。在设为该结构的情况下,也可以在解码装置中不包含时域变换部24,将摩擦音调整解除部23得到的帧单位的解码频谱序列按照时间区间顺序连结而作为频域的解码音信号输出即可。
《作用效果》
按照第一实施方式的编码装置和解码装置,通过设为在以往那样对低频率的频谱分配更多比特数那样进行了设计的编码处理和进行与其对应的解码处理的结构上附加了摩擦音调整处理和与其对应的摩擦音调整解除处理的结构,从而即使是包含摩擦音等的音信号,也能够进行压缩编码使得听觉上的劣化少。
作为即使包含摩擦音等的音信号,也能够进行压缩编码使得听觉上的劣化少的以往技术,还存在对能量大的子带优先分配比特的编码/解码技术。但是,在该技术中,需要将对于各子带的比特分配的信息从编码侧发送到解码侧。与此相对,按照第一实施方式的编码装置和解码装置,仅通过将1比特的摩擦音判定信息从编码侧发送到解码侧,就能够进行压缩编码,使得即使是包含摩擦音等的音信号,听觉上的劣化也变少。
<第一实施方式的变形例>
第一实施方式的变形例仅编码装置中包含的摩擦音判定部12与第一实施方式不同。编码装置的其它结构和解码装置的结构与第一实施方式相同。以下,对与第一实施方式不同的摩擦音判定部12的动作、由此造成的编码装置和解码装置中的作用效果进行说明。
[摩擦音判定部12]
第一实施方式的变形例的摩擦音判定部12具有未图示的比较结果存储部。
摩擦音判定部12以帧单位,求该帧的被输入的频谱序列X0,…,XN-1中的位于高域侧的样本的平均能量相对于被输入的频谱序列X0,…,XN-1中的位于低域侧的样本的平均能量的比越大其值变得越大的指标,作为该帧是摩擦音性的音的指标,得到表示求出的指标是否大于预先决定的阈值或者为阈值以上的比较结果信息。
比较结果存储部是将该比较结果信息存储了相当于预先决定的规定个数的过去的帧的量。即,摩擦音判定部12以帧单位,将由该帧的频谱序列计算出的比较结果信息新存储在比较结果存储部中,并且将所存储的最早的比较结果信息删除。
摩擦音判定部12使用从该帧的频谱序列计算出的比较结果信息、和在比较结果存储部中存储的规定个数的过去的帧的比较结果信息,在这些比较结果信息中的半数以上的比较结果信息或者多于半数的比较结果信息表示大于预先决定的阈值或者为阈值以上的情况下,判定为是摩擦音性的音,在并非如此的情况下,判定为不是摩擦音性的音,将该判定结果作为摩擦音判定信息输出到摩擦音调整部13以及复用部15。
这样,也可以是,摩擦音判定部12在包含该帧的多个帧中,音信号的频谱序列中的高域侧的频谱的平均能量相对于低域侧的频谱的平均能量的比越大则值越大的指标大于预先决定的阈值或者为阈值以上的帧数多于并非如此的帧数或者为并非如此的帧数以上的情况下,对该帧判定为音信号是摩擦音性的音。
作为摩擦音判定信息例如使用1比特的信息即可、作为平均能量使用全部或者一部分的样本的值的绝对值和的平均值或者平方和的平均值即可等,与第一实施方式的摩擦音判定部12相同。
《作用效果》
若进行第一实施方式的编码装置和解码装置中的处理,则对于进行调整处理和调整解除处理的帧,得到高域成分的编码失真少且低域分量的编码失真多的解码音,对于未进行调整处理和调整解除处理的帧,得到高域成分的编码失真多且低域成分的编码失真少的解码音,所以在进行调整处理和调整解除处理的帧与未进行调整处理和调整解除处理的帧的边界处存在发生解码音的波形的不连续的可能性。即,若摩擦音判定部12的判定结果频繁地切换,则解码音的波形的不连续频繁地发生,该不连续被感觉到,而存在听觉品质劣化的可能性。第一实施方式的变形例的编码装置与第一实施方式的编码装置相比,能够抑制摩擦音判定部12的判定结果频繁地切换,能够抑制解码音的波形的不连续的发生频率,能够抑制该不连续被感觉到而造成的听觉品质的劣化。
在第一实施方式的变形例的摩擦音判定部12中,虽然在判定中使用的比较结果信息的个数越增加,越能够抑制摩擦音判定部12的判定结果频繁地切换,越能够抑制解码音的波形的不连续的发生频率,但是在判定中使用的比较结果信息的个数需要考虑到不连续被感觉到而造成的听觉品质的劣化与每帧的解码音的听觉品质的折衷来决定。例如,在帧长度为3ms的情况下,将在判定中使用的的比较结果信息的个数设为16个即可。
<第二实施方式>
本发明的第二实施方式的系统与第一实施方式的系统同样包含编码装置和解码装置。
第二实施方式与第一实施方式的不同之处在于,将在编码装置中未分配比特的频谱在解码装置中复原,即,在解码装置中将频带扩展。第二实施方式的解码装置对根据摩擦音判定信息进行了调换后的频谱即解码已调整频谱序列将频带扩展。就在编码装置中未分配比特的频谱而言,不是摩擦音性的音的时间区间包含于高域,摩擦音性的音的时间区间包含于低域。因此,在第二实施方式中,对于不是摩擦音性的音的时间区间,通过低域的频谱的复制再现高域的频谱从而将频带扩展,对于摩擦音性的音的时间区间,通过高域的频谱的复制再现低域的频谱从而将频带扩展。
第二实施方式中的频谱的复制通过对作为复制的源的频谱乘以增益来进行。因此,第二实施方式的编码装置除了第一实施方式的编码装置进行的处理,还求出第二实施方式的解码装置使用的增益,输出与求出的增益对应的码。
《编码装置》
参照图9,说明第二实施方式的编码装置的处理过程。如图9例示的那样,第二实施方式的编码装置包含:频域变换部11、摩擦音判定部12、摩擦音调整部13、编码部14、频带扩展增益编码部16、复用部15。图9的第二实施方式的编码装置与图1的编码装置的不同之处在于具有频带扩展增益编码部16,复用部15输出的码中还包含频带扩展增益编码部16输出的频带扩展增益码。第二实施方式的编码装置的其它结构、即频域变换部11、摩擦音判定部12、摩擦音调整部13、编码部14的动作与第一实施方式的编码装置的相同,所以以下仅对动作的要部进行说明。
在编码装置中,以规定的时间长度的帧单位被输入时域的音信号。被输入到编码装置的时域的音信号被输入至频域变换部11。编码装置在各部件中进行规定的时间长度的帧单位的处理。第二实施方式的编码方法通过编码装置的各部件进行以下以及图10中例示的步骤S11至步骤S16的处理来实现。
[频域变换部11]
频域变换部11以帧单位将输入到编码装置的时域的音信号变换为频域的N点的频谱序列X0,…,XN-1后输出(步骤S11)。
[摩擦音判定部12]
摩擦音判定部12以帧单位,使用频域变换部11得到的频谱序列X0,…,XN-1或者被输入到编码装置的时域的音信号,判定音信号是否为摩擦音性的音,将其判定结果作为摩擦音判定信息输出(步骤S12)。第一实施方式的编码装置的摩擦音判定部12将摩擦音判定信息输出到摩擦音调整部13和复用部15,但是第二实施方式的编码装置的摩擦音判定部12除了将摩擦音判定信息输出到摩擦音调整部13和复用部15,还输出到频带扩展增益编码部16。而且,第二实施方式的编码装置的摩擦音判定部12也可以进行与第一实施方式的变形例的编码装置的摩擦音判定部12相同的动作。
换言之,也可以是,在某个帧的频谱序列中的高域侧的频谱的平均能量相对于低域侧的频谱的平均能量的比越大则值越大的指标大于预先决定的阈值或者为阈值以上的情况下,摩擦音判定部12判定为音信号是摩擦音性的音。
而且,也可以是,在包含某个帧的多个帧中,频谱序列中的高域侧的频谱的平均能量相对于低域侧的频谱的平均能量的比越大则值越大的指标大于预先决定的阈值或者为阈值以上的帧数多于并非如此的帧数、或者为并非如此的帧数以上的情况下,摩擦音判定部12判定为音信号是摩擦音性的音。
[摩擦音调整部13]
摩擦音调整部13以帧单位,在摩擦音判定部12得到的摩擦音判定信息表示是摩擦音性的音的情况下对频域变换部11得到的频谱序列X0,…,XN-1进行频谱的调整处理,得到已调整频谱序列Y0,…,YN-1,将得到的已调整频谱序列Y0,…,YN-1输出至编码部14,在摩擦音判定部12得到的摩擦音判定信息表示不是摩擦音性的音的情况下,将频域变换部11得到的频谱序列X0,…,XN-1直接作为已调整频谱序列Y0,…,YN-1输出到编码部14(步骤S13)。
摩擦音调整部13进行的频谱的调整处理是如下处理:将频谱序列X0,…,XN-1中的低域侧频谱序列X0,…,XM-1的全部或者一部分的样本、和与其相同数目的频谱序列X0,X…,XN-1中的高域侧频谱序列XM,…,XN-1的全部或者一部分的样本调换,得到调换后的结果作为已调整频谱序列Y0,…,YN-1。
换言之,在摩擦音判定部12判定为是摩擦音性的音的情况下,摩擦音调整部13将音信号的频谱序列中的与规定的频率相比位于低域侧的低域侧频谱序列的全部或者一部分、和与其相同数目的、频谱序列中的与规定的频率相比位于高域侧的高域侧频谱序列的全部或者一部分调换,得到调换后的结果作为已调整频谱序列,在上述以外的情况下,摩擦音调整部13得到与音信号对应的频谱序列直接作为已调整频谱序列得到。
[编码部14]
编码部14以帧单位,通过对样本号小的样本优先分配比特的方法,将摩擦音调整部13得到的已调整频谱序列Y0,…,YN-1编码而得到频谱码,将得到的频谱码输出到复用部15(步骤S14)。
第一实施方式的编码装置的编码部14中的、对样本号小的样本优先分配比特的方法,可以是对已调整频谱序列的全部样本分配比特的方法,也可以是对样本号大的一部分的样本不分配比特的方法。与此相对,第二实施方式的编码装置的编码部14中的对样本号小的样本优先分配比特的方法被限定为,在已调整频谱序列中,对样本号大的一部分的已调整频谱不分配比特的方法。而且,该分配比特的方法被预先决定后存储在编码部14中,并且还存储在后述的频带扩展增益编码部16中。
编码部14例如对已调整频谱序列Y0,…,YN-1的N个已调整频谱中的样本号大的K个(K≦N/2)已调整频谱YN-K,…,YN-1不分配比特,对剩余的样本号小的一方开始的N-K个已调整频谱Y0,…,YN-K-1分配比特,将已调整频谱序列Y0,…,YN-1编码而得到频谱码,将得到的频谱码输出到复用部15。即,编码部14实质上仅将已调整频谱序列Y0,…,YN-1的N个已调整频谱中的样本号小的一方开始的N-K个已调整频谱Y0,…,YN-K-1编码而得到频谱码。
[频带扩展增益编码部16]
在频带扩展增益编码部16中至少被输入摩擦音调整部13输出的已调整频谱序列Y0,…,YN-1。频带扩展增益编码部16以帧单位,至少根据所输入的已调整频谱序列Y0,…,YN-1,如下述那样得到频带扩展增益码,将得到的频带扩展增益码输出到复用部15(步骤S16)。
在设为在频带扩展增益编码部16中仅被输入已调整频谱序列Y0,…,YN-1的结构的情况下,例如如下述的例子1那样,频带扩展增益编码部16以帧单位,根据所输入的已调整频谱序列Y0,…,YN-1得到频带扩展增益码,将得到的频带扩展增益码输出到复用部15。
而且,也可以设为在频带扩展增益编码部16中,除了被输入已调整频谱序列Y0,…,YN-1,还被输入摩擦音判定部12输出的摩擦音判定信息的结构。在设为该结构的情况下,例如下述的例子2那样,频带扩展增益编码部16以帧单位,根据所输入的已调整频谱序列Y0,…,YN-1和摩擦音判定信息得到频带扩展增益码,将得到的频带扩展增益码输出到复用部15。
在频带扩展增益编码部16的存储部161中,将作为增益向量的候选的增益候选向量与能够确定该增益候选向量的码构成组而预先存储多个组,各增益候选向量由多个样本的量的增益候选值构成。频带扩展增益编码部16以帧单位,得到与增益候选向量对应的码作为频带扩展增益码,并输出,其中增益候选向量是,将编码部14分配了比特的已调整频谱的值和构成增益候选向量的增益候选值相乘后的值的绝对值、与编码部14没有分配比特的已调整频谱的值的绝对值之差的绝对值的总和为最小的增益候选向量。而且,也可以取代绝对值而使用平方值等。
以下,说明编码部14分配了比特的已调整频谱是从已调整频谱序列Y0,…,YN-1中的样本号小的一方开始的N-K个已调整频谱Y0,…,YN-K-1,编码部14没有分配比特的已调整频谱是从已调整频谱序列Y0,…,YN-1中的样本号大的一方开始的K个已调整频谱YN-K,…,YN-1的情况的例子。
〔频带扩展增益编码部16的例子1〕
在该例中,设为在存储部161中存储J组增益候选向量和码的组,各增益候选向量由K样本的量的增益候选值构成。以下,设将J个增益候选向量分别设为Gj(j=0,…,J-1),将与增益候选向量Gj(j=0,…,J-1)的每一个对应的码设为CGj(j=0,…,J-1),各个增益候选向量Gj由K个增益候选值gj,k(k=0,…,K-1)构成来进行说明。
频带扩展增益编码部16输出与存储部161中存储的增益候选向量Gj(j=0,…,J-1)中通过下述的式(1)求出的Ej为最小的增益候选向量Gj对应的码CGj作为频带扩展增益码CG。
换言之,频带扩展增益编码部16得到与增益候选向量对应的码作为频带扩展增益码,并输出,其中所述增益候选向量是,从编码部14分配了比特的已调整频谱Y0,…,YN-K-1中的样本号大的一方开始的K个已调整频谱YN-2K,…,YN-K-1与构成增益候选向量的增益候选值gj,0,…,gj,K-1分别相乘后的值的绝对值|YN-2K gj,0|,…,|YN-K-1 gj,K|、与编码部14没有分配比特的已调整频谱YN-K,…,YN-1各自的绝对值|YN-K|,…,|YN-1|之差的绝对值||YN-2K gj,0|-|YN-K||,…,||YN-K-1gj,K|-|YN-1||的总和Ej为最小的增益候选向量。
〔频带扩展增益编码部16的例子2〕
在该例中,存储部161中与例1同样地存储有J组增益候选向量和码的组,但是与例1不同,设作为增益候选向量而存储有摩擦音用增益候选向量和非摩擦音用增益候选向量这2种。即,设在存储部161中存储有J组摩擦音用增益候选向量和非摩擦音用增益候选向量和码的组,各摩擦音用增益候选向量和各非摩擦音用增益候选向量由K样本的量的增益候选值构成。以下,将J个摩擦音用增益候选向量分别设为G1j(j=0,…,J-1),J个非摩擦音用增益候选向量分别设为G2j(j=0,…,J-1),与摩擦音用增益候选向量G1j(j=0,…,J-1)的每一个对应且与非摩擦音用增益候选向量G2j(j=0,…,J-1)的每一个对应的码设为CGj(j=0,…,J-1)来进行说明。而且,设各个摩擦音用增益候选向量G1j由K样本的量、即K个增益候选值g1j,k(k=0,…,K-1)构成,各个非摩擦音用增益候选向量G2j由K样本的量、即K个增益候选值g2j,k(k=0,…,K-1)构成来进行说明。
在被输入的摩擦音判定信息表示是摩擦音性的音的情况下,频带扩展增益编码部16将存储部161中存储的摩擦音用增益候选向量G1j(j=0,…,J-1)设为增益候选向量Gj(j=0,…,J-1),在被输入的摩擦音判定信息表示不是摩擦音性的音的情况下,频带扩展增益编码部16将存储部161中存储的非摩擦音用增益候选向量G2j(j=0,…,J-1)设为增益候选向量Gj(j=0,…,J-1),将与增益候选向量Gj(j=0,…,J-1)中的通过上述的式(1)求出的Ej为最小的增益候选向量Gj对应的频带扩展增益码CGj作为频带扩展增益码CG输出。
换言之,在被输入的摩擦音判定信息表示是摩擦音性的音的情况下,频带扩展增益编码部16将存储部161中存储的摩擦音用增益候选向量设为增益候选向量,在被输入的摩擦音判定信息表示不是摩擦音性的音的情况下,频带扩展增益编码部16将存储部161中存储的非摩擦音用增益候选向量设为增益候选向量,得到与增益候选向量对应的码作为频带扩展增益码,并输出,其中所述增益候选向量是,将从编码部14分配了比特的已调整频谱Y0,…,YN-K-1中的样本号大的一方开始的K个已调整频谱YN-2K,…,YN-K-1与构成增益候选向量的增益候选值gj,0,…,gj,K-1分别相乘后的值的绝对值|YN-2K gj,0|,…,|YN-K-1 gj,K-1|、与编码部14没有分配比特的已调整频谱YN-K,…,YN-1各自的绝对值|YN-K|,…,|YN-1|之差的绝对值||YN-2K gj,0|-|YN-K||,…,||YN-K-1 gj,K-1|-|YN-1||的总和Ej为最小的增益候选向量。
这样,也可以是,在频带扩展增益编码部16中存储多个码、与各个码对应的摩擦音用增益候选向量、与各个码对应的非摩擦音用增益候选向量,在摩擦音判定部判定为是摩擦音性的音的情况下,频带扩展增益编码部16使用摩擦音用增益候选向量作为增益候选向量,在上述以外的情况下,频带扩展增益编码部16使用非摩擦音用增益候选向量作为增益候选向量。
〔频带扩展增益编码部16的例子1和例2的变形例1〕
在上述的例1和例2中,设为增益候选值的乘法运算的对象的已调整频谱设为了从编码部14分配了比特的已调整频谱Y0,…,YN-K-1中的样本号大的一方开始的K个已调整频谱YN-2K,…,YN-K-1。但是,设为增益候选值的乘法运算的对象的已调整频谱只要是编码部14分配了比特的已调整频谱Y0,…,YN-K-1中的与预先决定的K个样本号对应的K个已调整频谱即可。
〔频带扩展增益编码部16的例子1和例2的变形例2〕
在上述的例1和例2中,在式(1)中将k的值从小到大的顺序的YN-2K+k,gj,k,YN-K+k相关联,但是只要是预先决定的关联则什么样的关联都可以。
〔频带扩展增益编码部16的具体例子〕
说明N=32、K=12的情况下的频带扩展增益编码部16的具体例子。该具体例子与频带扩展增益编码部16的例子2的变形例2对应。图13和图14是N=32、K=12的情况下的后述的解码装置的频带扩展部25和摩擦音调整解除部23的例子。
图13是摩擦音判定信息表示不是摩擦音性的音的情况的例子。如后述那样,解码装置的频带扩展部25进行将第8个至第19个解码已调整频谱设为复制源,得到这些复制源的解码已调整频谱的值与频带扩展增益相乘后的值按照样本号顺序作为第20个至第31个解码扩展频谱的处理。因此,在被输入的摩擦音判定信息表示不是摩擦音性的音的情况下,频带扩展增益编码部16将存储部161中存储的非摩擦音用增益候选向量设为增益候选向量,得到与增益候选向量对应的码作为频带扩展增益码,其中所述增益候选向量是,将从编码部14分配了比特的已调整频谱Y0,…,Y19中的样本号大的一方开始的12个已调整频谱Y8,…,Y19和构成增益候选向量的增益候选值gj,0,…,gj,11分别相乘后的值的绝对值|Y8 gj,0|,…,|Y19 gj,11|、与编码部14没有分配比特的已调整频谱Y20,…,Y31各自的绝对值|Y20|,…,|Y31|之差的绝对值||Y8 gj,0|-|Y20||,…,||Y19 gj,11|-|Y31||的总和Ej为最小的增益候选向量。
图14是摩擦音判定信息表示是摩擦音性的音的情况的例子。解码装置的频带扩展部25如后述那样进行以下处理:将第8个至第19个解码已调整频谱设为复制源,对这些复制源的解码已调整频谱的值与频带扩展增益相乘后的值,得到将第16个至第19个的样本序号之后为第8个至第15个的样本序号的顺序的结果,作为第20个至第31个的解码扩展频谱。因此,在输入的摩擦音判定信息表示是摩擦音性的音的情况下,频带扩展增益编码部16将存储部161中存储的摩擦音用增益候选向量设为增益候选向量,得到与增益候选向量对应的码作为频带扩展增益码,其中所述增益候选向量是,将从编码部14分配了比特的已调整频谱Y0,…,Y19中的样本号的大的一方开始的12个已调整频谱Y8,…,Y19与构成增益候选向量的增益候选值gj,0,…,gj,11分别相乘后的值的绝对值|Y8 gj,0|,…,|Y19 gj,11|、与编码部14没有分配比特的已调整频谱Y24,…,Y31,Y20,…,Y23各自的绝对值|Y24|,…,|Y31|,|Y20|,…,|Y23|之差的绝对值||Y8gj,0|-|Y24||,…,||Y15 gj,7|-|Y31||,||Y16 gj,8|-|Y20||,…,||Y19gj,11|-|Y23||的总和Ej为最小的增益候选向量。
这样,设为在频带扩展增益编码部16中存储多个码、以及与各个码对应的增益候选向量,增益候选向量每一个包含K个(K为2以上的整数)的增益候选值,频带扩展增益编码部16得到与增益候选向量对应的码作为频带扩展增益码,并输出,其中所述增益候选向量是,已调整频谱序列中的编码部14分配了比特的K个已调整频谱与增益候选向量中包含的K个增益候选值相乘而得到的K个值的绝对值的序列、与已调整频谱序列中的编码部14没有分配比特的K个已调整频谱的绝对值的序列的误差为最小的增益候选向量。
该频带扩展增益编码部16的动作是与解码装置的频带扩展部25和摩擦音调整解除部23的动作对应的动作。在图8的例子中,解码装置的摩擦音调整解除部23将第20个至第31个解码扩展频谱中的样本号小的一侧的第20个至第23个解码扩展频谱设为样本号从第28个至第31个的解码频谱,将从第20个至第31个解码扩展频谱中的样本号大的一侧的第24个至第31个解码扩展频谱设为样本号第2个至第9个解码频谱。解码装置的频带扩展部25考虑通过该摩擦音调整解除部23的动作得到的解码频谱的频率的高低,进行图14的动作。
即,无论在摩擦音判定信息表示是摩擦音性的音的情况下还是在表示不是摩擦音性的音的情况下,解码装置的频带扩展部25都进行与解码频谱中的频率的高低匹配的处理。因此,频带扩展增益编码部16也进行与频带扩展部25对应的动作。
[复用部15]
在复用部15中被输入摩擦音判定部12输出的摩擦音判定信息、编码部14输出的频谱码、以及频带扩展增益编码部16输出的频带扩展增益码。复用部15输出将与输入的摩擦音判定信息对应的码、频谱码、频带增益码连接而得到的码(步骤S15)。
《解码装置》
参照图11,对第二实施方式的解码装置的处理过程进行说明。如图11中例示的那样,第二实施方式的解码装置包含复用分离部21、解码部22、频带扩展部25、摩擦音调整解除部23、时域变换部24。图11的第二实施方式的解码装置与图3的第一实施方式的解码装置的不同之处是具有频带扩展部25,复用分离部21还从被输入的码得到频带扩展增益码。第二实施方式的解码装置的其它结构,即,解码部22、摩擦音调整解除部23、时域变换部24的动作与第一实施方式的解码装置的动作相同,所以以下仅对动作的要部进行说明。
在解码装置中被输入编码装置输出的码。输入到解码装置的码被输入到复用分离部21。解码装置在各部件中进行规定的时间长度的帧单位的处理。第二实施方式的解码方法通过解码装置的各部件进行以下以及图12中例示的步骤S21至步骤S25的处理来实现。
[复用分离部21]
复用分离部21将输入的码分离为与摩擦音判定信息对应的码、频带扩展增益码和频谱码,将从与摩擦音判定信息对应的码得到的摩擦音判定信息输出到摩擦音调整解除部23和频带扩展部25,将频带扩展增益码输出到频带扩展部25,将频谱码输出到解码部22(步骤S21)。
[解码部22]
解码部22以帧单位,通过与编码装置的编码部14进行的编码处理对应的解码处理,将输入的频谱码解码,得到解码已调整频谱序列,并输出(步骤S22)。
如上述那样,由于第二实施方式的编码装置的编码部14进行对样本号大的一部分的样本不分配比特的编码处理,所以即使将频谱码解码,也得不到这些样本号的解码已调整频谱的值。若为上述的编码部14的例子的情况,则解码部22将频谱码解码,得到从样本号小的一方开始的N-K个解码已调整频谱^Y0,…,^YN-K-1的解码已调整频谱序列。
而且,也可以将在编码部14中没有分配比特的样本号的解码已调整频谱的值设为0。即,若为上述的编码部14的例子的情况,则也可以是,解码部22将频谱码解码,将样本号从大的一方开始的K个解码已调整频谱^YN-K,…,^YN-1各自的值设为0,得到解码已调整频谱序列^Y0,…,^YN-1。
这样,解码部22将规定的时间区间的帧单位的频谱码、且为对高域侧的一部分没有分配比特的频谱码解码,得到频域的样本串(解码已调整频谱序列)。
但是,如后述的那样,在所输入的表示是否为摩擦音性的音的信息表示是摩擦音性的音的情况下,摩擦音调整解除部23得到将后述的频带扩展部25得到的解码扩展频谱序列(基于解码已调整频谱序列的频谱序列)中的与规定的频率相比位于低域侧的低域侧频率样本串的全部或者一部分、与频带扩展部25得到的解码扩展频谱序列中的与规定的频率相比位于高域侧的高域侧频率样本串的全部或者一部分进行了调换的结果,作为解码音信号的频谱序列,在上述以外的情况下,摩擦音调整解除部23得到频带扩展部25得到的解码扩展频谱序列直接作为解码音信号的频谱序列。即,在所输入的表示是否为摩擦音性的音的信息表示是摩擦音性的音的情况下,解码部22设在频谱码中对低域侧的一部分不分配比特,将频谱码解码,得到频域的频谱序列(解码已调整频谱序列),在上述以外的情况下,解码部22设在频谱码中对高域侧的一部分不分配比特,将频谱码解码,得到频域的频谱序列(解码已调整频谱序列)。
第一实施方式的解码装置的解码部22将得到的解码已调整频谱序列输出到摩擦音调整解除部23,但是第二实施方式的解码装置的解码部22将得到的解码已调整频谱序列输出到频带扩展部25。
[频带扩展部25]
在频带扩展部25中至少被输入复用分离部21输出的频带扩展增益码和解码部22输出的解码已调整频谱序列。频带扩展部25以帧单位,至少根据所输入的频带扩展增益码和解码已调整频谱序列,如下述那样得到解码扩展频谱序列~Y0,…,~YN-1,将得到的解码扩展频谱序列~Y0,…,~YN-1输出到摩擦音调整解除部23(步骤S25)。
在设为在频带扩展部25中仅被输入频带扩展增益码和解码已调整频谱序列的结构的情况下,例如如下述的例子1那样,在频带扩展部25中,以帧单位,根据所输入的频带扩展增益码和解码已调整频谱序列得到解码扩展频谱序列~Y0,…,~YN-1,将得到的解码扩展频谱序列~Y0,…,~YN-1输出到摩擦音调整解除部23。
而且,也可以设为在频带扩展部25中除了被输入频带扩展增益码和解码已调整频谱序列以外还被输入复用分离部21输出的摩擦音判定信息的结构。在设为该结构的情况下,例如如下述的例子2那样,频带扩展部25以帧单位,根据输入的频带扩展增益码、解码已调整频谱序列和摩擦音判定信息得到解码扩展频谱序列~Y0,…,~YN-1,将得到的解码扩展频谱序列~Y0,…,~YN-1输出到摩擦音调整解除部23。
在频带扩展部25的存储部251中,与编码装置的频带扩展增益编码部16的存储部161中存储的相同,将作为增益向量的候选的增益候选向量与能够确定该增益候选向量的码构成组而预先存储多个组,各增益候选向量由多个样本量的增益候选值构成。频带扩展部25得到将复制源的各样本值与通过对应于频带扩展增益码的码所确定的增益候选向量中包含的各频带扩展增益分别相乘的值设为与在编码装置的编码部14中没有分配比特的已调整频谱对应的解码扩展频谱的结果、以及将频谱码解码而得到的解码已调整频谱直接设为解码扩展频谱的结果构成的序列,作为解码扩展频谱序列,其中所述复制源是,将频谱码解码得到的解码已调整频谱(与在编码装置的编码部14中分配了比特的已调整频谱对应的解码已调整频谱)的全部或者一部分。
以下,说明编码部14分配了比特的已调整频谱是从已调整频谱序列Y0,…,YN-1中的样本号小的一方开始的N-K个已调整频谱Y0,…,YN-K-1、编码部14没有分配比特的已调整频谱是从已调整频谱序列Y0,…,YN-1中的样本号大的一方开始的K个已调整频谱YN-K,…,YN-1的情况的例子。即,说明通过频谱码的解码,得到解码已调整频谱序列^Y0,…,^YN-K-1的情况的例子。
〔频带扩展部25的例子1〕
在该例中,设在存储部251中存储J组增益候选向量与码的组,各增益候选向量由相当于K样本的增益候选值构成。以下,将J个增益候选向量分别设为Gj(j=0,…,J-1),将与增益候选向量Gj(j=0,…,J-1)各自对应的码设为CGj(j=0,…,J-1),各个增益候选向量Gj设为由K样本的量、即K个增益候选值gj,k(k=0,…,K-1)构成来进行说明。
频带扩展部25将解码已调整频谱^Y0,…,^YN-K-1直接设为从解码扩展频谱序列的样本号小的一方开始的N-K个解码扩展频谱~Y0,…,~YN-K-1。频带扩展部25还从存储部251中存储的增益候选向量Gj(j=0,…,J-1)中,得到与被输入了对应的码CGj的频带扩展增益码相等的增益候选向量中包含的K个增益候选值作为频带扩展增益g0,…,gK-1。频带扩展部25进一步将从解码已调整频谱^Y0,…,^YN-K-1中的样本号大的一方开始的K个解码已调整频谱^YN-2K,…,^YN-K-1和频带扩展增益g0,…,gK-1分别相乘后的值^YN-2Kg0,…,^YN-K-1gK-1,设为从解码扩展频谱序列的样本号大的一方开始的K个解码扩展频谱~YN-K,…,~YN-1。
〔频带扩展部25的例子2〕
在该例中,在存储部251中与例1同样地存储J组增益候选向量与码的组,但是与例1不同,设存储摩擦音用增益候选向量和非摩擦音用增益候选向量这2种作为增益候选向量。即,设在存储部251中存储J组摩擦音用增益候选向量、非摩擦音用增益候选向量和码的组,各摩擦音用增益候选向量和各非摩擦音用增益候选向量由K样本的量的增益候选值构成。以下,将J个摩擦音用增益候选向量分别设为G1j(j=0,…,J-1),将J个非摩擦音用增益候选向量分别设为G2j(j=0,…,J-1),将与摩擦音用增益候选向量G1j(j=0,…,J-1)的每一个对应且与非摩擦音用增益候选向量G2j(j=0,…,J-1)的每一个对应的码设为CGj(j=0,…,J-1)来进行说明。而且,各个摩擦音用增益候选向量G1j设为由K样本的量、即K个增益候选值g1j,k(k=0,…,K-1)构成,各个非摩擦音用增益候选向量G2j设为由K样本的量、即K个增益候选值g2j,k(k=0,…,K-1)构成来说明。
频带扩展部25将解码已调整频谱^Y0,…,^YN-K-1直接设为从解码扩展频谱序列的样本号小的一方开始的N-K个解码扩展频谱~Y0,…,~YN-K-1。此外,在被输入的摩擦音判定信息表示是摩擦音性的音的情况下,频带扩展部25将在存储部251中存储的摩擦音用增益候选向量G1j(j=0,…,J-1)设为增益候选向量Gj(j=0,…,J-1),在输入的摩擦音判定信息表示不是摩擦音性的音的情况下,频带扩展部25将存储部251中存储的非摩擦音用增益候选向量G2j(j=0,…,J-1)设为增益候选向量Gj(j=0,…,J-1),得到增益候选向量Gj(j=0,…,J-1)中的与被输入了对应的符号CGj的频带扩展增益码相等的增益候选向量中包含的K个增益候选值作为频带扩展增益g0,…,gK-1。频带扩展部25进一步将从解码已调整频谱^Y0,…,^YN-K-1中的样本号大的一方开始的K个解码已调整频谱^YN-2K,…,^YN-K-1与频带扩展增益g0,…,gK-1分别相乘后的值^YN-2K g0,…,^YN-K-1gK-1设为从解码扩展频谱序列的样本号大的一方开始的K个解码扩展频谱~YN-K,…,~YN-1。
〔频带扩展部25的例1和例2的变形例1〕
在上述的例1和例2中,设为频带扩展增益的乘法运算的对象的解码已调整频谱设为了将频谱码解码得到的解码已调整频谱^Y0,…,^YN-K-1中的从样本号大的一方开始的K个已调整频谱^YN-2K,…,^YN-K-1。但是,设为频带扩展增益的乘法运算的对象的解码已调整频谱只要是将频谱码解码得到的解码已调整频谱^Y0,…,^YN-K-1中的与预先决定的K个样本号对应的K个解码已调整频谱即可。
〔频带扩展部25的例1和例2的变形例2〕
在上述的例1和例2中,将k的值从小到大的解码已调整频谱^YN-2K+k与k的值从小到大的频带扩展增益gk相乘,得到k的值从小到大的解码扩展频谱~YN-K+k,即,进行k的值从小到大的关联,但是只要是预先决定的关联,则什么样的关联都可以。
〔频带扩展部25的具体例〕
说明N=32、K=12的情况下的频带扩展部25的具体例。该具体例与频带扩展部25的例子2的变形例2对应。图13和图14是N=32、K=12的情况下的频带扩展部25和摩擦音调整解除部23的处理的例子。
图13是摩擦音判定信息表示不是摩擦音性的音的情况的例子。频带扩展部25将通过频谱码的解码得到的解码已调整频谱^Y0,…,^Y19直接设为解码扩展频谱~Y0,…,~Y19。频带扩展部25还得到与被输入了对应的码CGj的频带扩展增益码相等的增益候选向量中包含的12个增益候选值作为频带扩展增益g0,…,g11。频带扩展部25进一步将从解码已调整频谱^Y0,…,^Y19中的样本号大的一方开始的12个解码已调整频谱^Y8,…,^Y19与频带扩展增益g0,…,g11分别相乘后的值^Y8g0,…,^Y19g11设为从解码扩展频谱序列的样本号大的一方开始的K个解码扩展频谱~Y20,…,~Y31。
图14是摩擦音判定信息表示是摩擦音性的音的情况的例子。频带扩展部25将通过频谱码的解码得到的解码已调整频谱^Y0,…,^Y19直接设为解码扩展频谱~Y0,…,~Y19。频带扩展部25还得到与被输入了对应的码CGj的频带扩展增益码相等的增益候选向量中包含的12个增益候选值作为频带扩展增益g0,…,g11。频带扩展部25进一步将从解码已调整频谱^Y0,…,^Y19中的样本号大的一方开始的12个解码已调整频谱^Y8,…,^Y19与频带扩展增益g0,…,g11分别相乘后的值^Y8 g0,…,^Y19 g11,设为从解码扩展频谱序列的样本号大的一方开始的K个解码扩展频谱~Y24,…,~Y31,~Y20,…,~Y23。即,频带扩展部25进行以下处理:将从第8个至第19个解码已调整频谱^Y8,…,^Y19设为复制源,将这些复制源的解码已调整频谱^Y8,…,^Y19的值与频带扩展增益g0,…,g11相乘后的值^Y8 g0,…,^Y19 g11,排列成为在与从解码已调整频谱的第16个至第19个的样本号的顺序对应的解码扩展频谱~Y20=^Y16g8,…,~Y23=^Y19g11之后为与从解码已调整频谱的第8个至第15个的样本号顺序对应的解码扩展频谱~Y24=^Y8g0,…,~Y31=^Y15g7的顺序的结果,成为从第20个至第31个解码扩展频谱~Y20,…,~Y31。
该频带扩展部25的动作是与摩擦音调整解除部23的动作对应的动作。在图8的例子中,摩擦音调整解除部23将第20个至第31个解码扩展频谱~Y20,…,~Y31中的样本号小的一侧的第20个至第23个解码扩展频谱~Y20,…,~Y23设为从样本号第28个至第31个解码频谱^X28,…,^X31,将第20个至第31个解码扩展频谱~Y20,…,~Y31中的样本号大的一侧的第24至第31个解码扩展频谱~Y24,…,~Y31设为从样本号第2个至第9个解码频谱^X2,…,^X8。频带扩展部25考虑通过该摩擦音调整解除部23的动作得到的解码频谱的频率的高低,进行图14的动作。即,无论在摩擦音判定信息表示是摩擦音性的音的情况下还是在表示不是摩擦音性的音的情况下,解码装置的频带扩展部25都进行与解码频谱中的频率的高低匹配的处理。
这样,频带扩展部25通过在比解码部22将频谱码解码得到的频域的样本串(解码已调整频谱序列)的高域侧,配置基于解码部22将频谱码解码得到的频域的样本串(解码已调整频谱序列)中包含的K个(K为2以上的整数)样本的样本,从而得到解码扩展频谱序列。
更具体地说,例如,频带扩展部25通过将频带扩展增益码解码,得到K个频带扩展增益的组,在比解码部22将频谱码解码得到的频域的样本串(解码已调整频谱序列)的高域侧,配置解码部22将频谱码解码得到的频域的样本串中包含的K个样本与K个频带扩展增益相乘得到的K个样本,从而得到解码扩展频谱序列。
而且,设在频带扩展部25中存储有多个码、与各个码对应的摩擦音用增益候选向量、与各个码对应的非摩擦音用增益候选向量,设摩擦音用增益候选向量和非摩擦音用增益候选向量的每一个包含K个增益候选值,频带扩展部25将频带扩展增益码解码得到K个频带扩展增益的组的处理可以设为如下处理:在表示是否是被输入的摩擦音性的音的信息表示是摩擦音性的音的情况下,将多个摩擦音用增益候选向量中的、对应的码与频带扩展增益码相同的摩擦音用增益候选向量中包含的K个增益候选值设为K个频带扩展增益的组,在上述以外的情况下,将多个非摩擦音用增益候选向量中的、对应的码与频带扩展增益码相同的非摩擦音用增益候选向量中包含的K个增益候选值设为K个频带扩展增益的组。
[摩擦音调整解除部23]
在摩擦音调整解除部23中被输入复用分离部21输出的摩擦音判定信息和频带扩展部25输出的解码扩展频谱序列~Y0,…,~YN-1。在以帧单位被输入的摩擦音判定信息表示是摩擦音性的音的情况下,摩擦音调整解除部23对输入的解码扩展频谱序列~Y0,…,~YN-1进行调整解除处理,得到解码频谱序列^X0,…,^XN-1,将得到的解码频谱序列^X0,…,^XN-1输出到时域变换部24,在摩擦音判定信息表示不是摩擦音性的音的情况下,摩擦音调整解除部23将解码扩展频谱序列~Y0,…,~YN-1直接作为解码频谱序列^X0,…,^XN-1输出到时域变换部24(步骤S23)。
摩擦音调整解除部23进行的调整解除处理是,对解码扩展频谱序列~Y0,…,~YN-1进行与第一实施方式的解码装置的摩擦音调整解除部23对解码已调整频谱序列^Y0,…,^YN-1进行的处理相同的处理。即若将大于1且小于N的整数值设为M,则例如在将解码扩展频谱序列~Y0,…,~YN-1中的样本号不足M的样本即~Y0,…,~YM-1的样本群设为低域侧解码扩展频谱序列,将解码扩展频谱序列~Y0,…,~YN-1中的样本号为M以上的样本即~YM,…,~YN-1的样本群设为高域侧解码扩展频谱序列,则在摩擦音判定信息表示是摩擦音性的音的情况下摩擦音调整解除部23进行的调整解除处理是如下处理:得到调换了低域侧解码扩展频谱序列~Y0,…,~YN-1的全部或者一部分的样本、和与其相同数目的高域侧解码扩展频谱序列~YM,…,~YN-1的全部或者一部分的样本的结果,作为解码频谱序列^X0,…,^XN-1。
换言之,也可以是,在表示是否是输入的摩擦音性的音的信息表示是摩擦音性的音的情况下,摩擦音调整解除部23得到调换了频带扩展部25得到的解码扩展频谱序列中的与规定的频率相比位于低域侧的低域侧频率样本串的全部或者一部分、和与其相同数目的、频带扩展部25得到的解码扩展频谱序列中的与规定的频率相比位于高域侧的高域侧频率样本串的全部或者一部分的结果,作为解码音信号的频谱序列(解码频谱序列),在上述以外的情况下,摩擦音调整解除部23得到频带扩展部25得到的解码扩展频谱序列直接作为解码音信号的频谱序列(解码频谱序列)。
而且,如图11中点划线所示,可以说,若将频带扩展部25和摩擦音调整解除部23设为摩擦音对应频带扩展部27,则在表示是否是被输入的摩擦音性的音的信息表示是摩擦音性的音的情况下,摩擦音对应频带扩展部27对解码部22得到的频域的频谱序列(解码已调整频谱序列)进行向低域侧的频带扩展,得到解码音信号的频谱序列(解码频谱序列),在上述以外的情况下,摩擦音对应频带扩展部27对解码部22得到的频域的频谱序列进行向高域侧的频带扩展,得到解码音信号的频谱序列(解码频谱序列)。
[时域变换部24]
时域变换部24按每帧,使用与编码装置的频域变换部11进行的向频域的变换方法对应的向时域的变换方法,将解码频谱序列^X0,…,^XN-1变换为时域的信号,得到帧单位的音信号(解码音信号)并输出(步骤S24)。
《作用效果》
按照第二实施方式的编码装置和解码装置,与第一实施方式的编码装置和解码装置同样,通过进行摩擦音调整处理和摩擦音调整解除处理,在摩擦音性的音的时间区间中对高域优先分配比特,在并非如此的时间区间中对低域优先分配比特,从而即使是包含摩擦音等的音信号也能够减少听觉上的劣化。
按照第二实施方式的编码装置和解码装置,通过进一步使用频带扩展增益,在摩擦音性的音的时间区间中通过高域的频谱的复制,再现低域的频谱从而扩展频带,在并非如此的时间区间中通过低域的频谱的复制,再现高域的频谱从而扩展频带,从而即使是包含摩擦音等的音信号,与第一实施方式相比业能够进一步减少听觉上的劣化。此时,通过使用基于频谱的振幅的频带扩展增益来进行维持了频率顺序的复制,尽量再现原来的频谱的轮廓,提高听觉品质。
而且,若使用第一实施方式的变形例的摩擦音判定部12作为第二实施方式的编码装置的摩擦音判定部12,则与使用第一实施方式的摩擦音判定部12作为第二实施方式的编码装置的摩擦音判定部12的结构相比,能够抑制摩擦音判定部12的判定结果被频繁地转换,能够抑制解码音的波形的不连续的发生频率,能够抑制该不连续被感觉造成的听觉品质的劣化。
[程序以及记录介质]
也可以通过计算机实现各个编码装置、解码装置以及摩擦音判定装置。在该情况下,通过程序记述编码装置、解码装置以及摩擦音判定装置各自应具有的功能的处理内容。然后,通过在计算机中执行该程序,而在计算机上实现各个编码装置、解码装置以及摩擦音判定装置。
记述了该处理内容的程序可以记录在计算机可读取的记录介质中。作为计算机可读取的记录介质,例如是磁记录装置、光盘、光磁记录介质、半导体存储器等任何介质。
而且,各部分的处理可以通过在计算机上执行规定的程序来构成,也可以通过硬件方式实现这些处理的至少一部分。
此外,不言而喻,在不脱离本发明的宗旨的范围中能够进行适当变更。
Claims (13)
1.一种解码装置,包括:
解码部,将规定的时间区间的帧单位的频谱码且为对高域侧的一部分不分配比特的频谱码解码,得到频域的样本串;
频带扩展部,通过在与所述解码部解码所述频谱码得到的频域的样本串相比的高域侧,配置基于所述解码部解码所述频谱码得到的频域的样本串中包含的K个样本的样本,得到解码扩展频谱序列,其中K为2以上的整数;以及
摩擦音调整解除部,在表示是否是被输入的摩擦音性的音的信息表示是摩擦音性的音的情况下,得到将所述频带扩展部得到的所述解码扩展频谱序列中的与规定的频率相比位于低域侧的低域侧频率样本串的全部或者一部分、和与其相同数目的、所述频带扩展部得到的所述解码扩展频谱序列中的与规定的频率相比位于高域侧的高域侧频率样本串的全部或者一部分进行了调换的结果,作为解码音信号的频谱序列,在上述以外的情况下,得到所述频带扩展部得到的解码扩展频谱序列直接作为解码音信号的频谱序列。
2.如权利要求1所述的解码装置,
所述频带扩展部通过将频带扩展增益码解码得到K个频带扩展增益的组,在与所述解码部将所述频谱码解码得到的所述频域的样本串相比的高域侧,配置将所述解码部解码所述频谱码得到的所述频域的样本串中包含的K个样本与K个所述频带扩展增益相乘而得到的K个样本,从而得到所述解码扩展频谱序列。
3.如权利要求2所述的解码装置,
在所述频带扩展部中存储多个码、与所述码的每一个对应的摩擦音用增益候选向量、与所述码的每一个对应的非摩擦音用增益候选向量,
所述摩擦音用增益候选向量和所述非摩擦音用增益候选向量的每一个包含K个增益候选值,
所述频带扩展部将所述频带扩展增益码解码得到K个所述频带扩展增益的组的处理是如下处理:在表示是否是被输入的摩擦音性的音的信息表示是摩擦音性的音的情况下,将在多个所述摩擦音用增益候选向量中的、对应的码与所述频带扩展增益码相同的摩擦音用增益候选向量中包含的K个增益候选值设为K个所述频带扩展增益的组,在上述以外的情况下,将在多个所述非摩擦音用增益候选向量中的、对应的码与所述频带扩展增益码相同的非摩擦音用增益候选向量中包含的K个增益候选值设为K个所述频带扩展增益的组的处理。
4.一种解码装置,将规定的时间区间的帧单位的频谱码解码,得到解码音信号的频谱序列,包括:
解码部,在表示是否是被输入的摩擦音性的音的信息表示是摩擦音性的音的情况下,设在所述频谱码中对低域侧的一部分不分配比特,将所述频谱码解码得到频域的频谱序列,在上述以外的情况下,设在所述频谱码中对高域侧的一部分不分配比特,将所述频谱码解码得到频域的频谱序列;以及
摩擦音对应频带扩展部,在表示是否是被输入的摩擦音性的音的信息表示是摩擦音性的音的情况下,对所述解码部得到的频域的频谱序列进行向低域侧的频带扩展,得到所述解码音信号的所述频谱序列,在上述以外的情况下,对所述解码部得到的频域的频谱序列进行向高域侧的频带扩展,得到所述解码音信号的所述频谱序列。
5.一种编码装置,包括编码部,通过对高域侧的一部分不分配比特的编码处理,将与规定的时间区间的帧单位的音信号对应的频率的样本串进行编码得到频谱码,所述编码装置包括:
摩擦音判定部,判定所述音信号是否是摩擦音性的音;以及
摩擦音调整部,在所述摩擦音判定部判定为是摩擦音性的音的情况下,得到将所述音信号的频谱序列中的与规定的频率相比位于低域侧的低域侧频谱序列的全部或者一部分、和与其相同数目的、所述频谱序列中的与所述规定的频率相比位于高域侧的高域侧频谱序列的全部或者一部分进行了调换后的结果,作为已调整频谱序列,在上述以外的情况下,得到与所述音信号对应的频谱序列直接作为已调整频谱序列,
所述编码部将所述摩擦音调整部得到的已调整频谱序列作为与所述音信号对应的频率的样本串进行编码,得到频谱码,
所述编码装置还包括:
频带扩展增益编码部,存储多个码、和与所述码的每一个对应的增益候选向量,所述增益候选向量的每一个包含K个增益候选值,得到与将所述已调整频谱序列中的所述编码部分配了比特的K个已调整频谱与所述增益候选向量中包含的所述K个增益候选值相乘而得到的K个值的绝对值的序列、与所述已调整频谱序列中的所述编码部没有分配比特的K个已调整频谱的绝对值的序列的误差成为最小的增益候选向量对应的码作为频带扩展增益码,并输出,其中K是2以上的整数。
6.如权利要求5所述的编码装置,
在所述频带扩展增益编码部中存储多个码、与所述码的每一个对应的摩擦音用增益候选向量、与所述码的每一个对应的非摩擦音用增益候选向量,
在所述摩擦音判定部判定为是摩擦音性的音的情况下,所述频带扩展增益编码部使用摩擦音用增益候选向量作为所述增益候选向量,在上述以外的情况下,所述频带扩展增益编码部使用非摩擦音用增益候选向量作为所述增益候选向量。
7.如权利要求5或者6所述的编码装置,
在该帧的所述频谱序列中的高域侧的频谱的平均能量相对于低域侧的频谱的平均能量的比越大则值越大的指标大于预先决定的阈值或者为阈值以上的情况下,所述摩擦音判定部判定为所述音信号是摩擦音性的音。
8.如权利要求5或者6所述的编码装置,
在包含该帧的多个帧中,所述频谱序列中的高域侧的频谱的平均能量相对于低域侧的频谱的平均能量的比越大则值越大的指标大于预先决定的阈值或者为阈值以上的帧数多于并非如此的帧数或者为并非如此的帧数以上的情况下,所述摩擦音判定部判定为所述音信号是摩擦音性的音。
9.一种解码方法,包括:
解码步骤,将规定的时间区间的帧单位的频谱码且为对高域侧的一部分不分配比特的频谱码解码,得到频域的样本串;
频带扩展步骤,通过在与所述解码步骤解码所述频谱码得到的频域的样本串相比的高域侧,配置基于所述解码步骤解码所述频谱码得到的频域的样本串中包含的K个样本的样本,得到解码扩展频谱序列,其中K为2以上的整数;以及
摩擦音调整解除步骤,在表示是否是被输入的摩擦音性的音的信息表示是摩擦音性的音的情况下,得到将所述频带扩展步骤得到的所述解码扩展频谱序列中的与规定的频率相比位于低域侧的低域侧频率样本串的全部或者一部分、和与其相同数目的、所述频带扩展步骤得到的所述解码扩展频谱序列中的与规定的频率相比位于高域侧的高域侧频率样本串的全部或者一部分进行了调换后的结果,作为解码音信号的频谱序列,在上述以外的情况下,得到所述频带扩展步骤得到的解码扩展频谱序列直接作为解码音信号的频谱序列。
10.一种解码方法,将规定的时间区间的帧单位的频谱码解码,得到解码音信号的频谱序列,包括:
解码步骤,在表示是否是被输入的摩擦音性的音的信息表示是摩擦音性的音的情况下,设在所述频谱码中对低域侧的一部分不分配比特,将所述频谱码解码,得到频域的频谱序列,在上述以外的情况下,设在所述频谱码中对高域侧的一部分不分配比特,将所述频谱码解码,得到频域的频谱序列;以及
摩擦音对应频带扩展步骤,在表示是否是被输入的摩擦音性的音的信息表示是摩擦音性的音的情况下,对所述解码步骤得到的频域的频谱序列进行向低域侧的频带扩展,得到所述解码音信号的所述频谱序列,在上述以外的情况下,对所述解码步骤得到的频域的频谱序列进行向高域侧的频带扩展,得到所述解码音信号的所述频谱序列。
11.一种编码方法,包括:编码步骤,通过对高域侧的一部分不分配比特的编码处理,将与规定的时间区间的帧单位的音信号对应的频率的样本串进行编码,得到频谱码,所述编码方法还包括:
摩擦音判定步骤,判定所述音信号是否是摩擦音性的音;
摩擦音调整步骤,在所述摩擦音判定步骤判定为是摩擦音性的音的情况下,得到将所述音信号的频谱序列中的与规定的频率相比位于低域侧的低域侧频谱序列的全部或者一部分、和与其相同数目的、所述频谱序列中的与所述规定的频率相比位于高域侧的高域侧频谱序列的全部或者一部分进行了调换的结果,作为已调整频谱序列,在上述以外的情况下,得到与所述音信号对应的频谱序列直接作为整频谱序列,
所述编码步骤是,将所述摩擦音调整步骤得到的已调整频谱序列作为与所述音信号对应的频率的样本串进行编码,得到频谱码的步骤,
所述编码方法还包括:
频带扩展增益编码步骤,存储多个码、与所述码的每一个对应的增益候选向量,所述增益候选向量的每一个包含K个增益候选值,得到与将所述已调整频谱序列中的所述编码步骤分配了比特的K个已调整频谱与所述增益候选向量中包含的所述K个增益候选值相乘得到的K个值的绝对值的序列、与所述已调整频谱序列中的所述编码步骤未分配比特的K个已调整频谱的绝对值的序列的误差成为最小的增益候选向量对应的码作为频带扩展增益码,并输出,K是2以上的整数。
12.一种程序,用于使计算机作为权利要求1至4的任意一项的解码装置的各部件发挥功能。
13.一种程序,用于使计算机作为权利要求5至8的任意一项的编码装置的各部发挥功能。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311162391.2A CN117351969A (zh) | 2018-01-17 | 2018-12-03 | 解码装置、解码方法、计算机可读记录介质以及程序 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018005768 | 2018-01-17 | ||
JP2018-005768 | 2018-01-17 | ||
PCT/JP2018/044335 WO2019142514A1 (ja) | 2018-01-17 | 2018-12-03 | 復号装置、符号化装置、これらの方法及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311162391.2A Division CN117351969A (zh) | 2018-01-17 | 2018-12-03 | 解码装置、解码方法、计算机可读记录介质以及程序 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111602197A true CN111602197A (zh) | 2020-08-28 |
CN111602197B CN111602197B (zh) | 2023-09-05 |
Family
ID=67301736
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880086667.4A Active CN111602197B (zh) | 2018-01-17 | 2018-12-03 | 解码装置、编码装置、它们的方法以及计算机可读记录介质 |
CN202311162391.2A Pending CN117351969A (zh) | 2018-01-17 | 2018-12-03 | 解码装置、解码方法、计算机可读记录介质以及程序 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311162391.2A Pending CN117351969A (zh) | 2018-01-17 | 2018-12-03 | 解码装置、解码方法、计算机可读记录介质以及程序 |
Country Status (5)
Country | Link |
---|---|
US (2) | US11430464B2 (zh) |
EP (2) | EP4095855B1 (zh) |
JP (1) | JP6962386B2 (zh) |
CN (2) | CN111602197B (zh) |
WO (1) | WO2019142514A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220238123A1 (en) * | 2019-06-13 | 2022-07-28 | Nippon Telegraph And Telephone Corporation | Sound signal receiving and decoding method, sound signal decoding method, sound signal receiving side apparatus, decoding apparatus, program and storage medium |
US20220238122A1 (en) * | 2019-06-13 | 2022-07-28 | Nippon Telegraph And Telephone Corporation | Sound signal receiving and decoding method, sound signal encoding and transmitting method, sound signal decoding method, sound signal encoding method, sound signal receiving side apparatus, sound signal transmitting side apparatus, decoding apparatus, encoding apparatus, program and storage medium |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3742441B1 (en) * | 2018-01-17 | 2023-04-12 | Nippon Telegraph And Telephone Corporation | Encoding device, decoding device, fricative determination device, and method and program thereof |
CN113518227B (zh) * | 2020-04-09 | 2023-02-10 | 于江鸿 | 数据处理的方法和系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10124088A (ja) * | 1996-10-24 | 1998-05-15 | Sony Corp | 音声帯域幅拡張装置及び方法 |
JPH10124089A (ja) * | 1996-10-24 | 1998-05-15 | Sony Corp | 音声信号処理装置及び方法、並びに、音声帯域幅拡張装置及び方法 |
US20020052734A1 (en) * | 1999-02-04 | 2002-05-02 | Takahiro Unno | Apparatus and quality enhancement algorithm for mixed excitation linear predictive (MELP) and other speech coders |
CN1375818A (zh) * | 2001-03-09 | 2002-10-23 | 三菱电机株式会社 | 音频编码装置、音频编码方法、音频解码装置及音频解码方法 |
CN101656074A (zh) * | 2004-05-14 | 2010-02-24 | 松下电器产业株式会社 | 解码装置、解码方法以及通信终端和基站装置 |
CN101836253A (zh) * | 2008-07-11 | 2010-09-15 | 弗劳恩霍夫应用研究促进协会 | 一种使用频谱倾斜控制成帧技术来计算带宽扩展数据的装置及方法 |
CN103733259A (zh) * | 2011-06-23 | 2014-04-16 | 峰力公司 | 用于运行听力设备的方法以及听力设备 |
CN105190748A (zh) * | 2013-01-29 | 2015-12-23 | 弗劳恩霍夫应用研究促进协会 | 在摩擦音或破擦音的起始段或终止段的时间的接近处使用提高的时间分辨率的音频编码器、音频解码器、系统、方法及计算机程序 |
JP2016085334A (ja) * | 2014-10-24 | 2016-05-19 | 富士通株式会社 | オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化プログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5765127A (en) * | 1992-03-18 | 1998-06-09 | Sony Corp | High efficiency encoding method |
JP2956548B2 (ja) * | 1995-10-05 | 1999-10-04 | 松下電器産業株式会社 | 音声帯域拡大装置 |
US8135047B2 (en) * | 2006-07-31 | 2012-03-13 | Qualcomm Incorporated | Systems and methods for including an identifier with a packet associated with a speech signal |
EP2224433B1 (en) * | 2008-09-25 | 2020-05-27 | Lg Electronics Inc. | An apparatus for processing an audio signal and method thereof |
CO6440537A2 (es) * | 2009-04-09 | 2012-05-15 | Fraunhofer Ges Forschung | Aparato y metodo para generar una señal de audio de sintesis y para codificar una señal de audio |
US8447617B2 (en) * | 2009-12-21 | 2013-05-21 | Mindspeed Technologies, Inc. | Method and system for speech bandwidth extension |
EP2950308B1 (en) * | 2013-01-22 | 2020-02-19 | Panasonic Corporation | Bandwidth expansion parameter-generator, encoder, decoder, bandwidth expansion parameter-generating method, encoding method, and decoding method |
CN105225670B (zh) | 2014-06-27 | 2016-12-28 | 华为技术有限公司 | 一种音频编码方法和装置 |
EP3742441B1 (en) * | 2018-01-17 | 2023-04-12 | Nippon Telegraph And Telephone Corporation | Encoding device, decoding device, fricative determination device, and method and program thereof |
-
2018
- 2018-12-03 US US16/962,060 patent/US11430464B2/en active Active
- 2018-12-03 EP EP22179964.6A patent/EP4095855B1/en active Active
- 2018-12-03 CN CN201880086667.4A patent/CN111602197B/zh active Active
- 2018-12-03 WO PCT/JP2018/044335 patent/WO2019142514A1/ja unknown
- 2018-12-03 CN CN202311162391.2A patent/CN117351969A/zh active Pending
- 2018-12-03 EP EP18900764.4A patent/EP3742443B1/en active Active
- 2018-12-03 JP JP2019565744A patent/JP6962386B2/ja active Active
-
2022
- 2022-07-01 US US17/856,221 patent/US11715484B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10124088A (ja) * | 1996-10-24 | 1998-05-15 | Sony Corp | 音声帯域幅拡張装置及び方法 |
JPH10124089A (ja) * | 1996-10-24 | 1998-05-15 | Sony Corp | 音声信号処理装置及び方法、並びに、音声帯域幅拡張装置及び方法 |
US20020052734A1 (en) * | 1999-02-04 | 2002-05-02 | Takahiro Unno | Apparatus and quality enhancement algorithm for mixed excitation linear predictive (MELP) and other speech coders |
CN1375818A (zh) * | 2001-03-09 | 2002-10-23 | 三菱电机株式会社 | 音频编码装置、音频编码方法、音频解码装置及音频解码方法 |
CN101656074A (zh) * | 2004-05-14 | 2010-02-24 | 松下电器产业株式会社 | 解码装置、解码方法以及通信终端和基站装置 |
CN101836253A (zh) * | 2008-07-11 | 2010-09-15 | 弗劳恩霍夫应用研究促进协会 | 一种使用频谱倾斜控制成帧技术来计算带宽扩展数据的装置及方法 |
CN103733259A (zh) * | 2011-06-23 | 2014-04-16 | 峰力公司 | 用于运行听力设备的方法以及听力设备 |
CN105190748A (zh) * | 2013-01-29 | 2015-12-23 | 弗劳恩霍夫应用研究促进协会 | 在摩擦音或破擦音的起始段或终止段的时间的接近处使用提高的时间分辨率的音频编码器、音频解码器、系统、方法及计算机程序 |
JP2016085334A (ja) * | 2014-10-24 | 2016-05-19 | 富士通株式会社 | オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化プログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220238123A1 (en) * | 2019-06-13 | 2022-07-28 | Nippon Telegraph And Telephone Corporation | Sound signal receiving and decoding method, sound signal decoding method, sound signal receiving side apparatus, decoding apparatus, program and storage medium |
US20220238122A1 (en) * | 2019-06-13 | 2022-07-28 | Nippon Telegraph And Telephone Corporation | Sound signal receiving and decoding method, sound signal encoding and transmitting method, sound signal decoding method, sound signal encoding method, sound signal receiving side apparatus, sound signal transmitting side apparatus, decoding apparatus, encoding apparatus, program and storage medium |
US11996107B2 (en) * | 2019-06-13 | 2024-05-28 | Nippon Telegraph And Telephone Corporation | Sound signal receiving and decoding method, sound signal encoding and transmitting method, sound signal decoding method, sound signal encoding method, sound signal receiving side apparatus, sound signal transmitting side apparatus, decoding apparatus, encoding apparatus, program and storage medium |
US12131743B2 (en) * | 2019-06-13 | 2024-10-29 | Nippon Telegraph And Telephone Corporation | Sound signal receiving and decoding method, sound signal decoding method, sound signal receiving side apparatus, decoding apparatus, program and storage medium |
Also Published As
Publication number | Publication date |
---|---|
CN117351969A (zh) | 2024-01-05 |
EP3742443B1 (en) | 2022-08-03 |
US11715484B2 (en) | 2023-08-01 |
EP4095855B1 (en) | 2023-10-04 |
US20200395034A1 (en) | 2020-12-17 |
US11430464B2 (en) | 2022-08-30 |
CN111602197B (zh) | 2023-09-05 |
EP3742443A4 (en) | 2021-10-27 |
JPWO2019142514A1 (ja) | 2021-01-07 |
EP4095855A1 (en) | 2022-11-30 |
US20220343936A1 (en) | 2022-10-27 |
JP6962386B2 (ja) | 2021-11-05 |
WO2019142514A1 (ja) | 2019-07-25 |
EP3742443A1 (en) | 2020-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100348368B1 (ko) | 디지털 음향 신호 부호화 장치, 디지털 음향 신호 부호화방법 및 디지털 음향 신호 부호화 프로그램을 기록한 매체 | |
JP5543939B2 (ja) | 統合化不可逆的可逆的音声圧縮 | |
JP5468566B2 (ja) | 混合の可逆的音声圧縮 | |
JP4521170B2 (ja) | 純可逆的音声圧縮における技術革新 | |
CN111602197A (zh) | 解码装置、编码装置、它们的方法以及程序 | |
JP4168976B2 (ja) | オーディオ信号符号化装置及び方法 | |
CN111602196B (zh) | 编码装置、解码装置、它们的方法及计算机可读记录介质 | |
WO2010024371A1 (ja) | 周波数帯域拡大装置及び方法、符号化装置及び方法、復号化装置及び方法、並びにプログラム | |
JP4296753B2 (ja) | 音響信号符号化方法及び装置、音響信号復号方法及び装置、並びにプログラム及び記録媒体 | |
JP4021124B2 (ja) | デジタル音響信号符号化装置、方法及び記録媒体 | |
JP2011059714A (ja) | 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体 | |
JP4736812B2 (ja) | 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体 | |
RU2689181C2 (ru) | Кодер, декодер, способ кодирования, способ декодирования и программа | |
JP4973397B2 (ja) | 符号化装置および符号化方法、ならびに復号化装置および復号化方法 | |
CN111788628B (zh) | 声音信号的编码装置、声音信号的编码方法以及记录介质 | |
JP2002372993A (ja) | オーディオ帯域拡張装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |