CN104934036B - 音频编码装置、方法以及音频解码装置、方法 - Google Patents

音频编码装置、方法以及音频解码装置、方法 Download PDF

Info

Publication number
CN104934036B
CN104934036B CN201510317625.5A CN201510317625A CN104934036B CN 104934036 B CN104934036 B CN 104934036B CN 201510317625 A CN201510317625 A CN 201510317625A CN 104934036 B CN104934036 B CN 104934036B
Authority
CN
China
Prior art keywords
power
auxiliary information
audio
signal
transient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510317625.5A
Other languages
English (en)
Other versions
CN104934036A (zh
Inventor
堤公孝
菊入圭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Publication of CN104934036A publication Critical patent/CN104934036A/zh
Application granted granted Critical
Publication of CN104934036B publication Critical patent/CN104934036B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G10L19/025—Detection of transients or attacks for time/frequency resolution switching
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information

Abstract

音频编码装置、方法以及音频解码装置、方法。本发明的音频编码装置对由多个帧构成的音频信号进行编码，其中，该音频编码装置具有：音频编码部，其对音频信号进行编码；以及辅助信息编码部，其估计辅助信息并对其进行编码，该辅助信息被用于解码音频信号时的分组丢失的掩藏，并与音频信号的功率的时间变化相关，所述辅助信息编码部作为所述辅助信息，估计与功率的变化相关的标志和量化瞬态功率并对其进行编码。

Description

音频编码装置、方法以及音频解码装置、方法
本发明专利申请是发明名称为“音频编码装置、方法和程序以及音频解码装置、方法和程序”、申请日为2011年11月4日、国际申请号为“PCT/JP2011/075489”、国家申请号为“201180056122.7”的发明专利申请的分案申请。
技术领域
本发明涉及经由IP网和移动通信网传输包含对由多个帧构成的音频信号进行编码而得到的音频码的音频分组时的错误掩藏，更具体而言，涉及用于实现错误掩藏的音频编码装置、音频编码方法和音频编码程序以及音频解码装置、音频解码方法和音频解码程序。
背景技术
在IP网和移动通信中传输音频/声音信号(以下称作“音频信号”)时，对音频信号进行编码而以较小的比特数来表现并分割为音频分组，经由通信网传输该音频分组。通过通信网接收到的音频分组在接收侧的服务器、MCU、终端等中被解码，从而得到解码音频信号。
在通过通信网传输音频分组时，由于通信网的拥挤状态等，可能会产生丢失一部分音频分组或在写入到音频分组中的一部分信息中产生错误的现象(所谓的分组丢失)。在这种情况下，无法在接收侧对音频分组进行正确解码，因此不能得到期望的解码音频信号。此外，由于与产生分组丢失的音频分组对应的解码音频信号被感知为噪音，因此显著损坏对收听的人赋予的主观品质。
为了消除上述那样的不良情况，存在“接收侧中的掩藏技术”和“发送侧中的掩藏技术”，作为对由于分组丢失而丢失的部分的音频声音信号进行插值的分组丢失掩藏技术。
在其中的“接收侧中的掩藏技术”中，例如非专利文献1的技术那样，通过在以音调(pitch)为单位复制了之前正常接收到的分组所包含的解码音频信号后，乘以预先确定的衰减系数，生成与分组丢失的部分对应的音频信号。但是，“接收侧中的掩藏技术”以分组丢失的部分的音频性质与分组丢失紧之前的音频相似为前提，因此在分组丢失的部分与丢失紧之前的音频具有不同性质的情况、和功率急剧变化的情况下不能充分发挥掩藏效果。
此外，在“接收侧中的掩藏技术”中存在专利文献1的技术作为更高级的技术。在该专利文献1的技术中，复制之前正常接收到的分组所包含的解码音频来生成掩藏信号，但以下方法与上述非专利文献1的技术不同：通过乘以根据复制源的音频性质(功率谱的形状)而发生变化的衰减系数，进行异常声音少且高音质的掩藏信号的整形。
另一方面，存在专利文献2的技术和专利文献3的技术作为“发送侧中的掩藏技术”。
在其中的专利文献2的技术中，将之前正常接收到的分组所包含的音频信号蓄积到缓冲器中，并且将表示在丢失分组时从缓冲器的哪个位置复制音频信号的位置信息编码为辅助信息并进行传输。并且，除了位置信息以外，还在辅助信息中包含表示分组丢失部分是否为无声区间这样的振幅信息，由此防止在产生了分组丢失的部分本来是无声区间的情况下混入不必要的声音的情况。
此外，在专利文献3的技术中，解码装置具有：掩藏分组丢失的第一掩藏装置；根据辅助信息修正第一掩藏装置输出的第一掩藏信号的第二掩藏装置；以及对辅助信息进行解码的辅助信息解码装置。在第一掩藏装置中不能充分发挥掩藏效果的情况下，第二掩藏装置使用辅助信息解码装置生成的辅助信息来修正第一掩藏信号，生成第二掩藏信号。作为辅助信息，利用功率谱包络、根据相邻的帧的功率谱包络预测的值和对输入功率谱包络的误差进行编码得到的值。第二掩藏装置在具有能够用作辅助信息的功率谱包络的频域中对第一掩藏信号乘以增益，生成比第一掩藏信号精度更高的第二掩藏信号。
现有技术文献
专利文献
专利文献1：日本再公表特许WO2007/000988号公报
专利文献2：日本特开2003－316670号公报
专利文献3：日本特开2008－111991号公报
非专利文献
非专利文献1：ITU－TG.711AppendixI
发明内容
发明要解决的课题
但是，专利文献1的技术是根据之前正常接收到的解码信号，通过预测生成掩藏信号的方法，因此难以根据之前的信号高精度地生成例如响板的拍打声那样具有与预测结果偏离较大的功率变化的掩藏信号。
此外，专利文献2的技术在发送侧生成与无声区间相关的振幅信息，防止在分组丢失的部分为无声区间的情况下生成掩藏信号，但对于上述的响板的拍打声那样的伴随突发的功率变化的声音不具有足够的掩藏效果。
此外，专利文献3的技术是在以帧为单位进行时频变换后进行频域中的处理的方法，因此处理的单位是帧单位，难以处理帧内的急剧的功率变化。此外，以之前的信号和分组丢失的信号的相关性高为前提对分组丢失部分的解码音频进行高精度化，因此在功率急剧变化的部分产生分组丢失的情况下，信号的相关性变低，因此功率谱包络的预测误差变大，所以难以利用较少的比特数来进行编码，难以生成高精度的解码音频。
如上所述，在现有技术中，具有如下问题：对拍手和响板的拍打声那样的伴随有在时间上较快的功率变化的信号(以下称作“瞬态信号”)不具有足够的错误掩藏效果。即，在接收侧，要根据通过解码由紧之前正常接收到的音频分组而得到的解码信号，正确预测在音频信号中的哪个时刻产生瞬态信号是极为困难的。
本发明的目的在于解决上述问题，给出能够高精度地掩藏难以根据前后信号来预测的瞬态信号中的分组丢失的错误掩藏技术。
用于解决课题的手段
本发明的一个方面的音频编码装置，其对由多个帧构成的音频信号进行编码，其中，该音频编码装置具有：音频编码部，其对音频信号进行编码；以及辅助信息编码部，其估计辅助信息并对其进行编码，该辅助信息被用于解码音频信号时的分组丢失的掩藏，并与音频信号的功率的时间变化相关，所述辅助信息编码部作为所述辅助信息，估计与功率的变化相关的标志和量化瞬态功率并对其进行编码。
也可以是，所述辅助信息仅包含所述标志和所述量化瞬态功率。
此外，本发明的另一个方面的音频编码装置，其对由多个帧构成的音频信号进行编码，其中，该音频编码装置具有：音频编码部，其对音频信号进行编码；以及辅助信息编码部，其估计辅助信息并对其进行编码，该辅助信息被用于解码音频信号时的分组丢失的掩藏，并与音频信号的功率的时间变化相关，所述辅助信息编码部作为所述辅助信息，估计与功率的变化相关的标志并对其进行编码，在所述标志为规定的模式的情况下，作为所述辅助信息，还估计量化瞬态功率并对其进行编码，在所述标志不为规定的模式的情况下，作为所述辅助信息，不包含量化瞬态功率。
本发明的一个方面的音频解码装置，其根据包含音频码和辅助信息码的音频分组对音频码进行解码，所述辅助信息码被用于解码音频码时的分组丢失的掩藏，并与音频信号的功率的时间变化相关，其中，该音频解码装置具有：错误/丢失检测部，其检测音频分组中的分组错误或分组丢失，并输出表示检测结果的错误标志；音频解码部，其对音频分组中包含的音频码进行解码来求出解码信号；辅助信息解码部，其对音频分组中包含的辅助信息码进行解码来求出辅助信息；第一掩藏信号生成部，其在所述错误标志表示音频分组的异常的情况下，根据已经求出的解码信号，生成用于掩藏分组丢失的第一掩藏信号；以及掩藏信号修正部，其根据所述辅助信息，修正第一掩藏信号，所述辅助信息解码部对所述辅助信息码中包含的与功率的变化相关的标志和量化瞬态功率进行解码，作为辅助信息求出所述标志和所述量化瞬态功率。
也可以是，所述辅助信息仅包含所述标志和所述量化瞬态功率。
此外，本发明的另一个方面的音频解码装置，其根据包含音频码和辅助信息码的音频分组对音频码进行解码，所述辅助信息码被用于解码音频码时的分组丢失的掩藏，并与音频信号的功率的时间变化相关，其中，该音频解码装置具有：错误/丢失检测部，其检测音频分组中的分组错误或分组丢失，并输出表示检测结果的错误标志；音频解码部，其对音频分组中包含的音频码进行解码来求出解码信号；辅助信息解码部，其对音频分组中包含的辅助信息码进行解码来求出辅助信息；第一掩藏信号生成部，其在所述错误标志表示音频分组的异常的情况下，根据已经求出的解码信号，生成用于掩藏分组丢失的第一掩藏信号；以及掩藏信号修正部，其根据所述辅助信息，修正第一掩藏信号，所述辅助信息解码部对所述辅助信息码中包含的与功率的变化相关的标志进行解码，在所述标志为规定的模式的情况下，还对所述辅助信息码中包含的量化瞬态功率进行解码，作为辅助信息求出所述标志和所述量化瞬态功率，在所述标志不为规定的模式的情况下，作为所述辅助信息，不包含量化瞬态功率。
本发明的一个方面的由音频编码装置执行的音频编码方法，该音频编码装置对由多个帧构成的音频信号进行编码，其中，该音频编码方法具有：音频编码步骤，对音频信号进行编码；以及辅助信息编码步骤，估计辅助信息并对其进行编码，该辅助信息被用于解码音频信号时的分组丢失的掩藏，并与音频信号的功率的时间变化相关，在所述辅助信息编码步骤中，所述音频编码装置作为所述辅助信息，估计与功率的变化相关的标志和量化瞬态功率并对其进行编码。
此外，本发明的另一个方面的由音频编码装置执行的音频编码方法，该音频编码装置对由多个帧构成的音频信号进行编码，其中，该音频编码方法具有：音频编码步骤，对音频信号进行编码；以及辅助信息编码步骤，估计辅助信息并对其进行编码，该辅助信息被用于解码音频信号时的分组丢失的掩藏，并与音频信号的功率的时间变化相关，在所述辅助信息编码步骤中，所述音频编码装置作为所述辅助信息，估计与功率的变化相关的标志并对其进行编码，在所述标志为规定的模式的情况下，作为所述辅助信息，还估计量化瞬态功率并对其进行编码，在所述标志不为规定的模式的情况下，作为所述辅助信息，不包含量化瞬态功率。
本发明的一个方面的由音频解码装置执行的音频解码方法，该音频解码装置根据包含音频码和辅助信息码的音频分组对音频码进行解码，所述辅助信息码被用于解码音频码时的分组丢失的掩藏，并与音频信号的功率的时间变化相关，其中，该音频解码方法具有：错误/丢失检测步骤，检测音频分组中的分组错误或分组丢失，并输出表示检测结果的错误标志；音频解码步骤，对音频分组中包含的音频码进行解码来求出解码信号；辅助信息解码步骤，对音频分组中包含的辅助信息码进行解码来求出辅助信息；第一掩藏信号生成步骤，其在所述错误标志表示音频分组的异常的情况下，根据已经求出的解码信号，生成用于掩藏分组丢失的第一掩藏信号；以及掩藏信号修正步骤，根据所述辅助信息，修正第一掩藏信号，在所述辅助信息解码步骤中，所述音频解码装置对所述辅助信息码中包含的与功率的变化相关的标志和量化瞬态功率进行解码，作为辅助信息求出所述标志和所述量化瞬态功率。
此外，本发明的另一个方面的由音频解码装置执行的音频解码方法，该音频解码装置根据包含音频码和辅助信息码的音频分组对音频码进行解码，所述辅助信息码被用于解码音频码时的分组丢失的掩藏，并与音频信号的功率的时间变化相关，其中，该音频解码方法具有：错误/丢失检测步骤，检测音频分组中的分组错误或分组丢失，并输出表示检测结果的错误标志；音频解码步骤，对音频分组中包含的音频码进行解码来求出解码信号；辅助信息解码步骤，对音频分组中包含的辅助信息码进行解码来求出辅助信息；第一掩藏信号生成步骤，在所述错误标志表示音频分组的异常的情况下，根据已经求出的解码信号，生成用于掩藏分组丢失的第一掩藏信号；以及掩藏信号修正步骤，根据所述辅助信息，修正第一掩藏信号，在所述辅助信息解码步骤中，所述音频解码装置对所述辅助信息码中包含的与功率的变化相关的标志进行解码，在所述标志为规定的模式的情况下，还对所述辅助信息码中包含的量化瞬态功率进行解码，作为辅助信息求出所述标志和所述量化瞬态功率，在所述标志不为规定的模式的情况下，作为所述辅助信息，不包含量化瞬态功率。
发明效果
本发明通过以上所述的方法，能够送出与功率急剧变化的部分相关的信息，因此能够针对在现有技术中难以实现分组丢失掩藏的伴随有功率的急剧的时间变化的信号(瞬态信号)实现高精度的分组丢失掩藏。
附图说明
图1是示出发明的一个实施方式中的系统环境的图。
图2是第1、第2、第3、第6实施方式中的编码部的结构图。
图3是图2的编码部的处理的流程图。
图4是第1实施方式等中的辅助信息编码部的结构图。
图5是示出作为音频编码对象的信号和作为辅助信息编码对象的信号之间的时间关系以及比特流的结构例的图。
图6是第1、第2、第3、第5、第6实施方式中的解码部的结构图。
图7是图6的解码部的处理的流程图。
图8是示出掩藏信号修正部的处理的一例的流程图。
图9是示出辅助信息编码部的结构的一例的图。
图10是第4、第5实施方式中的编码部的结构图。
图11是示出第一掩藏信号生成部的结构的一例的图。
图12是示出掩藏信号修正部的处理的一例的流程图。
图13是第4实施方式中的解码部的结构图。
图14是示出第6实施方式中的作为音频编码对象的信号和作为辅助信息编码对象的信号之间的时间关系以及比特流的结构例的图。
图15是计算机的硬件结构图。
图16是计算机的外观图。
图17是示出音频编码程序的结构的图。
图18是示出音频解码程序的结构的图。
图19是示出解码部的其他结构例的图。
图20是第7实施方式中的辅助信息编码部的结构图。
图21是图20的辅助信息编码部的处理的流程图。
图22是第7、第11实施方式中的辅助信息解码部的结构图。
图23是图22的辅助信息解码部的处理的流程图。
图24是第7、第8实施方式中的掩藏信号修正部的结构图。
图25是第7实施方式的掩藏信号修正部的处理的流程图。
图26是第8实施方式中的辅助信息编码部的结构图。
图27是图26的辅助信息编码部的处理的流程图。
图28是示出第8实施方式中的辅助信息编码部的变形例的结构图。
图29是图28的辅助信息编码部的处理的流程图。
图30是第8实施方式中的辅助信息解码部的结构图。
图31是图30的辅助信息解码部的处理的流程图。
图32是第8实施方式的掩藏信号修正部的处理的流程图。
图33是第10实施方式中的辅助信息编码部的结构图。
图34是图33的辅助信息编码部的处理的流程图。
图35是第10实施方式中的辅助信息解码部的结构图。
图36是图35的辅助信息解码部的处理的流程图。
图37是第10实施方式中的掩藏信号修正部的处理的流程图。
图38是第11实施方式中的辅助信息编码部的结构图。
图39是图38的辅助信息编码部的处理的流程图。
图40是第11实施方式中的辅助信息解码部的处理的流程图。
图41是示出瞬态检测部的输出内容的图。
图42是示出瞬态位置信息的标量量化方法的例子的图。
图43是第12实施方式中的辅助信息编码部的结构图。
图44是第12实施方式中的辅助信息解码部的结构图。
图45是第13实施方式中的辅助信息编码部的结构图。
图46是第13实施方式中的辅助信息解码部的结构图。
图47是第14实施方式中的辅助信息编码部的结构图。
图48是第14实施方式中的辅助信息解码部的结构图。
图49是第15实施方式中的辅助信息编码部的结构图。
图50是第15实施方式中的辅助信息解码部的结构图。
具体实施方式
以下，使用附图说明本发明的各种实施方式。
[第1实施方式]
首先，使用图1说明本发明假定的系统环境。如图1所示，通过麦克风等传感器得到的音频信号用数字形式来表现，并被输入到编码部1。
每当所确定的样本数量的音频信号被蓄积预定量到内置的缓冲器中时，编码部1对缓冲器内的数字信号进行编码。将上述预定量的、即蓄积的样本数量称作帧长度，将蓄积在缓冲器中的数字信号的集合称作帧。例如，在以32kHz的采样频率进行收音时设为了20ms的帧长度的情况下，将640样本的数字信号蓄积到缓冲器中。另外，缓冲器的长度可以长于1帧。例如，在将缓冲器的长度设为2帧的情况下，如果仅在最初等待将2帧的数字信号蓄积到缓冲器中后再开始编码，则能够将作为编码对象的帧的下一帧数字信号用于辅助信息的估计。作为进行编码的时刻，可以以帧长度为单位进行编码，也可以使帧之间具有一定长度的重叠来进行编码。编码采用3GPP enhanced aacPlus或G.718等的音频编码。关于音频编码的方法，可以使用任何方法。此外，为了辅助信息计算而使用蓄积在缓冲器中的音频声音信号计算辅助信息，进行编码并传输(辅助信息码)。辅助信息码可以与音频码利用同一个分组来传输，也可以用与包含音频码的分组不同的分组来传输。之后将对编码部1的动作的详细情况进行叙述。
分组构成部2在由编码部1得到的音频码中附加RTP头等通信所需的信息，生成音频分组。通过网络将所生成的音频分组送出到接收侧。
分组分离部3将通过网络接收到的音频分组分离为分组头信息和除此以外的部分(音频码和辅助信息码，以下称作“比特流”)，并将比特流输出到解码部4。
解码部4进行正常接收到的音频分组中所包含的音频码的解码，另一方面，在接收到的音频分组中检测到异常(分组错误或分组丢失)的情况下进行分组丢失掩藏。关于解码部4的详细动作，将在以下的实施方式中叙述。从解码部4输出的解码音频被送出至音频的缓冲器等中并通过扬声器等进行再现，或者被蓄积到存储器或硬盘等记录介质中。
以上叙述的图1的整体结构在后述的第2～第6实施方式中也同样如此，因此在第2～第6实施方式中省略对整体结构的重复说明。
另外，作为第1实施方式的特征部分，以下对编码部1和解码部4进行详细说明。在第1实施方式中，说明使用对多个比1帧短的子帧的功率进行函数近似而得到的参数作为与功率的时间变化相关的辅助信息的例子。
(编码部1的结构和动作)
如图2所示，编码部1具有：对音频信号进行编码的音频编码部11；辅助信息编码部12，其估计辅助信息并进行编码，该辅助信息用于在解码音频信号时的分组丢失的掩藏，并与音频信号的功率的时间变化相关；以及码复用部13，其对在辅助信息编码部12的编码中得到的辅助信息码和在音频编码部11的编码中得到的音频码进行复用并作为比特流输出。
如图4所示，其中的辅助信息编码部12具有将后述的子帧功率计算部121、衰减系数估计部122和衰减系数量化部123。
以下，使用图3对编码部1的动作进行说明。
音频编码部11蓄积预先确定的时间量的输入音频，并对所蓄积的输入音频中的作为编码对象的部分进行编码(图3的步骤S1101)。编码例如可以使用在文献「3GPP TS26.401“Enhanced aacPlus general audio codec General description”」中规定的3GPPenhanced aacPlus、或在文献「Recommedation ITU－T G.718“Frame error robustnarrow－band and wideband embedded variable bit－rate coding of speech andaudio from 8－32kbit/s”」中规定的G.718等音频编码，也可以使用其他编码方法。
辅助信息编码部12中的子帧功率计算部121蓄积预先确定的时间量的输入音频，并针对所蓄积的输入音频中的作为编码对象的部分s(0)、s(1)、…、s(T－1)的预先确定的帧数(在本实施方式中为d帧)的之后的音频信号s(dT)、s(1+dT)、…、s((d+1)T－1)计算子帧功率序列(图3的步骤S1211)。此处，将1帧所包含的样本数设为T。如果设预测对象信号为下式(1)，则子帧l(0≤l≤L－1)的功率P(l)通过下式(2)求出。
【式1】
v(K·l+k)＝s(K·l+k+dT)
k表示子帧中的样本的索引(0≤k≤K－1)。此处，将子帧所包含的数字信号的样本数设为K。
【式2】
另外，在第1实施方式中，将子帧长度设为K，但也可以按照每个子帧使用事先确定的不同长度。也可以将第l个子帧的开始索引设为kl start、结束索引设为kl end，则依照下式(3)计算子帧功率序列。
【式3】
衰减系数估计部122使用例如最小二乘法等，根据子帧功率序列求出表示功率的时间变化的直线的斜率γopt(图3的步骤S1221)。可以更单纯地根据P(0)、P(L－1)求出斜率。此处，L表示1帧所包含的子帧的数量。此外，除了直线的斜率γopt以外，还可以求出对子帧功率序列P(l)进行直线近似而得到的截距Popt。
此处，子帧m的功率用以下的式(4)表示。
【式4】
此时，直线的斜率γopt和截距Popt依照下式(5)(最小二乘法)。
【式5】
衰减系数量化部123在对直线的斜率γopt进行标量量化后对其进行编码，输出辅助信息码(图3的步骤S1231)。也可以使用事先准备的标量量化码本。在对子帧功率序列P(l)进行直线近似的情况下，除了直线的斜率γopt以外，还可以对截距Popt也进行编码。
码复用部13以预定的顺序写出音频码和辅助信息码并输出比特流(图3的步骤S1301)。图5示出作为音频编码对象的信号和作为辅助信息编码对象的信号之间的时间关系以及比特流的结构的一例(d＝1的情况)。例如图5所示，通过在帧N的音频码中增加例如帧(N+1)的辅助信息码而得到比特流，并从码复用部13输出。并且，通过分组构成部2对比特流附加分组头信息，从而成为第N个被传输的音频分组。
重复以上的步骤S1101～S1301的处理直到输入音频的结束为止(步骤S1401)。
(解码部4的结构和动作)
如图6所示，解码部4具有错误/丢失检测部41、码分离部40、音频解码部42、辅助信息解码部45、第一掩藏信号生成部43和掩藏信号修正部44。如图11所示，其中的第一掩藏信号生成部43具有解码系数蓄积部431和蓄积解码系数重复部432。如图12所示，掩藏信号修正部44具有辅助信息蓄积部441和子帧功率修正部442。
以下，使用图6、图7对解码部4的动作进行说明。
错误/丢失检测部41检测接收到的音频分组中的异常(分组错误或分组丢失)，并输出表示检测结果的错误标志(图7的步骤S4101)。错误标志被默认设置成表示分组正常的关闭，错误/丢失检测部41在接收到的音频分组中检测到异常的情况下，将错误标志设置成打开(分组异常)。例如，错误/丢失检测部41具有每当接收到新的分组时将值逐个增加1的计数器，当按照从编码侧起的发送顺序对分组分配编号时，能够对分配给分组的编号和计数器值进行比较，在这些值不同的情况下检测出分组丢失。但是，此处叙述的错误/丢失检测部41中的分组丢失检测方法只不过是一个例子，可以使用任何方法检测分组丢失。
以下，分别针对错误标志打开(分组异常)的情况、和关闭(分组正常)的情况说明动作。
(错误标志关闭的情况(图7的步骤S4102中的否的情况))
错误/丢失检测部41将错误标志发送至音频解码部42、第一掩藏信号生成部43、掩藏信号修正部44和辅助信息解码部45，并且将比特流发送至码分离部40。
码分离部40从错误/丢失检测部41接收比特流，将比特流分离为音频码和辅助信息码，并将音频码送出至音频解码部42，辅助信息码送出至辅助信息解码部45(图7的步骤S4001)。
音频解码部42对音频码进行解码来生成解码信号，并作为解码音频输出。音频码的解码使用与上述音频编码部11对应的解码方法。此时，音频解码部42还将解码信号送出至第一掩藏信号生成部43(图7的步骤S4311)。此时在第一掩藏信号生成部43中，通过图11的解码系数蓄积部431蓄积发送来的解码信号。将这里蓄积的蓄积解码信号设为b(k，l)。可以将蓄积的信号设为至少前面的d帧以上。此处，k表示子帧中的样本的索引(其中0≤k≤K－1)，l表示解码系数蓄积部431中所蓄积的子帧的索引(其中0≤l≤dL－1)。
辅助信息解码部45对从码分离部40输出的辅助信息码进行解码而生成辅助信息，并送出至掩藏信号修正部44(图7的步骤S4202)。此时在掩藏信号修正部44中，通过图12的辅助信息蓄积部441蓄积发送来的辅助信息。此时蓄积的辅助信息优选为之前的几帧(至少d帧以上)。
在上述步骤S4202中辅助信息解码部45对从码分离部40输出的辅助信息码进行解码而生成索引，并根据码本求出与索引对应的直线的斜率γJ。此处，P(－1)表示在帧丢失紧之前正常接收到的信号中的最后的子帧的功率。
【式6】
此外，在对子帧的功率进行直线近似并同时对直线的截距进行了编码的情况下，使用截距PJ，根据下式7求出子帧功率。
【式7】
(错误标志打开的情况(图7的步骤S4102中的是的情况))
错误/丢失检测部41将错误标志发送至音频解码部42、第一掩藏信号生成部43、掩藏信号修正部44和辅助信息解码部45。
第一掩藏信号生成部43内的蓄积解码系数重复部432使用解码系数蓄积部431中所蓄积的蓄积解码信号求出第一掩藏信号z(k)(图7的步骤S4321)。具体而言，例如下式8所示，通过重复最后的子帧来计算第一掩藏信号。
【式8】
z(K·l+k)＝b(k，dL-1)
(其中，0≤l≤dL－1、0≤k≤K－1)
另外，重复的单位不限于最后的子帧，也可以取出b(k，l)的任意部分进行重复。此外，不限于基于上述那样的重复的第一掩藏信号的生成，也可以以音调为单位从解码系数蓄积部431取出波形并进行重复来计算第一掩藏信号，例如还可以通过使用了线性预测等的预测来生成第一掩藏信号。除此以外，例如还可以如下所示那样依照事先确定的模型生成第一掩藏信号。
【式9】
[z(K·(L-1))，...，z(K·L-1)]＝f(b(0，0)，b(1，0)...，b(K-1，dL-1))
子帧功率修正部442根据第一掩藏信号，依照以下的式子，按照每个子帧修正第一掩藏信号的功率值来求出掩藏信号y(K·l+k)。具体而言，依照下式进行修正(其中，0≤l≤L－1、0≤k≤K－1)。此外，P－d(m)表示与在利用该分组(第一掩藏信号生成对象的分组)的d个之前的分组所传输的辅助信息码中包含的子帧相关的功率(图7的步骤S4421)。
【式10】
例如，如图8所示，子帧功率修正部442从辅助信息蓄积部441中取出利用d个的前面分组所传输的辅助信息(图8的步骤S60)，针对第一掩藏信号按照每个子帧计算振幅均方值，并将子帧中所包含的值除以振幅均方值(图8的步骤S61)。结果得到z’(K·l+k)。并且，根据辅助信息计算各子帧的功率，并将根据功率求出的平均振幅值乘以上述子帧的值(图8的步骤S62)。由此求出掩藏信号y(K·l+k)。
重复以上的图7的步骤S4101～S4421的处理直到输入音频的结束为止(图7的步骤S4431)。
如上所述，在第1实施方式中，能够使用对多个比1帧短的子帧的功率进行函数近似而得到的参数作为与功率的时间变化相关的辅助信息。
[第2实施方式]
作为辅助信息，可以使用通过预先学习或凭经验确定的矢量ci(l)的矢量量化，由此对子帧的功率序列进行编码，并用作辅助信息。因此，在第2实施方式中，说明如下例子：在第1实施方式的辅助信息编码部12、辅助信息解码部45中将与对多个子帧的功率进行矢量量化而得到的矢量相关的信息作为辅助信息进行编码或解码。
在第2实施方式中，仅辅助信息编码部12和辅助信息解码部45与第1实施方式不同，因此以下对这两个要素进行说明。
如图9所示，辅助信息编码部12具有子帧功率计算部121和子帧功率矢量量化部124。其中的子帧功率计算部121的功能/动作与第1实施方式相同。
子帧功率矢量量化部124在对子帧l(其中0≤l≤L－1)的功率P(l)进行矢量量化后对其进行编码，输出辅助信息码。另外，I是码本中的直线或矢量的条目数，J是所选择的直线或矢量的索引。另外，ci(l)表示码本中的第i个码矢量的第l个要素。
【式11】
通过二进制编码等对所选择的J进行编码，并设为辅助信息码。
另一方面，辅助信息解码部45对从码分离部40输出的辅助信息码进行解码生成索引J，从码本求出与索引J对应的矢量cJ(l)并输出。
【式12】
如上所述，在第2实施方式中，可以使用预先通过学习或凭经验确定的矢量的矢量量化，由此对子帧的功率序列进行编码，并用作辅助信息。
[第3实施方式]
在上述第1、第2实施方式中，在辅助信息的计算中使用了由音频编码部11进行了编码的信号的d帧的之后的或比d帧更多帧的之后的信号，但在以下的第3实施方式中，说明在辅助信息的计算中使用了由音频编码部11进行了编码的信号的d帧前面信号的例子。
在以下的第3实施方式中，与第1实施方式的不同仅为辅助信息编码部12中的子帧功率计算部121和掩藏信号修正部44中的子帧功率修正部442，因此对这些子帧功率计算部121和子帧功率修正部442进行说明。
子帧功率计算部121蓄积预先确定的时间量的输入音频，并针对所蓄积的输入音频中的作为编码对象的部分s(0)、s(1)、…、s(T－1)的预先确定的帧数(在本实施方式中为d帧)的前面的音频信号s(－dT)、s(1－dT)、…、s(－1)计算子帧功率序列。此处，将1帧所包含的样本数设为T。如果将预测对象信号设为下式13，则子帧l(0≤l≤L－1)的功率P(l)通过下式14求出。
【式13】
v(K·l+k)＝s(K·l+k+dT)
k表示子帧中的样本的索引(0≤k≤K－1)。此处，将子帧所包含的数字信号的样本数设为K。
【式14】
另一方面，子帧功率修正部442根据第一掩藏信号，依照以下的式15，按照每个子帧修正第一掩藏信号的功率值来求出掩藏信号y(K·l+k)。具体而言，依照下式15进行修正(其中，0≤l≤L－1、0≤k≤K－1)。此外，Pd(m)表示与在利用该分组(第一掩藏信号生成对象的分组)的d个之后的分组所传输的辅助信息码中包含的子帧相关的功率。
【式15】
如上所述，在第3实施方式中，在辅助信息的计算中，能够使用由音频编码部进行了编码的信号的几帧前面的信号。
[第4实施方式]
在第4实施方式中，说明对进行了时频变换后的信号应用在第1、第2实施方式中进行的处理的例子。
如图10所示，第4实施方式中的编码部1采用针对第1、第2实施方式中的编码部1(图2)，在音频编码部11和辅助信息编码部12的输入侧追加了时频变换部10的结构。
时频变换部10使用分析QMF对音频信号进行时频变换。具体而言，根据下式16进行时频变换。
【式16】
此处，E表示时间方向的子帧数，K表示频率空间的数量。k是频率空间的索引(其中0≤k≤K－1)，l是子帧的索引(其中0≤l≤L－1)。除此以外，还能够利用MDCT(ModifiedDiscrete Cosine Transform：改良的离散余弦变换)进行时频变换。
音频编码部11对进行了时频变换后的音频信号进行编码。还可以通过例如SBR(Spectral Band Replication：频带复制)等编码方法进行编码，但也可以使用任何编码方法。
如图4所示，辅助信息编码部12具有子帧功率计算部121、衰减系数估计部122和衰减系数量化部123。在这些结构要素中，与第1、第2实施方式不同的仅为子帧功率计算部121，因此以下对子帧功率计算部121进行说明。另外，在衰减系数量化部123中，也可以使用在第2实施方式中叙述的矢量量化。
子帧功率计算部121蓄积预先确定的时间量的音频信号，使用将所蓄积的音频信号中的作为编码对象的部分V(k，l)的预先确定的帧数(d帧)的之后的音频信号变换到时频域而得到的音频信号V(k，l+d)，如下那样进行辅助信息的计算。子帧l+d的功率P(l+d)通过下式17计算。
【式17】
与第1、第2实施方式同样，码复用部13以预定的顺序写出音频码和辅助信息码并输出比特流。
另一方面，如图13所示，第4实施方式中的解码部4采用针对第1、第2实施方式中的解码部4(图6)，在音频解码部42和掩藏信号修正部44的输出侧追加了逆变换部46的结构。
在这种图13的解码部4中，错误/丢失检测部41、码分离部40和音频解码部42的动作与第1、第2实施方式相同，因此以下对第一掩藏信号生成部43、辅助信息解码部45、掩藏信号修正部44和逆变换部46的动作进行说明。
如图11所示，第一掩藏信号生成部43具有解码系数蓄积部431和蓄积解码系数重复部432。其中的解码系数蓄积部431蓄积从音频解码部42输入的解码信号。将所蓄积的蓄积解码信号设为B(k，l)。此处，k表示子帧中的样本的索引(其中0≤k≤K－1)，l表示解码系数蓄积部431中所蓄积的子帧的索引(其中0≤l≤L－1)。
蓄积解码系数重复部432在错误标志打开(分组异常)的情况下，使用在解码系数蓄积部431中所蓄积的蓄积解码信号求出第一掩藏信号z(k，l)。具体而言，例如依照下式18，通过重复最后的子帧来计算第一掩藏信号。
【式18】
z(k，l)＝B(k，L－1)(其中0≤l≤L－1、0≤k≤K－1)
另外，重复的单位不限于最后的子帧，也可以取出B(k，l)的任意部分来进行重复，例如还可以通过使用了线性预测等的预测来生成第一掩藏信号。除此以外，例如还可以如下所示那样依照事先确定的模型生成第一掩藏信号。
【式19】
[z(k，0)...，z(k，L-1)]＝f(B(0，0)，B(1，0)...，B(K-1，L-1))
辅助信息解码部45对码分离部40输出的辅助信息码进行解码来生成索引，并根据码本求出与索引对应的直线的斜率γJ而输出。此处，P(－1)表示在帧丢失紧之前正常接收到的信号中的最后的子帧的功率。
【式20】
此外，在对子帧的功率进行直线近似并同时对直线的截距进行了编码的情况下，使用截距PJ，根据下式21求出子帧功率。
【式21】
此外，在如第2实施方式那样在辅助信息编码部12内的衰减系数量化部123中使用了矢量量化的情况下，如第2实施方式中的辅助信息解码部45那样，本实施方式的辅助信息解码部45使用码本来计算子帧的功率。
如图12所示，掩藏信号修正部44具有辅助信息蓄积部441和子帧功率修正部442。其中的辅助信息蓄积部441在错误标志关闭(分组正常)的情况下蓄积从辅助信息解码部45输入的辅助信息。蓄积的辅助信息优选为之前的几帧。子帧功率修正部442根据第一掩藏信号，依照以下的式22，按照每个子帧修正第一掩藏信号的功率值来求出掩藏信号Y(k，l)。具体而言，依照下式进行修正(其中，0≤l≤L－1、0≤k≤K－1)。此外，P－d(m)表示与在利用该分组(第一掩藏信号生成对象的分组)的d个的之前分组所传输的辅助信息码中包含的子帧相关的功率。
【式22】
逆变换部46将掩藏信号或解码信号从时频域的信号变换为时域的信号。例如，通过示出合成QMF的下式23进行变换。
【式23】
此处，l是时域的信号的索引，0≤l≤K(2+L)。
如上所述，在第4实施方式中，能够对进行了时频变换后的信号应用在第1、第2实施方式中进行的处理。
[第5实施方式]
在第5实施方式中，说明按照每个子带应用第1实施方式中叙述的方法的例子。
在第5实施方式的编码部1中，辅助信息编码部12的动作与第1实施方式不同，因此以下说明辅助信息编码部12的动作。如图4所示，辅助信息编码部12具有子帧功率计算部121、衰减系数估计部122和衰减系数量化部123。
其中的子帧功率计算部121蓄积预先确定的时间量的输入音频，并针对所蓄积的输入音频中的作为编码对象的部分v(k，l)的预先确定的帧数(在本实施方式中为d帧)的之后的音频信号v(k，l+d)计算子帧功率序列。此处，将1帧所包含的样本数设为T。在将预测对象信号设为v(k，l+d)＝s(k，l+d)时，子帧l(0≤l≤L－1)的第i个子带的功率Pi(l)通过下式24求出。k表示子帧中的样本的索引(其中0≤k≤K－1)。
【式24】
另外，作为子带的确定方法，可以将子带宽度设为非等间隔，可以设定为临界频带的宽度，还可以将子带宽度设为1。
衰减系数估计部122使用例如最小二乘法等，按照每个子帧，根据子帧功率序列求出表示功率的时间变化的直线的斜率γi opt。可以更单纯地根据Pi(0)和Pi(L－1)求出斜率。此外，除了直线的斜率γi opt以外，还可以求出对子帧功率序列Pi(l)进行直线近似而得到的截距Pi opt。此处，子帧m的功率用以下的式25表示。
【式25】
此时，直线的斜率γopt和截距PJ依照下式26(最小二乘法)。
【式26】
衰减系数量化部123在对直线的斜率γi opt进行标量量化后对其进行编码，输出辅助信息码。也可以使用事先准备的标量量化码本。在对子帧功率Pi(l)进行直线近似的情况下，除了直线的斜率γi opt以外，还对截距Pi opt进行编码。此外，还可以在对能够针对所有子带来排列γi opt的矢量进行矢量量化后进行编码，也可以在对能够排列γi opt和Pi opt的矢量进行矢量量化后进行编码。
在第5实施方式的解码部4中，蓄积解码系数重复部432、辅助信息解码部45和子帧功率修正部442的动作与第1实施方式不同，因此以下对这些要素的动作进行说明。
蓄积解码系数重复部432在错误标志打开(分组异常)的情况下，使用解码系数蓄积部431中蓄积的蓄积解码信号求出第一掩藏信号Z(k，l)。另外，将解码系数蓄积部431中蓄积的蓄积解码信号设为B(k，l)。此处，k表示子帧中的样本的索引(0≤k≤K－1)，l表示解码系数蓄积部431中蓄积的子帧的索引(0≤l≤L－1)。
具体而言，例如下式27所示，蓄积解码系数重复部432通过重复最后的子帧来计算第一掩藏信号。
【式27】
Z(k，l)＝B(k，dL－l)(其中，0≤l≤L－1、0≤k≤K－1)
另外，重复的单位不限于最后的子帧，也可以取出B(k，l)的任意部分进行重复。此外，不限于基于上述的重复的第一掩藏信号的生成，例如还可以通过使用了线性预测等的预测来生成第一掩藏信号。除此以外，例如还可以如下所示那样依照事先确定的模型生成第一掩藏信号。
【式28】
[Z(0，0)，...，Z(K-1，L-1)]＝f(b(0，0)b(1，0)...，b(K-1，dL-1))
辅助信息解码部45对从码分离部40输出的辅助信息码进行解码而生成索引，并根据码本求出与索引对应的直线的斜率γi J。此处，Pi(－1)表示在分组丢失紧之前正常接收到的信号中的最后的子帧的功率。
【式29】
此外，在对子帧的功率进行直线近似并同时对直线的截距进行了编码的情况下，使用截距Pi J，根据下式30求出子帧功率。
【式30】
掩藏信号修正部44内的辅助信息蓄积部441在错误标志是表示正常分组的值的情况下，蓄积从辅助信息解码部45输入的辅助信息。蓄积的辅助信息优选为之前的几帧(至少d帧以上)。
在这种掩藏信号修正部44中，子帧功率修正部442根据第一掩藏信号，依照以下的式31，按照每个子帧修正第一掩藏信号的功率值来求出掩藏信号Y(k，l)。具体而言，依照下式31进行修正(其中，0≤l≤L－1、0≤k≤K－1)。此外，Pi －d(m)表示与在利用该分组(第一掩藏信号生成对象的分组)的d个的之前的分组所传输的辅助信息码中包含的子帧相关的第i个子带的功率。
【式31】
另外，在上述第5实施方式中，示出了对作为编码对象的信号的“d帧的之后的帧”计算辅助信息并编码的例子，但也可以如第3实施方式那样计算关于作为编码对象的信号的“d帧之前的帧”的辅助信息并进行编码。
如上所述，在第5实施方式中，能够按照每个子带应用第1实施方式中叙述的方法。
[第6实施方式]
在第6实施方式中，说明在辅助信息编码部中求出两个以上的辅助信息，分别进行编码并包含到比特流中的例子。下面重点说明与第1实施方式的不同点。
如图2所示，第6实施方式的编码部1具有音频编码部11、辅助信息编码部12和码复用部13。其中的音频编码部11与第1实施方式相同。如图4所示，辅助信息编码部12具有子帧功率计算部121、衰减系数估计部122和衰减系数量化部123。
其中的子帧功率计算部121蓄积预先确定的时间量的输入音频，并针对所蓄积的输入音频中的作为编码对象的部分s(0)、s(1)、…、s(T－1)的预先确定的帧数(在本实施方式中为d帧)的之后的音频信号s(dT)、s(1+dT)、…、s((d+1)T－1)计算子帧功率序列P1(l)。
并且，子帧功率计算部121针对预先确定的帧数(在本实施方式中为(d+1)帧)的之后的音频信号s((d+1)T)，s(1+(d+1)T)，…，s((d+2)T－1)计算子帧功率序列P2(l)。
此处，将1帧所包含的样本数设为T。如果将预测对象信号设为下式32，则子帧l(0≤l≤L－1)的功率P1(l)、P2(l)通过下式33求出。
【式32】
v(K·l+k)＝s(K·l+k+dT)
k表示子帧中的样本的索引(0≤k≤K－1)。
【式33】
另外，在本实施方式中，将子帧长度设为K，但也可以按照每个子帧使用事先确定的根据每个子帧而不同的长度。可以将第l个子帧的开始索引设为kl start、结束索引设为kl end，依照下式34计算子帧功率序列。
【式34】
衰减系数估计部122使用例如最小二乘法等，根据子帧功率序列P1(l)、P2(l)求出分别表示功率的时间变化的直线的斜率γ1 opt、γ2 opt。计算方法与第1实施方式的衰减系数估计部122相同。
衰减系数量化部123在对直线的斜率γ1 opt、γ2 opt分别进行标量量化后对其进行编码，输出辅助信息码C1、C2。也可以使用事先准备的标量量化码本。在对子帧功率P(l)进行直线近似的情况下，除了直线的斜率γ1 opt、γ2 opt以外，还对截距P1 opt、P2 opt进行编码。
码复用部13以预定的顺序写出音频码和辅助信息码C1、C2并输出比特流。图14示出作为音频编码对象的信号和作为辅助信息编码对象的信号之间的时间关系以及比特流的结构的一例。如图14所示，通过在帧N的音频码中增加例如帧(N+1)的辅助信息码和帧(N+2)的辅助信息码而得到比特流，并从码复用部13输出。并且，通过图1的分组构成部2对比特流附加分组头信息，从而成为第N个被传输的音频分组。另外，在本实施方式中生成了两个辅助信息，但也可以生成3个以上的辅助信息。此外，也可以将由音频编码部进行编码后的音频信号的1帧以上的之前的音频信号作为对象来计算辅助信息。
如图6所示，第6实施方式的解码部4具有错误/丢失检测部41、码分离部40、音频解码部42、辅助信息解码部45、第一掩藏信号生成部43和掩藏信号修正部44。其中的错误/丢失检测部41、音频解码部42和第一掩藏信号生成部43的动作与第1实施方式相同，因此省略重复说明。
码分离部40从比特流中读出音频码和辅助信息码C1、C2，并将音频码发送至音频解码部42，将辅助信息码C1、C2发送至辅助信息解码部45。
辅助信息解码部45对辅助信息码C1、C2进行解码来计算辅助信息，并送出至掩藏信号修正部44。例如，辅助信息解码部45对从码分离部40输出的辅助信息码C1、C2进行解码而生成索引，并根据码本求出分别与索引对应的直线的斜率γJ。此处，P(－1)表示在帧丢失紧之前正常接收到的信号中的最后的子帧的功率。
【式35】
此外，在对子帧的功率进行直线近似并同时对直线的截距进行了编码的情况下，使用截距PJ，根据下式36求出子帧功率。
【式36】
如图12所示，掩藏信号修正部44具有辅助信息蓄积部441和子帧功率修正部442。
其中的辅助信息蓄积部441在错误标志是表示正常分组的值的情况下，蓄积从辅助信息解码部45输入的辅助信息。蓄积的辅助信息优选为之前几帧(至少d帧以上)。在本实施方式中，能够针对每1个分组得到2帧的辅助信息。
子帧功率修正部442根据第一掩藏信号，依照以下的式37，按照每个子帧修正第一掩藏信号的功率值来求出掩藏信号Y(K·l+k)。具体而言，依照下式37进行修正(其中，0≤l≤L－1、0≤k≤K－1)。此外，P－d(m)表示与在利用该分组(第一掩藏信号生成对象的分组)的d个的之前的分组所传输的辅助信息码C1中包含的子帧相关的功率。
【式37】
例如，如图8所示，子帧功率修正部442从辅助信息蓄积部441中取出利用d个前的分组传输的辅助信息(图8的步骤S60)，针对第一掩藏信号按照每个子帧计算振幅均方值，并将子帧中所包含的值除以振幅均方值(步骤S61)。结果得到z’(K·l+k)。并且，根据辅助信息计算各子帧的功率，并将根据功率求出的平均振幅值乘以上述子帧的值(步骤S62)。由此求出掩藏信号Y(K·l+k)。重复以上的步骤S4101～S4421的处理直到输入音频的结束为止(步骤S4431)。
并且在连续产生了分组丢失的情况下，通过使用与在利用该分组(第一掩藏信号生成对象的分组)的d个前的分组所传输的辅助信息码C2中包含的子帧相关的功率进行同样的处理，由此在连续产生了分组丢失的情况下能够掩藏分组丢失。
如上所述，在第6实施方式中，能够在辅助信息编码部中求出两个以上的辅助信息，分别进行编码并包含到比特流中。
另外，图19示出解码部4的变形例的结构图。在上述第4实施方式的图13的解码部4中，将错误标志输入到音频解码部42、第一掩藏信号生成部43、掩藏信号修正部44和辅助信息解码部45，但在图19的结构中省略了这些输入。即使在省略了这些输入的结构中，由于在错误标志打开的情况下不向音频解码部42和辅助信息解码部45进行输入，因此能够根据不存在该输入而判断为错误标志打开。即，能够根据向音频解码部42和辅助信息解码部45的输入的有无来进行错误标志的状态判断。第一掩藏信号生成部43、掩藏信号修正部44也同样能够进行错误标志的状态判断。此外，图13的解码部4采用将图19所示的音频参数蓄积部19包含到第一掩藏信号生成部43中的结构，但音频参数蓄积部47也可以如图19那样作为与第一掩藏信号生成部43独立的结构要素。这种图19的解码部4的功能与图13的解码部4的功能实质相同。另外，关于图6所示的第1、第2、第3、第5、第6实施方式的解码部4，如上所述，也可以省略向音频解码部42、第一掩藏信号生成部43、掩藏信号修正部44和辅助信息解码部45的错误标志的输入，还可以将音频参数蓄积部设为与第一掩藏信号生成部43独立的结构要素。
[第7实施方式]
在第7实施方式中，说明如下例子：使用作为辅助信息编码对象的帧中的瞬态位置、和瞬态位置处的子帧功率作为与功率的急剧变化(以下称作“瞬态”)相关的辅助信息。
(编码部1的结构和动作)
在第7实施方式中，编码部1的整体结构也如图2所示，解码部4的整体结构如图6所示。在第7实施方式中，与第2～第6实施方式同样，省略与整体结构相关的说明。
下面，作为第7实施方式的编码部1的特征部分，对辅助信息编码部12进行详细说明。如图20所示，辅助信息编码部12具有瞬态检测部124A、瞬态位置量化部125、瞬态功率标量量化部126和参数编码部127。
根据图21说明这种辅助信息编码部12的动作。瞬态检测部124A蓄积预先确定的时间量的输入音频，并使用所蓄积的输入音频中的作为编码对象的部分s(0)、s(1)、…、s(T－1)的预先确定的帧数(在本实施方式中为d帧)后的音频信号s(dT)、s(1+dT)、…、s((d+1)T－1)检测瞬态(图21的步骤S7401)。另外，辅助信息编码对象帧可以是音频编码对象帧的1帧以上的之后的帧、也可以是1帧以上的之前的帧。此外，可以从音频编码对象的帧的1帧以上的之前或之后的帧中选择两个以上的帧来计算辅助信息码并进行利用。
瞬态的检测方法例如可使用在“ITU－T Recommendation G.719”的7.2节中叙述的方法。此外，可以使用其他的标准技术和非标准技术进行瞬态的检测。在上述7.2节中叙述的方法为，在计算每个子帧的功率后，通过将子帧的时间性变化与阈值比较来进行瞬态的判定。瞬态检测的结果是计算出表示在辅助信息编码对象帧中是否包含瞬态的瞬态标志Ftran、瞬态的位置ltran以及子帧功率序列P(l)。此外，如图41所示，在将瞬态的位置ltran处的子帧的功率设为P(ltran)时，瞬态检测部124A通过行1L45输出瞬态的位置ltran，通过行1L46输出瞬态的位置ltran处的子帧的功率P(ltran)，通过行1L47输出瞬态标志Ftran。另外，也可以采用瞬态检测部124A通过行1L46输出瞬态的位置ltran和子帧功率序列P(l)的结构。
另外，在例如使用在“ITU－T Recommendation G.719”的7.2节中叙述的方法进行瞬态检测的情况下，瞬态检测部124A计算与由图4的子帧功率计算部121计算出的子帧功率序列相同的参数。在利用其他方法进行了瞬态检测的情况下，瞬态检测部124A也计算与由图4的子帧功率计算部121计算出的子帧功率序列相同的参数并输出。
在瞬态标志Ftran不是表示在帧中包含瞬态的值时，将表示通常帧的值输入到Ftran。该情况下，参数编码部127仅对瞬态标志进行编码，并作为辅助信息码输出(图21的步骤S7702)。
另一方面，在瞬态标志Ftran是表示在帧中包含瞬态的值时，瞬态位置量化部125以预定的比特数对瞬态的位置ltran进行标量量化，并输出量化位置信息(图21的步骤S7501)。作为标量量化的方法，可以使用将Itran视作二进制而进行二进制编码的方法，也可以使用在预定的位置处设置索引并对最接近Itran的位置处的索引进行二进制编码的方法，可以使用霍夫曼编码等熵编码，还可以使用其他的任何量化方法。图42(a)示出基于二进制编码的瞬态位置信息编码的一例的示意图，图42(b)示出基于标量量化的瞬态位置信息编码的一例的示意图。此外，作为变形例，不仅选择瞬态的位置，还可以选择两个以上的子帧索引作为“表示功率变化的信息”，对所选择的两个以上的子帧索引进行编码并传输。此处的编码方法没有特别设置限制。
在对瞬态标志Ftran设置了表示在帧中包含瞬态的值时，瞬态功率标量量化部126对与瞬态的位置ltran对应的子帧的功率进行标量量化，并输出量化瞬态功率(图21的步骤S7601)。例如在使用6比特的线性编码器在0dB至96dB之间进行了量化的情况下，依照以下的式38。此处，能够将C设为1.55、ε设为0.001等值，但也可以根据量化比特数变更这些常数。
【式38】
根据上式，将瞬态的功率量化为0至63的索引。此外，对于量化，可以使用事先通过学习等确定的码本进行量化，也可以使用其他的任何量化手段。另外，在瞬态标志Ftran不是表示在帧中包含瞬态的值时，将表示通常帧的值输入到上式的IE。
参数编码部127将瞬态标志、量化位置信息、量化瞬态功率合并来输出辅助信息码(图21的步骤S7701)。也可以在将瞬态标志、量化位置信息和量化瞬态功率集中视作一个矢量的基础上，通过矢量量化或其他的编码方法进行编码。编码的方法没有特别设置限制。
(解码部4的结构和动作)
解码部4的整体结构如在第1实施方式中叙述的图6所示。以下，对在第7实施方式中作为特征性结构的辅助信息解码部45和掩藏信号修正部44的结构和动作进行叙述。另外，第一掩藏信号生成部43除了在第1～第6实施方式中叙述的方法以外，也可以通过例如TS26.4025.2节所示的已有的标准技术生成第一掩藏信号，还可以通过不是标准的其他掩藏信号生成技术来生成第一掩藏信号。
如图22所示，辅助信息解码部45具有瞬态标志解码部129、瞬态位置解码部1212和瞬态功率解码部1213。
根据图23说明这种辅助信息解码部45的动作。在辅助信息解码部45中，判断对辅助信息码进行解码从而得到的瞬态标志Ftran是打开(表示包含瞬态的帧)还是关闭(表示不包含瞬态的帧)(图23的步骤S7901)。
在瞬态标志Ftran表示不包含瞬态的帧的情况下，仅输出瞬态标志Ftran的值作为辅助信息(图23的步骤S7142)。
另一方面，在瞬态标志Ftran表示包含瞬态的帧的情况下，从辅助信息码读出量化位置信息ltran，进行解码从而输出量化位置信息(图23的步骤S7121)。并且，从辅助信息码读出量化瞬态功率IE进行解码，并输出解码瞬态功率(图23的步骤S7131)。例如，在使用如上所述那样的线性量化的情况下，依照以下的式39根据量化瞬态功率求出解码瞬态功率。
【式39】
并且辅助信息解码部45输出上述计算出的瞬态标志Ftran、量化位置信息、解码瞬态功率作为辅助信息(图23的步骤S7141)。
接着，叙述掩藏信号修正部44。如图24所示，掩藏信号修正部44具有辅助信息蓄积部441和子帧功率修正部442。另外，在第1～第6实施方式中，采用了将错误标志输入到子帧功率修正部442的结构，但图24的掩藏信号修正部44采用了不将错误标志输入到子帧功率修正部442的结构，根据来自第一掩藏信号生成部43的第一掩藏信号的输入的有无进行错误标志的状态判定。即，在从第一掩藏信号生成部43输入了第一掩藏信号的情况下，判定为错误标志关闭，在没有从第一掩藏信号生成部43输入第一掩藏信号的情况下，判定为错误标志打开。当然，也可以采用通过向辅助信息蓄积部441、子帧功率修正部442输入错误标志来进行错误标志的判定的结构。
掩藏信号修正部44的动作如图25的流程图所示。首先，如上所述，根据来自第一掩藏信号生成部43的第一掩藏信号的输入的有无进行错误标志的状态判定(图25的步骤S7800)。此处在错误标志关闭(不表示分组丢失)的情况下，辅助信息解码部45对辅助信息码进行解码，通过图24的线6L001输出瞬态标志、瞬态位置信息和解码瞬态功率(图25的步骤S7101)。然后辅助信息蓄积部441对瞬态标志、瞬态位置信息和解码瞬态功率进行蓄积(图25的步骤S7111)。
另一方面，在错误标志打开(表示分组丢失)的情况下，子帧功率修正部442从辅助信息蓄积部441中读出瞬态标志、量化位置信息和解码瞬态功率，并按照每个子帧修正第一掩藏信号z(K·l+k)的功率值来求出掩藏信号y(K·l+k)(其中，0≤l≤L－1、0≤k≤K－1)(图25的步骤S7901)。具体而言，依照以下步骤修正第一掩藏信号z(K·l+k)的功率值。首先，通过图24的线6L002将从第一掩藏信号生成部43输出的第一掩藏信号输入到子帧功率修正部442。接着，子帧功率修正部442从辅助信息蓄积部441读出瞬态标志Ftran、瞬态位置信息Itran、和解码瞬态功率。
【式40】
接着，子帧功率修正部442根据从辅助信息蓄积部441读出的瞬态位置信息Itran和解码瞬态功率
【式41】
计算所修正的各子帧的功率(图25的步骤S7121)。具体而言，按以下的步骤进行。首先，依照以下的式42计算各子帧的功率。
【式42】
接着，计算瞬态位置处的第一掩藏信号的功率与解码瞬态功率之间的差分(差分瞬态功率)。
【式43】
然后使用所述差分瞬态功率来修正与瞬态的位置之后的子帧对应的第一掩藏信号的功率，从而求出修正掩藏信号子帧功率。
【式44】
进而，子帧功率修正部442在计算出每个子帧的功率后对第一掩藏信号进行归一化(图25的步骤S7801)。也可以如第2～第6实施方式那样将子帧的长度设定为不均匀。在本实施方式中，对子帧的长度相等的情况进行详细说明。
【式45】
最后，将修正掩藏信号子帧功率与归一化后的第一掩藏信号相乘，计算掩藏信号(图25的步骤S7131)。
【式46】
另外，作为图25的步骤S7121的变形例，作为根据子帧功率P(m)、解码瞬态功率
【式47】
来计算修正掩藏信号子帧功率的方法，
【式48】
可以使用下式49那样的方法。
【式49】
最后使用预先确定的预测系数ap计算修正掩藏信号功率。可以根据子帧功率序列的性质来切换预测系数。
【式50】
另外还可以使用事先确定的模型进行平滑化。
【式51】
作为此处的f，例如可以使用S型(sigmoid)函数或样条函数等，只要能够实现平滑化，则没有特别限制。
根据以上的第7实施方式，能够使用表示功率有无急剧变化的指示信息、作为辅助信息编码对象的帧中的瞬态的位置、瞬态位置处的子帧的功率作为与功率的急剧变化(瞬态)相关的辅助信息，实现对瞬态信号的高精度的分组丢失掩藏。
[第8实施方式]
(编码部1的结构和动作)
如图26所示，第8实施方式中的辅助信息编码部12具有瞬态检测部124A、瞬态位置量化部125、瞬态功率标量量化部126、瞬态功率矢量量化部128和参数编码部127。第8实施方式与第7实施方式的不同点在于，除了第7实施方式中的瞬态功率标量量化部126以外，还具有瞬态功率矢量量化部128、以及辅助信息解码部45的结构和动作。
图27示出第8实施方式中的辅助信息编码部12的动作。首先，瞬态检测部124A对辅助信息编码对象帧进行瞬态的检测(图27的步骤S7401)。瞬态的检测方法与第7实施方式中的图21的步骤S7401相同。另外，辅助信息编码对象帧可以是音频编码对象帧的1帧以上的之后的帧、也可以是1帧以上的之前的帧。此外，也可以从音频编码对象帧的1帧以上的之前或之后的帧中选择两个以上的帧来计算辅助信息码并进行利用。
在检测到瞬态的情况下，进行以下的步骤。首先，瞬态位置量化部125对瞬态位置信息进行量化(图27的步骤S7501)。量化的方法与第7实施方式中的图21的步骤S7501相同。
接着，瞬态功率标量量化部126对与瞬态位置对应的子帧的功率进行标量量化，并输出量化瞬态功率。瞬态功率标量量化部126的动作与第7实施方式相同(图27的步骤S7601)。
然后，瞬态功率矢量量化部128在使用量化位置信息示出的子帧的功率对子帧功率序列进行归一化后，对子帧功率序列进行矢量量化(图27的步骤S8701)。
【式52】
矢量量化依照以下的式53。
【式53】
另外，I是码本中的直线或矢量的条目数，J是所选择的直线或矢量的索引(以下称作“码矢量索引”)。另外，ci(l)表示码本中的第i个码矢量的第l个要素。
另外，在本实施方式中，示出了在对子帧功率序列进行归一化后对子帧功率序列进行矢量量化的例子，但作为变形例，可以如图28那样采用不进行归一化而进行矢量量化的结构。另外，图28的辅助信息编码部12的动作如图29所示，替代图27的S8701，矢量量化依照以下的式54(图29的步骤S8901)。其他与图27相同。
【式54】
返回图27，接着参数编码部127输出瞬态标志、量化位置信息、量化瞬态功率和码矢量索引作为辅助信息码(图27的步骤S8801)。也可以通过矢量量化或其他的编码方法对其中的瞬态标志、量化位置信息和量化瞬态功率进行编码。编码的方法没有特别限制。此外，仅在瞬态标志的值是表示瞬态的存在的值的情况下，用2比特以上的值对辅助信息进行编码，在是表示不存在瞬态的值的情况下，可以通过仅将表示瞬态标志的1比特作为辅助信息的可变长度编码，对辅助信息进行编码。
(解码部4的结构和动作)
第8实施方式与第7实施方式的不同为图30的辅助信息解码部45的结构和动作、以及掩藏信号修正部44中的辅助信息蓄积部441和子帧功率修正部442的动作。如图30所示，辅助信息解码部45具有瞬态标志解码部129、瞬态位置解码部1212、瞬态功率解码部1213和瞬态功率矢量解码部1214。
图31示出辅助信息解码部45的动作。辅助信息解码部45从辅助信息码中读出瞬态标志Ftran、量化位置信息ltran、量化瞬态功率IE和码矢量索引J，并进行瞬态标志Ftran的状态判别(图31的步骤S901)。此处在瞬态标志Ftran的值不表示瞬态的情况下，与第7实施方式同样，仅输出瞬态标志Ftran的值作为辅助信息(图31的步骤S906)。
另一方面，在瞬态标志Ftran的值表示瞬态的情况下，用与第7实施方式中的图23的步骤S7121相同的方法，对量化位置信息Itran进行解码从而输出解码位置信息(图31的步骤S902)。
接着，用与第7实施方式中的图23的步骤S7131相同的方法，根据量化瞬态功率求出解码瞬态功率(图31的步骤S903)。
此外，输出与代码矢量索引J对应的代码矢量cJ(m)(图31的步骤S904)。
最后，输出瞬态标志、解码位置信息、解码瞬态功率和码矢量(图31的步骤S905)。
接着，参照图24所示的掩藏信号修正部44的结构，说明图32所示的掩藏信号修正部44的动作。
首先，进行错误标志的状态判定(图32的步骤S1500)。在错误标志的状态判定时，可以读入从外部输入的错误标志的值，也可以根据是否将来自第一掩藏信号生成部43的第一掩藏信号输入到子帧功率修正部442来进行判定。即，如果将第一掩藏信号输入到子帧功率修正部442，则判定为错误标志的值不表示分组丢失(关闭)，如果没有将第一掩藏信号输入到子帧功率修正部442，则可以判定为错误标志的值表示分组丢失(打开)。
在错误标志的值不表示分组丢失(关闭)的情况下，辅助信息蓄积部441对瞬态标志、解码位置信息、解码瞬态功率和代码矢量进行蓄积(图32的步骤S1501)。
另一方面，在错误标志的值表示分组丢失(打开)的情况下，子帧功率修正部442根据第一掩藏信号z(K·l+k)，依照后述的式子，按照每个子帧修正第一掩藏信号的功率值来求出掩藏信号y(K·l+k)(其中，0≤l≤L－1、0≤k≤K－1)。具体而言，依照以下步骤按照每个子帧修正第一掩藏信号的功率值。
首先，从辅助信息蓄积部中读出瞬态标志、解码位置信息、解码瞬态功率和码矢量(图32的步骤S1502)。
接着，利用辅助信息计算每个子帧的功率(图32的步骤S1503)。此处，首先计算子帧功率。
【式55】
然后，计算作为与瞬态位置对应的子帧功率和解码瞬态功率之间的差分的差分瞬态功率。
【式56】
进而，使用差分瞬态功率和代码矢量计算修正掩藏信号子帧功率。
【式57】
此处，在本实施方式中，示出了在编码侧对子帧功率序列的值进行归一化后进行矢量量化的例子，但也可以采用不进行归一化而进行子帧功率序列的矢量量化的结构。在不进行归一化的情况下，如下计算修正掩藏信号子帧功率。
【式58】
然后，按照每个子帧对第一掩藏信号进行归一化(图32的步骤S1504)。
【式59】
最后，将修正子帧功率与进行归一化后的第一掩藏信号相乘，输出掩藏信号(图32的步骤S1505)。
【式60】
根据以上那样的第8实施方式，还使用对瞬态功率的变化进行矢量量化后的信息，作为与功率的急剧变化(瞬态)相关的辅助信息，实现对瞬态信号的高精度的分组丢失掩藏。
[第9实施方式]
在第9实施方式中，说明对进行了时频变换后的信号应用第7、第8实施方式中进行的处理的例子。另外，辅助信息编码对象帧可以是音频编码对象帧的1帧以上的之后的帧、也可以是1帧以上的之前的帧。此外，可以从音频编码对象帧的1帧以上的之前或之后的帧中选择两个以上的帧来计算辅助信息码并进行利用。
(编码部1的结构和动作)
第9实施方式的编码部1是与在第1实施方式中叙述的图2相同的结构，省略整体的详细说明。时频变换如第4实施方式叙述的那样，将被变换到频域的信号设为v(k，l)。此处，k是频率空间的索引(其中0≤k≤K－1)，l是子帧的索引(其中0≤l≤L－1)。
下面，作为第9实施方式的特征部分，对辅助信息编码部进行详细说明。如图20所示，辅助信息编码部由瞬态检测部124A、瞬态检测部124A、瞬态功率标量量化部126和参数编码部127构成。在第9实施方式中，说明如下例子：使用作为辅助信息编码对象的帧中的瞬态位置、和瞬态位置处的子帧的功率中的将整个频带分割为多个后的一个以上子带的功率，作为与功率的急剧变化(瞬态)相关的辅助信息。另外，在辅助信息的编码中，也可以如在第8实施方式中进行的那样，通过矢量量化进行辅助信息的编码。此外，待编码的子带数量不限于一个，也可以针对两个以上的子带进行同样的处理。
瞬态检测部124A使用被变换到频域的信号进行瞬态的检测。在瞬态的检测时，可以使用在第7实施方式中使用的手段，也可以使用作为针对频域的信号的瞬态检测的标准技术的TS26.404等，还可以使用其他针对频域信号的瞬态检测技术。此处，设为在瞬态检测中针对预定频域中的范围(Ks≤k＜Ke)的值计算子带功率序列。另外，在瞬态的检测中使用的频带的信号可以使用整个频带的信号，也可以仅使用一个以上的特定子带。
【式61】
能够针对如上那样计算出的子带功率序列，与第7实施方式、第8实施方式同样地应用瞬态位置信息、与瞬态位置对应的子带功率的值或对与瞬态位置对应的子带功率进行量化后的值的编码方法。另外，作为辅助信息进行编码的子带功率序列可以使用整个频带计算，也可以仅使用1个以上的特定子带。此外，作为辅助信息进行编码的子带功率序列可以采用针对用于瞬态检测的子带所计算出的子带功率序列，还可以采用针对没有用于瞬态检测的子带所计算出的子带功率序列。
(解码部4的结构和动作)
解码部4的整体结构与在第1实施方式中叙述的图6相同。以下，对在第8实施方式中作为特征性结构的辅助信息解码部45和掩藏信号修正部44的结构和动作进行叙述。另外，第一掩藏信号生成部43除了在第1～第6实施方式中叙述的手段以外，也可以通过例如TS26.4025.2节所示的已有的标准技术来生成第一掩藏信号，还可以通过不是标准的其他掩藏信号生成技术来生成第一掩藏信号。
辅助信息解码部45在错误标志表示通常帧的情况下，从辅助信息码中读出瞬态标志Ftran、量化位置信息ltran和量化瞬态功率IE。在对瞬态标志、量化位置信息和量化瞬态功率进行编码的情况下，辅助信息解码部45通过对应的解码手段对辅助信息码进行解码，并求出它们的参数。例如，在使用如上所述那样的线性量化的情况下，依照以下的式62根据量化瞬态功率求出解码瞬态功率。
【式62】
接着，叙述掩藏信号修正部的动作。在错误标志表示分组丢失的情况下，子帧功率修正部442从辅助信息蓄积部441中读出辅助信息，并根据第一掩藏信号Z(l、k)，依照以下的式子，按照每个子帧修正第一掩藏信号的功率值进行修正来求出掩藏信号Y(l，k)。具体而言，依照下式进行修正(其中，0≤l≤L－1、0≤k≤K－1)。
首先，从辅助信息蓄积部中读出瞬态标志，进行瞬态的状态判定。在表示瞬态的情况下，对于第一掩藏信号求出每个子帧的功率。也可以如第2～第6实施方式那样将子帧的长度设定为不均匀。在本实施方式中，对子帧的长度相等的情况进行详细说明。
【式63】
并且，计算瞬态位置处的第一掩藏信号的功率与解码瞬态功率之间的差分(差分瞬态功率)。
【式64】
进而，使用所述差分瞬态功率来修正与瞬态的位置之后的子帧对应的第一掩藏信号的功率，从而求出修正掩藏信号子帧功率。
【式65】
然后，按照每个子帧对第一掩藏信号进行归一化。
【式66】
最后，将修正掩藏信号子带功率与进行归一化后的第一掩藏信号相乘，计算掩藏信号。
【式67】
此外，可以应用在第7实施方式中叙述的平滑化，也可以组合在第8实施方式中叙述的矢量量化。
通过逆变换部46将最后得到的掩藏信号变换为时域的信号，从而输出掩藏信号。
根据以上那样的第9实施方式，能够对进行了时频变换后的信号应用第7、第8实施方式中进行的处理。
[第10实施方式]
在第10实施方式中，在编码侧，在输入信号为瞬态信号的情况下通过第7或第8实施方式的手段输出辅助信息码，还对瞬态信号以外的部分也使用第1～第3实施方式的手段，从而进一步高品质地掩藏分组丢失的信号。另外，对于用频域来表现的输入信号，在瞬态的情况下可以使用第9实施方式的方法，在瞬态以外的情况下可以使用第4～第6实施方式的方法。
(编码部1的动作和结构)
如图33所示，辅助信息编码部12具有衰减系数估计部122、衰减系数量化部123、瞬态检测部124A、瞬态位置量化部125、瞬态功率标量量化部126和参数编码部127。各个结构要素的动作与在第1、第2、第7、第8实施方式中叙述的动作相同。以下，对辅助信息编码部12整体的动作进行说明。辅助信息编码部12的动作在图34的流程图中示出。
首先，瞬态检测部124A根据输入信号判定有无瞬态。瞬态检测部124A的动作与第7实施方式相同(图34的步骤S1701)。在作为辅助信息编码对象的信号中不包含瞬态的情况下，衰减系数估计部122通过与第1实施方式同样的动作，根据子帧功率序列估计衰减系数(图34的步骤S1702)。
接着，衰减系数量化部123通过与第1实施方式同样的动作，对衰减系数进行量化，并输出量化后的衰减系数(图34的步骤S1703)。
然后，参数编码部127输出量化后的衰减系数作为辅助信息码(图34的步骤S1704)。
在作为辅助信息编码对象的信号中包含瞬态的情况下的瞬态位置量化部125、瞬态功率标量量化部126的动作与第7实施方式相同(图34的步骤S1705～S1706)。
进而，参数编码部127在瞬态标志是表示在辅助信息编码对象的帧中包含瞬态的值的情况下，对瞬态标志、瞬态位置信息和量化瞬态功率进行编码并输出辅助信息码(图34的步骤S1707)。
(解码部4的动作和结构)
第10实施方式的整体结构也与第1实施方式～第9实施方式相同，因此对作为主要差异的辅助信息解码部45和掩藏信号修正部44的动作进行叙述。
如图35所示，辅助信息解码部45具有瞬态标志解码部129、衰减系数解码部1210、瞬态位置解码部1212和瞬态功率解码部1213。以下叙述辅助信息解码部45的动作。示出动作流程的流程图如图36所示。
瞬态标志解码部129从辅助信息码中读出瞬态标志，并判别辅助信息码是否与瞬态信号对应(图36的步骤S1901)。
在瞬态标志表示辅助信息码不与瞬态对应的情况下，衰减系数解码部1210从辅助信息码中读出量化衰减系数码，对量化衰减系数码进行解码，并将所得到的解码衰减系数和瞬态标志作为辅助信息输出(图36的步骤S1902～S1903)。衰减系数解码部1210的基本动作与第1实施方式的辅助信息解码部中的衰减系数计算相同。
另一方面，在瞬态标志表示辅助信息码与瞬态对应的情况下，瞬态位置解码部1212对量化瞬态位置信息进行解码，并输出所得到的瞬态位置信息(以下称作“解码位置信息”)(图36的步骤S1904)，瞬态功率解码部1213对编码后的量化功率进行解码，并输出所得到的解码瞬态功率(图36的步骤S1905)，由此输出瞬态标志、解码位置信息和解码瞬态功率作为辅助信息(图36的步骤S1906)。瞬态位置解码部1212和瞬态功率解码部1213的动作与第7实施方式相同。
示出图24的掩藏信号修正部44的动作流程的流程图如图37所示。下面，说明掩藏信号修正部44的动作。
参照错误标志，判断分组是否包含错误(图37的步骤S2001)。此处，在错误标志表示通常帧的情况下，辅助信息蓄积部441参照瞬态标志的值(图37的步骤S2002)，在瞬态的情况下蓄积瞬态标志、解码位置信息和解码瞬态功率(图37的步骤S2003)。另一方面，在不是瞬态的情况下，蓄积瞬态标志和解码衰减系数(图37的步骤S2004)。
另一方面，在错误标志表示分组丢失的情况下，子帧功率修正部442对第一掩藏信号进行归一化(图37的步骤S2005)。归一化的方法与第7实施方式中的第一掩藏信号的归一化相同。
接着，子帧功率修正部442从辅助信息蓄积部441中读出瞬态标志并判定瞬态标志的值(图37的步骤S2006)。此处，在瞬态标志是表示瞬态的值的情况下，子帧功率修正部442从辅助信息蓄积部441中读出解码位置信息和解码瞬态功率，根据这些解码位置信息和解码瞬态功率计算各子帧的功率，并将根据该功率求出的平均振幅值乘以在步骤S2005中求出的上述子帧的值，由此求出掩藏信号(图37的步骤S2007)。
另一方面，在瞬态标志不是表示瞬态的值的情况下，子帧功率修正部442从辅助信息蓄积部441中读出解码衰减系数，并以与第1实施方式示出的方法相同的方法，根据解码衰减系数计算子帧功率序列。接着，子帧功率修正部442根据计算出的子帧功率序列计算增益，并通过将所得到的增益乘以归一化后的第一掩藏信号，求出掩藏信号(图37的步骤S2008)。
还可以对变换到频域的输入信号应用以上叙述的第10实施方式的方法。在对变换到频域的输入信号进行应用时，也可以对一个以上的子带进行辅助信息的计算/编码。
根据以上那样的第10实施方式，在编码侧，在输入信号为瞬态信号的情况下通过第7或第8实施方式的手段输出辅助信息码，还对瞬态信号以外的部分也使用第1～第3实施方式的手段，由此能够进一步高品质地掩藏分组丢失的信号。
[第11实施方式]
如图38所示，通过在辅助信息编码部12中追加码长度选择部128A，仅在瞬态标志的值是表示瞬态存在的值的情况下，利用2比特以上的值对辅助信息进行编码，在是表示不存在瞬态的值的情况下，仅将表示瞬态标志的1比特作为辅助信息进行编码。可以通过以上那样的可变长度编码，对辅助信息进行编码，在不存在瞬态的情况下还能够通过利用相同比特数对瞬态位置信息和量化瞬态功率进行补零，进行始终利用相同的比特数的编码，还可以替代任何其他信息进行编码来作为辅助信息码。
当然，能够如本实施方式那样在辅助信息编码部中设置码长度选择部，对第1实施方式～第10实施方式全部应用使辅助信息的码长度为可变的结构。
以下，对在第7实施方式的结构中追加码长度选择部来作为可变码长度时的结构和动作进行说明。如图38所示，辅助信息编码部12具有瞬态检测部124A、瞬态位置量化部125、瞬态功率标量量化部126、参数编码部127和码长度选择部128A。
根据图39说明辅助信息编码部12的动作。瞬态检测部124A以与第7实施方式相同的动作进行瞬态的检测(图39的步骤S2201)。
在瞬态标志Ftran是表示在帧中包含瞬态的值时，码长度选择部128A输出预定的大于1比特的比特数(图39的步骤S2204)。
瞬态位置量化部125以预定的比特数对瞬态的位置ltran进行标量量化，并输出量化位置信息(图39的步骤S2205)。瞬态位置量化部125的动作与第7实施方式相同。
接着，瞬态功率标量量化部126对与瞬态的位置ltran对应的子帧功率进行标量量化，并输出量化瞬态功率(图39的步骤S2206)。瞬态功率标量量化部126的动作与第7实施方式相同。
参数编码部127将瞬态标志、量化位置信息、量化瞬态功率合并来输出辅助信息码(图39的步骤S2207)。此时，辅助信息码整体的长度成为在图39的步骤S2204中确定的值。
另一方面，在步骤S2201中瞬态标志Ftran不是表示在帧中包含瞬态的值时，码长度选择部128A将码长度确定为1比特(图39的步骤S2202)。接着，参数编码部127利用1比特仅对瞬态标志进行编码并输出(图39的步骤S2203)。
(解码部4的结构和动作)
与第7实施方式同样，如图22所示，辅助信息解码部45具有瞬态标志解码部129、瞬态位置解码部1212和瞬态功率解码部1213。
根据图40说明这种辅助信息解码部45的动作。在辅助信息解码部45中，判断对辅助信息码进行解码从而得到的瞬态标志Ftran是打开(表示是包含瞬态的帧)还是关闭(表示是不包含瞬态的帧)(图40的步骤S2401)。
在瞬态标志Ftran表示是包含瞬态的帧的情况下，瞬态标志解码部129还从辅助信息码中读出量化位置信息并输出到瞬态位置解码部1212，而且还从辅助信息码中读出量化瞬态功率IE并输出到瞬态功率解码部1213(图40的步骤S2402)。
接着，瞬态位置解码部1212对量化位置信息进行解码，并输出所得到的解码位置信息ltran(图40的步骤S2403)。进而，瞬态功率解码部1213对量化瞬态功率IE进行解码，并输出所得到的解码瞬态功率P(ltran)(图40的步骤S2404)。
由此，将瞬态标志Ftran、解码位置信息ltran和解码瞬态功率P(ltran)作为辅助信息输出(图40的步骤S2405)。另外，图40的步骤S2403～S2405与第7实施方式相同。
另一方面，在瞬态标志Ftran表示是不包含瞬态的帧的情况下，仅将瞬态标志Ftran作为辅助信息输出(图40的步骤S2406)。
掩藏信号修正部44(图24)的动作与第7实施方式相同。
能够通过以上那样的第11实施方式，将辅助信息的码长度设为可变。
[第12实施方式]
在第12实施方式中，叙述第7实施方式的变形例。在本实施方式中，说明仅将量化瞬态功率作为辅助信息来传输的例子。
(编码部1的结构和动作)
编码部1的结构与第1实施方式相同。以下，对在本实施方式中作为特征性结构的辅助信息编码部12的结构和动作进行叙述。如图43所示，辅助信息编码部12的结构具有瞬态检测部124A、瞬态功率标量量化部126和参数编码部127。
瞬态检测部124A通过与第7实施方式同样的处理输出子帧功率序列。瞬态的位置可以设为子帧功率超过预定的阈值的位置，也可以设为子帧功率相对于紧之前的子帧的功率之比成为最大的位置。此外，还可以计算缓冲器所存储的一定时间量的子帧功率的方差，并设瞬态的位置为所得到的方差变为最大的位置。
接着，瞬态功率标量量化部126以与第7实施方式同样的方法对瞬态位置的子帧功率进行量化，并将量化瞬态功率输出到参数编码部127。
而且，参数编码部127仅对量化瞬态功率进行编码来生成辅助信息码。
(解码部4的结构和动作)
解码部4的整体结构与第1实施方式相同(如图6所示)。以下，对在本实施方式中作为特征性结构的辅助信息解码部45的结构和动作进行叙述。另外，第一掩藏信号生成部43以与第7实施方式相同的方法生成第一掩藏信号。
本实施方式的辅助信息解码部45的结构如图44所示。在本实施方式中，在从编码部1发送来的辅助信息码中不包含瞬态标志和量化位置信息。因此，在本实施方式中，将瞬态标志始终设置为打开的值，在瞬态位置信息中始终设置预先设定的值lconst。瞬态功率解码部1213利用与第7实施方式相同的处理，对仅包含量化瞬态功率的辅助信息码(量化功率码)进行解码并输出解码瞬态功率。
另外，将上述瞬态标志、瞬态位置信息以及所输出的解码瞬态功率作为辅助信息，通过图6的掩藏信号修正部44进行处理。
如上所述，能够实现仅将量化瞬态功率作为辅助信息来传输的实施方式，能够得到与第7实施方式相同的效果。
[第13实施方式]
在第13实施方式中，叙述第7实施方式的另一变形例。在本实施方式中，说明仅将瞬态标志和量化瞬态功率作为辅助信息来传输的例子。
(编码部1的结构和动作)
对在本实施方式中作为特征性结构的辅助信息编码部12的结构和动作进行叙述。如图45所示，辅助信息编码部12的结构具有瞬态检测部124A、瞬态功率标量量化部126和参数编码部127。
瞬态检测部124A和瞬态功率标量量化部126的动作与第7实施方式相同。
参数编码部127集中瞬态标志和量化瞬态功率来生成辅助信息码。在瞬态标志的值关闭时，与第7实施方式同样，参数编码部127不将量化瞬态功率包含到辅助信息码中。
(解码部4的结构和动作)
解码部4的整体结构与第1实施方式相同(如图6所示)。以下，对在本实施方式中作为特征性结构的辅助信息解码部45的结构和动作进行叙述。本实施方式的辅助信息解码部45的结构如图46所示。
瞬态标志解码部129的动作和瞬态功率解码部1213的动作与第7实施方式相同。在本实施方式中，与第12实施方式同样，在瞬态位置信息中始终设置预先确定的值lconst。
如上所述，能够实现仅将瞬态标志和量化瞬态功率作为辅助信息来传输的实施方式，能够得到与第7实施方式相同的效果。
[第14实施方式]
在第14实施方式中，按照每个子带来分割瞬态位置处的子帧，对1个以上的子带的功率进行量化并作为辅助信息。在对1个以上的子带的功率进行量化时，将1个以上的子带中所包含的1个以上的子带称作“核心子带”。接着，针对核心子带以外的子带，计算该子带(核心子带以外的子带)的功率与核心子带的功率之间的差分，并对核心子带的功率和上述差分进行量化来作为辅助信息。另外，也可以将核心子带的功率包含在辅助信息中，也可以不将其包含在辅助信息中而替代使用在音频码自身中所包含的值。
(编码部1的结构和动作)
本实施方式的编码部1是与在第1实施方式中叙述的图10相同的结构，省略整体的详细说明。如在第4实施方式中叙述那样进行时频变换。将被变换到频域的信号设为V(k，l)。此处，k是频率空间的索引(其中0≤k≤K－1)，l是子帧的索引(其中0≤l≤L－1)。此外，时频变换部10将被变换到频域的信号V(k，l)、和进行时频变换前的音频信号两方输入到辅助信息编码部12。
图47示出本实施方式中的辅助信息编码部12的结构。辅助信息编码部12具有瞬态检测部124A、子带功率计算部128B、核心子带功率量化部129A、差分量化部1210A和参数编码部127。并且，可以采用包含瞬态位置量化部125的结构，但以下利用不包含瞬态位置量化部125的结构进行说明。
瞬态检测部124A的动作与第7实施方式相同。
子带功率计算部128B针对与瞬态位置对应的子帧，依照以下的式68计算子带功率。另外，将P(i)(ltran)设为瞬态位置处的第i个子带的功率。此外，将Ks (i)、Ke (i)依次设为第i个子带的最初的频率空间的索引、和第i个子带的最后的频率空间的索引。
【式68】
核心子带功率量化部129A将预先确定的第icore个子带设为核心子带，对核心子带的功率
【式69】
进行量化，并输出核心子带功率码。对于量化，可以使用预先确定的量化码本来进行量化，也可以使用霍夫曼编码等通过熵编码进行量化。此外，还可以预先将1个以上的J个子带
【式70】
设为核心子带，将上述J个子带的功率的平均设为核心子带的功率。此外，还可以将J个子带的最大值、最小值或中央值设为核心子带的功率。并且，核心子带功率量化部129A对核心子带功率码进行解码，并输出解码核心子带功率
【式71】
差分量化部1210A通过下式73计算差分子带功率序列
【式72】
并进行量化，输出差分子带功率码。对于量化，可以使用预定的量化码本进行量化，也可以使用霍夫曼编码等通过熵编码进行量化，还可以在差分子带功率序列具有两个以上的子带的情况下通过矢量量化进行量化。
【式73】
参数编码部127集中瞬态标志、核心子带功率码和差分子带功率码来输出辅助信息码。但是，在瞬态标志的值关闭的情况下，也可以不将核心子带功率码和差分子带功率码包含到辅助信息码中。
(解码部4的结构和动作)
图48示出本实施方式中的辅助信息解码部45的结构。辅助信息解码部45具有瞬态标志解码部129、核心子带功率解码部1214A和差分解码部1215。并且，还可以采用包含瞬态位置解码部1212的结构，但以下利用不包含瞬态位置解码部1212的结构来进行说明。
瞬态标志解码部129的动作与第7实施方式相同。
核心子带功率解码部1214A对量化子带功率进行解码，并输出解码核心子带功率
【式74】
差分解码部1215对差分子带功率码进行解码，并输出解码差分子带功率序列
【式75】
并且，差分解码部1215依照下式77，将解码差分子带功率序列和解码核心子带功率相加，计算瞬态功率谱
【式76】
【式77】
接着，对本实施方式中的子帧功率修正部442(图24)的动作进行叙述。辅助信息蓄积部441将通过上述辅助信息解码部45得到的瞬态标志和瞬态功率谱作为辅助信息进行蓄积，子帧功率修正部442从辅助信息蓄积部441中读出瞬态标志和瞬态功率谱，按照每个子帧修正第一掩藏信号z(K·l+k)的功率值来求出掩藏信号y(K·l+k)。具体而言，依照以下步骤进行修正(其中，0≤l≤L－1、0≤k≤K－1)。
首先，将从第一掩藏信号生成部43输出的第一掩藏信号输入到子帧功率修正部442。并且，将辅助信息蓄积部441中所蓄积的瞬态标志和瞬态功率谱输入到子帧功率修正部442。
接着，子帧功率修正部442将预先确定的值设置为瞬态位置信息ltran。
然后，子帧功率修正部442依照以下的式78计算子带功率序列。
【式78】
进而，子帧功率修正部442依照以下的式79计算瞬态位置处的第一掩藏信号的子带功率序列与瞬态功率谱之间的差分(差分瞬态功率)。
【式79】
然后，子帧功率修正部442使用上述差分瞬态功率来修正与瞬态的位置之后的子帧对应的第一掩藏信号的功率，从而求出修正掩藏信号子帧功率。
最后，子帧功率修正部442依照以下的式80，针对所有子带i，将修正掩藏信号子帧功率乘以第一掩藏信号，计算掩藏信号。其中，设为Ks (i)≤k＜Ke (i)，l≥ltran。
【式80】
如上所述，能够利用核心子带的功率与核心子带以外的子带的功率之间的差分作为辅助信息，实现对瞬态信号的高精度的分组丢失掩藏。
另外，在本实施方式中，说明了在图47的辅助信息编码部12中省略瞬态位置量化部125、在图48的辅助信息解码部45中省略瞬态位置解码部1212的结构，但也可以采用包含这些部件的结构。
[第15实施方式]
在第15实施方式中，叙述省略了第14实施方式中的图47的核心子带功率量化部129A和图48的核心子带功率解码部1214A的情况。
(编码部1的结构和动作)
本实施方式的编码部1是与在第1实施方式中叙述的图10相同的结构，省略整体的详细说明。时频变换与第14实施方式相同。
音频编码部11计算/量化音频信号的功率来计算核心子带功率码，并将其包含到音频码中。在核心子带功率码的输出时，也可以对与在时域中求出的帧或1个以上的子帧相关的功率进行量化，也可以对在频域中求出的帧或1个以上的子帧的功率进行量化，还可以对与变换到QMF区域的信号的1个以上的子帧相关的功率进行量化。在频域、QMF区域中的量化时，也可以对关于1个以上的子带计算出的功率进行量化。
图49示出本实施方式中的辅助信息编码部12的结构。辅助信息编码部12具有瞬态检测部124A、子带功率计算部128B、差分量化部1210A和参数编码部127。并且，也可以采用包含瞬态位置量化部125的结构，但以下利用不包含瞬态位置量化部125的结构进行说明。
瞬态检测部124A的动作与第7实施方式相同，子带功率计算部128B与第14实施方式相同。
音频编码部11将对与包含在音频码中的功率相关的码进行解码而得到的解码核心子带功率Pcore输入到差分量化部1210A。
差分量化部1210A通过下式82计算并量化差分子带功率序列
【式81】
并输出所得到的差分子带功率码。对于量化，可以使用预先确定的量化码本进行量化，也可以使用霍夫曼编码等通过熵编码进行量化，还可以在差分子带功率序列具有两个以上的子带的情况下通过矢量量化进行量化。
【式82】
参数编码部127与第14实施方式相同。
(解码部4的结构和动作)
图50示出本实施方式中的辅助信息解码部45的结构。辅助信息解码部45具有瞬态标志解码部129和差分解码部1215。并且，也可以采用包含瞬态位置解码部1212的结构，但以下利用不包含瞬态位置解码部1212的结构进行说明。
瞬态标志解码部129的动作与第7实施方式相同。
音频解码部42将对与包含在音频码中的功率相关的码进行解码而得到的解码核心子带功率Pcore输入到差分解码部1215。在Pcore是在时域等、与被变换到频域的信号V(k，l)不同的区域中求出的值的情况下，加上偏置而统一了单位后，将Pcore输入到差分解码部1215。
差分解码部1215对差分子带功率码进行解码，并输出解码差分子带功率序列
【式83】
并且，差分解码部1215依照下述式85，将解码差分子带功率序列和解码核心子带功率相加，计算瞬态功率谱
【式84】
【式85】
图24的子帧功率修正部442与第14实施方式为相同的动作。
如上所述，能够实现省略了第14实施方式中的图47的核心子带功率量化部129A和图48的核心子带功率解码部1214A的实施方式，能够得到与第14实施方式同样的效果。
另外，在本实施方式中，说明了在图49的辅助信息编码部12中省略瞬态位置量化部125、在图50的辅助信息解码部45中省略瞬态位置解码部1212的结构，但也可以采用包含这些部的结构。
[关于音频编码程序和音频解码程序]
首先，对使计算机作为本发明的音频编码装置进行动作的音频编码程序进行说明。
图17是示出一个实施方式的音频编码程序的结构的图。图15是一个实施方式的计算机的硬件结构图。图16是一个实施方式的计算机的外观图。图17所示的音频编码程序能够使图15和图16所示的计算机C10作为编码部1进行动作。另外，不限于图15和图16所示的计算机，在本说明书中说明的程序还能够使移动电话、便携信息终端、便携型个人计算机这样的任意的信息处理装置依照该程序进行动作。
音频编码程序P1能够被存储在记录介质M中进行提供。另外，作为记录介质M，例示了软盘、CD－ROM、DVD、或ROM等记录介质，或者半导体存储器等。
如图15所示，计算机C10具有：软盘驱动装置、CD－ROM驱动装置、DVD驱动装置等读取装置C12；作业用存储器(RAM)C14；存储爱记录介质M中所存储的程序的存储器C16；显示器C18；作为输入装置的鼠标C20和键盘C22；用于进行数据等的收发的通信装置C24；以及控制程序的执行的中央运算部(CPU)C26。
计算机C10在记录介质M被插入到读取装置C12中时，能够从读取装置C12访问在记录介质M中所存储的音频编码程序P1，能够通过音频编码程序P1作为本发明的音频编码装置进行动作。
如图16所示，音频编码程序P1也可以作为与载波重叠的计算机数据信号W经由网络被提供。该情况下，计算机C10能够将通过通信装置C24接收到的音频编码程序P1存储到存储器C16，从而执行音频编码程序P1。
如图17所示，音频编码程序P1具有音频编码模块P11和辅助信息编码模块P12。这些音频编码模块P11和辅助信息编码模块P12使计算机C10执行与上述音频编码部11和辅助信息编码部12分别相同的功能。根据上述音频编码程序P1，计算机C10能够作为本发明的音频编码装置进行动作。
接着，对使计算机作为本发明的音频解码装置进行动作的音频解码程序进行说明。图18是示出一个实施方式的音频解码程序的结构的图。
图18所示的音频解码程序P4能够在图15和图16所示的计算机中使用。此外，音频解码程序P4能够与音频编码程序P1同样地被提供。
如图18所示，音频解码程序P4具有错误/丢失检测模块P41、音频解码模块P42、辅助信息解码模块P45、第一掩藏信号生成模块P43和掩藏信号修正模块P44。这些错误/丢失检测模块P41、音频解码模块P42、辅助信息解码模块P45、第一掩藏信号生成模块P43和掩藏信号修正模块P44使计算机C10执行与上述错误/丢失检测部41、音频解码部42、辅助信息解码部45、第一掩藏信号生成部43和掩藏信号修正部44分别相同的功能。根据上述音频解码程序P4，计算机C10能够作为本发明的音频解码装置进行动作。
根据以上所说明的各种实施方式，能够将关于功率急剧变化的部分的有效辅助信息从编码侧发送至解码侧，能够针对在现有技术中难以实现分组丢失掩藏的伴随有功率的急剧的时间变化的信号(瞬态信号)实现高精度的分组丢失掩藏，从而减少分组丢失时的主观品质降低。
标号说明
1：编码部；2：分组构成部；3：分组分离部；4：解码部；10：时频变换部；11：音频编码部；12：辅助信息编码部；13：码复用部；40：码分离部；41：错误/丢失检测部；42：音频解码部；43：第一掩藏信号生成部；44：掩藏信号修正部；45：辅助信息解码部；46：逆变换部；47：音频参数蓄积部；121：子帧功率计算部；122：衰减系数估计部；123：衰减系数量化部；124：子帧功率矢量量化部；124A：瞬态检测部；125：瞬态位置量化部；126：瞬态功率标量量化部；127：参数编码部；128：瞬态功率矢量量化部；128A：码长度选择部；128B：子带功率计算部；129：瞬态标志解码部；129A：核心子带功率量化部；1210：衰减系数解码部；1210A：差分量化部；1212：瞬态位置解码部；1213：瞬态功率解码部；1214：瞬态功率矢量解码部；1214A：核心子带功率解码部；1215：差分解码部；431：解码系数蓄积部；432：蓄积解码系数重复部；441：辅助信息蓄积部；442：子帧功率修正部；C10：计算机；C12：读取装置；C14：作业用存储器；C16：存储器；C18：显示器；C20：鼠标；C22：键盘；C24：通信装置；C26：CPU；M：记录介质；W：计算机数据信号；P1：音频编码程序；P11：音频编码模块；P12：辅助信息编码模块；P4：音频解码程序；P41：错误/丢失检测模块；P42：音频解码模块；P43：第一掩藏信号生成模块；P44：掩藏信号修正模块；P45：辅助信息解码模块。

Claims (2)

1.一种音频编码装置，其对由多个帧构成的音频信号进行编码，其中，该音频编码装置具有：
音频编码部，其对音频信号进行编码；以及
辅助信息编码部，其估计辅助信息并对其进行编码，该辅助信息被用于解码音频信号时的分组丢失的掩藏，并与音频信号的功率的时间变化相关，
作为所述辅助信息，所述辅助信息编码部估计与功率的变化相关的标志并对其进行编码，所述功率的变化是与作为所述音频编码部的编码对象的帧不同的帧的音频信号中的功率的变化，
在所述标志为规定的模式的情况下，计算与作为所述编码对象的帧不同的帧的音频信号中的功率的变化的位置，并且作为所述辅助信息，还估计与作为所述编码对象的帧不同的帧的音频信号中的功率的变化的位置处的量化瞬态功率并对其进行编码，在所述辅助信息中，仅包含所述标志和所述量化瞬态功率，
在所述标志不为规定的模式的情况下，作为所述辅助信息，不包含量化瞬态功率。
2.一种由音频编码装置执行的音频编码方法，该音频编码装置对由多个帧构成的音频信号进行编码，其中，该音频编码方法具有：
音频编码步骤，对音频信号进行编码；以及
辅助信息编码步骤，估计辅助信息并对其进行编码，该辅助信息被用于解码音频信号时的分组丢失的掩藏，并与音频信号的功率的时间变化相关，
在所述辅助信息编码步骤中，作为所述辅助信息，所述音频编码装置估计与功率的变化相关的标志并对其进行编码，所述功率的变化是与作为所述音频编码部的编码对象的帧不同的帧的音频信号中的功率的变化，
在所述标志为规定的模式的情况下，计算与作为所述编码对象的帧不同的帧的音频信号中的功率的变化的位置，并且作为所述辅助信息，还估计与作为所述编码对象的帧不同的帧的音频信号中的功率的变化的位置处的量化瞬态功率并对其进行编码，在所述辅助信息中，仅包含所述标志和所述量化瞬态功率，
在所述标志不为规定的模式的情况下，作为所述辅助信息，不包含量化瞬态功率。
CN201510317625.5A 2010-11-22 2011-11-04 音频编码装置、方法以及音频解码装置、方法 Active CN104934036B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2010260447 2010-11-22
JP2010-260447 2010-11-22
JP2011-033915 2011-02-18
JP2011033915 2011-02-18
CN201180056122.7A CN103229234B (zh) 2010-11-22 2011-11-04 音频编码装置、方法以及音频解码装置、方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201180056122.7A Division CN103229234B (zh) 2010-11-22 2011-11-04 音频编码装置、方法以及音频解码装置、方法

Publications (2)

Publication Number Publication Date
CN104934036A CN104934036A (zh) 2015-09-23
CN104934036B true CN104934036B (zh) 2018-11-02

Family

ID=46145720

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201510317625.5A Active CN104934036B (zh) 2010-11-22 2011-11-04 音频编码装置、方法以及音频解码装置、方法
CN201180056122.7A Active CN103229234B (zh) 2010-11-22 2011-11-04 音频编码装置、方法以及音频解码装置、方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201180056122.7A Active CN103229234B (zh) 2010-11-22 2011-11-04 音频编码装置、方法以及音频解码装置、方法

Country Status (11)

Country Link
US (5) US9508350B2 (zh)
EP (3) EP3518234B1 (zh)
JP (6) JP6000854B2 (zh)
CN (2) CN104934036B (zh)
DK (1) DK2975610T3 (zh)
ES (2) ES2727748T3 (zh)
FI (1) FI3518234T3 (zh)
PL (2) PL3518234T3 (zh)
PT (1) PT2975610T (zh)
TW (1) TW201243825A (zh)
WO (1) WO2012070370A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012070370A1 (ja) 2010-11-22 2012-05-31 株式会社エヌ・ティ・ティ・ドコモ 音声符号化装置、方法およびプログラム、並びに、音声復号装置、方法およびプログラム
CN103812824A (zh) * 2012-11-07 2014-05-21 中兴通讯股份有限公司 音频多编码传输方法及相应装置
CA2886140C (en) 2012-11-15 2021-03-23 Ntt Docomo, Inc. Audio coding device, audio coding method, audio coding program, audio decoding device, audio decoding method, and audio decoding program
CN108364657B (zh) 2013-07-16 2020-10-30 超清编解码有限公司 处理丢失帧的方法和解码器
JP5981408B2 (ja) * 2013-10-29 2016-08-31 株式会社Ｎｔｔドコモ 音声信号処理装置、音声信号処理方法、及び音声信号処理プログラム
US9608889B1 (en) * 2013-11-22 2017-03-28 Google Inc. Audio click removal using packet loss concealment
CN104681034A (zh) * 2013-11-27 2015-06-03 杜比实验室特许公司 音频信号处理
CN106683681B (zh) * 2014-06-25 2020-09-25 华为技术有限公司 处理丢失帧的方法和装置
KR20180026528A (ko) * 2015-07-06 2018-03-12 노키아 테크놀로지스 오와이 오디오 신호 디코더를 위한 비트 에러 검출기
WO2017129270A1 (en) * 2016-01-29 2017-08-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for improving a transition from a concealed audio signal portion to a succeeding audio signal portion of an audio signal
WO2017153299A2 (en) 2016-03-07 2017-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Error concealment unit, audio decoder, and related method and computer program fading out a concealed audio frame out according to different damping factors for different frequency bands
MX2018010756A (es) 2016-03-07 2019-01-14 Fraunhofer Ges Forschung Unidad de ocultamiento de error, decodificador de audio, y método relacionado y programa de computadora que usa características de una representación decodificada de una trama de audio decodificada apropiadamente.
KR20220151953A (ko) * 2021-05-07 2022-11-15 한국전자통신연구원 부가 정보를 이용한 오디오 신호의 부호화 및 복호화 방법과 그 방법을 수행하는 부호화기 및 복호화기

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1906663A (zh) * 2004-05-10 2007-01-31 日本电信电话株式会社 声学信号分组通信方法、传递方法、接收方法、及其设备和程序

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US862644A (en) * 1906-08-03 1907-08-06 Francis M Kepler Screen.
US4802171A (en) * 1987-06-04 1989-01-31 Motorola, Inc. Method for error correction in digitally encoded speech
US5748763A (en) * 1993-11-18 1998-05-05 Digimarc Corporation Image steganography system featuring perceptually adaptive and globally scalable signal embedding
JPH07336310A (ja) * 1994-06-14 1995-12-22 Matsushita Electric Ind Co Ltd 音声復号化装置
US6904404B1 (en) * 1996-07-01 2005-06-07 Matsushita Electric Industrial Co., Ltd. Multistage inverse quantization having the plurality of frequency bands
AU4201100A (en) * 1999-04-05 2000-10-23 Hughes Electronics Corporation Spectral phase modeling of the prototype waveform components for a frequency domain interpolative speech codec system
JP4287545B2 (ja) * 1999-07-26 2009-07-01 パナソニック株式会社 サブバンド符号化方式
JP4597360B2 (ja) * 2000-12-26 2010-12-15 パナソニック株式会社 音声復号装置及び音声復号方法
US7447639B2 (en) * 2001-01-24 2008-11-04 Nokia Corporation System and method for error concealment in digital audio transmission
US7412004B2 (en) * 2001-06-29 2008-08-12 Agere Systems Inc. Method and apparatus for controlling buffer overflow in a communication system
US7590525B2 (en) * 2001-08-17 2009-09-15 Broadcom Corporation Frame erasure concealment for predictive speech coding based on extrapolation of speech waveform
EP1292036B1 (en) * 2001-08-23 2012-08-01 Nippon Telegraph And Telephone Corporation Digital signal decoding methods and apparatuses
JP4022427B2 (ja) * 2002-04-19 2007-12-19 独立行政法人科学技術振興機構 エラー隠蔽方法、エラー隠蔽プログラム、送信装置、受信装置及びエラー隠蔽装置
CA2388439A1 (en) * 2002-05-31 2003-11-30 Voiceage Corporation A method and device for efficient frame erasure concealment in linear predictive based speech codecs
SG108862A1 (en) * 2002-07-24 2005-02-28 St Microelectronics Asia Method and system for parametric characterization of transient audio signals
US7657427B2 (en) * 2002-10-11 2010-02-02 Nokia Corporation Methods and devices for source controlled variable bit-rate wideband speech coding
AU2003278013A1 (en) * 2002-10-11 2004-05-04 Voiceage Corporation Methods and devices for source controlled variable bit-rate wideband speech coding
US20040083110A1 (en) * 2002-10-23 2004-04-29 Nokia Corporation Packet loss recovery based on music signal classification and mixing
EP1580895B1 (en) * 2002-11-21 2009-03-04 Nippon Telegraph and Telephone Corporation Digital signal processing method, processor thereof, program thereof, and recording medium containing the program
US7343291B2 (en) * 2003-07-18 2008-03-11 Microsoft Corporation Multi-pass variable bitrate media encoding
CN101494460B (zh) * 2003-09-02 2012-07-11 日本电信电话株式会社 浮点信号的编码方法、解码方法及其编码器、解码器
CA2457988A1 (en) * 2004-02-18 2005-08-18 Voiceage Corporation Methods and devices for audio compression based on acelp/tcx coding and multi-rate lattice vector quantization
ATE527654T1 (de) * 2004-03-01 2011-10-15 Dolby Lab Licensing Corp Mehrkanal-audiodecodierung
US20090299756A1 (en) * 2004-03-01 2009-12-03 Dolby Laboratories Licensing Corporation Ratio of speech to non-speech audio such as for elderly or hearing-impaired listeners
WO2005086138A1 (ja) * 2004-03-05 2005-09-15 Matsushita Electric Industrial Co., Ltd. エラー隠蔽装置およびエラー隠蔽方法
US7392195B2 (en) * 2004-03-25 2008-06-24 Dts, Inc. Lossless multi-channel audio codec
US7668712B2 (en) * 2004-03-31 2010-02-23 Microsoft Corporation Audio encoding and decoding with intra frames and adaptive forward error correction
JP5046654B2 (ja) * 2005-01-14 2012-10-10 パナソニック株式会社 スケーラブル復号装置及びスケーラブル復号方法
US20070147518A1 (en) * 2005-02-18 2007-06-28 Bruno Bessette Methods and devices for low-frequency emphasis during audio compression based on ACELP/TCX
EP1898397B1 (en) * 2005-06-29 2009-10-21 Panasonic Corporation Scalable decoder and disappeared data interpolating method
EP1933304A4 (en) * 2005-10-14 2011-03-16 Panasonic Corp DIMENSIONABLE CODING APPARATUS, DIMENSIONABLE DECODING APPARATUS AND METHODS OF USING SAME
US8620644B2 (en) * 2005-10-26 2013-12-31 Qualcomm Incorporated Encoder-assisted frame loss concealment techniques for audio coding
EP1852849A1 (en) * 2006-05-05 2007-11-07 Deutsche Thomson-Brandt Gmbh Method and apparatus for lossless encoding of a source signal, using a lossy encoded data stream and a lossless extension data stream
JP2007336310A (ja) 2006-06-16 2007-12-27 Onkyo Corp 音響ミュート回路の制御装置
JP5123516B2 (ja) 2006-10-30 2013-01-23 株式会社エヌ・ティ・ティ・ドコモ 復号装置、符号化装置、復号方法及び符号化方法
KR100862662B1 (ko) * 2006-11-28 2008-10-10 삼성전자주식회사 프레임 오류 은닉 방법 및 장치, 이를 이용한 오디오 신호복호화 방법 및 장치
JP5377974B2 (ja) * 2006-11-30 2013-12-25 パナソニック株式会社 信号処理装置
BRPI0808200A8 (pt) * 2007-03-02 2017-09-12 Panasonic Corp Dispositivo de codificação de áudio e dispositivo de decodificação de áudio
JP4984983B2 (ja) * 2007-03-09 2012-07-25 富士通株式会社 符号化装置および符号化方法
WO2008121035A1 (en) * 2007-03-29 2008-10-09 Telefonaktiebolaget Lm Ericsson (Publ) Method and speech encoder with length adjustment of dtx hangover period
JP2008261904A (ja) * 2007-04-10 2008-10-30 Matsushita Electric Ind Co Ltd 符号化装置、復号化装置、符号化方法および復号化方法
US8271268B2 (en) * 2007-04-18 2012-09-18 Nuance Communications, Inc. Method to translate, cache and transmit text-based information contained in an audio signal
CN101325537B (zh) * 2007-06-15 2012-04-04 华为技术有限公司 一种丢帧隐藏的方法和设备
WO2009004727A1 (ja) * 2007-07-04 2009-01-08 Fujitsu Limited 符号化装置、符号化方法および符号化プログラム
JP5169059B2 (ja) * 2007-08-06 2013-03-27 パナソニック株式会社 音声通信装置
US8090588B2 (en) * 2007-08-31 2012-01-03 Nokia Corporation System and method for providing AMR-WB DTX synchronization
JP4640407B2 (ja) * 2007-12-07 2011-03-02 ソニー株式会社 信号処理装置、信号処理方法及びプログラム
JP5262171B2 (ja) * 2008-02-19 2013-08-14 富士通株式会社 符号化装置、符号化方法および符号化プログラム
BRPI0908929A2 (pt) * 2008-03-14 2016-09-13 Panasonic Corp dispositivo de codificação, dispositivo de decodificação, e método dos mesmos
AU2009256551B2 (en) * 2008-06-13 2015-08-13 Nokia Technologies Oy Method and apparatus for error concealment of encoded audio data
US8380523B2 (en) * 2008-07-07 2013-02-19 Lg Electronics Inc. Method and an apparatus for processing an audio signal
PL2346030T3 (pl) * 2008-07-11 2015-03-31 Fraunhofer Ges Forschung Koder audio, sposób kodowania sygnału audio oraz program komputerowy
US8352279B2 (en) * 2008-09-06 2013-01-08 Huawei Technologies Co., Ltd. Efficient temporal envelope coding approach by prediction between low band signal and high band signal
US8175888B2 (en) * 2008-12-29 2012-05-08 Motorola Mobility, Inc. Enhanced layered gain factor balancing within a multiple-channel audio coding system
JP5287546B2 (ja) * 2009-06-29 2013-09-11 富士通株式会社 情報処理装置およびプログラム
US8452606B2 (en) * 2009-09-29 2013-05-28 Skype Speech encoding using multiple bit rates
WO2012070370A1 (ja) 2010-11-22 2012-05-31 株式会社エヌ・ティ・ティ・ドコモ 音声符号化装置、方法およびプログラム、並びに、音声復号装置、方法およびプログラム
FR3015826B1 (fr) 2013-12-20 2016-01-01 Schneider Electric Ind Sas Procede de surveillance d'une communication entre un equipement emetteur et un equipement recepteur

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1906663A (zh) * 2004-05-10 2007-01-31 日本电信电话株式会社 声学信号分组通信方法、传递方法、接收方法、及其设备和程序

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Joint pre-echo control and frame erasure concealment for voIP audio codecs;GEISER BERND 等;《2009 17TH EUROPEAN SIGNAL PROCESSING CONFERENCE, IEEE》;20090824;第1259页右栏倒数第1-2段、第1260页右栏倒数第1段-第1261页左栏第2段，图1，表1 *

Also Published As

Publication number Publication date
JP2021012398A (ja) 2021-02-04
JP6951536B2 (ja) 2021-10-20
DK2975610T3 (da) 2019-05-27
TW201243825A (en) 2012-11-01
ES2966665T3 (es) 2024-04-23
JPWO2012070370A1 (ja) 2014-05-19
EP3518234A1 (en) 2019-07-31
PL2975610T3 (pl) 2019-08-30
US20200357416A1 (en) 2020-11-12
JP6789365B2 (ja) 2020-11-25
JP2019066868A (ja) 2019-04-25
EP2645366A1 (en) 2013-10-02
JP2020073986A (ja) 2020-05-14
JP2017142542A (ja) 2017-08-17
EP2645366A4 (en) 2014-05-07
FI3518234T3 (fi) 2023-12-14
JP6450802B2 (ja) 2019-01-09
PL3518234T3 (pl) 2024-04-08
US20130253939A1 (en) 2013-09-26
WO2012070370A1 (ja) 2012-05-31
US10115402B2 (en) 2018-10-30
JP6151411B2 (ja) 2017-06-21
EP2975610A1 (en) 2016-01-20
US9508350B2 (en) 2016-11-29
CN103229234B (zh) 2015-07-08
JP2016194710A (ja) 2016-11-17
EP3518234B1 (en) 2023-11-29
US11756556B2 (en) 2023-09-12
US20220215846A1 (en) 2022-07-07
US20170076729A1 (en) 2017-03-16
US20190019519A1 (en) 2019-01-17
JP6704037B2 (ja) 2020-06-03
JP6000854B2 (ja) 2016-10-05
ES2727748T3 (es) 2019-10-18
US10762908B2 (en) 2020-09-01
US11322163B2 (en) 2022-05-03
CN104934036A (zh) 2015-09-23
CN103229234A (zh) 2013-07-31
EP2975610B1 (en) 2019-04-24
PT2975610T (pt) 2019-06-04

Similar Documents

Publication Publication Date Title
CN104934036B (zh) 音频编码装置、方法以及音频解码装置、方法
JP7124170B2 (ja) セカンダリチャンネルを符号化するためにプライマリチャンネルのコーディングパラメータを使用するステレオ音声信号を符号化するための方法およびシステム
CN103620675B (zh) 对线性预测编码系数进行量化的设备、声音编码设备、对线性预测编码系数进行反量化的设备、声音解码设备及其电子装置
CN101925950B (zh) 音频编码器和解码器
CN102084418B (zh) 用于调整多通道音频信号的空间线索信息的设备和方法
CN101443842A (zh) 信息信号编码
CN105513602A (zh) 用于语音信号或音频信号的解码设备和方法及量化设备
TWI785753B (zh) 多聲道信號產生器、多聲道信號產生方法及電腦程式
CN104021793A (zh) 处理音频信号的方法和装置
WO2016023322A1 (zh) 多声道声音信号编码方法、解码方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant