CN101273403B - 可扩展编码装置、可扩展解码装置以及其方法 - Google Patents
可扩展编码装置、可扩展解码装置以及其方法 Download PDFInfo
- Publication number
- CN101273403B CN101273403B CN200680035365.1A CN200680035365A CN101273403B CN 101273403 B CN101273403 B CN 101273403B CN 200680035365 A CN200680035365 A CN 200680035365A CN 101273403 B CN101273403 B CN 101273403B
- Authority
- CN
- China
- Prior art keywords
- coded data
- frame
- data
- low layer
- rise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000006073 displacement reaction Methods 0.000 claims description 127
- 239000003550 marker Substances 0.000 claims description 65
- 238000000605 extraction Methods 0.000 claims description 23
- 239000000284 extract Substances 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 230000000630 rising effect Effects 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 239000010410 layer Substances 0.000 abstract description 276
- 239000012792 core layer Substances 0.000 abstract description 214
- 230000008569 process Effects 0.000 abstract description 43
- 230000015556 catabolic process Effects 0.000 abstract 1
- 238000006731 degradation reaction Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 11
- 230000006872 improvement Effects 0.000 description 9
- 230000006866 deterioration Effects 0.000 description 7
- 230000008676 import Effects 0.000 description 7
- 239000000306 component Substances 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000008358 core component Substances 0.000 description 2
- 239000012467 final product Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001314 paroxysmal effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
公开了可扩展编码装置等，能够抑制解码信号的质量劣化而不增加比特率。该装置中，核心层编码单元(101)和扩展层编码单元(102)以语音帧为单位，对输入信号进行编码。在置换判定单元(103)判定为输入信号从先前帧到当前帧的变化程度为规定值以上时，或者判定为在先前帧中解码信号的质量通过扩展层编码处理的改善程度为规定等级以下时，置换单元(105)用当前帧的核心层编码数据置换先前帧的扩展层编码数据的一部分。也就是说，发送单元(108)将当前帧的核心层编码数据作为备份而预先传输到解码端。
Description
技术领域
本发明涉及可扩展编码装置、可扩展解码装置以及其方法。
背景技术
在IP(因特网协议)网络上的语音数据通信中，为了实现网络上的业务控制和组播通信，人们期望具有可扩展结构的语音编码。可扩展结构是指，在接收端即使从一部分编码数据也能够对语音数据进行解码的结构。
在可扩展编码中，在发送端传输编码数据，该编码数据通过对输入语音信号的分层的编码，被分层为从包含核心层的低层(lowerlayer)到包含扩展层的高层(higherlayer)的多个层。在接收端，能够使用从低层到任意的层的编码数据来进行解码(例如，参照非专利文献1)。
另外，作为对IP网络上的分组丢失的控制，相对于高层，更抑制包含核心层的低层的编码数据的丢失率，从而能够提高抗分组丢失性。
然而，在包含核心层的低层编码数据的丢失不可避免时，能够使用以前接收到的编码数据来进行差错补偿(例如，参照非专利文献2)。也就是说，由于分组丢失，丢失了在对输入语音信号以帧为单位进行可扩展编码后所获得的分层编码数据中包含核心层的低层编码数据而未能接收时，接收端能够使用以前接收到的先前帧的编码数据来进行差错补偿和解码。由此，在某种程度上能够抑制发生分组丢失时的解码信号的质量劣化。
非专利文献1：ISO/IEC14496-3：2001(E)Prt-3 Audio(MPEG-4)Subpart-3 Speech Coding(CELP)
非专利文献2：ISO/IEC14496-3：2001(E)Prt-3Audio(MPEG-4)Subpart-1Main Annexl.B(Informative)Error Protection tool
发明内容
本发明需要解决的问题
然而，存在下述问题：例如丢失了像语音信号的上升沿那样的、变化较大的语音信号的核心层编码数据时，即使如上所述使用先前帧的编码数据进行差错补偿，其补偿的精确度也显著降低，使得接收端的解码语音的质量劣化。
本发明的目的是提供可扩展编码装置、可扩展解码装置以及其方法，即使在丢失核心层编码数据，并通过使用先前帧的编码数据的方法，不能进行高精确度的差错补偿时，也能够抑制解码信号的质量劣化。
解决问题的方案
本发明的可扩展语音编码装置，至少由低层和高层构成，该装置包括：低层编码单元，进行所述低层中的编码而生成低层编码数据；高层编码单元，进行所述高层中的编码而生成高层编码数据；复制单元，生成所述低层编码数据中的至少一部分数据的复制数据；判定单元，使用输入语音信号、所述低层编码数据和所述高层编码数据，将包含语音信号的上升沿部分的帧、包含无声非稳定子音部分的帧或者非稳定信号的语音帧判定为特定帧；或者将参数的变化幅度为规定等级以上的帧判定为特定帧，该参数表示输入信号的特征，该参数为语音信号的功率、基音周期、基音预测增益或线性预测编码参数；或者通过比较基于所述低层编码数据的解码数据中所包含的编码失真和基于所述低层编码数据及所述高层编码数据两者的解码数据中所包含的编码失真，判断所述高层编码数据对减少编码失真的贡献，并将该贡献为规定等级以下的帧判定为所述特定帧；或者求输入信号的低频带能量占全频带能量的比例，并将该比例为规定的等级以上的帧判定为所述特定帧；以及置换单元，使用由所述判定单元判定出的特定帧的低层编码数据的所述复制数据，置换该特定帧之前的帧的所述高层编码数据的一部分。
本发明的可扩展语音解码装置，至少由低层和高层构成，该装置包括：分离单元，对被输入的复用了扩展层编码数据和置换判定标记的数据进行解复用处理，从而分离出表示是否以复制数据置换高层编码数据的一部分的置换判定标记，所述复制数据是通过复制低层编码数据中的至少一部分数据而生成的；检测单元，检测帧丢失；低层解码单元，在检测出帧丢失时，在所述置换判定标记表示进行了所述复制数据置换的情况下，使用上一帧的解码处理中接收的低层编码数据进行解码处理，生成第一解码数据，而在所述置换判定标记表示未进行所述复制数据置换的情况下，使用在上一帧的低层编码数据和低层解码信号进行差错补偿处理和解码处理，生成第一解码数据； 以及高层解码单元，在检测出帧丢失时，在所述置换判定标记表示进行了所述复制数据置换的情况下，使用当前帧的低层解码数据、上一帧的高层编码数据和高层解码信号进行补偿处理和解码处理，生成第二解码数据，而在所述置换判定标记表示未进行所述复制数据置换的情况下，使用上一帧的低层编码数据、低层解码信号、高层编码数据和高层解码信号进行补偿处理和解码处理，生成第二解码数据。
本发明的可扩展语音编码方法，用于至少由低层和高层构成的可扩展编码装置，该方法包括：低层编码步骤，进行所述低层中的编码而生成低层编码数据；高层编码步骤，进行所述高层中的编码而生成高层编码数据；复制步骤，生成所述低层编码数据中的至少一部分数据的复制数据；判定步骤，使用输入语音信号、所述低层编码数据和所述高层编码数据，将包含语音信号的上升沿部分的帧、包含无声非稳定子音部分的帧或者非稳定信号的语音帧判定为特定帧；或者将参数的变化幅度为规定等级以上的帧判定为特定帧，该参数表示输入信号的特征，该参数为语音信号的功率、基音周期、基音预测增益或线性预测编码参数；或者通过比较基于所述低层编码数据的解码数据中所包含的编码失真和基于所述低层编码数据及所述高层编码数据两者的解码数据中所包含的编码失真，判断所述高层编码数据对减少编码失真的贡献，并将该贡献为规定等级以下的帧判定为所述特定帧；或者求输入信号的低频带能量占全频带能量的比例，并将该比例为规定的等级以上的帧判定为所述特定帧；以及置换步骤，使用在判定步骤中判定出的特定帧的低层编码数据的所述复制数据，置换该特定帧之前的帧的所述高层编码数据的一部分。
本发明的可扩展语音解码方法，用于至少由低层和高层构成的可扩展解码装置，该方法包括：分离步骤，对被输入的复用了扩展层编码数据和置换判定标记的数据进行解复用处理，从而分离出表示是否以复制数据置换高层编码数据的一部分的置换判定标记，所述复制数据是通过复制低层编码数据中的至少一部分数据而生成的；检测步骤，检测帧丢失；低层解码步骤，在检测出帧丢失时，在所述置换判定标记表示进行了所述复制数据置换的情况下，使用上一帧的解码处理中接收的低层编码数据进行解码处理，生成第一解码数据，而在所述置换判定标记表示未进行所述复制数据置换的情况下，使用在上一帧的低层编码数据和低层解码信号进行差错补偿处理和解码处理，生成第一解码数据；以及高层解码步骤，在检测出帧丢失时，在所述置 换判定标记表示进行了所述复制数据置换的情况下，使用当前帧的低层解码数据、上一帧的高层编码数据和高层解码信号进行补偿处理和解码处理，生成第二解码数据，而在所述置换判定标记表示未进行所述复制数据置换的情况下，使用上一帧的低层编码数据、低层解码信号、高层编码数据和高层解码信号进行补偿处理和解码处理，生成第二解码数据。
本发明的有益效果
根据本发明，能够进行差错补偿而不增加比特率，抑制解码信号的质量劣化。
附图说明
图1是表示实施方式1的可扩展编码装置的主要结构的方框图。
图2是表示实施方式1的置换判定单元的置换判定处理的步骤的流程图。
图3是用于说明将扩展层编码数据置换为核心层编码数据的置换的细节的图。
图4是表示实施方式1的可扩展解码装置的主要结构的方框图。
图5是表示实施方式1的核心层解码单元和扩展层解码单元中的差错补偿处理和解码处理的步骤的流程图。
图6是用于说明实施方式1的解码处理的图。
图7是表示实施方式2的可扩展编码装置的主要结构的方框图。
图8是用于说明将扩展层编码数据的一部分置换为提取核心层编码数据的处理的图。
图9是表示实施方式2的可扩展解码装置的主要结构的方框图。
图10是表示实施方式2的核心层解码单元和扩展层解码单元中的差错补偿处理和解码处理的步骤的流程图。
图11是表示实施方式3的可扩展编码装置的主要结构的方框图。
图12是表示实施方式3的可扩展解码装置的主要结构的方框图。
图13是表示实施方式3的解码处理的一系列步骤的流程图。
具体实施方式
下面，参照附图详细地说明本发明的实施方式。
(实施方式1)
图1是表示本发明实施方式1的可扩展编码装置100的主要结构的方框图。可扩展编码装置100采用由核心层和扩展层两个层构成的结构，以语音帧为单位，对输入的语音信号进行可扩展编码处理。下面，以可扩展编码装置100输入第m帧(m为整数)的语音信号I(m)的情况为例进行说明。
核心层编码单元101对作为输入语音信号的核心分量的信号进行编码处理，生成核心层编码数据。作为核心分量的信号是指，例如在输入语音信号为具有7kHz带宽的宽带语音信号，而且在频带可扩展编码的情况下，从该宽带信号通过频带限制所生成的、电话带宽(3.4kHz)的信号。在解码端，即使只使用该核心层编码数据进行解码，也能够保证解码信号的某种程度的质量。核心层编码单元101使用输入语音信号I(m)进行核心层编码处理，生成第m帧的核心层编码数据Ec(m)。所生成的Ec(m)被输入到延迟单元106，还被输入到置换单元105。也就是说，被输入到置换单元105的数据为被输入到延迟单元106的数据的复制数据。另外，核心层编码单元101也可以采用通过对输入语音信号本身进行编码处理来生成核心层编码数据的结构。
扩展层编码单元102对从核心层编码单元101输入的Ec(m)进行局部解码而获得解码信号，并比较该解码信号和输入语音信号，从而把握该输入语音信号中Ec(m)未能完全表现出的其余的信号分量(例如，核心层中的编码误差信号分量，或者在频带可扩展编码的情况下的、不在核心层进行过编码的高频带信号分量等)，对该分量进行编码处理，生成扩展层编码数据。在解码 端，除了核心层编码数据之外，还利用扩展层编码数据进行解码，从而能够提高解码信号的质量。扩展层编码单元102使用输入语音信号I(m)以及从核心层编码单元101输入的Ec(m)，生成第m帧的扩展层编码数据Ee(m)。
置换判定单元103使用输入语音信号I(m)、从核心层编码单元101输入的Ec(m)以及从扩展层编码单元102输入的Ee(m)进行置换判定处理，判定是否在置换单元105中用第m帧的核心层编码数据Ec(m)置换第(m-1)帧的扩展层编码数据Ee(m-1)。置换判定单元103将表示该判定结果的置换判定标记flag(m-1)输出到置换单元105和扩展层复用单元107。
延迟单元104从扩展层编码单元102输入第m帧的扩展层编码数据Ee(m)，并输出第(m-1)帧的扩展层编码数据Ee(m-1)。也就是说，延迟单元104输出的Ee(m-1)是，使在上一帧的编码处理中从扩展层编码单元102输入的第(m-1)帧的扩展层编码数据Ee(m-1)延迟一帧，并在第m帧的编码处理中输出的帧。
置换单元105基于从置换判定单元103输入的置换判定标记flag(m-1)的值来进行置换处理。也就是说，在flag(m-1)为“0”时，将从延迟单元104输入的Ee(m-1)直接输出到扩展层复用单元107。另一方面，在flag(m-1)为“1”时，置换单元105用从核心层编码单元101输入的Ec(m)来置换从延迟单元104输入的Ee(m-1)的内容，将其输出到扩展层复用单元107。
延迟单元106从核心层编码单元101输入Ec(m)，并输出Ec(m-1)。也就是说，延迟单元106所输出的Ec(m-1)是，使在上一帧的编码处理中从核心层编码单元101输入的第(m-1)帧的核心层编码数据Ec(m-1)延迟一帧，并在第m帧的编码处理中输出的帧。
扩展层复用单元107对从置换判定单元103输入的置换判定标记flag(m-1)以及从置换单元105输入的扩展层编码数据Ee(m-1)进行复用处理。
发送单元108将从延迟单元106输入的核心层编码数据Ec(m-1)、从扩展层复用单元107输入的扩展层编码数据Ee(m-1)以及置换判定标记flag(m-1)进行复用，并发送到可扩展解码装置200(参照图4)。
如上所述，可扩展编码装置100将相对于输入语音信号I(m)延迟一帧的第(m-1)帧的核心层编码数据Ec(m-1)和扩展层编码数据Ee(m-1)，发送到可扩展解码装置200。另外，扩展层编码数据Ee(m-1)的内容是，第(m-1)帧的扩展层编码数据Ee(m-1)本身，或者是第m帧的核心层编码数据Ec(m)。 也就是说，将第(m-1)帧假设为当前帧时，第m帧为未来帧，可扩展编码装置100用未来帧的核心层编码数据的复制数据来置换当前帧的扩展层编码数据，并传输到可扩展解码装置200。换言之，将第(m)帧假设为当前帧时，第(m-1)帧为先前帧，可扩展编码装置100用当前帧的核心层编码数据的复制数据来置换先前帧的扩展层编码数据，并传输到可扩展解码装置200。
图2是表示置换判定单元103的置换判定处理的步骤的流程图。
在步骤(以下简称为“ST”)2001中，置换判定单元103对输入语音信息进行分析，计算输入语音信号的功率、基音分析参数(基音周期、基音预测增益)和LPC(线性预测系数)频谱等特性参数的变化程度。例如，以帧为单位，计算输入语音信号的功率和先前帧的输入语音信号的功率之间的差，将其作为表示输入语音信号的变化程度的参数。
在ST2002中，置换判定单元103判定在ST2001中计算出的输入语音信号的变化程度是否为规定值以上。在丢失语音信号的上升沿或无声非稳定子音部分等非稳定信号中的、与先前帧相比信号的变化较大的帧时，解码端不能使用先前帧的编码数据进行规定等级以上的质量的差错补偿。因此，输入语音信号的变化程度在规定值以上时(ST2002：“是”)，判定为解码端不能使用先前帧的编码数据来进行规定等级以上的质量的差错补偿，置换判定单元103进至ST2006的处理。另一方面，输入语音信号的变化程度不在规定值以上时(ST2002：“否”)，置换判定单元103进至ST2003的处理。
在ST2003中，置换判定单元103计算只进行了核心层编码处理时的编码失真，以及进行了直至扩展层编码处理为止时的编码失真。
在ST2004中，置换判定单元103判定基于扩展层编码处理的解码信号的质量改善程度是否为规定等级以下。具体而言，在ST2003中计算出的两种编码失真之间的差为规定值以下时，判定基于扩展层编码处理的解码信号的质量改善程度为规定等级以下(ST2004：“是”)。此时，置换判定单元103进至ST2006。另一方面，基于扩展层编码处理的解码信号的质量改善程度不是规定等级以下时(ST2004：“否”)，置换判定单元103进至ST2005的处理。
在ST2005中，置换判定单元103将置换判定标记flag(m-1)设定为表示“ 不进行置换”的“0”。在ST2006中，置换判定单元103将置换判定标记flag(m-1)设定为表示“进行置换”的“1”。
如上所述，作为是否用下一帧的核心层编码数据Ec(m-1)置换扩展层编 码数据Ee(m)的判定条件，在丢失了第m帧的编码数据时，置换判定单元103判断解码端是否能够使用先前帧的编码数据进行规定等级以上的质量的差错补偿，或者第(m-1)帧的、基于扩展层编码处理的解码信号的质量改善程度是否为规定等级以下。
图3是用于说明在可扩展编码装置100中的将扩展层编码数据置换为核心层编码数据的细节的图。这里，以对第(m-3)至第(m+1)帧的输入语音信号的处理为例进行说明。
在该图中，第一行(第一段)表示每个帧的输入语音信号，第二行和第三行分别表示由核心层编码单元101生成的核心层编码数据，和由扩展层编码单元102生成的扩展层编码数据。
第四行和第五行分别表示，在假设未设置置换单元105的情况下，发送单元108传输到可扩展解码装置200的核心层编码数据和扩展层编码数据。如图所示，发送单元108向可扩展解码装置200传输的编码数据为，核心层编码单元101和扩展层编码单元102在上一帧的编码处理中生成的编码数据。
第六行为置换判定标记的值，表示置换判定单元103的判定结果。第七行和第八行分别表示，在置换单元105基于置换判定标记的值来进行置换处理的情况下，发送单元108向可扩展解码装置200传输的核心层编码数据和扩展层编码数据。如图示，在置换判定标记flag(m-1)为“1”时，Ee(m-1)被置换为Ec(m)。如图中的箭头所示，置换的结果，第八行第二列的数据与第七行第三列的数据相同，第八行第四列的数据与第七行第五列的数据相同。也就是说，在置换判定单元103判定为需要将Ec(m)作为备份预先传输到可扩展解码装置200时，置换单元105进行用Ec(m)置换Ee(m-1)的处理。
图4是表示可扩展解码装置200的主要结构的方框图。可扩展解码装置200采用由核心层和扩展层两个层构成的结构。下面说明可扩展解码装置200从可扩展编码装置100接收第n帧的编码数据，并进行解码处理的情况。其中，n和m的关系为“n＝m-1”。
接收单元201从可扩展编码装置100接收编码数据，该编码数据为将核心层编码数据Ec(n)、扩展层编码数据Ee(n)和置换判定标记flag(n)进行复用所得的编码数据。
扩展层解复用单元202对从接收单元201输入的、复用了扩展层编码数据Ee(n)和置换判定标记flag(n)的数据进行解复用处理，将扩展层编码数据 Ee(n)和置换判定标记flag(n)分离。
切换单元203基于从扩展层解复用单元202输入的置换判定标记flag(n)的值，判定从扩展层解复用单元202输入的扩展层编码数据Ee(n)的内容是Ee(n)本身，还是下一帧的核心层编码数据Ec(n+1)。切换单元203基于该判定结果，在置换判定标记flag(n)为“1”时，将核心层编码数据Ec(n+1)输出到延迟单元204，在置换判定标记flag(n)为“0”时，将扩展层编码数据Ee(n)输出到扩展层解码单元206。
延迟单元204从切换单元203输入第(n+1)帧的核心层编码数据Ec(n+1)，并输出第n帧的核心层编码数据Ec(n)。也就是说，延迟单元204所输出的Ec(n)是，使在上一帧的解码处理中从切换单元203输入的第n帧的核心层编码数据Ec(n)延迟一帧，并在第(n+1)帧的解码处理中输出的帧。
核心层解码单元205基于从分组丢失检测单元(未图示)输入的分组丢失标记，在没有分组丢失时，使用从接收单元201输入的核心层编码数据Ec(n)以及从扩展层解复用单元202输入的置换判定标记flag(n)来进行解码处理，生成核心层解码信号Dc(n)。另外，在发生分组丢失时，核心层解码单元205使用从延迟单元204输入的核心层编码数据Ec(n)以代替从接收单元201输入的核心层编码数据Ec(n)，进行解码处理。核心层解码单元205中的处理的细节将在后面描述。
扩展层解码单元206基于从分组丢失检测单元(未图示)输入的分组丢失标记，在没有分组丢失时，使用从切换单元203输入的扩展层编码数据Ee(n)、从扩展层解复用单元202输入的置换判定标记flag(n)、从核心层解码单元205输入的核心层编码单元Ec(n)以及从核心层解码单元205输入的核心层解码信号Dc(n)进行解码处理，输出扩展层解码信号De(n)。另外，在发生分组丢失时，扩展层解码单元206使用以前接收到的扩展层编码数据和由核心层解码单元205生成的补偿数据进行差错补偿。
图5是表示核心层解码单元205和扩展层解码单元206中的差错补偿处理和解码处理的步骤的流程图。
在ST5001中，核心层解码单元205基于分组丢失标记，判定是否丢失了第n帧的编码数据。在判定为没有丢失帧时(ST5001：“否”)，核心层解码单元205进至ST5002的处理，在判定为丢失了帧时(ST5001：“是”)，进至ST5006。
在ST5002中，核心层解码单元205使用从接收单元201输入的核心层编码数据Ec(n)进行核心层解码处理，生成核心层解码信号Dc(n)。
在ST5003中，扩展层解码单元206判定，置换判定标记flag(n)是否为“1”。在ST5003中，在判定置换判定标记flag(n)的值为“1”时(ST5003：“是”)，扩展层解码单元206进至ST5005的处理，而在判定置换判定标记flag(n)的值为“0”时(ST5003：“否”)，进至ST5004。
在ST5004中，扩展层解码单元206使用扩展层编码数据Ee(n)进行扩展层解码处理，生成扩展层解码信号De(n)。
在ST5005中，因为没有从切换单元203输入扩展层编码数据Ee(n)，所以扩展层解码单元206使用核心层编码数据Ec(n)、核心层解码信号Dc(n)、在上一帧的解码处理中接收到的第(n-1)帧的扩展层编码数据Ee(n-1)以及第(n-1)帧的扩展层解码信号De(n-1)进行差错补偿处理和解码处理，生成第n帧的扩展层解码信号De(n)。
在ST5006中，核心层解码单元205判定上一帧的置换判定标记flag(n-1)的值是否为“1”。在判定flag(n-1)的值为“1”时(ST5006：“是”)，可以判定在上一帧的解码处理中接收到的第(n-1)帧的扩展层编码数据Ee(n-1)的内容为第n帧的核心层编码数据Ec(n)。因此，核心层解码单元205进至ST5007的处理。
在ST5007中，核心层解码单元205使用在上一帧的解码处理中接收到的第n帧的核心层编码数据Ec(n)进行核心层解码处理，生成核心层解码信号Dc(n)。
在ST5008中，扩展层解码单元206使用核心层解码信号Dc(n)、上一帧即第(n-1)帧的扩展层编码数据Ee(n-1)以及扩展层解码信号De(n-1)进行差错补偿处理和解码处理，生成第n帧的扩展层解码信号De(n)。
另一方面，在ST5006中判定为flag(n-1)的值为“0”时(ST5006：“否”)，可以判定在上一帧的解码处理中接收到的第(n-1)帧的扩展层编码数据Ee(n-1)的内容不是第n帧的核心层编码数据Ec(n)而是Ee(n-1)本身，所以核心层解码单元205进至ST5009的处理。
在ST5009中，核心层解码单元205使用上一帧即第(n-1)帧的核心层编码数据Ec(n-1)以及核心层解码信号Dc(n-1)进行差错补偿处理和解码处理，生成第n帧的核心层解码信号Dc(n)。
在ST5010中，扩展层解码单元206使用上一帧即第(n-1)帧的核心层编码数据Ec(n-1)、核心层解码信号Dc(n-1)、扩展层编码数据Ee(n-1)以及扩展层解码信号De(n-1)进行差错补偿处理和解码处理，生成第n帧的扩展层解码信号De(n)。
图6是用于说明可扩展解码装置200中的解码处理的图。这里与图3不同的方面在于，使用基本上与图3所示的数据相同的数据，但追加表示可扩展解码装置200接收的编码数据，并区别地表示由于分组丢失而丢失的帧。也就是说，第九行表示可扩展解码装置200接收的核心层编码数据，第十行表示可扩展解码装置200接收的扩展层编码数据。另外，这里表示丢失了第(m-3)帧和第m帧的编码数据的例子。
在使用图6所示的数据时，核心层解码单元205和扩展层解码单元206中的解码处理的步骤如下。
在可扩展解码装置200接收第(m-4)帧或第(m-2)帧的编码数据时，按照ST5001、ST5002、ST5003和ST5004的步骤进行解码处理。
在可扩展解码装置200接收第(m-1)帧的编码数据时，按照ST5001、ST5002、ST5003和ST5005的步骤进行差错补偿处理和解码处理。
在可扩展解码装置200接收第(m-3)帧的编码数据时，按照ST5001、ST5006、ST5009和ST5010的步骤进行差错补偿处理和解码处理。
在可扩展解码装置200接收第m帧的编码数据时，按照ST5001、ST5006、ST5007和ST5008的步骤进行差错补偿处理和解码处理。
这样，根据本实施方式，可扩展编码装置100对各个帧判定是否有必要将核心层编码数据的备份预先传输到可扩展解码装置200，对于判定为有必要的特定的帧，用核心层编码数据置换该帧(当前帧)的上一帧(先前帧)的扩展层编码数据。
也就是说，在不能使用先前帧的编码数据来进行规定等级以上的质量的差错补偿时，或者在先前帧中，基于扩展层编码处理的解码信号的质量改善程度为规定等级以下时，可扩展编码装置100用核心层编码数据置换先前帧的扩展层编码数据，并传输到可扩展解码装置200。因此，在可扩展层解码装置200由于帧丢失而不能接收当前帧的编码数据时，能够使用在先前帧的解码处理中接收到的当前帧的核心层编码数据进行解码处理，因此能够抑制解码信号的质量劣化而不增加比特率。
另外，可扩展编码装置100对于被判定为没有必要将未来帧的核心层编码数据作为备份预先传输到可扩展解码装置200的帧，不用下一帧的核心层编码数据(未来帧的数据)来置换扩展层编码数据(当前帧的数据)，而将其直接传输到可扩展解码装置200。因此，可扩展解码装置200在没有发生帧丢失时，能够使用当前帧的编码数据来进行从核心层到扩展层的解码处理，所以能够提高解码信号的质量。
另外，在本实施方式中，以下述情况为例，只要满足了ST2002或ST2004的任何一个判定条件，置换判定单元103就判定为进行编码数据的置换，但是也可以只在同时满足这两个条件时，才判定为进行编码数据的置换。
另外，在本实施方式中，以下述情况为例，为了判定解码端是否能够使用先前帧的编码数据进行规定等级以上的质量的差错补偿，置换判定单元103判定输入语音信号的变化程度是否为规定值以上(ST2002)，但是也可以置换判定单元103假设由于分组丢失而丢失了帧，通过实际地使用先前帧的编码数据来进行差错补偿处理和解码处理而进行判定。也就是说，在表示所生成的解码信号与输入语音信号之间的误差的大小的数值为规定值以上时，即误差大到规定值以上时，进至ST2006的处理，而误差不到规定值以上时，进至ST2005的处理。
另外，在本实施方式中以下述情况为例，为了判定基于扩展层编码处理的解码信号质量改善程度，在置换判定处理的ST2003中，计算只进行了核心层编码处理时的编码失真以及进行了直至扩展层编码处理为止时的编码失真，但是也可以计算SNR(SignaltoNoiseRatio：信噪比)以代替编码失真。此时，在ST2004中，置换判定单元103判定在ST2003中所计算出的两个SNR之间的差是否为规定值以下即可。
另外，在本实施方式中以下述情况为例，为了判定基于扩展层编码处理的解码信号的质量改善程度，计算只进行了核心层编码处理时的编码失真与进行了直至扩展层编码处理为止时的编码失真之间的差(ST2003和ST2004)，但在可扩展编码装置100为实现频带可扩展性的装置时，也可以计算输入语音信号的频带的偏差，即，作为核心层编码单元101的处理对象的低频带信号的能量与全频带信号的能量之比率。
另外，在本实施方式中，以在置换判定单元103中使用输入语音信号I(m)、核心层编码数据Ec(m)、以及扩展层编码数据Ee(m)的情况为例进行说 明，但是，除了Ec(m)和Ee(m)以外，还可以使用由核心层编码和扩展层编码所获得的解码语音信号以及在编码处理过程中所获得的参数，或者也可以使用由核心层编码和扩展层编码所获得的解码语音信号以及在编码处理过程中所获得的参数，代替Ec(m)和Ee(m)。
另外，在本实施方式中，以下述情况为例，在解码处理的ST5005(扩展层差错补偿处理和解码处理)中，使用核心层解码信号Dc(n)和扩展层解码信号De(n-1)，但也可以使用在第n帧的核心层解码处理中所获得的解码参数，以及在第(n-1)帧的扩展层解码处理中所获得的解码参数而不是Dc(n)和De(n-1)。同样地，在ST5008、ST5009和ST5010中，也可以使用解码参数代替解码信号来进行差错补偿处理和解码处理。
另外，在本实施方式中以下述情况为例，可扩展编码装置100和可扩展解码装置200都采用由两个层构成的结构，但是不限于此，也可以采用由三层以上的层构成的结构。
另外，在本实施方式中，以下述情况为例，可扩展编码装置100将相对于输入语音信号延迟一帧的编码数据发送到解码端，但不限于此，也可以将延迟两帧以上的编码数据发送到解码端。也就是说，可以使用两帧以上之后的帧的核心层编码数据来置换扩展层编码数据。由此，即使发生突发性的分组丢失而连续地丢失两帧以上的帧时，也能够进行规定等级以上的质量的差错补偿处理和解码处理。
另外，在本实施方式中，以下述情况为例，可扩展编码装置1 00所生成的核心层编码数据Ec(m)的比特数与扩展层编码数据Ee(m-1)的比特数相同，但是在扩展层编码数据Ee(m-1)的比特数大于核心层编码数据Ec(m)的比特数时，用Ec(m)置换Ee(m-1)的一部分即可。此时，在Ee(m-1)中未被置换的其余的部分，可以在可扩展解码装置200的解码处理中使用，也可以不使用。
(实施方式2)
图7是表示本发明实施方式2的可扩展编码装置300的主要结构的方框图。可扩展编码装置300具有与实施方式1的可扩展编码装置100(参照图1)相同的基本结构，对相同的结构要素附加相同的标号，并省略其说明。可扩展编码装置300与可扩展编码装置1 00不同的方面在于，还具有提取单元309。另外，可扩展编码装置300的置换单元305的一部分处理与可扩展编码装置 100的置换单元105的处理不同，因此附加不同的标号来表示。
提取单元309在从核心层编码单元101输入的Ec(m)中，提取对编码质量的贡献较大的部分而生成提取核心层编码数据Eca(m)。例如，在采用CELP(CodeExcitedLinearPrediction：码激励线性预测)编码方式时，从Ec(m)中提取LPC(线性预测系数)参数、自适应码本延迟和增益。
置换单元305在从置换判定单元103输入的置换判定标记flag(m-1)的值为“0”时，将从延迟单元104输入的Ee(m-1)直接输出到扩展层复用单元107。另一方面，在flag(m-1)为“1”时，置换单元305用从提取单元309输入的提取核心层编码数据Eca(m)置换从延迟单元104输入的Ee(m-1)的一部分，将其输出到扩展层复用单元107。
图8是用于说明下述处理的图，在可扩展编码装置300中，将第(m-1)帧的扩展层编码数据Ee(m-1)的一部分置换为提取核心层编码数据Eca(m)的处理。
这里，以下述情况为例进行说明：帧长度为20ms，核心层编码数据的比特率为8kbps(160比特/帧)，扩展层编码数据的比特率为4kbps(80比特/帧)。提取单元309从160比特的Ec(m)中，将提取核心层编码数据Eca(m)提取。也就是说，在采用CELP编码方式时，从Ec(m)中提取LPC参数、自适应码本延迟和增益。所提取的Eca(m)例如为3kbps(60比特/帧)时，置换单元305以1kbps(20比特/帧)提取扩展层编码数据Ee(m-1)中对编码质量的贡献较大的部分即提取扩展层编码数据Eea(m-1)。Eea(m-1)的比特数即20比特(每帧)为，Ee(m-1)的比特数即80比特(每帧)与Eca(m)的比特数即60比特(每帧)之间的差。置换单元305用Eca(m)来置换在Ee(m-1)中除Eea(m-1)以外的部分。因此，置换单元305输出到扩展层复用单元107的数据为，由Eea(m-1)和Eca(m)构成的组。这里，在置换单元305中的Eea(m-1)的提取方法与在提取单元309中的Eca(m)的提取方法相同。
如上所述，在实施方式1中，使用第m帧的整个核心层编码数据置换第(m-1)帧的扩展层编码数据，相对于此，在本实施方式中，使用第m帧的核心层编码数据Ec(m)的一部分置换第(m-1)帧的扩展层编码数据Ee(m-1)的一部分。
图9是表示本实施方式的可扩展解码装置400的主要结构的方框图。
可扩展解码装置400具有与实施方式1的可扩展解码装置200(参照图4) 相同的基本结构，对相同的结构要素附加相同的标号，并省略其说明。可扩展解码装置400的切换单元403、核心层解码单元405和扩展层解码单元406的一部分处理分别与可扩展解码装置200的切换单元203、核心层解码单元205和扩展层解码单元206的处理不同，所以附加不同的标号来表示。
切换单元403基于从扩展层解复用单元202输入的置换判定标记flag(n)的值，判定从扩展层解复用单元202输入的扩展层编码数据Ee(n)的内容是Ee(n)本身，还是由提取扩展层编码数据Eea(n)和下一帧的提取核心层编码数据Eca(n+1)构成的组而切换输出目的地。具体而言，在置换判定标记flag(n)为“1”时，切换单元403将Eca(n+1)输出到延迟单元204，将Eea(n)输出到扩展层解码单元406。另一方面，在置换判定标记flag(n)为“0”时，切换单元403将扩展层编码数据Ee(n)输出到扩展层解码单元406。
关于核心层解码单元405与扩展层解码单元406之间，以及可扩展解码装置200的核心层解码单元205与扩展层解码单元206之间的处理上的不同之处，使用图10的流程图进行说明。
图10是表示核心层解码单元405和扩展层解码单元406中的差错补偿处理和解码处理的步骤的流程图。该图具有与用于说明实施方式1的核心层解码单元205和扩展层解码单元206中的差错补偿处理和解码处理的流程图(图5)基本上相同的步骤，对相同的步骤附加相同的标号并省略其说明。在图10中，与图5不同的步骤是ST9005和ST9007。
在可扩展编码装置300中，因为不是用下一帧的核心层编码数据置换第n帧的整个扩展层编码数据Ee(n)，而是Eea(n)的部分不被置换就传输到可扩展解码装置400，所以在ST9005中，扩展层解码单元406使用Eea(n)进行扩展层解码处理，生成扩展层解码信号De(n)。
在ST9007中，核心层解码单元405使用在上一帧的解码处理中所接收到的提取核心层编码数据Eca(n)进行核心层解码处理，生成核心层解码信号Dc(n)。
这样，根据本实施方式，在编码端使用下一帧的核心层编码数据中限定在对编码质量的贡献较大的部分的数据，置换扩展层编码数据的一部分，而不是整个扩展层编码数据，从而在解码端能够使用扩展层编码数据中的未被置换的部分的数据进行扩展层解码。因此，能够提高解码信号的质量。另外，将用于置换的核心层编码数据限定在对编码质量的贡献较大的部分，因此， 即使在核心层编码的比特率大于扩展层编码的比特率时，也能够适用本实施方式而抑制解码信号的劣化
另外，在本实施方式中，以在编码端只对扩展层编码数据的一部分进行置换而不对整个扩展层编码数据进行置换的结构为例进行了说明，但也可以使用在下一帧的核心层编码数据中被限定为对编码质量的贡献较大的部分的数据置换整个扩展层编码数据。
另外，在本实施方式中，以下述情况为例：在解码处理的ST9005中，扩展层解码单元406使用Eea(n)来进行扩展层解码处理，但也可以除了Eea(n)以外，还使用第(n-1)帧的扩展层编码数据Ee(n-1)和扩展层解码信号De(n-1)进行解码处理。
另外，在本实施方式中，以提取单元309对所有帧采用相同的提取方法的情况为例，但也可以适合各个帧而采用不同提取方法，并将有关所采用的提取方法的信息向可扩展解码装置400另行发送。由此，能够进一步抑制在可扩展解码装置400中生成的解码信号的质量劣化。
(实施方式3)
在实施方式1和2中，在编码端用下一帧(或下一帧以后的帧)的核心层复制数据置换当前帧的扩展层编码数据。因此，在编码端多延迟一帧(或一帧以上)。另一方面，在本实施方式中采用下述结构：在编码端用当前帧之前的帧的核心层复制数据置换当前帧的扩展层编码数据。通过采用该结构，在编码端不发生多余的延迟，取而代之，在解码端多延迟一帧。
图1 1是表示本发明实施方式3的可扩展编码装置500的主要结构的方框图。可扩展编码装置500具有与实施方式2所示的可扩展编码装置300(参照图7)部分相同的结构，对相同的结构要素附加相同的标号，并省略其说明。
比较可扩展编码装置500与可扩展编码装置300，较大的不同是，延迟单元104和106被删除，取代为追加了延迟单元501。下面进行详细说明。
核心层编码单元101的输出即第m帧的核心层编码数据Ec(m)被直接输出到发送单元108。另外，扩展层编码单元102的输出即第m帧的扩展层编码数据Ee(m)被直接输出到置换单元502。还有，提取单元309的输出即提取核心层编码数据Eca(m)通过了延迟单元501而被延迟一帧，作为第m-1帧的提取核心层编码数据Eca(m-1)被输出到置换单元502。
置换判定单元503使用输入语音信号、从核心层编码单元101输入的核 心层编码数据以及从扩展层编码单元102输入的扩展层编码数据进行置换判定处理，判定是否在置换单元502中用第m-1帧的核心层编码数据Ec(m-1)的一部分置换第m帧的扩展层编码数据Ee(m)的一部分。具体而言，在丢失了第m-1帧的编码数据时，置换判定单元503判断解码端是否不能用先前帧的编码数据对该第m-1帧的解码信号进行规定等级以上的质量的差错补偿，或者第m帧的基于扩展层编码处理的解码信号的质量改善程度是否为规定等级以下，在符合这些判定条件时，置换判定单元503判定为进行上述置换。置换判定单元503将表示第m帧的判定结果的置换判定标记flag(m)输出到置换单元502和扩展层复用单元107。
在从置换判定单元503输入的置换判定标记flag(m)的值为“0” 时，也就是被判定为不进行置换时，置换单元502将Ee(m)直接输出到扩展层复用单元107。另一方面，在flag(m)为“1”时，也就是判定为进行置换时，置换单元502用提取核心层编码数据Eca(m-1)来置换Ee(m)的一部分，将其输出到扩展层复用单元107。
在扩展层复用单元107中，将置换判定标记flag(m)与扩展层编码数据Ee(m)进行复用，通过发送单元108将其发送到解码端。
另外，这里，假设以下结构进行了说明：可扩展编码装置500在置换判定标记flag(m)为“1”时，在置换单元502中用提取核心层编码数据Eca(m-1)置换扩展层编码数据Ee(m)的一部分，该提取核心层编码数据Eca(m-1)为，由提取单元309从核心层编码数据Ec(m)中提取出后被延迟的数据。但是还可以采用如下结构，即，用数据Ec(m-1)置换Ee(m)的一部分或全部的结构，所述数据Ec(m-1)为，并非提取出一部分数据而使整个核心层编码数据Ec(m)延迟一帧所得的数据。
另外，这里，假设以下结构进行了说明：在置换判定标记flag(m)为“1”时，在置换单元502中用提取核心层编码数据Eca(m-1)置换由扩展层编码单元102中进行了编码的扩展层编码数据Ee(m)的一部分。但是，在置换判定标记flag(m)为“1”时，也可以在扩展层编码单元102中，与flag(m)为 “0”时相比，以减少了相当于提取核心层编码数据Eca(m-1)的比特数的编码比特数进行扩展层编码，并将由该结果获得的扩展层编码数据Eep(m)和提取核心层编码数据Eca(m-1)输出到扩展层复用单元107。
另外，这里，假设以下结构进行了说明：只在置换判定单元503的判定 的结果，即置换判定标记flag(m)为“1”的情况下，在置换单元502中用提取核心层编码数据Eca(m-1)置换Ee(m)的一部分，但也可以是，无论置换判定单元503的判定结果如何，总是在置换单元502中用提取核心层编码数据Eca(m-1)置换Ee(m)的一部分。
接着，说明与可扩展编码装置500对应的、本实施方式的可扩展解码装置600。
图12是表示可扩展解码装置600的主要结构的方框图。另外，对与在实施方式2所示的可扩展解码装置400(参照图9)相同的结构要素附加相同的标号，并省略其说明。另外，这里，以接收从可扩展编码装置500发送的第n帧的编码数据，并进行解码处理的情况为例进行说明。n和m的关系为“n＝m”。
切换单元403a基于从扩展层解复用单元202输入的置换判定标记flag(n)的值，判断从扩展层解复用单元202输入的扩展层编码数据Ee(n)的内容是Ee(n)本身，还是由提取扩展层编码数据Eea(n)和上一帧的提取核心层编码数据Eca(n-1)构成的组而切换输出目的地。具体而言，切换单元403a在置换判定标记flag(n)为“1”时，将由Eea(n)与Eca(n-1)构成的组输出到前帧核心层解码单元601和扩展层解码单元406。另一方面，在置换判定标记flag(n)为“0”时，切换单元403a将扩展层编码数据Ee(n)输出到扩展层解码单元406。
核心层解码单元405基于分组丢失标记来切换处理，在第n帧中没有分组丢失时，使用核心层编码数据Ec(n)来进行解码处理。另一方面，在第n帧中发生了分组丢失时，使用以前接收到的核心层编码数据来进行差错补偿处理，生成核心层解码信号Dc(n)。
前帧核心层解码单元601使用分组丢失标记和置换判定标记flag(n)，判断是否在第n-1帧中发生了分组丢失且在编码数据中对其一部分进行了置换，在符合该条件时，使用从切换单元403a输入的第n-1帧的提取核心层编码数据Eca(n-1)、从核心层解码单元405输入的第n帧的核心层编码数据以及同样地从核心层解码单元405输入的第n帧之前的核心层编码数据，生成第n-1帧的核心层解码信号Dc_r(n-1)。
延迟单元602使从核心层解码单元405输出的第n帧的核心层解码信号Dc(n)延迟一帧，使其为第n-1帧的解码信号Dc(n-1)后，将其输出到选择单元603。
在从前帧核心层解码单元601输出核心层解码信号Dc_r(n-1)时，选择单元603将该信号作为核心层解码信号而输出，否则，即，在从延迟单元602输出核心层解码信号Dc(n-1)时，选择单元603将其作为解码信号而输出。
扩展层解码单元406基于分组丢失标记来切换处理，在没有分组丢失时进行通常的解码处理而输出扩展层解码信号De(n)。另外，在发生分组丢失时，使用以前接收到的扩展层编码数据和在核心层解码单元405生成的补偿数据进行差错补偿。更详细地说，通常的解码处理为，使用从切换单元403a输入的扩展层编码数据Ee(n)或提取扩展层编码数据Eea(n)、从扩展层解复用单元202输入的置换判定标记flag(n)、从核心层解码单元405输入的核心层编码数据Ec(n)以及从核心层解码单元405输入的核心层解码信号Dc(n)，进行解码处理。
前帧扩展层解码单元604基于分组丢失标记和置换判定标记flag(n)，判断是否在第n-1帧中发生了分组丢失且在编码数据中对其一部分进行了置换，在符合该条件时，使用从前帧核心层解码单元601输入的第n-1帧的核心层编码数据、核心层解码信号、从扩展层解码单元406输入的第n帧的扩展层编码数据以及同样地从扩展层解码单元406输入的第n帧之前的扩展层编码数据，进行扩展层的差错补偿，生成扩展层解码信号De_r(n-1)。
延迟单元605使从扩展层解码单元406输出的第n帧的扩展层解码信号De(n)延迟一帧，使其为第n-1帧的解码信号De(n-1)后，将其输出到选择单元606。
在从前帧扩展层解码单元604输出扩展层解码信号De_r(n-1)时，选择单元606将该信号作为扩展层解码信号而输出，否则，即，在从延迟单元605输出扩展层解码信号De(n-1)时，选择单元606将其作为解码信号而输出。
图13是表示本实施方式的可扩展解码装置600的上述解码处理的一系列步骤的流程图。
首先，可扩展解码装置600在核心层解码单元405和扩展层解码单元406中，基于分组丢失标记，判定是否丢失了第n帧的编码数据(ST3010)。
在ST3010中，判定为在第n帧的编码数据中有丢失时，在核心层解码单元405中使用第n-1帧的核心层编码数据Ec(n-1)和核心层解码信号Dc(n-1)进行差错补偿处理和解码处理，生成第n帧的核心层解码信号Dc(n)(ST3020)。另外，在扩展层解码单元406中，使用第n-1帧的核心层编 码数据Ec(n-1)、核心层解码信号Dc(n-1)、扩展层编码数据Ee(n-1)以及扩展层解码信号De(n-1)进行差错补偿处理和解码处理，生成第n帧的扩展层解码信号De(n)(ST3030)。
由核心层解码单元405生成、经由延迟单元602的第n-1帧即上一帧的核心层解码信号Dc(n-1)，以及由扩展层解码单元406生成、经由延迟单元605的第n-1帧的扩展层解码信号De(n-1)分别被输出(ST3040)。
另一方面，在ST3010中，判断为在第n帧的编码数据中没有丢失时，可扩展解码装置600在核心层解码单元405中使用第n帧的核心层编码数据Ec(n)进行核心层解码处理，生成第n帧的核心层解码信号Dc(n)(ST3050)。
接着，在扩展层解码单元406中，判定第n帧的置换判定标记flag(n)是否为“1”(ST3060)。
在ST3060中，置换判定标记flag(n)的值为“0”时，也就是“不进行置换”时，在扩展层解码单元406中使用第n帧的扩展层编码数据Ee(n)进行扩展层解码处理，生成第n帧的扩展层解码信号De(n)(ST3070)。
由核心层解码单元405生成、经由延迟单元602的第n-1帧的核心层解码信号Dc(n-1)，以及由扩展层解码单元406生成、经由延迟单元605的第n-1帧的扩展层解码信号De(n-1)分别被输出(ST3080)。
另一方面，在ST3060中，置换判定标记flag(n)的值为“1”时，也就是“进行置换”时，在扩展层解码单元406中使用第n帧的提取扩展层编码数据Eea(n)进行扩展层解码处理，生成第n帧的扩展层解码信号De(n)(ST3090)。
此时，在前帧核心层解码单元601中，还判定是否丢失了第n-1帧的编码数据(ST3100)。
在ST3100中判定为在第n-1帧的编码数据中没有丢失时，分别输出由核心层解码单元405生成、经由延迟单元602的第n-1帧的核心层解码信号Dc(n-1)，以及由扩展层解码单元406生成、经由延迟单元605的第n-1帧的扩展层解码信号De(n-1)(ST3110)。
在ST3100中，判定为在第n-1帧的编码数据中有丢失时，在前帧核心层解码单元601中，使用第n-1帧的提取核心层编码数据Eca(n-1)生成第n-1帧的核心层解码信号Dc_r(n-1)。另外，在前帧扩展层解码单元604中，使用由扩展层解码单元406对第n-1帧的扩展层补偿处理所生成的补偿数据，生成第n-1帧的扩展层解码信号De_r(n-1)。所生成的核心层解码信号 Dc_r(n-1)和扩展层解码信号De_r(n-1)分别通过选择单元603和606，作为第n-1帧的解码信号而被输出(ST3120)。
另外，这里，以从核心层解码单元405输入在前帧核心层解码单元601的解码处理中所需的解码状态的数据的情况为例进行说明，但也可以在前帧核心层解码单元601和核心层解码单元405之间相互输入或输出在双方的解码处理的过程中需要使用或更新的解码状态的数据。同样，也可以在前帧扩展层解码单元604和扩展层解码单元406之间相互输入或输出双方的解码状态的数据。
另外，第n-1帧的扩展层解码信号De_r(n-1)，也可以为与第n-1帧的低层解码信号Dc_r(n-1)相同的信号，该Dc_r(n-1)为，在前帧核心层解码单元601中使用第n-1帧的提取核心层编码单元Eca(n-1)进行解码所获得的信号。
如上述说明，根据本实施方式，在编码端使用当前帧之前的帧的核心层复制数据置换当前帧的扩展层编码数据，因此在编码端不产生多余的延迟，取代为在解码端多延迟一帧。
因此，本实施方式最适合于以下说明的情况。即，在采用CELP编码作为核心层编码，并且采用其变换长度为编码帧的两倍的MDCT(改进离散余弦变换)作为变换编码时，在可扩展解码装置中，与核心层的解码处理相比，在扩展层的解码处理中多产生一帧延迟。也就是说，扩展层的编解码处理所需的算法的延迟必然大于核心层的编解码处理所需的算法的延迟。
此时，根据本实施方式的结构，通过将在解码端产生的多余的延迟纳入扩展层的解码处理中由原来必要的算法所引起的一帧的延迟范围内，从而在表面上能够抑制延迟的产生的、例如，在上述情况下，在可扩展解码装置600的扩展层解码单元406中，第n帧的解码处理的结果，必定生成并输出延迟一帧的第n-1帧的扩展层解码信号De(n-1)。因此，在上述情况下，不需要本实施方式中说明的延迟单元605。
如上所述，本实施方式最适合于，如采用CELP编码作为核心层编码，并且采用变换编码作为扩展层编码的情况那样的、扩展层的编解码处理所需的算法的延迟大于核心层的编解码处理所需的算法的延迟的情况。
以上，说明了本发明的各个实施方式。
本发明的可扩展编码装置、可扩展解码装置以及其方法不限于上述各个 实施方式，能够进行各种变更而实施。
本发明的可扩展编码装置和可扩展解码装置能够装载于移动通信系统中的通信终端装置和基站装置，由此能够提供具有与上述同样的作用效果的通信终端装置、基站装置和移动通信系统。
另外，这里，举例说明了由硬件构成本发明的情况，但本发明也可以由软件实现。例如，以编程语言描述本发明的可扩展编码方法和可扩展解码方法的算法，并通过将该程序存储于存储器，以信息处理来执行，从而能够实现与本发明的可扩展编码装置和可扩展解码装置相同的功能。
另外，用于上述各个实施方式的说明中的各功能块通常被作为集成电路的LSI来实现。这些块既可以被单独地集成为一个芯片，也可以包含一部分或全部地被集成为一个芯片。
虽然此处称为LSI，但根据集成程度，可以被称为IC、系统LSI、超大LSI(SuperLSI)、特大LSI(UltraLSI)。
另外，实现集成电路化的方法不仅限于LSI，也可以使用专用电路或通用处理器来实现。也可以使用可在LSI制造后编程的FPGA(FieldProgrammableGateArray：现场可编程门阵列)，或者可重构LSI内部的电路单元的连接和设定的可重构处理器。
再者，随着半导体的技术进步或随之派生的其它技术的出现，如果能够出现替代LSI集成电路化的新技术，当然能够利用新技术进行功能块的集成化。还存在着适用生物技术等的可能性。
本说明书是基于2005年10月14日申请的日本专利申请第2005-300777号以及2005年12月28日申请的日本专利申请第2005-379335号。其内容全部包含于此。
工业实用性
本发明的可扩展编码装置、可扩展解码装置以及其方法能够适用于语音编码等用途。
Claims (12)
1.一种可扩展语音编码装置，至少由低层和高层构成，该装置包括：
低层编码单元，进行所述低层中的编码而生成低层编码数据；
高层编码单元，进行所述高层中的编码而生成高层编码数据；
复制单元，生成所述低层编码数据中的至少一部分数据的复制数据；
判定单元，使用输入语音信号、所述低层编码数据和所述高层编码数据，将包含语音信号的上升沿部分的帧、包含无声非稳定子音部分的帧或者非稳定信号的语音帧判定为特定帧；或者将参数的变化幅度为规定等级以上的帧判定为特定帧，该参数表示输入信号的特征，该参数为语音信号的功率、基音周期、基音预测增益或线性预测编码参数；或者通过比较基于所述低层编码数据的解码数据中所包含的编码失真和基于所述低层编码数据及所述高层编码数据两者的解码数据中所包含的编码失真，判断所述高层编码数据对减少编码失真的贡献，并将该贡献为规定等级以下的帧判定为所述特定帧；或者求输入信号的低频带能量占全频带能量的比例，并将该比例为规定的等级以上的帧判定为所述特定帧；以及
置换单元，使用由所述判定单元判定出的特定帧的低层编码数据的所述复制数据，置换该特定帧之前的帧的所述高层编码数据的一部分。
2.如权利要求1所述的可扩展语音编码装置，其中，
还包括：提取单元，从所述特定帧的低层编码数据中，提取对编码质量贡献较大的一部分数据，
所述复制单元生成所述一部分数据的复制数据。
3.如权利要求2所述的可扩展语音编码装置，其中，
所述提取单元将包含线性预测编码参数、自适应码本延迟以及增益的数据作为所述一部分数据来提取。
4.如权利要求1所述的可扩展语音编码装置，其中，
所述置换单元选择不包含线性预测编码参数、自适应码本延迟和增益中的任何一个的数据作为所述高层编码数据的一部分。
5.一种可扩展语音解码装置，至少由低层和高层构成，该装置包括：
分离单元，对被输入的复用了扩展层编码数据和置换判定标记的数据进行解复用处理，从而分离出表示是否以复制数据置换高层编码数据的一部分的置换判定标记，所述复制数据是通过复制低层编码数据中的至少一部分数据而生成的；
检测单元，检测帧丢失；
低层解码单元，在检测出帧丢失时，在所述置换判定标记表示进行了所述复制数据置换的情况下，使用上一帧的解码处理中接收的低层编码数据进行解码处理，生成第一解码数据，而在所述置换判定标记表示未进行所述复制数据置换的情况下，使用在上一帧的低层编码数据和低层解码信号进行差错补偿处理和解码处理，生成第一解码数据；以及
高层解码单元，在检测出帧丢失时，在所述置换判定标记表示进行了所述复制数据置换的情况下，使用当前帧的低层解码数据、上一帧的高层编码数据和高层解码信号进行补偿处理和解码处理，生成第二解码数据，而在所述置换判定标记表示未进行所述复制数据置换的情况下，使用上一帧的低层编码数据、低层解码信号、高层编码数据和高层解码信号进行补偿处理和解码处理，生成第二解码数据。
6.如权利要求5所述的可扩展语音解码装置，其中，
所述分离单元从丢失帧之前的帧的高层编码数据中，分离所述复制数据。
7.一种通信终端装置，包括权利要求1所述的可扩展语音编码装置。
8.一种通信终端装置，包括权利要求5所述的可扩展语音解码装置。
9.一种基站装置，包括权利要求1所述的可扩展语音编码装置。
10.一种基站装置，包括权利要求5所述的可扩展语音解码装置。
11.一种可扩展语音编码方法，用于至少由低层和高层构成的可扩展编码装置，该方法包括：
低层编码步骤，进行所述低层中的编码而生成低层编码数据；
高层编码步骤，进行所述高层中的编码而生成高层编码数据；
复制步骤，生成所述低层编码数据中的至少一部分数据的复制数据；
判定步骤，使用输入语音信号、所述低层编码数据和所述高层编码数据，将包含语音信号的上升沿部分的帧、包含无声非稳定子音部分的帧或者非稳定信号的语音帧判定为特定帧；或者将参数的变化幅度为规定等级以上的帧判定为特定帧，该参数表示输入信号的特征，该参数为语音信号的功率、基音周期、基音预测增益或线性预测编码参数；或者通过比较基于所述低层编码数据的解码数据中所包含的编码失真和基于所述低层编码数据及所述高层编码数据两者的解码数据中所包含的编码失真，判断所述高层编码数据对减少编码失真的贡献，并将该贡献为规定等级以下的帧判定为所述特定帧；或者求输入信号的低频带能量占全频带能量的比例，并将该比例为规定的等级以上的帧判定为所述特定帧；以及
置换步骤，使用在判定步骤中判定出的特定帧的低层编码数据的所述复制数据，置换该特定帧之前的帧的所述高层编码数据的一部分。
12.一种可扩展语音解码方法，用于至少由低层和高层构成的可扩展解码装置，该方法包括：
分离步骤，对被输入的复用了扩展层编码数据和置换判定标记的数据进行解复用处理，从而分离出表示是否以复制数据置换高层编码数据的一部分的置换判定标记，所述复制数据是通过复制低层编码数据中的至少一部分数据而生成的；
检测步骤，检测帧丢失；
低层解码步骤，在检测出帧丢失时，在所述置换判定标记表示进行了所述复制数据置换的情况下，使用上一帧的解码处理中接收的低层编码数据进行解码处理，生成第一解码数据，而在所述置换判定标记表示未进行所述复制数据置换的情况下，使用在上一帧的低层编码数据和低层解码信号进行差错补偿处理和解码处理，生成第一解码数据；以及
高层解码步骤，在检测出帧丢失时，在所述置换判定标记表示进行了所述复制数据置换的情况下，使用当前帧的低层解码数据、上一帧的高层编码数据和高层解码信号进行补偿处理和解码处理，生成第二解码数据，而在所述置换判定标记表示未进行所述复制数据置换的情况下，使用上一帧的低层编码数据、低层解码信号、高层编码数据和高层解码信号进行补偿处理和解码处理，生成第二解码数据。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP300777/2005 | 2005-10-14 | ||
| JP2005300777 | 2005-10-14 | ||
| JP379335/2005 | 2005-12-28 | ||
| JP2005379335 | 2005-12-28 | ||
| PCT/JP2006/320444 WO2007043642A1 (ja) | 2005-10-14 | 2006-10-13 | スケーラブル符号化装置、スケーラブル復号装置、およびこれらの方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101273403A CN101273403A (zh) | 2008-09-24 |
| CN101273403B true CN101273403B (zh) | 2012-01-18 |
Family
ID=37942863
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200680035365.1A Expired - Fee Related CN101273403B (zh) | 2005-10-14 | 2006-10-13 | 可扩展编码装置、可扩展解码装置以及其方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US8069035B2 (zh) |
| EP (1) | EP1933304A4 (zh) |
| JP (1) | JP5142723B2 (zh) |
| CN (1) | CN101273403B (zh) |
| WO (1) | WO2007043642A1 (zh) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7461106B2 (en) * | 2006-09-12 | 2008-12-02 | Motorola, Inc. | Apparatus and method for low complexity combinatorial coding of signals |
| US20100076755A1 (en) * | 2006-11-29 | 2010-03-25 | Panasonic Corporation | Decoding apparatus and audio decoding method |
| US8576096B2 (en) * | 2007-10-11 | 2013-11-05 | Motorola Mobility Llc | Apparatus and method for low complexity combinatorial coding of signals |
| US8209190B2 (en) * | 2007-10-25 | 2012-06-26 | Motorola Mobility, Inc. | Method and apparatus for generating an enhancement layer within an audio coding system |
| US20090234642A1 (en) * | 2008-03-13 | 2009-09-17 | Motorola, Inc. | Method and Apparatus for Low Complexity Combinatorial Coding of Signals |
| US8639519B2 (en) * | 2008-04-09 | 2014-01-28 | Motorola Mobility Llc | Method and apparatus for selective signal coding based on core encoder performance |
| CA2721702C (en) * | 2008-05-09 | 2016-09-27 | Nokia Corporation | Apparatus and methods for audio encoding reproduction |
| JP5308519B2 (ja) * | 2008-06-24 | 2013-10-09 | テレフオンアクチーボラゲット エル エム エリクソン（パブル） | 改善されたオーディオ符号化のマルチモード方式 |
| US9387280B2 (en) * | 2008-09-05 | 2016-07-12 | Synovis Orthopedic And Woundcare, Inc. | Device for soft tissue repair or replacement |
| US8219408B2 (en) * | 2008-12-29 | 2012-07-10 | Motorola Mobility, Inc. | Audio signal decoder and method for producing a scaled reconstructed audio signal |
| US8140342B2 (en) * | 2008-12-29 | 2012-03-20 | Motorola Mobility, Inc. | Selective scaling mask computation based on peak detection |
| US8200496B2 (en) * | 2008-12-29 | 2012-06-12 | Motorola Mobility, Inc. | Audio signal decoder and method for producing a scaled reconstructed audio signal |
| US8175888B2 (en) * | 2008-12-29 | 2012-05-08 | Motorola Mobility, Inc. | Enhanced layered gain factor balancing within a multiple-channel audio coding system |
| KR101622950B1 (ko) * | 2009-01-28 | 2016-05-23 | 삼성전자주식회사 | 오디오 신호의 부호화 및 복호화 방법 및 그 장치 |
| JPWO2010103854A1 (ja) * | 2009-03-13 | 2012-09-13 | パナソニック株式会社 | 音声符号化装置、音声復号装置、音声符号化方法及び音声復号方法 |
| US8281227B2 (en) * | 2009-05-18 | 2012-10-02 | Fusion-10, Inc. | Apparatus, system, and method to increase data integrity in a redundant storage system |
| CN101989429B (zh) * | 2009-07-31 | 2012-02-01 | 华为技术有限公司 | 转码方法、装置、设备以及系统 |
| CN102081927B (zh) * | 2009-11-27 | 2012-07-18 | 中兴通讯股份有限公司 | 一种可分层音频编码、解码方法及系统 |
| US8428936B2 (en) * | 2010-03-05 | 2013-04-23 | Motorola Mobility Llc | Decoder for audio signal including generic audio and speech frames |
| US8423355B2 (en) * | 2010-03-05 | 2013-04-16 | Motorola Mobility Llc | Encoder for audio signal including generic audio and speech frames |
| CN103229234B (zh) | 2010-11-22 | 2015-07-08 | 株式会社Ntt都科摩 | 音频编码装置、方法以及音频解码装置、方法 |
| EP2645365B1 (en) * | 2010-11-24 | 2018-01-17 | LG Electronics Inc. | Speech signal encoding method and speech signal decoding method |
| US20150064142A1 (en) * | 2012-04-12 | 2015-03-05 | Harvard Apparatus Regenerative Technology | Elastic scaffolds for tissue growth |
| US9129600B2 (en) | 2012-09-26 | 2015-09-08 | Google Technology Holdings LLC | Method and apparatus for encoding an audio signal |
| JP7119537B2 (ja) * | 2018-04-24 | 2022-08-17 | 日本電信電話株式会社 | 検知システムおよび検知方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1535461A (zh) * | 2000-10-23 | 2004-10-06 | ��˹��ŵ�� | 用于语音解码器中帧差错隐藏的改善的谱参数代替 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IL120788A (en) * | 1997-05-06 | 2000-07-16 | Audiocodes Ltd | Systems and methods for encoding and decoding speech for lossy transmission networks |
| SE512719C2 (sv) * | 1997-06-10 | 2000-05-02 | Lars Gustaf Liljeryd | En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion |
| GB9820655D0 (en) * | 1998-09-22 | 1998-11-18 | British Telecomm | Packet transmission |
| DE19860531C1 (de) | 1998-12-30 | 2000-08-10 | Univ Muenchen Tech | Verfahren zur Übertragung codierter digitaler Signale |
| US6614370B2 (en) * | 2001-01-26 | 2003-09-02 | Oded Gottesman | Redundant compression techniques for transmitting data over degraded communication links and/or storing data on media subject to degradation |
| JP2003241799A (ja) * | 2002-02-15 | 2003-08-29 | Nippon Telegr & Teleph Corp <Ntt> | 音響符号化方法、復号化方法、符号化装置、復号化装置及び符号化プログラム、復号化プログラム |
| WO2003077235A1 (en) * | 2002-03-12 | 2003-09-18 | Nokia Corporation | Efficient improvements in scalable audio coding |
| KR100528325B1 (ko) * | 2002-12-18 | 2005-11-15 | 삼성전자주식회사 | 비트율 조절이 가능한 스테레오 오디오 부호화 및복호화방법 및 그 장치 |
| FR2852172A1 (fr) | 2003-03-04 | 2004-09-10 | France Telecom | Procede et dispositif de reconstruction spectrale d'un signal audio |
| KR100917464B1 (ko) * | 2003-03-07 | 2009-09-14 | 삼성전자주식회사 | 대역 확장 기법을 이용한 디지털 데이터의 부호화 방법,그 장치, 복호화 방법 및 그 장치 |
| EP1619664B1 (en) * | 2003-04-30 | 2012-01-25 | Panasonic Corporation | Speech coding apparatus, speech decoding apparatus and methods thereof |
| SE527669C2 (sv) * | 2003-12-19 | 2006-05-09 | Ericsson Telefon Ab L M | Förbättrad felmaskering i frekvensdomänen |
| JP4733939B2 (ja) * | 2004-01-08 | 2011-07-27 | パナソニック株式会社 | 信号復号化装置及び信号復号化方法 |
| ATE523876T1 (de) * | 2004-03-05 | 2011-09-15 | Panasonic Corp | Fehlerverbergungseinrichtung und fehlerverbergungsverfahren |
| EP1785984A4 (en) * | 2004-08-31 | 2008-08-06 | Matsushita Electric Ind Co Ltd | AUDIOCODING DEVICE, AUDIO DECODING DEVICE, COMMUNICATION DEVICE AND AUDIOCODING METHOD |
| DE602005009374D1 (de) * | 2004-09-06 | 2008-10-09 | Matsushita Electric Ind Co Ltd | Skalierbare codierungseinrichtung und skalierbares codierungsverfahren |
| JP4989971B2 (ja) * | 2004-09-06 | 2012-08-01 | パナソニック株式会社 | スケーラブル復号化装置および信号消失補償方法 |
| BRPI0515453A (pt) * | 2004-09-17 | 2008-07-22 | Matsushita Electric Ind Co Ltd | aparelho de codificação escalável, aparelho de decodificação escalável, método de codificação escalável método de decodificação escalável, aparelho de terminal de comunicação, e aparelho de estação de base |
| EP1801785A4 (en) * | 2004-10-13 | 2010-01-20 | Panasonic Corp | MODULAR ENCODER, MODULAR DECODER AND MODULATING CODING METHOD |
| BRPI0517780A2 (pt) * | 2004-11-05 | 2011-04-19 | Matsushita Electric Ind Co Ltd | aparelho de decodificação escalável e aparelho de codificação escalável |
-
2006
- 2006-10-13 CN CN200680035365.1A patent/CN101273403B/zh not_active Expired - Fee Related
- 2006-10-13 US US12/089,983 patent/US8069035B2/en active Active
- 2006-10-13 WO PCT/JP2006/320444 patent/WO2007043642A1/ja active Application Filing
- 2006-10-13 EP EP06811732A patent/EP1933304A4/en not_active Withdrawn
- 2006-10-13 JP JP2007539997A patent/JP5142723B2/ja not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1535461A (zh) * | 2000-10-23 | 2004-10-06 | ��˹��ŵ�� | 用于语音解码器中帧差错隐藏的改善的谱参数代替 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2007043642A1 (ja) | 2009-04-16 |
| US20090030677A1 (en) | 2009-01-29 |
| EP1933304A1 (en) | 2008-06-18 |
| JP5142723B2 (ja) | 2013-02-13 |
| CN101273403A (zh) | 2008-09-24 |
| US8069035B2 (en) | 2011-11-29 |
| EP1933304A4 (en) | 2011-03-16 |
| WO2007043642A1 (ja) | 2007-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101273403B (zh) | 可扩展编码装置、可扩展解码装置以及其方法 | |
| US11735196B2 (en) | Encoder, decoder and method for encoding and decoding audio content using parameters for enhancing a concealment | |
| CA2424202C (en) | Method and system for speech frame error concealment in speech decoding | |
| CN1961511B (zh) | 声音数据接收装置及声音数据接收方法 | |
| Atti et al. | Improved error resilience for VOLTE and VOIP with 3GPP EVS channel aware coding | |
| JPWO2007063910A1 (ja) | スケーラブル符号化装置およびスケーラブル符号化方法 | |
| CN101783142B (zh) | 转码方法、装置和通信设备 | |
| KR20070090261A (ko) | Ｌｔｐ 부호화 시스템에서 피치 래그를 결정하기 위한시스템 및 방법 | |
| JPH1022937A (ja) | 誤り補償装置および記録媒体 | |
| Kim et al. | Highly efficient audio coding with blind spectral recovery based on machine learning | |
| EP1387351B1 (en) | Speech encoding device and method having TFO (Tandem Free Operation) function |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20170522 Address after: Delaware Patentee after: III Holdings 12 LLC Address before: Osaka Japan Patentee before: Matsushita Electric Industrial Co.,Ltd. |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120118 |