CN103827964B - 编解码系统、解码装置、编码装置以及编解码方法 - Google Patents

编解码系统、解码装置、编码装置以及编解码方法 Download PDF

Info

Publication number
CN103827964B
CN103827964B CN201380002914.5A CN201380002914A CN103827964B CN 103827964 B CN103827964 B CN 103827964B CN 201380002914 A CN201380002914 A CN 201380002914A CN 103827964 B CN103827964 B CN 103827964B
Authority
CN
China
Prior art keywords
signal
encoded
coding
voice signal
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380002914.5A
Other languages
English (en)
Other versions
CN103827964A (zh
Inventor
石川智
石川智一
则松武志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN103827964A publication Critical patent/CN103827964A/zh
Application granted granted Critical
Publication of CN103827964B publication Critical patent/CN103827964B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005Correction of errors induced by the transmission channel, if related to the coding algorithm
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes

Abstract

编解码系统(300)具备:特性判定部(301),判定声音信号是语音信号还是音响信号;编码部(302),根据特性判定部(301)的判定,将声音信号编码成编码信号;传输部(304),传输编码信号;接收部(307),接收编码信号;解码部(305),对编码信号进行解码;包缺失检测部(308),检测编码信号的数据缺失,并通知给特性判定部(301),在收到了数据缺失的通知的情况下,特性判定部(301)通过控制编码部(302),使声音信号被编码成由能被独立解码的帧构成的编码信号。

Description

编解码系统、解码装置、编码装置以及编解码方法
技术领域
本发明涉及一种对音响信号或者语音信号有效率地进行编解码的编解码系统。
背景技术
现已开发出以低比特率对数字化语音信号或者音响信号(以下,也记载为声音信号)进行编码以及解码的方式。例如,具代表性的有HE-AAC(High-Efficiency AdvancedAudio Coding)方式(参照非专利文献1)和AMR-WB(Adaptive Multi-Rate Wideband)方式(参照非专利文献2)等方式。另外,近几年还开发出了可更有效率地对语音信号以及音响信号进行编码的MPEG-USAC(Unified Speech and Audio Coding)方式(非专利文献3,以下也记载为USAC)。
非专利文献1:AES Convention Paper“A closer look into MPEG-4HighEfficiency AAC”
非专利文献2:IEEE TRANSACTIONS ON AUDIO,SPEECH,AND LANGUAGEPROCESSING,VOL.15,NO.4,MAY2007“Wideband Speech Coding Advances in VMR-WBStandard”
非专利文献3:AES Convention Paper7713“A Novel Scheme for Low BitrateUnified Speech and Audio Coding-MPEG RM0”
非专利文献4:STD-B31
非专利文献5:TS26.191
在广播波和互联网等不稳定的传输线路中,在传输通过如上所述的方式对声音信号进行编码之后的信号即编码信号的情况下,有时传输线路中会发生传输错误,而会在解码侧导致构成编码信号的帧缺失。在这种情况下,有时会出现即使解码侧已能够正常接收帧,但还是难以立即进行解码的问题。
发明内容
本发明的目的在于提供一种在发生了帧缺失时能够尽快恢复解码处理的编解码系统。
为了达成所述目的,本发明的一形态的编解码系统是一种将声音信号编码为编码信号,并对所述编码信号进行解码的编解码系统,其具备:特性判定部,根据所述声音信号的音响特性来判定所述声音信号是语音信号还是音响信号;编码部,在所述特性判定部判定为所述声音信号是语音信号的情况下,通过语音信号编码处理对所述声音信号进行编码,在所述特性判定部判定为所述声音信号是音响信号的情况下,通过音响信号编码处理对所述声音信号进行编码,生成所述编码信号;传输部,传输所述编码信号;接收部,接收所述传输部传输的所述编码信号;解码部,对所述接收部接收的所述编码信号进行解码;包缺失检测部,在所述接收部接收所述编码信号时检测所述编码信号的数据缺失,并通知给所述特性判定部。在收到了所述数据缺失的通知时,所述特性判定部通过控制所述编码部,使所述声音信号中尚未被编码的未处理信号,按规定结构被编码。所述编码信号中的由于所述未处理信号按所述规定结构被编码而生成的信号所包含的所有的帧,分别是能被所述解码部独立进行解码的帧。
在此,这些整体或者具体的形态可由系统、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等记录介质来实现,亦可由系统、方法、集成电路、计算机程序以及记录介质的任意组合来实现。
本发明的编解码系统在发生了帧缺失时能够尽快恢复解码处理,将帧缺失时的声音缺失抑制在最低限。
附图说明
图1是表示USAC方式中的帧的数据结构的模式图。
图2是模式性地表示发生丢包时的解码处理的图。
图3是表示本实施方式的编解码系统的结构的方框图。
图4是表示本实施方式的包数据的模式图。
图5是表示实施方式1的包缺失检测部的具体结构的方框图。
图6是表示实施方式1的编解码系统的控制流程的图。
图7是实施方式1的包缺失检测部的判断信息算出方法的流程图。
图8是实施方式1的编码部的编码处理的流程图。
图9是用于说明实施方式1的编码部的编码处理的模式图。
图10是模式性地表示发生包缺失时的编解码系统的解码处理的图。
图11是表示实施方式2的包缺失检测部的具体结构的方框图。
图12是表示实施方式2的编解码系统的控制流程的图。
图13是实施方式2的包缺失检测部的判断信息算出方法的流程图。
图14是实施方式2的编码部的编码处理的流程图。
图15是用于说明实施方式2的编码部的编码处理的模式图。
具体实施方式
(本发明的基础知识)
作为以低比特率对数字化语音信号或者音响信号进行编解码和传输的方式,例如HE-AAC方式(参照非专利文献1)和AMR-WB方式(参照非专利文献2)等是具代表性的方式。
在HE-AAC方式中,按每个规定的采样数(HE-AAC方式中是2048采样,以下称之为帧)对数字化的音响信号进行时间/频率变换之后,通过听觉心里模式决定要编码的信号成分。对决定要编码的信号成分进行量化,并通过Huffman编码等方法对量化后的信号进行信息压缩,以使得成为规定的比特数。
在以ACELP等作为代表的CELP方式中,对语音信号,与HE-AAC方式同样按每个帧进行处理,但并不进行时间/频率变换。在AMR-WB方式或者ACELP方式中,通过算出各帧的线性预测系数,并对基于该系数的线性预测过滤器及其剩余信号进行矢量量化等,从而进行信息压缩。
如此进行信息压缩之后的信息称之为比特流。比特流通过广播波、互联网等各种各样的传输线路被传输。在接收装置侧,被传输过来的比特流按其各自的编码方式被解码。
在此,所述HE-AAC方式适于对音响信号进行有效编码,AMR-WB方式则是适于对语音信号进行有效编码的方式。
HE-AAC方式是主要以对音响信号进行有效编码作为前提的编码方式。因此,在HE-AAC方式中,难以用低比特率对特性与音响信号不同的语音信号进行高音质编码。虽然可以通过HE-AAC方式对语音信号进行编码,但会导致音质极其劣化。
另一方面,AMR-WB方式和ACELP方式主要以对语音信号进行有效编码作为前提。因此,通过AMR-WB方式和ACELP方式对音响信号进行编码时音质劣化显著。即,各个方式对于编码对象的信号均有一长一短。
对此,近年开发出了对语音信号以及音响信号的两者都能有效地进行编码的编码方式,其中之一是MPEG-USAC。
在USAC中,为了提高编码效率,采用了各种各样的方法。为了对语音信号和音响信号以及两者的混合信号高效率地进行编码,在USAC中,按每个帧切换进行基于时间/频率变换的音响信号编码处理和基于线性预测系数的语音信号编码处理。即,在USAC中,进行与输入的声音信号的音响特性相应的编码。另外,为了追求编码效率,以算术编码代替现有编码方式中采用的Huffman编码进行信息压缩处理,这也是USAC的特征。
如上所述,声音信号的编码中存在各种各样的编码方式,但通过广播波和通信线路进行传输时,各编码方式或者各广播服务/通信服务都有特定的课题存在。
在广播波或者互联网(IP网)中,由于传输路径不稳定,多有传输错误和丢包等发生。因此,例如在作为地波数字电视广播(ISDB-T方式)的运用规格的ARIB STD-B31(规格名:地波数字电视广播的传输方式,非专利文献4)中,对数字电视广播中的传输错误订正方法等作有规定。另外,在AMR-WB方式中,关于将该方式运用于3G手机时发生的传输错误,规定了作为错误检测以及错误订正方法的3GPP规格(TS26.191,非专利文献5)。
如上所述,在提供通过广播或者通信来收发声音或者音响信号的服务时,除了比特率和信道数、编码工具等各种编码参数之外,关于传输错误的检测和错误订正也有必要作出细致的规定,以保证服务质量。
在ISDB-T中,作为声音信号的编码方式采用HE-AAC方式,传输线路中产生的传输错误,则在接收广播波并取出TS包的步骤被检测和订正。具体是,取出TS包中包含的AAC比特流并进行AAC解码,解码语音信号。然而,在所述ISDB-T中,有时因传输线路中的数据缺失和数据异常等而无法正常接收TS包,其结果造成AAC比特流缺失。在比特流有缺失的情况下,当然无法对编码信号进行解码,从而无法获得声音信号。
然而,在其后又变成了能够正常接收TS包的情况下,通过将从刚恢复的TS包取出的正常的AAC比特流送到解码装置,可立即进行解码。而且,由于HE-AAC方式所内含的频率时间变换处理的性质,解码音淡入,因此,刚恢复后的音是比较整齐的声音。
另外,关于被期待应用于3G时代手机等的AMR-WB方式,其传输线路中的错误检测和传输错误订正的相关程序,见非专利文献5的记载。其概要为,帧缺失时,在帧缺失之前正常接收的帧数据被临时存放在解码装置的存储器中。在发生了帧缺失时,通过对过去的帧数据的编码参数进行规定运算并再利用,拟仿性地生成解码信号。
可采用这种方法的理由在于,AMR-WB方式主要用于语音信号的编码。语音信号的编码参数中的可决定语音信号的大体频谱外形且对语音编码质量的影响大的线性预测系数,在短期内难有变化(即使发生变化,变化量也小)。因此,在发生短期性的帧数据缺失时,可再利用线性预测系数,因此能够采用以上的拟仿性地生成解码信号的方法。
另外,在HE-AAC方式中,对频谱信息进行编码压缩时使用Huffman编码,作为HE-AAC方式的核心编码方式的AAC方式中无需横跨帧来取得编码参数,虽然无法进行广域性的HE-AAC解码,而在狭域性的AAC部分能够始终对任一个帧都独立地进行解码。另外,AMR-WB方式中也采用Huffman编码以及矢量量化方法,但其中也基本上没有影响可横跨帧的编码参数。因此,在AMR-WB方式中,可始终对任一个帧都独立地进行解码。
在USAC方式中,与HE-AAC方式和AMR-WB方式不同,为了提高编码效率,采用是是对各种编码参数进行压缩、横跨帧进行运算的算术编码处理。因此,仅限于能被独立解码的帧。
图1是表示USAC方式中的帧的数据结构的模式图。
如图1所示,在USAC方式中,在各帧(USACFrame())的先头部分存在表示可否对该帧独立进行解码,即,可否只根据该帧的数据进行解码的标志(FlagIndependency)。该标志是读出帧所内含的详细编码数据(图1中的FD_Channel_Element())时使用的信息。FD_Channel_Element()具有只能在所述标志表示能被独立解码的情况下取得算术编码部(图1中的Arith_Code())的信息的结构。
如上所述,在USAC方式中,能被独立解码的帧是有限的。因此,即使变得不再有帧缺失(丢包)并能够正常接收帧数据,也难以马上开始进行解码。
图2是模式性地表示发生丢包时的解码处理的图。
图2模式性地表示了被传输的编码信号,1个长方形表示1个帧,标有I-Frame的帧201以及204是能被独立解码的帧。
如图2(a)所示,在定时t1发生了传输错误的情况下,即,发生了丢包200的情况下,解码侧接收不到传输错误被解除的定时t2为止的帧。
即,解码侧接收的帧成为像图2(b)所示的结构。在此,帧202以及203是不能被独立解码的帧,因此,在解码侧,即使在定时t2丢包已被解除,但直到接收下一个能被独立解码的帧204的定时t3为止都无法开始解码。
如上所述,在像USAC方式这样的编码信号包含能被独立解码的帧和不能被独立解码的帧的编码方式中,即使变得不再有丢包且能够正常接收帧,也难以立即开始解码。
为了解决所述课题,本发明的一形态的编解码系统的特征在于是一种将声音信号编码为编码信号,并对所述编码信号进行解码的编解码系统,该编解码系统具备:特性判定部,根据所述声音信号的音响特性来判定所述声音信号是语音信号还是音响信号;编码部,在所述特性判定部判定为所述声音信号是语音信号的情况下,通过语音信号编码处理对所述声音信号进行编码,在所述特性判定部判定为所述声音信号是音响信号的情况下,通过音响信号编码处理对所述声音信号进行编码,生成所述编码信号;传输部,传输所述编码信号;接收部,接收所述传输部传输的所述编码信号;解码部,对所述接收部接收的所述编码信号进行解码;包缺失检测部,在所述接收部接收所述编码信号时检测所述编码信号的数据缺失,并通知给所述特性判定部,在收到了所述数据缺失的通知时,所述特性判定部通过控制所述编码部,使所述声音信号中尚未被编码的未处理信号,按规定结构被编码,所述编码信号中的由于所述未处理信号按所述规定结构被编码而生成的信号所包含的所有的帧,分别是能被所述解码部独立进行解码的帧。
根据以上,在发生了数据缺失的情况下,编码部将声音信号编码为能被独立解码的编码信号,因此,能够使解码部不能对编码信号进行解码时间最小化,从而能够将数据缺失时的声音缺损抑制在最低限。
另外,例如可以是,在收到了所述数据缺失的通知时,所述特性判定部通过控制所述编码部,使所述未处理信号通过所述语音信号编码处理,按所述规定结构被编码。
即,在发生了数据缺失的情况下,编码部将处理固定为语音信号编码处理,将声音信号编码为能被独立解码的编码信号。因此,通过简单的控制,就能够将数据缺失时的声音缺损抑制在最低限。
另外,例如可以是,在收到了所述数据缺失的通知时,所述特性判定部通过控制所述编码部,使所述未处理信号通过所述音响信号编码处理,按所述规定结构被编码。
即,在发生了数据缺失的情况下,编码部将处理固定为音响信号编码处理,将声音信号编码为能被独立解码的编码信号。因此,通过简单的控制,就能够将数据缺失时的声音缺损抑制在最低限。
另外,例如可以是,在收到了所述数据缺失的通知时,所述特性判定部,在判定为所述声音信号是语音信号的情况下,通过控制所述编码部,使所述未处理信号通过所述语音信号编码处理,按所述规定结构被编码,在判定为所述声音信号是音响信号的情况下,通过控制所述编码部,使所述未处理信号通过所述音响信号编码处理,按所述规定结构被编码。
即,在发生了数据缺失的情况下,编码部维持编码处理的切换,并将声音信号编码为能被独立解码的编码信号。由此,能够在维持编码效率的同时,将数据缺失时的声音缺损抑制在最低限。
另外,例如可以是,所述编码信号中的由于所述未处理信号按所述规定结构被编码而生成的信号所包含的所有的帧,分别是按ACELP(Algebraic Code Excited LinearPrediction)方式被编码的帧。
另外,例如可以是,所述编码信号中的由于所述未处理信号按所述规定结构被编码而生成的信号所包含的所有的帧,分别是上下文信息被初始化的帧。
另外,例如可以是,所述包缺失检测部测定网络延迟量,该网络延迟量表示从所述编码信号由所述传输部传输之后到由所述接收部接收为止的时间,并根据规定的时间内的所述网络延迟量算出平均网络延迟量,在所述平均网络延迟量比规定的阈值高的情况下,向所述特性判定部通知所述数据缺失。
即,能够根据网络延迟量检测出数据缺失。
另外,例如可以是,所述包缺失检测部根据所述接收部接收的所述编码信号所包含的数据号码,检测所述数据缺失,并在规定时间内的所述数据缺失的发生率比规定的阈值高的情况下,向所述特性判定部通知所述数据缺失。
即,能够根据数据缺失的发生率检测出数据缺失。
另外,例如可以是,在包缺失期间内,即,从所述包缺失检测部发出所述数据缺失的通知之后,到所述接收部接收所述编码信号中的由于所述未处理信号按所述规定结构被编码而生成的信号为止的期间内,所述解码部对所述接收部在所述包缺失期间接收的所述编码信号中的能被独立解码的部分进行解码。
根据以上,通过由解码部对能被独立解码的部分进行解码,音质虽然会劣化,但能够防止声音的完全缺损。即,通过这样的处理也能够将包缺失时的声音缺损抑制在最低限。
另外,本发明的一形态的解码装置是用于以上的任一形态的编解码系统的解码装置,其具备所述接收部、所述解码部和所述包缺失检测部。
另外,本发明的一形态的编码装置是用于以上的任一形态的编解码系统的编码装置,其具备所述特性判定部、所述编码部、所述传输部和所述包缺失检测部。
另外,本发明的一形态的编解码方法是一种将声音信号编码为编码信号,并对所述编码信号进行解码的编解码方法,该编解码方法包括:特性判定步骤,根据所述声音信号的音响特性来判定所述声音信号是语音信号还是音响信号;编码步骤,在所述特性判定步骤判定为所述声音信号是语音信号的情况下,通过语音信号编码处理对所述声音信号进行编码,在所述特性判定步骤判定为所述声音信号是音响信号的情况下,通过音响信号编码处理对所述声音信号进行编码,生成所述编码信号;传输步骤,传输所述编码信号;接收步骤,接收在所述传输步骤被传输的所述编码信号;解码步骤,对在所述接收步骤被接收的所述编码信号进行解码;包缺失检测步骤,所述编码信号在所述接收步骤被接收时,对所述编码信号的数据缺失进行检测;控制步骤,在收到了所述数据缺失的通知时,通过控制,使所述声音信号中尚未被编码的未处理信号按规定结构被编码,所述编码信号中的由于所述未处理信号按所述规定结构被编码而生成的信号所包含的所有的帧,分别是能在所述解码步骤被独立进行解码的帧。
以下,关于本发明的实施方式,参照附图进行说明。
另外,以下将说明的实施方式均表示本发明所优选的一具体例。以下实施方式中给出的数值、形状、结构要素、结构要素的配置位置以及连接形态、处理步骤、步骤的顺序等也都表示一个例子,并非是对本发明的限定。另外,关于以下实施方式的结构要素中的未被记载于表示最上位概念的独立权利要求中的结构要素,将其作为任意的结构要素进行说明。
另外,以下的实施方式中以USAC方式为例来说明编解码系统的结构,但本发明并不限定于采用USAC方式的编解码系统。本发明能够应用于,在进行帧处理的语音信号以及音响信号的编解码系统中,采用存在能被独立解码的帧和不能被独立解码的帧的编码方式的情况。
(实施方式1)
以下,关于本发明的实施方式1进行说明。
首先,对编解码系统的结构和简单动作进行说明。
图3是表示实施方式1的编解码系统的结构的方框图。
如图3所示,编解码系统300具备特性判定部301、编码部302、重叠部303、传输部304、解码部305、接收部307和包缺失检测部308。
特性判定部301,对于被输入到编解码系统300的声音信号,按每个规定采样数(每个帧),判定是语音信号还是音响信号。具体是,特性判定部301根据该帧的音响特性来判定该编码单位是语音信号还是音响信号。
更具体是,首先,特性判定部301算出该帧的比3kHz大的频带的频谱强度和该帧的3kHz以下的频带的频谱强度。在3kHz以下的频谱比其他频带的频谱强度大的情况下,特性判定部301判定为该帧是语音信号主体的信号,即,语音信号,并向编码部302通知判定结果。同样,在3kHz以下的频谱强度比其他频带的频谱强度小的情况下,特性判定部301判定为该帧是音响信号主体的信号,即,音响信号,并向编码部302通知判定结果,控制编码部302。
另外,特性判定部301,在从后述包缺失检测部308收到了包缺失的通知的情况下,通过控制编码部302,以使声音信号的各帧被编码成能被独立解码的帧。关于该控制,详情后述。
编码部302,在特性判定部301判定为帧是语音主体的情况下,对该帧进行语音信号编码处理。在USAC方式中,作为语音信号编码处理采用LPD(Linear Prediction Domain)编码处理。编码部302,在特性判定部301判定为帧是音响信号主体的情况下,对该帧进行音响信号编码处理。在USAC方式中,作为音响信号编码处理采用FD(Frequency Domain)编码处理。
编码部302的所述动作是通常的USAC编码处理(以下,也称之为通常编码模式)。然而,如上所述,在特性判定部301从后述包缺失检测部308收到了包缺失的通知的情况下,编码部302进行特殊的USAC编码处理(以下,也称之为特殊编码模式),以将声音信号的各帧编码成能被独立解码的帧。关于特殊编码模式下的编码方法,详情后述。
重叠部303对由编码部302编码之后的帧进行合成,生成比特流(编码信号)。另外,在本实施方式中,编解码系统300是一个另设置有重叠部303的结构,但是,也可以将重叠部303的功能作为编码部302的功能的一部分。
传输部304以与传输路径相应的形式,传输在重叠部303生成的比特流。传输路径例如是移动通信网(3G手机)和固定互联网等的IP网。
接收部307接收由传输部304发送并经由传输线路的比特流。另外,根据传输路径的不同,有时会在传输部304以及接收部307之间收发比特流以外的信息,例如,用于对传输线路进行细致控制的网络控制信息。网络控制信息例如是,被传输的比特流的比特率、信道数或者编码方式(在本实施方式中,USAC的初始设定信息(USACConfig()等))等编码参数,或者是传输错误率以及传输延迟量等表示传输线路的状态的信息等。
解码部305对接收部307接收的比特流进行解码。
在本实施方式中,传输路径是根据互联网协议(IP)构成的IP网。在IP网中,基本上以IP包的形式传输比特流。IP网中的帧缺失涉及IP包缺失的情况和IP包有传输错误的情况这两种情况。
在IP包有传输错误的情况下,基本上利用IP网所具备的数据修复功能来修复传输错误。在IP包缺失的情况下,基本上通过IP网所具备的包再送功能来修复包缺失。
以下,关于包再送能够进行说明。
通过对构成IP包的各包数据上附加的包号码进行持续监视,能够检测出IP网中的IP包缺失。
图4是表示包数据的模式图。
包号码是具有周期性的号码,1个包数据被赋予1个包号码,连续的包数据被赋予连续的包号码。即,连续的包数据按0、1、2、……·的顺序被赋予包号码。如图4所示,包数据401被赋予包号码0,连接于其后的包数据402被赋予包号码1。
包号码达到最大号码(例如255)之后,包号码返回0。即,连接在图4所示的包数据403之后的包数据的包号码成为0。
接收部307在每次接收到1个包数据时都对包号码进行检测,并临时保持在接收部307中。接收部307,在接收到下个包数据之后,对检测出的包号码和在此之前接收后临时保持的包号码进行比较。然后,所述比较的结果,如果包号码的差是1或者是规定的最大号码(例如255),接收部307就判断为没有包缺失。如果包号码的差不是1或者规定的最大号码,接收部307就判断为有包缺失,并向传输部304侧请求再送所缺失的包号码的包。
如上所述,基本上,在IP包缺失或者IP包有传输错误时,可通过IP网的功能来修复包。然而,例如在长期的通信状况不良的情况下,有时无法通过IP网的功能来对包进行完全修复。
在此,编解码系统300具备包缺失检测部308,包缺失检测部308检测IP网的包缺失。包缺失检测部308是编解码系统300的特征性结构要素。
包缺失检测部308逐次保持由接收部307检测出的IP包再送次数和IP包修复次数(包缺失信息),并算出用于切换编码模式(所述通常编码模式以及特殊编码模式)的判断信息。判断信息被作为在接收部307和传输部304之间收发的网络控制信息的一部分,发送到传输部304侧。
传输部304将接收到的判断信息发送给特性判定部301,特性判定部301根据判断信息,对于编码部302是以通常编码模式编码还是以特殊编码模式编码进行控制。
以下,关于编解码系统300的详细动作进行说明。
首先,关于包缺失检测部308的判断信息算出方法,与包缺失检测部308的具体结构一并进行说明。
图5是表示包缺失检测部308的具体结构的方框图。
图6是表示实施方式1的编解码系统的控制流程的图。
图7是包缺失检测部308的判断信息算出方法的流程图。
如图5所示,包缺失检测部308由包缺失发生率算出部502、网络状况保持部503和包缺失判断部504构成。
网络状况保持部503逐次保持由接收部307通过网络接收并检测出的包缺失信息501(IP包再送次数以及IP包修复次数)(图6以及图7的S101)。具体是,网络状况保持部503保持在按每个服务所预先设定的保持期间内(例如1秒等)发生的IP包再送次数、IP包修复次数以及包总数(包保持信息)(图6以及图7的S102)。接下来,网络状况保持部503,按每个保持期间,将所述包保持信息发送给包缺失发生率算出部502。
包缺失发生率算出部502,在每个该保持期间,根据包保持信息算出以下式(1)所示的包缺失率(图6以及图7的S103)。
(IP包再送次数+IP包修复次数)/总包数*2……式(1)
包缺失判断部504,在式(1)所示的包缺失率为规定阈值以上的情况下,将判断信息设定为特殊编码模式,并将该判断信息发送给传输部304侧(特性判定部301)。在包缺失率未满规定阈值的情况下,将判断信息设定为通常编码模式,并将该判断信息发送给特性判定部301(图6以及图7的S104)。另外,规定阈值根据采用USAC方式的应用软件而异,例如,在3G方式的移动通信技术中采用USAC方式进行传输的情况下,规定阈值为20%。但是,该规定阈值仅表示一例,并不限定于此。
以下,关于编码部302的编码处理进行详细说明。
图8是编码部302的编码处理的流程图。
图9是用于说明编码部302的编码处理的模式图。
在编码部302取得声音信号(图8的S201)并对声音信号进行编码的情况下,如果特性判定部301未收到包缺失的通知(图8的S202为“否”),编码部302就以通常编码模式进行编码。具体是,在特性判定部301判定为声音信号是语音信号的情况下(图8的S203为“是”),编码部302对声音信号进行LPD编码处理(图8的S204)。
在本实施方式中,LPD编码处理是TCX(Transform Coded Excitation)方式和ACELP(Algebraic Code Excited Linear Prediction)方式。在进行LPD编码处理的情况下,编码部302将声音信号编码成由图1的TCX_Code()或者ACELP_Code()构成的帧。
TCX方式是用于对具有从50Hz至7000Hz的频带宽度的宽带语音信号进行编码的编码方式。
ACELP方式是CELP(Code Excited Linear Prediction)方式中的码本以代数形式被存放的编码方式,是能够有效率地对人的声音等周期性信号进行编码的编码方式。
因此,在LPD编码处理中,编码后的帧中存在以下3种类的帧。
一种像图9(a)所示的帧601那样,是一个帧全都以TCX方式被编码的帧。另一种像图9(a)所示的帧602那样,是一个帧内存在以TCX方式被编码部分和以ACELP方式被编码部分的帧。还有一种像图9(a)所示的帧603那样,是一个帧全都以ACELP方式被编码的帧。
在所述帧中,利用TCX方式被编码的帧包括能被独立解码的帧和不能被独立解码的帧,FlagIndependency信息为“可解码”的帧有时包含利用TCX方式被编码的帧。一个帧全都以ACELP方式被编码的帧603是能被独立解码的帧。
另一方面,编码部302,在特性判定部301判定为声音信号是音响信号的情况下(图8的S203为“否”),对声音信号进行FD编码处理的(图8的S205)。
在实施方式1中,FD编码处理例如不是利用Huffman编码,而是利用算术编码进行AAC方式的频谱量化处理,从而提高编码效率的编码处理。
在此情况下,编码部302将声音信号编码成由图1的FDChannel Element()(Arith_Code())构成的帧。
在此,如图9(b)所示,帧701是能被独立解码的帧(I-Frame),而帧702是利用帧701的上下文信息来对算术编码进行解码的帧。因此,若帧701不被解码,就无法对帧702进行解码。同样,帧703是利用帧702的上下文信息被解码的帧,因此,若帧702不被解码,就无法对帧703进行解码。即,帧702以及703不能被独立解码的帧。
在此,对帧701进行编码后经过了规定期间之后,上下文信息被初始化。即,帧704是作为能被独立解码的帧而被编码的帧。并且,只要帧704不被解码,就不能对帧705进行解码,而帧705不被解码,就不能对帧706进行解码。以下同样。
另外,所述规定的期间是根据被用于编码的应用软件等而异的期间,是任意设定的期间。
在特性判定部301收到了包缺失的通知的情况下(图8的S202为“是”),编码部302对声音信号中的尚未被编码的未处理信号,按规定的结构进行编码。即,编码部302以特殊编码模式进行编码。在实施方式1中,具体如图9(c)所示,编码部302以只利用语音信号编码处理中的ACELP方式进行编码的固定编码模式来进行编码(图8的S206)。
另外,在特性判定部301收到包缺失的通知、编码部302以固定编码模式进行编码的期间,特性判定部301预先对判断信息的经时变化进行观测,并通过控制,使编码部302以固定编码模式进行编码,直到包缺失状况被稳定地解除,
并且,特性判定部301,在包缺失状况被稳定地解除之后,通过控制,使编码部302以通常编码模式进行编码。例如,在连续10秒以上接收到了被设定为通常编码模式的判断信息的情况下,特性判定部301判断为包缺失状况已被稳定地解除。该时间只是一个例子,并不限定于此。该时间是根据通信网络的传输特性(延迟、包缺失率、传输速度等)而变化的时间。
在编码部302以固定编码模式进行编码的期间,实质上所有的帧都成为能被独立解码的帧(I-Frame)。在此,即使图1所示的帧内的FlagIndependency表示“不可独立解码”,对于只以ACELP方式被编码的帧,在解码部305侧能够强制进行ACELP解码处理。即,通过编解码系统300,即使在刚从包缺欠恢复的帧表示为不可解码的情况下,如果该帧中包含以ACELP方式被编码的数据,即可对其一部分进行解码。
图10是模式性地表示发生包缺失时的编解码系统300的解码处理的图。图10模式性地表示了被传输的编码信号,1个长方形表示1个帧。在图10中模式性地表示了当编码部302进行FD编码处理时发生了包缺失800的情况,在编码部302以及解码部305中被赋予相同文字的帧是同一帧。图中记载为(I-Frame)的帧表示能被独立解码的帧。
如图10(a)所示,在未使用本发明的编解码系统中,在发生了包缺失800的情况下,解码部305直到接收下一个能被独立解码的帧的定时t1为止,都不能恢复解码。
对此,如图10(b)所示,在编解码系统300中,在发生了包缺失800的情况下,包缺失检测部308向特性判定部301进行包缺失的通知801(判断信息的通知)。并且,特性判定部301收到通知801之后,编码部302以固定编码模式进行编码。
因此,编码信号中的由编码部302在定时t3以后进行编码的编码信号(未处理信号按规定结构被编码而生成的信号)所包含的所有的帧,分别是能被解码部305独立解码的帧。即,解码部305能够在所述定时t1之前的定时t2开始进行解码。
如上所述,通过实施方式1的编解码系统300,能够使从发生包缺失到恢复后无法进行解码的时间最小化,并能够将包缺失时的声音缺损抑制在最低限。
另外,在所述步骤S206中,编码部302可以通过音响信号编码处理,将如图9(d)所示的声音信号编码成只由上下文信息被初始化的帧构成的编码信号,即,可以通过可变编码模式进行编码。
如上所述,上下文信息被初始化的帧,无需使用前面的帧的信息就能被单独解码。因此,与固定在ACELP方式进行编码的固定编码模式同样,即使在步骤S206以如上所述的可变编码模式进行编码,也能够使从发生包缺失至恢复后无法进行解码的时间最小化。即,解码部305能够从包缺失刚恢复之后的帧开始进行解码,从而能够将包缺失时的声音缺损抑制在最低限。
另外,在图10(b)所示的包缺失期间802内,解码部305可以只对在包缺失期间802内由接收部接收的编码信号中的能被独立解码的部分进行解码。包缺失期间802是指,从包缺失检测部308通知包缺失(定时t3)到接收部307接收到利用能被独立解码的帧被编码的编码信号(按规定结构被编码而生成的信号)为止(定时t2)的期间。
在图10(b)中,在包缺失期间802内由接收部307接收的帧是通过FD编码处理被编码的、不能被独立解码的帧,因此,解码部305无法进行解码。但是,如果在包缺失期间802内由接收部307接收的帧是如图9(a)所示的帧602的话,解码部305就能够通过以下的方法对能被独立解码的部分进行解码。
帧602是一个帧内存在以TCX方式被编码的部分和以ACELP方式被编码部分的帧。在TCX方式以及ACELP方式中,为了对语音信号有效率地进行编码,利用线性预测系数(LPC系数),无论哪个方式都必定包含线性预测系数。线性预测系数是能够对语音信号进行频谱包络线变换的系数,若能在某种程度上再现出频谱包络线,即使不完全,但能够对语音信号进行解码。在包含ACELP的这种帧中,至少有一个以上的线性预测系数被包含在同一帧,并且,由于语音信号的特性,线性预测系数在数十msec程度的帧时间内不发生大变化的概率高。
在此,解码部305可以对编码信号中的以ACELP方式被编码的部分进行强制性解码,并对其他的以TCX方式被编码的部分,再利用在ACELP方式的解码过程中所取得的线性预测系数,实现拟仿性的解码。在此情况下,与TCX以及ACELP按照编码信号被完全解码的情况相比,音质多少会有劣化,但是线性预测系数对于突出语音信号的特征具有大的作用,因此能够表现出语音信号的特征部分。
如上所述,通过在包缺失期间802内由解码部305对能被独立解码的部分进行解码,虽然音质会有劣化,但能够防止声音的完全缺损。即,能够将包缺失时的声音缺损控制在最低限。
(实施方式2)
以下,关于本发明的实施方式2进行说明。
实施方式1中说明了包缺失检测部308根据IP包再送次数、IP包修复次数来检测包数据的缺失(发送判断信息)的例子,但包数据缺失的检测方法并不限定于此。在实施方式2中,说明包缺失检测部308根据网络延迟量来检测包数据缺失的例子。
另外,在实施方式1中,在特性判定部301收到包缺失的通知的情况下,编码部302通过语音信号编码处理或者音响信号编码处理的一方来进行编码,直到包缺失被稳定地解除为止。相对于此,实施方式2的特征在于,在特性判定部301收到包缺失的通知的情况下,编码部302在维持对作为USAC方式的特征的语音信号编码处理和音响信号编码处理进行切换的情况下,进行编码。
首先,关于实施方式2的编解码系统的结构和简单动作进行说明。实施方式2的编解码系统的整体的系统结构与图3所示的结构相同,主要不同点在于包缺失检测部308的结构。另外,在以下的实施方式2中,省略说明与实施方式1实质相同的结构。
图11是表示实施方式2的包缺失检测部的具体结构的方框图。
图12是表示实施方式2的编解码系统的控制流程的图。
图13是实施方式2的包缺失检测部的判断信息算出方法的流程图。
实施方式2的包缺失检测部308具备包缺失判断部504、网络延迟量算出部505和延迟测量计时器506。
实施方式2的包缺失检测部308对传输部304和接收部307之间的网络延迟量持续进行监视。
具体是,如图11所示,网络延迟量算出部505通过接收部307,按每个规定时间(定期地)向传输部304侧发送测试包,并接收针对该测试包的应答(图12以及图13的S301)。所述规定时间例如是每5秒。测试包例如是为了通过IP网来判定通信对方是否在工作时常用的ping命令。
网络延迟量算出部505通过发送测试包和接收来自通信对方(在此情况下是传输部侧)的应答,能够处理网络延迟量。具体是,网络延迟量算出部505保持发送测试包的时刻,并将接收到来自通信对方的应答的时刻与所述保持的时刻之差作为网络延迟量而保持(图12以及图13的S302)。另外,作为测试包的一个例子说明了ping命令,但测试包并不限定于此,只要能够测量出网络延迟量,也可以是其他形态。
根据这样算出的网络延迟量,网络延迟量算出部505算出规定时间单位(例如每1分)内的网络延迟量的平均值,并将该平均值作为平均网络延迟量(图12以及图13的S303)。
网络延迟量算出部505,在网络延迟量比平均网络延迟量大的情况下,使延迟测量计时器506的计时值增大。网络延迟量算出部505,在网络延迟量比平均网络延迟量小的情况下,使延迟测量计时器506的计时值减小。通过这样,网络延迟量算出部505按每个规定时间单位,使延迟测量计时器506的计时值增大或者减小。
包缺失判断部504,在延迟测量计时器506的计时值比规定阈值(例如0)大的情况下,将判断信息设定为特殊编码模式,并将该判断信息发送到传输部304侧(特性判定部301)(图12以及图13的S304)。这是因为在延迟测量计时器506的计时值增大的情况下,可判断为网络的延迟量呈增大倾向,即,包缺失发生的可能性高。
在延迟测量计时器506的计时值比规定阈值小的情况下,即,网络延迟量呈减少倾向的情况下,包缺失判断部504将判断信息设定为通常编码模式,并将该判断信息发送到传输部304侧(图12以及图13的S304)。另外,可以根据编解码所应用的应用软件和网络的特性,对延迟测量计时器506的阈值进行任意设定。
然后,关于实施方式2的编码部302的编码处理进行详细说明。
图14是编码部302的编码处理的流程图。
图15是用于说明编码部302的编码处理的模式图。
在编码部302取得声音信号(图14的S401)并对声音信号进行编码的情况下,如果特性判定部301未收到包缺失的通知(图14的S402为“否”),编码部302就以通常编码模式进行编码。具体而言,编码部302,在特性判定部301判定为声音信号是语音信号的情况下(图14的S403为“是”),对声音信号进行LPD编码处理(图14的S404)。相反,编码部302,在特性判定部301判定为声音信号是音响信号的情况下(图14的S403为“否”),对声音信号进行FD编码处理(图14的S405)。这些在通常编码模式下由编码部302进行的编码处理,与实施方式1中说明的通常编码模式的编码处理相同。
在特性判定部301收到了包缺失的通知的情况下(图14的S402为“是”),编码部302以特殊编码模式进行编码。在实施方式2中,编码部302在特殊编码模式下也维持对语音信号编码处理和音响信号编码处理进行切换,并将声音信号编码成由能被独立解码的帧构成的编码信号。
具体是,编码部302,在特性判定部301判定为声音信号是语音信号的情况下(图14的S406为“是”),只使用语音信号编码处理中的ACELP方式进行编码(图14的S407)。编码部302,在特性判定部301判定为声音信号是音响信号的情况下(图14的S406为“否”),通过音响信号编码处理,将声音信号编码成只由上下文信息被初始化的帧构成的编码信号(图14的S408)。
其结果,以实施方式2的特殊编码模式被编码的编码信号,根据特性判定部301的判定,成为由图15所示的帧构成的编码信号。即,编码信号成为实质上所有的帧都能被独立解码的帧(I-Frame)。
另外,关于收到包缺失的通知之后包缺失被稳定地解除的情况,与实施方式1同样,特性判定部301根据包缺失检测部308的通知进行控制,以使编码部302以通常编码模式进行编码。
如上所述,通过实施方式2的编解码系统,能够使从包缺失发生至恢复后无法解码的时间最小化,并能够将包缺失时的声音缺损抑制在最低限。
在实施方式1的编解码系统300中,在收到包缺失的通知的情况下,特性判定部301并不对声音信号是音响信号还是语音信号进行判定。因此,实施方式1的编解码系统300的特征在于,在收到了包缺失的通知的情况下的编码部302的控制简单。相对而言,实施方式2的编解码系统进行所述判定,因此,即使在收到了包缺失的通知的情况下,编码效率也好。
(其他变形例)
另外,虽然根据以上的实施方式说明了本发明,但本发明并不限定于所述的实施方式。
本发明的编解码系统可由编码装置和解码装置的组合来实现。例如,编解码系统可由具备特性判定部301、编码部302(重叠部303)、传输部304以及包缺失检测部308的编码装置和,具备解码部305以及接收部307的解码装置来实现。
另外,例如,编解码系统也可由具备特性判定部301、编码部302(重叠部303)以及传输部304的编码装置和,具备解码部305、接收部307以及包缺失检测部308的解码装置来实现。在此情况下,包缺失检测部308能够利用实施方式2中说明的网络延迟量来检测包的缺失。
另外,例如,编解码系统还可以由具备特性判定部301、编码部302(重叠部303)以及传输部304的编码装置和,具备解码部305以及接收部307的解码装置和,具备包缺失检测部308的网络管理装置来实现。
另外,在本实施方式中,说明了在语音信号编码处理中使用ACELP方式的例子,但本发明并不限定于此。例如,也可以在语音信号编码处理中使用VSELP(Vector SumExcited Linear Prediction)方式等,只要编码原理是CELP方式、各帧是能被独立解码的结构,可以使用任意的CELP方式。
另外,以下的情况也属于本发明。
(1)所述编解码系统具体是由微处理器、ROM、RAM、硬盘、显示器单元、键盘、鼠标等构成的计算机系统。所述RAM或者硬盘中存储有计算机程序。所述微处理器按照所述计算机程序进行动作,从而编解码系统达成其功能。在此,该计算机程序是为了达成规定的功能,由多个表示对计算机的指令的命令编码组合而成的程序。
(2)构成所述编解码系统的一部分或者全部结构要素可由1个系统LSI(LargeScale Integration:大规模集成电路)构成。系统LSI是在1个芯片上集成多个结构部而制造成的超多功能LSI,具体是包括微处理器、ROM、RAM等而构成的计算机系统。所述RAM中存储有计算机程序。所述微处理器按照所述计算机程序进行动作,从而系统LSI达成其功能。
(3)构成所述编解码系统的一部分或者全部结构要素可由能够在编解码系统上进行装卸的IC卡或者单体模块构成。所述IC卡或者所述模块是由微处理器、ROM、RAM等构成的计算机系统。所述IC卡或者所述模块可包含所述超多功能LSI。微处理器按照计算机程序进行动作,从而所述IC卡或者所述模块达成其功能。该IC卡或者该模块可以具有防篡改性。
(4)本发明可以是所述方法。另外,也可以是通过计算机实现这些方法的计算机程序,还可以是由所述计算机程序构成的数字信号。
另外,本发明也可以是将所述计算机程序或者所述数字信号记录在计算机可读取的记录介质,例如,软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray(注册商标)Disc)、半导体存储器中的形态。另外,也可以是被记录在这些记录介质中的所述数字信号。
另外,本发明可以是通过电通信线路、无线或者有线通信线路、以互联网为代表的网络、数字广播等来传输所述计算机程序或者所述数字信号的形态。
另外,本发明可以是具备微处理器和存储器的计算机系统,所述存储器中存储有所述计算机程序,所述微处理器按所述计算机程序进行动作。
另外,通过将所述程序或者所述数字信号存储在所述记录介质中进行转移,或者通过网络等转送所述程序或者所述数字信号,可由独立的其他计算机系统来实施所述程序或者数字信号。
(5)可以对所述实施方式以及所述变形例分别进行组合。
另外,本发明并不限定于这些实施方式及其变形例。只要不脱离本发明的宗旨,将该领域技术人员所想出的各种变形形态实施于本实施方式及其变形例而成的形态,或者对不同的实施方式及其变形例的结构要素进行组合而成的形态,也属于本发明的范围内。
本发明能够对语音信号以及音响信号进行高质、低比特流的编码,因此可用于在传输中断的情况下能够将服务质量的劣化控制在最低限的编解码系统。具体是,本发明的编解码系统适用于在移动通信等不稳定的通讯网上提供声音/音响流服务的情况、要求临场感的远隔会议的情况或者面向移动终端提供广播服务的情况。
符号说明
200 丢包
201、202、203、204、601~603、701~706 帧
300 编解码系统
301 特性判定部
302 编码部
303 重叠部
304 传输部
305 解码部
307 接收部
308 包缺失检测部
401、402、403 包数据
501 包缺失信息
502 包缺失发生率算出部
503 网络状况保持部
504 包缺失判断部
505 网络延迟量算出部
506 延迟测量计时器
800 包缺失
801 通知
802 包缺失期间

Claims (11)

1.一种编解码系统,将声音信号编码为编码信号,并对所述编码信号进行解码,该编解码系统具备:
特性判定部,根据所述声音信号的音响特性来判定所述声音信号是语音信号还是音响信号;
编码部,在所述特性判定部判定为所述声音信号是语音信号的情况下,通过语音信号编码处理对所述声音信号进行编码,在所述特性判定部判定为所述声音信号是音响信号的情况下,通过音响信号编码处理对所述声音信号进行编码,生成所述编码信号;
传输部,传输所述编码信号;
接收部,接收所述传输部传输的所述编码信号;
解码部,对所述接收部接收的所述编码信号进行解码;以及
包缺失检测部,在所述接收部接收所述编码信号时检测所述编码信号的数据缺失,并通知给所述特性判定部,
在收到了所述数据缺失的通知时,所述特性判定部通过控制所述编码部,对于所述声音信号中尚未被编码的未处理信号,无论该未处理信号是语音信号还是音响信号,都通过所述语音信号编码处理及所述音响信号编码处理中的某一种编码处理按规定结构进行编码,
所述编码信号中的由于所述未处理信号按所述规定结构被编码而生成的信号所包含的所有的帧,分别是能被所述解码部独立进行解码的帧。
2.如权利要求1所述的编解码系统,
在收到了所述数据缺失的通知时,所述特性判定部通过控制所述编码部,使所述未处理信号通过所述语音信号编码处理,按所述规定结构被编码。
3.如权利要求1所述的编解码系统,
在收到了所述数据缺失的通知时,所述特性判定部通过控制所述编码部,使所述未处理信号通过所述音响信号编码处理,按所述规定结构被编码。
4.如权利要求2所述的编解码系统,
所述编码信号中的由于所述未处理信号按所述规定结构被编码而生成的信号所包含的所有的帧,分别是按代数字激励线性预测方式被编码的帧。
5.如权利要求3所述的编解码系统,
所述编码信号中的由于所述未处理信号按所述规定结构被编码而生成的信号所包含的所有的帧,分别是上下文信息被初始化的帧。
6.如权利要求1所述的编解码系统,
所述包缺失检测部,
测定网络延迟量,该网络延迟量表示从所述编码信号由所述传输部传输之后到由所述接收部接收为止的时间,
并根据规定的时间内的所述网络延迟量,算出平均网络延迟量,
在所述平均网络延迟量比规定的阈值高的情况下,向所述特性判定部通知所述数据缺失。
7.如权利要求1所述的编解码系统,
所述包缺失检测部,根据所述接收部接收的所述编码信号所包含的数据号码,检测所述数据缺失,并在规定时间内的所述数据缺失的发生率比规定的阈值高的情况下,向所述特性判定部通知所述数据缺失。
8.如权利要求1至7的任一项所述的编解码系统,
在包缺失期间内,即,从所述包缺失检测部发出所述数据缺失的通知之后,到所述接收部接收所述编码信号中的由于所述未处理信号按所述规定结构被编码而生成的信号为止的期间内,
所述解码部,对所述接收部在所述包缺失期间接收的所述编码信号中的能被独立解码的部分,进行解码。
9.一种解码装置,用于权利要求1所述的编解码系统,该解码装置具备:
所述接收部;
所述解码部;以及
所述包缺失检测部。
10.一种编码装置,用于权利要求1所述的编解码系统,该编码装置具备:
所述特性判定部;
所述编码部;
所述传输部;以及
所述包缺失检测部。
11.一种编解码方法,将声音信号编码为编码信号,并对所述编码信号进行解码,该编解码方法包括:
特性判定步骤,根据所述声音信号的音响特性来判定所述声音信号是语音信号还是音响信号;
编码步骤,在所述特性判定步骤判定为所述声音信号是语音信号的情况下,通过语音信号编码处理对所述声音信号进行编码,在所述特性判定步骤判定为所述声音信号是音响信号的情况下,通过音响信号编码处理对所述声音信号进行编码,生成所述编码信号;
传输步骤,传输所述编码信号;
接收步骤,接收在所述传输步骤被传输的所述编码信号;
解码步骤,对在所述接收步骤被接收的所述编码信号进行解码;
包缺失检测步骤,所述编码信号在所述接收步骤被接收时,对所述编码信号的数据缺失进行检测;以及
控制步骤,在收到了所述数据缺失的通知时,通过控制,对于所述声音信号中尚未被编码的未处理信号,无论该未处理信号是语音信号还是音响信号,都通过所述语音信号编码处理及所述音响信号编码处理中的某一种编码处理按规定结构进行编码,
所述编码信号中的由于所述未处理信号按所述规定结构被编码而生成的信号所包含的所有的帧,分别是能在所述解码步骤被独立进行解码的帧。
CN201380002914.5A 2012-07-05 2013-06-21 编解码系统、解码装置、编码装置以及编解码方法 Expired - Fee Related CN103827964B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012151463 2012-07-05
JP2012-151463 2012-07-05
PCT/JP2013/003908 WO2014006837A1 (ja) 2012-07-05 2013-06-21 符号化・復号化システム、復号化装置、符号化装置、及び符号化・復号化方法

Publications (2)

Publication Number Publication Date
CN103827964A CN103827964A (zh) 2014-05-28
CN103827964B true CN103827964B (zh) 2018-01-16

Family

ID=49881613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380002914.5A Expired - Fee Related CN103827964B (zh) 2012-07-05 2013-06-21 编解码系统、解码装置、编码装置以及编解码方法

Country Status (4)

Country Link
US (1) US9236053B2 (zh)
JP (1) JP6145790B2 (zh)
CN (1) CN103827964B (zh)
WO (1) WO2014006837A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10204633B2 (en) * 2014-05-01 2019-02-12 Nippon Telegraph And Telephone Corporation Periodic-combined-envelope-sequence generation device, periodic-combined-envelope-sequence generation method, periodic-combined-envelope-sequence generation program and recording medium
EP2980795A1 (en) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoding and decoding using a frequency domain processor, a time domain processor and a cross processor for initialization of the time domain processor
CN109524015B (zh) * 2017-09-18 2022-04-15 杭州海康威视数字技术股份有限公司 音频编码方法、解码方法、装置及音频编解码系统
CN113724716B (zh) * 2021-09-30 2024-02-23 北京达佳互联信息技术有限公司 语音处理方法和语音处理装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3557255B2 (ja) * 1994-10-18 2004-08-25 松下電器産業株式会社 Lspパラメータ復号化装置及び復号化方法
US5627935A (en) * 1994-11-11 1997-05-06 Samsung Electronics Co., Ltd. Error-correction-code coding & decoding procedures for the recording & reproduction of digital video data
EP1550108A2 (en) * 2002-10-11 2005-07-06 Nokia Corporation Methods and devices for source controlled variable bit-rate wideband speech coding
ES2318495T3 (es) * 2004-05-13 2009-05-01 Qualcomm, Incorporated Procedimiento y aparato para asignacion de informacion a canales de un sistema de comunicaciones.
US7930176B2 (en) * 2005-05-20 2011-04-19 Broadcom Corporation Packet loss concealment for block-independent speech codecs
US7802168B1 (en) * 2006-04-28 2010-09-21 Hewlett-Packard Development Company, L.P. Adapting encoded data to overcome loss of data
US8327211B2 (en) * 2009-01-26 2012-12-04 Broadcom Corporation Voice activity detection (VAD) dependent retransmission scheme for wireless communication systems
US8352252B2 (en) * 2009-06-04 2013-01-08 Qualcomm Incorporated Systems and methods for preventing the loss of information within a speech frame
WO2010144833A2 (en) * 2009-06-12 2010-12-16 Cygnus Broadband Systems and methods for intelligent discard in a communication network
US20120327779A1 (en) * 2009-06-12 2012-12-27 Cygnus Broadband, Inc. Systems and methods for congestion detection for use in prioritizing and scheduling packets in a communication network
JP5749462B2 (ja) * 2010-08-13 2015-07-15 株式会社Nttドコモ オーディオ復号装置、オーディオ復号方法、オーディオ復号プログラム、オーディオ符号化装置、オーディオ符号化方法、及び、オーディオ符号化プログラム
US9026434B2 (en) * 2011-04-11 2015-05-05 Samsung Electronic Co., Ltd. Frame erasure concealment for a multi rate speech and audio codec

Also Published As

Publication number Publication date
US9236053B2 (en) 2016-01-12
WO2014006837A1 (ja) 2014-01-09
JP6145790B2 (ja) 2017-06-14
US20150039323A1 (en) 2015-02-05
CN103827964A (zh) 2014-05-28
JPWO2014006837A1 (ja) 2016-06-02

Similar Documents

Publication Publication Date Title
JP7245856B2 (ja) 符号化器、復号器ならびに隠蔽を増強するためのパラメータを使用してオーディオ内容を符号化および復号するための方法
JP6546897B2 (ja) マルチレート・スピーチ/オーディオ・コーデックのためのフレーム損失隠匿について符号化を実行する方法
US11830511B2 (en) Concept for switching of sampling rates at audio processing devices
JP5996670B2 (ja) オーディオデータの冗長送信に対するビット割振りのためのシステム、方法、装置、およびコンピュータ可読媒体
RU2496156C2 (ru) Маскирование ошибки передачи в цифровом аудиосигнале в иерархической структуре декодирования
RU2434333C2 (ru) Устройство и способ передачи последовательности пакетов данных и декодер и аппаратура для распознавания последовательности пакетов данных
JP2007538283A (ja) オーディオ用コーダ・モード切り替え支援
US9123328B2 (en) Apparatus and method for audio frame loss recovery
CN103827964B (zh) 编解码系统、解码装置、编码装置以及编解码方法
JP2016539536A (ja) 冗長フレーム情報を通信するシステムおよび方法
EP1982331B1 (en) Method and arrangement for speech coding in wireless communication systems
US20100063805A1 (en) Non-causal postfilter
EP3080804A1 (en) Bandwidth extension mode selection
EP2798631B1 (en) Adaptively encoding pitch lag for voiced speech
Sinder et al. Recent speech coding technologies and standards
Gibson Speech coding for wireless communications
KR101455648B1 (ko) 상호 운용성을 지원하는 오디오/스피치 신호의부호화/복호화 방법 및 시스템
EP1933306A1 (en) Method and apparatus for transcoding a speech signal from a first code excited linear prediction (CELP) format to a second code excited linear prediction (CELP) format

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160225

Address after: Osaka Japan

Applicant after: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180116

Termination date: 20200621