CN101420607A - 基于框架的多描述编解码方法、系统和装置 - Google Patents

基于框架的多描述编解码方法、系统和装置 Download PDF

Info

Publication number
CN101420607A
CN101420607A CN 200710165529 CN200710165529A CN101420607A CN 101420607 A CN101420607 A CN 101420607A CN 200710165529 CN200710165529 CN 200710165529 CN 200710165529 A CN200710165529 A CN 200710165529A CN 101420607 A CN101420607 A CN 101420607A
Authority
CN
China
Prior art keywords
description
prime
coding
expression
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 200710165529
Other languages
English (en)
Other versions
CN101420607B (zh
Inventor
彭立中
万华林
张军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN 200710165529 priority Critical patent/CN101420607B/zh
Priority to PCT/CN2008/072842 priority patent/WO2009056071A1/zh
Publication of CN101420607A publication Critical patent/CN101420607A/zh
Application granted granted Critical
Publication of CN101420607B publication Critical patent/CN101420607B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data

Abstract

本发明实施例公开了一种基于框架的编解码方法，该方法包括：根据确定出的相位矩阵组一对原始图像进行相位框架分解，形成多个描述；所述相位矩阵组一中各个矩阵的行数为原始图像的一半、列数与原始图像相同；对形成的各个描述分别进行编码，将编码后的数据发送给解码端。本发明实施例还提供了另一种基于框架的编解码方法，以及编解码系统、编码装置和解码装置。本发明实施例方案提高了恢复出的图像质量。

Description

基于框架的多描述编解码方法、系统和装置
技术领域
本发明涉及编解码技术领域，尤其涉及基于框架的多描述编解码方法、系统和装置。
背景技术
在互联网信息传输领域中，网络带宽的波动以及噪声干扰、带宽变化、网络堵塞等问题，会造成编码端向解码端发送的数据包丢失、解码错误及延时现象，严重影响解码端恢复出的图像质量。因此编解码技术需要对不可靠信道中出现的数据差错与丢失加以考虑。多描述编码技术(MDC，MultipleDescription Coding)便是降低传输错误影响的有效方法，也是现在图像、视频传输研究的热点。
伴随着网络、尤其是无线网络迅猛发展的需求，对MDC的研究逐渐从理论向构造实用的MDC系统演变，MDC方法也成为图像、视频编码研究领域中的热点。迄今MDC尚没有通用的国际标准，仍然有较大的发展和改进空间。
MDC的编解码端相独立，编码端形成各个描述后，对形成的各个描述进行编码，将编码后的数据发送给解码端；解码端对接收到的数据进行解码后得到各个描述，再对各个描述进行融合。
在MDC中，基于框架的多描述编解码方案是目前的热点研究领域。基于框架的多描述编解码方法包括基于相位框架的多描述编解码方法，和基于多小波框架的多描述编解码方法。下面通过现有技术一和现有技术二分别对其进行说明。
现有技术一为基于相位框架的多描述编解码方法。该方法具体包括：将原始图像按照奇帧和偶帧，分别进行编组形成2个描述。再对形成的2个描述进行编码：采用时域方法分别计算出偶帧预测序列和奇帧预测序列，以及两组运动矢量序列，然后将预测序列分别与生成的2个描述作残差，最后将相应的残差信息、运动矢量序列和生成的2个描述打包，得到编码后的数据。将编码后的数据发送给解码端，解码端解码后再采用时域方法按照奇帧和偶帧得到恢复出的图像。
现有技术一存在以下缺点：该方法不适用于丢包率高、网络环境差的情况，当丢失某一帧时，就丢失了该帧对应的图像信息，导致恢复出的图像质量差。
现有技术二为基于多小波框架的多描述方法。该方法首先利用已有的平衡多小波滤波器对图像进行多小波变换，然后按子带分量的异同重组多小波系数，使得属于同一个分量的四部分多小波系数一起构成图像的一个描述，这样最终可以得到4个描述。现有的基于多小波框架的多描述方法不完善，只有由原始图像生成4个描述的粗略记载，没有具体实现过程；并且，没有提供生成4个描述之后的编解码技术。
由以上分析，现有基于相位框架的多描述编解码方法存在恢复出的图像质量低的缺点，现有基于多小波框架的多描述编解码方法存在方案不完善的缺点。
发明内容
本发明实施例提供基于框架的多描述编解码方法，该方法能够提高恢复出的图象的质量。
本发明实施例提供基于框架的多描述编解码系统，该系统能够提高恢复出的图象的质量。
本发明实施例提供基于框架的多描述编码装置，该装置能够提高恢复出的图象的质量。
本发明实施例提供基于框架的多描述解码装置，该装置能够提高恢复出的图象的质量。
一种基于框架的多描述编解码方法，该方法包括：
根据确定出的相位矩阵组一对原始图像进行相位框架分解，形成多个描述；所述相位矩阵组一中各个矩阵的行数为原始图像的一半、列数与原始图像相同；
对形成的各个描述分别进行编码，将编码后的数据发送给解码端。
一种基于框架的多描述编解码方法，该方法包括：
对原始图像作多小波变换，得到低频部分各个子带和高频部分各个子带；
将所述低频部分各个子带和高频部分各个子带进行组合，形成多个描述；
对所述多个描述进行编码，将编码后的数据发送给解码端。
一种基于框架的多描述编解码系统，该系统包括编码端和解码端；
所述编码端，用于根据确定出的相位矩阵组一对原始图像进行相位框架分解，形成多个描述，所述相位矩阵组一中各个矩阵的行数为原始图像的一半、列数与原始图像相同；对形成的各个描述分别进行编码，将编码后的数据发送给解码端；
所述解码端，用于接收编码端发送的编码后的数据，根据确定出的相位矩阵组二，对没有丢失的描述进行相位框架合成逆变换，得到恢复出的图像；所述相位矩阵组二根据所述相位矩阵组一得到。
一种基于框架的多描述编解码系统，该系统包括编码端和解码端；
所述编码端，用于对原始图像作多小波变换，得到低频部分各个子带和高频部分各个子带；将所述低频部分各个子带和高频部分各个子带进行组合，形成多个描述；对所述多个描述进行编码，将编码后的数据发送给解码端；
所述解码端，用于接收编码端发送的编码后的数据，对所述编码后的数据进行解码，得到没有丢失的描述；根据所述没有丢失的描述，得到低频部分的子带，以及高频部分的子带，将两者相结合，得到结合信号；对结合信号做多小波逆变换，得到恢复出的图像。
一种基于框架的多描述编码装置，该装置包括多个描述形成模块、编码模块和发送模块；
所述多个描述形成模块，用于根据确定出的相位矩阵组一对原始图像进行相位框架分解，形成多个描述后发送给编码模块，所述相位矩阵组一中各个矩阵的行数为原始图像的一半、列数与原始图像相同；
所述编码模块，用于对形成的各个描述分别进行编码，将编码后的数据发送给发送模块；
所述发送模块，用于将编码后的数据发送给解码端。
一种基于框架的多描述解码装置，该装置包括接收模块和解码模块；
所述接收模块，用于接收编码端发送的编码后的数据；
所述解码模块，用于根据确定出的相位矩阵组二，对没有丢失的描述进行相位框架合成逆变换，得到恢复出的图像；所述相位矩阵组二根据所述相位矩阵组一得到，相位矩阵组一中各个矩阵的行数为原始图像的一半，列数与原始图像相同。
一种基于框架的多描述编码装置，该装置包括多个描述形成模块、编码模块和发送模块；
所述多个描述形成模块，用于对原始图像作多小波变换，得到低频部分各个子带和高频部分各个子带，将所述低频部分各个子带和高频部分各个子带进行组合，形成多个描述后发送给编码模块；
所述编码模块，用于对形成的多个描述进行编码，将编码后的数据发送给发送模块；
所述发送模块，用于将编码后的数据发送给解码端。
一种基于框架的多描述解码装置，该装置包括接收模块和解码模块；
所述接收模块，用于接收编码端发送的编码后的数据；
所述解码模块，用于对所述编码后的数据进行解码，得到没有丢失的描述；根据所述没有丢失的描述，得到低频部分的子带，以及高频部分的子带，将两者相结合，得到结合信号；对结合信号做多小波逆变换，得到恢复出的图像。
从上述方案可以看出，本发明实施例根据确定出的相位矩阵组一对原始图像进行相位框架分解，形成多个描述，对所述多描述进行编码；或者，对原始图像作多小波变换，得到低频部分各个子带和高频部分各个子带，将所述低频部分各个子带和高频部分各个子带进行组合，形成多个描述，再对所述多个描述进行编码。本发明实施例方案提供了完善的基于框架的多描述编解码技术，而且，在传输过程中，若丢失某一帧数据，根据其它帧仍能够恢复出质量较高的图像。
附图说明
图1为本发明实施例基于框架的多描述编解码方法的示例性流程图一；
图2为本发明实施例基于框架的多描述编解码方法的具体流程例一；
图3为与步骤202中得到的5个描述对应的图像；
图4为本发明实施例基于框架的多描述编解码方法的示例性流程例二；
图5为本发明实施例基于框架的多描述编解码方法的具体流程例二；
图6为与表1对应的图像；
图7为本发明实施例基于框架的多描述编解码方法的具体流程例三；
图8为本发明实施例基于框架的多描述编解码方法的具体流程例四；
图9a为本发明实施例基于框架的多描述编解码系统的结构示意图一；
图9b为本发明实施例基于框架的多描述编解码系统的结构示意图二；
图10为采用图2的方法在不丢失描述时得到的压缩比-信号噪音功率比值(PSNR，Power Signal-to-Noise Ratio)；
图11为采用图2的方法在丢失一个描述时得到的压缩比-PSNR值示意图；
图12为采用图2的方法在丢失前4个描述中的三个描述时得到的压缩比-PSNR值示意图；
图13为采用图5的方法在不丢失描述时得到的压缩比-PSNR值示意图；
图14为采用图5的方法在丢失一个描述时得到的压缩比-PSNR值示意图；
图15为采用图5的方法在丢失三个描述时得到的压缩比-PSNR值示意图；
图16为对于视频序列，采用图1的方法和采用图4的方法得到的帧数-PSNR值示意图；
图17为不丢包时分别采用图1的方法和图4的方法得到的压缩比-PSNR值示意图；
图18为丢失描述一时分别采用图1的方法和图4的方法得到的压缩比-PSNR值示意图；
图19为丢失描述二时分别采用图1的方法和图4的方法得到的压缩比-PSNR值示意图；
图20为丢失描述三时分别采用图1的方法和图4的方法得到的压缩比-PSNR值示意图；
图21为丢失描述四时分别采用图1的方法和图4的方法得到的压缩比-PSNR值示意图；
图22为丢失三个描述时分别采用图1的方法和图4的方法得到的压缩比-PSNR值示意图；
图23为对于视频序列，分别采用图1的方法丢失两个描述和采用图4的方法丢失一个描述时压缩比-PSNR值示意图；
图24为采用图4的方法生成双描述时不丢包情况下压缩比-PSNR值示意图；
图25为采用图4的方法生成双描述时丢失一个描述情况下压缩比-PSNR值示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明进一步详细说明。
参见图1，为本发明实施例基于框架的多描述编解码方法的示例性流程图一，该方法包括：
步骤101，根据确定出的相位矩阵组一对原始图像进行相位框架分解，形成多个描述；所述相位矩阵组一中各个矩阵的行数为原始图像的一半、列数与原始图像相同。
步骤102，对形成的各个描述分别进行编码，将编码后的数据发送给解码端。
参见图2，为本发明实施例基于框架的多描述编解码方法的具体流程例一，本实施例结合所述多个描述为5个描述的情况，对图1的方法进行具体说明，该方法包括以下步骤：
步骤201，确定相位矩阵组一，该相位矩阵组一中各个矩阵的行数为原始图像的一半、列数与原始图像相同。
下面以相位矩阵组一包括3个矩阵的情况为例进行说明，所述3个矩阵为T1、T2和T3，用T1 T表示T1的转置，T2用T2 T表示T2的转置，用T3 T表示T3的转置。T1、T2和T3的表示式可以为：
Figure A200710165529D00161
Figure A200710165529D00162
Figure A200710165529D00171
(其中0≤a≤1， a ≠ 1 2 )
步骤202，根据确定出的相位矩阵组一对原始图像进行相位框架分解，形成多个描述。
以步骤201中相位矩阵组一为T1、T2和T3为例，将本步骤形成的5个描述分别表示为：S1、S2、S3、S4和S5，则有：S1＝T1ST1 T，S2＝T1ST2 T，S3＝T2ST1 T，S4＝T2ST2 T，S5＝T3ST3 T，其中S表示原始图像。所述5个描述的图像表示参见图3。
步骤203，对形成的各个描述分别进行编码，将编码后的数据发送给解码端。
本步骤中，所述编码可以采用现有的编码技术实现，如针对图像可以使用联合图象专家组(Jpeg，Joint Photographic Experts Group)2000技术，针对视频的各帧图像可以使用H.264技术等。
步骤204，解码端对接收到的数据进行解码，得到没有丢失的描述。
本步骤中，解码后得到的描述若没有丢失，则为5个描述。在实际传输过程中，由于网络阻塞等情况常出现数据丢失，也就是常会丢失某些描述。
所述解码采用与步骤203中的编码相对应的技术，如针对图像可以使用Jpeg2000技术，以及现有的针对视频的各帧图像可以使用H.264技术等。根据没有丢失的描述便可判断出丢失了哪些描述，以及丢失描述的个数。
步骤205，确定相位矩阵组二，根据确定出的所述相位矩阵组二，对没有丢失的描述进行相位框架合成逆变换，得到恢复出的图像。
若所述没有丢失的描述为一个，步骤205替换为：解码端对所述没有丢失的描述进行插值处理，得到恢复出的图像。
所述相位矩阵组二根据相位矩阵组一得到，所述相位矩阵组二中各个矩阵的行数为原始图像的一半，列数与原始图像相同。同样以步骤201中相位矩阵组一为T1、T2和T3为例，该相位矩阵组二包括2个矩阵，为
Figure A200710165529D00181
和由T2中2-a和1-a交换位置得到，
Figure A200710165529D00183
由T1中a和a-1交换位置得到，分别表示为：
其中，
Figure A200710165529D00184
Figure A200710165529D00185
(其中0≤a≤1， a ≠ 1 2 )
其中
Figure A200710165529D00187
表示
Figure A200710165529D00188
的转置、
Figure A200710165529D00189
表示
Figure A200710165529D001810
的转置。
下面分两种情况对本步骤进行说明：1)没有描述丢失的情况；2)有描述丢失的情况。
1)没有描述丢失的情况。
此时，恢复出的图像表示为：
S ′ = T 1 ′ T S 1 T 1 ′ + T 1 ′ T S 2 T 2 ′ + T 2 ′ T S 3 T 1 ′ + T 2 ′ T S 4 T 2 ′ , 其中S′表示恢复出的图像。
在没有描述丢失的情况下恢复出的图像与原始图像相同。
2)有描述丢失的情况。此时具体分为三种情况：a、丢失1个描述；b、丢失2个或3个描述；c、丢失4个描述。下面分别进行说明。
a、若丢失的1个描述是S5，由于S5是前4个描述的平均信息，这时候不影响用前4个描述进行恢复出得到的图像效果，此时与没有丢失描述的情况一样，恢复出的图像表示为：
S ′ = T 1 ′ T S 1 T 1 ′ + T 1 ′ T S 2 T 2 ′ + T 2 ′ T S 3 T 1 ′ + T 2 ′ T S 4 T 2 ′ .
若丢失的描述为描述一S1、描述二S2、描述三S3或描述四S4，则将4×S5减去没有丢失的前3个描述的结果作为丢失的描述，则恢复出的图像表示为：
S ′ = T 1 ′ T S 1 T 1 ′ + T 1 ′ T S 2 T 2 ′ + T 2 ′ T S 3 T 1 ′ + T 2 ′ T S 4 T 2 ′ .
b、若丢失的描述为2个或3个描述，其中可能包括第5个描述，也可能没有包括第5个描述，则将与该描述相邻的描述进行行间或列间均值插值处理，分别得到丢失的2个或3个描述，即将与该描述相邻的描述的相邻两行或列元素相加后求平均，作为与丢失描述对应的行或列，这样，将插值处理的描述分别作为丢失的2个或3个描述，则所述恢复出的图像表示为：
S ′ = T 1 ′ T S 1 T 1 ′ + T 1 ′ T S 2 T 2 ′ + T 2 ′ T S 3 T 1 ′ + T 2 ′ T S 4 T 2 ′ .
若丢失的描述为2个或3个，且其中不包含第5个描述，则将4×S5减去没有丢失的描述，得到相减结果，将所述相减结果除以丢失描述的个数，将相除的结果作为丢失的各个描述；所述恢复出的图像表示为：
S ′ = T 1 ′ T S 1 T 1 ′ + T 1 ′ T S 2 T 2 ′ + T 2 ′ T S 3 T 1 ′ + T 2 ′ T S 4 T 2 ′
c、若丢失的描述为4个，则解码端对没有丢失的描述进行插值处理，得到恢复出的图像。
对于视频序列，视频序列由多个图像组(GOP，Group Of Picture)组成，每个GOP由多个图像帧组成，对于每一个GOP中的第一图像帧都进行图2所示方法的处理。
参见图4，为本发明实施例基于框架的多描述编解码方法的示例性流程例二，该方法包括以下步骤：
步骤401，对原始图像作多小波变换，得到低频部分各个子带和高频部分各个子带。
步骤402，将步骤401得到的低频部分各个子带和高频部分各个子带进行组合，形成多个描述。
步骤403，对所述多个描述进行编码，将编码后的数据发送给解码端。
下面通过图5、6、7和8对图4进行举例说明。
参见图5，为本发明实施例基于框架的多描述编解码方法的具体流程例二，该方法包括以下步骤：
步骤501、对原始图像进行多小波变换，得到低频各个子带和高频各个子带。
本步骤可以具体包括：
步骤5011，将一维离散的最初图像进行预处理，得到需要进行多描述编解码的原始图像。所述一维离散的图像表示为S，S＝{s0(n)}，其中n为整数。所述预处理为：将一维离散的图像变换为2×1的向量组信号，采用的具体实现方法可以是，将一维离散图像中相邻两项放在一起组成2×1的向量，预处理后的信号称为进行多描述编解码的原始图像，为S1， S 1 = { s 0 1 ( n ) = ( s 0 ( 2 n ) , s 0 ( 2 n + 1 ) ) T } .
步骤5012，对得到的所述原始图像进行多小波变换，得到低频各个子带和高频各个子带。该步骤可以具体包括：采用低通滤波器对原始图像进行低通滤波，得到低频系数s-1[n]， s - 1 [ n ] = Σ k l k - 2 n s 0 1 [ k ] , 该低频系数为2×1的向量；采用高通滤波器对原始图像进行高通滤波，得到高频系数d-1[n]， d - 1 [ n ] = Σ k h k - 2 n s 0 1 [ k ] , 该高频系数为2×1的向量；根据所述低频系数和高频系数得到低频各个子带和高频各个子带。
所述低通滤波器和高通滤波器的选择对步骤508恢复出的图像的质量有很大影响。这里以低通滤波器和高通滤波器的重数2，且都是2×2的矩阵为例来进行说明，该低通滤波器和高通滤波器可以为一组正交具有平衡性多小波框架对应的滤波器，其中低通滤波器表示为：L＝{l0，l1，...，lN-1}，高通滤波器表示为：H＝{h0，h1，...，hN-1}，li，hi都为2×2的矩阵。这里提供一组效果较佳的低通滤波器和高通滤波器：
低通滤波器： L ( z ) = 0.8279 0.5117 - 0.1208 0.1954 + 0.1954 - 0.1208 0.5117 0.8279 z - 1 .
高通滤波器： H ( z ) = - 0.5117 0.8279 - 0.1954 - 0.1208 + - 0.1208 - 0.1954 0.8279 - 0 . 5117 z - 1 .
假设执行步骤501后得到如表1所示的16个子带，在这16个子带中，L1L1、L1L2、L2L1、L2L2是低频子带，余下的12个子带是高频子带。与表1对应的各个子带的图像如图6所示。表1的16个自带对应的图像参见图6。
 
L1L1 L1L2 L1H1 L1H2
L2L1 L2L2 L2H1 L2H2
H1L1 H1L2 H1H1 H1H2
H2L1 H2L2 H2H1 H2H2
表1 进行多小波变换后的16个子带
步骤502，分别计算低频部分和高频部分中各个子带的能量。
步骤503，分别将低频部分和高频部分各个子带中能量相近的2个子带组成一组，在各组中分别选择一个组合成一个描述，形成多个描述。
本步骤具体包括：分别在低频部分和高频部分按能量进行分组，将能量相近的2个子带分为一组，在每组中抽取一个子带，把分别从低频部分和高频部分抽取的各个子带放在一起组成多描述的一个描述；按照前述方法形成多个描述。
所述将低频部分和高频部分各个子带中能量相近的2个子带组成一组的方法有多种实现方式，例如，以高频部分各个子带为例，可以首先将高频部分各个子带中能量最大的两个子带组成一组，再将剩下的各个子带中能量最大的两个子带组成一组，直到得到高频部分能量相近子带的所有组合。
对于视频序列，对于每一个GOP中的第一图像帧进行步骤502的能量计算，以及步骤503的分组，形成多描述。对于同一个GOP中的剩余图像帧，执行步骤501之后，执行步骤502、503时，若为了提高效率，可以不再计算各个子带的能量，也就是不执行502，直接采用步骤503第一图像子帧的分组方法，形成多个描述。
下面以执行步骤501之后得到表1所示的16个子带为例，对步骤503进行举例说明：
对于低频部分，通过计算得到的各个子带的能量，发现L1L1与L2L1能量相近，L1L2与L2L2相近。这样低频部分可分为两组：一组为L1L1、L2L1，一组为L1L2、L2L2。分别从这两组中各抽出一个子带，得到4个部分：L1L1 L1L2；L2L1 L1L2；L2L1 L2L2；L1L1 L2L2。
对于高频部分，通过计算得到的各个子带的能量，同样按照能量相近的原则分为三组：一组为L1H1、L1H2、L2H1和L2H2；一组为H1L1、H1L2、H2L1和H2L2；一组为H1H1、H1H2、H2H1和H2H2；每一组有4个子带。这样分别从这三组中抽取一个子带，得到4个部分：L1H1 H1L1 H1H1；L1H2H1L2 H1H2；L2H1 H2L1 H2H1；L2H2 H2L2 H2H2。
将从低频部分抽取得到的4个部分和从高频部分抽取得到的4个部分分别合并，得到4个描述，每个描述包括进1/2的低频部分和1/4的高频部分。合并后得到的4个描述可以有多种组合情况，下面的4个描述为其中一种情形：
描述一：L1L1 L1L2 L1H1 H1L1 H1H1
描述二：L1L2 L2L1 L1H2 H1L2 H1H2
描述三：L2L1 L2L2 L2H1 H2L1 H2H1
描述四：L2L2 L1L1 L2H2 H2L2 H2H2
可以看出，上述的4个描述中有4个子带是重复的，比步骤501中得到的16个子带多了4个，也就是框架冗余度为5/4。实际上对视觉敏感的4个低频子带便可以达到完全重构，丢失的1/4高频部分对视觉效果影响甚微。
步骤504，对于每一个描述，从其它描述中添加上本描述缺少的低频子带，得到添加后的各个描述。
步骤505，对所述添加后的各个描述作多小波逆变换，得到多小波变换后的图像。
所述多小波逆变换可以为： s ~ 0 [ n ] = Σ k l n - 2 k T s - 1 [ k ] + h n - 2 k T d - 1 [ k ] . 其中s-1[k]和d-1[k]分别为步骤501中解得到的低频系数和高频系数。
步骤506，对多小波逆变换后的图像分别进行图像编码，将图像编码后的数据传输给解码端。
本步骤中，所述图像编码可以采用现有的编码技术实现，如对于图像可以使用Jpeg2000技术，针对视频中的各帧图像可以使用H.264技术等实现。
步骤507，解码端对接收到的数据进行解码、多小波变换，得到没有丢失的添加后的描述。
每个添加后的描述为步骤504所述添加后的描述，包括3个高频子带和4个低频子带。
所述解码采用与步骤203中的编码相对应的技术，如针对图像可以使用Jpeg2000技术，以及现有的针对视频的各帧图像可以使用H.264技术等。
步骤508，解码端根据所述没有丢失的添加后的描述，得到低频部分的全部子带，以及高频部分的子带，两者相结合，得到结合信号；对所述结合信号做多小波逆变换，得到恢复出的图像。
下面分两种情况对本步骤进行说明：1)接收到的数据没有丢失的情况；2)接收到的数据有丢失的情况。
1)接收到的数据没有丢失的情况。此时，所述结合信号为表1所示高频部分全部子带和低频部分全部子带，得到恢复出的图像为所述原始图像的信号。
解码端接收的数据没有丢失，经过步骤504之后得到添加后的各个描述，由于每个描述部分的低频部分包括了完整的低频子带，选择其中一个描述部分的低频部分即可；对于每个描述部分的高频部分，每个描述部分包含的高频子带是不一样的，各自独立，将每个添加后的描述部分包含的高频子带进行组合在一起；将组合在一起的高频子带与选择的所述低频部分的全部各子带，结合在一起，得到结合信号，对其作多小波逆变换，便恢复出了原始图像的信号。
2)接收到的数据有丢失的情况。此时结合信号不完整，包括了低频部分所有子带和高频部分的部分子带，此时，须对结合信号中丢失的各个高频子带作补充处理如，补“0”或“1”。
下面以步骤503列举的4个描述的例子对2)进行具体说明。
由于每个添加后的描述的低频部分包括了完整的低频子带，通过任何一个添加后的描述得到全部低频子带；若丢失某一个添加后的描述，则丢失了相应的高频子带，例如丢失添加后的描述一时，对应丢失的就是L1H1、H1L1和H1H1这3个高频子带，丢失添加后的描述二时，对应丢失的是L1H2、H1L2和H1H2，丢失添加后的描述三，对应丢失的是L2H1、H2L1和H2H1，丢失添加后的描述四时，对应丢失的是L2H2、H2L2和H2H2。也就是丢失哪一个添加后的描述，对应丢失相应的高频子带。这种情况下，将全部低频子带和没有丢失的高频子带结合，对应丢失的高频子带作补充处理，所述补充处理可以是“0”或“1”等处理，得到补充处理后的结合信号，对补充处理后的结合信号做多小波逆变换，得到恢复出的图像。
实际上，对于极端的情况，也就是，丢失后只剩下一个添加后的描述的情况，此时，将其它添加后的描述包含的高频子带作补充处理，得到补充处理后的结合信号，对补充处理后的结合信号做多小波逆变换，得到恢复出的图像。因为只根据对于视觉敏感的全部低频子带作多小波逆变换得到的图像，便可以近似恢复出原始图像。这样，即使在只剩下一个添加后的描述的情况，也能很大程度地恢复出原始图像。
对于视频序列，逐帧图像进行图5的各个步骤即可。
参见图7，为本发明实施例基于框架的多描述编解码方法的具体流程例三，该方法包括以下步骤：
步骤701，与步骤501相同。
步骤702，将步骤701得到的低频部分各个子带和高频部分各个子带进行组合，形成多个描述。
假设执行步骤701后得到表1所示的16个子带，本步骤所述进行组合可根据需要实施，如：可以将12个高频子带均分为低频的4个部分；将低频子带组合为高频的4个部分，各个部分包括两个不同的低频子带，且该由低频子带组合出的4个部分所包含的八个子带中每个低频子带出现两次；将低频的4个部分和高频的4个部分分别合并，得到4个描述。
步骤703，对形成的各个描述分别进行编码，将编码后的数据发送给解码端。
本步骤中，所述编码可以采用现有的编码技术实现，如针对图像可以使用Jpeg2000技术，针对视频的各帧图像可以使用H.264技术等。
步骤704，解码端对接收到的编码后的数据进行解码，得到没有丢失的描述。
所述解码可以采用现有的解码技术实现，如针对图像可以使用Jpeg2000技术，针对视频的各帧图像可以使用H.264技术等。
步骤705，根据没有丢失的描述，得到低频部分的子带，以及高频部分的子带，两者相结合，得到结合信号；对所述结合信号做多小波逆变换，得到恢复出的图像。
参见图8，为本发明实施例基于框架的多描述编解码方法的具体流程例四，该方法包括以下步骤：
步骤801-803，与步骤501-503相同。
步骤804-806，与步骤703-705相同。
图5、6、7和8是对图4的具体举例说明。本发明实施例图4的方法，也可以运用于生成双描述的情况。此时，假设步骤401之后同样得到表1所示的16个子带，执行步骤402之后，形成2个描述，为：
描述一：L1L1 L1L2 L1H1 H1L1 H1H1 L1H2 H1L2 H1H2
描述二：L2L1 L2L2 L2H1 H2L1 H2H1 L2H2 H2L2 H2H2
执行步骤403时，从描述二中添加低频子带L2L1和L2L2到描述一中，从描述一中添加低频子带L1L1和L1L2到描述二中，这样得到添加后的描述一和添加后的描述二，为：
添加后的描述一：L1L1 L1L2 L2L1 L2L2 L1H1 H1L1 H1H1 L1H2 H1L2H1H2，
添加后的描述二：L1L1 L1L2 L2L1 L2L2 L2H1 H2L1 H2H1 L2H2 H2L2H2H2。
再分别对添加后的描述一、二作多小波逆变换，得到两幅与原图像大小相同的图像。
然后对多小波逆变换后的两幅图像分别进行编码，将编码后的数据传输给解码端。而后进行步骤704和705的处理即可。
本发明实施例还提供一种基于框架的编解码系统，如图9a所述，该系统包括编码端和解码端。
所述编码端，用于根据确定出的相位矩阵组一对原始图像进行相位框架分解，形成多个描述，所述相位矩阵组一中各个矩阵的行数为原始图像的一半、列数与原始图像相同；对形成的各个描述分别进行编码，将编码后的数据发送给解码端；
所述解码端，用于接收编码端发送的编码后的数据，根据确定出的相位矩阵组二，对没有丢失的描述进行相位框架合成逆变换，得到恢复出的图像；所述相位矩阵组二根据所述相位矩阵组一得到。
可选地，所述编码端包括多个描述形成模块、编码模块和发送模块。
所述多个描述形成模块，用于根据确定出的相位矩阵组一对原始图像进行相位框架分解，形成多个描述后发送给编码模块，所述相位矩阵组一中各个矩阵的行数为原始图像的一半、列数与原始图像相同；
所述编码模块，用于对形成的各个描述分别进行编码，将编码后的数据发送给发送模块；
所述发送模块，用于将编码后的数据发送给解码端。
可选地，所述多个描述形成模块包括相位矩阵组一确定模块和多个描述形成子模块；
所述相位矩阵组一确定模块，用于确定所述相位矩阵组一后发送给所述多个描述形成子模块，所述相位矩阵组一包括3个矩阵，表示为T1、T2和T3；
所述多个描述形成子模块，用于根据接收到的相位矩阵组一对原始图像进行相位框架分解，形成5个描述后发送给编码模块，所述5个描述为：S1＝T1ST1 T，S2＝T1ST2 T，S3＝T2ST1 T，S4＝T2ST2 T，S5＝T3ST3 T，其中S表示原始图像，S1表示描述一、S2表示描述二、S3表示描述三、S4表示描述四、S5表示描述五，T1 T表示T1的转置、T2 T表示T2的转置、T3 T表示T3的转置。
可选地，所述解码端包括接收模块和解码模块。
所述接收模块，用于接收编码端发送的编码后的数据；
所述解码模块，用于根据确定出的相位矩阵组二，对所述编码后的数据进行解码，得到没有丢失的描述，对没有丢失的描述进行相位框架合成逆变换，得到恢复出的图像；所述相位矩阵组二根据所述相位矩阵组一得到。
可选地，所述解码模块包括解码子模块和图像恢复子模块；
所述解码子模块，用于对所述编码后的数据进行解码，得到没有丢失的描述后传送给所述图像恢复子模块；若没有丢失描述，解码得到的描述包括描述一、描述二、描述三、描述四和描述五，分别表示为，S1＝T1ST1 T，S2＝T1ST2 T，S3＝T2ST1 T，S4＝T2ST2 T，S5＝T3ST3 T，其中S表示原始图像，S1表示描述一、S2表示描述二、S3表示描述三、S4表示描述四、S5表示描述五，T1、T2和T3表示相位矩阵组一包含的三个矩阵，T1 T表示T1的转置、T2 T表示T2的转置、T3 T表示T3的转置；所述没有丢失的描述为描述一、描述二、描述三、描述四和描述五；或者，所述没有丢失的描述为描述一、描述二、描述三和描述四；
所述图像恢复子模块，用于根据确定出的相位矩阵组二，对所述没有丢失的描述进行相位框架合成逆变换，得到恢复出的图像，表示为： S ′ = T 1 ′ T S 1 T 1 ′ + T 1 ′ T S 2 T 2 ′ + T 2 ′ T S 3 T 1 ′ + T 2 ′ T S 4 T 2 ′ , 其中S′表示恢复出的图像，
Figure A200710165529D00272
和
Figure A200710165529D00273
表示所述相位矩阵组二包含的2个矩阵，
Figure A200710165529D00281
表示
Figure A200710165529D00282
的转置、
Figure A200710165529D00283
表示
Figure A200710165529D00284
的转置；所述相位矩阵组二根据相位矩阵组一得到，相位矩阵组一中各个矩阵的行数为原始图像的一半，列数与原始图像相同。
可选地，所述解码模块包括解码子模块和图像恢复子模块；
所述解码子模块，用于对所述编码后的数据进行解码，得到没有丢失的描述后传送给所述图像恢复子模块；若没有丢失描述，解码得到的描述包括描述一、描述二、描述三、描述四和描述五，分别表示为，S1＝T1ST1 T，S2＝T1ST2 T，S3＝T2ST1 T，S4＝T2ST2 T，S5＝T3ST3 T，其中S表示原始图像，S1表示描述一、S2表示描述二、S3表示描述三、S4表示描述四、S5表示描述五，T1、T2和T3表示相位矩阵组一包含的三个矩阵，T1 T表示T1的转置、T2 T表示T2的转置、T3 T表示T3的转置；所述没有丢失的描述为描述一、描述二、描述三或描述四；
所述图像恢复子模块，用于将4×S5减去没有丢失的除描述五外的3个描述的结果作为所述丢失的描述，得到的恢复出的图像表示为：
S ′ = T 1 ′ T S 1 T 1 ′ + T 1 ′ T S 2 T 2 ′ + T 2 ′ T S 3 T 1 ′ + T 2 ′ T S 4 T 2 ′ , 其中S′表示恢复出的图像，和
Figure A200710165529D00287
表示所述相位矩阵组二包含的2个矩阵，
Figure A200710165529D00288
表示
Figure A200710165529D00289
的转置、
Figure A200710165529D002810
表示
Figure A200710165529D002811
的转置；所述相位矩阵组二根据相位矩阵组一得到，相位矩阵组一中各个矩阵的行数为原始图像的一半，列数与原始图像相同。
本发明实施例还提供另一种基于框架的编解码系统，如图9b所述，该系统包括编码端和解码端。
所述编码端，用于对原始图像作多小波变换，得到低频部分各个子带和高频部分各个子带；将所述低频部分各个子带和高频部分各个子带进行组合，形成多个描述；对所述多个描述进行编码，将编码后的数据发送给解码端；
所述解码端，用于接收编码端发送的编码后的数据，对所述编码后的数据进行解码，得到没有丢失的描述；根据所述没有丢失的描述，得到低频部分的子带，以及高频部分的子带，将两者相结合，得到结合信号；对结合信号做多小波逆变换，得到恢复出的图像。
可选地，所述编码端包括多个描述形成模块、编码模块和发送模块。
所述多个描述形成模块，用于对原始图像作多小波变换，得到低频部分各个子带和高频部分各个子带，将所述低频部分各个子带和高频部分各个子带进行组合，形成多个描述后发送给编码模块；
所述编码模块，用于对形成的多个描述进行编码，将编码后的数据发送给发送模块；
所述发送模块，用于将编码后的数据发送给解码端。
可选地，所述多个描述形成模块包括多小波变换子模块和多描述形成子模块。
所述多小波变换子模块，用于对原始图像作多小波变换，得到低频部分各个子带和高频部分各个子带，将得到的所述低频部分各个子带和高频部分各个子带发送给多描述形成子模块；
所述多描述形成子模块，用于分别将得到的所述低频部分各个子带和高频部分各个子带中能量相近的2个组成一组，在各组中分别选择一个组合成一个描述，形成所述多个描述。
可选地，所述编码模块包括编码子模块，用于对各个描述分别进行编码，得到所述编码后的数据。
可选地，所述编码模块包括编码子模块，用于从其它描述中添加上各个描述缺少的低频子带，得到添加后的各个描述，对所述添加后的各个描述作多小波逆变换，得到多小波变换后的图像；对多小波逆变换后的图像分别进行图像编码，图像编码后的数据为所述编码后的数据。
下面用图10-25对本发明实施例方案的实验效果进行说明。
参见图10，为采用图2的方法在不丢失描述时得到的压缩比-PSNR值示意图，该图示出了在不同压缩程度下不丢失描述时恢复出的图像PSNR值。可以看出，在不同压缩程度下PSNR值都很高，也就是在不同压缩程度下恢复出的图像质量都很高。
参见图11，为采用图2的方法在丢失一个描述时得到的压缩比-PSNR值示意图，该图示出了在不同压缩程度下丢失描述一、描述二、描述三或描述四时分别恢复出的图像PSNR值。图中用带短粗线的虚线表示了丢失描述一的压缩比-PSNR值，用带三角的虚线表示了丢失描述二的压缩比-PSNR值，用菱形的虚线表示了丢失描述三的压缩比-PSNR值，用带叉的实线表示了丢失描述四的压缩比-PSNR值，这四条线很接近，几乎重合在一起。可以看出，在不同压缩程度下丢失一个描述时PSNR值都很高，也就是恢复出的图像质量很高。
参见图12，为采用图2的方法在丢失前4个描述中的三个描述时得到的压缩比-PSNR值示意图，该图示出了在不同压缩程度下前4个描述中剩下描述一、前4个描述中剩下描述二、前4个描述中剩下描述三或前4个描述中剩下描述四时分别恢复出的图像PSNR值。图中用带菱形的实线表示了前4个描述中剩下描述一的压缩比-PSNR值，用带正方形的虚线表示了前4个描述中剩下描述二的压缩比-PSNR值，用三角的虚线表示了前4个描述中剩下描述三的压缩比-PSNR值，用带叉的虚线表示了前4个描述中剩下描述四的压缩比-PSNR值，这四条线很接近，几乎重合在一起。可以看出，在不同压缩程度下丢失前4个描述中的三个描述时PSNR值都很高，也就是恢复出的图像质量都很高。
参见图13，为采用图5的方法在不丢失描述时得到的压缩比-PSNR值示意图，该图示出了在不同压缩程度下不丢失描述时恢复出的图像PSNR值。可以看出，在不同压缩程度下PSNR值都很高，也就是在不同压缩程度下恢复出的图像质量都很高。
参见图14，为采用图5的方法在丢失一个描述时得到的压缩比-PSNR值示意图，该图示出了在不同压缩程度下丢失描述一、描述二、描述三或描述四时分别恢复出的图像PSNR值。图中用带菱形的实线表示了丢失描述一的压缩比-PSNR值，用带短粗线的虚线表示了丢失描述二的压缩比-PSNR值，用三角的虚线表示了丢失描述三的压缩比-PSNR值，用带叉的虚线表示了丢失描述四的压缩比-PSNR值，这四条线很接近，几乎重合在一起。可以看出，在不同压缩程度下丢失一个描述时PSNR值都很高，也就是恢复出的图像质量很高。
参见图15，为采用图5的方法在丢失三个描述时得到的压缩比-PSNR值示意图，该图示出了在不同压缩程度下剩下描述一、剩下描述二、剩下描述三或剩下描述四时分别恢复出的图像PSNR值。图中用带菱形的虚线表示了剩下描述一的压缩比-PSNR值，用带正方形的虚线表示了剩下描述二的压缩比-PSNR值，用三角的虚线表示了剩下描述三的压缩比-PSNR值，用带叉的虚线表示了剩下描述四的压缩比-PSNR值，这四条线很接近，几乎重合在一起。可以看出，在不同压缩程度下丢失三个描述时PSNR值都很高，也就是恢复出的图像质量很高。
参见图16，为对于视频序列，采用图1的方法和采用图4的方法得到的帧数-PSNR值示意图，该图示出了对于不同帧数的情况，采用相位框架方法生成3、5描述，采用多小波框架方法生成4、2描述时对应的PSNR值。图1的方法也就是基于相位框架的多描述编解码方法，图4的方法也就是基于多小波框架的多描述编解码方法，这里将图1的方法简称为相位框架方法，将图4的方法简称为多小波框架方法。图中用带正方形的实线表示了采用相位框架方法编码端生成5描述时的压缩比-PSNR值，用菱形的实线表示了采用相位框架方法编码端生成3描述时的压缩比-PSNR值，用三角的虚线表示了采用多小波框架方法编码端生成4描述时的压缩比-PSNR值，用短粗线的虚线表示了采用多小波框架方法编码端生成2描述时的压缩比-PSNR值，这四条线很接近，有的部分重合在一起。可以看出，对于视频序列，在不同帧数的情况下PSNR值都很高，也就是恢复出的图像质量很高。
参见图17，为不丢包时分别采用图1的方法和图4的方法得到的压缩比-PSNR值示意图。图中用带菱形的实线表示了采用多小波框架方法下得到的压缩比-PSNR值，用正方形的虚线表示了采用相位框架方法下得到的压缩比-PSNR值。可以看出，采用图1的方法得到的PSNR值比采用图4的方法得到的PSNR值更高，也就是采用图1的方法恢复出的图像质量比采用图4的方法恢复出的图像质量高。
参见图18，为丢失描述一时分别采用图1的方法和图4的方法得到的压缩比-PSNR值示意图。
参见图19，为丢失描述二时分别采用图1的方法和图4的方法得到的压缩比-PSNR值示意图。
参见图20，为丢失描述三时分别采用图1的方法和图4的方法得到的压缩比-PSNR值示意图。
参见图21，为丢失描述四时分别采用图1的方法和图4的方法得到的压缩比-PSNR值示意图。
参见图22，为丢失三个描述时分别采用图1的方法和图4的方法得到的压缩比-PSNR值示意图。
图18至图22中，用带菱形的实线表示了采用多小波框架方法下得到的相应压缩比-PSNR值，用正方形的实线表示了采用相位框架方法下得到的相应压缩比-PSNR值。
参见图23，为对于视频序列，分别采用图1的方法丢失两个描述和采用图4的方法丢失一个描述时压缩比-PSNR值示意图。图中用虚线表示了采用相位框架方法编码端生成5描述而解码端接收的数据丢失两个描述的情况下的压缩比-PSNR值，用实线表示了采用多小波框架方法编码端生成4描述而解码端接收的数据丢失一个描述的情况下的压缩比-PSNR值，这两条线很接近，有的部分重合在一起。
由图17-23的比较可见看出，图1的方法和图4的方法，也就是基于相位框架的多描述编解码方法和基于多小波框架的多描述编解码方法，两者各有优劣，在压缩比不是很大的情况下，基于相位框架的多描述编解码方法优于基于多小波框架的多描述编解码方法；在压缩比较大的情况下，基于多小波框架的多描述编解码方法优于基于相位框架的多描述编解码。
参见图24，为采用图4的方法生成双描述时不丢包情况下压缩比-PSNR值示意图。该图示出了在不同压缩程度下不丢失描述时分别恢复出的图像PSNR值。可以看出，在不同压缩程度下PSNR值都很高，也就是在不同压缩程度下恢复出的图像质量都很高。
参见图25，为采用图4的方法生成双描述时丢失一个描述情况下压缩比-PSNR值示意图。该图示出了在不同压缩程度下丢失一个描述时分别恢复出的图像PSNR值。可以看出，在不同压缩程度下丢失一个描述时PSNR值都很高，也就是恢复出的图像质量很高。
除上述举例涉及到的多个描述为5个描述、4个描述和2个描述的情况外，根据需要，本发明实施例还可运用于多个描述为其它个数的情况，如3个描述、6个描述或更多个描述的情况。这里不一一列举。
本发明实施例根据确定出的相位矩阵组一对原始图像进行相位框架分解，形成多个描述，对所述多描述进行编码；或者，对原始图像作多小波变换，得到低频部分各个子带和高频部分各个子带；将所述低频部分各个子带和高频部分各个子带进行组合，形成多个描述，再对所述多个描述进行编码。本发明实施例方案在传输过程中，若丢失某一帧数据，根据其它帧仍然能够恢复出质量很高的图像。并且，本发明实施例提供了完善的基于多小波框架的多描述编解码技术。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (27)

1、一种基于框架的多描述编解码方法，其特征在于，该方法包括：
根据确定出的相位矩阵组一对原始图像进行相位框架分解，形成多个描述；所述相位矩阵组一中各个矩阵的行数为原始图像的一半、列数与原始图像相同；
对形成的各个描述分别进行编码，将编码后的数据发送给解码端。
2、如权利要求1所述的方法，其特征在于，所述将编码后的数据发送给解码端之后，该方法包括：
解码端对所述编码后的数据进行解码，得到没有丢失的描述；
解码端根据确定出的相位矩阵组二，对没有丢失的描述进行相位框架合成逆变换，得到恢复出的图像；所述相位矩阵组二根据所述相位矩阵组一得到，相位矩阵组二中各个矩阵的行数为原始图像的一半，列数与原始图像相同。
3、如权利要求2所述的方法，其特征在于，所述多个描述为5个描述，所述相位矩阵组一包括3个矩阵，表示为T1、T2和T3；
所述5个描述为： S 1 = T 1 ST 1 T , S 2 = T 1 ST 2 T , S 3 = T 2 ST 1 T , S 4 = T 2 ST 2 T , S 5 = T 3 ST 3 T , 其中S表示原始图像，S1表示描述一、S2表示描述二、S3表示描述三、S4表示描述四、S5表示描述五，T1 T表示T1的转置、T2 T表示T2的转置、T3 T表示T3的转置；
所述相位矩阵组二包括2个矩阵，表示为
Figure A200710165529C00029
和
4、如权利要求3所述的方法，其特征在于，所述没有丢失的描述为所述5个描述，或者所述没有丢失的描述为描述一、描述二、描述三和描述四，所述恢复出的图像表示为：
S ′ = T 1 ′ T S 1 T 1 ′ + T 1 ′ T S 2 T 2 ′ + T 2 ′ T S 3 T 1 ′ + T 2 ′ T S 4 T 2 ′ , 其中S′表示恢复出的图像，
Figure A200710165529C000212
表示的转置、表示的转置。
5、如权利要求3所述的方法，其特征在于，所述得到没有丢失的描述之后，该方法包括：根据所述没有丢失的描述判断出丢失的描述为描述一、描述二、描述三或描述四；
所述根据确定出的相位矩阵组二，对没有丢失的描述进行相位框架合成逆变换，得到恢复出的图像的方法包括：将4×S5减去没有丢失的除描述五外的3个描述的结果作为所述丢失的描述，得到的恢复出的图像表示为：
S ′ = T 1 ′ T S 1 T 1 ′ + T 1 ′ T S 2 T 2 ′ + T 2 ′ T S 3 T 1 ′ + T 2 ′ T S 4 T 2 ′ , 其中S′表示恢复出的图像，
Figure A200710165529C00032
表示
Figure A200710165529C00033
的转置、
Figure A200710165529C00034
表示
Figure A200710165529C00035
的转置。
6、如权利要求3所述的方法，其特征在于，所述得到没有丢失的描述之后，该方法包括：根据所述没有丢失的描述判断出丢失的描述为2个或3个；
所述根据确定出的相位矩阵组二，对没有丢失的描述进行相位框架合成逆变换，得到恢复出的图像的方法包括：分别将与丢失的描述相邻的描述进行行间或列间均值插值处理，作为丢失的各个描述，得到的恢复出的图像表示为：
S ′ = T 1 ′ T S 1 T 1 ′ + T 1 ′ T S 2 T 2 ′ + T 2 ′ T S 3 T 1 ′ + T 2 ′ T S 4 T 2 ′ , 其中S′表示恢复出的图像，
Figure A200710165529C00037
表示
Figure A200710165529C00038
的转置、
Figure A200710165529C00039
表示
Figure A200710165529C000310
的转置。
7、如权利要求3所述的方法，其特征在于，所述得到没有丢失的描述之后，该方法包括：根据所述没有丢失的描述判断出丢失的描述为2个或3个，且其中不包含第5个描述；
所述根据确定出的相位矩阵组二，对没有丢失的描述进行相位框架合成逆变换，得到恢复出的图像的方法包括：
将4×S5减去没有丢失的描述，将相减结果除以丢失描述的个数，将相除的结果分别作为丢失的各个描述，得到的恢复出的图像表示为：
S ′ = T 1 ′ T S 1 T 1 ′ + T 1 ′ T S 2 T 2 ′ + T 2 ′ T S 3 T 1 ′ + T 2 ′ T S 4 T 2 ′ , 其中S′表示恢复出的图像，
Figure A200710165529C000312
表示
Figure A200710165529C000313
的转置、
Figure A200710165529C000314
表示
Figure A200710165529C000315
的转置。
8、如权利要求3至7中任一项所述的方法，其特征在于，所述T1、T2和T3分别为：
Figure A200710165529C00041
Figure A200710165529C00043
其中0≤a≤1， a ≠ 1 2 , T1、T2和T3中行数为原始图像的一半、列数与原始图像相同。
9、如权利要求1所述的方法，其特征在于，所述将编码后的数据发送给解码端之后，该方法包括：
解码端对所述编码后的数据进行解码，得到没有丢失的描述，所述没有丢失的描述为一个；
解码端对所述没有丢失的描述进行插值处理，得到恢复出的图像。
10、一种基于框架的多描述编解码方法，其特征在于，该方法包括：
对原始图像作多小波变换，得到低频部分各个子带和高频部分各个子带；
将所述低频部分各个子带和高频部分各个子带进行组合，形成多个描述；
对所述多个描述进行编码，将编码后的数据发送给解码端。
11、如权利要求10所述的方法，其特征在于，所述将所述低频部分各个子带和高频部分各个子带进行组合，形成多个描述的方法包括：
分别将得到的所述低频部分各个子带和高频部分各个子带中能量相近的2个组成一组，在各组中分别选择一个组合成一个描述，形成多个描述。
12、如权利要求10或11所述的方法，其特征在于，所述对所述多个描述进行编码的方法包括：对各个描述分别进行编码。
13、如权利要求11所述的方法，其特征在于，所述对所述多个描述进行编码，将编码后的数据发送给解码端的方法包括：
对于每一个描述，从其它描述中添加上本描述缺少的低频子带，得到添加后的各个描述，对所述添加后的各个描述作多小波逆变换，得到多小波变换后的图像；对多小波逆变换后的图像分别进行图像编码，将图像编码后的数据传输给解码端。
14、如权利要求12所述的方法，其特征在于，所述将编码后的数据发送给解码端之后，该方法包括：
解码端对所述编码后的数据进行解码，得到没有丢失的描述；
根据所述没有丢失的描述，得到低频部分的子带，以及高频部分的子带，两者相结合，得到结合信号，对结合信号中丢失的低频部分的子带或/和丢失的高频部分的子带做补充处理；对补充处理后的结合信号做多小波逆变换，得到恢复出的图像。
15、如权利要求13所述的方法，其特征在于，所述将编码后的数据发送给解码端之后，该方法包括：
解码端对所述编码后的数据进行图像解码、多小波变换，得到没有丢失的添加后的描述；
根据所述没有丢失的添加后的描述，得到低频部分的全部子带，以及高频部分的子带，两者相结合，得到结合信号，对结合信号中丢失的高频部分的子带做补充处理；对补充处理后的结合信号做多小波逆变换，得到恢复出的图像。
16、一种基于框架的多描述编解码系统，其特征在于，该系统包括编码端和解码端；
所述编码端，用于根据确定出的相位矩阵组一对原始图像进行相位框架分解，形成多个描述，所述相位矩阵组一中各个矩阵的行数为原始图像的一半、列数与原始图像相同；对形成的各个描述分别进行编码，将编码后的数据发送给解码端；
所述解码端，用于接收编码端发送的编码后的数据，根据确定出的相位矩阵组二，对没有丢失的描述进行相位框架合成逆变换，得到恢复出的图像；所述相位矩阵组二根据所述相位矩阵组一得到。
17、一种基于框架的多描述编解码系统，其特征在于，该系统包括编码端和解码端；
所述编码端，用于对原始图像作多小波变换，得到低频部分各个子带和高频部分各个子带；将所述低频部分各个子带和高频部分各个子带进行组合，形成多个描述；对所述多个描述进行编码，将编码后的数据发送给解码端；
所述解码端，用于接收编码端发送的编码后的数据，对所述编码后的数据进行解码，得到没有丢失的描述；根据所述没有丢失的描述，得到低频部分的子带，以及高频部分的子带，将两者相结合，得到结合信号；对结合信号做多小波逆变换，得到恢复出的图像。
18、一种基于框架的多描述编码装置，其特征在于，该装置包括多个描述形成模块、编码模块和发送模块；
所述多个描述形成模块，用于根据确定出的相位矩阵组一对原始图像进行相位框架分解，形成多个描述后发送给编码模块，所述相位矩阵组一中各个矩阵的行数为原始图像的一半、列数与原始图像相同；
所述编码模块，用于对形成的各个描述分别进行编码，将编码后的数据发送给发送模块；
所述发送模块，用于将编码后的数据发送给解码端。
19、如权利要求18所述的装置，其特征在于，所述多个描述形成模块包括相位矩阵组一确定模块和多个描述形成子模块；
所述相位矩阵组一确定模块，用于确定所述相位矩阵组一后发送给所述多个描述形成子模块，所述相位矩阵组一包括3个矩阵，表示为T1、T2和T3；
所述多个描述形成子模块，用于根据接收到的相位矩阵组一对原始图像进行相位框架分解，形成5个描述后发送给编码模块，所述5个描述为： S 1 = T 1 ST 1 T , S 2 = T 1 ST 2 T , S 3 = T 2 ST 1 T , S 4 = T 2 ST 2 T , S 5 = T 3 ST 3 T , 其中S表示原始图像，S1表示描述一、S2表示描述二、S3表示描述三、S4表示描述四、S5表示描述五，T1 T表示T1的转置、T2 T表示T2的转置、T3 T表示T3的转置。
20、一种基于框架的多描述解码装置，其特征在于，该装置包括接收模块和解码模块；
所述接收模块，用于接收编码端发送的编码后的数据；
所述解码模块，用于根据确定出的相位矩阵组二，对所述编码后的数据进行解码，得到没有丢失的描述，对没有丢失的描述进行相位框架合成逆变换，得到恢复出的图像；所述相位矩阵组二根据相位矩阵组一得到，相位矩阵组一中各个矩阵的行数为原始图像的一半，列数与原始图像相同。
21、如权利要求20所述的装置，其特征在于，所述解码模块包括解码子模块和图像恢复子模块；
所述解码子模块，用于对所述编码后的数据进行解码，得到没有丢失的描述后传送给所述图像恢复子模块；若没有丢失描述，解码得到的描述包括描述一、描述二、描述三、描述四和描述五，分别表示为， S 1 = T 1 ST 1 T , S 2 = T 1 ST 2 T , S 3 = T 2 ST 1 T , S 4 = T 2 ST 2 T , S 5 = T 3 ST 3 T , 其中S表示原始图像，S1表示描述一、S2表示描述二、S3表示描述三、S4表示描述四、S5表示描述五，T1、T2和T3表示相位矩阵组一包含的三个矩阵，T1 T表示T1的转置、T2 T表示T2的转置、T3 T表示T3的转置；所述没有丢失的描述为描述一、描述二、描述三、描述四和描述五；或者，所述没有丢失的描述为描述一、描述二、描述三和描述四；
所述图像恢复子模块，用于根据确定出的相位矩阵组二，对所述没有丢失的描述进行相位框架合成逆变换，得到恢复出的图像，表示为： S ′ = T 1 ′ T S 1 T 1 ′ + T 1 ′ T S 2 T 2 ′ + T 2 ′ T S 3 T 1 ′ + T 2 ′ T S 4 T 2 ′ , 其中S′表示恢复出的图像，
Figure A200710165529C000718
和
Figure A200710165529C000719
表示所述相位矩阵组二包含的2个矩阵，
Figure A200710165529C000720
表示的转置、
Figure A200710165529C000722
表示
Figure A200710165529C000723
的转置；所述相位矩阵组二根据相位矩阵组一得到，相位矩阵组一中各个矩阵的行数为原始图像的一半，列数与原始图像相同。
22、如权利要求20所述的装置，其特征在于，所述解码模块包括解码子模块和图像恢复子模块；
所述解码子模块，用于对所述编码后的数据进行解码，得到没有丢失的描述后传送给所述图像恢复子模块；若没有丢失描述，解码得到的描述包括描述一、描述二、描述三、描述四和描述五，分别表示为， S 1 = T 1 ST 1 T , S 2 = T 1 ST 2 T , S 3 = T 2 ST 1 T , S 4 = T 2 ST 2 T , S 5 = T 3 ST 3 T , 其中S表示原始图像，S1表示描述一、S2表示描述二、S3表示描述三、S4表示描述四、S5表示描述五，T1、T2和T3表示相位矩阵组一包含的三个矩阵，T1 T表示T1的转置、T2 T表示T2的转置、T3 T表示T3的转置；所述没有丢失的描述为描述一、描述二、描述三或描述四；
所述图像恢复子模块，用于将4×S5减去没有丢失的除描述五外的3个描述的结果作为所述丢失的描述，得到的恢复出的图像表示为：
S ′ = T 1 ′ T S 1 T 1 ′ + T 1 ′ T S 2 T 2 ′ + T 2 ′ T S 3 T 1 ′ + T 2 ′ T S 4 T 2 ′ , 其中S′表示恢复出的图像，
Figure A200710165529C000810
和
Figure A200710165529C000811
表示所述相位矩阵组二包含的2个矩阵，表示
Figure A200710165529C000813
的转置、表示
Figure A200710165529C000815
的转置；所述相位矩阵组二根据相位矩阵组一得到，相位矩阵组一中各个矩阵的行数为原始图像的一半，列数与原始图像相同。
23、一种基于框架的多描述编码装置，其特征在于，该装置包括多个描述形成模块、编码模块和发送模块；
所述多个描述形成模块，用于对原始图像作多小波变换，得到低频部分各个子带和高频部分各个子带，将所述低频部分各个子带和高频部分各个子带进行组合，形成多个描述后发送给编码模块；
所述编码模块，用于对形成的多个描述进行编码，将编码后的数据发送给发送模块；
所述发送模块，用于将编码后的数据发送给解码端。
24、如权利要求23所述的装置，其特征在于，所述多个描述形成模块包括多小波变换子模块和多描述形成子模块；
所述多小波变换子模块，用于对原始图像作多小波变换，得到低频部分各个子带和高频部分各个子带，将得到的所述低频部分各个子带和高频部分各个子带发送给多描述形成子模块；
所述多描述形成子模块，用于分别将得到的所述低频部分各个子带和高频部分各个子带中能量相近的2个组成一组，在各组中分别选择一个组合成一个描述，形成所述多个描述。
25、如权利要求23所述的装置，其特征在于，所述编码模块包括编码子模块，用于对各个描述分别进行编码，得到所述编码后的数据。
26、如权利要求23所述的装置，其特征在于，所述编码模块包括编码子模块，用于从其它描述中添加上各个描述缺少的低频子带，得到添加后的各个描述，对所述添加后的各个描述作多小波逆变换，得到多小波变换后的图像；对多小波逆变换后的图像分别进行图像编码，图像编码后的数据为所述编码后的数据。
27、一种基于框架的多描述解码装置，其特征在于，该装置包括接收模块和解码模块；
所述接收模块，用于接收编码端发送的编码后的数据；
所述解码模块，用于对所述编码后的数据进行解码，得到没有丢失的描述；根据所述没有丢失的描述，得到低频部分的子带，以及高频部分的子带，将两者相结合，得到结合信号；对结合信号做多小波逆变换，得到恢复出的图像。
CN 200710165529 2007-10-26 2007-10-26 基于框架的多描述编解码方法和装置 Expired - Fee Related CN101420607B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN 200710165529 CN101420607B (zh) 2007-10-26 2007-10-26 基于框架的多描述编解码方法和装置
PCT/CN2008/072842 WO2009056071A1 (en) 2007-10-26 2008-10-27 A multiple description coding and decoding method, system and apparatus based on frame

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200710165529 CN101420607B (zh) 2007-10-26 2007-10-26 基于框架的多描述编解码方法和装置

Publications (2)

Publication Number Publication Date
CN101420607A true CN101420607A (zh) 2009-04-29
CN101420607B CN101420607B (zh) 2010-11-10

Family

ID=40590569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200710165529 Expired - Fee Related CN101420607B (zh) 2007-10-26 2007-10-26 基于框架的多描述编解码方法和装置

Country Status (2)

Country Link
CN (1) CN101420607B (zh)
WO (1) WO2009056071A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970616A (zh) * 2012-12-04 2013-03-13 华为技术有限公司 一种传输视频的方法及装置
CN104602027A (zh) * 2015-02-03 2015-05-06 苏州科技学院 基于标量量化分割的视频多描述编码方法及系统
CN110740380A (zh) * 2019-10-16 2020-01-31 腾讯科技（深圳）有限公司 视频处理方法和装置、存储介质及电子装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004014083A1 (en) * 2002-07-31 2004-02-12 Koninklijke Philips Electronics N.V. Method and apparatus for performing multiple description motion compensation using hybrid predictive codes
CN1225910C (zh) * 2002-09-26 2005-11-02 华为技术有限公司 一种视频编码方法
US20100033622A1 (en) * 2004-03-24 2010-02-11 Erwin Bellers Multiple description coding video transmission using de-interlacing mechanisms
EP1615441A1 (en) * 2004-07-06 2006-01-11 STMicroelectronics S.r.l. Multiple description coding combined with channel encoding
EP1638337A1 (en) * 2004-09-16 2006-03-22 STMicroelectronics S.r.l. Method and system for multiple description coding and computer program product therefor
CN1633180A (zh) * 2004-12-24 2005-06-29 海信集团有限公司 基于变换和数据融合的多描述视频编码方法
CN100388790C (zh) * 2005-09-01 2008-05-14 南京信风软件有限公司 快速全息编解码方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970616A (zh) * 2012-12-04 2013-03-13 华为技术有限公司 一种传输视频的方法及装置
CN102970616B (zh) * 2012-12-04 2015-04-29 华为技术有限公司 一种传输视频的方法及装置
CN104602027A (zh) * 2015-02-03 2015-05-06 苏州科技学院 基于标量量化分割的视频多描述编码方法及系统
CN110740380A (zh) * 2019-10-16 2020-01-31 腾讯科技（深圳）有限公司 视频处理方法和装置、存储介质及电子装置

Also Published As

Publication number Publication date
CN101420607B (zh) 2010-11-10
WO2009056071A1 (en) 2009-05-07

Similar Documents

Publication Publication Date Title
CN103501441B (zh) 一种基于人类视觉系统的多描述视频编码方法
CN101340261B (zh) 多描述编码和多描述解码的方法、装置及系统
JP2527874B2 (ja) 局所的デ―タ損失に対する頑強性を圧縮化画像デ―タに付与するための装置
CN103607591A (zh) 结合超分辨率重建的图像压缩方法
CN107463989A (zh) 一种基于深度学习的图像去压缩伪影方法
EP1596606B1 (en) Variable support robust transform for multiple description coding
CN105408935A (zh) 上采样和信号增强
CN101420607B (zh) 基于框架的多描述编解码方法和装置
CN109922339A (zh) 结合多采样率下采样和超分辨率重建技术的图像编码框架
CN105657434A (zh) 基于数模混合的大数据辅助视频传输方法
CN104661023B (zh) 基于预失真和训练滤波器的图像或视频编码方法
CN102227133B (zh) 一种立体视频传输方法
CN105049880A (zh) 一种视频信号调制中的非平等保护方法
CN102769744B (zh) 一种卫星图像的编码方法
CN104683814A (zh) 面向视觉感官质量的图像传输方法和装置
CN111510721B (zh) 基于空间下采样的多描述编码高质量边重建方法
CN104346819B (zh) 基于限定小波大纲的最大误差图像压缩方法
CN107071447A (zh) 一种dvc中基于二次边信息的相关噪声建模方法
Malviya et al. 2D-discrete walsh wavelet transform for image compression with arithmetic coding
CN106131575A (zh) 基于小波变换与孙子定理相结合的图像压缩方法
CN104144347A (zh) 一种基于可逆数据隐藏的h.264/avc视频i帧错误恢复方法
Jamel Efficiency Spiht in compression and quality of image
Farzamnia et al. Error concealment using joint multiple description coding and zero padding
Singh et al. Comparative Analysis of Transform based Lossy Image Compression Techniques
Ravi et al. Optimized two dimensional wavelet filter from BAT algorithm

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20101110

Termination date: 20121026