CN104053012A - 一种基于字典库的视频编解码方法及装置 - Google Patents

一种基于字典库的视频编解码方法及装置 Download PDF

Info

Publication number
CN104053012A
CN104053012A CN201410231054.9A CN201410231054A CN104053012A CN 104053012 A CN104053012 A CN 104053012A CN 201410231054 A CN201410231054 A CN 201410231054A CN 104053012 A CN104053012 A CN 104053012A
Authority
CN
China
Prior art keywords
image
dictionary
block
texture
distortion information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410231054.9A
Other languages
English (en)
Other versions
CN104053012B (zh
Inventor
王荣刚
赵洋
王振宇
高文
王文敏
董胜富
黄铁军
马思伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to CN201410231054.9A priority Critical patent/CN104053012B/zh
Publication of CN104053012A publication Critical patent/CN104053012A/zh
Application granted granted Critical
Publication of CN104053012B publication Critical patent/CN104053012B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种基于字典库的视频编解码方法及装置,该编码方法包括:将视频流中待编码的当前图像帧划分为若干图像块;采用纹理字典库的方式恢复当前图像帧前一帧的解码重建图像的编码失真信息,以得到恢复编码失真信息后的图像,并将恢复编码失真信息后的图像作为参考图像进行时域预测,得到待编码块的预测块;纹理字典库包括清晰图像字典和与所述清晰图像字典对应的失真图像字典;将待编码块与预测块相减得到残差块,对残差块进行处理得到视频码流。本申请提供的编解码方法及装置采用纹理字典库的方式恢复作为对待编码块(待解码块)进行预测的参考图像的编码失真信息,使得待编码块(待解码块)的预测块更加准确,从而提高编解码效率。

Description

一种基于字典库的视频编解码方法及装置
技术领域
本申请涉及视频编解码领域,具体涉及一种基于字典库的视频编解码方法及装置。
背景技术
目前,主流的视频编码标准如JPEG、MPEG-2、AVS、H.264、HEVC等都采用了混合编码框架,通过不断挖掘图像与视频的时空域相关性,提高视频的压缩效率。
传统的编码方法利用的仍然是待编码图像与视频自身的信息冗余,随着编码技术的不断进步,待编码图像与视频自身的时空域相关性被充分利用,冗余度不断降低,但同时,压缩效率进一步提升的空间越来越小。借助待编码图像与视频之外的信息,对待编码图像和视频信息进行预测,从而降低待编码图像与视频本身的信息量,是大幅度提高图像与视频压缩效率的新方向。
提高预测效率是提高视频编码效率的关键,为了使编码端和解码端的预测值保持一致,编解码器普遍采用待编码的当前图像帧前一帧的解码重建图像作为参考图像进行时域预测,得到待编码块的预测块。由于在有损编码中,解码重建图像普遍存在量化噪声,损失了高频信息,预测效率会受到损失。
在视频编码中,视频流被划分若干图像帧,对待编码的当前图像帧分成若干图像块,对于每个图像块,采用时域或空域预测的方式,得到该图像块的预测块;用待编码块减去相应的预测块得到残差块;对残差块进行变换、量化和熵编码等操作得到压缩后的码流。为了使编码端和解码端对应图像块的预测块保持一致,编码端需要基于前一图像帧的解码重建图像(参考图像)得到待编码块的预测块,因此在编码端需要对前一图像帧进行解码重建,以得到参考图像,为了提升解码重建图像的质量,一般采用环内滤波抑制解码重建图像部分噪声(如块效应等)。
发明内容
本申请提供了一种基于字典库的视频编解码方法及装置,采用纹理字典库的方式恢复作为对待编码块(待解码块)进行预测的参考图像的编码失真信息,使得待编码块(待解码块)的预测块更加准确,从而提高编解码效率。
本申请提供了一基于字典库的视频编码方法,包括:
将视频流中待编码的当前图像帧划分为若干图像块。
采用纹理字典库的方式恢复当前图像帧前一帧的解码重建图像的编码失真信息,以得到恢复编码失真信息后的图像,并将恢复编码失真信息后的图像作为参考图像进行时域预测,得到待编码块的预测块;所述纹理字典库包括清晰图像字典和与所述清晰图像字典对应的失真图像字典。
将待编码块与预测块相减得到残差块,对所述残差块进行处理得到视频码流。
本申请还提供了一种基于字典库的视频解码方法,包括:
将获取的视频码流进行处理得到待解码的当前图像帧中待解码块的残差块。
采用纹理字典库的方式恢复当前图像帧前一帧的解码重建图像的编码失真信息,以得到恢复编码失真信息后的图像,并将恢复编码失真信息后的图像作为参考图像进行时域预测,得到待解码块的预测块;所述纹理字典库包括清晰图像字典和与所述清晰图像字典对应的失真图像字典。
将预测块与残差块相加得到待解码块的解码重建块。
本申请还提供了一种基于字典库的视频编码装置,其特征在于,包括:
图像块划分单元,用于将视频流中待编码的当前图像帧划分为若干图像块。
图像增强单元,用于采用纹理字典库的方式恢复当前图像帧前一帧的解码重建图像的编码失真信息,以得到恢复编码失真信息后的图像,并将恢复编码失真信息后的图像作为参考图像;所述纹理字典库包括清晰图像字典和与所述清晰图像字典对应的失真图像字典。
预测单元,用于根据所述参考图像进行时域预测,得到待编码块的预测块。
残差块获取单元,用于将待编码块与预测块相减得到残差块。
处理单元,用于对所述残差块进行处理,以得到视频码流。
本申请还提供了一种基于字典库的视频解码装置,包括:
处理单元,用于将获取的视频码流进行处理得到待解码的当前图像帧中待解码块的残差块。
图像增强单元,用于采用纹理字典库的方式恢复当前图像帧前一帧的解码重建图像的编码失真信息,以得到恢复编码失真信息后的图像,并将恢复编码失真信息后的图像将作为参考图像;所述纹理字典库包括清晰图像字典和与所述清晰图像字典对应的失真图像字典。
预测单元,用于根据所述参考图像进行时域预测,得到待解码块的预测块。
输出单元,用于将所述预测块与残差块相加得到待解码块的解码重建块。
本申请提供的一种基于字典库的视频编码方法和装置中,采用纹理字典库的方式恢复当前图像帧前一帧的解码重建图像的编码失真信息,并将恢复编码失真信息后的图像作为参考图像进行时域预测,得到待编码块的预测块,该方法和装置可以恢复参考图像的编码失真信息,使得待编码块的预测块更加准确,从而提高编码效率。
本申请提供的一种基于字典库的视频解码方法和装置中,采用纹理字典库的方式恢复当前图像帧前一帧的解码重建图像的编码失真信息,并将恢复编码失真信息后的图像作为参考图像进行时域预测,得到待解码块的预测块,该方法和装置可以恢复参考图像的编码失真信息,使得待解码块的预测块更加准确,从而提高解码效率。
附图说明
图1为本申请一种实施例中基于字典库的视频编码方法流程图;
图2为本申请一种实施例中基于字典库的视频编码方法的编码框架图;
图3a-3d为本申请一种实施例中图像块局部纹理结构的特征提取示意图;
图4为本申请一种实施例中基于字典库的视频编码装置的结构图。
图5为本申请一种实施例中基于字典库的视频解码方法流程图;
图6为本申请一种实施例中基于字典库的视频解码方法的解码框架图;
图7为本申请一种实施例中基于字典库的视频解码装置的结构图。
具体实施方式
下面通过具体实施方式结合附图对本申请作进一步详细说明。
实施例一
请参考图1和图2,图1为本实施例中基于字典库的视频编码方法流程图,图2为本实施例中基于字典库的视频编码方法的编码框架图。本实施例提供的基于字典库的视频编码方法,包括:
步骤101:将视频流中待编码的当前图像帧划分为若干图像块。
步骤102:采用纹理字典库的方式恢复待编码当前图像帧前一帧的解码重建图像的编码失真信息,以得到恢复编码失真信息后的图像,并将恢复编码失真信息后的图像作为参考图像。编码失真信息包括高频信息。
在具体实施例中,纹理字典可以为预先训练得到,纹理字典的训练包括以下步骤:选取清晰图像中的局部块;选择清晰图像的量化失真图像上对应的局部块;提取清晰图像中的局部块与量化失真图像上对应的局部块的特征对,以构成清晰图像字典Dh和失真图像字典Dl
局部块的特征对中,局部块的特征包括局部纹理结构、局部灰度差异、梯度值、以及相邻邻居块的纹理结构信息等。通过综合上述特征可以描述局部块的边缘及纹理等特征。
下面以局部纹理结构特征为例对本实施例进行说明。
如图3a、3b、3c、3d所示,A、B、C、D是局部相邻的四个像素点,它们的高度反应了它们的灰度值大小。图3a表示一块平坦局部区域,图3b反应了有两个点(A、B)的灰度值较高。为了区分这种局部结构的不同,本实施例定义LBS-Geometry(LBS_G),且:
LBS _ G = Σ p = 1 4 S ( g p - g mean ) 2 p - 1 , S ( x ) = 1 , x ≥ 0 0 , else . . . ( 1 )
其中,gp表示局部的第p个像素点的灰度值,gmean是局部像素均值。
如图3b、3c、3d所示,三种局部结构有相同的LBS_G编码,但是由于灰度差异程度不同,三者仍然属于不同的局部模式,因此本实施例定义LBS-Difference(LBS_D)来表示局部灰度差异程度,且:
LBS _ D = Σ p = 1 4 S ( d p - d global ) 2 p - 1 , d p = | g p - g mean | . . . ( 2 )
其中dglobal是整幅图像上全部的局部灰度差异的均值。
结合LBS_G和LBS_D便组成了完整的局部二值结构描述:
LBS = Σ p = 1 4 S ( g p - g mean ) 2 p + 3 + Σ p = 1 4 S ( d p - d global ) 2 p - 1 . . . ( 3 )
同时,尽管图像中锐利边缘模式的出现频次较少,但是锐利边缘模式在恢复图像的编码失真信息时却起到了重要的作用,因为人类视觉系统对于这些锐利的边缘较为敏感,因此本实施例中定义了锐利边缘结构SES,且:
SES = Σ p = 1 4 S ( d p - t ) 2 p - 1 . . . ( 4 )
其中,t为预先设置的灰度阈值,在具体实施例中,t设置为一相对较大的阈值,用于区分锐利边缘。
在具体实施例中,纹理字典的训练采用K均值聚类的方式,得到维数较低的欠完备字典;或者纹理字典的训练采用稀疏编码的方式,得到过完备字典。
使用K均值聚类的方式训练字典时,从特征样本中选取一定数量(例如十万个)的样本,使用K均值聚类算法聚类出若干个类别中心,用这些类别中心作为字典库。使用K均值聚类的方式训练字典可以建立维数低的欠完备字典。
使用稀疏编码的方式训练字典时,采用下面的优化公式:
D = arg min D , Z | | X - DZ | | 2 2 + λ | | Z | | 1 . . . ( 5 )
其中,D为训练得到的字典,X为清晰图像,λ为预设系数,具体的,λ可以为一经验值,L1范数项为稀疏性约束,L2范数项为字典重构局部块与训练样本局部块的相似性约束;在训练字典时,先固定D,使用线性规划求解Z,再固定Z,用二次规划方法求解最优D并更新D,反复迭代上述过程直到满足终止条件的字典D训练完毕,终止条件为:训练得到的字典D低于允许的误差。
在具体实施例中,采用纹理字典库的方式恢复当前图像待编码图像帧前一帧的解码重建图像的编码失真信息,以得到恢复编码失真信息后的图像时,即重建清晰图像作为参考图像时,未知的清晰局部块x可以表示为字典中的多个字典基的组合:
X≈Dh(y)α…………(6)
其中Dh(y)是和量化失真局部块y的局部结构分类(即LBS和SES分类)相同的特定类别的清晰局部块字典,α是表达系数。
在使用过完备字典时,系数α满足稀疏性,使用量化失真局部块字典Dl(y)来计算稀疏表达系数α,然后将计算得到的表达系数α代入式(6)中来计算对应的清晰局部块x,因此最优α的获取可以转化为以下最优化问题:
min | | α | | 0 s . t . | | FD 1 α - Fy | | 2 2 ≤ ϵ . . . ( 7 )
其中ε为趋于0的极小值,F是图像局部块特征提取操作,在本实施例提供的字典D中,取的特征是局部灰度差异结合梯度值大小。由于α足够稀疏,因此使用L1范数来代替式(9)的L0范数,最优化问题变为:
min α | | FD 1 α - Fy | | 2 2 + λ | | α | | 1 . . . ( 8 )
其中,λ是一个调节稀疏性和相似性的系数,最优的稀疏表达系数α可以通过解上述Lasso问题获得,然后代入式(6)即可计算出y对应的清晰局部块x。
在使用聚类训练的欠完备字典时,α不满足足够稀疏性,此时使用k近邻算法在Dl(y)字典中找出最接近y的k个字典基,再用对应的Dh(y)中k个清晰字典元的线性组合来重建x。
图像中每个量化失真局部块y都重建其清晰图像块x后,就得到了最终的清晰还原图像,即可将其作为参考图像。
步骤103:根据参考图像进行时域预测,得到待编码块的预测块。
步骤104:将待编码块与预测块相减得到残差块。在经过步骤102后,参考图像更加接近于原始的图像,基于该参考图像得到的待编码块的预测块也越接近于原始图像,从而使得残差块的冗余度越小,可以提高编码效率。
步骤105:对残差块进行处理得到视频码流。具体的,对残差块进行变换、量化和熵编码得到视频码流。
本实施例提供的基于字典库的视频编码方法中,采用纹理字典库的方式恢复当前图像帧前一帧的解码重建图像的编码失真信息,并将恢复编码失真信息后的图像作为参考图像进行时域预测,得到待编码块的预测块,该方法可以恢复参考图像的编码失真信息,使得待编码块的预测块更加准确,从而提高编码效率。
实施例二
请参考图4,根据实施例一提供的一种基于字典库的视频编码方法,本实施例相应提供了一种基于字典库的视频编码装置,包括图像块划分单元401、图像增强单元402、预测单元403、残差块获取单元404和处理单元400。
图像块划分单元401用于将视频流中待编码的当前图像帧划分为若干图像块。
图像增强单元402用于采用纹理字典库的方式恢复当前待编码图像帧前一帧的解码重建图像的编码失真信息,以得到恢复编码失真信息后的图像,并将恢复编码失真信息后的图像作为参考图像;纹理字典库包括清晰图像字典和与清晰图像字典对应的失真图像字典。
预测单元403用于根据参考图像对待编码块进行时域预测,得到待编码块的预测块。
残差块获取单元404用于将待编码块与预测块相减得到残差块。
处理单元400用于对残差块进行处理,以得到编码视频码流。
在具体实施例中,处理单元400包括变换单元405、量化单元406和熵编码单元407。变换单元405用于将残差块进行变换。量化单元406用于将变换后的残差块进行量化。熵编码单元407用于将量化后的残差块进行熵编码,以得到视频码流。
在具体实施例中,编码装置还包括纹理字典训练单元,用于选取清晰图像中的局部块和清晰图像的量化失真图像上对应的局部块,并提取清晰图像中的局部块与量化失真图像上对应的局部块的特征对,以组成清晰图像字典和失真图像字典。在其它实施例中,纹理字典可以选用事先训练好的。
纹理字典训练单元在训练纹理字典时采用K均值聚类的方式,以得到维数较低的欠完备字典;或者纹理字典训练单元在训练纹理字典时采用稀疏编码的方式,以得到过完备字典。
纹理字典训练单元采用稀疏编码的方式训练纹理字典时,采用下面的优化公式:
D = arg min D , Z | | X - DZ | | 2 2 + λ | | Z | | 1
其中,D为训练得到的字典,X为清晰图像,λ为预设系数,L1范数项为稀疏性约束,L2范数项为字典重构局部块与训练样本局部块的相似性约束;在训练字典时,先固定D,使用线性规划求解Z,再固定Z,用二次规划方法求解最优D并更新D,反复迭代上述过程直到满足终止条件的字典D训练完毕。
本实施例提供的基于字典库的视频编码装置中,采用纹理字典库的方式恢复当前图像帧前一帧的解码重建图像的编码失真信息,并将恢复编码失真信息后的图像作为参考图像进行时域预测,得到待编码块的预测块,该装置可以恢复参考图像的编码失真信息,使得待编码块的预测块更加准确,从而提高编码效率。
实施例三
请参考图5和图6,图5为本实施例中基于字典库的视频解码方法流程图,图6为本实施例中基于字典库的视频解码方法的解码框架图。对应于实施例一提供的基于字典库的视频编码方法,本实施例相应提供的一种基于字典库的视频解码方法,包括:
步骤501:将获取的视频码流进行处理得到待解码的当前图像帧中待解码块的残差块。具体的,将获取的视频码流进行熵解码、反量化和反变换得到的残差块。
步骤502:采用纹理字典库的方式恢复当前图像帧前一帧的解码重建图像的编码失真信息,以得到恢复编码失真信息后的图像,并将恢复编码失真信息后的图像作为参考图像。
步骤503:根据参考图像对进行时域预测,得到待解码块的预测块。
步骤504:将待解码块的预测块与残差块相加得到待解码块的解码重建块。
本实施例中,纹理字典的训练方式与实施例一中的相同,此处不再赘述。
本实施例提供的基于字典库的视频解码方法中,采用纹理字典库的方式恢复当前图像帧前一帧的解码重建图像的编码失真信息,并将恢复编码失真信息后的图像作为参考图像进行时域预测,得到待解码块的预测块,该方法可以恢复参考图像的编码失真信息,使得待解码块的预测块更加准确,从而提高解码效率。
实施例四
请参考图7,根据实施例三提供的一种基于字典库的视频解码方法,本实施例相应提供了一种基于字典库的视频解码装置,包括处理单元700、图像增强单元704、预测单元705和输出单元706。
处理单元700用于将获取的视频码流进行处理得到待解码的当前图像帧中待解码块的残差块。具体的,处理单元700包括熵解码单元701、反量化单元702、反变换单元703。熵解码单元701用于将获取的视频码流进行熵解码。反量化单元702用于将熵解码后的视频码流进行反量化。反变换单元703用于将反量化后的视频码流进行反变换,以得到残差块。
图像增强单元704用于采用纹理字典库的方式恢复当前图像帧前一帧的解码重建图像的编码失真信息,以得到恢复编码失真信息后的图像,并将恢复编码失真信息后的图像将作为参考图像;纹理字典库包括清晰图像字典和与清晰图像字典对应的失真图像字典。
预测单元705用于根据参考图像进行时域预测,得到待编码块的预测块。
输出单元706用于将预测块与残差块相加得到待解码块的解码重建块。
本实施例提供的基于字典库的视频解码装置中,采用纹理字典库的方式恢复当前图像帧前一帧的解码重建图像的编码失真信息,并将恢复编码失真信息后的图像作为参考图像进行时域预测,得到待解码块的预测块,该装置可以恢复参考图像的编码失真信息,使得待解码块的预测块更加准确,从而提高解码效率。
本领域技术人员可以理解,上述实施方式中各种方法的全部或部分步骤可以通过程序来指令相关硬件完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器、随机存储器、磁盘或光盘等。
以上内容是结合具体的实施方式对本申请所作的进一步详细说明,不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说,在不脱离本申请发明构思的前提下,还可以做出若干简单推演或替换。

Claims (16)

1.一种基于字典库的视频编码方法,其特征在于,包括:
将视频流中待编码的当前图像帧划分为若干图像块;
采用纹理字典库的方式恢复当前图像帧前一帧的解码重建图像的编码失真信息,以得到恢复编码失真信息后的图像,并将恢复编码失真信息后的图像作为参考图像进行时域预测,得到待编码块的预测块;所述纹理字典库包括清晰图像字典和与所述清晰图像字典对应的失真图像字典;
将待编码块与预测块相减得到残差块,对所述残差块进行处理得到视频码流。
2.如权利要求1所述的方法,其特征在于,采用纹理字典库的方式恢复当前图像帧前一帧的解码重建图像的编码失真信息,以得到恢复编码失真信息后的图像,具体为:
基于图像块局部特征对所述解码重建图像进行纹理字典匹配,以得到恢复编码失真信息后的图像;所述图像块局部特征包括局部灰度差异、梯度值、局部纹理结构和相邻邻居块的纹理结构信息。
3.如权利要求2所述的方法,其特征在于,基于图像块局部特征对所述解码重建图像进行纹理字典匹配,以得到恢复编码失真信息后的图像,具体为:
采用下面的重建公式得到清晰局部块,进而得到恢复编码失真信息后的图像,
x≈Dh(y)α
其中,x为未知的清晰局部块,y是清晰局部块x对应的量化失真局部块,Dh(y)是训练的清晰局部块字典,α是表达系数。
4.如权利要求3所述的方法,其特征在于,所述表达系数α满足下面约束条件:
min | | α | | 0 s . t . | | FD 1 α - Fy | | 2 2 ≤ ϵ
其中,ε为趋于0的极小值,F是图像局部块特征提取操作,Dl为训练的失真图像字典。
5.如权利要求1-4任一项所述的方法,其特征在于,所述纹理字典库的训练包括以下步骤:
选取清晰图像中的局部块;
选择所述清晰图像的量化失真图像上对应的局部块;
提取清晰图像中的局部块与量化失真图像上对应的局部块的特征对,以训练清晰图像字典和失真图像字典。
6.如权利要求5所述的方法,其特征在于,所述纹理字典库的训练采用K均值聚类的方式,以得到欠完备字典;或者所述纹理字典库的训练采用稀疏编码的方式,以得到过完备字典。
7.如权利要求6所述的方法,其特征在于,使用稀疏编码的方式训练字典时,采用下面的优化公式:
D = arg min D , Z | | X - DZ | | 2 2 + λ | | Z | | 1
其中,D为训练得到的字典,X为清晰图像,λ为预设系数,L1范数项为稀疏性约束,L2范数项为字典重构局部块与训练样本局部块的相似性约束;在训练字典时,先固定D,使用线性规划求解Z,再固定Z,用二次规划方法求解最优D并更新D,反复迭代上述过程直到满足终止条件的字典D训练完毕。
8.一种基于字典库的视频解码方法,其特征在于,包括:
将获取的视频码流进行处理得到待解码的当前图像帧中待解码块的残差块;
采用纹理字典库的方式恢复当前图像帧前一帧的解码重建图像的编码失真信息,以得到恢复编码失真信息后的图像,并将恢复编码失真信息后的图像作为参考图像进行时域预测,得到待解码块的预测块;所述纹理字典库包括清晰图像字典和与所述清晰图像字典对应的失真图像字典;
将预测块与残差块相加得到待解码块的解码重建块。
9.一种基于字典库的视频编码装置,其特征在于,包括:
图像块划分单元,用于将视频流中待编码的当前图像帧划分为若干图像块;
图像增强单元,用于采用纹理字典库的方式恢复当前图像帧前一帧的解码重建图像的编码失真信息,以得到恢复编码失真信息后的图像,并将恢复编码失真信息后的图像作为参考图像;所述纹理字典库包括清晰图像字典和与所述清晰图像字典对应的失真图像字典;
预测单元,用于根据所述参考图像进行时域预测,得到待编码块的预测块;
残差块获取单元,用于将待编码块与预测块相减得到残差块;
处理单元,用于对所述残差块进行处理,以得到视频码流。
10.如权利要求9所述的装置,其特征在于,所述图像增强单元采用纹理字典库的方式恢复当前图像帧前一帧的解码重建图像的编码失真信息,以得到恢复编码失真信息后的图像时:
图像增强单元基于图像块局部特征对所述解码重建图像进行纹理字典匹配,以得到恢复编码失真信息后的图像;所述图像块局部特征包括局部灰度差异、梯度值、局部纹理结构和相邻邻居块的纹理结构信息。
11.如权利要求10所述的装置,其特征在于,所述图像增强单元基于图像块局部特征对所述解码重建图像进行纹理字典匹配时:
采用下面的重建公式得到清晰局部块,进而得到恢复编码失真信息后的图像,
x≈Dh(y)α
其中,x为未知的清晰局部块,y是清晰局部块x对应的量化失真局部块,Dh(y)是训练的清晰局部块字典,α是表达系数。
12.如权利要求11所述的装置,其特征在于,所述表达系数α满足下面约束条件:
min | | α | | 0 s . t . | | FD 1 α - Fy | | 2 2 ≤ ϵ
其中,ε为趋于0的极小值,F是图像局部块特征提取操作,Dl为失真图像字典。
13.如权利要求9-12任一项所述的装置,其特征在于,还包括纹理字典训练单元,用于选取清晰图像中的局部块和所述清晰图像的量化失真图像上对应的局部块,并提取清晰图像中的局部块与量化失真图像上对应的局部块的特征对,以训练清晰图像字典和失真图像字典。
14.如权利要求13所述的装置,其特征在于,所述纹理字典训练单元在训练纹理字典时采用K均值聚类的方式,以得到欠完备字典;或者所述纹理字典训练单元在训练纹理字典时采用稀疏编码的方式,以得到过完备字典。
15.如权利要求14所述的装置,其特征在于,所述纹理字典训练单元采用稀疏编码的方式训练纹理字典时,采用下面的优化公式:
D = arg min D , Z | | X - DZ | | 2 2 + λ | | Z | | 1
其中,D为训练得到的字典,X为清晰图像,λ为预设系数,L1范数项为稀疏性约束,L2范数项为字典重构局部块与训练样本局部块的相似性约束;在训练字典时,先固定D,使用线性规划求解Z,再固定Z,用二次规划方法求解最优D并更新D,反复迭代上述过程直到满足终止条件的字典D训练完毕。
16.一种基于字典库的视频解码装置,其特征在于,包括:
处理单元,用于将获取的视频码流进行处理得到待解码的当前图像帧中待解码块的残差块;
图像增强单元,用于采用纹理字典库的方式恢复当前图像帧前一帧的解码重建图像的编码失真信息,以得到恢复编码失真信息后的图像,并将恢复编码失真信息后的图像将作为参考图像;所述纹理字典库包括清晰图像字典和与所述清晰图像字典对应的失真图像字典;
预测单元,用于根据所述参考图像进行时域预测,得到待解码块的预测块;
输出单元,用于将所述预测块与残差块相加得到待解码块的解码重建块。
CN201410231054.9A 2014-05-28 2014-05-28 一种基于字典库的视频编解码方法及装置 Active CN104053012B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410231054.9A CN104053012B (zh) 2014-05-28 2014-05-28 一种基于字典库的视频编解码方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410231054.9A CN104053012B (zh) 2014-05-28 2014-05-28 一种基于字典库的视频编解码方法及装置

Publications (2)

Publication Number Publication Date
CN104053012A true CN104053012A (zh) 2014-09-17
CN104053012B CN104053012B (zh) 2017-08-29

Family

ID=51505322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410231054.9A Active CN104053012B (zh) 2014-05-28 2014-05-28 一种基于字典库的视频编解码方法及装置

Country Status (1)

Country Link
CN (1) CN104053012B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015180052A1 (zh) * 2014-05-28 2015-12-03 北京大学深圳研究生院 一种基于字典库的视频编解码方法及装置
WO2018014545A1 (zh) * 2016-07-18 2018-01-25 华为技术有限公司 一种码流数据的处理方法及装置
WO2020140863A1 (zh) * 2019-01-02 2020-07-09 浙江大学 视频编解码方法与装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090204627A1 (en) * 2008-02-11 2009-08-13 Nir Asher Sochen Finite harmonic oscillator
CN101986295A (zh) * 2010-10-28 2011-03-16 浙江大学 基于流形稀疏编码的图像聚类的方法
CN103329522A (zh) * 2010-12-28 2013-09-25 三菱电机株式会社 用于使用字典编码视频的方法
CN103489203A (zh) * 2013-01-31 2014-01-01 清华大学 基于字典学习的图像编码方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090204627A1 (en) * 2008-02-11 2009-08-13 Nir Asher Sochen Finite harmonic oscillator
CN101986295A (zh) * 2010-10-28 2011-03-16 浙江大学 基于流形稀疏编码的图像聚类的方法
CN103329522A (zh) * 2010-12-28 2013-09-25 三菱电机株式会社 用于使用字典编码视频的方法
CN103489203A (zh) * 2013-01-31 2014-01-01 清华大学 基于字典学习的图像编码方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015180052A1 (zh) * 2014-05-28 2015-12-03 北京大学深圳研究生院 一种基于字典库的视频编解码方法及装置
WO2018014545A1 (zh) * 2016-07-18 2018-01-25 华为技术有限公司 一种码流数据的处理方法及装置
WO2020140863A1 (zh) * 2019-01-02 2020-07-09 浙江大学 视频编解码方法与装置

Also Published As

Publication number Publication date
CN104053012B (zh) 2017-08-29

Similar Documents

Publication Publication Date Title
CN103220528B (zh) 通过使用大型变换单元编码和解码图像的方法和设备
CN102474610B (zh) 用于对运动矢量进行编码/解码的方法和设备
Gao et al. Block-based compressive sensing coding of natural images by local structural measurement matrix
US8285064B2 (en) Method for processing images and the corresponding electronic device
CN106797472A (zh) 编码数字图像的方法和相关解码方法、装置及计算机程序
CN104735453A (zh) 通过使用大变换单元对图像进行编码和解码的方法和设备
CN105723709B (zh) 用于编码和解码图像的方法、用于编码和解码图像的装置及对应计算机程序
CN102939753A (zh) 用于通过根据像素组补偿像素值来对视频进行编码的方法和设备以及用于通过根据像素组补偿像素值来对视频进行解码的方法和设备
CN104811724A (zh) 用于对运动矢量进行编码和解码的方法和设备
CN108028941A (zh) 用于通过超像素编码和解码数字图像的方法和装置
CN102934432A (zh) 用于通过使用变换索引对视频进行编码的方法和设备、用于通过使用变换索引对视频进行解码的方法和设备
JP2005295504A5 (zh)
CN101189874A (zh) 改善编码效率的基于上下文自适应算术编码和解码方法和装置以及使用其的视频编码和解码方法和装置
CN102265611A (zh) 在混合视频编码中具有多个滤波器的本地环路内滤波
CN103069802A (zh) 重构图像的当前块的方法和对应的编码方法、对应的装置以及承载在比特流中编码的图像的存储介质
CN111246206B (zh) 一种基于自编码器的光流信息压缩方法及装置
CN103416063B (zh) 运动图像解码装置及运动图像解码方法
WO2015180052A1 (zh) 一种基于字典库的视频编解码方法及装置
CN111711815B (zh) 基于集成学习和概率模型的快速vvc帧内预测方法
CN104053012A (zh) 一种基于字典库的视频编解码方法及装置
CN104853215A (zh) 基于运动向量局部最优性保持的视频隐写方法
CN105556850B (zh) 编码器、解码器及其运行方法
KR101845622B1 (ko) 영상에 대한 적응적 rdpcm 방법, 적응적 rdpcm에 기반한 인코딩 방법 및 적응적 rdpcm에 기반한 디코딩 방법
CN110677644B (zh) 一种视频编码、解码方法及视频编码帧内预测器
CN103069798B (zh) 用于在实施变换域估计过程中对至少一个图像进行编码和解码的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant