CN105472393B - 一种基于联合字典的彩色与深度图像后处理方法 - Google Patents

一种基于联合字典的彩色与深度图像后处理方法 Download PDF

Info

Publication number
CN105472393B
CN105472393B CN201510822606.8A CN201510822606A CN105472393B CN 105472393 B CN105472393 B CN 105472393B CN 201510822606 A CN201510822606 A CN 201510822606A CN 105472393 B CN105472393 B CN 105472393B
Authority
CN
China
Prior art keywords
test
column vector
represent
matrix
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510822606.8A
Other languages
English (en)
Other versions
CN105472393A (zh
Inventor
邵枫
袁其政
李福翠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201510822606.8A priority Critical patent/CN105472393B/zh
Publication of CN105472393A publication Critical patent/CN105472393A/zh
Application granted granted Critical
Publication of CN105472393B publication Critical patent/CN105472393B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于联合字典的彩色与深度图像后处理方法，其在训练阶段，采用K‑SVD方法对多幅无失真彩色图像中的所有子块构成的集合、多幅无失真深度图像中的所有子块构成的集合进行字典训练操作，构造得到彩色字典表和深度字典表；在测试阶段，根据彩色字典表和深度字典表，考虑到彩色特征空间与深度特征空间之间的几何关系，对待处理的彩色与深度图像构造联合字典表，根据联合字典表对彩色与深度图像进行后处理，得到后处理的彩色与深度图像；优点是在训练阶段不需要复杂的机器学习训练过程，在测试阶段只需构造能反映彩色与深度图像本质特征的联合字典，根据联合字典表进行后处理操作，能够保持更好的对象轮廓信息，提高虚拟视点图像的质量。

Description

一种基于联合字典的彩色与深度图像后处理方法
技术领域
本发明涉及一种视频信号的处理方法，尤其是涉及一种基于联合字典的彩色与深度图像后处理方法。
背景技术
随着通信技术和视频技术的不断成熟，高质量的视觉体验成为发展的主流，而3D视频能够提供深度信息，满足人们对立体感和真实感的视觉需求。但是3D视频的数据量非常庞大，需要进行编码以适应传输或存储的要求。近年来，基于块的离散余弦变换已经广泛的应用于图像和视频压缩之中，如：JPEG、MPEG、H.264/AVC等，然而，视频经过编码后会产生块效应，并严重影响观看和绘制效果，因此有效的滤波后处理技术已成为研究的热点。
现有的视频编码标准采用环路处理方法将去除块效应操作嵌入到编码框架中，这样能有效地避免块效应在帧间的传播；或者通过采用滤波方法对解码视频图像进行后处理，但这类方法更多的是考虑如何提升编码，而经过压缩后的彩色与深度图像，结构信息会发生严重的退化，而彩色与深度图像本身存在较强的结构关联度，因此，如何构造能反映彩色与深度图像本质特征的联合字典，如何根据联合字典来对彩色与深度图像进行后处理操作，都是在对彩色与深度图像后处理研究中需要重点解决的技术问题。
发明内容
本发明所要解决的技术问题是提供一种基于联合字典的彩色与深度图像后处理方法，其能够充分地恢复出彩色与深度图像的结构信息，能够有效地提高虚拟视点图像的绘制性能。
本发明解决上述技术问题所采用的技术方案为：一种基于联合字典的彩色与深度图像后处理方法，其特征在于包括训练阶段和测试阶段两个过程，所述的训练阶段过程的具体步骤如下：
①-1、选取N幅宽度为W且高度为H的原始的无失真彩色图像及对应的深度图像，将由N幅原始的无失真彩色图像构成的彩色图像集合记为{Ii,org|1≤i≤N}，将由N幅原始的无失真彩色图像对应的深度图像构成的深度图像集合记为{Di,org|1≤i≤N}，其中，N≥1，Ii,org表示{Ii,org|1≤i≤N}中的第i幅彩色图像，Di,org表示{Di,org|1≤i≤N}中的第i幅深度图像，Ii,org与Di,org对应；
①-2、将{Ii,org|1≤i≤N}中的每幅彩色图像划分成个互不重叠的尺寸大小为8×8的子块；然后采用K-SVD方法对{Ii,org|1≤i≤N}中的所有彩色图像中的子块构成的集合进行字典训练操作，构造得到{Ii,org|1≤i≤N}的彩色字典表，记为Dc，其中，Dc的维数为64×K，K表示设定的字典的个数，K≥1；
同样，将{Di,org|1≤i≤N}中的每幅深度图像划分成个互不重叠的尺寸大小为8×8的子块；然后采用K-SVD方法对{Di,org|1≤i≤N}中的所有深度图像中的子块构成的集合进行字典训练操作，构造得到{Di,org|1≤i≤N}的深度字典表，记为Dd，其中，Dd的维数为64×K；
所述的测试阶段过程的具体步骤如下：
②-1、对于任意一幅宽度为W'且高度为H'的经JPEG编码失真的彩色图像Itest及对应的经JPEG编码失真的深度图像Dtest；
②-2、将Itest划分成个互不重叠的尺寸大小为8×8的子块；同样，将Dtest划分成个互不重叠的尺寸大小为8×8的子块；然后根据Itest中的所有子块构成的集合和Dtest中的所有子块构成的集合、在训练阶段构造得到的Dc和Dd，获取Itest和Dtest的联合字典表，记为{Dc,test,Dd,test}，其中，Dc,test为{Dc,test,Dd,test}中的彩色字典表，Dd,test为{Dc,test,Dd,test}中的深度字典表，Dc,test和Dd,test的维数均为64×K，K表示设定的字典的个数，K≥1；
②-3、根据Dc,test，获取中的每个列向量的稀疏系数矩阵，将的稀疏系数矩阵记为 通过求解得到，其中，的维数为K×1，min()为取最小值函数，符号“|| ||0”为求取矩阵的0-范数符号，符号“|| ||2”为求取矩阵的2-范数符号，Tp1为误差系数；
同样，根据Dd,test，获取中的每个列向量的稀疏系数矩阵，将的稀疏系数矩阵记为 通过求解得到，其中，的维数为K×1，Tp2为误差系数；
②-4、计算中的每个列向量的重建向量，将的重建向量记为然后将中的每个列向量的重建向量中的每个元素的值作为Itest中对应的子块中对应的像素点经后处理后的像素值，对于中的第j个元素的值，将其作为Itest中的第t'个子块中的第j个像素点经后处理后的像素值，从而得到Itest的后处理图像，记为I'test，其中，1≤j≤64；
同样，计算中的每个列向量的重建向量，将的重建向量记为然后将中的每个列向量的重建向量中的每个元素的值作为Dtest中对应的子块中对应的像素点经后处理后的像素值，对于中的第j个元素的值，将其作为Dtest中的第t'个子块中的第j个像素点经后处理后的像素值，从而得到Dtest的后处理图像，记为D'test。
所述的步骤①-2中的Dc的获取过程为：
①-2a、将{Ii,org|1≤i≤N}中的N幅彩色图像中的所有子块构成一个集合，记为其中，此处M表示{Ii,org|1≤i≤N}中的所有彩色图像中的子块的总个数， 的维数为64×1，表示{Ii,org|1≤i≤N}中的所有彩色图像中的第t个子块中的所有像素点组成的列向量；
①-2b、采用K-SVD方法对进行字典训练操作，构造得到{Ii,org|1≤i≤N}的彩色字典表Dc，Dc通过K-SVD方法求解得到，其中，min()为取最小值函数，符号“|| ||2”为求取矩阵的2-范数符号，Yc的维数为64×M， 为中的第1个列向量，为中的第t个列向量，为中的第M个列向量，Xc的维数为K×M， 表示Xc中的第1个列向量，亦表示的稀疏系数矩阵，表示Xc中的第t个列向量，亦表示的稀疏系数矩阵，表示Xc中的第M个列向量，亦表示的稀疏系数矩阵，符号“[]”为矢量表示符号，符号“|| ||0”为求取矩阵的0-范数符号，T为误差系数；
所述的步骤①-2中的Dd的获取过程为：
①-2c、将{Di,org|1≤i≤N}中的N幅深度图像中的所有子块构成一个集合，记为其中，此处M表示{Di,org|1≤i≤N}中的所有深度图像中的子块的总个数， 的维数为64×1，表示{Di,org|1≤i≤N}中的所有深度图像中的第t个子块中的所有像素点组成的列向量；
①-2d、采用K-SVD方法对进行字典训练操作，构造得到{Di,org|1≤i≤N}的深度字典表Dd，Dd通过K-SVD方法求解得到，其中，Yd的维数为64×M， 为中的第1个列向量，为中的第t个列向量，为中的第M个列向量，Xd的维数为K×M， 表示Xd中的第1个列向量，亦表示的稀疏系数矩阵，表示Xd中的第t个列向量，亦表示的稀疏系数矩阵，表示Xd中的第M个列向量，亦表示的稀疏系数矩阵，符号“[]”为矢量表示符号，T为误差系数。
所述的步骤②-2中的{Dc,test,Dd,test}的获取过程为：
②-2a、将Itest中的所有子块构成一个集合，记为并将Dtest中的所有子块构成一个集合，记为其中，M'表示Itest中的子块的总个数，M'亦表示Dtest中的子块的总个数， 的维数为64×1，表示Itest中的第t'个子块中的所有像素点组成的列向量，的维数为64×1，表示Dtest中的第t'个子块中的所有像素点组成的列向量；
②-2b、根据在训练阶段构造得到的Dc，获取中的每个列向量的稀疏系数矩阵，将的稀疏系数矩阵记为 通过求解得到，其中，的维数为K×1，min()为取最小值函数，符号“|| ||0”为求取矩阵的0-范数符号，符号“|| ||2”为求取矩阵的2-范数符号，T为误差系数；
同样，根据在训练阶段构造得到的Dd，获取中的每个列向量的稀疏系数矩阵，将的稀疏系数矩阵记为 通过求解得到，其中，的维数为K×1，T为误差系数；
②-2c、根据和中的所有列向量各自的稀疏系数矩阵，计算彩色联合矩阵和深度联合矩阵，对应记为Mc,test和Md,test，其中，Xc,test的维数为K×M'， 表示中的第1个列向量的稀疏系数矩阵，表示中的第t'个列向量的稀疏系数矩阵，表示中的第M'个列向量的稀疏系数矩阵，Xd,test的维数为K×M'， 表示中的第1个列向量的稀疏系数矩阵，表示中的第t'个列向量的稀疏系数矩阵，表示中的第M'个列向量的稀疏系数矩阵，(Xc,test)T为Xc,test的转置矩阵，(Xd,test)T为Xd,test的转置矩阵，为Xc,test(Xc,test)T的逆矩阵，为Xd,test(Xd,test)T的逆矩阵，为的转置矩阵，为的转置矩阵；
②-2d、对训练阶段构造得到的Dc和Dd、Mc,test和Md,test进行联合，得到Itest和Dtest的联合字典表{Dc,test,Dd,test}，Dc,test＝DcMc,test，Dd,test＝DdMd,test。
所述的步骤②-3中的Tp1的取值与对Itest进行JPEG编码的压缩因子q1有关，Tp2的取值与对Dtest进行JPEG编码的压缩因子q2有关，其中，C＝1.15，c1＝36.143，c2＝-19.789，c3＝3.881，c4＝-0.250。
与现有技术相比，本发明的优点在于：
1)本发明方法考虑到失真会导致彩色图像或深度图像结构信息的损失，因此在训练阶段对由多幅无失真彩色图像中的所有子块构成的集合进行字典训练操作，构造得到彩色字典表，对由多幅无失真深度图像中的所有子块构成的集合进行字典训练操作，构造得到深度字典表，这样避免了复杂的机器学习训练过程，降低了计算复杂度。
2)本发明方法在测试阶段，根据在训练阶段构造得到的彩色字典表和深度字典表，考虑到彩色特征空间与深度特征空间之间的几何关系，对不同的待处理的彩色图像与深度图像构造对应的联合字典表，并根据联合字典表对彩色图像与深度图像进行后处理操作，这样能够保持更好的对象轮廓信息，提高了虚拟视点图像的质量。
附图说明
图1为本发明方法的总体实现框图；
图2a为“Undo Dancer”三维视频序列中的一帧经JPEG编码失真的彩色图像；
图2b为“Undo Dancer”三维视频序列中的一帧经JPEG编码失真的深度图像；
图2c为采用图2a所示的彩色图像和图2b所示的深度图像绘制得到的虚拟视点图像；
图3a为图2a所示的彩色图像经本发明方法处理后得到的彩色图像；
图3b为图2b所示的深度图像经本发明方法处理后得到的深度图像；
图3c为采用图3a所示的彩色图像和图3b所示的深度图像绘制得到的虚拟视点图像；
图4a为“Balloons”三维视频序列中的一帧经JPEG编码失真的彩色图像；
图4b为“Balloons”三维视频序列中的一帧经JPEG编码失真的深度图像；
图4c为采用图4a所示的彩色图像和图4b所示的深度图像绘制得到的虚拟视点图像；
图5a为图4a所示的彩色图像经本发明方法处理后得到的彩色图像；
图5b为图4b所示的深度图像经本发明方法处理后得到的深度图像；
图5c为采用图5a所示的彩色图像和图5b所示的深度图像绘制得到的虚拟视点图像。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于联合字典的彩色与深度图像后处理方法，其总体实现框图如图1所示，其包括训练阶段和测试阶段两个过程，所述的训练阶段过程的具体步骤如下：
①-1、选取N幅宽度为W且高度为H的原始的无失真彩色图像及对应的深度图像，将由N幅原始的无失真彩色图像构成的彩色图像集合记为{Ii,org|1≤i≤N}，将由N幅原始的无失真彩色图像对应的深度图像构成的深度图像集合记为{Di,org|1≤i≤N}，其中，N≥1，Ii,org表示{Ii,org|1≤i≤N}中的第i幅彩色图像，Di,org表示{Di,org|1≤i≤N}中的第i幅深度图像，Ii,org与Di,org对应。
在具体实施时，原始的无失真彩色图像及对应的深度图像选取的幅数应当适当，如果N的值越大，则通过训练得到的字典表的精度也就越高，但计算复杂度也就越高，因此在本实施例中取N＝10。
①-2、将{Ii,org|1≤i≤N}中的每幅彩色图像划分成个互不重叠的尺寸大小为8×8的子块；然后采用K-SVD方法对{Ii,org|1≤i≤N}中的所有彩色图像中的子块构成的集合进行字典训练操作，构造得到{Ii,org|1≤i≤N}的彩色字典表，记为Dc，其中，Dc的维数为64×K，K表示设定的字典的个数，K≥1，K的取值过大会出现过聚类现象，K的取值过小会出现欠聚类现象，在本实施例中取K＝128。
在此具体实施例中，步骤①-2中的Dc的获取过程为：
①-2a、将{Ii,org|1≤i≤N}中的N幅彩色图像中的所有子块构成一个集合，记为其中，此处M表示{Ii,org|1≤i≤N}中的所有彩色图像中的子块的总个数， 的维数为64×1，表示{Ii,org|1≤i≤N}中的所有彩色图像中的第t个子块中的所有像素点组成的列向量，亦表示中的第t个列向量。
①-2b、采用现有的K-SVD方法对进行字典训练操作，构造得到{Ii,org|1≤i≤N}的彩色字典表Dc，Dc通过K-SVD方法求解得到，其中，min()为取最小值函数，符号“|| ||2”为求取矩阵的2-范数符号，Yc的维数为64×M， 为中的第1个列向量，亦表示{Ii,org|1≤i≤N}中的所有彩色图像中的第1个子块中的所有像素点组成的列向量，为中的第t个列向量，亦表示{Ii,org|1≤i≤N}中的所有彩色图像中的第t个子块中的所有像素点组成的列向量，为中的第M个列向量，亦表示{Ii,org|1≤i≤N}中的所有彩色图像中的第M个子块中的所有像素点组成的列向量，Xc的维数为K×M， 表示Xc中的第1个列向量，亦表示的稀疏系数矩阵，表示Xc中的第t个列向量，亦表示的稀疏系数矩阵，表示Xc中的第M个列向量，亦表示的稀疏系数矩阵，符号“[]”为矢量表示符号，符号“|| ||0”为求取矩阵的0-范数符号，T为误差系数，在本实施例中取T＝0.1。
同样，将{Di,org|1≤i≤N}中的每幅深度图像划分成个互不重叠的尺寸大小为8×8的子块；然后采用K-SVD方法对{Di,org|1≤i≤N}中的所有深度图像中的子块构成的集合进行字典训练操作，构造得到{Di,org|1≤i≤N}的深度字典表，记为Dd，其中，Dd的维数为64×K。
在此具体实施例中，步骤①-2中的Dd的获取过程为：
①-2c、将{Di,org|1≤i≤N}中的N幅深度图像中的所有子块构成一个集合，记为其中，此处M表示{Di,org|1≤i≤N}中的所有深度图像中的子块的总个数， 的维数为64×1，表示{Di,org|1≤i≤N}中的所有深度图像中的第t个子块中的所有像素点组成的列向量，亦表示中的第t个列向量。
①-2d、采用现有的K-SVD方法对进行字典训练操作，构造得到{Di,org|1≤i≤N}的深度字典表Dd，Dd通过K-SVD方法求解得到，其中，Yd的维数为64×M， 为中的第1个列向量，亦表示{Di,org|1≤i≤N}中的所有深度图像中的第1个子块中的所有像素点组成的列向量，为中的第t个列向量，亦表示{Di,org|1≤i≤N}中的所有深度图像中的第t个子块中的所有像素点组成的列向量，为中的第M个列向量，亦表示{Di,org|1≤i≤N}中的所有深度图像中的第M个子块中的所有像素点组成的列向量，Xd的维数为K×M， 表示Xd中的第1个列向量，亦表示的稀疏系数矩阵，表示Xd中的第t个列向量，亦表示的稀疏系数矩阵，表示Xd中的第M个列向量，亦表示的稀疏系数矩阵，符号“[]”为矢量表示符号，T为误差系数，在本实施例中取T＝0.1。
所述的测试阶段过程的具体步骤如下：
②-1、对于任意一幅宽度为W'且高度为H'的经JPEG编码失真的彩色图像Itest及对应的经JPEG编码失真的深度图像Dtest；在此，W'与W可以相同也可以不同，H'与H可以相同也可以不同。
②-2、将Itest划分成个互不重叠的尺寸大小为8×8的子块；同样，将Dtest划分成个互不重叠的尺寸大小为8×8的子块；然后由于在训练阶段独立构造的彩色字典表和深度字典表忽略了彩色特征空间与深度特征空间之间的几何关系，因此本发明方法根据Itest中的所有子块构成的集合和Dtest中的所有子块构成的集合、在训练阶段构造得到的Dc和Dd，获取Itest和Dtest的联合字典表，记为{Dc,test,Dd,test}，其中，Dc,test为{Dc,test,Dd,test}中的彩色字典表，Dd,test为{Dc,test,Dd,test}中的深度字典表，Dc,test和Dd,test的维数均为64×K，K表示设定的字典的个数，K≥1，K的取值过大会出现过聚类现象，K的取值过小会出现欠聚类现象，在本实施例中取K＝128。
在此具体实施例中，步骤②-2中的{Dc,test,Dd,test}的获取过程为：
②-2a、将Itest中的所有子块构成一个集合，记为并将Dtest中的所有子块构成一个集合，记为其中，M'表示Itest中的子块的总个数，M'亦表示Dtest中的子块的总个数， 的维数为64×1，表示Itest中的第t'个子块中的所有像素点组成的列向量，亦表示中的第t'个列向量，的维数为64×1，表示Dtest中的第t'个子块中的所有像素点组成的列向量，亦表示中的第t'个列向量。
②-2b、根据在训练阶段构造得到的Dc，获取中的每个列向量的稀疏系数矩阵，将的稀疏系数矩阵记为 通过求解得到，其中，的维数为K×1，min()为取最小值函数，符号“|| ||0”为求取矩阵的0-范数符号，符号“|| ||2”为求取矩阵的2-范数符号，T为误差系数，在本实施例中取T＝0.1。
同样，根据在训练阶段构造得到的Dd，获取中的每个列向量的稀疏系数矩阵，将的稀疏系数矩阵记为 通过求解得到，其中，的维数为K×1，T为误差系数，在本实施例中取T＝0.1。
②-2c、根据和中的所有列向量各自的稀疏系数矩阵，计算彩色联合矩阵和深度联合矩阵，对应记为Mc,test和Md,test，其中，Xc,test的维数为K×M'， 表示中的第1个列向量的稀疏系数矩阵，表示中的第t'个列向量的稀疏系数矩阵，表示中的第M'个列向量的稀疏系数矩阵，Xd,test的维数为K×M'， 表示中的第1个列向量的稀疏系数矩阵，表示中的第t'个列向量的稀疏系数矩阵，表示中的第M'个列向量的稀疏系数矩阵，(Xc,test)T为Xc,test的转置矩阵，(Xd,test)T为Xd,test的转置矩阵，为Xc,test(Xc,test)T的逆矩阵，为Xd,test(Xd,test)T的逆矩阵，为的转置矩阵，为的转置矩阵。
②-2d、对训练阶段构造得到的Dc和Dd、Mc,test和Md,test进行联合，得到Itest和Dtest的联合字典表{Dc,test,Dd,test}，Dc,test＝DcMc,test，Dd,test＝DdMd,test。
②-3、根据Dc,test，获取中的每个列向量的稀疏系数矩阵，将的稀疏系数矩阵记为 通过求解得到，其中，的维数为K×1，min()为取最小值函数，符号“|| ||0”为求取矩阵的0-范数符号，符号“|| ||2”为求取矩阵的2-范数符号，Tp1为误差系数，在本实施例中Tp1的取值与对彩色图像Itest进行JPEG编码的压缩因子q1有关，C＝1.15，c1＝36.143，c2＝-19.789，c3＝3.881，c4＝-0.250。
同样，根据Dd,test，获取中的每个列向量的稀疏系数矩阵，将的稀疏系数矩阵记为 通过求解得到，其中，的维数为K×1，Tp2为误差系数，在本实施例中Tp2的取值与对深度图像Dtest进行JPEG编码的压缩因子q2有关，C＝1.15，c1＝36.143，c2＝-19.789，c3＝3.881，c4＝-0.250。
②-4、计算中的每个列向量的重建向量，将的重建向量记为然后将中的每个列向量的重建向量中的每个元素的值作为Itest中对应的子块中对应的像素点经后处理后的像素值，对于中的第j个元素的值，将其作为Itest中的第t'个子块中的第j个像素点经后处理后的像素值，从而得到Itest的后处理图像，记为I'test，其中，1≤j≤64。
同样，计算中的每个列向量的重建向量，将的重建向量记为然后将中的每个列向量的重建向量中的每个元素的值作为Dtest中对应的子块中对应的像素点经后处理后的像素值，对于中的第j个元素的值，将其作为Dtest中的第t'个子块中的第j个像素点经后处理后的像素值，从而得到Dtest的后处理图像，记为D'test。
以下就本发明方法对“Undo Dancer”和“Balloons”三维视频序列中的彩色图像及对应的深度图像进行后处理和虚拟视点图像绘制的主客观性能进行比较。
对“Undo Dancer”和“Balloons”三维视频序列中的彩色图像及对应的深度图像进行滤波后处理实验，图2a给出了“Undo Dancer”三维视频序列中的一帧经JPEG编码失真的彩色图像，图2b给出了“Undo Dancer”三维视频序列中的一帧经JPEG编码失真的深度图像，图2c给出了采用图2a所示的彩色图像和图2b所示的深度图像绘制得到的虚拟视点图像；图3a给出了图2a所示的彩色图像经本发明方法处理后得到的彩色图像即彩色滤波图像，图3b给出了图2b所示的深度图像经本发明方法处理后得到的深度图像即深度滤波图像，图3c给出了采用图3a所示的彩色图像和图3b所示的深度图像绘制得到的虚拟视点图像；图4a给出了“Balloons”三维视频序列中的一帧经JPEG编码失真的彩色图像，图4b给出了“Balloons”三维视频序列中的一帧经JPEG编码失真的深度图像，图4c给出了采用图4a所示的彩色图像和图4b所示的深度图像绘制得到的虚拟视点图像；图5a给出了图4a所示的彩色图像经本发明方法处理后得到的彩色图像即彩色滤波图像，图5b给出了图4b所示的深度图像经本发明方法处理后得到的深度图像即深度滤波图像，图5c给出了采用图5a所示的彩色图像和图5b所示的深度图像绘制得到的虚拟视点图像。从图2a至图5c中可以看出，采用本发明方法后处理滤波后的彩色图像和深度图像均保持了重要的几何特征，并且采用本发明方法后处理滤波后的彩色图像和深度图像绘制得到的虚拟视点图像能够保持更好的对象轮廓信息，提高了虚拟视点图像的质量。

Claims (3)

1.一种基于联合字典的彩色与深度图像后处理方法，其特征在于包括训练阶段和测试阶段两个过程，所述的训练阶段过程的具体步骤如下：
①-1、选取N幅宽度为W且高度为H的原始的无失真彩色图像及对应的深度图像，将由N幅原始的无失真彩色图像构成的彩色图像集合记为{Ii,org|1≤i≤N}，将由N幅原始的无失真彩色图像对应的深度图像构成的深度图像集合记为{Di,org|1≤i≤N}，其中，N≥1，Ii,org表示{Ii,org|1≤i≤N}中的第i幅彩色图像，Di,org表示{Di,org|1≤i≤N}中的第i幅深度图像，Ii,org与Di,org对应；
①-2、将{Ii,org|1≤i≤N}中的每幅彩色图像划分成个互不重叠的尺寸大小为8×8的子块；然后采用K-SVD方法对{Ii,org|1≤i≤N}中的所有彩色图像中的子块构成的集合进行字典训练操作，构造得到{Ii,org|1≤i≤N}的彩色字典表，记为Dc，其中，Dc的维数为64×K，K表示设定的字典的个数，K≥1；
同样，将{Di,org|1≤i≤N}中的每幅深度图像划分成个互不重叠的尺寸大小为8×8的子块；然后采用K-SVD方法对{Di,org|1≤i≤N}中的所有深度图像中的子块构成的集合进行字典训练操作，构造得到{Di,org|1≤i≤N}的深度字典表，记为Dd，其中，Dd的维数为64×K；
所述的测试阶段过程的具体步骤如下：
②-1、对于任意一幅宽度为W'且高度为H'的经JPEG编码失真的彩色图像Itest及对应的经JPEG编码失真的深度图像Dtest；
②-2、将Itest划分成个互不重叠的尺寸大小为8×8的子块；同样，将Dtest划分成个互不重叠的尺寸大小为8×8的子块；然后根据Itest中的所有子块构成的集合和Dtest中的所有子块构成的集合、在训练阶段构造得到的Dc和Dd，获取Itest和Dtest的联合字典表，记为{Dc,test,Dd,test}，其中，Dc,test为{Dc,test,Dd,test}中的彩色字典表，Dd,test为{Dc,test,Dd,test}中的深度字典表，Dc,test和Dd,test的维数均为64×K，K表示设定的字典的个数，K≥1；
所述的步骤②-2中的{Dc,test,Dd,test}的获取过程为：
②-2a、将Itest中的所有子块构成一个集合，记为并将Dtest中的所有子块构成一个集合，记为其中，M'表示Itest中的子块的总个数，M'亦表示Dtest中的子块的总个数， 的维数为64×1，表示Itest中的第t'个子块中的所有像素点组成的列向量，的维数为64×1，表示Dtest中的第t'个子块中的所有像素点组成的列向量；
②-2b、根据在训练阶段构造得到的Dc，获取中的每个列向量的稀疏系数矩阵，将的稀疏系数矩阵记为通过求解得到，其中，的维数为K×1，min()为取最小值函数，符号“|| ||0”为求取矩阵的0-范数符号，符号“|| ||2”为求取矩阵的2-范数符号，T为误差系数；
同样，根据在训练阶段构造得到的Dd，获取中的每个列向量的稀疏系数矩阵，将的稀疏系数矩阵记为通过求解得到，其中，的维数为K×1，T为误差系数；
②-2c、根据和中的所有列向量各自的稀疏系数矩阵，计算彩色联合矩阵和深度联合矩阵，对应记为Mc,test和Md,test，Mc,test＝[(Xc,test(Xc,test)T)-1Xc,test(Xd,test)T]T，Md,test＝[(Xd,test(Xd,test)T)-1Xd,test(Xc,test)T]T，其中，Xc,test的维数为K×M'， 表示中的第1个列向量的稀疏系数矩阵，表示中的第t'个列向量的稀疏系数矩阵，表示中的第M'个列向量的稀疏系数矩阵，Xd,test的维数为K×M'， 表示中的第1个列向量的稀疏系数矩阵，表示中的第t'个列向量的稀疏系数矩阵，表示中的第M'个列向量的稀疏系数矩阵，(Xc,test)T为Xc,test的转置矩阵，(Xd,test)T为Xd,test的转置矩阵，(Xc,test(Xc,test)T)-1为Xc,test(Xc,test)T的逆矩阵，(Xd,test(Xd,test)T)-1为Xd,test(Xd,test)T的逆矩阵，[(Xc,test(Xc,test)T)-1Xc,test(Xd,test)T]T为(Xc,test(Xc,test)T)-1Xc,test(Xd,test)T的转置矩阵，[(Xd,test(Xd,test)T)-1Xd,test(Xc,test)T]T为(Xd,test(Xd,test)T)-1Xd,test(Xc,test)T的转置矩阵；
②-2d、对训练阶段构造得到的Dc和Dd、Mc,test和Md,test进行联合，得到Itest和Dtest的联合字典表{Dc,test,Dd,test}，Dc,test＝DcMc,test，Dd,test＝DdMd,test；
②-3、根据Dc,test，获取中的每个列向量的稀疏系数矩阵，将的稀疏系数矩阵记为通过求解得到，其中，的维数为K×1，min()为取最小值函数，符号“|| ||0”为求取矩阵的0-范数符号，符号“|| ||2”为求取矩阵的2-范数符号，Tp1为误差系数；
同样，根据Dd,test，获取中的每个列向量的稀疏系数矩阵，将的稀疏系数矩阵记为通过求解得到，其中，的维数为K×1，Tp2为误差系数；
②-4、计算中的每个列向量的重建向量，将的重建向量记为 然后将中的每个列向量的重建向量中的每个元素的值作为Itest中对应的子块中对应的像素点经后处理后的像素值，对于中的第j个元素的值，将其作为Itest中的第t'个子块中的第j个像素点经后处理后的像素值，从而得到Itest的后处理图像，记为I'test，其中，1≤j≤64；
同样，计算中的每个列向量的重建向量，将的重建向量记为 然后将中的每个列向量的重建向量中的每个元素的值作为Dtest中对应的子块中对应的像素点经后处理后的像素值，对于中的第j个元素的值，将其作为Dtest中的第t'个子块中的第j个像素点经后处理后的像素值，从而得到Dtest的后处理图像，记为D'test。
2.根据权利要求1所述的一种基于联合字典的彩色与深度图像后处理方法，其特征在于所述的步骤①-2中的Dc的获取过程为：
①-2a、将{Ii,org|1≤i≤N}中的N幅彩色图像中的所有子块构成一个集合，记为其中，此处M表示{Ii,org|1≤i≤N}中的所有彩色图像中的子块的总个数， 的维数为64×1，表示{Ii,org|1≤i≤N}中的所有彩色图像中的第t个子块中的所有像素点组成的列向量；
①-2b、采用K-SVD方法对进行字典训练操作，构造得到{Ii,org|1≤i≤N}的彩色字典表Dc，Dc通过K-SVD方法求解得到，其中，min()为取最小值函数，符号“|| ||2”为求取矩阵的2-范数符号，Yc的维数为64×M， 为中的第1个列向量，为中的第t个列向量，为中的第M个列向量，Xc的维数为K×M， 表示Xc中的第1个列向量，亦表示的稀疏系数矩阵，表示Xc中的第t个列向量，亦表示的稀疏系数矩阵，表示Xc中的第M个列向量，亦表示的稀疏系数矩阵，符号“[]”为矢量表示符号，符号“|| ||0”为求取矩阵的0-范数符号，T为误差系数；
所述的步骤①-2中的Dd的获取过程为：
①-2c、将{Di,org|1≤i≤N}中的N幅深度图像中的所有子块构成一个集合，记为其中，此处M表示{Di,org|1≤i≤N}中的所有深度图像中的子块的总个数， 的维数为64×1，表示{Di,org|1≤i≤N}中的所有深度图像中的第t个子块中的所有像素点组成的列向量；
①-2d、采用K-SVD方法对进行字典训练操作，构造得到{Di,org|1≤i≤N}的深度字典表Dd，Dd通过K-SVD方法求解得到，其中，Yd的维数为64×M， 为中的第1个列向量，为中的第t个列向量，为中的第M个列向量，Xd的维数为K×M， 表示Xd中的第1个列向量，亦表示的稀疏系数矩阵，表示Xd中的第t个列向量，亦表示的稀疏系数矩阵，表示Xd中的第M个列向量，亦表示的稀疏系数矩阵，符号“[]”为矢量表示符号，T为误差系数。
3.根据权利要求1所述的一种基于联合字典的彩色与深度图像后处理方法，其特征在于所述的步骤②-3中的Tp1的取值与对Itest进行JPEG编码的压缩因子q1有关，Tp2的取值与对Dtest进行JPEG编码的压缩因子q2有关，其中，C＝1.15，c1＝36.143，c2＝-19.789，c3＝3.881，c4＝-0.250。
CN201510822606.8A 2015-11-24 2015-11-24 一种基于联合字典的彩色与深度图像后处理方法 Active CN105472393B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510822606.8A CN105472393B (zh) 2015-11-24 2015-11-24 一种基于联合字典的彩色与深度图像后处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510822606.8A CN105472393B (zh) 2015-11-24 2015-11-24 一种基于联合字典的彩色与深度图像后处理方法

Publications (2)

Publication Number Publication Date
CN105472393A CN105472393A (zh) 2016-04-06
CN105472393B true CN105472393B (zh) 2018-04-17

Family

ID=55609609

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510822606.8A Active CN105472393B (zh) 2015-11-24 2015-11-24 一种基于联合字典的彩色与深度图像后处理方法

Country Status (1)

Country Link
CN (1) CN105472393B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108550136A (zh) * 2018-03-14 2018-09-18 宁波大学 一种眼底图像血管分割方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105959679B (zh) * 2016-04-27 2017-09-19 宁波大学 一种立体图像视觉舒适度和深度感联合优化方法
CN110111289B (zh) * 2019-04-28 2021-09-28 深圳市商汤科技有限公司 一种图像处理方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102523454A (zh) * 2012-01-02 2012-06-27 西安电子科技大学 利用3d字典消除3d播放系统中块效应的方法
US20130251245A1 (en) * 2012-03-23 2013-09-26 Fatih Porikli Method for Reducing Blocking Artifacts in Images
CN104036502A (zh) * 2014-06-03 2014-09-10 宁波大学 一种无参考模糊失真立体图像质量评价方法
CN104036501A (zh) * 2014-06-03 2014-09-10 宁波大学 一种基于稀疏表示的立体图像质量客观评价方法
CN104408716A (zh) * 2014-11-24 2015-03-11 宁波大学 一种基于视觉保真度的立体图像质量客观评价方法
CN104732492A (zh) * 2015-03-09 2015-06-24 北京工业大学 一种深度图像的去噪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102523454A (zh) * 2012-01-02 2012-06-27 西安电子科技大学 利用3d字典消除3d播放系统中块效应的方法
US20130251245A1 (en) * 2012-03-23 2013-09-26 Fatih Porikli Method for Reducing Blocking Artifacts in Images
CN104036502A (zh) * 2014-06-03 2014-09-10 宁波大学 一种无参考模糊失真立体图像质量评价方法
CN104036501A (zh) * 2014-06-03 2014-09-10 宁波大学 一种基于稀疏表示的立体图像质量客观评价方法
CN104408716A (zh) * 2014-11-24 2015-03-11 宁波大学 一种基于视觉保真度的立体图像质量客观评价方法
CN104732492A (zh) * 2015-03-09 2015-06-24 北京工业大学 一种深度图像的去噪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Beta Process Joint Dictionary Learning for Coupled Feature Spaces with Application to Single Image Super-Resolution;Li He等;《IEEE Conference on Computer Vision and Pattern Recognition》;20130628;全文 *
Nonparametric bayesian dictionary learning for analysis of noisy and incomplete images;M.Zhou等;《IEEE Trans. on Image Processing》;20110620;全文 *
基于稀疏表示和自适应字典学习的"高分一号"遥感图像去噪;秦振涛等;《光电工程》;20130930;全文 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108550136A (zh) * 2018-03-14 2018-09-18 宁波大学 一种眼底图像血管分割方法

Also Published As

Publication number Publication date
CN105472393A (zh) 2016-04-06

Similar Documents

Publication Publication Date Title
CN107463989B (zh) 一种基于深度学习的图像去压缩伪影方法
Zhang et al. Image restoration using joint statistical modeling in a space-transform domain
JP2021520082A (ja) ビデオ符号化のための機械学習モデルの量子化パラメータに適用される非線形関数の使用
Sazzad et al. Stereoscopic image quality prediction
Fang et al. Novel 2-D MMSE subpixel-based image down-sampling
CN107481209B (zh) 一种基于卷积神经网络的图像或视频质量增强方法
CN108391121B (zh) 一种基于深度神经网络的无参考立体图像质量评价方法
CN105472393B (zh) 一种基于联合字典的彩色与深度图像后处理方法
WO2012138568A1 (en) System and method for encoding and decoding anti-aliased video data
CN110136057B (zh) 一种图像超分辨率重建方法、装置及电子设备
CN109523513A (zh) 基于稀疏重建彩色融合图像的立体图像质量评价方法
WO2019001095A1 (zh) 一种视频编码方法、解码方法、装置及电子设备
CN103338379B (zh) 一种基于机器学习的立体视频客观质量评价方法
CN112381866B (zh) 一种基于注意力机制的视频比特增强方法
CN110610467B (zh) 一种基于深度学习的多帧视频去压缩噪声方法
CN113516601A (zh) 基于深度卷积神经网络与压缩感知的图像恢复技术
CN110913216A (zh) 一种结合块匹配和串匹配的图像压缩方法
CN107071423A (zh) 视觉多通道模型在立体视频质量客观评价中的应用方法
CN108492275B (zh) 基于深度神经网络的无参考立体图像质量评价方法
CN103841411B (zh) 一种基于双目信息处理的立体图像质量评价方法
DE112015005159B4 (de) Kodierung im alternierenden blockbeschränkten entscheidungsmodus
Miyata et al. Novel inverse colorization for image compression
CN106504236B (zh) 基于稀疏表示的无参考立体图像质量客观评价方法
CN102523454B (zh) 利用3d字典消除3d播放系统中块效应的方法
CN107665488A (zh) 一种立体图像视觉显著提取方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant