CN103813149A - 一种编解码系统的图像与视频重构方法 - Google Patents

Abstract

本发明公开了一种编解码系统的图像与视频重构方法，主要包括以下步骤：S1、利用采集的原始深度图像和原始彩色图像生成参考虚拟视点图像序列；S2、对原始深度图像和原始彩色图像进行编码形成压缩视频流；S3、对压缩视频流进行解码，得到失真图像，并采用失真图像绘制生成第一失真虚拟视点图像序列。本发明不仅能够有效克服传统方案所存在的全局深度值失真，满足人们的现实需求，而且与现有技术相比，其PSNR(Peak Signal-to-Noise Ratio，峰值信噪比)可提高约为0.3dB～1.2dB，BDPSNR可提高约为0.4dB～1.0dB。

Description

一种编解码系统的图像与视频重构方法

技术领域

本发明涉及一种图形处理方法，具体是指一种编解码系统的图像与视频重构方法。

背景技术

三维视频(3 Dimensional Video，3DV)是一种新兴的媒体，同时也是当今媒体发展的必然趋势，它能够使观众自由的选择观看的视角，真切的感受三维(3D)立体世界。在三维视频技术中，基于深度的虚拟视点绘制技术已被动态图片专家组组织确认为三维视频系统中虚拟视点绘制的候选方案。该基于深度的虚拟视点绘制技术核心思想为：(1)利用深度信息，将参考图像上所有的像素点重新映射到它们对应的3维空间中；(2)这些3维空间点再被映射到目标图像(虚拟视点图像)平面。这个从2维到3维的重新映射以及从3维再到2维的映射称为三维图像变换(3D Image Warping)。

深度信息在此项技术中是非常关键的，它的准确性与否决定了绘制过程中映射坐标位置是否准确。但是，为了能够减少信道传输过程中的数据量，对于深度信息，也是需要经过编码。尽管研究人员采用各种对于深度的编码方式，如对深度视频信息编码过程中采用加权模式的滤波、利用相关的彩色视频编码过程中的信息来对深度视频进行编码以提高率失真性能，用来降低深度信息在编码过程中造成的失真，可是编码失真问题仍是不可避免的。这种失真对于基于深度的虚拟视点绘制技术而言是较为敏感的，深度值的失真会引起绘制过程中映射坐标位置的错误，造成虚拟视点图像的几何失真，最终影响虚拟视点图像的主客观质量。

针对深度图编码失真问题，国内外已有学者对此进行了研究。Oh等人提出了对于编码失真的深度对象边缘区域进行重建滤波，以恢复这一区域内失真的深度值。该方法考虑了局部邻域区域内的直方图信息、距离相关性信息及深度值差异信息，以优化调整深度图中对象边界区域内失真的深度值，这种方法在一定程度上提高了虚拟视点绘制图像的质量，但是该方法只调整边界区域的深度值失真，随着编码量化参数(QP)的增大，编码失真区域也随之扩散，所以该方法不能够有效的恢复全局的深度值失真。Yuan等人提出了在发送端传输滤波器系数，在客户端利用维纳滤波器(wiener filter)对编码失真图像进行滤波，以得到与参考图像接近的虚拟视点图像的框架，该方法有效的提高了虚拟视点图像的质量。但是，维纳滤波器只利用了前向的信号信息来预测当前的信息，没有考虑二维图像中周围邻域内的空域相关信息；同时在计算所需传输的滤波器系数时，每一帧图像都需要有相关的滤波器系数，在一定程度上增加了传输的数据量。

因此，目前所采用的两种方法均不能从根本上解决深度图编码失真的问题，不能满足人们的使用需求。

发明内容

本发明的目的在于克服目前针对编码后的深度图像序列中深度值的失真在绘制过程造成的映射错误，对绘制得到的虚拟视点图像序列质量产生不良影响的缺陷，提供一种能有效解决该问题的编码系统的图像与视频重构方法。

本发明通过以下技术方案来实现：一种编解码系统的图像与视频重构方法，其特征在于，主要包括以下步骤：

S1、利用采集的原始深度图像和原始彩色图像生成参考虚拟视点图像序列；

S2、对原始深度图像和原始彩色图像进行编码形成压缩视频流；

S3、对形成的压缩视频流进行解码，得到失真图像，并采用失真图像绘制生成第一失真虚拟视点图像序列；

S4、将参考虚拟视点图像序列和第一失真虚拟视点图像序列按照时间方向的顺序对应进行组层划分；

S5、设置滤波器，并带入组层进行计算以得到滤波器系数；

S6、发送端传输滤波器系数与压缩视频流至客户端；

S7、客户端对压缩视频流进行解码再次得到失真图像，并采用失真图像绘制生成第二失真虚拟视点图像序列，利用滤波器系数对第二失真虚拟视点图像序列滤波，重构得到第三失真虚拟视点图像。

进一步地，步骤S4中所述的“进行组层划分”是指系统将参考虚拟视点图像序列和第一失真虚拟视点图像序列分解为组层、帧层及块层；其中，帧层是指在同一时刻由一帧参考虚拟视点图像序列与一帧第一失真虚拟视点图像序列组成，组层则是由连续的两个以上的帧层组成，而一帧图像则由若干W_b×H_b尺寸的块层组成。

为了较好的实现本发明，步骤S5所述的“设置滤波器，并带入组层进行计算以得到滤波器系数”具体包括以下步骤：

S51、设计线性加权滤波器；

S52、以参考虚拟视点图像序列与第一失真虚拟视点图像序列差异度最小为代价函数，计算出滤波器系数矩阵；

S53、进行滤波器系数最优矩阵估计；

S54、滤波器系数矩阵更新。

进一步地，步骤S53所述的进行滤波器系数最优矩阵估计包括以下步骤：

a1、假设设计的滤波器的窗口大小为M×N，M，N为奇数，其滤波系数矩阵表示为

$C=\left[\begin{array}{cccc}{c}_{\left(\mathrm{0,0}\right)}& c_{\left(\mathrm{0,1}\right)}& ...& c_{(0,N-1)}\\ c_{\left(\mathrm{1,0}\right)}& c_{\left(\mathrm{1,1}\right)}& ...& c_{(1,N-1)}\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ c_{(M-\mathrm{1,0})}& c_{(M-\mathrm{1,1})}& ...& c_{(M-1,N-1)}\end{array}\right];$

其中c_(i，j)为滤波器系数矩阵(i，j)位置的元素，i∈[0，M-1]，j∈[0，N-1]；

a2、假设在参考虚拟视点图像序列中第k帧参考虚拟视点图像记为D_k，第一失真虚拟视点图像序列中第k帧失真虚拟视点图像记为

第一失真虚拟视点图像序列经过滤波重建后的第k帧重建虚拟视点图像记为

图像尺寸大小为W×H，W为水平分辨率，H为竖直分辨率；

a3、分别将参考虚拟视点图像D_k和失真虚拟视点图像

划分为尺寸为W_b×H_b的B_n个块，从左到右，从上到下，依次对这些块进行标号，则每个块可以用(i₁，i₂)索引，参考虚拟视点图像D_k，失真虚拟视点图像

和重建虚拟视点图像

在(i₁，i₂)位置的块分别记为B_k(i₁，i₂)，

i₁和i₂分别为水平方向和竖直方向的块索引号，K₁和K₂为一帧图像中水平和垂直方向的分块个数，K₁＝W/W_b，K₂＝H/H_b，0≤i₁≤K₁-1，0≤i₂≤K₂-1，K₁×K₂＝B_n；

a4、以D_k(i，j)表示参考虚拟视点图像序列中第k帧图像D_k的B_k(i₁，i₂)块中像素位置(i，j)的亮度Y分量像素值，即D_k(j，j)∈B_k(i₁，i₂)，

表示失真虚拟视点图像序列中第k帧图像

的

中像素位置(i，j)的亮度Y分量像素值，即

以

表示第一失真虚拟视点图像序列经过滤波重建后的第k帧图像的

块中像素位置(i，j)的亮度Y分量像素值，即

由此，

可以表示为滤波器系数矩阵C(i₁，i₂)与第一失真虚拟视点图像序列的像素

的函数关系式，即

${\tilde{D}}_k(i,j)=f_1(C(i_1,i_2),D_k^d(i,j))$

其中(i，j)是块(i₁，i₂)中的一个像素位置，C^k(i₁，i₂)表示第k帧图像中第(i₁，i₂)块的滤波器系数矩阵；

a5、记Φ(i，j)表示D_k(i，j)与

的差异度，

a6、求取当前块B_k(i₁，i₂)中差异值的和，以Φ_B(i₁，i₂)表示，即：

${\mathrm{\Φ}}_B(i_1,i_2)=\underset{i=0}{\overset{W_b}{\mathrm{\Σ}}}\underset{j=0}{\overset{H_b}{\mathrm{\Σ}}}\mathrm{\Φ}(i,j);$

a7、采用最优化方法求解出第k帧图像中第(i₁，i₂)的滤波器系数矩阵C^k(i₁，i₂)最优解C^*k(i₁，i₂)，即当满足Φ_B(i₁，j₂)最小时的滤波器系数最优解C^*k(i₁，i₂)可以表示为

$C^{*k}(i_1,i_2)=\arg \underset{C^k(i_1,i_2)}{\min }{\mathrm{\Φ}}_B(i_1,i_2),$

a8、之后回到a4，计算出第k帧中其他块的滤波器系数最优矩阵，直到完成第k帧中所有块的滤波器系数矩阵的计算。

进一步地，步骤a4滤波器系数矩阵C(i₁，i₂)与第一失真虚拟视点图像序列的像素的函数关系式为

${\tilde{D}}_k(i,j)=\underset{l=-w/2}{\overset{l=w/2}{\mathrm{\Σ}}}\underset{m=-w/2}{\overset{m=w/2}{\mathrm{\Σ}}}{c}_{(l,m)}^k(i_1,i_2)\×D_k^d(i+l,j+m),$

其中(i，j)是块(i₁，i₂)中的一个像素位置，

表示第k帧图像中第(i₁，i₂)块的滤波器系数矩阵C^k(i₁，i₂)中相应位置(l，m)的系数值。

进一步地，步骤a5所述函数关系f₂表示为

$\mathrm{\Φ}(i,j)=w_{\mathrm{ij}}{|D_k(i,j)-{\tilde{D}}_k(i,j)|}^{\mathrm{\β}}$

其中w_ij为加权系数，一般为[0，1]范围，β为指数。

进一步地，步骤S54所述的滤波器系数矩阵更新包括以下步骤：

b1、假设参考虚拟视点图像序列为{D_k}，失真虚拟视点图像序列为

将参考图像序列{D_k}和失真图像序列

按照时间方向的顺序排列，k为索引序号，每个序列共N_f帧，1≤k≤N_f；

b2、按照步骤(S53)计算得到所有{D_k}对应滤波器系数矩阵，即每个块B_k(i₁，i₂)对应一个最优滤波器系数矩阵C(i₁，i₂)，共N_f×B_n个；

b3、将k×B_n个滤波器系数矩阵划分为G_n个单元，1≤G_n≤N_f×B_n，每个单元有g(i)个滤波系数矩阵融合为新滤波器系数矩阵

共G_n个，

从而完成N_f帧的滤波器系数矩阵更新。

进一步地，b3中所述单元的划分为组、帧或块所组成的任意一种组合方式，且其所述的滤波器系数矩阵融合是指：新滤波器系数矩阵

中的(l，m)位置的系数值采用滤波器系数矩阵C(i₁，i₂)中的(l，m)位置的系数值加权平均计算得到

${\stackrel{\‾}{c}}_{(l,m)}(i_1,i_2)=\frac{\underset{n=1}{\overset{g\left(i\right)}{\mathrm{\Σ}}}{\mathrm{\ω}}_n\×c_{(l,m)}(i_1,i_2)}{\underset{n=1}{\overset{g\left(i\right)}{\mathrm{\Σ}}}{\mathrm{\ω}}_n}$

其中ω_n为加权系数。

进一步地，所述失真图像为失真深度图与失真彩色图、或失真深度图和原始彩色图、或者原始深度图与失真彩色图。

本发明与现有技术相比，具有以下优点及有益效果：

1、本发明能够有效克服传统方案所存在的全局深度值失真，满足人们的现实需求。

2、本发明与现有技术相比，其PSNR(Peak Signal-to-Noise Ratio，峰值信噪比)可提高约为0.3dB～1.2dB，BDPSNR可提高约为0.4dB～1.0dB。

附图说明

图1为本发明的整体流程结构示意图。

图2为本发明的组层划分结构示意图。

图3为本发明对“Ballet”序列，量化参数QP＝24的实验对比结果。

图4为本发明对“Bookarrival”序列，量化参数QP＝24的实验对比结果。

具体实施方式

下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例

本实施例选取微软研究院(MSR)提供的视频测试序列“Ballet”和“Breakdancers”，德国HHI提供的视频测试序列“Bookarrival”和“Alt-Moabit”，日本Nagoya大学提供的视频测试序列“Balloons”和“Kendo”，韩国ETRI提供的视频测试序列“Lovebirdl”，其图像尺寸都为1024×768。

如图1所示，本发明在运行时，发送端系统进行步骤S1，即利用采集的原始深度图像和原始彩色图像生成参考虚拟视点图像序列。

步骤S2，对原始深度图像和原始彩色图像进行编码形成压缩视频流。

步骤S3，对压缩视频流进行解码，得到失真图像，并采用失真图像绘制生成第一失真虚拟视点图像序列。所述失真图像为失真深度图与失真彩色图、或失真深度图和原始彩色图、或者原始深度图与失真彩色图。

步骤S4，将参考虚拟视点图像序列和第一失真虚拟视点图像序列按照时间方向的顺序对应进行组层划分。所谓的“进行组层划分”是指系统将参考虚拟视点图像序列和第一失真虚拟视点图像序列分解为组层、帧层及块层；其中，帧层是指在同一时刻由一帧参考虚拟视点图像序列与一帧第一失真虚拟视点图像序列组成，组层则是由连续的两个以上的帧层组成，而一帧图像则由若干W_b×H_b尺寸的块层组成。其结构如图2所示。

步骤S5，设置滤波器，并带入组层进行计算以得到滤波器系数；其具体包括以下步骤：S51、设计线性加权滤波器；S52、以参考虚拟视点图像序列与第一失真虚拟视点图像序列差异度最小为代价函数，计算出滤波器系数矩阵；S53、进行滤波器系数最优矩阵估计；S54、滤波器系数矩阵更新。

其中，所谓的进行滤波器系数最优矩阵估计包括以下步骤：

a1、假设设计的滤波器的窗口大小为M×N，M，N为奇数，其滤波系数矩阵表示为

$C=\left[\begin{array}{cccc}{c}_{\left(\mathrm{0,0}\right)}& c_{\left(\mathrm{0,1}\right)}& ...& c_{(0,N-1)}\\ c_{\left(\mathrm{1,0}\right)}& c_{\left(\mathrm{1,1}\right)}& ...& c_{(1,N-1)}\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ c_{(M-\mathrm{1,0})}& c_{(M-\mathrm{1,1})}& ...& c_{(M-1,N-1)}\end{array}\right];$

其中c_(i，j)为滤波器系数矩阵(i，j)位置的元素，i∈[0，M-1]，j∈[0，N-1]；

a2、假设在参考虚拟视点图像序列中第k帧参考虚拟视点图像记为D_k，第一失真虚拟视点图像序列中第k帧失真虚拟视点图像记为

第一失真虚拟视点图像序列经过滤波重建后的第k帧重建虚拟视点图像记为

图像尺寸大小为W×H，W为水平分辨率，H为竖直分辨率；

a3、分别将参考虚拟视点图像D_k和失真虚拟视点图像

划分为尺寸为W_b×H_b的B_n个块，从左到右，从上到下，依次对这些块进行标号，则每个块可以用(i₁，i₂)索引，参考虚拟视点图像D_k，失真虚拟视点图像

和重建虚拟视点图像

在(i₁，i₂)位置的块分别记为B_k(i₁，i₂)，

i₁和i₂分别为水平方向和竖直方向的块索引号，K₁和K₂为一帧图像中水平和垂直方向的分块个数，K₁＝W/W_b，K₂＝H/H_b，0≤i₁≤K₁-1，0≤i₂≤K₂-1，K₁×K₂＝B_n；

a4、以D_k(i，j)表示参考虚拟视点图像序列中第k帧图像D_k的B_k(i₁，i₂)块中像素位置(i，j)的亮度Y分量像素值，即D_k(i，j)∈B_k(i₁，i₂)，表示失真虚拟视点图像序列中第k帧图像的

中像素位置(i，j)的亮度Y分量像素值，即

以

表示第一失真虚拟视点图像序列经过滤波重建后的第k帧图像的

块中像素位置(i，j)的亮度Y分量像素值，即

由此，可以表示为滤波器系数矩阵C(i₁，i₂)与第一失真虚拟视点图像序列的像素

的函数关系式，即

${\tilde{D}}_k(i,j)=f_1(C(i_1,i_2),D_k^d(i,j))$

其中(i，j)是块(i₁，i₂)中的一个像素位置，C^k(i₁，i₂)表示第k帧图像中第(i₁，i₂)块的滤波器系数矩阵；

a5、记Φ(i，j)表示D_k(i，j)与

的差异度，

a6、求取当前块B_k(i₁，i₂)中差异值的和，以Φ_B(i₁，i₂)表示，即：

${\mathrm{\Φ}}_B(i_1,i_2)=\underset{i=0}{\overset{W_b}{\mathrm{\Σ}}}\underset{j=0}{\overset{H_b}{\mathrm{\Σ}}}\mathrm{\Φ}(i,j);$

a7、采用最优化方法求解出第k帧图像中第(i₁，i₂)的滤波器系数矩阵C^k(i₁，i₂)最优解C^*k(i₁，i₂)，即当满足Φ_B(i₁，i₂)最小时的滤波器系数最优解C^*k(i₁，i₂)可以表示为

$C^{*k}(i_1,i_2)=\arg \underset{C^k(i_1,i_2)}{\min }{\mathrm{\Φ}}_B(i_1,i_2),$

a8、之后回到a4，计算出第k帧中其他块的滤波器系数最优矩阵，直到完成第k帧中所有块的滤波器系数矩阵的计算。

所述的滤波器系数矩阵更新则包括以下步骤：

b1、假设参考虚拟视点图像序列为{D_k}，失真虚拟视点图像序列为

将参考图像序列{D_k}和失真图像序列

按照时间方向的顺序排列，k为索引序号，每个序列共N_f帧，1≤k≤N_f；

b2、按照步骤(S53)计算得到所有{D_k}对应滤波器系数矩阵，即每个块B_k(i₁，i₂)对应一个最优滤波器系数矩阵C(i₁，i₂)，共N_f×B_n个；

b3、将k×B_n个滤波器系数矩阵划分为G_n个单元，1≤G_n≤N_f×B_n，每个单元有g(i)个滤波系数矩阵融合为新滤波器系数矩阵

共G_n个，

从而完成N_f帧的滤波器系数矩阵更新。所述单元的划分为组、帧或块所组成的任意一种组合方式。

步骤S6，发送端传输滤波器系数与压缩视频流至客户端。

步骤S7，客户端对压缩视频流进行解码再次得到失真图像，并采用失真图像绘制生成第二失真虚拟视点图像序列，利用滤波器系数对第二失真虚拟视点图像序列滤波，重构得到第三失真虚拟视点图像。

为了确保实际的运行效果，本实施例中步骤a4所述的滤波器系数矩阵C(i₁，i₂)与第一失真虚拟视点图像序列的像素

的函数关系式可以表示为

${\tilde{D}}_k(i,j)=\underset{l=-w/2}{\overset{l=w/2}{\mathrm{\Σ}}}\underset{m=-w/2}{\overset{m=w/2}{\mathrm{\Σ}}}{c}_{(l,m)}^k(i_1,i_2)\×D_k^d(i+l,j+m).$

其中(i，j)是块(i₁，i₂)中的一个像素位置，

表示第k帧图像中第(i₁，i₂)块的滤波器系数矩阵C^k(i₁，i₂)中相应位置(l，m)的系数值。

而步骤a5中的函数关系f₂表示为

$\mathrm{\Φ}(i,j)=w_{\mathrm{ij}}{|D_k(i,j)-{\tilde{D}}_k(i,j)|}^{\mathrm{\β}}$

其中w_ij为加权系数，一般为[0，1]范围，β为指数，本实施例中的w_ij＝1，β＝1。

步骤b3中所述的滤波器系数矩阵融合是指：新滤波器系数矩阵

中的(l，m)位置的系数值

采用滤波器系数矩阵C(i₁，i₂)中的(l，m)位置的系数值加权平均计算得到

${\stackrel{\‾}{c}}_{(l,m)}(i_1,i_2)=\frac{\underset{n=1}{\overset{g\left(i\right)}{\mathrm{\Σ}}}{\mathrm{\ω}}_n\×c_{(l,m)}(i_1,i_2)}{\underset{n=1}{\overset{g\left(i\right)}{\mathrm{\Σ}}}{\mathrm{\ω}}_n}$

其中ω_n为加权系数。

以选取的“Ballet”、“Breakdancers”、“Bookarrival”、“Alt-Moabit”、“Balloons”、“Kendo”及“Lovebirdl”作为视频测试序列进行数据测试，其结果如图3、4所示。其中深度图像序列编码时的量化参数(QP)分别选取24、28、32和36，其具体数据见表1～表7所示。

表1

表2

表3

表4

表5

表6

表7

从测试数据可以得出：以与参考图像序列的峰值信噪比和各量化参数下的两条率失真曲线间的平均峰值信噪比作为客观评价值，与失真序列相比，本发明的PSNR可提高约为0.3dB～1.2dB，BDPSNR可提高约为0.4dB～1.0dB；与Yuan的方法的对比，本发明的PSNR可提高约为0.1dB～1.0dB，BDPSNR可提高约为0.14dB～0.6dB。

如上所述，便可较好的实现本发明。

Claims (10)

1.一种编解码系统的图像与视频重构方法，其特征在于：主要包括以下步骤：

S1、利用采集的原始深度图像和原始彩色图像生成参考虚拟视点图像序列；

S2、对原始深度图像和原始彩色图像进行编码形成压缩视频流；

S3、对压缩视频流进行解码，得到失真图像，并采用失真图像绘制生成第一失真虚拟视点图像序列；

S4、将参考虚拟视点图像序列和第一失真虚拟视点图像序列按照时间方向的顺序对应进行组层划分；

S5、设置滤波器，并带入组层进行计算以得到滤波器系数；

S6、发送端传输滤波器系数与压缩视频流至客户端；

S7、客户端对压缩视频流进行解码再次得到失真图像，并采用失真图像绘制生成第二失真虚拟视点图像序列，利用滤波器系数对第二失真虚拟视点图像序列滤波，重构得到第三失真虚拟视点图像。

2.根据权利要求1所述的一种编码系统的图像与视频重构方法，其特征在于：步骤S4中所述的“进行组层划分”是指系统将参考虚拟视点图像序列和第一失真虚拟视点图像序列分解为组层、帧层及块层；其中，帧层是指在同一时刻由一帧参考虚拟视点图像序列与一帧第一失真虚拟视点图像序列组成，组层则是由连续的两个以上的帧层组成，而一帧图像则由若干W_b×H_b尺寸的块层组成。

3.根据权利要求2所述的一种编码系统的图像与视频重构方法，其特征在于，步骤S5所述的“设置滤波器，并带入组层进行计算以得到滤波器系数”具体包括以下步骤：

S51、设计线性加权滤波器；

S52、以参考虚拟视点图像序列与第一失真虚拟视点图像序列差异度最小为代价函数，计算出滤波器系数矩阵；

S53、进行滤波器系数最优矩阵估计；

S54、滤波器系数矩阵更新。

4.根据权利要求3所述的一种编码系统的图像与视频重构方法，其特征在于，步骤S53所述的进行滤波器系数最优矩阵估计包括以下步骤：

a1、假设设计的滤波器的窗口大小为M×N，M，N为奇数，其滤波系数矩阵表示为

$C=\left[\begin{array}{cccc}{c}_{\left(\mathrm{0,0}\right)}& c_{\left(\mathrm{0,1}\right)}& ...& c_{(0,N-1)}\\ c_{\left(\mathrm{1,0}\right)}& c_{\left(\mathrm{1,1}\right)}& ...& c_{(1,N-1)}\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ c_{(M-\mathrm{1,0})}& c_{(M-\mathrm{1,1})}& ...& c_{(M-1,N-1)}\end{array}\right];$

其中c_(i，j)为滤波器系数矩阵(i，j)位置的元素，i∈[0，M-1]，j∈[0，N-1]；

a2、假设在参考虚拟视点图像序列中第k帧参考虚拟视点图像记为D_k，第一失真虚拟视点图像序列中第k帧失真虚拟视点图像记为

第一失真虚拟视点图像序列经过滤波重建后的第k帧重建虚拟视点图像记为

图像尺寸大小为W×H，W为水平分辨率，H为竖直分辨率；

a3、分别将参考虚拟视点图像D_k和失真虚拟视点图像划分为尺寸为W_b×H_b的B_n个块，从左到右，从上到下，依次对这些块进行标号，则每个块可以用(i₁，i₂)索引，参考虚拟视点图像D_k，失真虚拟视点图像

和重建虚拟视点图像

在(i₁，i₂)位置的块分别记为B_k(i₁，i₂)，

i₁和i₂分别为水平方向和竖直方向的块索引号，K₁和K₂为一帧图像中水平和垂直方向的分块个数，K₁＝W/W_b，K₂＝H/H_b，0≤i₁≤K₁-1，0≤i₂≤K₂-1，K₁×K₂＝B_n；

a4、以D_k(i，j)表示参考虚拟视点图像序列中第k帧图像D_k的B_k(i₁，i₂)块中像素位置(i，j)的亮度Y分量像素值，即D_k(i，j)∈B_k(i₁，i₂)，

表示失真虚拟视点图像序列中第k帧图像

的

中像素位置(i，j)的亮度Y分量像素值，即

以

表示第一失真虚拟视点图像序列经过滤波重建后的第k帧图像的块中像素位置(i，j)的亮度Y分量像素值，即

由此，可以表示为滤波器系数矩阵C(i₁，i₂)与第一失真虚拟视点图像序列的像素的函数关系式，即

${\tilde{D}}_k(i,j)=f_1(C(i_1,i_2),D_k^d(i,j))$

其中(i，j)是块(i₁，i₂)中的一个像素位置，C^k(i₁，i₂)表示第k帧图像中第(i₁，i₂)块的滤波器系数矩阵；

a5、记Φ(i，j)表示D_k(i，j)与的差异度，

a6、求取当前块B_k(i₁，i₂)中差异值的和，以Φ_B(i₁，i₂)表示，即：

${\mathrm{\Φ}}_B(i_1,i_2)=\underset{i=0}{\overset{W_b}{\mathrm{\Σ}}}\underset{j=0}{\overset{H_b}{\mathrm{\Σ}}}\mathrm{\Φ}(i,j);$

a7、采用最优化方法求解出第k帧图像中第(i₁，i₂)的滤波器系数矩阵C^k(i₁，i₂)最优解C^*k(i₁，i₂)，即当满足Φ_B(i₁，i₂)最小时的滤波器系数最优解C^*k(i₁，i₂)可以表示为

$C^{*k}(i_1,i_2)=\arg \underset{C^k(i_1,i_2)}{\min }{\mathrm{\Φ}}_B(i_1,i_2),$

a8、之后回到a4，计算出第k帧中其他块的滤波器系数最优矩阵，直到完成第k帧中所有块的滤波器系数矩阵的计算。

5.根据权利要求4所述的一种编码系统的图像与视频重构方法，其特征在于，步骤a4滤波器系数矩阵C(i₁，i₂)与第一失真虚拟视点图像序列的像素

的函数关系式为

${\tilde{D}}_k(i,j)=\underset{l=-w/2}{\overset{l=w/2}{\mathrm{\Σ}}}\underset{m=-w/2}{\overset{m=w/2}{\mathrm{\Σ}}}{c}_{(l,m)}^k(i_1,i_2)\×D_k^d(i+l,j+m),$

其中(i，j)是块(i₁，i₂)中的一个像素位置，

表示第k帧图像中第(i₁，i₂)块的滤波器系数矩阵C^k(i₁，i₂)中相应位置(l，m)的系数值。

6.根据权利要求4所述的一种编码系统的图像与视频重构方法，其特征在于，步骤a5所述函数关系f₂表示为

$\mathrm{\Φ}(i,j)=w_{\mathrm{ij}}{|D_k(i,j)-{\tilde{D}}_k(i,j)|}^{\mathrm{\β}}$

其中w_ij为加权系数，一般为[0，1]范围，β为指数。

7.根据权利要求4所述的一种编码系统的图像与视频重构方法，其特征在于，步骤S54所述的滤波器系数矩阵更新包括以下步骤：

b1、假设参考虚拟视点图像序列为{D_k}，失真虚拟视点图像序列为

将参考图像序列{D_k}和失真图像序列

按照时间方向的顺序排列，k为索引序号，每个序列共N_f帧，1≤k≤N_f；

b2、按照步骤(S53)计算得到所有{D_k}对应滤波器系数矩阵，即每个块B_k(i₁，i₂)对应一个最优滤波器系数矩阵C(i₁，i₂)，共N_f×B_n个；

b3、将k×B_n个滤波器系数矩阵划分为G_n个单元，1≤G_n≤N_f×B_n，每个单元有g(i)个滤波系数矩阵融合为新滤波器系数矩阵

共G_n个，

从而完成N_f帧的滤波器系数矩阵更新。

8.根据权利要求7所述的一种编码系统的图像与视频重构方法，其特征在于，步骤b3中所述单元的划分为组、帧或块所组成的任意一种组合方式。

9.根据权利要求8所述的一种编码系统的图像与视频重构方法，其特征在于，步骤b3中所述的滤波器系数矩阵融合是指：新滤波器系数矩阵

中的(l，m)位置的系数值

采用滤波器系数矩阵C(i₁，i₂)中的(l，m)位置的系数值加权平均计算得到

${\stackrel{\‾}{c}}_{(l,m)}(i_1,i_2)=\frac{\underset{n=1}{\overset{g\left(i\right)}{\mathrm{\Σ}}}{\mathrm{\ω}}_n\×c_{(l,m)}(i_1,i_2)}{\underset{n=1}{\overset{g\left(i\right)}{\mathrm{\Σ}}}{\mathrm{\ω}}_n}$

其中ω_n为加权系数。

10.根据权利要求1所述的一种编码系统的图像与视频重构方法，其特征在于：所述失真图像为失真深度图与失真彩色图、或失真深度图和原始彩色图、或者原始深度图与失真彩色图。

Images