CN101521829B - 一种深度图像序列处理的方法及装置 - Google Patents

Abstract

本发明属于数据信息处理技术领域，特别是涉及一种深度图像序列处理的方法及装置；分析与深度序列图像对应的纹理序列中当前时刻前的m帧、当前时刻n帧以及当前时刻之后的q帧图像，并提取相关特征；结合深度序列中当前时刻之前的r帧和当前时刻之后的s帧对当前帧深度图像进行处理，最终实现增强深度图像序列时域的连续性，实现上述方法的装置主要由缓存器、特征分析模块和特征处理/修正模块构成，所述缓存器分别与特征分析模块和特征处理/修正模块相连接，特征分析模块与特征处理/修正模块相连接；具有适用范围广、处理方法灵活，能够合理利用纹理序列和深度序列之间的相关性以及纹理序列时间上的相关性改善深度序列的相关性；提高3DTV虚拟视生成的质量和深度序列压缩编码的效率。

Description

一种深度图像序列处理的方法及装置

技术领域

本发明涉及数据信息处理技术领域，特别是涉及一种深度图像序列处理的方法及装置。

背景技术

纹理序列即是当前使用摄像机获得的二维图像序列。获得纹理序列是一个将三维真实世界投影到图像平面的过程。这一过程中第三维的信息被丢弃，使得仅依靠纹理序列不能得到相应的三维场景的所有信息。

为完善地表达三维场景，就需要引入与纹理序列相对应的深度序列，以表示出第三维的信息。一般说来，深度序列每一帧的分辨率与纹理序列一致或更低，并采用灰度图的格式，每一个像素点的灰度值表征了相应纹理图上该点的深度。利用纹理序列和相应的深度序列以及必须的摄像机参数，即可完整表示三维场景。

人眼产生立体感主要基于双目视差(binocular parallax)和运动视差(motionparallax)两个方面。如果采用一个装置使左右眼分别看到不同的视差图像，则大脑中就会产生精确的三维物体，以及该物体在场景中的定位，这就是具有深度的立体感。为了达到这一效果，需要利用一对或多对纹理和深度序列分别生成相应的单眼图像。研究表明，立体感和立体图像的整体质量取决于质量较好的单眼图像。

深度序列质量的问题会影响3DTV中虚拟视角图像(即所需的单眼图像)生成的质量，使得最终的主观质量受到限制。

另一方面，不论是用于生成3DTV的深度序列还是用作遥感测绘等的深度序列在获得后都需要进行编码以便在信道上传输。比较简单的方法是纹理序列和深度序列分别以MPEG或H.264等编码技术进行编码。

发明人在实现本发明的过程中，发现现有技术至少存在以下缺点：

现有的深度序列质量不佳，在时域上的一致性不够好，从而会导致生成的虚拟视质量不佳，表现为在静止区域出现抖动等，并且会导致编码时预测残差大，码率上升。

发明内容

本发明实施例提供一种深度序列图像处理方法及其装置，以改善深度序列的相关性。

本发明所述的一种深度图像序列处理方法，(1)分析与深度序列图像对应的纹理序列中当前时刻前的m帧、当前时刻n帧以及当前时刻之后的q帧图像，并提取相关特征；(2)结合深度序列中当前时刻之前的r帧和当前时刻之后的s帧对当前帧深度图像进行处理，最终实现增强深度图像序列时域的连续性；其中：m＝0，1，2……；n＝0，1；n＝1代表使用当前帧，n＝0表示不使用当前帧；q＝0，1，2……；r＝0，1，2……；s＝0，1，2……；其中m、q、r、s帧是连续的和不连续的中的一种，并有m+n+q≥2，r+s≥1。

本发明装置是采用这样的技术解决方案实现的：一种深度图像序列处理装置，其特征在于该装置由缓存器、特征分析模块和特征处理与修正模块构成，所述缓存器分别与特征分析模块和特征处理与修正模块相连接，特征分析模块与特征处理与修正模块相连接，所述特征分析模块用于分析所述的纹理序列，以获得相关的特征信息，处理修正模块能够依据特征信息对深度序列进行相应的处理和修正。

本发明利用了纹理序列和深度序列之间的相关性以及纹理序列时间上的相关性，从而改善深度序列的相关性；并提高虚拟视生成的质量和深度序列压缩编码的效率。这个方法也可以应用在其它需要深度序列的场合

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

附图说明

图1为本发明所述的深度图像序列处理方法示意图之一

图2为本发明所述的深度图像序列处理方法示意图之二

图3为本发明所述的深度图像序列处理方法示意图之三

图4为本发明所述的深度图像序列处理方法示意图之四

图5为本发明所述的深度图像序列处理方法示意图之五

图6为本发明所述的深度图像序列处理装置方框图之一

图7为本发明所述的深度图像序列处理装置方框图之二

图8为本发明所述的深度图像序列处理装置方框图之三

图9为本发明所述的深度图像序列处理装置方框图之四

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本实施例中，由于深度序列和纹理序列之间存在着相关性。通常一个深度序列相应的纹理序列，或一个纹理序列相应的深度序列是指出这两个序列是表示的同一客观实体，并且其信息在时域上和空间域上都是对应的(可能出现一对多或多对多的情况)。

本发明所述的一种深度图像序列处理方法，包括：(1)分析与深度序列图像对应的纹理序列中当前时刻之前的m帧、当前时刻n帧以及当前时刻之后的q帧的图像，并提取相关特征的特征值；(2)结合深度序列中当前时刻之前的r帧和当前时刻之后的s帧对当前帧的深度图像进行处理，最终实现增强深度图像序列时域的连续性；其中：m＝0，1，2……；n＝0，1；n＝1代表使用当前帧，n＝0表示不使用当前帧；q＝0，1，2……；r＝0，1，2……；s＝0，1，2……；其中m、q、r、s帧是连续的帧或不连续的帧中的一种，并有m+n+q≥2，r+s≥1。

所述的当前深度序列可以先采用标志位f，指示是否对深度序列图像采用深度图像序列处理方法；

所述分析与深度序列图像反映同一客观事物的纹理序列是指分析纹理序列中包含的运动信息，作为纹理序列的特征，特征的特征值可以是运动物体的边缘、运动矢量的大小、运动矢量的方向等。

所述纹理序列的运动信息能够反映图像在相应区域的移动状况，并根据该移动状况决定是否对深度图像序列进行处理，即根据所述分析纹理序列所获得的特征值将待处理帧深度图像分为需要修正和不需要修正两部分。

所述的需要修正的局部深度图像，采取优化的修正方法，其中，优化的修正方法可以是时域滤波方法等。例如利用当前时刻前的r帧和当前时刻后的s帧深度图对当前帧进行加权处理以进行修正；其中r，s帧是连续的和是不连续的中的一种，r，s＝0，1，2……，且r+s≥1。

本发明还提供了深度图像序列处理的另一种方法，其内容是在深度序列编码端通过对深度序列和相应纹理序列的分析，获得用于改善深度序列连续性的参数，其中参数包括f、m、n、q、r、s、w_i的全部或部分，并将其地载于码流上；各参数取值意义如下：f＝1，0；f＝1代表当前处理块组使用深度图像序列连续性处理方法，f＝0代表不使用深度图像序列的连续性处理方法；m＝0，1，2……，q＝0，1，2……；m、q分别代表使用增强算法时参考当前时刻之前、之后的纹理序列的帧数；n＝0，1；n＝1代表使用增强算法时参考当前帧，n＝0表示不使用当前帧；r＝0，1，2……，s＝0，1，2……；r、s分别代表使用增强算法时参考当前时刻之前、之后的深度序列的帧数；并有m+n+q≥2，r+s≥1；w_i是m、n、q、r、s各自的权重，共有m+n+q+r+s个。

本发明提供的第三种深度图像序列处理方法是：在深度序列解码端依据码流中提供的参数并结合对深度序列相应特征的分析对深度序列进行处理，以增强其时域连续性；这些参数包括f、 m、n、q、r、s、w_i的全部或部分；各参数取值意义如下：f＝1，0；f＝1代表当前处理块组使用增强深度序列连续性的算法，f＝0代表不使用；m＝0，1，2……，q＝0，1，2……；m、q分别代表使用增强算法时参考当前时刻之前、之后的纹理序列的帧数；n＝0，1；n＝1代表使用增强算法时参考当前帧，n＝0表示不使用当前帧；r＝0，1，2……，s＝0，1，2……；r、s分别代表使用增强算法时参考当前时刻之前、之后的深度序列的帧数；并有m+n+q≥2，r+s≥1；w_i是m、n、q、r、s各自的权重，共有m+n+q+r+s个。

所述的当前深度序列可以先采用标志位f，指示是否对深度序列图像采用深度图像序列处理方法；

所述分析与深度序列图像反映同一客观事物的纹理序列是指分析纹理序列中包含的运动信息，作为纹理序列的特征，特征的特征值可以是运动物体的边缘、运动矢量的大小、运动矢量的方向等。

所述纹理序列的运动信息能够反映图像在相应区域的移动状况，并根据该移动状况决定是否对深度图像序列进行处理，即根据所述分析纹理序列所获得的特征值将待处理帧深度图像分为需要修正和不需要修正两部分。

所述的需要修正的局部深度图像，采取优化的修正方法，其中，优化的修正方法可以是时域滤波方法等。例如利用当前时刻前的r帧和当前时刻后的s帧深度图对当前帧进行加权处理以进行修正；其中r，s帧是连续的和是不连续的中的一种，r，s＝0，1，2……，且r+s≥1。

在实际应用中，算法中参考的纹理序列的帧数及其分布、特征值的数目及其选取、特征值的运用策略、深度序列中参考的帧数及其分布、深度序列处理具体方法等都可以根据实际情况灵活处理。

考虑到纹理序列和深度序列反映的是同一个客观实体，因此它们应当具备同样的性质。深度序列的时域一致性的不佳，可以使用纹理序列的良好的时间一致性进行弥补。因此，本发明中利用对纹理序列的特征进行检测，再通过对特征值的判断决定对相应的深度序列采取何种的优化方法，最终达到改善深度序列时域一致性的结果。从而最终提高生成的虚拟视质量，和降低编码时的预测残差和码率，即提高深度序列压缩编码的效率，同时，也具有较强的普适性，可以应用在各种需要深度序列配合纹理序列工作的场合。

下面具体介绍本发明的实施实例：

实例一：

一种深度图像序列处理方法，包括：

(1)分析与深度序列图像对应的纹理序列中当前时刻前的m＝1帧、当前时刻n＝1帧以及当前时刻之后的q＝0帧图像，并提取纹理序列的特征，本例中特征值是指一个被处理的区域是否移动。；

(2)结合深度序列中当前时刻之前的r＝1帧和当前时刻之后的s＝0帧

(3)对当前帧深度图像进行处理，最终实现增强深度图像序列时域的连续性；

所使用的纹理图像帧、深度图像帧的分布关系及处理方法见附图1。

在本实施例中，特征分析即利用与深度序列当前帧和前一帧相对应的纹理图进行特征提取。提取的特征是某一区域是否移动。具体方法为利用计算当前帧与前一帧的相应区域的SAD并判断其大小，当SAD大于阈值时，认为这一区域有运动；当SAD小于阈值时，则认为这一区域没有运动。此处，这一区域是否有运动即为特征值。

深度序列处理时利用上一步获得的特征值决定是否要对某一像素点进行处理，即判断为有运动的区域不需要对深度进行修正，判断为没有运动的区域则需要对深度进行修正。对于需要处理的像素点，使用前一帧的深度图像相应位置上的点的值与原有深度图像进行加权平均，D′_nt＝w_nD_nt+w_rD_rt，这里D′_nt是当前帧处理区域修正后的深度，D_nt是当前帧处理区域修正前的深度，D_rt是当前帧之前一帧相应区域的深度，权值w_n和w_r是预设的固定值。

实例二：

一种深度图像序列处理方法，包括：

(1)分析与深度序列图像对应的纹理序列中当前时刻前的m＝5帧、当前时刻n＝1帧以及当前时刻之后的q＝0帧图像，并提取纹理序列的特征，本例中特征值为一个被处理区域的运动矢量的幅度；

(2)结合深度序列中当前时刻之前的r＝1帧和当前时刻之后的s＝1帧

(3)对当前帧深度图像进行处理，最终实现增强深度图像序列时域的连续性；

所使用的纹理图像帧、深度图像帧的分布关系及处理方法见附图2。

在本实施例中，特征分析即利用与深度序列当前帧和前m帧相对应的纹理图进行特征提取。提取的特征值为区域运动矢量的幅度。

深度序列处理时利用上一步获得的特征值决定是否要对某一像素区域进行处理，如果运动矢量幅度大于阈值，则不对相应区域进行深度修正，否则使用前一帧和后一帧的深度图相应区域的值与原图相应值进行加权，D′_n1＝w_nlD_nl+w_rlD_rl+w_slD_sl，这里D′_nl是当前帧处理点修正后的深度，D_nl是当前帧处理点修正前的深度，D_rl是当前帧之前一帧处理点相应的深度，D_sl是当前帧之后一帧处理点相应的深度，权值W_nl、w_rl和w_sl由该区域的运动矢量幅度动态决定。

实例三：

一种深度图像序列处理方法，包括：

(1)分析与深度序列图像对应的纹理序列中当前时刻前的m＝6帧、当前时刻n＝0帧以及当前时刻之后的q＝10帧图像，并提取纹理序列的特征，本例中特征值为一个被处理区域的运动矢量，包括幅度和方向信息；

(2)结合深度序列中当前时刻之前的r＝10帧和当前时刻之后的s＝5帧

(3)对当前帧深度图像进行处理，最终实现增强深度图像序列时域的连续性；

所使用的纹理图像帧、深度图像帧的分布关系及处理方法见附图3。

在本实施例中，特征分析即利用与当前时刻之前的m帧以及当前时刻之后的q帧的纹理图进行特征提取，这里的m帧和q帧不是连续的，中间有一些帧被跳过，例如当前帧为第10帧，选取的m帧为第1，4，5，6，8，9帧。提取的特征值为区域运动矢量，包括幅度和方向信息。

深度序列处理时利用上一步获得的特征值决定是否要对某一像素区域进行处理，如果运动矢量幅度大于阈值，则不对相应区域进行修正，否则使用深度序列当前时刻前的r帧和之后的s帧的深度图相应区域的值与原图相应值进行加权处理， ${D^{\′}}_{\mathrm{nt}}=w_{\mathrm{nt}}{D}_{\mathrm{nt}}+\underset{i=1}{\overset{r}{\mathrm{\Σ}}}{w}_{\mathrm{rit}}{D}_{\mathrm{rit}}+\underset{j=1}{\overset{s}{\mathrm{\Σ}}}{w}_{\mathrm{sjt}}{D}_{\mathrm{sjt}},$ 这里D′_nt是当前帧处理区域修正后的深度，D_nt是当前帧处理区域修正前的深度，D_rit是当前帧之前选定帧中第i帧加权区域相应的深度，D_sjt是当前帧之后选定帧中第j帧加权区域相应的深度，权值w_nt、w_rit和w_sjt根据该区域的运动矢量幅度动态决定，用于加权的深度处理区域则由运动矢量的方向决定，例如当前区域的运动矢量方向为水平，则D_rit是待处理区域以及其左右相邻区域的深度。这里的r帧深度图是不连续的，而s帧深度图是连续的。

实例四：

一种深度图像序列处理方法，包括：

(1)分析与深度序列图像对应的纹理序列中当前时刻前的m＝5帧、当前时刻n＝1帧以及当前时刻之后的q＝5帧图像，并提取纹理序列的特征，本例中特征值为一个被处理区域的运动矢量，包括幅度和方向信息；

(2)结合深度序列中当前时刻之前的r＝6帧和当前时刻之后的s＝10帧，以及深度序列r帧和s帧的相应特征，特征值为区域运动矢量，包括幅度和方向信息

(3)对当前帧深度图像进行处理，最终实现增强深度图像序列时域的连续性；

所使用的纹理图像帧、深度图像帧的分布关系及处理方法见附图4。

在本实施例中，特征分析即利用与当前时刻之前的m帧、当前时刻1帧、以及当前时刻之后的q帧的纹理图和当前时刻前的r帧和之后的s帧的深度图像进行特征提取，这里的m帧和q帧是不连续的。提取的特征值为区域运动矢量，包括幅度和方向信息。

深度序列处理时利用上一步获得的特征值决定是否要对某一像素区域进行处理，如果纹理序列和深度序列所提取运动矢量方向一致，则不对相应区域进行修正，否则使用深度序列当前时刻前的r帧和之后的s帧的深度图相应区域的值与原图相应值进行加权处理， ${D^{\′}}_{\mathrm{nt}}=w_{\mathrm{nt}}{D}_{\mathrm{nt}}+\underset{i=1}{\overset{r}{\mathrm{\Σ}}}{w}_{\mathrm{rit}}{D}_{\mathrm{rit}}+\underset{j=1}{\overset{s}{\mathrm{\Σ}}}{w}_{\mathrm{sjt}}{D}_{\mathrm{sjt}},$ 这里D′_nt是当前帧处理区域修正后的深度，D_nt是当前帧处理区域修正前的深度，D_rit是当前帧之前选定帧中第i帧加权区域相应的深度，D_sjt是当前帧之后选定帧中第j帧加权区域相应的深度，权值w_nt、w_rit和w_sjt根据该区域的运动矢量幅度动态决定，用于加权的深度处理区域则由运动矢量的方向决定，例如当前区域的运动矢量方向为水平，则D_rit是待处理区域以及其左右相邻区域的深度。这里的r帧深度图是不连续的，而s帧深度图是连续的。

实例五：

一种深度图像序列处理方法，其特征是：

(1)分析与深度序列图像对应的纹理序列中当前时刻前的m＝3帧、当前时刻n＝0帧以及当前时刻之后的q＝5帧图像，并提取纹理序列的特征，本例中特征值为一个被处理区域的运动矢量，包括幅度和方向信息；

(2)结合深度序列中当前时刻之前的r＝4帧和当前时刻之后的s＝4帧，以及深度序列r’＝5帧和s’＝6帧的相应特征，特征值为区域运动矢量，包括幅度和方向信息

(3)对当前帧深度图像进行处理，最终实现增强深度图像序列时域的连续性；

所使用的纹理图像帧、深度图像帧的分布关系及处理方法见附图5。

特征分析时利用与当前时刻之前的m帧以及之后的q帧相对应的纹理图和深度序列当前时刻前的r’帧和之后的s’帧的深度进行特征提取，这里的m帧是连续的，q帧是不连续的。提取的特征值为区域运动矢量，包括幅度和方向信息。这里r’深度图是不连续的，而s’帧深度图是连续的。

深度序列处理时利用上一步获得的特征值决定是否要对某一像素区域进行处理，如果纹理序列和深度序列所提取运动矢量方向一致，则不对相应区域进行修正，否则使用深度序列当前时刻前的r帧和之后的s帧的深度图相应区域的值与原图相应值进行加权处理， ${D^{\′}}_{\mathrm{nt}}=w_{\mathrm{nt}}{D}_{\mathrm{nt}}+\underset{i=1}{\overset{r}{\mathrm{\Σ}}}{w}_{\mathrm{rit}}{D}_{\mathrm{rit}}+\underset{j=1}{\overset{s}{\mathrm{\Σ}}}{w}_{\mathrm{sjt}}{D}_{\mathrm{sjt}},$ 这里D′_nt是当前帧处理区域修正后的深度，D_nt是当前帧处理区域修正前的深度，D_rit是当前帧之前选定帧中第i帧加权区域相应的深度，D_sjt是当前帧之后选定帧中第j帧加权区域相应的深度，权值w_nt、w_rit和w_sjt根据该区域的运动矢量幅度动态决定，用于加权的深度处理区域则由运动矢量的方向决定，例如当前区域的运动矢量方向为水平，则D_rit是待处理区域以及其左右相邻区域的深度。这里的r帧深度图是不连续的，而s帧深度图是连续的。

实例六：

一种深度图像序列处理方法，包括：在编码端分析与深度序列对应的纹理序列，获得用于改善深度序列连续性的参数，这些参数包括f、m、n、q、r、s、w_i，并将其载于码流中；各参数取值意义如下：f＝1，0；f＝1代表当前处理块组使用增强深度序列连续性的算法，f＝0代表不使用；m＝0，1，2……，q＝0，1，2……；m、q分别代表使用增强算法时参考当前时刻之前、之后的纹理序列的帧数；n＝0，1；n＝1代表使用增强算法时参考当前帧，n＝0表示不使用当前帧；r＝0，1，2……，s＝0，1，2……；r、s分别代表使用增强算法时参考当前时刻之前、之后的深度序列的帧数；并有m+n+q≥2，r+s≥1；w_i是m、n、q、r、s对应帧的权重。

在这里，获取参数的具体方法是：

(1)各参数设为默认值(均为1)；

(2)对纹理序列和深度序列进行特征分析，特征值是运动矢量，包括幅度和方向信息；

(3)根据纹理序列和深度序列的特征值对深度序列进行处理，得到修正后的深度序列，具体方法是：如果纹理序列和深度序列所提取运动矢量方向一致，则不对相应区域进行修正，否则使用深度序列当前时刻前的r帧和之后的s帧的深度图相应区域的值与原图相应值进行加权处理， ${D^{\′}}_{\mathrm{nt}}=w_{\mathrm{nt}}{D}_{\mathrm{nt}}+\underset{i=1}{\overset{r}{\mathrm{\Σ}}}{w}_{\mathrm{rit}}{D}_{\mathrm{rit}}+\underset{j=1}{\overset{s}{\mathrm{\Σ}}}{w}_{\mathrm{sjt}}{D}_{\mathrm{sjt}},$ 这里D′_nt是当前帧处理区域修正后的深度，D_nt是当前帧处理区域修正前的深度，D_rit是当前帧之前选定帧中第i帧处理区域相应的深度，D_sjt是当前帧之后选定帧中第j帧处理区域相应的深度，权值w_nt、w_rit和w_sjt根据该区域的运动矢量幅度动态决定，用于加权的区域则由运动矢量的方向决定；

(4)判定深度序列连续性，如果达到质量要求，则目前参数作为最终参数并将其载于码流中，否则在一定的范围内依次改变参数(例如各参数值的范围设为1～3，从默认值开始逐个参数加1)，重复以上(2)-(4)步；

(5)(尝试了全部参数组合，仍未使质量达到要求，则)在各种参数组合中使当前时刻深度连续性最佳的那组参数组合记载入码流。

实例七：

一种深度图像序列处理方法，包：在解码端

(1)依据码流中提供的参数f、m、n、q、r、s、w_i；

(2)分析与深度序列图像对应的纹理序列中当前时刻前的m帧、当前时刻n帧以及当前时刻之后的q帧图像，并提取相关特征，特征值为运动矢量，包括幅度和方向信息；

(3)结合深度序列中当前时刻之前的r帧和当前时刻之后的s帧

(4)对当前帧深度图像进行处理，最终实现增强深度图像序列时域的连续性；

码流中提供的参数包括f、m、n、q、r、s、w_i；各参数取值意义如下：f＝1，0；f＝1代表当前处理块组使用增强深度序列连续性的算法，f＝0代表不使用；m＝0，1，2……，q＝0，1，2……；m、q分别代表使用增强算法时参考当前时刻之前、之后的纹理序列的帧数；n＝0，1；n＝1代表使用增强算法时参考当前帧，n＝0表示不使用当前帧；r＝0，1，2……，s＝0，1，2……；r、s分别代表使用增强算法时参考当前时刻之前、之后的深度序列的帧数；并有m+n+q≥2，r+s≥1；w_i是m、n、q、r、s对应帧的权重。

深度序列处理的具体方法：利用纹理序列中提取的特征值决定是否要对某一像素区域进行处理，如果运动矢量幅度小于阈值，则不对相应区域进行修正，否则使用深度序列当前时刻前的r帧和之后的s帧的深度图相应区域的值与原图相应值进行加权处理， ${D^{\′}}_{\mathrm{nt}}=w_{\mathrm{nt}}{D}_{\mathrm{nt}}+\underset{i=1}{\overset{r}{\mathrm{\Σ}}}{w}_{\mathrm{rit}}{D}_{\mathrm{rit}}+\underset{j=1}{\overset{s}{\mathrm{\Σ}}}{w}_{\mathrm{sjt}}{D}_{\mathrm{sjt}},$ 这里D′_nt是当前帧处理区域修正后的深度，D_nt是当前帧处理区域修正前的深度，D_rit是当前帧之前选定帧中第i帧加权区域相应的深度，D_sjt是当前帧之后选定帧中第j帧加权区域相应的深度，权值w_nt、w_rit和w_sjt根据该区域的运动矢量幅度动态决定，用于加权的深度处理区域则由运动矢量的方向决定，例如当前区域的运动矢量方向为水平，则D_rit是待处理区域以及其左右相邻区域的深度。这里的r帧深度图是不连续的，而s帧深度图是连续的。

实例八：

在附图6中，本发明所述的一种深度图像序列处理装置，该装置包括缓存器1、特征分析模块2和特征处理与修正模块3，所述缓存器1分别与特征分析模块2和特征处理与修正模块3相连接，特征分析模块2与特征处理与修正模块3相连接，所述特征分析模块2用于分析所述的纹理序列，以获得相关的特征信息，处理修正模块3能够依据特征信息对深度序列进行相应的处理和修正；所述特征处理与修正模块3的修正结果能够经控制支路4反馈至缓存器1。

在本实施例中，特征值信息是指运动矢量，包括幅度和方向信息。特征处理与处理修正模块3利用纹理序列中提取的特征值决定是否要对某一像素区域进行处理，如果运动矢量幅度小于阈值，则不对相应区域进行修正，否则使用深度序列当前时刻前的r帧和之后的s帧的深度图相应区域的值与原图相应值进行加权处理， ${D^{\′}}_{\mathrm{nt}}=w_{\mathrm{nt}}{D}_{\mathrm{nt}}+\underset{i=1}{\overset{r}{\mathrm{\Σ}}}{w}_{\mathrm{rit}}{D}_{\mathrm{rit}}+\underset{j=1}{\overset{s}{\mathrm{\Σ}}}{w}_{\mathrm{sjt}}{D}_{\mathrm{sjt}},$ 这里D′_nt是当前帧处理区域修正后的深度，D_nt是当前帧处理区域修正前的深度，D_rit是当前帧之前选定帧中第i帧处理区域相应的深度，D_sjt是当前帧之后选定帧中第j帧处理区域相应的深度，权值w_nt、w_rit和w_sjt根据该区域的运动矢量幅度动态决定，用于加权的区域则由运动矢量的方向决定。

实例九：

在附图7中，本发明所述的另一种深度图像序列处理装置，该装置包括缓存器1、纹理序列特征分析模块2、深度序列特征分析模块5和特征处理与修正模块3以及一系列控制支路4构成，所述缓存器1分别与纹理序列特征分析模块2、深度特征分析模块5和特征处理与修正模块3相连接，纹理序列特征分析模块2、深度特征分析模块5与特征处理与修正模块3相连接，所述纹理特征分析模块2用于分析所述的纹理序列，以获得相关的特征信息，所述深度特征分析模块5用于分析所述的深度序列，处理修正模块3能够依据纹理和深度特征信息对深度序列进行相应的处理和修正。各控制支路4依据编码端传送而来的控制信息决定各个模块工作所需的参数。

纹理图像序列特征分析模块2对当前深度序列之前的m帧以及之后的q帧以及当前帧n相对应的纹理图进行特征分析，特征值是运动矢量。深度图像序列特征分析模块对当前帧以及之前r帧和之后s帧深度序列进行分析，特征值是运动矢量。这里m、n、q、r和s是编码端指定并通过信道传输而来的。

处理与修正模块3利用来自编码端的标志位f决定是否对当前处理块组进行处理，如果需要处理，则利用纹理和深度图像序列特征分析得到的运动矢量结合w_i进行加权处理。一个区域是否要采用加权，是通过对比纹理序列和深度序列各自运动矢量的方向进行判断的：如果两者相差超过阈值，则判定该区域需要进行加权处理。公式为 ${D^{\′}}_{\mathrm{nl}}=w_{\mathrm{nl}}{D}_{\mathrm{nl}}+\underset{i=1}{\overset{r}{\mathrm{\Σ}}}{w}_{\mathrm{ril}}{D}_{\mathrm{ril}}+\underset{j=1}{\overset{s}{\mathrm{\Σ}}}{w}_{\mathrm{sjl}}{D}_{\mathrm{sjl}},$ 这里D′_nl是当前帧处理点修正后的深度，D_nl是当前帧处理点修正前的深度，D_ril是当前帧之前选定帧中第i帧处理点相应的深度，D_sjl是当前帧之后选定帧中第j帧处理点相应的深度，权值w_nl、w_ril和w_sjl由运动矢量和来自编码端的权值w_i联合决定。

实例十：

在附图8中，本发明所述的另一种深度图像序列处理装置，该装置包括缓存器1、纹理序列特征分析模块2、参数修正模块3，缓存器1分别与纹理序列特征分析模块2和参数修正模块3相连，纹理序列特征分析模块2与参数修正模块3双向相连。

纹理序列特征分析模块2对当前深度序列之前的m帧以及之后的q帧以及当前帧n相对应的纹理图进行特征分析，特征值是待处理区域的运动信息，并将运动信息传给参数修正模块。

参数修正模块通过得到的运动信息结合深度序列对参数f、m、n、q、r、s、w_i进行修正，各参数取值意义如下：f＝1，0；f＝1代表当前处理块组使用增强深度序列连续性的算法，f＝0代表不使用；m＝0，1，2……，q＝0，1，2……；m、q分别代表使用增强算法时参考当前时刻之前、之后的纹理序列的帧数；n＝0，1；n＝1代表使用增强算法时参考当前帧，n＝0表示不使用当前帧；r＝0，1，2……，s＝0，1，2……；r、s分别代表使用增强算法时参考当前时刻之前、之后的深度序列的帧数；并有m+n+q≥2，r+s≥1；w_i是m、n、q、r、s对应帧的权重。参数修正模块将修正过的参数传回纹理序列特征分析模块，几次循环待参数稳定后将参数作为最优参数与深度序列一同送往编码器进行编码处理。

获取参数的具体方法是：

(1)各参数设为默认值(均为1)；

(2)对纹理序列进行特征分析，特征值是运动矢量，包括幅度和方向信息；

(3)根据纹理序列的特征值对深度序列进行处理，得到修正后的深度序列，具体方法是：如果运动矢量幅度大于阈值，则不对相应区域进行修正，否则使用深度序列当前时刻前的r帧和之后的s帧的深度图相应区域的值与原图相应值进行加权处理， ${D^{\′}}_{\mathrm{nt}}=w_{\mathrm{nt}}{D}_{\mathrm{nt}}+\underset{i=1}{\overset{r}{\mathrm{\Σ}}}{w}_{\mathrm{rit}}{D}_{\mathrm{rit}}+\underset{j=1}{\overset{s}{\mathrm{\Σ}}}{w}_{\mathrm{sjt}}{D}_{\mathrm{sjt}},$ 这里D′_nt是当前帧处理区域修正后的深度，D_nt是当前帧处理区域修正前的深度，D_rit是当前帧之前选定帧中第i帧加权区域相应的深度，D_sjt是当前帧之后选定帧中第j帧加权区域相应的深度，权值w_nt、w_rit和w_sjt根据该区域的运动矢量幅度动态决定，用于加权的深度处理区域则由运动矢量的方向决定，例如当前区域的运动矢量方向为水平，则D_rit是待处理区域以及其左右相邻区域的深度。

(4)判定深度序列连续性，如果达到质量要求，则目前参数作为最终参数并将其载于码流中，否则在一定的范围内依次改变参数(例如各参数值的范围设为1～3，从默认值开始逐个参数加1)，重复以上(2)-(4)步；

(5)(尝试了全部参数组合，仍未使质量达到要求，则)在各种参数组合中使当前时刻深度连续性最佳的那组参数组合记载入码流。

实例十一：

在附图9中，本发明所述的另一种深度图像序列处理装置，该装置包括缓存器1、纹理序列特征分析模块2、深度序列特征分析模块6、参数修正模块3，缓存器1分别与纹理序列特征分析模块2、深度序列特征分析模块6和参数修正模块3相连，纹理序列特征分析模块2与参数修正模块3双向相连。

纹理序列特征分析模块2对当前深度序列之前的m帧以及之后的q帧以及当前帧n相对应的纹理图进行特征分析，并将特征值传给纹理序列特征分析模块和参数修正模块。深度序列特征分析模块依据纹理序列特征值和深度序列信息提取深度序列的相应特征值，并将结果传给参数修正模块。

参数修正模块3通过得到的特征值结合深度序列对参数f、m、n、q、r、s、w_i进行修正，各参数取值意义如下：f＝1，0；f＝1代表当前处理块组使用增强深度序列连续性的算法，f＝0代表不使用；m＝0，1，2……，q＝0，1，2……；m、q分别代表使用增强算法时参考当前时刻之前、之后的纹理序列的帧数；n＝0，1；n＝1代表使用增强算法时参考当前帧，n＝0表示不使用当前帧；r＝0，1，2……，s＝0，1，2……；r、s分别代表使用增强算法时参考当前时刻之前、之后的深度序列的帧数；并有m+n+q≥2，r+s≥1；w_i是m、n、q、r、s对应帧的权重。参数修正模块3将修正过的参数传回纹理序列特征分析模块2，几次循环待参数稳定后将参数作为最优参数与深度序列一同送往编码器进行编码处理。

获取参数的具体方法是：

(1)各参数设为默认值(均为1)；

(2)对纹理序列和深度序列进行特征分析，特征值是运动矢量，包括幅度和方向信息；

(3)根据纹理序列和深度序列的特征值对深度序列进行处理，得到修正后的深度序列，具体方法是：如果纹理序列和深度序列所提取运动矢量方向一致，则不对相应区域进行修正，否则使用深度序列当前时刻前的r帧和之后的s帧的深度图相应区域的值与原图相应值进行加权处理， ${D^{\′}}_{\mathrm{nt}}=w_{\mathrm{nt}}{D}_{\mathrm{nt}}+\underset{i=1}{\overset{r}{\mathrm{\Σ}}}{w}_{\mathrm{rit}}{D}_{\mathrm{rit}}+\underset{j=1}{\overset{s}{\mathrm{\Σ}}}{w}_{\mathrm{sjt}}{D}_{\mathrm{sjt}},$ 这里D′_nt是当前帧处理区域修正后的深度，D_nt是当前帧处理区域修正前的深度，D_rit是当前帧之前选定帧中第i帧处理区域相应的深度，D_sjt是当前帧之后选定帧中第j帧处理区域相应的深度，权值w_nt、w_rit和w_sjt根据该区域的运动矢量幅度动态决定，用于加权的区域则由运动矢量的方向决定；

(4)判定深度序列连续性，如果达到质量要求，则目前参数作为最终参数并将其载于码流中，否则在一定的范围内依次改变参数(例如各参数值的范围设为1～3，从默认值开始逐个参数加1)，重复以上(2)-(4)步；

(5)(尝试了全部参数组合，仍未使质量达到要求，则)在各种参数组合中使当前时刻深度连续性最佳的那组参数组合记载入码流。

本发明中利用对纹理序列的特征值进行检测，再通过对特征值的判断决定对相应的深度序列采取何种的优化方法，最终达到改善深度序列时域一致性的结果，从而最终提高生成的虚拟视质量，和降低编码时的预测残差和码率，即提高深度序列压缩编码的效率，同时，也具有较强的普适性，可以应用在各种需要深度序列配合纹理序列工作的场合。

应当指出，本发明的应用领域广泛，方法十分灵活，在此并不能一一列举。但凡是利用本发明的基本精神而设计的算法以及开发的设备和系统都在本专利的保护范围之内。

Claims (9)

1.一种深度图像序列处理方法，其特征在于，包括：

（1）分析与深度序列图像对应的纹理序列中当前时刻前的m个帧、当前时刻n个帧以及当前时刻之后的q个帧图像,并提取纹理序列的特征；所述分析与深度序列图像对应的纹理序列图像并提取纹理序列的特征是指分析纹理序列的运动信息，并提取运动信息作为特征值；

（2）利用纹理序列特征，结合深度序列中当前时刻之前的r个帧和当前时刻之后的s个帧；对当前帧深度图像进行加权处理，                                               

；这里

是当前帧处理区域修正后的深度，

是当前帧处理区域修正前的深度，是当前帧之前选定帧中第i帧处理区域相应的深度，

是当前帧之后选定帧中第j帧处理区域相应的深度，其中：m=0，1，2……；n=0，1；n=1代表使用当前帧，n=0表示不使用当前帧；q=0，1，2……；r=0，1，2……；s=0，1，2……；其中m、q、r、s个帧是连续的帧或不连续的帧中的一种，并有m+n+q ≥2，r+s≥1；权值

、

和为预设的固定值或由所述的特征值动态决定。

2.根据权利要求1所述的一种深度图像序列处理方法，其特征在于，依据所述纹理序列的特征的特征值将待处理帧深度图像分为需要修正和不需要修正两部分。

3.根据权利要求2所述的一种深度图像序列处理方法，其特征在于，所述的需要修正的部分利用当前时刻前的r个帧和当前时刻后的s个帧深度图对当前帧进行加权处理以进行修正；其中r，s个帧是连续和不连续中的一种，r，s=0，1，2……，且r+s≥1 。

4.一种深度图像序列处理方法，其特征在于，在编码端，通过分析与深度序列对应的纹理序列，获得用于改善深度序列连续性的参数，其中，参数包括f、m、n、q、r、s、wi的全部或部分，并将其载于码流中；各参数取值意义如下：f=1，0；f=1代表当前处理块组使用增强深度序列连续性的算法，f=0代表当前处理块组不使用增强深度序列连续性算法；m=0，1，2……，q=0，1，2……；m、q分别代表使用增强深度序列连续性算法时参考当前时刻之前、之后的纹理序列的帧的数目；n=0，1；n=1代表使用增强深度序列连续性算法时参考当前帧，n=0表示不使用当前帧；r=0，1，2……，s=0，1，2……；r、s分别代表使用增强深度序列连续性算法时参考当前时刻之前、之后的深度序列的帧数；并有m+n+q ≥2，r+s≥1； wi是m、n、q、r、s对应帧的权重；所述获得参数的方法至少包括以下步骤：

 (1) 各参数设为默认值；均为1

（2）对纹理序列和深度序列进行特征分析；

（3）根据纹理序列和深度序列的特征值对深度序列进行处理，得到修正后的深度序列；其中对深度序列进行处理，采用以下方法：

这里

是当前帧处理区域修正后的深度，

是当前帧处理区域修正前的深度，

是当前帧之前选定帧中第i帧加权区域相应的深度，

是当前帧之后选定帧中第j帧加权区域相应的深度，权值

、和

为预设的固定值或由所述的特征值动态决定；

（4）判定深度序列连续性，将达到深度序列连续性质量要求的参数载于码流中，如果达不到质量要求，改变参数后重复步骤（2）-（4）；

（5）尝试了全部参数组合，仍未使质量达到要求，则在各种参数组合中使当前时刻深度连续性最佳的那组参数组合记载入码流。

5.一种深度图像序列处理方法，其特征在于，在解码端进行如下处理：

（1）分析与深度序列图像对应的纹理序列中当前时刻前的m个帧、当前时刻n个帧以及当前时刻之后的q个帧图像,并提取相关特征；

（2）结合深度序列中当前时刻之前的r个帧和当前时刻之后的s个帧，依据码流中提供的参数，对当前帧深度图像进行加权处理，

，其中

是当前帧处理区域修正后的深度，

是当前帧处理区域修正前的深度，是当前帧之前选定帧中第i帧加权区域相应的深度，

是当前帧之后选定帧中第j帧加权区域相应的深度，权值

、

和

根为预设的固定值或由所述的相关特征动态决定；

码流中提供的参数包括f、m、n、q、r、s、wi中的全部或部分；各参数取值意义如下：f=1，0；f=1代表当前处理块组使用增强深度序列连续性的算法，f=0代表当前处理块组不使用增强深度序列连续性的算法；m=0，1，2……，q=0，1，2……；m、q分别代表使用增强深度序列连续性的算法时参考当前时刻之前、之后的纹理序列的帧的数目；n=0，1；n=1代表使用增强深度序列连续性的算法时参考当前帧，n=0表示不使用当前帧；r=0，1，2……，s=0，1，2……；r、s分别代表使用增强深度序列连续性的算法时参考当前时刻之前、之后的深度序列的帧的数目；并有m+n+q ≥2，r+s≥1； wi是m、n、q、r、s对应帧的权重。

6.一种深度图像序列处理装置，其特征在于该装置包括缓存器、特征分析模块和特征处理与修正模块，所述缓存器分别与特征分析模块和特征处理与修正模块相连接，特征分析模块与特征处理与修正模块相连接，所述特征分析模块用于分析纹理序列，以获得相关的运动信息作为特征信息，特征处理与修正模块能够依据特征信息对深度序列进行相应的加权处理，所述加权处理为：

，其中

是当前帧处理区域修正后的深度，

是当前帧处理区域修正前的深度，

是当前帧之前选定帧中第i帧处理区域相应的深度，

是当前帧之后选定帧中第j帧处理区域相应的深度，权值

、

和

根为预设的固定值或由所述的特征信息动态决定。

7.一种深度图像序列处理装置，其特征在于该装置包括缓存器、纹理图像序列特征分析模块、深度图像序列特征分析模块和特征处理与修正模块以及控制支路，所述缓存器分别与纹理图像序列特征分析模块、深度图像序列特征分析模块和特征处理与修正模块相连接，纹理图像序列特征分析模块、深度图像序列特征分析模块与特征处理与修正模块相连接，所述纹理图像序列特征分析模块用于分析纹理序列，以获得相关的纹理序列运动信息，所述深度图像序列特征分析模块用于分析深度序列，特征处理与修正模块能够依据纹理序列运动信息和深度序列运动信息对深度序列进行相应的加权处理，控制支路依据码流中的控制信息控制纹理图像序列特征分析模块、深度图像序列特征分析模块和特征处理与修正模块工作；所述的加权处理为

，其中

是当前帧处理区域修正后的深度，

是当前帧处理区域修正前的深度，

是当前帧之前选定帧中第i帧处理区域相应的深度，

是当前帧之后选定帧中第j帧处理区域相应的深度，权值

、

和

为预设的固定值或由所述的纹理序列运动信息和深度序列运动信息动态决定。

8.一种深度图像序列处理装置，其特征在于该装置包括缓存器、特征分析模块、参数修正模块，缓存器分别与特征分析模块和参数修正模块相连，特征分析模块与参数修正模块双向相连；所述特征分析模块用于分析纹理序列，以获得运动信息作为纹理序列特征值；参数修正模块根据纹理序列特征值对深度序列进行处理，得到修正后的深度序列，所述的根据纹理序列特征值对深度序列进行处理为

，其中

是当前帧处理区域修正后的深度，

是当前帧处理区域修正前的深度，是当前帧之前选定帧中第i帧处理区域相应的深度，

是当前帧之后选定帧中第j帧处理区域相应的深度，权值

、

和

为预设的固定值或由所述的纹理序列特征值动态决定；并判定该深度序列连续性，根据深度序列连续性质量对参数f、m、n、q、r、s、wi进行修正；各参数取值意义如下：f=1，0；f=1代表当前处理块组使用增强深度序列连续性的算法，f=0代表当前处理块组不使用增强深度序列连续性的算法；m=0，1，2……，q=0，1，2……；m、q分别代表使用增强深度序列连续性的算法时参考当前时刻之前、之后的纹理序列的帧的数目；n=0，1；n=1代表使用增强深度序列连续性的算法时参考当前帧，n=0表示不使用当前帧；r=0，1，2……，s=0，1，2……；r、s分别代表使用增强深度序列连续性的算法时参考当前时刻之前、之后的深度序列的帧的数目；并有m+n+q ≥2，r+s≥1； wi是m、n、q、r、s对应帧的权重；修正过的参数返回特征分析模块，以上参数修正模块根据纹理序列特征值对深度序列进行处理，得到修正后的深度序列，并判定该深度序列连续性，根据深度序列连续性质量对参数f、m、n、q、r、s、wi进行修正的步骤进行N次后，将最终全部或部分参数载于编码码流；N=1，2，…。

9.一种深度图像序列处理装置，其特征在于该装置包括缓存器、纹理序列特征分析模块、深度序列特征分析模块、参数修正模块，缓存器分别与纹理序列特征分析模块、深度序列特征分析模块和参数修正模块相连，纹理序列特征分析模块与参数修正模块双向相连，深度序列特征分析模块与参数修正模块双向相连；所述纹理特征分析模块用于分析所述的纹理序列，以获得相关的特征信息，所述深度特征分析模块用于分析所述的深度序列，以获得的运动信息作为深度序列特征值，参数修正模块根据纹理序列特征值和深度序列特征值对深度序列进行处理得到修正后的深度序列，所述的根据纹理序列特征值和深度序列特征值对深度序列进行处理为如果纹理序列和深度序列所提取运动矢量方向一致，则不对相应区域进行修正，否则使用深度序列当前时刻前的r帧和之后的s帧的深度图相应区域的值与原图相应值进行加权处理

，其中

是当前帧处理区域修正后的深度，

是当前帧处理区域修正前的深度，

是当前帧之前选定帧中第i帧处理区域相应的深度，

是当前帧之后选定帧中第j帧处理区域相应的深度，权值

、

和为预设的固定值或由所述的纹理序列特征值和深度序列特征值动态决定；并判定深度序列连续性，根据深度序列连续性质量对参数f、m、n、q、r、s、wi进行修正，各参数取值意义如下：f=1，0；f=1代表当前处理块组使用增强深度序列连续性的算法，f=0代表当前处理块组不使用增强深度序列连续性的算法；m=0，1，2……，q=0，1，2……；m、q分别代表使用增强深度序列连续性的算法时参考当前时刻之前、之后的纹理序列的帧的数目；n=0，1；n=1代表使用增强深度序列连续性的算法时参考当前帧，n=0表示不使用当前帧；r=0，1，2……，s=0，1，2……；r、s分别代表使用增强深度序列连续性的算法时参考当前时刻之前、之后的深度序列的帧的数目；并有m+n+q ≥2，r+s≥1； wi是m、n、q、r、s对应帧的权重；修正过的参数返回纹理序列特征分析模块和深度序列特征分析模块，以上参数修正模块根据纹理序列特征值和深度序列特征值对深度序列进行处理，得到修正后的深度序列，并判定该深度序列连续性，根据深度序列连续性质量对参数f、m、n、q、r、s、wi进行修正的步骤进行N次后，将最终全部或部分参数载于编码码流；N=1，2，…。

Images