CN103369342B - 一种dibr目标图像空洞填充修复处理方法 - Google Patents

Abstract

本发明提供了一种DIBR目标图像空洞填充修复处理方法，其针对左、右两侧中至少一侧相邻的非空像素点为背景像素点的“大空洞”采用了多次局部修复的特殊空洞填充修复方式，在每次进行局部修复的过程中，先通过优先级对比保证了被选定的待修补区块在背景像素分布、梯度、深度分布等方面具备更显著的参数特征，而后在通过基于SSD准则的匹配系数考量像素RGB值以及深度值的关联性来搜索匹配区块时，其搜索的目标性更强、匹配准确性更高，能够较好的保持前景物体的轮廓，避免在前景物体边缘出现伪像重叠失真现象，保证了空洞填充修复纹理的正确传播，大大减少了空洞填充修复区域与背景图像错位、断节、纹理错乱等不符合视觉心理的修复缺陷。

Description

一种DIBR目标图像空洞填充修复处理方法

技术领域

本发明涉及3D视频技术和基于深度图像绘制技术领域，尤其涉及一种DIBR目标图像空洞填充修复处理方法。

背景技术

基于深度图像绘制技术（Depth-Image-Based Rendering，简称DIBR）是一种根据参考图像（称为reference image）及其对应的深度图像（称为depth image）来生成新的左、右视点图像（即目标图像）的图像处理技术。与传统的需要传递左右眼两路视频图像的实现3D视频的技术相比，采用DIBR技术仅需要传送一路视频及其深度图像就可生成立体图像对，而且可以很方便的实现二维和三维的切换正因为如此，DIBR技术在3D电视立体图像对（称为stereo pair）的生成中得到了广泛应用，它也引起了人们愈来愈浓厚的兴趣。

在3D电视处理系统中，将原始视频的图像作为参考图像，利用DIBR技术生成对应的左视图像和右视图像（为描述方便，本文将利用DIBR技术生成的左视图像和右视图像统称为DIBR目标图像）时，有可能产生大的空洞（称为holes）。空洞是因为视点变化而产生的。由于视点变化导致场景中物体前后遮挡关系发生了变化，原来不可见的物体变得可见，物体表面也会发生缩放，因而会产生空洞。特别是再深度基线较长时，DIBR目标图像中会产生很大的空洞。因此，在获得DIBR目标图像后，往往还需要对DIBR目标图像进行空洞填充处理，以对其进行修复。

由于DIBR目标图像的空洞有其固有的特点：①、空洞数目比较多；②、通常前背景之间的空洞尺寸较大，且一般前景物体信息比背景物体的信息要更完整，即大部分空洞需要用背景像素来填充。所以一般的图像修复算法难以很好的对DIBR目标图像的空洞处理得到较好的修复效果。

我国专利ZL200810105346.2公开了“一种基于深度图的快速图像绘制方法”，其采用了背景优先填充的思想，但是，当空洞两边都为前景且空洞本应该为背景像素时，这种填充算法就会失效，因此岂不具备普遍适用性。2009年，Kwan-Jung Oh等人从后处理的角度提出了基于深度的图像修复技术来进行空洞填充（参见文献“Kwan-Jung,O.,Y.Sehoon,H.Yo-Sung.Hole filling method using depth based in-painting for view synthesis in free viewpointtelevision and3D video,in2009Picture Coding Symposium(PCS),2009.p.1-4”）。张倩等人则采用深度预处理图像和图像修复后处理相结合的方法来填充空洞（参见文献“张倩,刘苏醒,鞠芹,安平,张兆杨.采用图像修复的基于深度图像复制.光电子.激光,2009(10)”）。骆凯、Chang等人采用形态学处理深度图（参见文献“骆凯,李东晓,冯雅美,张明.基于DIBR和图像修复的任意视点绘制.中国图象图形学报,2010(03):p.443-449”以及文献“Chang,K.-M.,T.-C.Lin,Y.-M.Huang,Ieee,Parallax-Guided Disocclusion Inpainting for3D ViewSynthesis.2012Ieee International Conference on Consumer Electronics.2012.398-399”），Daribo等人对深度图像进行高斯滤波（参见文献“Daribo,I.,B.Pesquet-Popescu.Depth-aidedimage inpainting for novel view synthesis.2010:IEEE.p.167-170”），他们在Criminisi图像修复方法（参见文献“Criminisi,A.,P.Perez,K.Toyama.Object removal by exemplar-basedinpainting.in Computer Vision and Pattern Recognition,2003.Proceedings.2003IEEEComputer Society Conference on.2003.p.II-721-II-728vol.2”）的基础上引入深度或视差信息，以减少深度或视差不匹配引起的伪像，但在前景边缘仍会出现伪像。为进一步减少或消除前景边缘的伪像，Gautier等人在优先级的计算方法上大有改进，采用张量来计算优先级以增强算法的鲁棒性，在修复左视图时，促使纹理从左向右传播，修复右视图则相反（参见文献“Gautier,J.,O.Le Meur,C.Guillemot.Depth-based image completion for viewsynthesis.in5th3DTV Conference:The True Vision-Capture,Transmission and Display of3DVideo,3DTV-CON2011,May16,2011-May18,2011.2011.Antalya,Turkey:IEEE ComputerSociety.p.1-4”），由此在一定程度上可以减少前景边缘的伪像，但位于图像边缘的空洞不一定满足其规定的传播方向，因此其对图像边缘的空洞得不到较好的修复效果。Wu、Wang等人提出将前背景分开处理的思想（参见文献“Wu,H.,J.Feng,H.Zhang,Q.Lv.A VirtualView Synthesis Algorithm Based on Image Inpainting.in Networking and DistributedComputing(ICNDC),2012Third International Conference on.2012.p.153-156”以及文献“Wang,K.,P.An,H.Cheng,H.J.Li,Z.Y.Zhang,A New Method of DIBR Based onBackground Inpainting,in Advances on Digital Television and Wireless MultimediaCommunications,W.J.Zhang,X.K.Yang,Z.X.Xu,P.An,Q.Z.Liu,and Y.Lu,Editors.2012,Springer-Verlag Berlin:Berlin.p.478-484”），可以很好的消除前景边缘的伪像。如Wu等人用分水岭算法在深度图上分割前背景，但分水岭算法容易出现过分割，且需要迭代来合并分割成的各个块，时间复杂度较高；Wang等人则针对背景静止的图像，通过帧差来建立一个背景库，但这样需要借助其它多帧彩色图像来建立背景库，技术难度较大，实用性不强。

发明内容

针对现有技术中存在的上述问题，本申请提出了一种DIBR目标图像空洞填充修复处理方法，其针对DIBR目标图像中空洞的特点，采用背景优先的原则，将基于样本的图像修复算法与基于视差图的空洞填充算法结合起来，以提高对DIBR目标图像进行空洞填充修复处理的效果。

为实现上述目的，本发明采用了如下技术手段：

DIBR目标图像空洞填充修复处理方法，包括如下步骤：

A）获取作为修复处理对象的DIBR目标图像及其对应的深度图像，并预先设定像素跨度阈值L_big、区块行像素尺寸参数m和区块列像素尺寸参数n；

B）通过对DIBR目标图像中空洞像素点的识别，检测出DIBR目标图像中的各个空洞，并记录每个空洞的横向像素最大跨度，并将所述各个空洞的横向像素最大跨度与预设的像素跨度阈值L_big进行比较，将横向像素最大跨度小于像素跨度阈值L_big的空洞标记为第a类空洞，将横向像素最大跨度大于或等于像素跨度阈值L_big的空洞标记为第b类空洞；

C）通过对DIBR目标图像进行前景和背景识别，判断每个第b类空洞左、右两侧相邻的非空像素点是否为前景像素点；若存在左、右两侧相邻的非空像素点均为前景像素点的第b类空洞，将之标记为第b1类空洞；将左、右两侧相邻的非空像素点中至少一侧为背景像素点的第b类空洞和位于DIBR目标图像边界上的第b类空洞均标记为第b2类空洞；

D）对于第a类空洞，采用既有的空洞填充方法进行填充修复处理；对于第b1类空洞，采用基于视差图的空洞填充方法进行填充修复处理；对于第b2类空洞，分别对每个第b2类空洞按如下步骤Da）～Dd）所述方式进行填充修复处理：

Da）确定该第b2类空洞当前的待修补区块；该步骤具体包括：

da1）对该第b2类空洞重新进行空洞区域边缘识别，将与该第b2类空洞当前空洞区域边缘相邻的各非空像素点标记为轮廓像素点，从而由当前标记的各个轮廓像素点相连构成该第b2类空洞当前的非空像素轮廓；

da2）确定当前标记的各个轮廓像素点的优先级；其中，当前标记的任意一个轮廓像素点p的优先级P(p)确定为：

P(p)=C(p)·[r+s·DA(p)+t·DE(p)]；

其中，优先级系数r、s、t均为常数，且s≥r≥t>0；

C(p)表示轮廓像素点p的背景置信度系数，且：

表示以轮廓像素点p为中心的像素尺寸为m行n列的区块；表示区块中所包含的像素点总数；表示区块中所包含的背景像素点数；

DA(p)表示轮廓像素点p的边缘系数，且：

$\mathrm{DA}\left(p\right)=n_p\×{\left({\▿I}_p\right)}^{\⊥};$

n_p表示该第b2类空洞当前的非空像素轮廓在轮廓像素点p位置处的法线方向矢量；表示该第b2类空洞当前的非空像素轮廓在轮廓像素点p位置处的等照度方向矢量；

DE(p)表示轮廓像素点p的深度系数，且：

d_max表示DIBR目标图像对应的深度图像中的最大深度值；表示区块中的非空像素区域，p_un表示非空像素区域中的非空像素点，即Dep(p_un)表示非空像素区域中的非空像素点p_un在深度图像中对应的深度值；表示区块中所包含的像素点总数；

优先级P(p)的值越大，表示轮廓像素点p的优先级越高；

da3）比较当前标记的各个轮廓像素点的优先级；若其中优先级最高的轮廓像素点只有一个，将该优先级最高的轮廓像素点标记为待修补目标p_st；若其中优先级最高的轮廓像素点有多个，则选择一个优先级最高的轮廓像素点标记为待修补目标p_st；

da4）将以所述待修补目标p_st为中心的像素尺寸为m行n列的区块作为当前的待修补区块

Db）在DIBR目标图像中搜索与当前的待修补区块最匹配的像素尺寸为m行n列的区块作为匹配区块

其中，I表示DIBR目标图像，表示在DIBR目标图像中的任意一个不同于当前待修补区块的像素尺寸为m行n列的区块；表示区块与当前的待修补区块的匹配系数，匹配系数的值越小，表示区块与当前的待修补区块越匹配；

表示区块与当前的待修补区块中各对应像素点RGB值的平方差之和，即：

表示当前的待修补区块中第i行第j列位置上像素点的RGB值，表示区块中第i行第j列位置上像素点的RGB值；i∈{1,2,…,m}，j∈{1,2,…,n}；

表示区块与当前的待修补区块中各对应像素点深度值的平方差之和，即：

表示当前的待修补区块中第i行第j列位置上像素点的深度值，表示区块中第i行第j列位置上像素点的深度值；i∈{1,2,…,m}，j∈{1,2,…,n}；

Dc）搜索匹配区块中与当前的待修补区块中空洞像素点位置相对应的背景像素点，用以分别填充当前的待修补区块中对应位置的空洞像素点，并以匹配区块中每个用于填充的背景像素点的深度值分别更新其填充的当前待修补区块中的空洞像素点在深度图像中的深度值；

Dd）判断该第b2类空洞是否已被完全填充，若否，则重复步骤Da）～Dc）；直至该第b2类空洞中的所有空洞像素点被完全填充，则对该第b2类空洞的填充修复处理完成。

上述的DIBR目标图像空洞填充修复处理方法中，作为一种优选方案，所述步骤d3）中，若其中优先级最高的轮廓像素点有多个，则选择该多个优先级最高的轮廓像素点中背景置信度系数最大的轮廓像素点标记为待修补目标p_st。

上述的DIBR目标图像空洞填充修复处理方法中，作为一种优选方案，所述像素跨度阈值L_big的取值范围为15～25个像素点。

上述的DIBR目标图像空洞填充修复处理方法中，作为一种优选方案，所述区块行像素尺寸参数m取值范围在31～35个像素点之间；所述区块列像素尺寸参数n的取值范围在31～35个像素点之间。

上述的DIBR目标图像空洞填充修复处理方法中，作为一种优选方案，所述优先级系数r、s、t中，优先级系数r的取值范围为2≤r≤4，优先级系数s的取值范围为3≤s≤7，优先级系数t的取值范围为2≤t≤4，且s≥r≥t。

上述的DIBR目标图像空洞填充修复处理方法中，作为一种优选方案，所述既有的空洞填充方法为基于深度图的快速图像绘制方法、基于视差图的空洞填充方法、Gautier空洞填充方法、DGF滤波空洞填充方法中的一种。

相比于现有技术，本发明DIBR目标图像空洞填充修复处理方法，针对左、右两侧中至少一侧相邻的非空像素点为背景像素点的“大空洞”采用了多次局部修复的特殊空洞填充修复方式，在每次进行局部修复的过程中，先通过优先级对比保证了被选定的待修补区块在背景像素分布、梯度、深度分布等方面具备更显著的参数特征，而后在通过基于SSD准则的匹配系数考量像素RGB值以及深度值的关联性来搜索匹配区块时，其搜索的目标性更强、匹配准确性更高，并且能够确保被搜索到的匹配区块与图像背景具有相当高的相关度，从而采用匹配区块中的背景像素点对待修补区块中的空洞像素点加以填充修复，因此较好的保持前景物体的轮廓，避免在前景物体边缘出现伪像重叠失真现象，同时在匹配区块选择的关联性判定过程中采用了SSD准则，可以避免在多维度特征参数情况下依据SAD准则进行相关度搜索时所出现的不同维度特征差异化难以充分体现、容易出现较多不同相关度却数值相重合的相关度系数、导致匹配区块选择准确性受到干扰的现象，从而保证了空洞填充修复纹理的正确传播，使得最终所获得的空洞填充修复效果与背景图像融合度更高，大大减少了空洞填充修复区域与背景图像错位、断节、纹理错乱等不符合视觉心理的修复缺陷。

附图说明

图1为本发明DIBR目标图像空洞填充修复处理方法的流程框图；

图2为本发明实施例中“Ballet”视频序列的第1帧图像；

图3为本发明实施例中“Ballet”视频序列的第1帧图像对应的深度图像；

图4为本发明实施例中采用基于深度图像绘制技术对“Ballet”视频序列的第1帧图像处理得到的左视点图；

图5为本发明实施例中采用基于深度图像绘制技术对“Ballet”视频序列的第1帧图像处理得到的右视点图；

图6为本发明实施例中“Ballet”视频序列的第1帧图像的左视点图中标记的9个空洞区域分布情况；

图7为本发明实施例中图6所标记的9个空洞区域的空洞分类情况；

图8为本发明实施例中采用基于视差图的空洞填充方法对“Ballet”视频序列图像的左视点图的修复效果图；

图9为本发明实施例中采用Gautier空洞填充方法对“Ballet”视频序列图像的左视点图的修复效果图；

图10为本发明实施例中采用本发明方法对“Ballet”视频序列图像的左视点图的修复效果图；

图11为本发明实施例中采用基于视差图的空洞填充方法对“Ballet”视频序列图像的右视点图的修复效果图；

图12为本发明实施例中采用Gautier空洞填充方法对“Ballet”视频序列图像的右视点图的修复效果图；

图13为本发明实施例中采用本发明方法对“Ballet”视频序列图像的右视点图的修复效果图；

图14为本发明实施例中采用基于视差图的空洞填充方法对“Breakdancers”视频序列图像的左视点图的修复效果图；

图15为本发明实施例中采用Gautier空洞填充方法对“Breakdancers”视频序列图像的左视点图的修复效果图；

图16为本发明实施例中采用本发明方法对“Breakdancers”视频序列图像的左视点图的修复效果图；

图17为本发明实施例中采用基于视差图的空洞填充方法对“Breakdancers”视频序列图像的右视点图的修复效果图；

图18为本发明实施例中采用Gautier空洞填充方法对“Breakdancers”视频序列图像的右视点图的修复效果图；

图19为本发明实施例中采用本发明方法对“Breakdancers”视频序列图像的右视点图的修复效果图；

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步的说明。

针对现有技术中存在的上述问题，本申请提出了一种DIBR目标图像空洞填充修复处理方法，其针对DIBR目标图像中空洞的特点，采用背景优先的原则，将基于样本的图像修复算法与基于视差图的空洞填充算法结合起来，以提高对DIBR目标图像进行空洞填充修复处理的效果。本发明DIBR目标图像空洞填充修复处理方法的处理流程如图1所示，具体步骤如下：

A）获取作为修复处理对象的DIBR目标图像及其对应的深度图像，并预先设定像素跨度阈值L_big、区块行像素尺寸参数m和区块列像素尺寸参数n。

本发明对DIBR目标图像中的空洞采用了分类填充的修复思路，并且空洞填充修复过程需要采用按区块匹配逐步修复的方式来完成，因此在对DIBR目标图像进行具体的空洞填充修复处理之前，需要设定用于对空洞进行分类的像素跨度阈值L_big以及用于确定区块像素尺寸的区块行像素尺寸参数m和区块列像素尺寸参数n。

像素跨度阈值L_big的取值大小，可以根据实际应用场合中对空洞填充修复的分类需要来确定；但通常情况下，像素跨度阈值L_big的取值过大，会导致会导致一些实际较大的空洞被误分类为“小空洞”，在后续处理中就会采用适宜于小空洞的填充方法对这些误分类为“小空洞”的较大空洞进行填充修复处理，使其难以获得很好的修复效果；而像素跨度阈值L_big的取值过小，则将导致分类为“大空洞”的空洞数量过多，增加了一些不必要的运算负荷。综合上述因素考虑，像素跨度阈值L_big的取值范围最好在15～25个像素点之间。

区块行像素尺寸参数m和区块列像素尺寸参数n的取值大小，也可以根据实际应用场合中对区块像素尺寸的需要来确定；当然，区块行像素尺寸参数m和区块列像素尺寸参数n的取值越大，即区块像素尺寸越大，则对空洞按区块匹配逐步修复的细腻程度会越低，而处理速度则越快；区块行像素尺寸参数m和区块列像素尺寸参数n的取值越小，即区块像素尺寸越肖，则对空洞按区块匹配逐步修复就会越细腻，但处理速度会越慢。从修复细腻度和修复处理速度两方面加以权衡考量，区块行像素尺寸参数m取值范围最好在31～35个像素点之间，区块列像素尺寸参数n的取值范围最好在31～35个像素点之间。

B）通过对DIBR目标图像中空洞像素点的识别，检测出DIBR目标图像中的各个空洞，并记录每个空洞的横向像素最大跨度，并将所述各个空洞的横向像素最大跨度与预设的像素跨度阈值L_big进行比较，将横向像素最大跨度小于像素跨度阈值L_big的空洞标记为第a类空洞，将横向像素最大跨度大于或等于像素跨度阈值L_big的空洞标记为第b类空洞。

本发明中，首先基于不同空洞横向像素最大跨度的大小区别，对空洞进行分类；所述的空洞的横向像素最大跨度，就是指空洞所在区域覆盖的像素列数。此处分类利用像素跨度阈值L_big作为分类判断参数，将横向像素最大跨度小于像素跨度阈值L_big的空洞视为“小空洞”，标记为第a类空洞；将横向像素最大跨度大于或等于像素跨度阈值L_big的空洞视为“大空洞”，标记为第b类空洞。

C）通过对DIBR目标图像进行前景和背景识别，判断每个第b类空洞左、右两侧相邻的非空像素点是否为前景像素点；若存在左、右两侧相邻的非空像素点均为前景像素点的第b类空洞，将之标记为第b1类空洞；将左、右两侧相邻的非空像素点中至少一侧为背景像素点的第b类空洞和位于DIBR目标图像边界上的第b类空洞均标记为第b2类空洞。

本发明中，在进行空洞大小的分类后，还基于空洞两侧相邻非空像素点的前景、背景情况，对第b类空洞进行再次分类。由于本发明采用的按区块匹配逐步修复的方案中是利用背景像素点来填充空洞区域，因此如果空洞区域的两侧相邻的非空像素点均为前景像素点，则无法直接获取到背景像素点用于填充空洞；所以，本发明中将左、右两侧相邻的非空像素点均为前景像素点的第b类空洞独立出来作为第b1类空洞，利用现有技术中基于视差图的空洞填充方法（参见文献“Liu,R.,H.Xie,F.Tian,Y.Wu,G.Tai,Y.Tan,W.Tan,H.Chen,L.Ge.Hole-filling Based on Disparity Map for DIBR.KSII Transactions on Internet andInformation Systems(TIIS),2012.6(10):p.2663-2678”；本文中所述的“基于视差图的空洞填充方法”均是指该文献所用的空洞填充方法）对其进行填充修复，可以获得较好的修复效果；而对于左、右两侧相邻的非空像素点中至少一侧为背景像素点的第b类空洞和位于DIBR目标图像边界上的第b类空洞，本发明将之均标记为第b2类空洞，采用特殊的空洞填充方法加以填充修复。

D）对于第a类空洞，采用既有的空洞填充方法进行填充修复处理；这里所述的既有的空洞填充方法，就是指现有技术中已经存在的空洞填充方法；所述的既有的空洞填充方法包括，基于深度图的快速图像绘制方法（即文献“Kwan-Jung,O.,Y.Sehoon,H.Yo-Sung.Hole filling method using depth based in-painting for view synthesis in free viewpoint televisionand3D video,in2009Picture Coding Symposium(PCS),2009.p.1-4”中所用的空洞填充修复方法）、基于视差图的空洞填充方法（即文献“Liu,R.,H.Xie,F.Tian,Y.Wu,G.Tai,Y.Tan,W.Tan,H.Chen,L.Ge.Hole-filling Based on Disparity Map for DIBR.KSII Transactions onInternet and Information Systems(TIIS),2012.6(10):p.2663-2678”中所用的空洞填充方法）、Gautier空洞填充方法（即文献“Gautier,J.,O.Le Meur,C.Guillemot.Depth-based imagecompletion for view synthesis.in5th3DTV Conference:The True Vision-Capture,Transmission and Display of3D Video,3DTV-CON2011,May16,2011-May18,2011.2011.Antalya,Turkey:IEEE Computer Society.p.1-4.”中所用的空洞填充方法）、DGF滤波空洞填充方法（即文献“Ying-Rung,H.,T.Yu-Cheng,C.Tian-Sheuan.Stereoscopic images generationwith directional Gaussian filter.in Circuits and Systems(ISCAS),Proceedings of2010IEEEInternational Symposium on.2010.p.2650-2653”中所用的空洞填充方法）等，对于第a类空洞可以采用其中任意一种空洞填充方法进行填充修复处理，均可以获得较好的修复效果。

对于第b1类空洞，采用基于视差图的空洞填充方法（即文献“Liu,R.,H.Xie,F.Tian,Y.Wu,G.Tai,Y.Tan,W.Tan,H.Chen,L.Ge.Hole-filling Based on Disparity Map for DIBR.KSII Transactions on Internet and Information Systems(TIIS),2012.6(10):p.2663-2678”中所用的空洞填充方法）进行填充修复处理。

对于第b2类空洞，分别对每个第b2类空洞按如下步骤Da）～Dd）所述方式进行填充修复处理：

Da）确定该第b2类空洞当前的待修补区块；该步骤具体包括：

da1）对该第b2类空洞重新进行空洞区域边缘识别，将与该第b2类空洞当前空洞区域边缘相邻的各非空像素点标记为轮廓像素点，从而由当前标记的各个轮廓像素点相连构成该第b2类空洞当前的非空像素轮廓；

实现空洞区域边缘识别的现有识别方法很多；例如，依次判断各非空像素点的邻域8个像素点中是否存在空洞像素点，存在的，即为当前空洞区域边缘相邻的非空像素点；或者采用边缘识别算法对当前空洞区域进行边缘识别，然后通过当前空洞区域边缘的像素坐标而进一步确定其相邻的各非空像素点；等等。空洞区域边缘识别方法属于现有技术，非本发明的创新所在，在此不再多加论述。

da2）确定当前标记的各个轮廓像素点的优先级；其中，当前标记的任意一个轮廓像素点p的优先级P(p)确定为：

P(p)=C(p)·[r+s·DA(p)+t·DE(p)]；

其中，优先级系数r、s、t均为常数，且s≥r≥t>0；

C(p)表示轮廓像素点p的背景置信度系数，且：

表示以轮廓像素点p为中心的像素尺寸为m行n列的区块；表示区块中所包含的像素点总数；表示区块中所包含的背景像素点数；

DA(p)表示轮廓像素点p的边缘系数，且：

$\mathrm{DA}\left(p\right)=n_p\×{\left({\▿I}_p\right)}^{\⊥};$

n_p表示该第b2类空洞当前的非空像素轮廓在轮廓像素点p位置处的法线方向矢量；表示该第b2类空洞当前的非空像素轮廓在轮廓像素点p位置处的等照度方向矢量。在现有技术中，图像轮廓线上某像素点位置处的法线方向矢量和等照度方向矢量，都可以通过图像边缘检测算法中常用的索贝尔算子（Sobel operator）求取像素梯度向量后而求得，因为图像轮廓线上某像素点位置处的法线方向矢量与图像在该像素点位置处的像素梯度向量是一致的，而像轮廓线上某像素点位置处的等照度方向矢量与图像在该像素点位置处的像素梯度向量具有相互垂直的关系（参见现有文献“万莹，基于等照度线扩散的图像修复算法研究；西南交通大学研究生学位论文”）。本发明方法中此处的法线方向矢量n_p和等照度方向矢量也可以采用现有技术的方法通过索贝尔算子求得。具体为：

依据索贝尔算子的水平模板S_x和垂直模板S_y：

$S_x=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right],$ $S_y=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right];$

轮廓像素点p及其八个相邻像素点构成的像素灰度矩阵为A：

$A=\left[\begin{array}{ccc}f(x_f-1,y_p-1)& f(x_p,y_p-1)& f(x_p+1,y_p-1)\\ f(x_p-1,y_p)& f(x_p,y_p)& f(x_p+1,y_p)\\ f(x_p-1,y_p+1)& f(x_p,y_p+1)& f(x_p+1,y_p+1)\end{array}\right];$

其中，f(a,b)表示DIBR目标图像中第b行第a列像素点的灰度值；(x_p,y_p)表示轮廓像素点p在DIBR目标图像中的行列坐标，f(x_p,y_p)表示轮廓像素点p的灰度值；其中，空洞像素点的灰度值为0；

则轮廓像素点p的梯度向量的矢量坐标(G_x,G_y)满足：

G_x=S_x×A，G_y=S_y×A；

若令该第b2类空洞当前的非空像素轮廓在轮廓像素点p位置处的法线方向矢量n_p的矢量坐标为(N_x,N_y)，该第b2类空洞当前的非空像素轮廓在轮廓像素点p位置处的等照度方向矢量的矢量坐标为则根据法线方向矢量、等照度方向矢量与梯度向量的关系，可知其满足：

N_x=G_x，N_y=G_y；

${\▿I}_x=-G_y,$ ${\▿I}_y=G_x;$

也就是说，法线方向矢量n_p和等照度方向矢量的模值均为：

$\left|n_p\right|=\left|{\left({\▿I}_p\right)}^{\⊥}\right|=\sqrt{{G_x}^2+{G_y}^2};$

为了计算更简便、提高运算效率，法线方向矢量n_p和等照度方向矢量的模值也可以取近似值：

$\left|n_p\right|=\left|{\left({\▿I}_p\right)}^{\⊥}\right|=\left|G_x\right|+\left|G_y\right|;$

而法线方向矢量n_p的矢量角Φ(n_p)以及等照度方向矢量的矢量角则分别为：

$\mathrm{\Φ}\left(n_p\right)=\arctan \left(\frac{G_y}{G_x}\right);$ $\mathrm{\Φ}\left({\left({\▿I}_p\right)}^{\⊥}\right)=\arctan (-\frac{G_x}{G_y});$

由此，便求得法线方向矢量n_p和等照度方向矢量

DE(p)表示轮廓像素点p的深度系数，且：

d_max表示DIBR目标图像对应的深度图像中的最大深度值；表示区块中的非空像素区域，p_un表示非空像素区域中的非空像素点，即Dep(p_un)表示非空像素区域中的非空像素点p_un在深度图像中对应的深度值；表示区块中所包含的像素点总数；

优先级P(p)的值越大，表示轮廓像素点p的优先级越高。

da3）比较当前标记的各个轮廓像素点的优先级；若其中优先级最高的轮廓像素点只有一个，将该优先级最高的轮廓像素点标记为待修补目标p_st；若其中优先级最高的轮廓像素点有多个，则选择一个优先级最高的轮廓像素点标记为待修补目标p_st；

在该步骤中，从理论上来说，若优先级最高的轮廓像素点有多个，选择其中任意一个标记为待修补目标p_st，最终都能够获得较好的修复效果；而作为一种更优选的方案，该步骤中若优先级最高的轮廓像素点有多个，选择该多个优先级最高的轮廓像素点中背景置信度系数最大的轮廓像素点标记为待修补目标p_st，对于空洞填充修复更加有利，因为背景置信度系数越大，表明以该轮廓像素点为中心的区块与背景关联度越高，从而能够更容易的选择到背景相似的匹配区块来进行填充，使得填充后与背景融合效果更佳自然。

da4）将以所述待修补目标p_st为中心的像素尺寸为m行n列的区块作为当前的待修补区块

在确定当前的待修补区块的步骤中，各轮廓像素点的优先级大小决定了待修补区块的位置选定，而待修补区块的位置选定对于最终的空洞填充效果具有重要影响。在计算各轮廓像素点的优先级时，要注意优先级系数r、s、t的取值，因为优先级系数r、s、t的取值过大或过小将会导致待修补区块的位置选择不当，从而影响最终的空洞填充效果，可能导致空洞填充修复后的图像出现被修补区域与周围区域不匹配、图形线条的错位等问题。因此，基于上述因素的考虑，作为优选，优先级系数r的取值范围为2≤r≤4较为适宜，优先级系数s的取值范围为3≤s≤7较为适宜，优先级系数t的取值范围为2≤t≤4较为适宜，并且确保s≥r≥t。

Db）在DIBR目标图像中搜索与当前的待修补区块最匹配的像素尺寸为m行n列的区块作为匹配区块

其中，I表示DIBR目标图像，表示在DIBR目标图像中的任意一个不同于当前待修补区块的像素尺寸为m行n列的区块；表示区块与当前的待修补区块的匹配系数，匹配系数的值越小，表示区块与当前的待修补区块越匹配；

表示区块与当前的待修补区块中各对应像素点RGB值的平方差之和，即：

表示当前的待修补区块中第i行第j列位置上像素点的RGB值，表示区块中第i行第j列位置上像素点的RGB值；i∈{1,2,…,m}，j∈{1,2,…,n}；

表示区块与当前的待修补区块中各对应像素点深度值的平方差之和，即：

表示当前的待修补区块中第i行第j列位置上像素点的深度值，表示区块中第i行第j列位置上像素点的深度值；i∈{1,2,…,m}，j∈{1,2,…,n}；

Dc）搜索匹配区块中与当前的待修补区块中空洞像素点位置相对应的背景像素点，用以分别填充当前的待修补区块中对应位置的空洞像素点，并以匹配区块中每个用于填充的背景像素点的深度值分别更新其填充的当前待修补区块中的空洞像素点在深度图像中的深度值；

Dd）判断该第b2类空洞是否已被完全填充，若否，则重复步骤Da）～Dc）；直至该第b2类空洞中的所有空洞像素点被完全填充，则对该第b2类空洞的填充修复处理完成。

通过上述处理流程可以看到，本发明DIBR目标图像空洞填充修复处理方法中，通过对DIBR目标图像中的空洞按大小分类后，对于“小空洞”（即第a类空洞）以及左、右两侧相邻的非空像素点都为前景像素点的“大空洞”（即第b1类空洞）均采用现有的空洞填充方法进行空洞填充修复，因为现有的空洞填充方法对于这两类空洞（即第a类空洞和第b1类空洞）已具备足够好的修复效果；而对于左、右两侧中至少一侧相邻的非空像素点为背景像素点的“大空洞”（即第b2类空洞），本发明DIBR目标图像空洞填充修复处理方法采用了如步骤Da）～Dd）所述的方式进行空洞填充修复，该过程中，对于每个第b2类空洞都需要多次重复执行步骤Da）～Dc），每执行一次步骤Da）～Dc），都是一个“重新确定该第b2类空洞当前的非空像素轮廓、从当前的非空像素轮廓中选定一个待修补区块、搜索当前待修补区块的匹配区块以进行空洞区域局部填充修复”的过程，进而使得该第b2类空洞的空洞区域减小，且空洞区域边缘轮廓发生改变，从而通过多次重复步骤Da）～Dc）逐渐地将一个第b2类空洞的所有空洞像素点全部填充，完成修复处理。对第b2类空洞进行空洞填充修复过程的待修补区块选定方式以及对匹配区块的搜索确定方式，是本发明与与现有技术的最主要区别；本发明的DIBR目标图像空洞填充修复处理方法中，每选定一个待修补区块，都对其与区块背景像素分布情况（体现于背景置信度系数C(p)）、其区块梯度情况（体现于边缘系数DA(p)）以及其区块图像深度分布情况（体现于深度系数DE(p)）加以综合考量，并按照优先级系统比例计算优先级来加以选择；同时，根据待修补区块选择匹配区块时，通过匹配系数综合考量了二者像素RGB值以及深度值的关联性，并且其关联性的判定选择了SSD准则（Sum of Squared Differences，平方差求和），而没有采用SAD准则（Sum of Absolute Differences，绝对值差求和）；这样以来，先通过优先级对比保证了被选定的待修补区块在背景像素分布、梯度、深度分布等方面具备更显著的参数特征，而后在通过基于SSD准则的匹配系数考量像素RGB值以及深度值的关联性来搜索匹配区块时，其搜索的目标性更强、匹配准确性更高，并且能够确保被搜索到的匹配区块与图像背景具有相当高的相关度，从而采用匹配区块中的背景像素点对待修补区块中的空洞像素点加以填充修复，因此较好的保持前景物体的轮廓，避免在前景物体边缘出现伪像重叠失真现象，同时在匹配区块选择的关联性判定过程中采用了SSD准则，可以避免在多维度特征参数情况下依据SAD准则进行相关度搜索时所出现的不同维度特征差异化难以充分体现、容易出现较多不同相关度却数值相重合的相关度系数、导致匹配区块选择准确性受到干扰的现象，从而保证了空洞填充修复纹理的正确传播，使得最终所获得的空洞填充修复效果与背景图像融合度更高，大大减少了空洞填充修复区域与背景图像错位、断节、纹理错乱等不符合视觉心理的修复缺陷。

实施例：

本实施例通过实验，对基于视差图的空洞填充方法（即文献“Liu,R.,H.Xie,F.Tian,Y.Wu,G.Tai,Y.Tan,W.Tan,H.Chen,L.Ge.Hole-filling Based on Disparity Map for DIBR.KSIITransactions on Internet and Information Systems(TIIS),2012.6(10):p.2663-2678”中所用的空洞填充方法）、Gautier空洞填充方法（即文献“Gautier,J.,O.Le Meur,C.Guillemot.Depth-based image completion for view synthesis.in5th3DTV Conference:The True Vision-Capture,Transmission and Display of3D Video,3DTV-CON2011,May16,2011-May18,2011.2011.Antalya,Turkey:IEEE Computer Society.p.1-4.”中所用的空洞填充方法）以及本发明DIBR目标图像空洞填充修复处理方法这三种不同空洞填充修复处理方法的修复处理效果进行对比。

在本试验中，以“Ballet”视频序列作为实验对象，采用上述三种不同空洞填充修复处理方法对“Ballet”视频序列各帧图像的DIBR目标图像分别进行空洞填充修复。“Ballet”视频序列共10帧图像，图像分辨率为768（行）×1024（列）像素。鉴于上述三种不同空洞填充修复处理方法各自的修复原理决定了其各自的修复效果，其各自对“Ballet”视频序列各帧图像的DIBR目标图像的修复效果具有重复性，因此以“Ballet”视频序列中任意一帧图像为例，即可以体现出三种不同空洞填充修复处理方法在修复效果上存在的差异性。下面以其第1帧图像为例加以说明。“Ballet”视频序列的第1帧图像如图2所示，其对应的深度图像如图3所示；图3所示的深度图像中个像素点的深度，通过该图像的灰度来表示，图3中像素点的深度值越大则灰度颜色越暗，深度值越小则灰度颜色越亮，通过设定背景深度阈值并与其中各像素点的深度值进行比较，就可以划分出“Ballet”视频序列的第1帧图像中前景像素区域和背景像素区域；采用基于深度图像绘制技术对“Ballet”视频序列的第1帧图像处理得到的DIBR目标图像如图4和图5所示，其中图4为左视点图像，图5为右视点图像，可以看到，两幅DIBR目标图像中都存在很多空洞。以左视点图为例，从中标记出9个比较明显的空洞，并分别标号1～9，如图6所示；如果按照本发明DIBR目标图像空洞填充修复处理方法中基于像素跨度阈值L_big对空洞的分类方式，设定像素跨度阈值L_big=25个像素点，则可以分类得到，左视点图中标记的9个空洞中，1、2、3、4号空洞为第a类空洞（即“小空洞”），5、6、7、8、9号空洞为第b类空洞（即“大空洞”）；而在第b类空洞中，5、6、7号空洞的左侧或右侧的非空像素点为背景像素点，8号空洞左、右两侧的非空像素点均为背景像素点，而9号空洞左、右两侧的非空像素点均为背景像素点，因此，分类得到5、6、7、8号空洞为第b2类空洞，9号空洞为第b1类空洞；由此对左视点图中标记的9个空洞的分类情况如图7所示。在基于视差图的空洞填充方法和Gautier空洞填充方法中，没有对空洞的类别加以划分，都按照同样的方式对各个空洞进行填充修复；而在本发明DIBR目标图像空洞填充修复处理方法中，对第a类空洞和第b1类空洞采用现有的空洞填充修复处理方法，例如本实施例中都采用基于视差图的空洞填充方法来填充修复第a类空洞和第b1类空洞，而对于第b2类空洞采用了特殊的空洞填充修复方式，以达到更好的图像修复效果。

图8～图13示出了本实施例中三种不同空洞填充修复处理方法对“Ballet”视频序列第1帧图像的DIBR目标图像分别进行空洞填充修复所得到的修复效果对比情况；其中，采用基于视差图的空洞填充方法、Gautier空洞填充方法和本发明DIBR目标图像空洞填充修复处理方法分别对左视点图的空洞填充修复效果依次如图8、图9和图10所示，采用基于视差图的空洞填充方法、Gautier空洞填充方法和本发明DIBR目标图像空洞填充修复处理方法分别对右视点图的空洞填充修复效果依次如图11、图12和图13所示。图8～图13中标记出了三种不同空洞填充修复处理方法所修复的DIBR目标图像中存在明显修复效果差别的几个对应的修复区域。其中，采用基于视差图的空洞填充方法修复的左视点图（图8）和右视点图（图11）虽然对修复区域的文理控制得比较好，但左视点图中的A1、B1区域以及右视点图中的C1、D1区域出现了明显的与背景图像错位、断节的情况，导致图像失去连续性而失真；这是因为基于视差图的空洞填充方法没有很好地进行纹理分析，只是简单的从参考图像中拷贝像素来填充空洞，所以当空洞区域宽度较大时，很容易出现错位、断节等现象。采用Gautier空洞填充方法修复的左视点图（图9）和右视点图（图12）虽然减少了错位现象，但在左视点图中的A2、B2区域以及右视图中的C2、D2区域出现了断节、伪像重叠、纹理错乱等难以符合视觉心理的修复缺陷；这主要是由于Gautier空洞填充方法规定了纹理传播方向，左视图按照从左向右传播，右视图按照从右向左传播，而在图像的边缘处（如A2、D2区域）不符合传播方向的规定，同时在部分空洞区域按传播方向规定又存在前景图像（如B2、C2区域），因此出现了在图像边缘处出现了断节现象，而在部分前景、背景交错的空洞修复区域出现了伪像失真、纹理错乱等现象。采用本发明DIBR目标图像空洞填充修复处理方法修复的左视点图（图10）和右视点图（图13）不仅不存在错位、断节现象，而且从左视点图中的A3、B3区域以及右视图中的C3、D3区域可以看到，这些空洞填充修复区域与图像背景的融合都更加的自然，更没有出现伪像重叠的现象；这正是由于本发明DIBR目标图像空洞填充修复处理方法对于左、右两侧相邻的非空像素点中至少一侧为背景像素点的“大空洞”（即第b2类空洞）进行修复处理的过程中，采用了独特的待修补区块选定方式以及对匹配区块的搜索确定方式，确保了被填充修复的空洞像素点与图像背景具备相当高的相关度以及填充纹理的正确传播，能够较好的保持前景物体的轮廓，避免在前景物体边缘出现伪像重叠失真现象，使得最终所获得的空洞填充修复效果与背景图像融合度更高，修复效果从更好；而对于小空洞（即第a类空洞）以及左、右两侧相邻的非空像素点均为前景像素点的“大空洞”（即第b1类空洞）而言，本发明依然采用了现有的空洞填充修复方案，所以这些区域的空洞填充修复效果与其它两种空洞填充修复处理方案的效果是相当的。

此外，本实施例还采用上述三种不同空洞填充修复处理方法对“Breakdancers”视频序列图像的DIBR目标图像分别进行空洞填充修复，其各自修复效果情况如图14～图19所示；其中，图14和图17为采用基于视差图的空洞填充方法对“Breakdancers”视频序列图像的左、右视点图像的修复效果，图15和图18分别为采用Gautier空洞填充方法对“Breakdancers”视频序列图像的左、右视点图像的修复效果，图16和图19分别为采用本发明DIBR目标图像空洞填充修复处理方法对“Breakdancers”视频序列图像的左、右视点图像的修复效果。从图14～图19中圈定区域的修复效果对比可以明确地看到，如同上述修比结果一样，采用基于视差图的空洞填充方法由于采用了整块图像靠背粘贴的空洞填充方式，其修复的左视点图（图14）和右视点图（图17）中出现了明显的与背景图像错位、断节、甚至重影的情况；采用Gautier空洞填充方法修复的左视点图（图15）和右视点图（图18）出现了断节、伪像重叠、纹理错乱等现象；采用本发明DIBR目标图像空洞填充修复处理方法修复的左视点图（图16）和右视点图（图19）不存在错位、断节、伪像重叠、重影等现象，相对而言修复效果最为理想。由此也可以看到本发明DIBR目标图像空洞填充修复处理方法相对于现有技术而言，在DIBR目标图像空洞填充修复效果上的优点较为明显，在DIBR目标图像修复技术领域乃至3D电视技术领域，都具有非常好的应用前景。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种DIBR目标图像空洞填充修复处理方法，其特征在于，包括如下步骤：

A)获取作为修复处理对象的DIBR目标图像及其对应的深度图像，并预先设定像素跨度阈值L_big、区块行像素尺寸参数m和区块列像素尺寸参数n；

B)通过对DIBR目标图像中空洞像素点的识别，检测出DIBR目标图像中的各个空洞，并记录每个空洞的横向像素最大跨度，并将所述各个空洞的横向像素最大跨度与预设的像素跨度阈值L_big进行比较，将横向像素最大跨度小于像素跨度阈值L_big的空洞标记为第a类空洞，将横向像素最大跨度大于或等于像素跨度阈值L_big的空洞标记为第b类空洞；

C)通过对DIBR目标图像进行前景和背景识别，判断每个第b类空洞左、右两侧相邻的非空像素点是否为前景像素点；若存在左、右两侧相邻的非空像素点均为前景像素点的第b类空洞，将之标记为第b1类空洞；将左、右两侧相邻的非空像素点中至少一侧为背景像素点的第b类空洞和位于DIBR目标图像边界上的第b类空洞均标记为第b2类空洞；

D)对于第a类空洞，采用既有的空洞填充方法进行填充修复处理；所述既有的空洞填充方法为基于深度图的快速图像绘制方法、基于视差图的空洞填充方法、Gautier空洞填充方法、DGF滤波空洞填充方法中的一种；对于第b1类空洞，采用基于视差图的空洞填充方法进行填充修复处理；对于第b2类空洞，分别对每个第b2类空洞按如下步骤Da)～Dd)所述方式进行填充修复处理：

Da)确定该第b2类空洞当前的待修补区块；该步骤具体包括：

Da1)对该第b2类空洞重新进行空洞区域边缘识别，将与该第b2类空洞当前空洞区域边缘相邻的各非空像素点标记为轮廓像素点，从而由当前标记的各个轮廓像素点相连构成该第b2类空洞当前的非空像素轮廓；

Da2)确定当前标记的各个轮廓像素点的优先级；其中，当前标记的任意一个轮廓像素点p的优先级P(p)确定为：

P(p)＝C(p)·[r+s·DA(p)+t·DE(p)]；

其中，优先级系数r、s、t均为常数，且s≥r≥t>0；

C(p)表示轮廓像素点p的背景置信度系数，且：

表示以轮廓像素点p为中心的像素尺寸为m行n列的区块；表示区块中所包含的像素点总数；表示区块中所包含的背景像素点数；

DA(p)表示轮廓像素点p的边缘系数，且：

$\mathrm{DA}\left(p\right)=n_p\×{(\▿I_p)}^{\⊥};$

n_p表示该第b2类空洞当前的非空像素轮廓在轮廓像素点p位置处的法线方向矢量；表示该第b2类空洞当前的非空像素轮廓在轮廓像素点p位置处的等照度方向矢量；

DE(p)表示轮廓像素点p的深度系数，且：

d_max表示DIBR目标图像对应的深度图像中的最大深度值；表示区块中的非空像素区域，p_un表示非空像素区域中的非空像素点，即Dep(p_un)表示非空像素区域中的非空像素点p_un在深度图像中对应的深度值；表示区块中所包含的像素点总数；

优先级P(p)的值越大，表示轮廓像素点p的优先级越高；

Da3)比较当前标记的各个轮廓像素点的优先级；若其中优先级最高的轮廓像素点只有一个，将该优先级最高的轮廓像素点标记为待修补目标p_st；若其中优先级最高的轮廓像素点有多个，则选择一个优先级最高的轮廓像素点标记为待修补目标p_st；

Da4)将以所述待修补目标p_st为中心的像素尺寸为m行n列的区块作为当前的待修补区块

Db)在DIBR目标图像中搜索与当前的待修补区块最匹配的像素尺寸为m行n列的区块作为匹配区块

其中，I表示DIBR目标图像，表示在DIBR目标图像中的任意一个不同于当前待修补区块的像素尺寸为m行n列的区块；表示区块与当前的待修补区块的匹配系数，匹配系数的值越小，表示区块与当前的待修补区块越匹配；

表示区块与当前的待修补区块中各对应像素点RGB值的平方差之和，即：

表示当前的待修补区块中第i行第j列位置上像素点的RGB值，表示区块中第i行第j列位置上像素点的RGB值；i∈{1,2,…,m}，j∈{1,2,…,n}；

表示区块与当前的待修补区块中各对应像素点深度值的平方差之和，即：

表示当前的待修补区块中第i行第j列位置上像素点的深度值，表示区块中第i行第j列位置上像素点的深度值；i∈{1,2,…,m}，j∈{1,2,…,n}；

Dc)搜索匹配区块中与当前的待修补区块中空洞像素点位置相对应的背景像素点，用以分别填充当前的待修补区块中对应位置的空洞像素点，并以匹配区块中每个用于填充的背景像素点的深度值分别更新其填充的当前待修补区块中的空洞像素点在深度图像中的深度值；

Dd)判断该第b2类空洞是否已被完全填充，若否，则重复步骤Da)～Dc)；直至该第b2类空洞中的所有空洞像素点被完全填充，则对该第b2类空洞的填充修复处理完成。

2.根据权利要求1所述的DIBR目标图像空洞填充修复处理方法，其特征在于，所述步骤Da3)中，若其中优先级最高的轮廓像素点有多个，则选择该多个优先级最高的轮廓像素点中背景置信度系数最大的轮廓像素点标记为待修补目标p_st。

3.根据权利要求1所述的DIBR目标图像空洞填充修复处理方法，其特征在于，所述像素跨度阈值L_big的取值范围为15～25个像素点。

4.根据权利要求1所述的DIBR目标图像空洞填充修复处理方法，其特征在于，所述区块行像素尺寸参数m取值范围在31～35个像素点之间；所述区块列像素尺寸参数n的取值范围在31～35个像素点之间。

5.根据权利要求1所述的DIBR目标图像空洞填充修复处理方法，其特征在于，所述优先级系数r、s、t中，优先级系数r的取值范围为2≤r≤4，优先级系数s的取值范围为3≤s≤7，优先级系数t的取值范围为2≤t≤4，且s≥r≥t。