CN115908162B - 一种基于背景纹理识别的虚拟视点生成方法及系统 - Google Patents

Abstract

本发明提供了一种基于背景纹理识别的虚拟视点生成方法及系统，所述方法包括：S1、预处理：针对虚拟视点图像中的重叠、空洞、裂缝、伪影问题，分别进行优化预处理；S2、背景纹理复杂度评估：对预处理后的虚拟视点图像的背景纹理复杂度进行评估，计算图像灰度在空间上的变化和重复率；S3、空洞填充：当图像灰度在空间上的变化和重复率≤50％时，通过方向直线检测的方式进行空洞填充；当图像灰度在空间上的变化和重复率＞50％时，通过逆三维变换的方式进行空洞填充。通过本发明的方法和系统生成的虚拟视点的图像质量指标、客观评价指标、PSNR和SSIM等指标均优于现有技术，具有保真程度高、图像质量好的优点，增强了虚拟视点生成性能。

Description

一种基于背景纹理识别的虚拟视点生成方法及系统

技术领域

本发明涉及数字图像处理技术领域，具体涉及一种基于背景纹理识别的虚拟视点生成方法及系统。

背景技术

在广播电视等相关技术迅速发展背景下，大众获取二维信息的方式方法逐渐完善和改进，然而现实世界是一个三维立体的世界，如何获取三维立体信息，并使众人有身临其境的感受是人们不断追求的目标。

虚拟视点生成与绘制相关技术，是通过当前已经存在的参考图形，对自然场景中新视点下的图像进行绘制。利用此技术，能够将不同视点下的图像进行三维转换并清晰呈现至显示端口，为使用者提供准确、客观的图像信息数据，减少数据冗余和传输延时，使观感者拥有一个较为流畅的视觉感官体验。综上，高精度和高质量的虚拟视点生成与绘制对于相关领域的应用和发展而言研究意义重大，已经成为3D图像生成等领域的热点课题，引起了各领域学者的广泛关注。

随着虚拟视点生成技术的不断精进，当前相关研究成果存在视点生成结果保真度较低的问题，比如虚拟视点生成效率低、图像清晰度较差、图像中噪点较多、图像显示效果不自然等等。因此，现有技术中的虚拟视点生成方法有待进一步完善和改进。

发明内容

本发明的目的在于，针对现有的虚拟视点生成技术中存在的视点生成结果保真度较低的问题，提供一种基于背景纹理识别的虚拟视点生成方法及系统，提升虚拟视点生成效率，提高虚拟视点图像的显示效果，以更好地满足实际需求。

为实现上述目的，本发明采用以下技术方案：

一种基于背景纹理识别的虚拟视点生成方法，包括：

S1、预处理：针对虚拟视点图像中的重叠、空洞、裂缝、伪影问题，分别进行优化预处理；

S2、背景纹理复杂度评估：对预处理后的虚拟视点图像的背景纹理复杂度进行评估，计算图像灰度在空间上的变化和重复率；

S3、空洞填充：当图像灰度在空间上的变化和重复率≤50％时，通过方向直线检测的方式进行空洞填充；当图像灰度在空间上的变化和重复率＞50％时，通过逆三维变换的方式进行空洞填充；

在S3中，通过方向直线检测的方式进行空洞填充的方法包括：

S311、对虚拟视点图像中存在的空洞位置进行检测提取，同时检测其边缘位置与边缘极点；

S312、对虚拟视点图像实行灰度化操作，通过垂直线识别检测模板与±45°线识别检测模板实现图像的掩膜检测，同时将检测的最终结果记录下来；

S313、与空洞位置相融合，识别是否存在背景分界情况，对于空洞的边缘极点，在空洞以外的位置开展垂直线与±45°直线检测；对于一般的空洞边缘位置，在空洞以外的位置开展±45°直线检测；

S314、获取空洞在±90°、±45°与±135°六个方向上的直线检测判定矩阵后，基于这些矩阵结果针对空洞位置进行延伸性预测，再基于空洞位置周边的像素深度信息进行分块填充。

进一步地，在S3中，通过方向直线检测的方式进行空洞填充的方法还包括：

S315、利用二维高斯滤波器对虚拟视点图像进行滤波处理。

进一步地，在S3中，通过逆三维变换的方式进行空洞填充的方法包括：

S321、提取虚拟视点的深度图：利用三维图像变换基本原理完成参考视点转换，同时得到虚拟视点相应的深度图；

S322、投影至辅助参考视点位置：将虚拟视点图像中的空洞区域记录下来，采用逆三维变换法对空洞区域的像素进行深度信息更新，将投影要素信息进行融合，得到辅助参考视点位置信息，以此获取辅助视点空洞图；

S323、找到匹配像素点完成填充：和已知辅助参考视点位置像素点相互对照，找出与空洞点相应辅助参考视点位置像素，根据空洞图获取像素点信息，完成图像匹配填充。

进一步地，在S1中，针对虚拟视点图像中的重叠问题进行优化预处理的方法为：采用Z-Buffer算法进行预处理，即在虚拟视点生成绘制时，为各像素点提供一个缓存，通过该缓存将像素点视差值保存起来，接着将视差值最大像素当成该虚拟视点值。

进一步地，在S1中，针对虚拟视点图像中的空洞问题进行优化预处理的方法为：采用水平填充法进行预处理，即将当前空洞边缘附近的正常图像像素的最大像素值进行水平平移，替代当前空洞像素，完成空洞边缘填充。

进一步地，在S1中，针对虚拟视点图像中的空洞问题进行优化预处理的方法还包括：利用二维高斯滤波对虚拟视点图像的深度图进行滤波处理。

进一步地，在S1中，针对虚拟视点图像中的裂缝问题进行优化预处理的方法为：基于裂缝点周围像素值实行预测填充操作，即通过四舍五入和多项式原理进行预处理。

进一步地，在S1中，针对虚拟视点图像中的伪影问题进行优化预处理的方法为：对目标图像中存在的空洞点实行膨胀操作。

进一步地，在S1中，针对虚拟视点图像中的伪影问题进行优化预处理的方法还包括：在进行图像转换前将前景和背景物体深度差较大的像素点删除。

一种基于背景纹理识别的虚拟视点生成系统，包括：

预处理模块，用于针对虚拟视点图像中的重叠、空洞、裂缝、伪影问题，分别进行优化预处理；

背景纹理复杂度评估模块，用于对预处理后的虚拟视点图像的背景纹理复杂度进行评估，计算图像灰度在空间上的变化和重复率；

空洞填充优化模块，用于在图像灰度在空间上的变化和重复率≤50％时，通过方向直线检测的方式进行空洞填充；在图像灰度在空间上的变化和重复率＞50％时，通过逆三维变换的方式进行空洞填充；

在空洞填充优化模块中，通过方向直线检测的方式进行空洞填充的方法包括：

S311、对虚拟视点图像中存在的空洞位置进行检测提取，同时检测其边缘位置与边缘极点；

S312、对虚拟视点图像实行灰度化操作，通过垂直线识别检测模板与±45°线识别检测模板实现图像的掩膜检测，同时将检测的最终结果记录下来；

S313、与空洞位置相融合，识别是否存在背景分界情况，对于空洞的边缘极点，在空洞以外的位置开展垂直线与±45°直线检测；

S314、获取空洞在±90°、±45°与±135°六个方向上的直线检测判定矩阵后，基于这些矩阵结果针对空洞位置进行延伸性预测，再基于空洞位置周边的像素深度信息进行分块填充。

本发明分别对重叠、空洞、裂缝、伪影等虚拟视点生成优化影响因素进行预处理；并根据预处理结果，基于背景纹理的不同复杂度情况，采用不同的方法填充空洞。在背景纹理相对简单的状况下，利用方向直线检测法进一步填充空洞，以空洞周边信息素信息为支撑，对空洞边缘的像素实行方向直线检测同时预测空洞等操作，实现空洞区域分块填充。在背景纹理相对复杂的状况下，通过逆三维变换法对空洞像素进行深度信息更新，将更新后的区域信息素投射至辅助平面，与已知平面像素辅助参数进行对照，根据辅助参考视点平面像素实现空洞填充，获取优化之后的虚拟视点。通过本发明的方法和系统生成的虚拟视点的图像质量指标、客观评价指标、PSNR和SSIM等指标均优于现有技术，具有保真程度高、图像质量好的优点，增强了虚拟视点生成性能。

附图说明

图1是本发明实施例一提供的一种基于背景纹理识别的虚拟视点生成方法的流程示意图。

图2是本发明实施例一的步骤S311中的空洞边缘位置与边缘极点示意图。

图3是本发明实施例一的预处理效果对比图。

图4是本发明实施例一的图像处理效果的PSNR指标对比图。

图5是本发明实施例一的图像最终处理效果对比图。

图6是本发明实施例一的图像处理效果的SSIM指标对比图。

图7是本发明实施例二提供的一种基于背景纹理识别的虚拟视点生成系统的结构示意图。

具体实施方式

下面将结合附图和具体的实施例对本发明的技术方案进行详细说明。

实施例一

如图1所示，本发明实施例提供的一种基于背景纹理识别的虚拟视点生成方法，主要包括以下步骤：

S1、预处理：针对虚拟视点图像中的重叠、空洞、裂缝、伪影问题，分别进行优化预处理；

S2、背景纹理复杂度评估：对预处理后的虚拟视点图像的背景纹理复杂度进行评估，计算图像灰度在空间上的变化和重复率；

S3、空洞填充：当图像灰度在空间上的变化和重复率≤50％时，通过方向直线检测的方式进行空洞填充；当图像灰度在空间上的变化和重复率＞50％时，通过逆三维变换的方式进行空洞填充。

下面将针对各个步骤进行详细说明。

在虚拟视点生成过程中，由于位置转移、成像遮挡、动态运动等情况，容易产生图像成像重叠、信息素空洞、裂缝、生成伪影等问题。本发明在S1中针对不同的问题分别采用不同的方式进行预处理。

在生成虚拟视点图像过程中，参考相机中存在数个像素点投影至目标相机图像同一像素点这样的问题，此种问题即为映射重叠问题。出现重叠问题的一个重要因素，就是因视点变换导致相应像素无法匹配。当参考视点与虚拟视点存在坐标系不一致的情况时，参考视点中的像素无法映射到虚拟视点，由于位置不匹配出现重叠现象。

在本实施例的S1中，针对虚拟视点图像中的重叠问题进行优化预处理的方法为：采用Z-Buffer算法进行预处理，即在虚拟视点生成绘制时，为各像素点提供一个缓存，通过该缓存将像素点视差值保存起来，接着将视差值最大像素当成该虚拟视点值。此种方式能够高效解决重叠现象。

在虚拟视点图像中产生空洞情况的主要原因为：物体图像在参考视点中的部分像素点被遮挡而看不到，然而在目标视点却处于可见位置；自然场景中各个像素点深度值连续性近乎为0，导致目标图像中会存在一些空洞。基于物体前后的整体遮挡关联性可知，目标视点和参考视点之间相对位置和空洞存在的相对位置相同。也就是假设目标视点处在参考视点右侧，则空洞位置则会在前景物体右侧边缘位置。相同道理，假设目标视点处在参考视点左侧，则空洞位置会在前景物体左侧边缘位置。

在本实施例的S1中，针对虚拟视点图像中的空洞问题进行优化预处理的方法为：采用水平填充法进行预处理，即将当前空洞边缘附近的正常图像像素的最大像素值进行水平平移，替代当前空洞像素，完成空洞边缘填充。

此外，产生空洞的最为直接的因素为深度图不存在连续特性，尤其是当深度值生成突变的位置。为了更好地处理空洞问题，本实施例在针对虚拟视点图像中的空洞问题进行优化预处理时，还利用二维高斯滤波对虚拟视点图像的深度图进行滤波处理。

虚拟视点图像中，除空洞点外，还会有部分裂缝。一般情况下，裂缝不会很大，3D转换时，参考视点图像投影至目标视点图像中，通常并不是正好落在整数像素位置，由此会导致出现细小裂缝。还有一种原因会产生裂缝，即深度图像素点整体深度信息不存在连续性，亦或不是十分精准。

在本实施例的S1中，针对虚拟视点图像中的裂缝问题进行优化预处理的方法为：基于裂缝点周围像素值实行预测填充操作，即通过四舍五入和多项式原理进行预处理。具体包括：通过四舍五入和多项式原理将所有裂缝点周围的相邻像素点的像素值合并处理，采用DC系数对裂缝点周围的相邻像素点进行赋值；将裂缝点周围的相邻像素点的值填充到重建图像中与其位置相同的像素点中；按照从左下往左上、从左上往右上的扫描顺序对裂缝点周围所有像素值进行遍历，如果第一个点不可用，则使用下一个可用点对应的重建样点值对其进行赋值，直到遍历完毕，全部进行填充。

虚拟视点图像中的伪影即为不是很清晰的前景轮廓。在本实施例的S1中，针对虚拟视点图像中的伪影问题进行优化预处理的方法为：对目标图像中存在的空洞点实行膨胀操作，以将其中一些容易生成伪影的像素去除；此外，还可以在进行图像转换前将背景中景深为前景深2倍以上的像素点删除，以减少伪影数量。其中，膨胀操作的具体方法为：基于空洞中的高亮部分进行膨胀，利用结构元素扫描图像的每一个元素；用结构元素与其覆盖的二值图像做覆盖，使二值图像扩大一圈。

通过S1对虚拟视点图像进行预处理后，为优化虚拟视点奠定了良好的基础。接着在S2中对预处理后的虚拟视点图像的背景纹理复杂度进行评估，并在S3中根据背景纹理复杂度，分别针对简单背景与复杂背景采用不同的方法进行虚拟视点优化生成。其中，背景纹理复杂度可以采用图像灰度在空间上的变化和重复率为指标进行评估。

在S3中，当图像灰度在空间上的变化和重复率≤50％时，可以认定背景纹理较为简单，通过方向直线检测的方式进行空洞填充；在整个处理过程中，无需使用任何另外的辅助视点信息进行空洞填补处理，适用于获取高质量虚拟视点比较困难，只能根据参考图像自身具备的信息进行修复的情况。

具体地，通过方向直线检测的方式进行空洞填充的方法包括：

S311、对虚拟视点图像中存在的空洞位置进行检测提取，同时检测其边缘位置与边缘极点。如图2所示，图中所示的阴影部分即为空洞部分，空洞的边缘能够划分成两种：其一是处在空洞边缘垂直交叉处的点，即边缘极点，也就是图2中所示的P₁(x,y)；其二是普通空洞边缘位置，也就是图2中所示的P₂(x,y)。

S312、对虚拟视点图像实行灰度化操作，通过垂直线识别检测模板与±45°线识别检测模板实现图像的掩膜检测，同时将检测的最终结果记录下来。

其中，垂直线掩膜算子为：

﹢45°直线检测掩膜算子为：

-45°直线检测掩膜算子为：

当检测结束之后，将检测结果保存在矩阵V_e。除此之外，由于在S1中针对空洞问题进行预处理时进行了水平填充，因此在S312中不再进行水平线检测。

S313、与空洞位置相融合，识别是否存在背景分界情况，对于空洞的边缘极点，在空洞以外的位置开展垂直线与±45°直线检测；对于一般的空洞边缘位置，则无需垂直线判定操作，仅需在空洞以外的位置开展±45°直线检测。

具体地，采用上述的垂直线掩膜算子进行垂直线检测，采用﹢45°直线检测掩膜算子进行﹢45°直线检测，采用-45°直线检测掩膜算子进行-45°直线检测。进一步地，可以采用以下公式针对直线位置实施均值计算操作，以此获取该位置需要进行直线处理与否：

式中，V_e(x,y)代表直线检测判定值，h代表直线判定高度值，Th₁、Th₂代表判定阈值，在本实施例中将Th₁、Th₂设置为0.7；L1为直线检测的-45°直线，L2为直线检测的+45°直线；V_L1代表直线L1的检测判定值、V_L2代表直线L2的检测判定值，s代表初始化迭代器遍历所有直线，m代表近似垂直线总值，n代表图像对角线的长度。

S314、获取空洞在±90°、±45°与±135°六个方向上的直线检测判定矩阵后，基于这些矩阵结果针对空洞位置进行延伸性预测，再基于空洞位置周边的像素深度信息进行分块填充。具体地，在获得了±90°、±45°和±135°的六个方向上的直线检测判定矩阵后，对应原始影像的匹配直线对，可以匹配空洞边缘极点，将原始斜线纠正为近似正形结果，再根据空洞位置周边的像素深度信息，延伸性地进行虚拟视点合成，扩展深度图像中的深度信息，对空洞位置进行分块填充，修复空洞位置。

S315、为了使最终虚拟视点图像更加真实，利用二维高斯滤波器对虚拟视点图像进行滤波处理。

进一步地，在S3中，当图像灰度在空间上的变化和重复率＞50％时，可以认定背景纹理较为复杂，通过逆三维变换的方式进行空洞填充；该方式可以很好地实现复杂状况下的空洞填补，并且与现有技术相比，计算量与数据量均有显著性下降。

具体地，通过逆三维变换的方式进行空洞填充的方法包括：

S321、提取虚拟视点的深度图：利用三维图像变换基本原理完成参考视点转换，同时得到虚拟视点相应的深度图；

其中，三维图像变换的公式为：

式中，Z₁、Z₂分别代表同一个场景下的参考视点和虚拟视点中两个对应点深度描述值，k₁、k₂代表相机内不同信息素参数条件下的矩阵，t代表平移矩阵，R代表旋转矩阵，P₁为参考视点，m₂代表虚拟视点中对应点的阈值。通过以上公式，既能够完成参考视点转换，还能够得到虚拟视点相应的深度图。

S322、投影至辅助参考视点位置：将虚拟视点图像中的空洞区域记录下来，采用逆三维变换法对空洞区域的像素进行深度信息更新，将投影要素信息进行融合，得到辅助参考视点位置信息，以此获取辅助视点空洞图。具体地，选用处于虚拟视点两侧的左右视点作为参考视点共同生成虚拟视图。每个像素投影至其三维空间点，例如以图像右上角为原点，将虚拟视点像素坐标借助深度图投影到参考视点位置坐标对应值。

S323、找到匹配像素点完成填充：和已知辅助参考视点位置像素点相互对照，找出与空洞点相应辅助参考视点位置像素，根据空洞图获取像素点信息，完成图像匹配填充，实现复杂纹理背景下的虚拟视点优化。具体地，利用多个参考视点来分别生成目标虚拟视点图像，然后将生成的多幅虚拟视点图像进行融合，即对S22中目标视点两侧选取的两个参考视点的图像重新投影，生成各自的目标视点位置的虚拟图像，然后将生成的两幅虚拟图像进行融合。

为了验证本发明实施例提供的一种基于背景纹理识别的虚拟视点生成方法的技术效果，选取了以下3个现有技术中的虚拟视点生成方法作为对比例，与本发明实施例进行效果对比测试。

对比例1：娄达平,王晓东,富显祖,等.基于深度图像分割的虚拟视点绘制[J].计算机工程,2016,42(10):12-19。在该对比例中，将虚拟视点绘制过程中存在的伪轮廓与空洞问题当作重点，提出了改进虚拟视点生成与绘制法。基于深度信息将深度图像中一些不可信的区域标记出来，利用多阈值分割法实现图像预处理，通过三维图像的变换得到虚拟视点图像，同时根据局部中值法将目标图像中空洞消除掉。针对绘制得到的图像实行融合操作，同时依据图像修复方法将剩余空洞填补上。

对比例2：张倩,李少敏,郭文凤,等.基于几何模型的高质量虚拟视点绘制[J].电视技术,2016,40(3):22-25。在该对比例中，将深度图像虚拟视点绘制中的图像空洞当作重点进行研究，过程中先根据高斯混合模型实现前背景的分离，且背景中的空洞通过背景值进行填充，前景的空洞根据优化之后的图像修复法进行填充。

对比例3：汪辉,陈芬,焦任直,等.基于空间加权的虚拟视点绘制算法[J].计算机工程与应用,2016,52(8):174-179。在该对比例中，主要是利用对若干个投影像素点深度值与水平方向上的绝对距离实施加权处理完成像素插值；插值时，综合考量不同区域内投影像素点数量对插值精确性产生的影响，以此将部分已经失真的像素点剔除掉，同时在图像输出之前在两边的参考虚拟视点实施失真检测与矫正操作。

实验环境如下：CPU选择的是i3-10105F，基本频率为3.7GHz，核数为4个，内存为16G，操作系统为Windows，开发环境为MATLAB，编程语言为python。实验数据来源于某交互视觉媒体。

本实验将从预处理效果、目标视点保真度、图像处理整体性能、虚拟视点图像质量四个方面，将本发明实施例的方法与3个对比例进行效果对比测试。

将待处理图片采用本发明实施例中的S1步骤进行预处理后的效果对比如图3所示。由图3可知，对比例1的预处理方法对图片进行处理时忽略了图片的伪影问题；对比例2的方法对重叠问题处理有偏差，像素点视差值处理不当；对比例3的方法中图片效果模糊性较强，空洞边缘极点位置的预处理不到位。而本发明实施例中的S1步骤，分别针对重叠、空洞、裂缝、伪影等虚拟视点生成过程中容易产生的问题进行了全面的预处理，在主客观参数上相对于一般的虚拟视点生成法，获取的虚拟视点质量均有显著性地提升，为后续的空洞填补处理奠定了优秀的基础，进而增强了方法的可行性。

为了更加客观地对比虚拟视点生成质量，通常利用PSNR(峰值信噪比)指标进行验证。该指标主要衡量目标视点保真度，该指标越大，则表示失真就越小，也就是虚拟视点和实际图像越逼近。为了客观评价虚拟视点生成质量，选取一个序列的1至20帧进行测试，获取的目标视点平面图像的PSNR比较结果如图4所示。由图4可知，与对比例1至3相比，本发明实施例的虚拟视点生成方法的图像处理效果在整体上体现出了高清晰度和高分辨率的特性，PSNR(峰值信噪比)显著高于对比例1至3，更具可靠性。

图5显示了本发明实施例的方法生成的虚拟视点图像的最终效果对比，其体现了本发明实施例的图像处理整体性能。由图5可知，本发明实施例所述方法得到的最终图像清晰度较高，曝光与颜色对比正常，照度均匀，图像处理效果和质量显著优于对比例1至3，图像处理整体性能最优。

为了对比虚拟视点图像质量，通常利用SSIM(结构相似度)作为指标验证虚拟视点图像的绘制效果。SSIM值越接近1，说明绘制的虚拟视点图像质越高。选取一个序列的1至20帧进行测试，获取的目标视点平面图像的SSIM比较结果如图6所示。由图6可知，与对比例1至3相比，本实施例的方法的SSIM值最高，均在0.9以上，图像处理效果在整体上体现出了高结构相似度的优点，更具可靠性。

实施例二

如图7所示，本实施例提供的一种基于背景纹理识别的虚拟视点生成系统，包括：

预处理模块，用于针对虚拟视点图像中的重叠、空洞、裂缝、伪影问题，分别进行优化预处理；

背景纹理复杂度评估模块，用于对预处理后的虚拟视点图像的背景纹理复杂度进行评估，计算图像灰度在空间上的变化和重复率；

空洞填充优化模块，用于在图像灰度在空间上的变化和重复率≤50％时，通过方向直线检测的方式进行空洞填充；在图像灰度在空间上的变化和重复率＞50％时，通过逆三维变换的方式进行空洞填充；

在空洞填充优化模块中，通过方向直线检测的方式进行空洞填充的方法包括：

S311、对虚拟视点图像中存在的空洞位置进行检测提取，同时检测其边缘位置与边缘极点；

S312、对虚拟视点图像实行灰度化操作，通过垂直线识别检测模板与±45°线识别检测模板实现图像的掩膜检测，同时将检测的最终结果记录下来；

S313、与空洞位置相融合，识别是否存在背景分界情况，对于空洞的边缘极点，在空洞以外的位置开展垂直线与±45°直线检测；

S314、获取空洞在±90°、±45°与±135°六个方向上的直线检测判定矩阵后，基于这些矩阵结果针对空洞位置进行延伸性预测，再基于空洞位置周边的像素深度信息进行分块填充。

本实施例中，各功能模块的具体处理流程与实施例一中的各步骤一一对应，在此不再赘述。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于背景纹理识别的虚拟视点生成方法，其特征在于，包括：

S1、预处理：针对虚拟视点图像中的重叠、空洞、裂缝、伪影问题，分别进行优化预处理；

S2、背景纹理复杂度评估：对预处理后的虚拟视点图像的背景纹理复杂度进行评估，计算图像灰度在空间上的变化和重复率；

S3、空洞填充：当图像灰度在空间上的变化和重复率≤50％时，通过方向直线检测的方式进行空洞填充；当图像灰度在空间上的变化和重复率＞50％时，通过逆三维变换的方式进行空洞填充；

在S3中，通过方向直线检测的方式进行空洞填充的方法包括：

S311、对虚拟视点图像中存在的空洞位置进行检测提取，同时检测其边缘位置与边缘极点；

S312、对虚拟视点图像实行灰度化操作，通过垂直线识别检测模板与±45°线识别检测模板实现图像的掩膜检测，同时将检测的最终结果记录下来；

S313、与空洞位置相融合，识别是否存在背景分界情况，对于空洞的边缘极点，在空洞以外的位置开展垂直线与±45°直线检测；对于一般的空洞边缘位置，在空洞以外的位置开展±45°直线检测；

S314、获取空洞在±90°、±45°与±135°六个方向上的直线检测判定矩阵后，基于这些矩阵结果针对空洞位置进行延伸性预测，再基于空洞位置周边的像素深度信息进行分块填充。

2.根据权利要求1所述的基于背景纹理识别的虚拟视点生成方法，其特征在于，在S3中，通过方向直线检测的方式进行空洞填充的方法还包括：

S315、利用二维高斯滤波器对虚拟视点图像进行滤波处理。

3.根据权利要求1所述的基于背景纹理识别的虚拟视点生成方法，其特征在于，在S3中，通过逆三维变换的方式进行空洞填充的方法包括：

S321、提取虚拟视点的深度图：利用三维图像变换基本原理完成参考视点转换，同时得到虚拟视点相应的深度图；

S322、投影至辅助参考视点位置：将虚拟视点图像中的空洞区域记录下来，采用逆三维变换法对空洞区域的像素进行深度信息更新，将投影要素信息进行融合，得到辅助参考视点位置信息，以此获取辅助视点空洞图；

S323、找到匹配像素点完成填充：和已知辅助参考视点位置像素点相互对照，找出与空洞点相应辅助参考视点位置像素，根据空洞图获取像素点信息，完成图像匹配填充。

4.根据权利要求1所述的基于背景纹理识别的虚拟视点生成方法，其特征在于，在S1中，针对虚拟视点图像中的重叠问题进行优化预处理的方法为：采用Z-Buffer算法进行预处理，即在虚拟视点生成绘制时，为各像素点提供一个缓存，通过该缓存将像素点视差值保存起来，接着将视差值最大像素当成该虚拟视点值。

5.根据权利要求1所述的基于背景纹理识别的虚拟视点生成方法，其特征在于，在S1中，针对虚拟视点图像中的空洞问题进行优化预处理的方法为：采用水平填充法进行预处理，即将当前空洞边缘附近的正常图像像素的最大像素值进行水平平移，替代当前空洞像素，完成空洞边缘填充。

6.根据权利要求1所述的基于背景纹理识别的虚拟视点生成方法，其特征在于，在S1中，针对虚拟视点图像中的空洞问题进行优化预处理的方法还包括：利用二维高斯滤波对虚拟视点图像的深度图进行滤波处理。

7.根据权利要求1所述的基于背景纹理识别的虚拟视点生成方法，其特征在于，在S1中，针对虚拟视点图像中的裂缝问题进行优化预处理的方法为：基于裂缝点周围像素值实行预测填充操作，即通过四舍五入和多项式原理进行预处理。

8.根据权利要求1所述的基于背景纹理识别的虚拟视点生成方法，其特征在于，在S1中，针对虚拟视点图像中的伪影问题进行优化预处理的方法为：对目标图像中存在的空洞点实行膨胀操作。

9.根据权利要求8所述的基于背景纹理识别的虚拟视点生成方法，其特征在于，在S1中，针对虚拟视点图像中的伪影问题进行优化预处理的方法还包括：在进行图像转换前将背景中景深为前景深2倍以上的像素点删除。

10.一种基于背景纹理识别的虚拟视点生成系统，其特征在于，包括：

预处理模块，用于针对虚拟视点图像中的重叠、空洞、裂缝、伪影问题，分别进行优化预处理；

背景纹理复杂度评估模块，用于对预处理后的虚拟视点图像的背景纹理复杂度进行评估，计算图像灰度在空间上的变化和重复率；

空洞填充优化模块，用于在图像灰度在空间上的变化和重复率≤50％时，通过方向直线检测的方式进行空洞填充；在图像灰度在空间上的变化和重复率＞50％时，通过逆三维变换的方式进行空洞填充；

在空洞填充优化模块中，通过方向直线检测的方式进行空洞填充的方法包括：

S311、对虚拟视点图像中存在的空洞位置进行检测提取，同时检测其边缘位置与边缘极点；

S312、对虚拟视点图像实行灰度化操作，通过垂直线识别检测模板与±45°线识别检测模板实现图像的掩膜检测，同时将检测的最终结果记录下来；

S313、与空洞位置相融合，识别是否存在背景分界情况，对于空洞的边缘极点，在空洞以外的位置开展垂直线与±45°直线检测；

S314、获取空洞在±90°、±45°与±135°六个方向上的直线检测判定矩阵后，基于这些矩阵结果针对空洞位置进行延伸性预测，再基于空洞位置周边的像素深度信息进行分块填充。

Images