CN111524075A - 深度图像滤波方法、图像合成方法、装置、设备及介质 - Google Patents

深度图像滤波方法、图像合成方法、装置、设备及介质 Download PDF

Info

Publication number
CN111524075A
CN111524075A CN202010225576.3A CN202010225576A CN111524075A CN 111524075 A CN111524075 A CN 111524075A CN 202010225576 A CN202010225576 A CN 202010225576A CN 111524075 A CN111524075 A CN 111524075A
Authority
CN
China
Prior art keywords
image
viewpoint
depth
texture
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010225576.3A
Other languages
English (en)
Other versions
CN111524075B (zh
Inventor
杨露
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN202010225576.3A priority Critical patent/CN111524075B/zh
Publication of CN111524075A publication Critical patent/CN111524075A/zh
Application granted granted Critical
Publication of CN111524075B publication Critical patent/CN111524075B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种深度图像滤波方法、图像合成方法、装置、设备及介质，所述方法包括：根据第一视点的深度图像将第一视点的纹理图像映射到第二视点，根据映射得到的虚拟纹理图像和第二视点的纹理图像上对应同一位置的纹理像素点对，标记第一视点的深度图像上的噪点；对第一视点的纹理图像进行图像分割，确定第一视点的纹理图像上的各个纹理像素点所在的纹理图像块；根据第一视点的标记有噪点的深度图像，以及第一视点的纹理图像上的每个纹理像素点及邻域的纹理像素点各自所在的纹理图像块，对第一视点的深度图像上的各个深度像素点的深度值进行调整，得到第一视点的滤波后的深度图像。采用本发明实施例，可以提高深度图像的准确度。

Description

深度图像滤波方法、图像合成方法、装置、设备及介质
技术领域
本发明涉及图像处理技术领域，特别是涉及一种深度图像滤波方法、图像合成方法、装置、设备及介质。
背景技术
视点图像的合成，是指在图像处理系统中输入左右两个视点的纹理图像和深度图像，通过将左右两个视点的纹理图像和深度图像投射到其他视点(例如：中间视点)上，进而合成其他视点的图像。具体地，先对输入的图像进行上采样，上采样一般是两倍或者四倍，使得在立体空间映射过程精度更高，合成质量更好。采样后即利用图像中每个像素对应的深度值和相机参数来计算该像素对应虚拟视点的偏移矢量，根据偏移矢量，将纹理和深度图像得像素映射到虚拟视点对应的位置，这个过程称为投影。投影完成后，对于存在的大量重合像素进行视点融合，进而得到其他视点的图像。
相关技术中，通常采用两种方式提高所合成的其他视点的图像质量。第一种方式是提高采样精度，但是，此种方式同时也使得需要处理的像素点的数量翻倍，合成时间成倍增加。另外一种方式是进行空洞填补，即对深度值差异较大的边界区域进行填补，但是此种方式依赖于深度图像的质量，在填补之前需要对深度图像进行滤波，滤除深度图像中的噪点。
然而，目前相关技术暂未提供对深度图像进行滤波的方法，因而无法获得准确度较高的深度图像，导致所合成的视点图像的质量难以提高。
发明内容
鉴于上述问题，提出了本发明实施例提出了一种深度图像滤波方法、图像合成方法、装置、设备及介质，以便克服上述问题或者至少部分地解决上述问题。
本发明实施例的第一方面，提供了一种深度图像滤波方法，所述方法包括：
根据第一视点的深度图像将第一视点的纹理图像映射到第二视点，根据映射得到的虚拟纹理图像和所述第二视点的纹理图像上对应同一位置的纹理像素点对，标记所述第一视点的深度图像上的噪点；
对所述第一视点的纹理图像进行图像分割，确定所述第一视点的纹理图像上的各个纹理像素点所在的纹理图像块；
根据所述第一视点的标记有噪点的深度图像，以及所述第一视点的纹理图像上的每个纹理像素点及邻域的纹理像素点各自所在的纹理图像块，对所述第一视点的深度图像上的各个深度像素点的深度值进行调整，得到所述第一视点的滤波后的深度图像。
可选地，根据映射得到的虚拟纹理图像和所述第二视点的纹理图像上对应同一位置的纹理像素点对，标记所述第一视点的深度图像上的噪点，包括：
确定映射得到的虚拟纹理图像和所述第二视点的纹理图像上对应同一位置的纹理像素点对的纹理值之差；
在对应同一位置的纹理像素点对的纹理值之差大于预设阈值时，将所述第一视点的深度图像上该位置处的深度像素点标记为噪点。
可选地，对所述第一视点的纹理图像进行图像分割，确定所述第一视点的纹理图像上的各个纹理像素点所在的纹理图像块，包括：
以第一分割粒度对所述第一视点的纹理图像进行图像分割，确定所述第一视点的纹理图像上的各个纹理像素点所在的第一粒度纹理图像块；
以第二分割粒度对所述第一视点的纹理图像进行图像分割，确定所述第一视点的纹理图像上的各个纹理像素点所在的第二粒度纹理图像块，其中，所述第二分割粒度大于所述第一分割粒度。
可选地，以第一分割粒度对所述第一视点的纹理图像进行图像分割，确定所述第一视点的纹理图像上的各个纹理像素点所在的第一粒度纹理图像块，包括：
对所述第一视点的纹理图像进行超像素SLIC分割，确定所述第一视点的纹理图像上的各个纹理像素点所在的SLIC纹理图像块；
以第二分割粒度对所述第一视点的纹理图像进行图像分割，确定所述第一视点的纹理图像上的各个纹理像素点所在的第二粒度纹理图像块，包括：
对所述第一视点的纹理图像进行均值漂移Mean shift分割，确定所述第一视点的纹理图像上的各个纹理像素点所在的Mean shift纹理图像块。
可选地，根据所述第一视点的标记有噪点的深度图像，以及所述第一视点的纹理图像上的每个纹理像素点及邻域的纹理像素点各自所在的纹理图像块，对所述第一视点的深度图像上的各个深度像素点的深度值进行调整，包括：
根据所述第一视点的深度图像上的各个深度像素点是否被标记为噪点，以第一权重因子或第二权重因子，对所述第一视点的深度图像上的各个深度像素点的深度值进行调整，其中，所述第一权重因子为大于等于1的数值，所述第二权重因子为小于1的数值；
针对所述第一视点的纹理图像上满足块内约束条件的目标第一粒度纹理图像块，根据所述目标第一粒度纹理图像块中被标记为噪点的像素点的比例，对所述第一视点的深度图像中与所述目标第一粒度纹理图像块对应的各深度像素点的深度值进行调整，所述块内约束条件为第一粒度纹理图像块内的至少部分纹理像素点在同一个第二粒度纹理图像块内。
可选地，根据所述第一视点的深度图像上的各个深度像素点是否被标记为噪点，以第一权重因子或第二权重因子，对所述第一视点的深度图像上的各个深度像素点的深度值进行调整，包括：
以所述第一权重因子，对所述第一视点的深度图像上未被标记为噪点的深度像素点的深度值进行调整；
以所述第二权重因子，对所述第一视点的深度图像上被标记为噪点的深度像素点的深度值进行调整。
可选地，根据所述第一视点的标记有噪点的深度图像，以及所述第一视点的纹理图像上的每个纹理像素点及邻域的纹理像素点各自所在的纹理图像块，对所述第一视点的深度图像上的各个深度像素点的深度值进行调整，包括：
根据所述第一视点的标记有噪点的深度图像，构建似然能量函数；
根据所述第一视点的纹理图像上的每个纹理像素点及邻域的纹理像素点各自所在的纹理图像块，构建先验能量函数；
根据所述似然能量函数和所述先验能量函数，构建后验能量函数；
以最小化所述后验能量函数的值为目标，对所述第一视点的深度图像上的各个深度像素点的深度值进行调整。
可选地，根据所述似然能量函数和所述先验能量函数，构建后验能量函数，包括：
按照第一公式，构建所述后验能量函数，所述第一公式为：
Figure BDA0002427522750000041
其中，U表示所述后验能量函数的值，f1(di,dwi)表示所述似然能量函数的值，f2(di,dj)表示所述先验能量函数的值，di和dwi分别表示所述第一视点的深度图像上位置i处的深度像素点的深度值和调整后深度值，dj表示所述第一视点的深度图像上位置j处的深度像素点的深度值，i表示所述第一视点的纹理图像上第i个位置，N(i)表示位置i的邻域的各个位置的集合，L表示待滤波的深度像素点的集合。
本发明实施例的第二方面，公开了一种虚拟视点图像合成方法，所述方法包括：
获得左视点的深度图像和右视点的深度图像；
将左视点和右视点分别作为第一视点，按照第一方面所述的方法对所述第一视点的深度图像进行滤波，得到左视点的滤波后的深度图像和右视点的滤波后的深度图像；
基于左视点的滤波后的深度图像和右视点的滤波后的深度图像，进行虚拟视点合成，得到合成虚拟视点图像
本发明实施例的第三方面，公开了一种深度图像滤波装置，所述装置包括：
噪点标记模块，用于根据第一视点的深度图像将第一视点的纹理图像映射到第二视点，根据映射得到的虚拟纹理图像和所述第二视点的纹理图像上对应同一位置的纹理像素点对，标记所述第一视点的深度图像上的噪点；
图像分割模块，用于对所述第一视点的纹理图像进行图像分割，确定所述第一视点的纹理图像上的各个纹理像素点所在的纹理图像块；
深度值调整模块，用于根据所述第一视点的标记有噪点的深度图像，以及所述第一视点的纹理图像上的每个纹理像素点及邻域的纹理像素点各自所在的纹理图像块，对所述第一视点的深度图像上的各个深度像素点的深度值进行调整，得到所述第一视点的滤波后的深度图像。
本发明实施例的第四方面，还公开了一种虚拟视点图像合成装置，所述装置包括：
深度图像获得模块，用于获得左视点的深度图像和右视点的深度图像；
深度图像滤波模块，用于将左视点和右视点分别作为第一视点，按照第一方面所述的方法对所述第一视点的深度图像进行滤波，得到左视点的滤波后的深度图像和右视点的滤波后的深度图像；
虚拟合成模块，用于基于左视点的滤波后的深度图像和右视点的滤波后的深度图像，进行虚拟视点合成，得到合成虚拟视点图像。
本发明实施例的第五方面，还公开了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本实施例第一方面所述的深度图像滤波方法，或第二方面所述的虚拟视点图像合成方法。
本发明实施例的第六方面，还公开了一种计算机可读存储介质，其存储的计算机程序使得处理器执行如本发明实施例第一方面所述的深度图像滤波方法，或第二方面所述的虚拟视点图像合成方法。
本发明实施例包括以下优点：
在本发明实施例中，根据第一视点的深度图像将第一视点的纹理图像映射到第二视点，以根据同一个纹理像素点在映射得到的虚拟纹理图像和在第二视点的纹理图像上的值，标记第一视点的深度图像上的噪点；之后，对第一视点的纹理图像进行图像分割，确定第一视点的纹理图像上的各个纹理像素点所在的纹理图像块；最后，根据被标记的噪点每个纹理像素点及邻域的纹理像素点各自所在的纹理图像块，对深度图像上各个深度像素点的深度值进行调整，进而得到滤波后的深度图像。
本发明实施例先采用两个视点相互映射的方法，标定了深度图像中噪点的位置，为后续的精准定位噪点提供了有力参考；并且通过分割纹理图像后得到的像素图像块与纹理像素点之间的关系，将分割结果应用于标记有噪点的深度图像上，实现了以分割的纹理图像和标记有噪点的深度图像共同作用于深度值的调整，提高了对深度图像上各噪点的滤波准确性，能够获得较高准确度的深度图像，从而使得在进行视点合成时，提高视点合成图像的质量。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1本发明对深度图像进行左右两视点相互映射的示意图；
图2是本发明实施例提出的一种深度图像滤波方法的发明构思示意图；
图3是本发明实施例提出的一种深度图像滤波方法的步骤流程图；
图4是本发明一实施例中以第一分割粒度对所述第一视点的纹理图像进行图像分割得到的第一纹理图像的示意图；
图5是本发明一实施例中以第二分割粒度对所述第一视点的纹理图像进行图像分割得到的第二纹理图像的示意图；
图6是本发明一实施例中对第一视点的纹理图像进行两种粒度的分割后得到的纹理像素示意图；
图7是本发明一实施例中对第一视点的深度图像上的各个深度像素点的深度值进行调整的步骤流程图；
图8是本发明一实施例中对深度图像进行滤波的效果示意图；
图9是本发明一实施例中两种合成虚拟视点图像的对比图；
图10是本发明实施例提出的一种深度图像滤波装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请人发现，在相关技术中，参考视点图像像素映射到虚拟视点图像的位置越准确，视点合成图像中的空洞填补过程便能越优化，得到的虚拟视点图像质量越好。而决定参考视点图像像素映射到虚拟视点图像位置的因素与相机焦距、参考相机与虚拟视点的距离以及深度图像有关。
一般情况下，前两者可以通过测量和校正等手段确保误差允许范围内非常准确，因此，深度图像的准确度成为影响投影过程准确性的最关键因素。而深度图像的准确度与深度图像包含的噪点呈正相关。例如，噪点较少的深度图像，其深度图像的准确度越高，空洞填补较好，噪点较多的深度图像，其质量较差，空洞填补也较差。
例如，参照图1所示，示出了对深度图像进行左右两视点相互映射的示意图。如果深度图像准确，左右两边视点映射后产生的空洞会紧邻前景和背景的边界，映射后前景与背景完全分开，如图1中(a)所示。其中，该边界在深度图像中可以理解为是前景区域与背景区域的交界处，在纹理图像中该边界则可以理解为是一个物体形状与另一个物体形状的相交线，该相交线在实际中也可能是前景区域与背景区域的交界处。如果深度图像存在噪点，则使得映射后的深度图像的前景区域的一部分映射到了背景区域，而背景区域的一部分映射到了前景区域，使得前景区域和背景区域未完全分开，如图1中(b)所示，此时，导致纹理图像的边界不对齐，因此产生了质量不高的合成视点图像。
而相关技术暂未提供对深度图像进行滤波的方法，因而无法获得准确度较高的深度图像，导致所合成的视点图像的质量难以提高。
参照图2所示，示出了本申请一实施例的深度图像滤波方法的总体构思示意图，如图2所示，获得准确的深度图像的流程如下：左、右视点的深度图像相互映射，以标记深度图像中的噪点，同时，可以进行两种方式的纹理图像分割，通过标记有噪点的深度图像和两种纹理图像分割的结果，建立马尔科夫随机场模型对深度图像进行滤波，最后利用图割算法求解随机场模型最优解，实现对深度图像的噪点滤波。
基于上述图2所示的技术构思，提出了本申请一实施例的深度图像滤波方法，参照图3所示，示出了本申请一实施例的深度图像滤波方法步骤流程图，具体可以包括以下步骤：
步骤S301：根据第一视点的深度图像将第一视点的纹理图像映射到第二视点，根据映射得到的虚拟纹理图像和所述第二视点的纹理图像上对应同一位置的纹理像素点对，标记所述第一视点的深度图像上的噪点。
本实施例中，第一视点的深度图像可以是指：表征以第一视点所拍摄的图像中各像素的深度值分布的图像，第一视点的纹理图像可以是指：表征以第一视点所拍摄的图像中各像素的纹理值分布的图像。则第二视点的纹理图像可以是指：表征以第二视点所拍摄的图像中各像素的纹理值分布的图像。实际中，可以通过一个相机A拍摄深度图像，另一个相机B拍摄纹理图像。其中，两个相机分别所拍摄的深度图像和纹理图像均可以是从同一角度针对同一目标(例如物体)所拍摄的。其中，深度图像可以以不同的深度值表征前景区域、背景区域等，纹理图像可以包含多个纹理像素点，多个纹理像素点可以刻画图像中的物体图像的形状。
其中，纹理图像和深度图像中具有相同位置的像素点。例如，在纹理图像中位置H处有纹理像素点W，则在深度图像中同一位置H处具有深度像素点S。该纹理像素点W可以具有纹理值，该纹理值可以唯一表征该纹理像素点W在纹理图像的纹理特征。该深度像素点S可以具有深度值，该纹深度值可以表征该深度像素点S所处的区域是否为前景区域或背景区域。
其中，第二视点可以是指与第一视点不同的视点。例如，第一视点是左视点，则第二视点可以是指右视点，或者，第一视点是右视点，则第二视点是左视点。
本实施例中，在将第一视点的纹理图像映射到第二视点时，可以利用第一视点的深度图像，将第一视点的纹理图像映射到第二视点。具体实施时，由于一个深度图像表征一个所拍摄的图像的各像素的深度值的分布，则可以根据第一视点的深度图像中各深度像素点的深度值的分布，将第一视点的纹理图像映射到第二视点，得到第二视点的虚拟纹理图像。
具体实施时，由于第二视点的虚拟纹理图像是利用第一视点的深度图像将第一视点的纹理图像映射到第二视点得到的图像，第二视点的纹理图像是真实的纹理图像，则可以对比同一个纹理像素点在第二视点的虚拟纹理图像中，与在第二视点的纹理图像中的差异，若差异较大，则可以将该纹理像素点初步确定为是映射不准确的像素点，进而可以在第一视点的深度图像上将同一位置处的像素点确定为噪点，具体地，可以为该像素点打上标签，以标记该像素点为噪点。
示例地，以位置#1为例，虚拟纹理图像中位置#1处的纹理像素点w1与第二视点的纹理图像中位置#1处的纹理像素点w2组成一个纹理像素点对，若该纹理像素点对的纹理像素值的差异很小，则可以认为映射准确，该在第一视点的深度图像中位置#1处的深度像素点不是噪点。若该纹理像素点对的纹理像素值的差异很大，则可以认为映射不准确，该在第一视点的深度图像中位置#1处的深度像素点则可以被标记为噪点。
步骤S302：对所述第一视点的纹理图像进行图像分割，确定所述第一视点的纹理图像上的各个纹理像素点所在的纹理图像块。
本实施例中，图像分割可以是指对纹理图像分割为多个图像块，实际中，可以采用图像分割算法对第一视点的纹理图像进行分割，进而可以得到被分割后的多个纹理图像块。在一种实施方式中，一个纹理图像块可以唯一勾勒一个物体的轮廓，在又一种实施方式中，一个纹理图像块可以勾勒纹理图像中的一小块图像区域。
实际中，在对第一视点的纹理图像进行分割后，可以确定该纹理图像中的每一个纹理像素点所在的纹理图像块。其中，多个纹理像素点可以位于同一个纹理图像块中。
步骤S303：根据所述第一视点的标记有噪点的深度图像，以及所述第一视点的纹理图像上的每个纹理像素点及邻域的纹理像素点各自所在的纹理图像块，对所述第一视点的深度图像上的各个深度像素点的深度值进行调整，得到所述第一视点的滤波后的深度图像。
参照图2所示，在对第一视点的深度图像进行噪点标记，以及对第一视点的纹理图像进行图像分割后，可以结合标记有噪点的第一视点的深度图像和进行图像分割后的第一视点的纹理图像，对第一视点的深度图像进行滤波。具体地，可以建立马尔科夫随机场模型对深度图像进行滤波，最后利用图割算法求解随机场模型最优解，对各个深度像素点的深度值进行调整，以实现对深度图像的噪点滤波。
具体地，在同一个纹理图像块内的一个纹理像素点与其邻域的纹理像素点之间的深度值差异较大时，可以对该纹理像素点的深度值进行调整，进而可以对深度图像中的各个噪点进行进一步的过滤。
本实施例中，可以根据噪点标记的情况，对第一视点的深度图像中的各个深度像素点的深度值进行初步调整。进而，在该初步调整的基础上，可以根据每个纹理像素点及邻域的纹理像素点是否位于同一个纹理图像块，对位于同一纹理图像块内的各个深度像素点的深度值进行进一步调整，这样，可以使得深度图像中的各个深度像素点的噪点随之得到调整，从而得到准确的深度图像。
采用本申请的技术方案，先采用两个视点相互映射的方法，标记了噪点的位置，为后续的精准定位噪点像素提供了有力参考；并且根据分割纹理图像后得到的纹理图像块与纹理像素点之间的关系，将纹理图像分割结果应用于标记有噪点的深度图像上，实现了以分割的纹理图像和标记有噪点的深度图像共同作用于深度值的调整，提高了对深度图像上各噪点的滤波准确性，能够获得较高准确度的深度图像，从而使得在进行视点合成时，提高视点合成图像的质量。
在本申请实施例中，标记所述第一视点的深度图像上的噪点的过程可以如下步骤所述：
步骤S3012：确定映射得到的虚拟纹理图像和所述第二视点的纹理图像上对应同一位置的纹理像素点对的纹理值之差。
本实施例中，映射得到的虚拟纹理图像是第一视点的纹理图像映射到第二视点后得到的。则第一视点的纹理图像上的纹理像素点C映射到第二视点，则得到了该纹理像素点C在第二视点中的虚拟纹理像素点C'。实际中，可以确定该理像素点C的纹理值与虚拟纹理像素点C'的纹理值之差。
步骤S3013：在对应同一位置的纹理像素点对的纹理值之差大于预设阈值时，将所述第一视点的深度图像上该位置处的深度像素点标记为噪点。
本实施例中，在纹理值之差大于预设阈值时，则表示第一视点的纹理图像上的该纹理像素点C映射到第二视点的虚拟纹理像素点C'的纹理特征变化较大。
实际中，在第一视点映射到第二视点时，同时要参考深度图像中该纹理像素点的深度值，在该纹理像素点C与虚拟纹理像素点C'的纹理特征差异较大时，则表示映射的虚拟纹理像素点C'的位置不可靠，由于纹理像素点C又同时是深度像素点C，则表示该深度像素点C的深度值不可靠，则可以将该深度像素点C标记为噪点。
在一种实施方式中，在纹理值之差不大于预设阈值时，表示第一视点的纹理图像上的该纹理像素点C映射到第二视点的虚拟纹理像素点C'的纹理特征变化较小，则表征深度像素点C的深度值可靠，则可以不将深度像素点C标记为噪点。
采用上述技术方案时，将两个视点的纹理图像相互映射，进而比对真实的纹理图像与映射得到的虚拟纹理图像上同一位置的像素点的纹理值之差，从而可以根据纹理值之差，对第一视点的深度图像上的噪点进行初步标记，由于通过纹理图像标记深度图像上的噪点，提高了噪点标记的准确性。
在一种实施方式中，对所述第一视点的纹理图像进行图像分割的过程，可以如下步骤所述：
步骤S3021：以第一分割粒度对所述第一视点的纹理图像进行图像分割，确定所述第一视点的纹理图像上的各个纹理像素点所在的第一粒度纹理图像块。
步骤S3022：以第二分割粒度对所述第一视点的纹理图像进行图像分割，确定所述第一视点的纹理图像上的各个纹理像素点所在的第二粒度纹理图像块。
其中，分割粒度可以理解为进行纹理图像分割的尺度，也可以理解为是分割后的纹理图像中的各个图像块的块大小。分割粒度越小，图像块的尺寸越小，分割粒度越大，图像块的尺寸越大。
本实施方式中，可以分别以第一分割粒度和第二分割粒度对第一视点的纹理图像进行图像分割，进而分别得到进行第一分割粒度后的第一纹理图像和进行第二分割粒度后的第二纹理图像。其中，第二分割粒度可以大于所述第一分割粒度，则第一纹理图像中的各个第一纹理图像块的尺寸较小，第二纹理图像中的各个第二粒度纹理图像块的尺寸较大。
实际中，则可以在第一纹理图像中确定各个纹理像素点所在的第一粒度纹理图像块，以及在第二纹理图像中确定各个纹理像素点所在的第二粒度纹理图像块。
示例地，参照图4及图5所示，图4示出了以第一分割粒度对所述第一视点的纹理图像进行图像分割得到的第一纹理图像，图5示出了以第二分割粒度对所述第一视点的纹理图像进行图像分割得到的第二纹理图像。
从图4可知，在该第一纹理图像中被分割得到的各第一粒度图像块较小，每一个第一粒度图像块可以是一个完整的物体中的一小部分图像块。从图5可知，在该第二纹理图像中被分割得到的各第二粒度图像块较大，每一个第二粒度图像块可以刻画一个完整的物体。
相应地，可以通过以下方式以第一分割粒度对所述第一视点的纹理图像进行图像分割：
步骤S3021'，对所述第一视点的纹理图像进行超像素SLIC分割，确定所述第一视点的纹理图像上的各个纹理像素点所在的SLIC纹理图像块。
本实施方式中，SLIC(simple linear iterative clustering，超像素)分割，即是简单的线性迭代聚类，在以第一分割粒度对所述第一视点的纹理图像进行图像分割时，即可以是对第一视点的纹理图像进行SLIC分割，分割后得到的各个纹理图像块可以参照图5所示。
相应地，可以通过以下方式以第二分割粒度对所述第一视点的纹理图像进行图像分割：
步骤S3022'，对所述第一视点的纹理图像进行均值漂移Mean shift分割，确定所述第一视点的纹理图像上的各个纹理像素点所在的Mean shift纹理图像块。
本实施方式中，Mean shift分割可以将复杂的背景，通过粗化提取整体信息，进而将图像分割，采用该Mean shift分割时，分割粒度较大，得到的分割后的各个纹理图像块的尺寸较大，如图5所示，一个纹理图像块可以表示一个较为完整的物体。
因此，一个Mean shift纹理图像块可以由多个SLIC纹理图像块构成。
实际中，由于对同一个纹理图像(第一视点的纹理图像)以两种不同分割粒度进行分割，得到了两种不同的纹理图像分割结果，这样，对于同一个纹理像素点D而言，该纹理像素点D可以同时位于Mean shift纹理图像块和一个SLIC纹理图像块。
结合该实施方式，对第一视点的深度图像上的各个深度像素点的深度值进行调整的过程可以如下：
步骤S3031：根据所述第一视点的深度图像上的各个深度像素点是否被标记为噪点，以第一权重因子或第二权重因子，对所述第一视点的深度图像上的各个深度像素点的深度值进行调整。
其中，所述第一权重因子为大于等于1的数值，所述第二权重因子为小于1的数值。
本实施方式中，权重因子可以是预设的调整深度像素点的深度值的参数。第一权重因子的数值大于或等于1，可以理解为是：对一个深度像素点的深度值进行调整后，尽量使得该深度像素点的深度值能接近原来的真实深度值。第二权重因子的数值小于1，可以理解为是：对一个深度像素点的深度值进行调整后，尽量减小该深度像素点对滤波后的深度像素值的影响。
相应地，在一种具体实施方式中，对所述第一视点的深度图像上的各个深度像素点的深度值进行调整时，可以包括以下步骤：
步骤S3031-1：以所述第一权重因子，对所述第一视点的深度图像上未被标记为噪点的深度像素点的深度值进行调整。
本实施方式中，可以将所述第一视点的深度图像上未被标记为噪点的深度像素点的深度值与第一权重因子的乘积，作为该深度像素点被调整后的深度值，以使调整后该深度像素点的深度值尽量接近原始的第一视点的深度图像上，该深度像素点的深度值。
步骤S3031-2：以所述第二权重因子，对所述第一视点的深度图像上被标记为噪点的深度像素点的深度值进行调整。
本实施方式中，可以将所述第一视点的深度图像上未被标记为噪点的深度像素点的深度值与第二权重因子的乘积，作为调整后的该深度像素点的深度值，以减小噪点深度像素对滤波后的深度像素值的影响。
步骤S3032：针对所述第一视点的纹理图像上满足块内约束条件的目标第一粒度纹理图像块，根据所述目标第一粒度纹理图像块中被标记为噪点的像素点的比例，对所述第一视点的深度图像中与所述目标第一粒度纹理图像块的像素点对应的深度像素点的深度值进行调整。
其中，所述块内约束条件为第一粒度纹理图像块内的至少部分纹理像素点在同一个第二粒度纹理图像块内。
本实施方式中，由于对第一视点的纹理图像进行了两种粒度的分割，这样，可以利用得到的两种纹理分割图像对第一视点的深度图像进行块内平滑约束，以进一步调整第一视点的深度图像中的噪点进行滤除。
在进行两种粒度的纹理图像分割后，一个第二粒度纹理图像块中便可以包括多个第一粒度纹理图像块。实际中，参照图4和图5所示，由于第二粒度纹理图像块可以勾勒一个物体的完整轮廓，而第一粒度纹理图像块是将一个物体分割为若干个纹理块，则第二粒度纹理图像块和其包括的多个第一粒度纹理图像块可以均是前景区域中的纹理图像块或均是背景区域中的纹理图像块。例如，30个第一粒度纹理图像块W1位于同一个第二粒度纹理图像块W2中，则第二粒度纹理图像块W2中的一个像素在第一视点的深度图像中的深度值，与各第一粒度纹理图像块W1中对应位置的像素在第一视点的深度图像中的深度值相同。
具体实施时，在第一视点的深度图像中与第二粒度纹理图像块同位置的各深度像素点对应的深度值的众数可以表征该像素区域的平均深度值。因此，可以将该众数，与第一视点的深度图像中与第一粒度纹理图像块(满足块内约束条件)同位置的各深度像素点对应的深度值的众数进行比较，根据比较结果便可以确定该与第一粒度纹理图像块同位置的各深度像素点中是否存在噪点。其中，被用于比较的第一粒度纹理图像块称为目标第一粒度纹理图像块。
示例地，参照图6所示，示出了在一实施例中对第一视点的纹理图像进行两种粒度的分割后得到的纹理像素分割示意图，如图6所示，seg2表示经Meanshift图像分割得到的第二粒度纹理图像块，seg1表示经SLIC图像分割得到的第一粒度纹理图像块。可见，多个seg1可以位于同一个seg2内，例如，在图6所示的多个seg1中，标注出的601区域中的3个seg1便可以作为目标第一粒度纹理图像块。
例如，将第一视点的深度图像中与seg2位置相同的深度像素块S2(包括多个深度像素点)的众数记为d2，将第一视点的深度图像中与seg1(属于seg2)位置相同的深度像素块S1的众数记为d1，若d1等于d2，则表征深度像素块S2与深度像素块S1的深度相似。若d1不等于d2，表征深度像素块S2与深度像素块S1的深度具有差异，此时，则表示在深度像素块S1内存在具有噪点。
进一步，便可以确定目标第一粒度纹理图像块中被标记为噪点的像素点的比例，实际中，目标第一粒度纹理图像块中被标记为噪点的像素点的比例，可以是指在第一视点的深度图像中，与目标第一粒度纹理图像块同位置的深度像素块中被标记为噪点的深度像素点占该深度像素块全部深度像素点的比例。若该比例超过预设比例阈值，则可以确定该第一粒度纹理图像块是噪声块，则可以对该第一粒度纹理图像所对应的深度像素块内各深度像素点的深度值进行调整。若该比例未超过预设比例阈值，实际中，则表示该深度像素块(分割粒度较小的深度像素块)可能处于两个物体的边界，则可以确定该深度像素块内各深度像素点的深度值对整体影响不大，进而可以做出其他处理。
示例地，仍以图6为例，假设确定出当前的seg1602具有噪点，确定该seg1602内被标记为噪点的比例小于预设阈值，则可以判定该seg1602是处于两个图像的边界，即seg1602分属于不同的seg2。
具体而言，在比例超过预设比例阈值时，在第一视点的深度图像中与目标第一粒度纹理图像块同位置的深度像素块内，可以对该深度像素块内被标记为噪点的目标深度像素点的深度值进行调整。具体地，可以构建能量函数，利用最小化能量函数不断迭代求解，则可以将该目标深度像素点的深度值调整到合理的值，从而消除该目标深度像素点的噪声影响。
在又一种具体实现中，可以确定目标深度像素点与其邻域的8个深度像素点的深度值之差，其中，邻域的8个深度像素点与目标深度像素点均位于同一个深度像素块内。进而，根据深度值之差对目标深度像素点的深度值进行调整，以将目标深度像素点的深度值调整到合适的深度值，例如，调整到对应的深度值之差超过预设差值的邻域深度像素点的深度值。实际中，也可以将目标深度像素点的深度值调整为该深度像素块内未被标记为噪点的深度像点的深度值的均值。对目标深度像素点的深度值进行调整后，可以消除该目标深度像素点的噪点影响。使得该目标深度像素点投影到第二视点时，投影后的目标深度像素点的位置准确。从而，实现了将第一视点的图像投影到第二视点时，产生的空洞紧邻前景和背景的边界，如图1中的(a)所示，使得纹理和深度边界匹配更好。
在本申请实施例中，参照图7所示，示出了对所述第一视点的深度图像上的各个深度像素点的深度值进行调整的步骤流程图，具体可以包括以下步骤：
步骤S701：根据所述第一视点的标记有噪点的深度图像，构建似然能量函数。
在本实施方式中，构建的似然能量函数可以用于描述标记有噪点的深度图像中已知的各个深度像素点的深度值的可能取值。包括，描述已标记为噪点的深度像素点的深度值的可能取值，以及，描述未标记为噪点的深度像素点的深度值的可能取值，以对原始深度像素点的深度值进行自身约束。
相应地，在一种具体实施方式中，可以按照第二公式构建所述似然能量函数，其中，所述第二公式为：
Figure BDA0002427522750000171
其中，w2为第一权重因子且为大于等于1的数值，w1为第二权重因子且为小于1的数值。dwi表示位置i处的深度像素点的待求解深度值，di表示位置i处的深度像素点的当前深度值。
本实施方式中，在位置i处的深度像素点(以下简称深度像素点i)是被标记为噪点的像素点时，则可以根据通过第二权重因子将深度像素点i的深度值进行调整，以减小深度像素点i对滤波后的深度像素值的影响。在深度像素点i是未被标记为噪点的像素点时，则可以根据通过第一权重因子将深度像素点i的深度值进行调整，以减小深度像素点i对滤波后的深度像素值的影响以使调整后该深度像素点的深度值尽量真实的深度值。
步骤S702：根据所述第一视点的纹理图像上的每个纹理像素点及邻域的纹理像素点各自所在的纹理图像块，构建先验能量函数。
在本实施方式中，构建的先验能量函数用于描述第一视点的纹理图像上同一个纹理图像块中的各纹理像素点对应的深度值是否为噪点的概率，可以用于确定第一视点的纹理图像上每个纹理像素点与其领域的纹理像素点之间的深度值关系，主要用于对分割后的纹理图像进行块内平滑约束，是滤波器的过滤窗口。
具体地，在一种实施方式中，在以第一分割粒度和第二分割粒度对第一视点的纹理图像进行分割时，也可以构建先验能量函数，用于根据对所述第一视点的深度图像中与所述目标第一粒度纹理图像块对应的各深度像素点的深度值进行调整。
在一种具体实施方式中，可以按照第三公式构建所述先验能量函数，其中，所述第三公式为：
Figure BDA0002427522750000181
本实施方式中，di表示位置i处的纹理像素点对应的深度值，dj表示与位置i相邻的位置j处的纹理像素点对应的深度值。在位置i处的纹理像素点(简称纹理像素点i)和位置j处的纹理像素点(简称纹理像素点j)位于同一个被确定为噪声块的目标第一粒度纹理图像块时，可以确定纹理像素点i和纹理像素点j的深度值之差，进而根据该深度值之差调整纹理像素点i和纹理像素点j各自对应的深度值。
其中，第三公式中所述的其他情况是指：纹理像素点i和纹理像素点j所在的同一目标第一粒度纹理图像块中的噪点比例未超过预设阈值的情况，此种情况下，在对纹理像素点i和纹理像素点j各自对应的深度值进行处理时，可以不考虑先验能量函数(即将先验能量函数的值置为0)。
步骤S703：根据所述似然能量函数和所述先验能量函数，构建后验能量函数。
本实施方式中，可以通过纹理图像的分割信息和第一视点的标记有噪点的深度图像的信息构建后验能量函数，该后验能量函数主要用于根据先验能量函数所得到的对噪点进行约束后的各深度像素点的深度值，以及根据先验能量函数得到的块内平滑约束后的各深度像素点的深度值，对上述两种深度图像中的各个深度像素点的深度值进行重新修正。
在一种具体的上述方式中，可以按照第一公式，构建所述后验能量函数，所述第一公式为：
Figure BDA0002427522750000182
其中，U表示所述后验能量函数的值，f1(di,dwi)表示所述似然能量函数的值，f2(di,dj)表示所述先验能量函数的值，di和dwi分别表示所述第一视点的深度图像上位置i处的深度像素点的深度值和调整后深度值，dj表示所述第一视点的深度图像上位置j处的深度像素点的深度值，i表示所述第一视点的纹理图像上第i个位置，N(i)表示位置i的邻域的各个位置的集合，L表示待滤波的深度像素点的集合。
本实施方式中，可以根据马尔科夫随机场模型构建该后验能量函数。
步骤S704：以最小化所述后验能量函数的值为目标，对所述第一视点的深度图像上的各个深度像素点的深度值进行调整。
本实施方式中，可以将后验能量函数的值最小时，求解出的各个深度像素点的深度值作为调整后的深度值。即U的值最小时，对应的各个深度像素点的深度值作为调整后的深度值。
结合以上实施例，基于同一发明构思，在一种实施例中还公开了一种虚拟视点图像合成方法，所述方法具体可以包括以下步骤：
步骤S1：获得左视点的深度图像和右视点的深度图像。
步骤S2：将左视点和右视点分别作为第一视点，按照上述实施例所述的深度图像滤波方法对所述第一视点的深度图像进行滤波，得到左视点的滤波后的深度图像和右视点的滤波后的深度图像。
步骤S3：基于左视点的滤波后的深度图像和右视点的滤波后的深度图像，进行虚拟视点合成，得到合成虚拟视点图像。
本实施例中，可以将左视点的深度图像和右视点的深度图像分别作为第一视点的深度图像，按照上述实施例所述的方法对第一视点的深度图像进行滤波，进而得到左视点的滤波后的深度图像和右视点的滤波后的深度图像，可以对上述滤波后的深度图像进行虚拟视点合成，进而得到合成虚拟视点图像。其中，合成虚拟视点图像的虚拟视点可以不同于左视点或右视点。
采用上述实施方式时，由于左视点的滤波后的深度图像以及右视点的滤波后的深度图像，均是滤除了噪点的准确深度图像，使得在基于虚拟视点进行合成后的合成虚拟视点图像中，每个像素点的位置可靠，从而提高了虚拟视点图像的质量。
参照图8所示，示出了采用本申请实施例所述的方法对深度图像进行滤波的效果示意图。可见，滤波后的深度图像的噪点少，质量较优。
参照图9所示，示出了两种合成虚拟视点图像的对比图，图9可知，滤波后的深度图像进行虚拟视点合成得到的图像的质量更好，图像更加逼真。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
基于同一发明构思，参考图10，示出了本发明实施例的一种深度图像滤波装置的框架示意图，所述装置可以包括如下模块：
噪点标记模块1001，可以用于根据第一视点的深度图像将第一视点的纹理图像映射到第二视点，根据映射得到的虚拟纹理图像和所述第二视点的纹理图像上对应同一位置的纹理像素点对，标记所述第一视点的深度图像上的噪点；
图像分割模块1002，可以用于对所述第一视点的纹理图像进行图像分割，确定所述第一视点的纹理图像上的各个纹理像素点所在的纹理图像块；
深度值调整模块1003，可以用于根据所述第一视点的标记有噪点的深度图像，以及所述第一视点的纹理图像上的每个纹理像素点及邻域的纹理像素点各自所在的纹理图像块，对所述第一视点的深度图像上的各个深度像素点的深度值进行调整，得到所述第一视点的滤波后的深度图像。
可选地，所述噪点标记模块1001，具体可以包括以下单元：
纹理值之差确定单元，可以用于确定映射得到的虚拟纹理图像和所述第二视点的纹理图像上对应同一位置的纹理像素点对的纹理值之差；
噪点标记单元，可以用于在对应同一位置的纹理像素点对的纹理值之差大于预设阈值时，将所述第一视点的深度图像上该位置处的深度像素点标记为噪点。
可选地，所述图像分割模块1002，具体可以包括以下单元：
第一分割单元，可以用于以第一分割粒度对所述第一视点的纹理图像进行图像分割，确定所述第一视点的纹理图像上的各个纹理像素点所在的第一粒度纹理图像块；
第二分割单元，可以用于以第二分割粒度对所述第一视点的纹理图像进行图像分割，确定所述第一视点的纹理图像上的各个纹理像素点所在的第二粒度纹理图像块，其中，所述第二分割粒度大于所述第一分割粒度。
可选地，所述第一分割单元，具体可以用于对所述第一视点的纹理图像进行超像素SLIC分割，确定所述第一视点的纹理图像上的各个纹理像素点所在的SLIC纹理图像块；
所述第二分割单元，具体可以用于对所述第一视点的纹理图像进行均值漂移Meanshift分割，确定所述第一视点的纹理图像上的各个纹理像素点所在的Mean shift纹理图像块。
可选地，所述深度值调整模块1003，具体可以包括以下单元：
第一调整单元，可以用于根据所述第一视点的深度图像上的各个深度像素点是否被标记为噪点，以第一权重因子或第二权重因子，对所述第一视点的深度图像上的各个深度像素点的深度值进行调整，其中，所述第一权重因子为大于等于1的数值，所述第二权重因子为小于1的数值；
第二调整单元，可以用于针对所述第一视点的纹理图像上满足块内约束条件的目标第一粒度纹理图像块，根据所述目标第一粒度纹理图像块中被标记为噪点的像素点的比例，对所述第一视点的深度图像中与所述目标第一粒度纹理图像块对应的各深度像素点的深度值进行调整，所述块内约束条件为第一粒度纹理图像块内的至少部分纹理像素点在同一个第二粒度纹理图像块内。
可选地，所述第一调整单元，具体可以包括以下子单元：
第一调整子单元，可以用于以所述第一权重因子，对所述第一视点的深度图像上未被标记为噪点的深度像素点的深度值进行调整；
第二调整子单元，用于以所述第二权重因子，对所述第一视点的深度图像上被标记为噪点的深度像素点的深度值进行调整。
可选地，所述深度值调整模块1003，具体可以包括以下单元：
第一函数构建单元，可以用于根据所述第一视点的标记有噪点的深度图像，构建似然能量函数；
第二函数构建单元，可以用于根据所述第一视点的纹理图像上的每个纹理像素点及邻域的纹理像素点各自所在的纹理图像块，构建先验能量函数；
第三函数构建单元，用于根据所述似然能量函数和所述先验能量函数，构建后验能量函数；
调整单元，可以用于以最小化所述后验能量函数的值为目标，对所述第一视点的深度图像上的各个深度像素点的深度值进行调整。
可选地，所述第三函数构建单元，具体可以用于：
按照第一公式，构建所述后验能量函数，所述第一公式为：
Figure BDA0002427522750000221
其中，U表示所述后验能量函数的值，f1(di,dwi)表示所述似然能量函数的值，f2(di,dj)表示所述先验能量函数的值，di和dwi分别表示所述第一视点的深度图像上位置i处的深度像素点的深度值和调整后深度值，dj表示所述第一视点的深度图像上位置j处的深度像素点的深度值，i表示所述第一视点的纹理图像上第i个位置，N(i)表示位置i的邻域的各个位置的集合，L表示待滤波的深度像素点的集合。
可选地，所述第一函数构建单元，具体可以用于：
按照第二公式构建所述似然能量函数，所述第一公式为：
Figure BDA0002427522750000222
其中，w1表示第一权重因子且为大于等于1的数值，w2为第二权重因子且为小于1的数值。dwi表示位置i处的深度像素点的待求解深度值，di表示位置i处的深度像素点的当前深度值。。
可选地，所述第二函数构建单元，具体可以用于：
按照第三公式构建所述后验能量函数，所述第二公式为：
Figure BDA0002427522750000231
本实施方式中，di表示位置i处的纹理像素点对应的深度值，dj表示与位置i相邻的位置j处的纹理像素点的深度值。
基于同一发明构思，还公开了虚拟视点图像合成装置，所述装置具体可以包括以下模块：
深度图像获得模块，用于获得左视点的深度图像和右视点的深度图像。
深度图像滤波模块，用于将左视点和右视点分别作为第一视点，按照上述实施例所述的深度图像滤波方法对所述第一视点的深度图像进行滤波，得到左视点的滤波后的深度图像和右视点的滤波后的深度图像；
虚拟合成模块，用于基于左视点的滤波后的深度图像和右视点的滤波后的深度图像，进行虚拟视点合成，得到合成虚拟视点图像。
对于深度图像滤波装置实施例而言，由于其与深度图像滤波方法实施例基本相似，所以描述的比较简单，相关之处参见深度图像滤波方法实施例的部分说明即可。
本发明实施例还提供了一种电子设备，可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行如本发明实施例所述的深度图像滤波方法，或本发明实施例所述的虚拟视点图像合成方法。
本发明实施例还提供了一种计算机可读存储介质，其存储的计算机程序使得处理器执行如本发明实施例所述的深度图像滤波方法，或本发明实施例所述的虚拟视点图像合成方法。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种深度图像滤波方法、图像合成方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (13)

1.一种深度图像滤波方法，其特征在于，所述方法包括：
根据第一视点的深度图像将第一视点的纹理图像映射到第二视点，根据映射得到的虚拟纹理图像和所述第二视点的纹理图像上对应同一位置的纹理像素点对，标记所述第一视点的深度图像上的噪点；
对所述第一视点的纹理图像进行图像分割，确定所述第一视点的纹理图像上的各个纹理像素点所在的纹理图像块；
根据所述第一视点的标记有噪点的深度图像，以及所述第一视点的纹理图像上的每个纹理像素点及邻域的纹理像素点各自所在的纹理图像块，对所述第一视点的深度图像上的各个深度像素点的深度值进行调整，得到所述第一视点的滤波后的深度图像。
2.根据权利要求1所述的方法，其特征在于，根据映射得到的虚拟纹理图像和所述第二视点的纹理图像上对应同一位置的纹理像素点对，标记所述第一视点的深度图像上的噪点，包括：
确定映射得到的虚拟纹理图像和所述第二视点的纹理图像上对应同一位置的纹理像素点对的纹理值之差；
在对应同一位置的纹理像素点对的纹理值之差大于预设阈值时，将所述第一视点的深度图像上该位置处的深度像素点标记为噪点。
3.根据权利要求1所述的方法，其特征在于，对所述第一视点的纹理图像进行图像分割，确定所述第一视点的纹理图像上的各个纹理像素点所在的纹理图像块，包括：
以第一分割粒度对所述第一视点的纹理图像进行图像分割，确定所述第一视点的纹理图像上的各个纹理像素点所在的第一粒度纹理图像块；
以第二分割粒度对所述第一视点的纹理图像进行图像分割，确定所述第一视点的纹理图像上的各个纹理像素点所在的第二粒度纹理图像块，其中，所述第二分割粒度大于所述第一分割粒度。
4.根据权利要求3所述的方法，其特征在于，以第一分割粒度对所述第一视点的纹理图像进行图像分割，确定所述第一视点的纹理图像上的各个纹理像素点所在的第一粒度纹理图像块，包括：
对所述第一视点的纹理图像进行超像素SLIC分割，确定所述第一视点的纹理图像上的各个纹理像素点所在的SLIC纹理图像块；
以第二分割粒度对所述第一视点的纹理图像进行图像分割，确定所述第一视点的纹理图像上的各个纹理像素点所在的第二粒度纹理图像块，包括：
对所述第一视点的纹理图像进行均值漂移Mean shift分割，确定所述第一视点的纹理图像上的各个纹理像素点所在的Mean shift纹理图像块。
5.根据权利要求3所述的方法，其特征在于，根据所述第一视点的标记有噪点的深度图像，以及所述第一视点的纹理图像上的每个纹理像素点及邻域的纹理像素点各自所在的纹理图像块，对所述第一视点的深度图像上的各个深度像素点的深度值进行调整，包括：
根据所述第一视点的深度图像上的各个深度像素点是否被标记为噪点，以第一权重因子或第二权重因子，对所述第一视点的深度图像上的各个深度像素点的深度值进行调整，其中，所述第一权重因子为大于等于1的数值，所述第二权重因子为小于1的数值；
针对所述第一视点的纹理图像上满足块内约束条件的目标第一粒度纹理图像块，根据所述目标第一粒度纹理图像块中被标记为噪点的像素点的比例，对所述第一视点的深度图像中与所述目标第一粒度纹理图像块对应的各深度像素点的深度值进行调整；
其中，所述块内约束条件为第一粒度纹理图像块内的至少部分纹理像素点在同一个第二粒度纹理图像块内。
6.根据权利要求5所述的方法，其特征在于，根据所述第一视点的深度图像上的各个深度像素点是否被标记为噪点，以第一权重因子或第二权重因子，对所述第一视点的深度图像上的各个深度像素点的深度值进行调整，包括：
以所述第一权重因子，对所述第一视点的深度图像上未被标记为噪点的深度像素点的深度值进行调整；
以所述第二权重因子，对所述第一视点的深度图像上被标记为噪点的深度像素点的深度值进行调整。
7.根据权利要求1-6任一所述的方法，其特征在于，根据所述第一视点的标记有噪点的深度图像，以及所述第一视点的纹理图像上的每个纹理像素点及邻域的纹理像素点各自所在的纹理图像块，对所述第一视点的深度图像上的各个深度像素点的深度值进行调整，包括：
根据所述第一视点的标记有噪点的深度图像，构建似然能量函数；
根据所述第一视点的纹理图像上的每个纹理像素点及邻域的纹理像素点各自所在的纹理图像块，构建先验能量函数；
根据所述似然能量函数和所述先验能量函数，构建后验能量函数；
以最小化所述后验能量函数的值为目标，对所述第一视点的深度图像上的各个深度像素点的深度值进行调整。
8.根据权利要求7所述的方法，其特征在于，根据所述似然能量函数和所述先验能量函数，构建后验能量函数，包括：
按照第一公式，构建所述后验能量函数，所述第一公式为：
Figure FDA0002427522740000031
其中，U表示所述后验能量函数的值，f1(di,dwi)表示所述似然能量函数的值，f2(di,dj)表示所述先验能量函数的值，di和dwi分别表示所述第一视点的深度图像上位置i处的深度像素点的深度值和调整后深度值，dj表示所述第一视点的深度图像上位置j处的深度像素点的深度值，i表示所述第一视点的纹理图像上第i个位置，N(i)表示位置i的邻域的各个位置的集合，L表示待滤波的深度像素点的集合。
9.一种虚拟视点图像合成方法，其特征在于，所述方法包括：
获得左视点的深度图像和右视点的深度图像；
将左视点和右视点分别作为第一视点，按照权利要求1-8任一所述的方法对所述第一视点的深度图像进行滤波，得到左视点的滤波后的深度图像和右视点的滤波后的深度图像；
基于左视点的滤波后的深度图像和右视点的滤波后的深度图像，进行虚拟视点合成，得到合成虚拟视点图像。
10.一种深度图像滤波装置，其特征在于，所述装置包括：
噪点标记模块，用于根据第一视点的深度图像将第一视点的纹理图像映射到第二视点，根据映射得到的虚拟纹理图像和所述第二视点的纹理图像上对应同一位置的纹理像素点对，标记所述第一视点的深度图像上的噪点；
图像分割模块，用于对所述第一视点的纹理图像进行图像分割，确定所述第一视点的纹理图像上的各个纹理像素点所在的纹理图像块；
深度值调整模块，用于根据所述第一视点的标记有噪点的深度图像，以及所述第一视点的纹理图像上的每个纹理像素点及邻域的纹理像素点各自所在的纹理图像块，对所述第一视点的深度图像上的各个深度像素点的深度值进行调整，得到所述第一视点的滤波后的深度图像。
11.一种虚拟视点图像合成装置，其特征在于，所述装置包括：
深度图像获得模块，用于获得左视点的深度图像和右视点的深度图像；
深度图像滤波模块，用于将左视点和右视点分别作为第一视点，按照权利要求1-8任一所述的方法对所述第一视点的深度图像进行滤波，得到左视点的滤波后的深度图像和右视点的滤波后的深度图像；
虚拟合成模块，用于基于左视点的滤波后的深度图像和右视点的滤波后的深度图像，进行虚拟视点合成，得到合成虚拟视点图像。
12.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现如权利要求1-8任一所述的深度图像滤波方法，或权利要求9所述的虚拟视点图像合成方法。
13.一种计算机可读存储介质，其特征在于，其存储的计算机程序使得处理器执行如权利要求1-8任一所述的深度图像滤波方法，或权利要求9所述的虚拟视点图像合成方法。
CN202010225576.3A 2020-03-26 2020-03-26 深度图像滤波方法、图像合成方法、装置、设备及介质 Active CN111524075B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010225576.3A CN111524075B (zh) 2020-03-26 2020-03-26 深度图像滤波方法、图像合成方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010225576.3A CN111524075B (zh) 2020-03-26 2020-03-26 深度图像滤波方法、图像合成方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN111524075A true CN111524075A (zh) 2020-08-11
CN111524075B CN111524075B (zh) 2023-08-22

Family

ID=71901931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010225576.3A Active CN111524075B (zh) 2020-03-26 2020-03-26 深度图像滤波方法、图像合成方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN111524075B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022236837A1 (zh) * 2021-05-14 2022-11-17 Oppo广东移动通信有限公司 虚拟视点绘制、渲染、解码方法及装置、设备、存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110044531A1 (en) * 2007-11-09 2011-02-24 Thomson Licensing System and method for depth map extraction using region-based filtering
CN103139469A (zh) * 2011-12-01 2013-06-05 索尼公司 利用多分辨率过程生成鲁棒深度图的系统和方法
US20130156332A1 (en) * 2011-12-19 2013-06-20 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
CN103413276A (zh) * 2013-08-07 2013-11-27 清华大学深圳研究生院 一种基于纹理分布特征的深度增强方法
CN104966303A (zh) * 2015-07-21 2015-10-07 兰州理工大学 一种基于马尔可夫随机场的视差图精化方法
CN105787902A (zh) * 2016-03-22 2016-07-20 天津大学 利用分块排序检测噪声的图像降噪方法
CN106919257A (zh) * 2017-02-28 2017-07-04 南京信息工程大学 基于图像亮度信息力触觉交互纹理力再现方法
CN107103619A (zh) * 2017-04-19 2017-08-29 腾讯科技（上海）有限公司 一种头发纹理方向的处理方法、装置及系统
WO2018133119A1 (zh) * 2017-01-23 2018-07-26 中国科学院自动化研究所 基于深度相机进行室内完整场景三维重建的方法及系统
US20180309974A1 (en) * 2015-12-21 2018-10-25 Koninklijke Philips N.V. Processing a depth map for an image
CN110691228A (zh) * 2019-10-17 2020-01-14 北京迈格威科技有限公司 基于三维变换的深度图像噪声标记方法、装置和存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110044531A1 (en) * 2007-11-09 2011-02-24 Thomson Licensing System and method for depth map extraction using region-based filtering
CN103139469A (zh) * 2011-12-01 2013-06-05 索尼公司 利用多分辨率过程生成鲁棒深度图的系统和方法
US20130156332A1 (en) * 2011-12-19 2013-06-20 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
CN103413276A (zh) * 2013-08-07 2013-11-27 清华大学深圳研究生院 一种基于纹理分布特征的深度增强方法
CN104966303A (zh) * 2015-07-21 2015-10-07 兰州理工大学 一种基于马尔可夫随机场的视差图精化方法
US20180309974A1 (en) * 2015-12-21 2018-10-25 Koninklijke Philips N.V. Processing a depth map for an image
CN105787902A (zh) * 2016-03-22 2016-07-20 天津大学 利用分块排序检测噪声的图像降噪方法
WO2018133119A1 (zh) * 2017-01-23 2018-07-26 中国科学院自动化研究所 基于深度相机进行室内完整场景三维重建的方法及系统
CN106919257A (zh) * 2017-02-28 2017-07-04 南京信息工程大学 基于图像亮度信息力触觉交互纹理力再现方法
CN107103619A (zh) * 2017-04-19 2017-08-29 腾讯科技（上海）有限公司 一种头发纹理方向的处理方法、装置及系统
CN110691228A (zh) * 2019-10-17 2020-01-14 北京迈格威科技有限公司 基于三维变换的深度图像噪声标记方法、装置和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022236837A1 (zh) * 2021-05-14 2022-11-17 Oppo广东移动通信有限公司 虚拟视点绘制、渲染、解码方法及装置、设备、存储介质

Also Published As

Publication number Publication date
CN111524075B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN107220997B (zh) 一种立体匹配方法及系统
US9412151B2 (en) Image processing apparatus and image processing method
CN106447602B (zh) 一种图像拼接方法及装置
CN112116639B (zh) 一种图像配准方法、装置及电子设备和存储介质
US20090052796A1 (en) Match, Expand, and Filter Technique for Multi-View Stereopsis
CN110223222B (zh) 图像拼接方法、图像拼接装置和计算机可读存储介质
CN101853524A (zh) 使用图像序列生成玉米果穗全景图的方法
JP7116262B2 (ja) 画像深度推定方法および装置、電子機器、ならびに記憶媒体
CN111415310B (zh) 一种图像处理方法及装置、存储介质
CN107980138A (zh) 一种虚警障碍物检测方法及装置
CN112750133A (zh) 计算机视觉训练系统和用于训练计算机视觉系统的方法
CN106952247B (zh) 一种双摄像头终端及其图像处理方法和系统
CN107240126B (zh) 阵列图像的校准方法
JPWO2019230813A1 (ja) 三次元再構成方法および三次元再構成装置
CN116091574A (zh) 一种基于平面约束与位置约束的3d目标检测方法及系统
CN113793266A (zh) 一种多目机器视觉图像拼接方法、系统及存储介质
CN114742875A (zh) 基于多尺度特征提取和自适应聚合的双目立体匹配方法
CN113034666B (zh) 一种基于金字塔视差优化代价计算的立体匹配方法
CN110335228B (zh) 一种图像视差的确定方法、装置及系统
CN111524075B (zh) 深度图像滤波方法、图像合成方法、装置、设备及介质
CN112819937B (zh) 一种自适应多对象光场三维重建方法、装置及设备
CN107403465B (zh) 基于结构先验与深度学习的城市场景分段平面重建方法
CN113808033A (zh) 图像文档校正方法、系统、终端及介质
US20120038785A1 (en) Method for producing high resolution image
CN117726747A (zh) 补全弱纹理场景的三维重建方法、装置、存储介质和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant