CN116601958A - 虚拟视点绘制、渲染、解码方法及装置、设备、存储介质 - Google Patents

虚拟视点绘制、渲染、解码方法及装置、设备、存储介质 Download PDF

Info

Publication number
CN116601958A
CN116601958A CN202080107720.1A CN202080107720A CN116601958A CN 116601958 A CN116601958 A CN 116601958A CN 202080107720 A CN202080107720 A CN 202080107720A CN 116601958 A CN116601958 A CN 116601958A
Authority
CN
China
Prior art keywords
target
pixels
viewpoint
pixel
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080107720.1A
Other languages
English (en)
Inventor
杨铀
苏永全
刘琼
吴科君
陈泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN116601958A publication Critical patent/CN116601958A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Image Generation (AREA)

Abstract

本申请实施例公开了虚拟视点绘制、渲染、解码方法及装置、设备、存储介质；其中，所述虚拟视点绘制方法包括：根据输入视点的重构深度图，生成目标视点的初始可见图；对所述初始可见图进行质量提升处理，得到所述目标视点的目标可见图；对所述目标视点的目标可见图进行着色，得到所述目标视点的目标纹理图。

Description

虚拟视点绘制、渲染、解码方法及装置、设备、存储介质 技术领域
本申请实施例涉及计算机视觉技术，涉及但不限于虚拟视点绘制、渲染、解码方法及装置、设备、存储介质。
背景技术
大多数用户喜欢观看沉浸式视频内容(诸如虚拟现实内容、三维内容、180度内容或360度内容)，该沉浸式视频内容能够为观看者提供沉浸式体验。此外，这些用户可能喜欢观看沉浸式格式的计算机生成的内容，诸如游戏视频或动画。
然而，在编码端，由于深度图(Depth Map)的部分像素的深度值存在一定的错误，且采用较大的量化参数对深度图进行压缩编码，所以导致压缩失真非常严重；这样，在解码端，解码恢复的深度图的质量会大幅下降，从而导致生成的目标视点(Target Viewport)的深度图中出现明显噪点，深度图边缘与实际纹理边缘不完全吻合。反映到纹理图上的一种表现是前景和背景的交界处存在过渡区，前景边缘不够陡峭。
发明内容
有鉴于此，本申请实施例提供的虚拟视点绘制、渲染、解码方法及装置、设备、存储介质，能够使得目标视点的目标纹理图的噪点和过渡区明显减少；本申请实施例提供的虚拟视点绘制、渲染、解码方法及装置、设备、存储介质，是这样实现的：
本申请实施例提供的一种虚拟视点绘制方法，包括：根据输入视点(Source views)的重构深度图(Reconstructed depth maps)，生成目标视点的初始可见图(Visibility Map)；对所述初始可见图进行质量提升处理，得到所述目标视点的目标可见图；对所述目标视点的目标可见图进行着色(Shading)，得到所述目标视点的目标纹理图。
本申请实施例提供的一种渲染(Rendering)方法，所述方法包括：对输入视点的深度图的图集进行剪切视图恢复(Pruned View Reconstruction)，得到所述输入视点的重构深度图；对所述输入视点的重构深度图执行本申请实施例所述的虚拟视点绘制方法中的步骤，得到所述目标视点的目标纹理图；根据所述目标视点的目标纹理图，生成所述目标视点的目标视图(Viewport)。
本申请实施例提供的一种解码方法，所述方法包括：对输入的码流进行解码，得到输入视点的深度图的图集(atlas)；对所述输入视点的深度图的图集进行剪切视图恢复，得到所述输入视点的重构深度图；对所述输入视点的重构深度图执行本申请实施例所述的虚拟视点绘制方法中的步骤，得到所述目标视点的目标纹理图；根据所述目标视点的目标纹理图，生成所述目标视点的目标视图。
本申请实施例提供的一种虚拟视点绘制装置，包括：可见图生成模块，用于根据所述输入视点的重构深度图，生成目标视点的初始可见图；可见图优化模块，用于对所述初始可见图进行质量提升处理，得到所述目标视点的目标可见图；着色模块，用于对所述目标视点的目标可见图进行着色，得到所述目标视点的目标纹理图。
本申请实施例提供的一种渲染装置，包括：剪切视图恢复模块，用于对输入视点的深度图的图集进行剪切视图恢复，得到所述输入视点的重构深度图；虚拟视点绘制模块，用于对所述输入视点的重构深度图执行本申请实施例所述的虚拟视点绘制方法中的步骤，得到所述目标视点的目标纹理图；目标视图生成模块，用于根据所述目标视点的目标纹理图，生成所述目标视点的目标视图。
本申请实施例提供的一种解码装置，包括：解码模块，用于对输入的码流进行解码，得到输入视点的深度图的图集；剪切视图恢复模块，用于对所述输入视点的深度图的图集进行剪切视图恢复，得到所述输入视点的重构深度图；虚拟视点绘制模块，用于对所述输入视点的重构深度图执行本申请实施例所述的虚拟视点绘制方法中的步骤，得到所述目标视点的目标纹理图；目标视图生成模块，用于根据所述目标视点的目标纹理图，生成所述目标视点的目标视图。
本申请实施例提供的一种视点加权合成器(View Weighting Synthesizer，VWS)，用于实现本申请实施例所述的虚拟视点绘制方法。
本申请实施例提供的一种渲染设备，用于实现本申请实施例所述的渲染方法。
本申请实施例提供的一种解码器，用于实现本申请实施例所述的解码方法。
本申请实施例提供的一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运 行的计算机程序，所述处理器执行所述程序时实现本申请实施例所述的任一方法。
本申请实施例提供的一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例所述的任一方法。
在本申请实施例中，根据输入视点的重构深度图，生成目标视点的初始可见图；此时不是直接将目标视点的初始可见图生成目标视点的目标纹理图，而是先对该初始可见图进行质量提升处理，对该处理得到的目标可见图进行着色，得到目标纹理图；如此，一方面使得该目标纹理图中的噪点和/或过渡区明显减少；另一方面，在确保目标纹理图的图像质量的基础上，使得编码端可以使用较大的量化参数对深度图进行压缩编码，从而降低深度图的编码开销，进而提高整体的编码效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1为本申请实施例可能适用的一种系统架构示意图；
图2为VWS的结构示意图；
图3为未被剪切的像素的权值的计算流程示意图；
图4为采用深度估计得到的深度图和VWS生成的深度图的对比示意图；
图5为VWS生成的深度图和纹理图的边缘的对比示意图；
图6为本申请实施例虚拟视点绘制方法的实现流程示意图；
图7为本申请实施例虚拟视点绘制方法的实现流程示意图；
图8为初始可见图的示意图；
图9为本申请实施例虚拟视点绘制方法的实现流程示意图；
图10为本申请实施例虚拟视点绘制方法的实现流程示意图；
图11为本申请实施例虚拟视点绘制方法的实现流程示意图；
图12为本申请实施例采用超像素分割对视点生成中深度图优化技术的流程示意图；
图13为本申请实施例引入深度图优化技术后的系统架构示意图；
图14为使用击剑(Fencing)场景的测试序列生成的两种深度图的对比示意图；
图15为使用青蛙(Frog)场景的测试序列生成的两种深度图的对比示意图；
图16为使用Fencing测试序列生成的两种纹理图的对比示意图；
图17为使用Frog测试序列生成的两种纹理图的对比示意图；
图18为使用停车场(Carpark)场景的测试序列生成的两种纹理图的对比示意图；
图19为使用街道(Street)场景的测试序列生成的两种纹理图的对比示意图；
图20为使用画家(Painter)场景的测试序列生成的两种纹理图的对比示意图；
图21为本申请实施例虚拟视点绘制装置的结构示意图；
图22为本申请实施例渲染装置的结构示意图；
图23为本申请实施例解码装置的结构示意图；
图24为本申请实施例的电子设备的硬件实体示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更清楚，下面将结合本申请实施例中的附图，对本申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
需要指出，本申请实施例所涉及的术语“第一\第二\第三”是为了区别类似或不同的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
本申请实施例描述的系统架构以及业务场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定。本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
图1示出了本申请实施例可能适用的一种系统架构，即动态图像专家组(Moving Picture Experts Group，MPEG)在3自由度+(3 degrees of freedom+，3DoF+)沉浸式视频测试模型(Test Model of Immersive Video，TMIV)的解码端的系统架构10，如图1所示，该系统架构10包括：解码存取单 元(Decoded access unit)11和渲染单元(Rendering unit)12；其中，解码存取单元11中包含解码后得到的各类元数据和图集(atlas)信息。之后这些信息将会被传输到渲染单元12中进行虚拟视点绘制。标注有可选(opt.)字样的子单元表示可选子单元，由于这些子单元在本申请实施例的技术方案中暂不涉及，因此在此不做描述。渲染单元12的图块剔除(Patch culling)子单元121根据用户目标视点参数(viewport parameters)对图集信息中的图块(patches)进行筛选，剔除与用户目标视图没有重叠的图块，从而降低虚拟视点绘制时的计算量。渲染单元12的占用图恢复(Occupancy reconstruction)子单元122根据解码存取单元11传输来的信息找出各个图块(patch)在视图中的位置，然后将筛选出来的图块(patches)贴入相应的位置完成剪切视图恢复(Pruned view reconstruction)。视图生成(View synthesis)子单元123利用上述重构的剪切视图进行虚拟视点绘制，也就是目标视点的绘制。由于生成的虚拟视点存在一定的空洞区域，所以需要填充(Inpainting)子单元124对空洞进行填充。最后，视图空间处理(Viewing space handling)子单元125可使视图平滑淡出为黑色。
视点加权合成器VWS，是MPEG在3DoF+TMIV中用到的虚拟视点绘制工具。VWS用在解码端的渲染器中，具体应用在剪切视图恢复(Pruned view reconstruction)子单元126之后的视点合成(view synthesis)环节。
如图2所示，相关技术中，VWS主要包括三个模块：权值计算模块201、可见图生成模块202和着色模块203。可见图生成模块202旨在生成目标视点下的可见图，着色模块203旨在对生成的目标视点下的可见图进行着色，得到目标视点下的纹理图。由于可见图生成模块202和着色模块203依赖于输入视点相对于目标视点的权值，所以权值计算模块201旨在根据输入视点和目标视点的关系进行输入视点的权值计算。
1)关于权值计算模块201的相关内容，说明如下：
权值计算模块201根据输入视点的元数据信息和目标视点的元数据信息计算输入视点的权值。输入视点的权值是该视点与目标视点之间距离的函数。在可见图计算和着色的过程中，相关像素对结果的贡献是其对应视点贡献的加权。在处理剪切视图时，由于其内容不完整，所以对剪切视图的权值的计算需要考虑被剪切的图像区域。权值计算是像素级的操作，对未被剪切的像素计算相应的权值。像素的权值在视点生成时进行更新。如图3所示，未被剪切的像素的权值按照下面的步骤计算得出：
对于一个与剪切图中节点N关联的视图中未被剪切的像素p，其初始权值w P＝w N。需要说明的是，初始权值是该像素p所属视点的权值，该值取决于像素p所属视点与目标视点之间的距离；接着采用下面a至c所述的过程对像素p的权值进行更新：
a.如果将像素p向子节点视图中进行重投影且p点重投影后对应到子节点视图中的剪切像素，那么像素p的权值就在原来的基础上加上该子节点视图的权值w o，即w p＝w p+w o；需要说明的是，子节点视图的权值仅仅取决于它所在视点和目标视点的距离。然后继续对其孙节点执行上述操作。
b.如果像素p重投影后没有对应到其子节点视图上，那么对其孙节点递归执行上述操作。
c.如果像素p重投影后对应其子节点视图中未剪切的像素，则像素p的权值不变，且不再对其孙节点执行上述操作。
2)关于可见图计算模块202的相关内容，说明如下：
计算可见图旨在根据重新恢复的输入视点的深度图(即重构深度图)获得目标视点下的可见图。整个过程分为三个步骤：扭曲(Warping)、筛选(Selection)和滤波(Filtering)。
扭曲步骤中将输入视点的深度图中的像素向目标视点上进行重投影，生成扭曲后的深度图。对输入视点执行这样的操作，得到若干幅目标视点下的扭曲深度图。
筛选步骤对生成的若干幅扭曲深度图进行合并，生成一幅比较完整的目标视点下的深度图，即可见图。筛选步骤根据每个输入视点的权值，采用基于像素级的多数投票原则进行。其中，多数投票原则是指投影到同一个像素位置的深度值可能会有多个，该像素深度值选择为投影最多的那个。
最后，对生成的可见图执行滤波步骤，使用中值滤波器加以滤波，去除离群点。
3)关于着色模块203的相关内容，说明如下：
这个步骤旨在生成目标视点下的纹理图。目标视点下的纹理图的生成需要使用滤波后的可见图和重新恢复的输入视点的纹理图。在这个过程中，需要考虑输入视点中的像素在可见图中的连续性和所属视点的权值。为了提高生成的纹理内容的视觉质量，对生成的纹理图使用双线性滤波进行处理。此外，为了避免混叠(aliasing)现象，对于检测到的来自输入视点纹理图中物体边缘的像素点，需要剔除。
受限于深度采集技术尚不成熟，且设备价格昂贵，相关方案更多的是采用先纹理采集后深度估 计的方法得到深度图。然而，发明人在研究的过程中发现以下问题：
采用深度估计方法计算出的深度值会存在一定的错误，从而导致估计出的深度图中存在噪点。而采用这样的深度图进行虚拟视点绘制势必会导致生成的目标视点深度图中也存在一定的噪点。举例来说，如图4所示，左图401为采用深度估计得到的深度图，右图402为采用左图401进行虚拟视点绘制得到的深度图，即VWS生成的深度图。从图中可以看出，右图402中的噪点较多。
在编码端对深度图压缩之前，通常需要对该深度图进行下采样以降低分辨率。通常可以使用视频编码标准对深度图进行压缩。经过压缩编码后，深度图会产生一定的压缩失真。尤其当采用较大量化参数(Quantization Parameter，QP)对深度图进行压缩时，压缩失真会更严重。发明人基于上述分析，在研究过程中发现：在解码端，解码恢复的深度图质量会大幅下降，从而导致生成的目标视点的深度图中出现明显噪点，以及深度图边缘与实际纹理边缘不完全吻合。反映到纹理图上的一种表现是前景和背景的交界处存在过渡带，前景边缘不够陡峭。
举例来说，如图5所示，左图501是采用量化参数QP＝7对深度图进行压缩后的效果，右图502是采用量化参数QP＝42对深度图进行压缩后的效果。从图中可以看出，右图502的白矩形框内的图像5021的噪点较多，反映到纹理图上，即图像区域5022中前景与背景的交界处存在较大的过渡带。
由于深度图的压缩失真会导致VWS生成的深度图和纹理图的质量下降。因此，想要生成高质量的深度图和纹理图，需要采用尽可能小的QP对深度图进行压缩。这也就限制了深度图的压缩程度，从而导致了深度图编码开销的增加，降低了编码效率，客观上降低了对“多视点视频和多视点深度”的整体压缩编码效率。
有鉴于此，本申请实施例提供一种虚拟视点绘制方法，所述方法可以应用于任何具有数据处理能力的电子设备，所述电子设备可以是电视机、投影仪、手机、个人计算机、平板电脑、虚拟现实(Virtual Reality，VR)头戴设备等任何具有视频编解码功能或者仅有解码功能的设备。所述虚拟视点绘制方法所实现的功能可以通过所述电子设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中。可见，所述电子设备至少包括处理器和存储介质。
图6为本申请实施例虚拟视点绘制方法的实现流程示意图，如图6所示，所述方法可以包括以下步骤601至步骤603：
步骤601，根据输入视点的重构深度图，生成目标视点的初始可见图。
可以理解地，在1个以上的输入视点的重构深度图的情况下，电子设备可以基于这些输入视点的重构深度图，生成目标视点的初始可见图。在一些实施例中，电子设备可以通过图2所示的可见图计算模块202得到初始可见图。
需要说明的是，可见图和深度图的含义相同，均表示场景距离相机位置的远近关系。而可见图与深度图不同的是，可见图中距离相机位置越近，像素值越小。
步骤602，对所述初始可见图进行质量提升处理，得到所述目标视点的目标可见图。
质量提升处理的目的是削减初始可见图中的噪点和/或过渡区。在一些实施例中，电子设备可以对所述初始可见图进行去噪和/或边缘增强处理，以实现初始可见图的质量提升，从而得到所述目标视点的目标可见图。
可以理解地，所谓过渡区，是指图像中交界处存在的过渡带区域，该区域的存在，导致对图像的后续分析和理解易产生偏差，即最终得到的目标视图中的交界处过渡不自然。
电子设备对初始可见图进行去噪和/或边缘增强处理的方式可以是多种多样的。比如，电子设备对初始可见图进行滤波处理；再如，电子设备对初始可见图中存在的噪点和过渡区处的像素值做替换处理。
步骤603，对所述目标视点的目标可见图进行着色，得到所述目标视点的目标纹理图。
在本申请实施例中，电子设备根据输入视点的重构深度图，生成目标视点的初始可见图；此时不是直接将目标视点的初始可见图生成目标视点的目标纹理图，而是先对该初始可见图进行质量提升处理，对该处理得到的目标可见图进行着色，得到目标纹理图；如此，一方面使该目标纹理图中的噪点和/或过渡区明显减少；一方面，在确保目标纹理图的图像质量的基础上，使得编码端可以使用较大的量化参数对深度图进行压缩编码，从而降低深度图的编码开销，进而提高整体的编码效率。
本申请实施例再提供一种虚拟视点绘制方法，图7为本申请实施例虚拟视点绘制方法的实现流程示意图，如图7所示，所述方法可以包括以下步骤701至步骤705：
步骤701，根据输入视点的重构深度图，生成目标视点的初始可见图；
在一些实施例中，电子设备可以对输入的码流进行解码，得到输入视点的深度图的图集；然后，对所述输入视点的深度图的图集进行剪切视图恢复，得到所述输入视点的重构深度图。
在本申请实施例中，生成初始可见图所依据的输入视点的数目不做限定。电子设备可以根据一个或多个输入视点的重构深度图，生成目标视点的初始可见图。
步骤702，获得所述目标视点的初始纹理图；
实际上，电子设备在对输入的码流进行解码，不仅得到了输入视点的深度图的图集，还得到了所述输入视点的纹理图的图集；基于此，在一些实施例中，电子设备可以这样获得目标视点的初始纹理图：对所述输入视点的纹理图的图集进行剪切视图恢复，得到所述输入视点的重构纹理图；根据所述输入视点的重构纹理图，对所述目标视点的初始可见图进行着色，从而得到所述目标视点的初始纹理图。
步骤703，对所述目标视点的初始纹理图进行分割，得到分割区域。
可以理解地，之所以是对初始纹理图进行分割，而不是直接对初始可见图进行分割，是因为：如果直接对初始可见图进行分割，比如图8所示，它会非常好地沿着初始可见图801中的边缘来分割，这样如果边缘上有一些噪点，这种分割方法无法把这些噪点分割出来。而基于初始纹理图的分割，相比于基于初始可见图的分割，前者能够对边缘处(也就是交界处)产生较好的划分，这样利用初始纹理图的更为准确的分割结果能够更好地指导初始可见图的质量提升处理，会非常利于对边缘处进行一些锐化，如此使质量提升和着色后得到的目标纹理图的边缘处的噪点和过渡区明显减少。
在一些实施例中，可以对所述初始纹理图进行超像素分割，得到分割区域。需要说明的是，所使用的超像素分割算法可以是多种多样的，在本申请实施例中对此不做限制。例如，所述超像素分割算法可以是简单的线性迭代聚类(Simple Linear Iterative Cluster，SLIC)超像素分割算法、通过能量驱动采样的超像素提取(Superpixels Extracted via Energy-Driven Sampling，SEEDS)算法、轮廓松弛超像素(Contour-Relaxed Superpixels，CRS)算法、ETPS或熵率超像素分割(Entropy Rate Superpixels Segmentation，ERS)算法等。
由于相比其他的超像素分割算法，SLIC超像素分割算法在运行速度、生成超像素的紧凑度以及轮廓保持方面都比较理想。因此，在一些实施例中，电子设备采用SLIC超像素分割算法对初始纹理图进行超像素分割，能够在不显著增加处理时间的情况下，对目标纹理图的质量都实现一定程度的提升，从而使最终得到的目标纹理图和相应得到的目标视图的客观质量和主观效果均得到明显提升。
步骤704，对所述分割区域在所述初始可见图上的对应区域进行去噪和/或边缘增强处理，得到所述目标视点的目标可见图。
在一些实施例中，电子设备可以将所述初始纹理图的分割区域作为所述初始可见图的分割区域，对所述初始可见图的分割区域的像素进行分类，以确定出所述初始可见图的分割区域中待更新的目标像素；对所述初始可见图中的所述目标像素的像素值进行更新，得到所述目标可见图。
例如，可以通过如下实施例的步骤904和步骤905实现待更新的目标像素的确定。
分类算法可以是多种多样的。例如分类算法为K均值聚类、决策树、贝叶斯、人工神经网络、支持向量机或基于关联规则的分类等。
可以理解地，初始可见图与初始纹理图中的相同位置表达的场景内容是一致的。因此，这里电子设备可以直接将初始纹理图的分割结果直接搬移至初始可见图上，将初始纹理图的分割区域作为初始可见图的分割区域。
更新目标像素的像素值的方式可以是多种多样的。例如，电子设备可以对可见图中的目标像素的像素值进行滤波，以实现对该像素值的更新。再如，电子设备还可以对可见图中的目标像素的像素值进行替换，以实现对该像素值的更新。其中，每一分割区域对应一像素替换值，该像素替换值可以为对应分割区域中的非目标像素的像素值的均值。在使用聚类算法的情况下，每一分割区域均对应一个非目标像素类的聚类中心，因此可以将该中心的像素值作为像素替换值。
步骤705，对所述目标视点的目标可见图进行着色，得到所述目标视点的目标纹理图。
该步骤可以通过图2所示的着色模块203实现。根据输入视点的重构纹理图，对所述目标视点的目标可见图进行着色，得到所述目标视点的目标纹理图。
本申请实施例再提供一种虚拟视点绘制方法，图9为本申请实施例虚拟视点绘制方法的实现流程示意图，如图9所示，所述方法可以包括以下步骤901至步骤907：
步骤901，根据输入视点的重构深度图，生成目标视点的初始可见图；
步骤902，获得所述目标视点的初始纹理图；
步骤903，对所述目标视点的初始纹理图进行分割，得到分割区域；
步骤904，对所述初始可见图的分割区域的像素的像素值进行聚类，至少得到：第一类像素的像素数量和所述第一类像素的聚类中心的像素值，以及第二类像素的像素数量和所述第二类像素的 聚类中心的像素值；
至此，每一分割区域均有对应的聚类结果。聚类算法可以是多种多样的，在本申请实施例中对此不做限定。例如，K均值聚类算法。
可以理解地，通过步骤903即可将初始纹理图分为若干个分割区域。将这些分割区域对应到初始可见图上。电子设备可以对初始可见图上的部分分割区域或全部分割区域中的像素分别进行分类。例如，在一些实施例中，电子设备可以利用分类算法(例如K均值聚类算法)将初始可见图中的每一分割区域中的像素划分为两类：属于背景区域的非目标像素和属于噪点区域(或过渡区)的目标像素。
步骤905，至少根据所述分割区域的所述第一类像素的像素数量与所述第二类像素的像素数量的关系、以及所述第一类像素的聚类中心的像素值与所述第二类像素的聚类中心的像素值的关系中之一，确定对应分割区域中待更新的目标像素。
在一些实施例中，在所述第一类像素的聚类中心的像素值减去所述第二类像素的聚类中心的像素值的第一运算结果大于或等于第一阈值，且所述第一类像素的像素数量除以所述第二类像素的像素数量的第二运算结果大于或等于第二阈值的情况下，确定所述第二类像素为对应分割区域的待更新的目标像素；相应地，在该情况下，第一类像素则为非目标像素。
在所述第二类像素的聚类中心的像素值减去所述第一类像素的聚类中心的像素值的第三运算结果大于或等于所述第一阈值，且所述第二类像素的像素数量除以所述第一类像素的像素数量的第四运算结果大于或等于所述第二阈值的情况下，确定所述第一类像素为对应分割区域的待更新的目标像素。相应地，在该情况下，第二类像素则为非目标像素。
在所述第一运算结果小于所述第一阈值或所述第二运算结果小于所述第二阈值、且所述第三运算结果小于所述第一阈值或所述第四运算结果小于所述第二阈值的情况下，确定所述第一类像素和所述第二类像素均为对应分割区域的非目标像素。
步骤906，对所述初始可见图中的所述目标像素的像素值进行更新，得到所述目标可见图。
更新的方式可以是多种多样的。例如，将分割区域的非目标像素的聚类中心的像素值替换该区域的目标像素的像素值。
步骤907，对所述目标视点的目标可见图进行着色，得到所述目标视点的目标纹理图。
本申请实施例再提供一种虚拟视点绘制方法，图10为本申请实施例虚拟视点绘制方法的实现流程示意图，如图10所示，该方法可以包括以下步骤1001至步骤1007：
步骤1001，根据输入视点的重构深度图，生成目标视点的初始可见图；
步骤1002，获得所述目标视点的初始纹理图；
步骤1003，对所述目标视点的初始纹理图进行分割，得到分割区域；
步骤1004，将所述初始可见图中的像素的像素值映射到特定区间内，得到第一可见图；
对于特定区间不做限制。例如，特定区间可以为[0,255]。当然，在实际应用中，工程人员还可以根据实际需要配置其他特定区间。
步骤1005，将所述初始纹理图的分割区域作为所述第一可见图的分割区域，对所述第一可见图的分割区域的像素进行聚类，至少得到：所述第一类像素的像素数量和所述第一类像素的聚类中心的像素值，以及所述第二类像素的像素数量和所述第二类像素的聚类中心的像素值；
步骤1006，至少根据所述第一类像素的像素数量与所述第二类像素的像素数量的关系、以及所述第一类像素的聚类中心的像素值与所述第二类像素的聚类中心的像素值的关系中之一，确定所述第一可见图的分割区域中待更新的目标像素；
在一些实施例中，在所述第一类像素的聚类中心的像素值减去所述第二类像素的聚类中心的像素值的第一运算结果大于或等于第一阈值，且所述第一类像素的像素数量除以所述第二类像素的像素数量的第二运算结果大于或等于第二阈值的情况下，确定所述第二类像素为对应分割区域的待更新的目标像素；相应地，在该情况下，第一类像素则为非目标像素。
在所述第二类像素的聚类中心的像素值减去所述第一类像素的聚类中心的像素值的第三运算结果大于或等于所述第一阈值，且所述第二类像素的像素数量除以所述第一类像素的像素数量的第四运算结果大于或等于所述第二阈值的情况下，确定所述第一类像素为对应分割区域的待更新的目标像素。相应地，在该情况下，第二类像素则为非目标像素。
在所述第一运算结果小于所述第一阈值或所述第二运算结果小于所述第二阈值、且所述第三运算结果小于所述第一阈值或所述第四运算结果小于所述第二阈值的情况下，确定所述第一类像素和所述第二类像素均为对应分割区域的非目标像素。
简单来说，第一类像素的聚类中心用cen 1表示，第二类像素的聚类中心用cen 2表示，第一类像素的像素数量用num 1表示，第二类像素的像素数量用num 2表示，那么可以这样确定目标像素和非目标像素：
a)如果cen 1-cen 2≥第一阈值，且num 1/num 2≥第二阈值，那么认为第一类像素为非目标像素，第二类像素为目标像素；
b)如果cen 2-cen 1≥第一阈值，且num 2/num 1≥第二阈值，那么认为第一类像素为目标像素，第二类像素为非目标像素；
c)除上述a)和b)这两种情况，其它情况下第一类像素和第二类像素均为非目标像素，对其对应的分割区域中的像素值不做处理。
在一些实施例中，所述第一阈值的取值范围是[25,33]，所述第二阈值的取值范围是[5,10]。例如，所述第一阈值为30，所述第二阈值为7。
步骤1007，对所述第一可见图中的待更新的目标像素的像素值进行更新，得到第二可见图。
在一些实施例中，所述对所述第一可见图的分割区域的像素进行聚类，还确定出所述分割区域的非目标像素；可以这样实现步骤1007：根据所述第一可见图的分割区域的非目标像素的像素值，确定所述分割区域的像素替换值；将所述第一可见图的分割区域的目标像素的像素值，更新为对应分割区域的像素替换值，从而得到第二可见图。
例如，可以将所述第一可见图的分割区域中非目标像素的聚类中心的像素值，确定为所述分割区域的像素替换值。
步骤1008，根据所述初始可见图与所述第一可见图之间的映射关系，将所述第二可见图中的像素的像素值进行反向映射，得到所述目标可见图。
可以理解地，通过步骤1002至步骤1008实现对初始可见图的质量提升处理，即在确定初始可见图的目标像素之前，先将该图的像素的像素值映射到特定区间，再对映射结果(即第一可见图)中的像素的像素值进行分类，并将分类确定出的目标像素的像素值更新，得到第二可见图，最后再将第二可见图反向映射为目标可见图；如此，能够使得所述虚拟视点绘制方法具有一定的泛化能力，从而适应各种不同的场景图像的处理。
步骤1009，对所述目标视点的目标可见图进行着色，得到所述目标视点的目标纹理图。
本申请实施例再提供一种虚拟视点绘制方法，图11为本申请实施例虚拟视点绘制方法的实现流程示意图，如图11所示，所述方法可以包括以下步骤111至步骤1112：
步骤111，对输入的码流进行解码，得到输入视点的深度图的图集；
步骤112，对所述输入视点的深度图的图集进行剪切视图恢复，得到所述输入视点的重构深度图；
步骤113，根据所述输入视点的重构深度图，生成目标视点的初始可见图；
步骤114，获得所述目标视点的初始纹理图；
步骤115，对所述目标视点的初始纹理图进行超像素分割，得到分割结果；
步骤116，将所述目标视点的初始可见图中的像素的像素值映射到特定区间内，得到第一可见图；
步骤117，将所述分割结果作为所述第一可见图的超像素分割结果，对所述第一可见图的超像素中的像素的像素值进行聚类，得到聚类结果；聚类结果包括：第一类像素的像素数量和所述第一类像素的聚类中心的像素值，以及第二类像素的像素数量和所述第二类像素的聚类中心的像素值；
在一些实施例中，电子设备可以采用K均值聚类算法分别对第一可见图中的每一超像素中的像素的像素值进行分类。
步骤118，根据所述第一类像素的像素数量与所述第二类像素的像素数量的关系、以及所述第一类像素的聚类中心的像素值与所述第二类像素的聚类中心的像素值的关系，确定对应超像素中属于噪点或过渡区的目标像素，以及确定所述对应超像素中不属于噪点或过渡区的非目标像素。
可以理解地，每一超像素均对应一聚类结果，所以这里所述的对应超像素是指依据的聚类结果所对应的超像素，即依据的聚类结果为该对应超像素的聚类结果。
在一些实施例中，在所述第一类像素的聚类中心的像素值减去所述第二类像素的聚类中心的像素值的第一运算结果大于或等于第一阈值，且所述第一类像素的像素数量除以所述第二类像素的像素数量的第二运算结果大于或等于第二阈值的情况下，确定所述第二类像素为对应超像素的待更新的目标像素；相应地，在该情况下，第一类像素则为非目标像素。
在一些实施例中，在所述第二类像素的聚类中心的像素值减去所述第一类像素的聚类中心的像素值的第三运算结果大于或等于所述第一阈值，且所述第二类像素的像素数量除以所述第一类像素的像素数量的第四运算结果大于或等于所述第二阈值的情况下，确定所述第一类像素为对应超像素的待更新的目标像素。相应地，在该情况下，第二类像素则为非目标像素。
在一些实施例中，在所述第一运算结果小于所述第一阈值或所述第二运算结果小于所述第二阈值、且所述第三运算结果小于所述第一阈值或所述第四运算结果小于所述第二阈值的情况下，确定所述第一类像素和所述第二类像素均为对应分割区域的非目标像素。
在一些实施例中，所述第一阈值的取值范围是[25,33]，所述第二阈值的取值范围是[5,10]。例如，所述第一阈值为30，所述第二阈值为7。
步骤119，根据所述第一可见图中的超像素的非目标像素的像素值，确定像素替换值。
在一些实施例中，可以将超像素中的非目标像素的均值作为该超像素中的目标像素的像素替换值；例如，将该超像素的非目标像素类的聚类中心的像素值作为像素替换值。
步骤1110，将所述第一可见图中的超像素中的目标像素的像素值，更新为所述超像素对应的像素替换值，从而得到第二可见图。
在一些实施例中，将所述第一可见图中的超像素中非目标像素的聚类中心的像素值，确定为所述像素替换值。
在相关技术方案中，往往采用滤波的方法来实现对可见图中的噪点和过渡区的质量提升处理，如此希望把这种影响给分散掉。然而，这样就会改变噪点和过渡区周围的像素(也就是非目标像素)的正确像素值，使得最终得到的目标视图的客观质量和主观效果稍差；
在本申请实施例中，则是将这些噪点和过渡区(也就是目标像素)的像素值用一近似正确的值(即像素替换值)替换，如此使得这些目标像素周围的非目标像素的像素值不会被改变，相比于滤波方法，该方法能够使替换像素值后的目标像素与周围区域融合的更自然，从而使得最终得到的目标视图的客观质量和主观效果更好。
步骤1111，根据所述初始可见图与所述第一可见图之间的映射关系，将所述第二可见图中的像素的像素值进行反向映射，得到所述目标可见图。
步骤1112，根据所述目标视点的目标可见图，生成所述目标视点的目标视图。
本申请实施例提供一种渲染方法，该数据方法不仅可以应用于电子设备，还可以应用于渲染设备，所述方法可以包括：对输入视点的深度图的图集进行剪切视图恢复，得到所述输入视点的重构深度图；对所述输入视点的重构深度图执行本申请实施例所述的虚拟视点绘制方法中的步骤，得到所述目标视点的目标纹理图；根据所述目标视点的目标纹理图，生成所述目标视点的目标视图。
在一些实施例中，所述获得所述目标视点的初始纹理图，包括：对所述输入视点的纹理图的图集进行剪切视图恢复，得到所述输入视点的重构纹理图；根据所述输入视点的重构纹理图，对所述目标视点的初始可见图进行着色，得到所述目标视点的初始纹理图。
在一些实施例中，所述输入视点的纹理图的图集是电子设备对所述码流进行解码得到的；
在一些实施例中，可以这样实现步骤113：对所述目标视点的目标可见图进行着色，得到所述目标视点的目标纹理图；对所述目标纹理图进行空洞填充，得到初始视图；对所述初始视图进行视图空间处理，得到所述目标视图。
以渲染方法实施例的描述，与上述其他方法实施例的描述是类似的，具有同上述其他方法实施例相似的有益效果。对于渲染方法实施例中未披露的技术细节，请参照上述其他方法实施例的描述而理解。
本申请实施例提供一种解码方法，所述方法包括：对输入的码流进行解码，得到输入视点的深度图的图集；对所述输入视点的深度图的图集进行剪切视图恢复，得到所述输入视点的重构深度图；对所述输入视点的重构深度图执行本申请实施例所述的虚拟视点绘制方法中的步骤，得到所述目标视点的目标纹理图；根据所述目标视点的目标纹理图，生成所述目标视点的目标视图。
在一些实施例中，对所述码流进行解码，还得到所述输入视点的纹理图的图集；所述获得所述目标视点的初始纹理图，包括：对所述输入视点的纹理图的图集进行剪切视图恢复，得到所述输入视点的重构纹理图；根据所述输入视点的重构纹理图，对所述目标视点的初始可见图进行着色，得到所述目标视点的初始纹理图。
需要说明的是，对于得到多少个输入视点的深度图的图集和纹理图的图集不做限制。电子设备解码得到1个或1个以上的输入视点的深度图的图集和纹理图的图集。
在本申请实施例中，在对接收的码流进行解码得到输入视点的深度图的图集之后，对输入视点 的深度图的图集进行剪切视图恢复，得到输入视点的重构深度图；根据输入视点的重构深度图，生成目标视点的初始可见图；此时不是直接将目标视点的初始可见图生成目标视点的目标视图，而是先对该初始可见图进行质量提升处理，基于质量提升处理得到目标可见图生成目标视图；如此，一方面使得最终得到的目标视图中的噪点和/或过渡区明显减少；另一方面，在确保目标视图的图像质量的基础上，使得编码端可以使用较大的量化参数对深度图进行压缩编码，从而降低深度图的编码开销，进而提高整体的编码效率。
以上对解码方法实施例的描述，与上述其他方法实施例的描述是类似的，具有同上述其他方法实施例相似的有益效果。对于所述解码方法实施例中未披露的技术细节，请参照上述其他方法实施例的描述而理解。
下面将说明本申请实施例在一个实际的应用场景中的示例性应用。
在本申请实施例中，提供一种采用超像素分割对视点生成中的深度图进行优化的技术方案。该技术方案是在VWS的基础上进行的改进，旨在对VWS的可见图生成步骤中得到的目标视点下的可见图进行优化(可见图和深度图的含义相同，均表示场景距离相机位置的远近关系。与深度图不同的是，可见图中距离相机位置越近，像素值越小)。
在本申请实施例中，采用超像素分割算法对VWS生成的初始纹理图进行分割，将分割得到的结果应用到VWS生成的初始可见图上。利用K均值聚类对得到的初始可见图上的超像素进行聚类，如此可以将需要处理的噪点、以及需要处理的过渡区与不需处理的区域分割开来，再对需要处理的噪点和需要处理的过渡区的像素值进行替换。
如图12所示，本申请实施例的技术方案分为三个模块：超像素分割(Superpixel Segmentation)模块121、K均值聚类(K-Means Clustering)模块122和替换(Replacement)模块123；其中，
首先，通过VWS的可见图生成步骤得到生成的可见图D(即所述初始可见图)。由于对于不同场景内容的测试序列，初始可见图中像素值取值范围有差别。在本申请实施例中，可以利用线性映射算法将可见图D中的像素值变换到[0，255]区间内，得到可见图D 2(即所述第一可见图)；然后，从着色步骤中得到生成的纹理图T(即所述初始纹理图)，对纹理图T采用SLIC超像素分割算法以超像素数量(numSuperpixel)为1200对纹理图T进行分割；再将从纹理图T上得到的超像素分割结果应用到可见图D 2上，得到在可见图D 2上划分出来的若干超像素S i。对每个超像素S i使用K均值聚类算法将其中的像素划分为两个类：C 1和C 2。记C 1和C 2的聚类中心分别为cen 1和cen 2，包含的像素数量分别为num 1和num 2。比较聚类中心cen 1和cen 2，以及像素数量num 1和num 2，采用下面的过程对可见图D 2进行处理：
a)如果cen 1-cen 2>30，且num 1/num 2>7，那么认为C 1为背景区域，C 2为噪点区域或过渡区，则对C 1中所有像素不进行处理，保持原值不变，对C 2中所有像素的值采用cen 1替换；其中，30即为第一阈值的一种示例，7即为第二阈值的一种示例；
b)如果cen 2-cen 1>30，且num 2/num 1>7，那么认为C 2为背景区域，C 1为噪点区域或过渡区，则对C 2中所有像素不进行处理，保持原值不变，对C 1中所有像素的值采用cen 2替换；
c)除上述两种情况，其它情况下对C 1和C 2中所有像素均不处理，保持原值不变。
经过以上处理，得到优化后的可见图D 3(即所述第二可见图)。对可见图D 3反向线性映射，缩放至原取值范围，得到可见图D 4(即所述目标可见图)。使用可见图D 4替换掉原有的可见图D，对可见图D 4再次执行着色步骤，得到优化后的纹理图T2(即所述目标纹理图)。引入深度图优化技术后的系统架构如图13所示。
本申请实施例提供的技术方案，可以在TMIV6.0上实现，并在通用测试条件(Common Test Condition)中对自然场景内容的测试序列进行了测试。实验结果显示，在VWS中引入本技术方案后，生成的目标视点的深度图中的噪点得到了大幅削减，纹理图中一些前景和背景的交界处变得更加分明清晰。由于超像素分割算法采用的是SLIC超像素分割算法，因此，在不显著增加渲染时间的情况下，本技术方案对目标视点深度图和纹理图的质量都实现了一定程度的改进。
在一些实施例中的实验配置为：超像素分割采用的是SLIC算法；超像素数量(numSuperpixel)为1200；K均值聚类算法中的K取值为2；聚类中心cen1和cen2之差的阈值选为30；两个聚类中的像素数量num1和num2比值的阈值选为7。
从方案相关可能的实施方式方面考虑，以上配置参数中的一个或多个可以不是固定值的。相关的实施方式可能包括：(1)在码流中编码本申请实施例的方法执行过程中需要使用的以上一个或多个参数值，使用的码流中数据单元包括：序列层数据单元(如SPS、PPS)、图像层数据单元(如PPS、APS、picture header、slice header等)、块层数据单元(如CTU、CU层数据单元)；(2)使用隐含推 导的方法确定以上一个或多个参数值；(3)结合(1)和(2)的，以上参数值的序列、图像、块层自适应确定方法。
举例来说，基于上述实验配置，使用本申请实施例提供的技术方案之前与之后的深度图对比效果如图14所示，其中，左边的深度图141为使用本申请实施例提供的技术方案之前，使用击剑(Fencing)场景的测试序列生成的深度图，右边的深度图142为使用本申请实施例提供的技术方案之后，使用Fencing测试序列生成的深度图。从图中可以看出，右边的深度图142的噪点明显减少，尤其是矩形框中的区域，相比于左边的深度图141，噪点消失。且，使用聚类中心的像素值替换噪点之后，与周围区域融为一体，图像效果自然清晰。
又如，基于上述实验配置，使用本申请实施例提供的技术方案之前与之后的深度图对比效果如图15所示，其中，左边的深度图151为使用本申请实施例提供的技术方案之前，使用青蛙(Frog)场景的测试序列生成的深度图，右边的深度图152为使用本申请实施例提供的技术方案之后，使用Frog测试序列生成的深度图。从图中可以看出，右边的深度图152的噪点减少，尤其是矩形框中的区域，相比于左边的深度图151，噪点消失。且，使用聚类中心的像素值替换噪点之后，与周围区域融为一体，图像效果自然清晰。
再如，基于上述实验配置，使用本申请实施例提供的技术方案之前与之后的纹理图对比效果如图16所示，其中，上方的纹理图161为使用本申请实施例提供的技术方案之前，使用Fencing测试序列生成的纹理图，下方的纹理图162为使用本申请实施例提供的技术方案之后，使用Fencing测试序列生成的纹理图。从图中可以看出，下方的纹理图162图像质量更好。例如，上方的纹理图161中矩形框1611中的边缘区域存在明显的过渡带，而下方的纹理图162中矩形框1621中的边缘区域的过渡带明显被锐化了；又如，上方的纹理图161中矩形框1612中明显存在一块类似三角形的噪点块，而下方的纹理图162中矩形框1622中的噪点块消失；再如，上方的纹理图161中矩形框1613中明显存很多噪点，放大之后，即1614中的圆框区域内存在明显噪点，而下方的纹理图162中矩形框1623中的大部分噪点消失，放大之后，即1624中的圆框区域内的大部分噪点消失，边缘区域明显被锐化了；且，从图中可以看出，使用聚类中心的像素值替换噪点之后，与周围区域融为一体，图像效果自然清晰。
又如，基于上述实验配置，使用本申请实施例提供的技术方案之前与之后的纹理图对比效果如图17所示，其中，上方的纹理图171为使用本申请实施例提供的技术方案之前，使用Frog测试序列生成的纹理图，下方的纹理图172为使用本申请实施例提供的技术方案之后，使用Frog测试序列生成的纹理图。从图中可以看出，下方的纹理图172图像质量更好。例如，上方的纹理图171中矩形框1711中人手的边缘区域存在明显的过渡带，而下方的纹理图172中矩形框1721中人手的边缘区域的过渡带明显被锐化了；又如，上方的纹理图171中矩形框1712中玩偶的领子的边缘区域存在明显的过渡带，而下方的纹理图172中矩形框1722中玩偶的领子的边缘的过渡带消失了；且，从图中可以看出，使用聚类中心的像素值替换过渡带之后，与周围区域融为一体，图像效果自然清晰。
再如，基于上述实验配置，使用本申请实施例提供的技术方案之前与之后的纹理图对比效果如图18所示，其中，上方的纹理图181为使用本申请实施例提供的技术方案之前，使用停车场(Carpark)场景的测试序列生成的纹理图，下方的纹理图182为使用本申请实施例提供的技术方案之后，使用Carpark测试序列生成的纹理图。从图中可以看出，下方的纹理图182图像质量更好。例如，上方的纹理图181中矩形框1811中的区域，放大后如1812所示，其中圆框中存在明显的噪点，而下方的纹理图182中矩形框1821中的区域，放大后如1822所示，其中圆框中的大部分噪点消失，尤其是窗户边沿更清晰；且，从图中可以看出，使用聚类中心的像素值替换噪点之后，与周围区域融为一体，图像效果自然清晰。
又如，基于上述实验配置，使用本申请实施例提供的技术方案之前与之后的纹理图对比效果如图19所示，其中，上方的纹理图191为使用本申请实施例提供的技术方案之前，使用街道(Street)场景的测试序列生成的纹理图，下方的纹理图192为使用本申请实施例提供的技术方案之后，使用Street测试序列生成的纹理图。从图中可以看出，下方的纹理图192图像质量更好。例如，上方的纹理图191中矩形框1911中的区域，放大后如1912所示，其中指示牌的左上方边沿存在明显的过渡带，而下方的纹理图192中矩形框1921中的区域，放大后如1922所示，其中指示牌的左上方边沿的过渡带基本消失；又如，上方的纹理图191中矩形框1913中的区域，放大后如1914所示，其中汽车上方的弧形棍状支架边沿存在过渡带，而下方的纹理图192中矩形框1923中的区域，放大后如1924所示，其中汽车上方的弧形棍状支架的边沿变得清晰了；且，从图中可以看出，使用聚类中心的像素值替换过渡带之后，与周围区域融为一体，图像效果自然清晰。
再如，基于上述实验配置，使用本申请实施例提供的技术方案之前与之后的纹理图对比效果如图20所示，其中，上方的纹理图201为使用本申请实施例提供的技术方案之前，使用画家(Painter)场景的测试序列生成的纹理图，下方的纹理图202为使用本申请实施例提供的技术方案之后，使用Painter测试序列生成的纹理图。从图中可以看出，下方的纹理图202图像质量更好。例如，上方的纹理图201中矩形框2011中的区域，放大后如2012所示，其中人手边沿存在明显的过渡带，而下方的纹理图202中矩形框2021中的区域，放大后如2022所示，其中人手边沿的过渡带基本消失，尤其是食指和中指的边沿更加清晰。且，从图中可以看出，使用聚类中心的像素值替换过渡带之后，与周围区域融为一体，图像效果自然清晰。
从图14至图20所示的实验结果，可以看出，与VWS生成的视图相比，本申请实施例提供的技术方案有效地遏制了因深度图压缩失真对生成的视图造成的不良影响。因此，相对于VWS，在保证最终得到的纹理图的质量的情况下，本申请实施例提供的技术方案可以对深度图采用较大的QP进行压缩，降低深度图的编码开销，进而提高整体的编码效率。
在本申请实施例中，采用简单的线性迭代聚类(Simple Linear Iterative Cluster，SLIC)超像素分割算法和K均值聚类算法分离出可见图中的噪点和过渡区，对此加以处理，从而提升深度图和纹理图的客观质量和主观效果。
基于前述的实施例，本申请实施例提供的虚拟视点绘制装置，包括所包括的各模块、以及各模块所包括的各单元，可以通过电子设备中的解码器或处理器来实现；当然也可以通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或图形处理器(Graphics Processing Unit，GPU)等。
图21为本申请实施例虚拟视点绘制装置的结构示意图，如图21所示，该装置21包括：
可见图生成模块211，用于根据所述输入视点的重构深度图，生成目标视点的初始可见图；
可见图优化模块212，用于对所述初始可见图进行质量提升处理，得到所述目标视点的目标可见图；
着色模块213，用于对所述目标视点的目标可见图进行着色，得到所述目标视点的目标纹理图。
在一些实施例中，可见图优化模块212，用于：对所述初始可见图进行去噪和/或边缘增强处理，得到所述目标视点的目标可见图。
在一些实施例中，可见图优化模块212，包括：获取单元，用于获得所述目标视点的初始纹理图；分割单元，用于对所述目标视点的初始纹理图进行分割，得到分割区域；增强单元，用于对所述分割区域在所述初始可见图上的对应区域进行去噪和/或边缘增强处理，得到所述目标视点的目标可见图。
在一些实施例中，所述分割单元，用于：利用SLIC超像素分割算法，对所述目标视点的初始纹理图进行超像素分割，所述分割区域为超像素。
在一些实施例中，所述增强单元，包括：分类子单元，用于将所述初始纹理图的分割区域作为所述初始可见图的分割区域，对所述初始可见图的分割区域的像素进行分类，以确定出所述初始可见图的分割区域中待更新的目标像素；更新子单元，用于对所述初始可见图中的所述目标像素的像素值进行更新，得到所述目标可见图。
在一些实施例中，所述分类子单元，用于：对所述初始可见图的分割区域的像素的像素值进行聚类，至少得到：第一类像素的像素数量和所述第一类像素的聚类中心的像素值，以及第二类像素的像素数量和所述第二类像素的聚类中心的像素值；至少根据所述第一类像素的像素数量与所述第二类像素的像素数量的关系、以及所述第一类像素的聚类中心的像素值与所述第二类像素的聚类中心的像素值的关系中之一，确定对应分割区域中待更新的目标像素。
在一些实施例中，所述分类子单元，用于：将所述初始可见图中的像素的像素值映射到特定区间内，得到第一可见图；将所述初始纹理图的分割区域作为所述第一可见图的分割区域，对所述第一可见图的分割区域的像素进行聚类，至少得到：所述第一类像素的像素数量和所述第一类像素的聚类中心的像素值，以及所述第二类像素的像素数量和所述第二类像素的聚类中心的像素值；至少根据所述第一类像素的像素数量与所述第二类像素的像素数量的关系、以及所述第一类像素的聚类中心的像素值与所述第二类像素的聚类中心的像素值的关系中之一，确定所述第一可见图的分割区域中待更新的目标像素；相应地，所述更新子单元，用于：对所述第一可见图中的待更新的目标像素的像素值进行更新，得到第二可见图；根据所述初始可见图与所述第一可见图之间的映射关系，将所述第二可见图中的像素的像素值进行反向映射，得到所述目标可见图。
在一些实施例中，所述分类子单元，还用于：对所述第一可见图的分割区域的像素进行聚类， 确定出所述分割区域的非目标像素；相应地，所述更新子单元，用于：根据所述第一可见图的分割区域的非目标像素的像素值，确定所述分割区域的像素替换值；将所述第一可见图的分割区域的目标像素的像素值，更新为对应分割区域的像素替换值，从而得到第二可见图。
在一些实施例中，所述更新子单元，用于：将所述第一可见图的分割区域中非目标像素的聚类中心的像素值，确定为所述分割区域的像素替换值。
在一些实施例中，所述分类子单元，用于：在所述第一类像素的聚类中心的像素值减去所述第二类像素的聚类中心的像素值的第一运算结果大于或等于第一阈值，且所述第一类像素的像素数量除以所述第二类像素的像素数量的第二运算结果大于或等于第二阈值的情况下，确定所述第二类像素为对应分割区域的待更新的目标像素；在所述第二类像素的聚类中心的像素值减去所述第一类像素的聚类中心的像素值的第三运算结果大于或等于所述第一阈值，且所述第二类像素的像素数量除以所述第一类像素的像素数量的第四运算结果大于或等于所述第二阈值的情况下，确定所述第一类像素为对应分割区域的待更新的目标像素。
在一些实施例中，所述分类子单元，用于：在所述第一运算结果小于所述第一阈值或所述第二运算结果小于所述第二阈值、且所述第三运算结果小于所述第一阈值或所述第四运算结果小于所述第二阈值的情况下，确定所述第一类像素和所述第二类像素均为对应分割区域的非目标像素。
在一些实施例中，所述第一阈值的取值范围是[25,33]，所述第二阈值的取值范围是[5,10]。
在一些实施例中，所述第一阈值为30，所述第二阈值为7。
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
本申请实施例提供一种渲染装置，图22为本申请实施例渲染装置的结构示意图，如图22所示，该装置22包括剪切视图恢复模块221、虚拟视点绘制模块222和目标视图生成模块223；其中，
剪切视图恢复模块221，用于对输入视点的深度图的图集进行剪切视图恢复，得到所述输入视点的重构深度图；
虚拟视点绘制模块222，用于对所述输入视点的重构深度图执行本申请实施例所述的虚拟视点绘制方法中的步骤，得到所述目标视点的目标纹理图；
目标视图生成模块223，用于根据所述目标视点的目标纹理图，生成所述目标视点的目标视图。
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
本申请实施例提供一种解码装置，图23为本申请实施例解码装置的结构示意图，如图23所示，该装置23包括解码模块231、剪切视图恢复模块232、虚拟视点绘制模块233和目标视图生成模块234；其中，
解码模块231，用于对输入的码流进行解码，得到输入视点的深度图的图集；
剪切视图恢复模块232，用于对所述输入视点的深度图的图集进行剪切视图恢复，得到所述输入视点的重构深度图；
虚拟视点绘制模块233，用于对所述输入视点的重构深度图执行本申请实施例所述的虚拟视点绘制方法中的步骤，得到所述目标视点的目标纹理图；
目标视图生成模块234，用于根据所述目标视点的目标纹理图，生成所述目标视点的目标视图。
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的虚拟视点绘制方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
对应地，本申请实施例提供一种电子设备，图24为本申请实施例的电子设备的硬件实体示意图，如图24所示，所述电子设备240包括存储器241和处理器242，所述存储器241存储有可在处理器242上运行的计算机程序，所述处理器242执行所述程序时实现上述实施例中提供的方法中的步骤。
需要说明的是，存储器241配置为存储由处理器242可执行的指令和应用，还可以缓存待处理器242以及电子设备240中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通 信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random Access Memory，RAM)实现。
对应地，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中提供的虚拟视点绘制方法中的步骤。
本申请实施例提供一种解码器，用于实现本申请实施例所述的解码方法。
本申请实施例提供一种渲染设备，用于实现本申请实施例所述的渲染方法。
本申请实施例提供一种视点加权合成器，用于实现本申请实施例所述的方法。
这里需要指出的是：以上电子设备、存储介质、解码器、渲染设备和视点加权合成器实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请电子设备、存储介质、解码器、渲染设备和视点加权合成器实施例中未披露的技术细节，可以参照本申请方法实施例的描述而理解。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”或“一些实施例”或“另一些实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”或“在一些实施例中”或“在另一些实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个模块或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或模块的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的模块可以是、或也可以不是物理上分开的，作为模块显示的部件可以是、或也可以不是物理模块；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部模块来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能模块可以全部集成在一个处理单元中，也可以是各模块分别单独作为一个单元，也可以两个或两个以上模块集成在一个单元中；上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (24)

  1. 一种虚拟视点绘制方法，所述方法包括：
    根据输入视点的重构深度图，生成目标视点的初始可见图；
    对所述初始可见图进行质量提升处理，得到所述目标视点的目标可见图；
    对所述目标视点的目标可见图进行着色，得到所述目标视点的目标纹理图。
  2. 根据权利要求1所述的方法，其中，所述对所述初始可见图进行质量提升处理，得到所述目标视点的目标可见图，包括：
    对所述初始可见图进行去噪和/或边缘增强处理，得到所述目标视点的目标可见图。
  3. 根据权利要求2所述的方法，其中，所述对所述初始可见图进行去噪和/或边缘增强处理，得到所述目标视点的目标可见图，包括：
    获得所述目标视点的初始纹理图；
    对所述目标视点的初始纹理图进行分割，得到分割区域；
    对所述分割区域在所述初始可见图上的对应区域进行去噪和/或边缘增强处理，得到所述目标视点的目标可见图。
  4. 根据权利要求3所述的方法，其中，所述对所述目标视点的初始纹理图进行分割，得到分割区域，包括：
    利用SLIC超像素分割算法，对所述目标视点的初始纹理图进行超像素分割，所述分割区域为超像素。
  5. 根据权利要求3所述的方法，其中，所述对所述分割区域在所述初始可见图上的对应区域进行去噪和/或边缘增强处理，得到所述目标视点的目标可见图，包括：
    将所述初始纹理图的分割区域作为所述初始可见图的分割区域，对所述初始可见图的分割区域的像素进行分类，以确定出所述初始可见图的分割区域中待更新的目标像素；
    对所述初始可见图中的所述目标像素的像素值进行更新，得到所述目标可见图。
  6. 根据权利要求5所述的方法，其中，所述对所述初始可见图的分割区域的像素进行分类，以确定出所述初始可见图的分割区域中待更新的目标像素，包括：
    对所述初始可见图的分割区域的像素的像素值进行聚类，至少得到：第一类像素的像素数量和所述第一类像素的聚类中心的像素值，以及第二类像素的像素数量和所述第二类像素的聚类中心的像素值；
    至少根据所述第一类像素的像素数量与所述第二类像素的像素数量的关系、以及所述第一类像素的聚类中心的像素值与所述第二类像素的聚类中心的像素值的关系中之一，确定对应分割区域中待更新的目标像素。
  7. 根据权利要求6所述的方法，其中，所述对所述初始可见图的分割区域的像素的像素值进行聚类，至少得到：第一类像素的像素数量和所述第一类像素的聚类中心的像素值，以及第二类像素的像素数量和所述第二类像素的聚类中心的像素值，包括：
    将所述初始可见图中的像素的像素值映射到特定区间内，得到第一可见图；
    将所述初始纹理图的分割区域作为所述第一可见图的分割区域，对所述第一可见图的分割区域的像素进行聚类，至少得到：所述第一类像素的像素数量和所述第一类像素的聚类中心的像素值，以及所述第二类像素的像素数量和所述第二类像素的聚类中心的像素值；
    相应地，所述至少根据所述第一类像素的像素数量与所述第二类像素的像素数量的关系、以及所述第一类像素的聚类中心的像素值与所述第二类像素的聚类中心的像素值的关系中之一，确定对应分割区域中待更新的目标像素，包括：
    至少根据所述第一类像素的像素数量与所述第二类像素的像素数量的关系、以及所述第一类像素的聚类中心的像素值与所述第二类像素的聚类中心的像素值的关系中之一，确定所述第一可见图的分割区域中待更新的目标像素；
    相应地，所述对所述初始可见图中的所述目标像素的像素值进行更新，得到所述目标可见图，包括：
    对所述第一可见图中的待更新的目标像素的像素值进行更新，得到第二可见图；
    根据所述初始可见图与所述第一可见图之间的映射关系，将所述第二可见图中的像素的像素值 进行反向映射，得到所述目标可见图。
  8. 根据权利要求7所述的方法，其中，所述对所述第一可见图的分割区域的像素进行聚类，还确定出所述分割区域的非目标像素；相应地，
    所述对所述第一可见图中的待更新的目标像素的像素值进行更新，得到第二可见图，包括：
    根据所述第一可见图的分割区域的非目标像素的像素值，确定所述分割区域的像素替换值；
    将所述第一可见图的分割区域的目标像素的像素值，更新为对应分割区域的像素替换值，从而得到第二可见图。
  9. 根据权利要求8所述的方法，其中，所述根据所述第一可见图的分割区域的非目标像素的像素值，确定所述分割区域的像素替换值，包括：
    将所述第一可见图的分割区域中非目标像素的聚类中心的像素值，确定为所述分割区域的像素替换值。
  10. 根据权利要求7至9任一项所述的方法，其中，所述至少根据所述第一类像素的像素数量与所述第二类像素的像素数量的关系、以及所述第一类像素的聚类中心的像素值与所述第二类像素的聚类中心的像素值的关系之一，确定所述第一可见图的分割区域中待更新的目标像素，包括：
    在所述第一类像素的聚类中心的像素值减去所述第二类像素的聚类中心的像素值的第一运算结果大于或等于第一阈值，且所述第一类像素的像素数量除以所述第二类像素的像素数量的第二运算结果大于或等于第二阈值的情况下，确定所述第二类像素为对应分割区域的待更新的目标像素；
    在所述第二类像素的聚类中心的像素值减去所述第一类像素的聚类中心的像素值的第三运算结果大于或等于所述第一阈值，且所述第二类像素的像素数量除以所述第一类像素的像素数量的第四运算结果大于或等于所述第二阈值的情况下，确定所述第一类像素为对应分割区域的待更新的目标像素。
  11. 根据权利要求10所述的方法，其中，所述对所述第一可见图的分割区域的像素进行聚类，还确定出所述分割区域的非目标像素，包括：
    在所述第一运算结果小于所述第一阈值或所述第二运算结果小于所述第二阈值、且所述第三运算结果小于所述第一阈值或所述第四运算结果小于所述第二阈值的情况下，确定所述第一类像素和所述第二类像素均为对应分割区域的非目标像素。
  12. 根据权利要求10或11所述的方法，其中，所述第一阈值的取值范围是[25,33]，所述第二阈值的取值范围是[5,10]。
  13. 根据权利要求12所述的方法，其中，所述第一阈值为30，所述第二阈值为7。
  14. 根据权利要求3所述的方法，其中，所述获得所述目标视点的初始纹理图，包括：
    对解码码流得到的输入视点的纹理图的图集进行剪切视图恢复，得到所述输入视点的重构纹理图；
    根据所述输入视点的重构纹理图，对所述目标视点的初始可见图进行着色，得到所述目标视点的初始纹理图。
  15. 一种渲染方法，所述方法包括：
    对输入视点的深度图的图集进行剪切视图恢复，得到所述输入视点的重构深度图；
    对所述输入视点的重构深度图执行如权利要求1至14任一项所述方法中的步骤，得到所述目标视点的目标纹理图；
    根据所述目标视点的目标纹理图，生成所述目标视点的目标视图。
  16. 一种解码方法，所述方法包括：
    对输入的码流进行解码，得到输入视点的深度图的图集；
    对所述输入视点的深度图的图集进行剪切视图恢复，得到所述输入视点的重构深度图；
    对所述输入视点的重构深度图执行如权利要求1至14任一项所述方法中的步骤，得到所述目标视点的目标纹理图；
    根据所述目标视点的目标纹理图，生成所述目标视点的目标视图。
  17. 一种虚拟视点绘制装置，包括：
    可见图生成模块，用于根据所述输入视点的重构深度图，生成目标视点的初始可见图；
    可见图优化模块，用于对所述初始可见图进行质量提升处理，得到所述目标视点的目标可见图；
    着色模块，用于对所述目标视点的目标可见图进行着色，得到所述目标视点的目标纹理图。
  18. 一种渲染装置，包括：
    剪切视图恢复模块，用于对输入视点的深度图的图集进行剪切视图恢复，得到所述输入视点的 重构深度图；
    虚拟视点绘制模块，用于对所述输入视点的重构深度图执行如权利要求1至14任一项所述方法中的步骤，得到所述目标视点的目标纹理图；
    目标视图生成模块，用于根据所述目标视点的目标纹理图，生成所述目标视点的目标视图。
  19. 一种解码装置，包括：
    解码模块，用于对输入的码流进行解码，得到输入视点的深度图的图集；
    剪切视图恢复模块，用于对所述输入视点的深度图的图集进行剪切视图恢复，得到所述输入视点的重构深度图；
    虚拟视点绘制模块，用于对所述输入视点的重构深度图执行如权利要求1至14任一项所述方法中的步骤，得到所述目标视点的目标纹理图；
    目标视图生成模块，用于根据所述目标视点的目标纹理图，生成所述目标视点的目标视图。
  20. 一种视点加权合成器VWS，用于实现权利要求1至14任一项所述的方法。
  21. 一种渲染设备，用于实现权利要求15所述的方法。
  22. 一种解码器，用于实现权利要求16所述的方法。
  23. 一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至16任一项所述的方法。
  24. 一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现权利要求1至16任一项所述的方法。
CN202080107720.1A 2020-12-11 2020-12-11 虚拟视点绘制、渲染、解码方法及装置、设备、存储介质 Pending CN116601958A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/135779 WO2022120809A1 (zh) 2020-12-11 2020-12-11 虚拟视点绘制、渲染、解码方法及装置、设备、存储介质

Publications (1)

Publication Number Publication Date
CN116601958A true CN116601958A (zh) 2023-08-15

Family

ID=81974162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080107720.1A Pending CN116601958A (zh) 2020-12-11 2020-12-11 虚拟视点绘制、渲染、解码方法及装置、设备、存储介质

Country Status (3)

Country Link
US (1) US20230316464A1 (zh)
CN (1) CN116601958A (zh)
WO (1) WO2022120809A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310046B (zh) * 2023-05-16 2023-08-22 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9191646B2 (en) * 2011-08-29 2015-11-17 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
CN103942756B (zh) * 2014-03-13 2017-03-29 华中科技大学 一种深度图后处理滤波的方法
CN106162198B (zh) * 2016-08-31 2019-02-15 重庆邮电大学 基于不规则匀质块分割的三维视频深度图编码及解码方法
CN106341676B (zh) * 2016-09-29 2017-06-16 济南大学 基于超像素的深度图像预处理和深度空洞填充方法
CN107071383A (zh) * 2017-02-28 2017-08-18 北京大学深圳研究生院 基于图像局部分割的虚拟视点合成方法

Also Published As

Publication number Publication date
US20230316464A1 (en) 2023-10-05
WO2022120809A1 (zh) 2022-06-16

Similar Documents

Publication Publication Date Title
US10977809B2 (en) Detecting motion dragging artifacts for dynamic adjustment of frame rate conversion settings
JP2020010331A (ja) 画質を向上させる方法
US10354394B2 (en) Dynamic adjustment of frame rate conversion settings
CN114930397A (zh) 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
US20220383552A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN109660821B (zh) 视频处理方法、装置、电子设备及存储介质
CN114450940B (zh) 一种对沉浸式视频进行编解码的方法以及编码器、解码器
US11190803B2 (en) Point cloud coding using homography transform
CN112954393A (zh) 一种基于视频编码的目标跟踪方法、系统、存储介质及终端
CN113068034B (zh) 视频编码方法及装置、编码器、设备、存储介质
JP7383128B2 (ja) 画像処理装置
US20230290006A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
Hu et al. An adaptive two-layer light field compression scheme using GNN-based reconstruction
US20230316464A1 (en) Virtual view drawing method and apparatus, rendering method and apparatus, and decoding method and apparatus, and devices and storage medium
US20230343017A1 (en) Virtual viewport generation method and apparatus, rendering and decoding methods and apparatuses, device and storage medium
Smirnov et al. Methods for depth-map filtering in view-plus-depth 3D video representation
US11989919B2 (en) Method and apparatus for encoding and decoding volumetric video data
CN113853796A (zh) 用于体积视频编码和解码的方法、装置和计算机程序产品
JPH0984002A (ja) ディジタル画像の処理方法及びシステム
WO2021193649A1 (ja) 画像処理装置およびサーバ
US9787980B2 (en) Auxiliary information map upsampling
US20240185467A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN115311394A (zh) 一种驱动数字人面部动画方法、系统、设备及介质
JP2017092801A (ja) 符号化方法、符号化装置及び符号化プログラム
US20240087185A1 (en) Virtual view drawing method, rendering method, and decoding method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination