CN116711301A - 虚拟视点生成、渲染、解码方法及装置、设备、存储介质 - Google Patents

虚拟视点生成、渲染、解码方法及装置、设备、存储介质 Download PDF

Info

Publication number
CN116711301A
CN116711301A CN202080108187.0A CN202080108187A CN116711301A CN 116711301 A CN116711301 A CN 116711301A CN 202080108187 A CN202080108187 A CN 202080108187A CN 116711301 A CN116711301 A CN 116711301A
Authority
CN
China
Prior art keywords
target
pixels
viewpoint
map
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080108187.0A
Other languages
English (en)
Inventor
杨铀
苏永全
刘琼
吴科君
张芮晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN116711301A publication Critical patent/CN116711301A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Image Generation (AREA)

Abstract

一种虚拟视点生成、渲染、解码方法及装置、设备、存储介质；其中，所述虚拟视点生成方法包括：根据输入视点的深度图，生成目标视点的初始可见图；对所述初始可见图进行分割，得到分割区域；根据所述初始可见图的分割区域中的两类像素的数量关系，识别对应分割区域中目标像素；对所述初始可见图的分割区域的目标像素的像素值进行更新，得到所述目标视点的第一可见图；对所述目标视点的第一可见图进行处理，得到所述目标视点的目标纹理图。

Description

虚拟视点生成、渲染、解码方法及装置、设备、存储介质 技术领域
本申请实施例涉及计算机视觉技术，涉及但不限于虚拟视点生成、渲染、解码方法及装置、设备、存储介质。
背景技术
大多数用户喜欢观看沉浸式视频内容(诸如虚拟现实内容、三维内容、180度内容或360度内容)，该沉浸式视频内容能够为观看者提供沉浸式体验。此外，这些用户可能喜欢观看沉浸式格式的计算机生成的内容，诸如游戏视频或动画。
然而，在编码端，由于深度图(Depth Map)的部分像素的深度值存在一定的错误，且采用较大的量化参数对深度图进行压缩编码，所以导致压缩失真非常严重；这样，在解码端，解码恢复的深度图的质量会大幅下降，从而导致生成的目标视点(Target Viewport)的深度图中出现明显噪点。
发明内容
有鉴于此，本申请实施例提供的虚拟视点生成、渲染、解码方法及装置、设备、存储介质，能够削减目标视点的目标纹理图中的大块噪点区域，使得目标纹理图的噪点明显减少；本申请实施例提供的虚拟视点生成、渲染、解码方法及装置、设备、存储介质，是这样实现的：
本申请实施例提供的一种虚拟视点生成方法，包括：根据输入视点(Source Views)的深度图，生成目标视点的初始可见图(Visibility Map)；对所述初始可见图进行分割，得到分割区域；根据所述初始可见图的分割区域中的两类像素的数量关系，识别对应分割区域中目标像素；对所述初始可见图的分割区域的目标像素的像素值进行更新，得到所述目标视点的第一可见图；对所述目标视点的第一可见图进行处理，得到所述目标视点的目标纹理图。
本申请实施例提供的一种渲染(Rendering)方法，所述方法包括：对输入视点的深度图的图集进行剪切视图恢复(Pruned View Reconstruction)，得到所述输入视点的深度图；对所述输入视点的深度图执行本申请实施例所述的虚拟视点生成方法中的步骤，得到所述目标视点的目标纹理图；根据所述目标视点的目标纹理图，生成所述目标视点的目标视图(Viewport)。
本申请实施例提供的一种解码方法，所述方法包括：对输入的码流进行解码，得到输入视点的深度图的图集(atlas)；对所述输入视点的深度图的图集进行剪切视图恢复，得到所述输入视点的深度图；对所述输入视点的深度图执行本申请实施例所述的虚拟视点生成方法中的步骤，得到所述目标视点的目标纹理图；根据所述目标视点的目标纹理图，生成所述目标视点的目标视图。
本申请实施例提供的一种虚拟视点生成装置，包括：可见图生成模块，用于根据所述输入视点的深度图，生成目标视点的初始可见图；区域分割模块，用于对所述初始可见图进行分割，得到分割区域；识别模块，用于根据所述初始可见图的分割区域中的两类像素的数量关系，识别对应分割区域中目标像素；更新模块，用于对所述初始可见图的分割区域的目标像素的像素值进行更新，得到所述目标视点的第一可见图；目标纹理图获得模块，对所述目标视点的第一可见图进行处理，得到所述目标视点的目标纹理图。
本申请实施例提供的一种渲染装置，包括：剪切视图恢复模块，用于对输入视点的深度图的图集进行剪切视图恢复，得到所述输入视点的深度图；虚拟视点生成模块，用于对所述输入视点的深度图执行本申请实施例所述的虚拟视点生成方法中的步骤，得到所述目标视点的目标纹理图；目标视图生成模块，用于根据所述目标视点的目标纹理图，生成所述目标视点的目标视图。
本申请实施例提供的一种解码装置，包括：解码模块，用于对输入的码流进行解码，得到输入视点的深度图的图集；剪切视图恢复模块，用于对所述输入视点的深度图的图集进行剪切视图恢复，得到所述输入视点的深度图；虚拟视点生成模块，用于对所述输入视点的深度图执行本申请实施例所述的虚拟视点生成方法中的步骤，得到所述目标视点的目标纹理图；目标视图生成模块，用于根据所述目标视点的目标纹理图，生成所述目标视点的目标视图。
本申请实施例提供的一种视点加权合成器(View Weighting Synthesizer，VWS)，用于实现本申请实施例所述的虚拟视点生成方法。本申请实施例提供的一种渲染设备，用于实现本申请实施例所述的渲染方法。本申请实施例提供的一种解码器，用于实现本申请实施例所述的解码方法。本申请实施例提供的一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请实施例所述的任一方法。本申请实施例提供的一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例所述的任一方法。
在本申请实施例中，直接对初始可见图(本质上相当于深度图)进行分割，这样深度图的分割 区域的多少就不会受限于纹理图的分割结果，也就是说，深度图的分割区域的大小可以任意设置，而不受限于纹理图的较小分割区域；如此，根据得到的分割区域中的两类像素的数量关系，能够准确地识别出初始可见图中的较大噪点区域，从而使得最终得到的目标纹理图中的小噪点区域和大噪点区域均明显减少。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1为本申请实施例可能适用的一种系统架构示意图；
图2为VWS的结构示意图；
图3为未被剪切的像素的权值的计算流程示意图；
图4为采用深度估计得到的深度图和VWS生成的深度图的对比示意图；
图5为VWS生成的深度图和纹理图的边缘的对比示意图；
图6为本申请实施例虚拟视点生成方法的实现流程示意图；
图7为本申请实施例虚拟视点生成方法的实现流程示意图；
图8为本申请实施例虚拟视点生成方法的实现流程示意图；
图9为本申请实施例虚拟视点生成方法的实现流程示意图；
图10为在纹理图上采用超像素分割对视点生成中的深度图进行优化的流程示意图；
图11为引入在纹理图上采用超像素分割对视点生成中的深度图进行优化的系统架构示意图；
图12为优化前的深度图与优化后的深度图的对比示意图；
图13为本申请实施例在深度图上用超像素分割对视点生成中的深度图进行优化的流程示意图；
图14为本申请实施例可能适用的一种系统架构示意图；
图15为本申请实施例虚拟视点生成装置的结构示意图；
图16为击剑(Fencing)场景的测试序列的深度图下的效果对比图；
图17为击剑(Fencing)场景的测试序列的纹理图下的效果对比图；
图18为青蛙(Frog)场景的测试序列的深度图下的效果对比图；
图19为青蛙(Frog)场景的测试序列的纹理图下的效果对比图；
图20为本申请实施例虚拟视点生成装置的结构示意图；
图21为本申请实施例渲染装置的结构示意图；
图22为本申请实施例解码装置的结构示意图；
图23为本申请实施例的电子设备的硬件实体示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更清楚，下面将结合本申请实施例中的附图，对本申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
需要指出，本申请实施例所涉及的术语“第一\第二\第三”是为了区别类似或不同的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
本申请实施例描述的系统架构以及业务场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定。本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
图1示出了本申请实施例可能适用的一种系统架构，即动态图像专家组(Moving Picture Experts Group，MPEG)在3自由度+(3degrees of freedom+，3DoF+)沉浸式视频测试模型(Test Model of Immersive Video，TMIV)的解码端的系统架构10，如图1所示，该系统架构10包括：解码存取单元(Decoded access unit)11和渲染单元(Rendering unit)12；其中，解码存取单元11中包含解码后得到的各类元数据和图集(atlas)信息。之后这些信息将会被传输到渲染单元12中进行虚拟视点生成。标注有可选(opt.)字样的子单元表示可选子单元，由于这些子单元在本申请实施例的技术方案中暂不涉及，因此在此不做描述。渲染单元12的图块剔除(Patch culling)子单元121根据用户目标视点参数(viewport parameters)对图集信息中的图块(patches)进行筛选，剔除与用户目标视 图没有重叠的图块，从而降低虚拟视点生成时的计算量。渲染单元12的占用图恢复(Occupancy reconstruction)子单元122根据解码存取单元11传输来的信息找出各个图块(patch)在视图中的位置，然后将筛选出来的图块(patches)贴入相应的位置完成剪切视图恢复(Pruned view reconstruction)。视图生成(View synthesis)子单元123利用上述重构的剪切视图进行虚拟视点生成，也就是目标视点的绘制。由于生成的虚拟视点存在一定的空洞区域，所以需要填充(Inpainting)子单元124对空洞进行填充。最后，视图空间处理(Viewing space handling)子单元125可使视图平滑淡出为黑色。
视点加权合成器VWS，是MPEG在3DoF+TMIV中用到的虚拟视点生成工具。VWS用在解码端的渲染器中，具体应用在剪切视图恢复(Pruned view reconstruction)子单元126之后的视点合成(view synthesis)环节。
如图2所示，相关技术中，VWS主要包括三个模块：权值计算模块201、可见图生成模块202和着色模块203。可见图生成模块202旨在生成目标视点下的可见图，着色模块203旨在对生成的目标视点下的可见图进行着色(Shading)，得到目标视点下的纹理图。由于可见图生成模块202和着色模块203依赖于输入视点相对于目标视点的权值，所以权值计算模块201旨在根据输入视点和目标视点的关系进行输入视点的权值计算。
1)关于权值计算模块201的相关内容，说明如下：
权值计算模块201根据输入视点的元数据信息和目标视点的元数据信息计算输入视点的权值。输入视点的权值是该视点与目标视点之间距离的函数。在可见图计算和着色的过程中，相关像素对结果的贡献是其对应视点贡献的加权。在处理剪切视图时，由于其内容不完整，所以对剪切视图的权值的计算需要考虑被剪切的图像区域。权值计算是像素级的操作，对未被剪切的像素计算相应的权值。像素的权值在视点生成时进行更新。如图3所示，未被剪切的像素的权值按照下面的步骤计算得出：对于一个与剪切图中节点N关联的视图中未被剪切的像素p，其初始权值w P＝w N。需要说明的是，初始权值是该像素p所属视点的权值，该值取决于像素p所属视点与目标视点之间的距离；接着采用下面a至c所述的过程对像素p的权值进行更新：a.如果将像素p向子节点视图中进行重投影且p点重投影后对应到子节点视图中的剪切像素，那么像素p的权值就在原来的基础上加上该子节点视图的权值w o，即w p＝w p+w o；需要说明的是，子节点视图的权值仅仅取决于它所在视点和目标视点的距离。然后继续对其孙节点执行上述操作。b.如果像素p重投影后没有对应到其子节点视图上，那么对其孙节点递归执行上述操作。c.如果像素p重投影后对应其子节点视图中未剪切的像素，则像素p的权值不变，且不再对其孙节点执行上述操作。
2)关于可见图计算模块202的相关内容，说明如下：
计算可见图旨在根据重新恢复的输入视点的深度图(即重构深度图)获得目标视点下的可见图。整个过程分为三个步骤：扭曲(Warping)、筛选(Selection)和滤波(Filtering)。扭曲步骤中将输入视点的深度图中的像素向目标视点上进行重投影，生成扭曲后的深度图。对输入视点执行这样的操作，得到若干幅目标视点下的扭曲深度图。筛选步骤对生成的若干幅扭曲深度图进行合并，生成一幅比较完整的目标视点下的深度图，即可见图。筛选步骤根据每个输入视点的权值，采用基于像素级的多数投票原则进行。其中，多数投票原则是指投影到同一个像素位置的深度值可能会有多个，该像素深度值选择为投影最多的那个。最后，对生成的可见图执行滤波步骤，使用中值滤波器加以滤波，去除孤立噪点。
3)关于着色模块203的相关内容，说明如下：
这个步骤旨在生成目标视点下的纹理图。目标视点下的纹理图的生成需要使用滤波后的可见图和重新恢复的输入视点的纹理图。在这个过程中，需要考虑输入视点中的像素在可见图中的连续性和所属视点的权值。为了提高生成的纹理内容的视觉质量，对生成的纹理图使用双线性滤波进行处理。此外，为了避免混叠(aliasing)现象，对于检测到的来自输入视点纹理图中物体边缘的像素点，需要剔除。
受限于深度采集技术尚不成熟，且设备价格昂贵，相关方案更多的是采用先纹理采集后深度估计的方法得到深度图。然而，采用深度估计方法计算出的深度值会存在一定的错误，从而导致估计出的深度图中存在噪点。而采用这样的深度图进行虚拟视点生成势必会导致生成的目标视点的深度图中也存在一定的噪点。举例来说，如图4所示，左图401为采用深度估计得到的深度图，右图402为采用左图401进行虚拟视点生成得到的深度图，即VWS生成的深度图。从图中可以看出，右图402中的噪点较多。
在编码端对深度图压缩之前，通常需要对该深度图进行下采样以降低分辨率。通常可以使用视频编码标准对深度图进行压缩。经过压缩编码后，深度图会产生一定的压缩失真。尤其当采用较大 量化参数(Quantization Parameter，QP)对深度图进行压缩时，压缩失真会更严重。这样，在解码端，解码恢复的深度图质量会大幅下降，从而导致生成的目标视点的深度图中出现明显噪点，以及深度图边缘与实际纹理边缘不完全吻合。反映到纹理图上的一种表现是前景和背景的交界处存在过渡带，前景边缘不够陡峭，且存在明显噪点。
举例来说，如图5所示，左图501是采用量化参数QP＝7对深度图进行压缩后的效果，右图502是采用量化参数QP＝42对深度图进行压缩后的效果。从图中可以看出，右图502的白矩形框内的图像5021的噪点较多，反映到纹理图上，即图像区域5022中前景与背景的交界处存在较大的过渡带。
由于深度图的压缩失真会导致VWS生成的深度图和纹理图的质量下降。因此，想要生成高质量的深度图和纹理图，需要采用尽可能小的QP对深度图进行压缩。这也就限制了深度图的压缩程度，从而导致了深度图编码开销的增加，降低了编码效率，客观上降低了对“多视点视频和多视点深度”的整体压缩编码效率。
有鉴于此，本申请实施例提供一种虚拟视点生成方法，所述方法可以应用于任何具有数据处理能力的电子设备，所述电子设备可以是电视机、投影仪、手机、个人计算机、平板电脑、虚拟现实(Virtual Reality，VR)头戴设备等任何具有视频编解码功能或者仅有解码功能的设备。所述虚拟视点生成方法所实现的功能可以通过所述电子设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中。可见，所述电子设备至少包括处理器和存储介质。
图6为本申请实施例虚拟视点生成方法的实现流程示意图，如图6所示，所述方法可以包括以下步骤601至步骤605：
步骤601，根据输入视点的深度图，生成目标视点的初始可见图。
可以理解地，在1个以上的输入视点的深度图的情况下，电子设备可以基于这些输入视点的深度图，生成目标视点的初始可见图。在一些实施例中，电子设备可以通过图2所示的可见图生成模块202得到初始可见图。需要说明的是，可见图和深度图的含义相同，均表示场景距离相机位置的远近关系。而可见图与深度图不同的是，可见图中距离相机位置越近，像素值越小。
步骤602，对所述初始可见图进行分割，得到分割区域。
在本申请实施例中，对于分割算法不做限定，分割算法可以是任何能够将初始可见图分割为多个分割区域的算法。例如，分割算法为超像素分割算法。而超像素分割算法也可以是多种多样的，在本申请实施例中对此不做限制。例如，超像素分割算法可以是简单的线性迭代聚类(Simple Linear Iterative Cluster，SLIC)超像素分割算法、通过能量驱动采样的超像素提取(Superpixels Extracted via Energy-Driven Sampling，SEEDS)算法、轮廓松弛超像素(Contour-Relaxed Superpixels，CRS)算法、ETPS或熵率超像素分割(Entropy Rate Superpixels Segmentation，ERS)算法等。
由于相比其他的超像素分割算法，SLIC超像素分割算法在运行速度、生成超像素的紧凑度以及轮廓保持方面都比较理想。因此，在一些实施例中，电子设备采用SLIC超像素分割算法对初始可见图进行超像素分割，能够在不显著增加处理时间的情况下，对目标纹理图的质量都实现一定程度的提升，从而使最终得到的目标纹理图和相应得到的目标视图的客观质量和主观效果均得到明显提升。
步骤603，根据所述初始可见图的分割区域中的两类像素的数量关系，识别对应分割区域中目标像素。
电子设备利用分类算法将分割区域中的像素分为两类，一类是目标像素，另一类是无需更新的非目标像素。对于采用何种分类算法，在本申请中不做限定。分类算法可以是多种多样的。例如分类算法为K均值聚类、决策树、贝叶斯、人工神经网络、支持向量机或基于关联规则的分类等算法。
在一些实施例中，电子设备可以这样实现步骤603：对所述初始可见图的分割区域的像素的像素值进行聚类，至少得到：第一类像素的像素数量和第二类像素的像素数量，以及，所述第一类像素的聚类中心的像素值和所述第二类像素的聚类中心的像素值；根据所述第一类像素的像素数量与所述第二类像素的像素数量的关系、以及所述第一类像素的聚类中心的像素值与所述第二类像素的聚类中心的像素值的关系中之一，确定对应分割区域中目标像素。
可以理解地，每一分割区域均有对应的聚类结果。聚类算法可以是多种多样的，在本申请实施例中对此不做限定。例如，K均值聚类算法。
在一些实施例中，电子设备可以基于聚类结果这样确定分割区域中的目标像素：在所述第一类像素的聚类中心的像素值减去所述第二类像素的聚类中心的像素值的第一运算结果大于或等于第一阈值，且所述第一类像素的像素数量除以所述第二类像素的像素数量的第二运算结果大于或等于第二阈值的情况下，确定所述第二类像素为对应分割区域的目标像素；相应地，在该情况下，第一类像素则为非目标像素。
在所述第二类像素的聚类中心的像素值减去所述第一类像素的聚类中心的像素值的第三运算结果大于或等于所述第一阈值，且所述第二类像素的像素数量除以所述第一类像素的像素数量的第四运算结果大于或等于所述第二阈值的情况下，确定所述第一类像素为对应分割区域的目标像素。相应地，在该情况下，第二类像素则为非目标像素。
在所述第一运算结果小于所述第一阈值或所述第二运算结果小于所述第二阈值、且所述第三运算结果小于所述第一阈值或所述第四运算结果小于所述第二阈值的情况下，确定所述第一类像素和所述第二类像素均为对应分割区域的非目标像素。
简单来说，第一类像素的聚类中心的像素值用cen 1表示，第二类像素的聚类中心的像素值用cen 2表示，第一类像素的像素数量用num 1表示，第二类像素的像素数量用num 2表示，那么可以这样确定目标像素和非目标像素：a)如果cen 1-cen 2≥第一阈值，且num 1/num 2≥第二阈值，那么第一类像素为非目标像素，第二类像素为目标像素；b)如果cen 2-cen 1≥第一阈值，且num 2/num 1≥第二阈值，那么第一类像素为目标像素，第二类像素为非目标像素；c)除上述a)和b)这两种情况，其它情况下第一类像素和第二类像素均为非目标像素，对其对应的分割区域中的像素值不做处理。
步骤604，对所述初始可见图的分割区域的目标像素的像素值进行更新，得到所述目标视点的第一可见图。
更新目标像素的像素值的方式可以是多种多样的。例如，电子设备可以对初始可见图中的目标像素的像素值进行滤波，以实现对该像素值的更新。再如，电子设备还可以对初始可见图中的目标像素的像素值进行替换，以实现对该像素值的更新。其中，每一分割区域对应一像素替换值，该像素替换值可以为对应分割区域中的非目标像素的像素值的均值。在使用聚类算法的情况下，每一分割区域均对应一个非目标像素类的聚类中心，因此可以将该中心的像素值作为像素替换值。
步骤605，对所述目标视点的第一可见图进行处理，得到所述目标视点的目标纹理图。
电子设备对第一可见图进行处理的方式可以是多种多样的。例如，在一些实施例中，电子设备可以直接对第一可见图进行着色，从而得到所述目标视点的目标纹理图。又如，在一些实施例中，电子设备还可以通过如下实施例的步骤805至步骤808，或者通过步骤905至步骤909，实现对第一可见图的处理。
可以理解地，过渡带区域主要分布在图像的前景和背景的交界处，噪点区域主要零散地分布在背景上。然而，大多数分割算法是根据图像的纹理内容来进行区域的分割的，尤其是超像素分割算法，如果对纹理图进行分割，一般会沿着前景和背景的交界处来分割。但是因为背景区域的噪点不会像过渡带区域那样沿着前景和背景的交界处存在，而是零星地分布在背景区域上，所以在实施区域分割时(尤其是超像素分割时)不会照顾到噪点区域，也就是说，噪点区域的大小不会影响到分割区域的大小和形状。一般的超像素分割，分割的区域大小都是比较均匀的，尤其是SLIC算法，得到的每一分割区域大小均匀，所有分割区域中的像素数目基本相同或相近。由于分割是沿着前景和背景的交界处来分割的，而过渡带区域始终是沿着交界处存在的，这样在进行区域分割时，如果分割区域是一大区域，那么从过渡带区域抠下来的像素数就多，如果分割区域是一小区域，那么从过渡带区域抠下来的像素数就少。也就是说，分割区域中的过渡带区域的像素数的多少是随着分割区域的大小的变化而变化的。但是，分割区域中的噪点区域的像素数的多少却几乎是不变的，分割区域中的噪点区域的像素数不会随着分割区域的大小的变化而变化。这是因为：
噪点区域通常是零星地分布在图像的背景区域上的，而背景区域大多数都是比较平滑的，背景区域的细节信息较少，这样分割时分割区域的大小也是比较均匀的，噪点区域的大小不会影响到分割结果，分割区域的形状和大小几乎不会受到噪点区域的影响。那么如果将基于纹理图的分割结果直接应用到深度图上，即将纹理图的分割区域作为深度图的对应分割区域，基于此识别分割区域中的噪点(即目标像素)，会出现较大噪点区域难以被识别的问题。这是因为：
由于纹理图的细节信息较丰富使得得到的分割区域较小，即纹理图的分割结果通常是一个比较密集的分割网，如果将该分割网直接平铺在深度图上，虽然大多数的噪点在分割区域中的占据比例是非常小的，但是仍然不乏有较大的噪点区域，而这类噪点区域可能会占据分割区域的大部分面积，甚至占满一个分割区域，这样，在基于分割区域的两类像素的数量关系识别噪点像素(即目标像素)时，就会导致这些分割区域中的噪点像素难以被识别的问题。而初始可见图本质上也是深度图，而深度图相比于纹理图来讲，呈现的图像细节更少，因此，将纹理图的分割结果应用在深度图上，对于深度图中的较大噪点区域的识别是不利的。而基于纹理图的分割结果对深度图进行去噪和边缘增强处理的方法中，在实际应用时，考虑到纹理图的细节较多，复杂度较高，若想达到较好的分割效果，使得最终得到的目标纹理图的边缘锐化更好，那么分割区域的数量就不可以设置的太小，这样 便会导致对噪点区域的识别能力下降，较大的噪点区域不能很好地被识别出来，从而影响该技术的优化效果。有鉴于此：在本申请实施例中，直接对初始可见图(本质上相当于深度图)进行分割，这样深度图的分割区域的多少就不会受限于纹理图的分割结果，也就是说，深度图的分割区域的大小可以任意设置，而不受限于纹理图的较小分割区域；如此，根据得到的分割区域中的两类像素的数量关系，能够准确地识别出初始可见图中的较大噪点区域，从而使得最终得到的目标纹理图中的小噪点区域和大噪点区域均明显减少。可以理解地，在解码端如果能够确保目标纹理图的图像质量，那么就为编码端可以使用较大的量化参数对深度图进行压缩编码提供了有利的条件，而使用较大的量化参数，能够降低深度图的编码开销，进而提高整体的编码效率。
本申请实施例再提供一种虚拟视点生成方法，图7为本申请实施例虚拟视点生成方法的实现流程示意图，如图7所示，所述方法可以包括以下步骤701至步骤708：
步骤701，根据输入视点的深度图，生成目标视点的初始可见图。
在一些实施例中，电子设备可以对输入的码流进行解码，得到输入视点的深度图的图集；然后，对所述输入视点的深度图的图集进行剪切视图恢复，得到所述输入视点的深度图。
在本申请实施例中，生成初始可见图所依据的输入视点的数目不做限定。电子设备可以根据一个或多个输入视点的深度图，生成目标视点的初始可见图。
步骤702，对所述初始可见图进行分割，得到分割区域；
步骤703，将所述初始可见图中的像素的像素值映射到特定区间内，得到标准可见图。
对于特定区间不做限制。例如，特定区间可以为[0,255]。当然，在实际应用中，工程人员还可以根据实际需要配置其他特定区间。
步骤704，将所述初始可见图的分割区域作为所述标准可见图的分割区域，对所述标准可见图的分割区域的像素进行聚类，至少得到：所述第一类像素的像素数量和所述第二类像素的像素数量，以及，所述第一类像素的聚类中心的像素值和所述第二类像素的聚类中心的像素值。
可以理解地，通过步骤702即可将初始可见图分为若干个分割区域。电子设备可以对初始可见图上的部分分割区域或全部分割区域中的像素分别进行分类。例如，在一些实施例中，电子设备可以利用分类算法(例如K均值聚类算法)将初始可见图中的每一分割区域中的像素划分为两类：属于背景区域的非目标像素和属于噪点区域和过渡带区域的目标像素。
步骤705，根据所述第一类像素的像素数量与所述第二类像素的像素数量的关系、以及所述第一类像素的聚类中心的像素值与所述第二类像素的聚类中心的像素值的关系中之一，确定所述标准可见图的分割区域中目标像素。
在一些实施例中，电子设备可以这样实现步骤705：在所述第一类像素的聚类中心的像素值减去所述第二类像素的聚类中心的像素值的第一运算结果大于或等于第一阈值，且所述第一类像素的像素数量除以所述第二类像素的像素数量的第二运算结果大于或等于第二阈值的情况下，确定所述第二类像素为对应分割区域的目标像素；在所述第二类像素的聚类中心的像素值减去所述第一类像素的聚类中心的像素值的第三运算结果大于或等于所述第一阈值，且所述第二类像素的像素数量除以所述第一类像素的像素数量的第四运算结果大于或等于所述第二阈值的情况下，确定所述第一类像素为对应分割区域的目标像素。在所述第一运算结果小于所述第一阈值或所述第二运算结果小于所述第二阈值、且所述第三运算结果小于所述第一阈值或所述第四运算结果小于所述第二阈值的情况下，确定所述第一类像素和所述第二类像素均为对应分割区域的非目标像素。在一些实施例中，所述第一阈值的取值范围是[25,33]，所述第二阈值的取值范围是[5,10]。例如，第一阈值为30，第二阈值为6。
步骤706，对所述标准可见图的分割区域的目标像素的像素值进行更新，得到更新后的标准可见图。
在一些实施例中，对标准可见图的分割区域的像素进行聚类，还确定出所述分割区域的非目标像素；相应地，电子设备可以这样实现步骤706：根据所述标准可见图的分割区域的非目标像素的像素值，确定所述分割区域的像素替换值；将所述标准可见图的分割区域的目标像素的像素值，更新为对应分割区域的像素替换值，从而得到更新后的标准可见图。
在一些实施例中，电子设备可以将所述标准可见图的分割区域的非目标像素的聚类中心的像素值，确定为对应分割区域的像素替换值。
在另一些实施例中，电子设备还可以将标准可见图的分割区域的非目标像素的像素均值，确定为对应分割区域的像素替换值。
在相关技术方案中，往往采用滤波的方法来实现对可见图中的噪点和过渡带区域的质量提升处 理，如此希望把这种影响给分散掉。然而，这样就会改变噪点和过渡带区域周围的像素(也就是非目标像素)的正确像素值，使得最终得到的目标视图的客观质量和主观效果稍差。
在本申请实施例中，则是将这些噪点和过渡带区域(也就是目标像素)的像素值用一近似正确的值(即像素替换值)替换，如此使得这些目标像素周围的非目标像素的像素值不会被改变，相比于滤波方法，该方法能够使替换像素值后的目标像素与周围区域融合的更自然，从而使得最终得到的目标视图的客观质量和主观效果更好。
步骤707，根据所述初始可见图与所述标准可见图之间的映射关系，将所述更新后的标准可见图中的像素的像素值进行反向映射，得到所述第一可见图。
可以理解地，通过步骤703至步骤707实现对初始可见图的质量提升处理，即在确定初始可见图的目标像素之前，先将该图像的像素的像素值映射到特定区间，再对映射结果(即标准可见图)中的像素的像素值进行分类，将分类确定出的目标像素的像素值更新；最后，再将更新后的标准可见图反向映射为第一可见图；如此，能够使得所述虚拟视点生成方法具有一定的泛化能力，从而适应各种不同的场景图像的处理，对各种场景下的图像均能有效减少其中的大噪点区域和小噪点区域。
步骤708，对所述目标视点的第一可见图进行处理，得到所述目标视点的目标纹理图。
本申请实施例再提供一种虚拟视点生成方法，图8为本申请实施例虚拟视点生成方法的实现流程示意图，如图8所示，所述方法可以包括以下步骤801至步骤808：
步骤801，根据输入视点的深度图，生成目标视点的初始可见图；
步骤802，对所述初始可见图进行分割，得到分割区域。
在一些实施例中，电子设备可以根据预设的分割区域的第一数量，对所述初始可见图进行分割，得到分割区域。在本申请实施例中，对于第一数量不做限定，第一数量可以是任意值。例如，第一数量为1000，也就是将初始可见图分割为1000个分割区域。
步骤803，根据所述初始可见图的分割区域中的两类像素的数量关系，识别对应分割区域中目标像素；
步骤804，对所述初始可见图的分割区域的目标像素的像素值进行更新，得到所述目标视点的第一可见图；
步骤805，对所述目标视点的第一可见图进行着色，得到所述目标视点的第一纹理图；
步骤806，对所述第一纹理图进行分割，得到分割区域；
在一些实施例中，电子设备可以根据预设的分割区域的第二数量，对所述第一纹理图进行分割，得到分割区域。
在本申请实施例中，对于第二数量也不做限定，第二数量可以是任意值。例如，第二数量为3000，也就是将第一纹理图分割为3000个分割区域。
在一些实施例中，第二数量大于第一数量。如此，基于第一数量，对初始可见图进行分割，能够提高识别分割区域中的噪点像素(即目标像素)的能力；基于第二数量，对第一纹理图进行分割，能够提高识别分割区域中的过渡带像素(即目标像素)的能力。
步骤807，对所述第一纹理图的分割区域在所述第一可见图上的对应区域进行质量提升处理，得到所述目标视点的第二可见图。
可以理解地，通过步骤802至步骤804，对初始可见图进行质量提升处理，能够有效地去除初始可见图中的大噪点区域和小噪点区域。在此基础上，基于第一纹理图的分割结果，对得到的第一可见图进行质量提升，如此能够进一步减少初始可见图中的过渡带区域，使得最终得到的目标纹理图的大噪点区域明显减少的同时，边缘也更加锐化。而在解码端如果能够确保目标纹理图的图像质量，那么就为编码端可以使用较大的量化参数对深度图进行压缩编码提供了有利的条件，而使用较大的量化参数，能够降低深度图的编码开销，进而提高整体的编码效率。
可以理解地，质量提升处理的主要目的是削减第一可见图中的过渡带区域，当然如果第一可见图中存在噪点，在此过程中噪点也会被消除。在一些实施例中，电子设备可以对所述第一可见图进行去噪和边缘增强处理，以实现第一可见图的质量提升，从而得到所述目标视点的第二可见图。
可以理解地，所谓过渡带区域，是指图像中前景与背景的交界处存在的过渡带区域，该区域的存在，导致对图像的后续分析和理解易产生偏差，即最终得到的目标视图中的交界处过渡不自然。
电子设备对第一可见图进行边缘增强处理的方式可以是多种多样的。比如，电子设备对第一可见图进行滤波处理；再如，电子设备对第一可见图中存在的噪点和过渡带区域处的像素值做替换处理。也就是，电子设备对所述第一纹理图的分割区域在所述第一可见图上的对应区域中的像素进行分类，然后根据分类结果中两类像素的像素数量的关系，确定该对应区域中目标像素，最后，将这 些目标像素的像素值用像素替换值替换掉。
在一些实施例中，前述实施例中提及的初始可见图的分割区域的目标像素的确定方法也适用于第一可见图的分割区域的目标像素的确定；以及，初始可见图的目标像素的更新方法也适用于第一可见图的目标像素的更新。为了避免重复描述，在此不再赘述。
步骤808，对所述目标视点的第二可见图进行处理，得到所述目标视点的目标纹理图。
电子设备对第二可见图进行处理的方式可以是多种多样的。例如，在一些实施例中，电子设备直接对第二可见图进行着色，从而得到所述目标视点的目标纹理图。又如，在另一些实施例中，电子设备可以通过如下实施例的步骤905至步骤909实现步骤808，只不过在执行步骤905至步骤909时，迭代处理的对象是第二可见图。
本申请实施例再提供一种虚拟视点生成方法，图9为本申请实施例虚拟视点生成方法的实现流程示意图，如图9所示，所述方法可以包括以下步骤901至步骤909：
步骤901，根据输入视点的深度图，生成目标视点的初始可见图；
步骤902，对所述初始可见图进行分割，得到分割区域；
在一些实施例中，可以根据预设的分割区域的第一数量，对所述初始可见图进行分割，得到分割区域。
步骤903，根据所述初始可见图的分割区域中的两类像素的数量关系，识别对应分割区域中的目标像素；
步骤904，对所述初始可见图的分割区域的目标像素的像素值进行更新，得到所述目标视点的第一可见图；
步骤905，确定所述第一可见图是否满足条件；如果是，执行步骤906；否则，执行步骤907。
可以理解地，在所述第一可见图不满足所述条件的情况下，重复对所述第一可见图进行迭代优化处理，直至处理后的第一可见图满足所述条件，对满足所述条件的第一可见图进行着色，得到所述目标视点的目标纹理图；如此，能够进一步提升第一可见图的质量，从而提升目标纹理图的质量。其中，所述迭代优化处理包括以下步骤907至步骤909。
所述条件可以是多种多样的。例如，该条件为N次比较结果均在预设范围内，其中每次比较结果是指当前得到的第一可见图与前一次得到的可见图(可以是前一次得到的第一可见图，也可以是初始可见图)之间的差异(例如像素值差)，N为大于0的整数。又如，该条件为迭代次数达到预设次数。再如，该条件为所述第一可见图中的噪点区域和/或过渡带区域的面积小于预设阈值。在一些实施例中，可以识别第一可见图中的目标像素，根据目标像素的数目，确定该可见图中的噪点区域和过渡带区域的面积。可以理解地，如果当前得到的第一可见图满足所述条件，说明循环迭代趋于收敛，为了节约计算资源等，此时执行步骤906。
步骤906，对所述第一可见图进行着色，得到所述目标视点的目标纹理图。
该步骤可以通过图2所示的着色模块203实现。根据输入视点的纹理图，对所述目标视点的目标可见图进行着色，得到所述目标视点的目标纹理图。
步骤907，对所述第一可见图进行着色，得到所述目标视点的第一纹理图；
该步骤可以通过图2所示的着色模块203实现。根据输入视点的纹理图，对所述目标视点的目标可见图进行着色，得到所述目标视点的目标纹理图。
步骤908，对所述第一纹理图进行分割，得到分割区域；
在一些实施例中，可以根据预设的分割区域的第二数量，对所述第一纹理图进行分割，得到分割区域；其中，所述第一数量小于所述第二数量。
步骤909，对所述第一纹理图的分割区域在所述第一可见图上的对应区域进行质量提升处理，得到处理后的第一可见图，然后返回执行步骤905。
可以理解地，可见图和纹理图中的相同位置表达的场景内容基本上是一致的。因此，这里电子设备可以直接将纹理图的分割结果直接搬移至可见图上，将纹理图的分割区域作为可见图的分割区域。而对纹理图进行分割，相比于对可见图进行分割，前者能够对边缘处(也就是交界处)产生较好的划分，这样利用纹理图的更为准确的分割结果能够更好地指导电子设备对可见图的质量提升处理，会非常利于对边缘处进行一些锐化，如此使质量提升和着色后得到的目标纹理图的边缘处的噪点和过渡区明显减少。
在本申请实施例中，在通过901至步骤904得到第一可见图之后，不是直接将第一可见图的着色结果(即第一纹理图)作为最终的目标视点的目标纹理图，而是对第一可见图进行了循环迭代式的优化；如此，能够使得最终优化的可见图的边缘更加锐化，从而使得基于此生成的目标视点的目 标纹理图的质量更好。
可以理解地，在解码端如果能够确保目标纹理图的图像质量，那么就为编码端可以使用较大的量化参数对深度图进行压缩编码提供了有利的条件，而使用较大的量化参数，能够降低深度图的编码开销，进而提高整体的编码效率。
本申请实施例提供一种渲染方法，该数据方法不仅可以应用于电子设备，还可以应用于渲染设备，所述方法可以包括：对输入视点的深度图的图集进行剪切视图恢复，得到所述输入视点的深度图；对所述输入视点的深度图执行本申请实施例所述的虚拟视点生成方法中的步骤，得到所述目标视点的目标纹理图；根据所述目标视点的目标纹理图，生成所述目标视点的目标视图。
以渲染方法实施例的描述，与上述其他方法实施例的描述是类似的，具有同上述其他方法实施例相似的有益效果。对于渲染方法实施例中未披露的技术细节，请参照上述其他方法实施例的描述而理解。
本申请实施例提供一种解码方法，所述方法包括：对输入的码流进行解码，得到输入视点的深度图的图集；对所述输入视点的深度图的图集进行剪切视图恢复，得到所述输入视点的深度图；对所述输入视点的深度图执行本申请实施例所述的虚拟视点生成方法中的步骤，得到所述目标视点的目标纹理图；根据所述目标视点的目标纹理图，生成所述目标视点的目标视图。
以上对解码方法实施例的描述，与上述其他方法实施例的描述是类似的，具有同上述其他方法实施例相似的有益效果。对于所述解码方法实施例中未披露的技术细节，请参照上述其他方法实施例的描述而理解。
在相关技术中，主要在纹理图上采用超像素分割对视点生成中的深度图(也就是目标视点的初始可见图)进行优化，从而得到目标纹理图。由于不准确的深度估计和压缩失真等因素，生成的目标视点下的深度图会存在一些噪点区域和过渡带区域。在目标视点的初始纹理图上采用超像素分割对视点生成中的深度图进行优化的技术流程图如图10所示。该技术首先对目标视点的初始纹理图进行超像素分割，然后将从初始纹理图上得到的超像素分割结果应用到目标视点的深度图上，得到深度图上的若干个超像素。对每个超像素通过聚类的方式提取出其中的噪点区域和过渡带区域，然后采用合适的值对这些区域进行替换。如此之后，最终得到的深度图中的噪点区域和过渡带区域将会大大减少。
在纹理图上用超像素分割对视点生成中的深度图进行优化的技术在MPEG 3DoF+TMIV6中的VWS的基础上实现。在VWS中，深度图以可见图的形式存在。可见图和深度图的含义相同，均表示场景距离相机位置的远近关系。与深度图不同的是，可见图中距离相机位置越近，像素值越小。在纹理图上用超像素分割对视点生成中的深度图进行优化的技术在VWS上实现后引入了三个新的模块：超像素分割(Superpixel Segmentation)、k均值聚类(K-means Clustering)和替换(Replacement)，如图11所示。超像素分割模块采用超像素分割算法对VWS生成的纹理图进行分割，并将分割得到的结果应用到生成的可见图上，得到可见图上的若干个超像素。k均值聚类模块利用k均值聚类算法对得到的可见图上的每个超像素分别进行聚类，如此可以将需要处理的噪点区域以及过渡带区域与不需处理的区域分开，最后由替换模块对这些需要处理的区域的像素值进行替换。
每个超像素中过渡带区域的大小可以在一定程度上自适应超像素数(numSuperpixel)的大小，因此可以保证每个超像素中过渡带区域的占比不会过大，也就是说可以满足过渡带区域的阈值判断条件，能被识别出来。但是噪点区域一般零散地分布在图像中，每个超像素中噪点区域的大小一般不会随着numSuperpixel的变化而变化。当采用的numSuperpixel较大时，每个超像素中像素的数量就会较少。超像素中噪点区域的占比就会过大，这样不利于噪点区域的识别。
在纹理图上采用超像素分割对视点生成中深度图进行优化的技术在实际的应用中，考虑到纹理图的细节较多，复杂度较高，若想达到较好的分割效果，那么numSuperpixel就不可以设置的太小，这样便会导致对噪点区域的识别能力下降，较大的噪点区域不能很好地被识别出来，从而影响该技术的优化效果。如图12所示，深度图121为优化前的图像，即VWS生成的目标视点的初始可见图，深度图122在纹理图上采用超像素分割对视点生成中的深度图121进行优化后的深度图，其中，numSuperpixel为3000，可以看出，深度图122相比于深度图121，去除了一部分较小的噪点区域，但是对于一些较大的噪点区域(例如图中圆圈1221、1222和1223内)的处理效果较差，这些区域内的噪点区域依然存在。基于此，下面将说明本申请实施例在一个实际的应用场景中的示例性应用。
在本申请实施例中，提供一种在深度图上采用超像素分割对视点生成中的深度图进行优化的技术。如图13所示，对输入的深度图直接做超像素分割得到深度图上的若干个超像素；对每个超像素采用聚类的方法将其中的噪点区域分离出来；最后对分离出来的噪点区域进行像素值的替换。
本申请实施例提出的虚拟视点生成方法(即对深度图进行优化的方法)在VWS的基础上实现，可去除VWS可见图生成模块中得到的目标视点下的可见图上的较大噪点区域，进而提高生成的目标视点下的纹理图的质量。本技术方案分为三个模块：超像素分割(Superpixel Segmentation)、k均值聚类(K-means Clustering)和替换(Replacement)。引入本技术方案后的系统架构如图14所示。
首先，从VWS的可见图生成步骤得到目标视点下的可见图D(即所述目标视点的初始可见图)。由于对于不同场景内容的测试序列，可见图中像素值取值范围有差别。在一些实施例中，将可见图D中的像素值采用线性映射变换到0-255区间内，得到可见图D2(即所述标准可见图)。对可见图D2采用超像素分割算法进行分割，得到在可见图D2上划分出来的若干超像素Si。对每个超像素Si使用k均值聚类算法将其中的像素划分为两个类：C1和C2。记C1和C2的聚类中心分别为cen1和cen2，包含的像素数量分别为num1和num2。比较聚类中心cen1和cen2的像素值的大小，以及C1的像素数量num1和C2的像素数量num2，采用下面的过程对可见图D2进行处理：a)如果cen1-cen2>threshold1(即所述第一阈值)，且num1/num2>threshold2(即所述第二阈值)，那么认为C1为背景区域，C2为噪点区域(即目标像素)，则对C1中所有像素不进行处理，保持原值不变，对C2中所有像素的值采用cen1的像素值替换；b)如果cen2-cen1>threshold1，且num2/num1>threshold2，那么认为C2为背景区域，C1为噪点区域，则对C2中所有像素不进行处理，保持原值不变，对C1中所有像素的值采用cen2的像素值替换；c)除上述两种情况，其它情况下对C1和C2中所有像素均不处理，保持原值不变。
经过以上处理，得到优化后的可见图D3(即更新后的标准可见图)。对可见图D3反向线性映射，缩放至原取值范围，得到可见图D4(即所述第一可见图)。使用可见图D4执行着色步骤，得到优化后的纹理图T(即所述目标纹理图)。
在一些实施例中，本申请实施例提供的上述在深度图上采用超像素分割对视点生成中的深度图进行优化的方法还可以与在纹理图上采用超像素分割对视点生成中的深度图优化的方法相结合，实现对VWS可见图生成模块中得到的目标视点下的可见图去除噪点和锐化边缘的双重效果。两个技术方案结合后的系统架构如图15所示，其中，154至156为在深度图上采用超像素分割的深度图优化方法，158至1510为在纹理图上采用超像素分割的深度图优化方法，对于剪切视图恢复模块151之前的其他模块在此未示出。如图15所示，通过剪切视图模块151得到输入视点的深度图，然后通过视图生成模块152对输入视点的深度图进行处理，得到目标视点的初始可见图，再通过超像素分割模块152对初始可见图进行超像素分割，得到初始可见图的若干超像素；通过k均值聚类模块154对初始可见图的超像素中的像素进行聚类，从而识别出每一超像素的目标像素(可能是噪点区域的像素，也可能是过渡带区域的像素)，然后通过替换模块155将初始可见图中的每一超像素中的目标像素的像素值通过像素替换值替换掉，从而得到第一可见图；再通过着色模块156对第一可见图进行着色，得到第一纹理图；再通过超像素分割模块157对第一纹理图进行分割，将分割结果搬移至第一可见图上，通过k均值聚类模块158对第一可见图上的超像素中的像素进行聚类，从而识别出第一可见图上的每一超像素的目标像素；然后通过替换模块159将初始可见图中的每一超像素中的目标像素的像素值通过像素替换值替换掉，从而得到第二可见图，最后通过着色模块1510对第二可见图进行着色，得到目标纹理图。
本申请实施例提供的技术方案在TMIV6上实现，并在通用测试条件(Common Test Condition)中自然场景内容测试序列进行了测试。针对这些测试序列设置的实验参数为：超像素分割算法为SLIC算法，numSuperpixel为1000，threshold1为30，threshold2为6。实验结果显示，在VWS中引入申请实施例的技术方案后，生成的目标视点深度图中的噪点区域得到了大幅削减。与在纹理图上采用超像素分割对视点生成中深度图优化技术相比，本申请实施例的技术方案对较大噪点区域的处理效果依然很好。在不显著增加渲染时间的情况下，本申请实施例的技术方案对目标视点的深度图和纹理图的质量都实现了一定程度的改进。
例如，图16为击剑(Fencing)场景的测试序列的深度图下的效果对比图，如图16所示，其中，深度图161为VWS生成的初始可见图，该图未经过优化，深度图162为在深度图161的纹理图上采用超像素分割以对深度图161进行优化(以下简称方案1)的结果示意图，深度图163为在深度图161上采用超像素分割以对深度图161进行优化(以下简称方案2)的结果示意图，可以看出，相比于深度图161和162，深度图163中的大块噪点区域明显减少。
又如，图17为击剑(Fencing)场景的测试序列的纹理图下的效果对比图，如图17所示，其中，纹理图171为VWS生成的初始纹理图，该图未经过优化，纹理图172为采用方案1得到的结果示意图，纹理图173为采用方案2得到的结果示意图，可以看出，相比于纹理图171和172，得到的 纹理图173中的大块噪点区域明显减少。
再如，图18为青蛙(Frog)场景的测试序列的深度图下的效果对比图，如图18所示，其中，深度图181为VWS生成的初始可见图，该图未经过优化，深度图182为采用方案1得到的结果示意图，深度图183为采用方案2得到的结果示意图，可以看出，相比于深度图181和182，得到的深度图183中的大块噪点区域明显减少。
又如，图19为青蛙(Frog)场景的测试序列的纹理图下的效果对比图，如图19所示，其中，纹理图191为VWS生成的初始纹理图，该图未经过优化，纹理图192为采用方案1得到的结果示意图，纹理图193为采用方案2得到的结果示意图，可以看出，相比于纹理图191和192，得到的纹理图193中的大块噪点区域明显减少。
在本申请实施例中，通过在深度图上直接采用超像素分割算法和k均值聚类算法分离出深度图上的噪点区域，有效避免了因在纹理图上进行超像素分割时设置的超像素数量较大导致的噪点区域未被识别出来的情况，从而提升了视点生成中深度图的质量和纹理图的主观效果。
基于前述的实施例，本申请实施例提供的虚拟视点生成装置，图20为本申请实施例虚拟视点生成装置的结构示意图，如图20所示，该装置20包括：可见图生成模块201，用于根据所述输入视点的深度图，生成目标视点的初始可见图；区域分割模块202，用于对所述初始可见图进行分割，得到分割区域；识别模块203，用于根据所述初始可见图的分割区域中的两类像素的数量关系，识别对应分割区域中目标像素；更新模块204，用于对所述初始可见图的分割区域的目标像素的像素值进行更新，得到所述目标视点的第一可见图；目标纹理图获得模块205，对所述目标视点的第一可见图进行处理，得到所述目标视点的目标纹理图。
在一些实施例中，目标纹理图获得模块205包括着色单元，着色单元用于：对所述目标视点的第一可见图进行着色，得到所述目标视点的目标纹理图。
在一些实施例中，目标纹理图获得模块205，用于：对所述目标视点的第一可见图进行着色，得到所述目标视点的第一纹理图；区域分割模块202，还用于：对所述第一纹理图进行分割，得到分割区域；目标纹理图获得模块205，用于：对所述第一纹理图的分割区域在所述第一可见图上的对应区域进行质量提升处理，得到所述目标视点的第二可见图；对所述目标视点的第二可见图进行处理，得到所述目标视点的目标纹理图。
在一些实施例中，目标纹理图获得模块205，用于：对所述目标视点的第二可见图进行着色，得到所述目标视点的目标纹理图。
在一些实施例中，目标纹理图获得模块205，用于：在所述第一可见图满足条件的情况下，对所述第一可见图进行着色，得到所述目标视点的目标纹理图；在所述第一可见图不满足所述条件的情况下，重复对所述第一可见图进行迭代优化处理，直至处理后的第一可见图满足所述条件，对满足所述条件的第一可见图进行着色，得到所述目标视点的目标纹理图；其中，所述迭代优化处理，包括：对所述第一可见图进行着色，得到所述目标视点的第一纹理图；对所述第一纹理图进行分割，得到分割区域；对所述第一纹理图的分割区域在所述第一可见图上的对应区域进行质量提升处理，得到处理后的第一可见图。
在一些实施例中，所述条件为以下之一：所述第一可见图中的噪点区域和/或过渡带区域的面积小于预设阈值、迭代次数达到预设次数、N次比较结果均在预设范围内；其中，所述比较结果是指当前得到的第一可见图与前一次得到的可见图之间的差异，N为大于0的整数。
在一些实施例中，区域分割模块202，用于：根据预设的分割区域的第一数量，对所述初始可见图进行分割，得到分割区域；根据预设的分割区域的第二数量，对所述第一纹理图进行分割，得到分割区域；其中，所述第一数量小于所述第二数量。
在一些实施例中，识别模块203，用于：对所述初始可见图的分割区域的像素的像素值进行聚类，至少得到：第一类像素的像素数量和第二类像素的像素数量，以及，所述第一类像素的聚类中心的像素值和所述第二类像素的聚类中心的像素值；根据所述第一类像素的像素数量与所述第二类像素的像素数量的关系、以及所述第一类像素的聚类中心的像素值与所述第二类像素的聚类中心的像素值的关系中之一，确定对应分割区域中目标像素。
在一些实施例中，识别模块203，用于：将所述初始可见图中的像素的像素值映射到特定区间内，得到标准可见图；将所述初始可见图的分割区域作为所述标准可见图的分割区域，对所述标准可见图的分割区域的像素进行聚类，至少得到：所述第一类像素的像素数量和所述第二类像素的像素数量，以及，所述第一类像素的聚类中心的像素值和所述第二类像素的聚类中心的像素值；根据所述第一类像素的像素数量与所述第二类像素的像素数量的关系、以及所述第一类像素的聚类中心 的像素值与所述第二类像素的聚类中心的像素值的关系中之一，确定所述标准可见图的分割区域中目标像素；相应地，更新模块204，用于：对所述标准可见图的分割区域的目标像素的像素值进行更新，得到更新后的标准可见图；根据所述初始可见图与所述标准可见图之间的映射关系，将所述更新后的标准可见图中的像素的像素值进行反向映射，得到所述第一可见图。
在一些实施例中，识别模块203在对所述标准可见图的分割区域的像素进行聚类时，还确定出所述分割区域的非目标像素；相应地，更新模块204，用于：根据所述标准可见图的分割区域的非目标像素的像素值，确定所述分割区域的像素替换值；将所述标准可见图的分割区域的目标像素的像素值，更新为对应分割区域的像素替换值，从而得到更新后的标准可见图。
在一些实施例中，更新模块204，用于：将所述标准可见图的分割区域的非目标像素的聚类中心的像素值，确定为对应分割区域的像素替换值。
在一些实施例中，识别模块203，用于：在所述第一类像素的聚类中心的像素值减去所述第二类像素的聚类中心的像素值的第一运算结果大于或等于第一阈值，且所述第一类像素的像素数量除以所述第二类像素的像素数量的第二运算结果大于或等于第二阈值的情况下，确定所述第二类像素为对应分割区域的目标像素；在所述第二类像素的聚类中心的像素值减去所述第一类像素的聚类中心的像素值的第三运算结果大于或等于所述第一阈值，且所述第二类像素的像素数量除以所述第一类像素的像素数量的第四运算结果大于或等于所述第二阈值的情况下，确定所述第一类像素为对应分割区域的目标像素。
在一些实施例中，识别模块203，还用于：在所述第一运算结果小于所述第一阈值或所述第二运算结果小于所述第二阈值、且所述第三运算结果小于所述第一阈值或所述第四运算结果小于所述第二阈值的情况下，确定所述第一类像素和所述第二类像素均为对应分割区域的非目标像素。
在一些实施例中，所述第一阈值的取值范围是[25,33]，所述第二阈值的取值范围是[5,10]。
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
本申请实施例提供一种渲染装置，图21为本申请实施例渲染装置的结构示意图，如图21所示，该装置21包括剪切视图恢复模块211、虚拟视点生成模块212和目标视图生成模块213；其中，剪切视图恢复模块211，用于对输入视点的深度图的图集进行剪切视图恢复，得到所述输入视点的深度图；虚拟视点生成模块212，用于对所述输入视点的深度图执行本申请实施例所述的虚拟视点生成方法中的步骤，得到所述目标视点的目标纹理图；目标视图生成模块213，用于根据所述目标视点的目标纹理图，生成所述目标视点的目标视图。
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
本申请实施例提供一种解码装置，图22为本申请实施例解码装置的结构示意图，如图22所示，该装置22包括解码模块221、剪切视图恢复模块222、虚拟视点生成模块223和目标视图生成模块224；其中，解码模块221，用于对输入的码流进行解码，得到输入视点的深度图的图集；剪切视图恢复模块222，用于对所述输入视点的深度图的图集进行剪切视图恢复，得到所述输入视点的深度图；虚拟视点生成模块223，用于对所述输入视点的深度图执行本申请实施例所述的虚拟视点生成方法中的步骤，得到所述目标视点的目标纹理图；目标视图生成模块224，用于根据所述目标视点的目标纹理图，生成所述目标视点的目标视图。
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的虚拟视点生成方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
对应地，本申请实施例提供一种电子设备，图23为本申请实施例的电子设备的硬件实体示意图，如图24所示，所述电子设备230包括存储器231和处理器232，所述存储器231存储有可在处理器232上运行的计算机程序，所述处理器232执行所述程序时实现上述实施例中提供的方法中的步骤。
需要说明的是，存储器231配置为存储由处理器232可执行的指令和应用，还可以缓存待处理 器232以及电子设备230中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random Access Memory，RAM)实现。
对应地，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中提供的虚拟视点生成方法中的步骤。本申请实施例提供一种解码器，用于实现本申请实施例所述的解码方法。本申请实施例提供一种渲染设备，用于实现本申请实施例所述的渲染方法。本申请实施例提供一种视点加权合成器，用于实现本申请实施例所述的方法。
这里需要指出的是：以上电子设备、存储介质、解码器、渲染设备和视点加权合成器实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请电子设备、存储介质、解码器、渲染设备和视点加权合成器实施例中未披露的技术细节，可以参照本申请方法实施例的描述而理解。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”或“一些实施例”或“另一些实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”或“在一些实施例中”或“在另一些实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个模块或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或模块的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的模块可以是、或也可以不是物理上分开的，作为模块显示的部件可以是、或也可以不是物理模块；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部模块来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能模块可以全部集成在一个处理单元中，也可以是各模块分别单独作为一个单元，也可以两个或两个以上模块集成在一个单元中；上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (24)

  1. 一种虚拟视点生成方法，所述方法包括：
    根据输入视点的深度图，生成目标视点的初始可见图；
    对所述初始可见图进行分割，得到分割区域；
    根据所述初始可见图的分割区域中的两类像素的数量关系，识别对应分割区域中的目标像素；
    对所述初始可见图的分割区域的目标像素的像素值进行更新，得到所述目标视点的第一可见图；
    对所述目标视点的第一可见图进行处理，得到所述目标视点的目标纹理图。
  2. 根据权利要求1所述的方法，其中，所述对所述目标视点的第一可见图进行处理，得到所述目标视点的目标纹理图，包括：
    对所述目标视点的第一可见图进行着色，得到所述目标视点的目标纹理图。
  3. 根据权利要求1所述的方法，其中，所述对所述目标视点的第一可见图进行处理，得到所述目标视点的目标纹理图，包括：
    对所述目标视点的第一可见图进行着色，得到所述目标视点的第一纹理图；
    对所述第一纹理图进行分割，得到分割区域；
    对所述第一纹理图的分割区域在所述第一可见图上的对应区域进行质量提升处理，得到所述目标视点的第二可见图；
    对所述目标视点的第二可见图进行处理，得到所述目标视点的目标纹理图。
  4. 根据权利要求3所述的方法，其中，所述对所述目标视点的第二可见图进行处理，得到所述目标视点的目标纹理图，包括：
    对所述目标视点的第二可见图进行着色，得到所述目标视点的目标纹理图。
  5. 根据权利要求1所述的方法，其中，所述对所述目标视点的第一可见图进行处理，得到所述目标视点的目标纹理图，包括：
    在所述第一可见图满足条件的情况下，对所述第一可见图进行着色，得到所述目标视点的目标纹理图；
    在所述第一可见图不满足所述条件的情况下，重复对所述第一可见图进行迭代优化处理，直至处理后的第一可见图满足所述条件，对满足所述条件的第一可见图进行着色，得到所述目标视点的目标纹理图；
    其中，所述迭代优化处理，包括：
    对所述第一可见图进行着色，得到所述目标视点的第一纹理图；
    对所述第一纹理图进行分割，得到分割区域；
    对所述第一纹理图的分割区域在所述第一可见图上的对应区域进行质量提升处理，得到处理后的第一可见图。
  6. 根据权利要求5所述的方法，其中，所述条件为以下之一：
    所述第一可见图中的噪点区域和/或过渡带区域的面积小于预设阈值、迭代次数达到预设次数、N次比较结果均在预设范围内；其中，所述比较结果是指当前得到的第一可见图与前一次得到的可见图之间的差异，N为大于0的整数。
  7. 根据权利要求3或5所述的方法，其中，所述对所述初始可见图进行分割，得到分割区域，包括：根据预设的分割区域的第一数量，对所述初始可见图进行分割，得到分割区域；
    所述对所述第一纹理图进行分割，得到分割区域，包括：根据预设的分割区域的第二数量，对所述第一纹理图进行分割，得到分割区域；
    其中，所述第一数量小于所述第二数量。
  8. 根据权利要求1所述的方法，其中，所述根据所述初始可见图的分割区域中的两类像素的数量关系，识别对应分割区域中目标像素，包括：
    对所述初始可见图的分割区域的像素的像素值进行聚类，至少得到：第一类像素的像素数量和第二类像素的像素数量，以及，所述第一类像素的聚类中心的像素值和所述第二类像素的聚类中心的像素值；
    根据所述第一类像素的像素数量与所述第二类像素的像素数量的关系、以及所述第一类像素的聚类中心的像素值与所述第二类像素的聚类中心的像素值的关系中之一，确定对应分割区域中目标 像素。
  9. 根据权利要求8所述的方法，其中，所述对所述初始可见图的分割区域的像素的像素值进行聚类，至少得到：第一类像素的像素数量和第二类像素的像素数量，以及，所述第一类像素的聚类中心的像素值和所述第二类像素的聚类中心的像素值，包括：
    将所述初始可见图中的像素的像素值映射到特定区间内，得到标准可见图；
    将所述初始可见图的分割区域作为所述标准可见图的分割区域，对所述标准可见图的分割区域的像素进行聚类，至少得到：所述第一类像素的像素数量和所述第二类像素的像素数量，以及，所述第一类像素的聚类中心的像素值和所述第二类像素的聚类中心的像素值；
    相应地，所述根据所述第一类像素的像素数量与所述第二类像素的像素数量的关系、以及所述第一类像素的聚类中心的像素值与所述第二类像素的聚类中心的像素值的关系中之一，确定对应分割区域中目标像素，包括：
    根据所述第一类像素的像素数量与所述第二类像素的像素数量的关系、以及所述第一类像素的聚类中心的像素值与所述第二类像素的聚类中心的像素值的关系中之一，确定所述标准可见图的分割区域中目标像素；
    相应地，所述对所述初始可见图的分割区域的目标像素的像素值进行更新，得到所述目标视点的第一可见图，包括：
    对所述标准可见图的分割区域的目标像素的像素值进行更新，得到更新后的标准可见图；
    根据所述初始可见图与所述标准可见图之间的映射关系，将所述更新后的标准可见图中的像素的像素值进行反向映射，得到所述第一可见图。
  10. 根据权利要求9所述的方法，其中，所述对所述标准可见图的分割区域的像素进行聚类，还确定出所述分割区域的非目标像素；相应地，
    所述对所述标准可见图的分割区域的目标像素的像素值进行更新，得到更新后的标准可见图，包括：
    根据所述标准可见图的分割区域的非目标像素的像素值，确定所述分割区域的像素替换值；
    将所述标准可见图的分割区域的目标像素的像素值，更新为对应分割区域的像素替换值，从而得到更新后的标准可见图。
  11. 根据权利要求10所述的方法，其中，所述根据所述标准可见图的分割区域的非目标像素的像素值，确定所述分割区域的像素替换值，包括：
    将所述标准可见图的分割区域的非目标像素的聚类中心的像素值，确定为对应分割区域的像素替换值。
  12. 根据权利要求9至11任一项所述的方法，其中，所述根据所述第一类像素的像素数量与所述第二类像素的像素数量的关系、以及所述第一类像素的聚类中心的像素值与所述第二类像素的聚类中心的像素值的关系中之一，确定所述标准可见图的分割区域中目标像素，包括：
    在所述第一类像素的聚类中心的像素值减去所述第二类像素的聚类中心的像素值的第一运算结果大于或等于第一阈值，且所述第一类像素的像素数量除以所述第二类像素的像素数量的第二运算结果大于或等于第二阈值的情况下，确定所述第二类像素为对应分割区域的目标像素；
    在所述第二类像素的聚类中心的像素值减去所述第一类像素的聚类中心的像素值的第三运算结果大于或等于所述第一阈值，且所述第二类像素的像素数量除以所述第一类像素的像素数量的第四运算结果大于或等于所述第二阈值的情况下，确定所述第一类像素为对应分割区域的目标像素。
  13. 根据权利要求12所述的方法，其中，所述对所述标准可见图的分割区域的像素进行聚类，还确定出所述分割区域的非目标像素，包括：
    在所述第一运算结果小于所述第一阈值或所述第二运算结果小于所述第二阈值、且所述第三运算结果小于所述第一阈值或所述第四运算结果小于所述第二阈值的情况下，确定所述第一类像素和所述第二类像素均为对应分割区域的非目标像素。
  14. 根据权利要求13所述的方法，其中，所述第一阈值的取值范围是[25,33]，所述第二阈值的取值范围是[5,10]。
  15. 一种渲染方法，所述方法包括：
    对输入视点的深度图的图集进行剪切视图恢复，得到所述输入视点的深度图；
    对所述输入视点的深度图执行如权利要求1至14任一项所述方法中的步骤，得到所述目标视点的目标纹理图；
    根据所述目标视点的目标纹理图，生成所述目标视点的目标视图。
  16. 一种解码方法，所述方法包括：
    对输入的码流进行解码，得到输入视点的深度图的图集；
    对所述输入视点的深度图的图集进行剪切视图恢复，得到所述输入视点的深度图；
    对所述输入视点的深度图执行如权利要求1至14任一项所述方法中的步骤，得到所述目标视点的目标纹理图；
    根据所述目标视点的目标纹理图，生成所述目标视点的目标视图。
  17. 一种虚拟视点生成装置，包括：
    可见图生成模块，用于根据所述输入视点的深度图，生成目标视点的初始可见图；
    区域分割模块，用于对所述初始可见图进行分割，得到分割区域；
    识别模块，用于根据所述初始可见图的分割区域中的两类像素的数量关系，识别对应分割区域中目标像素；
    更新模块，用于对所述初始可见图的分割区域的目标像素的像素值进行更新，得到所述目标视点的第一可见图；
    目标纹理图获得模块，对所述目标视点的第一可见图进行处理，得到所述目标视点的目标纹理图。
  18. 一种渲染装置，包括：
    剪切视图恢复模块，用于对输入视点的深度图的图集进行剪切视图恢复，得到所述输入视点的深度图；
    虚拟视点生成模块，用于对所述输入视点的深度图执行如权利要求1至14任一项所述方法中的步骤，得到所述目标视点的目标纹理图；
    目标视图生成模块，用于根据所述目标视点的目标纹理图，生成所述目标视点的目标视图。
  19. 一种解码装置，包括：
    解码模块，用于对输入的码流进行解码，得到输入视点的深度图的图集；
    剪切视图恢复模块，用于对所述输入视点的深度图的图集进行剪切视图恢复，得到所述输入视点的深度图；
    虚拟视点生成模块，用于对所述输入视点的深度图执行如权利要求1至14任一项所述方法中的步骤，得到所述目标视点的目标纹理图；
    目标视图生成模块，用于根据所述目标视点的目标纹理图，生成所述目标视点的目标视图。
  20. 一种视点加权合成器VWS，用于实现权利要求1至14任一项所述的方法。
  21. 一种渲染设备，用于实现权利要求15所述的方法。
  22. 一种解码器，用于实现权利要求16所述的方法。
  23. 一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至16任一项所述的方法。
  24. 一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现权利要求1至16任一项所述的方法。
CN202080108187.0A 2020-12-30 2020-12-30 虚拟视点生成、渲染、解码方法及装置、设备、存储介质 Pending CN116711301A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/141508 WO2022141222A1 (zh) 2020-12-30 2020-12-30 虚拟视点生成、渲染、解码方法及装置、设备、存储介质

Publications (1)

Publication Number Publication Date
CN116711301A true CN116711301A (zh) 2023-09-05

Family

ID=82259993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080108187.0A Pending CN116711301A (zh) 2020-12-30 2020-12-30 虚拟视点生成、渲染、解码方法及装置、设备、存储介质

Country Status (3)

Country Link
US (1) US20230343017A1 (zh)
CN (1) CN116711301A (zh)
WO (1) WO2022141222A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115690246B (zh) * 2022-10-20 2023-06-27 北京国电通网络技术有限公司 图像纹理信息生成方法、装置、设备、介质和程序产品

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609974B (zh) * 2012-03-14 2014-04-09 浙江理工大学 一种基于深度图分割渲染的虚拟视点图像的生成方法
CN106162198B (zh) * 2016-08-31 2019-02-15 重庆邮电大学 基于不规则匀质块分割的三维视频深度图编码及解码方法
CN106341676B (zh) * 2016-09-29 2017-06-16 济南大学 基于超像素的深度图像预处理和深度空洞填充方法
CN107071383A (zh) * 2017-02-28 2017-08-18 北京大学深圳研究生院 基于图像局部分割的虚拟视点合成方法
CN107507239B (zh) * 2017-08-23 2019-08-20 维沃移动通信有限公司 一种图像分割方法及移动终端

Also Published As

Publication number Publication date
WO2022141222A1 (zh) 2022-07-07
US20230343017A1 (en) 2023-10-26

Similar Documents

Publication Publication Date Title
US10977809B2 (en) Detecting motion dragging artifacts for dynamic adjustment of frame rate conversion settings
US11455712B2 (en) Method and apparatus for enhancing stereo vision
JP3679426B2 (ja) 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
EP2230855B1 (en) Synthesizing virtual images from texture and depth images
WO2018099136A1 (zh) 一种低照度图像降噪方法、装置及存储介质
CN111988611B (zh) 量化偏移信息的确定方法、图像编码方法、装置及电子设备
US7974470B2 (en) Method and apparatus for processing an image
US10354394B2 (en) Dynamic adjustment of frame rate conversion settings
US20210374925A1 (en) Image Enhancement System and Method
TW202037169A (zh) 基於視訊的點雲壓縮的區塊分段的方法及裝置
CN113068034B (zh) 视频编码方法及装置、编码器、设备、存储介质
Hu et al. An adaptive two-layer light field compression scheme using GNN-based reconstruction
US20230343017A1 (en) Virtual viewport generation method and apparatus, rendering and decoding methods and apparatuses, device and storage medium
Smirnov et al. Methods for depth-map filtering in view-plus-depth 3D video representation
US20230316464A1 (en) Virtual view drawing method and apparatus, rendering method and apparatus, and decoding method and apparatus, and devices and storage medium
WO2019215388A2 (en) Method and apparatus for encoding and decoding volumetric video data
Wang et al. Deep intensity guidance based compression artifacts reduction for depth map
CN110766117B (zh) 一种二维码的生成方法及系统
EP2745520B1 (en) Auxiliary information map upsampling
Adidela et al. Single Image And Video Dehazing: A Dark Channel Prior (DCP)-based Approach
US20240087185A1 (en) Virtual view drawing method, rendering method, and decoding method
Uhlíková et al. Texture aware image error concealment
Jiji et al. Hybrid technique for enhancing underwater image in blurry conditions
CN115311394A (zh) 一种驱动数字人面部动画方法、系统、设备及介质
WO2023102189A2 (en) Iterative graph-based image enhancement using object separation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination