CN113963094A - 深度图及视频处理、重建方法、装置、设备及存储介质 - Google Patents

深度图及视频处理、重建方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113963094A
CN113963094A CN202010630749.XA CN202010630749A CN113963094A CN 113963094 A CN113963094 A CN 113963094A CN 202010630749 A CN202010630749 A CN 202010630749A CN 113963094 A CN113963094 A CN 113963094A
Authority
CN
China
Prior art keywords
depth map
depth
quantized
image
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010630749.XA
Other languages
English (en)
Inventor
盛骁杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202010630749.XA priority Critical patent/CN113963094A/zh
Priority to PCT/CN2021/102335 priority patent/WO2022001865A1/zh
Publication of CN113963094A publication Critical patent/CN113963094A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

深度图及视频处理、重建方法、装置、设备及存储介质，其中，深度图处理方法包括：获取基于多个帧同步的纹理图生成的估计深度图，所述多个纹理图的视角不同；获取所述估计深度图中像素的深度值；获取并基于与所述估计深度图视角对应的量化参数数据，对所述估计深度图中像素的深度值进行量化处理，得到量化深度图中对应像素的量化深度值。采用本说明书实施例方案可以提高重建得到的自由视点视频的图像质量。

Description

深度图及视频处理、重建方法、装置、设备及存储介质
技术领域
本说明书实施例涉及视频处理技术领域，尤其涉及深度图及视频处理、重建方法、装置、设备及存储介质。
背景技术
自由视点视频是一种能够提供高自由度观看体验的技术，用户可以在观看过程中通过交互操作，调整观看视角，从想观看的自由视点角度进行观看，从而可以大幅提升观看体验。
在大范围的场景中，比如体育比赛，通过基于深度图的图像绘制(Depth ImageBased Rendering，DIBR)技术来实现高自由度的观看是一种具有很大潜力和可行性的方案。自由视点视频的表达一般为多相机采集到的纹理图与相应深度图进行拼接，形成拼接图像。
目前，在服务端基于纹理图估计出场景和物体的深度图之后，通过对深度值进行8比特二进制数据的量化，表达为一个深度图。将同步的多个视角的纹理图和所得到的对应视角的深度图进行拼接，得到拼接图像，进而按照帧时序将拼接图像及对应的参数数据进行压缩，可以得到自由视点视频，传输，使得终端设备基于获取得到的自由视点视频流进行自由视点图像的重建。
发明人经研究发现，目前的深度图量化处理方法，重建得到的自由视点图像的质量受到目前的深度图量化处理方法的限制。
发明内容
有鉴于此，本说明书实施例提供一种深度图及视频处理、重建方法、装置、设备及存储介质，能够提高重建得到的自由视点视频的图像质量。
本说明书实施例提供了一种深度图处理方法，包括：
获取基于多个帧同步的纹理图生成的估计深度图，所述多个纹理图的视角不同；
获取所述估计深度图中像素的深度值；
获取并基于与所述估计深度图视角对应的量化参数数据，对所述估计深度图中像素的深度值进行量化处理，得到量化深度图中对应像素的量化深度值。
可选地，所述获取并基于与所述估计深度图视角对应的量化参数数据，对所述估计深度图中的对应像素的深度值进行量化处理，得到量化深度图中对应像素的量化深度值，包括：
获取所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离最大值；
基于所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离最大值，采用对应的量化公式对所述估计深度图中的对应像素的深度值进行量化处理，得到量化深度图中对应像素的量化深度值。
可选地，所述基于所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离最大值，采用对应的量化公式对所述估计深度图中的对应像素的深度值进行量化处理，得到量化深度图中对应像素的量化深度值，包括：
采用如下量化公式对估计深度图中的对应像素的深度值进行量化处理：
Figure BDA0002568551810000021
其中，M为所述估计深度图对应像素的量化比特位，range为所述估计深度图中对应像素的深度值，Depth为所述估计深度图中对应像素的量化深度值，N为所述估计深度图对应视角，depth_range_near_N为视角N对应的估计深度图中的距离光心的深度距离最小值，depth_range_far_N为视角N对应的估计深度图中距离光心的深度距离最大值。
可选地，所述方法还包括：
对所述量化深度图进行降采样处理，得到第一深度图；
将所述帧同步的多个视角的纹理图和对应视角的第一深度图按照预设的拼接方式进行拼接，得到拼接图像。
本说明书实施例还提供了一种自由视点视频重建方法，所述方法包括：
获取自由视点视频，所述自由视点视频包括多个帧时刻的拼接图像和所述拼接图像对应的参数数据，所述拼接图像包括同步的多个视角的纹理图和对应视角的量化深度图，所述拼接图像对应的参数数据包括：对应视角的估计深度图的量化参数数据和摄像机参数数据；
获取所述量化深度图中像素的量化深度值；
获取并基于所述量化深度图对应视角的估计深度图的量化参数数据，对所述量化深度图中像素的量化深度值进行反量化处理，得到对应的估计深度图；
基于同步的多个视角的纹理图以及对应视角的估计深度图，根据虚拟视点的位置信息以及所述拼接图像对应的摄像机参数数据，重建得到所述虚拟视点的图像。
可选地，所述获取并基于所述量化深度图对应视角的估计深度图的量化参数数据，对所述量化深度图中的量化深度值进行反量化处理，得到对应视角的估计深度图，包括：
获取所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离最大值；
基于所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离最大值，采用对应的反量化公式对所述量化深度图中的量化深度值进行反量化处理，得到对应视角的估计深度图对应像素的深度值。
可选地，所述基于所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离最大值，采用对应的反量化公式对所述量化深度图中的量化深度值进行反量化处理，得到对应视角的估计深度图对应像素的深度值，包括：
采用如下反量化公式对所述量化深度图中的量化深度值进行反量化处理，得到估计深度图中的对应像素值：
Figure BDA0002568551810000031
Figure BDA0002568551810000032
Figure BDA0002568551810000033
其中，M为所述量化深度图对应像素的量化比特位，range为所述估计深度图中对应像素的深度值，Depth为所述量化深度图中对应像素的量化深度值，N为所述估计深度图对应视角，depth_range_near_N为视角N对应的估计深度图中的距离光心的深度距离最小值，depth_range_far_N为视角N对应的估计深度图中距离光心的深度距离最大值，maxdisp为视角N对应的量化深度距离最大值，mindisp为视角N对应的量化深度距离最小值。
可选地，所述量化深度图的分辨率小于对应视角的纹理图的分辨率；在重建得到所述虚拟视点的图像之前，还包括：
对所述对应视角的估计深度图进行升采样，得到用于重建所述虚拟视点图像的第二深度图。
可选地，所述对所述对应视角的估计深度图进行升采样，得到用于重建所述虚拟视点图像的第二深度图，包括：
获取所述估计深度图中像素的深度值，作为所述第二深度图中对应的偶数行及偶数列的像素值；
对于所述第二深度图中偶数行奇数列的像素的深度值，确定对应纹理图中对应像素作为中间像素，基于对应纹理图中所述中间像素的亮度通道值与所述中间像素对应的左侧像素的亮度通道值和右侧像素的亮度通道值之间的关系确定；
对于所述第二深度图中奇数行像素的深度值，确定对应纹理图中的对应像素作为中间像素，基于对应的纹理图中所述中间像素的亮度通道值与所述中间像素对应的上方像素的亮度通道值和下方像素的亮度通道值之间的关系确定。
可选地，所述基于多个视角的纹理图以及对应视角的估计深度图，根据获取得到的虚拟视点的位置信息以及所述拼接图像对应的摄像机参数数据，重建得到所述虚拟视点的图像，包括：
根据所述虚拟视点的位置信息，以及所述拼接图像对应的摄像机参数数据，在所述同步的多个视角的纹理图和对应视角的估计深度图中，选择多个目标纹理图和目标深度图；
对所述目标纹理图和目标深度图进行组合渲染，得到所述虚拟视点的图像。
本说明书实施例还提供了一种自由视点视频处理方法，所述方法包括：
获取自由视点视频，所述自由视点视频包括多个帧时刻的拼接图像和所述拼接图像对应的参数数据，所述拼接图像包括同步的多个视角的纹理图和对应视角的量化深度图，所述拼接图像对应的参数数据包括：对应视角的估计深度图的量化参数数据和摄像机参数数据；
获取所述量化深度图中像素的量化深度值；
获取并基于所述量化深度图对应视角的估计深度图的量化参数数据，对所述量化深度图中像素的量化深度值进行反量化处理，得到对应的估计深度图；
响应于用户交互行为，确定虚拟视点的位置信息；
基于同步的多个视角的纹理图以及对应视角的估计深度图，根据虚拟视点的位置信息以及所述拼接图像对应的摄像机参数数据，重建得到所述虚拟视点的图像。
可选地，所述响应于用户交互行为，确定虚拟视点的位置信息，包括：响应于用户的手势交互操作，确定对应的虚拟视点路径信息；
所述基于同步的多个视角的纹理图以及对应视角的估计深度图，根据获取得到的虚拟视点的位置信息以及所述拼接图像对应的摄像机参数数据，重建得到所述虚拟视点的图像，包括：
根据所述虚拟视点路径信息，选取相应帧时刻的拼接图像中的纹理图和对应视角的估计深度图，作为目标纹理图和目标深度图；
对所述目标纹理图和目标深度图进行组合渲染，得到所述虚拟视点的图像。
可选地，所述方法还包括：
获取所述虚拟视点的图像中的虚拟渲染目标对象；
获取基于所述虚拟渲染目标对象的增强现实特效输入数据所生成的虚拟信息图像；
将所述虚拟信息图像与所述虚拟视点的图像进行合成处理并展示。
可选地，所述获取基于所述虚拟渲染目标对象的增强现实特效输入数据所生成的虚拟信息图像，包括：
根据三维标定得到的所述虚拟渲染目标对象在所述虚拟视点的图像中的位置，得到与所述虚拟渲染目标对象位置匹配的虚拟信息图像。
可选地，所述获取所述虚拟视点的图像中的虚拟渲染目标对象，包括：
响应于特效生成交互控制指令，获取所述虚拟视点的图像中的虚拟渲染目标对象。
本说明书实施例提供了一种深度图处理装置，所述装置包括：
估计深度图获取单元，适于获取基于多个帧同步的纹理图生成的估计深度图，所述多个纹理图的视角不同；
深度值获取单元，适于获取所述深度图中像素的深度值；
量化参数数据获取单元，适于获取与所述估计深度图视角对应的量化参数数据；
量化处理单元，适于基于与所述估计深度图视角对应的量化参数数据，对所述估计深度图中像素的深度值进行量化处理，得到量化深度图中对应像素的量化深度值。
本说明书实施例还提供了一种自由视点视频重建装置，所述装置包括：
第一视频获取单元，适于获取自由视点视频，所述自由视点视频包括多个帧时刻的拼接图像和所述拼接图像对应的参数数据，所述拼接图像包括同步的多个视角的纹理图和对应视角的量化深度图，所述拼接图像对应的参数数据包括：对应视角的估计深度图的量化参数数据和摄像机参数数据；
第一量化深度值获取单元，适于所述量化深度图中像素的量化深度值；
第一量化参数数据获取单元，适于获取与所述量化深度图视角对应的量化参数数据；
第一深度图反量化处理单元，适于基于与所述量化深度图视角对应的量化参数数据，对对应视角的量化深度图进行反量化处理，得到对应的估计深度图；
第一图像重建单元，适于基于多个视角的纹理图以及对应视角的估计深度图，根据获取得到的虚拟视点的位置信息以及所述拼接图像对应的摄像机参数数据，重建得到所述虚拟视点的图像。
本说明书实施例还提供了一种自由视点视频处理装置，所述装置包括：
第二视频获取单元，适于获取自由视点视频，所述自由视点视频包括多个帧时刻的拼接图像和所述拼接图像对应的参数数据，所述拼接图像包括同步的多个视角的纹理图和对应视角的量化深度图，所述拼接图像对应的参数数据包括：对应视角的估计深度图的量化参数数据和摄像机参数数据；
第二量化深度值获取单元，适于获取所述量化深度图中像素的量化深度值；
第二深度图反量化处理单元，适于获取并基于所述量化深度图对应视角的估计深度图的量化参数数据，对所述量化深度图中像素的量化深度值进行反量化处理，得到对应的估计深度图；
虚拟视点位置确定单元，适于响应于用户交互行为，确定虚拟视点的位置信息；
第二图像重建单元，适于基于同步的多个视角的纹理图以及对应视角的估计深度图，根据虚拟视点的位置信息以及所述拼接图像对应的摄像机参数数据，重建得到所述虚拟视点的图像。
本说明书实施例还提供了一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其中，所述处理器运行所述计算机指令时执行前述任一实施例所述方法的步骤。
本说明书实施例还提供了一种服务端设备，包括处理器和通信组件，其中：
所述处理器，适于执行前述任一实施例所述的深度图处理方法的步骤，得到量化深度图，将帧同步的多个视角的纹理图和对应视角的第一深度图按照预设的拼接方式进行拼接，得到拼接图像，以及将多个帧的拼接图像及对应的参数数据进行封装处理，得到自由视点视频；
所述通信组件，适于传输所述自由视点视频。
本说明书实施例还提供了一种终端设备，包括通信组件、处理器和显示组件，其中：
所述通信组件，适于获取自由视点视频；
所述处理器，适于执行前述任一实施例所述的自由视点视频重建方法或自由视点视频处理方法的步骤；
所述显示组件，适于显示所述处理器得到的重建图像。
本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，其中，所述计算机指令运行时执行前述任一实施例所述方法的步骤。
与现有技术相比，本说明书实施例的技术方案具有以下有益效果：
采用本说明书实施例中的深度图处理方法，在深度图量化过程中，采用与对应视角的实际情况匹配的量化参数，对所述估计深度图中像素的深度值进行量化，从而对于每个视角的深度图，都可以充分利用深度量化比特位的表达空间，进而可以提高重建得到的自由视点视频的图像质量。
进一步地，通过对量化深度图进行降采样处理，得到第一深度图，并将所述第一深度图和对应视角的纹理图按照预设的拼接方式进行拼接，可以减小所述拼接图像整体的数据量，从而可以节约所述拼接图像的存储资源和传输资源。
进一步地，一方面，在整体拼接图像解码分辨率有限的情况下，通过设置量化深度图的分辨率小于对应视角的纹理图的分辨率，可以传输分辨率更高的纹理图，进而通过对所述对应视角的估计深度图进行升采样，得到第二深度图，并基于所述拼接图像中同步的多个视角的纹理图以及对应视角的第二深度图进行自由视点视频重建，可以得到清晰度更高的自由视点图像，提高用户体验。
附图说明
图1是本说明书实施例中一种自由视点视频展示的具体应用系统示意图；
图2是本说明书实施例中一种终端设备交互界面示意图；
图3是本说明书实施例中一种采集设备设置方式的示意图；
图4是本说明书实施例中另一种终端设备交互界面示意图；
图5是本说明书实施例中一种视场应用场景示意图；
图6是本说明书实施例中一种深度图处理方法的流程图；
图7是本说明书实施例中一种自由视点视频数据生成过程的示意图；
图8是本说明书实施例中一种6DoF视频数据的生成及处理的示意图；
图9是本说明书实施例中一种数据头文件的结构示意图；
图10是本说明书实施例中一种用户侧对6DoF视频数据处理的示意图；
图11是本说明书实施例中一种拼接图像的结构示意图；
图12是本说明书实施例中一种自由视点视频重建方法的流程图；
图13是本说明书实施例中一种组合渲染方法的流程图；
图14是本说明书实施例中一种自由视点视频处理方法的流程图；
图15是本说明书实施例中另一种自由视点视频处理方法的流程图；
图16至图20是本说明书实施例中一种交互终端的显示界面示意图；
图21是本说明书实施例中一种深度图处理装置的结构示意图；
图22是本说明书实施例中一种自由视点视频重建装置的结构示意图；
图23是本说明书实施例中一种自由视点视频处理装置的结构示意图；
图24是本说明书实施例中一种电子设备的结构示意图；
图25是本说明书实施例中一种服务端设备的结构示意图；
图26是本说明书实施例中一种终端设备的结构示意图。
具体实施方式
为使本领域技术人员更好地理解和实施本说明书中的实施例，以下首先结合附图及具体应用场景对自由视点视频的实现方式进行示例性介绍。
参考图1，本发明实施例中一种自由视点视频展示的具体应用系统，可以包括多个采集设备的采集系统11、服务器12和显示设备13，其中采集系统11，可以对待观看区域进行图像采集；采集系统11或者服务器12，可以对获取到的同步的多个纹理图进行处理，生成能够支持显示设备13进行虚拟视点切换的多角度自由视角数据。显示设备13可以展示基于多角度自由视角数据生成的重建图像，重建图像对应于虚拟视点，根据用户指示可以展示对应于不同虚拟视点的重建图像，切换观看的位置和观看角度。
在具体实现中，进行图像重建，得到重建图像的过程可以由显示设备13实施，也可以由位于内容分发网络(Content Delivery Network，CDN)的设备以边缘计算的方式实施。可以理解的是，图1仅为示例，并非对采集系统、服务器、终端设备以及具体实现方式的限制。
继续参考图1，用户可以通过显示设备13对待观看区域进行观看，在本实施例中，待观看区域为篮球场。如前所述，观看的位置和观看角度是可以切换的。
举例而言，用户可以在屏幕滑动，以切换虚拟视点。在本发明一实施例中，结合参考图2，用户手指沿D22方向滑动屏幕时，可以切换进行观看的虚拟视点。继续参考图3，滑动前的虚拟视点的位置可以是VP1，滑动屏幕切换虚拟视点后，虚拟视点的位置可以是VP2。结合参考图4，在滑动屏幕后，屏幕展示的重建图像可以如图4所示。重建图像，可以是基于由实际采集情境中的多个采集设备采集到的图像生成的多角度自由视角数据进行图像重建得到的。
可以理解的是，切换前进行观看的图像，也可以是重建图像。重建图像可以是视频流中的帧图像。另根据用户指示切换虚拟视点的方式可以是多样的，在此不做限制。
在具体实施中，虚拟视点可以用6自由度(Degree of Freedom，DoF)的坐标表示，其中，虚拟视点的空间位置可以表示为(x，y，z)，视角可以表示为三个旋转方向(θ,
Figure BDA0002568551810000101
)。
虚拟视点是一个三维概念，生成重建图像需要三维信息。在一种具体实现方式中，多角度自由视角数据中可以包括深度图数据，用于提供平面图像外的第三维信息。相比于其它实现方式，例如通过点云数据提供三维信息，深度图数据的数据量较小。
在本发明实施例中，虚拟视点的切换可以在一定范围内进行，该范围即为多角度自由视角范围。也即，在多角度自由视角范围内，可以任意切换虚拟视点位置以及视角。
多角度自由视角范围与采集设备的布置相关，采集设备的拍摄覆盖范围越广，则多角度自由视角范围越大。终端设备展示的画面质量，与采集设备的数量相关，通常，设置的采集设备的数量越多，展示的画面中空洞区域越少。
此外，多角度自由视角的范围与采集设备的空间分布相关。可以基于采集设备的空间分布关系设置多角度自由视角的范围以及在终端侧与显示设备的交互方式。
如图1及图3所示，在高于篮筐的高度HLK，沿一定路径设置若干采集设备，例如，可以沿弧线设置6个采集设备，也即采集设备CJ1至CJ6。可以理解的是，采集设备的设置位置、数量和支撑方式可以是多样的，在此不做限制。
可以理解的是，以上具体应用场景示例用以更好地理解本说明书实施例，然而，本说明书实施例并不限于以上具体应用场景。发明人经研究发现，目前的深度图处理方式仍有一些局限性，导致重建的自由视点视频中的图像的质量受到影响。
针对上述问题，本说明书实施例提供了相应的深度图处理方法及自由视点视频重建方法，为使本说明书实施例的目的、方案、原理及效果等更加清楚明了，以下参照附图，并通过具体实施例进行详细描述。
在图像处理中，采样的图像数值用一个数字表示，将图像函数的连续数值转变为其数字等价量的过程是量化。图像量化给每个连续的样本数值一个整数数字。
目前，服务端设备(如服务器12)基于纹理图估计出场景和物体的深度图之后，通过对深度值进行8比特二进制数据的量化，表达为一个深度图，为描述方便，这里称为估计深度图。将同步的多个视角的纹理图和所得到的对应视角的估计深度图进行拼接，得到拼接图像。按照帧时序将拼接图像及对应的参数数据进行压缩，可以得到自由视点视频，终端设备基于自由获取的自由视点视频可以进行自由视点图像的重建。
然而，发明人经研究发现，目前的深度图量化处理方法，对于拼接图像中的每一个深度图，均基于一套同样的量化参数数据进行量化，重建得到的自由视点图像的质量受到目前的深度图量化处理方法的限制。
具体而言，目前基于预先定义的视场中的深度值的最大值和最小值，以及服务端估计得到的估计深度图中的每个像素的深度值，通过如下公式进行量化，可以得到一个数值范围在0-255之间的8比特二进制的量化深度值。
Figure BDA0002568551810000111
其中，range为所述估计深度图中对应像素的深度值，Depth为所述估计深度图中对应像素的量化深度值，depth_range_near为预设的视场中距离光心的深度距离最小值，depth_range_far为预设的视场中距离光心的深度距离最大值。
然而，在具体应用场景中，采用同一套固定的量化参数数据对拼接图像中的所有估计深度图中像素的深度值进行量化，可能导致无法充分利用深度图的表达空间。例如，有些视角对应的估计深度图的depth_range_near，也就是距离最近的物体，要比其他一些视角对应的估计深度图中要大，因此，使用同样的量化参数数据量化后，会导致整个8比特二进制的表达空间没有得到充分利用，某些视角中的像素的最大深度值会远离255，而某些视角中像素的最小深度值会远离0。
如图5所示的视场应用场景示意图，对于一场景区域50，其中包含物体R，并设置有多个采集设备P1、P2…Pn…PN，采集设备P1～PN呈弧线形设置，对应的光心依次为C1、C2…Cn…CN，各采集设备P1～PN对应的光轴L1、L2…Ln…LN从图5物体R与各采集设备P1～PN的光心C1～CN之间空间关系可以直观看出，物体R与各采集设备的光心之间的距离最小值和距离最大值不同，因此基于采集设备P1～PN采集到的纹理图估计得到的估计深度图的距离光心的深度距离最小值和距离光心的深度距离最大值均有不同。
基于此，本说明书实施例在深度图量化过程中，采用与对应视角的实际情况匹配的量化参数，对所述估计深度图中像素的深度值进行量化，从而对于每个视角的深度图，都可以充分利用深度量化比特位的表达空间，进而可以提高重建得到的自由视点视频的图像质量。
参照图6所示的深度图处理方法的流程图，本说明书实施例具体可以包括如下量化处理步骤：
S61，获取基于多个帧同步的纹理图生成的估计深度图，所述多个纹理图的视角不同。
在具体实施中，如图1所示，可以由多个采集设备组成的采集系统同步采集图像，得到所述多个帧同步的纹理图。
采集设备(如相机)坐标系的原点可以作为光心，深度值可以是视场中各个点沿光轴到光心的距离。在具体实施中，可以基于所述帧同步的多个纹理图，得到每个纹理图对应的估计深度图。
S62，获取所述估计深度图中像素的深度值。
S63，获取并基于与所述估计深度图视角对应的量化参数数据，对所述估计深度图中像素的深度值进行量化处理，得到量化深度图中对应像素的量化深度值。
在具体实施中，量化参数估计值可以包括：估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离最大值，为对估计深度图中像素的深度值进行量化处理，可以先获取所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离最大值，之后，可以基于所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离最大值，采用对应的量化公式对所述估计深度图中的对应像素的深度值进行量化处理，得到量化深度图中对应像素的量化深度值。
在本说明书一些实施例中，采用如下量化公式对估计深度图中的对应像素的深度值进行量化处理：
Figure BDA0002568551810000131
其中，M为所述估计深度图对应像素的量化比特位，range为所述估计深度图中对应像素的深度值，Depth为所述估计深度图中对应像素的量化深度值，N为所述估计深度图对应视角，depth_range_near_N为视角N对应的估计深度图中的距离光心的深度距离最小值，depth_range_far_N为视角N对应的估计深度图中距离光心的深度距离最大值。
采用上述实施例对估计深度图中的像素深度图进行量化处理后，能够使得各视角对应的量化深度图中离相机(光心)最近的物体被量化后得到更加接近2M-1的深度值。在具体实施中，M可以取8比特，16比特等。若M取8比特，则各视角对应的量化深度图中离光心最近的物体被量化后深度值更加接近255。
在具体实施中，可以将同步的多个视角的纹理图与对应视角的量化深度图进行拼接，得到拼接图像，进而基于多个帧时刻的拼接图像以及所述拼接图像对应的参数数据，可以得到自由视点视频。考虑到传输带宽的限制，可以将所述自由视点视频进行压缩后，传输至终端设备进行自由视点视频的图像重建。
结合参照图7，为进行自由视点视频重建，需要进行纹理图的采集和深度图计算，包括了三个主要步骤，分别为多摄像机的视频采集(Multi-camera Video Capturing)，摄像机内外参计算(Camera Parameter Estimation)，以及深度图计算(Depth MapCalculation)。对于多摄像机采集来说，要求各个摄像机采集的视频可以帧级对齐。其中，通过多摄像机的视频采集可以得到纹理图(Texture Image)；通过摄像机内外参计算，可以得到摄像机参数(Camera Parameter)，可以包括摄像机内部参数数据和外部参数数据；通过深度图计算，可以得到深度图(Depth Map)，多个同步的纹理图及对应视角的深度图和摄像机参数，形成6DoF视频数据。
在本说明书实施例方案中，并不需要特殊的摄像机，比如光场摄像机，来做视频的采集。同样的，也不需要在采集前先进行复杂的摄像机校准的工作。可以布局和安排多摄像机的位置，以更好的拍摄需要拍摄的物体或者场景。
在以上的三个步骤处理完后，就得到了从多摄像机采集来的纹理图，所有摄像机的摄像机参数，以及每个摄像机的深度图。可以把这三部分数据称作为多角度自由视角视频数据中的数据文件，也可以称作6自由度视频数据(6DoF video data)。因为有了这些数据，用户端就可以根据虚拟的6自由度(Degree of Freedom，DoF)位置，来生成虚拟视点，从而提供6DoF的视频体验。
结合参考图8，6DoF视频数据以及指示性数据可以经过压缩和传输到达用户侧，用户侧可以根据接收到的数据，获取用户侧6DoF表达，也即前述的6DoF视频数据和元数据。其中，指示性数据也可以称作元数据(Metadata)，
元数据可以用来描述6DoF视频数据的数据模式，具体可以包括：拼接模式元数据(Stitching Pattern metadata)，用来指示拼接图像中多个纹理图的像素数据以及量化深度图数据的存储规则；边缘保护元数据(Padding pattern metadata)，可以用于指示对拼接图像中进行边缘保护的方式，对应视角的量化参数元数据，以及其它元数据(Othermetadata)。元数据可以存储于数据头文件，具体的存储顺序可以如图9所示，或者以其它顺序存储。
结合参考图10，用户侧得到了6DoF视频数据，其中包括了摄像机参数，纹理图以及量化深度图，以及元数据，除此之外，还有用户端的交互行为数据。通过这些数据，用户侧可以采用基于深度图的渲染(DIBR，Depth Image-Based Rendering)方式进行的6DoF渲染，从而在一个特定的根据用户交互行为产生的6DoF位置产生虚拟视点的图像，也即根据用户指示，确定与该指示对应的6DoF位置的虚拟视点。
目前，自由视点视频数据中对于任一视频帧，一般表达为多摄像机采集的纹理图与相应深度图所形成的拼接图像。如图11所示的拼接图像的结构示意图，其中，拼接图像的上半部分为纹理图区域，划分称为8个纹理图子区域，分别存储同步的8个纹理图的像素数据，每个纹理图的拍摄角度不同，也即视角不同。拼接图像的下半部分为深度图区域，划分为8个深度图子区域，分别存储上述8个纹理图的对应的量化深度图。其中，视角N的纹理图与视角N的量化深度图是像素点一一对应的，将所述拼接图像压缩后传输到终端进行解码和DIBR，从而可以在用户互动的视点上插值出图像。
发明人经研究发现，如图11所示，对于每一个纹理图，都有一个相同分辨率的量化深度图与其对应，从而整体拼接图像的分辨率是纹理图集合的两倍，由于终端(如移动终端)的视频解码分辨率一般是有限的，因此上述自由视点视频数据的表达方法只能通过降低纹理图的分辨率来实现，从而导致用户在终端侧感受到的重建图像的清晰度下降。
针对上述问题，在本说明书一些实施例中，可以先对所述量化深度图进行降采样处理，得到第一深度图，将所述同步的多个视角的纹理图和对应视角的第一深度图按照预设的拼接方式进行拼接，得到拼接图像。
为使本领域技术人员更好地理解和实施本说明书实施例，以下给出两种具体的降采样处理方式示例：
一种是，对所述量化深度图中的像素进行抽点处理，得到所述第一深度图。例如可以对所述量化深度图中的像素点每隔一个像素点抽取一个像素点，得到所述第一深度图，得到的所述第一深度图的分辨率为所述原始深度图的50％。
另一种是，对所述量化深度图中的像素做基于对应纹理图的滤波，得到所述第一深度图。
为节约数据存储资源和数据传输资源，拼接图像可以为矩形。
为使本领域技术人员更好地理解和实施本说明书实施例，以下通过具体实施例，对经过上述深度图处理后终端侧的自由视点视频重建方法进行相应介绍。
参照图12所示的自由视点视频重建方法的流程图，在本说明书实施例中，具体可以采用如下步骤进行自由视点视频重建：
S121，获取自由视点视频，所述自由视点视频包括多个帧时刻的拼接图像和所述拼接图像对应的参数数据，所述拼接图像包括同步的多个视角的纹理图和对应视角的量化深度图，所述拼接图像对应的参数数据包括：对应视角的估计深度图的量化参数数据和摄像机参数数据。
在具体实施中，所述自由视点视频可以为视频压缩文件形式，也可以以视频流的方式传输。所述拼接图像的参数数据可以存储在自由视点视频数据的头文件中，具体形式可以参见前述实施例介绍。
在本说明书一些实施例中，所述对应视角的估计深度图的量化参数数据可以以数组的形式存储。例如，对于拼接图像中有16组纹理图和量化深度图的自由视点视频，量化参数数据可以依次为表示为：
数组Z＝[视角0参数值，视角2参数值…视角15量化参数值]。
S122，获取所述量化深度图中像素的量化深度值。
S123，获取并基于所述量化深度图对应视角的估计深度图的量化参数数据，对所述量化深度图中像素的量化深度值进行反量化处理，得到对应的估计深度图。
S124，基于同步的多个视角的纹理图以及对应视角的估计深度图，根据虚拟视点的位置信息以及所述拼接图像对应的摄像机参数数据，重建得到所述虚拟视点的图像。
对于步骤S123，在本说明书一些实施例中，采用如下方式实现：
获取所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离最大值；
基于所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离最大值，采用对应的反量化公式对所述量化深度图中的量化深度值进行反量化处理，得到对应视角的估计深度图对应像素的深度值。
在本说明书一具体实施例中，采用如下反量化公式对所述量化深度图中的量化深度值进行反量化处理，得到估计深度图中的对应像素值：
Figure BDA0002568551810000171
Figure BDA0002568551810000172
Figure BDA0002568551810000173
其中，M为所述量化深度图对应像素的量化比特位，range为所述估计深度图中对应像素的深度值，Depth为所述量化深度图中对应像素的量化深度值，N为所述估计深度图对应视角，depth_range_near_N为视角N对应的估计深度图中的距离光心的深度距离最小值，depth_range_far_N为视角N对应的估计深度图中距离光心的深度距离最大值，maxdisp为视角N对应的量化深度距离最大值，mindisp为视角N对应的量化深度距离最小值。
在本说明书一些实施例中，与前述实施例对应，若所述量化深度图的分辨率小于对应视角的纹理图的分辨率，例如在服务端，所述量化深度图做过降采样，则在终端设备侧，可以对所述对应视角的估计深度图进行升采样，得到第二深度图，之后利用所述第二深度图进行虚拟视点图像的重建。
在具体实施中，可以有多种升采样方式，以下给出一些示例方式：
方式一示例，对经过1/4降采样的估计深度图进行升采样处理，得到与所述纹理图分辨率相同的第二深度图，基于不同的行和列，具体包括如下几种不同的处理方式：
(1)获取所述估计深度图中像素的深度值，作为所述第二深度图中对应的偶数行及偶数列的像素值；
(2)对于所述第二深度图中偶数行奇数列的像素的深度值，确定对应纹理图中对应像素作为中间像素，基于对应纹理图中所述中间像素的亮度通道值与所述中间像素对应的左侧像素的亮度通道值和右侧像素的亮度通道值之间的关系确定；
具体地，对于所述第二深度图中奇数行像素的深度值，确定对应纹理图中的对应像素作为中间像素，基于对应的纹理图中所述中间像素的亮度通道值与所述中间像素对应的上方像素的亮度通道值和下方像素的亮度通道值之间的关系确定。
具体地，基于对应纹理图中所述中间像素的亮度通道值与所述中间像素对应的左侧像素的亮度通道值和右侧像素的亮度通道值之间的关系，共有三种情况：
a1.若对应纹理图中中间像素的亮度通道值与所述中间像素对应的右侧像素的亮度通道值之差的绝对值小于所述中间像素的亮度通道值与左侧像素的亮度通道值之差的绝对值与预设阈值之商，则选取所述右侧像素对应的深度值作为所述第二深度图中偶数行奇数列相应像素的深度值，即：
a2.若对应纹理图中中间像素的亮度通道值与所述中间像素对应的左侧像素的亮度通道值之差的绝对值小于所述中间像素的亮度通道值与右侧像素的亮度通道值之差的绝对值与所述预设阈值之商，则选取所述左侧像素对应的深度值作为所述第二深度图中偶数行奇数列相应像素的深度值；
a3.否则，选取所述左侧像素和右侧像素对应的深度值中的最大值作为所述第二深度图中偶数行奇数列相应像素的深度值。
(3)对于所述第二深度图中奇数行像素的深度值，确定对应纹理图中的对应像素作为中间像素，基于对应的纹理图中所述中间像素的亮度通道值与所述中间像素对应的上方像素的亮度通道值和下方像素的亮度通道值之间的关系确定。
b1.若对应纹理图中中间像素的亮度通道值与所述中间像素对应的下方像素的亮度通道值之差的绝对值小于所述中间像素的亮度通道值与上方像素的亮度通道值的绝对值之差与预设阈值之商，则选取所述下方像素对应的深度值作为所述第二深度图中奇数行相应像素的深度值；
b2.若对应纹理图中中间像素的亮度通道值与所述中间像素对应的上方像素的亮度通道值之差的绝对值小于所述中间像素的亮度通道值与下方像素的亮度通道值之差的绝对值与所述预设阈值之商，则选取所述上方像素对应的深度值作为所述第二深度图中奇数行相应像素的深度值；
b3.否则，选取所述上方像素和下方像素对应的深度值中的最大值作为所述第二深度图中偶数行奇数列相应像素的深度值。
上述步骤(2)中的a1至a3三种情况用公式可以表示为：
若abs(pix_C-pix_R)<abs(pix_C-pix_L)/THR，则选取Dep_R；
若abs(pix_C-pix_L)<abs(pix_C-pix_R)/THR，则选取Dep_L；
否则，对于其他情况，选取Max(Dep_R，Dep_L)。
上述步骤(3)中b1至b3三种情况用公式可以表示为：
若abs(pix_C-pix_D)<abs(pix_C-pix_U)/THR，则采用Dep_D；
若abs(pix_C-pix_U)<abs(pix_C-pix_D)/THR，则选取Dep_U；
否则，对于其他情况，选取Max(Dep_D，Dep_U)。
在上述公式中，pix_C为第二深度图中深度值对应位置的纹理图中中间像素的亮度通道值(Y值)，pix_L为pix_C的左侧像素的亮度通道值，pix_R为pix_C的右侧像素的亮度通道值，pix_U为pix_C的上方像素的亮度通道值，pix_D下方像素的亮度通道值，Dep_R为第二深度图中深度值对应位置的纹理图中中间像素的右侧像素对应的深度值，Dep_L为第二深度图中深度值对应位置的纹理图中中间像素的右侧像素对应的深度值，Dep_D为第二深度图中深度值对应位置的纹理图中中间像素的下方像素对应的深度值，Dep_U为第二深度图中深度值对应位置的纹理图中中间像素的上方像素对应的深度值。abs表示绝对值，THR为可设定的阈值，在本说明书一实施例中，THR设置为2。
方式二示例：
获取所述估计深度图中像素的深度值，作为所述第二深度图中对应行和列的像素值；对于所述第二深度图中与所述估计深度图中的像素不存在对应关系的像素，基于对应纹理图中的相应像素以及所述相应像素的周围像素的像素值之间的差异进行滤波得到。
其中，对于所述第二深度图中与所述估计深度图中的像素不存在对应关系的像素，基于对应纹理图中的相应像素以及所述相应像素的周围像素的像素值之间的差异进行滤波得到。
具体的滤波方法可以有多种，以下给出两种具体实施例。
具体实施例一，最近邻滤波法
具体而言，对于所述第二深度图中与所述估计深度图中的像素不存在对应关系的像素，可以将所述纹理图中的相应像素与所述相应像素周围四个对角位置像素的像素值进行比较，求取与所述相应像素的像素值最相近的像素点，并将所述像素值最相近的像素点对应的估计深度图中的深度值作为与所述纹理图中相应像素在所述第二深度图中对应像素的深度值。
具体实施例二，加权滤波法
具体而言，可以将所述纹理图中的相应像素与所述相应像素周围像素进行比较，根据像素值的相似程度，对周围像素对应的估计深度图中的深度值进行加权处理，得到所述纹理图中的相应像素在所述第二深度图中对应像素的深度值。
以上示出了一些可以对所述估计深度图进行升采样，得到第二深度图的方法，可以理解的是，以上仅为示例说明，本说明书实施例中并不限定具体的升采样方法。并且，对于任一视频帧中的估计深度图进行升采样的方法，可以与将量化深度图进行降采样得到第一深度图的方法相应，也可以没有对应关系。此外，升采样的比例与降采样的比例可以相同，也可以不同。
下面接着就步骤S124给出一些具体示例。
在具体实施中，为了在保证图像重建质量的前提下，节约数据处理资源，提高图像重建效率，可以仅选取所述拼接图像中的部分纹理图和对应视角的估计深度图作为目标纹理图和目标深度图，用于虚拟视点图像的重建。具体而言：
可以根据所述虚拟视点的位置信息，以及所述拼接图像对应的参数数据，在所述同步的多个视角的纹理图和对应视角的估计深度图中，选择多个目标纹理图和目标深度图。之后，可以对所述目标纹理图和目标深度图进行组合渲染，得到所述虚拟视点的图像。
在具体实施中，可以根据用户交互行为，或者根据预先设置确定所述虚拟视点的位置信息。若是基于用户交互行为确定，则可以通过获取用户交互操作对应的轨迹数据确定相应交互时刻的虚拟视点位置。在本说明书一些实施例中，也可以在服务端(如服务器或云端)预先设定相应视频帧对应的虚拟视点的位置信息，并在所述自由视点视频的头文件中传输所设定的虚拟视点的位置信息。
在具体实施中，可以基于虚拟视点位置以及所述拼接图像对应的参数数据，确定其中每个纹理图及对应视角的估计深度图与所述虚拟视点位置的空间位置关系，为节约数据处理资源，可以根据所述虚拟视点的位置信息，以及所述拼接图像对应的参数数据，在所述同步的多个视角的纹理图和对应视角的估计深度图中选择与所述虚拟视点位置满足预设位置关系和/或数量关系的纹理图和估计深度图作为所述目标纹理图和目标深度图。
例如，可以选取离所述虚拟视点位置最近的2至N个视点对应的纹理图和估计深度图。其中，N为所述拼接图像中纹理图的数量，也即纹理图对应的采集设备的数量。在具体实施中，数量关系值可以为固定的，也可以为变化的。
参照图13所示的组合渲染方法的流程图，在本说明书一些实施例中，具体可以包括如下步骤：
S131，将选择的拼接图像中目标深度图分别进行前向映射，映射至所述虚拟位置上。
S132，对前向映射后的目标深度图分别进行后处理。
在具体实施中，后处理方法可以有多种，在本说明书一些实施例中，可以采用如下其中至少一种方法对目标深度图进行后处理：
1)对前向映射后的目标深度图分别进行前景边缘保护处理；
2)对前向映射后的目标深度图分别进行像素级滤波处理。
S133，将选择的所述拼接图像中目标纹理图分别进行反向映射。
S134，将反向映射后所生成的各虚拟纹理图进行融合，得到融合纹理图。
通过上述步骤S131至步骤S134，可以得到重建图像。
在具体实施中，还可以对融合纹理图进行空洞填补，得到所述用户交互时刻虚拟视点位置对应的重建图像。通过空洞填补，可以提高重建图像的质量。
在具体实施中，在进行图像重建前，可以先对目标深度图进行预处理(例如，升采样处理)，也可以先对拼接图像中的所有反量化处理后得到的估计深度图进行预处理(例如，升采样处理)，再进行基于虚拟视点的图像重建。
为使本领域技术人员更好地理解和实施，本说明书实施例还提供了如前述方法实施例相应的装置及设备等具体实施例，以下参照附图进行对应描述。
本说明书实施例还提供了相应的自由视点视频处理方法，参照图14，具体可以包括如下步骤：
S141，获取自由视点视频，所述自由视点视频包括多个帧时刻的拼接图像和所述拼接图像对应的参数数据，所述拼接图像包括同步的多个视角的纹理图和对应视角的量化深度图，所述拼接图像对应的参数数据包括：对应视角的估计深度图的量化参数数据和摄像机参数数据。
在具体实施中，通过获取自由视点视频，并对所述自由视点视频进行解码处理，可以得到所述多个帧时刻的拼接图像和所述拼接图像对应的参数数据。
其中，所述自由视点视频，具体形式可以是前述实施例示例的多角度自由视角视频，如6DoF视频。
通过下载自由视点视频流或者获取存储的自由视点视频数据文件，可以获取视频帧序列，每个视频帧可以包括同步的多个视角的纹理图和对应视角的第一深度图所形成的拼接图像，一种拼接图像的结构如图11所示。可以理解的是，可以采用其他的拼接图像的结构，例如，可以根据所述纹理图和对应视角的第一深度图的分辨率的比例不同采用不同的拼接方式，例如，一个纹理图可以对应多个第一深度图(如，所述第一深度图为采用25％降采样处理后的深度图)。
自由视点视频数据文件中除了包含拼接图像外，还可以包括描述所述拼接图像的元数据。在具体实施中，可以从所述元数据中获取所述拼接图像的参数数据，例如可以获取所述拼接图像的摄像机参数、所述拼接图像的拼接规则、所述拼接图像的分辨率信息等其中一种或多种信息。
在具体实施中，所述拼接图像的参数信息可以和所述拼接图像组合传输，例如，可以存储于视频文件头中。本说明书实施例并不限定所述拼接图像的具体格式，也不限定所述拼接图像的参数信息的具体类型和存储位置，能够基于所述虚拟视点视频得到相应虚拟视点位置的重建图像即可。
在具体实施中，所述自由视点视频可以为视频压缩文件形式，也可以以视频流的方式传输。所述拼接图像的参数数据可以存储在自由视点视频数据的头文件中，具体形式可以参见前述实施例介绍。
在本说明书一些实施例中，所述对应视角的估计深度图的量化参数数据可以以数组的形式存储。例如，对于拼接图像中有16组纹理图和量化深度图的自由视点视频，量化参数数据可以依次为表示为：
数组Z＝[视角0参数值，视角2参数值…视角15量化参数值]。
S142，获取所述量化深度图中像素的量化深度值。
S143，获取并基于所述量化深度图对应视角的估计深度图的量化参数数据，对所述量化深度图中像素的量化深度值进行反量化处理，得到对应的估计深度图。
步骤S143反量化处理所采用的具体的量化参数数据，以及具体的反量化处理方法可以参见前述实施例介绍，此处不再重复描述。
S144，响应于用户交互行为，确定虚拟视点的位置信息。
在具体实施中，若自由视点视频采用6DoF的表达方式，基于用户交互的虚拟视点位置信息可以表示为坐标(x,y,z,θ,
Figure BDA0002568551810000231
)的形式，所述虚拟视点位置信息可以在预设的一种或多种用户交互方式下产生。例如，可以为用户操作输入的坐标，如手动点击或手势路径，或者语音输入确定的虚拟位置，或者可以为用户提供自定义的虚拟视点(例如：用户可以输入场景中的位置或视角，如篮下、场边、裁判视角、教练视角等等)。或者基于特定对象(例如球场上的球员、图像中的演员或嘉宾、主持人等，可以在用户点击相应对象后切换至所述对象的视角)。可以理解的是，本发明实施例中并不限定具体的用户交互行为方式，只要能获取到基于用户交互的虚拟视点位置信息即可。
作为一可选示例，响应于用户的手势交互操作，可以确定对应的虚拟视点路径信息。就手势交互而言，可以基于手势交互的不同形态规划相应的虚拟视点路径，从而基于用户具体的手势操作，即可确定相应的虚拟视点的路径信息，例如，可以预先规划用户手指相对于触摸屏的左右滑动，对应视角的左右移动；用户手指相对于触摸屏的上下滑动，对应视点位置的上下移动；手指的缩放操作，对应于视点位置的拉近和拉远。
可以理解的是，以上基于手势形态规划的虚拟视点路径，仅为示例性说明，可以预先定义基于其他手势形态的虚拟视点路径，或者也可以让用户自定义设置，从而可以增强用户体验。
S145，基于同步的多个视角的纹理图以及对应视角的估计深度图，根据虚拟视点的位置信息以及所述拼接图像对应的摄像机参数数据，重建得到所述虚拟视点的图像。
在具体实施中，可以根据所述虚拟视点路径信息，选取相应帧时刻的纹理图和对应视角的估计深度图，作为目标纹理图和目标深度图，并对所述目标纹理图和目标深度图进行组合渲染，得到所述虚拟视点的图像。
具体选取方法可以参照前述实施例介绍，此处不再详细。
需要说明的是，基于虚拟视点路径信息，可以按照时序选取一帧或连续多帧拼接图像中的部分纹理图和对应视角的第二深度图，作为目标纹理图和目标深度图，用于重建对应虚拟视点的图像。
在具体实施中，还可以对重建得到的自由视点图像做进一步的处理。以下给出一示例性扩展方式。
为丰富用户视觉体验，可以在重建得到的自由视点图像中植入增强现实(Augmented Reality，AR)特效。在本说明一些实施例中，参照图15所示的自由视点视频处理方法的流程图，采用如下方式实现AR特效的植入：
S151，获取所述虚拟视点的图像中的虚拟渲染目标对象。
在具体实施中，可以基于某些指示信息确定自由视点视频的图像中的某些对象作为虚拟渲染目标对象，所述指示信息可以基于用户交互生成，也可以基于某些预设触发条件或第三方指令得到。在本说明书一可选实施例中，响应于特效生成交互控制指令，可以获取所述虚拟视点的图像中的虚拟渲染目标对象。
S152，获取基于所述虚拟渲染目标对象的增强现实特效输入数据所生成的虚拟信息图像。
在本说明书实施例中，所植入的AR特效以虚拟信息图像的形式呈现。所述虚拟信息图像可以基于所述目标对象的增强现实特效输入数据生成。在确定虚拟渲染目标对象后，可以获取基于所述虚拟渲染目标对象的增强现实特效输入数据所生成的虚拟信息图像。
在本说明书实施例中，所述虚拟渲染目标对象对应的虚拟信息图像可以预先生成，也可以响应于特效生成指令即时生成。
在具体实施中，可以基于三维标定得到的所述虚拟渲染目标对象在重建得到的图像中的位置，得到与所述虚拟渲染目标对象位置匹配的虚拟信息图像，从而可以使得到的虚拟信息图像与所述虚拟渲染目标对象在三维空间中的位置更加匹配，进而所展示的虚拟信息图像更加符合三维空间中的真实状态，因而所展示的合成图像更加真实生动，增强用户的视觉体验。
在具体实施中，可以基于虚拟渲染目标对象的增强现实特效输入数据，按照预设的特效生成方式，生成所述目标对象对应的虚拟信息图像。
在具体实施中，可以采用多种特效生成方式。
例如，可以将所述目标对象的增强现实特效输入数据输入至预设的三维模型，基于三维标定得到的所述虚拟渲染目标对象在所述图像中的位置，输出与所述虚拟渲染目标对象匹配的虚拟信息图像；
又如，可以将所述虚拟渲染目标对象的增强现实特效输入数据，输入至预设的机器学习模型，基于三维标定得到的所述虚拟渲染目标对象在所述图像中的位置，输出与所述虚拟渲染目标对象匹配的虚拟信息图像。
S153，将所述虚拟信息图像与所述虚拟视点的图像进行合成处理并展示。
在具体实施中，可以有多种方式将所述虚拟信息图像与所述虚拟视点的图像进行合成处理并展示，以下给出两种具体可实现示例：
示例一：将所述虚拟信息图像与对应的图像进行融合处理，得到融合图像，对所述融合图像进行展示；
示例二：将所述虚拟信息图像叠加在对应的图像之上，得到叠加合成图像，对所述叠加合成图像进行展示。
在具体实施中，可以将得到的合成图像直接展示，也可以将得到的合成图像插入待播放的视频流进行播放展示。例如，可以将所述融合图像插入待播放视频流进行播放展示。
自由视点视频中可以包括特效展示标识，在具体实施中，可以基于特效展示标识，确定所述虚拟信息图像在所述虚拟视点的图像中的叠加位置，之后，可以将所述虚拟信息图像在所确定的叠加位置进行叠加展示。
为使本领域技术人员更好地理解和实施，以下通过一交互终端的图像展示过程进行详细说明。参照图16至图20所示的交互终端的视频播放画面示意图，交互终端T1实时地进行视频的播放。其中，参照图16，展示视频帧P1，接下来，交互终端所展示的视频帧P2中包含特效展示标识I1等多个特效展示标识，视频帧P2中通过指向目标对象的倒三角符号表示，如图17所示。可以理解的是，也可以采用其他的方式展示所述特效展示标识。终端用户触摸点击所述特效展示标识I1，则系统自动获取对应于所述特效展示标识I1的虚拟信息图像，将所述虚拟信息图像叠加展示在视频帧P3中，如图18所示，以运动员Q1站立的场地位置为中心，渲染出一个立体圆环R1。接下来，如图19及图20所示，终端用户触摸点击视频帧P3中的特效展示标识I2，系统自动获取对应于所述特效展示标识I2的虚拟信息图像，将所述虚拟信息图像叠加展示在视频帧P3上，得到叠加图像，即视频帧P4，其中展示了命中率信息展示板M0。命中率信息展示板M0上展示了目标对象即运动员Q2的号位、姓名及命中率信息。
如图16至图20所示，终端用户可以继续点击视频帧中展示的其他特效展示标识，观看展示各特效展示标识相应的AR特效的视频。
可以理解的是，可以通过不同类型的特效展示标识区分不同类型的植入特效。
参照图21所示的深度图处理装置的结构示意图，其中，深度图处理装置210可以包括：估计深度图获取单元211、深度值获取单元212、量化参数数据获取单元213和量化处理单元214，具体地：
所述估计深度图获取单元211，适于获取基于多个帧同步的纹理图生成的估计深度图，所述多个纹理图的视角不同；
深度值获取单元212，适于获取所述深度图中像素的深度值；
量化参数数据获取单元213，适于获取与所述估计深度图视角对应的量化参数数据；
量化处理单元214，适于基于与所述估计深度图视角对应的量化参数数据，对所述估计深度图中像素的深度值进行量化处理，得到量化深度图中对应像素的量化深度值。
在具体实施中，量化参数数据获取单元213，适于获取所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离最大值；相应地，所述量化处理单元214，可以基于所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离最大值，采用对应的量化公式对所述估计深度图中的对应像素的深度值进行量化处理，得到量化深度图中对应像素的量化深度值。
所述量化处理单元214的具体量化原理以及可以采用的具体量化公式等均可以参见前述实施例中的描述。
作为一种可选示例，继续参照图21，深度图处理装置210还可以包括：降采样处理单元215和拼接单元216，其中：
所述降采样处理单元215，适于对所述量化深度图进行降采样处理，得到第一深度图；
拼接单元216，适于将所述同步的多个视角的纹理图和对应视角的第一深度图按照预设的拼接方式进行拼接，得到拼接图像。
参照图22所示的自由视点视频重建装置的结构示意图，其中，自由视点视频重建装置220可以包括：第一视频获取单元221、第一量化深度值获取单元222、第一量化参数数据获取单元223、第一深度图反量化处理单元224和第一图像重建单元225，具体地：
所述第一视频获取单元221，适于获取自由视点视频，所述自由视点视频包括多个帧时刻的拼接图像和所述拼接图像对应的参数数据，所述拼接图像包括同步的多个视角的纹理图和对应视角的量化深度图，所述拼接图像对应的参数数据包括：对应视角的估计深度图的量化参数数据和摄像机参数数据；
所述第一量化深度值获取单元222，适于所述量化深度图中像素的量化深度值；
所述第一量化参数数据获取单元223，适于获取与所述量化深度图视角对应的量化参数数据；
所述第一深度图反量化处理单元224，适于基于与所述量化深度图视角对应的量化参数数据，对对应视角的量化深度图进行反量化处理，得到对应的估计深度图；
所述第一图像重建单元225，适于基于多个视角的纹理图以及对应视角的估计深度图，根据获取得到的虚拟视点的位置信息以及所述拼接图像对应的摄像机参数数据，重建得到所述虚拟视点的图像。
在具体实施中，在具体实施中，所述第一量化参数数据获取单元223，适于获取所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离最大值；相应地，所述第一深度图反量化处理单元224，适于基于所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离最大值，采用对应的反量化公式对所述量化深度图中的量化深度值进行反量化处理，得到对应视角的估计深度图对应像素的深度值。
在本说明书一些实施例中，所述第一深度图反量化处理单元224所采用的具体反量化公式可以参见前述实施例，此处不再赘述。
参照图23，本说明书实施例还提供了一种自由视点视频处理装置，如图23所示，自由视点视频处理装置230可以包括：第二视频获取单元231、第二量化深度值获取单元232、第二深度图反量化处理单元233、虚拟视点位置确定单元234和第二图像重建单元235，其中：
所述第二视频获取单元231，适于获取自由视点视频，所述自由视点视频包括多个帧时刻的拼接图像和所述拼接图像对应的参数数据，所述拼接图像包括同步的多个视角的纹理图和对应视角的量化深度图，所述拼接图像对应的参数数据包括：对应视角的估计深度图的量化参数数据和摄像机参数数据；
所述第二量化深度值获取单元232，适于获取所述量化深度图中像素的量化深度值；
所述第二深度图反量化处理单元233，适于获取并基于所述量化深度图对应视角的估计深度图的量化参数数据，对所述量化深度图中像素的量化深度值进行反量化处理，得到对应的估计深度图；
所述虚拟视点位置确定单元234，适于响应于用户交互行为，确定虚拟视点的位置信息；
所述第二图像重建单元235，适于基于同步的多个视角的纹理图以及对应视角的估计深度图，根据虚拟视点的位置信息以及所述拼接图像对应的摄像机参数数据，重建得到所述虚拟视点的图像。
本说明书实施例中自由视点视频处理装置的具体实现可以参见前述自由视点视频处理方法，此处不再赘述。
本说明书还提供了一种电子设备，参照图24所示的电子设备的结构示意图，其中电子设备240可以包括存储器241和处理器242，所述存储器241上存储有可在所述处理器242上运行的计算机指令，其中，所述处理器242运行所述计算机指令时可以执行前述任一实施例所述方法的步骤，具体步骤、原理等可以参见前述对应的方法实施例，此处不再赘述。
在具体实施中，所述电子设备基于具体的方案，可以设置在服务侧作为服务器或云端设备，也可以设置在用户侧，作为终端设备。
本说明书实施例还提供了一种对应的服务端设备，参照图25所示的服务端设备的结构示意图，在具体实施中，如图25所示，所述服务端设备250可以包括处理器251和通信组件252，其中：
所述处理器251，适于执行前述任一实施例所述的深度图处理方法的步骤，得到量化深度图，将同步的多个视角的纹理图和对应视角的第一深度图按照预设的拼接方式进行拼接，得到拼接图像，以及将多个帧的拼接图像及对应的参数数据进行封装处理，得到自由视点视频；
所述通信组件252，适于传输所述自由视点视频。
本说明书实施例还提供了一种终端设备，参照图26所示的终端设备的结构示意图，在具体实施中，如图26所示，终端设备260可以包括通信组件261、处理器262和显示组件263，其中：
所述通信组件261，适于获取自由视点视频；
所述处理器262，适于执行前述任一实施例所述的自由视点视频重建方法或自由视点视频处理方法的步骤，具体步骤可以参见前述自由视点视频重建方法及自由视点视频处理方法实施例中的描述，此处不再赘述。
所述显示组件263，适于显示所述处理器262得到的重建图像。
在本说明书实施例中，终端设备可以为手机等移动终端、平板电脑、个人电脑、电视机或者任意一种终端设备与外接显示装置的组合。
本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，其中，所述计算机指令运行时执行前述任一实施例所述自由视点视频重建方法或自由视点视频处理方法的步骤，具体可以参见前述具体实施例，此处不再赘述。
在具体实施中，所述计算机可读存储介质可以是光盘、机械硬盘、固态硬盘等各种适当的可读存储介质。
虽然本说明书实施例披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本说明书实施例的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (22)

1.一种深度图处理方法，其中，包括：
获取基于多个帧同步的纹理图生成的估计深度图，所述多个纹理图的视角不同；
获取所述估计深度图中像素的深度值；
获取并基于与所述估计深度图视角对应的量化参数数据，对所述估计深度图中像素的深度值进行量化处理，得到量化深度图中对应像素的量化深度值。
2.根据权利要求1所述的方法，其中，所述获取并基于与所述估计深度图视角对应的量化参数数据，对所述估计深度图中的对应像素的深度值进行量化处理，得到量化深度图中对应像素的量化深度值，包括：
获取所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离最大值；
基于所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离最大值，采用对应的量化公式对所述估计深度图中的对应像素的深度值进行量化处理，得到量化深度图中对应像素的量化深度值。
3.根据权利要求2所述的方法，其中，所述基于所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离最大值，采用对应的量化公式对所述估计深度图中的对应像素的深度值进行量化处理，得到量化深度图中对应像素的量化深度值，包括：
采用如下量化公式对估计深度图中的对应像素的深度值进行量化处理：
Figure FDA0002568551800000011
其中，M为所述估计深度图对应像素的量化比特位，range为所述估计深度图中对应像素的深度值，Depth为所述估计深度图中对应像素的量化深度值，N为所述估计深度图对应视角，depth_range_near_N为视角N对应的估计深度图中的距离光心的深度距离最小值，depth_range_far_N为视角N对应的估计深度图中距离光心的深度距离最大值。
4.根据权利要求1所述的方法，其中，还包括：
对所述量化深度图进行降采样处理，得到第一深度图；
将所述帧同步的多个视角的纹理图和对应视角的第一深度图按照预设的拼接方式进行拼接，得到拼接图像。
5.一种自由视点视频重建方法，其中，包括：
获取自由视点视频，所述自由视点视频包括多个帧时刻的拼接图像和所述拼接图像对应的参数数据，所述拼接图像包括同步的多个视角的纹理图和对应视角的量化深度图，所述拼接图像对应的参数数据包括：对应视角的估计深度图的量化参数数据和摄像机参数数据；
获取所述量化深度图中像素的量化深度值；
获取并基于所述量化深度图对应视角的估计深度图的量化参数数据，对所述量化深度图中像素的量化深度值进行反量化处理，得到对应的估计深度图；
基于同步的多个视角的纹理图以及对应视角的估计深度图，根据虚拟视点的位置信息以及所述拼接图像对应的摄像机参数数据，重建得到所述虚拟视点的图像。
6.根据权利要求5所述的方法，其中，所述获取并基于所述量化深度图对应视角的估计深度图的量化参数数据，对所述量化深度图中的量化深度值进行反量化处理，得到对应视角的估计深度图，包括：
获取所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离最大值；
基于所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离最大值，采用对应的反量化公式对所述量化深度图中的量化深度值进行反量化处理，得到对应视角的估计深度图对应像素的深度值。
7.根据权利要求6所述的方法，其中，所述基于所述估计深度图对应视角的距离光心的深度距离最小值和距离光心的深度距离最大值，采用对应的反量化公式对所述量化深度图中的量化深度值进行反量化处理，得到对应视角的估计深度图对应像素的深度值，包括：
采用如下反量化公式对所述量化深度图中的量化深度值进行反量化处理，得到估计深度图中的对应像素值：
Figure FDA0002568551800000031
Figure FDA0002568551800000032
Figure FDA0002568551800000033
其中，M为所述量化深度图对应像素的量化比特位，range为所述估计深度图中对应像素的深度值，Depth为所述量化深度图中对应像素的量化深度值，N为所述估计深度图对应视角，depth_range_near_N为视角N对应的估计深度图中的距离光心的深度距离最小值，depth_range_far_N为视角N对应的估计深度图中距离光心的深度距离最大值，maxdisp为视角N对应的量化深度距离最大值，mindisp为视角N对应的量化深度距离最小值。
8.根据权利要求5至7任一项所述的方法，其中，所述量化深度图的分辨率小于对应视角的纹理图的分辨率；在重建得到所述虚拟视点的图像之前，还包括：
对所述对应视角的估计深度图进行升采样，得到用于重建所述虚拟视点的图像的第二深度图。
9.根据权利要求8所述的方法，其中，所述对所述对应视角的估计深度图进行升采样，得到用于重建所述虚拟视点图像的第二深度图，包括：
获取所述估计深度图中像素的深度值，作为所述第二深度图中对应的偶数行及偶数列的像素值；
对于所述第二深度图中偶数行奇数列的像素的深度值，确定对应纹理图中对应像素作为中间像素，基于对应纹理图中所述中间像素的亮度通道值与所述中间像素对应的左侧像素的亮度通道值和右侧像素的亮度通道值之间的关系确定；
对于所述第二深度图中奇数行像素的深度值，确定对应纹理图中的对应像素作为中间像素，基于对应的纹理图中所述中间像素的亮度通道值与所述中间像素对应的上方像素的亮度通道值和下方像素的亮度通道值之间的关系确定。
10.根据权利要求5至7任一项所述的方法，其中，所述基于同步的多个视角的纹理图以及对应视角的估计深度图，根据获取得到的虚拟视点的位置信息以及所述拼接图像对应的摄像机参数数据，重建得到所述虚拟视点的图像，包括：
根据所述虚拟视点的位置信息，以及所述拼接图像对应的摄像机参数数据，在所述同步的多个视角的纹理图和对应视角的估计深度图中，选择多个目标纹理图和目标深度图；
对所述目标纹理图和目标深度图进行组合渲染，得到所述虚拟视点的图像。
11.一种自由视点视频处理方法，其中，包括：
获取自由视点视频，所述自由视点视频包括多个帧时刻的拼接图像和所述拼接图像对应的参数数据，所述拼接图像包括同步的多个视角的纹理图和对应视角的量化深度图，所述拼接图像对应的参数数据包括：对应视角的估计深度图的量化参数数据和摄像机参数数据；
获取所述量化深度图中像素的量化深度值；
获取并基于所述量化深度图对应视角的估计深度图的量化参数数据，对所述量化深度图中像素的量化深度值进行反量化处理，得到对应的估计深度图；
响应于用户交互行为，确定虚拟视点的位置信息；
基于同步的多个视角的纹理图以及对应视角的估计深度图，根据虚拟视点的位置信息以及所述拼接图像对应的摄像机参数数据，重建得到所述虚拟视点的图像。
12.根据权利要求11所述的方法，其中，所述响应于用户交互行为，确定虚拟视点的位置信息，包括：响应于用户的手势交互操作，确定对应的虚拟视点路径信息；
所述基于同步的多个视角的纹理图以及对应视角的估计深度图，根据获取得到的虚拟视点的位置信息以及所述拼接图像对应的摄像机参数数据，重建得到所述虚拟视点的图像，包括：
根据所述虚拟视点路径信息，选取相应帧时刻的拼接图像中的纹理图和对应视角的估计深度图，作为目标纹理图和目标深度图；
对所述目标纹理图和目标深度图进行组合渲染，得到所述虚拟视点的图像。
13.根据权利要求11或12所述的方法，其中，还包括：
获取所述虚拟视点的图像中的虚拟渲染目标对象；
获取基于所述虚拟渲染目标对象的增强现实特效输入数据所生成的虚拟信息图像；
将所述虚拟信息图像与所述虚拟视点的图像进行合成处理并展示。
14.根据权利要求13所述的方法，其中，所述获取基于所述虚拟渲染目标对象的增强现实特效输入数据所生成的虚拟信息图像，包括：
根据三维标定得到的所述虚拟渲染目标对象在所述虚拟视点的图像中的位置，得到与所述虚拟渲染目标对象位置匹配的虚拟信息图像。
15.根据权利要求13所述的方法，其中，所述获取所述虚拟视点的图像中的虚拟渲染目标对象，包括：
响应于特效生成交互控制指令，获取所述虚拟视点的图像中的虚拟渲染目标对象。
16.一种深度图处理装置，其中，包括：
估计深度图获取单元，适于获取基于多个帧同步的纹理图生成的估计深度图，所述多个纹理图的视角不同；
深度值获取单元，适于获取所述深度图中像素的深度值；
量化参数数据获取单元，适于获取与所述估计深度图视角对应的量化参数数据；
量化处理单元，适于基于与所述估计深度图视角对应的量化参数数据，对所述估计深度图中像素的深度值进行量化处理，得到量化深度图中对应像素的量化深度值。
17.一种自由视点视频重建装置，其中，包括：
第一视频获取单元，适于获取自由视点视频，所述自由视点视频包括多个帧时刻的拼接图像和所述拼接图像对应的参数数据，所述拼接图像包括同步的多个视角的纹理图和对应视角的量化深度图，所述拼接图像对应的参数数据包括：对应视角的估计深度图的量化参数数据和摄像机参数数据；
第一量化深度值获取单元，适于所述量化深度图中像素的量化深度值；
第一量化参数数据获取单元，适于获取与所述量化深度图视角对应的量化参数数据；
第一深度图反量化处理单元，适于基于与所述量化深度图视角对应的量化参数数据，对对应视角的量化深度图进行反量化处理，得到对应的估计深度图；
第一图像重建单元，适于基于多个视角的纹理图以及对应视角的估计深度图，根据获取得到的虚拟视点的位置信息以及所述拼接图像对应的摄像机参数数据，重建得到所述虚拟视点的图像。
18.一种自由视点视频处理装置，其中，包括：
第二视频获取单元，适于获取自由视点视频，所述自由视点视频包括多个帧时刻的拼接图像和所述拼接图像对应的参数数据，所述拼接图像包括同步的多个视角的纹理图和对应视角的量化深度图，所述拼接图像对应的参数数据包括：对应视角的估计深度图的量化参数数据和摄像机参数数据；
第二量化深度值获取单元，适于获取所述量化深度图中像素的量化深度值；
第二深度图反量化处理单元，适于获取并基于所述量化深度图对应视角的估计深度图的量化参数数据，对所述量化深度图中像素的量化深度值进行反量化处理，得到对应的估计深度图；
虚拟视点位置确定单元，适于响应于用户交互行为，确定虚拟视点的位置信息；
第二图像重建单元，适于基于同步的多个视角的纹理图以及对应视角的估计深度图，根据虚拟视点的位置信息以及所述拼接图像对应的摄像机参数数据，重建得到所述虚拟视点的图像。
19.一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其中，所述处理器运行所述计算机指令时执行权利要求1至4、权利要求5至10或权利要求11至15任一项所述方法的步骤。
20.一种服务端设备，包括处理器和通信组件，其中：
所述处理器，适于执行权利要求1至4任一项所述的方法的步骤，得到量化深度图，将同步的多个视角的纹理图和对应视角的第一深度图按照预设的拼接方式进行拼接，得到拼接图像，以及将多个帧的拼接图像及对应的参数数据进行封装处理，得到自由视点视频；
所述通信组件，适于传输所述自由视点视频。
21.一种终端设备，包括通信组件、处理器和显示组件，其中：
所述通信组件，适于获取自由视点视频；
所述处理器，适于执行权利要求5至10或权利要求11至15任一项所述的方法的步骤；
所述显示组件，适于显示所述处理器得到的重建图像。
22.一种计算机可读存储介质，其上存储有计算机指令，其中，所述计算机指令运行时执行权利要求1至4、权利要求5至10或权利要求11至15任一项所述方法的步骤。
CN202010630749.XA 2020-07-03 2020-07-03 深度图及视频处理、重建方法、装置、设备及存储介质 Pending CN113963094A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010630749.XA CN113963094A (zh) 2020-07-03 2020-07-03 深度图及视频处理、重建方法、装置、设备及存储介质
PCT/CN2021/102335 WO2022001865A1 (zh) 2020-07-03 2021-06-25 深度图及视频处理、重建方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010630749.XA CN113963094A (zh) 2020-07-03 2020-07-03 深度图及视频处理、重建方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113963094A true CN113963094A (zh) 2022-01-21

Family

ID=79317406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010630749.XA Pending CN113963094A (zh) 2020-07-03 2020-07-03 深度图及视频处理、重建方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN113963094A (zh)
WO (1) WO2022001865A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197319A (zh) * 2023-11-07 2023-12-08 腾讯科技（深圳）有限公司 图像生成方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230033177A1 (en) * 2021-07-30 2023-02-02 Zoox, Inc. Three-dimensional point clouds based on images and depth data

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150013741A (ko) * 2012-07-09 2015-02-05 니폰 덴신 덴와 가부시끼가이샤 영상 부호화 방법 및 장치, 영상 복호 방법 및 장치와 이들의 프로그램
CN103905812A (zh) * 2014-03-27 2014-07-02 北京工业大学 一种纹理/深度联合上采样方法
CN105049866B (zh) * 2015-07-10 2018-02-27 郑州轻工业学院 基于绘制失真模型的多视点加深度编码的码率分配方法
EP3535975B1 (en) * 2016-12-02 2020-11-04 Huawei Technologies Co., Ltd. Apparatus and method for 3d video coding
JP7233150B2 (ja) * 2018-04-04 2023-03-06 日本放送協会 奥行推定装置およびそのプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197319A (zh) * 2023-11-07 2023-12-08 腾讯科技（深圳）有限公司 图像生成方法、装置、电子设备及存储介质
CN117197319B (zh) * 2023-11-07 2024-03-22 腾讯科技（深圳）有限公司 图像生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2022001865A1 (zh) 2022-01-06

Similar Documents

Publication Publication Date Title
US11037365B2 (en) Method, apparatus, medium, terminal, and device for processing multi-angle free-perspective data
US9832450B2 (en) Methods and apparatus for generating and using reduced resolution images and/or communicating such images to a playback or content distribution device
CN113891060B (zh) 自由视点视频重建方法及播放处理方法、设备及存储介质
US10650590B1 (en) Method and system for fully immersive virtual reality
CN111669567B (zh) 多角度自由视角视频数据生成方法及装置、介质、服务器
CN111669564B (zh) 图像重建方法、系统、设备及计算机可读存储介质
CN111669561B (zh) 多角度自由视角图像数据处理方法及装置、介质、设备
CN111669518A (zh) 多角度自由视角交互方法及装置、介质、终端、设备
WO2022001865A1 (zh) 深度图及视频处理、重建方法、装置、设备及存储介质
CN111669570B (zh) 多角度自由视角视频数据处理方法及装置、介质、设备
CN111669569A (zh) 一种视频生成方法及装置、介质、终端
CN111669604A (zh) 一种采集设备设置方法及装置、终端、采集系统、设备
CN111669603B (zh) 多角度自由视角数据处理方法及装置、介质、终端、设备
CN111669568B (zh) 多角度自由视角交互方法及装置、介质、终端、设备
CN111669571B (zh) 多角度自由视角图像数据生成方法及装置、介质、设备
CN114071115A (zh) 自由视点视频重建及播放处理方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination