CN113891060B - 自由视点视频重建方法及播放处理方法、设备及存储介质 - Google Patents
自由视点视频重建方法及播放处理方法、设备及存储介质 Download PDFInfo
- Publication number
- CN113891060B CN113891060B CN202010630754.0A CN202010630754A CN113891060B CN 113891060 B CN113891060 B CN 113891060B CN 202010630754 A CN202010630754 A CN 202010630754A CN 113891060 B CN113891060 B CN 113891060B
- Authority
- CN
- China
- Prior art keywords
- depth
- pixels
- image
- map
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000003672 processing method Methods 0.000 title claims description 9
- 230000001360 synchronised effect Effects 0.000 claims abstract description 46
- 230000000007 visual effect Effects 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000000694 effects Effects 0.000 claims description 33
- 230000003993 interaction Effects 0.000 claims description 27
- 238000005070 sampling Methods 0.000 claims description 23
- 238000001914 filtration Methods 0.000 claims description 15
- 230000006399 behavior Effects 0.000 claims description 13
- 230000003190 augmentative effect Effects 0.000 claims description 12
- 230000002452 interceptive effect Effects 0.000 claims description 11
- 238000009877 rendering Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 9
- 230000036961 partial effect Effects 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 17
- 238000013507 mapping Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000004927 fusion Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Abstract
自由视点视频重建方法及播放处理方法、设备及存储介质，所述视频重建方法包括：获取多个帧时刻的拼接图像，所述拼接图像包括同步的多个视角的纹理图和对应视角的第一深度图，所述第一深度图的分辨率小于所述纹理图的分辨率；对所述拼接图像中的纹理图和第一深度图进行分离；基于所述拼接图像中对应纹理图的分辨率对所述第一深度图进行升采样，得到第二深度图；基于所述拼接图像中同步的多个视角的纹理图以及对应视角的第二深度图，根据虚拟视点的位置信息以及所述拼接图像对应的参数数据，重建得到所述虚拟视点的图像。采用上述方案能够提高重建得到的自由视点图像的清晰度。
Description
技术领域
本说明书实施例涉及视频处理技术领域，尤其涉及自由视点视频重建方法及播放处理方法、设备及存储介质。
背景技术
自由视点视频是一种能够提供高自由度观看体验的技术，用户可以在观看过程中通过交互操作，调整观看视角，从想观看的自由视点角度进行观看，从而可以大幅提升观看体验。
在大范围的场景中，比如体育比赛，通过基于深度图的图像绘制(Depth ImageBased Rendering，DIBR)技术来实现高自由度的观看是一种具有很大潜力和可行性的方案。自由视点视频的表达一般为多相机采集到的纹理图与相应深度图进行拼接。然而，由于终端视频解码分辨率的局限性，目前基于DIBR技术重建得到的图像的清晰度会有所下降。
发明内容
有鉴于此，本说明书实施例提供一种自由视点视频重建方法及播放处理方法、设备及存储介质，能够提高重建得到的自由视点图像的清晰度。
本说明书实施例提供了一种自由视点视频重建方法，包括：
获取多个帧时刻的拼接图像，所述拼接图像包括同步的多个视角的纹理图和对应视角的第一深度图，所述第一深度图的分辨率小于所述纹理图的分辨率；
对所述拼接图像中的纹理图和第一深度图进行分离；
基于所述拼接图像中对应纹理图的分辨率对所述第一深度图进行升采样，得到第二深度图；
基于所述拼接图像中同步的多个视角的纹理图以及对应视角的第二深度图，根据虚拟视点的位置信息以及所述拼接图像对应的参数数据，重建得到所述虚拟视点的图像。
可选地，所述基于所述拼接图像中对应纹理图的分辨率对所述第一深度图进行升采样，得到第二深度图，包括：
获取所述第一深度图中像素的深度值，作为所述第二深度图中对应的偶数行及偶数列的像素值；
对于所述第二深度图中偶数行奇数列的像素的深度值，确定对应纹理图中对应像素作为中间像素，基于对应纹理图中所述中间像素的亮度通道值与所述中间像素对应的左侧像素的亮度通道值和右侧像素的亮度通道值之间的关系确定；
对于所述第二深度图中奇数行像素的深度值，确定对应纹理图中的对应像素作为中间像素，基于对应的纹理图中所述中间像素的亮度通道值与所述中间像素对应的上方像素的亮度通道值和下方像素的亮度通道值之间的关系确定。
可选地，所述对于所述第二深度图中偶数行奇数列的像素的深度值，确定对应纹理图中对应像素作为中间像素，基于对应纹理图中所述中间像素的亮度通道值与所述中间像素对应的左侧像素的亮度通道值和右侧像素的亮度通道值之间的关系确定，包括：
若对应纹理图中中间像素的亮度通道值与所述中间像素对应的右侧像素的亮度通道值之差的绝对值小于所述中间像素的亮度通道值与左侧像素的亮度通道值之差的绝对值与预设阈值之商，则选取所述右侧像素对应的深度值作为所述第二深度图中偶数行奇数列相应像素的深度值；
若对应纹理图中中间像素的亮度通道值与所述中间像素对应的左侧像素的亮度通道值之差的绝对值小于所述中间像素的亮度通道值与右侧像素的亮度通道值的绝对值之差与所述预设阈值之商，则选取所述左侧像素对应的深度值作为所述第二深度图中偶数行奇数列相应像素的深度值；
否则，选取所述左侧像素和右侧像素对应的深度值中的最大值作为所述第二深度图中偶数行奇数列相应像素的深度值。
可选地，所述对于所述第二深度图中奇数行像素的深度值，确定对应纹理图中的对应像素作为中间像素，基于对应的纹理图中所述中间像素的亮度通道值与所述中间像素对应的上方像素的亮度通道值和下方像素的亮度通道值之间的关系确定，包括：
若对应纹理图中中间像素的亮度通道值与所述中间像素对应的下方像素的亮度通道值之差的绝对值小于所述中间像素的亮度通道值与上方像素的亮度通道值的绝对值与预设阈值之商，则选取所述下方像素对应的深度值作为所述第二深度图中奇数行相应像素的深度值；
若对应纹理图中中间像素的亮度通道值与所述中间像素对应的上方像素的亮度通道值之差的绝对值小于所述中间像素的亮度通道值与下方像素的亮度通道值之差的绝对值与所述预设阈值之商，则选取所述上方像素对应的深度值作为所述第二深度图中奇数行相应像素的深度值；
否则，选取所述上方像素和下方像素对应的深度值中的最大值作为所述第二深度图中偶数行奇数列相应像素的深度值。
可选地，所述基于所述拼接图像中对应纹理图的分辨率对所述第一深度图进行升采样，得到第二深度图，包括：
获取所述第一深度图中像素的深度值，作为所述第二深度图中对应行和列的像素值；
对于所述第二深度图中与所述第一深度图中的像素不存在对应关系的像素，基于对应纹理图中的相应像素以及所述相应像素的周围像素的像素值之间的差异进行滤波得到。
可选地，所述对于所述第二深度图中与所述第一深度图中的像素不存在对应关系的像素，基于对应纹理图中的相应像素以及所述相应像素的周围像素的像素值之间的差异进行滤波得到，包括：
将所述纹理图中的相应像素与所述相应像素周围四个对角位置像素的像素值进行比较，求取与所述相应像素的像素值最相近的像素点；
将所述像素值最相近的像素点对应的第一深度图中的深度值作为与所述纹理图中相应像素在所述第二深度图中对应像素的深度值。
可选地，所述对于所述第二深度图中与所述第一深度图中的像素不存在对应关系的像素，基于对应纹理图中的相应像素以及所述相应像素的周围像素的像素值之间的差异进行滤波得到，包括：
将所述纹理图中的相应像素与所述相应像素周围像素进行比较，根据像素值的相似程度，对周围像素对应的第一深度图中的深度值进行加权处理，得到所述纹理图中的相应像素在所述第二深度图中对应像素的深度值。
可选地，所述拼接图像为矩形。
可选地，所述对与所述纹理图的分辨率相同的原始深度图降采样得到所述第一深度图。
可选地，所述对与所述纹理图的分辨率相同的原始深度图降采样得到所述第一深度图，包括以下至少一种：
对所述原始深度图中的像素进行抽点处理，得到所述第一深度图；
对所述深度图中的像素做基于对应纹理图的滤波，得到所述第一深度图。
可选地，所述基于所述拼接图像中同步的多个视角的纹理图以及对应视角的第二深度图，根据虚拟视点的位置信息以及所述拼接图像对应的参数数据，重建得到所述虚拟视点的图像，包括：
根据所述虚拟视点的位置信息，以及所述拼接图像对应的参数数据，在所述同步的多个视角的纹理图和对应视角的第二深度图中，选择多个目标纹理图和目标深度图；
对所述目标纹理图和目标深度图进行组合渲染，得到所述虚拟视点的图像。
可选地，所述根据所述虚拟视点的位置信息，以及所述拼接图像对应的参数数据，在所述同步的多个视角的纹理图和对应视角的第二深度图中，选择多个目标纹理图和目标深度图，包括：
根据所述虚拟视点的位置信息，以及所述拼接图像对应的参数数据，在所述同步的多个视角的纹理图和对应视角的深度图中选择与所述虚拟视点位置满足预设位置关系和/或数量关系的纹理图和深度图作为所述目标纹理图和目标深度图。
可选地，所述对所述拼接图像的纹理图和第一深度图进行分离，包括：基于解码得到的所述拼接图像的拼接规则信息对所述拼接图像的纹理图和第一深度图进行分离。
本说明书实施例还提供了一种自由视点视频播放处理方法，所述方法包括：
获取多个帧时刻的拼接图像和所述拼接图像的参数数据，所述拼接图像包括同步的多个视角的纹理图和对应视角的第一深度图；
基于所述拼接图像的参数数据，确定所述第一深度图的分辨率小于所述纹理图的分辨率时，基于所述拼接图像中对应纹理图的分辨率对所述拼接图像中的第一深度图进行升采样，得到第二深度图；
响应于用户交互行为，确定虚拟视点的位置信息；
基于所述拼接图像中同步的多个视角的纹理图以及对应视角的第二深度图，根据虚拟视点的位置信息以及所述拼接图像对应的参数数据，重建得到所述虚拟视点的图像。
可选地，所述响应于用户交互行为，确定虚拟视点的位置信息，包括：响应于用户的手势交互操作，确定对应的虚拟视点路径信息；
所述基于所述拼接图像中同步的多个视角的纹理图以及对应视角的第二深度图，根据虚拟视点的位置信息以及所述拼接图像对应的参数数据，重建得到所述虚拟视点的图像，包括：
根据所述虚拟视点路径信息，选取相应帧时刻的拼接图像中的纹理图和对应视角的第二深度图，作为目标纹理图和目标深度图；
对所述目标纹理图和目标深度图进行组合渲染，得到所述虚拟视点的图像。
可选地，所述方法还包括：
获取所述虚拟视点的图像中的虚拟渲染目标对象；
获取基于所述虚拟渲染目标对象的增强现实特效输入数据所生成的虚拟信息图像；
将所述虚拟信息图像与所述虚拟视点的图像进行合成处理并展示。
可选地，所述获取基于所述虚拟渲染目标对象的增强现实特效输入数据所生成的虚拟信息图像，包括：
根据三维标定得到的所述虚拟渲染目标对象在所述虚拟视点的图像中的位置，得到与所述虚拟渲染目标对象位置匹配的虚拟信息图像。
可选地，所述获取所述虚拟视点的图像中的虚拟渲染目标对象，包括：
响应于特效生成交互控制指令，获取所述虚拟视点的图像中的虚拟渲染目标对象。
本说明书实施例还提供了一种自由视点视频重建装置，所述装置包括：
获取单元，适于获取多个帧时刻的拼接图像，所述拼接图像包括同步的多个视角的纹理图和对应视角的第一深度图，所述第一深度图的分辨率小于所述纹理图的分辨率；
分离单元，适于对所述拼接图像的纹理图和第一深度图进行分离；
升采样单元，适于基于所述拼接图像中对应纹理图的分辨率对所述第一深度图进行升采样，得到第二深度图；
重建单元，适于基于所述拼接图像中同步的多个视角的纹理图以及对应视角的第二深度图，根据虚拟视点的位置信息以及所述拼接图像对应的参数数据，重建得到所述虚拟视点的图像。
本说明书实施例还提供了一种自由视点视频播放处理装置，所述装置包括：
拼接图像获取单元，适于获取多个帧时刻的拼接图像和所述拼接图像的参数数据，所述拼接图像包括同步的多个视角的纹理图和对应视角的第一深度图；
第二深度图生成单元，适于基于所述拼接图像的参数数据，确定所述第一深度图的分辨率小于所述纹理图的分辨率时，基于所述拼接图像中对应纹理图的分辨率对所述拼接图像中的第一深度图进行升采样，得到第二深度图；
虚拟视点位置确定单元，适于响应于用户交互行为，确定虚拟视点的位置信息；
图像重建单元，适于基于所述拼接图像中同步的多个视角的纹理图以及对应视角的第二深度图，根据虚拟视点的位置信息以及所述拼接图像对应的参数数据，重建得到所述虚拟视点的图像。
本说明书实施例还提供了一种终端设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其中，所述处理器运行所述计算机指令时执行前述任一实施例所述方法的步骤。
本说明书实施例还提供了一种终端设备，包括通信组件、处理器和显示组件，其中：
所述通信组件，适于获取多个帧时刻的拼接图像；
所述处理器，适于执行前述任一实施例所述的方法的步骤；
所述显示组件，适于显示所述处理器得到的重建图像。
本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，其中，所述计算机指令运行时执行前述任一实施例所述方法的步骤。
与现有技术相比，本说明书实施例的技术方案具有以下有益效果：
采用本说明书实施例的自由视点视频重建方法，一方面，在整体拼接图像解码分辨率的限制下，由于所述第一深度图的分辨率小于对应纹理图的分辨率，因此可以传输更高清晰度的纹理图，进而通过对所述第一深度图进行升采样，得到第二深度图，并基于所述拼接图像中同步的多个视角的纹理图以及对应视角的第二深度图进行自由视点视频重建，从而可以得到更高清晰度的自由视点图像。
进一步地，根据所述虚拟视点的位置信息，以及所述拼接图像对应的参数数据，在所述同步的多个视角的纹理图和对应视角的第二深度图中，选择多个目标纹理图和目标深度图进行组合渲染，得到所述虚拟视点的图像，在这一虚拟视点图像重建过程中，由于仅从拼接图像中选择了部分纹理图和第二深度图作为目标纹理图和目标深度图进行重建，因此可以节约数据处理资源，提高图像重建效率。
附图说明
图1是本说明书实施例中一种自由视点视频展示的具体应用系统示意图；
图2是本说明书实施例中一种终端设备交互界面示意图；
图3是本说明书实施例中一种采集设备设置方式的示意图；
图4是本说明书实施例中另一种终端设备交互界面示意图；
图5是本说明书实施例中一种自由视点视频数据生成过程的示意图；
图6是本说明书实施例中一种6DoF视频数据的生成及处理的示意图；
图7是本说明书实施例中一种数据头文件的结构示意图；
图8是本说明书实施例中一种用户侧对6DoF视频数据处理的示意图；
图9是现有技术中一种拼接图像的结构示意图；
图10是本说明书实施例中一种自由视点视频重建方法的流程图；
图11是本说明书实施例中一种拼接图像的结构示意图；
图12是本说明书实施例中一种组合渲染方法的流程图；
图13是本说明书实施例中一种自由视点视频播放处理方法的流程图；
图14是本说明书实施例中另一种自由视点视频播放处理方法的流程图；
图15至图19是本说明书实施例中一种交互终端的显示界面示意图；
图20是本说明书实施例中一种自由视点视频重建装置的结构示意图；
图21是本说明书实施例中一种自由视点视频播放处理装置的结构示意图；
图22是本说明书实施例中一种终端设备的结构示意图；
图23是本说明书实施例中另一种终端设备的结构示意图。
具体实施方式
为使本领域技术人员更好地理解和实施本说明书中的实施例，以下首先结合附图及具体应用场景对自由视点视频的实现方式进行示例性介绍。
参考图1，本发明实施例中一种自由视点视频展示的具体应用系统，可以包括多个采集设备的采集系统11、服务器12和显示设备13，其中采集系统11，可以对待观看区域进行图像采集；采集系统11或者由服务器12，可以对获取到的同步的多个纹理图进行处理，生成能够支持显示设备13进行虚拟视点切换的多角度自由视角数据。显示设备13可以展示基于多角度自由视角数据生成的重建图像，重建图像对应于虚拟视点，根据用户指示可以展示对应于不同虚拟视点的重建图像，切换观看的位置和观看角度。
在具体实现中，进行图像重建，得到重建图像的过程可以由显示设备13实施，也可以由位于内容分发网络(Content Delivery Network，CDN)的设备以边缘计算的方式实施。可以理解的是，图1仅为示例，并非对采集系统、服务器、终端设备以及具体实现方式的限制。
继续参考图1，用户可以通过显示设备13对待观看区域进行观看，在本实施例中，待观看区域为篮球场。如前所述，观看的位置和观看角度是可以切换的。
举例而言，用户可以在屏幕滑动，以切换虚拟视点。在本发明一实施例中，结合参考图2，用户手指沿D22方向滑动屏幕时，可以切换进行观看的虚拟视点。继续参考图3，滑动前的虚拟视点的位置可以是VP1，滑动屏幕切换虚拟视点后，虚拟视点的位置可以是VP2。结合参考图4，在滑动屏幕后，屏幕展示的重建图像可以如图4所示。重建图像，可以是基于由实际采集情境中的多个采集设备采集到的图像生成的多角度自由视角数据进行图像重建得到的。
可以理解的是，切换前进行观看的图像，也可以是重建图像。重建图像可以是视频流中的帧图像。另外，根据用户指示切换虚拟视点的方式可以是多样的，在此不做限制。
在具体实施中，虚拟视点可以用6自由度(Degree of Freedom，DoF)的坐标表示，其中，虚拟视点的空间位置可以表示为(x，y，z)，视角可以表示为三个旋转方向
虚拟视点是一个三维概念，生成重建图像需要三维信息。在一种具体实现方式中，多角度自由视角数据中可以包括深度图数据，用于提供平面图像外的第三维信息。相比于其它实现方式，例如通过点云数据提供三维信息，深度图数据的数据量较小。
在本发明实施例中，虚拟视点的切换可以在一定范围内进行，该范围即为多角度自由视角范围。也即，在多角度自由视角范围内，可以任意切换虚拟视点位置以及视角。
多角度自由视角范围与采集设备的布置相关，采集设备的拍摄覆盖范围越广，则多角度自由视角范围越大。终端设备展示的画面质量，与采集设备的数量相关，通常，设置的采集设备的数量越多，展示的画面中空洞区域越少。
此外，多角度自由视角的范围与采集设备的空间分布相关。可以基于采集设备的空间分布关系设置多角度自由视角的范围以及在终端侧与显示设备的交互方式。
本领域技术人员可以理解的是，上述各实施例以及对应的附图仅为举例示意性说明，并非对采集设备的设置以及多角度自由视角范围之间关联关系的限定，也并非对交互方式以及显示设备展示效果的限定。
结合参照图5，为进行自由视点视频重建，需要进行纹理图的采集和深度图计算，包括了三个主要步骤，分别为多摄像机的视频采集(Multi-camera Video Capturing)，摄像机内外参计算(Camera Parameter Estimation)，以及深度图计算(Depth MapCalculation)。对于多摄像机采集来说，要求各个摄像机采集的视频可以帧级对齐。其中，通过多摄像机的视频采集可以得到纹理图(Texture Image)；通过摄像机内外参计算，可以得到摄像机参数(Camera Parameter)，可以包括摄像机内部参数数据和外部参数数据；通过深度图计算，可以得到深度图(Depth Map)，多个同步的纹理图及对应视角的深度图和摄像机参数，形成6DoF视频数据。
在本说明书实施例方案中，并不需要特殊的摄像机，比如光场摄像机，来做视频的采集。同样的，也不需要在采集前先进行复杂的摄像机校准的工作。可以布局和安排多摄像机的位置，以更好的拍摄需要拍摄的物体或者场景。
在以上的三个步骤处理完后，就得到了从多摄像机采集来的纹理图，所有摄像机的摄像机参数，以及每个摄像机的深度图。可以把这三部分数据称作为多角度自由视角视频数据中的数据文件，也可以称作6自由度视频数据(6DoF video data)。因为有了这些数据，用户端就可以根据虚拟的6自由度(Degree of Freedom，DoF)位置，来生成虚拟视点，从而提供6DoF的视频体验。
结合参考图6，6DoF视频数据以及指示性数据可以经过压缩和传输到达用户侧，用户侧可以根据接收到的数据，获取用户侧6DoF表达，也即前述的6DoF视频数据和元数据。其中，指示性数据也可以称作元数据(Metadata)，
结合参考图7，元数据可以用来描述6DoF视频数据的数据模式，具体可以包括：拼接模式元数据(Stitching Pattern metadata)，用来指示拼接图像中多个纹理图的像素数据以及深度图数据的存储规则；边缘保护元数据(Padding pattern metadata)，可以用于指示对拼接图像中进行边缘保护的方式，以及其它元数据(Other metadata)。元数据可以存储于数据头文件，具体的存储顺序可以如图7所示，或者以其它顺序存储。
结合参考图8，用户侧得到了6DoF视频数据，其中包括了摄像机参数，纹理图以及深度图，以及描述元数据(元数据)，除此之外，还有用户端的交互行为数据。通过这些数据，用户侧可以采用基于深度图的渲染(DIBR，Depth Image-Based Rendering)方式进行的6DoF渲染，从而在一个特定的根据用户行为产生的6DoF位置产生虚拟视点的图像，也即根据用户指示，确定与该指示对应的6DoF位置的虚拟视点。
目前，自由视点视频数据中对于任一视频帧，一般表达为多摄像机采集的纹理图与相应深度图所形成的拼接图像。如图9所示的拼接图像的结构示意图，其中，拼接图像的上半部分为纹理图区域，划分称为8个纹理图子区域，分别存储同步的8个纹理图的像素数据，每个纹理图的拍摄角度不同，也即视角不同。拼接图像的下半部分为深度图区域，划分为8个深度图子区域，分别存储上述8个纹理图的对应的深度图。其中，视角N的纹理图与视角N的深度图是像素点一一对应的，将所述拼接图像压缩后传输到终端进行解码和DIBR，从而可以在用户互动的视点上插值出图像。
发明人经研究发现，对于每一个纹理图，都有一个相同分辨率的深度图与其对应，从而整体拼接图像的分辨率是纹理图集合的两倍，由于终端(如移动终端)的视频解码分辨率一般是有限的，因此上述自由视点视频数据的表达方法只能通过降低纹理图的分辨率来实现，从而导致用户在终端侧感受到的重建图像的清晰度下降。
针对上述问题，本说明书实施例中，一方面，在整体拼接图像解码分辨率的限制下，设置组成拼接图像中的第一深度图的分辨率小于拼接图像中对应纹理图的分辨率，因此可以传输更高清晰度的纹理图，进而通过对所述第一深度图进行升采样，得到第二深度图，并基于所述拼接图像中同步的多个视角的纹理图以及对应视角的第二深度图进行自由视点视频重建，从而可以得到更高清晰度的自由视点图像。
为使本领域技术人员对本说明书实施例的方案、原理和优点更为明显易懂，以下结合附图对本说明书具体实施例进行详细介绍。
参照图10所示的自由视点视频重建方法的流程图，具体可以包括如下步骤：
S101，获取多个帧时刻的拼接图像，所述拼接图像包括同步的多个视角的纹理图和对应视角的第一深度图，所述第一深度图的分辨率小于所述纹理图的分辨率。
如图11所示的本说明书实施例中一种拼接图像的结构示意图，其中包括同步的视角1纹理图至视角16纹理图以及视角1深度图至视角16深度图，其中，拼接图像中视角1深度图至视角16深度图的分辨率为视角1纹理图至视角16纹理图的分辨率的25％。
在具体实施中，为提高视频传输效率，所述纹理图和所述第一深度图拼接所得到的拼接图像可以为矩形。
在具体实施中，结合参照图1，可以由采集系统11或服务器12等对与所述纹理图的分辨率相同的原始深度图降采样得到所述第一深度图。例如，可以进行1/2降采样，1/4降采样。
需要说明的是，以上仅为示例性说明。本说明书实施例中并不限定拼接图像的具体拼接格式，也不限定所述第一深度图与所述纹理图的分辨率的具体比例关系。可以根据终端视频解码分辨率、纹理图的数量及分辨率等具体设定。
S102，对所述拼接图像的纹理图和第一深度图进行分离。
在具体实施中，可以基于解码得到的所述拼接图像的拼接规则信息对所述拼接图像的纹理图和第一深度图进行分离。如前实施例所述，可以通过自由视点视频的头文件中存储的元数据获取所述拼接图像的拼接规则。
S103，基于所述拼接图像中对应纹理图的分辨率对所述第一深度图进行升采样，得到第二深度图。
其中，通过步骤S103得到的第二深度图的分辨率可以与对应纹理图的分辨率相同，也可以不同。
S104，基于所述拼接图像中同步的多个视角的纹理图以及对应视角的第二深度图，根据虚拟视点的位置信息以及所述拼接图像对应的参数数据，重建得到所述虚拟视点的图像。
对于步骤S101，以下通过两种降采样的具体示例进行详细描述：
一种是，对所述原始深度图中的像素进行抽点处理，得到所述第一深度图。例如可以对所述原始深度图中的像素点每隔一个像素点抽取一个像素点，得到所述第一深度图，得到的所述第一深度图的分辨率为所述原始深度图的50％。
另一种是，对所述深度图中的像素做基于对应纹理图的滤波，得到所述第一深度图。
在具体实施中，对于步骤S103可以有多种方式对第一深度图进行升采样，得到第二深度图，可以基于所述第二深度图中与所述第一深度图中的像素是否存在对应关系而分不同情况，以下通过一些具体示例进行说明。
方式一示例，对经过1/4降采样的第一深度图进行升采样处理，得到与所述纹理图分辨率相同的第二深度图，基于不同的行和列，具体可以采取如下步骤：
(1)获取所述第一深度图中像素的深度值，作为所述第二深度图中对应的偶数行及偶数列的像素值。
(2)对于所述第二深度图中偶数行奇数列的像素的深度值，可以确定对应纹理图中对应像素作为中间像素，基于对应纹理图中所述中间像素的亮度通道值与所述中间像素对应的左侧像素的亮度通道值和右侧像素的亮度通道值之间的关系确定。
具体地，基于对应纹理图中所述中间像素的亮度通道值与所述中间像素对应的左侧像素的亮度通道值和右侧像素的亮度通道值之间的关系，共有三种情况：
a1.若对应纹理图中中间像素的亮度通道值与所述中间像素对应的右侧像素的亮度通道值之差的绝对值小于所述中间像素的亮度通道值与左侧像素的亮度通道值的绝对值与预设阈值之商，则选取所述右侧像素对应的深度值作为所述第二深度图中偶数行奇数列相应像素的深度值，即：
a2.若对应纹理图中中间像素的亮度通道值与所述中间像素对应的左侧像素的亮度通道值之差的绝对值小于所述中间像素的亮度通道值与右侧像素的亮度通道值之差的绝对值与所述预设阈值之商，则选取所述左侧像素对应的深度值作为所述第二深度图中偶数行奇数列相应像素的深度值；
a3.否则，选取所述左侧像素和右侧像素对应的深度值中的最大值作为所述第二深度图中偶数行奇数列相应像素的深度值。
(3)对于所述第二深度图中奇数行像素的深度值，确定对应纹理图中的对应像素作为中间像素，基于对应的纹理图中所述中间像素的亮度通道值与所述中间像素对应的上方像素的亮度通道值和下方像素的亮度通道值之间的关系确定。
b1.若对应纹理图中中间像素的亮度通道值与所述中间像素对应的下方像素的亮度通道值之差的绝对值小于所述中间像素的亮度通道值与上方像素的亮度通道值之差的绝对值与预设阈值之商，则选取所述下方像素对应的深度值作为所述第二深度图中奇数行相应像素的深度值；
b2.若对应纹理图中中间像素的亮度通道值与所述中间像素对应的上方像素的亮度通道值之差的绝对值小于所述中间像素的亮度通道值与下方像素的亮度通道值之差的绝对值与所述预设阈值之商，则选取所述上方像素对应的深度值作为所述第二深度图中奇数行相应像素的深度值；
b3.否则，选取所述上方像素和下方像素对应的深度值中的最大值作为所述第二深度图中偶数行奇数列相应像素的深度值。
上述步骤(2)中的a1至a3三种情况用公式可以表示为：
若abs(pix_C-pix_R)<abs(pix_C-pix_L)/THR，则选取Dep_R；
若abs(pix_C-pix_L)<abs(pix_C-pix_R)/THR，则选取Dep_L；
否则，对于其他情况，选取Max(Dep_R，Dep_L)。
上述步骤(3)中b1至b3三种情况用公式可以表示为：
若abs(pix_C-pix_D)<abs(pix_C-pix_U)/THR，则采用Dep_D；
若abs(pix_C-pix_U)<abs(pix_C-pix_D)/THR，则选取Dep_U；
否则，对于其他情况，选取Max(Dep_D，Dep_U)。
在上述公式中，pix_C为第二深度图中深度值对应位置的纹理图中中间像素的亮度通道值(Y值)，pix_L为pix_C的左侧像素的亮度通道值，pix_R为pix_C的右侧像素的亮度通道值，pix_U为pix_C的上方像素的亮度通道值，pix_D下方像素的亮度通道值，Dep_R为第二深度图中深度值对应位置的纹理图中中间像素的右侧像素对应的深度值，Dep_L为第二深度图中深度值对应位置的纹理图中中间像素的右侧像素对应的深度值，Dep_D为第二深度图中深度值对应位置的纹理图中中间像素的下方像素对应的深度值，Dep_U为第二深度图中深度值对应位置的纹理图中中间像素的上方像素对应的深度值。abs表示绝对值，THR为可设定的阈值，在本说明书一实施例中，THR设置为2。
方式二示例：
获取所述第一深度图中像素的深度值，作为所述第二深度图中对应行和列的像素值；对于所述第二深度图中与所述第一深度图中的像素不存在对应关系的像素，基于对应纹理图中的相应像素以及所述相应像素的周围像素的像素值之间的差异进行滤波得到。
其中，对于所述第二深度图中与所述第一深度图中的像素不存在对应关系的像素，基于对应纹理图中的相应像素以及所述相应像素的周围像素的像素值之间的差异进行滤波得到。
具体的滤波方法可以有多种，以下给出两种具体实施例。
具体实施例一，最近邻滤波法
具体而言，对于所述第二深度图中与所述第一深度图中的像素不存在对应关系的像素，可以将所述纹理图中的相应像素与所述相应像素周围四个对角位置像素的像素值进行比较，求取与所述相应像素的像素值最相近的像素点，并将所述像素值最相近的像素点对应的第一深度图中的深度值作为与所述纹理图中相应像素在所述第二深度图中对应像素的深度值。
具体实施例二，加权滤波法
具体而言，可以将所述纹理图中的相应像素与所述相应像素周围像素进行比较，根据像素值的相似程度，对周围像素对应的第一深度图中的深度值进行加权处理，得到所述纹理图中的相应像素在所述第二深度图中对应像素的深度值。
以上示出了一些可以对所述第一深度图进行升采样，得到第二深度图的方法，可以理解的是，以上仅为示例说明，本说明书实施例中并不限定具体的升采样方法。并且，对于任一视频帧中的第一深度图进行升采样的方法，可以与将原始深度图进行降采样得到第一深度图的方法相应，也可以没有对应关系。此外，升采样的比例与降采样的比例可以相同，也可以不同。
下面接着就步骤S104给出一些具体示例。
在具体实施中，为了在保证图像重建质量的前提下，节约数据处理资源，提高图像重建效率，可以仅选取所述拼接图像中的部分纹理图和对应视角的第二深度图作为目标纹理图和目标深度图，用于虚拟视点图像的重建，具体而言：
可以根据所述虚拟视点的位置信息，以及所述拼接图像对应的参数数据，在所述同步的多个视角的纹理图和对应视角的第二深度图中，选择多个目标纹理图和目标深度图。之后，可以对所述目标纹理图和目标深度图进行组合渲染，得到所述虚拟视点的图像。
在具体实施中，可以根据用户交互行为，或者根据预先设置确定所述虚拟视点的位置信息。若是基于用户交互行为确定，则可以通过获取用户交互操作对应的轨迹数据确定相应交互时刻的虚拟视点位置。在本说明书一些实施例中，也可以在服务端(如服务器或云端)预先设定相应视频帧对应的虚拟视点的位置信息，并在所述自由视点视频的头文件中传输所设定的虚拟视点的位置信息。
在具体实施中，可以基于虚拟视点位置以及所述拼接图像对应的参数数据，确定其中每个纹理图及对应视角的深度图与所述虚拟视点位置的空间位置关系，为节约数据处理资源，可以根据所述虚拟视点的位置信息，以及所述拼接图像对应的参数数据，在所述同步的多个视角的纹理图和对应视角的深度图中选择与所述虚拟视点位置满足预设位置关系和/或数量关系的纹理图和深度图作为所述目标纹理图和目标深度图。
例如，可以选取离所述虚拟视点位置最近的2至N个视点对应的纹理图和深度图。其中，N为所述拼接图像中纹理图的数量，也即纹理图对应的采集设备的数量。在具体实施中，数量关系值可以为固定的，也可以为变化的。
参照图12所示的组合渲染方法的流程图，在本说明书一些实施例中，具体可以包括如下步骤：
S121，将选择的拼接图像中目标深度图分别进行前向映射，映射至所述虚拟位置上。
S122，对前向映射后的目标深度图分别进行后处理。
在具体实施中，后处理方法可以有多种，在本说明书一些实施例中，可以采用如下其中至少一种方法对目标深度图进行后处理：
1)对前向映射后的目标深度图分别进行前景边缘保护处理；
2)对前向映射后的目标深度图分别进行像素级滤波处理。
S123，将选择的所述拼接图像中目标纹理图分别进行反向映射。
S124，将反向映射后所生成的各虚拟纹理图进行融合，得到融合纹理图。
通过上述步骤S121至步骤S124，可以得到重建图像。
在具体实施中，还可以对融合纹理图进行空洞填补，得到所述用户交互时刻虚拟视点位置对应的重建图像。通过空洞填补，可以提高重建图像的质量。
本说明书实施例还提供了相应的自由视点视频播放处理方法，参照图13，具体可以包括如下步骤：
S131，获取多个帧时刻的拼接图像和所述拼接图像的参数数据，所述拼接图像包括同步的多个视角的纹理图和对应视角的第一深度图。
在具体实施中，通过获取自由视点视频，并对所述自由视点视频进行解码处理，可以得到所述多个帧时刻的拼接图像和所述拼接图像的参数数据。
其中，所述自由视点视频，具体形式可以是前述实施例示例的多角度自由视角视频，如6DoF视频。
通过下载自由视点视频流或者获取存储的自由视点视频数据文件，可以获取视频帧序列，每个视频帧可以包括同步的多个视角的纹理图和对应视角的第一深度图所形成的拼接图像，拼接图像结构如图9和图11所示。
自由视点视频数据文件中除了包含拼接图像外，还可以包括描述所述拼接图像的元数据。在具体实施中，可以从所述元数据中获取所述拼接图像的参数数据，例如可以获取所述拼接图像的摄像机参数、所述拼接图像的拼接规则、所述拼接图像的分辨率信息等其中一种或多种信息。
在具体实施中，所述拼接图像的参数信息可以和所述拼接图像组合传输，例如，可以存储于视频文件头中。本说明书实施例并不限定所述拼接图像的具体格式，也不限定所述拼接图像的参数信息的具体类型和存储位置，能够基于所述虚拟视点视频得到相应虚拟视点位置的重建图像即可。
S132，基于所述拼接图像的参数数据，确定所述第一深度图的分辨率小于所述纹理图的分辨率时，基于所述拼接图像中对应纹理图的分辨率对所述拼接图像中的第一深度图进行升采样，得到第二深度图。
在具体实施中，可以基于所述拼接图像的参数数据，获得所述纹理图的分辨率和所述第一深度图的分辨率，若通过匹配，确定所述第一深度图的分辨率小于所述纹理图的分辨率时，则可以基于所述拼接图像中对应纹理图的分辨率对所述拼接图像中的第一深度图进行升采样，得到第二深度图，具体升采样的实现方式可以参见前述实施例，此处不再详细例举。
S133，响应于用户交互行为，确定虚拟视点的位置信息。
在具体实施中，若自由视点视频采用6DoF的表达方式，基于用户交互的虚拟视点位置信息可以表示为坐标(x,y,z,θ,)的形式，所述虚拟视点位置信息可以在预设的一种或多种用户交互方式下产生。例如，可以为用户操作输入的坐标，如手动点击或手势路径，或者语音输入确定的虚拟位置，或者可以为用户提供自定义的虚拟视点(例如：用户可以输入场景中的位置或视角，如篮下、场边、裁判视角、教练视角等等)。或者基于特定对象(例如球场上的球员、图像中的演员或嘉宾、主持人等，可以在用户点击相应对象后切换至所述对象的视角)。可以理解的是，本发明实施例中并不限定具体的用户交互行为方式，只要能获取到基于用户交互的虚拟视点位置信息即可。
作为一可选示例，响应于用户的手势交互操作，可以确定对应的虚拟视点路径信息。就手势交互而言，可以基于手势交互的不同形态规划相应的虚拟视点路径，从而基于用户具体的手势操作，即可确定相应的虚拟视点的路径信息，例如，可以预先规划用户手指相对于触摸屏的左右滑动，对应视角的左右移动；用户手指相对于触摸屏的上下滑动，对应视点位置的上下移动；手指的缩放操作，对应于视点位置的拉近和拉远。
可以理解的是，以上基于手势形态规划的虚拟视点路径，仅为示例性说明，可以预先定义基于其他手势形态的虚拟视点路径，或者也可以让用户自定义设置，从而可以增强用户体验。
S134，基于所述拼接图像中同步的多个视角的纹理图以及对应视角的第二深度图，根据虚拟视点的位置信息以及所述拼接图像对应的参数数据，重建得到所述虚拟视点的图像。
在具体实施中，可以根据所述虚拟视点路径信息，选取相应帧时刻的拼接图像中的纹理图和对应视角的第二深度图，作为目标纹理图和目标深度图，并对所述目标纹理图和目标深度图进行组合渲染，得到所述虚拟视点的图像。
具体选取方法可以参照前述实施例介绍，此处不再详细。
需要说明的是，基于虚拟视点路径信息，可以按照时序选取一帧或连续多帧拼接图像中的部分纹理图和对应视角的第二深度图，作为目标纹理图和目标深度图，用于重建对应虚拟视点的图像。
在具体实施中，还可以对重建得到的自由视点图像做进一步的处理。以下给出一示例性扩展方式。
为丰富用户视觉体验，可以在重建得到的自由视点图像中植入增强现实(Augmented Reality，AR)特效。在本说明一些实施例中，采用如下方式实现AR特效的植入：
S141，获取所述虚拟视点的图像中的虚拟渲染目标对象。
在具体实施中，可以基于某些指示信息确定自由视点视频的图像中的某些对象作为虚拟渲染目标对象，所述指示信息可以基于用户交互生成，也可以基于某些预设触发条件或第三方指令得到。在本说明书一可选实施例中，响应于特效生成交互控制指令，可以获取所述虚拟视点的图像中的虚拟渲染目标对象。
S142，获取基于所述虚拟渲染目标对象的增强现实特效输入数据所生成的虚拟信息图像。
在本说明书实施例中，所植入的AR特效以虚拟信息图像的形式呈现。所述虚拟信息图像可以基于所述目标对象的增强现实特效输入数据生成。在确定虚拟渲染目标对象后，可以获取基于所述虚拟渲染目标对象的增强现实特效输入数据所生成的虚拟信息图像。
在本说明书实施例中，所述虚拟渲染目标对象对应的虚拟信息图像可以预先生成，也可以响应于特效生成指令即时生成。
在具体实施中，可以基于三维标定得到的所述虚拟渲染目标对象在重建得到的图像中的位置，得到与所述虚拟渲染目标对象位置匹配的虚拟信息图像，从而可以使得到的虚拟信息图像与所述虚拟渲染目标对象在三维空间中的位置更加匹配，进而所展示的虚拟信息图像更加符合三维空间中的真实状态，因而所展示的合成图像更加真实生动，增强用户的视觉体验。
在具体实施中，可以基于虚拟渲染目标对象的增强现实特效输入数据，按照预设的特效生成方式，生成所述目标对象对应的虚拟信息图像。
在具体实施中，可以采用多种特效生成方式。
例如，可以将所述目标对象的增强现实特效输入数据输入至预设的三维模型，基于三维标定得到的所述虚拟渲染目标对象在所述图像中的位置，输出与所述虚拟渲染目标对象匹配的虚拟信息图像；
又如，可以将所述虚拟渲染目标对象的增强现实特效输入数据，输入至预设的机器学习模型，基于三维标定得到的所述虚拟渲染目标对象在所述图像中的位置，输出与所述虚拟渲染目标对象匹配的虚拟信息图像。
S143，将所述虚拟信息图像与所述虚拟视点的图像进行合成处理并展示。
在具体实施中，可以有多种方式将所述虚拟信息图像与所述虚拟视点的图像进行合成处理并展示，以下给出两种具体可实现示例：
示例一：将所述虚拟信息图像与对应的图像进行融合处理，得到融合图像，对所述融合图像进行展示；
示例二：将所述虚拟信息图像叠加在对应的图像之上，得到叠加合成图像，对所述叠加合成图像进行展示。
在具体实施中，可以将得到的合成图像直接展示，也可以将得到的合成图像插入待播放的视频流进行播放展示。例如，可以将所述融合图像插入待播放视频流进行播放展示。
自由视点视频中可以包括特效展示标识，在具体实施中，可以基于特效展示标识，确定所述虚拟信息图像在所述虚拟视点的图像中的叠加位置，之后，可以将所述虚拟信息图像在所确定的叠加位置进行叠加展示。
为使本领域技术人员更好地理解和实施，以下通过一交互终端的图像展示过程进行详细说明。参照图15至图19所示的交互终端的视频播放画面示意图，交互终端T1实时地进行视频的播放。其中，参照图15，展示视频帧P1，接下来，交互终端所展示的视频帧P2中包含特效展示标识I1等多个特效展示标识，视频帧P2中通过指向目标对象的倒三角符号表示，如图16所示。可以理解的是，也可以采用其他的方式展示所述特效展示标识。终端用户触摸点击所述特效展示标识I1，则系统自动获取对应于所述特效展示标识I1的虚拟信息图像，将所述虚拟信息图像叠加展示在视频帧P3中，如图17所示，以运动员Q1站立的场地位置为中心，渲染出一个立体圆环R1。接下来，如图18及图19所示，终端用户触摸点击视频帧P3中的特效展示标识I2，系统自动获取对应于所述特效展示标识I2的虚拟信息图像，将所述虚拟信息图像叠加展示在视频帧P3上，得到叠加图像，即视频帧P4，其中展示了命中率信息展示板M0。命中率信息展示板M0上展示了目标对象即运动员Q2的号位、姓名及命中率信息。
如图15至图19所示，终端用户可以继续点击视频帧中展示的其他特效展示标识，观看展示各特效展示标识相应的AR特效的视频。
可以理解的是，可以通过不同类型的特效展示标识区分不同类型的植入特效。
本说明书还提供了能够实现上述方法的自由视点视频重建装置，如图20所示，自由视点视频重建装置200可以包括：获取单元201、分离单元202、升采样单元203和重建单元204，其中：
所述获取单元201，适于获取多个帧时刻的拼接图像，所述拼接图像包括同步的多个视角的纹理图和对应视角的第一深度图，所述第一深度图的分辨率小于所述纹理图的分辨率；
分离单元202，适于对所述拼接图像的纹理图和第一深度图进行分离；
升采样单元203，适于基于所述拼接图像中对应纹理图的分辨率对所述第一深度图进行升采样，得到第二深度图；
重建单元204，适于基于所述拼接图像中同步的多个视角的纹理图以及对应视角的第二深度图，根据虚拟视点的位置信息以及所述拼接图像对应的参数数据，重建得到所述虚拟视点的图像。
采用上述自由视点视频重建装置200，可以提高重建得到的自由视点图像的清晰度。
在本说明书一些实施例中，所述升采样单元203，适于获取所述第一深度图中像素的深度值，作为所述第二深度图中对应的偶数行及偶数列的像素值；对于所述第二深度图中偶数行奇数列的像素的深度值，确定对应纹理图中对应像素作为中间像素，基于对应纹理图中所述中间像素的亮度通道值与所述中间像素对应的左侧像素的亮度通道值和右侧像素的亮度通道值之间的关系确定；对于所述第二深度图中奇数行像素的深度值，确定对应纹理图中的对应像素作为中间像素，基于对应的纹理图中所述中间像素的亮度通道值与所述中间像素对应的上方像素的亮度通道值和下方像素的亮度通道值之间的关系确定。
在本说明书另一些实施例中，所述升采样单元203，适于获取所述第一深度图中像素的深度值，作为所述第二深度图中对应行和列的像素值；对于所述第二深度图中与所述第一深度图中的像素不存在对应关系的像素，基于对应纹理图中的相应像素以及所述相应像素的周围像素的像素值之间的差异进行滤波得到。
本说明书实施例中自由视点视频重建装置涉及的名词解释、原理、具体实现和有益效果可以参见本说明书实施例中的自由视点视频重建方法，在此不再赘述。
本说明书实施例还提供了相应的自由视点视频播放处理装置，如图21所示，其中，自由视点视频播放处理装置210可以包括：拼接图像获取单元211、第二深度图生成单元212、虚拟视点位置确定单元213和图像重建单元214，其中：
所述拼接图像获取单元211，适于获取多个帧时刻的拼接图像和所述拼接图像的参数数据，所述拼接图像包括同步的多个视角的纹理图和对应视角的第一深度图；
所述第二深度图生成单元212，适于基于所述拼接图像的参数数据，确定所述第一深度图的分辨率小于所述纹理图的分辨率时，基于所述拼接图像中对应纹理图的分辨率对所述拼接图像中的第一深度图进行升采样，得到第二深度图；
所述虚拟视点位置确定单元213，适于响应于用户交互行为，确定虚拟视点的位置信息；
所述图像重建单元214，适于基于所述拼接图像中同步的多个视角的纹理图以及对应视角的第二深度图，根据虚拟视点的位置信息以及所述拼接图像对应的参数数据，重建得到所述虚拟视点的图像。
本说明书实施例中自由视点视频播放处理装置的具体实现可以参见前述自由视点视频播放处理方法，此处不再赘述。
在具体实施中，上述自由视点视频重建装置和自由视点视频播放处理装置可以采用软件形式实现，也可以采用硬件方式实现，或者采用软硬件结合的方式实现。
本说明书实施例还提供了一种终端设备，如图22所示的终端设备的结构示意图，终端设备220包括存储器221和处理器222，其中，所述存储器221上存储有可在所述处理器222上运行的计算机指令，其中，所述处理器222运行所述计算机指令时可以执行本说明书任一实施例所述的自由视点视频重建方法或自由视点视频播放处理方法的步骤，具体步骤可以参见前述实施例介绍，此处不再赘述。
本说明书实施例还提供了另一种终端设备，如图23所示的终端设备的结构示意图，终端设备230可以包括：通信组件231、处理器232和显示组件233，其中：
所述通信组件231，适于获取多个帧时刻的拼接图像；
所述处理器232，适于执行本说明书任一实施例所述的自由视点视频重建方法的步骤，具体可以参见前述实施例步骤，此处不再赘述；
所述显示组件233，适于显示所述处理器得到的重建图像。
其中，所述通信组件231可以为网络传输接口，所述网络传输接口可以为有线通信接口，也可以为无线通信接口。
所述处理器232可以为单核处理器、多核处理器、图形处理器(GraphicsProcessing Unit，GPU)，或者CPU与GPU形成的处理器组、现场可编辑门阵列(Field-Programmable Gate Array，FPGA)芯片等其中至少一种，本说明书实施例并不对处理器的具体结构或型号等作任何限定。
所述显示组件233可以为显示屏、可投影眼镜、投影幕布、投影壁等其中至少一种。所述显示组件233可以为集成组件，也可以为可扩展的外接组件。
在本说明书实施例中，终端设备可以为手机等移动终端、平板电脑、个人电脑、电视机或者任意一种终端设备与外接显示装置的组合。
本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，其中，所述计算机指令运行时执行前述任一实施例所述方法的步骤，具体可以参见前述实施例介绍，此处不再赘述。
在具体实施中，所述计算机可读存储介质可以是光盘、机械硬盘、固态硬盘等各种适当的可读存储介质。
虽然本说明书实施例披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本说明书实施例的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (22)
1.一种自由视点视频重建方法，其中，包括：
获取多个帧时刻的拼接图像，所述拼接图像包括同步的多个视角的纹理图和对应视角的第一深度图，所述第一深度图的分辨率小于所述纹理图的分辨率；
对所述拼接图像中的纹理图和第一深度图进行分离；
基于所述拼接图像中对应纹理图的分辨率对所述第一深度图进行升采样，得到第二深度图，所述第二深度图的分辨率与对应纹理图的分辨率相同，或者不同；
基于所述拼接图像中同步的多个视角的部分纹理图以及对应视角的第二深度图，根据虚拟视点的位置信息以及所述拼接图像对应的参数数据，重建得到所述虚拟视点的图像；
所述基于所述拼接图像中对应纹理图的分辨率对所述第一深度图进行升采样，得到第二深度图，包括：
获取所述第一深度图中像素的深度值，作为所述第二深度图中对应的偶数行及偶数列的像素值；
对于所述第二深度图中偶数行奇数列的像素的深度值，确定对应纹理图中对应像素作为中间像素，基于对应纹理图中所述中间像素的亮度通道值与所述中间像素对应的左侧像素的亮度通道值和右侧像素的亮度通道值之间的关系确定；
对于所述第二深度图中奇数行像素的深度值，确定对应纹理图中的对应像素作为中间像素，基于对应的纹理图中所述中间像素的亮度通道值与所述中间像素对应的上方像素的亮度通道值和下方像素的亮度通道值之间的关系确定。
2.根据权利要求1所述的方法，其中，所述对于所述第二深度图中偶数行奇数列的像素的深度值，确定对应纹理图中对应像素作为中间像素，基于对应纹理图中所述中间像素的亮度通道值与所述中间像素对应的左侧像素的亮度通道值和右侧像素的亮度通道值之间的关系确定，包括：
若对应纹理图中中间像素的亮度通道值与所述中间像素对应的右侧像素的亮度通道值之差的绝对值小于所述中间像素的亮度通道值与左侧像素的亮度通道值之差的绝对值与预设阈值之商，则选取所述右侧像素对应的深度值作为所述第二深度图中偶数行奇数列相应像素的深度值；
若对应纹理图中中间像素的亮度通道值与所述中间像素对应的左侧像素的亮度通道值之差的绝对值小于所述中间像素的亮度通道值与右侧像素的亮度通道值之差的绝对值与所述预设阈值之商，则选取所述左侧像素对应的深度值作为所述第二深度图中偶数行奇数列相应像素的深度值；
否则，选取所述左侧像素和右侧像素对应的深度值中的最大值作为所述第二深度图中偶数行奇数列相应像素的深度值。
3.根据权利要求1所述的方法，其中，所述对于所述第二深度图中奇数行像素的深度值，确定对应纹理图中的对应像素作为中间像素，基于对应的纹理图中所述中间像素的亮度通道值与所述中间像素对应的上方像素的亮度通道值和下方像素的亮度通道值之间的关系确定，包括：
若对应纹理图中中间像素的亮度通道值与所述中间像素对应的下方像素的亮度通道值之差的绝对值小于所述中间像素的亮度通道值与上方像素的亮度通道值之差的绝对值与预设阈值之商，则选取所述下方像素对应的深度值作为所述第二深度图中奇数行相应像素的深度值；
若对应纹理图中中间像素的亮度通道值与所述中间像素对应的上方像素的亮度通道值之差的绝对值小于所述中间像素的亮度通道值与下方像素的亮度通道值之差的绝对值与所述预设阈值之商，则选取所述上方像素对应的深度值作为所述第二深度图中奇数行相应像素的深度值；
否则，选取所述上方像素和下方像素对应的深度值中的最大值作为所述第二深度图中偶数行奇数列相应像素的深度值。
4.根据权利要求1所述的方法，其中，所述基于所述拼接图像中对应纹理图的分辨率对所述第一深度图进行升采样，得到第二深度图，包括：
获取所述第一深度图中像素的深度值，作为所述第二深度图中对应行和列的像素值；
对于所述第二深度图中与所述第一深度图中的像素不存在对应关系的像素，基于对应纹理图中的相应像素以及所述相应像素的周围像素的像素值之间的差异进行滤波得到。
5.根据权利要求4所述的方法，其中，所述对于所述第二深度图中与所述第一深度图中的像素不存在对应关系的像素，基于对应纹理图中的相应像素以及所述相应像素的周围像素的像素值之间的差异进行滤波得到，包括：
将所述纹理图中的相应像素与所述相应像素周围四个对角位置像素的像素值进行比较，求取与所述相应像素的像素值最相近的像素点；
将所述像素值最相近的像素点对应的第一深度图中的深度值作为与所述纹理图中相应像素在所述第二深度图中对应像素的深度值。
6.根据权利要求4所述的方法，其中，所述对于所述第二深度图中与所述第一深度图中的像素不存在对应关系的像素，基于对应纹理图中的相应像素以及所述相应像素的周围像素的像素值之间的差异进行滤波得到，包括：
将所述纹理图中的相应像素与所述相应像素周围像素进行比较，根据像素值的相似程度，对周围像素对应的第一深度图中的深度值进行加权处理，得到所述纹理图中的相应像素在所述第二深度图中对应像素的深度值。
7.根据权利要求1所述的方法，其中，所述拼接图像为矩形。
8.根据权利要求1所述的方法，其中，对与所述纹理图的分辨率相同的原始深度图降采样得到所述第一深度图。
9.根据权利要求8所述的方法，其中，所述对与所述纹理图的分辨率相同的原始深度图降采样得到所述第一深度图，包括以下至少一种：
对所述原始深度图中的像素进行抽点处理，得到所述第一深度图；
对所述深度图中的像素做基于对应纹理图的滤波，得到所述第一深度图。
10.根据权利要求1所述的方法，其中，所述基于所述拼接图像中同步的多个视角的部分纹理图以及对应视角的第二深度图，根据虚拟视点的位置信息以及所述拼接图像对应的参数数据，重建得到所述虚拟视点的图像，包括：
根据所述虚拟视点的位置信息，以及所述拼接图像对应的参数数据，在所述同步的多个视角的部分纹理图和对应视角的第二深度图中，选择多个目标纹理图和目标深度图；
对所述目标纹理图和目标深度图进行组合渲染，得到所述虚拟视点的图像。
11.根据权利要求10所述的方法，其中，所述根据所述虚拟视点的位置信息，以及所述拼接图像对应的参数数据，在所述同步的多个视角的纹理图和对应视角的第二深度图中，选择多个目标纹理图和目标深度图，包括：
根据所述虚拟视点的位置信息，以及所述拼接图像对应的参数数据，在所述同步的多个视角的纹理图和对应视角的深度图中选择与所述虚拟视点位置满足预设位置关系和/或数量关系的纹理图和深度图作为所述目标纹理图和目标深度图。
12.根据权利要求1所述的方法，其中，所述对所述拼接图像的纹理图和第一深度图进行分离，包括：
基于解码得到的所述拼接图像的拼接规则信息对所述拼接图像的纹理图和第一深度图进行分离。
13.一种自由视点视频播放处理方法，其中，包括：
获取多个帧时刻的拼接图像和所述拼接图像的参数数据，所述拼接图像包括同步的多个视角的纹理图和对应视角的第一深度图；
基于所述拼接图像的参数数据，确定所述第一深度图的分辨率小于所述纹理图的分辨率时，基于所述拼接图像中对应纹理图的分辨率对所述拼接图像中的第一深度图进行升采样，得到第二深度图，所述第二深度图的分辨率与对应纹理图的分辨率相同，或者不同，所述第二深度图中对应的偶数行及偶数列的像素值基于第一深度图中像素的深度值确定；对于所述第二深度图中偶数行奇数列的像素的深度值，确定对应纹理图中对应像素作为中间像素，基于对应纹理图中所述中间像素的亮度通道值与所述中间像素对应的左侧像素的亮度通道值和右侧像素的亮度通道值之间的关系确定；对于所述第二深度图中奇数行像素的深度值，确定对应纹理图中的对应像素作为中间像素，基于对应的纹理图中所述中间像素的亮度通道值与所述中间像素对应的上方像素的亮度通道值和下方像素的亮度通道值之间的关系确定；
响应于用户交互行为，确定虚拟视点的位置信息；
基于所述拼接图像中同步的多个视角的部分纹理图以及对应视角的第二深度图，根据虚拟视点的位置信息以及所述拼接图像对应的参数数据，重建得到所述虚拟视点的图像。
14.根据权利要求13所述的方法，其中，所述响应于用户交互行为，确定虚拟视点的位置信息，包括：响应于用户的手势交互操作，确定对应的虚拟视点路径信息；
所述基于所述拼接图像中同步的多个视角的纹理图以及对应视角的第二深度图，根据虚拟视点的位置信息以及所述拼接图像对应的参数数据，重建得到所述虚拟视点的图像，包括：
根据所述虚拟视点路径信息，选取相应帧时刻的拼接图像中的纹理图和对应视角的第二深度图，作为目标纹理图和目标深度图；
对所述目标纹理图和目标深度图进行组合渲染，得到所述虚拟视点的图像。
15.根据权利要求13或14所述的方法，其中，还包括：
获取所述虚拟视点的图像中的虚拟渲染目标对象；
获取基于所述虚拟渲染目标对象的增强现实特效输入数据所生成的虚拟信息图像；
将所述虚拟信息图像与所述虚拟视点的图像进行合成处理并展示。
16.根据权利要求15所述的方法，其中，所述获取基于所述虚拟渲染目标对象的增强现实特效输入数据所生成的虚拟信息图像，包括：
根据三维标定得到的所述虚拟渲染目标对象在所述虚拟视点的图像中的位置，得到与所述虚拟渲染目标对象位置匹配的虚拟信息图像。
17.根据权利要求15所述的方法，其中，所述获取所述虚拟视点的图像中的虚拟渲染目标对象，包括：
响应于特效生成交互控制指令，获取所述虚拟视点的图像中的虚拟渲染目标对象。
18.一种自由视点视频重建装置，其中，包括：
获取单元，适于获取多个帧时刻的拼接图像，所述拼接图像包括同步的多个视角的纹理图和对应视角的第一深度图，所述第一深度图的分辨率小于所述纹理图的分辨率；
分离单元，适于对所述拼接图像的纹理图和第一深度图进行分离；
升采样单元，适于基于所述拼接图像中对应纹理图的分辨率对所述第一深度图进行升采样，得到第二深度图，所述第二深度图的分辨率与对应纹理图的分辨率相同，或者不同；
重建单元，适于基于所述拼接图像中同步的多个视角的部分纹理图以及对应视角的第二深度图，根据虚拟视点的位置信息以及所述拼接图像对应的参数数据，重建得到所述虚拟视点的图像；
其中，所述升采样单元，适于基于所述拼接图像中对应纹理图的分辨率对所述第一深度图进行升采样，得到第二深度图，包括：
获取所述第一深度图中像素的深度值，作为所述第二深度图中对应的偶数行及偶数列的像素值；
对于所述第二深度图中偶数行奇数列的像素的深度值，确定对应纹理图中对应像素作为中间像素，基于对应纹理图中所述中间像素的亮度通道值与所述中间像素对应的左侧像素的亮度通道值和右侧像素的亮度通道值之间的关系确定；
对于所述第二深度图中奇数行像素的深度值，确定对应纹理图中的对应像素作为中间像素，基于对应的纹理图中所述中间像素的亮度通道值与所述中间像素对应的上方像素的亮度通道值和下方像素的亮度通道值之间的关系确定。
19.一种自由视点视频播放处理装置，其中，包括：
拼接图像获取单元，适于获取多个帧时刻的拼接图像和所述拼接图像的参数数据，所述拼接图像包括同步的多个视角的纹理图和对应视角的第一深度图；
第二深度图生成单元，适于基于所述拼接图像的参数数据，确定所述第一深度图的分辨率小于所述纹理图的分辨率时，基于所述拼接图像中对应纹理图的分辨率对所述拼接图像中的第一深度图进行升采样，得到第二深度图，所述第二深度图的分辨率与对应纹理图的分辨率相同，或者不同，所述第二深度图中对应的偶数行及偶数列的像素值基于第一深度图中像素的深度值确定；对于所述第二深度图中偶数行奇数列的像素的深度值，确定对应纹理图中对应像素作为中间像素，基于对应纹理图中所述中间像素的亮度通道值与所述中间像素对应的左侧像素的亮度通道值和右侧像素的亮度通道值之间的关系确定；对于所述第二深度图中奇数行像素的深度值，确定对应纹理图中的对应像素作为中间像素，基于对应的纹理图中所述中间像素的亮度通道值与所述中间像素对应的上方像素的亮度通道值和下方像素的亮度通道值之间的关系确定；
虚拟视点位置确定单元，适于响应于用户交互行为，确定虚拟视点的位置信息；
图像重建单元，适于基于所述拼接图像中同步的多个视角的部分纹理图以及对应视角的第二深度图，根据虚拟视点的位置信息以及所述拼接图像对应的参数数据，重建得到所述虚拟视点的图像。
20.一种终端设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其中，所述处理器运行所述计算机指令时执行权利要求1至12或权利要求13至17任一项所述方法的步骤。
21.一种终端设备，包括通信组件、处理器和显示组件，其中：
所述通信组件，适于获取多个帧时刻的拼接图像；
所述处理器，适于执行权利要求1至12或13至17任一项所述方法的步骤；
所述显示组件，适于显示所述处理器得到的重建图像。
22.一种计算机可读存储介质，其上存储有计算机指令，其中，所述计算机指令运行时执行权利要求1至12或13至17任一项所述方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010630754.0A CN113891060B (zh) | 2020-07-03 | 2020-07-03 | 自由视点视频重建方法及播放处理方法、设备及存储介质 |
| PCT/CN2021/103932 WO2022002181A1 (zh) | 2020-07-03 | 2021-07-01 | 自由视点视频重建方法及播放处理方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010630754.0A CN113891060B (zh) | 2020-07-03 | 2020-07-03 | 自由视点视频重建方法及播放处理方法、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113891060A CN113891060A (zh) | 2022-01-04 |
| CN113891060B true CN113891060B (zh) | 2024-06-07 |
Family
ID=79013096
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010630754.0A Active CN113891060B (zh) | 2020-07-03 | 2020-07-03 | 自由视点视频重建方法及播放处理方法、设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113891060B (zh) |
| WO (1) | WO2022002181A1 (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114466174B (zh) * | 2022-01-21 | 2023-04-28 | 南方科技大学 | 一种多视点3d图像编码方法、设备、系统和存储介质 |
| CN114612613B (zh) * | 2022-03-07 | 2022-11-29 | 北京拙河科技有限公司 | 动态光场重建方法及系统 |
| CN114660097B (zh) * | 2022-03-23 | 2023-06-02 | 成都智元汇信息技术股份有限公司 | 一种基于双源双视角的同步校正方法及系统 |
| CN115396644B (zh) * | 2022-07-21 | 2023-09-15 | 贝壳找房(北京)科技有限公司 | 基于多段外参数据的视频融合方法及装置 |
| CN116091524B (zh) * | 2023-04-07 | 2023-06-13 | 杭州电子科技大学 | 一种针对复杂背景中目标的检测与分割方法 |
| CN117197319B (zh) * | 2023-11-07 | 2024-03-22 | 腾讯科技（深圳）有限公司 | 图像生成方法、装置、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106355552A (zh) * | 2016-08-27 | 2017-01-25 | 天津大学 | 一种基于虚拟视点绘制质量的深度图上采样方法 |
| CN108259917A (zh) * | 2016-12-28 | 2018-07-06 | 中国移动通信集团山东有限公司 | 基于深度时域下采样的三维视频编解码方法及系统 |
| CN110012310A (zh) * | 2019-03-28 | 2019-07-12 | 北京大学深圳研究生院 | 一种基于自由视点的编解码方法及装置 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7142209B2 (en) * | 2004-08-03 | 2006-11-28 | Microsoft Corporation | Real-time rendering system and process for interactive viewpoint video that was generated using overlapping images of a scene captured from viewpoints forming a grid |
| JP5858381B2 (ja) * | 2010-12-03 | 2016-02-10 | 国立大学法人名古屋大学 | 多視点画像合成方法及び多視点画像合成システム |
| WO2013006115A2 (en) * | 2011-07-06 | 2013-01-10 | Telefonaktiebolaget L M Ericsson (Publ) | Depth or disparity map upscaling |
| US11496760B2 (en) * | 2011-07-22 | 2022-11-08 | Qualcomm Incorporated | Slice header prediction for depth maps in three-dimensional video codecs |
| CN103916652B (zh) * | 2013-01-09 | 2018-01-09 | 浙江大学 | 视差矢量生成方法及装置 |
| KR20160135660A (ko) * | 2015-05-18 | 2016-11-28 | 한국전자통신연구원 | 헤드 마운트 디스플레이를 위한 입체 영상을 제공하는 방법 및 장치 |
| CA2994239A1 (en) * | 2015-07-31 | 2017-02-09 | Hsni, Llc | Virtual three dimensional video creation and management system and method |
| CN109478348B (zh) * | 2016-07-29 | 2023-06-09 | 索尼公司 | 图像处理装置和图像处理方法 |
| CN107509067B (zh) * | 2016-12-28 | 2019-07-30 | 浙江工业大学 | 一种高速高质量的自由视点图像合成方法 |
| CN110415169B (zh) * | 2018-04-28 | 2023-07-14 | 深圳先进技术研究院 | 一种深度图超分辨率重建方法、系统及电子设备 |
-
2020
- 2020-07-03 CN CN202010630754.0A patent/CN113891060B/zh active Active
-
2021
- 2021-07-01 WO PCT/CN2021/103932 patent/WO2022002181A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106355552A (zh) * | 2016-08-27 | 2017-01-25 | 天津大学 | 一种基于虚拟视点绘制质量的深度图上采样方法 |
| CN108259917A (zh) * | 2016-12-28 | 2018-07-06 | 中国移动通信集团山东有限公司 | 基于深度时域下采样的三维视频编解码方法及系统 |
| CN110012310A (zh) * | 2019-03-28 | 2019-07-12 | 北京大学深圳研究生院 | 一种基于自由视点的编解码方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113891060A (zh) | 2022-01-04 |
| WO2022002181A1 (zh) | 2022-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113891060B (zh) | 自由视点视频重建方法及播放处理方法、设备及存储介质 | |
| US11037365B2 (en) | Method, apparatus, medium, terminal, and device for processing multi-angle free-perspective data | |
| WO2022001865A1 (zh) | 深度图及视频处理、重建方法、装置、设备及存储介质 | |
| US10540918B2 (en) | Multi-window smart content rendering and optimizing method and projection method based on cave system | |
| CN111669567B (zh) | 多角度自由视角视频数据生成方法及装置、介质、服务器 | |
| KR20070119018A (ko) | 3ｄ 카메라 및 3ｄ비디오를 위한 자동 씬 모델링 | |
| CN111669561B (zh) | 多角度自由视角图像数据处理方法及装置、介质、设备 | |
| WO2013108285A1 (ja) | 画像記録装置、立体画像再生装置、画像記録方法、及び立体画像再生方法 | |
| CN111669518A (zh) | 多角度自由视角交互方法及装置、介质、终端、设备 | |
| KR20200005591A (ko) | 몰입형 비디오 컨텐츠를 생성 및 렌더링하기 위한 방법들, 시스템들 및 매체들 | |
| WO2017062730A1 (en) | Presentation of a virtual reality scene from a series of images | |
| KR20190011224A (ko) | 6자유도 지원 360도 vr 영상 획득 및 재현을 위한 방법 및 그 장치 | |
| CN111669570B (zh) | 多角度自由视角视频数据处理方法及装置、介质、设备 | |
| CN111669568B (zh) | 多角度自由视角交互方法及装置、介质、终端、设备 | |
| CN111669569A (zh) | 一种视频生成方法及装置、介质、终端 | |
| CN111669604A (zh) | 一种采集设备设置方法及装置、终端、采集系统、设备 | |
| CN111669603B (zh) | 多角度自由视角数据处理方法及装置、介质、终端、设备 | |
| WO2020121844A1 (en) | Image processing device, image processing method, and program | |
| US20120162199A1 (en) | Apparatus and method for displaying three-dimensional augmented reality | |
| CN111669571B (zh) | 多角度自由视角图像数据生成方法及装置、介质、设备 | |
| WO2022022548A1 (zh) | 自由视点视频重建及播放处理方法、设备及存储介质 | |
| Morvan et al. | Handling occluders in transitions from panoramic images: A perceptual study | |
| KR20240026222A (ko) | 이미지 생성 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |