CN117197325A - 图像重渲染方法、装置、电子设备、存储介质及程序产品 - Google Patents
图像重渲染方法、装置、电子设备、存储介质及程序产品 Download PDFInfo
- Publication number
- CN117197325A CN117197325A CN202311222837.6A CN202311222837A CN117197325A CN 117197325 A CN117197325 A CN 117197325A CN 202311222837 A CN202311222837 A CN 202311222837A CN 117197325 A CN117197325 A CN 117197325A
- Authority
- CN
- China
- Prior art keywords
- view
- image
- target object
- rendering
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 186
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000003860 storage Methods 0.000 title claims abstract description 27
- 238000005286 illumination Methods 0.000 claims abstract description 82
- 238000009792 diffusion process Methods 0.000 claims description 62
- 230000000007 visual effect Effects 0.000 claims description 40
- 238000009826 distribution Methods 0.000 claims description 38
- 239000013598 vector Substances 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 32
- 230000015654 memory Effects 0.000 claims description 31
- 210000005036 nerve Anatomy 0.000 claims description 26
- 230000001537 neural effect Effects 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 5
- 238000004220 aggregation Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 239000000523 sample Substances 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 16
- 230000007547 defect Effects 0.000 description 20
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 238000005457 optimization Methods 0.000 description 13
- 238000013507 mapping Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 230000002159 abnormal effect Effects 0.000 description 8
- 230000005856 abnormality Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000005291 magnetic effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000004007 neuromodulation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本申请实施例提供一种图像重渲染方法、装置、电子设备、存储介质及程序产品，至少应用于云技术领域和图像渲染领域，其中，方法包括：基于目标对象的原始视图与每一参考纹理图像之间的相对视图姿态，对原始视图所在的视图空间中的特征进行提取，得到目标对象在视图空间中的预设分辨率特征；基于预设分辨率特征，确定目标对象在不同相机视点下的视图概率；基于目标对象在不同相机视点下的视图概率，构建目标对象的几何模型；在不同光照方向上通过信息贴图对目标对象的几何模型进行重渲染，得到目标对象的重渲染图像。通过本申请，能够提高图像重渲染的稳定性和效率。
Description
技术领域
本申请实施例涉及互联网领域，涉及但不限于一种图像重渲染方法、装置、电子设备、存储介质及程序产品。
背景技术
移动设备上的混合现实等许多游戏中，很多3D对象渲染生成时，面临渲染效果失败或者不够逼真的问题。
相关技术中，对于一个不完美的重建3D模型，大多数方法都集中在几何、纹理或相机角度的细化上，而这些方法均无法处理相机漂移、网格失真、纹理重影和模糊等伪影问题。通常对于质量差的3D纹理，渲染卡顿，会严重影响用户体验。
发明内容
本申请实施例提供一种图像重渲染方法、装置、电子设备、存储介质及程序产品，至少能够应用于云技术领域和图像渲染领域中，通过从不同的相机视点绘制重构3D模型，将相机角度、几何和纹理的优化集成到一个统一的框架中，从而提高了图像重渲染的稳定性和效率。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种图像重渲染方法，包括：获取目标对象的原始视图、所述目标对象在多个预设相机视点下的参考纹理图像和所述目标对象的信息贴图；基于所述原始视图与每一所述参考纹理图像之间的相对视图姿态，对所述原始视图所在的视图空间中的特征进行提取，得到所述目标对象在所述视图空间中的预设分辨率特征；所述预设分辨率特征对应的像素的分辨率小于分辨率阈值；所述相对视图姿态是基于所述原始视图的视图姿态与所述参考纹理图像的视图姿态所确定出的相对姿态；基于所述预设分辨率特征，确定所述目标对象在不同相机视点下的视图概率；基于所述目标对象在不同相机视点下的视图概率，构建所述目标对象的几何模型；在不同光照方向上通过所述信息贴图对所述目标对象的几何模型进行重渲染，得到所述目标对象的重渲染图像。
本申请实施例提供一种图像重渲染装置，包括：获取模块，用于获取目标对象的原始视图、所述目标对象在多个预设相机视点下的参考纹理图像和所述目标对象的信息贴图；特征提取模块，用于基于所述原始视图与每一所述参考纹理图像之间的相对视图姿态，对所述原始视图所在的视图空间中的特征进行提取，得到所述目标对象在所述视图空间中的预设分辨率特征；所述预设分辨率特征对应的像素的分辨率小于分辨率阈值；所述相对视图姿态是基于所述原始视图的视图姿态与所述参考纹理图像的视图姿态所确定出的相对姿态；确定模块，用于基于所述预设分辨率特征，确定所述目标对象在不同相机视点下的视图概率；模型构建模块，用于基于所述目标对象在不同相机视点下的视图概率，构建所述目标对象的几何模型；重渲染模块，用于在不同光照方向上通过所述信息贴图对所述目标对象的几何模型进行重渲染，得到所述目标对象的重渲染图像。
在一些实施例中，所述特征提取模块还用于：基于所述原始视图与每一所述参考纹理图像之间的相对视图姿态，确定每相邻的两个预设相机视点下的参考纹理图像之间的对极线；沿所述对极线在所述原始视图所在的视图空间中进行特征提取，得到所述目标对象在所述视图空间中的预设分辨率特征。
在一些实施例中，所述装置还包括：光照射线采样模块，用于对所述原始视图进行光照射线采样，得到所述原始视图的光照射线；聚合处理模块，用于通过对极几何特征变换器，将所述目标对象在所述视图空间中的预设分辨率特征与所述原始视图的光照射线进行聚合处理，得到生成所述原始视图的相机引擎的光照射线颜色；所述光照射线颜色用于提取所述目标对象的真实参考数据实况像素值。
在一些实施例中，所述特征提取模块还用于：基于预设的重建损失函数，对所述对极几何特征变换器的颜色分支进行训练，得到训练后的对极几何特征变换器的颜色分支；以所述训练后的对极几何特征变换器的颜色分支为每相邻的两个预设相机视点下的参考纹理图像之间的基线，确定所述每相邻的两个预设相机视点下的参考纹理图像之间的对极线。
在一些实施例中，所述原始视图的相机引擎包括卷积编码器；所述特征提取模块还用于：采用补丁投影层替换所述卷积编码器，并将所述相机引擎的最后一层修改为卷积处理层，得到与所述对极几何特征变换器对应的相机引擎；通过与所述对极几何特征变换器对应的相机引擎，沿所述对极线在所述原始视图所在的视图空间中进行特征提取，得到所述目标对象在所述视图空间中的预设分辨率特征。
在一些实施例中，所述多个预设相机视点下的参考纹理图像为稀疏视图；所述稀疏视图是指视图数量小于数量阈值的多个图像；所述特征提取模块还用于：确定所述稀疏视图中的每相邻的两个预设相机视点下的参考纹理图像之间的基线；基于所述基线确定所述每相邻的两个预设相机视点下的参考纹理图像之间的对极线；通过所述相机引擎中的所述卷积编码器，对所述目标对象在所述对极线上的特征进行卷积编码处理，得到卷积编码向量；通过所述卷积处理层基于所述卷积编码向量进行向量卷积处理，得到在所述原始视图所在的视图空间中所述对极线上的像素点的预测颜色值和预测特征向量；所述预测颜色值和预测特征向量构成所述预设分辨率特征。
在一些实施例中，所述视图空间中的预设分辨率特征构成一特征网格；所述确定模块还用于：对所述原始视图和所述参考纹理图像中的纹理特征进行提取，得到所述目标对象的真实神经纹理特征；基于所述特征网格中的预设分辨率特征中的预测特征向量，确定所述目标对象的预测神经纹理特征；基于所述真实神经纹理特征和所述预测神经纹理特征进行建模，得到视图条件扩散模型；采用所述视图条件扩散模型近似计算所述目标对象在不同相机视点下的视图概率。
在一些实施例中，所述确定模块还用于：确定所述真实神经纹理特征和所述预测神经纹理特征之间的特征差值；对所述特征差值进行范数计算，得到特征差值范数；在所述视图空间和预设条件下，计算所述特征差值范数符合正态分布的期望值；将所述符合正态分布的期望值，确定为所述视图条件扩散模型。
在一些实施例中，在所述目标对象的几何模型中，在任意相机视点下的视图图像的视觉表达满足以下条件：从任意相机视点下对所述视觉表达参数进行图像渲染后的视图图像，在所述视图条件扩散模型下的视图概率的条件分布满足以下条件分布公式：
其中，fθ表示视图图像的视觉表达，fθ(π)表示在任意相机视点下的视图图像π的视觉表达；C表示参考纹理图像；表示视图概率；Lmodel表示视图条件扩散模型；θ表示相机视点。
在一些实施例中，所述装置还包括：图像渲染模块，用于对在任意相机视点下的视图图像的视觉表达进行图像渲染，得到渲染纹理图像；噪声添加模块，用于在所述视图条件扩散模型中添加噪声得到去噪扩散模型；视觉表达确定模块，用于通过所述去噪扩散模型，基于所述渲染纹理图像确定在所述相机视点下的预测视图图像的视觉表达；所述图像渲染模块，还用于通过对所述预测视图图像的视觉表达进行图像渲染，得到所述相机视点下的预测纹理图像。
在一些实施例中，所述图像渲染模块还用于：获取预设的时间步长；通过所述去噪扩散模型，基于所述时间步长和所述渲染纹理图像，连续预测在不同相机视点对应的相机角度下的预测视图图像的视觉表达。
在一些实施例中，所述重渲染模块还用于：在所述目标对象的原始视图所在的视图空间中，获取不同光照方向上的光照强度；基于不同光照方向上的光照强度和所述信息贴图，对所述目标对象的几何模型进行重渲染，得到所述目标对象的重渲染图像。
本申请实施例提供一种电子设备，包括：存储器，用于存储可执行指令；处理器，用于执行所述存储器中存储的可执行指令时，实现上述的图像重渲染方法。
本申请实施例提供一种计算机程序产品，该计算机程序产品包括可执行指令，可执行指令存储在计算机可读存储介质中；其中，电子设备的处理器从计算机可读存储介质中读取可执行指令，并执行可执行指令时，实现上述的图像重渲染方法。
本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行所述可执行指令时，实现上述的图像重渲染方法。
本申请实施例具有以下有益效果：
基于目标对象原始视图与每一参考纹理图像的视图姿态之间的相对视图姿态，对原始视图所在的视图空间中的特征进行提取，得到目标对象在视图空间中的预设分辨率特征；由于预设分辨率特征对应的像素的分辨率小于分辨率阈值，因此提取的是视图空间中的低分辨率特征，从而基于低分辨率特征所在的视图空间直接对像素空间中的分布进行概率分布建模，保证低分辨率特征下建模近似达到目标对象在不同相机视点下的视图概率，进而可以将视图概率准确的解码回目标对象的纹理图像，得到目标对象准确的几何模型。另外，由于是从不同的相机视点绘制重构目标对象的几何模型，能够将相机角度、几何和纹理的优化集成到一个统一的框架中，从而提高了图像重渲染的稳定性和效率。
附图说明
图1是本申请实施例提供的图像重渲染系统的一个可选的架构示意图；
图2是本申请实施例提供的电子设备的结构示意图；
图3是本申请实施例提供的图像重渲染方法的一个可选的流程示意图；
图4A是本申请实施例提供的图像重渲染方法的另一个可选的流程示意图；
图4B是本申请实施例提供的对极几何原理示意图；
图5是本申请实施例提供的确定对极线的实现过程示意图；
图6是本申请实施例提供的提取目标对象在视图空间中的预设分辨率特征的实现过程示意图；
图7是本申请实施例提供的基于真实神经纹理特征和预测神经纹理特征进行建模过程的实现过程示意图；
图8是本申请实施例提供的整体结构图；
图9是本申请实施例提供的输入纹理示意图；
图10是本申请实施例提供的输出模型示意图；
图11是本申请实施例提供的图像重渲染方法的整体流程示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。除非另有定义，本申请实施例所使用的所有的技术和科学术语与属于本申请实施例的技术领域的技术人员通常理解的含义相同。本申请实施例所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
基于相关技术中针对渲染效果失败或者不够逼真的问题，通常方法都集中在几何、纹理或相机角度的细化上；并且无法处理相机漂移、网格失真、纹理重影和模糊等伪影问题，质量差的3D纹理，渲染卡顿，严重影响用户体验；同时，在进行3D渲染增强时，需要大量的样本，单纯依靠纹理图像技术，难以实现其他样本的扩展等问题，本申请实施例提供一种图像重渲染方法、装置、电子设备、存储介质及程序产品，该图像重渲染方法引导高性能高质量的3D纹理生成技术，结合图形学的对极几何属性，设计了一种对极几何特征的处理表达方法，然后加噪扩散到多角度视图的产生，实现3D纹理的生成。
其中，本申请实施例提供的图像重渲染方法中，首先，基于所述原始视图与每一所述参考纹理图像之间的相对视图姿态，对原始视图所在的视图空间中的特征进行提取，得到目标对象在所述视图空间中的预设分辨率特征；预设分辨率特征对应的像素的分辨率小于分辨率阈值；然后，基于预设分辨率特征，确定目标对象在不同相机视点下的视图概率；再然后，基于目标对象在不同相机视点下的视图概率，构建目标对象的几何模型；最后，在不同光照方向上通过信息贴图对目标对象的几何模型进行重渲染，得到目标对象的重渲染图像。如此，基于低分辨率特征所在的视图空间直接对像素空间中的分布进行概率分布建模，保证了低分辨率特征下建模近似达到目标对象在不同相机视点下的视图概率，进而可以将视图概率准确的解码回目标对象的纹理图像，得到目标对象准确的几何模型。另外，由于是从不同的相机视点绘制重构目标对象的几何模型，能够将相机角度、几何和纹理的优化集成到一个统一的框架中，从而提高了图像重渲染的稳定性和效率。
这里，首先说明本申请实施例的图像重渲染设备的示例性应用，该图像重渲染设备是用于实现图像重渲染方法的电子设备。在一种实现方式中，本申请实施例提供的图像重渲染设备(即电子设备)可以实施为终端，也可以实施为服务器。在一种实现方式中，本申请实施例提供的图像重渲染设备可以实施为笔记本电脑，平板电脑，台式计算机，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备，智能机器人，智能家电和智能车载设备等任意的具备数据处理、图像渲染和3D模型构建的终端；在另一种实现方式中，本申请实施例提供的图像重渲染设备还可以实施为服务器，其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(CDN，Content Delivery Network)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例中不做限制。下面，将说明图像重渲染设备实施为服务器时的示例性应用。
参见图1，图1是本申请实施例提供的图像重渲染系统的一个可选的架构示意图，为实现支撑针对任意一个图像显示应用，通过图像显示应用显示目标对象准确逼真的渲染图像，可以对目标对象的渲染图像进行缺陷检测，一旦检测到任意一帧渲染图像存在缺陷时，可以采用本申请实施例提供的图像重渲染方法，对该渲染图像进行图像重渲染，得到准确逼真的重渲染图像。
参见图1，图像重渲染系统10中至少包括终端100、网络200和服务器300，本申请实施例中，终端100上至少安装有图像显示应用(该图像显示应用是能够实现图像缺陷检测和图像重渲染功能的应用，或者图像显示应用也可以是一图像重渲染应用)。其中服务器300是图像显示应用的服务器。服务器300可以构成本申请实施例的图像重渲染设备，即通过服务器300实现本申请实施例的图像重渲染方法。终端100通过网络200连接服务器300，网络200可以是广域网或者局域网，又或者是二者的组合。
在检测到具有缺陷的图像时，可以确定该图像中的目标对象，并获取目标对象的原始视图、目标对象在多个预设相机视点下的参考纹理图像和目标对象的信息贴图，并将这些信息封装至图像重渲染请求中。然后，终端100通过网络200将图像重渲染请求发送给服务器300。服务器300在接收到图像重渲染请求之后，响应于图像重渲染请求，基于原始视图与每一参考纹理图像之间的相对视图姿态，对原始视图所在的视图空间中的特征进行提取，得到目标对象在所述视图空间中的预设分辨率特征；其中该相对视图姿态是基于原始视图的视图姿态与参考纹理图像的视图姿态所确定出的相对姿态，该视图空间中的预设分辨率特征构成一特征网格；预设分辨率特征对应的像素的分辨率小于分辨率阈值；然后，基于特征网格中的预设分辨率特征，确定目标对象在不同相机视点下的视图概率；再然后，基于目标对象在不同相机视点下的视图概率，构建目标对象的几何模型；最后，在不同光照方向上通过信息贴图对所述目标对象的几何模型进行重渲染，得到目标对象的重渲染图像。在得到目标对象的重渲染图像之后，服务器300可以将目标对象的重渲染图像发送给终端100，以实现在终端100上展示目标对象的重渲染图像。
在一些实施例中，还可以由终端100执行本申请实施例的图像重渲染方法，也就是说，终端100上运行的图像显示应用通过客户端接收到待检测视频，并对待检测视频进行缺陷检测，在检测到具有缺陷的图像时，可以确定该图像中的目标对象，并获取目标对象的原始视图、目标对象在多个预设相机视点下的参考纹理图像和目标对象的信息贴图。然后，由终端100基于原始视图与每一参考纹理图像之间的相对视图姿态，对原始视图所在的视图空间中的特征进行提取，得到目标对象在视图空间中的预设分辨率特征；由终端100基于特征网格中的预设分辨率特征，确定目标对象在不同相机视点下的视图概率；由终端100基于目标对象在不同相机视点下的视图概率，构建目标对象的几何模型；由终端100在不同光照方向上通过信息贴图对目标对象的几何模型进行重渲染，得到目标对象的重渲染图像。并且，在得到目标对象的重渲染图像之后，终端100在当前界面显示该重渲染图像。
本申请实施例所提供的图像重渲染方法还可以基于云平台并通过云技术来实现，例如，上述服务器300可以是云端服务器。通过云端服务器对原始视图所在的视图空间中的特征进行提取，得到目标对象在视图空间中的预设分辨率特征，或者，通过云端服务器基于特征网格中的预设分辨率特征，确定目标对象在不同相机视点下的视图概率，或者，通过云端服务器基于目标对象在不同相机视点下的视图概率，构建目标对象的几何模型，或者，通过云端服务器在不同光照方向上通过信息贴图对所述目标对象的几何模型进行重渲染，得到目标对象的重渲染图像等。
在一些实施例中，还可以具有云端存储器，可以将目标对象的原始视图、目标对象在多个预设相机视点下的参考纹理图像和目标对象的信息贴图存储至云端存储器中，也可以将目标对象的重渲染图像存储至云端存储器中。这样，在对目标对象的视频进行显示时，则可以从云端存储器中直接获取重渲染图像进行显示。
这里需要说明的是，云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，其可以通过云计算来实现。
图2是本申请实施例提供的电子设备的结构示意图，图2所示的电子设备可以是图像重渲染设备，图像重渲染设备包括：至少一个处理器310、存储器350、至少一个网络接口320和用户接口330。图像重渲染设备中的各个组件通过总线系统340耦合在一起。可理解，总线系统340用于实现这些组件之间的连接通信。总线系统340除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统340。
处理器310可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口330包括使得能够呈现媒体内容的一个或多个输出装置331，以及一个或多个输入装置332。
存储器350可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器350可选地包括在物理位置上远离处理器310的一个或多个存储设备。存储器350包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本申请实施例描述的存储器350旨在包括任意适合类型的存储器。在一些实施例中，存储器350能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统351，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；网络通信模块352，用于经由一个或多个(有线或无线)网络接口320到达其他计算设备，示例性的网络接口320包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；输入处理模块353，用于对一个或多个来自一个或多个输入装置332之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本申请实施例提供的装置可采用软件方式实现，图2示出了存储在存储器350中的一种图像重渲染装置354，该图像重渲染装置354可以是电子设备中的图像重渲染装置，其可以是程序和插件等形式的软件，包括以下软件模块：获取模块3541、特征提取模块3542、确定模块3543、模型构建模块3544和重渲染模块3545，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
在一些实施例中，本申请实施例提供的装置可以采用硬件方式实现，作为示例，本申请实施例提供的装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的图像重渲染方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，ComplexProgrammable Logi c Device)、现场可编程门阵列(FPGA，Field-Programmable GateArray)或其他电子元件。
本申请各实施例提供的图像重渲染方法可以由电子设备来执行，其中，该电子设备可以是服务器也可以是终端，即本申请各实施例的图像重渲染方法可以通过服务器来执行，也可以通过终端来执行，或者也可以通过服务器与终端之间交互执行。
图3是本申请实施例提供的图像重渲染方法的一个可选的流程示意图，下面将结合图3示出的步骤进行说明，如图3所示，以图像重渲染方法的执行主体为服务器为例进行说明，方法包括以下步骤S101至步骤S105：
步骤S101，获取目标对象的原始视图、目标对象在多个预设相机视点下的参考纹理图像和目标对象的信息贴图。
这里，目标对象是指需要进行图像重渲染的渲染异常的图像中的对象。目标对象的原始视图是指在对目标对象进行图像渲染时要达到的能够准确清晰显示目标对象的图像；参考纹理图像是指对目标对象在不同的预设相机视点下提取的目标对象的真实图像，可以是对目标对象进行正常渲染后得到的纹理图像。预设相机视点是指图像显示应用内部的相机引擎的拍摄视角或者拍摄角度，该拍摄视角或者拍摄角度可以是0到360度之间的任意值。
目标对象的信息贴图是指目标对象中的局部图像贴图，例如，对于目标对象是汽车的情况，汽车的信息贴图可以是汽车的轮胎、车灯等的局部图像贴图。在得到汽车的3D模型之后，可以通过对汽车的3D模型进行渲染，并将轮胎、车灯等位置的局部图像贴图融合至渲染的图像中，即可得到汽车的重渲染图像。
本申请实施例中，用户可以在图像显示应用的客户端输入目标对象的原始视图、目标对象在多个预设相机视点下的参考纹理图像和目标对象的信息贴图。
步骤S102，基于原始视图与每一参考纹理图像之间的相对视图姿态，对原始视图所在的视图空间中的特征进行提取，得到目标对象在视图空间中的预设分辨率特征。
本申请实施例中，相对视图姿态是基于原始视图的视图姿态与参考纹理图像的视图姿态所确定出的相对姿态。也就是说，可以基于原始视图的视图姿态与每一参考纹理图像的视图姿态之间的相对视图姿态，对原始视图所在的视图空间中的特征进行提取，得到目标对象在所述视图空间中的预设分辨率特征。
这里，视图姿态是指拍摄相应视图时的视角，即相机视点，例如，可以是指图像显示应用内部的相机引擎的拍摄视角或者拍摄角度。本申请实施例中，在获取目标对象的原始视图、目标对象在多个预设相机视点下的参考纹理图像时，即可同时获取到原始视图对应的视图姿态和每一参考纹理图像的视图姿态，也就是说，可以同时输入原始视图以及原始视图的视图姿态，同时，可以根据每一参考纹理图像的预设相机视点确定相应参考纹理图像的视图姿态，例如，可以将每一参考纹理图像的预设相机视点对应的拍摄视角或者拍摄角度，直接确定为相应参考纹理图像的视图姿态。
本申请实施例中，视图空间中的预设分辨率特征构成一特征网格，该特征网络是指视图空间中的预设分辨率特征构成的空间网格；预设分辨率特征对应的像素的分辨率小于分辨率阈值，因此，特征网格是指视图空间中的低分辨率特征构成的空间网格。
步骤S103，基于预设分辨率特征，确定目标对象在不同相机视点下的视图概率。
这里，视图概率是指不同相机视点下的视图与该相机视点匹配的概率值，也就是说，任一相机视点下的视图概率反应该相机视点下的2D视图是该相机视点下的2D视图的概率。举例来说，如果相机视点是60度方向，确定出的视图概率是70％，则特征网格中的预设分辨率特征对应的2D视图是在相机引擎对应的60度方向上的概率为70％；如果相机视点是正上方，确定出的视图概率是80％，则特征网格中的预设分辨率特征对应的2D视图是在相机引擎对应的正上方的概率为80％。
本申请实施例中，通过确定特征网格中的预设分辨率特征对应的视图在不同相机视点下的视图概率，能够得到不同视图与相机视点之间的对应关系，建立几何关系，从而基于这些几何关系通过神经网络重新建立目标对象的3D模型。
步骤S104，基于目标对象在不同相机视点下的视图概率，构建目标对象的几何模型。
这里，可以基于不同相机视点下的视图概率确定不同相机视点下的2D视图，从而基于不同相机视点下的2D视图可以构建目标对象的几何模型。
步骤S105，在不同光照方向上通过信息贴图对目标对象的几何模型进行重渲染，得到目标对象的重渲染图像。
这里，在得到目标对象的几何模型之后，可以基于目标对象的几何模型进行重渲染得到目标对象的模型框架，在得到模型框架之后，可以沿着不同的光照方向将目标对象的信息贴图融合至模型框架表面，从而得到目标对象的三维展示模型，其中，该三维展示模型能够实现在不同的相机视点下均对目标对象进行准确的显示。
本申请实施例中，沿着不同的光照方向将目标对象的信息贴图融合至模型框架表面，可以是将目标对象的信息贴图贴附于模型框架的表面，从而生成具有表面颜色和表面细节的重渲染图像。
本申请实施例提供的图像重渲染方法，基于目标对象原始视图与每一参考纹理图像之间的相对视图姿态，对原始视图所在的视图空间中的特征进行提取，得到目标对象在视图空间中的预设分辨率特征。由于预设分辨率特征对应的像素的分辨率小于分辨率阈值，因此提取的是视图空间中的低分辨率特征，从而基于低分辨率特征所在的视图空间直接对像素空间中的分布进行概率分布建模，保证低分辨率特征下建模近似达到目标对象在不同相机视点下的视图概率，进而可以将视图概率准确的解码回目标对象的纹理图像，得到目标对象准确的几何模型。另外，由于是从不同的相机视点绘制重构目标对象的几何模型，能够将相机角度、几何和纹理的优化集成到一个统一的框架中，从而提高了图像重渲染的稳定性和效率。
在一些实施例中，本申请实施例提供的图像重渲染方法至少可以应用于以下场景中的任意一种：
场景一：图像重渲染系统中至少包括终端和服务器，其中，终端上安装有图像显示应用，该图像显示应用能够对待显示视频或者待显示图像进行显示，服务器是图像显示应用的后台服务器。图像显示应用不仅具有图像渲染和显示的功能，还具有图像重渲染功能。在通过图像显示应用显示待显示视频或者待显示图像的过程中，可能会存在渲染异常或者显示不够逼真的情况，针对该情况，则可以通过自动触发图像显示应用的图像重渲染功能，对该渲染异常的图像进行图像重渲染。也就是说，图像显示应用能够自动检测所渲染的图像是否存在异常，并对存在异常的图像进行图像重渲染。在进行图像重渲染的过程中，可以确定异常图像中渲染的目标对象，并采用本申请实施例提供的图像重渲染方法确定该目标对象的几何模型，从而基于几何模型对目标对象进行重渲染，得到目标对象的重渲染图像。在得到重渲染图像之后，在图像实现应用的客户端显示该重渲染图像，从而保证待显示视频或者待显示图像进行清晰准确的显示。
场景二：图像重渲染系统中至少包括终端和服务器，其中，终端上安装有图像显示应用和图像重渲染应用，该图像显示应用能够对待显示视频或者待显示图像进行显示，服务器包括图像显示应用的后台服务器和图像重渲染应用的后台服务器。图像显示应用具有图像渲染和显示的功能。在通过图像显示应用显示待显示视频或者待显示图像的过程中，可能会存在渲染异常或者显示不够逼真的情况，针对该情况，则图像显示应用的后台服务器可以将该渲染异常的图像发送给图像重渲染应用的后台服务器，通过图像重渲染应用的后台服务器执行图像重渲染应用的图像重渲染功能，对该渲染异常的图像进行图像重渲染。也就是说，由图像显示应用向图像重渲染应用发送图像重渲染请求，以请求对渲染异常的图像进行图像重渲染。在向图像重渲染应用发送图像重渲染请求之前，图像显示应用的后台服务器还可以确定异常图像中渲染的目标对象，并将目标对象的信息封装至图像重渲染请求中。这样，在图像重渲染应用的后台服务器对图像重渲染请求进行请求响应时，则可以基于图像重渲染请求中携带的信息确定目标对象的几何模型，从而基于几何模型对目标对象进行重渲染，得到目标对象的重渲染图像。在得到重渲染图像之后，图像重渲染应用的后台服务器可以将重渲染图像发送给图像显示应用，以实现在图像显示应用的客户端清晰准确的显示重渲染图像。
场景三：图像重渲染系统中至少包括终端和服务器，其中，终端上安装有图像重渲染应用，该图像重渲染应用能够对输入的渲染异常的图像进行图像重渲染，服务器是图像重渲染应用的后台服务器。在运行图像重渲染应用的过程中，可以输入渲染异常的图像中的目标对象的原始视图、目标对象在多个预设相机视点下的参考纹理图像和目标对象的信息贴图，之后，采用本申请实施例提供的图像重渲染方法，确定该目标对象的几何模型，从而基于几何模型对目标对象进行重渲染，得到目标对象的重渲染图像。在得到重渲染图像之后，可以输出该重渲染图像。
在一些实施例中，上述图像重渲染系统中至少包括终端和服务器，终端上运行有图像显示应用，这里以终端上运行有图像显示应用不仅具有图像渲染和显示的功能，还具有图像重渲染功能(即上述场景一)为例进行说明，服务器构成图像显示应用的后台服务器。
图4A是本申请实施例提供的图像重渲染方法的另一个可选的流程示意图，如图4A所示，方法包括以下步骤S201至步骤S217：
步骤S201，终端接收待检测视频，并对待检测视频进行缺陷检测。
本申请实施例中，待检测视频可以是具有渲染异常视频帧的视频，可以在显示待检测视频的过程中对待检测视频进行缺陷检测。
这里，缺陷检测是指通过缺陷检测工具对待检测视频的每一视频帧的渲染结果进行检测，以确定待检测视频中是否存在渲染异常的视频帧。渲染异常包括但不限于以下至少之一：渲染效果失败、渲染效果不够逼真、几何和纹理方面的错误、相机漂移、网格失真等问题。
缺陷检测工具能够对视频帧中的缺陷进行识别和检测，同时还能够对生成带缺陷的纹理资源进行提取，从而得到带缺陷的纹理资源。在一些实施例中，缺陷检测工具可以实施为debug工具。
步骤S202，当检测到具有缺陷的图像时，终端确定该图像中的目标对象，并获取目标对象的原始视图、目标对象在多个预设相机视点下的参考纹理图像和目标对象的信息贴图。
本申请实施例中，当检测到具有缺陷的图像时，可以通过缺陷检测工具识别该图像中所渲染的目标对象。目标对象可以是任意一种2D或者3D对象，例如，可以是建筑物、游戏角色、车辆、游戏道具等。
本申请实施例中，在确定出图像中的目标对象时，可以从图像显示应用的服务器中获取该目标对象的原始图像、目标对象在多个预设相机视点下的参考纹理图像和目标对象的信息贴图。
目标对象的原始视图是指在对目标对象进行图像渲染时要达到的能够准确清晰显示目标对象的图像，可以预先存储在预设存储单元中；参考纹理图像是指对目标对象在不同的预设相机视点下提取的目标对象的真实图像，可以是对目标对象进行正常渲染后得到的纹理图像，可以预先针对目标对象采集多个不同的预设相机视点下的参考纹理图像，并将参考纹理图像也存储至预设存储单元中。预设相机视点是指图像显示应用内部的相机引擎的拍摄视角或者拍摄角度。
步骤S203，终端将目标对象的原始视图、目标对象在多个预设相机视点下的参考纹理图像和目标对象的信息贴图封装至图像重渲染请求中。
步骤S204，终端将图像重渲染请求发送给服务器。
步骤S205，服务器响应于图像重渲染请求，对原始视图进行光照射线采样，得到原始视图的光照射线。
本申请实施例中，在进行光照射线采样时，可以基于原始视图的属性信息确定原始视图对应的光照射线，原始视图的属性信息包括原始视图的相机视点以及与该相机视点对应的光照方向等信息，原始视图的属性信息也可以存储在预设存储单元中。在获取原始视图时，也可以同时获取原始视图的属性信息。
本申请实施例中，在获取到原始视图的属性信息之后，可以基于原始视图的属性信息中的相机视点对应的光照方向确定原始视图的光照射线，也就是说，在对原始视图进行光照射线采样时，是从原始视图的属性信息中获取相机视点对应的光照方向，从而基于光照方向确定原始视图的光照射线。其中，光照射线是指沿着光照方向，向原始视图中目标对象对应的局部区域发射的射线。
步骤S206，服务器通过对极几何特征变换器，将目标对象在视图空间中的预设分辨率特征与原始视图的光照射线进行聚合处理，得到生成原始视图的相机引擎的光照射线颜色；光照射线颜色用于提取目标对象的真实参考数据实况像素值。
对极几何特征变换器是一种基于对极几何原理进行特征变换，从而实现特征提取的神经网络单元。
这里对对极几何原理进行说明：参见图4B，是使用两台摄像机同时对一个场景进行拍摄的示意图。如果只是用一台摄像机则不可能知道3D空间中的X点到图像平面的距离，因为OX连线上的每个点投影到图像平面上的点都是相同的。但是如果也考虑上右侧图像的话，直线OX上的点将投影到右侧图像上的不同位置。所以根据这两幅图像，就可以使用三角测量计算出3D空间中的点到摄像机的距离(深度)。这就是整个思路。直线OX上的不同点投射到右侧图像上形成的线l′被称为与X点对应的极线。也就是说，可以在右侧图像中沿着这条极线找到x点。它可能在这条直线上某个位置(这意味着对两幅图像间匹配特征的二维搜索就转变成了沿着极线的一维搜索。这不仅节省了大量的计算，还允许排除许多导致虚假匹配的点)。这被称为对极约束。与此相同，所有的点在其他图像中都有与之对应的极线。平面XOO’被称为对极平面。O和O’是摄像机的中心。从上面的示意图可以看出，右侧摄像机的中心O’投影到左侧图像平面的e点，这个点就被称为极点。极点就是摄像机中心连线与图像平面的交点。因此点e’是左侧摄像机的极点。有些情况下，可能不会在图像中找到极点，极点可能落在了图像之外(这说明这两个摄像机不能拍摄到彼此)。所有的极线都要经过极点，所以为了找到极点的位置，可以先找到多条极线，这些极线的交点就是极点。
本申请实施例中，可以在多个预设相机视点下的参考纹理图像中沿每两个参考纹理图像的对极线提取特征，并对提取的特征进行聚合，从而预测给定查询相机引擎光照射线r的颜色，也就是说，通过在所有上下文参考纹理图像中，沿其对极线提取特征并将提取的特征与变换器聚合来预测给定查询相机引擎光照射线的颜色，即得到生成原始视图的相机引擎的光照射线颜色。本申请实施例中，光照射线颜色用于提取目标对象的真实参考数据实况像素值，也就是说，通过步骤S206得到生成原始视图的相机引擎的光照射线颜色，这样，可以通过该光照射线颜色来提取目标对象的真实参考数据实况像素值。其中，目标对象的真实参考数据实况像素值是用于表征目标对象的真实数据的像素值。
需要说明的是，目标对象在视图空间中的预设分辨率特征的具体提取过程，将在下文中进行解释。
步骤S207，服务器基于原始视图与每一参考纹理图像之间的相对姿态，确定每相邻的两个预设相机视点下的参考纹理图像之间的对极线。
在一些实施例中，参见图5，图5示出了步骤S207中确定每相邻的两个预设相机视点下的参考纹理图像之间的对极线，可以通过以下步骤S2071和步骤S2072实现：
步骤S2071，基于预设的重建损失函数，对对极几何特征变换器的颜色分支进行训练，得到训练后的对极几何特征变换器的颜色分支。
步骤S2072，以训练后的对极几何特征变换器的颜色分支为每相邻的两个预设相机视点下的参考纹理图像之间的基线，确定每相邻的两个预设相机视点下的参考纹理图像之间的对极线。
步骤S208，服务器沿对极线在原始视图所在的视图空间中进行特征提取，得到目标对象在视图空间中的预设分辨率特征。
这里，原始视图所在的视图空间中的预设分辨率特征构成一特征网格，该特征网络是指原始视图所在的视图空间中的预设分辨率特征构成的空间网格；预设分辨率特征对应的像素的分辨率小于分辨率阈值，因此，特征网格是指原始视图所在的视图空间中的低分辨率特征构成的空间网格。
在一些实施例中，原始视图的相机引擎包括卷积编码器，参见图6，图6示出了步骤S208中提取目标对象在原始视图所在的视图空间中的预设分辨率特征，可以通过以下步骤S2081和步骤S2082实现：
步骤S2081，采用补丁投影层替换卷积编码器，并将相机引擎的最后一层修改为卷积处理层，得到与对极几何特征变换器对应的相机引擎。
步骤S2082，通过与对极几何特征变换器对应的相机引擎，沿对极线在原始视图所在的视图空间中进行特征提取，得到目标对象在原始视图所在的视图空间中的预设分辨率特征。
在一些实施例中，多个预设相机视点下的参考纹理图像为稀疏视图；稀疏视图是指视图数量小于数量阈值的多个图像。即本申请实施例在进行图像重渲染时，获取的是具有已知相机视点的稀疏视图，其中，稀疏视图通常是多个具有蒙版前景的纹理图像，例如，稀疏视图可以是2至3个具有蒙版前景的纹理图像。蒙版就是选框的外部(选框的内部就是选区)。
本申请实施例中，步骤S2082中沿对极线在原始视图所在的视图空间中进行特征提取的步骤，可以通过以下方式实现：首先，确定稀疏视图中的每相邻的两个预设相机视点下的参考纹理图像之间的基线；然后，基于基线确定每相邻的两个预设相机视点下的参考纹理图像之间的对极线；再然后，通过相机引擎中的卷积编码器，对目标对象在对极线上的特征进行卷积编码处理，得到卷积编码向量；最后，通过卷积处理层基于卷积编码向量进行向量卷积处理，得到在视图空间中对极线上的像素点的预测颜色值和预测特征向量；预测颜色值和预测特征向量构成预设分辨率特征。
这里，确定稀疏视图中的每相邻的两个预设相机视点下的参考纹理图像之间的基线，可以基于图4B所示的对极几何原理，对每相邻的两个预设相机视点下的参考纹理图像确定基线。并且，可以基于对极几何原理，确定每相邻的两个预设相机视点下的参考纹理图像之间的对极线。
本申请实施例中，卷积处理层是相机引擎中的最后一层，通过卷积处理层对输入的向量进行向量卷积处理，能够得到两个分支的预测结果，一个是颜色分支的预测颜色值，另一个是特征分支的预测特征向量，该预测颜色值和预测特征向量构成预设分辨率特征。
步骤S209，服务器对原始视图和参考纹理图像中的纹理特征进行提取，得到目标对象的真实神经纹理特征。
本申请实施例中，由于原始视图和参考纹理图像是目标对象预先真实渲染的图像，能够准确的反映出目标对象的纹理信息，因此对原始视图和参考纹理图像中的纹理特征进行提取，能够得到目标对象真实的神经纹理特征，即真实神经纹理特征。
步骤S210，服务器基于特征网格中的预设分辨率特征中的预测特征向量，确定目标对象的预测神经纹理特征。
这里，预测特征向量是指预设分辨率特征对应的向量表达。由于预设分辨率特征是基于对极几何原理预测的目标对象在特征网格中的分辨率特征，因此，基于预设分辨率特征中的预设特征向量，能够确定目标对象的预测神经纹理特征。也就是说，通过对预测特征向量进行纹理特征识别，可以得到表征目标对象纹理的预测神经纹理特征。
步骤S211，服务器基于真实神经纹理特征和预测神经纹理特征进行建模，得到视图条件扩散模型。
在一些实施例中，参见图7，图7示出了步骤S211中，基于真实神经纹理特征和预测神经纹理特征进行建模过程，可以通过以下步骤实现：
步骤S2111，确定真实神经纹理特征和预测神经纹理特征之间的特征差值。
步骤S2112，对特征差值进行范数计算，得到特征差值范数。
步骤S2113，在视图空间和预设条件下，计算特征差值范数符合正态分布的期望值。
步骤S2114，将符合正态分布的期望值，确定为视图条件扩散模型。
本申请实施例中，基于真实神经纹理特征和预测神经纹理特征建模视图条件扩散模型，能够得到满足符合正态分布的视图条件扩散模型。
步骤S212，服务器采用视图条件扩散模型近似计算目标对象在不同相机视点下的视图概率。
本申请实施例中，在得到视图条件扩散模型之后，可以采用该视图条件扩散模型近似计算目标对象在不同相机视点下的视图概率。也就是说，在计算不同相机视点下的视图概率时，是得到不同相机视点下的期望值，从而基于该期望值进行近似计算，得到不同相机视点下的视图概率。
步骤S213，服务器基于目标对象在不同相机视点下的视图概率，构建目标对象的几何模型。
本申请实施例中，基于目标对象在不同相机视点下的视图概率构建目标对象的几何模型时，需要该几何模型满足一定的条件，当该几何模型满足该条件时，则将当前的几何模型确定为目标对象的几何模型。也即，是基于一定的约束条件来构建目标对象的几何模型的。
总的来说，在一些实施例中，在目标对象的几何模型中，在任意相机视点下的视图图像的视觉表达满足以下条件：从任意相机视点下对视觉表达参数进行图像渲染后的视图图像，在视图条件扩散模型下的视图概率的条件分布满足以下条件分布公式(1-1)：
其中，fθ表示视图图像的视觉表达，fθ(π)表示在任意相机视点下的视图图像π的视觉表达；C表示参考纹理图像；表示视图概率；Lmodel表示视图条件扩散模型；θ表示相机视点。这样，当在任意相机视点下的视图图像的视觉表达满足上述条件：从任意相机视点下对视觉表达参数进行图像渲染后的视图图像，在视图条件扩散模型下的视图概率的条件分布满足条件分布公式(1-1)时，则表明在该任意相机视点下的视图图像的视觉表达所对应的几何模型满足一定的条件，此时的几何模型可以是构建好的目标对象的几何模型。
在一些实施例中，还可以通过扩散原理来寻求目标对象的几何模型的神经模式。这里，对通过扩散原理实现的过程进行说明。在实现的过程中，可以首先对在任意相机视点下的视图图像的视觉表达进行图像渲染，得到渲染纹理图像；然后，在视图条件扩散模型中添加噪声得到去噪扩散模型；并通过去噪扩散模型，基于渲染纹理图像确定在相机视点下的预测视图图像的视觉表达；最后，通过对预测视图图像的视觉表达进行图像渲染，得到相机视点下的预测纹理图像。
在一些实施例中，通过去噪扩散模型，基于渲染纹理图像确定在相机视点下的预测视图图像的视觉表达时，可以先获取预设的时间步长；然后通过去噪扩散模型，基于时间步长和渲染纹理图像，连续预测在不同相机视点对应的相机角度下的预测视图图像的视觉表达。
步骤S214，服务器在目标对象的原始视图所在的视图空间中，获取不同光照方向上的光照强度。
这里，原始视图所在的视图空间中不同光照方向上的光照强度可以通过对目标对象的渲染场景来确定，这里的渲染场景是指目标对象对应的当前的待渲染视频中的场景。例如，针对于游戏道具，可以具有游戏道具展示场景、游戏道具使用场景等不同场景，其中，游戏道具展示场景中的不同光照方向上的光照强度会比较强，光照会集中在道具表面；而游戏道具使用场景中，由于在当前游戏场景下更加关注的是角色本身，因此，不同光照方向上的光照强度会比较弱，光照不会集中在道具表面。
由此可见，针对于同一目标对象，在不同的渲染场景下，对应的不同光照方向上的光照强度也将不同。
步骤S215，服务器基于不同光照方向上的光照强度和信息贴图，对目标对象的几何模型进行重渲染，得到目标对象的重渲染图像。
这里，在得到目标对象的几何模型之后，可以基于目标对象的几何模型进行重渲染得到目标对象的模型框架，在得到模型框架之后，可以沿着不同的光照方向将目标对象的信息贴图融合至模型框架表面，从而得到目标对象的三维展示模型，该三维展示模型能够实现在不同的相机视点下均对目标对象进行准确的显示。其中，沿着不同的光照方向将目标对象的信息贴图融合至模型框架表面，可以是将目标对象的信息贴图贴附于模型框架的表面，从而生成具有表面颜色和表面细节的重渲染图像。
步骤S216，服务器将重渲染图像发送给终端。
步骤S217，终端在当前界面上显示重渲染图像。
本申请实施例提供的图像重渲染方法，基于低分辨率特征所在的视图空间直接对像素空间中的分布进行概率分布建模，保证了低分辨率特征下建模近似达到目标对象在不同相机视点下的视图概率，进而可以将视图概率准确的解码回目标对象的纹理图像，得到目标对象准确的几何模型。另外，由于是从不同的相机视点绘制重构目标对象的几何模型，能够将相机角度、几何和纹理的优化集成到一个统一的框架中，从而提高了图像重渲染的稳定性和效率。
下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。
相关技术中，在进行3D渲染增强时需要大量的样本，单纯依靠纹理图像技术难以实现其他样本的扩展，因此本申请实施例提出了一种引导3D形状纹理的新方法：利用预训练的深度到纹理的视图条件扩散模型，应用迭代方案，从不同的角度绘制重构3D模型，将游戏引擎的相机角度、几何和纹理的优化集成到一个统一的框架中，并描述了一种迭代优化策略，以提高优化的稳定性和效率。本申请实施例设计了结合图形学的对极几何属性，设计了一种对极几何特征的处理表达方法，然后加噪扩散到多角度视图的产生，实现3D纹理的生成。
本申请实施例的方案可以应用于任意的纹理资源性能优化工作上，如图8所示，本申请实施例的整体结构上就是利用缺陷检测工具(例如，debug工具)先对生成带缺陷的图像的纹理资源进行提取，提取后送入本申请实施例的模型中进行优化，进行优化后再替换掉原有的纹理，重新运行纹理加载过程，如果效果有所优化，并且没有增加过多的性能消耗，则表示渲染增强达到预期效果。
图9是本申请实施例提供的输入纹理示意图，图10是本申请实施例提供的输出模型示意图，如图9和图10所示，可以使用少量的游戏2D纹理图片，即可生成3D的模型，最后结合图片贴图，即可查看不同角度下的3D视图。
图11是本申请实施例提供的图像重渲染方法的整体流程示意图，如图11所示，给定具有已知相机视点的对象(通常可以是2-3个具有蒙版前景的纹理图像)的稀疏视图1101，本申请实施例的方法旨在推断能够合成新视图同时捕获几何结构的(3D)表示。然而，由于物体的各个方面可能未被观察到并且其几何形状难以精确推断，因此直接预测3D或新视图会导致不确定区域的输出会相当模糊。
为了实现合理且与3D一致的预测，本申请实施例采用概述中概述的两步法。首先，学习了一个概率视图合成模型1102，该概率视图合成模型1102使用几何引导扩散，可以在给定稀疏视图上下文的情况下对来自查询视图概率的纹理图像分布进行建模。虽然这允许生成详细和多样化的输出，但获得的渲染缺乏3D一致性。因此，为了提取3D表示，本申请实施例还提出了一个3D神经蒸馏过程，将预测的视图分布萃取为一致的3D模式。
下面对本申请实施例中几何引导的概率视图合成过程进行说明。
本申请实施例中，可以给定目标视图姿态(即原始视图π的视图姿态)以及一组参考纹理图像C及其相对姿态C≡(xm,πm)，由于需要对条件分布p(x|π,C)建模，从而可以合成纹理图像那么建模过程可以是：首先，使用图形学的对极几何特征变换器作为特征提取器，在给定上下文C下π的视图空间中获取低分辨率特征(即上述预设分辨率特征)的网格y。同时，训练了一个视图条件扩散模型，该视图条件扩散模型可以根据这些几何感知特征(即低分辨率特征)对新视图纹理图像条件下的分布进行建模。
这里对对极几何特征变换器进行说明：对极几何特征变换器能够从上下文C中提取特征，对极几何特征变换器通过在所有上下文纹理图像中沿其对极线提取特征，并将这些特征与变换器聚合来预测给定查询引擎相机光照射线r的颜色。在原有引擎投影对应的相机引擎中是使用R卷积编码器替换补丁投影层。因为发现轻量级补丁编码虽然适用于小基线视图合成，但在稀疏视图设置下并不稳健。此外，还修改相机引擎的最后一层，以预测RGB值和特征向量。这里将RGB分支的RGB值表示为gψ(即预测颜色值)和特征分支的预测特征向量表示为为hψ。将修改后的基于对极几何特征变换器将其颜色分支作为一个基线。
同时，还训练对极几何特征变换器的颜色分支以最小化简单重建损失，参见以下损失计算公式(2-1)，其中，r是从π采样的查询射线，C是参考纹理图像集及其相对位姿，I(r)是真实参考数据实况像素值。
Loss＝Sum(||gψ(r,C)-I(r)||2) (2-1)。
下面对视图条件扩散模型进行说明。其中，视图条件扩散模型为一种视图多角度扩散模型。虽然使用对极几何特征变换器可以直接预测新的观点，但像素级预测机制不允许它对潜在的概率分布进行建模，从而导致不确定性下的模糊均值预测。为了对合理纹理图像的分布进行建模，本申请实施例训练了一个视图条件扩散模型来估计p(x|π,C)，同时使用对极几何特征变换器作为几何特征提取器。这里，发现在较低分辨率的空间z＝E()中直接对像素空间中的分布进行概率分布建模可以将其解码回纹理图像x＝D(z)，因此模拟低分辨率下建模近似达到p(x|π,C)。
本申请实施例中，通过给定目标视图π和一组输入纹理图像C，使用对极几何特征变换器的主干提取32x32的特征Mesh网格y＝hψ(π,C)。训练的视图条件扩散模型来恢复以y为条件的真实参考数据真实纹理图像-z0。其中，视图条件扩散模型LModel参见以下公式(2-2)：
LModel＝Ez,εN(0,1),x,t[||ε-εψ(z,t,y)||] (2-2)。
本申请实施例中，LModel模型允许近似计算p(x|π,C)，并能够绘制多个样本预测。ε表示目标对象的真实神经纹理特征；εψ(z,t,y)表示目标对象的预测神经纹理特征。
下面对本申请实施例提供的通过扩散角度提取3D模式的过程进行说明。
LModel模型使得能够幻觉看不见的区域并在不确定的情况下做出现实的预测，但LModel模型不会输出3D表示。事实上，由于LModel模型对纹理图像的分布进行建模，因此从LModel模型采样的视图不一定对应于单个底层3D表示进行解释。那么如何才能在保持高质量渲染的同时获得输出3D表示呢？这里，可以进行神经模式搜索的3D推理。
LModel模型不仅允许对似是而非的新观点进行采样，而且建模的分布还提供了一种机制来近似生成新观点的可能性。基于这种洞察力，可以提取LModel模型预测以获得实例特定的3D神经场景表示。这里的目标是想要找到视觉表达fθ的解，使得它从任意视点π的渲染x≡fθ(π)，可能在LModel模型下pφ(x|π,C)建模的条件分布如以下公式(2-3)：
其中，fθ表示视图图像的视觉表达，fθ(π)表示在任意相机视点下的视图图像π的视觉表达；C表示参考纹理图像；表示视图概率；Lmodel表示视图条件扩散模型；θ表示相机视点。其中，最小化使用fθ渲染的纹理图像的负对数似然比从先前的引擎相机分布Π采样的相机(通过假设圆形相机轨迹构建并且所有相机都看一个共同的中心)。将这个过程称为“神经模式寻求”，因为它鼓励一种最小化与样本的距离(均值寻求)。
下面对神经模式寻求过程(通过扩散寻求神经模式)进行说明。
本申请实施例中，给定学习的扩散模型，重建目标产生数据点x的对数似然的界限。这种近似用于计算(渲染的)纹理图像fθ(π)在模式搜索优化中使用的概率可能性，参见以下公式(2-4)：
其中，z0＝E(fθ(π))是渲染纹理图像的值，t～(0，T]和是预测的值。直觉上，这个目标意味着如果在添加噪声从z0获得zt之后，去噪扩散模型预测/>接近原始输入。
下面对通过去噪扩散模型进行多步去噪和纹理图像空间重建过程进行说明。
在实践中，本申请实施例对3D目标进行了三处修改以获得更好的性能：1)使用像素空间损失而不是潜在空间(包括其他通道)的损失，即使用x0而不是z0；2)除了像素距离之外还使用感知距离；3)执行多步去噪。本申请实施例不是直接预测而是自适应地使用多个时间步长(最多50个步长)：T＝(t1,…,tk,t)，并连续预测/>给定角度[0-360度]的tk的样本，预测时间tk-1的去噪估计。本申请实施例将此重建表示为/>以突出多步重建。这里，将使用视图条件扩散模型优化神经模式搜索的最终目标表达为以下公司(2-5)：
其中， 是从zt的多步重建，即是通过向z0＝E(fθ(π))添加噪声获得的。
本申请实施例提供的图像重渲染方法，在游戏应用中进行纹理资源优化，能够找出很多使用不合理的3D渲染纹理，并且通过替换新纹理，性能有了极大的改善。同时，使用本申请实施例提供的图像重渲染方法还能够给提高人工编辑优化的效率。
可以理解的是，在本申请实施例中，涉及到用户信息的内容，例如，目标对象的原始视图、目标对象在多个预设相机视点下的参考纹理图像和目标对象的信息贴图等信息，如果涉及与用户信息或企业信息相关的数据，当本申请实施例运用到具体产品或技术中时，需要获得用户许可或者同意，或者对这些信息进行模糊化处理，以消除这些信息与用户之间的对应关系；且相关数据收集处理在实例应用时应该严格根据相关国家法律法规的要求，获取个人信息主体的知情同意或单独同意，并在法律法规及个人信息主体的授权范围内，开展后续数据使用及处理行为。
下面继续说明本申请实施例提供的图像重渲染装置354实施为软件模块的示例性结构，在一些实施例中，如图2所示，图像重渲染装置354包括：获取模块3541，用于获取目标对象的原始视图、所述目标对象在多个预设相机视点下的参考纹理图像和所述目标对象的信息贴图；特征提取模块3542，用于基于所述原始视图与每一所述参考纹理图像之间的相对视图姿态，对所述原始视图所在的视图空间中的特征进行提取，得到所述目标对象在所述视图空间中的预设分辨率特征；所述预设分辨率特征对应的像素的分辨率小于分辨率阈值；所述相对视图姿态是基于所述原始视图的视图姿态与所述参考纹理图像的视图姿态所确定出的相对姿态；确定模块3543，用于基于所述预设分辨率特征，确定所述目标对象在不同相机视点下的视图概率；模型构建模块3544，用于基于所述目标对象在不同相机视点下的视图概率，构建所述目标对象的几何模型；重渲染模块3545，用于在不同光照方向上通过所述信息贴图对所述目标对象的几何模型进行重渲染，得到所述目标对象的重渲染图像。
在一些实施例中，所述特征提取模块还用于：基于所述原始视图与每一所述参考纹理图像之间的相对视图姿态，确定每相邻的两个预设相机视点下的参考纹理图像之间的对极线；沿所述对极线在所述原始视图所在的视图空间中进行特征提取，得到所述目标对象在所述视图空间中的预设分辨率特征。
在一些实施例中，所述装置还包括：光照射线采样模块，用于对所述原始视图进行光照射线采样，得到所述原始视图的光照射线；聚合处理模块，用于通过对极几何特征变换器，将所述目标对象在所述视图空间中的预设分辨率特征与所述原始视图的光照射线进行聚合处理，得到生成所述原始视图的相机引擎的光照射线颜色；所述光照射线颜色用于提取所述目标对象的真实参考数据实况像素值。
在一些实施例中，所述特征提取模块还用于：基于预设的重建损失函数，对所述对极几何特征变换器的颜色分支进行训练，得到训练后的对极几何特征变换器的颜色分支；以所述训练后的对极几何特征变换器的颜色分支为每相邻的两个预设相机视点下的参考纹理图像之间的基线，确定所述每相邻的两个预设相机视点下的参考纹理图像之间的对极线。
在一些实施例中，所述原始视图的相机引擎包括卷积编码器；所述特征提取模块还用于：采用补丁投影层替换所述卷积编码器，并将所述相机引擎的最后一层修改为卷积处理层，得到与所述对极几何特征变换器对应的相机引擎；通过与所述对极几何特征变换器对应的相机引擎，沿所述对极线在所述原始视图所在的视图空间中进行特征提取，得到所述目标对象在所述视图空间中的预设分辨率特征。
在一些实施例中，所述多个预设相机视点下的参考纹理图像为稀疏视图；所述稀疏视图是指视图数量小于数量阈值的多个图像；所述特征提取模块还用于：确定所述稀疏视图中的每相邻的两个预设相机视点下的参考纹理图像之间的基线；基于所述基线确定所述每相邻的两个预设相机视点下的参考纹理图像之间的对极线；通过所述相机引擎中的所述卷积编码器，对所述目标对象在所述对极线上的特征进行卷积编码处理，得到卷积编码向量；通过所述卷积处理层基于所述卷积编码向量进行向量卷积处理，得到在所述原始视图所在的视图空间中所述对极线上的像素点的预测颜色值和预测特征向量；所述预测颜色值和预测特征向量构成所述预设分辨率特征。
在一些实施例中，所述视图空间中的预设分辨率特征构成一特征网格；所述确定模块还用于：对所述原始视图和所述参考纹理图像中的纹理特征进行提取，得到所述目标对象的真实神经纹理特征；基于所述特征网格中的预设分辨率特征中的预测特征向量，确定所述目标对象的预测神经纹理特征；基于所述真实神经纹理特征和所述预测神经纹理特征进行建模，得到视图条件扩散模型；采用所述视图条件扩散模型近似计算所述目标对象在不同相机视点下的视图概率。
在一些实施例中，所述确定模块还用于：确定所述真实神经纹理特征和所述预测神经纹理特征之间的特征差值；对所述特征差值进行范数计算，得到特征差值范数；在所述视图空间和预设条件下，计算所述特征差值范数符合正态分布的期望值；将所述符合正态分布的期望值，确定为所述视图条件扩散模型。
在一些实施例中，在所述目标对象的几何模型中，在任意相机视点下的视图图像的视觉表达满足以下条件：从任意相机视点下对所述视觉表达参数进行图像渲染后的视图图像，在所述视图条件扩散模型下的视图概率的条件分布满足以下条件分布公式：
其中，fθ表示视图图像的视觉表达，fθ(π)表示在任意相机视点下的视图图像π的视觉表达；C表示参考纹理图像；表示视图概率；Lmodel表示视图条件扩散模型；θ表示相机视点。
在一些实施例中，所述装置还包括：图像渲染模块，用于对在任意相机视点下的视图图像的视觉表达进行图像渲染，得到渲染纹理图像；噪声添加模块，用于在所述视图条件扩散模型中添加噪声得到去噪扩散模型；视觉表达确定模块，用于通过所述去噪扩散模型，基于所述渲染纹理图像确定在所述相机视点下的预测视图图像的视觉表达；所述图像渲染模块，还用于通过对所述预测视图图像的视觉表达进行图像渲染，得到所述相机视点下的预测纹理图像。
在一些实施例中，所述图像渲染模块还用于：获取预设的时间步长；通过所述去噪扩散模型，基于所述时间步长和所述渲染纹理图像，连续预测在不同相机视点对应的相机角度下的预测视图图像的视觉表达。
在一些实施例中，所述重渲染模块还用于：在所述目标对象的原始视图所在的视图空间中，获取不同光照方向上的光照强度；基于不同光照方向上的光照强度和所述信息贴图，对所述目标对象的几何模型进行重渲染，得到所述目标对象的重渲染图像。
需要说明的是，本申请实施例装置的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果，因此不做赘述。对于本装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
本申请实施例提供了一种计算机程序产品，该计算机程序产品包括可执行指令，该可执行指令是一种计算机指令；该可执行指令存储在计算机可读存储介质中。当电子设备的处理器从计算机可读存储介质读取该可执行指令，处理器执行该可执行指令时，使得该电子设备执行本申请实施例上述的方法。
本申请实施例提供一种存储有可执行指令的存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的方法，例如，如图3示出的方法。
在一些实施例中，存储介质可以是计算机可读存储介质，例如，铁电存储器(FRAM，Ferromagnetic Random Access Memory)、只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read Only Memory)、带电可擦可编程只读存储器(EEPR OM，Electrically Erasable Programmable Read Only Memory)、闪存、磁表面存储器、光盘、或光盘只读存储器(CD-ROM，Compact Disk-Read Only Memory)等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMar kup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。作为示例，可执行指令可被部署为在一个电子设备上执行，或者在位于一个地点的多个电子设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个电子设备上执行。
以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。
Claims (16)
1.一种图像重渲染方法，其特征在于，所述方法包括：
获取目标对象的原始视图、所述目标对象在多个预设相机视点下的参考纹理图像和所述目标对象的信息贴图；
基于所述原始视图与每一所述参考纹理图像之间的相对视图姿态，对所述原始视图所在的视图空间中的特征进行提取，得到所述目标对象在所述视图空间中的预设分辨率特征；所述预设分辨率特征对应的像素的分辨率小于分辨率阈值；所述相对视图姿态是基于所述原始视图的视图姿态与所述参考纹理图像的视图姿态所确定出的相对姿态；
基于所述预设分辨率特征，确定所述目标对象在不同相机视点下的视图概率；
基于所述目标对象在不同相机视点下的视图概率，构建所述目标对象的几何模型；
在不同光照方向上通过所述信息贴图对所述目标对象的几何模型进行重渲染，得到所述目标对象的重渲染图像。
2.根据权利要求1所述的方法，其特征在于，所述基于所述原始视图与每一所述参考纹理图像之间的相对视图姿态，对所述原始视图所在的视图空间中的特征进行提取，得到所述目标对象在所述视图空间中的预设分辨率特征，包括：
基于所述原始视图与每一所述参考纹理图像之间的相对视图姿态，确定每相邻的两个预设相机视点下的参考纹理图像之间的对极线；
沿所述对极线在所述原始视图所在的视图空间中进行特征提取，得到所述目标对象在所述视图空间中的预设分辨率特征。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
对所述原始视图进行光照射线采样，得到所述原始视图的光照射线；
通过对极几何特征变换器，将所述目标对象在所述视图空间中的预设分辨率特征与所述原始视图的光照射线进行聚合处理，得到生成所述原始视图的相机引擎的光照射线颜色；所述光照射线颜色用于提取所述目标对象的真实参考数据实况像素值。
4.根据权利要求3所述的方法，其特征在于，所述确定每相邻的两个预设相机视点下的参考纹理图像之间的对极线，包括：
基于预设的重建损失函数，对所述对极几何特征变换器的颜色分支进行训练，得到训练后的对极几何特征变换器的颜色分支；
以所述训练后的对极几何特征变换器的颜色分支为每相邻的两个预设相机视点下的参考纹理图像之间的基线，确定所述每相邻的两个预设相机视点下的参考纹理图像之间的对极线。
5.根据权利要求3所述的方法，其特征在于，所述原始视图的相机引擎包括卷积编码器；所述沿所述对极线在所述原始视图所在的视图空间中进行特征提取，得到所述目标对象在所述视图空间中的预设分辨率特征，包括：
采用补丁投影层替换所述卷积编码器，并将所述相机引擎的最后一层修改为卷积处理层，得到与所述对极几何特征变换器对应的相机引擎；
通过与所述对极几何特征变换器对应的相机引擎，沿所述对极线在所述原始视图所在的视图空间中进行特征提取，得到所述目标对象在所述视图空间中的预设分辨率特征。
6.根据权利要求5所述的方法，其特征在于，所述多个预设相机视点下的参考纹理图像为稀疏视图；所述稀疏视图是指视图数量小于数量阈值的多个图像；
所述通过与所述对极几何特征变换器对应的相机引擎，沿所述对极线在所述原始视图所在的视图空间中进行特征提取，得到所述目标对象在所述视图空间中的预设分辨率特征，包括：
确定所述稀疏视图中的每相邻的两个预设相机视点下的参考纹理图像之间的基线；
基于所述基线确定所述每相邻的两个预设相机视点下的参考纹理图像之间的对极线；
通过所述相机引擎中的所述卷积编码器，对所述目标对象在所述对极线上的特征进行卷积编码处理，得到卷积编码向量；
通过所述卷积处理层基于所述卷积编码向量进行向量卷积处理，得到在所述原始视图所在的视图空间中所述对极线上的像素点的预测颜色值和预测特征向量；所述预测颜色值和所述预测特征向量构成所述预设分辨率特征。
7.根据权利要求6所述的方法，其特征在于，所述视图空间中的预设分辨率特征构成一特征网格；所述基于所述预设分辨率特征，确定所述目标对象在不同相机视点下的视图概率，包括：
对所述原始视图和所述参考纹理图像中的纹理特征进行提取，得到所述目标对象的真实神经纹理特征；
基于所述特征网格中的预设分辨率特征中的预测特征向量，确定所述目标对象的预测神经纹理特征；
基于所述真实神经纹理特征和所述预测神经纹理特征进行建模，得到视图条件扩散模型；
采用所述视图条件扩散模型近似计算所述目标对象在不同相机视点下的视图概率。
8.根据权利要求7所述的方法，其特征在于，所述基于所述真实神经纹理特征和所述预测神经纹理特征进行建模，得到视图条件扩散模型，包括：
确定所述真实神经纹理特征和所述预测神经纹理特征之间的特征差值；
对所述特征差值进行范数计算，得到特征差值范数；
在所述视图空间和预设条件下，计算所述特征差值范数符合正态分布的期望值；
将所述符合正态分布的期望值，确定为所述视图条件扩散模型。
9.根据权利要求7所述的方法，其特征在于，
在所述目标对象的几何模型中，在任意相机视点下的视图图像的视觉表达满足以下条件：
从任意相机视点下对所述视觉表达参数进行图像渲染后的视图图像，在所述视图条件扩散模型下的视图概率的条件分布满足以下条件分布公式：
其中，fθ表示视图图像的视觉表达，fθ(π)表示在任意相机视点下的视图图像π的视觉表达；C表示参考纹理图像；表示视图概率；Lmodel表示视图条件扩散模型；θ表示相机视点。
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
对在任意相机视点下的视图图像的视觉表达进行图像渲染，得到渲染纹理图像；
在所述视图条件扩散模型中添加噪声得到去噪扩散模型；
通过所述去噪扩散模型，基于所述渲染纹理图像确定在所述相机视点下的预测视图图像的视觉表达；
通过对所述预测视图图像的视觉表达进行图像渲染，得到所述相机视点下的预测纹理图像。
11.根据权利要求10所述的方法，其特征在于，所述通过所述去噪扩散模型，基于所述渲染纹理图像确定在所述相机视点下的预测视图图像的视觉表达，包括：
获取预设的时间步长；
通过所述去噪扩散模型，基于所述时间步长和所述渲染纹理图像，连续预测在不同相机视点对应的相机角度下的预测视图图像的视觉表达。
12.根据权利要求1至11任一项所述的方法，其特征在于，所述在不同光照方向上通过所述信息贴图对所述目标对象的几何模型进行重渲染，得到所述目标对象的重渲染图像，包括：
在所述目标对象的原始视图所在的视图空间中，获取不同光照方向上的光照强度；
基于不同光照方向上的光照强度和所述信息贴图，对所述目标对象的几何模型进行重渲染，得到所述目标对象的重渲染图像。
13.一种图像重渲染装置，其特征在于，所述装置包括：
获取模块，用于获取目标对象的原始视图、所述目标对象在多个预设相机视点下的参考纹理图像和所述目标对象的信息贴图；
特征提取模块，用于基于所述原始视图与每一所述参考纹理图像之间的相对视图姿态，对所述原始视图所在的视图空间中的特征进行提取，得到所述目标对象在所述视图空间中的预设分辨率特征；所述预设分辨率特征对应的像素的分辨率小于分辨率阈值；所述相对视图姿态是基于所述原始视图的视图姿态与所述参考纹理图像的视图姿态所确定出的相对姿态；
确定模块，用于基于所述预设分辨率特征，确定所述目标对象在不同相机视点下的视图概率；
模型构建模块，用于基于所述目标对象在不同相机视点下的视图概率，构建所述目标对象的几何模型；
重渲染模块，用于在不同光照方向上通过所述信息贴图对所述目标对象的几何模型进行重渲染，得到所述目标对象的重渲染图像。
14.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至12任一项所述的图像重渲染方法。
15.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于引起处理器执行所述可执行指令时，实现权利要求1至12任一项所述的图像重渲染方法。
16.一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括可执行指令，所述可执行指令存储在计算机可读存储介质中；
当电子设备的处理器从所述计算机可读存储介质读取所述可执行指令，并执行所述可执行指令时，实现权利要求1至12任一项所述的图像重渲染方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311222837.6A CN117197325A (zh) | 2023-09-21 | 2023-09-21 | 图像重渲染方法、装置、电子设备、存储介质及程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311222837.6A CN117197325A (zh) | 2023-09-21 | 2023-09-21 | 图像重渲染方法、装置、电子设备、存储介质及程序产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117197325A true CN117197325A (zh) | 2023-12-08 |
Family
ID=88988594
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311222837.6A Pending CN117197325A (zh) | 2023-09-21 | 2023-09-21 | 图像重渲染方法、装置、电子设备、存储介质及程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117197325A (zh) |
-
2023
- 2023-09-21 CN CN202311222837.6A patent/CN117197325A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11238644B2 (en) | Image processing method and apparatus, storage medium, and computer device | |
| US9024947B2 (en) | Rendering and navigating photographic panoramas with depth information in a geographic information system | |
| CN114758337B (zh) | 一种语义实例重建方法、装置、设备及介质 | |
| Shan et al. | Auxiliary use and detail optimization of computer VR technology in landscape design | |
| Wang et al. | Neural light field estimation for street scenes with differentiable virtual object insertion | |
| CN114429528A (zh) | 图像处理方法、装置、设备、计算机程序及存储介质 | |
| CN115375828B (zh) | 模型的阴影生成方法、装置、设备、介质 | |
| JP2024507727A (ja) | 潜在変数で条件付けた幾何学的形状認識ニューラルネットワークを使用した、シーンの新規画像のレンダリング | |
| CN115346018A (zh) | 三维模型重建方法及装置、电子设备 | |
| CN115294268A (zh) | 一种物体的三维模型重建方法及电子设备 | |
| Pintore et al. | Automatic modeling of cluttered multi‐room floor plans from panoramic images | |
| CN116503474A (zh) | 位姿获取方法、装置、电子设备、存储介质及程序产品 | |
| Pintore et al. | Instant automatic emptying of panoramic indoor scenes | |
| Cui et al. | Fusing surveillance videos and three‐dimensional scene: A mixed reality system | |
| CN117372602B (zh) | 一种异构三维多对象融合渲染方法、设备及系统 | |
| CN117132744B (zh) | 虚拟场景的构建方法、装置、介质及电子设备 | |
| CN117372607A (zh) | 一种三维模型的生成方法、装置及电子设备 | |
| CN115965736A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN117197325A (zh) | 图像重渲染方法、装置、电子设备、存储介质及程序产品 | |
| Hu et al. | 3D map reconstruction using a monocular camera for smart cities | |
| He et al. | Manhattan‐world urban building reconstruction by fitting cubes | |
| Han et al. | Learning residual color for novel view synthesis | |
| CN116912431B (zh) | 数据处理方法、装置、电子设备、存储介质及程序产品 | |
| Jiang et al. | Mirror world: creating digital twins of the space and persons from video streamings | |
| CN116524106B (zh) | 一种图像标注方法、装置、设备及存储介质、程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |