CN117745916B - 多张多类型模糊图像的三维渲染方法和系统 - Google Patents
多张多类型模糊图像的三维渲染方法和系统 Download PDFInfo
- Publication number
- CN117745916B CN117745916B CN202410182276.XA CN202410182276A CN117745916B CN 117745916 B CN117745916 B CN 117745916B CN 202410182276 A CN202410182276 A CN 202410182276A CN 117745916 B CN117745916 B CN 117745916B
- Authority
- CN
- China
- Prior art keywords
- color
- blurred
- representing
- vector
- fuzzy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 100
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000005070 sampling Methods 0.000 claims abstract description 95
- 230000033001 locomotion Effects 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 157
- 230000009466 transformation Effects 0.000 claims description 80
- 238000012549 training Methods 0.000 claims description 45
- 238000000605 extraction Methods 0.000 claims description 37
- 238000013519 translation Methods 0.000 claims description 34
- 238000004364 calculation method Methods 0.000 claims description 26
- 210000005036 nerve Anatomy 0.000 claims description 11
- 230000005855 radiation Effects 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 9
- 230000001131 transforming effect Effects 0.000 claims description 7
- 238000000844 transformation Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 31
- 230000008569 process Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 101000986628 Rattus norvegicus ATP-binding cassette sub-family C member 3 Proteins 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 101001029064 Rattus norvegicus ATP-binding cassette sub-family C member 6 Proteins 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于数据处理领域，具体涉及了一种多张多类型模糊图像的三维渲染方法和系统，旨在解决现有的图像去模糊技术仅考虑了对每个像素进行处理，并未考虑所有像素存在一致性模糊的问题。本发明包括：获取模糊图片集；基于所述模糊图片集通过模糊图像三维渲染网络，获取模糊图片集的模糊颜色和体密度；根据基于第一模糊颜色计算的重建损失获取训练好的第一模糊图像三维渲染网络，并基于训练好的第一模糊图像三维渲染网络得到的所述体密度和采样点颜色获取三维渲染模型。本发明考虑了图像中所有像素点存在一致性模糊的问题，可针对由于相机刚性运动导致的模糊图像，提取出刚性变换的射线，从而通过NeRF中，提高输出新视角视图的清晰度和真实性。
Description
技术领域
本发明属于数据处理领域，具体涉及了一种多张多类型模糊图像的三维渲染方法和系统。
背景技术
在进行依据现有的图像进行新视角清晰图像的生成任务时，通常会遇到采集到的图像出现模糊的问题。图像去模糊是计算机视觉和图像处理领域的重要研究课题，旨在从模糊的图像中恢复清晰的内容。尽管已经开发了许多图像去模糊的方法，但这些方法在去除模糊的同时，不可避免地引入了像素级的偏差。这种偏差的程度和特性取决于所使用的去模糊算法，且对于不同的输入图像，产生的偏差也会有所不同。
值得注意的是，单个图像中的像素级偏差通常难以被人眼分辨。然而，在使用Neural Radiance Fields（NeRF）处理多张各个角度视角图像时，由于NeRF采用逐像素发射射线，并对每个射线进行采样以计算体素的颜色，然后再将所有采样点（体素）的颜色累加得到屏幕像素的颜色，这样的过程使得微小的像素级偏差变得显著起来。
多张各个视角的去模糊图片，因为有像素级偏差，会导致体素点的最终颜色不真实，从而导致新视图合成时，出现残影、伪影和失焦模糊等问题。
现有的去模糊方法仅考虑了对每个像素进行处理，并未考虑所有像素点的模糊具有一致性的问题。
发明内容
为了解决现有技术中的上述问题，即现有的图像去模糊技术仅考虑了对每个像素进行处理，并未考虑所有像素存在一致性模糊的问题，本发明提供了一种多张多类型模糊图像的三维渲染方法，所述方法包括：
基于变换提取模块、刚性变换模块和第一模糊颜色估计模块构建第一模糊图像三维渲染网络；
步骤S1，基于模糊图片集，通过变换提取模块，获取嵌入编码的潜在变量、第一权重系数、旋转向量和平移向量；
步骤S2，基于所述旋转向量和平移向量，通过刚性变换模块获取原始相机射线进行变换后的多条刚性变换的相机射线；
步骤S3，所述多条刚性变换的相机射线和原始相机射线，构成叠加射线，从所述叠加射线中进行采样并编码获得叠加采样点集；
步骤S4，通过所述第一模糊颜色估计模块获取第一模糊颜色；
步骤S41，基于所述叠加采样点集和所述第一权重系数，通过神经辐射场单元获取体密度、采样点颜色和第一模糊颜色；
步骤S5，根据基于第一模糊颜色计算的重建损失获取训练好的第一模糊图像三维渲染网络，并基于所述体密度和采样点颜色获取三维渲染模型。
第一方面通过可针对由于相机刚性运动导致的模糊图像，提取出刚性变换的射线，从而通过改进的NeRF中提高输出新视角视图的清晰度和真实性。
本发明的第二方面，公开了另一种多张多类型模糊图像的三维渲染方法：
基于变换提取模块、刚性变换模块和第二模糊颜色估计模块构建第二模糊图像三维渲染网络；
步骤S1，基于模糊图片集，通过变换提取模块，获取嵌入编码的潜在变量、第一权重系数、旋转向量和平移向量；
步骤S2，基于所述旋转向量和平移向量，通过刚性变换模块获取原始相机射线进行变换后的多条刚性变换的相机射线；
步骤S3，所述多条刚性变换的相机射线和原始相机射线，构成叠加射线，从所述叠加射线中进行采样并编码获得叠加采样点集；
步骤S4，通过所述第二模糊颜色估计模块获取第一模糊颜色和第二模糊颜色；
步骤S41，基于所述叠加采样点集和所述第一权重系数，通过神经辐射场单元获取体密度、采样点颜色和第一模糊颜色；基于所述叠加采样点集与嵌入编码的潜在变量，通过编解码单元获取第二权重系数；
步骤S42，基于第二权重系数与采样点颜色获取第二模糊颜色；
步骤S5，根据基于第一模糊颜色和第二模糊颜色计算的重建损失获取训练好的第二模糊图像三维渲染网络，并基于所述体密度和采样点颜色获取三维渲染模型。
进一步的，所述第二模糊图像三维渲染网络，包括变换提取模块、刚性变换模块和第二模糊颜色估计模块；
所述变换提取模块为，依次连接的共享潜在向量网络和变换参数提取网络；共享潜在向量网络由编码器和解码器构成；变换参数提取网络包括第一编码器和并联的第一解码分支、第二解码分支和第三解码分支；
第二解码分支的输出端和第三解码分支的输出端连接刚性变换模块的输入端；第一解码分支的输出端连接模糊颜色计算模块的第一输入端；刚性变换模块的输出端连接模糊颜色计算模块的第二输入端和模糊颜色计算模块的第三输入端；共享潜在向量网络的输出端连接模糊颜色计算模块的第三输入端；
所述第二模糊颜色估计模块为，模糊颜色计算模块的第二输入端连接第二编码器的输入端和编解码单元，第二编码器具有残差连接；第二编码器输出端连接至第四解码器；第四解码器的输出端与模糊颜色计算模块的第一输入端在第一乘法单元汇合；第四解码器的输出端与编解码单元的输出端在第二乘法单元汇合
本发明通过设置了刚性变换模块提取了模糊图像中具有一致性的刚性运动的特性，并进行转换，使得最后通过类NeRF的网络结构能够输出真实、清晰的数据，以便后续生成清晰的新视角图像。
进一步的，所述步骤S1，具体包括：
步骤S11，所述模糊图片集为，其中第i张模糊图片，表示RGB的3个通道的模糊图片分辨率，表示模糊图片的宽，表示模糊图片的高，序号，表示模糊图片的数量，表示第张模糊图片，表示模糊图片的像素空间；
基于所述模糊图片的数量构建初始d维可学习向量，其中，对所述初始d维可学习向量进行随机初始化，表示可学习向量的空间；
步骤S12，建立模糊图片集与初始d维可学习向量的向量-图片匹配对，通过共享潜在向量网络构建模糊图片的像素空间至可学习向量的空间的映射；
步骤S13，通过学习后的共享潜在向量网络，基于所述模糊图片生成学习后的d维可学习向量并作为潜在变量；
步骤S14，基于所述潜在变量，通过第一编码器获取嵌入编码的潜在变量；
步骤S15，基于所述嵌入编码的潜在变量，分别通过第一解码分支、第二解码分支和第三解码分支获取第一权重系数、旋转向量和平移向量。
本发明通过设置共享潜在向量网络针对模糊图像的刚性运动一致的特性进行去模糊。这种结构的优点是可以利用不同任务之间的相关性来提高学习效率和性能。因为多个任务共享同一个潜在向量空间，所以模型可以通过学习到的共享特征来更好地泛化到新的任务上。同时，由于每个任务有自己的解码器，所以模型仍然可以捕获任务之间的差异性。
进一步的，所述旋转向量和平移向量，其计算方式为：
相机的螺旋运动为：
；
表示场景s的嵌入编码的潜在变量，表示第一编码器，表示估计旋转向量的第二解码分支，表示估计平移向量的第三解码分支，表示旋转向量，表示三维特殊正交群，表示平移向量，表示场景，表示图片索引的集合，，表示刚性变换运动。
进一步的，所述权重系数，其获得方式为：
基于所述嵌入编码的潜在变量，估计第一权重系数：
；
其中，表示tanh激活函数，表示用于估计权重系数的函数，表示神经网络层输出的第一权重系数，表示第一编码器，表示场景s的嵌入编码的潜在变量，表示场景s的粗糙合成权重，；表示用于控制相机运动数量的超参数，的数量为k+1个，表示超参数的索引。
本发明没有采用体密度直接生成颜色，而是生成体素的颜色后还要与权重系数相乘，将最终生成的颜色与模糊图像相应的颜色做损失，能够针对模糊图像中模糊核相同的特性，进行去模糊，提高了最终获得的模糊颜色的准确性。
进一步的，所述步骤S41具体包括：
步骤S411，基于所述叠加采样点集，根据采样点的位置坐标编码，获得编码的采样点集；
步骤S412，基于所述编码的采样点集，通过第二编码器获取采样点特征向量，基于采样点特征向量通过设定的激活函数获取采样点体密度；
基于所述编码的采样点集和嵌入编码的潜在变量，通过编解码单元获取第二权重系数；
步骤S413，将相机方向向量进行编码获得相机方向编码向量，基于所述相机方向编码向量与采样点特征向量，通过第六多层感知机获取采样点颜色；
步骤S414，基于所述采样点颜色和第一权重系数，在第一乘法单元进行相乘获得第一模糊颜色。
本发明通过对刚性变换模块的叠加射线进行采样进行分析获得的刚性变换射线特征向量，并获取各个体素的颜色后再乘以权重系数，避免了直接用体密度来生成最终的颜色容易引入的失真和残影的问题。
进一步的，所述第一模糊颜色，其计算方法为：
；
其中，表示在场景s中像素p的第一模糊颜色；表示原始相机射线的权重，表示原始相机射线的颜色，表示刚性变换的相机射线的权重，表示刚性变换的相机射线的颜色。
本发明通过以分别从原始相机射线中获取颜色和从多个刚性变换的相机射线上获取颜色，最后通过乘以从原始的模糊图片集中获取的权重系数，能够针对模糊图像的所有像素的刚性运动相同的特性，获取清晰的模糊颜色值。
进一步的，所述模糊图像三维渲染网络，其训练方法为：
步骤A1，获取共享潜在向量网络训练集数据；
步骤A2，将所述共享潜在向量网络训练集数据输入待训练的共享潜在向量网络，输出训练集潜在变量；
步骤A3，基于所述训练集潜在变量，计算共享潜在向量网络损失函数；
步骤A4，重复步骤A2至A3并调整待训练共享潜在向量网络的参数，降低所述共享潜在向量网络损失函数直至低于设定的第一阈值或达到设定的最大迭代轮次，固定共享潜在向量网络的参数获得训练好的共享潜在向量网络；
步骤A5，获取模糊图片训练集数据；
步骤A6，将所述模糊图片训练集数据，输入包含了所述训练好的共享潜在向量网络的待训练模糊图像三维渲染网络，获取训练集第一模糊颜色、训练集第二模糊颜色和训练集体密度；
步骤A7，基于所述训练集第一模糊颜色、训练集第二模糊颜色和训练集体密度，计算渲染总损失函数；
步骤A8，重复步骤A6至A7并调整待训练模糊图像三维渲染网络的参数，降低所述渲染总损失函数直至低于设定的第二阈值或达到设定的最大迭代轮次，获得训练好的模糊图像三维渲染网络。
本发明需要进行两次单独的训练过程，共享潜在向量网络需要预先进行单独的训练，可以利用不同任务之间的相关性，学到共同的特征；在固定了共享潜在向量网络后，再进行模糊图像三维渲染网络整体的损失计算，在保留了NeRF的精度的基础上进一步去除了刚性运动带来的模糊影响，提高了生成的新视角图像的精度和真实性。
进一步的，所述共享潜在向量网络损失函数为：
；
其中，表示拉普拉斯金字塔的第j层预测图像的值，表示拉普拉斯金字塔的第层处理标准图像的值，表示拉普拉斯金字塔的层数，表示预测图像，表示标准图像，表示L1范数。
进一步的，所述渲染总损失函数为：
；
其中，表示像素p的重建损失，表示体密度的损失，和表示损失函数的权重；
其中，所述像素p的重建损失为：
；
表示在场景s中像素p的模糊颜色标准值，表示在场景s中像素p的第一模糊颜色，表示在场景s中像素p的第二模糊颜色，表示重建损失的平衡超参数，表示第一模糊颜色的重建损失，表示第二模糊颜色的重建损失。
本步骤通过引入第二模糊颜色的方式解决由于相机对焦不准确、镜头质量交底或拍摄距离不当引起的失焦模糊和由于光圈大小不当或者物体不在焦平面上引起的散焦模糊，同时结合第一模糊颜色的损失解决了刚性运动模糊，解决了图像生成过程中的多种模糊问题。
本发明的另一方面，提出了一种多张多类型模糊图像的三维渲染系统，所述系统包括：
基于变换提取模块、刚性变换模块和第二模糊颜色估计模块构建模糊图像三维渲染网络；
信息提取单元，配置为基于模糊图片集，通过变换提取模块，获取嵌入编码的潜在变量、第一权重系数、旋转向量和平移向量；
刚性变换单元，配置为基于所述旋转向量和平移向量，通过刚性变换模块获取原始相机射线进行变换后的多条刚性变换的相机射线；
叠加采样单元，配置为所述多条刚性变换的相机射线和原始相机射线，构成叠加射线，从所述叠加射线中进行采样并编码获得叠加采样点集；
模糊颜色获取单元，通过所述第二模糊颜色估计模块获取第一模糊颜色和第二模糊颜色；
基于所述叠加采样点集和所述第一权重系数，通过神经辐射场单元获取体密度、采样点颜色和第一模糊颜色；基于所述叠加采样点集与嵌入编码的潜在变量，通过编解码单元获取第二权重系数；
基于第二权重系数与采样点颜色获取第二模糊颜色；
三维渲染单元，根据基于第一模糊颜色和第二模糊颜色计算的重建损失获取训练好的模糊图像三维渲染网络，并基于训练好的第二模糊图像三维渲染网络得到的所述体密度和采样点颜色获取三维渲染模型。
本发明的有益效果：
（1）本发明考虑了图像中所有像素点存在一致性模糊的问题，可针对由于相机刚性运动导致的模糊图像，提取出刚性变换的射线，从而通过改进的NeRF中，提高输出新视角视图的清晰度和真实性。
（2）本发明通过分别获取第一模糊颜色和第二模糊颜色分别针对刚性运动模糊、失焦模糊和散焦模糊进行处理，解决了图像生成过程中大部分的模糊问题，提高了三维渲染的精确度，还提高了三维渲染中采用的设备的抗环境干扰能力和稳定性。
（3）本发明通过对所有视图采用同一种方式去模糊，解决每张图片像素级模糊不一致问题，从而输入到NeRF中，可以输出清晰的新视图。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明第一实施例中多张多类型模糊图像的三维渲染方法的流程示意图；
图2是本发明第一实施例中第一模糊图像三维渲染网络的网络结构图；
图3是本发明第二实施例中多张多类型模糊图像的三维渲染方法的流程示意图；
图4是本发明实施例中模糊图像三维渲染网络的网络结构示意图；
图5是本发明实施例中变换提取模块的网络结构示意图；
图6是本发明实施例中刚性变换模块的网络结构示意图；
图7是本发明第二实施例中第二模糊颜色估计模块的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了更清晰地对本发明多张多类型模糊图像的三维渲染方法进行说明，下面结合附图对本发明实施例中各步骤展开详述。
第一实施例
本发明第一实施例的多张多类型模糊图像的三维渲染方法，包括步骤S1-步骤S5，如图1所示，各步骤详细描述如下：基于变换提取模块、刚性变换模块和第一模糊颜色估计模块构建第一模糊图像三维渲染网络，本实施例构建的第一模糊图像三维渲染网络如图2所示；
所述第一模糊图像三维渲染网络，包括变换提取模块、刚性变换模块和第一模糊颜色估计模块；
所述变换提取模块，包括依次连接的共享潜在向量网络和变换参数提取网络；共享潜在向量网络由编码器和解码器构成；变换参数提取网络包括第一编码器和并联的第一解码分支、第二解码分支和第三解码分支；
第二解码分支的输出端和第三解码分支的输出端连接刚性变换模块的输入端；第一解码分支的输出端连接模糊颜色计算模块的第一输入端；刚性变换模块的输出端连接模糊颜色计算模块的第二输入端和模糊颜色计算模块的第三输入端；
所述第一模糊颜色估计模块为，模糊颜色计算模块的第二输入端连接第二编码器的输入端，第二编码器具有残差连接；第二编码器输出端连接至第四解码器；第四解码器的输出端与模糊颜色计算模块的第一输入端在第一乘法单元汇合。
步骤S1，基于模糊图片集，通过变换提取模块，获取嵌入编码的潜在变量、第一权重系数、旋转向量和平移向量；
模糊图像一般被看做是在清晰图像上卷积模糊核得到的，即，其中B为模糊图像，I为清晰图像，K为模糊核，模糊核的形式为一个滤波器矩阵，模糊核实质上就是卷积核，符号表示卷积操作。
去模糊一般分为盲去模糊和非盲去模糊，区别在于模糊核是否已知。因为真实场景的模糊核通常是未知的，所以盲去模糊更重。
步骤S2，基于所述旋转向量和平移向量，通过刚性变换模块获取原始相机射线进行变换后的多条刚性变换的相机射线；
步骤S3，所述多条刚性变换的相机射线和原始相机射线，构成叠加射线，从所述叠加射线中进行采样并编码获得叠加采样点集；
步骤S4，通过所述模糊颜色估计模块获取第一模糊颜色；
步骤S41，基于所述叠加采样点集和所述第一权重系数，通过神经辐射场单元获取体密度、采样点颜色和第一模糊颜色；
步骤S5，根据基于第一模糊颜色计算的重建损失获取训练好的模糊图像三维渲染网络，并基于所述体密度和采样点颜色获取三维渲染模型。
在本实施例中，其中，所述基于第一模糊颜色计算的重建损失为：
；
表示在场景s中像素p的模糊颜色标准值，表示在场景s中像素p的模糊颜色。
第一方面通过可针对由于相机刚性运动导致的模糊图像，提取出刚性变换的射线，从而通过改进的NeRF中提高输出新视角视图的清晰度和真实性。
变换射线只是采样点的选取错了，但采样点的颜色是没有错误的。变换射线就类似于将一根筷子插入水中的折射效果，射线路径偏转了，所以得到了模糊图像，但我们渲染新视角（或叫新视角合成）时，为的不是得到模糊图像，而是正确的清晰图像，所以我们实际使用时用的是原始射线。
总之，训练的时候需要将原始射线变换成“变换射线”，目的是为了训练网络。但实际使用的时候，我们不需要计算“变换射线”了，直接用原始射线上的采样点计算颜色即可得到正确的、清晰的图像。本发明针对的是在图像采集过程中，相机发生了刚性运动即旋转和平移引入的模糊；这样的模糊图像所有像素的刚性运动是一样的，即所有的像素共享旋转和平移；并且模糊图像的所有像素的刚性运动均为同时发生，即模糊核相同，因此每条射线的模糊权重系数相同，因此提出本方案；同时由于相机对焦不准确、镜头质量较低或拍摄距离不当等原因，导致图像模糊问题和这种模糊效果是由于光圈大小不当或者物体不在焦平面上而产生的散焦模糊，也具有一致性，因此可同步对失焦模糊和散焦模糊进行处理。因此进一步提出第二实施例。
第二实施例
本发明的第二实施例提供了另一种多张多类型模糊图像的三维渲染方法，如图3所示，具体包括：
基于变换提取模块、刚性变换模块和模糊颜色估计模块构建模糊图像三维渲染网络；
基于变换提取模块、刚性变换模块和模糊颜色估计模块构建模糊图像三维渲染网络；构建得到的模糊图像三维渲染网络如图4所示。
所述变换提取模块，如图5所示，包括依次连接的共享潜在向量网络和变换参数提取网络；共享潜在向量网络由编码器和解码器构成，所述编码器和解码器均为残差网络结构；变换参数提取网络包括第一编码器和并联的第一解码分支、第二解码分支和第三解码分支；
第二解码分支的输出端和第三解码分支的输出端连接刚性变换模块的输入端；第一解码分支的输出端连接模糊颜色计算模块的第一输入端；刚性变换模块的输出端连接模糊颜色计算模块的第二输入端和模糊颜色计算模块的第三输入端；共享潜在向量网络的输出端连接模糊颜色计算模块的第三输入端；
共享潜在向量网络（Shared Latent Vector Network，SLVN）是一种深度学习模型，主要用于处理多任务学习问题。在这种模型中，不同任务的输入数据首先通过一个共享的编码器（encoder），生成一个共同的潜在向量表示。然后，这个潜在向量被不同的解码器（decoder）用于解决各自的任务。这种结构的优点是可以利用不同任务之间的相关性来提高学习效率和性能。因为多个任务共享同一个潜在向量空间，所以模型可以通过学习到的共享特征来更好地泛化到新的任务上。同时，由于每个任务有自己的解码器，所以模型仍然可以捕获任务之间的差异性。
所述第一编码器，为包含3个全连接层的多层感知机MLPs构成，每层全连接层为32通道，并采用Leaky ReLU作为激活函数。相较于用ReLU作为激活函数的方法，模型收敛更快，进一步降低了训练时间。
第一解码分支包括第二多层感知机MLP-2，第二解码分支包括第三多层感知机MLP-3，第三解码分支包括第四多层感知机MLP-4；第二多层感知机MLP-2、第三多层感知机MLP-3和第四多层感知机MLP-4均为1个64通道的线性层和一个输出线性层构成。第二多层感知机MLP-2的通道数为k，第三多层感知机MLP-3的通道数为3k，第四多层感知机MLP-4的通道数为3k，k为控制刚性相机运动数量的超参数；
所述刚性变换模块，如图6所示，基于射线变换计算单元构建，射线变换计算单元的输出端连接神经辐射场模块的第一输入端；
所述第二模糊颜色估计模块，如图7所示，模糊颜色计算模块的第二输入端连接第二编码器的输入端和编解码单元，第二编码器具有残差连接；第二编码器输出端连接至第四解码器；第四解码器的输出端与模糊颜色计算模块的第一输入端在第一乘法单元汇合；第四解码器的输出端与编解码单元的输出端在第二乘法单元汇合。
在本实施例中，第二编码器MLP-5采用4层，64通道/层的多层感知机实现；第四解码器MLP-6采用1层，64通道/层的多层感知机实现。
在本实施例中，编解码单元选用Transformer实现，Transformer共2个输入，一个为第一编码器MLP-1，另一个是模糊颜色计算模块的第二输入端；在实施本技术方案之前，将Transformer训练完成，认为Transformer为理想状态。
由于失焦和散焦均与深度有关，因此需要输入采样点的位置坐标，以便让网络生成深度信息，然后再结合图像的由第一编码器MLP-1输出的嵌入编码的潜在变量即全局特征图，生成失焦和散焦的权重系数。
步骤S1，基于模糊图片集，通过变换提取模块，获取嵌入编码的潜在变量、第一权重系数、旋转向量和平移向量；
在本实施例中，所述步骤S1，具体包括：
步骤S11，所述模糊图片集为，其中第i张模糊图片，表示RGB的3个通道的模糊图片分辨率，表示模糊图片的宽，表示模糊图片的高，序号，表示模糊图片的数量，表示第张模糊图片，表示模糊图片的像素空间；
基于所述模糊图片的数量构建初始d维可学习向量，其中，对所述初始d维可学习向量进行随机初始化，表示可学习向量的空间；
步骤S12，建立模糊图片集与初始d维可学习向量的向量-图片匹配对，通过共享潜在向量网络构建模糊图片的像素空间至可学习向量的空间的映射；
步骤S13，通过学习后的共享潜在向量网络，基于所述模糊图片生成学习后的d维可学习向量并作为潜在变量；
步骤S14，基于所述潜在变量，通过第一编码器获取嵌入编码的潜在变量；
步骤S15，基于所述嵌入编码的潜在变量，分别通过第一解码分支、第二解码分支和第三解码分支获取第一权重系数、旋转向量和平移向量；
在本实施例中，所述旋转向量和平移向量，其计算方式为：
相机的螺旋运动为：
表示场景s的嵌入编码的潜在变量，表示第一编码器，表示估计旋转向量的第二解码分支，表示估计平移向量的第三解码分支，表示旋转向量，表示三维特殊正交群，表示平移向量，表示场景，表示图片索引的集合，，表示刚性变换运动。
旋转轴，旋转角，旋转矩阵，其中表示向量的叉乘矩阵，表示向量的叉乘矩阵，是元素全为1的矩阵；
平移矩阵，其中是平移向量，变换矩阵；
对于场景s中任意像素p点的射线，则刚性射线变换的公式，其中，k是超参数，用于控制相机运动的数量；表示刚性变换的射线；因为所有像素点的共享射线刚性变换，所以；
在本实施例中，所述第一权重系数，其获得方式为：
基于所述嵌入编码的潜在变量，估计第一权重系数：
其中，表示tanh激活函数，表示用于估计权重系数的函数，表示神经网络层输出的第一权重系数，表示第一编码器，表示场景s的嵌入编码的潜在变量，表示场景s的粗糙合成权重，；表示用于控制相机运动数量的超参数，的数量为k+1个，表示超参数的索引。本实施例选用tanh激活函数，并标准化到的区间，相较于Sigmoid函数，可以提高网络的训练效果。
步骤S2，基于所述旋转向量和平移向量，通过刚性变换模块获取原始相机射线进行变换后的多条刚性变换的相机射线；
在本实施例中，原始射线产生的清晰的像素颜色，而刚性变换后的相机射线与原始射线叠加在一起，形成了模糊的效果；以一个相机屏幕像素为例，产生一条原始相机射线，假如相机屏幕像素有512*512个，即产生512*512条原始相机射线，可以获得k*512*512条刚性变换的相机射线，本实施例后续将每条射线进行采样并通过神经辐射场网络NeRF来计算射线上采样点的颜色。
步骤S3，所述多条刚性变换的相机射线和原始相机射线，构成叠加射线，从所述叠加射线中进行采样并编码获得叠加采样点集；
步骤S4，通过所述第二模糊颜色估计模块获取第一模糊颜色和第二模糊颜色；
步骤S41，基于所述叠加采样点集和所述第一权重系数，通过神经辐射场单元获取体密度、采样点颜色和第一模糊颜色；基于所述叠加采样点集与嵌入编码的潜在变量，通过编解码单元获取第二权重系数；
在本实施例中，所述步骤S41具体包括：
步骤S411，基于所述叠加采样点集，根据采样点的位置坐标编码，获得编码的采样点集；
在本实施例中，所述根据采样点的位置坐标编码，具体为：
；
其中，表示标准化，表示对位置p的xyz三个坐标进行标准化；
相较于现有的编码方式：
；
可以获得更好的神经网络效果，得到更好的输出结果。另外，在相同L的情况下，会增加1/3的编码参数量，为了加快训练速度，可适当调整L值的大小。比如取L=8，则原来是16个参数，现在是24个参数，可以将L改为5，这样有15个参数，总数差不多的前提下，能获得更好的效果。
步骤S412，基于所述编码的采样点集，通过第二编码器获取采样点特征向量，基于采样点特征向量通过设定的激活函数获取采样点体密度；
基于所述编码的采样点集和嵌入编码的潜在变量，通过编解码单元获取第二权重系数；
步骤S413，将相机方向向量进行编码获得相机方向编码向量，基于所述相机方向编码向量与采样点特征向量，通过第六多层感知机获取采样点颜色；
步骤S414，基于所述采样点颜色和第一权重系数，在第一乘法单元进行相乘获得第一模糊颜色。
在本实施例中，所述第一模糊颜色，其计算方法为：
；
其中，表示在场景s中像素p的第一模糊颜色；表示原始相机射线的权重，表示原始相机射线的颜色，表示刚性变换的相机射线的权重，表示刚性变换的相机射线的颜色。
步骤S42，基于第二权重系数与采样点颜色获取第二模糊颜色；
在本实施例中，第二模糊颜色采用与第一模糊颜色相同的计算公式，将对应的权重替换为第二权重系数中的权重；
步骤S5，根据基于第一模糊颜色和第二模糊颜色计算的重建损失获取训练好的第二模糊图像三维渲染网络，并基于训练好的第二模糊图像三维渲染网络得到的所述体密度和采样点颜色获取三维渲染模型。
第三实施例
本发明的第三实施例，公开了模糊图像三维渲染网络的训练方法：
步骤A1，获取共享潜在向量网络训练集数据；
步骤A2，将所述共享潜在向量网络训练集数据输入待训练的共享潜在向量网络，输出训练集潜在变量；
步骤A3，基于所述训练集潜在变量，计算共享潜在向量网络损失函数；
在本实施例中，所述共享潜在向量网络损失函数为：
其中，表示拉普拉斯金字塔的第层处理预测图像的值，表示拉普拉斯金字塔的第层处理标准图像的值，表示拉普拉斯金字塔的层数，表示预测图像，表示标准图像，表示L1范数。
在本实施例中，还可选用第二共享潜在向量网络损失函数：
；
其中，表示衡量到的误差的损失函数；
或采用第三潜在向量网络损失函数：
；
步骤A4，重复步骤A2至A3并调整待训练共享潜在向量网络的参数，降低所述共享潜在向量网络损失函数直至低于设定的第一阈值或达到设定的最大迭代轮次，固定共享潜在向量网络的参数获得训练好的共享潜在向量网络；
步骤A5，获取模糊图片训练集数据；
步骤A6，将所述模糊图片训练集数据，输入包含了所述训练好的共享潜在向量网络的待训练第二模糊图像三维渲染网络，获取训练集第一模糊颜色、训练集第二模糊颜色和训练集体密度；
步骤A7，基于所述训练集第一模糊颜色、训练集第二模糊颜色和训练集体密度，计算渲染总损失函数；
在本实施例中，所述渲染总损失函数为：
其中，表示像素p的重建损失，表示体密度的损失，和表示损失函数的权重；
其中，所述像素p的重建损失为：
；
表示在场景s中像素p的模糊颜色标准值，表示在场景s中像素p的第一模糊颜色，表示在场景s中像素p的第二模糊颜色，表示重建损失的平衡超参数，表示第一模糊颜色的重建损失，表示第二模糊颜色的重建损失；
步骤A8，重复步骤A6至A7并调整待训练第二模糊图像三维渲染网络的参数，降低所述渲染总损失函数直至低于设定的第二阈值或达到设定的最大迭代轮次，获得训练好的第二模糊图像三维渲染网络。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
第四实施例
本发明第四实施例的多张多类型模糊图像的三维渲染系统，所述系统包括：
模糊图片获取单元，配置为获取模糊图片集；
信息提取单元，配置为基于所述模糊图片集通过模糊图像三维渲染网络，获取模糊图片集的模糊颜色和体密度；
所述模糊图像三维渲染网络，包括变换提取模块、刚性变换模块和神经辐射场模块；
基于所述模糊图片集，通过模糊图像三维渲染网络，获取权重系数、旋转向量和平移向量；
基于所述旋转向量和平移向量，通过刚性变换模块获取原始相机射线进行变换后的多条刚性变换的相机射线；
所述多条刚性变换的相机射线和原始相机射线，构成叠加射线；
从所述叠加射线中进行采样，获得叠加射线采样点，对所述叠加射线采样点进行编码后获得叠加采样点集；
基于所述采样点集和所述权重系数，通过神经辐射场模块获取体密度和模糊颜色；
新视角清晰图像构建模块，配置为基于所述模糊颜色和体密度，构建新视角清晰图像。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的多张多类型模糊图像的三维渲染系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (12)
1.一种多张多类型模糊图像的三维渲染方法，其特征在于，所述方法包括：
基于变换提取模块、刚性变换模块和第一模糊颜色估计模块构建第一模糊图像三维渲染网络；
步骤S1，基于模糊图片集，通过变换提取模块，获取嵌入编码的潜在变量、第一权重系数、旋转向量和平移向量；
步骤S2，基于所述旋转向量和平移向量，通过刚性变换模块获取原始相机射线进行变换后的多条刚性变换的相机射线；
步骤S3，所述多条刚性变换的相机射线和原始相机射线，构成叠加射线，从所述叠加射线中进行采样并编码获得叠加采样点集；
步骤S4，通过所述第一模糊颜色估计模块获取第一模糊颜色；
步骤S41，基于所述叠加采样点集和所述第一权重系数，通过神经辐射场单元获取体密度、采样点颜色和第一模糊颜色；
步骤S5，根据基于第一模糊颜色计算的重建损失获取训练好的第一模糊图像三维渲染网络，并基于训练好的第一模糊图像三维渲染网络得到的所述体密度和采样点颜色获取三维渲染模型。
2.一种多张多类型模糊图像的三维渲染方法，其特征在于，所述方法包括：
基于变换提取模块、刚性变换模块和第二模糊颜色估计模块构建第二模糊图像三维渲染网络；
步骤S1，基于模糊图片集，通过变换提取模块，获取嵌入编码的潜在变量、第一权重系数、旋转向量和平移向量；
步骤S2，基于所述旋转向量和平移向量，通过刚性变换模块获取原始相机射线进行变换后的多条刚性变换的相机射线；
步骤S3，所述多条刚性变换的相机射线和原始相机射线，构成叠加射线，从所述叠加射线中进行采样并编码获得叠加采样点集；
步骤S4，通过所述第二模糊颜色估计模块获取第一模糊颜色和第二模糊颜色；
步骤S41，基于所述叠加采样点集和所述第一权重系数，通过神经辐射场单元获取体密度、采样点颜色和第一模糊颜色；基于所述叠加采样点集与嵌入编码的潜在变量，通过编解码单元获取第二权重系数；
步骤S42，基于第二权重系数与采样点颜色获取第二模糊颜色；
步骤S5，根据基于第一模糊颜色和第二模糊颜色计算的重建损失获取训练好的第二模糊图像三维渲染网络，并基于训练好的第二模糊图像三维渲染网络得到的所述体密度和采样点颜色获取三维渲染模型。
3.根据权利要求2所述的多张多类型模糊图像的三维渲染方法，其特征在于，所述第二模糊图像三维渲染网络，包括变换提取模块、刚性变换模块和第二模糊颜色估计模块；
所述变换提取模块，包括依次连接的共享潜在向量网络和变换参数提取网络；共享潜在向量网络由编码器和解码器构成；变换参数提取网络包括第一编码器和并联的第一解码分支、第二解码分支和第三解码分支；
第二解码分支的输出端和第三解码分支的输出端连接刚性变换模块的输入端；第一解码分支的输出端连接模糊颜色计算模块的第一输入端；刚性变换模块的输出端连接模糊颜色计算模块的第二输入端和模糊颜色计算模块的第三输入端；共享潜在向量网络的输出端连接模糊颜色计算模块的第三输入端；
所述第二模糊颜色估计模块为，模糊颜色计算模块的第二输入端连接第二编码器的输入端和编解码单元，第二编码器具有残差连接；第二编码器输出端连接至第四解码器；第四解码器的输出端与模糊颜色计算模块的第一输入端在第一乘法单元汇合；第四解码器的输出端与编解码单元的输出端在第二乘法单元汇合。
4.根据权利要求3所述的多张多类型模糊图像的三维渲染方法，其特征在于，所述步骤S1，具体包括：
步骤S11，所述模糊图片集为，其中第i张模糊图片，表示RGB的3个通道的模糊图片分辨率，表示模糊图片的宽，表示模糊图片的高，序号，表示模糊图片的数量，表示第张模糊图片，表示模糊图片的像素空间；
基于所述模糊图片的数量构建初始d维可学习向量，其中，对所述初始d维可学习向量进行随机初始化，表示可学习向量的空间；
步骤S12，建立模糊图片集与初始d维可学习向量的向量-图片匹配对，通过共享潜在向量网络构建模糊图片的像素空间至可学习向量的空间的映射；
步骤S13，通过学习后的共享潜在向量网络，基于所述模糊图片生成学习后的d维可学习向量并作为潜在变量；
步骤S14，基于所述潜在变量，通过第一编码器获取嵌入编码的潜在变量；
步骤S15，基于所述嵌入编码的潜在变量，分别通过第一解码分支、第二解码分支和第三解码分支获取第一权重系数、旋转向量和平移向量。
5.根据权利要求3所述的多张多类型模糊图像的三维渲染方法，其特征在于，所述旋转向量和平移向量，其计算方式为：
相机的螺旋运动为：
；
表示场景s的嵌入编码的潜在变量，表示第一编码器，表示估计旋转向量的第二解码分支，表示估计平移向量的第三解码分支，表示旋转向量，表示三维特殊正交群，表示平移向量，表示场景，表示图片索引的集合，，表示刚性变换运动。
6.根据权利要求5所述的多张多类型模糊图像的三维渲染方法，其特征在于，所述第一权重系数，其获得方式为：
基于所述嵌入编码的潜在变量，估计第一权重系数：
；
其中，表示tanh激活函数，表示用于估计权重系数的函数，表示神经网络层输出的第一权重系数，表示第一编码器，表示场景s的嵌入编码的潜在变量，表示场景s的粗糙合成权重，；表示用于控制相机运动数量的超参数，的数量为k+1个，表示超参数的索引，表示刚性变换的相机射线的权重。
7.根据权利要求3所述的多张多类型模糊图像的三维渲染方法，其特征在于，所述步骤S41具体包括：
步骤S411，基于所述叠加采样点集，根据采样点的位置坐标编码，获得编码的采样点集；
步骤S412，基于所述编码的采样点集，通过第二编码器获取采样点特征向量，基于采样点特征向量通过设定的激活函数获取采样点体密度；
基于所述编码的采样点集和嵌入编码的潜在变量，通过编解码单元获取第二权重系数；
步骤S413，将相机方向向量进行编码获得相机方向编码向量，基于所述相机方向编码向量与采样点特征向量，通过第六多层感知机获取采样点颜色；
步骤S414，基于所述采样点颜色和第一权重系数，在第一乘法单元进行相乘获得第一模糊颜色。
8.根据权利要求7所述的多张多类型模糊图像的三维渲染方法，其特征在于，所述第一模糊颜色，其计算方法为：
；
其中，表示在场景s中像素p的第一模糊颜色；表示原始相机射线的权重，表示原始相机射线的颜色，表示刚性变换的相机射线的权重，表示刚性变换的相机射线的颜色。
9.根据权利要求8所述的多张多类型模糊图像的三维渲染方法，其特征在于，所述第二模糊图像三维渲染网络，其训练方法为：
步骤A1，获取共享潜在向量网络训练集数据；
步骤A2，将所述共享潜在向量网络训练集数据输入待训练的共享潜在向量网络，输出训练集潜在变量；
步骤A3，基于所述训练集潜在变量，计算共享潜在向量网络损失函数；
步骤A4，重复步骤A2至A3并调整待训练共享潜在向量网络的参数，降低所述共享潜在向量网络损失函数直至低于设定的第一阈值或达到设定的最大迭代轮次，固定共享潜在向量网络的参数获得训练好的共享潜在向量网络；
步骤A5，获取模糊图片训练集数据；
步骤A6，将所述模糊图片训练集数据，输入包含了所述训练好的共享潜在向量网络的待训练第二模糊图像三维渲染网络，获取训练集第一模糊颜色、训练集第二模糊颜色和训练集体密度；
步骤A7，基于所述训练集第一模糊颜色、训练集第二模糊颜色和训练集体密度，计算渲染总损失函数；
步骤A8，重复步骤A6至A7并调整待训练第二模糊图像三维渲染网络的参数，降低所述渲染总损失函数直至低于设定的第二阈值或达到设定的最大迭代轮次，获得训练好的第二模糊图像三维渲染网络。
10.根据权利要求9所述的多张多类型模糊图像的三维渲染方法，其特征在于，所述共享潜在向量网络损失函数为：
；
其中，表示拉普拉斯金字塔的第层处理预测图像的值，表示拉普拉斯金字塔的第层处理标准图像的值，表示拉普拉斯金字塔的层数，表示预测图像，表示标准图像，表示L1范数。
11.根据权利要求9所述的多张多类型模糊图像的三维渲染方法，其特征在于，所述渲染总损失函数为：
；
其中，表示像素p的重建损失，表示体密度的损失，和表示损失函数的权重；
其中，所述像素p的重建损失为：
；
表示在场景s中像素p的模糊颜色标准值，表示在场景s中像素p的第一模糊颜色，表示在场景s中像素p的第二模糊颜色，表示重建损失的平衡超参数，表示第一模糊颜色的重建损失，表示第二模糊颜色的重建损失。
12.一种多张多类型模糊图像的三维渲染系统，其特征在于，所述系统包括：
基于变换提取模块、刚性变换模块和第二模糊颜色估计模块构建第二模糊图像三维渲染网络；
信息提取单元，配置为基于模糊图片集，通过变换提取模块，获取嵌入编码的潜在变量、第一权重系数、旋转向量和平移向量；
刚性变换单元，配置为基于所述旋转向量和平移向量，通过刚性变换模块获取原始相机射线进行变换后的多条刚性变换的相机射线；
叠加采样单元，配置为所述多条刚性变换的相机射线和原始相机射线，构成叠加射线，从所述叠加射线中进行采样并编码获得叠加采样点集；
模糊颜色获取单元，通过所述第二模糊颜色估计模块获取第一模糊颜色和第二模糊颜色；
基于所述叠加采样点集和所述第一权重系数，通过神经辐射场单元获取体密度、采样点颜色和第一模糊颜色；基于所述叠加采样点集与嵌入编码的潜在变量，通过编解码单元获取第二权重系数；
基于第二权重系数与采样点颜色获取第二模糊颜色；
三维渲染单元，根据基于第一模糊颜色和第二模糊颜色计算的重建损失获取训练好的第二模糊图像三维渲染网络，并基于训练好的第二模糊图像三维渲染网络得到的所述体密度和采样点颜色获取三维渲染模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410182276.XA CN117745916B (zh) | 2024-02-19 | 2024-02-19 | 多张多类型模糊图像的三维渲染方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410182276.XA CN117745916B (zh) | 2024-02-19 | 2024-02-19 | 多张多类型模糊图像的三维渲染方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117745916A CN117745916A (zh) | 2024-03-22 |
| CN117745916B true CN117745916B (zh) | 2024-05-31 |
Family
ID=90253066
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410182276.XA Active CN117745916B (zh) | 2024-02-19 | 2024-02-19 | 多张多类型模糊图像的三维渲染方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117745916B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111508052A (zh) * | 2020-04-23 | 2020-08-07 | 网易（杭州）网络有限公司 | 三维网格体的渲染方法和装置 |
| WO2022198684A1 (en) * | 2021-03-26 | 2022-09-29 | Shanghaitech University | Methods and systems for training quantized neural radiance field |
| CN116152440A (zh) * | 2023-03-06 | 2023-05-23 | 清华大学深圳国际研究生院 | 一种基于神经辐射场的动态人体重建方法 |
| CN116993826A (zh) * | 2023-07-31 | 2023-11-03 | 杭州电子科技大学 | 一种基于局部空间聚合神经辐射场的场景新视图生成方法 |
| CN117173315A (zh) * | 2023-11-03 | 2023-12-05 | 北京渲光科技有限公司 | 基于神经辐射场的无界场景实时渲染方法、系统及设备 |
| CN117422815A (zh) * | 2023-12-19 | 2024-01-19 | 北京渲光科技有限公司 | 基于神经辐射场的逆向渲染方法及系统 |
| CN117456078A (zh) * | 2023-12-19 | 2024-01-26 | 北京渲光科技有限公司 | 基于多种采样策略的神经辐射场渲染方法、系统和设备 |
-
2024
- 2024-02-19 CN CN202410182276.XA patent/CN117745916B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111508052A (zh) * | 2020-04-23 | 2020-08-07 | 网易（杭州）网络有限公司 | 三维网格体的渲染方法和装置 |
| WO2022198684A1 (en) * | 2021-03-26 | 2022-09-29 | Shanghaitech University | Methods and systems for training quantized neural radiance field |
| CN116152440A (zh) * | 2023-03-06 | 2023-05-23 | 清华大学深圳国际研究生院 | 一种基于神经辐射场的动态人体重建方法 |
| CN116993826A (zh) * | 2023-07-31 | 2023-11-03 | 杭州电子科技大学 | 一种基于局部空间聚合神经辐射场的场景新视图生成方法 |
| CN117173315A (zh) * | 2023-11-03 | 2023-12-05 | 北京渲光科技有限公司 | 基于神经辐射场的无界场景实时渲染方法、系统及设备 |
| CN117422815A (zh) * | 2023-12-19 | 2024-01-19 | 北京渲光科技有限公司 | 基于神经辐射场的逆向渲染方法及系统 |
| CN117456078A (zh) * | 2023-12-19 | 2024-01-26 | 北京渲光科技有限公司 | 基于多种采样策略的神经辐射场渲染方法、系统和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117745916A (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Molini et al. | Deepsum: Deep neural network for super-resolution of unregistered multitemporal images | |
| Yan et al. | Deep HDR imaging via a non-local network | |
| CN112233038B (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
| US10593021B1 (en) | Motion deblurring using neural network architectures | |
| Wang et al. | Recent progress in image deblurring | |
| Huang et al. | Bidirectional recurrent convolutional networks for multi-frame super-resolution | |
| CN107818554B (zh) | 信息处理设备和信息处理方法 | |
| Zhang et al. | LR-Net: Low-rank spatial-spectral network for hyperspectral image denoising | |
| Lin et al. | ADMM-ADAM: A new inverse imaging framework blending the advantages of convex optimization and deep learning | |
| Ruan et al. | Aifnet: All-in-focus image restoration network using a light field-based dataset | |
| CN112529776B (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
| Li et al. | A maximum a posteriori estimation framework for robust high dynamic range video synthesis | |
| Yan et al. | High dynamic range imaging via gradient-aware context aggregation network | |
| Min et al. | Blind deblurring via a novel recursive deep CNN improved by wavelet transform | |
| Wang et al. | Training very deep CNNs for general non-blind deconvolution | |
| Yan et al. | Robust artifact-free high dynamic range imaging of dynamic scenes | |
| CN112446835A (zh) | 图像恢复方法、图像恢复网络训练方法、装置和存储介质 | |
| Rasheed et al. | LSR: Lightening super-resolution deep network for low-light image enhancement | |
| Song et al. | Multistage curvature-guided network for progressive single image reflection removal | |
| Gao et al. | Bayesian image super-resolution with deep modeling of image statistics | |
| Sharif et al. | DarkDeblur: Learning single-shot image deblurring in low-light condition | |
| Tang et al. | Structure-embedded ghosting artifact suppression network for high dynamic range image reconstruction | |
| Polasek et al. | Vision UFormer: Long-range monocular absolute depth estimation | |
| CN117745916B (zh) | 多张多类型模糊图像的三维渲染方法和系统 | |
| Feng et al. | A Multiscale Generalized Shrinkage Threshold Network for Image Blind Deblurring in Remote Sensing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |