CN112183637B - 一种基于神经网络的单光源场景光照重渲染方法及系统 - Google Patents
一种基于神经网络的单光源场景光照重渲染方法及系统 Download PDFInfo
- Publication number
- CN112183637B CN112183637B CN202011049667.2A CN202011049667A CN112183637B CN 112183637 B CN112183637 B CN 112183637B CN 202011049667 A CN202011049667 A CN 202011049667A CN 112183637 B CN112183637 B CN 112183637B
- Authority
- CN
- China
- Prior art keywords
- illumination
- image
- representing
- encoder
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 180
- 238000000034 method Methods 0.000 title claims abstract description 100
- 238000009877 rendering Methods 0.000 title claims abstract description 63
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 53
- 230000006870 function Effects 0.000 claims description 47
- 230000008569 process Effects 0.000 claims description 38
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 12
- 230000001965 increasing effect Effects 0.000 claims description 9
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 8
- 230000015572 biosynthetic process Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 238000003786 synthesis reaction Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 230000001419 dependent effect Effects 0.000 claims description 5
- 125000004122 cyclic group Chemical group 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 11
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000013145 classification model Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本发明提出了一种基于神经网络的单光源场景光照重渲染方法及系统，包括以下步骤：对已有的图像场景光照数据集进行预处理；设计光照信息分类网络；设计内容自重建网络，为内容编码器单独构造一个完整的自编码网络；构建光照重渲染网络，光照重渲染网络由训练好的光照信息分类编码器、内容编码器和解码器组成，解码器将同时结合内容编码器和光照信息分类编码器所提供地特征进行图像特征还原；使用数据集对光照重渲染网络进行训练。基于该方法能提取处出所需的光照信息，而自重建网络使得其内部的内容编码器可以学习到足够多的图像内容特征，所以可以将准确的光照信息与图像信息相结合得到接近真实的效果，从而解决了在场景图像中的光照重渲染问题。
Description
技术领域
本发明涉及一种基于神经网络的单光源场景光照重渲染方法及系统，涉及G06T：一般的图像数据处理或产生领域，尤其涉及G06T5/00：图像的增强或复原领域。
背景技术
在摄影，摄像和艺术作品中，光照都是一个非常重要的环境条件。不同的光照环境下的物体会呈现不同的光影效果。而光影对于整幅图片的视觉展现效果影响十分巨大。拥有专业的设备的专业的摄影人员为了达到他们理想中的效果，依然要花费很大时间对他们所需的光照环境进行调整。对大众来说，这样的专业水平很难达到，这就限制了大多数人的摄影体验和艺术创作。现有的重光照技术分为场景的重光照和人像的重光照。人像的重光照发展的较为成熟，并且在摄影设备上已有相关的应用。而场景的重光照近几年还在探索之中，现有的技术有些需要复杂的三维建模，有些只限于物体表面的光影效果。所以，发明一种适用性广，参考全局光影的光照转换技术成为需求。
在现有的技术方案中，基于图像像素直接转换的方法很难学习到光照信息的变换，而基于人脸的光照重渲染方案所需求的先验信息较多过程复杂，并且现有的方案中都存在对光照信息分类和阴影的消除都不够准确。
发明内容
发明目的：一个目的是提出一种基于神经网络的单光源场景光照重渲染方法，以解决现有技术存在的上述问题。进一步目的是提出一种实现上述方法的系统。
技术方案：一种基于神经网络的单光源场景光照重渲染方法，包括以下步骤：
步骤1、对已有的图像场景光照数据集进行预处理，同时对数据集进行数据增强；
步骤2、设计光照信息分类网络；
步骤3、设计自重建网络模型；
步骤4、构建光照重渲染网络；
步骤5、使用数据集对光照重渲染网络进行训练。
在进一步的实施例中，所述步骤1进一步为：
步骤1-1、将图像分辨率压缩至预定尺寸，为了防止通道模式不一致所导致的程序出错，将所有图像的通道模式统一改为RGB模式，并将所有图像由H*W*C三维张量在第0维处扩展为N*H*W*C的四维张量；其中H为图像的高，W为图像的宽，C为图像的通道数，N为图像的个数；
步骤1-2、将通道C与H、W进行位置互换，变成N*C*N*W的四维张量；
步骤1-3、将图像的像素值由区间[0，255]归一化到区间[0，1]，公式如下：
式中，xnorm是每个通道内归一化之后的结果，x为原始数据，xmax为每个通道内数据的最大值，xmin为每个通道内数据的最小值；如此操作会使得数据分布更加有利于后续最优值的求解；在归一化之后便可以使用将数据进行用于计算。
在进一步的实施例中，所述步骤2进一步为：
步骤2-1、采用VIDIT数据集并布置多个虚拟场景，每个虚拟场景至少包含了12000对训练集和90对测试集，其中共包含有300个不同的虚拟场景，每个场景包含包括8 个方向以及5个色温，共对应至少40组光照场景；
步骤2-2、为光照信息分类网络构建损失函数：
式中，表示预测值，y表示真实值，这样便可以对光照信息进行学习和分类。
步骤2-3、对光照信息分类网络进行训练，并将得到训练权重保存，不再改变；为了得到更多的训练数据使得能有更好的训练效果，我们对训练数据进行了数据增强，我们对12000个数据对进行随机旋转，使得我们总共得到了96000对训练数据，这样使得我们可以从有限的数据中获得更多更全面的数据来增强网络的鲁棒性。
在进一步的实施例中，所述步骤3进一步为：
步骤3-1、步骤2侧重于光照的信息，而设计自重建网络则是为了能够获得更加准确的图像内容信息，对内容编码器做单独的预训练，为内容编码器构建一个完整的端到端的编码器解码器网络，即先进行分解合成的自重建的训练，在这个过程中内容编码器学会图像中各种低级和高级的特征，同时解码器也学会将高级的特征还原回低级特征；
步骤3-2、整个预训练的过程中每次循环迭代时都将一组图像作为输入，然后在编码器中进行卷积编码，再在解码器中还原输入图像；将最后的输出和输入的图像利用损失函数进行误差计算，得到损失之后，再回传网络进行同时更新梯度，并不断重复直到网络收敛，即能够生成和输入图像误差很小的图像时停止训练；这样做，让它首先具备一定的先验基础，有利于深度学习模型在大规模的数据训练中可以更加快速的收敛，能更加快速的找到最优值，并且对于信息的提取具有极大的帮助作用。
在进一步的实施例中，所述步骤4进一步为：
步骤4-1、通过步骤2的光照分类模型可以准确的得到光照信息，通过步骤3，可以的得到一个经过预训练的内容编码器；在步骤4中，我们把步骤2和步骤3进行结合，并进行进一步的优化设计得到光照重渲染模型，理由是这样做可以最大化地提取特征和实现光照重渲染。由以下三个模型组成：一个光照编码器、一个内容编码器和一个解码器。光照编码器负责提取出目标光照信息，内容编码器负责提取出输入图像的内容信息，解码器负责将光照信息和内容信息进行整合；
步骤4-2、在所述光照重渲染模型中引入多尺度特征融合，除在编码器的4个层级与解码器的4个层级之间有跳跃连接之外，同时光照编码器的5个层级都与解码器同样有跳跃连接，这样在保证了光照编码器对引导图进行图像光照信息的提取同时，也让内容编码器的各层特征信息与光照编码器的各层的特征信息相连接，并将连接后生成的特征再次与下一层的光照和内容特征相连接，这样可以做到在兼顾内容特征信息和光照特征信息的同时还能将其结果传递下去，从而可以得到最大的细节保障，具体如下所示：
式中，代表解码器对光照信息和内容信息进行卷积得到的结果，F代表卷积操作， concate表示特征层串联操作，将三个三维张量按照图像通道这个维度进行串联拼接，FD表示反卷积操作，相当于将图像进行上采样，/>代表上一次层级所代表的解码器卷积结果，/>与/>分别代表内容编码器的卷积结果与光照编码器的同一层的卷积结果；
步骤4-3、考虑到不同通道之间的特征所占的重要程度的不一样，我们引入SE 块，它能够对图像特征通道之间关系进行一个更为细致的考量，具体如下：
式中，uc代表的是三维张量的第c个通道，W代表特征图的宽，H代表特征图的高，Fsq代表的是特征压缩；
步骤4-4、在得到压缩后的特征之后，获取各个通道特征的权重大小：
sc＝Fex(z,W)＝σ(g(z,W))＝σ(W2δ(W1z)),
式中，z表示步骤4-3得到的结果，W1表示第一个全卷积层，维度是C/r*C，r是缩放参数，W2表示第二个全卷积层，W2的维度是C/r*C，σ代表非线性sigmoid函数，即经过最后一次激活便可以得到不同通道的权重sc；
步骤4-5、在得到每个通道的权重之后，将各个通道的权重与之前的特征通道进行点乘，得到最终所需要的特征图，如下：
式中，表示单个通道的特征张量，即前面所提到的光照特征张量，这样使得光照特征图在经过SE块之后能够将更准确的信息与内容信息进行结合；
步骤4-6、将输入的图像形状设为N*C*H*H，其中H＝W，卷积层核的个数设为N2，卷积核的大小设为K*K，卷积步长stride设为S，设padding(在图像周围进行补0的操作)为P，则输出大小H2如下：
式中，O为输出的图像大小；进而在经过一个卷积操作之后图像的输出大小为 N*N2*H2*H2。可以得到经过卷积后的操作中，N不会变，N2的值等于卷积层中卷积核的个数，即内容编码器各个层中然后将生成的特征图像继续向后传递，因为随着通道数越来越多所以图像的大小也就越来越小；
内容编码器中的卷积层步长均一致，为了获得更多层级的图像特征，我们将通道数设为一个以指数递增的数列，然后将图像的特征逐层分解并增加，这样有利于细节的合成，激活函数我们选择ReLU，相比其他的损失函数,ReLU可以更好的缓解梯度消失的问题，表达式如下所示：
f(x)＝max(0,x)
式中，x为被激活的值，f为因变量。
在进一步的实施例中，步骤4-1中所述光照重渲染模型采用L1损失和SSIM损失作为损失函数；
L1损失函数如下：
式中，表示的是预测值，y表示的是真实值；L1损失函数非常适合去衡量一个图像的低级特征，尽可能地保留在低级特征空间中找到最优解；
SSIM损失函数用于衡量图像之间的相似性指标，包括照度相似性、对比度相似性和结构相似性，可以顾及到图像中的各种细节；SSIM损失函数如下：
SSIM(x,y)＝[j(x,y)]α[c(x,y)]β[s(x,y)]γ
式中，α>0，β>0，γ>0,j(x,y)表示的是照度相似性，用来衡量两幅图像之间亮度不同的指标，c(x,y)表示对比度相似性，用来表示两幅图像中明暗区域最亮的白和最暗的黑之间不同亮度层级的测量，s(x,y)表示图像结构之间的比较；
采用Adam优化器，相比其他优化器Adam优化器的性能更加强大，能够以最快的速度找到最优值。
在进一步的实施例中，所述步骤5进一步为：
步骤5-1、将训练数据分成若干个小组，按顺序将小组依次送入神经网络，送入神经网络之后卷积核开始不断地对输入图像进行卷积操作；
步骤5-2、当时一次前向计算完成之后，利用损失函数计算损失，然后开始反向传播，并利用Adam优化器不断地优化卷积核内部的参数；
步骤5-3、在每次训练时给光照编码器一张引导图，以引导图的光照方向和色温作为重渲染的光照信息。
基于上述方法，本发明进一步提出一种基于神经网络的单光源场景光照重渲染系统，该系统包括用于对已有的图像场景光照数据集进行预先处理的第一模块；用于建立光照信息分类网络的第二模块；用于建立自重建网络模型的第三模块；用于建立光照重渲染网络模型的第四模块；以及用于训练光照重渲染网络模型的第五模块。
在进一步的实施例中，所述第一模块进一步用于采集已有的图像场景光照数据集，对数据集进行预处理，同时对数据集进行数据增强；
将图像分辨率压缩至448*448，将所有图像的通道模式统一改为RGB模式，并将所有图像由H*W*C三维张量在第0维处扩展为N*H*W*C的四维张量；其中H为图像的高，W为图像的宽，C为图像的通道数，N为图像的个数；
将通道C与H、W进行位置互换，变成N*C*N*W的四维张量；
将图像的像素值由区间[0，255]归一化到区间[0，1]，公式如下：
式中，xnorm是每个通道内归一化之后的结果，x为原始数据，xmax为每个通道内数据的最大值，xmin为每个通道内数据的最小值；
所述第二模块进一步采用VIDIT数据集并布置多个虚拟场景，每个虚拟场景至少包括8个方向以及5个色温，共对应至少40组光照场景；
为光照信息分类网络构建损失函数：
式中，表示预测值，y表示真实值；
对光照信息分类网络进行训练，并将得到训练权重保存，不再改变；
所述第三模块进一步为内容编码器构建一个完整的端到端的编码器解码器网络，即先进行分解合成的自重建的训练，在这个过程中内容编码器学会图像中各种低级和高级的特征，同时解码器也学会将高级的特征还原回低级特征；整个预训练的过程中每次循环迭代时都将一组图像作为输入，然后在编码器中进行卷积编码，再在解码器中还原输入图像；将最后的输出和输入的图像利用损失函数进行误差计算，得到损失之后，再回传网络进行同时更新梯度，并不断重复直到网络收敛，即能够生成和输入图像误差很小的图像时停止训练。
在进一步的实施例中，所述第四模块进一步将第二模块中得到的光照信息和第三模块中得到的经过预训练的内容编码器相结合，得到光照重渲染模型，所述光照重渲染模型包括至少一个用于提取出目标光照信息的光照编码器、至少一个用于提取出输入图像的内容信息的内容编码器、以及至少一个负责将光照信息和内容信息进行整合解码器；
所述光照重渲染模型采用L1损失和SSIM损失作为损失函数；
L1损失函数如下：
式中，表示的是预测值，y表示的是真实值；
SSIM损失函数用于衡量图像之间的相似性指标，包括照度相似性、对比度相似性和结构相似性，SSIM损失函数如下：
SSIM(x,y)＝[j(x,y)]α[c(x,y)]β[s(x,y)]γ
式中，α>0，β>0，γ>0,j(x,y)表示的是照度相似性，用来衡量两幅图像之间亮度不同的指标，c(x,y)表示对比度相似性，用来表示两幅图像中明暗区域最亮的白和最暗的黑之间不同亮度层级的测量，s(x,y)表示图像结构之间的比较；
在所述光照重渲染模型中引入多尺度特征融合，除在编码器的4个层级与解码器的 4个层级之间有跳跃连接之外，同时光照编码器的5个层级都与解码器同样有跳跃连接：
式中，代表解码器对光照信息和内容信息进行卷积得到的结果，F代表卷积操作， concate表示特征层串联操作，将三个三维张量按照图像通道这个维度进行串联拼接，FD表示反卷积操作，相当于将图像进行上采样，/>代表上一次层级所代表的解码器卷积结果，/>与/>分别代表内容编码器的卷积结果与光照编码器的同一层的卷积结果；
在所述光照重渲染模型中引入SE块：
式中，uc代表的是三维张量的第c个通道，W代表特征图的宽，H代表特征图的高，Fsq代表的是特征压缩；
在得到压缩后的特征之后，获取各个通道特征的权重大小：
sc＝Fex(z,W)＝σ(g(z,W))＝σ(W2δ(W1z)),
式中，z表示步骤4-3得到的结果，W1表示第一个全卷积层，维度是C/r*C，r是缩放参数，W2表示第二个全卷积层，W2的维度是C/r*C，σ代表非线性sigmoid函数，即经过最后一次激活便可以得到不同通道的权重sc；
在得到每个通道的权重之后，将各个通道的权重与之前的特征通道进行点乘，得到最终所需要的特征图，如下：
式中，表示单个通道的特征张量；
将输入的图像形状设为N*C*H*H，其中H＝W，卷积层核的个数设为N2，卷积核的大小设为K*K，卷积步长stride设为S，设padding为P，则输出大小H2如下：
式中，O为输出的图像大小；
将通道数设为一个以指数递增的数列，然后将图像的特征逐层分解并增加，选择ReLU作为激活函数：
f(x)＝max(0,x)
式中，x为被激活的值，f为因变量；
所述第五模块进一步将训练数据分成若干个小组，按顺序将小组依次送入神经网络，送入神经网络之后卷积核开始不断地对输入图像进行卷积操作；当时一次前向计算完成之后，利用损失函数计算损失，然后开始反向传播，并利用Adam优化器不断地优化卷积核内部的参数；在每次训练时给光照编码器一张引导图，以引导图的光照方向和色温作为重渲染的光照信息。
有益效果：本发明提出了一种基于神经网络的单光源场景光照重渲染方法及系统，基于该方法能提取处出所需的光照信息，而自重建网络使得其内部的内容编码器可以学习到足够多的图像内容特征，所以可以将准确的光照信息与图像信息相结合得到接近真实的效果，从而解决了在场景图像中的光照重渲染问题。
附图说明
图1为本发明实施例的光照重渲染网络结构图。
图2是本发明实施例的程序流程图。
图3是本发明实施例的单光光源改变的示例图。
图3中左边一列是输入图像，光照为北方，色温为6500K，右边一列是真实值，光照方向为东方，色温为4500K,中间一列即光照重渲染之后的结果。
具体实施方式
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
申请人认为，在现有的技术方案中，基于图像像素直接转换的方法很难学习到光照信息的变换，而基于人脸的光照重渲染方案所需求的先验信息较多过程复杂，并且现有的方案中都存在对光照信息分类和阴影的消除都不够准确。
为解决虚拟场景中图像光照重渲染的问题，申请人提出一种基于光照信息分类的场景光照重渲染的技术方案，在本方案中光照信息分类网络能够对40种光照情况进行准确地分类，并能提取处出所需的光照信息，而自重建网络使得其内部的内容编码器可以学习到足够多的图像内容特征，所以我们可以将准确的光照信息与图像信息相结合得到接近真实的效果，从而解决了在场景图像中的光照重渲染问题，如图3所示。
下面通过实施例，并结合附图，对本发明的技术方案做进一步说明。
如图2所示，本发明涉及到的单光源场景光照重渲染方法主要包括如下五个步骤：
步骤一，数据预处理。
为了方便计算和后续的进一步工作，我们先将正常的图像分辨率由1024*1024压缩到448*448，为了防止通道模式不一致所导致的程序出错，将所有图像的通道模式统一改为RGB模式，并将所有图像由H*W*C三维张量在第0维处扩展为N*H*W*C的四维张量，其中H为图像的高，W为图像的宽，C为图像的通道数，N为图像的个数。为了方便计算再将通道C与H,W进行位置互换，变成N*C*N*W的思维张量。进一步再将图像的像素值由区间[0,255]归一化到区间[0,1]，公式如下所示：
其中xnorm是每个通道内归一化之后的结果，x为原始数据，xmax为每个通道内数据的最大值，xmin为每个通道内数据的最小值，这样会使得我们数据分布更加有利于后续最优值的求解。在归一化之后便可以使用将数据进行用于计算。
步骤二，设计光照信息分类模型。
光照信息分类的目的是为了识别和学习图像中的不同光照信息，也是整个流程中十分关键的一步。我们采用的数据集是VIDIT，里面的图像均为虚拟场景的取景，其中包含了12000对训练集和90对测试集。其中共包含有300个不同的虚拟场景，每个场景包含8个方向以及5个色温，即每个场景有40种光照情况。为了能够给网络提供最为准确的光照信息，专门利用了一个网络来进行光照信息的学习，而不是以一种单纯的端到端的学习方式来学习光照重渲染的问题，这样可以更加地去细化一个问题，去使一个问题的解决效果达到最优。且能进一步帮助我们解决光照重渲染问题。本实施例采用经典的resnet50网络作为分类网络模型，并且在其基础上进行了部分结构重新设计，为了让resnet50能够对光照信息更加敏感，我们特意在不同的层之间额外了增加了卷积层，使得在对光照信息的处理上更为准确，就能专门对这40种光照情况进行分类识别并学习到各种光照信息。网络模型进行了5个不同的通道数级的变换，分别是：3，64，128， 256和512。
为了得到更多的训练数据使得能有更好的训练效果，我们对训练数据进行了数据增强，我们对12000个数据对进行随机旋转，使得我们总共得到了96000对训练数据，这样使得我们可以从有限的数据中获得更多更全面的数据来增强网络的鲁棒性。
我们采取的损失函数为交叉熵函数，它相较其他损失函数而言，在分类图像分类领域内所表现出的效果更好，表达式如下所示:
其中表示预测值，y表示真实值，这样便可以对光照信息进行学习和分类。
步骤三：设计自重建网络模型。
步骤二侧重于光照的信息，而设计自重建网络则是为了能够获得更加准确的图像内容信息，我们会对内容编码器做单独的预训练，先为内容编码器构建一个完整的端到端的编码器解码器网络，即先进行分解合成的自重建的训练，在这个过程中内容编码器学会了图像中各种低级和高级的特征，同时解码器也学会了将高级的特征还原回低级特征。整个预训练的过程中每次循环迭代时都会将一组图像作为输入，然后在编码器中进行卷积编码，再在解码器中还原输入图像。将最后的输出和输入的图像利用损失函数进行误差计算，得到损失之后，再回传网络进行同时更新梯度，并不断重复直到网络收敛，即能够生成和输入图像误差很小的图像时停止训练。这样做，让它首先具备一定的先验基础，有利于深度学习模型在大规模的数据训练中可以更加快速的收敛，能更加快速的找到最优值，并且对于信息的提取具有极大的帮助作用。
步骤四：设计光照重渲染网络模型。
通过步骤二的光照分类模型可以准确的得到光照信息，通过步骤三，可以的得到一个经过预训练的内容编码器。在步骤四中，我们把步骤二和步骤三进行结合，并进行进一步的优化设计得到光照重渲染模型，理由是这样做可以最大化地提取特征和实现光照重渲染。由以下三个模型组成：一个光照编码器、一个内容编码器和一个解码器。光照编码器负责提取出目标光照信息，内容编码器负责提取出输入图像的内容信息，解码器负责将光照信息和内容信息进行整合。
在光照重渲染模型中，区别于现有的网络模型和方案，我们进而又设计了两个创新点：一个是多尺度的特征融合，二是含有SE块的跳跃连接。
对于多尺度的特征融合，由图1可见，在编码器的4个层级与解码器的4个层级之间有跳跃连接之外，同时光照编码器的5个层级都与解码器同样有跳跃连接，这样在保证了光照编码器对引导图进行图像光照信息的提取同时，也让内容编码器的各层特征信息与光照编码器的各层的特征信息相连接，并将连接后生成的特征再次与下一层的光照和内容特征相连接，这样可以做到在兼顾内容特征信息和光照特征信息的同时还能将其结果传递下去，从而可以得到最大的细节保障。
具体如下所示：
其中代表解码器对光照信息和内容信息进行卷积得到的结果，F代表卷积操作，concate表示特征层串联操作，将三个三维张量按照图像通道这个维度进行串联拼接，FD表示反卷积操作，相当于将图像进行上采样，/>代表上一次层级所代表的解码器卷积结果，与/>分别代表内容编码器的卷积结果与光照编码器的同一层的卷积结果。
考虑到不同通道之间的特征所占的重要程度的不一样，我们引入了SE块，它能够对图像特征通道之间关系进行一个更为细致的考量(数学)
具体如下所示：
其中uc代表的是三维张量的第c个通道，W代表特征图的宽，H代表特征图的高， Fsq代表的是特征压缩，这一个步骤相当于做了一个全局的平均池化操作，在得到压缩后的特征之后，下一笔便是要得到各个通道特征的权重大小，如下所示：
sc＝Fex(z,W)＝σ(g(z,W))＝σ(W2δ(W1z)),
其中的z就是上一步得到的结果，W1表示的是第一个全卷积层，维度是C/r*C，r 是一个缩放参数，经过一个全卷积层之后再经过一个ReLU激活函数，即δ所表示的意思，经过一次激活之后还需要进行第二次全卷积操作，即W2所表示的，W2的维度是C/r *C，σ代表非线性sigmoid函数，即经过最后一次激活便可以得到不同通道的权重sc。进一步，在得到每个通道的权重之后，便将各个通道的权重与之前的特征通道进行点乘，得到最终所需要的特征图，如下所示：
其中就是单个通道的特征张量，即前面所提到的光照特征张量，这样使得光照特征图在经过SE块之后能够将更准确的信息与内容信息进行结合。
具体来说，
我们将输入的图像形状设为N*C*H*H其中假设H＝W，卷积层核的个数设为N2，卷积核的大小设为K*K,卷积步长stride设为S,为了确保图像做卷积计算后输出图像的大小合适，设padding(在图像周围进行补0的操作)为P，则输出大小H2如下所示：
其中O为输出的图像大小，进而在经过一个卷积操作之后图像的输出大小为 N*N2*H2*H2。可以得到经过卷积后的操作中，N不会变，N2的值等于卷积层中卷积核的个数，即内容编码器各个层中然后将生成的特征图像继续向后传递，因为随着通道数越来越多所以图像的大小也就越来越小。
更具体地，内容编码器中的卷积层步长均一致，为了获得更多层级的图像特征，我们将通道数设为一个以指数递增的数列，然后将图像的特征逐层分解并增加，这样有利于细节的合成，激活函数我们选择ReLU，相比其他的损失函数,ReLU可以更好的缓解梯度消失的问题，表达式如下所示：
f(x)＝max(0,x)
其中x为被激活的值，f为因变量。
更进一步，Decoder总共分为4个层级与内容编码器相当，且每个层级之间的传递都会设置一个上采样，使得被压缩的分辨率可以被还原。并且在解码器层中，每个卷积层后跟一个DRDB(空洞残差密度块)，它使得与之相连的卷积层中的感受野能够被放大，从最基础的一个卷积核的大小的视野k*k逐步到最后被放大到整个图像，并且在其放大的过程中，图像之间的细节会被不断迭代传递，以达到最小的图像信息损失和最大的特征信息利用。
解码器层的每层都会连接一层SN层(可变正则化网络层),它使得解空间更加平滑了，这种平滑使梯度更具有可预测性和稳定性，从而使训练过程更快。
在光照重渲染模型中我们采用的损失函数是L1损失和SSIM损失。
L1损失如下所示：
其中表示的是预测值，y表示的是真实值，L1损失函数非常适合去衡量一个图像的低级特征，尽可能地保留在低级特征空间中找到最优解。
SSIM损失函数是用来衡量两个图像之间相似性的指标，其中包括：照度相似性、对比度相似性和结构相似性，可以顾及到图像中的各种细节。如下所示：
SSIM(x,y)＝[j(x,y)]α[c(x,y)]β[s(x,y)]γ
其中α>0，β>0，γ>0,l(x,y)表示的是照度相似性，用来衡量两幅图像之间亮度不同的指标，c(x,y)表示对比度相似性，用来表示两幅图像中明暗区域最亮的白和最暗的黑之间不同亮度层级的测量，s(x,y)表示图像结构之间的比较。
优化器我们选择的是Adam优化器，相比其他优化器Adam优化器的性能更加强大，能够以最快的速度找到最优值。
如图3所示，输入图像的光照方向为北方，目标方向为东方，中间即生成的结果，可以发现，光照的方向和色温确实与真实图像非常接近。
步骤五：训练光照重渲染网络模型。
具体步骤为：首先将训练数据分成若干个小组，然后按顺序将小组依次送入神经网络，送入神经网络之后卷积核开始不断地对输入图像进行卷积操作，当时一次前向计算完成之后，并利用损失函数计算损失，然后开始反向传播，并利用Adam优化器不断地优化卷积核内部的参数。同时在每次训练时，会给光照编码器一张引导图，以引导图的光照方向和色温作为重渲染的光照信息。
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。
Claims (7)
1.一种基于神经网络的单光源场景光照重渲染方法，其特征是包括以下步骤：
步骤1、对已有的图像场景光照数据集进行预处理，同时对数据集进行数据增强；
步骤2、设计光照信息分类网络；
步骤2-1、采用VIDIT数据集并布置多个虚拟场景，每个虚拟场景至少包括8个方向以及5个色温，共对应至少40组光照场景；
步骤2-2、为光照信息分类网络构建损失函数：
；
式中，表示预测值，/>表示真实值；
步骤2-3、对光照信息分类网络进行训练，并将得到训练权重保存，不再改变；
步骤3、设计自重建网络模型；
步骤3-1、为内容编码器构建一个完整的端到端的编码器解码器网络，即先进行分解合成的自重建的训练，在这个过程中内容编码器学会图像中各种低级和高级的特征，同时解码器也学会将高级的特征还原回低级特征；
步骤3-2、整个预训练的过程中每次循环迭代时都将一组图像作为输入，然后在编码器中进行卷积编码，再在解码器中还原输入图像；将最后的输出和输入的图像利用损失函数进行误差计算，得到损失之后，再回传网络进行同时更新梯度，并不断重复直到网络收敛，即能够生成和输入图像误差很小的图像时停止训练；
步骤4、构建光照重渲染网络；
步骤4-1、将步骤2中得到的光照信息和步骤3中得到的经过预训练的内容编码器相结合，得到光照重渲染模型，所述光照重渲染模型包括至少一个用于提取出目标光照信息的光照编码器、至少一个用于提取出输入图像的内容信息的内容编码器、以及至少一个负责将光照信息和内容信息进行整合解码器；
步骤4-2、在所述光照重渲染模型中引入多尺度特征融合，除在编码器的4个层级与解码器的4个层级之间有跳跃连接之外，同时光照编码器的5个层级都与解码器同样有跳跃连接：
；
式中，代表解码器对光照信息和内容信息进行卷积得到的结果，/>表示解码器，l表示层级，/>代表卷积操作，/>表示特征层串联操作，将三个三维张量按照图像通道这个维度进行串联拼接，/>表示反卷积操作，将图像进行上采样，/>代表上一次层级所代表的解码器卷积结果，/>与/>分别代表内容编码器的卷积结果与光照编码器的同一层的卷积结果；其中/>表示内容编码器，/>表示光照编码器；
步骤4-3、在所述光照重渲染模型中引入SE块：
；
式中，代表的是三维张量的第c个通道，/>代表特征图的宽，/>代表特征图的高，/>代表的是特征压缩；
步骤4-4、在得到压缩后的特征之后，获取各个通道特征的权重大小：
；
式中，表示步骤4-3得到的结果，/>表示第一个全卷积层，维度是C/r * C，r是缩放参数，/>表示第二个全卷积层，/>的维度是C/r * C，/>代表非线性sigmoid函数，即经过最后一次激活便得到不同通道的权重/>；
步骤4-5、在得到每个通道的权重之后，将各个通道的权重与之前的特征通道进行点乘，得到最终所需要的特征图，如下：
；
式中，表示单个通道的特征张量；
步骤4-6、将输入的图像形状设为N*C*H*H，其中H=W，H为图像的高，W为图像的宽，C为图像的通道数，N为图像的个数；卷积层核的个数设为N2，卷积核的大小设为K*K，卷积步长stride设为S，设padding为P，则输出大小如下：
；
式中，为输出的图像大小；
将通道数设为一个以指数递增的数列，然后将图像的特征逐层分解并增加，选择ReLU作为激活函数：
；
式中，x为被激活的值，f为因变量；
步骤5、使用数据集对光照重渲染网络进行训练。
2.根据权利要求1所述的一种基于神经网络的单光源场景光照重渲染方法，其特征在于，所述步骤1进一步为：
步骤1-1、将图像分辨率压缩至预定尺寸，将所有图像的通道模式统一改为RGB模式，并将所有图像由H*W*C三维张量在第0维处扩展为N*H*W*C的四维张量；其中H为图像的高，W为图像的宽，C为图像的通道数，N为图像的个数；
步骤1-2、将通道C与H、W进行位置互换，变成N*C*N*W的四维张量；
步骤1-3、将图像的像素值由区间[0，255]归一化到区间[0，1]，公式如下：
；
式中，是每个通道内归一化之后的结果，/>为原始数据，/>为每个通道内数据的最大值，/>为每个通道内数据的最小值。
3.根据权利要求1所述的一种基于神经网络的单光源场景光照重渲染方法，其特征在于，步骤4-1中所述光照重渲染模型采用L1损失和SSIM损失作为损失函数；
L1损失函数如下：
；
式中，表示的是预测值，/>表示的是真实值；
SSIM损失函数用于衡量图像之间的相似性指标，包括照度相似性、对比度相似性和结构相似性，SSIM损失函数如下：
；
；
；
；
式中，>0，/>>0，/>>0, />表示的是照度相似性，用来衡量两幅图像之间亮度不同的指标，/>表示对比度相似性，用来表示两幅图像中明暗区域最亮的白和最暗的黑之间不同亮度层级的测量，/>表示图像结构之间的比较。
4.根据权利要求1所述的一种基于神经网络的单光源场景光照重渲染方法，其特征在于，所述步骤5进一步为：
步骤5-1、将训练数据分成若干个小组，按顺序将小组依次送入神经网络，送入神经网络之后卷积核开始不断地对输入图像进行卷积操作；
步骤5-2、当一次前向计算完成之后，利用损失函数计算损失，然后开始反向传播，并利用Adam优化器不断地优化卷积核内部的参数；
步骤5-3、在每次训练时给光照编码器一张引导图，以引导图的光照方向和色温作为重渲染的光照信息。
5.一种实现上述权利要求1~4中任一项所述方法的单光源场景光照重渲染系统，其特征在于，包括以下模块：
用于对已有的图像场景光照数据集进行预先处理的第一模块；
用于建立光照信息分类网络的第二模块；
用于建立自重建网络模型的第三模块；
用于建立光照重渲染网络模型的第四模块；
用于训练光照重渲染网络模型的第五模块。
6.根据权利要求5所述的单光源场景光照重渲染系统，其特征在于：
所述第一模块进一步用于采集已有的图像场景光照数据集，对数据集进行预处理，同时对数据集进行数据增强；
将图像分辨率压缩至预定尺寸，将所有图像的通道模式统一改为RGB模式，并将所有图像由H*W*C三维张量在第0维处扩展为N*H*W*C的四维张量；其中H为图像的高，W为图像的宽，C为图像的通道数，N为图像的个数；
将通道C与H、W进行位置互换，变成N*C*N*W的四维张量；
将图像的像素值由区间[0，255]归一化到区间[0，1]，公式如下：
；
式中，是每个通道内归一化之后的结果，/>为原始数据，/>为每个通道内数据的最大值，/>为每个通道内数据的最小值；
所述第二模块进一步采用VIDIT数据集并布置多个虚拟场景，每个虚拟场景至少包括8个方向以及5个色温，共对应至少40组光照场景；
为光照信息分类网络构建损失函数：
；
式中，表示预测值，/>表示真实值；
对光照信息分类网络进行训练，并将得到训练权重保存，不再改变；
所述第三模块进一步为内容编码器构建一个完整的端到端的编码器解码器网络，即先进行分解合成的自重建的训练，在这个过程中内容编码器学会图像中各种低级和高级的特征，同时解码器也学会将高级的特征还原回低级特征；整个预训练的过程中每次循环迭代时都将一组图像作为输入，然后在编码器中进行卷积编码，再在解码器中还原输入图像；将最后的输出和输入的图像利用损失函数进行误差计算，得到损失之后，再回传网络进行同时更新梯度，并不断重复直到网络收敛，即能够生成和输入图像误差很小的图像时停止训练。
7.根据权利要求5所述的单光源场景光照重渲染系统，其特征在于：
所述第四模块进一步将第二模块中得到的光照信息和第三模块中得到的经过预训练的内容编码器相结合，得到光照重渲染模型，所述光照重渲染模型包括至少一个用于提取出目标光照信息的光照编码器、至少一个用于提取出输入图像的内容信息的内容编码器、以及至少一个负责将光照信息和内容信息进行整合解码器；
所述光照重渲染模型采用L1损失和SSIM损失作为损失函数；
L1损失函数如下：
；
式中，表示的是预测值，/>表示的是真实值；
SSIM损失函数用于衡量图像之间的相似性指标，包括照度相似性、对比度相似性和结构相似性，SSIM损失函数如下：
；
；
；
；
式中，>0，/>>0，/>>0, />表示的是照度相似性，用来衡量两幅图像之间亮度不同的指标，/>表示对比度相似性，用来表示两幅图像中明暗区域最亮的白和最暗的黑之间不同亮度层级的测量，/>表示图像结构之间的比较；
在所述光照重渲染模型中引入多尺度特征融合，除在编码器的4个层级与解码器的4个层级之间有跳跃连接之外，同时光照编码器的5个层级都与解码器同样有跳跃连接：
；
式中，代表解码器对光照信息和内容信息进行卷积得到的结果，/>表示解码器，l表示层级，/>代表卷积操作，/>表示特征层串联操作，将三个三维张量按照图像通道这个维度进行串联拼接，/>表示反卷积操作，将图像进行上采样，/>代表上一次层级所代表的解码器卷积结果，/>与/>分别代表内容编码器的卷积结果与光照编码器的同一层的卷积结果；其中/>表示内容编码器，/>表示光照编码器；
在所述光照重渲染模型中引入SE块：
；
式中，代表的是三维张量的第c个通道，/>代表特征图的宽，/>代表特征图的高，/>代表的是特征压缩；
在得到压缩后的特征之后，获取各个通道特征的权重大小：
；
式中，表示步骤4-3得到的结果，/>表示第一个全卷积层，维度是C/r * C，r是缩放参数，/>表示第二个全卷积层，/>的维度是C/r * C，/>代表非线性sigmoid函数，即经过最后一次激活便得到不同通道的权重/>；
在得到每个通道的权重之后，将各个通道的权重与之前的特征通道进行点乘，得到最终所需要的特征图，如下：
；
式中，表示单个通道的特征张量；
将输入的图像形状设为N*C*H*H，其中H=W，H为图像的高，W为图像的宽，C为图像的通道数，N为图像的个数；卷积层核的个数设为N2，卷积核的大小设为K*K，卷积步长stride设为S，设padding为P，则输出大小如下：
；
式中，为输出的图像大小；
将通道数设为一个以指数递增的数列，然后将图像的特征逐层分解并增加，选择ReLU作为激活函数：
；
式中，x为被激活的值，f为因变量；
所述第五模块进一步将训练数据分成若干个小组，按顺序将小组依次送入神经网络，送入神经网络之后卷积核开始不断地对输入图像进行卷积操作；当一次前向计算完成之后，利用损失函数计算损失，然后开始反向传播，并利用Adam优化器不断地优化卷积核内部的参数；在每次训练时给光照编码器一张引导图，以引导图的光照方向和色温作为重渲染的光照信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011049667.2A CN112183637B (zh) | 2020-09-29 | 2020-09-29 | 一种基于神经网络的单光源场景光照重渲染方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011049667.2A CN112183637B (zh) | 2020-09-29 | 2020-09-29 | 一种基于神经网络的单光源场景光照重渲染方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112183637A CN112183637A (zh) | 2021-01-05 |
| CN112183637B true CN112183637B (zh) | 2024-04-09 |
Family
ID=73945764
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011049667.2A Active CN112183637B (zh) | 2020-09-29 | 2020-09-29 | 一种基于神经网络的单光源场景光照重渲染方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112183637B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112785672B (zh) * | 2021-01-19 | 2022-07-05 | 浙江商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN112861825B (zh) * | 2021-04-07 | 2023-07-04 | 北京百度网讯科技有限公司 | 模型训练方法、行人再识别方法、装置和电子设备 |
| CN113052970B (zh) * | 2021-04-09 | 2023-10-13 | 杭州群核信息技术有限公司 | 一种灯光光强颜色的设计方法、装置、系统及存储介质 |
| CN113052972B (zh) * | 2021-04-09 | 2022-08-23 | 杭州群核信息技术有限公司 | 基于神经网络的光照效果增强的方法、装置、系统和介质 |
| CN113160358A (zh) * | 2021-05-21 | 2021-07-23 | 上海随幻智能科技有限公司 | 一种无绿幕抠图渲染方法 |
| CN113409186A (zh) * | 2021-06-30 | 2021-09-17 | 上海科技大学 | 基于先验知识的单张图片重打光方法、系统、终端及存储介质 |
| CN113450290B (zh) * | 2021-09-01 | 2021-11-26 | 中科方寸知微(南京)科技有限公司 | 基于图像修补技术的低照度图像增强方法及系统 |
| CN114401520B (zh) * | 2021-12-28 | 2024-02-09 | 广西壮族自治区公众信息产业有限公司 | 无线网络信号侦测热力图方法与系统 |
| CN114677292B (zh) * | 2022-03-07 | 2022-11-01 | 北京航空航天大学 | 基于两张图像逆渲染神经网络的高分辨率材质恢复方法 |
| CN114842078A (zh) * | 2022-04-14 | 2022-08-02 | 中国人民解放军战略支援部队航天工程大学 | 一种基于深度学习的双通道卫星姿态估计网络 |
| CN114494804B (zh) * | 2022-04-18 | 2022-10-25 | 武汉明捷科技有限责任公司 | 一种基于域特有信息获取的无监督领域适应图像分类方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101458824A (zh) * | 2009-01-08 | 2009-06-17 | 浙江大学 | 一种基于web的全景图的光照渲染方法 |
| CN106031143A (zh) * | 2014-02-21 | 2016-10-12 | 皇家飞利浦有限公司 | 颜色空间和用于视频的解码器 |
| EP3261347A1 (en) * | 2016-06-22 | 2017-12-27 | Thomson Licensing | A method and a device for encoding a signal representative of a light-field content |
| CN109389667A (zh) * | 2018-08-23 | 2019-02-26 | 北京大学 | 一种基于深度学习的高效全局光照明绘制方法 |
| CN110490301A (zh) * | 2019-04-25 | 2019-11-22 | 中国科学院自动化研究所南京人工智能芯片创新研究院 | 基于卷积神经网络的线特征描述方法 |
| CN110910486A (zh) * | 2019-11-28 | 2020-03-24 | 浙江大学 | 室内场景光照估计模型、方法、装置、存储介质以及渲染方法 |
| WO2020068158A1 (en) * | 2018-09-24 | 2020-04-02 | Google Llc | Photo relighting using deep neural networks and confidence learning |
| CN111144491A (zh) * | 2019-12-26 | 2020-05-12 | 南京旷云科技有限公司 | 图像处理方法、装置及电子系统 |
| US10665011B1 (en) * | 2019-05-31 | 2020-05-26 | Adobe Inc. | Dynamically estimating lighting parameters for positions within augmented-reality scenes based on global and local features |
| CN111539255A (zh) * | 2020-03-27 | 2020-08-14 | 中国矿业大学 | 基于多模态图像风格转换的跨模态行人重识别方法 |
| CN111583135A (zh) * | 2020-04-24 | 2020-08-25 | 华南理工大学 | 一种核预测神经网络蒙特卡罗渲染图像去噪方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7783135B2 (en) * | 2005-05-09 | 2010-08-24 | Like.Com | System and method for providing objectified image renderings using recognition information from images |
-
2020
- 2020-09-29 CN CN202011049667.2A patent/CN112183637B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101458824A (zh) * | 2009-01-08 | 2009-06-17 | 浙江大学 | 一种基于web的全景图的光照渲染方法 |
| CN106031143A (zh) * | 2014-02-21 | 2016-10-12 | 皇家飞利浦有限公司 | 颜色空间和用于视频的解码器 |
| EP3261347A1 (en) * | 2016-06-22 | 2017-12-27 | Thomson Licensing | A method and a device for encoding a signal representative of a light-field content |
| CN109389667A (zh) * | 2018-08-23 | 2019-02-26 | 北京大学 | 一种基于深度学习的高效全局光照明绘制方法 |
| WO2020068158A1 (en) * | 2018-09-24 | 2020-04-02 | Google Llc | Photo relighting using deep neural networks and confidence learning |
| CN110490301A (zh) * | 2019-04-25 | 2019-11-22 | 中国科学院自动化研究所南京人工智能芯片创新研究院 | 基于卷积神经网络的线特征描述方法 |
| US10665011B1 (en) * | 2019-05-31 | 2020-05-26 | Adobe Inc. | Dynamically estimating lighting parameters for positions within augmented-reality scenes based on global and local features |
| CN110910486A (zh) * | 2019-11-28 | 2020-03-24 | 浙江大学 | 室内场景光照估计模型、方法、装置、存储介质以及渲染方法 |
| CN111144491A (zh) * | 2019-12-26 | 2020-05-12 | 南京旷云科技有限公司 | 图像处理方法、装置及电子系统 |
| CN111539255A (zh) * | 2020-03-27 | 2020-08-14 | 中国矿业大学 | 基于多模态图像风格转换的跨模态行人重识别方法 |
| CN111583135A (zh) * | 2020-04-24 | 2020-08-25 | 华南理工大学 | 一种核预测神经网络蒙特卡罗渲染图像去噪方法 |
Non-Patent Citations (5)
| Title |
|---|
| An Ensemble Neural Network for Scene Relighting with Light Classification;Liping Dong等;《ECCV 2020: Computer Vision – ECCV 2020 Workshops》;20210130;第12537卷;581–595 * |
| Scene relighting with illumination estimation in the latent space on an encoder-decoder scheme;Alexandre Pierre Dherse等;《arXiv:2006.02333》;20200603;1-30 * |
| 一种应用于光照变化场景的视频编码方法;元辉等;《西安交通大学学报》;20101010;第44卷(第10期);62-66 * |
| 基于深度学习的三维重建及渲染方法研究;王冰;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20200915(第9期);I138-103 * |
| 增强现实系统中基于单目图像的光照估计;陈璐;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20190115(第01期);I138-2773 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112183637A (zh) | 2021-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112183637B (zh) | 一种基于神经网络的单光源场景光照重渲染方法及系统 | |
| CN111242883B (zh) | 一种基于深度学习的动态场景hdr重建方法 | |
| CN112465718B (zh) | 一种基于生成对抗网络的两阶段图像修复方法 | |
| CN112001863B (zh) | 一种基于深度学习的欠曝光图像恢复方法 | |
| Panetta et al. | Tmo-net: A parameter-free tone mapping operator using generative adversarial network, and performance benchmarking on large scale hdr dataset | |
| CN112435191B (zh) | 一种基于多个神经网络结构融合的低照度图像增强方法 | |
| CN110349087B (zh) | 基于适应性卷积的rgb-d图像高质量网格生成方法 | |
| CN113870124B (zh) | 基于弱监督的双网络互激励学习阴影去除方法 | |
| US11688109B2 (en) | Generating differentiable procedural materials | |
| CN111861886B (zh) | 一种基于多尺度反馈网络的图像超分辨率重建方法 | |
| CN115484410B (zh) | 基于深度学习的事件相机视频重建方法 | |
| CN112991493A (zh) | 基于vae-gan和混合密度网络的灰度图像着色方法 | |
| CN110807741A (zh) | 图像处理网络的训练方法、图像去噪方法及装置 | |
| CN116205962A (zh) | 基于完整上下文信息的单目深度估计方法及系统 | |
| CN112767277B (zh) | 一种基于参考图像的深度特征排序去模糊方法 | |
| Cao et al. | A brightness-adaptive kernel prediction network for inverse tone mapping | |
| CN116614714A (zh) | 相机感知特性引导的真实曝光校正方法和系统 | |
| CN111105364A (zh) | 一种基于秩一分解和神经网络的图像复原方法 | |
| CN116245968A (zh) | 基于Transformer的LDR图像生成HDR图像的方法 | |
| CN116109510A (zh) | 一种基于结构和纹理对偶生成的人脸图像修复方法 | |
| CN116309171A (zh) | 一种输电线路监控图像增强方法和装置 | |
| CN115984111A (zh) | 一种基于知识蒸馏压缩模型的图像超分辨率方法及装置 | |
| CN113205005B (zh) | 一种面向低光照低分辨率的人脸图像幻构方法 | |
| CN115841523A (zh) | 一种基于Raw域的双支路HDR视频重建算法 | |
| CN114331931A (zh) | 基于注意力机制的高动态范围多曝光图像融合模型及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Room 203b, building 3, artificial intelligence Industrial Park, 266 Chuangyan Road, Qilin science and Technology Innovation Park, Jiangning District, Nanjing City, Jiangsu Province, 211000 Applicant after: Zhongke Fangcun Zhiwei (Nanjing) Technology Co.,Ltd. Applicant after: Zhongke Nanjing artificial intelligence Innovation Research Institute Address before: Room 203b, building 3, artificial intelligence Industrial Park, 266 Chuangyan Road, Qilin science and Technology Innovation Park, Jiangning District, Nanjing City, Jiangsu Province, 211000 Applicant before: Zhongke Fangcun Zhiwei (Nanjing) Technology Co.,Ltd. Applicant before: NANJING ARTIFICIAL INTELLIGENCE CHIP INNOVATION INSTITUTE, INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |