CN114693857A - 光线追踪多帧降噪方法、电子设备、芯片及可读存储介质 - Google Patents
光线追踪多帧降噪方法、电子设备、芯片及可读存储介质 Download PDFInfo
- Publication number
- CN114693857A CN114693857A CN202011614404.1A CN202011614404A CN114693857A CN 114693857 A CN114693857 A CN 114693857A CN 202011614404 A CN202011614404 A CN 202011614404A CN 114693857 A CN114693857 A CN 114693857A
- Authority
- CN
- China
- Prior art keywords
- sample
- image frame
- noise reduction
- frame
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009467 reduction Effects 0.000 title claims abstract description 291
- 238000000034 method Methods 0.000 title claims abstract description 94
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 67
- 238000012549 training Methods 0.000 claims description 88
- 238000013135 deep learning Methods 0.000 claims description 73
- 238000009877 rendering Methods 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 32
- 238000012360 testing method Methods 0.000 claims description 29
- 238000005070 sampling Methods 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 14
- 230000005540 biological transmission Effects 0.000 claims description 12
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000002441 reversible effect Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 4
- 230000003068 static effect Effects 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims 4
- 230000037430 deletion Effects 0.000 claims 4
- 230000004927 fusion Effects 0.000 abstract description 9
- 108091006146 Channels Proteins 0.000 description 48
- 230000000694 effects Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 8
- 238000012614 Monte-Carlo sampling Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 239000012634 fragment Substances 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000013441 quality evaluation Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000000342 Monte Carlo simulation Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 208000003028 Stuttering Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请实施例提供了一种光线追踪多帧降噪方法，涉及终端领域。通过将前一降噪图像帧对齐到当前噪声帧，并将因对齐处理而未采样到图像信息的边缘区域填充为当前噪声帧的内容，使用通道串联的方式将前一降噪图像帧与当前噪声帧合并起来共同送入降噪网络进行降噪处理，得到当前噪声帧的降噪结果。本申请实施例还提供了一种电子设备、芯片及计算机可读存储介质。本申请基于迭代多帧作为降噪网络的输入，将前一帧降噪结果对齐到当前噪声帧，然后使用通道串联的方式将其合并起来共同送入降噪网络进行降噪处理，实现利用一次网络推理即同时实现降噪与多帧融合。
Description
技术领域
本申请涉及终端技术领域，尤其涉及一种光线追踪多帧降噪方法、电子设备、芯片及计算机可读存储介质。
背景技术
光栅化和光线追踪(Ray Tracing，RT)是目前主流的图形渲染技术。光栅化技术发展比较成熟，与硬件的结合较为完善，是目前各种图形显卡主要支持的渲染技术，其优点是渲染速度快，适合诸如游戏等对实时性要求高的场景，缺点是渲染效果不够真实。光线追踪技术基于一定的物理原理，如光线的传播、反射、折射、能量守恒等对光线进行求解和渲染，其优点是渲染效果可以做到真实，甚至肉眼难辨的程度，缺点是渲染所需的计算量非常大。
目前光线追踪的主流实现方法由路径追踪(Path Tracing，PT)加蒙特卡洛采样来实现。因此业界常常将该实现方法等同于光线追踪。路径追踪是指将屏幕空间中的单个像素看作是一个区域，并在该区域中随机选择位置发射光线，然后基于一定的物理原理追踪该光线，最终获得颜色信息并将其赋给对应的像素。在该种方式中具有一定随机性的采样过程称为蒙特卡洛采样，所有像素发射一次光线称为一次像素采样(Sample Per Pixel，SPP)。通常对全图进行一次蒙特卡洛采样(1SPP)不能保证各个像素获得准确的颜色信息，因此1SPP的渲染结果通常充满噪音。为了得到准确的颜色信息，需要对随机采样过程进行大量的重复，并对所有的采样结果进行叠加。然而，完全依靠提高SPP数来获得高质量的渲染结果需要很大的算力。比如使用显卡Nvidia RTX 2080Ti以1080P的分辨率渲染一个具有百万面片的三维模型，需耗费数十分钟才可得到比较好的渲染结果，与实时性显示之间有非常大的差距。
发明内容
有鉴于此，有必要提供一种光线追踪多帧降噪方法，其可克服上述问题，可以对低采样率的渲染结果进行降噪及多帧融合，提升图像显示质量。
本申请实施例第一方面公开了一种光线追踪多帧降噪方法，包括：响应于视频片段的降噪需求，将第一降噪图像帧对齐至视频片段的第二图像帧；确定经过对齐处理的第一降噪图像帧的边缘缺失区域；将第二图像帧中与边缘缺失区域对应的图像信息填充至边缘缺失区域，以得到对齐图像帧；将对齐图像帧与第二图像帧进行通道串联，并输入至降噪网络，以对第二图像帧进行降噪处理得到第二降噪图像帧；其中，第一降噪图像帧为利用降噪网络对视频片段的第一图像帧进行降噪处理得到的图像帧，第一图像帧为第二图像帧的上N帧图像，N为正整数。
通过采用该技术方案，采用迭代多帧作为降噪网络的输入，将前一帧降噪结果对齐到当前噪声帧，然后使用通道串联的方式将其合并起来共同送入降噪网络进行降噪处理，得到当前噪声帧的降噪结果，利用一次网络推理即同时实现降噪与多帧融合。
在一种可能的实现方式中，视频片段由光线追踪管线对三维模型进行渲染生成，光线追踪管线对三维模型进行渲染时还生成三维模型的辅助信息，所述通道串联包括下列其中一者：对所述对齐图像帧与所述第二图像帧执行通道串联；对所述对齐图像帧、所述第二图像帧及所述三维模型的辅助信息执行通道串联；其中，辅助信息包括下列中的至少一者：法向量信息、世界坐标信息、色彩信息、纹理信息。
通过采用该技术方案，可以实现对于渲染时还包含有三维模型的辅助信息的视频片段，利用一次网络推理同样可以实现降噪与多帧融合。
在一种可能的实现方式中，光线追踪多帧降噪方法还包括：从多个样本视频片段中选取一样本视频片段的第一类型的样本图像帧，其中样本视频片段中的每一图像帧均对应有第一类型的样本图像帧及第二类型的样本图像帧，第一类型的样本图像帧的SPP小于第二类型的样本图像帧的SPP；将样本视频片段的第一样本降噪图像帧对齐至样本视频片段的第一类型的第二样本图像帧；确定经过对齐处理的第一样本降噪图像帧的边缘缺失区域；将第一类型的第二样本图像帧中与边缘缺失区域对应的图像信息填充至边缘缺失区域，以得到样本对齐图像帧；将样本对齐图像帧与第一类型的第二样本图像帧进行通道串联，并输入至预设深度学习网络，以对预设深度学习网络进行降噪处理训练，其中第一样本降噪图像帧为利用预设深度学习网络对第一类型的第一样本图像帧进行降噪处理得到的图像帧，第一类型的第一样本图像帧为第一类型的第二样本图像帧的上M帧图像，M为正整数；计算预设深度学习网络输出的第二样本降噪图像帧与第二类型的第二样本图像帧之间的损失函数；利用损失函数进行梯度反传更新预设深度学习网络的模型参数，直至完成对预设深度学习网络的训练得到降噪网络。
通过采用该技术方案，采用迭代多帧作为深度学习网络的训练输入，将前一帧降噪结果对齐到当前噪声帧，然后使用通道串联的方式将其合并起来共同送入深度学习网络进行降噪处理训练，得到当前噪声帧的降噪结果，再基于该降噪结果及其对应的高SPP的标签图像共同计算损失函数，并通过梯度反传更新网络的模型参数，以实现训练得到降噪网络。
在一种可能的实现方式中，样本视频片段中的每一图像帧均对应有多个第一类型的样本图像帧及一个第二类型的样本图像帧，多个第一类型的样本图像帧的SPP互不相同，光线追踪多帧降噪方法还包括：从多个第一类型的样本图像帧中随机选取一样本图像帧，并与第二类型的样本图像帧组合成样本数据集；其中，样本数据集中的第一类型的样本图像帧作为预设深度学习网络的训练输入数据，样本数据集中的第二类型的样本图像帧作为预设深度学习网络的标签数据。
通过采用该技术方案，随机从多个第一类型的样本图像帧中随机选取一样本图像帧，并与第二类型的样本图像帧组合成样本数据集，可以使得训练出的模型将会对一个比较宽泛的采样数范围具备降噪能力。
在一种可能的实现方式中，多个样本视频片段由对三维样本模型进行渲染产生，对三维样本模型进行渲染时还生成三维样本模型的辅助信息，将样本对齐图像帧与第一类型的第二样本图像帧进行通道串联，包括：将样本对齐图像帧、三维样本模型的辅助信息及第一类型的第二样本图像帧进行通道串联。
通过采用该技术方案，可以实现对于渲染时还包含有三维模型的辅助信息的样本视频片段进行训练，使得训练得到的降噪网络可以对包含有辅助信息的待处理图像进行降噪与多帧融合。
在一种可能的实现方式中，光线追踪多帧降噪方法还包括：对样本视频片段中每一图像帧进行预处理；其中，预处理包括将图像帧中的异常像素值替换为预设像素值，和/或去除图像帧中的贴图。
通过采用该技术方案，通过对渲染得到的图像帧进行预处理，避免图像帧中包含的异常像素值导致降噪网络训练失败。
在一种可能的实现方式中，对样本视频片段中每一图像帧进行预处理，包括：对图像帧中的像素值为无穷大的像素进行置零替换；或对图像帧中的像素值为无穷大的像素进行最近邻插值替换。
在一种可能的实现方式中，将样本视频片段的第一样本降噪图像帧对齐至样本视频片段的第一类型的第二样本图像帧，包括：利用坐标变换确定样本视频片段的第一样本降噪图像帧中每一像素在样本视频片段的第一类型的第二样本图像帧的位置信息；利用预设图像插值算法对样本视频片段的第一样本降噪图像帧中发生位置变化的像素进行插值处理。
通过采用该技术方案，实现将上一降噪图像帧对齐至当前噪声图像帧。
在一种可能的实现方式中，从多个样本视频片段中选取一样本视频片段的第一类型的样本图像帧，包括：缓存每一样本视频片段的前一样本降噪图像帧；随机从多个样本视频片段中选取一样本视频片段的当前的第一类型的样本图像帧。
通过采用该技术方案，采用降噪缓存机制及帧级随机切换来选取当前待处理图像帧，使得网络在训练阶段每次接受的输入都不必来自于同一个样本视频片段，从而可解决网络记忆性所带来的负面影响。
在一种可能的实现方式中，将第一类型的第二样本图像帧中与边缘缺失区域对应的图像信息填充至边缘缺失区域，以得到样本对齐图像帧，包括：将第一类型的第二样本图像帧中与边缘缺失区域对应的图像信息填充至边缘缺失区域；从经过对齐处理的第一样本降噪图像帧中随机选取图像区域，并将第一类型的第二样本图像帧中与随机选取的图像区域对应的图像信息填充至随机选取的图像区域，以得到样本对齐图像帧。
通过采用该技术方案，将前一降噪图像帧因对齐而未采样到信息的区域和其它一些随机区域填充为当前噪声帧的内容，可解决因图像对齐而导致的边缘区域或其他区域的残留噪声不一致的问题。
在一种可能的实现方式中，将第一类型的第二样本图像帧中与所述边缘缺失区域对应的图像信息填充至边缘缺失区域，以得到样本对齐图像帧，包括：将预设图像信息填充至边缘缺失区域；从经过对齐处理的第一样本降噪图像帧中随机选取图像区域，并将所述预设图像信息填充至所述随机选取的图像区域，以得到所述样本对齐图像帧。
通过采用该技术方案，将前一降噪图像帧因对齐而未采样到信息的区域和其它一些随机区域填充为默认图像内容，可解决因图像对齐而导致的边缘区域或其他区域的残留噪声不一致的问题。
在一种可能的实现方式中，将样本对齐图像帧与第一类型的第二样本图像帧进行通道串联，并输入至预设深度学习网络，以对预设深度学习网络进行降噪处理训练，包括：将样本对齐图像帧与第一类型的第二样本图像帧进行通道串联，得到串联后的图像帧；从串联后的图像帧中随机切割预设尺寸的图像区域并输入至预设深度学习网络，以对预设深度学习网络进行降噪处理训练。
通过采用该技术方案，以固定尺寸随机切割下来的图像块输入值深度学习网络进行训练，可以避免不同尺寸的图像帧给训练带来的复杂度提升。
在一种可能的实现方式中，光线追踪多帧降噪方法还包括：定义场景镜头的镜头参数，镜头参数包括镜头移动轨迹及镜头朝向；利用光线追踪管线基于镜头参数对三维样本模型进行渲染，得到多个样本视频片段；其中，所述三维样本模型包括静态三维模型或动态三维模型。
通过采用该技术方案，可以实现通过镜头漫游的方式渲染出多个样本视频片段。
在一种可能的实现方式中，利用光线追踪管线基于镜头参数对三维样本模型进行渲染，得到多个样本视频片段，包括：利用光线追踪管线基于镜头参数对三维样本模型进行渲染，得到多个样本视频；对述样本视频进行随机帧采样和/或进行随机帧倒放，以组合得到样本视频片段。
通过采用该技术方案，可以实现对渲染得到的多个样本视频进行数据增强处理，得到多个样本视频片段。
在一种可能的实现方式中，光线追踪多帧降噪方法还包括：利用测试集对降噪网络进行测试；当通过测试集确定降噪网络符合预设降噪要求时，基于降噪网络对视频片段进行降噪处理；其中，测试集中每一测试数据均包括第一类型的样本图像帧及第二类型的样本图像帧。
通过采用该技术方案，利用高SPP图像帧作为图像质量评估标准，对降噪网络得到的降噪结果进行测试评判，以确定降噪网络是否符合预设降噪要求。
第二方面，本申请实施例提供一种光线追踪多帧降噪方法，包括：从多个样本视频片段中选取一样本视频片段的第一类型的样本图像帧，其中样本视频片段中的每一图像帧均对应有第一类型的样本图像帧及第二类型的样本图像帧，第一类型的样本图像帧的SPP小于第二类型的样本图像帧的SPP；将样本视频片段的第一样本降噪图像帧对齐至样本视频片段的第一类型的第二样本图像帧；确定经过对齐处理的第一样本降噪图像帧的边缘缺失区域；将第一类型的第二样本图像帧中与边缘缺失区域对应的图像信息填充至边缘缺失区域，以得到样本对齐图像帧；将样本对齐图像帧与第一类型的第二样本图像帧进行通道串联，并输入至预设深度学习网络，以对预设深度学习网络进行降噪处理训练，其中第一样本降噪图像帧为利用预设深度学习网络对第一类型的第一样本图像帧进行降噪处理得到的图像帧，第一类型的第一样本图像帧为第一类型的第二样本图像帧的上M帧图像，M为正整数；计算预设深度学习网络输出的第二样本降噪图像帧与第二类型的第二样本图像帧之间的损失函数；利用损失函数进行梯度反传更新预设深度学习网络的模型参数，直至完成对预设深度学习网络的训练得到降噪网络；利用测试集对降噪网络进行测试；当通过测试集确定降噪网络符合预设降噪要求时，基于降噪网络对待处理图像帧进行降噪处理。
通过采用该技术方案，采用迭代多帧作为深度学习网络的训练输入，将前一帧降噪结果对齐到当前噪声帧，然后使用通道串联的方式将其合并起来共同送入深度学习网络进行降噪处理训练，得到当前噪声帧的降噪结果，再基于该降噪结果及其对应的高SPP的标签图像共同计算损失函数，并通过梯度反传更新网络的模型参数，以实现训练得到降噪网络，并基于训练得到降噪网络对待处理图像帧进行降噪处理。
第三方面，本申请实施例提供一种计算机可读存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行如第一方面或第二方面所述的光线追踪多帧降噪方法。
第四方面，本申请实施例提供一种电子设备，电子设备包括处理器和存储器，存储器用于存储指令，处理器用于调用存储器中的指令，使得电子设备执行如第一方面或第二方面所述的光线追踪多帧降噪方法。
第五方面，本申请实施例提供一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行如第一方面或第二方面所述的光线追踪多帧降噪方法。
第六方面，本申请实施例提供一种芯片，与电子设备中的存储器耦合，芯片用于控制电子设备执行如第一方面或第二方面所述的光线追踪多帧降噪方法。
第七方面，本申请实施例提供一种装置，该装置具有实现上述第一方面或第二方面所提供的方法中的电子设备行为的功能。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块。
可以理解地，上述提供的第三方面所述的计算机可读存储介质，第四方面所述的电子设备，第五方面所述的计算机程序产品，第六方面所述的芯片、第七方面所述的装置均与上述第一方面或第二方面的方法对应，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。
附图说明
图1为本申请一实施例提供的光线追踪多帧降噪方法的应用环境示意图；
图2为本申请一实施例提供的光线追踪多帧降噪方法的流程示意图；
图3为本申请一实施例提供的光线追踪多帧降噪方法的原理示意图；
图4为本申请一实施例提供的降噪网络的训练方法的流程示意图；
图5为本申请一实施例提供的降噪网络的训练数据生成的原理示意图；
图6为本申请一实施例提供的降噪网络的训练原理示意图；
图7为本申请一实施例提供的预设深度学习网络的训练原理示意图；
图8为本申请一实施例提供的一种可能的电子设备的结构示意图。
具体实施方式
需要说明的是，本申请中“至少一个”是指一个或者多个，“多个”是指两个或多于两个。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。本申请的说明书和权利要求书及附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不是用于描述特定的顺序或先后次序。
为了便于理解，示例性的给出了部分与本申请实施例相关概念的说明以供参考：
光栅化：指把顶点数据转换为片元的过程，可将原始图像数据转化为由栅格组成的图像，特点是片元中的每个元素对应于帧缓冲区中的一个像素。光栅化是一种将几何图元变为二维图像的过程。
路径追踪：由Kajiya在1986年提出的渲染方法，是第一个无偏(Unbiased)的渲染方法。路径追踪方法的基本思想是从视点发出一条光线，光线与物体表面相交时根据表面的材质属性继续采样一个方向，发出另一条光线，如此迭代，直到光线打到光源上(或逃逸出场景)，然后采用蒙特卡洛方法，计算光线的贡献，作为像素的颜色值。而使用蒙特卡洛方法对积分的求解是无偏的，只要时间足够长，最终图像能收敛到一个正确的结果。
光线追踪：一种在二维(Two-dimension，2D)屏幕上呈现三维(Three-dimension，3D)图像的方法，从视点开始发射一条光线，通过视平面上的每一个像素点，并不断进行光线与物体交叉判定，同时考虑反射、折射等光学现象来渲染三维场景。
蒙特卡洛采样：一种随机采样过程，利用大量重复随机采样的叠加以使得结果收敛于真实解。
通道串联：图像数据一般由三个维度组成，分别是高、宽、通道，通过将多个图像数据在通道维度上串联在一起，组成一个高和宽不变，通道数为原始多个图像通道数之和的新数据体。
迭代多帧：使用前面帧已经处理好的结果与当前未处理的帧一并作为后续处理模型的输入，经处理后得到当前帧处理后的结果。
神经网络推理：输入数据至神经网络，通过网络前向操作得到输出的过程。
泛化性：用来描述算法的适用范围，适用范围越广，表明泛化性越好；反之，表明泛化性差。
鬼影：指前面帧的部分渲染结果在后续帧中仍有部分残留，从而导致物体在画面中出现虚影的情况。
在一些动画、游戏、电影场景中，可以通过图像渲染提升3D场景的真实性。图像渲染降噪一般是采用迭代多帧方案进行降噪处理，现有方案一般是将前一帧的降噪结果通过坐标空间变换对齐到当前噪声帧，然后将对齐后的前一帧和当前噪声帧分别输入神经网络模型进行降噪处理，之后将模型输出的二者降噪结果进行相加融合，得到当前帧的降噪结果。但该种方案需要进行两次神经网络推理，显著增加了计算量，且采用简单相加的方式进行多帧融合，难以达到较好的融合效果。因此，有必要提供一种光线追踪多帧降噪方法，将前一帧的降噪结果对齐到当前噪声帧，然后使用通道串联的方式将其合并起来共同送入深度学习网络，利用一次网络推理同时实现降噪与多帧融合。
参照图1所示，为本申请实施例提供的一种光线追踪多帧降噪方法的应用环境示意图。该实施例可以包括：电子设备100和服务器200。电子设备100可以是能够实现图像渲染功能的终端。
在一些实施例中，本申请实施例提供的光线追踪多帧降噪方法可以应用于电子设备100，电子设备100可以基于光线追踪与渲染引擎，对三维模型进行渲染，并将渲染结果进行显示。电子设备100的数量可以为一个或多个，每个电子设备100可以独立执行模型渲染操作。电子设备100与服务器200之间可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。比如，服务器200为游戏服务器，电子设备100通过无线通信方式登录服务器200。
在一些实施例中，服务器200可以包括一台服务器、多台服务器、云计算平台或者虚拟化中心中的至少一种。服务器200可以承担主要计算工作，电子设备100可以承担次要计算工作；或者，服务器200承担次要计算工作，电子设备100承担主要计算工作；或者，电子设备100和服务器200两者之间采用分布式计算架构进行协同计算。电子设备100的设备类型包括但不限于：智能手机、平板电脑、电子书阅读器、MP3(Moving Picture ExpertsGroup AudioLayer III，动态影像专家压缩标准音频层面3)播放器、MP4(Moving PictureExpertsGroup Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、智能手表、膝上型便携计算机或者台式计算机中的至少一种。
在一些实施例中，服务器200可以是独立的物理服务器，或者是多个物理服务器构成的服务器集群或者分布式系统，或者是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork，CDN)以及大数据和人工智能平台等基础云计算服务的云服务器。
参照图2所示，本申请实施例提供的一种光线追踪多帧降噪方法的流程示意图。光线追踪多帧降噪方法可以应用于电子设备100。本实施例中，光线追踪多帧降噪方法可以包括：
21、响应于视频片段的降噪需求，将第一降噪图像帧对齐至视频片段的第二图像帧。
在一些实施例中，视频片段可以通过光线追踪管线对三维模型进行渲染生成，该三维模型可以是指本次待渲染的三维模型，该三维模型可以对应于至少一个物体，该物体可以是静态物体或者动态物体。比如该三维模型为虚拟场景(如游戏场景)中单个物体的三维模型，或者为虚拟场景中多个物体的三维模型。光线追踪管线可以以镜头漫游方式对三维模型进行渲染并生成图像帧。当光线追踪管线对三维模型进行连续性渲染时，可以生成视频片段。
以游戏场景为例，游戏场景内包括一个或多个虚拟物体。可以预先定义视角镜头的镜头参数，光线追踪管线可以基于该镜头参数对三维模型进行连续渲染，得到视频片段。该视频片段包括多帧游戏画面。镜头参数可以包括镜头移动轨迹和镜头朝向。为了避免游戏画面卡顿，游戏画面的实时性要求比较高，依靠高SPP(比如大于3000SPP)图像帧来获得高质量的画面显示结果需要较大的算力，且需要耗费较长的时间，无法满足游戏场景对显示的实时性要求。因而光线追踪管线对三维模型进行渲染生成的视频片段包含的是低SPP(比如小于50SPP)图像帧，图像质量较差，通过对视频片段进行降噪处理，可以得到高质量的画面显示结果，使得游戏场景显示真实，甚至肉眼难辨的程度。
在一些实施例中，第一降噪图像帧可以是对视频片段的第一图像帧进行降噪处理得到的降噪结果。第一图像帧为第二图像帧的上N帧图像，N为正整数。比如，第一图像帧可以为第二图像帧的上一帧图像，或者第一图像帧可以为第二图像帧的上二帧图像。以下以第一图像帧为第二图像帧的上一帧图像为例进行举例说明。
在视频帧序列中，相邻两图像帧之间通常具有较小的视角变化，因此前一帧中的绝大部分像素可以进行重复利用。然而由于视角变化，相同的物理元素在两图像帧中一般处于不同的像素位置，无法直接利用，需将它们的像素位置进行对齐才可以重复利用，可以通过坐标变换的方式来实现将第一降噪图像帧对齐至第二图像帧。
比如，将第一降噪图像帧对齐至第二图像帧的过程可以包括：先通过坐标变换找到第一降噪图像帧中的每个像素在第二图像帧中对应的位置，再通过图像插值方法对第一降噪图像帧中发生位置变化的像素进行插值处理。坐标变换可以通过运动向量或者矩阵变换的方式来实现。
在一些实施例中，对于视频片段的首帧图像，第一降噪图像帧可以以该首帧图像代替。
22、确定经过对齐处理的第一降噪图像帧的边缘缺失区域。
在一些实施例中，当第一降噪图像帧通过坐标变换对齐至第二图像帧时，对齐后的第一降噪图像帧相对于对齐前的第一降噪图像帧发生旋转，导致部分边缘区域超出图像显示范围，部分边缘区域没有图像信息，该些没有图像信息的边缘区域定义为边缘缺失区域。可以根据第一降噪图像帧的尺寸及旋转信息定位边缘缺失区域，便于后续对该边缘缺失区域进行图像填充。
23、将第二图像帧中与边缘缺失区域对应的图像信息填充至该边缘缺失区域，以得到对齐图像帧。
在一些实施例中，当确定经过对齐处理的第一降噪图像帧的边缘缺失区域时，可以利用第二图像帧中与该边缘缺失区域对应的图像信息填充至该边缘缺失区域，得到对齐图像帧。比如，第二图像帧中的图像区域A1与该边缘缺失区域相对应，进而将图像区域A1的图像信息填充至该边缘缺失区域。经过对齐处理且完成边缘缺失区域填充的第一降噪图像帧即定义为对齐图像帧。
24、将对齐图像帧与第二图像帧进行通道串联，并输入至降噪网络，以对第二图像帧进行降噪处理得到第二降噪图像帧。
在一些实施例中，图像数据一般由高、宽、通道三个维度组成。将对齐图像帧与第二图像帧进行通道串联可以是指将齐图像帧与第二图像帧在通道维度上串联在一起，组成一个高和宽不变，通道数为两个图像帧通道数之和的图像数据体，实现将对齐图像帧与第二图像帧合并起来共同作为降噪网络的输入，经过网络推理得到第二图像帧的降噪结果，即第二降噪图像帧。以此类推，针对视频片段的所有图像帧可以迭代执行上述降噪处理过程，得到所有图像帧的降噪结果。
在一些实施例中，降噪网络可以基于卷积神经网络训练得到，训练数据可以是多个样本视频片段，具体训练与测试方式下文再详述。
在一些实施例中，光线追踪管线对三维模型进行渲染时，还可以得到三维模型的辅助信息，辅助信息可以包括下列中的至少一者：法向量信息、世界坐标信息、色彩信息、纹理信息。此种情形，还可以将对齐图像帧、第二图像帧及三维模型的辅助信息进行通道串联，以合并起来共同作为降噪网络的输入，得到第二降噪图像帧。
上述光线追踪多帧降噪方法，采用迭代多帧作为降噪网络的输入，将前一帧降噪结果对齐到当前噪声帧，然后使用通道串联的方式将其合并起来共同送入降噪网络进行降噪处理，得到当前噪声帧的降噪结果，利用一次网络推理即同时实现降噪与多帧融合。
参照图3所示，为本申请一实施例提供的光线追踪多帧降噪方法的原理示意图。光线追踪管线对三维模型进行连续渲染生成视频片段，以下以视频片段中的第M-1图像帧、第M图像帧及第M+1图像帧为例进行说明，M为大于1的正整数。第M-1图像帧的降噪结果为第M-1降噪图像帧，第M图像帧的降噪结果为第M降噪图像帧。
31、图像对齐与边缘填充：将第M-1降噪图像帧对齐至第M图像帧，并将对齐后的第M-1降噪图像帧中因对齐处理而未采样到图像信息的边缘区域填充为第M图像帧中相应的内容，得到对齐图像帧。
32、通道串联：将对齐图像帧与第M图像帧进行通道串联。
33、降噪处理：将通道串联得到的结果输入至降噪网络，得到第M降噪图像帧。
可以理解，当得到第M降噪图像帧时，可以继续将M降噪图像帧对齐至第M+1图像帧，并将对齐后的第M降噪图像帧中因对齐处理而未采样到图像信息的边缘区域填充为第M+1图像帧中相应的内容，并重复通道串联与降噪处理，得到第M+1降噪图像帧。
在一些实施例中，经过降噪网络得到的第M-1降噪图像帧、第M降噪图像帧、第M+1降噪图像帧可用于网络训练或者发送至相关硬件设备(如显示屏)进行显示。若是用于网络训练，可以使用降噪图像帧与高SPP图像帧共同计算损失函数，并通过梯度反传更新网络的模型参数，达到网络训练目的。
参照图4所示，本申请一实施例提供的降噪网络的训练方法的步骤流程示意图。
41、从多个样本视频片段中选取一样本视频片段的第一类型的样本图像帧。
在一些实施例中，光线追踪管线可以对预设场景(比如游戏场景)内的一个或多个三维样本模型进行连续渲染，得到多个样本视频片段。样本视频片段中的每一图像帧均对应有第一类型的样本图像帧及第二类型的样本图像帧。第一类型的样本图像帧的SPP小于第二类型的样本图像帧的SPP。
在一些实施例中，还可以对每一样本视频片段进行随机帧采样和/或进行随机帧倒放，以组合得到多个新的样本视频片段，以实现对样本视频片段进行数据增强处理。比如，随机选择一样本视频片段中参与训练的多个图像帧，得到一个视频片段序列，并对该视频片段序列进行倒序排列，以得到新的样本视频片段。
在一些实施例中，在降噪网络的训练阶段，可以预先生成多个低SPP图像帧(定义为第一类型的样本图像帧)作为网络训练输入，预先生成一高SPP图像帧(定义为第二类型的样本图像帧))作为训练标签，该多个低SPP图像帧与该高SPP图像帧具有相同的图像内容。
例如，对于样本视频片段的每一图像帧，可以重复生成多份低SPP图像帧及一高SPP图像帧，由于蒙特卡洛采样具有一定的随机性，即使渲染时的视角不变，渲染得到的多份低SPP图像帧所包含的噪音也各不相同，可以起到数据增强的作用。低SPP图像帧的采样数目也可以各不相同，这样训练出的降噪网络将会对一个比较宽泛的采样范围具备降噪能力，例如低SPP图像帧的采样数目可以是1SPP、2SPP、4SPP、8SPP等。高SPP图像帧由于用作训练标签，用来指引网络的学习，应当确保其足够清晰，例如高SPP图像帧为4096SPP图像帧。
例如，样本视频片段中的每一图像帧可对应有1SPP图像帧、2SPP图像帧、4SPP图像帧、8SPP图像帧、16SPP图像帧、32SPP图像帧等六种低SPP图像帧，样本视频片段中的每一图像帧还对应有一4096SPP图像帧。
在一些实施例中，在降噪网络的训练阶段，可以从多个低SPP图像帧中随机选取一个图像帧并与高SPP图像帧进行组合，作为一组样本数据集对预设深度学习网络进行训练，比如该预设深度学习网络为包含编码-解码框架的卷积神经网络。在其它一些实施例中，也可以将每一低SPP图像帧分别与高SPP图像帧进行组合，得到多组样本数据集，并利用该多组样本数据集对预设深度学习网络进行训练。比如，1SPP图像帧与4096SPP图像帧组合，得到第一组样本数据集，2SPP图像帧与4096SPP图像帧组合，得到第二组样本数据集。
在一些实施例中，对预设深度学习网络进行多帧迭代训练得到降噪网络，一般是以多个样本视频片段作为训练数据。现有的训练方案是在一个样本视频片段上训练完成后，随机切换至另外一个样本视频片段继续进行训练，该种训练方式可能会导致网络在某一时间段内只能看到某个样本视频片段的内容，由于一个样本视频片段的内容往往具有很强的重复性和相似性，因此会放大网络学习的记忆性带来的负面影响。网络学习的记忆性可以是指网络对重复训练的数据拟合能力非常强，效果得到提升，但是其代价是网络针对其他数据的效果发生明显下降。网络学习的记忆性问题会使得网络难以收敛至足够好的程度，影响到网络的最终降噪效果和泛化性。
例如，当预设深度学网络接近训练结束时接受视频片段的顺序是：样本视频片段C2、样本视频片段C1、样本视频片段C3，那么训练得到的降噪网络将在样本视频片段C3上的降噪效果较好，在样本视频片段C1上的降噪效果一般，在样本视频片段C2上的降噪效果较差，以此类推，距离训练结束时间越远的视频片段的效果会越差。在降噪网络的运用阶段，若接受推理的数据渲染来自降噪网络未见到过的三维模型，其降噪效果会更差。而本方案通过采用帧级随机切换来选取样本数据集，可以避免网络学习的记忆性带来的负面影响。
具体地，对于多个参与训练的样本视频片段(以三个样本视频片段C1、C2、C3为例进行说明，样本视频片段的数量可以多于三个或少于三个)，可以将每一样本视频片段C1-C3的前一降噪图像帧都缓存下来，然后随机获取其中一个样本视频片段的当前待处理的图像帧，并将其与对应的前序降噪图像帧传至接下来的数据预处理、数据增强及训练等流程。本申请所提供的实施例由于设计了前序降噪图像帧的缓存机制，使得网络在训练阶段每次接受的样本输入可以不必来自于同一个样本视频片段，从而可以解决网络学习的记忆性所带来的负面影响。
例如，样本视频片段C1所包含的样本图像帧为：C1-1、C1-2、C1-3、C1-4、C1-5，样本视频片段C2所包含的样本图像帧为：C2-1、C2-2、C2-3、C2-4、C2-5，样本视频片段C3所包含的样本图像帧为：C3-1、C3-2、C3-3、C3-4、C3-5。现有的训练方案选取样本图像帧进行训练的方式为：在一个样本视频片段上训练完成后，随机切换至另外一个样本视频片段继续进行训练，即选取样本图像帧的顺序可能是：C1-1、C1-2、C1-3、C1-4、C1-5、C3-1、C3-2、C3-3、C3-4、C3-5、C2-1、C2-2、C2-3、C2-4、C2-5。而采用本方案的帧级随机切换技术来选取样本图像帧的顺序可能是：C1-1、C1-2、C3-1、C3-2、C2-1、C1-3、C2-2、C2-3、C3-3、C1-4、C2-4、C3-4、C1-5、C3-5、C2-5。
在一些实施例中，光线追踪管线对三维样本模型进行渲染生成图像帧时，图像帧中的部分像素可能获取不到有效的数值，比如对于三维样本模型的法向量、世界坐标等辅助信息，此时这些像素的数值只保留了初始化的默认值。而该默认值可能会设为无穷大(inf)，此时需要对该些图像帧进行预处理。因为inf与任何非零数字进行乘或加的操作，其结果都是inf，而深度学习网络的主要计算操作是乘和加，一旦有inf进入到网络中，那么经过一次梯度反传后，网络参数可能会被污染为inf，导致网络训练失败。对像素的数值为inf可采用置零或者进行邻域插值等处理方式。具体地，当随机获取其中一个样本视频片段的当前待处理的图像帧，可以对该图像帧进行预处理，以避免出现有像素的数值为inf，再将经过预处理的图像帧及与该图像帧对应的前序降噪图像帧送入后续训练流程。
在一些实施例中，光线追踪管线对三维样本模型进行渲染生成图像帧中的部分区域可能是贴图(背景图)，贴图不包含蒙特卡洛采样噪声，可以无需进行降噪处理，因而可以在训练前将贴图从图像帧中裁剪掉，不让其参与后续的训练流程。
在一些实施例中，如图5所示，为降噪网络的训练数据生成的原理示意图。可以对游戏场景内的三维样本模型进行渲染得到多个样本视频片段，三维样本模型可以是静态模型或者动态模型。在渲染前，可以针对三维样本模型进行镜头参数设计。镜头参数设计可以包括镜头轨迹移动和镜头朝向。基于设计好的镜头参数可以渲染出1SPP、2SPP、4SPP、8SPP、16SPP、32SPP(低SPP)的图像帧各两张以作为噪声数据，及一张4096SPP(高SPP)的图像帧作为训练标签。如果网络需要使用辅助信息作为训练输入，比如三维样本模型的模型法向量、色彩信息、纹理信息等，那么在渲染噪声数据时应当同时生成这些辅助信息。当渲染得到该些类型的SPP图像数据后，可以对其进行异常值处理，检查其中是否存在inf等异常值，若有，可以对异常值进行置零处理。可以在网络训练之前完成对异常值的检查，避免影响后续网络训练速度。
42、将样本视频片段的第一样本降噪图像帧对齐至样本视频片段的第一类型的第二样本图像帧。
在一些实施例中，第一样本降噪图像帧为利用预设深度学习网络对第一类型的第一样本图像帧进行降噪处理得到的图像帧，第一类型的第一样本图像帧为第一类型的第二样本图像帧的上M帧图像，M为正整数。比如，第一类型的第一样本图像帧为第一类型的第二样本图像帧的上一帧图像，或者为第一类型的第二样本图像帧的上二帧图像。
在样本视频帧序列中，相邻两样本图像帧之间通常具有较小的视角变化，因此前一样本帧中的绝大部分像素可以进行重复利用。然而由于视角变化，相同的物理元素在两样本图像帧中一般处于不同的像素位置，无法直接利用，需将它们的像素位置进行对齐才可以重复利用。具体地，可以通过坐标变换的方式来实现将第一样本降噪图像帧对齐至第一类型的第二样本图像帧。
43、确定经过对齐处理的第一样本降噪图像帧的边缘缺失区域。
在一些实施例中，当第一样本降噪图像帧通过坐标变换对齐至第一类型的第二样本图像帧时，对齐后的第一样本降噪图像帧相对于对齐前的第一样本降噪图像帧发生旋转，导致部分边缘区域超出图像显示范围，部分边缘区域没有图像信息。可以根据第一样本降噪图像帧的尺寸及旋转信息定位其边缘缺失区域，便于后续对该边缘缺失区域进行图像填充。
44、将第一类型的第二样本图像帧中与边缘缺失区域对应的图像信息填充至边缘缺失区域，以得到样本对齐图像帧。
在一些实施例中，可以利用第一类型的第二样本图像帧中与该边缘缺失区域对应的图像信息填充至该边缘缺失区域，得到样本对齐图像帧。比如，第一类型的第二样本图像帧中的图像区域B1与该边缘缺失区域相对应，进而将图像区域B1的图像信息填充至该边缘缺失区域。经过对齐处理且完成边缘缺失区域填充的第一样本降噪图像帧即定义为样本对齐图像帧。
45、将样本对齐图像帧与第一类型的第二样本图像帧进行通道串联，并输入至预设深度学习网络，以对预设深度学习网络进行降噪处理训练。
在一些实施例中，可以将样本对齐图像帧与第一类型的第二样本图像帧进行通道串联，组成一个高和宽不变，通道数为两个图像帧通道数之和的样本图像数据体，并将样本图像数据体与第二类型的第二样本图像帧共同作为预设深度学习网络的训练数据，第二类型的第二样本图像帧作为训练标签。
在一些实施例中，对于完成边缘缺失区域填充的第一样本降噪图像帧，还可以从第一样本降噪图像帧中随机选取一个或多个图像区域，并将该些随机选取的图像区域也填充为第一类型的第二样本图像帧的内容，得到样本对齐图像帧。即经过对齐处理且完成边缘缺失区域填充与随机区域填充的第一样本降噪图像帧即定义为样本对齐图像帧。
在一些实施例中，可以同步对第一类型的第二样本图像帧、样本对齐图像帧和第二类型的第二样本图像帧做通道打乱和色彩随机调整等操作，实现数据增强。同步对第一类型的第二样本图像帧、样本对齐图像帧和第二类型的第二样本图像帧做通道打乱(比如随机调整图像的通道顺序)和色彩随机调整(比如随机对图像的各个通道进行灰度变换，如线性变换、分段线性变换、伽马变换等)可以是指三者在执行通道打乱和色彩随机调整操作时需同时进行且使用相同的参数。
在一些实施例中，对于通过通道串联得到的样本图像数据体及第二类型的第二样本图像帧，还可以同步进行诸如随机切块(比如以固定尺寸随机切割下来的图像块)、随机旋转(比如随机旋转图像一定的角度)、随机翻转(比如随机给图像做左右翻转或者上限翻转)等方式的数据增强处理。为了适配预设深度学习网络中的上下采样模块，随机切块得到的图像帧尺寸可选是2的指数次幂，其中指数应当大于网络的上下采样次数。比如网络上下采样的次数是3次，随机切块得到的图像帧的宽高为可以设置为64*64，或128*128等。
在一些实施方式中，光线追踪管线对三维样本模型进行渲染时，还可以得到三维样本模型的辅助信息，辅助信息可以包括下列中的至少一者：法向量信息、世界坐标信息、色彩信息、纹理信息。此种情形下，还可以将样本对齐图像帧、第一类型的第二样本图像帧及三维样本模型的辅助信息进行通道串联。
46、计算预设深度学习网络输出的第二样本降噪图像帧与第二类型的第二样本图像帧之间的损失函数。
在一些实施例中，当将样本图像数据体与第二类型的第二样本图像帧共同作为预设深度学习网络的训练数据时，可以实现对预设深度学习网络进行降噪处理训练。经过网络前向过程可以得到第一类型的第二样本图像帧的降噪结果，即第二样本降噪图像帧，再使用第二样本降噪图像帧与第二类型的第二样本图像帧计算损失函数。计算损失函数的方式可以采用现有计算方法，在此不作限定。
在一些实施例中，预设深度学习网络的输出的尺寸可选与第二类型的第二样本图像帧具有相同的尺寸。
47、利用损失函数进行梯度反传更新预设深度学习网络的模型参数，直至完成对预设深度学习网络的训练得到降噪网络。
在一些实施例中，当使用第二样本降噪图像帧与第二类型的第二样本图像帧计算得到损失函数时，可以利用损失函数进行梯度反传实现对预设深度学习网络的网络参数进行更新，直至损失函数基本不再下降为止，完成对预设深度学习网络的训练，得到降噪网络。
在一些实施例中，当完成对预设深度学习网络的训练得到降噪网络时，可以利用测试集对降噪网络进行测试。测试集中的测试数据可以预先构建，测试集中的每一测试数据可以包括一低SPP图像帧及一高SPP图像帧，利用高SPP图像帧作为图像质量评估的标准。比如，测试集中的一测试数据包括2SPP图像帧P1及4096SPP图像帧P2，将2SPP图像帧P1输入至降噪网络，得到与该2SPP图像帧对应的降噪图像帧P11。以图像帧P2为评估标准，对降噪图像帧P11进行图像质量评估，确定降噪网络的降噪效果。
在一些实施例中，可以基于测试集中的每一测试数据的图像质量评估结果来确定降噪网络的降噪效果是否符合预设要求，当评定降噪网络的降噪效果符合预设要求时，该降噪网络可以运用到图2所示的光线追踪多帧降噪方法中。比如，当测试集中的95％以上的测试数据的图像质量评估结果均为通过时，确定降噪网络的降噪效果符合预设要求。
在一些实施例中，当确定降噪网络的降噪效果不符合预设要求，可以对调整网络参数，并重新进行训练与测试，直至确定降噪网络的降噪效果符合预设要求。
参照图6所示，为本申请一实施例提供的降噪网络的训练原理示意图。
光线追踪管线对三维样本模型进行连续渲染生成样本视频片段，以下以样本视频片段中的第P-1样本图像帧、第P样本图像帧及第P+1样本图像帧为例进行说明，P为大于1的正整数。第P-1样本图像帧的降噪结果为第P-1样本降噪图像帧，第P样本图像帧的降噪结果为第P样本降噪图像帧。第P-1样本图像帧、第P样本图像帧及第P+1样本图像帧均为低SPP图像帧，第P标签图像帧为高SPP图像帧，第P样本图像帧与第P标签图像帧包含相同的图像内容，仅SPP值不同。
61、对样本视频片段进行第一次数据增强：对渲染得到的样本视频片段进行第一次数据增强处理，该第一次数据增强可用来选择训练数据，比如选定第P样本图像帧为当前训练数据。该第一次数据增强可以包括对样本视频片段进行随机重采样、随机倒放、帧级随机切换等操作。
62、图像对齐与边缘填充：将第P-1样本降噪图像帧对齐至第P样本图像帧，并进行边缘填充。该边缘填充可以是将对齐后的第P-1样本降噪图像帧中因对齐处理而未采样到图像信息的边缘区域填充为第P样本图像帧的内容，完成边缘区域填充第P-1样本降噪图像帧可以定义为样本对齐图像帧。
63、第二次数据增强处理：可以包括：i.从完成边缘区域填充第P-1样本降噪图像帧中随机选择一个或多个图像区域，并该图像区域填充为第P样本图像帧的内容；ii.同步对经过对齐与随机区域填充处理的第P-1样本降噪图像帧、第P样本图像帧和第P标签图像帧做通道打乱和色彩随机调整等操作。
在一些实施例中，对对齐后的第P-1样本降噪图像帧进行边缘区域填充与随机区域填充的图像信息也可以不来源于第P样本图像帧，而是采用默认图像信息来进行填充，默认图像信息可以根据实际网络训练需求进行预先指定。
64、通道串联：对第二次数据增强处理结果中的第P-1样本降噪图像帧、第P样本图像帧进行通道串联，组成一个高和宽不变，通道数为该两个图像帧的通道数之和的图像数据体。
65、第三次数据增强处理：对于通过通道串联得到的图像数据体及第P标签图像帧进行第三数据增强处理。第三数据增强可以包括诸如执行随机切块、随机旋转、随机翻转等处理。
66、降噪处理：将第三次数据增强处理的处理结果输入至预设深度学习网络，得到第P样本降噪图像帧。
67、计算损失函数：计算该预设深度学习网络输出的第P样本降噪图像帧与第P标签图像帧之间的损失函数。
68、梯度反传：利用该损失函数进行梯度反传更新预设深度学习网络的模型参数，直至损失函数基本不再下降为止，完成对预设深度学习网络的训练，得到降噪网络。
可以理解，预设深度学习网络得到的第P样本降噪图像帧可以对齐至第P+1样本图像帧，并重复上述处理方式，得到第P+1样本图像帧的降噪结果。
参照图7所示，为本申请一实施例提供的对预设深度学习网络进行训练的原理示意图。预设深度学习网络为编码-解码模型框架的网络。
71、数据输入：将训练数据输入预设深度学习网络，训练数据可以是来自上述第三次数据增强处理的处理结果。
72、降噪处理：预设深度学习网络经过前向过程对训练数据进行降噪处理，得到降噪数据，然后使用网络得到的降噪数据和标签数据共同计算损失函数。标签数据即为高SPP图像帧。
73、梯度反传：利用该损失函数进行梯度反传来更新预设深度学习网络的网络参数，直至损失函数基本不再下降为止，训练完成的预设深度学习网络即为降噪网络。
在一些实施例中，该预设深度学习网络可以包括由多个卷积层、多个下采样层及多个上采样层构成编码-解码框架。多个卷积层的通道数可以是32个、64个、128个、256个等，如卷积层-32表示该卷积层的通道数为32个。
参考图8，为本申请实施例提供的电子设备100的硬件结构示意图。如图5所示，电子设备100可以包括处理器1001、存储器1002、通信总线1003、显示屏1004。存储器1002用于存储一个或多个计算机程序1005。一个或多个计算机程序1005被配置为被该处理器1001执行。该一个或多个计算机程序1005可以包括指令，上述指令可以用于实现在电子设备100中执行上述光线追踪多帧降噪方法和/或降噪网络的训练方法。
可以理解的是，本实施例示意的结构并不构成对电子设备100的具体限定。在另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。
处理器1001可以包括一个或多个处理单元，例如：处理器1001可以包括应用处理器(application processor，AP)，图形处理器(graphics processing unit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，DSP，CPU，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
处理器1001还可以设置有存储器，用于存储指令和数据。在一些实施例中，处理器1001中的存储器为高速缓冲存储器。该存储器可以保存处理器1001刚用过或循环使用的指令或数据。如果处理器1001需要再次使用该指令或数据，可从该存储器中直接调用。避免了重复存取，减少了处理器1001的等待时间，因而提高了系统的效率。
在一些实施例中，处理器1001可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，SIM接口，和/或USB接口等。
在一些实施例中，存储器1002可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的光线追踪多帧降噪方法和/或降噪网络的训练方法。
本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的光线追踪多帧降噪方法和/或降噪网络的训练方法。
另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的光线追踪多帧降噪方法和/或降噪网络的训练方法。
其中，本实施例提供的第一电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅是示意性的，例如，该模块或单元的划分，仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。
Claims (19)
1.一种光线追踪多帧降噪方法，其特征在于，包括：
响应于视频片段的降噪需求，将第一降噪图像帧对齐至所述视频片段的第二图像帧；
确定经过对齐处理的第一降噪图像帧的边缘缺失区域；
将所述第二图像帧中与所述边缘缺失区域对应的图像信息填充至所述边缘缺失区域，以得到对齐图像帧；
将所述对齐图像帧与所述第二图像帧进行通道串联，并输入至降噪网络，以对所述第二图像帧进行降噪处理得到第二降噪图像帧；
其中，所述第一降噪图像帧为利用所述降噪网络对所述视频片段的第一图像帧进行降噪处理得到的图像帧，所述第一图像帧为所述第二图像帧的上N帧图像，N为正整数。
2.如权利要求1所述的光线追踪多帧降噪方法，其特征在于，所述视频片段由光线追踪管线对三维模型进行渲染生成，所述光线追踪管线对所述三维模型进行渲染时还生成所述三维模型的辅助信息，所述通道串联包括下列其中一者：
对所述对齐图像帧与所述第二图像帧执行通道串联；
对所述对齐图像帧、所述第二图像帧及所述三维模型的辅助信息执行通道串联；
其中，所述辅助信息包括下列中的至少一者：法向量信息、世界坐标信息、色彩信息、纹理信息。
3.如权利要求1或2所述的光线追踪多帧降噪方法，其特征在于，所述方法还包括：
从多个样本视频片段中选取一样本视频片段的第一类型的样本图像帧，其中所述样本视频片段中的每一图像帧均对应有第一类型的样本图像帧及第二类型的样本图像帧，所述第一类型的样本图像帧的每像素采样数(Sample Per Pixel，SPP)小于所述第二类型的样本图像帧的SPP；
将所述样本视频片段的第一样本降噪图像帧对齐至所述样本视频片段的第一类型的第二样本图像帧；
确定经过对齐处理的第一样本降噪图像帧的边缘缺失区域；
将所述第一类型的第二样本图像帧中与所述边缘缺失区域对应的图像信息填充至所述边缘缺失区域，以得到样本对齐图像帧；
将所述样本对齐图像帧与所述第一类型的第二样本图像帧进行通道串联，并输入至预设深度学习网络，以对所述预设深度学习网络进行降噪处理训练，其中所述第一样本降噪图像帧为利用所述预设深度学习网络对第一类型的第一样本图像帧进行降噪处理得到的图像帧，所述第一类型的第一样本图像帧为所述第一类型的第二样本图像帧的上M帧图像，M为正整数；
计算所述预设深度学习网络输出的第二样本降噪图像帧与第二类型的第二样本图像帧之间的损失函数；
利用所述损失函数进行梯度反传更新所述预设深度学习网络的模型参数，直至完成对所述预设深度学习网络的训练得到所述降噪网络。
4.如权利要求3所述的光线追踪多帧降噪方法，其特征在于，所述样本视频片段中的每一图像帧均对应有多个第一类型的样本图像帧及一个第二类型的样本图像帧，所述多个第一类型的样本图像帧的SPP互不相同，所述方法还包括：
从所述多个第一类型的样本图像帧中随机选取一样本图像帧，并与所述第二类型的样本图像帧组合成样本数据集；
其中，所述样本数据集中的第一类型的样本图像帧作为所述预设深度学习网络的训练输入数据，所述样本数据集中的第二类型的样本图像帧作为所述预设深度学习网络的标签数据。
5.如权利要求3所述的光线追踪多帧降噪方法，其特征在于，所述多个样本视频片段由对三维样本模型进行渲染得到，所述对三维样本模型进行渲染时还生成所述三维样本模型的辅助信息，所述将所述样本对齐图像帧与所述第一类型的第二样本图像帧进行通道串联，包括：
将所述样本对齐图像帧、所述三维样本模型的辅助信息及所述第一类型的第二样本图像帧进行通道串联。
6.如权利要求3所述的光线追踪多帧降噪方法，其特征在于，所述方法还包括：
对所述样本视频片段中每一图像帧进行预处理；
其中，所述预处理包括将所述图像帧中的异常像素值替换为预设像素值，和/或去除所述图像帧中的贴图。
7.如权利要求6所述的光线追踪多帧降噪方法，其特征在于，所述对所述样本视频片段中每一图像帧进行预处理，包括：
对所述图像帧中的像素值为无穷大的像素进行置零替换；或
对所述图像帧中的像素值为无穷大的像素进行最近邻插值替换。
8.如权利要求3所述的光线追踪多帧降噪方法，其特征在于，所述将所述样本视频片段的第一样本降噪图像帧对齐至所述样本视频片段的第一类型的第二样本图像帧，包括：
利用坐标变换确定所述样本视频片段的第一样本降噪图像帧中每一像素在所述样本视频片段的第一类型的第二样本图像帧的位置信息；
利用预设图像插值算法对所述样本视频片段的第一样本降噪图像帧中发生位置变化的像素进行插值处理。
9.如权利要求3所述的光线追踪多帧降噪方法，其特征在于，所述从多个样本视频片段中选取一样本视频片段的第一类型的样本图像帧，包括：
缓存每一所述样本视频片段的前一样本降噪图像帧；
随机从所述多个样本视频片段中选取一样本视频片段的当前的第一类型的样本图像帧。
10.如权利要求3所述的光线追踪多帧降噪方法，其特征在于，所述将所述第一类型的第二样本图像帧中与所述边缘缺失区域对应的图像信息填充至所述边缘缺失区域，以得到样本对齐图像帧，包括：
将所述第一类型的第二样本图像帧中与所述边缘缺失区域对应的图像信息填充至所述边缘缺失区域；
从经过边缘填充处理的第一样本降噪图像帧中随机选取图像区域，并将所述第一类型的第二样本图像帧中与所述随机选取的图像区域对应的图像信息填充至该图像区域，以得到所述样本对齐图像帧。
11.如权利要求3所述的光线追踪多帧降噪方法，其特征在于，所述将所述第一类型的第二样本图像帧中与所述边缘缺失区域对应的图像信息填充至所述边缘缺失区域，以得到样本对齐图像帧，包括：
将默认图像信息填充至所述边缘缺失区域；
从经过边缘填充处理的第一样本降噪图像帧中随机选取图像区域，并将所述默认图像信息填充至该图像区域，以得到所述样本对齐图像帧。
12.如权利要求3所述的光线追踪多帧降噪方法，其特征在于，所述将所述样本对齐图像帧与所述第一类型的第二样本图像帧进行通道串联，并输入至预设深度学习网络，以对所述预设深度学习网络进行降噪处理训练，包括：
将所述样本对齐图像帧与所述第一类型的第二样本图像帧进行通道串联，得到串联后的图像帧；
从所述串联后的图像帧中随机切割预设尺寸的图像区域，并输入至所述预设深度学习网络，以对所述预设深度学习网络进行降噪处理训练。
13.如权利要求3所述的光线追踪多帧降噪方法，其特征在于，所述方法还包括：
定义场景镜头的镜头参数，所述镜头参数包括镜头移动轨迹及镜头朝向；
利用所述光线追踪管线基于所述镜头参数对所述三维样本模型进行渲染，得到所述多个样本视频片段；
其中，所述三维样本模型包括静态三维模型或动态三维模型。
14.如权利要求13所述的光线追踪多帧降噪方法，其特征在于，所述利用所述光线追踪管线基于所述镜头参数对所述三维样本模型进行渲染，得到所述多个样本视频片段，包括：
利用所述光线追踪管线基于所述镜头参数对所述三维样本模型进行渲染，得到多个样本视频；
对所述样本视频进行随机帧采样和/或进行随机帧倒放，以组合得到所述样本视频片段。
15.如权利要求3所述的光线追踪多帧降噪方法，其特征在于，所述方法还包括：
利用测试集对所述降噪网络进行测试；
当通过所述测试集确定所述降噪网络符合预设降噪要求时，基于所述降噪网络对所述视频片段进行降噪处理；
其中，所述测试集中每一测试数据均包括所述第一类型的样本图像帧及所述第二类型的样本图像帧。
16.一种光线追踪多帧降噪方法，其特征在于，包括：
从多个样本视频片段中选取一样本视频片段的第一类型的样本图像帧，其中所述样本视频片段中的每一图像帧均对应有第一类型的样本图像帧及第二类型的样本图像帧，所述第一类型的样本图像帧的SPP小于所述第二类型的样本图像帧的SPP；
将所述样本视频片段的第一样本降噪图像帧对齐至所述样本视频片段的第一类型的第二样本图像帧；
确定经过对齐处理的第一样本降噪图像帧的边缘缺失区域；
将所述第一类型的第二样本图像帧中与所述边缘缺失区域对应的图像信息填充至所述边缘缺失区域，以得到样本对齐图像帧；
将所述样本对齐图像帧与所述第一类型的第二样本图像帧进行通道串联，并输入至预设深度学习网络，以对所述预设深度学习网络进行降噪处理训练，其中所述第一样本降噪图像帧为利用所述预设深度学习网络对第一类型的第一样本图像帧进行降噪处理得到的图像帧，所述第一类型的第一样本图像帧为所述第一类型的第二样本图像帧的上M帧图像，M为正整数；
计算所述预设深度学习网络输出的第二样本降噪图像帧与第二类型的第二样本图像帧之间的损失函数；
利用所述损失函数进行梯度反传更新所述预设深度学习网络的模型参数，直至完成对所述预设深度学习网络的训练得到降噪网络；
利用测试集对所述降噪网络进行测试；
当通过所述测试集确定所述降噪网络符合预设降噪要求时，基于所述降噪网络对待处理图像帧进行降噪处理。
17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1至权利要求16中任一项所述的光线追踪多帧降噪方法。
18.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器用于存储指令，所述处理器用于调用所述存储器中的指令，使得所述电子设备执行权利要求1至权利要求16中任一项所述的光线追踪多帧降噪方法。
19.一种芯片，与电子设备中的存储器耦合，其特征在于，所述芯片用于控制所述电子设备执行权利要求1至权利要求16中任一项所述的光线追踪多帧降噪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011614404.1A CN114693857A (zh) | 2020-12-30 | 2020-12-30 | 光线追踪多帧降噪方法、电子设备、芯片及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011614404.1A CN114693857A (zh) | 2020-12-30 | 2020-12-30 | 光线追踪多帧降噪方法、电子设备、芯片及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114693857A true CN114693857A (zh) | 2022-07-01 |
Family
ID=82131584
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011614404.1A Pending CN114693857A (zh) | 2020-12-30 | 2020-12-30 | 光线追踪多帧降噪方法、电子设备、芯片及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114693857A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115460343A (zh) * | 2022-07-31 | 2022-12-09 | 荣耀终端有限公司 | 图像处理方法、设备及存储介质 |
-
2020
- 2020-12-30 CN CN202011614404.1A patent/CN114693857A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115460343A (zh) * | 2022-07-31 | 2022-12-09 | 荣耀终端有限公司 | 图像处理方法、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Weier et al. | Foveated real‐time ray tracing for head‐mounted displays | |
| US11367165B2 (en) | Neural super-sampling for real-time rendering | |
| CN113327278B (zh) | 三维人脸重建方法、装置、设备以及存储介质 | |
| US20230039100A1 (en) | Multi-layer reprojection techniques for augmented reality | |
| US10614619B2 (en) | Graphics processing systems | |
| US20230230311A1 (en) | Rendering Method and Apparatus, and Device | |
| US11451758B1 (en) | Systems, methods, and media for colorizing grayscale images | |
| CN108090880A (zh) | 一种图像的反畸变处理方法以及装置 | |
| US11570418B2 (en) | Techniques for generating light field data by combining multiple synthesized viewpoints | |
| CN107562185B (zh) | 一种基于头戴vr设备的光场显示系统及实现方法 | |
| US11468629B2 (en) | Methods and apparatus for handling occlusions in split rendering | |
| CN114758051A (zh) | 一种图像渲染方法及其相关设备 | |
| US20150348319A1 (en) | Adaptive re-meshing for view interpolation from images with depth or disparity | |
| WO2022182441A1 (en) | Latency-resilient cloud rendering | |
| CN106204418A (zh) | 一种虚拟现实移动端中基于矩阵逆运算的图像扭曲方法 | |
| CN114693857A (zh) | 光线追踪多帧降噪方法、电子设备、芯片及可读存储介质 | |
| CN115715464A (zh) | 用于遮挡处理技术的方法和装置 | |
| US20230101978A1 (en) | Meshlet shading atlas | |
| US11887245B2 (en) | Techniques for rendering signed distance functions | |
| CN116385577A (zh) | 虚拟视点图像生成方法及装置 | |
| US20220108420A1 (en) | Method and system of efficient image rendering for near-eye light field displays | |
| CN111010559B (zh) | 裸眼三维光场内容的生成方法及装置 | |
| US20230063422A1 (en) | Techniques for rendering signed distance functions | |
| US20240320903A1 (en) | Methods and systems for generating enhanced light texture data | |
| US20240249461A1 (en) | Vector graphic texture engine |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |