CN114663314A - 图像降噪方法、装置、计算机设备及介质 - Google Patents

Abstract

本申请实施例属于计算机图形学技术领域，涉及一种图像降噪方法、装置、计算机设备及其介质，所述方法包括获取渲染视频流，其中，渲染视频流包括多帧渲染图像，每帧渲染图像包括多个图层信息，对每帧渲染图像中的每个图层信息进行降噪合成处理，以得到预降噪的渲染图像，从预降噪的渲染图像中获取目标渲染图像、目标渲染图像的相邻帧渲染图像、以及存在于目标渲染图像和相邻帧渲染图像的目标对象，根据目标对象的位置，调整目标渲染图像中目标对象的像素点的颜色值，以得到降噪后的目标渲染图像，一方面，有利于降低多帧渲染图像在集中降噪过程中出现的降噪误差，另一方面，实现了帧间信息的复用，提高了渲染图像的降噪质量和降噪效率。

Description

图像降噪方法、装置、计算机设备及介质

技术领域

本申请涉及计算机图形学技术领域，尤其涉及图像降噪方法、装置、计算机设备及其介质。

背景技术

渲染图像是指通过调整光线、颜色、角度等参数来渲染场景图像，使得生成的场景图像能生动展示渲染后的设计效果。在图形流水线中，渲染是最后一项重要步骤，通过它得到三维模型与动画最终显示效果。

当今视频渲染技术高速发展，对渲染的效率和效果都提出了很高的要求。通常，一个单帧图像渲染分为场景渲染阶段和后期处理阶段。场景渲染阶段主要是通过一定样本数量的渲染计算得到一张粗略的效果图，这张图通常是含有一定噪声的，而后期处理阶段则是利用一系列的方法将这张粗略的渲染效果图处理成一张高质量的最终渲染结果图。市面上常用的序列帧降噪一般都是单向降噪，导致降噪质量不佳。

发明内容

本申请实施例的目的在于提出一种图像降噪方法、装置、计算机设备及其介质，解决渲染视频流降噪质量低的问题。

为了解决上述技术问题，本申请实施例提供一种图像降噪方法，包括：

获取场景图像的基准伪色图；

根据基准伪色图和预设渲染引擎信息，获取场景图像的渲染图像；

将渲染图像转换成伪色图；

计算伪色图和基准伪色图的相似度值；

根据相似度值评估渲染图像的渲染质量。

为了解决上述技术问题，本申请实施例还提供一种图像降噪装置，包括：

获取模块，用于获取渲染视频流，其中，渲染视频流包括多帧渲染图像，每帧渲染图像包括多个图层信息；

降噪合成模块，用于对每帧渲染图像中的每个图层信息进行降噪合成处理，以得到预降噪的渲染图像；

确定模块，用于从预降噪的渲染图像中获取目标渲染图像、目标渲染图像的相邻帧渲染图像、以及存在于目标渲染图像和相邻帧渲染图像的目标对象；

调整模块，用于根据目标对象的位置，调整目标渲染图像中目标对象的像素点的颜色值，以得到降噪后的目标渲染图像。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述图像降噪方法的步骤。

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的图像降噪方法的步骤。

与现有技术相比，本申请实施例主要有以下有益效果：

通过获取渲染视频流，其中，渲染视频流包括多帧渲染图像，每帧渲染图像包括多个图层信息，对每帧渲染图像中的每个图层信息进行降噪合成处理，以得到预降噪的渲染图像，从预降噪的渲染图像中获取目标渲染图像、目标渲染图像的相邻帧渲染图像、以及存在于目标渲染图像和相邻帧渲染图像的目标对象，根据目标对象的位置，调整目标渲染图像中目标对象的像素点的颜色值，以得到降噪后的目标渲染图像，一方面，通过对每帧渲染图像进行图层信息进行降噪，有利于降低多帧渲染图像在集中降噪过程中出现的降噪误差，另一方面，利用了目标渲染图像和相邻帧渲染图像的的位置和像素点，实现了帧间信息的复用，即极大地利用了图层信息，在保证渲染质量的同时也降低了算法的时间开销，提高了渲染图像的降噪质量和降噪效率。

附图说明

为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请可以应用于其中的示例性系统架构图；

图2是本申请的图像降噪方法的一个实施例的流程图；

图3是本申请实施例中渲染图像解耦得到不同图层信息的一示意图；

图4是本申请实施例中图层信息的降噪合成的流程示意图；

图5是本申请实施例中渲染图像解耦得到不同图层信息的又一示例图；

图6是本申请实施例中不同半径的滤波器的示例图；

图7是本申请实施中渲染流中帧间渲染图像的示意图；

图8是本申请的图像降噪装置的一个实施例示意图；

图9是本申请的计算机设备基本结构框图。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

基于此，本申请提供一种图像降噪方法来解决上述技术问题。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104 和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器 (Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、 103上显示的页面提供支持的后台服务器。

需要说明的是，本申请实施例所提供的图像降噪方法由服务器/终端设备执行，相应地，图像降噪装置一般设置于服务器/终端设备中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，图2为的图像降噪方法的一个实施例的流程图，包括：

S201：获取渲染视频流，其中，渲染视频流包括多帧渲染图像，每帧渲染图像包括多个图层信息。

在本申请实施例中，渲染视频流是将视频流经过渲染引擎软件进行初步渲染的序列帧渲染图像，即渲染视频流中的多帧渲染图像之间根据时间序列排序。其中，视频流可以是由用户上传到终端，使终端上的渲染引擎软件对视频流进行解码和渲染。渲染视频流的获取还可以是从数据库中提取到终端，或者是由用户通过蓝牙或者WiFi将渲染视频流上传至终端等，渲染视频流的方式此处不做限定。

进一步地，对所获取的渲染视频流进行解码得到多帧渲染图像后，通过预设的渲染器提取每帧渲染图像的图层信息，图层信息包括各个图层类型，以及每个图层类型对应的信息。其中，图层类型包括但不限于法线图层、噪点等级图层、物体ID图层、漫反射颜色图层、镜面反射颜色图层、折射颜色图层以及阴影图层。

具体地，法线图层用于获得当前帧渲染图像中每个像素的法线信息；噪点等级图层用于获得当前帧渲染图像中每个像素的噪声等级信息，颜色越亮的地方表示噪声水平越高；物体ID图层用于获取当前帧渲染图像中每个像素的 object ID标识，即物体标识标签，物体标识标签对于场景中的每一个物体都是独立的，每个独立的object ID标识可以采用一个单独的颜色标识，可用于在降噪过程中辨识每一个物体的所在区域；漫反射颜色图层用于获取当前帧渲染图像中每个像素的漫反射颜色图层，漫反射颜色图层表示的是该像素的漫反射固有颜色，并且不包含光照的漫反射颜色；镜面反射颜色图层用于获取当前帧渲染图像中每个像素的镜面反射颜色图层，镜面反射颜色图层表示的是该像素的镜面反射固有颜色，并且不包含光照的镜面反射颜色；折射颜色图层用于获取当前帧渲染图像中每个像素的折射颜色图层，折射颜色图层表示的是该像素的折射固有颜色，并且不包含光照的折射颜色；阴影图层用于获取当前帧渲染图像中每个像素的折射颜色图层，阴影图层表示的是该像素的折射固有颜色，并且不包含光照的折射颜色。

S202：对每帧渲染图像中的每个图层信息进行降噪合成处理，以得到预降噪的渲染图像.

为了使得渲染视频流的每帧渲染图像从粗略的渲染效果中转成高质量的渲染结果，本申请实施例针对每帧渲染图像进行预降噪处理，预降噪处理包括对每帧渲染图像的图层信息进行降噪以及将降噪后的图层信息进行合成，进而使得每帧渲染图像的渲染质量经过预降噪后得到一定的提升。

在一些实施方式中，对每帧渲染图像中的每个图层信息进行降噪合成处理，以得到预降噪的渲染图像包括：

对每帧渲染图像进行图层解耦，以得到每帧渲染图像的多个图层信息；

对每个图层信息进行降噪处理，以获取每帧渲染图像中降噪后的多个图层信息；

对降噪后的多个图层信息进行合成处理，以得到预降噪的渲染图像。

由于渲染图像的帧间信息会夹杂着各种改变的光源、物体之间的遮挡信息变换甚至物体的移进和移出等复杂条件，容易导致渲染图像在进行降噪时所带来错误的情形。因此，对每帧渲染图像进行帧降噪，可以将帧间渲染图像的降噪错误概率降到最低。

示例性地，本申请实施例采用预设的单帧降噪算法，即采用降噪合成处理方式对每帧渲染图像实现高质量的单帧渲染图像的降噪效果。

在一些实施方式中，单帧降噪算法可以是SVGF(Spatiotemporal Variance-Guided Filter，时空方差导向滤波)，此处不做限定。其中，SVGF方法主要用在游戏中，是一种高质量的实时降噪方法。

在一些实施方式中，对每帧渲染图像进行图层解耦，以得到每帧渲染图像的多个图层信息包括：

根据预设的渲染器获取渲染图像的多个图层信息。

其中，每个渲染器都有渲染通道图的功能，通道图是指只渲染场景的某个属性信息的图，通道图也就是本申请实施例所述的图层信息。

具体地，在预设的渲染器中设置好需要解耦的图层信息中的图层类型所要求的参数，在设置好参数后，通过渲染器对渲染图像进行解耦，解耦结束后输出每帧渲染图像对应的多个图层信息以及每个图层信息对应的图像，具体图层信息可参考上述实施例，此处不再详述。

进一步地，通过渲染器解耦每帧渲染器的图层信息是同步进行的，即对图层信息的解耦是一致的，输出的图层信息的分辨率和大小一致，图层信息的格式可以为png或者jpg，如图3所示，图3是渲染图像解耦得到不同图层信息的一示意图。

示例性地，如图4所示，图4为本申请实施例中图层信息的降噪合成的流程示意图。在对单帧降噪合成过程中，首先对粗略的渲染图像进行图层解耦，将解耦得到的图层信息分为折射颜色图层与非折射颜色图层，并分别对折射部分的图层信息与非折射部分图层信息进行降噪，最后将折射颜色图层降噪结果和非折射颜色图层降噪结果再进一步合成得到预降噪后的渲染图像。其中，图4中所示的降噪算法可以使用ATrous(扩张卷积)滤波器。

进一步地，图层解耦有利于后续对渲染图像中的多层材质分别进行降噪，例如可以实现对渲染图像中的物体的图层信息既有漫反射图层又有折射颜色图层信息的降噪。

需要说明的是，图层解耦过程，有时会解耦出两个以上的图层信息，即会将渲染图像中的镜面反射图层甚至自发光等图层进行解耦，如图5所示，图5 为本申请实施例中渲染图像解耦得到不同图层信息的又一示例图，可以看出图5中的渲染图像经过图层解耦后分别得到三个图层信息，即漫反射曾、折射层以及镜面反射层，由于解耦得到的图层信息越多，越增大图层信息的降噪算法的时间开销。因此，在本申请实施例中，一般选择具有代表渲染图像的两种图层信息进行降噪合成，以提高降噪合成的效率。

在一些实施方式中，对每个图层信息进行降噪处理，以获取每帧渲染图像中降噪后的多个图层信息包括：

获取每个图层信息的像素点；

对图层信息中的每个像素点经过滤波处理，以获取每个图层信息对应的多个滤波图层信息，所述每个滤波图层信息包括滤波像素信息；

对每个滤波图层信息中的滤波像素信息进行均值处理，以获取降噪后的图层信息。

在一些实施方式中，对图层信息中的每个像素点经过滤波处理，以获取每个图层信息对应的多个滤波图层信息包括：

获取多个滤波器；

将每个图层信息中的每个像素点分别输入多个滤波器中，以输出每个图层信息对应的多个滤波图层信息。

示例性地，本申请实施例中的滤波器为不同半径的Atrou滤波器，Atrous 滤波器是一种带孔卷积，向卷积层引入了一个称为“扩张率(dilationrate)”的参数，该参数定义了卷积核处理数据时各值的间距，因此，它比一般的卷积有更广的感受野，可以直观表现为在屏幕空间中，一个像素点能通过Atrous滤波器得知更多的信息，同时也不会因为访问了太多的周边像素点使得滤波效率降低很多。

如图6所示，图6是本申请实施例中不同半径的滤波器的示例图。图6展示了Atrou滤波器半径分别为1，2，4的时，Atrous滤波器访问的像素点，即图6中的实心圆点。

在一些实施方式中，滤波像素信息包括滤波像素点的权重，权重值表示了所映射的颜色值，对每个滤波图层信息中的滤波像素信息进行均值处理，以获取降噪后的图层信息包括：

根据同一滤波像素点位置，获取多个滤波像素点的权重；

对多个滤波像素点的权重进行均值处理，并将均值处理后的权重作为滤波像素点位置的降噪权重，通过降噪权重构建降噪后的图层信息的权重值。

示例性地，将每个图层信息中的每个像素点分别经过半径从1到5的 ATrous滤波器的5次滤波处理，得到一个图层信息对应的5个滤波图层信息，滤波图层信息为经过不同滤波器处理得到的图层信息，并且动态评估每次滤波图层信息中每个滤波像素点的权重，并将5次滤波处理后得到的滤波图层信息上相同位置的滤波像素点位置的权重进行相加并求平均，以得到像素点的最终权重，即降噪权重，降噪权重用于表示图层信息中的像素点降噪后的颜色值。例如，以折射颜色图层中为例，将折射颜色层的目标位置上的目标像素点经过5次滤波处理，滤波处理得到的权重值分别2、2、2、4和2，此时目标像素点的像素值为(2+2+2+4+2)/5＝2.4。

在滤波处理过程中可知，Atrou滤波器对每个像素点的贡献进行了权重评估，而权重评估一般根据图层信息的像素点和ATrous滤波器中滤波处理到的滤波像素信息来执行。经过滤波处理的图层信息包括渲染图像固有的目标法线信息、目标阴影信息、固有颜色信息和噪点等级信息。其中，目标法线信息、目标阴影信息和目标噪点等级信息分别由渲染图像中的法线图层、阴影图层和噪点等级图层中得到，而固有颜色信息则根据图层解耦类型的不同而获取途径不同，例如，从漫反射颜色图层获取的固有颜色信息，以此类推。

其中，目标法线信息用于标识每个像素点的法线信息，目标阴影信息用于每个像素的折射颜色图层。通过渲染器获取图层信息后即可读取每个图层信息的像素信息。

进一步地，滤波像素点的权重评估是根据目标法线信息N，目标阴影信息 S，固有颜色信息F，噪点等级A来计算。

示例性地，可以采用一个四元函数f来表示滤波像素点的权重Weight＝ f(Ns-Nd，Ss-Sd，Fs-Fd，As)，其中，Ns-Nd则表示当前待滤波的像素点法线信息 Ns和周边参与滤波的像素点法线信息Nd的差异，Ss-Sd表示当前待滤波的像素点阴影信息Ss和周边像素点阴影信息Sd的差异，Fs-Fd表示当前待滤波的像素点固有颜色信息Fs和周边像素点固有颜色信息Fd的差异，As为当前待滤波像素点的噪点等级。因此函数f(Ns-Nd，Ss-Sd，Fs-Fd，As)可以根据当前待滤波像素点和周边像素点法线信息的差异大小来确定滤波像素点的权重，差异越大，权重越小，反之亦然，同理，阴影信息，固有颜色信息所反馈的权重大小以此类推。进一步地，当前待滤波的像素点的噪点等级A越大，该像素点与周边像素点的权重越大，反之亦然。

需要说明的是，噪点等级信息在执行半径从1到5的ATrous过滤器的滤波过程中是需要持续更新的，因为一开始的噪点等级信息可能并不准确，在持续更新过程中噪点等级信息会变得越来越准确。

进一步地，针对每一个图层信息完成降噪操作后，将降噪后的多个图层信息进行合成，最终得到预降噪的渲染图像，合成方式即对每个降噪后的图层信息中每个像素点的权重进行求平均，使得渲染视频流中的每帧图像实现高质量的降噪效果，同时采用滤波器的降噪方式提高了降噪效率，降噪时间可以达到10ms以内。

S203：从预降噪的渲染图像中获取目标渲染图像、目标渲染图像的相邻帧渲染图像、以及存在于目标渲染图像和相邻帧渲染图像的目标对象；

申请实施例中采用的是当前帧的目标渲染图像以及相邻前后两帧渲染图像的信息，来实现帧间渲染图像的信息复用，以保证目标渲染图像的前后帧图像均为渲染过。如图7所示，图7是本申请实施中渲染流中帧间渲染图像的示意图，可以从预降噪的渲染流的帧间顺序中，选取第23帧的预降噪的渲染图像开始作为帧间信息复用的相邻帧渲染图像，即相邻帧渲染图像可以是基于当前渲染到的帧(目标渲染图像)往前若干帧数的渲染图像或者往后若干帧数的渲染图像，并从目标渲染图像和相邻帧渲染图像中确定共有的目标对象，目标对象可以是渲染图像中的物体，例如图3中的椅子，杯子以及窗户等。通过确定具体的目标对象可以使得后续的降噪更加有针对性，从而提高降噪质量。

S204：根据目标对象的位置，调整目标渲染图像中目标对象的像素点的颜色值，以得到降噪后的目标渲染图像。

进一步地，分别将目标渲染图像的相邻前后数帧渲染图像的信息重用到目标渲染图像上，来实现降噪和抗锯齿的操作。

由于渲染视频流本身是运动的，前一帧渲染图像的目标对象的中心点位于屏幕像素a，下一帧渲染图像的目标对象的中心可能就运动到了屏幕像素b，所以采用重投影的操作来识别同一目标对象的位置变化。其中，重投影利用到了目标对象的物体ID信息(objectID)与目标对象的世界坐标位置信息(position)，通过它们可以计算出目标对象的当前像素点投影到相邻帧的屏幕坐标位置。

进一步地，由于多个目标对象运动后的遮挡关系可能会发生改变，此时可以运用之前保存的目标对象世界坐标位置信息，判别多个目标对象的遮挡关系。当获取周边的(即相邻帧渲染图像)目标对象的像素点位置后，需要进一步对目标对象做有效的判断，以尽可能减少带来的鬼影等错误。有效的判断主要基于目标对象的物体ID信息以及颜色阈值等来判断是否为有效的目标对象。若周边的(即相邻帧渲染图像)目标对象的像素点的颜色阈值不符合目标对象的颜色阈值，则判断为无效的颜色值，即该像素点的权重不被赋予到目标渲染图像中与该像素点同一位置的像素点；若为有效的颜色值，需要将该像素点以及目标渲染图像的图层信息做权重评估，权重评估主要通过法线信息，阴影信息来，最后将目标渲染图像的周边所有可被复用的权重进行加权平均，将得到的平均权重值，即平均权重值反映了目标颜色值，通过目标颜色值来调整目标渲染图像中目标物体的像素点的颜色值，即为目标渲染图像降噪后的颜色值。

在一些实施方式中，根据目标对象的位置，调整目标渲染图像中目标对象的像素点的颜色值，以得到降噪后的目标渲染图像包括：

分别获取目标对象在相邻帧渲染图像的第一位置，以及目标对象在目标渲染图像的第二位置；

当根据第一位置和第二位置确定目标对象为非遮挡状态时，则对目标对象所属的像素点的权重进行加权平均处理；

将得到的加权平均处理结果调整目标对象的像素点的颜色值，以得到得到降噪后的目标渲染图像。

通过深度信息(即世界坐标到摄像机距离)来判断目标对象在相邻帧渲染图像的第一位置，以及目标对象在目标渲染图像的第二位置，若第一位置和第二位置存在目标对象所在的渲染图像中未被其他物体遮挡，则对目标对象所属的像素点的权重进行评估后，再进行加权平均处理，将加权平均处理得到的权重，即此时权重所映射的目标颜色值来调整目标对象的像素点的颜色值。若第一位置和/或第二位置存在目标对象在所在的渲染图像中被其他物体遮挡，说明目标对象被遮挡，此时目标对象的颜色值(权重)会被抛弃掉，不进入加权平均的计算。

示例性地，目标对象所属的像素点的位置确定方式可以是：将第s帧的某个像素P投影到第d帧的图像平面上，那么可以通过物体ID信息图层获得第 s帧的像素P的所属物体O，通过O可以知道第s帧物体O的位置和方向(事先保存下来)，以及第d帧的时候O的位置和方向，采用摄像机投影算法得到第s帧的像素P投影到第d帧的图像平面上所对应的像素点。

进一步地，对目标对象所属的像素点的权重进行评估是根据法线信息N，阴影信息S，物体ID，帧数差异F来计算，例如目标对象所属的像素点的权重Weight＝f(Ns-Nd，Ss-Sd，IDs，IDd，F)，其中，f是一个四元函数，Ns表示当前帧的像素点的法线信息，Nd表示周边帧被投影到当前帧的像素点的法线信息，Ns-Nd则表示二者法线信息的差异，Ss-Sd表示周边帧被投影到当前帧的像素点的阴影信息，IDs和IDd用来确定被映射过来的周边帧像素点和目标帧像素点是否处于同一个物体上，如果不是，则权重为0，F表示帧数差异，即当前帧数减去被投影来的像素所在的帧数。例如当前帧是第5帧，被投影来的像素所在的帧数是第9帧，那么F＝4，帧数差异F越大，权重越小。

进一步地，通过获取若干相邻帧渲染图像确定的目标对象的像素点的权重后，对其权重求加权平均，最终得到降噪后的目标渲染图像，通过帧间信息复用来提高图像渲染质量。例如，当前帧的目标对象的像素点在渲染视频流中为第5帧，分别取第3帧、第4帧和第6帧同一目标对象的像素点，经过权重评估，分别得到第3帧、第4帧和第6帧对应的权重值为2，3，4，此时当前帧的目标对象的像素点的权重为(2+3+4)/3＝3。

通过获取渲染视频流，其中，渲染视频流包括多帧渲染图像，每帧渲染图像包括多个图层信息，对每帧渲染图像中的每个图层信息进行降噪合成处理，以得到预降噪的渲染图像，从预降噪的渲染图像中获取目标渲染图像、目标渲染图像的相邻帧渲染图像、以及存在于目标渲染图像和相邻帧渲染图像的目标对象，根据目标对象的位置，调整目标渲染图像中目标对象的像素点的颜色值，以得到降噪后的目标渲染图像，一方面，通过对每帧渲染图像进行图层信息进行降噪，有利于降低多帧渲染图像在集中降噪过程中出现的降噪误差，另一方面，利用了目标渲染图像和相邻帧渲染图像的的位置和像素点，实现了帧间信息的复用，即极大地利用了图层信息，在保证渲染质量的同时也降低了算法的时间开销，提高了渲染图像的降噪质量和降噪效率。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

进一步参考图8，作为对上述图2所示图像降噪方法的实现，本申请提供了一种图像降噪装置的一个实施例示意图，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图8所示，本实施例所述的图像降噪装置包括：获取模块81、降噪合成模块82、确定模块83以及调整模块84。其中：

获取模块81，用于获取渲染视频流，其中，渲染视频流包括多帧渲染图像，每帧渲染图像包括多个图层信息；

降噪合成模块82，用于对每帧渲染图像中的每个图层信息进行降噪合成处理，以得到预降噪的渲染图像；

确定模块83，用于从预降噪的渲染图像中获取目标渲染图像、目标渲染图像的相邻帧渲染图像、以及存在于目标渲染图像和相邻帧渲染图像的目标对象；

调整模块84，用于根据目标对象的位置，调整目标渲染图像中目标对象的像素点的颜色值，以得到降噪后的目标渲染图像。

在一些实施方式中，降噪合成模块82包括：

解耦单元，用于对每帧渲染图像进行图层解耦，以得到每帧渲染图像的多个图层信息；

降噪单元，用于对每个图层信息进行降噪处理，以获取每帧渲染图像中降噪后的多个图层信息；

合成单元，用于对降噪后的多个图层信息进行合成处理，以得到预降噪的渲染图像。

在一些实施方式中，降噪单元包括：

获取子单元，用于获取每个图层信息的像素点；

滤波子单元，用于对图层信息中的每个像素点经过滤波处理，以获取每个图层信息对应的多个滤波图层信息，所述每个滤波图层信息包括滤波像素信息；

降噪子单元，用于对每个滤波图层信息中的滤波像素信息进行均值处理，以获取降噪后的图层信息。

在一些实施方式中，滤波子单元还用于：

获取多个滤波器；

将每个图层信息中的每个像素点分别输入多个滤波器中，以输出每个图层信息对应的多个滤波图层信息。

在一些实施方式中，滤波子单元还用于：

根据同一滤波像素点位置，获取多个滤波像素点的权重；

对所述多个滤波像素点的权重进行均值处理，并将均值处理后的权重作为滤波像素点位置的降噪权重，通过降噪权重构建降噪后的图层信息的权重值。

在一些实施方式中，调整模块84包括：

位置获取单元，用于分别获取目标对象在相邻帧渲染图像的第一位置，以及目标对象在目标渲染图像的第二位置；

加权平均单元，用于当根据第一位置和第二位置确定目标对象为非遮挡状态时，则对目标对象所属的像素点的权重进行加权平均处理；

调整单元，用于将得到的加权平均处理结果调整目标对象的像素点的颜色值，以得到降噪后的目标渲染图像。

在一些实施方式中，解耦单元还用于：

根据预设的渲染器获取渲染图像的多个图层信息。

关于上述实施例中图像降噪装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图9，图9为本实施例计算机设备基本结构框图。

所述计算机设备9包括通过系统总线相互通信连接存储器91、处理器92、网络接口93。需要指出的是，图中仅示出了具有组件91-93的计算机设备9，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field-Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器91至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或D界面显示存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器91可以是所述计算机设备9的内部存储单元，例如该计算机设备9的硬盘或内存。在另一些实施例中，所述存储器91也可以是所述计算机设备9的外部存储设备，例如该计算机设备9上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。当然，所述存储器91还可以既包括所述计算机设备9的内部存储单元也包括其外部存储设备。本实施例中，所述存储器91通常用于存储安装于所述计算机设备9的操作系统和各类应用软件，例如图像降噪方法的程序代码等。此外，所述存储器91还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器92在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器92通常用于控制所述计算机设备9的总体操作。本实施例中，所述处理器92用于运行所述存储器91中存储的程序代码或者处理数据，例如运行所述图像降噪方法的程序代码。

所述网络接口93可包括无线网络接口或有线网络接口，该网络接口93 通常用于在所述计算机设备9与其他电子设备之间建立通信连接。

本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有图像降噪程序，所述图像降噪程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的图像降噪方法的步骤。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种图像降噪方法，其特征在于，包括：

获取渲染视频流，其中，所述渲染视频流包括多帧渲染图像，每帧渲染图像包括多个图层信息；

对每帧渲染图像中的每个图层信息进行降噪合成处理，以得到预降噪的渲染图像；

从所述预降噪的渲染图像中获取目标渲染图像、所述目标渲染图像的相邻帧渲染图像、以及存在于所述目标渲染图像和所述相邻帧渲染图像的目标对象；

根据所述目标对象的位置，调整所述目标渲染图像中目标对象的像素点的颜色值，以得到降噪后的目标渲染图像。

2.根据权利要求1所述的图像降噪方法，其特征在于，所述对每帧渲染图像中的每个图层信息进行降噪合成处理，以得到预降噪的渲染图像包括：

对每帧渲染图像进行图层解耦，以得到每帧渲染图像的多个图层信息；

对每个图层信息进行降噪处理，以获取每帧渲染图像中降噪后的多个图层信息；

对所述降噪后的多个图层信息进行合成处理，以得到预降噪的渲染图像。

3.根据权利要求2所述的图像降噪方法，其特征在于，所述对每个图层信息进行降噪处理，以获取每帧渲染图像中降噪后的多个图层信息包括：

获取每个图层信息的像素点；

对图层信息中的每个像素点经过滤波处理，以获取每个图层信息对应的多个滤波图层信息，所述每个滤波图层信息包括滤波像素信息；

对每个滤波图层信息中的滤波像素信息进行均值处理，以获取降噪后的图层信息。

4.根据权利要求3所述的图像降噪方法，其特征在于，所述对图层信息中的每个像素点经过滤波处理，以获取每个图层信息对应的多个滤波图层信息包括：

获取多个滤波器；

将每个图层信息中的每个像素点分别输入多个滤波器中，以输出每个图层信息对应的多个滤波图层信息。

5.根据权利要求3所述的图像降噪方法，其特征在于，所述滤波像素信息包括滤波像素点的权重，所述对每个滤波图层信息中的滤波像素信息进行均值处理，以获取降噪后的图层信息包括：

根据同一滤波像素点位置，获取多个滤波像素点的权重；

对所述多个滤波像素点的权重进行均值处理，并将均值处理后的权重作为滤波像素点位置的降噪权重，通过降噪权重构建降噪后的图层信息的权重值。

6.根据权利要求1所述的图像降噪方法，其特征在于，所述根据所述目标对象的位置，调整所述目标渲染图像中目标对象的像素点的颜色值，以得到降噪后的目标渲染图像包括：

分别获取所述目标对象在相邻帧渲染图像的第一位置，以及所述目标对象在目标渲染图像的第二位置；

当根据第一位置和第二位置确定目标对象为非遮挡状态时，则对目标对象所属的像素点进行加权平均处理，以得到降噪后的目标渲染图像。

7.根据权利要求3所述的图像降噪方法，其特征在于，所述对每帧渲染图像进行图层解耦，以得到每帧渲染图像的多个图层信息包括：

根据预设的渲染器获取渲染图像的多个图层信息。

8.一种图像降噪装置，其特征在于，包括：

获取模块，用于获取渲染视频流，其中，所述渲染视频流包括多帧渲染图像，每帧渲染图像包括多个图层信息；

降噪合成模块，用于对每帧渲染图像中的每个图层信息进行降噪合成处理，以得到预降噪的渲染图像；

确定模块，用于从所述预降噪的渲染图像中获取目标渲染图像、所述目标渲染图像的相邻帧渲染图像、以及存在于所述目标渲染图像和所述相邻帧渲染图像的目标对象；

调整模块，用于根据所述目标对象的位置，调整所述目标渲染图像中目标对象的像素点的颜色值，以得到降噪后的目标渲染图像。

9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的图像降噪方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的图像降噪方法的步骤。

Images