CN115187491A - 图像降噪处理方法、图像滤波处理方法及装置 - Google Patents

图像降噪处理方法、图像滤波处理方法及装置 Download PDF

Info

Publication number
CN115187491A
CN115187491A CN202211095306.0A CN202211095306A CN115187491A CN 115187491 A CN115187491 A CN 115187491A CN 202211095306 A CN202211095306 A CN 202211095306A CN 115187491 A CN115187491 A CN 115187491A
Authority
CN
China
Prior art keywords
effect
noise
graph
map
auxiliary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211095306.0A
Other languages
English (en)
Other versions
CN115187491B (zh
Inventor
张骏飞
姜琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202211095306.0A priority Critical patent/CN115187491B/zh
Publication of CN115187491A publication Critical patent/CN115187491A/zh
Application granted granted Critical
Publication of CN115187491B publication Critical patent/CN115187491B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Picture Signal Circuits (AREA)

Abstract

本申请公开了一种图像降噪处理方法、图像滤波处理方法及装置、电子设备以及计算机可读取存储介质，该图像降噪处理方法包括：获得待处理噪点效果图、待处理噪点效果图对应的辅助图、参考噪点效果图和参考噪点效果图对应的辅助图；根据待处理噪点效果图、待处理噪点效果图对应的辅助图、参考噪点效果图、参考噪点效果图对应的辅助图，获得待处理噪点效果图对应的降噪后效果图；在上述图像降噪处理过程中，将参考噪点效果图和参考噪点效果图对应的辅助图作为参照对象，实现待处理噪点效果图、待处理噪点效果图对应的辅助图与参考噪点效果图、参考噪点效果图对应的辅助图之间的信息关联，通过上述方法生成的降噪后效果图噪点水平低。

Description

图像降噪处理方法、图像滤波处理方法及装置
技术领域
本申请涉及计算机视觉技术领域，具体涉及一种图像降噪处理方法、图像滤波处理方法及装置、电子设备以及计算机可读取存储介质。
背景技术
随着计算机技术的飞速发展，人们对视觉图像呈现效果的要求越来越严苛。图像噪点作为图像拍摄过程中难以避免的杂色斑点，若图像中存在较多噪点，会对图像的清晰度及图像质量产生严重的影响，图像的降噪处理成为提高图像呈现效果必不可少的环节。
现有的图像的降噪处理方式中，为了提高降噪处理效果，通常会极大程度提高采样率，采样率是指图像中每个像素点要追踪的光线数量，需要追踪的光线数量越多，需要进行降噪处理的运算量就越大，图像的呈现效果就越好。通过提高采样率以降低图像中的显著噪点，上述的方法在商业应用场景中存在显著弊端，并且现有的图像降噪的方法存在噪声处理不够完全，降噪后的图像生成的视频稳定性不够高等缺陷。
发明内容
为了解决上述背景技术中存在的技术问题，本申请实施例提供一种图像降噪处理方法、图像滤波处理方法及装置、电子设备、计算机可读存储介质。
本申请实施例提供一种图像降噪处理方法，包括：获得待处理噪点效果图和所述待处理噪点效果图对应的辅助图，并获得参考噪点效果图和所述参考噪点效果图对应的辅助图，所述待处理噪点效果图和所述参考噪点效果图是针对一个物理空间的布局设计的不同展示角度的效果图；根据所述待处理噪点效果图和所述待处理噪点效果图对应的辅助图，以及所述参考噪点效果图和所述参考噪点效果图对应的辅助图，获得所述待处理噪点效果图对应的降噪后效果图。
可选的，在所述获得待处理噪点效果图和所述待处理噪点效果图对应的辅助图之前，所述方法还包括：获得多组场景数据，所述多组场景数据中的一组场景数据用于表示一个场景的布局状态，所述一个场景为针对一个物理空间的布局设计的一个展示角度场景，所述多组场景数据为多个展示角度场景所需的展示数据。
可选的，所述获得待处理噪点效果图和所述待处理噪点效果图对应的辅助图，并获得参考噪点效果图和所述参考噪点效果图对应的辅助图，包括：根据所述多组场景数据中的一组待处理场景数据，生成所述待处理噪点效果图和所述待处理噪点效果图对应的辅助图；根据所述多组场景数据中除所述待处理场景数据之外的至少一组场景数据，生成所述参考噪点效果图和所述参考噪点效果图对应的辅助图。
可选的，所述方法还包括：将所述待处理噪点效果图、所述待处理噪点效果图对应的辅助图、所述参考噪点效果图、所述参考噪点效果图对应的辅助图输入到降噪效果图获取模型中，生成所述待处理噪点效果图对应的降噪后效果图。
可选的，所述降噪效果图获取模型按照下述方式进行处理：获得所述待处理噪点效果图对应的辅助图中的运动向量图；根据所述待处理噪点效果图对应的辅助图中的运动向量图，将所述参考噪点效果图对应的特征信息映射至所述待处理噪点效果图中，获得所述待处理噪点效果图对应的初始特征信息；根据所述待处理噪点效果图对应的初始特征信息、所述待处理噪点效果图、所述待处理噪点效果图对应的辅助图、所述参考噪点效果图和所述参考噪点效果图对应的辅助图，生成所述待处理噪点效果图对应的降噪后效果图。
可选的，所述根据所述待处理噪点效果图对应的辅助图中的运动向量图，将所述参考噪点效果图对应的特征信息映射至所述待处理噪点效果图中，获得所述待处理噪点效果图对应的初始特征信息，包括：根据所述待处理噪点效果图对应的辅助图中的运动向量图和所述参考噪点效果图，将所述参考噪点效果图对应的特征信息中的像素点特征映射到所述待处理噪点效果图中的像素点，获得所述待处理噪点效果图对应的初始特征信息。
可选的，所述根据所述待处理噪点效果图对应的初始特征信息、所述待处理噪点效果图、所述待处理噪点效果图对应的辅助图、所述参考噪点效果图和所述参考噪点效果图对应的辅助图，生成所述待处理噪点效果图对应的降噪后效果图，包括：根据所述待处理噪点效果图对应的初始特征信息、所述待处理噪点效果图、所述待处理噪点效果图对应的辅助图、所述参考噪点效果图和所述参考噪点效果图对应的辅助图，获得所述待处理噪点效果图对应的特征信息；根据所述待处理噪点效果图对应的特征信息，生成所述待处理噪点效果图对应的降噪后效果图。
可选的，所述降噪效果图获取模型按照下述方式训练得到：获得待处理噪点效果图样本、所述待处理噪点效果图样本对应的辅助图，并获得参考噪点效果图样本、所述参考噪点效果图样本对应的辅助图、所述待处理噪点效果图对应的降噪后效果图样本；将所述待处理噪点效果图样本、所述待处理噪点效果图样本对应的辅助图，所述参考噪点效果图样本、所述参考噪点效果图样本对应的辅助图输入到初始降噪效果图获取模型中，生成所述待处理噪点效果图样本对应的降噪后效果图；
如果生成的所述待处理噪点效果图对应的降噪后效果图与已获得的所述待处理噪点效果图对应的降噪后效果图样本之间的差异数据满足预设的差异条件，则将所述初始降噪效果图获取模型确定为所述降噪效果图获取模型，否则，调整所述初始降噪效果图获取模型，直至所述生成的待处理噪点效果图对应的降噪后效果图与已获得的所述待处理噪点效果图对应的降噪后效果图样本之间的差异数据满足预设的差异条件为止，将所述生成的待处理噪点效果图对应的降噪后效果图与已获得的所述待处理噪点效果图对应的降噪后效果图样本之间的差异数据满足预设的差异条件时的初始降噪效果图获取模型，确定为所述降噪效果图获取模型。
可选的，所述获得所述待处理噪点效果图对应的降噪后效果图后，所述方法还包括：获得滤波参考效果图和所述滤波参考效果图对应的辅助图，所述滤波参考效果图和所述待处理噪点效果图对应的降噪后效果图是针对一个物理空间的布局设计的不同展示角度的降噪后效果图；根据所述降噪后效果图、所述降噪后效果图对应的辅助图、所述滤波参考效果图、所述滤波参考效果图对应的辅助图，获得所述降噪后效果图对应的滤波后效果图；其中，所述降噪后效果图对应的辅助图为所述待处理噪点效果图对应的辅助图。
可选的，所述根据所述降噪后效果图、所述降噪后效果图对应的辅助图、所述滤波参考效果图、所述滤波参考效果图对应的辅助图，获得所述降噪后效果图对应的滤波后效果图，包括：将与所述降噪后效果图相邻的滤波参考效果图，确定为相邻滤波参考效果图；将与所述降噪后效果图对应的辅助图相邻的滤波参考效果图对应的辅助图，确定为相邻滤波参考效果图对应的辅助图；
根据所述降噪后效果图对应的辅助图中的运动向量图和所述相邻滤波参考效果图，将所述相邻滤波参考效果图中的像素点映射到待生成的所述降噪后效果图对应的滤波后效果图中的像素点，获得映射后的相邻滤波参考效果图，并根据所述相邻滤波参考效果图和所述映射后的相邻滤波参考效果图，将所述相邻滤波参考效果图对应的辅助图中的像素点特征映射到所述待生成的所述降噪后效果图对应的滤波后效果图中的像素点特征，获得映射后的相邻滤波参考效果图对应的辅助图；
根据所述降噪后效果图、所述降噪后效果图对应的辅助图、所述映射后的相邻滤波参考效果图、所述映射后的相邻滤波参考效果图对应的辅助图，获得所述映射后的相邻滤波参考效果图的权重；根据所述映射后的相邻滤波参考效果图的权重、所述映射后的相邻滤波参考效果图、所述降噪后效果图，生成所述降噪后效果图对应的滤波后效果图。
可选的，所述根据所述降噪后效果图对应的辅助图中的运动向量图和所述相邻滤波参考效果图，将所述相邻滤波参考效果图中的像素点映射到待生成的所述降噪后效果图对应的滤波后效果图中的像素点，获得映射后的相邻滤波参考效果图，包括：针对所述相邻滤波参考效果图中的待映射像素点，根据所述降噪后效果图对应的辅助图中的运动向量图，确定所述待映射像素点在所述待生成的所述降噪后效果图对应的滤波后效果图中的位置，按照在所述待生成的所述降噪后效果图对应的滤波后效果图已确定位置的所有待映射像素点生成所述降噪后效果图对应的初始滤波后效果图，作为映射后的相邻滤波参考效果图。
可选的，所述根据所述相邻滤波参考效果图和所述映射后的相邻滤波参考效果图，将所述相邻滤波参考效果图对应的辅助图中的像素点特征映射到所述待生成的所述降噪后效果图对应的滤波后效果图中的像素点特征，获得映射后的相邻滤波参考效果图对应的辅助图，包括：
针对所述相邻滤波参考效果图对应的辅助图中的待映射像素点特征，确定所述待映射像素点特征在所述相邻滤波参考效果图所对应的第一像素点，根据所述相邻滤波参考效果图和所述映射后的相邻滤波参考效果图之间的像素点映射关系，确定所述第一像素点在所述映射后的相邻滤波参考效果图中对应的第二像素点，将所述待映射像素点特征确定为所述第二像素点的特征，根据所述映射后的相邻滤波参考效果图中已确定像素点特征的像素点的像素点特征，生成映射后的相邻滤波参考效果图对应的辅助图。
可选的，所述根据所述降噪后效果图、所述降噪后效果图对应的辅助图、所述映射后的相邻滤波参考效果图、所述映射后的相邻滤波参考效果图对应的辅助图，获得所述映射后的相邻滤波参考效果图的权重，包括：将所述降噪后效果图、所述降噪后效果图对应的辅助图、所述映射后的相邻滤波参考效果图、所述映射后的相邻滤波参考效果图对应的辅助图输入到滤波效果图获取模型中，获得所述映射后的相邻滤波参考效果图的权重，所述滤波效果图获取模型是用于根据降噪后效果图对应的辅助图、映射后的相邻滤波参考效果图对应的辅助图、获得所述映射后的相邻滤波参考效果图的权重。
可选的，所述滤波效果图获取模型是按照下述方式训练得到的：获得降噪后效果图样本、所述降噪后效果图样本对应的辅助图、滤波参考效果图样本、所述滤波参考效果图样本对应的辅助图，所述降噪后效果图样本对应的滤波后效果图样本，其中，所述降噪后效果图样本和所述滤波参考效果图样本是针对一个物理空间的布局设计的不同展示角度的降噪后效果图样本，所述降噪后效果图样本与滤波参考效果图样本为时序上相邻的效果图样本、所述降噪后效果图样本对应的辅助图与所述滤波参考效果图样本对应的辅助图为时序上相邻的辅助图；
根据所述降噪后效果图样本对应的辅助图中的运动向量图和所述滤波参考效果图样本，将所述滤波参考效果图样本中的像素点映射到待生成的降噪后效果图样本对应的滤波后效果图中的像素点，获得映射后的滤波参考效果图样本，并根据所述滤波参考效果图样本和所述映射后的滤波参考效果图样本，将所述滤波参考效果图样本对应的辅助图中的像素点特征映射到所述待生成的降噪后效果图样本对应的滤波后效果图中的像素点特征，获得映射后的滤波参考效果图样本对应的辅助图；
将所述降噪后效果图样本、所述降噪后效果图样本对应的辅助图、所述映射后的滤波参考效果图样本、所述映射后的滤波参考效果图样本对应的辅助图输入到初始滤波效果图获取模型中，获得映射后的滤波参考效果图样本的权重；根据所述映射后的滤波参考效果图样本的权重、所述映射后的滤波参考效果图样本、所述映射后的滤波参考效果图样本对应的辅助图、所述降噪后效果图样本、所述降噪后效果图样本对应的辅助图，生成所述降噪后效果图样本对应的滤波后效果图；
如果生成的所述降噪后效果图样本对应的滤波后效果图与已获得的所述降噪后效果图样本对应的滤波后效果图样本之间的差异数据满足预设的差异条件，则将所述初始滤波效果图获取模型确定为所述滤波效果图获取模型，否则，调整所述初始滤波效果图获取模型，直至利用调整后的滤波效果图获取模型获得的所述映射后的滤波参考效果图样本的权重使得生成的降噪后效果图样本对应的滤波后效果图与已获得的所述降噪后效果图样本对应的滤波后效果图样本之间的差异数据满足预设的差异条件为止，将生成的降噪后效果图样本对应的滤波后效果图与已获得的所述降噪后效果图样本对应的滤波后效果图样本之间的差异数据满足预设的差异条件时的初始滤波效果图获取模型确定为所述滤波效果图获取模型。
可选的，所述待处理噪点效果图对应的辅助图，包括：法向量图、深度图、纹理图和运动向量图中的一个或多个；所述参考噪点效果图对应的辅助图，包括：法向量图、深度图、纹理图中的一个或多个。
可选的，所述获得所述待处理噪点效果图对应的降噪后效果图后，所述方法还包括：根据所述待处理噪点效果图对应的降噪后效果图，生成所述降噪后效果图对应的降噪视频。
可选的，所述获得所述降噪后效果图对应的滤波后效果图后，所述方法还包括：根据所述降噪后效果图对应的滤波后效果图，生成所述滤波后效果图对应的滤波视频。
本申请实施例还提供一种图像滤波处理方法，所述方法包括：获得待滤波效果图和所述待滤波效果图对应的辅助图，并获得参考效果图和所述参考效果图对应的辅助图，所述待滤波效果图和所述参考效果图是针对一个物理空间的布局设计的不同展示角度的效果图；根据所述待滤波效果图和所述待滤波效果图对应的辅助图，以及所述参考效果图和所述参考效果图对应的辅助图，获得所述待滤波效果图对应的滤波后效果图。
本申请实施例还提供一种降噪视频生成方法，所述方法包括：获得待处理噪点效果图和所述待处理噪点效果图对应的辅助图，并获得参考噪点效果图和所述参考噪点效果图对应的辅助图，所述待处理噪点效果图和所述参考噪点效果图是针对一个物理空间的布局设计的不同展示角度的效果图；根据所述待处理噪点效果图和所述待处理噪点效果图对应的辅助图，以及所述参考噪点效果图和所述参考噪点效果图对应的辅助图，获得所述待处理噪点效果图对应的降噪后效果图；根据所述降噪后效果图，生成对应的降噪视频。
本申请实施例还提供一种滤波视频生成方法，所述方法包括：获得待滤波效果图和所述待滤波效果图对应的辅助图，并获得参考效果图和所述参考效果图对应的辅助图，所述待滤波效果图和所述参考效果图是针对一个物理空间的布局设计的不同展示角度的效果图；根据所述待滤波效果图和所述待滤波效果图对应的辅助图，以及所述参考效果图和所述参考效果图对应的辅助图，获得所述待滤波效果图对应的滤波后效果图；根据所述滤波后效果图，生成对应的滤波视频。
本申请实施例还提供一种图像降噪处理装置，包括：
获取单元，被配置为获得待处理噪点效果图和所述待处理噪点效果图对应的辅助图，并获得参考噪点效果图和所述参考噪点效果图对应的辅助图，所述待处理噪点效果图和所述参考噪点效果图是针对一个物理空间的布局设计的不同展示角度的效果图；
处理单元，被配置为根据所述待处理噪点效果图和所述待处理噪点效果图对应的辅助图，以及所述参考噪点效果图和所述参考噪点效果图对应的辅助图，获得所述待处理噪点效果图对应的降噪后效果图。
本申请实施例还提供一种图像滤波处理装置，包括：
获取单元，被配置为获得待滤波效果图和所述待滤波效果图对应的辅助图，并获得参考效果图和所述参考效果图对应的辅助图，所述待滤波效果图和所述参考效果图是针对一个物理空间的布局设计的不同展示角度的效果图；
处理单元，被配置为根据所述待滤波效果图和所述待滤波效果图对应的辅助图，以及所述参考效果图和所述参考效果图对应的辅助图，获得所述待滤波效果图对应的滤波后效果图。
本申请实施例还提供一种降噪视频生成装置，包括：
获取单元，被配置为获得待处理噪点效果图和所述待处理噪点效果图对应的辅助图，并获得参考噪点效果图和所述参考噪点效果图对应的辅助图，所述待处理噪点效果图和所述参考噪点效果图是针对一个物理空间的布局设计的不同展示角度的效果图；
第一处理单元，被配置为根据所述待处理噪点效果图和所述待处理噪点效果图对应的辅助图，以及所述参考噪点效果图和所述参考噪点效果图对应的辅助图，获得所述待处理噪点效果图对应的降噪后效果图；
第二处理单元，被配置为根据所述降噪后效果图，生成对应的降噪视频。本申请实施例还提供一种滤波视频生成装置，包括：
获取单元，被配置为获得待滤波效果图和所述待滤波效果图对应的辅助图，并获得参考效果图和所述参考效果图对应的辅助图，所述待滤波效果图和所述参考效果图是针对一个物理空间的布局设计的不同展示角度的效果图；
第一处理单元，被配置为根据所述待滤波效果图和所述待滤波效果图对应的辅助图，以及所述参考效果图和所述参考效果图对应的辅助图，获得所述待滤波效果图对应的滤波后效果图；
第二处理单元，被配置为根据所述滤波后效果图，生成对应的滤波视频。
本申请实施例还提供一种电子设备，包括处理器和存储器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现上述方法。
本申请实施例还提供一种计算机可读存储介质，其上存储有一条或多条计算机指令，该指令被处理器执行以实现上述方法。
与现有技术相比，本申请实施例具有以下优点：
本申请实施例提供的图像降噪处理方法、图像滤波处理方法及装置、电子设备、计算机可读存储介质，该图像降噪处理方法中，通过获得针对一个物理空间布局设计的不同展示角度的待处理噪点效果图、待处理噪点效果图对应的辅助图以及参考噪点效果图、参考噪点效果图对应的辅助图，由于上述参考噪点效果图与待处理噪点效果图的展示角度存在差异，在待处理噪点效果图的降噪处理过程中，将参考噪点效果图和参考噪点效果图对应的辅助图作为参照对象，进而实现待处理噪点效果图对应的降噪后效果图的生成；在参照过程中，能够实现待处理噪点效果图、待处理噪点效果图对应的辅助图与参考噪点效果图、参考噪点效果图对应的辅助图之间的信息关联，通过上述信息关联，能够极高效的降低上述降噪后效果图的噪点水平，该图像降噪处理方法生成的降噪后效果图噪点水平低。
附图说明
图1是本申请实施例对应的图像降噪处理的应用场景示意图。
图2是本申请实施例提供的一种图像降噪处理方法流程图。
图3是本申请实施例提供的一种待处理噪点效果图的样式示意图。
图4是本申请实施例提供的一种降噪后效果图的样式示意图。
图5是本申请实施例提供的一种图像滤波处理方法流程图。
图6是本申请实施例提供的一种降噪视频生成方法流程图。
图7是本申请实施例提供的一种滤波视频生成方法流程图。
图8是本申请实施例提供的一种图像降噪处理装置的单元框图。
图9是本申请实施例提供的一种降噪视频生成装置的单元框图。
图10是本申请实施例提供的电子设备的逻辑结构示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
首先，对本申请涉及的部分技术术语进行解释说明：
图像降噪技术，是指对视频中以帧为单位的图像进行降噪处理的技术；在降噪处理过程中，通常采用一定的方法在抑制或消除图像中噪点的同时，最大程度的维持图像原有的纹理和细节，进而达到提高图像视觉质量的目的。
渲染（Render），是指把模型或者场景输出成图像文件、视频信号或者电影胶片的程序；也可理解为将三维模型或场景绘制转化为二维图片的成像过程。
离线渲染，是指在计算出画面时并不显示画面，计算机根据预先定义好的光线、轨迹渲染图片，渲染完成后再将图片连续播放，实现动画效果；离线渲染主要依托于处理器（CPU）的计算能力。
神经网络（NNs），又称人工神经网络或连接模型，是一种通过模仿动物神经网络行为特征，进行分布式并行信息处理的数学算法模型。这种神经网络通过调整内部大量节点之间的相互连接关系，从而达到处理信息的目的，其自身具有自学习和自适应的能力。
法向量图，用于表征像素点在场景中对应位置的朝向信息。
深度图，用于表征被拍摄物体与相机之间的距离信息。
纹理图，用于表征像素点在场景中对应位置的贴图颜色信息。
运动向量图，用于表征当前帧像素点和相邻或相近帧对应像素点之间位置的偏差。
效果图，是指通过计算机仿真软件模拟真实环境获得的高仿真虚拟图片，其模拟效果越逼真，越能将真实环境中的各个细节表达地淋漓尽致。
蒙特卡洛光线追踪技术，是对传统逆向光线追踪技术的改进技术，用于在电影、特效、游戏、设计、建筑等领域提升图像的真实感。该方法是一种基于物理模型的渲染技术，其本质是通过大量的随机采样来模拟半球积分，通过上述方法的处理，具有高度复杂性的模型也能获得高真实度的图像。
为了便于理解本申请实施例提供的图像降噪处理方法，在介绍本申请实施例之前，先对该方法的应用场景进行详细说明。本申请实施例提供的图像降噪处理方法主要可以应用于计算机视觉技术领域，或者其他具有图像降噪处理需求的相关技术领域。
以下，首先对本申请实施例计算机视觉技术领域的应用场景进行示例说明。
图1为本申请一实施例提供的图像降噪处理的应用场景示意图。
如图1所示，本应用场景中，包括客户端101、服务端102；其中，本实施例中作为一种示意，客户端101与服务端102通过网络通信连接。
以图1为例进行详细说明，为了便于理解将上述方法应用在建筑家装设计的背景下进行说明，位于服务端102的服务器获取到客户端101发送的多组场景数据，服务端102的服务器将其进行渲染处理，生成待处理噪点效果图和待处理噪点效果图对应的辅助图，并生成参考噪点效果图和参考噪点效果图对应的辅助图，并将上述待处理噪点效果图、待处理噪点效果图对应的辅助图，以及参考噪点效果图、参考噪点效果图对应的辅助图进行降噪处理，生成待处理噪点效果图对应的降噪后效果图，服务端102将该待处理噪点效果图对应的降噪后效果图通过网络通信传输给客户端101，客户端将上述接收到的降噪后效果图进行展示。
需要说明的是，图1是本申请实施例提供的一种图像降噪处理的应用场景示意图，本申请实施例不对图1中包括的设备进行限定，不对客户端101及服务端102的数量进行限定。例如，满足图1所示的应用场景中，还可以包括数据存储设备，该数据存储设备相对客户端101、服务端102可以是外部存储器，也可以是集成在客户端101、服务端102的内部存储器。客户端101可以通过无线网络或有线网络与服务端102相连。
客户端101可以为智能手机、智能手环、平板电脑、可穿戴设备、多媒体播放器、电子阅读器等多种具备通信功能的设备，并且该客户端101的设备上对应安装有图像显示及视频播放功能的应用程序（Application，APP）；服务端102可以是一个服务器或若干服务器组成的集权，也可以是一个云计算服务中心。
在本申请的实施例中，以图1的应用场景作为示意。图1中的客户端101、服务端102的设备数量可以有所变化。上述各应用场景具体的实现过程可以参见以下各实施例的方案描述。在介绍完本申请实施例的应用场景，接下来对本申请一实施例提供的图像降噪处理方法进行介绍。
如前所述，针对现有的图像降噪处理过程中，存在图像噪声处理不够完全，降噪后的图像生成的视频稳定性不够等缺陷，为了解决现有技术存在的问题。本申请提供了一种图像降噪处理方法，以及与上述方法相对应的装置、电子设备。以下提供实施例对上述方法、装置、电子设备计算机可读存储介质进行详细说明。
本申请第二实施例提供一种图像降噪处理方法，该方法的应用主体可为服务端。
图2为本申请实施例提供的图像降噪处理方法的流程图，以下结合图2对本实施例提供的方法进行详细描述。以下描述所涉及的实施例是用来解释说明方法原理，不是实际使用的限定，需要理解的是，在本实施例中，用于进行降噪处理的图像是视频内的图像，也可称之为视频帧。
如图2所示，本实施例提供的图像降噪处理方法，应用在服务端，该方法包括如下步骤：
S201，获得待处理噪点效果图和待处理噪点效果图对应的辅助图，并获得参考噪点效果图和参考噪点效果图对应的辅助图，待处理噪点效果图和参考噪点效果图是针对一个物理空间的布局设计的不同展示角度的效果图；
本步骤的作用在于，获取用于降噪处理的待处理噪点效果图和待处理噪点效果图对应的辅助图，参考噪点效果图和参考噪点效果图对应的辅助图。
为了便于理解，本实施例在具有图像降噪处理需求的建筑家装设计背景下进行说明。
图像的噪点是指在拍摄的图像中，由于拍摄环境及拍摄设备等因素的影响，由外来像素（不该出现的像素）所形成的杂色斑点。从用户的视觉角度来看，具有噪点的图像看起来像被弄脏的图，布满了一些细小的糙点。图像的噪点作为图像中不希望存在的副产品，容易给图像带来错误和额外的信息，因此，需要对图像的噪点进行降噪处理。
上述待处理噪点效果图为具有噪点的待处理效果图，并用于进行降噪处理。为了更形象直观的了解上述待处理噪点效果图，请参考图3的示意，图3示出了一种家装设计中密闭空间内的待处理噪点效果图的样式示意图。
如图3所示出的待处理噪点效果图，可以观察到在图中左上方位置，明显存在诸多细小的白色糙点，由于这些噪点的存在，在客户视角中导致该图像呈现出模糊、杂乱不清的既视感。本实施例中，将上述如图3所示出的待处理噪点效果图进行降噪处理，获得对应的降噪后效果图。
本实施例中，待处理噪点效果图对应的辅助图，包括：法向量图、深度图、纹理图和运动向量图中的一个或多个；参考噪点效果图对应的辅助图，包括：法向量图、深度图、纹理图中的一个或多个。关于法向量图、深度图、纹理图、运动向量图的概念如前所述，法向量用于表征像素点在场景中对应位置的朝向信息。深度图用于表征被拍摄物体与相机之间的距离信息。纹理图用于表征像素点在场景中对应位置的贴图颜色信息。效果图用于展示仿真模拟软件对真实环境的模拟仿真效果。
为了便于理解，作出进一步解释，离线引擎处理过程中常用的方法为光线追踪技术，在实际应用过程中，离线引擎通常会模拟一条从相机位置发射的光线，这条光线与场景中的物体交会后根据光学原理进行反射，发生反射的光线又与场景中的其他物体进行交会，如此多次反射后到达光源，离线引擎会根据这一整条光线路径上的物体信息和光源信息计算出光线到达像相机处所表现出的颜色，而上述法向量图、深度图、纹理图和运动向量图是在相机位置发出的光线与场景做第一次交会时获得的信息，不需要光线在场景中发生多次反射。
在本实施例中，需要理解的是，待处理噪点效果图和参考噪点效果图在同一个物理空间的布局设计中的展示角度不同。在本实施例中，上述物理空间可以为开放空间，也可以为密闭空间。应用在建筑家装设计背景下，为了将上述物理空间的布局设计进行全方位显示，通常会在多个展示角度下（观察者的视角或者相机的视角）进行拍摄。因此，在本实施例中，为了将不同展示角度下拍摄的待处理噪点效果图、待处理噪点效果图对应的辅助图和参考噪点效果图、参考噪点效果图对应的辅助图进行区分，同一展示角度下的噪点效果图和噪点效果图对应的辅助图作为一组进行编号，不同展示角度下的噪点效果图和噪点效果图对应的辅助图按照拍摄时间先后顺序进行编号，各自对应有匹配的组序号。例如，待处理噪点效果图和待处理噪点效果图对应的辅助图对应的组序号为13、参考噪点效果图和参考噪点效果图对应的辅助图对应的组序号为14，上述组序号取值范围可以为自然数。
为了便于理解，进行举例说明针对一个街道开放物理空间的布局设计的不同展示角度的效果图，该街道物理空间下的待处理噪点效果图和该街道的参考噪点效果图，其观察角度存在差异。在本实施例中，上述待处理噪点效果图和参考噪点效果图可以理解为在同一视频内的视频帧，该视频具有多帧图像，待处理噪点效果图和参考噪点效果图可以为在同一视频内不同观察角度的图像，并且两者具有时序上的关联。
本实施例中，在获得待处理噪点效果图和待处理噪点效果图对应的辅助图之前，还包括以下步骤：
获得多组场景数据，多组场景数据中的一组场景数据用于表示一个场景的布局状态，一个场景为针对一个物理空间的布局设计的一个展示角度场景，多组场景数据为多个展示角度场景所需的展示数据。其中，一个场景对应上述物理空间的一个展示角度。需要理解的是，本实施中，上述多组场景数据为不同展示角度下的场景数据，并且一个场景与一个展示角度具有一一对应关系；
在获取上述处理噪点效果图和待处理噪点效果图对应的辅助图之前，根据第一实施例的应用场景示例，客户端将多组场景数据发送给服务端，位于服务端的服务器在接收到上述多组场景数据后，在进行降噪处理之前，需要将上述场景数据完成以下处理：
根据多组场景数据中的一组待处理场景数据，生成待处理噪点效果图和待处理噪点效果图对应的辅助图；
根据多组场景数据中除待处理场景数据之外的至少一组场景数据，生成参考噪点效果图和参考噪点效果图对应的辅助图。
在本实施例中，上述多组场景数据的来源为三维空间，三维空间的布局参数用于表明该场景的空间布局状态，例如，房间内部所存在物品的布局（如家具模型的摆放布局），以及与该物品相关的形态数据（如摆放的家具模型的相关参数），并且上述多组场景数据中的任意一组场景数据可根据三维空间的布局参数生成对应的展示数据。该展示数据可用于在客户端的显示界面进行该物理空间显示的数据。需要理解的是，在上述多组场景数据进行渲染处理之前，用户需要首先完成房间内部的设计。
在本实施例中，应用在家装设计的背景下，通过将上述多组场景数据在服务端的渲染引擎中进行渲染处理，可将三维场景下的数据转化为二维待处理噪点效果图和待处理噪点效果图对应的辅助图、参考噪点效果图和参考噪点效果图对应的辅助图。
通过上述步骤，本实施例获取了用于进行降噪处理的待处理噪点效果图、待处理噪点效果图对应的辅助图、参考噪点效果图、参考噪点效果图对应的辅助图。
S202，根据待处理噪点效果图和待处理噪点效果图对应的辅助图，以及参考噪点效果图和参考噪点效果图对应的辅助图，获得待处理噪点效果图对应的降噪后效果图。
本步骤的作用在于获得降噪处理后的降噪后效果图。该降噪后效果图是根据待处理噪点效果图、待处理噪点效果图对应的辅助图，以及参考噪点效果图、参考噪点效果图对应的辅助图上述类型效果图和辅助图处理后获得。
在本实施例中，将待处理噪点效果图、待处理噪点效果图对应的辅助图，以及参考噪点效果图、参考噪点效果图对应的辅助图作为降噪效果图获取模型的输入，降噪效果图获取模型根据上述效果图及辅助图生成待处理噪点效果图对应的降噪后效果图。
为了便于待处理噪点效果图对应的降噪后效果图的匹配，将待处理噪点效果图与降噪后效果图进行相同编号。例如，待处理噪点效果图的组序号为100，则上述待处理噪点效果图对应的降噪后效果图的组序号为100。
在本实施例中，上述降噪效果图获取模型可以采用双向循环神经网络模型，该神经网络模型是由卷积层、激活层等构成的数学算法模型，是一种具有自学习和自适应能力的神经网络模型。该神经网络模型在生成当前帧图像对应的降噪后效果图时，会同时用到与当前帧图像相邻的视频帧图像的信息。本申请实施例的双向循环网络模型是根据初始双向循环网络模型进行深度学习训练得来。为了便于理解，本实施例中在降噪效果图获取模型输入的待处理噪点效果图，采用图3中示出的家装设计中密闭空间内的待处理噪点效果图的样式示意图进行举例。在家装设计的背景下，图像降噪处理所用的引擎通常为蒙特卡洛光线追踪引擎。
在本实施例中，降噪效果图获取模型按照下述方式进行处理：
获得待处理噪点效果图对应的辅助图中的运动向量图；
关于运动向量图的解释如前所述，可用于表征当前帧图像内像素点和相邻或相近帧图像对应像素点之间位置的偏差。在本实施例中，作为视频内的待处理噪点效果图对应的辅助图，由于视频存在动画连续性，上述待处理噪点效果图作为诸多具有时间关联性的视频帧中的一帧图像，其自身具有相邻帧。运动向量图可用于表示待处理噪点效果图与相邻噪点效果图之间的关联关系；运动向量图还可用于表示待处理噪点效果图与相近噪点效果图之间的关联关系。
例如，在同一物理空间的多展示角度图像中，第T组待处理噪点效果图，表示组序号为T的待处理噪点效果图，与第T组待处理噪点效果图相邻的第T+2组参考噪点效果图，表示组序号为T+2的参考噪点效果图，上述第T组的待处理噪点效果图对应的辅助图中的运动向量图内的信息（2、13）用于表示第T组待处理噪点效果图内的像素点与第T+2组参考噪点效果图的像素点之间的映射关系，该映射关系可表示对应像素点之间的位置偏差。为了便于理解，进行举例说明，本步骤获得的是第T组待处理噪点效果图对应的辅助图中的运动向量图。
根据待处理噪点效果图对应的辅助图中的运动向量图，将参考噪点效果图对应的特征信息映射至待处理噪点效果图中，获得待处理噪点效果图对应的初始特征信息；
上述特征信息是指降噪效果图获取模型根据自适应算法抽象计算获得的特征信息，特征信息作为效果图的一种表征方式，是双向循环网络模型在高维空间中的抽象表达，并非可具象化的特征信息。特征信息可根据自身的来源将进行区分，例如，在同一物理空间的多展示角度图像中，从当前帧图像的前向图抽象计算得来的特征信息可定义为正向特征信息；从当前帧图像的后向图抽象计算得来的特征信息可定义为反向特征信息。在本实施例中，为了便于理解，将上述特征信息用抽象化的符号进行表示，例如“#abcd”。
在本实施例中，根据待处理噪点效果图对应的辅助图中的运动向量图，将参考噪点效果图对应的特征信息映射至待处理噪点效果图中，获得待处理噪点效果图对应的初始特征信息，包括：
根据待处理噪点效果图对应的辅助图中的运动向量图和参考噪点效果图，将参考噪点效果图对应的特征信息中的像素点特征映射到待处理噪点效果图中的像素点，获得待处理噪点效果图对应的初始特征信息。
上述将参考噪点效果图对应的特征信息中的像素点特征映射到待处理噪点效果图中的像素点，可以理解为，将第T+n组参考噪点效果图中像素点A的特征信息“#abcd”，根据第T+n组参考噪点效果图与第T组待处理噪点效果图之间的映射关系，将像素点A的特征信息“#abcd”映射至第T组待处理噪点效果图中的像素点A’，因此，第T组待处理噪点效果图对应的初始特征信息对应的初始特征信息至少为“#abcd”。
由于特征信息如前所述并非具象化的特征，因此，本步骤的映射也可理解为降噪效果图获取模型（双向循环网络模型），在高维空间的特征信息的直接映射。将上述映射后的待处理噪点效果图获得的特征信息，作为该待处理噪点效果图的初始特征信息。
在获得待处理噪点效果图对应的初始特征信息后，根据待处理噪点效果图对应的初始特征信息、待处理噪点效果图、待处理噪点效果图对应的辅助图、参考噪点效果图和参考噪点效果图对应的辅助图，生成待处理噪点效果图对应的降噪后效果图。
需要理解的是，在本申请实施例中，在降噪后效果图的获取过程中，可通过具有时序性的初始特征信息，获取待处理噪点效果图对应的降噪后效果图。
为了便于理解作出进一步说明，根据前文描述，初始特征信息是根据待处理噪点效果图对应的辅助图中的运动向量图，将参考噪点效果图对应的特征信息映射至待处理噪点效果图中，获得的待处理噪点效果图对应的初始特征信息。由于在同一物理空间的多展示角度图像中，存在诸多图像，因此获取的参考噪点效果图具有多样性，与参考噪点效果图对应的特征信息同样存在多样性。
在本实施例中，根据待处理噪点效果图对应的初始特征信息、待处理噪点效果图、待处理噪点效果图对应的辅助图、参考噪点效果图和参考噪点效果图对应的辅助图，生成待处理噪点效果图对应的降噪后效果图，包括：
根据待处理噪点效果图对应的初始特征信息、待处理噪点效果图、待处理噪点效果图对应的辅助图、参考噪点效果图和参考噪点效果图对应的辅助图，获得待处理噪点效果图对应的特征信息；
根据待处理噪点效果图对应的特征信息，生成待处理噪点效果图对应的降噪后效果图。
为了便于理解，作出进一步解释，为了提高降噪后效果图对应视频的稳定性，可通过待处理噪点效果图对应的初始特征信息、待处理噪点效果图、待处理噪点效果图对应的辅助图、参考噪点效果图和参考噪点效果图对应的辅助图的信息，获得待处理噪点效果图对应的特征信息，可实现上述视频的稳定性提高。
如前文所述，从当前图像的前向图抽象计算得来的特征信息定义为正向特征信息；从当前图像的后向图抽象计算得来的特征信息定义为反向特征信息。由此可以理解，根据参考噪点效果图相对于待处理噪点效果图的时序性，位于待处理噪点效果图时序上前向的参考噪点效果图，从其图内抽象计算得来的特征信息为正向特征信息；将上述正向特征信息映射至待处理噪点效果图中，获得待处理噪点效果图对应的正向初始特征信息。同理可知，位于待处理噪点效果图时序上后向的参考噪点效果图，从其图内抽象计算得来的特征信息为反向特征信息，将上述反向特征信息映射至待处理噪点效果图中，获得待处理噪点效果图对应的反向初始特征信息。
在本实施例中，作为第一种可行方式，对应于上述具有时序性的正向初始特征信息，根据待处理噪点效果图对应的正向初始特征信息、待处理噪点效果图、待处理噪点效果图对应的辅助图、参考噪点效果图、参考噪点效果图对应的辅助图，输入到降噪后效果图中，也可生成上述待处理噪点效果图对应的一种降噪后效果图，通过上述方式生成的降噪后效果图，其噪点水平低。
本实施例的第二种获取降噪后效果图的可行方式，可根据具有时序性的反向初始特征信息，也可生成上述待处理噪点效果图对应的另一种降噪后效果图，通过上述方式生成的降噪后效果图，其噪点水平低。需要理解的是，用于生成降噪后效果图的初始特征信息存在差异，对应生成的待处理噪点效果图对应的降噪后效果图也存在一定差异性。
本实施例的第三种获取降噪后效果图的可行方式，可根据具有时序性的正向初始特征信息及反向初始特征信息，获取与之对应的待处理噪点效果图对应的另一种降噪后效果图。
为了便于理解，对上述第三种可行方式进行举例说明，根据获取的第T组的待处理噪点效果图的前序相邻组第T-1组参考噪点效果图，及第T-1组参考噪点效果图对应的辅助图，降噪效果图获取模型从上述第T-1组的参考噪点效果图和第T-1组参考噪点效果图对应的辅助图抽象计算获得的特征信息为正向特征信息，例如，“#abcd”。根据获取第T组的待处理噪点效果图的后序相邻组第T+1组参考噪点效果图，及第T+1组参考噪点效果图对应的辅助图；降噪效果图获取模型从上述第T+1组的参考噪点效果图和第T+1组参考噪点效果图对应的辅助图抽象计算获得的特征信息为反向特征信息，例如，“gbfk^”。
将上述第T-1组正向特征信息“#abcd”映射到第T组待处理噪点效果图中，上述正向特征信息“#abcd”作为第T组待处理噪点效果图对应的正向初始特征信息。将上述第T+1组反向特征信息“gbfk^”映射至第T组待处理噪点效果图中，上述反向特征信息“gbfk^”作为第T组待处理噪点效果图对应的反向初始特征信息。
根据第T组待处理噪点效果图对应的正向初始特征信息“#abcd”、第T组待处理噪点效果图、第T组待处理噪点效果图对应的辅助图、第T-1组参考噪点效果图、第T-1组参考噪点效果图对应的辅助图，可获得第T组待处理噪点效果图对应的特征信息，‘#abcd’。
根据第T组待处理噪点效果图对应的反向初始特征信息“gbfk^”、第T组待处理噪点效果图、第T+1组参考噪点效果图、第T+1组参考噪点效果图对应的辅助图，可获得第T组待处理噪点效果图对应的特征信息，‘gbfk^’。
根据上述两种第T组待处理噪点效果图对应的特征信息‘#abcd’、‘gbfk^’，生成第T组待处理噪点效果图对应的降噪后效果图。
上述第三种可行方式，由于根据第T组待处理噪点效果图的前序相邻组第T-1组参考噪点效果图，及第T-1组参考噪点效果图对应的辅助图、后序相邻组第T+1组参考噪点效果图，及第T+1组参考噪点效果图对应的辅助图，生成第T组待处理噪点效果图对应的降噪后效果图。该降噪后效果图对应生成的视频，由于降噪后效果图与前序、后序参考噪点效果图的时序关联性较强，因此，对应生成的视频可消除帧间抖动，其视频稳定性较高、视频降噪效果好。
为了便于理解，本实施例中，与前述步骤图3所示出的家装设计中密闭空间内的待处理噪点效果图的样式示意图相对应，降噪效果图获取模型输出了如图4所示的家装设计中密闭空间内的降噪后效果图的样式示意图。从图中可以看出，通过上述图像降噪处理，图像内的细小糙点（噪点）消失，降噪后的效果图图像清晰、画质细腻。
在本实施例中，降噪效果图获取模型具有提取单元和重建单元，根据上述待处理噪点效果图对应的初始特征信息、待处理噪点效果图、待处理噪点效果图对应的辅助图、相邻参考噪点效果图和相邻参考噪点效果图对应的辅助图完成待处理噪点效果图对应的特征信息的提取后，降噪效果图获取模型的重建单元会根据待处理噪点效果图对应的特征信息进行降噪后效果图的合成。
应用于本实施例的降噪效果图获取模型是通过一定训练方式得到的，其训练方式如下：
获得待处理噪点效果图样本、待处理噪点效果图样本对应的辅助图，并获得参考噪点效果图样本、参考噪点效果图样本对应的辅助图、待处理噪点效果图对应的降噪后效果图样本；
将待处理噪点效果图样本、待处理噪点效果图样本对应的辅助图，参考噪点效果图样本、参考噪点效果图样本对应的辅助图输入到初始降噪效果图获取模型中，生成待处理噪点效果图样本对应的降噪后效果图；
如果生成的待处理噪点效果图对应的降噪后效果图与已获得的待处理噪点效果图对应的降噪后效果图样本之间的差异数据满足预设的差异条件，则将初始降噪效果图获取模型确定为降噪效果图获取模型，否则，调整初始降噪效果图获取模型，直至生成的待处理噪点效果图对应的降噪后效果图与已获得的待处理噪点效果图对应的降噪后效果图样本之间的差异数据满足预设的差异条件为止，将生成的待处理噪点效果图对应的降噪后效果图与已获得的待处理噪点效果图对应的降噪后效果图样本之间的差异数据满足预设的差异条件时的初始降噪效果图获取模型，确定为降噪效果图获取模型。
本实施例的上述步骤，通过在待处理噪点效果图对应的降噪后效果图生成过程中，利用待处理噪点效果图、待处理噪点效果图对应的辅助图与参考噪点效果图、参考噪点效果图对应的辅助图，可极大程度降低所生成效果图的噪点水平。
获得上述待处理噪点效果图对应的降噪后效果图之后，可根据该降噪后效果图，生成与之对应的降噪视频。在本实施例中，上述降噪后效果图在对应降噪视频中的帧序号与降噪后效果图的组序号进行相同编号，按照降噪后效果图的组序号将上述降噪后效果图进行排序，生成相应的降噪视频，上述降噪视频具有良好的稳定性。
在本实施例中，获得待处理噪点效果图对应的降噪后效果图后，还可实施以下步骤：
获得滤波参考效果图和滤波参考效果图对应的辅助图，滤波参考效果图和待处理噪点效果图对应的降噪后效果图是针对一个物理空间的布局设计的不同展示角度的降噪后效果图；
根据降噪后效果图、降噪后效果图对应的辅助图、滤波参考效果图、滤波参考效果图对应的辅助图，获得降噪后效果图对应的滤波后效果图；其中，降噪后效果图对应的辅助图为待处理噪点效果图对应的辅助图。
在该步骤中，通过将上述步骤获得的降噪后效果图用于进行滤波处理，实现降噪后效果图的进一步优化。
其中，根据降噪后效果图、降噪后效果图对应的辅助图、滤波参考效果图、滤波参考效果图对应的辅助图，获得降噪后效果图对应的滤波后效果图，包括：
将与降噪后效果图相邻的滤波参考效果图，确定为相邻滤波参考效果图；将与降噪后效果图对应的辅助图相邻的滤波参考效果图对应的辅助图，确定为相邻滤波参考效果图对应的辅助图。
例如，以第T组的降噪后效果图，第T组的降噪后效果图对应的辅助图为例进行说明，将与第T组的降噪后效果图相邻的第T-1组滤波参考效果图确定为第T-1组相邻滤波参考效果图、将与第T组的降噪后效果图相邻的第T+1组滤波参考效果图确定为第T+1组相邻滤波参考效果图；将与第T组的降噪后效果图对应的辅助图相邻的第T-1组滤波参考效果图对应的辅助图确定为第T-1组相邻滤波参考效果图对应的辅助图、将与第T组的降噪后效果图对应的辅助图相邻第T+1组滤波参考效果图对应的辅助图确定为第T+1组相邻滤波参考效果图对应的辅助图。
根据降噪后效果图对应的辅助图中的运动向量图和相邻滤波参考效果图，将相邻滤波参考效果图中的像素点映射到待生成的降噪后效果图对应的滤波后效果图中的像素点，获得映射后的相邻滤波参考效果图，并根据相邻滤波参考效果图和映射后的相邻滤波参考效果图，将相邻滤波参考效果图对应的辅助图中的像素点特征映射到待生成的降噪后效果图对应的滤波后效果图中的像素点特征，获得映射后的相邻滤波参考效果图对应的辅助图；
为了便于理解，进行举例说明，在滤波处理过程中，由于降噪后效果图对应的辅助图中的运动向量图用于表示降噪后效果图像素点和相邻滤波参考效果图对应像素点之间位置的偏差；因此，根据第T组的降噪后效果图对应的辅助图中的运动向量图，在第T-1组相邻滤波参考效果图，第T+1组相邻滤波参考效果图的基础上，可对第T组降噪后效果图对应的滤波后效果图进行预估。
在本方案中，需要理解的是，在同一物理空间的多展示角度图像中，由于多个图像之间具有动画连续性，待滤波的降噪后效果图与其相邻滤波参考效果图之间存在像素点的关联关系；例如，第120组的降噪后效果图中，像素点A出现在图像坐标（100，100）的位置，在第121组的相邻滤波参考效果图中，像素点A出现在对应第121组图像的（101，98）的位置，那么在第121组相邻滤波参考效果图中像素点A的前序运动向量值为（-1，2）。该前序运动向量（-1，2）用以表明第121组相邻滤波参考效果图与第120组降噪后效果图的像素点间的对应关系。
在本实施例中，根据降噪后效果图对应的辅助图中的运动向量图和相邻滤波参考效果图，将相邻滤波参考效果图中的像素点映射到待生成的降噪后效果图对应的滤波后效果图中的像素点，获得映射后的相邻滤波参考效果图，包括：
针对相邻滤波参考效果图中的待映射像素点，根据降噪后效果图对应的辅助图中的运动向量图，确定待映射像素点在待生成的降噪后效果图对应的滤波后效果图中的位置，按照在待生成的降噪后效果图对应的滤波后效果图已确定位置的所有待映射像素点生成降噪后效果图对应的初始滤波后效果图，作为映射后的相邻滤波参考效果图。
例如，将第121组相邻滤波参考效果图中的待映射像素点A，其在第121组图像中的坐标为（101，98），根据第120组降噪后效果图中的后序运动向量（1，-2），确定待映射像素点A在待生成的第120组降噪后效果图中的位置为（100，100），由此将映射像素点A在待生成的第120组降噪后效果图中的位置确定。在推断映射后的像素点A在待生成的第120组降噪后效果图中的颜色时，就可以将第121组相邻滤波参考效果图中的待映射像素点A的颜色作为参考。由于在第121组相邻滤波参考效果图中的待映射像素点数量较多，根据待生成的第120组降噪后效果图中已确定位置的所有待映射像素点A、B、C…，生成第120组初始待滤波效果图，作为映射后的第121组相邻滤波参考效果图。
在本实施例中，根据相邻滤波参考效果图和映射后的相邻滤波参考效果图，将相邻滤波参考效果图对应的辅助图中的像素点特征映射到待生成的降噪后效果图对应的滤波后效果图中的像素点特征，获得映射后的相邻滤波参考效果图对应的辅助图，包括：
针对相邻滤波参考效果图对应的辅助图中的待映射像素点特征，确定待映射像素点特征在相邻滤波参考效果图所对应的第一像素点，根据相邻滤波参考效果图和映射后的相邻滤波参考效果图之间的像素点映射关系，确定第一像素点在映射后的相邻滤波参考效果图中对应的第二像素点，将待映射像素点特征确定为第二像素点的特征，根据映射后的相邻滤波参考效果图中已确定像素点特征的像素点的像素点特征，生成映射后的相邻滤波参考效果图对应的辅助图。
本步骤用于获取映射后的相邻滤波参考效果图对应的辅助图，为了便于理解，进行举例说明。
为了确定第121组映射后的相邻滤波参考效果图对应的辅助图中的待映射像素点特征，需要先确定该待映射像素点特征在第121组相邻滤波参考效果图中的第一像素点A，该第一像素点A的像素点特征的法向量图中的朝向数据为（2、9、-13），由于第121组相邻滤波参考效果图与第121组映射后的相邻降噪参考效果图之间存在像素点的映射关系，即在第121组相邻滤波参考效果图中的第一像素点A，在第121组映射后的相邻降噪参考效果图中根据映射关系对应的像素点为A’，该像素点A’为第二像素点，那么，将像素点A的像素点特征的朝向数据为（2、9、-13）确定为第二像素点A’的像素点特征的朝向数据，上述第二像素点A’的像素点特征的朝向数据，该朝向数据可用于生成第121组映射后的相邻降噪参考效果图对应的辅助图。由于第121组相邻滤波参考效果图中待映射像素点的数量较多，可根据多个映射后的相邻滤波参考效果图中已确定像素点特征的像素点的像素点特征，生成第121组映射后的相邻滤波参考效果图对应的辅助图。
对应于上述的举例说明，本实施例还存在下述几种情况：
第一种情况，第121组相邻滤波参考效果图中的第一像素点A，根据映射关系在无法找到对应的第二像素点A’，那么在该情况下，不能将第一像素点A的朝向数据为（2、9、-13）用于确定第二像素点A’的像素点特征的朝向数据。
第二种情况，第121组映射后的相邻降噪参考效果图中的第二像素点为A’，根据映射关系在第121组相邻滤波参考效果图中无法找到与之对应的第一像素点A，那么可根据第第122组降噪参考效果图中寻找与之对应的第三像素点A’’’，并将第三像素点A’’’的像素点特征确定为第二像素点A’的像素点特征。
在本实施例中，相邻滤波参考效果图对应的辅助图包括相邻滤波参考效果图对应的辅助图的法向量图，相邻滤波参考效果图对应的辅助图中的像素点特征包括相邻滤波参考效果图中的像素点的朝向数据；
或者，相邻滤波参考效果图对应的辅助图包括相邻滤波参考效果图对应的辅助图的深度图，相邻滤波参考效果图对应的辅助图中的像素点特征包括相邻滤波参考效果图中的像素点的深度数据；深度数据用于表示相邻滤波参考效果图中的像素点与成像点之间的距离；
或者，相邻滤波参考效果图对应的辅助图包括相邻滤波参考效果图对应的辅助图的纹理图，相邻滤波参考效果图对应的辅助图中的像素点特征包括相邻滤波参考效果图中的像素点的贴图颜色数据。
通过上述步骤，获得映射后的相邻滤波参考效果图及映射后的相邻滤波参考效果图对应的辅助图后，需要根据上述效果图及辅助图，获取映射后的相邻滤波参考效果图的权重。
根据降噪后效果图、降噪后效果图对应的辅助图、映射后的相邻滤波参考效果图、映射后的相邻滤波参考效果图对应的辅助图，获得映射后的相邻滤波参考效果图的权重；
本实施例中，降噪后效果图对应的滤波后效果图是通过计算获得的，相对于映射后的相邻滤波参考效果图，通过将映射后的相邻滤波参考效果图对应的辅助图与上述降噪后效果图对应的辅助图进行比较，以获得映射后的滤波参考效果图的权重，该权重用于计算生成滤波后效果图。具体过程如下：
将降噪后效果图、降噪后效果图对应的辅助图、映射后的相邻滤波参考效果图、映射后的相邻滤波参考效果图对应的辅助图输入到滤波效果图获取模型中，获得映射后的相邻滤波参考效果图的权重，滤波效果图获取模型是用于根据降噪后效果图对应的辅助图、映射后的相邻滤波参考效果图对应的辅助图、获得映射后的相邻滤波参考效果图的权重。
在本实施例中，降噪后效果图对应的辅助图包括与其对应的法向量图、深度图、纹理图和运动向量图中的一个或多个；映射后的相邻滤波参考效果图对应的辅助图包括与其对应的法向量图、深度图、纹理图中的一个或多个。
滤波效果图获取模型在处理过程中，根据降噪后效果图对应的辅助图的法向量图与映射后的相邻滤波参考效果图对应的辅助图的法向量图，计算出两者的法向量差值，根据上述法向量差值，计算出降噪后效果图对应的辅助图的法向量图与映射后的相邻滤波参考效果图对应的辅助图的法向量图的权重参数；依次类推，获得深度图的权重参数、纹理图的权重参数，根据法向量图、深度图、纹理图各自的权重参数通过比例计算获得辅助图的权重参数。根据降噪后效果图和映射后的相邻滤波参考效果图的像素点特征的差值，计算出上述效果图的权重参数；结合上述辅助图的权重参数和效果图的权重参数，进而获得映射后的相邻滤波参考效果图的权重。
本实施例中，将映射后的相邻滤波参考效果图分为映射后的前序相邻滤波参考效果图、映射后的后序相邻滤波参考效果图；映射后的前序相邻滤波参考效果图的权重计算公式、映射后的后序相邻滤波参考效果图的权重计算公式如下：
Figure 567257DEST_PATH_IMAGE001
Figure 422081DEST_PATH_IMAGE002
其中，Wpre表示映射后的前序相邻滤波参考效果图的权重，Wnext表示映射后的后序相邻滤波参考效果图的权重；Cpre表示映射后的前序相邻滤波参考效果图，Ccurr表示降噪后效果图，Cnext表示映射后的后序相邻滤波参考效果图；tpre表示映射后的前序相邻滤波参考效果图对应的辅助图的纹理图，tcurr表示降噪后效果图对应的辅助图的纹理图，tnext表示映射后的后序相邻滤波参考效果图对应的辅助图的纹理图；npre表示映射后的前序相邻滤波参考效果图对应的辅助图的法向量图，ncurr表示降噪后效果图对应的辅助图的法向量图，nnext表示映射后的后序相邻滤波参考效果图对应的辅助图的法向量图；dpre表示映射后的前序相邻滤波参考效果图对应的辅助图的深度图，dcurr表示降噪后效果图对应的辅助图的深度图，dnext表示映射后的后序相邻滤波参考效果图对应的辅助图的深度图；ac表示效果图的权重参数，at表示纹理图的权重参数，an表示法向量图的权重参数，ad表示深度图的权重参数。
通过上述公式，获得了用于生成映射后的相邻滤波参考效果图的权重参数。
在本实施例中，上述滤波效果图获取模型是由卷积层、激活层等构成的数学算法模型，是一种具有自学习和自适应能力是神经网络模型；上述滤波效果图获取模型具有权重计算单元，权重计算单元用于输出映射后的相邻滤波参考效果图的权重计算结果。该滤波效果图获取模型是按照下述方式训练得到的：
获得降噪后效果图样本、降噪后效果图样本对应的辅助图、滤波参考效果图样本、滤波参考效果图样本对应的辅助图，降噪后效果图样本对应的滤波后效果图样本，其中，降噪后效果图样本和滤波参考效果图样本是针对一个物理空间的布局设计的不同展示角度的降噪后效果图样本，降噪后效果图样本与滤波参考效果图样本为时序上相邻的效果图样本、降噪后效果图样本对应的辅助图与滤波参考效果图样本对应的辅助图为时序上相邻的辅助图；
根据降噪后效果图样本对应的辅助图中的运动向量图和滤波参考效果图样本，将滤波参考效果图样本中的像素点映射到待生成的降噪后效果图样本对应的滤波后效果图中的像素点，获得映射后的滤波参考效果图样本，并根据滤波参考效果图样本和映射后的滤波参考效果图样本，将滤波参考效果图样本对应的辅助图中的像素点特征映射到待生成的降噪后效果图样本对应的滤波后效果图中的像素点特征，获得映射后的滤波参考效果图样本对应的辅助图；
将降噪后效果图样本、降噪后效果图样本对应的辅助图、映射后的滤波参考效果图样本、映射后的滤波参考效果图样本对应的辅助图输入到初始滤波效果图获取模型中，获得映射后的滤波参考效果图样本的权重；
根据映射后的滤波参考效果图样本的权重、映射后的滤波参考效果图样本、映射后的滤波参考效果图样本对应的辅助图、降噪后效果图样本、降噪后效果图样本对应的辅助图，生成降噪后效果图样本对应的滤波后效果图；
如果生成的降噪后效果图样本对应的滤波后效果图与已获得的降噪后效果图样本对应的滤波后效果图样本之间的差异数据满足预设的差异条件，则将初始滤波效果图获取模型确定为滤波效果图获取模型，否则，调整初始滤波效果图获取模型，直至利用调整后的滤波效果图获取模型获得的映射后的滤波参考效果图样本的权重使得生成的降噪后效果图样本对应的滤波后效果图与已获得的降噪后效果图样本对应的滤波后效果图样本之间的差异数据满足预设的差异条件为止，将生成的降噪后效果图样本对应的滤波后效果图与已获得的降噪后效果图样本对应的滤波后效果图样本之间的差异数据满足预设的差异条件时的初始滤波效果图获取模型确定为滤波效果图获取模型。
通过上述步骤，完成初始滤波效果图获取模型到用于图像滤波处理的滤波效果图获取模型的训练。
在本实施例中，根据映射后的相邻滤波参考效果图的权重、映射后的相邻滤波参考效果图、降噪后效果图，生成降噪后效果图对应的滤波后效果图。生成降噪后效果图对应的滤波后效果图的计算公式为：
Figure 467397DEST_PATH_IMAGE003
其中，Ccompose表示降噪后效果图对应的滤波后效果图；Cpre表示映射后的前序相邻滤波参考效果图，Ccurr表示降噪后效果图，Cnext表示映射后的后序相邻滤波参考效果图；Wpre表示映射后的前序相邻滤波参考效果图的权重，Wnext表示映射后的后序相邻滤波参考效果图的权重。
上述公式中的效果图其本质为RGB图像，RGB代表了红、绿、蓝三个通道的颜色，RGB图像是指用RGB颜色模式来显示的图像，是通过对红（R）、绿（G）、蓝（B）三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的图像，该图像几乎包括了人类视力所能感知的所有颜色。
由于上述公式中的效果图的RGB图像，其图像内的每个像素点均存储有对应的R、G、B数据值，因此，上述公式的各效果图直接进行计算的对象为RGB数据值。
在获得上述降噪后效果图对应的滤波后效果图之后，还可根据降噪后效果图对应的滤波后效果图，生成滤波后效果图对应的滤波视频。
通过上述步骤，本实施例在生成降噪后效果图对应的滤波后效果图的过程中，引入了相邻滤波参考效果图、相邻滤波参考效果图对应的辅助图的信息进行关联，及高效的降低了图像的噪点水平，根据该滤波后效果图生成的滤波视频，消除了视频帧间的抖动，提高了视频的稳定性。
与上述实施例相对应，本申请第三实施例另外提供一种图像滤波处理方法，该方法的应用主体可以为服务端。图5为本申请实施例提供的图像滤波处理方法的流程图，以下结合图5对本实施例提供的方法进行详细描述。以下描述所涉及的实施例是用来解释说明方法原理，不是实际使用的限定。相关细节请参考上述第二实施例的描述，在此不再赘述。
为了便于理解，本实施例主要以服务端为执行主体进行说明。以下描述所涉及的实施例是用来解释说明方法原理，不是实际使用的限定。如图5所示，本实施例提供的图像滤波处理方法包括如下步骤：
S501，获得待滤波效果图和待滤波效果图对应的辅助图，并获得参考效果图和参考效果图对应的辅助图，待滤波效果图和参考效果图是针对一个物理空间的布局设计的不同展示角度的效果图；
S502，根据待滤波效果图和待滤波效果图对应的辅助图，以及参考效果图和参考效果图对应的辅助图，获得待滤波效果图对应的滤波后效果图；
本实施例提供的图像滤波处理方法，在生成滤波后效果图的过程中，通过待滤波效果图、待滤波效果图对应的辅助图和参考效果图、参考效果图对应的辅助图，其生成的待滤波效果图对应的滤波后效果图噪点水平低，由该滤波后效果图生成的滤波视频稳定性较高。
本申请第四实施例还提供一种降噪视频生成方法，该方法的应用主体可以为服务端。图6为本申请实施例提供的降噪视频生成方法的流程图，以下结合图6对本实施例提供的方法进行详细描述。相关细节请参考上述第二实施例的描述，在此不再赘述。
如图6所示，本实施例提供的降噪视频生成方法，包括如下步骤：
S601，获得待处理噪点效果图和待处理噪点效果图对应的辅助图，并获得参考噪点效果图和参考噪点效果图对应的辅助图，待处理噪点效果图和参考噪点效果图是针对一个物理空间的布局设计的不同展示角度的效果图；
S602，根据待处理噪点效果图和待处理噪点效果图对应的辅助图，以及参考噪点效果图和参考噪点效果图对应的辅助图，获得待处理噪点效果图对应的降噪后效果图；
S603，根据降噪后效果图，生成对应的降噪视频。
在本实施例中，将上述获得的降噪后效果图，根据其自身的组序号进行排序，根据排序后的多个降噪后效果图，生成相应的降噪视频。需要理解的是，由于上述降噪后效果图存在时序上的关联性，该组序号可用于表示上述降噪后效果图在时序上的关联性，因此，根据时序的先后顺序可对应生成具有连贯性的降噪视频。
在该实施例中，还可将上述降噪后效果图，用于下述步骤处理：
获得滤波参考效果图和滤波参考效果图对应的辅助图，滤波参考效果图和待处理噪点效果图对应的降噪后效果图是针对一个物理空间的布局设计的不同展示角度的降噪后效果图；
根据降噪后效果图、降噪后效果图对应的辅助图、滤波参考效果图、滤波参考效果图对应的辅助图，获得降噪后效果图对应的滤波后效果图；其中，降噪后效果图对应的辅助图为待处理噪点效果图对应的辅助图。
根据降噪后效果图对应的滤波后效果图，生成对应的滤波视频。
通过上述生成的降噪视频方法，能够降低视频的噪点水平，并且生成的视频清晰度高，画面质感优良。
本申请第五实施例还提供一种滤波视频生成方法，该方法的应用主体可以为服务端。图7为本申请实施例提供的滤波视频生成方法的流程图，以下结合图7对本实施例提供的方法进行详细描述。相关细节可参考上述第二实施例的描述，在此不再赘述。
如图7所示，本实施例提供的滤波视频生成方法，包括如下步骤：
S701，获得待滤波效果图和待滤波效果图对应的辅助图，并获得参考效果图和参考效果图对应的辅助图，待滤波效果图和参考效果图是针对一个物理空间的布局设计的不同展示角度的效果图；
S702，根据待滤波效果图和待滤波效果图对应的辅助图，以及参考效果图和参考效果图对应的辅助图，获得待滤波效果图对应的滤波后效果图；
S703，根据滤波后效果图，生成对应的滤波视频。
通过上述滤波视频的生成方法，能够提高视频的稳定性。
上述第二实施例提供了一种图像降噪处理方法，与之相对应的，本申请一实施例还提供了一种图像降噪处理装置，由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的技术特征的细节部分请参见上述提供的方法实施例的对应说明即可，下述对装置实施例的描述仅仅是示意性的。
本申请实施例提供的图像降噪处理装置800，请参考图8理解该实施例，图8为本实施例提供的图像降噪处理装置的单元框图，如图8所示，本实施例提供的图像降噪处理装置800包括：
获取单元801，被配置为获得待处理噪点效果图和待处理噪点效果图对应的辅助图，并获得参考噪点效果图和参考噪点效果图对应的辅助图，待处理噪点效果图和参考噪点效果图是针对一个物理空间的布局设计的不同展示角度的效果图；
处理单元802，被配置为根据待处理噪点效果图和待处理噪点效果图对应的辅助图，以及参考噪点效果图和参考噪点效果图对应的辅助图，获得待处理噪点效果图对应的降噪后效果图。
上述第三实施例提供了一种图像滤波处理方法，与之相对应的，本申请一实施例还提供了一种图像滤波处理装置，由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的技术特征的细节部分请参见上述提供的方法实施例的对应说明即可，下述对装置实施例的描述仅仅是示意性的，本实施例的图像滤波处理装置示意图，可参考图8中图像降噪处理装置800示意。本实施例提供的图像滤波处理装置，包括：
获取单元，被配置为获得待滤波效果图和待滤波效果图对应的辅助图，并获得参考效果图和参考效果图对应的辅助图，待滤波效果图和参考效果图是针对一个物理空间的布局设计的不同展示角度的效果图；
处理单元，被配置根据待滤波效果图和待滤波效果图对应的辅助图，以及参考效果图和参考效果图对应的辅助图，获得待滤波效果图对应的滤波后效果图。
本申请一实施例还提供了一种降噪视频生成装置，请参考图9理解该实施例，如图9所示，本实施例提供的降噪视频生成装置，包括：
获取单元901，被配置为获得待处理噪点效果图和所述待处理噪点效果图对应的辅助图，并获得参考噪点效果图和所述参考噪点效果图对应的辅助图，所述待处理噪点效果图和所述参考噪点效果图是针对一个物理空间的布局设计的不同展示角度的效果图；
第一处理单元902，被配置为根据所述待处理噪点效果图和所述待处理噪点效果图对应的辅助图，以及所述参考噪点效果图和所述参考噪点效果图对应的辅助图，获得所述待处理噪点效果图对应的降噪后效果图；
第二处理单元903，被配置为根据所述降噪后效果图，生成对应的降噪视频。
本申请一实施例还提供一种滤波视频生成装置，由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的技术特征的细节部分请参见上述提供的方法实施例的对应说明即可，下述对装置实施例的描述仅仅是示意性的，本实施例的滤波视频生成装置示意图，可参考图9中降噪视频生成装置示意。本实施例提供的滤波视频生成装置，包括：
获取单元，被配置为获得待滤波效果图和待滤波效果图对应的辅助图，并获得参考效果图和参考效果图对应的辅助图，待滤波效果图和参考效果图是针对一个物理空间的布局设计的不同展示角度的效果图；
第一处理单元，被配置为根据待滤波效果图和待滤波效果图对应的辅助图，以及参考效果图和参考效果图对应的辅助图，获得待滤波效果图对应的滤波后效果图；
第二处理单元，被配置为根据滤波后效果图，生成对应的滤波视频。
本申请实施例还提供一种电子设备，由于电子设备实施例基本相似于方法实施例，所以描述得比较简单，相关的技术特征的细节部分请参见上述提供的方法实施例的对应说明即可，下述对电子设备实施例的描述仅仅是示意性的。请参考图10理解本实施例，图10为本实施例提供的电子设备的示意图。该电子设备实施例如下：
如图10所示，本实施例提供的电子设备包括：处理器1001和存储器1002、通信总线1003和通信接口1004；处理器1001，用于执行一条或多条计算机指令，以实现上述各方法实施例的各步骤；存储器1002用于存储数据处理的一条或多条计算机指令；通信总线1003，用于连接挂载在其上的处理器1001、存储器1002；通信接口1004，用于为处理器1001、存储器1002提供连接接口。
在上述各实施例中，提供了图像降噪处理方法、图像滤波处理方法以及上述方法对应的装置和电子设备，此外，本申请实施例还提供了用于实现上述图像降噪处理方法的计算机可读存储介质。本申请提供的计算机可读存储介质实施例描述得比较简单，相关部分请参见上述方法实施例的对应说明即可，下述描述的实施例仅仅是示意性的。
本实施例提供的计算机可读存储介质上存储有一条或多条计算机指令，该指令被处理器执行时实现上述各方法实施例的各步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、 程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器 (DRAM)、 其他类型的随机存取存储器 (RAM)、只读存储器(ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器 (CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

Claims (19)

1.一种图像降噪处理方法，其特征在于，包括：
获得待处理噪点效果图和所述待处理噪点效果图对应的辅助图，并获得参考噪点效果图和所述参考噪点效果图对应的辅助图，所述待处理噪点效果图和所述参考噪点效果图是针对一个物理空间的布局设计的不同展示角度的效果图；
根据所述待处理噪点效果图和所述待处理噪点效果图对应的辅助图，以及所述参考噪点效果图和所述参考噪点效果图对应的辅助图，获得所述待处理噪点效果图对应的降噪后效果图。
2.根据权利要求1所述的图像降噪处理方法，其特征在于，在所述获得待处理噪点效果图和所述待处理噪点效果图对应的辅助图之前，所述方法还包括：
获得多组场景数据，所述多组场景数据中的一组场景数据用于表示一个场景的布局状态，所述一个场景为针对一个物理空间的布局设计的一个展示角度场景，所述多组场景数据为多个展示角度场景所需的展示数据。
3.根据权利要求2所述的图像降噪处理方法，其特征在于，所述获得待处理噪点效果图和所述待处理噪点效果图对应的辅助图，并获得参考噪点效果图和所述参考噪点效果图对应的辅助图，包括：
根据所述多组场景数据中的一组待处理场景数据，生成所述待处理噪点效果图和所述待处理噪点效果图对应的辅助图；
根据所述多组场景数据中除所述待处理场景数据之外的至少一组场景数据，生成所述参考噪点效果图和所述参考噪点效果图对应的辅助图。
4.根据权利要求1所述的图像降噪处理方法，其特征在于，所述方法还包括：
将所述待处理噪点效果图、所述待处理噪点效果图对应的辅助图、所述参考噪点效果图、所述参考噪点效果图对应的辅助图输入到降噪效果图获取模型中，生成所述待处理噪点效果图对应的降噪后效果图。
5.根据权利要求4所述的图像降噪处理方法，其特征在于，所述降噪效果图获取模型按照下述方式进行处理：
获得所述待处理噪点效果图对应的辅助图中的运动向量图；
根据所述待处理噪点效果图对应的辅助图中的运动向量图，将所述参考噪点效果图对应的特征信息映射至所述待处理噪点效果图中，获得所述待处理噪点效果图对应的初始特征信息；
根据所述待处理噪点效果图对应的初始特征信息、所述待处理噪点效果图、所述待处理噪点效果图对应的辅助图、所述参考噪点效果图和所述参考噪点效果图对应的辅助图，生成所述待处理噪点效果图对应的降噪后效果图。
6.根据权利要求5所述的图像降噪处理方法，其特征在于，所述根据所述待处理噪点效果图对应的辅助图中的运动向量图，将所述参考噪点效果图对应的特征信息映射至所述待处理噪点效果图中，获得所述待处理噪点效果图对应的初始特征信息，包括：
根据所述待处理噪点效果图对应的辅助图中的运动向量图和所述参考噪点效果图，将所述参考噪点效果图对应的特征信息中的像素点特征映射到所述待处理噪点效果图中的像素点，获得所述待处理噪点效果图对应的初始特征信息。
7.根据权利要求5所述的图像降噪处理方法，其特征在于，所述根据所述待处理噪点效果图对应的初始特征信息、所述待处理噪点效果图、所述待处理噪点效果图对应的辅助图、所述参考噪点效果图和所述参考噪点效果图对应的辅助图，生成所述待处理噪点效果图对应的降噪后效果图，包括：
根据所述待处理噪点效果图对应的初始特征信息、所述待处理噪点效果图、所述待处理噪点效果图对应的辅助图、所述参考噪点效果图和所述参考噪点效果图对应的辅助图，获得所述待处理噪点效果图对应的特征信息；
根据所述待处理噪点效果图对应的特征信息，生成所述待处理噪点效果图对应的降噪后效果图。
8.根据权利要求1所述的图像降噪处理方法，其特征在于，所述获得所述待处理噪点效果图对应的降噪后效果图后，所述方法还包括：
获得滤波参考效果图和所述滤波参考效果图对应的辅助图，所述滤波参考效果图和所述待处理噪点效果图对应的降噪后效果图是针对一个物理空间的布局设计的不同展示角度的降噪后效果图；
根据所述降噪后效果图、所述降噪后效果图对应的辅助图、所述滤波参考效果图、所述滤波参考效果图对应的辅助图，获得所述降噪后效果图对应的滤波后效果图；其中，所述降噪后效果图对应的辅助图为所述待处理噪点效果图对应的辅助图。
9.根据权利要求8所述的图像降噪处理方法，其特征在于，所述根据所述降噪后效果图、所述降噪后效果图对应的辅助图、所述滤波参考效果图、所述滤波参考效果图对应的辅助图，获得所述降噪后效果图对应的滤波后效果图，包括：
将与所述降噪后效果图相邻的滤波参考效果图，确定为相邻滤波参考效果图；将与所述降噪后效果图对应的辅助图相邻的滤波参考效果图对应的辅助图，确定为相邻滤波参考效果图对应的辅助图；
根据所述降噪后效果图对应的辅助图中的运动向量图和所述相邻滤波参考效果图，将所述相邻滤波参考效果图中的像素点映射到待生成的所述降噪后效果图对应的滤波后效果图中的像素点，获得映射后的相邻滤波参考效果图，并根据所述相邻滤波参考效果图和所述映射后的相邻滤波参考效果图，将所述相邻滤波参考效果图对应的辅助图中的像素点特征映射到所述待生成的所述降噪后效果图对应的滤波后效果图中的像素点特征，获得映射后的相邻滤波参考效果图对应的辅助图；
根据所述降噪后效果图、所述降噪后效果图对应的辅助图、所述映射后的相邻滤波参考效果图、所述映射后的相邻滤波参考效果图对应的辅助图，获得所述映射后的相邻滤波参考效果图的权重；
根据所述映射后的相邻滤波参考效果图的权重、所述映射后的相邻滤波参考效果图、所述降噪后效果图，生成所述降噪后效果图对应的滤波后效果图。
10.根据权利要求1所述的图像降噪处理方法，其特征在于，所述待处理噪点效果图对应的辅助图，包括：法向量图、深度图、纹理图和运动向量图中的一个或多个；所述参考噪点效果图对应的辅助图，包括：法向量图、深度图、纹理图中的一个或多个。
11.一种图像滤波处理方法，其特征在于，包括：
获得待滤波效果图和所述待滤波效果图对应的辅助图，并获得参考效果图和所述参考效果图对应的辅助图，所述待滤波效果图和所述参考效果图是针对一个物理空间的布局设计的不同展示角度的效果图；
根据所述待滤波效果图和所述待滤波效果图对应的辅助图，以及所述参考效果图和所述参考效果图对应的辅助图，获得所述待滤波效果图对应的滤波后效果图。
12.一种降噪视频生成方法，其特征在于，包括：
获得待处理噪点效果图和所述待处理噪点效果图对应的辅助图，并获得参考噪点效果图和所述参考噪点效果图对应的辅助图，所述待处理噪点效果图和所述参考噪点效果图是针对一个物理空间的布局设计的不同展示角度的效果图；
根据所述待处理噪点效果图和所述待处理噪点效果图对应的辅助图，以及所述参考噪点效果图和所述参考噪点效果图对应的辅助图，获得所述待处理噪点效果图对应的降噪后效果图；根据所述降噪后效果图，生成对应的降噪视频。
13.一种滤波视频生成方法，其特征在于，包括：
获得待滤波效果图和所述待滤波效果图对应的辅助图，并获得参考效果图和所述参考效果图对应的辅助图，所述待滤波效果图和所述参考效果图是针对一个物理空间的布局设计的不同展示角度的效果图；
根据所述待滤波效果图和所述待滤波效果图对应的辅助图，以及所述参考效果图和所述参考效果图对应的辅助图，获得所述待滤波效果图对应的滤波后效果图；
根据所述滤波后效果图，生成对应的滤波视频。
14.一种图像降噪处理装置，其特征在于，包括：
获取单元，被配置为获得待处理噪点效果图和所述待处理噪点效果图对应的辅助图，并获得参考噪点效果图和所述参考噪点效果图对应的辅助图，所述待处理噪点效果图和所述参考噪点效果图是针对一个物理空间的布局设计的不同展示角度的效果图；
处理单元，被配置为根据所述待处理噪点效果图和所述待处理噪点效果图对应的辅助图，以及所述参考噪点效果图和所述参考噪点效果图对应的辅助图，获得所述待处理噪点效果图对应的降噪后效果图。
15.一种图像滤波处理装置，其特征在于，包括：
获取单元，被配置为获得待滤波效果图和所述待滤波效果图对应的辅助图，并获得参考效果图和所述参考效果图对应的辅助图，所述待滤波效果图和所述参考效果图是针对一个物理空间的布局设计的不同展示角度的效果图；
处理单元，被配置为根据所述待滤波效果图和所述待滤波效果图对应的辅助图，以及所述参考效果图和所述参考效果图对应的辅助图，获得所述待滤波效果图对应的滤波后效果图。
16.一种降噪视频生成装置，其特征在于，包括：
获取单元，被配置为获得待处理噪点效果图和所述待处理噪点效果图对应的辅助图，并获得参考噪点效果图和所述参考噪点效果图对应的辅助图，所述待处理噪点效果图和所述参考噪点效果图是针对一个物理空间的布局设计的不同展示角度的效果图；
第一处理单元，被配置为根据所述待处理噪点效果图和所述待处理噪点效果图对应的辅助图，以及所述参考噪点效果图和所述参考噪点效果图对应的辅助图，获得所述待处理噪点效果图对应的降噪后效果图；
第二处理单元，被配置为根据所述降噪后效果图，生成对应的降噪视频。
17.一种滤波视频生成装置，其特征在于，包括：
获取单元，被配置为获得待滤波效果图和所述待滤波效果图对应的辅助图，并获得参考效果图和所述参考效果图对应的辅助图，所述待滤波效果图和所述参考效果图是针对一个物理空间的布局设计的不同展示角度的效果图；
第一处理单元，被配置为根据所述待滤波效果图和所述待滤波效果图对应的辅助图，以及所述参考效果图和所述参考效果图对应的辅助图，获得所述待滤波效果图对应的滤波后效果图；
第二处理单元，被配置为根据所述滤波后效果图，生成对应的滤波视频。
18.一种电子设备，其特征在于，包括处理器和存储器；其中，
所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如权利要求1-13中任一项所述的方法。
19.一种计算机可读存储介质，其上存储有一条或多条计算机指令，其特征在于，该指令被处理器执行以实现如权利要求1-13中任一项所述的方法。
CN202211095306.0A 2022-09-08 2022-09-08 图像降噪处理方法、图像滤波处理方法及装置 Active CN115187491B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211095306.0A CN115187491B (zh) 2022-09-08 2022-09-08 图像降噪处理方法、图像滤波处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211095306.0A CN115187491B (zh) 2022-09-08 2022-09-08 图像降噪处理方法、图像滤波处理方法及装置

Publications (2)

Publication Number Publication Date
CN115187491A true CN115187491A (zh) 2022-10-14
CN115187491B CN115187491B (zh) 2023-02-17

Family

ID=83522977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211095306.0A Active CN115187491B (zh) 2022-09-08 2022-09-08 图像降噪处理方法、图像滤波处理方法及装置

Country Status (1)

Country Link
CN (1) CN115187491B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2680567A1 (en) * 2012-06-25 2014-01-01 Axis AB Video noise reduction
CN103533214A (zh) * 2013-10-01 2014-01-22 中国人民解放军国防科学技术大学 一种基于卡尔曼滤波和双边滤波的视频实时去噪方法
CN104424628A (zh) * 2013-09-02 2015-03-18 南京理工大学 基于ccd图像的利用帧间相关性降噪的方法
WO2015188666A1 (zh) * 2014-06-13 2015-12-17 华为技术有限公司 三维视频滤波方法和装置
US20180025474A1 (en) * 2016-07-20 2018-01-25 Alibaba Group Holding Limited Video processing method and apparatus
CN109951629A (zh) * 2017-12-21 2019-06-28 姜鹏飞 一种降噪处理方法及装置
CN111353948A (zh) * 2018-12-24 2020-06-30 Tcl集团股份有限公司 一种图像降噪方法、装置及设备
CN111652814A (zh) * 2020-05-26 2020-09-11 浙江大华技术股份有限公司 一种视频图像的去噪方法、装置、电子设备及存储介质
CN111833269A (zh) * 2020-07-13 2020-10-27 字节跳动有限公司 视频降噪方法、装置、电子设备及计算机可读介质
CN111935425A (zh) * 2020-08-14 2020-11-13 字节跳动有限公司 视频降噪方法、装置、电子设备及计算机可读介质
CN113286194A (zh) * 2020-02-20 2021-08-20 北京三星通信技术研究有限公司 视频处理方法、装置、电子设备及可读存储介质
CN114240785A (zh) * 2021-12-17 2022-03-25 山东大学 一种光线追踪渲染连续帧的去噪方法及系统
CN114757837A (zh) * 2021-12-23 2022-07-15 每平每屋(上海)科技有限公司 目标模型的渲染方法、设备及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2680567A1 (en) * 2012-06-25 2014-01-01 Axis AB Video noise reduction
CN104424628A (zh) * 2013-09-02 2015-03-18 南京理工大学 基于ccd图像的利用帧间相关性降噪的方法
CN103533214A (zh) * 2013-10-01 2014-01-22 中国人民解放军国防科学技术大学 一种基于卡尔曼滤波和双边滤波的视频实时去噪方法
WO2015188666A1 (zh) * 2014-06-13 2015-12-17 华为技术有限公司 三维视频滤波方法和装置
US20180025474A1 (en) * 2016-07-20 2018-01-25 Alibaba Group Holding Limited Video processing method and apparatus
CN109951629A (zh) * 2017-12-21 2019-06-28 姜鹏飞 一种降噪处理方法及装置
CN111353948A (zh) * 2018-12-24 2020-06-30 Tcl集团股份有限公司 一种图像降噪方法、装置及设备
CN113286194A (zh) * 2020-02-20 2021-08-20 北京三星通信技术研究有限公司 视频处理方法、装置、电子设备及可读存储介质
CN111652814A (zh) * 2020-05-26 2020-09-11 浙江大华技术股份有限公司 一种视频图像的去噪方法、装置、电子设备及存储介质
CN111833269A (zh) * 2020-07-13 2020-10-27 字节跳动有限公司 视频降噪方法、装置、电子设备及计算机可读介质
CN111935425A (zh) * 2020-08-14 2020-11-13 字节跳动有限公司 视频降噪方法、装置、电子设备及计算机可读介质
CN114240785A (zh) * 2021-12-17 2022-03-25 山东大学 一种光线追踪渲染连续帧的去噪方法及系统
CN114757837A (zh) * 2021-12-23 2022-07-15 每平每屋(上海)科技有限公司 目标模型的渲染方法、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BING XU ET AL: "Adversarial Monte Carlo Denoising with Conditioned Auxiliary Feature Modulatio", 《ACM TRANSACTIONS ON GRAPHICS》 *
LIWEI GUO ET AL: "Temporal Video Denoising Based on Multihypothesis Motion Compensation", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
高辉: "数字视频监控实时降噪算法研究", 《中国优秀硕士学位论文全文数据库》 *

Also Published As

Publication number Publication date
CN115187491B (zh) 2023-02-17

Similar Documents

Publication Publication Date Title
CN111656407B (zh) 对动态三维模型的视图进行融合、纹理化和绘制
WO2019041351A1 (zh) 一种3d vr视频与虚拟三维场景实时混叠渲染的方法
JP2016537903A (ja) バーチャルリアリティコンテンツのつなぎ合わせおよび認識
US11204495B2 (en) Device and method for generating a model of an object with superposition image data in a virtual environment
US20140176548A1 (en) Facial image enhancement for video communication
CN104010180B (zh) 三维视频滤波方法和装置
CN115174963B (zh) 视频生成方法、视频帧生成方法、装置及电子设备
US20220114784A1 (en) Device and method for generating a model of an object with superposition image data in a virtual environment
TW202240530A (zh) 用於新穎視圖合成之神經混合
US20240112394A1 (en) AI Methods for Transforming a Text Prompt into an Immersive Volumetric Photo or Video
US20220217301A1 (en) Systems and methods for interpolative three-dimensional imaging within the viewing zone of a display
CN115239857A (zh) 图像生成方法以及电子设备
US20240161391A1 (en) Relightable neural radiance field model
AU2023233092A1 (en) Artificial intelligence techniques for extrapolating hdr panoramas from ldr low fov images
CN115187491B (zh) 图像降噪处理方法、图像滤波处理方法及装置
JP7387029B2 (ja) ソフトレイヤ化および深度認識インペインティングを用いた単画像３ｄ写真技術
Artois et al. 360DIV: 360° video plus depth for fully immersive VR experiences
Huang et al. 360° stereo image composition with depth adaption
CN109816765A (zh) 面向动态场景的纹理实时确定方法、装置、设备和介质
US11146777B2 (en) Efficient image population from captured scene
Gadgil et al. Panosynthvr: View synthesis from a single input panorama with multi-cylinder images
US20240203078A1 (en) Methods and systems for refining a 3d representation of a subject
CN117857769B (zh) 自适应多摄像机捕获与实时自由视角视频渲染方法及系统
Canessa et al. Morpholo: a hologram generator algorithm
US20240078726A1 (en) Multi-camera face swapping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant