CN116634284B - Raw域视频去噪方法、装置、电子设备及存储介质 - Google Patents
Raw域视频去噪方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116634284B CN116634284B CN202310893709.8A CN202310893709A CN116634284B CN 116634284 B CN116634284 B CN 116634284B CN 202310893709 A CN202310893709 A CN 202310893709A CN 116634284 B CN116634284 B CN 116634284B
- Authority
- CN
- China
- Prior art keywords
- image block
- denoising
- denoised
- video frame
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000012545 processing Methods 0.000 claims abstract description 29
- 230000010354 integration Effects 0.000 claims description 40
- 238000012549 training Methods 0.000 claims description 38
- 230000009466 transformation Effects 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 5
- 238000004806 packaging method and process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明实施例提供一种RAW域视频去噪方法、装置、电子设备及存储介质，涉及图像处理技术领域，该方法包括：按序获取RAW域视频中当前待去噪的视频帧；其中，RAW域视频中的视频帧按照预设裁剪规则裁剪为多个图像块，空间位置上相对应的图像块按时序构成第一图像块序列；根据当前待去噪的视频帧的图像块和对应第一图像块序列中相邻预设个数的图像块构建第二图像块序列；根据当前待去噪的视频帧中的图像块是否为暗部区域，将图像块所在的第二图像块序列进行对应处理后，利用对应的去噪网络得到图像块的去噪结果；将各个图像块的去噪结果进行整合得到待去噪的视频帧的去噪结果。本发明实施例有效地提高了RAW域视频的去噪质量。
Description
技术领域
本发明实施例涉及图像处理技术领域，具体涉及一种RAW域视频去噪方法、装置、电子设备及存储介质。
背景技术
人类对客观世界的认识绝大部分是通过视觉系统获取的信息。视觉信息在人类感知和认识世界的过程中起到了极其重要的作用，但是在视频信号中往往掺杂着各种噪声，以至于视频变得模糊、质量下降，从而导致视频中的一些重要细节信息丢失。在对视频图像进行处理或者应用时，如何保留视频图像中的有用信息，去除噪声，是一个热点也是一个难点。
RAW 图像是图像感应器将捕捉到的光源信号转化为数字信号的原始数据，是无损的，包含了物体原始的颜色信息。RAW 数据格式一般采用的是Bayer（拜耳）排列方式，鉴于人眼对绿色波段的色彩比较敏感，Bayer数据格式中包含了50%的绿色信息，以及25%的红色和25%的蓝色信息。
在RAW域上去噪有助于改善后续的ISP（Image Signal Processing，图像信号处理）处理，还原更真实的色彩。因此，如何提高RAW域视频的去噪质量成为亟待解决的问题。
发明内容
针对现有技术存在的缺陷，本发明实施例提供一种RAW域视频去噪方法、装置、电子设备及存储介质。
本发明实施例提供一种RAW域视频去噪方法，包括：按序获取RAW域视频中当前待去噪的视频帧；其中，所述RAW域视频中的视频帧按照预设裁剪规则裁剪为多个图像块，空间位置上相对应的所述图像块按时序构成第一图像块序列；根据所述当前待去噪的视频帧的图像块和对应所述第一图像块序列中相邻预设个数的图像块构建第二图像块序列；根据所述当前待去噪的视频帧中的图像块是否为暗部区域，将所述图像块所在的所述第二图像块序列进行对应处理后，利用对应的去噪网络得到所述图像块的去噪结果；将所述当前待去噪的视频帧中的各个图像块的去噪结果进行整合，得到所述当前待去噪的视频帧的去噪结果。
根据本发明实施例提供的一种RAW域视频去噪方法，所述根据所述当前待去噪的视频帧中的图像块是否为暗部区域，将所述图像块所在的所述第二图像块序列进行对应处理后，利用对应的去噪网络得到所述图像块的去噪结果，包括：响应于所述当前待去噪的视频帧中的图像块为暗部区域，将所述图像块所在的所述第二图像块序列进行VST变换及通道拆分，得到对应各个通道的第三图像块序列；将各个通道的所述第三图像块序列分别输入VST域去噪网络，得到所述当前待去噪的视频帧中的图像块的各通道去噪结果；将所述当前待去噪的视频帧中的图像块的各通道去噪结果进行VST拟变换及通道整合，得到所述图像块的去噪结果。
根据本发明实施例提供的一种RAW域视频去噪方法，所述根据所述当前待去噪的视频帧中的图像块是否为暗部区域，将所述图像块所在的所述第二图像块序列进行对应处理后，利用对应的去噪网络得到所述图像块的去噪结果，包括：响应于所述当前待去噪的视频帧中的图像块为非暗部区域，将所述图像块所在的所述第二图像块序列进行通道拆分，得到对应各个通道的第四图像块序列；将各个通道的所述第四图像块序列分别输入像素域去噪网络，得到所述当前待去噪的视频帧中的图像块的各通道去噪结果；将所述当前待去噪的视频帧中的图像块的各通道去噪结果进行通道整合，得到所述图像块的去噪结果。
根据本发明实施例提供的一种RAW域视频去噪方法，在所述按序获取RAW域视频中当前待去噪的视频帧之前，所述方法还包括：合成噪声信号满足高斯-泊松分布的RAW域样本视频；将所述RAW域样本视频中的视频帧裁剪为多个图像块，空间位置上相对应的所述图像块按时序构成第五图像块序列；根据所述RAW域样本视频中的待去噪视频帧的图像块和对应所述第五图像块序列中相邻所述预设个数的图像块构建第六图像块序列；对所述第六图像块序列进行VST变换及通道拆分，得到对应各个通道的第七图像块序列；将各个通道的所述第七图像块序列分别输入视频去噪网络模型，得到所述待去噪视频帧的图像块的各通道去噪结果；将所述待去噪视频帧的图像块的各通道去噪结果进行VST拟变换及通道整合，得到所述待去噪视频帧的图像块的去噪结果；将所述待去噪视频帧的图像块的去噪结果进行整合，得到所述待去噪视频帧的去噪结果的预测值；利用所述待去噪视频帧的去噪结果的所述预测值和真值计算损失函数，训练所述视频去噪网络模型，训练结束得到所述VST域去噪网络。
根据本发明实施例提供的一种RAW域视频去噪方法，在所述按序获取RAW域视频中当前待去噪的视频帧之前，所述方法还包括：合成噪声信号满足高斯-泊松分布的RAW域样本视频；将所述RAW域样本视频中的视频帧裁剪为多个图像块，空间位置上相对应的所述图像块按时序构成第八图像块序列；根据所述RAW域样本视频中的待去噪视频帧的图像块和对应所述第八图像块序列中相邻所述预设个数的图像块构建第九图像块序列；对所述第九图像块序列进行通道拆分，得到对应各个通道的第十图像块序列；将各个通道的所述第十图像块序列分别输入视频去噪网络模型，得到所述待去噪视频帧的图像块的各通道去噪结果；将所述待去噪视频帧的图像块的各通道去噪结果进行通道整合，得到所述待去噪视频帧的图像块的去噪结果；将所述待去噪视频帧的图像块的去噪结果进行整合，得到所述待去噪视频帧的去噪结果的预测值；利用所述待去噪视频帧的去噪结果的所述预测值和真值计算损失函数，训练所述视频去噪网络模型，训练结束得到所述像素域去噪网络。
根据本发明实施例提供的一种RAW域视频去噪方法，所述方法还包括：将所述当前待去噪的视频帧中的图像块的像素值进行归一化处理，得到归一化像素值；根据所述归一化像素值计算均值及方差；响应于所述均值小于预设均值且所述方差小于预设方差，则确定所述图像块为暗部区域；否则，确定所述图像块为非暗部区域。
根据本发明实施例提供的一种RAW域视频去噪方法，所述预设裁剪规则包括：按照预设方向的预设移动步长将所述视频帧裁剪为多个图像块；其中，所述预设移动步长小于或等于移动方向上所述图像块的尺寸。
根据本发明实施例提供的一种RAW域视频去噪方法，所述将所述当前待去噪的视频帧中的各个图像块的去噪结果进行整合，得到所述当前待去噪的视频帧的去噪结果，包括：响应于至少两个图像块包含重叠像素点，则通过计算所述至少两个图像块关于所述重叠像素点的去噪结果的加权和得到所述重叠像素点的像素值。
本发明实施例还提供一种RAW域视频去噪装置，包括：获取模块，用于：按序获取RAW域视频中当前待去噪的视频帧；其中，所述RAW域视频中的视频帧按照预设裁剪规则裁剪为多个图像块，空间位置上相对应的所述图像块按时序构成第一图像块序列；构建模块，用于：根据所述当前待去噪的视频帧的图像块和对应所述第一图像块序列中相邻预设个数的图像块构建第二图像块序列；去噪模块，用于：根据所述当前待去噪的视频帧中的图像块是否为暗部区域，将所述图像块所在的所述第二图像块序列进行对应处理后，利用对应的去噪网络得到所述图像块的去噪结果；整合模块，用于：将所述当前待去噪的视频帧中的各个图像块的去噪结果进行整合，得到所述当前待去噪的视频帧的去噪结果。
本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述RAW域视频去噪方法的步骤。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述RAW域视频去噪方法的步骤。
本发明实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述RAW域视频去噪方法的步骤。
本发明实施例提供的RAW域视频去噪方法、装置、电子设备及存储介质，通过按序获取RAW域视频中当前待去噪的视频帧，根据当前待去噪的视频帧的图像块和对应第一图像块序列中相邻预设个数的图像块构建第二图像块序列，根据当前待去噪的视频帧中的图像块是否为暗部区域，将图像块所在的第二图像块序列进行对应处理后，利用对应的去噪网络得到图像块的去噪结果，将图像块的去噪结果进行整合得到视频帧的去噪结果，有效地提高了RAW域视频的去噪质量。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的RAW域视频去噪方法的流程示意图之一；
图2是本发明实施例提供的一种RAW域视频去噪方法的流程示意图之二；
图3是本发明实施例提供的一种RAW域视频去噪方法的流程示意图之三；
图4是本发明实施例提供的RAW域视频去噪装置的结构示意图；
图5是本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例提供的RAW域视频去噪方法的流程示意图之一。如图1所示，该方法包括：
步骤S1、按序获取RAW域视频中当前待去噪的视频帧；其中，所述RAW域视频中的视频帧按照预设裁剪规则裁剪为多个图像块，空间位置上相对应的所述图像块按时序构成第一图像块序列。
可以按照时序顺序对RAW域视频中的视频帧进行去噪，因此，按序获取RAW域视频中当前待去噪的视频帧。
可以在去噪之前，预先对RAW域视频中的视频帧按照预设裁剪规则裁剪为多个图像块，空间位置上相对应的图像块按时序构成第一图像块序列。比如，左上角位置的各帧裁剪得到的图像块按时序构成一个图像块序列，左下角位置的各帧裁剪得到的图像块按时序构成一个图像块序列。为和其他类型图像块序列相区分，将对RAW域视频中的视频帧按照预设裁剪规则裁剪为多个图像块，空间位置上相对应的图像块按时序构成的图像块序列称为第一图像块序列。
步骤S2、根据所述当前待去噪的视频帧的图像块和对应所述第一图像块序列中相邻预设个数的图像块构建第二图像块序列。
根据去噪网络的要求设置预设个数，则第二图像块序列中具有预设个数+1个图像块。比如，在采用视频去噪网络模型构建去噪网络时，需要对输入的5张图片进行处理，因此预设个数设置为4。将相邻预设个数的图像块一起输入去噪网络，可以提高去噪的准确性。
在预设个数为偶数时，可以在第一图像块序列中当前待去噪的视频帧的图像块的前后各选择相同个数的图像块构建相邻预设个数的图像块，如前后各选择2个图像块。可以理解的，相邻预设个数也可以取值为0，也即只针对当前待去噪的视频帧中的图像块进行去噪。
步骤S3、根据所述当前待去噪的视频帧中的图像块是否为暗部区域，将所述图像块所在的所述第二图像块序列进行对应处理后，利用对应的去噪网络得到所述图像块的去噪结果。
获取当前待去噪的视频帧中的各个图像块是否为暗部区域的结果。视频帧中的噪声可以建模为高斯-泊松分布。相对于非暗部区域（如亮部区域），高斯-泊松分布噪声对于暗部区域的去噪过程影响更大，不利于去噪的处理。因此，根据各个图像块是否为暗部区域的结果进行区分化的去噪处理。具体地，根据当前待去噪的视频帧中的图像块是否为暗部区域，将图像块所在的第二图像块序列进行对应处理后，利用对应的去噪网络得到图像块的去噪结果。
步骤S4、将所述当前待去噪的视频帧中的各个图像块的去噪结果进行整合，得到所述当前待去噪的视频帧的去噪结果。
由于当前待去噪的视频帧是裁剪为多个图像块的，在得到各个图像块的去噪结果后，将当前待去噪的视频帧中的各个图像块的去噪结果进行整合，得到当前待去噪的视频帧的去噪结果。
本发明实施例提供的RAW域视频去噪方法，通过按序获取RAW域视频中当前待去噪的视频帧，根据当前待去噪的视频帧的图像块和对应第一图像块序列中相邻预设个数的图像块构建第二图像块序列，根据当前待去噪的视频帧中的图像块是否为暗部区域，将图像块所在的第二图像块序列进行对应处理后，利用对应的去噪网络得到图像块的去噪结果，将图像块的去噪结果进行整合得到视频帧的去噪结果，有效地提高了RAW域视频的去噪质量。
根据本发明实施例提供的一种RAW域视频去噪方法，所述根据所述当前待去噪的视频帧中的图像块是否为暗部区域，将所述图像块所在的所述第二图像块序列进行对应处理后，利用对应的去噪网络得到所述图像块的去噪结果，包括：响应于所述当前待去噪的视频帧中的图像块为暗部区域，将所述图像块所在的所述第二图像块序列进行VST变换及通道拆分，得到对应各个通道的第三图像块序列；将各个通道的所述第三图像块序列分别输入VST域去噪网络，得到所述当前待去噪的视频帧中的图像块的各通道去噪结果；将所述当前待去噪的视频帧中的图像块的各通道去噪结果进行VST拟变换及通道整合，得到所述图像块的去噪结果。
若当前待去噪的视频帧中的图像块为暗部区域，则将图像块所在的第二图像块序列进行VST变换及通道拆分后，利用VST域去噪网络得到图像块的去噪结果。其中，可以先进行VST变换，再进行通道拆分；也可以先进行通道拆分，再进行VST变换。
经过VST变换后，图像块中的噪声满足高斯分布，有利于去噪的处理，以提高去噪的质量。通道拆分操作的好处在于，其保证输入视频帧的相邻像素表示相同的颜色通道，大大增强了其相关性，更加易于网络学习。
RAW域数据格式一般采用Bayer排列方式，如RGGB排列方式。基于Bayer排列方式进行通道拆分，可以拆分为R通道的图像块序列，Gr通道的图像块序列，Gb通道的图像块序列以及B通道的图像块序列。其中，R、B表示红色和蓝色，Gr、Gb表示绿色。
将图像块所在的第二图像块序列进行VST变换及通道拆分后，利用VST域去噪网络得到图像块的去噪结果包括如下处理步骤：
将图像块所在的第二图像块序列进行VST变换及通道拆分，得到对应各个通道的第三图像块序列。可以理解的，第三图像块也不是具体指哪一个图像块序列，而是指一类图像块序列，即将图像块所在的第二图像块序列进行VST变换及通道拆分，得到的对应各个通道的图像块序列。
本发明实施例中，噪声建模为高斯-泊松噪声，表示为：
；
其中，代表受噪声影响的像素值，/>代表真实干净的像素值；/>代表泊松分布变量，/>代表高斯分布变量。两个噪声参数分别为图像采集系统的传感器放大系数/>和电路中噪声方差/>。
对于以上建模的噪声，使用VST变换对其进行进一步化简：
；
此时有：
；
则：
；
由上，经过VST变换后，图像块的噪声性质得到了进一步的简化，大大降低了学习难度，可以更好地辅助网络进行学习和判断，更易于模型收敛。
将各个通道的第三图像块序列分别输入VST域去噪网络，得到当前待去噪的视频帧中的图像块的各通道去噪结果。如得到当前待去噪的视频帧中的图像块的R通道去噪结果、Gr通道去噪结果、Gb通道去噪结果及B通道去噪结果。
将当前待去噪的视频帧中的图像块的各通道去噪结果进行VST拟变换及通道整合，得到图像块的去噪结果。VST拟变换用于将像素值变回原来的数学变换域。通道整合用于将图像块变为原来的格式，如Bayer格式。VST拟变换及通道整合的顺序可以预先设定，可以先进行VST拟变换，再进行通道整合；也可以先进行通道整合再进行VST拟变换。
本发明实施例提供的RAW域视频去噪方法，通过将图像块所在的第二图像块序列进行VST变换及通道拆分，得到对应各个通道的第三图像块序列，将各个通道的第三图像块序列分别输入VST域去噪网络，得到当前待去噪的视频帧中的图像块的各通道去噪结果，将当前待去噪的视频帧中的图像块的各通道去噪结果进行VST拟变换及通道整合，得到图像块的去噪结果，有效地实现了暗部区域图像块的去噪。
根据本发明实施例提供的一种RAW域视频去噪方法，所述根据所述当前待去噪的视频帧中的图像块是否为暗部区域，将所述图像块所在的所述第二图像块序列进行对应处理后，利用对应的去噪网络得到所述图像块的去噪结果，包括：响应于所述当前待去噪的视频帧中的图像块为非暗部区域，将所述图像块所在的所述第二图像块序列进行通道拆分，得到对应各个通道的第四图像块序列；将各个通道的所述第四图像块序列分别输入像素域去噪网络，得到所述当前待去噪的视频帧中的图像块的各通道去噪结果；将所述当前待去噪的视频帧中的图像块的各通道去噪结果进行通道整合，得到所述图像块的去噪结果。
若当前待去噪的视频帧中的图像块为非暗部区域，则将图像块所在的第二图像块序列进行通道拆分后，利用像素域去噪网络得到所述图像块的去噪结果。
将图像块所在的第二图像块序列进行通道拆分后，利用像素域去噪网络得到图像块的去噪结果包括如下处理步骤：
将图像块所在的第二图像块序列进行通道拆分，得到对应各个通道的第四图像块序列。可以理解的，第四图像块也不是具体指哪一个图像块序列，而是指一类图像块序列，即将图像块所在的第二图像块序列进行通道拆分，得到的对应各个通道的图像块序列。
将各个通道的第四图像块序列分别输入像素域去噪网络，得到当前待去噪的视频帧中的图像块的各通道去噪结果。如得到当前待去噪的视频帧中的图像块的R通道去噪结果、Gr通道去噪结果、Gb通道去噪结果及B通道去噪结果。
将当前待去噪的视频帧中的图像块的各通道去噪结果进行通道整合，得到当前待去噪的视频帧中的图像块的去噪结果。通道整合用于将图像块变为原来的格式，如Bayer格式。
本发明实施例提供的RAW域视频去噪方法，通过将图像块所在的第二图像块序列进行通道拆分，得到对应各个通道的第四图像块序列，将各个通道的第四图像块序列分别输入像素域去噪网络，得到当前待去噪的视频帧中的图像块的各通道去噪结果，将当前待去噪的视频帧中的图像块的各通道去噪结果进行通道整合，得到图像块的去噪结果，有效地实现了非暗部区域图像块的去噪。
根据本发明实施例提供的一种RAW域视频去噪方法，在所述按序获取RAW域视频中当前待去噪的视频帧之前，所述方法还包括：合成噪声信号满足高斯-泊松分布的RAW域样本视频；将所述RAW域样本视频中的视频帧裁剪为多个图像块，空间位置上相对应的所述图像块按时序构成第五图像块序列；根据所述RAW域样本视频中的待去噪视频帧的图像块和对应所述第五图像块序列中相邻所述预设个数的图像块构建第六图像块序列；对所述第六图像块序列进行VST变换及通道拆分，得到对应各个通道的第七图像块序列；将各个通道的所述第七图像块序列分别输入视频去噪网络模型，得到所述待去噪视频帧的图像块的各通道去噪结果；将所述待去噪视频帧的图像块的各通道去噪结果进行VST拟变换及通道整合，得到所述待去噪视频帧的图像块的去噪结果；将所述待去噪视频帧的图像块的去噪结果进行整合，得到所述待去噪视频帧的去噪结果的预测值；利用所述待去噪视频帧的去噪结果的所述预测值和真值计算损失函数，训练所述视频去噪网络模型，训练结束得到所述VST域去噪网络。
在按序获取RAW域视频中当前待去噪的视频帧之前，需要预先训练完成VST域去噪网络。训练VST域去噪网络的一种实施方式的步骤包括：
可以预先人工合成噪声信号满足高斯-泊松分布的RAW域样本视频。由于VST域去噪网络用于对暗部区域降噪，为提高模型的适应性，可在暗光环境下拍摄视频，并基于拍摄的视频合成噪声信号满足高斯-泊松分布的RAW域样本视频。
将RAW域样本视频中的视频帧裁剪为多个图像块，空间位置上相对应的图像块按时序构成第五图像块序列。将RAW域样本视频中的视频帧裁剪为多个图像块的目的是为了便于模型处理。
根据RAW域样本视频中的待去噪视频帧的图像块和对应第五图像块序列中相邻预设个数的图像块构建第六图像块序列。模型训练时第六图像块序列的获取和模型使用时第二图像块的获取采用相同的规则。比如，若在模型使用时，当前待去噪的视频帧的图像块和对应第一图像块序列中前后各2个图像块构建第二图像块序列；则在模型训练时，待去噪视频帧的图像块和对应第五图像块序列中前后各2个图像块构建第六图像块序列。
对第六图像块序列进行VST变换及通道拆分，得到对应各个通道的第七图像块序列。模型训练时VST变换和通道拆分的先后顺序可以和模型使用时相同。模型训练和模型使用时通道拆分的方式相同，比如均是基于Bayer格式进行通道拆分。
将各个通道的第七图像块序列分别输入视频去噪网络模型，得到待去噪视频帧的图像块的各通道去噪结果。其中，视频去噪网络模型如可以采用FastDVDnet模型，也可以采用具有相同的功能的其他模型。
将待去噪视频帧的图像块的各通道去噪结果进行VST拟变换及通道整合，得到待去噪视频帧的图像块的去噪结果。将待去噪视频帧的图像块的去噪结果进行整合，得到待去噪视频帧的去噪结果的预测值。
利用待去噪视频帧的去噪结果的预测值和待去噪视频帧的去噪结果的真值计算损失函数，利用RAW域样本视频中的视频帧不断训练视频去噪网络模型，训练结束得到VST域去噪网络。由于待去噪视频帧是通过添加噪声得到的数据集，因此，真值即添加噪声之前的结果，预测值为视频去噪网络模型的输出结果。其中，可以使用MSELoss（mean-squaredloss，均方损失）计算损失函数。
本发明实施例提供的RAW域视频去噪方法，通过合成噪声信号满足高斯-泊松分布的RAW域样本视频，将RAW域样本视频中的视频帧裁剪为多个图像块，空间位置上相对应的图像块按时序构成第五图像块序列，根据RAW域样本视频中的待去噪视频帧的图像块和对应第五图像块序列中相邻预设个数的图像块构建第六图像块序列，对第六图像块序列进行通道拆分，得到对应各个通道的第七图像块序列，将各个通道的第七图像块序列分别输入视频去噪网络模型，得到待去噪视频帧的图像块的各通道去噪结果，将待去噪视频帧的图像块的各通道去噪结果进行通道整合，得到待去噪视频帧的图像块的去噪结果，将待去噪视频帧的图像块的去噪结果进行整合，得到待去噪视频帧的去噪结果的预测值，利用待去噪视频帧的去噪结果的预测值和真值计算损失函数，训练视频去噪网络模型，训练结束得到像素域去噪网络，实现了基于已有视频降噪模型训练得到适用于暗部区域降噪的VST域降噪网络。
根据本发明实施例提供的一种RAW域视频去噪方法，在所述按序获取RAW域视频中当前待去噪的视频帧之前，所述方法还包括：合成噪声信号满足高斯-泊松分布的RAW域样本视频；将所述RAW域样本视频中的视频帧裁剪为多个图像块，空间位置上相对应的所述图像块按时序构成第八图像块序列；根据所述RAW域样本视频中的待去噪视频帧的图像块和对应所述第八图像块序列中相邻所述预设个数的图像块构建第九图像块序列；对所述第九图像块序列进行通道拆分，得到对应各个通道的第十图像块序列；将各个通道的所述第十图像块序列分别输入视频去噪网络模型，得到所述待去噪视频帧的图像块的各通道去噪结果；将所述待去噪视频帧的图像块的各通道去噪结果进行通道整合，得到所述待去噪视频帧的图像块的去噪结果；将所述待去噪视频帧的图像块的去噪结果进行整合，得到所述待去噪视频帧的去噪结果的预测值；利用所述待去噪视频帧的去噪结果的所述预测值和真值计算损失函数，训练所述视频去噪网络模型，训练结束得到所述像素域去噪网络。
在按序获取RAW域视频中当前待去噪的视频帧之前，需要预先训练完成像素域去噪网络。训练像素域去噪网络的一种实施方式的步骤包括：
可以预先人工合成噪声信号满足高斯-泊松分布的RAW域样本视频。由于像素域去噪网络用于对非暗部区域降噪，为提高模型的适应性，可在非暗光环境下拍摄视频，如在亮光环境下拍摄视频，并基于拍摄的视频合成噪声信号满足高斯-泊松分布的RAW域样本视频。
将RAW域样本视频中的视频帧裁剪为多个图像块，空间位置上相对应的图像块按时序构成第八图像块序列。将RAW域样本视频中的视频帧裁剪为多个图像块的目的是为了便于模型处理。
根据RAW域样本视频中的待去噪视频帧的图像块和对应第八图像块序列中相邻预设个数的图像块构建第九图像块序列。模型训练时第九图像块序列的获取和模型使用时第二图像块的获取采用相同的规则。比如，若在模型使用时，当前待去噪的视频帧的图像块和对应第一图像块序列中前后各3个图像块构建第二图像块序列；则在模型训练时，待去噪视频帧的图像块和对应第八图像块序列中前后各3个图像块构建第九图像块序列。
对第九图像块序列进行通道拆分，得到对应各个通道的第十图像块序列。模型训练和模型使用时通道拆分的方式相同，比如均是基于Bayer格式进行通道拆分。
将各个通道的第十图像块序列分别输入视频去噪网络模型，得到待去噪视频帧的图像块的各通道去噪结果。其中，视频去噪网络模型如可以采用FastDVDnet模型，也可以采用具有相同的功能的其他模型。
将待去噪视频帧的图像块的各通道去噪结果进行通道整合，得到待去噪视频帧的图像块的去噪结果。将待去噪视频帧的图像块的去噪结果进行整合，得到待去噪视频帧的去噪结果的预测值。
利用待去噪视频帧的去噪结果的预测值和待去噪视频帧的去噪结果的真值计算损失函数，利用RAW域样本视频中的视频帧不断训练视频去噪网络模型，训练结束得到像素域去噪网络。由于待去噪视频帧是通过添加噪声得到的数据集，因此，真值即添加噪声之前的结果，预测值为视频去噪网络模型的输出结果。其中，可以使用MSELoss计算损失函数。
本发明实施例提供的一种RAW域视频去噪方法，通过合成噪声信号满足高斯-泊松分布的RAW域样本视频，将RAW域样本视频中的视频帧裁剪为多个图像块，空间位置上相对应的图像块按时序构成第八图像块序列，根据RAW域样本视频中的待去噪视频帧的图像块和对应第八图像块序列中相邻预设个数的图像块构建第九图像块序列，对第九图像块序列进行通道拆分，得到对应各个通道的第十图像块序列，将各个通道的第十图像块序列分别输入视频去噪网络模型，得到待去噪视频帧的图像块的各通道去噪结果，将待去噪视频帧的图像块的各通道去噪结果进行通道整合，得到待去噪视频帧的图像块的去噪结果，将待去噪视频帧的图像块的去噪结果进行整合，得到待去噪视频帧的去噪结果的预测值，利用待去噪视频帧的去噪结果的预测值和真值计算损失函数，训练视频去噪网络模型，训练结束得到像素域去噪网络，实现了基于已有视频降噪模型训练得到适用于非暗部区域降噪的像素域降噪网络。
根据本发明实施例提供的一种RAW域视频去噪方法，所述方法还包括：将所述当前待去噪的视频帧中的图像块的像素值进行归一化处理，得到归一化像素值；根据所述归一化像素值计算均值及方差；响应于所述均值小于预设均值且所述方差小于预设方差，则确定所述图像块为暗部区域；否则，确定所述图像块为非暗部区域。
在判断当前待去噪的视频帧中的图像块是否为暗部区域时，将当前待去噪的视频帧中的图像块的像素值进行归一化处理，如将像素值归一化至[0,1]区间内，得到归一化像素值。根据归一化像素值计算均值及方差，响应于均值小于预设均值且方差小于预设方差，则确定图像块为暗部区域。
其中，预设均值和预设方差可以根据不同的使用场景预先通过实验确定合理数值。
本发明实施例提供的RAW域视频去噪方法，通过将当前待去噪的视频帧中的图像块的像素值进行归一化处理，得到归一化像素值，根据归一化像素值计算均值及方差，响应于均值小于预设均值且方差小于预设方差，则确定图像块为暗部区域，提高了暗部区域确定的准确性。
根据本发明实施例提供的一种RAW域视频去噪方法，所述预设裁剪规则包括：按照预设方向的预设移动步长将所述视频帧裁剪为多个图像块；其中，所述预设移动步长小于或等于移动方向上所述图像块的尺寸。
RAW域视频中的视频帧按照预设裁剪规则裁剪为多个图像块。对RAW域视频中的视频帧进行图像块的裁剪时，可以按照预设方向的预设移动步长将视频帧裁剪为多个图像块。比如，按照预设移动步长横向移动将视频帧裁剪为多个图像块。
若预设移动步长等于移动方向上图像块的尺寸，则各个图像块没有重叠区域。若预设移动步长小于移动方向上图像块的尺寸，则至少两个图像块具有重叠区域，具有重叠区域的图像块的数量与移动步长小于移动方向上图像块的尺寸的程度有关。
本发明实施例提供的RAW域视频去噪方法，通过按照小于或等于移动方向上图像块的尺寸的预设移动步长将视频帧裁剪为多个图像块，提高了图像块裁剪的灵活性。
根据本发明实施例提供的一种RAW域视频去噪方法，所述将所述当前待去噪的视频帧中的各个图像块的去噪结果进行整合，得到所述当前待去噪的视频帧的去噪结果，包括：响应于至少两个图像块包含重叠像素点，则通过计算所述至少两个图像块关于所述重叠像素点的去噪结果的加权和得到所述重叠像素点的像素值。
在预设移动步长小于移动方向上图像块的尺寸，则至少两个图像块具有重叠区域。由于每个图像块都进行去噪处理，得到对应的去噪结果。若至少两个图像块包含重叠像素点，则通过计算至少两个图像块关于重叠像素点的去噪结果的加权和得到重叠像素点的像素值。去噪结果包括像素点的像素值。也即可以通过计算至少两个图像块关于重叠像素点的像素值的加权和得到重叠像素点的像素值。
各个图像块的权重可以根据重叠像素点到各个图像块的中心点的距离确定，距离越近，权重越大。
本发明实施例提供的RAW域视频去噪方法，通过响应于至少两个图像块包含重叠像素点，则通过计算至少两个图像块关于重叠像素点的去噪结果的加权和得到重叠像素点的像素值，提高了去噪结果的准确性。
图2是本发明实施例提供的一种RAW域视频去噪方法的流程示意图之二。如图2所示，该方法包括：
按序获取RAW域视频中当前待去噪的视频帧；其中，所述RAW域视频中的视频帧按照预设裁剪规则裁剪为多个图像块，空间位置上相对应的所述图像块按时序构成第一图像块序列；
根据所述当前待去噪的视频帧的图像块和对应所述第一图像块序列中相邻预设个数的图像块构建第二图像块序列；
判断所述当前待去噪的视频帧中的图像块是否为暗部区域；
响应于所述当前待去噪的视频帧中的图像块为暗部区域，则将所述图像块所在的所述第二图像块序列进行VST变换及通道拆分后，利用VST域去噪网络得到所述图像块的去噪结果；
响应于所述当前待去噪的视频帧中的图像块为非暗部区域，则将所述图像块所在的所述第二图像块序列进行通道拆分后，利用像素域去噪网络得到所述图像块的去噪结果；
将所述当前待去噪的视频帧中的各个图像块的去噪结果进行整合，得到所述当前待去噪的视频帧的去噪结果。
图3是本发明实施例提供的一种RAW域视频去噪方法的流程示意图之三。如图3所示，该方法包括：
获取待去噪RAW域视频帧及4张相邻视频帧；其中，视频帧预先划分为多个图像块；
判断RAW域视频帧中的图像块是否为暗部区域；
若RAW域视频帧中的图像块为暗部区域，则对图像块基于已知的噪声参数进行VST变换后再基于Bayer格式进行通道拆分打包；若RAW域视频帧中的图像块为非暗部区域，则对图像块直接基于Bayer格式进行通道拆分打包；
对图像块基于Bayer格式进行通道拆分打包后，得到R通道图像块序列、Gr通道图像块序列、B通道图像块序列及Gb通道图像块序列；
根据通道拆分前图像块是否为暗部区域，将暗部区域图像块拆分打包得到的各通道的图像块序列分别送入VST域去噪网络，得到各个通道的去噪结果，并将各个通道的去噪结果进行VST逆变换及通道整合，得到各个图像块的去噪结果；将非暗部区域图像块拆分打包得到的各通道的图像块序列分别送入像素域去噪网络，得到各个通道的去噪结果，将各个通道的去噪结果进行通道整合得到各个图像块的去噪结果；
将RAW域视频帧划分得到的各个图像块的去噪结果进行整合得到RAW域视频帧的去噪结果。
实验结果表明，本发明实施例提供的RAW域视频去噪方法，与不区分暗部和非暗部区域的纯盲去噪模型相比，峰值信噪比（Peak signal-to-noise ratio，PSNR）可以提升0.28dB。
需要说明的，本发明实施例中，“第一”、“第二”、“第三”……图像块序列前的序号用于表示图像块序列的不同类型。
需要说明的是，本实施例所给出的多个优选实施方式，在逻辑或结构相互不冲突的前提下，可以自由组合，本发明对此不做限定。
下面对本发明实施例提供的RAW域视频去噪装置进行描述，下文描述的RAW域视频去噪装置与上文描述的RAW域视频去噪方法可相互对应参照。
图4是本发明实施例提供的RAW域视频去噪装置的结构示意图。如图4所示，该装置包括获取模块10、构建模块20、去噪模块30及整合模块40，其中：获取模块10用于：按序获取RAW域视频中当前待去噪的视频帧；其中，所述RAW域视频中的视频帧按照预设裁剪规则裁剪为多个图像块，空间位置上相对应的所述图像块按时序构成第一图像块序列；构建模块20用于：根据所述当前待去噪的视频帧的图像块和对应所述第一图像块序列中相邻预设个数的图像块构建第二图像块序列；去噪模块30用于：根据所述当前待去噪的视频帧中的图像块是否为暗部区域，将所述图像块所在的所述第二图像块序列进行对应处理后，利用对应的去噪网络得到所述图像块的去噪结果；整合模块40用于：将所述当前待去噪的视频帧中的各个图像块的去噪结果进行整合，得到所述当前待去噪的视频帧的去噪结果。
本发明实施例提供的RAW域视频去噪装置，通过按序获取RAW域视频中当前待去噪的视频帧，根据当前待去噪的视频帧的图像块和对应第一图像块序列中相邻预设个数的图像块构建第二图像块序列，根据当前待去噪的视频帧中的图像块是否为暗部区域，将图像块所在的第二图像块序列进行对应处理后，利用对应的去噪网络得到图像块的去噪结果，将图像块的去噪结果进行整合得到视频帧的去噪结果，有效地提高了RAW域视频的去噪质量。
根据本发明实施例提供的一种RAW域视频去噪装置，去噪模块30在用于根据所述当前待去噪的视频帧中的图像块是否为暗部区域，将所述图像块所在的所述第二图像块序列进行对应处理后，利用对应的去噪网络得到所述图像块的去噪结果时，具体用于：响应于所述当前待去噪的视频帧中的图像块为暗部区域，将所述图像块所在的所述第二图像块序列进行VST变换及通道拆分，得到对应各个通道的第三图像块序列；将各个通道的所述第三图像块序列分别输入VST域去噪网络，得到所述当前待去噪的视频帧中的图像块的各通道去噪结果；将所述当前待去噪的视频帧中的图像块的各通道去噪结果进行VST拟变换及通道整合，得到所述图像块的去噪结果。
本发明实施例提供的RAW域视频去噪装置，通过将图像块所在的第二图像块序列进行VST变换及通道拆分，得到对应各个通道的第三图像块序列，将各个通道的第三图像块序列分别输入VST域去噪网络，得到当前待去噪的视频帧中的图像块的各通道去噪结果，将当前待去噪的视频帧中的图像块的各通道去噪结果进行VST拟变换及通道整合，得到图像块的去噪结果，有效地实现了暗部区域图像块的去噪。
根据本发明实施例提供的一种RAW域视频去噪装置，去噪模块30在用于根据所述当前待去噪的视频帧中的图像块是否为暗部区域，将所述图像块所在的所述第二图像块序列进行对应处理后，利用对应的去噪网络得到所述图像块的去噪结果时，具体用于：响应于所述当前待去噪的视频帧中的图像块为非暗部区域，将所述图像块所在的所述第二图像块序列进行通道拆分，得到对应各个通道的第四图像块序列；将各个通道的所述第四图像块序列分别输入像素域去噪网络，得到所述当前待去噪的视频帧中的图像块的各通道去噪结果；将所述当前待去噪的视频帧中的图像块的各通道去噪结果进行通道整合，得到所述图像块的去噪结果。
本发明实施例提供的RAW域视频去噪装置，通过将图像块所在的第二图像块序列进行通道拆分，得到对应各个通道的第四图像块序列，将各个通道的第四图像块序列分别输入像素域去噪网络，得到当前待去噪的视频帧中的图像块的各通道去噪结果，将当前待去噪的视频帧中的图像块的各通道去噪结果进行通道整合，得到图像块的去噪结果，有效地实现了非暗部区域图像块的去噪。
根据本发明实施例提供的一种RAW域视频去噪装置，所述装置还包括第一训练模块，在获取模块10按序获取RAW域视频中当前待去噪的视频帧之前，所述第一训练模块用于：合成噪声信号满足高斯-泊松分布的RAW域样本视频；将所述RAW域样本视频中的视频帧裁剪为多个图像块，空间位置上相对应的所述图像块按时序构成第五图像块序列；根据所述RAW域样本视频中的待去噪视频帧的图像块和对应所述第五图像块序列中相邻所述预设个数的图像块构建第六图像块序列；对所述第六图像块序列进行VST变换及通道拆分，得到对应各个通道的第七图像块序列；将各个通道的所述第七图像块序列分别输入视频去噪网络模型，得到所述待去噪视频帧的图像块的各通道去噪结果；将所述待去噪视频帧的图像块的各通道去噪结果进行VST拟变换及通道整合，得到所述待去噪视频帧的图像块的去噪结果；将所述待去噪视频帧的图像块的去噪结果进行整合，得到所述待去噪视频帧的去噪结果的预测值；利用所述待去噪视频帧的去噪结果的所述预测值和真值计算损失函数，训练所述视频去噪网络模型，训练结束得到所述VST域去噪网络。
本发明实施例提供的RAW域视频去噪装置，实现了基于已有视频降噪模型训练得到适用于暗部区域降噪的VST域降噪网络。
根据本发明实施例提供的一种RAW域视频去噪装置，所述装置还包括第二训练模块，在获取模块10按序获取RAW域视频中当前待去噪的视频帧之前，所述第二训练模块用于：合成噪声信号满足高斯-泊松分布的RAW域样本视频；将所述RAW域样本视频中的视频帧裁剪为多个图像块，空间位置上相对应的所述图像块按时序构成第八图像块序列；根据所述RAW域样本视频中的待去噪视频帧的图像块和对应所述第八图像块序列中相邻所述预设个数的图像块构建第九图像块序列；对所述第九图像块序列进行通道拆分，得到对应各个通道的第十图像块序列；将各个通道的所述第十图像块序列分别输入视频去噪网络模型，得到所述待去噪视频帧的图像块的各通道去噪结果；将所述待去噪视频帧的图像块的各通道去噪结果进行通道整合，得到所述待去噪视频帧的图像块的去噪结果；将所述待去噪视频帧的图像块的去噪结果进行整合，得到所述待去噪视频帧的去噪结果的预测值；利用所述待去噪视频帧的去噪结果的所述预测值和真值计算损失函数，训练所述视频去噪网络模型，训练结束得到所述像素域去噪网络。
本发明实施例提供的一种RAW域视频去噪装置，实现了基于已有视频降噪模型训练得到适用于非暗部区域降噪的像素域降噪网络。
根据本发明实施例提供的一种RAW域视频去噪装置，所述装置还包括判断模块，用于：将所述当前待去噪的视频帧中的图像块的像素值进行归一化处理，得到归一化像素值；根据所述归一化像素值计算均值及方差；响应于所述均值小于预设均值且所述方差小于预设方差，则确定所述图像块为暗部区域；否则，确定所述图像块为非暗部区域。
本发明实施例提供的RAW域视频去噪装置，通过将当前待去噪的视频帧中的图像块的像素值进行归一化处理，得到归一化像素值，根据归一化像素值计算均值及方差，响应于均值小于预设均值且方差小于预设方差，则确定图像块为暗部区域，提高了暗部区域确定的准确性。
根据本发明实施例提供的一种RAW域视频去噪装置，所述预设裁剪规则包括：按照预设方向的预设移动步长将所述视频帧裁剪为多个图像块；其中，所述预设移动步长小于或等于移动方向上所述图像块的尺寸。
本发明实施例提供的RAW域视频去噪装置，通过按照小于或等于移动方向上图像块的尺寸的预设移动步长将视频帧裁剪为多个图像块，提高了图像块裁剪的灵活性。
根据本发明实施例提供的一种RAW域视频去噪装置，整合模块40在用于将所述当前待去噪的视频帧中的各个图像块的去噪结果进行整合，得到所述当前待去噪的视频帧的去噪结果时，具体用于：响应于至少两个图像块包含重叠像素点，则通过计算所述至少两个图像块关于所述重叠像素点的去噪结果的加权和得到所述重叠像素点的像素值。
本发明实施例提供的RAW域视频去噪装置，通过响应于至少两个图像块包含重叠像素点，则通过计算至少两个图像块关于重叠像素点的去噪结果的加权和得到重叠像素点的像素值，提高了去噪结果的准确性。
图5是本发明实施例提供的电子设备的结构示意图，如图5所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行RAW域视频去噪方法，该方法包括：按序获取RAW域视频中当前待去噪的视频帧；其中，所述RAW域视频中的视频帧按照预设裁剪规则裁剪为多个图像块，空间位置上相对应的所述图像块按时序构成第一图像块序列；根据所述当前待去噪的视频帧的图像块和对应所述第一图像块序列中相邻预设个数的图像块构建第二图像块序列；根据所述当前待去噪的视频帧中的图像块是否为暗部区域，将所述图像块所在的所述第二图像块序列进行对应处理后，利用对应的去噪网络得到所述图像块的去噪结果；将所述当前待去噪的视频帧中的各个图像块的去噪结果进行整合，得到所述当前待去噪的视频帧的去噪结果。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的RAW域视频去噪方法，该方法包括：按序获取RAW域视频中当前待去噪的视频帧；其中，所述RAW域视频中的视频帧按照预设裁剪规则裁剪为多个图像块，空间位置上相对应的所述图像块按时序构成第一图像块序列；根据所述当前待去噪的视频帧的图像块和对应所述第一图像块序列中相邻预设个数的图像块构建第二图像块序列；根据所述当前待去噪的视频帧中的图像块是否为暗部区域，将所述图像块所在的所述第二图像块序列进行对应处理后，利用对应的去噪网络得到所述图像块的去噪结果；将所述当前待去噪的视频帧中的各个图像块的去噪结果进行整合，得到所述当前待去噪的视频帧的去噪结果。
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的RAW域视频去噪方法，该方法包括：按序获取RAW域视频中当前待去噪的视频帧；其中，所述RAW域视频中的视频帧按照预设裁剪规则裁剪为多个图像块，空间位置上相对应的所述图像块按时序构成第一图像块序列；根据所述当前待去噪的视频帧的图像块和对应所述第一图像块序列中相邻预设个数的图像块构建第二图像块序列；根据所述当前待去噪的视频帧中的图像块是否为暗部区域，将所述图像块所在的所述第二图像块序列进行对应处理后，利用对应的去噪网络得到所述图像块的去噪结果；将所述当前待去噪的视频帧中的各个图像块的去噪结果进行整合，得到所述当前待去噪的视频帧的去噪结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种RAW域视频去噪方法，其特征在于，包括：
按序获取RAW域视频中当前待去噪的视频帧；其中，所述RAW域视频中的视频帧按照预设裁剪规则裁剪为多个图像块，空间位置上相对应的所述图像块按时序构成第一图像块序列；
根据所述当前待去噪的视频帧的图像块和对应所述第一图像块序列中相邻预设个数的图像块构建第二图像块序列；
根据所述当前待去噪的视频帧中的图像块是否为暗部区域，将所述图像块所在的所述第二图像块序列进行对应处理后，利用对应的去噪网络得到所述图像块的去噪结果；
将所述当前待去噪的视频帧中的各个图像块的去噪结果进行整合，得到所述当前待去噪的视频帧的去噪结果；
所述根据所述当前待去噪的视频帧中的图像块是否为暗部区域，将所述图像块所在的所述第二图像块序列进行对应处理后，利用对应的去噪网络得到所述图像块的去噪结果，包括：
响应于所述当前待去噪的视频帧中的图像块为暗部区域，将所述图像块所在的所述第二图像块序列进行VST变换及通道拆分，得到对应各个通道的第三图像块序列；
将各个通道的所述第三图像块序列分别输入VST域去噪网络，得到所述当前待去噪的视频帧中的图像块的各通道去噪结果；
将所述当前待去噪的视频帧中的图像块的各通道去噪结果进行VST拟变换及通道整合，得到所述图像块的去噪结果。
2.根据权利要求1所述的RAW域视频去噪方法，其特征在于，所述根据所述当前待去噪的视频帧中的图像块是否为暗部区域，将所述图像块所在的所述第二图像块序列进行对应处理后，利用对应的去噪网络得到所述图像块的去噪结果，包括：
响应于所述当前待去噪的视频帧中的图像块为非暗部区域，将所述图像块所在的所述第二图像块序列进行通道拆分，得到对应各个通道的第四图像块序列；
将各个通道的所述第四图像块序列分别输入像素域去噪网络，得到所述当前待去噪的视频帧中的图像块的各通道去噪结果；
将所述当前待去噪的视频帧中的图像块的各通道去噪结果进行通道整合，得到所述图像块的去噪结果。
3.根据权利要求1所述的RAW域视频去噪方法，其特征在于，在所述按序获取RAW域视频中当前待去噪的视频帧之前，所述方法还包括：
合成噪声信号满足高斯-泊松分布的RAW域样本视频；
将所述RAW域样本视频中的视频帧裁剪为多个图像块，空间位置上相对应的所述图像块按时序构成第五图像块序列；
根据所述RAW域样本视频中的待去噪视频帧的图像块和对应所述第五图像块序列中相邻所述预设个数的图像块构建第六图像块序列；
对所述第六图像块序列进行VST变换及通道拆分，得到对应各个通道的第七图像块序列；
将各个通道的所述第七图像块序列分别输入视频去噪网络模型，得到所述待去噪视频帧的图像块的各通道去噪结果；
将所述待去噪视频帧的图像块的各通道去噪结果进行VST拟变换及通道整合，得到所述待去噪视频帧的图像块的去噪结果；
将所述待去噪视频帧的图像块的去噪结果进行整合，得到所述待去噪视频帧的去噪结果的预测值；
利用所述待去噪视频帧的去噪结果的所述预测值和真值计算损失函数，训练所述视频去噪网络模型，训练结束得到所述VST域去噪网络。
4.根据权利要求2所述的RAW域视频去噪方法，其特征在于，在所述按序获取RAW域视频中当前待去噪的视频帧之前，所述方法还包括：
合成噪声信号满足高斯-泊松分布的RAW域样本视频；
将所述RAW域样本视频中的视频帧裁剪为多个图像块，空间位置上相对应的所述图像块按时序构成第八图像块序列；
根据所述RAW域样本视频中的待去噪视频帧的图像块和对应所述第八图像块序列中相邻所述预设个数的图像块构建第九图像块序列；
对所述第九图像块序列进行通道拆分，得到对应各个通道的第十图像块序列；
将各个通道的所述第十图像块序列分别输入视频去噪网络模型，得到所述待去噪视频帧的图像块的各通道去噪结果；
将所述待去噪视频帧的图像块的各通道去噪结果进行通道整合，得到所述待去噪视频帧的图像块的去噪结果；
将所述待去噪视频帧的图像块的去噪结果进行整合，得到所述待去噪视频帧的去噪结果的预测值；
利用所述待去噪视频帧的去噪结果的所述预测值和真值计算损失函数，训练所述视频去噪网络模型，训练结束得到所述像素域去噪网络。
5.根据权利要求1所述的RAW域视频去噪方法，其特征在于，所述方法还包括：
将所述当前待去噪的视频帧中的图像块的像素值进行归一化处理，得到归一化像素值；
根据所述归一化像素值计算均值及方差；
响应于所述均值小于预设均值且所述方差小于预设方差，则确定所述图像块为暗部区域；否则，确定所述图像块为非暗部区域。
6.根据权利要求1所述的RAW域视频去噪方法，其特征在于，所述预设裁剪规则包括：
按照预设方向的预设移动步长将所述视频帧裁剪为多个图像块；其中，所述预设移动步长小于或等于移动方向上所述图像块的尺寸。
7.根据权利要求1所述的RAW域视频去噪方法，其特征在于，所述将所述当前待去噪的视频帧中的各个图像块的去噪结果进行整合，得到所述当前待去噪的视频帧的去噪结果，包括：
响应于至少两个图像块包含重叠像素点，则通过计算所述至少两个图像块关于所述重叠像素点的去噪结果的加权和得到所述重叠像素点的像素值。
8.一种RAW域视频去噪装置，其特征在于，包括：
获取模块，用于：按序获取RAW域视频中当前待去噪的视频帧；其中，所述RAW域视频中的视频帧按照预设裁剪规则裁剪为多个图像块，空间位置上相对应的所述图像块按时序构成第一图像块序列；
构建模块，用于：根据所述当前待去噪的视频帧的图像块和对应所述第一图像块序列中相邻预设个数的图像块构建第二图像块序列；
去噪模块，用于：根据所述当前待去噪的视频帧中的图像块是否为暗部区域，将所述图像块所在的所述第二图像块序列进行对应处理后，利用对应的去噪网络得到所述图像块的去噪结果；
整合模块，用于：将所述当前待去噪的视频帧中的各个图像块的去噪结果进行整合，得到所述当前待去噪的视频帧的去噪结果；
所述去噪模块在用于根据所述当前待去噪的视频帧中的图像块是否为暗部区域，将所述图像块所在的所述第二图像块序列进行对应处理后，利用对应的去噪网络得到所述图像块的去噪结果时，具体用于：
响应于所述当前待去噪的视频帧中的图像块为暗部区域，将所述图像块所在的所述第二图像块序列进行VST变换及通道拆分，得到对应各个通道的第三图像块序列；
将各个通道的所述第三图像块序列分别输入VST域去噪网络，得到所述当前待去噪的视频帧中的图像块的各通道去噪结果；
将所述当前待去噪的视频帧中的图像块的各通道去噪结果进行VST拟变换及通道整合，得到所述图像块的去噪结果。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述RAW域视频去噪方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述RAW域视频去噪方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310893709.8A CN116634284B (zh) | 2023-07-20 | 2023-07-20 | Raw域视频去噪方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310893709.8A CN116634284B (zh) | 2023-07-20 | 2023-07-20 | Raw域视频去噪方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116634284A CN116634284A (zh) | 2023-08-22 |
| CN116634284B true CN116634284B (zh) | 2023-10-13 |
Family
ID=87617418
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310893709.8A Active CN116634284B (zh) | 2023-07-20 | 2023-07-20 | Raw域视频去噪方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116634284B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111724317A (zh) * | 2020-05-20 | 2020-09-29 | 天津大学 | Raw域视频去噪监督数据集构造方法 |
| CN111784614A (zh) * | 2020-07-17 | 2020-10-16 | Oppo广东移动通信有限公司 | 图像去噪方法及装置、存储介质和电子设备 |
| CN112055131A (zh) * | 2019-06-05 | 2020-12-08 | 杭州吉沁文化创意有限公司 | 一种视频处理系统及方法 |
| CN115205731A (zh) * | 2022-06-10 | 2022-10-18 | 中国科学院宁波材料技术与工程研究所 | 一种视频降噪装置、方法及终端 |
| CN115393227A (zh) * | 2022-09-23 | 2022-11-25 | 南京大学 | 基于深度学习的微光全彩视频图像自适应增强方法及系统 |
| CN115984570A (zh) * | 2022-12-30 | 2023-04-18 | 虹软科技股份有限公司 | 一种视频去噪方法、装置、存储介质和电子装置 |
| CN116112809A (zh) * | 2023-02-06 | 2023-05-12 | 阿里巴巴（中国）有限公司 | 图像降噪处理方法、装置及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112311962B (zh) * | 2019-07-29 | 2023-11-24 | 深圳市中兴微电子技术有限公司 | 一种视频去噪方法和装置、计算机可读存储介质 |
-
2023
- 2023-07-20 CN CN202310893709.8A patent/CN116634284B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112055131A (zh) * | 2019-06-05 | 2020-12-08 | 杭州吉沁文化创意有限公司 | 一种视频处理系统及方法 |
| CN111724317A (zh) * | 2020-05-20 | 2020-09-29 | 天津大学 | Raw域视频去噪监督数据集构造方法 |
| CN111784614A (zh) * | 2020-07-17 | 2020-10-16 | Oppo广东移动通信有限公司 | 图像去噪方法及装置、存储介质和电子设备 |
| CN115205731A (zh) * | 2022-06-10 | 2022-10-18 | 中国科学院宁波材料技术与工程研究所 | 一种视频降噪装置、方法及终端 |
| CN115393227A (zh) * | 2022-09-23 | 2022-11-25 | 南京大学 | 基于深度学习的微光全彩视频图像自适应增强方法及系统 |
| CN115984570A (zh) * | 2022-12-30 | 2023-04-18 | 虹软科技股份有限公司 | 一种视频去噪方法、装置、存储介质和电子装置 |
| CN116112809A (zh) * | 2023-02-06 | 2023-05-12 | 阿里巴巴（中国）有限公司 | 图像降噪处理方法、装置及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 低照度视频监控图像降噪算法设计与实现;刘磊磊 等;计算机工程;第40卷(第3期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116634284A (zh) | 2023-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111539879B (zh) | 基于深度学习的视频盲去噪方法及装置 | |
| WO2016206087A1 (zh) | 一种低照度图像处理方法和装置 | |
| CN110246087B (zh) | 参考多通道的多分辨率去除图像色度噪声的系统和方法 | |
| CN111192226B (zh) | 一种图像融合去噪方法及装置、系统 | |
| CN111275653A (zh) | 图像去噪方法及装置 | |
| WO2009091081A1 (en) | Systems and methods for video processing based on motion-aligned spatio-temporal steering kernel regression | |
| CN113297937B (zh) | 一种图像处理方法、装置、设备及介质 | |
| CN111401411A (zh) | 获取样本图像集的方法及装置 | |
| CN111724317A (zh) | Raw域视频去噪监督数据集构造方法 | |
| CN110111269A (zh) | 基于多尺度上下文聚合网络的低照度成像算法及装置 | |
| CN113379609B (zh) | 一种图像处理方法、存储介质及终端设备 | |
| CN114445290A (zh) | 一种面向硬件的联合去噪去马赛克方法 | |
| JP2022067858A (ja) | 学習済みモデル及びデータ処理装置 | |
| CN112489103B (zh) | 一种高分辨率深度图获取方法及系统 | |
| CN113658091A (zh) | 一种图像评价方法、存储介质及终端设备 | |
| US11783454B2 (en) | Saliency map generation method and image processing system using the same | |
| Huang et al. | Underwater image enhancement based on color restoration and dual image wavelet fusion | |
| CN116634284B (zh) | Raw域视频去噪方法、装置、电子设备及存储介质 | |
| CN110136085B (zh) | 一种图像的降噪方法及装置 | |
| CN111754412B (zh) | 构建数据对的方法、装置及终端设备 | |
| CN116823662A (zh) | 一种融合原生特征的图像去噪去模糊方法 | |
| CN116468636A (zh) | 低照度增强方法、装置、电子设备和可读存储介质 | |
| CN116363011A (zh) | 一种基于频域分频的多分支低照度图像增强方法 | |
| CN111968039A (zh) | 基于硅传感器相机的昼夜通用图像处理方法、装置及设备 | |
| CN114897720A (zh) | 一种图像增强装置及其方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |