CN114782280A - 图像处理方法和装置 - Google Patents
图像处理方法和装置 Download PDFInfo
- Publication number
- CN114782280A CN114782280A CN202210477662.2A CN202210477662A CN114782280A CN 114782280 A CN114782280 A CN 114782280A CN 202210477662 A CN202210477662 A CN 202210477662A CN 114782280 A CN114782280 A CN 114782280A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- noise reduction
- video frame
- time domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 230000009467 reduction Effects 0.000 claims abstract description 316
- 238000012545 processing Methods 0.000 claims abstract description 89
- 238000013136 deep learning model Methods 0.000 claims abstract description 72
- 238000000034 method Methods 0.000 claims abstract description 56
- 230000009466 transformation Effects 0.000 claims description 72
- 238000001914 filtration Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 24
- 238000010606 normalization Methods 0.000 claims description 19
- 230000000087 stabilizing effect Effects 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000002123 temporal effect Effects 0.000 claims description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 6
- 230000006641 stabilisation Effects 0.000 claims description 5
- 238000011105 stabilization Methods 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 58
- 238000003860 storage Methods 0.000 abstract description 14
- 230000000694 effects Effects 0.000 description 33
- 230000008569 process Effects 0.000 description 19
- 238000009826 distribution Methods 0.000 description 15
- 238000003062 neural network model Methods 0.000 description 15
- 238000011946 reduction process Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 230000013016 learning Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 206010070834 Sensitisation Diseases 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000008313 sensitization Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Abstract
本申请公开了一种图像处理方法、装置、电子设备及可读存储介质，属于计算机技术领域。可以对视频码流中视频帧先进行时域降噪处理得到时域降噪图像，再进一步对时域降噪图像的图像参数进行处理，得到视频帧对应的图像参数规范化后的目标图像，最后通过深度学习模型对目标图像进行人工智能降噪处理，进而得到视频帧对应的降噪视频帧，确保了输入深度学习模型的目标图像的参数趋于一致，使得各个视频帧的降噪效果一致性较高，进而提升了对视频码流的整体降噪效果，并在进行人工智能降噪前，预先对视频帧进行了时域降噪处理，降低了深度学习模型的运算量，提升了降噪效率。
Description
技术领域
本申请属于图像处理技术领域，具体涉及一种图像处理方法和装置。
背景技术
现如今，随着视频拍摄设备的普及，拍摄视频的人越来越多，但是由于传感器性能和光照条件的限制，视频帧中会存在噪点。因此，如何剔除视频帧中的噪点，以提升视频的观感成为了热门研究课题。
相关技术中，通常会使用大量的图像样本(包含降噪前的图像和降噪后的图像)对卷积神经网络进行训练，得到人工智能降噪模型。再将拍摄到的视频中的视频帧输入该人工智能降噪模型中对视频中的视频帧进行人工智能降噪，以得到降噪后的视频帧，再将降噪后的视频帧拼接成为降噪视频。
但是，采用人工智能降噪模型对视频帧进行人工智能降噪时，降噪结果的一致性较差且降噪效率较低。
发明内容
本申请实施例的目的是提供一种图像处理方法、装置、电子设备及可读存储介质，能够解决对视频进行人工智能降噪时，降噪结果的一致性较差且降噪效率较低的问题。
第一方面，本申请实施例提供了一种图像处理方法，该方法包括：
从目标视频码流中获取目标视频帧；
对所述目标视频帧进行时域降噪，得到所述目标视频帧对应的目标时域降噪图像；
针对所述目标时域降噪图像的目标图像参数进行处理，得到目标图像；
将所述目标图像输入深度学习模型，得到所述深度学习模型输出的目标降噪视频帧。
第二方面，本申请实施例提供了一种图像处理装置，该装置包括：
获取模块，用于从目标视频码流中获取目标视频帧；
时域降噪模块，用于对所述目标视频帧进行时域降噪，得到所述目标视频帧对应的目标时域降噪图像；
处理模块，用于针对所述目标时域降噪图像的目标图像参数进行处理，得到目标图像；
输入模块，用于将所述目标图像输入深度学习模型，得到所述深度学习模型输出的目标降噪视频帧。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
在本申请实施例中，包括，从目标视频码流中获取目标视频帧；对目标视频帧进行时域降噪，得到目标视频帧对应的目标时域降噪图像；针对所述目标时域降噪图像的目标图像参数进行处理，得到目标图像；将目标图像输入深度学习模型，得到深度学习模型输出的目标降噪视频帧。本申请可以对视频码流中视频帧先进行时域降噪处理得到时域降噪图像，再进一步对时域降噪图像的图像参数进行处理，得到视频帧对应的图像参数规范化后的目标图像，最后通过深度学习模型对目标图像进行人工智能降噪处理，进而得到视频帧对应的降噪视频帧，确保了输入深度学习模型的目标图像的参数趋于一致，使得各个视频帧的降噪效果一致性较高，进而提升了对视频码流的整体降噪效果，并在进行人工智能降噪前，预先对视频帧进行了时域降噪处理，降低了深度学习模型的运算量，提升了降噪效率。
附图说明
图1是本申请实施例提供的一种图像处理步骤流程图；
图2是本申请实施例提供的一种像素排列方式示意图；
图3是本申请实施例提供的另一种图像处理步骤流程图；
图4是本申请实施例提供的另一种图像处理步骤流程图；
图5是本申请实施例提供的一种图像处理装置的框图；
图6是本申请实施例提供的一种图像处理系统架构图；
图7是本申请实施例提供的一种电子设备；
图8是本申请实施例提供的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是至少两个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体地实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。
参照图1，图1示出了本申请实施例提供的一种图像处理步骤流程图，如图1所示，具体包括以下步骤：
步骤101，从目标视频码流中获取目标视频帧。
在本申请实施例中，目标视频码流可以是直接由影像传感器在拍摄视频的过程中，直接输出的视频帧构成的视频帧序列，也可以是从视频文件中读取的视频帧构成的视频帧序列。也就是说，本申请实施例可以在视频录制过程中对影像传感器采集的视频帧进行处理，也可以对以录制的视频文件中的视频帧进行处理。
在本申请实施例中，目标视频码流可以是由原始图像构成，原始图像可以包含RWA(RAW Image Format)图像格式。RAW图像中的像素包含有影像传感器的原始感光信息，最大程度保留了影像传感器拍摄到的图像信息，RAW图像类似于胶片摄影中未经处理的底片。
参照图2，图2示出了本申请实施例提供的一种像素排列方式示意图。如图2所示，在RAW图像中，各个像素按照拜尔阵列(BayerPattern)进行排列，根据影像传感器中感光元件的不同，RAW图像格式中像素的具体排列方式可以包含但不限于图2中所示的RGGB、RYYB、RGBW、RGB-IR。其中R表示红色像素、G表示绿色像素、B表示蓝色像素、Y表示黄色像素、W表示白色像素、IR表示红外像素。
目标视频帧为目标视频码流中的一帧图像。在本申请实施例中，可以从目标视频码流中的第一帧图像开始，按照目标视频码流中的视频帧顺序，从目标视频码流中获取视频帧，并在后续步骤中对目标视频码流中的每个视频帧进行降噪处理，以获得降噪后的目标视频码流。
步骤102，对所述目标视频帧进行时域降噪，得到所述目标视频帧对应的目标时域降噪图像。
在本申请实施例中，可以在获取目标视频帧后，首先对目标视频帧进行时域降噪处理，而不将目标视频帧直接输入到深度学习模型中进行人工智能降噪，以兼顾较好的降噪效果和较高的降噪效率。
时域降噪是对多帧图像进行分析运算来进行降噪的技术，可以将前置视频帧或降噪后的前置视频帧与目标视频帧进行融合，从而达到降低目标视频帧中噪声的效果。
具体地，在本申请实施例中，由于会对目标视频码流中的每一帧视频帧都进行时域降噪，因此，在处理目标视频帧时，其前置视频帧已经具有对应的时域降噪图像。在对目标视频帧进行时域降噪时，可以先将目标视频帧的前置视频帧对应的目标时域降噪图像与目标视频帧进行像素对齐，再将对齐后的前置视频帧对应的目标时域降噪图像与目标视频帧进行像素融合，以获得目标视频帧的目标时域降噪图像。
需要说明的是，在目标视频帧是目标视频码流中第一个视频帧的情况下，目标视频帧不存在前置视频帧，进而也就不存在前置视频帧对应的目标时域降噪图像，此时可以将该目标视频帧本身作为前置视频帧对应的目标时域降噪图像，采用同样的时域降噪方法获得该目标视频帧对应的目标时域降噪图像。或直接将该目标视频帧本身作为该目标视频帧对应的目标时域降噪图像。
步骤103，针对所述目标时域降噪图像的目标图像参数进行处理，得到目标图像。
由于不同拍摄设备上搭载的影像传感器并不相同，不同影像传感器的性能参数可能存在较大差异，例如，不同影像传感器在相同拍摄条件下拍摄到的视频帧中噪声水平存在差异，不同影像传感器输出的视频帧的分辨率也不同。此外，由于拍摄条件(例如环境光照、被摄景物、拍摄参数等)并不是一成不变的，即使是使用相同影像传感器拍摄的视频帧之间也会存在较大差异。
由于深度学习模型是基于样本图像的进行训练得到的，基于特定参数的样本图像训练得到的深度学习模型在处理其他参数的图像时，其处理效果会发生不可控的偏移，导致深度学习模型对不同参数的图像进行人工智能降噪时，难以确保均达到良好的降噪效果，且降噪效果的一致性较差。
因此，在本申请实施例中，可以在得到目标时域降噪图像之后，对目标时域降噪图像的像素值进行调整，以对目标时域降噪图像进行针对目标图像参数的规范化处理，得到目标图像参数处于预设区间范围内的目标图像。
在本申请实施例中，目标图像参数可以包括图像噪声强度、图像亮度、图像亮度等图像本身的属性参数。其中，图像噪声强度可以是用图像的噪声方差进行表示，图像的噪声方差越高，则图像的噪声强度越高。此外，也可以采用其他方式对图像噪声强度进行表示，在此不做具体限定。
示例地，对于噪声强度的规范化处理，可以通过调整各个目标时域降噪图像中各个像素的像素值，使得调整后的像素值构成的目标图像的噪声方差达到相同的方差水平，进而达到对目标时域降噪图像的噪声强度进行规范化处理的目的。
对于图像亮度的规范化处理，可以通过调整各个目标时域降噪图像中各个像素的像素值，使得调整后的像素值构成的目标图像的亮度达到相同的亮度水平，进而达到对目标时域降噪图像的亮度值进行规范化处理的目的。
需要说明的是，目标图像参数处于预设区间范围内的目标图像，可以是指目标图像参数达到某一预设值的目标图像，例如，将所有目标时域降噪图像的亮度值均规范化至100；也可以是指目标图像参数达到某一预设区间的目标图像，例如，将所有图标视频帧的亮度值均规范化至[90,100]；也可以是使所有目标图像的目标图像参数达到相同的水平，而不设置具体地预设区间范围。
步骤104，将所述目标图像输入深度学习模型，得到所述深度学习模型输出的目标降噪视频帧。
深度学习模型是指可用于图像人工智能降噪的模型，其可以由未降噪图像和降噪图像的对应关系构成的训练数据训练得到，也可以由其他方式训练得到，本申请实施例对深度学习模型的训练方式并不进行具体限定。
在本申请实施例中，深度学习模型可以是基于Unet神经网络模型及其变种结构的模型，也可以是基于ResNet神经网络模型及其变种结构的模型，还可以是基于其他任意卷积神经网络结构的模型，本申请实施例对深度学习模型的结构并不进行具体限定。
在得到目标视频帧对应的目标图像后，可以将目标图像作为模型输入，输入到深度学习模型中，深度学习模型对目标图像进行人工智能降噪，并输出目标视频帧对应的模型降噪图像。
在本申请实施例中，可以直接将目标视频帧对应的模型降噪图像作为目标降噪视频帧，并将目标视频码流中各个目标视频帧对应的目标降噪视频帧进行拼接，得到目标视频码流对应的降噪后的目标降噪视频。
进一步地，也可以在得到目标视频帧对应的模型降噪图像后，对模型降噪图像进行后处理，得到目标视频帧对应的目标降噪视频帧，例如，后处理可以包括风格化处理、分辨率调整等图像处理方式。再将目标视频码流中各个目标视频帧对应的目标降噪视频帧进行拼接，得到目标视频码流对应的降噪后的目标降噪视频。
综上，本申请实施例提供的一种图像处理方法，包括，从目标视频码流中获取目标视频帧；对目标视频帧进行时域降噪，得到目标视频帧对应的目标时域降噪图像；针对所述目标时域降噪图像的目标图像参数进行处理，得到目标图像；将目标图像输入深度学习模型，得到深度学习模型输出的目标降噪视频帧。本申请可以对视频码流中视频帧先进行时域降噪处理得到时域降噪图像，再进一步对时域降噪图像的图像参数进行处理，得到视频帧对应的图像参数规范化后的目标图像，最后通过深度学习模型对目标图像进行人工智能降噪处理，进而得到视频帧对应的降噪视频帧，确保了输入深度学习模型的目标图像的参数趋于一致，使得各个视频帧的降噪效果一致性较高，进而提升了对视频码流的整体降噪效果，并在进行人工智能降噪前，预先对视频帧进行了时域降噪处理，降低了深度学习模型的运算量，提升了降噪效率。
参照图3，图3示出了本申请实施例提供的另一种图像处理步骤流程图，如图3所示，具体包括以下步骤：
步骤201，从目标视频码流中获取目标视频帧。
此步骤可参见步骤101，本申请实施例不再赘述。
步骤202，获取用于拍摄所述目标视频码流的图像传感器的固定模式噪声。
在获取到目标视频帧之后，还可以从拍摄目标视频码流的图像传感器中读取预先标定的固定模式噪声。其中，固定模式噪声(Fixed Pattern Noise，FPN)是一种由图像传感器制造工艺存在的缺陷等原因产生，会随着图像传感器周围的环境温度和图像传感器的模拟增益(例如图像传感器的感光度等)等的变化而变化的固定噪声。技术人员可以预先根据不同的模拟增益和环境温度对图像传感器的固定模式噪声进行标定，并将标定好的固定模式噪声存储在存储器中。
步骤203，基于所述固定模式噪声去除所述目标视频帧中的固定噪声。
具体地，由于固定模式噪声中包含有各个像素的固定噪声值，因此可以将目标视频帧中像素的像素值，与固定模式噪声中该像素对应的固定噪声值相减，以得到该像素去除固定噪声后的像素值。对目标视频帧中的每个像素执行上述操作，从而得到去除固定噪声的目标视频帧。
在本申请实施例中，可以在得到目标视频帧后，去除目标视频帧中的固定噪声，避免固定噪声对后续处理的干扰，从而提升对目标视频帧的降噪效果。
步骤204，对所述目标视频帧进行时域降噪，得到所述目标视频帧对应的目标时域降噪图像。
此步骤可参见步骤102，本申请实施例不再赘述。
可选地，步骤204还可以进一步包括：
子步骤2041，根据所述目标视频帧的前置视频帧和所述前置视频帧之间的像素偏移量，对与所述前置视频帧对应的前置时域降噪图像进行仿射变换，得到第一变换图像。
前置视频帧为目标视频码流中，目标视频帧的上一帧图像。在确定目标视频帧的目标时域降噪图像之前，已经对目标视频帧的前置视频帧进行了时域降噪处理，并得到了前置视频帧的前置时域降噪图像。
在对目标视频帧进行时域降噪时，可以首先获取目标视频帧的前置视频帧，以及该前置视频帧对应的前置时域降噪图像。
在本申请实施例中，由于视频拍摄过程中被摄物体或镜头会发生运动，目标视频帧中的图像内容与前置视频帧中的图像内容会存在一定的偏移，进而，目标视频帧中的图像内容与前置时域降噪图像中的图像内容也会存在一定偏移。因此，为了通过前置时域降噪图像对目标视频帧进行时域降噪处理，可以首先将根据时域降噪图像与目标视频帧的像素偏移量，对前置时域降噪图像进行仿射变换，得到第一变化图像，使得第一变换图像与目标视频帧中相同位置的像素点代表相同景物的成像结果。
在本申请实施例中，可以采用多种方式确定目标视频帧和前置视频帧之间的像素偏移量，例如灰度投影算法(gray projections)、块匹配算法(Block MatchingAlgorithm)、光流法(optical flow methods)等，还可以基于拍摄设备在拍摄目标视频帧时的位姿信息，与拍摄前置视频帧是的位姿信息确定目标视频帧与前置视频帧之间的像素偏移量。
具体地，以灰度投影算法为例，对目标视频帧和前置视频帧之间的像素偏移量的确定方法进行说明：
首先将目标视频帧和前置视频帧分别进行分割，分别得到m×n个图像块，其中，1≤m≤M,1≤n≤N，M为目标视频帧和前置视频帧纵向像素数量，N为目标视频帧和前置视频帧的横向像素数量。例如，在取m＝n＝1的情况下，则将目标视频帧和前置视频帧的整体作为1个图像块，在取m＝2，n＝3的情况下，则将目标视频帧和前置视频帧在纵向2等分，在横向3等分，得到6个图像块。目标视频帧的图像块使用
进行表示，前置视频帧的图像块使用
进行表示，i∈[1,m],j∈[1,n]。
在n＝m＝1的情况下，相当于求解目标视频帧和前置视频帧的整体偏移量，以下对n＝m＝1的情况进行说明：
通过公式(1)和(2)分别计算前置视频帧的图像块Bt0在x方向和y方向上的像素累积值：
其中，
表示图像块Bt0在x方向上的像素累积值，
表示图像块Bt0在y方向上的像素累积值。需要说明的是，同时还需要计算目标视频帧的图像块Bt1在x方向和y方向上的像素累积值
和
其计算方法与上述计算图像块Bt0在x方向上的像素累积值的方法相类似，为避免重复，本申请实施例不再赘述。
举例说明，如果有一个分辨率为4*4的前置视频帧A，在n＝m＝1的情况下，得到的1个图像块Bt0为：
其中，每个数字表示该Bt0中的一个像素值。则
在确定出前置视频帧的图像块的像素累积值和目标视频帧的图像块的像素累积值之后，采用以下公式(3)和(4)分别计算在不同偏移量下，x方向和y方向上的绝对差值和(SAD)Δx和Δy：
通过调整上述公式中的δ值，使得Δx和Δy的值最小，取Δx在最小值的情况下对应δ值为横向偏移量Vx，以及Δy在最小值的情况下对应的δ值为纵向偏移量Vy。从而得到前置视频帧的图像块Bt0与目标视频帧的图像块Bt1之间的偏移量(Vx，Vy)。
最后，在通过双线性差值法对前置视频帧的图像块Bt0与目标视频帧的图像块Bt1之间的偏移量(Vx，Vy)进行处理，从而得到前置视频帧与目标视频帧之间每对位置相同的像素点对应的像素偏移量。
由于前置视频帧的前置时域降噪图像与前置视频帧的分辨率相同，其像素数量也相同，因此，可以在得到前置视频帧与目标视频帧之间每对位置相同的像素点对应的像素偏移量之后，可以根据这些像素偏移量，对前置时域降噪图像中对应位置的像素点进行移动，以对前置时域降噪图像仿射变换，得到像素点与目标视频帧中的像素点具有空域对应关系的第一变换图像。
子步骤2042，基于所述第一变换图像对所述目标视频帧进行时域降噪，得到所述目标视频帧对应的目标时域降噪图像。
由于第一变换图像是基于前置视频帧的前置时域降噪图像变换得到的，且第一变换图像中的景物与目标视频帧中的景物一致，因此，可以认为第一变换图像是与目标视频帧的内容相同且图像噪声较少的图像。进而可以通过第一变换图像作为时域降噪参考图像，对目标视频帧进行时域降噪。
具体地，可以将第一变换图像中的像素点与目标视频帧的像素点进行融合，以得到目标视频帧对应的目标时域降噪图像。上述融合像素点的方法可以包括均值融合(将第一遍换图像的像素值与目标视频帧的像素值的平均值作为目标时域降噪图像的像素值)或加权融合(将第一遍换图像的像素值与目标视频帧的像素值的加权平均值作为目标时域降噪图像的像素值)。
在本申请实施例中，可以通过目标视频帧的前置视频帧对应的前置时域降噪图像对目标视频帧进行时域降噪，由于前置时域降噪图像已经经过了一轮时域降噪处理，因此，对目标视频帧的时域降噪处理可以同时叠加多轮时域降噪的结果，提高了对目标视频帧的时域降噪效果。
为了对第一遍换图像的像素值与目标视频帧的像素值进行加权融合，具体可以包括子步骤A1至子步骤A3。
可选地，子步骤2042可以进一步包括：
子步骤A1，通过预设滤波函数确定所述目标视频帧的第一滤波图像，以及所述第一变换图像的第二滤波图像。
预设滤波函数可以是高斯滤波函数、阈值滤波函数等任意空域低通滤波函数，本申请实施例在此不做具体限定。
将目标视频帧和第一变换图像分别输入相同的预设滤波函数中，分别得到目标视频帧对应的第一滤波图像和第一变换图像对应的第二滤波函数。
子步骤A2，根据所述第一滤波图像与所述第二滤波图像之间的像素差值，确定所述目标视频帧的像素点与所述第一变换图像的像素点之间的像素相似度。
根据第一滤波图像的像素点与第二滤波图像中相同位置的像素点之间的像素差值，确定上述两个相同位置的像素点之间的像素相似度。
具体地，可以通过以下公式(5)计算像素相似度：
其中，clip[]为数值约束函数，用于对[]内的值进行归一化处理，flowpass为预设滤波函数，
表示目标视频帧中横坐标为x且纵坐标为y的像素点的像素值，则
表示第一滤波图像中横坐标为x且纵坐标为y的像素点的像素值，
表示第二滤波图像中横坐标为x且纵坐标为y的像素点的像素值，A(x,y)表示目标视频帧与第一变换图像中横坐标为x且纵坐标为y的两个像素点之间的像素相似度。
通过上述公式(5)遍历第一滤波图像和第二滤波图像中的像素点，确定目标视频帧与第一变换图像中每对相同位置处的像素点之间的像素相似度。
A3，基于所述像素相似度对所述目标视频帧和所述第一变换图像进行加权叠加，得到所述目标视频帧对应的目标时域降噪图像。
在本申请实施例中，由于第一变换图像的图像噪声较少，如果目标视频帧与第一变换图像中某相同位置的像素点之间的相似度较高，则说明在该位置的画面的变化较小，可以较多参考第一变换图像中该位置的像素值进行加权叠加，即增加第一变换图像中该位置的像素点的权重。而如果目标视频帧与第一变换图像中某相同位置的像素点之间的相似度较低，则说明在该位置的画面的变化较大，为了更好地保留目标图像帧中的画面内容变化信息，可以较多参考目标图像帧中该位置的像素值进行加权叠加，即增加目标图像帧中该位置的像素点的权重。
具体地，可以通过以下公式(6)对目标视频帧的像素点和第一变换图像的像素点进行加权叠加，得到目标视频帧对应的目标时域降噪图像中各个像素点的像素值：
其中，
表示目标时域降噪图像中横坐标为x且纵坐标为y的像素点的像素值。
在上述公式(6)中，A(x,y)为第一变换图像的像素值
的融合权重，[1-A(x,y)]为第一变换图像的像素值
的融合权重，当(x，y)位置处像素的相似度A(x,y)较大时，则[1-A(x,y)]较小，此时像素值
的融合权重较高，像素值
的融合权重较低。
为像素融合后得到的目标时域降噪图像的像素值。
在本申请实施例中，可以通过非神经网络模型的方式对目标视频帧进行时域降噪处理，相较于神经网络模型的方式可以消耗更少的运算资源。因此可以在后续人工智能降噪过程中免去对目标视频帧的时域降噪处理，不仅可以简化用于人工智能降噪的神经网络模型的结构，还可以提高整体方案的降噪效率。
步骤205，基于目标变换参数对所述目标时域降噪图像的噪声方差进行方差稳定化变换，得到所述噪声方差处于目标方差范围内的噪声规范化图像。
在本申请实施例中，目标图像可以通过对目标视频帧进行规范化处理而得到。为了达到更好的降噪效果，也可以在生成目标图像之前先通过上述步骤对目标视频帧进行时域降噪处理，得到目标视频帧对应的目标时域降噪图像，再对目标时域降噪图像进行规范化处理，得到目标图像。
在本申请实施例中，由于待进行人工智能降噪处理的目标图像可以基于目标时域降噪图像得到，使得后续进行人工智能降噪处理的目标图像中包含的噪声较少，不仅可以提高方案整体的降噪效果，还有助于降低后续人工智能降噪过程所需的运算量，提升降噪效率。
在本申请实施例中，可以通过方差稳定化变化(VST)，将目标时域降噪图像的噪声方差进行一致性处理，得到具有恒定噪声方差的噪声规范化图像。
可以将目标时域降噪图像的每个像素点的像素值输入到VST变换函数中，得到变换后的规范化像素值，再根据规范化像素值构建与目标时域降噪图像的像素点具有一一对应关系的噪声规范化图像。
具体地，可以采用以下VST变换函数(7)计算规范化像素值：
其中，VST(z)为规范化像素值，z为待处理像素值，即目标时域降噪图像中像素点的像素值，α和
均为目标变换参数，α具体是与图像数据位宽、图像模拟增益、图像数字增益有关实际增益系数，
具体是预先标定的高斯噪声方差。
在本申请实施例中，根据图像传感器的不同，可以设置不同的α，调整
的值相当于调整目标方差范围，也就是调整最终得到的噪声规范化图像的噪声方差的水平。例如，在本申请实施例中，
可以取11.13，α可以取2。
需要说明的是，上述公式为方差稳定化变换的示例性说明，还可以通过其他方式对目标时域降噪图像进行方差稳定化变换，例如，通过预先训练的方差稳定化变换神经网络模型进变换，本申请实施例中对方差稳定化变换的具体方法并不进行特别限定。
在本申请实施例中，可以通过VST变换对不同噪声水平的目标图像帧或其对应的目标时域降噪结果进行处理，得到噪声水平相同的噪声规范化图像，使得后续的人工智能降噪过程可以对噪声水平相同的图像进行处理，进而可以提升人工智能降噪结果的一致性；并且，还可以根据人工智能降噪过程所选用的神经网络模型，调整目标变换参数，使得输入该神经网络模型的噪声规范化图像的噪声水平，与训练该神经网络模型的样本图像的噪声水平相一致，有效提升了人工智能降噪阶段的降噪效果。
步骤206，将所述噪声规范化图像输入深度学习模型，得到所述深度学习模型输出的模型降噪图像。
进一步地，再将噪声规范化图像输入深度学习模型之前，还可以先对噪声规范化图像进行分辨率规范化，将噪声规范化图像的分辨率调整为预设分辨率，再将预设分辨率的噪声规范化图像输入深度学习模型进行人工智能降噪处理。其中，预设分辨率可以是技术人员根据深度学习模型的特性确定，例如，可以根据深度学习模型训练时所使用的训练样本的分辨率确定预设分辨率。也可以通过其他方式确定预设分辨率，本申请实施例不做具体限定。
通过对输入深度学习模型的图像进行分辨率规范化，不仅可以进一步提高人工智能降噪结果的一致性，还可以使输入深度学习模型的图像适配深度学习模型，提升人工智能降噪的准确性。
步骤207，基于所述目标变换参数对所述模型降噪图像进行方差稳定化逆变换，得到目标降噪视频帧。
由噪声规范化图像是基于方差稳定化变换得到的，在方差稳定化变换中损失了目标时域降噪图像的内容，因此，在通过人工智能降噪对噪声规范化图像进行降噪得到模型降噪图像后，还需要对模型降噪图像进行基于同样目标变换参数的方差稳定化逆变换(IVST)，以恢复图像内容。
具体地，可以采用以下IVST变换函数(8)对模型降噪图像中的每个像素点的像素值进行变换，得到逆变换像素值：
其中，IVST(z)为逆变换像素值，z为模型降噪图像中像素点的像素值。上述IVST变换函数中的目标变换参数α和
需要与上述步骤205中VST变换函数中的目标变换参数α和
保持一致。
在本申请实施例中，可以通过方差稳定化变换得到用于进行人工智能降噪处理的噪声规范化图像，并对人工智能降噪后的噪声规范化图像进行方差稳定化逆变换以得到目标视频帧对应的目标降噪图像，不仅可以提升降噪效果，还降低了降噪过程中图像内容的损失。
综上，本申请实施例提供的另一种图像处理方法，可以在得到目标视频帧后，去除目标视频帧中的固定噪声，避免固定噪声对后续处理的干扰，从而提升对目标视频帧的降噪效果。可以通过目标视频帧的前置视频帧对应的前置时域降噪图像对目标视频帧进行时域降噪，由于前置时域降噪图像已经经过了一轮时域降噪处理，因此，对目标视频帧的时域降噪处理可以同时叠加多轮时域降噪的结果，提高了对目标视频帧的时域降噪效果。还可以通过方差稳定化变换得到用于进行人工智能降噪处理的噪声规范化图像，并对人工智能降噪后的噪声规范化图像进行方差稳定化逆变换以得到目标视频帧对应的目标降噪图像，不仅可以提升降噪效果，还降低了降噪过程中图像内容的损失。
参照图4，图4示出了本申请实施例提供的再一种图像处理步骤流程图，如图4所示，具体包括以下步骤：
步骤301，从目标视频码流中获取目标视频帧。
此步骤可参见步骤101，本申请实施例不再赘述。
步骤302，获取用于拍摄所述目标视频码流的图像传感器的固定模式噪声。
步骤303，基于所述固定模式噪声去除所述目标视频帧中的固定噪声。
步骤304，对所述目标视频帧进行时域降噪，得到所述目标视频帧对应的目标时域降噪图像。
步骤305，获取用于拍摄所述目标视频码流的图像传感器的黑电平值，并根据所述黑电平值和目标图像亮度确定目标增益值。
在本申请实施例中，可以先对目标时域降噪图像先进行亮度规范化，再对亮度规范化结果图像进行人工智能降噪，以使各个目标图像帧达到较为一致且较好的降噪效果。
具体地，可以获取用于拍摄目标视频码流的图像传感器的黑电平值，黑电平值是指图像传感器中的像素点全黑的拍摄环境下，由于非感光原因引起的像素值。在理想条件下，图像传感器中的像素点输出的像素值只与其接收到的光线相关，在完全没有接收到光线的情况下，其输出的像素值应该为0，但由于相邻像素点之间干扰等原因，使得图像传感器中的像素点在完全没有接收到光线的情况下，其输出的像素值一般不为0，而是输出一个黑电平值。
黑电平值可以在图像传感器生产阶段通过拍摄黑场图像进行标定，并存储在拍摄设备中。在本申请实施例中，可以读取图像传感器对应的黑电平值。
目标图像亮度是指需要使规范化后的目标时域降噪图像达到的图像亮度值。目标图像亮度可以由技术人员根据实际需要灵活确定，或根据后续人工智能降噪过程中需要使用的深度学习模型进行确定，具体地，可以基于深度学习模型在训练过程中采用的样本图像的亮度水平，确定目标图像亮度。
图像的亮度通常以图像中各个像素点的平均像素值进行表示，例如，若图像A中的所有像素点的像素值均为100，则图像A的亮度值为100。若图像A中半数像素点的像素值为100，另外半数像素点的像素值为200，则图像A的亮度值为150。
在得到黑电平值和目标图像亮度后，可以通过以下公式(9)计算目标增益值：
其中，dgain表示目标时域降噪图像
的目标增益值，
表示目标时域降噪图像
的图像亮度，DL表示目标图像亮度。
步骤306，根据所述目标增益值，调整所述目标时域降噪图像中各个像素点的像素值，得到亮度规范化图像，所述亮度规范化图像的亮度在目标范围内。
在得到目标时域降噪图像对应的目标增益值后，可以根据该目标增益值和黑电平值，计算需要生成的亮度规范化图像中各个像素点的像素值。具体可以采用以下公式(10)计算亮度规范化图像中各个像素点的像素值：
其中，
表示亮度规范化图像中像素点的像素值，
表示目标时域降噪图像中像素点的像素值。通过上述公式对目标时域降噪图像中每个像素点的像素值进行运算，可以生成目标时域降噪图像对应的亮度规范化图像。
在本申请实施例中，可以对不同亮度水平的目标图像帧或其对应的目标时域降噪结果进行处理，得到亮度水平相同的亮度规范化图像，使得后续的人工智能降噪过程可以对亮度水平相同的图像进行处理，进而可以提升人工智能降噪结果的一致性；并且，还可以根据人工智能降噪过程所选用的神经网络模型，调整目标变换参数，使得输入该神经网络模型的亮度规范化图像的亮度水平，与训练该神经网络模型的样本图像的亮度水平相一致，有效提升了人工智能降噪阶段的降噪效果。
步骤307，通过预设噪声强度表确定所述目标视频帧中各个像素对应的像素噪声强度值，并根据所述像素噪声强度值生成噪声强度分布图；其中，所述预设噪声强度表包含像素值和噪声强度值的对应关系。
在本申请实施例中，为了达到更好的降噪效果，在人工智能降噪阶段还可以采用具有辅助信息的深度学习模型，具有辅助信息的深度学习模型可以同时接收待降噪图像和待降噪图像对应的辅助信息作为模型输入，并通过辅助信息对待降噪图像进行人工智能降噪，以取得较好的降噪效果。其中，辅助信息可以包括噪声强度分布图。噪声强度分布图中的像素点的像素值，用于指示目标视频帧中对应像素点的噪声强度。
由于图像传感器中像素点在不同感光情况下产生的噪声强度并不相同，例如，当图像传感器中的像素点接收到光线充足时噪声强度较小，当图像传感器中的像素点接收到的光线不足时噪声强度较大，因此，可以预先对图像传感器进行标定，得到图像传感器对应的预设噪声强度表，预设噪声强度表中包含有图像传感器中的像素点在输出不同像素值(图像传感器中的像素点输出的像素值大小随感光量的增加而增加)时，对应的噪声强度。
因此，可以根据预设噪声强度表和目标视频帧中各个像素点的像素值，确定目标视频帧中各个像素点对应的噪声强度，并根据目标视频帧中各个像素点对应的噪声强度生成噪声强度分布图。
进一步地，考虑到在后续步骤中是对目标图像帧对应的目标时域降噪图像进行人工智能降噪，而目标时域降噪图像是根据目标图像帧与第一变换图像的像素点之间的像素相似度对目标图像帧与第一变换图像的滤波结果加权融合得到的。因此，还可以根据目标图像帧与第一变换图像的像素相似度对上述目标视频帧中各个像素点对应的噪声强度进行修正，得到目标时域降噪图像中各个像素点对应的噪声强度，从而使噪声强度分布图更能反映目标时域降噪图像的噪声强度分布情况。
具体地，可以采用一下公式(11)确定噪声强度分布图中各个像素点的像素值：
其中，
表示噪声强度分布图中像素点的像素值，A(x,y)表示目标图像帧与第一变换图像的像素相似度，
表示目标图像帧的像素值，
表示目标图像帧的像素值的滤波结果。
步骤308，将所述噪声强度分布图和所述亮度规范化图像输入深度学习模型，得到所述深度学习模型输出的目标降噪视频帧。
在本申请实施例中，第二深度学习模型可以与第一深度学习模型相同，也可以与第一深度学习模型不同。第二深度学习模型可以接收亮度规范化图像和噪声强度分布图作为模型输入，并参考噪声强度分布图对亮度规范化图像进行人工智能降噪处理，输出目标降噪视频帧。
在本申请实施例中，可以生成目标视频帧对应的噪声强度分布图，并将噪声强度分布图作为参考图与亮度规范化图像同时输入深度学习模型，对目标视频帧对应的亮度规范化图像进行人工智能降噪，使得深度学习模型可以基于噪声强度分布图对亮度规范化图像中不同像素进行不同强度的降噪处理，从而进一步提升降噪效果。
进一步地，不仅可以将第二深度学习模型输出的目标降噪视频帧直接作为目标视频帧的最终降噪结果，也可以对第二深度学习模型输出的目标降噪视频帧的降噪强度进行调整，再将降噪强度调整后的目标降噪视频帧作为目标视频帧对应的最终降噪结果。
具体地，用户可以对目标视频码流的降噪强度值进行设置，如果用户将目标视频码流的降噪强度值设置为默认值(例如1)，则可以直接将上述第二深度学习模型输出的目标降噪视频帧直接作为目标视频帧的最终降噪结果。如果用户将目标视频码流的降噪强度值设置为非最大值(例如0到1或1到2之间的值)，可以根据用户设置的降噪强度值对目标降噪视频帧进行噪声回叠，得到降噪强度较小的降噪结果，以保留更多的图像细节。
在本申请实施例中，可以通过以下公式(12)对目标降噪视频帧进行噪声回叠：
其中，
表示回叠后的目标降噪视频帧的像素值，β表示降噪强度值，可由用户灵活调整，
为亮度规范化图像(即进行人工智能降噪前的图像)，
为目标降噪视频帧(即进行人工智能降噪后的图像)，A(x,y)表示目标图像帧与第一变换图像的像素相似度。
在本申请实施例中，还可以根据预设的降噪强度值对人工智能降噪结果进行噪声回叠，以改变人工智能降噪结果的噪声强度。由于某些深度学习模型只能以固定降噪强度进行降噪，通过对人工智能降噪结果进行噪声回叠，可以提升降噪方案的适用范围，以满足不同用户的个性化降噪需求。
综上，本申请实施例提供的再一种图像处理方法，可以对不同亮度水平的目标图像帧或其对应的目标时域降噪结果进行处理，得到亮度水平相同的亮度规范化图像，使得后续的人工智能降噪过程可以对亮度水平相同的图像进行处理，进而可以提升人工智能降噪结果的一致性；并且，还可以根据人工智能降噪过程所选用的神经网络模型，调整目标变换参数，使得输入该神经网络模型的亮度规范化图像的亮度水平，与训练该神经网络模型的样本图像的亮度水平相一致，有效提升了人工智能降噪阶段的降噪效果。还可以生成目标视频帧对应的噪声强度分布图，并将噪声强度分布图作为参考图与亮度规范化图像同时输入深度学习模型，对目标视频帧对应的亮度规范化图像进行人工智能降噪，使得深度学习模型可以基于噪声强度分布图对亮度规范化图像中不同像素进行不同强度的降噪处理，从而进一步提升降噪效果。此外，还可以根据预设的降噪强度值对人工智能降噪结果进行噪声回叠，以改变人工智能降噪结果的噪声强度。由于某些深度学习模型只能以固定降噪强度进行降噪，通过对人工智能降噪结果进行噪声回叠，可以提升降噪方案的适用范围，以满足不同用户的个性化降噪需求。
本申请实施例提供的图像处理方法，执行主体可以为图像处理装置。本申请实施例中以图像处理装置执行图像处理的方法为例，说明本申请实施例提供的图像处理装置。
参照图5，图5是本申请实施例提供的一种图像处理装置的框图，如图5所示，该图像处理装置包括：
获取模块401，用于从目标视频码流中获取目标视频帧；
时域降噪模块402，用于对所述目标视频帧进行时域降噪，得到所述目标视频帧对应的目标时域降噪图像；
处理模块403，用于针对所述目标时域降噪图像的目标图像参数进行处理，得到目标图像；
输入模块404，用于将所述目标图像输入深度学习模型，得到所述深度学习模型输出的目标降噪视频帧。
可选地，所述目标图像参数包括噪声方差，所述处理模块包括：
噪声规范化子模块，用于基于目标变换参数对所述目标时域降噪图像的噪声方差进行方差稳定化变换，得到所述噪声方差处于目标方差范围内的噪声规范化图像。
可选地，所述输入模块包括：
第一输入子模块，用于将所述噪声规范化图像输入深度学习模型，得到所述深度学习模型输出的模型降噪图像；
逆变换子模块，用于基于所述目标变换参数对所述模型降噪图像进行方差稳定化逆变换，得到目标降噪视频帧。
可选地，所述目标图像参数包括目标图像亮度，所述处理模块包括：
增益值子模块，用于获取用于拍摄所述目标视频码流的图像传感器的黑电平值，并根据所述黑电平值和目标图像亮度确定目标增益值；
亮度规范化子模块，用于根据所述目标增益值，调整所述目标时域降噪图像中各个像素点的像素值，得到亮度规范化图像，所述亮度规范化图像的亮度在目标范围内。
可选地，所述时域降噪模块包括：
变换子模块，用于根据所述目标视频帧的前置视频帧和所述前置视频帧之间的像素偏移量，对与所述前置视频帧对应的前置时域降噪图像进行仿射变换，得到第一变换图像；
降噪图像获取子模块，用于基于所述第一变换图像对所述目标视频帧进行时域降噪，得到所述目标视频帧对应的目标时域降噪图像。
可选地，所述降噪图像获取子模块包括：
滤波子模块，用于通过预设滤波函数确定所述目标视频帧的第一滤波图像，以及所述第一变换图像的第二滤波图像；
相似度子模块，用于根据所述第一滤波图像与所述第二滤波图像之间的像素差值，确定所述目标视频帧的像素点与所述第一变换图像的像素点之间的像素相似度；
融合子模块，用于基于所述像素相似度对所述目标视频帧和所述第一变换图像进行加权叠加，得到所述目标视频帧对应的目标时域降噪图像。
综上，本申请实施例提供的一种图像处理装置，包括，从目标视频码流中获取目标视频帧；对目标视频帧进行时域降噪，得到目标视频帧对应的目标时域降噪图像；针对所述目标时域降噪图像的目标图像参数进行处理，得到目标图像；将目标图像输入深度学习模型，得到深度学习模型输出的目标降噪视频帧。本申请可以对视频码流中视频帧先进行时域降噪处理得到时域降噪图像，再进一步对时域降噪图像的图像参数进行处理，得到视频帧对应的图像参数规范化后的目标图像，最后通过深度学习模型对目标图像进行人工智能降噪处理，进而得到视频帧对应的降噪视频帧，确保了输入深度学习模型的目标图像的参数趋于一致，使得各个视频帧的降噪效果一致性较高，进而提升了对视频码流的整体降噪效果，并在进行人工智能降噪前，预先对视频帧进行了时域降噪处理，降低了深度学习模型的运算量，提升了降噪效率。
参照图6，图6是本申请实施例提供的一种图像处理系统架构图，如图6所示，该图像处理系统包括：图像传感器501、图像处理模块502、神经网络模块503、后处理模块504。
其中，图像传感器501用于生成目标视频码流。
图像处理模块502用于从目标视频码流中获取目标视频帧；对所述目标视频帧进行时域降噪，得到所述目标视频帧对应的目标时域降噪图像；针对所述目标时域降噪图像的目标图像参数进行处理，得到目标图像；将所述目标图像输入深度学习模型，得到所述深度学习模型输出的目标降噪视频帧。
神经网络模块503用于接收输入的目标图像，并对目标图像进行人工智能降噪，输出目标降噪视频帧。
后处理模块504用于基于所述目标变换参数对所述模型降噪图像进行方差稳定化逆变换，得到目标降噪视频帧。
本申请实施例中的图像处理装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personalcomputer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的图像处理装置能够实现图1至图4的方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选地，如图7所示，本申请实施例还提供一种电子设备M00，包括处理器M01和存储器M02，存储器M02上存储有可在所述处理器M01上运行的程序或指令，该程序或指令被处理器M01执行时实现上述图像处理方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图8为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备100包括但不限于：射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、以及处理器110等部件。
本领域技术人员可以理解，电子设备100还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图8中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，处理器110，用于从目标视频码流中获取目标视频帧；对所述目标视频帧进行时域降噪，得到所述目标视频帧对应的目标时域降噪图像；针对所述目标时域降噪图像的目标图像参数进行处理，得到目标图像；将所述目标图像输入深度学习模型，得到所述深度学习模型输出的目标降噪视频帧。
综上，本申请实施例提供的一种图像处理方法，包括，从目标视频码流中获取目标视频帧；对目标视频帧进行时域降噪，得到目标视频帧对应的目标时域降噪图像；针对所述目标时域降噪图像的目标图像参数进行处理，得到目标图像；将目标图像输入深度学习模型，得到深度学习模型输出的目标降噪视频帧。本申请可以对视频码流中视频帧先进行时域降噪处理得到时域降噪图像，再进一步对时域降噪图像的图像参数进行处理，得到视频帧对应的图像参数规范化后的目标图像，最后通过深度学习模型对目标图像进行人工智能降噪处理，进而得到视频帧对应的降噪视频帧，确保了输入深度学习模型的目标图像的参数趋于一致，使得各个视频帧的降噪效果一致性较高，进而提升了对视频码流的整体降噪效果，并在进行人工智能降噪前，预先对视频帧进行了时域降噪处理，降低了深度学习模型的运算量，提升了降噪效率。
应理解的是，本申请实施例中，输入单元104可以包括图形处理器(GraphicsProcessing Unit，GPU)1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元106可包括显示面板1061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板1061。用户输入单元107包括触控面板1071以及其他输入设备1072中的至少一种。触控面板1071，也称为触摸屏。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器109可以包括易失性存储器或非易失性存储器，或者，存储器x09可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器109包括但不限于这些和任意其它适合类型的存储器。
处理器110可包括一个或至少两个处理单元；可选地，处理器110集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
Claims (12)
1.一种图像处理方法，其特征在于，所述方法包括：
从目标视频码流中获取目标视频帧；
对所述目标视频帧进行时域降噪，得到所述目标视频帧对应的目标时域降噪图像；
针对所述目标时域降噪图像的目标图像参数进行处理，得到目标图像；
将所述目标图像输入深度学习模型，得到所述深度学习模型输出的目标降噪视频帧。
2.根据权利要求1所述的方法，其特征在于，所述目标图像参数包括噪声方差，所述针对所述目标时域降噪图像的目标图像参数进行处理，得到目标图像，包括：
基于目标变换参数对所述目标时域降噪图像的噪声方差进行方差稳定化变换，得到所述噪声方差处于目标方差范围内的噪声规范化图像。
3.根据权利要求2所述的方法，其特征在于，所述将所述目标图像输入深度学习模型，得到所述深度学习模型输出的目标降噪视频帧，包括：
将所述噪声规范化图像输入深度学习模型，得到所述深度学习模型输出的模型降噪图像；
基于所述目标变换参数对所述模型降噪图像进行方差稳定化逆变换，得到目标降噪视频帧。
4.根据权利要求1所述的方法，其特征在于，所述目标图像参数包括目标图像亮度，所述针对所述目标时域降噪图像的目标图像参数进行处理，得到目标图像，包括：
获取用于拍摄所述目标视频码流的图像传感器的黑电平值，并根据所述黑电平值和目标图像亮度确定目标增益值；
根据所述目标增益值，调整所述目标时域降噪图像中各个像素点的像素值，得到亮度规范化图像，所述亮度规范化图像的亮度在目标范围内。
5.根据权利要求1所述的方法，其特征在于，所述对所述目标视频帧进行时域降噪，得到所述目标视频帧对应的目标时域降噪图像，包括：
根据所述目标视频帧的前置视频帧和所述前置视频帧之间的像素偏移量，对与所述前置视频帧对应的前置时域降噪图像进行仿射变换，得到第一变换图像；
基于所述第一变换图像对所述目标视频帧进行时域降噪，得到所述目标视频帧对应的目标时域降噪图像。
6.根据权利要求5所述的方法，其特征在于，所述基于所述第一变换图像对所述目标视频帧进行时域降噪，得到所述目标视频帧对应的目标时域降噪图像，包括：
通过预设滤波函数确定所述目标视频帧的第一滤波图像，以及所述第一变换图像的第二滤波图像；
根据所述第一滤波图像与所述第二滤波图像之间的像素差值，确定所述目标视频帧的像素点与所述第一变换图像的像素点之间的像素相似度；
基于所述像素相似度对所述目标视频帧和所述第一变换图像进行加权叠加，得到所述目标视频帧对应的目标时域降噪图像。
7.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于从目标视频码流中获取目标视频帧；
时域降噪模块，用于对所述目标视频帧进行时域降噪，得到所述目标视频帧对应的目标时域降噪图像；
处理模块，用于针对所述目标时域降噪图像的目标图像参数进行处理，得到目标图像；
输入模块，用于将所述目标图像输入深度学习模型，得到所述深度学习模型输出的目标降噪视频帧。
8.根据权利要求7所述的装置，其特征在于，所述目标图像参数包括噪声方差，所述处理模块包括：
噪声规范化子模块，用于基于目标变换参数对所述目标时域降噪图像的噪声方差进行方差稳定化变换，得到所述噪声方差处于目标方差范围内的噪声规范化图像。
9.根据权利要求8所述的装置，其特征在于，所述输入模块包括：
第一输入子模块，用于将所述噪声规范化图像输入深度学习模型，得到所述深度学习模型输出的模型降噪图像；
逆变换子模块，用于基于所述目标变换参数对所述模型降噪图像进行方差稳定化逆变换，得到目标降噪视频帧。
10.根据权利要求7所述的装置，其特征在于，所述目标图像参数包括目标图像亮度，所述处理模块包括：
增益值子模块，用于获取用于拍摄所述目标视频码流的图像传感器的黑电平值，并根据所述黑电平值和目标图像亮度确定目标增益值；
亮度规范化子模块，用于根据所述目标增益值，调整所述目标时域降噪图像中各个像素点的像素值，得到亮度规范化图像，所述亮度规范化图像的亮度在目标范围内。
11.根据权利要求7所述的装置，其特征在于，所述时域降噪模块包括：
变换子模块，用于根据所述目标视频帧的前置视频帧和所述前置视频帧之间的像素偏移量，对与所述前置视频帧对应的前置时域降噪图像进行仿射变换，得到第一变换图像；
降噪图像获取子模块，用于基于所述第一变换图像对所述目标视频帧进行时域降噪，得到所述目标视频帧对应的目标时域降噪图像。
12.根据权利要求11所述的装置，其特征在于，所述降噪图像获取子模块包括：
滤波子模块，用于通过预设滤波函数确定所述目标视频帧的第一滤波图像，以及所述第一变换图像的第二滤波图像；
相似度子模块，用于根据所述第一滤波图像与所述第二滤波图像之间的像素差值，确定所述目标视频帧的像素点与所述第一变换图像的像素点之间的像素相似度；
融合子模块，用于基于所述像素相似度对所述目标视频帧和所述第一变换图像进行加权叠加，得到所述目标视频帧对应的目标时域降噪图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210477662.2A CN114782280A (zh) | 2022-04-28 | 2022-04-28 | 图像处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210477662.2A CN114782280A (zh) | 2022-04-28 | 2022-04-28 | 图像处理方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114782280A true CN114782280A (zh) | 2022-07-22 |
Family
ID=82435317
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210477662.2A Pending CN114782280A (zh) | 2022-04-28 | 2022-04-28 | 图像处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114782280A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116205810A (zh) * | 2023-02-13 | 2023-06-02 | 爱芯元智半导体(上海)有限公司 | 视频降噪方法、装置和电子设备 |
-
2022
- 2022-04-28 CN CN202210477662.2A patent/CN114782280A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116205810A (zh) * | 2023-02-13 | 2023-06-02 | 爱芯元智半导体(上海)有限公司 | 视频降噪方法、装置和电子设备 |
| CN116205810B (zh) * | 2023-02-13 | 2024-03-19 | 爱芯元智半导体(上海)有限公司 | 视频降噪方法、装置和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111741211B (zh) | 图像显示方法和设备 | |
| Rao et al. | A Survey of Video Enhancement Techniques. | |
| US11127117B2 (en) | Information processing method, information processing apparatus, and recording medium | |
| US9344636B2 (en) | Scene motion correction in fused image systems | |
| WO2020152521A1 (en) | Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures | |
| US20130057714A1 (en) | Image pickup device, image processing device, image processing method, and image processing program | |
| Zheng et al. | Single image brightening via multi-scale exposure fusion with hybrid learning | |
| CN111402146A (zh) | 图像处理方法以及图像处理装置 | |
| CN113313661A (zh) | 图像融合方法、装置、电子设备及计算机可读存储介质 | |
| CN112272832A (zh) | 用于基于dnn的成像的方法和系统 | |
| EP4089625A1 (en) | Method and apparatus for generating super night scene image, and electronic device and storage medium | |
| CN115226406A (zh) | 图像生成装置、图像生成方法、记录介质生成方法、学习模型生成装置、学习模型生成方法、学习模型、数据处理装置、数据处理方法、推断方法、电子装置、生成方法、程序和非暂时性计算机可读介质 | |
| WO2023151511A1 (zh) | 模型训练方法、图像去摩尔纹方法、装置及电子设备 | |
| WO2023273868A1 (zh) | 图像降噪方法、装置、终端、存储介质 | |
| Zheng et al. | Neural augmented exposure interpolation for two large-exposure-ratio images | |
| Lv et al. | Low-light image enhancement via deep Retinex decomposition and bilateral learning | |
| CN115082350A (zh) | 频闪图像处理方法、装置、电子设备和可读存储介质 | |
| CN114782280A (zh) | 图像处理方法和装置 | |
| CN113014817A (zh) | 高清高帧视频的获取方法、装置及电子设备 | |
| CN116055895B (zh) | 图像处理方法及其装置、芯片系统和存储介质 | |
| Lang et al. | A real-time high dynamic range intensified complementary metal oxide semiconductor camera based on FPGA | |
| Chen et al. | Low‐light image enhancement based on exponential Retinex variational model | |
| CN116506732B (zh) | 一种图像抓拍防抖的方法、装置、系统和计算机设备 | |
| CN113469908B (zh) | 图像降噪方法、装置、终端、存储介质 | |
| CN113409210B (zh) | 瞳孔亮斑消除方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |