CN115082357B - 视频去噪数据集生成方法、装置、计算机设备和存储介质 - Google Patents
视频去噪数据集生成方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN115082357B CN115082357B CN202210853877.XA CN202210853877A CN115082357B CN 115082357 B CN115082357 B CN 115082357B CN 202210853877 A CN202210853877 A CN 202210853877A CN 115082357 B CN115082357 B CN 115082357B
- Authority
- CN
- China
- Prior art keywords
- noise
- video
- image
- free
- noisy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000006243 chemical reaction Methods 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 25
- 238000011156 evaluation Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 abstract description 7
- 238000012545 processing Methods 0.000 description 16
- 238000012937 correction Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 7
- 238000013507 mapping Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Picture Signal Circuits (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种视频去噪数据集生成方法、装置、计算机设备和存储介质。所述方法包括：获取不同场景下采集的无噪视频和带噪图像；分别从各带噪图像中提取噪声参数；将每一噪声参数加入各带噪图像各自对应的无噪视频中，得到带噪视频；组合调整后的无噪视频和调整后的带噪视频，生成无噪视频与带噪视频关联数据集。整个方案通过获取不同场景下采集的无噪视频和带噪图像，将带噪图像的真实噪声加入无噪视频中，可以得到真实、动态的视频去噪数据对，针对不同的场景，生成不同的视频去噪数据对，提高了视频去噪数据集的多样性，因此可以支持视频去噪模型的准确训练。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种视频去噪数据集生成方法、装置、计算机设备和存储介质。
背景技术
随着智能手机以及短视频的快速发展，人民在日常生活中对高质量视频的需求日益突出。为追求高质量的视频，目前常常需要对视频进行去噪处理，常规的视频去噪处理是基于训练好的视频去噪模型来实现的，而视频去噪数据集对于训练视频去噪模型具有决定性的作用。
然而，传统的视频去噪数据集为了通过平均一组带噪图像来得到清晰的图像，拍摄的视频图像都是静态场景的数据，其无法支持视频去噪模型的准确训练。
发明内容
本申请提供一种能够支持视频去噪模型准确训练的视频去噪数据集生成方法、装置、计算机设备和计算机可读存储介质。
第一方面，本申请提供了一种视频去噪数据集生成方法。该方法包括：
获取不同场景下采集的无噪视频和带噪图像；
分别从各带噪图像中提取噪声参数；
将每一噪声参数加入各带噪图像各自对应的无噪视频中，得到带噪视频；
组合无噪视频和带噪视频，生成无噪视频与带噪视频关联数据集。
在其中一个实施例中，获取不同场景下采集的无噪视频包括：获取不同场景下采集的初始视频；对初始视频进行噪声评估，得到初始视频的噪声值；若噪声值低于预设噪声阈值，则将初始视频作为无噪视频。
在其中一个实施例中，对初始视频进行噪声评估，得到初始视频的噪声值包括：根据初始视频，确定噪声分量以及信号分量；根据噪声分量以及信号分量，得到初始视频信噪比。
在其中一个实施例中，将噪声参数加入无噪视频中，得到带噪视频包括：将无噪视频转换为RAW（RAW Image Format，原始文件图像）无噪视频；将噪声参数加入RAW无噪视频中，得到带噪视频。
在其中一个实施例中，将无噪视频转换为RAW无噪视频包括：获取RAW无噪图像；获取ISP（Image Signal Processing，是对图像传感器得到的数据进行处理的流程）模型参数；ISP模型参数是当RAW无噪图像经过ISP模型转换后的图像与无噪视频的图像帧满足第一预设条件时得到；根据ISP模型参数，对无噪视频进行逆ISP转换，得到RAW无噪视频。
在其中一个实施例中，将噪声参数加入无噪视频中，得到带噪视频包括：根据噪声参数，确定泊松-高斯混合噪声；将泊松-高斯混合噪声加入无噪视频中，得到带噪视频。
在其中一个实施例中，组合无噪视频和所述带噪视频，生成无噪视频与带噪视频关联数据集：将带噪图像转换为sRGB图像；获取视频对ISP模型参数；视频对ISP模型参数是当带噪图像经过视频对ISP模型转换后的图像与sRGB图像满足第二预设条件时得到；根据视频对ISP模型参数，对无噪视频和带噪视频进行ISP转换，得到sRGB视频对。
第二方面，本申请还提供了一种视频去噪数据集生成装置。该装置包括：
获取模块，用于获取不同场景下采集的无噪视频和带噪图像；
噪声提取模块，用于分别从各带噪图像中提取噪声参数；
带噪视频生成模块，用于将每一噪声参数加入各带噪图像各自对应的无噪视频中，得到带噪视频；
数据集生成模块，用于组合无噪视频和带噪视频，生成无噪视频与带噪视频关联数据集。
第三方面，本申请还提供了一种计算机设备。该计算机设备包括存储器和处理器，该存储器存储有计算机程序，该处理器执行该计算机程序时实现以下步骤：
获取不同场景下采集的无噪视频和带噪图像；
分别从各带噪图像中提取噪声参数；
将每一噪声参数加入各带噪图像各自对应的无噪视频中，得到带噪视频；
组合无噪视频和带噪视频，生成无噪视频与带噪视频关联数据集。
第四方面，本申请还提供了一种计算机可读存储介质。该计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取不同场景下采集的无噪视频和带噪图像；
分别从各带噪图像中提取噪声参数；
将每一噪声参数加入各带噪图像各自对应的无噪视频中，得到带噪视频；
组合无噪视频和带噪视频，生成无噪视频与带噪视频关联数据集。
上述视频去噪数据集生成方法、装置、计算机设备和存储介质，获取不同场景下采集的无噪视频和带噪图像；分别从各带噪图像中提取噪声参数；将每一噪声参数加入各带噪图像各自对应的无噪视频中，得到带噪视频；组合无噪视频和带噪视频，生成无噪视频与带噪视频关联数据集。整个方案通过获取不同场景下采集的无噪视频和带噪图像，将带噪图像的真实噪声加入无噪视频中，可以得到真实、动态的视频去噪数据对，针对不同的场景，生成不同的视频去噪数据对，提高了视频去噪数据集的多样性，因此可以支持视频去噪模型的准确训练。
附图说明
图1为一个实施例中视频去噪数据集生成方法的应用环境图；
图2为一个实施例中视频去噪数据集生成方法的流程示意图；
图3为另一个实施例中视频去噪数据集生成方法的完整流程图；
图4为一个实施例中视频去噪数据集生成装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
随着数码摄影软硬件的发展，广大摄影爱好者拍摄数码照片时，逐渐从JPG（JointPhotographic Experts Group，JPG格式）图像过渡到RAW（RAW Image Format，原始文件图像）图像。在数字图像处理领域，RAW图像数据是指未经数码相机进行处理而保存下来的数据形式，几乎未经压缩，也完全没进行各种处理，与记录拍摄时“用户的相机设置信息”数据被一同保存下来。RAW图像记录了被拍摄物体更多的暗部和亮部细节，在后期处理时也可以还原出更多细节。近年来，越来越多的研究发现使用RAW图像数据进行后期处理非常有利。这是因为RAW照片具有极高的动态范围，充分利用其特性，通过恰当的后期处理，可以得到更加美观的照片结果，甚至能够将“废片”处理为“大片”。
现有的数字相机大都支持直接输出RAW图像数据，然而，却很少有相机支持输出RAW视频数据。即使支持输出RAW视频数据，也是一种经过ProRes RAW编码的视频，无法直接播放/处理，制约了很多仅在RAW域上进行视频处理的算法的使用。
目前需要处理的视频格式包括RAW(即原始图像文件，是从图像传感器中得到的未处理数据)和sRGB(standard Red Green Blue)。sRGB的数据是由RAW数据经过ISP（即ImageSignal Processing，是对图像传感器得到的数据进行处理的流程）之后得到的，是常见的视频去噪数据格式。但是RAW的视频数据却不容易得到。
因此，本申请提供了一种视频去噪数据生成方法，可以用来生成无噪视频与带噪视频数据集。
本申请实施例提供的视频去噪数据集生成方法，可以应用于如图1所示的应用环境中。其中，拍摄设备102通过网络与终端104进行通信。拍摄设备将在不同场景下拍摄的无噪图像和带噪图像传输至终端104，终端104获取拍摄设备在不同场景下拍摄的无噪视频和带噪图像；分别从各带噪图像中提取噪声参数；将每一噪声参数加入各带噪图像各自对应的无噪视频中，得到带噪视频；组合无噪视频和带噪视频，生成无噪视频与带噪视频关联数据集。其中，终端104可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。
在一个实施例中，如图2所示，提供了一种视频去噪数据集生成方法，以该方法应用于图1中的终端104为例进行说明，包括以下步骤：
步骤202，获取不同场景下采集的无噪视频和带噪图像。
其中，无噪视频指的是拍摄设备在某一场景拍摄的噪声值低于预设噪声阈值的视频，无噪视频可以为拍摄设备在预设低ISO（感光度）设置参数下拍摄的Log（Logarithmic，是一种采用对数函数应用到曝光曲线上的视频记录形式）视频。带噪图像指的是拍摄设备在某一场景下拍摄的噪声值高于预设噪声阈值的图像，带噪图像可以为拍摄设备在预设高ISO设置参数下拍摄的RAW图像。针对同一场景的带噪图像和无噪视频成对出现。在同一相机下的无噪视频和带噪图像除了ISO设置参数不同，其他拍摄角度条件均保持一致。拍摄场景可以为图书馆、学校、农场、公园、乡村、山区等任意场景。拍摄设备可以为高清相机、无人机、运动相机等，本申请实施例在此不作限定。
具体地，终端向拍摄设备发送无噪视频拍摄指令和带噪图像拍摄指令，无噪视频拍摄指令中携带预设低ISO设置参数，带噪图像拍摄指令中携带预设高ISO设置参数，以使拍摄设备针对某一场景，在预设低ISO设置参数下拍摄无噪视频，在预设高ISO设置参数下拍摄带噪图像，并将针对某一场景的无噪视频和带噪图像发送至终端。
本实施例中可以有多个拍摄设备，每一个拍摄设备放置于不同的场景中，终端可以同时将无噪视频拍摄指令和带噪图像拍摄指令发送至多个拍摄设备。然后待多个拍摄设备将针对某一场景的无噪视频和带噪图像发送至终端时，终端接收每一个拍摄设备针对不同场景拍摄的无噪视频和带噪图像，得到不同场景下的多组无噪视频和带噪图像，并将无噪视频和带噪图像储存至终端数据库中，无噪视频被储存为Log格式的视频，带噪图像被存储为RAW格式的图像。
进一步地，ISO设置参数包括ISO值、光圈值（即F值）以及曝光时长。预设低ISO设置参数可以为低ISO值（ISO值设置为400及以下，如ISO50、ISO100、ISO200、ISO400等）、光圈值设置为4，曝光时长的范围在1/60-1/25之间。预设高ISO设置参数可以为高ISO档位（ISO设置为800及以上，如ISO800、ISO1600等）、光圈值设置为20。预设低ISO设置参数中的曝光时长与ISO值的乘积与预设高ISO设置参数中的曝光时长与ISO值的乘积相同，使得带噪图像的亮度与无噪视频的亮度一致。
步骤204，分别从各带噪图像中提取噪声参数。
具体地，摄像设备拍摄并发送的带噪图像中携带代表噪声参数的noiselevel信息，因此，终端分别获取各带噪图像的属性信息，从属性信息中获取带噪图像的noiselevel信息，将带噪图像的noiselevel信息作为噪声参数。
步骤206，将每一噪声参数加入各带噪图像各自对应的无噪视频中，得到带噪视频。
其中，带噪图像与无噪视频为同一场景不同参数条件下采集得到。针对同一场景，带噪图像为拍摄设备在预设高ISO设置参数下拍摄得到，无噪视频为拍摄设备在预设低ISO设置参数下拍摄得到。
具体地，终端根据带噪图像的噪声参数构建噪声模型，针对每一组带噪图像和无噪视频，将噪声模型依次加入无噪视频的每一帧图像中，得到带噪视频。
步骤208，组合无噪视频和带噪视频，生成无噪视频与带噪视频关联数据集。
具体地，终端添加噪声模型得到的带噪视频和对应的无噪视频进行匹配，得到无噪视频与带噪视频关联数据对，多个无噪视频与带噪视频关联数据对组成无噪视频与带噪视频关联数据集。
上述视频去噪数据集生成方法中，获取不同场景下采集的无噪视频和带噪图像；分别从各带噪图像中提取噪声参数；将每一噪声参数加入各带噪图像各自对应的无噪视频中，得到带噪视频；组合无噪视频和带噪视频，生成无噪视频与带噪视频关联数据集。整个方案通过获取不同场景下采集的无噪视频和带噪图像，将带噪图像的真实噪声加入无噪视频中，可以得到真实、动态的视频去噪数据对，针对不同的场景，生成不同的视频去噪数据对，提高了视频去噪数据集的多样性，因此可以支持视频去噪模型的准确训练。
在一个实施例中，获取不同场景下采集的无噪视频包括：获取不同场景下采集的初始视频；对初始视频进行噪声评估，得到初始视频的噪声值；若噪声值低于预设噪声阈值，则将初始视频作为无噪视频。
具体地，终端接收到每一个拍摄设备在预设低ISO设置参数下拍摄的视频时，将其作为初始视频；接着，终端对初始视频进行评估，计算初始视频的噪声值，将得到的噪声值与终端本地存储的预设噪声阈值进行比较，若初始视频的噪声值低于预设噪声阈值，则将初始视频作为无噪视频，继续提取带噪图像的噪声参数，将带噪图像的噪声参数加入无噪视频中，进而根据无噪视频和带噪视频生成无噪视频与带噪视频关联数据对。若初始视频的噪声值大于或者等于预设噪声阈值，则舍弃初始视频以及对应的同一场景中拍摄的带噪图像，继续处理下一场景的初始视频。
在一个可选的实施例中，对初始视频进行噪声评估，得到初始视频的噪声值包括：根据初始视频，确定噪声分量以及信号分量；根据噪声分量以及信号分量，得到初始视频信噪比。
具体地，终端对初始视频进行评估时，提取初始视频中每一帧图像的信号分量和噪声分量，根据信号分量与噪声分量的比值，得到每一帧图像对应的信噪比，计算初始视频中每一帧图像信噪比的平均值，得到初始视频的信噪比。将得到的初始视频信噪比与终端本地存储的预设噪声阈值进行比较。若初始视频信噪比低于预设噪声阈值，则将初始视频作为无噪视频，继续提取带噪图像的噪声参数，将带噪图像的噪声参数加入无噪视频中，进而根据无噪视频和带噪视频生成无噪视频与带噪视频关联数据对。若初始视频信噪比大于或者等于预设噪声阈值，则舍弃初始视频以及对应的同一场景中拍摄的带噪图像，继续处理下一场景的初始视频。
进一步地，终端还可以提取初始视频中每一帧图像的噪声值以及信号值，根据噪声值与信号值的比值，得到每一帧图像的信噪比。
本实施例中，终端通过对获取到的拍摄设备传输的初始视频的信噪比与预设噪声阈值进行比较，将初始视频的信噪比低于预设噪声阈值的初始视频作为无噪视频，可以保证无噪视频中噪声尽可能少，进而提高无噪视频与带噪视频关联数据对的质量，提高无噪视频与带噪视频关联数据集的质量。
在一个可选的实施例中，将噪声参数加入无噪视频中，得到带噪视频包括：将无噪视频转换为RAW无噪视频；将噪声参数加入RAW无噪视频中，得到带噪视频。
具体地，终端获取到不同场景的无噪视频和RAW带噪图像后，终端将无噪视频经过逆ISP转换得到RAW无噪视频，从RAW带噪图像中提取噪声参数，将噪声参数加入RAW无噪视频中，得到RAW带噪视频。逆ISP转换的参数通过将同一场景下拍摄的RAW无噪图像调整为与无噪视频中每一帧图像的相似度满足第一预设条件时得到。RAW无噪图像与无噪视频中图像的相似度可通过计算RAW无噪图像与无噪视频中图像的欧式距离得到。第一预设条件用于标识RAW无噪图像与无噪视频中图像之间的相似度。
在一个可选的实施例中，将噪声参数加入无噪视频中，得到带噪视频包括：根据噪声参数，确定泊松-高斯混合噪声；将泊松-高斯混合噪声加入无噪视频中，得到带噪视频。
具体地，终端根据带噪图像的噪声参数构建泊松-高斯混合噪声模型，将泊松-高斯混合噪声模型依次加入无噪视频的每一帧图像中，得到带噪视频。
进一步地，假设无噪视频为Y，并且为RGGB格式（1个red通道，2个green通道，1个blue通道），根据噪声参数构建泊松-高斯混合噪声模型，将泊松-高斯混合噪声模型加入无噪视频中，得到带噪视频为：
其中，
为带噪图像，
和
即我们得到的噪声参数，P是泊松分布，N是高
斯分布。
进一步地，终端将泊松-高斯混合噪声模型加入RAW无噪视频中，得到RAW带噪视频。
在一个可选的实施例中，将无噪视频转换为RAW无噪视频包括：获取RAW无噪图像；获取ISP模型参数；根据ISP模型参数，对无噪视频进行逆ISP转换，得到RAW无噪视频。
其中，ISP模型参数是当RAW无噪图像经过ISP模型转换后的图像与无噪视频的图像帧满足第一预设条件时得到。第一预设条件为经过ISP模型转换后的图像与无噪视频的图像帧之间的相似度阈值小于预设相似度阈值。
具体地，终端向拍摄设备发送无噪视频拍摄指令、无噪图像拍摄指令和带噪图像拍摄指令，无噪视频拍摄指令中携带预设低ISO设置参数，无噪图像拍摄指令中携带预设低ISO设置参数，带噪图像拍摄指令中携带预设高ISO设置参数，以使拍摄设备针对某一场景，在预设低ISO设置参数下拍摄无噪视频和无噪图像，在预设高ISO设置参数下拍摄带噪图像，并将针对某一场景的无噪视频和带噪图像发送至终端。终端获取Log无噪视频、RAW无噪图像以及RAW带噪图像。接着，终端从本地获取初始ISP模型，初始ISP模型主要包括线性化、去马赛克、白平衡校正颜色空间转换以及gamma校正，但是初始ISP模型中线性化、去马赛克、白平衡校正颜色空间转换以及gamma校正过程中的参数未知。终端不断调整初始ISP模型中线性化、去马赛克、白平衡校正颜色空间转换以及gamma校正的参数，使得RAW无噪图像经过调整后的ISP模型转换后，得到的图像帧与Log无噪视频中每一个图像帧之间的欧式距离小于预设相似度阈值，则得到调整后的ISP模型参数。终端根据调整后的ISP模型参数，对Log无噪视频中的每一帧图像进行反向推算，即对Log无噪视频中的每一帧图像进行分别经过log值反变换，白平衡反变换，去马赛克反变换，得到RAW无噪视频。其中，Log值的反变换就是指数函数exp，白平衡反变换就是除以白平衡系数，去马赛克反变换就是把原本H*W*4的图像，变为2H*2W（其中，H是图像高度，W是图像宽度）。
进一步地，终端通过图像网格搜索，不断调整初始ISP模型中线性化、去马赛克、白平衡校正颜色空间转换以及gamma校正的参数，并且不断计算RAW无噪图像经过调整后的ISP模型转换后得到的图像帧，将转换后的图像帧与Log无噪视频中每一个图像帧的像素值进行归一化，映射至[0，1]之间，计算转换后的图像帧与Log无噪视频中每一个图像帧之间的L2欧式距离的平均值，并且当欧式距离的平均值小于预设相似度阈值时，得到调整后的ISP模型参数，预设相似度阈值可以为0.02，也可以为其他给定数值，由用户根据经验进行调整。
之后，终端根据带噪图像的噪声参数构建泊松-高斯混合噪声模型，终端将泊松-高斯混合噪声模型加入RAW无噪视频中，得到RAW带噪视频。进而，根据RAW无噪视频和RAW带噪视频，生成RAW无噪视频与RAW带噪视频关联数据对，集合多个RAW无噪视频与RAW带噪视频关联数据对，得到RAW无噪视频与RAW带噪视频关联数据集，以支持视频去噪模型的准确训练。相对于目前常用的视频去噪数据集，本实施例中通过将带噪图像中的带噪参数依次加入无噪视频中的每一帧图像中，使得带噪视频中的每一帧图像都更加真实，生成带噪视频动态平滑，更加流场，得到的RAW无噪视频与RAW带噪视频关联数据集具有噪声真实，视频动态平滑，通过处理不同场景的无噪视频与带噪图像，得到众多场景的带噪视频，具有视频场景多样的优势，极大提高了视频去噪模型对于实际数据的去噪能力。
在一个可选的实施例中，组合无噪视频和所述带噪视频，生成无噪视频与带噪视频关联数据集：将带噪图像转换为sRGB图像；获取视频对ISP模型参数；根据视频对ISP模型参数，对无噪视频和带噪视频进行ISP转换，得到sRGB视频对。
其中，视频对ISP模型参数是当带噪图像经过视频对ISP模型转换后的图像与sRGB图像满足第二预设条件时得到。第二预设条件为经过视频对ISP模型转换后的图像与sRGB图像之间的相似度小于预设视频对相似阈值。
具体地，终端在得到RAW无噪视频与RAW带噪视频关联数据对之后，还可以将RAW无噪视频与RAW带噪视频关联数据对通过ISP转换，得到sRGB无噪视频与sRGB带噪视频关联数据对。
进一步地，终端将RAW带噪视频通过调整后的ISP模型进行转换，得到sRGB带噪图像。接着，终端从本地获取初始视频对ISP模型，初始视频对ISP模型包括白平衡、tone-mapping模块。其中，tone-mapping即色调映射，压缩图像动态范围至终端设备输出的动态范围以下，使高动态范围HDR图像能够适应低动态范围LDR显示器。
终端根据RAW带噪图像和sRGB带噪图像，不断调整初始视频对ISP模型中白平衡、tone-mapping模块的参数，使得RAW带噪图像经过调整后的视频对ISP模型转换后，得到的图像帧与sRGB带噪图像之间的欧式距离小于预设视频对相似度阈值，则得到调整后的视频对ISP模型参数。然后，终端根据调整后的视频对ISP模型参数，将无噪视频与sRGB带噪视频关联数据对中的每一帧图像进行白平衡、tone-mapping处理，得到sRGB无噪视频与sRGB带噪视频关联数据对，进而根据多个sRGB无噪视频与sRGB带噪视频关联数据对，得到sRGB无噪视频与sRGB带噪视频关联数据集。
进一步地，终端通过图像网格搜索，不断调整初始视频对ISP模型中白平衡、tone-mapping模块的参数，并且不断计算RAW带噪图像经过调整后的视频对ISP模型转换后得到的图像帧，将转换后得到的图像帧与sRGB带噪图像的像素值进行归一化，映射至[0，1]之间，计算转换后得到的图像帧与sRGB带噪图像之间的L2欧式距离，并且当欧式距离小于预设图像相似度阈值时，得到调整后的ISP模型参数，预设视频对相似度阈值可以为0.01，也可以为其他给定数值，由用户根据经验进行调整。
本实施例中，通过视频对ISP模型，将RAW无噪视频与RAW带噪视频关联数据对转换为真实的sRGB无噪视频与sRGB带噪视频关联数据对，得到sRGB无噪视频与sRGB带噪视频关联数据集，能够弥补之前的视频去噪数据集不能同时满足场景多样性，噪声真实性和视频动态性的缺点，此数据集能够极大帮助训练视频去噪网络，提升在真实的动态场景下的去噪效果。
为了易于理解本申请实施例提供的技术方案，如图3所示，以完整的视频去噪数据集生成过程对本申请实施例提供的视频去噪数据集生成方法进行简要说明，其具体包括以下步骤：
（1）获取不同场景下采集的初始无噪视频和带噪图像。
（2）对初始无噪视频进行噪声评估，确定噪声分量以及信号分量；根据噪声分量以及信号分量进行计算，得到初始视频信噪比；若初始视频信噪比低于预设噪声阈值，则将初始无噪视频作为无噪视频。
（3）获取RAW无噪图像；获取初始ISP模型；根据RAW无噪图像和无噪视频，不断调整初始ISP模型的参数，当RAW无噪图像经过ISP模型转换后的图像与无噪视频的图像帧满足第一预设条件时，得到调整后的ISP模型的参数；根据调整后的ISP模型的参数，对无噪视频进行逆ISP转换，得到RAW无噪视频。
（4）分别从各带噪图像中提取噪声参数。
（5）根据噪声参数，确定泊松-高斯混合噪声；将泊松-高斯混合噪声加入带噪图像对应的RAW无噪视频中，得到RAW带噪视频。
（6）将带噪图像转换为sRGB图像；获取初始视频对ISP模型；根据带噪图像和sRGB图像，不断调整初始视频对ISP模型的参数，当带噪图像经过视频对ISP模型转换后的图像与sRGB图像满足第二预设条件时，得到调整后的视频对ISP模型的参数；根据调整后的视频对ISP模型的参数，对无噪视频和带噪视频进行ISP转换，得到sRGB视频对，根据sRGB视频对，生成视频去噪数据集。
本实施例中，通过低ISO的设置拍摄一段高质量的无噪图像，通过log视频转换到RAW视频。并且同时通过高ISO的策略得到这个场景下的noise level参数。通过在RAW视频上合成高斯+泊松噪声，得到RAW视频上的去噪数据对。然后通过标定的相机ISP，得到sRGB上的去噪数据对。相对于目前常用的视频去噪数据集，本实施例具有噪声真实，视频动态平滑，视频场景多样的优势，极大提高了视频去噪模型对于实际数据的去噪能力。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的视频去噪数据集生成方法的视频去噪数据集生成装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个视频去噪数据集生成装置实施例中的具体限定可以参见上文中对于视频去噪数据集生成方法的限定，在此不再赘述。
在一个实施例中，如图4所示，提供了一种视频去噪数据集生成装置，包括：获取模块402、噪声提取模块404、带噪视频生成模块406和数据集生成模块408，其中：
获取模块402，用于获取不同场景下采集的无噪视频和带噪图像；
噪声提取模块404，用于分别从各带噪图像中提取噪声参数；
带噪视频生成模块406，用于将每一噪声参数加入各带噪图像各自对应的无噪视频中，得到带噪视频；
数据集生成模块408，用于组合无噪视频和带噪视频，生成无噪视频与带噪视频关联数据集。
在一个实施例中，获取模块402还用于获取不同场景下采集的初始视频；对初始视频进行噪声评估，得到初始视频的噪声值；若噪声值低于预设噪声阈值，则将初始视频作为无噪视频。
在一个实施例中，获取模块402还用于根据初始视频，确定噪声分量以及信号分量；根据噪声分量以及信号分量，得到初始视频信噪比。
在一个实施例中，将噪声参数加入无噪视频中，得到带噪视频包括：将无噪视频转换为RAW无噪视频；将噪声参数加入RAW无噪视频中，得到带噪视频。
在一个实施例中，带噪视频生成模块406还用于获取RAW无噪图像；获取ISP模型参数；ISP模型参数是当RAW无噪图像经过ISP模型转换后的图像与无噪视频的图像帧满足第一预设条件时得到；根据ISP模型参数，对无噪视频进行逆ISP转换，得到RAW无噪视频。
在一个实施例中，带噪视频生成模块406还用于根据噪声参数，确定泊松-高斯混合噪声；将泊松-高斯混合噪声加入无噪视频中，得到带噪视频。
在一个实施例中，带噪视频生成模块406还用于将带噪图像转换为sRGB图像；获取视频对ISP模型参数；视频对ISP模型参数是当带噪图像经过视频对ISP模型转换后的图像与sRGB图像满足第二预设条件时得到；根据视频对ISP模型参数，对无噪视频和带噪视频进行ISP转换，得到sRGB视频对。
上述视频去噪数据集生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种视频去噪数据集生成方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取不同场景下采集的无噪视频和带噪图像；
分别从各带噪图像中提取噪声参数；
将每一噪声参数加入各带噪图像各自对应的无噪视频中，得到带噪视频；
组合无噪视频和带噪视频，生成无噪视频与带噪视频关联数据集。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取不同场景下采集的无噪视频包括：获取不同场景下采集的初始视频；对初始视频进行噪声评估，得到初始视频的噪声值；若噪声值低于预设噪声阈值，则将初始视频作为无噪视频。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对初始视频进行噪声评估，得到初始视频的噪声值包括：根据初始视频，确定噪声分量以及信号分量；根据噪声分量以及信号分量，得到初始视频信噪比。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将噪声参数加入无噪视频中，得到带噪视频包括：将无噪视频转换为RAW无噪视频；将噪声参数加入RAW无噪视频中，得到带噪视频。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将无噪视频转换为RAW无噪视频包括：获取RAW无噪图像；获取ISP模型参数；ISP模型参数是当RAW无噪图像经过ISP模型转换后的图像与无噪视频的图像帧满足第一预设条件时得到；根据ISP模型参数，对无噪视频进行逆ISP转换，得到RAW无噪视频。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将噪声参数加入无噪视频中，得到带噪视频包括：根据噪声参数，确定泊松-高斯混合噪声；将泊松-高斯混合噪声加入无噪视频中，得到带噪视频。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将带噪图像转换为sRGB图像；获取视频对ISP模型参数；视频对ISP模型参数是当带噪图像经过视频对ISP模型转换后的图像与sRGB图像满足第二预设条件时得到；根据视频对ISP模型参数，对无噪视频和带噪视频进行ISP转换，得到sRGB视频对。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取不同场景下采集的无噪视频和带噪图像；
分别从各带噪图像中提取噪声参数；
将每一噪声参数加入各带噪图像各自对应的无噪视频中，得到带噪视频；
组合无噪视频和带噪视频，生成无噪视频与带噪视频关联数据集。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取不同场景下采集的无噪视频包括：获取不同场景下采集的初始视频；对初始视频进行噪声评估，得到初始视频的噪声值；若噪声值低于预设噪声阈值，则将初始视频作为无噪视频。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对初始视频进行噪声评估，得到初始视频的噪声值包括：根据初始视频，确定噪声分量以及信号分量；根据噪声分量以及信号分量，得到初始视频信噪比。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将噪声参数加入无噪视频中，得到带噪视频包括：将无噪视频转换为RAW无噪视频；将噪声参数加入RAW无噪视频中，得到带噪视频。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将无噪视频转换为RAW无噪视频包括：获取RAW无噪图像；获取ISP模型参数；ISP模型参数是当RAW无噪图像经过ISP模型转换后的图像与无噪视频的图像帧满足第一预设条件时得到；根据调整后的ISP模型的参数，对无噪视频进行逆ISP转换，得到RAW无噪视频。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将噪声参数加入无噪视频中，得到带噪视频包括：根据噪声参数，确定泊松-高斯混合噪声；将泊松-高斯混合噪声加入无噪视频中，得到带噪视频。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将带噪图像转换为sRGB图像；获取视频对ISP模型参数；视频对ISP模型参数是当带噪图像经过视频对ISP模型转换后的图像与sRGB图像满足第二预设条件时得到；根据视频对ISP模型参数，对无噪视频和带噪视频进行ISP转换，得到sRGB视频对。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种视频去噪数据集生成方法，其特征在于，包括：
获取不同场景下采集的无噪视频和带噪图像；针对同一场景的带噪图像和无噪视频成对出现；所述无噪视频为Log视频；
分别从各所述带噪图像中提取噪声参数；
将每一所述噪声参数加入各所述带噪图像各自对应的无噪视频中，得到带噪视频；
组合所述无噪视频和所述带噪视频，生成无噪视频与带噪视频关联数据集；
所述将所述噪声参数加入所述无噪视频中，得到带噪视频包括：
将无噪视频转换为RAW无噪视频；
将所述噪声参数加入所述RAW无噪视频中，得到带噪视频；
所述将无噪视频转换为RAW无噪视频包括：
获取RAW无噪图像；
获取ISP模型参数；所述ISP模型参数是当所述RAW无噪图像经过所述ISP模型转换后的图像与所述无噪视频的图像帧满足第一预设条件时得到；所述第一预设条件为经过ISP模型转换后的图像与所述无噪视频的图像帧之间的相似度阈值小于预设相似度阈值；
根据所述ISP模型参数，对所述无噪视频进行逆ISP转换，得到RAW无噪视频。
2.根据权利要求1所述的方法，其特征在于，所述获取不同场景下采集的无噪视频包括：
获取不同场景下采集的初始视频；
对所述初始视频进行噪声评估，得到所述初始视频的噪声值；
若所述噪声值低于预设噪声阈值，则将所述初始视频作为无噪视频。
3.根据权利要求2所述的方法，其特征在于，所述对所述初始视频进行噪声评估，得到所述初始视频的噪声值包括：
根据所述初始视频，确定噪声分量以及信号分量；
根据所述噪声分量以及信号分量，得到初始视频信噪比。
4.根据权利要求1所述的方法，其特征在于，所述将所述噪声参数加入所述无噪视频中，得到带噪视频包括：
根据所述噪声参数，确定泊松-高斯混合噪声；
将所述泊松-高斯混合噪声加入所述无噪视频中，得到带噪视频。
5.根据权利要求1所述的方法，其特征在于，所述组合所述无噪视频和所述带噪视频，生成无噪视频与带噪视频关联数据集包括：
将所述带噪图像转换为sRGB图像；
获取视频对ISP模型参数；所述视频对ISP模型参数是当所述带噪图像经过所述视频对ISP模型转换后的图像与所述sRGB图像满足第二预设条件时得到；
根据所述视频对ISP模型参数，对所述无噪视频和所述带噪视频进行ISP转换，得到sRGB视频对。
6.一种视频去噪数据集生成装置，其特征在于，所述装置包括：
获取模块，用于获取不同场景下采集的无噪视频和带噪图像；针对同一场景的带噪图像和无噪视频成对出现；所述无噪视频为Log视频；
噪声提取模块，用于分别从各所述带噪图像中提取噪声参数；
带噪视频生成模块，用于将每一所述噪声参数加入各所述带噪图像各自对应的无噪视频中，得到带噪视频；
数据集生成模块，用于根据所述无噪视频和所述带噪视频，生成无噪视频与带噪视频关联数据集；
所述带噪视频生成模块还用于将无噪视频转换为RAW无噪视频；将所述噪声参数加入所述RAW无噪视频中，得到带噪视频；
所述带噪视频生成模块还用于获取RAW无噪图像；获取ISP模型参数；所述ISP模型参数是当所述RAW无噪图像经过所述ISP模型转换后的图像与所述无噪视频的图像帧满足第一预设条件时得到；所述第一预设条件为经过ISP模型转换后的图像与所述无噪视频的图像帧之间的相似度阈值小于预设相似度阈值；根据所述ISP模型参数，对所述无噪视频进行逆ISP转换，得到RAW无噪视频。
7.根据权利要求6所述的装置，其特征在于，所述获取模块还用于获取不同场景下采集的初始视频；
对所述初始视频进行噪声评估，得到所述初始视频的噪声值；
若所述噪声值低于预设噪声阈值，则将所述初始视频作为无噪视频。
8.根据权利要求7所述的装置，其特征在于，所述获取模块还用于根据所述初始视频，确定噪声分量以及信号分量；根据所述噪声分量以及信号分量，得到初始视频信噪比。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210853877.XA CN115082357B (zh) | 2022-07-20 | 2022-07-20 | 视频去噪数据集生成方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210853877.XA CN115082357B (zh) | 2022-07-20 | 2022-07-20 | 视频去噪数据集生成方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115082357A CN115082357A (zh) | 2022-09-20 |
| CN115082357B true CN115082357B (zh) | 2022-11-25 |
Family
ID=83260427
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210853877.XA Active CN115082357B (zh) | 2022-07-20 | 2022-07-20 | 视频去噪数据集生成方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115082357B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105519109A (zh) * | 2013-08-06 | 2016-04-20 | 微软技术许可有限责任公司 | 对在低光照中捕获的视频进行编码 |
| CN110378860A (zh) * | 2019-07-30 | 2019-10-25 | 腾讯科技（深圳）有限公司 | 修复视频的方法、装置、计算机设备和存储介质 |
| CN111724317A (zh) * | 2020-05-20 | 2020-09-29 | 天津大学 | Raw域视频去噪监督数据集构造方法 |
| CN113112424A (zh) * | 2021-04-08 | 2021-07-13 | 深圳思谋信息科技有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN113840048A (zh) * | 2021-09-02 | 2021-12-24 | 信利光电股份有限公司 | 一种智能调整摄像头画面四角亮度的方法 |
| CN113962884A (zh) * | 2021-10-10 | 2022-01-21 | 杭州知存智能科技有限公司 | Hdr视频获取方法、装置、电子设备以及存储介质 |
| CN114022732A (zh) * | 2021-11-03 | 2022-02-08 | 北京理工大学 | 一种基于raw图像的极暗光物体检测方法 |
| CN114449199A (zh) * | 2021-08-12 | 2022-05-06 | 荣耀终端有限公司 | 视频处理方法、装置、电子设备和存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8417047B2 (en) * | 2011-03-01 | 2013-04-09 | Microsoft Corporation | Noise suppression in low light images |
| CN109754376B (zh) * | 2018-12-28 | 2020-11-10 | 深圳美图创新科技有限公司 | 图像去噪方法及装置 |
| CN116647685A (zh) * | 2020-10-26 | 2023-08-25 | 杭州海康威视数字技术股份有限公司 | 视频编码方法、装置、电子设备及可读存储介质 |
| CN113810641B (zh) * | 2021-08-12 | 2023-02-28 | 荣耀终端有限公司 | 视频处理方法、装置、电子设备和存储介质 |
-
2022
- 2022-07-20 CN CN202210853877.XA patent/CN115082357B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105519109A (zh) * | 2013-08-06 | 2016-04-20 | 微软技术许可有限责任公司 | 对在低光照中捕获的视频进行编码 |
| CN110378860A (zh) * | 2019-07-30 | 2019-10-25 | 腾讯科技（深圳）有限公司 | 修复视频的方法、装置、计算机设备和存储介质 |
| CN111724317A (zh) * | 2020-05-20 | 2020-09-29 | 天津大学 | Raw域视频去噪监督数据集构造方法 |
| CN113112424A (zh) * | 2021-04-08 | 2021-07-13 | 深圳思谋信息科技有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN114449199A (zh) * | 2021-08-12 | 2022-05-06 | 荣耀终端有限公司 | 视频处理方法、装置、电子设备和存储介质 |
| CN113840048A (zh) * | 2021-09-02 | 2021-12-24 | 信利光电股份有限公司 | 一种智能调整摄像头画面四角亮度的方法 |
| CN113962884A (zh) * | 2021-10-10 | 2022-01-21 | 杭州知存智能科技有限公司 | Hdr视频获取方法、装置、电子设备以及存储介质 |
| CN114022732A (zh) * | 2021-11-03 | 2022-02-08 | 北京理工大学 | 一种基于raw图像的极暗光物体检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| PVDD: A Practical Video Denoising Dataset with Real-World Dynamic Scenes;Xiaogang Xu等;《arXiv:2207.01356v1》;20220704;正文第3.2节、图5、图8 * |
| Xiaogang Xu等.PVDD: A Practical Video Denoising Dataset with Real-World Dynamic Scenes.《arXiv:2207.01356v1》.2022, * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115082357A (zh) | 2022-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11037278B2 (en) | Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures | |
| US20180367774A1 (en) | Convolutional Color Correction in Digital Images | |
| JP6267224B2 (ja) | 最良の写真を検出及び選択する方法及びシステム | |
| US9344638B2 (en) | Constant bracket high dynamic range (cHDR) operations | |
| Huang et al. | Towards low light enhancement with raw images | |
| US20150317510A1 (en) | Rating photos for tasks based on content and adjacent signals | |
| WO2021143300A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN113822830B (zh) | 基于深度感知增强的多曝光图像融合方法 | |
| WO2021237732A1 (zh) | 图像对齐方法及装置、电子设备、存储介质 | |
| WO2023005818A1 (zh) | 噪声图像生成方法、装置、电子设备及存储介质 | |
| CN111316628A (zh) | 一种基于智能终端的图像拍摄方法及图像拍摄系统 | |
| CN111429371A (zh) | 图像处理方法、装置及终端设备 | |
| CN114862735A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| Cheng et al. | Towards real-world hdrtv reconstruction: A data synthesis-based approach | |
| CN115082357B (zh) | 视频去噪数据集生成方法、装置、计算机设备和存储介质 | |
| Ko et al. | IceNet for interactive contrast enhancement | |
| CN108132935B (zh) | 图像分类方法及图像展示方法 | |
| CN116797510A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| WO2022115996A1 (zh) | 图像处理方法及设备 | |
| CN115147304A (zh) | 图像融合方法、装置、电子设备和存储介质、产品 | |
| Jin et al. | Learn to enhance the low-light image via a multi-exposure generation and fusion method | |
| US20240119637A1 (en) | Image synthesis method and system | |
| CN113034358B (zh) | 一种超分辨率图像处理方法以及相关装置 | |
| US20240202989A1 (en) | Neural photofinisher digital content stylization | |
| CN117876237A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |