CN111401411B - 获取样本图像集的方法及装置 - Google Patents
获取样本图像集的方法及装置 Download PDFInfo
- Publication number
- CN111401411B CN111401411B CN202010130503.6A CN202010130503A CN111401411B CN 111401411 B CN111401411 B CN 111401411B CN 202010130503 A CN202010130503 A CN 202010130503A CN 111401411 B CN111401411 B CN 111401411B
- Authority
- CN
- China
- Prior art keywords
- reference image
- image
- noise
- added
- inverse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000012545 processing Methods 0.000 claims abstract description 115
- 238000006243 chemical reaction Methods 0.000 claims abstract description 84
- 238000002372 labelling Methods 0.000 claims abstract description 5
- 230000003287 optical effect Effects 0.000 claims description 44
- 230000009466 transformation Effects 0.000 claims description 27
- 239000013598 vector Substances 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 description 43
- 230000004927 fusion Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 238000012549 training Methods 0.000 description 14
- 239000004973 liquid crystal related substance Substances 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 2
- NAXKFVIRJICPAO-LHNWDKRHSA-N [(1R,3S,4R,6R,7R,9S,10S,12R,13S,15S,16R,18S,19S,21S,22S,24S,25S,27S,28R,30R,31R,33S,34S,36R,37R,39R,40S,42R,44R,46S,48S,50R,52S,54S,56S)-46,48,50,52,54,56-hexakis(hydroxymethyl)-2,8,14,20,26,32,38,43,45,47,49,51,53,55-tetradecaoxa-5,11,17,23,29,35,41-heptathiapentadecacyclo[37.3.2.23,7.29,13.215,19.221,25.227,31.233,37.04,6.010,12.016,18.022,24.028,30.034,36.040,42]hexapentacontan-44-yl]methanol Chemical compound OC[C@H]1O[C@H]2O[C@H]3[C@H](CO)O[C@H](O[C@H]4[C@H](CO)O[C@H](O[C@@H]5[C@@H](CO)O[C@H](O[C@H]6[C@H](CO)O[C@H](O[C@H]7[C@H](CO)O[C@@H](O[C@H]8[C@H](CO)O[C@@H](O[C@@H]1[C@@H]1S[C@@H]21)[C@@H]1S[C@H]81)[C@H]1S[C@@H]71)[C@H]1S[C@H]61)[C@H]1S[C@@H]51)[C@H]1S[C@@H]41)[C@H]1S[C@H]31 NAXKFVIRJICPAO-LHNWDKRHSA-N 0.000 description 2
- 238000002679 ablation Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004304 visual acuity Effects 0.000 description 2
- 241001236093 Bulbophyllum maximum Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000011276 addition treatment Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003094 perturbing effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
本公开提供一种获取样本图像集的方法及装置。所述方法包括：获取针对一拍摄场景连续拍摄的多帧图像，将所述多帧图像中的一帧图像确定为参考图像，将剩余的图像确定为非参考图像，分别对格式转换后的参考图像和非参考图像进行噪声添加处理，将所得的添加噪声的非参考图像与添加噪声的参考图像对齐，获得对齐后的非参考图像，对所述格式转换后的参考图像标注像素信息，获得未添加噪声的参考图像，获取新型的样本图像集，所述样本图像集包括：所述对齐后的非参考图像、所述添加噪声的参考图像和所述未添加噪声的参考图像。
Description
技术领域
本公开涉及计算机通信技术领域，尤其涉及一种获取样本图像集的方法及装置。
背景技术
在数字图像处理和计算机视觉领域中，数字图像是最基本的信息来源，在成像设备获取和传输数字图像的过程中，因受到成像设备或外部环境的干扰而产生图像噪声，导致数字图像的图像质量降低。
为获得高质量的数字图像，需要对数字图像进行去噪处理。然而现有的图像去噪技术的去噪效果不佳，去噪后的图像易出现鬼影和纹理细节解析差等问题。
发明内容
为克服相关技术中存在的问题，本公开提供了一种获取样本图像集的方法及装置。
根据本公开实施例的第一方面，提供了一种获取样本图像集的方法，所述方法包括：
获取针对一拍摄场景连续拍摄的多帧图像；
将所述多帧图像中的一帧图像确定为参考图像，将剩余的图像确定为非参考图像；
分别对格式转换后的参考图像和非参考图像进行噪声添加处理，将所得的添加噪声的非参考图像与添加噪声的参考图像对齐，获得对齐后的非参考图像；
对所述格式转换后的参考图像标注像素信息，获得未添加噪声的参考图像；
获取样本图像集，所述样本图像集包括：所述对齐后的非参考图像、所述添加噪声的参考图像和所述未添加噪声的参考图像。
可选地，所述分别对格式转换后的参考图像和非参考图像进行噪声添加处理，包括：
分别对格式转换后的参考图像和非参考图像进行逆图像处理，所述逆图像处理包括：逆白平衡变换、逆暗角变换和逆数字增益变换；
分别对逆图像处理后的参考图像和非参考图像进行噪声添加处理。
可选地，所述分别对格式转换后的参考图像和非参考图像进行逆图像处理，包括：
对所述格式转换后的参考图像进行逆白平衡变换，得到第一参考图像，以及对所述格式转换后的非参考图像进行逆白平衡变换，得到第一非参考图像；
针对所述第一参考图像中的每个像素位置，将所述像素位置的像素值除以目标暗角增益图像中相同像素位置的像素值，得到第二参考图像，以及针对所述第一非参考图像中的每个像素位置，将所述像素位置的像素值除以所述目标暗角增益图像中相同像素位置的像素值，得到第二非参考图像；
分别对所述第二参考图像和所述第二非参考图像进行逆数字增益变换。
可选地，所述将所得的添加噪声的非参考图像与添加噪声的参考图像对齐，包括：
基于所述添加噪声的非参考图像和所述添加噪声的参考图像，确定所述添加噪声的非参考图像对应的光流图；
依据所述光流图，将所述添加噪声的非参考图像与所述添加噪声的参考图像对齐。
可选地，所述添加噪声的非参考图像和所述添加噪声的参考图像均为bayer格式的RAW图像；所述基于所述添加噪声的非参考图像和所述添加噪声的参考图像，确定所述添加噪声的非参考图像对应的光流图，包括：
基于所述添加噪声的非参考图像中每个像素单元的平均像素值，获得第三非参考图像，以及基于所述添加噪声的参考图像中每个像素单元的平均像素值，获得第三参考图像，每个像素单元包括一个R像素、两个G像素和一个B像素；
确定所述第三非参考图像中每个像素点图像，相对于所述第三参考图像中相同图像的偏移矢量；
基于所有像素点的偏移矢量生成光流图。
可选地，所述依据所述光流图，将所述添加噪声的非参考图像与所述添加噪声的参考图像对齐，包括：
将所述添加噪声的非参考图像拆分成R通道图像、G1通道图像、G2通道图像和B通道图像；
依据所述光流图移动每个通道图像中的像素点图像，并对图像移动后的四个通道图像进行合成。
可选地，所述获取样本图像集，包括：
获取包括所述光流图的所述样本图像集。
根据本公开实施例的第二方面，提供了一种获取样本图像集的装置，所述装置包括：
第一获取模块，被配置为获取针对一拍摄场景连续拍摄的多帧图像；
确定模块，被配置为将所述多帧图像中的一帧图像确定为参考图像，将剩余的图像确定为非参考图像；
加噪模块，被配置为分别对格式转换后的参考图像和非参考图像进行噪声添加处理；
对齐模块，被配置为将所得的添加噪声的非参考图像与添加噪声的参考图像对齐，获得对齐后的非参考图像；
标注模块，被配置为对所述格式转换后的参考图像标注像素信息，获得未添加噪声的参考图像；
第二获取模块，被配置为获取样本图像集，所述样本图像集包括：所述对齐后的非参考图像、所述添加噪声的参考图像和所述未添加噪声的参考图像。
可选地，所述加噪模块，包括：
逆处理子模块，被配置为分别对格式转换后的参考图像和非参考图像进行逆图像处理，所述逆图像处理包括：逆白平衡变换、逆暗角变换和逆数字增益变换；
加噪子模块，被配置为分别对逆图像处理后的参考图像和非参考图像进行噪声添加处理。
可选地，所述逆处理子模块，包括：
第一逆处理单元，被配置为对所述格式转换后的参考图像进行逆白平衡变换，得到第一参考图像，以及对所述格式转换后的非参考图像进行逆白平衡变换，得到第一非参考图像；
第二逆处理单元，被配置为针对所述第一参考图像中的每个像素位置，将所述像素位置的像素值除以目标暗角增益图像中相同像素位置的像素值，得到第二参考图像，以及针对所述第一非参考图像中的每个像素位置，将所述像素位置的像素值除以所述目标暗角增益图像中相同像素位置的像素值，得到第二非参考图像；
第三逆处理单元，被配置为分别对所述第二参考图像和所述第二非参考图像进行逆数字增益变换。
可选地，所述对齐模块，包括：
确定子模块，被配置为基于所述添加噪声的非参考图像和所述添加噪声的参考图像，确定所述添加噪声的非参考图像对应的光流图；
对齐子模块，被配置为依据所述光流图，将所述添加噪声的非参考图像与所述添加噪声的参考图像对齐。
可选地，所述添加噪声的非参考图像和所述添加噪声的参考图像均为bayer格式的RAW图像；所述确定子模块，包括：
获得单元，被配置为基于所述添加噪声的非参考图像中每个像素单元的平均像素值，获得第三非参考图像，以及基于所述添加噪声的参考图像中每个像素单元的平均像素值，获得第三参考图像，每个像素单元包括一个R像素、两个G像素和一个B像素；
确定单元，被配置为确定所述第三非参考图像中每个像素点图像，相对于所述第三参考图像中相同图像的偏移矢量；
生成单元，被配置为基于所有像素点的偏移矢量生成光流图。
可选地，所述对齐子模块，包括：
拆分单元，被配置为将所述添加噪声的非参考图像拆分成R通道图像、G1通道图像、G2通道图像和B通道图像；
移动单元，被配置为依据所述光流图移动每个通道图像中的像素点图像；
合并单元，被配置为对图像移动后的四个通道图像进行合成。
可选地，所述第二获取模块，被配置为获取包括所述光流图的所述样本图像集。
根据本公开实施例的第三方面，提供了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面中任一项所述方法的步骤。
根据本公开实施例的第四方面，提供了一种获取样本图像集的设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取针对一拍摄场景连续拍摄的多帧图像；
将所述多帧图像中的一帧图像确定为参考图像，将剩余的图像确定为非参考图像；
分别对格式转换后的参考图像和非参考图像进行噪声添加处理，将所得的添加噪声的非参考图像与添加噪声的参考图像对齐，获得对齐后的非参考图像；
对所述格式转换后的参考图像标注像素信息，获得未添加噪声的参考图像；
获取样本图像集，所述样本图像集包括：所述对齐后的非参考图像、所述添加噪声的参考图像和所述未添加噪声的参考图像。
本公开实施例提供的技术方案可以包括以下有益效果：
本公开实施例中，将针对一拍摄场景连续拍摄的多帧图像作为图像去噪模型的样本图像集的数据源，得到了新型的样本图像集，样本图像集包括对齐后的非参考图像、添加噪声的参考图像和未添加噪声的参考图像。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
图1是根据一示例性实施例示出的一种获取样本图像集的方法流程图；
图2根据一示例性实施例示出的一种马赛克变换过程的示意图；
图3根据一示例性实施例示出的一种训练图像去噪模型的方法流程图；
图4是根据一示例性实施例示出的一种图像去噪模型的结构示意图；
图5是根据一示例性实施例示出的一种残差子模块的结构示意图；
图6根据一示例性实施例示出的一种Depth2space操作过程的示意图；
图7根据一示例性实施例示出的一种图像去噪方法流程图；
图8是根据一示例性实施例示出的一种获取样本图像集的装置框图；
图9是根据一示例性实施例示出的一种用于获取样本图像集的装置的一结构示意图；
图10是根据一示例性实施例示出的另一种用于获取样本图像集的装置的一结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本公开实施例提供了一种获取样本图像集的方法，图1根据一示例性实施例示出的一种获取样本图像集的方法流程图，所述方法包括：
在步骤101中，获取针对一拍摄场景连续拍摄的多帧图像。
可以通过从一段视频中抽取连续帧的方式，获取针对一拍摄场景连续拍摄的多帧图像。本步骤中的多帧图像可以均为RGB图像。
示例性地，选取分辨率大于1080p且码率大于1000kbps的高清视频集合进行场景检测，针对每个视频Vi，生成一个列表其中，j是完整场景序号，n为大于或等于1的正整数，/>是一个完整场景j的起始时间戳，/>是一个完整场景j的结束时间戳。一个完整场景对应一次镜头拍摄，当发生镜头切换时，完整场景发生变化，例如，从室内拍摄切换到室外拍摄，发生了镜头切换，完整场景发生变化。
假设一个采样场景由C帧图像构建得到，对于视频Vi，设置完整场景序号j＝1，采样场景序号帧计数ci＝0。
遍历高清视频Vi，每遍历一帧fi，帧计数ci累计加1，若ci＝C，则判断遍历的C帧图像是否均在同一完整场景中，若在，则将遍历的C帧图像确定为针对一个采样场景拍摄的多帧RGB图像，记为图像，将/>图像添加到采样场景图像集合中，并令ci＝0，若ci＜C，则继续遍历下一帧，帧计数ci累计加1，即ci＝ci+1。可以通过下面方式判断C帧图像是否均在同一完整场景中：
设置采集相邻两帧图像的间隔时间为cfk，cfk的计算公式为：cfk＝ceil(randu(0.02，0.05)×fpsi)，其中，ceil()为向上取整函数，randu()为满足均匀分布的随机系数，fpsi是Vi的帧率。
确定连续遍历的C帧图像中第一帧图像的采集时间t1，计算连续遍历的帧图像中第C帧图像的采集时间t2，t2＝t1[(C-1)×cfk]。
若且/>则确定连续遍历的C帧图像均在完整场景j中。若/>则确定已经开始遍历针对下一完整场景拍摄的图像，令j＝j+1。
本实施例中，获取针对一个拍摄场景连续拍摄的多帧图像，可以理解为获取针对一个采样场景连续拍摄的多帧图像。本实施例可以获取针对多个采样场景连续拍摄的多帧图像，并且按照本实施例提供的获取样本图像集的方法，对针对每个采样场景连续拍摄的多帧图像进行处理，得到每个采样场景对应的样本图像子集，通过集合多个采样场景对应的样本图像子集，得到样本图像集。
在步骤102中，将多帧图像中的一帧图像确定为参考图像，将剩余的图像确定为非参考图像。
可以从多帧图像中，将清晰度最高的图像确定为参考图像，将多帧图像中剩余的图像确定为非参考图像。当多帧图像均为RGB图像时，将清晰度最高的RGB图像确定为参考图像，将多帧图像中剩余的RGB图像确定为非参考图像。
在一个实施例中，参考图像可以通过下面方式确定：其中，b为拍摄场景的标号，/>为针对拍摄场景b拍摄的多帧图像中的参考图像，B为针对拍摄场景b连续拍摄的多帧图像的标号集合，laplacian()为拉普拉斯算子，fb为针对拍摄场景b连续拍摄的多帧图像中的图像。将最大laplacian(fb)2对应的fb，确定为/>
在步骤103中，分别对格式转换后的参考图像和非参考图像进行噪声添加处理，将所得的添加噪声的非参考图像与添加噪声的参考图像对齐，获得对齐后的非参考图像。
当参考图像和非参考图像均为RGB图像时，可以将参考图像和非参考图像的图像格式转换成RAW格式，再对RAW格式的参考图像和非参考图像进行噪声添加处理等操作。
在一个实施例中，依次对参考图像进行逆全局色调映射变换、逆gamma变换和逆颜色空间矩阵变换，得到变换后的参考图像，以及依次对非参考图像进行逆全局色调映射变换、逆gamma变换和逆颜色空间矩阵变换，得到变换后的非参考图像。之后，对变换后的参考图像和变换后的非参考图像进行转换图像格式的操作。
示例性地，对于采样场景中的每帧图像fb，/>其中，wi×hi为视频Vi的分辨率，3为颜色通道的数量。假设全局色调映射是一个S型曲线，对每帧图像fb进行逆全局色调映射变换得到图像/> 每帧图像fb均为RGB图像。
对每帧进行gamma变换，得到从标准非线性RGB的空间到标准线性RGB空间的图像/>其中，/>
针对每帧将/>与随机选择的颜色空间矩阵的逆相乘，得到从标准线性RGB空间转换为传感器RGB空间的图像/>其中，/>inv()为对矩阵求逆的函数，CC()为颜色空间矩阵，incc为颜色空间转换矩阵索引，incc＝randi(0，7)。
对每帧进行马赛克变换，即进行图像格式转换，得到bayer格式的raw图像wi×hi为视频Vi的分辨率，1为颜色通道的数量。马赛克变换过程参见图2所示。马赛克变换又称Mosaic变换。bayer格式的raw图像为通过拜耳滤波器类型的传感器生成的原始图像文件。
针对具有拍摄功能的终端，如手机，根据手机的机型(可以理解为硬件性能)标定出一组颜色空间转换矩阵，在构造样本图像集时，可以从事先构造的一组颜色空间转换矩阵中，随机选出一颜色空间转换矩阵使用。可以使用构造的样本图像集训练图像去噪模型，使用训练后的图像去噪模型处理这款机型的手机拍摄的RAW图像。
在一个实施例中，分别对格式转换后的参考图像和非参考图像进行噪声添加处理的操作可以通过下面方式实现：第一步骤，分别对格式转换后的参考图像和非参考图像进行逆图像处理，逆图像处理包括：逆白平衡变换、逆暗角变换和逆数字增益变换；第二步骤，分别对逆图像处理后的参考图像和非参考图像进行噪声添加处理。
针对上述的第一步骤，首先，可以对格式转换后的参考图像进行逆白平衡变换，得到第一参考图像，以及对格式转换后的非参考图像进行逆白平衡变换，得到第一非参考图像；其次，针对第一参考图像中的每个像素位置，将该像素位置的像素值除以目标暗角增益图像中相同像素位置的像素值，得到第二参考图像，以及针对第一非参考图像中的每个像素位置，将该像素位置的像素值除以目标暗角增益图像中相同像素位置的像素值，得到第二非参考图像；最后，分别对第二参考图像和第二非参考图像进行逆数字增益变换。
由于进行了逆暗角变换，因此去除了暗角对图像的影响。
针对具有拍摄功能的终端，如手机，会根据手机的机型(可以理解为硬件性能)标定出一组暗角增益图像，在构造样本图像集时，可以从事先构造的一组暗角增益图像中，随机选出一暗角增益图像作为目标暗角增益图像使用。
一组暗角增益图将暗角增益图的分辨率从13×14×4放大到1500×2000×4，将li中每个像素的坐标乘以125，并用双线性差值方法对每张暗角增益图进行差值处理，再通过Depth2space操作将暗角增益图的分辨率变为3000×4000，从而标定出一组暗角增益图/>Depth2space又称Depth tospace，Depth2spacechu处理用于将深度数据块重新排列为空间数据块。
示例性地，对每帧进行逆白平衡变换，可以将/>中所有R像素的像素值除以gR，将/>中所有蓝色通道的像素值除以gB，获得逆白平衡变换后的RAW图像/>其中，/>为/>中G像素的像素值。
其中，gr＝randi(1.5，2.5)，gb＝randi(1.5，2.0)，randi()为随机均匀分布的浮点型数。
对每帧进行逆暗角变换，得到/>其中，slice()为随机裁剪函数；wl为对暗角增益图进行随机裁剪的起始坐标，wl＝randi(0，(3000-wi)/2)，wi为视频Vi的宽；hl为对暗角增益图进行随机裁剪的起始坐标，hl＝randi(0，(4000-hi)/2)，hi为视频Vi的高；sl为对暗角增益图进行随机扰动的系数，sl＝randn(μ＝1，σ＝0.075)；randn()为满足高斯分布的随机变量的函数；/>为暗角增益图；inl为去暗角增益图索引，inl＝randi(0，7)。lb是对暗角增益图/>中坐标(wl，hl)到(wl+wi，hl+hi)进行剪裁后得到的切片图像。
对每帧进行逆数字增益变换，得到/>并将参考图像/>作为ground-truth。gdigital为数字增益参数，gdigital＝1.0/randn(μ＝0.8，σ＝0.1)，randn()为满足高斯分布的随机变量函数。/>为参考图像经过逆数字增益变换后得到的图像，/>未进行噪声添加处理，将/>称为未添加噪声的参考图像。
对每帧添加随机的高斯噪声和泊松噪声，得到添加噪声的图像为添加噪声的非参考图像，/>为添加噪声的参考图像。
其中，randn()为满足高斯分布的随机变量函数；σp为添加的泊松噪声强度，σp＝exp(randu(log(0.0001)，log(0.012)))，σg为添加的高斯噪声强度，σg＝exp(2.18×log(σp)+1.2+randn(μ＝0，σ＝0.26))。
在一个实施例中，可以将添加噪声的非参考图像中的具体图像，与添加噪声的参考图像中的具体图像对齐。
例如，可以基于添加噪声的非参考图像和添加噪声的参考图像，确定添加噪声的非参考图像对应的光流图，再依据光流图，将添加噪声的非参考图像与添加噪声的参考图像对齐。光流图用于运动图像分析。
添加噪声的非参考图像和添加噪声的参考图像均为bayer格式的RAW图像，上述的图像对齐过程可以通过下面方式实现：首先，基于添加噪声的非参考图像中每个像素单元的平均像素值，获得第三非参考图像，以及基于添加噪声的参考图像中每个像素单元的平均像素值，获得第三参考图像，每个像素单元包括一个R像素、两个G像素和一个B像素；其次，确定第三非参考图像中每个像素点图像，相对于第三参考图像中相同图像的偏移矢量，基于所有像素点的偏移矢量生成光流图；再次，将添加噪声的非参考图像拆分成R通道图像、G1通道图像、G2通道图像和B通道图像；最后，基于光流图对每个通道图像中的像素点图像进行移动，并对图像移动后的四个通道图像进行合成。
当添加噪声的非参考图像的数量为多个时，针对每帧添加噪声的非参考图像，均需要执行上述四步操作，从而将该帧添加噪声的非参考图像，与添加噪声的参考图像对齐。
本实施例使用光流对齐方法，能够实现图像的准确对齐。
示例性地，为添加噪声的非参考图像，/>为添加噪声的参考图像，/>和/>均为bayer格式的RAW图像。将/>与/>对齐，获得对齐后的/>即对齐帧/>以及获取对齐帧/>对应的光流图/>具体对齐过程如下：
计算中每个像素单元的平均像素值，获得/> 以及计算/>中每个像素单元的平均像素值，获得/> 其中，pR为R像素的像素值，pG1为G1像素的像素值，pG2为G2像素的像素值，pB为B像素的像素值。
确定中每个像素点图像，相对于/>中相同图像的偏移矢量，该偏移矢量包括水平方向上的偏移矢量u和垂直方向上的偏移矢量v，基于所有像素点的偏移矢量生成光流图/>
将拆分成四个通道图像/>和/>针对每个通道图像，使用光流图/>将该通道图像中像素点(i，j)处的图像映射到(i+u，j+v)位置上，实现非参考图像向参考图像对齐，从而得到对齐后的非参考图像。
在一个实施例中，获得添加噪声的参考图像后，可以通过下面公式确定添加噪声的参考图像的噪声强度图其中，/>为添加噪声的参考图像，σp为添加的泊松噪声强度，σg为添加的高斯噪声强度。
在一个实施例中，除采用Disflow对齐方法外，还可以采用其他对齐方法进行图像对齐，例如，基于Harris特征的全局对齐方法。
在步骤104中，对格式转换后的参考图像标注像素信息，获得未添加噪声的参考图像。
当参考图像为RGB图像时，可以将参考图像的图像格式转换成RAW格式，再对RAW格式的参考图像标注像素信息。由于标注后的图像未进行噪声添加操作，因此将标注后的图像称为未添加噪声的参考图像。
像素信息可以为像素矩阵，包括不同像素点的像素值。
在步骤105中，获取样本图像集，样本图像集包括：对齐后的非参考图像、添加噪声的参考图像和未添加噪声的参考图像。
样本图像集中的图像均为样本图像，样本图像集用于对图像去噪模型进行训练，从而优化图像去噪模型。
在一个实施例中，在基于第三非参考图像中每个像素点图像的偏移矢量，生成第三非参考图像的光流图后，获取的样本图像集还可以包括对齐后的非参考图像的光流图。
样本图像集还可以包括噪声强度图以及部分元数据信息Dk，Dk可以包括gr、gb、gdigital、CC[incc]和/>
例如，当采样场景为多个时，样本图像集包括：每个采样场景对应获取的样本图像子集，样本图像子集包括和Dk。
本公开实施例中，将针对一拍摄场景连续拍摄的多帧图像作为图像去噪模型的样本图像集的数据源，基于多帧图像，得到了新型的样本图像集，样本图像集包括对齐后的非参考图像、添加噪声的参考图像和未添加噪声的参考图像。
本公开实施例还提供了一种训练图像去噪模型的方法，图像去噪模型用于对相机连续拍摄的多帧图像的融合图像进行去噪处理，图像去噪模型包括：第一模块和第二模块。本公开实施例使用上述提供的样本图像集对图像去噪模型进行训练。
图3是根据一示例性实施例示出的一种训练图像去噪模型的方法流程图，所述方法包括：
在步骤201中，使用第一模块基于样本图像集中对齐后的非参考图像和添加噪声的参考图像，确定融合图像的预测噪声信息。
融合图像是融合对齐后的非参考图像和添加噪声的参考图像后得到的图像，融合图像与添加噪声的参考图像相对应，融合图像更接近于添加噪声的参考图像。
在一个实施例中，样本图像集中的图像均为bayer格式的RAW图像；所述图像去噪模型中第一模块包括：第一子模块和第二子模块，在此结构下，步骤201可以通过下面方式实现：首先，使用第一子模块对添加噪声的参考图像和对齐后的非参考图像进行Space2depth(Space to depth)处理，获得处理后的参考图像和非参考图像；其次，使用第二子模块基于处理后的参考图像和非参考图像，确定融合图像的预测噪声信息。Space2depth又称Space to depth，Space2depth处理用于将空间数据块重新排列为深度数据块。
在一个实施例中，第二子模块可以包括输入单元、多个编码单元、融合单元、多个解码单元和输出单元，每个编码单元均包括编码子单元和第一采样子单元，每个解码单元均包括解码子单元和第二采样子单元，每个解码单元包括的解码子单元与至少两个第一采样子单元连接。
在此结构下，第二子模块基于处理后的参考图像和非参考图像，确定融合图像的预测噪声信息的操作可以通过下面方式实现：
第一步骤，使用输入单元对处理后的参考图像和非参考图像的通道数量进行调整，获得第一特征图像；
第二步骤，使用多个编码单元对第一特征图像进行编码处理和采样处理，获得第二特征图像和每个第一采样子单元所得的第一采样特征图像；
第三步骤，使用融合单元对第二特征图像进行特征融合处理，获得第三特征图像；
第四步骤，使用多个解码单元对第三特征图像进行采样处理和解码处理，获得第四特征图像，其中，每个解码包括的第二采样子单元对自身所得的第二采样特征图像和目标采样单元特征图像进行合并，目标采样特征图像为与第二采样子单元连接的第一采样子单元所得的第一采样特征图像；
第五步骤，使用输出单元确定第四特征图像的噪声信息，将第四特征图像的噪声信息确定为融合图像的预测噪声信息。
本实施例提供的第二子模块是以Unet网络作为骨干网络并进行一定改进后得到的，将Unet网络中编码模块与解码模块之间的一一连接，扩展为稠密连接，提高了第二子模块确定融合图像的预测噪声信息的准确性。
在步骤202中，使用第二模块基于预测噪声信息对添加噪声的参考图像进行去噪处理，将所得的去噪后的图像确定为去噪后的融合图像。
在步骤203中，计算样本图像集中未添加噪声的参考图像与去噪后的融合图像之间的像素值差异。
在一个实施例中，对未添加噪声的参考图像进行数字增益加强处理和去暗角处理，以及对去噪后的融合图像进行数字增益加强处理和去暗角处理，计算数字增益加强处理和去暗角处理后的参考图像和融合图像之间的像素值差异。
加入数字增益加强处理和去暗角处理操作，使得训练和测试的图像的噪声分布更加接近，从而提升图像去噪模型的去噪能力。
可选的，第一步骤，将未添加噪声的参考图像中每个像素点的像素值与目标数字增益相乘，并将相乘后的参考图像与目标暗角增益图像中相同像素位置的像素值相乘；第二步骤，将去噪后的融合图像中每个像素点的像素值与目标数字增益相乘，并将相乘后的融合图像与目标暗角增益图像中相同像素位置的像素值相乘，其中，目标数字增益为获取样本图像集过程中逆暗角变换中使用的数字增益，目标暗角增益图像为获取样本图像集过程中逆数字增益变换中使用的暗角增益图像。
在步骤204中，基于像素值差异对第一模块进行调整。
调整方式有多种，例如，可以基于像素值差异对第一模块进行调整，使得像素值差异小于预设值，预设值较小，优选为零，或者，可以基于像素值差异对第一模块进行调整，当调整次数达到预设次数时，结束调整。
本公开实施例使用新型的样本图像集对图像去噪模型进行训练，基于样本图像集中图像的种类，提高了图像去噪模型解析图像文理细节的能力和去除图像鬼影的能力，提高了图像去噪模型输出的图像的质量。
基于本公开实施例使用的光流图对齐方法，进一步提高了图像去噪模型解析图像文理细节的能力和去除图像鬼影的能力，使得图像去噪模型输出的图像具有较好的纹理细节且不会出现鬼影问题。
通过下面示例对图像去噪模型以及训练图像去噪模型的方法进行举例说明。
下面对图像去噪模型的结构和去噪性能进行介绍。
本示例提供的图像去噪模型是以Unet网络作为骨干网络并进行一定改进后得到的，相比于传统的Unet网络，本示例中的图像去噪模型在每个编码模块和解码模块中新增了Resnet中的bottleneck残差模块，并将Unet网络中编码模块与解码模块之间的一一连接，扩展为稠密连接。
图4是根据一示例性实施例示出的一种图像去噪模型的结构示意图，参考图4，图像去噪模型F(Ii，θ)包括输入模块、三个编码模块、融合模块、三个解码模块和输出模块，θ为图像去噪模型的模型参数，三个编码模块分别与三个解码模块连接。
其中，输入模块和输出模块均由卷积网络组成，输入模块和输出模块中通道数量、卷积核尺寸、步长、激活函数、是否有偏置等参数如表1所示。
表1卷积网络参数
| 所在模块 | 类型 | 通道数量 | 卷积核尺寸 | 步长 | 激活函数 | 偏置 |
| 输入模块 | 卷积 | 64 | 3 | 1 | relu | 0 |
| 输出模块 | 卷积 | 4 | 3 | 1 | - | 1 |
每个编码模块均包括一个残差子模块和一个采样子模块，每个解码模块均包括一个残差子模块、一个合并子模块和一个采样子模块。残差子模块的结构如图5所示，残差子模块中的通道数量、卷积核尺寸、步长、激活函数、是否有偏置等参数如表2所示。表2中c为残差子模块中第一个卷积层的通道数量，可以根据需要设置c的大小，本示例设c为64。采样子模块统一使用space2depth操作进行下采样以及统一使用depth2space操作进行上采样。
表2卷积网络参数
| 序号 | 类型 | 通道数量 | 卷积核尺寸 | 步长 | 激活函数 | 偏置 |
| 1 | 卷积 | c | 1 | 1 | - | 1 |
| 2 | 卷积 | c/4 | 1 | 1 | relu | 0 |
| 3 | 卷积 | c/4 | 3 | 1 | relu | 0 |
| 4 | 卷积 | c | 1 | 1 | - | 0 |
输入模块的输入为Ii，输出为f0，输入模块用于调整Ii中图像的通道数量。例如，Ii包括8帧图像，每帧图像均为Space2depth处理后所得的图像，每帧图像包括4个通道图像，Ii总共包括32个通道图像，Ii中图像的通道数量为32，经过输入模块处理后，f0中图像的通道数量为64。
第一编码模块的输入为f0，使用第一编码模块中的残差子模块对f0进行处理，获得f1，使用第一编码模块中的采样子模块对f1进行二倍的space2depth下采样处理，获得f11，以及对f1进行四倍的space2depth下采样处理，获得f12。
第二编码模块的输入为f11，使用第二编码模块中的残差子模块对f11进行处理，获得f2，使用第二编码模块中的采样子模块对f2进行二倍的space2depth下采样处理，获得f21，以及对f2进行二倍的depth2space上采样，获得f22。
第三编码模块的输入为f21，使用第三编码模块中的残差子模块对f21进行处理，获得f3，使用第三编码模块中的采样子模块对f3进行二倍的depth2space上采样处理，获得f31，以及对f3进行四倍的depth2space上采样处理，获得f32。
融合模块由残差子模块组成，融合模块的输入为f3，输出为f4。
第一解码模块的输入为f4，使用第一解码模块中的采样子模块对f4进行二倍的depth2space上采样处理，获得f5，使用第一解码模块中的合并子模块将f5、f3、f12和f21合并，获得f′1，使用第一解码模块中的残差子模块对f1′进行处理，获得f51。合并子模块对具有相同长和宽的图像进行合并，将通道数量相加。
第二解码模块的输入为f51，使用第二解码模块中的采样子模块对f51进行二倍的depth2space上采样处理，获得f6，使用第二解码模块中的合并子模块将f6、f31、f2和f11合并，获得f2′，使用第二解码模块中的残差子模块对f2′进行处理，获得f61。
第三解码模块的输入为f61，使用第三解码模块中的采样子模块对f61进行二倍的depth2space上采样处理，获得f7，使用第三解码模块中的合并子模块将f7、f32、f22和f1合并，获得f3＇，使用第三解码模块中的残差子模块对f3＇进行处理，获得f71。f71为融合图像。
输出模块的输入为f71，输出为为融合图像的预测噪声信息。
实际中，可以减少图像去噪模型中卷积核的参数量，设置残差子模块中c为较小数值，从而减少模型的总体计算规模，提高模型的处理速度。
例如，可以预先设置第一编码模块中残差子模块输出的图像的通道数量为64，设置第二编码模块中残差子模块输出的图像的通道数量为128，设置第三编码模块中残差子模块输出的图像的通道数量为256，设置融合模块输出的图像的通道数量为256，设置第一解码模块中残差子模块输出的图像的通道数量为256，设置第二解码模块中残差子模块输出的图像的通道数量为128，设置第三解码模块中残差子模块输出的图像的通道数量为64。
本示例在图像去噪模型中增设了残差模块和稠密连接，从而提高了图像去噪模型的去噪解析能力、网络深度，避免了梯度消失等问题，有效提高了图像去噪模型的泛化能力。
本示例对mid_channel为64的传统Unet模型、本示例提供的图像去噪模型(又称为DenseResUnet模型)、ResUnet模型和DenseUnet模型进行消融实验，其中，DenseResUnet模型包括残差子模块且进行稠密连接，ResUnet模型为将DenseResUnet模型中的稠密连接改为一一连接后得到的模型，DenseUnet模型为取消DenseResUnet模型中残差子模块后得到的模型。
选取样本图像集中的5帧图像作为测试集，对传统Unet模型、DenseResUnet模型、ResUnet模型和DenseUnet模型进行测试，测试结果如表3所示：
表3消融实验数据
| 噪声图 | Unet | DenseResUnet | ResUnet | DenseUnet | |
| pSNR | 35.18 | 42.82 | 43.41 | 43.09 | 42.94 |
| pSNR_gain | 0 | +7.64 | +8.23 | +7.91 | +7.76 |
pSNR全称为Peak Signal to Noise Ratio，又称峰值信噪比。
由表3可知，本示例提供的图像去噪模型对应的pSNR最高，表明本示例提供的图像去噪模型的去噪效果最好。
下面对图像去噪模型的训练过程进行介绍：
样本图像集T包括多个样本图像子集Pi，不同样本图像子集Pi对应的拍摄场景不同，或者，不同样本图像子集Pi对应的采样场景不同。Pi包括
针对每个Pi，分别对/>和/>进行Space2depth操作，依次得到/>和/>得到图像去噪模型的输入Ii，/>并将Ii输入图像去噪模型中。Space2depth操作的过程如图6所示。
获得图像去噪模型输出的其中，θ为图像去噪模型的模型参数。对进行Depth2space操作，得到/>基于残差学习的理论，计算/>将/>作为去噪后的融合图像。融合图像为RAW图像。
利用Dk＝(gr，gb，gdigital，CC[incc]，lb)，通过模拟的图像处理过程，分别将去噪后的融合图像和未添加噪声的参考图像/>的图像格式转换成RGB格式，计算RGB格式的/>与RGB格式的/>之间的像素值差异，可以将该像素值差异称为损失L1。
使用损失L1对图像去噪模型进行调整，减小与/>之间的像素值差异。
由于和/>进行的操作一致，因此以/>作为示例，对上述过程进行说明。
步骤1、对进行数字增益加强，得到/>
步骤2、对数字增益加强后的进行去暗角操作，得到/>
步骤3、对去暗角后的进行白平衡变换，将/>中所有R像素的像素值乘以gR，得到/>将/>中所有B像素的像素值乘以gB，得到获得白平衡变换后的RAW图像/>其中/>为/>中G像素的像素值。
步骤4、对进行Space2depth卷积操作，生成四个两倍下采样的通道图像对四个通道图像进行基于双线性插值的去马赛克操作,获得传感器空间RGB格式的图像/>/>
具体地，对红色通道进行基于双线性插值的两倍上采样，得到
对蓝色通道进行上下翻转后进行基于双线性插值的两倍上采样，然后再上下翻转，得到
对第一个绿色通道进行左右翻转后进行基于双线性插值的两倍上采样，然后再左右翻转，得到
对第二个绿色通道进行上下翻转后进行基于双线性插值的两倍上采样，然后再上下翻转，得到
合并与/>得到/>对于任意像素/>若/>中与/>相同坐标的像素经过Space2depth被划分到/>中，则像素/>的像素值/>为/>中具有相同坐标的像素的像素值，即/>若/>中与/>相同坐标的像素经过Space2depth被划分到/>中，则像素/>的像素值/>为/>中具有相同坐标的像素的像素值，即否则像素/>的像素值/>
生成RGB格式的图像
步骤5、对进行颜色空间转换，得到从传感器RGB空间转换为标准线性RGB空间的图像/>
步骤6、对进行gamma变换，得到从标准线性RGB空间到标准非线性RGB空间的图像/>
对进行上述步骤1-步骤6的操作，得到/>
计算与/>之间的损失/>
可选的，用Adam优化器反向优化L1，设置Adam的参数为默认值σ＝0.1，β1＝0.9，β2＝0.999。
可选的，设置训练的批尺寸为16，图像块尺寸为256，训练周期为200次循环训练集，前150次学习率为1e-4，后50次学习率为1e-5。
本公开实施例使用新型的样本图像集对图像去噪模型进行训练，基于样本图像集中图像的种类，使得训练后的图像去噪模型能够输出高质量的去噪后的融合图像，输出的融合图像不会出现鬼影问题并且具有较好的纹理细节。
本公开实施例还提供了一种图像去噪方法，基于本公开上述实施例提供的图像去噪模型进行图像去噪。图7根据一示例性实施例示出的一种图像去噪方法流程图，所述方法包括：
在步骤301中，获取针对一拍摄场景连续拍摄的多帧图像。
本公开实施例中，针对一拍摄场景连续拍摄的多帧图像，可以是相机快门被按下后连续拍摄的多帧图像。本步骤中的多帧图像可以均为RAW图像。
在步骤302中，将多帧图像中的一帧图像确定为参考图像，将剩余的图像确定为非参考图像。
当多帧图像均为RAW图像时，将多帧RAW图像中的一帧RAW图像确定为参考图像，将剩余的RAW图像确定为非参考图像。
在一个实施例中，可以将多帧图像中清晰度最高的图像确定为参考图像。
在步骤303中，将非参考图像与参考图像对齐。
在一个实施例中，可以基于非参考图像和参考图像，确定非参考图像对应的光流图，再依据光流图，将非参考图像与参考图像对齐。
可选的，非参考图像与参考图像均为bayer格式的RAW图像，可以通过下面方式实现图像对齐：
首先，基于非参考图像中每个像素单元的平均像素值，获得目标非参考图像，以及基于参考图像中每个像素单元的平均像素值，获得目标参考图像，每个像素单元包括一个R像素、两个G像素和一个B像素。
其次，确定目标非参考图像中每个像素点图像，相对于目标参考图像中相同图像的偏移矢量，基于所有像素点的偏移矢量生成光流图。
再次，将非参考图像拆分成R通道图像、G1通道图像、G2通道图像和B通道图像。
最后，依据光流图移动每个通道图像中的像素点图像，并对图像移动后的四个通道图像进行合成。从而得到对齐后的非参考图像。
若非参考图像的数量为多个，则对每帧非参考图像均执行上述四个步骤，实现每帧非参考图像的对齐。
本公开实施例中提供的对齐方法可以称为光流对齐方法。
在步骤304中，将参考图像和对齐后的非参考图像输入预先构建的图像去噪模型中，获得图像去噪模型输出的去噪后的融合图像，融合图像是参考图像和非参考图像融合后得到的图像。
在一个实施例中，若采用上述的光流对齐方法进行图像对齐，则在向图像去噪模型输入参考图像和对齐后的非参考图像时，还可以将非参考图像对应的光流图输入图像去噪模型中，使得图像去噪模型基于参考图像、对齐后的非参考图像和光流图进行图像去噪，输出高质量的融合图像。
通过下面示例，对本公开实施例提供的图像去噪方法进行举例说明。
本示例获取相机快门被按下时采集的一组RAW图像，对RAW图像进行坏点校正操作，从校正后的RAW图像中选取参考图像和非参考图像，将非参考图像与参考图像对齐，将参考图像和对齐后的非参考图像输入本公开实施例提供的图像去噪模型中，获得图像去噪模型输出的去噪后的融合图像，融合图像是融合参考图像和对齐后的非参考图像后得到的图像。图像去噪过程具体包括：
相机传感器输出N帧RAW图像，N帧RAW图像组成一图像集合Bt，
步骤一，对Bt中每帧进行坏点矫正。/>
对Bt中的每帧进行Space2depth卷积操作，生成四个两倍下采样的通道图像针对各通道图像中的每个像素/>对比其空间临接的八个像素点集合更新像素值为/>从而生成/>将通过Depth2space操作生成/>
加入坏点检测操作，使得训练和测试的RAW图像的噪声分布更加接近，从而提升去噪效果。
步骤二，从所有中选择参考帧/>其中，laplacian()为拉普拉斯算子，I为图像集合Bt中各图像的标号的集合。
步骤三，为从所有/>中确定出的非参考图像，/>j≠r，将每帧/>与参考图像/>进行对齐，获得对齐后的非参考图像/>以及/>对应的光流图
步骤四，获取相机传感器中的噪声强度参数noiseprofile＝(σp，σg)，从而获得噪声图
步骤五，分别对和/>进行Space2depth操作，得到/>和将其与/>并联，得到图像去噪模型的输入/> 将It图像去噪模型后，获得图像去噪模型输出的去噪后的融合图像。融合图像为RAW图像。
基于Disflow对齐的多帧RAW图像去噪方法相比于相关技术中的单帧RAW图像去噪方法，解析力有明显提升。
基于Disflow对齐的多帧RAW去噪方法相比于基于神经网络进行端到端对齐和去噪的方法，去噪能力和解析力都是最强的。
基于在逆图像处理过程中从高清视频中抽取连续帧制作的样本图像集即训练集，相比于开源的SIDD训练集，训练的相同图像去噪模型具有更强的纹理细节解析力。
从样本图像集中随机选取100组序列，每组序列是基于针对一个拍摄场景(可以理解为采样场景)连续拍摄的五帧RAW图像确定的样本图像子集，FastDVDnet方法是用网络端到端进行隐式对齐和去噪的方法，SIDD方法使用SIDD数据集训练与本公开实施例使用的图像去噪模型相同的模型。
使用本公开实施例提供的图像去噪方法与已有的图像去噪方法，对选取的100组序列进行去噪处理，计算100组序列对应的去噪数据的平均值，得到反映去噪效果的去噪数据。
本公开实施例提供的图像去噪方法与已有的图像去噪方法的去噪数据如表4所示：
表4去噪数据表
pSNR全称为Peak Signal to Noise Ratio，又称峰值信噪比。
由表4可知，本公开实施例提供的图像去噪方法对应的pSNR最高，表明本公开实施例提供的图像去噪方法的去噪效果最好。
本公开实施例使用光流图对齐方法对多帧RAW图像进行对齐，将参考图像、对齐后的非参考图像和光流图同时输入神经网络模型即图像去噪模型中，提供了充足的有效信息，从而保证图像去噪模型具有较好的去噪能力、较好的细节纹理解析力，并且对大幅度运动物体不产生鬼影。
对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其他顺序或者同时进行。
其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本公开所必须的。
与前述应用功能实现方法实施例相对应，本公开还提供了应用功能实现装置及相应的终端的实施例。
图8是根据一示例性实施例示出的一种获取样本图像集的装置框图，所述装置包括：第一获取模块41、确定模块42、加噪模块43、对齐模块44、标注模块45和第二获取模块46；其中，
所述第一获取模块41，被配置为获取针对一拍摄场景连续拍摄的多帧图像；
所述确定模块42，被配置为将所述多帧图像中的一帧图像确定为参考图像，将剩余的图像确定为非参考图像；
所述加噪模块43，被配置为分别对格式转换后的参考图像和非参考图像进行噪声添加处理；
所述对齐模块44，将所得的添加噪声的非参考图像与添加噪声的参考图像对齐，获得对齐后的非参考图像；
所述标注模块45，被配置为对所述格式转换后的参考图像标注像素信息，获得未添加噪声的参考图像；
所述第二获取模块46，被配置为获取样本图像集，所述样本图像集包括：所述对齐后的非参考图像、所述添加噪声的参考图像和所述未添加噪声的参考图像。
在一个可选的实施例中，在图8所示的获取样本图像集的装置的基础上，所述加噪模块43，可以包括：逆处理子模块和加噪子模块；其中，
所述逆处理子模块，被配置为分别对格式转换后的参考图像和非参考图像进行逆图像处理，所述逆图像处理包括：逆白平衡变换、逆暗角变换和逆数字增益变换；
所述加噪子模块，被配置为分别对逆图像处理后的参考图像和非参考图像进行噪声添加处理。
在一个可选的实施例中，所述逆处理子模块，可以包括：第一逆处理单元、第二逆处理单元和第三逆处理单元；其中，
所述第一逆处理单元，被配置为对所述格式转换后的参考图像进行逆白平衡变换，得到第一参考图像，以及对所述格式转换后的非参考图像进行逆白平衡变换，得到第一非参考图像；
所述第二逆处理单元，被配置为针对所述第一参考图像中的每个像素位置，将所述像素位置的像素值除以目标暗角增益图像中相同像素位置的像素值，得到第二参考图像，以及针对所述第一非参考图像中的每个像素位置，将所述像素位置的像素值除以所述目标暗角增益图像中相同像素位置的像素值，得到第二非参考图像；
所述第三逆处理单元，被配置为分别对所述第二参考图像和所述第二非参考图像进行逆数字增益变换。
在一个可选的实施例中，在图8所示的获取样本图像集的装置的基础上，所述对齐模块44，可以包括：确定子模块和对齐子模块；其中，
所述确定子模块，被配置为基于所述添加噪声的非参考图像和所述添加噪声的参考图像，确定所述添加噪声的非参考图像对应的光流图；
所述对齐子模块，被配置为依据所述光流图，将所述添加噪声的非参考图像与所述添加噪声的参考图像对齐。
在一个可选的实施例中，所述添加噪声的非参考图像和所述添加噪声的参考图像均为bayer格式的RAW图像；所述确定子模块，可以包括：获得单元、确定单元和生成单元；其中，
所述获得单元，被配置为基于所述添加噪声的非参考图像中每个像素单元的平均像素值，获得第三非参考图像，以及基于所述添加噪声的参考图像中每个像素单元的平均像素值，获得第三参考图像，每个像素单元包括一个R像素、两个G像素和一个B像素；
所述确定单元，被配置为确定所述第三非参考图像中每个像素点图像，相对于所述第三参考图像中相同图像的偏移矢量；
所述生成单元，被配置为基于所有像素点的偏移矢量生成光流图。
在一个可选的实施例中，所述对齐子模块，可以包括：拆分单元、移动单元和合并单元；其中，
所述拆分单元，被配置为将所述添加噪声的非参考图像拆分成R通道图像、G1通道图像、G2通道图像和B通道图像；
所述移动单元，被配置为依据所述光流图移动每个通道图像中的像素点图像；
所述合并单元，被配置为对图像移动后的四个通道图像进行合成。
在一个可选的实施例中，所述第二获取模块46，可以被配置为获取包括所述光流图的所述样本图像集。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
相应的，一方面，本公开实施例提供了一种获取样本图像集的装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，上述处理器被配置为：
获取针对一拍摄场景连续拍摄的多帧图像；
将所述多帧图像中的一帧图像确定为参考图像，将剩余的图像确定为非参考图像；
分别对格式转换后的参考图像和非参考图像进行噪声添加处理，将所得的添加噪声的非参考图像与添加噪声的参考图像对齐，获得对齐后的非参考图像；
对所述格式转换后的参考图像标注像素信息，获得未添加噪声的参考图像；
获取样本图像集，所述样本图像集包括：所述对齐后的非参考图像、所述添加噪声的参考图像和所述未添加噪声的参考图像。
图9是根据一示例性实施例示出的一种用于获取样本图像集的装置1600的一结构示意图。例如，装置1600具有无线上网功能，可以是用户设备，可以具体为移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理，可穿戴设备如智能手表、智能眼镜、智能手环、智能跑鞋等。
参照图9，装置1600可以包括以下一个或多个组件：处理组件1602，存储器1604，电源组件1606，多媒体组件1608，音频组件1610，输入/输出(I/O)的接口1612，传感器组件1614，以及通信组件1616。
处理组件1602通常控制装置1600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1602可以包括一个或多个处理器1620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1602可以包括一个或多个模块，便于处理组件1602和其他组件之间的交互。例如，处理组件1602可以包括多媒体模块，以方便多媒体组件1608和处理组件1602之间的交互。
存储器1604被配置为存储各种类型的数据以支持在设备1600的操作。这些数据的示例包括用于在装置1600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件1606为装置1600的各种组件提供电力。电源组件1606可以包括电源管理系统，一个或多个电源，及其他与为装置1600生成、管理和分配电力相关联的组件。
多媒体组件1608包括在上述装置1600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。上述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还扫描与上述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1608包括一个前置摄像头和/或后置摄像头。当设备1600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1610被配置为输出和/或输入音频信号。例如，音频组件1610包括一个麦克风(MIC)，当装置1600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1604或经由通信组件1616发送。在一些实施例中，音频组件1610还包括一个扬声器，用于输出音频信号。
I/O接口1612为处理组件1602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1614包括一个或多个传感器，用于为装置1600提供各个方面的状态评估。例如，传感器组件1614可以扫描到设备1600的打开/关闭状态，组件的相对定位，例如上述组件为装置1600的显示器和小键盘，传感器组件1614还可以扫描装置1600或装置1600一个组件的位置改变，用户与装置1600接触的存在或不存在，装置1600方位或加速/减速和装置1600的温度变化。传感器组件1614可以包括接近传感器，被配置用来在没有任何的物理接触时扫描附近物体的存在。传感器组件1614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件1616被配置为便于装置1600和其他设备之间有线或无线方式的通信。装置1600可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件1616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，上述通信组件1616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置1600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种非临时性计算机可读存储介质，例如包括指令的存储器1604，当存储介质中的指令由装置1600的处理器1620执行时，使得装置1600能够执行获取样本图像集的方法，该方法包括：获取针对一拍摄场景连续拍摄的多帧图像；将所述多帧图像中的一帧图像确定为参考图像，将剩余的图像确定为非参考图像；分别对格式转换后的参考图像和非参考图像进行噪声添加处理，将所得的添加噪声的非参考图像与添加噪声的参考图像对齐，获得对齐后的非参考图像；对所述格式转换后的参考图像标注像素信息，获得未添加噪声的参考图像；获取样本图像集，所述样本图像集包括：所述对齐后的非参考图像、所述添加噪声的参考图像和所述未添加噪声的参考图像。
所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
如图10所示，图10是根据一示例性实施例示出的另一种用于获取样本图像集的装置1700的一结构示意图。例如，装置1700可以被提供为一应用服务器。参照图10，装置1700包括处理组件1722，其进一步包括一个或多个处理器，以及由存储器1716所代表的存储器资源，用于存储可由处理部件1722的执行的指令，例如应用程序。存储器1716中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1722被配置为执行指令，以执行上述获取样本图像集的方法。
装置1700还可以包括一个电源组件1726被配置为执行装置1700的电源管理，一个有线或无线网络接口1750被配置为将装置1700连接到网络，和一个输入输出(I/O)接口1758。装置1700可以操作基于存储在存储器1716的操作系统，例如Android、iOS、WindowsServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1716，上述指令可由装置1700的处理组件1722执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
其中，当所述存储器1716中的指令由所述处理组件1722执行时，使得装置1700能够执行一种获取样本图像集的方法，包括：
获取针对一拍摄场景连续拍摄的多帧图像；
将所述多帧图像中的一帧图像确定为参考图像，将剩余的图像确定为非参考图像；
分别对格式转换后的参考图像和非参考图像进行噪声添加处理，将所得的添加噪声的非参考图像与添加噪声的参考图像对齐，获得对齐后的非参考图像；
对所述格式转换后的参考图像标注像素信息，获得未添加噪声的参考图像；
获取样本图像集，所述样本图像集包括：所述对齐后的非参考图像、所述添加噪声的参考图像和所述未添加噪声的参考图像。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (12)
1.一种获取样本图像集的方法，其特征在于，所述方法包括：
获取针对一拍摄场景连续拍摄的多帧图像；
将所述多帧图像中的一帧图像确定为参考图像，将剩余的图像确定为非参考图像；
分别对格式转换后的参考图像和非参考图像进行噪声添加处理，将所得的添加噪声的非参考图像与添加噪声的参考图像对齐，获得对齐后的非参考图像；
对所述格式转换后的参考图像标注像素信息，获得未添加噪声的参考图像；
获取样本图像集，所述样本图像集包括：所述对齐后的非参考图像、所述添加噪声的参考图像和所述未添加噪声的参考图像；
所述分别对格式转换后的参考图像和非参考图像进行噪声添加处理，包括：
分别对格式转换后的参考图像和非参考图像进行逆图像处理，所述逆图像处理包括：逆白平衡变换、逆暗角变换和逆数字增益变换；
分别对逆图像处理后的参考图像和非参考图像进行噪声添加处理；
所述分别对格式转换后的参考图像和非参考图像进行逆图像处理，包括：
对所述格式转换后的参考图像进行逆白平衡变换，得到第一参考图像，以及对所述格式转换后的非参考图像进行逆白平衡变换，得到第一非参考图像；
针对所述第一参考图像中的每个像素位置，将所述像素位置的像素值除以目标暗角增益图像中相同像素位置的像素值，得到第二参考图像，以及针对所述第一非参考图像中的每个像素位置，将所述像素位置的像素值除以所述目标暗角增益图像中相同像素位置的像素值，得到第二非参考图像；
分别对所述第二参考图像和所述第二非参考图像进行逆数字增益变换。
2.根据权利要求1所述的方法，其特征在于，所述将所得的添加噪声的非参考图像与添加噪声的参考图像对齐，包括：
基于所述添加噪声的非参考图像和所述添加噪声的参考图像，确定所述添加噪声的非参考图像对应的光流图；
依据所述光流图，将所述添加噪声的非参考图像与所述添加噪声的参考图像对齐。
3.根据权利要求2所述的方法，其特征在于，所述添加噪声的非参考图像和所述添加噪声的参考图像均为bayer格式的RAW图像；所述基于所述添加噪声的非参考图像和所述添加噪声的参考图像，确定所述添加噪声的非参考图像对应的光流图，包括：
基于所述添加噪声的非参考图像中每个像素单元的平均像素值，获得第三非参考图像，以及基于所述添加噪声的参考图像中每个像素单元的平均像素值，获得第三参考图像，每个像素单元包括一个R像素、两个G像素和一个B像素；
确定所述第三非参考图像中每个像素点图像，相对于所述第三参考图像中相同图像的偏移矢量；
基于所有像素点的偏移矢量生成光流图。
4.根据权利要求3所述的方法，其特征在于，所述依据所述光流图，将所述添加噪声的非参考图像与所述添加噪声的参考图像对齐，包括：
将所述添加噪声的非参考图像拆分成R通道图像、G1通道图像、G2通道图像和B通道图像；
依据所述光流图移动每个通道图像中的像素点图像，并对图像移动后的四个通道图像进行合成。
5.根据权利要求2所述的方法，其特征在于，所述获取样本图像集，包括：
获取包括所述光流图的所述样本图像集。
6.一种获取样本图像集的装置，其特征在于，所述装置包括：
第一获取模块，被配置为获取针对一拍摄场景连续拍摄的多帧图像；
确定模块，被配置为将所述多帧图像中的一帧图像确定为参考图像，将剩余的图像确定为非参考图像；
加噪模块，被配置为分别对格式转换后的参考图像和非参考图像进行噪声添加处理；
对齐模块，被配置为将所得的添加噪声的非参考图像与添加噪声的参考图像对齐，获得对齐后的非参考图像；
标注模块，被配置为对所述格式转换后的参考图像标注像素信息，获得未添加噪声的参考图像；
第二获取模块，被配置为获取样本图像集，所述样本图像集包括：所述对齐后的非参考图像、所述添加噪声的参考图像和所述未添加噪声的参考图像；
所述加噪模块，包括：
逆处理子模块，被配置为分别对格式转换后的参考图像和非参考图像进行逆图像处理，所述逆图像处理包括：逆白平衡变换、逆暗角变换和逆数字增益变换；
加噪子模块，被配置为分别对逆图像处理后的参考图像和非参考图像进行噪声添加处理；
所述逆处理子模块，包括：
第一逆处理单元，被配置为对所述格式转换后的参考图像进行逆白平衡变换，得到第一参考图像，以及对所述格式转换后的非参考图像进行逆白平衡变换，得到第一非参考图像；
第二逆处理单元，被配置为针对所述第一参考图像中的每个像素位置，将所述像素位置的像素值除以目标暗角增益图像中相同像素位置的像素值，得到第二参考图像，以及针对所述第一非参考图像中的每个像素位置，将所述像素位置的像素值除以所述目标暗角增益图像中相同像素位置的像素值，得到第二非参考图像；
第三逆处理单元，被配置为分别对所述第二参考图像和所述第二非参考图像进行逆数字增益变换。
7.根据权利要求6所述的装置，其特征在于，所述对齐模块，包括：
确定子模块，被配置为基于所述添加噪声的非参考图像和所述添加噪声的参考图像，确定所述添加噪声的非参考图像对应的光流图；
对齐子模块，被配置为依据所述光流图，将所述添加噪声的非参考图像与所述添加噪声的参考图像对齐。
8.根据权利要求7所述的装置，其特征在于，所述添加噪声的非参考图像和所述添加噪声的参考图像均为bayer格式的RAW图像；所述确定子模块，包括：
获得单元，被配置为基于所述添加噪声的非参考图像中每个像素单元的平均像素值，获得第三非参考图像，以及基于所述添加噪声的参考图像中每个像素单元的平均像素值，获得第三参考图像，每个像素单元包括一个R像素、两个G像素和一个B像素；
确定单元，被配置为确定所述第三非参考图像中每个像素点图像，相对于所述第三参考图像中相同图像的偏移矢量；
生成单元，被配置为基于所有像素点的偏移矢量生成光流图。
9.根据权利要求8所述的装置，其特征在于，所述对齐子模块，包括：
拆分单元，被配置为将所述添加噪声的非参考图像拆分成R通道图像、G1通道图像、G2通道图像和B通道图像；
移动单元，被配置为依据所述光流图移动每个通道图像中的像素点图像；
合并单元，被配置为对图像移动后的四个通道图像进行合成。
10.根据权利要求7所述的装置，其特征在于：
所述第二获取模块，被配置为获取包括所述光流图的所述样本图像集。
11.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1～5中任一项所述方法的步骤。
12.一种获取样本图像集的设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取针对一拍摄场景连续拍摄的多帧图像；
将所述多帧图像中的一帧图像确定为参考图像，将剩余的图像确定为非参考图像；
分别对格式转换后的参考图像和非参考图像进行噪声添加处理，将所得的添加噪声的非参考图像与添加噪声的参考图像对齐，获得对齐后的非参考图像；
对所述格式转换后的参考图像标注像素信息，获得未添加噪声的参考图像；
获取样本图像集，所述样本图像集包括：所述对齐后的非参考图像、所述添加噪声的参考图像和所述未添加噪声的参考图像；
所述分别对格式转换后的参考图像和非参考图像进行噪声添加处理，包括：
分别对格式转换后的参考图像和非参考图像进行逆图像处理，所述逆图像处理包括：逆白平衡变换、逆暗角变换和逆数字增益变换；
分别对逆图像处理后的参考图像和非参考图像进行噪声添加处理；
所述分别对格式转换后的参考图像和非参考图像进行逆图像处理，包括：
对所述格式转换后的参考图像进行逆白平衡变换，得到第一参考图像，以及对所述格式转换后的非参考图像进行逆白平衡变换，得到第一非参考图像；
针对所述第一参考图像中的每个像素位置，将所述像素位置的像素值除以目标暗角增益图像中相同像素位置的像素值，得到第二参考图像，以及针对所述第一非参考图像中的每个像素位置，将所述像素位置的像素值除以所述目标暗角增益图像中相同像素位置的像素值，得到第二非参考图像；
分别对所述第二参考图像和所述第二非参考图像进行逆数字增益变换。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010130503.6A CN111401411B (zh) | 2020-02-28 | 2020-02-28 | 获取样本图像集的方法及装置 |
| US16/931,145 US11450013B2 (en) | 2020-02-28 | 2020-07-16 | Method and apparatus for obtaining sample image set |
| JP2020125378A JP7191066B2 (ja) | 2020-02-28 | 2020-07-22 | サンプル画像セットを獲得する方法および装置 |
| KR1020200090664A KR102425159B1 (ko) | 2020-02-28 | 2020-07-22 | 샘플 이미지 세트 획득 방법 및 장치 |
| EP20188340.2A EP3872744B1 (en) | 2020-02-28 | 2020-07-29 | Method and apparatus for obtaining sample image set |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010130503.6A CN111401411B (zh) | 2020-02-28 | 2020-02-28 | 获取样本图像集的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111401411A CN111401411A (zh) | 2020-07-10 |
| CN111401411B true CN111401411B (zh) | 2023-09-29 |
Family
ID=71432153
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010130503.6A Active CN111401411B (zh) | 2020-02-28 | 2020-02-28 | 获取样本图像集的方法及装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11450013B2 (zh) |
| EP (1) | EP3872744B1 (zh) |
| JP (1) | JP7191066B2 (zh) |
| KR (1) | KR102425159B1 (zh) |
| CN (1) | CN111401411B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112581401B (zh) * | 2020-12-25 | 2023-04-28 | 英特灵达信息技术(深圳)有限公司 | 一种raw图片的获取方法、装置及电子设备 |
| KR20220094561A (ko) * | 2020-12-29 | 2022-07-06 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 및 그의 동작 방법 |
| CN113112536A (zh) * | 2021-03-19 | 2021-07-13 | 北京达佳互联信息技术有限公司 | 图像处理模型训练方法、图像处理方法及装置 |
| CN113256537B (zh) * | 2021-06-22 | 2022-01-07 | 英特灵达信息技术(深圳)有限公司 | 一种图像数据生成方法和装置 |
| CN113962884B (zh) * | 2021-10-10 | 2023-03-24 | 杭州知存智能科技有限公司 | Hdr视频获取方法、装置、电子设备以及存储介质 |
| CN115272423B (zh) * | 2022-09-19 | 2022-12-16 | 深圳比特微电子科技有限公司 | 一种训练光流估计模型的方法、装置和可读存储介质 |
| CN116543267B (zh) * | 2023-07-04 | 2023-10-13 | 宁德时代新能源科技股份有限公司 | 图像集处理方法、图像分割方法、装置、设备和存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108898567A (zh) * | 2018-09-20 | 2018-11-27 | 北京旷视科技有限公司 | 图像降噪方法、装置及系统 |
| CN110288547A (zh) * | 2019-06-27 | 2019-09-27 | 北京字节跳动网络技术有限公司 | 用于生成图像去噪模型的方法和装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2007203294A1 (en) * | 2007-07-17 | 2009-02-05 | Canon Kabushiki Kaisha | Method of measuring printer characteristics |
| JP5554453B2 (ja) * | 2011-09-30 | 2014-07-23 | 富士フイルム株式会社 | 画像処理装置及び方法 |
| CN104205804B (zh) * | 2012-03-30 | 2016-05-25 | 富士胶片株式会社 | 图像处理装置、拍摄装置以及图像处理方法 |
| CN107230192B (zh) * | 2017-05-31 | 2020-07-21 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和移动终端 |
| US10902558B2 (en) * | 2018-05-18 | 2021-01-26 | Gopro, Inc. | Multiscale denoising of raw images with noise estimation |
-
2020
- 2020-02-28 CN CN202010130503.6A patent/CN111401411B/zh active Active
- 2020-07-16 US US16/931,145 patent/US11450013B2/en active Active
- 2020-07-22 JP JP2020125378A patent/JP7191066B2/ja active Active
- 2020-07-22 KR KR1020200090664A patent/KR102425159B1/ko active IP Right Grant
- 2020-07-29 EP EP20188340.2A patent/EP3872744B1/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108898567A (zh) * | 2018-09-20 | 2018-11-27 | 北京旷视科技有限公司 | 图像降噪方法、装置及系统 |
| CN110288547A (zh) * | 2019-06-27 | 2019-09-27 | 北京字节跳动网络技术有限公司 | 用于生成图像去噪模型的方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 李崇禧 ; 徐少平 ; 崔燕 ; 刘婷云 ; 张贵珍 ; 林珍玉 ; .带参考图像通道的卷积神经网络随机脉冲噪声降噪算法.光电子・激光.2019,(11),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210110499A (ko) | 2021-09-08 |
| CN111401411A (zh) | 2020-07-10 |
| JP7191066B2 (ja) | 2022-12-16 |
| EP3872744A1 (en) | 2021-09-01 |
| US11450013B2 (en) | 2022-09-20 |
| JP2021141560A (ja) | 2021-09-16 |
| US20210272299A1 (en) | 2021-09-02 |
| KR102425159B1 (ko) | 2022-07-26 |
| EP3872744B1 (en) | 2023-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111275653B (zh) | 图像去噪方法及装置 | |
| CN111401411B (zh) | 获取样本图像集的方法及装置 | |
| CN107798669B (zh) | 图像去雾方法、装置及计算机可读存储介质 | |
| US9172888B2 (en) | Determining exposure times using split paxels | |
| CN109922372B (zh) | 视频数据处理方法及装置、电子设备和存储介质 | |
| CN109345485B (zh) | 一种图像增强方法、装置、电子设备及存储介质 | |
| CN109859144B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN111709891B (zh) | 图像去噪模型的训练方法、图像去噪方法、装置及介质 | |
| US20140168474A1 (en) | Determining an Image Capture Payload Burst Structure | |
| US8995784B2 (en) | Structure descriptors for image processing | |
| CN112634160A (zh) | 拍照方法及装置、终端、存储介质 | |
| EP3816927B1 (en) | Method and apparatus for training image processing models, and storage medium | |
| CN113259594A (zh) | 图像处理方法及装置、计算机可读存储介质、终端 | |
| CN115526774A (zh) | 图像插值方法、装置、存储介质及电子设备 | |
| CN112288657A (zh) | 图像处理方法、图像处理装置及存储介质 | |
| CN114723603A (zh) | 图像处理方法、图像处理装置及存储介质 | |
| CN109068138B (zh) | 视频图像的处理方法及装置、电子设备和存储介质 | |
| CN113592733A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN112950503A (zh) | 训练样本的生成方法及装置、真值图像的生成方法及装置 | |
| CN111583144A (zh) | 图像降噪方法及装置、电子设备和存储介质 | |
| CN111583145A (zh) | 图像降噪方法及装置、电子设备和存储介质 | |
| CN116805976A (zh) | 视频处理方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |