CN110264420B - 基于多帧图像的图像处理方法和装置 - Google Patents
基于多帧图像的图像处理方法和装置 Download PDFInfo
- Publication number
- CN110264420B CN110264420B CN201910509711.4A CN201910509711A CN110264420B CN 110264420 B CN110264420 B CN 110264420B CN 201910509711 A CN201910509711 A CN 201910509711A CN 110264420 B CN110264420 B CN 110264420B
- Authority
- CN
- China
- Prior art keywords
- image
- dynamic range
- high dynamic
- noise reduction
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 230000009467 reduction Effects 0.000 claims abstract description 109
- 238000003062 neural network model Methods 0.000 claims abstract description 54
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims description 68
- 230000015572 biosynthetic process Effects 0.000 claims description 50
- 238000003786 synthesis reaction Methods 0.000 claims description 50
- 238000004458 analytical method Methods 0.000 claims description 19
- 238000013507 mapping Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 abstract description 27
- 230000035945 sensitivity Effects 0.000 description 46
- 238000003384 imaging method Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 17
- 230000001629 suppression Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003705 background correction Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本申请提出一种基于多帧图像的图像处理方法和装置，其中，方法包括：获取多帧原始图像，并根据多帧原始图像，合成得到高动态范围图像然后，根据图像纹理信息的不同，将高动态范围图像划分为不同的纹理区域，并采用不同的神经网络模型分别对高动态范围图像中不同纹理区域进行降噪处理，以得到降噪后的高动态范围图像。由此，通过对高动态范围图像中的不同纹理区域分别进行降噪处理，解决了夜景拍摄时，拍摄的图像噪声水平高，影响用户体验的技术问题，实现了对不同纹理区域进行针对性降噪，提高了降噪的有效性，使得降噪得到的高动态范围图像在降低画面噪声的同时保留图像细节，得到清晰度更好的图像，进而改善了用户的使用体验。
Description
技术领域
本申请涉及成像技术领域，尤其涉及一种基于多帧图像的图像处理方法和装置。
背景技术
随着智能终端技术的发展，移动终端设备(如智能手机、平板电脑等)的使用越来越普及。绝大多数移动终端设备都内置有摄像头，并且随着移动终端处理能力的增强以及摄像头技术的发展，内置摄像头的性能越来越强大，拍摄图像的质量也越来越高。如今，移动终端设备均操作简单又便于携带，在日常生活中越来越多的用户使用智能手机、平板电脑等移动终端设备拍照。
智能移动终端在给人们的日常拍照带来便捷的同时，人们对拍摄的图像质量的要求也越来越高。
目前，在需要多帧原始图像合成目标图像的场景中，例如，在夜景这一特殊场景中，通常采集多帧原始图像进行高动态合成，但是在采集多帧原始图像过程中会引入噪声，导致最终合成的图像不清晰。因此，在最大限度的保留图像细节的情况下，对图像进行降噪处理，是一个亟待解决的问题。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请提出一种基于多帧图像的图像方法和装置，通过对高动态范围图像中的不同纹理区域分别进行降噪处理，解决了夜景拍摄时，拍摄的图像噪声水平高，影响用户体验的技术问题，实现了对不同纹理区域进行针对性降噪，提高了降噪的有效性，使得降噪得到的高动态范围图像在降低画面噪声的同时保留图像细节，得到清晰度更好的图像，进而改善了用户的使用体验。
本申请第一方面实施例提出了一种基于多帧图像的图像处理方法，包括：获取多帧原始图像；根据所述多帧原始图像，合成得到高动态范围图像；对所述高动态范围图像进行纹理分析，以将所述高动态范围图像划分为不同的纹理区域；对所述高动态范围图像中不同纹理区域采用不同的神经网络模型分别进行降噪处理，以得到降噪后的高动态范围图像。
本申请实施例的基于多帧图像的图像处理方法，获取多帧原始图像，并根据多帧原始图像，合成得到高动态范围图像然后，根据图像纹理信息的不同，将高动态范围图像划分为不同的纹理区域，并采用不同的神经网络模型分别对高动态范围图像中不同纹理区域进行降噪处理，以得到降噪后的高动态范围图像。由此，通过对高动态范围图像中的不同纹理区域分别进行降噪处理，解决了夜景拍摄时，拍摄的图像噪声水平高，影响用户体验的技术问题，实现了对不同纹理区域进行针对性降噪，提高了降噪的有效性，使得降噪得到的高动态范围图像在降低画面噪声的同时保留图像细节，得到清晰度更好的图像，进而改善了用户的使用体验。
本申请第二方面实施例提出了一种基于多帧图像的图像处理装置，包括：获取模块，用于获取多帧原始图像；合成模块，用于根据所述多帧原始图像，合成得到高动态范围图像；纹理分析模块，用于对所述高动态范围图像进行纹理分析，以将所述高动态范围图像划分为不同的纹理区域；降噪模块，用于对所述高动态范围图像中不同纹理区域采用不同的神经网络模型分别进行降噪处理，以得到降噪后的高动态范围图像。
本申请实施例的基于多帧图像的图像处理装置，获取多帧原始图像，并根据多帧原始图像，合成得到高动态范围图像然后，根据图像纹理信息的不同，将高动态范围图像划分为不同的纹理区域，并采用不同的神经网络模型分别对高动态范围图像中不同纹理区域进行降噪处理，以得到降噪后的高动态范围图像。由此，通过对高动态范围图像中的不同纹理区域分别进行降噪处理，解决了夜景拍摄时，拍摄的图像噪声水平高，影响用户体验的技术问题，实现了对不同纹理区域进行针对性降噪，提高了降噪的有效性，使得降噪得到的高动态范围图像在降低画面噪声的同时保留图像细节，得到清晰度更好的图像，进而改善了用户的使用体验。
本申请第三方面实施例提出了一种电子设备，包括：图像传感器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述图像传感器与所述处理器电连接，所述处理器执行所述程序时，实现如上述实施例中所述的基于多帧图像的图像处理方法。
本申请第四方面实施例提出了一种图像处理电路，所述处理器包括图像信号处理ISP处理器和图形处理器GPU，所述ISP处理器，与图像传感器电连接，用于获取多帧原始图像，以及，根据所述多帧原始图像，合成得到高动态范围图像；所述GPU，与所述ISP处理器电连接，用于对所述高动态范围图像进行纹理分析，以将所述高动态范围图像划分为不同的纹理区域；对所述高动态范围图像中不同纹理区域采用不同的神经网络模型分别进行降噪处理，以得到降噪后的高动态范围图像。
本申请第五方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例中所述的基于多帧图像的图像处理方法。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例所提供的一种基于多帧图像的图像处理方法的流程示意图；
图2为本申请实施例所提供的步骤104的细化流程示意图；
图3为本申请实施例所提供的步骤102的细化流程示意图；
图4为本申请实施例所提供的步骤102的细化流程示意图；
图5为本申请实施例提供的另一种基于多帧图像的图像处理方法的流程示意图；
图6为本申请实施例提供的另一种基于多帧图像的图像处理方法的流程示意图；
图7为本申请实施例提供的一种基于多帧图像的图像处理方法的示例图；
图8为本申请实施例提供的一种基于多帧图像的图像处理装置的结构示意图；
图9为本申请实施例提供的一种电子设备的结构示意图；
图10为本申请实施例提供的一种电子设备的原理示意图；
图11为本申请实施例提供的一种图像处理电路的原理示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
针对相关技术中，对于需要多帧原始图像合成目标图像的场景中，由于在得到目标图像时，拍摄的帧数较多，采帧时间长，可能会由于抖动导致拍摄的图像存在拖影，或者会在拍摄的过程中引入噪声，从而导致后续合成目标图像不清晰。
为此，本申请提出了一种基于多帧图像的图像处理方法，获取多帧原始图像，并根据多帧原始图像，合成得到高动态范围图像然后，根据图像纹理信息的不同，将高动态范围图像划分为不同的纹理区域，并采用不同的神经网络模型分别对高动态范围图像中不同纹理区域进行降噪处理，以得到降噪后的高动态范围图像。由此，通过对高动态范围图像中的不同纹理区域分别进行降噪处理，解决了夜景拍摄时，拍摄的图像噪声水平高，影响用户体验的技术问题，实现了对不同纹理区域进行针对性降噪，提高了降噪的有效性，使得降噪得到的高动态范围图像在降低画面噪声的同时保留图像细节，得到清晰度更好的图像，进而改善了用户的使用体验。
下面参考附图描述本申请实施例的基于多帧图像的图像处理方法和装置。
图1为本申请实施例所提供的一种基于多帧图像的图像处理方法的流程示意图。
本申请实施例的基于多帧图像的图像处理方法，应用于电子设备，该电子设备可以为手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、成像设备的硬件设备。
如图1所示，该基于多帧图像的图像处理方法包括以下步骤：
步骤101，获取多帧原始图像。
其中，原始图像，是指通过电子设备的图像传感器采集得到的未做任何处理的RAW图像。
其中，RAW图像是图像传感器将捕捉到的光源信号转化为数字信号的原始图像。RAW图像记录了数码相机传感器采集到的原始信息，同时记录了由相机拍摄所产生的一些元数据，如感光度的设置、快门速度、光圈值、白平衡等。
其中，本实施例中的多帧原始图像是在需要多帧图像合成目标图像的场景中，由图像传感器逐帧获取到的。
在本实施例中，以需要多帧图像合成目标图像的场景为夜景场景为例进行描述。
在本实施例中，可以通过获取当前拍摄场景的预览图像，以确定当前拍摄场景是否属于夜景场景。由于不同场景下环境亮度值不同，预览图像内容也不相同，可以根据当前拍摄场景预览图像的画面内容以及各区域的环境亮度值，确定当前拍摄场景属于夜景场景后，启动夜景拍摄模式，在不同曝光采集多帧原始图像。
例如，预览图像的画面内容包括夜晚天空或者夜景灯源等，或者预览图像的各区域中环境亮度值符合夜景环境下图像的亮度分布特性，即可确定当前拍摄场景属于夜景场景。
由于在夜景拍摄时，拍摄场景中光线强度等环境因素的限制，电子设备在拍摄图像时，若采集单帧原始图像无法较好同时顾及到夜景中的灯光等高亮区域，以及夜景中的低亮区域。因此，电子设备可以通过拍摄多帧原始图像，用于图像合成，另外还可以用于选取画面清晰的图像进行合成成像。为了同时顾及到夜景中的灯光等高亮区域，以及夜景中的低亮区域，需要控制电子设备的图像传感器在不同曝光量下，拍摄得到的多帧原始图像。例如：采用低曝光量拍摄以对高亮区清晰成像，采用高曝光量拍摄以对低亮区清晰成像。
步骤102，根据多帧原始图像，合成得到高动态范围图像。
其中，高动态合成，即通过相同场景不同曝光的画面进行合成，以得到高动态范围图像(High-Dynamic Range，简称HDR)。需要说明的是，相比普通的图像，HDR图像，可以提供更多的动态范围和图像细节，根据不同的曝光时间的低动态范围图像(Low-DynamicRange，简称LDR)，利用每个曝光时间相对应最佳细节的LDR图像来合成最终HDR图像，能够更好的反映出真实环境中的视觉效果。
具体地，通过提取多帧原始图像中的画面信息，并针对相应的画面信息进行叠加，以得到高动态范围图像。
需要说明的是，由于多帧原始图像是在不同曝光情况下拍摄得到的，因此，多帧原始图像中包含有不同亮度的画面信息。对于同一景物，不同的原始图像中可能是过曝的，可能是欠曝的，还可能是恰当曝光的。对于这些原始图像进行高动态合成后，尽量使得高动态范围图像中各景物恰当曝光，与实际场景也更加相近。
步骤103，对高动态范围图像进行纹理分析，以将高动态范围图像划分为不同的纹理区域。
具体地，在获取合成后的高动态范围图像后，对高动态范围图像进行纹理分析，根据纹理结果，划分出高动态范围图像中的不同纹理区域。
其中，纹理区域可以包括但不限于平坦区域、中纹理区域和高纹理区域。也就是说，纹理区域可以分为但不限于平坦区域、中纹理区域和高纹理区域等类型。
中纹理区域是指高动态范围图像中纹理程度超过第一预设阈值的区域。
高纹理区域是指高动态范围图像中纹理程序超过第二预设阈值的区域。其中，第二预设阈值超过第一预设阈值。
步骤104，对高动态范围图像中不同纹理区域采用不同的神经网络模型分别进行降噪处理，以得到降噪后的高动态范围图像。
由于电子设备中的图像传感器在拍摄的过程中会受到不同程度的来自周边电路和本身像素间的光电磁干扰，因此拍摄得到的原始图像不可避免的存在噪声，并且，干扰程度的不同，拍摄得到的图像的清晰度也不相同。因此高动态范围图像也必然存在噪声，需要进一步对高动态范围图像进行降噪处理。例如，在夜景拍摄场景中，通常使用较大的光圈和较长的曝光时间拍摄得到图像，此时如果选择较高的感光度来减少了曝光时间，拍摄得到的图像必然会产生噪声。
在实际应用中，对于图像而言，图像中不同纹理程度区域对噪声的抗性通常是不同的。因此，为了准确将高动态范围图像中的噪声进行有效处理，作为一种示例性的实施方式，可采用不同纹理区域各自对应的神经网络模型对对应纹理区域进行降噪处理。也就是说，本申请实施例在对高动态范围图像进行降噪处理时，结合高动态范围图像中的不同纹理区域，采用适合的神经网络模型进行有针对性地降噪处理，可大大提高图像的降噪效果。
其中，神经网络模块用于对图像中的噪声进行特性识别，根据识别出的噪声特性采用相应的降噪方式对图像进行降噪。
具体地，在本实施例中，在划分出高动态范围图像中的纹理区域后，可根据各个纹理区域的类型，确定各个纹理区域对应的神经网络模型；根据各神经网络模型对高动态范围图像中对应纹理区域进行降噪处理。
本申请实施例的基于多帧图像的图像处理方法，获取多帧原始图像，并根据多帧原始图像，合成得到高动态范围图像然后，根据图像纹理信息的不同，将高动态范围图像划分为不同的纹理区域，并采用不同的神经网络模型分别对高动态范围图像中不同纹理区域进行降噪处理，以得到降噪后的高动态范围图像。由此，通过对高动态范围图像中的不同纹理区域分别进行降噪处理，解决了夜景拍摄时，拍摄的图像噪声水平高，影响用户体验的技术问题，实现了对不同纹理区域进行针对性降噪，提高了降噪的有效性，使得降噪得到的高动态范围图像在降低画面噪声的同时保留图像细节，得到清晰度更好的图像，进而改善了用户的使用体验。
在图1实施例的基础上，下面结合图2对本实施中上述步骤104的一种可能实现方式进行描述，如图2所示，上述步骤104可以包括：
步骤201，根据各个纹理区域的类型，确定各个纹理区域对应的神经网络模型。
步骤202，根据各神经网络模型对高动态范围图像中对应纹理区域进行噪声特性识别，以识别出对应纹理区域中的噪声特性。
其中，神经网络模型，已学习得到对应纹理区域与噪声特性之间的映射关系。
在本实施例中，针对每种类型的纹理区域，可采用大量样本图像对神经网络模型进行训练，直至神经网络模型识别出的噪声特性，与相应样本图像中标注的噪声特性匹配时，神经网络模型训练完成。其中，样本图像所对应的纹理类型与神经网络模型所处理的纹理区域的类型相同。
步骤203，根据识别出的噪声特性，对对应纹理区域进行降噪处理。
在本申请实施例中，结合纹理区域的类型，获取对应的神经网络模型，并根据各神经网络模型对高动态范围图像中对应纹理区域进行噪声特性识别，以识别出对应纹理区域中的噪声特性，并根据识别出的噪声特性，对对应纹理区域进行降噪处理。由此，能够对高动态范围图像中不同纹理区域进行针对性降噪。
基于上述实施例的基础上，在划分出高动态范围图像中的不同纹理区域后，为了既能够有效去除图像中的噪声，又能够尽可能地降低去噪带来的功耗同时，对平坦区域采用噪声特性识别准确度较高的神经网络模型进行降噪。对于中等纹理区域采用去噪效果较弱的神经网络模型进行降噪。对高纹理区域而言，由于高纹理区域中纹理程度较高，因此，对于图像中的高纹理区域，为了降低去噪带来的功耗，可对高纹理区域不执行降噪处理，或者，通过去噪较高较弱的神经网络模型进行降噪处理。
在图1实施例的基础上，在一种可能场景下，上述步骤101中采集的多帧原始图像中可以包括至少两帧相同曝光量的第一图像以便于后续步骤102中相应对采集的至少两帧第一图像进行降噪处理，进一步提高成像质量。下面结合图3对上述过程进行详细介绍，图3为本申请实施例提供的第三种基于多帧图像的图像降噪方法的流程示意图，如图3所示，步骤102具体可以包括：
步骤301，对至少两帧第一图像，进行多帧降噪，得到合成降噪图像。
其中，多帧降噪就是在夜景或者暗光环境下，通过图像传感器采集多帧图像，在不同的帧数下找到不同的带有噪点性质的像素点，通过加权合成后得到一张较为干净、纯净的夜景或者暗光照片。
本申请实施例中，电子设备通过图像传感器在拍摄夜景或者暗光环境的时候，采集至少两帧第一图像，对至少两帧图像中多个帧数的噪点数量和位置进行计算和筛选，将有噪点的地方用没有噪点的帧数替换位置，经过反复加权、替换，就得到一张很干净的合成降噪图像。由此，通过多帧降噪能够将图像中暗部细节处理的非常柔和，实现了降低噪声的同时更多的保留图像细节。
本申请实施例中，还可以根据图像的清晰度阈值判断拍摄得到的至少两帧第一图像的清晰度，进而对获取的至少两帧第一图像进行筛选保留清晰的图像进行合成。具体地，当第一图像的清晰度大于或等于清晰度阈值时，则说明该第一图像清晰，保留该第一图像，当第一图像的清晰度小于清晰度阈值时，则说明该第一图像模糊，筛选掉该第一图像。进一步地，对保留的清晰的第一图像进行合成，以得到合成降噪图像。
其中，清晰度阈值，是通过人工测试大量图像的清晰度确定的值，当图像的清晰度大于该值时，则说明该图像清晰，当图像清晰度小于该值时，则说明该图像模糊。
作为一种可能的实现方式，将至少两帧第一图像的清晰度与图像的清晰度阈值比较，对至少两帧第一图像进行筛选，如果筛选掉的第一图像的帧数不为零，根据筛选掉的第一图像的帧数，在初始噪声抑制程度的基础上，对噪声抑制程度进行提高。
可以理解的是，当筛选掉的第一图像的帧数较多时，此时拍摄得到的第一图像中模糊的帧数较多，需要丢掉较模糊的图像，此时进行降噪的图像变少，在初始噪声抑制程度的基础上，提高噪声抑制程度从而使剩余的图像实现有效的降噪。由此，筛选掉的第一图像的帧数越多，在初始噪声抑制程度的基础上，噪声抑制程度提高的越大。但是使用较高的噪声抑制程度对第一图像进行滤波降噪处理后，图像保留的细节较少。
作为另一种可能的实现方式，将至少两帧第一图像的清晰度与图像的清晰度阈值比较，对至少两帧第一图像进行筛选，如果筛选掉的第一图像的帧数为零，则说明此次获取拍摄得到的至少两帧第一图像的清晰度均大于或者等于清晰度阈值。
本申请实施例中，根据筛选掉的第一图像的帧数提高或者降低噪声抑制程度，进而根据确定的噪声抑制程度，对保留的第一图像进行加权合成降噪，得到合成降噪图像，从而有效地降低图像的噪声，最大限度的保留图像的信息。
步骤302，将合成降噪图像与至少一帧第二图像进行高动态合成，得到高动态范围图像。
本申请实施例中，将合成降噪图像与至少一帧第二图像分图像画面区域进行叠加，以得到高动态范围图像。例如：合成降噪图像若是采用若干帧EV0的原始图像多帧降噪得到的，该高动态范围图像对于高亮区域可能存在过曝，对于中低亮度区域可能是恰当曝光，而该至少一帧第二图像的EV值通常为负，从而该第二图像中对于高亮区域可能是恰当曝光，中低亮度区域可能是欠曝光。通过将不同图像中对应同一区域的部分依权重进行合成，能够使得图像能够在各区域均能够实现恰当曝光，提高成像质量。
需要说明的是，由于合成降噪图像中已经有效地降低了图像的噪声，最大限度的保留图像的信息，因此，在与至少一帧第二图像进行高动态合成后，得到的高动态范围图像中包含有更多的画面信息，与实际场景也更加相近。
本申请实施例中，通过对至少两帧第一图像，进行多帧降噪，得到合成降噪图像，将合成降噪图像与至少一帧第二图像进行高动态合成，得到高动态范围图像。由此，得到的高动态范围图像中，不仅有效地降低图像的噪声，最大限度的保留图像的信息，而且提高了拍摄图像的质量，改善了用户体验。
在图1实施例的基础上，在另一种可能场景下，可以将采集的多帧原始图像输入高动态合成模型，根据合成权重分区域对多帧原始图像，以得到高动态范围图像。下面结合图4对上述过程进行详细介绍，图4为本申请实施例提供的第四种基于多帧图像的图像降噪方法的流程示意图，如图4所示，步骤102具体还可以包括：
步骤401，将多帧原始图像输入高动态合成模型，以得到相应原始图像中各区域的合成权重。
其中，高动态合成模型，已学习得到原始图像中各区域的特征与合成权重之间的映射关系，各区域的特征用于表征曝光量和相应图像区域的图像亮度。
本申请实施例中，由于高动态合成模型已经学习得到各区域的特征与合成权重之间的映射关系。因此，将多帧原始图像输入高动态合成模型后，高动态合成模型可以根据各帧原始图像的曝光量和相应图像区域的图像亮度，确定各帧原始图像中各区域的合成权重。
步骤402，根据合成权重，分区域对多帧原始图像进行合成，以得到高动态范围图像。
本申请实施例中，根据确定的多帧原始图像中各区域的合成权重，分区域对多帧原始图像进行合成，从而得到高动态范围图像。
本申请实施例中，通过将多帧原始图像输入高动态合成模型，以得到相应原始图像中各区域的合成权重，进而根据合成权重，分区域对多帧原始图像进行合成，以得到高动态范围图像。该方法根据多帧原始图像中各区域的特征确定各区域的合成权重，以对多帧原始图像进行合成得到高动态范围图像，高动态范围图像中最大限度的保留了图像的信息，而且提高了拍摄图像的质量，改善了用户体验。
在图1实施例的基础上，作为一种可能的实现方式，在步骤101中采集多帧原始图像时，可以首先获取预览图像，具体地，可以根据预览图像的成像质量，确定基准曝光量的图像帧数n，以采集符合基准曝光量的n帧原始图像，并采集低于基准曝光量的至少一帧原始图像。下面结合图5对上述过程进行详细介绍，如图5所示，步骤101还可以包括：
步骤501，根据预览图像的成像质量，确定基准曝光量的图像帧数n。
其中，n为大于或等于2的自然数。
需要说明的是，采集的图像帧数较多时，整个拍摄时长会过长，在拍摄过程中更容易受到外界干扰，因此本申请实施例中，图像帧数n的取值范围可以为3或4，以降低拍摄时长，获得较高质量的图像。
具体地，可以通过预览图像的画面抖动程度，此外，还可以通过预览图像的信噪比衡量预览图像的成像质量，进而根据预览图像的成像质量，确定基准曝光量的图像帧数n。若预览图像的成像质量越高，则推定拍摄过程中外界干扰程度较轻，拍摄时长可适当延长，采集更多帧原始图像；反之，若预览图像的成像质量越差，则推定拍摄过程中外界干扰程度较大，拍摄时长可适当缩短，采集更少帧原始图像。
例如，可以通过电子设备设置的位移传感器，采集得到图像传感器在拍摄过程中的位移信息，进而根据获取的位移信息确定图像传感器当前的抖动程度，根据抖动程度衡量成像质量，进而确定拍摄场景为抖动程度较轻的脚架模式或者抖动程度较大的手持模式。
在一种可能的场景下，根据图像传感器的抖动程度判断当前的拍摄属于脚架模式时，采集的原始图像帧数越多，包含有不同的画面信息越多，在高动态合成时得到的高动态范围图像中包含有更多的画面信息，与实际场景也更加相近，同时，由于画面稳定，即使多帧图像合成，也不会出现画面模糊的情况，因此在脚架模式下，为了获得较佳的成像质量，可以采集较多帧数原始图像，合成高动态范围图像。
在另一种可能的场景下，根据图像传感器的抖动程度判断当前的拍摄属于手持模式时，预览图像的画面抖动比较严重，为了避免合成的高动态范围图像出现模糊的情况，可以采集较少帧数的原始图像进行合成。
步骤502，采集符合基准曝光量的n帧原始图像。
本申请实施例中，根据预览图像的成像质量，确定基准曝光量的图像帧数n后，进一步采集符合基准曝光量的n帧原始图像。
在一种可能的场景下，可以基于拍摄场景的光照度确定的基准曝光量和设定的基准感光度，确定各帧待采集原始图像的基准曝光时长，以获得不同动态范围的图像，使得合成后的图像具有更高的动态范围，提高图像的整体亮度和质量。下面结合图6对上述过程进行详细介绍，图6为本申请实施例提供的第六种基于多帧图像的图像降噪方法的流程示意图，如图6所示，步骤502还可以包括如下子步骤：
子步骤5021，根据拍摄场景的光照度，确定基准曝光量。
其中，曝光量，是指电子设备中的感光器件在曝光时长内接受到光的多少，曝光量与光圈、曝光时长和感光度有关。其中，光圈也就是通光口径，决定单位时间内光线通过的数量；曝光时长，是指光线通过镜头的时间；感光度，又称为ISO值，是衡量底片对于光的灵敏程度的指标，用于表示感光元件的感光速度，ISO数值越高就说明该感光元器件的感光能力越强。
具体地，通过图像传感器获取当前拍摄场景的预览图像，进一步的通过感光器件测量得到预览图像各区域的环境光亮度，进而根据预览图像的亮度信息，确定基准曝光量。其中，在光圈固定的情况下，基准曝光量具体可以包括基准曝光时长和基准感光度。
本申请实施例中，基准曝光量，是指通过对预览图像进行测光获取的当前拍摄场景的亮度信息后，确定的与当前环境的亮度信息相适应的曝光量，基准曝光量的取值可以是基准感光度与基准曝光时长之间的乘积。
子步骤5022，根据预览图像的画面抖动程度，或者根据采集预览图像的图像传感器的抖动程度，设定基准感光度。
本申请实施例中，基准感光度，可以是根据预览图像的画面抖动程度，设定与当前的抖动程度相适应的感光度；也可以是根据采集预览图像的图像传感器当前的抖动程度，设定与当前的抖动程度相适应的感光度，在此不做限定。其中，基准感光度的取值范围可以为100ISO至200ISO。
需要说明的是，在本申请实施例中，可以通过同时采集多帧感光度较低的图像，并将采集的多帧图像合成以生成目标图像的方式，不仅可以提升夜景拍摄图像的动态范围和整体亮度，并且通过控制感光度的值，有效抑制图像中的噪声，提高夜景拍摄图像的质量。
可以理解的是，采集图像的感光度会影响到整体的拍摄时长，拍摄时长过长，可能会导致手持拍摄时图像传感器的抖动程度加剧，从而影响图像质量。因此，可以根据预览图像的画面抖动程度，或者根据采集预览的图像传感器的抖动程度，确定采集预览图像对应的基准感光度，以使得拍摄时长控制在合适的范围内。
本申请实施例中，为了确定抖动程度，可以根据电子设备中设置的位移传感器，采集位移信息，进而，根据采集到的电子设备的位移信息，确定预览图像的画面抖动程度或者采集预览图像的图像传感器的抖动程度。
作为一种示例，可以通过获取电子设备当前的陀螺仪(Gyro-sensor)信息，确定电子设备当前的抖动程度，即采集预览图像的图像传感器的抖动程度。
其中，陀螺仪又叫角速度传感器，可以测量物理量偏转、倾斜时的转动角速度。在电子设备中，陀螺仪可以很好的测量转动、偏转的动作，从而可以精确分析判断出使用者的实际动作。电子设备的陀螺仪信息(gyro信息)可以包括手机在三维空间中三个维度方向上的运动信息，三维空间的三个维度可以分别表示为X轴、Y轴、Z轴三个方向，其中，X轴、Y轴、Z轴为两两垂直关系。
需要说明的是，可以根据电子设备当前的gyro信息，确定采集预览图像的图像传感器的抖动程度。电子设备在三个方向上的gyro运动的绝对值越大，则采集预览图像的图像传感器的抖动程度越大。具体的，可以预设在三个方向上gyro运动的绝对值阈值，并根据获取到的当前在三个方向上的gyro运动的绝对值之和，与预设的阈值的关系，确定采集预览图像的图像传感器的当前的抖动程度。
举例来说，假设预设的阈值为第一阈值A、第二阈值B、第三阈值C，且A<B<C，当前获取到的在三个方向上gyro运动的绝对值之和为S。若S<A，则确定采集预览图像的图像传感器的抖动程度为“无抖动”；若A<S<B，则可以确定采集预览图像的图像传感器的抖动程度为“轻微抖动”；若B<S<C，则可以确定采集预览图像的图像传感器的抖动程度为“小抖动”；若S>C，则可以确定采集预览图像的图像传感器的抖动程度为“大抖动”。
需要说明的是，上述举例仅为示例性的，不能视为对本申请的限制。实际使用时，可以根据实际需要预设阈值的数量和各阈值的具体数值，以及根据gyro信息与各阈值的关系，预设gyro信息与采集预览图像的图像传感器抖动程度的映射关系。
具体的，若采集预览图像的图像传感器的抖动程度较小，则可以将每帧待采集图像对应的基准感光度可以适当压缩为较小的值，以有效抑制每帧图像的噪声、提高拍摄图像的质量；若采集预览图像的图像传感器的抖动程度较大，则可以将每帧待采集图像对应的基准感光度可以适当提高为较大的值，以缩短拍摄时长。
举例来说，若确定采集预览图像的图像传感器的抖动程度为“无抖动”，则可以将基准感光度确定为较小的值，以尽量获得更高质量的图像，比如确定基准感光度为100；若确定采集预览图像的图像传感器的抖动程度为“轻微抖动”，则可以将基准感光度确定为较大的值，以降低拍摄时长，比如确定基准感光度为120；若确定采集预览图像的图像传感器的抖动程度为“小抖动”，则可以进一步增大基准感光度，以降低拍摄时长，比如确定基准感光度为180；若确定采集预览图像的图像传感器的抖动程度为“大抖动”，则可以确定当前的抖动程度过大，此时可以进一步增大基准感光度，以降低拍摄时长，比如确定基准感光度为200。
需要说明的是，上述举例仅为示例性的，不能视为对本申请的限制。实际使用时，当采集预览图像的图像传感器的抖动程度变化时，既可以改变基准感光度，以获得最优的方案。其中，采集预览图像的图像传感器的抖动程度与每帧待采集图像对应的基准感光度的映射关系，可以根据实际需要预设。
本申请实施例中，预览图像的画面抖动程度与采集预览图像的图像传感器的抖动程度呈正相关关系，根据预览图像的画面抖动程度，设定基准感光度的实现过程参见上述过程，在此不再赘述。
子步骤5023，根据基准曝光量和设定的基准感光度，确定基准曝光时长。
本申请实施例中，基准曝光量，包括基准曝光时长和基准感光度，因此，在根据拍摄场景的光照度，确定基准曝光量，以及根据预览图像的画面抖动程度或者采集预览图像的图像传感器的抖动程度确定基准感光度后，即可根据基准曝光量及基准感光度，确定基准曝光时长。
子步骤5024，根据基准曝光时长和基准感光度，采集n帧原始图像。
本申请实施例中，在确定各帧待采集原始图像的基准曝光时长和基准感光度后，根据各帧待采集原始图像的曝光时长和基准感光度控制图像传感器进行图像采集，在此不做具体赘述。
步骤503，采集低于基准曝光量的至少一帧原始图像。
本申请实施例中，在采集低于基准曝光量的至少一帧原始图像时，可以根据设定的曝光补偿等级，对基准曝光时长进行补偿，得到少于基准曝光时长的补偿曝光时长，进而根据补偿曝光时长和基准感光度，采集至少一帧原始图像。
可以理解为，通过曝光补偿等级，对至少一帧原始图像分别采取不同的曝光补偿策略，使得待采集图像对应于不同的曝光量，以获得具有不同动态范围的图像。
需要说明的是，在曝光量最初的定义中，曝光量并不是指一个准确的数值，而是指“能够给出相同的曝光量的所有相机光圈与曝光时长的组合”。感光度、光圈和曝光时长确定了相机的曝光量，不同的参数组合可以产生相等的曝光量。曝光补偿等级是对曝光量进行调整的参数，使得某些图像欠曝光，某些图像过曝光，还可以使得某些图像恰当曝光。本申请实施例中，至少一帧原始图像对应的曝光补偿等级取值范围可以为EV-5至EV-1。
作为一种示例，采集低于基准曝光量的至少一帧原始图像，具体为两帧原始图像，此时两帧原始图像对应不同的曝光补偿等级，且两帧原始图像的曝光补偿等级小于EV0。具体地，根据两帧原始图像对应的曝光补偿等级对基准曝光时长进行补偿，得到少于基准曝光时长的补偿曝光时长，进而，根据补偿曝光时长和基准感光度，采集两帧原始图像。
本申请实施例中，通过根据预览图像的成像质量，确定基准曝光量的图像帧数n，采集符合基准曝光量的n帧原始图像，同时采集低于基准曝光量的至少一帧原始图像。由此，通过采集基准曝光量的n帧原始图像，同时采集低于基准曝光量的至少一帧原始图像，确定采集的多帧原始图像，进而提高了图像的成像质量，得到清晰度较高的成像效果。
作为一种示例，参见图7，图7为本申请实施例提供的一种基于多帧图像的图像处理方法的示例图。由图7可知，通过对预览画面进行检测后，确定拍摄场景为夜景场景时，控制图像传感器采集至少两帧感光度值为EV0的原始图像，一张EV-2的原始图像和一张EV-4的原始图像。其中，原始图像，为未经任何处理的RAW图像。对至少两帧EV0的原始图像进行降噪处理，得到合成降噪图像，以提高画面的信噪比，将合成降噪图像与一张EV-2的原始图像和一张EV-4的原始图像进行高动态合成，得到高动态范围图像。其中，高动态范围图像同样为RAW格式图像。。进一步地，对高动态范围图像进行纹理分析，以将高动态范围图像划分为不同的纹理区域，并对高动态范围图像中不同纹理区域采用不同的神经网络模型分别进行降噪处理，以得到降噪后的高动态范围图像，将降噪后的高动态范围图像输入ISP处理器进行格式转换，将RAW格式的目标降噪图像转换为YUV格式图像。最终将YUV合适的目标降噪图像输入JPEG编码器，以得到最终的JPG图像。
为了实现上述实施例，本申请还提出一种基于多帧图像的图像处理装置。
图8为本申请实施例提供的一种基于多帧图像的图像处理装置的结构示意图。
如图8所示，该基于多帧图像的图像处理装置100包括：获取模块110、合成模块120、纹理分析模块130和降噪模块140，其中：
获取模块110，用于获取多帧原始图像。
合成模块120，用于根据多帧原始图像，合成得到高动态范围图像。
纹理分析模块130，用于对高动态范围图像进行纹理分析，以将高动态范围图像划分为不同的纹理区域。
降噪模块140，用于对高动态范围图像中不同纹理区域采用不同的神经网络模型分别进行降噪处理，以得到降噪后的高动态范围图像。
在本申请一个实施例中，降噪模块140，具体用于：根据各个纹理区域的类型，确定各个纹理区域对应的神经网络模型。根据各神经网络模型对高动态范围图像中对应纹理区域进行降噪处理。
在本申请另一个实施例中，降噪模块140，具体用于：根据各神经网络模型对高动态范围图像中对应纹理区域进行噪声特性识别，以识别出对应纹理区域中的噪声特性，其中，神经网络模型，已学习得到对应纹理区域与噪声特性之间的映射关系。根据识别出的噪声特性，对对应纹理区域进行降噪处理。
在本申请一个实施例中，多帧原始图像中包括至少两帧相同曝光量的第一图像，以及包括曝光量低于第一图像的至少一帧第二图像。
合成模块120，具体用于：对至少两帧第一图像，进行多帧降噪，得到合成降噪图像。将合成降噪图像与至少一帧第二图像进行高动态合成，得到高动态范围图像。
在本申请一个实施例中，合成模块120，具体用于：将多帧原始图像输入高动态合成模型，以得到相应原始图像中各区域的合成权重。根据合成权重，分区域对多帧原始图像进行合成，以得到高动态范围图像。
在本申请一个实施例中，高动态合成模型，已学习得到原始图像中各区域的特征与合成权重之间的映射关系。特征用于表征曝光量和相应区域的图像亮度。
作为另一种可能的情况，基于多帧图像的图像处理装置还可以包括：
预览模块，用于获取预览图像。其中，预览模块，包括：
确定单元，用于根据预览图像的成像质量，确定基准曝光量的图像帧数n；其中，n为大于或等于2的自然数。
第一采集单元，用于采集符合基准曝光量的n帧原始图像。
第二采集单元，用于采集低于基准曝光量的至少一帧原始图像。
作为另一种可能的情况，第一采集单元，具体用于：
根据拍摄场景的光照度，确定基准曝光量；根据基准曝光量和设定的基准感光度，确定基准曝光时长；根据基准曝光时长和基准感光度，采集n帧原始图像。
作为另一种可能的情况，第二采集单元，具体用于：
根据设定的曝光补偿等级，对基准曝光时长进行补偿，得到短于基准曝光时长的补偿曝光时长；根据补偿曝光时长和基准感光度，采集至少一帧原始图像。
作为另一种可能的情况，至少一帧原始图像具体为两帧原始图像；两帧原始图像对应不同的曝光补偿等级，且两帧原始图像的曝光补偿等级小于EV0。
作为另一种可能的情况，第一采集单元，还可以具体用于：
根据预览图像的画面抖动程度，或者根据采集预览图像的图像传感器的抖动程度，设定基准感光度。
作为另一种可能的情况，基准感光度的取值范围为100ISO至200ISO。
作为另一种可能的情况，至少一帧原始图像对应的曝光补偿等级取值范围为EV-5至EV-1。
作为另一种可能的情况，图像帧数n的取值范围为3或4。
作为另一种可能的情况，基于多帧图像的图像处理装置100，还可以包括：
转换模块，用于将目标降噪图像转为YUV图像。
需要说明的是，前述对基于多帧图像的图像降噪方法实施例的解释说明也适用于该实施例的基于多帧图像的图像降噪装置，此处不再赘述。
本申请实施例的基于多帧图像的图像处理装置，获取多帧原始图像，并根据多帧原始图像，合成得到高动态范围图像然后，根据图像纹理信息的不同，将高动态范围图像划分为不同的纹理区域，并采用不同的神经网络模型分别对高动态范围图像中不同纹理区域进行降噪处理，以得到降噪后的高动态范围图像。由此，通过对高动态范围图像中的不同纹理区域分别进行降噪处理，解决了夜景拍摄时，拍摄的图像噪声水平高，影响用户体验的技术问题，实现了对不同纹理区域进行针对性降噪，提高了降噪的有效性，使得降噪得到的高动态范围图像在降低画面噪声的同时保留图像细节，得到清晰度更好的图像，进而改善了用户的使用体验。
为了实现上述实施例，本申请还提出一种电子设备200，参见图9，包括：图像传感器210、处理器220、存储器230及存储在存储器230上并可在处理器220上运行的计算机程序，图像传感器210与处理器220电连接，处理器220执行程序时，实现如上述实施例中的基于多帧图像的图像处理方法。
作为一种可能的情况，处理器220可以包括：图像信号处理ISP处理器。
其中，ISP处理器，用于控制图像传感器获取多帧原始图像，以及根据多帧原始图像，合成得到高动态范围图像。
作为另一种可能的情况，处理器220还可以包括：与ISP处理器连接的图形处理器(Graphics Processing Unit，简称GPU)。
其中，GPU，用于对高动态范围图像进行纹理分析，以将高动态范围图像划分为不同的纹理区域；对高动态范围图像中不同纹理区域采用不同的神经网络模型分别进行降噪处理，以得到降噪后的高动态范围图像。
作为一种示例，请参阅图10，在图9电子设备的基础上，图10中为本申请实施例提供的一种电子设备的原理示例图。电子设备200的存储器230包括非易失性存储器80、内存储器82和处理器220。存储器230中存储有计算机可读指令。计算机可读指令被存储器执行时，使得处理器230执行上述任一实施方式的基于多帧图像的图像处理方法。
如图10所示，该电子设备200包括通过系统总线81连接的处理器220、非易失性存储器80、内存储器82、显示屏83和输入装置84。其中，电子设备200的非易失性存储器80存储有操作系统和计算机可读指令。该计算机可读指令可被处理器220执行，以实现本申请实施方式的基于多帧图像的图像处理方法。该处理器220用于提供计算和控制能力，支撑整个电子设备200的运行。电子设备200的内存储器82为非易失性存储器80中的计算机可读指令的运行提供环境。电子设备200的显示屏83可以是液晶显示屏或者电子墨水显示屏等，输入装置84可以是显示屏83上覆盖的触摸层，也可以是电子设备200外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该电子设备200可以是手机、平板电脑、笔记本电脑、个人数字助理或穿戴式设备(例如智能手环、智能手表、智能头盔、智能眼镜)等。本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的示意图，并不构成对本申请方案所应用于其上的电子设备200的限定，具体的电子设备200可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
为了实现上述实施例，本申请还提出一种图像处理电路，请参阅图11，图11为本申请实施例提供的一种图像处理电路的原理示意图，如图11所示，图像处理电路90包括图像信号处理ISP处理器91(ISP处理器91作为处理器220)和图形处理器GPU。
ISP处理器，与图像传感器电连接，用于获取多帧原始图像，以及，根据多帧原始图像，合成得到高动态范围图像；
GPU，与ISP处理器电连接，用于对高动态范围图像进行纹理分析，以将高动态范围图像划分为不同的纹理区域；对高动态范围图像中不同纹理区域采用不同的神经网络模型分别进行降噪处理，以得到降噪后的高动态范围图像。
摄像头93捕捉的图像数据首先由ISP处理器91处理，ISP处理器91对图像数据进行分析以捕捉可用于确定摄像头93的一个或多个控制参数的图像统计信息。摄像模组310可包括一个或多个透镜932和图像传感器934。图像传感器934可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器934可获取每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器91处理的一组原始图像数据。传感器94(如陀螺仪)可基于传感器94接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器91。传感器94接口可以为SMIA(StandardMobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外，图像传感器934也可将原始图像数据发送给传感器94，传感器94可基于传感器94接口类型把原始图像数据提供给ISP处理器91，或者传感器94将原始图像数据存储到图像存储器95中。
ISP处理器91按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器91可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
ISP处理器91还可从图像存储器95接收图像数据。例如，传感器94接口将原始图像数据发送给图像存储器95，图像存储器95中的原始图像数据再提供给ISP处理器91以供处理。图像存储器95可为存储器330、存储器330的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。
当接收到来自图像传感器934接口或来自传感器94接口或来自图像存储器95的原始图像数据时，ISP处理器91可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器95，以便在被显示之前进行另外的处理。ISP处理器91从图像存储器95接收处理数据，并对处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器91处理后的图像数据可输出给显示器97(显示器97可包括显示屏83)，以供用户观看和/或由图形引擎或GPU进一步处理。此外，ISP处理器91的输出还可发送给图像存储器95，且显示器97可从图像存储器95读取图像数据。在一个实施例中，图像存储器95可被配置为实现一个或多个帧缓冲器。此外，ISP处理器91的输出可发送给编码器/解码器96，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器97设备上之前解压缩。编码器/解码器96可由CPU或GPU或协处理器实现。
ISP处理器91确定的统计数据可发送给控制逻辑器92单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜932阴影校正等图像传感器934统计信息。控制逻辑器92可包括执行一个或多个例程(如固件)的处理元件和/或微控制器，一个或多个例程可根据接收的统计数据，确定摄像头93的控制参数及ISP处理器91的控制参数。例如，摄像头93的控制参数可包括传感器94控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜932控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜932阴影校正参数。
以下为运用图11中图像处理技术实现基于多帧图像的图像降噪方法的步骤：ISP处理器获取多帧原始图像，以及，根据多帧原始图像，合成得到高动态范围图像；GPU对高动态范围图像进行纹理分析，以将高动态范围图像划分为不同的纹理区域；对高动态范围图像中不同纹理区域采用不同的神经网络模型分别进行降噪处理，以得到降噪后的高动态范围图像。
为了实现上述实施例，本申请实施例还提供了一种存储介质，当存储介质中的指令由处理器执行时，使得处理器执行以下步骤：获取多帧原始图像；根据多帧原始图像，合成得到高动态范围图像；对高动态范围图像进行纹理分析，以将高动态范围图像划分为不同的纹理区域；对高动态范围图像中不同纹理区域采用不同的神经网络模型分别进行降噪处理，以得到降噪后的高动态范围图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (13)
1.一种基于多帧图像的图像处理方法，其特征在于，包括：
获取多帧原始图像；
根据所述多帧原始图像，合成得到高动态范围图像；
对所述高动态范围图像进行纹理分析，以将所述高动态范围图像划分为不同的纹理区域；
对所述高动态范围图像中不同纹理区域采用不同的神经网络模型分别进行降噪处理，以得到降噪后的高动态范围图像；
所述对所述高动态范围图像中不同纹理区域采用不同的神经网络模型分别进行降噪处理，包括：
根据各个所述纹理区域的类型，确定各个所述纹理区域对应的神经网络模型；
根据各神经网络模型对所述高动态范围图像中对应纹理区域进行降噪处理；
所述根据各神经网络模型对所述高动态范围图像中对应纹理区域进行降噪处理，包括：
根据各神经网络模型对所述高动态范围图像中对应纹理区域进行噪声特性识别，以识别出所述对应纹理区域中的噪声特性，其中，所述神经网络模型，已学习得到所述对应纹理区域与噪声特性之间的映射关系；
根据识别出的噪声特性，对所述对应纹理区域进行降噪处理。
2.根据权利要求1所述的图像处理方法，其特征在于，所述多帧原始图像中包括至少两帧相同曝光量的第一图像，以及包括曝光量低于所述第一图像的至少一帧第二图像；
所述根据所述多帧原始图像，合成得到高动态范围图像，包括：
对所述至少两帧第一图像，进行多帧降噪，得到合成降噪图像；
将所述合成降噪图像与所述至少一帧第二图像进行高动态合成，得到所述高动态范围图像。
3.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述多帧原始图像，合成得到高动态范围图像，包括：
将所述多帧原始图像输入高动态合成模型，以得到相应原始图像中各区域的合成权重；
根据所述合成权重，分区域对所述多帧原始图像进行合成，以得到所述高动态范围图像。
4.根据权利要求3所述的图像处理方法，其特征在于，所述高动态合成模型，已学习得到原始图像中各区域的特征与合成权重之间的映射关系；所述特征用于表征曝光量和相应区域的图像亮度。
5.一种基于多帧图像的图像处理装置，其特征在于，包括：
获取模块，用于获取多帧原始图像；
合成模块，用于根据所述多帧原始图像，合成得到高动态范围图像；
纹理分析模块，用于对所述高动态范围图像进行纹理分析，以将所述高动态范围图像划分为不同的纹理区域；
降噪模块，用于对所述高动态范围图像中不同纹理区域采用不同的神经网络模型分别进行降噪处理，以得到降噪后的高动态范围图像；
所述降噪模块，具体用于：
根据各个所述纹理区域的类型，确定各个所述纹理区域对应的神经网络模型；
根据各神经网络模型对所述高动态范围图像中对应纹理区域进行降噪处理；
所述降噪模块，还具体用于：
根据各神经网络模型对所述高动态范围图像中对应纹理区域进行噪声特性识别，以识别出所述对应纹理区域中的噪声特性，其中，所述神经网络模型，已学习得到所述对应纹理区域与噪声特性之间的映射关系；
根据识别出的噪声特性，对所述对应纹理区域进行降噪处理。
6.根据权利要求5所述的图像处理装置，其特征在于，所述多帧原始图像中包括至少两帧相同曝光量的第一图像，以及包括曝光量低于所述第一图像的至少一帧第二图像；
所述合成模块，具体用于：
对所述至少两帧第一图像，进行多帧降噪，得到合成降噪图像；
将所述合成降噪图像与所述至少一帧第二图像进行高动态合成，得到所述高动态范围图像。
7.根据权利要求5所述的图像处理装置，其特征在于，所述合成模块，具体用于：
将所述多帧原始图像输入高动态合成模型，以得到相应原始图像中各区域的合成权重；
根据所述合成权重，分区域对所述多帧原始图像进行合成，以得到所述高动态范围图像。
8.根据权利要求7所述的图像处理装置，其特征在于，所述高动态合成模型，已学习得到原始图像中各区域的特征与合成权重之间的映射关系；所述特征用于表征曝光量和相应区域的图像亮度。
9.一种电子设备，其特征在于，包括：图像传感器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述图像传感器与所述处理器电连接，所述处理器执行所述程序时，实现如权利要求1-4中任一所述的基于多帧图像的图像处理方法。
10.根据权利要求9所述的电子设备，其特征在于，所述处理器包括图像信号处理ISP处理器；
所述ISP处理器，用于获取多帧原始图像，以及，根据所述多帧原始图像，合成得到高动态范围图像。
11.根据权利要求10所述的电子设备，其特征在于，所述处理器还包括与所述ISP处理器连接的图形处理器GPU；
其中，所述GPU，用于对所述高动态范围图像进行纹理分析，以将所述高动态范围图像划分为不同的纹理区域；对所述高动态范围图像中不同纹理区域采用不同的神经网络模型分别进行降噪处理，以得到降噪后的高动态范围图像。
12.一种图像处理电路，其特征在于，所述图像处理电路包括图像信号处理ISP处理器和图形处理器GPU；
所述ISP处理器，与图像传感器电连接，用于获取多帧原始图像，以及，根据所述多帧原始图像，合成得到高动态范围图像；
所述GPU，与所述ISP处理器电连接，用于对所述高动态范围图像进行纹理分析，以将所述高动态范围图像划分为不同的纹理区域；对所述高动态范围图像中不同纹理区域采用不同的神经网络模型分别进行降噪处理，以得到降噪后的高动态范围图像；根据各个所述纹理区域的类型，确定各个所述纹理区域对应的神经网络模型；根据各神经网络模型对所述高动态范围图像中对应纹理区域进行降噪处理；根据各神经网络模型对所述高动态范围图像中对应纹理区域进行噪声特性识别，以识别出所述对应纹理区域中的噪声特性，其中，所述神经网络模型，已学习得到所述对应纹理区域与噪声特性之间的映射关系；根据识别出的噪声特性，对所述对应纹理区域进行降噪处理。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一所述的基于多帧图像的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910509711.4A CN110264420B (zh) | 2019-06-13 | 2019-06-13 | 基于多帧图像的图像处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910509711.4A CN110264420B (zh) | 2019-06-13 | 2019-06-13 | 基于多帧图像的图像处理方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110264420A CN110264420A (zh) | 2019-09-20 |
| CN110264420B true CN110264420B (zh) | 2023-04-25 |
Family
ID=67917967
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910509711.4A Active CN110264420B (zh) | 2019-06-13 | 2019-06-13 | 基于多帧图像的图像处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110264420B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110611750B (zh) * | 2019-10-31 | 2022-03-22 | 北京迈格威科技有限公司 | 一种夜景高动态范围图像生成方法、装置和电子设备 |
| CN111225162B (zh) * | 2020-01-21 | 2021-08-03 | 厦门亿联网络技术股份有限公司 | 图像曝光的控制方法、系统、可读存储介质及摄像设备 |
| WO2021223094A1 (en) * | 2020-05-06 | 2021-11-11 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method and apparatus for reducing noise, and computer usable medium storing software for implementing the method |
| CN112529794A (zh) * | 2020-11-30 | 2021-03-19 | 深圳市智能机器人研究院 | 高动态范围结构光三维测量方法、系统及介质 |
| CN113538462A (zh) * | 2021-07-15 | 2021-10-22 | Oppo广东移动通信有限公司 | 图像处理方法及装置、计算机可读存储介质和电子设备 |
| CN114581856B (zh) * | 2022-05-05 | 2022-08-09 | 广东邦盛北斗科技股份公司 | 基于北斗系统的农业机组运动状态识别方法、系统及云平台 |
| WO2024098284A1 (en) * | 2022-11-09 | 2024-05-16 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Imaging device |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017215501A1 (zh) * | 2016-06-15 | 2017-12-21 | 深圳市万普拉斯科技有限公司 | 图像降噪处理方法、装置及计算机存储介质 |
| CN108122206A (zh) * | 2016-11-29 | 2018-06-05 | 深圳市中兴微电子技术有限公司 | 一种低照度图像降噪方法及装置 |
| CN109068058A (zh) * | 2018-08-22 | 2018-12-21 | Oppo广东移动通信有限公司 | 超级夜景模式下的拍摄控制方法、装置和电子设备 |
| CN109218619A (zh) * | 2018-10-12 | 2019-01-15 | 北京旷视科技有限公司 | 图像获取方法、装置和系统 |
-
2019
- 2019-06-13 CN CN201910509711.4A patent/CN110264420B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017215501A1 (zh) * | 2016-06-15 | 2017-12-21 | 深圳市万普拉斯科技有限公司 | 图像降噪处理方法、装置及计算机存储介质 |
| CN108122206A (zh) * | 2016-11-29 | 2018-06-05 | 深圳市中兴微电子技术有限公司 | 一种低照度图像降噪方法及装置 |
| CN109068058A (zh) * | 2018-08-22 | 2018-12-21 | Oppo广东移动通信有限公司 | 超级夜景模式下的拍摄控制方法、装置和电子设备 |
| CN109218619A (zh) * | 2018-10-12 | 2019-01-15 | 北京旷视科技有限公司 | 图像获取方法、装置和系统 |
Non-Patent Citations (1)
| Title |
|---|
| 一种新的片上抑制CMOS图像传感器暂态噪声方法;张钰;《传感技术学报》;20110615(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110264420A (zh) | 2019-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110072051B (zh) | 基于多帧图像的图像处理方法和装置 | |
| CN110072052B (zh) | 基于多帧图像的图像处理方法、装置、电子设备 | |
| CN110062160B (zh) | 图像处理方法和装置 | |
| CN110166708B (zh) | 夜景图像处理方法、装置、电子设备以及存储介质 | |
| CN110191291B (zh) | 基于多帧图像的图像处理方法和装置 | |
| CN109040609B (zh) | 曝光控制方法、装置、电子设备和计算机可读存储介质 | |
| CN109068067B (zh) | 曝光控制方法、装置和电子设备 | |
| CN110290289B (zh) | 图像降噪方法、装置、电子设备以及存储介质 | |
| AU2019326496B2 (en) | Method for capturing images at night, apparatus, electronic device, and storage medium | |
| CN110264420B (zh) | 基于多帧图像的图像处理方法和装置 | |
| CN108900782B (zh) | 曝光控制方法、装置以及电子设备 | |
| CN110248106B (zh) | 图像降噪方法、装置、电子设备以及存储介质 | |
| CN109788207B (zh) | 图像合成方法、装置、电子设备及可读存储介质 | |
| WO2020207261A1 (zh) | 基于多帧图像的图像处理方法、装置、电子设备 | |
| CN110166707B (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
| CN110445988B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN110166706B (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
| CN110166709B (zh) | 夜景图像处理方法、装置、电子设备以及存储介质 | |
| CN109348088B (zh) | 图像降噪方法、装置、电子设备及计算机可读存储介质 | |
| CN109672819B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN109005369B (zh) | 曝光控制方法、装置、电子设备以及计算机可读存储介质 | |
| CN110166711B (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
| CN109151333B (zh) | 曝光控制方法、装置以及电子设备 | |
| CN110740266B (zh) | 图像选帧方法、装置、存储介质及电子设备 | |
| CN110213462B (zh) | 图像处理方法、装置、电子设备、图像处理电路及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |