CN110191291A - 基于多帧图像的图像处理方法和装置 - Google Patents

基于多帧图像的图像处理方法和装置 Download PDF

Info

Publication number
CN110191291A
CN110191291A CN201910509712.9A CN201910509712A CN110191291A CN 110191291 A CN110191291 A CN 110191291A CN 201910509712 A CN201910509712 A CN 201910509712A CN 110191291 A CN110191291 A CN 110191291A
Authority
CN
China
Prior art keywords
image
original image
noise reduction
frame
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910509712.9A
Other languages
English (en)
Other versions
CN110191291B (zh
Inventor
康健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910509712.9A priority Critical patent/CN110191291B/zh
Publication of CN110191291A publication Critical patent/CN110191291A/zh
Application granted granted Critical
Publication of CN110191291B publication Critical patent/CN110191291B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本申请提出一种基于多帧图像的图像处理方法和装置，其中，方法包括：通过获取多帧原始图像，并根据各帧原始图像的曝光度，选择各帧原始图像对应的神经网络模型进行降噪处理，以得到各帧降噪后的原始图像，以及通过各帧降噪后的原始图像合成目标图像。由此，通过对多帧原始图像均进行降噪处理，提高了降噪的有效性，使得合成的目标图像中在降低画面噪声的同时保留图像细节，得到清晰度更好的成像效果，提高了目标图像的成像效果。

Description

基于多帧图像的图像处理方法和装置
技术领域
本申请涉及成像技术领域，尤其涉及一种基于多帧图像的图像处理方法和装置。
背景技术
随着智能终端技术的发展，移动终端设备(如智能手机、平板电脑等)的使用越来越普及。绝大多数移动终端设备都内置有摄像头，并且随着移动终端处理能力的增强以及摄像头技术的发展，内置摄像头的性能越来越强大，拍摄图像的质量也越来越高。如今，移动终端设备均操作简单又便于携带，在日常生活中越来越多的用户使用智能手机、平板电脑等移动终端设备拍照。
智能移动终端在给人们的日常拍照带来便捷的同时，人们对拍摄的图像质量的要求也越来越高。
目前，在需要多帧原始图像合成目标图像的场景中，例如，在夜景这一特殊场景中，通常采集多帧原始图像进行高动态合成，但是在采集多帧原始图像过程中会引入噪声，导致最终合成的图像不清晰。因此，在最大限度的保留图像细节的情况下，对图像进行降噪处理，是一个亟待解决的问题。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请提出一种基于多帧图像的图像方法和装置，通过对多帧原始图像均进行降噪处理，提高了降噪的有效性，使得合成的目标图像中在降低画面噪声的同时保留图像细节，得到清晰度更好的成像效果，提高了目标图像的成像效果。
本申请第一方面实施例提出了一种基于多帧图像的图像处理方法，包括：获取多帧原始图像；根据各帧原始图像的曝光度，选择各帧原始图像对应的神经网络模型进行降噪处理，以得到各帧降噪后的原始图像；根据各帧降噪后的原始图像，合成得到目标图像。
本申请实施例的基于多帧图像的图像处理方法，通过获取多帧原始图像，并根据各帧原始图像的曝光度，选择各帧原始图像对应的神经网络模型进行降噪处理，以得到各帧降噪后的原始图像，以及通过各帧降噪后的原始图像合成目标图像。由此，通过对多帧原始图像均进行降噪处理，提高了降噪的有效性，使得合成的目标图像中在降低画面噪声的同时保留图像细节，得到清晰度更好的成像效果，提高了目标图像的成像效果。
本申请第二方面实施例提出了一种基于多帧图像的图像处理装置，包括：获取模块，用于获取多帧原始图像；降噪模块，用于根据各帧原始图像的曝光度，选择各帧原始图像对应的神经网络模型进行降噪处理，以得到各帧降噪后的原始图像；合成模块，用于根据各帧降噪后的原始图像，合成得到目标图像。
本申请实施例的基于多帧图像的图像处理装置，通过获取多帧原始图像，并根据各帧原始图像的曝光度，选择各帧原始图像对应的神经网络模型进行降噪处理，以得到各帧降噪后的原始图像，以及通过各帧降噪后的原始图像合成目标图像。由此，通过对多帧原始图像均进行降噪处理，提高了降噪的有效性，使得合成的目标图像中在降低画面噪声的同时保留图像细节，得到清晰度更好的成像效果，提高了目标图像的成像效果。
本申请第三方面实施例提出了一种电子设备，包括：图像传感器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述图像传感器与所述处理器电连接，所述处理器执行所述程序时，实现如上述实施例中所述的基于多帧图像的图像处理方法。
本申请第四方面实施例提出了一种图像处理电路，所述处理器包括图像信号处理ISP处理器和图形处理器GPU，其中，所述ISP处理器与所述GPU连接；
所述ISP处理器，用于控制所述图像传感器采集多帧原始图像，以及根据各帧降噪后的原始图像，合成得到目标图像；
所述GPU，用于根据各帧原始图像的曝光度，选择各帧原始图像对应的神经网络模型进行降噪处理，以得到各帧降噪后的原始图像。
本申请第五方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例中所述的基于多帧图像的图像处理方法。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例所提供的一种基于多帧图像的图像处理方法的流程示意图；
图2为本申请实施例所提供的根据各帧降噪后的原始图像，合成得到目标图像的细化流程示意图；
图3为本申请实施例所提供的步骤102的细化流程示意图；
图4为本申请实施例所提供的步骤102的细化流程示意图；
图5为本申请实施例提供的另一种基于多帧图像的图像处理方法的流程示意图；
图6为本申请实施例提供的另一种基于多帧图像的图像处理方法的流程示意图；
图7为本申请实施例提供的一种基于多帧图像的图像处理方法的示例图；
图8为本申请实施例提供的一种基于多帧图像的图像处理装置的结构示意图；
图9为本申请实施例提供的一种电子设备的结构示意图；
图10为本申请实施例提供的一种电子设备的原理示意图；
图11为本申请实施例提供的一种图像处理电路的原理示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
针对相关技术中，对于需要多帧原始图像合成目标图像的场景中，由于在得到目标图像时，拍摄的帧数较多，采帧时间长，可能会由于抖动导致拍摄的图像存在拖影，或者会在拍摄的过程中引入噪声，从而导致后续合成目标图像不清晰。
为此，本申请提出了一种基于多帧图像的图像处理方法，通过获取多帧原始图像，并根据各帧原始图像的曝光度，选择各帧原始图像对应的神经网络模型进行降噪处理，以得到各帧降噪后的原始图像，以及通过各帧降噪后的原始图像合成目标图像。由此，通过对多帧原始图像均进行降噪处理，提高了降噪的有效性，使得合成的目标图像中在降低画面噪声的同时保留图像细节，得到清晰度更好的成像效果，提高了目标图像的成像效果。
下面参考附图描述本申请实施例的基于多帧图像的图像处理方法和装置。
图1为本申请实施例所提供的一种基于多帧图像的图像处理方法的流程示意图。
本申请实施例的基于多帧图像的图像处理方法，应用于电子设备，该电子设备可以为手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、成像设备的硬件设备。
如图1所示，该基于多帧图像的图像处理方法包括以下步骤：
步骤101，获取多帧原始图像。
其中，原始图像，是指通过电子设备的图像传感器采集得到的未做任何处理的RAW图像。
其中，RAW图像是图像传感器将捕捉到的光源信号转化为数字信号的原始图像。RAW图像记录了数码相机传感器采集到的原始信息，同时记录了由相机拍摄所产生的一些元数据，如感光度的设置、快门速度、光圈值、白平衡等。
其中，本实施例中的多帧原始图像是在需要多帧图像合成目标图像的场景中，由图像传感器逐帧获取到的。
在本实施例中，以需要多帧图像合成目标图像的场景为夜景场景为例进行描述。
在本实施例中，可以通过获取当前拍摄场景的预览图像，以确定当前拍摄场景是否属于夜景场景。由于不同场景下环境亮度值不同，预览图像内容也不相同，可以根据当前拍摄场景预览图像的画面内容以及各区域的环境亮度值，确定当前拍摄场景属于夜景场景后，启动夜景拍摄模式，在不同曝光采集多帧原始图像。
例如，预览图像的画面内容包括夜晚天空或者夜景灯源等，或者预览图像的各区域中环境亮度值符合夜景环境下图像的亮度分布特性，即可确定当前拍摄场景属于夜景场景。
由于在夜景拍摄时，拍摄场景中光线强度等环境因素的限制，电子设备在拍摄图像时，若采集单帧原始图像无法较好同时顾及到夜景中的灯光等高亮区域，以及夜景中的低亮区域。因此，电子设备可以通过拍摄多帧原始图像，用于图像合成，另外还可以用于选取画面清晰的图像进行合成成像。为了同时顾及到夜景中的灯光等高亮区域，以及夜景中的低亮区域，需要控制电子设备的图像传感器在不同曝光度(即，曝光量)下，拍摄得到的多帧原始图像。例如：采用低曝光度拍摄以对高亮区清晰成像，采用高曝光度拍摄以对低亮区清晰成像。
步骤102，根据各帧原始图像的曝光度，选择各帧原始图像对应的神经网络模型进行降噪处理，以得到各帧降噪后的原始图像。
由于电子设备中的图像传感器在拍摄的过程中会受到不同程度的来自周边电路和本身像素间的光电磁干扰，因此拍摄得到的原始图像不可避免的存在噪声，并且，干扰程度的不同，拍摄得到的图像的清晰度也不相同。
在通过图像传感器采集多帧原始图像后，通常对于不同曝光度的原始图像而言，其内部的噪声特性是不尽相同的。为了可准确对不同曝光度的原始图像进行降噪处理，可采用不同的神经网络模型对对应原始图像进行降噪处理，即，对不同曝光度图像都采用合适的神经网络模型进行降噪处理。
可以理解的是，通过不同曝光度图像都采用合适的神经网络模型进行降噪处理，既能够有效去除噪声，又能够尽可能减少降噪带来的功耗。
其中，神经网络模块用于对图像中的噪声进行特性识别，根据识别出的噪声特性采用相应的降噪方式对图像进行降噪。
具体地，在获取多帧原始图像后，可根据各帧原始图像的曝光度，确定出各帧原始图像对应的神经网络模型，然后，通过各神经网络模型对对应原始图像进行降噪处理，以得到各帧降噪后的原始图像。
步骤103，根据各帧降噪后的原始图像，合成得到目标图像。
在本实施例中，在获取各帧降噪后的原始图像后，根据各帧降噪后的原始图像，合成得到目标图像可通过多种方式实现，举例说明如下：
作为一种示例，可提取各帧降噪后的原始图像中的画面信息，并针对相应的画面信息进行叠加，以得到目标图像。
作为另一种示例，在本示例中，如图2所示，上述步骤103可以包括：
步骤201，将多帧降噪后的原始图像输入预设合成模型，以得到相应降噪后的原始图像中各区域的合成权重。
其中，预设合成模型，已学习得到图像中各区域的特征与合成权重之间的映射关系，各区域的特征用于表征曝光度和相应图像区域的图像亮度。
本申请实施例中，由于预设合成模型已经学习得到各区域的特征与合成权重之间的映射关系。因此，将多帧原始图像输入预设合成模型后，预设合成模型可以根据各帧原始图像的曝光度和相应图像区域的图像亮度，确定各帧原始图像中各区域的合成权重。
步骤202，根据合成权重，分区域对多帧降噪后的原始图像进行合成，以得到目标图像。
本申请实施例中，通过将多帧降噪后的原始图像输入预设合成模型，以得到相应降噪后的原始图像中各区域的合成权重，进而根据合成权重，分区域对多帧降噪后的原始图像进行合成，以得到目标图像。该方法根据多帧降噪后的原始图像中各区域的特征确定各区域的合成权重，以对多帧原始图像进行合成得到目标图像，目标图像中最大限度的保留了图像的信息，而且提高了拍摄图像的质量，改善了用户体验。
在本实施例中，在夜景场景中，上述目标图像为高动态范围图像。其中，高动态合成，即通过相同场景不同曝光的画面进行合成，以得到高动态范围图像(High-DynamicRange，简称HDR)。需要说明的是，相比普通的图像，HDR图像，可以提供更多的动态范围和图像细节，根据不同的曝光时间的低动态范围图像(Low-Dynamic Range，简称LDR)，利用每个曝光时间相对应最佳细节的LDR图像来合成最终HDR图像，能够更好的反映出真实环境中的视觉效果。
需要说明的是，由于多帧原始图像是在不同曝光情况下拍摄得到的，因此，多帧原始图像中包含有不同亮度的画面信息。对于同一景物，不同的原始图像中可能是过曝的，可能是欠曝的，还可能是恰当曝光的。对于这些原始图像进行高动态合成后，尽量使得高动态范围图像中各景物恰当曝光，与实际场景也更加相近。
本申请实施例的基于多帧图像的图像处理方法，通过获取多帧原始图像，并根据各帧原始图像的曝光度，选择各帧原始图像对应的神经网络模型进行降噪处理，以得到各帧降噪后的原始图像，以及通过各帧降噪后的原始图像合成目标图像。由此，通过对多帧原始图像均进行降噪处理，提高了降噪的有效性，使得合成的目标图像中在降低画面噪声的同时保留图像细节，得到清晰度更好的成像效果，提高了目标图像的成像效果。
在图1实施例的基础上，下面结合图3对本实施中上述步骤102的一种可能实现方式进行描述，如图3所示，上述步骤102可以包括：
步骤301，根据各帧原始图像的曝光度，确定各帧原始图像对应的神经网络模型。
步骤302，根据各神经网络模型对对应原始图像进行噪声特性识别，以识别出各帧原始图像中的噪声特性。
其中，神经网络模型，已学习得到在对应曝光度下，对应原始图像的感光度与噪声特性之间的映射关系。
其中，感光度，又称为ISO值，是指衡量底片对于光的灵敏程度的指标。对于感光度较低的底片，需要曝光更长的时间以达到跟感光度较高的底片相同的成像。数码相机的感光度是一种类似于胶卷感光度的一种指标，数码相机的ISO可以通过调整感光器件的灵敏度或者合并感光点来调整，也就是说，可以通过提升感光器件的光线敏感度或者合并几个相邻的感光点来达到提升ISO的目的。
需要说明的是，无论是数码或是底片摄影，ISO值越低，采集的图像质量越高，图像细节表现越细腻，ISO值越高，光线感应性能越强，也就越能接收更多的光线，从而产生更多的热量，因此，使用相对较高的感光度通常会引入较多的噪声，从而导致图像质量降低。本申请实施例中，噪声特性，可以是由于图像传感器引起的随机噪声的统计特性。这里说的噪声主要包括热噪声和散粒噪声，其中，热噪声符合高斯分布，散粒噪声符合泊松分布，本申请实施例中的统计特性可以指噪声的方差值，当然也可以是其他可能情况的值，在此不做限定。
在本实施例中，上述神经网络模型，是在对应曝光度下，采用各感光度的样本图像对神经网络模型进行训练，直至神经网络模型识别出的噪声特性与相应样本图像中标注的噪声特性匹配时，神经网络模型训练完成。
其中，训练神经网络模型的具体过程可以为：
步骤a，在对应曝光度下，获取各感光度的样本图像。
其中，样本图像中已经标注了图像的噪声特性。
本申请实施例中，样本图像可以是在不同的环境亮度下，设置不同的感光度拍摄得到的图像。也就是说，环境亮度应为多种，在每一种环境亮度下，分别在不同感光度情况下拍摄多帧图像，作为样本图像。为了获得更佳准确的噪声特性识别结果，可以对环境亮度和ISO进行细分，还可以增加样本图像的帧数，以使高动态合成的高动态范围图像输入神经网络模型后，该神经网络能准确的识别出图像的统计特性。
步骤b，采用各感光度的样本图像对神经网络模型进行训练。
本申请实施例中，获取到不同环境光亮度下拍摄得到的各感光度的样本图像后，采用样本图像对神经网络模型进行训练。将样本图像中标注的统计特性作为模型训练的特性，将经过统计特性标注的样本图像输入神经网络模型，以对神经网络模型进行训练，进而识别出图像的统计特性。当然，神经网络模型仅仅是实现基于人工智能的降噪的一种可能的实现方式，在实际执行过程中，可以通过其他任意可能的方式来实现基于人工智能的降噪，比如，还可以采用传统的编程技术(比如模拟法和工程学方法)实现，又比如，还可以遗传学算法和人工神经网络的方法来实现，在此不做限定。
需要说明的是，在样本图像中标注统计特性对神经网络模型进行训练，是因为已标注的样本图像能够清楚的表示出图像的噪声位置和噪声类型，从而将标注的统计特性作为模型训练的特性，将高动态范围图像输入神经网络模型后，能够识别出图像中的统计特性。
步骤c，直至神经网络模型识别出的噪声特性与相应样本图像中标注的噪声特性匹配时，神经网络模型训练完成。
本申请实施例中，在对应曝光度下，采用各感光度的样本图像对神经网络模型进行训练，直至神经网络模型识别出的噪声特性与相应样本图像中标注的统计特性匹配。
步骤303，根据各帧原始图像中的噪声特性对对应的原始图像进行降噪处理，以得到各帧降噪后的原始图像。
在本申请实施例中，对不同曝光度的图原始图像，采用合适的神经网络模型对对应原始图像进行噪声特性识别，以识别出各帧原始图像中的噪声特性，并根据识别出的噪声特性，对对应原始图像进行降噪处理。由此，实现了对图像进行准确噪声识别，实现了对图像进行准确降噪，提高图像的信噪比。
在图1实施例的基础上，在一种可能场景下，上述步骤101中采集的多帧原始图像中可以包括至少一帧第一图像和第二图像，其中，第一图像的曝光度低于第二图像的曝光度。下面结合图4对根据各帧原始图像的曝光度，选择各帧原始图像对应的神经网络模型进行降噪处理的具体过程进行描述，如图4所示，上述步骤102可以包括：
步骤401，根据第一图像的曝光度，确定第一图像对应的第一神经网络模型。
步骤402，根据第一神经网络模型对第一图像进行噪声特性识别。
步骤403，根据第一图像的噪声特性识别结果，对第一图进行降噪处理。
步骤404，如果根据第一图像的噪声特性识别结果确定第一图像的噪声特性识别准确度低于预设阈值，则采用第二神经网络模型，对第二图像进行噪声特性识别。
其中，第二神经网络模型的噪声特性识别准确度高于第一神经网络模型。
步骤405，如果根据第一图像的噪声特性识别结果确定第一图像的噪声特性识别准确度高于预设阈值，则采用第一神经网络模型，对第二图像进行噪声特性识别。
步骤406，根据第二图像的噪声特性识别结果，对第二图像进行降噪处理。
以电子设备在夜景场景下，采集了多帧原始图像为例，假设第一图像的曝光补偿等级为EV0，第二图像的曝光补偿等级为EV-1(可以理解的是，第一图像和第二图像对应的曝光度是不相同的)，可选择曝光补偿等级EV0的图像作为参考图像，然后，将参考图像输入到第一神经网络模型进行噪声识别，根据识别出的噪声特性进行降噪处理。然后，根据参考图像识别出的来决定曝光度低于EV0的第二图像是否可以使用第一神经网络模型，如果EV0的噪声特性比较强时，参考已经识别出噪声特性，对曝光度低于EV0的图像也采用针对这一特性的神经网络模型模型进行降噪。如果EV0的噪声特性比较差，则对于低于EV0曝光度的图像采用噪声识别度更高的神经网络模型模型进行降噪，这样能够保证这些较暗图像的噪声能够更好地被去除。
应当理解的是，基于上述实施例的基础上，为了可提供图像质量更好的目标图像，作为一种示例性的实施方式，在通过各帧降噪后的原始图像合成目标图像之后，还可以对目标图像进行降噪处理，以提供更高质量的图像。
作为一种可能的实现方式，可采用预设的第三神经网络模型，对目标图像进行噪声特性识别；其中，第三神经网络模型，已学习得到目标图像的感光度与噪声特性之间的映射关系；根据识别出的噪声特性，对目标图像进行降噪处理。
在图1实施例的基础上，作为一种可能的实现方式，在步骤101中采集多帧原始图像时，可以首先获取预览图像，具体地，可以根据预览图像的成像质量，确定基准曝光度的图像帧数n，以采集符合基准曝光度的n帧原始图像，并采集低于基准曝光度的至少一帧原始图像。下面结合图5对上述过程进行详细介绍，如图5所示，步骤101还可以包括：
步骤501，根据预览图像的成像质量，确定基准曝光度的图像帧数n。
其中，n为大于或等于2的自然数。
需要说明的是，采集的图像帧数较多时，整个拍摄时长会过长，在拍摄过程中更容易受到外界干扰，因此本申请实施例中，图像帧数n的取值范围可以为3或4，以降低拍摄时长，获得较高质量的图像。
具体地，可以通过预览图像的画面抖动程度，此外，还可以通过预览图像的信噪比衡量预览图像的成像质量，进而根据预览图像的成像质量，确定基准曝光度的图像帧数n。若预览图像的成像质量越高，则推定拍摄过程中外界干扰程度较轻，拍摄时长可适当延长，采集更多帧原始图像；反之，若预览图像的成像质量越差，则推定拍摄过程中外界干扰程度较大，拍摄时长可适当缩短，采集更少帧原始图像。
例如，可以通过电子设备设置的位移传感器，采集得到图像传感器在拍摄过程中的位移信息，进而根据获取的位移信息确定图像传感器当前的抖动程度，根据抖动程度衡量成像质量，进而确定拍摄场景为抖动程度较轻的脚架模式或者抖动程度较大的手持模式。
在一种可能的场景下，根据图像传感器的抖动程度判断当前的拍摄属于脚架模式时，采集的原始图像帧数越多，包含有不同的画面信息越多，在高动态合成时得到的高动态范围图像中包含有更多的画面信息，与实际场景也更加相近，同时，由于画面稳定，即使多帧图像合成，也不会出现画面模糊的情况，因此在脚架模式下，为了获得较佳的成像质量，可以采集较多帧数原始图像，合成高动态范围图像。
在另一种可能的场景下，根据图像传感器的抖动程度判断当前的拍摄属于手持模式时，预览图像的画面抖动比较严重，为了避免合成的高动态范围图像出现模糊的情况，可以采集较少帧数的原始图像进行合成。
步骤502，采集符合基准曝光度的n帧原始图像。
本申请实施例中，根据预览图像的成像质量，确定基准曝光度的图像帧数n后，进一步采集符合基准曝光度的n帧原始图像。
在一种可能的场景下，可以基于拍摄场景的光照度确定的基准曝光度和设定的基准感光度，确定各帧待采集原始图像的基准曝光时长，以获得不同动态范围的图像，使得合成后的图像具有更高的动态范围，提高图像的整体亮度和质量。下面结合图6对上述过程进行详细介绍，图6为本申请实施例提供的第六种基于多帧图像的图像降噪方法的流程示意图，如图6所示，步骤502还可以包括如下子步骤：
子步骤5021，根据拍摄场景的光照度，确定基准曝光度。
其中，曝光度，是指电子设备中的感光器件在曝光时长内接受到光的多少，曝光度与光圈、曝光时长和感光度有关。其中，光圈也就是通光口径，决定单位时间内光线通过的数量；曝光时长，是指光线通过镜头的时间；感光度，又称为ISO值，是衡量底片对于光的灵敏程度的指标，用于表示感光元件的感光速度，ISO数值越高就说明该感光元器件的感光能力越强。
具体地，通过图像传感器获取当前拍摄场景的预览图像，进一步的通过感光器件测量得到预览图像各区域的环境光亮度，进而根据预览图像的亮度信息，确定基准曝光度。其中，在光圈固定的情况下，基准曝光度具体可以包括基准曝光时长和基准感光度。
本申请实施例中，基准曝光度，是指通过对预览图像进行测光获取的当前拍摄场景的亮度信息后，确定的与当前环境的亮度信息相适应的曝光度，基准曝光度的取值可以是基准感光度与基准曝光时长之间的乘积。
子步骤5022，根据预览图像的画面抖动程度，或者根据采集预览图像的图像传感器的抖动程度，设定基准感光度。
本申请实施例中，基准感光度，可以是根据预览图像的画面抖动程度，设定与当前的抖动程度相适应的感光度；也可以是根据采集预览图像的图像传感器当前的抖动程度，设定与当前的抖动程度相适应的感光度，在此不做限定。其中，基准感光度的取值范围可以为100ISO至200ISO。
需要说明的是，在本申请实施例中，可以通过同时采集多帧感光度较低的图像，并将采集的多帧图像合成以生成目标图像的方式，不仅可以提升夜景拍摄图像的动态范围和整体亮度，并且通过控制感光度的值，有效抑制图像中的噪声，提高夜景拍摄图像的质量。
可以理解的是，采集图像的感光度会影响到整体的拍摄时长，拍摄时长过长，可能会导致手持拍摄时图像传感器的抖动程度加剧，从而影响图像质量。因此，可以根据预览图像的画面抖动程度，或者根据采集预览的图像传感器的抖动程度，确定采集预览图像对应的基准感光度，以使得拍摄时长控制在合适的范围内。
本申请实施例中，为了确定抖动程度，可以根据电子设备中设置的位移传感器，采集位移信息，进而，根据采集到的电子设备的位移信息，确定预览图像的画面抖动程度或者采集预览图像的图像传感器的抖动程度。
作为一种示例，可以通过获取电子设备当前的陀螺仪(Gyro-sensor)信息，确定电子设备当前的抖动程度，即采集预览图像的图像传感器的抖动程度。
其中，陀螺仪又叫角速度传感器，可以测量物理量偏转、倾斜时的转动角速度。在电子设备中，陀螺仪可以很好的测量转动、偏转的动作，从而可以精确分析判断出使用者的实际动作。电子设备的陀螺仪信息(gyro信息)可以包括手机在三维空间中三个维度方向上的运动信息，三维空间的三个维度可以分别表示为X轴、Y轴、Z轴三个方向，其中，X轴、Y轴、Z轴为两两垂直关系。
需要说明的是，可以根据电子设备当前的gyro信息，确定采集预览图像的图像传感器的抖动程度。电子设备在三个方向上的gyro运动的绝对值越大，则采集预览图像的图像传感器的抖动程度越大。具体的，可以预设在三个方向上gyro运动的绝对值阈值，并根据获取到的当前在三个方向上的gyro运动的绝对值之和，与预设的阈值的关系，确定采集预览图像的图像传感器的当前的抖动程度。
举例来说，假设预设的阈值为第一阈值A、第二阈值B、第三阈值C，且A<B<C，当前获取到的在三个方向上gyro运动的绝对值之和为S。若S<A，则确定采集预览图像的图像传感器的抖动程度为“无抖动”；若A<S<B，则可以确定采集预览图像的图像传感器的抖动程度为“轻微抖动”；若B<S<C，则可以确定采集预览图像的图像传感器的抖动程度为“小抖动”；若S>C，则可以确定采集预览图像的图像传感器的抖动程度为“大抖动”。
需要说明的是，上述举例仅为示例性的，不能视为对本申请的限制。实际使用时，可以根据实际需要预设阈值的数量和各阈值的具体数值，以及根据gyro信息与各阈值的关系，预设gyro信息与采集预览图像的图像传感器抖动程度的映射关系。
具体的，若采集预览图像的图像传感器的抖动程度较小，则可以将每帧待采集图像对应的基准感光度可以适当压缩为较小的值，以有效抑制每帧图像的噪声、提高拍摄图像的质量；若采集预览图像的图像传感器的抖动程度较大，则可以将每帧待采集图像对应的基准感光度可以适当提高为较大的值，以缩短拍摄时长。
举例来说，若确定采集预览图像的图像传感器的抖动程度为“无抖动”，则可以将基准感光度确定为较小的值，以尽量获得更高质量的图像，比如确定基准感光度为100；若确定采集预览图像的图像传感器的抖动程度为“轻微抖动”，则可以将基准感光度确定为较大的值，以降低拍摄时长，比如确定基准感光度为120；若确定采集预览图像的图像传感器的抖动程度为“小抖动”，则可以进一步增大基准感光度，以降低拍摄时长，比如确定基准感光度为180；若确定采集预览图像的图像传感器的抖动程度为“大抖动”，则可以确定当前的抖动程度过大，此时可以进一步增大基准感光度，以降低拍摄时长，比如确定基准感光度为200。
需要说明的是，上述举例仅为示例性的，不能视为对本申请的限制。实际使用时，当采集预览图像的图像传感器的抖动程度变化时，既可以改变基准感光度，以获得最优的方案。其中，采集预览图像的图像传感器的抖动程度与每帧待采集图像对应的基准感光度的映射关系，可以根据实际需要预设。
本申请实施例中，预览图像的画面抖动程度与采集预览图像的图像传感器的抖动程度呈正相关关系，根据预览图像的画面抖动程度，设定基准感光度的实现过程参见上述过程，在此不再赘述。
子步骤5023，根据基准曝光度和设定的基准感光度，确定基准曝光时长。
本申请实施例中，基准曝光度，包括基准曝光时长和基准感光度，因此，在根据拍摄场景的光照度，确定基准曝光度，以及根据预览图像的画面抖动程度或者采集预览图像的图像传感器的抖动程度确定基准感光度后，即可根据基准曝光度及基准感光度，确定基准曝光时长。
子步骤5024，根据基准曝光时长和基准感光度，采集n帧原始图像。
本申请实施例中，在确定各帧待采集原始图像的基准曝光时长和基准感光度后，根据各帧待采集原始图像的曝光时长和基准感光度控制图像传感器进行图像采集，在此不做具体赘述。
步骤503，采集低于基准曝光度的至少一帧原始图像。
本申请实施例中，在采集低于基准曝光度的至少一帧原始图像时，可以根据设定的曝光补偿等级，对基准曝光时长进行补偿，得到少于基准曝光时长的补偿曝光时长，进而根据补偿曝光时长和基准感光度，采集至少一帧原始图像。
可以理解为，通过曝光补偿等级，对至少一帧原始图像分别采取不同的曝光补偿策略，使得待采集图像对应于不同的曝光度，以获得具有不同动态范围的图像。
需要说明的是，在曝光度最初的定义中，曝光度并不是指一个准确的数值，而是指“能够给出相同的曝光度的所有相机光圈与曝光时长的组合”。感光度、光圈和曝光时长确定了相机的曝光度，不同的参数组合可以产生相等的曝光度。曝光补偿等级是对曝光度进行调整的参数，使得某些图像欠曝光，某些图像过曝光，还可以使得某些图像恰当曝光。本申请实施例中，至少一帧原始图像对应的曝光补偿等级取值范围可以为EV-5至EV-1。
作为一种示例，采集低于基准曝光度的至少一帧原始图像，具体为两帧原始图像，此时两帧原始图像对应不同的曝光补偿等级，且两帧原始图像的曝光补偿等级小于EV0。具体地，根据两帧原始图像对应的曝光补偿等级对基准曝光时长进行补偿，得到少于基准曝光时长的补偿曝光时长，进而，根据补偿曝光时长和基准感光度，采集两帧原始图像。
本申请实施例中，通过根据预览图像的成像质量，确定基准曝光度的图像帧数n，采集符合基准曝光度的n帧原始图像，同时采集低于基准曝光度的至少一帧原始图像。由此，通过采集基准曝光度的n帧原始图像，同时采集低于基准曝光度的至少一帧原始图像，确定采集的多帧原始图像，进而提高了图像的成像质量，得到清晰度较高的成像效果。
作为一种示例，参见图7，图7为本申请实施例提供的一种基于多帧图像的图像处理方法的示例图。由图7可知，通过对预览画面进行检测后，确定拍摄场景为夜景场景时，控制图像传感器采集至少两帧感光度值为EV0的原始图像，一张EV-2的原始图像和一张EV-4的原始图像。其中，原始图像，为未经任何处理的RAW图像。采用与各帧图像对应的神经网络模型对各帧原始图像分别进行降噪处理，以提高画面的信噪比，然后，根据各帧降噪后的图像进行合成，得到高动态范围图像。其中，高动态范围图像同样为RAW格式图像。进一步地，对高动态范围图像进行人工智能的降噪处理，得到降噪后的目标降噪图像，将降噪后的目标降噪图像输入ISP处理器进行格式转换，将RAW格式的目标降噪图像转换为YUV格式图像。最终将YUV合适的目标降噪图像输入JPEG编码器，以得到最终的JPG图像。
为了实现上述实施例，本申请还提出一种基于多帧图像的图像处理装置。
图8为本申请实施例提供的一种基于多帧图像的图像处理装置的结构示意图。
如图8所示，该基于多帧图像的图像处理装置100包括：获取模块110、降噪模块120以及合成模块130。
获取模块110，用于获取多帧原始图像。
降噪模块120，用于根据各帧原始图像的曝光度，选择各帧原始图像对应的神经网络模型进行降噪处理，以得到各帧降噪后的原始图像。
合成模块130，用于根据各帧降噪后的原始图像，合成得到目标图像。
在本申请的一个实施例中，降噪模块120具体用于：根据各帧原始图像的曝光度，确定各帧原始图像对应的神经网络模型。根据各神经网络模型对对应原始图像进行噪声特性识别，以识别出各帧原始图像中的噪声特性，其中，神经网络模型，已学习得到在对应曝光度下，对应原始图像的感光度与噪声特性之间的映射关系。根据各帧原始图像中的噪声特性对对应的原始图像进行降噪处理，以得到各帧降噪后的原始图像。
在本申请的一个实施例中，神经网络模型，是在对应曝光度下，采用各感光度的样本图像对神经网络模型进行训练，直至神经网络模型识别出的噪声特性与相应样本图像中标注的噪声特性匹配时，神经网络模型训练完成。
在本申请的一个实施例中，多帧原始图像包括至少一帧第一图像和第二图像，其中，第一图像的曝光度低于第二图像的曝光度。降噪模块120，具体用于：根据第一图像的曝光度，确定第一图像对应的第一神经网络模型。根据第一神经网络模型对第一图像进行噪声特性识别。根据第一图像的噪声特性识别结果，对第一图进行降噪处理。如果根据第一图像的噪声特性识别结果确定第一图像的噪声特性识别准确度低于预设阈值，则采用第二神经网络模型，对第二图像进行噪声特性识别，第二神经网络模型的噪声特性识别准确度高于第一神经网络模型。根据第二图像的噪声特性识别结果，对第二图像进行降噪处理。
在本申请的一个实施例中，降噪模块120，还用于：如果根据第一图像的噪声特性识别结果确定第一图像的噪声特性识别准确度高于预设阈值，则采用第一神经网络模型，对第二图像进行噪声特性识别。
在本申请的一个实施例中，合成模块130，具体用于：将多帧降噪后的原始图像输入预设合成模型，以得到相应降噪后的原始图像中各区域的合成权重。根据合成权重，分区域对多帧降噪后的原始图像进行合成，以得到目标图像。
需要说明的是，前述对基于多帧图像的图像降噪方法实施例的解释说明也适用于该实施例的基于多帧图像的图像降噪装置，此处不再赘述。
本申请实施例的基于多帧图像的图像处理装置，通过获取多帧原始图像，并根据各帧原始图像的曝光度，选择各帧原始图像对应的神经网络模型进行降噪处理，以得到各帧降噪后的原始图像，以及通过各帧降噪后的原始图像合成目标图像。由此，通过对多帧原始图像均进行降噪处理，提高了降噪的有效性，使得合成的目标图像中在降低画面噪声的同时保留图像细节，得到清晰度更好的成像效果，提高了目标图像的成像效果。
为了实现上述实施例，本申请还提出一种电子设备200，参见图9，包括：图像传感器210、处理器220、存储器230及存储在存储器230上并可在处理器220上运行的计算机程序，图像传感器210与处理器220电连接，处理器220执行程序时，实现如上述实施例中的基于多帧图像的图像处理方法。
作为一种可能的情况，处理器220可以包括：图像信号处理ISP处理器和图形处理器(Graphics Processing Unit，简称GPU)，其中，ISP处理器与GPU连接。
其中，ISP处理器，用于控制图像传感器采集多帧原始图像，以及根据各帧降噪后的原始图像，合成得到目标图像；
GPU，用于根据各帧原始图像的曝光度，选择各帧原始图像对应的神经网络模型进行降噪处理，以得到各帧降噪后的原始图像。
作为一种示例，请参阅图10，在图9电子设备的基础上，图10中为本申请实施例提供的一种电子设备的原理示例图。电子设备200的存储器230包括非易失性存储器80、内存储器82和处理器220。存储器230中存储有计算机可读指令。计算机可读指令被存储器执行时，使得处理器230执行上述任一实施方式的基于多帧图像的图像处理方法。
如图10所示，该电子设备200包括通过系统总线81连接的处理器220、非易失性存储器80、内存储器82、显示屏83和输入装置84。其中，电子设备200的非易失性存储器80存储有操作系统和计算机可读指令。该计算机可读指令可被处理器220执行，以实现本申请实施方式的基于多帧图像的图像处理方法。该处理器220用于提供计算和控制能力，支撑整个电子设备200的运行。电子设备200的内存储器82为非易失性存储器80中的计算机可读指令的运行提供环境。电子设备200的显示屏83可以是液晶显示屏或者电子墨水显示屏等，输入装置84可以是显示屏83上覆盖的触摸层，也可以是电子设备200外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该电子设备200可以是手机、平板电脑、笔记本电脑、个人数字助理或穿戴式设备(例如智能手环、智能手表、智能头盔、智能眼镜)等。本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的示意图，并不构成对本申请方案所应用于其上的电子设备200的限定，具体的电子设备200可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
为了实现上述实施例，本申请还提出一种图像处理电路，请参阅图11，图11为本申请实施例提供的一种图像处理电路的原理示意图，如图11所示，图像处理电路90包括图像信号处理ISP处理器91(ISP处理器91作为处理器220)和图形处理器GPU。
ISP处理器，与图像传感器电连接，用于控制图像传感器获取多帧原始图像；以及，根据各帧降噪后的原始图像，合成得到目标图像；
GPU，与ISP处理器电连接，用于根据各帧原始图像的曝光度，选择各帧原始图像对应的神经网络模型进行降噪处理，以得到各帧降噪后的原始图像。
摄像头93捕捉的图像数据首先由ISP处理器91处理，ISP处理器91对图像数据进行分析以捕捉可用于确定摄像头93的一个或多个控制参数的图像统计信息。摄像模组310可包括一个或多个透镜932和图像传感器934。图像传感器934可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器934可获取每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器91处理的一组原始图像数据。传感器94(如陀螺仪)可基于传感器94接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器91。传感器94接口可以为SMIA(StandardMobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外，图像传感器934也可将原始图像数据发送给传感器94，传感器94可基于传感器94接口类型把原始图像数据提供给ISP处理器91，或者传感器94将原始图像数据存储到图像存储器95中。
ISP处理器91按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器91可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
ISP处理器91还可从图像存储器95接收图像数据。例如，传感器94接口将原始图像数据发送给图像存储器95，图像存储器95中的原始图像数据再提供给ISP处理器91以供处理。图像存储器95可为存储器330、存储器330的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。
当接收到来自图像传感器934接口或来自传感器94接口或来自图像存储器95的原始图像数据时，ISP处理器91可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器95，以便在被显示之前进行另外的处理。ISP处理器91从图像存储器95接收处理数据，并对处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器91处理后的图像数据可输出给显示器97(显示器97可包括显示屏83)，以供用户观看和/或由图形引擎或GPU进一步处理。此外，ISP处理器91的输出还可发送给图像存储器95，且显示器97可从图像存储器95读取图像数据。在一个实施例中，图像存储器95可被配置为实现一个或多个帧缓冲器。此外，ISP处理器91的输出可发送给编码器/解码器96，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器97设备上之前解压缩。编码器/解码器96可由CPU或GPU或协处理器实现。
ISP处理器91确定的统计数据可发送给控制逻辑器92单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜932阴影校正等图像传感器934统计信息。控制逻辑器92可包括执行一个或多个例程(如固件)的处理元件和/或微控制器，一个或多个例程可根据接收的统计数据，确定摄像头93的控制参数及ISP处理器91的控制参数。例如，摄像头93的控制参数可包括传感器94控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜932控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜932阴影校正参数。
以下为运用图11中图像处理技术实现基于多帧图像的图像降噪方法的步骤：ISP处理器控制图像传感器获取多帧原始图像；GPU根据各帧原始图像的曝光度，选择各帧原始图像对应的神经网络模型进行降噪处理，以得到各帧降噪后的原始图像；
ISP处理器根据各帧降噪后的原始图像，合成得到目标图像。
可以理解的是，上述ISP处理器还可以对目标图像进行降噪处理。
为了实现上述实施例，本申请实施例还提供了一种存储介质，当存储介质中的指令由处理器执行时，使得处理器执行以下步骤：获取多帧原始图像；根据各帧原始图像的曝光度，选择各帧原始图像对应的神经网络模型进行降噪处理，以得到各帧降噪后的原始图像；根据各帧降噪后的原始图像，合成得到目标图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (16)

1.一种基于多帧图像的图像处理方法，其特征在于，包括：
获取多帧原始图像；
根据各帧原始图像的曝光度，选择各帧原始图像对应的神经网络模型进行降噪处理，以得到各帧降噪后的原始图像；
根据各帧降噪后的原始图像，合成得到目标图像。
2.根据权利要求1所述的方法，其特征在于，所述根据各帧原始图像的曝光度，选择各帧原始图像对应的神经网络模型进行降噪处理，包括：
根据各帧原始图像的曝光度，确定各帧原始图像对应的神经网络模型；
根据各神经网络模型对对应原始图像进行噪声特性识别，以识别出各帧原始图像中的噪声特性，其中，所述神经网络模型，已学习得到在对应曝光度下，对应原始图像的感光度与噪声特性之间的映射关系；
根据各帧原始图像中的噪声特性对对应的原始图像进行降噪处理，以得到各帧降噪后的原始图像。
3.根据权利要求2所述的方法，其特征在于，所述神经网络模型，是在对应曝光度下，采用各感光度的样本图像对所述神经网络模型进行训练，直至所述神经网络模型识别出的噪声特性与相应样本图像中标注的噪声特性匹配时，所述神经网络模型训练完成。
4.根据权利要求2所述的方法，其特征在于，所述多帧原始图像包括至少一帧第一图像和第二图像，其中，所述第一图像的曝光度低于所述第二图像的曝光度；
所述根据各帧原始图像的曝光度，选择各帧原始图像对应的神经网络模型进行降噪处理，包括：
根据所述第一图像的曝光度，确定所述第一图像对应的第一神经网络模型；
根据所述第一神经网络模型对所述第一图像进行噪声特性识别；
根据所述第一图像的噪声特性识别结果，对所述第一图进行降噪处理；
如果根据所述第一图像的噪声特性识别结果确定所述第一图像的噪声特性识别准确度低于预设阈值，则采用第二神经网络模型，对所述第二图像进行噪声特性识别，所述第二神经网络模型的噪声特性识别准确度高于所述第一神经网络模型；
根据所述第二图像的噪声特性识别结果，对所述第二图像进行降噪处理。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
如果根据所述第一图像的噪声特性识别结果确定所述第一图像的噪声特性识别准确度高于预设阈值，则采用所述第一神经网络模型，对所述第二图像进行噪声特性识别。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述根据各帧降噪后的原始图像，合成得到目标图像，包括：
将所述多帧降噪后的原始图像输入预设合成模型，以得到相应降噪后的原始图像中各区域的合成权重；
根据所述合成权重，分区域对所述多帧降噪后的原始图像进行合成，以得到所述目标图像。
7.一种基于多帧图像的图像处理装置，其特征在于，包括：
获取模块，用于获取多帧原始图像；
降噪模块，用于根据各帧原始图像的曝光度，选择各帧原始图像对应的神经网络模型进行降噪处理，以得到各帧降噪后的原始图像；
合成模块，用于根据各帧降噪后的原始图像，合成得到目标图像。
8.根据权利要求7所述的装置，其特征在于，所述降噪模块，具体用于：
根据各帧原始图像的曝光度，确定各帧原始图像对应的神经网络模型；
根据各神经网络模型对对应原始图像进行噪声特性识别，以识别出各帧原始图像中的噪声特性，其中，所述神经网络模型，已学习得到在对应曝光度下，对应原始图像的感光度与噪声特性之间的映射关系；
根据各帧原始图像中的噪声特性对对应的原始图像进行降噪处理，以得到各帧降噪后的原始图像。
9.根据权利要求8所述的装置，其特征在于，所述神经网络模型，是在对应曝光度下，采用各感光度的样本图像对所述神经网络模型进行训练，直至所述神经网络模型识别出的噪声特性与相应样本图像中标注的噪声特性匹配时，所述神经网络模型训练完成。
10.根据权利要求8所述的装置，其特征在于，所述多帧原始图像包括至少一帧第一图像和第二图像，其中，所述第一图像的曝光度低于所述第二图像的曝光度；
所述降噪模块，具体用于：
根据所述第一图像的曝光度，确定所述第一图像对应的第一神经网络模型；
根据所述第一神经网络模型对所述第一图像进行噪声特性识别；
根据所述第一图像的噪声特性识别结果，对所述第一图进行降噪处理；
如果根据所述第一图像的噪声特性识别结果确定所述第一图像的噪声特性识别准确度低于预设阈值，则采用第二神经网络模型，对所述第二图像进行噪声特性识别，所述第二神经网络模型的噪声特性识别准确度高于所述第一神经网络模型；
根据所述第二图像的噪声特性识别结果，对所述第二图像进行降噪处理。
11.根据权利要求10所述的装置，其特征在于，所述降噪模块，还用于：
如果根据所述第一图像的噪声特性识别结果确定所述第一图像的噪声特性识别准确度高于预设阈值，则采用所述第一神经网络模型，对所述第二图像进行噪声特性识别。
12.根据权利要求7-11任一项所述的装置，其特征在于，所述合成模块，具体用于：
将所述多帧降噪后的原始图像输入预设合成模型，以得到相应降噪后的原始图像中各区域的合成权重；
根据所述合成权重，分区域对所述多帧降噪后的原始图像进行合成，以得到所述目标图像。
13.一种电子设备，其特征在于，包括：图像传感器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述图像传感器与所述处理器电连接，所述处理器执行所述程序时，实现如权利要求1-6中任一所述的基于多帧图像的图像处理方法。
14.根据权利要求13所述的电子设备，其特征在于，所述处理器包括图像信号处理ISP处理器和图形处理器GPU，其中，所述ISP处理器与所述GPU连接；
所述ISP处理器，用于控制所述图像传感器采集多帧原始图像，以及根据各帧降噪后的原始图像，合成得到目标图像；
所述GPU，用于根据各帧原始图像的曝光度，选择各帧原始图像对应的神经网络模型进行降噪处理，以得到各帧降噪后的原始图像。
15.一种图像处理电路，其特征在于，所述图像处理电路包括图像信号处理ISP处理器和图形处理器GPU；
所述ISP处理器，与图像传感器电连接，用于控制所述图像传感器获取多帧原始图像；以及，根据各帧降噪后的原始图像，合成得到目标图像；
所述GPU，与所述ISP处理器电连接，用于根据各帧原始图像的曝光度，选择各帧原始图像对应的神经网络模型进行降噪处理，以得到各帧降噪后的原始图像。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的基于多帧图像的图像处理方法。
CN201910509712.9A 2019-06-13 2019-06-13 基于多帧图像的图像处理方法和装置 Active CN110191291B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910509712.9A CN110191291B (zh) 2019-06-13 2019-06-13 基于多帧图像的图像处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910509712.9A CN110191291B (zh) 2019-06-13 2019-06-13 基于多帧图像的图像处理方法和装置

Publications (2)

Publication Number Publication Date
CN110191291A true CN110191291A (zh) 2019-08-30
CN110191291B CN110191291B (zh) 2021-06-25

Family

ID=67721531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910509712.9A Active CN110191291B (zh) 2019-06-13 2019-06-13 基于多帧图像的图像处理方法和装置

Country Status (1)

Country Link
CN (1) CN110191291B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717871A (zh) * 2019-09-30 2020-01-21 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111105376A (zh) * 2019-12-19 2020-05-05 电子科技大学 基于双分支神经网络的单曝光高动态范围图像生成方法
CN111242860A (zh) * 2020-01-07 2020-06-05 影石创新科技股份有限公司 超级夜景图像的生成方法、装置、电子设备及存储介质
CN111402153A (zh) * 2020-03-10 2020-07-10 上海富瀚微电子股份有限公司 一种图像处理方法及系统
CN111583144A (zh) * 2020-04-30 2020-08-25 深圳市商汤智能传感科技有限公司 图像降噪方法及装置、电子设备和存储介质
CN111711753A (zh) * 2020-06-24 2020-09-25 中国银行股份有限公司 照片上传方法及装置、存储介质及电子设备
CN112003996A (zh) * 2020-08-12 2020-11-27 Oppo广东移动通信有限公司 一种视频的生成方法、终端及计算机存储介质
CN112532892A (zh) * 2019-09-19 2021-03-19 华为技术有限公司 图像处理方法及电子装置
CN113256501A (zh) * 2020-02-10 2021-08-13 武汉Tcl集团工业研究院有限公司 一种图像处理方法、存储介质及终端设备
CN113705553A (zh) * 2020-05-20 2021-11-26 深圳清华大学研究院 视觉任务执行方法、装置、电子设备、存储介质及系统
US11580327B2 (en) 2020-06-12 2023-02-14 Beijing Xiaomi Pinecone Electronics Co., Ltd. Image denoising model training method, imaging denoising method, devices and storage medium

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104902143A (zh) * 2015-05-21 2015-09-09 广东欧珀移动通信有限公司 一种基于分辨率的图像去噪方法及装置
CN105306788A (zh) * 2015-10-27 2016-02-03 广东欧珀移动通信有限公司 一种拍照图像的降噪方法和装置
JP2016149631A (ja) * 2015-02-12 2016-08-18 オリンパス株式会社 撮像装置および撮像方法
WO2017116503A1 (en) * 2015-12-28 2017-07-06 Medtronic Minimed, Inc. Methods for continuous glucose monitoring
CN107220956A (zh) * 2017-04-18 2017-09-29 天津大学 一种基于多幅具有不同曝光度的ldr图像的hdr图像融合方法
CN107820022A (zh) * 2017-10-30 2018-03-20 维沃移动通信有限公司 一种拍照方法及移动终端
CN108156369A (zh) * 2017-12-06 2018-06-12 广东欧珀移动通信有限公司 图像处理方法和装置
CN108280811A (zh) * 2018-01-23 2018-07-13 哈尔滨工业大学深圳研究生院 一种基于神经网络的图像去噪方法和系统
CN108513672A (zh) * 2017-07-27 2018-09-07 深圳市大疆创新科技有限公司 增强图像对比度的方法、设备及存储介质
CN109194855A (zh) * 2018-09-20 2019-01-11 Oppo广东移动通信有限公司 成像方法、装置和电子设备
CN109218613A (zh) * 2018-09-18 2019-01-15 Oppo广东移动通信有限公司 高动态范围图像合成方法、装置、终端设备和存储介质
CN109348088A (zh) * 2018-11-22 2019-02-15 Oppo广东移动通信有限公司 图像降噪方法、装置、电子设备及计算机可读存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016149631A (ja) * 2015-02-12 2016-08-18 オリンパス株式会社 撮像装置および撮像方法
CN104902143A (zh) * 2015-05-21 2015-09-09 广东欧珀移动通信有限公司 一种基于分辨率的图像去噪方法及装置
CN105306788A (zh) * 2015-10-27 2016-02-03 广东欧珀移动通信有限公司 一种拍照图像的降噪方法和装置
WO2017116503A1 (en) * 2015-12-28 2017-07-06 Medtronic Minimed, Inc. Methods for continuous glucose monitoring
CN107220956A (zh) * 2017-04-18 2017-09-29 天津大学 一种基于多幅具有不同曝光度的ldr图像的hdr图像融合方法
CN108513672A (zh) * 2017-07-27 2018-09-07 深圳市大疆创新科技有限公司 增强图像对比度的方法、设备及存储介质
CN107820022A (zh) * 2017-10-30 2018-03-20 维沃移动通信有限公司 一种拍照方法及移动终端
CN108156369A (zh) * 2017-12-06 2018-06-12 广东欧珀移动通信有限公司 图像处理方法和装置
CN108280811A (zh) * 2018-01-23 2018-07-13 哈尔滨工业大学深圳研究生院 一种基于神经网络的图像去噪方法和系统
CN109218613A (zh) * 2018-09-18 2019-01-15 Oppo广东移动通信有限公司 高动态范围图像合成方法、装置、终端设备和存储介质
CN109194855A (zh) * 2018-09-20 2019-01-11 Oppo广东移动通信有限公司 成像方法、装置和电子设备
CN109348088A (zh) * 2018-11-22 2019-02-15 Oppo广东移动通信有限公司 图像降噪方法、装置、电子设备及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈晔曜 等: "高动态范围图像融合过程中的噪声抑制算法", 《光电工程》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112532892B (zh) * 2019-09-19 2022-04-12 华为技术有限公司 图像处理方法及电子装置
CN112532892A (zh) * 2019-09-19 2021-03-19 华为技术有限公司 图像处理方法及电子装置
CN110717871A (zh) * 2019-09-30 2020-01-21 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111105376A (zh) * 2019-12-19 2020-05-05 电子科技大学 基于双分支神经网络的单曝光高动态范围图像生成方法
CN111105376B (zh) * 2019-12-19 2022-08-02 电子科技大学 基于双分支神经网络的单曝光高动态范围图像生成方法
CN111242860A (zh) * 2020-01-07 2020-06-05 影石创新科技股份有限公司 超级夜景图像的生成方法、装置、电子设备及存储介质
CN111242860B (zh) * 2020-01-07 2024-02-27 影石创新科技股份有限公司 超级夜景图像的生成方法、装置、电子设备及存储介质
CN113256501A (zh) * 2020-02-10 2021-08-13 武汉Tcl集团工业研究院有限公司 一种图像处理方法、存储介质及终端设备
CN111402153A (zh) * 2020-03-10 2020-07-10 上海富瀚微电子股份有限公司 一种图像处理方法及系统
CN111402153B (zh) * 2020-03-10 2023-06-13 上海富瀚微电子股份有限公司 一种图像处理方法及系统
CN111583144A (zh) * 2020-04-30 2020-08-25 深圳市商汤智能传感科技有限公司 图像降噪方法及装置、电子设备和存储介质
CN111583144B (zh) * 2020-04-30 2023-08-25 深圳市商汤智能传感科技有限公司 图像降噪方法及装置、电子设备和存储介质
CN113705553A (zh) * 2020-05-20 2021-11-26 深圳清华大学研究院 视觉任务执行方法、装置、电子设备、存储介质及系统
CN113705553B (zh) * 2020-05-20 2024-01-26 深圳清华大学研究院 视觉任务执行方法、装置、电子设备、存储介质及系统
US11580327B2 (en) 2020-06-12 2023-02-14 Beijing Xiaomi Pinecone Electronics Co., Ltd. Image denoising model training method, imaging denoising method, devices and storage medium
CN111711753A (zh) * 2020-06-24 2020-09-25 中国银行股份有限公司 照片上传方法及装置、存储介质及电子设备
CN112003996B (zh) * 2020-08-12 2023-04-18 Oppo广东移动通信有限公司 一种视频的生成方法、终端及计算机存储介质
CN112003996A (zh) * 2020-08-12 2020-11-27 Oppo广东移动通信有限公司 一种视频的生成方法、终端及计算机存储介质

Also Published As

Publication number Publication date
CN110191291B (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN110072051B (zh) 基于多帧图像的图像处理方法和装置
CN110072052B (zh) 基于多帧图像的图像处理方法、装置、电子设备
CN110191291A (zh) 基于多帧图像的图像处理方法和装置
CN110290289B (zh) 图像降噪方法、装置、电子设备以及存储介质
CN110062160B (zh) 图像处理方法和装置
CN110166708B (zh) 夜景图像处理方法、装置、电子设备以及存储介质
CN109068067B (zh) 曝光控制方法、装置和电子设备
CN108900782B (zh) 曝光控制方法、装置以及电子设备
CN110248106B (zh) 图像降噪方法、装置、电子设备以及存储介质
WO2020207261A1 (zh) 基于多帧图像的图像处理方法、装置、电子设备
CN109040609B (zh) 曝光控制方法、装置、电子设备和计算机可读存储介质
CN110166707B (zh) 图像处理方法、装置、电子设备以及存储介质
JP2021530911A (ja) 夜景撮影方法、装置、電子機器および記憶媒体
CN110166709B (zh) 夜景图像处理方法、装置、电子设备以及存储介质
CN110264420B (zh) 基于多帧图像的图像处理方法和装置
CN110166706B (zh) 图像处理方法、装置、电子设备以及存储介质
CN109788207A (zh) 图像合成方法、装置、电子设备及可读存储介质
CN109068058A (zh) 超级夜景模式下的拍摄控制方法、装置和电子设备
CN109151333B (zh) 曝光控制方法、装置以及电子设备
CN109348088A (zh) 图像降噪方法、装置、电子设备及计算机可读存储介质
CN110166711B (zh) 图像处理方法、装置、电子设备以及存储介质
CN109672819A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN109089046A (zh) 图像降噪方法、装置、计算机可读存储介质及电子设备
CN109005369A (zh) 曝光控制方法、装置、电子设备以及计算机可读存储介质
CN108833802A (zh) 曝光控制方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant