CN110072052B - 基于多帧图像的图像处理方法、装置、电子设备 - Google Patents

基于多帧图像的图像处理方法、装置、电子设备 Download PDF

Info

Publication number
CN110072052B
CN110072052B CN201910280172.1A CN201910280172A CN110072052B CN 110072052 B CN110072052 B CN 110072052B CN 201910280172 A CN201910280172 A CN 201910280172A CN 110072052 B CN110072052 B CN 110072052B
Authority
CN
China
Prior art keywords
image
images
frame
noise
original images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910280172.1A
Other languages
English (en)
Other versions
CN110072052A (zh
Inventor
林泉佑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910280172.1A priority Critical patent/CN110072052B/zh
Publication of CN110072052A publication Critical patent/CN110072052A/zh
Priority to PCT/CN2020/081471 priority patent/WO2020207262A1/zh
Application granted granted Critical
Publication of CN110072052B publication Critical patent/CN110072052B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Abstract

本申请提出一种基于多帧图像的图像处理方法、装置、电子设备，该方法包括获取多帧原始图像；对部分帧原始图像基于人工智能降噪，得到第一降噪图像，并对其它帧原始图像基于人工智能降噪，得到第二降噪图像，部分帧原始图像为多帧原始图像中的至少两帧的原始图像；将第一降噪图像转换为第一YUV图像，并将第二降噪图像转换为第二YUV图像；根据第一YUV图像和第二YUV图像，合成得到高动态范围图像。通过本申请能够更加精确地区分出高动态范围图像的画面噪声和有效细节，有助于减少原始图像采集帧数，使得整体拍摄过程需要的总时长得到缩短，避免了拍摄时长过长导致画面模糊的情况，有利于清晰拍摄动态夜景。

Description

基于多帧图像的图像处理方法、装置、电子设备
技术领域
本申请涉及成像技术领域，尤其涉及一种基于多帧图像的图像处理方法、装置、电子设备。
背景技术
随着智能终端技术的发展，移动终端设备(如智能手机、平板电脑等)的使用越来越普及。绝大多数移动终端设备都内置有摄像头，并且随着移动终端处理能力的增强以及摄像头技术的发展，内置摄像头的性能越来越强大，拍摄图像的质量也越来越高。如今，移动终端设备均操作简单又便于携带，在日常生活中越来越多的用户使用智能手机、平板电脑等移动终端设备拍照。
智能移动终端在给人们的日常拍照带来便捷的同时，人们对拍摄的图像质量的要求也越来越高，尤其在夜景这一特殊场景中，图像质量较低。
目前，通常采集多帧原始图像进行高动态合成，但是在采集多帧原始图像过程中会引入噪声，导致最终合成的图像不清晰。因此，在最大限度的保留图像细节的情况下，对图像降噪处理，是一个亟待解决的问题。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的目的在于提出一种基于多帧图像的图像处理方法、装置、电子设备，能够更加精确地区分出高动态范围图像的画面噪声和有效细节，有助于减少原始图像采集帧数，使得整体拍摄过程需要的总时长得到缩短，避免了拍摄时长过长导致画面模糊的情况，有利于清晰拍摄动态夜景。
为达到上述目的，本申请第一方面实施例提出的基于多帧图像的图像处理方法，包括：获取多帧原始图像；对部分帧原始图像基于人工智能降噪，得到第一降噪图像，并对其它帧原始图像基于人工智能降噪，得到第二降噪图像，所述部分帧原始图像为所述多帧原始图像中的至少两帧的原始图像；将所述第一降噪图像转换为第一YUV图像，并将所述第二降噪图像转换为第二YUV图像；根据所述第一YUV图像和所述第二YUV图像，合成得到高动态范围图像。
本申请第一方面实施例提出的基于多帧图像的图像处理方法，通过获取多帧原始图像；对部分帧原始图像基于人工智能降噪，得到第一降噪图像，并对其它帧原始图像基于人工智能降噪，得到第二降噪图像，将第一降噪图像转换为第一YUV图像，并将第二降噪图像转换为第二YUV图像，根据第一YUV图像和第二YUV图像，合成得到高动态范围图像，能够更加精确地区分出高动态范围图像的画面噪声和有效细节，有助于减少原始图像采集帧数，使得整体拍摄过程需要的总时长得到缩短，避免了拍摄时长过长导致画面模糊的情况，有利于清晰拍摄动态夜景。
为达到上述目的，本申请第二方面实施例提出的基于多帧图像的图像处理装置，包括：获取模块，用于获取多帧原始图像；降噪模块，用于对部分帧原始图像基于人工智能降噪，得到第一降噪图像，并对其它帧原始图像基于人工智能降噪，得到第二降噪图像，所述部分帧原始图像为所述多帧原始图像中的至少两帧的原始图像；转换模块，用于将所述第一降噪图像转换为第一YUV图像，并将所述第二降噪图像转换为第二YUV图像；合成模块，用于根据所述第一YUV图像和所述第二YUV图像，合成得到高动态范围图像。
本申请第二方面实施例提出的基于多帧图像的图像处理装置，通过获取多帧原始图像；对部分帧原始图像基于人工智能降噪，得到第一降噪图像，并对其它帧原始图像基于人工智能降噪，得到第二降噪图像，将第一降噪图像转换为第一YUV图像，并将第二降噪图像转换为第二YUV图像，根据第一YUV图像和第二YUV图像，合成得到高动态范围图像，能够更加精确地区分出高动态范围图像的画面噪声和有效细节，有助于减少原始图像采集帧数，使得整体拍摄过程需要的总时长得到缩短，避免了拍摄时长过长导致画面模糊的情况，有利于清晰拍摄动态夜景。
为达到上述目的，本申请第三方面实施例提出的电子设备，包括：图像传感器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述图像传感器与所述处理器电连接，所述处理器执行所述程序时，实现本申请第一方面实施例提出的基于多帧图像的图像处理方法。
本申请第三方面实施例提出的电子设备，通过获取多帧原始图像；对部分帧原始图像基于人工智能降噪，得到第一降噪图像，并对其它帧原始图像基于人工智能降噪，得到第二降噪图像，将第一降噪图像转换为第一YUV图像，并将第二降噪图像转换为第二YUV图像，根据第一YUV图像和第二YUV图像，合成得到高动态范围图像，能够更加精确地区分出高动态范围图像的画面噪声和有效细节，有助于减少原始图像采集帧数，使得整体拍摄过程需要的总时长得到缩短，避免了拍摄时长过长导致画面模糊的情况，有利于清晰拍摄动态夜景。
为达到上述目的，本申请第四方面实施例提出的图像处理电路，包括：图像信号处理ISP处理器和图形处理器GPU；所述ISP处理器，与图像传感器电连接，用于控制所述图像传感器获取多帧原始图像；所述GPU，与所述ISP处理器电连接，用于对部分帧原始图像基于人工智能降噪，得到第一降噪图像，并对其它帧原始图像基于人工智能降噪，得到第二降噪图像，所述部分帧原始图像为所述多帧原始图像中的至少两帧的原始图像；所述ISP处理器，还用于将所述第一降噪图像转换为第一YUV图像，并将所述第二降噪图像转换为第二YUV图像；根据所述第一YUV图像和所述第二YUV图像，合成得到高动态范围图像。
本申请第四方面实施例提出的图像处理电路，通过获取多帧原始图像；对部分帧原始图像基于人工智能降噪，得到第一降噪图像，并对其它帧原始图像基于人工智能降噪，得到第二降噪图像，将第一降噪图像转换为第一YUV图像，并将第二降噪图像转换为第二YUV图像，根据第一YUV图像和第二YUV图像，合成得到高动态范围图像，能够更加精确地区分出高动态范围图像的画面噪声和有效细节，有助于减少原始图像采集帧数，使得整体拍摄过程需要的总时长得到缩短，避免了拍摄时长过长导致画面模糊的情况，有利于清晰拍摄动态夜景。
为达到上述目的，本申请第五方面实施例提出的计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请第一方面实施例提出的基于多帧图像的图像处理方法。
本申请第五方面实施例提出的计算机可读存储介质，通过获取多帧原始图像；对部分帧原始图像基于人工智能降噪，得到第一降噪图像，并对其它帧原始图像基于人工智能降噪，得到第二降噪图像，将第一降噪图像转换为第一YUV图像，并将第二降噪图像转换为第二YUV图像，根据第一YUV图像和第二YUV图像，合成得到高动态范围图像，能够更加精确地区分出高动态范围图像的画面噪声和有效细节，有助于减少原始图像采集帧数，使得整体拍摄过程需要的总时长得到缩短，避免了拍摄时长过长导致画面模糊的情况，有利于清晰拍摄动态夜景。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例所提供的第一种基于多帧图像的图像处理方法的流程示意图；
图2为本申请中的一种应用流程示意图；
图3为本申请实施例所提供的第二种基于多帧图像的图像处理方法的流程示意图；
图4为本申请实施例所提供的第三种基于多帧图像的图像处理方法的流程示意图；
图5为本申请实施例提供的第四种基于多帧图像的图像处理方法的流程示意图；
图6为本申请实施例提供的第一种基于多帧图像的图像处理装置的结构示意图；
图7为本申请实施例提供的第二种基于多帧图像的图像处理装置的结构示意图；
图8为本申请实施例提供的一种电子设备的结构示意图；
图9为本申请实施例提供的一种电子设备的原理示意图；
图10为本申请实施例提供的一种图像处理电路的原理示意图。
具体实施方式
下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。相反，本申请的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
针对相关技术中，高动态高动态范围图像时，拍摄的帧数较多，采帧时间长，可能会由于抖动导致拍摄的图像存在拖影，或者会在拍摄的过程中引入噪声，导致图像画面模糊的问题，本申请提出了一种基于多帧图像的图像处理方法，通过获取多帧原始图像；对部分帧原始图像基于人工智能降噪，得到第一降噪图像，并对其它帧原始图像基于人工智能降噪，得到第二降噪图像，部分帧原始图像为多帧原始图像中的至少两帧的原始图像；将第一降噪图像转换为第一YUV图像，并将第二降噪图像转换为第二YUV图像；根据第一YUV图像和第二YUV图像，合成得到高动态范围图像。
下面参考附图描述本申请实施例的基于多帧图像的图像处理方法和装置。
图1为本申请实施例所提供的第一种基于多帧图像的图像处理方法的流程示意图。
本申请实施例的基于多帧图像的图像处理方法，应用于电子设备，该电子设备可以为手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、成像设备的硬件设备。
如图1所示，该基于多帧图像的图像处理方法包括以下步骤：
步骤101，获取多帧原始图像。
其中，原始图像可以例如通过电子设备的图像传感器采集得到的未做任何处理的RAW格式图像，对此不作限制。
其中，RAW格式图像就是图像传感器将捕捉到的光源信号转化为数字信号的原始图像。RAW格式图像记录了数码相机传感器的原始信息，同时记录了由相机拍摄所产生的一些元数据，如感光度的设置、快门速度、光圈值、白平衡等。
可以通过获取当前拍摄场景的预览图像，以确定当前拍摄场景是否属于夜景场景。由于不同场景下环境亮度值不同，预览图像内容也不相同，可以根据当前拍摄场景预览图像的画面内容以及各区域的环境亮度值，确定当前拍摄场景属于夜景场景后，启动夜景拍摄模式，在不同曝光量下采集多帧原始图像。
例如，预览图像的画面内容包括夜晚天空或者夜景灯源等，或者预览图像的各区域中环境亮度值符合夜景环境下图像的亮度分布特性，即可确定当前拍摄场景属于夜景场景。
由于在夜景拍摄时，拍摄场景中光线强度等环境因素的限制，电子设备在拍摄图像时，若采集单帧原始图像无法较好同时顾及到夜景中的灯光等高亮区域，以及夜景中的低亮区域。
因此，电子设备可以通过拍摄多帧原始图像，用于图像合成，另外还可以用于选取画面清晰的图像进行合成成像。
为了同时顾及到夜景中的灯光等高亮区域，以及夜景中的低亮区域，可以控制电子设备的图像传感器在不同曝光量下，拍摄得到的多帧原始图像。例如：采用低曝光量拍摄以对高亮区清晰成像，采用高曝光量拍摄以对低亮区清晰成像。
步骤102，对部分帧原始图像基于人工智能降噪，得到第一降噪图像，并对其它帧原始图像基于人工智能降噪，得到第二降噪图像，部分帧原始图像为多帧原始图像中的至少两帧的原始图像。
本申请实施例中，部分帧原始图像为至少两帧相同曝光量的第一图像，其它帧原始图像为曝光量低于第一图像的至少一帧第二图像。
本申请实施例中，通过分别对部分帧原始图像基于人工智能降噪，得到第一降噪图像，并对其它帧原始图像基于人工智能降噪，得到第二降噪图像，是考虑到部分帧原始图像和其它帧原始图像的噪声特性并不完全相同，因此使得降噪更具有针对性，能够有效提升降噪效果。
可以理解的是，由于电子设备中的图像传感器在拍摄的过程中会受到不同程度的来自周边电路和本身像素间的光电磁干扰，因此拍摄得到的原始图像不可避免的存在噪声，并且，干扰程度的不同，拍摄得到的图像的清晰度也不相同。因此采集的多帧原始图像也必然存在噪声，可以进一步对部分帧原始图像基于人工智能降噪，得到第一降噪图像，并对其它帧原始图像基于人工智能降噪，得到第二降噪图像。
例如，在夜景拍摄场景中，通常使用较大的光圈和较长的曝光时间拍摄得到图像，此时如果选择较高的感光度来减少了曝光时间，拍摄得到的图像必然会产生噪声。
本申请实施例中，可以首先对部分帧原始图像进行多帧融合降噪，得到初始降噪图像。
例如，对部分帧原始图像进行图像对齐处理，合成为一张多帧融合图像(可以被称为初始降噪图像)，相当于经过了时域降噪，初步地提升了画面的信噪比。
而后，采用第一神经网络模型，对初始降噪图像进行噪声特性识别，并采用第二神经网络模型，对其它帧原始图像中的各帧原始图像进行噪声特性识别，能够同时对初始降噪图像和各帧原始图像中的高光区域和暗光区域降噪，进而可以得到较佳的降噪效果的降噪图像。
需要说明的是，对部分帧原始图像基于人工智能降噪，得到第一降噪图像，并对其它帧原始图像基于人工智能降噪，得到第二降噪图像，其中的第一降噪图像和第二降噪图像为未经加工处理的RAW图像。
本申请实施例中，对部分帧原始图像基于人工智能降噪时，可以采用第一神经网络模型，对初始降噪图像进行噪声特性识别，其中，第一神经网络模型，已学习得到初始降噪图像的感光度与噪声特性之间的映射关系。
本申请实施例中，对其它帧原始图像基于人工智能降噪时，可以分别针对其它帧原始图像中的各帧原始图像，采用第二神经网络模型，对其它帧原始图像中的各帧原始图像进行噪声特性识别，第二神经网络模型，已学习得到各帧原始图像的感光度与噪声特性之间的映射关系。
作为一种可能的实现方式，由于第一神经网络模型，已学习得到初始降噪图像的感光度与噪声特性之间的映射关系。因此，可以将初始降噪图像输入第一神经网络模型中，以采用第一神经网络模型对初始降噪图像进行噪声特性识别，从而识别出初始降噪图像的噪声特性，根据识别出的噪声特性，对初始降噪图像降噪，得到第一降噪图像，从而达到了降噪的目的，提高了图像的信噪比。
针对采用第二神经网络模型，对其它帧原始图像中的各帧原始图像进行噪声特性识别的描述可以以此类推。
其中，感光度，又称为ISO值，是指衡量底片对于光的灵敏程度的指标。对于感光度较低的底片，需要曝光更长的时间以达到跟感光度较高的底片相同的成像。数码相机的感光度是一种类似于胶卷感光度的一种指标，数码相机的ISO可以通过调整感光器件的灵敏度或者合并感光点来调整，也就是说，可以通过提升感光器件的光线敏感度或者合并几个相邻的感光点来达到提升ISO的目的。
需要说明的是，无论是数码或是底片摄影，ISO值越低，采集的图像质量越高，图像细节表现越细腻，ISO值越高，光线感应性能越强，也就越能接收更多的光线，从而产生更多的热量，因此，使用相对较高的感光度通常会引入较多的噪声，从而导致图像质量降低。
本申请实施例中，噪声特性，可以是由于图像传感器引起的随机噪声的统计特性。这里说的噪声主要包括热噪声和散粒噪声，其中，热噪声符合高斯分布，散粒噪声符合泊松分布，本申请实施例中的统计特性可以指噪声的方差值，当然也可以是其他可能情况的值，在此不做限定。
步骤103，将第一降噪图像转换为第一YUV图像，并将第二降噪图像转换为第二YUV图像。
可选地，电子设备的显示器能够处理的图像格式为YUV格式。
其中，图像的亮度信号被称作Y，色度信号是由两个互相独立的信号组成，视颜色系统和格式不同，两种色度信号经常被称作U和V。在这种情况下，得到RAW格式的高动态范围图像之后，可以通过图像信号处理器(Image Signal Processing，ISP)对高动态范围图像进行格式转换，将RAW格式的高动态范围图像转换为YUV格式图像。由于显示器的显示界面尺寸有限，为了达到更好的预览效果，可以将转换得到的YUV格式图像压缩至预览尺寸以进行预览显示。本申请实施例中，上述得到的第一降噪图像的数量为一张，而得到的第二降噪图像与其它原始图像中所包含的原始图像的数量相对应。
因此，本申请中，可以将第一降噪图像转换为第一YUV图像，并分别将每一张第二降噪图像均转换为第二YUV图像，得到多张第二YUV图像，使得在合成高动态范围图像时，进行合成的各种输入帧图像均已经过精准的降噪，在合成的时候可以有效保证各个亮度的合成不会有太大的噪声不连续现象，也就能更好的保护各个亮度图像细节。
本申请实施例中，将第一降噪图像转换为第一YUV图像，包括：根据部分帧原始图像对第一降噪图像进行细节增强处理；将所处理得到的第一降噪图像转换为第一YUV图像，能够保留原始多帧的EV0raw图，使用多帧的EV0raw图，对第一降噪图像进行细节增强处理，实现在融合的时候把人工智能降噪之前可能损失的图像细节再次叠加回来，有效地保障了图像的细节完整性。
步骤104，根据第一YUV图像和第二YUV图像，合成得到高动态范围图像。
本申请实施例中，可以对第一YUV图像和第二YUV图像进行高动态合成，合成得到高动态范围图像。
其中，高动态范围图像(High-Dynamic Range，简称HDR)，相比普通的图像，可以提供更多的动态范围和图像细节。
本申请实施例中，可以确定第一YUV图像和第二YUV图像中，对应于不同曝光时间点的，最佳细节的低动态范围图像LDR(Low-Dynamic Range)图像，而后，根据最佳细节的低动态范围图像LDR(Low-Dynamic Range)图像合成高动态范围图像，能够更好的反映真实环境中的视觉效果。
需要说明的是，由于第一YUV图像和各帧第二YUV图像是在不同曝光情况下拍摄并降噪处理得到的，因此，第一YUV图像和各帧第二YUV图像中包含有不同亮度的画面信息。对于同一景物，第一YUV图像和各帧第二YUV图像中可能是过曝的，可能是欠曝的，还可能是恰当曝光的。将第一YUV图像和各帧第二YUV图像合成为高动态范围图像后，能够尽量使得合成的高动态范围图像中各景物恰当曝光，与实际场景也更加相近。
本实施例中，通过获取多帧原始图像；对部分帧原始图像基于人工智能降噪，得到第一降噪图像，并对其它帧原始图像基于人工智能降噪，得到第二降噪图像，将第一降噪图像转换为第一YUV图像，并将第二降噪图像转换为第二YUV图像，根据第一YUV图像和第二YUV图像，合成得到高动态范围图像，能够更加精确地区分出高动态范围图像的画面噪声和有效细节，相较于未进行人工智能的降噪处理，本申请能够在一定程度上有助于减少原始图像采集帧数，对于每一帧原始图像来说有助于增大采集时的感光度以减小拍摄时长，从而使得整体拍摄过程需要的总时长得到缩短，避免了拍摄时长过长导致画面模糊的情况，有利于清晰拍摄动态夜景。另外，本申请中通过分别对部分帧原始图像基于人工智能降噪，得到第一降噪图像，并对其它帧原始图像基于人工智能降噪，得到第二降噪图像，是考虑到部分帧原始图像和其它帧原始图像的噪声特性并不完全相同，因此使得降噪更具有针对性，能够有效提升降噪效果。
为了获得较佳的人工智能的降噪效果，可以选用神经网络模型降噪，并采用各感光度的样本图像对该神经网络模型进行训练，以提高神经网络模型识别噪声特性的能力。
参见图2，图2为本申请中的一种应用流程示意图。
本申请实施例中的，神经网络模型包括：第一神经网络模型和第二神经网络模型，可以针对其中的一种神经网络模型，对其进行的具体的训练过程参见图3，针对另一种神经网络模型的训练过程类似，可以以此类推。如图3所示，图3为本申请实施例所提供的第二种基于多帧图像的图像处理方法的流程示意图，具体包括以下步骤：
步骤301，获取各感光度的样本图像。
其中，样本图像中已经标注了图像的噪声特性。
本申请实施例中，样本图像可以是在不同的环境亮度下，设置不同的感光度拍摄得到的图像。
也就是说，环境亮度应为多种，在每一种环境亮度下，分别在不同感光度情况下拍摄多帧图像，作为样本图像。
为了获得更佳准确的噪声特性识别结果，本申请实施例中还可以对环境亮度和ISO进行细分，增加样本图像的帧数，以使初始降噪图像输入第一神经网络模型后，该第一神经网络能准确的识别出初始降噪图像的统计特性。
步骤302，采用各感光度的样本图像对第一神经网络模型进行训练。
本申请实施例中，获取到不同环境光亮度下拍摄得到的各感光度的样本图像后，采用样本图像对第一神经网络模型进行训练。将样本图像中标注的统计特性作为模型训练的特性，将经过统计特性标注的样本图像输入第一神经网络模型，以对第一神经网络模型进行训练，进而识别出图像的统计特性。
当然，神经网络模型仅仅是实现基于人工智能的降噪的一种可能的实现方式，在实际执行过程中，可以通过其他任意可能的方式来实现基于人工智能的降噪，比如，还可以采用传统的编程技术(比如模拟法和工程学方法)实现，又比如，还可以遗传学算法和人工神经网络的方法来实现。
需要说明的是，在样本图像中标注统计特性对第一神经网络模型进行训练，是因为已标注的样本图像能够清楚的表示出图像的噪声位置和噪声类型，从而将标注的统计特性作为模型训练的特性，将初始降噪图像输入第一神经网络模型后，能够识别出图像中的统计特性。
步骤303，直至第一神经网络模型识别出的噪声特性与相应样本图像中标注的噪声特性匹配时，第一神经网络模型训练完成。
本申请实施例中，采用各感光度的样本图像对神经网络模型进行训练，直至第一神经网络模型识别出的噪声特性与相应样本图像中标注的统计特性匹配，
本申请实施例中，通过获取各感光度的样本图像，采用各感光度的样本图像对第一神经网络模型进行训练，直至第一神经网络模型识别出的统计特性与相应样本图像中标注的统计特性匹配时，第一神经网络模型训练完成。由于，采用各感光度下经过标注统计特性的样本图像对第一神经网络模型进行训练，能够实现将初始降噪图像输入第一神经网络模型后，准确的识别出图像的统计特性，以实现对图像降噪处理，从而提高图像的拍摄质量。
在图1实施例的基础上，作为一种可能的实现方式，在步骤101中采集多帧原始图像时，可以根据预览图像的成像质量，确定基准曝光量的图像帧数n，以采集符合基准曝光量的n帧原始图像，并采集低于基准曝光量的至少一帧原始图像。下面结合图4对上述过程进行详细介绍，如图4所示，图4为本申请实施例所提供的第三种基于多帧图像的图像处理方法的流程示意图，步骤101还可以包括：
步骤401，根据预览图像的成像质量，确定基准曝光量的图像帧数n。
其中的预览图像是预先获取得到的，例如，可以是开启摄像头拍摄得到的预览图像，或者，也可以是从存储器中读取的，对此不作限制。
其中，n为大于或等于2的自然数。
需要说明的是，采集的图像帧数较多时，整个拍摄时长会过长，在拍摄过程中可能会引入较多的噪声，因此本申请实施例中，图像帧数n的取值范围可以为3或4，以降低拍摄时长，获得较高质量的图像。
本申请实施例中，预览图像的成像质量可以例如采用信噪比和/或成像速度进行衡量，并且成像质量一般是与采集图像帧数为正向关系，即，成像质量越好，则可以采集越多帧的图像。
本申请实施例在具体执行的过程中，若基于脚架模式拍摄预览图像，则考虑到画面较稳定，则可采集较多帧数的预览图像进行后续合成，而基于手持模式拍摄预览图像，则由于不可避免的人手的抖动所造成的画面抖动，本申请实施例中为了避免高动态范围图像模糊，可以采集较少帧的预览图像进行后续的合成。
可以理解的是，采集的原始图像帧数越多，包含有不同的画面信息越多，在高动态合成时得到的高动态范围图像中包含有更多的画面信息，与实际场景也更加相近，因此成像质量与采集图像帧数为正向关系，进而可以根据预览图像的成像质量，确定基准曝光量的图像帧数n。
步骤402，采集符合基准曝光量的n帧原始图像。
本申请实施例中，根据预览图像的成像质量，确定基准曝光量的图像帧数n后，进一步采集符合基准曝光量的n帧原始图像。
在一种可能的场景下，可以基于拍摄场景的光照度确定的基准曝光量和设定的基准感光度，确定各帧待采集原始图像的基准曝光时长，以获得不同动态范围的图像，使得合成后的图像具有更高的动态范围，提高图像的整体亮度和质量。
下面结合图5对上述过程进行详细介绍，图5为本申请实施例提供的第四种基于多帧图像的图像处理方法的流程示意图，如图5所示，步骤402还可以包括如下子步骤：
子步骤4021，根据拍摄场景的光照度，确定基准曝光量。
其中，曝光量，是指电子设备中的感光器件在曝光时长内接受到光的多少，曝光量与光圈、曝光时长和感光度有关。其中，光圈也就是通光口径，决定单位时间内光线通过的数量；曝光时长，是指光线通过镜头的时间；感光度，又称为ISO值，是衡量底片对于光的灵敏程度的指标，用于表示感光元件的感光速度，ISO数值越高就说明该感光元器件的感光能力越强。
其中，曝光量与曝光时长、感光度光圈相关，例如，可以是曝光时长和感光度乘积，相关技术中的基准曝光量，定义为曝光补偿等级为零，即EV0。
具体地，通过图像传感器获取当前拍摄场景的预览图像，进一步的通过感光器件测量得到预览图像各区域的环境光亮度，进而根据预览图像的亮度信息，确定基准曝光量。其中，在光圈固定的情况下，基准曝光量具体可以包括基准曝光时长和基准感光度。
本申请实施例中，基准曝光量，是指通过对预览图像进行测光获取的当前拍摄场景的亮度信息后，确定的与当前环境的亮度信息相适应的曝光量，基准曝光量的取值可以是基准感光度与基准曝光时长之间的乘积。
子步骤4022，根据预览图像的画面抖动程度，或者根据采集预览图像的图像传感器的抖动程度，设定基准感光度。
本申请实施例中，基准感光度，可以是根据预览图像的画面抖动程度，设定与当前的抖动程度相适应的感光度；也可以是根据采集预览图像的图像传感器当前的抖动程度，设定与当前的抖动程度相适应的感光度，在此不做限定。其中，基准感光度的取值范围可以为100ISO至200ISO。
可以理解的是，采集图像的感光度会影响到整体的拍摄时长，拍摄时长过长，可能会导致手持拍摄时图像传感器的抖动程度加剧，从而影响图像质量。因此，可以根据预览图像的画面抖动程度，或者根据采集预览的图像传感器的抖动程度，确定采集预览图像对应的基准感光度，以使得拍摄时长控制在合适的范围内。
本申请实施例中，为了确定抖动程度，可以根据电子设备中设置的位移传感器，采集位移信息，进而，根据采集到的电子设备的位移信息，确定预览图像的画面抖动程度或者采集预览图像的图像传感器的抖动程度。
作为一种示例，可以通过获取电子设备当前的陀螺仪(Gyro-sensor)信息，确定电子设备当前的抖动程度，即采集预览图像的图像传感器的抖动程度。
其中，陀螺仪又叫角速度传感器，可以测量物理量偏转、倾斜时的转动角速度。在电子设备中，陀螺仪可以很好的测量转动、偏转的动作，从而可以精确分析判断出使用者的实际动作。电子设备的陀螺仪信息(gyro信息)可以包括手机在三维空间中三个维度方向上的运动信息，三维空间的三个维度可以分别表示为X轴、Y轴、Z轴三个方向，其中，X轴、Y轴、Z轴为两两垂直关系。
需要说明的是，可以根据电子设备当前的gyro信息，确定采集预览图像的图像传感器的抖动程度。电子设备在三个方向上的gyro运动的绝对值越大，则采集预览图像的图像传感器的抖动程度越大。
具体的，可以预设在三个方向上gyro运动的绝对值阈值，并根据获取到的当前在三个方向上的gyro运动的绝对值之和，与预设的阈值的关系，确定采集预览图像的图像传感器的当前的抖动程度。
举例来说，假设预设的阈值为第一阈值A、第二阈值B、第三阈值C，且A<B<C，当前获取到的在三个方向上gyro运动的绝对值之和为S。若S<A，则确定采集预览图像的图像传感器的抖动程度为“无抖动”；若A<S<B，则可以确定采集预览图像的图像传感器的抖动程度为“轻微抖动”；若B<S<C，则可以确定采集预览图像的图像传感器的抖动程度为“小抖动”；若S>C，则可以确定采集预览图像的图像传感器的抖动程度为“大抖动”。
需要说明的是，上述举例仅为示例性的，不能视为对本申请的限制。实际使用时，可以根据实际需要预设阈值的数量和各阈值的具体数值，以及根据gyro信息与各阈值的关系，预设gyro信息与采集预览图像的图像传感器抖动程度的映射关系。
具体的，若采集预览图像的图像传感器的抖动程度较小，则可以将每帧待采集图像对应的基准感光度可以适当压缩为较小的值，以有效抑制每帧图像的噪声、提高拍摄图像的质量；若采集预览图像的图像传感器的抖动程度较大，则可以将每帧待采集图像对应的基准感光度可以适当提高为较大的值，以缩短拍摄时长。
举例来说，若确定采集预览图像的图像传感器的抖动程度为“无抖动”，则可以将基准感光度确定为较小的值，以尽量获得更高质量的图像，比如确定基准感光度为100；若确定采集预览图像的图像传感器的抖动程度为“轻微抖动”，则可以将基准感光度确定为较大的值，以降低拍摄时长，比如确定基准感光度为120；若确定采集预览图像的图像传感器的抖动程度为“小抖动”，则可以进一步增大基准感光度，以降低拍摄时长，比如确定基准感光度为180；若确定采集预览图像的图像传感器的抖动程度为“大抖动”，则可以确定当前的抖动程度过大，此时可以进一步增大基准感光度，以降低拍摄时长，比如确定基准感光度为200。
需要说明的是，上述举例仅为示例性的，不能视为对本申请的限制。实际使用时，当采集预览图像的图像传感器的抖动程度变化时，既可以改变基准感光度，以获得最优的方案。其中，采集预览图像的图像传感器的抖动程度与每帧待采集图像对应的基准感光度的映射关系，可以根据实际需要预设。
本申请实施例中，预览图像的画面抖动程度与采集预览图像的图像传感器的抖动程度呈正相关关系，根据预览图像的画面抖动程度，设定基准感光度的实现过程参见上述过程，在此不再赘述。
子步骤4023，根据基准曝光量和设定的基准感光度，确定基准曝光时长。
本申请实施例中，基准曝光量，包括基准曝光时长和基准感光度，因此，在根据拍摄场景的光照度，确定基准曝光量，以及根据预览图像的画面抖动程度或者采集预览图像的图像传感器的抖动程度确定基准感光度后，即可根据基准曝光量及基准感光度，确定基准曝光时长。
子步骤4024，根据基准曝光时长和基准感光度，采集n帧原始图像。
本申请实施例中，在确定各帧待采集原始图像的基准曝光时长和基准感光度后，根据各帧待采集原始图像的曝光时长和基准感光度控制图像传感器进行图像采集，在此不做具体赘述。
步骤403，采集低于基准曝光量的至少一帧原始图像。
本申请实施例中，在采集低于基准曝光量的至少一帧原始图像时，可以根据设定的曝光补偿等级，对基准曝光时长进行补偿，得到短于基准曝光时长的补偿曝光时长；根据补偿曝光时长和基准感光度，采集至少一帧原始图像。
可以理解为，通过曝光补偿等级，对至少一帧原始图像分别采取不同的曝光补偿策略，使得待采集图像对应于不同的曝光量，以获得具有不同动态范围的图像。
需要说明的是，在曝光量最初的定义中，曝光量并不是指一个准确的数值，而是指“能够给出相同的曝光量的所有相机光圈与曝光时长的组合”。感光度、光圈和曝光时长确定了相机的曝光量，不同的参数组合可以产生相等的曝光量。曝光补偿等级是对曝光量进行调整的参数，使得某些图像欠曝光，某些图像过曝光，还可以使得某些图像恰当曝光。本申请实施例中，至少一帧第二图像对应的曝光补偿等级取值范围为EV-5至EV-1。
作为一种示例，采集低于基准曝光量的至少一帧原始图像，具体为两帧原始图像，该至少一帧原始图像可以被称为至少一帧第二图像，具体为两帧第二图像，两帧第二图像对应不同的曝光补偿等级，且两帧第二图像的曝光补偿等级小于EV0。
具体地，根据设定的曝光补偿等级，对基准曝光时长进行补偿，得到短于基准曝光时长的补偿曝光时长；根据补偿曝光时长和基准感光度，采集两帧第二图像。
本申请实施例中，通过根据预览图像的成像质量，确定基准曝光量的图像帧数n，采集符合基准曝光量的n帧原始图像，同时采集低于基准曝光量的至少一帧原始图像。由此，通过采集基准曝光量的n帧原始图像，同时采集低于基准曝光量的至少一帧原始图像，进而提高了图像的成像质量，得到清晰度较高的成像效果。
图6为本申请实施例提供的第一种基于多帧图像的图像处理装置的结构示意图。
如图6所示，该基于多帧图像的图像处理装置600包括：获取模块610、降噪模块620、转换模块630以及合成模块640。
获取模块610，用于获取多帧原始图像；
降噪模块620，用于对部分帧原始图像基于人工智能降噪，得到第一降噪图像，并对其它帧原始图像基于人工智能降噪，得到第二降噪图像，部分帧原始图像为多帧原始图像中的至少两帧的原始图像；
转换模块630，用于将第一降噪图像转换为第一YUV图像，并将第二降噪图像转换为第二YUV图像；
合成模块640，用于根据第一YUV图像和第二YUV图像，合成得到高动态范围图像。
可选地，一些实施例中，降噪模块620，具体用于：
对部分帧原始图像进行多帧融合降噪，得到初始降噪图像；
采用第一神经网络模型，对初始降噪图像进行噪声特性识别，并采用第二神经网络模型，对其它帧原始图像中的各帧原始图像进行噪声特性识别；其中，第一神经网络模型，已学习得到初始降噪图像的感光度与噪声特性之间的映射关系，第二神经网络模型，已学习得到各帧原始图像的感光度与噪声特性之间的映射关系；
根据第一神经网络模型识别出的噪声特性，对初始降噪图像降噪，以得到第一降噪图像，并根据第二神经网络模型识别出的噪声特性，分别对各帧原始图像降噪，以得到多帧第二降噪图像。
可选地，一些实施例中，参见图7，图7为本申请实施例提供的第二种基于多帧图像的图像处理装置的结构示意图，还包括：
训练模块650，用于采用各感光度的样本图像对神经网络模型进行训练，直至神经网络模型识别出的噪声特性与相应样本图像中标注的噪声特性匹配时，神经网络模型训练完成，神经网络模型包括：第一神经网络模型和第二神经网络模型。
可选地，一些实施例中，部分帧原始图像为至少两帧相同曝光量的第一图像，其它帧原始图像为曝光量低于第一图像的至少一帧第二图像；
转换模块630，具体用于：
根据部分帧原始图像对第一降噪图像进行细节增强处理；
将所处理得到的第一降噪图像转换为第一YUV图像。
可选地，一些实施例中，获取模块610，具体用于：
获取预览图像；
根据预览图像的成像质量，确定基准曝光量的图像帧数n；其中，n为大于或等于2的自然数；
采集符合基准曝光量的n帧原始图像；
采集低于基准曝光量的至少一帧原始图像。
可选地，一些实施例中，获取模块610，具体用于：
根据拍摄场景的光照度，确定基准曝光量；
根据基准曝光量和设定的基准感光度，确定基准曝光时长；
根据基准曝光时长和基准感光度，采集n帧原始图像。
可选地，一些实施例中，至少一帧第二图像具体为两帧第二图像；
两帧第二图像对应不同的曝光补偿等级，且两帧第二图像的曝光补偿等级小于EV0。
可选地，一些实施例中，至少一帧第二图像对应的曝光补偿等级取值范围为EV-5至EV-1。
需要说明的是，前述对基于多帧图像的图像处理方法实施例的解释说明也适用于该实施例的基于多帧图像的图像处理装置600，此处不再赘述。
本实施例中，通过获取多帧原始图像；对部分帧原始图像基于人工智能降噪，得到第一降噪图像，并对其它帧原始图像基于人工智能降噪，得到第二降噪图像，将第一降噪图像转换为第一YUV图像，并将第二降噪图像转换为第二YUV图像，根据第一YUV图像和第二YUV图像，合成得到高动态范围图像，能够更加精确地区分出高动态范围图像的画面噪声和有效细节，相较于未进行人工智能的降噪处理，本申请能够在一定程度上有助于减少原始图像采集帧数，对于每一帧原始图像来说有助于增大采集时的感光度以减小拍摄时长，从而使得整体拍摄过程需要的总时长得到缩短，避免了拍摄时长过长导致画面模糊的情况，有利于清晰拍摄动态夜景。另外，本申请中通过分别对部分帧原始图像基于人工智能降噪，得到第一降噪图像，并对其它帧原始图像基于人工智能降噪，得到第二降噪图像，是考虑到部分帧原始图像和其它帧原始图像的噪声特性并不完全相同，因此使得降噪更具有针对性，能够有效提升降噪效果。
为了实现上述实施例，本申请还提出一种电子设备200，参见图8，图8为本申请实施例提供的一种电子设备的结构示意图，包括：图像传感器210、处理器220、存储器230及存储在存储器230上并可在处理器220上运行的计算机程序，图像传感器210与处理器220电连接，处理器220执行程序时，实现如上述实施例中的基于多帧图像的图像处理方法。
作为一种可能的情况，处理器220可以包括：图像信号处理ISP处理器。
其中，ISP处理器，用于控制图像传感器获取多帧原始图像。
作为另一种可能的情况，处理器220还可以包括：与ISP处理器连接的图形处理器(Graphics Processing Unit，简称GPU)。
其中，GPU，用于对部分帧原始图像基于人工智能降噪，得到第一降噪图像，并对其它帧原始图像基于人工智能降噪，得到第二降噪图像，部分帧原始图像为多帧原始图像中的至少两帧的原始图像。
GPU，还用于对高动态范围图像进行编码处理。
ISP处理器，还用于将第一降噪图像转换为第一YUV图像，并将第二降噪图像转换为第二YUV图像；根据第一YUV图像和第二YUV图像，合成得到高动态范围图像。
作为一种示例，请参阅图9，在图8电子设备的基础上，图9中为本申请实施例提供的一种电子设备的原理示例图。电子设备200的存储器230包括非易失性存储器80、内存储器82和处理器220。存储器230中存储有计算机可读指令。计算机可读指令被存储器执行时，使得处理器230执行上述任一实施方式的基于多帧图像的图像处理方法。
如图9所示，该电子设备200包括通过系统总线81连接的处理器220、非易失性存储器80、内存储器82、显示屏83和输入装置84。其中，电子设备200的非易失性存储器80存储有操作系统和计算机可读指令。该计算机可读指令可被处理器220执行，以实现本申请实施方式的基于多帧图像的图像处理方法。该处理器220用于提供计算和控制能力，支撑整个电子设备200的运行。电子设备200的内存储器82为非易失性存储器80中的计算机可读指令的运行提供环境。电子设备200的显示屏83可以是液晶显示屏或者电子墨水显示屏等，输入装置84可以是显示屏83上覆盖的触摸层，也可以是电子设备200外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该电子设备200可以是手机、平板电脑、笔记本电脑、个人数字助理或穿戴式设备(例如智能手环、智能手表、智能头盔、智能眼镜)等。本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的示意图，并不构成对本申请方案所应用于其上的电子设备200的限定，具体的电子设备200可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
为了实现上述实施例，本申请还提出一种图像处理电路，请参阅图10，图10为本申请实施例提供的一种图像处理电路的原理示意图，如图10所示，图像处理电路90包括图像信号处理ISP处理器91(ISP处理器91作为处理器220)和图形处理器GPU。
ISP处理器，与图像传感器电连接，用于控制图像传感器获取多帧原始图像；
GPU，与ISP处理器电连接，用于对部分帧原始图像基于人工智能降噪，得到第一降噪图像，并对其它帧原始图像基于人工智能降噪，得到第二降噪图像，部分帧原始图像为多帧原始图像中的至少两帧的原始图像。
ISP处理器，还用于将第一降噪图像转换为第一YUV图像，并将第二降噪图像转换为第二YUV图像；根据第一YUV图像和第二YUV图像，合成得到高动态范围图像。
摄像头93捕捉的图像数据首先由ISP处理器91处理，ISP处理器91对图像数据进行分析以捕捉可用于确定摄像头93的一个或多个控制参数的图像统计信息。摄像模组310可包括一个或多个透镜932和图像传感器934。图像传感器934可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器934可获取每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器91处理的一组原始图像数据。传感器94(如陀螺仪)可基于传感器94接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器91。传感器94接口可以为SMIA(StandardMobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外，图像传感器934也可将原始图像数据发送给传感器94，传感器94可基于传感器94接口类型把原始图像数据提供给ISP处理器91，或者传感器94将原始图像数据存储到图像存储器95中。
ISP处理器91按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器91可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
ISP处理器91还可从图像存储器95接收图像数据。例如，传感器94接口将原始图像数据发送给图像存储器95，图像存储器95中的原始图像数据再提供给ISP处理器91以供处理。图像存储器95可为存储器330、存储器330的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接存取存储器)特征。
当接收到来自图像传感器934接口或来自传感器94接口或来自图像存储器95的原始图像数据时，ISP处理器91可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器95，以便在被显示之前进行另外的处理。ISP处理器91从图像存储器95接收处理数据，并对处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器91处理后的图像数据可输出给显示器97(显示器97可包括显示屏83)，以供用户观看和/或由图形引擎或GPU进一步处理。
此外，ISP处理器91的输出还可发送给图像存储器95，且显示器97可从图像存储器95读取图像数据。
在一个实施例中，图像存储器95可被配置为实现一个或多个帧缓冲器。此外，ISP处理器91的输出可发送给编码器/解码器96，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器97设备上之前解压缩。编码器/解码器96可由CPU或GPU或协处理器实现。
ISP处理器91确定的统计数据可发送给控制逻辑器92单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜932阴影校正等图像传感器934统计信息。控制逻辑器92可包括执行一个或多个例程(如固件)的处理元件和/或微控制器，一个或多个例程可根据接收的统计数据，确定摄像头93的控制参数及ISP处理器91的控制参数。例如，摄像头93的控制参数可包括传感器94控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜932控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜932阴影校正参数。
以下为运用图9中图像处理技术实现基于多帧图像的图像处理方法的步骤：ISP处理器控制图像传感器获取多帧原始图像；GPU对部分帧原始图像基于人工智能降噪，得到第一降噪图像，并对其它帧原始图像基于人工智能降噪，得到第二降噪图像，部分帧原始图像为多帧原始图像中的至少两帧的原始图像，ISP处理器，还用于将第一降噪图像转换为第一YUV图像，并将第二降噪图像转换为第二YUV图像；根据第一YUV图像和第二YUV图像，合成得到高动态范围图像。
为了实现上述实施例，本申请实施例还提供了一种存储介质，当存储介质中的指令由处理器执行时，使得处理器执行以下步骤：获取多帧原始图像；对部分帧原始图像基于人工智能降噪，得到第一降噪图像，并对其它帧原始图像基于人工智能降噪，得到第二降噪图像，部分帧原始图像为多帧原始图像中的至少两帧的原始图像；将第一降噪图像转换为第一YUV图像，并将第二降噪图像转换为第二YUV图像；根据第一YUV图像和第二YUV图像，合成得到高动态范围图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种基于多帧图像的图像处理方法，其特征在于，所述方法包括以下步骤：
获取预览图像；
根据所述预览图像的成像质量，确定基准曝光量的图像帧数n；其中，n为大于或等于2的自然数，所述成像质量与所述图像帧数n呈正比，所述成像质量根据所述预览图像的信噪比确定；
采集符合所述基准曝光量的n帧原始图像；
采集低于所述基准曝光量的至少一帧原始图像；
对部分帧原始图像基于人工智能降噪，得到第一降噪图像，并对其它帧原始图像基于人工智能降噪，得到第二降噪图像，所述部分帧原始图像为所述多帧原始图像中的至少两帧的原始图像；
将所述第一降噪图像转换为第一YUV图像，并将所述第二降噪图像转换为第二YUV图像；
根据所述第一YUV图像和所述第二YUV图像，合成得到高动态范围图像。
2.根据权利要求1所述的基于多帧图像的图像处理方法，其特征在于，所述对部分帧原始图像基于人工智能降噪，得到第一降噪图像，并对其它帧原始图像基于人工智能降噪，得到第二降噪图像，包括：
对所述部分帧原始图像进行多帧融合降噪，得到初始降噪图像；
采用第一神经网络模型，对所述初始降噪图像进行噪声特性识别，并采用第二神经网络模型，对所述其它帧原始图像中的各帧原始图像进行噪声特性识别；其中，所述第一神经网络模型，已学习得到所述初始降噪图像的感光度与噪声特性之间的映射关系，所述第二神经网络模型，已学习得到所述各帧原始图像的感光度与噪声特性之间的映射关系；
根据所述第一神经网络模型识别出的噪声特性，对所述初始降噪图像降噪，以得到所述第一降噪图像，并根据所述第二神经网络模型识别出的噪声特性，分别对所述各帧原始图像降噪，以得到多帧第二降噪图像。
3.根据权利要求2所述的基于多帧图像的图像处理方法，其特征在于，所述神经网络模型，是采用各感光度的样本图像对所述神经网络模型进行训练，直至所述神经网络模型识别出的噪声特性与相应样本图像中标注的噪声特性匹配时，所述神经网络模型训练完成，所述神经网络模型包括：所述第一神经网络模型和所述第二神经网络模型。
4.根据权利要求1所述的基于多帧图像的图像处理方法，其特征在于，所述部分帧原始图像为至少两帧相同曝光量的第一图像，所述其它帧原始图像为曝光量低于所述第一图像的至少一帧第二图像；
所述将所述第一降噪图像转换为第一YUV图像，包括：
根据所述部分帧原始图像对所述第一降噪图像进行细节增强处理；
将所处理得到的第一降噪图像转换为所述第一YUV图像。
5.根据权利要求1所述的基于多帧图像的图像处理方法，其特征在于，所述采集符合所述基准曝光量的n帧原始图像，包括：
根据拍摄场景的光照度，确定基准曝光量；
根据所述基准曝光量和设定的基准感光度，确定基准曝光时长；
根据所述基准曝光时长和所述基准感光度，采集所述n帧原始图像。
6.根据权利要求4所述的基于多帧图像的图像处理方法，其特征在于，所述至少一帧第二图像具体为两帧第二图像；
所述两帧第二图像对应不同的曝光补偿等级，且所述两帧第二图像的曝光补偿等级小于EV0。
7.根据权利要求6所述的基于多帧图像的图像处理方法，其特征在于，所述至少一帧第二图像对应的曝光补偿等级取值范围为EV-5至EV-1。
8.一种基于多帧图像的图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取预览图像；根据所述预览图像的成像质量，确定基准曝光量的图像帧数n；其中，n为大于或等于2的自然数，所述成像质量与所述图像帧数n呈正比，所述成像质量根据所述预览图像的信噪比确定；采集符合所述基准曝光量的n帧原始图像；采集低于所述基准曝光量的至少一帧原始图像；
降噪模块，用于对部分帧原始图像基于人工智能降噪，得到第一降噪图像，并对其它帧原始图像基于人工智能降噪，得到第二降噪图像，所述部分帧原始图像为所述多帧原始图像中的至少两帧的原始图像；
转换模块，用于将所述第一降噪图像转换为第一YUV图像，并将所述第二降噪图像转换为第二YUV图像；
合成模块，用于根据所述第一YUV图像和所述第二YUV图像，合成得到高动态范围图像。
9.根据权利要求8所述的基于多帧图像的图像处理装置，其特征在于，所述降噪模块，具体用于：
对所述部分帧原始图像进行多帧融合降噪，得到初始降噪图像；
采用第一神经网络模型，对所述初始降噪图像进行噪声特性识别，并采用第二神经网络模型，对所述其它帧原始图像中的各帧原始图像进行噪声特性识别；其中，所述第一神经网络模型，已学习得到所述初始降噪图像的感光度与噪声特性之间的映射关系，所述第二神经网络模型，已学习得到所述各帧原始图像的感光度与噪声特性之间的映射关系；
根据所述第一神经网络模型识别出的噪声特性，对所述初始降噪图像降噪，以得到所述第一降噪图像，并根据所述第二神经网络模型识别出的噪声特性，分别对所述各帧原始图像降噪，以得到多帧第二降噪图像。
10.一种电子设备，其特征在于，包括：图像传感器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述图像传感器与所述处理器电连接，所述处理器执行所述程序时，实现如权利要求1-8中任一所述的基于多帧图像的图像处理方法。
11.根据权利要求10所述的电子设备，其特征在于，所述处理器包括图像信号处理ISP处理器；
所述ISP处理器，用于控制所述图像传感器获取多帧原始图像。
12.根据权利要求11所述的电子设备，其特征在于，所述处理器包括与所述ISP处理器连接的图形处理器GPU；
其中，所述GPU，用于对部分帧原始图像基于人工智能降噪，得到第一降噪图像，并对其它帧原始图像基于人工智能降噪，得到第二降噪图像，所述部分帧原始图像为所述多帧原始图像中的至少两帧的原始图像；
所述ISP处理器，还用于将所述第一降噪图像转换为第一YUV图像，并将所述第二降噪图像转换为第二YUV图像；根据所述第一YUV图像和所述第二YUV图像，合成得到高动态范围图像。
13.根据权利要求12所述的电子设备，其特征在于，
所述GPU，还用于对所述高动态范围图像进行编码处理。
14.一种图像处理电路，其特征在于，所述图像处理电路包括图像信号处理ISP处理器和图形处理器GPU；
所述ISP处理器，与图像传感器电连接，用于控制所述图像传感器获取预览图像；根据所述预览图像的成像质量，确定基准曝光量的图像帧数n，其中，n为大于或等于2的自然数，所述成像质量与所述图像帧数n呈正比，所述成像质量根据所述预览图像的信噪比确定；采集符合所述基准曝光量的n帧原始图像；采集低于所述基准曝光量的至少一帧原始图像，所述成像质量根据所述预览图像的信噪比确定；
所述GPU，与所述ISP处理器电连接，用于对部分帧原始图像基于人工智能降噪，得到第一降噪图像，并对其它帧原始图像基于人工智能降噪，得到第二降噪图像，所述部分帧原始图像为所述多帧原始图像中的至少两帧的原始图像；
所述ISP处理器，还用于将所述第一降噪图像转换为第一YUV图像，并将所述第二降噪图像转换为第二YUV图像；根据所述第一YUV图像和所述第二YUV图像，合成得到高动态范围图像。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的基于多帧图像的图像处理方法。
CN201910280172.1A 2019-04-09 2019-04-09 基于多帧图像的图像处理方法、装置、电子设备 Active CN110072052B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910280172.1A CN110072052B (zh) 2019-04-09 2019-04-09 基于多帧图像的图像处理方法、装置、电子设备
PCT/CN2020/081471 WO2020207262A1 (zh) 2019-04-09 2020-03-26 基于多帧图像的图像处理方法、装置、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910280172.1A CN110072052B (zh) 2019-04-09 2019-04-09 基于多帧图像的图像处理方法、装置、电子设备

Publications (2)

Publication Number Publication Date
CN110072052A CN110072052A (zh) 2019-07-30
CN110072052B true CN110072052B (zh) 2021-08-27

Family

ID=67367208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910280172.1A Active CN110072052B (zh) 2019-04-09 2019-04-09 基于多帧图像的图像处理方法、装置、电子设备

Country Status (2)

Country Link
CN (1) CN110072052B (zh)
WO (1) WO2020207262A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110072052B (zh) * 2019-04-09 2021-08-27 Oppo广东移动通信有限公司 基于多帧图像的图像处理方法、装置、电子设备
CN110611750B (zh) * 2019-10-31 2022-03-22 北京迈格威科技有限公司 一种夜景高动态范围图像生成方法、装置和电子设备
CN111885312B (zh) * 2020-07-27 2021-07-09 展讯通信（上海）有限公司 Hdr图像的成像方法、系统、电子设备及存储介质
CN112669241B (zh) * 2021-01-29 2023-11-14 成都国科微电子有限公司 一种图像处理方法、装置、设备及介质
CN112950501B (zh) * 2021-02-26 2023-10-13 平安科技（深圳）有限公司 基于噪声场的图像降噪方法、装置、设备及存储介质
CN112950503A (zh) * 2021-02-26 2021-06-11 北京小米松果电子有限公司 训练样本的生成方法及装置、真值图像的生成方法及装置
CN113674232A (zh) * 2021-08-12 2021-11-19 Oppo广东移动通信有限公司 图像噪声预估方法、装置、电子设备和存储介质
CN114511112A (zh) * 2022-01-24 2022-05-17 北京通建泰利特智能系统工程技术有限公司 一种基于物联网的智慧运维方法、系统和可读存储介质
CN115460343B (zh) * 2022-07-31 2023-06-13 荣耀终端有限公司 图像处理方法、设备及存储介质
CN116245962B (zh) * 2023-03-16 2023-12-22 新疆量子通信技术有限公司 用于无线传输到区块链服务器的数据提取系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107635098A (zh) * 2017-10-30 2018-01-26 广东欧珀移动通信有限公司 高动态范围图像噪声去除方法、装置及设备
CN108280811A (zh) * 2018-01-23 2018-07-13 哈尔滨工业大学深圳研究生院 一种基于神经网络的图像去噪方法和系统
CN108322646A (zh) * 2018-01-31 2018-07-24 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108737750A (zh) * 2018-06-07 2018-11-02 北京旷视科技有限公司 图像处理方法、装置及电子设备
CN108989700A (zh) * 2018-08-13 2018-12-11 Oppo广东移动通信有限公司 成像控制方法、装置、电子设备以及计算机可读存储介质
CN109218628A (zh) * 2018-09-20 2019-01-15 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9633426B2 (en) * 2014-05-30 2017-04-25 General Electric Company Remote visual inspection image capture system and method
US8346008B2 (en) * 2009-06-09 2013-01-01 Aptina Imaging Corporation Systems and methods for noise reduction in high dynamic range imaging
US9083935B2 (en) * 2012-06-15 2015-07-14 Microsoft Technology Licensing, Llc Combining multiple images in bracketed photography
CN103051841B (zh) * 2013-01-05 2016-07-06 小米科技有限责任公司 曝光时间的控制方法及装置
CN105827971B (zh) * 2016-03-31 2019-01-11 维沃移动通信有限公司 一种图像处理方法及移动终端
CN107566739B (zh) * 2017-10-18 2019-12-06 维沃移动通信有限公司 一种拍照方法及移动终端
CN108012080B (zh) * 2017-12-04 2020-02-04 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN107864341A (zh) * 2017-12-29 2018-03-30 Tcl移动通信科技（宁波）有限公司 一种降帧率拍照方法、移动终端及存储介质
CN108924420B (zh) * 2018-07-10 2020-08-04 Oppo广东移动通信有限公司 图像拍摄方法、装置、介质、电子设备及模型训练方法
CN109005366B (zh) * 2018-08-22 2020-04-28 Oppo广东移动通信有限公司 摄像模组夜景摄像处理方法、装置、电子设备及存储介质
CN108900782B (zh) * 2018-08-22 2020-01-24 Oppo广东移动通信有限公司 曝光控制方法、装置以及电子设备
CN109194882B (zh) * 2018-08-22 2020-07-31 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN109218613B (zh) * 2018-09-18 2020-08-14 Oppo广东移动通信有限公司 高动态范围图像合成方法、装置、终端设备和存储介质
CN109089046B (zh) * 2018-09-25 2021-06-04 Oppo广东移动通信有限公司 图像降噪方法、装置、计算机可读存储介质及电子设备
CN109360163A (zh) * 2018-09-26 2019-02-19 深圳积木易搭科技技术有限公司 一种高动态范围图像的融合方法及融合系统
CN109040603A (zh) * 2018-10-15 2018-12-18 Oppo广东移动通信有限公司 高动态范围图像获取方法、装置及移动终端
CN109361853B (zh) * 2018-10-22 2021-03-23 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN110072052B (zh) * 2019-04-09 2021-08-27 Oppo广东移动通信有限公司 基于多帧图像的图像处理方法、装置、电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107635098A (zh) * 2017-10-30 2018-01-26 广东欧珀移动通信有限公司 高动态范围图像噪声去除方法、装置及设备
CN108280811A (zh) * 2018-01-23 2018-07-13 哈尔滨工业大学深圳研究生院 一种基于神经网络的图像去噪方法和系统
CN108322646A (zh) * 2018-01-31 2018-07-24 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108737750A (zh) * 2018-06-07 2018-11-02 北京旷视科技有限公司 图像处理方法、装置及电子设备
CN108989700A (zh) * 2018-08-13 2018-12-11 Oppo广东移动通信有限公司 成像控制方法、装置、电子设备以及计算机可读存储介质
CN109218628A (zh) * 2018-09-20 2019-01-15 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110072052A (zh) 2019-07-30
WO2020207262A1 (zh) 2020-10-15

Similar Documents

Publication Publication Date Title
CN110072051B (zh) 基于多帧图像的图像处理方法和装置
CN110062160B (zh) 图像处理方法和装置
CN110072052B (zh) 基于多帧图像的图像处理方法、装置、电子设备
JP7371081B2 (ja) 夜景撮影方法、装置、電子機器および記憶媒体
CN110191291B (zh) 基于多帧图像的图像处理方法和装置
CN110290289B (zh) 图像降噪方法、装置、电子设备以及存储介质
CN109040609B (zh) 曝光控制方法、装置、电子设备和计算机可读存储介质
CN109068067B (zh) 曝光控制方法、装置和电子设备
CN110166708B (zh) 夜景图像处理方法、装置、电子设备以及存储介质
CN108900782B (zh) 曝光控制方法、装置以及电子设备
CN110445988B (zh) 图像处理方法、装置、存储介质及电子设备
CN109788207B (zh) 图像合成方法、装置、电子设备及可读存储介质
CN110248106B (zh) 图像降噪方法、装置、电子设备以及存储介质
WO2020207261A1 (zh) 基于多帧图像的图像处理方法、装置、电子设备
CN110166707B (zh) 图像处理方法、装置、电子设备以及存储介质
CN109194882B (zh) 图像处理方法、装置、电子设备及存储介质
CN110166709B (zh) 夜景图像处理方法、装置、电子设备以及存储介质
CN110166706B (zh) 图像处理方法、装置、电子设备以及存储介质
CN109672819B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN109151333B (zh) 曝光控制方法、装置以及电子设备
CN109005369B (zh) 曝光控制方法、装置、电子设备以及计算机可读存储介质
CN110166711B (zh) 图像处理方法、装置、电子设备以及存储介质
CN109756680B (zh) 图像合成方法、装置、电子设备及可读存储介质
CN110264420B (zh) 基于多帧图像的图像处理方法和装置
CN110276730B (zh) 图像处理方法、装置、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant