CN110276730B - 图像处理方法、装置、电子设备 - Google Patents
图像处理方法、装置、电子设备 Download PDFInfo
- Publication number
- CN110276730B CN110276730B CN201910509581.4A CN201910509581A CN110276730B CN 110276730 B CN110276730 B CN 110276730B CN 201910509581 A CN201910509581 A CN 201910509581A CN 110276730 B CN110276730 B CN 110276730B
- Authority
- CN
- China
- Prior art keywords
- image
- images
- target
- noise
- noise characteristics
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 87
- 230000009467 reduction Effects 0.000 claims abstract description 56
- 238000003062 neural network model Methods 0.000 claims description 44
- 230000006870 function Effects 0.000 claims description 30
- 230000035945 sensitivity Effects 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 abstract description 36
- 230000008569 process Effects 0.000 abstract description 19
- 230000000694 effects Effects 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 description 12
- 238000013473 artificial intelligence Methods 0.000 description 8
- 230000007613 environmental effect Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 206010034960 Photophobia Diseases 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 208000013469 light sensitivity Diseases 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 206010034972 Photosensitivity reaction Diseases 0.000 description 2
- 238000003705 background correction Methods 0.000 description 2
- 238000012407 engineering method Methods 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000036211 photosensitivity Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请提出一种图像处理方法、装置、电子设备，该方法包括获取多帧图像；对多帧图像中的目标图像进行噪声特性识别，得到目标噪声特性；根据目标噪声特性，对其它图像进行降噪处理，目标图像和其它图像共同组成多帧图像。通过本申请能够在保障降噪效果的同时，降低图像处理过程中的硬件运算资源消耗，提升降噪效率。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备。
背景技术
智能移动终端在给人们的日常拍照带来便捷的同时，人们对拍摄的图像质量的要求也越来越高，尤其在夜景这一特殊场景中，图像质量较低。
相关技术中，在对拍摄的图像进行降噪处理时，一般是针对同一场景分别利用n个不同的曝光参数进行拍摄，得出尺寸相同的n幅图像；将得出的每幅图像按照相同的划分方式划分为M个区域，n和M均大于1；在得出的n幅图像中选取一幅图像作为基准图像；基于预先设置的噪声图像区域确定策略，确定所述基准图像的任意一个区域为噪声图像区域时，在所有n幅图像的非基准图像中，选取与每个确定出的噪声图像区域处在相同位置的区域；在选取出的各个区域中确定清晰区域，所述清晰区域为所述选取出的各个区域中噪声幅度最小的区域；将基准图像中每个确定出的噪声图像区域替换为对应的清晰区域。
这种方式下，需要对每幅图像均选取以确定出的噪声图像区域，占用较多的硬件运算资源，降噪效率不高。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的目的在于提出一种图像处理方法、装置、电子设备，能够在保障降噪效果的同时，降低图像处理过程中的硬件运算资源消耗，提升降噪效率。
为达到上述目的，本申请第一方面实施例提出的图像处理方法，包括：获取多帧图像；对所述多帧图像中的目标图像进行噪声特性识别，得到目标噪声特性；根据所述目标噪声特性，对其它图像进行降噪处理，所述目标图像和所述其它图像共同组成所述多帧图像。
本申请第一方面实施例提出的图像处理方法，通过获取多帧图像，并对多帧图像中的目标图像进行噪声特性识别，得到目标噪声特性，以及根据目标噪声特性，对其它图像进行降噪处理，目标图像和其它图像共同组成多帧图像，能够在保障降噪效果的同时，降低图像处理过程中的硬件运算资源消耗，提升降噪效率。
为达到上述目的，本申请第二方面实施例提出的图像处理装置，包括：获取模块，用于获取多帧图像；识别模块，用于对所述多帧图像中的目标图像进行噪声特性识别，得到目标噪声特性；处理模块，用于根据所述目标噪声特性，对其它图像进行降噪处理，所述目标图像和所述其它图像共同组成所述多帧图像。
本申请第二方面实施例提出的图像处理装置，通过获取多帧图像，并对多帧图像中的目标图像进行噪声特性识别，得到目标噪声特性，以及根据目标噪声特性，对其它图像进行降噪处理，目标图像和其它图像共同组成多帧图像，能够在保障降噪效果的同时，降低图像处理过程中的硬件运算资源消耗，提升降噪效率。
为达到上述目的，本申请第三方面实施例提出的电子设备，包括：图像传感器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述图像传感器与所述处理器电连接，所述处理器执行所述程序时，实现如权利要求1-6中任一所述的图像处理方法。
本申请第三方面实施例提出的电子设备，通过获取多帧图像，并对多帧图像中的目标图像进行噪声特性识别，得到目标噪声特性，以及根据目标噪声特性，对其它图像进行降噪处理，目标图像和其它图像共同组成多帧图像，能够在保障降噪效果的同时，降低图像处理过程中的硬件运算资源消耗，提升降噪效率。
为达到上述目的，本申请第四方面实施例提出的图像处理电路，包括：包括图像信号处理ISP处理器和图形处理器GPU；所述ISP处理器，与图像传感器电连接，用于控制所述图像传感器获取多帧图像；所述GPU，与所述ISP处理器电连接，用于对所述多帧图像中的目标图像进行噪声特性识别，得到目标噪声特性；根据所述目标噪声特性，对其它图像进行降噪处理，所述目标图像和所述其它图像共同组成所述多帧图像。
本申请第四方面实施例提出的图像处理电路，通过获取多帧图像，并对多帧图像中的目标图像进行噪声特性识别，得到目标噪声特性，以及根据目标噪声特性，对其它图像进行降噪处理，目标图像和其它图像共同组成多帧图像，能够在保障降噪效果的同时，降低图像处理过程中的硬件运算资源消耗，提升降噪效率。
为达到上述目的，本申请第五方面实施例提出的计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请第一方面实施例提出的图像处理方法。
本申请第五方面实施例提出的计算机可读存储介质，通过获取多帧图像，并对多帧图像中的目标图像进行噪声特性识别，得到目标噪声特性，以及根据目标噪声特性，对其它图像进行降噪处理，目标图像和其它图像共同组成多帧图像，能够在保障降噪效果的同时，降低图像处理过程中的硬件运算资源消耗，提升降噪效率。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请一实施例提出的图像处理方法的流程示意图；
图2为本申请另一实施例提出的图像处理方法的流程示意图；
图3为本申请一实施例提出的图像处理装置的结构示意图；
图4为本申请另一实施例提出的图像处理装置的结构示意图；
图5为本申请实施例提供的一种电子设备的结构示意图；
图6为本申请实施例提供的一种电子设备的原理示例图；
图7为本申请实施例提供的一种图像处理电路的原理示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。相反，本申请的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
针对相关技术中，需要对每幅图像均选取以确定出的噪声图像区域，占用较多的硬件运算资源，降噪效率不高的技术问题，本申请实施例中提供了一种图像处理方法，通过获取多帧图像，并对所述多帧图像中的目标图像进行噪声特性识别，得到目标噪声特性，以及根据所述目标噪声特性，对其它图像进行降噪处理，所述目标图像和所述其它图像共同组成所述多帧图像，能够在保障降噪效果的同时，降低图像处理过程中的硬件运算资源消耗，提升降噪效率。
图1是本申请一实施例提出的图像处理方法的流程示意图。
本申请实施例的图像处理方法，应用于电子设备，该电子设备可以为手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、成像设备的硬件设备。
参见图1，该方法包括：
S101：获取多帧图像。
其中，所获取的多帧图像可以例如通过电子设备的图像传感器采集得到的未做任何处理的RAW格式图像，对此不作限制。
该多帧图像为针对同一场景拍摄得到的图像，所述多帧图像为不同曝光量的多帧图像。
其中，RAW格式图像就是图像传感器将捕捉到的光源信号转化为数字信号的原始图像。RAW格式图像记录了数码相机传感器的原始信息，同时记录由相机拍摄所产生的一些元数据，如感光度的设置、快门速度、光圈值、白平衡等。
可以通过获取当前拍摄场景的预览图像，以确定当前拍摄场景是否属于夜景场景。由于不同场景下环境亮度值不同，预览图像内容也不相同，可以根据当前拍摄场景预览图像的画面内容以及各区域的环境亮度值，确定当前拍摄场景属于夜景场景后，启动夜景拍摄模式，在不同曝光量下获取多帧原始图像。
例如，预览图像的画面内容包括夜晚天空或者夜景灯源等，或者预览图像的各区域中环境亮度值符合夜景环境下图像的亮度分布特性，即可确定当前拍摄场景属于夜景场景。
S102：对多帧图像中的目标图像进行噪声特性识别，得到目标噪声特性。
其中的目标图像为多帧图像中的一帧图像。
由于电子设备中的图像传感器在拍摄的过程中会受到不同程度的来自周边电路和本身像素间的光电磁干扰，因此拍摄得到的图像不可避免的存在噪声，并且，干扰程度的不同，拍摄得到的图像的清晰度也不相同。因此采集的多帧图像也必然存在噪声，可以进一步对所述多帧图像中的目标图像进行噪声特性识别，得到目标噪声特性，该目标噪声特性用于后续对其它图像进行降噪。
相对于相关技术中需要对每幅图像均选取以确定出的噪声图像区域，本申请实施例考虑到，在实际的应用中，通常相同的图像传感器，连续采集相同场景下得到的不同曝光量的多帧图片的噪声特性变化甚微，因此，本申请实施例中仅仅针对多帧图像中的目标图像进行噪声特性识别，得到目标噪声特性，并基于目标噪声特性对其它图像进行降噪，保障了降噪效果，并且，降低图像处理过程中的硬件运算资源消耗，提升降噪效率。
本申请实施例中，所述对所述多帧图像中的目标图像，基于人工智能进行噪声特性识别，得到目标噪声特性。
本申请实施例中，可以采用神经网络模型，对所述目标图像进行噪声特性识别，得到目标噪声特性；其中，所述神经网络模型，已学习得到所述目标图像的感光度与噪声特性之间的映射关系。
所述神经网络模型，是采用各感光度的样本图像对所述神经网络模型进行训练，直至所述神经网络模型识别出的噪声特性与相应样本图像中标注的噪声特性匹配时，所述神经网络模型训练完成。
作为一种可能的实现方式，由于神经网络模型已学习得到目标图像的感光度与噪声特性之间的映射关系。因此，可以将目标图像输入神经网络模型中，以采用神经网络模型对目标图像进行噪声特性识别，从而识别出目标图像的噪声特性并作为目标噪声特性，从而达到了降噪的目的，提高了图像的信噪比。
当然，神经网络模型仅仅是实现基于人工智能进行噪声特性识别的一种可能的实现方式，在实际执行过程中，可以通过其它任意可能的方式来实现基于人工智能进行噪声特性识别，比如，还可以采用传统的编程技术(比如模拟法和工程学方法)实现，又比如，还可以遗传学算法和人工神经网络的方法来实现。
其中，感光度，又称为ISO值，是指衡量底片对于光的灵敏程度的指标。对于感光度较低的底片，需要曝光更长的时间以达到跟感光度较高的底片相同的成像。数码相机的感光度是一种类似于胶卷感光度的一种指标，数码相机的ISO可以通过调整感光器件的灵敏度或者合并感光点来调整，也就是说，可以通过提升感光器件的光线敏感度或者合并几个相邻的感光点来达到提升ISO的目的。
需要说明的是，无论是数码或是底片摄影，ISO值越低，采集的图像质量越高，图像细节表现越细腻，ISO值越高，光线感应性能越强，也就越能接收更多的光线，从而产生更多的热量，因此，使用相对较高的感光度通常会引入较多的噪声，从而导致图像质量降低。
本申请实施例正是考虑了使用相对较高的感光度通常会引入较多的噪声，从而导致图像质量降低，因此，为了有效保障图像的降噪效果，从多帧图像中，选取ISO值最大的图像作为所述目标图像，通过对ISO值最大的图像进行噪声特性识别，能够实现对包含较多的噪声的图像优先识别噪声特性以进行降噪。
本申请实施例中，噪声特性，可以是由于图像传感器引起的随机噪声的统计特性。这里说的噪声主要包括热噪声和散粒噪声，其中，热噪声符合高斯分布，散粒噪声符合泊松分布，本申请实施例中的统计特性可以指噪声的方差值，当然也可以是其他可能情况的值，在此不做限定。
S103：根据所述目标噪声特性，对其它图像进行降噪处理，所述目标图像和所述其它图像共同组成所述多帧图像。
本申请实施例在具体执行的过程中，可以根据所述目标噪声特性，确定与所述其它图像中的各图像对应的噪声特性；根据各所述噪声特性，对对应的所述其它图像进行降噪处理。
在实际的应用中，通常相同的图像传感器，连续采集相同场景下得到的不同曝光量的多帧图片的噪声特性变化甚微，因此，本申请实施例中根据所述目标噪声特性，确定与所述其它图像中的各图像对应的噪声特性；根据各所述噪声特性，对对应的所述其它图像进行降噪处理，实现简便，方法执行效率高，实现仅对一种曝光度图像进行噪声特性识别，将识别出的噪声特性换算为其它曝光度图像的噪声特性，以对其它图像进行降噪处理。
可选地，可以根据所述目标噪声特性，结合预设函数确定与所述其它图像中的各图像对应的噪声特性，其中，所述预设函数为多个，各所述其它图像具有对应的预设函数，所述预设函数，为预先根据目标图像的ISO值和对应的其它图像的ISO拟合得到的。
本申请实施例中，由于使用相对较高的感光度通常会引入较多的噪声，而使用相对较低的感光度通常不会引入较多的噪声，因此，可以根据不同曝光度的图像对应的ISO值，来拟合目标图像和其它图像的噪声特性之前的函数，该函数可以被称为预设函数，则针对不同的其它图像，均具有对应的预设函数。
预设函数可以例如，
其中，N为识别出的目标噪声特征，Ir为输出图像(输出图像为已降噪的图像)，Io为其它图像，
表示当前需要进行降噪的其它图像的噪声特性，和目标噪声特性之间的预设函数，预设函数为线性函数。
本实施例中，通过获取多帧图像，并对所述多帧图像中的目标图像进行噪声特性识别，得到目标噪声特性，以及根据所述目标噪声特性，对其它图像进行降噪处理，所述目标图像和所述其它图像共同组成所述多帧图像，能够在保障降噪效果的同时，降低图像处理过程中的硬件运算资源消耗，提升降噪效率。
为了获得较佳的人工智能的降噪效果，可以选用神经网络模型识别噪声特性，并采用各感光度的样本图像对该神经网络模型进行训练，以提高神经网络模型识别噪声特性的能力，具体的训练过程参见图2，图2为本申请另一实施例提出的图像处理方法的流程示意图，如图2所示，包括以下步骤：
S201：获取各感光度的样本图像。
其中，样本图像中已经标注了图像的噪声特性。
本申请实施例中，样本图像可以是在不同的环境亮度下，设置不同的感光度拍摄得到的图像。
也就是说，环境亮度应为多种，在每一种环境亮度下，分别在不同感光度情况下拍摄多帧图像，作为样本图像。
为了获得更佳准确的噪声特性识别结果，本申请实施例中还可以对环境亮度和ISO进行细分，增加样本图像的帧数，以使目标图像输入神经网络模型后，该神经网络能准确的识别出目标图像的统计特性。
S202：采用各感光度的样本图像对神经网络模型进行训练。
本申请实施例中，获取到不同环境光亮度下拍摄得到的各感光度的样本图像后，采用样本图像对神经网络模型进行训练。将样本图像中标注的统计特性作为模型训练的特性，将经过统计特性标注的样本图像输入神经网络模型，以对神经网络模型进行训练，进而识别出图像的统计特性。
当然，神经网络模型仅仅是实现基于人工智能的噪声特性识别的一种可能的实现方式，在实际执行过程中，可以通过其他任意可能的方式来实现基于人工智能的噪声特性识别，比如，还可以采用传统的编程技术(比如模拟法和工程学方法)实现，又比如，还可以遗传学算法和人工神经网络的方法来实现。
需要说明的是，在样本图像中标注统计特性对神经网络模型进行训练，是因为已标注的样本图像能够清楚的表示出图像的噪声位置和噪声类型，从而将标注的统计特性作为模型训练的特性，将目标图像输入神经网络模型后，能够识别出目标图像中的统计特性。
S203：直至神经网络模型识别出的噪声特性与相应样本图像中标注的噪声特性匹配时，神经网络模型训练完成。
本申请实施例中，采用各感光度的样本图像对神经网络模型进行训练，直至神经网络模型识别出的噪声特性与相应样本图像中标注的统计特性匹配，
本申请实施例中，通过获取各感光度的样本图像，采用各感光度的样本图像对神经网络模型进行训练，直至神经网络模型识别出的统计特性与相应样本图像中标注的统计特性匹配时，神经网络模型训练完成。由于，采用各感光度下经过标注统计特性的样本图像对神经网络模型进行训练，能够实现将目标图像输入神经网络模型后，准确的识别出目标图像的统计特性。
图3是本申请一实施例提出的图像处理装置的结构示意图。
如图3所示，该图像处理装置300包括：
获取模块301，用于获取多帧图像；
识别模块302，用于对多帧图像中的目标图像进行噪声特性识别，得到目标噪声特性；
处理模块303，用于根据目标噪声特性，对其它图像进行降噪处理，目标图像和其它图像共同组成多帧图像。
可选地，一些实施例中，识别模块302，具体用于：
采用神经网络模型，对所述目标图像进行噪声特性识别，得到目标噪声特性；其中，所述神经网络模型，已学习得到所述目标图像的感光度与噪声特性之间的映射关系。
可选地，一些实施例中，神经网络模型，是采用各感光度的样本图像对所述神经网络模型进行训练，直至所述神经网络模型识别出的噪声特性与相应样本图像中标注的噪声特性匹配时，所述神经网络模型训练完成。
可选地，一些实施例中，多帧图像为不同曝光量的多帧图像，所述目标图像为所述多帧图像中，ISO值最大的图像。
可选地，一些实施例中，参见图4，图4为本申请另一实施例提出的图像处理装置的结构示意图，处理模块303，包括：
确定子模块3031，用于根据所述目标噪声特性，确定与所述其它图像中的各图像对应的噪声特性；
处理子模块3032，用于根据各所述噪声特性，对对应的所述其它图像进行降噪处理。
可选地，一些实施例中，确定子模块3031，具体用于：
根据所述目标噪声特性，结合预设函数确定与所述其它图像中的各图像对应的噪声特性，其中，所述预设函数为多个，各所述其它图像具有对应的预设函数，所述预设函数，为预先根据目标图像的ISO值和对应的其它图像的ISO拟合得到的。
需要说明的是，前述对图像处理方法实施例的解释说明也适用于该实施例的图像处理装置300，此处不再赘述。
本实施例中，通过获取多帧图像，并对多帧图像中的目标图像进行噪声特性识别，得到目标噪声特性，以及根据目标噪声特性，对其它图像进行降噪处理，目标图像和其它图像共同组成多帧图像，能够在保障降噪效果的同时，降低图像处理过程中的硬件运算资源消耗，提升降噪效率。
为了实现上述实施例，本申请还提出一种电子设备200，参见图5，图5为本申请实施例提供的一种电子设备的结构示意图，包括：图像传感器210、存储器230、处理器220及存储在存储器230上并可在处理器220上运行的计算机程序，所述图像传感器210与所述处理器220电连接，所述处理器220执行所述程序时，实现如权利要求1-6中任一所述的图像处理方法
作为一种可能的情况，处理器220可以包括：图像信号处理ISP处理器。
其中，ISP处理器，用于控制所述图像传感器获取多帧图像。
作为另一种可能的情况，处理器220还可以包括：与所述ISP处理器连接的图形处理器(Graphics Processing Unit，简称GPU)。
其中，GPU用于对所述多帧图像中的目标图像进行噪声特性识别，得到目标噪声特性；根据所述目标噪声特性，对其它图像进行降噪处理，所述目标图像和所述其它图像共同组成所述多帧图像。
作为一种示例，请参阅图6，在图5电子设备的基础上，图6中为本申请实施例提供的一种电子设备的原理示例图。电子设备200的存储器230包括非易失性存储器60、内存储器62和处理器220。存储器230中存储有计算机可读指令。计算机可读指令被存储器执行时，使得处理器220执行上述任一实施方式的图像处理方法。
如图6所示，该电子设备200包括通过系统总线61连接的处理器220、非易失性存储器60、内存储器62、显示屏63和输入装置64。其中，电子设备200的非易失性存储器60存储有操作系统和计算机可读指令。该计算机可读指令可被处理器220执行，以实现本申请实施方式的图像处理方法。该处理器220用于提供计算和控制能力，支撑整个电子设备200的运行。电子设备200的内存储器62为非易失性存储器60中的计算机可读指令的运行提供环境。电子设备200的显示屏63可以是液晶显示屏或者电子墨水显示屏等，输入装置64可以是显示屏63上覆盖的触摸层，也可以是电子设备200外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该电子设备200可以是手机、平板电脑、笔记本电脑、个人数字助理或穿戴式设备(例如智能手环、智能手表、智能头盔、智能眼镜)等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的示意图，并不构成对本申请方案所应用于其上的电子设备200的限定，具体的电子设备200可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
为了实现上述实施例，本申请还提出一种图像处理电路，请参阅图7，图7为本申请实施例提供的一种图像处理电路的原理示意图，如图7所示，图像处理电路70包括图像信号处理ISP处理器71(ISP处理器71作为处理器220)和图形处理器GPU。
ISP处理器，与图像传感器电连接，用于控制所述图像传感器获取多帧图像；
GPU，与ISP处理器电连接，用于对所述多帧图像中的目标图像进行噪声特性识别，得到目标噪声特性；根据所述目标噪声特性，对其它图像进行降噪处理，所述目标图像和所述其它图像共同组成所述多帧图像。
摄像头73捕捉的图像数据首先由ISP处理器71处理，ISP处理器71对图像数据进行分析以捕捉可用于确定摄像头73的一个或多个控制参数的图像统计信息。摄像模组310可包括一个或多个透镜732和图像传感器734。图像传感器734可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器734可获取每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器71处理的一组原始图像数据。传感器74(如陀螺仪)可基于传感器74接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器71。传感器74接口可以为SMIA(StandardMobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外，图像传感器734也可将原始图像数据发送给传感器74，传感器74可基于传感器74接口类型把原始图像数据提供给ISP处理器71，或者传感器74将原始图像数据存储到图像存储器75中。
ISP处理器71按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器71可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
ISP处理器71还可从图像存储器75接收图像数据。例如，传感器74接口将原始图像数据发送给图像存储器75，图像存储器75中的原始图像数据再提供给ISP处理器71以供处理。图像存储器75可为存储器330、存储器330的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。
当接收到来自图像传感器734接口或来自传感器74接口或来自图像存储器75的原始图像数据时，ISP处理器71可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器75，以便在被显示之前进行另外的处理。ISP处理器71从图像存储器75接收处理数据，并对处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器71处理后的图像数据可输出给显示器77(显示器77可包括显示屏63)，以供用户观看和/或由图形引擎或GPU进一步处理。此外，ISP处理器71的输出还可发送给图像存储器75，且显示器77可从图像存储器75读取图像数据。在一个实施例中，图像存储器75可被配置为实现一个或多个帧缓冲器。此外，ISP处理器71的输出可发送给编码器/解码器76，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器77设备上之前解压缩。编码器/解码器76可由CPU或GPU或协处理器实现。
ISP处理器71确定的统计数据可发送给控制逻辑器72单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜732阴影校正等图像传感器734统计信息。控制逻辑器72可包括执行一个或多个例程(如固件)的处理元件和/或微控制器，一个或多个例程可根据接收的统计数据，确定摄像头73的控制参数及ISP处理器71的控制参数。例如，摄像头73的控制参数可包括传感器74控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜732控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜732阴影校正参数。
以下为运用图7中图像处理技术实现图像处理方法的步骤：ISP处理器控制图像传感器获取多帧图像；GPU对所述多帧图像中的目标图像进行噪声特性识别，得到目标噪声特性，ISP处理器，还用于根据所述目标噪声特性，对其它图像进行降噪处理，所述目标图像和所述其它图像共同组成所述多帧图像。
为了实现上述实施例，本申请实施例还提供了一种存储介质，当存储介质中的指令由处理器执行时，使得处理器执行以下步骤：获取多帧图像，并对所述多帧图像中的目标图像进行噪声特性识别，得到目标噪声特性，以及根据所述目标噪声特性，对其它图像进行降噪处理，所述目标图像和所述其它图像共同组成所述多帧图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (11)
1.一种图像处理方法，其特征在于，所述方法包括以下步骤：
获取多帧图像；
对所述多帧图像中的目标图像进行噪声特性识别，得到目标噪声特性；
根据所述目标噪声特性，对其它图像进行降噪处理，所述目标图像和所述其它图像共同组成所述多帧图像；
所述对所述多帧图像中的目标图像进行噪声特性识别，得到目标噪声特性，包括：
采用神经网络模型，对所述目标图像进行噪声特性识别，得到目标噪声特性；其中，所述神经网络模型，已学习得到所述目标图像的感光度与噪声特性之间的映射关系；
所述根据所述目标噪声特性，对其它图像进行降噪处理，包括：
根据所述目标噪声特性，确定与所述其它图像中的各图像对应的噪声特性；
根据各所述噪声特性，对对应的所述其它图像进行降噪处理；
所述根据所述目标噪声特性，确定与所述其它图像中的各图像对应的噪声特性，包括：
根据所述目标噪声特性，结合预设函数确定与所述其它图像中的各图像对应的噪声特性，其中，所述预设函数为多个，各所述其它图像具有对应的预设函数，所述预设函数，为预先根据目标图像的ISO值和对应的其它图像的ISO拟合得到的。
2.根据权利要求1所述的图像处理方法，其特征在于，所述神经网络模型，是采用各感光度的样本图像对所述神经网络模型进行训练，直至所述神经网络模型识别出的噪声特性与相应样本图像中标注的噪声特性匹配时，所述神经网络模型训练完成。
3.根据权利要求1所述的图像处理方法，其特征在于，所述多帧图像为不同曝光量的多帧图像，所述目标图像为所述多帧图像中，ISO值最大的图像。
4.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取多帧图像；
识别模块，用于对所述多帧图像中的目标图像进行噪声特性识别，得到目标噪声特性；
处理模块，用于根据所述目标噪声特性，对其它图像进行降噪处理，所述目标图像和所述其它图像共同组成所述多帧图像；
所述识别模块，具体用于：
采用神经网络模型，对所述目标图像进行噪声特性识别，得到目标噪声特性；其中，所述神经网络模型，已学习得到所述目标图像的感光度与噪声特性之间的映射关系；
所述处理模块，包括：
确定子模块，用于根据所述目标噪声特性，确定与所述其它图像中的各图像对应的噪声特性；
处理子模块，用于根据各所述噪声特性，对对应的所述其它图像进行降噪处理；
所述确定子模块，具体用于：
根据所述目标噪声特性，结合预设函数确定与所述其它图像中的各图像对应的噪声特性，其中，所述预设函数为多个，各所述其它图像具有对应的预设函数，所述预设函数，为预先根据目标图像的ISO值和对应的其它图像的ISO拟合得到的。
5.根据权利要求4所述的图像处理装置，其特征在于，所述神经网络模型，是采用各感光度的样本图像对所述神经网络模型进行训练，直至所述神经网络模型识别出的噪声特性与相应样本图像中标注的噪声特性匹配时，所述神经网络模型训练完成。
6.根据权利要求4所述的图像处理装置，其特征在于，所述多帧图像为不同曝光量的多帧图像，所述目标图像为所述多帧图像中，ISO值最大的图像。
7.一种电子设备，其特征在于，包括：图像传感器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述图像传感器与所述处理器电连接，所述处理器执行所述程序时，实现如权利要求1-3中任一所述的图像处理方法。
8.根据权利要求7所述的电子设备，其特征在于，所述处理器包括图像信号处理ISP处理器；
所述ISP处理器，用于控制所述图像传感器获取多帧图像。
9.根据权利要求8所述的电子设备，其特征在于，所述处理器包括与所述ISP处理器连接的图形处理器GPU；
其中，所述GPU，用于对所述多帧图像中的目标图像进行噪声特性识别，得到目标噪声特性；根据所述目标噪声特性，对其它图像进行降噪处理，所述目标图像和所述其它图像共同组成所述多帧图像。
10.一种图像处理电路，其特征在于，所述图像处理电路包括图像信号处理ISP处理器和图形处理器GPU；
所述ISP处理器，与图像传感器电连接，用于控制所述图像传感器获取多帧图像；
所述GPU，与所述ISP处理器电连接，用于对所述多帧图像中的目标图像进行噪声特性识别，得到目标噪声特性；根据所述目标噪声特性，对其它图像进行降噪处理，所述目标图像和所述其它图像共同组成所述多帧图像；
所述对所述多帧图像中的目标图像进行噪声特性识别，得到目标噪声特性，包括：
采用神经网络模型，对所述目标图像进行噪声特性识别，得到目标噪声特性；其中，所述神经网络模型，已学习得到所述目标图像的感光度与噪声特性之间的映射关系；
所述根据所述目标噪声特性，对其它图像进行降噪处理，包括：
根据所述目标噪声特性，确定与所述其它图像中的各图像对应的噪声特性；
根据各所述噪声特性，对对应的所述其它图像进行降噪处理；
所述根据所述目标噪声特性，确定与所述其它图像中的各图像对应的噪声特性，包括：
根据所述目标噪声特性，结合预设函数确定与所述其它图像中的各图像对应的噪声特性，其中，所述预设函数为多个，各所述其它图像具有对应的预设函数，所述预设函数，为预先根据目标图像的ISO值和对应的其它图像的ISO拟合得到的。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3中任一所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910509581.4A CN110276730B (zh) | 2019-06-13 | 2019-06-13 | 图像处理方法、装置、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910509581.4A CN110276730B (zh) | 2019-06-13 | 2019-06-13 | 图像处理方法、装置、电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110276730A CN110276730A (zh) | 2019-09-24 |
| CN110276730B true CN110276730B (zh) | 2023-03-28 |
Family
ID=67962149
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910509581.4A Active CN110276730B (zh) | 2019-06-13 | 2019-06-13 | 图像处理方法、装置、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110276730B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110807824B (zh) * | 2019-11-08 | 2023-06-23 | 广东明创软件科技有限公司 | 噪声优化方法、装置、终端设备以及存储介质 |
| CN113628124B (zh) * | 2020-05-08 | 2024-01-16 | 深圳清华大学研究院 | Isp与视觉任务联合优化方法、系统、介质和电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018120662A1 (zh) * | 2016-12-27 | 2018-07-05 | 华为技术有限公司 | 一种拍照方法，拍照装置和终端 |
| CN108280811A (zh) * | 2018-01-23 | 2018-07-13 | 哈尔滨工业大学深圳研究生院 | 一种基于神经网络的图像去噪方法和系统 |
| CN109089046A (zh) * | 2018-09-25 | 2018-12-25 | Oppo广东移动通信有限公司 | 图像降噪方法、装置、计算机可读存储介质及电子设备 |
| CN109754376A (zh) * | 2018-12-28 | 2019-05-14 | 深圳美图创新科技有限公司 | 图像去噪方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107948520A (zh) * | 2017-11-30 | 2018-04-20 | 广东欧珀移动通信有限公司 | 图像处理方法和装置 |
-
2019
- 2019-06-13 CN CN201910509581.4A patent/CN110276730B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018120662A1 (zh) * | 2016-12-27 | 2018-07-05 | 华为技术有限公司 | 一种拍照方法，拍照装置和终端 |
| CN108280811A (zh) * | 2018-01-23 | 2018-07-13 | 哈尔滨工业大学深圳研究生院 | 一种基于神经网络的图像去噪方法和系统 |
| CN109089046A (zh) * | 2018-09-25 | 2018-12-25 | Oppo广东移动通信有限公司 | 图像降噪方法、装置、计算机可读存储介质及电子设备 |
| CN109754376A (zh) * | 2018-12-28 | 2019-05-14 | 深圳美图创新科技有限公司 | 图像去噪方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 结合双边滤波和多帧均值滤波的图像降噪;谢勤岚;《计算机工程与应用》;20090921(第27期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110276730A (zh) | 2019-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110072051B (zh) | 基于多帧图像的图像处理方法和装置 | |
| CN110062160B (zh) | 图像处理方法和装置 | |
| AU2019326496B2 (en) | Method for capturing images at night, apparatus, electronic device, and storage medium | |
| CN110072052B (zh) | 基于多帧图像的图像处理方法、装置、电子设备 | |
| CN108900782B (zh) | 曝光控制方法、装置以及电子设备 | |
| CN108322669B (zh) | 图像获取方法及装置、成像装置和可读存储介质 | |
| CN108683862B (zh) | 成像控制方法、装置、电子设备及计算机可读存储介质 | |
| CN109788207B (zh) | 图像合成方法、装置、电子设备及可读存储介质 | |
| CN110290289B (zh) | 图像降噪方法、装置、电子设备以及存储介质 | |
| US20200045219A1 (en) | Control method, control apparatus, imaging device, and electronic device | |
| CN110166708B (zh) | 夜景图像处理方法、装置、电子设备以及存储介质 | |
| CN110248106B (zh) | 图像降噪方法、装置、电子设备以及存储介质 | |
| CN110191291B (zh) | 基于多帧图像的图像处理方法和装置 | |
| CN110166707B (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
| CN109348088B (zh) | 图像降噪方法、装置、电子设备及计算机可读存储介质 | |
| CN109672819B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN109068058B (zh) | 超级夜景模式下的拍摄控制方法、装置和电子设备 | |
| WO2020034737A1 (zh) | 成像控制方法、装置、电子设备以及计算机可读存储介质 | |
| WO2020207261A1 (zh) | 基于多帧图像的图像处理方法、装置、电子设备 | |
| CN109089046B (zh) | 图像降噪方法、装置、计算机可读存储介质及电子设备 | |
| CN109005369B (zh) | 曝光控制方法、装置、电子设备以及计算机可读存储介质 | |
| CN110264420B (zh) | 基于多帧图像的图像处理方法和装置 | |
| CN110166706B (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
| CN110166709B (zh) | 夜景图像处理方法、装置、电子设备以及存储介质 | |
| US11233948B2 (en) | Exposure control method and device, and electronic device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |