CN110717871A - 图像处理方法、装置、存储介质及电子设备 - Google Patents
图像处理方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN110717871A CN110717871A CN201910943904.0A CN201910943904A CN110717871A CN 110717871 A CN110717871 A CN 110717871A CN 201910943904 A CN201910943904 A CN 201910943904A CN 110717871 A CN110717871 A CN 110717871A
- Authority
- CN
- China
- Prior art keywords
- image
- noise reduction
- frame
- initial
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 79
- 238000003672 processing method Methods 0.000 title claims abstract description 33
- 230000009467 reduction Effects 0.000 claims abstract description 118
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 67
- 238000010801 machine learning Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 11
- 238000013135 deep learning Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 8
- 239000000872 buffer Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005282 brightening Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000003705 background correction Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像处理方法、装置、存储介质及电子设备。该图像处理方法包括：获取多帧初始图像；对该多帧初始图像进行多帧降噪处理，得到降噪图像；利用预设网络降噪算法对该降噪图像进行降噪处理，得到目标图像，该预设网络降噪算法为经过机器学习的算法模型。本申请实施例可以提高图像的成像质量。
Description
技术领域
本申请属于图像技术领域，尤其涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术
随着技术的发展，电子设备的拍摄能力越来越强。用户可以使用电子设备在各种场景下进行拍摄，例如夜景或者逆光环境等。相关技术中，电子设备可以对拍摄得到的图像进行各种处理。比如，电子设备可以对图像进行降噪处理等操作。然而，相关技术中，图像的成像质量仍然较低。
发明内容
本申请实施例提供一种图像处理方法、装置、存储介质及电子设备，可以提高图像的成像质量。
第一发明，本申请实施例提供一种图像处理方法，包括：
获取多帧初始图像；
对所述多帧初始图像进行多帧降噪处理，得到降噪图像；
利用预设网络降噪算法对所述降噪图像进行降噪处理，得到目标图像，所述预设网络降噪算法为经过机器学习的算法模型。
第二方面，本申请实施例提供一种图像处理装置，包括：
获取模块，用于获取多帧初始图像；
第一降噪模块，用于对所述多帧初始图像进行多帧降噪处理，得到降噪图像；
第二降噪模块，用于利用预设网络降噪算法对所述降噪图像进行降噪处理，得到目标图像，所述预设网络降噪算法为经过机器学习的算法模型。
第三方面，本申请实施例提供一种存储介质，其上存储有计算机程序，当所述计算机程序在计算机上执行时，使得所述计算机执行本申请实施例提供的图像处理方法中的流程。
第三方面，本申请实施例还提供一种电子设备，包括存储器，处理器，所述处理器通过调用所述存储器中存储的计算机程序，用于执行本申请实施例提供的图像处理方法中的流程。
本申请实施例中，电子设备可以对多帧初始图像进行多帧降噪，得到降噪图像，再利用经过学习的预设网络降噪算法对降噪图像进行降噪。因此，本实施例中电子设备可以对图像进行两次降噪，从而有效降低图像中的噪声，以达到提高图像信噪比，提高图像成像质量的效果。
附图说明
下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其有益效果显而易见。
图1是本申请实施例提供的图像处理方法的流程示意图。
图2是本申请实施例提供的图像处理方法的另一流程示意图。
图3至图4是本申请实施例提供的图像处理方法的场景示意图。
图5是本申请实施例提供的图像处理装置的结构示意图。
图6是本申请实施例提供的电子设备的结构示意图。
图7是本申请实施例提供的电子设备的另一结构示意图。
图8是本申请实施例提供的图像处理电路的结构示意图。
具体实施方式
请参照图示，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。
可以理解的是，本申请实施例的执行主体可以是诸如智能手机或平板电脑等的电子设备。
请参阅图1，图1是本申请实施例提供的图像处理方法的流程示意图，流程可以包括：
101、获取多帧初始图像。
随着技术的发展，电子设备的拍摄能力越来越强。用户可以使用电子设备在各种场景下进行拍摄，例如夜景或者逆光环境等。相关技术中，电子设备可以对拍摄得到的图像进行各种处理。比如，电子设备可以对图像进行降噪处理等操作。然而，相关技术中，图像的成像质量仍然较低。
在本申请实施例中，比如，电子设备可以先获取多帧拍摄得到的图像，即初始图像。
102、对多帧初始图像进行多帧降噪处理，得到降噪图像。
比如，在获取到多帧初始图像后，电子设备可以对该多帧初始图像进行多帧降噪处理(第一次降噪处理)，从而得到降噪图像。
103、利用预设网络降噪算法对降噪图像进行降噪处理，得到目标图像，该预设网络降噪算法为经过机器学习的算法模型。
比如，在对多帧初始图像进行多帧降噪处理得到降噪图像后，电子设备可以利用预设网络降噪算法对该降噪图像进行降噪处理(第二次降噪处理)，输出得到目标图像。其中，该预设网络降噪算法为经过机器学习的算法模型。例如，该预设网络降噪算法可以为经过深度学习的算法。
需要说明的是，由于深度学习，特别是卷积神经网络(CNN)在图像识别等领域取得了较好的成果，近年来，基于深度学习的图像去噪(即降噪)方法也得到了发展。目前已有的基于深度学习的图像去噪方法包括：利用CNN处理自然图像的去噪、利用栈式去噪自编码器(stacked denoising auto-encoder)进行图像去噪、利用栈式稀疏去噪自编码器(stackedsparse denoising auto-encoder,SSDA)进行图像去噪、利用多层感知机(Multi LayerPerceptron，MLP)的方法实现神经网络去噪、利用深度的卷积编解码网络进行图像去噪、利用较深层的CNN网络即DnCNN实现图像去噪，等等。
可以理解的是，本申请实施例中，电子设备可以对多帧初始图像进行多帧降噪，得到降噪图像，再利用经过学习的预设网络降噪算法对降噪图像进行降噪。因此，本实施例中电子设备可以对图像进行两次降噪，从而有效降低图像中的噪声，以达到提高图像信噪比，提高图像成像质量的效果。
请参阅图2，图2为本申请实施例提供的图像处理方法的另一流程示意图，流程可以包括：
201、电子设备获取多帧初始图像，该多帧初始图像的亮度均小于预设亮度阈值。
比如，用户开启了电子设备中的相机应用，并且将电子设备的取景框对准拍摄场景。此时，电子设备可以利用其摄像模组快速、连续地拍摄关于当前的拍摄场景的图像(相邻两帧图像有一定的拍摄间隔，例如5毫秒或者10毫秒等)，并将这些拍摄得到的图像存入预设图像缓存队列中。电子设备可以从该预设图像缓存队列中获取最近拍摄得到的图像，并将该最近拍摄得到的图像显示在相机应用的预览界面中。
比如，用户在按下相机应用中的拍照按钮后，电子设备可以从预设图像缓存队列中获取多帧在用户按下拍照按钮前最近拍摄得到的图像，即电子设备可以获取到多帧初始图像。其中，该多帧初始图像的亮度可以均小于预设亮度阈值。
或者，在另一种实施方式中，在用户按下拍照按钮后，电子设备可以不从预设图像缓存队列中获取在用户按下拍照按钮前拍摄的多帧图像，而是重新快速地拍摄得到多帧图像，并将该多帧图像确定为初始图像。该多帧初始图像的亮度可以均小于预设亮度阈值。
需要说明的是，多帧初始图像的亮度均小于预设亮度阈值，可以表示该多帧初始图像均是在暗光环境下(如夜景)拍摄得到的图像。
在一种实施方式中，多帧初始图像可以具有相同的曝光度。例如，该多帧初始图像可以是使用相同的曝光参数曝光得到的图像。
202、电子设备使用基于梯度的拉普拉斯算法获取各帧初始图像的清晰度。
比如，在获取到多帧初始图像后，电子设备可以使用基于梯度的拉普拉斯算法获取各帧初始图像的清晰度。
在一种实施方式中，电子设备使用基于梯度的拉普拉斯算法获取各帧初始图像的清晰度时，该拉普拉斯算法在做卷积运算时使用的卷积核为
一般的，在利用拉普拉斯算法做卷积运算以获取图像的清晰度时，使用的卷积核可以是3*3的卷积核在本实施例中，拉普拉斯算法在做卷积运算时使用卷积核可以是3*3的卷积核
使用这一卷积核可以减少卷积运算时的重复计算，并且使用该卷积核对于图像的边缘信息提取具有较好的鲁棒性。
当然，在其它实施方式中，电子设备还可以使用其它方式来评价初始图像的清晰度。比如，除了使用基于梯度的拉普拉斯算法外，电子设备还可以使用基于梯度的Tenengrad方法来计算图像清晰度。Tenengrad梯度方法利用Sobel算子分别计算水平和垂直方向的梯度，同一场景下梯度值越高，图像越清晰。或者，电子设备也可以通过图像灰度数据的方差来衡量图像的清晰度，方差越大，表示图像的清晰度越好，等等。只要是能够对图像的清晰度进行评价的方法均可以用在本实施例中用于计算图像的清晰度，本实施例对此不做具体限定。
203、电子设备将清晰度满足预设条件的初始图像确定为待处理图像。
比如，在获取到各帧初始图像的清晰度后，电子设备可以将清晰度满足预设条件的初始图像确定为待处理图像。
在一种实施方式中，电子设备可以将清晰度大于或等于预设清晰度阈值的初始图像确定为待处理图像。
或者，在获取到各帧初始图像的清晰度后，电子设备可以对清晰度进行排序，并将排序靠前的数张图像确定为待处理图像。例如，电子设备可以将清晰度的排序为前3位或者前4位或者前5位的图像确定为待处理图像。
在确定出待处理图像后，电子设备可以统计待处理图像的数量。在一种实施方式中，待处理图像的数量至少为一张。即，电子设备一定要获取到一张待处理图像。
如果待处理图像的数量为1，例如电子设备将最清晰的初始图像确定为待处理图像或者仅有最清晰的图像的清晰度大于或等于预设清晰度阈值，那么电子设备可以直接将待处理图像输入到预设网络降噪算法中，以利用该预设网络降噪算法对该待处理图像进行降噪处理，得到目标图像，其中该预设网络降噪算法为经过机器学习的算法模型。
如果待处理图像的数量为2，那么可以进入204中。
如果待处理图像的数量大于或等于3，那么可以进入205中。
204、若待处理图像有两帧，则电子设备对该待处理图像进行多帧降噪处理，得到降噪图像，其中，使用求取对齐像素的像素值均值的方式进行多帧降噪。
比如，电子设备从初始图像中确定出两帧待处理图像，那么该电子设备可以使用求取对齐像素的像素值均值的方式对这两帧待处理图像进行多帧降噪处理，从而得到降噪图像。
需要说明的是，上述使用求取对齐像素的像素值均值的方式对这两帧待处理图像进行多帧降噪处理是指：例如，待处理图像分别为图像A和图像B，电子设备可以先对这两帧图像A和B进行图像对齐。对齐的像素可以认为是关于物理拍摄场景中的同一点的像素。并且，电子设备可以从图像A和图像B中选取一帧参考帧图像，例如电子设备可以将清晰度更高的图像A确定为参考帧图像。在图像对齐之后，电子设备可以计算对齐像素的像素值均值，并用像素值均值替换到参考帧图像中对应的像素的像素值。例如，图像A中的像素a1和图像B中的像素b1为对齐的像素，其中，像素a1的像素值为102，像素b1的像素值为100，它们的像素值的均值为(102+100)/2＝101。那么，电子设备可以将参考帧图像A中的像素a1的像素值由102变更为101。当参考帧图像A中的所有像素的像素值均变更为对应的像素值均值后，即完成多帧降噪，得到降噪图像。
205、若待处理图像至少有三帧，则电子设备对待处理图像进行多帧降噪处理，得到降噪图像，其中，使用求取对齐像素的像素值中值的方式进行多帧降噪。
比如，电子设备从初始图像中确定出三帧或三帧以上的待处理图像，那么该电子设备可以使用求取对齐像素的像素值中值的方式对这些待处理图像进行多帧降噪处理，从而得到降噪图像。
需要说明的是，上述使用求取对齐像素的像素值中值的方式对三帧以上的待处理图像进行多帧降噪处理是指：例如，待处理图像分别为图像A、图像B和图像C，电子设备可以先对这两帧图像A、B、C进行图像对齐。对齐的像素可以认为是关于物理拍摄场景中的同一点的像素。并且，电子设备可以从图像A、图像B和图像C中选取一帧参考帧图像，例如电子设备可以将清晰度更高的图像A确定为参考帧图像。在图像对齐之后，电子设备可以确定出对齐像素的像素值中值，并用该像素值中值替换到参考帧图像中对应的像素的像素值。例如，图像A中的像素a2、图像B中的像素b2和图像C中的像素c2为对齐的像素，其中，像素a2的像素值为100，像素b2的像素值为102，像素c2的像素值为103，那它们的像素值中值102(即中间大小的那个像素值)。那么，电子设备可以将参考帧图像A中的像素a1的像素值由100变更为102。当参考帧图像A中的所有像素的像素值均变更为对应的像素值中值后，即完成多帧降噪，得到降噪图像。
需要说明的是，由于初始图像的亮度均小于预设亮度阈值，即这些初始图像是在暗光环境下拍摄得到的，因此这些图像中的噪声较多，细节较弱。由于从整体上看，相比于求取像素值均值的方式，本实施例中使用求取像素值中值的方式可以求取得到更大的像素值数值结果。因此，使用求取像素值中值的方式进行多帧图像可以达到对图像进行提亮的效果。即，本实施例中205中使用求取对齐像素的像素值中值的方式进行多帧降噪的方式一方面可以对图像进行降噪，提高信噪比，另一方面可以提升图像的亮度，从而使图像的细节得到提升。
206、电子设备利用预设网络降噪算法对降噪图像进行降噪处理，得到目标图像，该预设网络降噪算法为经过机器学习的算法模型。
比如，在对数帧待处理图像进行多帧降噪得到降噪图像后，电子设备可以利用预设网络降噪算法对该降噪图像进行降噪处理，从而得到目标图像。其中，该预设网络降噪算法可以是经过机器学习的算法模型。例如，该预设网络降噪算法可以是进行深度学习的算法模型。
需要说明的是，由于深度学习，特别是卷积神经网络(CNN)在图像识别等领域取得了较好的成果，近年来，基于深度学习的图像去噪(即降噪)方法也得到了发展。目前已有的基于深度学习的图像去噪方法包括：利用CNN处理自然图像的去噪、利用栈式去噪自编码器(stacked denoising auto-encoder)进行图像去噪、利用栈式稀疏去噪自编码器(stackedsparse denoising auto-encoder,SSDA)进行图像去噪、利用多层感知机(Multi LayerPerceptron，MLP)的方法实现神经网络去噪、利用深度的卷积编解码网络进行图像去噪、利用较深层的CNN网络即DnCNN实现图像去噪，等等。
在一种实施方式中，当处于暗光拍摄场景时，电子设备可以通过增加曝光时间来提升拍摄得到的初始图像的细节。例如，电子设备在拍摄初始图像时，先根据摄像模组的自动测光系统确定正常曝光的曝光参数，然后，电子设备在该正常曝光的曝光参数的基础上对曝光参数进行调节，比如可以通过延长曝光时长来增加曝光量，再进行拍摄，从而拍摄得到初始图像。
请参阅图3至图4，图3至图4为本申请实施例提供的图像处理方法的场景示意图。
比如，当前处于暗光环境(环境亮度值小于设定值)，如夜景。用户开启了电子设备中的相机应用，电子设备通过其摄像模组的自动测光系统可以根据当前拍摄环境的环境参数确定出一曝光参数，并根据该曝光参数连续快速地拍摄图像，拍摄得到的图像可以被存入预设图像缓存队列中，电子设备可以从该预设图像缓存队列中获取图像，并将该图像显示到预览界面中供用户预览。
比如，如图3所示，用户按下了相机应用中的拍照按钮，此时电子设备可以根据当前拍摄环境(暗光环境)确定出一曝光参数S1，该曝光参数S1中包括曝光时间T1。之后，电子设备可以根据该曝光参数S1连续快速地拍摄得到数帧图像，该数帧图像被确定为初始图像，例如电子设备拍摄得到8帧初始图像。可以理解的是，这8帧图像具有相同的曝光度。之后，电子设备可以对曝光参数S1中的曝光时间T1进行调整，得到曝光参数S2。其中，曝光参数S2中的曝光时间为T2，T2小于T1，曝光参数S2和S1除了曝光时间不同外，其它参数可以相同。在得到曝光参数S2后，电子设备可以按照该曝光参数S2进行曝光从而拍摄得到1帧图像，例如为图像P4。
在拍摄得到8帧初始图像后，电子设备可以获取各帧初始图像的清晰度，然后将清晰度大于预设清晰度阈值的初始图像确定为待处理图像。例如，电子设备从这8帧初始图像中确定出3帧待处理图像，分别为P1、P2和P3。
之后，电子设备可以对这3帧待处理图像P1、P2和P3进行多帧降噪处理，从而得到降噪图像P5。其中，电子设备可以使用求取对齐像素的像素值中值的方式进行多帧降噪。
在得到降噪图像后，电子设备可以输入到预先经过深度学习的神经网络算法模型(即预设网络降噪算法)中进行降噪，得到目标图像P6。
在本实施例中，上述初始图像、待处理图像、降噪图像以及目标图像可以均为RAW格式的图像。
在得到目标图像后，电子设备可以将该目标图像P6和图像P4进行HDR融合，得到具有高动态范围的图像P7。
在得到图像P7后，电子设备可以将图像P7送入图像信号处理器ISP中进行处理，并将ISP处理后得到的图像作为照片输出到屏幕显示给用户查看。
请一并参阅图4，图4为本实施例提供的各环节的图像处理流程。
可以理解的是，本实施例中，一方面通过两次降噪处理可以有效的降低图像中的噪声，从而提高图像的信噪比，提高图像的成像质量。另一方面，本实施例中进行的多帧降噪使用的是求取对齐像素的像素值中值的方式，这可以达到提亮的效果，从而提升图像细节。并且，本实施例中还进行了HDR融合，这可以进一步得到图像细节，尤其是可以有效抑制暗光环境中的诸如灯光等高曝场景，提高图像的动态范围，提升图像细节。
在其它实施方式中，也可以先进行HDR融合再进行多帧降噪。比如，先利用图像P1和图像P4进行HDR融合，得到HDR图像，再将该HDR图像和图像P2、P3进行多帧降噪，得到降噪图像。之后，再将降噪图像输入到预先经过深度学习的神经网络算法模型中进行降噪，得到目标图像。或者，在另一种实施方式中，HDR融合和多帧降噪可以并行进行。
请参阅图5，图5为本申请实施例提供的图像处理装置的结构示意图。图像处理装置300可以包括：获取模块301，第一降噪模块302，第二降噪模块303。
获取模块301，用于获取多帧初始图像。
第一降噪模块302，用于对所述多帧初始图像进行多帧降噪处理，得到降噪图像。
第二降噪模块303，用于利用预设网络降噪算法对所述降噪图像进行降噪处理，得到目标图像，所述预设网络降噪算法为经过机器学习的算法模型。
在一种实施方式中，所述第一降噪模块302可以用于：
获取各帧所述初始图像的清晰度，并将清晰度满足预设条件的初始图像确定为待处理图像；
若所述待处理图像至少有两帧，则对所述待处理图像进行多帧降噪处理，得到降噪图像。
在一种实施方式中，所述第一降噪模块302可以用于：
若所述待处理图像有两帧，则对所述待处理图像进行多帧降噪处理，得到降噪图像，其中，使用求取对齐像素的像素值均值的方式进行多帧降噪；
若所述待处理图像至少有三帧，则对所述待处理图像进行多帧降噪处理，得到降噪图像，其中，使用求取对齐像素的像素值中值的方式进行多帧降噪。
在一种实施方式中，所述第一降噪模块302可以用于：
使用基于梯度的拉普拉斯算法，获取各帧所述初始图像的清晰度。
在一种实施方式中，所述第一降噪模块302可以用于：
使用基于梯度的拉普拉斯算法获取各帧所述初始图像的清晰度，其中，所述拉普拉斯算法在做卷积运算时使用的卷积核为
在一种实施方式中，所述第一降噪模块302可以用于：
将清晰度大于或等于预设清晰度阈值的初始图像确定为待处理图像。
在一种实施方式中，所述获取模块301可以用于：
获取多帧初始图像，所述多帧初始图像的亮度均小于预设亮度阈值。
在一种实施方式中，所述多帧初始图像具有相同的曝光度。
本申请实施例提供一种计算机可读的存储介质，其上存储有计算机程序，当所述计算机程序在计算机上执行时，使得所述计算机执行如本实施例提供的图像处理方法中的流程。
本申请实施例还提供一种电子设备，包括存储器，处理器，所述处理器通过调用所述存储器中存储的计算机程序，用于执行本实施例提供的图像处理方法中的流程。
例如，上述电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图6，图6为本申请实施例提供的电子设备的结构示意图。
该电子设备400可以包括摄像模组401、存储器402、处理器403等部件。本领域技术人员可以理解，图6中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
摄像模组401可以包括透镜和图像传感器，其中透镜用于采集外部的光源信号提供给图像传感器，图像传感器感应来自于透镜的光源信号，将其转换为数字化的原始图像数据，即RAW图像数据。RAW是未经处理、也未经压缩的格式，可以将其形象地称为“数字底片”。摄像模组401可以包括一个摄像头或者两个及以上的摄像头。
存储器402可用于存储应用程序和数据。存储器402存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器403通过运行存储在存储器402的应用程序，从而执行各种功能应用以及数据处理。
处理器403是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的应用程序，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。
在本实施例中，电子设备中的处理器403会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器402中，并由处理器403来运行存储在存储器402中的应用程序，从而执行：
获取多帧初始图像；
对所述多帧初始图像进行多帧降噪处理，得到降噪图像；
利用预设网络降噪算法对所述降噪图像进行降噪处理，得到目标图像，所述预设网络降噪算法为经过机器学习的算法模型。
请参阅图7，电子设备400可以包括摄像模组401、存储器402、处理器403、触摸显示屏404、扬声器405、麦克风406等部件。
摄像模组401可以包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义图像信号处理(Image Signal Processing)管线的各种处理单元。图像处理电路至少可以包括：摄像头、图像信号处理器(Image Signal Processor，ISP处理器)、控制逻辑器、图像存储器以及显示器等。其中摄像头至少可以包括一个或多个透镜和图像传感器。图像传感器可包括色彩滤镜阵列(如Bayer滤镜)。图像传感器可获取用图像传感器的每个成像像素捕捉的光强度和波长信息，并提供可由图像信号处理器处理的一组原始图像数据。
图像信号处理器可以按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，图像信号处理器可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。原始图像数据经过图像信号处理器处理后可存储至图像存储器中。图像信号处理器还可从图像存储器处接收图像数据。
图像存储器可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。
当接收到来自图像存储器的图像数据时，图像信号处理器可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器，以便在被显示之前进行另外的处理。图像信号处理器还可从图像存储器接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，图像信号处理器的输出还可发送给图像存储器，且显示器可从图像存储器读取图像数据。在一种实施方式中，图像存储器可被配置为实现一个或多个帧缓冲器。
图像信号处理器确定的统计数据可发送给控制逻辑器。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜阴影校正等图像传感器的统计信息。
控制逻辑器可包括执行一个或多个例程(如固件)的处理器和/或微控制器。一个或多个例程可根据接收的统计数据，确定摄像头的控制参数以及ISP控制参数。例如，摄像头的控制参数可包括照相机闪光控制参数、透镜的控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵等。
请参阅图8，图8为本实施例中图像处理电路的结构示意图。如图8所示，为便于说明，仅示出与本发明实施例相关的图像处理技术的各个方面。
例如图像处理电路可以包括：摄像头、图像信号处理器、控制逻辑器、图像存储器、显示器。其中，摄像头可以包括一个或多个透镜和图像传感器。
摄像头采集的第一图像传输给图像信号处理器进行处理。图像信号处理器处理第一图像后，可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器。控制逻辑器可根据统计数据确定摄像头的控制参数，从而摄像头可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过图像信号处理器进行处理后可存储至图像存储器中。图像信号处理器也可以读取图像存储器中存储的图像以进行处理。另外，第一图像经过图像信号处理器进行处理后可直接发送至显示器进行显示。显示器也可以读取图像存储器中的图像以进行显示。
此外，图中没有展示的，电子设备还可以包括CPU和供电模块。CPU和逻辑控制器、图像信号处理器、图像存储器和显示器均连接，CPU用于实现全局控制。供电模块用于为各个模块供电。
存储器402可用于存储应用程序和数据。存储器402存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器403通过运行存储在存储器402的应用程序，从而执行各种功能应用以及数据处理。
处理器403是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的应用程序，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。
触摸显示屏404可用于接收用户的触摸输入操作，以及显示诸如文字和图像等的信息。
扬声器405可以用于播放声音信号。
麦克风406可以用于拾取周围环境中的声音信号。比如，用户可以发出用于指示电子设备进行图像拍摄的语音。电子设备的麦克风406可以拾取到该语音，并由电子设备400的处理器403将该语音转化为对应的语音指令，并控制电子设备400的摄像模组401进行图像拍摄操作。
在本实施例中，电子设备中的处理器403会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器402中，并由处理器403来运行存储在存储器402中的应用程序，从而执行：
获取多帧初始图像；
对所述多帧初始图像进行多帧降噪处理，得到降噪图像；
利用预设网络降噪算法对所述降噪图像进行降噪处理，得到目标图像，所述预设网络降噪算法为经过机器学习的算法模型。
在一种实施方式中，处理器403执行对所述多帧初始图像进行多帧降噪处理，得到降噪图像时，可以执行：
获取各帧所述初始图像的清晰度，并将清晰度满足预设条件的初始图像确定为待处理图像；
若所述待处理图像至少有两帧，则对所述待处理图像进行多帧降噪处理，得到降噪图像。
在一种实施方式中，处理器403执行若所述待处理图像至少有两帧，则对所述待处理图像进行多帧降噪处理，得到降噪图像时，可以执行：
若所述待处理图像有两帧，则对所述待处理图像进行多帧降噪处理，得到降噪图像，其中，使用求取对齐像素的像素值均值的方式进行多帧降噪；
若所述待处理图像至少有三帧，则对所述待处理图像进行多帧降噪处理，得到降噪图像，其中，使用求取对齐像素的像素值中值的方式进行多帧降噪。
在一种实施方式中，处理器403执行所述获取各帧所述初始图像的清晰度时，可以执行：
使用基于梯度的拉普拉斯算法，获取各帧所述初始图像的清晰度。
在一种实施方式中，处理器403执行所述使用基于梯度的拉普拉斯算法获取各帧所述初始图像的清晰度时，可以执行：
使用基于梯度的拉普拉斯算法获取各帧所述初始图像的清晰度，其中，所述拉普拉斯算法在做卷积运算时使用的卷积核为
在一种实施方式中，处理器403执行所述将清晰度满足预设条件的初始图像确定为待处理图像时，可以执行：
将清晰度大于或等于预设清晰度阈值的初始图像确定为待处理图像。
在一种实施方式中，处理器403执行所述获取多帧初始图像时，可以执行：
获取多帧初始图像，所述多帧初始图像的亮度均小于预设亮度阈值。
在一种实施方式中，所述多帧初始图像具有相同的曝光度。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对图像处理方法的详细描述，此处不再赘述。
本申请实施例提供的所述图像处理装置与上文实施例中的图像处理方法属于同一构思，在所述图像处理装置上可以运行所述图像处理方法实施例中提供的任一方法，其具体实现过程详见所述图像处理方法实施例，此处不再赘述。
需要说明的是，对本申请实施例所述图像处理方法而言，本领域普通技术人员可以理解实现本申请实施例所述图像处理方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可存储于一计算机可读取存储介质中，如存储在存储器中，并被至少一个处理器执行，在执行过程中可包括如所述图像处理方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)等。
对本申请实施例的所述图像处理装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，所述存储介质譬如为只读存储器，磁盘或光盘等。
以上对本申请实施例所提供的一种图像处理方法、装置、存储介质以及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (11)
1.一种图像处理方法，其特征在于，包括：
获取多帧初始图像；
对所述多帧初始图像进行多帧降噪处理，得到降噪图像；
利用预设网络降噪算法对所述降噪图像进行降噪处理，得到目标图像，所述预设网络降噪算法为经过机器学习的算法模型。
2.根据权利要求1所述的图像处理方法，其特征在于，对所述多帧初始图像进行多帧降噪处理，得到降噪图像，包括：
获取各帧所述初始图像的清晰度，并将清晰度满足预设条件的初始图像确定为待处理图像；
若所述待处理图像至少有两帧，则对所述待处理图像进行多帧降噪处理，得到降噪图像。
3.根据权利要求2所述的图像处理方法，其特征在于，若所述待处理图像至少有两帧，则对所述待处理图像进行多帧降噪处理，得到降噪图像，包括：
若所述待处理图像有两帧，则对所述待处理图像进行多帧降噪处理，得到降噪图像，其中，使用求取对齐像素的像素值均值的方式进行多帧降噪；
若所述待处理图像至少有三帧，则对所述待处理图像进行多帧降噪处理，得到降噪图像，其中，使用求取对齐像素的像素值中值的方式进行多帧降噪。
4.根据权利要求2所述的图像处理方法，其特征在于，所述获取各帧所述初始图像的清晰度，包括：
使用基于梯度的拉普拉斯算法，获取各帧所述初始图像的清晰度。
5.根据权利要求4所述的图像处理方法，其特征在于，所述使用基于梯度的拉普拉斯算法获取各帧所述初始图像的清晰度，包括：
使用基于梯度的拉普拉斯算法获取各帧所述初始图像的清晰度，其中，所述拉普拉斯算法在做卷积运算时使用的卷积核为
6.根据权利要求2所述的图像处理方法，其特征在于，所述将清晰度满足预设条件的初始图像确定为待处理图像，包括：
将清晰度大于或等于预设清晰度阈值的初始图像确定为待处理图像。
7.根据权利要求1所述的图像处理方法，其特征在于，所述获取多帧初始图像，包括：
获取多帧初始图像，所述多帧初始图像的亮度均小于预设亮度阈值。
8.根据权利要求1所述的图像处理方法，其特征在于，所述多帧初始图像具有相同的曝光度。
9.一种图像处理装置，其特征在于，包括：
获取模块，用于获取多帧初始图像；
第一降噪模块，用于对所述多帧初始图像进行多帧降噪处理，得到降噪图像；
第二降噪模块，用于利用预设网络降噪算法对所述降噪图像进行降噪处理，得到目标图像，所述预设网络降噪算法为经过机器学习的算法模型。
10.一种存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机上执行时，使得所述计算机执行如权利要求1至8中任一项所述的方法。
11.一种电子设备，包括存储器，处理器，其特征在于，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如权利要求1至8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910943904.0A CN110717871A (zh) | 2019-09-30 | 2019-09-30 | 图像处理方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910943904.0A CN110717871A (zh) | 2019-09-30 | 2019-09-30 | 图像处理方法、装置、存储介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110717871A true CN110717871A (zh) | 2020-01-21 |
Family
ID=69211252
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910943904.0A Pending CN110717871A (zh) | 2019-09-30 | 2019-09-30 | 图像处理方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110717871A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112396050A (zh) * | 2020-12-02 | 2021-02-23 | 上海优扬新媒信息技术有限公司 | 图像的处理方法、设备以及存储介质 |
| CN112488027A (zh) * | 2020-12-10 | 2021-03-12 | Oppo（重庆）智能科技有限公司 | 一种降噪方法、电子设备及计算机存储介质 |
| CN112669241A (zh) * | 2021-01-29 | 2021-04-16 | 成都国科微电子有限公司 | 一种图像处理方法、装置、设备及介质 |
| CN113628124A (zh) * | 2020-05-08 | 2021-11-09 | 深圳清华大学研究院 | Isp与视觉任务联合优化方法、系统、介质和电子设备 |
| CN113810593A (zh) * | 2020-06-15 | 2021-12-17 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104376541A (zh) * | 2014-12-09 | 2015-02-25 | 中国科学院武汉物理与数学研究所 | 一种基于重采样和稀疏分解的磁共振图像降噪方法 |
| CN106060249A (zh) * | 2016-05-19 | 2016-10-26 | 维沃移动通信有限公司 | 一种拍照防抖方法及移动终端 |
| CN108259767A (zh) * | 2018-03-30 | 2018-07-06 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN109089046A (zh) * | 2018-09-25 | 2018-12-25 | Oppo广东移动通信有限公司 | 图像降噪方法、装置、计算机可读存储介质及电子设备 |
| CN109729279A (zh) * | 2018-12-20 | 2019-05-07 | 华为技术有限公司 | 一种图像拍摄方法和终端设备 |
| CN110163808A (zh) * | 2019-03-28 | 2019-08-23 | 西安电子科技大学 | 一种基于卷积神经网络的单帧高动态成像方法 |
| CN110166708A (zh) * | 2019-06-13 | 2019-08-23 | Oppo广东移动通信有限公司 | 夜景图像处理方法、装置、电子设备以及存储介质 |
| CN110191291A (zh) * | 2019-06-13 | 2019-08-30 | Oppo广东移动通信有限公司 | 基于多帧图像的图像处理方法和装置 |
| CN110198417A (zh) * | 2019-06-28 | 2019-09-03 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
-
2019
- 2019-09-30 CN CN201910943904.0A patent/CN110717871A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104376541A (zh) * | 2014-12-09 | 2015-02-25 | 中国科学院武汉物理与数学研究所 | 一种基于重采样和稀疏分解的磁共振图像降噪方法 |
| CN106060249A (zh) * | 2016-05-19 | 2016-10-26 | 维沃移动通信有限公司 | 一种拍照防抖方法及移动终端 |
| CN108259767A (zh) * | 2018-03-30 | 2018-07-06 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN109089046A (zh) * | 2018-09-25 | 2018-12-25 | Oppo广东移动通信有限公司 | 图像降噪方法、装置、计算机可读存储介质及电子设备 |
| CN109729279A (zh) * | 2018-12-20 | 2019-05-07 | 华为技术有限公司 | 一种图像拍摄方法和终端设备 |
| CN110163808A (zh) * | 2019-03-28 | 2019-08-23 | 西安电子科技大学 | 一种基于卷积神经网络的单帧高动态成像方法 |
| CN110166708A (zh) * | 2019-06-13 | 2019-08-23 | Oppo广东移动通信有限公司 | 夜景图像处理方法、装置、电子设备以及存储介质 |
| CN110191291A (zh) * | 2019-06-13 | 2019-08-30 | Oppo广东移动通信有限公司 | 基于多帧图像的图像处理方法和装置 |
| CN110198417A (zh) * | 2019-06-28 | 2019-09-03 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113628124A (zh) * | 2020-05-08 | 2021-11-09 | 深圳清华大学研究院 | Isp与视觉任务联合优化方法、系统、介质和电子设备 |
| CN113628124B (zh) * | 2020-05-08 | 2024-01-16 | 深圳清华大学研究院 | Isp与视觉任务联合优化方法、系统、介质和电子设备 |
| CN113810593A (zh) * | 2020-06-15 | 2021-12-17 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN113810593B (zh) * | 2020-06-15 | 2023-08-01 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN112396050A (zh) * | 2020-12-02 | 2021-02-23 | 上海优扬新媒信息技术有限公司 | 图像的处理方法、设备以及存储介质 |
| CN112396050B (zh) * | 2020-12-02 | 2023-09-15 | 度小满科技(北京)有限公司 | 图像的处理方法、设备以及存储介质 |
| CN112488027A (zh) * | 2020-12-10 | 2021-03-12 | Oppo（重庆）智能科技有限公司 | 一种降噪方法、电子设备及计算机存储介质 |
| CN112488027B (zh) * | 2020-12-10 | 2024-04-30 | Oppo（重庆）智能科技有限公司 | 一种降噪方法、电子设备及计算机存储介质 |
| CN112669241A (zh) * | 2021-01-29 | 2021-04-16 | 成都国科微电子有限公司 | 一种图像处理方法、装置、设备及介质 |
| CN112669241B (zh) * | 2021-01-29 | 2023-11-14 | 成都国科微电子有限公司 | 一种图像处理方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111028189B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN110445988B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| EP3480783B1 (en) | Image-processing method, apparatus and device | |
| KR102293443B1 (ko) | 듀얼 카메라를 이용한 이미지 처리 방법 및 이동 단말기 | |
| CN109040609B (zh) | 曝光控制方法、装置、电子设备和计算机可读存储介质 | |
| CN110072052B (zh) | 基于多帧图像的图像处理方法、装置、电子设备 | |
| CN110766621B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| WO2020207261A1 (zh) | 基于多帧图像的图像处理方法、装置、电子设备 | |
| CN110717871A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN111028190A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| US10805508B2 (en) | Image processing method, and device | |
| CN109672819B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN111327824B (zh) | 拍摄参数的选择方法、装置、存储介质及电子设备 | |
| CN108259770B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN110519485B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN110198418B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN108093158B (zh) | 图像虚化处理方法、装置、移动设备和计算机可读介质 | |
| CN108156369B (zh) | 图像处理方法和装置 | |
| CN110430370B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN110728705B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN110445986B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN108401110B (zh) | 图像的获取方法、装置、存储介质及电子设备 | |
| CN110264420B (zh) | 基于多帧图像的图像处理方法和装置 | |
| CN110290325B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN110740266B (zh) | 图像选帧方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200121 |