CN117408885A - 图像处理方法、装置、介质及芯片 - Google Patents

Abstract

本公开涉及一种图像处理方法、装置、介质及芯片，属于图像信息处理领域，能够获取到更加清晰的输出图像。一种图像处理方法，包括：获取待处理图像，其中，所述待处理图像包括多帧图像而且所述多帧图像为针对同一拍摄场景的图像；获取所述拍摄场景在所述多帧图像被拍摄时的拍摄场景环境亮度；基于所述拍摄场景环境亮度和所述多帧图像间是否存在差异，对所述多帧图像进行处理，得到输出图像。

Description

图像处理方法、装置、介质及芯片

技术领域

本公开涉及图像信息处理领域，尤其涉及一种图像处理方法、装置、介质及芯片。

背景技术

相关技术中，在拍照时，所拍摄的图片中经常存在被拍摄主体模糊、涂抹、鬼影等现象，成片率较低，严重影响用户体验。

发明内容

为克服相关技术中存在的问题，本公开提供一种图像处理方法、装置、介质及芯片。

根据本公开实施例的第一方面，提供一种图像处理方法，包括：获取待处理图像，其中，所述待处理图像包括多帧图像而且所述多帧图像为针对同一拍摄场景的图像；获取所述拍摄场景在所述多帧图像被拍摄时的拍摄场景环境亮度；基于所述拍摄场景环境亮度和所述多帧图像间是否存在差异，对所述多帧图像进行处理，得到输出图像。

可选地，所述获取所述拍摄场景在所述多帧图像被拍摄时的拍摄场景环境亮度，包括：利用终端设备的测光参数来获取所述拍摄场景在所述多帧图像被拍摄时的拍摄场景环境亮度。

可选地，所述多帧图像间是否存在差异通过以下中的至少一者来确定：

确定所述多帧图像中的每帧图像的亮度，基于每帧图像的亮度确定所述多帧图像之间的亮度差异是否大于预设亮度差，若所述亮度差异大于所述预设亮度差，则确定所述多帧图像之间存在差异；以及

将所述多帧图像之间的图像内容进行比对，若所述多帧图像之间的图像内容差异大于预设内容差异，则确定所述多帧图像之间存在差异。

可选地，所述多帧图像为raw图，所述确定所述多帧图像中的每帧图像的亮度，包括：确定每帧图像的中间区域的亮度均值，作为每帧图像的亮度。

可选地，所述基于所述拍摄场景环境亮度和所述多帧图像间是否存在差异，对所述多帧图像进行处理，包括：确定所述拍摄场景环境亮度所处的亮度范围并确定所述多帧图像间是否存在差异，其中，所述亮度范围包括第一亮度范围和第二亮度范围，所述第一亮度范围内的环境亮度大于所述第二亮度范围内的环境亮度，所述第一亮度范围指的是利用所述拍摄场景环境亮度处于所述第一亮度范围情况下得到的其中一帧图像就能够恢复足够的细节的亮度范围，所述第二亮度范围指的是利用所述拍摄场景环境亮度处于所述第二亮度范围情况下得到的其中一帧图像不能够恢复足够的细节的亮度范围；若所述多帧图像间存在差异，则采用单帧处理操作对所述待处理图像进行处理，其中，所述单帧处理操作指的是从所述多帧图像中选取一帧图像进行处理的操作；若所述多帧图像间不存在差异而且所述拍摄场景环境亮度处于所述第一亮度范围内，则采用所述单帧处理操作对所述待处理图像进行处理；若所述多帧图像间不存在差异而且所述拍摄场景环境亮度处于所述第二亮度范围内，则采用多帧处理操作对所述待处理图像进行处理，所述多帧处理操作指的是从所述多帧图像中选取多个帧进行处理的操作。

可选地，所述单帧处理操作包括：利用终端设备的测光参数将所述待处理图像的亮度调整为基本相当的程度；确定亮度调整后的待处理图像的模糊度；根据所述模糊度，从所述待处理图像中选取最清晰的一帧图像；对选取的图像进行降噪处理，得到所述输出图像。

可选地，所述多帧处理操作包括：利用终端设备的测光参数将所述待处理图像的亮度调整为基本相当的程度；确定亮度调整后的待处理图像的模糊度；根据所述模糊度，从所述待处理图像中选取最清晰的M帧图像，其中M为大于等于2的正整数；将所述M帧图像中最清晰的一帧图像作为主帧；采用对齐方法将所述M帧图像中主帧之外的帧向着所述主帧进行映射变换，以将所述M帧图像对齐；对对齐后的所述M帧图像进行运动区域检测，并在所述主帧之外的帧的检测到的运动区域中填充所述主帧中检测到的运动区域的信息；对填充后的帧和所述主帧进行降噪处理，得到所述输出图像。

可选地，所述对齐方法为将全局对齐和光流对齐相结合的方法，或者为基于深度学习的对齐方法。

可选地，在执行所述对齐之前，所述方法还包括：确定所述M帧图像中每帧图像的不同区域所对应的区域亮度；对所述区域亮度低于第三亮度的区域进行自适应提亮操作，其中，所述第三亮度为容易造成误对齐的临界亮度。

可选地，所述确定亮度调整后的待处理图像的模糊度，包括：使用基于特征金字塔的模糊度计算方法、基于梯度变化的模糊度计算方法、基于深度学习方法的模糊度计算方法中的至少一者来确定亮度调整后的待处理图像的模糊度。

可选地，在确定所述模糊度之前，所述方法还包括：利用对焦信息筛除无用图像。

可选地，所述降噪处理为AI降噪处理。

可选地，所述待处理图像为在被拍摄主体的运动速度超过预设速度阈值情况下、根据所述运动速度对预览流中预览帧的初始曝光时间进行下调后得到的图像。

根据本公开实施例的第二方面，提供一种图像处理装置，包括：第一获取模块，用于获取待处理图像，其中，所述待处理图像包括多帧图像而且所述多帧图像为针对同一拍摄场景的图像；第二获取模块，用于获取所述拍摄场景在所述多帧图像被拍摄时的拍摄场景环境亮度；处理模块，用于基于所述拍摄场景环境亮度和所述多帧图像间是否存在差异，对所述多帧图像进行处理，得到输出图像。

根据本公开实施例的第三方面，提供一种图像处理装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行根据第一方面任一项所述方法的步骤。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现第一方面任一项所述方法的步骤。

根据本公开实施例的第五方面，提供一种芯片，其特征在于，包括处理器和接口；所述处理器用于读取指令以执行第一方面任一项所述的方法。

通过采用上述技术方案，由于在获取到待处理图像之后，会获取拍摄场景在多帧图像被拍摄时的拍摄场景环境亮度，并基于拍摄场景环境亮度和多帧图像间是否存在差异，对多帧图像进行处理，得到输出图像，这样，就考虑到了拍摄场景环境亮度和多帧图像间的差异性对图像处理结果的影响，使得既能够有效地去除待处理图像中的噪声，又能够保留待处理图像的细纹理，从而可以获取到更加清晰的输出图像。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种图像处理方法的流程图。

图2是根据一示例性实施例示出的对待处理图像进行处理的流程图。

图3是根据一示例性实施例示出的单帧处理操作的流程图。

图4是根据一示例性实施例示出的多帧处理操作的流程图。

图5是根据一示例性实施例示出的一种图像处理装置的示意框图。

图6是根据一示例性实施例示出的一种用于图像处理的装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

需要说明的是，本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。

图1是根据一示例性实施例示出的一种图像处理方法的流程图。该图像处理方法能够应用于任何终端设备，例如手机、平板电脑、iPad等。如图1所示，该图像处理方法包括以下步骤S11至S13。

在步骤S11中，获取待处理图像，其中，待处理图像包括多帧图像而且多帧图像为针对同一拍摄场景的图像。

同一拍摄场景指的是在某一时刻针对同一画面进行拍摄的场景。

在步骤S12中，获取拍摄场景在多帧图像被拍摄时的拍摄场景环境亮度。

拍摄场景环境亮度可以利用终端设备的测光参数来获取。也即，从拍摄待处理图像的终端设备的测光参数中获取拍摄场景环境亮度。

在步骤S13中，基于拍摄场景环境亮度和多帧图像间是否存在差异，对多帧图像进行处理，得到输出图像。

在一些实施例中，多帧图像间是否存在差异通过以下中的至少一者来确定：

(1)确定多帧图像中的每帧图像的亮度，基于每帧图像的亮度确定多帧图像之间的亮度差异是否大于预设亮度差，若亮度差异大于预设亮度差，则确定多帧图像之间存在差异。

在多帧图像为raw图的情况下，可以将每帧图像的中间区域的亮度均值，确定为该帧图像的亮度。例如，确定第i帧图像的中间区域的亮度均值，作为第i帧图像的亮度。将每一帧raw图的中间区域的亮度均值作为该帧图像的亮度的原因在于raw图具有中间区域亮、四周暗的特性。

在多帧图像为非raw图的情况下，可以将每一帧图像划分为多个区域，然后计算每一个区域的区域亮度，然后对各个区域亮度进行加权平均，得到各帧图像的亮度。例如，对于第i帧图像而言，可以将第i帧图像划分为K个区域，然后计算这K个区域各自的区域亮度，然后对这K个区域的区域亮度进行加权平均，得到第i帧图像的亮度。

另外，在确定多帧图像之间的亮度差异时，需要确定多帧图像中每两帧图像之间的亮度差异。举例而言，假设待处理图像包括L帧图像，则需要确定第i帧图像与第j帧图像之间的亮度差异，其中，1≤i≤L，1≤j≤L。

如果亮度差异大于预设亮度差，则说明拍摄场景环境亮度存在着亮度跳变，在这种情况下，如果后续对多帧图像进行处理以得到输出图像的过程中采用多帧处理操作的方式，则会使得多帧处理操作的效果受到影响。

(2)将多帧图像之间的图像内容进行比对，若多帧图像之间的图像内容差异大于预设内容差异，则确定多帧图像之间存在差异。

举例而言，可以将多帧图像各自划分成多个区域，然后将每两帧图像间对应区域中的图像内容进行比对，然后将每两帧间各个区域的比对结果进行加权处理，以得到每两帧图像之间的图像内容差异。

如果多帧图像之间的图像内容差异较大，这通常说明多帧图像被拍摄期间终端设备出现了抖动等现象。

在多帧图像之间的图像内容差异较大的情况下，如果后续对多帧图像进行处理以得到输出图像的过程中采用多帧处理操作的方式，则会使得多帧处理操作的效果受到影响。

通过采用上述技术方案，由于在获取到待处理图像之后，会获取拍摄场景在多帧图像被拍摄时的拍摄场景环境亮度，并基于拍摄场景环境亮度和多帧图像间是否存在差异，对多帧图像进行处理，得到输出图像，这样，就考虑到了拍摄场景环境亮度和多帧图像间的差异性对图像处理结果的影响，使得既能够有效地去除待处理图像中的噪声，又能够保留待处理图像的细纹理，从而可以获取到更加清晰的输出图像。

图2是根据一示例性实施例示出的基于拍摄场景环境亮度和多帧图像间是否存在差异对待处理图像进行处理的流程图。如图2所示，该方法包括以下步骤S21至S25。

在步骤S21中，确定多帧图像间是否存在差异。其中，多帧图像间是否存在差异的确定方式在前文中已经详细描述，在此不再赘述。如果多帧图像间存在差异，则转至步骤S22，如果多帧图像间不存在差异，则转至步骤S23。

在步骤S22中，由于步骤S21中确定多帧图像间存在差异，而多帧图像间存在差异会对多帧处理操作的结果产生影响，其中多帧处理操作指的是从多帧图像(也即待处理图像)中选取多个帧进行处理的操作。所以在多帧图像间存在差异的情况下，采用单帧处理操作对多帧图像进行处理，其中，单帧处理操作指的是从多帧图像(也即待处理图像)中选取一帧图像进行处理的操作，这样就能够保证多帧图像间存在差异的情况下成片效果的稳定，提升了输出图像的成片率和清晰度。

在步骤S23中，由于在步骤S21中确定多帧图像间不存在差异，所以在步骤S23中，进一步确定拍摄场景环境亮度所处的亮度范围，以便能够基于步骤S23的确定结果来决定随后采用单帧处理操作还是多帧处理操作对多帧图像进行处理。其中，亮度范围包括第一亮度范围和第二亮度范围，第一亮度范围内的环境亮度大于第二亮度范围内的环境亮度，第一亮度范围指的是利用拍摄场景环境亮度处于第一亮度范围情况下得到的其中一帧图像就能够恢复足够的细节的亮度范围，第二亮度范围指的是利用拍摄场景环境亮度处于第二亮度范围情况下得到的其中一帧图像不能够恢复足够的细节的亮度范围。举例而言，第一亮度范围可以是环境亮度大于第四亮度但小于第一亮度的范围，第二亮度范围可以是环境亮度大于第五亮度但小于第四亮度的范围，第四亮度是利用一帧图像就能够恢复足够的细节的临界亮度，第一亮度指的是因环境亮度而影响拍摄图片质量的临界亮度(也即第一亮度指的是暗环境(例如黑夜、白天但阴天等)的临界亮度)。再例如，第一亮度范围可以是环境亮度大于第四亮度的范围，第二亮度范围可以是环境亮度小于第四亮度的范围。

若拍摄场景环境亮度处于第一亮度范围，则转至步骤S24，若拍摄场景环境亮度处于第二亮度范围，则转至步骤S25。

在步骤S24中，由于多帧图像间不存在差异而且拍摄场景环境亮度处于第一亮度范围内，所以采用单帧处理操作对待处理图像进行处理。对于在相对较亮的环境照度场景下得到的待处理图像而言，单帧处理操作可以生成与多帧处理操作基本相当的解析力恢复效果(也即，能够恢复与多帧处理操作基本相当的图像细节)。因此，在这种情况下，采用单帧处理操作对待处理图像进行处理，不仅保证了快速成图，而且还能够保留细纹理。

在步骤S25中，若多帧图像间不存在差异而且拍摄场景环境亮度处于第二亮度范围内，则采用多帧处理操作对待处理图像进行处理。对于在相对较暗的场景下得到的待处理图像而言，采用多帧处理操作能够恢复更多的细节，从而不仅保证了快速成图，而且还能够保留细纹理。

通过采用上述技术方案，由于根据多帧图像间是否存在差异以及拍摄场景环境亮度，采用了不同的图像处理方案，因此不仅保证了快速成图，而且还能够保留细纹理，解决了待处理图像中出现的模糊、涂抹、鬼影等问题，保证了输出图像中主体的清晰度，提升了输出图像的成片率。

图3是根据一示例性实施例示出的单帧处理操作的流程图。如图3所示，该单帧处理操作包括以下步骤S31至步骤S34。

在步骤S31中，利用终端设备的测光参数将待处理图像的亮度调整为基本相当的程度。例如，利用测光参数中的gain值对待处理图像的亮度进行调整。通过将待处理图像的亮度调整为基本相当的程度，就能够消除各帧图像之间亮度的差异，提高后续步骤中模糊度计算的准确性。

在步骤S32中，确定亮度调整后的待处理图像的模糊度。

在一些实施例中，可以使用各种算法来确定模糊度，例如，基于特征金字塔的模糊度计算方法、基于梯度变化的模糊度计算方法、基于深度学习方法的模糊度计算方法等等。基于梯度变化的模糊度计算方法指的是计算待处理图像中各帧图像中的梯度变化，基于梯度变化确定模糊度，其中，如果一幅图像包含更多的梯度变化，则说明该图像中包含更多的边缘信息，而边缘越多，则图像越清晰。基于特征金字塔的模糊度计算方法与基于梯度变化的模糊度计算方法相比，其计算结果更加准确。基于深度学习方法的模糊度计算方法能够归回图像清晰度。

在步骤S33中，根据模糊度，从待处理图像中选取最清晰的一帧图像。通过使用模糊度选帧方法，既可以准确选到模糊度最小的帧，又能够保证输出图像的整体清晰度。

在步骤S34中，对选取的图像进行降噪处理，得到输出图像。

在一些实施例中，可以采用各种降噪处理方法，例如使用深度学习网络进行AI降噪处理。AI降噪算法和传统降噪方法相比，噪声去除的更为干净，且保留了更多的局部细节，尤其是对于在环境照度暗的场景(例如夜晚、白天阴天等)下得到的待处理图像而言，传统降噪方法更容易出现噪声残留。也即，使用深度学习网络进行AI降噪处理，解决了传统降噪算法噪声大、细节涂抹的问题，也解决了因硬件限制导致的成像噪声大的问题。

通过采用上述技术方案，解决了待处理图像中出现的模糊、涂抹、鬼影等问题，保证了输出图像中运动主体的清晰度，提升了成片率。

在一些实施例中，在步骤S32之前，也即在确定模糊度之前，还可以利用对焦信息筛除无用图像，例如从待处理图像中筛除未对焦的图像，这样就能够减小模糊度计算量。

图4是根据一示例性实施例示出的多帧处理操作的流程图。如图4所示，该多帧处理操作包括以下步骤S41至S47。

在步骤S41中，利用终端设备的测光参数将待处理图像的亮度调整为基本相当的程度。例如，利用测光参数中的gain值对待处理图像的亮度进行调整。通过将待处理图像的亮度调整为基本相当的程度，就能够消除待处理图像中各帧图像之间亮度的差异，提高后续步骤中模糊度计算的准确性。

在步骤S42中，确定亮度调整后的待处理图像的模糊度。

在一些实施例中，可以使用各种算法来确定模糊度，例如，基于特征金字塔的模糊度计算方法、基于梯度变化的模糊度计算方法、基于深度学习方法的模糊度计算方法等等。基于梯度变化的模糊度计算方法指的是计算待处理图像中各帧图像中的梯度变化，基于梯度变化确定模糊度，其中，如果一幅图像包含更多的梯度变化，则说明该图像中包含更多的边缘信息，而边缘越多，则图像越清晰。基于特征金字塔的模糊度计算方法与基于梯度变化的模糊度计算方法相比，其计算结果更加准确。基于深度学习方法的模糊度计算方法能够归回图像清晰度。

在步骤S43中，根据模糊度，从待处理图像中选取最清晰的M帧图像，其中M为大于等于2的正整数。通过使用模糊度选帧方法，既可以准确选到模糊度最小的帧，又能够保证输出图像的整体清晰度。

在步骤S44中，将M帧图像中最清晰的一帧图像作为主帧。

在步骤S45中，采用对齐方法将M帧图像中主帧之外的帧向着主帧进行映射变换，以将M帧图像对齐。

在一些实施例中，对齐方法可以为：将全局对齐和光流对齐相结合的方法，例如先执行全局对齐再执行光流对齐，或者先执行光流对齐再执行全局对齐，这提升了对齐的准确性，并减少了对齐带来的重复纹理的变形等负面问题；或者为基于深度学习的对齐方法，基于深度学习的对齐方法能够生成更加准确的光流图，使得对齐结果的纹理更加清晰细腻。

在步骤S46中，对对齐后的M帧图像进行运动区域检测，并在主帧之外的帧的检测到的运动区域中填充主帧中检测到的运动区域的信息。在拍摄场景中存在运动主体的情况下，由于M帧图像中每帧的运动主体在图像中位于不同的位置，因此通过在主帧之外的帧的检测到的运动区域中填充主帧中检测到的运动区域的信息，则能够达到去除涂抹、鬼影的目的。

在步骤S47中，对填充后的帧和主帧进行降噪处理，得到输出图像。也即利用M帧图像得到了一张输出图像。

在一些实施例中，可以采用各种降噪处理方法，例如使用深度学习网络进行AI降噪处理。AI降噪算法和传统降噪方法相比，噪声去除的更为干净，且保留了更多的局部细节，尤其是对于在环境照度暗的场景(例如夜晚、白天阴天等)下得到的待处理图像而言，传统降噪方法更容易出现噪声残留。也即，使用深度学习网络进行AI降噪处理，解决了传统降噪算法噪声大、细节涂抹的问题，也解决了因硬件限制导致的成像噪声大的问题。

通过采用上述技术方案，实现了去除待处理图像中出现的模糊、涂抹、鬼影等目的，保证了输出图像中运动主体的清晰度，提升了成片率。

在一些实施例中，在步骤S42之前，也即在确定模糊度之前，还可以利用对焦信息筛除无用图像，例如从待处理图像中筛除未对焦的图像，这样就能够减小模糊度计算量。

在一些实施例中，在执行步骤S45中的对齐操作之前，还可以执行以下操作：确定M帧图像中每帧图像的不同区域所对应的区域亮度；对区域亮度低于第三亮度的区域进行自适应提亮操作，其中，第三亮度为容易造成误对齐的临界亮度。也即，如果M帧图像中某帧图像中的某个区域的区域亮度低于第三亮度，则说明该区域的亮度过暗，容易出现误对齐造成纹理变形，所以通过对该区域进行自适应提亮操作以增加该区域的亮度，能够使得所选的M帧图像在非运动区域(也即不存在运动的被拍摄主体的区域)的像素上是基本对齐的，提升了对齐的准确度。

在一些实施例中，待处理图像为在被拍摄主体的运动速度超过预设速度阈值情况下、根据运动速度对预览流中预览帧的初始曝光时间进行下调后得到的图像。也即，待处理图像为短曝光的图像。短曝光能够保证图像中的主体清晰，但是会增加图像中的噪声。而通过如上所述的图像处理方法，则能够有效去除短曝光的待处理图像中的噪声，从而输出清晰的输出图像。

上述的预览流指的是在打开终端设备的拍照功能之后，供用户对要拍摄的场景进行预览的数据流。被拍摄主体指的是要被拍摄的主要对象，例如人、动物、运动中的车辆等等。初始曝光时间指的是打开终端设备的拍摄功能时的默认曝光时间。

在一些实施例中，被拍摄主体的运动速度可以通过以下方式来检测：确定预览帧间的变化；基于变化，确定被拍摄主体的运动速度。例如，可以通过检测被拍摄主体在不同预览帧中的不同位置，来确定预览帧间的变化。

另外，基于变化，确定被拍摄主体的运动速度，可以包括：基于预览帧的不同区域所对应的变化以及所对应的权重，确定被拍摄主体的运动速度，其中，预览帧的具有被拍摄主体的区域所对应的权重大于预览帧的没有被拍摄主体的区域所对应的权重。通过对预览帧中不同区域使用不同的权重，也即加大被拍摄主体所在区域的权重，减小其他区域的权重，能够使得运动检测结果更关注被拍摄主体所在的运动区域，防止了运动检测的误检和漏检现象，提高了运动检测的准确性。举例而言，假设预览帧被划分成了区域1、区域2、区域3和区域4，其所对应的权重分别为a1、a2、a3和a4，而且，被拍摄主体位于区域1中，则可以将a1设置成比a2、a3和a4都要大。在确定了每个区域所对应的变化之后，就可以将不同区域所对应的变化以及所对应的权重进行加权，得到被拍摄主体的运动速度，例如，假设区域1、区域2、区域3和区域4所对应的变化速度分别是v1、v2、v3和v4，则被拍摄主体的运动速度为a1×v1+a2×v2+a3×v3+a4×v4。

上述通过加权处理而得到的被拍摄主体的运动速度是基于2个连续的预览帧而得到的运动速度。但是，在一些实施例中，还可以对基于N个连续的预览帧确定的运动速度进行平滑处理，得到最终的运动速度。以连续的预览帧1、预览帧2、预览帧3和预览帧4为例，在基于预览帧1和预览帧2确定了运动速度1、基于预览帧2和预览帧3确定了运动速度2、基于预览帧3和预览帧4确定了运动速度3之后，可以对运动速度1、运动速度2和运动速度3进行平滑处理，例如对它们取均值、取均方值等，从而得到最终的运动速度，这样就能够防止运动检测的误检和漏检现象，使得所确定的运动速度的准确性更高。

另外，预览帧的画面过暗，容易导致运动误检测。预览帧画面过暗通常是由于环境亮度比较暗而导致的，例如在夜晚场景、白天阴天场景中，由于环境亮度过暗，所以预览帧的画面也会过暗。所以，在确定预览帧间的变化之前，根据本公开实施例的方法还可以包括以下步骤：确定预览帧的不同区域所对应的区域亮度；对区域亮度低于第二亮度的区域进行自适应提亮操作，其中，第二亮度为容易造成运动速度误检测的临界亮度。也即，如果区域亮度低于第二亮度，则说明该区域的亮度过暗，容易造成运动误检测，所以通过对该区域进行自适应提亮操作以增加该区域的亮度，有效消除了环境亮度暗情况下场景信息不足的影响，防止了运动检测的误检和漏检现象，确保了能够获得更为准确的运动速度检测值。

在一些实施例中，被拍摄主体的运动速度还可以通过以下方式来检测：采用深度学习方法对预览帧中被拍摄主体的运动状态进行评估；基于评估结果确定被拍摄主体的运动速度。这样，就能够获取到更加准确的运动速度检测值。

在一些实施例中，可以根据运动速度与曝光时间的预设对应关系，对初始曝光时间进行下调。预设对应关系可以是预设对应表或者预设函数对应关系等。例如，假设在预设对应表中，运动速度1对应的曝光时间是p1，运动速度2对应的曝光时间是p2等等，则如果所确定的被拍摄主体的运动速度是运动速度2，则可以依据预设对应表，将初始曝光时间下调至p2。若运动速度超过预设速度阈值，这说明被拍摄主体的运动速度快，拍摄的照片容易出现模糊、涂抹、鬼影等问题，而通过根据运动速度对预览流中预览帧的初始曝光时间进行下调以得到第一曝光时间，这样就能够利用比初始曝光时间短的第一曝光时间来得到拍摄图片，提高了拍摄图片中主体的清晰度。

在一些实施例中，下调曝光时间的考虑因素除了被拍摄主体的运动速度之外，还可以考虑环境亮度。例如，可以检测当前环境亮度和被拍摄主体的运动速度，如果被拍摄主体的运动速度超过预设速度阈值而且当前环境亮度低于第一亮度，则根据运动速度对预览流中预览帧的初始曝光时间进行下调，下调的方式与如上所述的下调方式类似。这里，第一亮度指的是因环境亮度而影响拍摄图片质量的临界亮度，也即，在环境亮度大于第一亮度的情况下，环境亮度对拍摄图片质量的影响很小或者完全没有影响，而在环境亮度小于第一亮度的情况下(例如，在夜晚场景、白天但阴天场景等情况下)，环境亮度对拍摄图片质量就会有着明显的影响。在一些实施例中，当前环境亮度指的是拍摄所处的当前环境的亮度，其可以利用终端设备的测光参数来检测。通过如上配置，就能够保证环境亮度暗的情况下图像中被拍摄主体的清晰。

在下调了初始曝光时间之后，就可以基于所得到的第一曝光时间，得到raw图。例如，如果在下调了曝光时间之后，终端设备仍然是继续处于拍照预览阶段，则可以使用该第一曝光时间获取预览帧，并将获取到的预览帧缓存到终端设备中，这样就得到了raw图。如果在下调了曝光时间之后的某个时刻，用户按下了快门，则使用第一曝光时间进行曝光并拍摄，这样也能够得到raw图。也即，利用第一曝光时间，得到了多帧的短曝光raw图。本公开中的待处理图像可以是通过如此方式获得的raw图。其中，如果终端设备使用的是零延时模式(zero shutter lag，ZSL)进行拍摄，则待处理图像中需要进行处理的raw图就来自被缓存的预览帧，或者来自被缓存的预览帧以及用户按下快门后所拍下的raw图。如果终端设备使用的是常规的拍摄模式，也即非ZSL模式，则待处理图像中需要进行处理的raw图就来自用户按下快门后所拍下的raw图。

图5是根据一示例性实施例示出的一种图像处理装置的示意框图。该图像处理装置能够应用于任何具有拍摄功能的终端设备，例如手机、平板电脑、iPad等。如图5所示，该图像处理装置包括：第一获取模块51，用于获取待处理图像，其中，所述待处理图像包括多帧图像而且所述多帧图像为针对同一拍摄场景的图像；第二获取模块52，用于获取所述拍摄场景在所述多帧图像被拍摄时的拍摄场景环境亮度；处理模块53，用于基于所述拍摄场景环境亮度和所述多帧图像间是否存在差异，对所述多帧图像进行处理，得到输出图像。

通过采用上述技术方案，由于在获取到待处理图像之后，会获取拍摄场景在多帧图像被拍摄时的拍摄场景环境亮度，并基于拍摄场景环境亮度和多帧图像间是否存在差异，对多帧图像进行处理，得到输出图像，这样，就考虑到了拍摄场景环境亮度和多帧图像间的差异性对图像处理结果的影响，使得既能够有效地去除待处理图像中的噪声，又能够保留待处理图像的细纹理，从而可以获取到更加清晰的输出图像。

可选地，所述第二获取模块52用于：利用终端设备的测光参数来获取所述拍摄场景在所述多帧图像被拍摄时的拍摄场景环境亮度。

可选地，所述多帧图像间是否存在差异通过以下中的至少一者来确定：确定所述多帧图像中的每帧图像的亮度，基于每帧图像的亮度确定所述多帧图像之间的亮度差异是否大于预设亮度差，若所述亮度差异大于所述预设亮度差，则确定所述多帧图像之间存在差异；以及将所述多帧图像之间的图像内容进行比对，若所述多帧图像之间的图像内容差异大于预设内容差异，则确定所述多帧图像之间存在差异。

可选地，所述多帧图像为raw图，所述确定所述多帧图像中的每帧图像的亮度，包括：确定每帧图像的中间区域的亮度均值，作为每帧图像的亮度。

可选地，所述基于所述拍摄场景环境亮度和所述多帧图像间是否存在差异，对所述多帧图像进行处理，包括：确定所述拍摄场景环境亮度所处的亮度范围并确定所述多帧图像间是否存在差异，其中，所述亮度范围包括第一亮度范围和第二亮度范围，所述第一亮度范围内的环境亮度大于所述第二亮度范围内的环境亮度，所述第一亮度范围指的是利用所述拍摄场景环境亮度处于所述第一亮度范围情况下得到的其中一帧图像就能够恢复足够的细节的亮度范围，所述第二亮度范围指的是利用所述拍摄场景环境亮度处于所述第二亮度范围情况下得到的其中一帧图像不能够恢复足够的细节的亮度范围；若所述多帧图像间存在差异，则采用单帧处理操作对所述待处理图像进行处理，其中，所述单帧处理操作指的是从所述多帧图像中选取一帧图像进行处理的操作；若所述多帧图像间不存在差异而且所述拍摄场景环境亮度处于所述第一亮度范围内，则采用所述单帧处理操作对所述待处理图像进行处理；若所述多帧图像间不存在差异而且所述拍摄场景环境亮度处于所述第二亮度范围内，则采用多帧处理操作对所述待处理图像进行处理，所述多帧处理操作指的是从所述多帧图像中选取多个帧进行处理的操作。

可选地，所述单帧处理操作包括：利用终端设备的测光参数将所述待处理图像的亮度调整为基本相当的程度；确定亮度调整后的待处理图像的模糊度；根据所述模糊度，从所述待处理图像中选取最清晰的一帧图像；对选取的图像进行降噪处理，得到所述输出图像。

可选地，所述多帧处理操作包括：利用终端设备的测光参数将所述待处理图像的亮度调整为基本相当的程度；确定亮度调整后的待处理图像的模糊度；根据所述模糊度，从所述待处理图像中选取最清晰的M帧图像，其中M为大于等于2的正整数；将所述M帧图像中最清晰的一帧图像作为主帧；采用对齐方法将所述M帧图像中主帧之外的帧向着所述主帧进行映射变换，以将所述M帧图像对齐；对对齐后的所述M帧图像进行运动区域检测，并在所述主帧之外的帧的检测到的运动区域中填充所述主帧中检测到的运动区域的信息；对填充后的帧和所述主帧进行降噪处理，得到所述输出图像。

可选地，所述对齐方法为将全局对齐和光流对齐相结合的方法，或者为基于深度学习的对齐方法。

可选地，所述处理模块53还用于，在执行所述对齐之前：确定所述M帧图像中每帧图像的不同区域所对应的区域亮度；对所述区域亮度低于第三亮度的区域进行自适应提亮操作，其中，所述第三亮度为容易造成误对齐的临界亮度。

可选地，所述确定亮度调整后的待处理图像的模糊度，包括：使用基于特征金字塔的模糊度计算方法、基于梯度变化的模糊度计算方法、基于深度学习方法的模糊度计算方法中的至少一者来确定亮度调整后的待处理图像的模糊度。

可选地，所述处理模块53还用于，在确定所述模糊度之前：利用对焦信息筛除无用图像。

可选地，所述降噪处理为AI降噪处理。

可选地，所述待处理图像为在被拍摄主体的运动速度超过预设速度阈值情况下、根据所述运动速度对预览流中预览帧的初始曝光时间进行下调后得到的图像。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的图像处理方法的步骤。

本公开还提供一种图像处理装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行根据本公开的方法的步骤。

本公开还提供一种芯片，包括处理器和接口；所述处理器用于读取指令以执行本公开提供的方法的步骤。

另外，需要说明的是，本公开中提及的亮度的单位可以是勒克斯指数(Luxindex)或者其他亮度单位。对于勒克斯指数而言，其数值越小，所表示的亮度越亮。以“环境亮度大于第四亮度”为例，假设第四亮度的勒克斯指数数值为290，则环境亮度的勒克斯指数数值就应该小于290，才能满足环境亮度大于第四亮度的要求。

图6是根据一示例性实施例示出的一种用于图像处理的装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图6，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出接口812，传感器组件814，以及通信组件816。

处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的图像处理方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。

多媒体组件808包括在装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

输入/输出接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述图像处理方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述图像处理方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

上述装置除了可以是独立的电子设备外，也可是独立电子设备的一部分，例如在一种实施例中，该装置可以是集成电路(Integrated Circuit，IC)或芯片，其中该集成电路可以是一个IC，也可以是多个IC的集合；该芯片可以包括但不限于以下种类：GPU(GraphicsProcessing Unit，图形处理器)、CPU(Central Processing Unit，中央处理器)、FPGA(Field Programmable Gate Array，可编程逻辑阵列)、DSP(Digital Signal Processor，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、SOC(System on Chip，SoC，片上系统或系统级芯片)等。上述的集成电路或芯片中可以用于执行可执行指令(或代码)，以实现上述的图像处理方法。其中该可执行指令可以存储在该集成电路或芯片中，也可以从其他的装置或设备获取，例如该集成电路或芯片中包括处理器、存储器，以及用于与其他的装置通信的接口。该可执行指令可以存储于该存储器中，当该可执行指令被处理器执行时实现上述的图像处理方法；或者，该集成电路或芯片可以通过该接口接收可执行指令并传输给该处理器执行，以实现上述的图像处理方法。

在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的图像处理方法的代码部分。

本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (17)

1.一种图像处理方法，其特征在于，包括：

获取待处理图像，其中，所述待处理图像包括多帧图像而且所述多帧图像为针对同一拍摄场景的图像；

获取所述拍摄场景在所述多帧图像被拍摄时的拍摄场景环境亮度；

基于所述拍摄场景环境亮度和所述多帧图像间是否存在差异，对所述多帧图像进行处理，得到输出图像。

2.根据权利要求1所述的方法，其特征在于，所述获取所述拍摄场景在所述多帧图像被拍摄时的拍摄场景环境亮度，包括：利用终端设备的测光参数来获取所述拍摄场景在所述多帧图像被拍摄时的拍摄场景环境亮度。

3.根据权利要求1所述的方法，其特征在于，所述多帧图像间是否存在差异通过以下中的至少一者来确定：

确定所述多帧图像中的每帧图像的亮度，基于每帧图像的亮度确定所述多帧图像之间的亮度差异是否大于预设亮度差，若所述亮度差异大于所述预设亮度差，则确定所述多帧图像之间存在差异；以及

将所述多帧图像之间的图像内容进行比对，若所述多帧图像之间的图像内容差异大于预设内容差异，则确定所述多帧图像之间存在差异。

4.根据权利要求3所述的方法，其特征在于，所述多帧图像为raw图，所述确定所述多帧图像中的每帧图像的亮度，包括：

确定每帧图像的中间区域的亮度均值，作为每帧图像的亮度。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述基于所述拍摄场景环境亮度和所述多帧图像间是否存在差异，对所述多帧图像进行处理，包括：

确定所述拍摄场景环境亮度所处的亮度范围并确定所述多帧图像间是否存在差异，其中，所述亮度范围包括第一亮度范围和第二亮度范围，所述第一亮度范围内的环境亮度大于所述第二亮度范围内的环境亮度，所述第一亮度范围指的是利用所述拍摄场景环境亮度处于所述第一亮度范围情况下得到的其中一帧图像就能够恢复足够的细节的亮度范围，所述第二亮度范围指的是利用所述拍摄场景环境亮度处于所述第二亮度范围情况下得到的其中一帧图像不能够恢复足够的细节的亮度范围；

若所述多帧图像间存在差异，则采用单帧处理操作对所述待处理图像进行处理，其中，所述单帧处理操作指的是从所述多帧图像中选取一帧图像进行处理的操作；

若所述多帧图像间不存在差异而且所述拍摄场景环境亮度处于所述第一亮度范围内，则采用所述单帧处理操作对所述待处理图像进行处理；

若所述多帧图像间不存在差异而且所述拍摄场景环境亮度处于所述第二亮度范围内，则采用多帧处理操作对所述待处理图像进行处理，所述多帧处理操作指的是从所述多帧图像中选取多个帧进行处理的操作。

6.根据权利要求5所述的方法，其特征在于，所述单帧处理操作包括：

利用终端设备的测光参数将所述待处理图像的亮度调整为基本相当的程度；

确定亮度调整后的待处理图像的模糊度；

根据所述模糊度，从所述待处理图像中选取最清晰的一帧图像；

对选取的图像进行降噪处理，得到所述输出图像。

7.根据权利要求5所述的方法，其特征在于，所述多帧处理操作包括：

利用终端设备的测光参数将所述待处理图像的亮度调整为基本相当的程度；

确定亮度调整后的待处理图像的模糊度；

根据所述模糊度，从所述待处理图像中选取最清晰的M帧图像，其中M为大于等于2的正整数；

将所述M帧图像中最清晰的一帧图像作为主帧；

采用对齐方法将所述M帧图像中主帧之外的帧向着所述主帧进行映射变换，以将所述M帧图像对齐；

对对齐后的所述M帧图像进行运动区域检测，并在所述主帧之外的帧的检测到的运动区域中填充所述主帧中检测到的运动区域的信息；

对填充后的帧和所述主帧进行降噪处理，得到所述输出图像。

8.根据权利要求7所述的方法，其特征在于，所述对齐方法为将全局对齐和光流对齐相结合的方法，或者为基于深度学习的对齐方法。

9.根据权利要求7所述的方法，其特征在于，在执行所述对齐之前，所述方法还包括：

确定所述M帧图像中每帧图像的不同区域所对应的区域亮度；

对所述区域亮度低于第三亮度的区域进行自适应提亮操作，其中，所述第三亮度为容易造成误对齐的临界亮度。

10.根据权利要求6或7所述的方法，其特征在于，所述确定亮度调整后的待处理图像的模糊度，包括：

使用基于特征金字塔的模糊度计算方法、基于梯度变化的模糊度计算方法、基于深度学习方法的模糊度计算方法中的至少一者来确定亮度调整后的待处理图像的模糊度。

11.根据权利要求6或7所述的方法，其特征在于，在确定所述模糊度之前，所述方法还包括：利用对焦信息筛除无用图像。

12.根据权利要求6或7所述的方法，其特征在于，所述降噪处理为AI降噪处理。

13.根据权利要求1所述的方法，其特征在于，所述待处理图像为在被拍摄主体的运动速度超过预设速度阈值情况下、根据所述运动速度对预览流中预览帧的初始曝光时间进行下调后得到的图像。

14.一种图像处理装置，其特征在于，包括：

第一获取模块，用于获取待处理图像，其中，所述待处理图像包括多帧图像而且所述多帧图像为针对同一拍摄场景的图像；

第二获取模块，用于获取所述拍摄场景在所述多帧图像被拍摄时的拍摄场景环境亮度；

处理模块，用于基于所述拍摄场景环境亮度和所述多帧图像间是否存在差异，对所述多帧图像进行处理，得到输出图像。

15.一种图像处理装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行根据权利要求1至13中任一项所述方法的步骤。

16.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1～13中任一项所述方法的步骤。

17.一种芯片，其特征在于，包括处理器和接口；所述处理器用于读取指令以执行权利要求1～13中任一项所述的方法。