CN110349163B - 图像处理方法和装置、电子设备、计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种图像处理方法、装置、电子设备、计算机可读存储介质，包括：首先，在不同的曝光参数下进行拍摄多帧图像，不同的曝光参数能够对场景进行不同的补偿。其次，从多帧图像中筛选出参考图像帧，该参考图像帧的清晰度超过预设清晰度阈值。对该比较清晰的图像帧进行主体分割，显然所得的主体分割结果较为准确。最后，再将参考图像帧的主体分割结果映射至当前图像帧，解决了对在暗光场景中所拍摄的当前图像帧进行主体分割时的难度较大且分割不准确的问题。

Description

图像处理方法和装置、电子设备、计算机可读存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种图像处理方法和装置、电子设备、计算机可读存储介质。

背景技术

随着摄像技术的不断发展，人们对电子设备摄像头的拍照要求日益提高。摄像头在拍照过程中有时需要检测到主体，传统的主体检测方式无法准确的检测出图像中的主体。

发明内容

本申请实施例提供一种图像处理方法、装置、电子设备、计算机可读存储介质，可以提高拍照过程中主体检测的准确性。

一种图像处理方法，包括：

获取摄像头在不同的曝光参数下所拍摄的多帧图像；

从所述多帧图像中筛选出清晰度超过预设清晰度阈值的图像作为参考图像帧；

对所述参考图像帧进行主体分割得到主体分割结果；

将所述参考图像帧的主体分割结果映射至所述摄像头所拍摄的当前图像帧，得到所述当前图像帧的主体分割结果。

一种图像处理装置，包括：

图像采集模块，用于获取摄像头在不同的曝光参数下所拍摄的多帧图像；

参考图像帧筛选模块，用于从所述多帧图像中筛选出清晰度超过预设清晰度阈值的图像作为参考图像帧；

参考图像帧主体分割模块，用于对所述参考图像帧进行主体分割得到主体分割结果；

当前图像帧主体分割模块，用于将所述参考图像帧的主体分割结果映射至所述摄像头所拍摄的当前图像帧，得到所述当前图像帧的主体分割结果。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现如上方法的步骤。

上述图像处理方法、装置、电子设备、计算机可读存储介质，获取摄像头在不同的曝光参数下所拍摄的多帧图像，从多帧图像中筛选出清晰度超过预设清晰度阈值的图像作为参考图像帧。对参考图像帧进行主体分割得到主体分割结果，将参考图像帧的主体分割结果映射至摄像头所拍摄的当前图像帧，得到当前图像帧的主体分割结果。首先，在不同的曝光参数下进行拍摄多帧图像，不同的曝光参数能够对场景进行不同的补偿。其次，从多帧图像中筛选出参考图像帧，该参考图像帧的清晰度超过预设清晰度阈值。对该比较清晰的图像帧进行主体分割，显然所得的主体分割结果较为准确。最后，再将参考图像帧的主体分割结果映射至当前图像帧，解决了对在暗光场景中所拍摄的当前图像帧进行主体分割时的难度较大且分割不准确的问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理方法的应用环境图；

图2为一个实施例中图像处理方法的流程图；

图3为图2中将参考图像帧的主体分割结果映射至摄像头所拍摄的当前图像帧，得到当前图像帧的主体分割结果方法的流程图；

图4为另一个实施例中图像处理方法的流程图；

图5为图2中筛选出参考图像帧方法的流程图；

图6为一个具体的实施例中图像处理方法的流程图；

图7为一个实施例中图像处理装置的结构框图；

图8为图7中当前图像帧主体分割模块的结构框图；

图9为一个实施例中电子设备的内部结构示意图；

图10为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一摄像头称为第二摄像头，且类似地，可将第二摄像头称为第一摄像头。第一摄像头和第二摄像头两者都是摄像头，但其不是同一摄像头。

图1为一个实施例中图像处理方法的应用环境示意图。如图1所示，该应用环境包括电子设备100。电子设备100包含有至少一个第一摄像头110和至少一个第二摄像头120。获取摄像头在不同的曝光参数下所拍摄的多帧图像；从多帧图像中筛选出清晰度超过预设清晰度阈值的图像作为参考图像帧；对参考图像帧进行主体分割得到主体分割结果；将参考图像帧的主体分割结果映射至摄像头所拍摄的当前图像帧，得到当前图像帧的主体分割结果。可以理解的是，上述电子设备100可以不限于是各种手机、电脑、可携带设备等。

图2为一个实施例中图像处理方法的流程图，如图2所示，图像处理方法包括步骤220至步骤280。

步骤220，获取摄像头在不同的曝光参数下所拍摄的多帧图像。

拍摄场景的光线或亮度信息具有不确定性，为了拍摄出清晰的图像，便可以将摄像头的曝光参数设置为不同的数值，并进行拍摄得到多帧图像。此处的曝光参数包括但不限于感光度、曝光量、曝光时长等其中的一种或多种，当其他参数不变时，则增长曝光时间即得到过曝的曝光参数；当其他参数不变时，缩短曝光时间即得到欠曝的曝光参数。可以设置在按下拍摄按钮的时候，就对应在不同的拍摄参数下连续拍摄多帧图像。

步骤240，从多帧图像中筛选出清晰度超过预设清晰度阈值的图像作为参考图像帧。

图像清晰度评价算法有很多种，在空域中，主要是考察图像的领域对比度，即相邻像素间的灰度特征的梯度差，梯度差越大则图像也越清晰。在频域中，主要是考察图像的频率分量，对焦清晰的图像高频分量较多，对焦模糊的图像低频分量较多。对上述梯度差和高频分量分别设置阈值，梯度差阈值和高频分量数目阈值共同构成了预设清晰度阈值。计算多帧图像中的每一帧图像的灰度特征的梯度差、高频分量的数目。判断每一帧图像的灰度特征的梯度差是否超过梯度差阈值，再判断高频分量的数目是否超过高频分量数目阈值。若对于某一帧图像，这两者判断结果都为是，则说明该图像的清晰度超过预设清晰度阈值，从多帧图像中筛选出该图像作为参考图像帧。参考图像帧对图像中的细节展示的比较清晰。

步骤260，对参考图像帧进行主体分割得到主体分割结果。

因为参考图像帧的清晰度超过预设清晰度阈值，且对图像中的细节展示的比较清晰，所以对该参考图像帧进行主体分割就得到了参考图像帧的主体分割结果。主体分割依赖于主体识别出的主体，根据从参考图像帧中所识别出的主体进行主体分割，就得到了主体分割结果。这里的主体分割结果可以是从参考帧图像中提取出的包含主体的部分图像。主体识别的过程具体如下：

第一步，获取可见光图。

其中，主体检测(salient object detection)是指面对一个场景时，自动地对感兴趣区域进行处理而选择性的忽略不感兴趣区域。感兴趣区域称为主体区域。可见光图是指RGB(Red、Green、Blue)图像。可通过彩色摄像头拍摄任意场景得到彩色图像，即RGB图像。该可见光图可为电子设备本地存储的，也可为其他设备存储的，也可以为从网络上存储的，还可为电子设备实时拍摄的，不限于此。具体地，电子设备的ISP处理器或中央处理器可从本地或其他设备或网络上获取可见光图，或者通过摄像头拍摄一场景得到可见光图。

第二步，生成与该可见光图对应的中心权重图，其中，该中心权重图所表示的权重值从中心到边缘逐渐减小。

其中，中心权重图是指用于记录可见光图中各个像素点的权重值的图。中心权重图中记录的权重值从中心向四边逐渐减小，即中心权重最大，向四边权重逐渐减小。通过中心权重图表征可见光图的图像中心像素点到图像边缘像素点的权重值逐渐减小。

ISP处理器或中央处理器可以根据可见光图的大小生成对应的中心权重图。该中心权重图所表示的权重值从中心向四边逐渐减小。中心权重图可采用高斯函数、或采用一阶方程、或二阶方程生成。该高斯函数可为二维高斯函数。

第三步，将该可见光图和中心权重图输入到主体检测模型中，得到主体区域置信度图，其中，主体检测模型是预先根据同一场景的可见光图、深度图、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型。

其中，主体检测模型是预先采集大量的训练数据，将训练数据输入到包含有初始网络权重的主体检测模型进行训练得到的。每组训练数据包括同一场景对应的可见光图、中心权重图及已标注的主体掩膜图。其中，可见光图和中心权重图作为训练的主体检测模型的输入，已标注的主体掩膜(mask)图作为训练的主体检测模型期望输出得到的真实值(ground truth)。主体掩膜图是用于识别图像中主体的图像滤镜模板，可以遮挡图像的其他部分，筛选出图像中的主体。主体检测模型可训练能够识别检测各种主体，如人、花、猫、狗、背景等。

具体地，ISP处理器或中央处理器可将该可见光图和中心权重图输入到主体检测模型中，进行检测可以得到主体区域置信度图。主体区域置信度图是用于记录主体属于哪种能识别的主体的概率，例如某个像素点属于人的概率是0.8，花的概率是0.1，背景的概率是0.1。

第四步，根据该主体区域置信度图确定该可见光图中的目标主体。

其中，主体是指各种对象，如人、花、猫、狗、牛、蓝天、白云、背景等。目标主体是指需要的主体，可根据需要选择。具体地，ISP处理器或中央处理器可根据主体区域置信度图选取置信度最高或次高等作为可见光图中的主体，若存在一个主体，则将该主体作为目标主体；若存在多个主体，可根据需要选择其中一个或多个主体作为目标主体。

步骤280，将参考图像帧的主体分割结果映射至摄像头所拍摄的当前图像帧，得到当前图像帧的主体分割结果。

当前图像帧为在将摄像头的曝光参数设置为不同的数值，并进行拍摄得到多帧图像之前进行拍摄所得到的图像。该当前图像帧一般是在电子设备自动匹配的拍摄参数下拍摄所得的图像，当拍摄场景的光线或亮度信息比较复杂或光线或亮度非常弱的情况下，所拍摄出的当前图像帧的清晰度较低。如果直接采用主体识别方法对该当前图像帧进行主体分割，难度较大且分割的结果的准确性较低。因为参考图像帧的清晰度较高，所以参考图像帧的主体分割结果的准确性也较高。因此，可以将参考图像帧的主体分割结果映射至摄像头所拍摄的当前图像帧，得到当前图像帧的主体分割结果。从而，提高了当前图像帧的主体分割结果。

具体的映射方式，可以是将参考图像帧的主体分割结果映射至摄像头所拍摄的当前图像帧。即是将参考图像帧中包含主体的部分图像映射至摄像头所拍摄的当前图像帧。仿射变换过程中将会采用仿射变换矩阵来进行运算。仿射变换，又称仿射映射，是指在几何中一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间的过程。仿射变换是一种平面变换，或者叫二维坐标变换。所谓的“仿射变换”就是一种简单的变换，包括旋转、平移、伸缩，原来的直线仿射变换后还是直线，原来的平行线经过仿射变换之后还是平行线。

本实施例中的图像处理方法，获取摄像头在不同的曝光参数下所拍摄的多帧图像，从多帧图像中筛选出清晰度超过预设清晰度阈值的图像作为参考图像帧。对参考图像帧进行主体分割得到主体分割结果，将参考图像帧的主体分割结果映射至摄像头所拍摄的当前图像帧，得到当前图像帧的主体分割结果。首先，在不同的曝光参数下进行拍摄多帧图像，不同的曝光参数能够对场景进行不同的补偿。其次，从多帧图像中筛选出参考图像帧，该参考图像帧的清晰度超过预设清晰度阈值。对该比较清晰的图像帧进行主体分割，显然所得的主体分割结果较为准确。最后，再将参考图像帧的主体分割结果映射至当前图像帧，解决了对在暗光场景中所拍摄的当前图像帧进行主体分割时的难度较大且分割不准确的问题。

在一个实施例中，如图3所示，步骤280，将参考图像帧的主体分割结果映射至摄像头所拍摄的当前图像帧，得到当前图像帧的主体分割结果，包括：

步骤282，计算参考图像帧与当前图像帧上同一主体对应的像素的位移。

可以通过光流法来计算参考图像帧与当前图像帧上同一主体对应的像素的位移。其中，光流(optical flow)是空间运动物体在观察成像平面上的像素运动的瞬时速度。光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。通常将二维图像平面特定坐标点上的灰度瞬时变化率定义为光流矢量。所谓光流就是瞬时速率，在时间间隔很小(比如视频的连续前后几帧之间)时，也等同于目标点的位移。通过光流法就可以计算出参考图像帧与当前图像帧上同一主体对应的像素的位移。

光流法具体有很多种，例如，基于梯度的方法。基于梯度的方法又称为微分法，它是利用时变图像灰度(或其滤波形式)的时空微分(即时空梯度函数)来计算像素的速度矢量。由于计算简单、结果准确，该方法得到了广泛应用和研究。基于梯度的方法中典型的代表是Horn-Schunck算法与Lucas-Kanade(LK)算法。当然，以上只是对光流法的举例。

步骤284，根据位移计算参考图像帧与当前图像帧之间的仿射变换矩阵。

在经过光流法计算出了参考图像帧与当前图像帧上同一主体对应的像素的位移之后，根据位移从参考图像帧与当前图像帧上对应至少取三对像素点进行计算仿射变换矩阵。即在参考图像帧上取点A、B、C，在当前图像帧上取点D、E、F，该点D、E、F分别为点A、B、C经过移动了参考图像帧与当前图像帧上同一主体对应的像素的位移之后得到的点。根据这六个点的像素坐标就可以计算出仿射变换矩阵。

步骤286，根据仿射变换矩阵将参考图像帧的主体分割结果映射至当前图像帧，得到当前图像帧的主体分割结果。

在计算出了仿射变换矩阵之后，根据仿射变换矩阵将参考图像帧的主体分割结果映射至当前图像帧，得到当前图像帧的主体分割结果。具体的，可以是根据仿射变换矩阵将参考图像帧中分割后的主体的像素位置信息映射至摄像头所拍摄的当前图像帧，得到当前图像帧中主体的像素位置信息。根据当前图像帧中主体的像素位置信息对当前图像帧进行主体分割，得到当前图像帧中分割后的主体。

本申请实施例中，通过光流法计算出参考图像帧与当前图像帧上同一主体对应的像素的位移，再从参考图像帧上提取至少三个像素点、从当前图像帧上提取这三个像素点移动后的像素点。获取这六个像素点的像素坐标，根据这六个像素点的像素坐标就可以计算出仿射变换矩阵。在得到了仿射变换矩阵之后，就可以根据仿射变换矩阵将参考图像帧的主体分割结果映射至当前图像帧，得到当前图像帧的主体分割结果。仿射变换矩阵便实现了将清晰度比较高的参考图像帧上的主体分割结果直接映射至当前图像帧上，不需要对当前图形帧直接进行主体分割。

在一个实施例中，如图4所示，在步骤282，计算参考图像帧与当前图像帧上同一主体对应的像素的位移之后，还包括：

步骤288，当位移小于预设位移阈值时，将参考图像帧的主体分割结果作为当前图像帧的主体分割结果。

本申请实施例中，因为参考图像帧是从拍摄当前图像帧之后连续拍摄的多帧图像中筛选出的图像，所以只要保证电子设备在拍摄当前图像帧及拍摄连续的多帧图像的过程中，电子设备的抖动或移动比较微小甚至不发生抖动或移动，这样则所计算出的参考图像帧与当前图像帧上同一主体对应的像素的位移就比较小。当判断该位移小于预设位移阈值时，就可以将参考图像帧的主体分割结果作为当前图像帧的主体分割结果。这样，得到当前图像帧的主体分割结果的过程简单快捷，且因为该位移小于预设位移阈值，所以也同时保证了所得到的当前图像帧的主体分割结果的准确性。

在一个实施例，步骤220，获取摄像头在不同的曝光参数下所拍摄的多帧图像，包括：获取摄像头在正常曝光参数、过曝曝光参数及欠曝曝光参数下所拍摄的多帧图像。

此处的曝光参数包括但不限于感光度、曝光量、曝光时长等其中的一种或多种，当其他参数不变时，则增长曝光时间即得到过曝的曝光参数；当其他参数不变时，缩短曝光时间即得到欠曝的曝光参数。

当此处的曝光参数为曝光量(曝光量对应的值用EV来表示)时，其中，EV是Exposure Values的缩写，是反映曝光多少的一个量。其最初定义为：当感光度为ISO 100、光圈系数为F1、曝光时间为1秒时，曝光量定义为0EV。若将曝光量为0EV的曝光参数认为是正常曝光参数，则大于0EV的曝光参数就可以认为是过曝曝光参数，小于0EV的曝光参数就可以认为是欠曝曝光参数。例如，曝光量增加一档(快门时间增加一倍或者光圈增加一档)为+1EV，认为是过曝曝光参数；曝光量减少一档(快门时间减少一半或者光圈缩小一档)为-1EV时，认为是欠曝曝光参数。获取摄像头在正常曝光参数、过曝曝光参数及欠曝曝光参数下所拍摄的多帧图像。

拍摄场景的光线或亮度信息具有不确定性，为了拍摄出清晰的图像，便可以将摄像头的曝光参数设置为不同的数值，例如正常曝光参数、过曝曝光参数及欠曝曝光参数，并在这三组参数下分别进行拍摄得到多帧图像。如此，便可以在某一组曝光参数下拍摄出比较清晰的图像。当然，每一组正常曝光参数可以包含一个或多个不同的正常曝光参数，同理，每一组过曝曝光参数可以包含一个或多个不同的过曝曝光参数，每一组欠曝曝光参数可以包含一个或多个不同的欠曝曝光参数。

本申请实施例中，拍摄场景的光线或亮度信息具有不确定性，为了拍摄出清晰的图像，便可以将摄像头的曝光参数设置为不同的数值，例如正常曝光参数、过曝曝光参数及欠曝曝光参数，并在这三组参数下分别进行拍摄得到多帧图像。如此，便可以在某一组曝光参数下拍摄出比较清晰的图像。进而从多帧图像中筛选出参考图像帧，以进行后续的主体分割得到参考图像帧中的主体分割结果，将参考图像帧的主体分割结果映射至摄像头所拍摄的当前图像帧，得到当前图像帧的主体分割结果。

一个实施例中，如图5所示，步骤240，从多帧图像中筛选出清晰度超过预设清晰度阈值的图像作为参考图像帧，包括:

步骤242，对多帧图像进行滤波处理得到二值图；

步骤244，从二值图中获取梯度值最大的二值图；

步骤246，将梯度值最大的二值图所对应的的图像帧作为参考图像帧。

具体的，通过拉普拉斯算子对多帧图像进行滤波处理得到二值图。拉普拉斯算子是一个二阶微分线性算子。二值图是指将图像上的每一个像素只有两种可能的取值或灰度等级状态。也就是说，二值图中的任何像素灰度值不是0就是255，再无其他过渡的灰度值。

因为图像清晰度评价算法有很多种，在空域中，主要是考察图像的领域对比度，即相邻像素间的灰度特征的梯度差，梯度差越大则图像也越清晰。所以，在得到了多帧图像的二值图之后，计算每一张二值图的梯度值(也就是梯度值)。从二值图中获取梯度值最大的二值图，将梯度值最大的二值图所对应的的图像帧作为参考图像帧。则该梯度值最大的二值图所对应的的图像帧为多帧图像中最清晰的图像帧。

本申请实施例中，通过对多帧图像的二值图计算梯度值的方式，获取到梯度值最大的二值图所对应的图像帧，该图像帧便是多帧图像中最清晰的图像帧。通过对多帧图像的二值图计算梯度值的方式来获取最清晰的图像帧的方式，准确性高，操作便捷易行。

在一个实施例中，将参考图像帧的主体分割结果映射至摄像头所拍摄的当前图像帧，得到当前图像帧的主体分割结果，包括：

将参考图像帧的分割处像素位置信息映射至摄像头所拍摄的当前图像帧，得到当前图像帧的分割处像素位置信息；

根据当前图像帧的分割处像素位置信息对当前图像帧进行主体分割，得到当前图像帧中分割后的主体。

具体的，参考图像帧的主体分割结果可以包括参考图像帧的分割处像素位置信息，分割处像素位置信息指的是从参考图像帧中分割出主体分割结果时，参考图像帧中与主体分割结果的分割位置处的像素对应的位置。可以理解为，这些分割处像素位置从外围包围了主体分割结果。

根据仿射变换矩阵将参考图像帧的分割处像素位置信息映射至摄像头所拍摄的当前图像帧，得到当前图像帧的分割处像素位置信息。然后就可以根据当前图像帧的分割处像素位置信息对当前图像帧进行主体分割，得到当前图像帧中分割后的主体。

本申请实施例中，参考图像帧的主体分割结果可以包括参考图像帧的分割处像素位置信息，该分割处像素位置指的是参考图像帧中与主体分割结果的分割位置处的像素对应的位置。可以理解为，这些分割处像素位置从外围包围了主体分割结果。显然，分割处像素点的数目是小于主体的所有像素点的数目，所以像素位置信息也相应较少，就减少了计算量，提高了图像处理的效率。所以，直接将参考图像帧中的这些分割位置处的像素对应的位置映射至当前图像帧，从而在当前图形帧中就可以直接根据映射后的分割位置处的像素位置，对当前图形帧进行主体分割处理，得到当前图像帧中分割后的主体。参考图像帧的清晰度较高，参考图像帧中的这些分割位置处的像素对应的位置就会比较准确，从而通过这种方式所获取到的当前图形帧中映射后的分割位置处的像素位置也相应比较准确，最终提高了当前图像帧中分割后的主体的准确性。

在一个实施例中，将参考图像帧的主体分割结果映射至摄像头所拍摄的当前图像帧，得到当前图像帧的主体分割结果，包括：

将参考图像帧中分割后的主体的像素位置信息映射至摄像头所拍摄的当前图像帧，得到当前图像帧中主体的像素位置信息；

根据当前图像帧中主体的像素位置信息对当前图像帧进行主体分割，得到当前图像帧中分割后的主体。

具体的，参考图像帧的主体分割结果可以包括分割后的主体的像素位置信息。分割后的主体的像素位置信息指的是分割后的主体的所有像素点的位置信息。

根据仿射变换矩阵将参考图像帧中分割后的主体的像素位置映射至摄像头所拍摄的当前图像帧，得到当前图像帧中分割后的主体的所有像素位置。然后就可以根据当前图像帧中分割后的主体的像素位置，获取主体的所有像素点，进而实现了对当前图像帧进行主体分割，得到当前图像帧中分割后的主体。

本申请实施例中，参考图像帧的主体分割结果可以包括分割后的主体的像素位置信息。分割后的主体的像素位置信息指的是分割后的主体的所有像素点的位置信息。这样根据仿射变换矩阵将参考图像帧中分割后的主体的像素位置映射至摄像头所拍摄的当前图像帧，就得到当前图像帧中分割后的主体的所有像素位置。进而根据该像素位置就可以获取到当前图像帧中主体的所有像素点，进而实现了对当前图像帧进行主体分割，得到当前图像帧中分割后的主体。因为是在主体分割的过程中国获取了主体的所有像素点，所以分割的结果就更加准确。

在一个具体的实施例中，以电子设备包含至少一个第一摄像头110和至少一个第二摄像头120为例进行说明，如图6所示，

步骤602，获取摄像头在正常曝光参数、过曝曝光参数及欠曝曝光参数下所拍摄的多帧图像；

步骤604，对多帧图像进行滤波处理得到二值图，从二值图中获取梯度值最大的二值图，将梯度值最大的二值图所对应的的图像帧作为参考图像帧；

步骤606，计算参考图像帧与当前图像帧上同一主体对应的像素的位移；

步骤608，判断位移是否小于预设位移阈值，若是，则进入步骤610，将参考图像帧的主体分割结果作为当前图像帧的主体分割结果；若否则进入步骤612；

步骤612，根据位移计算参考图像帧与当前图像帧之间的仿射变换矩阵；

步骤614，当主体分割结果包括分割处像素位置信息时，将参考图像帧的分割处像素位置信息映射至摄像头所拍摄的当前图像帧，得到当前图像帧的分割处像素位置信息；

步骤616，根据当前图像帧的分割处像素位置信息对当前图像帧进行主体分割，得到当前图像帧中分割后的主体。

本申请实施例中，首先，在不同的曝光参数下进行拍摄多帧图像，不同的曝光参数能够对场景进行不同的补偿。其次，从多帧图像中筛选出参考图像帧，该参考图像帧的清晰度超过预设清晰度阈值。对该比较清晰的图像帧进行主体分割，显然所得的主体分割结果较为准确。最后，再将参考图像帧的主体分割结果映射至当前图像帧，解决了对在暗光场景中所拍摄的当前图像帧进行主体分割时的难度较大且分割不准确的问题。

应该理解的是，虽然图6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图7所示，提供了一种图像处理装置700，包括：

图像采集模块720，用于获取摄像头在不同的曝光参数下所拍摄的多帧图像；

参考图像帧筛选模块740，用于从多帧图像中筛选出清晰度超过预设清晰度阈值的图像作为参考图像帧；

参考图像帧主体分割模块760，用于对参考图像帧进行主体分割得到主体分割结果；

当前图像帧主体分割模块780，用于将参考图像帧的主体分割结果映射至摄像头所拍摄的当前图像帧，得到当前图像帧的主体分割结果。

在一个实施例中，如图8所示，当前图像帧主体分割模块780，还包括：

像素的位移计算模块782，用于计算参考图像帧与当前图像帧上同一主体对应的像素的位移；

仿射变换矩阵计算模块784，用于根据位移计算参考图像帧与当前图像帧之间的仿射变换矩阵；

主体分割结果映射模块786，用于根据仿射变换矩阵将参考图像帧的主体分割结果映射至当前图像帧，得到当前图像帧的主体分割结果。

在一个实施例中，当前图像帧主体分割模块780，还用于当位移小于预设位移阈值时，将参考图像帧的主体分割结果作为当前图像帧的主体分割结果。

在一个实施例中，图像采集模块720，还用于获取摄像头在正常曝光参数、过曝曝光参数及欠曝曝光参数下所拍摄的多帧图像。

在一个实施例中，参考图像帧筛选模块740，还用于对多帧图像进行滤波处理得到二值图；从二值图中获取梯度值最大的二值图；将梯度值最大的二值图所对应的的图像帧作为参考图像帧。

在一个实施例中，当前图像帧主体分割模块780，还用于将参考图像帧的分割处像素位置信息映射至摄像头所拍摄的当前图像帧，得到当前图像帧的分割处像素位置信息；根据当前图像帧的分割处像素位置信息对当前图像帧进行主体分割，得到当前图像帧中分割后的主体。

在一个实施例中，当前图像帧主体分割模块780，还用于将参考图像帧中分割后的主体的像素位置信息映射至摄像头所拍摄的当前图像帧，得到当前图像帧中主体的像素位置信息；

根据当前图像帧中主体的像素位置信息对当前图像帧进行主体分割，得到当前图像帧中分割后的主体。

上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。

图9为一个实施例中电子设备的内部结构示意图。如图9所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图10为一个实施例中图像处理电路的示意图。如图10所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图10所示，图像处理电路包括第一ISP处理器1030、第二ISP处理器1040和控制逻辑器1050。第一摄像头1010包括一个或多个第一透镜1012和第一图像传感器1014。第一图像传感器1014可包括色彩滤镜阵列(如Bayer滤镜)，第一图像传感器1014可获取用第一图像传感器1014的每个成像像素捕捉的光强度和波长信息，并提供可由第一ISP处理器1030处理的一组图像数据。第二摄像头1020包括一个或多个第二透镜1022和第二图像传感器1024。第二图像传感器1024可包括色彩滤镜阵列(如Bayer滤镜)，第二图像传感器1024可获取用第二图像传感器1024的每个成像像素捕捉的光强度和波长信息，并提供可由第二ISP处理器1040处理的一组图像数据。

第一摄像头1010采集的第一图像传输给第一ISP处理器1030进行处理，第一ISP处理器1030处理第一图像后，可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器1050，控制逻辑器1050可根据统计数据确定第一摄像头1010的控制参数，从而第一摄像头1010可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第一ISP处理器1030进行处理后可存储至图像存储器1060中，第一ISP处理器1030也可以读取图像存储器1060中存储的图像以对进行处理。另外，第一图像经过ISP处理器1030进行处理后可直接发送至显示器1070进行显示，显示器1070也可以读取图像存储器1060中的图像以进行显示。

其中，第一ISP处理器1030按多种格式逐个像素地处理图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，第一ISP处理器1030可对图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

图像存储器1060可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自第一图像传感器1014接口时，第一ISP处理器1030可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器1060，以便在被显示之前进行另外的处理。第一ISP处理器1030从图像存储器1060接收处理数据，并对处理数据进行RGB和YCbCr颜色空间中的图像数据处理。第一ISP处理器1030处理后的图像数据可输出给显示器1070，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，第一ISP处理器1030的输出还可发送给图像存储器1060，且显示器1070可从图像存储器1060读取图像数据。在一个实施例中，图像存储器1060可被配置为实现一个或多个帧缓冲器。

第一ISP处理器1030确定的统计数据可发送给控制逻辑器1050。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、第一透镜1012阴影校正等第一图像传感器1014统计信息。控制逻辑器1050可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定第一摄像头1010的控制参数及第一ISP处理器1030的控制参数。例如，第一摄像头1010的控制参数可包括增益、曝光控制的积分时间、防抖参数、闪光控制参数、第一透镜1012控制参数(例如聚焦或变焦用焦距)、或这些参数的组合等。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及第一透镜1012阴影校正参数。

同样地，第二摄像头1020采集的第二图像传输给第二ISP处理器1040进行处理，第二ISP处理器1040处理第一图像后，可将第二图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器1050，控制逻辑器1050可根据统计数据确定第二摄像头1020的控制参数，从而第二摄像头1020可根据控制参数进行自动对焦、自动曝光等操作。第二图像经过第二ISP处理器1040进行处理后可存储至图像存储器1060中，第二ISP处理器1040也可以读取图像存储器1060中存储的图像以对进行处理。另外，第二图像经过ISP处理器1040进行处理后可直接发送至显示器1070进行显示，显示器1070也可以读取图像存储器1060中的图像以进行显示。第二摄像头1020和第二ISP处理器1040也可以实现如第一摄像头1010和第一ISP处理器1030所描述的处理过程。

根据本申请实施例提供的图像处理电路可以实现上述图像处理方法。具体的，第一摄像头1010或第二摄像头1020在不同的曝光参数下拍摄多帧图像；获取第一摄像头1010或第二摄像头1020在不同的曝光参数下所拍摄的多帧图像。第一ISP处理器1030或第二ISP处理器1040可以从从多帧图像中筛选出清晰度超过预设清晰度阈值的图像作为参考图像帧，并对参考图像帧进行主体分割得到主体分割结果。将参考图像帧的主体分割结果映射至摄像头所拍摄的当前图像帧，得到当前图像帧的主体分割结果。电子设备实现该图像处理方法的过程如上述实施例，在此不再赘述。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行图像处理方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。

本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获取摄像头在不同的曝光参数下所拍摄的多帧图像；

从所述多帧图像中筛选出清晰度超过预设清晰度阈值的图像作为参考图像帧；所述预设清晰度阈值包括梯度差阈值和高频分量数目阈值；

对所述参考图像帧进行主体分割得到主体分割结果；

计算所述参考图像帧与当前图像帧上同一主体对应的像素的位移；根据所述位移计算所述参考图像帧与所述当前图像帧之间的仿射变换矩阵；根据所述仿射变换矩阵将所述参考图像帧的主体分割结果映射至所述当前图像帧，得到所述当前图像帧的主体分割结果。

2.根据权利要求1所述的方法，其特征在于，在所述计算所述参考图像帧与所述当前图像帧上同一主体对应的像素的位移之后，还包括：

当所述位移小于预设位移阈值时，将所述参考图像帧的主体分割结果作为所述当前图像帧的主体分割结果。

3.根据权利要求1所述的方法，其特征在于，所述获取摄像头在不同的曝光参数下所拍摄的多帧图像，包括：

获取摄像头在正常曝光参数、过曝曝光参数及欠曝曝光参数下所拍摄的多帧图像。

4.根据权利要求1所述的方法，其特征在于，所述从所述多帧图像中筛选出清晰度超过预设清晰度阈值的图像作为参考图像帧，包括:

对所述多帧图像进行滤波处理得到二值图；

从所述二值图中获取梯度值最大的二值图；

将所述梯度值最大的二值图所对应的图像帧作为参考图像帧。

5.根据权利要求1所述的方法，其特征在于，所述主体分割结果包括分割处像素位置信息和分割后的主体的像素位置信息。

6.根据权利要求5所述的方法，其特征在于，所述将所述参考图像帧的主体分割结果映射至所述摄像头所拍摄的当前图像帧，得到所述当前图像帧的主体分割结果，包括：

将所述参考图像帧的分割处像素位置信息映射至所述摄像头所拍摄的当前图像帧，得到所述当前图像帧的分割处像素位置信息；

根据所述当前图像帧的分割处像素位置信息对所述当前图像帧进行主体分割，得到所述当前图像帧中分割后的主体。

7.根据权利要求5所述的方法，其特征在于，所述将所述参考图像帧的主体分割结果映射至所述摄像头所拍摄的当前图像帧，得到所述当前图像帧的主体分割结果，包括：

将所述参考图像帧中分割后的主体的像素位置信息映射至所述摄像头所拍摄的当前图像帧，得到所述当前图像帧中主体的像素位置信息；

根据所述当前图像帧中主体的像素位置信息对所述当前图像帧进行主体分割，得到所述当前图像帧中分割后的主体。

8.一种图像处理装置，其特征在于，包括：

图像采集模块，用于获取摄像头在不同的曝光参数下所拍摄的多帧图像；

参考图像帧筛选模块，用于从所述多帧图像中筛选出清晰度超过预设清晰度阈值的图像作为参考图像帧；所述预设清晰度阈值包括梯度差阈值和高频分量数目阈值；

参考图像帧主体分割模块，用于对所述参考图像帧进行主体分割得到主体分割结果；

当前图像帧主体分割模块，用于计算所述参考图像帧与当前图像帧上同一主体对应的像素的位移；根据所述位移计算所述参考图像帧与所述当前图像帧之间的仿射变换矩阵；根据所述仿射变换矩阵将所述参考图像帧的主体分割结果映射至所述当前图像帧，得到所述当前图像帧的主体分割结果。

9.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的图像处理方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。

Images