CN110688926B - 主体检测方法和装置、电子设备、计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种主体检测方法、装置、电子设备、计算机可读存储介质，包括：计算当前图像、与当前图像相隔预设数目图像帧的参考图像之间的相似度。若当前图像与参考图像之间的相似度大于预设阈值时，则获取参考图像的主体检测结果，将参考图像的主体检测结果作为当前图像的主体检测结果。传统方法中对会对每一帧图像进行主体检测，主体检测过程中的功耗较大。而本申请中计算出当前图像、参考图像之间的相似度，根据相似度判断是否需要对当前图像进行主体检测，或直接将参考图像的主体检测结果作为当前图像的主体检测结果。就避免了多次重复的主体检测过程，从而，可以降低主体检测过程中的功耗，节约资源。

Description

主体检测方法和装置、电子设备、计算机可读存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种主体检测方法和装置、电子设备、计算机可读存储介质。

背景技术

随着摄像技术的不断发展，人们对电子设备摄像头的拍照要求日益提高。摄像头在拍照过程中有时需要检测到主体，传统的主体检测方式功耗较大。

发明内容

本申请实施例提供一种主体检测方法、装置、电子设备、计算机可读存储介质，可以降低主体检测过程中的功耗。

一种主体检测方法，应用于电子设备，包括：

计算当前图像、与所述当前图像相隔预设数目图像帧的参考图像之间的相似度；

当所述当前图像与所述参考图像之间的相似度大于预设阈值时，则获取所述参考图像的主体检测结果；

将所述参考图像的主体检测结果作为所述当前图像的主体检测结果。

一种主体检测装置，包括：

相似度计算模块，用于计算当前图像、与所述当前图像相隔预设数目图像帧的参考图像之间的相似度；

主体检测结果获取模块，用于当所述当前图像与所述参考图像之间的相似度大于预设阈值时，则获取所述参考图像的主体检测结果；

当前图像的主体检测结果确定模块，用于将所述参考图像的主体检测结果作为所述当前图像的主体检测结果。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上方法的步骤。

上述主体检测方法、装置、电子设备、计算机可读存储介质，计算当前图像、与当前图像相隔预设数目图像帧的参考图像之间的相似度。若当前图像与参考图像之间的相似度大于预设阈值时，则获取参考图像的主体检测结果，将参考图像的主体检测结果作为当前图像的主体检测结果。传统方法中对会对每一帧图像进行主体检测，主体检测过程中的功耗较大。而本申请中计算出当前图像、参考图像之间的相似度，根据相似度判断是否需要对当前图像进行主体检测，或直接将参考图像的主体检测结果作为当前图像的主体检测结果。就避免了多次重复的主体检测过程，从而，可以降低主体检测过程中的功耗，节约资源。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中主体检测方法的应用环境图；

图2为一个实施例中主体检测方法的流程图；

图3为一个实施例中图像处理效果示意图；

图4为图2中计算相似度的方法的流程图；

图5为一个具体的实施例中像处理方法的流程图；

图6为一个实施例中主体检测装置的结构框图；

图7为图6中相似度计算模块的结构框图；

图8为一个实施例中电子设备的内部结构示意图；

图9为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一摄像头称为第二摄像头，且类似地，可将第二摄像头称为第一摄像头。第一摄像头和第二摄像头两者都是摄像头，但其不是同一摄像头。

图1为一个实施例中主体检测方法的应用环境示意图。如图1所示，该应用环境包括电子设备100。电子设备100包含有至少一个第一摄像头110和至少一个第二摄像头120。电子设备100可以计算当前图像、与当前图像相隔预设数目图像帧的参考图像之间的相似度。若当前图像与参考图像之间的相似度大于预设阈值时，则获取参考图像的主体检测结果，将参考图像的主体检测结果作为当前图像的主体检测结果。可以理解的是，上述电子设备100可以不限于是各种手机、电脑、可携带设备等。

图2为一个实施例中主体检测方法的流程图，应用于电子设备，如图2所示，主体检测方法包括步骤220至步骤280。

步骤220，计算当前图像、与当前图像相隔预设数目图像帧的参考图像之间的相似度。

当前图像指的是当前需要进行主体检测的图像，参考图像是指与当前图像相隔预设数目图像帧的图像。相隔预设数目可以是相隔一帧、两帧或多帧，本申请中对此不做限定。具体的，当电子设备在进行拍摄时，对拍摄场景会连续拍摄多帧图像进行图像处理，假设对第1帧图像进行了主体检测，检测出主体检测结果。那么对第2帧图像(或第N帧图像)进行主体检测时候，就可以先计算第2帧图像(或第N帧图像)与第1帧图像之间的相似度。因为在较短时间内对拍摄场景进行拍摄所得的多帧图像的主体检测结果大概率具有较高的相似性、甚至相同，尤其是对于同一拍摄场景进行拍摄。

步骤240，若当前图像与参考图像之间的相似度大于预设阈值时，则获取参考图像的主体检测结果。

判断当前图像与参考图像之间的相似度是否大于预设阈值，若大于预设阈值则获取参考图像的主体检测结果。其中，预设阈值可以是根据大量连续图像帧进行主体检测，所得出的相同的主体检测结果的图像帧之间的相似度的下限阈值。例如，相似度的预设阈值可以是0.8、0.9或0.95等数值，本申请中对此不做限定。因为采用不同方式计算当前图像与参考图像之间的相似度时的准确性是不同的，所以采用不同方式计算当前图像与参考图像之间的相似度时，所对应的相似度的预设阈值也可以是不同的。

步骤260，将参考图像的主体检测结果作为当前图像的主体检测结果。

当判断出当前图像与参考图像之间的相似度大于预设阈值，则获取参考图像的主体检测结果，将参考图像的主体检测结果作为当前图像的主体检测结果。其中，主体检测结果可以是采用主体检测网络模型对参考图像进行主体检测，所得到的主体检测结果。主体检测结果可以是指参考图像中包含一个或多个主体的全部区域的检测框，例如，包含一只狗的全身的矩形检测框，当然，该检测框还可以是圆形、椭圆形、梯形等其他平面图形。也可以是指参考图像中主体出现的全部区域，例如，一只狗的全身在原始图像中所占的区域，除去该只狗的全身所占区域之外的其他区域不属于这只狗的主体检测结果。主体检测结果还可以是所检测出的主体的类型，例如主体是如人、花、猫、狗、牛、蓝天、白云、建筑物、背景等类型。因为在后续图像处理时，根据主体所属的不同类型，可以采用不同的图像处理方法，从而实现不同的处理效果。

采用主体检测网络模型对参考图像进行主体检测的过程具体如下：

第一步，获取可见光图。

其中，主体检测(salient object detection)是指面对一个场景时，自动地对感兴趣区域进行处理而选择性的忽略不感兴趣区域。感兴趣区域称为主体区域。可见光图是指RGB(Red、Green、Blue)图像。可通过彩色摄像头拍摄任意场景得到彩色图像，即RGB图像。该可见光图可为电子设备本地存储的，也可为其他设备存储的，也可以为从网络上存储的，还可为电子设备实时拍摄的，不限于此。具体地，电子设备的ISP处理器或中央处理器可从本地或其他设备或网络上获取可见光图，或者通过摄像头拍摄一场景得到可见光图。

第二步，生成与该可见光图对应的中心权重图，其中，该中心权重图所表示的权重值从中心到边缘逐渐减小。

其中，中心权重图是指用于记录可见光图中各个像素点的权重值的图。中心权重图中记录的权重值从中心向四边逐渐减小，即中心权重最大，向四边权重逐渐减小。通过中心权重图表征可见光图的图像中心像素点到图像边缘像素点的权重值逐渐减小。

ISP处理器或中央处理器可以根据可见光图的大小生成对应的中心权重图。该中心权重图所表示的权重值从中心向四边逐渐减小。中心权重图可采用高斯函数、或采用一阶方程、或二阶方程生成。该高斯函数可为二维高斯函数。

第三步，将该可见光图和中心权重图输入到主体检测模型中，得到主体区域置信度图，其中，主体检测模型是预先根据同一场景的可见光图、深度图、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型。

其中，主体检测模型是预先采集大量的训练数据，将训练数据输入到包含有初始网络权重的主体检测模型进行训练得到的。每组训练数据包括同一场景对应的可见光图、中心权重图及已标注的主体掩膜图。其中，可见光图和中心权重图作为训练的主体检测模型的输入，已标注的主体掩膜(mask)图作为训练的主体检测模型期望输出得到的真实值(ground truth)。主体掩膜图是用于识别图像中主体的图像滤镜模板，可以遮挡图像的其他部分，筛选出图像中的主体。主体检测模型可训练能够识别检测各种主体，如人、花、猫、狗、背景等。

具体地，ISP处理器或中央处理器可将该可见光图和中心权重图输入到主体检测模型中，进行检测可以得到主体区域置信度图。主体区域置信度图是用于记录主体属于哪种能识别的主体的概率，例如某个像素点属于人的概率是0.8，花的概率是0.1，背景的概率是0.1。

第四步，根据该主体区域置信度图确定该可见光图中的目标主体。

其中，主体是指各种对象，如人、花、猫、狗、牛、蓝天、白云、背景等。目标主体是指需要的主体，可根据需要选择。具体地，ISP处理器或中央处理器可根据主体区域置信度图选取置信度最高或次高等作为可见光图中的主体，若存在一个主体，则将该主体作为目标主体；若存在多个主体，可根据需要选择其中一个或多个主体作为目标主体。

图3为一个实施例中图像处理效果示意图。如图3所示，RGB图302中存在一只蝴蝶，将RGB图输入到主体检测模型后得到主体区域置信度图304，然后对主体区域置信度图304进行滤波和二值化得到二值化掩膜图306，再对二值化掩膜图306进行形态学处理和引导滤波实现边缘增强，得到主体掩膜图308。

本申请实施例中，计算当前图像、与当前图像相隔预设数目图像帧的参考图像之间的相似度。若当前图像与参考图像之间的相似度大于预设阈值时，则获取参考图像的主体检测结果，将参考图像的主体检测结果作为当前图像的主体检测结果。传统方法中对会对每一帧图像进行主体检测，主体检测过程中的功耗较大。而本申请中计算出当前图像、参考图像之间的相似度，根据相似度判断是否需要对当前图像进行主体检测，或直接将参考图像的主体检测结果作为当前图像的主体检测结果。就避免了多次重复的主体检测过程，从而，可以降低主体检测过程中的功耗，节约资源。

在一个实施例中，还提供了一种主体检测方法，包括：若当前图像与参考图像之间的相似度小于或等于预设阈值时，则对当前图像进行主体检测，得到当前图像的主体检测结果。

本申请实施例中，计算当前图像、与当前图像相隔预设数目图像帧的参考图像之间的相似度，判断当前图像与参考图像之间的相似度是否大于预设阈值，若判断出当前图像与参考图像之间的相似度小于或等于预设阈值时，则说明当前图像相对于参考图像中的主体检测结果已经发生了较大的变化，所以就需要对当前图像进行主体检测，得到当前图像的主体检测结果。

在一个实施例中，如图4所示，步骤220，计算当前图像、与当前图像相隔预设数目图像帧的参考图像之间的相似度，包括：

步骤222，获取参考图像中的主体区域。

具体的，从参考图像的主体检测结果中获取参考图像的主体区域，该主体区域可以是包含一个或多个主体的全部区域的检测框，当然，该检测框还可以是圆形、椭圆形、梯形等其他平面图形。也可以是沿着主体边缘进行分割所得的区域，主体区域可以是规则的区域，也可以是不规则的区域。

步骤224，根据参考图像中的主体区域的坐标，从当前图像中获取处于坐标的范围内的局部区域。

在获取了参考图像中的主体区域之后，进一步获取参考图像中的主体区域的坐标。当主体区域为检测框时，获取检测框的外接框的端点的坐标；当主体区域为沿着主体边缘进行分割所得的区域时，则获取主体边缘一周的点的坐标，主体边缘一周的点可以是连续的点，为了减少计算量也可以是间隔的点。

在获取了参考图像中的主体区域的坐标之后，就可以根据参考图像中的主体区域的坐标，从当前图像中获取处于坐标的范围内的局部区域。即从当前图像中抠出处于上述坐标的范围内的局部区域。

步骤226，计算参考图像中的主体区域与当前图像中的局部区域之间的相似度。

在从当前图像中抠出处于上述坐标的范围内的局部区域之后，就可以计算参考图像中的主体区域与当前图像中的局部区域之间的相似度。相比较于直接计算当前图像、参考图像之间的相似度，计算参考图像中的主体区域与当前图像中的局部区域之间的相似度，计算的范围变小了，所以就大大减少了计算量。当判断当前图像中的局部区域与参考图像中的主体区域之间的相似度大于预设阈值时，则获取参考图像的主体检测结果。将参考图像的主体检测结果作为当前图像的主体检测结果。当判断出当前图像中的局部区域与参考图像中的主体区域之间的相似度小于或等于预设阈值时，则对当前图像进行主体检测，得到当前图像的主体检测结果。在本申请实施例中的预设阈值，可以与前述实施例中的预设阈值不同，因为本申请实施例中只是针对当前图像中的局部区域与参考图像中的主体区域进行比较相似度，比较的范围缩小了，则预设阈值也应该相应提高。例如，当前述实施例中的相似度的预设阈值可以是0.8时，则本申请实施例中相似度的预设阈值可以是大于0.8的任意值，例如0.9，当然，本申请中对此不做限定。

本申请实施例中，将计算整张当前图像、参考图像之间的相似度，缩小为计算参考图像中的主体区域与当前图像中的局部区域之间的相似度。显然，大大减少了计算的数据量。同时计算相似度的范围的缩小，减少了背景区域的干扰，从而提高了所计算出的相似度的准确性。

在一个实施例中，计算当前图像、与当前图像相隔预设数目图像帧的参考图像之间的相似度，包括：

采用直方图方式或哈希算法或余弦相似度来计算当前图像、与当前图像相隔预设数目图像帧的参考图像之间的相似度。

具体的，在计算当前图像、参考图像之间的相似度时，可以采用多种计算图像相似度的方法。例如，可以采用直方图方式或哈希算法或余弦相似度来计算当前图像、参考图像之间的相似度。在计算图像相似度时，基本首先都需要对图像进行灰度化处理得到灰度图像，然后在针对灰度图像采用多种计算图像相似度的方法进行计算。

其中，采用直方图方式计算图像相似度的过程包括：首先，对当前图像、参考图像分别进行直方图数据采集，对所采集的各自的图像直方图进行归一化处理，再使用相似度公式计算出相似度值。其中，相似度公式包括相关系数、卡方、相交或巴氏距离。再判断当前图像与参考图像之间的相似度是否大于预设阈值。

其中，也可以采用哈希算法来计算图像相似性，哈希算法包括均值哈希算法、感知哈希算法及差值哈希算法。例如，采用差值哈希算法来计算图像相似性的过程包括：首先，将图像缩小至9*8，即图像共计由72个像素点；再将缩小后的图像进行灰度化处理，得到灰度图；其次，再计算差值，计算相邻像素点之间的差值，因为每行由9个像素点所以计算出8个差值，共计8行便产生了64个差值。最后，如果左边的像素比右边的更亮，则记录为1，否则记录为0，这样就生成了图像指纹。比对两帧图像的图像指纹，计算汉明距离。当计算出来的汉明距离越大，图像的相似度越小，汉明距离越小，图像的相似度越大。根据汉明距离相应的得出相似度值，再判断当前图像与参考图像之间的相似度是否大于预设阈值。

其中，采用余弦相似度计算图像相似度的过程包括：首先，将两帧图像进行缩小(如缩小至224*224)；其次，将缩小后的图像转换为灰度图；最后，计算两张灰度图的余弦距离，余弦距离越接近1，则说明两帧图像的相似度越高。将余弦距离可以作为相似度值，再判断当前图像与参考图像之间的相似度是否大于预设阈值。

因为采用不同方式计算当前图像与参考图像之间的相似度时的准确性是不同的，所以采用不同方式计算当前图像与参考图像之间的相似度时，所对应的相似度的预设阈值也可以是不同的。

本申请实施例中，再计算当前图像与参考图像之间的相似度时，可以采用不同的计算方式来进行计算，每种计算方式有自身的优缺点，所以可以针对当前图像与参考图像的特点相应地采用最佳的计算方式来进行计算相似度。从而，提高所计算出的相似度的准确性。

在一个实施例中，计算当前图像、与当前图像相隔预设数目图像帧的参考图像之间的相似度，包括：

采用深度神经网络模型来计算当前图像、与当前图像相隔预设数目图像帧的参考图像之间的相似度。

本申请实施例中，深度神经网络模型为预先将大量的图像作为输入，输入至初始化的深度神经网络模型进行计算相似度训练，所得到的模型。采用深度神经网络模型来计算当前图像、与当前图像相隔预设数目图像帧的参考图像之间的相似度，所计算出的相似度的准确性较高。

在一个实施例中，参考图像的拍摄时间早于当前图像的拍摄时间。

本申请实施例中，参考图像拍摄时间在当前图像的拍摄时间之前，且参考图像为与当前图像相隔预设数目图像帧的图像。因为一般情况下对图像进行主体检测都是从前往后依次进行的，预先已经对参考图像进行了主体检测(当然，也可能是直接获取某帧图像的主体检测结果作为参考图像的主体检测结果)，所以计算当前图像、与当前图像相隔预设数目图像帧的参考图像之间的相似度。若当前图像与参考图像之间的相似度大于预设阈值时，则获取参考图像的主体检测结果，将参考图像的主体检测结果作为当前图像的主体检测结果。

在一个实施例中，还提供了一种主体检测方法，包括：根据当前图像的主体检测结果，对当前图像进行对焦。

本申请实施例中，计算当前图像、与当前图像相隔预设数目图像帧的参考图像之间的相似度。若当前图像与参考图像之间的相似度大于预设阈值时，则获取参考图像的主体检测结果，将参考图像的主体检测结果作为当前图像的主体检测结果。在得到了当前图像的主体检测结果之后，就可以根据当前图像的主体检测结果，对当前图像进行对焦。如此，能够准确地对焦至当前图像的主体上。

在一个实施例中，参考图像为与当前图像相隔预设数目图像帧且进行了主体检测的图像帧。

具体的，直接获取与当前图像相隔预设数目图像帧的参考图像的主体检测结果作为当前图像的主体检测结果。如果是直接获取某帧图像的主体检测结果作为参考图像的主体检测结果，那么说明参考图像与某帧图像已经进行了一次相似度比较，相似度小于或等于预设阈值时，则获取某帧图像的主体检测结果，将某帧图像的主体检测结果作为当前图像的主体检测结果。

那么此时再一次将当前图像与参考图像进行相似度比较，根据相似度比较结果来决定将该参考图像的主体检测结果作为当前图像的主体检测结果。那么实际是将某帧图像的主体检测结果作为当前图像的主体检测结果。而比较的是参考图像与当前图像的相似度，显然，在这中间误差会越来越大，那么所得到的当前图像的主体检测结果的准确性越来越低。所以，提出在选取参考图像时，选取与当前图像相隔预设数目图像帧且进行了主体检测的图像帧作为参考图像。

例如，当电子设备在进行拍摄时，对拍摄场景会连续拍摄多帧图像进行图像处理，假设对第1帧图像进行了主体检测，检测出主体检测结果。那么对第3帧图像进行主体检测时候，该预设数目图像帧就可以设置为1帧，如此则与第3帧图像相隔一帧图像的参考图像就是第1帧图像，且第一帧图像正好是进行了主体检测的图像。若对第8帧图像进行主体检测时候，该预设数目图像帧就可以设置为7帧，如此则与第7帧图像相隔一帧图像的参考图像就是第1帧图像，且第1帧图像正好是进行了主体检测的图像。如此类推，每次都是将当前图像与之前最近的进行了主体检测的图像来进行计算相似度，这样在根据相似度大小来将参考图像的主体检测结果作为当前图像的主体检测结果，提高了当前图像的主体检测结果的准确性。

本申请实施例中，直接获取与当前图像相隔预设数目图像帧、且进行了主体检测的参考图像的主体检测结果作为当前图像的主体检测结果。不需要对每一帧当前图像进行主体检测，且也同时保证了所得的当前图像的主体检测结果的准确性。

在一个具体的实施例中，如图5所示，提供了一种对焦控制方法，包括：

步骤502，输入当前图像；

步骤504，获取与当前图像相隔预设数目图像帧且进行了主体检测的图像帧作为参考图像；

步骤506，获取参考图像中的主体区域；

步骤508，根据参考图像中的主体区域的坐标，从当前图像中获取处于坐标的范围内的局部区域；

步骤510，采用哈希算法计算参考图像中的主体区域与当前图像中的局部区域之间的相似度；

步骤512，判断当前图像与参考图像之间的相似度是否大于预设阈值，若是，则进入步骤514；若否，则进入步骤516；

步骤514，获取参考图像的主体检测结果，将参考图像的主体检测结果作为当前图像的主体检测结果；

步骤516，对当前图像进行主体检测，得到当前图像的主体检测结果；

步骤518，根据当前图像的主体检测结果，对当前图像进行对焦。

本申请实施例中，计算出当前图像、参考图像之间的相似度，根据相似度判断是否需要对当前图像进行主体检测，或直接将参考图像的主体检测结果作为当前图像的主体检测结果。就避免了多次重复的主体检测过程，从而，可以降低主体检测过程中的功耗，节约资源。应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图6所示，提供了一种主体检测装置600，包括：相似度计算模块620、主体检测结果获取模块640及当前图像的主体检测结果确定模块660。其中，

相似度计算模块620，用于计算当前图像、与当前图像相隔预设数目图像帧的参考图像之间的相似度；

主体检测结果获取模块640，用于若当前图像与参考图像之间的相似度大于预设阈值时，则获取参考图像的主体检测结果；

当前图像的主体检测结果确定模块660，用于将参考图像的主体检测结果作为当前图像的主体检测结果。

在一个实施例中，提供了一种主体检测装置，还包括：主体检测模块，用于若当前图像与参考图像之间的相似度小于或等于预设阈值时，则对当前图像进行主体检测，得到当前图像的主体检测结果。

在一个实施例中，如图7所示，相似度计算模块620，包括：参考图像中的主体区域获取单元622、当前图像中的局部区域获取单元624及相似度计算单元626。其中，

参考图像中的主体区域获取单元622，用于获取参考图像中的主体区域；

当前图像中的局部区域获取单元624，用于根据参考图像中的主体区域的坐标，从当前图像中获取处于坐标的范围内的局部区域；

相似度计算单元626，用于计算参考图像中的主体区域与当前图像中的局部区域之间的相似度。

在一个实施例中，相似度计算模块620，还用于采用直方图方式或哈希算法或余弦相似度来计算当前图像、与当前图像相隔预设数目图像帧的参考图像之间的相似度。

在一个实施例中，哈希算法包括均值哈希算法、感知哈希算法及差值哈希算法。

在一个实施例中，相似度计算模块620，还用于采用深度神经网络模型来计算当前图像、与当前图像相隔预设数目图像帧的参考图像之间的相似度。

在一个实施例中，提供了一种主体检测装置，还包括：对焦模块，用于根据当前图像的主体检测结果，对当前图像进行对焦。

在一个实施例中，参考图像的拍摄时间早于当前图像的拍摄时间。

在一个实施例中，参考图像为与当前图像相隔预设数目图像帧且进行了主体检测的图像帧。

上述主体检测装置中各个模块的划分仅用于举例说明，在其他实施例中，可将主体检测装置按照需要划分为不同的模块，以完成上述主体检测装置的全部或部分功能。

图8为一个实施例中电子设备的内部结构示意图。如图8所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种主体检测方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

本申请实施例中提供的主体检测装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图9为一个实施例中图像处理电路的示意图。如图9所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图9所示，图像处理电路包括第一ISP处理器930、第二ISP处理器940和控制逻辑器950。第一摄像头910包括一个或多个第一透镜912和第一图像传感器914。第一图像传感器914可包括色彩滤镜阵列(如Bayer滤镜)，第一图像传感器914可获取用第一图像传感器914的每个成像像素捕捉的光强度和波长信息，并提供可由第一ISP处理器930处理的一组图像数据。第二摄像头920包括一个或多个第二透镜922和第二图像传感器924。第二图像传感器924可包括色彩滤镜阵列(如Bayer滤镜)，第二图像传感器924可获取用第二图像传感器924的每个成像像素捕捉的光强度和波长信息，并提供可由第二ISP处理器940处理的一组图像数据。

第一摄像头910采集的第一图像传输给第一ISP处理器930进行处理，第一ISP处理器930处理第一图像后，可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器950，控制逻辑器950可根据统计数据确定第一摄像头910的控制参数，从而第一摄像头910可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第一ISP处理器930进行处理后可存储至图像存储器960中，第一ISP处理器930也可以读取图像存储器960中存储的图像以对进行处理。另外，第一图像经过ISP处理器930进行处理后可直接发送至显示器970进行显示，显示器970也可以读取图像存储器960中的图像以进行显示。

其中，第一ISP处理器930按多种格式逐个像素地处理图像数据。例如，每个图像像素可具有8、9、12或14比特的位深度，第一ISP处理器930可对图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度计算精度进行。

图像存储器960可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自第一图像传感器914接口时，第一ISP处理器930可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器960，以便在被显示之前进行另外的处理。第一ISP处理器930从图像存储器960接收处理数据，并对处理数据进行RGB和YCbCr颜色空间中的图像数据处理。第一ISP处理器930处理后的图像数据可输出给显示器970，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，第一ISP处理器930的输出还可发送给图像存储器960，且显示器970可从图像存储器960读取图像数据。在一个实施例中，图像存储器960可被配置为实现一个或多个帧缓冲器。

第一ISP处理器930确定的统计数据可发送给控制逻辑器950。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、第一透镜912阴影校正等第一图像传感器914统计信息。控制逻辑器950可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定第一摄像头910的控制参数及第一ISP处理器930的控制参数。例如，第一摄像头910的控制参数可包括增益、曝光控制的积分时间、防抖参数、闪光控制参数、第一透镜912控制参数(例如聚焦或变焦用焦距)、或这些参数的组合等。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及第一透镜912阴影校正参数。

同样地，第二摄像头920采集的第二图像传输给第二ISP处理器940进行处理，第二ISP处理器940处理第一图像后，可将第二图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器950，控制逻辑器950可根据统计数据确定第二摄像头920的控制参数，从而第二摄像头920可根据控制参数进行自动对焦、自动曝光等操作。第二图像经过第二ISP处理器940进行处理后可存储至图像存储器960中，第二ISP处理器940也可以读取图像存储器960中存储的图像以对进行处理。另外，第二图像经过ISP处理器940进行处理后可直接发送至显示器970进行显示，显示器970也可以读取图像存储器960中的图像以进行显示。第二摄像头920和第二ISP处理器940也可以实现如第一摄像头910和第一ISP处理器930所描述的处理过程。

电子设备实现该主体检测方法的过程如上述实施例，在此不再赘述。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行主体检测方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行主体检测方法。

本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种主体检测方法，应用于电子设备，其特征在于，包括：

计算当前图像、与所述当前图像相隔预设数目图像帧的参考图像之间的相似度；所述计算当前图像、与所述当前图像相隔预设数目图像帧的参考图像之间的相似度，包括：在对同一拍摄场景进行拍摄时，获取所述参考图像中的主体区域；根据所述参考图像中的主体区域的坐标，从所述当前图像中获取处于所述坐标的范围内的局部区域；计算所述参考图像中的主体区域与所述当前图像中的局部区域之间的相似度；

当所述当前图像中的局部区域与所述参考图像中的主体区域之间的相似度大于预设阈值时，则获取所述参考图像的主体检测结果；

将所述参考图像的主体检测结果作为所述当前图像的主体检测结果；

根据所述当前图像的主体检测结果，对所述当前图像进行对焦。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述当前图像与所述参考图像之间的相似度小于或等于预设阈值时，则对所述当前图像进行主体检测，得到所述当前图像的主体检测结果。

3.根据权利要求1所述的方法，其特征在于，所述计算当前图像、与所述当前图像相隔预设数目图像帧的参考图像之间的相似度，包括：

采用直方图方式或哈希算法或余弦相似度来计算当前图像、与所述当前图像相隔预设数目图像帧的参考图像之间的相似度。

4.根据权利要求3所述的方法，其特征在于，所述哈希算法包括均值哈希算法、感知哈希算法及差值哈希算法。

5.根据权利要求1所述的方法，其特征在于，所述计算当前图像、与所述当前图像相隔预设数目图像帧的参考图像之间的相似度，包括：

采用深度神经网络模型来计算当前图像、与所述当前图像相隔预设数目图像帧的参考图像之间的相似度。

6.根据权利要求1所述的方法，其特征在于，所述参考图像的拍摄时间早于所述当前图像的拍摄时间。

7.根据权利要求1所述的方法，其特征在于，所述参考图像为进行了主体检测的图像帧。

8.一种主体检测装置，其特征在于，包括：

相似度计算模块，用于计算当前图像、与所述当前图像相隔预设数目图像帧的参考图像之间的相似度；所述计算当前图像、与所述当前图像相隔预设数目图像帧的参考图像之间的相似度，包括：在对同一拍摄场景进行拍摄时，获取所述参考图像中的主体区域；根据所述参考图像中的主体区域的坐标，从所述当前图像中获取处于所述坐标的范围内的局部区域；计算所述参考图像中的主体区域与所述当前图像中的局部区域之间的相似度；

主体检测结果获取模块，用于当所述当前图像中的局部区域与所述参考图像中的主体区域之间的相似度大于预设阈值时，则获取所述参考图像的主体检测结果；

当前图像的主体检测结果确定模块，用于将所述参考图像的主体检测结果作为所述当前图像的主体检测结果；

对焦模块，用于根据所述当前图像的主体检测结果，对所述当前图像进行对焦。

9.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的主体检测方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。

Images