CN112861835A - 主体检测方法、装置、电子设备和计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种主体检测方法、装置、电子设备和计算机可读存储介质。上述方法包括：对待处理图像进行主体检测，得到待处理图像的初始主体区域；获取初始主体区域包含的每一个图像块分别对应的目标相位差值，该目标相位差值是基于多个像素点组所包含的像素点的亮度值确定的；将目标相位差值处于预设区间的图像块从初始主体区域中剔除，得到目标主体区域。由于可以根据初始主体包含的图像块对应的目标相位差值，将目标相位差值处于预设区间的图像从初始主体区域中剔除，可以避免将主体中存在镂空的部分识别为主体区域的一部分，可以提高主体检测的精确性。

Description

主体检测方法、装置、电子设备和计算机可读存储介质

技术领域

本申请涉及影像技术领域，特别是涉及一种主体检测方法、装置、电子设备和计算机可读存储介质。

背景技术

随着影像技术的发展，主体检测技术的应用越来越广泛。通过主体检测技术识别图像中的主体，可以对主体进行对焦、追踪、美颜美化、局部处理等操作。目前，主体检测技术主要基于神经网络来实现，即通过大量标记了主体区域的图像集对神经网络进行训练，使得训练后神经网络可以对图像进行主体识别，输出图像中的主体区域。然而，传统的主体检测技术存在不够精确的问题。

发明内容

本申请实施例提供一种主体检测方法、装置、电子设备和计算机可读存储介质，可以提高主体检测的精确度。

一种主体检测方法，应用于电子设备，所述电子设备包括图像传感器，所述图像传感器包括阵列排布的多个像素点组，每个所述像素点组包括阵列排布的M*N个像素点；每个像素点对应一个感光单元，其中，M和N均为大于或等于2的自然数；所述方法包括：

对待处理图像进行主体检测，得到所述待处理图像的初始主体区域；

获取所述初始主体区域包含的每一个图像块分别对应的目标相位差值，所述目标相位差值是基于所述多个像素点组所包含的像素点的亮度值确定的；

将所述目标相位差值处于预设区间的图像块从所述初始主体区域中剔除，得到目标主体区域。

一种主体检测装置，应用于电子设备，所述电子设备包括图像传感器，所述图像传感器包括阵列排布的多个像素点组，每个所述像素点组包括阵列排布的M*N个像素点；每个像素点对应一个感光单元，其中，M和N均为大于或等于2的自然数；所述装置包括：

主体检测模块，用于对待处理图像进行主体检测，得到所述待处理图像的初始主体区域；

相位差获取模块，用于获取所述初始主体区域包含的每一个图像块分别对应的目标相位差值，所述目标相位差值是基于所述多个像素点组所包含的像素点的亮度值确定的；

主体确定模块，用于将所述目标相位差值处于预设区间的图像块从所述初始主体区域中剔除，得到目标主体区域。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

对待处理图像进行主体检测，得到所述待处理图像的初始主体区域；

获取所述初始主体区域包含的每一个图像块分别对应的目标相位差值，所述目标相位差值是基于所多个像素点组所包含的像素点的亮度值确定的；

将所述目标相位差值处于预设区间的图像块从所述初始主体区域中剔除，得到目标主体区域。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

对待处理图像进行主体检测，得到所述待处理图像的初始主体区域；

获取所述初始主体区域包含的每一个图像块分别对应的目标相位差值，所述目标相位差值是基于所述多个像素点组所包含的像素点的亮度值确定的；

将所述目标相位差值处于预设区间的图像块从所述初始主体区域中剔除，得到目标主体区域。

上述主体检测方法、装置、电子设备和计算机可读存储介质，通过对待处理图像进行主体检测，得到待处理图像的初始主体区域，获取初始主体区域包含的每一个图像块分别对应的目标相位差值，目标相位差值是基于所述多个像素点组所包含的像素点的亮度值确定的，将目标相位差值处于预设区间的图像块从初始主体区域中剔除，可以得到待处理图像的目标主体区域。由于可以根据初始主体包含的图像块对应的目标相位差值，将目标相位差值处于预设区间的图像从初始主体区域中剔除，可以避免将主体中存在镂空的部分识别为主体区域的一部分，可以提高主体检测的精确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中主体检测方法的应用环境示意图；

图2为一个实施例中电子设备包含的图像传感器的一部分的示意图；

图3为一个实施例中像素点的结构示意；

图4为一个实施例中成像设备的内部结构示意图；

图5为一个实施例中像素点组上设置滤光片的示意图；

图6为一个实施例中主体检测方法的流程图；

图7为一个实施例中主体检测方法的流程图；

图8为又一个实施例中主体检测方法的流程图；

图9为一个实施例中获取图像块对应的目标相位差值的流程图；

图10为一个实施例中根据目标主体区域进行对焦的流程图；

图11为另一个实施例中主体检测方法的流程图；

图12为一个实施例中主体检测方法的流程图；

图13为一个实施例中提供的待处理图像的示意图；

图14为一个实施例的主体检测装置的结构框图；

图15为一个实施例中电子设备的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分，或者将第一个属性参数与另一个属性参数区分。举例来说，在不脱离本申请的范围的情况下，可以将第一方向称为第二方向，且类似地，可将第二方向称为第一方向。第一方向和第二方向两者都是方向，但其不是同一方向。

图1为一个实施例中主体检测方法的应用环境示意图。如图1所示，该应用环境包括电子设备110。电子设备110可以对对待处理图像进行主体检测，得到待处理图像的初始主体区域；获取初始主体区域包含的每一个图像块分别对应的目标相位差值；将目标相位差值处于预设区间的图像块从初始主体区域中剔除，得到待处理图像的目标主体区域。其中，电子设备110可以不限于是各种手机、平板电脑、可穿戴式设备等。

在一个实施例中，本申请提供了一种成像组件。成像组件包括图像传感器。图像传感器可以为金属氧化物半导体元件(英文：Complementary Metal Oxide Semiconductor；简称：CMOS)图像传感器、电荷耦合元件(英文：Charge-coupled Device；简称：CCD)、量子薄膜传感器或者有机传感器等。

图2为一个实施例中电子设备包含的图像传感器的一部分的示意图。具体地，电子设备包括成像组件，成像组件包括图像传感器。图像传感器200包括阵列排布的多个像素点组Z，每个像素点组Z包括阵列排布的多个像素点D，每个像素点D对应一个感光单元。多个像素点包括M*N个像素点，其中，M和N均为大于或等于2的自然数。每个像素点D包括阵列排布的多个子像素点d。也就是每个感光单元可以由多个阵列排布的感光元件组成。其中，感光元件是一种能够将光信号转化为电信号的元件。在一个实施例中，感光元件可为光电二极管。本实施例中，每个像素点组Z包括2*2阵列排布的4个像素点D，每个像素点可包括2*2阵列排布的4个子像素点d。其中，每个像素点D包括2*2个光电二极管，2*2个光电二极管与2*2阵列排布的4个子像素点d对应设置。每个光电二极管用于接收光信号并进行光电转换，从而将光信号转换为电信号输出。每个像素点D所包括的4个子像素点d与同一颜色的滤光片对应设置，因此每个像素点D对应于一个颜色通道，比如红色R通道，或者绿色通道G，或者蓝色通道B。

如图3所示，以每个像素点D包括子像素点1、子像素点2、子像素点3和子像素点4为例，可将子像素点1和子像素点2信号合并输出，子像素点3和子像素点4信号合并输出，从而构造成沿着第二方向(即竖直方向)的两个PD像素对，根据两个PD像素对的相位值可以确定像素点D内各子像素点沿第二方向的PD值(相位差值)。将子像素点1和子像素点3信号合并输出，子像素点2和子像素点4信号合并输出，从而构造沿着第一方向(即水平方向)的两个PD像素对，根据两个PD像素对的相位值可以确定像素点D内各子像素点沿第一方向的PD值(相位差值)。

图4为一个实施例中成像设备的内部结构示意图。如图4所示，该成像设备包括微透镜40、滤光片42和成像组件44。微透镜40、滤光片42和成像组件44依次位于入射光路上，即微透镜40设置在滤光片42之上，滤光片42设置在成像组件44上。

成像组件44包括图2中的图像传感器。图像传感器包括阵列排布的多个像素点组Z，每个像素点组Z包括阵列排布的多个像素点D，每个像素点D对应一个感光单元，每个感光单元可以由多个阵列排布的感光元件组成。本实施例中，每个像素点D包括2*2阵列排布的4个子像素点d，每个子像素点d对应一个光点二极管442，即2*2个光电二极管442与2*2阵列排布的4个子像素点d对应设置。

滤光片42可包括红、绿、蓝三种，分别只能透过红色、绿色、蓝色对应波长的光线。一个滤光片42设置在一个像素点上。在其他实施例中，滤光片也可以是白色，方便较大光谱(波长)范围的光线通过，增加透过白色滤光片的光通量。

透镜40用于接收入射光，并将入射光传输给滤光片42。滤光片42对入射光进行滤波处理后，将滤波处理后的光以像素为基础入射到成像组件44上。

成像组件44包括的图像传感器中的感光单元通过光电效应将从滤光片42入射的光转换成电荷信号，并生成与电荷信号一致的像素信号，经过一系列处理后最终输出图像。

由上文说明可知，图像传感器包括的像素点与图像包括的像素是两个不同的概念，其中，图像包括的像素指的是图像的最小组成单元，其一般由一个数字序列进行表示，通常情况下，可以将该数字序列称为像素的像素值。本申请实施例对“图像传感器包括的像素点”以及“图像包括的像素”两个概念均有所涉及，为了方便读者理解，在此进行简要的解释。图5为一个实施例中像素点组上设置滤光片的示意图。像素点组Z包括按照两行两列的阵列排布方式进行排布的4个像素点D，其中，第一行第一列的像素点的颜色通道为绿色，也即是，第一行第一列的像素点上设置的滤光片为绿色滤光片；第一行第二列的像素点的颜色通道为红色，也即是，第一行第二列的像素点上设置的滤光片为红色滤光片；第二行第一列的像素点的颜色通道为蓝色，也即是，第二行第一列的像素点上设置的滤光片为蓝色滤光片；第二行第二列的像素点的颜色通道为绿色，也即是，第二行第二列的像素点上设置的滤光片为绿色滤光片。

图6为一个实施例中主体检测方法的流程图。本申请实施例中的主体检测方法，以运行于包含上述成像组件的电子设备为例进行描述。如图6所示，主体检测方法包括步骤602至步骤606。

步骤602，对待处理图像进行主体检测，得到待处理图像的初始主体区域。

待处理图像可以是电子设备通过上述图像传感器采集的图像，也可以是存储在电子设备本地的图像，还可以是电子设备从网络下载的图像等。具体地，对于存储在电子设备本地和从网络下载的待处理图像，待处理图像可以携带有包含的图像块对应的相位差值；或者，电子设备可以从服务器或者本地存储中获取该待处理图像包含的图像块对应的相位差值。其中，电子设备通过上述成像组件可以获取到图像传感器的每个像素点组包含的像素点的亮度值，将每个像素点组包含的像素点的亮度值进行原始域中以及色彩空间中的图像数据处理可以得到该待处理图像。

电子设备对待处理图像进行主体检测。具体地，电子设备将待处理图像输入至主体检测模型，通过主体检测模型可以对该待处理图像进行主体检测，并将根据识别的主体对待处理图像进行分割，得到待处理图像的初始主体区域。初始主体区域是待处理图像中包含的主体对应的像素点的最小区域；即主体检测模型可以采用主体轮廓的方式输出初始主体区域，则初始主体区域的边缘像素点即为主体的轮廓的边缘像素点。

可选地，主体检测模型可通过深度学习算法如CNN(Convolutional NeuralNetwork，卷积神经网络)、DNN(Deep Neural Network，深度神经网络)、或RNN(RecurrentNeural Network，循环神经网络)等来实现。当然，在一些实施例中，电子设备也可以通过目标匹配算法、或者边缘算子等方式对待处理图像进行主体检测，在此不做主体检测的方式进行限定。

步骤604，获取初始主体区域包含的每一个图像块分别对应的目标相位差值。

相位差值用于表示同一物体从不同方向射入镜头的成像光线在图像传感器所成的像在位置上的差异。相位差值为0时，则说明图像传感器在拍摄待处理图像对该图像块进行对焦，该图像块成像清晰；相位差值越大，则说明图像块与待处理图像所对焦的物体的距离越大。待处理图像可以被划分为多个图像块，电子设备的图像传感器在采集该待处理图像时，可以输出每一个图像块对应的相位差值；电子设备可以获取初始主体区域包含的每一个图像块分别对应的目标相位差值。具体地，图像块对应的目标相位差值是基于图像传感器包含的多个像素点组所包含的像素点的亮度值确定的，电子设备可以获取图像传感器包含的多个像素点组所包含的像素点的亮度值，根据多个像素点组所包含的像素点的亮度值获取目标亮度图，根据目标亮度图转换得到待处理图像对应的相位差图，从相位差图中获取图像块对应的目标相位差值。

其中，待处理图像划分的图像块的数量可以根据图像传感器输出相位差值的准确性来确定，在此不做限定。通常，在保证相位差值的准确性的前提下，划分的图像块的数量越大，则最终得到的目标主体区域的准确性越高。可选地，在一些实施例中，电子设备根据待处理图像的初始主体区域的面积大小确定划分的图像块的数量，具体地，初始主体区域的面积大小可以与划分图像块的数量呈负相关，即初始主体区域的面积越小，划分图像块的数量可以越多。

在一些实施例中，存在部分位于初始主体区域的图像块，电子设备可以将该部分位于初始主体区域的图像块确定为初始主体区域包含的图像块；也可以在该图像块位于初始主体区域的部分的面积超过面积阈值时，则认为该图像块为初始主体区域包含的图像块。其中，面积阈值可以根据划分的图像块的面积大小来确定，例如可以是根据图像块的面积的30％、50％、60％、70％等，在此不做限定。

步骤606，将目标相位差值处于预设区间的图像块从初始主体区域中剔除，得到目标主体区域。

目标主体区域为待处理图像中主体实际对应的区域。预设区间可以根据实际应用需求来设定，在此不做限定。通常，预设区间可以大量图像分析确定的，图像的背景所对应的相位差值。例如，预设区间可以是图像中的物体与镜头的距离大于5米、大于10米、或者大于20米所对应的相位差值。

电子设备将目标相位差值处于预设区间的图像块从初始主体区域中剔除，得到目标主体区域，具体地，像素块的目标相位差值位于预设区间，则可以认为该像素块不属于主体的一部分，电子设备可以确定每一个图像块对应的目标相位差值是否处于该预设区间内，当图像块的相位差值处于预设区间内时，则将该图像块从初始主体区域中剔除，剔除后可以得到目标主体区域。

本申请实施例通过对待处理图像进行主体检测，得到待处理图像的初始主体区域，获取初始主体区域包含的每一个图像块分别对应的目标相位差值，将目标相位差值处于预设区间的图像块从初始主体区域中剔除，得到目标主体区域。由于可以根据初始主体包含的图像块对应的目标相位差值，将目标相位差值处于预设区间的图像从初始主体区域中剔除，可以避免将主体中存在镂空的部分识别为主体区域的一部分，可以提高主体检测的精确性。

在一个实施例中，提供的主体检测方法中将目标相位差值处于预设区间的图像块从初始主体区域中剔除，得到目标主体区域的过程，包括：获取初始主体区域中由目标相位差值处于预设区间的图像块所组成的连通图像块；当连通图像块中包含的图像块的数量超过预设数量时，将连通图像块从初始主体区域中剔除，得到目标主体区域。

连通图像块是指初始主体区域中目标相位差值处于预设区间的图像块所形成的连续的图像块。该连通图像块包括目标相位差值处于预设区间的至少两个图像块。在该实施例中，初始主体区域可以包含一个或多个连通图像。

预设数量可以根据实际应用需求设定，在此不做限定。预设数量越小，则目标主体区域的精准性越高，后续根据目标主体区域对图像进行处理的准确性也越高；预设数量越大，则得到的目标主体区域的整体性更高，后续图像处理的效率更高；预设数量通过权衡准确性和效率进行设定。例如，预设数量可以是3、5、10、15等。电子设备可以将包含的图像块的数量超过预设数量的连通图像块从初始主体区域中剔除，得到目标主体区域。

通过获取初始主体区域中由目标相位差值处于预设区间的图像块所组成的连通图像块，当连通图像块中包含的图像块的数量超过预设数量时，将连通图像块可以初始主体区域中剔除，得到目标主体区域，可以避免得到目标主体区域存在较多被剔除的区块，影响目标主体区域的整体效果，可以优化主体检测的处理。

图7为一个实施例中主体检测方法的流程图。如图7所示，在一个实施例中，提供的主体检测方法包括：

步骤702，对待处理图像进行主体检测，得到待处理图像的初始主体区域。

步骤704，获取初始主体区域包含的每一个图像块分别对应的目标相位差值。

步骤706，获取待处理图像中除初始主体区域之外的初始背景区域。

初始背景区域为待处理图像中除初始主体区域之外的区域。电子设备可以在得到待处理图像的初始主体区域之后，根据该初始主体区域对待处理图像进行分割处理，得到待处理图像的初始背景区域。

步骤708，根据初始背景区域包含的图像块对应的相位差值的平均值确定预设区间。

电子设备的图像传感器在采集该待处理图像时，可以输出每一个图像块对应的相位差值；电子设备可以获取初始背景区域包含的图像块对应的相位差值。

电子设备根据初始背景区域包含的图像块对应的相位差值的平均值确定预设区间，具体地，电子设备还可以将预设区间确定为与该平均值的差值小于差值阈值的区间。其中，差值阈值为允许的误差范围。例如，当初始背景区域包含的图像块对应的相位差值的平均值为20时，若差值阈值为5,则预设区间为大于或等于15且小于或等于25；若差值阈值为10，则预设区间为10至30等。可选地，在一个实施例中，预设区间也可以是大于根据该平均值与差值阈值确定的最小值的区间，例如，当初始背景区域包含的图像块对应的相位差值的平均值为20时，若差值阈值为5，则预设区间可以是大于或等于15；若差值阈值为10，则预设区间可以是大于或等于10。

步骤710，将目标相位差值处于预设区间的图像块从初始主体区域中剔除，得到目标主体区域。

本实施例可以根据初始背景区域包含的图像块对应的相位差值的平均值确定预设区间，将初始主体区域中目标相位差值处于该预设区间的图像块剔除，得到目标主体区域，即可以剔除检测的初始主体区域中实际上为背景的区域，可以提高主体检测的准确性。

图8为又一个实施例中主体检测方法的流程图。如图8所示，在一个实施例中，提供的主体检测方法包括：

步骤802，对待处理图像进行主体检测，得到待处理图像的初始主体区域。

步骤804，获取初始主体区域包含的每一个图像块分别对应的目标相位差值。

步骤806，获取初始主体区域中包含的图像块的最大相位差值和最小相位差值。

电子设备可以获取初始主体区域中包含图像块的最大相位差值和最小相位差值。

步骤808，当最大相位差值与最小相位差值之间的差值大于或等于预设阈值时，则将目标相位差值处于预设区间的图像块从初始主体区域中剔除，得到目标主体区域。

最大相位差值与最小相位差值之间的差值可以表征初始主体区域中包含的物体的深度信息的差异。最大相位差值与最小相位差值之间的差值越大，则说明初始主体区域包含的物体的深度信息的差异越大，主体可能存在镂空的部分，导致检测的初始主体区域包含主体及镂空的部分对应的背景；最大相位差值与最小相位差值之间的差值越小，则说明初始主体区间包含的物体的深度信息的差异越小，主体检测的准确性越高。深度信息是指物体与镜头之间的距离。

其中，预设阈值可以根据大量图像分析确定的，属于同一主体的PD值的取值范围来确定。即可以认为当初始主体区域的最大相位差值与最小相位差值之间的差值小于预设阈值时，初始主体区域包含的图像信息为同一主体对应的图像信息。

电子设备可以在当最大相位差值与最小差值之间的差值大于或等于预设阈值时，则确定初始主体区域中存在镂空的区域，将目标相位差值处于预设区间的图像块从初始主体区域中剔除。可选地，在一个实施例中，当最大相位差值与最小相位差值之间的差值小于预设阈值时，电子设备将初始主体区域作为目标主体区域。

通过获取初始主体区域包含的图像块的最大相位差值和最小相位差值，当当最大相位差值与最小相位差值之间的差值大于或等于预设阈值时，则将目标相位差值处于预设区间的图像块从初始主体区域中剔除，当最大相位差值与最小相位差值之间的差值小于预设阈值时，则将初始主体区域作为目标主体区域，可以避免由于主体不为图像的对焦物体时，主体对应的相位差值较大而导致剔除错误的问题，可以提高剔除处理的准确性。

图9为一个实施例中获取图像块对应的目标相位差值的流程图。如图9所示，在一个实施例中，提供的主体检测方法中获取初始主体区域包含的每一个图像块分别对应的目标相位差值的过程，包括：

步骤902，获取每一个图像块包含的多个像素点组，根据每一个像素点组包含的像素点的亮度值获取目标亮度图。

图像块可以由一个或多个像素点组所组成。通常情况下，图像传感器的像素点的亮度值可以由该像素点包括的子像素点的亮度值来进行表征。成像设备可以根据每个像素点组包括的像素点中子像素点的亮度值来获取该目标亮度图。其中，子像素点的亮度值是指该子像素点对应的感光元件接收到的光信号的亮度值。

如上文所述，图像传感器包括的子像素点是一种能够将光信号转化为电信号的感光元件，因此，可以根据子像素点输出的电信号来获取该子像素点接收到的光信号的强度，根据子像素点接收到的光信号的强度即可得到该子像素点的亮度值。

本申请实施例中的目标亮度图用于反映图像传感器中子像素点的亮度值，该目标亮度图可以包括多个像素，其中，目标亮度图中的每个像素的像素值均是根据图像传感器中子像素点的亮度值得到的。

步骤904，对目标亮度图进行切分处理，得到第一切分亮度图和第二切分亮度图。

在一个实施例中，成像设备可以沿列的方向(图像坐标系中的y轴方向)对该目标亮度图进行切分处理，在沿列的方向对目标亮度图进行切分处理的过程中，切分处理的每一分割线都与列的方向竖直。

在另一个实施例中，成像设备可以沿行的方向(图像坐标系中的x轴方向)对该目标亮度图进行切分处理，在沿行的方向对目标亮度图进行切分处理的过程中，切分处理的每一分割线都与行的方向竖直。

沿列的方向对目标亮度图进行切分处理后得到的第一切分亮度图和第二切分亮度图可以分别称为上图和下图。沿行的方向对目标亮度图进行切分处理后得到的第一切分亮度图和第二切分亮度图可以分别称为左图和右图。

其中，“相互匹配的像素”指的是由像素本身及其周围像素组成的像素矩阵相互相似。例如，第一切分亮度图中像素a和其周围的像素组成一个3行3列的像素矩阵，该像素矩阵的像素值为：

2 15 70

1 35 60

0 100 1

第二切分亮度图中像素b和其周围的像素也组成一个3行3列的像素矩阵，该像素矩阵的像素值为：

1 15 70

1 36 60

0 100 2

由上文可以看出，这两个矩阵是相似的，则可以认为像素a和像素b相互匹配。判断像素矩阵是否相似的方式很多，通常可对两个像素矩阵中的每个对应像素的像素值求差，再将求得的差值的绝对值进行相加，利用该相加的结果来判断像素矩阵是否相似，也即是，若该相加的结果小于预设的某一阈值，则认为像素矩阵相似，否则，则认为像素矩阵不相似。

例如，对于上述两个3行3列的像素矩阵而言，可以分别将1和2求差，将15和15求差，将70和70求差，……，再将求得的差的绝对值相加，得到相加结果为3，该相加结果3小于预设的阈值，则认为上述两个3行3列的像素矩阵相似。

另一种判断像素矩阵是否相似的方式是利用sobel卷积核计算方式或者高拉普拉斯计算方式等方式提取其边缘特征，通过边缘特征来判断像素矩阵是否相似。

在本申请实施例中，“相互匹配的像素的位置差异”指的是，相互匹配的像素中位于第一切分亮度图中的像素的位置和位于第二切分亮度图中的像素的位置的差异。如上述举例，相互匹配的像素a和像素b的位置差异指的是像素a在第一切分亮度图中的位置和像素b在第二切分亮度图中的位置的差异。

相互匹配的像素分别对应于从不同方向射入镜头的成像光线在图像传感器中所成的不同的像。例如，第一切分亮度图中的像素a与第二切分亮度图中的像素b相互匹配，其中，该像素a可以对应于图1中在A位置处所成的像，像素b可以对应于图1中在B位置处所成的像。

由于相互匹配的像素分别对应于从不同方向射入镜头的成像光线在图像传感器中所成的不同的像，因此，根据相互匹配的像素的位置差异，即可确定该相互匹配的像素的相位差。

步骤906，根据相互匹配的像素的相位差值确定图像块的目标相位差值。

电子设备根据相互匹配的像素的相位差值确定图像块的目标相位差值，具体地，图像块中包含有多个像素，电子设备可以结合每一个相互匹配的像素的相位差值确定图像块的目标相位差值。例如，电子设备可以将每一个相互匹配的像素的相位差值的平均值、众数值、中数值等作为图像块的目标相位差值，也可以结合预设的统计函数与每一个相互匹配的像素的相位差值确定图像块的目标相位差值等。

电子设备采用包含上述图像传感器的成像设备采集待处理图像，由于图像传感器中每一个感光单元对应的像素点组，每一个像素点组包含阵列排布的4个像素点，每个像素点包含阵列排布的4个子像素点；每一个像素点对应的感光元件，一个滤光片设置在一个滤光片，则每个像素点可以直接接收光信号进行光电转换，从而得到的每一个像素点组可以包括4个颜色通道中每一个颜色通道对应的4个像素信号以生成目标亮度图，根据目标亮度图确定像素点组的相位差值，以确定图像块的目标相位差值，可以提高图像块的相位差值的准确性。

在一个实施例中，相互匹配的像素的相位差值包括第一方向的相位差值和第二方向的相位差值，电子设备根据相互匹配的像素的相位差值确定图像块的目标相位差值的过程还包括：获取第一方向的相位差值的第一置信度和第二方向的相位差值的第二置信度；选取第一置信度和第二置信度中较大的相位差值以确定图像块的目标相位差值。

其中，第一方向和第二方向可成预设夹角，该预设夹角可为除0度、180度和360度外的任意角度。本实施例中，第一方向的相位差值是指水平方向上的相位差值。第二方向的相位差值是指竖直方向上的相位差值。

具体地，当第一切分亮度图包括的是偶数行的像素，第二切分亮度图包括的是奇数行的像素，第一切分亮度图中的像素a与第二切分亮度图中的像素b相互匹配，则根据相互匹配的像素a和像素b的位置差异，可以确定第一方向的相位差值。当第一切分亮度图包括的是偶数列的像素，第二切分亮度图包括的是奇数列的像素，第一切分亮度图中的像素a与第二切分亮度图中的像素b相互匹配，则根据相互匹配的像素a和像素b的位置差异，可以确定第二方向的相位差值。

当第一方向的相位差值的置信度大于第二方向的相位差值的置信度时，电子设备可以根据第一方向的相位差值确定图像块的目标相位差值。

当第一方向的相位差值的置信度小于第二方向的相位差值的置信度时，电子设备可以根据第二方向的相位差值确定图像块的目标相位差值。

当当第一方向的相位差值的置信度与第二方向的相位差值的置信度相等时，电子设备可以根据第二方向的相位差值和第一方向的相位差值中的任意一个确定图像块的目标相位差值。

对于存在水平纹理的场景，因水平方向上的PD像素对无法得到第一方向的相位差值，可比对竖直方向上的PD像素对，计算竖直方向上的第二方向的相位差值，根据第二方向的相位差值确定图像块的目标相位差值。

对于存在竖直纹理的场景，因竖直方向上的PD像素对无法得到第二方向的相位差值，可比对水平方向上的PD像素对，计算水平方向上的第一方向的相位差值，根据第一方向的相位差值确定图像块的目标相位差值。

通过获取第一方向的相位差值和第二方向的相位差值，选取第一置信度和第二置信度中较大的相位差值确定图像块的目标相位差值，可以提高相位差值的准确性。

图10为一个实施例中根据目标主体区域进行对焦的流程图。如图10所示，在一个实施例中，提供主体检测方法中，将相位差值处于预设区间的图像块从初始主体区域中剔除，得到目标主体区域之后，还包括：

步骤1002，获取目标主体区域包含的图像块对应的相位差值。

电子设备可以获取目标主体区域包含的图像块对应的相位差值。

步骤1004，根据目标主体区域包含的图像块对应的相位差值确定镜头的合焦位置。

电子设备根据目标主体区域包含的图像对应的相位差值确定镜头的合焦位置，具体地，电子设备可以根据目标主体区域包含的图像对应的相位差值确定离焦距离值及移动方向，根据镜头的当前位置与离焦距离值、移动方向可以确定镜头的合焦位置。

其中，相位差值与离焦距离值之间的对应关系可通过标定得到。

离焦距离值与相位差值之间的对应关系如下：

defocus＝PD*slope(DCC)，其中，DCC(Defocus Conversion Coefficient，离焦系数)由标定得到，PD为相位差值。

相位差值与离焦距离值的对应关系的标定过程包括：将摄像模组的有效对焦行程切分为10等分，即(近焦DAC-远焦DAC)/10，以此覆盖马达的对焦范围；在每个对焦DAC(DAC可为0至1023)位置进行对焦，并记录当前对焦DAC位置的相位差；完成马达对焦行程后取一组10个的对焦DAC与获得的PD值进行做比；生成10个相近的比值K，将DAC与PD组成的二维数据进行拟合得到斜率为K的直线。

根据离焦距离值的正负可以确定移动方向。

步骤1006，驱动镜头至合焦位置，驱动后通过镜头拍摄目标图像。

在确定合焦位置之后，成像设备可以给对焦模块所对应的马达上电，以使马达驱动镜头按照上述移动方向移动该离焦距离值，以使镜头位于该合焦位置，当移动完成时，则可以通过镜头拍摄目标图像。

通过对待处理图像进行主体检测得到初始主体区域，并将初始主体区域中目标相位差值处于预设区间内的图像块剔除，得到目标主体区域，根据目标主体区域包含的图像块对应的相位差值进行对焦，可以提高对焦的准确性。

在一个实施例中，提供的主体检测方法中将相位差值处于预设区间的图像块从初始主体区域中剔除，得到目标主体区域之后，还可以包括：获取待处理图像中除目标主体区域之外的目标背景区域；根据目标背景区域包含的图像块的相位差值对目标背景区域进行虚化处理。

通常，在图像拍摄时，主体与镜头之间的距离往往小于背景与镜头之间的距离。则电子设备获取的待处理图像中目标主体区域之外的目标背景区域中，图像块的相位差值越大，则图像块与镜头之间的距离越大。电子设备根据目标背景区域包含的图像块的相位差值对目标背景区域进行虚化处理，可以按照相位差值从小到大增加虚化处理的强度，可以提高虚化处理的效果。

图11为另一个实施例中提供的主体检测方法的流程图。如图11所示，在一个实施例中，提供的主体检测方法包括：

步骤1102，对待处理图像进行主体检测，得到待处理图像的初始主体区域。

步骤1104，获取初始主体区域包含的每一个图像块分别对应的目标相位差值。

步骤1106，根据每一个图像块的目标相位差值计算图像块的深度值。

电子设备根据每一个图像块的目标相位差值计算图像块的深度值，具体地，电子设备可以根据摄像头成像原理结合镜头采集待处理图像时所采用的对焦参数与图像块的相位差值计算图像块的深度值。

步骤1108，剔除初始主体区域中深度值大于预设深度值的图像块，得到目标主体区域；预设深度值与预设区间的最小值相对应。

预设深度值是用于区分图像中主体与背景的深度值。例如，预设深度值可以是10米、15米、20米等，在此不做限定。预设深度值与所述预设区间的最小值相对应，具体地，预设区间为相位差值的区间，则预设深度值为预设区间的最小的相位差值所对应的深度值。

当深度值大于预设深度值时，则可以认为该图像块属于背景，为待处理图像中主体的镂空部分，电子设备可以在剔除初始主体区域中深度值大于预设深度值的图像，得到待处理图像的目标主体区域。

通过计算初始主体区域包含的每一个图像块的深度值，将深度值大于预设深度值的图像块从初始主体区域中剔除，可以得到待处理图像的目标主体区域，可以避免将主体中存在镂空的部分识别为主体区域的一部分，可以提高主体检测的精确性。

图12为一个实施例中主体检测方法的流程图。如图12所示，在一个实施例中，提供了一种主体检测方法，实现该主体检测方法的步骤如下：

步骤1202，对待处理图像进行主体检测，得到待处理图像的初始主体区域。

步骤1204，获取初始主体区域包含的每一个图像块分别对应的目标相位差值。

可选地，电子设备获取每一个图像块包含的多个像素点组，根据每一个像素点组包含的像素点的亮度值获取目标亮度图；对目标亮度图进行切分处理，得到第一切分亮度图和第二切分亮度图，并根据第一切分亮度图和第二切分亮度图中相互匹配的像素的位置差异，确定相互匹配的像素的相位差值；根据相互匹配的像素的相位差值确定图像块的目标相位差值。

进一步地，电子设备可以根据相互匹配的像素的相位差值确定图像块在第一方向的相位差值或第二方向的相位差值，第一方向与第二方向相互垂直；获取第一方向的相位差值的第一置信度和第二方向的相位差值的第二置信度；选取第一置信度和第二置信度中较大的相位差值作为目标相位差值。

步骤1206，获取初始主体区域中包含的图像块的最大相位差值和最小相位差值。

步骤1208，确定该最大相位差值与最小相位差值之间的差值是否大于或等于预设阈值，若是，则进入步骤1110，若否，则进入步骤1216。

步骤1210，获取待处理图像中除初始主体区域之外的初始背景区域。

步骤1212，根据初始背景区域包含的图像块对应的相位差值的平均值确定预设区间。

步骤1214，将目标相位差值处于预设区间的图像块从初始主体区域中剔除，得到目标主体区域。

可选地，电子设备可以获取初始主体区域中由目标相位差值处于预设区间的图像块所组成的连通图像块；当连通图像块中包含的图像块的数量超过预设数量时，将连通图像块从初始主体区域中剔除，得到目标主体区域。

步骤1216，将初始主体区域作为目标主体区域。

可选地，在确定目标主体区域之后，电子设备还可以获取目标主体区域包含的图像块对应的相位差值；根据目标主体区域包含的图像块对应的相位差值确定镜头的合焦位置；驱动镜头至合焦位置，驱动后通过镜头拍摄目标图像。

可选地，电子设备还可以获取待处理图像中除目标主体区域之外的目标背景区域；根据目标背景区域包含的图像块的相位差值对目标背景区域进行虚化处理。

图13为一个实施例中提供的待处理图像的示意图。如图13，待处理图像1300中包含初始主体区域1302，电子设备将初始主体区域1302中包含的目标相位差值处于预设区间的图像块从初始主体区域1302中剔除，可以得到不包含镂空区域1304的目标主体区域1306。

应该理解的是，虽然图6-12的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图6-12中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图14为一个实施例的主体检测装置的结构框图。如图14所示，该对焦装置应用于电子设备，电子设备包括图像传感器，图像传感器包括阵列排布的多个像素点组，每个像素点组包括阵列排布的M*N个像素点；每个像素点对应一个感光单元，其中，M和N均为大于或等于2的自然数；该主体检测装置可以包括：

主体检测模块1402，用于对待处理图像进行主体检测，得到待处理图像的初始主体区域。

相位差获取模块1404，用于获取初始主体区域包含的每一个图像块分别对应的目标相位差值，所述目标相位差值是基于所述多个像素点组所包含的像素点的亮度值确定的。

主体确定模块1406，用于将目标相位差值处于预设区间的图像块从初始主体区域中剔除，得到目标主体区域。

在一个实施例中，主体确定模块1406还可以用于获取初始主体区域中由目标相位差值处于预设区间的图像块所组成的连通图像块；当连通图像块中包含的图像块的数量超过预设数量时，将连通图像块从初始主体区域中剔除，得到目标主体区域。

在一个实施例中，主体确定模块1406还可以用于获取待处理图像中除初始主体区域之外的初始背景区域；根据初始背景区域包含的图像块对应的相位差值的平均值确定预设区间；将目标相位差值处于预设区间的图像块从初始主体区域中剔除，得到目标主体区域。

在一个实施例中，主体确定模块1406还可以用于获取初始主体区域中包含的图像块的最大相位差值和最小相位差值；当最大相位差值与最小相位差值之间的差值大于或等于预设阈值时，则将目标相位差值处于预设区间的图像块从初始主体区域中剔除。

在一个实施例中，主体确定模块1406还可以用于当最大相位差值与最小相位差值之间的差值小于预设阈值时，将初始主体区域作为目标主体区域。

在一个实施例中，主体确定模块1406还可以用于根据每一个图像块的目标相位差值计算图像块的深度值；剔除初始主体区域中深度值大于预设深度值的图像块，得到目标主体区域。

在一个实施例中，相位差获取模块1404还可以用于获取每一个图像块包含的多个像素点组，根据每一个像素点组包含的像素点的亮度值获取目标亮度图；对目标亮度图进行切分处理，得到第一切分亮度图和第二切分亮度图，并根据第一切分亮度图和第二切分亮度图中相互匹配的像素的位置差异，确定相互匹配的像素的相位差值；根据相互匹配的像素的相位差值确定图像块的目标相位差值。

在一个实施例中，相互匹配的像素的相位差值包括第一方向的相位差值和第二方向的相位差值；相位差获取模块1404还可以用于获取第一方向的相位差值的第一置信度和第二方向的相位差值的第二置信度；选取第一置信度和第二置信度中较大的相位差值作为目标相位差值。

在一个实施例中，主体检测装置还可以包括图像采集模块1408，图像采集模块1408可以用于获取目标主体区域包含的图像块对应的相位差值；根据目标主体区域包含的图像块对应的相位差值确定镜头的合焦位置；驱动镜头至合焦位置，驱动后通过镜头拍摄目标图像。

在一个实施例中，主体检测装置还可以包括虚化处理模块1410，虚化处理模块1410可以用于获取待处理图像中除目标主体区域之外的目标背景区域；根据目标背景区域包含的图像块的相位差值对目标背景区域进行虚化处理。

上述主体检测装置中各个模块的划分仅用于举例说明，在其他实施例中，可将主体检测装置按照需要划分为不同的模块，以完成上述主体检测装置的全部或部分功能。

图15为一个实施例中电子设备的内部结构示意图。如图15所示，该电子设备包括通过系统总线连接的处理器、存储器及上述图像传感器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种主体检测方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

本申请实施例中提供的主体检测装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行主体检测方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行主体检测方法。

本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种主体检测方法，其特征在于，应用于电子设备，所述电子设备包括图像传感器，所述图像传感器包括阵列排布的多个像素点组，每个所述像素点组包括阵列排布的M*N个像素点；每个像素点对应一个感光单元，其中，M和N均为大于或等于2的自然数；所述方法包括：

对待处理图像进行主体检测，得到所述待处理图像的初始主体区域；

获取所述初始主体区域包含的每一个图像块分别对应的目标相位差值，所述目标相位差值是基于所述多个像素点组所包含的像素点的亮度值确定的；

将所述目标相位差值处于预设区间的图像块从所述初始主体区域中剔除，得到目标主体区域。

2.根据权利要求1所述的方法，其特征在于，所述将目标相位差值处于预设区间的图像块从所述初始主体区域中剔除，得到目标主体区域，包括：

获取所述初始主体区域中由目标相位差值处于所述预设区间的图像块所组成的连通图像块；

当所述连通图像块中包含的图像块的数量超过预设数量时，将所述连通图像块从所述初始主体区域中剔除，得到所述目标主体区域。

3.根据权利要求1所述的方法，其特征在于，所述将目标相位差值处于预设区间的图像块从所述初始主体区域中剔除之前，包括：

获取所述待处理图像中除所述初始主体区域之外的初始背景区域；

根据所述初始背景区域包含的图像块对应的相位差值的平均值确定所述预设区间。

4.根据权利要求1所述的方法，其特征在于，所述将目标相位差值处于预设区间的图像块从所述初始主体区域中剔除，还包括：

获取所述初始主体区域中包含的图像块的最大相位差值和最小相位差值；

当所述最大相位差值与所述最小相位差值之间的差值大于或等于预设阈值时，则执行所述将目标相位差值处于预设区间的图像块从所述初始主体区域中剔除的操作。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

当所述最大相位差值与所述最小相位差值之间的差值小于预设阈值时，将所述初始主体区域作为所述目标主体区域。

6.根据权利要求1所述的方法，其特征在于，所述获取所述初始主体区域包含的每一个图像块分别对应的目标相位差值，包括：

获取每一个所述图像块包含的多个像素点组，根据每一个所述像素点组包含的像素点的亮度值获取目标亮度图；

对所述目标亮度图进行切分处理，得到第一切分亮度图和第二切分亮度图，并根据所述第一切分亮度图和第二切分亮度图中相互匹配的像素的位置差异，确定所述相互匹配的像素的相位差值；

根据所述相互匹配的像素的相位差值确定所述图像块的目标相位差值。

7.根据权利要求6所述的方法，其特征在于，所述相互匹配的像素的相位差值包括第一方向的相位差值和第二方向的相位差值；所述根据所述相互匹配的像素的相位差值确定所述图像块的目标相位差值，包括：

获取所述第一方向的相位差值的第一置信度和所述第二方向的相位差值的第二置信度；

选取第一置信度和第二置信度中较大的相位差值以确定所述图像块的目标相位差值。

8.根据权利要求1所述的方法，其特征在于，所述将相位差值处于预设区间的图像块从所述初始主体区域中剔除，得到目标主体区域之后，还包括：

获取所述目标主体区域包含的图像块对应的相位差值；

根据所述目标主体区域包含的图像块对应的相位差值确定镜头的合焦位置；

驱动所述镜头至所述合焦位置，驱动后通过所述镜头拍摄目标图像。

9.根据权利要求1所述的方法，其特征在于，所述将相位差值处于预设区间的图像块从所述初始主体区域中剔除，得到目标主体区域之后，还包括：

获取所述待处理图像中除所述目标主体区域之外的目标背景区域；

根据所述目标背景区域包含的图像块的相位差值对所述目标背景区域进行虚化处理。

10.根据权利要求1所述的方法，其特征在于，所述将所述目标相位差值处于预设区间的图像块从所述初始主体区域中剔除，得到目标主体区域，包括：

根据每一个所述图像块的目标相位差值计算所述图像块的深度值；

剔除所述初始主体区域中深度值大于预设深度值的图像块，得到目标主体区域；其中，所述预设深度值与所述预设区间的最小值相对应。

11.一种主体检测装置，其特征在于，应用于电子设备，所述电子设备包括图像传感器，所述图像传感器包括阵列排布的多个像素点组，每个所述像素点组包括阵列排布的M*N个像素点；每个像素点对应一个感光单元，其中，M和N均为大于或等于2的自然数；所述装置包括：

主体检测模块，用于对待处理图像进行主体检测，得到所述待处理图像的初始主体区域；

相位差获取模块，用于获取所述初始主体区域包含的每一个图像块分别对应的目标相位差值，所述目标相位差值是基于所述多个像素点组所包含的像素点的亮度值确定的；

主体确定模块，用于将所述目标相位差值处于预设区间的图像块从所述初始主体区域中剔除，得到目标主体区域。

12.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至10中任一项所述的主体检测方法的步骤。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10中任一项所述的方法的步骤。

Images