CN110490196B - 主体检测方法和装置、电子设备、计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种主体检测方法和装置、电子设备、计算机可读存储介质。所述方法包括获取第一图像；对所述第一图像进行放大，得到第二图像；对所述第二图像进行主体检测，得到目标主体。上述方法和装置、电子设备、计算机可读存储介质，可以提高了主体检测的准确性。

Description

主体检测方法和装置、电子设备、计算机可读存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种主体检测方法、装置、电子设备、计算机可读存储介质。

背景技术

随着影像技术的发展，人们越来越习惯通过电子设备上的摄像头等图像采集设备拍摄图像或视频，记录各种信息。摄像头在采集图像过程中有时需要检测到主体，传统的主体检测方式无法准确的检测出图像中的主体。

发明内容

本申请实施例提供一种主体检测方法、装置、电子设备、计算机可读存储介质，可以提高主体检测的准确性。

一种主体检测方法，包括：

获取第一图像；

对所述第一图像进行放大，得到第二图像；

对所述第二图像进行主体检测，得到目标主体。

一种主体检测装置，包括：

第一图像获取模块，用于获取第一图像；

放大模块，用于对所述第一图像进行放大，得到第二图像；

主体检测模块，用于对所述第二图像进行主体检测，得到目标主体。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述的主体检测方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的方法的步骤。

上述主体检测方法和装置、电子设备、计算机可读存储介质，获取第一图像，对第一图像进行放大，得到第二图像，放大后得到的第二图像可以更加准确地进行主体检测，从而检测得到目标主体，提高了主体检测的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理电路的示意图；

图2为一个实施例中主体检测方法的流程图；

图3为一个实施例中主体检测方法的示意图；

图4为一个实施例中步骤主体检测的流程图；

图5为另一个实施例中步骤主体检测的流程图；

图6为另一个实施例中步骤主体检测的流程图；

图7为另一个实施例中步骤主体检测的流程图；

图8为另一个实施例中步骤主体检测的流程图；

图9为一个实施例中主体检测装置的结构框图；

图10为一个实施例中电子设备的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一图像称为第二图像，且类似地，可将第二图像称为第一图像。第一图像和第二图像两者都是图像，但其不是同一图像。

本申请实施例提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图1为一个实施例中图像处理电路的示意图。如图1所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图1所示，图像处理电路包括ISP处理器140和控制逻辑器150。成像设备110捕捉的图像数据首先由ISP处理器140处理，ISP处理器140对图像数据进行分析以捕捉可用于确定和/或成像设备110的一个或多个控制参数的图像统计信息。成像设备110可包括具有一个或多个透镜112和图像传感器114的照相机。图像传感器114可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器114可获取用图像传感器114的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器140处理的一组原始图像数据。传感器120(如陀螺仪、霍尔传感器、加速度计)可基于传感器120接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器140。传感器120接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器114也可将原始图像数据发送给传感器120，传感器120可基于传感器120接口类型把原始图像数据提供给ISP处理器140，或者传感器120将原始图像数据存储到图像存储器130中。

ISP处理器140按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器140可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器140还可从图像存储器130接收图像数据。例如，传感器120接口将原始图像数据发送给图像存储器130，图像存储器130中的原始图像数据再提供给ISP处理器140以供处理。图像存储器130可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器114接口或来自传感器120接口或来自图像存储器130的原始图像数据时，ISP处理器140可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器130，以便在被显示之前进行另外的处理。ISP处理器140从图像存储器130接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器140处理后的图像数据可输出给显示器160，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器140的输出还可发送给图像存储器130，且显示器160可从图像存储器130读取图像数据。在一个实施例中，图像存储器130可被配置为实现一个或多个帧缓冲器。

ISP处理器140确定的统计数据可发送给控制逻辑器150单元。例如，统计数据可包括陀螺仪的振动频率、自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜112阴影校正等图像传感器114统计信息。控制逻辑器150可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备110的控制参数及ISP处理器140的控制参数。例如，成像设备110的控制参数可包括传感器120控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、照相机防抖位移参数、透镜112控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜112阴影校正参数。

在一个实施例中，电子设备的ISP处理器140可以通过成像设备110中的透镜112和图像传感器114获取第一图像；也可以从图像存储器130中获取第一图像，还可以接收其他的电子设备发送的第一图像。ISP处理器140获取到第一图像后，对第一图像进行放大，得到第二图像；第二图像的清晰度高于第一图像的清晰度。ISP处理器140对第二图像进行主体检测，得到目标主体。ISP处理器140可以将目标主体发送至显示器160，将目标主体展示在电子设备上。当对第二图像进行主体检测后，未检测到目标主体时，控制逻辑器150可以控制成像设备110中的透镜112进行移动，从而提高光学变焦的倍数，继续对第一图像进行放大，得到继续放大后的第二图像发送至ISP处理器140。ISP处理器140对继续放大后的第二图像进行主体检测，直到检测出目标主体。放大后得到的第二图像可以更加准确地进行主体检测，从而检测得到目标主体，提高了主体检测的准确性。

图2为一个实施例中主体检测方法的流程图。如图2所示，主体检测方法包括步骤202至步骤206。

步骤202，获取第一图像。

在一个实施例中，电子设备上可以设置摄像头，通过摄像头拍摄得到第一图像。设置的摄像头的数量并不限定，例如，设置1个、3个、5个等。摄像头设置于电子设备的形式不限，例如，可以是内置于电子设备的摄像头，也可以外置于电子设备的摄像头；可以是前置摄像头，也可以是后置摄像头。

电子设备上的摄像头可以为任意类型的摄像头。例如，摄像头可以是彩色摄像头、黑白摄像头、深度摄像头、长焦摄像头、广角摄像头、红外摄像头等，不限于此。

相对应地，通过彩色摄像头获取的第一图像为彩色图像，通过黑白摄像头获取的第一图像为黑白图像，通过深度摄像头获取的第一图像为深度图像，通过长焦摄像头获取的第一图像为长焦图像，通过广角摄像头获取的第一图像为广角图像，通过红外摄像头获取的第一图像为红外图像，不限于此。

在另外一个实施例中，也可以从电子设备的存储设备中获取第一图像。通过第一图像的标识可以从电子设备的存储设备中获取第一图像。

在其他的实施例中，还可以接收其他电子设备发送的第一图像。其他的电子设备可以是移动终端，也可以是服务器，不限于此。例如，电子设备A将第一图像发送至电子设备B，电子设备B即可获取到第一图像。

步骤204，对第一图像进行放大，得到第二图像。

第二图像指的是对第一图像进行放大后得到的图像。

在一个实施例中，可以采用超分辨率的方式对第一图像进行放大。超分辨率指的是通过硬件或软件的方法提高第一图像的分辨率的过程。超分辨率包括基于插值的超分辨率、基于重建的超分辨率以及基于深度学习的超分辨率。在本实施例中，可以采用基于插值、基于重建以及基于深度学习中的至少一种超分辨率的方式对第一图像进行放大。

在另一个实施例中，可以提高光学摄像头的光学变焦的倍数对第一图像进行放大。光学变焦是通过摄像头中的镜片移动来放大与缩小需要拍摄的景物，光学变焦倍数越大，可以对越远的对象对焦，从而对距离较远的对象拍摄出更清晰的图像。

在其他实施例中，还可以是其他的方式对第一图像进行放大。

步骤206，对第二图像进行主体检测，得到目标主体。

其中，主体是指各种对象，如人、花、猫、狗、牛、蓝天、白云、背景等。目标主体是指需要的主体，可根据需要选择。

具体地，ISP处理器或中央处理器可根据识别到的对象作为第二图像的主体，若存在一个主体，则将该主体作为目标主体；若存在多个主体，可根据需要选择其中一个或多个主体作为目标主体。

上述主体检测方法，获取第一图像，对第一图像进行放大，得到第二图像，放大后得到的第二图像可以更加准确地进行主体检测，从而检测得到目标主体，提高了主体检测的准确性。

在一个实施例中，第二图像与第一图像的关系为以下的至少一种：第二图像的清晰度高于第一图像的清晰度；第二图像反馈的深度信息多于第一图像反馈的深度信息；第二图像的分辨率大于第一图像的分辨率。

图像的清晰度，是指图像上各细部影纹及其边界的清晰程度。图像的清晰度越高，则可以识别到更细小的影纹及其边界。

获取第一图像，对第一图像进行放大，得到第二图像，放大后得到的第二图像的清晰度高于第一图像的清晰度，可以更加准确地对第二图像进行主体检测，从而检测得到目标主体，提高了主体检测的准确性。

深度信息指的是被拍摄的对象与摄像头的距离的信息。第二图像反馈的深度信息多于第一图像反馈的深度信息，则可以从第二图像中识别出主体，提高了主体检测的准确性。

分辨率指的是图像所包含的像素的数量。例如，图像的分辨率为800*600，表示图像的每一行包含800个像素点，每一列包含600个像素点，图像中总共包含480000个像素点。图像的分辨率越高，则图像所包含的信息越多。第二图像的分辨率大于第一图像的分辨率，则通过第二图像可以获取到更多的图像信息，可以更加准确地对第二图像进行主体检测，从而检测得到目标主体，提高了主体检测的准确性。

在一个实施例中，如图3所示，302为获取的第一图像，将第一图像302进行放大后，得到第二图像，并对第二图像进行主体检测，得到目标主体304。

在一个实施例中，如图4所示，上述方法还包括：

步骤402，将第一图像划分为目标数量的第一区域；目标数量为至少一个。

第一区域指的是第一图像中的各个区域。目标数量可以为一个，也可以为多个，不限于此。当目标数量为一个时，即将第一图像划分为一个区域；当目标数量为多个时，将第一图像划分为多个第一区域。各个第一区域可以为面积大小相同的区域，如划分为大小相同的四等份，如九宫格；也可以为面积大小不同的区域，具体的划分方式可以根据用户需要进行设定，不限于此。

可以理解的是，目标数量越多，则将第一图像划分得越细，各个第一区域越小，则对各个第一区域进行主体检测时，可以检测到更加微小的目标主体。

对第一图像进行放大，得到第二图像，包括：

步骤404，对各个第一区域进行放大，得到各个第二区域。

第二区域指的是第一区域进行放大后得到的区域。第二区域的清晰度高于对应的第一区域的清晰度，即第二区域的分辨率大于对应的第一区域的分辨率，第二区域所包含的像素点数量大于对应的第一区域所包含的像素点数量。同样地，可以采用超分辨率的方式对各个第一区域进行放大，也可以提高光学摄像头的光学变焦的倍数对各个第一区域进行放大，还可以是其他方式对各个第一区域进行放大，不限于此。

在一个实施例中，第二区域的清晰度高于对应的第一区域的清晰度。可以更加准确地对第二区域进行主体检测，从而检测得到目标主体，提高了主体检测的准确性。

在另外一个实施例中，第二区域反馈的深度信息多于对应的第一区域反馈的深度信息。深度信息指的是被拍摄的对象与摄像头的距离的信息。第二区域反馈的深度信息多于第一区域反馈的深度信息，则可以从第二区域中识别出主体，提高了主体检测的准确性。

对第二图像进行主体检测，得到目标主体，包括：

步骤406，对各个第二区域进行主体检测，得到目标主体。

具体地，ISP处理器或中央处理器可根据各个第二区域识别到的对象作为目标主体，若存在一个主体，则将该主体作为目标主体；若存在多个主体，可根据需要选择其中一个或多个主体作为目标主体。

上述主体检测方法，将第一图像划分为目标数量的第一区域，对各个第一区域进行放大，得到各个第二区域，并对各个第二区域进行主体检测，得到目标主体。对各个第二区域进行主体检测，可以检测出更加微小的目标主体，提高主体检测的准确性。

在一个实施例中，检测电子设备的运行内存，得到电子设备的可用运行内存；当电子设备的可用运行内存大于或等于阈值时，同时对各个第二区域进行主体检测；当电子设备的可用运行内存小于阈值时，依次对各个第二区域进行主体检测。

运行内存指的是程序运行时所需要的内存。当运行的程序的数量越多时，所需要的运行内存越大；当运行程序时所执行的步骤越多时，所需要的运行内存也越大。

电子设备的运行内存是一定的，当电子设备的可用运行内存大于或等于阈值时，表示电子设备的可用运行内存较大，可以运行较多的程序，因此同时对各个第二区域进行主体检测，可以提高主体检测的效率。当电子设备的可用运行内存小于阈值时，依次对各个第二区域进行主体检测，即每次对一个第二区域进行主体检测，该第二区域主体检测完成之后再对下一个第二区域进行主体检测。

在一个实施例中，上述主体检测方法还包括：当电子设备的可用运行内存小于阈值时，从各个第二区域中获取目标第二区域；对目标第二区域进行主体检测。

目标第二区域指的是从各个第二区域中选取的第二区域，如可以选取处于第一图像的中心位置的第二区域作为目标区域。目标第二区域可以为一个，也可以为多个，具体的数量可以根据用户需求进行设定，不限于此。

可以理解的是，当电子设备的可用运行内存小于阈值时，表示电子设备中的可用运行内存较少，因此可以从各个第二区域中获取目标第二区域，仅对目标第二区域进行主体检测，可以提高主体检测的效率。

在一个实施例中，对各个第二区域进行主体检测，得到目标主体，包括：对各个第二区域进行主体检测，得到至少一个候选主体；从至少一个候选主体中确定目标主体。

候选主体指的是对各个第二区域进行主体检测之后得到的主体。目标主体可以从候选主体中选取得到。可以理解的是，对各个第二区域进行主体检测，可以检测出一个或者多个候选主体。也就是说，对一个第二区域进行主体检测，可以检测出一个候选主体，也可以检测出多个候选主体，还可以未检测到候选主体。

当对各个第二区域进行主体检测，得到一个候选主体时，可以将该候选主体确定为目标主体。当对各个第二区域进行主体检测，得到多个候选主体时，可以对多个候选主体进行筛选，并从中确定目标主体。

上述主体检测方法，对各个第二区域进行主体检测，得到至少一个候选主体，再从至少一个候选主体中确定目标主体，可以选取更加准确的目标主体。

在一个实施例中，从至少一个候选主体中确定目标主体，包括：获取各个候选主体在第一图像中对应的位置信息；根据各个候选主体在第一图像中对应的位置信息，从至少一个候选主体中确定目标主体。

可以理解的是，图像中的主体一般处于图像中的中心区域。因此可以根据各个候选主体在第一图像中对应的位置信息确定目标主体。候选主体在第一图像中对应的位置信息可以是候选主体与图像中心的距离，如，候选主体在第一图像中对应的位置信息为0.1cm。

在一个实施例中，从各个候选主体对应的位置信息确定候选主体与第一图像的中心的距离；当距离处于预设范围内时，将候选主体确定为目标主体。

预设范围指的是第一图像的中心区域的范围。当候选主体与第一图像的中心的距离处于预设范围内时，表示该候选主体处于第一图像的中心区域内，则可以将该候选主体作为目标主体。当候选主体与第一图像的中心的距离处于预设范围外时，表示该候选主体处于第一图像的中心区域之外，则可以舍弃该候选主体。

在一个实施例中，当第一图像的中心区域内未检测到候选主体时，可以将各个候选主体与第一图像的中心的距离进行比较，获取距离最小的候选主体作为目标主体。

在另外一个实施例中，从至少一个候选主体中确定目标主体，包括：获取各个候选主体的类别；根据各个候选主体的类别，从至少一个候选主体中确定目标主体。

可以理解的是，在图像中，不同类别的主体对应的权重可以不同，例如，人的权重大于动物的权重，动物的权重大于植物的权重。

当各个候选主体的类别均相同时，则可以获取各个候选主体在第一图像中对应的位置信息，根据各个候选主体在第一图像中对应的位置信息确定目标主体。

当存在候选主体的类别不同时，可以获取各个候选主体的类别对应的权重因子，并根据各个候选主体的类别对应的权重因子从至少一个候选主体中确定目标主体。其中，各个类别对应的权重因子可以预先进行设定，如人的权重因子>鸟类的权重因子>猫的权重因子>狗的权重因子>花朵的权重因子，即人的权重因子大于鸟类的权重因子大于猫的权重因子大于狗的权重因子大于花朵的权重因子，不限于此。

可以选取权重因子最大的候选主体作为目标主体，也可以选取权重因子次大的候选主体作为目标主体，不限于此。可以选取一种类别的候选主体作为目标主体，也可以选取多种类别的候选主体作为目标主体，不限于此。

上述主体检测方法，获取各个候选主体的类别，根据各个候选主体的类别从至少一个候选主体中确定目标主体，可以确定更加准确的目标主体。

在一个实施例中，目标数量的确定方式，包括：获取电子设备的资源可用率；根据资源可用率确定目标数量；资源可用率与目标数量成正相关。

在电子设备中，进行主体检测时不仅需要软件资源，还需要硬件资源，例如，运行内存、CPU(Central Processing Unit，中央处理器)、存储器等。可以理解的是，当目标数量越大，需要对更多的第二区域进行主体检测，则所需要的电子设备的资源越多。

当电子设备的资源可用率较大时，则可以将目标数量确定为更大的数值；当电子设备的资源可用率较小时，则可以将目标数量确定为较小的数值。例如，当电子设备的资源可用率为90％，则目标数量可以为20；当电子设备的资源可用率为20％，则可以将目标数量确定为5。

在一个实施例中，电子设备的资源可以包括CPU、运行内存、存储器等，则电子设备的资源可用率可以指的是上述各种资源的至少一种的可用率。例如，电子设备的资源可用率可以指的是运行内存的可用率，也可以指的是CPU和运行内存的平均的资源可用率，不限于此。

上述主体检测方法，获取电子设备的资源可用率，根据资源可用率确定目标数量，可以平衡电子设备资源和第二区域的目标数量的关系。

在一个实施例中，上述方法还包括：展示目标主体所在的第二区域。

目标主体可以是较小的物体，可以仅展示目标主体所在的第二区域。在一个实施例中，可以生成是否仅展示目标主体的请求，当检测到用户输入的指令为是时，则可以展示目标主体所在的第二区域；当检测到用户输入的指令为否时，则展示各个第二区域。

在一个实施例中，如图5所示，对第二图像进行主体检测，得到目标主体，包括：

步骤502，生成与第二图像对应的中心权重图，其中，中心权重图所表示的权重值从中心到边缘逐渐减小。

其中，中心权重图是指用于记录第二图像中各个像素点的权重值的图。中心权重图中记录的权重值从中心向四边逐渐减小，即中心权重最大，向四边权重逐渐减小。通过中心权重图表征第二图像的图像中心像素点到图像边缘像素点的权重值逐渐减小。

ISP处理器或中央处理器可以根据第二图像的大小生成对应的中心权重图。该中心权重图所表示的权重值从中心向四边逐渐减小。中心权重图可采用高斯函数、或采用一阶方程、或二阶方程生成。该高斯函数可为二维高斯函数。

步骤504，将第二图像和中心权重图输入到主体检测模型中，得到主体区域置信度图，其中，主体检测模型是预先根据同一场景的图像、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型。

其中，主体检测模型是预先采集大量的训练数据，将训练数据输入到包含有初始网络权重的主体检测模型进行训练得到的。每组训练数据包括同一场景对应的第二图像、中心权重图及已标注的主体掩膜图。其中，第二图像和中心权重图作为训练的主体检测模型的输入，已标注的主体掩膜(mask)图作为训练的主体检测模型期望输出得到的真实值(ground truth)。主体掩膜图是用于识别图像中主体的图像滤镜模板，可以遮挡图像的其他部分，筛选出图像中的主体。主体检测模型可训练能够识别检测各种主体，如人、花、猫、狗、背景等。

具体地，ISP处理器或中央处理器可将该第二图像和中心权重图输入到主体检测模型中，进行检测可以得到主体区域置信度图。主体区域置信度图是用于记录主体属于哪种能识别的主体的概率，例如某个像素点属于人的概率是0.8，花的概率是0.1，背景的概率是0.1。

步骤506，根据主体区域置信度图确定第二图像中的目标主体。

其中，主体是指各种对象，如人、花、猫、狗、牛、蓝天、白云、背景等。目标主体是指需要的主体，可根据需要选择。

具体地，ISP处理器或中央处理器可根据主体区域置信度图选取置信度最高或次高等作为第二图像中的主体，若存在一个主体，则将该主体作为目标主体；若存在多个主体，可根据需要选择其中一个或多个主体作为目标主体。

本实施例中的主体检测方法，生成与第二图像对应的中心权重图后，将第二图像和中心权重图输入到对应的主体检测模型中检测，可以得到主体区域置信度图，根据主体区域置信度图可以确定得到第二图像中的目标主体，利用中心权重图可以让图像中心的对象更容易被检测，利用训练好的利用第二图像、中心权重图和主体掩膜图等训练得到的主体检测模型，可以更加准确的识别出第二图像中的目标主体。

在一个实施例中，如图6所示，根据主体区域置信度图确定第二图像中的目标主体，包括：

步骤602，对主体区域置信度图进行处理，得到主体掩膜图。

具体地，主体区域置信度图中存在一些置信度较低、零散的点，可通过ISP处理器或中央处理器对主体区域置信度图进行过滤处理，得到主体掩膜图。该过滤处理可采用配置置信度阈值，将主体区域置信度图中置信度值低于置信度阈值的像素点过滤。该置信度阈值可采用自适应置信度阈值，也可以采用固定阈值，也可以采用分区域配置对应的阈值。

步骤604，检测第二图像，确定第二图像中的高光区域。

其中，高光区域是指亮度值大于亮度阈值的区域。

具体地，ISP处理器或中央处理器对第二图像进行高光检测，筛选得到亮度值大于亮度阈值的目标像素点，对目标像素点采用连通域处理得到高光区域。

步骤606，根据第二图像中的高光区域与主体掩膜图，确定第二图像中消除高光的目标主体。

具体地，ISP处理器或中央处理器可将第二图像中的高光区域与该主体掩膜图做差分计算或逻辑与计算得到第二图像中消除高光的目标主体。

本实施例中，对主体区域置信度图做过滤处理得到主体掩膜图，提高了主体区域置信度图的可靠性，对第二图像进行检测得到高光区域，然后与主体掩膜图进行处理，可得到消除了高光的目标主体，针对影响主体识别精度的高光、高亮区域单独采用滤波器进行处理，提高了主体识别的精度和准确性。

在一个实施例中，该对该主体区域置信度图进行处理，得到主体掩膜图，包括：对该主体区域置信度图进行自适应置信度阈值过滤处理，得到主体掩膜图。

其中，自适应置信度阈值是指置信度阈值。自适应置信度阈值可为局部自适应置信度阈值。该局部自适应置信度阈值是根据像素点的领域块的像素值分布来确定该像素点位置上的二值化置信度阈值。亮度较高的图像区域的二值化置信度阈值配置的较高，亮度较低的图像区域的二值化阈值置信度配置的较低。

可选地，自适应置信度阈值的配置过程包括：当像素点的亮度值大于第一亮度值，则配置第一置信度阈值，当像素点的亮度值小于第二亮度值，则配置第二置信度阈值，当像素点的亮度值大于第二亮度值且小于第一亮度值，则配置第三置信度阈值，其中，第二亮度值小于或等于第一亮度值，第二置信度阈值小于第三置信度阈值，第三置信度阈值小于第一置信度阈值。

可选地，自适应置信度阈值的配置过程包括：当像素点的亮度值大于第一亮度值，则配置第一置信度阈值，当像素点的亮度值小于或等于第一亮度值，则配置第二置信度阈值，其中，第二亮度值小于或等于第一亮度值，第二置信度阈值小于第一置信度阈值。

对主体区域置信度图进行自适应置信度阈值过滤处理时，将主体区域置信度图中各像素点的置信度值与对应的置信度阈值比较，大于或等于置信度阈值则保留该像素点，小于置信度阈值则去掉该像素点。

在一个实施例中，该对该主体区域置信度图进行自适应置信度阈值过滤处理，得到主体掩膜图，包括：

对该主体区域置信度图进行自适应置信度阈值过滤处理，得到二值化掩膜图；对该二值化掩膜图进行形态学处理和引导滤波处理，得到主体掩膜图。

具体地，ISP处理器或中央处理器将主体区域置信度图按照自适应置信度阈值过滤处理后，将保留的像素点的置信度值采用1表示，去掉的像素点的置信度值采用0表示，得到二值化掩膜图。

形态学处理可包括腐蚀和膨胀。可先对二值化掩膜图进行腐蚀操作，再进行膨胀操作，去除噪声；再对形态学处理后的二值化掩膜图进行引导滤波处理，实现边缘滤波操作，得到边缘提取的主体掩膜图。

通过形态学处理和引导滤波处理可以保证得到的主体掩膜图的噪点少或没有噪点，边缘更加柔和。

在一个实施例中，上述主体检测方法还包括：当检测不到目标主体时，将第二图像作为第一图像，返回执行对第一图像进行放大，得到第二图像步骤。

当对第二图像进行主体检测，未检测到目标主体时，可以将第二图像作为第一图像，返回执行对第一图像进行放大，得到第二图像步骤，即继续对第一图像进行放大，得到第二图像，再对继续放大后的第二图像进行主体检测，得到目标主体。

可以理解的是，当第一图像中的主体较小时，则仅进行放大一次可能仍然无法检测到该主体，则可以继续对第一图像进行放大，直到检测到该主体。

在一个实施例中，如图7所示，执行步骤702，获取第一图像；执行步骤704，对第一图像进行放大，得到第二图像；执行步骤706，对第二图像进行主体检测；判断是否检测到目标主体，即步骤708；当检测到目标主体时，可以执行步骤710，展示目标主体；当未检测到目标主体时，可以返回执行步骤704，即继续对第一图像进行放大，得到第二图像；再对继续放大后的第二图像进行主体检测。

在一个实施例中，如图8所示，执行步骤802，获取第一图像；执行步骤804，将第一图像划分为目标数量的第一区域；执行步骤806，对各个第一区域进行放大，得到各个第二区域；执行步骤808，对各个第二区域进行主体检测；判断是否检测到候选主体，即执行步骤810；当检测到至少一个候选主体时，执行步骤812，从至少一个候选主体中确定目标主体；再执行步骤814，展示目标主体；当未检测到候选主体时，可以返回执行步骤806，即继续对各个第一区域进行放大，得到各个第二区域；再对继续放大后的各个第二区域进行主体检测。

在一个实施例中，对第一图像进行放大存在放大的极限倍数，当放大的倍数到达极限倍数时，则无法对第一图像继续放大。当对第一图像放大到极限倍数时，仍然未检测到目标主体时，表示第一图像中未检测到任何主体，可以生成未检测到目标主体的信息。

应该理解的是，虽然图2、图4至图6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图4至图6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图9为一个实施例的主体检测装置的结构框图。如图9所示，提供了一种主体检测装置900，包括：第一图像获取模块902、放大模块904和主体检测模块906，其中：

第一图像获取模块902，用于获取第一图像。

放大模块904，用于对第一图像进行放大，得到第二图像。

主体检测模块906，用于对第二图像进行主体检测，得到目标主体。

上述主体检测装置，获取第一图像，对第一图像进行放大，得到第二图像，放大后得到的第二图像可以更加准确地进行主体检测，从而检测得到目标主体，提高了主体检测的准确性。

在一个实施例中，第二图像与第一图像的关系为以下的至少一种：第二图像的清晰度高于第一图像的清晰度；第二图像反馈的深度信息多于第一图像反馈的深度信息；第二图像的分辨率大于第一图像的分辨率。

在一个实施例中，上述主体检测装置900还包括划分模块，用于将第一图像划分为目标数量的第一区域；目标数量为至少一个。对各个第一区域进行放大，得到各个第二区域；对各个第二区域进行主体检测，得到目标主体。

在一个实施例中，上述主体检测模块906还用于对各个第二区域进行主体检测，得到至少一个候选主体；从至少一个候选主体中确定目标主体。

在一个实施例中，上述主体检测模块906还用于获取各个候选主体在第一图像中对应的位置信息；根据各个候选主体在第一图像中对应的位置信息，从至少一个候选主体中确定目标主体。

在一个实施例中，上述主体检测模块906还用于获取各个候选主体的类别；根据各个候选主体的类别，从至少一个候选主体中确定目标主体。

在一个实施例中，目标数量的确定方式，包括：获取电子设备的资源可用率；根据资源可用率确定目标数量；资源可用率与目标数量成正相关。

在一个实施例中，上述主体检测装置900还包括展示模块，用于展示目标主体所在的第二区域。

在一个实施例中，上述主体检测模块906还用于生成与第二图像对应的中心权重图，其中，中心权重图所表示的权重值从中心到边缘逐渐减小；将第二图像和中心权重图输入到主体检测模型中，得到主体区域置信度图，其中，主体检测模型是预先根据同一场景的图像、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型；根据主体区域置信度图确定第二图像中的目标主体。

在一个实施例中，上述主体检测模块906还用于对主体区域置信度图进行处理，得到主体掩膜图；检测第二图像，确定第二图像中的高光区域；根据第二图像中的高光区域与主体掩膜图，确定第二图像中消除高光的目标主体。

在一个实施例中，上述主体检测装置900还包括判断模块，用于判断是否检测到目标主体，当检测不到目标主体时，将第二图像作为第一图像，返回执行对第一图像进行放大，得到第二图像步骤。

上述主体检测装置中各个模块的划分仅用于举例说明，在其他实施例中，可将主体检测装置按照需要划分为不同的模块，以完成上述主体检测装置的全部或部分功能。

图10为一个实施例中电子设备的内部结构示意图。如图10所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种主体检测方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

本申请实施例中提供的主体检测装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行主体检测方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行主体检测方法。

本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种主体检测方法，其特征在于，包括：

获取第一图像；

对所述第一图像进行放大，得到第二图像；

生成与所述第二图像对应的中心权重图，其中，所述中心权重图所表示的权重值从中心到边缘逐渐减小；

将所述第二图像和所述中心权重图输入到主体检测模型中，得到主体区域置信度图，其中，所述主体检测模型是预先根据同一场景的图像、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型；

对所述主体区域置信度图进行自适应置信度阈值过滤处理，得到二值化掩膜图；对所述二值化掩膜图进行形态学处理和引导滤波处理，得到主体掩膜图；所述形态学处理包括腐蚀和膨胀；

检测所述第二图像中亮度值大于亮度阈值的目标像素点，对所述目标像素点采用连通域处理得到高光区域；

将所述第二图像中的高光区域与所述主体掩膜图做差分计算或逻辑与计算，确定所述第二图像中消除高光的目标主体。

2.根据权利要求1所述的方法，其特征在于，所述第二图像与所述第一图像的关系为以下的至少一种：

所述第二图像的清晰度高于所述第一图像的清晰度；

所述第二图像反馈的深度信息多于所述第一图像反馈的深度信息；

所述第二图像的分辨率大于所述第一图像的分辨率。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述第一图像划分为目标数量的第一区域；所述目标数量为至少一个；

所述对所述第一图像进行放大，得到第二图像，包括：

对各个所述第一区域进行放大，得到各个第二区域；

所述方法还包括：

对各个所述第二区域进行主体检测，得到目标主体。

4.根据权利要求3所述的方法，其特征在于，所述对各个所述第二区域进行主体检测，得到目标主体，包括：

对各个所述第二区域进行主体检测，得到至少一个候选主体；

从所述至少一个候选主体中确定目标主体。

5.根据权利要求4所述的方法，其特征在于，所述从所述至少一个候选主体中确定目标主体，包括：

获取各个所述候选主体在所述第一图像中对应的位置信息；

根据各个所述候选主体在所述第一图像中对应的位置信息，从所述至少一个候选主体中确定目标主体；或

获取各个所述候选主体的类别；

根据各个所述候选主体的类别，从所述至少一个候选主体中确定目标主体。

6.根据权利要求3所述的方法，其特征在于，所述目标数量的确定方式，包括：

获取电子设备的资源可用率；

根据所述资源可用率确定所述目标数量；所述资源可用率与所述目标数量成正相关。

7.根据权利要求2至6中任一项所述的方法，其特征在于，所述方法还包括：

展示所述目标主体所在的第二区域。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当检测不到目标主体时，将所述第二图像作为第一图像，返回执行所述对所述第一图像进行放大，得到第二图像步骤。

9.一种主体检测装置，其特征在于，包括：

第一图像获取模块，用于获取第一图像；

放大模块，用于对所述第一图像进行放大，得到第二图像；

主体检测模块，用于生成与所述第二图像对应的中心权重图，其中，所述中心权重图所表示的权重值从中心到边缘逐渐减小；将所述第二图像和所述中心权重图输入到主体检测模型中，得到主体区域置信度图，其中，所述主体检测模型是预先根据同一场景的图像、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型；对所述主体区域置信度图进行自适应置信度阈值过滤处理，得到二值化掩膜图；对所述二值化掩膜图进行形态学处理和引导滤波处理，得到主体掩膜图；所述形态学处理包括腐蚀和膨胀；检测所述第二图像中亮度值大于亮度阈值的目标像素点，对所述目标像素点采用连通域处理得到高光区域；将所述第二图像中的高光区域与所述主体掩膜图做差分计算或逻辑与计算，确定所述第二图像中消除高光的目标主体。

10.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述的主体检测方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法的步骤。

Images