CN110399823B - 主体跟踪方法和装置、电子设备、计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种主体跟踪方法和装置、电子设备、计算机可读存储介质。所述方法包括：分别控制所述至少两个摄像头实时获取图像；从获取的图像中确定主体检测帧，并将所述主体检测帧之后获取的图像作为主体跟踪帧；对所述主体检测帧进行主体检测，得到所述主体检测帧的目标主体；基于所述主体检测帧的目标主体，逐帧对所述主体跟踪帧进行主体跟踪。上述主体跟踪方法和装置、电子设备、计算机可读存储介质，提高了主体跟踪的准确性。

Description

主体跟踪方法和装置、电子设备、计算机可读存储介质

技术领域

本申请涉及计算机，特别是涉及一种主体跟踪方法、装置、电子设备、计算机可读存储介质。

背景技术

随着计算机技术的发展，出现了主体识别技术，通过对图像或者视频进行主体识别，可以识别到图像中的主体，例如人像、动物、建筑等。在拍摄图像或者视频时，用户通常是对同一个主体持续进行拍摄，以获取该主体对应的更清晰的图像或者视频。

然而，传统的主体跟踪方法，存在对主体跟踪不准确的问题。

发明内容

本申请实施例提供一种主体跟踪方法、装置、电子设备、计算机可读存储介质，可以提高主体跟踪的准确性。

一种主体跟踪方法，应用于包含至少两个摄像头的电子设备，包括：

分别控制所述至少两个摄像头实时获取图像；

从获取的图像中确定主体检测帧，并将所述主体检测帧之后获取的图像作为主体跟踪帧；

对所述主体检测帧进行主体检测，得到所述主体检测帧的目标主体；

基于所述主体检测帧的目标主体，逐帧对所述主体跟踪帧进行主体跟踪。

一种主体跟踪装置，应用于包含至少两个摄像头的电子设备，包括：

图像获取模块，用于分别控制所述至少两个摄像头实时获取图像；

确定模块，用于从获取的图像中确定主体检测帧，并将所述主体检测帧之后获取的图像作为主体跟踪帧；

主体检测模块，用于对所述主体检测帧进行主体检测，得到所述主体检测帧的目标主体；

主体跟踪模块，用于基于所述主体检测帧的目标主体，逐帧对所述主体跟踪帧进行主体跟踪。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述的主体跟踪方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。

上述主体跟踪方法和装置、电子设备、计算机可读存储介质，分别控制至少两个摄像头实时获取图像；从获取的图像中确定主体检测帧，并将主体检测帧之后获取的图像作为主体跟踪帧；对主体检测帧进行主体检测，得到主体检测帧的目标主体；基于主体检测帧的目标主体，逐帧对主体跟踪帧进行主体跟踪。利用多个摄像头分别获取图像，提高了获取的图像的帧率，从而在对目标主体进行主体跟踪时，缩短了相邻两帧图像之间的时间间隔，可以更加准确地对目标主体，特别是高速移动的目标主体进行主体跟踪。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中主体跟踪方法的应用环境图；

图2为一个实施例中图像处理电路的示意图；

图3为一个实施例中主体跟踪方法的流程图；

图4为一个实施例中步骤主体检测的流程图；

图5为另一个实施例中步骤主体检测的流程图；

图6为一个实施例中主体识别的示意图；

图7为一个实施例中三个摄像头以相同帧率获取图像的示意图；

图8为一个实施例中主体跟踪的示意图；

图9为一个实施例中步骤主体跟踪的流程图；

图10a为一个实施例中主体检测的示意图；

图10b为一个实施例中主体跟踪的示意图；

图11为另一个实施例中主体跟踪的示意图；

图12为一个实施例中主体跟踪装置的结构框图；

图13为一个实施例中电子设备的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1为一个实施例中主体跟踪方法的应用环境示意图。如图1所示，该应用环境包括电子设备10，电子设备10中包含至少两个摄像头。电子设备10分别控制至少两个摄像头实时获取图像；从获取的图像中确定主体检测帧，并将主体检测帧之后获取的图像作为主体跟踪帧；对主体检测帧进行主体检测，得到主体检测帧的目标主体；基于主体检测帧的目标主体，逐帧对主体跟踪帧进行主体跟踪。其中，电子设备10可以为手机、电脑、可穿戴设备、个人数字助理等，在此不做限定。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图2为一个实施例中图像处理电路的示意图。如图2所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图2所示，图像处理电路包括第一ISP处理器230、第二ISP处理器240和控制逻辑器250。第一摄像头210包括一个或多个第一透镜212和第一图像传感器214。第一图像传感器214可包括色彩滤镜阵列(如Bayer滤镜)，第一图像传感器214可获取用第一图像传感器214的每个成像像素捕捉的光强度和波长信息，并提供可由第一ISP处理器230处理的一组图像数据。第二摄像头220包括一个或多个第二透镜222和第二图像传感器224。第二图像传感器224可包括色彩滤镜阵列(如Bayer滤镜)，第二图像传感器224可获取用第二图像传感器224的每个成像像素捕捉的光强度和波长信息，并提供可由第二ISP处理器240处理的一组图像数据。

第一摄像头210采集的第一图像传输给第一ISP处理器230进行处理，第一ISP处理器230处理第一图像后，可将第一图像的统计数据(如图像的亮度、图像的光比、图像的反差值、图像的颜色等)发送给控制逻辑器250，控制逻辑器250可根据统计数据确定第一摄像头210的控制参数，从而第一摄像头210可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第一ISP处理器230进行处理后可存储至图像存储器260中，第一ISP处理器230也可以读取图像存储器260中存储的图像以对进行处理。另外，第一图像经过ISP处理器230进行处理后可直接发送至显示器270进行显示，显示器270也可以读取图像存储器260中的图像以进行显示。

其中，第一ISP处理器230按多种格式逐个像素地处理图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，第一ISP处理器230可对图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

图像存储器260可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自第一图像传感器214接口时，第一ISP处理器230可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器260，以便在被显示之前进行另外的处理。第一ISP处理器230从图像存储器260接收处理数据，并对所述处理数据进行RGB和YCbCr颜色空间中的图像数据处理。第一ISP处理器230处理后的图像数据可输出给显示器270，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，第一ISP处理器230的输出还可发送给图像存储器260，且显示器270可从图像存储器260读取图像数据。在一个实施例中，图像存储器260可被配置为实现一个或多个帧缓冲器。

第一ISP处理器230确定的统计数据可发送给控制逻辑器250。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、第一透镜212阴影校正等第一图像传感器214统计信息。控制逻辑器250可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定第一摄像头210的控制参数及第一ISP处理器230的控制参数。例如，第一摄像头210的控制参数可包括增益、曝光控制的积分时间、防抖参数、闪光控制参数、第一透镜212控制参数(例如聚焦或变焦用焦距)、或这些参数的组合等。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及第一透镜212阴影校正参数。

同样地，第二摄像头220采集的第二图像传输给第二ISP处理器240进行处理，第二ISP处理器240处理第一图像后，可将第二图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器250，控制逻辑器250可根据统计数据确定第二摄像头220的控制参数，从而第二摄像头220可根据控制参数进行自动对焦、自动曝光等操作。第二图像经过第二ISP处理器240进行处理后可存储至图像存储器260中，第二ISP处理器240也可以读取图像存储器260中存储的图像以对进行处理。另外，第二图像经过ISP处理器240进行处理后可直接发送至显示器270进行显示，显示器270也可以读取图像存储器260中的图像以进行显示。第二摄像头220和第二ISP处理器240也可以实现如第一摄像头210和第一ISP处理器230所描述的处理过程。

在一个实施例中，第一摄像头210和第二摄像头220可以均为彩色摄像头。第一ISP处理器130和第二ISP处理器140可为同一ISP处理器。控制逻辑器250分别控制第一摄像头210和第二摄像头220实时获取图像，并将获取的图像发送至ISP处理器。ISP处理器可以从获取的图像中确定主体检测帧，并将主体检测帧之后获取的图像作为主体跟踪帧。ISP处理器对主体检测帧进行主体检测，得到主体检测帧的目标主体；基于主体检测帧的目标主体，逐帧对主体跟踪帧进行主体跟踪。利用多个摄像头分别获取图像，提高了获取的图像的帧率，从而在对目标主体进行主体跟踪时，缩短了相邻两帧图像之间的时间间隔，可以更加准确地对目标主体，特别是高速移动的目标主体进行主体跟踪。

图3为一个实施例中主体跟踪方法的流程图。本实施例中的主体跟踪方法，以运行于图1中的包含至少两个摄像头的电子设备上为例进行描述。如图3所示，主体跟踪方法包括步骤302至步骤308。

步骤302，分别控制至少两个摄像头实时获取图像。

电子设备可以设置摄像头，设置的摄像头的数量为至少两个。例如，设置2个、3个、5个等，在此不做限定。摄像头设置于电子设备的形式不限，例如，可以是内置于电子设备的摄像头，也可以外置于电子设备的摄像头；可以是前置摄像头，也可以是后置摄像头。

在本申请提供的实施例中，电子设备上的摄像头可以为任意类型的摄像头。例如，摄像头可以是彩色摄像头、黑白摄像头、深度摄像头、长焦摄像头、广角摄像头等，不限于此。

相对应地，通过彩色摄像头获取彩色图像，通过黑白摄像头获取黑白图像，通过深度摄像头获取深度图像，通过长焦摄像头获取长焦图像，通过广角摄像头获取广角图像，不限于此。至少两个摄像头可以是相同类型的摄像头，也可以是不同类型的摄像头。例如，至少两个摄像头可以均是彩色摄像头，也可以均是黑白摄像头；可以其中的一个摄像头为长焦摄像头，其他的摄像头为广角摄像头，不限于此。

可以理解的是，至少两个摄像头位于电子设备的同一侧，并拍摄同一方向的场景。

步骤304，从获取的图像中确定主体检测帧，并将主体检测帧之后获取的图像作为主体跟踪帧。

主体检测帧指的是用于主体检测的图像。主体跟踪帧指的是用于主体跟踪的图像。可以理解的是，主体检测帧检测到目标主体之后，主体跟踪帧才可以对目标主体进行跟踪。因此，将主体检测帧之后获取的图像作为主体跟踪帧。

在一个实施例中，至少两个摄像头中包含主摄和至少一个副摄；将主摄获取的图像确定为主体检测帧，并将主体检测帧之后获取的图像作为主体跟踪帧。

可以理解的是，主摄为电子设备的主摄像头，副摄为电子设备的副摄像头。一般地，主摄的硬件参数优于副摄的硬件参数，即通过主摄获取的图像的质量高于通过副摄获取的图像的质量。例如，通过主摄获取的图像的清晰度大于通过副摄获取的图像的清晰度；通过主摄获取的图像比通过副摄获取的图像更符合实际拍摄场景；不限于此。

将主摄获取的图像确定为主体检测帧，则主体检测帧的质量较好，如清晰度较高、仿真度较高，通过主体检测帧可以更准确地检测到目标主体，从而主体跟踪帧可以更准确地进行主体跟踪。

在另一个实施例中，当至少两个摄像头中不包含主摄和至少一个副摄时，从至少两个摄像头获取的图像中确定主体检测帧和主体跟踪帧。可选地，可以通过随机函数进行确定主体检测帧，并将主体检测帧之后获取的图像作为主体跟踪帧；也可以设置至少两个摄像头的其中一个摄像头为主体检测摄像头，将主体检测摄像头获取的图像确定为主体检测帧，并将主体检测帧之后获取的图像作为主体跟踪帧。其中，主体检测摄像头可以根据用户需要进行设定，不限于此。

步骤306，对主体检测帧进行主体检测，得到主体检测帧的目标主体。

主体检测(salient object detection)是指面对一个场景时，自动地对感兴趣区域进行处理而选择性的忽略不感兴趣区域。感兴趣区域称为目标主体。其中，主体是指各种对象，如人、花、猫、狗、牛、蓝天、白云、背景等。目标主体是指需要的主体，可根据需要选择。

具体地，ISP处理器或中央处理器可根据识别到的对象作为主体检测帧的主体，若存在一个主体，则将该主体作为目标主体；若存在多个主体，可根据需要选择其中一个或多个主体作为目标主体。

步骤308，基于主体检测帧的目标主体，逐帧对主体跟踪帧进行主体跟踪。

主体跟踪指的是在电子设备拍摄过程中，对目标主体进行跟踪的过程。通过对目标主体进行主体跟踪，则拍摄出的图像中的目标主体成像更清晰。

具体地，对主体检测帧检测得到目标主体之后，基于主体检测帧的目标主体，如基于主体检测帧的目标主体的位置区域、颜色、深度信息等数据，逐帧对主体跟踪帧进行主体跟踪。

可以理解的是，相比于通过主体检测得到目标主体，通过主体跟踪可以在更短时间内得到目标主体，提高了主体跟踪的效率。

在一个实施例中，获取主体检测帧的目标主体的目标颜色；获取当前主体跟踪帧的参考颜色；将当前主体跟踪帧的参考颜色与目标主体的目标颜色进行匹配；从当前主体跟踪帧中确定与目标主体的目标颜色相匹配的区域，并将该区域作为当前主体跟踪帧的目标主体；基于当前主体跟踪帧的目标主体的目标颜色，对实时获取的下一帧主体跟踪帧进行主体跟踪，得到下一帧主体跟踪帧的目标主体；将下一帧主体跟踪帧作为当前主体跟踪帧，返回执行基于当前主体跟踪帧的目标主体的目标颜色，对实时获取的下一帧主体跟踪帧进行主体跟踪，得到下一帧主体跟踪帧的目标主体步骤。

一般地，在短时间内目标主体的颜色不会发生改变，因此，可以通过目标主体的颜色进行主体跟踪。其中，当时长小于或等于时长阈值时，可以定义为短时间内。时长阈值可以根据用户需要进行设定，如0.1ms，0.2ms等。

获取主体检测帧的目标主体的目标颜色，以及当前主体跟踪帧的参考颜色。具体地，可以获取当前主体跟踪帧的各个像素点的RGB三通道值，将各个像素点的RGB三通道值合成得到各个像素点的颜色值，根据各个像素点的颜色值得到当前主体跟踪帧的参考颜色。

例如，当像素点的RGB三通道值分别为0,0,0，则将RGB三通道值合成得到的颜色值为黑色；当像素点的RGB三通道值分别为0,0,255，则将RGB三通道值合成得到的颜色值为蓝色；当像素点的RGB三通道值分别为255,255,0，则将RGB三通道值合成得到的颜色值为黄色。

将当前主体跟踪帧的参考颜色与主体检测帧的目标主体的目标颜色进行匹配，当当前主体跟踪帧的参考颜色与主体检测帧的目标主体的目标颜色相匹配时，表示当前主体跟踪帧中存在目标主体，将与主体检测帧的目标主体的目标颜色相匹配的区域作为主体跟踪帧的目标主体。

可选地，可以预先设置匹配度阈值，将当前主体跟踪帧的参考颜色与主体检测帧的目标主体的目标颜色进行匹配，得到匹配度；当匹配度大于或等于匹配度阈值时，当前主体跟踪帧的参考颜色与主体检测帧的目标主体的目标颜色相匹配；当匹配度小于匹配度阈值时，当前主体跟踪帧的参考颜色与主体检测帧的目标主体的目标颜色不匹配。

例如，可以设置匹配度阈值为90％，当得到的匹配度大于或等于90％时，表示当前主体跟踪帧的参考颜色与主体检测帧的目标主体的目标颜色相匹配；当得到的匹配度小于90％时，表示当前主体跟踪帧的参考颜色与主体检测帧的目标主体的目标颜色不匹配。

当确定了当前主体跟踪帧的目标主体时，即当前主体跟踪帧已经跟踪到目标主体，则基于当前主体跟踪帧的目标主体的目标颜色，对实时获取的下一帧主体跟踪帧进行主体跟踪，得到下一帧主体跟踪帧的目标主体。以此类推，下一帧主体跟踪帧基于上一帧主体跟踪帧或者上一帧主体检测帧进行主体跟踪，得到目标主体，从而实现了对目标主体进行主体跟踪。

在一个实施例中，获取主体检测帧的目标主体的目标深度信息；获取当前主体跟踪帧的参考深度信息；将当前主体跟踪帧的参考深度信息与目标主体的目标深度信息进行匹配；从当前主体跟踪帧中确定与目标主体的目标深度信息相匹配的区域，并将该区域作为当前主体跟踪帧的目标主体；基于当前主体跟踪帧的目标主体的目标深度信息，对实时获取的下一帧主体跟踪帧进行主体跟踪，得到下一帧主体跟踪帧的目标主体；将下一帧主体跟踪帧作为当前主体跟踪帧，返回执行基于当前主体跟踪帧的目标主体的目标深度信息，对实时获取的下一帧主体跟踪帧进行主体跟踪，得到下一帧主体跟踪帧的目标主体步骤。

一般地，在短时间内目标主体的深度信息不会发生较大变化，因此，可以通过目标主体的深度信息进行主体跟踪。其中，当时长小于或等于时长阈值时，可以定义为短时间内。时长阈值可以根据用户需要进行设定，如0.1ms，0.2ms等。

将当前主体跟踪帧的参考深度信息与主体检测帧的目标主体的目标深度信息进行匹配，当当前主体跟踪帧的参考深度信息与主体检测帧的目标主体的目标深度信息相匹配时，表示当前主体跟踪帧中存在目标主体，将与主体检测帧的目标主体的目标深度信息相匹配的区域作为主体跟踪帧的目标主体。

可选地，可以预先设置匹配度阈值，将当前主体跟踪帧的参考深度信息与主体检测帧的目标主体的目标深度信息进行匹配，得到匹配度；当匹配度大于或等于匹配度阈值时，当前主体跟踪帧的参考深度信息与主体检测帧的目标主体的目标深度信息相匹配；当匹配度小于匹配度阈值时，当前主体跟踪帧的参考深度信息与主体检测帧的目标主体的目标深度信息不匹配。

例如，可以设置匹配度阈值为80％，当得到的匹配度大于或等于80％时，表示当前主体跟踪帧的参考深度信息与主体检测帧的目标主体的目标深度信息相匹配；当得到的匹配度小于80％时，表示当前主体跟踪帧的参考深度信息与主体检测帧的目标主体的目标深度信息不匹配。

当确定了当前主体跟踪帧的目标主体时，即当前主体跟踪帧已经跟踪到目标主体，则基于当前主体跟踪帧的目标主体的目标深度信息，对实时获取的下一帧主体跟踪帧进行主体跟踪，得到下一帧主体跟踪帧的目标主体。以此类推，下一帧主体跟踪帧基于上一帧主体跟踪帧或者上一帧主体检测帧进行主体跟踪，得到目标主体，从而实现了对目标主体进行主体跟踪。

上述主体跟踪方法，分别控制至少两个摄像头实时获取图像；从获取的图像中确定主体检测帧，并将主体检测帧之后获取的图像作为主体跟踪帧；对主体检测帧进行主体检测，得到主体检测帧的目标主体；基于主体检测帧的目标主体，逐帧对主体跟踪帧进行主体跟踪。利用多个摄像头分别获取图像，提高了获取的图像的帧率，从而在对目标主体进行主体跟踪时，缩短了相邻两帧图像之间的时间间隔，可以更加准确地对目标主体，特别是高速移动的目标主体进行主体跟踪。

在一个实施例中，监测电子设备的触控屏；获取触控屏被点击的区域，并将触控屏被点击的区域作为主体检测帧的目标主体。

在电子设备的触控屏上，可以将至少两个摄像头其中的一个摄像头获取的图像进行展示。监测电子设备的触控屏，当监测到触控屏被点击时，获取触控屏被点击的区域，并将触控屏被点击的区域作为主体检测帧的目标主体。

可以理解的是，触控屏被点击的区域，通常是用户需要拍摄的目标主体的区域。因此，获取触控屏被点击的区域，并将触控屏被点击的区域作为主体检测帧的目标主体，提高了确定的目标主体的准确性。

在一个实施例中，如图4所示，对主体检测帧进行主体检测，得到主体检测帧的目标主体，包括：

步骤402，根据主体检测帧生成对应的中心权重图，其中，中心权重图所表示的权重值从中心到边缘逐渐减小。

其中，中心权重图是指用于记录主体检测帧中各个像素点的权重值的图。中心权重图中记录的权重值从中心向四边逐渐减小，即中心权重最大，向四边权重逐渐减小。通过中心权重图表征主体检测帧的图像中心像素点到图像边缘像素点的权重值逐渐减小。

ISP处理器或中央处理器可以根据主体检测帧的大小生成对应的中心权重图。该中心权重图所表示的权重值从中心向四边逐渐减小。中心权重图可采用高斯函数、或采用一阶方程、或二阶方程生成。该高斯函数可为二维高斯函数。

步骤404，将主体检测帧和对应的中心权重图输入到主体检测模型中，得到主体检测帧的主体区域置信度图，其中，主体检测模型是预先根据同一场景的主体检测帧、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型。

其中，主体检测(salient object detection)是指面对一个场景时，自动地对感兴趣区域进行处理而选择性的忽略不感兴趣区域。感兴趣区域称为目标主体。

其中，主体检测模型是预先采集大量的训练数据，将训练数据输入到包含有初始网络权重的主体检测模型进行训练得到的。每组训练数据包括同一场景对应的主体检测帧、中心权重图及已标注的主体掩膜图。其中，主体检测帧和中心权重图作为训练的主体检测模型的输入，已标注的主体掩膜(mask)图作为训练的主体检测模型期望输出得到的真实值(ground truth)。主体掩膜图是用于识别图像中主体的图像滤镜模板，可以遮挡图像的其他部分，筛选出图像中的主体。主体检测模型可训练能够识别检测各种主体，如人、花、猫、狗、背景等。

具体地，ISP处理器或中央处理器可将该主体检测帧和中心权重图输入到主体检测模型中，进行检测可以得到主体区域置信度图。主体区域置信度图是用于记录主体属于哪种能识别的主体的概率，例如某个像素点属于人的概率是0.8，花的概率是0.1，背景的概率是0.1。

步骤406，根据主体检测帧的主体区域置信度图确定主体检测帧中的目标主体。

其中，主体是指各种对象，如人、花、猫、狗、牛、蓝天、白云、背景等。目标主体是指需要的主体，可根据需要选择。

具体地，ISP处理器或中央处理器可根据主体区域置信度图选取置信度最高或次高等作为主体检测帧中的主体，若存在一个主体，则将该主体作为目标主体；若存在多个主体，可根据需要选择其中一个或多个主体作为目标主体。

本实施例中的主体跟踪方法，获取主体检测帧，并生成与主体检测帧对应的中心权重图后，将主体检测帧和对应的中心权重图输入到对应的主体检测模型中检测，可以得到主体检测帧的主体区域置信度图，根据主体区域置信度图可以确定得到主体检测帧中的目标主体，利用中心权重图可以让图像中心的对象更容易被检测，利用训练好的利用主体检测帧、中心权重图和主体掩膜图等训练得到的主体检测模型，可以更加准确的识别出主体检测帧中的目标主体。

在一个实施例中，如图5所示，根据主体检测帧的主体区域置信度图确定主体检测帧中的目标主体，包括：

步骤502，对主体检测帧的主体区域置信度图进行处理，得到对应的主体掩膜图。

具体地，主体区域置信度图中存在一些置信度较低、零散的点，可通过ISP处理器或中央处理器对主体区域置信度图进行过滤处理，得到主体掩膜图。该过滤处理可采用配置置信度阈值，将主体区域置信度图中置信度值低于置信度阈值的像素点过滤。该置信度阈值可采用自适应置信度阈值，也可以采用固定阈值，也可以采用分区域配置对应的阈值。

步骤504，检测主体检测帧，确定主体检测帧中的高光区域。

其中，高光区域是指亮度值大于亮度阈值的区域。

具体地，ISP处理器或中央处理器对主体检测帧进行高光检测，筛选得到亮度值大于亮度阈值的目标像素点，对目标像素点采用连通域处理得到高光区域。

步骤506，根据主体检测帧中的高光区域与对应的主体掩膜图，确定主体检测帧中消除高光的目标主体。

具体地，ISP处理器或中央处理器可将主体检测帧中的高光区域与该主体掩膜图做差分计算或逻辑与计算得到主体检测帧中消除高光的目标主体。

本实施例中，对主体区域置信度图做过滤处理得到主体掩膜图，提高了主体区域置信度图的可靠性，对主体检测帧进行检测得到高光区域，然后与主体掩膜图进行处理，可得到消除了高光的目标主体，针对影响主体识别精度的高光、高亮区域单独采用滤波器进行处理，提高了主体识别的精度和准确性。

在一个实施例中，对主体检测帧的主体区域置信度图进行处理，得到对应的主体掩膜图，包括：对主体检测帧的主体区域置信度图进行自适应置信度阈值过滤处理，得到对应的主体掩膜图。

其中，自适应置信度阈值是指置信度阈值。自适应置信度阈值可为局部自适应置信度阈值。该局部自适应置信度阈值是根据像素点的领域块的像素值分布来确定该像素点位置上的二值化置信度阈值。亮度较高的图像区域的二值化置信度阈值配置的较高，亮度较低的图像区域的二值化阈值置信度配置的较低。

可选地，自适应置信度阈值的配置过程包括：当像素点的亮度值大于第一亮度值，则配置第一置信度阈值，当像素点的亮度值小于第二亮度值，则配置第二置信度阈值，当像素点的亮度值大于第二亮度值且小于第一亮度值，则配置第三置信度阈值，其中，第二亮度值小于或等于第一亮度值，第二置信度阈值小于第三置信度阈值，第三置信度阈值小于第一置信度阈值。

可选地，自适应置信度阈值的配置过程包括：当像素点的亮度值大于第一亮度值，则配置第一置信度阈值，当像素点的亮度值小于或等于第一亮度值，则配置第二置信度阈值，其中，第二亮度值小于或等于第一亮度值，第二置信度阈值小于第一置信度阈值。

对主体区域置信度图进行自适应置信度阈值过滤处理时，将主体区域置信度图中各像素点的置信度值与对应的置信度阈值比较，大于或等于置信度阈值则保留该像素点，小于置信度阈值则去掉该像素点。

在一个实施例中，如图6所示，602为主体检测帧，将主体检测帧602输入至预先训练好的主体检测模型中，可以得到目标主体的位置信息604；再将目标主体的位置信息604映射至主体检测帧602，得到主体检测帧对应的图像606，从而检测得到目标主体608。其中，主体检测模型可以采用深度学习算法，基于大量预先标注的训练数据进行训练得到。

在一个实施例中，至少两个摄像头的帧率均相同。

帧率指的是在单位时间内通过摄像头中的图像传感器获取图像的数量。帧率越大，则摄像头在单位时间内获取的图像越多。

当至少两个摄像头的帧率均相同时，可以分别控制至少两个摄像头相间获取图像。如图7所示，电子设备包含三个摄像头，即摄像头1、摄像头2和摄像头3，三个摄像头的帧率均相同，为每秒采集三帧图像。则在1秒中之内，分别控制三个摄像头相间获取图像，可以获取9帧图像，即帧1至帧9。其中，摄像头1获取帧1、帧4和帧7，摄像头2获取帧2、帧5和帧8，摄像头3获取帧3、帧6和帧9。

当将帧1确定为主体检测帧时，则在帧1之后获取的帧2至帧9均为主体跟踪帧。当将帧3确定为主体检测帧时，则在帧3之后获取的帧4至帧9均为主体跟踪帧。

在一个实施例中，基于主体检测帧的目标主体，逐帧对主体跟踪帧进行主体跟踪，包括：基于主体检测帧的目标主体，对实时获取的当前主体跟踪帧进行主体跟踪，得到当前主体跟踪帧的目标主体；基于当前主体跟踪帧的目标主体，对实时获取的下一帧主体跟踪帧进行主体跟踪，得到下一帧主体跟踪帧的目标主体；将下一帧主体跟踪帧作为当前主体跟踪帧，返回执行基于当前主体跟踪帧的目标主体，对实时获取的下一帧主体跟踪帧进行主体跟踪，得到下一帧主体跟踪帧的目标主体步骤。

在对主体检测帧进行主体检测得到目标主体之后，将主体检测帧之后获取的一帧主体跟踪帧作为当前主体跟踪帧。基于主体检测帧的目标主体，对当前主体跟踪帧进行主体跟踪，得到当前主体跟踪帧的目标主体。

实时获取当前主体跟踪帧的下一帧主体跟踪帧。基于当前主体跟踪帧的目标主体，对下一帧主体跟踪帧进行主体跟踪，得到下一帧主体跟踪帧的目标主体。将该下一帧主体跟踪帧作为当前主体跟踪帧，获取当前主体跟踪帧的下一帧主体跟踪帧。基于当前主体跟踪帧的目标主体，对下一帧主体跟踪帧进行主体跟踪，得到下一帧主体跟踪帧的目标主体。以此类推，下一帧主体跟踪帧均是基于上一帧主体跟踪帧或者主体检测帧，对目标主体进行跟踪的，从而实现了电子设备对目标主体进行主体跟踪，提高了主体跟踪的准确性。

如图8所示，对主体检测帧进行主体检测，得到主体检测帧的目标主体。基于主体检测帧的目标主体，对主体跟踪帧1进行主体跟踪，得到主体跟踪帧1的目标主体。基于主体跟踪帧1的目标主体，对主体跟踪帧2进行主体跟踪，得到主体跟踪帧2的目标主体。以此类推，基于主体跟踪帧n-1的目标主体，对主体跟踪帧n进行主体跟踪，得到主体跟踪帧n的目标主体，从而实现了对目标主体的主体跟踪。

在一个实施例中，如图9所示，基于主体检测帧的目标主体，对实时获取的当前主体跟踪帧进行主体跟踪，得到当前主体跟踪帧的目标主体，包括：

步骤902，获取主体检测帧的目标主体的位置区域。

获取主体检测帧的目标主体在主体检测帧中的位置区域。目标主体的位置区域可以用坐标区间进行表示，也可以用目标主体的边缘构成的区域在主体检测帧中的位置进行表示，不限于此。

一般地，目标主体为不规则图形。在一个实施例中，目标主体的位置区域可以仅包含目标主体。在另一个实施例中，目标主体的位置区域可以为矩形、圆形等规则图形，且在目标主体的位置区域中包含了整个目标主体。

步骤904，基于主体检测帧的目标主体的位置区域，获取当前主体跟踪帧的搜索区域；其中，搜索区域覆盖主体检测帧的目标主体的位置区域。

基于主体检测帧的目标主体的位置区域，可以获取当前主体跟踪帧的对应位置区域，再基于当前主体跟踪帧的对应位置区域，获取当前主体跟踪帧的搜索区域。

可以理解的是，搜索区域覆盖主体检测帧的目标主体的位置区域，即搜索区域覆盖主体跟踪帧的对应位置区域，搜索区域的大小大于或等于对应位置区域的大小。

步骤906，从当前主体跟踪帧的搜索区域中进行查找，得到当前主体跟踪帧的目标主体。

在一个实施例中，可以通过相关滤波器从搜索区域中进行查找，得到当前主体跟踪帧的目标主体。其中，相关滤波器时基于核相关滤波算法，采用大量的训练数据训练得到的。

从主体跟踪帧中获取搜索区域进行查找，避免了对整帧主体跟踪帧进行查找，提高了目标主体查找的效率。

在一个实施例中，当从当前主体跟踪帧的搜索区域中未查找到当前主体跟踪帧的目标主体时，扩大当前主体跟踪帧的搜索区域，并返回执行从当前主体跟踪帧的搜索区域中进行查找，得到当前主体跟踪帧的目标主体步骤。

可以理解的是，当搜索区域较小时，则搜索区域可能未覆盖当前主体跟踪帧的目标主体，则从当前主体跟踪帧的搜索区域中未查找到当前主体跟踪帧的目标主体。因此，扩大当前主体跟踪帧的搜索区域，再对扩大后的搜索区域进行查找。

上述主体跟踪方法，获取主体检测帧的目标主体的位置区域；基于主体检测帧的目标主体的位置区域，获取当前主体跟踪帧的搜索区域；其中，搜索区域覆盖主体检测帧的目标主体的位置区域；从当前主体跟踪帧的搜索区域中进行查找，得到当前主体跟踪帧的目标主体，可以更加准确地进行主体跟踪，并避免了对整帧主体跟踪帧进行查找，提高了主体跟踪的效率。

如图10a所示，1002为主体检测帧，对主体检测帧进行主体检测，得到主体检测帧的目标主体的区域为1004。如图10b所示，1006为主体跟踪帧。在主体跟踪帧1006中，1004为主体检测帧的目标主体的区域。以主体检测帧的目标主体的区域1004为中心，获取搜索区域1008。从主体跟踪帧1006的搜索区域1008中进行查找，得到主体跟踪帧的目标主体1010。

在一个实施例中，上述方法还包括：统计连续进行主体跟踪的主体跟踪帧的帧数量；当帧数量达到数量阈值时，返回执行从获取的图像中确定主体检测帧，并将主体检测帧之后获取的图像作为主体跟踪帧步骤。

可以理解的是，每一帧主体跟踪帧对目标主体进行主体跟踪，存在一定的误差。当多帧主体跟踪帧对目标主体进行主体跟踪之后，则产生的误差为每一帧主体跟踪帧对目标主体进行主体跟踪的误差进行叠加。因此，连续进行主体跟踪的主体跟踪帧的帧数量越多，则产生的误差越大，对主体跟踪越不准确。

当统计的连续进行主体跟踪的主体跟踪帧的帧数量达到数量阈值时，表示主体跟踪帧对目标主体进行主体跟踪产生的误差较大，则返回执行从获取的图像中确定主体检测帧，并将主体检测帧之后获取的图像作为主体跟踪帧步骤，即重新确定主体检测帧，对主体检测帧进行主体检测，得到主体检测帧的目标主体，再对目标主体进行主体跟踪，可以提高主体跟踪的准确性。

如图11所示，对主体检测帧进行主体检测，得到主体检测帧的目标主体。基于主体检测帧的目标主体，对主体跟踪帧1进行主体跟踪，得到主体跟踪帧1的目标主体。基于主体跟踪帧1的目标主体，对主体跟踪帧2进行主体跟踪，得到主体跟踪帧2的目标主体。以此类推，基于主体跟踪帧n-1的目标主体，对主体跟踪帧n进行主体跟踪，得到主体跟踪帧n的目标主体，从而实现了对目标主体的主体跟踪。

预先设置数量阈值为n。当主体跟踪帧n对目标主体进行主体跟踪之后，则统计连续进行主体跟踪的主体跟踪帧的帧数量为n，达到了数量阈值，则返回执行从获取的图像中确定主体检测帧，并将主体检测帧之后获取的图像作为主体跟踪帧步骤，即目标主体进行更新。

应该理解的是，虽然图3至图5、图9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3至图5、图9中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图12为一个实施例的主体跟踪装置的结构框图。如图12所示，提供了一种主体跟踪装置1200，应用于包含至少两个摄像头的电子设备，包括：图像获取模块1202、确定模块1204、主体检测模块1206和主体跟踪模块1208，其中：

图像获取模块1202，用于分别控制至少两个摄像头实时获取图像。

确定模块1204，用于从获取的图像中确定主体检测帧，并将主体检测帧之后获取的图像作为主体跟踪帧。

主体检测模块1206，用于对主体检测帧进行主体检测，得到主体检测帧的目标主体。

主体跟踪模块1208，用于基于主体检测帧的目标主体，逐帧对主体跟踪帧进行主体跟踪。

上述主体跟踪装置，分别控制至少两个摄像头实时获取图像；从获取的图像中确定主体检测帧，并将主体检测帧之后获取的图像作为主体跟踪帧；对主体检测帧进行主体检测，得到主体检测帧的目标主体；基于主体检测帧的目标主体，逐帧对主体跟踪帧进行主体跟踪。利用多个摄像头分别获取图像，提高了获取的图像的帧率，从而在对目标主体进行主体跟踪时，缩短了相邻两帧图像之间的时间间隔，可以更加准确地对目标主体，特别是高速移动的目标主体进行主体跟踪。

在一个实施例中，上述主体检测模块1206还用于根据主体检测帧生成对应的中心权重图，其中，中心权重图所表示的权重值从中心到边缘逐渐减小；将主体检测帧和对应的中心权重图输入到主体检测模型中，得到主体检测帧的主体区域置信度图，其中，主体检测模型是预先根据同一场景的主体检测帧、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型；根据主体检测帧的主体区域置信度图确定主体检测帧中的目标主体。

在一个实施例中，上述主体检测模块1206还用于对主体检测帧的主体区域置信度图进行处理，得到对应的主体掩膜图；检测主体检测帧，确定主体检测帧中的高光区域；根据主体检测帧中的高光区域与对应的主体掩膜图，确定主体检测帧中消除高光的目标主体。

在一个实施例中，上述主体检测模块1206还用于对主体检测帧的主体区域置信度图进行自适应置信度阈值过滤处理，得到对应的主体掩膜图。

在一个实施例中，至少两个摄像头的帧率均相同。

在一个实施例中，上述主体跟踪模块1208还用于基于主体检测帧的目标主体，对实时获取的当前主体跟踪帧进行主体跟踪，得到当前主体跟踪帧的目标主体；基于当前主体跟踪帧的目标主体，对实时获取的下一帧主体跟踪帧进行主体跟踪，得到下一帧主体跟踪帧的目标主体；将下一帧主体跟踪帧作为当前主体跟踪帧，返回执行基于当前主体跟踪帧的目标主体，对实时获取的下一帧主体跟踪帧进行主体跟踪，得到下一帧主体跟踪帧的目标主体步骤。

在一个实施例中，上述主体跟踪模块1208还用于获取主体检测帧的目标主体的位置区域；基于主体检测帧的目标主体的位置区域，获取当前主体跟踪帧的搜索区域；其中，搜索区域覆盖主体检测帧的目标主体的位置区域；从当前主体跟踪帧的搜索区域中进行查找，得到当前主体跟踪帧的目标主体。

在一个实施例中，上述主体跟踪装置还包括统计模块，用于统计连续进行主体跟踪的主体跟踪帧的帧数量；当帧数量达到数量阈值时，返回执行从获取的图像中确定主体检测帧，并将主体检测帧之后获取的图像作为主体跟踪帧步骤。

上述主体跟踪装置中各个模块的划分仅用于举例说明，在其他实施例中，可将主体跟踪装置按照需要划分为不同的模块，以完成上述主体跟踪装置的全部或部分功能。

图13为一个实施例中电子设备的内部结构示意图。如图13所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种主体跟踪方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

本申请实施例中提供的主体跟踪装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行主体跟踪方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行主体跟踪方法。

本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种主体跟踪方法，其特征在于，应用于包含至少两个摄像头的电子设备，包括：

分别控制所述至少两个摄像头实时获取图像；

从获取的图像中确定主体检测帧，并将所述主体检测帧之后获取的图像作为主体跟踪帧；

根据所述主体检测帧生成对应的中心权重图，其中，所述中心权重图所表示的权重值从中心到边缘逐渐减小；

将所述主体检测帧和对应的所述中心权重图输入到主体检测模型中，得到所述主体检测帧的主体区域置信度图，其中，所述主体检测模型是预先根据同一场景的主体检测帧、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型；

根据所述主体检测帧的主体区域置信度图确定所述主体检测帧中的目标主体；

基于所述主体检测帧的目标主体，逐帧对所述主体跟踪帧进行主体跟踪。

2.根据权利要求1所述的方法，其特征在于，所述根据所述主体检测帧的主体区域置信度图确定所述主体检测帧中的目标主体，包括：

对所述主体检测帧的主体区域置信度图进行处理，得到对应的主体掩膜图；

检测所述主体检测帧，确定所述主体检测帧中的高光区域；

根据所述主体检测帧中的高光区域与对应的所述主体掩膜图，确定所述主体检测帧中消除高光的目标主体。

3.根据权利要求2所述的方法，其特征在于，所述对所述主体检测帧的主体区域置信度图进行处理，得到对应的主体掩膜图，包括：

对所述主体检测帧的主体区域置信度图进行自适应置信度阈值过滤处理，得到对应的主体掩膜图。

4.根据权利要求1所述的方法，其特征在于，所述至少两个摄像头的帧率均相同。

5.根据权利要求1所述的方法，其特征在于，所述基于所述主体检测帧的目标主体，逐帧对所述主体跟踪帧进行主体跟踪，包括：

基于所述主体检测帧的目标主体，对实时获取的当前主体跟踪帧进行主体跟踪，得到所述当前主体跟踪帧的目标主体；

基于所述当前主体跟踪帧的目标主体，对实时获取的下一帧主体跟踪帧进行主体跟踪，得到所述下一帧主体跟踪帧的目标主体；

将所述下一帧主体跟踪帧作为当前主体跟踪帧，返回执行所述基于所述当前主体跟踪帧的目标主体，对实时获取的下一帧主体跟踪帧进行主体跟踪，得到所述下一帧主体跟踪帧的目标主体步骤。

6.根据权利要求5所述的方法，其特征在于，所述基于所述主体检测帧的目标主体，对实时获取的当前主体跟踪帧进行主体跟踪，得到所述当前主体跟踪帧的目标主体，包括：

获取所述主体检测帧的目标主体的位置区域；

基于所述主体检测帧的目标主体的位置区域，获取当前主体跟踪帧的搜索区域；其中，所述搜索区域覆盖所述主体检测帧的目标主体的位置区域；

从所述当前主体跟踪帧的搜索区域中进行查找，得到所述当前主体跟踪帧的目标主体。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

统计连续进行主体跟踪的主体跟踪帧的帧数量；

当所述帧数量达到数量阈值时，返回执行所述从获取的图像中确定主体检测帧，并将所述主体检测帧之后获取的图像作为主体跟踪帧步骤。

8.一种主体跟踪装置，其特征在于，应用于包含至少两个摄像头的电子设备，包括：

图像获取模块，用于分别控制所述至少两个摄像头实时获取图像；

确定模块，用于从获取的图像中确定主体检测帧，并将所述主体检测帧之后获取的图像作为主体跟踪帧；

主体检测模块，用于根据所述主体检测帧生成对应的中心权重图，其中，所述中心权重图所表示的权重值从中心到边缘逐渐减小；将所述主体检测帧和对应的所述中心权重图输入到主体检测模型中，得到所述主体检测帧的主体区域置信度图，其中，所述主体检测模型是预先根据同一场景的主体检测帧、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型；根据所述主体检测帧的主体区域置信度图确定所述主体检测帧中的目标主体；

主体跟踪模块，用于基于所述主体检测帧的目标主体，逐帧对所述主体跟踪帧进行主体跟踪。

9.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的主体跟踪方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。

Images