CN113936039A - 一种对象跟踪方法、装置及系统 - Google Patents

Abstract

本申请公开了一种对象跟踪方法、装置及系统，获取当前帧图像，对当前帧图像进行检测，确定当前帧图像中第一检测对象的检测区域，根据检测区域与预估区域确定目标区域，其中，目标区域为当前帧图像中第一检测对象实际关联的区域，预估区域为基于历史帧图像预估的第二检测对象在当前帧图像的区域。本方案通过基于历史帧图像中第二检测对象在当前帧图像的区域的预估，以及对当前帧图像中第一检测对象的检测区域的确定，实现对当前帧图像中第一检测对象实际关联区域的确定，使得最终输出的第一检测对象所在的区域既与对历史帧图像的分析相关，又与实时检测到的检测区域相关，保证了对检测对象的实时跟踪，同时提高了跟踪精度。

Description

一种对象跟踪方法、装置及系统

技术领域

本申请涉及图像识别领域，尤其涉及一种对象跟踪方法、装置及系统。

背景技术

大屏是线上和线下交互的有效媒介，传统的大屏往往采用被动式的点按操作来激活，但是这种方式效率较低，需要用户对屏幕的操作，为了避免这一问题，可以采用大屏摄像头进行人脸跟踪学习，从而激活大屏。

目前，通常基于运动信息的跟踪实现对用户上半身或人脸的跟踪，但是，由于用户运动具有随机性，那么，仅根据运动信息的跟踪无法保证跟踪的精度。

发明内容

有鉴于此，本申请提供一种对象跟踪方法、装置及系统，其具体方案如下：

一种对象跟踪方法，包括：

获取当前帧图像；

对所述当前帧图像进行检测，确定所述当前帧图像中第一检测对象的检测区域；

根据所述检测区域与预估区域确定目标区域；

其中，所述目标区域为所述当前帧图像中第一检测对象实际关联的区域，所述预估区域为基于历史帧图像预估的第二检测对象在所述当前帧图像的区域。

进一步的，所述根据所述检测区域与预估区域确定目标区域，包括：

确定所述检测区域与所述预估区域的中心点之间的第一间距，若所述第一间距小于第一预设值，确定所述第一检测对象与所述第二检测对象匹配，基于所述第一间距对所述检测区域的位置进行更新，得到目标区域；

和/或，

确定所述检测区域的尺寸及所述预估区域的尺寸，基于所述预估区域的尺寸及所述检测区域的尺寸对所述检测区域的尺寸进行调整，得到目标区域。

进一步的，所述基于所述第一间距对所述检测区域的位置进行更新，包括：

若确定所述第一间距小于第二预设值，将所述预估区域的位置确定为所述目标区域的位置，所述第二预设值小于所述第一预设值；

若确定所述第一间距大于所述第二预设值，且小于所述第一预设值，则基于所述预估区域的位置及所述检测区域的位置确定所述目标区域的位置。

进一步的，所述基于所述预估区域的位置及所述检测区域的位置确定所述目标区域的位置，包括：

确定位置估计权重，其中，所述位置估计权重是关于位置偏移比例的函数，所述位置偏移比例为所述第一间距与所述预估区域的区域宽度的比值；

基于所述位置估计权重、所述预估区域的位置坐标及所述检测区域的位置坐标确定所述目标区域的位置坐标。

进一步的，所述基于所述预估区域的尺寸及所述检测区域的尺寸对所述检测区域的尺寸进行调整，包括：

确定尺寸估计权重，所述尺寸估计权重是关于尺寸缩放比例的函数；

基于所述尺寸估计权重、预估区域的区域宽度及所述检测区域的区域宽度确定所述目标区域的尺寸。

进一步的，所述确定尺寸估计权重，包括：

确定所述检测区域与所述预估区域的区域宽度的第一差值；

基于所述第一差值的绝对值与所述预估区域的区域宽度的比值确定尺寸缩放比例；

基于所述尺寸缩放比例按照第二权重公式确定所述第一差值为正数时的第一尺寸估计权重，或，基于所述尺寸缩放比例按照第三权重公式确定所述第一差值为负数时的第二尺寸估计权重。

进一步的，所述对所述当前帧图像进行检测，确定所述当前帧图像中第一检测对象的检测区域，包括：

对所述当前帧图像进行人脸检测；

若检测到人脸，将所述人脸确定为检测部位，所述人脸所在区域确定为检测区域；若未检测到人脸，对所述当前帧图像进行人头检测；

若检测到人头，基于所述人头所在区域确定人脸的检测区域；若未检测到人头，基于所述当前帧图像的深度图像确定所述当前帧图像中是否存在近景对象；

若存在近景对象，基于所述近景对象的位置确定人脸的检测区域。

一种对象跟踪系统，包括：

获取单元，用于获取当前帧图像；

检测单元，用于对所述当前帧图像进行检测，确定所述当前帧图像中第一检测对象的检测区域；

确定单元，用于根据所述检测区域与预估区域确定目标区域；

其中，所述目标区域为所述当前帧图像中第一检测对象实际关联的区域，所述预估区域为基于历史帧图像预估的第二检测对象在所述当前帧图像的区域。

一种对象跟踪装置，包括：

处理器，用于获取当前帧图像；对所述当前帧图像进行检测，确定所述当前帧图像中第一检测对象的检测区域；根据所述检测区域与预估区域确定目标区域；其中，所述目标区域为所述当前帧图像中第一检测对象实际关联的区域，所述预估区域为基于历史帧图像预估的第二检测对象在所述当前帧图像的区域；

存储器，用于存储所述处理器执行上述处理过程的程序。

一种可读存储介质，用于至少存储一组指令集；

所述指令集用于被调用并至少执行如上任一项的对象跟踪的方法。

从上述技术方案可以看出，本申请公开的对象跟踪方法、装置及系统，获取当前帧图像，对当前帧图像进行检测，确定当前帧图像中第一检测对象的检测区域，根据检测区域与预估区域确定目标区域，其中，目标区域为当前帧图像中第一检测对象实际关联的区域，预估区域为基于历史帧图像预估的第二检测对象在当前帧图像的区域。本方案通过基于历史帧图像中第二检测对象在当前帧图像的区域的预估，以及对当前帧图像中第一检测对象的检测区域的确定，实现对当前帧图像中第一检测对象实际关联区域的确定，使得最终输出的第一检测对象所在的区域既与对历史帧图像的分析相关，又与实时检测到的检测区域相关，保证了对检测对象的实时跟踪，同时提高了跟踪精度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例公开的一种对象跟踪方法的流程图；

图2为本申请实施例公开的一种对象跟踪方法的流程图；

图3为本申请实施例公开的一种对象跟踪方法的流程图；

图4为本申请实施例公开的一种位置估计权重与第一间距的关系示意图；

图5为本申请实施例公开的一种对象跟踪方法的流程图；

图6为本申请实施例公开的一种尺寸估计权重与第一差值的绝对值的关系示意图；

图7为本申请实施例公开的一种对象跟踪方法的流程图；

图8为本申请实施例公开的一种对象跟踪系统的结构示意图；

图9为本申请实施例公开的一种对象跟踪装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请公开了一种对象跟踪方法，其流程图如图1所示，包括：

步骤S11、获取当前帧图像；

步骤S12、对当前帧图像进行检测，确定当前帧图像中第一检测对象的检测区域；

步骤S13、根据检测区域与预估区域确定目标区域，其中，目标区域为当前帧图像中第一检测对象实际关联的区域，预估区域为基于历史帧图像预估的第二检测对象在当前帧图像的区域。

当通过大屏对检测对象进行跟踪时，可根据历史帧中的运动信息进行运动分析，估计出其在当前帧图像中的区域，将该区域确定为检测对象在当前帧中所在的区域。

然而，由于检测对象是运动的，若检测对象为人，而人的运动是随机的，如：在历史帧中某个人保持匀速向前走动，则在到达当前帧时，基于历史帧中的运动规律估计出该人在当前帧中的位置，而若该人忽然停住，或者忽然跑动起来，则基于运动规律对人的位置进行分析就会出现较大的误差，导致跟踪中断的问题。

为了解决这一问题，本方案中，对图像中检测对象的跟踪不仅要基于历史帧图像中的运动信息，还需要基于对当前帧图像进行检测得到的检测区域，从而进行检测对象在当前帧图像中所在区域的确定。

具体的，获取当前帧图像，另外，还可以获得基于与当前帧图像相邻的连续预设数量个历史帧图像获得的预估区域，或者，也可以直接获得与当前帧图像相邻的连续预设数量个历史帧图像。

其中，连续预设数量个历史帧图像是指需要获取N张历史帧图像，这N张历史帧图像是连续的，并且最后一张历史帧图像是与当前帧图像相邻的，是当前帧图像的前一帧图像。并且，每一张历史帧图像中都是具有第二检测对象的，能够通过连续预设数量个历史帧图像中第二检测对象的信息进行分析，得到该第二检测对象的运动情况，从而分析出若维持历史帧图像中的运动，在到达当前帧图像时第二检测对象的预估区域，即基于历史帧图像对第二检测对象在当前帧图像中所在的区域进行分析估计。

另外，需要说明的是：获取历史帧图像，可以为直接获取多帧历史图像，即直接对多帧历史图像进行保存，以便于需要时直接获取；也可以为仅对历史帧图像中的对象位置进行存储，那么，获取历史帧图像，即为获取历史帧图像中的对象位置，实现了以较低的数据存储量对所需要的历史信息进行存储，避免了占用较大的存储空间。

在通过历史帧图像对第二检测对象在当前帧图像中所在的区域进行估计的同时，还需要对当前帧图像进行检测，以检测出当前帧图像中第一检测对象的检测区域。

在通过检测确定出当前帧图像中第一检测对象的检测区域，以及通过对历史帧图像的分析确定第二检测对象在当前帧图像的预估区域之后，根据检测区域与预估区域确定目标区域，其中，目标区域为当前帧图像中第一检测对象实际关联的区域。

根据检测区域与预估区域确定目标区域，可以为：根据检测区域的位置以及预估区域的位置确定目标区域的位置，具体可通过对检测区域及预估区域进行比较，得到比较结果，基于比较结果对检测区域进行更新，得到最终输出的当前帧图像中第一检测对象所在的目标区域。

其中，对检测区域与预估区域进行比较，其实际比较的是检测区域在当前帧图像中的位置以及预估区域在当前帧图像中的位置，从而确定两个位置之间的差距，从而确定预估区域与检测区域中的对象是否是同一个检测对象。

比较检测区域在当前帧图像中的位置与预估区域在当前帧图像中的位置，即确定检测区域的中心点在当前帧图像中的位置与预估区域的中心点在当前帧图像中的位置之间的距离，之后确定该距离是否大于预估区域的边长，即预估区域的区域宽度，若该距离大于预估区域的边长，则可确定检测区域与预估区域中的检测对象是不同的检测对象，若该距离小于预估区域的边长，则可确定检测区域与预估区域中的检测对象是同一个检测对象。

检测区域的中心点与预估区域的中心点之间的距离与预估区域的边长比较的原因是：若预估区域的位置与检测区域的位置小于预估区域的边长，就认为该预估区域的位移足够小，有较高的概率是同一个人的人脸区域。

其中，基于比较结果对检测区域进行更新，可以为：基于比较结果满足条件，对检测区域进行更新，其中，满足条件，即基于比较结果确定检测区域与预估区域中的检测对象是同一个检测对象。

当检测区域与预估区域中是同一个检测对象时，会基于预估区域的位置对检测区域的位置进行更新，从而基于预估区域的权重及检测区域的权重得到一个更准确的区域，即目标区域，将目标区域作为当前帧图像中第一检测对象的区域，输出当前帧图像时，当前帧图像中的用于表示第一检测对象区域的是目标区域，保证了最终输出的区域既与历史帧图像中的运动信息相关，又与对图像进行检测得到的区域相关，提高检测对象的跟踪精度。

另外，无论是第一检测对象，还是第二检测对象，只要确定其所在的区域，确定的都是检测对象的特定检测部位在该帧图像中的区域。该特定检测部位可以为人脸，也可以为人的上半身。

本实施例公开的对象跟踪方法，获取当前帧图像，对当前帧图像进行检测，确定当前帧图像中第一检测对象的检测区域，根据检测区域与预估区域确定目标区域，其中，目标区域为当前帧图像中第一检测对象实际关联的区域，预估区域为基于历史帧图像预估的第二检测对象在当前帧图像的区域。本方案通过基于历史帧图像中第二检测对象在当前帧图像的区域的预估，以及对当前帧图像中第一检测对象的检测区域的确定，实现对当前帧图像中第一检测对象实际关联区域的确定，使得最终输出的第一检测对象所在的区域既与对历史帧图像的分析相关，又与实时检测到的检测区域相关，保证了对检测对象的实时跟踪，同时提高了跟踪精度。

本实施例公开了一种对象跟踪方法，其流程图如图2所示，包括：

步骤S21、获取当前帧图像；

步骤S22、对当前帧图像进行检测，确定当前帧图像中第一检测对象的检测区域；

步骤S23、确定检测区域与预估区域的中心点之间的第一间距；

步骤S24、若第一间距小于第一预设值，确定第一检测对象与历史帧图像中的第二检测对象匹配，基于第一间距对检测区域的位置进行更新，得到目标区域。

在对检测区域与预估区域进行比较时，通过检测区域的中心点与预估区域的中心点之间的距离确定检测区域中的第一检测对象与预估区域中的第二检测对象是否是同一个检测对象，即若检测区域的中心点与预估区域的中心点之间的第一间距小于第一预设值，则可确定第一检测对象与第二检测对象是同一个检测对象，若是同一个检测对象，则继续后续对区域进行更新的流程，若不是同一个检测对象，则为检测区域赋予新的标识，将当前帧图像作为该第一检测对象的第一帧图像，继续进行后续检测对象的跟踪。

其中，第一预设值可以为预估区域的边长，即区域宽度，或者，第一预设值为当前帧图像的前一帧图像中的检测区域的边长。

本方案中，确定目标区域，不仅可以通过对检测区域的中心点与预估区域的中心点之间的距离进行确定而实现对目标区域的确定，还可以通过对区域的尺寸的确定实现对目标区域的确定。

对检测区域进行更新，其实际更新的是第一检测对象在当前帧图像中所在的位置及该区域的尺寸大小。若当前帧图像中第一检测对象的位置变化较小，则可仅对区域的尺寸进行更新；若第一检测对象所对应区域的尺寸变化较小，则可仅对该检测对象的位置进行更新。

其中，在基于第一间距确定第一检测对象与第二检测对象是同一个检测对象之后，可以根据第一间距对检测区域的位置进行更新，另外，还可以根据检测区域的尺寸及预估区域的尺寸对检测区域的尺寸进行调整，将更新后的位置及尺寸确定为目标区域的位置及尺寸。

若仅针对某一个用户使用大屏设备，由大屏设备对用户进行检测的情况，那么，通过对当前帧图像进行检测最终得到的检测区域只能是1个，在对当前帧图像进行检测时，其检测到的检测区域可以为多个，仅从中选取区域的尺寸最大的一个作为检测出的检测区域。

用户使用大屏设备或者离开大屏设备，这两种情况下，用户的运动速度会有明显变化，因此，基于历史帧图像的运动规律确定的预估区域若与检测到的检测区域的位置之间差距较大，但是小于第一预设值时，就认为是同一个用户，但是用户的状态发生了变化，此时，需要对用户的区域所在位置进行更新。

基于第一间距对检测区域的位置进行更新，即当检测区域的中心点与预估区域的中心点不同时，从两个中心点的连线所在的区域内选择一个点，作为目标区域的中心点，从而实现对当前帧图像中第一检测对象所在区域的确定。

另外，用户在当前帧图像中所在区域的尺寸是随着用户与大屏设备之间的距离确定的，当用户与大屏设备之间的距离减小时，表明用户正在靠近屏幕，当用户与大屏设备之间的距离增大时，表明用户正在远离屏幕。而确定用户是在靠近屏幕还是在远离屏幕则是通过检测区域的区域宽度与预估区域的区域宽度之间的第一差值确定的，若第一差值小于0，则确定用户正在远离屏幕，若第一差值大于0，则确定用户正在靠近屏幕，若第一差值等于0，则确定用户与屏幕之间的距离并未发生变化，此时用户所在区域的尺寸无需变化。

同理，只要检测区域的尺寸与预估区域的尺寸不完全相同，就需要对第一检测对象所在区域的尺寸进行重新确定，选取介于检测区域的尺寸数值与预估区域的尺寸数值之间的一个尺寸数值，即确定两个尺寸，选取两个尺寸之间的一个数值，将该数值作为目标区域的尺寸。

本实施例公开的对象跟踪方法，获取当前帧图像，对当前帧图像进行检测，确定当前帧图像中第一检测对象的检测区域，根据检测区域与预估区域确定目标区域，其中，目标区域为当前帧图像中第一检测对象实际关联的区域，预估区域为基于历史帧图像预估的第二检测对象在当前帧图像的区域。本方案通过基于历史帧图像中第二检测对象在当前帧图像的区域的预估，以及对当前帧图像中第一检测对象的检测区域的确定，实现对当前帧图像中第一检测对象实际关联区域的确定，使得最终输出的第一检测对象所在的区域既与对历史帧图像的分析相关，又与实时检测到的检测区域相关，保证了对检测对象的实时跟踪，同时提高了跟踪精度。

本实施例公开了一种对象跟踪方法，其流程图如图3所示，包括：

步骤S31、获取当前帧图像；

步骤S32、对当前帧图像进行检测，确定当前帧图像中第一检测对象的检测区域；

步骤S33、确定检测区域与预估区域的中心点之间的第一间距；步骤S34、若第一间距小于第二预设值，将预估区域的位置确定为目标区域的位置；若确定第一间距大于第二预设值，且小于第一预设值，则基于预估区域的位置及检测区域的位置确定目标区域的位置。

若第一间距大于第一预设值，则认为第一检测对象与第二检测对象并非同一个检测对象，无需进行后续位置更新；只要第一间距小于第一预设值，就认为是同一个检测对象，需要进行当前帧图像中该检测对象所在位置的调整。

只要第一间距小于第一预设值，就可以基于预估区域的位置及检测区域的位置确定目标区域的位置，在进行目标区域的位置确定时，还可以增加第二预设值的判断，即若第一间距小于第二预设值，则可直接将预估区域的位置确定为目标区域的位置，其中，第二预设值为一个偏小的数值，表明当检测区域的中心点与预估区域的中心点所在的位置之间的偏差可以忽略，此时，认为用户按照历史帧图像中估计出的轨迹运动，则可默认为基于历史帧图像估计出的位置是准确的，无需进行更新。

若第一间距位于第一预设值与第二预设值之间时，需要对当前帧图像中第一检测对象所在位置进行更新。对位置进行更新时，需要基于预估区域所占的权重与检测区域所占的权重来确定，若预估区域的位置的权重接近1，则检测区域的位置的权重接近0，此时，最终得到的目标区域的位置更靠近预估区域；若预估区域的位置的权重接近0，则检测区域的位置的权重接近1，此时，最终得到的目标区域的位置更靠近检测区域。

具体的，确定位置估计权重，基于位置估计权重、预估区域的位置坐标及检测区域的位置坐标确定目标区域的位置坐标。

其中，位置估计权重是关于位置偏移比例的函数，位置偏移比例为第一间距与预估区域的区域宽度的比值，位置估计权重是：在检测区域与预估区域之间，预估区域的位置所占的权重，而检测区域的位置所占的权重为1与位置估计权重的差。

位置估计权重通过第一权重公式得到，具体的，基于第一间距与预估区域的区域宽度的比值确定位置偏移比例，基于位置偏移比例按照第一权重公式确定位置估计权重。

若检测区域的中心坐标及高宽为四元组(x,y,w,h)，预估区域的中心坐标及高宽为四元组

目标区域的中心坐标及高宽为四元组

其中，(x,y)为检测区域的中心坐标，

为预估区域的中心坐标，

为目标区域的中心坐标，w为检测区域的区域宽度，

为预估区域的区域宽度，

为目标区域的区域宽度，h为检测区域的高，

为预估区域的高，

为目标区域的高。

检测区域的中心坐标与预估区域的中心坐标之间的第一间距d为：

检测区域与预估区域的区域宽度之间的第一差值d_w为：

基于第一间距与预估区域的区域宽度的比值确定位置偏移比例，则位置偏移比例r_p为：

其中，r_p∈[0,+∞)

则位置估计权重w_p为：

其中，w_p∈(0,1]，则检测区域的位置所占的权重为1-w_p。

位置估计权重的示意图如图4所示，其中，纵坐标为预估区域的位置估计权重，横坐标为检测区域的中心点与预估区域的中心点之间的间距，由图中可明确，当检测区域的中心点与预估区域的中心点之间的间距较小时，预估区域的位置估计权重较大，随着检测区域的中心点与预估区域的中心点之间的间距的增大，预估区域的位置估计权重减小。

则基于权重、预估区域及检测区域的位置确定目标区域的位置为：

即，若预估区域的位置估计权重w_p越接近1，则检测区域的位置的权重接近0，此时，最终得到的目标区域的位置更靠近预估区域；若预估区域的位置的权重接近0，则检测区域的位置的权重接近1，此时，最终得到的目标区域的位置更靠近检测区域。

本实施例公开的对象跟踪方法，获取当前帧图像，对当前帧图像进行检测，确定当前帧图像中第一检测对象的检测区域，根据检测区域与预估区域确定目标区域，其中，目标区域为当前帧图像中第一检测对象实际关联的区域，预估区域为基于历史帧图像预估的第二检测对象在当前帧图像的区域。本方案通过基于历史帧图像中第二检测对象在当前帧图像的区域的预估，以及对当前帧图像中第一检测对象的检测区域的确定，实现对当前帧图像中第一检测对象实际关联区域的确定，使得最终输出的第一检测对象所在的区域既与对历史帧图像的分析相关，又与实时检测到的检测区域相关，保证了对检测对象的实时跟踪，同时提高了跟踪精度。

本实施例公开了一种对象跟踪方法，其流程图如图5所示，包括：

步骤S51、获取当前帧图像；

步骤S52、对当前帧图像进行检测，确定当前帧图像中第一检测对象的检测区域；

步骤S53、确定检测区域的尺寸及预估区域的尺寸；

步骤S54、确定尺寸估计权重，尺寸估计权重是关于尺寸缩放比例的函数；

步骤S55、基于尺寸估计权重、预估区域的区域宽度及检测区域的区域宽度确定目标区域的尺寸。

在第一检测对象与第二检测对象为同一个检测对象的情况下，可直接基于预估区域的尺寸及检测区域的尺寸对目标区域的尺寸进行确定，在对目标区域的尺寸进行确定的过程中，还可以增加第一差值是否为0的判断。其中，第一差值为检测区域与预估区域的区域宽度之间的差值，即若第一差值为0，则可直接将预估区域的位置确定为目标区域的位置，此时，表明检测区域的尺寸与预估区域的尺寸完全相同，该检测对象并未相对于屏幕进行前后的移动，无需进行尺寸的调节。

若第一差值为非0值，无论此时第一差值是大于0，还是小于0，都需要对当前帧图像中第一检测对象的区域的尺寸进行更新。对尺寸进行更新时，需要基于预估区域所占的权重与检测区域所占的权重来确定，若预估区域的尺寸的权重接近1，则检测区域的尺寸的权重接近0，此时，最终得到的目标区域的尺寸更接近预估区域的尺寸；若预估区域的尺寸的权重接近0，则检测区域的尺寸的权重接近1，此时，最终得到的目标区域的尺寸更接近检测区域的尺寸。

具体的，确定尺寸估计权重，基于尺寸估计权重、预估区域的区域宽度及检测区域的区域宽度确定目标区域的尺寸。

其中，尺寸估计权重是关于尺寸缩放比例的函数，具体的，尺寸估计权重是：在检测区域与预估区域之间，预估区域的尺寸所占的权重，而检测区域的尺寸的权重为1与尺寸估计权重的差。

第一差值大于0时，与第一差值小于0时，所采用的尺寸估计权重是不同的，其中，通过第二权重公式确定第一差值大于0时的尺寸估计权重，通过第三权重公式确定第一差值小于0时的尺寸估计权重。

具体的，基于第一差值的绝对值与预估区域的区域宽度的比值确定尺寸缩放比例，基于尺寸缩放比例按照第二权重公式确定第一差值为正数时的第一尺寸估计权重，或，基于尺寸缩放比例按照第三权重公式确定第一差值为负数时的第二尺寸估计权重。

若检测区域的中心坐标及高宽为四元组(x,y,w,h)，预估区域的中心坐标及高宽为四元组

目标区域的中心坐标及高宽为四元组

基于第一差值的绝对值与预估区域的区域宽度的比值确定尺寸缩放比例，则尺寸缩放比例为：

其中，r_s∈[0,+∞)

则尺寸估计权重w_s为：

其中，w_s∈(0,1]，则检测区域的尺寸所占的权重为1-w_s。

预估区域的尺寸估计权重的示意图如图6所示，其中，纵坐标为预估区域的尺寸估计权重，横坐标为检测区域的区域宽度与预估区域的区域宽度之间的差值的绝对值，由图中可明确，横坐标为检测区域的区域宽度与预估区域的区域宽度之间的第一差值大于0，或者，第一差值小于0时，采用的是两条不同的曲线。

当第一差值小于0时，第一差值的绝对值较小时，预估区域的尺寸估计权重较大，随着第一差值的绝对值的增大，预估区域的尺寸估计权重减小，当第一差值的绝对值达到某一数值后，随着第一差值的绝对值的继续增大，预估区域的尺寸估计权重增加；

当第一差值大于等于0时，第一差值减小时，预估区域的尺寸估计权重较大，随着第一差值的增大，预估区域的尺寸估计权重减小。

则基于权重、预估区域及检测区域的尺寸确定目标区域的尺寸为：

即，若预估区域的尺寸估计权重越接近1，则检测区域的尺寸的权重越接近0，此时，最终得到的目标区域的尺寸更接近预估区域的尺寸；若预估区域的尺寸的权重接近0，则检测区域的尺寸的权重接近1，此时，最终得到的目标区域的尺寸更接近检测区域的尺寸。

其中，如果d_w＜0，且|d_w|过大，可能是误跟踪到了检测对象身后的路人，此时需要倾向于采用预估区域的尺寸作为目标区域的尺寸，尺寸估计权重中能够过滤这种情况，如：

大于约0.544时，w_s将大于0.5，尺寸倾向逻辑更倾向于

直接采用预估区域的区域宽度，从而保证帧图像跟踪时检测区域的尺寸不发生明显改变，以保证识别效果。

本实施例公开的对象跟踪方法，获取当前帧图像，对当前帧图像进行检测，确定当前帧图像中第一检测对象的检测区域，根据检测区域与预估区域确定目标区域，其中，目标区域为当前帧图像中第一检测对象实际关联的区域，预估区域为基于历史帧图像预估的第二检测对象在当前帧图像的区域。本方案通过基于历史帧图像中第二检测对象在当前帧图像的区域的预估，以及对当前帧图像中第一检测对象的检测区域的确定，实现对当前帧图像中第一检测对象实际关联区域的确定，使得最终输出的第一检测对象所在的区域既与对历史帧图像的分析相关，又与实时检测到的检测区域相关，保证了对检测对象的实时跟踪，同时提高了跟踪精度。

本实施例公开了一种对象跟踪方法，其流程图如图7所示，包括：

步骤S71、获取当前帧图像；

步骤S72、对当前帧图像进行人脸检测；

步骤S73、若检测到人脸，将人脸确定为检测部位，人脸所在区域确定为检测区域；若未检测到人脸，对当前帧图像进行人头检测；

步骤S74、若检测到人头，基于人头所在区域确定人脸的检测区域；若未检测到人头，基于当前帧图像的深度图像确定当前帧图像中是否存在近景对象；若存在近景对象，基于近景对象确定人脸的检测区域；

步骤S75、根据检测区域与预估区域确定目标区域，其中，目标区域为当前帧图像中第一检测对象实际关联的区域，预估区域为基于历史帧图像预估的第二检测对象在当前帧图像的区域。

本方案能够应用于对多个对象的分别检测，也能够应用于对一个对象的检测，若为多个对象，则可以为大屏放置在公共场所的出入口，用来跟踪出入人员，以便于进一步对跟踪到的出入人员的体温信息进行检测；若为一个对象，可以为该一个对象对电子设备进行操作，通过对该对象的跟踪确定该对象是否离开设备。

对当前帧图像进行检测时，可以仅检测当前帧图像中的检测对象的特定检测部位，该特定检测部位可以为人脸，也可以为人的上半身，只要能够实现对不同检测对象的区分即可。

以对一个检测对象进行跟踪检测，且特定检测部位是人脸为例进行说明，对当前帧图像进行检测，确定当前帧图像中第一检测对象的检测区域，包括：

对视频帧图像区分关键帧和非关键帧，通过卷积神经网络模型对关键帧图像进行检测，具体的，若当前帧图像为第一帧关键帧图像，则首先通过关键帧人头人脸检测模型进行当前帧图像中所有人头人脸的检测，若仅检测到人头或背景，则不对目标进行跟踪，若检测到人脸，为了减少误检，将检测到的人脸部分的图像区域裁切后进行局部检测，若局部检测仍检测到人脸，且人脸区域的尺寸符合正在使用电子设备的用户面部占图像的尺寸，则输出该人脸区域，即人脸框，并赋予新的ID。在每一个帧图像中，仅保留1个人脸框，这一个人脸框是从检测出的所有人脸框中选择出的宽度最大的一个，宽度最大的框是与屏幕距离最近的框；

其中，关键帧人头人脸检测模型是一个基于卷积神经网络的单阶段检测模型，具有精度高，但运行速度慢的特定，该检测模型的输入尺寸为640*480*3的BGR图像，输出结果是视频采集区域的所有人头和人脸的检测框和置信度。

若当前帧图像为非第一帧关键帧图像，首先通过历史帧图像中的人脸框估计出其在当前帧中的预估位置，通过局部人脸检测模型对这些预估位置处的图像区域进行检测，若检测到人脸，则其处理模式与第一帧关键帧处理模型相同；若检测到人头或者人脸检测的分数较低，则通过局部人头检测模型进行局部人头的检测，若检测到人头框，则基于人头框的位置确定出人脸框的位置，并对确定出的人脸框的位置输出；若未检测到人脸，也未检测到人头，或者，人脸检测的分数较低，同时人头检测的分数也较低，则通过深度图像检测的方式对当前帧图像的深度图像进行检测，以确定是否由近景对象，并在检测到近景对象时，基于近景对象的位置确定出人脸框的位置进行输出。

其中，局部人脸检测模型是一个基于卷积神经网络的分类回归器，具有精度较低，但运行速度快的特点，该回归器只检测固定尺寸图像块中的单个人脸，输入为边长为49像素的三通道BGR图像，输出为图像中置信度最大的单个人脸的位置及置信度；

局部人头检测模型是一个基于卷积神经网络的单阶段检测模型，相对于局部人脸检测模型较重，具有精度相对较低，但速度相对较快的特点，该监测模型的输入为边长72-96像素的三通道BGR图像，输出为图像中所有人头的检测框坐标及置信度。

其中，深度图像使用16位无符号整型来存储，使用时，需要依据第一相机内参depth Scale将深度图像中的数据转化为不依赖相机型号的距离度量，而是采用统一的度量，以便于进行后续近景对象的确定；

另外，由于相机摄像头位置设计的原因，RGB图像和深度图像虽然尺寸相同，但是视角和交局不同，这就会导致BGR图像和深度图像的成像存在偏移和缩放，因此，需要使用第二相机内参进行调整对齐，在调整对齐后，对于局部人头检测和局部人脸检测无法确定的区域，可以使用深度图像检测的方式检测该区域的距离信息，从而确定是否有近景对象，若有近景对象，则在摄像头设置在电子设备屏幕上的基础上，能够表明有对象距离屏幕较近。

其中，确定是否存在近景对象，可通过如下方式进行：

设第i行第j列检测框与屏幕的距离为D_ij，检测框中心坐标及高宽用一个四元组表示，设为(x,y,w,h)，(x,y)为检测框的中心坐标，w为检测框的区域宽度，h为检测框的高，合理的距离范围下限为low，上限为high，定义函数：

进行如下计算：

如果计算结果满足上述公式，则认为存在近景对象，否则认为不存在近景对象。

对于非关键帧图像，与非第一帧关键帧图像的处理逻辑类似，无论是非第一帧关键帧图像，还是非关键帧图像，在输出人脸框之后，需要将人脸框与基于历史帧图像估计出的预估位置进行判断，确定人脸框与预估位置处的框是否对应同一个检测对象，若是同一个检测对象，则需要基于人脸框与预估位置的比较，进行最终输出的目标区域的确定。

本实施例公开的对象跟踪方法，获取当前帧图像，对当前帧图像进行检测，确定当前帧图像中第一检测对象的检测区域，根据检测区域与预估区域确定目标区域，其中，目标区域为当前帧图像中第一检测对象实际关联的区域，预估区域为基于历史帧图像预估的第二检测对象在当前帧图像的区域。本方案通过基于历史帧图像中第二检测对象在当前帧图像的区域的预估，以及对当前帧图像中第一检测对象的检测区域的确定，实现对当前帧图像中第一检测对象实际关联区域的确定，使得最终输出的第一检测对象所在的区域既与对历史帧图像的分析相关，又与实时检测到的检测区域相关，保证了对检测对象的实时跟踪，同时提高了跟踪精度。

本实施例公开了一种对象跟踪系统，其结构示意图如图8所实施，包括：

获取单元81，检测单元82，第一确定单元83及输出单元84。

其中，获取单元81用于获取当前帧图像；

检测单元82用于对当前帧图像进行检测，确定当前帧图像中第一检测对象的检测区域；

确定单元83用于根据检测区域与预估区域确定目标区域；

其中，目标区域为当前帧图像中第一检测对象实际关联的区域，预估区域为基于历史帧图像预估的第二检测对象在当前帧图像的区域。

进一步的，确定单元用于：

确定检测区域与预估区域的中心点之间的第一间距，若第一间距小于第一预设值，确定第一检测对象与第二检测对象匹配，基于第一间距对检测区域的位置进行更新，得到目标区域；

和/或，

确定检测区域的尺寸及预估区域的尺寸，基于预估区域的尺寸及检测区域的尺寸对检测区域的尺寸进行调整，得到目标区域。

进一步的，确定单元基于第一间距对检测区域的位置进行更新，包括：

若确定第一间距小于第二预设值，将预估区域的位置确定为目标区域的位置，第二预设值小于第一预设值；

若确定第一间距大于第二预设值，且小于第一预设值，则基于预估区域的位置及检测区域的位置确定目标区域的位置。

进一步的，确定单元基于预估区域的位置及检测区域的位置确定目标区域的位置，包括：

确定位置估计权重，其中，位置估计权重是关于位置偏移比例的函数，位置偏移比例为第一间距与预估区域的区域宽度的比值；基于位置估计权重、预估区域的位置坐标及检测区域的位置坐标确定目标区域的位置坐标。

进一步的，确定单元基于预估区域的尺寸及检测区域的尺寸对检测区域的尺寸进行调整，包括：

确定尺寸估计权重，尺寸估计权重是关于尺寸缩放比例的函数；

基于尺寸估计权重、预估区域的区域宽度及检测区域的区域宽度确定目标区域的尺寸。

进一步的，确定单元确定尺寸估计权重，包括：

确定检测区域与预估区域的区域宽度的第一差值；

基于第一差值的绝对值与预估区域的区域宽度的比值确定尺寸缩放比例；基于尺寸缩放比例按照第二权重公式确定第一差值为正数时的第一尺寸估计权重，或，基于尺寸缩放比例按照第三权重公式确定第一差值为负数时的第二尺寸估计权重。

进一步的，检测单元用于：

对当前帧图像进行人脸检测；若检测到人脸，将人脸确定为检测部位，人脸所在区域确定为检测区域；若未检测到人脸，对当前帧图像进行人头检测；若检测到人头，基于人头所在区域确定人脸的检测区域；若未检测到人头，基于当前帧图像的深度图像确定当前帧图像中是否存在近景对象；若存在近景对象，基于近景对象的位置确定人脸的检测区域。

本实施例公开的对象跟踪系统是基于上述实施例公开的对象跟踪方法实现的，在此不再赘述。

本实施例公开的对象跟踪系统，获取当前帧图像，对当前帧图像进行检测，确定当前帧图像中第一检测对象的检测区域，根据检测区域与预估区域确定目标区域，其中，目标区域为当前帧图像中第一检测对象实际关联的区域，预估区域为基于历史帧图像预估的第二检测对象在当前帧图像的区域。本方案通过基于历史帧图像中第二检测对象在当前帧图像的区域的预估，以及对当前帧图像中第一检测对象的检测区域的确定，实现对当前帧图像中第一检测对象实际关联区域的确定，使得最终输出的第一检测对象所在的区域既与对历史帧图像的分析相关，又与实时检测到的检测区域相关，保证了对检测对象的实时跟踪，同时提高了跟踪精度。

本实施例公开了一种对象跟踪装置，其结构示意图如图9所实施，包括：

处理器91及存储器92。

其中，处理器91用于获取当前帧图像；对当前帧图像进行检测，确定当前帧图像中第一检测对象的检测区域；根据检测区域与预估区域确定目标区域；其中，目标区域为当前帧图像中第一检测对象实际关联的区域，预估区域为基于历史帧图像预估的第二检测对象在当前帧图像的区域；

存储器92用于存储处理器执行上述处理过程的程序。

本实施例公开的对象跟踪装置是基于上述实施例公开的对象跟踪方法实现的，在此不再赘述。

本实施例公开的对象跟踪装置，获取当前帧图像，对当前帧图像进行检测，确定当前帧图像中第一检测对象的检测区域，根据检测区域与预估区域确定目标区域，其中，目标区域为当前帧图像中第一检测对象实际关联的区域，预估区域为基于历史帧图像预估的第二检测对象在当前帧图像的区域。本方案通过基于历史帧图像中第二检测对象在当前帧图像的区域的预估，以及对当前帧图像中第一检测对象的检测区域的确定，实现对当前帧图像中第一检测对象实际关联区域的确定，使得最终输出的第一检测对象所在的区域既与对历史帧图像的分析相关，又与实时检测到的检测区域相关，保证了对检测对象的实时跟踪，同时提高了跟踪精度。

本申请实施例还提供了一种可读存储介质，其上存储有计算机程序，计算机程序被处理器加载并执行，实现上述多对象跟踪方法的各步骤，具体实现过程可以参照上述实施例相应部分的描述，本实施例不做赘述。

本申请还提出了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述对象跟踪方法方面的各种可选实现方式中所提供方法，具体实现过程可以参照上述相应实施例的描述，不做赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种对象跟踪方法，其特征在于，包括：

获取当前帧图像；

对所述当前帧图像进行检测，确定所述当前帧图像中第一检测对象的检测区域；

根据所述检测区域与预估区域确定目标区域；

其中，所述目标区域为所述当前帧图像中第一检测对象实际关联的区域，所述预估区域为基于历史帧图像预估的第二检测对象在所述当前帧图像的区域。

2.根据权利要求1所述的方法，其特征在于，所述根据所述检测区域与预估区域确定目标区域，包括：

确定所述检测区域与所述预估区域的中心点之间的第一间距，若所述第一间距小于第一预设值，确定所述第一检测对象与所述第二检测对象匹配，基于所述第一间距对所述检测区域的位置进行更新，得到目标区域；

和/或，

确定所述检测区域的尺寸及所述预估区域的尺寸，基于所述预估区域的尺寸及所述检测区域的尺寸对所述检测区域的尺寸进行调整，得到目标区域。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一间距对所述检测区域的位置进行更新，包括：

若确定所述第一间距小于第二预设值，将所述预估区域的位置确定为所述目标区域的位置，所述第二预设值小于所述第一预设值；

若确定所述第一间距大于所述第二预设值，且小于所述第一预设值，则基于所述预估区域的位置及所述检测区域的位置确定所述目标区域的位置。

4.根据权利要求3所述的方法，其特征在于，所述基于所述预估区域的位置及所述检测区域的位置确定所述目标区域的位置，包括：

确定位置估计权重，其中，所述位置估计权重是关于位置偏移比例的函数，所述位置偏移比例为所述第一间距与所述预估区域的区域宽度的比值；

基于所述位置估计权重、所述预估区域的位置坐标及所述检测区域的位置坐标确定所述目标区域的位置坐标。

5.根据权利要求2所述的方法，其特征在于，所述基于所述预估区域的尺寸及所述检测区域的尺寸对所述检测区域的尺寸进行调整，包括：

确定尺寸估计权重，所述尺寸估计权重是关于尺寸缩放比例的函数；

基于所述尺寸估计权重、预估区域的区域宽度及所述检测区域的区域宽度确定所述目标区域的尺寸。

6.根据权利要求5所述的方法，其特征在于，所述确定尺寸估计权重，包括：

确定所述检测区域与所述预估区域的区域宽度的第一差值；

基于所述第一差值的绝对值与所述预估区域的区域宽度的比值确定尺寸缩放比例；

基于所述尺寸缩放比例按照第二权重公式确定所述第一差值为正数时的第一尺寸估计权重，或，基于所述尺寸缩放比例按照第三权重公式确定所述第一差值为负数时的第二尺寸估计权重。

7.根据权利要求1所述的方法，其特征在于，所述对所述当前帧图像进行检测，确定所述当前帧图像中第一检测对象的检测区域，包括：

对所述当前帧图像进行人脸检测；

若检测到人脸，将所述人脸确定为检测部位，所述人脸所在区域确定为检测区域；若未检测到人脸，对所述当前帧图像进行人头检测；

若检测到人头，基于所述人头所在区域确定人脸的检测区域；若未检测到人头，基于所述当前帧图像的深度图像确定所述当前帧图像中是否存在近景对象；

若存在近景对象，基于所述近景对象的位置确定人脸的检测区域。

8.一种对象跟踪系统，其特征在于，包括：

获取单元，用于获取当前帧图像；

检测单元，用于对所述当前帧图像进行检测，确定所述当前帧图像中第一检测对象的检测区域；

确定单元，用于根据所述检测区域与预估区域确定目标区域；

其中，所述目标区域为所述当前帧图像中第一检测对象实际关联的区域，所述预估区域为基于历史帧图像预估的第二检测对象在所述当前帧图像的区域。

9.一种对象跟踪装置，其特征在于，包括：

处理器，用于获取当前帧图像；对所述当前帧图像进行检测，确定所述当前帧图像中第一检测对象的检测区域；根据所述检测区域与预估区域确定目标区域；其中，所述目标区域为所述当前帧图像中第一检测对象实际关联的区域，所述预估区域为基于历史帧图像预估的第二检测对象在所述当前帧图像的区域；

存储器，用于存储所述处理器执行上述处理过程的程序。

10.一种可读存储介质，用于至少存储一组指令集；

所述指令集用于被调用并至少执行如上任一项的对象跟踪的方法。

Images