CN110866480B - 对象的跟踪方法及装置、存储介质、电子装置 - Google Patents

Abstract

本发明提供了一种对象的跟踪方法及装置、存储介质、电子装置，该方法包括：在通过第一摄像设备对目标区域进行视频监控所得到的第N帧图像中确定位于目标区域中的跟踪对象的第一跟踪信息；在通过第一摄像设备对目标区域进行视频监控所得到的第M帧图像中确定出目标区域内不存在跟踪对象，其中，M>N，M、N均为正整数；基于第一跟踪信息获取第二跟踪信息，其中，第二跟踪信息是通过第二摄像设备对目标区域进行视频监控所得到的；利用第二跟踪信息对跟踪对象进行跟踪。通过本发明，解决了对对象的跟踪不准确的问题，达到准确跟踪的效果。

Description

对象的跟踪方法及装置、存储介质、电子装置

技术领域

本发明涉及计算机领域，具体而言，涉及一种对象的跟踪方法及装置、存储介质、电子装置。

背景技术

现有目标跟踪装备多为单目摄像头，由于球机涉及到变倍操作，目标被遮挡时视野较小，因此当跟踪目标过程中出现物体遮挡，目标被交叉遮挡时欠缺处理，导致丢失所跟踪的目标。

针对上述技术问题，相关技术中尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种对象的跟踪方法及装置、存储介质、电子装置，以至少解决相关技术中对对象的跟踪不准确的问题。

根据本发明的一个实施例，提供了一种对象的跟踪方法，包括：在通过第一摄像设备对目标区域进行视频监控所得到的第N帧图像中确定位于所述目标区域中的跟踪对象的第一跟踪信息；在通过第一摄像设备对所述目标区域进行视频监控所得到的第M帧图像中确定出所述目标区域内不存在所述跟踪对象，其中，M>N，所述M、N均为正整数；基于所述第一跟踪信息获取第二跟踪信息，其中，所述第二跟踪信息是通过第二摄像设备对所述目标区域进行视频监控所得到的；利用所述第二跟踪信息对所述跟踪对象进行跟踪。

根据本发明的另一个实施例，提供了一种对象的跟踪装置，包括：第一确定模块，用于在通过第一摄像设备对目标区域进行视频监控所得到的第N帧图像中确定位于所述目标区域中的跟踪对象的第一跟踪信息；第二确定模块，用于在通过第一摄像设备对所述目标区域进行视频监控所得到的第M帧图像中确定出所述目标区域内不存在所述跟踪对象，其中，M>N，所述M、N均为正整数；第一获取模块，用于基于所述第一跟踪信息获取第二跟踪信息，其中，所述第二跟踪信息是通过第二摄像设备对所述目标区域进行视频监控所得到的；第一跟踪模块，用于利用所述第二跟踪信息对所述跟踪对象进行跟踪。

可选地，上述装置还包括：第三确定模块，用于在通过所述第一摄像设备对所述目标区域进行视频监控所得到的第N帧图像中确定位于所述目标区域中的跟踪对象的第一跟踪信息之前，通过所述第一摄像设备对所述目标区域进行视频监控得到所述第N帧图像；分割模块，用于从所述第N帧图像中分割出前景图像；第四确定模块，用于利用所述前景图像确定出所述第N帧图像中的所述跟踪对象。

可选地，上述第二确定模块，包括：第一确定单元，用于从所述第N帧图像中确定所述跟踪对象在所述目标区域中的运动速度和运动方向；第二确定单元，用于利用所述运动速度和所述运动方向确定在所述第M帧图像中不存在所述跟踪对象。

可选地，上述第一确定单元，包括：第一确定子单元，用于划分所述第N帧图像，得到K个图像块；确定所述跟踪对象分别在所述K个图像块中每个图像块中的运动矢量，得到K个运动矢量，其中，所述运动矢量对应于所述运动速度和运动方向；第二确定子单元，用于利用所述运动速度和所述运动方向确定在所述第M帧图像中不存在所述跟踪对象，包括：第三确定子单元，用于量化所述K个运动矢量，得到所述跟踪对象的矢量直方图；第四确定子单元，用于在所述矢量直方图中的最大值为第一预设值的情况下，确定所述第一摄像设备处于停止工作状态，以确定在所述第M帧图像中不存在所述跟踪对象。

可选地，上述第二确定模块，包括：第三确定单元，用于从所述第M帧图像中确定与所述跟踪对象匹配的像素点；第四确定单元，用于利用所述像素点确定所述跟踪对象在所述第M帧图像中的颜色直方图；第五确定单元，用于在所述颜色直方图与预设颜色直方图的匹配度小于第二预设值的情况下，确定出所述目标区域内不存在所述跟踪对象，其中，所述预设颜色直方图是基于所述第N帧图像中包括的所述跟踪对象的像素点确定的。

可选地，第一获取模块，包括：第六确定单元，用于对所述第一跟踪信息中所述跟踪对象的第一坐标信息进行坐标转化后设置在预设坐标系中，得到第二坐标信息第七确定单元，用于将所述第二坐标信息设置在与所述第二摄像设备对应的坐标系中，得到第三坐标信息；第八确定单元，用于将所述第一跟踪信息中的所述跟踪对象在所述目标区域中的速度矢量设置在与所述第二摄像设备对应的坐标系中，得到速度矢量信息；第九确定单元，用于将所述第三坐标信息和所述速度矢量信息确定为所述第二跟踪信息。

可选地，第一跟踪模块，包括：分割单元，用于利用所述第三坐标信息和所述速度矢量信息对第O帧图像进行光流分割，得到所述跟踪对象在所述第O帧图像中的平面区域，其中，M>O，所述O为正整数，所述第O帧图像是通过所述第二摄像设备获取的，所述第O帧图像中包括所述跟踪对象；提取单元，用于在所述平面区域中提取所述跟踪对象的特征像素点；第九确定单元，用于基于所述跟踪对象的特征像素点确定所述第O帧图像的二值图；移动单元，用于将所述第O帧图像的二值图中标识信息为第三预设值的特征像素点按照预设数值进行移动，得到当前帧图像的二值图，其中，所述当前帧图像是所述第二摄像设备拍摄得到的；第十确定单元，用于将所述当前帧图像的二值图所标识的位置确定为所述跟踪对象在所述当前帧图像中的位置，以跟踪所述跟踪对象。

可选地，上述第一跟踪模块，包括：第十一确定单元，用于从所述第三坐标信息中确定出所述第二摄像设备的坐标系的坐标范围；第十二确定单元，用于确定所述坐标范围内的像素点的颜色直方图；第十三确定单元，用于确定所述坐标范围内的像素点的颜色直方图与所述第N帧的颜色直方图之间的匹配度；跟踪单元，用于利用所述匹配度确定所述跟踪对象在所述坐标范围内的位置，以跟踪所述跟踪对象。

根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，由于在通过第一摄像设备对目标区域进行视频监控所得到的第N帧图像中确定位于目标区域中的跟踪对象的第一跟踪信息；在通过第一摄像设备对目标区域进行视频监控所得到的第M帧图像中确定出目标区域内不存在跟踪对象，其中，M>N，M、N均为正整数；基于第一跟踪信息获取第二跟踪信息，其中，第二跟踪信息是通过第二摄像设备对目标区域进行视频监控所得到的；利用第二跟踪信息对跟踪对象进行跟踪。因此，可以解决对对象的跟踪不准确的问题，达到准确跟踪的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的一种对象的跟踪方法的移动终端的硬件结构框图；

图2是根据本发明实施例的对象的跟踪方法的流程图；

图3是根据本发明实施例的系统的流程图；

图4是根据本发明实施例具体流程图图；

图5是根据本发明可选实施例的坐标变换的示意图(一)；

图6是根据本发明可选实施例的坐标变换的示意图(二)；

图7是根据本发明可选实施例的获取区域位置的示意图(一)；

图8是根据本发明可选实施例的获取区域位置的示意图(二)；

图9是根据本发明可选实施例的获取区域位置的示意图(三)；

图10是根据本发明可选实施例的获取区域位置的示意图(四)；

图11是根据本发明实施例的对象的跟踪装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种对象的跟踪方法的移动终端的硬件结构框图。如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的对象的跟踪方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种对象的跟踪方法，图2是根据本发明实施例的对象的跟踪方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，在通过第一摄像设备对目标区域进行视频监控所得到的第N帧图像中确定位于目标区域中的跟踪对象的第一跟踪信息；

步骤S204，在通过第一摄像设备对目标区域进行视频监控所得到的第M帧图像中确定出目标区域内不存在跟踪对象，其中，M>N，M、N均为正整数；

可选地，在本实施例中，第M帧图像是第N帧图像的下一帧图像，即跟踪对象在第M帧图像中出现丢失或者是遮挡。造成第一摄像设备对跟踪对象跟踪不到的问题。第一摄像设备包括但不限于是长焦摄像头，对第一对象进行特写跟踪。

步骤S206，基于第一跟踪信息获取第二跟踪信息，其中，第二跟踪信息是通过第二摄像设备对目标区域进行视频监控所得到的；

可选地，在本实施例中，第二摄像设备包括但不限于是高倍率广角摄像头，跟踪对象在第一摄像设备下出现遮挡的情况下，通过第二摄像设备匹配跟踪对象的位置，并更新第一摄像设备下的跟踪对象的位置。

可选地，在本实施例中，第一跟踪信息和第二跟踪信息包括但不限于是跟踪对象的位置信息、像素信息等等。

步骤S208，利用第二跟踪信息对跟踪对象进行跟踪。

可选地，上述步骤的执行主体可以为终端等，但不限于此。

可选地，本实施例中的对象的跟踪方法包括但不限于应用于对对象的跟踪场景中，例如，利用双目摄像设备对行人进行跟踪的场景中，如果行人被物体遮挡，则利用双目摄像设备中的两个摄像头重新定位跟踪对象的位置。

通过上述步骤，在通过第一摄像设备对目标区域进行视频监控所得到的第N帧图像中确定位于目标区域中的跟踪对象的第一跟踪信息；在通过第一摄像设备对目标区域进行视频监控所得到的第M帧图像中确定出目标区域内不存在跟踪对象，其中，M>N，M、N均为正整数；基于第一跟踪信息获取第二跟踪信息，其中，第二跟踪信息是通过第二摄像设备对目标区域进行视频监控所得到的；利用第二跟踪信息对跟踪对象进行跟踪。解决了对对象的跟踪不准确的问题，达到准确跟踪的效果。

在一个可选的实施例中，在通过第一摄像设备对目标区域进行视频监控所得到的第N帧图像中确定位于目标区域中的跟踪对象的第一跟踪信息之前，方法还包括：

S1，通过第一摄像设备对目标区域进行视频监控得到第N帧图像；

S2，从第N帧图像中分割出前景图像；

S3，利用前景图像确定出第N帧图像中的跟踪对象。

可选地，在本实施例中，包括但不限于是利用背景提取算法vibe从第N帧图像中分割出前景图像，利用与前景图重叠的检测结果来初始化跟踪对象，将跟踪对象加入运动目标池，找出跟踪对象所在的区域，即出跟踪对象。

在一个可选的实施例中，在通过第一摄像设备对目标区域进行视频监控所得到的第M帧图像中确定出目标区域内不存在跟踪对象，包括：

S1，从第N帧图像中确定跟踪对象在目标区域中的运动速度和运动方向；

S2，利用运动速度和运动方向确定在第M帧图像中不存在跟踪对象。

在一个可选的实施例中，从第N帧图像中确定跟踪对象在目标区域中的运动速度和运动方向，包括：

S1，划分第N帧图像，得到K个图像块；确定跟踪对象分别在K个图像块中每个图像块中的运动矢量，得到K个运动矢量，其中，运动矢量对应于运动速度和运动方向；

S2，利用运动速度和运动方向确定在第M帧图像中不存在跟踪对象，包括：

S3，量化K个运动矢量，得到跟踪对象的矢量直方图；

S4，在矢量直方图中的最大值为第一预设值的情况下，确定第一摄像设备处于停止工作状态，以确定在第M帧图像中不存在跟踪对象。

可选地，在本实施例中，划分第N帧图像即是目标区域进行的划分。确定跟踪对象所在区域的大小，在水平方向和数值方向按均匀间隔将区域划分为相同大小的图像块。量化K个运动矢量，得到跟踪对象的矢量直方图包括：计算跟踪对象的运动矢量。基于运动矢量计算方法，确定每个图像块对应的水平方向上的运动矢量以及竖直方向上的运动矢量。其中，运动矢量计算方法包括但不限于是块匹配算法、LK光流算法等等。例如，针对任一图像块，可以采用匹配算法，计算得到图像块对应的水平方向上的运动矢量vx以及竖直方向上的运动矢量vy。量化跟踪对象的速度矢量。将速度矢量方向进行量化，统计出速度的方向直方图。根据速度的方向直方图中包含的位置信息，确定跟踪球机的当前状态信息，若位置信息为0，则控制第一摄像设备当前状态信息为停止状态，判定跟踪对象出现丢失。否则，则控制第一摄像设备当前状态信息为转动状态。

在一个可选的实施例中，在通过第一摄像设备对目标区域进行视频监控所得到的第M帧图像中确定出目标区域内不存在跟踪对象，包括：

S1，从第M帧图像中确定与跟踪对象匹配的像素点；

S2，利用像素点确定跟踪对象在第M帧图像中的颜色直方图；

S3，在颜色直方图与预设颜色直方图的匹配度小于第二预设值的情况下，确定出目标区域内不存在跟踪对象，其中，预设颜色直方图是基于第N帧图像中包括的跟踪对象的像素点确定的。

可选地，在本实施例中，匹配度可以采用下述公式确定：

其中，p(x)是跟踪目标模块的颜色直方图，p(y)是目标当前位置信息的颜色直方图。计数值，可以采用下述公式确定：

根据sim1确定计数值，若计数值大于预设阈值，即当Cnt＞th_cnt时，则判定跟踪对象在第一摄像设备范围内丢失。

在一个可选的实施例中，基于第一跟踪信息获取第二跟踪信息，包括：

S1，对第一跟踪信息中跟踪对象的第一坐标信息进行坐标转化后设置在预设坐标系中，得到第二坐标信息；

S2，将第二坐标信息设置在与第二摄像设备对应的坐标系中，得到第三坐标信息；

S3，将第一跟踪信息中的跟踪对象在目标区域中的速度矢量设置在与第二摄像设备对应的坐标系中，得到速度矢量信息；

S4，将第三坐标信息和速度矢量信息确定为第二跟踪信息。

可选地，在本实施例中，预设坐标系包括但不限于是世界坐标系。例如，将跟踪对象丢失的前一时刻第一摄像设备的普通坐标系中的跟踪对象的坐标是(Xc2,Yc2)，经过坐标变换，传递给PTZ世界坐标系(X，Y，Z)。再经过坐标变换，将世界坐标系中的目标坐标传递给第二摄像设备的坐标系，得到跟踪对象的坐标(Xc1，Yc1)。同时，将第一摄像设备的普通坐标系的跟踪目标水平速度矢量Vx，和竖直速度矢量Vy传递给第二摄像设备的坐标系。

在一个可选的实施例中，利用第二跟踪信息对跟踪对象进行跟踪，包括：

S1，利用第三坐标信息和速度矢量信息对第O帧图像进行光流分割，得到跟踪对象在第O帧图像中的平面区域，其中，M>O，O为正整数，第O帧图像是通过第二摄像设备获取的，第O帧图像中包括跟踪对象；

S2，在平面区域中提取跟踪对象的特征像素点；

S3，基于跟踪对象的特征像素点确定第O帧图像的二值图；

S4，将第O帧图像的二值图中标识信息为第三预设值的特征像素点按照预设数值进行移动，得到当前帧图像的二值图，其中，当前帧图像是第二摄像设备拍摄得到的；

S5，将当前帧图像的二值图所标识的位置确定为跟踪对象在当前帧图像中的位置，以跟踪跟踪对象。

可选地，在本实施例中，可以采用下述公式进行光流分割：

其中，

V_cx是第一摄像设备的在水平方向上的水平速度，

是第i个图像块的水平方向上的速度矢量，V_cy是第一摄像设备的在垂直方向上的垂直速度，

是第i个纹理块的垂直方向上的速度矢量，th_min是预设第三阈值，th_segv是预设第四阈值。将每一个符合上述公式的特征像素点作为一个运动点，在一个二值图像上标记该点为1，则可以得到前一帧的运动二值图。

在一个可选的实施例中，利用第二跟踪信息对跟踪对象进行跟踪，包括：

S1，从第三坐标信息中确定出第二摄像设备的坐标系的坐标范围；

S2，确定坐标范围内的像素点的颜色直方图；

S3，确定坐标范围内的像素点的颜色直方图与第N帧的颜色直方图之间的匹配度；

S4，利用匹配度确定跟踪对象在坐标范围内的位置，以跟踪跟踪对象。

可选地，在本实施例中，可以采用下述公式，来确定匹配度：

其中，

sim是匹配度，P′_u是搜索框颜色直方图，Nⁱ是运动像素点数量，N_t是预设搜索范围内包含的全部像素点数量。

可以按照下述公式更新跟踪对象的位置信息，P_u＝P_u*(1-α)+P′_u*α；其中，P_u是目标模板(前一帧目标)的颜色直方图，P′_u是搜索得到的最匹配颜色直方图，α是预设更新率，较佳地，α的取值可以是0.5。该公式的具体含义为通过当前搜索到的目标区域的颜色直方图来更新跟踪对象所在区域的颜色直方图。

下面结合具体实施例对本发明进行说明：

本实施方式涉及一种新型的双目跟踪球系统，第一摄像设备以普通长焦摄像头C2、第二摄像设备以广角摄像头C1为例进行说明，如图3所示，包括以下步骤：

S301：图像采集，分别利用C1和C2进行摄像，获取视频图像信号。

S302：获取跟踪对象，采用vibe算法获取前景图像，利用与前景图重叠的检测结果来初始化运动目标加入运动目标池，找出动态目标所在的区域，即确定跟踪对象。具体地，以背景建模为例进行说明：

S1：始化背景模型；

S2：依据背景模型对图像进行分割；

S3：计算分割后图像前景和总的像素个数，计算图像内有运动的概率；

S4：更新背景模型。

S303：球机状态控制，本实施例提出的双目球机设有一个广角摄像头C1和一个普通长焦摄像头C2。普通长焦摄像头焦距长，视野远，可以更早地捕获跟踪目标；广角摄像头视野广，倍率高，在普通长焦镜头画面中目标被遮挡丢失的情况下，能够在广角画面中找到未被遮挡的目标。首先，在普通长焦摄像头获取的图像中对动态目标所在的区域进行目标检测，计算目标的速度和方向信息，从而确定球机的状态信息。若球机处于停止状态，则触发目标丢失判定模块，判定是否触发双目协同跟踪模块。

包括如下步骤：

S1：划分目标区域。确定跟踪对象所在区域大小，在水平方向和数值方向按均匀间隔将区域划分为相同大小的图像块。

S2：计算目标运动矢量。基于运动矢量计算方法，确定每个图像块对应的水平方向上的运动矢量以及竖直方向上的运动矢量。其中，运动矢量计算方法包括但不限于是块匹配算法、LK光流算法等等。例如，针对任一图像块，可以采用匹配算法，计算得到图像块对应的水平方向上的运动矢量vx以及竖直方向上的运动矢量vy。

S3：量化目标速度矢量，将速度矢量方向进行量化，统计出速度的方向直方图。例如可以按照预设数值，规定为一个柱。例如，本发明实施例这里采用以15度为一个柱，则一共有360/15＝24个柱。

S4：控制球机转动和停止，根据速度的方向直方图中包含的最高柱的位置信息，确定跟踪球机的当前状态信息，若最高柱的位置信息(最高柱的高度值)为0，则控制跟踪球机的当前状态信息为停止状态，触发目标丢失判定，判定是否触发双目协同跟踪。

S5：否则，则控制跟踪球机的当前状态信息为转动状态。可以根据最高柱对应的图像块的速度平均值，作为跟踪球机的水平速度和垂直速度，从而控制球机的转动速度为(Vcx，Vcy)。

S304：目标丢失判定，根据球机速度，以及其他方式方法判断跟踪对象是否丢失，此处以颜色直方图相似度计算为例，根据跟踪目标的颜色直方图和当前目标跟踪区域的颜色直方图，判定跟踪的目标在普通摄像头C2图像范围内是否丢失，若判定为丢失，则触发双目协同跟踪重新寻找目标。详述如下：

S1：当确定球机速度为0，即控制球机为停止状态时，有可能存在目标被遮挡，速度为0的情况，触发丢失判定。

S2：计算目标当前位置信息的颜色直方图，以及跟踪目标的颜色直方图，其中跟踪目标的颜色直方图是跟踪球机对待检测图像进行初始化处理得到的。确定跟踪的目标当前位置信息和跟踪目标模块之间的相似度，根据确定出的相似度，确定计数值，若所述计数值大于预设第五阈值，则确定跟踪的目标丢失。

S3：相似度，可以采用下述公式确定：

其中，p(x)是跟踪目标模块的颜色直方图，p(y)是目标当前位置信息的颜色直方图。

计数值，可以采用下述公式确定：

S4：确定跟踪的目标当前位置信息和跟踪目标之间的相似度sim1，根据sim1确定计数值，若所述计数值大于预设第五阈值，即当Cnt＞th_cnt时，则判定跟踪目标在普通摄像头C2范围内丢失。触发双目协同跟踪模块在广角摄像头C1范围内重新寻找目标。

S305：双目协同跟踪，若判定跟踪目标在普通摄像头C2范围内丢失，则触发双目协同跟踪模块在广角摄像头C1范围内重新寻找目标。详细步骤如下：

S1：普通坐标与世界坐标交接。将球机停止转动前一时刻C2摄像头普通坐标系的跟踪目标坐标(Xc2,Yc2)，经过坐标变换，传递给PTZ世界坐标系(X，Y，Z)。再经过坐标变换，将世界坐标系中的目标坐标传递给C1广角摄像头坐标系，得到球机停止转动前一时刻的跟踪目标坐标(Xc1，Yc1)。同时，将球机停止转动前一时刻C2摄像头普通坐标系的跟踪目标水平速度矢量Vx，和竖直速度矢量Vy传递给C1广角坐标系。

S2：在广角坐标系计算前一帧运动二值图。根据得到的转换后的前一帧C1广角坐标系目标坐标和速度矢量，对待检测广角图像进行光流分割，确定前一帧跟踪目标所在的平面区域。在确定出的平面区域内提取目标特征像素点，并基于二值图表征所述特征像素点，得到前一时刻在C1广角坐标系下的目标运动二值图。其中提取目标特征像素点的方法可以是但不限于harris特征像素点检测法。

具体地，根据目标区域在水平方向上的速度矢量、竖直方向上的速度矢量和球机转动速度，对待检测广角图像进行光流分割，得到当前帧的运动二值图。可以采用下述公式进行光流分割：

其中，

V_cx是跟踪球机在水平方向上的水平速度，

是第i个图像块的水平方向上的速度矢量，V_cy是跟踪球机在垂直方向上的垂直速度，

是第i个纹理块的垂直方向上的速度矢量，th_min是预设第三阈值，th_segv是预设第四阈值。将每一个符合上述公式的特征像素点作为一个运动点，在一个二值图像上标记该点为1，则可以得到前一帧的运动二值图。

S3：预测广角坐标系当前目标潜在区域范围。即计算当前帧运动二值图。由于S2计算得到的是前一帧的运动二值图，所得到的位置存在偏差，可以使用速度矢量对前一帧运动二值图进行修正。将运动二值图上标记为1的特征像素点都按照数值信息(Vx，Vy)移动，从而得到当前帧的运动二值图。该得到的运动二值图即标识了目标的潜在位置。

S4：在广角坐标系目标潜在范围内搜索目标。计算搜索框的颜色直方图和前一帧目标的颜色直方图。确定搜索框颜色直方图和前一帧目标颜色直方图之间的匹配度，以得到的搜索间隔，按照匹配度在运动二值图中包含的预设匹配范围内，选择最相似位置信息作为目标位置信息。

可以采用下述公式，来确定匹配度：

其中，

sim是匹配度，P′_u是搜索框颜色直方图，Nⁱ是运动像素点数量，N_t是预设搜索范围内包含的全部像素点数量。

可以按照下述公式更新目标位置信息：

P_u＝P_u*(1-α)+P′_u*α；

其中，P_u是目标模板(前一帧目标)的颜色直方图，P′_u是搜索得到的最匹配颜色直方图，α是预设更新率，较佳地，α的取值可以是0.5。该公式的具体含义为通过当前搜索到的目标区域的颜色直方图来更新跟踪目标所在区域的颜色直方图。

此时C1广角坐标系下重新匹配到的目标，即为C2普通坐标系中判定遮挡丢失的目标。

同时重新找回目标的方式方法，包括但不限于上述步骤的方式，其他可采用的方式方法包括，相关滤波的方法，深度学习跟踪的方法，划窗模板匹配的方法等。

S5：将重新找到的跟踪目标坐标从广角摄像头坐标系传递回普通摄像头坐标系。依据坐标变换，将C1广角坐标系的目标位置信息(Xc1，Yc1)传递给PTZ世界坐标系(X，Y，Z)，再依据坐标变换传递给C2普通坐标系(Xc2，Yc2)，使得摄像头重新跟踪上被遮挡的目标。

具体地，双目摄像头坐标变换方法，详见S306。

S306：双目球机坐标变换。上述双目协同跟踪模块中所涉及到的C1广角坐标系，PTZ世界坐标系，C2普通坐标系之间的坐标变换方式，将在本模块详述。具体地，

S1：根据摄像头的成像原理，得图像坐标系和摄像头坐标系的转化关系为：

Z_c＝Z_c；

其中，u，v，f为经过单位归一化的坐标和焦距值。

S2：世界坐标系到摄像头坐标系转换关系。根据三维坐标系之间的平移旋转转化关系，可得到摄像头坐标系和世界坐标系的三维转化关系，即：

X_c＝X；

S3：摄像头坐标系到世界坐标系转换关系。将上述结合可获得图像坐标系中一点在世界坐标系下的坐标，

Z＝Z；

其中，f为内参数，指摄像头的焦距，H，

为外参数，分别指摄像头假设的高度及摄像头与地平面的垂直夹角，设图像坐标系上点坐标为(u，v)，摄像头坐标系上的点坐标为(Xc，Yc，Zc)，世界坐标系上点的坐标为(X，Y，Z)。

可选地，C1广角坐标系点坐标可以表示为(Xc1，Yc1，Zc1)，C2普通坐标系点坐标可以表示为(Xc2，Yc2，Zc2)，图像坐标系上点坐标(u，v)又分为广角图像平面坐标和普通图像平面坐标。

如图5所示，C2长焦摄像头焦距较长，图像平面视野范围较小，当视野内目标“球体”被“矩形”遮挡时，判定为目标丢失，触发双目协同跟踪模块，和双目球机坐标变换模块，切换到图6所示的C1广角坐摄像头图像平面，广角摄像头平面视野大，倍率高，视野内目标“球体”未被“矩形”遮挡，通过特征匹配在广角坐标系重新搜索到跟踪目标坐标，传递回C2长焦摄像头坐标系，使得被遮挡的目标重新得到跟踪。

S307：云台调动，根据双目协同跟踪模块计算得到的C2坐标系跟踪目标坐标信息(Xc2，Yc2)，调动云台调整速度和倍率，使C2普通摄像头重新跟踪到曾经遮挡丢失的目标。

本实施例提供一个具体实施流程图如图4所示：如图7、图8为变焦摄像头获取的区域位置，视野范围较小，图9、图10为广角摄像头获取的区域，可以看到变焦摄像头中目标已丢失，而广角摄像头中目标还在，可以通过广角摄像头将目标找回。

综上所述，双目摄像头跟踪可以从不同深度和广度的视角对目标进行观测从而获得关于目标更顽健的跟踪信息，有效地解决了当目标发生遮挡或进入死角时目标容易跟丢的问题。跨摄像头特征匹配算法融合了速度，颜色，方向特征实现了广角坐标系和普通坐标系的目标协同跟踪和转换，计算简单，双坐标系目标跟踪速度快。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本实施例中还提供了一种对象的跟踪装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图11是根据本发明实施例的对象的跟踪装置的结构框图，如图11所示，该装置包括：

第一确定模块1102，用于在通过第一摄像设备对目标区域进行视频监控所得到的第N帧图像中确定位于目标区域中的跟踪对象的第一跟踪信息；

第二确定模块1104，用于在通过第一摄像设备对目标区域进行视频监控所得到的第M帧图像中确定出目标区域内不存在跟踪对象，其中，M>N，M、N均为正整数；

第一获取模块1106，用于基于第一跟踪信息获取第二跟踪信息，其中，第二跟踪信息是通过第二摄像设备对目标区域进行视频监控所得到的；

第一跟踪模块1108，用于利用第二跟踪信息对跟踪对象进行跟踪。

可选地，上述装置还包括：

第三确定模块，用于在通过所述第一摄像设备对所述目标区域进行视频监控所得到的第N帧图像中确定位于所述目标区域中的跟踪对象的第一跟踪信息之前，通过所述第一摄像设备对所述目标区域进行视频监控得到所述第N帧图像；

分割模块，用于从所述第N帧图像中分割出前景图像；

第四确定模块，用于利用所述前景图像确定出所述第N帧图像中的所述跟踪对象。

可选地，上述第二确定模块，包括：

第一确定单元，用于从所述第N帧图像中确定所述跟踪对象在所述目标区域中的运动速度和运动方向；

第二确定单元，用于利用所述运动速度和所述运动方向确定在所述第M帧图像中不存在所述跟踪对象。

可选地，上述第一确定单元，包括：

第一确定子单元，用于划分所述第N帧图像，得到K个图像块；确定所述跟踪对象分别在所述K个图像块中每个图像块中的运动矢量，得到K个运动矢量，其中，所述运动矢量对应于所述运动速度和运动方向；

第二确定子单元，用于利用所述运动速度和所述运动方向确定在所述第M帧图像中不存在所述跟踪对象，包括：

第三确定子单元，用于量化所述K个运动矢量，得到所述跟踪对象的矢量直方图；

第四确定子单元，用于在所述矢量直方图中的最大值为第一预设值的情况下，确定所述第一摄像设备处于停止工作状态，以确定在所述第M帧图像中不存在所述跟踪对象。

可选地，上述第二确定模块，包括：

第三确定单元，用于从所述第M帧图像中确定与所述跟踪对象匹配的像素点；

第四确定单元，用于利用所述像素点确定所述跟踪对象在所述第M帧图像中的颜色直方图；

第五确定单元，用于在所述颜色直方图与预设颜色直方图的匹配度小于第二预设值的情况下，确定出所述目标区域内不存在所述跟踪对象，其中，所述预设颜色直方图是基于所述第N帧图像中包括的所述跟踪对象的像素点确定的。

可选地，第一获取模块，包括：

第六确定单元，用于对所述第一跟踪信息中所述跟踪对象的第一坐标信息进行坐标转化后设置在预设坐标系中，得到第二坐标信息；

第七确定单元，用于将所述第二坐标信息设置在与所述第二摄像设备对应的坐标系中，得到第三坐标信息；

第八确定单元，用于将所述第一跟踪信息中的所述跟踪对象在所述目标区域中的速度矢量设置在与所述第二摄像设备对应的坐标系中，得到速度矢量信息；

第九确定单元，用于将所述第三坐标信息和所述速度矢量信息确定为所述第二跟踪信息。

可选地，第一跟踪模块，包括：

分割单元，用于利用所述第三坐标信息和所述速度矢量信息对第O帧图像进行光流分割，得到所述跟踪对象在所述第O帧图像中的平面区域，其中，M>O，所述O为正整数，所述第O帧图像是通过所述第二摄像设备获取的，所述第O帧图像中包括所述跟踪对象；

提取单元，用于在所述平面区域中提取所述跟踪对象的特征像素点；

第九确定单元，用于基于所述跟踪对象的特征像素点确定所述第O帧图像的二值图；

移动单元，用于将所述第O帧图像的二值图中标识信息为第三预设值的特征像素点按照预设数值进行移动，得到当前帧图像的二值图，其中，所述当前帧图像是所述第二摄像设备拍摄得到的；

第十确定单元，用于将所述当前帧图像的二值图所标识的位置确定为所述跟踪对象在所述当前帧图像中的位置，以跟踪所述跟踪对象。

可选地，上述第一跟踪模块，包括：

第十一确定单元，用于从所述第三坐标信息中确定出所述第二摄像设备的坐标系的坐标范围；

第十二确定单元，用于确定所述坐标范围内的像素点的颜色直方图；

第十三确定单元，用于确定所述坐标范围内的像素点的颜色直方图与所述第N帧的颜色直方图之间的匹配度；

跟踪单元，用于利用所述匹配度确定所述跟踪对象在所述坐标范围内的位置，以跟踪所述跟踪对象。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，在通过第一摄像设备对目标区域进行视频监控所得到的第N帧图像中确定位于目标区域中的跟踪对象的第一跟踪信息；

S2，在通过第一摄像设备对目标区域进行视频监控所得到的第M帧图像中确定出目标区域内不存在跟踪对象，其中，M>N，M、N均为正整数；

S3，基于第一跟踪信息获取第二跟踪信息，其中，第二跟踪信息是通过第二摄像设备对目标区域进行视频监控所得到的；

S4，利用第二跟踪信息对跟踪对象进行跟踪。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，在通过第一摄像设备对目标区域进行视频监控所得到的第N帧图像中确定位于目标区域中的跟踪对象的第一跟踪信息；

S2，在通过第一摄像设备对目标区域进行视频监控所得到的第M帧图像中确定出目标区域内不存在跟踪对象，其中，M>N，M、N均为正整数；

S3，基于第一跟踪信息获取第二跟踪信息，其中，第二跟踪信息是通过第二摄像设备对目标区域进行视频监控所得到的；

S4，利用第二跟踪信息对跟踪对象进行跟踪。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种对象的跟踪方法，其特征在于，包括：

在通过第一摄像设备对目标区域进行视频监控所得到的第N帧图像中确定位于所述目标区域中的跟踪对象的第一跟踪信息；

在通过第一摄像设备对所述目标区域进行视频监控所得到的第M帧图像中确定出所述目标区域内不存在所述跟踪对象，其中，M>N，所述M、N均为正整数；

基于所述第一跟踪信息获取第二跟踪信息，其中，所述第二跟踪信息是通过第二摄像设备对所述目标区域进行视频监控所得到的；

利用所述第二跟踪信息对所述跟踪对象进行跟踪；

其中，在通过第一摄像设备对所述目标区域进行视频监控所得到的第M帧图像中确定出所述目标区域内不存在所述跟踪对象，包括：从所述第M帧图像中确定与所述跟踪对象匹配的像素点；利用所述像素点确定所述跟踪对象在所述第M帧图像中的颜色直方图；在所述颜色直方图与预设颜色直方图的匹配度小于第二预设值的情况下，确定出所述目标区域内不存在所述跟踪对象，其中，所述预设颜色直方图是基于所述第N帧图像中包括的所述跟踪对象的像素点确定的；

其中，基于所述第一跟踪信息获取第二跟踪信息，包括：

对所述第一跟踪信息中所述跟踪对象的第一坐标信息进行坐标转化后设置在预设坐标系中，得到第二坐标信息；

将所述第二坐标信息设置在与所述第二摄像设备对应的坐标系中，得到第三坐标信息；

将所述第一跟踪信息中的所述跟踪对象在所述目标区域中的速度矢量设置在与所述第二摄像设备对应的坐标系中，得到速度矢量信息；

将所述第三坐标信息和所述速度矢量信息确定为所述第二跟踪信息。

2.根据权利要求1所述的方法，其特征在于，在通过所述第一摄像设备对所述目标区域进行视频监控所得到的第N帧图像中确定位于所述目标区域中的跟踪对象的第一跟踪信息之前，所述方法还包括：

通过所述第一摄像设备对所述目标区域进行视频监控得到所述第N帧图像；

从所述第N帧图像中分割出前景图像；

利用所述前景图像确定出所述第N帧图像中的所述跟踪对象。

3.根据权利要求1所述的方法，其特征在于，在通过第一摄像设备对所述目标区域进行视频监控所得到的第M帧图像中确定出所述目标区域内不存在所述跟踪对象，包括：

从所述第N帧图像中确定所述跟踪对象在所述目标区域中的运动速度和运动方向；

利用所述运动速度和所述运动方向确定在所述第M帧图像中不存在所述跟踪对象。

4.根据权利要求3所述的方法，其特征在于，

从所述第N帧图像中确定所述跟踪对象在所述目标区域中的运动速度和运动方向，包括：

划分所述第N帧图像，得到K个图像块；确定所述跟踪对象分别在所述K个图像块中每个图像块中的运动矢量，得到K个运动矢量，其中，所述运动矢量对应于所述运动速度和运动方向；

利用所述运动速度和所述运动方向确定在所述第M帧图像中不存在所述跟踪对象，包括：

量化所述K个运动矢量，得到所述跟踪对象的矢量直方图；

在所述矢量直方图中的最大值为第一预设值的情况下，确定所述第一摄像设备处于停止工作状态，以确定在所述第M帧图像中不存在所述跟踪对象。

5.根据权利要求1所述的方法，其特征在于，利用所述第二跟踪信息对所述跟踪对象进行跟踪，包括：

利用所述第三坐标信息和所述速度矢量信息对第O帧图像进行光流分割，得到所述跟踪对象在所述第O帧图像中的平面区域，其中，M>O，所述O为正整数，所述第O帧图像是通过所述第二摄像设备获取的，所述第O帧图像中包括所述跟踪对象；

在所述平面区域中提取所述跟踪对象的特征像素点；

基于所述跟踪对象的特征像素点确定所述第O帧图像的二值图；

将所述第O帧图像的二值图中标识信息为第三预设值的特征像素点按照预设数值进行移动，得到当前帧图像的二值图，其中，所述当前帧图像是所述第二摄像设备拍摄得到的；

将所述当前帧图像的二值图所标识的位置确定为所述跟踪对象在所述当前帧图像中的位置，以跟踪所述跟踪对象。

6.根据权利要求1所述的方法，其特征在于，利用所述第二跟踪信息对所述跟踪对象进行跟踪，包括：

从所述第三坐标信息中确定出所述第二摄像设备的坐标系的坐标范围；

确定所述坐标范围内的像素点的颜色直方图；

确定所述坐标范围内的像素点的颜色直方图与所述第N帧的颜色直方图之间的匹配度；

利用所述匹配度确定所述跟踪对象在所述坐标范围内的位置，以跟踪所述跟踪对象。

7.一种对象的跟踪装置，其特征在于，包括：

第一确定模块，用于在通过第一摄像设备对目标区域进行视频监控所得到的第N帧图像中确定位于所述目标区域中的跟踪对象的第一跟踪信息；

第二确定模块，用于在通过第一摄像设备对所述目标区域进行视频监控所得到的第M帧图像中确定出所述目标区域内不存在所述跟踪对象，其中，M>N，所述M、N均为正整数；

第一获取模块，用于基于所述第一跟踪信息获取第二跟踪信息，其中，所述第二跟踪信息是通过第二摄像设备对所述目标区域进行视频监控所得到的；

第一跟踪模块，用于利用所述第二跟踪信息对所述跟踪对象进行跟踪；

其中，所述第二确定模块还用于，从所述第M帧图像中确定与所述跟踪对象匹配的像素点；利用所述像素点确定所述跟踪对象在所述第M帧图像中的颜色直方图；在所述颜色直方图与预设颜色直方图的匹配度小于第二预设值的情况下，确定出所述目标区域内不存在所述跟踪对象，其中，所述预设颜色直方图是基于所述第N帧图像中包括的所述跟踪对象的像素点确定的；

其中，所述第一获取模块，还用于：对所述第一跟踪信息中所述跟踪对象的第一坐标信息进行坐标转化后设置在预设坐标系中，得到第二坐标信息；将所述第二坐标信息设置在与所述第二摄像设备对应的坐标系中，得到第三坐标信息；将所述第一跟踪信息中的所述跟踪对象在所述目标区域中的速度矢量设置在与所述第二摄像设备对应的坐标系中，得到速度矢量信息；将所述第三坐标信息和所述速度矢量信息确定为所述第二跟踪信息。

8.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至6任一项中所述的方法。

9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至6任一项中所述的方法。

Images