CN105898107B - 一种目标物体抓拍方法及系统 - Google Patents

Abstract

本申请提供了一种目标物体抓拍方法及系统，包括：从广角相机所拍摄的视频数据中获取当前帧的视频图像；根据所述当前帧的视频图像检测目标物体以及所述目标物体在当前帧中的位置；根据预先记录的目标状态映射表，确定上一帧中的目标物体在所述当前帧中的位置；所述目标状态映射表记录有上一帧确定检测到的目标物体的信息；根据当前帧的目标物体的位置以及上一帧中的目标物体在当前帧中的位置，更新所述目标状态映射表；根据所述目标状态映射表，调度长焦相机拍摄目标物体。本申请可以根据帧与帧之间的关系确定出广角相机所拍摄的画面中每一帧的目标物体所在区域，最终再调度长焦相机获取目标物体的高清画面，无需人的参与即可自动实现联动监控。

Description

一种目标物体抓拍方法及系统

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种目标物体抓拍方法及系统。

背景技术

联动相机组，一般可以由两个或两个以上的相机组成，通过机械及视觉校准，可以精确计算任意两个相机之间的位置和朝向的相对关系。使用时，通过将相机固定在由电机控制的云台上，可以实现在某一相机画面上选定某一区域，旋转其他相机，使得它们朝向该选定区域的功能，此功能可以称为联动。由于相机之间的几何关系已经预先校准，所以该联动过程可以自动实现。

在视频监控领域，基于此技术，一种常见的应用是枪球联动监控相机，这种设备由两种监控相机组成：枪机和球机。枪机的特点是相机视角一般较广，因此画面内的物体清晰度一般较低(单位物体所占像素数量少)，安装后朝向固定。球机的特点是相机视角一般较窄，因此画面内的物体清晰度较高(单位物体所占像素数量多)，可通过控制电机来控制相机朝向。通过联动相机组技术，可以取长补短，解决枪机看的广却看不清和球机看的清却看的窄的问题。一种常见的使用情景是：由用户选定枪机画面的某一区域，通过联动技术，使得球机朝向所选区域，获取所选区域的高清画面。

目前，联动相机监控系统大多需要人来监视枪机所拍摄画面并承担目标检测工作，当人发现在画面中出现目标物体时，由人在枪机所拍摄的画面内选定目标物体所在区域，然后调度球机朝向该选定区域，进而获取目标物体的高清画面。

现有技术不足在于：

现有的联动相机监控系统无法脱离人的操作自动监控目标物体。

发明内容

本申请实施例提出了一种目标物体抓拍方法及系统，以解决现有技术中联动相机监控系统无法脱离人的操作自动监控目标物体的技术问题。

第一个方面，本申请实施例提供了一种目标物体抓拍方法，可以包括如下步骤：

从广角相机所拍摄的视频数据中获取当前帧的视频图像；

根据所述当前帧的视频图像检测目标物体以及所述目标物体在当前帧中的位置，得到t时刻的检测结果集D^t，所述D^t＝{d_i ^t|i＝1…k_d ^t}，所述d_i ^t为t时刻集合D^t中第i个目标物体的位置，所述d_i ^t＝(x_i ^t，y_i ^t，w_i ^t，h_i ^t)，其中，x_i ^t、y_i ^t、w_i ^t、h_i ^t分别为t时刻检测到的第i个目标物体的左上角x坐标、左上角y坐标、目标物体在当前帧中的宽度和高度；

根据预先记录的目标状态映射表，确定上一帧中的目标物体在所述当前帧中的位置；所述目标状态映射表记录有上一帧确定检测到的目标物体的信息；

根据当前帧的目标物体的位置以及上一帧中的目标物体在当前帧中的位置，更新所述目标状态映射表；

根据所述目标状态映射表，调度长焦相机拍摄所述目标物体。

第二个方面，本申请实施例提供了一种目标物体抓拍系统，可以包括：

获取模块，用于从广角相机所拍摄的视频数据中获取当前帧的视频图像；

检测模块，用于根据所述当前帧的视频图像检测目标物体以及所述目标物体在当前帧中的位置，得到t时刻的检测结果集D^t，所述D^t＝{d_i ^t|i＝1…k_d ^t}，所述d_i ^t为t时刻集合D^t中第i个目标物体的位置，所述d_i ^t＝(x_i ^t，y_i ^t，w_i ^t，h_i ^t)，其中，x_i ^t、y_i ^t、w_i ^t、h_i ^t分别为t时刻检测到的第i个目标物体的左上角x坐标、左上角y坐标、目标物体在当前帧中的宽度和高度；

跟踪模块，用于根据预先记录的目标状态映射表，确定上一帧中的目标物体在所述当前帧中的位置；所述目标状态映射表记录有上一帧确定检测到的目标物体的信息；

更新模块，用于根据当前帧的目标物体的位置以及上一帧中的目标物体在当前帧中的位置，更新所述目标状态映射表；

调度模块，用于根据所述目标状态映射表，调度长焦相机拍摄所述目标物体。

有益效果如下：

本申请实施例所提供的目标物体抓拍方法及系统，从广角相机中获取当前帧，检测当前帧中目标物体的位置，根据预先记录的目标状态映射表确定上一帧中的目标物体在当前帧中的位置，根据当前帧的目标物体的位置以及上一帧中的目标物体在当前帧中的位置，更新所述目标状态映射表，最终，根据所述目标状态映射表，调度长焦相机拍摄所述目标物体。由于本申请实施例可以根据目标状态映射表确定上一帧中目标物体在当前帧中的位置，并根据当前帧的目标物体的位置以及上一帧中的目标物体在当前帧中的位置更新所述目标状态映射表，即可确定出广角相机所拍摄的画面中每一帧的目标物体所在区域，最终再调度长焦相机获取目标物体的高清画面，无需人的参与即可自动实现联动监控、抓拍。

附图说明

下面将参照附图描述本申请的具体实施例，其中：

图1示出了本申请实施例一中目标物体抓拍方法实施的流程示意图；

图2示出了本申请实施例一中集合合并的过程示意图；

图3示出了本申请实施例一中目标状态映射表更新过程示意图；

图4示出了本申请实施例二中目标物体抓拍系统的结构示意图；

图5示出了本申请实施例三中联动相机抓拍目标物体的过程示意图。

具体实施方式

为了使本申请的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。并且在不冲突的情况下，本说明中的实施例及实施例中的特征可以互相结合。

发明人在发明过程中注意到：

现有的联动相机监控系统包括以下两类：

(1)一类是较为常见的，在使用时，需要人来监视枪机所拍摄的画面并承担目标检测工作。当在在画面中发现目标物体时，由人在枪机所拍摄的画面内选定目标物体所在区域，联动相机组自动调度球机朝向该选定区域，进而获取目标物体高清画面。

这种方式无法脱离人自动工作，自动化程度较低。

(2)仅有少数系统集成了一定程度的检测功能，但这种检测仅是检测基于先验信息得到的目标物体可能在画面中出现的位置，例如，在CN201510128597.2中利用背景削减和形态学方法得到画面中运动的区域并将该区域作为目标，基于此检测，系统将此区域直接作为目标作为后续跟踪、调度球机的依据。

这种方式检测的结果仅可以作为目标位置的提示，无法作为调度球机抓拍高清图像的依据，导致使用中仍需要人的频繁参与。例如：假设需要检测的目标物体为车辆，虽然一般情况下车辆时运动的，但显然不能确定画面中运动的物体便是车辆，人或者被风吹动的树枝都可能在画面中运动。除此之外，也不能确定画面中不运动的位置便一定不是车辆。因此，这种检测功能仅可以作为辅助信息、提示可疑区域，无法作为可靠的依据。

针对上述不足，本申请提出了一种目标物体抓拍方法及系统，结合了计算机视觉、机器学习的高精度的目标检测和识别技术，准确、快速地自动检测联动相机组中某个相机画面中的待检测目标，使用智能调度算法控制其他相机拍摄所述检测到的目标，从而可以尽可能的使出现的目标有一张或多张被其他相机拍摄到的画面。

为了便于本申请的实施，下面结合具体实施例对本申请提出的目标物体抓拍方法及系统进行说明。

实施例一、

图1示出了本申请实施例一中目标物体抓拍方法实施的流程示意图，如图所示，所述目标物体抓拍方法可以包括如下步骤：

步骤101、从广角相机所拍摄的视频数据中获取当前帧的视频图像；

步骤102、根据所述当前帧的视频图像检测目标物体以及所述目标物体在当前帧中的位置，得到t时刻的检测结果集D^t，所述D^t＝{d_i ^t|i＝1…k_d ^t}，所述d_i ^t为t时刻集合D^t中第i个目标物体的位置，所述d_i ^t＝(x_i ^t，y_i ^t，w_i ^t，h_i ^t)，其中，x_i ^t、y_i ^t、w_i ^t、h_i ^t分别为t时刻检测到的第i个目标物体的左上角x坐标、左上角y坐标、目标物体在当前帧中的宽度和高度；

步骤103、根据预先记录的目标状态映射表，确定上一帧中的目标物体在所述当前帧中的位置；所述目标状态映射表记录有上一帧确定检测到的目标物体的信息；

步骤104、根据当前帧的目标物体的位置以及上一帧中的目标物体在当前帧中的位置，更新所述目标状态映射表；

步骤105、根据所述目标状态映射表，调度长焦相机拍摄所述目标物体。

具体实施时，可以利用广角相机拍摄监控场景的视频数据，所述广角相机可以是包括广角镜头的相机，所述广角镜头可以为现有技术中的广角镜头，所述相机可以为数码相机。

本申请实施例中从所述广角相机所拍摄的视频数据中获取当前帧的视频图像，根据所述当前帧的视频图像可以检测出所述视频图像内的目标物体以及所述目标物体所在的位置。其中，所述目标物体可以为人、车辆等。具体检测方法可以采用现有的目标检测方法，本申请在此不作赘述。

通过目标检测后可以得到t时刻的检测结果集D^t，所述D^t＝{d_i ^t|i＝1…k_d ^t}，所述d_i ^t为t时刻集合D^t中第i个目标物体的位置，所述d_i ^t＝(x_i ^t，y_i ^t，w_i ^t，h_i ^t)，其中，x_i ^t、y_i ^t、w_i ^t、h_i ^t分别为t时刻检测到的第i个目标物体的左上角x坐标、左上角y坐标、目标物体在当前帧中的宽度和高度。例如：假设t时刻检测到所述当前帧的视频图像中存在3个目标物体A、B、C，A的位置为(112，231，45，34)，B的位置为(412，325，23，19)，C的位置为(514，842，44，26)，那么所述检测结果集D^t＝{(112，231，45，34)、(412，325，23，19)、(514，842，44，26)}。

目标状态映射表中可以记录有所有被检测到的目标物体的信息，所述目标状态映射表中可以仅保存最近的目标物体的信息，即上一帧确定的被检测到的目标物体的信息。本申请实施例可以根据预先记录的目标状态映射表，确定上一帧中的目标物体在当前帧中的位置。具体实施时，可以采用现有的目标跟踪技术实现帧与帧之间的目标物体跟踪，从而可以根据上一帧中目标物体的位置确定当前帧中所述目标物体的位置，进而更新所述目标状态映射表，以确保所述目标状态映射表中的目标物体的信息是最新的。

值得说明的是，本申请实施例中对步骤102与步骤103之间的实施顺序不做限制，既可以先执行步骤102、再执行步骤103，也可以先执行步骤103、再执行步骤102，还可以步骤102与步骤103同时进行。

根据所述更新后的目标状态映射表，可以调度长焦相机对准所述目标物体进行远距离高清拍摄，实现抓拍的目的。

本申请实施例所提供的目标物体抓拍方法，从广角相机中获取当前帧，检测当前帧中目标物体的位置，根据预先记录的目标状态映射表确定上一帧中的目标物体在当前帧中的位置，根据当前帧的目标物体的位置以及上一帧中的目标物体在当前帧中的位置，更新所述目标状态映射表，最终，根据所述目标状态映射表，调度长焦相机拍摄所述目标物体。

由于本申请实施例可以根据目标状态映射表确定上一帧中目标物体在当前帧中的位置，并根据当前帧的目标物体的位置以及上一帧中的目标物体在当前帧中的位置更新所述目标状态映射表，因此，采用本申请实施例所提供的方法，利用帧与帧之间的关系可以确定出广角相机所拍摄的画面中每一帧的目标物体所在区域，最终再调度长焦相机获取目标物体的高清画面，从而实现自动检测目标物体并进行高清图像抓拍的功能，无需人的参与即可自动实现联动监控，减少了人的工作量的同时，提高了工作效率。

实施中，所述目标状态映射表具体可以包括：目标物体的标识ID、目标物体的当前位置以及目标物体被抓拍的次数。

具体实施时，所述目标状态映射表可以记录当前所有被检测到的目标物体的信息，这些信息可以包括：目标物体的标识ID、目标物体的当前位置、目标物体被抓拍的次数等。其中，

目标物体的ID，可以是一个整数，根据这个数字的同异来区别是否为同一目标物体；

目标物体的当前位置，可以为所述目标物体的最小包围方框在所述视频图像上的二维坐标，用四个整数可以表示该方框：方框左上角的x坐标、方框左上角的y坐标、方框的宽度和高度；

目标抓拍次数，可以是一个整数，表示目标已被长焦相机抓拍的次数。

下表示出了本申请实施例中目标状态映射表在某一时刻的状态：

实施中，所述根据预先记录的目标状态映射表，确定上一帧中的目标物体在所述当前帧中的位置，具体可以为：

根据上一帧的目标物体的信息集S^t-1，确定当前帧的目标物体跟踪结果集S^t；

其中，所述S^t-1＝{s_i ^t-1|i＝1…k_s ^t-1}，所述s_i ^t-1为t-1时刻集合S^t-1中第i个目标物体的信息，所述s_i ^t-1＝(ID_i ^t-1,x_i ^t-1,y_i ^t-1,w_i ^t-1,h_i ^t-1)，其中，ID_i ^t-1、x_i ^t-1、y_i ^t-1、w_i ^t-1、h_i ^t-1分别为第i个检测到的目标物体的ID、目标物体的左上角x坐标、目标物体的左上角y坐标、目标物体的宽度和高度；

所述S^t＝{s_i ^t|i＝1…k_s ^t}，所述s_i ^t为t时刻集合S^t中第i个目标物体的信息，所述s_i ^t＝(ID_i ^t,x_i ^t,y_i ^t,w_i ^t,h_i ^t)，其中，ID_i ^t、x_i ^t、y_i ^t、w_i ^t、h_i ^t分别为第i个检测到的目标物体的ID、目标物体的左上角x坐标、目标物体的左上角y坐标、目标物体的宽度和高度。

具体实施时，所述预先记录的目标状态映射表可以记录有上一帧的目标物体的信息，得到上一帧的目标物体的信息集S^t-1，然后根据上一帧的目标物体的信息集S^t-1，可以利用现有的目标跟踪技术确定上一帧中的目标物体在所述当前帧中的位置，得到跟踪结果集S^t。

其中，信息集S^t-1和跟踪结果集S^t分别为t-1时刻和t时刻的目标物体的信息，每个集合中都可以包括多个检测到的目标物体的ID、左上角x和y坐标、目标物体的宽度和高度等。

在具体实施时，由第t-1帧到t帧的过程中，一些目标物体可能离开了广角相机的拍摄画面，所以可能并不是所有的t-1帧中的目标均可以在t帧中找到对应的目标物体，因此，通常来说，集合S^t的大小k_s ^t可能会小于S^t-1集合中的大小k_s ^t-1。

实施中，所述根据上一帧的目标物体的信息集S^t-1，确定当前帧的目标物体跟踪结果集S^t，具体可以为：

对于跟踪到的目标物体，将所述上一帧的目标物体的信息集S^t-1中的所述目标物体的ID赋值给所述当前帧的目标物体跟踪结果集S^t中所述目标物体的ID，例如：假设s_m ^t-1匹配到s_n ^t，则ID_n ^t＝ID_m ^t-1。

具体实施时，在确定当前帧的目标物体跟踪结果集S^t时，如果在当前帧中跟踪到上一帧的目标物体，对于跟踪到的目标物体，将所述上一帧的目标物体的信息集S^t-1中的所述目标物体的ID赋值给所述当前帧的目标物体跟踪结果集S^t中所述目标物体的ID，以标识二者为同一目标物体。

实施中，所述根据当前帧的目标物体的位置以及上一帧中的目标物体在当前帧中的位置，更新所述目标状态映射表，具体可以为：

将所述检测结果集D^t与所述跟踪结果集S^t合并为并集F^t，其中，所述F^t＝{f_i ^t|i＝1…k_f ^t}；所述f_i ^t为t时刻集合F^t中第i个目标物体的信息；

根据所述并集F^t更新所述目标状态映射表。

具体实施时，可以检测所述检测结果集D^t与所述跟踪结果集S^t中元素的对应关系，将两个集合合并，产生并集F^t，并更新目标状态映射表。

实施中，所述将所述检测结果集D^t与所述跟踪结果集S^t合并为并集F^t，具体可以为：

计算所述D^t与S^t中目标物体位置的交并比r_ij，得到最大的r_ij；所述r_ij＝(d_i ^t与s_j ^t相交部分的面积)/(d_i ^t与s_j ^t相并部分的面积)；所述目标物体位置为所述目标物体的左上角坐标x、左上角坐标y、目标物体的宽度和高度所形成的检测方框；

如果所述最大的r_ij大于预设的交并比阈值，将所述最大的r_ij对应的d_i ^t从所述D^t中删除，将所述最大的r_ij对应的s_j ^t加入所述F^t中；

如果所述最大的r_ij小于预设的交并比阈值，为所述最大的r_ij对应的d_i ^t生成ID，将所述最大的r_ij对应的d_i ^t加入所述F^t中；

重复上述三个步骤，直至所述D^t与S^t至少一个为空；

如果所述D^t为空，将所述S^t中剩余元素加入所述F^t中；

如果所述S^t为空，为所述D^t中剩余元素生成ID并加入所述F^t中。

图2示出了本申请实施例一中集合合并的过程示意图，如图所示，所述集合合并过程可以包括如下步骤：

步骤201、计算所述D^t与S^t中目标物体位置(即，(x，y，w，h)这一检测方框所在区域)的交并比r_ij，得到最大的r_ij；

步骤202、判断所述最大的r_ij是否大于预设交并比阈值：

如果所述最大的r_ij大于预设交并比阈值，执行步骤203；

如果所述最大的r_ij不大于预设交并比阈值，执行步骤204；

步骤203、将所述最大的r_ij对应的d_i ^t从所述D^t中删除，将所述最大的r_ij对应的s_j ^t加入所述F^t中，执行步骤205；

步骤204、为所述最大的r_ij对应的d_i ^t生成ID，将所述最大的r_ij对应的d_i ^t加入所述F^t中，执行步骤205；

步骤205、判断所述D^t是否为空：

如果所述D^t为空，执行步骤206；

如果所述D^t不为空，执行步骤207；

步骤206、将所述S^t中剩余元素加入所述F^t中；

步骤207、判断所述S^t是否为空；

如果所述S^t为空，执行步骤208；

如果所述S^t不为空，执行步骤201。

其中，所述交并比的合理范围一般可以为0～1之间，所述交并比的值越大说明两个元素越相关。所述交并比阈值可以根据实际需要进行设置，具体可以为0.5等数值。

实施中，所述根据所述并集F^t更新所述目标状态映射表，具体可以为：

检测所述F^t中的元素的ID是否存在于所述目标状态映射表中；

如果所述F^t中的元素的ID存在于所述目标状态映射表中，更新所述ID对应的目标物体位置为所述元素的目标物体位置，将所述ID对应项记为已更新；

如果所述目标状态映射表中不存在所述F^t中的元素的ID，将所述ID插入所述目标状态映射表中，将所述插入的ID的目标位置设置为所述元素的目标物体位置，将所述ID对应项记为已更新，所述目标抓拍次数设置为0；

重复上述三个步骤，直至所述F^t为空，删除所述目标状态映射表中未被更新的项。

图3示出了本申请实施例一中目标状态映射表更新过程示意图，如图所示，所述目标状态映射表的更新过程可以包括如下步骤：

步骤301、判断所述F^t中的元素的ID是否存在于所述目标状态映射表中；

如果所述F^t中的元素的ID存在于所述目标状态映射表中，则执行步骤302；

如果所述F^t中的元素的ID不存在于所述目标状态映射表中，则执行步骤303；

步骤302、更新所述ID对应的目标物体位置为所述元素的目标物体位置，将所述ID对应项记为已更新；

步骤303、将所述ID插入所述目标状态映射表中，将所述插入的ID的目标位置设置为所述元素的目标物体位置，将所述ID对应项记为已更新，所述目标抓拍次数设置为0；

步骤304、判断所述F^t是否为空；

如果所述F^t为空，执行步骤305；

如果所述F^t不为空，执行步骤301；

步骤305、删除所述目标状态映射表中未被更新的项。

实施中，所述根据所述目标状态映射表，调度长焦相机拍摄所述目标物体，具体可以为：

将所述目标状态映射表中的项按照目标物体被抓拍的次数排序；

根据所述排序后的目标状态映射表，计算目标物体位置的中心坐标；

将所述中心坐标依次作为控制信号，调度所述长焦相机转动；

所述长焦相机在每次转动后拍摄目标物体的图像。

具体实施时，可以根据所述目标状态映射表调度长焦相机对目标物体进行抓拍。对于目标状态映射表中的所有项，可以根据目标被抓拍的次数由小到大排序，对于排序后的目标状态映射表，计算目标物体所在位置的方框的中心坐标，依次将这些中心坐标作为联动系统的控制信号，调度长焦相机转动。待转动完毕后，拍摄并保存长焦相机拍摄的图像。

实施例二、

基于同一发明构思，本申请实施例中还提供了一种目标物体抓拍系统，由于这些设备解决问题的原理与一种目标物体抓拍方法相似，因此这些设备的实施可以参见方法的实施，重复之处不再赘述。

图4示出了本申请实施例二中目标物体抓拍系统的结构示意图，如图所示，所述目标抓拍系统可以包括：

获取模块401，用于从广角相机所拍摄的视频数据中获取当前帧的视频图像；

检测模块402，用于根据所述当前帧的视频图像检测目标物体以及所述目标物体在当前帧中的位置，得到t时刻的检测结果集D^t，所述D^t＝{d_i ^t|i＝1…k_d ^t}，所述d_i ^t为t时刻集合D^t中第i个目标物体的位置，所述d_i ^t＝(x_i ^t，y_i ^t，w_i ^t，h_i ^t)，其中，x_i ^t、y_i ^t、w_i ^t、h_i ^t分别为t时刻检测到的第i个目标物体的左上角x坐标、左上角y坐标、目标物体在当前帧中的宽度和高度；

跟踪模块403，用于根据预先记录的目标状态映射表，确定上一帧中的目标物体在所述当前帧中的位置；所述目标状态映射表记录有所有被检测到的目标物体的信息；

更新模块404，用于根据当前帧的目标物体的位置以及上一帧中的目标物体在当前帧中的位置，更新所述目标状态映射表；

调度模块405，用于根据所述目标状态映射表，调度长焦相机拍摄所述目标物体。

本申请实施例所提供的目标物体抓拍系统，从广角相机中获取当前帧，检测当前帧中目标物体的位置，根据预先记录的目标状态映射表确定上一帧中的目标物体在当前帧中的位置，根据当前帧的目标物体的位置以及上一帧中的目标物体在当前帧中的位置，更新所述目标状态映射表，最终，根据所述目标状态映射表，调度长焦相机拍摄所述目标物体。

由于本申请实施例可以根据目标状态映射表确定上一帧中目标物体在当前帧中的位置，并根据当前帧的目标物体的位置以及上一帧中的目标物体在当前帧中的位置更新所述目标状态映射表，因此，采用本申请实施例所提供的系统，利用帧与帧之间的关系可以确定出广角相机所拍摄的画面中每一帧的目标物体所在区域，最终再调度长焦相机获取目标物体的高清画面，从而实现自动检测目标物体并进行高清图像抓拍的功能，无需人的参与即可自动实现联动监控，减少了人的工作量的同时，提高了工作效率。

实施中，所述目标状态映射表具体可以包括：目标物体的标识ID、目标物体的当前位置以及目标物体被抓拍的次数。

实施中，所述跟踪模块具体可以用于根据上一帧的目标物体的信息集S^t-1，确定当前帧的目标物体跟踪结果集S^t；其中，

所述S^t-1＝{s_i ^t-1|i＝1…k_s ^t-1}，所述s_i ^t-1为t-1时刻集合S^t-1中第i个目标物体的信息，所述s_i ^t-1＝(ID_i ^t-1,x_i ^t-1,y_i ^t-1,w_i ^t-1,h_i ^t-1)，其中，ID_i ^t-1、x_i ^t-1、y_i ^t-1、w_i ^t-1、h_i ^t-1分别为第i个检测到的目标物体的ID、目标物体的左上角x坐标、目标物体的左上角y坐标、目标物体的宽度和高度；

所述S^t＝{s_i ^t|i＝1…k_s ^t}，所述s_i ^t为t时刻集合S^t中第i个目标物体的信息，所述s_i ^t＝(ID_i ^t,x_i ^t,y_i ^t,w_i ^t,h_i ^t)，其中，ID_i ^t、x_i ^t、y_i ^t、w_i ^t、h_i ^t分别为第i个检测到的目标物体的ID、目标物体的左上角x坐标、目标物体的左上角y坐标、目标物体的宽度和高度。

实施中，所述跟踪模块具体可以用于对于跟踪到的目标物体，将所述上一帧的目标物体的信息集S^t-1中的所述目标物体的ID赋值给所述当前帧的目标物体跟踪结果集S^t中所述目标物体的ID。

实施中，所述更新模块具体可以包括：

合并单元，用于将所述检测结果集D^t与所述跟踪结果集S^t合并为并集F^t，其中，所述F^t＝{f_i ^t|i＝1…k_f ^t}；所述f_i ^t为t时刻集合F^t中第i个目标物体的信息；

更新单元，根据所述并集F^t更新所述目标状态映射表。

实施中，所述合并单元具体可以包括：

计算子单元，用于计算所述D^t与S^t中目标物体位置的交并比r_ij，得到最大的r_ij；所述r_ij＝(d_i ^t与s_j ^t相交部分的面积)/(d_i ^t与s_j ^t相并部分的面积)；所述目标物体位置为所述目标物体的左上角坐标x、左上角坐标y、目标物体的宽度和高度所形成的检测方框；

第一处理子单元，用于如果所述最大的r_ij大于预设的交并比阈值，将所述最大的r_ij对应的d_i ^t从所述D^t中删除，将所述最大的r_ij对应的s_j ^t加入所述F^t中；

第二处理子单元，用于如果所述最大的r_ij小于预设的交并比阈值，为所述最大的r_ij对应的d_i ^t生成ID，将所述最大的r_ij对应的d_i ^t加入所述F^t中；

第一循环子单元，用于循环执行所述计算子单元、所述第一处理子单元和所述第二处理子单元，直至所述D^t与S^t至少一个为空；

第三处理子单元，用于如果所述D^t为空，将所述S^t中剩余元素加入所述F^t中；

第四处理子单元，用于如果所述S^t为空，为所述D^t中剩余元素生成ID并加入所述F^t中。

实施中，所述更新单元具体可以包括：

检测子单元，用于检测所述F^t中的元素的ID是否存在于所述目标状态映射表中；

第一更新子单元，用于如果所述F^t中的元素的ID存在于所述目标状态映射表中，更新所述ID对应的目标物体位置为所述元素的目标物体位置，将所述ID对应项记为已更新；

第二更新子单元，用于如果所述目标状态映射表中不存在所述F^t中的元素的ID，将所述ID插入所述目标状态映射表中，将所述插入的ID的目标位置设置为所述元素的目标物体位置，将所述ID对应项记为已更新，所述目标抓拍次数设置为0；

第二循环子单元，用于循环执行所述检测子单元、所述第一更新子单元和所述第二更新子单元，直至所述F^t为空；

删除子单元，用于删除所述目标状态映射表中未被更新的项。

实施中，所述调度模块具体可以包括：

排序单元，用于将所述目标状态映射表中的项按照目标物体被抓拍的次数排序；

计算单元，用于根据所述排序后的目标状态映射表，计算目标物体位置的中心坐标；

调度单元，用于将所述中心坐标依次作为控制信号，调度所述长焦相机转动；

拍摄单元，用于所述长焦相机在每次转动后拍摄目标物体的图像。

实施例三、

本申请实施例以枪球联动相机监控银行门口为例，使用一个广角相机用于目标检测，使用一个或多个长焦相机用于目标高清抓拍。

图5示出了本申请实施例三中联动相机抓拍目标物体的过程示意图，如图所示，所述联动相机进行目标物体抓拍的过程可以包括如下步骤：

步骤501、从广角相机所拍摄的视频数据中获取当前帧的视频图像，得到t时刻的检测结果集D^t；

利用装有广角镜头的数码相机拍摄银行门口场景的视频数据，所述视频数据可以由多个视频帧组成，每个视频帧对应一张当前帧的视频图像。

根据所述视频图像可以检测到当前帧的目标物体及其所在位置。假设当前帧中银行门口存在A、B、C、D这4个人，本申请实施例可以利用现有的计算机视觉和机器学习领域中的目标物体检测和识别方法来检测出当前帧中出现的所有人和每个人的位置。

本申请实施例中可以用方框将每个人圈出来标示在监控屏幕上，所述检测结果集D^t可以包括A、B、C、D这4个人的位置，即，方框的左上角x、y坐标，以及方框的宽度和高度。

步骤502、根据上一帧的目标物体的信息集S^t-1，确定当前帧的目标物体跟踪结果集S^t；

假设在上一帧中，银行门口存在A、B、C、E四个人，每个人的位置已记录于所述目标状态映射表中，在当前帧中，可以利用现有的视频跟踪技术根据上一帧的检测结果跟踪到当前帧的图像中目标物体的变化位置情况，得到跟踪结果集S^t。

对于跟踪到的A、B、C三个人，可以直接将上一帧的A、B、C的ID直接赋值给当前帧的A、B、C的ID。

步骤503、将所述检测结果集D^t与所述跟踪结果集S^t合并为并集F^t，更新所述目标状态映射表；

根据当前帧的检测到的目标物体的结果集D^t、以及根据上一帧确定的当前帧的目标物体的结果集S^t，进行集合合并操作。具体合并可以根据集合中元素的相关性进行，对于相关性高的元素保留S^t中的元素(例如：保留了A、B、C三个人的信息)、对于相关性低的元素仅保留D^t中的元素(例如：删除了S^t中的E的信息)，对于没有相关性的元素全部保留(例如：保留了D的信息)，得到合并后的集合F^t。

对于集合F^t中的每个元素的ID，检测是否在所述目标状态映射表中：

如果存在(例如：A、B、C的ID)，则更新该ID对应的目标物体位置为该元素的目标物体位置(更新A、B、C的位置)，将所述目标状态映射表中该ID的对应项标记为已更新；

如果不存在(例如：不存在D的ID)，则将该ID插入表中，将该ID对应的目标物体位置设置为该元素的目标物体位置(将当前帧中D的位置保存到表中)，目标物体抓拍次数设置为0，将所述目标状态映射表中该ID的对应项标记为已更新。

根据所述F^t更新完所述目标状态映射表之后，删除所述目标状态映射表中未被更新的项(例如：E的相关信息)。

步骤504、根据所述目标状态映射表，调度长焦相机抓拍目标物体。

由于所述更新后的目标状态映射表中包括A、B、C、D四个人的最新信息，可以根据抓拍次数的多少依次调度长焦相机进行抓拍，所述长焦相机抓拍到目标物体之后，所述目标状态映射表中的目标物体抓拍次数可以自动加1。

为了描述的方便，以上所述装置的各部分以功能分为各种模块或单元分别描述。当然，在实施本申请时可以把各模块或单元的功能在同一个或多个软件或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

Claims (16)

1.一种目标物体抓拍方法，其特征在于，包括如下步骤：

从广角相机所拍摄的视频数据中获取当前帧的视频图像；

根据所述当前帧的视频图像检测目标物体以及所述目标物体在当前帧中的位置，得到t时刻的检测结果集D^t，所述D^t＝{d_i ^t|i＝1…k_d ^t}，所述d_i ^t为t时刻集合D^t中第i个目标物体的位置，所述d_i ^t＝(x_i ^t，y_i ^t，w_i ^t，h_i ^t)，其中，x_i ^t，y_i ^t，w_i ^t，h_i ^t分别为t时刻检测到的第i个目标物体的左上角x坐标、左上角y坐标、目标物体在当前帧中的宽度和高度；

根据预先记录的目标状态映射表，确定上一帧中的目标物体在所述当前帧中的位置；所述目标状态映射表记录有上一帧确定检测到的目标物体的信息；

根据当前帧的目标物体的位置以及上一帧中的目标物体在当前帧中的位置，更新所述目标状态映射表；

根据所述目标状态映射表，调度长焦相机拍摄所述目标物体。

2.如权利要求1所述的方法，其特征在于，所述目标状态映射表具体包括：目标物体的标识ID、目标物体的当前位置以及目标物体被抓拍的次数。

3.如权利要求1所述的方法，其特征在于，所述根据预先记录的目标状态映射表，确定上一帧中的目标物体在所述当前帧中的位置，具体为：

根据上一帧的目标物体的信息集S^t-1，确定当前帧的目标物体跟踪结果集S^t；

其中，所述S^t-1＝{s_i ^t-1|i＝1…k_s ^t-1}，所述s_i ^t-1为t-1时刻集合S^t-1中第i个目标物体的信息，所述s_i ^t-1＝(ID_i ^t-1，x_i ^t-1，y_i ^t-1，w_i ^t-1，h_i ^t-1)，其中，ID_i ^t-1、x_i ^t-1、y_i ^t-1、w_i ^t-1、h_i ^t-1分别为第i个检测到的目标物体的ID、目标物体的左上角x坐标、目标物体的左上角y坐标、目标物体的宽度和高度；

所述S^t＝{s_i ^t|i＝1…k_s ^t}，所述s_i ^t为t时刻集合S^t中第i个目标物体的信息，所述s_i ^t＝(ID_i ^t，x_i ^t，y_i ^t，w_i ^t，h_i ^t)，其中，ID_i ^t、x_i ^t、y_i ^t、w_i ^t、h_i ^t分别为第i个检测到的目标物体的ID、目标物体的左上角x坐标、目标物体的左上角y坐标、目标物体的宽度和高度。

4.如权利要求3所述的方法，其特征在于，所述根据上一帧的目标物体的信息集S^t-1，确定当前帧的目标物体跟踪结果集S^t，具体为：对于跟踪到的目标物体，将所述上一帧的目标物体的信息集S^t-1中的所述目标物体的ID赋值给所述当前帧的目标物体跟踪结果集S^t中所述目标物体的ID。

5.如权利要求3所述的方法，其特征在于，所述根据当前帧的目标物体的位置以及上一帧中的目标物体在当前帧中的位置，更新所述目标状态映射表，具体为：

将所述检测结果集D^t与所述跟踪结果集S^t合并为并集F^t，其中，所述F^t＝{f_i ^t|i＝1…k_f ^t}；所述f_i ^t为t时刻集合F^t中第i个目标物体的信息；

根据所述并集F^t更新所述目标状态映射表。

6.如权利要求5所述的方法，其特征在于，所述将所述检测结果集D^t与所述跟踪结果集S^t合并为并集F^t，具体为：

计算所述D^t与S^t中目标物体位置的交并比r_ij，得到最大的r_ij；所述r_ij＝(d_i ^t与s_j ^t相交部分的面积)/(d_i ^t与s_j ^t相并部分的面积)；所述目标物体位置为所述目标物体的左上角坐标x、左上角坐标y、目标物体的宽度和高度所形成的检测方框；

如果所述最大的r_ij大于预设的交并比阈值，将所述最大的r_ij对应的d_i ^t从所述D^t中删除，将所述最大的r_ij对应的s_j ^t加入所述F^t中；

如果所述最大的r_ij小于预设的交并比阈值，为所述最大的r_ij对应的d_i ^t生成ID，将所述最大的r_ij对应的d_i ^t加入所述F^t中；

重复上述三个步骤，直至所述D^t与S^t至少一个为空；

如果所述D^t为空，将所述S^t中剩余元素加入所述F^t中；

如果所述S^t为空，为所述D^t中剩余元素生成ID并加入所述F^t中。

7.如权利要求5所述的方法，其特征在于，所述根据所述并集F^t更新所述目标状态映射表，具体为：

检测所述F^t中的元素的ID是否存在于所述目标状态映射表中；

如果所述F^t中的元素的ID存在于所述目标状态映射表中，更新所述ID对应的目标物体位置为所述元素的目标物体位置，将所述ID对应项记为已更新；

如果所述目标状态映射表中不存在所述F^t中的元素的ID，将所述ID插入所述目标状态映射表中，将所述插入的ID的目标位置设置为所述元素的目标物体位置，将所述ID对应项记为已更新，所述目标抓拍次数设置为0；

重复上述三个步骤，直至所述F^t为空，删除所述目标状态映射表中未被更新的项。

8.如权利要求1所述的方法，其特征在于，所述根据所述目标状态映射表，调度长焦相机拍摄所述目标物体，具体为：

将所述目标状态映射表中的项按照目标物体被抓拍的次数排序；

根据所述排序后的目标状态映射表，计算目标物体位置的中心坐标；

将所述中心坐标依次作为控制信号，调度所述长焦相机转动；

所述长焦相机在每次转动后拍摄目标物体的图像。

9.一种目标物体抓拍系统，其特征在于，包括：

获取模块，用于从广角相机所拍摄的视频数据中获取当前帧的视频图像；

检测模块，用于根据所述当前帧的视频图像检测目标物体以及所述目标物体在当前帧中的位置，得到t时刻的检测结果集D^t，所述D^t＝{d_i ^t|i＝1…k_d ^t}，所述d_i ^t为t时刻集合D^t中第i个目标物体的位置，所述d_i ^t＝(x_i ^t，y_i ^t，w_i ^t，h_i ^t)，其中，x_i ^t，y_i ^t，w_i ^t，h_i ^t分别为t时刻检测到的第i个目标物体的左上角x坐标、左上角y坐标、目标物体在当前帧中的宽度和高度；

跟踪模块，用于根据预先记录的目标状态映射表，确定上一帧中的目标物体在所述当前帧中的位置；所述目标状态映射表记录有上一帧确定检测到的目标物体的信息；

更新模块，用于根据当前帧的目标物体的位置以及上一帧中的目标物体在当前帧中的位置，更新所述目标状态映射表；

调度模块，用于根据所述目标状态映射表，调度长焦相机拍摄所述目标物体。

10.如权利要求9所述的系统，其特征在于，所述目标状态映射表具体包括：目标物体的标识ID、目标物体的当前位置以及目标物体被抓拍的次数。

11.如权利要求9所述的系统，其特征在于，所述跟踪模块具体用于根据上一帧的目标物体的信息集S^t-1，确定当前帧的目标物体跟踪结果集S^t；其中，所述S^t-1＝{s_i ^t-1|i＝1…k_s ^{t -1}}，所述s_i ^t-1为t-1时刻集合S^t-1中第i个目标物体的信息，所述s_i ^t-1＝(ID_i ^t-1，x_i ^t-1，y_i ^t-1，w_i ^t-1，h_i ^t-1)，其中，ID_i ^t-1、x_i ^t-1、y_i ^t-1、w_i ^t-1、h_i ^t-1分别为第i个检测到的目标物体的ID、目标物体的左上角x坐标、目标物体的左上角y坐标、目标物体的宽度和高度；所述S^t＝{s_i ^t|i＝1…k_s ^t}，所述s_i ^t为t时刻集合S^t中第i个目标物体的信息，所述s_i ^t＝(ID_i ^t，x_i ^t，y_i ^t，w_i ^t，h_i ^t)，其中，ID_i ^t、x_i ^t、y_i ^t、w_i ^t、h_i ^t分别为第i个检测到的目标物体的ID、目标物体的左上角x坐标、目标物体的左上角y坐标、目标物体的宽度和高度。

12.如权利要求11所述的系统，其特征在于，所述跟踪模块具体用于对于跟踪到的目标物体，将所述上一帧的目标物体的信息集S^t-1中的所述目标物体的ID赋值给所述当前帧的目标物体跟踪结果集S^t中所述目标物体的ID。

13.如权利要求11所述的系统，其特征在于，所述更新模块具体包括：

合并单元，用于将所述检测结果集D^t与所述跟踪结果集S^t合并为并集F^t，其中，所述F^t＝{f_i ^t|i＝1…k_f ^t}；所述f_i ^t为t时刻集合F^t中第i个目标物体的信息；

更新单元，根据所述并集F^t更新所述目标状态映射表。

14.如权利要求13所述的系统，其特征在于，所述合并单元具体包括：

计算子单元，用于计算所述D^t与所述S^t中目标物体位置的交并比r_ij，得到最大的r_ij；所述r_ij＝(d_i ^t与s_j ^t相交部分的面积)/(d_i ^t与s_j ^t相并部分的面积)；所述目标物体位置为所述目标物体的左上角坐标x、左上角坐标y、目标物体的宽度和高度所形成的检测方框；

第一处理子单元，用于如果所述最大的r_ij大于预设的交并比阈值，将所述最大的r_ij对应的d_i ^t从所述D^t中删除，将所述最大的r_ij对应的s_j ^t加入所述F^t中；

第二处理子单元，用于如果所述最大的r_ij小于预设的交并比阈值，为所述最大的r_ij对应的d_i ^t生成ID，将所述最大的r_ij对应的d_i ^t加入所述F^t中；

第一循环子单元，用于循环执行所述计算子单元、所述第一处理子单元和所述第二处理子单元，直至所述D^t与S^t至少一个为空；

第三处理子单元，用于如果所述D^t为空，将所述S^t中剩余元素加入所述F^t中；

第四处理子单元，用于如果所述S^t为空，为所述D^t中剩余元素生成ID并加入所述F^t中。

15.如权利要求13所述的系统，其特征在于，所述更新单元具体包括：

检测子单元，用于检测所述F^t中的元素的ID是否存在于所述目标状态映射表中；

第一更新子单元，用于如果所述F^t中的元素的ID存在于所述目标状态映射表中，更新所述ID对应的目标物体位置为所述元素的目标物体位置，将所述ID对应项记为已更新；

第二更新子单元，用于如果所述目标状态映射表中不存在所述F^t中的元素的ID，将所述ID插入所述目标状态映射表中，将所述插入的ID的目标位置设置为所述元素的目标物体位置，将所述ID对应项记为已更新，所述目标抓拍次数设置为0；

第二循环子单元，用于循环执行所述检测子单元、所述第一更新子单元和所述第二更新子单元，直至所述F^t为空；

删除子单元，用于删除所述目标状态映射表中未被更新的项。

16.如权利要求9所述的系统，其特征在于，所述调度模块具体包括：

排序单元，用于将所述目标状态映射表中的项按照目标物体被抓拍的次数排序；

计算单元，用于根据所述排序后的目标状态映射表，计算目标物体位置的中心坐标；

调度单元，用于将所述中心坐标依次作为控制信号，调度所述长焦相机转动；

拍摄单元，用于所述长焦相机在每次转动后拍摄目标物体的图像。