CN107452021A - 基于单镜头图像动态识别的摄像机自动跟踪系统及其方法 - Google Patents

Abstract

本发明公开了一种基于单镜头图像动态识别的摄像机自动跟踪系统及其方法，涉及图像跟踪摄像技术领域；包括图像识别模块、目标跟踪模块以及目标拍摄模块；所述图像识别模块，用于识别人体运动，所述图像识别模块包括跟踪摄像机；所述目标跟踪模块，用于跟踪目标运动，所述目标跟踪模块包括云台控制主板，云台控制主板通过云台控制线与所述图像识别模块的摄像机主板电性连接；所述目标拍摄模块，包括录播主机，所述录播主机连接于所述的摄像机主板；本发明的有益效果是：根据所获取的图像进行分析，并根据图像运算的结果定位出目标的坐标位置，最后通过控制云台控制主板，实现了对移动目标的单镜头自动跟踪。

Description

基于单镜头图像动态识别的摄像机自动跟踪系统及其方法

【技术领域】

本发明涉及图像跟踪摄像技术领域，更具体的说，本发明涉及基于单镜头图像动态识别的摄像机自动跟踪系统及其方法。

【背景技术】

摄像机跟踪技术发展以来，主要分为三个阶段，第一阶段是超声波定位器，配合视频摄像机跟踪目标，如图1所示，即为超声波定位器的电路框图，超声波探头发出的超声波，通过接收电路的接收，再通过单片机处理后，通过无线数据收发器接收和发送目标的位置信息；第二阶段是红外线定位器，配合视频摄像机跟踪目标，第三阶段是图像定位摄像机配合视频摄像机的双目定位法。

现有技术的定位系统及其方法在一定条件下可以满足自动跟踪系统的要求，但是存在以下几个缺点：例如硬件设备过多，包括被本系统裁剪掉的跟踪逻辑控制机，定位摄像机，其一：较多不同器材的制造，导致整个系统价格高昂，同时部署难度增大；其二，设备分散增加损坏几率，维修成本加大；其三，设备种类繁多，导致运营和学习操作设备的时间成本增加。

【发明内容】

本发明的目的在于有效克服上述技术的不足，提供一种基于单镜头图像动态识别的摄像机自动跟踪系统，所述系统根据所获取的图像进行分析，并根据图像运算的结果定位出目标的坐标位置，最后通过控制云台控制主板，实现了对移动目标的单镜头自动跟踪。

本发明的技术方案是这样实现的：一种基于单镜头图像动态识别的摄像机自动跟踪系统，其改进之处在于：包括图像识别模块、目标跟踪模块以及目标拍摄模块；

所述图像识别模块，用于识别人体运动，所述图像识别模块包括跟踪摄像机，跟踪摄像机具有摄像机主板，所述摄像机主板用于分流出灰度图像，并对移动目标进行灰度图像识别和移动目标的定位；

所述目标跟踪模块，用于跟踪目标运动，所述目标跟踪模块包括云台控制主板，云台控制主板通过云台控制线与所述图像识别模块的摄像机主板电性连接，云台控制线用于传输命令至图像识别模块，以控制所述的跟踪摄像机；

所述目标拍摄模块，包括录播主机，所述录播主机连接于所述的摄像机主板，录播主机用于生成视频数据；所述摄像机拍摄移动目标，并在所述摄像机主板内分流出原始彩色图像，摄像机主板用于对图像进行发送。

在上述的结构中，所述云台控制传输至图像识别模块的命令包括跟踪摄像机的角度和焦距。

在上述的结构中，所述跟踪摄像机的摄像机主板连接在路由器上，摄像机主板通过网络对图像进行发送。

在上述的结构中，所述目标拍摄模块的录播主机连接在路由器上，并通过路由器传输视频数据和音频数据至云服务器。

在上述的结构中，所述跟踪摄像机由教师跟踪摄像机和学生跟踪摄像机构成。

在上述的结构中，所述目标跟踪模块包括云台电机，所述云台电机用于控制所述的跟踪摄像机。

本发明还公开了一种如上述的基于单镜头图像动态识别的摄像机自动跟踪系统的自动跟踪方法，其改进之处在于：包括以下步骤：

A、图像识别：给图像中的每个像素点赋予一个速度矢量，形成了一个运动矢量场；在某一时刻，图像上的点与三维物体上的点一一对应，这种对应关系通过投影来计算得到；根据各个像素点的速度矢量特征，对图像进行动态分析：如图像中没有运动目标，则光流矢量在整个图像区域是连续变化的；当图像中有运动物体时，目标和背景存在着相对运动，运动物体所形成的速度矢量必然和背景的速度矢量有所不同，如此便可以计算出运动物体的位置；

B、图像跟踪：对一个连续的视频帧序列进行处理；针对每一个视频序列，检测可能出现的前景目标；如果某一帧出现了前景目标，找到其具有代表性的关键特征点，该关键特征点可以随机产生，也可以利用角点做特征点；对之后的任意两个相邻视频帧而言，寻找上一帧中出现的关键特征点在当前帧中的最佳位置，从而得到前景目标在当前帧中的位置坐标；如此迭代进行，实现目标的跟踪；

C、目标拍摄：对镜头取景的图像进行二分流，其中，一路原始的彩色视频流通过网线，发送到局域网络路由器，路由器在发送给录播主机，用于课件生成的视频源；其中，另一路要转化为灰度图像，用于图像识别的视频流，以下为彩色图像转化为灰度图像的公用公式：

Gray(i,j)＝0.299*R(i,j)+0.587*G(i,j)+0.144*B(i,j)

其中，Gray是最终灰度图像颜色，R是红色，G是绿色，B是蓝色。

进一步的，所述步骤A中还包括以下步骤：

A1、采用k-means聚类算法得到图像运动最剧烈的位置，输入参数是检测到的各点，输出是最大一个聚类子集的中心点：k-means算法接受输入量k；然后将n个数据对象划分为k个聚类以便使得所获得的聚类满足:同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小；聚类相似度是利用各聚类中对象的均值所获得一个"中心对象"(引力中心)来进行计算的；其中，

k-means算法的工作过程说明如下：首先从n个数据对象任意选择k个对象作为初始聚类中心；而对于所剩下其它对象，则根据它们与这些聚类中心的相似度，即距离，分别将它们分配给与其最相似的聚类；然后再计算每个所获新聚类的聚类中心，即为该聚类中所有对象的均值；不断重复这一过程直到标准测度函数开始收敛为止；

A2、比较计算出的k个聚类，找出最大的聚类，这个聚类就是有效的目标；其他的k-1个更小的聚类就是干扰因素，直接丢弃；通过以上方法，得到了最大聚类的中心点，它就是拍摄画面的唯一一个目标中心点，即运动质心(x1,y1)；这个点就是图像定位的最终目标位置；实现了两个区域移动目标的坐标定位，即教师讲台区域坐标定位教师位置，学生区域定位学生站立、坐下动作的位置；摄像机动态计算镜头中心和目标的夹角，然后移控制云台，使镜头动到目标区域。

进一步的，所述步骤B中还包括以下步骤：

B1、通过自动控制云台电机将镜头旋转到水平物理结构极左端，再控制云台电机将镜头旋转到水平物理结构极右端，如果这期间发现大规模的运动聚类集群，则开始跟踪目标的运动质心(x1,y1,z1)；如果期间未发现运动聚类集群，则将镜头至于正中间；

B2、摄像机云台包含一个水平方向运动的电机和一个垂直方向运动的电机，

(1)假设经过图像识别后，目标运动质心方位在坐标(x1,y1,z1)，镜头画面正中心始终假设为坐标(0,0,0)；

(2)镜头画面正中心和运动目标水平方向的夹角为水平夹角θ；

(3)当θ的绝对值小于水平电机最小转矩的时候，不驱动水平电机；否则，当θ值为负值时驱动水平电机向左；当θ值为正时驱动水平电机向右；

(4)镜头画面正中心和运动目标垂直方向的夹角为垂直夹角φ；

(5)当φ的绝对值小于垂直方向电机最小转矩的时候，不驱动垂直电机；否则，当φ值为正时驱动垂直电机向上；当φ为负时驱动垂直电机向下；

控制云台电机使镜头接近目标物体的过程中，由于目标是一直运动，因此需要循环的检测目标位置，同时循环驱动水平方向和垂直方向运动的电机，在镜头正中心和目标的夹角小于阈值前一刻也不得停，调整水平方向和垂直方向运动的电机速度。

本发明的有益效果在于：提供一种基于单镜头图像识别并跟踪和取景三合一的摄像机自动跟踪系统及其跟踪方法，取消了传统定位器或定位摄像机和跟踪主机，完全根据所获取的图像进行分析，并根据图像运算的结果定位出目标的坐标位置，最后通过控制摄像机云台控制板，实现了对移动目标的单镜头自动跟踪；并且在整个跟踪目标过程中实时拍摄，将视频实时通过网络或其他信号线发送出去；实现了单镜图像识别并跟踪和拍摄三功能合一的技术方案；采用光流法跟踪，采用聚类算法求物体质心抗干扰，跟踪的图像平滑、连续。

【附图说明】

图1为现有技术中超声波定位器的原理框图。

图2为本发明的基于单镜头图像动态识别的摄像机自动跟踪系统的原理框图。

图3为本发明的基于单镜头图像动态识别的摄像机自动跟踪系统的一具体实施例图。

图4至图5为本发明的基于单镜头图像动态识别的摄像机自动跟踪方法的具体实施例图。

【具体实施方式】

下面结合附图和实施例对本发明作进一步的描述。

参照图2、图3所示，本发明揭示的一种基于单镜头图像动态识别的摄像机自动跟踪系统，具体的，该系统包括图像识别模块、目标跟踪模块以及目标拍摄模块。在本实施例中，所述图像识别模块，用于识别人体运动，所述图像识别模块包括跟踪摄像机，跟踪摄像机具有摄像机主板，所述摄像机主板用于分流出灰度图像，并对移动目标进行灰度图像识别和移动目标的定位；所述跟踪摄像机的摄像机主板连接在路由器上，摄像机主板通过网络对图像进行发送。在本实施例中，所述跟踪摄像机由教师跟踪摄像机和学生跟踪摄像机构成。

所述目标跟踪模块，用于跟踪目标运动，所述目标跟踪模块包括云台控制主板，云台控制主板通过云台控制线与所述图像识别模块的摄像机主板电性连接，云台控制线用于传输命令至图像识别模块，以控制所述的跟踪摄像机，在本实施例中，所述目标跟踪模块包括云台电机，所述云台电机用于控制所述的跟踪摄像机；所述云台控制传输至图像识别模块的命令包括跟踪摄像机的角度和焦距。

所述目标拍摄模块，包括录播主机，所述录播主机连接于所述的摄像机主板，录播主机用于生成视频数据；所述摄像机拍摄移动目标，并在所述摄像机主板内分流出原始彩色图像，摄像机主板用于对图像进行发送；所述目标拍摄模块的录播主机连接在路由器上，并通过路由器传输视频数据和音频数据至云服务器。

图3所示为在特定空间内的自动跟踪系统部署案列示意图，实现的是教学录播功能，但本发明的应用领域不局限于该个案的限制，仅作为本发明的示意讲解应用；该案例是通过教师在讲台左右移动动作，以及学生起立、举手、坐下的动作，然后通过录播主机采集摄像机的视频及其麦克风音频实现整个教学场景的现场录制。该跟踪系统主要有教师跟踪摄像机(1个)、学生摄像机(1个)组成；跟踪摄像机通过分析采集的图像，检测出移动目标，计算出移动目标的坐标位置。跟踪的控制逻辑是，跟踪摄像机电路板通过云台控制线连接到云台控制电路板，根据目标移动的位置，跟踪算法向云台控制板发送命令，调节摄像机的拍摄角度和焦距；录播主机通过网络线链接路由器，摄像机也通过网络线连接到路由器，录播主机采集网络视频数据和音频数据进行编码压缩生成课件，同时外发到远程云服务器作为现场直播的视频数据源。

另外，参照图4至图5所示，本发明还公开了一种基于单镜头图像动态识别的摄像机自动跟踪系统的自动跟踪方法，其特征在于：包括以下步骤：

A、图像识别：给图像中的每个像素点赋予一个速度矢量，形成了一个运动矢量场；在某一时刻，图像上的点与三维物体上的点一一对应，这种对应关系通过投影来计算得到；根据各个像素点的速度矢量特征，对图像进行动态分析：如图像中没有运动目标，则光流矢量在整个图像区域是连续变化的；当图像中有运动物体时，目标和背景存在着相对运动，运动物体所形成的速度矢量必然和背景的速度矢量有所不同，如此便可以计算出运动物体的位置；

所述步骤A中还包括以下步骤：

A1、采用k-means聚类算法得到图像运动最剧烈的位置，输入参数是检测到的各点，输出是最大一个聚类子集的中心点：k-means算法接受输入量k；然后将n个数据对象划分为k个聚类以便使得所获得的聚类满足:同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小；聚类相似度是利用各聚类中对象的均值所获得一个"中心对象"(引力中心)来进行计算的；其中，

k-means算法的工作过程说明如下：首先从n个数据对象任意选择k个对象作为初始聚类中心；而对于所剩下其它对象，则根据它们与这些聚类中心的相似度，即距离，分别将它们分配给与其最相似的聚类；然后再计算每个所获新聚类的聚类中心，即为该聚类中所有对象的均值；不断重复这一过程直到标准测度函数开始收敛为止；

A2、比较计算出的k个聚类，找出最大的聚类，这个聚类就是有效的目标；其他的k-1 个更小的聚类就是干扰因素，直接丢弃；通过以上方法，得到了最大聚类的中心点，它就是拍摄画面的唯一一个目标中心点，即运动质心(x1,y1)；这个点就是图像定位的最终目标位置；实现了两个区域移动目标的坐标定位，即教师讲台区域坐标定位教师位置，学生区域定位学生站立、坐下动作的位置；摄像机动态计算镜头中心和目标的夹角，然后移控制云台，使镜头动到目标区域。

B、图像跟踪：对一个连续的视频帧序列进行处理；针对每一个视频序列，检测可能出现的前景目标；如果某一帧出现了前景目标，找到其具有代表性的关键特征点，该关键特征点可以随机产生，也可以利用角点做特征点；对之后的任意两个相邻视频帧而言，寻找上一帧中出现的关键特征点在当前帧中的最佳位置，从而得到前景目标在当前帧中的位置坐标；如此迭代进行，实现目标的跟踪；

所述步骤B中还包括以下步骤：

B1、通过自动控制云台电机将镜头旋转到水平物理结构极左端，再控制云台电机将镜头旋转到水平物理结构极右端，如果这期间发现大规模的运动聚类集群，则开始跟踪目标的运动质心(x1,y1,z1)；如果期间未发现运动聚类集群，则将镜头至于正中间；

B2、摄像机云台包含一个水平方向运动的电机和一个垂直方向运动的电机，

(6)假设经过图像识别后，目标运动质心方位在坐标(x1,y1,z1)，镜头画面正中心始终假设为坐标(0,0,0)；

(7)镜头画面正中心和运动目标水平方向的夹角为水平夹角θ；

(8)当θ的绝对值小于水平电机最小转矩的时候，不驱动水平电机；否则，当θ值为负值时驱动水平电机向左；当θ值为正时驱动水平电机向右；

(9)镜头画面正中心和运动目标垂直方向的夹角为垂直夹角φ；

(10)当φ的绝对值小于垂直方向电机最小转矩的时候，不驱动垂直电机；否则，当φ值为正时驱动垂直电机向上；当φ为负时驱动垂直电机向下；

控制云台电机使镜头接近目标物体的过程中，由于目标是一直运动，因此需要循环的检测目标位置，同时循环驱动水平方向和垂直方向运动的电机，在镜头正中心和目标的夹角小于阈值前一刻也不得停，调整水平方向和垂直方向运动的电机速度。

C、目标拍摄：对镜头取景的图像进行二分流，其中，一路原始的彩色视频流通过网线，发送到局域网络路由器，路由器在发送给录播主机，用于课件生成的视频源；其中，另一路要转化为灰度图像，用于图像识别的视频流，以下为彩色图像转化为灰度图像的公用公式：

Gray(i,j)＝0.299*R(i,j)+0.587*G(i,j)+0.144*B(i,j)

其中，Gray是最终灰度图像颜色，R是红色，G是绿色，B是蓝色。

为了该技术方案达到更好的应用效果，安装时有下列注意事项：一、多目标的处理，对学生摄像机而言上课起立敬礼、下课解散都是多目标运动，此时学生摄像机拍摄全景；对教师摄像机而言学生到黑板答题，开启强光幻灯片投影都是多目标运动，教师摄像机此时拍摄全景；二、跟踪防止镜头抖动，图像聚类算法获得是物体的质心，本身具有良好的防抖效果，为了效果更优可以增加云台最小转矩的软阈值，只有超过某软阈值的运动才会触发云台动作，否则云台保持静止；三、检测区域的限定，对学生跟踪摄像机在安装的教室中会出现日光灯闪烁、电风扇旋转等物体影响检测的效果，需要把学生摄像机的仰角限定在一定高度，即镜头画面不超过学生站立最大高度；对教师跟踪摄像机需要以较大的高度安装，取景为教师上半身的俯视图或讲台区域的全景图。

本发明提供一种基于单镜头图像识别并跟踪和取景三合一的摄像机自动跟踪系统及其跟踪方法，取消了传统定位器或定位摄像机和跟踪主机，完全根据所获取的图像进行分析，并根据图像运算的结果定位出目标的坐标位置，最后通过控制摄像机云台控制板，实现了对移动目标的单镜头自动跟踪；并且在整个跟踪目标过程中实时拍摄，将视频实时通过网络或其他信号线发送出去；实现了单镜图像识别并跟踪和拍摄三功能合一的技术方案；采用光流法跟踪，采用聚类算法求物体质心抗干扰，跟踪的图像平滑、连续。

以上所描述的仅为本发明的较佳实施例，上述具体实施例不是对本发明的限制。在本发明的技术思想范畴内，可以出现各种变形及修改，凡本领域的普通技术人员根据以上描述所做的润饰、修改或等同替换，均属于本发明所保护的范围。

Claims (9)

1.一种基于单镜头图像动态识别的摄像机自动跟踪系统，其特征在于：包括图像识别模块、目标跟踪模块以及目标拍摄模块；

所述图像识别模块，用于识别人体运动，所述图像识别模块包括跟踪摄像机，跟踪摄像机具有摄像机主板，所述摄像机主板用于分流出灰度图像，并对移动目标进行灰度图像识别和移动目标的定位；

所述目标跟踪模块，用于跟踪目标运动，所述目标跟踪模块包括云台控制主板，云台控制主板通过云台控制线与所述图像识别模块的摄像机主板电性连接，云台控制线用于传输命令至图像识别模块，以控制所述的跟踪摄像机；

所述目标拍摄模块，包括录播主机，所述录播主机连接于所述的摄像机主板，录播主机用于生成视频数据；所述摄像机拍摄移动目标，并在所述摄像机主板内分流出原始彩色图像，摄像机主板用于对图像进行发送。

2.根据权利要求1所述的基于单镜头图像动态识别的摄像机自动跟踪系统，其特征在于：所述云台控制传输至图像识别模块的命令包括跟踪摄像机的角度和焦距。

3.根据权利要求1所述的基于单镜头图像动态识别的摄像机自动跟踪系统，其特征在于：所述跟踪摄像机的摄像机主板连接在路由器上，摄像机主板通过网络对图像进行发送。

4.根据权利要求1所述的基于单镜头图像动态识别的摄像机自动跟踪系统，其特征在于：所述目标拍摄模块的录播主机连接在路由器上，并通过路由器传输视频数据和音频数据至云服务器。

5.根据权利要求1所述的基于单镜头图像动态识别的摄像机自动跟踪系统，其特征在于：所述跟踪摄像机由教师跟踪摄像机和学生跟踪摄像机构成。

6.根据权利要求1所述的基于单镜头图像动态识别的摄像机自动跟踪系统，其特征在于：所述目标跟踪模块包括云台电机，所述云台电机用于控制所述的跟踪摄像机。

7.一种如权利要求1所述的基于单镜头图像动态识别的摄像机自动跟踪系统的自动跟踪方法，其特征在于：包括以下步骤：

A、图像识别：给图像中的每个像素点赋予一个速度矢量，形成了一个运动矢量场；在某一时刻，图像上的点与三维物体上的点一一对应，这种对应关系通过投影来计算得到；根据各个像素点的速度矢量特征，对图像进行动态分析：如图像中没有运动目标，则光流矢量在整个图像区域是连续变化的；当图像中有运动物体时，目标和背景存在着相对运动，运动物体所形成的速度矢量必然和背景的速度矢量有所不同，如此便可以计算出运动物体的位置；

B、图像跟踪：对一个连续的视频帧序列进行处理；针对每一个视频序列，检测可能出现的前景目标；如果某一帧出现了前景目标，找到其具有代表性的关键特征点，该关键特征点可以随机产生，也可以利用角点做特征点；对之后的任意两个相邻视频帧而言，寻找上一帧中出现的关键特征点在当前帧中的最佳位置，从而得到前景目标在当前帧中的位置坐标；如此迭代进行，实现目标的跟踪；

C、目标拍摄：对镜头取景的图像进行二分流，其中，一路原始的彩色视频流通过网线，发送到局域网络路由器，路由器在发送给录播主机，用于课件生成的视频源；其中，另一路要转化为灰度图像，用于图像识别的视频流，以下为彩色图像转化为灰度图像的公用公式：

Gray(i,j)=0.299*R(i,j)+0.587*G(i,j)+0.144*B(i,j)

其中，Gray是最终灰度图像颜色，R是红色，G是绿色，B是蓝色。

8.根据权利要求7所述的一种基于单镜头图像动态识别的摄像机自动跟踪系统的自动跟踪方法，其特征在于：所述步骤A中还包括以下步骤：

A1、采用k-means聚类算法得到图像运动最剧烈的位置，输入参数是检测到的各点，输出是最大一个聚类子集的中心点：k-means 算法接受输入量 k ；然后将n个数据对象划分为 k个聚类以便使得所获得的聚类满足:同一聚类中的对象相似度较高;而不同聚类中的对象相似度较小；聚类相似度是利用各聚类中对象的均值所获得一个"中心对象"(引力中心)来进行计算的；其中，

k-means 算法的工作过程说明如下：首先从n个数据对象任意选择 k 个对象作为初始聚类中心；而对于所剩下其它对象，则根据它们与这些聚类中心的相似度，即距离，分别将它们分配给与其最相似的聚类;然后再计算每个所获新聚类的聚类中心，即为该聚类中所有对象的均值；不断重复这一过程直到标准测度函数开始收敛为止；

A2、比较计算出的k个聚类，找出最大的聚类，这个聚类就是有效的目标；其他的k-1个更小的聚类就是干扰因素，直接丢弃；通过以上方法，得到了最大聚类的中心点，它就是拍摄画面的唯一一个目标中心点，即运动质心(x1, y1)；这个点就是图像定位的最终目标位置；实现了两个区域移动目标的坐标定位，即教师讲台区域坐标定位教师位置，学生区域定位学生站立、坐下动作的位置；摄像机动态计算镜头中心和目标的夹角，然后移控制云台，使镜头动到目标区域。

9.根据权利要求8所述的一种基于单镜头图像动态识别的摄像机自动跟踪系统的自动跟踪方法，其特征在于：所述步骤B中还包括以下步骤：

B1、通过自动控制云台电机将镜头旋转到水平物理结构极左端，再控制云台电机将镜头旋转到水平物理结构极右端，如果这期间发现大规模的运动聚类集群，则开始跟踪目标的运动质心(x1,y1,z1)；如果期间未发现运动聚类集群，则将镜头至于正中间；

B2、摄像机云台包含一个水平方向运动的电机和一个垂直方向运动的电机，

假设经过图像识别后，目标运动质心方位在坐标(x1,y1,z1)，镜头画面正中心始终假设为坐标（0,0,0）；

镜头画面正中心和运动目标水平方向的夹角为水平夹角θ；

当θ的绝对值小于水平电机最小转矩的时候，不驱动水平电机；否则，当θ值为负值时驱动水平电机向左；当θ值为正时驱动水平电机向右；

镜头画面正中心和运动目标垂直方向的夹角为垂直夹角φ；

当φ的绝对值小于垂直方向电机最小转矩的时候，不驱动垂直电机；否则，当φ值为正时驱动垂直电机向上；当φ为负时驱动垂直电机向下；

控制云台电机使镜头接近目标物体的过程中，由于目标是一直运动，因此需要循环的检测目标位置，同时循环驱动水平方向和垂直方向运动的电机，在镜头正中心和目标的夹角小于阈值前一刻也不得停，调整水平方向和垂直方向运动的电机速度。