CN103079059B - 一种基于网格结合插值的单枪机—多球机联动方法 - Google Patents

Abstract

本发明提供一种基于网格结合插值的单枪机—多球机联动方法，采用了网格结合插值的枪球联动算法，包括以下步骤：步骤a、对枪机场景进行标定：在枪机画面均匀划分m行n列的网格并在网格中选取四个特征点进行标定；步骤b、获取枪机检测跟踪结果作为输入；步骤c、球机偏移量的获取：判断目标所处于的网格，并在该网格中内选取3个邻近的特征点进行插值，求出球机转向目标的偏移量；步骤d、球机控制：使用球机云台控制中的三维定位功能控制球机转向目标位置，对目标进行跟踪。本发明克服了球机跟踪画面不连续、球机画面抖动的缺点。

Description

一种基于网格结合插值的单枪机—多球机联动方法

技术领域

本发明涉及视频监控、视频分析、计算机视觉和模式识别等领域，具体涉及一种基于网格结合插值的单枪机—多球机联动方法，该方法特别适合单枪机—多球机的联动智能视觉监控系统（枪机指枪型摄像机、球机指球型摄像机）。

背景技术

视频监控作为现代化管理监控以及安全防范中极为有效的手段，已经广泛的应用于银行、车站、办公楼等各种公共场所。近些年来，由于对公共安全防范的迫切需求以及计算机技术的不断发展，视觉监控正在从传统模式向智能化监控的方向转变，其相关技术逐渐成为计算机视觉的研究热点，国内外也相继有一些智能监控系统出现。枪球联动是智能监控系统的一种重要监控模式。枪球联动是指：用枪机对目标进行检测并在枪机中选择目标，球机对该目标进行跟踪。

网格法是枪球联动常用的方法：首先把枪机画面均匀划分成m行n列的网格；其次使用球机云台控制中预置位功能对场景进行标定（每个网格对应一个预置位即对单个网格区域进行放大显示）；最后通过枪机检测跟踪结果返回的目标坐标判断目标所属网格，再把球机转到相应的预置位对目标进行跟踪。网格法只能使目标在球机画面中而不能保证在球机画面中心，而且跟踪画面不连续、球机画面抖动比较严重。

发明内容

本发明的目的是：针对现有技术存在的问题，如何克服枪球联动过程中球机跟踪画面不连续、球机画面抖动等缺点，并且使跟踪目标始终处于球机画面中心区域、跟踪过程更加平滑，是本发明的出发点。

为实现本发明的目的所采用的技术方案为：一种基于网格结合插值的单枪机—多球机联动方法。本发明采用的步骤具体如下：

a.对枪机场景进行标定：在枪机画面均匀划分m行n列的网格并在网格中选取四个特征点进行标定。

b.获取枪机检测跟踪结果作为输入。

c.球机偏移量的获取：判断目标所处于的网格，并在该网格中内选取3个邻近的特征点进行插值，求出球机转向目标的偏移量。

d.球机控制：使用球机云台控制中的三维定位功能控制球机转向目标位置，对目标进行跟踪。

其中，所述步骤a中，首先调节球机场景焦距，使人在球机中的高度占球机画面的1/2左右并固定焦距，用三维定位调整球机使其画面中心和枪机场景中心重合后设置为预置位；其次在枪机画面均匀划分m行n列的网格；再次在每个网格选取四个特征点；最后通过三维定位使球机从预置位转到当前特征点后保存从所述的预置位到当前特征点的球机偏移量(dx_i，dy_i)和当前特征点在枪机画面中的坐标(x_i，y_i)，所述的当前特征点在球机的画面中心，完成对当前特征点的标定，然后转到预置位接着下一个特征点标定，直到标定好所有特征点，即标定完成。

其中，所述步骤b中，枪机采用目标检测跟踪算法对目标进行检测，返回的结果为目标中心坐标。

其中，所述步骤c中，根据枪机检测的目标中心坐标确定所在网格，在所在网格内选择三个最邻近特征点进行插值求出球机偏移量。

具体的，球机偏移量的获取，由枪机检测跟踪返回的目标中心坐标确定目标所在的网格的行、列号；从当前网格四个特征点中选择三个最邻近特征点进行三点二次插值，从而求出球机偏移量；

三点二次插值算法如下：

目标坐标为(z_x，z_y)，三个特征点在枪机上的坐标为(x₀，y₀)·、(x₁，y₁)、(x₂，y₂)，三个特征点的偏移量为(dx₀，dy₀)、(dx₁，dy₁)、(dx₂，dy₂);

$S_1=\det \left[\begin{array}{ccc}{z}_x& x_1& x_2\\ z_y& y_1& y_2\\ 1& 1& 1\end{array}\right]---\left(1\right)$

$S_2=\det \left[\begin{array}{ccc}{x}_0& z_x& z_2\\ y_0& z_y& z_2\\ 1& 1& 1\end{array}\right]---\left(2\right)$

$S_3=\det \left[\begin{array}{ccc}{x}_0& x_1& z_x\\ y_0& y_1& z_y\\ 1& 1& 1\end{array}\right]---\left(3\right)$

$S_0=\det \left[\begin{array}{ccc}{x}_0& x_1& x_2\\ y_0& y_1& y_2\\ 1& 1& 1\end{array}\right]---\left(4\right)$

$\mathrm{dx}=(S_1/S_0)*{\mathrm{dx}}_0+(S_2/S_0)*{\mathrm{dx}}_1+(S_3/S_0)*{\mathrm{dx}}_2---\left(5\right)$

$\mathrm{dy}=(S_1/S_0)*d{y}_0+(S_2/S_0)*{\mathrm{dy}}_1+(S_3/S_0)*{\mathrm{dy}}_2---\left(6\right)$

(dx，dy)为从枪机中心到目标的球机偏移量；

当目标从位置a到位置b时，插值计算出位置a和位置b的枪机中心到a、b的偏移量(dx_n，dy_n)，(dx_h，dy_h).则球机从位置a到b的球机偏移量为(dx_h-dx_n，dy_h-dy_n)。

其中，所述步骤d中，将步骤c计算得到的球机偏移量(dx_k-dx_n，dy_h-dy_n)作为球机自带接口函数的输入，用三维定位功能控制球机转动，使选定目标位于球机画面的中心区域。

本发明的原理在于：

本发明可应用于一枪两球的智能视觉系统。由于系统采用多线程技术，一枪两球可以通过增加球机控制线程来扩展到单枪多球系统。球机控制线程的核心算法为网格结合插值算法。

本发明的优点和积极效果为：

1、本发明克服了球机跟踪画面不连续、球机画面抖动的缺点。

2、本发明跟踪目标始终处于球机画面中心区域。

3、本发明提出一种新的场景标定方法，可以方便快捷地标定场景。

4、本发明采用网格结合插值的枪球联动算法使目标跟踪更加准确。

附图说明

图1是本发明枪球联动算法流程图；

图2是本发明应用系统的硬件实物图；

图3是本发明应用系统的硬件联动图；

图4是本发明测试场景图；

图5是本发明场景标定软件平台图；

图6是本发明场景标定时特征点编号示意图；

图7是本发明场景标定时保存数据文件格式图。

具体实施方式

本发明的单枪机—多球机联动算法流程如附图1中所示，下面结合附图和实施例对本发明做进一步说明：

1、枪机场景标定具体步骤如下：

a.先登录枪机后再登录需要标定的球机登录平台如附图5所示。

b.固定枪机，选取一个枪机场景作为一个测试场景。调节球机焦距使人在球机中的高度占球机画面的1/2左右（相对枪机画面进行了放大显示）并固定焦距，再使用三维定位不断调整球机使其画面中心与枪机场景中心重合，此时设置球机的预置位，不妨设为编号1。

c.在枪机画面画m行n列的网格，m、n值可以由具体场景设置大小，m、n的有效范围为2到10。

d.在每个网格内选取4个特征点进行标定（4个特征点尽量均匀分布在网格中）。特征点的编号规则，在第p行第q列的网格内的四个特征点的编号为4*(n*(p-1)+q-1)+1、4*(n*(p-1)+q-1)+2、4*(n*(p-1)+q-1)+3、4*(n*(p-1)+q-1)+4。特征点编号原则如附图6所示。

e.按编号选择特征点，通过三维定位使球机从预置位1转到特征点（特征点在球机的画面中心）后点击保存当前点完成了对当前特征点的标定，即保存了从预置位(球机画面中心和枪机画面中心重合位置)到当前特征点的球机偏移量(dx_t，dy_t)和特征点在枪机画面中的坐标(x_i，y_i)。然后转到预置位1接着下一个特征点标定，直到标定好所有特征点，即标定完成。如果特征点标定不精确可以根据编号进行重新标定（重新标定前要回到预置位）。

标定数据文件命名及标定数据保存方式：

由于实验采用网络摄像机，所以标定数据文件命名方式采用枪机和球机对应的IP命名。以实际使用的一枪两球实验系统为例，见附图7。

第一个标定数据文件名为10.30.30.14-10.30.30.15-label.ini表示枪机和球机对应IP标定数据，即IP为10.30.30.14的枪机和IP为10.30.30.15的球机的标定数据。

第二个标定数据文件名为10.30.30.14-10.30.30.16-label.ini表示枪机和球机对应IP标定数据，即IP为10.30.30.14的枪机和IP为10.30.30.16的球机的标定数据。

标定数据保存方式具体如下：

[GridParam]

ROW_NUM=4

COL_NUM=4

表示网格的行、列数；

[10.30.30.14]

PointSetX1=-558

PointSetY1=-316

PointSetX2=-399

PointSetY2=-314

PointSetX3=-560

PointSetY3=-228

PointSetX4=-403

PointSetY4=-224

……

表示与IP对应枪机的画面的坐标；

测试时采用了4×4的网格，每个网格有4个特征点所以用64组数据，这边只列了4个。

[10.30.30.15]

PointSetX1=-13592

PointSetY1=-11803

PointSetX2=-9374

PointSetY2=-12140

PointSetX3=-14441

PointSetY3=-8905

PointSetX4=-9950

PointSetY4=-8653

……

表示与IP对应球机的偏移量；

测试时采用了4×4的网格，每个网格有4个特征点所以用64组数据，这边只列了4个。

采用了这种标定数据文件命名及标定数据保存方式在单枪机—多球机联动系统可以方便保存和准确使用标定数据。

2、获取枪机检测跟踪结果作为输入：这里采用背景差法进行目标检测，具体方法见LI LY,HUANG W M,GUI Y H等人的文章：Foreground object detection from videos containingcomplex background。目标跟踪则采用“连通区域跟踪算法”结合“MeanShift粒子滤波算法”进行碰撞分析，以解决目标的稳定跟踪和碰撞分离问题。枪机的检测跟踪结果为目标的中心坐标(z_x，z_y)。

3、球机偏移量的获取：可以由枪机检测跟踪返回的中心坐标确定目标所在网格的行、列号，根据特征点的编号规则确定当前网格内的四个特征点编号，再从当前四个特征点中选择三个最邻近特征点进行插值求出球机偏移量。采用的插值算法为三点二次插值法。

三点二次插算法：

目标坐标为(z_x，z_y)，由枪机场景标定得到三个特征点在枪机上的坐标为(x₀，y₀)、(x₁，y₁)、(x₂，y₂)，从枪机中心到特征点的偏移量为(dx₀，dy₀)、(dx₁，dy₁)、(dx₂，dy₂)。

$S_1=\det \left[\begin{array}{ccc}{z}_x& x_1& x_2\\ z_y& y_1& y_2\\ 1& 1& 1\end{array}\right]---\left(1\right)$

$S_2=\det \left[\begin{array}{ccc}{x}_0& z_x& z_2\\ y_0& z_y& y_2\\ 1& 1& 1\end{array}\right]---\left(2\right)$

$S_3=\det \left[\begin{array}{ccc}{x}_0& x_1& z_x\\ y_0& y_1& z_y\\ 1& 1& 1\end{array}\right]---\left(3\right)$

$S_0=\det \left[\begin{array}{ccc}{x}_0& x_1& x_2\\ y_0& y_1& y_2\\ 1& 1& 1\end{array}\right]---\left(4\right)$

$\mathrm{dx}=(S_1/S_0)*{\mathrm{dx}}_0+(S_2/S_0)*{\mathrm{dx}}_1+(S_3/S_0)*{\mathrm{dx}}_2---\left(5\right)$

$\mathrm{dy}=(S_1/S_0)*{\mathrm{dy}}_0+(S_2/S_0)*{\mathrm{dy}}_1+(S_3/S_0)*{\mathrm{dy}}_2---\left(6\right)$

(dx，dy)为从枪机中心到目标的球机偏移量。

当目标从位置a到位置b时，插值计算出位置a和位置b的枪机中心到a、b的偏移量(dx_n，dy_n)，(dx_h，dy_h).则球机从位置a到b的球机偏移量为(dx_h-dx_n，dy_h-dy_n)。

4、球机控制：通过三维定位转到目标位置，对目标进行跟踪。将上步计算得到的球机偏移量(dx_b-dx_a，dy_b-dy_a)作为球机自带接口函数的输入，用三维定位功能控制球机转动，使选定目标位于球机画面的中心区域。

Claims (1)

1.一种基于网格结合插值的单枪机—多球机联动方法，其特征在于，采用了网格结合插值的枪球联动算法，其中，所述单枪机为一个枪机，所述多球机为多个球机，包括以下步骤：

步骤a、对所述单枪机场景进行标定：在所述单枪机画面均匀划分m行n列的网格并在网格中选取四个特征点进行标定；

步骤b、获取所述单枪机检测跟踪结果作为输入；

步骤c、所述多球机中任一球机偏移量的获取：判断目标所处于的网格，并在该网格中内选取3个邻近的特征点进行插值，求出该球机转向目标的偏移量；

步骤d、所述多球机控制：使用多球机云台控制中的三维定位功能控制多球机中任一球机转向目标位置，对目标进行跟踪；

所述步骤a中，首先调节球机场景焦距，使人在球机中的高度占球机画面的1/2左右并固定焦距，用三维定位调整球机使其画面中心和枪机场景中心重合后设置为预置位；其次在枪机画面均匀划分m行n列的网格；再次在每个网格选取四个特征点；最后通过三维定位使球机从预置位转到当前特征点后保存从所述的预置位到当前特征点的球机偏移量(dx_i，dy_i)和当前特征点在枪机画面中的坐标(x_i，y_i)，所述的当前特征点在球机的画面中心，完成对当前特征点的标定，然后转到预置位接着下一个特征点标定，直到标定好所有特征点，即标定完成；

所述步骤b中，枪机采用目标检测跟踪算法对目标进行检测，返回的结果为目标中心坐标；

所述步骤c中，根据枪机检测的目标中心坐标确定所在网格，在所在网格内选择三个最邻近特征点进行插值求出球机偏移量；

具体的，球机偏移量的获取，由枪机检测跟踪返回的目标中心坐标确定目标所在的网格的行、列号；从当前网格四个特征点中选择三个最邻近特征点进行三点二次插值，从而求出球机偏移量；

三点二次插值算法如下：

目标坐标为(z_x，z_y)，三个特征点在枪机上的坐标为(x₀，y₀)、(x₁，y₁)、(x₂，y₂)，三个特征点的偏移量为(dx₀，dy₀)、(dx₁，dy₁)、(dx₂，dy₂)；

dx＝(s₁/s₀)*dx₀+(s₂/s₀)*dx₁+(s₃/s₀)*dx₂      (5) 

dy＝(s₁/s₀)*dy₀+(s₂/s₀)*dy₁+(s₃/s₀)*dy₂      (6) 

(dx，dy)为从枪机中心到目标的球机偏移量；

当目标从位置a到位置b时，插值计算出位置a和位置b的枪机中心到a、b的偏移量(dx_a，dy_a)，(dx_b，dy_b)，则球机从位置a到b的球机偏移量为(dx_b-dx_a，dy_b-dy_a)；

所述步骤d中，将步骤c计算得到的球机偏移量(dx_b-dx_a，dy_b-dy_a)作为球机自带接口函数的输入，用三维定位功能控制球机转动，使选定目标位于球机画面的中心区域。