CN106303410A - 一种基于全景视频和球机预置位的枪球机联动方法 - Google Patents

Abstract

本发明公开了一种基于全景视频和球机预置位的枪球机联动方法，该方法包括：1)在客户端初始化全景枪机的视频画面；2)与用户交互增加要关联的独立球机；3)接收用户框选的目标监控区域；4)控制联动球机指向目标监控区域中心点；5)控制目标监控区域中的联动的独立球机，指向目标监控区域的中心点；6)客户端获取联动的独立球机最新的视频流，在视频窗口中显示该视频画面。本发明既能看全180度全景，又能看清细节图像，还能与目标监控区域内的独立球机配合，多方位捕获目标监控区域的视频图像，使得监控能力更加灵活，高效。

Description

一种基于全景视频和球机预置位的枪球机联动方法

技术领域

本发明涉及视频监控系统中基于全景视频和球机预置位的枪球机联动问题，具体涉及一种基于全景视频和球机预置位的枪球机联动方法,属于安防视频监控领域。

背景技术

在平安城市监控项目中，在各重点区域都已经部署了高清视频监控，但由于传统的视频监控在大场景下无法捕捉目标的细节信息，在专注的目标细节时会忽略到周围的其他目标，导致安全防范的效果根本无法满足要求。因此，迫切需要在宏观大场景下对监控场景既可以“看得见”又能“看得清”的现代安防智能化系统。

现有的枪机和球机的联动方法针对单一球机或者是让球机自动跟踪某个对象。例如中国科技大学提出一种基于网格结合插值的单枪机—球机联动方法(CN103079059A)提出一种网格结合插值的枪球联动算法，对枪机场景进行标定：在枪机画面均匀划分m行n列的网格并在网格中选取四个特征点进行标定；获取枪机检测跟踪结果作为输入；判断目标所处于的网格，并在该网格中内选取3个邻近的特征点进行插值，求出球机转向目标的偏移量；使用球机云台控制中的三维定位功能控制球机转向目标位置，对目标进行跟踪。浙江大华技术股份有限公司提出一种基于枪球联动系统的坐标关联方法及装置(CN104424631A)，针对同一场景，获取待标定枪机和待标定球机的监控图像；基于监控图像生成第一尺度空间图像集合以及第二尺度空间图像集合；分别在第一尺度空间图像集合和第二尺度空间图像集合中选取极值采样点，并在不同尺度空间图像集合中筛选出一定数目的匹配点组合；在匹配点组合中进一步筛选出一定数目的标定点组合；按照标定点组合的坐标获得枪机与球机监控图像的标定矩阵；按照获得的标定矩阵，确定所述第一监控图像中的指定像素点在所述第二监控图像中的对应像素点。该公司还提出一种基于枪球联动系统的目标检测跟踪方法(CN104754302A)构建枪球联动系统，设定普通检测区域、重点检测区域和屏蔽区域，对枪机和PTZ球机进行标定，获得标定数据；对普通检测区域和重点检测区域进行检测和跟踪。中晟达公司推出的枪球联动系统自动锁定100米以内的行人和车辆，每分钟抓拍15个目标特写，自动跟踪时目标间的切换时间<0.5秒，目标自动放大最多30倍。

上述发明和成果主要针对一个枪机和球机之间的联动方法，主要目标是利用枪球机之间的联动实现对目标的自动跟踪。存在的主要问题有：1)枪机采用普通高清枪机，视野范围在120米左右，监测范围较窄，不支持全景180度的大场景监控；2)球机自动识别和跟踪移动目标，不能根据管理员的需求，放大监控静止的目标；3)只能管控枪球联动系统自带的一个球机，对于安防部门已经设置的其他球机没有管控能力，已有的监控设备资源有效利用程度不够。

发明内容

本发明的目的在于实现一种基于全景视频和球机预置位的枪球机联动方法，使用枪球一体机中的全景高清摄像机获取180度全景图像并显示在客户端屏幕上；当用户在全景视频画面中框选一个目标监控区域时，通过软件控制枪球一体机的联动球机以及独立球机，快速精准聚焦到该目标监控区域中心点。

本发明能够实现“看得全、看得清、看得准”，既能看全180度全景，又能看清放大20～30倍的细节图像，还能与目标监控区域内的独立球机配合，多方位捕获目标监控区域的视频图像。

具体来说，本发明的方法包括下列步骤：

A.在客户端初始化全景枪机的视频画面,具体步骤如下：

A1.客户端向服务器端发送连接请求，服务器端接收请求并给客户端一个反馈信息；

A2.客户端接收到服务器端的反馈信息后，向服务器端发送用户名密码，服务器连接数据库，验证用户名密码是否正确，确认信息后，再给客户端发送另一个反馈信息；

A3.客户端接收到反馈信息后，登录成功，关闭登录对话框；弹出客户端界面，显示全景视频画面；

A4.记录全景视频画面的尺寸，长宽分别为lenX、lenY；

B.与用户交互增加要关联的独立球机，具体实现步骤如下：

B1.在全景视频画面上，用户点选鼠标右键，右键菜单中选择“添加关联球机”，弹出窗口界面，显示用户有权限添加的球机设备名列表，记录用户选取的设备名称Dev_i；

B2.记录鼠标的坐标点A(x_i,y_i)作为独立球机在全景的视频画面上的坐标值；

B3.计算独立球机坐标点A在全景视频画面上的归一化坐标值(xi,yi)，取值范围[0,1]；表示如下：

xi＝x_i/lenX；

yi＝y_i/lenY；

B4.初始化独立球机Dev_i的预置位，具体步骤如下：

B4.1将独立球机监控区域水平圆周2π平均分成12份，每份是π/6；每个预置位对应的弧度值如下表所示：

预置位	弧度值
		0	0
1	π/6
		2	π/3
3	π/2
		4	2π/3
5	5π/6
		6	π
7	7π/6
		8	4π/3
9	3π/2
		10	5π/3
11	11π/6

B4.2将12点方向置为预置位0位；

B4.3沿顺时针方向，将每个时针位分别设为预置位1～11；参见说明书附图2；

C.接收用户框选的目标监控区域，具体实现步骤如下：

C1.在全景视频画面上接收用户的框选，将用户框选区域作为目标监控区域，记录方框的左上角B坐标(x_0,y_0)和右下角C坐标(x_1,y_1)；

C2.计算目标监控区域在全景视频画面上的归一化坐标值(x0,y0,x1,y1)；表示如下：

x0＝x_0/lenX；

y0＝y_0/lenY；

x1＝x_1/lenX；

y1＝y_1/lenY；

C3.用目标监控区域的左上角和右下角坐标值计算中心点D位置(cx,cy)；表示如下：

cx＝(x0+x1)/2；

cy＝(y0+y1)/2；

D.控制联动球机指向D点，具体步骤如下：

D1.使用目标监控区域对角线BC与全景视频画面对角线的比例计算放大系数zoom，表示如下：

hypot0＝((x1-x0)²+(y1-y0)²)1/2；

hypot1＝(1²+1²)1/2＝2 ¹/₂；

zoom＝1-hypot0/(2 ¹/₂)；

参见说明书附图3；

D2.对全景枪机发送控制命令，其中包含目标监控区域坐标(x0，y0,x1,y1)，以及放大系数zoom,所述的放大系数计算公式为zoom*20四舍五入取整后的整数；

D3.全景枪机接控制命令，控制联动球机转到目标监控区域的中心点D，同时放大相应的倍数；

E.控制目标监控区域中的联动的独立球机，指向目标监控区域的中心点D，具体步骤如下：

E1.判断目标监控区域中是否有联动的独立球机，如果有，记录下联动独立球机的数量count；

E2.控制每一个联动的独立球机i，使其指向目标监控区域中心点D，具体步骤如下：

E2.1计算独立球机i的目标预置位点,具体步骤如下：

E2.1.1将目标监控区域的中心点D坐标(cx，cy)转换到以独立球机坐标点A(xi，yi)为原点的坐标系中，记为D(cx_i,cy_i)，表示如下：

cx_i＝cx-xi；

cy_i＝cy-yi；

E2.1.2计算独立球机坐标点A到目标监控区域的中心点D距离r，表示如下：r＝(cx_i²+cy_i²)1/2；

E2.1.3判断r的数值大于0.01；如果r小于0.01，则不设预置位即独立球机不发生转动；否则计算目标预置位点；

E2.1.4计算目标监控区域中心点D到原点A的连线与12点之间的弧度记为angle，将预置位表中的弧度值与angle比较，差值最小的预置位记为目标预置位K，表示如下：

$angle=\left\{\begin{array}{cc}atan(cy\_i/cx\_i)+\mathrm{\&pi;}/2;& (cx\_i>0)\\ atan(cy\_i/cx\_i)+3\mathrm{\&pi;}/2;& (cx\_i<0)\end{array}\right.$

E2.2对独立球机发送控制命令，其中包含目标预置位点编号K；控制独立球机转到目标监控区域的中心点D；

F.客户端获取联动的独立球机最新的视频流，在视频窗口中显示该视频画面，具体步骤如下：

F1.统计正在视频窗口显示的视频画面的数量count1；

F2.统计框选之后新增的视频画面的数量count2；

F3.计算新的视频画面的数量num＝count1+count2；根据num调整视频窗口数量；

F4.在客户端上显示新增的关联的独立球机的视频画面。

本发明提出一种基于全景视频和球机预置位的枪球机联动方法：使用枪球一体机中的全景高清摄像机获取180度全景图像并显示在客户端屏幕上；当用户在全景视频画面中框选一个目标监控区域时，通过软件控制枪球一体机的联动球机以及独立球机，快速精准聚焦到该目标监控区域中心点。本发明的优点是既能看全180度全景，又能看清放大20～30倍的细节图像，还能与目标监控区域内的独立球机配合，多方位捕获目标监控区域的视频图像，使得监控能力更加灵活，高效。

附图说明

图1：一种基于全景视频和球机预置位的枪球机联动方法流程图；

图2：独立球机预置位设置示意图；

图3：目标监控区域与全景视频画面关联示意图；

图4：独立球机预置位与目标监控区域关联示意图；

图5：独立球机预置位与全景视频画面关联示意图的实施实例；

具体实施方式

下面结合附图，通过阐述在某市区的一栋高层建筑物上的枪球一体机、目标监控区域、以及多个独立球机之间的联动方法的过程，作为实施例对本发明作进一步描述。

方法流程图如图1所示。本发明方法包括：1)在客户端初始化全景枪机的视频画面；2)与用户交互增加要关联的独立球机；3)接收用户框选的目标监控区域；4)控制联动球机指向目标监控区域中心点；5)控制目标监控区域中的联动的独立球机，指向目标监控区域的中心点；6)客户端获取联动的独立球机最新的视频流，在视频窗口中显示该视频画面。

具体实施步骤如下：

1.在客户端初始化全景枪机的视频画面,具体步骤如下：

1.1客户端向服务器端发送连接请求，服务器端接收请求并给客户端一个反馈信息，同时注册设备；

1.2客户端接收到服务器端的反馈信息后，向服务器端发送用户名密码，服务器连接数据库验证用户名密码是否正确，确认信息后再给客户端发送另一个反馈信息；

1.3客户端接收到反馈信息后，登录成功关闭登录对话框，弹出客户端界面，显示全景视频画面；

1.4记录全景视频画面的尺寸，长宽分别为679像素、510像素；

2.与用户交互增加要关联的独立球机，具体实现步骤如下：

2.1在全景视频画面上，用户点选鼠标右键，右键菜单中选择“添加关联球机”，弹出窗口界面显示用户有权限添加的球机设备名列表，记录用户选取的设备名称“Q1”；

2.2记录鼠标的坐标点A(290,112)作为关联独立球机在全景的视频画面上的坐标值；

2.3计算独立球机坐标点A在全景视频画面上的归一化坐标值(0.427,0.220)；

2.4初始化独立球机的预置位，具体步骤如下：

2.4.1将独立球机监控区域水平圆周2π平均分成12份，每份是π/6；

2.4.2将12点方向置为预置位0位；

2.4.3沿顺时针方向，将每个时针位分别设为预置位1～11；

2.5再增加4个要关联的独立球机，执行2.1～2.4，计算可得归一化坐标值

分别为(0.146,0.371)、(0.212,0.684)、(0.539,0.614)、(0.784,0.416)。

3.接收用户框选的目标监控区域，具体实现步骤如下：

3.1.在全景视频画面上接收用户的框选，将用户框选区域作为目标监控区域，记录方框的左上角B坐标(246,75)和右下角C坐标(471,243)；

3.2计算目标监控区域在全景视频画面上的归一化坐标值，表示如下：

x0＝246/679＝0.362；

y0＝75/510＝0.147；

x1＝471/679＝0.694；

y1＝243/510＝0.476；

3.3用目标监控区域的左上角和右下角坐标值计算中心点D位置(cx,cy)；表示如下：

cx＝(x0+x1)/2＝(0.362+0.694)/2＝0.528；

cy＝(y0+y1)/2＝(0.147+0.476)/2＝0.312；

4.控制联动球机指向D点，具体步骤如下：

4.1使用目标监控区域对角线BC与全景视频画面对角线的比例计算放大系数zoom，表示如下：

hypot0＝((x1-x0)²+(y1-y0)²)1/2＝((0.694-0.362)²+(0.476-0.147)²)1/2＝0.476；

zoom＝1-hypot0/(2 ¹/₂)＝0.663；

4.2对全景枪机发送控制命令，其中包含目标监控区域的坐标(0.362，0.147，0.694，0.476)，以及放大系数0.663；

4.3全景枪机接收控制命令，控制联动球机转到目标监控区域的中心点D，同时放大0.663对应的13倍；

5.控制目标监控区域中的联动的独立球机，指向目标监控区域的中心点D，具体步骤如下：

5.1根据坐标值判断在目标监控区域中有1个联动的独立球机Q1；

5.2控制Q1，使其指向目标监控区域中心点D，具体步骤如下：

5.2.1计算Q1的目标预置位点,具体步骤如下：

5.2.1.1将点D坐标(0.528，0.312)转换到以独立球机坐标点A(0.427，0.220)为原点的坐标系中，记为D(cx_i,cy_i)，表示如下：

cx_i＝cx-xi＝0.528-0.427＝0.101；

cy_i＝cy-yi＝0.312-0.220＝0.092；

5.2.1.2计算独立球机坐标点A到目标监控区域的中心点D距离r，表示如下：

r＝(cx_i²+cy_i²)1/2＝(0.101²+0.092²)1/2＝0.130；

5.2.1.3判断出r的数值大于0.01，则按照步骤4计算目标预置位；

5.2.1.4计算目标监控区域中心点D到原点A的连线与12点方向之间的弧度记为angle，angle＝atan(cy_i/cx_i)+π/2＝atan(0.092/0.101)+π/2＝2.310弧度；该值与预置位表中4的弧度值(2π/3＝2.094)差值最小，因此选择目标预置位为4；

5.2.2对独立球机发送控制命令，其中包含目标预置位编号4；控制独立球机转到目标监控区域的中心点(0.528，0.312)；

6.客户端获取联动的独立球机最新的视频流，在视频窗口中显示该视频画面，具体步骤如下：

6.1正在视频窗口显示的视频画面的数量为2；

6.2框选之后新增的视频画面的数量为1；

6.3计算可得新的视频画面的数量为3，调整视频窗口数量，调整视频窗口变为3；

6.4在客户端上新增的窗口中显示独立球机Q1的视频画面。

最后需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (3)

1.一种基于全景视频和球机预置位的枪球机联动方法，其步骤包括：

A.在客户端初始化全景枪机的视频画面,具体步骤如下：

A1.客户端向服务器端发送连接请求，服务器端接收请求并给客户端一个反馈信息；

A2.客户端接收到服务器端的反馈信息后，向服务器端发送用户名密码，服务器连接数据库，验证用户名密码是否正确，确认信息后，再给客户端发送另一个反馈信息；

A3.客户端接收到反馈信息后，登录成功，关闭登录对话框，弹出客户端界面，显示全景视频画面；

A4.记录全景视频画面的尺寸，长宽分别为lenX、lenY；

B.与用户交互增加要关联的独立球机，具体实现步骤如下：

B1.在全景视频画面上，用户点选鼠标右键，右键菜单中选择“添加关联球机”，弹出窗口界面，显示用户有权限添加的球机设备名列表，记录用户选取的设备名称Dev_i；

B2.记录鼠标的坐标点A(x_i,y_i)作为独立球机在全景的视频画面上的坐标值；

B3.计算独立球机坐标点A在全景视频画面上的归一化坐标值(xi,yi)，取值范围[0,1]；

B4.初始化独立球机Dev_i的预置位；

C.接收用户框选的目标监控区域，具体实现步骤如下：

C1.在全景视频画面上接收用户的框选，将用户框选区域作为目标监控区域，记录方框的左上角B坐标(x_0,y_0)和右下角C坐标(x_1,y_1)；

C2.计算目标监控区域在全景视频画面上的归一化坐标值(x0,y0,x1,y1)；

C3.用目标监控区域的左上角和右下角坐标值计算中心点D位置(cx,cy)；

D.控制联动球机指向D点，具体步骤如下：

D1.使用目标监控区域对角线BC与全景视频画面对角线的比例计算放大系数zoom；

D2.对全景枪机发送控制命令，其中包含目标监控区域坐标(x0，y0,x1,y1)，以及放大系数zoom,所述的放大系数计算公式为zoom*20四舍五入取整后的整数；

D3.全景枪机接收控制命令，控制联动球机转到目标监控区域的中心点D，同时放大相应的倍数；

E.控制目标监控区域中的联动的独立球机，指向目标监控区域的中心点D，具体步骤如下：

E1.判断目标监控区域中是否有联动的独立球机，如果有，记录下联动独立球机的数量count；

E2.控制每一个联动的独立球机i，使其指向目标监控区域中心点D；

F.客户端获取联动的独立球机最新的视频流，在视频窗口中显示该视频画面，具体步骤如下：

F1.统计正在视频窗口显示的视频画面的数量count1；

F2.统计框选之后新增的视频画面的数量count2；

F3.计算新的视频画面的数量num＝count1+count2；根据num调整视频窗口数量；

F4.在客户端上显示新增的关联的独立球机的视频画面。

2.如权利要求1所述的基于全景视频和球机预置位的枪球机联动方法，其特征在于，初始化独立球机的预置位，具体步骤如下：

B4.1将独立球机监控区域水平圆周2π平均分成12份，每份是π/6；每个预置位对应的弧度值；

B4.2将12点方向置为预置位0位；

B4.3沿顺时针方向，将每个时针位分别设为预置位1～11。

3.如权利要求1所述的基于全景视频和球机预置位的枪球机联动方法，其特征在于控制每一个联动的独立球机i，使其指向目标监控区域中心点D，具体步骤如下：

E2.1计算独立球机i的目标预置位点,具体步骤如下：

E2.1.1将目标监控区域的中心点D坐标(cx，cy)转换到以独立球机坐标点A(xi，yi)为原点的坐标系中，记为D(cx_i,cy_i)；

E2.1.2计算独立球机坐标点A到目标监控区域的中心点D距离r；

E2.1.3判断r的数值大于0.01；如果r小于0.01，则不设预置位即独立球机不发生转动；否则计算目标预置位点；

E2.1.4计算目标监控区域中心点D到原点A的连线与12点之间的弧度记为angle，将预置位表中的弧度值与angle比较，差值最小的预置位记为目标预置位K；

E2.2对独立球机发送控制命令，其中包含目标预置位点编号K；控制独立球机转到目标监控区域的中心点D。