CN105744226A - 一种基于摄像机坐标系的1+n枪球联动方法 - Google Patents

Abstract

本发明公开了一种基于摄像机坐标系的1+N枪球联动方法，该方法包括：1)部署枪球一体机和N台独立球机；2)客户端和服务器配合，控制一体球机与全景枪机联动，转动并聚焦到目标点；3)客户端和服务器配合，控制独立球机B与全景枪机联动，转动并聚焦到目标点C；4)按照步骤3所述的方法，控制其他关联的独立球机转动并聚焦到目标点C。本发明既能看全180度全景，又能看清放大的细节图像，还能与关键重点监控区域的内近距离监视高速球机配合，多方位捕获重点关注区域的视频图像，使得监控能力更加灵活，高效。

Description

一种基于摄像机坐标系的1+N枪球联动方法

技术领域

本发明涉及视频监控系统中多个球机与枪球一体机之间的联动问题，具体涉及一种基于摄像机坐标系1+N枪球联动方法,属于安防视频监控领域。

背景技术

在平安城市监控项目中，在各重点区域都已经部署了高清视频监控，但由于传统的视频监控在大场景下无法捕捉目标的细节信息，在专注的目标细节时会忽略到周围的其他目标，导致安全防范的效果根本无法满足要求。因此，迫切需要在宏观大场景下对监控场景既可以“看得见”又能“看得清”的现代安防智能化系统。

现有的枪机和球机的联动方法针对单一球机或者是让球机自动跟踪某个对象。例如中国科技大学提出一种基于网格结合插值的单枪机—球机联动方法(CN103079059A)提出一种网格结合插值的枪球联动算法，对枪机场景进行标定：在枪机画面均匀划分m行n列的网格并在网格中选取四个特征点进行标定；获取枪机检测跟踪结果作为输入；判断目标所处于的网格，并在该网格中内选取3个邻近的特征点进行插值，求出球机转向目标的偏移量；使用球机云台控制中的三维定位功能控制球机转向目标位置，对目标进行跟踪。浙江大华技术股份有限公司提出一种基于枪球联动系统的坐标关联方法及装置(CN104424631A)，针对同一场景，获取待标定枪机和待标定球机的监控图像；基于监控图像生成第一尺度空间图像集合以及第二尺度空间图像集合；分别在第一尺度空间图像集合和第二尺度空间图像集合中选取极值采样点，并在不同尺度空间图像集合中筛选出一定数目的匹配点组合；在匹配点组合中进一步筛选出一定数目的标定点组合；按照标定点组合的坐标获得枪机与球机监控图像的标定矩阵；按照获得的标定矩阵，确定所述第一监控图像中的指定像素点在所述第二监控图像中的对应像素点。该公司还提出一种基于枪球联动系统的目标检测跟踪方法(CN104754302A)构建枪球联动系统，设定普通检测区域、重点检测区域和屏蔽区域，对枪机和PTZ球机进行标定，获得标定数据；对普通检测区域和重点检测区域进行检测和跟踪。中晟达公司推出的枪球联动系统自动锁定100米以内的行人和车辆，每分钟抓拍15个目标特写，自动跟踪时目标间的切换时间<0.5秒，目标自动放大最多30倍。

上述发明和成果主要针对一个枪机和球机之间的联动方法，主要目标是利用枪球机之间的联动实现对目标的自动跟踪。存在的主要问题有：1)枪机采用普通高清枪机，视野范围在120米左右，监测范围较窄，不支持全景180度的大场景监控；2)球机自动识别和跟踪移动目标，不能根据管理员的需求，放大监控静止的目标；3)只能管控枪球联动系统自带的一个球机，对于安防部门已经设置的其他球机没有管控能力，已有的监控设备资源有效利用程度不够。

发明内容

本发明的目的在于实现一种基于摄像机坐标系1+N枪球联动方法，使用枪球一体机中的全景高清摄像机获取180度全景图像并显示在客户端屏幕上；当用户在全景图像里用矩形框选取一个关注区域时，一体机中的球机快速精准聚焦到该关注区域；查询并获取在关注区范围内部署的其他独立球机的视频图像，显示在客户端屏幕上；自动调整这些独立球机的角度和焦距，分别从各个方位对准用户选取的关注区域。

本发明能够实现“看得全、看得清、看得准”，既能看全180度全景，又能看清放大20～30倍的细节图像，还能与关键重点监控区域的近距离监视设备配合，多方位捕获重点关注区域的视频图像。

具体来说，本发明的方法包括下列步骤：

A.按照系统结构部署枪球一体机和N台独立球机。具体内容为：

A1.在监控区域附近的高建筑物上部署枪球一体机，地理位置点位记为A，为枪球一体机上的全景枪机和一体球机各分别设置一个IP地址；

A2.在目标监控区域部署N台独立球机与枪机关联，其所在的地理位置点位记为B，B₁,…B_N-1；设置对应的N个IP地址；

A3.利用百度地图或者其他测距方式，测量并记录N个独立球机与枪球一体机之间的距离，分别记为AB，AB₁,…AB_N；

A4.将上述独立球机和枪球一体机之间的距离、设备名称、地理位置点，以及其他相关信息保存到服务器上的数据库里面；所述的数据库可以但不限于Access、SQLServer或者mySQL；

B.客户端和服务器配合，实现一体球机与全景枪机联动，转动并聚焦到目标点，具体实现如下：

B1.客户端记录全景枪机的视频画面的屏幕尺寸矩形框(X1,Y1,X2,Y2)，读取用户框选的目标区域在画面上的坐标(x1,y1,x2,y2)，计算框选目标区域的规格化坐标以及放大倍数k，具体方法如下：

B1.1获取客户端程序的全景视频窗口的大小，假设左上角坐标为(X_1,Y_1),右下角坐标为(X_2,Y_2)；计算该窗口对角线长度Length为窗口的两条边的平方和的平方根，表示如下：

L_0＝((X_2-X_1)²+(Y_2-Y_1)²)^1/2

B1.2获取用户在视频画面上输入的矩形框的左上角坐标(X1,Y1)和右下角坐标(X2,Y2)；计算该矩形框的对角线长度为矩形的两条边的平方和的平方根，表示如下：

L0＝((X2-X1)²+(Y2-Y1)²)^1/2

其中矩形中心点对应的物理空间中的地理位置，当做关注目标点，记为C。

B1.3；计算用户所选择的归一化的放大倍数z为，：

k＝L_0/L0

其中lastz的初值为1；

B1.4计算用户所选的目标区域在画面上的归一化坐标值；这些坐标值的取值范围都在0到1之间；表示如下：

x1＝X1/(X_2-X_1)

x2＝X2/(X_2-X_1)

y1＝Y1/(Y_2-Y_1)

y2＝Y2/(Y_2-Y_1)

B2.客户端将上述计算的坐标值和放大倍数，组合成一条命令发给服务器，由服务器发给枪球一体机，控制球机聚焦到目标点C。具体实现如下：

C.客户端和服务器配合，控制独立球机B与全景枪机联动，转动并聚焦到目标点C，具体实现如下：

C1.定义一个三维的摄像机坐标系用于描述枪球一体机A、独立球机B、目标点C三者关系；具体实现如下：

C1.1定义的三维坐标系如图2所示，枪球一体机的球机位置为A点，独立球机的位置为B点，用户关注的目标点为C；

C1.2三维坐标系的原点是一体机球机A点在地面上的投影点A’，Y轴为一体机球机镜头轴线在地面上的投影,X轴为地平面上Y轴的垂线，Z轴为穿过AA’的射线；

C1.3A的坐标记为A(Ax,Ay,Az)，其中，Ax＝Ay＝0,因此记为A(0，0，Az)，Az是球机到地面的距离；B的坐标记为B(Bx,By,Bz)；C的坐标记为C(Cx,Cy,Cz)；

C2.枪球一体机的球机到达指定位置之后，全景枪机返回给服务器枪球一体机的球机聚焦目标点C在摄像机坐标系的三维坐标值(Cx,Cy,Cz)；并计算AC的距离为Dis_AC；

C3.利用俯视图描述三者在水平面投影(XY)平面上的关系，求解独立球机应当转动的水平角度以及应采用的焦距；具体实现如下：

C3.1在俯视图下，A、B、C三个点投影到XY平面上，标记为A’B’C’，如图3所示，B’A’连线作为独立球机在水平面上的0度轴；

C3.2利用A’B’C’的坐标值，计算A’C’距离Dis_A’C’，A’B’距离Dis_A’B’，B’C’的距离Dis_B’C’；

C3.3计算出三角形A’B’C’的内角<A’B’C’的度数，即为独立球机聚焦到目标点C应该转动的角度<2；

C3.4根据独立球机的焦距计算公式，计算独立球机的放大倍数K；

C4.利用侧视图描述三者在垂直面投影(YZ)平面上的关系，求解获得独立球机应当转动的垂直角度，具体实现如下：

C4.1在侧视图下，三个点投影到YZ平面上，标记为A’B’C’，如图4所示：B’A’连线作为独立高速球机在垂直平面上的0度轴；

C4.2利用A’B’C’的坐标值，计算A’C’距离Dis_A’C’，A’B’距离Dis_A’B’，B’C’的距离Dis_B’C’；

C3.3计算出三角形A’B’C’的内角<C’B’A’的度数，即为独立高速球机聚焦到目标点C应该转动的角度<2；

D按照步骤C所述的方法，计算其他的独立球机B1，B2,B3等转到目标点C的水平角度和垂直角度；按照所计算的角度控制各个独立球机转到目标C点。

本发明提出一种面向智能监控的开放式1+N枪球联动方法：使用枪球一体机中的全景高清摄像机获取180度全景图像并显示在客户端屏幕上；当用户在全景图像里用矩形框选取一个关注区域时，通过软件控制枪球一体机的枪球和球机的联动之后，将球机对准的目标点在摄像机坐标系中的坐标值返回给管控服务器，由交互客户端根据一体机、高速球机、目标点三者之间的坐标关系，计算出其他独立球机应当转动的角度和合适的焦距，自动调整这些独立球机的角度和焦距，分别从各个方位对准用户选取的关注区域。本发明的优点是利用既能看全180度全景，又能看清放大20～30倍的细节图像，还能与关键重点监控区域的内近距离监视高速球机配合，多方位捕获重点关注区域的视频图像，使得监控能力更加灵活，高效。

附图说明

图1：一种开放式智能枪球联动监控方法流程图；

图2：摄像机坐标系中的枪球一体机、独立球机、目标点的三维坐标；

图3：枪球一体机、独立高速球机、目标点俯视图；

图4：枪球一体机、独立高速球机、目标点侧视图；

图5：实施例的俯视图；

图6：实施例的侧视图。

具体实施方式

下面结合附图，通过阐述在某市区的一栋高层建筑物上的枪球一体机、目标点、以及一个近距离独立高速球机之间的联动方法的过程，作为实施例对本发明作进一步描述。

方法流程图如图1所示。本发明方法包括：1)按照系统结构部署枪球一体机和N台独立球机；2)客户端软件和服务器软件配合，实现全景枪机和一体球机间的联动，使其转动并聚焦到目标点；3)客户端软件和服务器软件配合，实现全景枪机和独立球机B之间的联动，控制独立球机B聚焦到目标点C；4)按照步骤3所述的方法，计算其他的独立球机B₁，…B_N等转到目标点C的水平角度和垂直角度，控制各个独立球机转到目标点C。

具体实施步骤如下：

1.按照系统结构部署枪球一体机和N台独立球机，具体步骤如下；

1.1将枪球一体机部署在某市区万科新城湾畔7号楼的24层楼顶上，全景枪机的IP地址为192.168.120.73，高速球机的IP地址为192.168.120.74；枪球一体机的位置记为A点，其高度约为72米；

1.2在枪球一体机视野范围内，选择一个十字路口作为目标监控区域，在十字路口的四个角部署4台独立高速球机与枪机关联，标记地点为B，B₁，B₂,B₃；IP地址分别为192.168.120.80，192.168.120.81，192.168.120.82，192.168.120.83；

1.3计算N个独立球机与枪球一体机之间的距离，分别记为AB＝842米，AB₁＝723米,AB₂＝749米，AB₃＝846米；

1.4将上述独立球机和枪球一体机的信息保存到服务器数据库里面，数据库采用Access；

2.客户端和服务器配合，实现一体球机与全景枪机联动，转动并聚焦到目标点，具体实现如下：

2.1客户端记录全景枪机的全景视频画面窗口的矩形框(0,0,1500,900)尺寸，读取用户框选的目标区域在画面上的坐标(400,300,500,360)，计算框选目标区域的规格化坐标以及放大倍数k，具体步骤如下：

2.1.1获取客户端程序的全景视频窗口在屏幕上的坐标，计算全景视频窗口的对角线长度，如下：

L_0＝((1500-0)²+(900-0)²)^1/2＝1749米

2.1.2获取用户在视频画面上输入的矩形框的左上角坐标(X1,Y1)和右下角坐标(X2,Y2)；计算该矩形框的对角线长度为：

L0＝((500-400)²+(360-300)²)^1/2＝61米

2.1.3计算用户所选择的归一化的放大倍数z，具体步骤为：

k＝L0/L_0＝0.03

Z＝1

即客户框选的放大倍数是最大倍数30倍；目标区域中心点记为C，AC的距离为809米；

2.1.4计算用户所选的目标区域在画面上的归一化坐标值；这些坐标值的取值范围都在0到1之间；表示如下：

x1＝X1/(X_2-X_1)＝0.27

x2＝X2/(X_2-X_1)＝0.33

y1＝Y1/(Y_2-Y_1)＝0.33

y2＝Y2/(Y_2-Y_1)＝0.4

2.2客户端将上述计算的坐标值和放大倍数，组合成一条Url格式的命令，发给服务器，由服务器发给枪球一体机，控制球机聚焦到目标点C。

Url命令是http://192.168.120.73:80/link？value＝x1:0.27,y1:0.33,x2:0.33,y2:0.4,z:1

2.3全景枪机接收到该命令后，解析参数，并控制枪球一体机的球机转动到指定位置C，并放大指定的倍数；

3.客户端和服务器配合，控制独立球机B与全景枪机联动，转动并聚焦到目标点C，具体

实现如下：

3.1定义如图2所示的摄像机坐标系，描述枪球一体机A、独立球机B、目标点C三者关系:

3.1.1枪球一体机的球机位置为A点，独立球机的位置为B点，用户关注的目标点为C；

3.1.2三维坐标系的原点是一体机球机A点在地面上的投影点A’，Y轴为一体机球机镜头轴线在地面上的投影,X轴为地平面上Y轴的垂线，Z轴为穿过AA’的射线；

3.1.3A的坐标记为A(0，0，72)；B的坐标记为B(221,708,5)；C的坐标记为C(163,787,2)

3.2枪球一体机的球机到达指定位置之后，全景枪机返回给服务器枪球一体机的球机聚焦目标点C在摄像机坐标系的三维坐标值(163,787,2),AC的距离是806米；

3.3利用俯视图(图5)描述三者在水平面投影(XY)平面上的关系，求解独立球机应当转动的水平角度以及应采用的焦距；计算A’C’距离Dis_A’C’＝807米，A’B’距离Dis_A’B’＝742米，B’C’的距离Dis_B’C’＝98米；计算角<A’B’C’的度数，即为独立球机聚焦到目标点C应该转动的角度<2＝126度；根据独立球机的焦距计算公式，计算独立球机的放大倍数K＝1；计算过程的各个量值见表1；

3.4利用侧视图(图6)描述三者在垂直面投影(YZ)平面上的关系，求解获得独立球机应当转动的垂直角度；

3.4.1利用A’B’C’的坐标值，计算A’C’距离Dis_A’C’＝807米，A’B’距离Dis_A’B’＝742米，B’C’的距离Dis_B’C’＝98米；

3.4.2计算出三角形A’B’C’的内角<C’B’A’的度数，即为独立球机聚焦到目标点C应该转动的角度<2约为0度。

表1计算过程中的各个量值

4.按照步骤D所述的方法，计算其他的独立球机B1，B2,B3等转到目标点C的水平角度和

垂直角度；按照所计算的角度控制各个独立球机转到目标C点。

最后需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (6)

1.一种基于摄像机坐标系的1+N枪球联动方法，其步骤包括：

A.按照系统结构部署枪球一体机和N台独立球机，具体内容为：

A1.在监控区域附近的高建筑物上部署枪球一体机，地理位置点位记为A，为枪球一体机上的全景枪机和一体球机各分别设置一个IP地址；

A2.在目标监控区域部署N台独立球机，其所在的地理位置点位记为B，B₁,…B_N-1；设置对应的N个IP地址；

A3.利用百度地图或者其他测距方式，测量并记录N个独立球机与枪球一体机之间的距离，分别记为AB，AB₁,…AB_N；

A4.将上述独立球机和枪球一体机之间的距离、设备名称、地理位置点，以及其他相关信息保存到服务器上的数据库里面；

B.客户端和服务器配合，实现一体球机与全景枪机联动，转动并聚焦到目标点，具体实现如下：

B1.客户端记录全景枪机的视频画面的屏幕尺寸矩形框，读取用户框选的目标区域在画面上的坐标，计算框选目标区域的规格化坐标以及放大倍数k；

B2.客户端将上述计算的坐标值和放大倍数，组合成一条命令发给服务器，由服务器发给枪球一体机，控制球机聚焦到目标点C：

C.客户端和服务器配合，控制独立球机B与全景枪机联动，转动并聚焦到目标点C，具体实现如下：

C1.定义一个三维的摄像机坐标系用于描述枪球一体机A、独立球机B、目标点C三者关系；

C2.枪球一体机的球机到达指定位置之后，全景枪机返回给服务器枪球一体机的球机聚焦目标点C在摄像机坐标系的三维坐标值；并计算AC的距离为Dis_AC；

C3.利用俯视图描述三者在水平面投影平面上的关系，求解独立球机应当转动的水平角度以及应采用的焦距；

C4.利用侧视图描述三者在垂直面投影平面上的关系，求解获得独立球机应当转动的垂直角度；

D.按照步骤C所述的方法，计算其他的独立球机B1，B2,B3等转到目标点C的水平角度和垂直角度；按照所计算的角度控制各个独立球机转到目标C点。

2.如权利要求1所述的基于摄像机坐标系的1+N枪球联动方法，其特征在于，所述的数据库为Access、SQLServer或者mySQL。

3.如权利要求1所述的基于摄像机坐标系的1+N枪球联动方法，其特征在于，客户端记录全景枪机的视频画面的屏幕尺寸矩形框，读取用户框选的目标区域在画面上的坐标，计算框选目标区域的规格化坐标以及放大倍数k,具体实现如下：

B1.1获取客户端程序的全景视频窗口的大小，假设左上角坐标为(X_1,Y_1),右下角坐标为(X_2,Y_2)；计算该窗口对角线长度Length为窗口的两条边的平方和的平方根，表示如下：

L_0＝((X_2-X_1)²+(Y_2-Y_1)²)^1/2

B1.2获取用户在视频画面上输入的矩形框的左上角坐标(X1,Y1)和右下角坐标(X2,Y2)；计算该矩形框的对角线长度为矩形的两条边的平方和的平方根，表示如下：

L0＝((X2-X1)²+(Y2-Y1)²)^1/2

其中矩形中心点对应的物理空间中的地理位置，当做关注目标点，记为C。

B1.3计算用户所选择的归一化的放大倍数z为：

k＝L_0/L0

其中lastz的初值为1；

B1.4计算用户所选的目标区域在画面上的归一化坐标值；这些坐标值的取值范围都在0到1之间；表示如下：

x1＝X1/(X_2-X_1)

x2＝X2/(X_2-X_1)

y1＝Y1/(Y_2-Y_1)

y2＝Y2/(Y_2-Y_1)。

4.如权利要求1所述的基于摄像机坐标系的1+N枪球联动方法，其特征在于，定义一个三维的摄像机坐标系用于描述枪球一体机A、独立球机B、目标点C三者关系；具体实现如下:

C1.1定义的三维坐标系，枪球一体机的球机位置为A点，独立球机的位置为B点，用户关注的目标点为C；

C1.2三维坐标系的原点是一体机球机A点在地面上的投影点A’，Y轴为一体机球机镜头轴线在地面上的投影,X轴为地平面上Y轴的垂线，Z轴为穿过AA’的射线；

C1.3A的坐标记为Ax,Ay,Az，其中，Ax＝Ay＝0,因此A记为0，0，Az，Az是球机到地面的距离；B的坐标记为Bx,By,Bz；C的坐标记为Cx,Cy,Cz。

5.如权利要求1所述的基于摄像机坐标系的1+N枪球联动方法，其特征在于，利用俯视图描述三者在水平面投影平面上的关系，求解独立球机应当转动的水平角度以及应采用的焦距；具体实现如下：

C3.1在俯视图下，A、B、C三个点投影到XY平面上，标记为A’B’C’，B’A’连线作为独立球机在水平面上的0度轴；

C3.2利用A’B’C’的坐标值，计算A’C’距离Dis_A’C’，A’B’距离Dis_A’B’，B’C’的距离Dis_B’C’；

C3.3计算出三角形A’B’C’的内角<A’B’C’的度数，即为独立球机聚焦到目标点C应该转动的角度<2；

C3.4根据独立球机的焦距计算公式，计算独立球机的放大倍数K。

6.如权利要求1所述的基于摄像机坐标系的1+N枪球联动方法，其特征在于，利用侧视图描述三者在垂直面投影平面上的关系，求解获得独立球机应当转动的垂直角度，具体实现如下：

C4.1在侧视图下，三个点投影到YZ平面上，标记为A’B’C’，B’A’连线作为独立高速球机在垂直平面上的0度轴；

C4.2利用A’B’C’的坐标值，计算A’C’距离Dis_A’C’，A’B’距离Dis_A’B’，B’C’的距离Dis_B’C’；

C4.3计算出三角形A’B’C’的内角<C’B’A’的度数，即为独立高速球机聚焦到目标点C应该转动的角度<2。