CN111220073B - 一种无先验知识条件下的摄像监视与坐标监视关联和交叉验证方法 - Google Patents

Abstract

本发明公开了一种无先验知识条件下的摄像监视与坐标监视关联和交叉验证方法，涉及摄像监视与坐标监视关联领域。针对现有技术在进行特征关联和坐标关联都需要对比库或场景标定等先验知识的不足，本发明根据两位置点的坐标监视和摄像监视结果，获取基于坐标监视得到目标方位角与投影距离，获取基于摄像监视得到目标方位角、投影距离与目标尺寸；并综合关联基于坐标的方位角信息、基于坐标的投影距离信息、基于摄像的方位角信息、基于摄像的投影距离信息，实现无先验知识条件下的摄像监视与坐标监视关联和交叉验证。本发明不仅能够在无先验知识条件下实现摄像监视与坐标监视的关联和交叉验证，还能够检测出目标尺寸。

Description

一种无先验知识条件下的摄像监视与坐标监视关联和交叉验 证方法

技术领域

本发明涉及一种摄像监视与坐标监视关联方法，尤其是能够在无先验知识条件下对摄像监视结果与各类坐标监视结果相关联和验证。

背景技术

当前，在摄像监视系统与雷达、ADS-B为代表的坐标监视系统关联过程中，一般采用方位角关联、特征关联、坐标关联等方式。在无其他先验知识条件下，定点单目摄像监视理论上只能产生目标的方位角信息，而难以产生距离信息，因此基于方位角信息的目标关联是最简单的；以专利《基于计算机视觉的单目测距方法、装置及电子设备》(申请号：201910439123.8)为代表，针对某几类目标监视，可以通过建立对比库的方式进行，识别目标物体影像所对应的类别与型号信息，实现特征关联；基于型号信息获得目标尺寸信息，结合摄像系统结果可计算得到目标坐标，或通过场景标定等方式计算目标坐标，实现基于目标的关联。方位角关联精度过低，尤其是在同一方向有多个目标的情况下；特征关联和坐标关联都需要对比库或场景标定等先验知识，对先期准备工作和相关识别算法要求较高。

发明内容

为了克服现有无先验知识条件下摄像监视与坐标监视关联方法精度低的问题，本发明提供一种基于距离差的摄像监视与坐标监视关联方法，该方法不仅能够实现摄像监视与坐标监视结果的高精度关联，而且能够检测出目标尺寸。

本发明解决其技术问题所采用的技术方案是：

S01:基于坐标监视结果，计算目标与摄像机的直线距离与方位角；

S02:基于摄像监视结果，计算目标与摄像机光轴的偏移角，进一步得到目标方位角；

S03:基于监视结果，计算基于坐标监视的投影距离，记为第1位置点的基于坐标监视的投影距离；随着目标移动，采集计算第2位置点的监视信息，计算第2位置点的基于坐标监视的投影距离，继而得到两位置点的基于坐标监视的投影距离差，基于所述投影距离差和两位置点的摄像监视结果计算目标尺寸和基于摄像监视的投影距离；

S04:由于坐标监视与摄像监视中同一目标位置变换具有一致性，综合关联基于坐标的方位角信息、基于坐标的投影距离信息、基于摄像的方位角信息、基于摄像的投影距离信息，实现无先验知识条件下的摄像监视与坐标监视关联和交叉验证。

本发明具有的有益效果是，不仅能够在无先验知识条件下实现摄像监视系统与坐标监视系统的高精度关联和交叉验证，还能够检测出目标尺寸，有助于构建信息较完善的目标特征库；进一步可利用目标特征库，提取目标尺寸信息，实现基于纯摄像监视系统的目标坐标估算，大大提高摄像监视系统应用价值。

附图说明

图1为本发明方法的流程图；

图2投影距离计算俯视原理图；

图3为本发明方法的仿真效果图。

具体实施方式

下面结合具体实施方式对本发明做进一步阐述和说明。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。

本方法流程如图1所示，具体步骤可描述为：

S01:基于坐标监视结果，计算目标与摄像机的直线距离与方位角；

S02:基于摄像监视结果，计算目标与摄像机光轴的偏移角，进一步得到目标方位角；

S03:基于监视结果，计算基于坐标监视的投影距离，记为第1位置点的基于坐标监视的投影距离；随着目标移动，采集计算第2位置点的监视信息，计算第2位置点的基于坐标监视的投影距离，继而得到两位置点的基于坐标监视的投影距离差，基于所述投影距离差和两位置点的摄像监视结果计算目标尺寸和基于摄像监视的投影距离；

S04:由于坐标监视与摄像监视中同一目标位置变换具有一致性，综合关联基于坐标的方位角信息、基于坐标的投影距离信息、基于摄像的方位角信息、基于摄像的投影距离信息，实现无先验知识条件下的摄像监视与坐标监视关联和交叉验证。

以下对本发明做详细的说明

一、基于坐标的直线距离与方位角计算

摄像机的经度、纬度、高度坐标为(Lon_S,Lat_S,Alt_S)，以雷达、ADS-B为代表的坐标监视结果为(Lon_T,Lat_T,Alt_T)。目标与摄像机的方位角为(θ_h,θ_v)，其中水平朝向θ_h以正北为0度，俯视顺时针为正方向，竖直朝向θ_v以水平为0度，向上为正方向。同时为了便于区分，以下标a代表基于坐标的计算结果，下标b代表基于摄像的监视结果。

直线垂直距离：

H＝Alt_T-Alt_S

直线水平距离：

其中R为地球半径，取赤道半径6378.140km

α＝Arccos[sin(Lat_S)*sin(Lat_T)+cos(Lat_S)*cos(Lat_T)*cos(Lon_S-Lon_T)]

直线距离：

水平方位角：

垂直方位角：

二、基于摄像的偏移角与方位角计算

摄像监视系统朝向为(θ_hS,θ_vS)，水平视角大小为

水平、垂直成像分辨率为(I_h,I_v)，目标像素坐标为[(L_h,L_v),(R_h,R_v)]，其中(L_h,L_v)为左上角坐标，(R_h,R_v)为右下角坐标。

水平偏移量：

垂直偏移量：

水平方位角：

θ_hb＝θ_hS+Δθ_hS

竖直方位角：

θ_vb＝θ_vS+Δθ_vS

三、投影距离计算

摄像机光轴对应与图像中心点，由于目标偏移，导致“目标-摄像机”直线与光轴线并不平行，为了计算方面，将所述直线投影到光轴上，即投影距离，记为D_⊥。

基于坐标的投影距离计算：

D_⊥a＝D_a*cos(Δθ_hS)*cos(Δθ_vS)

图2是投影距离计算俯视原理图，采集计算2位置点监视信息，计算2位置点投影距离差。为了方便区分，以下标1代表第1位置点休息，下标2代表第2位置点休息。

为摄像机水平成像视角，S为摄像机监视视野，d为目标尺寸，且d假设保持不变。

基于坐标的投影距离差计算：

ΔD_⊥a＝D_⊥a2-D_⊥a1

目标占比值：

摄像机监视视野：

综合目标占比值与摄像机监视视野计算公式可得：

其中，

基于摄像的投影距离差计算：

目标尺寸：

基于摄像的投影距离计算：

其中ΔD_⊥b取值为ΔD_⊥a，

如果摄像机水平视角保持不变，公式可进一步化简为：

四、综合关联

1)坐标监视系统、摄像监视系统周期性同时对目标进行监视；

2)坐标监视系统、摄像监视系统采集多点信息后，存入到未知点集合中，

3)在未知点集合中，两两组合计算Δf、目标尺寸d、误差err,其中Δf是尺寸d计算公式中的分母，

误差err的计算方法为：

基于坐标监视得到目标方位角(θ_ha,θ_va)与投影距离D_⊥a，基于摄像监视得到目标方位角(θ_hb,θ_vb)、投影距离D_⊥b；

基于坐标监视构建目标向量：

基于摄像监视构建目标向量：

计算误差：

4)去掉Δf过小和误差err过大的值，使用聚类法归类目标尺寸d值，保留点数最多的集合，该集合中的点存入到可靠点集合中，并计算可靠点集合中目标尺寸d值平均值

5)后续采集的点，在可靠点集合中遍历计算Δf值，选择Δf较大的10个点，计算误差err和目标尺寸d值，如果误差err小于设定阈值且目标尺寸d值与可靠点中

偏差小于设定阈值，则关联成功。其中阈值可以通过调试而得。

摄像监视和坐标监视的关联的主要过程可描述为：根据坐标监视系统(雷达、ADS-B)的监视结果可以得到某个目标的坐标，例如目标A；摄像监视采集目标A附近的图像，图像中可能存在1个或多个目标，由于坐标监视与摄像监视中同一目标位置变换具有一致性，因此可在摄像监视图像中识别出目标A，即实现摄像监视和坐标监视的关联。

本发明具体的操作步骤可按如下进行：

S1:基于坐标监视系统得到目标方位角，基于方位角控制摄像监视系统监视此区域目标；

S2:坐标监视系统、摄像监视系统周期性同时对目标进行监视；

S3:构建未知点集合、可靠点集合，并初始化为空；

S4:坐标监视系统、摄像监视系统采集多点信息后，存入到未知点集合中，采集点数可调整，点数越多结果越精确，但计算量会增加；

S5:在未知点集合中，两两组合使用本方法进行计算，生成Δf、目标尺寸d、误差err等信息,其中Δf是尺寸d计算公式中的分母，在Δf过小时结果可信度较低，

S6:去掉Δf过小和误差err过大的值，使用聚类法归类目标尺寸d值，保留点数最多的集合，该集合中的点存入到可靠点集合中，并计算可靠点集合中目标尺寸d值平均值

S7:后续采集的点，在可靠点集合中遍历计算Δf值，选择Δf较大的10个点，计算误差err和目标尺寸d值，如果误差err小且目标尺寸d值与可靠点中

偏差较小，则关联成功；S6，S7步骤中误差err与Δf大小的判断，可在调试中确定。

根据本发明的方法，进一步的还可在坐标监视系统失联的情况下，仅基于摄像监视系统，结合目标平均值

估算目标距离，完成目标坐标估算；目标坐标可由目标方位角和目标距离唯一确定；目标方位角(θ_hb,θ_vb)，参照第二部分基于摄像的偏移角与方位角计算，水平方位角为θ_hb＝θ_hS+Δθ_hS，竖直方位角为θ_vb＝θ_vS+Δθ_vS；目标距离D_b，参照第三部分投影距离计算，

五、仿真

对本方法进行仿真，设置水平、垂直成像分辨率(I_h,I_v)为常见的(1920,1080)，水平视角

设置为10度，摄像机水平朝向θ_h设置为0度，竖直朝向θ_v设置为5度，监视目标尺寸d设置为10m。监视目标水平向运动，起点位于摄像正北50m，并沿着正北方向运动，运动速度10m/s，运动距离记为L，L＝50+t*10。监视目标竖直向运动，方向竖直向上，运动距离记为H，设置为

监视目标运动基本沿着摄像机朝向方向进行，并加上了偏离值。仿真过程中，基于图像检测得到像素坐标[(L_h,L_v),(R_h,R_v)]都加上了随机值，随机值范围为(-1,1),并将最终结果四舍五入至整数。

每间隔5秒采集一次监视信息，连续计算相邻两点间的垂直距离差，并进一步采集得到误差err、尺寸d、目标占比P、目标占比差ΔP等信息。仿真结果如图3所示，在前50秒，即目标占比差ΔP大于1.0417的情况下，方法效果较好，目标尺寸d计算结果与设定值10m偏离范围小于0.2m，误差err小于3。在过50秒后，目标占比差ΔP逐渐减小，误差err开始不稳定，开始出现较大值，峰值超过100，目标尺寸d峰值达到39.9936m，偏差接近30m。

分析目标尺寸d与投影距离D_⊥b计算公式，可以发现该公式分母为两点间的目标占比差ΔP(假定视角

不变，

)，在分母ΔP较小的情况下，极小的误差也会带来最终计算结果的大尺度偏移，这点与仿真结果一致。仿真过程中，由于目标一直是远离摄像机运动，后期目标占比P极小，所生成的ΔP也是极小，因而导致误差err、尺寸d等结果的震荡。在实际应用中，应在ΔP取值较大时再进行计算，以保证可信度。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (4)

1.一种无先验知识条件下的摄像监视与坐标监视关联和交叉验证方法，其特征在于包括如下步骤：

S01:基于坐标监视结果，计算目标与摄像机的直线距离与方位角；

S02:基于摄像监视结果，计算目标与摄像机光轴的偏移角，进一步得到目标方位角；

S03:基于监视结果，计算基于坐标监视的投影距离，记为第1位置点的基于坐标监视的投影距离；随着目标移动，采集计算第2位置点的监视信息，计算第2位置点的基于坐标监视的投影距离，继而得到两位置点的基于坐标监视的投影距离差，基于所述投影距离差和两位置点的摄像监视结果计算目标尺寸和基于摄像监视的投影距离；

S04:由于坐标监视与摄像监视中同一目标位置变换具有一致性，根据基于坐标的方位角信息、基于坐标的投影距离信息、基于摄像的方位角信息、基于摄像的投影距离信息，实现无先验知识条件下的摄像监视与坐标监视关联和交叉验证；所述的步骤S04为：

1)坐标监视系统、摄像监视系统周期性同时对目标进行监视；

2)坐标监视系统、摄像监视系统采集多点信息后，存入到未知点集合中，

3)在未知点集合中，两两组合计算Δf、目标尺寸d、误差err,其中Δf是尺寸d计算公式中的分母，

误差err的计算方法为：

基于坐标监视得到目标方位角(θ_ha,θ_va)与投影距离D_⊥a，基于摄像监视得到目标方位角(θ_hb,θ_vb)、投影距离D_⊥b；

基于坐标监视构建目标向量：

基于摄像监视构建目标向量：

计算误差：

4)去掉Δf过小和误差err过大的值，使用聚类法归类目标尺寸d值，保留点数最多的集合，该集合中的点存入到可靠点集合中，并计算可靠点集合中目标尺寸d值平均值

5)后续采集的点，在可靠点集合中遍历计算Δf值，选择Δf较大的10个点，计算误差err和目标尺寸d值，如果误差err小于设定阈值且目标尺寸d值与可靠点中

偏差小于设定阈值，则进行关联。

2.根据权利要求1所述的无先验知识条件下的摄像监视与坐标监视关联和交叉验证方法，其特征在于所述的步骤S01为：

记摄像机的经度、纬度、高度坐标为(Lon_S,Lat_S,Alt_S)，坐标监视结果为(Lon_T,Lat_T,Alt_T)；目标与摄像机的方位角为(θ_h,θ_v)，其中水平朝向θ_h以正北为0度，俯视顺时针为正方向，竖直朝向θ_v以水平为0度，向上为正方向；以下标a代表基于坐标的计算结果；

直线垂直距离：

H＝Alt_T-Alt_S

直线水平距离：

其中，R为地球半径，

α＝Arccos[sin(Lat_S)*sin(Lat_T)+cos(Lat_S)*cos(Lat_T)*cos(Lon_S-Lon_T)]

直线距离：

水平方位角：

垂直方位角：

3.根据权利要求1所述的无先验知识条件下的摄像监视与坐标监视关联和交叉验证方法，其特征在于所述的步骤S02为：

记摄像监视系统朝向为(θ_hS,θ_vS)，水平视角大小为

水平、垂直成像分辨率为(I_h,I_v)，目标像素坐标为[(L_h,L_v),(R_h,R_v)]，其中(L_h,L_v)为左上角坐标，(R_h,R_v)为右下角坐标；以下标b代表基于摄像的计算结果；

水平偏移量：

垂直偏移量：

水平方位角：

θ_hb＝θ_hS+Δθ_hS

竖直方位角：

θ_vb＝θ_vS+Δθ_vS。

4.根据权利要求1所述的无先验知识条件下的摄像监视与坐标监视关联和交叉验证方法，其特征在于所述的步骤S03为：

将投影距离记为D_⊥，基于坐标监视的投影距离为D_⊥a，基于摄像监视的投影距离为D_⊥b，

D_⊥a＝D_a*cos(Δθ_hS)*cos(Δθ_vS)

其中，D_a为直线距离，Δθ_hS为水平偏移量，Δθ_vS为垂直偏移量；

记目标占比值：

摄像机监视视野：

为摄像机水平成像视角，S为摄像机监视视野，d为目标尺寸；

综合目标占比值与摄像机监视视野计算公式可得：

其中，

以下标1代表第1位置点信息，下标2代表第2位置点信息，

基于坐标的投影距离差计算：

ΔD_⊥a＝D_⊥a2-D_⊥a1

基于摄像的投影距离差计算：

目标尺寸：

基于摄像监测的投影距离计算：

其中，ΔD_⊥b取值为ΔD_⊥a，P取值为

Images