CN115830140A - 一种海上近程光电监控方法、系统、介质、设备及终端 - Google Patents

Abstract

本发明属于海域监控管理技术领域，公开了一种海上近程光电监控方法、系统、介质、设备及终端，通过图像信息提取模块检测每张图像中的海天线，识别海上目标并精准定位；通过光电设备标定模块利用标定板对光电设备内参进行标定，利用高度感知设备确定光电设备相对海平面高度；通过数据处理模块进行连续帧融合、目标位置解算以及目标运动轨迹跟踪；通过用户交互模块进行参数输入、监控控制及监控信息显示；通过数据管理模块进行信息保存、历史信息查询及外部信息导入。本发明通过海面目标相对平台位置的求解过程可以发现，海上近程无源监控系统能够实现海上平台近程范围的全天候实时监控，为平台的安全防卫、防敌渗透提供保障。

Description

一种海上近程光电监控方法、系统、介质、设备及终端

技术领域

本发明属于海域监控管理技术领域，尤其涉及一种海上近程光电监控方法、系统、介质、设备及终端。

背景技术

岛礁或舰艇等海上任务平台对周边环境的全面准确感知，是平台维护自身安全，防敌渗透、防误碰的前提。当前对周边海上环境的监视手段主要包括光电探测技术、雷达探测技术与水声探测技术等，分别通过对海上的光学、电磁及声音信号的收集与信息提取，实现对平台周边海域监视。其中，光电探测技术对周边环境的监视被动接收环境信息，不主动发射信号，能够避免电磁干扰及暴露自身位置。另外，光电信息符合人员识别习惯，更能满足对目标类型性质的判别需要，且其布设要求相对较低，能够对雷达探测盲区进行补盲。

在将现有的光电探测系统与视频监控系统迁移到海上平台时面临以下问题，一是只能分辨目标的类型，缺乏深度信息，无法获得目标的位置；二是由于海面流动导致目标或平台的晃动，目标在图像中的位置发生变化，难以稳定跟踪与判别；三是单个光电设备的视角有限，焦距越长，目标越清晰，但视角越小，所观测范围也越小。因此，为满足海面平台周边环境的监控需求，亟需设计一套能够利用光电设备对平台周边近程海面目标识别、定位及跟踪的监控系统。

通过上述分析，现有技术存在的问题及缺陷为：

(1)现有的光电探测系统感知周边环境时，由于缺乏深度信息，只能分辨目标的类型，无法获得目标的位置。当借助其他设备实现距离探测时，通常需要主动向外发射信号，从而导致位置暴露，获得的距离信息也需要与目标的位置进行配准，过程复杂不易操作。

(2)将陆上现有的监测系统直接迁移到海上平台时，由于海面流动导致目标或平台的晃动，目标在图像中的位置发生变化，难以稳定跟踪与判别。

(3)单个光电设备的视角有限，焦距越长，目标越清晰，但视角越小，所观测范围也越小，难以实现对平台周边海域的全角度覆盖，容易出现监控漏洞。

发明内容

针对现有技术存在的问题，本发明提供了一种海上近程光电监控方法、系统、介质、设备及终端。

本发明是这样实现的，一种海上近程光电监控方法，海上近程光电监控方法包括：在系统搭建时，预先通过光电设备标定模块利用标定板对光电设备内参进行标定；利用高度感知设备实时确定光电设备相对海平面高度；通过图像信息提取模块检测每张图像中的海天线，识别海上目标并精准定位目标在图像中的位置；通过数据处理模块进行目标位置解算以及目标运动轨迹跟踪；通过用户交互模块进行参数输入、监控控制、监控信息显示、重点目标关注及高威胁目标警告；通过数据管理模块进行信息保存、历史信息查询及外部信息导入。

进一步，海上近程光电监控方法包括以下步骤：

预先准备，光电设备标定：在设备布设前，利用标定板对光电设备相对于平台的部分参数进行逐一标定。将各光电设备的相关参数通过数据管理模块进行保存管理；

步骤一，图像信息提取：检测每张图像中的海天线，用于辅助光电设备姿态标定与目标跟踪；在图像序列数据中识别感兴趣的海上目标，并精准定位其在图像中的位置；

步骤二，利用气压计等高度感知设备实时确定光电设备相对海平面高度；通过海天线、光电设备高度及预先步骤中标定所得参数，完成光电设备姿态的标定；

步骤三，数据处理：利用计算机视觉相关技术将图像中目标在图像中的位置转换为相对光电设备的位置；

步骤四，根据光电设备的位置确定目标相对平台的位置，根据检测出的目标的连续位置，跟踪目标的运动轨迹；

用户交互：手动调整参数，修正精度，控制系统，显示跟踪情况，对高威胁目标进行重点关注以及反馈海上近程光电监控系统的工作状态；

数据管理：保存监控视频信息，对历史数据进行查询、回放、删除或从其他设备导入。

在预先准备工作中，主要对光电设备的内外参数进行标定。

内参矩阵包括光电设备的焦距f、像素单元的宽d_x、像素单元的高d_y，以及CCD感光元器件宽度w₀与高度h₀。畸变主要包括径向畸变(k₁,k₂,k₃)和切向畸变(p₁,p₂)。光电设备的内参矩阵与畸变矩阵通过张正友标定方法进行标定。

光电设备的外参主要包括光电设备的位置(X₀,Y₀,Z₀)与光电设备的角度(τ,θ,

)。其中，以平台的中心(自行设定)作为水平坐标系的原点，岛礁等固定平台以正北方向为Z轴，正东方向为X轴，舰艇等浮动平台以舰艏为Z轴，右舷方向为X轴。(X₀,Z₀)表示光电设备相对于平台中心的位置，Y₀表示光电设备高出海平面的高度，τ表示光电设备在水平方向的摇摆角，即光电设备光轴与其到平台中心的夹角，顺时针方向为正，取值范围为-90°～90°，θ表示光电设备的俯仰角，即光电设备光轴与水平面的夹角，向下为正取值范围为-90°～90°，

表示光电设备横滚角，即光电设备画面横轴与水平面的夹角，顺时针为正，取值范围为-90°～90°。在实际监控过程中，光电设备与平台采用刚性连接，(X₀,Z₀)通常不发生改变，Y₀受平台晃动或潮水涨落影响发生变化，主要通过气压高度计或查询潮水表实时测量，相机的姿态角(τ,θ,

)同样受平台影响，于平台保持一致。因此，对于岛礁等固定平台来说，姿态角几乎不发生变化，对目标距离测量与跟踪影响不大，但对于舰船等活动平台来说，光电设备除摇摆角与舰船保持一致，不影响目标位置的表示外，横滚角和俯仰角都对目标距离的测量有影响，需通过海天线进行实时标定。

因此布设在不同平台上的海上近程光电监控系统的标定要求有所差别。相机的内参通常不发生改变，可以在安装设备时完成标定，并按光电设备序列号存储，待使用时可直接调用。岛礁等固定平台可直接标定光电设备的内参与外参，舰艇等浮动平台随水波抖动时会导致光电设备相对海面的外参发生变化，主要标定内参，其他参数借助图像中的海天线完成。

步骤一，利用图像处理技术提取光电设备图像中海天线、感兴趣目标等信息。通过目标检测网络模型YOLOv7利用海量数据对神经网络进行训练，自动拟合目标识别特征，实现在多种场景下对目标的检测。

原始的YOLOv7主要应用于通用场景中，权重文件较大，不便于移植于其他平台。通过添加注意力机制、调整特征融合的层级关系，对神经网络进行改进。在特征融合网络中增加底层特征层的融合，同时将多层特征层根据语义信息进行融合，得到改进后的特征融合网络。

通过网络或现场收集海上平台周边视频图片资料，对感兴趣目标进行标注、命名，转化为用于神经网络训练的数据集。通过多批次的训练得到网络权重，最终用于对图像中的目标进行检测。目标检测网络检测出的结果表示为：

t＝T(x,y,w,h,class,conf)；

式中，(x,y)表示目标的左上角坐标，(w,h)表示目标的宽与高，class表示目标的类别；conf表示目标为某一类的可信度有多高，用于调节目标的敏感度。

利用图像中感兴趣目标对图像进行滤波并对图像中的线段进行筛选，通过最大类间方差法结合边缘检测算法及霍夫变换进行图像中海天线的检测。

经海天线检测算法得出的海天线表示为：

式中，d表示海天线中点与图像中点的距离，

表示海天线的斜率。

在水柱与浮靶检测框的下1/3部分所包含的图片中利用Canny边缘检测算法提取边缘，得到目标与海面的交点集在图像中的投影点集。海面目标与海面的交接点中，距离光电设备最近的点在图像中表现为距离海天线最远的点。

借助海天线筛选关键点，测距关键点的筛选过程如下：

P_key＝max(D_pl(P_i,l_seasky))；

式中，D_pl表示求点到直线距离，P_i表示投影点集中的点，l_seasky表示海天线。

经过目标检测、海天线检测以及目标关键点提取完成图像信息提取。

步骤二，标定相机姿态。对于岛礁等固定平台，仅需通过气压计等高度测量设备或查询潮汐表，即可获得光电设备相对于海面的实时高度，再通过读取存储设备中对应的预先标定的其他姿态参数，即可获得光电设备的所有姿态参数。

对于舰艇等浮动平台，除光电设备高度外，还需要利用图像中的海天线对光电设备的俯仰角θ、横滚角

进行实时标定。

当H为光电设备高度，θ为光电设备俯仰角，

为海天线与图像水平轴的夹角即光电设备横滚角，θ为海天线俯仰角。图像中的光电设备横滚角

与海天线倾角相同。光电设备俯仰角θ与海天线在画面中的位置相关，计算公式为：

式中，η为海天线俯仰角，d为海天线中点与图像中心距离，f为光电设备焦距。

海天线俯仰角η的计算方式为：

式中，R为地球半径，取6366707米；H为光电设备高度。

以此即可完成光电设备所有外参的标定。

步骤三，通过数据处理模块将，图像中目标的位置转换为相对光电设备的实际位置。

目标相对光电设备的位置坐标近过四个坐标系的三次坐标转换，得到在光电图像中的坐标。

海面上的目标点P₁(x₁,y₁,z₁)与在对焦平面上的投影点P₂(x₂,y₂)的转换关系为：

式中，H为相机光心相对于海平面的高度，θ为相机俯仰角，γ为OP₁与光轴在O₁Y₁Z₁平面上投影的夹角，ε为O₁X₁Z₁与光轴在O₁X₁Z₁平面上投影的夹角。

在原始对焦平面坐标系O₂X₂Y₂中的P₂(x₂,y₂)与旋转后的对焦平面坐标系O₂X'₂Y'₂中的P'₂(x'₂,y'₂)之间的对应关系可表示为：

式中，

为横滚角。

当横滚角为0时，两坐标系重合。

对焦平面的特征点P₂(x₂,y₂)与在成像平面上的投影点P₃(x₃,y₃)的转换关系为：

式中，f为相机焦距。

成像平面上的特征点P₃(x₃,y₃)与在像素平面上的投影点P_key(x₄,y₄)的转换关系表示为：

式中，(d_x,d_y)为像素坐标系中单位像素的宽高。(w₀,h₀)为感光元器件宽度与高度。

通过转换关系，图像中目标的坐标p_key(x₄,y₄)可逆向转换为目标相对于单个光电设备的位置(x₁,y₁,z₁)。

步骤四，将目标坐标表示为相对平台的坐标，并根据其不同时刻的位置坐标拟合其运动轨迹。

以平台的形状质心为原点，以地理北方为方位角零度，顺时针360度规定方位角，则各光电设备的位置表示为：

P_camera＝(l_c,α_c)。

考虑光电设备的摇摆角，则目标相对相机的实际位置转换关系表示为：

目标相对于平台的位置可表示为：

由此即可求得目标相对平台的位置(x_p,y_p,z_p)。利用卡尔曼滤波的方法根据多个时刻目标的相对位置即可得到目标的运动轨迹。

用户交互部分的手动输入参数包括光电设备高度、精度要求阈值以及光电设备内参；控制功能包括完成光电设备标定、高度来源设置、信息源读取、检测与跟踪情况；跟踪情况显示包括各光电设备视频信息、目标类别信息、位置信息、运动信息以及威胁度判别情况。

数据管理部分，主要用于各光电设备的姿态信息、视频图像信息、目标检测跟踪情况及设备运行情况的记录及相关数据的管理。

本发明的另一目的在于提供一种应用所述的海上近程光电监控方法的海上近程光电监控系统，海上近程光电监控系统包括：

图像信息提取模块，用于进行海天线检测和海上目标检测；

光电设备标定模块，用于进行光电设备各姿态参数的标定和光电设备高度标定；

数据处理模块，用于进行连续帧融合、目标位置解算以及目标轨迹跟踪；

用户交互模块，用于进行参数输入、监控控制以及监控信息显示；

数据管理模块，用于进行信息保存、历史信息查询以及外部信息导入。

本发明的另一目的在于提供一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行所述的海上近程光电监控方法的步骤。

本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行所述的海上近程光电监控方法的步骤。

本发明的另一目的在于提供一种信息数据处理终端，信息数据处理终端用于实现所述的海上近程光电监控系统。

结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：

第一，针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果。具体描述如下：

本发明利用YOLOv7网络进行图像信息提取，YOLOv7网络是当前性能最好的目标检测网络模型，能够满足多种场景下图像目标检测任务。本发明通过添加注意力机制、调整特征融合的层级关系，对神经网络进行改进，注意力机制能够加强特征融合的针对性，底层特征网络包含更多局部信息；CBAM特征注意力网络既能够感知特征层的空间注意力，又能够对特征层的通道注意力进行感知，可以来改进目标检测网络；在特征融合网络中增加底层特征层的融合，同时将多层特征层根据语义信息进行选择性融合，能够提高目标检测网络对小目标的关注。在实际检测过程中，受光照、天气等场景因素影响，海天线经常被误检，海面目标通常存在海天线以下或跨海天线存在，因此本发明借助图像中感兴趣目标对图像进行滤波并对图像中的线段进行筛选，提高海天线检测准确性。本发明实现对单目图像中不同目标的距离测量，利用图像中的海天线实时标定光电设备的姿态，通过坐标转换，实现海上单目图像测距，将海上目标在图像中的位置转换为实际环境中相对光电设备的位置。

第二，把技术方案看做一个整体或者从产品的角度，本发明所要保护的技术方案具备的技术效果和优点，具体描述如下：

本发明提供的海上近程光电监控方法，通过对海面目标的检测以及海面目标相对平台位置的求解，实现对平台周边光电可视范围内的目标进行跟踪监视。基于此，海上近程无源监控系统能够实现海上平台近程范围的全天候实时监控，为平台的安全防卫、防敌渗透提供保障。

第三，作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要方面：

(1)本发明的技术方案填补了国内外业内技术空白：

当前对于海上平台周边环境的监控，主要依赖雷达等主动设备进行，对于雷达近程盲区则大多依靠传统的光电系统或人工巡视的方法，传统的光电系统主要通过人工检视获取图像中的目标，仅能获取目标类别，而不能估算目标位置，且都是单光电设备独立运行，视角有限。本系统通过图像处理相关技术，实现对图像中目标的自动识别与位置计算，并通过多设备联动，对平台周边实现全覆盖，在计算目标相对位置时，采用被动视觉测距技术，隐蔽性好，扛干扰能力强。

(3)本发明的技术方案解决了人们一直渴望解决、但始终未能获得成功的技术难题：

对海上平台近程海域的自动监控，受限于目标的自动识别与目标距离估算技术发展缓慢，本发明通过图象处理技术实现平台周边海域环境的自动感知与监控。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的海上近程光电监控方法流程图；

图2是本发明实施例提供的海上近程无源监控系统的功能结构图；

图3是本发明实施例提供的光电设备布设及覆盖范围示意图；

图4是本发明实施例提供的YOLOv7网络结构图；

图5是本发明实施例提供的改进后的特征融合网络示意图；

图6是本发明实施例提供的海天线检测流程图；

图7是本发明实施例提供的目标测距关键点提取图；

图8是本发明实施例提供的海天线与光电设备位姿关系图；

图9是本发明实施例提供的坐标系转换示意图；

图10是本发明实施例提供的目标相对单个光电设备的位置及相对平台的位置图；

图11是本发明实施例提供的安装在岛礁上的近程光电监控系统中编号为1的光电设备获取的实时图像图；

图12是本发明实施例提供的对海面目标进行检测的神经网络模型经新加坡海上数据集(SMD)3605张训练验证后，训练结果PR曲线图；

图13是本发明实施例提供的海天线位置对测量效果的影响的效果图；

图14是本发明实施例提供的海天线角度对测量效果的影响的效果图；

图15是本发明实施例提供的目标点横坐标分布对测量效果的影响的效果图；

图16是本发明实施例提供的目标点纵坐标对测量效果的影响的效果图；

图17是本发明实施例提供的相机高度对测量效果的影响的效果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种海上近程光电监控方法、系统、介质、设备及终端，下面结合附图对本发明作详细的描述。

为了使本领域技术人员充分了解本发明如何具体实现，该部分是对权利要求技术方案进行展开说明的解释说明实施例。

如图1所示，本发明实施例提供的海上近程光电监控方法包括以下步骤：

S101，通过图像信息提取模块检测每张图像中的海天线用于光电设备姿态标定与目标跟踪，同时识别海上目标并进行精准定位；

S102，通过光电设备标定模块利用标定板对光电设备内参进行标定，确定内参系数与畸变系数；利用高度感知设备确定光电设备相对海平面高度；通过所测系数及海天线位置标定相机位置。

S103，通过数据处理模块利用计算机视觉相关技术进行目标位置转换，实现目标位置解算以及目标运动轨迹跟踪；

S104，通过用户交互模块进行参数输入、监控控制及监控信息显示，通过数据管理模块进行信息保存、历史信息查询及外部信息导入。

本发明实施例提供的海上近程光电监控系统包括：

图像信息提取模块，用于进行海天线检测和海上目标检测；

光电设备标定模块，用于进行光电设备内参标定和光电设备高度标定；

数据处理模块，用于进行连续帧融合、目标位置解算以及目标轨迹跟踪；

用户交互模块，用于进行参数输入、监控控制以及监控信息显示；

数据管理模块，用于进行信息保存、历史信息查询以及外部信息导入。

如图2所示，根据实际需要，本发明实施例提供的海上无源近程监控系统需要完成的任务如下：

(1)图像信息提取：准确检测每张图像中的海天线，用于光电设备姿态标定与目标跟踪；在图像序列数据中准确识别感兴趣的海上目标，并精准定位；

(2)光电设备标定：利用标定板对光电设备的内参进行实时标定，确定内参系数与畸变系数，或从存档信息中读取以往标定信息；利用气压计等高度感知设备，实时确定光电设备相对海平面高度；通过海天线、光电设备高度及光电设备内参完成光电设备姿态的标定；

(3)数据处理：利用计算机视觉相关技术将图像中感兴趣的目标在图像中的位置转换为相对光电设备的位置，根据光电设备的位置确定目标相对平台的位置，根据检测出的目标的连续位置，跟踪目标的运动轨迹。

(4)用户交互：能够手动调整参数，修正精度，控制系统，显示跟踪情况及系统工作状态。手动输入参数包括光电设备高度、精度要求阈值、光电设备内参等；控制功能要求能够完成光电设备标定、高度来源设置、信息源读取、检测与跟踪情况等；跟踪情况显示，包括各光电设备视频信息、目标类别信息、位置信息、运动信息、威胁度判别情况等；

(5)数据管理：能够保存监控视频等信息，对历史数据进行查询、回放、删除或从其他设备导入。

为保证对平台近海的全面监控，光电设备需将平台进行环形包围，保证对周边海域的全覆盖。光电设备的布设与覆盖范围如图3所示。

预先工作中，对光电设备的内参标定采用张正友标定法进行。该标定方法是当前最通用的光电设备标定方法，首先对棋盘格标定板的不同角度多方位的拍摄约10张照片，通过检测图片中的方格角点，对比与标准标定板角点的分布，利用单应性矩阵计算初始的光电设备内参矩阵，再利用最小二乘法估计畸变系数，并对结果进行极大似然估计，即可得到包括径向畸变系数较为准确的光电设备内参系数。对相机位置等外参的标定可借助水平仪标准卷尺等方法直接测得并记录。

对图像中信息的提取技术主要依靠深度学习目标检测算法进行。作为计算机视觉的重要分支，目标检测算法能够将图像中感兴趣目标的位置及类别信息提取出来，满足后续数据处理的需要。基于深度学习的目标检测算法能够利用海量数据对神经网络进行训练，自动拟合目标识别特征，实现在多种场景下对目标的稳定检测。现行的目标检测算法中，相较于两阶段目标，基于回归思想的一阶段检测算法更能满足近海监控的实时性要求。YOLOv7网络是当前性能最好的目标检测网络模型，能够满足多种场景下图像目标检测任务。本发明实施例提供的YOLOv7网络结构如图4所示。

即使在近海，光电图像中的海上目标大多也为小目标。为满足海上监控任务要求，需对原始的神经网络模型进行针对性改进，强化其特征融合能力以提高对小目标的检测能力。

通过添加注意力机制、调整特征融合的层级关系，对神经网络进行改进，注意力机制能够加强特征融合的针对性，底层特征网络包含更多局部信息。CBAM特征注意力网络既能够感知特征层的空间注意力，又能够对特征层的通道注意力进行感知，可以来改进目标检测网络。在特征融合网络中增加底层特征层的融合，同时将多层特征层根据语义信息进行融合，能够提高目标检测网络对小目标的关注。改进后的特征融合网络如图5所示。

通过网络或现场收集海上平台周边视频图片资料，对其中的感兴趣目标进行标注、命名，转化为可用于神经网络训练的数据集。通过多批次的训练即可得到所需的网络权重，最终用于对图像中的目标进行检测。目标检测网络检测出的结果可以表示为：

t＝T(x,y,w,h,class,conf)

式中，(x,y)表示目标的左上角坐标，(w,h)表示目标的宽与高，class表示目标的类别，conf表示目标为某一类的可信度有多高，可以用于调节目标的敏感度。

对图像中海天线的检测，可通过最大类间方差法结合边缘检测算法及霍夫变换进行。海天线检测流程如图6所示。

在实际检测过程中，受光照、天气等场景因素影响，海天线经常被误检。海面目标通常存在海天线以下或跨海天线存在，因此可以借助图像中感兴趣目标对海面目标附近图像进行滤波并对图像中的线段进行筛选，提高海天线检测准确性。

经海天线检测算法得出的海天线可表示为：

其中，d表示海天线中点与图像中点的距离，

表示海天线的斜率。

经深度学习目标检测算法所提取的浮靶与水柱的位置框，不能直接应用于测距计算，需要将浮靶与水柱的位置表示为测距关键点。海上目标与海面的交接点集在图像中通常表现为物体下边缘，其中距离光电设备最近的即为测距关键点。在投影变换过程中，该点保持在海面上，未被遮挡且与海面的变换保持一致，可以作为测距关键点，用于将目标的真实位置从图像中恢复出来。

Canny边缘检测算法能够通过计算图像中灰度值变化程度与方向来确定灰度梯度，进而准确提取物体边缘。因此可以在水柱与浮靶检测框的下1/3部分所包含的图片中利用Canny边缘检测算法提取边缘，得到目标与海面的交点集在图像中的投影点集。

根据投影关系可知，海面目标与海面的交接点中，距离光电设备最近的点在图像中表现为距离海天线最远的点。

因此，可以借助海天线来筛选关键点，测距关键点的筛选过程如下：

P_key＝max(D_pl(P_i,l_seasky))

其中，D_pl表示求点到直线距离，P_i表示投影点集中的点，l_seasky表示海天线。

目标测距关键点的提取过程可表示为图7所示。

经过目标检测、海天线检测以及目标关键点提取后即可完成图像信息提取任务。

目标在图像中的测距关键点到目标与光电设备相对位置的转化需要用到视觉测距技术。光电设备的成像是三维世界的坐标点向二维图像映射的过程。单目测距算法基于投影透视模型计算光电设备镜头机光心与目标的相对位置关系。光电设备内部参数和外部参数的标定是视觉测距的基础，其标定的精度决定了测距的精度。

光电设备成像模型中内部参数是光电设备固有的属性，通常不会发生改变，可以提前进行标定。外部参数会随光电设备所处位置与自身姿态而改变，需要根据环境进行实时标定。

在光电设备安装前即可对各光电设备进行内参标定并保存备用。光电设备内参可以采用张正友光电设备标定法进行标定。使用定焦光电设备对标定板各角度拍摄15张模板图像，检测其中的角特征点，求解理想无畸变时的内参系数，再利用最小二乘法求出畸变系数，即得出光电设备的内参系数及畸变系数。

光电设备的外参主要包括光电设备的位置(X₀,Y₀,Z₀)与光电设备的角度(τ,θ,

)。在海上测距模型中，光电设备在水平面上的位置(X₀,Y₀)默认为(0,0)，在Z方向上的坐标即为光电设备的高度H，可以提前标定。光电设备的角度中，摇摆角τ不影响图像中目标点的相对位置，可以忽略，俯仰角θ、横滚角

与测距相关，需要进行标定。

外参标定需要借助环境中的特征点进行标定。在海上环境中，光电设备所在载体与海面上的其他漂浮物受光照条件、洋流及海风的影响，不能稳定提供准确的特征点进行光电设备标定。可以利用图像中的海天线对光电设备的俯仰角θ、横滚角

进行实时标定。

如图8所示，H为光电设备高度，θ为光电设备俯仰角，

为海天线与图像水平轴的夹角即光电设备横滚角，θ为海天线俯仰角。

图像中的光电设备横滚角

与海天线倾角相同。光电设备俯仰角θ与海天线在画面中的位置相关，计算公式为：

式中，η为海天线俯仰角，d为海天线中点与图像中心的距离，f为光电设备焦距。

海天线俯仰角η的计算方式为：

式中，R为地球半径，根据经验取6366707米，H为光电设备高度。

目标相对光电设备的位置坐标近过四个坐标系的三次坐标转换即可得到其在光电图像中的坐标。如图9所示。

海面上的目标点P₁(x₁,y₁,z₁)与其在对焦平面上的投影点P₂(x₂,y₂)的转换关系为：

在原始对焦平面坐标系O₂X₂Y₂中的P₂(x₂,y₂)与旋转后的对焦平面坐标系O₂X'₂Y'₂中的P'₂(x'₂,y'₂)之间的对应关系可表示为：

当横滚角为0时，两坐标系重合。

对焦平面上的特征点P₂(x₂,y₂)与其在成像平面上的投影点P₃(x₃,y₃)的转换关系为：

成像平面上的特征点P₃(x₃,y₃)与其在像素平面上的投影点P₄(x₄,y₄)的转换关系可表示为：

通过转换关系，图像中目标的坐标p_key(x₄,y₄)可逆向转换为目标相对于单个光电设备的位置(x₁,y₁,z₁)。

以平台的形状质心为原点，以地理北方为方位角零度，顺时针360度规定方位角。则各光电设备的位置可表示为：

P_camera＝(l,α)

考虑光电设备的摇摆角，则目标相对相机的实际位置转换关系表示为：

目标相对于平台的位置可表示为：

由此即可求得目标相对平台的位置(x_p,y_p,z_p)。利用卡尔曼滤波的方法根据多个时刻目标的相对位置即可得到目标的运动轨迹。

通过海面目标相对平台位置的求解过程，可以发现，海上近程无源监控系统能够实现海上平台近程范围的全天候实时监控，为平台的安全防卫、防敌渗透提供保障。

为了证明本发明的技术方案的创造性和技术价值，该部分是对权利要求技术方案进行具体产品上或相关技术上的应用实施例。

如图11所示，为安装在岛礁上的近程光电监控系统中编号为1的光电设备获取的实时图像。

经图像信息处理模块处理后可得目标相关信息：(960，540，100，100，“小艇”，0.93)，即该目标有93％的概率为小艇，其中心点位于在像素坐标系中为(960，550)，长为100像素点，宽为118像素点。海天线相关信息(540，0)，即海天线中点坐标值为(960，540)，与画面水平轴相平行。经计算可得该小艇测距关键点为(960，590)，即p_key(x₄,y₄)＝(960,590)。

查询系统安装时的标定信息可知，1号光电设备位于岛礁正北方，位置表示为(100米，0度)，姿态角为(0度，0.1度，0度)即摇摆角为0度，俯仰角为0.1度，横滚角为0度。光电设备焦距f为100毫米，每个像素单元宽0.005毫米，高0.005毫米，CCD元件宽9.6毫米，高5.4毫米。在所设环境下，镜头畸变对测距影响极小，为便于计算，忽略不计。高度计测得此时光电设备高出海平面5米，即H＝-y₁＝5000mm。

经坐标转换可得(x₁,y₁,z₁)＝(0米,-5米，1177.6米)，转换为相对岛礁平台的坐标为。即目标在1号光电设备的正北方1177.6米处。转化为相对平台的位置为(0米，1277.6米)，转换为极坐标位置为(1277.6米，0度)。

综上可知，在此时刻有一大概率为小艇的目标位于岛礁方位为0度，距离1277.6米处。

通过多光电设备对目标的持续掌握，即可获得该小艇的运动轨迹，以此判断其意图。

本发明实施例在研发或者使用过程中取得了一些积极效果，和现有技术相比的确具备很大的优势，下面内容结合试验过程的数据、图表等进行描述。

本系统所提算法中，对海面目标进行检测的神经网络模型经新加坡海上数据集(SMD)3605张训练验证后，训练结果PR曲线如下图12所示。

其性能在CPU为Intel i9-10920X，内存32G，显卡为NVIDIA GeForce RTX3070，Ubuntu20.04操作系统，Python3.8编程语言，Pytorch1.8.0深度学习框架的平台上如下。

表1算法模型性能

能够满足对光电设备所获取图像中信息的提取。

本发明所提测距算法，完全基于图像中所得信息进行。故测距得精度受光电设备姿态、目标提取精度等因素影响。通过仿真实验计算，各因素对测距距离与测距误差得影响如下所示。

对相机高度H、海天线位置及角度(d,

)、目标点位置(x₄,y₄)五个参数进行单一变量实验，实验模型为：

式中，x为变量的测量值，Δx为测量误差，F为测距模型的计算过程。其中H的单位为米(m)，

的单位为弧度，其他参数单位为像素点。

各实测参数的测量值与误差值如表1所示。

表1各实测参数的测量值与误差值

如图13所示，各参数变化时，测量距离与误差距离的变化海天线位置对测量效果的影响；图14示出了海天线角度对测量效果的影响；图15示出了目标点横坐标分布对测量效果的影响；图16示出了目标点纵坐标对测量效果的影响；图17示出了相机高度对测量效果的影响。

因此在实际使用中，可以通过高性能光电设备，提高画面精度，进而提高系统对周边目标检测与跟踪的准确性。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种海上近程光电监控方法，其特征在于，海上近程光电监控方法包括：通过图像信息提取模块检测每张图像中的海天线，识别海上目标并精准定位；通过光电设备标定模块利用标定板对光电设备内参进行标定，利用高度感知设备确定光电设备相对海平面高度；通过数据处理模块进行连续帧融合、目标位置解算以及目标运动轨迹跟踪；通过用户交互模块进行参数输入、监控控制及监控信息显示；通过数据管理模块进行信息保存、历史信息查询及外部信息导入。

2.如权利要求1所述的海上近程光电监控方法，其特征在于，海上近程光电监控方法包括以下步骤：

步骤一，图像信息提取：检测每张图像中的海天线，用于光电设备姿态标定与目标跟踪；在图像序列数据中识别感兴趣的海上目标，并精准定位；

步骤二，光电设备标定：利用标定板对光电设备的内参进行实时标定，确定内参系数与畸变系数；利用气压计的高度感知设备实时确定光电设备相对海平面高度；通过海天线、光电设备高度及光电设备内参完成光电设备姿态的标定；

步骤三，数据处理：利用计算机视觉相关技术将图像中感兴趣的目标在图像中的位置转换为相对光电设备的位置；根据光电设备的位置确定目标相对平台的位置，根据检测出的目标的连续位置，跟踪目标的运动轨迹；

步骤四，用户交互：手动调整参数，修正精度，控制系统，显示跟踪情况以及海上近程光电监控系统的工作状态；

步骤五，数据管理：保存监控视频信息，对历史数据进行查询、回放、删除或从其他设备导入。

3.如权利要求2所述的海上近程光电监控方法，其特征在于，步骤一中，通过目标检测网络模型YOLOv7利用海量数据对神经网络进行训练，自动拟合目标识别特征，实现在多种场景下对目标的检测；

通过添加注意力机制、调整特征融合的层级关系，对神经网络进行改进；在特征融合网络中增加底层特征层的融合，同时将多层特征层根据语义信息进行融合，得到改进后的特征融合网络；

通过网络或现场收集海上平台周边视频图片资料，对感兴趣目标进行标注、命名，转化为用于神经网络训练的数据集；通过多批次的训练得到网络权重，最终用于对图像中的目标进行检测；目标检测网络检测出的结果表示为：

t＝T(x,y,w,h,class,conf)；

式中，(x,y)表示目标的左上角坐标，(w,h)表示目标的宽与高，class表示目标的类别；conf表示目标为某一类的可信度有多高，用于调节目标的敏感度；

利用图像中感兴趣目标对图像进行滤波并对图像中的线段进行筛选，通过最大类间方差法结合边缘检测算法及霍夫变换进行图像中海天线的检测；

经海天线检测算法得出的海天线表示为：

式中，d表示海天线中点与图像中点的距离，

表示海天线的斜率；

在水柱与浮靶检测框的下1/3部分所包含的图片中利用Canny边缘检测算法提取边缘，得到目标与海面的交点集在图像中的投影点集；海面目标与海面的交接点中，距离光电设备最近的点在图像中表现为距离海天线最远的点；

借助海天线筛选关键点，测距关键点的筛选过程如下：

P_key＝max(D_pl(P_i,l_seasky))；

式中，D_pl表示求点到直线距离，P_i表示投影点集中的点，l_seasky表示海天线；

经过目标检测、海天线检测以及目标关键点提取完成图像信息提取。

4.如权利要求2所述的海上近程光电监控方法，其特征在于，步骤二中的光电设备标定还包括从存档信息中读取以往标定信息。

5.如权利要求2所述的海上近程光电监控方法，其特征在于，步骤二中，在光电设备安装前对各光电设备进行内参标定并保存备用；光电设备内参采用张正友光电设备标定法进行标定；使用定焦光电设备对标定板各角度拍摄15张模板图像，检测图像中的角特征点，求解理想无畸变时的内参系数；再利用最小二乘法求出畸变系数，得出光电设备的内参系数及畸变系数；

光电设备的外参包括光电设备的位置(X₀,Y₀,Z₀)与光电设备的角度

在海上测距模型中，光电设备在水平面上的位置(X₀,Y₀)默认为(0,0)，在Z方向上的坐标为光电设备的高度H；利用图像中的海天线对光电设备的俯仰角θ、横滚角

进行光电设备外参的实时标定；

当H为光电设备高度，θ为光电设备俯仰角，

为海天线与图像水平轴的夹角即光电设备横滚角，θ为海天线俯仰角；图像中的光电设备横滚角

与海天线倾角相同；光电设备俯仰角θ与海天线在画面中的位置相关，计算公式为：

式中，η为海天线俯仰角，d为海天线中点与图像中心距离，f为光电设备焦距；

海天线俯仰角η的计算方式为：

式中，R为地球半径，取6366707米；H为光电设备高度；

目标相对光电设备的位置坐标近过四个坐标系的三次坐标转换，得到在光电图像中的坐标；

海面上的目标点P₁(x₁,y₁,z₁)与在对焦平面上的投影点P₂(x₂,y₂)的转换关系为：

在原始对焦平面坐标系O₂X₂Y₂中的P₂(x₂,y₂)与旋转后的对焦平面坐标系O₂X'₂Y'₂中的P'₂(x'₂,y'₂)之间的对应关系可表示为：

当横滚角为0时，两坐标系重合；

对焦平面的特征点P₂(x₂,y₂)与在成像平面上的投影点P₃(x₃,y₃)的转换关系为：

成像平面上的特征点P₃(x₃,y₃)与在像素平面上的投影点P₄(x₄,y₄)的转换关系表示为：

通过转换关系，图像中目标的坐标可逆向转换为目标相对于单个光电设备的位置(x₁,y₁,z₁)；以平台的形状质心为原点，以地理北方为方位角零度，顺时针360度规定方位角，则各光电设备的位置表示为：

P_camera＝(l,α)。

6.如权利要求2所述的海上近程光电监控方法，其特征在于，步骤四中，手动输入参数包括光电设备高度、精度要求阈值以及光电设备内参；控制功能包括光电设备标定、高度来源设置、信息源读取、检测与跟踪情况；跟踪情况显示包括各光电设备视频信息、目标类别信息、位置信息、运动信息以及威胁度判别情况。

7.一种应用如权利要求1～6任意一项所述的海上近程光电监控方法的海上近程光电监控系统，其特征在于，海上近程光电监控系统包括：

图像信息提取模块，用于进行海天线检测和海上目标检测；

光电设备标定模块，用于进行光电设备内参标定和光电设备高度标定；

数据处理模块，用于进行连续帧融合、目标位置解算以及目标轨迹跟踪；

用户交互模块，用于进行参数输入、监控控制以及监控信息显示；

数据管理模块，用于进行信息保存、历史信息查询以及外部信息导入。

8.一种计算机设备，其特征在于，计算机设备包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行如权利要求1～6任意一项所述的海上近程光电监控方法的步骤。

9.一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行如权利要求1～6任意一项所述的海上近程光电监控方法的步骤。

10.一种信息数据处理终端，其特征在于，信息数据处理终端用于实现如权利要求7所述的海上近程光电监控系统。

Images