CN105225251B

CN105225251B - 基于机器视觉的超视距海上运动目标快速识别与定位装置及方法

Info

Publication number: CN105225251B
Application number: CN201510586885.2A
Authority: CN
Inventors: 陈从平; 黄正; 聂葳; 王小云; 黄杰光; 李林波
Original assignee: China Three Gorges University CTGU
Current assignee: Shandong Yuehao Automation Equipment Co ltd; Shanghai Oubei Industrial Co ltd
Priority date: 2015-09-16
Filing date: 2015-09-16
Publication date: 2017-11-24
Anticipated expiration: 2035-09-16
Also published as: CN105225251A

Abstract

基于机器视觉的超视距海上运动目标快速识别与定位装置及方法，包括图像获取装置、图像处理装置，所述图像获取装置包括多台超视距红外摄像机、多台短程红外摄像机；所述图像处理装置包括计算机及图像处理系统。所述超视距红外摄像机安装于海上岛礁或其他平台上，每台超视距红外摄像机可拍摄其正前方可视范围内的物体，多台超视距红外摄像机联合拍摄实现全方位监测，所述超视距红外摄像机均与主计算机相连接，在超视距红外摄像机周边岛礁或平台上安装有多台短程红外摄像机，多台短程红外摄像机的视角可调且与子计算机相连接，主计算机与子计算机相互通信连接。本发明能够在各种天候下，快速、有效地识别与定位超视距的海上运动目标。

Description

基于机器视觉的超视距海上运动目标快速识别与定位装置及方法

技术领域

本发明涉及超视距海上目标定位领域，具体涉及到一种基于机器视觉的超视距海上运动目标快速识别与定位装置及方法。

背景技术

基于无线信号的超视距目标追踪技术已在许多领域得到了应用，如导弹拦截、军事追踪、电子导航、海上救援等。当前，超视距目标追踪技术最主要的探测手段为雷达探测，并且随着无线电和通讯技术的发展，现代的雷达探测技术具有越来越高的追踪精度与实时性。然而，高精度的雷达探测系统必然伴随着高成本及高维修费用的问题，并且雷达探测系统通常需要配备大型的辅助装置,使其难以进行隐蔽的安装且难以安装在一些特殊地区如：小型的岛礁或海上平台上，同时，雷达探测系统容易受到海洋中各种电磁波、海面回波及地球曲面的干扰，因而难以适用于部分特殊的海洋地区。机器视觉具有眼见为实、鲁棒性强的特点，且在运动物体的追踪领域已有一套完整的理论体系，能够在排除多种环境干扰的情况下快速的识别与定位超视距的运动目标。相较于雷达探测系统其造价低廉、占地面积小、且不受电磁波、海面回波的干扰，能够更好的完成超视距海上运动目标的追踪任务。因此，开发一种基于机器视觉的超视距海上运动目标快速识别与定位装置是很有必要的。

发明内容

本发明提供一种基于机器视觉的超视距海上运动目标快速识别与定位装置及方法，通过多台超视距红外摄像机实现海平面全方位的移动目标搜索，搜索到运动目标后，调用安装在周围岛礁或平台上、与追踪目标具有相似方位的短程红外摄像机对搜索到的目标进行精确监测、追踪，最终通过图像处理系统识别并定位追踪目标。能够在各种不良环境的干扰下，有效的识别与定位超视距的海上运动目标。

本发明所采用的技术方案是：

基于机器视觉的超视距海上运动目标快速识别与定位装置，包括图像获取装置、图像处理装置，所述图像获取装置包括多台超视距红外摄像机、多台短程红外摄像机；所述图像处理装置包括计算机及图像处理系统。

所述超视距红外摄像机安装于海上岛礁或其他平台上，每台超视距红外摄像机可拍摄其正前方可视范围内的物体，多台超视距红外摄像机联合拍摄实现以所处岛礁为中心的360度全方位海面监测，所述超视距红外摄像机均与主计算机相连接，在超视距红外摄像机周边岛礁或平台上安装有多台短程红外摄像机，多台短程红外摄像机的视角可调且与子计算机相连接，主计算机与子计算机可相互通信。

基于机器视觉的超视距海上运动目标快速识别与定位方法，若有运动目标进入到某台所述超视距红外摄像机的视野且被其捕捉、拍摄，信息会被传输到主计算机，并通过主计算机中的图像处理系统对运动目标锁定追踪，同时判断运动目标相对于超视距红外摄像机的大致方位，为了尽早发现运动目标且不留监测死区，要求超视距红外摄像机的视距尽量长，视野范围尽量大，但由此会导致其早期发现运动目标时，目标在视野中所占的面积小，细节不够清晰，因而，要对超视距红外摄像机所探测到的运动目标进一步进行准确判断，需要调用拍摄范围相对较小、图像更清晰的短程红外摄像机进行监测；因而，当超视距红外摄像机联合主计算机发现运动目标且判断出其大致方位后，计算机会自动决策、发送信息给运动目标所属区域的、且与运动目标最接近的两台短程红外摄像机的子计算机，通过子计算机控制相应的两台短程红外摄像机对运动目标进行锁定、拍摄，此时两台短程红外摄像机及其所获取的追踪目标的轮廓的中心一起构成了典型的双目视觉定位模型，将模型数据返回给主计算机，由主计算机求解此模型即可定位所追踪目标的世界坐标。

基于机器视觉的超视距海上运动目标快速识别与定位方法，包括图像预处理步骤、运动目标识别步骤、运动目标定位步骤。

本发明所涉及到的装置和方法亦可用于监测沙漠、戈壁等可视的大面积空阔区域内的运动目标。

本发明一种基于机器视觉的超视距海上运动目标快速识别与定位装置及方法，技术效果如下：

1)、能够在各种天候包括夜晚、雨天、雾天等恶劣天候环境下有效的识别与定位远距离的海上运动目标。

2)、结果直观，具有“眼见为实”的效果，可直接判别被测物的类型、状况，如舰船类型、预估目标大小、状况正常或处于倾翻、沉没等状况，且易以图像资料记录，取证。

3)、用视距长、视野大的超视距红外摄像机在大范围、远距离内初判运动目标，再将信息传递与视距短、视野小、精度高的短程红外摄像机进行精确判断，该发明即先通过远距离、大范围内目标的快速粗略搜索，再用短程摄像机实现目标的精确定位与判断，扩大了监测范围，同时提高了系统的响应速度和预警水平。

4)、相对雷达探测等装置和方法，本装置占地面积小，隐蔽性高，不需要特殊的维护，应用成本较低；另一方面，本发明相比于雷达探测等技术门槛相对较低，技术易于升级与移植，易进行大范围推广。

附图说明

图1是本发明的硬件连接示意图；

图2是本发明的工作流程图；

图3为本发明的软件工作流程图；

图4为标准的双目标定模型图。

其中，1-超视距红外摄像机，2-主计算机，3-子计算机，4-短程红外摄像机，5-追踪目标。

具体实施方式

如图1所示，基于机器视觉的超视距海上运动目标快速识别与定位装置，包括图像获取装置、图像处理装置。所述图像获取装置包括多台超视距红外摄像机1、多台短程红外摄像机4。所述图像处理装置包括计算机及图像处理系统。

超视距红外摄像机1即为同等观测条件下可拍摄超过肉眼视力可见距离的红外摄像机，一般在普通红外摄像机上增加望远光学设备来实现，拍摄距离可达数十到数百千米；短程红外摄像机4即为普通红外摄像机，拍摄距离比超视距红外摄像机短，一般为数十千米以内。

所述超视距红外摄像机1安装于海上岛礁或其他平台上，每台超视距红外摄像机1可拍摄其正前方可视范围内的物体，多台超视距红外摄像机1联合拍摄实现全方位监测，所述超视距红外摄像机1均与主计算机2相连接，在超视距红外摄像机1周边岛礁或平台上安装有多台短程红外摄像机4，多台短程红外摄像机4的视角可调且与子计算机3相连接，主计算机2与子计算机3相互通信连接；

如图2所示，若有运动目标5进入到某台所述超视距红外摄像机1的视野且被其捕捉、拍摄，信息会被传输到主计算机2，并通过主计算机2中的图像处理系统对运动目标5锁定追踪，同时判断运动目标5相对于超视距红外摄像机1的大致方位。需要指出的是，为了尽早发现运动目标且不留监测死区，要求超视距红外摄像机的视距尽量长，视野范围尽量大，但由此会导致其早期发现运动目标时，目标在视野中所占的面积小，细节不够清晰，因而，要对超视距红外摄像机1所探测到的运动目标进一步进行准确判断，需要调用拍摄范围相对较小、图像更清晰的短程红外摄像机4进行监测。因而，当超视距红外摄像机1联合主计算机2发现运动目标且判断出其大致方位后，计算机2会自动决策、发送信息给运动目标所属区域的、且与运动目标5最接近的两台短程红外摄像机4的子计算机3，通过子计算机3控制相应的两台短程红外摄像机4对运动目标5进行锁定、拍摄，此时两台短程红外摄像机4及其所获取的追踪目标5的轮廓的中心一起构成了典型的双目视觉定位模型，将模型数据返回给主计算机2，由主计算机2求解此模型即可定位所追踪目标5的世界坐标。

基于机器视觉的超视距海上运动目标快速识别与定位方法，包括图像预处理步骤、运动目标识别步骤、运动目标定位步骤，如图3所示。

图像预处理步骤包括：

步骤1)：对红外摄像机所拍摄的图像进行处理，通过图像的暗通道值判断所拍摄图像是否为有雾图像，若为有雾图像，则使用去雾算法对图像进行去雾处理，若非有雾图像或图像已通过去雾算法进行处理，则进行下一步；

步骤2)：统计步骤1中所得到无雾图像的灰度直方图分布，以此判定所拍摄的图像是否过暗，若图像过暗，则通过式(1)进行图像增强处理：

式中，r表示输入图像的亮度，s表示输出图像的亮度，β为附加亮度，E表示亮度增幅程度，m为设定阈值，在式(1)中，低于m的亮度区间增强幅度较低，而高于m的亮度区间增强幅度较高；当所处理图像中只有背景区域时，如：海洋与天空等，由于设定的阈值m小于背景亮度区域，故所有背景都能得到较高的亮度增强；而当所处理图像中包含有前景区域时，如船只或者飞机，由于前景区域亮度值低于阈值m，故其亮度增幅较低，此时背景区域仍能够有较高的亮度增强；通过式(1)可有效的增强图像的亮度并防止图像增强后前景与背景的亮度值同化。

运动目标识别步骤包括：

步骤1)：通过红外摄像机拍摄视野中的图像，并通过帧差法判定所拍摄图像是否为没有前景目标的背景图像，若判定所拍摄图像不是背景图像，则重复进行拍摄与判定直至得到背景图像；

步骤2)：对步骤1)中所得到的背景图像进行图像预处理操作，并通过式(2)中改进的混合高斯算法对其进行动态建模以得到背景区域的滑动平均值模型，滑动平均值模型可以消除光照缓慢变化对背景区域所造成的动态干扰：

式中，α与n为设定阈值，μ_t-n为第t-n时刻图像中某一像素点的滑动平均像素值，p_t为当前t时刻此点的像素值；当光照发生缓慢变化时，背景点的像素值μ_t也将发生缓慢变化，但当变化值不超过设定阈值T₁时，其仍可被认为是背景点；

步骤3)：对背景图像中的每个像素点建立多个滑动平均值模型，以消除海面上往复振荡的波纹以及雨滴等环境因素对背景模型的影响；同时，当受到光照变化等环境因素影响使某一滑动平均值模型被击中的次数变少时，则移除此模型；反之，若某一像素点的灰度值频繁的被击中，则对此灰度值建立新的滑动平均值模型；

步骤4)：将当前拍摄并进行图像预处理所得到的包含前景目标的图像与步骤1)、步骤2)、步骤3)中已建立好的背景模型图像做差值运算，差值大于设定阈值的像素点即为前景像素点，根据前景像素点的8连通域进行区域分割，即可得到所有的前景目标；

步骤5)：在背景模型图像中以海平线作为分割线，分别统计海平线上、下两方出现次数最多的灰度值，统计得到的两个值即为拍摄图像时天空(包含云朵)与海洋的背景灰度值，将这两个灰度值拓展为两个阈值区间并与步骤4)中所得到的前景目标区域做异或运算，则能够剔除前景目标区域中的部分背景干扰区域；

步骤6)：计算所有前景目标的区域面积，剔除面积小于设定阈值的区域；

步骤7)：通过前步骤1)～步骤6)得到可信度较高的前景目标区域后，即可通过式(3)对每个前景目标区域进行基于色调空间的光流点检测，并计算前一帧与当前帧中相对应光流点间连线的斜率，统计当前帧中每个前景目标区域中出现次数最多的斜率值并认为其为当前帧当前目标区域的主斜率；若某一前景目标区域的一子区域中光流点连线的斜率在连续几帧内与主斜率不同，则认为此子区域为干扰区域并将其剔除，至此，则可得到精确度最高的各前景目标区域；

式中，为了降低光照强度变化所带来的影响，将传统光流法中的灰度空间特征点求解改为了基于色调空间的特征点求解。其中，H_t-1、H_t分别为前一帧及当前帧的色调值，(u,v)为相邻两帧中对应光流点的偏移量；

步骤8)：通过以上步骤得到各前景目标区域后，即可通过模板匹配的方法对其进行识别，模板匹配的过程中使用了对旋转、缩放不敏感的不变矩，使前景目标与模板图形有较小的形状差异时，系统仍能够精确的识别各前景目标；

运动目标定位步骤包括：

步骤1)：在已知各超视距、短程红外摄像机的标定参数的条件下，以拍摄到前景目标的超视距红外摄像机1为世界坐标原点，以需要进行追踪的前景目标区域轮廓的中心为参考点，则根据参考点的图像坐标即可大致确定参考点相对于超视距红外摄像机1的方位；

步骤2)：主计算机2将联系与参考点相对于超视距红外摄像机1具有相似方位的两台短程红外摄像机4，子计算机3将启动短程红外摄像机4进行拍摄，并将拍摄到的图像通过图像预处理步骤及运动目标识别等步骤进行处理，以判断两台短程红外摄像机4所拍摄的前景目标与超视距红外摄像机1所拍摄的前景目标是否相同；若不同，则主计算机2将联系其他具有相似方位的短程红外摄像机4进行拍摄；若相同，则两台短程红外摄像机4及参考点构成了双目视觉定位系统，系统可通过双目定位的方法得到需追踪前景目标精确的世界坐标。

超视距红外摄像机1拍摄到追踪目标5的图像后，将其发送至主计算机2，主计算机2将通过图像处理系统对所拍摄图像进行处理，提取并识别追踪目标5，并通过追踪目标5的图像坐标计算其相对于超视距红外摄像机1大致方位，再联系与追踪目标5具有相似方位的子计算机3，调用对应的两台短程红外摄像机4对同一追踪目标5进行图像拍摄并通过图像处理系统进行处理，此时两台短程红外摄像机4及追踪目标5构成了双目视觉定位模型，主计算机2求解此模型即可得到追踪目标5的精确位置。

本发明所涉及到的装置和方法亦可用于监测沙漠、戈壁等可视的大面积空阔区域内的移动目标。

本发明的一个定位实例为：

超视距红外摄像机1拍摄到追踪目标5的图像后，将其发送至主计算机2，主计算机2将通过图像处理系统对所拍摄图像进行处理，提取并识别追踪目标5。由已知的超视距红外摄像机1的内部参数可知：其所拍摄图像的分辨率为3264×2448像素，其主点(红外摄像机的光轴与成像平面的交点)的图像坐标为(u₀,v₀)＝(1632,1224)，焦距f＝120毫米，像元长度k＝0.1毫米。此时，追踪目标5轮廓中心的图像坐标为O'(823.58,1275.41)。由主点的图像坐标及轮廓中心的图像坐标可计算追踪目标5相对于超视距红外摄像机1的大致方位，再联系与追踪目标5具有相似方位的子计算机3，启用对应的两台短程红外摄像机4对同一追踪目标5进行图像拍摄并通过图像处理系统进行处理，可得到追踪目标5在两台短程红外摄像机4所拍摄图像中的图像坐标P₁(1326.50,1292.65)、P₂(235.19,1289.32)，且已知两台短程红外摄像机4的相对距离L＝15千米。设拍摄图像点P₁的短程红外摄像机4的主点为世界坐标原点O(0,0,0)，其余内部参数与超视距红外摄像机1相同(经校准)。则将图像坐标P₁及P₂根据标准的双目标定标准模型进行校正(以P₁为基准)，可得到校正后的图像坐标P₁'(1326.50,1292.65)、P₂'(831.40,1293.71)。结合图像坐标P₁'、P₂'、距离L及以上所述短程红外摄像机4的内部参数，则可由双目标定计算公式(4)得到追踪目标5轮廓中心的世界坐标为P＝(-9255.70,-2079.88,36356.29)米，即所追踪到的目标到所调用的其中一个短程红外摄像机4的距离为36356.29米；另外，理论上，若增大短程红外摄像机4的焦距，其可拍摄距离会正比例增加。超视距红外摄像机1所能搜索到的目标离摄像机本身的距离会更大，远大于短程红外摄像机4可监测的距离。

式中，(u,v)为图像坐标为P₁的横、纵坐标，(u₀,v₀)为短程红外摄像机4主点的图像坐标,(X,Y,Z)为追踪目标5轮廓中心的世界坐标，L为两台短程红外摄像机4的相对距离，f为焦距，k为像元长度，d为P₁'、P₂'横坐标之差。

Claims

1.基于机器视觉的超视距海上运动目标快速识别与定位装置，包括图像获取装置、图像处理装置，其特征在于，

所述图像获取装置包括多台超视距红外摄像机(1)、多台短程红外摄像机(4)；

所述图像处理装置包括计算机及图像处理系统；

所述超视距红外摄像机(1)安装于海上岛礁或其他平台上，每台超视距红外摄像机(1)可拍摄其正前方可视范围内的物体，多台超视距红外摄像机(1)联合拍摄实现以所处岛礁为中心的360度全方位海面监测，所述超视距红外摄像机(1)均与主计算机(2)相连接，在超视距红外摄像机(1)周边岛礁或平台上安装有多台短程红外摄像机(4)，多台短程红外摄像机(4)的视角可调且与子计算机(3)相连接，主计算机(2)与子计算机(3)可相互通信；

若有运动目标(5)进入到某台所述超视距红外摄像机(1)的视野且被其捕捉、拍摄，信息会被传输到主计算机(2)，并通过主计算机(2)中的图像处理系统对运动目标(5)锁定追踪，同时判断运动目标(5)相对于超视距红外摄像机(1)的大致方位；当超视距红外摄像机(1)联合主计算机(2)发现运动目标且判断出其大致方位后，计算机(2)会自动决策、发送信息给运动目标所属区域的、且与运动目标(5)最接近的两台短程红外摄像机(4)的子计算机(3)，通过子计算机(3)控制相应的两台短程红外摄像机(4)对运动目标(5)进行锁定、拍摄，此时两台短程红外摄像机(4)及其所获取的追踪目标(5)的轮廓的中心一起构成了典型的双目视觉定位模型，将模型数据返回给主计算机(2)，由主计算机(2)求解此模型即可定位所追踪目标(5)的世界坐标。

2.基于机器视觉的超视距海上运动目标快速识别与定位方法，其特征在于包括图像预处理步骤、运动目标识别步骤、运动目标定位步骤；

图像预处理步骤包括：

步骤2)：统计步骤1)中所得到无雾图像的灰度直方图分布，以此判定所拍摄的图像是否过暗，若图像过暗，则通过式(1)进行图像增强处理：

式中，r表示输入图像的亮度，s表示输出图像的亮度，β为附加亮度，E表示亮度增幅程度，m为设定阈值，在式(1)中，低于m的亮度区间增强幅度较低，而高于m的亮度区间增强幅度较高；当所处理图像中只有背景区域时，由于设定的阈值m小于背景亮度区域，故所有背景都能得到较高的亮度增强；而当所处理图像中包含有前景区域时，由于前景区域亮度值低于阈值m，故其亮度增幅较低，此时背景区域仍能够有较高的亮度增强；运动目标识别步骤包括：

<mrow> <msub> <mi>&mu;</mi> <mi>t</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>&alpha;</mi> <mo>)</mo> </mrow> <mi>n</mi> </mfrac> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msub> <mi>&mu;</mi> <mrow> <mi>t</mi> <mo>-</mo> <mi>n</mi> </mrow> </msub> <mo>+</mo> <msub> <mi>&alpha;p</mi> <mi>t</mi> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>

步骤3)：对背景图像中的每个像素点建立多个滑动平均值模型，以消除海面上往复振荡的波纹以及可能存在的雨滴环境因素对背景模型的影响；同时，当受到光照变化环境因素影响使某一滑动平均值模型被击中的次数变少时，则移除此模型；反之，若某一像素点的灰度值频繁的被击中，则对此灰度值建立新的滑动平均值模型；

步骤5)：在背景模型图像中以海平线作为分割线，分别统计海平线上、下两方出现次数最多的灰度值，统计得到的两个值即为拍摄图像时天空与海洋的背景灰度值，将这两个灰度值拓展为两个阈值区间并与步骤4)中所得到的前景目标区域做异或运算，则能够剔除前景目标区域中的部分背景干扰区域；

式中，为了降低光照强度变化所带来的影响，将传统光流法中的灰度空间特征点求解改为了基于色调空间的特征点求解，其中，H_t-1、H_t分别为前一帧及当前帧的色调值，(u,v)为相邻两帧中对应光流点的偏移量；

运动目标定位步骤包括：

步骤1)：在已知各超视距、短程红外摄像机的标定参数的条件下，以拍摄到前景目标的超视距红外摄像机(1)为世界坐标原点，以需要进行追踪的前景目标区域轮廓的中心为参考点，则根据参考点的图像坐标即可大致确定参考点相对于超视距红外摄像机(1)的方位；

步骤2)：主计算机(2)将联系与参考点相对于超视距红外摄像机(1)具有相似方位的两台短程红外摄像机(4)，子计算机(3)将启动短程红外摄像机(4)进行拍摄，并将拍摄到的图像通过图像预处理步骤及运动目标识别步骤进行处理，以判断两台短程红外摄像机(4)所拍摄的前景目标与超视距红外摄像机(1)所拍摄的前景目标是否相同；若不同，则主计算机(2)将联系其他具有相似方位的短程红外摄像机(4)进行拍摄；若相同，则两台短程红外摄像机(4)及参考点构成了双目视觉定位系统，系统可通过双目定位的方法得到需追踪前景目标精确的世界坐标。

3.如权利要求2所述基于机器视觉的超视距海上运动目标快速识别与定位方法，其特征在于：用于监测沙漠、戈壁可视的大面积空阔区域内的移动目标。