CN113554123A - 一种基于声光联动的采砂船自动识别方法 - Google Patents

Abstract

本发明公开了一种基于声光联动的采砂船自动识别方法，包括：步骤1：训练采砂船标定特征图像，建立训练集；步骤2：接收水听器提供的水声特征报警数据和水听器阵列数据，判定检测区域；步骤3：接收红外摄像机提供的红外图像，提取图像中船舶的红外特征；步骤4：根据已提取的红外特征与训练集数据进行匹配，计算特征符合度；步骤5：持续观测目标，迭代步骤3、步骤4，计算多时点下的目标行为特征，根据目标航速、航程判断目标是否为误判目标。本发明将红外图像、可见光图像、水下声学特征信号进行了结合，并引入监听阵的布设方案，实现了声‑光信号结合的采砂船综合判断，提高了判断准确度。

Description

一种基于声光联动的采砂船自动识别方法

技术领域

本发明涉及船舶自动监控技术领域，具体涉及一种基于声光联动的采砂船自动识别方法。

背景技术

目前，对采砂船水上特征的侦测识别最常见的方法是针对采砂船的行为特征进行监测，常用方法为结合岸基雷达、视频监测、甚高频通讯或AIS数据，形成VTS监测站，通过目标行为特征、船舶注册信息综合判断目标是否为采砂船。在这一过程中，视频监测是通过摄像头常规的可见光图像、热成像图像，以人工值班方式进行查看、判别。

在目前采用的技术中，存在以下几个缺陷：一是摄像头仅提供图像数据，不进行深度分析，具体分析判断由值班人员完成，这对值班人员的经验要求较高，如果摄像头图像不清晰、值班人员经验不足，往往造成误判、漏判；二是VTS监控技术主要结合雷达回波和AIS非注册信息判定疑似采砂船信息，但在夜间，船舶有抛锚休息、缓行等行为，会同采砂行为混淆。同时，AIS设备在内河的开机率一般不到2成，因此AIS可参与判定的船舶数量不足以支撑应用。

发明内容

本发明的目的是为了克服现有技术的缺陷，提供一种基于声光联动的采砂船自动识别方法，综合利用水声判断技术、红外热成像技术、地理信息网格分析、图像智能识别技术，综合采砂船水下特征、水上热源特征，对采砂船进行识别判断。

本发明公开了一种基于声光联动的采砂船自动识别方法，包括以下步骤：

步骤1：训练采砂船标定特征图像，建立训练集；

步骤2：接收水听器提供的水声特征报警数据和水听器阵列数据，判定检测区域；

步骤3：接收红外摄像机提供的红外图像，提取图像中船舶的红外特征；

步骤4：根据已提取的红外特征与训练集数据进行匹配，计算特征符合度；

步骤5：持续观测目标，迭代步骤3、步骤4，计算多时点下的目标行为特征，根据目标航速、航程判断目标是否为误判目标，如果是，则剔除目标，否则，将目标列入采砂船，并输出报警信号、报警位置、记录船舶特征。

进一步地，所述步骤1利用由VGG16-FPN-RPN-RCNN构成的多层神经网络进行训练，检测，矫正，形成可供比对的训练集，训练集建立算法步骤包括：

步骤101：人工输入目标特征标定框，形成包括图像和目标特征库在内的训练集；

步骤102：将输入图像进行二值化，形成灰度图；

步骤103：利用FAST算法提取角点算子、利用DoG算法提取斑点算子，利用EBR、IBR等算法提取区域检测算子；

步骤104：利用VGG16卷积算法，建立RGB三个通道的13个卷积层和3个图像连接层；

步骤105：基于VGG16的卷积层，提取目标特征，建立目标金字塔FPN和图像金字塔RPN，连接顶层特征目标和底层特征目标，建立TOP-DOWN和bottom-UP的双向金字塔层级连接关系，建立高效计算网络RCNN；

步骤106：对多张图像迭代步骤101至步骤105，训练图像，形成训练结果集。

进一步地，所述步骤2判定检测区域的步骤包括：

步骤201：每次会回传一对水听器坐标，水听器布设位置坐标P1（X,Y），P2(X,Y)、监听范围，根据水听器位置，分别设定缓冲区B1，B2 ；

步骤202：接收缓冲区B1，B2水听器提供的采砂船采砂报警音频信号，当水听器接收采砂船采砂声纹报警时，记录水听器信号来源分别对应为S1，S2；

步骤203：对缓冲区B1，B2公共区域采砂声纹信号监测，进行集合运算，得出检测区域B3；

集合运算公式如下：

。

进一步地，所述步骤3提取图像中船舶的红外特征的步骤包括：

步骤301：利用投影变换算法对红外图像进行图像几何矫正、利用直方图均衡化算法对图像灰度值进行矫正，使之符合算子提取前，建立统一计算框架的要求；

步骤302：利用FFT、小波变换对图像进行降噪处理；

步骤303：利用FAST算法提取角点算子、利用DoG算法提取斑点算子，利用EBR、IBR等算法提取区域检测算子。

进一步地，所述步骤四：所述步骤4计算特征符合度的步骤包括：

步骤401：对提取完红外特征的图像，利用BackBone推理策略，检测目标图像和训练结果集的匹配程度，并提供高符合度的提取结果；

步骤402：对于符合预期的图像，提取图像区块的纹理特征，形成Mosaic对比基准，并在后续视频帧中予以对比，将纹理特征符合的目标合并为同一目标的多次运动；

步骤403：提取目标在图像中的图像坐标，即像平面坐标P0；

步骤404：基于视频监测点预先设定好的坐标参数，利用空间坐标变换函数，进行像空间、物空间、焦平面的三维空间变换，设目标物空间坐标为P，监测点空间坐标为P1，图像的像平面坐标为P0，像平面至监测点空间变换参数为T0，监测点至物空间变换参数为T1,则变换公式如下：

；

；

本发明与现有技术相比的有益效果：

（1）本发明将深度学习算法引入红外图像识别过程，形成了一套完整的红外图像下目标标定、识别、最终的方法。其中，深度学习算法是基于采砂船的发动机布局、热源分布、采砂船船体特征、采砂船运行状态等多个指标，可以基于不同类型的红外视频设备进行训练；

（2）本发明将红外图像、可见光图像、水下声学特征信号进行了结合，并引入监听阵的布设方案，实现了声-光信号结合的采砂船综合判断，提高了判断准确度。其中，水下声学信号来自于离岸布设的水听器。

附图说明

图1为本发明方法的流程图；

图2为本发明的多层模型训练算法流程图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本发明公开的一种基于声光联动的采砂船自动识别方法的过程如下：

步骤1：训练采砂船标定特征图像，建立训练集；

在输入图像进行检测前，需要有完整的采砂船热源图像模型，对该模型的训练是在标定特征图像的基础上，对多个图像，通过图像切割，并对不同切割块的图像，建立不同的训练集，利用由VGG16-FPN-RPN-RCNN构成的多层神经网络进行训练，检测，矫正，形成可供比对的基础模型，其过程如附图2，具体描述如下：

步骤101：人工输入目标特征标定框，特征标定框至少标定采砂船的船体、发动机热源位置、多个发动机位置、形成多个包含图像、目标框的训练集；

步骤102：将输入训练集图像进行二值化，形成灰度图；

步骤103：利用FAST算法提取角点算子、利用DoG算法提取斑点算子，利用EBR、IBR等算法提取区域检测算子；

步骤104：利用VGG16卷积算法，建立RGB三个通道的13个卷积层和3个图像连接层；

步骤105：基于VGG16的卷积层，提取目标特征，建立目标金字塔FPN和图像金字塔RPN，连接顶层特征目标和底层特征目标，建立TOP-DOWN和bottom-UP的双向金字塔层级连接关系，建立高效计算网络RCNN；

步骤106：对多张图像迭代步骤101至步骤105，训练图像，形成训练结果集。

步骤2：在岸边布设两个或多个水听器监测点，通过多个水听器返回的采砂船工作报警参数，利用叠加分析算法，判定检测区域，提取定位摄像头到目标监控区域。具体流程如下：

步骤201：按水听器有效监听范围，选择距离监听区域一定距离，在水听器有效范围内的江河岸边布设多个水听器，并以两个水听器为一组，两个水听器之间的监听范围保持不低于30%的重叠率，利用水听器布设位置坐标P1（X,Y）,P2(X,Y)、监听范围，设定缓冲区B1,B2。

步骤202：接收缓冲区B1，B2水听器提供的采砂船采砂报警音频信号，当水听器接收采砂船采砂声纹报警时，记录水听器信号来源分别对应为S1，S2；

步骤203：对缓冲区B1，B2公共区域采砂声纹信号监测，进行集合运算，得出检测区域B3，集合运算公式如下：

。

步骤3：摄像头采集热红外图像，接收红外摄像机提供的红外图像，提取图像中船舶的红外特征，包括提取角点检测算子、斑点检测算子、区域检测算子；具体步骤如下：

步骤301：利用投影变换算法对红外图像进行图像几何矫正、利用直方图均衡化算法对图像灰度值进行矫正，使之符合算子提取前，建立统一计算框架的要求；

步骤302：利用FFT、小波变换对图像进行降噪处理；

FFT变化公式如下：

其中，X为离散的声音信号，W为声波的周期相位，k为周期序列，N为采样周期数。

小波变换公式如下：

其中，

为小波函数，j,k为矩阵行列，x为矩阵值，k为基数。

步骤303：利用FAST算法提取角点算子、利用DoG算法提取斑点算子，利用EBR、IBR等算法提取区域检测算子。

其中，利用FAST算法可以提取出采砂船船体轮廓特征角点、船体发动机轮廓特征角点FAST算法步骤如下：

1）对固定半径圆上的像素进行分割测试，通过逻辑测试可以去处大量的非特征候选点；

2）基于分类的角点特征检测，利用ID3 分类器根据16个特征判决候选点是否为角点特征，每个特征的状态为-1，0，1。

3）利用非极大值抑制进行角点特征的验证。

利用DoG算法，可以突出检测出热源位置斑点，DoG算法如下：

其中，x，y为图斑位置，σ为图斑信号值标准差。

利用EBR、IBR算法，可以将切割后的训练集进行拼接，从而形成包括目标轮廓、纹理在内的目标完整特征。

步骤4：基于多层神经卷积网络(CNN)和YOLO算法模型，从前期训练好的图像模型中，提取、检测船舶热源特征，根据已提取的红外特征与训练集数据进行匹配，计算特征符合度。

目标匹配检测过程，包括图像识别、目标定位、行为特征检测三个方面。包括以下步骤：

步骤401：对提取完算子特征的图像，利用BackBone推理策略，对检测抓拍静态船图像与训练结果集的匹配程度，并提供不低于50%匹配率的高符合度的提取结果。

步骤402：对于符合预期的图像，提取图像区块的纹理特征，形成Mosaic对比基准，并在后续视频帧中予以对比，将纹理特征符合的目标合并为同一目标的多次运动。

步骤403：提取目标在图像中的图像坐标，即像平面坐标P0。

步骤404：基于视频监测点预先设定好的坐标参数，利用空间坐标变换函数，进行像空间、物空间、焦平面的三维空间变换，设目标物空间坐标为P（X,Y,Z），监测点空间坐标为P1(X,Y,Z)，图像的像平面坐标为P0(X,Y)，像平面至监测点空间变换参数为T0，监测点至物空间变换参数为T1,则变换公式如下：

；

。

步骤5：持续观测目标，迭代步骤3、步骤4，计算多时点下的目标行为特征，连续记录目标坐标，形成目标行动轨迹，根据目标航速、航程判断目标是否为误判目标，如果是误判，则剔除目标，否则，将目标列入采砂船，并输出报警信号、报警位置、记录船舶特征。例如监测出船舶具有采砂船热源特征，但船舶持续高速行驶，便可判定图像判断不准确，属于误报。如果通过行为轨迹判断出船舶在低速行驶或者静止，则可确定目标为疑似采砂船。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (5)

1.一种基于声光联动的采砂船自动识别方法，其特征在于，包括以下步骤：

步骤1：训练采砂船标定特征图像，建立训练集；

步骤2：接收水听器提供的水声特征报警数据和水听器阵列数据，判定检测区域；

步骤3：接收红外摄像机提供的红外图像，提取图像中船舶的红外特征；

步骤4：根据已提取的红外特征与训练集数据进行匹配，计算特征符合度；

步骤5：持续观测目标，迭代步骤3、步骤4，计算多时点下的目标行为特征，根据目标航速、航程判断目标是否为误判目标，如果是，则剔除目标，否则，将目标列入采砂船，并输出报警信号、报警位置、记录船舶特征。

2.根据权利要求1所述的基于声光联动的采砂船自动识别方法，其特征在于，所述步骤1利用由VGG16-FPN-RPN-RCNN构成的多层神经网络进行训练，检测，矫正，形成可供比对的训练集，训练集建立算法步骤包括：

步骤101：输入目标特征标定框，形成包括图像和目标特征库在内的训练集；

步骤102：将输入图像进行二值化，形成灰度图；

步骤103：利用FAST算法提取角点算子、利用DoG算法提取斑点算子，利用EBR、IBR算法提取区域检测算子；

步骤104：利用VGG16卷积算法，建立RGB三个通道的13个卷积层和3个图像连接层；

步骤105：基于VGG16的卷积层，提取目标特征，建立目标金字塔FPN和图像金字塔RPN，连接顶层特征目标和底层特征目标，建立TOP-DOWN和bottom-UP的双向金字塔层级连接关系，建立高效计算网络RCNN；

步骤106：对多张图像迭代步骤101至步骤105，训练图像，形成训练结果集。

3.根据权利要求1所述的基于声光联动的采砂船自动识别方法，其特征在于，所述步骤2判定检测区域的步骤包括：

步骤201：获取一对水听器位置坐标P1（X,Y），P2(X,Y)，根据一对水听器位置坐标和监听范围设定缓冲区B1，B2；

步骤202：接收缓冲区B1，B2水听器提供的采砂船采砂报警音频信号，当水听器接收采砂船采砂声纹报警时，记录水听器信号来源分别对应为S1，S2；

步骤203：对缓冲区B1，B2公共区域采砂声纹信号监测，进行集合运算，得出检测区域B3，集合运算公式如下：

。

4.根据权利要求1所述的基于声光联动的采砂船自动识别方法，其特征在于，所述步骤3提取图像中船舶的红外特征的步骤包括：

步骤301：利用投影变换算法对红外图像进行图像几何矫正、利用直方图均衡化算法对图像灰度值进行矫正，使之符合算子提取前，建立统一计算框架的要求；

步骤302：利用FFT、小波变换对图像进行降噪处理；

步骤303：利用FAST算法提取角点算子、利用DoG算法提取斑点算子，利用EBR、IBR算法提取区域检测算子。

5.根据权利要求1所述的基于声光联动的采砂船自动识别方法，其特征在于所述步骤4根据已提取的红外特征与训练集数据进行匹配，步骤4包括：

步骤401：对提取完红外特征的图像，利用BackBone推理策略，检测目标图像和训练结果集的匹配程度，并提供高符合度的提取结果；

步骤402：对于符合预期的图像，提取图像区块的纹理特征，形成Mosaic对比基准，并在视频帧中予以对比，将纹理特征符合的目标合并为同一目标的多次运动；

步骤403：提取目标在图像中的图像坐标，即像平面坐标P0；

步骤404：基于视频监测点预先设定好的坐标参数，利用空间坐标变换函数，进行像空间、物空间、焦平面的三维空间变换，设目标物空间坐标为P，监测点空间坐标为P1，图像的像平面坐标为P0，像平面至监测点空间变换参数为T0，监测点至物空间变换参数为T1,则变换公式如下：

；

。

Images