CN115187936A - 一种海上平台防登临监控系统及方法 - Google Patents

一种海上平台防登临监控系统及方法 Download PDF

Info

Publication number
CN115187936A
CN115187936A CN202211109667.6A CN202211109667A CN115187936A CN 115187936 A CN115187936 A CN 115187936A CN 202211109667 A CN202211109667 A CN 202211109667A CN 115187936 A CN115187936 A CN 115187936A
Authority
CN
China
Prior art keywords
ship
marine
grade
region
platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211109667.6A
Other languages
English (en)
Other versions
CN115187936B (zh
Inventor
杜赟
袁漫琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Taiyue Technology Co ltd
Original Assignee
Guangzhou Taiyue Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Taiyue Technology Co ltd filed Critical Guangzhou Taiyue Technology Co ltd
Priority to CN202211109667.6A priority Critical patent/CN115187936B/zh
Publication of CN115187936A publication Critical patent/CN115187936A/zh
Application granted granted Critical
Publication of CN115187936B publication Critical patent/CN115187936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/91—Radar or analogous systems specially adapted for specific applications for traffic control
    • G01S13/917—Radar or analogous systems specially adapted for specific applications for traffic control for marine craft or other waterborne vessels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G3/00—Traffic control systems for marine craft
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Molecular Biology (AREA)
  • Electromagnetism (AREA)
  • Mathematical Physics (AREA)
  • Ocean & Marine Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种海上平台防登临监控系统，结合平台AIS设备、红外热成像仪和雷达ARPA对距离平台15m~500m的目标区域内的海上船舶进行检测以得到目标区域内的海上船舶的精确位置，然后利用高清可视摄像头进行拍摄以进行船脸识别，结合预设的预先训练好的船舶分类识别模型和预存的白名单船舶图像数据库和黑名单船舶图像数据库，对海上船舶的类型（包括工作作业船舶和非工作作业船舶）和等级进行识别与区分，从而将监测的海上船舶判定威胁级别、可疑级别和安全级别三个级别，并通过高清可视摄像头对等级为威胁级别和可疑级别的海上船舶进行实时跟踪，当威胁级别的海上船舶距离平台的实时距离等于预警距离时发出警报以驱逐。

Description

一种海上平台防登临监控系统及方法
技术领域
本发明涉及计算机视觉分类与图像处理技术领域，尤其涉及一种海上平台防登临监控系统及方法。
背景技术
目前随着人类对海洋的掌握和逐渐开发利用，海洋对于人类整体的重要性愈发增强。而利用海洋的重要前提之一就是对海洋进行监测和管控，而在对海洋监测时最重要的任务就是对在海上航行的船舶进行监测。
目前周边海面安防监测常规应用雷达技术，但雷达系统受船只数量、海况影响较大，雨雪雾天气难以监测，存在很大的海面近区盲区。另外现有的周边海面安防监测也没有自动识别工作船舶与其他渔船的功能，没有自动驱离功能。
发明内容
本发明的目的在于提供一种海上平台防登临监控系统及方法，其能够有效解决现有技术中所存在的上述技术问题。
为了实现上述目的，本发明的一实施例提供了一种海上平台防登临监控系统，包括平台AIS设备、雷达ARPA、至少一个监控点、控制中心、数据处理中心以及报警驱离装置；
所述平台AIS设备用于接收距离平台15m~500m的海上船舶的船载AIS设备的AIS信息，所述AIS信息包括船舶识别码、船舶类型、船舶位置、航行方向和航行速度；
所述数据处理中心用于根据所述AIS信息和预设的白名单、黑名单进行如下处理：首先根据所述船舶类型将船舶类型为非设定的工作作业船舶的海上船舶的等级判定为威胁级别；然后将船舶类型为设定的工作作业船舶的海上船舶的船舶识别码与预设的白名单、黑名单进行比对，将属于所述白名单内的船舶识别码所对应的海上船舶的等级判定为安全级别，并将属于所述黑名单内的船舶识别码所对应的海上船舶的等级判定为威胁级别，以及将不属于白名单和黑名单内的船舶识别码所对应的海上船舶的等级判定为可疑级别；
所述雷达ARPA用于获取距离平台15m~500m的目标区域内的没有AIS信息的海上船舶的基本位置，所述数据处理中心用于并将没有AIS信息的海上船舶的等级判定为待定级别；
所述监控点包括设置在不同位置上的红外热成像仪，所述红外热成像仪用于获取距离平台15m~500m的目标区域内的海上船舶的红外图像；所述数据处理中心进一步用于对所述红外图像进行处理，并结合所述平台AIS设备获得的船舶位置以及所述雷达ARPA获得的海上船舶的基本位置得到目标区域内的海上船舶的精确位置；
所述监控点进一步包括设置在不同位置上的多个高清可视摄像头，所述控制中心根据经过所述数据处理中心判定的等级为待定级别的海上船舶的位置，控制相应位置上的多个高清可视摄像头工作，从而获得等级为待定级别的海上船舶的高清图像；所述数据处理中心进一步用于对所述红外图像进行处理，将处理后的高清图像输入到预先训练好的船舶分类识别模型中以确定海上船舶的类型，将类型确定为非设定的工作作业船舶的海上船舶的等级判定为威胁级别，并将类型确定为设定的工作作业船舶的海上船舶的高清图像进一步输入到预存的白名单船舶图像数据库和黑名单船舶图像数据库进行图像匹配以确定海上船舶是否属于白名单或黑名单，将属于白名单内的海上船舶的等级判定为安全级别，将属于所述黑名单内的海上船舶的等级判定为威胁级别，以及将不属于白名单和黑名单内的海上船舶的等级判定为可疑级别；
所述控制中心根据经过所述数据处理中心判定的等级为威胁级别和可疑级别的海上船舶的位置，控制相应位置上的高清可视摄像头对等级为威胁级别和可疑级别的海上船舶进行实时跟踪并获取高清图像；所述数据处理中心进一步用于对所述高清图像进行处理，并将处理后的威胁级别的海上船舶所对应的高清图像输入到预先训练好的船舶分割模型中以确定海上船舶的边界，从而得到威胁级别的海上船舶距离平台的实时距离；
所述控制中心进一步用于在所述数据处理中心得到的威胁级别的海上船舶距离平台的实时距离等于预警距离时，控制所述报警驱离装置发出警报。
作为上述方案的改进，所述预先训练好的船舶分类识别模型的训练过程如下：
构建ResNet网络模型；
获取训练样本，所述训练样本包括海上船舶的类型及各种类型所对应的船舶图像；
基于所述训练样本，对构建的ResNet网络模型进行训练；其中，在每一次训练过程中，获取训练样本中的多个船舶特征，基于所述船舶特征进行卷积操作，得到初始特征图，然后对所述初始特征图进行压缩操作，得到压缩后的特征图，并对所述压缩后的特征图进行激励操作，生成所述多个船舶特征中各船舶特征的权重，其中，不同的船舶特征对应不同的权重；
基于所述多个船舶特征和各船舶特征的权重，确定该训练样本的分类结果；
基于该分类结果和该训练样本中的船舶类型，对ResNet网络模型的参数进行优化，并重新训练，直至训练结果与该训练样本中的船舶类型的相似度达到设定相似度，训练好的ResNet网络模型作为所述船舶分类识别模型。
作为上述方案的改进，所述预先训练好的船舶分割模型的训练过程如下：
构建Deeplabv3卷积神经网络；
获取训练样本和对应的语义分割标注；所述训练样本包括各种类型的海上船舶图像；
将训练样本输入到构建的Deeplabv3卷积神经网络，Deeplabv3卷积神经网络以端到端的方式输出与输入图像尺寸一致的预测值；
根据语义分割标注获取对应的语义分割标注边界；
使用获得的语义分割标注边界和圆形填充的卷积核将语义分割标注分离为边界区域和主体区域；
使用分离的边界区域和主体区域结合语义分割标注计算区域的有效像素占比；使用分离的边界区域和主体区域分别结合语义分割标注计算区域的有效像素占比：P=C1/C2；其中，P表示边界区域或主体区域的有效像素占比；C1表示对应区域中有效像素的数目；C2表示图像中像素的总数；
使用区域的有效像素占比结合区域的超参权重计算区域的动态权重，使用标准交叉熵损失结合对应区域的动态权重和Deeplabv3卷积神经网络的预测值计算得到训练样本的最终损失值；
使用梯度下降法更新卷积神经网络的权重至收敛，得到训练完成的Deeplabv3卷积神经网络；将训练完成的Deeplabv3卷积神经网络作为所述船舶分割模型。
作为上述方案的改进，所述使用区域的有效像素占比结合区域的超参权重计算区域的动态权重，使用标准交叉熵损失结合对应区域的动态权重和Deeplabv3卷积神经网络的预测值计算得到训练样本的最终损失值具体如下：
Figure 429179DEST_PATH_IMAGE001
其中，L表示训练图像的最终损失；N表示图像中像素的总数；i表示图像中某个像素；
Figure 175549DEST_PATH_IMAGE002
表示该像素点i上卷积神经网络的预测值，即预测像素i属于语义分割标注中该像素标注类别的概率；
Figure 641165DEST_PATH_IMAGE003
表示对应区域的超参权重；P表示对应区域的有效像素占比，所述对应区域包括表示边界区域或主体区域。
作为上述方案的改进，所述海上平台防登临监控系统还包括显示屏，所述控制中心根据所述数据处理中心判定的海上船舶的等级按照威胁级别、可疑级别和安全级别的顺序通过所述显示屏排列监控跟踪顺序，且同一个等级中根据海上船舶距离平台的实时距离由近到远的顺序排列监控跟踪顺序。
本发明实施例对应提供了一种海上平台防登临监控方法，其适用于如上任一实施例所述的海上平台防登临监控系统，所述海上平台防登临监控方法包括：
通过红外热成像仪获取距离平台15m~500m的目标区域内的海上船舶的红外图像、通过雷达ARPA用于获取距离平台15m~500m的目标区域内的没有AIS信息的海上船舶的基本位置以及通过平台AIS设备接收距离平台15m~500m的海上船舶的船载AIS设备的AIS信息，所述AIS信息包括船舶识别码、船舶类型、船舶位置、航行方向和航行速度；
通过数据处理中心首先根据所述船舶类型将船舶类型为非设定的工作作业船舶的海上船舶的等级判定为威胁级别；然后将船舶类型为设定的工作作业船舶的海上船舶的船舶识别码与预设的白名单、黑名单进行比对，将属于所述白名单内的船舶识别码所对应的海上船舶的等级判定为安全级别，并将属于所述黑名单内的船舶识别码所对应的海上船舶的等级判定为威胁级别，以及将不属于白名单和黑名单内的船舶识别码所对应的海上船舶的等级判定为可疑级别；
通过数据处理中心对所述红外图像进行处理，并结合所述平台AIS设备获得的船舶位置以及所述雷达ARPA获得的海上船舶的基本位置得到目标区域内的海上船舶的精确位置，并将没有AIS信息的海上船舶的等级判定为待定级别；
待定级别通过控制中心根据经过所述数据处理中心判定的等级为待定级别的海上船舶的位置，控制相应位置上的高清可视摄像头工作，从而获得等级为待定级别的海上船舶的高清图像；
通过数据处理中心对所述高清图像进行处理，将处理后的高清图像输入到预先训练好的船舶分类识别模型中以确定海上船舶的类型，将类型确定为非设定的工作作业船舶的海上船舶的等级判定为威胁级别，并将类型确定为设定的工作作业船舶的海上船舶的高清图像进一步输入到预存的白名单船舶图像数据库和黑名单船舶图像数据库进行图像匹配以确定海上船舶是否属于白名单或黑名单，将属于白名单内的海上船舶的等级判定为安全级别，将属于所述黑名单内的海上船舶的等级判定为威胁级别，以及将不属于白名单和黑名单内的海上船舶的等级判定为可疑级别；
通过控制中心根据经过所述数据处理中心判定的等级为威胁级别和可疑级别的海上船舶的位置，控制相应位置上的高清可视摄像头对等级为威胁级别和可疑级别的海上船舶进行实时跟踪并获取高清图像；
通过数据处理中心对所述高清图像进行处理，并将处理后的威胁级别的海上船舶所对应的高清图像输入到预先训练好的船舶分割模型中以确定海上船舶的边界，从而得到威胁级别的海上船舶距离平台的实时距离；
通过控制中心在所述数据处理中心得到的威胁级别的海上船舶距离平台的实时距离等于预警距离时，控制所述报警驱离装置发出警报。
作为上述方案的改进，所述预先训练好的船舶分类识别模型的训练过程如下：
构建ResNet网络模型；
获取训练样本，所述训练样本包括海上船舶的类型及各种类型所对应的船舶图像；
基于所述训练样本，对构建的ResNet网络模型进行训练；其中，在每一次训练过程中，获取训练样本中的多个船舶特征，基于所述船舶特征进行卷积操作，得到初始特征图，然后对所述初始特征图进行压缩操作，得到压缩后的特征图，并对所述压缩后的特征图进行激励操作，生成所述多个船舶特征中各船舶特征的权重，其中，不同的船舶特征对应不同的权重；
基于所述多个船舶特征和各船舶特征的权重，确定该训练样本的分类结果；
基于该分类结果和该训练样本中的船舶类型，对ResNet网络模型的参数进行优化，并重新训练，直至训练结果与该训练样本中的船舶类型的相似度达到设定相似度，训练好的ResNet网络模型作为所述船舶分类识别模型。
作为上述方案的改进，所述预先训练好的船舶分割模型的训练过程如下：
构建Deeplabv3卷积神经网络；
获取训练样本和对应的语义分割标注；所述训练样本包括各种类型的海上船舶图像；
将训练样本输入到构建的Deeplabv3卷积神经网络，Deeplabv3卷积神经网络以端到端的方式输出与输入图像尺寸一致的预测值；
根据语义分割标注获取对应的语义分割标注边界；
使用获得的语义分割标注边界和圆形填充的卷积核将语义分割标注分离为边界区域和主体区域；
使用分离的边界区域和主体区域结合语义分割标注计算区域的有效像素占比；使用分离的边界区域和主体区域分别结合语义分割标注计算区域的有效像素占比：P=C1/C2；其中，P表示边界区域或主体区域的有效像素占比；C1表示对应区域中有效像素的数目；C2表示图像中像素的总数；
使用区域的有效像素占比结合区域的超参权重计算区域的动态权重，使用标准交叉熵损失结合对应区域的动态权重和Deeplabv3卷积神经网络的预测值计算得到训练样本的最终损失值；
使用梯度下降法更新卷积神经网络的权重至收敛，得到训练完成的Deeplabv3卷积神经网络；将训练完成的Deeplabv3卷积神经网络作为所述船舶分割模型。
作为上述方案的改进，所述使用区域的有效像素占比结合区域的超参权重计算区域的动态权重，使用标准交叉熵损失结合对应区域的动态权重和Deeplabv3卷积神经网络的预测值计算得到训练样本的最终损失值具体如下：
Figure 431267DEST_PATH_IMAGE004
其中，L表示训练图像的最终损失；N表示图像中像素的总数；i表示图像中某个像素；表示该像素点i上卷积神经网络的预测值，即预测像素i属于语义分割标注中该像素标注类别的概率；
Figure 467487DEST_PATH_IMAGE005
表示对应区域的超参权重；P表示对应区域的有效像素占比，所述对应区域包括表示边界区域或主体区域。
作为上述方案的改进，所述海上平台防登临监控系统还包括显示屏，所述海上平台防登临监控方法还包括：
根据所述数据处理中心判定的海上船舶的等级按照威胁级别、可疑级别和安全级别的顺序通过所述显示屏排列监控跟踪顺序，且同一个等级中根据海上船舶距离平台的实时距离由近到远的顺序排列监控跟踪顺序。
与现有技术相比，本发明实施例提供的一种海上平台防登临监控系统及方法，结合平台AIS设备、红外热成像仪和雷达ARPA对距离平台15m ~500m的目标区域内的海上船舶自动巡航和检测，从而得到目标区域内的海上船舶的精确位置，然后利用高清可视摄像头进行拍摄以进行船脸识别，结合预设的预先训练好的船舶分类识别模型和预存的白名单船舶图像数据库和黑名单船舶图像数据库，对海上船舶的类型（包括工作作业船舶和非工作作业船舶）和等级进行识别与区分，从而将监测的海上船舶判定威胁级别、可疑级别和安全级别三个级别，并通过高清可视摄像头对等级为威胁级别和可疑级别的海上船舶进行实时跟踪，当威胁级别的海上船舶距离平台的实时距离等于预警距离时发出警报以驱逐。因此本发明实施例提供的一种海上平台防登临监控系统及方法能够自动识别靠近的船舶目标，并自动区分出工作船舶和其他靠近非工作船舶，无需人工干预。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种海上平台防登临监控系统的结构示意图。
图2是本发明实施例提供的一种海上平台防登临监控系统的船舶分类识别模型的训练过程的流程示意图。
图3是本发明实施例提供的一种海上平台防登临监控系统的船舶分割模型的训练过程的流程示意图。
图4是本发明实施例提供的一种海上平台防登临监控方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二“仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接或可以互相通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
参考图1，是本发明实施例提供了一种海上平台防登临监控系统的结构示意图。该实施例提供的海上平台防登临监控系统包括平台AIS设备11、雷达ARPA12、至少一个监控点1、控制中心2、数据处理中心3、报警驱离装置4以及显示屏5。
所述平台AIS设备11用于接收距离平台15m~500m的海上船舶的船载AIS设备的AIS信息，所述AIS信息包括船舶识别码、船舶类型、船舶位置、航行方向和航行速度。
所述数据处理中心3用于根据所述AIS信息和预设的白名单、黑名单进行如下处理：首先根据所述船舶类型将船舶类型为非设定的工作作业船舶的海上船舶的等级判定为威胁级别；然后将船舶类型为设定的工作作业船舶的海上船舶的船舶识别码与预设的白名单、黑名单进行比对，将属于所述白名单内的船舶识别码所对应的海上船舶的等级判定为安全级别，并将属于所述黑名单内的船舶识别码所对应的海上船舶的等级判定为威胁级别，以及将不属于白名单和黑名单内的船舶识别码所对应的海上船舶的等级判定为可疑级别。
所述雷达ARPA12用于获取距离平台15m~500m的目标区域内的没有AIS信息的海上船舶的基本位置，所述数据处理中心3用于并将没有AIS信息的海上船舶的等级判定为待定级别。其中，没有AIS信息的海上船舶是由于AIS关闭、AIS故障或者其他因素影响而导致无法获取AIS信息。
所述监控点1包括设置在不同位置上的红外热成像仪13，所述红外热成像仪13用于获取距离平台15m~500m的目标区域内的海上船舶的红外图像。所述数据处理中心3进一步用于对所述红外图像进行处理，并结合所述平台AIS设备11获得的船舶位置以及所述雷达ARPA12获得的海上船舶的基本位置得到目标区域内的海上船舶的精确位置。
所述监控点1进一步包括设置在不同位置上的多个高清可视摄像头14，所述控制中心2根据经过所述数据处理中心3判定的等级为待定级别的海上船舶的位置，控制相应位置上的高清可视摄像头14工作，从而获得等级为待定级别的海上船舶的高清图像。所述数据处理中心3进一步用于对所述高清图像进行处理，将处理后的高清图像输入到预先训练好的船舶分类识别模型中以确定海上船舶的类型，将类型确定为非设定的工作作业船舶的海上船舶的等级判定为威胁级别，并将类型确定为设定的工作作业船舶的海上船舶的高清图像进一步输入到预存的白名单船舶图像数据库和黑名单船舶图像数据库进行图像匹配以确定海上船舶是否属于白名单或黑名单，将属于白名单内的海上船舶的等级判定为安全级别，将属于所述黑名单内的海上船舶的等级判定为威胁级别，以及将不属于白名单和黑名单内的海上船舶的等级判定为可疑级别。
所述控制中心2根据经过所述数据处理中心3判定的等级为威胁级别和可疑级别的海上船舶的位置，控制相应位置上的高清可视摄像头14对等级为威胁级别和可疑级别的海上船舶进行实时跟踪并获取高清图像。所述数据处理中心3进一步用于对所述高清图像进行处理，并将处理后的威胁级别的海上船舶所对应的高清图像输入到预先训练好的船舶分割模型中以确定海上船舶的边界，从而得到威胁级别的海上船舶距离平台的实时距离。
所述控制中心2进一步用于在所述数据处理中心3得到的威胁级别的海上船舶距离平台的实时距离等于预警距离时，控制所述报警驱离装置4发出警报。
所述控制中心2还根据所述数据处理中心3判定的海上船舶的等级按照威胁级别、可疑级别和安全级别的顺序通过所述显示屏5排列监控跟踪顺序，且同一个等级中根据海上船舶距离平台的实时距离由近到远的顺序排列监控跟踪顺序。
可以理解的，在本实施例中，每一所述监控点1可以预先设在在不同的位置上，每一所述监控点1可以包括红外热成像仪13和高清可视摄像头14中的至少一个。
其中，所述报警驱离装置4包括警告灯、区域喇叭和定向探照灯等设备。
可以理解的，在本实施例中，可以预先设定工作作业船舶所包括的具体类型，例如，运输船舶（包括客船和货船）、工程船舶（包括运泥船、救助打捞船等）、工作船舶（包括拖船、引航船、消防船等）、海洋开发船舶、采油船、守护船等。那么，预先设定的工作作业船舶外的其他船舶（即非设定的工作作业船舶）均作为非工作作业船舶，例如渔船等。
进一步的，本实施例提供的白名单、黑名单中预先保存有对应的船舶的船舶识别码（船舶全球的唯一编码MMSI码），通过实时获取的海上船舶的AIS信息中的船舶识别码与白名单、黑名单中的船舶识别码进行比对，即可确定对应的海上船舶是否属于白名单、黑名单中的相应的船舶。
同样的，本实施例提供的白名单船舶图像数据库和黑名单船舶图像数据库预先保存有对应的船舶参照图像，通过实时获取的海上船舶的图像与白名单船舶图像数据库和黑名单船舶图像数据库预先保存有对应的船舶参照图像进行图像匹配，即可确定对应的海上船舶是否属于白名单、黑名单中的相应的船舶。
如图2所示，所述预先训练好的船舶分类识别模型的训练过程包括如下步骤：
S21、构建ResNet网络模型；
可以理解的，该ResNet网络模型可以采用现有结构的ResNet网络模型，其结构组成部分为本领域技术人员所熟悉，在此省略描述。
S22、获取训练样本，所述训练样本包括海上船舶的类型及各种类型所对应的船舶图像；
S23、基于所述训练样本，对构建的ResNet网络模型进行训练；其中，在每一次训练过程中，获取训练样本中的多个船舶特征，基于所述船舶特征进行卷积操作，得到初始特征图，然后对所述初始特征图进行压缩操作，得到压缩后的特征图，并对所述压缩后的特征图进行激励操作，生成所述多个船舶特征中各船舶特征的权重，其中，不同的船舶特征对应不同的权重；
S24、基于所述多个船舶特征和各船舶特征的权重，确定该训练样本的分类结果；
S25、基于该分类结果和该训练样本中的船舶类型，对ResNet网络模型的参数进行优化，并重新训练，直至训练结果与该训练样本中的船舶类型的相似度达到设定相似度，训练好的ResNet网络模型作为所述船舶分类识别模型。
如图3所示，所述预先训练好的船舶分割模型的训练过程包括如下步骤：
S31、构建Deeplabv3卷积神经网络；
可以理解的，该Deeplabv3卷积神经网络可以采用现有结构的Deeplabv3卷积神经网络，其结构组成部分为本领域技术人员所熟悉，在此省略描述。
S32、获取训练样本和对应的语义分割标注；所述训练样本包括各种类型的海上船舶图像；
S33、将训练样本输入到构建的Deeplabv3卷积神经网络，Deeplabv3卷积神经网络以端到端的方式输出与输入图像尺寸一致的预测值；
S34、根据语义分割标注获取对应的语义分割标注边界；
S35、使用获得的语义分割标注边界和圆形填充的卷积核将语义分割标注分离为边界区域和主体区域；
S36、使用分离的边界区域和主体区域结合语义分割标注计算区域的有效像素占比；使用分离的边界区域和主体区域分别结合语义分割标注计算区域的有效像素占比：P=C1/C2；其中，P表示边界区域或主体区域的有效像素占比；C1表示对应区域中有效像素的数目；C2表示图像中像素的总数；
S37、使用区域的有效像素占比结合区域的超参权重计算区域的动态权重，使用标准交叉熵损失结合对应区域的动态权重和Deeplabv3卷积神经网络的预测值计算得到训练样本的最终损失值；
S38、使用梯度下降法更新卷积神经网络的权重至收敛，得到训练完成的Deeplabv3卷积神经网络；将训练完成的Deeplabv3卷积神经网络作为所述船舶分割模型。
其中，在步骤S37中，使用区域的有效像素占比结合区域的超参权重计算区域的动态权重，使用标准交叉熵损失结合对应区域的动态权重和Deeplabv3卷积神经网络的预测值计算得到训练样本的最终损失值具体如下：
Figure 1237DEST_PATH_IMAGE006
其中，L表示训练图像的最终损失；N表示图像中像素的总数；i表示图像中某个像素；
Figure 586939DEST_PATH_IMAGE007
表示该像素点i上卷积神经网络的预测值，即预测像素i属于语义分割标注中该像素标注类别的概率；
Figure 298674DEST_PATH_IMAGE008
表示对应区域的超参权重；P表示对应区域的有效像素占比，所述对应区域包括表示边界区域或主体区域。
参考图4，本发明实施例对应提供了一种海上平台防登临监控方法，其适用于如上任一实施例所述的海上平台防登临监控系统，所述海上平台防登临监控方法包括步骤：
S401、通过红外热成像仪获取距离平台15m~500m的目标区域内的海上船舶的红外图像、通过雷达ARPA用于获取距离平台15m~500m的目标区域内的没有AIS信息的海上船舶的基本位置以及通过平台AIS设备接收距离平台15m~500m的海上船舶的船载AIS设备的AIS信息，所述AIS信息包括船舶识别码、船舶类型、船舶位置、航行方向和航行速度；
S402、通过数据处理中心首先根据所述船舶类型将船舶类型为非设定的工作作业船舶的海上船舶的等级判定为威胁级别；然后将船舶类型为设定的工作作业船舶的海上船舶的船舶识别码与预设的白名单、黑名单进行比对，将属于所述白名单内的船舶识别码所对应的海上船舶的等级判定为安全级别，并将属于所述黑名单内的船舶识别码所对应的海上船舶的等级判定为威胁级别，以及将不属于白名单和黑名单内的船舶识别码所对应的海上船舶的等级判定为可疑级别；
S403、通过数据处理中心对所述红外图像进行处理，并结合所述平台AIS设备获得的船舶位置以及所述雷达ARPA获得的海上船舶的基本位置得到目标区域内的海上船舶的精确位置，并将没有AIS信息的海上船舶的等级判定为待定级别；
S404、通过控制中心根据经过所述数据处理中心判定的等级为待定级别的海上船舶的位置，控制相应位置上的高清可视摄像头工作，从而获得等级为待定级别的海上船舶的高清图像；
S405、通过数据处理中心对所述高清图像进行处理，将处理后的高清图像输入到预先训练好的船舶分类识别模型中以确定海上船舶的类型，将类型确定为非设定的工作作业船舶的海上船舶的等级判定为威胁级别，并将类型确定为设定的工作作业船舶的海上船舶的高清图像进一步输入到预存的白名单船舶图像数据库和黑名单船舶图像数据库进行图像匹配以确定海上船舶是否属于白名单或黑名单，将属于白名单内的海上船舶的等级判定为安全级别，将属于所述黑名单内的海上船舶的等级判定为威胁级别，以及将不属于白名单和黑名单内的海上船舶的等级判定为可疑级别；
S406、通过控制中心根据经过所述数据处理中心判定的等级为威胁级别和可疑级别的海上船舶的位置，控制相应位置上的高清可视摄像头对等级为威胁级别和可疑级别的海上船舶进行实时跟踪并获取高清图像；
S407、通过数据处理中心对所述高清图像进行处理，并将处理后的威胁级别的海上船舶所对应的高清图像输入到预先训练好的船舶分割模型中以确定海上船舶的边界，从而得到威胁级别的海上船舶距离平台的实时距离；
S408、通过控制中心在所述数据处理中心得到的威胁级别的海上船舶距离平台的实时距离等于预警距离时，控制所述报警驱离装置发出警报。
其中，所述预先训练好的船舶分类识别模型的训练过程如下：
构建ResNet网络模型；
获取训练样本，所述训练样本包括海上船舶的类型及各种类型所对应的船舶图像；
基于所述训练样本，对构建的ResNet网络模型进行训练；其中，在每一次训练过程中，获取训练样本中的多个船舶特征，基于所述船舶特征进行卷积操作，得到初始特征图，然后对所述初始特征图进行压缩操作，得到压缩后的特征图，并对所述压缩后的特征图进行激励操作，生成所述多个船舶特征中各船舶特征的权重，其中，不同的船舶特征对应不同的权重；
基于所述多个船舶特征和各船舶特征的权重，确定该训练样本的分类结果；
基于该分类结果和该训练样本中的船舶类型，对ResNet网络模型的参数进行优化，并重新训练，直至训练结果与该训练样本中的船舶类型的相似度达到设定相似度，训练好的ResNet网络模型作为所述船舶分类识别模型。
进一步的，所述预先训练好的船舶分割模型的训练过程如下：
构建Deeplabv3卷积神经网络；
获取训练样本和对应的语义分割标注；所述训练图像包括各种类型的海上船舶图像；
将训练样本输入到构建的Deeplabv3卷积神经网络，Deeplabv3卷积神经网络以端到端的方式输出与输入图像尺寸一致的预测值；
根据语义分割标注获取对应的语义分割标注边界；
使用获得的语义分割标注边界和圆形填充的卷积核将语义分割标注分离为边界区域和主体区域；
使用分离的边界区域和主体区域结合语义分割标注计算区域的有效像素占比；使用分离的边界区域和主体区域分别结合语义分割标注计算区域的有效像素占比：P=C1/C2；其中，P表示边界区域或主体区域的有效像素占比；C1表示对应区域中有效像素的数目；C2表示图像中像素的总数；
使用区域的有效像素占比结合区域的超参权重计算区域的动态权重，使用标准交叉熵损失结合对应区域的动态权重和Deeplabv3卷积神经网络的预测值计算得到训练样本的最终损失值；
使用梯度下降法更新卷积神经网络的权重至收敛，得到训练完成的Deeplabv3卷积神经网络；将训练完成的Deeplabv3卷积神经网络作为所述船舶分割模型。
作为上述方案的改进，所述使用区域的有效像素占比结合区域的超参权重计算区域的动态权重，使用标准交叉熵损失结合对应区域的动态权重和Deeplabv3卷积神经网络的预测值计算得到训练样本的最终损失值具体如下：
Figure 337037DEST_PATH_IMAGE009
其中，L表示训练图像的最终损失；N表示图像中像素的总数；i表示图像中某个像素；
Figure 408898DEST_PATH_IMAGE010
表示该像素点i上卷积神经网络的预测值，即预测像素i属于语义分割标注中该像素标注类别的概率；
Figure 591050DEST_PATH_IMAGE011
表示对应区域的超参权重；P表示对应区域的有效像素占比，所述对应区域包括表示边界区域或主体区域。
作为上述方案的改进，所述海上平台防登临监控方法还包括：
根据所述数据处理中心判定的海上船舶的等级按照威胁级别、可疑级别和安全级别的顺序通过所述显示屏排列监控跟踪顺序，且同一个等级中根据海上船舶距离平台的实时距离由近到远的顺序排列监控跟踪顺序。
综上，本发明实施例提供的一种海上平台防登临监控系统及方法，结合平台AIS设备、红外热成像仪和雷达ARPA对距离平台15m ~500m的目标区域内的海上船舶自动巡航和检测，从而得到目标区域内的海上船舶的精确位置，然后利用高清可视摄像头进行拍摄以进行船脸识别，结合预设的预先训练好的船舶分类识别模型和预存的白名单船舶图像数据库和黑名单船舶图像数据库，对海上船舶的类型（包括工作作业船舶和非工作作业船舶）和等级进行识别与区分，从而将监测的海上船舶判定威胁级别、可疑级别和安全级别三个级别，并通过高清可视摄像头对等级为威胁级别和可疑级别的海上船舶进行实时跟踪，当威胁级别的海上船舶距离平台的实时距离等于预警距离时发出警报以驱逐。因此本发明实施例提供的一种海上平台防登临监控系统及方法能够自动识别靠近的船舶目标，并自动区分出工作船舶和其他靠近非工作船舶，无需人工干预。
以上所揭露的仅为本发明一些较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (10)

1.一种海上平台防登临监控系统，其特征在于，包括平台AIS设备、雷达ARPA、至少一个监控点、控制中心、数据处理中心以及报警驱离装置；
所述平台AIS设备用于接收距离平台15m~500m的海上船舶的船载AIS设备的AIS信息，所述AIS信息包括船舶识别码、船舶类型、船舶位置、航行方向和航行速度；
所述数据处理中心用于根据所述AIS信息和预设的白名单、黑名单进行如下处理：首先根据所述船舶类型将船舶类型为非设定的工作作业船舶的海上船舶的等级判定为威胁级别；然后将船舶类型为设定的工作作业船舶的海上船舶的船舶识别码与预设的白名单、黑名单进行比对，将属于所述白名单内的船舶识别码所对应的海上船舶的等级判定为安全级别，并将属于所述黑名单内的船舶识别码所对应的海上船舶的等级判定为威胁级别，以及将不属于白名单和黑名单内的船舶识别码所对应的海上船舶的等级判定为可疑级别；
所述雷达ARPA用于获取距离平台15m~500m的目标区域内的没有AIS信息的海上船舶的基本位置，所述数据处理中心用于并将没有AIS信息的海上船舶的等级判定为待定级别；
所述监控点包括设置在不同位置上的红外热成像仪，所述红外热成像仪用于获取距离平台15m~500m的目标区域内的海上船舶的红外图像；所述数据处理中心进一步用于对所述红外图像进行处理，并结合所述平台AIS设备获得的船舶位置以及所述雷达ARPA获得的海上船舶的基本位置得到目标区域内的海上船舶的精确位置；
所述监控点进一步包括设置在不同位置上的多个高清可视摄像头，所述控制中心根据经过所述数据处理中心判定的等级为待定级别的海上船舶的位置，控制相应位置上的高清可视摄像头工作，从而获得等级为待定级别的海上船舶的高清图像；所述数据处理中心进一步用于对所述高清图像进行处理，将处理后的高清图像输入到预先训练好的船舶分类识别模型中以确定海上船舶的类型，将类型确定为非设定的工作作业船舶的海上船舶的等级判定为威胁级别，并将类型确定为设定的工作作业船舶的海上船舶的高清图像进一步输入到预存的白名单船舶图像数据库和黑名单船舶图像数据库进行图像匹配以确定海上船舶是否属于白名单或黑名单，将属于白名单内的海上船舶的等级判定为安全级别，将属于所述黑名单内的海上船舶的等级判定为威胁级别，以及将不属于白名单和黑名单内的海上船舶的等级判定为可疑级别；
所述控制中心根据经过所述数据处理中心判定的等级为威胁级别和可疑级别的海上船舶的位置，控制相应位置上的高清可视摄像头对等级为威胁级别和可疑级别的海上船舶进行实时跟踪并获取高清图像；所述数据处理中心进一步用于对所述高清图像进行处理，并将处理后的威胁级别的海上船舶所对应的高清图像输入到预先训练好的船舶分割模型中以确定海上船舶的边界，从而得到威胁级别的海上船舶距离平台的实时距离；
所述控制中心进一步用于在所述数据处理中心得到的威胁级别的海上船舶距离平台的实时距离等于预警距离时，控制所述报警驱离装置发出警报以驱离。
2.根据权利要求1所述的海上平台防登临监控系统，其特征在于，所述预先训练好的船舶分类识别模型的训练过程如下：
构建ResNet网络模型；
获取训练样本，所述训练样本包括海上船舶的类型及各种类型所对应的船舶图像；
基于所述训练样本，对构建的ResNet网络模型进行训练；其中，在每一次训练过程中，获取训练样本中的多个船舶特征，基于所述船舶特征进行卷积操作，得到初始特征图，然后对所述初始特征图进行压缩操作，得到压缩后的特征图，并对所述压缩后的特征图进行激励操作，生成所述多个船舶特征中各船舶特征的权重，其中，不同的船舶特征对应不同的权重；
基于所述多个船舶特征和各船舶特征的权重，确定该训练样本的分类结果；
基于该分类结果和该训练样本中的船舶类型，对ResNet网络模型的参数进行优化，并重新训练，直至训练结果与该训练样本中的船舶类型的相似度达到设定相似度，训练好的ResNet网络模型作为所述船舶分类识别模型。
3.根据权利要求1所述的海上平台防登临监控系统，其特征在于，所述预先训练好的船舶分割模型的训练过程如下：
构建Deeplabv3卷积神经网络；
获取训练样本和对应的语义分割标注；所述训练样本包括各种类型的海上船舶图像；
将训练样本输入到构建的Deeplabv3卷积神经网络，Deeplabv3卷积神经网络以端到端的方式输出与输入图像尺寸一致的预测值；
根据语义分割标注获取对应的语义分割标注边界；
使用获得的语义分割标注边界和圆形填充的卷积核将语义分割标注分离为边界区域和主体区域；
使用分离的边界区域和主体区域结合语义分割标注计算区域的有效像素占比；使用分离的边界区域和主体区域分别结合语义分割标注计算区域的有效像素占比：P=C1/C2；其中，P表示边界区域或主体区域的有效像素占比；C1表示对应区域中有效像素的数目；C2表示图像中像素的总数；
使用区域的有效像素占比结合区域的超参权重计算区域的动态权重，使用标准交叉熵损失结合对应区域的动态权重和Deeplabv3卷积神经网络的预测值计算得到训练样本的最终损失值；
使用梯度下降法更新卷积神经网络的权重至收敛，得到训练完成的Deeplabv3卷积神经网络；将训练完成的Deeplabv3卷积神经网络作为所述船舶分割模型。
4.根据权利要求3所述的海上平台防登临监控系统，其特征在于，所述使用区域的有效像素占比结合区域的超参权重计算区域的动态权重，使用标准交叉熵损失结合对应区域的动态权重和Deeplabv3卷积神经网络的预测值计算得到训练样本的最终损失值具体如下：
Figure 658474DEST_PATH_IMAGE001
其中，L表示训练图像的最终损失；N表示图像中像素的总数；i表示图像中某个像素；表示该像素点i上卷积神经网络的预测值，
Figure 778877DEST_PATH_IMAGE002
即预测像素i属于语义分割标注中该像素标注类别的概率；
Figure 761876DEST_PATH_IMAGE003
表示对应区域的超参权重；P表示对应区域的有效像素占比，所述对应区域包括表示边界区域或主体区域。
5.根据权利要求1所述的海上平台防登临监控系统，其特征在于，所述海上平台防登临监控系统还包括显示屏，所述控制中心根据所述数据处理中心判定的海上船舶的等级按照威胁级别、可疑级别和安全级别的顺序通过所述显示屏排列监控跟踪顺序，且同一个等级中根据海上船舶距离平台的实时距离由近到远的顺序排列监控跟踪顺序。
6.一种海上平台防登临监控方法，其特征在于，适用于如权利要求1~5任一项所述的海上平台防登临监控系统，所述海上平台防登临监控方法包括：
通过红外热成像仪获取距离平台15m~500m的目标区域内的海上船舶的红外图像、通过雷达ARPA用于获取距离平台15m~500m的目标区域内的没有AIS信息的海上船舶的基本位置以及通过平台AIS设备接收距离平台15m~500m的海上船舶的船载AIS设备的AIS信息，所述AIS信息包括船舶识别码、船舶类型、船舶位置、航行方向和航行速度；
通过数据处理中心首先根据所述船舶类型将船舶类型为非设定的工作作业船舶的海上船舶的等级判定为威胁级别；然后将船舶类型为设定的工作作业船舶的海上船舶的船舶识别码与预设的白名单、黑名单进行比对，将属于所述白名单内的船舶识别码所对应的海上船舶的等级判定为安全级别，并将属于所述黑名单内的船舶识别码所对应的海上船舶的等级判定为威胁级别，以及将不属于白名单和黑名单内的船舶识别码所对应的海上船舶的等级判定为可疑级别；
通过数据处理中心对所述红外图像进行处理，并结合所述平台AIS设备获得的船舶位置以及所述雷达ARPA获得的海上船舶的基本位置得到目标区域内的海上船舶的精确位置，并将没有AIS信息的海上船舶的等级判定为待定级别；
通过控制中心根据经过所述数据处理中心判定的等级为待定级别的海上船舶的位置，控制相应位置上的高清可视摄像头工作，从而获得等级为待定级别的海上船舶的高清图像；
通过数据处理中心对所述高清图像进行处理，将处理后的高清图像输入到预先训练好的船舶分类识别模型中以确定海上船舶的类型，将类型确定为非设定的工作作业船舶的海上船舶的等级判定为威胁级别，并将类型确定为设定的工作作业船舶的海上船舶的高清图像进一步输入到预存的白名单船舶图像数据库和黑名单船舶图像数据库进行图像匹配以确定海上船舶是否属于白名单或黑名单，将属于白名单内的海上船舶的等级判定为安全级别，将属于所述黑名单内的海上船舶的等级判定为威胁级别，以及将不属于白名单和黑名单内的海上船舶的等级判定为可疑级别；
通过控制中心根据经过所述数据处理中心判定的等级为威胁级别和可疑级别的海上船舶的位置，控制相应位置上的高清可视摄像头对等级为威胁级别和可疑级别的海上船舶进行实时跟踪并获取高清图像；
通过数据处理中心对所述高清图像进行处理，并将处理后的威胁级别的海上船舶所对应的高清图像输入到预先训练好的船舶分割模型中以确定海上船舶的边界，从而得到威胁级别的海上船舶距离平台的实时距离；
通过控制中心在所述数据处理中心得到的威胁级别的海上船舶距离平台的实时距离等于预警距离时，控制所述报警驱离装置发出警报。
7.根据权利要求6所述的海上平台防登临监控方法，其特征在于，所述预先训练好的船舶分类识别模型的训练过程如下：
构建ResNet网络模型；
获取训练样本，所述训练样本包括海上船舶的类型及各种类型所对应的船舶图像；
基于所述训练样本，对构建的ResNet网络模型进行训练；其中，在每一次训练过程中，获取训练样本中的多个船舶特征，基于所述船舶特征进行卷积操作，得到初始特征图，然后对所述初始特征图进行压缩操作，得到压缩后的特征图，并对所述压缩后的特征图进行激励操作，生成所述多个船舶特征中各船舶特征的权重，其中，不同的船舶特征对应不同的权重；
基于所述多个船舶特征和各船舶特征的权重，确定该训练样本的分类结果；
基于该分类结果和该训练样本中的船舶类型，对ResNet网络模型的参数进行优化，并重新训练，直至训练结果与该训练样本中的船舶类型的相似度达到设定相似度，训练好的ResNet网络模型作为所述船舶分类识别模型。
8.根据权利要求6所述的海上平台防登临监控方法，其特征在于，所述预先训练好的船舶分割模型的训练过程如下：
构建Deeplabv3卷积神经网络；
获取训练样本和对应的语义分割标注；所述训练样本包括各种类型的海上船舶图像；
将训练样本输入到构建的Deeplabv3卷积神经网络，Deeplabv3卷积神经网络以端到端的方式输出与输入图像尺寸一致的预测值；
根据语义分割标注获取对应的语义分割标注边界；
使用获得的语义分割标注边界和圆形填充的卷积核将语义分割标注分离为边界区域和主体区域；
使用分离的边界区域和主体区域结合语义分割标注计算区域的有效像素占比；使用分离的边界区域和主体区域分别结合语义分割标注计算区域的有效像素占比：P=C1/C2；其中，P表示边界区域或主体区域的有效像素占比；C1表示对应区域中有效像素的数目；C2表示图像中像素的总数；
使用区域的有效像素占比结合区域的超参权重计算区域的动态权重，使用标准交叉熵损失结合对应区域的动态权重和Deeplabv3卷积神经网络的预测值计算得到训练样本的最终损失值；
使用梯度下降法更新卷积神经网络的权重至收敛，得到训练完成的Deeplabv3卷积神经网络；将训练完成的Deeplabv3卷积神经网络作为所述船舶分割模型。
9.根据权利要求8所述的海上平台防登临监控方法，其特征在于，所述使用区域的有效像素占比结合区域的超参权重计算区域的动态权重，使用标准交叉熵损失结合对应区域的动态权重和Deeplabv3卷积神经网络的预测值计算得到训练样本的最终损失值具体如下：
Figure 860150DEST_PATH_IMAGE004
其中，L表示训练图像的最终损失；N表示图像中像素的总数；i表示图像中某个像素；
Figure 877784DEST_PATH_IMAGE005
表示该像素点i上卷积神经网络的预测值，即预测像素i属于语义分割标注中该像素标注类别的概率；
Figure 152777DEST_PATH_IMAGE006
表示对应区域的超参权重；P表示对应区域的有效像素占比，所述对应区域包括表示边界区域或主体区域。
10.根据权利要求6所述的海上平台防登临监控方法，其特征在于，所述海上平台防登临监控系统还包括显示屏，所述海上平台防登临监控方法还包括：
根据所述数据处理中心判定的海上船舶的等级按照威胁级别、可疑级别和安全级别的顺序通过所述显示屏排列监控跟踪顺序，且同一个等级中根据海上船舶距离平台的实时距离由近到远的顺序排列监控跟踪顺序。
CN202211109667.6A 2022-09-13 2022-09-13 一种海上平台防登临监控系统及方法 Active CN115187936B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211109667.6A CN115187936B (zh) 2022-09-13 2022-09-13 一种海上平台防登临监控系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211109667.6A CN115187936B (zh) 2022-09-13 2022-09-13 一种海上平台防登临监控系统及方法

Publications (2)

Publication Number Publication Date
CN115187936A true CN115187936A (zh) 2022-10-14
CN115187936B CN115187936B (zh) 2022-12-02

Family

ID=83524827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211109667.6A Active CN115187936B (zh) 2022-09-13 2022-09-13 一种海上平台防登临监控系统及方法

Country Status (1)

Country Link
CN (1) CN115187936B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116092282A (zh) * 2023-01-06 2023-05-09 华能广东汕头海上风电有限责任公司 海上风电场智能边界警示系统、方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007265066A (ja) * 2006-03-29 2007-10-11 Japan Port & Harbour Association 不審船の判定方法
CN102288166A (zh) * 2011-05-13 2011-12-21 河海大学 基于视频的多模型结合水面船舶检测方法
CN206212054U (zh) * 2016-12-09 2017-05-31 福建师范大学 海上肇事船舶自动驱逐装置
CN110175186A (zh) * 2019-05-15 2019-08-27 中国舰船研究设计中心 一种智能船舶环境威胁目标感知系统及方法
CN110796900A (zh) * 2019-12-03 2020-02-14 闽江学院 一种渔船安全监控指挥系统
CN113361942A (zh) * 2021-06-21 2021-09-07 广州嘉航通信科技有限公司 海上船舶指挥调度方法、系统、计算机设备及存储介质
CN114998846A (zh) * 2022-05-06 2022-09-02 深圳英飞拓智能技术有限公司 海上钻井平台智能化系统的实现方法、系统及相关组件

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007265066A (ja) * 2006-03-29 2007-10-11 Japan Port & Harbour Association 不審船の判定方法
CN102288166A (zh) * 2011-05-13 2011-12-21 河海大学 基于视频的多模型结合水面船舶检测方法
CN206212054U (zh) * 2016-12-09 2017-05-31 福建师范大学 海上肇事船舶自动驱逐装置
CN110175186A (zh) * 2019-05-15 2019-08-27 中国舰船研究设计中心 一种智能船舶环境威胁目标感知系统及方法
CN110796900A (zh) * 2019-12-03 2020-02-14 闽江学院 一种渔船安全监控指挥系统
CN113361942A (zh) * 2021-06-21 2021-09-07 广州嘉航通信科技有限公司 海上船舶指挥调度方法、系统、计算机设备及存储介质
CN114998846A (zh) * 2022-05-06 2022-09-02 深圳英飞拓智能技术有限公司 海上钻井平台智能化系统的实现方法、系统及相关组件

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张建飞等: "海事卫星通信的发展及其在远洋船舶上的应用", 《无线电通信技术》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116092282A (zh) * 2023-01-06 2023-05-09 华能广东汕头海上风电有限责任公司 海上风电场智能边界警示系统、方法及装置

Also Published As

Publication number Publication date
CN115187936B (zh) 2022-12-02

Similar Documents

Publication Publication Date Title
CN109725310B (zh) 一种基于yolo算法以及岸基雷达系统的船舶定位监管系统
CN109409283B (zh) 一种海面舰船跟踪和监控的方法、系统和存储介质
CN108806334A (zh) 一种基于图像的智能船舶身份识别方法
CN113361942A (zh) 海上船舶指挥调度方法、系统、计算机设备及存储介质
CN110348304A (zh) 一种可搭载于无人机的海事遇险人员搜索系统以及目标识别方法
CN110127000B (zh) 一种面向运输船舶的智能航行眼系统
US11079486B2 (en) Method of verifying a potential detection of a man overboard event and alert verification processing apparatus
CN111163290B (zh) 一种夜间航行船舶检测并跟踪的方法
CN101214851A (zh) 船舶行驶智能型全天候主动安全预警系统及其预警方法
CN113050121A (zh) 一种船舶导航系统和船舶导航方法
CN115187936B (zh) 一种海上平台防登临监控系统及方法
CN110348303A (zh) 一种可搭载于无人艇的辅助水面巡逻系统以及水面监测方法
CN113393707A (zh) 基于光电联动的船舶监测方法、系统、设备及存储介质
CN113342019B (zh) 一种基于无人机的海上搜救方法、系统、设备及介质
CN110712720A (zh) 一种用于船舶吃水测量的系统及其使用方法
CN116429118B (zh) 一种基于物联网的渔船安全生产监管方法及系统
CN114998846A (zh) 海上钻井平台智能化系统的实现方法、系统及相关组件
CN115496803A (zh) 一种海上浮标碰撞告警和取证系统及方法
CN113705503A (zh) 一种基于多模态信息融合的异常行为检测系统及方法
CN114677051A (zh) 一种驾驶室的管理方法和系统
CN111918032B (zh) 基于无人艇的水上监管方法、系统、装置及智能设备
CN114663964A (zh) 船舶远程驾驶行为状态监测预警方法、系统及存储介质
US20220392351A1 (en) Detection of a risk of collision between a boat and a luminous object
KR102269385B1 (ko) 선박 운항 지원 시스템 및 이를 포함하는 선박
CN113353211A (zh) 基于无人机的海上搜救定位方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant