CN118135426B - 一种基于卫星影像与sam的港口水域交通状况识别方法 - Google Patents
一种基于卫星影像与sam的港口水域交通状况识别方法 Download PDFInfo
- Publication number
- CN118135426B CN118135426B CN202410551820.3A CN202410551820A CN118135426B CN 118135426 B CN118135426 B CN 118135426B CN 202410551820 A CN202410551820 A CN 202410551820A CN 118135426 B CN118135426 B CN 118135426B
- Authority
- CN
- China
- Prior art keywords
- deep learning
- learning model
- satellite
- water area
- mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013136 deep learning model Methods 0.000 claims abstract description 83
- 238000012549 training Methods 0.000 claims abstract description 39
- 230000006870 function Effects 0.000 claims abstract description 25
- 238000004458 analytical method Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 22
- 238000013507 mapping Methods 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000013459 approach Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 239000003643 water by type Substances 0.000 claims description 5
- 230000008447 perception Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 239000013535 sea water Substances 0.000 claims description 3
- 230000001502 supplementing effect Effects 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 230000006978 adaptation Effects 0.000 abstract description 2
- 238000003672 processing method Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 11
- 230000011218 segmentation Effects 0.000 description 11
- 238000007726 management method Methods 0.000 description 10
- 238000002372 labelling Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008571 general function Effects 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000000682 scanning probe acoustic microscopy Methods 0.000 description 2
- 239000013545 self-assembled monolayer Substances 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004873 anchoring Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000010410 layer Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Abstract
本发明涉及一种基于卫星影像与SAM的港口水域交通状况识别方法，属于航运交通控制领域，该方法包括以下步骤：构建基于卫星影像与SAM的深度学习模型，其目标函数衡量模型预测结果和人工标注真值之间的差异，其网络结构主要包括卫星影像编码器、提示信息编码器和快速掩码解码器；同步进行样本标注和模型训练工作；基于训练好的模型评估港口水域交通状况。该方法将SAM方法创新地延伸为处理卫星影像的方法，拓宽了模型的样本适配范围，并从零到一地提出了基于模型预测结果的港口水域交通状况识别策略，提高了全自动化解析港口水域卫星影像的准确程度，提高管理效率，降低管理成本，提升港口调度的决策水平、调度效率和港口的吞吐量。
Description
技术领域
本发明涉及航运交通控制领域，尤其涉及一种基于卫星影像与SAM的港口水域交通状况识别方法。
背景技术
集装箱船在进港、靠泊、离泊、锚泊和离港等事件的操作过程中，需要港口船舶调度员、引航员、船员等工作人员多方协作配合，明确港口水域交通状况，规划航行路线，保障船舶和港口的安全，提升船舶作业效率，提升港口吞吐量。目前，港口船舶调度员和引航员主要依靠人工和半自动化的方式确认港口水域交通状况。部分智能化较高的港口已经具备可视化大屏，统计船舶进出港数量等数据，辅助人工判断港口繁忙情况和吞吐状况，基于AIS定位技术辅助人工判断船舶位置，展示港口卫星影像，通过人工判断的方式来解译港口水域的交通状况。
比如，申请公布号为CN113435639A的发明专利申请公开了一种融合AIS数据挖掘的港口水域规划方法及系统，包括以下步骤：步骤S1、构建用于港口水域规划量化仿真分析的港口水域样本矩阵；步骤S2、获得均衡港口水域规划量化仿真规划精度和规划效率且实现统一分析的港口水域规划集群；步骤S3、基于所述港口水域规划集群对所述港口水域的通行规划进行量化仿真分析。
然而，由于港口内部环境复杂，渔船、货船、引航船、拖船和近海供应船等各类船舶穿梭不止，高度依赖人工确认港口水域交通状况的方式准确度低、效率低。统计数据无法直观展示港口内各类船舶或设施的几何形态与位置，且无法监控未录入系统的船只行为；AIS定位技术也被未安装终端、主动关闭终端、信号不好、发送虚假信号、离岸较远等问题制约；人工解译卫星影像对于人工的专业程度要求高，大范围水域需要多个专业人员同时长时间高强度工作。
因此，为了提升港口运输效率和安全程度，港口水域交通状况的判断方式需要更加自动化、智能化。近年来，人工智能技术发展迅猛，计算机视觉领域涌现了大量的语义分割、实例分割和图像识别的模型，通过对深度神经网络进行训练，完成图像解析的任务。同时，卫星影像的分辨率和时效性的提升使得机器自动识别与解析港口状况成为可能。在港口水域交通状况的识别任务中，机器需要完成港口区域划分、船舶类别判定、可行驶区域分割等多个任务，这涉及了语义分割、实例分割和图像识别等多个传统深度学习任务，也依赖大量的专业人员针对港口卫星影像进行精细的标注。针对每一个深度学习任务分别进行标注训练，十分耗费人力和时间成本。2023年，SAM（Segment Anything Model，分割一切模型）被提出，实现了强大的零样本泛化，能够学习在统一的表示空间中组合不同类型的提示以适应未见过的用户意图。极大提升人工标注效率，并将语义分割、实例分割和图像识别任务统一为一个具有通用功能的模型。然而，SAM对于港口水域卫星影像的训练较为欠缺，进而导致分割与识别效果欠佳；且对于港口内各类物体的业务意义尚无认知，难以直接输出港口水域交通状况的分析结果。
发明内容
本发明提供了基于卫星影像与SAM的港口水域交通状况识别方法，以解决现有港口水域交通状况识别技术中依赖人工确认港口水域交通状况的方式准确度低、效率低，解译卫星影像对于人工的专业程度要求高、工作强度大，SAM对于港口水域卫星影像的训练欠缺导致分割与识别效果欠佳等问题。
为解决上述技术问题，本发明提供的技术方案为：
本发明涉及一种基于卫星影像与深度学习模型的港口水域交通状况识别方法，其包括以下步骤：
S1.构建基于卫星影像与SAM的深度学习模型，为该深度学习模型构建衡量模型预测结果和人工标注真值之间的差异的目标函数；
所述的深度学习模型的网络结构包括：
卫星影像编码器，用于提取卫星影像映射的影像特征；
卷积网络，用于提取输入掩码的特征，并将掩码特征映射到特征空间；
提示信息编码器，用于提取提示信息，并将提示信息映射到特征空间；
快速掩码解码器，用于将卫星影像、输入掩码和提示信息的特征映射为原始图像空间的掩码结果；
S2.采用有监督训练模式，基于卫星影像训练模型；
S3.基于实时采集的卫星影像以及训练好的深度学习模型，评估港口水域交通状况。
优选地，所述S1中构建的深度学习模型的目标函数为：
（1），
其中，Loss表示总损失，Loss F 表示Focal Loss损失函数，Loss D 表示Dice Loss损失函数，α表示线性系数；
所述的Focal Loss损失函数的表达式为：
（2），
其中，表示深度学习模型预测的掩码与人工标注的掩码真值的接近程度，γ表示为可调参数；
深度学习模型预测的掩码与人工标注的掩码真值的接近程度的表达式为：
（3），
其中，表示深度学习模型预测的掩码概率值，y表示人工标注的掩码真值；
所述的Dice Loss损失函数的表达式为：
（4），
其中，y表示人工标注的掩码真值，表示深度学习模型预测的掩码值，表示两者的交集。
优选地，所述S2中基于卫星影像训练模型深度学习模型的具体步骤包括：
S2.1.人工对港口区域的卫星影像进行标注，在标注各个突出对象实体的几何边界的同时，赋予每个对象实体分类标签，将人工标注的图片掩码信息作为真值指导深度学习模型训练，并基于未标注影像的模型预测结果进行人工修正，获得人工为主、深度学习模型为辅的训练样本；
S2.2.对于非突出对象实体，使用深度学习模型自动检测出高置信度的掩码，展示卫星影像与深度学习模型预测的掩码，人工针对无预测结果的区域进行标注，获得深度学习模型为主、人工为辅的训练样本；
S2.3.基于S2.1和S2.2中获得的训练样本训练深度学习模型，并基于模糊感知模型提升深度学习模型对于模糊信息的处理能力，本阶段训练完成后，深度学习模型可以全自动完成大规模高质量的卫星影像的掩码预测工作。
优选地，所述S2.1中的突出对象实体包括集装箱船、泊位、拖船、陆地、海水区域；所述非突出对象实体包括拖车、灯塔、小船。
优选地，所述S2.3基于训练样本训练深度学习模型时，采用非极大值抑制方法过滤深度学习模型输出的表达类似语义的多个预测结果。
优选地，所述S3基于实时采集的卫星影像以及训练好的深度学习模型，评估港口水域交通状况的具体步骤包括：
S3.1.用训练好的深度学习模型筛选出卫星影像中的高置信度的掩码预测值，并将相邻的相同掩码预测值的像素彼此融合为同一个分类对象区域，得到若干高置信分类对象区域；
S3.2.监测对象区域是否布满整个卫星影像，若未布满，进行漏洞补充至对象区域布满整个卫星影像；
S3.3.对分类对象区域边界进行参数化拟合，使得分类对象区域边界平滑；
S3.4.从卫星影像中提取出港口水域畅行区域，并对港口水域交通状况进行识别。
S3.5. 统计与港口水域交通状况相关的港口管理关键指标。
优选地，所述S2和S3中使用的卫星影像为经过预处理的子影像，对卫星影像进行预处理的步骤包括：
步骤a.坐标解析，计算卫星图像上每个像素点的地理坐标位置，获得坐标信息；
步骤b.对卫星影像中的坐标信息进行几何校准；
步骤c.从卫星图像上截取关注区域，并将关注区域划分为多个子区域，形成多个带坐标信息的关注区域的子影像。
优选地，所述步骤b中除了卫星影像中的坐标信息进行几何校准，还对卫星影像进行了图像增强处理，以及基于组成卫星影像的多个成像结果进行接边处理以实现色彩调整。
优选地，所述对卫星影像进行预处理的步骤还包括：
步骤d.对每个子影像进行边缘膨胀处理。
优选地，所述S3基于实时采集的卫星影像以及训练好的深度学习模型获取各子影像的港口水域交通状况评估结果，并对各子影像的港口水域交通状况评估结果进行整合。
采用本发明提供的技术方案，与现有技术相比，具有如下有益效果：
1.本发明涉及的基于卫星影像与SAM的港口水域交通状况识别方法，该方法通过构建基于卫星影像与SAM的深度学习模型，并为该深度学习模型构建衡量模型预测结果和人工标注真值之间的差异的目标函数，进而将语义分割、实例分割和图像识别任务统一为一个具有通用功能的模型，将SAM方法创新地延伸为处理卫星影像的方法，拓宽了模型的样本适配范围，并从零到一地提出了基于模型预测结果的港口水域交通状况识别策略，提高了全自动化解析港口水域卫星影像的准确程度，提高管理效率，降低管理成本，提升港口调度的决策水平、调度效率和港口的吞吐量。
2.本发明涉及的基于卫星影像与深度学习模型的港口水域交通状况识别方法在对深度学习模型进行训练以及采用训练好的深度学习模型进行港口水域交通状况识别的过程中，所述的卫星影像均经过坐标解析、几何校准、图像增强、色彩调整等预处理，有助于提高训练和识别过程的准确性；还可以将卫星影像中的关注区域划分为多个子影像，训练和识别过程中对多个子影像并行处理，再将处理结构融合，有助于提升训练和识别的效率。
附图说明
图1是基于卫星影像与SAM的港口水域交通状况识别方法的流程图；
图2是深度学习模型的结构图；
图3是评估港口水域交通状况各阶段的示意图。
具体实施方式
为进一步了解本发明的内容，结合实施例对本发明作详细描述，以下实施例用于说明本发明，但不用来限制本发明的范围。
参照附图1所示，本发明涉及一种基于卫星影像与SAM的港口水域交通状况识别方法。由于卫星影像的拍摄受到成像范围和精度等因素的影像，初步成像的结果具有坐标不准、色彩不匀、接边不齐等问题，因此，该方法中所使用的卫星图像均通过以下方式进行预处理：
步骤a.坐标解析，获取的卫星影像需要包含地理坐标信息，如一种geotiff格式的卫星影像，具备图像左上角像素点的wgs84经纬度坐标，以及在经度、纬度上1个像素分别对应的经纬度长度间隔，因此，可以计算卫星图像上每个像素点的地理坐标位置，获得坐标信息。
步骤b.对卫星影像中的坐标信息进行几何校准，校准分为粗纠正和精纠正，粗纠正基于运行姿态、传感器性能指标、大气状态和太阳高度角进行纠正；精纠正则基于已有坐标或图像信息、地面控制点、数字高程模型数据等信息进行纠正；
对于色彩不匀、噪声较多、云雾遮挡等问题，采用图像增强处理，进行影像质量的提升，图像增强技术可以结合卫星影像的实际情况进行选择，可选方式包含但不限于直方图变换、线性差值、灰度颠倒、多图融合、滤波处理、主成分分析和深度神经网络等方式；
由于卫星影像成像结果通常呈条带状，且成像范围有限，实际应用范围内的影像可能需要由多次成像结果拼接得到，但多次成像结果间可能存在色彩不统一、接边处不对齐等问题，因此需要进行接边处理，可选的接边处理方式包含但不限于基于几何校准后的坐标进行接边、基于图像特征进行接边等，以实现色彩调整。
步骤c.从卫星图像上截取关注区域，在港口水域交通状况识别的应用场景中，本申请中的关注区域是指港口水域及其附近陆地和邻近水域的影像情况，为了提升影像处理效率，需要将关注区域划分为多个子区域，形成多个带坐标信息的关注区域的子影像，并进行并行操作；划分子影像的方式包含但不限于瓦片式划分（基于固定地理坐标，将关注区域划分为边长相等、彼此贴合的多个正方形模块）、按感兴趣区域划分（如基于泊位等港口功能区域划分）、按文件划分（按照影像文件的范围划分）等。
步骤d.经过上述图像处理后，能得到所关注的港口的划分为多个子影像的高质量带有坐标信息的卫星影像，值得注意的是，为了保证后续环节便于评估整个港口整体的水域交通状况，而不是单独评估各个子影像区域的水域交通状况，后续环节需要将各个子影像的解析和评估结果进行整合，因此为了辅助后续环节更便于整合出准确的结果，还需要对每个子影像进行边缘膨胀处理，使得相邻的子影像之间是有重叠部分的，以便整合评估结果时匹配融合。例如，在瓦片式划分方法中，若每个瓦片的原始边长设置为2.5km，那么边缘膨胀范围可以使用100m~300m，也就是说，相邻的两个瓦片的重叠边长为100m~300m，每个瓦片影像的实际边长为2.7km~3.1km，此处仅为举例说明，而非对本发明的限定，具体的子影像区域范围与边缘膨胀范围可以结合算力和实际需求来进行调整。
基于上述预处理后的卫星影像，本发明涉及的一种基于卫星影像与SAM的港口水域交通状况识别方法包括以下步骤：
S1.构建基于卫星影像与SAM的深度学习模型，为该深度学习模型构建衡量模型预测结果和人工标注真值之间的差异的目标函数；
参照附图2所示，所述的深度学习模型的网络结构包括：
卫星影像编码器，用于提取卫星影像映射的影像特征，具体为卫星影像映射的抽象的高层次非线性特征，卫星影像编码器是一个输出指定尺寸特征的深度学习网络，其需要具备高效处理大量高分辨率图像的计算能力，可以采用一种用掩码编码器（Maskedautoencoders，MAE）预训练的视觉变压器（Vision Transformer，ViT）；
卷积网络，用于提取输入掩码的特征，并将掩码特征映射到特征空间；
提示信息编码器，用于提取提示信息，并将提示信息映射到特征空间，其是一个可以处理多种提示的编码器神经网络，提示类型包括稀疏型（点、方框、文本）和密集型（掩码），如使用卷积神经网络、基于位置的编码器和基于自然语言监督的可迁移视觉模型学习方法（Learning transferable visual models from natural language supervision，CLIP）相结合的方式；
快速掩码解码器，用于将卫星影像、输入掩码和提示信息的特征映射为原始图像空间的掩码结果，快速掩码解码器需要具备采样和多分类功能，如使用视觉变压器和多层感知机相结合的方式。
深度学习模型采用有监督训练模式，其目标函数需要衡量模型预测结果和人工标注真值之间的差异，从而指导模型的训练与学习，因此，深度学习模型的目标函数可以采用Focal Loss和Dice Loss的线性结合的方式，目标函数表示为：
（1），
其中，Loss表示总损失，Loss F 表示Focal Loss损失函数，Loss D 表示Dice Loss损失函数，α表示线性系数；
所述的Focal Loss损失函数的表达式为：
（2），
其中，表示深度学习模型预测的掩码与人工标注的掩码真值的接近程度，γ表示为可调参数；
深度学习模型预测的掩码与人工标注的掩码真值的接近程度的表达式为：
（3），
其中，表示深度学习模型预测的掩码概率值，y表示人工标注的掩码真值；
所述的Dice Loss损失函数的表达式为：
（4），
其中，y表示人工标注的掩码真值，表示深度学习模型预测的掩码值，表示两者的交集。
基于上述步骤，将语义分割、实例分割和图像识别任务统一为一个具有通用功能的深度学习模型。
S2.上述构建的深度学习模型是图像掩码预测器，又是训练样本标注引擎，即该模型的训练工作与训练样本标注工作是相辅相成的，用预处理后的卫星影像对深度学习模型进行训练，训练过程可分为三个阶段，具体步骤包括：
S2.1.第一阶段：人工对港口区域的卫星影像进行精细地标注，在标注各个突出对象实体的几何边界的同时，赋予每个对象实体分类标签，如“集装箱船”、“泊位”、“拖船”、“陆地”、“海水区域”等；将人工标注的图片掩码信息作为真值指导深度学习模型训练，并基于未标注影像的模型预测结果进行人工修正，由此循环往复，模型预测能力逐渐增强，人工的标注或修复工作耗时逐渐缩短，并获得大量的人工为主、模型为辅的训练样本；
S2.2.第二阶段：对于非突出对象实体，如拖车、灯塔、小船，使用深度学习模型自动检测出高置信度的掩码，展示卫星影像与深度学习模型预测的掩码，人工针对无预测结果的区域进行标注，获得深度学习模型为主、人工为辅的训练样本；通过专注于港口区域非突出的对象实体，提升模型对于港口区域实体分割能力与分类的多样性、通用化能力；
S2.3.第三阶段：基于S2.1和S2.2中获得的训练样本训练深度学习模型，并基于模糊感知模型提升深度学习模型对于模糊信息的处理能力，此外，可以采用NMS（non-maximalsuppression，非极大抑制方法）过滤深度学习模型输出的表达类似语义的多个预测结果，从而进一步提升小对象实体的尺寸掩码的预测质量，基于这样的全自动化的标注工作，可以高效地完成大规模的卫星影像的掩码预测工作；
经过卫星影像解析阶段的卫星影像处理，本发明的计算机程序已获得大量港口区域卫星影像的陆地、海洋、设施和船舶等实体的几何边界与分类标签信息，并具备全自动输出港口区域卫星影像中各类对象实体的几何与标签信息的能力，深度学习模型可以全自动完成大规模高质量的卫星影像的掩码预测工作。
S3.基于实时采集的预处理后的卫星影像以及训练好的深度学习模型，评估港口水域交通状况，即对卫星影像进行预处理后的得到多个子影像，将子影像输入训练好的深度学习模型，评估港口水域交通状况，评估港口水域交通状况的示意图如图3所示，具体步骤包括：
S3.1.用训练好的深度学习模型筛选出卫星影像（子影像）中的高置信度的掩码预测值，并将相邻的相同掩码预测值的像素彼此融合为同一个分类对象区域，得到若干高置信分类对象区域，如“集装箱船”区域、“泊位”区域等；
S3.2.监测对象区域是否布满整个卫星影像，若未布满，进行漏洞补充至对象区域布满整个卫星影像，填充时，既要考虑几何信息特征，又要考虑属性特征，比如，若相邻的两个分类对象区域之间的漏洞面积小于合理阈值，则可以为该漏洞区域赋予其两侧的两个分类对象之一的属性标签，并进行几何区域的融合；若相邻的两个分类对象区域之间的漏洞面积大于合理阈值，则可以自适应填充属性标签，该标签重点关注此类区域是否为畅行水域，且置为低置信类别；
S3.3.为了使得每个分类对象区域的边缘更加连续、平滑，对分类对象区域边界进行参数化拟合，使得分类对象区域边界平滑；根据边界几何的预测结果与分类对象区域的属性信息，进行直线（线段）或曲线的拟合，例如，将“泊位”的陆地边界使用线段或二阶贝赛尔曲线拟合。经过这个阶段，可以获得每张子影像范围内，覆盖全图的带有标签语义的区域分类结果，且各个分类区域的边界较为平滑、连续，基于各子影像的评估结果，对各子影像的港口水域交通状况评估结果进行整合。由于在识别过程中是对卫星影像的子模块进行处理的，由于处理过程包含算法模型预测、自适应补漏洞和低置信分类区域填充等环节，所以相邻子影像的重叠区域内的处理结果可能存在几何与属性的些许偏差。因此，需要基于策略将重叠区域内的分类区域结果做统一，并进一步优化各个子影像内部的分类结果，由此得到更准确的各个子影像的带有标签语义的区域分类结果，且相邻的子影像之间的分类结果是边界连续平滑的、属性合理规范的。
S3.4.从整合后的卫星影像中的关注的地理范围内提取出港口水域畅行区域，并对港口水域交通状况进行识别；
S3.5.基于卫星影像解析结果的后处理的数据，统计与港口水域交通状况相关的港口管理关键指标，比如，计算特定港口水域中，单位时间内的集装箱船数量、货船/拖船/渔船等船只的密度、各泊位占用时长比例、集装箱船进港-靠泊效率和集装箱船离泊-出港效率等港口管理等关键指标，用来监控港口的运营情况，并针对异常指标进行实时报警，提高管理效率；对于目标集装箱船，可以预测其到达目标泊位所需时长，更好地进行港口内集装箱船的调度管理。
参照附图1所示，基于上述方式训练所得的基于卫星影像和SAM的深度学习模型，具备全自动化评估港口水域交通状况的能力，在能力应用阶段，可用于支撑全自动化港口调度管理系统的建设，所述系统可包含关键指标可视化、港口卫星影像关键信息高亮化和高优集装箱船现状监控与调度建议等功能。可获取单位时间内的集装箱船数量、货船/拖船/渔船等船只的密度、各泊位占用时长比例，可实现集装箱船进港-靠泊效率和集装箱船离泊-出港效率等港口管理关键指标定时更新、港口空闲泊位高亮，船舶密集区域特殊展示以作提醒、高优进港集装箱船的行驶路径可视化展示、系统自动化给出空闲泊位的靠泊建议并给出预计完成靠泊的时间。
该基于卫星影像和SAM的深度学习模型的应用系统用可视化的前端展示方式，自动化的后台计算能力，点选式的交互方式，使得用户可以用简单的点选操作，便能快速获取港口管理与调度的关键信息，大幅提升港口的管理效率和港口的自动化水平。
以上结合实施例对本发明进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍属于本申请的专利涵盖范围之内。
Claims (10)
1.一种基于卫星影像与SAM的港口水域交通状况识别方法，其特征在于：其包括以下步骤：
S1.构建基于卫星影像与SAM的深度学习模型，为该深度学习模型构建衡量模型预测结果和人工标注真值之间的差异的目标函数；
所述的深度学习模型的网络结构包括：
卫星影像编码器，用于提取卫星影像映射的影像特征；
卷积网络，用于提取输入掩码的特征，并将掩码特征映射到特征空间；
提示信息编码器，用于提取提示信息，并将提示信息映射到特征空间；
快速掩码解码器，用于将卫星影像、输入掩码和提示信息的特征映射为原始图像空间的掩码结果；
S2.采用有监督训练模式，基于卫星影像训练模型深度学习模型；
S3.基于实时采集的卫星影像以及训练好的深度学习模型，评估港口水域交通状况。
2.根据权利要求1所述的基于卫星影像与SAM的港口水域交通状况识别方法，其特征在于：所述S1中构建的深度学习模型的目标函数为：
（1），
其中，Loss表示总损失，Loss F 表示Focal Loss损失函数，Loss D 表示Dice Loss损失函数，α表示线性系数；
所述的Focal Loss损失函数的表达式为：
（2），
其中，表示深度学习模型预测的掩码与人工标注的掩码真值的接近程度，γ为可调参数；
深度学习模型预测的掩码与人工标注的掩码真值的接近程度的表达式为：
（3），
其中，表示深度学习模型预测的掩码概率值，y表示人工标注的掩码真值；
所述的Dice Loss损失函数的表达式为：
（4），
其中，y表示人工标注的掩码真值，表示深度学习模型预测的掩码值，表示两者的交集。
3.根据权利要求1所述的基于卫星影像与SAM的港口水域交通状况识别方法，其特征在于：所述S2中基于卫星影像训练模型深度学习模型的具体步骤包括：
S2.1.人工对港口区域的卫星影像进行标注，在标注各个突出对象实体的几何边界的同时，赋予每个对象实体分类标签，将人工标注的图片掩码信息作为真值指导深度学习模型训练，并基于未标注影像的模型预测结果进行人工修正，获得人工为主、深度学习模型为辅的训练样本；
S2.2.对于非突出对象实体，使用深度学习模型自动检测出高置信度的掩码，展示卫星影像与深度学习模型预测的掩码，人工针对无预测结果的区域进行标注，获得深度学习模型为主、人工为辅的训练样本；
S2.3.基于S2.1和S2.2中获得的训练样本训练深度学习模型，并基于模糊感知模型提升深度学习模型对于模糊信息的处理能力。
4.根据权利要求3所述的基于卫星影像与SAM的港口水域交通状况识别方法，其特征在于：所述S2.1中的突出对象实体包括集装箱船、泊位、拖船、陆地、海水区域；所述S2.2中非突出对象实体包括拖车、灯塔、小船。
5.根据权利要求3所述的基于卫星影像与SAM的港口水域交通状况识别方法，其特征在于：所述S2.3基于训练样本训练深度学习模型时，采用非极大值抑制方法过滤深度学习模型输出的表达类似语义的多个预测结果。
6.根据权利要求1所述的基于卫星影像与SAM的港口水域交通状况识别方法，其特征在于：所述S3基于实时采集的卫星影像以及训练好的深度学习模型，评估港口水域交通状况的具体步骤包括：
S3.1.用训练好的深度学习模型筛选出卫星影像中的高置信度的掩码预测值，并将相邻的相同掩码预测值的像素彼此融合为同一个分类对象区域，得到若干高置信分类对象区域；
S3.2.监测对象区域是否布满整个卫星影像，若未布满，进行漏洞补充至对象区域布满整个卫星影像；
S3.3.对分类对象区域边界进行参数化拟合，使得分类对象区域边界平滑；
S3.4.从卫星影像中提取出港口水域畅行区域，并对港口水域交通状况进行识别；
S3.5.统计与港口水域交通状况相关的港口管理关键指标。
7.根据权利要求1所述的基于卫星影像与SAM的港口水域交通状况识别方法，其特征在于：所述S2和S3中使用的卫星影像为经过预处理的子影像，对卫星影像进行预处理的步骤包括：
步骤a.坐标解析，计算卫星图像上每个像素点的地理坐标位置，获得坐标信息；
步骤b.对卫星影像中的坐标信息进行几何校准；
步骤c.从卫星图像上截取关注区域，并将关注区域划分为多个子区域，形成多个带坐标信息的关注区域的子影像。
8.根据权利要求7所述的基于卫星影像与SAM的港口水域交通状况识别方法，其特征在于：所述步骤b中除了卫星影像中的坐标信息进行几何校准，还对卫星影像进行了图像增强处理，以及基于组成卫星影像的多个成像结果进行接边处理以实现色彩调整。
9.根据权利要求7所述的基于卫星影像与SAM的港口水域交通状况识别方法，其特征在于：所述对卫星影像进行预处理的步骤还包括：
步骤d.对每个子影像进行边缘膨胀处理。
10.根据权利要求9所述的基于卫星影像与SAM的港口水域交通状况识别方法，其特征在于：所述S3基于实时采集的卫星影像以及训练好的深度学习模型获取各子影像的港口水域交通状况评估结果，并对各子影像的港口水域交通状况评估结果进行整合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410551820.3A CN118135426B (zh) | 2024-05-07 | 一种基于卫星影像与sam的港口水域交通状况识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410551820.3A CN118135426B (zh) | 2024-05-07 | 一种基于卫星影像与sam的港口水域交通状况识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118135426A CN118135426A (zh) | 2024-06-04 |
| CN118135426B true CN118135426B (zh) | 2024-07-05 |
Family
ID=
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116883861A (zh) * | 2023-07-17 | 2023-10-13 | 中国人民解放军战略支援部队航天工程大学 | 面向微小卫星在轨应用的港口大中型舰船活动识别方法及系统 |
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116883861A (zh) * | 2023-07-17 | 2023-10-13 | 中国人民解放军战略支援部队航天工程大学 | 面向微小卫星在轨应用的港口大中型舰船活动识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11869192B2 (en) | System and method for vegetation modeling using satellite imagery and/or aerial imagery | |
| CN107871119B (zh) | 一种基于目标空间知识和两阶段预测学习的目标检测方法 | |
| CN109725310B (zh) | 一种基于yolo算法以及岸基雷达系统的船舶定位监管系统 | |
| CN100538723C (zh) | 多视觉传感器信息融合的内河船舶自动识别系统 | |
| CN110866887A (zh) | 一种基于多传感器的目标态势融合感知方法和系统 | |
| CN111409788B (zh) | 一种无人船艇自主航行能力测试方法及系统 | |
| CN110060508B (zh) | 一种用于内河桥区的船舶自动检测方法 | |
| CN112347895A (zh) | 一种基于边界优化神经网络的舰船遥感目标检测方法 | |
| CN107731011B (zh) | 一种港口泊船监测方法、系统及电子设备 | |
| CN111598098B (zh) | 一种基于全卷积神经网络的水尺水位线检测及有效性识别方法 | |
| CN109919113A (zh) | 船舶监测方法和系统以及港口运营预测方法和系统 | |
| CN101214851A (zh) | 船舶行驶智能型全天候主动安全预警系统及其预警方法 | |
| US20230358533A1 (en) | Instance segmentation imaging system | |
| CN109255350A (zh) | 一种基于视频监控的新能源车牌检测方法 | |
| CN114240868A (zh) | 一种基于无人机的巡检分析系统及方法 | |
| CN116310689B (zh) | 一种无人智能多模态信息融合与目标感知系统及作业方法 | |
| CN113033315A (zh) | 一种稀土开采高分影像识别与定位方法 | |
| CN110442665A (zh) | 极地海域冰情融合显示方法 | |
| US20220044027A1 (en) | Photography system | |
| CN114627363A (zh) | 一种基于多任务学习的全景海上船舶态势感知方法 | |
| CN115049948A (zh) | 基于神经网络模型的无人机巡检方法、装置及相关设备 | |
| CN110837941B (zh) | 对油气管道进行风险预测的方法及装置 | |
| CN117406789A (zh) | 基于图像分析的多无人机桥梁支座巡检航线自动规划方法 | |
| CN118135426B (zh) | 一种基于卫星影像与sam的港口水域交通状况识别方法 | |
| Choi et al. | Automatic sea fog detection and estimation of visibility distance on CCTV |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |