CN115331122A - 基于图像分割的海上溢油检测方法、无人机、存储介质 - Google Patents

基于图像分割的海上溢油检测方法、无人机、存储介质 Download PDF

Info

Publication number
CN115331122A
CN115331122A CN202210885654.1A CN202210885654A CN115331122A CN 115331122 A CN115331122 A CN 115331122A CN 202210885654 A CN202210885654 A CN 202210885654A CN 115331122 A CN115331122 A CN 115331122A
Authority
CN
China
Prior art keywords
image
routing inspection
segmentation
determining
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210885654.1A
Other languages
English (en)
Inventor
应自炉
周建宏
翟懿奎
王文琪
廖锦锐
江子义
谭梓峻
李文霸
梁长钊
李青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuyi University
Original Assignee
Wuyi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuyi University filed Critical Wuyi University
Priority to CN202210885654.1A priority Critical patent/CN115331122A/zh
Publication of CN115331122A publication Critical patent/CN115331122A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/12—Target-seeking control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

本申请实施例公开了一种基于图像分割的海上溢油检测方法、无人机、存储介质，其中，方法包括：确定巡检区域，巡检区域包括多个巡检节点；根据多个巡检节点确定初始巡检路径，初始巡检路径途径一次每个巡检节点；以初始巡检路径作为人工蜂群算法的初始化种群，通过人工蜂群算法确定能耗最优的目标路径；根据目标路径进行巡检，并通过SAR图像成像器在各个巡检节点拍摄待检测图像；将待检测图像输入至预先训练好的溢油暗斑分割模型进行图像分割处理，得到分割图像；根据分割图像确定巡检节点的海上溢油检测结果。本申请实施例能够结合设置有SAR图像成像器的无人机以及溢油暗斑分割模型对巡检区域进行海上溢油检测，从而有效提高海上溢油检测的效率。

Description

基于图像分割的海上溢油检测方法、无人机、存储介质
技术领域
本申请涉及但不限于图像处理技术领域，尤其涉及一种基于图像分割的海上溢油检测方法、无人机、存储介质。
背景技术
海上溢油所造成的污染严重威胁着海洋生态环境安全以及海洋产业的发展，为了降低海上溢油带来的影响，需要加强对海上溢油的检测。目前主要是通过合成孔径雷达(Synthetic Aperture Radar，SAR)进行海上溢油检测，但是，SAR图像的生成时间较长，不利于预警的及时性，并且制作带标注的SAR图像数据集的难度较大，需要耗费大量的人力物力，从而导致海上溢油检测的效率较低。
发明内容
本申请实施例提供了一种基于图像分割的海上溢油检测方法、无人机、存储介质，能够有效提高海上溢油检测的效率。
第一方面，本申请实施例提供了一种基于图像分割的海上溢油检测方法，应用于无人机，所述无人机设置有SAR图像成像器，所述方法包括：
确定巡检区域，所述巡检区域包括多个巡检节点；
根据多个所述巡检节点确定初始巡检路径，所述初始巡检路径途径一次每个所述巡检节点；
以所述初始巡检路径作为人工蜂群算法的初始化种群，通过所述人工蜂群算法确定能耗最优的目标路径；
根据所述目标路径进行巡检，并通过所述SAR图像成像器在各个所述巡检节点拍摄待检测图像；
将所述待检测图像输入至预先训练好的溢油暗斑分割模型进行图像分割处理，得到分割图像；
根据所述分割图像确定所述巡检节点的海上溢油检测结果。
在一些实施例中，所述初始巡检路径的数量为多个；所述通过所述人工蜂群算法确定能耗最优的目标路径，包括：
确定各个所述初始巡检路径的初始路径能耗；
获取预设的适应度函数，根据所述适应度函数和所述初始路径能耗从所述巡检节点中选取多个待调整节点，各个所述待调整节点对应有适应度值；
根据预设的聚类算法和所述适应度值对各个所述初始巡检路径对应的所述待调整节点进行聚类处理，得到第一中间巡检路径；
对所述第一中间巡检路径进行迭代，完成预设的迭代次数后得到第二中间巡检路径；
从所述第二中间巡检路径中确定所述目标路径，所述目标路径表征与执行迭代操作前的所述第一中间巡检路径互不相同的所述第二中间巡检路径。
在一些实施例中，所述溢油暗斑分割模型包括特征提取器和transformers编码器；所述将所述待检测图像输入至预先训练好的溢油暗斑分割模型进行图像分割处理，得到分割图像，包括：
将所述待检测图像输入至所述特征提取器进行特征提取，得到多个第一特征图；
对各个所述第一特征图进行线性投影处理，得到第一特征序列；
将各个所述第一特征序列输入至所述transformers编码器进行位置编码，得到第二特征序列；
将各个所述第二特征序列进行线性投影处理得到第二特征图；
对各个所述第二特征图进行上采样操作，得到第三特征图，各个所述第三特征图的尺寸大小与所述待检测图像的尺寸大小相同；
对全部的所述第三特征图进行融合处理，得到所述分割图像。
在一些实施例中，所述根据所述分割图像确定所述巡检节点的海上溢油检测结果，包括：
当所述分割图像表征所述待检测图像中存在溢油暗斑图像，确定所述海上溢油检测结果为检测不通过；
或者，
当所述分割图像表征所述待检测图像中不存在溢油暗斑图像，确定所述海上溢油检测结果为检测通过。
在一些实施例中，所述无人机与客户端通信连接，所述方法还包括：
在所述分割图像表征所述待检测图像中存在溢油暗斑图像的情况下，确定所述分割图像对应的目标位置信息；
将所述目标位置信息和所述海上溢油检测结果发送至所述客户端，以使所述客户端在预设应用程序的界面上展示所述目标位置信息和所述海上溢油检测结果。
在一些实施例中，所述溢油暗斑分割模型通过指数对数损失函数训练得到。
在一些实施例中，在将所述待检测图像输入至预先训练好的溢油暗斑分割模型进行图像分割处理，得到分割图像之前，所述方法还包括：
根据预设的预处理规则对所述待检测图像进行图像预处理。
第二方面，本申请实施例提供了一种无人机，包括：
巡检区域确定模块，所述巡检区域确定模块用于确定巡检区域，所述巡检区域包括多个巡检节点；
巡检模块，所述巡检模块用于根据多个所述巡检节点确定初始巡检路径，所述初始巡检路径途径一次每个所述巡检节点；
路径规划模块，所述路径规划模块用于以所述初始巡检路径作为人工蜂群算法的初始化种群，通过所述人工蜂群算法确定能耗最优的目标路径；
图像获取模块，所述图像获取模块用于根据所述目标路径进行巡检，并通过设置于所述无人机的SAR图像成像器在各个所述巡检节点拍摄待检测图像；
检测模块，所述检测模块用于将所述待检测图像输入至预先训练好的溢油暗斑分割模型进行图像分割处理，得到分割图像；
海上溢油检测结果判定模块，所述海上溢油检测结果判定模块用于根据所述分割图像确定所述巡检节点的海上溢油检测结果。
第三方面，本申请实施例提供了一种无人机，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于图像分割的海上溢油检测方法。
第三方面，本申请实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如第一方面所述的基于图像分割的海上溢油检测方法。
本申请实施例提供了一种基于图像分割的海上溢油检测方法、无人机、存储介质，其中，方法包括：确定巡检区域，所述巡检区域包括多个巡检节点；根据多个所述巡检节点确定初始巡检路径，所述初始巡检路径途径一次每个所述巡检节点；以所述初始巡检路径作为人工蜂群算法的初始化种群，通过所述人工蜂群算法确定能耗最优的目标路径；根据所述目标路径进行巡检，并通过所述SAR图像成像器在各个所述巡检节点拍摄待检测图像；将所述待检测图像输入至预先训练好的溢油暗斑分割模型进行图像分割处理，得到分割图像；根据所述分割图像确定所述巡检节点的海上溢油检测结果。根据本申请实施例提供的方案，能够结合设置有SAR图像成像器的无人机以及溢油暗斑分割模型对巡检区域进行海上溢油检测，从而有效提高海上溢油检测的效率。
附图说明
图1是本申请一个实施例提供的基于图像分割的海上溢油检测方法的步骤流程图；
图2是本申请另一个实施例提供的确定目标路径的步骤流程图；
图3是本申请另一个实施例提供的得到分割图像的步骤流程图；
图4是本申请另一个实施例提供的确定海上溢油检测结果的步骤流程图；
图5是本申请另一个实施例提供的展示海上溢油检测结果的步骤流程图；
图6是本申请另一个实施例提供的对待检测图像进行图像预处理的步骤流程图；
图7是本申请另一个实施例提供的无人机的模块示意图；
图8是本申请另一个实施例提供的溢油暗斑分割模型的模型结构示意图；
图9是本申请另一个实施例提供的transformers编码器的结构图；
图10是本申请另一个实施例提供的无人机结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
可以理解的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书、权利要求书或上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例提供了一种基于图像分割的海上溢油检测方法、无人机、存储介质，其中，方法包括：确定巡检区域，所述巡检区域包括多个巡检节点；根据多个所述巡检节点确定初始巡检路径，所述初始巡检路径途径一次每个所述巡检节点；以所述初始巡检路径作为人工蜂群算法的初始化种群，通过所述人工蜂群算法确定能耗最优的目标路径；根据所述目标路径进行巡检，并通过所述SAR图像成像器在各个所述巡检节点拍摄待检测图像；将所述待检测图像输入至预先训练好的溢油暗斑分割模型进行图像分割处理，得到分割图像；根据所述分割图像确定所述巡检节点的海上溢油检测结果。根据本申请实施例提供的方案，能够结合设置有SAR图像成像器的无人机以及溢油暗斑分割模型对巡检区域进行海上溢油检测，从而有效提高海上溢油检测的效率。
下面结合附图，对本申请实施例作进一步阐述。
如图1所示，图1是本申请一个实施例提供的基于图像分割的海上溢油检测方法的步骤流程图，本申请实施例提供了一种基于图像分割的海上溢油检测方法，该方法包括但不限于有以下步骤：
步骤S110，确定巡检区域，巡检区域包括多个巡检节点；
步骤S120，根据多个巡检节点确定初始巡检路径，初始巡检路径途径一次每个巡检节点；
步骤S130，以初始巡检路径作为人工蜂群算法的初始化种群，通过人工蜂群算法确定能耗最优的目标路径；
步骤S140，根据目标路径进行巡检，并通过SAR图像成像器在各个巡检节点拍摄待检测图像；
步骤S150，将待检测图像输入至预先训练好的溢油暗斑分割模型进行图像分割处理，得到分割图像；
步骤S160，根据分割图像确定巡检节点的海上溢油检测结果。
需要说明的是，本实施例的无人机可以采用任意类型的无人机，能够确保续航能力足够完成巡检即可，并且为了获取待检测图像，可以在无人机中搭载SAR图像成像器，通过SAR 图像成像器获取待监测图像；巡检区域可以根据实际需求设定，在巡检区域内包括一个起点和多个巡检节点即可。在巡检过程中，无人机从起点出发，途径该区域内所有节点，最终再返回起点，在路过每个节点时利用SAR图像成像器来采集影像。
需要说明的是，人工蜂群算法是一种借鉴了自然界蜂群行为的仿生群分割算法，通过模拟蜜蜂寻找花蜜的方式来寻找最优解，适合运用于环境复杂的巡检任务，即不需要了解问题的特殊信息，只需要对问题进行优劣的比较。人工蜂群算法从随机初始化种群开始，通过领域搜索和聚类更新操作，来产生更适应环境的巡检路线，如此繁衍进化，最后收敛得到最优路径，求得问题的最优解；利用人工蜂群算法获取的目标路径能够有效降低无人机巡检过程中的能耗。
可以理解的是，在无人机确定目标路径之后，可以根据目标路径在巡检区域内进行多次巡检，并利用无人机搭载的SAR图像成像器拍摄待检测图像，通过将待检测图像输入至无人机预先训练好的溢油暗斑分割模型进行图像分割处理，得到分割图像，根据分割图像确定巡检节点的海上溢油检测结果；本申请实施例结合设置有SAR图像成像器的无人机以及溢油暗斑分割模型对巡检区域进行海上溢油检测，无人机体积小，灵活性强且便于携带，从而解决卫星SAR图像的预警不及时的问题，当大量的无人机投入使用时尤其突显它的高效性，无需增加维护人员，不仅节省了人力物力和成本，并且通过无人机的高速飞行以及无人机预先训练好的溢油暗斑分割模型，能够快速准确的识别出溢油目标，保证了近海生态以及近海消防的安全，相较于通过SAR进行海上溢油检测的方案，本申请技术方案能够更有效地提高海上溢油检测的效率以及准确率。
另外，参照图2，在一实施例中，初始巡检路径的数量为多个，图1所示实施例中的步骤S130还包括但不限于有以下步骤：
步骤S210，确定各个初始巡检路径的初始路径能耗；
步骤S220，获取预设的适应度函数，根据适应度函数和初始路径能耗从巡检节点中选取多个待调整节点，各个待调整节点对应有适应度值；
步骤S230，根据预设的聚类算法和适应度值对各个初始巡检路径对应的待调整节点进行聚类处理，得到第一中间巡检路径；
步骤S240，对第一中间巡检路径进行迭代，完成预设的迭代次数后得到第二中间巡检路径；
步骤S250，从第二中间巡检路径中确定目标路径，目标路径表征与执行迭代操作前的第一中间巡检路径互不相同的第二中间巡检路径。
需要说明的是，初始路径能耗通过以下公式得到：
Figure RE-GDA0003788751120000051
其中，P1表示无人机的距离代价；P2表示无人机的转向代价；|θN|表示无人机在第N 个巡检节点的转向角度的绝对值，cost1表示无人机前进产生的能耗，cost2表示无人机转向锁产生的能耗，w1和w2分别为距离代价和转向代价的能耗系数，其中w1＝0.1072；w2＝0.0104； (an,bn)和(an+1,bn+1)为巡检节点坐标。
需要说明的是，适应度函数的公式如下：
Figure RE-GDA0003788751120000052
其中，fi对应第i个种群适应度函数的解，fi的计算公式如下：
Figure RE-GDA0003788751120000053
其中，初始巡检路径的巡检节点表示为：
xij＝xmin+r(0,1)(xmax-xmin))；
其中，xij表示第i个巡检节点的第j维，i∈{1,2,...,N}，j∈{1,2,...,D}，xmin表示节点允许的最小值，xmax表示节点允许的最大值。
需要说明的是，从巡检节点中选取多个待调整节点的公式如下：
vij＝xij+r(-1，1)(xij-xkj)；
其中，
Figure RE-GDA0003788751120000054
vij为新的待调整节点，vij基于以下公式进行选取：
Figure RE-GDA0003788751120000055
其中，pi表示选取第i个巡检节点的概率。
需要说明的是，聚类算法的公式如下：
Figure RE-GDA0003788751120000061
其中，d(xi，Cj)表示聚类中心Cj与类中元素xi的距离；J代表各类内距的和；Cj为第j个种群；xi代表第i个巡检节点，每一个xi都是一个D维向量；其中，Cj的公式如下：
Figure RE-GDA0003788751120000062
可以理解的是，规划无人机巡检路径的具体过程可以为：通过遥感获取目标区域内障碍物并构建模拟地图，初始化人工蜂群算法并确定无人机的最大飞行速度、最小飞行速度、最大转向速度、最小转向速度以及适应度函数的权值；随机生成若干个初始巡检路径，并确定各个初始巡检路径的初始路径能耗，以及通过预设的适应度函数确定各个初始巡检路径中的各个巡检节点的适应度值，进而从巡检节点中选取多个待调整节点，结合聚类算法得到多个第一中间巡检路径，第一中间巡检路径给更新后的最优巡检路径，对第一中间巡检路径进行迭代，完成预设的迭代次数后得到第二中间巡检路径；每个迭代后得到的第二中间巡检路径对应有其迭代前的第一中间巡检路径，当第二中间巡检路径与其对应的第一中间巡检路径互不相同，则选取该第二中间巡检路径为目标路径。
另外，参照图3，在一实施例中，溢油暗斑分割模型包括特征提取器、transformers编码器，图1所示实施例中的步骤S150还包括但不限于有以下步骤：
步骤S310，将待检测图像输入至特征提取器进行特征提取，得到多个第一特征图；
步骤S320，对各个第一特征图进行线性投影处理，得到第一特征序列；
步骤S330，将各个第一特征序列输入至transformers编码器进行位置编码，得到第二特征序列；
步骤S340，将各个第二特征序列进行线性投影处理得到第二特征图；
步骤S350，对各个第二特征图进行上采样操作，得到第三特征图，各个第三特征图的尺寸大小与待检测图像的尺寸大小相同；
步骤S360，对全部的第三特征图进行融合处理，得到分割图像。
需要说明的是，溢油暗斑分割模型可以是基于Transformers的multi-UVit模型，无人机预设的溢油暗斑分割模型可以存在两种阶段：(1)离线学习阶段：首先，下载MSTA等公开数据集的SAR图像用于基于Transformers的multi-UVit模型的预训练；然后通过网络爬虫收集近海溢油暗斑的SAR图像。然后进行数据过滤，选择合理的实际场景近海溢油暗斑的图像；最后，通过手动标记所有溢油暗斑目标，应用于Transformers模型执行离线训练；(2)在线监测阶段，将无人机获取到的待检测图像输入到基于Transformers的multi- UVit模型中，通过在原图像上进行建模，通过multi-UVit模型将会返回一张分割图像，然后根据分割图像确定海上溢油检测结果。
可以理解的是，multi-UVit模型是一种用于小样本训练且保证较高的准确性的网络模型，能够很好地概括样本较少的训练集且保证有较好的泛化能力；用于序列预测的Transformers已经成为具有先天性全局自注意力机制的替代体系结构，但由于其低层语义信息的细节不足，导致定位能力受到限制，而multi-UVit同时具有Transformers和U-Net的优点，并且可以利用各层特征图的特征信息去进行检测识别，一方面，卷积神经网络(Convolutional Neural Networks，CNN)特征图通过位置编码转换成保留位置信息的特征序列输入到Transformers；另一方面，各个Transformers输出的特征向量进行上采样融合之后生成掩码，然后将其与高分辨率的CNN特征图组合以实现精准的定位，因此考虑将Transformers和multi-UVit技术的结合作为海上溢油检测任务的网络模型。
需要说明的是，本申请实施例并不限制溢油暗斑分割模型的具体结构，可以如图8所示，基于该溢油暗斑分割模型具体的图像分割过程为：输入待检测图像，其中CNN首先被作为特征提取器来对输入图片生成3个CNN特征图；3个CNN特征图分别通过Patchembedding以及线性投影生成特征序列，紧接着每个特征序列分别输入到各自的Transformers编码器；最后，将每个Transformers编码器的输出序列重塑为二维特征图，然后通过多个上采样步骤来解码隐藏的特征，最后对三个恢复到输入图片大小的分割图像进行融合并输出最终的包含分割掩码的分割图像。
可以理解的是，在溢油暗斑分割模型中，待检测图像输入至特征提取器进行特征提取并线性投影，得到多个第一特征序列之后，将会失去像素的空间分布信息，因此需要对第一特征序列进行位置编码，考虑在特征序列中加入特定的位置嵌入来保留位置信息，具体实现公式如下：
Figure RE-GDA0003788751120000071
其中，E为将输入的图像块进行线性投影嵌入的表征向量，而Epos为保留输入图像块之间的空间位置信息的表征向量。
需要说明的是，本申请实施例并不限制Transformers编码器的具体结构，可以如图9 所示，Transformers编码器由L层多头自注意力(Multi-headed Self-attention，MSA)和多层感知器(Multilayer perception，MLP)组成；第L层的输出可以表示为如下公式：
z′L＝MSA(LN(zL-1))+ZL-1；
zL＝MLP(LN(z′L))+z′L；
其中，LN指的是层归一化，ZL是编码的图像表示。
可以理解的是，由于用于训练模型的SAR图像的分辨率通常远小于实际需要分析的SAR 图像的分辨率，因此不可避免的会导致底层细节的损失，例如，影响溢油暗斑检测的大小以及边界等，而基于Transformers的multi-UVit模型级联了上采样器，能够实现精准定位分割，以弥补这种信息的损失，从而提高溢油暗斑分割模型得到海上溢油检测结果的准确率，从而能够更加准确地发现近海溢油，提高防灾的准确性。
另外，在一实施例中，参考图4，图1所示实施例中的步骤S160还包括但不限于有以下步骤：
步骤S410，当分割图像表征待检测图像中存在溢油暗斑图像，确定海上溢油检测结果为检测不通过；
或者，
步骤S420，当分割图像表征待检测图像中不存在溢油暗斑图像，确定海上溢油检测结果为检测通过。
可以理解的是，通过分析经过溢油暗斑分割模型得到的分割图像，可以判断待检测图像是否存在溢油暗斑图像，即可判断当前海域是否存在溢油现象，若分割图像表征待检测图像中存在溢油暗斑图像，则当前海域存在溢油现象，需要进行及时排查处理，若分割图像表征待检测图像中不存在溢油暗斑图像，则当前海域不存在溢油现象，从而有效提高了海上溢油检测效率。
另外，在一实施例中，无人机与客户端通信连接，参照图5，本申请实施例提供的基于图像分割的海上溢油检测方法还包括但不限于有以下步骤：
步骤S510，在分割图像表征待检测图像中存在溢油暗斑图像的情况下，确定分割图像对应的目标位置信息；
步骤S520，将目标位置信息和海上溢油检测结果发送至客户端，以使客户端在预设应用程序的界面上展示目标位置信息和海上溢油检测结果。
可以理解的是，在分割图像表征待检测图像中存在溢油暗斑图像的情况下，即当前海域存在溢油现象，确定分割图像对应的目标位置信息(当前存在溢油现象的海域位置，以及溢油位置)，将目标位置信息和海上溢油检测结果发送至客户端，以使相关管理人员根据客户端显示的信息获取溢油位置，以便后续制定溢油处理方案。
另外，参照图6，在一实施例中，在执行图1所示实施例中的步骤S150之前，本申请实施例提供的基于图像分割的海上溢油检测方法还包括但不限于有以下步骤：
步骤S610，根据预设的预处理规则对待检测图像进行图像预处理。
可以理解的是，对待检测图像进行图像预处理主要目的是消除待检测图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而提高后续待检测图像应用的可靠性。
需要说明的是，本申请实施例并不限制对待检测图像进行图像预处理的具体方法，可以是对待检测图像进行图像随机数旋转处理、归一化处理或图像二值化处理等等，本领域技术人员可以根据实际情况进行选用图像预处理的具体方式。
需要说明的是，本申请实施例为了提高溢油暗斑分割模型得到海上溢油检测结果的准确率，通过指数对数损失函数对溢油暗斑分割模型进行训练，指数对数损失函数的公式如下：
LExp＝α1LCE(x)+α2LDice(X,Y)；
其中，LCE的表达式如下：
Figure RE-GDA0003788751120000081
其中，x为具体像素的位置，i为所对应具体像素x的正确标注，pi(x)为具体像素经过 softmax计算之后的概率值；其中，wi的具体表达式如下：
Figure RE-GDA0003788751120000082
其中，fl为所对应的标注k的出现频率；LSice的具体表达式如下：
Figure RE-GDA0003788751120000083
其中，|X∩Y|表示集合X、Y之间的共同元素，|X|表示X中的元素，|Y|表示Y中的元素。这里计算预测的分割图的索伦森-骰子系数，将|X∩Y|近似为预测图和标签图之间的点乘运算(即zij＝xij*yij)，并将结果函数中的元素相加作为|X∩Y|的结果；而|X|和|Y|的量化计算，则是采用取平方求和的方式，即|X|和|Y|内的每一项通过平方累加起来作为|X|和|Y|的输出；其中，在权值α1和α2均取1/2时的LExp损失函数表示为Lfinal，Lfinal具体表达式为：
Figure RE-GDA0003788751120000084
另外，溢油暗斑分割模型在每一个Transformers编码器输出的最终分割图都分别通过 LExp损失函数来计算损失，具体表达式为：
Figure RE-GDA0003788751120000091
其中，i表示第i个Transformers编码器的最终输出的损失；因此溢油暗斑分割模型的损失函数表达式为：
Figure RE-GDA0003788751120000092
另外，参照图7，图7是本申请另一个实施例提供的无人机的模块示意图，在一实施例中，本申请实施例提供了一种无人机700，该无人机700包括：
巡检区域确定模块710，巡检区域确定模块710用于确定巡检区域，巡检区域包括多个巡检节点；
巡检模块720，巡检模块720用于根据多个巡检节点确定初始巡检路径，初始巡检路径途径一次每个巡检节点；
路径规划模块730，路径规划模块730用于以初始巡检路径作为人工蜂群算法的初始化种群，通过人工蜂群算法确定能耗最优的目标路径；
图像获取模块740，图像获取模块740用于根据目标路径进行巡检，并通过设置于无人机的SAR图像成像器在各个巡检节点拍摄待检测图像；
检测模块750，检测模块750用于将待检测图像输入至预先训练好的溢油暗斑分割模型进行图像分割处理，得到分割图像；
海上溢油检测结果判定模块760，海上溢油检测结果判定模块760用于根据分割图像确定巡检节点的海上溢油检测结果。
另外，参考图10，图10是本申请另一个实施例提供的无人机结构图，本申请的一个实施例还提供了一种无人机1000，该无人机1000包括：存储器1010、处理器1020及存储在存储器1010上并可在处理器1020上运行的计算机程序。
处理器1020和存储器1010可以通过总线或者其他方式连接。
实现上述实施例的基于图像分割的海上溢油检测方法所需的非暂态软件程序以及指令存储在存储器1010中，当被处理器1020执行时，执行上述实施例中的应用于无人机1000的基于图像分割的海上溢油检测方法，例如，执行以上描述的图1中的方法步骤S110至步骤 S160、图2中的方法步骤S210至步骤S250、图3中的方法步骤S310至步骤S360、图4中的方法步骤S410至步骤S420、图5中的方法步骤S510至步骤S520、图6中的方法步骤 S610。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
此外，本申请的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，例如，被上述无人机1000实施例中的一个处理器执行，可使得上述处理器执行上述实施例中的应用于无人机的基于图像分割的海上溢油检测方法，例如，执行以上描述的图1中的方法步骤S110 至步骤S160、图2中的方法步骤S210至步骤S250、图3中的方法步骤S310至步骤S360、图4中的方法步骤S410至步骤S420、图5中的方法步骤S510至步骤S520、图6中的方法步骤S610。本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (10)

1.一种基于图像分割的海上溢油检测方法，应用于无人机，所述无人机设置有SAR图像成像器，其特征在于，所述方法包括：
确定巡检区域，所述巡检区域包括多个巡检节点；
根据多个所述巡检节点确定初始巡检路径，所述初始巡检路径途径一次每个所述巡检节点；
以所述初始巡检路径作为人工蜂群算法的初始化种群，通过所述人工蜂群算法确定能耗最优的目标路径；
根据所述目标路径进行巡检，并通过所述SAR图像成像器在各个所述巡检节点拍摄待检测图像；
将所述待检测图像输入至预先训练好的溢油暗斑分割模型进行图像分割处理，得到分割图像；
根据所述分割图像确定所述巡检节点的海上溢油检测结果。
2.根据权利要求1所述的基于图像分割的海上溢油检测方法，其特征在于，所述初始巡检路径的数量为多个；所述通过所述人工蜂群算法确定能耗最优的目标路径，包括：
确定各个所述初始巡检路径的初始路径能耗；
获取预设的适应度函数，根据所述适应度函数和所述初始路径能耗从所述巡检节点中选取多个待调整节点，各个所述待调整节点对应有适应度值；
根据预设的聚类算法和所述适应度值对各个所述初始巡检路径对应的所述待调整节点进行聚类处理，得到第一中间巡检路径；
对所述第一中间巡检路径进行迭代，完成预设的迭代次数后得到第二中间巡检路径；
从所述第二中间巡检路径中确定所述目标路径，所述目标路径表征与执行迭代操作前的所述第一中间巡检路径互不相同的所述第二中间巡检路径。
3.根据权利要求1所述的基于图像分割的海上溢油检测方法，其特征在于，所述溢油暗斑分割模型包括特征提取器和transformers编码器；所述将所述待检测图像输入至预先训练好的溢油暗斑分割模型进行图像分割处理，得到分割图像，包括：
将所述待检测图像输入至所述特征提取器进行特征提取，得到多个第一特征图；
对各个所述第一特征图进行线性投影处理，得到第一特征序列；
将各个所述第一特征序列输入至所述transformers编码器进行位置编码，得到第二特征序列；
将各个所述第二特征序列进行线性投影处理得到第二特征图；
对各个所述第二特征图进行上采样操作，得到第三特征图，各个所述第三特征图的尺寸大小与所述待检测图像的尺寸大小相同；
对全部的所述第三特征图进行融合处理，得到所述分割图像。
4.根据权利要求1所述的基于图像分割的海上溢油检测方法，其特征在于，所述根据所述分割图像确定所述巡检节点的海上溢油检测结果，包括：
当所述分割图像表征所述待检测图像中存在溢油暗斑图像，确定所述海上溢油检测结果为检测不通过；
或者，
当所述分割图像表征所述待检测图像中不存在溢油暗斑图像，确定所述海上溢油检测结果为检测通过。
5.根据权利要求4所述的基于图像分割的海上溢油检测方法，其特征在于，所述无人机与客户端通信连接，所述方法还包括：
在所述分割图像表征所述待检测图像中存在溢油暗斑图像的情况下，确定所述分割图像对应的目标位置信息；
将所述目标位置信息和所述海上溢油检测结果发送至所述客户端，以使所述客户端在预设应用程序的界面上展示所述目标位置信息和所述海上溢油检测结果。
6.根据权利要求1所述的基于图像分割的海上溢油检测方法，其特征在于：所述溢油暗斑分割模型通过指数对数损失函数训练得到。
7.根据权利要求1所述的基于图像分割的海上溢油检测方法，其特征在于，在将所述待检测图像输入至预先训练好的溢油暗斑分割模型进行图像分割处理，得到分割图像之前，所述方法还包括：
根据预设的预处理规则对所述待检测图像进行图像预处理。
8.一种无人机，其特征在于，包括：
巡检区域确定模块，所述巡检区域确定模块用于确定巡检区域，所述巡检区域包括多个巡检节点；
巡检模块，所述巡检模块用于根据多个所述巡检节点确定初始巡检路径，所述初始巡检路径途径一次每个所述巡检节点；
路径规划模块，所述路径规划模块用于以所述初始巡检路径作为人工蜂群算法的初始化种群，通过所述人工蜂群算法确定能耗最优的目标路径；
图像获取模块，所述图像获取模块用于根据所述目标路径进行巡检，并通过设置于所述无人机的SAR图像成像器在各个所述巡检节点拍摄待检测图像；
检测模块，所述检测模块用于将所述待检测图像输入至预先训练好的溢油暗斑分割模型进行图像分割处理，得到分割图像；
海上溢油检测结果判定模块，所述海上溢油检测结果判定模块用于根据所述分割图像确定所述巡检节点的海上溢油检测结果。
9.一种无人机，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的基于图像分割的海上溢油检测方法。
10.一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如权利要求1至7中任意一项所述的基于图像分割的海上溢油检测方法。
CN202210885654.1A 2022-07-26 2022-07-26 基于图像分割的海上溢油检测方法、无人机、存储介质 Pending CN115331122A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210885654.1A CN115331122A (zh) 2022-07-26 2022-07-26 基于图像分割的海上溢油检测方法、无人机、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210885654.1A CN115331122A (zh) 2022-07-26 2022-07-26 基于图像分割的海上溢油检测方法、无人机、存储介质

Publications (1)

Publication Number Publication Date
CN115331122A true CN115331122A (zh) 2022-11-11

Family

ID=83918869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210885654.1A Pending CN115331122A (zh) 2022-07-26 2022-07-26 基于图像分割的海上溢油检测方法、无人机、存储介质

Country Status (1)

Country Link
CN (1) CN115331122A (zh)

Similar Documents

Publication Publication Date Title
US11702175B2 (en) Method for acquiring object information and apparatus for performing same
CN110472483B (zh) 一种面向sar图像的小样本语义特征增强的方法及装置
Nguyen et al. A multi-task deep learning architecture for maritime surveillance using AIS data streams
CN111738112B (zh) 基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法
CN110084234B (zh) 一种基于实例分割的声呐图像目标识别方法
Lee et al. Image-based ship detection and classification for unmanned surface vehicle using real-time object detection neural networks
WO2020046213A1 (en) A method and apparatus for training a neural network to identify cracks
CN107731011B (zh) 一种港口泊船监测方法、系统及电子设备
CN115035361A (zh) 基于注意力机制和特征交叉融合的目标检测方法及系统
CN113706480A (zh) 一种基于关键点多尺度特征融合的点云3d目标检测方法
Park et al. Advanced wildfire detection using generative adversarial network-based augmented datasets and weakly supervised object localization
Chen et al. Ship target detection algorithm based on improved YOLOv3 for maritime image
Zhang et al. A warning framework for avoiding vessel‐bridge and vessel‐vessel collisions based on generative adversarial and dual‐task networks
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法
Gao et al. Road extraction using a dual attention dilated-linknet based on satellite images and floating vehicle trajectory data
CN115115863A (zh) 水面多尺度目标检测方法、装置及系统和存储介质
Yildirim et al. Ship detection in optical remote sensing images using YOLOv4 and Tiny YOLOv4
Zhu et al. YOLOv7-CSAW for maritime target detection
CN116958780A (zh) 一种跨尺度的目标检测方法及系统
CN116977959A (zh) 一种基于信息熵的全天时多模态融合方法及装置
Dong et al. ShipGAN: Generative Adversarial Network based simulation-to-real image translation for ships
CN115331122A (zh) 基于图像分割的海上溢油检测方法、无人机、存储介质
Nguyen et al. Multi-task learning for maritime traffic surveillance from AIS data streams
Feng et al. Lightweight detection network for arbitrary-oriented vehicles in UAV imagery via precise positional information encoding and bidirectional feature fusion
CN115240168A (zh) 感知结果获取方法、装置、计算机设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination