CN115376023A - 基于形变卷积网络的养殖区域检测方法、无人机、介质 - Google Patents
基于形变卷积网络的养殖区域检测方法、无人机、介质 Download PDFInfo
- Publication number
- CN115376023A CN115376023A CN202210906484.0A CN202210906484A CN115376023A CN 115376023 A CN115376023 A CN 115376023A CN 202210906484 A CN202210906484 A CN 202210906484A CN 115376023 A CN115376023 A CN 115376023A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- determining
- area
- inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 67
- 238000007689 inspection Methods 0.000 claims abstract description 105
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 238000009313 farming Methods 0.000 claims description 2
- 238000009395 breeding Methods 0.000 abstract description 11
- 230000001488 breeding effect Effects 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 235000020637 scallop Nutrition 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 241000512259 Ascophyllum nodosum Species 0.000 description 2
- 241000238557 Decapoda Species 0.000 description 2
- 241000251511 Holothuroidea Species 0.000 description 2
- 241001596950 Larimichthys crocea Species 0.000 description 2
- 241000237502 Ostreidae Species 0.000 description 2
- 241000237509 Patinopecten sp. Species 0.000 description 2
- 241001417495 Serranidae Species 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000009364 mariculture Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 235000020636 oyster Nutrition 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 241000237503 Pectinidae Species 0.000 description 1
- 238000009360 aquaculture Methods 0.000 description 1
- 244000144974 aquaculture Species 0.000 description 1
- 244000309464 bull Species 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
- G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/52—Scale-space analysis, e.g. wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biomedical Technology (AREA)
- Remote Sensing (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Automation & Control Theory (AREA)
- Radar, Positioning & Navigation (AREA)
- Image Analysis (AREA)
- Physiology (AREA)
- Genetics & Genomics (AREA)
- Aviation & Aerospace Engineering (AREA)
Abstract
本申请实施例公开了一种基于形变卷积网络的养殖区域检测方法、无人机、介质，方法包括：确定可巡检区域，获取预先规划好的养殖区域，将所述可巡检区域中除了所述养殖区域以外的区域确定为目标巡检区域，所述目标巡检区域包括多个巡检节点；根据多个所述巡检节点确定目标巡检路径；根据所述目标巡检路径进行巡检并拍摄待检测图像；将所述待检测图像输入至预先训练好的形变卷积网络模型进行图像识别处理，得到图像预测框，所述图像预测框对应有预测类别信息；根据所述预测类别信息确定养殖区域检测结果。根据本申请实施例提供的方案，能够结合无人机以及形变卷积网络模型对目标巡检区域进行养殖区域的检测，从而有效提高养殖区域的检测效率。
Description
技术领域
本申请涉及但不限于图像处理技术领域，尤其涉及一种基于形变卷积网络的养殖区域检测方法、无人机、介质。
背景技术
近年来，随着水产养殖业的发展，海上养殖区域不断扩张，但是，海上养殖区域的规划不合理，会导致扰乱海域使用秩序，影响海上通航安全对环境保护以及对海洋资源的可持续利用造成威胁，基于此，需要对海域进行排查，及时发现海域中规划不合理的养殖区域。传统的排查方式主要包括人工巡检和卫星影像拍摄等，但是，人工巡检存在周期长、投入人力物力成本高、复杂地形难以巡检的问题；卫星影像拍摄存在更新周期长，费用高，图像质量受天气影响大，且人工检查工作量大的问题，海域中检测规划不合理的养殖区域的效率较低。
发明内容
本申请实施例提供了一种基于形变卷积网络的养殖区域检测方法、无人机、介质，能够有效提高海域中检测养殖区域的效率。
第一方面，本申请实施例提供了一种基于形变卷积网络的养殖区域检测方法，应用于无人机，所述方法包括：
确定可巡检区域，获取预先规划好的养殖区域，将所述可巡检区域中除了所述养殖区域以外的区域确定为目标巡检区域，所述目标巡检区域包括多个巡检节点；
根据多个所述巡检节点确定目标巡检路径；
根据所述目标巡检路径进行巡检并拍摄待检测图像；
将所述待检测图像输入至预先训练好的形变卷积网络模型进行图像识别处理，得到图像预测框，所述图像预测框对应有预测类别信息；
根据所述预测类别信息确定养殖区域检测结果。
在一些实施例中，所述形变卷积网络模型包括残差网络、形变注意力编码器、形变注意力解码器和前馈神经网络；所述将所述待检测图像输入至预先训练好的形变卷积网络模型进行图像识别处理，得到图像预测框，包括：
将所述待检测图像输入至所述残差网络进行图像特征提取，得到目标图像特征；
获取预设的位置编码变量，将所述位置编码变量与所述目标图像特征相加，生成目标序列特征；
将所述目标序列特征输入至所述形变注意力编码器，得到中间向量；
将所述中间向量输入至所述形变注意力解码器，得到解码结果；
将所述解码结果输入至所述前馈神经网络的全连接层，得到所述图像预测框。
在一些实施例中，所述根据所述预测类别信息确定养殖区域检测结果，包括：
当所述预测类别信息符合预设条件，确定所述养殖区域检测结果为所述待检测图像中存在养殖场图像；
或者，
当所述预测类别信息不符合预设条件，确定所述养殖区域检测结果为所述待检测图像中不存在养殖场图像。
在一些实施例中，所述无人机与客户端通信连接，所述方法还包括：
在所述预测类别信息符合预设条件的情况下，确定所述预测类别信息对应的所述图像预测框的目标位置信息；
将所述目标位置信息和所述养殖区域检测结果发送至所述客户端，以使所述客户端在预设应用程序的界面上展示所述养殖区域检测结果和所述目标位置信息。
在一些实施例中，在所述将所述待检测图像输入至预先训练好的形变卷积网络模型进行图像识别处理，得到图像预测框之前，所述方法还包括：
根据预设的预处理规则对所述待检测图像进行图像预处理。
在一些实施例中，所述形变卷积网络模型通过焦点损失函数训练得到。
在一些实施例中，所述无人机巡检区域中设置有多个无人机充电柜，所述方法还包括：
当检测到所述无人机的剩余电量值低于预设的电量阈值，从多个所述无人机充电柜中确定目标充电柜，并获取所述目标充电柜的充电柜位置信息，所述目标充电柜为与当前无人机所在位置距离最近的所述无人机充电柜；
获取当前的环境信息，根据所述环境信息、所述充电柜位置信息和所述剩余电量值确定目标航行信息；
根据所述目标航行信息控制所述无人机飞行至所述目标充电柜。
第二方面，本申请实施例提供了一种无人机，包括：
目标巡检区域确定模块，所述目标巡检区域确定模块用于确定可巡检区域，获取预先规划好的养殖区域，将所述可巡检区域中除了所述养殖区域以外的区域确定为目标巡检区域，所述目标巡检区域包括多个巡检节点；
目标巡检路径获取模块，所述目标巡检路径获取模块用于根据多个所述巡检节点确定目标巡检路径；
待检测图像获取模块，所述待检测图像获取模块用于根据所述目标巡检路径进行巡检并拍摄待检测图像；
图像预测框获取模块，所述图像预测框获取模块用于将所述待检测图像输入至预先训练好的形变卷积网络模型进行图像识别处理，得到图像预测框，所述图像预测框对应有预测类别信息；
养殖区域检测结果获取模块，所述养殖区域检测结果获取模块用于根据所述预测类别信息确定养殖区域检测结果。
第三方面，本申请实施例提供了一种无人机，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于形变卷积网络的养殖区域检测方法。
第三方面，本申请实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如第一方面所述的基于形变卷积网络的养殖区域检测方法。
本申请实施例提供了一种基于形变卷积网络的养殖区域检测方法、无人机、介质，其中，方法包括：确定可巡检区域，获取预先规划好的养殖区域，将所述可巡检区域中除了所述养殖区域以外的区域确定为目标巡检区域，所述目标巡检区域包括多个巡检节点；根据多个所述巡检节点确定目标巡检路径；根据所述目标巡检路径进行巡检并拍摄待检测图像；将所述待检测图像输入至预先训练好的形变卷积网络模型进行图像识别处理，得到图像预测框，所述图像预测框对应有预测类别信息；根据所述预测类别信息确定养殖区域检测结果。根据本申请实施例提供的方案，能够结合无人机以及形变卷积网络模型对目标巡检区域进行养殖区域的检测，从而有效提高养殖区域的检测效率。
附图说明
图1是本申请一个实施例提供的基于形变卷积网络的养殖区域检测方法的步骤流程图；
图2是本申请另一个实施例提供的得到图像预测框的步骤流程图；
图3是本申请另一个实施例提供的确定养殖区域检测结果的步骤流程图；
图4是本申请另一个实施例提供的展示养殖区域检测结果的步骤流程图；
图5是本申请另一个实施例提供的对待检测图像进行图像预处理的步骤流程图；
图6是本申请另一个实施例提供的无人机飞行控制方法的步骤流程图；
图7是本申请另一个实施例提供的无人机的模块示意图；
图8是本申请另一个实施例提供的多头形变模块的网络结构图；
图9是本申请另一个实施例提供的无人机结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
可以理解的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书、权利要求书或上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请提供了一种基于形变卷积网络的养殖区域检测方法、无人机、介质，其中，方法包括：确定可巡检区域，获取预先规划好的养殖区域，将所述可巡检区域中除了所述养殖区域以外的区域确定为目标巡检区域，所述目标巡检区域包括多个巡检节点；根据多个所述巡检节点确定目标巡检路径；根据所述目标巡检路径进行巡检并拍摄待检测图像；将所述待检测图像输入至预先训练好的形变卷积网络模型进行图像识别处理，得到图像预测框，所述图像预测框对应有预测类别信息；根据所述预测类别信息确定养殖区域检测结果。根据本申请实施例提供的方案，能够结合无人机以及形变卷积网络模型对目标巡检区域进行养殖区域的检测，从而有效提高养殖区域的检测效率。
下面结合附图，对本申请实施例作进一步阐述。
如图1所示，图1是本申请一个实施例提供的基于形变卷积网络的养殖区域检测方法的步骤流程图，本申请实施例提供了一种基于形变卷积网络的养殖区域检测方法，应用于无人机，该方法包括但不限于有以下步骤：
步骤S110，确定可巡检区域，获取预先规划好的养殖区域，将可巡检区域中除了养殖区域以外的区域确定为目标巡检区域，目标巡检区域包括多个巡检节点；
步骤S120，根据多个巡检节点确定目标巡检路径；
步骤S130，根据目标巡检路径进行巡检并拍摄待检测图像；
步骤S140，将待检测图像输入至预先训练好的形变卷积网络模型进行图像识别处理，得到图像预测框，图像预测框对应有预测类别信息；
步骤S150，根据预测类别信息确定养殖区域检测结果。
需要说明的是，本实施例的无人机可以采用任意型号的无人机，能够确保续航能力足够完成巡检即可，并且为了获取待检测图像，可以在无人机中搭载遥感设备，本实施例对具体的硬件结构不做改进，能够实现功能即可。
需要说明的是，本申请实施例并不限制确定目标巡检路径的具体方法，可以是通过遗传算法针对目标巡检区域的多个巡检节点进行路径规划得到。
可以理解的是，养殖区域以及可巡检区域可以根据实际需求设定，目标巡检区域为可巡检区域中除了养殖区域以外的区域，在无人机确定目标巡检路径，并接收到巡检指令之后，可以根据目标巡检路径在目标巡检区域进行多次巡检，拍摄待检测图像，通过将待检测图像输入至无人机预先训练好的形变卷积网络模型进行图像识别处理，得到携带有预测类别信息的图像预测框，根据预测类别信息确定待检测图像中是否存在养殖场图像，从而确定区域检测结果；根据本申请实施例提供的方案，能够结合无人机以及形变卷积网络模型对目标巡检区域进行养殖区域的检测，相较于人工巡检和卫星影像拍摄的养殖区域检测方式，能够更有效地提高养殖区域的检测效率。
另外，参照图2，在一实施例中，形变卷积网络模型包括残差网络、形变注意力编码器、形变注意力解码器和前馈神经网络，图1所示实施例中的步骤S140还包括但不限于有以下步骤：
步骤S210，将待检测图像输入至残差网络进行图像特征提取，得到目标图像特征；
步骤S220，获取预设的位置编码变量，将位置编码变量与目标图像特征相加，生成目标序列特征；
步骤S230，将目标序列特征输入至形变注意力编码器，得到中间向量；
步骤S240，将中间向量输入至形变注意力解码器，得到解码结果；
步骤S250，将解码结果输入至前馈神经网络的全连接层，得到图像预测框。
可以理解的是，本申请实施例并不限制训练形变卷积网络模型的训练集的获取方法，可以是通过无人机拍摄海域中不同种类的养殖场图像，将归属于同类养殖区域的养殖场图像作为一个检测对象进行标注，并将以下常见10种养殖区域类型作为标注类别：石斑鱼、鲈鱼、大黄鱼、对虾、扇贝、牡蛎、生蚝、鲍鱼、海参、海带，分别将数据集按80％和20％的比例制作训练集和测试集，在每个类别中，将训练集均等划分为输入图像训练集和查询图像训练集，通过将输入图像训练集和查询图像训练集输入至初始形变卷积网络模型进行训练，得到目标形变卷积网络模型，，每次模型训练将从查询数据集当中随机挑选一个样本当做查询模板，由多头形变模块进行交互从而学习查询特征和输入特征之间的关系，对小样本数据条件下训练来说提升模型学习能力及泛化能力。
可以理解的是，本申请实施例并不限制形变卷积网络模型中的残差网络的具体类型以及具体结构，该残差网络可以是ResNet50网络，ResNet50包括5个网络层：C1、C2、C3、C4、C5；以下以一个具体示例描述将待检测图像输入至残差网络进行图像特征提取，得到目标图像特征的具体过程：待检测图像的数量可以有多个，将多个待检测图像均等划分为第一图像和第二图像，第一图像为
其中，H0,W0为第一图像的尺寸大小(长度、宽度)，第一图像的输入通道数为3；第一图像以0.2的概率使用高斯滤波器模糊处理，模拟无人机海上飞行航拍时因海风因素拍摄图像模糊，将高斯滤波器模糊处理后的第一图像输入至ResNet50，从ResNet50的C1、C2、C3、C4、C5层中分别取出第一目标图像特征
其中，
为第一目标图像特征的尺寸大小，输出通道数为Ci∈{128|i＝1,256|i＝2,512|i＝3,1204|i＝4,2048|i＝5}；为保证不同尺寸输入图像对网络模型的影响，在ResNet50输出后添加一层卷积层，卷积核
其中，通道数C＝256，HK,WK均为1，将所有的第一目标图像特征
映射成
即得到C个大小为H×W的编码器输入序列；将第二图像输入至ResNet50得到第二目标图像特征
即得到C个大小为H×W的编码器查询序列；由于编码器查询序列是随机挑取第二图像通过ResNet50进行特征提取得到，而编码器输入序列是将第一图像输入至ResNet50的每一层网络进行特征提取得到，编码器查询序列以及编码器输入序列来自同一类别当中的不同图像样本，使得形变卷积网络模型获取的信息更加丰富。
可以理解的是，在得到目标图像特征之后，获取预设的位置编码变量，位置编码变量能够捕捉到目标图像特征中的关联信息，位置编码变量的具体公式如下：
其中，dmodel表示位置嵌入的向量维度，dmodel＝512；pos表示位置索引；i表示维度位置，本申请实施例的位置编码为余弦编码形式，从而使得形变注意力编码器的输入信息为ResNet50提取的多尺度特征(即第一目标图像特征以及第二目标图像特征)加上位置编码变量所生成的目标序列特征。
可以理解的是，本申请实施例并不限制形变注意力编码器和形变注意力解码器的具体个数，可以是将形变注意力编码器和形变注意力解码器个数设置为3，通过改进的多头形变模块替换编码器和解码器中的多头自注意力层，使得形变卷积网络模型更好应对无人机拍摄的待检测图像存在图像模糊的现象，对于复杂情况下海上养殖场的检测也更加灵活，从而提升养殖区域检测结果的准确性。
需要说明的是，本领域技术人员有动机根据实际需求选择形变注意力编码器和形变注意力解码器，本申请实施例并不限制注意力编码器和形变注意力解码器的具体结构。
可以理解的是，本申请实施例的形变注意力编码器的自注意力计算方式，可以是根据如下公式得到：
其中，Q为第二目标图像特征对应的编码器查询序列，K为键向量序列，V为值向量序列，Q、K、V分别根据目标图像特征和3个不同的权值矩阵WQ,WK,WV相乘得到；dk为输入向量的维度；根据上述公式得到各个目标图像特征(包括第一目标图像特征和第二目标图像特征)的注意力值，在得到各个目标图像特征的注意力值之后，通过形变注意力编码器的多头形变模块将多个自注意计算结果进行级联拼接，从而得到解码结果，具体计算公式如下：
其中，
为第一目标图像特征；
pq∈[0,1]2是特征图中每个元素参考点的归一化坐标值；m是注意力头部索引；l是输入多尺度特征层的索引；k是采样点索引；Δpmlqk和Amlqk分别是采样点偏移量以及注意力权重分数；
φl(pq)将归一化坐标pq的尺度缩放到第l层的输入特征图像大小；W′m和Wm分别是两个投影，将最终尺度统一调整。可以理解的是，自注意力计算可以计算出所输入的每个目标图像特征之间的相似度，从而获取更多目标图像特征中的细节信息，从而抑制其他无用信息，进而提升养殖区域检测结果的准确性，在得到解码结果之后，将解码结果输入至前馈神经网络的全连接层，得到图像预测框。
需要说明的是，本申请实施例并不对多头形变模块的具体结构做限制，可以是如图8所示，第二目标图像特征通过全局平均池化缩放成1×1×C大小，再经过sigmoid函数得到通道注意力，将通道注意力与每个通道的各自元素相乘得到带有注意力特征的第二目标图像特征。将所得第二目标图像特征放入一个通道数为3MK的线性层中，其中前2MK用来生成形变卷积偏移量，后1MK用来生成注意力分数，M为注意力头部个数，K为输入特征图中针对查询对象生成的偏移量个数，L表示多尺度特征图有L层。将形变卷积计算得到的结果和注意力分数对应相乘并求和，最终将所有的L层的结果都计算出来，并再次做一个求和操作，得到解码结果。
另外，参照图3，在一实施例中，图1所示实施例中的步骤S150还包括但不限于有以下步骤：
步骤S310，当预测类别信息符合预设条件，确定养殖区域检测结果为待检测图像中存在养殖场图像；
或者，
步骤S320，当预测类别信息不符合预设条件，确定养殖区域检测结果为待检测图像中不存在养殖场图像。
可以理解的是，由于无人机的目标巡检区域为可巡检区域中除了预设的养殖区域(即规划合理的养殖区域)以外的区域，通过对预测类别信息进行分析处理确定养殖区域检测结果，预设条件可以是，预测类别信息归属于预设的类别信息表中的类别信息，预设的类别信息表中可以是记载有石斑鱼、鲈鱼、大黄鱼、对虾、扇贝、牡蛎、生蚝、鲍鱼、海参、海带；当预测类别信息符合预设条件，例如预测类别信息为扇贝，归属于类别信息表记载的类别信息，确定养殖区域检测结果为待检测图像中存在养殖场图像，即表示当前海域中存在规划不合理的养殖区域，需要及时进行排查；当预测类别信息不符合预设条件，例如预测类别信息为空，则确定养殖区域检测结果为待检测图像中不存在养殖场图像，即当前海域不存在规划不合理的养殖区域。
另外，在一实施例中，无人机与客户端通信连接，参照图4，本申请实施例提供的基于形变卷积网络的养殖区域检测方法还包括但不限于有以下步骤：
步骤S410，在预测类别信息符合预设条件的情况下，确定预测类别信息对应的图像预测框的目标位置信息；
步骤S420，将目标位置信息和养殖区域检测结果发送至客户端，以使客户端在预设应用程序的界面上展示养殖区域检测结果和目标位置信息。
可以理解的是，本申请实施例中，在预测类别信息符合预设条件的情况下，即当前海域中存在规划不合理的养殖区域，需要及时进行排查，通过确定预测类别信息对应的图像预测框的目标位置信息，将目标位置信息和养殖区域检测结果发送至客户端，以使客户端在预设应用程序的界面上展示养殖区域检测结果，目标位置信息可以包含GPS定位标记，预设应用程序的界面可以是地图界面，从而使得客户端的地图界面中展示图像预测框所对应的养殖区域的GPS定位标记，有助于警务人员根据客户端展示内容排查规划不合理的养殖区域，从而能够方便警务人员进行海域的日常巡检，减少人力物力的消耗，及时发现海域非法养殖情况，及早排查规划不合理的养殖区域。
另外，参照图5，在一实施例中，在执行图1所示实施例中的步骤S140之前，本申请实施例提供的基于形变卷积网络的养殖区域检测方法还包括但不限于有以下步骤：
步骤S510，根据预设的预处理规则对待检测图像进行图像预处理。
可以理解的是，对待检测图像进行图像预处理主要目的是消除待检测图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而提高后续待检测图像应用的可靠性。
需要说明的是，本申请实施例并不限制对待检测图像进行图像预处理的具体方法，可以是对待检测图像进行图像随机数旋转处理、归一化处理或图像二值化处理等等，本领域技术人员可以根据实际情况进行选用图像预处理的具体方式。
需要说明的是，本申请实施例为了提高形变卷积网络模型得到养殖区域检测结果的准确性，通过焦点损失函数对形变卷积网络模型进行训练，焦点损失函数的公式如下：
其中：
其中，
为权重因子，权重因子中的αt能够解决类不平衡问题，在正样本
失，只有在对应预测类别为非空集时有实际取值使用L1正则化以及交并比损失构成。
另外，本申请实施例的形变卷积网络模型的训练过程中还引入了均值平均精度(Mean Average Precision，MAP)作为衡量形变卷积网络模型的性能，通过将形变卷积网络模型调整至MAP值满足预设阈值，从而保证形变卷积网络模型的良好性能。
另外，在一实施例中，无人机巡检区域中设置有多个无人机充电柜，参照图6，本申请实施例提供的基于形变卷积网络的养殖区域检测方法还包括但不限于有以下步骤：
步骤S610，当检测到无人机的剩余电量值低于预设的电量阈值，从多个无人机充电柜中确定目标充电柜，并获取目标充电柜的充电柜位置信息，目标充电柜为与当前无人机所在位置距离最近的无人机充电柜；
步骤S620，获取当前的环境信息，根据环境信息、充电柜位置信息和剩余电量值确定目标航行信息；
步骤S630，根据目标航行信息控制无人机飞行至目标充电柜。
可以理解的是，根据本申请的技术方案，无人机在目标巡检区域进行日常巡检的过程中，实时监测无人机本身的剩余电量值，当检测到无人机的剩余电量值低于预设的电量阈值，从多个无人机充电柜中确定与当前无人机所在位置距离最近的目标充电柜，并根据当前的环境信息、充电柜位置信息和剩余电量值确定目标航行信息，根据目标航行信息控制无人机飞行至目标充电柜进行充电，从而保障无人机的飞行安全。
当检测到无人机的剩余电量值低于预设的电量阈值，从多个无人机充电柜中确定目标充电柜，并获取目标充电柜的充电柜位置信息，目标充电柜为与当前无人机所在位置距离最近的无人机充电柜；获取当前的环境信息，根据环境信息、充电柜位置信息和剩余电量值确定目标航行信息；根据目标航行信息控制无人机飞行至目标充电柜，
另外，参照图7，图7是本申请另一个实施例提供的无人机的模块示意图，在一实施例中，本申请实施例提供了一种无人机700，该无人机700包括：
目标巡检区域确定模块710，目标巡检区域确定模块710用于确定可巡检区域，获取预先规划好的养殖区域，将可巡检区域中除了养殖区域以外的区域确定为目标巡检区域，目标巡检区域包括多个巡检节点；
目标巡检路径获取模块720，目标巡检路径获取模块720用于根据多个巡检节点确定目标巡检路径；
待检测图像获取模块730，待检测图像获取模块730用于根据目标巡检路径进行巡检并拍摄待检测图像；
图像预测框获取模块740，图像预测框获取模块740用于将待检测图像输入至预先训练好的形变卷积网络模型进行图像识别处理，得到图像预测框，图像预测框对应有预测类别信息；
养殖区域检测结果获取模块750，养殖区域检测结果获取模块750用于根据预测类别信息确定养殖区域检测结果。
另外，参考图9，图9是本申请另一个实施例提供的无人机结构图，本申请的一个实施例还提供了一种无人机900，该无人机900包括：存储器910、处理器920及存储在存储器910上并可在处理器920上运行的计算机程序。
处理器920和存储器910可以通过总线或者其他方式连接。
实现上述实施例的基于形变卷积网络的养殖区域检测方法所需的非暂态软件程序以及指令存储在存储器910中，当被处理器920执行时，执行上述实施例中的应用于无人机900的基于形变卷积网络的养殖区域检测方法，例如，执行以上描述的图1中的方法步骤S110至步骤S150、图2中的方法步骤S210至步骤S250、图3中的方法步骤S310至步骤S320、图4中的方法步骤S410至步骤S420、图5中的方法步骤S510、图6中的方法步骤S610至步骤S630。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
此外，本申请的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，例如，被上述无人机900实施例中的一个处理器执行，可使得上述处理器执行上述实施例中的应用于无人机的基于形变卷积网络的养殖区域检测方法，例如，执行以上描述的图1中的方法步骤S110至步骤S150、图2中的方法步骤S210至步骤S250、图3中的方法步骤S310至步骤S320、图4中的方法步骤S410至步骤S420、图5中的方法步骤S510、图6中的方法步骤S610至步骤S630。本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
Claims (10)
1.一种基于形变卷积网络的养殖区域检测方法，应用于无人机，其特征在于，所述方法包括：
确定可巡检区域，获取预先规划好的养殖区域，将所述可巡检区域中除了所述养殖区域以外的区域确定为目标巡检区域，所述目标巡检区域包括多个巡检节点；
根据多个所述巡检节点确定目标巡检路径；
根据所述目标巡检路径进行巡检并拍摄待检测图像；
将所述待检测图像输入至预先训练好的形变卷积网络模型进行图像识别处理，得到图像预测框，所述图像预测框对应有预测类别信息；
根据所述预测类别信息确定养殖区域检测结果。
2.根据权利要求1所述的基于形变卷积网络的养殖区域检测方法，其特征在于，所述形变卷积网络模型包括残差网络、形变注意力编码器、形变注意力解码器和前馈神经网络；所述将所述待检测图像输入至预先训练好的形变卷积网络模型进行图像识别处理，得到图像预测框，包括：
将所述待检测图像输入至所述残差网络进行图像特征提取，得到目标图像特征；
获取预设的位置编码变量，将所述位置编码变量与所述目标图像特征相加，生成目标序列特征；
将所述目标序列特征输入至所述形变注意力编码器，得到中间向量；
将所述中间向量输入至所述形变注意力解码器，得到解码结果；
将所述解码结果输入至所述前馈神经网络的全连接层，得到所述图像预测框。
3.根据权利要求1所述的基于形变卷积网络的养殖区域检测方法，其特征在于，所述根据所述预测类别信息确定养殖区域检测结果，包括：
当所述预测类别信息符合预设条件，确定所述养殖区域检测结果为所述待检测图像中存在养殖场图像；
或者，
当所述预测类别信息不符合预设条件，确定所述养殖区域检测结果为所述待检测图像中不存在养殖场图像。
4.根据权利要求3所述的基于形变卷积网络的养殖区域检测方法，其特征在于，所述无人机与客户端通信连接，所述方法还包括：
在所述预测类别信息符合预设条件的情况下，确定所述预测类别信息对应的所述图像预测框的目标位置信息；
将所述目标位置信息和所述养殖区域检测结果发送至所述客户端，以使所述客户端在预设应用程序的界面上展示所述养殖区域检测结果和所述目标位置信息。
5.根据权利要求1所述的基于形变卷积网络的养殖区域检测方法，其特征在于，在所述将所述待检测图像输入至预先训练好的形变卷积网络模型进行图像识别处理，得到图像预测框之前，所述方法还包括：
根据预设的预处理规则对所述待检测图像进行图像预处理。
6.根据权利要求1所述的基于形变卷积网络的养殖区域检测方法，其特征在于：所述形变卷积网络模型通过焦点损失函数训练得到。
7.根据权利要求1所述的方法，其特征在于，所述无人机巡检区域中设置有多个无人机充电柜，所述方法还包括：
当检测到所述无人机的剩余电量值低于预设的电量阈值，从多个所述无人机充电柜中确定目标充电柜，并获取所述目标充电柜的充电柜位置信息，所述目标充电柜为与当前无人机所在位置距离最近的所述无人机充电柜；
获取当前的环境信息，根据所述环境信息、所述充电柜位置信息和所述剩余电量值确定目标航行信息；
根据所述目标航行信息控制所述无人机飞行至所述目标充电柜。
8.一种无人机，其特征在于，包括：
目标巡检区域确定模块，所述目标巡检区域确定模块用于确定可巡检区域，获取预先规划好的养殖区域，将所述可巡检区域中除了所述养殖区域以外的区域确定为目标巡检区域，所述目标巡检区域包括多个巡检节点；
目标巡检路径获取模块，所述目标巡检路径获取模块用于根据多个所述巡检节点确定目标巡检路径；
待检测图像获取模块，所述待检测图像获取模块用于根据所述目标巡检路径进行巡检并拍摄待检测图像；
图像预测框获取模块，所述图像预测框获取模块用于将所述待检测图像输入至预先训练好的形变卷积网络模型进行图像识别处理，得到图像预测框，所述图像预测框对应有预测类别信息；
养殖区域检测结果获取模块，所述养殖区域检测结果获取模块用于根据所述预测类别信息确定养殖区域检测结果。
9.一种无人机，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的基于形变卷积网络的养殖区域检测方法。
10.一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如权利要求1至7中任意一项所述的基于形变卷积网络的养殖区域检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210906484.0A CN115376023A (zh) | 2022-07-29 | 2022-07-29 | 基于形变卷积网络的养殖区域检测方法、无人机、介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210906484.0A CN115376023A (zh) | 2022-07-29 | 2022-07-29 | 基于形变卷积网络的养殖区域检测方法、无人机、介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115376023A true CN115376023A (zh) | 2022-11-22 |
Family
ID=84064277
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210906484.0A Pending CN115376023A (zh) | 2022-07-29 | 2022-07-29 | 基于形变卷积网络的养殖区域检测方法、无人机、介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115376023A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117934451A (zh) * | 2024-03-13 | 2024-04-26 | 中国水利水电第一工程局有限公司 | 应用于光伏电站的无人机巡检方法及系统 |
-
2022
- 2022-07-29 CN CN202210906484.0A patent/CN115376023A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117934451A (zh) * | 2024-03-13 | 2024-04-26 | 中国水利水电第一工程局有限公司 | 应用于光伏电站的无人机巡检方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107153817B (zh) | 行人重识别数据标注方法和装置 | |
| CN111723657B (zh) | 一种基于YOLOv3与自优化的河道异物检测方法及装置 | |
| CN110796048A (zh) | 一种基于深度神经网络的船舰目标实时检测方法 | |
| CN110321956B (zh) | 一种基于人工智能的牧草病虫害治理方法及装置 | |
| CN110647802A (zh) | 基于深度学习的遥感影像舰船目标检测方法 | |
| Wang et al. | Fast classification and detection of fish images with YOLOv2 | |
| Prayudi et al. | Surveillance system for illegal fishing prevention on UAV imagery using computer vision | |
| CN116206223A (zh) | 一种基于无人机边缘计算的火灾检测方法及系统 | |
| CN115546622A (zh) | 鱼群检测方法及系统、电子设备和存储介质 | |
| Zhu et al. | YOLOv7-CSAW for maritime target detection | |
| CN115376023A (zh) | 基于形变卷积网络的养殖区域检测方法、无人机、介质 | |
| Nixon | Computer vision neural network using YOLOv4 for underwater fish video detection In Roatan, Honduras | |
| CN115578423A (zh) | 基于深度学习的鱼类关键点检测、个体追踪和生物量估算方法及系统 | |
| CN115115863A (zh) | 水面多尺度目标检测方法、装置及系统和存储介质 | |
| CN111310837A (zh) | 车辆改装识别方法、装置、系统、介质和设备 | |
| CN110674823A (zh) | 一种基于深海大型底栖动物自动识别的样本库构建方法 | |
| CN116562467B (zh) | 一种海洋鱼类目标种类识别及分布预测方法及系统 | |
| CN113569081A (zh) | 图像识别方法、装置、设备及存储介质 | |
| CN112329550A (zh) | 基于弱监督学习的受灾建筑快速定位评估方法及装置 | |
| CN116206195A (zh) | 近海养殖物目标检测方法、系统、存储介质及计算机设备 | |
| CN116052207A (zh) | 基于改进YOLOv7的鸟类识别方法、系统及介质 | |
| CN114663683A (zh) | 一种基于空间特征自监督的水下目标检测方法 | |
| CN114782519A (zh) | 基于点云信息的球形或类球形物体定位方法、装置及介质 | |
| Mu et al. | Small scale dog face detection using improved Faster RCNN | |
| Shen et al. | Optical Prior‐Based Underwater Object Detection with Active Imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |