CN111814536B - 一种养殖监测方法和装置 - Google Patents

一种养殖监测方法和装置 Download PDF

Info

Publication number
CN111814536B
CN111814536B CN202010435960.6A CN202010435960A CN111814536B CN 111814536 B CN111814536 B CN 111814536B CN 202010435960 A CN202010435960 A CN 202010435960A CN 111814536 B CN111814536 B CN 111814536B
Authority
CN
China
Prior art keywords
model
layer
feature
image information
characteristic data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010435960.6A
Other languages
English (en)
Other versions
CN111814536A (zh
Inventor
汪涛
温正垚
陈紫文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minjiang University
Original Assignee
Minjiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minjiang University filed Critical Minjiang University
Priority to CN202010435960.6A priority Critical patent/CN111814536B/zh
Publication of CN111814536A publication Critical patent/CN111814536A/zh
Application granted granted Critical
Publication of CN111814536B publication Critical patent/CN111814536B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Agronomy & Crop Science (AREA)
  • Mining & Mineral Resources (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

发明人提出了一种养殖监测方法：获取来自两个或多个位置相邻的图像采集设备的当前时刻的图像信息，所述图像信息可由其来源的图像采集设备提供监测区域特征标识；建立网络模型，具体包括：对来自每一图像采集设备的图像信息进行预处理，然后基于经过预处理的图像信息获取该区域的拼接特征数据；对来自相邻区域的拼接特征数据做加权求和，获得空间融合特征数据；基于空间融合特征数据输出对应检测结果；每隔预设时间间隔，以上述网络模型进行检测计算，并优化检测结果。发明人同时还提供了实现上述方法的养殖监测装置，使得在确保监测速度、稳定性的前提下，具备更加可靠的质量检测精确度和鲁棒性，进而促进该海带养殖监测系统的监测效果。

Description

一种养殖监测方法和装置
技术领域
本发明涉及计算机软件领域，特别涉及一种基于多尺度时空特征融合图像分类算法的养殖物监测方法。
背景技术
中国是水产行业规模庞大的国家，其中，海带产业在世界规模最大，中国的海带产量占世界海带产量的九成以上。海带是一种营养丰富的食用褐藻，含有60多种营养成分，成为一种理想的天然海洋食品。海带的生长受水温、水深、水质等多种环境影响，导致海带生产质量无法得到完全保证，即便是同一片水域下培育的海带其质量往往也参差不齐。另外，水域中的鱼群侵扰也会给海带的生长带来破坏性的影响。
海带的质量好坏一般由海带的色泽、轮廓、表面纹理等属性进行判断。品质优良的海带呈较深的褐色，海带表面无明显斑点，具有较为完整的轮廓。相反，颜色偏浅，表面长有斑点，或是被鱼群食用过导致轮廓残缺的海带可视为质量较差。
传统的海带质量检测方法一般基于人工观观测，经验丰富的海带养殖人员可以通过肉眼识别出海带的质量好坏。然而,对于处在生长期的海带而言,养殖人员无法便捷、频繁地获取到海带的生长质量信息。得益于计算机视觉技术的快速发展，我们可以利用搭载图像分类算法的水下机器人，代替人工观测，构造便捷、实时、精确的海带养殖监测系统。
海带的轮廓、色泽信息属于整体信息，海带上的斑点信息属于局部信息。通用的图像分类算法在多次下采样操作后,常常容易丢失一些位置、细节等信息，反映在海带质量检测任务上可能会导致斑点信息被忽略。
采用多尺度特征融合的做法能够较好的解决下采样过程中信息丢失的问题，同时还可以保留图像的整体信息。将多尺度特征融合机制应用至海带养殖监测系统中，改善图像分类算法对影响海带质量的必要属性的特征感知能力，可提高海带养殖监测系统的整体效果。
因此，有必要发明一种基于多尺度特征融合图像分类算法的海带养殖监测方案。同时，这种监测方案也可以用于其他农业或渔业等养殖监测。
发明内容
基于此，有必要发明一种提供一种基于多尺度特征融合图像分类算法的养殖物监测方案，通过结合摄像头、基于多尺度特征融合图像分类模型、养殖监测客户端，实现智能化、可靠性强的养殖监测，以图在如海带养殖等领域起到较好预期效果。
为此，发明人提出了一种养殖监测方法，包括如下步骤：
获取来自两个或多个位置相邻的图像采集设备的当前时刻的图像信息，所述图像信息可由其来源的图像采集设备提供监测区域特征标识；
建立网络模型，具体包括：对来自每一图像采集设备的图像信息进行预处理，然后基于经过预处理的图像信息获取该区域的拼接特征数据；对来自相邻区域的拼接特征数据做加权求和，获得空间融合特征数据；基于空间融合特征数据输出对应检测结果；
每隔预设时间间隔，以上述网络模型进行检测计算，并优化检测结果。
进一步地，所述的养殖监测方法中，还包括步骤：当一时间范围内的检测结果满足预设条件时，发出通讯信息。
进一步地，所述的养殖监测方法中，所述“建立网络模型”中，以Darknet-53模型为原型构建图像分类模型，其中，模型骨架包括Conv2D卷积块、Residual Block卷积块、UpSampling2D层和Fully Connected层。
进一步地，所述的养殖监测方法中，建立网络模型时，对Darknet-53模型做如下变更：将卷积块中Batch Normalization层替换为Group Nomalization层；并以激活函数SegReLU取代原激活函数Leaky ReLU function。
进一步地，所述的养殖监测方法中，建立网络模型时，对Darknet-53模型做如下变更：舍弃Darknet-53模型中1×1大小的卷积层，并增加SegReLU激活函数层，用于作用于Residual残差块的输出特征。
进一步地，所述的养殖监测方法中，步骤“基于经过预处理的图像信息获取该区域的拼接特征数据”具体包括：获取第一增加输出特征和第二增加输出特征；所述第一增加输出特征的获取为：对模型骨架中第二个Residual Block层提取输出特征，得到的维度为64*64*128；所述第二增加输出特征的获取为：对模型骨架中第四个Residual Block层提取输出特征，得到的维度为16*16*512，然后采用线性插值法对该层输出做上采样操作，获得第二增加输出特征，特征维度为64*64*512；对所述第一增加输出特征和第二增加输出特征做特征拼接处理，得到维度为64*64*640的多尺度特征。
进一步地，所述的养殖监测方法中，所述“对来自相邻区域的拼接特征数据做加权求和，获得空间融合特征数据”步骤中加权求和公式为：
其中，n为相邻区域的区域个数，V为多尺度特征。
进一步地，所述的养殖监测方法中，步骤“基于空间融合特征数据输出对应检测结果”具体包括：构造大小为(640，256)的Fully Connected层、Group Nomalization层与大小为(256，5)的Fully Connected层，并以所述空间融合特征数据为输入，获取的输出结果为0、1、2、3、4之一。
进一步地，所述的养殖监测方法中，所述步骤“每隔预设时间间隔，以上述网络模型进行检测计算，并优化检测结果”具体包括：每隔10-60秒时间，以上述网络模型进行检测计算；
统计3-12小时内的检测计算结果并基于该统计结果获取最终检测结果，所述统计方法如下式：
其中，xn表示第n个时刻网格模型的分类结果中某个类别的概率。
发明人同时还提供了一种养殖监测装置，包括图像信息获取单元、网格模型获取单元和统计单元；
所述图像信息获取单元用于获取来自两个或多个位置相邻的图像采集设备的当前时刻的图像信息，所述图像信息可由其来源的图像采集设备提供监测区域特征标识；
所述网格模型获取单元用于建立网络模型，具体包括：对来自每一图像采集设备的图像信息进行预处理，然后基于经过预处理的图像信息获取该区域的拼接特征数据；对来自相邻区域的拼接特征数据做加权求和，获得空间融合特征数据；基于空间融合特征数据输出对应检测结果；
所述统计单元用于每隔预设时间间隔，对上述网络模型进行检测计算的结果进行优化和统计。
进一步地，所述的养殖监测装置中，还包括通讯单元，所述通讯单元用于当一时间范围内的检测结果满足预设条件时，发出通讯信息。
进一步地，所述的养殖监测装置中，所述网格模型获取单元以Darknet-53模型为原型构建图像分类模型，其中，模型骨架包括Conv2D卷积块、Residual Block卷积块、UpSampling2D层和Fully Connected层。
进一步地，所述的养殖监测装置中，所述网格模型获取单元建立网络模型时，对Darknet-53模型做如下变更：将卷积块中Batch Normalization层替换为GroupNomalization层；并以激活函数SegReLU取代原激活函数Leaky ReLU function。
进一步地，所述的养殖监测装置中，所述网格模型获取单元建立网络模型时，对Darknet-53模型做如下变更：舍弃Darknet-53模型中1×1大小的卷积层，并增加SegReLU激活函数层，用于作用于Residual残差块的输出特征。
进一步地，所述的养殖监测装置中，所述网格模型获取单元包括特征获取模块和拼接模块，所述拼接模块用于基于经过预处理的图像信息获取该区域的拼接特征数据，具体包括：所述特征获取模块获取第一增加输出特征和第二增加输出特征；特征获取模块获取所述第一增加输出特征为：对模型骨架中第二个Residual Block层提取输出特征，得到的维度为64*64*128；特征获取模块获取所述第二增加输出特征为：对模型骨架中第四个Residual Block层提取输出特征，得到的维度为16*16*512，然后采用线性插值法对该层输出做上采样操作，获得第二增加输出特征，特征维度为64*64*512；所述拼接模块对所述第一增加输出特征和第二增加输出特征做特征拼接处理，得到维度为64*64*640的多尺度特征。
进一步地，所述的养殖监测装置中，所述网格模型获取单元还包括空间融合模块，用于对来自相邻区域的拼接特征数据做加权求和，获得空间融合特征数据，加权求和公式为：
其中，n为相邻区域的区域个数，V为多尺度特征。
进一步地，所述的养殖监测装置中，所述网格模型获取单元还包括检测模块，用于基于空间融合特征数据输出对应检测结果，具体包括：构造大小为(640，256)的FullyConnected层、Group Nomalization层与大小为(256，5)的Fully Connected层，并以所述空间融合特征数据为输入，获取的输出结果为0、1、2、3、4之一。
进一步地，所述的养殖监测装置中，统计单元每隔预设时间间隔，对上述网络模型进行检测计算的结果进行优化和统计，具体包括：每隔10-60秒时间，以上述网络模型进行检测计算；
统计3-12小时内的检测计算结果并基于该统计结果获取最终检测结果，所述统计方法如下式：
其中，xn表示第n个时刻网格模型的分类结果中某个类别的概率。
本发明技术方案提出了一种基于多尺度时空特征融合图像分类算法，融合养殖物如海带图像的高低特征层信息，平衡图像分类算法对影响养殖物质量的必要属性的特征感知能力。同时，结合时间、空间维度，使得在确保监测速度、稳定性的前提下，具备更加可靠的质量检测精确度和鲁棒性，进而促进该海带养殖监测系统的监测效果。
附图说明
图1为本发明一实施方式所述的养殖监测方法的流程图；
图2为本发明一实施方式所述的养殖监测装置的结构示意图。
附图标记说明：
1-图像信息获取单元
2-网格模型获取单元
21-特征获取模块
22-拼接模块
23-空间融合模块
24-检测模块
3-统计单元
4-通讯单元
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。
请参阅图1，为本发明一实施方式所述的养殖监测方法的流程图；所述方法包括如下步骤：
S1、获取来自两个或多个位置相邻的图像采集设备的当前时刻的图像信息，所述图像信息可由其来源的图像采集设备提供监测区域特征标识；
本步骤中，每个图像获取装置对应一个相应的区域，以ID标记图像获取装置，并以其与区域的一一对应关系标记区域。
S2、建立网络模型，具体包括：对来自每一图像采集设备的图像信息进行预处理，然后基于经过预处理的图像信息获取该区域的拼接特征数据；对来自相邻区域的拼接特征数据做加权求和，获得空间融合特征数据；基于空间融合特征数据输出对应检测结果；
为了方便后续处理，需要对来自图像采集设备的图像进行预处理操作，本实施方式中具体实现方式是：通过Central crop裁剪方法将图像裁剪为512*512大小，然后对裁剪后的图像进行归一化处理；然后开始以Darknet-53模型为原型构建多尺度时空特征融合图像分类模型。
具体地，本步骤中的“基于经过预处理的图像信息获取该区域的拼接特征数据”处理细节包括：获取第一增加输出特征和第二增加输出特征；所述第一增加输出特征的获取为：对模型骨架中第二个Residual Block层提取输出特征，得到的维度为64*64*128；所述第二增加输出特征的获取为：对模型骨架中第四个Residual Block层提取输出特征，得到的维度为16*16*512，然后采用线性插值法对该层输出做上采样操作，获得第二增加输出特征，特征维度为64*64*512；对所述第一增加输出特征和第二增加输出特征做特征拼接处理，得到维度为64*64*640的多尺度特征。
如前所述，本实施方式增加了对模型骨架的第三层(即第二个Residual Block层)和第五层(即第四个Residual Block层)的输出特征的提取。其中，模型骨架的第三层(即第二个Residual Block层)的输出为64*64*128维特征信息，该特征保留了海带斑点等较为具体的细节信息。模型骨架的第五层(即第四个Residual Block层)的输出为16*16*512维特征信息，该特征保留了大致的轮廓、颜色等整体信息。随后采用线性插值法对该层输出做上采样操作，上采样后特征维度为64*64*512。将上述两部分特征拼接，得到特征维度维64*64*640的多尺度特征。
具体地，在步骤S2中，以Darknet-53模型为原型构建图像分类模型，其中，模型骨架包括Conv2D卷积块、Residual Block卷积块、UpSampling2D层和Fully Connected层；并且，对Darknet-53模型做如下变更：将卷积块中Batch Normalization层替换为GroupNomalization层；并以激活函数SegReLU取代原激活函数Leaky ReLU function；此外，还对Darknet-53模型做如下变更：舍弃Darknet-53模型中1×1大小的卷积层，并增加SegReLU激活函数层，用于作用于Residual残差块的输出特征。
具体地：本实施方式提出一种区别于原模型的DarknetConv2D卷积块，即将卷积块中Batch Normalization层替换为Group Nomalization层，同时提出一种新的激活函数SegReLU，将原来的激活函数Leaky ReLU function：
f(x)＝max(0.01x,x)
替换为SegReLUfunction：
Group Normalization的引入可以解决Batch Normalization对小批次数据训练时效果不佳的问题，增强模型的整体鲁棒性。而SegReLU激活函数综合了ReLU和Leaky ReLU在x＜0区域的效果,并增加了非线性区间，同样有利于提高模型的稳定性。
本发明中,将图像的输入尺寸由适配于原模型的416*416px扩大为512*512px。其中，该512*512px的图像由上述Central crop裁剪方法得到，这样尽可能地保留了更多的养殖物(本实施方式中为海带)的初始特征。
此外，本步骤所述“对来自相邻区域的拼接特征数据做加权求和，获得空间融合特征数据”步骤中加权求和公式为：
其中，n为相邻区域的区域个数，V为多尺度特征。
这一加权求和处理的意义在于：以上过程假设在以不同摄像头为图像输入源的模型上同步运行。由于海带的生长状况在空间排布上呈现一定的稳定性，因此同时选取相邻养殖区域经过模型输出得到的上述64*64*640大小的多尺度特征，得到经过空间融合的多尺度特征，使模型具有更好的空间感知能力。
S2中，步骤“基于空间融合特征数据输出对应检测结果”具体包括：构造大小为(640，256)的Fully Connected层、Group Nomalization层与大小为(256，5)的FullyConnected层，并以所述空间融合特征数据为输入，获取的输出结果为0、1、2、3、4之一，能够分别代表检测结果的五个等级(极差、较差、良好、较好、极好)。
S3、每隔预设时间间隔，以上述网络模型进行检测计算，并优化检测结果；
具体地，本步骤包括：每隔10-60秒时间，以上述网络模型进行检测计算；
统计3-12小时内的检测计算结果并基于该统计结果获取最终检测结果，所述统计方法如下式：
其中，xn表示第n个时刻网格模型的分类结果中某个类别的概率。
S4、进一步地，所述的养殖监测方法中，还包括步骤：当一时间范围内的检测结果满足预设条件时，发出通讯信息。例如，根据上述统计结果，计算出最终该养殖区域海带图像的检测结果，若检测结果未达到良好等级，记录该对应区域并通知养殖人员。
请参阅图2，为本发明一实施例所述养殖监测装置的结构示意图；所述装置包括图像信息获取单元1、网格模型获取单元2和统计单元3；
所述图像信息获取单元1用于获取来自两个或多个位置相邻的图像采集设备的当前时刻的图像信息，所述图像信息可由其来源的图像采集设备提供监测区域特征标识；所述网格模型获取单元2用于建立网络模型，具体包括：对来自每一图像采集设备的图像信息进行预处理，然后基于经过预处理的图像信息获取该区域的拼接特征数据；对来自相邻区域的拼接特征数据做加权求和，获得空间融合特征数据；基于空间融合特征数据输出对应检测结果；所述统计单元3用于每隔预设时间间隔，对上述网络模型进行检测计算的结果进行优化和统计。
进一步地，所述的养殖监测装置中，还包括通讯单元4，所述通讯单元4用于当一时间范围内的检测结果满足预设条件时，发出通讯信息。
进一步地，所述的养殖监测装置中，所述网格模型获取单元2包括特征获取模块21和拼接模块22，所述拼接模块22用于基于经过预处理的图像信息获取该区域的拼接特征数据，具体包括：所述特征获取模块21获取第一增加输出特征和第二增加输出特征；特征获取模块21获取所述第一增加输出特征为：对模型骨架中第二个Residual Block层提取输出特征，得到的维度为64*64*128；特征获取模块21获取所述第二增加输出特征为：对模型骨架中第四个Residual Block层提取输出特征，得到的维度为16*16*512，然后采用线性插值法对该层输出做上采样操作，获得第二增加输出特征，特征维度为64*64*512；所述拼接模块22对所述第一增加输出特征和第二增加输出特征做特征拼接处理，得到维度为64*64*640的多尺度特征。
进一步地，所述的养殖监测装置中，所述网格模型获取单元2还包括空间融合模块23，用于对来自相邻区域的拼接特征数据做加权求和，获得空间融合特征数据。
进一步地，所述的养殖监测装置中，所述网格模型获取单元2还包括检测模块24，用于基于空间融合特征数据输出对应检测结果。
所述的养殖监测装置实现养殖监测方法的方式，具体包括如下步骤：
S1、图像信息获取单元1获取来自两个或多个位置相邻的图像采集设备的当前时刻的图像信息，所述图像信息可由其来源的图像采集设备提供监测区域特征标识；
本步骤中，每个图像获取装置对应一个相应的区域，以ID标记图像获取装置，并以其与区域的一一对应关系标记区域。
S2、网格模型获取单元2建立网络模型，具体包括：对来自每一图像采集设备的图像信息进行预处理，然后基于经过预处理的图像信息获取该区域的拼接特征数据；空间融合模块23对来自相邻区域的拼接特征数据做加权求和，获得空间融合特征数据；检测模块24基于空间融合特征数据输出对应检测结果；也就是说，为了方便后续处理，实际上网格模型获取单元2还包括一个预处理模块，用于对来自图像采集设备的图像信息进行预处理，本实施方式中预处理模块的具体工作方式是：通过Central crop裁剪方法将图像裁剪为512*512大小，然后对裁剪后的图像进行归一化处理。
然后网格模型获取单元2开始以Darknet-53模型为原型构建多尺度时空特征融合图像分类模型。
具体地，所述“基于经过预处理的图像信息获取该区域的拼接特征数据”处理细节包括：特征获取模块21获取第一增加输出特征和第二增加输出特征；所述第一增加输出特征的获取为：对模型骨架中第二个Residual Block层提取输出特征，得到的维度为64*64*128；所述第二增加输出特征的获取为：对模型骨架中第四个Residual Block层提取输出特征，得到的维度为16*16*512，然后采用线性插值法对该层输出做上采样操作，获得第二增加输出特征，特征维度为64*64*512；随后拼接模块22对所述第一增加输出特征和第二增加输出特征做特征拼接处理，得到维度为64*64*640的多尺度特征。
如前所述，本实施方式中增加了特征获取模块21对模型骨架的第三层(即第二个Residual Block层)和第五层(即第四个Residual Block层)的输出特征的提取。其中，模型骨架的第三层(即第二个Residual Block层)的输出为64*64*128维特征信息，该特征保留了海带斑点等较为具体的细节信息。模型骨架的第五层(即第四个Residual Block层)的输出为16*16*512维特征信息，该特征保留了大致的轮廓、颜色等整体信息。随后采用线性插值法对该层输出做上采样操作，上采样后特征维度为64*64*512。拼接模块22将上述两部分特征拼接，得到特征维度维64*64*640的多尺度特征。
具体地，在步骤S2中，网格模型获取单元2以Darknet-53模型为原型构建图像分类模型，其中，模型骨架包括Conv2D卷积块、Residual Block卷积块、UpSampling2D层和FullyConnected层；并且，对Darknet-53模型做如下变更：将卷积块中Batch Normalization层替换为Group Nomalization层；并以激活函数SegReLU取代原激活函数Leaky ReLUfunction；此外，还对Darknet-53模型做如下变更：舍弃Darknet-53模型中1×1大小的卷积层，并增加SegReLU激活函数层，用于作用于Residual残差块的输出特征。
具体地：本实施方式提出一种区别于原模型的DarknetConv2D卷积块，即将卷积块中Batch Normalization层替换为Group Nomalization层，同时提出一种新的激活函数SegReLU，将原来的激活函数Leaky ReLU function：
f(x)＝max(0.01x,x)
替换为SegReLU function：
Group Normalization的引入可以解决Batch Normalization对小批次数据训练时效果不佳的问题，增强模型的整体鲁棒性。而SegReLU激活函数综合了ReLU和Leaky ReLU在x＜0区域的效果,并增加了非线性区间，同样有利于提高模型的稳定性。
本发明中,将图像的输入尺寸由适配于原模型的416*416px扩大为512*512px。其中，该512*512px的图像由上述的预处理模块经由Central crop裁剪方法得到，这样尽可能地保留了更多的养殖物(本实施方式中为海带)的初始特征。
此外，空间融合模块23“对来自相邻区域的拼接特征数据做加权求和，获得空间融合特征数据”步骤中加权求和公式为：
其中，n为相邻区域的区域个数，V为多尺度特征。
这一加权求和处理的意义在于：以上过程假设在以不同摄像头为图像输入源的模型上同步运行。由于海带的生长状况在空间排布上呈现一定的稳定性，因此同时选取相邻养殖区域经过模型输出得到的上述64*64*640大小的多尺度特征，得到经过空间融合的多尺度特征，使模型具有更好的空间感知能力。
S2中，“基于空间融合特征数据输出对应检测结果”具体包括：构造大小为(640，256)的Fully Connected层、Group Nomalization层与大小为(256，5)的Fully Connected层，并以所述空间融合特征数据为输入，获取的输出结果为0、1、2、3、4之一，能够分别代表检测结果的五个等级(极差、较差、良好、较好、极好)。
S3、统计单元3每隔预设时间间隔，以上述网络模型进行检测计算，并优化检测结果；
具体地，本步骤包括：每隔10-60秒时间，以上述网络模型进行检测计算；
统计3-12小时内的检测计算结果并基于该统计结果获取最终检测结果，所述统计方法如下式：
其中，xn表示第n个时刻网格模型的分类结果中某个类别的概率。
S4、进一步地，当一时间范围内的检测结果满足预设条件时，通讯单元4发出通讯信息。例如，根据上述统计结果，计算出最终该养殖区域海带图像的检测结果，若检测结果未达到良好等级，记录该对应区域并由通讯单元4通知养殖人员。
本发明另一实施方式提供了一种的基于多尺度特征融合图像分类算法的养殖监测系统，包括图像采集端、模型预测端与客户端。
图像采集端有多个水下摄像头沿着海带养殖区域排列布局，每个摄像头各自负责小部分监测区域，并通过网络传输拍摄到的海带图像送至模型预测端。客户端设计为手机APP，负责接收每一次的模型预测结果，接收的数据主要由三个字段构成，分别为webcam_ID(摄像头唯一标识)、class(预测结果)、time(预测时间)。客户端记录最近半天内不同区域的预测结果，通过均值判断该区域的海带生长情况是否符合标准。若该区域内的海带监测结果低于良好或良好以上等级，客户端APP将记录该结果，并通知养殖人员相关信息。
模型预测端部署在云服务器上，主要完成对图像采集端图像的预处理操作和对海带图像的质量检测功能。该模型基于Darknet-53改进而成，支持了更大尺寸的图像输入。并融入了多尺度特征融合机制，解决了卷积过程中细节信息丢失问题，使模型更加适用于海带质量检测任务。
其中，模型预测端需要预先经过训练得到较好的预测效果。具体操作如下：
(1)通过分辨率为720P的相机采集较大规模的水下海带养殖图像数据，拍摄时确保图像的高度为1280px，宽度为720px，即高度大于宽度，以适应海带条形形状。
(2)对采集到的海带图像作预处理，通过central crop方法裁剪512*512px大小的图像，进一步对图像进行归一化处理。
(3)针对上述海带数据进行人工标注，标注内容包括：图像中海带的质量评分，分值分别为0(极差)、1(较差)、2(良好)、3(较好)、4(极好)。
(4)将以上数据划分为训练集、验证集、测试集进行模型训练，通过调整参数获得效果尽可能好的模型作为最终的模型预测端模型。
(5)模型预测端输入来自图像采集端的图像，输出对该海带图像的质量检测结果，检测结果为0-4中的某个整型数值，分别为0(极差)、1(较差)、2(良好)、3(较好)、4(极好)。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。
本领域内的技术人员应明白，上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，包括但不限于：RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。
上述各实施例是参照根据实施例所述的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器，使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中，使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机设备上，使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。

Claims (6)

1.一种养殖监测方法，其特征在于，包括如下步骤：
获取来自两个或多个位置相邻的图像采集设备的当前时刻的图像信息，所述图像信息可由其来源的图像采集设备提供监测区域特征标识；
以Darknet-53模型为原型构建图像分类模型，其中，模型骨架包括Conv2D卷积块、Residual Block卷积块、UpSampling2D层和Fully Connected层，并对Darknet-53模型做如下变更：将卷积块中Batch Normalization层替换为Group Nomalization层；并以激活函数SegReLU取代原激活函数Leaky ReLU function；或对Darknet-53模型做如下变更：舍弃Darknet-53模型中1×1大小的卷积层，并增加SegReLU激活函数层，用于作用于Residual残差块的输出特征；建立网络模型，具体包括：
对来自每一图像采集设备的图像信息进行预处理，然后基于经过预处理的图像信息获取该区域的拼接特征数据，具体包括：获取第一增加输出特征和第二增加输出特征；所述第一增加输出特征的获取为：对模型骨架中第二个Residual Block层提取输出特征，得到的维度为64*64*128；所述第二增加输出特征的获取为：对模型骨架中第四个Residual Block层提取输出特征，得到的维度为16*16*512，然后采用线性插值法对该层输出做上采样操作，获得第二增加输出特征，特征维度为64*64*512；对所述第一增加输出特征和第二增加输出特征做特征拼接处理，得到维度为64*64*640的多尺度特征；
对来自相邻区域的拼接特征数据做加权求和，获得空间融合特征数据，加权求和公式为：
其中，n为相邻区域的区域个数，V为多尺度特征；
基于空间融合特征数据输出对应检测结果；
每隔预设时间间隔，以上述网络模型进行检测计算，并优化检测结果，具体包括：每隔10-60秒时间，以上述网络模型进行检测计算；
统计3-12小时内的检测计算结果并基于该统计结果获取最终检测结果，所述统计方法如下式：
其中，xn表示第n个时刻网格模型的分类结果中某个类别的概率。
2.如权利要求1所述的养殖监测方法，其特征在于，还包括步骤：当一时间范围内的检测结果满足预设条件时，发出通讯信息。
3.如权利要求1或2所述的养殖监测方法，其特征在于，步骤“基于空间融合特征数据输出对应检测结果”具体包括：构造大小为(640，256)的Fully Connected层、GroupNomalization层与大小为(256，5)的Fully Connected层，并以所述空间融合特征数据为输入，获取的输出结果为0、1、2、3、4之一。
4.一种养殖监测装置，其特征在于，包括图像信息获取单元、网格模型获取单元和统计单元；
所述图像信息获取单元用于获取来自两个或多个位置相邻的图像采集设备的当前时刻的图像信息，所述图像信息可由其来源的图像采集设备提供监测区域特征标识；
所述网格模型获取单元以Darknet-53模型为原型构建图像分类模型，其中，模型骨架包括Conv2D卷积块、Residual Block卷积块、UpSampling2D层和Fully Connected层；所述网格模型获取单元建立网络模型时，对Darknet-53模型做如下变更：将卷积块中BatchNormalization层替换为Group Nomalization层；并以激活函数SegReLU取代原激活函数Leaky ReLU function；所述网格模型获取单元建立网络模型时，对Darknet-53模型做如下变更：舍弃Darknet-53模型中1×1大小的卷积层，并增加SegReLU激活函数层，用于作用于Residual残差块的输出特征；
所述网格模型获取单元用于建立网络模型，具体包括：对来自每一图像采集设备的图像信息进行预处理，然后基于经过预处理的图像信息获取该区域的拼接特征数据；所述网格模型获取单元包括特征获取模块和拼接模块，所述拼接模块用于基于经过预处理的图像信息获取该区域的拼接特征数据，具体包括：所述特征获取模块获取第一增加输出特征和第二增加输出特征；特征获取模块获取所述第一增加输出特征为：对模型骨架中第二个Residual Block层提取输出特征，得到的维度为64*64*128；特征获取模块获取所述第二增加输出特征为：对模型骨架中第四个Residual Block层提取输出特征，得到的维度为16*16*512，然后采用线性插值法对该层输出做上采样操作，获得第二增加输出特征，特征维度为64*64*512；所述拼接模块对所述第一增加输出特征和第二增加输出特征做特征拼接处理，得到维度为64*64*640的多尺度特征；
所述网格模型获取单元还包括空间融合模块，用于对来自相邻区域的拼接特征数据做加权求和，获得空间融合特征数据，加权求和公式为：
其中，n为相邻区域的区域个数，V为多尺度特征；
基于空间融合特征数据输出对应检测结果；
所述统计单元用于每隔预设时间间隔，对上述网络模型进行检测计算的结果进行优化和统计；统计单元每隔预设时间间隔，对上述网络模型进行检测计算的结果进行优化和统计，具体包括：每隔10-60秒时间，以上述网络模型进行检测计算；
统计3-12小时内的检测计算结果并基于该统计结果获取最终检测结果，所述统计方法如下式：
其中，xn表示第n个时刻网格模型的分类结果中某个类别的概率。
5.如权利要求4所述的养殖监测装置，其特征在于，还包括通讯单元，所述通讯单元用于当一时间范围内的检测结果满足预设条件时，发出通讯信息。
6.如权利要求4或5所述的养殖监测装置，其特征在于，所述网格模型获取单元还包括检测模块，用于基于空间融合特征数据输出对应检测结果，具体包括：构造大小为(640，256)的Fully Connected层、Group Nomalization层与大小为(256，5)的Fully Connected层，并以所述空间融合特征数据为输入，获取的输出结果为0、1、2、3、4之一。
CN202010435960.6A 2020-05-21 2020-05-21 一种养殖监测方法和装置 Active CN111814536B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010435960.6A CN111814536B (zh) 2020-05-21 2020-05-21 一种养殖监测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010435960.6A CN111814536B (zh) 2020-05-21 2020-05-21 一种养殖监测方法和装置

Publications (2)

Publication Number Publication Date
CN111814536A CN111814536A (zh) 2020-10-23
CN111814536B true CN111814536B (zh) 2023-11-28

Family

ID=72847720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010435960.6A Active CN111814536B (zh) 2020-05-21 2020-05-21 一种养殖监测方法和装置

Country Status (1)

Country Link
CN (1) CN111814536B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101403703A (zh) * 2008-11-07 2009-04-08 清华大学 一种皮棉中异性纤维实时检测方法
CN101901481A (zh) * 2010-08-11 2010-12-01 深圳市蓝韵实业有限公司 一种图像拼接方法
CN102201115A (zh) * 2011-04-07 2011-09-28 湖南天幕智能科技有限公司 无人机航拍视频实时全景图拼接方法
CN109635882A (zh) * 2019-01-23 2019-04-16 福州大学 一种基于多尺度卷积特征提取和融合的显著物体检测方法
CN110674866A (zh) * 2019-09-23 2020-01-10 兰州理工大学 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法
CN110796009A (zh) * 2019-09-29 2020-02-14 航天恒星科技有限公司 基于多尺度卷积神经网络模型的海上船只检测方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101403703A (zh) * 2008-11-07 2009-04-08 清华大学 一种皮棉中异性纤维实时检测方法
CN101901481A (zh) * 2010-08-11 2010-12-01 深圳市蓝韵实业有限公司 一种图像拼接方法
CN102201115A (zh) * 2011-04-07 2011-09-28 湖南天幕智能科技有限公司 无人机航拍视频实时全景图拼接方法
CN109635882A (zh) * 2019-01-23 2019-04-16 福州大学 一种基于多尺度卷积特征提取和融合的显著物体检测方法
CN110674866A (zh) * 2019-09-23 2020-01-10 兰州理工大学 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法
CN110796009A (zh) * 2019-09-29 2020-02-14 航天恒星科技有限公司 基于多尺度卷积神经网络模型的海上船只检测方法及系统

Also Published As

Publication number Publication date
CN111814536A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
Wu et al. Using channel pruning-based YOLO v4 deep learning algorithm for the real-time and accurate detection of apple flowers in natural environments
Yin et al. Computer vision and machine learning applied in the mushroom industry: A critical review
CN108921105B (zh) 识别目标数量的方法、装置及计算机可读存储介质
Selvi et al. Weed detection in agricultural fields using deep learning process
Zhang et al. EPSA-YOLO-V5s: A novel method for detecting the survival rate of rapeseed in a plant factory based on multiple guarantee mechanisms
CN115661650A (zh) 一种基于物联网数据监测的农场管理系统
CN115984698A (zh) 一种基于改进YOLOv5的荔枝果实生长期识别方法
CN112767382A (zh) 一种基于深度学习的鱼苗计数方法
CN114581816A (zh) 一种植物工厂茄果类蔬菜果实实时检测与计数方法
CN115797844A (zh) 一种基于神经网络的鱼体鱼病检测方法及系统
CN114724031A (zh) 结合上下文感知和多尺度混合注意力的玉米虫害区域检测方法
CN115687850A (zh) 一种农田的灌溉需水量计算方法及装置
Pramudhita et al. Strawberry Plant Diseases Classification Using CNN Based on MobileNetV3-Large and EfficientNet-B0 Architecture
CN114846998A (zh) 基于YOLOv4算法的双目机器人的番茄采摘方法及系统
CN111814536B (zh) 一种养殖监测方法和装置
CN116630080B (zh) 基于图像识别的水产集约化养殖饲料容量确定方法及系统
CN113158865A (zh) 一种基于EfficientDet的小麦麦穗检测方法
CN108038586A (zh) 一种河蟹养殖的水环境评价方法及系统
CN115661544A (zh) 基于N-MobileNetXt的菠菜幼苗水分胁迫等级分类系统及方法
CN115359324A (zh) 一种中华绒螯蟹头胸甲特征点识别的方法
CN115147835A (zh) 一种基于改进RetinaNet的自然果园场景下的凤梨成熟度检测方法
CN114937030A (zh) 一种用于智慧农业种植生菜的表型参数计算方法
CN114663652A (zh) 图像处理方法、装置、管理系统、电子设备和存储介质
Santhosh Kumar et al. Review on disease detection of plants using image processing and machine learning techniques
CN113344009A (zh) 一种轻小型网络自适应番茄病害特征提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant