CN113349111A - 一种用于水产养殖物的动态投喂方法、系统和存储介质 - Google Patents
一种用于水产养殖物的动态投喂方法、系统和存储介质 Download PDFInfo
- Publication number
- CN113349111A CN113349111A CN202110573916.6A CN202110573916A CN113349111A CN 113349111 A CN113349111 A CN 113349111A CN 202110573916 A CN202110573916 A CN 202110573916A CN 113349111 A CN113349111 A CN 113349111A
- Authority
- CN
- China
- Prior art keywords
- aquaculture
- image
- feeding
- degree
- snatching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009360 aquaculture Methods 0.000 title claims abstract description 121
- 244000144974 aquaculture Species 0.000 title claims abstract description 121
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000003860 storage Methods 0.000 title claims abstract description 9
- 230000037406 food intake Effects 0.000 claims abstract description 116
- 230000001105 regulatory effect Effects 0.000 claims abstract description 10
- 230000001276 controlling effect Effects 0.000 claims abstract description 8
- 235000013305 food Nutrition 0.000 claims description 32
- 235000012631 food intake Nutrition 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 22
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 239000006185 dispersion Substances 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 7
- 238000005266 casting Methods 0.000 description 7
- 241000251468 Actinopterygii Species 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000002146 bilateral effect Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 239000002699 waste material Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000004634 feeding behavior Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003134 recirculating effect Effects 0.000 description 2
- 241000238424 Crustacea Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K61/00—Culture of aquatic animals
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K61/00—Culture of aquatic animals
- A01K61/80—Feeding devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
- Y02A40/81—Aquaculture, e.g. of fish
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Environmental Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Marine Sciences & Fisheries (AREA)
- Zoology (AREA)
- Animal Husbandry (AREA)
- Biodiversity & Conservation Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种用于水产养殖物的动态投喂方法、系统和存储介质，所述方法包括：获取水产养殖物的摄食图像；将所述摄食图像输入至经训练的多任务模型中，得到对应所述水产养殖物的抢食程度和残饵数量，其中所述多任务模型是基于抢食程度分类网络和残饵计数网络构建的；以及根据所述抢食程度和所述残饵数量动态地调控投喂过程。通过本发明可以解决现有水产养殖物投喂方法中存在的动态调整性弱、适应性差、精度低的问题，实现对水产养殖物的科学、合理、精准投喂。
Description
技术领域
本发明涉及水产养殖技术领域，尤其涉及一种用于水产养殖物的动态投喂方法、系统和存储介质。
背景技术
伴随着工业化和农业现代化进程，水产养殖逐渐从粗放养殖转向集约化养殖，其中在集约化养殖中，工厂化循环水养殖作为一种新型高密度养殖方式已经得到了迅速发展。在循环水养殖中，饵料投喂是非常关键的环节，科学有效的自动化饵料投喂方法不仅可以提高生产效率，而且可以减少不必要的生产成本。
目前在实际水产养殖中，常用的投喂方式主要有两种，分别是人工投喂和机器定时定量投喂，其中人工投喂方法不仅费时费力，且投喂效率低，而机器定时定量的投喂方法只能通过人工经验进行预设，无法根据水产养殖物(例如，鱼类、甲壳类)的实际摄食需求自动调整投喂量和投喂间隔，给养殖环境和水产养殖物生长都带来了不良影响。随着信息技术的发展，许多基于水产养殖物摄食行为状态的投喂研究被提出，然而单纯依靠水产养殖物自身摄食行为状态而不考虑当前养殖池是否存在残饵，仍然会造成饵料的浪费和过量的投喂，成为水产养殖中的隐患。除此以外，由于养殖环境复杂，传统的机器视觉方法在对水产养殖物摄食状态进行评估过程中往往存在精度低、稳定性差等问题。
发明内容
本发明提供一种用于水产养殖物的动态投喂方法、系统和存储介质，用以解决现有水产养殖物投喂方法动态调整性弱、适应性差、精度低的缺陷，实现对水产养殖物的科学、合理、精准投喂。
具体地，本发明实施例提供了以下技术方案：
第一方面，本发明提供一种用于水产养殖物的动态投喂方法，该方法包括：
获取水产养殖物的摄食图像；
将所述摄食图像输入至经训练的多任务模型中，得到对应所述水产养殖物的抢食程度和残饵数量，其中，所述多任务模型是基于抢食程度分类网络和残饵计数网络构建的；以及
根据所述抢食程度和所述残饵数量动态地调控投喂过程。
进一步地，所述方法还包括：训练所述多任务模型，所述训练所述多任务模型包括：
采集所述水产养殖物的不同角度的摄食图像，对所述摄食图像进行预处理，得到目标摄食图像；
对所述目标摄食图像进行抢食程度分类标注和残饵密度图标注，确定目标摄食数据集；以及
基于所述目标摄食数据集对构建的多任务模型进行训练。
进一步地，所述采集所述水产养殖物的不同角度的摄食图像，对所述摄食图像进行预处理，得到目标摄食图像，包括：
获取水产养殖物在摄食过程中的不同角度的所述摄食图像；
对所述摄食图像进行增强处理，获得第一图像；
对所述第一图像进行去噪处理，获得第二图像；
对所述第二图像进行色彩校正，获得目标摄食图像。
进一步地，所述对所述目标摄食图像进行抢食程度分类标注和残饵密度图标注，确定目标摄食数据集，包括：
对所述目标摄食图像中所述水产养殖物的抢食程度进行分类评价，确定所述水产养殖物的抢食程度；
生成对应目标摄食图像的残饵密度图；
根据所述抢食程度和所述残饵密度图确定所述目标摄食数据集，其中所述目标摄食数据集包括所述目标摄食图像、对应于所述目标摄食图像的抢食程度和对应于所述目标摄食图像的残饵密度图。
进一步地，通过如下公式计算所述残饵密度图：
其中，F(x)表示残饵密度图；N表示残饵数量；x表示任意的图像坐标；xi表示残饵具体位置的坐标；δ(x-xi)表示残饵位置函数；
表示自适应高斯核函数；σi表示自适应高斯核函数的标准差；β表示权重系数；
表示xi与k个最近标记的平均距离。
进一步地，所述对所述目标摄食图像中所述水产养殖物的抢食程度进行分类评价，确定所述水产养殖物的抢食程度，包括：
若目标摄食图像中的所述水产养殖物的摄食呈现激烈抢食状态且具有高度聚集性，则判定所述抢食程度为强；
若目标摄食图像中的所述水产养殖物在摄食过程中游出饵料所在区域且呈现一定的分散状态，则判定所述抢食程度为中；
若目标摄食图像中的部分所述水产养殖物不再游动抢食，只食用面前的饵料且呈现较大的分散状态，则判定所述抢食程度为弱；
若目标摄食图像中的所述水产养殖物对饵料无反应，则判定所述抢食程度为无。
进一步地，所述根据所述抢食程度和所述残饵数量动态地调控投喂过程，包括：
根据水产养殖物前一阶段的所述抢食程度来判定下一阶段的投喂量；并且
根据前一阶段的残饵数量是否超过预设阈值来判定下一阶段的投喂过程是否需要启动。
进一步地，所述多任务模型包括共享前端网络和分支网络，其中所述分支网络包括抢食程度分类网络和残饵计数网络，所述共享前端网络的输入为目标摄食图像，
所述抢食程度分类网络由卷积模块、平均池化层和全连接层构成，其中抢食程度分类网络的输入为所述共享前端网络的输出特征，抢食程度分类网络的输出为抢食程度类别对应的概率；
所述残饵计数网络由空洞卷积和普通卷积串联组成，其中残饵计数网络的输入为所述共享前端网络的输出特征，残饵计数网络的输出为残饵密度图。
第二方面，本发明提供一种用于水产养殖物的动态投喂系统，包括：
获取模块，用于获取水产养殖物的摄食图像；
抢食程度和残饵数量确定模块，用于将所述摄食图像输入至经训练的多任务模型中，得到对应所述水产养殖物的抢食程度和残饵数量，其中，所述多任务模型是基于抢食程度分类网络和残饵计数网络构建的；以及
调控模块，用于根据所述抢食程度和残饵数量动态地调控投喂过程。
第三方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的用于水产养殖物的动态投喂方法的步骤。
本发明提供的一种用于水产养殖物的动态投喂方法及系统，通过获取水产养殖物摄食过程中的摄食图像，并对摄食图像进行预处理，得到目标摄食图像，将目标摄食图像输入到目标多任务模型中，可以自动评估水产养殖物当前的抢食程度和残饵数量，并根据制定的投喂规则和获取的摄食信息动态调节投饵机投喂间隔和投喂量。由于目标多任务模型是基本大量样本训练得到，因此，相比于传统机器视觉方法，该方法具有更好的准确性和稳定性。根据准确的分析结果和合理的投喂规则，可以实现水产养殖物的动态调控投喂，降低饲料的浪费，保证水产养殖物的摄食福利。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明一个实施例的用于水产养殖物的动态投喂方法的流程图；
图2是根据本发明一个实施例的水产养殖物摄食图像预处理方法的流程图；
图3是根据本发明一个实施例的目标摄食图像数据标注方法的流程图；
图4是根据本发明一个实施例的多任务模型网络训练过程的示意图；以及
图5根据本发明另一实施例的用于水产养殖物的动态投喂系统的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是根据本发明一个实施例的用于水产养殖物的动态投喂方法的流程图。参照图1，大体上，该方法可以包括如下步骤：
步骤101：获取水产养殖物的摄食图像；
步骤102：将所述摄食图像输入至经训练的多任务模型中，得到对应所述水产养殖物的抢食程度和残饵数量，其中，所述多任务模型是基于抢食程度分类网络和残饵计数网络构建的；以及
步骤103：根据所述抢食程度和所述残饵数量动态地调控投喂过程。
具体地，为了便于理解，将以该方法在实际操作中的步骤的顺序来进行说明，在一个示例中，该方法在实际操作中的步骤如下：
步骤1：采集所述水产养殖物的不同角度的摄食图像，对所述摄食图像进行预处理，得到目标摄食图像；
步骤2：对所述目标摄食图像进行抢食程度分类标注和残饵密度图标注，确定目标摄食数据集；
步骤3：构建多任务模型并根据所述目标摄食数据集对所述多任务模型进行训练，得到目标多任务模型，将预定的摄食图像(待确定抢食程度和残饵数量的摄食图像)输入到经训练的所述目标多任务模型中以输出对应的所述水产养殖物的抢食程度和残饵数量；
步骤4：根据所述抢食程度和所述残饵数量动态地调控投喂过程。
在本实施例中，需要说明的是，在步骤1中可以采集水产养殖系统中水产养殖物不同角度的摄食图像，也就是说，可以将相机安装在水产养殖系统的不同位置，在不同的投喂时间点采集水产养殖物在摄食过程中的摄食视频或图像，获取不同时刻不同角度的摄食图像的目的是可以得到更多样性的数据，保证网络训练的稳定性。其中，相机可以为工业相机，也可以为其他类型的监控相机，本实施例对此不作限制。
在本实施例中，应当理解的是，在步骤1中对摄食图像进行预处理的目的是为了校正图像的亮度和对比度，以及减少图像中的噪声，提高图像的质量，保证结果的准确性。
在本实施例中，需要说明的是，步骤2中的目标摄食数据集，主要包括目标摄食图像、目标摄食图像对应的抢食程度标签和目标摄食图像对应的残饵密度图。
在本实施例中，需要说明的是，步骤3中的多任务模型可以由共享前端网络、抢食程度分类网络和残饵计数网络构建，其中共享前端网络位于抢食程度分类网络和残饵计数网络前部，两者共享前端网络的输出特征。多任务模型的输入数据为目标摄食图像，输出数据为目标摄食图像在四个抢食程度类别中对应的概率和残饵密度图，其中，取四个类别中概率最大类别为预测抢食程度类别，对输出的残饵密度图的所有像素点值进行累加，即可得到目标摄食图像对应的残饵数量。在多任务模型训练过程中，将目标摄食数据集作为输入，将水产养殖物抢食程度标签和残饵密度图作为目标值来进行多任务模型的训练，根据行为分类结果和残饵密度图估计的结果计算损失函数，直到达到设定训练的迭代次数或损失函数值收敛并趋于稳定，获得目标多任务模型。
在本实施例中，应当理解的是，水产养殖物的抢食程度和残饵数量存在一定的关系，采用多任务模型对抢食程度分类网络和残饵计数网络进行联合训练，不仅可以同时获取两种信息，而且可以提高两个任务的识别精度和网络的泛化性能。
在本实施例中，需要说明的是，在步骤4中可以根据水产养殖物的抢食程度和残饵数量制定投喂规则，采用间隔投喂方式，根据水产养殖物前一阶段的抢食程度判定下一阶段水产养殖物需要的投喂量，根据前一阶段的残饵数量决策下一阶段投饵机何时开启。
在本实施例中，需要说明的是，在步骤4中可以根据水产养殖物的抢食程度和残饵数量制定投喂规则，动态调节投饵机投喂间隔和投喂量，其中，在投喂过程中，投饵机采用间隔投喂方式，也就是一次投喂分几个阶段进行，在一个投喂阶段结束后，根据水产养殖物前一阶段的抢食程度判定下一阶段水产养殖物需要的投喂量，根据前一阶段的残饵数量决策下一阶段投饵机何时开启，直到本次投喂结束。
在本实施例中，应当理解是，步骤4中的动态调节投饵机投喂间隔和投喂量、水产养殖物在摄食过程中的摄食状态是动态变化的，根据水产养殖物自身反馈的抢食程度进行投喂量的调节，可以防止水产养殖物的过量投喂。可以根据水产养殖系统内残饵数量进行投喂间隔的调节，也就是说在每个投喂阶段都会判断当前水产养殖系统内的残饵量，当残饵量高于预设的阈值，不开启下一阶段的投喂，直到低于阈值，方可开启下一阶段的投喂，根据残饵量调节投喂间隔可以有效降低饵料的浪费。
在一个示例中，所述水产养殖物为鱼类，当然，本文的水产养殖物也可以为除了鱼类以外的其他在水中进行饲养的养殖物。
图2是根据本发明一个实施例的水产养殖物摄食图像预处理方法的流程图。参照图2，该方法包括：
步骤201：对所述摄食图像进行增强处理，获得第一图像；
步骤202：对所述第一图像进行去噪处理，获得第二图像；
步骤203：对所述第二图像进行色彩校正，获得目标摄食图像。
在本实施例中，需要说明的是，在步骤201中，可以采用预设的单尺度Retinex对所述的摄食图像进行增强处理，获得第一图像。具体地，首先可以对所述的摄食图像I(x,y)进行RGB分通道处理，将各颜色通道经过对数处理转换到对数域，并分离出反射光图像和入射光图像，具体计算公式如下：
其中，i∈(R,G,B)，对应的Ii(x,y),Li(x,y),Ri(x,y)分别表示第i个颜色通道的目标摄食图像、入射光图像和反射光图像。
使用低通高斯滤波函数G(x,y)和摄食图像I(x,y)进行卷积，可以估计出入射光图像，利用估计的入射光图像，可以进一步得到反射光图像的对数形式，具体计算公式如下：
Li(x,y)＝Ii(x,y)*G(x,y) (2)
log[Ri(x,y)]＝logIi(x,y)-log[Ii(x,y)*G(x,y)] (4)
其中，*表示卷积运算操作，λ表示归一化因子，σ表示低通高斯滤波函数的尺度参数，其中σ的大小影响图像增强的效果。
对反射光图像的对数形式进行指数计算，可以得到实数域的反射图像，即得到了增强后图像，具体计算公式如下：
I1(x,y)＝Ri(x,y)＝exp(log[Ri(x,y)]) (5)
基于上述过程，可以得到基于预设单尺度Retinex处理后的增强图像，也就是第一图像I1(x,y)。
在本实施例中，需要说明的是，在步骤202中，可以采用预设的自适应双边滤波方法对所述第一图像进行去噪处理，获得第二图像。具体地，自适应双边滤波同时考虑了像素点的空间邻近度和灰度相似性，去噪后图像的像素值为其邻域像素值的加权平均，其中加权系数为空间邻近度系数和灰度相似性系数的乘积。在第一图像中，以大小为(2N+1)×(2N+1)空间邻域像素集合为模板T，其中(x,y)为模板T 的中心，通过计算模板像素点与中心像素距离，可以得到空间邻近度系数，计算模板像素点与中心像素的差值，得到灰度相似性系数，将两个系数相乘得到双边滤波的加权系数，利用加权系数对第一图像进行滤波，进而得到噪声去除后的第二图像I2(x,y)，具体计算过程如下：
wt＝wn×ws (8)
其中，wn为空间邻近度系数，ws为空间邻近度系数，(i，j)表示模板T中任意一点，(x，y)表示模板T的中心点，f(i，j)为模板T中(i，j) 点的像素值，f(x，y)表示模板T的中心点像素，σn和σs为滤波参数。
基于上述过程，采用预设的自适应双边滤波方法对所述第一图像进行去噪处理，可以得到去噪后图像，也就是第二图像I2(x，y)。
在本实施例中，需要说明的是，在步骤203中，可以采用预设的伽马变换对增强去噪后的图像进行进一步颜色校正，最终获得目标摄食图像。伽马校正具体计算公式如下：
If(x，y)＝255×(I2(x，y)/255)1/r (10)
其中，I2(x，y)表示输入图像，If(x，y)为校正后图像，r为固定选取的值，图像经过校正后会有更加均匀的色彩和亮度。
经过上述图像增强、图像去噪和图像校正可以得到预处理后图像，也就是目标摄食图像。
图3是根据本发明一个实施例的目标摄食图像数据标注方法的流程图。参照图3，该方法包括：
步骤301：对所述目标摄食图像中所述水产养殖物的抢食程度进行分类评价，确定所述水产养殖物的抢食程度；
步骤302：生成对应目标摄食图像的残饵密度图；
步骤303：根据所述抢食程度和所述残饵密度图确定所述目标摄食数据集。
在本实施例中，需要说明的是，可以通过以下规则对目标摄食图像中水产养殖物的抢食程度进行分类评价，以确定所述水产养殖物的抢食程度：若目标摄食图像中的水产养殖物的摄食呈现激烈抢食状态且具有高度聚集性，则判定抢食程度为强；若目标摄食图像中的水产养殖物在摄食过程中游出饵料所在区域且呈现一定的分散状态，则判定抢食程度为中；若目标摄食图像中的部分水产养殖物不再游动抢食，只食用面前的饵料且呈现较大的分散状态，则判定抢食程度为弱；若目标摄食图像中的水产养殖物对饵料无反应，则判定抢食程度为无。
在步骤301中可以组织评价人员，根据抢食程度分类规则，为目标摄食图像中水产养殖物的抢食程度进行分类评价，例如可以召集 10名评价人员，其中5名从事过水产养殖类工作，另外5名从事过图像处理类工作，10名评价人员根据抢食程度分类规则，将每幅目标摄食图像中水产养殖物的抢食程度分为强、中、弱、无四类，评价人员对每幅目标摄食图像进行投票，对每幅目标摄食图像选择投票最多的一类作为最终的抢食程度分类标签。
在本实施例中，需要说明的是，在步骤302中可以通过标注目标摄食图像中残饵的中心得到目标摄食图像中残饵的二维坐标和残饵总数，并使用自适应高斯核生成对应目标摄食图像的残饵密度图，具体包括以下步骤：
(1)对残饵图像进行标注：假设在xi处存在一个残饵标记，可以将其表示为一个残饵位置函数δ(x-xi)，因此，对于一个有N个残饵点的目标摄食图像，可以将其表示为H(x)，其中H(x)包含所有残饵的二维位置标记，具体计算如下：
(2)将残饵位置标记图像转换为残饵密度图：将H(x)与标准化的高斯核函数Gσ(x)卷积运算，得到目标摄食图像残饵密度图：
其中，F(x)表示生成的残饵密度图；N表示残饵数量；x表示任意的图像坐标；xi表示残饵具体位置的坐标；δ(x-xi)表示残饵位置函数；
表示高斯核；σi表示高斯核的标准差；β表示权重系数；
表示xi与k个最近标记的平均距离。
可以根据上述步骤得到抢食程度分类标签和残饵密度图确定目标摄食数据集。
图4是根据本发明一个实施例的多任务模型网络训练过程的示意图。参照图4，多任务模型可以由共享前端网络，抢食程度分类网络和残饵计数网络联合构建，具体包括：
所述多任务模型的训练网络可以采用共享前端网络，抢食程度分类网络和残饵计数网络联合建立；
共享前端网络可以基于Resnet18的前五个卷积层以及批处理标准化层和跳跃连接构成，共享前端网络的输出大小为原始图像的1/8，共享前端网络的输入为目标摄食图像，共享网络的输出特征用于抢食程度分类网络和残饵计数网络分别进行训练。
抢食程度分类网络可以由两个卷积模块以及全连接层构成，其中，每个卷积模块由两个卷积层、批处理化层和池化层依次连接而成，卷积层的卷积核大小均为5x5，两个卷积模块后连接全连接层，通过全连接层输出抢食程度每个类别的概率，选择概率最大的值对应的抢食程度类别作为抢食程度分类结果。抢食程度分类网络的输入为所述共享前端网络的输出特征，输出为四个抢食程度类别对应的概率，取四个类别中概率最大类别为预测抢食程度类别。
残饵计数网络可以由四层空洞卷积和一层普通卷积串联组成，四层空洞卷积的卷积核大小为3x3，空洞率为2，最后一层普通卷积的卷积核大小为1x1，其中残饵计数网络的输入为所述共享前端网络的输出特征，残饵计数网络的输出为残饵密度图，对输出的残饵密度图的所有像素点值进行累加，即可得到目标摄食图像对应的残饵数量。
基于上述任一实施例，本发明实施例提供的对多任务模型进行训练如下：
具体地，预先设定网络训练的基本参数，批处理大小为8，学习率为1x10-4，最大迭代次数为500次，权重衰减设置为0.0001，使用Adgrad优化算法更新模型的权重。
采用目标摄食数据集对多任务模型进行训练，根据多任务模型输出的抢食程度分类概率和残饵密度图计算损失函数，损失函数为交叉熵(Cross Entropy)和欧式距离(Euclidean distance)的加权和，其中，采用交叉熵损失函数来获取预测抢食程度标签与真实标签之前的误差，通过欧式距离损失来估计多任务模型预测的残饵密度图与真实密度图之间距离来获取预测误差，具体计算如下：
其中yi表示抢食程度真实标签，
表示抢食程度预测标签。
其中，Θ表示多任务网络学习的参数，N表示每批次样本数目， Xi表示输入的目标摄食图像，Fi为真实密度图。
在训练过程中，通过反向传播方法，同时迭代两个损失函数来减小训练的误差，直到当训练的迭代次数达到所述最大迭代次数或者损失函数值收敛并趋于稳定时，停止网络训练并确定最终的目标多任务模型。
根据本发明一个实施例的用于水产养殖物的动态调控投喂方法可以具体包括：投饵机采用间隔投喂方式，以预设的单次最大投喂量对目标水产养殖池进行第一次投喂；在投喂开始后，获取摄像机传输的实时视频信息，提取视频每帧的图像信息，单次投喂完成后关闭投饵机；将每帧信息进行图像预处理，得到目标图像，将目标摄食图像输入到目标多任务模型中，同时得到每帧目标摄食图像的鱼类抢食程度信息和养殖池内残饵数量；连续检测N帧的摄食图像，使用投票法对连续N帧内鱼类的抢食程度和残饵数量进行决策；根据投票结果综合判定当前阶段的鱼类抢食程度和残饵密度，根据制定的投喂规则进行下一阶段投喂；以及以所述投喂规则进行投喂，直到满足停止投喂条件，即可结束本次投喂。
需要说明的是，投喂规则具体可以包括：投饵机采用间隔投喂方式，若判定前一阶段水产养殖物抢食程度为强，则下一阶段投喂量仍为预设的单次最大投喂量；若抢食程度为中，则下一阶段投喂量为预设的单次最大投喂量的50％；若抢食程度为弱，则下一阶段投喂量为预设的单次最大投喂量的25％；若抢食程度为无，则结束本次投喂；若判定前一阶段的残饵密度为少，则立即开启投饵机，进行下一阶段的投喂；若残饵数量判定为多，则持续检测残饵量，直到残饵数量被判定为少，方可开启投饵机进行下一阶段投喂。
图5是根据本发明另一实施例的用于水产养殖物的动态投喂系统的示意图。参照图5，该系统可以包括：
获取模块501，用于采集水产养殖物的摄食过程中的摄食图像，并对所述摄食图像进行预处理，得到目标摄食图像；
抢食程度和残饵数量确定模块502，用于将所述摄食图像输入至经训练的多任务模型中，得到对应所述水产养殖物的抢食程度和残饵数量，其中，所述多任务模型是基于抢食程度分类网络和残饵计数网络构建的；以及
调控模块504，用于根据所述抢食程度和残饵数量动态地调整投喂过程。
本发明实施例提供的用于水产养殖物的动态投喂系统与前述各实施例提供的用于水产养殖物的动态投喂方法相对应，其工作原理和有益效果类似，故此处不再详述，具体内容可参见上述实施例的介绍。
本发明的一个实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上的一种用于水产养殖物的动态投喂方法的步骤。
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种用于水产养殖物的动态投喂方法，其特征在于，包括：
获取水产养殖物的摄食图像；
将所述摄食图像输入至经训练的多任务模型中，得到对应所述水产养殖物的抢食程度和残饵数量，其中，所述多任务模型是基于抢食程度分类网络和残饵计数网络构建的；以及
根据所述抢食程度和所述残饵数量动态地调控投喂过程。
2.根据权利要求1所述的用于水产养殖物的动态投喂方法，其特征在于，所述方法还包括：训练所述多任务模型，所述训练所述多任务模型包括：
采集所述水产养殖物的不同角度的摄食图像，对所述摄食图像进行预处理，得到目标摄食图像；
对所述目标摄食图像进行抢食程度分类标注和残饵密度图标注，确定目标摄食数据集；以及
基于所述目标摄食数据集对构建的多任务模型进行训练。
3.根据权利要求2所述的用于水产养殖物的动态投喂方法，其特征在于，所述采集所述水产养殖物的不同角度的摄食图像，对所述摄食图像进行预处理，得到目标摄食图像，包括：
获取水产养殖物在摄食过程中的不同角度的所述摄食图像；
对所述摄食图像进行增强处理，获得第一图像；
对所述第一图像进行去噪处理，获得第二图像；
对所述第二图像进行色彩校正，获得目标摄食图像。
4.根据权利要求2所述的用于水产养殖物的动态投喂方法，其特征在于，所述对所述目标摄食图像进行抢食程度分类标注和残饵密度图标注，确定目标摄食数据集，包括：
对所述目标摄食图像中所述水产养殖物的抢食程度进行分类评价，确定所述水产养殖物的抢食程度；
生成对应目标摄食图像的残饵密度图；
根据所述抢食程度和所述残饵密度图确定所述目标摄食数据集，其中所述目标摄食数据集包括所述目标摄食图像、对应于所述目标摄食图像的抢食程度和对应于所述目标摄食图像的残饵密度图。
5.根据权利要求4所述的用于水产养殖物的动态投喂方法，其特征在于，通过如下公式计算所述残饵密度图：
其中，F(x)表示残饵密度图；N表示残饵数量；x表示任意的图像坐标；xi表示残饵具体位置的坐标；δ(x-xi)表示残饵位置函数；
表示自适应高斯核函数；σi表示自适应高斯核函数的标准差；β表示权重系数；
表示xi与k个最近标记的平均距离。
6.根据权利要求4所述的用于水产养殖物的动态投喂方法，其特征在于，所述对所述目标摄食图像中所述水产养殖物的抢食程度进行分类评价，确定所述水产养殖物的抢食程度，包括：
若目标摄食图像中的所述水产养殖物的摄食呈现激烈抢食状态且具有高度聚集性，则判定所述抢食程度为强；
若目标摄食图像中的所述水产养殖物在摄食过程中游出饵料所在区域且呈现一定的分散状态，则判定所述抢食程度为中；
若目标摄食图像中的部分所述水产养殖物不再游动抢食，只食用面前的饵料且呈现较大的分散状态，则判定所述抢食程度为弱；
若目标摄食图像中的所述水产养殖物对饵料无反应，则判定所述抢食程度为无。
7.根据权利要求1所述的用于水产养殖物的动态投喂方法，其特征在于，所述根据所述抢食程度和所述残饵数量动态地调控投喂过程，包括：
根据水产养殖物前一阶段的所述抢食程度来判定下一阶段的投喂量；并且
根据前一阶段的残饵数量是否超过预设阈值来判定下一阶段的投喂过程是否需要启动。
8.根据权利要求1-7任一项所述的用于水产养殖物的动态投喂方法，其特征在于，所述多任务模型包括共享前端网络和分支网络，其中所述分支网络包括抢食程度分类网络和残饵计数网络，所述共享前端网络的输入为目标摄食图像，
所述抢食程度分类网络由卷积模块、平均池化层和全连接层构成，其中抢食程度分类网络的输入为所述共享前端网络的输出特征，抢食程度分类网络的输出为抢食程度类别对应的概率；
所述残饵计数网络由空洞卷积和普通卷积串联组成，其中残饵计数网络的输入为所述共享前端网络的输出特征，残饵计数网络的输出为残饵密度图。
9.一种用于水产养殖物的动态投喂系统，其特征在于，包括：
获取模块，用于获取水产养殖物的摄食图像；
抢食程度和残饵数量确定模块，用于将所述摄食图像输入至经训练的多任务模型中，得到对应所述水产养殖物的抢食程度和残饵数量，其中，所述多任务模型是基于抢食程度分类网络和残饵计数网络构建的；以及
调控模块，用于根据所述抢食程度和残饵数量动态地调控投喂过程。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至8中任一项所述用于水产养殖物的动态投喂方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110573916.6A CN113349111A (zh) | 2021-05-25 | 2021-05-25 | 一种用于水产养殖物的动态投喂方法、系统和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110573916.6A CN113349111A (zh) | 2021-05-25 | 2021-05-25 | 一种用于水产养殖物的动态投喂方法、系统和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113349111A true CN113349111A (zh) | 2021-09-07 |
Family
ID=77527690
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110573916.6A Pending CN113349111A (zh) | 2021-05-25 | 2021-05-25 | 一种用于水产养殖物的动态投喂方法、系统和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113349111A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114557308A (zh) * | 2022-03-11 | 2022-05-31 | 重庆工商大学 | 应用于循环水养殖的精准投喂系统及方法 |
| CN114651770A (zh) * | 2022-04-22 | 2022-06-24 | 四川大学 | 水产投饲控制方法、装置及存储介质 |
| CN116548345A (zh) * | 2023-04-25 | 2023-08-08 | 广东环境保护工程职业学院 | 鱼虾投喂方法、装置、系统和存储介质 |
| CN117337796A (zh) * | 2023-11-13 | 2024-01-05 | 江苏省淡水水产研究所 | 一种针对淡水鱼养殖池塘浮性料的智能精准投饲方法 |
| CN117456310A (zh) * | 2023-12-22 | 2024-01-26 | 中国海洋大学 | 智能投饵方法及水产生物状态识别模型的训练方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108445746A (zh) * | 2018-01-25 | 2018-08-24 | 北京农业信息技术研究中心 | 一种智能投喂控制方法及装置 |
| CN110826592A (zh) * | 2019-09-25 | 2020-02-21 | 浙江大学宁波理工学院 | 一种基于全卷积神经网络的对虾养殖残饵计数方法 |
| CN111240200A (zh) * | 2020-01-16 | 2020-06-05 | 北京农业信息技术研究中心 | 鱼群投饵控制方法、鱼群投饵控制装置及投饵船 |
| CN112712518A (zh) * | 2021-01-13 | 2021-04-27 | 中国农业大学 | 鱼类计数方法、装置、电子设备及存储介质 |
-
2021
- 2021-05-25 CN CN202110573916.6A patent/CN113349111A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108445746A (zh) * | 2018-01-25 | 2018-08-24 | 北京农业信息技术研究中心 | 一种智能投喂控制方法及装置 |
| CN110826592A (zh) * | 2019-09-25 | 2020-02-21 | 浙江大学宁波理工学院 | 一种基于全卷积神经网络的对虾养殖残饵计数方法 |
| CN111240200A (zh) * | 2020-01-16 | 2020-06-05 | 北京农业信息技术研究中心 | 鱼群投饵控制方法、鱼群投饵控制装置及投饵船 |
| CN112712518A (zh) * | 2021-01-13 | 2021-04-27 | 中国农业大学 | 鱼类计数方法、装置、电子设备及存储介质 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114557308A (zh) * | 2022-03-11 | 2022-05-31 | 重庆工商大学 | 应用于循环水养殖的精准投喂系统及方法 |
| CN114651770A (zh) * | 2022-04-22 | 2022-06-24 | 四川大学 | 水产投饲控制方法、装置及存储介质 |
| CN116548345A (zh) * | 2023-04-25 | 2023-08-08 | 广东环境保护工程职业学院 | 鱼虾投喂方法、装置、系统和存储介质 |
| CN116548345B (zh) * | 2023-04-25 | 2024-01-09 | 广东环境保护工程职业学院 | 鱼虾投喂方法、装置、系统和存储介质 |
| CN117337796A (zh) * | 2023-11-13 | 2024-01-05 | 江苏省淡水水产研究所 | 一种针对淡水鱼养殖池塘浮性料的智能精准投饲方法 |
| CN117337796B (zh) * | 2023-11-13 | 2024-04-30 | 江苏省淡水水产研究所 | 一种针对淡水鱼养殖池塘浮性料的智能精准投饲方法 |
| CN117456310A (zh) * | 2023-12-22 | 2024-01-26 | 中国海洋大学 | 智能投饵方法及水产生物状态识别模型的训练方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113349111A (zh) | 一种用于水产养殖物的动态投喂方法、系统和存储介质 | |
| Yang et al. | Computer vision models in intelligent aquaculture with emphasis on fish detection and behavior analysis: a review | |
| An et al. | Application of computer vision in fish intelligent feeding system—A review | |
| Cao et al. | Real-time robust detector for underwater live crabs based on deep learning | |
| Mohamed et al. | Msr-yolo: Method to enhance fish detection and tracking in fish farms | |
| Xu et al. | A systematic review and analysis of deep learning-based underwater object detection | |
| WO2020134255A1 (zh) | 一种基于机器视觉对鱼类生长情况进行监测的方法 | |
| CN112598713A (zh) | 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法 | |
| CN109509170B (zh) | 一种压铸件缺陷检测方法及装置 | |
| CN113592896B (zh) | 基于图像处理的鱼类投喂方法、系统、设备及存储介质 | |
| CN113591671B (zh) | 一种基于Mask-Rcnn识别鱼类生长检测方法 | |
| CN110163798B (zh) | 渔场围网破损检测方法及系统 | |
| CN110853070A (zh) | 基于显著性与Grabcut的水下海参图像分割方法 | |
| CN111882555B (zh) | 基于深度学习的网衣检测方法、装置、设备及存储介质 | |
| Saleh et al. | Adaptive uncertainty distribution in deep learning for unsupervised underwater image enhancement | |
| CN116206194A (zh) | 鱼群投喂方法、装置、系统及存储介质 | |
| CN115512215A (zh) | 水下生物监测方法、装置及存储介质 | |
| CN116778309A (zh) | 残饵监测方法、装置、系统和存储介质 | |
| CN115578423A (zh) | 基于深度学习的鱼类关键点检测、个体追踪和生物量估算方法及系统 | |
| CN113627558A (zh) | 鱼类图像识别方法、系统及设备 | |
| CN117253192A (zh) | 用于桑蚕养殖的智能系统及方法 | |
| CN117063868A (zh) | 一种鱼池智能投喂方法 | |
| CN115601301B (zh) | 鱼类表型特征测量方法、系统、电子设备及存储介质 | |
| CN109389613B (zh) | 一种基于计算机视觉的残留鱼饵计数方法 | |
| CN111553382A (zh) | 一种基于knn的鳙鱼分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |