CN112400773A - 一种基于机器视觉技术的温室鱼苗智能投饲装置及方法 - Google Patents

一种基于机器视觉技术的温室鱼苗智能投饲装置及方法 Download PDF

Info

Publication number
CN112400773A
CN112400773A CN202110082450.XA CN202110082450A CN112400773A CN 112400773 A CN112400773 A CN 112400773A CN 202110082450 A CN202110082450 A CN 202110082450A CN 112400773 A CN112400773 A CN 112400773A
Authority
CN
China
Prior art keywords
feeding
image
fish
fish school
auger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110082450.XA
Other languages
English (en)
Other versions
CN112400773B (zh
Inventor
汪小旵
杨海慧
施印炎
王延鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Agricultural University
Original Assignee
Nanjing Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Agricultural University filed Critical Nanjing Agricultural University
Priority to CN202110082450.XA priority Critical patent/CN112400773B/zh
Publication of CN112400773A publication Critical patent/CN112400773A/zh
Application granted granted Critical
Publication of CN112400773B publication Critical patent/CN112400773B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K61/00—Culture of aquatic animals
    • A01K61/80—Feeding devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Environmental Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Zoology (AREA)
  • Animal Husbandry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于机器视觉技术的温室鱼苗智能投饲装置及方法，属于温室鱼苗养殖投喂技术领域。养殖池内壁、投饲区域正上方均安装有摄像头采集鱼群视频信息，并传递至数字信号处理器进行预处理，获得鱼群清晰图像，并发送至服务器处理获得鱼群光流运动轨迹，将鱼群光流运动轨迹输入至判别模型中后判断鱼群当前进食状态，据此下发指令至PLC，控制料仓绞龙、运输绞龙、风机的工作状态，实现精准变量投喂。整个投饲过程更加智能化，无需人工参与，节省了人力物力，具体有较好的经济效益；能够确定科学合理的饲料投喂量和投饲时间，节省饲料成本，实现鱼苗养殖生产智能化精准变量投饲，促进渔业生产高效养殖、经济养殖、生态养殖的进程。

Description

一种基于机器视觉技术的温室鱼苗智能投饲装置及方法
技术领域
本发明属于温室鱼苗养殖投喂技术领域，尤其涉及一种基于机器视觉技术的温室鱼苗智能投饲装置及方法。
背景技术
温室鱼苗生态养殖是保证渔业产业健康、稳定发展的重要基础，其中，饲料的合理投喂是鱼苗高效养殖、经济养殖、生态养殖的关键环节。传统的养殖方式中，主要依靠人工经验进行饵料的抛撒投放，没有考虑鱼苗对饲料的实际需求量和水体生物承载量。盲投式饲料投喂作业耗时、耗力，容易产生过量投喂的情况，降低肥料的利用率，造成资源的浪费，经济成本的增加；还会引发某些鱼类产生嗜食饱胀问题，抑制鱼类的自然生长，影响鱼肉品质。残余的饵料还将引起水体恶化，增加环境负担，同时给养殖户带来频繁更换、净化水体的麻烦。所以，亟需一种信息化、智能化的投饲技术，打破传统的经验式投饲和伤害性检测手段，根据实际水体状况和鱼群活跃度以及摄食行为，实现鱼苗养殖适时、合理、有效的自动化精准投喂，提高投喂效率，为鱼苗养殖提供和谐友好的生长环境，提高鱼类产品的产量和品质。
发明内容
针对现有技术中存在的不足，本发明提供了一种基于机器视觉技术的温室鱼苗智能投饲装置及方法，通过对实时获取的鱼群图像数据进行分析，获得鱼群光流运动轨迹，输入至判别模型中，根据判别结果对鱼群投饲进行变量控制，实现智能化、精准化鱼苗养殖，有效节省人力物力。
本发明是通过以下技术手段实现上述技术目的的。
一种基于机器视觉技术的温室鱼苗智能投饲装置，包括安装在温室中的养殖池内壁的池壁摄像头以及安装在投饲区域正上方的顶部摄像头，池壁摄像头、顶部摄像头均与数字信号处理器连接，数字信号处理器与服务器连接，服务器与PLC连接；投饲装置还包括料仓，料仓中安装有料仓绞龙，料仓下方出口处安装有投饲管路，投饲管路另一端伸至投饲区域上方；投饲管路前端至中部之间安装有运输绞龙，投饲管路中部与风机连接，投饲管路后端为中空结构；料仓绞龙、运输绞龙、风机均与PLC连接。
进一步地，所述温室内部的养殖池中包括多个投饲区域，每个投饲区域均配置有多组投饲装置，多组投饲装置均与同一个服务器连接。
利用上述投饲装置的投饲方法，包括如下步骤：
步骤1：24小时内不对养殖池中的鱼群进行投喂，保证鱼群充分排空肠胃内容物；
步骤2：通过人工投饲方式，向养殖池中对应投饲区域投放饲料，直至鱼群达到饱饲状态；每次饲料投放时间间隔为15分钟，每次投放饲料量为20g；
步骤3：在步骤2所述的投饲过程中，池壁摄像头、顶部摄像头开启，实时采集鱼群的视频数据并传递至数字信号处理器进行预处理，预处理过程包括提取视频中每帧图像并进行白平衡处理、计算白平衡处理后的鱼群图像的大气光值和透射函数、获取清晰鱼群图像；
步骤4：将步骤3预处理后的鱼群图像传递至服务器中，利用稀疏光流算法获得鱼群的光流运动轨迹；选取100张饥饿状态图像，100张进食中状态图像，100张饱饲状态图像，并进行扩充，包括镜像、旋转、随机裁剪和局部变形，最终获取包含1500张图像的光流轨迹数据集；
步骤5：采用卷积神经网络训练光流轨迹数据集，获取鱼群进食状态判别模型，通过判别模型将鱼群进食状态分为饥饿状态、进食中状态和饱饲状态；
步骤6：池壁摄像头与顶部摄像头实时采集鱼群的视频画面，依次传递给数字信号处理器、服务器，获取光流运动轨迹，并将该光流运动轨迹输入至步骤5中获取的鱼群进食状态判别模型中，判断当前的鱼群进食状态，根据判断结果向PLC下发控制指令，控制料仓绞龙、运输绞龙、风机的工作状态，实现变量投饲。
进一步地，所述步骤3中，提取视频中每帧图像并进行白平衡处理的具体过程如下：
采用微调的灰色世界法对获取的水下鱼群图像进行白平衡处理，通过计算鱼群图像的各通道均值信息找到“灰度”系数，然后将该“灰度”系数作为照明光的一种代表来处理整幅鱼群图像，以得到最终白平衡处理后的鱼群图像；
鱼群图像的各通道均值为
Figure 594799DEST_PATH_IMAGE001
，
Figure 449623DEST_PATH_IMAGE002
，其中，
Figure 167043DEST_PATH_IMAGE003
表示单通道值，
Figure 562252DEST_PATH_IMAGE004
表示对单通道值
Figure 314308DEST_PATH_IMAGE003
进行求均值操作；
鱼群图像每通道的归一化率为
Figure 136770DEST_PATH_IMAGE005
，
Figure 341487DEST_PATH_IMAGE006
，其中，
Figure 540387DEST_PATH_IMAGE007
表示灰度值；
对
Figure 146949DEST_PATH_IMAGE005
进行微调，微调后的鱼群图像每通道的归一化率为
Figure 140312DEST_PATH_IMAGE008
，
Figure 832325DEST_PATH_IMAGE009
；
则白平衡处理后的鱼群图像为
Figure 569337DEST_PATH_IMAGE010
，
Figure 30405DEST_PATH_IMAGE011
。
进一步地，所述步骤3中，计算白平衡处理后的鱼群图像的大气光值和透射函数的具体过程如下：
在经过白平衡处理后的鱼群图像中随机选取20个区域，首先计算单一区域鱼群图像的 每像素点的最小通道亮度值
Figure 460249DEST_PATH_IMAGE012
，
Figure 627839DEST_PATH_IMAGE013
，其中，
Figure 902963DEST_PATH_IMAGE014
为鱼群图像的
Figure 484117DEST_PATH_IMAGE015
颜色通道亮度值，
Figure 819283DEST_PATH_IMAGE016
、
Figure 485888DEST_PATH_IMAGE017
、
Figure 564702DEST_PATH_IMAGE018
分别为鱼群图像的三个颜色通道，然后对
Figure 363DEST_PATH_IMAGE012
进行中值滤波处 理，选取灰度值最大的前30个像素点，在对应的源鱼群图像坐标上选取灰度值最高像素点 的值作为单一区域大气光值，取20个区域的大气光值的平均值为最终的大气光值
Figure 772010DEST_PATH_IMAGE019
；
鱼群图像粗糙暗通道图为
Figure 660331DEST_PATH_IMAGE020
，
Figure 542837DEST_PATH_IMAGE021
，其中，
Figure 833004DEST_PATH_IMAGE022
表示
Figure 775552DEST_PATH_IMAGE015
颜色通道对 应的大气光值；对
Figure 151170DEST_PATH_IMAGE020
先后进行图像金字塔处理和中值滤波处理后获得的图像为
Figure 571787DEST_PATH_IMAGE023
；计 算
Figure 982039DEST_PATH_IMAGE023
的局部标准差并进行中值滤波处理，得到鱼群局部细节图像
Figure 33172DEST_PATH_IMAGE024
，
Figure 958403DEST_PATH_IMAGE025
，其中，
Figure 120394DEST_PATH_IMAGE026
表示中值滤波操作，
Figure 181891DEST_PATH_IMAGE027
表示中值滤波的滤波 窗口大小；则移除鱼群局部细节的图像为
Figure 403925DEST_PATH_IMAGE028
，
Figure 816451DEST_PATH_IMAGE029
；
利用自然图像的物理特性约束条件优化鱼群图像粗糙暗通道图，得到优化后的鱼群图 像暗通道图
Figure 782133DEST_PATH_IMAGE030
，
Figure 963716DEST_PATH_IMAGE031
，其中，
Figure 91072DEST_PATH_IMAGE032
表示调节参数，取0.96；则白平衡处理 后的鱼群图像的透射函数为
Figure 990895DEST_PATH_IMAGE033
，
Figure 494689DEST_PATH_IMAGE034
。
进一步地，所述步骤3中，获取清晰鱼群图像的具体过程如下：池壁摄像头以及顶 部摄像头捕捉到的鱼群图像为
Figure 796357DEST_PATH_IMAGE035
，
Figure 94614DEST_PATH_IMAGE036
，其中，
Figure 481733DEST_PATH_IMAGE037
表示清晰鱼 群图像。
进一步地，所述步骤4中，设定
Figure 789218DEST_PATH_IMAGE038
时刻鱼群图像上的一个像素点为
Figure 679813DEST_PATH_IMAGE039
，则在
Figure 414551DEST_PATH_IMAGE040
时刻，该像素点位置为
Figure 23387DEST_PATH_IMAGE041
，
Figure 134562DEST_PATH_IMAGE042
，其中，
Figure 145244DEST_PATH_IMAGE043
表示增 量符号，该像素点不同位置的连线即为该鱼群图像的光流运动轨迹。
进一步地，所述步骤5中，训练光流轨迹数据集时，训练参数设置学习率为0.001，动量系数设置为0.9，权值衰减系数设置为0.000 5，每5万次迭代衰减一次学习率，衰减因子设置为0.1，共进行8万次的迭代。
进一步地，所述步骤6中，PLC对料仓绞龙、运输绞龙、风机的控制方式具体如下：
鱼群处于饥饿状态时，PLC控制料仓绞龙、运输绞龙的转速加快，控制风机持续工作，向投饲区域快速投放饲料；
鱼群处于进食中状态时，PLC控制料仓绞龙、运输绞龙匀速转动，控制风机持续工作，向投饲区域均匀投放饲料；
鱼群处于饱饲状态时，PLC控制料仓绞龙、运输绞龙、风机停机，等待下一轮投饲。
本发明具有如下有益效果：
本发明所提供的基于机器视觉技术的温室鱼苗智能投饲装置及方法，利用摄像头实时获取鱼群视频信息，通过数字信号处理器、服务器，提取图像特征，结合深度学习算法建立判别模型，判断鱼群进食状态，进而下发指令至PLC，实现精准变量投饲。整个投饲过程更加智能化、精准化，无需人工参与，大大节省了人力物力，具体有较好的经济效益；能够确定科学合理的饲料目标投喂量和投饲时间，节省饲料成本，提高水产养殖机械化程度和自动化水平，实现鱼苗养殖生产智能化精准变量投饲，促进渔业生产高效养殖、经济养殖、生态养殖的进程。
附图说明
图1为本发明所述养殖池内多个温室鱼苗智能投饲装置连接示意图；
图2为本发明所述投饲装置结构示意图；
图3（a）为本发明所述未处理的鱼群图像示意图；
图3（b）为本发明所述清晰鱼群图像示意图。
图中：1-养殖池；2-投饲区域；3-池壁摄像头；4-顶部摄像头；5-数字信号处理器；6-服务器；7-PLC；8-料仓；9-料仓绞龙；10-投饲管路；11-运输绞龙；12-风机。
具体实施方式
下面结合附图以及具体实施例对本发明作进一步的说明，但本发明的保护范围并不限于此。
实际的投饲作业中，根据温室容量，如图1所示，一片温室养殖池1可配置多个本发明所述的基于机器视觉技术的温室鱼苗智能投饲装置，实现对多个投饲区域2的投饲；多个投饲装置之间并联，共用一套服务器6，对采集到的鱼群图像数据进行处理。
投饲装置的具体结构如图2所示，投饲装置包括池壁摄像头3、顶部摄像头4、数字信号处理器5、服务器6、可编程逻辑控制器（PLC7）、料仓8、料仓绞龙9、投饲管路10、运输绞龙11以及风机12。池壁摄像头3安装在养殖池1内壁，顶部摄像头4安装在投饲区域2正上方，池壁摄像头3与顶部摄像头4均能够拍摄到整个投饲区域2；池壁摄像头3、顶部摄像头4均与数字信号处理器5输入端信号连接，数字信号处理器5输出端与服务器6输入端信号连接，服务器6输出端与PLC7输入端信号连接。料仓8中安装有料仓绞龙9，料仓8下方出口处安装有投饲管路10，投饲管路10另一端伸至投饲区域2上方，方便投喂鱼群；投饲管路10前端至中部安装有运输绞龙11，投饲管路10中部与风机12连接，投饲管路10后端为中空结构，方便风机12将饲料吹送至投饲区域中；料仓绞龙9、运输绞龙11、风机12均与PLC7输出端连接。
池壁摄像头3与顶部摄像头4采集的视频数据传递至数字信号处理器5进行预处理，之后传递至服务器6进行计算分析，获取鱼群进食状态，并据此发送指令至PLC7，由PLC7控制料仓绞龙9、运输绞龙11、风机12的工作状态，实现精准变量投喂。本发明采用绞龙与风机12配合的风送式投饲方式，简单方便，送料均匀，尤其适用于粉状、颗粒状饲料的投饲。
利用本发明所述的基于机器视觉技术的温室鱼苗智能投饲装置进行投饲的方法，主要包括两部分内容，具体过程如下：
第一部分，鱼群进食状态判别模型的建立：
步骤1：24小时内不对养殖池1中的鱼群进行投喂，保证鱼群充分排空肠胃内容物；
步骤2：通过人工投饲方式，多次少量向养殖池1中对应投饲区域2持续投放饲料，直至人眼观察到鱼群达到饱饲状态时停止投放；本实施例中，优选地，每次饲料投放时间间隔为15分钟，每次投放饲料量为20g；
步骤3：在步骤2所述的投饲过程中，池壁摄像头3、顶部摄像头4也同时开启，实时采集鱼群的视频数据并传递至数字信号处理器5进行预处理，预处理过程如下：
步骤3.1：提取视频中每帧图像并进行白平衡处理；
采用微调的灰色世界法对获取的水下鱼群图像进行白平衡处理，通过计算鱼群图像的各通道均值信息找到一个合适的“灰度”系数，然后将该“灰度”系数作为照明光的一种代表来处理整幅鱼群图像，以得到最终白平衡处理后的鱼群图像；
鱼群图像的各通道均值为
Figure 50883DEST_PATH_IMAGE001
，
Figure 147015DEST_PATH_IMAGE002
，其中，
Figure 796302DEST_PATH_IMAGE003
表示单通道值，
Figure 661490DEST_PATH_IMAGE004
表 示对单通道值
Figure 738030DEST_PATH_IMAGE003
进行求均值操作；
鱼群图像每通道的归一化率为
Figure 259142DEST_PATH_IMAGE005
，
Figure 508857DEST_PATH_IMAGE006
，其中，
Figure 431814DEST_PATH_IMAGE007
表示灰度值；
对
Figure 741572DEST_PATH_IMAGE005
进行微调，微调后的鱼群图像每通道的归一化率为
Figure 749980DEST_PATH_IMAGE008
，
Figure 803386DEST_PATH_IMAGE009
；
白平衡处理后的鱼群图像为
Figure 580850DEST_PATH_IMAGE010
，
Figure 61509DEST_PATH_IMAGE011
；
步骤3.2：计算白平衡处理后的鱼群图像的大气光值
Figure 291634DEST_PATH_IMAGE019
和透射函数
Figure 148731DEST_PATH_IMAGE033
；
在经过步骤3.1处理后的鱼群图像中随机选取20个区域，首先计算单一区域鱼群图像 的每像素点的最小通道亮度值
Figure 780701DEST_PATH_IMAGE012
，
Figure 432262DEST_PATH_IMAGE013
,其中，
Figure 415262DEST_PATH_IMAGE014
为鱼群图像的
Figure 810471DEST_PATH_IMAGE015
颜色通道亮度值，
Figure 296947DEST_PATH_IMAGE016
、
Figure 384989DEST_PATH_IMAGE017
、
Figure 589705DEST_PATH_IMAGE018
分别为鱼群图像的三个颜色通道，然后对
Figure 788605DEST_PATH_IMAGE012
进行中值滤波 处理，选取灰度值最大的前30个像素点，在对应的源鱼群图像坐标上选取灰度值最高像素 点的值作为单一区域大气光值，取20个区域的大气光值的平均值为最终的大气光值
Figure 129588DEST_PATH_IMAGE019
；
鱼群图像粗糙暗通道图为
Figure 388531DEST_PATH_IMAGE020
，
Figure 80543DEST_PATH_IMAGE021
，其中，
Figure 817555DEST_PATH_IMAGE022
表示
Figure 290342DEST_PATH_IMAGE015
颜色通道对 应的大气光值；
对
Figure 720187DEST_PATH_IMAGE020
先后进行图像金字塔处理和中值滤波处理后获得的图像为
Figure 633916DEST_PATH_IMAGE023
；
计算
Figure 174619DEST_PATH_IMAGE023
的局部标准差并进行中值滤波处理，得到鱼群局部细节图像
Figure 755773DEST_PATH_IMAGE024
，
Figure 90939DEST_PATH_IMAGE025
，其中，
Figure 757544DEST_PATH_IMAGE026
表示中值滤波操作，
Figure 836358DEST_PATH_IMAGE027
表示中值滤波的滤波窗口 大小；则移除鱼群局部细节的图像为
Figure 272019DEST_PATH_IMAGE028
，
Figure 778087DEST_PATH_IMAGE029
；
再利用自然图像的物理特性约束条件优化鱼群图像粗糙暗通道图，得到优化后的鱼群 图像暗通道图
Figure 931987DEST_PATH_IMAGE030
，
Figure 814493DEST_PATH_IMAGE031
，其中，
Figure 104660DEST_PATH_IMAGE032
表示调节参数，本实施例中取0.96； 则白平衡处理后的鱼群图像的透射函数为
Figure 47208DEST_PATH_IMAGE033
，
Figure 422826DEST_PATH_IMAGE034
。
步骤3.3：获取清晰鱼群图像；
摄像头捕捉到的鱼群图像为
Figure 843443DEST_PATH_IMAGE035
，
Figure 253695DEST_PATH_IMAGE036
，其中，
Figure 39249DEST_PATH_IMAGE037
表示清晰鱼 群图像，处理后的清晰鱼群图像与未处理鱼群图像的效果对比如图3（a）、图3（b）所示。
步骤4：经步骤3预处理后的鱼群图像传递至服务器6中，采用稀疏光流算法做进一 步处理，获得鱼群的光流运动轨迹：设定
Figure 964480DEST_PATH_IMAGE038
时刻某一鱼群图像上的一个像素点为
Figure 126471DEST_PATH_IMAGE039
，则 在
Figure 453547DEST_PATH_IMAGE040
时刻，该像素点位置为
Figure 675581DEST_PATH_IMAGE041
，
Figure 88107DEST_PATH_IMAGE042
，其中，
Figure 788210DEST_PATH_IMAGE043
表示增 量符号，该像素点不同位置的连线即为该鱼群图像的光流运动轨迹；
将鱼群的光流运动轨迹图分为进食状态运动轨迹图以及饱食状态运动轨迹图两种并进行标记；本实施例中，优选地，选取100张饥饿状态图像，100张进食中状态图像，100张饱饲状态图像，对上述图像进行扩充，包括镜像、旋转、随机裁剪和局部变形，最终获取包含1500张图像的光流轨迹数据集；
步骤5：采用卷积神经网络训练光流轨迹数据集，获取鱼群进食状态判别模型，通过判别模型将鱼群进食状态分为饥饿状态、进食中状态和饱饲状态；其中，训练参数设置学习率为0.001，动量系数设置为0.9，权值衰减系数设置为0.000 5，每5万次迭代衰减一次学习率，衰减因子设置为0.1，共进行8万次的迭代。
第二部分，鱼群变量投饲：
步骤6：利用步骤5中获取的判别模型，实现对鱼群的精准变量投饲；
池壁摄像头3与顶部摄像头4实时采集鱼群的视频画面，并传递至数字信号处理器5进行预处理，预处理后的清洗鱼群图像传递至服务器6，服务器6采用稀疏光流算法获取光流运动轨迹，并将该光流运动轨迹输入至鱼群进食状态判别模型中，判断当前的鱼群进食状态，根据判断结果向PLC7下发控制指令；
当鱼群处于饥饿状态时，PLC7控制料仓绞龙9、运输绞龙11的转速加快，控制风机12持续工作，向投饲区域2快速投放饲料；
当鱼群处于进食中状态时，PLC7控制料仓绞龙9、运输绞龙11匀速转动，控制风机12持续工作，向投饲区域2均匀投放饲料；
当鱼群处于饱饲状态时，PLC7控制料仓绞龙9、运输绞龙11、风机12停机，等待下一轮投饲。
所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。

Claims (9)

1.一种基于机器视觉技术的温室鱼苗智能投饲装置，其特征在于，包括安装在温室中的养殖池（1）内壁的池壁摄像头（3）以及安装在投饲区域（2）正上方的顶部摄像头（4），池壁摄像头（3）、顶部摄像头（4）均与数字信号处理器（5）连接，数字信号处理器（5）与服务器（6）连接，服务器（6）与PLC（7）连接；投饲装置还包括料仓（8），料仓（8）中安装有料仓绞龙（9），料仓（8）下方出口处安装有投饲管路（10），投饲管路（10）另一端伸至投饲区域（2）上方；投饲管路（10）前端至中部之间安装有运输绞龙（11），投饲管路（10）中部与风机（12）连接，投饲管路（10）后端为中空结构；料仓绞龙（9）、运输绞龙（11）、风机（12）均与PLC（7）连接。
2.根据权利要求1所述的温室鱼苗智能投饲装置，其特征在于，所述温室内部的养殖池（1）中包括多个投饲区域（2），每个投饲区域（2）均配置有多组投饲装置，多组投饲装置均与同一个服务器（6）连接。
3.利用权利要求1至2中任一项所述投饲装置的投饲方法，其特征在于，包括如下步骤：
步骤1：24小时内不对养殖池（1）中的鱼群进行投喂，保证鱼群充分排空肠胃内容物；
步骤2：通过人工投饲方式，向养殖池（1）中对应投饲区域（2）投放饲料，直至鱼群达到饱饲状态；每次饲料投放时间间隔为15分钟，每次投放饲料量为20g；
步骤3：在步骤2所述的投饲过程中，池壁摄像头（3）、顶部摄像头（4）开启，实时采集鱼群的视频数据并传递至数字信号处理器（5）进行预处理，预处理过程包括提取视频中每帧图像并进行白平衡处理、计算白平衡处理后的鱼群图像的大气光值和透射函数、获取清晰鱼群图像；
步骤4：将步骤3预处理后的鱼群图像传递至服务器（6）中，利用稀疏光流算法获得鱼群的光流运动轨迹；选取100张饥饿状态图像，100张进食中状态图像，100张饱饲状态图像，并进行扩充，包括镜像、旋转、随机裁剪和局部变形，最终获取包含1500张图像的光流轨迹数据集；
步骤5：采用卷积神经网络训练光流轨迹数据集，获取鱼群进食状态判别模型，通过判别模型将鱼群进食状态分为饥饿状态、进食中状态和饱饲状态；
步骤6：池壁摄像头（3）与顶部摄像头（4）实时采集鱼群的视频画面，依次传递给数字信号处理器（5）、服务器（6），获取光流运动轨迹，并将该光流运动轨迹输入至步骤5中获取的鱼群进食状态判别模型中，判断当前的鱼群进食状态，根据判断结果向PLC（7）下发控制指令，控制料仓绞龙（9）、运输绞龙（11）、风机（12）的工作状态，实现变量投饲。
4.根据权利要求3所述的投饲方法，其特征在于，所述步骤3中，提取视频中每帧图像并进行白平衡处理的具体过程如下：
采用微调的灰色世界法对获取的水下鱼群图像进行白平衡处理，通过计算鱼群图像的各通道均值信息找到“灰度”系数，然后将该“灰度”系数作为照明光的一种代表来处理整幅鱼群图像，以得到最终白平衡处理后的鱼群图像；
鱼群图像的各通道均值为
Figure DEST_PATH_IMAGE001
，
Figure DEST_PATH_IMAGE002
，其中，
Figure DEST_PATH_IMAGE003
表示单通道值，
Figure DEST_PATH_IMAGE004
表示 对单通道值
Figure 326245DEST_PATH_IMAGE003
进行求均值操作；
鱼群图像每通道的归一化率为
Figure DEST_PATH_IMAGE005
，
Figure DEST_PATH_IMAGE006
，其中，
Figure DEST_PATH_IMAGE007
表示灰度值；
对
Figure 869484DEST_PATH_IMAGE005
进行微调，微调后的鱼群图像每通道的归一化率为
Figure DEST_PATH_IMAGE008
，
Figure DEST_PATH_IMAGE009
；
则白平衡处理后的鱼群图像为
Figure DEST_PATH_IMAGE010
，
Figure DEST_PATH_IMAGE011
。
5.根据权利要求4所述的投饲方法，其特征在于，所述步骤3中，计算白平衡处理后的鱼群图像的大气光值和透射函数的具体过程如下：
在经过白平衡处理后的鱼群图像中随机选取20个区域，首先计算单一区域鱼群图像的 每像素点的最小通道亮度值
Figure DEST_PATH_IMAGE012
，
Figure DEST_PATH_IMAGE013
，其中，
Figure DEST_PATH_IMAGE014
为鱼群图像的
Figure DEST_PATH_IMAGE015
颜色通道亮度值，
Figure DEST_PATH_IMAGE016
、
Figure DEST_PATH_IMAGE017
、
Figure DEST_PATH_IMAGE018
分别为鱼群图像的三个颜色通道，然后对
Figure 554281DEST_PATH_IMAGE012
进行中值滤波处 理，选取灰度值最大的前30个像素点，在对应的源鱼群图像坐标上选取灰度值最高像素点 的值作为单一区域大气光值，取20个区域的大气光值的平均值为最终的大气光值
Figure DEST_PATH_IMAGE019
；
鱼群图像粗糙暗通道图为
Figure DEST_PATH_IMAGE020
，
Figure DEST_PATH_IMAGE021
，其中，
Figure DEST_PATH_IMAGE022
表示
Figure 870861DEST_PATH_IMAGE015
颜色通道对 应的大气光值；对
Figure 216392DEST_PATH_IMAGE020
先后进行图像金字塔处理和中值滤波处理后获得的图像为
Figure DEST_PATH_IMAGE023
； 计算
Figure 605566DEST_PATH_IMAGE023
的局部标准差并进行中值滤波处理，得到鱼群局部细节图像
Figure DEST_PATH_IMAGE024
，
Figure DEST_PATH_IMAGE025
，其中，
Figure DEST_PATH_IMAGE026
表示中值滤波操作，
Figure DEST_PATH_IMAGE027
表示中值滤波的滤波 窗口大小；则移除鱼群局部细节的图像为
Figure DEST_PATH_IMAGE028
，
Figure DEST_PATH_IMAGE029
；
利用自然图像的物理特性约束条件优化鱼群图像粗糙暗通道图，得到优化后的鱼群图 像暗通道图
Figure DEST_PATH_IMAGE030
，
Figure DEST_PATH_IMAGE031
，其中，
Figure DEST_PATH_IMAGE032
表示调节参数，取0.96；则白平衡处理 后的鱼群图像的透射函数为
Figure DEST_PATH_IMAGE033
，
Figure DEST_PATH_IMAGE034
。
6.根据权利要求5所述的投饲方法，其特征在于，所述步骤3中，获取清晰鱼群图像的具 体过程如下：池壁摄像头（3）以及顶部摄像头（4）捕捉到的鱼群图像为
Figure DEST_PATH_IMAGE035
，
Figure DEST_PATH_IMAGE036
，其中，
Figure DEST_PATH_IMAGE037
表示清晰鱼群图像。
7.根据权利要求3所述的投饲方法，其特征在于，所述步骤4中，设定
Figure DEST_PATH_IMAGE038
时刻鱼群图像上的 一个像素点为
Figure DEST_PATH_IMAGE039
，则在
Figure DEST_PATH_IMAGE040
时刻，该像素点位置为
Figure DEST_PATH_IMAGE041
，
Figure DEST_PATH_IMAGE042
，其中，
Figure DEST_PATH_IMAGE043
表示增量符号，该像素点不同位置的连线即为 该鱼群图像的光流运动轨迹。
8.根据权利要求3所述的投饲方法，其特征在于，所述步骤5中，训练光流轨迹数据集时，训练参数设置学习率为0.001，动量系数设置为0.9，权值衰减系数设置为0.000 5，每5万次迭代衰减一次学习率，衰减因子设置为0.1，共进行8万次的迭代。
9.根据权利要求3所述的投饲方法，其特征在于，所述步骤6中，PLC（7）对料仓绞龙（9）、运输绞龙（11）、风机（12）的控制方式具体如下：
鱼群处于饥饿状态时，PLC（7）控制料仓绞龙（9）、运输绞龙（11）的转速加快，控制风机（12）持续工作，向投饲区域（2）快速投放饲料；
鱼群处于进食中状态时，PLC（7）控制料仓绞龙（9）、运输绞龙（11）匀速转动，控制风机（12）持续工作，向投饲区域（2）均匀投放饲料；
鱼群处于饱饲状态时，PLC（7）控制料仓绞龙（9）、运输绞龙（11）、风机（12）停机，等待下一轮投饲。
CN202110082450.XA 2021-01-21 2021-01-21 一种基于机器视觉技术的温室鱼苗智能投饲装置及方法 Active CN112400773B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110082450.XA CN112400773B (zh) 2021-01-21 2021-01-21 一种基于机器视觉技术的温室鱼苗智能投饲装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110082450.XA CN112400773B (zh) 2021-01-21 2021-01-21 一种基于机器视觉技术的温室鱼苗智能投饲装置及方法

Publications (2)

Publication Number Publication Date
CN112400773A true CN112400773A (zh) 2021-02-26
CN112400773B CN112400773B (zh) 2021-04-09

Family

ID=74782821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110082450.XA Active CN112400773B (zh) 2021-01-21 2021-01-21 一种基于机器视觉技术的温室鱼苗智能投饲装置及方法

Country Status (1)

Country Link
CN (1) CN112400773B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113040081A (zh) * 2021-03-24 2021-06-29 浙江大学 基于鱼群游泳能耗分析的循环水养殖鱼类智能投喂决策系统
CN115486391A (zh) * 2022-09-13 2022-12-20 浙江大学 一种珍珠龙胆石斑鱼精准投喂养殖方法
CN116250505A (zh) * 2023-05-04 2023-06-13 渔管家(上海)渔业有限公司 一种具有系统化的饲料鳜鱼苗种人工繁育设备及其方法
CN116630080A (zh) * 2023-07-25 2023-08-22 广东省农业科学院动物科学研究所 基于图像识别的水产集约化养殖饲料容量确定方法及系统
CN116724932A (zh) * 2023-08-10 2023-09-12 中国水产科学研究院南海水产研究所 一种增殖放流苗种适应性暂养方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5732655A (en) * 1996-03-27 1998-03-31 Hitachi, Ltd. Automatic feeding apparatus for aquatic life, and a method for using same
KR100923243B1 (ko) * 2009-04-24 2009-10-27 주식회사 프로봇 급이로봇을 이용한 자동화 양식 시스템
CN104542411A (zh) * 2014-12-19 2015-04-29 浙江大学 一种基于图像处理技术的智能投饵装置及方法
CN205161585U (zh) * 2015-11-20 2016-04-20 吴家春 一种干燥饲料的水产养殖投饲机
CN111165414A (zh) * 2020-01-15 2020-05-19 浙江大学 一种基于光-声耦合技术的游泳型鱼类自适应投喂装置及方法
CN111372060A (zh) * 2020-04-07 2020-07-03 北京海益同展信息科技有限公司 智能投饵方法、系统及巡检视觉装置
CN112136741A (zh) * 2020-08-28 2020-12-29 盐城工学院 视觉面积精准喂食方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5732655A (en) * 1996-03-27 1998-03-31 Hitachi, Ltd. Automatic feeding apparatus for aquatic life, and a method for using same
KR100923243B1 (ko) * 2009-04-24 2009-10-27 주식회사 프로봇 급이로봇을 이용한 자동화 양식 시스템
CN104542411A (zh) * 2014-12-19 2015-04-29 浙江大学 一种基于图像处理技术的智能投饵装置及方法
CN205161585U (zh) * 2015-11-20 2016-04-20 吴家春 一种干燥饲料的水产养殖投饲机
CN111165414A (zh) * 2020-01-15 2020-05-19 浙江大学 一种基于光-声耦合技术的游泳型鱼类自适应投喂装置及方法
CN111372060A (zh) * 2020-04-07 2020-07-03 北京海益同展信息科技有限公司 智能投饵方法、系统及巡检视觉装置
CN112136741A (zh) * 2020-08-28 2020-12-29 盐城工学院 视觉面积精准喂食方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113040081A (zh) * 2021-03-24 2021-06-29 浙江大学 基于鱼群游泳能耗分析的循环水养殖鱼类智能投喂决策系统
CN113040081B (zh) * 2021-03-24 2022-01-18 浙江大学 基于鱼群游泳能耗分析的循环水养殖鱼类投喂决策系统
CN115486391A (zh) * 2022-09-13 2022-12-20 浙江大学 一种珍珠龙胆石斑鱼精准投喂养殖方法
CN115486391B (zh) * 2022-09-13 2024-02-06 浙江大学 一种珍珠龙胆石斑鱼精准投喂养殖方法
CN116250505A (zh) * 2023-05-04 2023-06-13 渔管家(上海)渔业有限公司 一种具有系统化的饲料鳜鱼苗种人工繁育设备及其方法
CN116630080A (zh) * 2023-07-25 2023-08-22 广东省农业科学院动物科学研究所 基于图像识别的水产集约化养殖饲料容量确定方法及系统
CN116630080B (zh) * 2023-07-25 2024-01-26 广东省农业科学院动物科学研究所 基于图像识别的水产集约化养殖饲料容量确定方法及系统
CN116724932A (zh) * 2023-08-10 2023-09-12 中国水产科学研究院南海水产研究所 一种增殖放流苗种适应性暂养方法及系统
CN116724932B (zh) * 2023-08-10 2023-12-29 中国水产科学研究院南海水产研究所 一种增殖放流苗种适应性暂养方法及系统

Also Published As

Publication number Publication date
CN112400773B (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN112400773B (zh) 一种基于机器视觉技术的温室鱼苗智能投饲装置及方法
WO2019232247A1 (en) Biomass estimation in an aquaculture environment
US20200113158A1 (en) Data collection system and method for feeding aquatic animals
CN107094683B (zh) 一种水产养殖的自动投饵和水质监测控制系统
JP3101938B2 (ja) 水棲生物用自動給餌装置及び方法
WO2020207092A1 (zh) 一种融合机器视觉与红外检测技术的反馈式池塘循环水智能投饲系统
CN113040081B (zh) 基于鱼群游泳能耗分析的循环水养殖鱼类投喂决策系统
CN107372267A (zh) 一种基于游泳型鱼类行为特征反馈的智能投饲系统
CN108450382A (zh) 一种基于深度学习的智能投饲系统
CN112753635B (zh) 一种海水鱼类增殖放流苗种野性驯化系统及驯化方法
CN104542411B (zh) 一种基于图像处理技术的智能投饵装置及方法
Tang et al. An improved YOLOv3 algorithm to detect molting in swimming crabs against a complex background
TWI736415B (zh) 智慧水產投餵管理系統及投餵方法
Huang et al. The prototype of a smart underwater surveillance system for shrimp farming
CN111359907B (zh) 基于嵌入式深度学习的小麦感染赤霉病病粒率实时在线检测系统及方法
CN114467824B (zh) 智能投饵船
CN107242176A (zh) 一种网箱养殖系统
CN107121535A (zh) 一种有效的农作物生长环境监测系统
TW202002772A (zh) 智慧深度學習農漁培養系統
CN111528164B (zh) 一种龟鳖鱼生态混养水下喂料装置
CN113170758A (zh) 一种基于鱼群行为和底部排污特性的变速流智能控制系统
CN208187400U (zh) 一种基于机器视觉的鱼类体长测量装置
CN113615620A (zh) 一种高密度养殖循环系统
CN116630080B (zh) 基于图像识别的水产集约化养殖饲料容量确定方法及系统
CN105379649A (zh) 一种鳑鲏大棚水泥池生态早繁方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant