CN113592896B - 基于图像处理的鱼类投喂方法、系统、设备及存储介质 - Google Patents

基于图像处理的鱼类投喂方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN113592896B
CN113592896B CN202010366856.6A CN202010366856A CN113592896B CN 113592896 B CN113592896 B CN 113592896B CN 202010366856 A CN202010366856 A CN 202010366856A CN 113592896 B CN113592896 B CN 113592896B
Authority
CN
China
Prior art keywords
fish
motion
image
video
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010366856.6A
Other languages
English (en)
Other versions
CN113592896A (zh
Inventor
安冬
郝进
位耀光
李道亮
于晓宁
王雅倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN202010366856.6A priority Critical patent/CN113592896B/zh
Publication of CN113592896A publication Critical patent/CN113592896A/zh
Application granted granted Critical
Publication of CN113592896B publication Critical patent/CN113592896B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K61/00—Culture of aquatic animals
    • A01K61/80—Feeding devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Environmental Sciences (AREA)
  • Animal Husbandry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Zoology (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例涉及图像处理技术领域，公开了基于图像处理的鱼类投喂方法、系统、设备及存储介质。本发明实施例先获取当前鱼类运动图像；根据当前鱼类运动图像进行目标跟踪，以记录鱼类运动轨迹；根据鱼类运动轨迹确定鱼类运动参数；根据鱼类运动参数确定鱼类饥饿状态；根据鱼类饥饿状态确定当前投喂行为，以对鱼类进行饲料投喂。明显地，本发明实施例可根据鱼类的当前实际行为作为参量来精准地确定当前投喂行为，如此能够对不同养殖环境下的不同养殖鱼类灵活地提供可行的精准投喂策略，投喂行为更加智能化更加精准，解决了无法较为精确进行鱼类投喂的技术问题。

Description

基于图像处理的鱼类投喂方法、系统、设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及基于图像处理的鱼类投喂方法、系统、设备及存储介质。
背景技术
随着世界人口的快速增长和经济的不断发展，人类对动物蛋白的需求日益增加，而鱼类是这类资源的重要提供物种，但捕捞量却受到天然渔业资源的限制。
因此，水产养殖就成为了一项迅速发展的产业，可为人类提供大量资源。
就水产养殖而言，提倡高效投喂，其关键是在特定时间段内投喂适量的饲料，以满足养殖对象特定生长率所需要的营养。
就投喂方法而言，传统投喂方法中的人工投喂方法虽能够极大程度上保证养殖对象的摄食，却费时费力，成本过高，同时，投喂量与时间也比较笼统；至于机器定时定量投喂，虽能有效降低人工成本，但是人工根据理论生长模型或者经验预设的投喂量与养殖对象的实际采食需求之间往往差异较大，容易造成饲料投喂不足或者过量，继而导致生长效能降低、饲料浪费以及养殖水体污染等状况。
可见，传统的投喂方法存在着无法较为精确进行投喂的技术问题。
发明内容
为了解决无法较为精确进行鱼类投喂的技术问题，本发明实施例提供基于图像处理的鱼类投喂方法、系统、设备及存储介质。
第一方面，本发明实施例提供一种基于图像处理的鱼类投喂方法，包括：
获取当前鱼类运动图像；
根据所述当前鱼类运动图像进行目标跟踪，以记录鱼类运动轨迹；
根据所述鱼类运动轨迹确定鱼类运动参数；
根据所述鱼类运动参数确定鱼类饥饿状态；
根据所述鱼类饥饿状态确定当前投喂行为，以对鱼类进行饲料投喂。
优选地，所述获取当前鱼类运动图像之前，所述基于图像处理的鱼类投喂方法还包括：
获取初始鱼类水下运动视频；
通过预设视频增强方式对所述初始鱼类水下运动视频进行视频增强，以得到增强后的当前鱼类运动图像。
优选地，所述通过预设视频增强方式对所述初始鱼类水下运动视频进行视频增强，以得到增强后的当前鱼类运动图像之前，所述基于图像处理的鱼类投喂方法还包括：
获取与初始鱼类水下运动视频对应的增强鱼类运动图像；
根据所述初始鱼类水下运动视频与所述增强鱼类运动图像之间的峰值信噪比选取与目标增强鱼类运动图像对应的目标水下视频增强方式，并将所述目标水下视频增强方式设置为预设视频增强方式。
优选地，所述通过预设视频增强方式对所述初始鱼类水下运动视频进行视频增强，以得到增强后的当前鱼类运动图像，具体包括：
通过与限制对比度自适应直方图均衡对应的视频增强方式对所述初始鱼类水下运动视频进行视频增强，以得到增强后的当前鱼类运动图像。
优选地，所述根据所述当前鱼类运动图像进行目标跟踪，以记录鱼类运动轨迹之前，所述基于图像处理的鱼类投喂方法还包括：
获取与当前鱼类运动图像对应的跟踪试验参数；
基于所述跟踪试验参数选取待使用跟踪方式，并将所述待使用跟踪方式设置为预设跟踪方式；
相应地，所述根据所述当前鱼类运动图像进行目标跟踪，以记录鱼类运动轨迹，具体包括：
通过预设跟踪方式对所述当前鱼类运动图像进行目标跟踪，以记录鱼类运动轨迹。
优选地，所述根据所述鱼类运动轨迹确定鱼类运动参数，具体包括：
将与预设拍摄方向对应的鱼类运动轨迹进行结合，以得到三维轨迹视频；
根据所述三维轨迹视频确定与单位时刻对应的鱼类运动参数。
优选地，所述根据所述鱼类运动参数确定鱼类饥饿状态，具体包括：
将所述鱼类运动轨迹与所述鱼类运动参数输入至多模态机器学习算法，得到所述多模态机器学习算法输出的鱼类饥饿状态；
其中，所述多模态机器学习算法是基于运动轨迹样本、参数样本与饥饿状态样本训练得到的。
第二方面，本发明实施例提供一种基于图像处理的鱼类投喂系统，包括：
图像获取模块，用于获取当前鱼类运动图像；
目标跟踪模块，用于根据所述当前鱼类运动图像进行目标跟踪，以记录鱼类运动轨迹；
参数确定模块，用于根据所述鱼类运动轨迹确定鱼类运动参数；
状态确定模块，用于根据所述鱼类运动参数确定鱼类饥饿状态；
鱼类投喂模块，用于根据所述鱼类饥饿状态确定当前投喂行为，以对鱼类进行饲料投喂。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明第一方面提供的一种基于图像处理的鱼类投喂方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明第一方面提供的一种基于图像处理的鱼类投喂方法的步骤。
本发明实施例提供的基于图像处理的鱼类投喂方法、系统、设备及存储介质，先获取当前鱼类运动图像；根据当前鱼类运动图像进行目标跟踪，以记录鱼类运动轨迹；根据鱼类运动轨迹确定鱼类运动参数；根据鱼类运动参数确定鱼类饥饿状态；根据鱼类饥饿状态确定当前投喂行为，以对鱼类进行饲料投喂。明显地，本发明实施例可根据鱼类的当前实际行为作为参量来精准地确定当前投喂行为，如此能够对不同养殖环境下的不同养殖鱼类灵活地提供可行的精准投喂策略，投喂行为更加智能化更加精准，解决了无法较为精确进行鱼类投喂的技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于图像处理的鱼类投喂方法的流程图；
图2为本发明又一实施例提供的一种基于图像处理的鱼类投喂方法的流程图；
图3为本发明再一实施例提供的一种基于图像处理的鱼类投喂方法的流程图；
图4为本发明实施例提供的一种基于图像处理的鱼类投喂系统的结构示意图；
图5为本发明实施例提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的一种基于图像处理的鱼类投喂方法的流程图，如图1所示，该方法包括：
S1，获取当前鱼类运动图像。
可以理解的是，为了解决无法较为精确进行鱼类投喂的技术问题，通过建立一个基于图像处理的鱼类投喂平台，可以更加简洁方便、及时准确地对鱼类进行投喂养殖。
具体地，该当前鱼类运动图像为记录鱼类运动状态的图像，该当前鱼类运动图像可为当前鱼类运动视频。
S2，根据所述当前鱼类运动图像进行目标跟踪，以记录鱼类运动轨迹。
接着，可根据当前鱼类运动图像进行鱼类运动轨迹的跟踪，以记录下每个时刻跟踪到的鱼类运动轨迹。
S3，根据所述鱼类运动轨迹确定鱼类运动参数。
接着，可根据记录的每个时刻的鱼类运动轨迹统计出每条鱼的运动速度、加速度等鱼类运动参数。
S4，根据所述鱼类运动参数确定鱼类饥饿状态。
可以理解的是，可利用收集到的鱼类运动参数判别当前鱼类的鱼类饥饿状态。
其中，描述饥饿程度的鱼类饥饿状态包括实时饥饿状态与实时饱食状态等。
S5，根据所述鱼类饥饿状态确定当前投喂行为，以对鱼类进行饲料投喂。
应当理解的是，根据判别出的鱼类饥饿状态可控制投喂器投喂饲料。当然，若处于实时饱食状态，也可记为鱼群饱食状况，则可及时停止饲料的投放。
明显地，本发明实施例可根据鱼类实际行为作为反馈来精准投喂鱼类，如此能够对不同养殖环境下的不同养殖鱼类提供可行的精准投喂策略,保证鱼类处于最佳生长状态。
此外，还能够为水产养殖中福利化、智能化的投喂装备的研发提供更多依据。
其中，本发明实施例的执行主体为电子设备，该电子设备可为一控制器，该控制器与投喂器连接，以控制投喂器的投喂行为；该电子设备也可为投喂器本身。此处对于电子设备的具体实现方式不作限制。
本发明实施例提供的基于图像处理的鱼类投喂方法，先获取当前鱼类运动图像；根据当前鱼类运动图像进行目标跟踪，以记录鱼类运动轨迹；根据鱼类运动轨迹确定鱼类运动参数；根据鱼类运动参数确定鱼类饥饿状态；根据鱼类饥饿状态确定当前投喂行为，以对鱼类进行饲料投喂。明显地，本发明实施例可根据鱼类的当前实际行为作为参量来精准地确定当前投喂行为，如此能够对不同养殖环境下的不同养殖鱼类灵活地提供可行的精准投喂策略，投喂行为更加智能化更加精准，解决了无法较为精确进行鱼类投喂的技术问题。
图2为本发明又一实施例提供的一种基于图像处理的鱼类投喂方法的流程图，本发明又一实施例基于上述图1所示的实施例。
本实施例中，所述S1之前，所述基于图像处理的鱼类投喂方法还包括：
S01，获取初始鱼类水下运动视频。
可以理解的是，可在养殖池内预先设置摄像头，可设置多个不同拍摄方向的摄像头，以传输获得与不同拍摄方向分别对应的初始鱼类水下运动视频。
具体地，可利用三维(3D，3-dimension)视觉监测技术，采集养殖池正上方与正前方分别对应的鱼类水下运动视频，可记为初始鱼类水下运动视频，并实时传输到上述鱼类投喂平台进行处理。
S02，通过预设视频增强方式对所述初始鱼类水下运动视频进行视频增强，以得到增强后的当前鱼类运动图像。
应当理解的是，鉴于导入的初始鱼类水下运动视频是在水中拍摄的，在水下环境中能见度低，存在光能量的损失，散射又造成了光传播方向的改变，进而导致了视频清晰度较低和对比度较低。所以，可对初始鱼类水下运动视频进行视频增强，增强后的鱼类运动视频颜色更加鲜艳，细节更加明显，而且，对比度也提高了。
可见，预设视频增强方式可恢复视频图像的对比度、图像细节。
所以，可采用预设视频增强方式对所述初始鱼类水下运动视频进行视频增强，可将增强后的视频记为当前鱼类运动图像，后续将基于当前鱼类运动图像进行鱼类投喂。
本发明实施例提供的基于图像处理的鱼类投喂方法，将对拍摄得到的初始鱼类水下运动视频进行视频增强，以改善水下环境中的图像质量，更加便于后续根据增强后的图像进行鱼类投喂。
在上述实施例的基础上，优选地，所述通过预设视频增强方式对所述初始鱼类水下运动视频进行视频增强，以得到增强后的当前鱼类运动图像之前，所述基于图像处理的鱼类投喂方法还包括：
获取与初始鱼类水下运动视频对应的增强鱼类运动图像；
根据所述初始鱼类水下运动视频与所述增强鱼类运动图像之间的峰值信噪比选取与目标增强鱼类运动图像对应的目标水下视频增强方式，并将所述目标水下视频增强方式设置为预设视频增强方式。
可以理解的是，鉴于实时采集的初始鱼类水下运动视频所处的环境不同，色偏与对比度的不同，因此，不同环境下采集的初始鱼类水下运动视频在首次使用本鱼类投喂平台时，将会存在多种可使用的水下视频增强方法可供使用。而本发明实施例将提供一类视频增强方式的择优选取方式。
具体地，可通过对比峰值信噪比(PSNR，Peak signal-to-noise ratio)的方式判别适合当前环境的最佳水下视频增强方式，并在后续处理时，使用相同增强方式。
比如，以两种水下视频增强方式为例，可先记为第一水下视频增强方式与第二水下视频增强方式。先通过第一水下视频增强方式对初始鱼类水下运动视频进行视频增强，以得到与第一水下视频增强方式对应的增强鱼类运动图像；再通过第二水下视频增强方式对初始鱼类水下运动视频进行视频增强，以得到与第二水下视频增强方式对应的增强鱼类运动图像。若初始鱼类水下运动视频与第一水下视频增强方式对应的增强鱼类运动图像之间的PSNR表现较优，则第一水下视频增强方式记为目标水下视频增强方式；反之，则第二水下视频增强方式记为目标水下视频增强方式。后续，将直接使用目标水下视频增强方式对当前环境中的水下视频进行视频增强操作。
更具体地，若将原始视频与增强后视频之间的同时刻随机图像的PSNR作为评价指标，其中，PSNR经常用作图像压缩等领域中信号重建质量的测量方法，它常简单地通过均方误差(MSE，Mean Square Error)进行定义。
比如，两个m×n大小的单色图像，分别记为I和K，如果一个为另外一个的噪声近似，那么它们的均方误差定义为，
其中，MSE表示均方误差；m和n代表图像的分辨率，也就是图像像素的长与宽；i与j分别代表图像中每个像素的像素坐标；I(i，j)与K(i，j)表示(i，j)坐标下的I图像与K图像对应的像素点。
则PSNR可定义为，
其中，PSNR表示峰值信噪比，MAXI表示图像点颜色的最大数值，若每个采样点用8位表示，则该数值为255。
进一步地，可分别在养殖池正前方与正上方采集同步的鱼类水下运动视频，鉴于两个水下运动视频的特征相似，首次使用水下运动视频增强算法即水下视频增强方式时，可仅使用与正前方对应的初始鱼类水下运动视频来判断最佳的水下视频增强方式。
本发明实施例提供的基于图像处理的鱼类投喂方法，将基于PSNR进行水下视频增强方式的择优操作。
在上述实施例的基础上，优选地，所述通过预设视频增强方式对所述初始鱼类水下运动视频进行视频增强，以得到增强后的当前鱼类运动图像，具体包括：
通过与限制对比度自适应直方图均衡对应的视频增强方式对所述初始鱼类水下运动视频进行视频增强，以得到增强后的当前鱼类运动图像。
可以理解的是，与限制对比度自适应直方图均衡(CLAHE，Contrast LimitedAdaptive Histogram Equalization)对应的视频增强方式具体为，先计算初始鱼类水下运动视频的视频图像中多个局部区域的直方图，并重新分布亮度以此改变视频图像的对比度，再加上对每个子块直方图做了限制，可以很好地控制噪声的生成。
更具体地，若选用的预设视频增强方式为与限制对比度自适应直方图均衡对应的视频增强方式，可对导入的视频图像使用限制对比度自适应直方图均衡方法进行图像增强。
其中，自适应直方图均衡化(AHE，Adaptive Histogram Equalization)是用来提升图像对比度的一种计算机图像处理技术。与普通的直方图均衡算法不同，AHE算法通过计算图像的局部直方图重新分布亮度来改变图像对比度。
因此，该算法更适合于改进图像的局部对比度以及获得更多的图像细节。
此外，CLAHE与普通的自适应直方图均衡算法的不同之处主要是对比度限幅。
对比度限幅这个特性也可以应用到全局直方图均衡化中，即构成所谓的限制对比度直方图均衡(CLHE，Contrast Limited Histogram Equalization)，但这在实际中很少使用。
在CLAHE中，对于每个小区域都必须使用对比度限幅，CLAHE主要是用来克服AHE过度放大噪音的问题，这主要是通过限制AHE算法的对比提高程度来达到的。
至于在指定的像素值周边的对比度放大，主要是由变换函数的斜度决定的，这个斜度和领域的累积直方图的斜度成比例。
其中，此处提及的领域为指定的像素点及其周围像素点的总和，领域的大小取决于选取的周围像素点的数量。
CLAHE通过在计算累积分布函数(CDF，Cumulative Distribution Function)前用预先定义的阈值来裁剪直方图以达到限制放大幅度的目的。这限制了CDF的斜度，因此也限制了变换函数的斜度。
其中，直方图被裁剪的值也就是所谓的裁剪限幅取决于直方图的分布，因此也取决于领域大小的取值。
在上述实施例的基础上，优选地，所述通过预设视频增强方式对所述初始鱼类水下运动视频进行视频增强，以得到增强后的当前鱼类运动图像，具体包括：
通过与多尺度Retinex(MSR，Multi-Scale Retinex)对应的视频增强方式对所述初始鱼类水下运动视频进行视频增强，以得到增强后的当前鱼类运动图像。
可以理解的是，水下视频增强方式存在多种，还可为与MSR对应的视频增强方式。
比如，上述的第一水下视频增强方式可为与限制对比度自适应直方图均衡对应的视频增强方式，第二水下视频增强方式可为与MSR对应的视频增强方式，此处仅为示例解释。
就与MSR对应的视频增强方式而言，通过使用MSR算法可以在维持视频图像的高保真的情况下大幅度压缩视频图像的动态范围，以达到视频图像增强的效果。即，获得的增强后的当前鱼类运动图像为高保证且压缩视频图像的动态范围后的运动图像。
更具体地，若选用的预设视频增强方式为与MSR对应的视频增强方式，其表达式为，
其中，i为R、G及B三通道，x、y为图像的长与宽，也就是分辨率；Ri(x,y)、Li(x,y)分别为对应的R、G、B通道下的R(x,y)、L(x,y)，R(x,y)表示图像本质特征的反射图像，L(x,y)表示原始图像；k表示高斯函数的尺度数量，Wk表示加权系数；F(x,y)表示高斯函数。
其中，k值一般取3，当k≥4时，处理效果并不会继续提高而且耗时增长；当k＝3时，可以获得处理效果较好的结果，包含高、中及低三种标准尺度，这个选择兼具了单尺度Retinex的高中低三个尺度的理想点，且降低了算法复杂度，此时，W1＝W2＝W3＝1/3。
可见，在通过评价指标比如PSNR选取出最佳的增强算法后，对从养殖池正上方获取的视频使用相同算法进行增强处理，由此可得到增强后的当前鱼类运动图像，也可记为增强后的3D水下鱼类视频。
图3为本发明再一实施例提供的一种基于图像处理的鱼类投喂方法的流程图，本发明再一实施例基于上述图1所示的实施例。
本实施例中，所述根据所述当前鱼类运动图像进行目标跟踪，以记录鱼类运动轨迹，具体包括：
通过预设跟踪方式对所述当前鱼类运动图像进行目标跟踪，以记录鱼类运动轨迹。
可以理解的是，鉴于导入鱼类投喂平台的当前鱼类运动图像比如为鱼类视频因鱼类数量与鱼类种类的不同，使用不同鱼类跟踪方式的跟踪效果也不同，可选用一跟踪性能表现较优的跟踪方式即预设跟踪方式进行目标跟踪操作。
在上述实施例的基础上，优选地，所述根据所述当前鱼类运动图像进行目标跟踪，以记录鱼类运动轨迹之前，所述基于图像处理的鱼类投喂方法还包括：
获取与当前鱼类运动图像对应的跟踪试验参数；
基于所述跟踪试验参数选取待使用跟踪方式，并将所述待使用跟踪方式设置为预设跟踪方式；
相应地，所述根据所述当前鱼类运动图像进行目标跟踪，以记录鱼类运动轨迹，具体包括：
通过预设跟踪方式对所述当前鱼类运动图像进行目标跟踪，以记录鱼类运动轨迹。
可以理解的是，存在着多种不同的鱼类跟踪方式可进行目标跟踪操作。为了进行鱼类跟踪方式的择优，可依据跟踪试验参数进行选取。
具体地，跟踪试验参数可包括多目标跟踪准确率(MOTA，Multi-Object TrackingAccuracy)与多目标跟踪精度(MOTP，Multi-Object Tracking Precision)。
应当理解的是，可通过对比MOTA与MOTP的方式判别适合当前环境的最佳跟踪方式，并在后续处理时，使用相同的跟踪方式。
比如，以三种跟踪方式为例，可先记为第一跟踪方式、第二跟踪方式与第三跟踪方式。先通过第一跟踪方式对当前鱼类运动图像进行目标跟踪，以记录第一鱼类运动轨迹，并记录对应的跟踪试验参数；再通过第二跟踪方式对当前鱼类运动图像进行目标跟踪，以记录第二鱼类运动轨迹，并记录对应的跟踪试验参数；再通过第三跟踪方式对当前鱼类运动图像进行目标跟踪，以记录第三鱼类运动轨迹，并记录对应的跟踪试验参数。若多个跟踪试验参数中，第一跟踪方式对应的跟踪试验参数表现最优，则将第一跟踪方式记为待使用跟踪方式，其他情况同理可知。
更具体地，若根据检测到的水下鱼类视频即当前鱼类运动图像的MOTA来确定鱼类目标跟踪算法即跟踪方式的适用性，可表示为，
其中，MOTA表示多目标跟踪准确率，mt、fpt和mmet分别表示t帧时漏检、误检和错误匹配的数量，gt表示t帧时跟踪目标的个数。
此外，MOTA可分为三个部分。其中，漏检率表示所有帧中总目标数的占比，如下
误检率如下
错误匹配率如下
可见，MOTA直观地给出了判断跟踪识别目标和保持一致性的能力，且与估计目标位置精确度无关。
但是，MOTP可弥补MOTA的不足。MOTP是所有帧中匹配的目标-预测对的总位置估计误差与匹配对数的比值。它衡量了跟踪估计目标位置精确度的能力，但不衡量识别目标结构的能力以及保持跟踪一致性的能力等。
其中，MOTP可表示为，
其中，MOTP表示多目标跟踪精度，i表示跟踪目标，t表示t帧，表示t帧下每一个目标与假设目标间的距离，ct表示t帧时的目标总数。
进一步地，就第一跟踪方式而言，所述通过预设跟踪方式对所述当前鱼类运动图像进行目标跟踪，以记录鱼类运动轨迹，具体包括：
通过DAT(Deep Attentive Tracking)跟踪方式对所述当前鱼类运动图像进行目标跟踪，以记录鱼类运动轨迹。
具体地，可在深度学习损失函数中引入注意力机制和反馈机制以建立DAT算法，并使用该DAT算法对应的DAT跟踪方式实现面向水下鱼类视频的目标跟踪功能。
更具体地，若对增强后的水下鱼类视频即增强后的当前鱼类运动图像使用DAT算法，首先需要初始化模型，在视频的第一帧中在目标周围采集多个样本，该样本包含了正样本和负样本，其判别指标为交并比(IoU，Intersection over Union)是否达到0.5，IoU计算的是“预测的边框”和“真实的边框”的交集和并集的比值。迭代次数为27，针对每一个样本的每一次迭代，都使用如下损失函数进行训练，
其中，表示损失函数对应的值；λ表示平衡因子，用于平衡交叉熵损失/>和正则项；y表示分类标签，正样本的分类标签y＝1，负样本的分类标签y＝0；R(y)表示注意正则化(attention regularization)。
当视频有了新的一帧时，在前一帧确定的位置周围采集候选样本，然后，将它们输入到卷积神经网络(CNN，Convolutional Neural Networks)中进行正向传播，得到各自候选样本的得分。具有最大得分的候选样本位置即认为是目标在当前帧中的位置。
继续前面在线检测的步骤，由于前面已经采集多个候选样本，也得出了目标在当前帧中的位置，因此，可以利用这些信息为这些候选样本进行分类，即利用IoU指标分出正样本和负样本。此时设置迭代次数同上，也可以适当减少迭代次数，并继续使用如上损失函数对CNN进行训练。
此外，模型更新过程并非每一帧都进行。
最后，直接利用上述迭代训练好的深度网络作正向传播，进行目标物体定位，以达成目标跟踪操作。
进一步地，就第二跟踪方式而言，所述通过预设跟踪方式对所述当前鱼类运动图像进行目标跟踪，以记录鱼类运动轨迹，具体包括：
通过高速相关滤波类跟踪方式对所述当前鱼类运动图像进行目标跟踪，以记录鱼类运动轨迹。
具体地，CSK(Exploiting the Circulant Structure of Tracking-by-detection with Kernels)的多通道颜色特征改进的算法KCF/DCF(Kernel CorrelationFilter/Discriminative Correlation Filter)是经典的高速相关滤波类跟踪算法。KCF/DCF虽然速度有所下降，但是跟踪精度保持在高水平。
更具体地，可使用KCF/DCF算法对水下鱼类视频即当前鱼类运动图像进行目标跟踪。鉴于KCF/DCF为经典相关滤波算法，仅用方向梯度直方图特征(HOG，Histogram ofOriented Gradient)作为追踪特征，有较高的追踪成功率与速度，特别是在多目标情况下，速度比较可观。
两者的区别为DCF为线性核，KCF为高斯核，所以，KCF的准确度更高，但DCF的速度更快。
进一步地，所谓的相关滤波方法就是根据当前帧的信息和之前帧的信息训练出一个相关滤波器，然后与新输入的帧进行相关性计算，得到的置信图就是预测的跟踪结果，显然，得分最高的那个点或者块就是最可能的跟踪结果。
相较于大多数目标跟踪算法，KCF算法使用目标周围区域的循环矩阵采集正负样本，利用脊回归训练目标检测器，并成功地利用循环矩阵在傅里叶空间可对角化的性质将矩阵的运算转化为向量的Hadamad积，即元素的点乘，大大降低了运算量，提高了运算速度，使算法满足实时性要求。
同时，将线性空间的脊回归通过核函数映射到非线性空间，在非线性空间通过求解一个对偶问题和某些常见的约束，同样可以使用循环矩阵傅里叶空间对角化简化计算。而且，KCF给出了一种将多通道数据融入该算法的途径。
进一步地，就第三跟踪方式而言，所述通过预设跟踪方式对所述当前鱼类运动图像进行目标跟踪，以记录鱼类运动轨迹，具体包括：
通过ECO-HC(Efficient Convolution Operators)跟踪方式对所述当前鱼类运动图像进行目标跟踪，以记录鱼类运动轨迹。
具体地，就ECO-HC跟踪方式而言，可使用特征提取更加全面、滤波器筛选更具有代表性的ECO-HC算法进行鱼类目标跟踪。
更具体地，可使用ECO-HC算法对水下鱼类视频进行目标跟踪，其他相关滤波算法会影响相关滤波算法的效率，也会导致过拟合。
而ECO-HC算法对卷积操作进行因式分解，通过提取特征子集来进行降维，减少了模型大小的影响。
主要包括两方面：模型层数，对应着多分辨率样本；特征维度，对应着庞大的HOG特征图。层数或者特征越多，表现力越丰富，计算量也相应地线性增加，对效率的影响是比较大的。
同时，ECO-HC简化了训练集生成，并保证了多分辨率样本的多样性。这里提及的训练集是指保存了每一帧的跟踪结果的训练集，也就是说，在每一次进行模型更新时，将使用到在这一帧之前所有跟踪到的样本。那么随着视频越来越长，这个训练集就会越来越大。
一般的解决方案是，保存比较新的样本，丢弃老的样本，具体策略每个方法都不一样。
这样一来，模型还是容易过拟合。因为，当目标被遮挡或者丢失时，比较新的这些样本本身就是错的，那么模型很容易有模型漂移，就是被背景或者错误的目标污染，导致跟踪结果出错。
另外，样本集的保存也会使得空间效率低下，增加计算负担。
这里将类似的多分辨率样本归并到一个元组中，训练样本从多个元组中进行选择。而且，理想情况下希望每一帧都进行模型更新，实时特征更新能够保证准确性，但同样会带来效率负担，探讨间隔帧模式下的模型更新策略是提高效率的一个思路。
所以，现在将更新间隔如同DAT一样在不同迭代次数下进行更新。稀疏更新策略能避免模型漂移问题，提高速度和健壮性。
在上述实施例的基础上，优选地，所述S3，具体包括：
S31，将与预设拍摄方向对应的鱼类运动轨迹进行结合，以得到三维轨迹视频。
在具体实现中，与预设拍摄方向对应的初始鱼类水下运动视频可存在多个，即分别由不同方位的摄像头监测得到的初始鱼类水下运动视频，具体可为通过3D视觉监测技术获得的养殖池正上方与正前方视频。
可见，分别在养殖池正前方与正上方采集同步的鱼类水下运动视频，根据两个时间同步的视频，即可得到养殖池3D水下视频。
接着，从与预设拍摄方向对应的初始鱼类水下运动视频中即可得到与预设拍摄方向对应的鱼类运动轨迹，即两段表征鱼类运动轨迹的视频。
其中，鱼类运动轨迹为与预设拍摄方向对应的鱼类轨迹视频。
然后，可对这两段目标跟踪视频进行结合，以获得3D鱼类轨迹视频即上述三维轨迹视频。
其中，该三维轨迹视频不包括背景与鱼类，仅记录了运动线的变化。
S32，根据所述三维轨迹视频确定与单位时刻对应的鱼类运动参数。
应当理解的是，可基于该三维轨迹视频确定运动速度、加速度等鱼类运动参数。
本发明实施例提供的基于图像处理的鱼类投喂方法，可结合不同拍摄方向的鱼类运动轨迹，以基于3D轨迹来确定运动参数。
进一步地，更具体地，针对水下鱼类正前方视频对应的鱼类运动轨迹，可按照地面平行方向设为x轴，垂直于地面设为y轴，描述此运动轨迹；再利用水下鱼类正上方视频对应的鱼类运动轨迹，按照其中一条鱼正前方重合的为x轴，另一条垂直于x轴的方向为z轴。由对应的鱼的两条轨迹可以描绘出鱼类运动的3D轨迹。
其中，根据鱼类的运动轨迹和运动方向，加上鱼类运动的时间，可以求算出鱼类每个时刻的运动速度和加速度。
在上述实施例的基础上，优选地，所述根据所述鱼类运动参数确定鱼类饥饿状态，具体包括：
将所述鱼类运动轨迹与所述鱼类运动参数输入至多模态机器学习算法，得到所述多模态机器学习算法输出的鱼类饥饿状态；
其中，所述多模态机器学习算法是基于运动轨迹样本、参数样本与饥饿状态样本训练得到的。
可以理解的是，鱼类运动轨迹对应于运动轨迹样本，鱼类运动参数对应于参数样本，鱼类饥饿状态对应于饥饿状态样本。
在具体实现中，使用多模态机器学习(MMML，MultiModal Machine Learning)，将获取不同形式的信息，即运动速度、加速度以及鱼类运动轨迹等；通过机器学习的方法实现对于多源模态信息的处理和理解，可用于判别鱼类此时处于实时饥饿状态或者实时饱食状态，并及时准确地对鱼群进行投喂养殖。
其中，多源模态信息是指鱼类运动轨迹与鱼类运动参数。
经过长时间的对于同一环境与鱼群的多模态机器学习，本鱼类投喂平台可通过获得的不同形式的信息，对不同养殖池内的不同种类的鱼群的饲料投喂量与投喂时间的判断更加准确。
其中，当前投喂行为包括饲料投喂量与投喂时间。
可见，利用多模态之间的互补性，剔除模态间的冗余性，从而可学习到更好的特征表示。
而且，使用多模态联合表示可将运动速度、加速度以及运动轨迹等多个模态信息一起映射到一个统一的多模态向量空间中，最适合在推理过程中出现所有模态的状况，包括所需的鱼类饥饿行为即实时饥饿状态、鱼类饱食行为即实时饱食状态以及鱼类正常状态。
此外，对于判断出的鱼类运动状态，可实时反馈在本平台界面上，同时，对于鱼类饥饿状态可及时对鱼群进行饲料投喂。
此外，最先设定的饲料投喂量是根据传统鱼类养殖的投喂方式确定的，即，根据养殖池内的鱼尾数量以及生长阶段确定鱼群投喂量，每日8:00-9:00以及16:00-17:00进行两餐投喂
经过长时间的数据收集和网络的训练，根据不同季节和环境变换以及鱼群生长情况，将对饲料的投喂量以及投喂时间实时进行调整，保证鱼类处于最佳生长状态，减少了资源的浪费，提高了鱼类养殖的效益。
综上，本发明实施例可划分为三点，第一将采集的水下视频图像通过增强算法处理后恢复出视频图像的对比度、细节等，第二是使用目标跟踪算法对采集的水下鱼群3D视频进行鱼类目标位置的跟踪，第三是通过计算出的运动速度、加速度以及鱼类运动轨迹，通过多模态机器学习方法对鱼类进行行为分析，以及时准确地对鱼群进行投喂养殖。
其中，获得的3D水下视频图像即初始鱼类水下运动视频由于所处的环境不同，包含不同的视频特征，水下视频存在颜色偏差、视频模糊程度及视频对比度不同等状况，因此，可根据不同特征采取特定的水下视频增强方法，以获得更好的增强后水下视频。
类似地，鉴于养殖池中鱼类数量、运动情况不同，根据不同的特点可采用不同的目标跟踪算法，以更加精确地描述鱼类目标运动情况。
同时，由于人类与鱼类不能进行沟通，因此对鱼类行为的判断只能根据鱼类的运动情况。但是，通过多模态机器学习可以通过研究不同形式的信息，给出更加灵活的判断，往“人工智能”方向发展。
可见，本发明实施例增强了实时获取的养殖池3D水下鱼类视频，通过获取3D鱼类运动轨迹等数据实现了对于鱼类行为的准确判断，保证了对于鱼类的及时喂养以及异常行为的解决。同时，也可以预测鱼类行为，为解决问题提供了缓冲时间，不仅减少了资源的消耗，同时，也提高了鱼类养殖的效益。
图4为本发明实施例提供的一种基于图像处理的鱼类投喂系统的结构示意图，如图4所示，该系统包括：图像获取模块301、目标跟踪模块302、参数确定模块303、状态确定模块304及鱼类投喂模块305；
图像获取模块301，用于获取当前鱼类运动图像；
目标跟踪模块302，用于根据所述当前鱼类运动图像进行目标跟踪，以记录鱼类运动轨迹；
参数确定模块303，用于根据所述鱼类运动轨迹确定鱼类运动参数；
状态确定模块304，用于根据所述鱼类运动参数确定鱼类饥饿状态；
鱼类投喂模块305，用于根据所述鱼类饥饿状态确定当前投喂行为，以对鱼类进行饲料投喂。
本发明实施例提供的基于图像处理的鱼类投喂系统，先获取当前鱼类运动图像；根据当前鱼类运动图像进行目标跟踪，以记录鱼类运动轨迹；根据鱼类运动轨迹确定鱼类运动参数；根据鱼类运动参数确定鱼类饥饿状态；根据鱼类饥饿状态确定当前投喂行为，以对鱼类进行饲料投喂。明显地，本发明实施例可根据鱼类的当前实际行为作为参量来精准地确定当前投喂行为，如此能够对不同养殖环境下的不同养殖鱼类灵活地提供可行的精准投喂策略，投喂行为更加智能化更加精准，解决了无法较为精确进行鱼类投喂的技术问题。
本发明实施例提供的系统实施例是为了实现上述各方法实施例的，具体流程和详细内容请参照上述方法实施例，此处不再赘述。
图5为本发明实施例提供的一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)401、通信接口(Communications Interface)402、存储器(memory)403和总线404，其中，处理器401，通信接口402，存储器403通过总线404完成相互间的通信。通信接口402可以用于电子设备的信息传输。处理器401可以调用存储器403中的逻辑指令，以执行包括如下的方法：
获取当前鱼类运动图像；
根据所述当前鱼类运动图像进行目标跟踪，以记录鱼类运动轨迹；
根据所述鱼类运动轨迹确定鱼类运动参数；
根据所述鱼类运动参数确定鱼类饥饿状态；
根据所述鱼类饥饿状态确定当前投喂行为，以对鱼类进行饲料投喂。
此外，上述的存储器403中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明上述各方法实施例的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：
获取当前鱼类运动图像；
根据所述当前鱼类运动图像进行目标跟踪，以记录鱼类运动轨迹；
根据所述鱼类运动轨迹确定鱼类运动参数；
根据所述鱼类运动参数确定鱼类饥饿状态；
根据所述鱼类饥饿状态确定当前投喂行为，以对鱼类进行饲料投喂。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于图像处理的鱼类投喂方法，其特征在于，包括：
获取当前鱼类运动图像；
根据所述当前鱼类运动图像进行目标跟踪，以记录鱼类运动轨迹；
根据所述鱼类运动轨迹确定鱼类运动参数，所述鱼类运动参数包括运动速度和加速度；
根据所述鱼类运动参数确定鱼类饥饿状态；
根据所述鱼类饥饿状态确定当前投喂行为，以对鱼类进行饲料投喂；
所述根据所述鱼类运动参数确定鱼类饥饿状态，具体包括：
将所述鱼类运动轨迹与所述鱼类运动参数输入至多模态机器学习算法，得到所述多模态机器学习算法输出的鱼类饥饿状态；
其中，所述多模态机器学习算法是基于运动轨迹样本、参数样本与饥饿状态样本训练得到的。
2.根据权利要求1所述的基于图像处理的鱼类投喂方法，其特征在于，所述获取当前鱼类运动图像之前，所述基于图像处理的鱼类投喂方法还包括：
获取初始鱼类水下运动视频；
通过预设视频增强方式对所述初始鱼类水下运动视频进行视频增强，以得到增强后的当前鱼类运动图像。
3.根据权利要求2所述的基于图像处理的鱼类投喂方法，其特征在于，所述通过预设视频增强方式对所述初始鱼类水下运动视频进行视频增强，以得到增强后的当前鱼类运动图像之前，所述基于图像处理的鱼类投喂方法还包括：
获取与初始鱼类水下运动视频对应的增强鱼类运动图像；
根据所述初始鱼类水下运动视频与所述增强鱼类运动图像之间的峰值信噪比选取与目标增强鱼类运动图像对应的目标水下视频增强方式，并将所述目标水下视频增强方式设置为预设视频增强方式。
4.根据权利要求2所述的基于图像处理的鱼类投喂方法，其特征在于，所述通过预设视频增强方式对所述初始鱼类水下运动视频进行视频增强，以得到增强后的当前鱼类运动图像，具体包括：
通过与限制对比度自适应直方图均衡对应的视频增强方式对所述初始鱼类水下运动视频进行视频增强，以得到增强后的当前鱼类运动图像。
5.根据权利要求1至4中任一项所述的基于图像处理的鱼类投喂方法，其特征在于，所述根据所述当前鱼类运动图像进行目标跟踪，以记录鱼类运动轨迹之前，所述基于图像处理的鱼类投喂方法还包括：
获取与当前鱼类运动图像对应的跟踪试验参数；
基于所述跟踪试验参数选取待使用跟踪方式，并将所述待使用跟踪方式设置为预设跟踪方式；
相应地，所述根据所述当前鱼类运动图像进行目标跟踪，以记录鱼类运动轨迹，具体包括：
通过预设跟踪方式对所述当前鱼类运动图像进行目标跟踪，以记录鱼类运动轨迹。
6.根据权利要求1至4中任一项所述的基于图像处理的鱼类投喂方法，其特征在于，所述根据所述鱼类运动轨迹确定鱼类运动参数，具体包括：
将与预设拍摄方向对应的鱼类运动轨迹进行结合，以得到三维轨迹视频；
根据所述三维轨迹视频确定与单位时刻对应的鱼类运动参数。
7.一种基于图像处理的鱼类投喂系统，其特征在于，包括：
图像获取模块，用于获取当前鱼类运动图像；
目标跟踪模块，用于根据所述当前鱼类运动图像进行目标跟踪，以记录鱼类运动轨迹；
参数确定模块，用于根据所述鱼类运动轨迹确定鱼类运动参数，所述鱼类运动参数包括运动速度和加速度；
状态确定模块，用于根据所述鱼类运动参数确定鱼类饥饿状态；
鱼类投喂模块，用于根据所述鱼类饥饿状态确定当前投喂行为，以对鱼类进行饲料投喂；
所述根据所述鱼类运动参数确定鱼类饥饿状态，具体包括：
将所述鱼类运动轨迹与所述鱼类运动参数输入至多模态机器学习算法，得到所述多模态机器学习算法输出的鱼类饥饿状态；
其中，所述多模态机器学习算法是基于运动轨迹样本、参数样本与饥饿状态样本训练得到的。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6中任一项所述基于图像处理的鱼类投喂方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述基于图像处理的鱼类投喂方法的步骤。
CN202010366856.6A 2020-04-30 2020-04-30 基于图像处理的鱼类投喂方法、系统、设备及存储介质 Active CN113592896B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010366856.6A CN113592896B (zh) 2020-04-30 2020-04-30 基于图像处理的鱼类投喂方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010366856.6A CN113592896B (zh) 2020-04-30 2020-04-30 基于图像处理的鱼类投喂方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113592896A CN113592896A (zh) 2021-11-02
CN113592896B true CN113592896B (zh) 2023-09-19

Family

ID=78237577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010366856.6A Active CN113592896B (zh) 2020-04-30 2020-04-30 基于图像处理的鱼类投喂方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113592896B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116548345B (zh) * 2023-04-25 2024-01-09 广东环境保护工程职业学院 鱼虾投喂方法、装置、系统和存储介质
CN116721132B (zh) * 2023-06-20 2023-11-24 中国农业大学 一种工厂化养殖的鱼类多目标跟踪方法、系统及设备
CN117456310A (zh) * 2023-12-22 2024-01-26 中国海洋大学 智能投饵方法及水产生物状态识别模型的训练方法
CN117556980B (zh) * 2024-01-11 2024-03-22 中国水产科学研究院南海水产研究所 一种无人投喂船路径规划分析方法、系统及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680556A (zh) * 2015-02-16 2015-06-03 燕山大学 基于视差的鱼类运动三维轨迹跟踪方法
CN108875647A (zh) * 2018-06-22 2018-11-23 成都睿畜电子科技有限公司 一种基于牲畜身份的移动轨迹监测方法和系统
CN110428142A (zh) * 2019-07-05 2019-11-08 仲恺农业工程学院 基于大数据挖掘的水产养殖推送系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140122487A1 (en) * 2012-10-29 2014-05-01 Elwha Llc Food Supply Chain Automation Farm Testing System And Method
US10121064B2 (en) * 2015-04-16 2018-11-06 California Institute Of Technology Systems and methods for behavior detection using 3D tracking and machine learning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680556A (zh) * 2015-02-16 2015-06-03 燕山大学 基于视差的鱼类运动三维轨迹跟踪方法
CN108875647A (zh) * 2018-06-22 2018-11-23 成都睿畜电子科技有限公司 一种基于牲畜身份的移动轨迹监测方法和系统
CN110428142A (zh) * 2019-07-05 2019-11-08 仲恺农业工程学院 基于大数据挖掘的水产养殖推送系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Near-infrared imaging to quantify the feeding behavior of fish in aquaculture;Chao Zhou et al;《Computers and Electronics in Agriculture 135》;第233-241页 *
基于视频图像的鱼类行为轨迹追踪;江丹丹和桂福坤;《浙江海洋学院学报（自然科学版）》;第112-118页 *

Also Published As

Publication number Publication date
CN113592896A (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
CN113592896B (zh) 基于图像处理的鱼类投喂方法、系统、设备及存储介质
Huang et al. Faster R-CNN for marine organisms detection and recognition using data augmentation
Mohamed et al. Msr-yolo: Method to enhance fish detection and tracking in fish farms
Cao et al. Real-time robust detector for underwater live crabs based on deep learning
CN111178197B (zh) 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法
An et al. Application of computer vision in fish intelligent feeding system—A review
CN112598713A (zh) 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法
Wageeh et al. YOLO fish detection with Euclidean tracking in fish farms
Fan et al. Automate fry counting using computer vision and multi-class least squares support vector machine
CN112837344B (zh) 一种基于条件对抗生成孪生网络的目标跟踪方法
CN113591671B (zh) 一种基于Mask-Rcnn识别鱼类生长检测方法
CN108038515A (zh) 无监督多目标检测跟踪方法及其存储装置与摄像装置
Liu et al. Multi-class fish stock statistics technology based on object classification and tracking algorithm
Mei et al. Recent advances of target tracking applications in aquaculture with emphasis on fish
CN111382616B (zh) 视频分类方法、装置及存储介质、计算机设备
CN108764470B (zh) 一种人工神经网络运算的处理方法
CN110853070A (zh) 基于显著性与Grabcut的水下海参图像分割方法
Huang et al. Fish tracking and segmentation from stereo videos on the wild sea surface for electronic monitoring of rail fishing
de Silva et al. Towards agricultural autonomy: crop row detection under varying field conditions using deep learning
Li et al. CMFTNet: Multiple fish tracking based on counterpoised JointNet
CN113470076A (zh) 一种平养鸡舍黄羽鸡多目标跟踪方法
CN114627554A (zh) 一种水产品自动化养殖投饲集中管理方法及系统
Isa et al. CNN transfer learning of shrimp detection for underwater vision system
CN115578423A (zh) 基于深度学习的鱼类关键点检测、个体追踪和生物量估算方法及系统
CN117253192A (zh) 用于桑蚕养殖的智能系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant