CN114240686B - 智慧渔业监测系统 - Google Patents

智慧渔业监测系统 Download PDF

Info

Publication number
CN114240686B
CN114240686B CN202210168700.6A CN202210168700A CN114240686B CN 114240686 B CN114240686 B CN 114240686B CN 202210168700 A CN202210168700 A CN 202210168700A CN 114240686 B CN114240686 B CN 114240686B
Authority
CN
China
Prior art keywords
fish
image
target
water body
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210168700.6A
Other languages
English (en)
Other versions
CN114240686A (zh
Inventor
黄金叶
陈磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qiyang Special Equipment Technology Engineering Co ltd
Original Assignee
Shenzhen Qiyang Special Equipment Technology Engineering Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Qiyang Special Equipment Technology Engineering Co ltd filed Critical Shenzhen Qiyang Special Equipment Technology Engineering Co ltd
Priority to CN202210168700.6A priority Critical patent/CN114240686B/zh
Publication of CN114240686A publication Critical patent/CN114240686A/zh
Application granted granted Critical
Publication of CN114240686B publication Critical patent/CN114240686B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K61/00—Culture of aquatic animals
    • A01K61/10—Culture of aquatic animals of fish
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Environmental Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Business, Economics & Management (AREA)
  • Animal Husbandry (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mining & Mineral Resources (AREA)
  • Agronomy & Crop Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Zoology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及智慧渔业技术领域，公开了一种智慧渔业监测系统，包括有鱼苗目标检测子系统和数据管理子系统，其中，所述鱼苗目标检测子系统用于基于Yolov3神经网络的且已完成训练的目标鱼类识别模型，对目标鱼类进行图像采集及识别，并将识别结果上传至云平台，所述数据管理子系统用于作为整个看护系统的数据中心，实时接收/和显示收到的所有数据，实现养殖人员在线访问查看鱼苗成长相关数据的目的，从而使得养殖人员在不捕捞鱼苗的前提下也能够查看到目标鱼类的体型大小，并准确判断鱼苗是不是到了捕捞期，适用于在不同时期对目标鱼类进行捕捞，进而既可节省人力，也不会干扰鱼苗生活，利于获取更优质的鱼苗，便于实际应用和推广。

Description

智慧渔业监测系统
技术领域
本发明属于智慧渔业技术领域，具体地涉及一种智慧渔业监测系统。
背景技术
智慧渔业是运用物联网、大数据、人工智能、卫星遥感和移动互联网等现代信息技术，深入开发和利用渔业信息资源，全面提高渔业综合生产力和经营管理效率的过程，是推进渔业供给侧结构性改革，加速渔业转型升级的重要手段和有效途径。
对于人工养殖鱼塘，鱼苗的成长状况是养殖人员最关心的。按照传统的养殖技术，记录鱼幼苗放入鱼塘的日期，然后通过以往捕捞经验，估算捕捞日期。这种方法往往是在鱼苗处于正常成长情况下才准确有效的，但是经过调研，得到的结果是这种方法并不理想，因为鱼苗质量参差不齐，按照前面的经验，并不能很好的判断鱼苗是不是到了捕捞期，存在一定的鱼苗捕捞盲目性；如果鱼苗没有到达捕捞标准，只能放回并等一段时间感觉可以了再去捕捞，次数频繁了，既消耗人力，又破坏了鱼苗的正常生活。另外，养殖人员对于水下鱼苗的生活环境是不是发生较大的变化往往也是不可知的，需等到鱼苗成长出现问题后才发觉，为时已晚。因此，如何使养殖人员在不捕捞鱼苗的前提下也能够准确判断鱼苗是不是到了捕捞期，进而实现节省人力和鱼苗生活无干扰的目的，是本领域技术人员亟需研究的课题。
发明内容
为了解决传统鱼苗养殖技术存在一定鱼苗捕捞盲目性的问题，本发明目的在于提供一种智慧渔业监测系统，可使得养殖人员在不捕捞鱼苗的前提下也能够查看到目标鱼类的体型大小，并准确判断鱼苗是不是到了捕捞期，适用于在不同时期对目标鱼类进行捕捞，进而既可节省人力，也不会干扰鱼苗生活，利于获取更优质的鱼苗，便于实际应用和推广。
第一方面，本发明提供了一种智慧渔业监测系统，包括有鱼苗目标检测子系统和数据管理子系统，其中，所述鱼苗目标检测子系统包括有通信相连的水下摄像头和边缘设备，所述数据管理子系统包括有通信相连的云平台服务器和数据库服务器，所述边缘设备还通信连接所述云平台服务器；
所述水下摄像头，用于布置在鱼塘水体中，并将采集的水下图像传送至所述边缘设备；
所述边缘设备，用于将所述水下图像作为一个待测的图像样本输入基于Yolov3神经网络的且已完成训练的目标鱼类识别模型，得到目标鱼类识别结果，然后根据所述目标鱼类识别结果从所述水下图像中截取出目标鱼类图像，最后将所述目标鱼类图像和与所述鱼塘水体对应的鱼塘标识绑定上传至所述云平台服务器；
所述云平台服务器，用于将收到的所述目标鱼类图像和所述鱼塘标识绑定存储在所述数据库服务器中，并在响应来自用户终端的且携带有目标鱼塘标识的鱼苗成长看护请求时，向所述用户终端反馈与所述目标鱼塘标识绑定的实时数据和/或历史数据，其中，所述实时数据包含有当前收到的目标鱼类图像，所述历史数据包含有已存储在所述数据库服务器中的目标鱼类图像。
基于上述发明内容，提供了一种能够在线查看目标鱼类体型的鱼苗成长监视方案，即包括有鱼苗目标检测子系统和数据管理子系统，其中，所述鱼苗目标检测子系统包括有通信相连的水下摄像头和边缘设备，所述数据管理子系统包括有通信相连的云平台服务器和数据库服务器，所述边缘设备还通信连接所述云平台服务器，所述鱼苗目标检测子系统用于基于Yolov3神经网络的且已完成训练的目标鱼类识别模型，对诸如鲤鱼、鲫鱼、草鱼和/或鲢鱼等目标鱼类进行图像采集及识别，并将识别结果上传至云平台，所述数据管理子系统用于作为整个看护系统的数据中心，实时接收/和显示收到的所有数据，实现养殖人员在线访问查看鱼苗成长相关数据的目的，从而使得养殖人员在不捕捞鱼苗的前提下也能够查看到目标鱼类的体型大小，并准确判断鱼苗是不是到了捕捞期，适用于在不同时期对目标鱼类进行捕捞，进而既可节省人力，也不会干扰鱼苗生活，利于获取更优质的鱼苗，便于实际应用和推广。
在一个可能的设计中，所述水下摄像头包括有在所述鱼塘水体中左右平行布置的左侧摄像头和右侧摄像头，其中，所述左侧摄像头和所述右侧摄像头具有相同的产品型号及参数；
所述边缘设备，还用于按照如下方式获取并上传目标鱼类的鱼体长度:
将来自所述左侧摄像头的左视水下图像作为一个待测的图像样本输入所述目标鱼类识别模型，得到第一目标鱼类识别结果，以及将来自所述右侧摄像头的右视水下图像作为另一个待测的图像样本输入所述目标鱼类识别模型，得到第二目标鱼类识别结果，其中，所述左视水下图像和所述右视水下图像分别由对应摄像头同时采集得到；
根据所述第一目标鱼类识别结果从所述左视水下图像中截取出第一目标鱼类图像，以及根据所述第二目标鱼类识别结果从所述右视水下图像中截取出第二目标鱼类图像；
获取所述第一目标鱼类图像的中心点在所述左视水下图像中的纵坐标和横坐标，以及获取所述第二目标鱼类图像的中心点在所述右视水下图像中的纵坐标和横坐标，并判断两纵坐标的绝对差值是否小于预设的第一阈值和判断两横坐标的绝对差值是否小于预设的第二阈值；
若均是，则将所述第一目标鱼类图像作为一个待测的图像样本分别输入基于Yolov3神经网络的且已完成训练的鱼头识别模型和鱼尾识别模型，得到第一鱼头识别结果和第一鱼尾识别结果，以及将所述第二目标鱼类图像作为另一个待测的图像样本分别输入所述鱼头识别模型和所述鱼尾识别模型，得到第二鱼头识别结果和第二鱼尾识别结果；
根据所述第一鱼头识别结果和所述第一鱼尾识别结果从所述第一目标鱼类图像中截取出第一鱼头图像和第一鱼尾图像，以及根据所述第二鱼头识别结果和所述第二鱼尾识别结果从所述第二目标鱼类图像中截取出第二鱼头图像和第二鱼尾图像；
分别获取所述第一鱼头图像的中心点和所述第一鱼尾图像的中心点在所述左视水下图像中的二维坐标，以及分别获取所述第二鱼头图像的中心点和所述第二鱼尾图像的中心点在所述右视水下图像中的二维坐标；
按照如下公式计算得到与所述第一目标鱼类图像和/或所述第二目标鱼类图像对应的目标鱼类的鱼体长度
Figure 10505DEST_PATH_IMAGE001
：
Figure 565114DEST_PATH_IMAGE002
式中，
Figure 386440DEST_PATH_IMAGE003
表示所述第一鱼头图像的中心点在所述左视水下图像中的二维坐标，
Figure 797830DEST_PATH_IMAGE004
表示所述第一鱼尾图像的中心点在所述左视水下图像中的二维坐标，
Figure 704606DEST_PATH_IMAGE005
表示所述第二鱼头图像的中心点在所述右视水下图像中的二维坐标，
Figure 594064DEST_PATH_IMAGE006
表示所述第二鱼尾图像的中心点在所述右视水下图像中的二维坐标，
Figure 535476DEST_PATH_IMAGE007
表示所述目标鱼类的鱼头中心点在所述左侧摄像头的相机坐标系下的三维坐标，
Figure 117767DEST_PATH_IMAGE008
表示所述目标鱼类的鱼尾中心点在所述相机坐标系下的三维坐标，
Figure 511839DEST_PATH_IMAGE009
表示所述左侧摄像头和所述右侧摄像头的投影中心间距，
Figure 204988DEST_PATH_IMAGE010
表示所述左侧摄像头和所述右侧摄像头的相同焦距参数，
Figure 906DEST_PATH_IMAGE011
表示与所述目标鱼类对应的且鱼头尾中心距离与鱼体全身长度的预设比例系数，所述鱼头尾中心距离是指鱼头中心点至鱼尾中心点的距离；
将所述第一目标鱼类图像和/或所述第二目标鱼类图像以及所述鱼体长度和所述鱼塘标识绑定上传至所述云平台服务器。
基于前述可能设计，还可对与目标鱼类图像对应的鱼体对象进行鱼体长度测量，并将测量结果与目标鱼类图像和鱼塘标识进行绑定上传，进而使得养殖人员在查看目标鱼类图像时，能够直接感知鱼体身长信息，进一步提升鱼苗捕捞期判断结果的准确性。
在一个可能的设计中，所述云平台服务器，还用于根据最近连续多日收到的且与所述鱼塘标识和所述目标鱼类对应的所有鱼体长度，计算得到在所述鱼塘水体中所述目标鱼类的当前平均鱼体长度，然后在判定所述当前平均鱼体长度达到与所述目标鱼类对应的捕捞尺寸要求时，向与所述鱼塘标识绑定的用户终端推送捕捞提醒消息，其中，所述捕捞提醒消息包含有所述鱼塘标识和与所述目标鱼类对应的鱼类标识。
在一个可能的设计中，所述Yolov3神经网络采用基于Yolov3-tiny网络的改进型网络，其中，所述改进型网络在所述Yolov3-tiny网络的基础上进行了如下改动：在所述Yolov3-tiny网络中将过滤器数量减少三分之一，同时从所述Yolov3-tiny网络的第5卷积层中抽出形状为64*26*26的第一特征图，并经过卷积上采样将该第一特征图转变成形状为64*52*52的第二特征图，以及对于所述Yolov3-tiny网络中的且形状为256*13*13的第三特征图，经过上采样和1*1的卷积核转换成形状为64*26*26的第四特征图，然后将该第四特征图与所述Yolov3-tiny网络中第7卷积层的且形状为128*26*26的第五特征图融合，得到形状为192*26*26的第六特征图，并通过上采样将该第六特征图转换成形状为128*52*52的第七特征图，再然后将所述第二特征图与所述第七特征图进行特征融合，得到192*52*52的第八特征图，最后将所述第八特征图经过步长为1的卷积网络送入新增的且输出形状为52*52的第三Yolo输出层。
在一个可能的设计中，还包括有水质环境检测子系统，其中，所述水质环境检测子系统包括有PH传感器、温度传感器和单片机，所述单片机分别通信连接所述PH传感器、所述温度传感器和所述云平台服务器；
所述PH传感器，用于布置在所述鱼塘水体中，并将采集的水体PH值传送至所述单片机；
所述温度传感器，用于布置在所述鱼塘水体中，并将采集的水体温度值传送至所述单片机；
所述单片机，用于将所述水体PH值、所述水体温度值和所述鱼塘标识绑定上传至所述云平台服务器；
所述云平台服务器，还用于将收到的所述水体PH值、所述水体温度值和所述鱼塘标识绑定存储在所述数据库服务器中，并在响应所述鱼苗成长看护请求时，使所述实时数据还包含有当前收到的水体PH值和水体温度值，和/或使所述历史数据还包含有已存储在所述数据库服务器中的水体PH值和水体温度值。
在一个可能的设计中，所述云平台服务器，还用于在判定当前收到的且与所述鱼塘标识对应的水体PH值和/或水体温度值脱离预设的安全数值范围时，向与所述鱼塘标识绑定的用户终端推送水质恶化报警消息，其中，所述水质恶化报警消息包含有所述鱼塘标识。
在一个可能的设计中，所述水质环境检测子系统还包括有加热器和第一继电器，其中，所述第一继电器的受控端通信连接所述单片机；
所述加热器，用于布置在所述鱼塘水体中；
所述第一继电器，用于在所述单片机的控制下，导通/截止所述加热器的供电线路；
所述单片机，还用于在判定收到的水体温度值低于预设的最低温度阈值时，控制所述第一继电器导通所述加热器的供电线路，启动所述加热器对所述鱼塘水体进行加热，直到在判定收到的水体温度值达到预设的最高温度阈值时，控制所述第一继电器截止所述加热器的供电线路，使所述加热器停止工作。
在一个可能的设计中，所述水质环境检测子系统还包括有分别通信连接所述单片机的第一液位传感器和第二液位传感器；
所述第一液位传感器，用于布置在所述鱼塘水体的底部，并测量液位是否超过预设的最大液位阈值，然后将液位测量结果传送至所述单片机；
所述第二液位传感器，用于布置在所述鱼塘水体的底部，并测量液位是否低于预设的最小液位阈值，然后将液位测量结果传送至所述单片机；
所述单片机，还用于将两液位传感器得到的液位测量结果和所述鱼塘标识绑定上传至所述云平台服务器；
所述云平台服务器，还用于在根据当前收到的且与所述鱼塘标识对应的液位测量结果发现所述鱼塘水体的水位过高/过低时，向与所述鱼塘标识绑定的用户终端推送鱼塘水位报警消息，其中，所述鱼塘水位报警消息包含有所述鱼塘标识和所述液位测量结果。
在一个可能的设计中，所述水质环境检测子系统还包括有水下灯、第二继电器和光照传感器，其中，所述第二继电器的受控端通信连接所述单片机，所述光照传感器通信连接所述单片机；
所述水下灯，用于布置在所述鱼塘水体中，并照射所述水下摄像头的镜头视野区；
所述光照传感器，用于布置在所述鱼塘水体中且不位于所述水下灯的照射区中，并将采集的光照强度值传送至所述单片机；
所述第二继电器，用于在所述单片机的控制下，导通/截止所述水下灯的供电线路；
所述单片机，还用于在判定收到的光照强度值低于预设的最低光照阈值时，控制所述第二继电器导通所述水下灯的供电线路，点亮所述水下灯，直到在判定收到的光照强度值达到预设的最高光照阈值时，控制所述第二继电器截止所述水下灯的供电线路，熄灭所述水下灯。
在一个可能的设计中，所述水下摄像头采用型号为imx327的摄像机镜头模组，所述边缘设备采用型号为Jetson Nano 2GB的开发者套件，所述云平台服务器采用提供开源物联网平台 Things Board的服务器。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的智慧渔业监测系统的结构示意图。
图2是本发明提供的基于Yolov3神经网络的且以狗类识别为目的的数据处理流程示例图。
图3是本发明提供的基于平行式双目立体视觉体系测量鱼体长度的原理图。
图4是本发明提供的鱼体长度测量示例图。
图5是本发明提供的基于Yolov3-tiny网络的改进型网络示意图。
具体实施方式
下面结合附图及具体实施例来对本发明作进一步阐述。在此需要说明的是，对于这些实施例方式的说明虽然是用于帮助理解本发明，但并不构成对本发明的限定。本文公开的特定结构和功能细节仅用于描述本发明示例的实施例。然而，可用很多备选的形式来体现本发明，并且不应当理解为本发明限制在本文阐述的实施例中。
应当理解，尽管本文可能使用术语第一和第二等等来描述各种对象，但是这些对象不应当受到这些术语的限制。这些术语仅用于区分一个对象和另一个对象。例如可以将第一对象称作第二对象,并且类似地可以将第二对象称作第一对象，同时不脱离本发明的示例实施例的范围。
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A、单独存在B或者同时存在A和B等三种情况；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A或者同时存在A和B等两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
如图1～2所示，本实施例第一方面提供的所述智慧渔业监测系统，包括但不限于有鱼苗目标检测子系统和数据管理子系统，其中，所述鱼苗目标检测子系统包括但不限于有通信相连的水下摄像头和边缘设备，所述数据管理子系统包括但不限于有通信相连的云平台服务器和数据库服务器，所述边缘设备还通信连接所述云平台服务器；所述水下摄像头，用于布置在鱼塘水体中，并将采集的水下图像传送至所述边缘设备；所述边缘设备，用于将所述水下图像作为一个待测的图像样本输入基于Yolov3神经网络的且已完成训练的目标鱼类识别模型，得到目标鱼类识别结果，然后根据所述目标鱼类识别结果从所述水下图像中截取出目标鱼类图像，最后将所述目标鱼类图像和与所述鱼塘水体对应的鱼塘标识绑定上传至所述云平台服务器；所述云平台服务器，用于将收到的所述目标鱼类图像和所述鱼塘标识绑定存储在所述数据库服务器中，并在响应来自用户终端的且携带有目标鱼塘标识的鱼苗成长看护请求时，向所述用户终端反馈与所述目标鱼塘标识绑定的实时数据和/或历史数据，其中，所述实时数据包含但不限于有当前收到的目标鱼类图像，所述历史数据包含但不限于有已存储在所述数据库服务器中的目标鱼类图像。
如图1所示，在所述智慧渔业监测系统的具体结构中，所述鱼苗目标检测子系统用于对诸如鲤鱼、鲫鱼、草鱼和/或鲢鱼等目标鱼类进行图像采集及识别，并将识别结果上传至云平台。在所述鱼苗目标检测子系统中，考虑水面反光会造成相机拍摄不清的问题，因此采用了水下摄像头连接到边缘设备来实现图像采集及处理的方案；同时考虑在固定场景下的成本问题，所述水下摄像头优选采用了型号为imx327的摄像机镜头模组，所述边缘设备优选采用了型号为Jetson Nano 2GB的开发者套件，使得所述水下摄像头能够与JetsonNano芯片主板（即所述开发者套件）完美连接，并且可以在官网找到对应的base包（其为OpenOffice.org套件之一，其功能类似于微软Office里的高端数据库产品），方便加载驱动。此外，所述水下摄像头可以全天24小时进行图像采集，也可以周期性地每隔一段时间进行图像采集，例如每隔10分钟采集一次水下图像。
所述边缘设备优选布置在鱼塘附近且远离水体的位置，并可基于常规的有线/无线通信协议（例如WiFi无线通信协议）实现向所述云平台服务器的数据上传目的。考虑识别模型的训练过程需要消耗大量的计算资源，所述目标鱼类识别模型优选在其他计算机设备上完成训练后，再作为AI检测算法的一部分部署到所述边缘设备上。所述Yolov3神经网络是Yolo（You only look once，目前最新已经发展到V4版本，在业界的应用也很广泛，其基本原理是：首先对输入图像划分成7x7的网格，对每个网格预测2个边框，然后根据阈值去除可能性比较低的目标窗口，最后再使用边框合并的方式去除冗余窗口，得出检测结果）的V3版本，其相比于Yolov2神经网络和Fast R-CNN（Faster Regions with ConvolutionalNeural Networks features，由何凯明等在2015年提出目标检测算法，该算法在2015年的ILSVRV和COCO竞赛中获得多项第一） 等都有很大的性能提升，即基于Yolov2神经网络或Fast R-CNN等的传统检测系统是利用分类器或定位器来执行检测：首先生成可能的边界框，再将模型应用于检测多个位置和比例的图像，最后将检测到图像的高概率区域用作结果；而所述Yolov3神经网络则是使用完全不同的方法，如图2所示：先将单个神经网络应用于完整图像，用该网络将图像划分为多个区域，并预测每个区域的边界框和概率，这些边界框通过预测的概率进行加权平均；因此与基于分类器的系统相比，所述Yolov3神经网络具有多个优势：它在测试时检测整个图像，因此其预测结果是由图像中的全局上下关联生成的，不像 R-CNN 这样的系统需要数千个评估来预测单张图片，这使其变得非常快，比 R-CNN 快 1000 倍以上，比 Fast R-CNN 快 100 倍。
详细的，为了实现对诸如鲤鱼、鲫鱼、草鱼和/或鲢鱼等目标鱼类进行图像识别的目的，所述Yolov3神经网络可具体设计如下：（1）在所述Yolov3神经网络中，只有卷积层，并可通过调节卷积步长来控制输出特征图的尺寸，使得对于输入图片尺寸没有特别限制，例如尺寸可为 256*256 ；（2）在所述Yolov3神经网络中，应用借鉴金字塔特征图思想（即小尺寸特征图用于检测大尺寸物体，而大尺寸特征图检测小尺寸物体），设计特征图的输出维度为 N×N×[3×(4+1+4)]，其中，N×N 为输出特征图格点数，一共有3个 Anchor框，每个框有4维预测框数值（即tx、ty、tw和th）、1 维预测框置信度和4 维物体类别数（即分别对应鲤鱼、鲫鱼、草鱼和鲢鱼等）；（3）设计所述Yolov3神经网络总共输出 3 个特征图，第一个特征图下采样 32 倍，第二个特征图下采样16 倍，第三个下采样 8 倍；（4）设计输入图像经过Darknet-53（无全连接层），再经过 Yoloblock 生成的特征图被当作两用，第一用为经过3*3 卷积层及1*1 卷积之后生成特征图，第二用为经过 1*1 卷积层加上采样层，与Darknet-53 网络的中间层输出结果进行拼接；（5）同样的循环之后产生特征图, 激活函数采用concat操作（其与加和操作的区别如下：加和操作来源于 ResNet 思想，将输入的特征图，与输出特征图对应维度进行相加；而 concat 操作源于 DenseNet 网络的设计思路，将特征图按照通道维度直接进行拼接，例如 8×8×16 的特征图与 8×8×16 的特征图拼接后生成 8×8×32 的特征图）；（6）上采样层 (upsample)设计：作用是将小尺寸特征图通过插值等方法，生成大尺寸图像，例如使用最近邻插值算法，将 8×8 的图像变换为16×16，上采样层不改变特征图的通道数。
详细的，所述目标鱼类识别模型可通过常规的样本训练方式训练得到，即先进行如下的数据集准备：使用关键字爬虫技术从百度图片中获取到四种鱼类（分别为：鲤鱼、草鱼、鲫鱼和鲢鱼等）的图片作为原始数据集（例如包含了130 张图片，每种鱼类大概有30多张）；按照数据增强的一般方法，对原始图片进行旋转和裁切等操作，以便增多图片的数量，提高鲁棒性；在得到的数据集共 2800 多张图片之后，进行数据划分——以 8:2 的比例划分为训练集和测试集（在划分时采用随机选择方式）。在前述数据集准备完成后，即可先使用所述训练集对所述目标鱼类识别模型进行训练，得到已训练模型，然后使用所述测试集对该已训练模型进行测试，最后在测试通过后，将该已训练模型作为AI检测算法的一部分部署到所述边缘设备上。
所述数据管理子系统用于作为整个看护系统的数据中心，实时接收/和显示收到的所有数据，实现养殖人员在线访问查看鱼苗成长相关数据的目的，例如通过web访问查看当前鱼苗生存环境以及成长情况，进而判断是否进行捕捞。在所述数据管理子系统中，所述云平台服务器优选采用提供开源物联网平台 Things Board的服务器，以便使用行业标准物联网协议（例如MQTT、CoAP 和 HTTP等）实现与所述边缘设备或用户终端等的通信连接，支持云和本地部署，并向用户提供可便于数据收集、处理、可视化和设备管理的人机交互界面。所述鱼苗成长看护请求可由养殖人员操作所述用户终端来发起，例如先登录所述智慧渔业监测系统在软件层上的人机交互界面，然后在该人机交互界面的查询框中输入所述目标鱼塘标识，最终点击按键来发起请求。此外，所述实时数据和/或所述历史数据在反馈至所述用户终端后，可在一个定制化的用户仪表面板上进行可视化展示，例如以九宫格方式展示目标鱼塘的最近九张鲤鱼图像（一张为当前收到的鲤鱼图像，另八张为已存储在所述数据库服务器中的鲤鱼图像），使得养殖人员可通过观察这些鲤鱼图像的体型，直接决定是否进行捕捞。
由此基于前述智慧渔业监测系统的详细结构及功能描述，提供了一种能够在线查看目标鱼类体型的鱼苗成长监视方案，即包括有鱼苗目标检测子系统和数据管理子系统，其中，所述鱼苗目标检测子系统包括有通信相连的水下摄像头和边缘设备，所述数据管理子系统包括有通信相连的云平台服务器和数据库服务器，所述边缘设备还通信连接所述云平台服务器，所述鱼苗目标检测子系统用于基于Yolov3神经网络的且已完成训练的目标鱼类识别模型，对诸如鲤鱼、鲫鱼、草鱼和/或鲢鱼等目标鱼类进行图像采集及识别，并将识别结果上传至云平台，所述数据管理子系统用于作为整个看护系统的数据中心，实时接收/和显示收到的所有数据，实现养殖人员在线访问查看鱼苗成长相关数据的目的，从而使得养殖人员在不捕捞鱼苗的前提下也能够查看到目标鱼类的体型大小，并准确判断鱼苗是不是到了捕捞期，适用于在不同时期对目标鱼类进行捕捞，进而既可节省人力，也不会干扰鱼苗生活，利于获取更优质的鱼苗，便于实际应用和推广。
如图3～4所示，本实施例在前述第一方面的技术方案基础上，还提供了一种如何获取并上传目标鱼类的鱼体长度的可能设计，即所述水下摄像头包括有在所述鱼塘水体中左右平行布置的左侧摄像头和右侧摄像头，其中，所述左侧摄像头和所述右侧摄像头具有相同的产品型号及参数；所述边缘设备，还用于按照如下步骤S101～S108获取并上传目标鱼类的鱼体长度。
S101.将来自所述左侧摄像头的左视水下图像作为一个待测的图像样本输入所述目标鱼类识别模型，得到第一目标鱼类识别结果，以及将来自所述右侧摄像头的右视水下图像作为另一个待测的图像样本输入所述目标鱼类识别模型，得到第二目标鱼类识别结果，其中，所述左视水下图像和所述右视水下图像分别由对应摄像头同时采集得到。
S102.根据所述第一目标鱼类识别结果从所述左视水下图像中截取出第一目标鱼类图像，以及根据所述第二目标鱼类识别结果从所述右视水下图像中截取出第二目标鱼类图像。
在所述步骤S102中，由于是基于Yolov3神经网络的且已完成训练的目标鱼类识别模型进行目标鱼类识别，因此所述第一目标鱼类识别结果和所述第二目标鱼类识别结果会分别包含有至少一个目标鱼类检测结果标记框（例如鲤鱼在两水下图像中的所在区域边界框）及其在两水下图像中的位置，因此可以轻松地根据所述第一目标鱼类识别结果从所述左视水下图像中截取出第一目标鱼类图像，并获取该第一目标鱼类图像的中心点在所述左视水下图像中的坐标，以及根据所述第二目标鱼类识别结果从所述右视水下图像中截取出第二目标鱼类图像，并获取该第二目标鱼类图像的中心点在所述右视水下图像中的坐标。
S103.获取所述第一目标鱼类图像的中心点在所述左视水下图像中的纵坐标和横坐标，以及获取所述第二目标鱼类图像的中心点在所述右视水下图像中的纵坐标和横坐标，并判断两纵坐标的绝对差值是否小于预设的第一阈值和判断两横坐标的绝对差值是否小于预设的第二阈值。
在所述步骤S103中，由于所述左侧摄像头和所述右侧摄像头在所述鱼塘水体中是左右平行布置的，因此针对同一鱼体对象截取的两个目标鱼类图像（即所述第一目标鱼类图像和所述第二目标鱼类图像）在对应水下图像中的坐标位置是相近的（在理论上，纵坐标是相同的，横坐标会有小幅度差异），因此通过判断两纵坐标的绝对差值是否小于预设的第一阈值和判断两横坐标的绝对差值是否小于预设的第二阈值，可以作为所述两个目标鱼类图像是否对应同一鱼体对象的判断依据，即在判断所述两纵坐标的绝对差值小于所述第一阈值且判定所述两横坐标的绝对差值小于所述第二阈值时，认为所述两个目标鱼类图像对应同一鱼体对象，后续可以基于步骤S104～S107进行在平行式双目立体视觉体系下的鱼体长度测量，反之则不能执行后续步骤S104～S108。此外，所述第一阈值会小于所述第二阈值。
S104.若均是，则将所述第一目标鱼类图像作为一个待测的图像样本分别输入基于Yolov3神经网络的且已完成训练的鱼头识别模型和鱼尾识别模型，得到第一鱼头识别结果和第一鱼尾识别结果，以及将所述第二目标鱼类图像作为另一个待测的图像样本分别输入所述鱼头识别模型和所述鱼尾识别模型，得到第二鱼头识别结果和第二鱼尾识别结果。
在所述步骤S104中，所述鱼头识别模型和所述鱼尾识别模型的具体网络结构设计、训练过程及边缘部署，可参照前述目标鱼类识别模型得到，于此不再赘述。此外，针对不同的目标鱼类，可以采用统一训练的鱼头识别模型和鱼尾识别模型进行鱼体头尾识别，也可以采用分别训练的对应鱼头识别模型和对应鱼尾识别模型进行鱼体头尾识别。
S105.根据所述第一鱼头识别结果和所述第一鱼尾识别结果从所述第一目标鱼类图像中截取出第一鱼头图像和第一鱼尾图像，以及根据所述第二鱼头识别结果和所述第二鱼尾识别结果从所述第二目标鱼类图像中截取出第二鱼头图像和第二鱼尾图像。
S106.分别获取所述第一鱼头图像的中心点和所述第一鱼尾图像的中心点在所述左视水下图像中的二维坐标，以及分别获取所述第二鱼头图像的中心点和所述第二鱼尾图像的中心点在所述右视水下图像中的二维坐标。
在所述步骤S106中，所述二维坐标的获取原理可参照前述步骤S102，于此不再赘述。
S107.按照如下公式计算得到与所述第一目标鱼类图像和/或所述第二目标鱼类图像对应的目标鱼类的鱼体长度
Figure 751169DEST_PATH_IMAGE012
：
Figure 632537DEST_PATH_IMAGE013
式中，
Figure 129378DEST_PATH_IMAGE014
表示所述第一鱼头图像的中心点在所述左视水下图像中的二维坐标，
Figure 779802DEST_PATH_IMAGE015
表示所述第一鱼尾图像的中心点在所述左视水下图像中的二维坐标，
Figure 579262DEST_PATH_IMAGE016
表示所述第二鱼头图像的中心点在所述右视水下图像中的二维坐标，
Figure 947926DEST_PATH_IMAGE017
表示所述第二鱼尾图像的中心点在所述右视水下图像中的二维坐标，
Figure 248457DEST_PATH_IMAGE018
表示所述目标鱼类的鱼头中心点在所述左侧摄像头的相机坐标系下的三维坐标，
Figure 18967DEST_PATH_IMAGE019
表示所述目标鱼类的鱼尾中心点在所述相机坐标系下的三维坐标，
Figure 51645DEST_PATH_IMAGE020
表示所述左侧摄像头和所述右侧摄像头的投影中心间距，
Figure 907606DEST_PATH_IMAGE021
表示所述左侧摄像头和所述右侧摄像头的相同焦距参数，
Figure 746249DEST_PATH_IMAGE022
表示与所述目标鱼类对应的且鱼头尾中心距离与鱼体全身长度的预设比例系数，所述鱼头尾中心距离是指鱼头中心点至鱼尾中心点的距离。
在所述步骤S107中，如图3所示，两三维坐标的计算原理如下：取所述左侧摄像头的相机坐标系为世界坐标系
Figure 105686DEST_PATH_IMAGE023
，空间任意一点
Figure 368653DEST_PATH_IMAGE024
在所述左视水下图像上的投影为
Figure 446330DEST_PATH_IMAGE025
，在所述右视水下图像上的投影为
Figure 88664DEST_PATH_IMAGE026
，若所述左侧摄像头和所述右侧摄像头采集的两水下图像位于同一平面上，则
Figure 568187DEST_PATH_IMAGE027
点在所述两水下图像上有
Figure 4984DEST_PATH_IMAGE028
，进而由透视变换三角几何关系有
Figure 569958DEST_PATH_IMAGE029
，最终可得到
Figure 750404DEST_PATH_IMAGE030
点在所述左侧摄像头的相机坐标系下的三维坐标为：
Figure 84433DEST_PATH_IMAGE031
式中，
Figure 957711DEST_PATH_IMAGE020
表示所述左侧摄像头和所述右侧摄像头的投影中心间距，
Figure 213243DEST_PATH_IMAGE032
表示所述左侧摄像头和所述右侧摄像头的相同焦距参数。此外，考虑不同鱼类的头尾形状差异较大，因此针对不同的目标鱼类，需要提前根据对应的鱼头尾中心距离和鱼体全身长度，基于统计学的计算结果预设对应的比例系数。
S108.将所述第一目标鱼类图像和/或所述第二目标鱼类图像以及所述鱼体长度和所述鱼塘标识绑定上传至所述云平台服务器。
在所述步骤S108之后，所述云平台服务器还可用于将收到的所述第一目标鱼类图像和/或所述第二目标鱼类图像以及所述鱼体长度和所述鱼塘标识绑定存储在所述数据库服务器中，并在响应所述鱼苗成长看护请求时，使所述实时数据还包含有当前收到的且与目标鱼类图像对应的鱼体长度，和/或使所述历史数据还包含有已存储在所述数据库服务器中的且与目标鱼类图像对应的鱼体长度，进而使得养殖人员在查看目标鱼类图像时，可以直接感知鱼体身长信息，进一步提升鱼苗捕捞期判断结果的准确性。
由此基于前述两水下摄像头的设计及步骤S101～S108的可能设计，还可对与目标鱼类图像对应的鱼体对象进行鱼体长度测量，并将测量结果与目标鱼类图像和鱼塘标识进行绑定上传，进而使得养殖人员在查看目标鱼类图像时，能够直接感知鱼体身长信息，进一步提升鱼苗捕捞期判断结果的准确性。此外，所述云平台服务器还可用于根据最近连续多日（例如连续5日）收到的且与所述鱼塘标识和所述目标鱼类对应的所有鱼体长度，计算得到在所述鱼塘水体中所述目标鱼类的当前平均鱼体长度，然后在判定所述当前平均鱼体长度达到与所述目标鱼类对应的捕捞尺寸要求时，向与所述鱼塘标识绑定的用户终端推送捕捞提醒消息，其中，所述捕捞提醒消息包含但不限于有所述鱼塘标识和与所述目标鱼类对应的鱼类标识。由此还可以主动向养殖人员提醒已到达目标鱼类捕获期，确保鱼苗捕获的及时性，提升鱼塘养殖的经济效益。
如图5所示，本实施例在前述第一方面或可能设计的技术方案基础上，还提供了一种如何降低边缘设备性能需求的可能设计，即由于是在所述边缘设备上进行目标鱼类、鱼头或鱼尾等的识别处理，而所述Yolov3神经网络又是由106层网络结构构建起来的，因此考虑边缘设备存在性能有限的问题，所述Yolov3神经网络优先采用Yolov3神经网络的简化版—Yolov3-tiny网络，其在所述Yolov3神经网络的基础上去掉了一些特征层，只保留了2个独立预测分支，即在所述Yolov3-tiny网络中，共有两个输出层（Yolo层），分别为13*13和26*26，每个网格可以预测3个边框bounding box，共有80个分类数，所以最后的两Yolo层的尺寸为：13*13*255和26*26*255。所述Yolov3-tiny网络共有23层，其中包含五种不同的网络层：卷积层convolutional(13个)、池化层maxpool(6个)、路由层route(2个)、上采样层upsample(1个)和输出层Yolo(2个)。此外，在所述Yolov3-tiny网络中，除了Yolo输出层之前的那个卷积层，每个卷积层之后都有BN（Batch Normalization，批量归一化）层，且每个卷积层之后都有激活函数LEAKY（即Yolo输出层之前是线性的）。
进一步考虑所述Yolov3-tiny网络只有23层，由于网络层数很浅，便有一个明显的缺点，那就是对小目标检测效果不够精确，泛化能力差，若又减少了滤波器，加上最大池化层，将导致丢失的信息太多，即使增加样本数量，loss和map都没有太大的改善效果。因此优选的，如图5所示，所述Yolov3神经网络最优选采用基于Yolov3-tiny网络的改进型网络，其中，所述改进型网络在所述Yolov3-tiny网络的基础上进行了如下改动：在所述Yolov3-tiny网络中将过滤器数量减少三分之一，同时从所述Yolov3-tiny网络的第5卷积层中抽出形状为64*26*26的第一特征图，并经过卷积上采样将该第一特征图转变成形状为64*52*52的第二特征图，以及对于所述Yolov3-tiny网络中的且形状为256*13*13的第三特征图，经过上采样和1*1的卷积核转换成形状为64*26*26的第四特征图，然后将该第四特征图与所述Yolov3-tiny网络中第7卷积层的且形状为128*26*26的第五特征图融合，得到形状为192*26*26的第六特征图，并通过上采样将该第六特征图转换成形状为128*52*52的第七特征图，再然后将所述第二特征图与所述第七特征图进行特征融合，得到192*52*52的第八特征图，最后将所述第八特征图经过步长为1的卷积网络送入新增的且输出形状为52*52的第三Yolo输出层（即作为所述改进型网络中的第33层）。如此在所述改进型网络中，既可通过缩减卷积通道的数目，将原来的通道数减少，从而使得识别模型的大小可缩减56.2%，又能增加检测尺度，以便更好地检测小目标，达到在高精度要求情况下，使得检测速度提高40%以上。此外，还可进一步采用合适的方法对小目标进行聚类中心重筛选，以便在一定程度上提高识别模型的检测精度和重叠度IoU（Intersection over Union）值。
如图1所示，本实施例在前述第一方面或可能设计的技术方案基础上，还提供了一种如何进行水质环境勘察的可能设计，即所述智慧渔业监测系统还包括有水质环境检测子系统，其中，所述水质环境检测子系统包括但不限于有PH传感器、温度传感器和单片机，所述单片机分别通信连接所述PH传感器、所述温度传感器和所述云平台服务器；所述PH传感器，用于布置在所述鱼塘水体中，并将采集的水体PH值传送至所述单片机；所述温度传感器，用于布置在所述鱼塘水体中，并将采集的水体温度值传送至所述单片机；所述单片机，用于将所述水体PH值、所述水体温度值和所述鱼塘标识绑定上传至所述云平台服务器；所述云平台服务器，还用于将收到的所述水体PH值、所述水体温度值和所述鱼塘标识绑定存储在所述数据库服务器中，并在响应所述鱼苗成长看护请求时，使所述实时数据还包含有当前收到的水体PH值和水体温度值，和/或使所述历史数据还包含有已存储在所述数据库服务器中的水体PH值和水体温度值。
如图1所示，所述水质环境检测子系统用于采集所述鱼塘水体的水质环境数据：水体PH值和水体温度值等，并上传云平台，使养殖人员在查看访问时还可以感知鱼塘水体的温度和PH值变化，从而判断鱼苗生存环境的改变，决定是否需要采取必要措施来阻止水质环境恶化。在所述水质环境检测子系统中，所述PH传感器可具体采用市场上常见的 PH 值浓度测试电极，即选购一款集成化的 PH值探测笔模块，其包含了 PH 复合电极，商家同时提供了数据转换模块来通过基本网络卡接口连接所述PH 复合电极，使得所述数据转化模块能够对所述 PH 复合电极的输出信号进行适当放大，以便所述单片机能够更好地读取测量信号值；所述温度传感器可选用型号为DS18B20 的温度传感器，该DS18B20 作为常见温度传感器芯片，具有体积小、封装多、价格低、精度高和测量范围大的特点，并且可以有效地长期应用于鱼塘水温测量的场景中；所述单片机可选取STM-32F407ZGT6作为主控芯片，这款芯片提供了非常丰富的GPIO（General-purpose input/output，通用型之输入输出）接口、一些相关的内置外设函数以及高达144MHZ的高速时钟信号，还有一些常用库函数，这些在一定程度上便利了系统连接和各类传感器的实现难度。
同样地，所述单片机优选布置在鱼塘附近且远离水体的位置，并可基于常规的有线/无线通信协议（例如WiFi无线通信协议）实现向所述云平台服务器的数据上传目的，例如可以使用 esp8266 wifi 模块发送 curl （其是一个命令行工具，通过指定的URL来上传或下载数据，并将数据展示出来；curl中的c表示client，而url，就是URL）命令来连接至服务器端，将当前的水体PH值和水体温度等采集数据以每隔 10分钟发送一次的速度上传至所述云平台服务器。此外，所述数据转化模块和所述温度传感器同样可提供 3V 及 5V 两种测量模式，并通过数据模块上的滑动变阻器进行调节，以便所述单片机可直接进行测量。
优选的，所述云平台服务器，还用于在判定当前收到的且与所述鱼塘标识对应的水体PH值和/或水体温度值脱离预设的安全数值范围时，向与所述鱼塘标识绑定的用户终端推送水质恶化报警消息，其中，所述水质恶化报警消息包含但不限于有所述鱼塘标识。由此还可以主动向养殖人员提醒水质恶化事件，以便及时改善鱼塘水质环境，避免出现大量死鱼现象，提升鱼塘养殖的安全性。
优选的，所述水质环境检测子系统还包括有加热器和第一继电器，其中，所述第一继电器的受控端通信连接所述单片机；所述加热器，用于布置在所述鱼塘水体中；所述第一继电器，用于在所述单片机的控制下，导通/截止所述加热器的供电线路；所述单片机，还用于在判定收到的水体温度值低于预设的最低温度阈值时，控制所述第一继电器导通所述加热器的供电线路，启动所述加热器对所述鱼塘水体进行加热，直到在判定收到的水体温度值达到预设的最高温度阈值时，控制所述第一继电器截止所述加热器的供电线路，使所述加热器停止工作。由此可以将水体温度稳定在提前设定的温度范围中，对鱼类生长环境起到较好的自动维护作用。
优选的，所述水质环境检测子系统还包括有分别通信连接所述单片机的第一液位传感器和第二液位传感器；所述第一液位传感器，用于布置在所述鱼塘水体的底部，并测量液位是否超过预设的最大液位阈值，然后将液位测量结果传送至所述单片机；所述第二液位传感器，用于布置在所述鱼塘水体的底部，并测量液位是否低于预设的最小液位阈值，然后将液位测量结果传送至所述单片机； 所述单片机，还用于将两液位传感器得到的液位测量结果和所述鱼塘标识绑定上传至所述云平台服务器；所述云平台服务器，还用于在根据当前收到的且与所述鱼塘标识对应的液位测量结果发现所述鱼塘水体的水位过高/过低时，向与所述鱼塘标识绑定的用户终端推送鱼塘水位报警消息，其中，所述鱼塘水位报警消息包含但不限于有所述鱼塘标识和所述液位测量结果。考虑在渔业养殖阶段中，不需要具体的液位数据，仅需要保证鱼塘处于一定水位范围内，因此通过前述设计，还可以使系统能够感知鱼塘水位是否过高/过低，并在查看访问时丰富看护信息，以及可通过触发报警消息来主动向养殖人员提醒水位过高/过低事件，以便及时降低/增高池塘水位，避免出现跑鱼等现象，进一步提升鱼塘养殖的安全性。
优选的，所述水质环境检测子系统还包括有水下灯、第二继电器和光照传感器，其中，所述第二继电器的受控端通信连接所述单片机，所述光照传感器通信连接所述单片机；所述水下灯，用于布置在所述鱼塘水体中，并照射所述水下摄像头的镜头视野区；所述光照传感器，用于布置在所述鱼塘水体中且不位于所述水下灯的照射区中，并将采集的光照强度值传送至所述单片机；所述第二继电器，用于在所述单片机的控制下，导通/截止所述水下灯的供电线路；所述单片机，还用于在判定收到的光照强度值低于预设的最低光照阈值时，控制所述第二继电器导通所述水下灯的供电线路，点亮所述水下灯，直到在判定收到的光照强度值达到预设的最高光照阈值时，控制所述第二继电器截止所述水下灯的供电线路，熄灭所述水下灯。即考虑水下光线暗的环境因素，还可以通过所述水质环境检测子系统提供图像采集补光功能，特别适合夜景。此外，所述水下灯优选采用可发出诱鱼灯光的灯具，以便吸引目标鱼类前来，丰富目标鱼类图像的采集量。
最后应说明的是，本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。

Claims (9)

1.一种智慧渔业监测系统，其特征在于，包括有鱼苗目标检测子系统和数据管理子系统，其中，所述鱼苗目标检测子系统包括有通信相连的水下摄像头和边缘设备，所述数据管理子系统包括有通信相连的云平台服务器和数据库服务器，所述边缘设备还通信连接所述云平台服务器；
所述水下摄像头，用于布置在鱼塘水体中，并将采集的水下图像传送至所述边缘设备；
所述边缘设备，用于将所述水下图像作为一个待测的图像样本输入基于Yolov3神经网络的且已完成训练的目标鱼类识别模型，得到目标鱼类识别结果，然后根据所述目标鱼类识别结果从所述水下图像中截取出目标鱼类图像，最后将所述目标鱼类图像和与所述鱼塘水体对应的鱼塘标识绑定上传至所述云平台服务器；
所述云平台服务器，用于将收到的所述目标鱼类图像和所述鱼塘标识绑定存储在所述数据库服务器中，并在响应来自用户终端的且携带有目标鱼塘标识的鱼苗成长看护请求时，向所述用户终端反馈与所述目标鱼塘标识绑定的实时数据和/或历史数据，其中，所述实时数据包含有当前收到的目标鱼类图像，所述历史数据包含有已存储在所述数据库服务器中的目标鱼类图像;
所述水下摄像头包括有在所述鱼塘水体中左右平行布置的左侧摄像头和右侧摄像头，其中，所述左侧摄像头和所述右侧摄像头具有相同的产品型号及参数；
所述边缘设备，还用于按照如下方式获取并上传目标鱼类的鱼体长度:
将来自所述左侧摄像头的左视水下图像作为一个待测的图像样本输入所述目标鱼类识别模型，得到第一目标鱼类识别结果，以及将来自所述右侧摄像头的右视水下图像作为另一个待测的图像样本输入所述目标鱼类识别模型，得到第二目标鱼类识别结果，其中，所述左视水下图像和所述右视水下图像分别由对应摄像头同时采集得到；
根据所述第一目标鱼类识别结果从所述左视水下图像中截取出第一目标鱼类图像，以及根据所述第二目标鱼类识别结果从所述右视水下图像中截取出第二目标鱼类图像；
获取所述第一目标鱼类图像的中心点在所述左视水下图像中的纵坐标和横坐标，以及获取所述第二目标鱼类图像的中心点在所述右视水下图像中的纵坐标和横坐标，并判断两纵坐标的绝对差值是否小于预设的第一阈值和判断两横坐标的绝对差值是否小于预设的第二阈值；
若均是，则将所述第一目标鱼类图像作为一个待测的图像样本分别输入基于Yolov3神经网络的且已完成训练的鱼头识别模型和鱼尾识别模型，得到第一鱼头识别结果和第一鱼尾识别结果，以及将所述第二目标鱼类图像作为另一个待测的图像样本分别输入所述鱼头识别模型和所述鱼尾识别模型，得到第二鱼头识别结果和第二鱼尾识别结果；
根据所述第一鱼头识别结果和所述第一鱼尾识别结果从所述第一目标鱼类图像中截取出第一鱼头图像和第一鱼尾图像，以及根据所述第二鱼头识别结果和所述第二鱼尾识别结果从所述第二目标鱼类图像中截取出第二鱼头图像和第二鱼尾图像；
分别获取所述第一鱼头图像的中心点和所述第一鱼尾图像的中心点在所述左视水下图像中的二维坐标，以及分别获取所述第二鱼头图像的中心点和所述第二鱼尾图像的中心点在所述右视水下图像中的二维坐标；
按照如下公式计算得到与所述第一目标鱼类图像和/或所述第二目标鱼类图像对应的目标鱼类的鱼体长度
Figure 944367DEST_PATH_IMAGE001
：
Figure 405436DEST_PATH_IMAGE002
式中，
Figure 304121DEST_PATH_IMAGE003
表示所述第一鱼头图像的中心点在所述左视水下图像中的二维坐标，
Figure 280168DEST_PATH_IMAGE004
表示所述第一鱼尾图像的中心点在所述左视水下图像中的二维坐标，
Figure 24133DEST_PATH_IMAGE005
表示所述第二鱼头图像的中心点在所述右视水下图像中的二维坐标，
Figure 339708DEST_PATH_IMAGE006
表示所述第二鱼尾图像的中心点在所述右视水下图像中的二维坐标，
Figure 143716DEST_PATH_IMAGE007
表示所述目标鱼类的鱼头中心点在所述左侧摄像头的相机坐标系下的三维坐标，
Figure 807391DEST_PATH_IMAGE008
表示所述目标鱼类的鱼尾中心点在所述相机坐标系下的三维坐标，
Figure 620626DEST_PATH_IMAGE009
表示所述左侧摄像头和所述右侧摄像头的投影中心间距，
Figure 587445DEST_PATH_IMAGE010
表示所述左侧摄像头和所述右侧摄像头的相同焦距参数，
Figure 827933DEST_PATH_IMAGE011
表示与所述目标鱼类对应的且鱼头尾中心距离与鱼体全身长度的预设比例系数，所述鱼头尾中心距离是指鱼头中心点至鱼尾中心点的距离；
将所述第一目标鱼类图像和/或所述第二目标鱼类图像以及所述鱼体长度和所述鱼塘标识绑定上传至所述云平台服务器。
2.如权利要求1所述的智慧渔业监测系统，其特征在于，所述云平台服务器，还用于根据最近连续多日收到的且与所述鱼塘标识和所述目标鱼类对应的所有鱼体长度，计算得到在所述鱼塘水体中所述目标鱼类的当前平均鱼体长度，然后在判定所述当前平均鱼体长度达到与所述目标鱼类对应的捕捞尺寸要求时，向与所述鱼塘标识绑定的用户终端推送捕捞提醒消息，其中，所述捕捞提醒消息包含有所述鱼塘标识和与所述目标鱼类对应的鱼类标识。
3.如权利要求1所述的智慧渔业监测系统，其特征在于，所述Yolov3神经网络采用基于Yolov3-tiny网络的改进型网络，其中，所述改进型网络在所述Yolov3-tiny网络的基础上进行了如下改动：在所述Yolov3-tiny网络中将过滤器数量减少三分之一，同时从所述Yolov3-tiny网络的第5卷积层中抽出形状为64*26*26的第一特征图，并经过卷积上采样将该第一特征图转变成形状为64*52*52的第二特征图，以及对于所述Yolov3-tiny网络中的且形状为256*13*13的第三特征图，经过上采样和1*1的卷积核转换成形状为64*26*26的第四特征图，然后将该第四特征图与所述Yolov3-tiny网络中第7卷积层的且形状为128*26*26的第五特征图融合，得到形状为192*26*26的第六特征图，并通过上采样将该第六特征图转换成形状为128*52*52的第七特征图，再然后将所述第二特征图与所述第七特征图进行特征融合，得到192*52*52的第八特征图，最后将所述第八特征图经过步长为1的卷积网络送入新增的且输出形状为52*52的第三Yolo输出层。
4.如权利要求1所述的智慧渔业监测系统，其特征在于，还包括有水质环境检测子系统，其中，所述水质环境检测子系统包括有PH传感器、温度传感器和单片机，所述单片机分别通信连接所述PH传感器、所述温度传感器和所述云平台服务器；
所述PH传感器，用于布置在所述鱼塘水体中，并将采集的水体PH值传送至所述单片机；
所述温度传感器，用于布置在所述鱼塘水体中，并将采集的水体温度值传送至所述单片机；
所述单片机，用于将所述水体PH值、所述水体温度值和所述鱼塘标识绑定上传至所述云平台服务器；
所述云平台服务器，还用于将收到的所述水体PH值、所述水体温度值和所述鱼塘标识绑定存储在所述数据库服务器中，并在响应所述鱼苗成长看护请求时，使所述实时数据还包含有当前收到的水体PH值和水体温度值，和/或使所述历史数据还包含有已存储在所述数据库服务器中的水体PH值和水体温度值。
5.如权利要求4所述的智慧渔业监测系统，其特征在于，所述云平台服务器，还用于在判定当前收到的且与所述鱼塘标识对应的水体PH值和/或水体温度值脱离预设的安全数值范围时，向与所述鱼塘标识绑定的用户终端推送水质恶化报警消息，其中，所述水质恶化报警消息包含有所述鱼塘标识。
6.如权利要求4所述的智慧渔业监测系统，其特征在于，所述水质环境检测子系统还包括有加热器和第一继电器，其中，所述第一继电器的受控端通信连接所述单片机；
所述加热器，用于布置在所述鱼塘水体中；
所述第一继电器，用于在所述单片机的控制下，导通/截止所述加热器的供电线路；
所述单片机，还用于在判定收到的水体温度值低于预设的最低温度阈值时，控制所述第一继电器导通所述加热器的供电线路，启动所述加热器对所述鱼塘水体进行加热，直到在判定收到的水体温度值达到预设的最高温度阈值时，控制所述第一继电器截止所述加热器的供电线路，使所述加热器停止工作。
7.如权利要求4所述的智慧渔业监测系统，其特征在于，所述水质环境检测子系统还包括有分别通信连接所述单片机的第一液位传感器和第二液位传感器；
所述第一液位传感器，用于布置在所述鱼塘水体的底部，并测量液位是否超过预设的最大液位阈值，然后将液位测量结果传送至所述单片机；
所述第二液位传感器，用于布置在所述鱼塘水体的底部，并测量液位是否低于预设的最小液位阈值，然后将液位测量结果传送至所述单片机；
所述单片机，还用于将两液位传感器得到的液位测量结果和所述鱼塘标识绑定上传至所述云平台服务器；
所述云平台服务器，还用于在根据当前收到的且与所述鱼塘标识对应的液位测量结果发现所述鱼塘水体的水位过高/过低时，向与所述鱼塘标识绑定的用户终端推送鱼塘水位报警消息，其中，所述鱼塘水位报警消息包含有所述鱼塘标识和所述液位测量结果。
8.如权利要求4所述的智慧渔业监测系统，其特征在于，所述水质环境检测子系统还包括有水下灯、第二继电器和光照传感器，其中，所述第二继电器的受控端通信连接所述单片机，所述光照传感器通信连接所述单片机；
所述水下灯，用于布置在所述鱼塘水体中，并照射所述水下摄像头的镜头视野区；
所述光照传感器，用于布置在所述鱼塘水体中且不位于所述水下灯的照射区中，并将采集的光照强度值传送至所述单片机；
所述第二继电器，用于在所述单片机的控制下，导通/截止所述水下灯的供电线路；
所述单片机，还用于在判定收到的光照强度值低于预设的最低光照阈值时，控制所述第二继电器导通所述水下灯的供电线路，点亮所述水下灯，直到在判定收到的光照强度值达到预设的最高光照阈值时，控制所述第二继电器截止所述水下灯的供电线路，熄灭所述水下灯。
9.如权利要求1所述的智慧渔业监测系统，其特征在于，所述水下摄像头采用型号为imx327的摄像机镜头模组，所述边缘设备采用型号为Jetson Nano 2GB的开发者套件，所述云平台服务器采用提供开源物联网平台 Things Board的服务器。
CN202210168700.6A 2022-02-24 2022-02-24 智慧渔业监测系统 Active CN114240686B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210168700.6A CN114240686B (zh) 2022-02-24 2022-02-24 智慧渔业监测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210168700.6A CN114240686B (zh) 2022-02-24 2022-02-24 智慧渔业监测系统

Publications (2)

Publication Number Publication Date
CN114240686A CN114240686A (zh) 2022-03-25
CN114240686B true CN114240686B (zh) 2022-06-03

Family

ID=80747843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210168700.6A Active CN114240686B (zh) 2022-02-24 2022-02-24 智慧渔业监测系统

Country Status (1)

Country Link
CN (1) CN114240686B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115396754A (zh) * 2022-10-27 2022-11-25 江西省水生生物保护救助中心 渔业水质远程物联网环境监测系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111309084A (zh) * 2020-03-12 2020-06-19 威海精讯畅通电子科技有限公司 一种智慧渔业综合管理系统
CN112506120A (zh) * 2020-12-02 2021-03-16 中国农业科学院农业信息研究所 一种基于物联网的智慧渔业管理系统
CN112633257A (zh) * 2021-01-28 2021-04-09 华东交通大学 基于改良卷积神经网络的马铃薯病害识别方法
CN112949408A (zh) * 2021-02-02 2021-06-11 华电西藏能源有限公司 一种过鱼通道目标鱼类实时识别方法和系统
CN113537106A (zh) * 2021-07-23 2021-10-22 仲恺农业工程学院 一种基于YOLOv5的鱼类摄食行为识别方法
CN113627558A (zh) * 2021-08-19 2021-11-09 中国海洋大学 鱼类图像识别方法、系统及设备

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES1056844Y (es) * 2004-02-25 2004-09-01 Tacore S L Disposicion para la clasificacion e identificacion de especies de pescado mediante sistemas de vision artificial.
CN104396828A (zh) * 2014-12-03 2015-03-11 镇江晶鑫电子科技有限公司 一种基于物联网高清摄像一体化网关的鱼苗饲养管理系统
EA201600130A3 (ru) * 2015-02-04 2016-10-31 Ерболат Латифович Кадимов Стационарное садковое устройство для выращивания рыб в мелководной акваторий моря или озера
CN106780094A (zh) * 2017-01-23 2017-05-31 安徽大尺度网络传媒有限公司 一种渔牧业远程服务系统
CN108375548B (zh) * 2018-02-10 2020-09-04 佳纬生物技术有限公司 一种基于大数据的鱼塘养殖投料评估系统
CN108901982B (zh) * 2018-05-28 2021-05-28 于都县泰茂林业开发有限公司 一种基于农业机械的渔业养殖系统
CN109190695B (zh) * 2018-08-28 2021-08-03 中国海洋大学 一种基于深度卷积神经网络的鱼类图像分类方法
CN109445391A (zh) * 2018-11-08 2019-03-08 江苏大学 一种基于物联网的水产养殖多参数智能监控系统及其方法
CN109275609B (zh) * 2018-11-14 2021-06-01 常州大学 基于图像处理的常见淡水鱼种类自动识别方法
CN209251389U (zh) * 2018-12-07 2019-08-16 北京市水产科学研究所（国家淡水渔业工程技术研究中心） 一种养殖鱼类进食状态远程监测装置
CN109856138A (zh) * 2018-12-18 2019-06-07 杭州电子科技大学 基于深度学习的深海网箱鱼类健康识别系统和方法
CN109591982B (zh) * 2018-12-29 2020-04-14 浙江大学 一种无人监控水下养殖机器人
CN110244626B (zh) * 2019-06-21 2021-09-14 南京邮电大学 基于强化学习的多用户水产养殖自动调控系统及方法
CN110501984B (zh) * 2019-08-27 2023-04-07 广东渔易水产科技有限责任公司 水产养殖设备无线智能管理方法
CN211020568U (zh) * 2019-09-17 2020-07-17 浙江傲宋智能科技有限公司 一种养殖鱼类生长监测系统
CN211824521U (zh) * 2019-11-06 2020-10-30 南京工业大学 基于云平台与气象预测的智慧养殖系统
KR102129698B1 (ko) * 2019-12-19 2020-07-02 김맹기 자동 어류 계수 시스템
CN111640152A (zh) * 2020-05-21 2020-09-08 浙江大学 一种鱼类生长监控方法和系统
CN111861132A (zh) * 2020-06-24 2020-10-30 浙江海洋大学 鱼类分析系统
CN112036248A (zh) * 2020-08-04 2020-12-04 湖北经济学院 一种基于场景识别的智慧鱼塘管理系统
CN112325942A (zh) * 2020-11-06 2021-02-05 无锡一箩筐科技有限公司 一种基于物联网的鱼塘监测与控制系统
CN112767382A (zh) * 2021-01-29 2021-05-07 安徽工大信息技术有限公司 一种基于深度学习的鱼苗计数方法
CN113191222B (zh) * 2021-04-15 2024-05-03 中国农业大学 水下鱼类目标检测方法及装置
CN113487143A (zh) * 2021-06-15 2021-10-08 中国农业大学 鱼群投喂决策方法、装置、电子设备和存储介质
CN113837104B (zh) * 2021-09-26 2024-03-15 大连智慧渔业科技有限公司 基于卷积神经网络的水下鱼类目标检测方法、装置及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111309084A (zh) * 2020-03-12 2020-06-19 威海精讯畅通电子科技有限公司 一种智慧渔业综合管理系统
CN112506120A (zh) * 2020-12-02 2021-03-16 中国农业科学院农业信息研究所 一种基于物联网的智慧渔业管理系统
CN112633257A (zh) * 2021-01-28 2021-04-09 华东交通大学 基于改良卷积神经网络的马铃薯病害识别方法
CN112949408A (zh) * 2021-02-02 2021-06-11 华电西藏能源有限公司 一种过鱼通道目标鱼类实时识别方法和系统
CN113537106A (zh) * 2021-07-23 2021-10-22 仲恺农业工程学院 一种基于YOLOv5的鱼类摄食行为识别方法
CN113627558A (zh) * 2021-08-19 2021-11-09 中国海洋大学 鱼类图像识别方法、系统及设备

Also Published As

Publication number Publication date
CN114240686A (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
JP7108033B2 (ja) 魚測定ステーション管理
JP7275396B2 (ja) 魚の現存量、形状、サイズ、または健康状態の決定
US11688196B2 (en) Fish biomass, shape, and size determination
US10028452B2 (en) Horticultural monitoring system
EP3843542B1 (en) Optimal feeding based on signals in an aquaculture environment
US11532153B2 (en) Splash detection for surface splash scoring
CN114240686B (zh) 智慧渔业监测系统
Arvind et al. Edge computing based smart aquaponics monitoring system using deep learning in IoT environment
CN109472256A (zh) 一种东北虎动态踪迹监测系统及方法
CN111797831A (zh) 基于bim和人工智能的家禽进食并行异常检测方法
NO347281B1 (en) Generating three dimensional skeleton representations of aquatic animals using machine learning
CN116778310A (zh) 一种水产养殖的声光图像融合监控方法及系统
CN113569971B (zh) 一种基于图像识别的渔获目标分类检测方法及系统
Saeed et al. Cotton plant part 3D segmentation and architectural trait extraction using point voxel convolutional neural networks
Lewis et al. Size structure of broadnose sevengill sharks (Notorynchus cepedianus) in Sawdust Bay, Rakiura/Stewart Island, estimated using underwater stereo-photogrammetry
CN115100683B (zh) 估重方法、装置、设备及存储介质
EP4008179A1 (en) Method and system for determining biomass of aquatic animals
TW202133717A (zh) 智慧型竹筍栽培採收監控系統及方法
CN117173631A (zh) 一种生物多样性的监控方法和系统
TW202223758A (zh) 水產養殖管理方法及系統
JP2021163007A (ja) 計測システム、計測方法および計測用プログラム
CN113609321A (zh) 濒临灭绝动物夜间跟踪平台
CN116579576A (zh) 一种基于区块链的智能决策水产养殖溯源方法及系统
CN117475214A (zh) 烟苗育苗期生长状态判别和出苗率检测方法及相关装置
Lin The Image Recognition System implemented in Aquaculture Stewardship. Advances in Artificial Intelligence and Machine Learning. 2023; 3 (3): 77

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant