CN117456555A - 一种水下虾类轮廓与脏器特征识别系统 - Google Patents

一种水下虾类轮廓与脏器特征识别系统 Download PDF

Info

Publication number
CN117456555A
CN117456555A CN202311428510.4A CN202311428510A CN117456555A CN 117456555 A CN117456555 A CN 117456555A CN 202311428510 A CN202311428510 A CN 202311428510A CN 117456555 A CN117456555 A CN 117456555A
Authority
CN
China
Prior art keywords
shrimp
underwater
viscera
res
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311428510.4A
Other languages
English (en)
Inventor
王美玲
蔡卓越
明扬
李鑫晟
胡庆松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ocean University
Original Assignee
Shanghai Ocean University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ocean University filed Critical Shanghai Ocean University
Priority to CN202311428510.4A priority Critical patent/CN117456555A/zh
Publication of CN117456555A publication Critical patent/CN117456555A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/05—Underwater scenes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于水产品智能饲养及机器视觉技术领域，本发明公开了一种水下虾类轮廓与脏器特征识别系统，包括以下步骤：构建Res‑Unet50神经网络，基于构建Res‑Unet50神经网络获取水下目标虾类图像对应的轮廓与脏器二维坐标点；基于Res‑Unet50神经网络的语义分割算法，将水下目标虾类图像对应的轮廓与脏器二维坐标点，运用绘制多边形函数将点连接成多边形，得到虾类形态与脏器边缘图像，对Res‑Unet50神经网络进行参数优化；运用最小外界矩形算法拟合最小矩形边框，并进行尺寸标定，获得水下目标虾类图像对应的尺寸。

Description

一种水下虾类轮廓与脏器特征识别系统
技术领域
本发明涉及水产品智能饲养及机器视觉技术领域，更具体地说，本发明涉及一种水下虾类轮廓与脏器特征识别系统。
背景技术
随着对高品质虾类的养殖和生产提出高要求。传统检测手段主要依靠人工的经验判断对虾的生长状况和健康水平，随机取样不能科学评估，随着有效促进虾养殖业的高标准智能化发展,如中国发明授权专利CN113569971B，公开一种基于图像识别的渔获目标分类检测方法及系统，有效的提高了鱼类产品识别管理作业的工作效率及精度，并有效提高鱼类等水产品识别、认证管理精度及识别信息的全面性。但是该专利主要对渔获目标进行分类检测，并未对目标进行图像分割提取主要特征，无法对目标进行有效的健康监测和生长周期判断。
如中国发明公开专利CN106645585A，公开了一种水产品的品种显示装置，自动对水产品的品种进行正确识别与鉴定，并显示出来品种的显示装置，大大减少了劳动强度。该专利采用传送带输送装置，只能在陆地上进行使用，其感应触头和探测器等并不能在水中进行。在水产品养殖过程中，随机捞取检测容易导致水产品和养殖环境被污染，从而影响水产品的品质和健康生长。
运用机器视觉技术这种无损技术更加及时、便捷和客观精确。但单纯的形态测量不足以为虾健康状况提供全面的数据支持，且鲜有对虾类脏器的视觉研究；
鉴于此，本发明提供了一种水下虾类轮廓与脏器特征识别系统，将机器视觉技术运用到针对虾体轮廓的识别，还将其运用到对虾类的肝胰腺识别，测量出的虾体与脏器长度为监测健康状况提供可靠基础。
发明内容
为了克服现有技术中的问题，本发明提出一种水下虾类轮廓与脏器特征识别系统，能够自动对水产品虾的体征和内部脏器进行正确识别与鉴定，并显示出来该检测目标及其尺寸的显示装置，大大减少了劳动强度。
根据本发明的一个方面，提供了一种水下虾类轮廓与脏器特征识别系统，包括以下步骤：
构建Res-Unet50神经网络，基于构建Res-Unet50神经网络获取水下目标虾类图像对应的轮廓与脏器二维坐标点。
基于Res-Unet50神经网络的语义分割算法，将水下目标虾类图像对应的轮廓与脏器二维坐标点，运用绘制多边形函数将点连接成多边形，得到虾类形态与脏器边缘图像，对Res-Unet50神经网络进行参数优化；
运用最小外界矩形算法拟合最小矩形边框，并进行尺寸标定，获得水下目标虾类图像对应的尺寸。
作为本发明的一种优选方案，所述水下目标虾类图像的获取逻辑：
基于水下养殖环境选择适宜的软硬件设计方案；
基于互联网和水下养殖环境中的所有虾类进行虾类图像采集；
基于图像采集系统与计算机处理系统，对水下虾类图像进行标记并建立监督学习的数据集；
基于快速训练数据增强库对水下虾类图像进行随机图像增强处理，适用于高浊度的水质，并在无需多次、长期采样情况下获得水下目标虾类图像。
作为本发明的一种优选方案，软硬件设计方包括以下步骤：
根据实地考察情况进行硬件系统设计布局；
监控软件能够实时控制且清晰捕捉水下养殖环境的软件，采用拥有设置云台全方位移动及镜头变倍、变焦控制功能的网络视频监控软件，网络视频监控软件包括但不限于海康威视IVMS-4200网络视频监控软件。
作为本发明的一种优选方案，对水下养殖环境对应硬件设施的布局；
所述硬件设施包括但不限于：变倍镜头水下摄像机和补光灯；
补光灯采用水下光源阵列，水下光源阵列采用3个红外线灯源和4个白色LED灯源交替排列的圆形LED灯源阵列上。
作为本发明的一种优选方案，基于互联网和水下养殖环境中的所有虾类进行虾类图像采集，按照训练集：测试集按照预设比例建立监督学习数据集；
安装并使用相关硬件与软件采集清晰的水下虾类图像；
使用包括但不限于LabelMe的标注工具对训练集图像进行标记，并导出json文件。
作为本发明的一种优选方案，快速训练数据增强库包括但不限于以下运用中的一种或多种结合：分辨率降级、图像模糊、水平翻转、垂直翻转、随机蒙板、随机亮度、随机亮度对比度和随机伽马值。
作为本发明的一种优选方案，Res-Unet50神经网络的构建逻辑为：
构建一个Res-Unet50网络，包括多个残差模块，每个残差模块内部包括多个卷积层和批量归一化层；将所有的残差模块嵌入Res-Unet50的主干网络；
基于UNet卷积神经网络构建下采样编码部分和上采样解码部分；
将ResNet50的下采样部分与UNet的下采样编码部分进行替换，以利用ResNet50的残差特性来增强整个网络的下采样编码部分；
在UNet的上采样解码部分与ResNet50的下采样部分之间，通过跳跃连接，保留高分辨率信息和上下文信息。
基于任务要求，设计卷积层和激活函数来获得所需的预测结果，并对Res-Unet50网络进行训练，使用标记的水下虾类图像数据，定义损失函数以监督网络的学习过程；
在训练完成后，评估网络的性能，并根据需要进行超参数调整和模型改进，将训练好的Res-Unet50网络应用于水下虾类图像，以获取虾的轮廓和脏器的坐标点。
作为本发明的一种优选方案，所述Res-Unet50网络主要参数为epoch、batch size和学习率，损失函数为BCE损失函数。
第二方面，本发明提供一种水下虾类轮廓与脏器特征识别方法，基于所述的一种水下虾类轮廓与脏器特征识别系统，包括以下步骤：
使用拉普拉斯算子做卷积，得到分割对象的二维坐标点；
在获取到虾类图像二维坐标点的基础上，运用绘制多边形函数将点连接成多边形得到虾类形态与脏器边缘图像；
再运用最小外界矩形算法拟合最小矩形边框，并进行尺寸标定。
第三方面，本发明提供一种电子设备，包括：处理器和存储器，其中，所述存储器中存储有可供处理器调用的计算机程序；
所述处理器通过调用所述存储器中存储的计算机程序，执行所述的一种水下虾类轮廓与脏器特征识别系统。
本发明一种水下虾类轮廓与脏器特征识别系统的技术效果和优点：
本发明通过更高精度和泛化能力的Res-Unet网络，运用批量梯度下降法，完成了对高浊度水质环境、毫米量级和多目标的水下虾图像分割识别，并对其健康与生长周期达到了零接触、无损的实时监测。
附图说明
图1为本发明基于深度学习的虾类轮廓与脏器识别系统的流程图；
图2为本发明卷积神经网络结构图；
图3为本发明卷积神经网络中残差块的结构图；
图4为本发明虾类识别损失率随训练次数变化图；
图5为本发明虾类轮廓大小分割识别结果图；
图6为本发明虾类肝肠腺分割识别结果图；
图7为本发明虾类胰腺分割识别结果图；
图8为本发明虾类胰腺分割识别的软硬件设计方案的布局图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
请参阅图1-7所示，本实施例所述一种水下虾类轮廓与脏器特征识别系统，包括以下步骤：
基于水下养殖环境选择适宜的软硬件设计方案；
其中：硬件设施用于采集水下养殖环境，硬件设计方案为针对水下养殖环境对应硬件设施的布局，所述硬件设施包括但不限于：变倍镜头水下摄像机和补光灯；
变倍镜头水下摄像机为霸勒思变倍镜头水下摄像机，型号SK2Z-P6X10，主要考虑包括分辨率、补光灯控制、防水等级、耐水压系数、线材和工作温度湿度等多种因素。变倍镜头水下摄像机像素达到1920×1080P60FPS；
补光灯采用水下光源阵列，水下光源阵列采用3个红外线灯源和4个白色LED灯源交替排列的圆形LED灯源阵列上；可有效解决养殖水浑浊度高、水中光衰减、对比度非常差、光线不一致、模糊、有光泽的伪影以及颜色减少等多种问题；
补光灯拥有自动光传感器控制和手动控制器，通过自动光传感器控制和手动控制器两种模式以适应不同情况，且防水等级达到了IP68，可永久安装水下。其中，水下光源阵列采用3个红外线灯源加上4个白色LED灯源交替排列的圆形LED灯源阵列。
监控软件能够实时控制且清晰捕捉水下养殖环境的软件，采用拥有设置云台全方位移动及镜头变倍、变焦控制功能的网络视频监控软件，网络视频监控软件为海康威视IVMS-4200网络视频监控软件。
基于互联网和水下养殖环境中的所有虾类进行虾类图像采集；
具体采集方案包括以下步骤：
进入养殖实验仓中实地安装硬件系统并运用软件系统进行图像采集，捕捉不同角度、不同大小及多目标的水下虾类图像；
基于互联网上下载相关水下虾类图像。
将采集到的水下虾图像和互联网上下载的水下虾类图像，基于图像采集系统与计算机处理系统，对水下虾类图像进行标记并建立监督学习的数据集；
基于互联网和水下养殖环境中的所有虾类进行虾类图像采集，按照训练集：测试集按照8：2比例建立监督学习数据集；
安装并使用相关硬件与软件采集清晰的水下虾类图像；通过标注工具对数据集图像的虾轮廓、虾胰腺和虾肝肠腺进行标记，最终建立监督学习的数据集。
标注工具包括但不限于LabelMe标注工具，对训练集图像进行标记，并导出json文件。
基于快速训练数据增强库对水下虾类图像进行随机图像增强处理，适用于高浊度的水质，在无需多次、长期采样情况下获得水下目标虾类图像。
这里需要说明的是：实际光学条件非常复杂，为了使数据集中的水下虾类图像具有一定的识别作用，对水下虾类图像进行预处理获得水下目标虾类图像，水下目标虾类图像不但保证了运行效率，还增强了泛化能力和适应性。
快速训练数据增强库包括但不限于以下运用中的一种或多种结合：分辨率降级、图像模糊、水平翻转、垂直翻转、随机蒙板、随机亮度、随机亮度对比度和随机伽马值。
随机图像增强处理与传统盲目的扩增数据集数量相比，该方法在不改变数量的情况下对图像进行随机变换，不但保证了运行效率，还增强了泛化能力和适应性。
构建Res-Unet50神经网络，将水下目标虾类图像中得到每只虾的轮廓与脏器二维坐标点。
这里需要说明的是：Res-Unet50神经网络为ResNet50残差网络与UNet卷积神经网络组合的新网络。其创新点在于将ResNet50残差网络的残差优势利用在了主干网络UNet网络的下采样部分，进一步对系统的识别效果带来了改善。具体网络结构详见附图2与附图3，其中附图2右半部分表示下采样编码部分(即编码器)，左半部分表示上采样解码部分(即解码器)；附图3为ResNet残差网络的残差模块。
Res-Unet50神经网络的构建逻辑为：
构建一个Res-Unet50网络，包括多个残差模块，每个残差模块内部包括多个卷积层和批量归一化层；将所有的残差模块嵌入Res-Unet50的主干网络；
基于UNet卷积神经网络构建下采样编码部分和上采样解码部分；
将ResNet50的下采样部分与UNet的下采样编码部分进行替换，以利用ResNet50的残差特性来增强整个网络的下采样编码部分；
在UNet的上采样解码部分与ResNet50的下采样部分之间，通过跳跃连接，保留高分辨率信息和上下文信息。
基于任务要求，设计卷积层和激活函数来获得所需的预测结果，并对Res-Unet50网络进行训练，使用标记的水下虾类图像数据，定义损失函数以监督网络的学习过程；
在训练完成后，评估网络的性能，并根据需要进行超参数调整和模型改进，将训练好的Res-Unet50网络应用于水下虾类图像，以获取虾的轮廓和脏器的坐标点。
基于Res-Unet50神经网络的语义分割算法，将水下目标虾类图像对应的轮廓与脏器二维坐标点，运用绘制多边形函数将点连接成多边形，得到虾类形态与脏器边缘图像，对Res-Unet50网络进行参数优化，为兼顾效率和效果，虾类轮廓和脏器学习率设置不同，脏器学习率更低。
具体示例性的，本发明所使用的Res-Unet50网络与常见的将主要参数epoch从20优化为40，允许网络更多次地学习数据，有助于提高性能。batch size从32优化为16，增加了模型权重的更新次数，提高了网络收敛效果，设置学习率从0.01减小为0.001，更加细致地梯度下降，防止虾类幼苗因脏器较小被跳过识别，让优化算法更小心翼翼地朝着最佳参数方向前进，提高网络的收敛效果，损失函数为BCE损失函数，通常用于二分类任务，例如虾类轮廓和脏器的边缘图像。优化后虾类识别损失率随训练次数变化图见附图4，显示了随着训练次数的增加，虾类识别损失率的变化，如图4所示，其纵坐标表示损失率，横坐标表示训练次数，随着训练次数的增加损失率可以低至0.01。通常，损失率应该随着训练的进行而下降，这表示模型在任务上的性能不断提高。
这里需要说明的是：通过调整这些参数改进模型的性能，确保更好地适应数据和任务。还需要防止过大或过小的变化导致训练不稳定或性能下降。需要进行超参数调整来找到最佳的参数组合。
运用最小外界矩形算法拟合最小矩形边框，并进行尺寸标定，获得水下目标虾类图像对应的尺寸。
如图5至图7分别是虾类轮廓大小分割识别结果图、肝肠腺分割识别结果、胰腺分割识别结果；图5至图7中从左往右对应的具体附图分别为：第一张图是原始图像，第二张图是人工标记虾图像，第三张是预测出的虾图像结果，第四张是对预测出的结果进行尺寸标注，第五张图是在原始图像上进行尺寸标注。
实施例2
在实施例1的基础上，提供水下养殖环境选择适宜的软硬件设计方案的一种实施方式；如图8所示，摄像头可固定在一个支架上，支架机构需要支持摄像头、光源和料台的同时升降与单独升降，并且拥有足够的向外伸长距离，以便于适应不同规格大小的养殖池与适应正方形、圆形等不同类型的养殖池。当养殖现场技术人员或养殖管理人员需要监测当前虾类生长状况时，控制支架下降使摄像头与料台同时浸入养殖池水中，搭配上白光光源与红外光源对图像进行采集。然后将采集到的图像进行预处理除掉虾类粪便与饲料等噪点，再进行特征提取，并标注轮廓与脏器长宽数据，用健康虾类的轮廓与脏器特征数据于标注出的数据进行对比，以此来判断目前虾类肥美程度与健康情况。
实施例3
在实施例2的基础上，提供水下养殖环境选择适宜的软硬件设计方案的又一种实施方式；如图8所示，料台与摄像头固定在一个可单独控制各部件升降的支架上，控制料台下降浸入养殖池水中，再上升抽样捞出部分虾类，利用固定在支架上的摄像头与光源阵列对捞出的虾类进行图像采集并识别虾类轮廓与脏器特征。其中，料台需要采用刚性结构，避免上升下降阶段发生晃动影响到图像采集以及后续的识别精度。同时料台构造可以采取侧边开口与下方开口的方式放回抽样捞出的虾类。当完成整个虾类轮廓与脏器特征识别流程后，从料台侧边或下方放回虾类。如料台不具备侧边或下方开口的结构条件，可以通过控制料台下降浸入养殖池中，使被捞出识别的虾类回到养殖池。
实施例4
请参阅图2所示，本实施例未详细叙述部分见实施例一描述内容，提供一种水下虾类轮廓与脏器特征识别方法，包括以下步骤：
使用拉普拉斯算子做卷积，得到二维坐标点；
在获取到虾类图像二维坐标点的基础上，运用绘制多边形函数将点连接成多边形得到虾类形态与脏器边缘图像；
再运用最小外界矩形算法拟合最小矩形边框，并进行尺寸标定。
实施例5
一种电子设备，包括：处理器和存储器，其中，所述存储器中存储有可供处理器调用的计算机程序；
所述处理器通过调用所述存储器中存储的计算机程序，执行所述的一种水下虾类轮廓与脏器特征识别系统。
上述公式均是去量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最近真实情况的一个公式，公式中的预设参数以及阈值选取由本领域的技术人员根据实际情况进行设置。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种水下虾类轮廓与脏器特征识别系统，其特征在于，包括以下步骤：
构建Res-Unet50神经网络，基于构建Res-Unet50神经网络获取水下目标虾类图像对应的轮廓与脏器二维坐标点；
基于Res-Unet50神经网络的语义分割算法，将水下目标虾类图像对应的轮廓与脏器二维坐标点，运用绘制多边形函数将点连接成多边形，得到虾类形态与脏器边缘图像，对Res-Unet50神经网络进行参数优化；
运用最小外界矩形算法拟合最小矩形边框，并进行尺寸标定，获得水下目标虾类图像对应的尺寸。
2.根据权利要求1所述的一种水下虾类轮廓与脏器特征识别系统，其特征在于，所述水下目标虾类图像的获取逻辑：
基于水下养殖环境选择适宜的软硬件设计方案；
基于互联网和水下养殖环境中的所有虾类进行虾类图像采集；
基于图像采集系统与计算机处理系统，对水下虾类图像进行标记并建立监督学习的数据集；
基于快速训练数据增强库对水下虾类图像进行随机图像增强处理，在无需多次、长期采样情况下获得水下目标虾类图像。
3.根据权利要求2所述的一种水下虾类轮廓与脏器特征识别系统，其特征在于，软硬件设计方包括以下步骤：
根据实地考察情况进行硬件系统设计布局；
监控软件能够实时控制且清晰捕捉水下养殖环境的软件，采用拥有设置云台全方位移动及镜头变倍、变焦控制功能的网络视频监控软件，网络视频监控软件包括但不限于海康威视IVMS-4200网络视频监控软件。
4.根据权利要求3所述的一种水下虾类轮廓与脏器特征识别系统，其特征在于，对水下养殖环境对应硬件设施的布局；
所述硬件设施包括但不限于：变倍镜头水下摄像机和补光灯；
补光灯采用水下光源阵列，水下光源阵列采用3个红外线灯源和4个白色LED灯源交替排列的圆形LED灯源阵列上。
5.根据权利要求2所述的一种水下虾类轮廓与脏器特征识别系统，其特征在于，基于互联网和水下养殖环境中的所有虾类进行虾类图像采集，按照训练集：测试集按照预设比例建立监督学习数据集；
安装并使用相关硬件与软件采集清晰的水下虾类图像；
使用包括但不限于LabelMe的标注工具对训练集图像进行标记，并导出json文件。
6.根据权利要求2所述的一种水下虾类轮廓与脏器特征识别系统，其特征在于，快速训练数据增强库包括但不限于以下运用中的一种或多种结合：分辨率降级、图像模糊、水平翻转、垂直翻转、随机蒙板、随机亮度、随机亮度对比度和随机伽马值。
7.根据权利要求1所述的一种水下虾类轮廓与脏器特征识别系统，其特征在于，Res-Unet50神经网络的构建逻辑为：
构建一个Res-Unet50网络，包括多个残差模块，每个残差模块内部包括多个卷积层和批量归一化层；将所有的残差模块嵌入Res-Unet50的主干网络；
基于UNet卷积神经网络构建下采样编码部分和上采样解码部分；
将ResNet50的下采样部分与UNet的下采样编码部分进行替换，以利用ResNet50的残差特性来增强整个网络的下采样编码部分；
在UNet的上采样解码部分与ResNet50的下采样部分之间，通过跳跃连接，保留高分辨率信息和上下文信息。
基于任务要求，设计卷积层和激活函数来获得所需的预测结果，并对Res-Unet50网络进行训练，使用标记的水下虾类图像数据，定义损失函数以监督网络的学习过程；
在训练完成后，评估网络的性能，并根据需要进行超参数调整和模型改进，将训练好的Res-Unet50网络应用于水下虾类图像，以获取虾的轮廓和脏器的坐标点。
8.根据权利要求7所述的一种水下虾类轮廓与脏器特征识别系统，其特征在于，所述Res-Unet50网络主要优化参数为epoch，batch size和学习率，损失函数为BCE损失函数。
9.一种水下虾类轮廓与脏器特征识别方法，其特征在于，基于权利要求1～8任意一项所述的一种水下虾类轮廓与脏器特征识别系统，包括以下步骤：
使用拉普拉斯算子做卷积，得到分割对象的二维坐标点；
在获取到虾类图像二维坐标点的基础上，运用绘制多边形函数将点连接成多边形得到虾类形态与脏器边缘图像；
再运用最小外界矩形算法拟合最小矩形边框，并进行尺寸标定。
10.一种电子设备，其特征在于，包括：处理器和存储器，其中，所述存储器中存储有可供处理器调用的计算机程序；
所述处理器通过调用所述存储器中存储的计算机程序，执行权利要求1～8任一项所述的一种水下虾类轮廓与脏器特征识别系统。
CN202311428510.4A 2023-10-31 2023-10-31 一种水下虾类轮廓与脏器特征识别系统 Pending CN117456555A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311428510.4A CN117456555A (zh) 2023-10-31 2023-10-31 一种水下虾类轮廓与脏器特征识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311428510.4A CN117456555A (zh) 2023-10-31 2023-10-31 一种水下虾类轮廓与脏器特征识别系统

Publications (1)

Publication Number Publication Date
CN117456555A true CN117456555A (zh) 2024-01-26

Family

ID=89587016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311428510.4A Pending CN117456555A (zh) 2023-10-31 2023-10-31 一种水下虾类轮廓与脏器特征识别系统

Country Status (1)

Country Link
CN (1) CN117456555A (zh)

Similar Documents

Publication Publication Date Title
US20240020951A1 (en) Automated plant detection using image data
An et al. Application of computer vision in fish intelligent feeding system—A review
Martinez-de Dios et al. Computer vision and robotics techniques in fish farms
Pinkiewicz et al. A computer vision system to analyse the swimming behaviour of farmed fish in commercial aquaculture facilities: a case study using cage-held Atlantic salmon
Shi et al. An automatic method of fish length estimation using underwater stereo system based on LabVIEW
Li et al. Detection of uneaten fish food pellets in underwater images for aquaculture
CN111178197A (zh) 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法
CN112232978B (zh) 水产品体长和重量检测方法、终端设备及存储介质
CN112257564B (zh) 水产品数量统计方法、终端设备及存储介质
Ibrahim Aliyu et al. A proposed fish counting algorithm using digital image processing technique
CN111161214B (zh) 一种基于双目视觉的猪只体重测量及饮水行为识别系统及方法
CN110163798B (zh) 渔场围网破损检测方法及系统
US9691144B2 (en) System and method for counting zooplankton
CN106097320B (zh) 水下海参图像自动分割方法及装置
Huang et al. The prototype of a smart underwater surveillance system for shrimp farming
CN113349111A (zh) 一种用于水产养殖物的动态投喂方法、系统和存储介质
CN115797844A (zh) 一种基于神经网络的鱼体鱼病检测方法及系统
Aliyu et al. Incorporating recognition in catfish counting algorithm using artificial neural network and geometry
CN110956198A (zh) 一种单目摄像机视觉测重方法
CN110428374A (zh) 一种小体积害虫自动检测方法及系统
CN117456555A (zh) 一种水下虾类轮廓与脏器特征识别系统
Lai et al. Automatic measuring shrimp body length using CNN and an underwater imaging system
Cao et al. Research on counting algorithm of residual feeds in aquaculture based on machine vision
CN111369497A (zh) 一种行走式树上果实连续计数方法及装置
Cao et al. Learning-based low-illumination image enhancer for underwater live crab detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination