CN114005064A - 一种基于机器视觉技术的生物式水体污染预警方法及装置 - Google Patents

一种基于机器视觉技术的生物式水体污染预警方法及装置 Download PDF

Info

Publication number
CN114005064A
CN114005064A CN202111281723.XA CN202111281723A CN114005064A CN 114005064 A CN114005064 A CN 114005064A CN 202111281723 A CN202111281723 A CN 202111281723A CN 114005064 A CN114005064 A CN 114005064A
Authority
CN
China
Prior art keywords
fish
image
state
model
pollutant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111281723.XA
Other languages
English (en)
Inventor
张文慧
刘冬
邹长新
王文林
徐德琳
张欣
杨悦
徐梦佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Institute of Environmental Sciences MEE
Original Assignee
Nanjing Institute of Environmental Sciences MEE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute of Environmental Sciences MEE filed Critical Nanjing Institute of Environmental Sciences MEE
Priority to CN202111281723.XA priority Critical patent/CN114005064A/zh
Publication of CN114005064A publication Critical patent/CN114005064A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于机器视觉技术的生物式水体污染预警方法及装置，属于环境保护技术领域。包括获取水体中鱼群的视频图像；对视频图像进行清晰度增强；根据增强后的视频图像，利用第一判别模型对鱼群的第一状态进行识别，得到第一识别结果，根据第一识别结果确定是否需要第一报警；当未进行第一报警，根据增强后的视频图像，利用第二判别模型对鱼群的第二状态进行判断，得到第二识别结果，根据第二识别结果，确定是否需要识别污染物类型以及进行第二报警；当需要识别污染物种类，获取鱼群第二状态的图像纹理特征曲线图，将图像纹理特征曲线图的输入污染物识别模型库，利用库中的污染物识别模型识别水体中污染物的种类，从而对水体进行高效准确预警。

Description

一种基于机器视觉技术的生物式水体污染预警方法及装置
技术领域
本发明属于环境保护技术领域，具体涉及一种基于机器视觉技术的生物式水体污染预警方法及装置。
背景技术
当前中国工业化进程不断加快，水污染问题也日趋严重，河流、湖泊等水源地的水体直接关系到人民群众的生命健康安全，因此加强水体污染监测显得尤为重要。传统方法大多采用人工测量方式进行定时采集水体样本,采用实验室设备或便携式仪器进行检测，时效性较差且检测成本高。
为了能够对水体进行更好的监测，现有技术中提供了很多方式，例如通过鱼类行为对水体进行监测。在专利号为201110141187.3的中国专利中，公开了一种鱼类行为的生物水质监测系统及其监测方法，该专利中设计了一个监测系统，通过对试验鱼群的平均游动速度、密集程度等进行识别。
再比如专利号为201010530149.2的中国专利中，公开了一种基于视觉感知鱼类行为的生物水质监测系统，该专利中通过视觉感知分析鱼类分析行为，判断水体是否受到污染。
然而现有的方法现有技术中大多采用传统图像处理方法，难以做到精确高效地对鱼群应激图像进行分类，并且不能快速判别污染源。
发明内容
技术问题：针对现有技术中存在的不足，本发明提供了一种基于机器视觉技术的生物式水体污染预警方法及装置，通过对实时获取的鱼群图像数据进行分析，通过识别死亡鱼判别模型和鱼群应激状态，检测水体污染程度，同时对比特征曲线图判别可能污染来源，实现高效、智能的水体污染预警，有效节省人力物力。
技术方案：本发明的第一方面，提供一种基于机器视觉技术的生物式水体污染预警方法，包括：
将鱼养殖在待监测的水体中，获取水体中鱼群的视频图像；
对所述视频图像进行清晰度增强；
根据增强后的视频图像，利用第一判别模型对鱼群的第一状态进行识别，得到第一识别结果，根据第一识别结果确定是否需要第一报警，所述第一状态包括：鱼死亡状态和其他状态；
当未进行第一报警，根据增强后的视频图像，利用第二判别模型对鱼群的第二状态进行判断，得到第二识别结果，根据第二识别结果，确定是否需要识别污染物类型以及进行第二报警；所述第二状态包括：轻微应激状态、重度应激状态和正常状态；
当需要识别污染物种类，获取鱼群第二状态的图像纹理特征曲线图，将所述图像纹理特征曲线图的输入污染物识别模型库，利用库中的污染物识别模型识别水体中污染物的种类。
进一步地，所述方法还包括：获取第一判别模型，所述获取第一识别模型包括：
将视频图像进行视频帧拆分处理，拆分间隔为1秒；
选取1000张图片，分别为500张包含死亡鱼图片，500张其他状态图片，对选取图片进行清晰度增强操作，使用labellmg对死亡鱼进行标注；
对标注后的数据集进行扩充，包括镜像、旋转、随机裁剪和局部变形，最终获取包含5000张图像的死亡鱼检测数据集将死亡鱼检测数据集输入yolo模型中进行训练，获取第一判别模型。
进一步地，所述方法还包括：获取第二判别模型；所述获取第二判别模型包括：
将视频图像进行视频帧拆分处理，拆分间隔为1秒；
选取1500张图片，包括500张正常状态图片，500张轻微应激状态图片，500张严重应激状态图片；
将选取图片进行清晰度增强操作后对数据集进行扩充，包括镜像、旋转、随机裁剪和局部变形，最终获取包含7500张图像的鱼群应激状态检测数据集，将包括正常状态、轻微应激状态和严重应激状态图像输入CNN分类网络中进行训练，获取第二判别模型。
进一步地，所述获取鱼群第二状态的图像纹理特征曲线图包括：
视频图像进行帧拆分处理，拆分间隔为1秒，选取连续600帧图片；
利用均值背景建模生成没有鱼群的背景图片，然后通过背景减法提取出前景目标鱼群，再把图片灰度化生成灰度共生矩阵，计算图片0°方向上的逆矩阵、相关性、能量、对比度这4个纹理特征值，得到鱼群在不同污染物造成应激状态的逆矩阵、相关性、能量、对比度特征曲线图。
进一步地，所述对图像进行清晰度增强包括：
构建图像增强模型，将图像输入到训练好所述图像增强模型中，学习输入图像与输出图像的色差图来进行图像增强，得到清晰度增强后的图像；
所述图像增强模型包括5个编码器和对应的5个解码器，每个编码器的输出会跳跃连接到其对应的解码器，每个编码器和解码器均包括一个3×3的2D卷积。
进一步地，所述污染物识别模型库中包括若干个污染物识别模型，每个污染物识别模型对应一种污染物；
所述污染物识别模型为训练好的DHHM模型。
进一步地，所述方法还包括：构建污染物识别模型库；构建所述识别模型库包括：
针对K种污染物，训练K个不同的DHHM模型；
训练时，选择50×K组样本，分别计算特征向量，其中30×K组样本用于训练，20×K组样本用于测试；
采用Lloyds算法对特征向量进行标量化处理，利用标量量化后的不同污染状态特征向量分别训练DHMM，训练算法采用Baum-Welch算法。
K种污染状态的DHMM对数似然估计经过迭代后达到收敛误差范围，不同的污染物具有不同的收敛值。
进一步地，所述将所述图像纹理特征曲线图的污染物识别模型，识别水体中污染物的种类包括：
将标量量化后的图像纹理特征曲线图送入各污染状态的DHMM模型中进行识别，输出对数似然概率估计值，比较并得出最大的对数似然概率，最大的对数似然概率对应的状态即为当前污染状态。
本发明另一方面，提供一种基于机器视觉技术的生物式水体污染预警装置，能够基于所述的基于机器视觉技术的生物式水体污染预警方法对水体进行监测，包括：鱼缸、水泵、无线通讯模块、计算机、报警器；所述鱼缸上设置有进水管道和出水管道，所述进水管道和出水管道均与水泵连接；
所述鱼缸下部设有栅格，上部设有定时投喂器；鱼缸上方设置有盖板；所述鱼缸上设置有至少一个摄像机；
无线通讯模块与摄像机以及计算机连接；
计算机与报警器连接；
所述摄像机用于获取水体中鱼群的视频图像；
所述无线通讯模块用于将获取水体中鱼群的视频图像传输至计算机中，在计算机中执行如下方法：
对所述视频图像进行清晰度增强；
根据增强后的视频图像，利用第一判别模型对鱼的第一状态进行识别，得到第一识别结果，根据第一识别结果确定是否需要第一报警；
当未进行第一报警，根据增强后的图像，利用第二判别模型对鱼群的第二状态进行判断，得到第二识别结果，根据第二识别结果，确定是否需要识别污染物类型以及进行第二报警；
当需要识别污染物种类，获取鱼群第二状态的图像纹理特征曲线图，将所述图像纹理特征曲线图的输入污染物识别模型库，利用库中的污染物识别模型识别水体中污染物的种类。
进一步地，所述鱼缸上设置有两个摄像机，分别为第一摄像机和第二摄像机，所述第一摄像机设置在所述盖板下方，第二摄像机设置在鱼缸侧面；
通过所述第一摄像机获取的视频图像，用于识别鱼群的第二状态；
通过所述第二摄像机获取的视频图像，用于识别鱼群的第一状态。
本发明与现有技术相比，具有以下优点：所提出的基于机器视觉技术的生物式水体污染预警方法基于机器视觉技术和图像处理技术识别鱼群体态信息和行为信息，深入分析鱼群应激状态规律，通过分析鱼死亡以及应激状态，快速的对水体情况进行监测，从而实现对水体污染的高效准确预警。
所提出的基于机器视觉技术的生物式水体污染预警装置，结构简单，可用于野外水体污染监测，并基于所提出的方法对水体进行高效准确预警。
附图说明
图1为本发明实施例中基于机器视觉技术的生物式水体污染预警方法的流程图；
图2为本发明实施例中基于机器视觉技术的生物式水体污染预警方法逻辑流程图；
图3为图像增强模型的结构示意图；
图4为鱼群第一状态检测过程示意图；
图5为鱼群第二状态分类示意图；
图6(a)～(d)为鱼群应激状态时纹理特征曲线图；
图7为DHHM模型训练迭代曲线图；
图8为基于机器视觉技术的生物式水体污染预警装置结构示意图。
图8中：1-鱼缸、2-进水管道、3-水泵、4-出水管道、5-栅格、6-盖板、7-LED补光灯、8-第一摄像机、9-定时投喂器、10-第二摄像机、11无线通讯模块、12-计算机、13-报警器。
具体实施方式
下面结合实施例和说明书附图对本发明作进一步的说明。
本发明的第一方面，提供一种基于机器视觉技术的生物式水体污染预警方法。如图1和图2所示，本示例中包括：
步骤S110：将鱼养殖在待监测的水体中，获取水体中鱼群的视频图像。
步骤S120：对视频图像进行清晰度增强。在本发明的实施例中，构建图像增强模型，将图像输入到训练好所述图像增强模型中，学习输入图像与输出图像的色差图来进行图像增强，得到清晰度增强后的图像。具体的，在U-Net基础上提出了一个准确性更高且更简洁的图像增强模型，如图3所示，该网络由5个编码器与5个解码器对应组成，每个编码器的输出会跳跃连接到其对应的解码器，每个卷积层都包含一个3×3的2D卷积。
网络执行时先输入一张3通道256像素×256像素的图像，进行第一次卷积得到128像素×128像素大小的卷积图像，再经过第二次卷积得到64像素×64像素大小的卷积图像，与此同时将得到的128像素×128像素大小的卷积图像跳跃连接到网络相对应的卷积内。依据同样的方式共经过4次卷积后，进行最大池化和上采样操作后得到16像素×16像素大小的卷积图像，然后再经过4次上采样后得到256像素×256像素的卷积，将得到图像与输入的水下图像再次进行学习，最终得到优化后的图像。该网络没有使用全连接层，不直接学习从输入图像I(x)到输出图像Y中的映射，而是通过I(x)与Y之间学习残余偏色图的能力来增强图像，即d＝Y-I(x)，其中d代表残余偏色图像，Y代表输出图像，I(x)代表输入的水下图像，同时网络中还运用到了Leak-ReLU激活函数和BN层，同时运用反卷积代替传统的上采样方式，实现了在还原图片大小的同时还原色彩信息。
步骤S130：根据增强后的视频图像，利用第一判别模型对鱼群的第一状态进行识别，得到第一识别结果，根据第一识别结果确定是否需要第一报警。
在本发明的实施例中，鱼群的第一状态是指鱼是处于死亡状态还是其他状态，因此，第一识别结果包括两种，一种是识别到鱼死亡，另一种是识别到鱼处于其他状态。当识别到鱼群死亡时，则需要进行报警，此时，说明水体处于严重的污染状态，在紧急情况下，可能需要监测人员及时到水源现场进行采样等，以对污染水体进行及时采样。，如图4中，识别到鱼群处于其他状态，此时不需要进行报警。
为了获取第一识别模型，在本发明的实施例中，将视频图像进行视频帧拆分处理，拆分间隔为1秒。选取1000张图片，分别为500张包含死亡鱼图片，500张其他状态图片，对选取图片进行清晰度增强操作，使用labellmg对死亡鱼进行标注；对标注后的数据集进行扩充，包括镜像、旋转、随机裁剪和局部变形，最终获取包含5000张图像的死亡鱼检测数据集将死亡鱼检测数据集输入yolo模型中进行训练，获取第一判别模型。
在训练时采用批量随机梯度下降法来优化损失函数，总共进行30000次迭代，学习率＝0.01，权重衰减值＝0.0005，批量大小batch＝64，并采用随着迭代次数深入对学习率进行下调的策略，在网络迭代到10000次和20000次的时候进行学习率调整，分别调整为0.001和0.0001，为了减轻过拟合现象，将动量因子设定为0.99，通过该判别模型可对鱼缸中死亡鱼进行检测。
步骤S140：当未进行第一报警，根据增强后的图像，利用第二判别模型对鱼群的第二状态进行判断，得到第二识别结果，根据第二识别结果，确定是否需要识别污染物类型以及进行第二报警。
在本发明的实施例中，鱼群的第二状态时鱼的应激状态，包括：轻微应激状态、严重应激状态和正常状态，如图5。当识别结果为轻微应激状态或严重应激状态时，则说明水体已经受到污染，此时，进行报警，提醒监测人员，水体发生污染，并识别出污染物的类型。
为了获取第二识别模型，在本发明的实施例中，将视频图像进行视频帧拆分处理，拆分间隔为1秒；选取1500张图片，包括500张正常状态图片，500张轻微应激状态图片，500张严重应激状态图片；将选取图片进行清晰度增强操作后对数据集进行扩充，包括镜像、旋转、随机裁剪和局部变形，最终获取包含7500张图像的鱼群应激状态检测数据集，将包括正常状态、轻微应激状态和严重应激状态图像输入CNN分类网络中进行训练，获取第二判别模型。
训练时从鱼群应激状态检测数据集中随机抽取出图像的70％作为应激状态识别训练集，另外30％作为测试集，从零开始训练改进后的模型，得到全连接层的参数以及Softmax层的多分类向量值和损失函数的值，将初始学习率设为0.01，学习率调整因子设置为0.96，设置动量参数为固定值0.9，通过随机方法对全连接层和Softmax分类层的参数进行初始化，并且将网络最后一层全连接层的输出设置为本方法分类数据集的类别数，即设置类别数3，使用Adam自适应矩估计优化方法训练模型，通过该模型可对鱼缸中鱼群应激反应进行判别。
步骤S150：当需要识别污染物种类，获取鱼群第二状态的图像纹理特征曲线图，将所述图像纹理特征曲线图的输入污染物识别模型库，利用库中的污染物识别模型识别水体中污染物的种类。
在本发明的实施例中，获取不同污染情况下鱼群应激反应视频，对视频进行帧拆分处理，拆分间隔为1秒，选取连续600帧图片，首先利用均值背景建模生成没有鱼群的背景图片，然后通过背景减法提取出前景目标鱼群，再把图片灰度化生成灰度共生矩阵，计算图片0°方向上的逆矩阵、相关性、能量、对比度这4个纹理特征值，得到鱼群在不同污染物造成应激状态的逆矩阵、相关性、能量、对比度特征曲线图，如图6(a)～(d)所示。
在本发明的实施例中，在获取特征曲线图时，均值背景建模用数学公式表示：
Figure BDA0003331332420000071
式中
Figure BDA0003331332420000072
是第m帧视频在(x,y)位置处的像素值，N表示帧数，B(x,y)是背景图像在(x,y)出的平均值，不断改变(x,y)的值可以获取整张背景图片。
设f(x,y)为一幅二维数字图像，其大小为M×N像素，灰度级别为Ng，则满足一定空间关系的灰度共生矩阵为：P(i,j)＝#{(x1,y1),(x2,y2)∈M×N|f(x1,y1)＝i,f(x2,y2)＝j}，式中#(x)表示集合x中的元素个数，P为Ng×Ng的矩阵，如果(x1,y1)和(x2,y2)之间的距离为d，两者与坐标横轴的夹角为θ，则可以得到各种间距及角度的灰度共生矩阵P(i,j,d,θ)。
纹理分析的特征量计算公式如下：
逆差距：
Figure BDA0003331332420000073
相关性：
Figure BDA0003331332420000074
其中
Figure BDA0003331332420000075
Figure BDA0003331332420000076
能量：
Figure BDA0003331332420000077
对比度：
Figure BDA0003331332420000081
为了对污染物进行识别，在本发明的实施例中，在本发明的实施例中，采用DHMM模型进行分析，DHMM模型是隐马尔科夫模型中一种经典类型，结构可以分为两部分：一个是隐藏的马尔科夫链，由π，A描述，产生状态序列；另一个是可以直接观察的随机过程，由B描述，产生观察值序列。一个DHMM模型可以定义为π＝(N,M,π,A,B)，其中各参数定义为:
(1)N为马尔科夫链的状态数目，S＝{S1,S2,…,SN}表示N个隐藏状态，记t时刻马尔科夫链所处状态为qt，其中qt∈S。
(2)M为每个状态对应的可能的观测值数目，V＝{V1,V2,…,VM}表示M个观测值，记t时刻的观测值为Ot，其中Ot∈V。
(3)π＝(πi)为初始概率分布矢量，N个状态中随机选择一个状态Si的概率为πi，πi＝P(q1＝Si)。
(4)A＝(ai,j)N×N为状态转移概率矩阵，其中系统从状态Si转移到状态Sj的转移概率为ai,j，ai,j＝P(qt+1＝Si|qt＝Si)。
(5)B＝(bj,k)N×M为观测值概率矩阵，在状态Sj下选择第k个观测值的概率为bj,k，bj,k＝P(ot|qt＝Sj)。
所述污染物识别模型库中包含若干个污染物识别模型，每个污染物识别模型对应一种污染物。为了构建污染物识别模型库，可按如下方式进行：
针对K种污染物，训练K个不同的DHMM模型；
训练时，选择50×K组样本，分别计算特征向量，其中30×K组样本用于训练，20×K组样本用于测试；
采用Lloyds算法对特征向量进行标量化处理，利用标量量化后的不同污染状态特征向量分别训练DHMM，训练算法采用Baum-Welch算法。
K种污染状态的DHMM对数似然估计经过迭代后达到收敛误差范围，不同的污染物具有不同的收敛值，图7给处理DHMM训练迭代曲线图。
在本发明的实施例中，将图像纹理特征曲线图的污染物识别模型，识别水体中污染物的种类包括：
将标量量化后的图像纹理特征曲线图送入各污染状态的DHMM模型中进行识别，输出对数似然概率估计值，比较并得出最大的对数似然概率，最大的对数似然概率对应的状态即为当前污染状态。
将标量量化后的测试样本送入各污染状态的DHMM模型中进行识别，输出对数似然概率估计值，比较并得出最大的对数似然概率，最大的对数似然概率对应的状态即为当前污染状态。
本发明的第二方面，提供一种基于机器视觉技术的生物式水体污染预警装置，该装置能够基于上述的任一基于机器视觉技术的生物式水体污染预警方法对水体进行监测。结合图8所示，该示例中，该装置包括：鱼缸1、水泵3、无线通讯模块11、计算机12、报警器13；其中，鱼缸1上设置有进水管道2和出水管道4，所述进水管道2和出水管道4均与水泵3连接，具体的，进水管道2设置在鱼缸1的中上部，出水管道4设置在鱼缸1底部。在鱼缸1下部设有栅格5，上部设有定时投喂器9；鱼缸1上方设置盖板6，所述鱼缸1上设置有至少一个摄像机。
无线通讯模块11与摄像机以及计算机12连接；计算机12与报警器(13)连接。
该系统中，利用摄像机获取水体中鱼群的视频图像；无线通讯模块用于将获取水体中鱼群的视频图像传输至计算机中，在计算机中执行如下方法：对所述视频图像进行清晰度增强；
根据增强后的视频图像，利用第一判别模型对鱼的第一状态进行识别，得到第一识别结果，根据第一识别结果确定是否需要第一报警；
当未进行第一报警，根据增强后的图像，利用第二判别模型对鱼群的第二状态进行判断，得到第二识别结果，根据第二识别结果，确定是否需要识别污染物类型以及进行第二报警；
当需要识别污染物种类，获取鱼群第二状态的图像纹理特征曲线图，将所述图像纹理特征曲线图的污染物识别模型，识别水体中污染物的种类。
具体执行方式，与所提供的基于机器视觉技术的生物式水体污染预警方法相同，此处就不再赘述。
在本发明的一个实施例中，设置了两个摄像机，分别为第一摄像机8和第二摄像机10，其中第一摄像机8设置在盖板6下方，第一摄像机8获取的视频图像，用于识别鱼群的第二状态；第二摄像机10设置在鱼缸1侧面，获取的视频图像，用于识别鱼群的第一状态。
在利用本实施例中的系统对水体污染进行预警时，将鱼群饲养在鱼缸中，进水管道和出水管道与鱼缸和水泵连接，水泵将所检测水源地内水体输入鱼缸中，定时投喂器定时定量对鱼群进行投喂，鱼群产生的排泄物通过栅格后由出水管道排出，盖板预防极端天气和外部生物对鱼群的影响，盖板下方设置LED补光灯。LED补光灯对鱼群进行补光，第一摄像机和第二摄像机对鱼群进行拍摄，并将拍摄的图像信息通过无线通讯模块传输至计算机，计算机对图像信息进行预处理，包括图像清晰度增强以及生成死亡鱼判别模型和鱼群应激状态判别模型。计算机处理图像信息，进行死亡鱼检测，若检测到死亡鱼则将预警指令发送至报警器，报警器发出预警信号。计算机处理图像信息，进行鱼群应激检测，若检测到鱼群应激反应，则做图像纹理特征曲线图进行对比分析，判别污染物类型，然后将预警指令发送至报警器，报警器发出预警信号。
上述实施例仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。

Claims (10)

1.一种基于机器视觉技术的生物式水体污染预警方法，其特征在于，包括：
将鱼养殖在待监测的水体中，获取水体中鱼群的视频图像；
对所述视频图像进行清晰度增强；
根据增强后的视频图像，利用第一判别模型对鱼群的第一状态进行识别，得到第一识别结果，根据第一识别结果确定是否需要第一报警，所述第一状态包括：鱼死亡状态和其他状态；
当未进行第一报警，根据增强后的视频图像，利用第二判别模型对鱼群的第二状态进行判断，得到第二识别结果，根据第二识别结果，确定是否需要识别污染物类型以及进行第二报警；所述第二状态包括：轻微应激状态、重度应激状态和正常状态；
当需要识别污染物种类，获取鱼群第二状态的图像纹理特征曲线图，将所述图像纹理特征曲线图的输入污染物识别模型库，利用库中的污染物识别模型识别水体中污染物的种类。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取第一判别模型，所述获取第一识别模型包括：
将视频图像进行视频帧拆分处理，拆分间隔为1秒；
选取1000张图片，分别为500张包含死亡鱼图片，500张其他状态图片，对选取图片进行清晰度增强操作，使用labellmg对死亡鱼进行标注；
对标注后的数据集进行扩充，包括镜像、旋转、随机裁剪和局部变形，最终获取包含5000张图像的死亡鱼检测数据集将死亡鱼检测数据集输入yolo模型中进行训练，获取第一判别模型。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取第二判别模型；所述获取第二判别模型包括：
将视频图像进行视频帧拆分处理，拆分间隔为1秒；
选取1500张图片，包括500张正常状态图片，500张轻微应激状态图片，500张严重应激状态图片；
将选取图片进行清晰度增强操作后对数据集进行扩充，包括镜像、旋转、随机裁剪和局部变形，最终获取包含7500张图像的鱼群应激状态检测数据集，将包括正常状态、轻微应激状态和严重应激状态图像输入CNN分类网络中进行训练，获取第二判别模型。
4.根据权利要求1所述的方法，其特征在于，所述获取鱼群第二状态的图像纹理特征曲线图包括：
视频图像进行帧拆分处理，拆分间隔为1秒，选取连续600帧图片；
利用均值背景建模生成没有鱼群的背景图片，然后通过背景减法提取出前景目标鱼群，再把图片灰度化生成灰度共生矩阵，计算图片0°方向上的逆矩阵、相关性、能量、对比度这4个纹理特征值，得到鱼群在不同污染物造成应激状态的逆矩阵、相关性、能量、对比度特征曲线图。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述对图像进行清晰度增强包括：
构建图像增强模型，将图像输入到训练好所述图像增强模型中，学习输入图像与输出图像的色差图来进行图像增强，得到清晰度增强后的图像；
所述图像增强模型包括5个编码器和对应的5个解码器，每个编码器的输出会跳跃连接到其对应的解码器，每个编码器和解码器均包括一个3×3的2D卷积。
6.根据权利要求5所述的方法，其特征在于，所述污染物识别模型库中包括若干个污染物识别模型，每个污染物识别模型对应一种污染物；
所述污染物识别模型为训练好的DHMM模型。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：构建污染物识别模型库；构建所述识别模型库包括：
针对K种污染物，训练K个不同的DHMM模型；
训练时，选择50×K组样本，分别计算特征向量，其中30×K组样本用于训练，20×K组样本用于测试；
采用Lloyds算法对特征向量进行标量化处理，利用标量量化后的不同污染状态特征向量分别训练DHMM，训练算法采用Baum-Welch算法。
K种污染状态的DHMM对数似然估计经过迭代后达到收敛误差范围，不同的污染物具有不同的收敛值。
8.根据权利要求7所述的方法，其特征在于，所述将所述图像纹理特征曲线图的污染物识别模型，识别水体中污染物的种类包括：
将标量量化后的图像纹理特征曲线图送入各污染状态的DHMM模型中进行识别，输出对数似然概率估计值，比较并得出最大的对数似然概率，最大的对数似然概率对应的状态即为当前污染状态。
9.一种基于机器视觉技术的生物式水体污染预警装置，能够基于权利要求1-8任一项所述的基于机器视觉技术的生物式水体污染预警方法对水体进行监测，其特征在于，包括：鱼缸(1)、水泵(3)、无线通讯模块(11)、计算机(12)、报警器(13)；所述鱼缸(1)上设置有进水管道(2)和出水管道(4)，所述进水管道(2)和出水管道(4)均与水泵(3)连接；
所述鱼缸(1)下部设有栅格(5)，上部设有定时投喂器(9)；鱼缸(1)上方设置有盖板(6)；所述鱼缸(1)上设置有至少一个摄像机；
无线通讯模块(11)与摄像机以及计算机(12)连接；
计算机(12)与报警器(13)连接；
所述摄像机用于获取水体中鱼群的视频图像；
所述无线通讯模块用于将获取水体中鱼群的视频图像传输至计算机中，在计算机中执行如下方法：
对所述视频图像进行清晰度增强；
根据增强后的视频图像，利用第一判别模型对鱼的第一状态进行识别，得到第一识别结果，根据第一识别结果确定是否需要第一报警；
当未进行第一报警，根据增强后的图像，利用第二判别模型对鱼群的第二状态进行判断，得到第二识别结果，根据第二识别结果，确定是否需要识别污染物类型以及进行第二报警；
当需要识别污染物种类，获取鱼群第二状态的图像纹理特征曲线图，将所述图像纹理特征曲线图的输入污染物识别模型库，利用库中的污染物识别模型识别水体中污染物的种类。
10.根据权利要求9所述的装置，其特征在于，所述鱼缸(1)上设置有两个摄像机，分别为第一摄像机(8)和第二摄像机(10)，所述第一摄像机(8)设置在所述盖板(6)下方，第二摄像机(10)设置在鱼缸(1)侧面；
通过所述第一摄像机(8)获取的视频图像，用于识别鱼群的第二状态；
通过所述第二摄像机(10)获取的视频图像，用于识别鱼群的第一状态。
CN202111281723.XA 2021-11-01 2021-11-01 一种基于机器视觉技术的生物式水体污染预警方法及装置 Pending CN114005064A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111281723.XA CN114005064A (zh) 2021-11-01 2021-11-01 一种基于机器视觉技术的生物式水体污染预警方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111281723.XA CN114005064A (zh) 2021-11-01 2021-11-01 一种基于机器视觉技术的生物式水体污染预警方法及装置

Publications (1)

Publication Number Publication Date
CN114005064A true CN114005064A (zh) 2022-02-01

Family

ID=79925983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111281723.XA Pending CN114005064A (zh) 2021-11-01 2021-11-01 一种基于机器视觉技术的生物式水体污染预警方法及装置

Country Status (1)

Country Link
CN (1) CN114005064A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310893A (zh) * 2023-02-22 2023-06-23 中关村科学城城市大脑股份有限公司 一种基于无人机的水域污染采集识别方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310893A (zh) * 2023-02-22 2023-06-23 中关村科学城城市大脑股份有限公司 一种基于无人机的水域污染采集识别方法及系统
CN116310893B (zh) * 2023-02-22 2023-09-19 中关村科学城城市大脑股份有限公司 一种基于无人机的水域污染采集识别方法及系统

Similar Documents

Publication Publication Date Title
CN111310862B (zh) 复杂环境下基于图像增强的深度神经网络车牌定位方法
Davis et al. Real-time observation of taxa-specific plankton distributions: an optical sampling method
WO2020046213A1 (en) A method and apparatus for training a neural network to identify cracks
JPH0627014A (ja) 水質汚染監視装置及びその方法
CN109376589A (zh) 基于卷积核筛选ssd网络的rov形变目标与小目标识别方法
CN111860106A (zh) 一种无监督的桥梁裂缝识别方法
Almero et al. An aquaculture-based binary classifier for fish detection using multilayer artificial neural network
CN114782982A (zh) 一种基于深度学习的海洋生物智能检测方法
CN114170549A (zh) 一种基于深度学习的水面漂浮物检测方法
CN115862073A (zh) 一种基于机器视觉的变电站危害鸟种目标检测和识别方法
CN115240060A (zh) 一种海星灾害预警方法及系统
CN116824335A (zh) 一种基于YOLOv5改进算法的火灾预警方法及系统
CN114005064A (zh) 一种基于机器视觉技术的生物式水体污染预警方法及装置
CN114596480A (zh) 一种基于yolov5优化的海底生物目标检测方法和系统
CN113469097B (zh) 一种基于ssd网络的水面漂浮物多相机实时检测方法
CN114170487A (zh) 一种基于视觉的水面油污检测方法
CN114241423A (zh) 一种河道漂浮物智能检测方法及系统
CN112329550A (zh) 基于弱监督学习的受灾建筑快速定位评估方法及装置
Newlands et al. Measurement of the size, shape and structure of Atlantic bluefin tuna schools in the open ocean
Zimmerman et al. Embedded system to detect, track and classify plankton using a lensless video microscope
CN105719246B (zh) 一种检测开敞水体的光谱成像可视化前处理方法
CN112967335A (zh) 气泡尺寸监测方法及装置
ALSAADI et al. Auto Animal Detection and Classification among (Fish, Reptiles and Amphibians Categories) Using Deep Learning
Chen et al. AM-ResNet: An Attention-Based Multi-Label Classification Network
CN117593292B (zh) 一种基于三维正交注意力的ct图像目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination