CN112507869A - 基于机器视觉的水下目标物行为观测和水体环境监测方法 - Google Patents
基于机器视觉的水下目标物行为观测和水体环境监测方法 Download PDFInfo
- Publication number
- CN112507869A CN112507869A CN202011419861.5A CN202011419861A CN112507869A CN 112507869 A CN112507869 A CN 112507869A CN 202011419861 A CN202011419861 A CN 202011419861A CN 112507869 A CN112507869 A CN 112507869A
- Authority
- CN
- China
- Prior art keywords
- behavior
- underwater target
- water body
- underwater
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012544 monitoring process Methods 0.000 title claims abstract description 28
- 238000000605 extraction Methods 0.000 claims abstract description 34
- 230000002159 abnormal effect Effects 0.000 claims abstract description 18
- 230000008859 change Effects 0.000 claims abstract description 9
- 230000009471 action Effects 0.000 claims abstract description 8
- 238000003745 diagnosis Methods 0.000 claims abstract description 7
- 230000006399 behavior Effects 0.000 claims description 83
- 238000001914 filtration Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 13
- 238000012706 support-vector machine Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- IJGRMHOSHXDMSA-UHFFFAOYSA-N nitrogen Substances N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 10
- 239000001301 oxygen Substances 0.000 claims description 10
- 229910052760 oxygen Inorganic materials 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 239000000126 substance Substances 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 229910052757 nitrogen Inorganic materials 0.000 claims description 7
- 238000013145 classification model Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 3
- QJGQUHMNIGDVPM-UHFFFAOYSA-N nitrogen(.) Chemical compound [N] QJGQUHMNIGDVPM-UHFFFAOYSA-N 0.000 claims description 3
- 230000009545 invasion Effects 0.000 abstract description 4
- 241000251468 Actinopterygii Species 0.000 description 29
- 230000011218 segmentation Effects 0.000 description 8
- 230000007613 environmental effect Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 241000238557 Decapoda Species 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 206010021143 Hypoxia Diseases 0.000 description 1
- 206010022998 Irritability Diseases 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/18—Water
- G01N33/186—Water using one or more living organisms, e.g. a fish
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Chemical & Material Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Pathology (AREA)
- Immunology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Medicinal Chemistry (AREA)
- Food Science & Technology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于机器视觉的水下目标物行为观测和环境监测方法，包括：获取水体环境参数和水中视频图像数据；通过预设的算法模型，对视频图像数据进行特征提取，获得水下目标物的特征提取结果，并根据特征提取结果及算法模型，对水下目标物的行为识别，获得水下目标物的行为识别结果；根据行为识别结果和水体环境参数，建立水体预警模型；将传感器实时监测到的水下目标物的行为数据和水体环境参数，通过水体预警模型，判断出水体是否异常，若是，则执行相应的异常诊断动作。本发明能够通过对环境的监测和目标物行为的视觉检测，建立目标物行为模型，通过模型识别环境的变化和物种或人为干扰和入侵，来保护珍贵生物和生态环境或国土安全。
Description
技术领域
本发明涉及机器视觉技术领域，特别是涉及一种基于机器视觉的水下目标物行为观测和环境监测方法、系统、终端设备和计算机可读存储介质。
背景技术
目前，人类对海洋开发越来越深入，水下获得越来越多，水下养殖、捕捞，生态保护、非法入侵等，都需要对水下生物和环境进行观测和分析，进而发现异常。但目前，水下观测多为声呐，这种观测成本高，精度差。
发明内容
本发明的目的是：提供一种基于机器视觉的水下目标物行为和环境监测方法和系统，本发明能够从复杂水环境中，通过环境的实时监测和目标物行为的视觉检测，建立目标物行为模型，通过模型识别环境的变化和物种或人为干扰和入侵，来保护珍贵生物和生态环境或国土安全。
为了实现上述目的，本发明提供了基于机器视觉的水下目标物行为观测和环境监测方法，包括：
获取水体环境参数和水中视频图像数据；
通过预设的算法模型，对所述视频图像数据进行特征提取，获得水下目标物的特征提取结果，并根据所述特征提取结果及所述算法模型，对所述水下目标物的行为进行识别，获得所述水下目标物的行为识别结果；
根据所述行为识别结果和所述水体环境参数，建立水体预警模型；
将传感器实时监测到的水下目标物的行为数据和水体环境参数，通过所述水体预警模型，判断出水体是否异常，若是，则执行相应的异常诊断动作。
进一步地，所述算法模型包括：水下目标物特征提取部分和水下目标物行为识别部分。
进一步地，所述水下目标物特征提取部分包括：图像滤波、发现对象和特征提取、以及根据规则进行目标提取；其中，
所述图像滤波具体为：对所述获取的视频图像数据进行滤波处理，操作步骤如下：
采用空间距离相关的高斯核函数与一个灰度距离相关的高斯函数相乘，获得滤波的结果；所述空间距离为：
其中，(xc,yc)是中心点坐标，(xi,yi)为当前点的坐标，σ为空间域标准差；
所述灰度距离为：
其中，gray(xi,yi)是当前像素点的灰度值，gray(xc,yc)是模板中覆盖图片区域的中心点像素的灰度值，σ为值域标准差；
所述发现对象和特征提取，具体为：对经过滤波处理后的视频图像进行分割和合并，获得待选特征集，然后通过对所述待选特征进行调节分界值，获得选定的特征集；
所述根据规则进行目标提取，具体为：通过所述选定特征集及判断规则，对视频图像中水下目标物进行分类识别。
进一步地，所述水下目标物识别包括：特征分析和支持向量机分类；其中，
所述特征分析具体为：对比水下目标物在稳定环境和在突发事件环境中的行为变化；
所述支持向量机分类具体为：将经过特征提取处理后的视频图像数据分为两个部分，一部分作为训练数据，另一部分作为测试数据，将训练数据用于训练支持向量机分类模型，测试数据用于检验支持向量机分类模型分类是否准确。
进一步地，所述水体环境参数包括：温度变化ΔT、含氧量On、氮含量Nn、酸碱度Ph和盐度Sn。
进一步地，所述水体预警模型采用如下公式：
其中，Eβ为监测值和ΔT为温度变化的值，On为含氧量，Nn为氮含量、Ph为酸碱度、Sn为盐度、fn为行为类型。
本发明实施例还提供一种基于机器视觉的水下目标物行为观测和环境监测系统，包括：数据获取模块、行为识别模块、预警模型构建模块和异常处理模块；其中，
所述数据获取模块，获取水体环境参数和水中视频图像数据；
所述行为识别模块，通过预设的算法模型，对所述视频图像数据进行特征提取，获得水下目标物的特征提取结果，并根据所述特征提取结果及所述算法模型，对所述水下目标物的行为进行识别，获得所述水下目标物的行为识别结果；
所述预警模型构建模块，根据所述行为识别结果和所述水体环境参数，建立水体预警模型；
所述异常处理模块，用于将传感器监测到的水下目标物的行为数据和水体环境参数，通过所述水体预警模型，判断出水体是否异常，若是，则执行相应的异常诊断动作。
本发明实施例还提供一种计算机终端设备，包括：一个或多个处理器；存储器，与所述处理器耦接，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述任一项所述的基于机器视觉的水下目标物行为观测和环境监测方法。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述任一项所述的基于机器视觉的水下目标物行为观测和环境监测方法。
本发明实施例一种基于机器视觉的水下目标物行为观测和环境监测方法及系统与现有技术相比，其有益效果在于：
1、利用面向对象目标方法建立水下目标提取算法。
2、利用水下目标物个体之间关系(角度)识别目标生物的行为和判断异常。
3、利用水下目标物群体异常观测和检测环境参数分析目标生物异常原因。
4、建立水下目标物异常模型方法。
5、利用水下目标物异常模型预测环境变化(包括人为或自然的)。
附图说明
图1为本发明某一实施例提供的基于机器视觉的水下目标物行为观测和环境监测方法的流程示意图；
图2为本发明某一实施例提供的基于机器视觉的水下目标物行为观测和环境监测系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。
应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
本发明第一实施例：
如图1所示，本发明提供的一种基于机器视觉的水下目标物行为观测和环境监测方法，至少包括如下步骤：
S101、获取水体环境参数和水中视频图像数据。
需要说明的是，所述水体环境参数是通过各种传感器，例如：温度传感器、含氧量传感器、氮含量传感器、酸碱度传感器和盐度传感器获取，所述水中视频图像是通过水下摄像头获取。
S102、通过预设的算法模型，对所述视频图像数据进行特征提取，获得水下目标物的特征提取结果，并根据所述特征提取结果及所述算法模型，对所述水下目标物的行为进行识别，获得所述水下目标物的行为识别结果。
需要说明的是，所述算法模型是一种多个目标的提取算法，包括水下目标物特征提取和水下目标物行为识别两个部分；其中，所述目标可以是鱼类目标、虾类目标和蟹类目标等。
具体地，所述水下目标物特征提取部分包括：图像滤波、发现对象和特征提取、以及根据规则进行目标提取；其中，
所述图像滤波具体为：对所述获取的视频图像数据进行滤波处理，操作步骤如下：
采用空间距离相关的高斯核函数与一个灰度距离相关的高斯函数相乘，获得滤波的结果；所述空间距离为：
其中，(xc,yc)是中心点坐标，(xi,yi)为当前点的坐标，σ为空间域标准差。
所述灰度距离为：
其中，gray(xi,yi)是当前像素点的灰度值，gray(xc,yc)是模板中覆盖图片区域的中心点像素的灰度值，σ为值域标准差。
所述发现对象和特征提取，具体为：对经过滤波处理后的视频图像进行分割和合并，获得待选特征集，然后通过对所述待选特征进行调节分界值，获得选定的特征集；所述分割操作具体为：
根据临近像素亮度、纹理、颜色等对影像进行分割，使用了一种基于边缘的分割算法，输入一个参数，产生多尺度分割结果。通过不同尺度上边界的差异控制，产生从细到粗的多尺度分割。选择高尺度影像分割将会分出很少的图斑，选择一个低尺度影像分割将会分割出更多的图斑，分割效果的好坏一定程度决定了分类效果的精确度，通过预览分割效果，选择一个理想的分割阀值，尽可能好地分割出边缘特征。采用图像分割算法如下所述：
Edge(基于边缘检测)，利用边缘法，使用Sobel边缘检测方法计算出梯度图像，其中像素值最高的区域代表像素对比度最高的区域。将分水岭算法应用于梯度图像。分水岭算法从最小的梯度值(物体的均匀部分)填充到最大的梯度值(边缘部分)。需要结合合并算法可以达到最佳效果；即可达到较好的效果。调整滑块阀值对影像进行分割，根据实际情况设定最佳阈值为T。
所述合并操作具体为：
影像分割时，由于阈值过低，一些特征会被错分，一个特征也有可能被分成很多部分。我们可以通过合并来解决这些问题。
合并算法：Full Lambda Schedule，合并存在于大块、纹理性较强的区域，结合光谱和空间信息的基础上迭代合并邻近的小斑块；
该方法基于光谱信息和空间信息的结合，迭代地合并相邻段。当算法找到一对相邻区域i，j时发生合并，使得合并代价小于定义的阈值lambda值：
Oi|是区域i的面积，ui是区域i的均值，uj是区域j的均值，||ui-uj区域i和j的光谱值之间的欧氏距离，
为Oi和Oj的公共边界。
所述通过对所述待选特征进行调节分界值，获得选定的特征集；具体为：
通过分割和合并发现背景中的目标即为对象，在待选特征集(T)中调节分界值，找到最优分界值，从纹理、光谱、几何等特征中优选出子特征集(t)。
所述根据规则进行目标提取，具体为：通过所述选定特征集及判断规则，对视频图像中水下目标物进行分类识别。
例如：面积大于N1像素，延长线小于N2，紧密度小于N3，标准差小于N4等。
具体地，所述水下目标物行为识别包括：特征分析和支持向量机分类；其中，所述特征分析指的是，对比水下目标物在稳定环境和在突发事件环境中的行为变化；具体为：
在视频图像中，检测出的目标物是具有动态行为特制的，这些特征和其所在的环境有着密切关联，在稳定的环境中其行为是稳定的，而在突发事件中，水下目标物是具有应激性，在此情况下，水下目标物的行为会发生显著变化。利用机器视觉可以观察到水下目标物的行为，要把这些行为和其所在的环境参数关联起来，就需要量化这些行为特征。
在此步骤中，本发明以鱼类目标为例演示操作步骤，但是，本发明不仅仅限于鱼类，还可以是虾类产品和蟹类产品等。
第一步：标注鱼嘴、鱼眼，提取嘴眼连线；
鱼嘴和鱼眼是鱼重要的识别特征，鱼嘴呈三角形，鱼眼呈圆形，鱼嘴提取通过提取鱼嘴三角来提取，在三角顶点来标注，鱼眼提取通过霍夫检测来提取，提取鱼眼圆心和半径，在圆心标注，连接鱼嘴三角顶点和鱼眼圆心成嘴眼连线。
第二步：倾角计算；
以鱼嘴三角顶点为顶点，嘴眼连线和水平线形成的夹角，计算出倾角α。
第三步：两条鱼夹角计算；
计算两条临近鱼各自倾角，计算两者之间的角度差β＝α1-α2
第四步：角分析；
鱼体间夹角与鱼的行为有关，可以根据鱼夹角β来识别鱼的行为。对不同行为时段的帧，计算出
计算夹角βi的熵；
第五步：支持向量机行为分类；
根据鱼群的日常行为特征可以从视频中提取出鱼的朝向与鱼间角度。鱼类的行为可以根据昼夜、季节来观察，主要观察鱼类的日常Ec行为，及异常Ey行为，主要包括病害和侵害。
所述支持向量机分类具体为：将经过特征提取处理后的视频图像数据分为两个部分，一部分作为训练数据，另一部分作为测试数据，将训练数据用于训练支持向量机分类模型，测试数据用于检验支持向量机分类模型分类是否准确。
训练数据具体过程为：
1、输入两类训练样品向量(Eci，Eyi)(i＝1，2，…，N，X∈Rn，y∈{-1,1})，类号ω1,ω2。如果Xi∈ω1，则yi＝-1；如果Xi∈ω2，则yi＝1。
2、指定核函数；
3、利用二次规划方法求解目标函数式：
最优解，得到最优Lagrange乘子α*。
4、利用样本库中的一个支持向量Ec，代入下式
左值f(Ec)为其类别值(－1或1)，可得到偏差值b*。
分类过程具体为：
1、输入待测样品Ec。
2、利用训练好的Lagrange乘子α*、偏差值b*和核函数，根据式
求解判别函数f(Ec)。
3、根据sgn(f(Ec))的值，输出类别。如果sgn(f(Ec))为－1，则该样品属于ω1类；如果sgn(f(Ec))为1，则该样品属于ω2类。
S103、根据所述行为识别结果和所述水体环境参数，建立水体预警模型。
需要说明的是，所述水体环境参数包括：温度变化ΔT、含氧量On、氮含量Nn、酸碱度Ph和盐度Sn。
所述水体预警模型采用如下公式：
其中，Eβ为监测值和ΔT为温度变化的值，On为含氧量，Nn为氮含量、Ph为酸碱度、Sn为盐度、fn为行为类型。
S104、将传感器实时监测到的水下目标物的行为数据和水体环境参数，通过所述水体预警模型，判断出水体是否异常，若是，则执行相应的异常诊断动作。
需要说明的是，在本步骤中，传感器实时将水体环境数和水下目标物行为数据传输给水体预警模型，水体预警模型一旦判断出水体以此，则会执行相应的异常处理动作，例如：检测出水体中缺氧，水体预警模型会自动打开增氧器开关，让增氧器为水体增加氧气。
本发明实施例一种基于机器视觉的水下目标物行为和环境监测方法与现有技术相比，其有益效果在于：
1、利用面向对象目标方法建立水下目标提取算法。
2、利用水下目标物个体之间关系(角度)识别目标生物的行为和判断异常。
3、利用水下目标物群体异常观测和检测环境参数分析目标生物异常原因。
4、建立水下目标物异常模型方法。
5、利用水下目标物异常模型预测环境变化(包括人为或自然的)。
本发明第二实施例：
如图2所示，本发明实施例还提供一种基于机器视觉的水下目标物行为观测和环境监测系统200，包括：数据获取模块201、行为识别模块202、预警模型构建模块203和异常处理模块204；其中，
所述数据获取模块201，获取水体环境参数和水中视频图像数据；
所述行为识别模块202，通过预设的算法模型，对所述视频图像数据进行特征提取，获得水下目标物的特征提取结果，并根据所述特征提取结果及所述算法模型，对所述水下目标物的行为进行识别，获得所述水下目标物的行为识别结果；
所述预警模型构建模块203，根据所述行为识别结果和所述水体环境参数，建立水体预警模型；
所述异常处理模块204，用于将传感器监测到的水下目标物的行为数据和水体环境参数，通过所述水体预警模型，判断出水体是否异常，若是，则执行相应的异常诊断动作。
本发明第三实施例：
本发明实施例还提供一种计算机终端设备，包括：一个或多个处理器；
存储器，与所述处理器耦接，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述任一项所述的基于机器视觉的水下目标物行为观测和环境监测方法。
需要说明的是，所述处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field－ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，通用处理器可以是微处理器，或者所述处理器也可以是任何常规的处理器，所述处理器是所述终端设备的控制中心，利用各种接口和线路连接所述终端设备的各个部分。
所述存储器主要包括程序存储区和数据存储区，其中，程序存储区可存储操作系统、至少一个功能所需的应用程序等，数据存储区可存储相关数据等。此外，所述存储器可以是高速随机存取存储器，还可以是非易失性存储器，例如插接式硬盘，智能存储卡(SmartMediaCard，SMC)、安全数字(SecureDigital，SD)卡和闪存卡(FlashCard)等，或所述存储器也可以是其他易失性固态存储器件。
需要说明的是，上述终端设备可包括，但不仅限于，处理器、存储器，本领域技术人员可以理解，上述终端设备仅仅是示例，并不构成对终端设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件。
本发明第四实施例：
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述任一项所述的基于机器视觉的水下目标物行为观测和环境监测方法。
需要说明的是，所述计算机程序可以被分割成一个或多个模块/单元(如计算机程序、计算机程序)，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于机器视觉的水下目标物行为观测和环境监测方法，其特征在于，包括：
获取水体环境参数和水中视频图像数据；
通过预设的算法模型，对所述视频图像数据进行特征提取，获得水下目标物的特征提取结果，并根据所述特征提取结果及所述算法模型，对所述水下目标物的行为进行识别，获得所述水下目标物的行为识别结果；
根据所述行为识别结果和所述水体环境参数，建立水体预警模型；
将传感器实时监测到的水下目标物的行为数据和水体环境参数，通过所述水体预警模型，判断出水体是否异常，若是，则执行相应的异常诊断动作。
2.根据权利要求1所述的基于机器视觉的水下目标物行为观测和环境监测方法，其特征在于，所述算法模型包括：水下目标物特征提取部分和水下目标物行为识别部分。
3.根据权利要求2所述的基于机器视觉的水下目标物行为观测和环境监测方法，其特征在于，所述水下目标物特征提取部分包括：图像滤波、发现对象和特征提取、以及根据规则进行目标提取；其中，
所述图像滤波具体为：对所述获取的视频图像数据进行滤波处理，操作步骤如下：
采用空间距离相关的高斯核函数与一个灰度距离相关的高斯函数相乘，获得滤波的结果；所述空间距离为：
其中，(xc,yc)是中心点坐标，(xi,yi)为当前点的坐标，σ为空间域标准差；
所述灰度距离为：
其中，gray(xi,yi)是当前像素点的灰度值，gray(xc,yc)是模板中覆盖图片区域的中心点像素的灰度值，σ为值域标准差；
所述发现对象和特征提取，具体为：对经过滤波处理后的视频图像进行分割和合并，获得待选特征集，然后通过对所述待选特征进行调节分界值，获得选定的特征集；
所述根据规则进行目标提取，具体为：通过所述选定特征集及判断规则，对视频图像数据中水下目标物进行分类识别。
4.根据权利要求2所述的基于机器视觉的水下目标物行为观测和环境监测方法，其特征在于，所述水下目标物识别部分包括：特征分析和支持向量机分类；其中，
所述特征分析具体为：对比水下目标物在稳定环境和在突发事件环境中的行为变化；
所述支持向量机分类具体为：将经过特征提取处理后视频图像数据分为两个部分，一部分作为训练数据，另一部分作为测试数据，将训练数据用于训练支持向量机分类模型，测试数据用于检验支持向量机分类模型分类是否准确。
5.根据权利要求1所述的基于机器视觉的水下目标物行为观测和环境监测方法，其特征在于，所述水体环境参数包括：温度变化ΔT、含氧量On、氮含量Nn、酸碱度Ph和盐度Sn。
6.根据权利要求1所述的基于机器视觉的水下目标物行为观测和环境监测方法，其特征在于，所述水体预警模型采用如下公式：
其中，Eβ为监测值和ΔT为温度变化的值，On为含氧量，Nn为氮含量、Ph为酸碱度、Sn为盐度、fn为行为类型。
7.一种基于机器视觉的水下目标物行为观测和环境监测系统，其特征在于，包括：数据获取模块、行为识别模块、预警模型构建模块和异常处理模块；其中，
所述数据获取模块，获取水体环境参数和水中视频图像数据；
所述行为识别模块，通过预设的算法模型，对所述视频图像数据进行特征提取，获得水下目标物的特征提取结果，并根据所述特征提取结果及所述算法模型，对所述水下目标物的行为进行识别，获得所述水下目标物的行为识别结果；
所述预警模型构建模块，根据所述行为识别结果和所述水体环境参数，建立水体预警模型；
所述异常处理模块，用于将传感器监测到的水下目标物的行为数据和水体环境参数，通过所述水体预警模型，判断出水体是否异常，若是，则执行相应的异常诊断动作。
8.一种计算机终端设备，其特征在于，包括：
一个或多个处理器；
存储器，与所述处理器耦接，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至6任一项所述的基于机器视觉的水下目标物行为观测和环境监测方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于机器视觉的水下目标物行为观测和环境监测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011419861.5A CN112507869B (zh) | 2020-12-07 | 2020-12-07 | 基于机器视觉的水下目标物行为观测和水体环境监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011419861.5A CN112507869B (zh) | 2020-12-07 | 2020-12-07 | 基于机器视觉的水下目标物行为观测和水体环境监测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112507869A true CN112507869A (zh) | 2021-03-16 |
| CN112507869B CN112507869B (zh) | 2024-04-09 |
Family
ID=74971084
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011419861.5A Active CN112507869B (zh) | 2020-12-07 | 2020-12-07 | 基于机器视觉的水下目标物行为观测和水体环境监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112507869B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113112726A (zh) * | 2021-05-11 | 2021-07-13 | 创新奇智(广州)科技有限公司 | 入侵检测方法、装置、设备、系统及可读存储介质 |
| CN116189023A (zh) * | 2023-04-28 | 2023-05-30 | 成都市环境应急指挥保障中心 | 基于无人机实现环境应急监测的方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102012419A (zh) * | 2010-11-03 | 2011-04-13 | 浙江工业大学 | 基于视觉感知鱼类行为的生物水质监测系统 |
| CN102866237A (zh) * | 2012-09-06 | 2013-01-09 | 华南理工大学 | 一种基于视频识别的水质安全在线生物预警监测系统 |
| CN104749334A (zh) * | 2015-02-16 | 2015-07-01 | 燕山大学 | 基于模式识别的生物式异常水质评价系统设计方法 |
| CN105424091A (zh) * | 2015-12-04 | 2016-03-23 | 中国农业大学 | 水生生物生存环境状态预警方法及系统 |
| CN105850930A (zh) * | 2016-04-23 | 2016-08-17 | 上海大学 | 基于机器视觉的病虫害预警系统和方法 |
| CN108647582A (zh) * | 2018-04-19 | 2018-10-12 | 河南科技学院 | 一种复杂动态环境下目标行为识别与预测方法 |
| US20180316707A1 (en) * | 2017-04-26 | 2018-11-01 | Elasticsearch B.V. | Clustering and Outlier Detection in Anomaly and Causation Detection for Computing Environments |
| US20190037810A1 (en) * | 2017-08-02 | 2019-02-07 | Vium Inc. | Device and method of automatic classification of animal behaviors using vocalizations |
| CN109633113A (zh) * | 2018-12-05 | 2019-04-16 | 环境保护部华南环境科学研究所 | 基于青鳉鱼逐级行为模型的水质监测预警方法及系统 |
| CN110166741A (zh) * | 2019-04-15 | 2019-08-23 | 深圳壹账通智能科技有限公司 | 基于人工智能的环境监控方法、装置、设备及存储介质 |
-
2020
- 2020-12-07 CN CN202011419861.5A patent/CN112507869B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102012419A (zh) * | 2010-11-03 | 2011-04-13 | 浙江工业大学 | 基于视觉感知鱼类行为的生物水质监测系统 |
| CN102866237A (zh) * | 2012-09-06 | 2013-01-09 | 华南理工大学 | 一种基于视频识别的水质安全在线生物预警监测系统 |
| CN104749334A (zh) * | 2015-02-16 | 2015-07-01 | 燕山大学 | 基于模式识别的生物式异常水质评价系统设计方法 |
| CN105424091A (zh) * | 2015-12-04 | 2016-03-23 | 中国农业大学 | 水生生物生存环境状态预警方法及系统 |
| CN105850930A (zh) * | 2016-04-23 | 2016-08-17 | 上海大学 | 基于机器视觉的病虫害预警系统和方法 |
| US20180316707A1 (en) * | 2017-04-26 | 2018-11-01 | Elasticsearch B.V. | Clustering and Outlier Detection in Anomaly and Causation Detection for Computing Environments |
| US20190037810A1 (en) * | 2017-08-02 | 2019-02-07 | Vium Inc. | Device and method of automatic classification of animal behaviors using vocalizations |
| CN108647582A (zh) * | 2018-04-19 | 2018-10-12 | 河南科技学院 | 一种复杂动态环境下目标行为识别与预测方法 |
| CN109633113A (zh) * | 2018-12-05 | 2019-04-16 | 环境保护部华南环境科学研究所 | 基于青鳉鱼逐级行为模型的水质监测预警方法及系统 |
| CN110166741A (zh) * | 2019-04-15 | 2019-08-23 | 深圳壹账通智能科技有限公司 | 基于人工智能的环境监控方法、装置、设备及存储介质 |
Non-Patent Citations (7)
| Title |
|---|
| LI D 等: "Automatic recognition methods of fish feeding behavior in aquaculture: A review", 《AQUACULTURE》, vol. 528, 15 November 2020 (2020-11-15), pages 1 - 11 * |
| LIN C R 等: "Water monitoring system based on recognition of fish behavior", 《ELECTRONICS, COMMUNICATIONS AND NETWORKS V: PROCEEDINGS OF THE 5TH INTERNATIONAL CONFERENCE ON ELECTRONICS, COMMUNICATIONS AND NETWORKS (CECNET 2015)》, 29 June 2016 (2016-06-29), pages 411 - 419 * |
| 关辉 等: "基于机器视觉的鱼群异常行为监测技术研究", 《信息技术与信息化》, no. 05, 28 May 2020 (2020-05-28), pages 97 - 99 * |
| 彭红梅: "基于生物水质监测的鱼体运动状态检测系统研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅰ辑)》, no. 09, 15 September 2017 (2017-09-15), pages 027 - 217 * |
| 李雷华: "基于鱼群运动的异常水质监测", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅰ辑)》, no. 05, 15 May 2018 (2018-05-15), pages 027 - 318 * |
| 毛力 等: "用信息融合技术改进水产养殖水质监控系统", 《水产学杂志》, vol. 28, no. 02, 15 April 2015 (2015-04-15), pages 55 - 58 * |
| 黄毅 等: "斑马鱼群体行为变化用于水质在线预警的研究", 《环境科学学报》, vol. 34, no. 02, 6 February 2014 (2014-02-06), pages 398 - 403 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113112726A (zh) * | 2021-05-11 | 2021-07-13 | 创新奇智(广州)科技有限公司 | 入侵检测方法、装置、设备、系统及可读存储介质 |
| CN116189023A (zh) * | 2023-04-28 | 2023-05-30 | 成都市环境应急指挥保障中心 | 基于无人机实现环境应急监测的方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112507869B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Pantazi et al. | Automated leaf disease detection in different crop species through image features analysis and One Class Classifiers | |
| WO2021000524A1 (zh) | 孔位保护门检测方法、装置、计算机设备和存储介质 | |
| WO2021047232A1 (zh) | 交互行为识别方法、装置、计算机设备和存储介质 | |
| Reddy et al. | Analysis of classification algorithms for plant leaf disease detection | |
| Han et al. | A novel computer vision-based approach to automatic detection and severity assessment of crop diseases | |
| Mittal et al. | Non-destructive image processing based system for assessment of rice quality and defects for classification according to inferred commercial value | |
| Laga et al. | Image-based plant stornata phenotyping | |
| CN112507869B (zh) | 基于机器视觉的水下目标物行为观测和水体环境监测方法 | |
| CN110110618B (zh) | 一种基于pca和全局对比度的sar目标检测方法 | |
| Ates et al. | An image-processing based automated bacteria colony counter | |
| CN106960196B (zh) | 基于模板匹配和svm的工业视频小数字识别方法 | |
| Xia et al. | Posture tracking of multiple individual fish for behavioral monitoring with visual sensors | |
| Rofallski et al. | Measuring artificial reefs using a multi-camera system for unmanned underwater vehicles | |
| Shire et al. | A review paper on: agricultural plant leaf disease detection using image processing | |
| Zeng et al. | Detecting and measuring fine roots in minirhizotron images using matched filtering and local entropy thresholding | |
| CN108985216B (zh) | 一种基于多元logistic回归特征融合的行人头部检测方法 | |
| Horak et al. | Water quality assessment by image processing | |
| Zingman et al. | Detection of texture and isolated features using alternating morphological filters | |
| Prabha et al. | Three dimensional object detection and classification methods: a study | |
| Jafarzadeh et al. | Probability estimation of change maps using spectral similarity | |
| CN110543863B (zh) | 一种基于邻域保边水平集的绿潮遥感自动探测方法及系统 | |
| Padmavathi et al. | A generic Framework for Landmine detection using statistical classifier based on IR images | |
| Kaur et al. | A survey of image processing technique for wheat disease detection | |
| Ekojono et al. | Identification of Freshness of Marine Fish Based on Image of Hue Saturation Value and Morphology | |
| CN111191575A (zh) | 一种基于火苗跳动建模的明火检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |