CN108830169A - 增氧机工作状态的检测方法和系统 - Google Patents

增氧机工作状态的检测方法和系统 Download PDF

Info

Publication number
CN108830169A
CN108830169A CN201810509219.2A CN201810509219A CN108830169A CN 108830169 A CN108830169 A CN 108830169A CN 201810509219 A CN201810509219 A CN 201810509219A CN 108830169 A CN108830169 A CN 108830169A
Authority
CN
China
Prior art keywords
frame
aerator
angle point
displacement
working condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810509219.2A
Other languages
English (en)
Other versions
CN108830169B (zh
Inventor
陈英义
刘烨琦
龚川洋
程倩倩
成艳君
方晓敏
于辉辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN201810509219.2A priority Critical patent/CN108830169B/zh
Publication of CN108830169A publication Critical patent/CN108830169A/zh
Application granted granted Critical
Publication of CN108830169B publication Critical patent/CN108830169B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Abstract

本发明实施例提供增氧机工作状态的检测方法和系统。其中,方法包括:对于待检测的增氧机视频中的每一帧,根据光流法获取该帧中与参照帧中的目标区域中的角点对应的角点;获取该帧中对应的角点的平均位移,并根据平均位移获取指数加权移动平均位移;将该帧中对应的角点的平均位移和指数加权移动平均位移输入预设的支持向量机,获取该帧中增氧机的工作状态。本发明实施例提供的增氧机工作状态的检测方法和系统,将参照帧作为比较对象,通过角点检测和光流法获取匹配的角点,并利用支持向量机根据匹配的角点的平均位移和指数加权平均位移检测增氧机工作状态,能提取到非常明显的分类特征,且不易受干扰,能提高检测增氧机工作状态的准确性。

Description

增氧机工作状态的检测方法和系统
技术领域
本发明实施例涉及计算机技术领域,尤其涉及增氧机工作状态的检测方法和系统。
背景技术
溶解氧是一个重要的水质指标,更是水产养殖的重要理化指标。溶解氧过高或者过低均会对养殖鱼类摄食、生长等造成影响,严重缺氧会造成水产动物大批死亡。水中的溶解氧是鱼类赖以生存的必要条件,鱼类生活在水中,要进行新陈代谢,其前提就是水中溶解氧应充足。溶解氧不仅与鱼类的生存、生长关系密切,溶解氧还可以促进鱼类的食欲,提高饲料的利用率,加快鱼类生长发育。同时养殖水环境的溶解氧过低还会使底质、水质产生有害物质,进而影响养殖鱼类的健康。
增氧机作为一种增氧效果好、适用性强、技术含量低且成本低廉的增氧手段,被广泛运用在实际的水产养殖活动中,对防止水产养殖对象的浮头及大量窒息死亡起着至关重要的作用。但是,由于增氧机的工作条件恶劣,电机容易烧毁,这给水产养殖企业或养殖户带来巨大的损失。而传统的增氧机工作状态检测包括人工监控方式、基于电流或电压检测和基于视频检测。人工监控方式主要依赖人工看守,不但费时费力,且难于及时发现故障。另外一种常用方法是利用电流或电压监测传感器对增氧机的停止状态进行监测,该方法因其硬件系统和安装调试复杂,抗干扰能力差,需要技术性强等缺点,无法得到广泛运用。现有采取视频监控增氧机,检测增氧机工作状态的方法实时性不够强、精度不足、适应力需要提升。
发明内容
针对现有技术存在的增氧机工作状态的检测的精度不足的问题,本发明实施例提供增氧机工作状态的检测方法和系统。
根据本发明的第一方面,本发明实施例提供一种增氧机工作状态的检测方法,包括:
对于待检测的增氧机视频中的每一帧,根据光流法获取该帧中与参照帧中的目标区域中的角点对应的角点;
获取该帧中所述对应的角点的平均位移,并根据平均位移获取指数加权移动平均位移;
将该帧中所述对应的角点的平均位移和指数加权移动平均位移输入预设的支持向量机,获取该帧中增氧机的工作状态;
其中,所述预设的支持向量机是根据样本增氧机视频进行训练后获得的。
根据本发明的第二方面,本发明实施例提供一种增氧机工作状态的检测系统,包括:
角点匹配模块,用于对于待检测的增氧机视频中的每一帧,根据光流法获取该帧中与参照帧中的目标区域中的角点对应的角点;
特征获取模块,用于获取该帧中所述对应的角点的平均位移,并根据平均位移获取指数加权移动平均位移;
状态检测模块,用于将该帧中所述对应的角点的平均位移和指数加权移动平均位移输入预设的支持向量机,获取该帧中增氧机的工作状态;
其中,所述预设的支持向量机是根据样本增氧机视频进行训练后获得的。
根据本发明的第三方面,本发明实施例提供一种增氧机工作状态的检测设备,包括:
至少一个处理器;以及
与所述处理器通信连接的至少一个存储器,其中:
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行本发明实施例增氧机工作状态的检测方法及其所有可选实施例的方法。
根据本发明的第四方面,本发明实施例提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行本发明实施例增氧机工作状态的检测方法及其所有可选实施例的方法。
本发明实施例提供的增氧机工作状态的检测方法和系统,将参照帧作为比较对象,通过角点检测和光流法获取匹配的角点,并利用支持向量机根据匹配的角点的平均位移和指数加权平均位移检测增氧机工作状态,能提取到非常明显的分类特征,且不受光照强度、图像噪声和水面波纹等的影响,能提高检测增氧机工作状态的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例增氧机工作状态的检测方法的流程图;
图2为本发明实施例增氧机工作状态的检测系统的功能框图;
图3为本发明实施例增氧机工作状态的检测设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例增氧机工作状态的检测方法的流程图。如图1所示,一种增氧机工作状态的检测方法包括:步骤S101、对于待检测的增氧机视频中的每一帧,根据光流法获取该帧中与参照帧中的目标区域中的角点对应的角点。
需要说明的是,本发明提供的增氧机工作状态的检测方法,适用于根据增氧机视频中的图像特征对增氧机工作状态进行检测。
增氧机视频,可以通过视频采集装置获取。例如,可以通过视频监控系统中的监控摄像头采集增氧机视频。
需要说明的是,参照帧根据增氧机视频中增氧机的工作状态为停止状态且水面静止时的帧获取。可以从历史增氧机视频或样本增氧机视频中,获取符合上述条件的一帧作为参照帧,或获取符合上述条件的多帧的平均值作为参照帧。
可以理解的是,步骤S101之前还包括:获取参照帧中的目标区域中的角点。
因为在具体的监控环境下一般监控摄像头为黑白摄像头或者自动开启黑白模式以减少光照影响和内存需求,获取符合上述条件的多帧的平均值作为参照帧,能更好地去除增氧机视频中水面波纹、水面异物等,获得增氧机的工作状态为停止状态且水面静止时的图像,使整体的光照变化或者噪声不会影响参照帧中的目标区域中的角点获取。
参照帧中的目标区域,是参照帧中最大水花运动区域,为整个增氧机视频图像中的一个子区域。
参照帧中的目标区域可以通过人机交互方式人为划定,也可以根据合适的算法自动确定。
获得参照帧中的目标区域后,根据角点检测算法,获取参照帧中的目标区域中的角点。
参照帧中的目标区域中的角点为增氧机上的特征点,大部分集中在增氧机上。
对于待检测的增氧机视频中的每一帧,根据光流法,进行角点匹配,检测该帧中与参照帧中的目标区域中的角点对应的角点,即获取参照帧中的目标区域的各角点对应的该帧中的角点,将该帧中与参照帧中的目标区域中的角点对应的角点作为该帧中对应的角点。
光流法指的是一种简单实用的图像运动的表达方式,通常定义为一个图像序列中的图像亮度模式的表观运动,即空间物体表面上的点的运动速度在视觉传感器的成像平面上的表达。
光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”,即研究图像灰度在时间上的变化与景象中物体结构及其运动的关系。
待检测的增氧机视频中检测到的角点为增氧机工作时激起的水花或者水面上水纹的外围区域。
增氧机视频中的任一帧相对于参照帧,角点静止时,角点的最佳匹配,即对应的角点就是其自身;而角点运动时会导致匹配角点,即对应的角点相对于原角点发生变化。这种对应的角点的差异性的稳定因素在于增氧机两种状态的存在具有稳定性,这种稳定性导致对应的角点在变化前后也具有稳定性。因此,可以利用对应的角点的差异性区分增氧机的两种状态。
步骤S102、获取该帧中对应的角点的平均位移,并根据平均位移获取指数加权移动平均位移。
具体地,通过步骤S102获取该帧中与参照帧中的目标区域中的角点对应的角点后,对于该帧中每一对应的角点,获取该角点在该帧中的位置与该角点对应的参照帧中的目标区域中的角点在参照帧中的位置之间的欧氏距离,作为该角点的位移。
获取该帧中每一对应的角点的位移后,计算该帧中各对应的角点的平均位移。
获取该帧中各对应的角点的平均位移后,根据该帧中各对应的角点的平均位移,获取对应的指数加权移动平均位移。
指数加权移动平均(Exponentially Weighted Moving-Average,简称EWMA)算法,是一种加权平均方法。EWMA算法保留了一定的时序特征,并对数据进行平滑处理,使指数加权移动平均位移的变化更加稳定、类间距离更明显,从而使对增氧机工作状态的分类更加准确。
指数加权移动平均位移的计算公式为
其中,yt表示当前帧中对应的角点的平均位移对应的指数加权移动平均位移;Xt表示当前帧中对应的角点的平均位移,即滑动窗口的最后一帧中对应的角点的平均位移;Xt-1表示前一帧中对应的角点的平均位移;……;X0表示滑动窗口的第一帧中对应的角点的平均位移;0<α<1且s≥1,s为增氧机视频的帧率,表示增氧机视频每秒的帧数。
在实际过程中,滑动窗口长度的选取是根据增氧机视频的帧率进行设置,一般为10-20。
因为对于不同的增氧机,监控摄像头不同高度、不同角度导致增氧机目标区域在监控中的位置、所占面积比例等都不相同,需要通过鲁棒性好、实时性强的特征来进行增氧机工作状态的检测。
每帧的平均位移后及其对应的指数加权移动平均位移都不相同,实时性好,可以很好地反映该帧的特征,并具有很好的鲁棒性。
步骤S103、将该帧中对应的角点的平均位移和指数加权移动平均位移输入预设的支持向量机,获取该帧中增氧机的工作状态;其中,预设的支持向量机是根据样本增氧机视频进行训练后获得的。
具体地,将该帧中对应的角点的平均位移和指数加权移动平均位移作为该帧的二维特征输入预设的支持向量机,通过预设的支持向量机对该帧的二维特征进行分类,根据分类的结果确定对应的增氧机的工作状态作为该帧中增氧机的工作状态。
预设的支持向量机,根据样本增氧机视频对支持向量机进行训练,支持向量机对样本增氧机视频进行学习获得。
支持向量机(Support Vector Machine,简称SVM),是一种成功地解决二值分类问题的分类器。
本发明实施例将参照帧作为比较对象,通过角点检测和光流法获取匹配的角点,并利用支持向量机根据匹配的角点的平均位移和指数加权平均位移检测增氧机工作状态,能提取到非常明显的分类特征,且不受光照强度、图像噪声和水面波纹等的影响,能提高检测增氧机工作状态的准确性。进一步地,通过利用现有监控,将本发明嵌入后台操作系统,可以实时、准确、自动的监测增氧机的工作状态,提高水产养殖的智能化水平,防止因为溶解氧异常导致的经济损失。
基于上述各实施例,作为一个可选实施例,获取目标区域的具体步骤包括:对于样本增氧机视频中的每一帧,将该帧与前一帧进行差分,获得该帧中的差分连通域。
需要说明的是,目标区域可以根据样本增氧机视频自动获取。
样本增氧机视频为预先采集的增氧机视频。在样本增氧机视频的采集过程中,将增氧机的工作状态在停止状态和运行状态之间切换1-2次,每次切换时保证水花静止10秒以上。可以在增氧机的工作状态为停止状态时,采集样本增氧机视频的前若干帧,将前若干帧的平均值作为参照帧。优选地,前若干帧为20帧。
对于样本增氧机视频中的每一帧,根据背景减除法,将该帧与前一帧进行差分,获得该帧中的差分连通域。
可以理解的是,对于样本增氧机视频中的第一帧,可以将该帧与参照帧进行差分,获得该帧中的差分连通域;也可以不对该帧进行差分,不获取该帧中的差分连通域,而从第二帧开始,每一帧对于前一帧进行差分,获取差分连通域。
将各帧中的差分连通域按照差分连通域的面积大小排序,获得差分连通域序列。
当样本增氧机视频中的相邻两帧中的增氧机工作状态不同时,上述两帧的差异较大,通过差分获得的差分连通域的面积较大,与参照帧中的目标区域更接近。
具体地,获得样本增氧机视频中每一帧的差分连通域后,将各帧中的差分连通域按照差分连通域的面积从大小排序,获得差分连通域序列。
差分连通域序列可以包括各帧中的差分连通域中的全部,也可以包括各帧中的差分连通域中面积最大的多个差分连通域,如面积最大的5个差分连通域。
差分连通域序列中的差分连通域的顺序,为差分连通域的面积从大到小的顺序。
将差分连通域序列中的当前差分连通域作为参照帧的前景区域,对于样本增氧机视频中的每一帧,根据光流法获取该帧中与前一帧中的角点对应的角点,并获取该帧中与前一帧中对应的角点的位移。
具体地,获得差分连通域序列后,从差分连通域序列中的第一个差分连通域开始,将差分连通域序列中的第一个差分连通域作为当前差分连通域,将差分连通域序列中的当前差分连通域作为参照帧的前景区域。
对于样本增氧机视频中的每一帧,根据光流法,检测该帧中与前一帧中的角点对应的角点,作为该帧中对应的角点。
可以理解的是,将参照帧作为样本增氧机视频中的第一帧的前一帧。此时,参照帧的角点,为参照帧的前景区域中的角点。
获取该帧中每一与前一帧中的角点对应的角点后,获取该角点在该帧中的位置与该角点对应的前一帧中的角点在前一帧中的位置之间的欧氏距离,作为该角点的位移。
获取样本增氧机视频中各相邻两帧中对应的角点的位移的平方和,若判断获知位移的平方和与前景区域的面积之比大于预设的面积比阈值,则将位移大于预设的距离阈值的角点在参照帧中的平均坐标作为目标区域的中心,将位移大于预设的距离阈值的角点的平均位移作为目标区域的边长。
具体地,获取每一帧中每一与前一帧中的角点对应的角点的位移后,计算各帧中各对应的角点的位移的平方和。
每一帧中与前一帧中的角点对应的角点,即相邻两帧中对应的角点。
获得各帧中各对应的角点的位移的平方和后,将位移的平方和与前景区域的面积进行对比。
将位移的平方和与前景区域的面积进行对比的具体步骤为,计算位移的平方和与前景区域的面积的比值。
若位移的平方和与前景区域的面积的比值大于预设的面积比阈值,则根据移动的角点修正前景区域,获得目标区域。
选择合适的面积比阈值,能从可能的目标区域中进行进一步筛选,获得更准确的目标区域。
优选地,预设的面积比阈值为十分之一。
移动的角点,指位移大于预设的距离阈值的角点。预设的距离阈值可以为0,也可以为各帧中各对应的角点的位移的平均值乘以预设的比例。优选地,预设的比例为十分之一。
若位移的平方和与前景区域的面积的比值大于预设的面积比阈值,根据移动的角点的位移,确定一个正方形区域,作为目标区域。
由于各帧中对应的角点都可以对应至参照帧中,将上述各移动的角点对应的在参照帧中的坐标进行平均,获得各移动的角点在参照帧中的平均坐标,将平均坐标作为上述正方形区域的中心;将各帧中上述各移动的角点的位移的进行平均,获得各移动的角点的平均位移,作为上述正方形区域的边长。
根据目标区域的中心和目标区域的边长,确定目标区域。
具体地,确定上述正方形区域的中心和边长后,即确定参照帧中的目标区域。
人为选定目标区域有可能导致特征点跟踪的失败,本发明实施例通过背景减除筛选出可能的目标区域,并通过帧间对应的角点的位移进一步确定目标区域,自动化程度更高,而且可以使目标区域中角点的选择范围更加好,从而提高增氧机工作状态检测的准确性。
基于上述各实施例,获取样本增氧机视频中各相邻两帧中对应的角点的位移的平方和之后还包括:若判断获知位移的平方和与前景区域的面积之比小于预设的面积比阈值,则将差分连通域序列中的下一差分连通域作为参照帧的前景区域。
具体地,计算位移的平方和与前景区域的面积的比值后,若位移的平方和与前景区域的面积之比大于预设的面积比阈值,则将差分连通域序列中的下一差分连通域作为参照帧的前景区域,并重新进行角点的检测和匹配,判断位移的平方和与前景区域的面积之比是否大于预设的面积比阈值。
本发明实施例通过判断位移的平方和与前景区域的面积之比,能获得合适大小的目标区域,从而获得数量合适的角点,兼顾了增氧机工作状态检测的准确性和速度,能提高增氧机工作状态检测的实时性。
基于上述各实施例,根据样本增氧机视频进行训练,获取预设的支持向量机的具体步骤包括:对于样本增氧机视频中的每一帧,根据光流法获取该帧中与参照帧中的目标区域中的角点对应的角点。
具体地,对于样本增氧机视频中的每一帧,根据光流法,检测该帧中与参照帧中的目标区域中的角点对应的角点,即获取参照帧中的目标区域的各角点对应的该帧中的角点,将该帧中与参照帧中的目标区域中的角点对应的角点作为该帧中对应的角点。
获取该帧中对应的角点的平均位移,并根据平均位移获取指数加权移动平均位移。
具体地,获取该帧中与参照帧中的目标区域中的角点对应的角点后,对于该帧中每一对应的角点,获取该角点在该帧中的位置与该角点对应的参照帧中的目标区域中的角点在参照帧中的位置之间的欧氏距离,作为该角点的位移。
获取该帧中每一对应的角点的位移后,计算该帧中各对应的角点的平均位移。
获取该帧中各对应的角点的平均位移后,根据该帧中各对应的角点的平均位移,获取对应的指数加权移动平均位移。
根据各帧中对应的角点的平均位移和指数加权移动平均位移构造二维数据集,并根据聚类算法对二维数据集中的数据进行聚类,获得分别对应增氧机的工作状态为运行状态和停止状态的聚类,并向二维数据集中的每一数据分配该数据对应的聚类的标签。
具体地,获取各帧中各对应的角点的平均位移和指数加权移动平均位移后,将每帧中各对应的角点的平均位移和指数加权移动平均位移作为该帧的二维特征,构造二维数据集。
对根据聚类算法对二维数据集中的数据进行聚类。由于增氧机的工作状态为两种,优选地,根据K=2的K-means聚类算法进行聚类。
对二维数据集中的数据进行聚类后,获得两个聚类,分别对应增氧机的工作状态为运行状态和停止状态。
根据二维数据集中的数据所属的聚类,将该聚类的标签作为该数据的标签,分配给该数据。
例如,将两个聚类中心中数值较大的中心对应的聚类设为1,并分配给属于该聚类的数据;将数值较小的中心对应的聚类设为-1或0,并分配给属于该聚类的数据。
EWMA方法可以保证增氧机停止的位移特征位于二维坐标轴的零点附近,运行时的位移特征远离二维坐标轴的零点,使聚类特性非常明显,也便于后面的分类。
将二维数据集中的数据及每一数据对应的聚类的标签输入支持向量机,确定用于区分对应的聚类的标签不同的数据的超平面,获得预设的支持向量机。
具体地,将二维数据集中的各数据及每一数据对应的聚类的标签输入支持向量机,在特征空间中,支持向量机根据各数据对应的点的位置,确定用于标签不同的数据对应的点的超平面,从而使标签为1的数据对应的点位于超平面的一侧,而标签为0的数据对应的点位于超平面的另一侧。
确定超平面后,支持向量机的学习过程结束,获得预设的支持向量机。
基于上述各实施例,将该帧中对应的角点的平均位移和指数加权移动平均位移输入预设的支持向量机,获取该帧中增氧机的工作状态,具体为:将该帧中对应的角点的平均位移和指数加权移动平均位移输入预设的支持向量机,若判断获知平均位移和指数加权移动平均位移对应的数据位于超平面的第一侧,则该帧中增氧机的工作状态为停止状态;若判断获知平均位移和指数加权移动平均位移对应的数据位于超平面的第二侧,则该帧中增氧机的工作状态为运行状态。
具体地,对于待检测的增氧机视频中的每一帧,获取该帧中对应的角点的平均位移和指数加权移动平均位移后,将该帧中对应的角点的平均位移和指数加权移动平均位移作为该帧的特征数据输入预设的支持向量机;预设的支持向量机根据特征空间中,该帧的特征数据对应的点与上述超平面之间的位置关系,确定该帧中增氧机的工作状态。
若判断获知平均位移和指数加权移动平均位移对应的数据位于超平面的第一侧,即二维数据集中标签为增氧机的工作状态为停止状态对应的标签的数据点所位于的一侧,则该帧中增氧机的工作状态为停止状态。
若判断获知平均位移和指数加权移动平均位移对应的数据位于超平面的第二侧,即二维数据集中标签为增氧机的工作状态为运行状态对应的标签的数据点所位于的一侧,则该帧中增氧机的工作状态为运行状态。
基于上述各实施例,光流法为基于金字塔的卢卡斯-卡纳德光流法。
优选地,光流法为基于金字塔的卢卡斯-卡纳德(Lucas-Kanade)光流法。
因为Lucas-Kanade光流算法的约束条件要求满足匹配帧间速度足够小,亮度不变以及区域运动趋势一致性。定义参照帧的做法不满足这样的条件,于是采取多层金字塔模型,将高分辨率图像的高速度、快变化映射到低分辨率便满足假设条件。首先建立N层图像金字塔,gL为第L层的初始光流预测值,dL为第L层的光流计算结果,其递推过程如下:
gL-1=2(gL+dL)
其中,最顶层的初始光流预测值gN-1=0,uL和vL分别为第L层被检测角点的水平方向和垂直方向的速度大小。由递推公式从金字塔最顶层开始计算,一直计算到最底层的原始图像角点光流值d为:
通过图像金字塔使增氧机视频的相邻帧间和间隔帧间满足Lucas-Kanade光流法的假设条件,从而提高角点匹配的精确度。
Lucas-Kanade光流法的具体过程如下。
假设视频的两帧图像I1和I2,它们在时间上相隔一个小的区间,意味着独立的点没有移动太远。如果I1中的一个像素(x,y)在I2中移动了很小的(u,v),假设像素的亮度没有发生变化,所以有:
I2(x+u,y+v)-I1(x,y)=ΔIi
由于位移很小,即ΔIi=0,所以通过泰勒展开对I2(x+u,y+v)进行线性近似:
由上述分析可以得到:
上式表明了像素(x,y)处时间和空间上的差异,其中
假设以(x,y)为中心领域内的像素点都满足相同的条件,就可以导出更多的公式,从而构造一个以(x,y)为中心的15*15的窗口,假设窗口内所有像素在两帧间都移动到了(u,v),且没有改变亮度。则可以构造如下线性方程组(其中i=15)。
矩阵A的每一行是关于在每一个像素的一个估计值,矩阵b每一个元素是I1和I2在每一个像素处的亮度差:
b=[ΔIi]
则有:
上式的一个基于最小二乘的最优解可以通过如下得到:
这是一个2*2的系统,当ATA可逆时有解,由Shi-Tomasi角点检测算法的M矩阵对角化可知,当其特征值不接近0时,ATA可逆,则其Lucas-Kanade光流为:
又因为所以其中:
本发明实施例通过基于金字塔的光流算法获取匹配角点,使得当前帧与参照帧间的角点位移特征更加明显,能更好地表征当前帧的特征,获得更准确的增氧机工作状态的检测结果。
基于上述各实施例,获取参照帧中的目标区域中的角点的具体步骤包括:对于参照帧中的目标区域,根据强角点检测算法,获取参照帧中的目标区域中的角点。
具体地,参照帧中的目标区域中的角度,根据强角点检测算法获取。
强角点检测算法,能检测出强角点,可以角点的质量提高而数量大幅度减少。结合上述确定目标区域的方法,一般强角点的个数不超过10个,针对实时监控单帧检测时间不超过0.012秒,检测速度快,完全满足实时性的需求。
强角点指不受噪声干扰的点。强角点对一般的噪声不敏感,检出的强角点的鲁棒性比较好。
优选地,强角点检测算法包括Shi-Tomasi角点检测算法。
Shi-Tomasi角点检测算法的过程如下。
将图像窗口平移(u,v)产生灰度变化E(u,v),则其可表示为
其中w(u,v)为高斯窗口,I(x+u,y+v)为像素(x,y)移动(u,v)后的灰度值,I(x,y)为像素(x,y)处的灰度值。又因为I(x+u,y+v)的在(x,y)处的一阶泰勒展开式为:
I(x+u,y+v)=I(x,y)+Ixu+Iyv+O(u2+v2)
其中Ix、Iy分别为图像在x与y方向的曲率,O(u2+v2)为误差项。所以有:
将其表示为矩阵形式有:
于是对于局部微小的移动量(u,v),可以近似得到下面的表达:
其中M是2*2阶矩阵,可有图像的导数求得,如下:
对于矩阵M,将其对角化后,特征值λ1和λ2分别表示x和y方向的灰度变化率。
Shi-Tomasi角点检测算法选取如下评价标准,从中可以得到只有当某一像素点的λ1和λ2都小于最小值时,才被认为是Shi-Tomasi角点。
R=min(λ12)
本发明实施例通过基于参照帧的KLT算法(RF-KLT算法,Reference Frame-Kanade-Lucas-Tomasi Algorithm),获取强角点,能减少角点的数量,检测速度快,能提高增氧机工作状态检测的实时性。进一步地,金字塔结合KLT算法,能更好地表征当前帧的特征,进一步提高增氧机工作状态检测的准确性。
图2为本发明实施例增氧机工作状态的检测系统的功能框图。基于上述实施例,如图2所示,一种增氧机工作状态的检测系统包括:角点匹配模块201,用于对于待检测的增氧机视频中的每一帧,根据光流法获取该帧中与参照帧中的目标区域中的角点对应的角点;特征获取模块202,用于获取该帧中对应的角点的平均位移,并根据平均位移获取指数加权移动平均位移;状态检测模块203,用于将该帧中对应的角点的平均位移和指数加权移动平均位移输入预设的支持向量机,获取该帧中增氧机的工作状态;其中,预设的支持向量机是根据样本增氧机视频进行训练后获得的。
本发明提供的增氧机工作状态的检测系统用于执行本发明提供的增氧机工作状态的检测方法,增氧机工作状态的检测系统包括的各模块实现相应功能的具体方法和流程详见上述增氧机工作状态的检测方法的实施例,此处不再赘述。
本发明实施例将参照帧作为比较对象,通过角点检测和光流法获取匹配的角点,并利用支持向量机根据匹配的角点的平均位移和指数加权平均位移检测增氧机工作状态,能提取到非常明显的分类特征,且不受光照强度、图像噪声和水面波纹等的影响,能提高检测增氧机工作状态的准确性。进一步地,通过利用现有监控,将本发明嵌入后台操作系统,可以实时、准确、自动的监测增氧机的工作状态,提高水产养殖的智能化水平,防止因为溶解氧异常导致的经济损失。
图3为本发明实施例增氧机工作状态的检测设备的结构框图。基于上述实施例,如图3所示,增氧机工作状态的检测设备包括:处理器(processor)301、存储器(memory)302和总线303;其中,处理器301和存储器302通过总线303完成相互间的通信;处理器301用于调用存储器302中的程序指令,以执行上述各方法实施例所提供的方法,例如包括:增氧机工作状态的检测方法;获取参照帧中的目标区域的方法;获取预设的支持向量机的方法;检测参照帧中的目标区域中的角点的方法;获取对应的角点的方法等。
本发明实施例提供的增氧机工作状态的检测设备还可以包括通信接口,通过通信接口接收监控摄像头采集的增氧机视频。通信接口可以是无线通信接口和/或有线通信接口。优选地,通信接口为无线通信接口,使增氧机工作状态的检测设备的安装地点更加灵活,不需要在其与监控摄像头之间布线。
本发明另一实施例公开一种计算机程序产品,计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,计算机程序包括程序指令,当程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的方法,例如包括:增氧机工作状态的检测方法;获取参照帧中的目标区域的方法;获取预设的支持向量机的方法;检测参照帧中的目标区域中的角点的方法;获取对应的角点的方法等。
本发明另一实施例提供一种非暂态计算机可读存储介质,非暂态计算机可读存储介质存储计算机指令,计算机指令使计算机执行上述各方法实施例所提供的方法,例如包括:增氧机工作状态的检测方法;获取参照帧中的目标区域的方法;获取预设的支持向量机的方法;检测参照帧中的目标区域中的角点的方法;获取对应的角点的方法等。
以上所描述的系统实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行上述各个实施例或者实施例的某些部分的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种增氧机工作状态的检测方法,其特征在于,包括:
对于待检测的增氧机视频中的每一帧,根据光流法获取该帧中与参照帧中的目标区域中的角点对应的角点;
获取该帧中对应的角点的平均位移,并根据平均位移获取指数加权移动平均位移;
将该帧中对应的角点的平均位移和指数加权移动平均位移输入预设的支持向量机,获取该帧中增氧机的工作状态;
其中,所述预设的支持向量机是根据样本增氧机视频进行训练后获得的。
2.根据权利要求1所述的增氧机工作状态的检测方法,其特征在于,获取所述目标区域的具体步骤包括:
对于所述样本增氧机视频中的每一帧,将该帧与前一帧进行差分,获得该帧中的差分连通域;
将各帧中的差分连通域按照差分连通域的面积大小排序,获得差分连通域序列;
将差分连通域序列中的当前差分连通域作为参照帧的前景区域,对于所述样本增氧机视频中的每一帧,根据光流法获取该帧中与前一帧中的角点对应的角点,并获取该帧中与前一帧中对应的角点的位移;
获取所述样本增氧机视频中各相邻两帧中对应的角点的位移的平方和,若判断获知所述位移的平方和与所述前景区域的面积之比大于预设的面积比阈值,则将位移大于预设的距离阈值的角点在参照帧中的平均坐标作为所述目标区域的中心,将位移大于预设的距离阈值的角点的平均位移作为所述目标区域的边长;
根据所述目标区域的中心和所述目标区域的边长,确定所述目标区域。
3.根据权利要求2所述的增氧机工作状态的检测方法,其特征在于,所述获取所述样本增氧机视频中各相邻两帧中对应的角点的位移的平方和之后还包括:
若判断获知所述位移的平方和与所述前景区域的面积之比小于预设的面积比阈值,则将所述差分连通域序列中的下一差分连通域作为参照帧的前景区域。
4.根据权利要求1所述的增氧机工作状态的检测方法,其特征在于,根据样本增氧机视频进行训练,获取所述预设的支持向量机的具体步骤包括:
对于样本增氧机视频中的每一帧,根据光流法获取该帧中与参照帧中的目标区域中的角点对应的角点;
获取该帧中对应的角点的平均位移,并根据平均位移获取指数加权移动平均位移;
根据各帧中对应的角点的平均位移和指数加权移动平均位移构造二维数据集,并根据聚类算法对所述二维数据集中的数据进行聚类,获得分别对应增氧机的工作状态为运行状态和停止状态的聚类,并向所述二维数据集中的每一数据分配该数据对应的聚类的标签;
将所述二维数据集中的数据及每一数据对应的聚类的标签输入支持向量机,确定用于区分对应的聚类的标签不同的数据的超平面,获得所述预设的支持向量机。
5.根据权利要求4所述的增氧机工作状态的检测方法,其特征在于,所述将该帧中所述对应的角点的平均位移和指数加权移动平均位移输入预设的支持向量机,获取该帧中增氧机的工作状态,具体为:
将该帧中所述对应的角点的平均位移和指数加权移动平均位移输入预设的支持向量机,若判断获知平均位移和指数加权移动平均位移对应的数据位于所述超平面的第一侧,则该帧中增氧机的工作状态为停止状态;若判断获知平均位移和指数加权移动平均位移对应的数据位于所述超平面的第二侧,则该帧中增氧机的工作状态为运行状态。
6.根据权利要求1所述的增氧机工作状态的检测方法,其特征在于,所述光流法为基于金字塔的卢卡斯-卡纳德光流法。
7.根据权利要求1所述的增氧机工作状态的检测方法,其特征在于,获取参照帧中的目标区域中的角点的具体步骤包括:
对于参照帧中的目标区域,根据强角点检测算法,获取参照帧中的目标区域中的角点。
8.一种增氧机工作状态的检测系统,其特征在于,包括:
角点匹配模块,用于对于待检测的增氧机视频中的每一帧,根据光流法获取该帧中与参照帧中的目标区域中的角点对应的角点;
特征获取模块,用于获取该帧中所述对应的角点的平均位移,并根据平均位移获取指数加权移动平均位移;
状态检测模块,用于将该帧中所述对应的角点的平均位移和指数加权移动平均位移输入预设的支持向量机,获取该帧中增氧机的工作状态;
其中,所述预设的支持向量机是根据样本增氧机视频进行训练后获得的。
9.一种增氧机工作状态的检测设备,其特征在于,包括:
至少一个处理器;以及
与所述处理器通信连接的至少一个存储器,其中:
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1至7任一所述的方法。
10.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如权利要求1至7任一所述的方法。
CN201810509219.2A 2018-05-24 2018-05-24 增氧机工作状态的检测方法和系统 Active CN108830169B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810509219.2A CN108830169B (zh) 2018-05-24 2018-05-24 增氧机工作状态的检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810509219.2A CN108830169B (zh) 2018-05-24 2018-05-24 增氧机工作状态的检测方法和系统

Publications (2)

Publication Number Publication Date
CN108830169A true CN108830169A (zh) 2018-11-16
CN108830169B CN108830169B (zh) 2020-10-09

Family

ID=64145310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810509219.2A Active CN108830169B (zh) 2018-05-24 2018-05-24 增氧机工作状态的检测方法和系统

Country Status (1)

Country Link
CN (1) CN108830169B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298794A (zh) * 2019-05-20 2019-10-01 上海联影智能医疗科技有限公司 医学成像系统、方法、计算机设备及可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103578112A (zh) * 2013-11-14 2014-02-12 华南农业大学 一种基于视频图像特征的增氧机工作状态检测方法
RU141665U1 (ru) * 2013-09-26 2014-06-10 Федеральное бюджетное учреждение "Государственный научно-исследовательский институт промышленной экологии" (ФБУ "ГосНИИЭНП") Устройство биологической очистки сточных вод
CN103903278A (zh) * 2012-12-28 2014-07-02 重庆凯泽科技有限公司 运动目标检测与跟踪系统
CN103927526A (zh) * 2014-04-30 2014-07-16 长安大学 一种基于高斯差分多尺度边缘融合的车辆检测方法
CN104202560A (zh) * 2014-08-14 2014-12-10 胡月明 一种基于图像识别的视频监控系统及方法
CN205068098U (zh) * 2015-11-06 2016-03-02 浙江外国语学院 增氧机工作状态监测装置
CN105469427A (zh) * 2015-11-26 2016-04-06 河海大学 一种用于视频中目标跟踪方法
CN106980042A (zh) * 2017-04-25 2017-07-25 榆林学院 一种对虾养殖场增氧机监控系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103903278A (zh) * 2012-12-28 2014-07-02 重庆凯泽科技有限公司 运动目标检测与跟踪系统
RU141665U1 (ru) * 2013-09-26 2014-06-10 Федеральное бюджетное учреждение "Государственный научно-исследовательский институт промышленной экологии" (ФБУ "ГосНИИЭНП") Устройство биологической очистки сточных вод
CN103578112A (zh) * 2013-11-14 2014-02-12 华南农业大学 一种基于视频图像特征的增氧机工作状态检测方法
CN103927526A (zh) * 2014-04-30 2014-07-16 长安大学 一种基于高斯差分多尺度边缘融合的车辆检测方法
CN104202560A (zh) * 2014-08-14 2014-12-10 胡月明 一种基于图像识别的视频监控系统及方法
CN205068098U (zh) * 2015-11-06 2016-03-02 浙江外国语学院 增氧机工作状态监测装置
CN105469427A (zh) * 2015-11-26 2016-04-06 河海大学 一种用于视频中目标跟踪方法
CN106980042A (zh) * 2017-04-25 2017-07-25 榆林学院 一种对虾养殖场增氧机监控系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
H.Y.KIM等: ""Forecasting the Volatility of Stock Price Index: A Hybrid Model Integrating LSTM with Multiple GARCH-Type Models"", 《EXPERT SYSTEMS WITH APPLICATIONS》 *
何金辉等: ""基于角点光流与SVM的增氧机工作状态检测"", 《计算机工程与科学》 *
杨克伟: ""基于光流法的迭代反投影超分辨率重构算法"", 《图形图像》 *
王红等: ""基于深度信念网络的风机主轴承状态监测方法"", 《中国机械工程》 *
马见雄: ""无线传感器网络中链路质量评估器的设计与实现"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298794A (zh) * 2019-05-20 2019-10-01 上海联影智能医疗科技有限公司 医学成像系统、方法、计算机设备及可读存储介质

Also Published As

Publication number Publication date
CN108830169B (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
Jia et al. Detection and segmentation of overlapped fruits based on optimized mask R-CNN application in apple harvesting robot
CN109460753B (zh) 一种检测水上漂浮物的方法
CN109766830B (zh) 一种基于人工智能图像处理的舰船目标识别系统及方法
US20230289979A1 (en) A method for video moving object detection based on relative statistical characteristics of image pixels
Li et al. Detection of uneaten fish food pellets in underwater images for aquaculture
CN111598928B (zh) 一种基于具有语义评估和区域建议的突变运动目标跟踪方法
EP1520257A2 (en) Background-foreground segmentation based on object classification
CN109670398A (zh) 一种猪只图像的分析方法及设备
CN109544592A (zh) 针对相机移动的运动目标检测算法
Klein et al. Boosting scalable gradient features for adaptive real-time tracking
CN108133491A (zh) 一种实现动态目标跟踪的方法
Zhang et al. A MobileNetV2-SENet-based method for identifying fish school feeding behavior
CN111753693B (zh) 一种静态场景下目标检测方法
CN112883861A (zh) 一种基于鱼群摄食状态细粒度分类的反馈式投饵控制方法
CN112233145A (zh) 一种基于rgb-d时空上下文模型的多目标遮挡跟踪方法
Zhang et al. A novel framework for background subtraction and foreground detection
CN108053418B (zh) 一种动物背景建模方法及装置
CN108830169A (zh) 增氧机工作状态的检测方法和系统
CN112288771B (zh) 群体环境中多猪体运动轨迹提取和行为分析方法
CN111626107B (zh) 一种面向智能家居场景下的人形轮廓分析提取方法
CN111241941A (zh) 一种基于人工智能的公共节水控制方法和系统
Feng et al. Fish abundance estimation from multi-beam sonar by improved MCNN
Jiang et al. Automatic video tracking of Chinese mitten crabs based on the particle filter algorithm using a biologically constrained probe and resampling
CN109389613A (zh) 一种基于计算机视觉的残留鱼饵计数方法
CN109472797A (zh) 基于计算机视觉技术的水产养殖鱼三维坐标获取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant