CN102012419B - 基于视觉感知鱼类行为的生物水质监测系统 - Google Patents

基于视觉感知鱼类行为的生物水质监测系统 Download PDF

Info

Publication number
CN102012419B
CN102012419B CN2010105301492A CN201010530149A CN102012419B CN 102012419 B CN102012419 B CN 102012419B CN 2010105301492 A CN2010105301492 A CN 2010105301492A CN 201010530149 A CN201010530149 A CN 201010530149A CN 102012419 B CN102012419 B CN 102012419B
Authority
CN
China
Prior art keywords
data
fish
video
water quality
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2010105301492A
Other languages
English (en)
Other versions
CN102012419A (zh
Inventor
肖刚
陈久军
高飞
张元鸣
张永良
张文
吴军
张迎霞
金章赞
周鸿斌
应晓芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN2010105301492A priority Critical patent/CN102012419B/zh
Publication of CN102012419A publication Critical patent/CN102012419A/zh
Application granted granted Critical
Publication of CN102012419B publication Critical patent/CN102012419B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A20/00Water conservation; Efficient water supply; Efficient water use
    • Y02A20/20Controlling water pollution; Waste water treatment
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81Aquaculture, e.g. of fish

Abstract

一种基于视觉感知鱼类行为的生物水质监测系统,包括用于盛放鱼类的透明鱼缸、用于监视鱼类行为的摄像机、视频采集卡和水质监测中心,所述鱼缸位于摄像机的视觉范围内,各个摄像机均通过视频采集卡与水质监测中心数据通信连接,水质监测中心包括图像采集模块、图像处理模块、目标跟踪模块和鱼类行为数据分析模块,鱼类行为数据分析模块包括数据建模部分和数据匹配部分,获取待分析水域的图像帧序列的数据,并代入到模型公式(6)、(7)中匹配,若当前计算值与正常行为值之间的差值在预设阈值范围内,表明鱼类行为属于正常的,判定水质状况良好;若差值超出预设阈值范围,则判定水质受到污染。本发明降低成本、适合大规模实施、实时性良好。

Description

基于视觉感知鱼类行为的生物水质监测系统
技术领域
本发明涉及涉及图像处理、模式识别、计算机视觉和计算方法技术领域,尤其是一种生物水质监测系统。
背景技术
随着工、农业生产的发展,越来越多的外源污染物直接排放、转换、迁移进人水环境,使我国水污染加剧,水质显著下降,已经直接影响到生活饮用水和城市集中供水的安全,特别是一些突发性水污染事故的发生,给人民群众的健康和生态安全造成严重威胁。同时,水环境安全问题已经成为我国社会经济可持续发展的重要制约因素之一。
传统的水质监测手段主要依靠常规的化学分析技术,该方法易标准化,能够准确的检测出目标污染物的含量,但该方法的关键缺陷在于耗时长,检测费用高,较难实现在线实时连续监测。此外,由于污染种类繁多,很多化学分析方法必须在已知目标污染物的情况下才能进行测定,因此,对一些突发性污染事故不能及时的作出判断。
利用生物监测技术建立水环境安全监测系统是目前国内外环境科学研究的热点。生物体与环境是相互作用的一个整体,环境中的各种变化都影响了生物体的生理、生化等相应的行为信息变化,这些变化参数就是建立水环境安全监测系统的信息数据基础。目前,以鱼类为监测对象的生物监测系统发展速度比较快,相关方面的研究也比较多。
现有的鱼类行为监测技术,主要利用无线传感技术实现对鱼类的监测跟踪,并进行分析,但存在监测仪器价格昂贵、大规模测量不易实施等缺点,也未考虑采用分布式架构设计。
发明内容
为了克服已有的生物水质监测系统的成本高、不适合大规模实施、实时性差的不足,本发明提供一种降低成本、适合大规模实施、实时性良好的基于视觉感知鱼类行为的生物水质监测系统。
本发明解决其技术问题所采用的技术方案是: 
一种基于视觉感知鱼类行为的生物水质监测系统,包括用于盛放鱼类的透明鱼缸、用于监视鱼类行为的摄像机、视频采集卡和水质监测中心,所述鱼缸位于所述摄像机的视觉范围内,各个摄像机均通过视频采集卡与水质监测中心数据通信连接,所述水质监测中心包括:
图像采集模块,用于采集摄像机拍摄的图像帧序列信息;
图像处理模块,用于对采集到的图像帧进行预处理,并对鱼类进行目标检测;
目标跟踪模块,用于采用CamShift目标跟踪算法实现单目标跟踪,并计算单目标的运动速度和加速度,采用基于多目标交互观测模型的粒子滤波算法进行多目标跟踪;
鱼类行为数据分析模块,用于根据图像帧序列信息进行鱼类行为分析,包括:
数据建模部分,用于依照历史数据,建立鱼类正常行为的PTW模型,设定鱼类的坐标信息(s(t),                                                
Figure 2010105301492100002DEST_PATH_IMAGE001
(t)),其中,s(t)表示从t=0时刻起的轨迹长度,
Figure 379782DEST_PATH_IMAGE001
 (t)则是t=0时刻起的转动角度;
在计算每点坐标时同时选取该点前后两个点的位置,连续的三点为Pi-1,Pi,Pi+1,瞬时速度Vi和角速度Wi通过下面公式计算:
Figure 2010105301492100002DEST_PATH_IMAGE002
在Pi的s(t)和
Figure 771449DEST_PATH_IMAGE001
 (t)是随时间变化计算出来的,其相应的公式为:
Figure 2010105301492100002DEST_PATH_IMAGE003
转角的范围并非[-π,+π];
建立一个动力学模型,其模型公式为:
Figure 2010105301492100002DEST_PATH_IMAGE004
其中,bi是一个均值为0、方差为s的随机高斯变量,α则为单步长角速度之间的关联系数;
公式(6)在统计学中称为一阶自回归过程,它的参数α和s通过下列公式计算的:
Figure 2010105301492100002DEST_PATH_IMAGE005
(7)、(8)计算出α和s后代入公式(6)中,即得出每步长角速度之间的关系;
数据匹配部分,用于获取待分析水域的图像帧序列的数据,并代入到模型公式(5)、(6)中匹配,若当前计算值与正常行为值之间的差值在预设阈值范围内,表明鱼类行为属于正常的,判定水质状况良好;若差值超出预设阈值范围,则判定水质受到污染。
作为优选的一种方案:所述鱼类行为数据分析模块还包括:自适应更新模型部分,用于将数据匹配是属于正常的数据存储到数据库中,待累计时间超过预设时间值则将这些数据并入到历史数据,重新计算速度和角速度,实时更新PTW模型中的参数数据。
进一步,所述水质监测中心还包括:数据管理模块,用于数据进行管理,包括:
数据获取部分,用于将视频采集卡获得的视频数据传给本地服务端主机处理,或者通过网络传输到给远程客户端设备进行处理,或者以视频文件AVI格式的形式进行存储;
数据存储部分,用于将运动目标在图像中的像素坐标位置(x,y)、时间(time)参数存储在数据库中;将速度v、角速度关联系数α和随机高斯变量bi的方差s存储在数据库中,以及监控点单元的信息也存储在数据库中。
再进一步,所述数据管理模块还包括:双队列缓冲池,由数据缓冲块组成,每一个数据缓冲块存储一帧视频数据,所有缓冲块的内存空间在创建缓冲池时预先分配;双队列缓冲池使用两个队列对数据缓冲区进行管理,分别是工作队列和空闲队列;
初始情况下,所有的缓冲块都在空闲队列中,工作队列为空;视频数据获取线程从缓冲池的空闲队列的队首取得一个空闲缓冲块,将从视频源获取的视频帧数据填充进空闲缓冲块,然后将负载数据的缓冲块放回缓冲池,加到工作队列的队尾,如果空闲队列为空,则等待;同时,视频数据的处理线程从缓冲池的工作队列中取得已填充视频帧数据的缓冲块进行处理,处理完后将该数据缓冲块放回缓冲池,加入空闲队列的队尾,如果工作队列为空,则等待。
所述图像处理模块中,包括图像差分、背景更新、差分图像二值化和目标标识;图像差分的求取包括背景差分和帧间差分;使用结合帧间差分的平均背景模型对背景进行简单有效的更新;背景差分图像中包含了运动前景的信息,使用在线自动阈值分割方法对视频序列的背景差分图像进行二值化分割,提取运动目标前景;在通过二值化分割提取出来的运动目标前景中包含了多个运动目标,使用连通域标记方法对每个目标进行标识。
本发明的技术构思为:由安装在鱼缸上方的摄像机通过视频采集卡采集鱼类行为状态的视频数据,可就本地主机对目标进行运动检测、运动目标识别,并对目标进行实时跟踪监测,跟踪时可选择单目标跟踪功能,也可选择多目标跟踪功能,用户面板会实时显示运动目标的运动轨迹、运动速度和运动加速度,同时目标在图像中的位置坐标信息将被存储到数据库中,由数据分析模块对数据进行计算,建立正常的鱼类行为模型,再通过实时数据的匹配来判断水质的安全性,若发生鱼类行为异常情况,系统会有提示信息,并弹出对话框预警;若实时采集的数据在正常的阈值范围内,则数据会被存储起来,存储的数据累计到设定的时间便并入历史数据重新计算,更新建立的模型,达到自适应更新的目标。也可通过网络将监控点的视频数据传输到其他监控点主机设备,进行前述同样操作,在此就不累述。另外,数据分析的数据来源也可以是视频文件数据。
本发明的优点主要表现在:1、经济性好,降低了大型设备的成本;2、能够快速有效地掌握鱼类的正常行为模型;3、功能模块比较完善,各功能模块具有较好的可复用性和耦合性;4、能够实现大规模鱼类行为监测,易于操作应用;5、视频资源存储在各个监控点主机的数据库中,避免了集中存储数据访问量庞大而引起的通讯阻塞或服务器瘫痪,将数据分布式存储在各个客户端,有利于并行处理数据和监测跟踪。
附图说明
图1是基于视觉感知鱼类行为的生物水质监测系统的硬件装置图。
图2是系统功能结构示意图。
图3是系统工作流程图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1~图3,一种基于视觉感知的鱼类行为分析系统,主要由数据采集、目标跟踪、数据分析和数据管理等四大系统功能模块构成。
所述的数据分析功能模块主要在于各个监控点不仅可以运行处理本地视频监控点采集的数据,而且还能通过远程网络,处理远程监控点采集的数据。所述的监控点包括用于盛放鱼类的鱼缸、用于监视鱼类行为的摄像机、视频采集卡、主机和应用程序。
所述的透明鱼缸为普通玻璃鱼缸,规格为80cm×45cm×35cm,当然,也可以采用其他材质的透明鱼缸。
所述的摄像机为海康威视的彩色CCD摄像机。
所述的视频采集卡为海康威视DS4004HC音视频采集卡,4路音视频采集通道,采用H.264压缩标准。
所述的主机为安装有系统应用程序、摄像机和警报器驱动程序的主机,同时也安装有系统的应用程序和SQL Server 2000的数据库管理系统。
所述的应用程序为系统的核心组成部分,主要完成系统功能模块的实现与操作。
各个监测点可以独立地采集、分析监测数据,又可与其他监控点一起协作完成任务,很好地解决了集中式监控系统单独处理监控任务的局限性。
所述的数据采集功能包括:
1)        图像采集模块,用于采集摄像机拍摄的图像帧序列信息。
2)        图像处理模块,用于对采集到的图像帧进行处理,对运动鱼体进行目标检测,主要包括求图像差分、背景更新、差分图像二值化和目标标识。
图像差分的求取包括背景差分和帧间差分;使用结合帧间差分的平均背景模型对背景进行简单有效的更新,而且对环境光照、水面波动等噪声干扰有一定的自适应能力;背景差分图像中包含了运动前景的信息,使用在线自动阈值分割方法对视频序列的背景差分图像进行二值化分割,提取运动目标前景;在通过二值化分割提取出来的运动目标前景中包含了多个运动目标,使用连通域标记方法对每个目标进行标识。
3)        视频录像模块,用于对设定时间范围的鱼类活动状态进行录像,以AVI格式的视频文件存储起来,便于作为历史数据供后续操作和观察之用。
所述的目标跟踪功能分为单目标跟踪和多目标跟踪两部分,用于对运动的目标进行跟踪和显示运动参数。
所述单目标跟踪功能使用CamShift目标跟踪算法,CamShift是一种应用颜色信息的跟踪算法,在跟踪过程中,CamShift利用目标的颜色直方图模型得到每帧图像的颜色投影图,并根据上一帧跟踪的结果自适应调整搜索窗口的位置和大小,从而得到当前图像中目标的尺寸和中心位置。
所述多目标跟踪功能采用基于多目标交互观测模型的粒子滤波算法,该算法可以有效地克服独立粒子滤波器在跟踪多个外观相似、运动无规律的目标时由于目标间的运动交互作用而失败的问题,对多个鱼类运动目标可以进行有效的跟踪。其实现基本步骤为:
假设有M个目标在t-1时刻的目标状态为
Figure 2010105301492100002DEST_PATH_IMAGE006
,…, 
Figure 2010105301492100002DEST_PATH_IMAGE007
,并为每一个目标状态产生一个具有N个状态粒子初始的状态粒子集合,…, 
Figure 2010105301492100002DEST_PATH_IMAGE009
,其中,
Figure 2010105301492100002DEST_PATH_IMAGE010
。对每一个目标状态使用基于多目标交互观测模型的粒子滤波器进行滤波跟踪,得到t时刻的目标状态
Figure DEST_PATH_IMAGE011
,…, 
 =MPF_TRACKER 
Figure 2010105301492100002DEST_PATH_IMAGE014
l      计算目标之间的关系矩阵
l      对每一个目标
Figure 2010105301492100002DEST_PATH_IMAGE016
使用粒子滤波器进行滤波跟踪:
l      FOR  j = 1 : M
n        从参考分布采样
Figure DEST_PATH_IMAGE017
Figure 2010105301492100002DEST_PATH_IMAGE018
n        计算重要性权值:
Figure DEST_PATH_IMAGE019
l      END FOR
l      计算权值的总合:
Figure 2010105301492100002DEST_PATH_IMAGE020
l      FOR  j = 1 : N
n        归一化权值:
Figure DEST_PATH_IMAGE021
l      END FOR
l      估计目标状态:
Figure 2010105301492100002DEST_PATH_IMAGE022
l      重采样:= RESAMPLE 
Figure 2010105301492100002DEST_PATH_IMAGE024
所述的单目标运动参数显示是通过单个目标在图像帧中的游动像素位置来计算该目标的游动速度、加速度,并调用MFC中的坐标图动态实时地显示目标的运动轨迹、速度和加速度变化曲线。
① 目标运动速度
设目标在
Figure DEST_PATH_IMAGE025
Figure 2010105301492100002DEST_PATH_IMAGE026
时刻
Figure DEST_PATH_IMAGE027
所处的位置分别是
Figure 2010105301492100002DEST_PATH_IMAGE028
Figure DEST_PATH_IMAGE029
,则目标在
Figure 525342DEST_PATH_IMAGE026
时刻的运动速度可以通过下式计算得到:
                    
这里的目标运动速度只是一个标量,表示目标运动速度的大小,反映了目标运动的快慢,表征了鱼类游动的激烈程度,是衡量鱼类目标在被监测水体中的活性的一个重要指标。
② 目标运动加速度
设目标在
Figure 820319DEST_PATH_IMAGE025
Figure 876000DEST_PATH_IMAGE026
时刻
Figure 630329DEST_PATH_IMAGE027
的速度分别为
Figure DEST_PATH_IMAGE031
Figure 2010105301492100002DEST_PATH_IMAGE032
,则目标在
Figure DEST_PATH_IMAGE033
时刻的运动加速度可以通过下式计算得到:
Figure 2010105301492100002DEST_PATH_IMAGE034
                        
目标运动加速度可正可负,分别表示目标运动速度的增加和减少。目标的运动加速度表示了目标运动速度的变化,主要反映了目标在运动过程中的突发运动状况,是衡量鱼类目标在被监测水体中的活性变化的重要指标。
所述的数据分析功能的基本步骤分为数据建模、数据匹配和自适应更新模型三步。
1)        数据建模:通过前述图像采集子功能模块将采集到的像素位置数据作为历史数据,运用数学、数据挖掘、统计等方法进行数据分析研究,计算鱼类游动的速度、加速度和角速度等参数,建立起鱼类正常行为的模型。该系统采用S.Motsch等人基于鱼类行为提出的PTW(Persistent Turning Walker)模型,PTW模型通过一致的游动速度和角速度的自相关性来描述,其基本思路如下:
① 数据采集:对于单条鱼的跟踪,每点的位置坐标采用的并不是笛卡尔二维坐标,而是使用其固有的坐标信息(S(t),ψ(t))来表示,其中,S(t)表示从t=0时刻起的轨迹长度,ψ(t)则是t=0时刻起的转动角度。
为了最小化由于时间离散化引起的误差,在计算每点坐标时同时选取该点前后两个点的位置,连续的三点为Pi-1,Pi,Pi+1,瞬时速度Vi和角速度Wi可通过下面公式计算:
Figure 180390DEST_PATH_IMAGE002
在Pi的s(t)和
Figure 703775DEST_PATH_IMAGE001
 (t)是随时间变化计算出来的,其相应的公式为:
需要注意的是此处的转角的范围并非[-π,+π],这样定义的好处在于处理转动扩散时它是最重要的因素,因为它与游动的持续演化是一致的。
② 动力学模型
由上述计算可获得鱼在游动时的速度和转动角速度,为了能表征角速度之间的自相关性,采用这样一个动力学模型,其模型公式为:
Figure 13063DEST_PATH_IMAGE004
其中,bi是一个均值为0、方差为s的随机高斯变量,α则为单步长角速度之间的关联系数。
公式(6)在统计学中称为一阶自回归过程,它的参数α和s通过下列公式计算的:
Figure DEST_PATH_IMAGE035
     (7)、(8)计算出α和s后代入公式(6)中,即可得出每步长角速度之间的关系,实验中为简便起见,将各个时间点所计算出的速度V在2分钟内求平均值作为游动速度;角速度之间的相关系数和随机高斯变量亦是通过相邻角速度相关系数求平均值作为模型公式中的α和bi。至此PTW模型初步建成。
2)        数据匹配:PTW模型建立好,可通过录像的视频文件数据或实时采集到的参数数据代入到模型公式(17)、(18)中匹配,若它们的差值在设定的阈值范围内,表明鱼类行为属于正常的,水质状况良好,并将该数据存储到数据库中;若差值超出给定的阈值范围则产生预警措施,该系统目前采用在用户界面弹出对话框显示和驱动警报装置两种方式提示工作人员鱼类行为发生异常,即水质发生异常状态。实验中,速度差的阈值采用经验值Tv=0.005;角速度的差值阈值为Tw=0.01。
3)        自适应更新模型:在上述数据匹配的过程中属于正常的数据,存储到数据库中,待累计时间超过预定的值则将这些数据并入到历史数据,重新计算速度和角速度,实时更新PTW模型中的参数数据,达到自适应更新模型的目的。为防止水质缓慢变坏的趋势而系统没有发生预警行为,所以模型在更新的过程中PTW模型中的参数变化的差值须在设定的阈值范围内,这样能充分体现科学性和合理性。实验中累计时间设定为2分钟,PTW模型参数变化阈值设置为经验值,Tcv=0.006,Tcw=0.015。
所述的数据管理功能主要包括数据获取、数据存储和双队列缓冲池技术等子模块功能。
1)        数据获取:鱼类运动视频数据主要使用视频采集卡通过彩色CCD摄像机获得,采集卡获得的视频数据可以直接被本地服务端主机处理,也可以通过网络传输到给远程客户端设备进行处理,或者以视频文件AVI格式的形式进行存储,已备后续的查看分析和处理。因此,对于数据分析功能模块来说,分析的视频数据来源主要有三种,分别是:本地采集卡视频数据、远程实时视频数据和视频文件数据。
2)        数据存储:前述的图像处理子功能模块获得的运动目标在图像中的像素坐标位置(x,y)、时间(time)等参数均存储在数据库中。数据分析模块计算出的参数数据,如速度(v)、角速度关联系数(α)和随机高斯变量bi的方差(s)也须存储在数据库中,还有监控点单元的信息也存储在数据库中。数据库采用SQL Server 2000数据库管理系统,其适用于中小型规模的数据存储,比较符合本系统的实际数据需求,避免了人工操作的繁琐和错误。
3)        双队列缓冲池:在以数据驱动的多线程程序设计实现中,由于各个线程处理数据的速度各不相同,线程间的数据共享同步和缓冲成了一个重要的问题。本系统视频处理时包含视频数据的获取和处理两个不同的线程,其中,视频数据获取线程通过视频采集卡获取视频数据,以供数据处理线程进行处理。一般情况下,数据处理的速度要比获取的速度慢,这导致了部分的视频图像帧由于来不及处理而丢失。这个问题的解决方法是使用一个共享的数据缓冲池,对视频数据获取线程获取的数据进行缓冲。
数据缓冲池由一系列的数据缓冲块组成,每一个数据缓冲块存储一帧视频数据,所有缓冲块的内存空间在创建缓冲池时预先分配,这样可以避免在处理过程中为数据缓冲区分配内存和释放内存的操作,提高了数据处理的效率。
双队列缓冲池使用两个队列对数据缓冲区进行管理,它们分别是工作队列和空闲队列。初始情况下,所有的缓冲块都在空闲队列中,工作队列为空。视频数据获取线程从缓冲池的空闲队列的队首取得一个空闲缓冲块,将从视频源获取的视频帧数据填充进空闲缓冲块,然后将负载数据的缓冲块放回缓冲池,加到工作队列的队尾,如果空闲队列为空,则等待。同时,视频数据的处理线程从缓冲池的工作队列中取得已填充视频帧数据的缓冲块进行处理,处理完后将该数据缓冲块放回缓冲池,加入空闲队列的队尾,实现了缓冲块的回收,以备数据获取线程的再次取用,如果工作队列为空,则等待。
使用双队列分别对数据缓冲池的数据缓冲区单元进行管理可以提高两个线程对共享数据的使用效率。
参照图1,一种基于视觉感知的鱼类行为分析系统的硬件装置,图中①表示被监测的河道水域;②表示装有海康威视的彩色CCD摄像机的监测鱼缸,内有被监测的鱼类,各个监测点均有此装置;③表示每个监测点中安装有应用程序、摄像机和警报器的驱动程序、海康威视视屏采集卡及SQL Server 2000数据库管理系统的主机设备,可在本地进行实时监控、目标跟踪、数据分析和数据管理操作。
参照图2,为系统各功能模块的结构图,主要包含实时监控、目标跟踪、数据分析和数据管理等功能模块,四个主功能模块之间相互协调完成整个系统的运作,其关系密不可分,缺一不可。各主模块下设子功能模块,形成层次分明的功能体系框架。
数据采集功能包含图像采集和图像处理子功能,图像采集负责采集视频数据,图像处理负责从采集到的图像帧数据中,对运动鱼体进行目标检测,主要包括求图像差分、背景更新、差分图像二值化和目标标识。
目标跟踪功能分为单目标跟踪和多目标跟踪,单目标跟踪采用CamShift目标跟踪算法,是以颜色直方图为目标模式的目标跟踪算法,可以有效的解决目标变形和遮挡的问题,且运算效率较高。其算法流程为:首先选择初始搜索窗口,使窗口恰好包含整个跟踪目标,然后对窗口中每个像素的H通道上的值采样,从而得到目标的色调(Hue)直方图,将该直方图保存下来作为目标的颜色直方图模型。在跟踪过程中,对视频图像处理区域中的每一个像素,通过查询目标的颜色直方图模型,可以得到该像素为目标像素的概率,图像处理区域之外的其他区域作为概率为0的区域。
设(x,y)为搜索窗口中的像素位置,I(x,y)是投影图中(x,y)处的像素值。定义搜索窗口的零阶矩M00和一阶矩M01、M10分别如下:
Figure 2010105301492100002DEST_PATH_IMAGE036
可以求得搜索窗口内的质心位置为:
Figure DEST_PATH_IMAGE037
然后根据M00调整搜索窗口的大小,并将搜索窗口的中心移动到质心,如果移动距离大于预设的固定阀值,则重新计算调整后的窗口质心,进行新一轮的窗口位置和尺寸调整。直到窗口中心与质心间的移动距离小于预设的固定阀值,或者循环运算的次数达到某一最大值,认为收敛条件满足,进入下一帧图像进行新的目标搜索。在新的图像中,利用上一帧图像中最终得到的窗口质心位置和零阶矩M00来设置新的搜索窗口的位置和尺寸。CamShift跟踪算法在图像帧内与帧间都根据上一步得到的M00自适应的调整搜索窗口的大小,因而可以适应跟踪目标动态变形的情形。
多目标跟踪采用基于多目标交互观测模型的粒子滤波算法,该算法可以有效地克服独立粒子滤波器在跟踪多个外观相似、运动无规律的目标时由于目标间的运动交互作用而失败的问题,对多个鱼类运动目标可以进行有效的跟踪。实现步骤见前述内容。
数据管理功能包括数据获取、数据存储和双队列缓冲池三个子功能。
数据获取的来源主要分为本地采集卡数据、远程网络实时数据和视频文件数据。
数据存储主要将目标运动参数、监控点信息和数据模型参数等数据存储在数据库中,便于后续处理的研究分析。
双队列缓冲池使用两个队列对数据缓冲区进行管理,分别是工作队列和空闲队列。视频数据获取线程从缓冲池的空闲队列的队首取得一个空闲缓冲块,将从视频源获取的视频帧数据填充进空闲缓冲块,然后将负载数据的缓冲块放回缓冲池,加到工作队列的队尾,如果空闲队列为空,则等待。同时,视频数据的处理线程从缓冲池的工作队列中取得已填充视频帧数据的缓冲块进行处理,处理完后将该数据缓冲块放回缓冲池,加入空闲队列的队尾,实现了缓冲块的回收,以备数据获取线程的再次取用,如果工作队列为空,则等待。这样管理可以提高两个线程对共享数据的使用效率。
数据分析功能分为数据建模、数据匹配和自适应模型更新。数据建模主要完成鱼类正常游动行为的数据模型的建立,采用了S.Motsch等人基于鱼类行为提出的PTW(Persistent Turning Walker)模型,详细步骤见前述内容。数据匹配负责将实时数据与建立的模型参数进行比对,若发现异常,则产生预警措施;若在设定的阈值范围内,则数据存储起来。自适应更新主要是完成数据模型参数的实时更新,在数据匹配过程中属于正常的数据在累积到一定时间就并入到历史数据重新计算模型参数,保持模型参数的自适应性。
参照图3,本发明的工作流程大致经历图像采集、目标检测、轮廓提取、目标识别、目标跟踪、运动参数的获取、数据模型建立、数据匹配和自适应更新模型等过程,其中在数据匹配时发生鱼类行为异常时,则会产生预警措施,本发明中采用在用户界面弹出对话框提示报警信息。详细内容可见前述工作原理部分。

Claims (1)

1.一种基于视觉感知鱼类行为的生物水质监测系统,其特征在于:包括用于盛放鱼类的透明鱼缸、用于监视鱼类行为的摄像机、视频采集卡和水质监测中心,所述鱼缸位于所述摄像机的视觉范围内,各个摄像机均通过视频采集卡与水质监测中心数据通信连接,所述水质监测中心包括:
图像采集模块,用于采集摄像机拍摄的图像帧序列信息;
图像处理模块,用于对采集到的图像帧进行预处理,并对鱼类进行目标检测;
目标跟踪模块,用于采用CamShift目标跟踪算法实现单目标跟踪,并计算单目标的运动速度和加速度,采用基于多目标交互观测模型的粒子滤波算法进行多目标跟踪;
鱼类行为数据分析模块,用于根据图像帧序列信息进行鱼类行为分析,包括:
数据建模部分,用于依照历史数据,建立鱼类正常行为的PTW模型,设定鱼类的坐标信息
Figure FDA00003018678100011
其中,s(t)表示从t=0时刻起的轨迹长度,
Figure FDA00003018678100012
则是t=0时刻起的转动角度;
在计算每点坐标时同时选取该点前后两个点的位置,连续的三点为Pi-1,Pi,Pi+1,瞬时速度Vi和角速度Wi通过下面公式计算:
V ^ i = Δs 2 Δt . . . ( 1 )
Figure FDA00003018678100014
在Pi的s(t)和
Figure FDA00003018678100015
是随时间变化计算出来的,其相应的公式为:
S ^ i = &Integral; &Delta;t < t < i&Delta;t dS ( t ) &cong; &Sigma; j = 1 i - 1 V ^ j &Delta;t . . . ( 3 )
Figure FDA00003018678100017
转角的范围并非[-π,+π];
建立一个动力学模型,其模型公式为:
Vi=V......................................(5)
Wi=αWi-1+bi........................(6)
其中,bi是一个均值为0、方差为s的随机高斯变量,α则为单步长角速度之间的关联系数;
公式(6)在统计学中称为一阶自回归过程,它的参数α和s通过下列公式计算的:
&alpha; ^ = &Sigma; i N - 1 W i W i + 1 &Sigma; i N - 1 W i . . . ( 7 )
s ^ 2 = 1 N &Sigma; i N - 1 ( W i + 1 - &alpha; ^ W i ) 2 . . . ( 8 )
(7)、(8)计算出α和s后代入公式(6)中,即得出每步长角速度之间的关系;
数据匹配部分,用于获取待分析水域的图像帧序列的数据,并代入到模型公式(5)、(6)中匹配,若当前计算值与正常行为值之间的差值在预设阈值范围内,表明鱼类行为属于正常的,判定水质状况良好;若差值超出预设阈值范围,则判定水质受到污染;所述鱼类行为数据分析模块还包括:
自适应更新模型部分,用于将数据匹配是属于正常的数据存储到数据库中,待累计时间超过预设时间值则将这些数据并入到历史数据,重新计算速度和角速度,实时更新PTW模型中的参数数据;所述水质监测中心还包括:数据管理模块,用于数据进行管理,包括:
数据获取部分,用于将视频采集卡获得的视频数据传给本地服务端主机处理,或者通过网络传输到给远程客户端设备进行处理,或者以视频文件AVI格式的形式进行存储;
数据存储部分,用于将运动目标在图像中的像素坐标位置(x,y)、时间(time)参数存储在数据库中;将速度v、角速度关联系数α和随机高斯变量bi的方差s存储在数据库中,以及监控点单元的信息也存储在数据库中;所述数据管理模块还包括:
双队列缓冲池,由数据缓冲块组成,每一个数据缓冲块存储一帧视频数据,所有缓冲块的内存空间在创建缓冲池时预先分配;双队列缓冲池使用两个队列对数据缓冲区进行管理,分别是工作队列和空闲队列;
初始情况下,所有的缓冲块都在空闲队列中,工作队列为空;视频数据获取线程从缓冲池的空闲队列的队首取得一个空闲缓冲块,将从视频源获取的视频帧数据填充进空闲缓冲块,然后将负载数据的缓冲块放回缓冲池,加到工作队列的队尾,如果空闲队列为空,则等待;同时,视频数据的处理线程从缓冲池的工作队列中取得已填充视频帧数据的缓冲块进行处理,处理完后将该数据缓冲块放回缓冲池,加入空闲队列的队尾,如果工作队列为空,则等待;所述图像处理模块中,包括图像差分、背景更新、差分图像二值化和目标标识;图像差分的求取包括背景差分和帧间差分;使用结合帧间差分的平均背景模型对背景进行简单有效的更新;背景差分图像中包含了运动前景的信息,使用在线自动阈值分割方法对视频序列的背景差分图像进行二值化分割,提取运动目标前景;在通过二值化分割提取出来的运动目标前景中包含了多个运动目标,使用连通域标记方法对每个目标进行标识。
CN2010105301492A 2010-11-03 2010-11-03 基于视觉感知鱼类行为的生物水质监测系统 Active CN102012419B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010105301492A CN102012419B (zh) 2010-11-03 2010-11-03 基于视觉感知鱼类行为的生物水质监测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010105301492A CN102012419B (zh) 2010-11-03 2010-11-03 基于视觉感知鱼类行为的生物水质监测系统

Publications (2)

Publication Number Publication Date
CN102012419A CN102012419A (zh) 2011-04-13
CN102012419B true CN102012419B (zh) 2013-07-24

Family

ID=43842658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010105301492A Active CN102012419B (zh) 2010-11-03 2010-11-03 基于视觉感知鱼类行为的生物水质监测系统

Country Status (1)

Country Link
CN (1) CN102012419B (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102297865B (zh) * 2011-05-27 2013-02-20 宁波大学 一种鱼类行为的生物水质监测系统及其监测方法
CN102866237A (zh) * 2012-09-06 2013-01-09 华南理工大学 一种基于视频识别的水质安全在线生物预警监测系统
CN102841187B (zh) * 2012-09-11 2014-10-29 深圳市开天源自动化工程有限公司 基于鱼类多样本统计的水质污染预警系统及预警方法
CN103499676B (zh) * 2013-10-11 2015-09-23 中国水产科学研究院黄海水产研究所 海洋贝类养殖氮、磷及有机碳排泄量的估算方法
RU2570375C2 (ru) * 2014-01-10 2015-12-10 ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ УЧРЕЖДЕНИЕ НАУКИ ИНСТИТУТ ПРОБЛЕМ ЭКОЛОГИИ И ЭВОЛЮЦИИ им. А.Н. СЕВЕРЦОВА РОССИЙСКОЙ АКАДЕМИИ НАУК (ИПЭЭ РАН) Способ мониторинга качества воды и устройство для его осуществления
CN103955688B (zh) * 2014-05-20 2017-03-01 楚雄师范学院 一种基于计算机视觉的斑马鱼群检测与跟踪方法
JP6624629B2 (ja) * 2014-10-10 2019-12-25 Necソリューションイノベータ株式会社 魚計数装置、魚計数方法、魚数の予測装置、魚数の予測方法、魚計数システムおよび魚数予測システム
CN104482860B (zh) * 2014-12-05 2017-10-31 浙江大学宁波理工学院 鱼类形态参数自动测量装置和方法
CN104749334A (zh) * 2015-02-16 2015-07-01 燕山大学 基于模式识别的生物式异常水质评价系统设计方法
CN104872025B (zh) * 2015-06-08 2017-04-12 广东省农业科学院畜牧研究所 一种鱼缸鱼类活动轨迹记录方法
CN104969885B (zh) * 2015-06-23 2017-11-17 李海波 一种海水网箱养鱼系统及方法
CN106228569A (zh) * 2016-07-06 2016-12-14 西安邮电大学 一种适用于水质监测的鱼体运动速度检测方法
CN106417104A (zh) * 2016-08-31 2017-02-22 北京农业信息技术研究中心 养殖鱼类游动方向测定系统和方法
CN106526112B (zh) * 2016-10-25 2018-11-13 浙江工业大学 一种基于鱼类活性分析的水质毒性检测方法
CN106561532B (zh) * 2016-11-08 2019-07-26 深圳技师学院 一种监测鱼活动的方法和装置
CN107087562A (zh) * 2017-06-14 2017-08-25 上海海洋大学 鱼类单体行为序列谱的构建方法
CN107831485A (zh) * 2017-10-19 2018-03-23 中国科学院海洋研究所 船载多视场激光雷达探测多个水体光学特征参数的方法
CN108053422A (zh) * 2017-11-07 2018-05-18 镇江市高等专科学校 移动目标监测方法
CN108008104A (zh) * 2017-12-04 2018-05-08 湖南理工学院 一种水质监测装置及方法
CN108199795B (zh) * 2017-12-29 2019-05-10 北京百分点信息科技有限公司 一种设备状态的监测方法和装置
CN109118540B (zh) * 2018-07-20 2021-05-04 宁波智哲信息科技有限公司 基于脊线提取的鲟鱼快速统计方法
CN110702869A (zh) * 2019-11-01 2020-01-17 无锡中科水质环境技术有限公司 基于视频图像解析的鱼类应激回避行为水质监测方法
CN110866943B (zh) * 2019-11-21 2022-06-14 无锡中科水质环境技术有限公司 用于水质监测的鱼类位置跟踪方法
CN111062172B (zh) * 2019-12-18 2022-12-16 哈尔滨工程大学 一种基于fluent动网格技术黄貂鱼模型的自主游动模拟方法
CN111414822A (zh) * 2020-03-12 2020-07-14 燕山大学 一种外加磁场激励下鱼体行为响应观测系统及方法
CN111522860B (zh) * 2020-04-08 2023-03-24 蚌埠学院 一种基于生物行为的水质预警分析方法及其系统
CN111737649A (zh) * 2020-05-29 2020-10-02 海南大学 一种鱼类间空间竞争行为关系的判断方法
CN112415182B (zh) * 2020-11-13 2022-08-26 内蒙古大学 一种基于斑马鱼行为的化学品毒性检测方法
CN112528823B (zh) * 2020-12-04 2022-08-19 燕山大学 一种基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法及系统
CN112507869B (zh) * 2020-12-07 2024-04-09 广州博进信息技术有限公司 基于机器视觉的水下目标物行为观测和水体环境监测方法
RU2755407C1 (ru) * 2020-12-15 2021-09-15 Федеральное государственное бюджетное научное учреждение "Институт природно-технических систем" (ИПТС) Способ контроля качества воды и двухканальная биосенсорная установка для его осуществления
CN112471030B (zh) * 2020-12-23 2023-02-24 烟台中集来福士海洋工程有限公司 养殖网箱及其登乘梯
CN112858278B (zh) * 2021-02-03 2021-11-05 杭州环析检测科技有限公司 一种全自动水质POPs检测装置
CN113516635B (zh) * 2021-06-15 2024-02-27 中国农业大学 鱼菜共生系统及基于鱼类行为的蔬菜氮元素需求估算方法
CN113516563A (zh) * 2021-07-21 2021-10-19 中国农业大学 基于传感数据的鱼类养殖环境调节方法、系统及存储介质
CN117218161B (zh) * 2023-11-09 2024-01-16 聊城市敏锐信息科技有限公司 一种鱼缸内鱼类轨迹跟踪方法及系统
CN117581815A (zh) * 2023-12-28 2024-02-23 佛山市南海区杰大饲料有限公司 一种工厂化养殖鱼类生长状况判断方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5903305A (en) * 1996-02-20 1999-05-11 Anima Electronics Co., Ltd. Apparatus for monitoring water quality using aquatic living thing
CN1793913A (zh) * 2005-12-28 2006-06-28 浙江工业大学 基于机器视觉的生物式水质监测装置
CN201421452Y (zh) * 2009-03-31 2010-03-10 深圳市开天源自动化工程有限公司 水质污染预警装置
CN101871928A (zh) * 2010-06-17 2010-10-27 浙江工业大学 一种基于免疫否定选择的水质异常检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5903305A (en) * 1996-02-20 1999-05-11 Anima Electronics Co., Ltd. Apparatus for monitoring water quality using aquatic living thing
CN1793913A (zh) * 2005-12-28 2006-06-28 浙江工业大学 基于机器视觉的生物式水质监测装置
CN201421452Y (zh) * 2009-03-31 2010-03-10 深圳市开天源自动化工程有限公司 水质污染预警装置
CN101871928A (zh) * 2010-06-17 2010-10-27 浙江工业大学 一种基于免疫否定选择的水质异常检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于机器视觉的鱼体运动模型研究;应晓芳;《中国优秀硕士学位论文全文数据库-信息科技辑》;20100215(第2期);16-61 *
应晓芳.基于机器视觉的鱼体运动模型研究.《中国优秀硕士学位论文全文数据库-信息科技辑》.2010,(第2期),

Also Published As

Publication number Publication date
CN102012419A (zh) 2011-04-13

Similar Documents

Publication Publication Date Title
CN102012419B (zh) 基于视觉感知鱼类行为的生物水质监测系统
CN107808139B (zh) 一种基于深度学习的实时监控威胁分析方法及系统
Shi et al. Internet of things application to monitoring plant disease and insect pests
CN107818571A (zh) 基于深度学习网络和均值漂移的船只自动跟踪方法及系统
CN111696348B (zh) 一种多功能的智能信号控制系统和方法
CN108037770A (zh) 基于人工智能的无人机输电线路巡检系统和方法
CN103136393B (zh) 一种基于网格划分的区域覆盖率计算方法
CN107818326A (zh) 一种基于场景多维特征的船只检测方法及系统
CN102148921B (zh) 基于动态群组划分的多目标跟踪方法
CN101576952B (zh) 一种检测静止目标的方法和装置
CN103854292A (zh) 一种人数及人群运动方向的计算方法及装置
CN103942557B (zh) 一种煤矿井下图像预处理方法
CN104850836A (zh) 基于深度卷积神经网络的害虫图像自动识别方法
CN101127887A (zh) 智能视觉监控方法和装置
CN106251695A (zh) 基于车位状态监控的目的地停车位智能推荐系统及方法
CN107392941A (zh) 一种飞机起降跟踪系统与方法
CN104159088A (zh) 一种远程智能车辆监控系统及方法
CN102663775A (zh) 面向低帧率视频的目标跟踪方法
CN114519451B (zh) 智能化孤岛型园区车辆碳排量预测方法和系统
CN110335294A (zh) 基于帧差法与3d卷积神经网络的矿井水泵房漏水检测方法
CN115049662B (zh) 基于图像处理的喷雾机流量控制方法
CN107703847B (zh) 一种集控器选址方法及传感器监控系统
CN114418179A (zh) 一种施工扬尘监测与预测方法、装置及系统
CN102116876B (zh) 基于轨迹编目模型的空间点目标天基探测方法
CN115496640A (zh) 一种火电厂智慧安全系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant