CN106022459A - 一种基于水下视频的鱼道过鱼量自动计数系统 - Google Patents
一种基于水下视频的鱼道过鱼量自动计数系统 Download PDFInfo
- Publication number
- CN106022459A CN106022459A CN201610347154.7A CN201610347154A CN106022459A CN 106022459 A CN106022459 A CN 106022459A CN 201610347154 A CN201610347154 A CN 201610347154A CN 106022459 A CN106022459 A CN 106022459A
- Authority
- CN
- China
- Prior art keywords
- fish
- counting
- count block
- underwater
- count
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241000251468 Actinopterygii Species 0.000 title claims abstract description 197
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 15
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 25
- 230000033001 locomotion Effects 0.000 claims description 24
- 230000000694 effects Effects 0.000 claims description 13
- 230000002708 enhancing effect Effects 0.000 claims description 13
- 238000005286 illumination Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 12
- 238000005728 strengthening Methods 0.000 claims description 9
- 230000009182 swimming Effects 0.000 claims description 8
- 239000000203 mixture Substances 0.000 claims description 6
- 239000000463 material Substances 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 238000005498 polishing Methods 0.000 claims description 4
- 238000011160 research Methods 0.000 claims description 4
- 230000003068 static effect Effects 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000036541 health Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 5
- 230000000007 visual effect Effects 0.000 abstract description 2
- 230000003449 preventive effect Effects 0.000 abstract 2
- 238000005260 corrosion Methods 0.000 description 7
- 230000007797 corrosion Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 210000000746 body region Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 239000000945 filler Substances 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000008239 natural water Substances 0.000 description 2
- 230000029264 phototaxis Effects 0.000 description 2
- 241000045921 Arcos nudus Species 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 238000010992 reflux Methods 0.000 description 1
- 230000005112 rheotaxis Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/05—Underwater scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06M—COUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
- G06M11/00—Counting of objects distributed at random, e.g. on a surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Farming Of Fish And Shellfish (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于水下视频的鱼道过鱼量自动计数系统，包括水下摄像机和视频处理工作站，水下摄像机与视频处理工作站中的图像采集卡连接。鱼道入口安装有防逃网，水下摄像机安装在鱼道侧壁，并靠近防逃网出口，在拍摄场景上方安装有光源向鱼道内水下打光照明。在视频处理过程中，首先通过软件在视场中设计部分区域视为计数缓冲区以降低计算量，并在计数缓冲区中进一步设置增强计数区。当鱼从一侧逐渐进入有效记数区，系统自动、连续对鱼进行识别、跟踪，当系统跟踪到某条鱼从一侧进入增强计数区并逐渐从另一侧开始游出时，准备计数，后经在连续3帧图像内监测、确认后启动计数，实现了计数时段内鱼道内实际过鱼量的全天候自动计数。
Description
技术领域
本发明涉及水下目标监测与计数领域，具体涉及到一种基于水下视频的鱼道过鱼量自动计数系统。
背景技术
近年来我国兴建了大量各型水电站，这些电站的坝体给鱼类自由迁移造成了困难，尤其是季节性和生理性迁徙带来了问题，威胁到鱼类的生存和繁衍。为解决这一问题，目前新建的大坝上专门设计有供鱼类通过的鱼道，并利用光、声及生化诱鱼技术试图将鱼诱导到鱼道入口，引导并帮助其通过鱼道。但是不同的鱼类通过鱼道的能力不同，不同的鱼道类型也使得鱼的过坝效果不同，因而需要对鱼道内实际过鱼情况进行统计，以便结合实际情况对鱼道结构进行优化设计、为鱼类保护措施的制定等提供依据。但由于过鱼时段、数量等较为随机，不可能通过人工二十四小时对鱼道进行监控，需要开发自动化和智能化的监控、统计方法。研究表明，一般的磁、电和接触类传感器都难以胜任鱼类计数工作，而视觉技术有非接触、可视化、信号易采集传输的优点，可以应用于对鱼道过鱼计数的开发，但依然存在诸多技术难点，主要表现在：(1)自然水环境下能见度低，光的散射、反射较强，使得视频对比度差，给鱼目标识别带来困难；(2)鱼为柔性体，游动过程中姿态多变，同类鱼之间除尺寸外也缺乏明显的可区别特征，给鱼目标锁定、跟踪造成困难；(3)鱼一般有趋光性或趋流性，在视场照明光源及鱼道水流下，鱼易在摄像机视场内悬停、抖鳍(造成体态变化)、翻滚、回游等，这些都给计数造成困难。
已公开的发明专利(“一种基于计算机视觉的活鱼自动计数系统”，201510437308.7)提出了一种可用于鱼苗计数的视频计数方法，但因其实验设施、条件、方法等的限制，无法在自然水环境尤其是真实的大坝鱼道过鱼量计数场合使用，主要因为：(1)硬件方面：鱼道尺寸只有数十厘米，使得检测的鱼必须尺寸足够小，且活动范围小，游态单一，且需要附加滤水箱、吸鱼器、分鱼器等，这些限制条件在真实的大坝鱼道监测环境中是不可能实现的；(2)计数规则与方法：该发明中选取沿顺流方向有下降坡度的实验鱼道，认为检测到某条被跟踪的鱼在当前帧的质心坐标较上一帧下降时，计数器加1，而实际上，鱼在鱼道中游动是极不规则的，常见鱼在一较小区域内沿水深方向上下快速窜游，或者悬在某处摆尾抖动导致质心位置变化(而实际上并无明显移位)，尤其在有光源的情况下鱼群因有趋光性易围绕光源呈“漩涡”状绕游，这些常见的情况都会使得该专利的计数规则失效。此外，该专利采用的“标准背景”，即首先拍摄并提取没有鱼出现的场景作为标准背景模板，此后监测时用当前帧图像与标准背景模板差分来求取前景(鱼)，这在真实大坝鱼道中也是无法使用的，因为大坝鱼道中的水质、流速、自然环境光照等会发生变化，导致能见度不同，即背景会发生变化，采用固定的背景模板并不适用。
发明内容
本发明提出了一种基于水下视频的鱼道过鱼量自动计数系统，结合计数现场实际情况，对计数方法和规则进行了开发，收到了明显的效果。
为实现上述目的，本发明所采用的技术方案为：
一种基于水下视频的鱼道过鱼量自动计数系统，它包括水下摄像机和视频处理工作站，所述水下摄像机与视频处理工作站中的图像采集卡连接，并通过安装在视频处理工作站中的计数软件进行处理、计数；鱼道入口安装有防逃网，所述水下摄像机安装在鱼道侧壁，并靠近防逃网出口，在水下摄像机的拍摄场景上方安装有照明光源向鱼道内水下打光照明。
在所选取水下摄像机拍摄场景范围内一部分区域作为有效计数区，仅当鱼开始游进该区域时启动对该鱼进行监测。
所选取有效计数区内部一部分区域记为增强计数区，未划入部分视为计数缓冲带，所述计数缓冲带前后对称，所述增强计数区大小根据实际水下环境及硬件、照明质量等进行调整。
一种基于水下视频的鱼道过鱼量自动计数系统，它包括以下步骤：
S1：运动鱼或鱼群目标识别与跟踪，包含以下步骤：
S11：抗干扰背景建模：建立有效计数区域的混合高斯背景模型，能够自适应排除有效计数区域内光照变化、水体波动、静态背景、固定位置摆动的杂物(如被鱼道内部件拦截的垃圾等)的干扰；
S12：识别运动目标：将当前帧中有效计数区内图像与所建有效计数区背景模型进行差分，并对差分结果二值化，即可获得当前有效计数区内的运动目标，即为当前有效计数区内检测出的鱼或鱼群；
S13：二值化图像形态学处理：因鱼游动时身体扭曲，其不同身体部位反光程度不同，二值化时可能将同一条鱼分割成多块(即多条鱼)，因而进一步对二值化图像依次进行腐蚀-膨胀-开运算-闭运算，再将小面积干扰虑除，完成当前有效计数区内运动目标识别；
S14：运动目标跟踪与锁定：由于每条鱼在相邻帧图像中的位置不会有大的突变，设前一帧和当前帧图像中有效计数区域内各运动目标的几何中心分别为：其中下标为图像帧序号，上标为运动目标数，以为基准，在中搜索与距离最短的中心点，即则两帧图像中的该两中心点对应的目标即为同一目标，不断重复此过程，即可实现鱼的锁定、跟踪。
S2：自动计数，包含以下步骤：
S21：判别运动方向：当识别到鱼正处于半进入或完全进入某侧计数缓冲带时，锁定运动目标并判断其运动方向，但不计数。方向判断的方法是：计算该鱼在相邻帧中几何中心的变化矢量，矢量方向即为其游动方向。特别地，当鱼前进至身体有部分进入增强计数区后，利用其已进入增强计数区的部分(而不是整体)计算该鱼的几何中心，其目的同样是为降低鱼尾部运动对计算其几何中心带来的误差；
S22：计数。继续跟踪过程中，若某锁定的鱼身有部分穿过了增强计数区，即有部分身体从一侧的计数缓冲带进入到了另一侧的缓冲带，准备计数，继续在后续的3帧内跟踪、锁定该鱼，若此后仍判断该鱼身体位置满足上述条件，则启动计数。计数方向由S21中的方法确定，计数增加或者减少由人为指定，如鱼顺水方向计为减少，迎水方向计为增加，否则反之。
一种基于水下视频的鱼道过鱼量自动计数系统，用于统计大坝过鱼通道内鱼类的流通情况，给后续的生态环境研究提供数据支持。
本发明的优点与有益效果在于：
1、通过在鱼道入口处安装防逃网能够有效的避免鱼进入鱼道后再次回流逃逸，并可达到尽量使鱼游动状态简单化的目的。
2、通过在拍摄场景上方安装照明光源并向鱼道内水下打光照明，能够通过鱼的趋光应激反应，减少进入拍摄区的鱼回游逃逸，同时通过光照保证了拍摄效果，进而提高了准确度。
3、通过选取水下摄像机拍摄场景范围内一部分区域作为有效计数区，仅当鱼开始游进该区域时启动对该鱼进行监测，以减少计算量，提高实时性。
4、选取有效计数区内部一部分区域记为增强计数区，未划入部分视为计数缓冲带，缓冲带前后对称。增强计数区大小可根据实际水下环境及硬件、照明质量等进行调整。设置增强计数区的目的是：鱼在迎水或有汇聚光源时易在水中悬停、扭动、向后漂移、急转、加速逃逸、快速翻滚、急速环游等，鱼的游态及身体形态变化快而复杂，若一旦检测到鱼就立即开始计数，则在鱼高频改变游动轨迹及形态的情况下易得到错误的结果，也易因计数过于灵敏而出现误差，故给出一定的区间(时间)加以强化甄别，以合理减少计数次数，提高计数准确性。
5、通过建立有效计数区域的混合高斯背景模型，可以自适应排除有效计数区域内光照变化、水体波动、静态背景、固定位置摆动的杂物(如水下垃圾)的干扰。
6、通过采用二值化图像形态学处理，是因为鱼游动时身体扭曲，其不同身体部位反光程度不同，二值化时可能将同一条鱼分割成多块(即多条鱼)，因而进一步对二值化图像依次进行腐蚀-膨胀-开运算-闭运算，再将小面积干扰虑除，完成当前有效计数区内运动目标识别。
7、通过腐蚀可以消除图像中小的噪声区域，膨胀可以填补物体中的空洞。通过对图像先进行腐蚀运算然后再膨胀的操作过程称为开运算，它可以消除细小的物体、在纤细点处分离物体、平滑较大物体的边界时不明显的改变其面积。通过对图像先膨胀然后再收缩，称之为闭运算，它具有填充物体内细小的空洞、连接邻近物体、在不明显改变物体面积的情况下平滑其边界的作用。
附图说明
下面结合附图和实施例对本发明作进一步说明。
图1是部分鱼道与水下摄像机安装示意图。
图2是视场、有效计数区、增强计数区设置示意图。
图3是本发明工作流程示意图。
图4是某条鱼刚部分进入一侧计数缓冲带时被监测结果图。
图5是某条鱼继续游动刚部分进入增强计数区时被监测结果图。
图6是某条鱼继续游动刚部分进入另一侧计数缓冲带时被监测结果图。
图7是某条鱼满足计数条件并被自动计数的结果图。
其中，1-鱼道；2-水下摄像机；3-视频处理工作站；4-照明光源；5-防逃网；6-拍摄场景；7-有效计数区；8-计数缓冲带；9-增强计数区。
具体实施方式
下面结合附图对本发明的实施方式做进一步的说明。
实施例1：
如图1所示，它包括水下摄像机2和视频处理工作站3，所述水下摄像机2与视频处理工作站3中的图像采集卡连接，并通过安装在视频处理工作站3中的计数软件进行处理、计数；鱼道1入口安装有防逃网5，所述水下摄像机2安装在鱼道1侧壁，并靠近防逃网5出口，在水下摄像机2的拍摄场景上方安装有照明光源4向鱼道1内水下打光照明。
进一步的，在所选取水下摄像机2的拍摄场景6范围内的一部分区域作为有效计数区7，仅当鱼开始游进该区域时启动对该鱼进行监测。
进一步的，所选取有效计数区7内部一部分区域记为增强计数区9，未划入部分视为计数缓冲带8，所述计数缓冲带8前后对称，所述增强计数区9大小可根据实际水下环境及硬件、照明质量等进行调整。
通过将防逃网5安装在鱼道入口处，当鱼从防逃网5出口进入鱼道1，水下摄像机2在光源4的照明下实时拍摄鱼道1内视频，并把信号传输至视频处理工作站3进行处理。在水下摄像机2的拍摄场景6中(如图2所示)，根据实际场合的具体情况，在处理软件中(或鼠标框选)选定有效计数区7，避免对整个拍摄场景6进行处理，提高实时性，进一步，在开发的软件系统中(或鼠标框选)设置增强计数区9，因增强计数区9的范围小于有效计数区7，则有效计数区7以外的区域为计数缓冲带8。
实施例2：
一种基于水下视频的鱼道过鱼量自动计数系统，它包括以下步骤：
S1：运动鱼或鱼群目标识别与跟踪，包含以下步骤：
S11：抗干扰背景建模：建立有效计数区7的混合高斯背景模型，能够自适应排除有效计数区7内光照变化、水体波动、静态背景、固定位置摆动的杂物(如被鱼道1内部件拦截的垃圾等)的干扰；
S12：识别运动目标：将当前帧中有效计数区7内图像与所建有效计数区背景模型进行差分，并对差分结果二值化，即可获得当前有效计数区7内的运动目标，即为当前有效计数区7内检测出的鱼或鱼群；
S13：二值化图像形态学处理：因鱼游动时身体扭曲，其不同身体部位反光程度不同，二值化时可能将同一条鱼分割成多块(即多条鱼)，因而进一步对二值化图像依次进行腐蚀-膨胀-开运算-闭运算，再将小面积干扰虑除，完成当前有效计数区7内运动目标识别；
S14：运动目标跟踪与锁定：由于每条鱼在相邻帧图像中的位置不会有大的突变，设前一帧和当前帧图像中有效计数区7内各运动目标的几何中心分别为：其中下标为图像帧序号，上标为运动目标数，以为基准，在中搜索与距离最短的中心点，即则两帧图像中的该两中心点对应的目标即为同一目标，不断重复此过程，即可实现鱼的锁定、跟踪。
S2：自动计数，包含以下步骤：
S21：判别运动方向：当识别到鱼正处于半进入或完全进入某侧计数缓冲带8时，锁定运动目标并判断其运动方向，但不计数。方向判断的方法是：计算该鱼在相邻帧中几何中心的变化矢量，矢量方向即为其游动方向。特别地，当鱼前进至身体有部分进入增强计数区9后，利用其已进入增强计数区9的部分(而不是整体)计算该鱼的几何中心，其目的同样是为降低鱼尾部运动对计算其几何中心带来的误差；
S22：计数。继续跟踪过程中，若某锁定的鱼身有部分穿过了增强计数区9，即有部分身体从一侧的计数缓冲带8进入到了另一侧的缓冲带，准备计数，继续在后续的3帧内跟踪、锁定该鱼，若此后仍判断该鱼身体位置满足上述条件，则启动计数。计数方向由S21中的方法确定，计数增加或者减少由人为指定，如鱼顺水方向计为减少，迎水方向计为增加，否则反之。
一种基于水下视频的鱼道过鱼量自动计数系统，用于统计大坝过鱼通道内鱼类的流通情况，给后续的生态环境研究提供数据支持。
进一步的，二值图像基本的形态学运算是腐蚀和膨胀，简单的腐蚀是消除物体的所有边界点的一种过程，其结果是使剩下的物体沿其周边比原物体小一个像素的面积。如果物体是圆的，它的直径在每次腐蚀后将减少两个像素，如果物体在某一点处任意方向上连通的像素小于三个，那么该物体经过一次腐蚀后将在该点处分裂为二个物体。简单的膨胀运算是将与某物体接触的所有背景点合并到该物体中的过程。过程的结果是使物体的面积增大了相应数量的点，如果物体是圆的，它的直径在每次膨胀后将增大两个像素。如果两个物体在某一点的任意方向相隔少于三个像素，它们将在该点连通起来。
进一步的，所述腐蚀可以消除图像中小的噪声区域，膨胀可以填补物体中的空洞。对一个图像先进行腐蚀运算然后再膨胀的操作过程称为开运算，它可以消除细小的物体、在纤细点处分离物体、平滑较大物体的边界时不明显的改变其面积。如果对一个图像先膨胀然后再收缩，我们称之为闭运算，它具有填充物体内细小的空洞、连接邻近物体、在不明显改变物体面积的情况下平滑其边界的作用。通常情况下，当有噪声的图像用阈值二值化后，所得到的边界是很不平滑的，物体区域具有一些错判的孔洞，背景区域散布着一些小的噪声物体，连续的开和闭运算可以显著的改善这种情况，这时候需要在连接几次腐蚀迭代之后，再加上相同次数的膨胀，才可以产生所期望的效果。
实施例3：
下面结合典型鱼道现场实施例对本发明的有效性做进一步说明：
图4-7为以某一条鱼为考察对象(图中方框标记的鱼)，紧密围绕图3所示的流程，反映该鱼从部分进入计数缓冲区开始直至被计数的主要过程及其效果(与该鱼同时出现在有效计数区7中的其他鱼也在被跟踪锁定，但在该考察时段结束时其他鱼还没达到计数要求，这样选取是为了更方便说明问题)。在该四幅图中，两条蓝色(粗线)线所覆盖区域为有效计数区，其内部两条黄色线(细线)覆盖区域为增强计数区，每条黄色线与其相邻的蓝色线间区域为计数缓冲带。每幅图左边部分为瞬时处理的结果，右半部分为相应时刻运动目标(鱼)识别结果。计数规定是：当鱼从防逃网出口进入鱼道后游入有效计数区并满足计数条件，则计数器加1；反之，若从有效计数区另一侧游入该区并满足计数条件，则计数器减1。实时计数结果显示在各图中的“count”文本框中。在本实施例所考察时段的开始时刻实际上已记录了一段时间，计数器记录数据为1。考察开始时刻，该鱼刚有部分身体进入有效计数区(右侧计数缓冲带)即被检测到，但未进行计数，保持跟踪，以免鱼退回增加计数负担；该鱼继续游动至有部分身体进入增强识别区(图5)时，继续跟踪锁定，但不计数，避免鱼可能突然转向、停止等，当一旦检测到该鱼有部分身体进入了另一侧计数缓冲带(图6)，准备计数，但继续观察3帧图像，若在该3帧图像的最后一帧中该鱼依然保持有部分(或全部)身体处于该侧计数缓冲带中，则计数器加1(图7)。
若鱼从有效计数区的另一侧游入，计数方法不变，但结果是计数器减1。计数器所显示的数据是从计数系统启动开始到当前时刻从防逃网进入鱼道的鱼的总数，当计数器统计到一定数值时，可启动其他装置(图中未画出)将鱼驱出鱼道出口，加速过鱼。
同时，在本实施例中，由图4、图5、图6、图7还可以看出，在考察期内另有两条鱼在部分时段也处于有效记数区，同时被本发明跟踪锁定，但另两条鱼仅作快速上下、前后移动后又折返(或折返趋势)，在考察时段内未完全满足计数条件，暂未计入。这也说明了实际系统的复杂性和技术难度。
本发明的有益效果是：可以实现真实的大坝鱼道内过鱼量全天候自动计数，计数准确，可靠性高，可为研究鱼类过坝能力、鱼道优化设计、鱼类保护措施的制定等提供科学的参考依据。
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明做出的任何修改和改变，都落入本发明的保护范围。
Claims (5)
1.一种基于水下视频的鱼道过鱼量自动计数系统，其特征在于：它包括水下摄像机(2)和视频处理工作站(3)，所述水下摄像机(2)与视频处理工作站(3)中的图像采集卡连接，并通过安装在视频处理工作站(3)中的计数软件进行处理、计数；鱼道(1)入口安装有防逃网(5)，所述水下摄像机(2)安装在鱼道(1)侧壁，并靠近防逃网(5)出口，在水下摄像机(2)的拍摄场景上方安装有照明光源(4)向鱼道(1)内水下打光照明。
2.根据权利要求1所述一种基于水下视频的鱼道过鱼量自动计数系统，其特征在于：选取水下摄像机拍摄场景范围内一部分区域作为有效计数区，仅当鱼开始游进该区域时启动对该鱼进行监测。
3.根据权利要求2所述一种基于水下视频的鱼道过鱼量自动计数系统，其特征在于：选取有效计数区内部一部分区域记为增强计数区，未划入部分视为计数缓冲带，所述计数缓冲带前后对称，所述增强计数区大小根据实际水下环境及硬件、照明质量等进行调整。
4.一种基于水下视频的鱼道过鱼量自动计数系统，其特征在于，它包括以下步骤：
S1：运动鱼或鱼群目标识别与跟踪，包含以下步骤：
S11：抗干扰背景建模：建立有效计数区域的混合高斯背景模型，能够自适应排除有效计数区域内光照变化、水体波动、静态背景、固定位置摆动的杂物(如被鱼道内部件拦截的垃圾等)的干扰；
S12：识别运动目标：将当前帧中有效计数区内图像与所建有效计数区背景模型进行差分，并对差分结果二值化，即可获得当前有效计数区内的运动目标，即为当前有效计数区内检测出的鱼或鱼群；
S13：二值化图像形态学处理：因鱼游动时身体扭曲，其不同身体部位反光程度不同，二值化时可能将同一条鱼分割成多块(即多条鱼)，因而进一步对二值化图像依次进行腐蚀-膨胀-开运算-闭运算，再将小面积干扰虑除，完成当前有效计数区内运动目标识别；
S14：运动目标跟踪与锁定：由于每条鱼在相邻帧图像中的位置不会有大的突变，设前一帧和当前帧图像中有效计数区域内各运动目标的几何中心分别为：其中下标为图像帧序号，上标为运动目标数，以为基准，在中搜索与距离最短的中心点，即则两帧图像中的该两中心点对应的目标即为同一目标，不断重复此过程，即可实现鱼的锁定、跟踪。
S2：自动计数，包含以下步骤：
S21：判别运动方向：当识别到鱼正处于半进入或完全进入某侧计数缓冲带时，锁定运动目标并判断其运动方向，但不计数。方向判断的方法是：计算该鱼在相邻帧中几何中心的变化矢量，矢量方向即为其游动方向。特别地，当鱼前进至身体有部分进入增强计数区后，利用其已进入增强计数区的部分(而不是整体)计算该鱼的几何中心，其目的同样是为降低鱼尾部运动对计算其几何中心带来的误差；
S22：计数。继续跟踪过程中，若某锁定的鱼身有部分穿过了增强计数区，即有部分身体从一侧的计数缓冲带进入到了另一侧的缓冲带，准备计数，继续在后续的3帧内跟踪、锁定该鱼，若此后仍判断该鱼身体位置满足上述条件，则启动计数。计数方向由S21中的方法确定，计数增加或者减少由人为指定，如鱼顺水方向计为减少，迎水方向计为增加，否则反之。
5.一种基于水下视频的鱼道过鱼量自动计数系统，用于统计大坝过鱼通道内鱼类的流通情况，给后续的生态环境研究提供数据支持。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610347154.7A CN106022459B (zh) | 2016-05-23 | 2016-05-23 | 一种基于水下视频的鱼道过鱼量自动计数系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610347154.7A CN106022459B (zh) | 2016-05-23 | 2016-05-23 | 一种基于水下视频的鱼道过鱼量自动计数系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106022459A true CN106022459A (zh) | 2016-10-12 |
| CN106022459B CN106022459B (zh) | 2018-11-30 |
Family
ID=57093379
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610347154.7A Active CN106022459B (zh) | 2016-05-23 | 2016-05-23 | 一种基于水下视频的鱼道过鱼量自动计数系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106022459B (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106529434A (zh) * | 2016-10-25 | 2017-03-22 | 浙江工业大学 | 基于视觉注意力模型的鱼群个体目标跟踪方法 |
| CN107509676A (zh) * | 2017-09-26 | 2017-12-26 | 宝鸡文理学院 | 一种目标鱼类通过鱼类通道的通过率检测系统及方法 |
| CN107730495A (zh) * | 2017-10-25 | 2018-02-23 | 重庆祺璨科技有限公司 | 一种基于背景建模的鱼塘缺氧检测方法 |
| CN107749036A (zh) * | 2017-10-25 | 2018-03-02 | 三峡大学 | 一种基于视频信号的放养式养殖场管理系统 |
| CN107909137A (zh) * | 2017-11-27 | 2018-04-13 | 南瑞集团有限公司 | 一种鱼道过鱼计数和识别方法 |
| CN108090554A (zh) * | 2017-12-12 | 2018-05-29 | 广西水利电力职业技术学院 | 一种鱼道过鱼计数系统 |
| CN108121968A (zh) * | 2017-12-20 | 2018-06-05 | 佛山市洛克威特科技有限公司 | 一种鱼群监测方法 |
| CN108566925A (zh) * | 2018-06-22 | 2018-09-25 | 中国水产科学研究院渔业机械仪器研究所 | 渔网泵吸清理分类一体化设备及其工作方法 |
| CN108739591A (zh) * | 2018-04-13 | 2018-11-06 | 中国海洋大学 | 一种基于动态结构光测量的过鱼道过鱼量自动计数系统及计数方法 |
| CN110114782A (zh) * | 2017-12-01 | 2019-08-09 | 日本电气方案创新株式会社 | 鱼摄像装置以及鱼计数装置 |
| CN110771548A (zh) * | 2019-10-31 | 2020-02-11 | 上海埃威航空电子有限公司 | 基于统计的深远海养殖网箱的生物量评估装置与方法 |
| CN112418124A (zh) * | 2020-11-30 | 2021-02-26 | 国电大渡河枕头坝发电有限公司 | 基于视频图像的鱼类智能监测方法 |
| CN112461157A (zh) * | 2020-11-16 | 2021-03-09 | 国电大渡河枕头坝发电有限公司 | 一种过鱼监测系统 |
| CN113435396A (zh) * | 2021-07-13 | 2021-09-24 | 大连海洋大学 | 基于图像自适应抗噪的水下鱼群检测方法 |
| CN114025908A (zh) * | 2019-08-20 | 2022-02-08 | 通快激光与系统工程有限公司 | 用于确定激光加工中的飞溅物特征的方法以及相关联的加工机和计算机程序产品 |
| CN114119662A (zh) * | 2021-11-23 | 2022-03-01 | 广州市斯睿特智能科技有限公司 | 鱼类检测视觉系统中的图像处理方法及其系统 |
| CN115170535A (zh) * | 2022-07-20 | 2022-10-11 | 水电水利规划设计总院有限公司 | 一种基于图像识别的水电工程鱼道过鱼计数方法和系统 |
| US20220354096A1 (en) * | 2019-09-27 | 2022-11-10 | Yanmar Power Technology Co., Ltd. | Fish counting system, fish counting method, and program |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101638889A (zh) * | 2008-12-17 | 2010-02-03 | 中国水产科学研究院黄海水产研究所 | 一种适用于高坝陡坡的阶梯式过鱼设施及控制方法 |
| CN102663923A (zh) * | 2012-04-27 | 2012-09-12 | 三峡大学 | 小体积可组装鱼道教学试验模型 |
| CN102747715A (zh) * | 2012-07-25 | 2012-10-24 | 中国水电顾问集团成都勘测设计研究院 | 鱼道结构及集鱼方法 |
| CN104966122A (zh) * | 2015-07-11 | 2015-10-07 | 浙江大学宁波理工学院 | 一种基于计算机视觉的活鱼自动计数系统 |
-
2016
- 2016-05-23 CN CN201610347154.7A patent/CN106022459B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101638889A (zh) * | 2008-12-17 | 2010-02-03 | 中国水产科学研究院黄海水产研究所 | 一种适用于高坝陡坡的阶梯式过鱼设施及控制方法 |
| CN102663923A (zh) * | 2012-04-27 | 2012-09-12 | 三峡大学 | 小体积可组装鱼道教学试验模型 |
| CN102747715A (zh) * | 2012-07-25 | 2012-10-24 | 中国水电顾问集团成都勘测设计研究院 | 鱼道结构及集鱼方法 |
| CN104966122A (zh) * | 2015-07-11 | 2015-10-07 | 浙江大学宁波理工学院 | 一种基于计算机视觉的活鱼自动计数系统 |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106529434B (zh) * | 2016-10-25 | 2019-04-09 | 浙江工业大学 | 基于视觉注意力模型的鱼群个体目标跟踪方法 |
| CN106529434A (zh) * | 2016-10-25 | 2017-03-22 | 浙江工业大学 | 基于视觉注意力模型的鱼群个体目标跟踪方法 |
| CN107509676A (zh) * | 2017-09-26 | 2017-12-26 | 宝鸡文理学院 | 一种目标鱼类通过鱼类通道的通过率检测系统及方法 |
| CN107730495A (zh) * | 2017-10-25 | 2018-02-23 | 重庆祺璨科技有限公司 | 一种基于背景建模的鱼塘缺氧检测方法 |
| CN107749036A (zh) * | 2017-10-25 | 2018-03-02 | 三峡大学 | 一种基于视频信号的放养式养殖场管理系统 |
| CN107909137A (zh) * | 2017-11-27 | 2018-04-13 | 南瑞集团有限公司 | 一种鱼道过鱼计数和识别方法 |
| CN110114782A (zh) * | 2017-12-01 | 2019-08-09 | 日本电气方案创新株式会社 | 鱼摄像装置以及鱼计数装置 |
| CN108090554A (zh) * | 2017-12-12 | 2018-05-29 | 广西水利电力职业技术学院 | 一种鱼道过鱼计数系统 |
| CN108121968A (zh) * | 2017-12-20 | 2018-06-05 | 佛山市洛克威特科技有限公司 | 一种鱼群监测方法 |
| CN108121968B (zh) * | 2017-12-20 | 2021-11-12 | 江苏沃顿数字技术有限公司 | 一种鱼群监测方法 |
| CN108739591A (zh) * | 2018-04-13 | 2018-11-06 | 中国海洋大学 | 一种基于动态结构光测量的过鱼道过鱼量自动计数系统及计数方法 |
| CN108566925A (zh) * | 2018-06-22 | 2018-09-25 | 中国水产科学研究院渔业机械仪器研究所 | 渔网泵吸清理分类一体化设备及其工作方法 |
| CN114025908A (zh) * | 2019-08-20 | 2022-02-08 | 通快激光与系统工程有限公司 | 用于确定激光加工中的飞溅物特征的方法以及相关联的加工机和计算机程序产品 |
| US20220354096A1 (en) * | 2019-09-27 | 2022-11-10 | Yanmar Power Technology Co., Ltd. | Fish counting system, fish counting method, and program |
| EP4049534A4 (en) * | 2019-09-27 | 2024-01-03 | Yanmar Power Technology Co Ltd | FISH COUNTING SYSTEM, FISH COUNTING METHOD AND PROGRAM |
| CN110771548A (zh) * | 2019-10-31 | 2020-02-11 | 上海埃威航空电子有限公司 | 基于统计的深远海养殖网箱的生物量评估装置与方法 |
| CN112461157A (zh) * | 2020-11-16 | 2021-03-09 | 国电大渡河枕头坝发电有限公司 | 一种过鱼监测系统 |
| CN112418124A (zh) * | 2020-11-30 | 2021-02-26 | 国电大渡河枕头坝发电有限公司 | 基于视频图像的鱼类智能监测方法 |
| CN113435396A (zh) * | 2021-07-13 | 2021-09-24 | 大连海洋大学 | 基于图像自适应抗噪的水下鱼群检测方法 |
| CN114119662A (zh) * | 2021-11-23 | 2022-03-01 | 广州市斯睿特智能科技有限公司 | 鱼类检测视觉系统中的图像处理方法及其系统 |
| CN115170535A (zh) * | 2022-07-20 | 2022-10-11 | 水电水利规划设计总院有限公司 | 一种基于图像识别的水电工程鱼道过鱼计数方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106022459B (zh) | 2018-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106022459A (zh) | 一种基于水下视频的鱼道过鱼量自动计数系统 | |
| CN106096577B (zh) | 一种摄像头分布地图中的目标追踪方法 | |
| US9754160B2 (en) | Method and device for detecting gathering of objects based on stereo vision as well as non-transitory computer-readable medium | |
| CN109522853B (zh) | 面向监控视频的人脸检测与搜索方法 | |
| CN109766796B (zh) | 一种面向密集人群的深度行人检测方法 | |
| CN103810717B (zh) | 一种人体行为检测方法及装置 | |
| CN111753747B (zh) | 基于单目摄像头和三维姿态估计的剧烈运动检测方法 | |
| CN105279769B (zh) | 一种联合多特征的层次粒子滤波跟踪方法 | |
| CN105303191A (zh) | 一种前视监视场景下的行人计数方法和装置 | |
| CN108764085A (zh) | 基于生成对抗网络的人群计数方法 | |
| CN107123131A (zh) | 一种基于深度学习的运动目标检测方法 | |
| CN103164858A (zh) | 基于超像素和图模型的粘连人群分割与跟踪方法 | |
| CN111709285A (zh) | 一种基于无人机的疫情防护监控方法、装置和存储介质 | |
| CN105678803A (zh) | 基于w4算法和帧间差分的视频监控目标检测方法 | |
| CN105404888A (zh) | 结合颜色和深度信息的显著性目标检测方法 | |
| CN103077423A (zh) | 基于视频流的人群数量估计、局部人群聚集状态以及人群跑动状态检测方法 | |
| CN109145696B (zh) | 一种基于深度学习的老人跌倒检测方法及系统 | |
| Singh et al. | A deep learning based technique for anomaly detection in surveillance videos | |
| Khan et al. | Multiple human detection in depth images | |
| CN110991274A (zh) | 一种基于混合高斯模型和神经网络的行人摔倒检测方法 | |
| CN109035305A (zh) | 一种基于rgb-d低视角情况下的室内人体检测与跟踪方法 | |
| Alqaysi et al. | Detection of abnormal behavior in dynamic crowded gatherings | |
| US20240161315A1 (en) | Accurate and robust visual object tracking approach for quadrupedal robots based on siamese network | |
| CN116152928A (zh) | 基于轻量级人体姿态估计模型的防溺水预警方法和系统 | |
| CN106326840A (zh) | 一种基于光流直方图熵的人群异常行为检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210915 Address after: 273300 No.207, East Second floor, Administration Committee of Shandong Pingyi Economic Development Zone, west section of Jinhua Road, Pingyi Economic Development Zone, Linyi City, Shandong Province Patentee after: Pingyi Economic Development Zone Investment Development Co.,Ltd. Address before: Room 35187, building 3, No. 1800, Panyuan Road, Changxing Town, Chongming District, Shanghai 202150 (Shanghai Taihe Economic Development Zone) Patentee before: Shanghai Oubei Industrial Co.,Ltd. Effective date of registration: 20210915 Address after: Room 35187, building 3, No. 1800, Panyuan Road, Changxing Town, Chongming District, Shanghai 202150 (Shanghai Taihe Economic Development Zone) Patentee after: Shanghai Oubei Industrial Co.,Ltd. Address before: 443002 No. 8, University Road, Yichang, Hubei Patentee before: CHINA THREE GORGES University |
|
| TR01 | Transfer of patent right |