CN105225229B - 基于视频信号的鱼类过坝运动轨迹定位装置与方法 - Google Patents
基于视频信号的鱼类过坝运动轨迹定位装置与方法 Download PDFInfo
- Publication number
- CN105225229B CN105225229B CN201510566348.1A CN201510566348A CN105225229B CN 105225229 B CN105225229 B CN 105225229B CN 201510566348 A CN201510566348 A CN 201510566348A CN 105225229 B CN105225229 B CN 105225229B
- Authority
- CN
- China
- Prior art keywords
- mrow
- fish
- coordinate
- point
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 241000251468 Actinopterygii Species 0.000 claims abstract description 100
- 238000012545 processing Methods 0.000 claims abstract description 12
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 11
- 238000005286 illumination Methods 0.000 claims description 9
- 230000009182 swimming Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 230000001788 irregular Effects 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000009434 installation Methods 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001617 migratory effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000002054 transplantation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
基于视频信号的鱼类过坝运动轨迹定位装置与方法，包括视频获取装置、视频处理装置，所述视频获取装置包括桁架、固定安装在桁架相互垂直三个面上的三个水下摄像机：顶面摄像机、右面摄像机、正面摄像机；所述视频处理装置包括计算机、安装在计算机上的图像处理系统，所述水下摄像机与所述计算机通过数据线连接。所述桁架上的任意位置设置了绝对参考坐标系。本发明一种基于视频信号的鱼类过坝运动轨迹定位装置与方法，具有自动化程度高、鲁棒性强的特点，能够实时有效的定位鱼类过坝运动轨迹。
Description
技术领域
本发明涉及一种基于视频信号的鱼类过坝运动轨迹定位装置与方法，具体涉及鱼类过坝运动轨迹监测领域。
背景技术
水利水电工程对河流的阻隔导致河流生态系统受到了严重的影响。其中，对具有洄游习性的鱼类影响最大，由于大坝的阻隔，多种洄游鱼类不能够通过洄游完成繁衍，导致其种类与数量都急剧减少。为降低大坝对这些洄游鱼类种群的干扰，人们往往在大坝上修建鱼道等过鱼设施。而目前在我国修建的过鱼设施大多数不符合鱼类的游动习性，因此其过鱼效果并不尽如人意。为修建符合鱼类游动习性的鱼道设施，改善河流的生态系统环境，就需要研究鱼类的游动行为和轨迹，为鱼道设计提供理论支撑。目前，由于水下能见度低和环境的开放性等原因，一般的传感器难以满足对鱼类游动行为和轨迹的定位要求，因此研究人员主要采用声呐定位技术及水平鱼影探测技术等来对鱼的游动轨迹进行跟踪，但由于水下声噪声复杂，且噪声功率密度较大，鱼游动产生的声呐信号易淹没于环境噪声中，加之声呐信号定位技术本身较为复杂，因而在实际使用中效果并不理想。而机器视觉具有眼见为实、鲁棒性强的特点，通过视频信号定位鱼类的运动轨迹，一方面能够实时的区分待观测鱼类与其他杂物的区别并判断是否需要进行定位；另一方面也能够有效的降低水纹、噪声等因素的影响。因此，开发一种基于视频信号的鱼类过坝运动轨迹定位装置是有必要的。
发明内容
本发明提供一种基于视频信号的鱼类过坝运动轨迹定位装置与方法，具有自动化程度高、鲁棒性强的特点，能够实时有效的定位鱼类过坝运动轨迹。
本发明所采用的技术方案是：
基于视频信号的鱼类过坝运动轨迹定位装置，包括视频获取装置、视频处理装置，所述视频获取装置包括桁架、固定安装在桁架相互垂直三个面上的三个水下摄像机：顶面摄像机、右面摄像机、正面摄像机；所述视频处理装置包括计算机、安装在计算机上的图像处理系统，所述水下摄像机与所述计算机通过数据线连接。
所述桁架为长方体框架或者类长方体框架，其通过螺栓在鱼槽中固定。
所述桁架上的任意位置设置了绝对参考坐标系，三个水下摄像机与绝对参考坐标系的位置、距离关系进行了标定。
基于视频信号的鱼类过坝运动轨迹定位方法，包括以下步骤：
步骤1、背景建模：通过混合高斯算法建立动态的背景模型，首先为消除缓慢光照变化对背景模型的影响，设置t时刻图像中某一点的像素值为滑动平均像素值μt：
其中，α与n为设定阈值，μt-n为第t-n时刻的此点的滑动平均像素值，pt为当前时刻t此点的像素值，当光照发生缓慢变化时，背景点的μt也将发生缓慢变化但变化值不超过设定的阈值，故仍可被认为是背景；其次，由于振荡的水纹会使背景像素值在几个数值间变化，故对每个像素值建立多个滑动平均值模型以消除水纹所造成的影响；并且，当光照发生变化使某一滑动平均值模型被击中次数变少时，移除此模型；反之，若某一像素值被频繁的击中，则对其建立新的滑动平均值模型。
步骤2、前景匹配：确定水下摄像机视野中的背景信息后，图像处理系统即可通过降噪、二值化、帧差、边缘提取等步骤识别出处于不同视角的水下摄像机所拍摄的三幅图像中的前景物体；当三幅图像中都只有一个前景物体时，则认为此时三幅图像中的前景物体互相匹配的，为同一物体在不同摄像机中的投影图；当三幅图像中有多个前景物体时，则提取每幅图像中每个前景物体中心点的坐标，由三部水下摄像机位置的几何关系可知，当处于不同图像中的三个前景物体为同一物体的投影时，其由右面摄像机所拍摄前景物体中心点坐标的纵坐标值yyou应和顶面摄像机所拍摄前景物体中心点坐标的纵坐标值yding相近或相等，且正面摄像机所拍摄前景物体中心点坐标的横坐标值xzheng应和顶面摄像机所拍摄前景物体中心点坐标的横坐标值xding相近或相等，故可由以下公式确定不同图像中的三个前景物体是否相匹配：
||yyou-yding||2<T1,且||xding-xzheng||2<T1 (2)
其中，T1为设定阈值，当||yyou-yding||2及||xding-xzheng||2的值都小于T1时，则认为三幅图像中前景物体相互匹配，可对这些前景物体进行下一步处理。
步骤3、鱼类识别：当确定互为同一物体投影的三个前景物体后，即可通过特征匹配判定这些前景物体是否为鱼类的投影，通过全局特征匹配与局部特征匹配联合的方式对前景物体进行识别，首先考虑到鱼类边缘模板具有形状独特的头部、背鳍、尾鳍特征，其头部、背鳍、尾鳍的上下、或左右边缘的满足一定的线性关系，故可通过计算前景物体相应区域的边缘像素差值是否满足线性关系以判断其是否满足局部特征匹配：
其中，为头部区域图像中的第i列的上下边缘差值，σ为标准差，T1为设定阈值。当的标准差小于阈值时，认为此头部区域的边缘像素差值一定满足线性关系，满足局部匹配要求，其他区域计算方式与头部区域计算方式类似。
步骤4、轨迹定位：若三幅图像中的前景物体都满足步骤3中的阈值要求时，则认为三个前景物体为鱼类的投影，此时可按步骤2分别提取三个前景物体的中心点坐标，再结合绝对参考坐标系与各个摄像机的位置关系，可得正面摄像机所拍摄前景物体的中心点p1的空间坐标为(x1,y1,z1)，右面摄像机所拍摄前景物体的中心点p2的空间坐标为(x2,y2,z2)，顶面摄像机所拍摄前景物体的中心点p3的坐标为(x3,y3,z3)。此时，设正面、右面、顶面摄像机光轴的方向向量分别为则每个中心点沿其所对应的方向向量所指的方向可形成三条空间直线L1，L2，L3。
所述步骤3中，当三个前景物体中任意一个满足局部特征匹配时，则认为此三个前景物体为待识别鱼类的投影，但由于鱼类在水中游动时为不规则体且容易被杂物遮挡，故有可能三个前景物体都不满足局部特征匹配，此时则再根据全局特征匹配判定三个前景物体是否为待识别鱼类的投影，全局特征匹配采用对变形不敏感的改进Hu矩值进行计算，得到三个前景物体的Hu矩值并查看这些Hu矩值是否满足阈值要求：
①：当三个前景物体模型都不满足阈值要求时，则判断所拍摄的物体为非鱼类；
②：当三个前景物体模型的其中一个满足阈值要求时，则判断所拍摄的物体为被遮挡的鱼类，但由于无法通过单一图像获得其三维轨迹，故不对其进行轨迹定位；
③：当三个前景物体模型的匹配阈值的其中两个满足要求时，则判断所拍摄的物体为被遮挡的鱼类，此时可通过满足阈值要求的两幅图像对其进行轨迹定位；
④：当三个前景物体模型的匹配阈值都满足要求时，则判断所拍摄的物体为未被遮挡的鱼类，此时可通过满足阈值要求的三幅图像对其进行轨迹定位。
所述步骤4中，
a：当三条空间直线L1，L2，L3相交于一点Q时，此时鱼的最优轨迹坐标为三者交点Q的坐标；
b：当三条空间直线L1，L2，L3其中两条交于一点Q，第三条与其他两条互为异面直线且与这两条直线组成的平面相交于一点O时，此时鱼类最优轨迹坐标为点Q与点O相连线段的中点P的坐标；
c：当三条空间直线L1，L2，L3其中两条互为异面直线，第三条与其他两条分别相交于点Q与点O时，此时鱼类最优轨迹坐标为点Q与点O相连线段的中点P的坐标；
d：当三条空间直线L1，L2，L3互为异面直线时，过此三条直线以及它们的平行线可构建一空间六面体(如长方体的三条异面棱边)，此时鱼的最优轨迹坐标为空间六面体的体心Q的坐标；
若三幅图像中的前景物体只有两个满足步骤3中的阈值要求时，则认为其中一个视图受到了遮挡、变形等干扰，此时，摒除此干扰图的信息并同上述处理方法可确定两条空间直线L1，L2。当L1，L2相交于一点Q时，鱼类最优轨迹坐标即为点Q的坐标；当L1，L2互为异面直线时，鱼的最优轨迹坐标即为两直线公垂线段的中点P的坐标。
本发明一种基于视频信号的鱼类过坝运动轨迹定位装置与方法，技术效果如下：
1)、本发明将多台摄像机坐标系分别向设定的同一参考固定坐标系进行标定，避免了复杂的多相机联合标定及计算繁冗的三维重构的问题，使得标定、使用更为简便，实时性也更强；
2)、本发明能够实时的区分待观测鱼类与其他杂物，避免了将随流的杂物判断为鱼类，排除了干扰；
3)、本发明受环境影响程度低，能够有效的降低水纹、噪声等因素的影响，具有更好的适用性；
4)、本发明应用成本较低，其便于移植，移植后只要摄像机之间的相互空间位置不变，亦不需要重新标定。
附图说明
图1为本发明装置的结构示意图。
图2为本发明的算法模型图。
图3为本发明的轨迹定位示意图；
其中：图3a为三条空间直线L1，L2，L3相交于一点Q时，鱼类最优轨迹坐标图；
图3b为三条空间直线L1，L2，L3其中两条交于一点Q时，鱼类最优轨迹坐标图；
图3c为三条空间直线L1，L2，L3其中两条互为异面直线时，鱼类最优轨迹坐标图；
图3d为三条空间直线L1，L2，L3互为异面直线时，鱼类最优轨迹坐标图。
上述图中：
1-顶面摄像机，2-右面摄像机，3-正面摄像机，4-桁架，5-绝对参考坐标系，6-计算机，7-鱼类头部区域，8-鱼类背鳍区域，9-鱼类尾鳍区域。
具体实施方式
如图1所示，基于视频信号的鱼类过坝运动轨迹定位装置，包括视频获取装置、视频处理装置，所述视频获取装置包括桁架4、固定安装在桁架4相互垂直三个面上的三个水下摄像机：顶面摄像机1、右面摄像机2、正面摄像机3，均为水下红外摄像机。所述视频处理装置包括计算机6、安装在计算机6上的图像处理系统，所述水下摄像机与所述计算机6通过数据线连接。
所述桁架4为长方体框架或者类长方体框架，其通过螺栓在鱼槽中固定，避免漂浮和晃动。所述桁架4上的任意位置设置了绝对参考坐标系5，三个水下摄像机与绝对参考坐标系5的位置、距离关系进行了标定，并严格测量出三个水下摄像机坐标系各自与绝对参考坐标系5之间的映射关系。
基于视频信号的鱼类过坝运动轨迹定位方法，图像处理系统中包括以下步骤：
步骤1、背景建模：通过混合高斯算法建立动态的背景模型，首先为消除缓慢光照变化对背景模型的影响，设置t时刻图像中某一点的像素值为滑动平均像素值μt：
其中，α与n为设定阈值，μt-n为第t-n时刻的此点的滑动平均像素值，pt为当前时刻t此点的像素值，当光照发生缓慢变化时，背景点的μt也将发生缓慢变化但变化值不超过设定的阈值，故仍可被认为是背景；其次，由于振荡的水纹会使背景像素值在几个数值间变化，故对每个像素值建立多个滑动平均值模型以消除水纹所造成的影响；并且，当光照发生变化使某一滑动平均值模型被击中次数变少时，移除此模型；反之，若某一像素值被频繁的击中，则对其建立新的滑动平均值模型。
步骤2、前景匹配：确定水下摄像机视野中的背景信息后，图像处理系统即可通过降噪、二值化、帧差、边缘提取等步骤识别出处于不同视角的水下摄像机所拍摄的三幅图像中的前景物体；当三幅图像中都只有一个前景物体时，则认为此时三幅图像中的前景物体互相匹配的，为同一物体在不同摄像机中的投影图；当三幅图像中有多个前景物体时，则提取每幅图像中每个前景物体中心点的坐标，由三部水下摄像机位置的几何关系可知，当处于不同图像中的三个前景物体为同一物体的投影时，其由右面摄像机2所拍摄前景物体中心点坐标的纵坐标值yyou应和顶面摄像机1所拍摄前景物体中心点坐标的纵坐标值yding相近或相等，且正面摄像机3所拍摄前景物体中心点坐标的横坐标值xzheng应和顶面摄像机1所拍摄前景物体中心点坐标的横坐标值xding相近或相等，故可由以下公式确定不同图像中的三个前景物体是否相匹配：
||yyou-yding||2<T1,且||xding-xzheng||2<T1 (2)
其中，T1为设定阈值，当||yyou-yding||2及||xding-xzheng||2的值都小于T1时，则认为三幅图像中前景物体相互匹配，可对这些前景物体进行下一步处理。
步骤3、鱼类识别：当确定互为同一物体投影的三个前景物体后，即可通过特征匹配判定这些前景物体是否为鱼类的投影，通过全局特征匹配与局部特征匹配联合的方式对前景物体进行识别，首先考虑到鱼类边缘模板具有形状独特的头部、背鳍、尾鳍特征，其头部、背鳍、尾鳍的上下、或左右边缘的满足一定的线性关系，故可通过计算前景物体相应区域的边缘像素差值是否满足线性关系以判断其是否满足局部特征匹配：
其中，为头部区域图像中的第i列的上下边缘差值，σ为标准差，T1为设定阈值。当的标准差小于阈值时，认为此头部区域的边缘像素差值一定满足线性关系，满足局部匹配要求，其他区域计算方式与头部区域计算方式类似。
当三个前景物体中任意一个满足局部特征匹配时，则认为此三个前景物体为待识别鱼类的投影，但由于鱼类在水中游动时为不规则体且容易被杂物遮挡，故有可能三个前景物体都不满足局部特征匹配，此时则再根据全局特征匹配判定三个前景物体是否为待识别鱼类的投影，全局特征匹配采用对变形不敏感的改进Hu矩值进行计算，得到三个前景物体的Hu矩值并查看这些Hu矩值是否满足阈值要求：
①：当三个前景物体模型都不满足阈值要求时，则判断所拍摄的物体为非鱼类；
②：当三个前景物体模型的其中一个满足阈值要求时，则判断所拍摄的物体为被遮挡的鱼类，但由于无法通过单一图像获得其三维轨迹，故不对其进行轨迹定位；
③：当三个前景物体模型的匹配阈值的其中两个满足要求时，则判断所拍摄的物体为被遮挡的鱼类，此时可通过满足阈值要求的两幅图像对其进行轨迹定位；
④：当三个前景物体模型的匹配阈值都满足要求时，则判断所拍摄的物体为未被遮挡的鱼类，此时可通过满足阈值要求的三幅图像对其进行轨迹定位。
步骤4、轨迹定位：若三幅图像中的前景物体都满足步骤3中的阈值要求时，则认为三个前景物体为鱼类的投影，此时可按步骤2分别提取三个前景物体的中心点坐标，再结合绝对参考坐标系与各个摄像机的位置关系，可得正面摄像机3所拍摄前景物体的中心点p1的空间坐标为(x1,y1,z1)，右面摄像机2所拍摄前景物体的中心点p2的空间坐标为(x2,y2,z2)，顶面摄像机1所拍摄前景物体的中心点p3的坐标为(x3,y3,z3)。此时，设正面、右面、顶面摄像机光轴的方向向量分别为则每个中心点沿其所对应的方向向量所指的方向可形成三条空间直线L1，L2，L3。
如图3a所示：当三条空间直线L1，L2，L3相交于一点Q时，此时鱼的最优轨迹坐标为三者交点Q的坐标。
如图3b所示：当三条空间直线L1，L2，L3其中两条交于一点Q，第三条与其他两条互为异面直线且与这两条直线组成的平面相交于一点O时，此时鱼类最优轨迹坐标为点Q与点O相连线段的中点P的坐标。
如图3c所示：当三条空间直线L1，L2，L3其中两条互为异面直线，第三条与其他两条分别相交于点Q与点O时，此时鱼类最优轨迹坐标为点Q与点O相连线段的中点P的坐标。
如图3d所示：当三条空间直线L1，L2，L3互为异面直线时，过此三条直线以及它们的平行线可构建一空间六面体(如长方体的三条异面棱边)，此时鱼的最优轨迹坐标为空间六面体的体心Q的坐标。
若三幅图像中的前景物体只有两个满足步骤3中的阈值要求时，则认为其中一个视图受到了遮挡、变形等干扰，此时，摒除此干扰图的信息并同上述处理方法可确定两条空间直线L1，L2。当L1，L2相交于一点Q时，鱼类最优轨迹坐标即为点Q的坐标；当L1，L2互为异面直线时，鱼的最优轨迹坐标即为两直线公垂线段的中点P的坐标。
当有运动物体进入顶面摄像机1、右面摄像机2及正面摄像机3的视野中时，三部摄像机将拍摄图像并通过数据线将图像信息送入到计算机6中，计算机6根据图像处理系统对三幅图像进行处理，分割出图像中所有的前景物体并对其进行配对，再判断已成功配对的前景物体对是否为待追踪鱼类的投影图，若是，则图像处理系统将分别提取各前景物体的中心坐标，并结合绝对参考坐标系与摄像机的位置关系得到这些中心坐标的实际三维坐标，最后根据几何分析融合这些坐标信息，得到鱼的最优轨迹坐标。
Claims (3)
1.基于视频信号的鱼类过坝运动轨迹定位方法，其特征在于包括以下步骤：
步骤1、背景建模：通过混合高斯算法建立动态的背景模型，首先为消除缓慢光照变化对背景模型的影响，设置t时刻图像中某一点的像素值为滑动平均像素值μt：
<mrow>
<msub>
<mi>&mu;</mi>
<mi>t</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mi>&alpha;</mi>
<mo>)</mo>
</mrow>
<mi>n</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msub>
<mi>&mu;</mi>
<mrow>
<mi>t</mi>
<mo>-</mo>
<mi>n</mi>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>&alpha;p</mi>
<mi>t</mi>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，α与n为设定阈值，μt-n为第t-n时刻的此点的滑动平均像素值，pt为当前时刻t此点的像素值，当光照发生缓慢变化时，背景点的μt也将发生缓慢变化但变化值不超过设定的阈值，故仍被认为是背景；其次，由于振荡的水纹会使背景像素值在几个数值间变化，故对每个像素值建立多个滑动平均值模型以消除水纹所造成的影响；并且，当光照发生变化使某一滑动平均值模型被击中次数变少时，移除此模型；反之，若某一像素值被频繁的击中，则对其建立新的滑动平均值模型；
步骤2、前景匹配：确定水下摄像机视野中的背景信息后，图像处理系统即可通过降噪、二值化、帧差、边缘提取步骤识别出处于不同视角的水下摄像机所拍摄的三幅图像中的前景物体；当三幅图像中都只有一个前景物体时，则认为此时三幅图像中的前景物体互相匹配的，为同一物体在不同摄像机中的投影图；当三幅图像中有多个前景物体时，则提取每幅图像中每个前景物体中心点的坐标，由三部水下摄像机位置的几何关系可知，当处于不同图像中的三个前景物体为同一物体的投影时，其由右面摄像机(2)所拍摄前景物体中心点坐标的纵坐标值yyou应和顶面摄像机(1)所拍摄前景物体中心点坐标的纵坐标值yding相近或相等，且正面摄像机(3)所拍摄前景物体中心点坐标的横坐标值xzheng应和顶面摄像机(1)所拍摄前景物体中心点坐标的横坐标值xding相近或相等，故可由以下公式确定不同图像中的三个前景物体是否相匹配：
||yyou-yding||2<T1,且||xding-xzheng||2<T1 (2)
其中，T1为设定阈值，当||yyou-yding||2及||xding-xzheng||2的值都小于T1时，则认为三幅图像中前景物体相互匹配，对这些前景物体进行下一步处理；
步骤3、鱼类识别：当确定互为同一物体投影的三个前景物体后，即可通过特征匹配判定这些前景物体是否为鱼类的投影，通过全局特征匹配与局部特征匹配联合的方式对前景物体进行识别，首先考虑到鱼类边缘模板具有形状独特的头部、背鳍、尾鳍特征，其头部、背鳍、尾鳍的上下、或左右边缘的满足线性关系，故通过计算前景物体相应区域的边缘像素差值是否满足线性关系以判断其是否满足局部特征匹配：
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<msubsup>
<mi>h</mi>
<mi>y</mi>
<mi>i</mi>
</msubsup>
<mo>=</mo>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>h</mi>
<mrow>
<mi>y</mi>
<mn>1</mn>
</mrow>
<mi>i</mi>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>h</mi>
<mrow>
<mi>y</mi>
<mn>2</mn>
</mrow>
<mi>i</mi>
</msubsup>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>2</mn>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2...</mn>
<mi>n</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>M</mi>
</munderover>
<mi>&sigma;</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>h</mi>
<mi>y</mi>
<mrow>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>h</mi>
<mi>y</mi>
<mrow>
<mi>i</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>+</mo>
<mn>2</mn>
<msubsup>
<mi>h</mi>
<mi>y</mi>
<mi>i</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo><</mo>
<msub>
<mi>T</mi>
<mn>1</mn>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>q</mi>
<mi>u</mi>
<mi>a</mi>
<mi>l</mi>
<mi>i</mi>
<mi>f</mi>
<mi>i</mi>
<mi>e</mi>
<mi>d</mi>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，为头部区域图像中的第i列的上下边缘差值，σ为标准差，T1为设定阈值；当的标准差小于阈值时，认为此头部区域的边缘像素差值一定满足线性关系，满足局部匹配要求，其他区域计算方式与头部区域计算方式类似；
步骤4、轨迹定位：若三幅图像中的前景物体都满足步骤3中的阈值要求时，则认为三个前景物体为鱼类的投影，此时按步骤2分别提取三个前景物体的中心点坐标，再结合绝对参考坐标系与各个摄像机的位置关系，可得正面摄像机(3)所拍摄前景物体的中心点p1的空间坐标为(x1,y1,z1)，右面摄像机(2)所拍摄前景物体的中心点p2的空间坐标为(x2,y2,z2)，顶面摄像机(1)所拍摄前景物体的中心点p3的坐标为(x3,y3,z3)；此时，设正面、右面、顶面摄像机光轴的方向向量分别为则每个中心点沿其所对应的方向向量所指的方向可形成三条空间直线L1，L2，L3。
2.根据权利要求1所述基于视频信号的鱼类过坝运动轨迹定位方法，其特征在于，
所述步骤3中，当三个前景物体中任意一个满足局部特征匹配时，则认为此三个前景物体为待识别鱼类的投影，但由于鱼类在水中游动时为不规则体且容易被杂物遮挡，故有可能三个前景物体都不满足局部特征匹配，此时则再根据全局特征匹配判定三个前景物体是否为待识别鱼类的投影，全局特征匹配采用对变形不敏感的改进Hu矩值进行计算，得到三个前景物体的Hu矩值并查看这些Hu矩值是否满足阈值要求：
①：当三个前景物体模型都不满足阈值要求时，则判断所拍摄的物体为非鱼类；
②：当三个前景物体模型的其中一个满足阈值要求时，则判断所拍摄的物体为被遮挡的鱼类，但由于无法通过单一图像获得其三维轨迹，故不对其进行轨迹定位；
③：当三个前景物体模型的匹配阈值的其中两个满足要求时，则判断所拍摄的物体为被遮挡的鱼类，此时通过满足阈值要求的两幅图像对其进行轨迹定位；
④：当三个前景物体模型的匹配阈值都满足要求时，则判断所拍摄的物体为未被遮挡的鱼类，此时通过满足阈值要求的三幅图像对其进行轨迹定位。
3.根据权利要求1所述基于视频信号的鱼类过坝运动轨迹定位方法，其特征在于，
所述步骤4中，
a：当三条空间直线L1，L2，L3相交于一点Q时，此时鱼的最优轨迹坐标为三者交点Q的坐标；
b：当三条空间直线L1，L2，L3其中两条交于一点Q，第三条与其他两条互为异面直线且与这两条直线组成的平面相交于一点O时，此时鱼类最优轨迹坐标为点Q与点O相连线段的中点P的坐标；
c：当三条空间直线L1，L2，L3其中两条互为异面直线，第三条与其他两条分别相交于点Q与点O时，此时鱼类最优轨迹坐标为点Q与点O相连线段的中点P的坐标；
d：当三条空间直线L1，L2，L3互为异面直线时，过此三条直线以及它们的平行线构建一空间六面体，此时鱼的最优轨迹坐标为空间六面体的体心Q的坐标；
若三幅图像中的前景物体只有两个满足步骤3中的阈值要求时，则认为其中一个视图受到了遮挡、变形干扰，此时，摒除此干扰图的信息并同上述处理方法确定两条空间直线L1，L2；当L1，L2相交于一点Q时，鱼类最优轨迹坐标即为点Q的坐标；当L1，L2互为异面直线时，鱼的最优轨迹坐标即为两直线公垂线段的中点P的坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510566348.1A CN105225229B (zh) | 2015-09-07 | 2015-09-07 | 基于视频信号的鱼类过坝运动轨迹定位装置与方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510566348.1A CN105225229B (zh) | 2015-09-07 | 2015-09-07 | 基于视频信号的鱼类过坝运动轨迹定位装置与方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105225229A CN105225229A (zh) | 2016-01-06 |
| CN105225229B true CN105225229B (zh) | 2017-09-05 |
Family
ID=54994178
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510566348.1A Active CN105225229B (zh) | 2015-09-07 | 2015-09-07 | 基于视频信号的鱼类过坝运动轨迹定位装置与方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105225229B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106355616A (zh) * | 2016-09-20 | 2017-01-25 | 北京农业信息技术研究中心 | 一种工厂化循环水养殖鱼类空间位置计算系统及方法 |
| CN107818574B (zh) * | 2017-09-21 | 2021-08-27 | 楚雄师范学院 | 基于骨架分析的鱼群三维跟踪方法 |
| CN107730495A (zh) * | 2017-10-25 | 2018-02-23 | 重庆祺璨科技有限公司 | 一种基于背景建模的鱼塘缺氧检测方法 |
| CN109285189B (zh) * | 2018-07-12 | 2021-10-01 | 哈尔滨工程大学 | 一种无需双目同步的直线轨迹快速计算方法 |
| KR102125432B1 (ko) * | 2018-10-29 | 2020-06-23 | 주식회사 크리에이츠 | 피사체의 운동 궤적을 산출하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
| CN110706291A (zh) * | 2019-09-26 | 2020-01-17 | 哈尔滨工程大学 | 一种适用于水池实验中运动物体三维轨迹的视觉测量方法 |
| CN111678441B (zh) * | 2020-07-30 | 2022-03-01 | 厦门理工学院 | 一种基于深度学习的水下鱼类形体测量装置及方法 |
| CN113436178A (zh) * | 2021-07-02 | 2021-09-24 | 鹏城实验室 | 机器人状态检测方法、装置、设备、程序产品及存储介质 |
| CN113989914B (zh) * | 2021-12-24 | 2022-03-15 | 安维尔信息科技(天津)有限公司 | 一种基于人脸识别的安防监控方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102104718A (zh) * | 2010-12-29 | 2011-06-22 | 中国人民解放军海军潜艇学院 | 水下摄像机及水下视频监视设备 |
| CN103856750A (zh) * | 2012-11-30 | 2014-06-11 | 中国科学院沈阳自动化研究所 | 一种适用于海底长期观测的视频采集、存储方法及装置 |
| CN104680556A (zh) * | 2015-02-16 | 2015-06-03 | 燕山大学 | 基于视差的鱼类运动三维轨迹跟踪方法 |
| CN104766346A (zh) * | 2015-04-15 | 2015-07-08 | 楚雄师范学院 | 一种基于视频图像的斑马鱼跟踪方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005202674A (ja) * | 2004-01-15 | 2005-07-28 | Chugoku Electric Power Co Inc:The | 魚道を通る魚の計数方法、魚道を通る魚の数を計数するシステム、情報処理装置、及びプログラム |
-
2015
- 2015-09-07 CN CN201510566348.1A patent/CN105225229B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102104718A (zh) * | 2010-12-29 | 2011-06-22 | 中国人民解放军海军潜艇学院 | 水下摄像机及水下视频监视设备 |
| CN103856750A (zh) * | 2012-11-30 | 2014-06-11 | 中国科学院沈阳自动化研究所 | 一种适用于海底长期观测的视频采集、存储方法及装置 |
| CN104680556A (zh) * | 2015-02-16 | 2015-06-03 | 燕山大学 | 基于视差的鱼类运动三维轨迹跟踪方法 |
| CN104766346A (zh) * | 2015-04-15 | 2015-07-08 | 楚雄师范学院 | 一种基于视频图像的斑马鱼跟踪方法 |
Non-Patent Citations (2)
| Title |
|---|
| 吴冠豪 等.用于自由游动鱼三维测量的视频跟踪方法.《中国科学》.2007,第37卷(第6期),760-766. * |
| 徐盼麟 等.基于单摄像机视频的鱼类三维自动跟踪方法初探.《水产学报》.2012,第36卷(第4期),623-628. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105225229A (zh) | 2016-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105225229B (zh) | 基于视频信号的鱼类过坝运动轨迹定位装置与方法 | |
| Weidner et al. | Underwater cave mapping using stereo vision | |
| CN103971406B (zh) | 基于线结构光的水下目标三维重建方法 | |
| TWI520078B (zh) | Optical flow tracking method and device | |
| Negahdaripour | On 3-D motion estimation from feature tracks in 2-D FS sonar video | |
| Kim et al. | Artificial landmark-based underwater localization for AUVs using weighted template matching | |
| Wang et al. | Acoustic camera-based pose graph slam for dense 3-d mapping in underwater environments | |
| CN103903279B (zh) | 基于仿生双目视觉机载平台的并行跟踪系统与方法 | |
| CN109410248A (zh) | 一种基于r-K算法的浮选泡沫运动特征提取方法 | |
| CN109409286A (zh) | 基于伪样本增强训练的船舶目标检测方法 | |
| CN114170317B (zh) | 泳池防溺水人头位置判断方法、装置及计算机设备 | |
| Li et al. | Vision-based target detection and positioning approach for underwater robots | |
| Almanza-Medina et al. | Deep learning architectures for navigation using forward looking sonar images | |
| CN109767477B (zh) | 一种精确定位系统及方法 | |
| Wang et al. | Real-time obstacle detection for unmanned surface vehicle | |
| Lee | Deep learning of submerged body images from 2D sonar sensor based on convolutional neural network | |
| Li et al. | Spatial-temporal measurement of waves in laboratory based on binocular stereo vision and image processing | |
| CN114565642A (zh) | 基于无人机热红外影像序列的光流流速场测量方法及系统 | |
| CN103744110B (zh) | 超声与单目视觉传感器结合的障碍物识别装置 | |
| CN117218546A (zh) | 一种基于视频流图像处理的河道表面水流速度检测方法 | |
| CN117367404A (zh) | 基于动态场景下slam的视觉定位建图方法及系统 | |
| Liu et al. | A novel visual measurement method for three-dimensional trajectory of underwater moving objects based on deep learning | |
| Lee et al. | Visual odometry for absolute position estimation using template matching on known environment | |
| Spears et al. | Determining underwater vehicle movement from sonar data in relatively featureless seafloor tracking missions | |
| Yamashita et al. | Robust sensing against bubble noises in aquatic environments with a stereo vision system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210914 Address after: Room 35187, building 3, No. 1800, Panyuan Road, Changxing Town, Chongming District, Shanghai 202150 (Shanghai Taihe Economic Development Zone) Patentee after: Shanghai Oubei Industrial Co.,Ltd. Address before: 443002 No. 8, University Road, Yichang, Hubei Patentee before: CHINA THREE GORGES University Effective date of registration: 20210914 Address after: 273300 No.207, East Second floor, Administration Committee of Shandong Pingyi Economic Development Zone, west section of Jinhua Road, Pingyi Economic Development Zone, Linyi City, Shandong Province Patentee after: Pingyi Economic Development Zone Investment Development Co.,Ltd. Address before: Room 35187, building 3, No. 1800, Panyuan Road, Changxing Town, Chongming District, Shanghai 202150 (Shanghai Taihe Economic Development Zone) Patentee before: Shanghai Oubei Industrial Co.,Ltd. |