CN104680556A - 基于视差的鱼类运动三维轨迹跟踪方法 - Google Patents

Abstract

本发明公开了一种基于视差的鱼类运动三维轨迹跟踪方法，其内容是首先对输入的两摄像头采集图像进行直方图均衡化和差分运算，得到图像中的鱼体运动区域，依据运动区域的灰度信息，快速有效地从原图像中提取出鱼体的轮廓；其次，利用质心跟踪算法从轮廓图像中自动抽取其形心；再把两个质心利用视差法进行三维重建；最后，把所有的三维点组合起来，从而得到立体视觉下鱼的三维运动轨迹。本发明方法能够在生物式水质监测过程中，适用于复杂环境，跟踪目标精准、能在三维空间观察鱼类运动轨迹，及时反映水质变化对鱼类运动的反应结果。

Description

基于视差的鱼类运动三维轨迹跟踪方法

技术领域

本发明属于计算机视觉技术领域，尤其是一种通过双目摄像头采集鱼类行为，对鱼体目标进行三维轨迹精确跟踪的方法。

技术背景

高速的经济发展，给环境带来了不可避免的灾害，水体环境更是深受影响，成为污染的最终收纳者。因此，如何建立一个有效的水体环境质量监测系统，防治水体污染已经成为国内外所密切关注的问题。积极投入对水体质量关注和水体安全进行可靠监测和及时预警，使水体质量的管理工作和水体污染防治方法的研究也越来越凸显其重要性。水体环境监测普遍应用的是生物式方法，即把生物体监测技术与环境科学相结合。目前中外环境科学研究领域普遍关注于利用生物式监测技术建立水体环境安全预警系统。生物监测技术及水体环境预警的理论把利用行为反应进行迅速直观的监测变为可能，从而反映水体环境变化对水生生物生存状态的影响。利用某些鱼类对水体化学成分的变化应激反应灵敏的特点，应用于水体中污染成分的研究，不仅可以得出水体中单种污染物的作用效应，也可以反映出多种成分的混合污染，可以作为评价水体污染的综合指标，因此，环境改变导致鱼类行为的变化可以作为我们监测水体污染的科学依据和良好的实验材料。尤其是随着计算机视觉技术的发展，采用基于视频监测技术对水生生物进行运动目标跟踪，以确定生物的行为变化。这种方法的优点是操作过程简单快捷，能实时地对水体环境质量进行监测。鱼类是生物监测在水体环境污染研究中应用最广泛的水生生物之一。龚瑞忠在TL86型鱼类回避槽中研究了鲫鱼对4种农药不同浓度时的回避反应；程炜轩,梁旭方等研究了斑马鱼和鲢鱼对微囊藻毒素与孔雀石绿的行为反应，他们发现斑马鱼和鲢鱼的摆尾频率和游泳速度等行为指标在两种物质较高浓度浸泡下均有显著性的下降；Craig W.Steele以鲶鱼作为研究对象，探讨了其在Cu亚致死浓度下运动行为的变化；Bengt Erik Bengtsson研究了锌对米诺鱼运动方式的影响；卢焕达等人利用计算机视觉技术来获取鱼类的运动参数变化来监测水质变化；Heng Ma等利用鱼的运动轨迹区域范围的异常来监测水质。现有的一切研究都是建立在鱼类二维行为的基础之上的，能够准确快速地检测出鱼体目标并跟踪其三维轨迹会对各项鱼类行为研究带来巨大的进展。

在所用的二维鱼类行为监测方法中，能够快速有效提取鱼类行为信息，在复杂背景下鱼体检测较好、实现简单、计算量小，在环境比较理想的情况下能够精确地检测鱼类目标的位置及运动轨迹。但是在实际监测鱼类运动中，二维运动轨迹不能准确地描述实体鱼类运动特征，没有三维深度信息，鱼类运动轨迹不能准确、有效地反应水质变化对其的影响。

发明内容

为了在生物式水质检测过程中准确快速地捕捉、跟踪并监测鱼类运动目标，同时，克服单个摄像头拍摄的鱼类只能还原其平面二维信息而丢失鱼体的深度信息问题。本发明基于视差法，利用双目摄像机从二维图像感知鱼类三维空间信息，获得鱼类三维轨迹，能够准确检测鱼类目标的立体运动状态并进行跟踪。

为了解决上述存在的技术问题，本发明采用下述技术方案：

一种基于视差的鱼类运动三维轨迹跟踪方法，其内容包括以下步骤：

一、摄像头标定

双目摄像机固定后，首先对双目摄像头进行标定，得到左、右摄像头的内部参数和外部参数；

二、图像采集

将标定好的左、右两个摄像头同时拍摄一段时间鱼类运动读入计算机；

三、图像预处理

对左、右两个摄像头拍摄的图像分别进行预处理：

①进行灰度化处理；

②进行二值化处理；

③进行膨胀与腐蚀处理；

四、质心跟踪

把经过图像预处理后的完整的鱼体利用质心算法进行质心提取，得出质心横、纵坐标，分别跟踪左右摄像头拍摄的鱼类质心的二维轨迹；

五、三维轨迹

利用视差法原理计算出运动目标的空间三维坐标点，通过双目摄像头所得的目标二维质心坐标位置，从而得出目标的空间三维坐标点，并跟踪其三维轨迹。

所述的质心算法是对二维序列图像进行分割获取目标后，计算运动目标质心位置坐标的一种算法，该算法的关键是运动目标的精确提取，然后对其进行二值化处理。二值化的公式如下：

$f(x,y)=\left\{\begin{array}{cc}0& f(x,y)<T\\ 1& \mathrm{else}\end{array}\right.---\left(1\right)$

其中，(x,y)处的灰度值是f(x,y)，二值化的灰度阈值是T。由二值化的结果f(x,y)计算运动目标的质心位置：

$\left\{\begin{array}{c}{x}_c=\frac{\underset{x=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{M}{\mathrm{\&Sigma;}}}x\&times;f(x,y)}{\underset{x=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{M}{\mathrm{\&Sigma;}}}f(x,y)}\\ y_c=\frac{\underset{x=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{M}{\mathrm{\&Sigma;}}}y\&times;f(x,y)}{\underset{x=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{M}{\mathrm{\&Sigma;}}}f(x,y)}\end{array}\right.---\left(2\right)$

其中，N、M是图像在长宽方向上的像素点数，x_c、y_c是运动目标的质心位置坐标。

所述的利用视差法原理计算出运动目标的三维坐标位置，就是参照行对准的平行双目视觉模型，假定P为空间坐标中的某一点，以左摄像机为视界坐标系，则点在左摄像机下的坐标为P(X,Y,Z,1),在右摄像机下的坐标为P(X-b,Y,Z,1)，其中b表示基线，即左右摄像机投影中心距离；经过校正后，P点在左右图像中的映射匹配点对为P_r＝(u₂,v₂,1)^T，令d＝u₁-u₂，利用三角形原理得：

$\left\{\begin{array}{c}\frac{f}{Z}=\frac{u_1}{X}=\frac{v_1}{Y}\\ \frac{f}{Z}=\frac{u_2}{X-b}=\frac{v_2}{Y}\end{array}\right.---\left(3\right)$

其中f表示左摄像机的焦距，则由上式可得到：

$\left\{\begin{array}{c}{u}_1-u_0=f\frac{X}{Z}\\ v_1-v_0=f\frac{Y}{Z}\\ u_2-u_0=f\frac{X-T}{Z}\\ v_2-v_0=f\frac{Y-T}{Z}\end{array}\right.---\left(4\right)$

其中f,u₀,v₀表示左摄像机的内参数；

那么空间点P的三维坐标表示为：

$\left\{\begin{array}{c}X=\frac{b(u_1-u_0)}{u_1-u_2}\\ Y=\frac{\mathrm{bf}(v_1-v_0)}{(u_1-u_2)}\\ Z=\frac{\mathrm{bf}(v_1-v_0)}{(u_1-u_0)}\end{array}\right.---\left(5\right)$

当空间点对在左、右成像图像中严格行对准时，且在图像坐标值u,v己知的情况下，能够利用空间点在左右图像中成像点之间的视差，即能求出空间点的三维坐标。

本发明首先对输入的两摄像头采集图像进行直方图均衡化和差分运算，得到图像中的鱼体运动区域，依据运动区域的灰度信息，快速有效地从原图像中提取出鱼体的轮廓；其次，利用质心跟踪算法从轮廓图像中自动抽取其形心；再把两个质心利用视差法进行三维重建；最后，把所有的三维点组合起来，从而得到立体视觉下鱼的三维运动轨迹。

本发明与现有鱼类行为检测技术相比具有如下优点：本发明通过把图像序列中的2D运动目标重构成3D运动目标，结合已知的三维信息就能够识别运动目标，实施有效的跟踪。本发明利用双目摄像头提取的三维轨迹，较以往的单目摄像头提取的二维轨迹相比，能快速准确捕捉鱼类动态信息。在生物式水质监测过程中，适用于复杂环境，跟踪目标精准、能在三维空间观察鱼类运动轨迹，及时反映水质变化对鱼类运动的反应结果。

附图说明

图1是用视差法提取鱼类三维轨迹的流程图；

图2是双目摄像头标定结果截图；

图3是经过预处理的鱼体质心求取

图4是双目摄像头左、右摄像头分别采集鱼体图；；

图5中：a是左摄像头鱼体质心运动轨迹；b是右摄像头鱼体质心运动轨迹；

图6是行对准的平行双目视觉模型；

图7是鱼类三维轨迹。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

本发明提出的一种基于视差法的鱼类三维轨迹方法如图1所示，以下分为几个步骤介绍具体实施方式：

一、摄像头标定

双目摄像机固定后，首先对双目摄像头进行标定，得到左、右摄像头的内部参数和外部参数，标定结果如图2所示；

二、图像采集

将标定好的左、右两个摄像头同时连续拍摄七十帧图像，并存入计算机，左右两摄像机拍摄结果如图3所示；

三、图像预处理

将步骤二获取的图像依次进行如下操作：

进行灰度化处理，把彩色图像变成灰度图像；

进行二值化处理，把灰度图像变为黑白图像；

进行形态学运算的膨胀与腐蚀处理，用结构元素进行开运算来消除图像背景中与结构元素不符的部分；再进行闭运算得到背景与原图像相似的背景图像；

四、质心跟踪

如图4所示，把经过步骤三图像预处理后的完整的鱼体利用质心算法进行质心提取；得出质心横、纵坐标，分别跟踪左、右摄像头拍摄的鱼类质心的二维轨迹，结果如图5所示；

五、三维轨迹

把步骤一中求出来的摄像头标定内参数的结果和步骤四得出来的左右两个摄像头中鱼体的质心坐标值，带入到公式(5)中，利用视差法原理计算出运动目标的空间三维坐标点，通过双目摄像头所得的目标二维质心坐标位置，从而得出目标的空间三维坐标点，并能够进行跟踪其三维轨迹，结果如图6所示。

本发明方法能够精确地获得鱼体目标三维运动轨迹。

以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (3)

1.一种基于视差的鱼类运动三维轨迹跟踪方法，其特征在于该方法内容包括以下步骤：

一、摄像头标定

双目摄像机固定后，首先对双目摄像头进行标定，得到左、右摄像头的内部参数和外部参数；

二、图像采集

将标定好的左、右两个摄像头同时连续拍摄七十帧图像，并存入计算机；

三、图像预处理

将步骤二获取的图像依次进行如下操作：

进行灰度化处理，把彩色图像变成灰度图像；

进行二值化处理，把灰度图像变为黑白图像；

进行形态学运算的膨胀与腐蚀处理，用结构元素进行开运算来消除图像背景中与结构元素不符的部分；再进行闭运算得到背景与原图像相似的背景图像；

四、质心跟踪

把经过步骤三图像预处理后的完整的鱼体利用质心算法进行质心提取；得出质心横、纵坐标，分别跟踪左、右摄像头拍摄的鱼类质心的二维轨迹；

五、三维轨迹

利用视差法原理计算出运动目标的空间三维坐标点，通过双目摄像头所得的目标二维质心坐标位置，从而得出目标的空间三维坐标点，并跟踪其三维轨迹。

2.根据权利要求1所述的一种基于视差的鱼类运动三维轨迹跟踪方法，其特征在于：所述的质心算法是对二维序列图像进行分割获取目标后，计算运动目标质心位置坐标的一种算法，该算法的关键是运动目标的精确提取，然后对其进行二值化处理。二值化的公式如下：

$f\left(\mathrm{xmy}\right)=\left\{\begin{array}{cc}0& f(x,y)<T\\ 1& \mathrm{else}\end{array}\right.---\left(1\right)$

(1)式中，(x,y)处的灰度值是f(x,y)，二值化的灰度阈值是T。由二值化的结果f(x,y)计算运动目标的质心位置：

$\left\{\begin{array}{c}{x}_c=\frac{\underset{x=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{M}{\mathrm{\&Sigma;}}}x\&times;f(x,y)}{\underset{x=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{M}{\mathrm{\&Sigma;}}}f(x,y)}\\ y_c=\frac{\underset{x=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{M}{\mathrm{\&Sigma;}}}y\&times;f(x,y)}{\underset{x=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{M}{\mathrm{\&Sigma;}}}f(x,y)}\end{array}\right.---\left(2\right)$

(2)式中，N、M是图像在长宽方向上的像素点数，x_c、y_c是运动目标的质心位置坐标。

3.根据权利要求1所述的一种基于视差的鱼类运动三维轨迹跟踪方法，其特征在于：所述的利用视差法原理计算出运动目标的三维坐标位置，就是参照行对准的平行双目视觉模型，假定P为空间坐标中的某一点，以左摄像机为视界坐标系，则点在左摄像机下的坐标为P(X,Y,Z,1),在右摄像机下的坐标为P(X-b,Y,Z,1)，其中b表示基线，即左右摄像机投影中心距离；经过校正后，P点在左右图像中的映射匹配点对为P_r＝(u₂,v₂,1)^T，令d＝u₁-u₂，利用三角形原理得：

$\left\{\begin{array}{c}\frac{f}{Z}=\frac{u_1}{X}=\frac{v_1}{Y}\\ \frac{f}{Z}=\frac{u^2}{X-b}=\frac{v^2}{Y}\end{array}\right.---\left(3\right)$

(3)式中f表示左摄像机的焦距，则由上式可得到：

$\left\{\begin{array}{c}{u}_1-u_0=f\frac{X}{Z}\\ v_1-v_0=f\frac{Y}{Z}\\ u_2-u_0=f\frac{X-T}{Z}\\ v_2-v_0=f\frac{Y-T}{Z}\end{array}\right.---\left(4\right)$

(4)式中f,u₀,v₀表示左摄像机的内参数；

那么空间点P的三维坐标表示为：

$\left\{\begin{array}{c}X=\frac{b-(u_1-u_0)}{u_1-u_2}\\ Y=\frac{\mathrm{bf}(v_1-v_0)}{(u_1-u_2)}\\ Z=\frac{\mathrm{bf}(v_1-v_0)}{(u_1-u_0)}\end{array}\right.$

当空间点对在左、右成像图像中严格行对准时，且在图像坐标值u,v己知的情况下，能够利用空间点在左右图像中成像点之间的视差，即能求出空间点的三维坐标。