CN110889833A - 基于梯度光流法的深海浮游生物检测方法及系统 - Google Patents

Abstract

本公开公开了基于梯度光流法的深海浮游生物检测方法及系统，包括：获取在深海采集的视频；计算视频中每一帧图像的光流场矩阵；判断有无浮游生物的步骤：根据在两个连续帧中浮游生物在空间中不重合，浮游生物所在空间位置的时间梯度在连续两个光流场中数值互为相反数，浮游生物所在空间位置的横向梯度在连续两个光流场中数值相等且方向一致，和浮游生物所在空间位置的纵向梯度在连续两个光流场中数值相等且方向一致来判断有无浮游生物；计算有浮游生物的图像区域的连通域的数量，即为浮游生物的数量。

Description

基于梯度光流法的深海浮游生物检测方法及系统

技术领域

本公开涉及图像处理技术领域，特别是涉及基于梯度光流法的深海浮游生物检测方法及系统。

背景技术

本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。

在深海领域，浮游生物占有重要作用，浮游生物的数量变动和空间分布对整个海洋生态系统的功能运转有着非常重要的影响。在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：现有的浮游生物检测准确度不高，浮游生物数量检测不精确，进而影响赤潮灾害的预报。

发明内容

为了解决现有技术的不足，本公开提供了基于梯度光流法的深海浮游生物检测方法及系统；

第一方面，本公开提供了基于梯度光流法的深海浮游生物检测方法；

基于梯度光流法的深海浮游生物检测方法，包括：

获取在深海采集的视频；

基于HS(Horn–Schunck)光流法计算视频中每一帧图像的光流场矩阵；

根据在两个连续帧中浮游生物在空间中不重合，浮游生物所在空间位置的时间梯度在连续两个光流场中数值互为相反数，浮游生物所在空间位置的横向梯度在连续两个光流场中数值相等且方向一致，和浮游生物所在空间位置的纵向梯度在连续两个光流场中数值相等且方向一致来判断有无浮游生物；

计算有浮游生物的图像区域的连通域的数量，即为浮游生物的数量。

第二方面，本公开还提供了基于梯度光流法的深海浮游生物检测系统；

基于梯度光流法的深海浮游生物检测系统，包括：

视频获取模块，其被配置为：获取在深海采集的视频；

光流场矩阵计算模块，基于HS(Horn–Schunck)光流法计算视频中每一帧图像的光流场矩阵；

浮游生物有无判断模块，其被配置为：根据在两个连续帧中浮游生物在空间中不重合，浮游生物所在空间位置的时间梯度在连续两个光流场中数值互为相反数，浮游生物所在空间位置的横向梯度在连续两个光流场中数值相等且方向一致，和浮游生物所在空间位置的纵向梯度在连续两个光流场中数值相等且方向一致来判断有无浮游生物；

浮游生物数量计算模块，其被配置为：计算有浮游生物的图像区域的连通域的数量，即为浮游生物的数量。

第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。

第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。

与现有技术相比，本公开的有益效果是：

通过梯度光流法，利用时间维度上的梯度信息，进行光流监测，进而实现浮游生物位置和数量的准确监测，进而得到准确的深海浮游生物，可以实现有效监测和预报赤潮。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为第一个实施例的方法流程图；

图2为第一个实施例的实验结果示意图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一，本实施例提供了基于梯度光流法的深海浮游生物检测方法；

如图1所示，基于梯度光流法的深海浮游生物检测方法，包括：

S1：获取在深海采集的视频；

S2：基于HS(Horn–Schunck)光流法计算视频中每一帧图像的光流场矩阵；

S3：判断有无浮游生物的步骤：根据在两个连续帧中浮游生物在空间中不重合，浮游生物所在空间位置的时间梯度在连续两个光流场中数值互为相反数，浮游生物所在空间位置的横向梯度在连续两个光流场中数值相等且方向一致，和浮游生物所在空间位置的纵向梯度在连续两个光流场中数值相等且方向一致来判断有无浮游生物；

S4：计算有浮游生物的图像区域的连通域的数量，即为浮游生物的数量。

作为一个或多个实施例，判断有无浮游生物的步骤，还包括：

将相邻的两个光流场矩阵进行相乘，对相乘得到的矩阵进行浮游生物有无的区分：

如果相乘得到的矩阵中元素为负值，则判定负值所对应的图像区域为有浮游生物；

如果相加得到的矩阵中元素的绝对值小于第一设定阈值，则认为不是浮游生物对应的图像区域；第一设定阈值，例如是：0.25；

如果相乘得到的矩阵中的元素的绝对值小于第二设定阈值，则认为不是浮游生物对应的图像区域；第二设定阈值，例如是4；

如果相乘得到的矩阵中元素为零或正值，则判定零或正值所对应的图像区域为无浮游生物。

作为一个或多个实施例，所述获取在深海采集的视频，其中，深海是指：海面以下5000米位置处。

作为一个或多个实施例，所述S2中，基于HS(Horn–Schunck)光流法计算视频中每一帧图像的光流场矩阵；具体步骤包括：

S21：输入图像，得到图像的高度宽度以及维度；

S22：改变RGB三个通道的权重，从而把图像转化为灰度图；

S23：调整图像大小；

S24：计算灰度梯度；所述灰度梯度，包括空间梯度和时间梯度；

S25：对灰度梯度进行松弛迭代n次，最终得到横向和纵向光流场矩阵。

作为一个或多个实施例，所述有无浮游生物的判断的依据是：

在连续三帧图像中形成的两个光流场矩阵F1(u1,v1)和F2(u2,v2)，对于快速运动的浮游生物(定义为：在两个连续帧中浮游生物在空间中不重合)，该浮游生物所在空间位置的光流场矩阵u1和u2，以及v1和v2互相取反，即u1＝-u2,v1＝-v2。因此，确定浮游生物的空间位置，比如采用u1*u2，使浮游生物所在空间位置值为负值。

对于浮游生物，定义为在两个连续帧中该物体在空间中不重合，浮游生物所在空间位置的时间梯度在连续两个光流场中数值互为相反数，而横向梯度和纵向梯度在数值上相等：

其中，I_x与dsx₁都是横向梯度，I为灰度值，下标x是像素索引，比如假定图像上点m＝(x,y)^t在时刻t的灰度值为I＝(x,y,t)，经过时间间隔dt后，对应点的灰度为I_{(x+dx,y+dy,t+dt)}。

其中，I_y与dsx₂都是纵向梯度，I为灰度值，下标y是像素索引，比如假定图像上点m＝(x,y)^t在时刻t的灰度值为I＝(x,y,t)，经过时间间隔dt后，对应点的灰度为I_{(x+dx,y+dy,t+dt)}。

其中，I_t与dst都是时间梯度，假定图像上点m＝(x,y)^t在时刻t的灰度值为I＝(x,y,t)，经过时间间隔dt后，对应点的灰度为I_{(x+dx,y+dy,t+dt)}。

其中，dsx₁和dsx₂在前后两个光流场是数值相等的(仅在有浮游生物的地方)，而dst是数值相反的，对灰度梯度进行松弛迭代20次后，得到的光流场矩阵的特性，进而可以求得浮游生物的位置以及数量。

作为一个或多个实施，所述在两个连续帧中浮游生物在空间中不重合，浮游生物所在空间位置的时间梯度在连续两个光流场中数值互为相反数的证明过程如下：

S31：首先证明在有浮游生物的地方对连续两个光流场的时间梯度互为相反数，连续两个光流场的横向梯度大小相同且方向一致，以及连续两个光流场的纵向梯度大小相同且方向一致；

假设当前帧对于快速运动的浮游生物在两个连续帧中，该浮游生物在空间中不重合，浮游生物所在位置的灰度值为a1，其他背景的地方灰度值设定为p，在第二帧，对应第一帧浮游生物位置的灰度值变为p，而第二帧浮游生物的位置发生变化，灰度值记为a2，第三帧同理记为a3，依据公式：

其中，I_t与dst都是时间梯度，比如假定图像上点m＝(x,y)^t在时刻t的灰度值为I＝(x,y,t)，经过时间间隔dt后，对应点的灰度为I_{(x+dx,y+dy,t+dt)}。

求得第一个光流场，在第一帧浮游生物所在位置的时间梯度为(p-a1)/4，在第二帧相应位置的时间梯度为(a2-p)/4；

同时，第二个光流场，在第二帧浮游生物所在位置的时间梯度为(p-a2)/4，在第三帧相应位置的时间梯度为(a3-p)/4；

得出结论：在连续三帧图像形成的两个光流场的时间梯度在中间帧浮游生物对应位置上大小相等方向相反，即数值上互为相反数，同理能够求得横向和纵向的梯度数值相等方向相同；

S32：对灰度梯度松弛迭代n次，求得u和v的最优解：

u＝u-dsx₁*Δ； (6)

v＝v-dsx₂*Δ； (7)

其中，

反映HS光流算法的平滑性约束条件的参数，Δ就是迭代算法过程中的一个因子，Δ就是迭代算法过程中的一个因子，dsx₁是横向梯度，u,v分别是横向和纵向光流场矩阵。

在S32这个过程中，变量有三个，分别是dsx1、dsx2和dst，其中，dsx1和dsx2在前后两个光流场是数值相等的(仅在有浮游生物的地方)，具体证明过程与证明dst数值相反的方法相同，所以在公式(5)、公式(6)和公式(7)中变量仅有dst。

问题就简化为，证明当dst＝-dst′时，u'＝-u,v'＝-v(带上标的为第二个光流场)；dst和dst′就是前后两个光流场的时间梯度。

这样，用数列来表示公式(5)、公式(6)和公式(7)的关系，其中迭代次数为n，公式如下：

其中，u_n+1与u_n是第n次迭代前后两个横向光流场，v_n+1与v_n是第n次迭代前后两个纵向光流场；

需要证明的是u_n+1＝-u'_n+1，v_n+1＝-v'_n+1；

用数学归纳法证明如下：

当n＝1时，因为u，v的初始值都为0，有：

其中，u₁就是第一次迭代的横向光流场矩阵，v₁是第一次迭代的纵向的光流场矩阵。

很显然当dst＝-dst′时，u₁＝-u′₁,v₁＝-v′₁成立；

再假设当n＝k,时v_k+1＝-v′_k+1，u_k-1＝-u'_k-1成立；

即有公式(12)和公式(13)相等：

其中，v_k+1表示第k+1次迭代的前一个纵向光流场矩阵，v'_k+1表示第k+1次迭代的后一个纵向光流场矩阵；

需证明当n＝k+1时，v_k+2＝-v'_k+2；

将公式(14)和公式(15)相加，并把v_k+1＝-v'_k+1，u_k-1＝-u'_k-1代入公式(14)和公式(15)中，得：

v_k+2+v'_k+2＝0； (16)

纵向光流场证明完毕，横向的同理。

实施例二，本实施例还提供了基于梯度光流法的深海浮游生物检测系统；

基于梯度光流法的深海浮游生物检测系统，包括：

视频获取模块，其被配置为：获取在深海采集的视频；

光流场矩阵计算模块，基于HS(Horn–Schunck)光流法计算视频中每一帧图像的光流场矩阵；

浮游生物有无判断模块，其被配置为：根据在两个连续帧中浮游生物在空间中不重合，浮游生物所在空间位置的时间梯度在连续两个光流场中数值互为相反数，浮游生物所在空间位置的横向梯度在连续两个光流场中数值相等且方向一致，和浮游生物所在空间位置的纵向梯度在连续两个光流场中数值相等且方向一致来判断有无浮游生物；

浮游生物数量计算模块，其被配置为：计算有浮游生物的图像区域的连通域的数量，即为浮游生物的数量。

如图2所示，横坐标为视频的帧数，纵坐标为相应帧上的浮游生物的数量。

实施例三，本实施例还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例一所述方法的步骤。

实施例四，本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述方法的步骤。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.基于梯度光流法的深海浮游生物检测方法，其特征是，包括：

获取在深海采集的视频；

计算视频中每一帧图像的光流场矩阵；

判断有无浮游生物的步骤：根据在两个连续帧中浮游生物在空间中不重合，浮游生物所在空间位置的时间梯度在连续两个光流场中数值互为相反数，浮游生物所在空间位置的横向梯度在连续两个光流场中数值相等且方向一致，和浮游生物所在空间位置的纵向梯度在连续两个光流场中数值相等且方向一致来判断有无浮游生物；

计算有浮游生物的图像区域的连通域的数量，即为浮游生物的数量。

2.如权利要求1所述的方法，其特征是，计算视频中每一帧图像的光流场矩阵，是基于HS光流法计算视频中每一帧图像的光流场矩阵。

3.如权利要求1所述的方法，其特征是，判断有无浮游生物的步骤，还包括：

将相邻的两个光流场矩阵进行相乘，对相乘得到的矩阵进行浮游生物有无的区分：

如果相乘得到的矩阵中元素为负值，则判定负值所对应的图像区域为有浮游生物；

如果相加得到的矩阵中元素的绝对值小于第一设定阈值，则认为不是浮游生物对应的图像区域；

如果相乘得到的矩阵中的元素的绝对值小于第二设定阈值，则认为不是浮游生物对应的图像区域；

如果相乘得到的矩阵中元素为零或正值，则判定零或正值所对应的图像区域为无浮游生物。

4.如权利要求1所述的方法，其特征是，计算视频中每一帧图像的光流场矩阵；具体步骤包括：

S21：输入图像，得到图像的高度宽度以及维度；

S22：改变RGB三个通道的权重，从而把图像转化为灰度图；

S23：调整图像大小；

S24：计算灰度梯度；所述灰度梯度，包括空间梯度和时间梯度；

S25：对灰度梯度进行松弛迭代n次，最终得到横向和纵向光流场矩阵。

5.如权利要求1所述的方法，其特征是，有无浮游生物的判断的依据是：

在连续三帧图像中形成的两个光流场矩阵F1(u1,v1)和F2(u2,v2)，对于快速运动的浮游生物，在两个连续帧中浮游生物在空间中不重合，该浮游生物所在空间位置的光流场矩阵u1和u2，以及v1和v2互相取反，即u1＝-u2,v1＝-v2；因此，确定浮游生物的空间位置，采用u1*u2，使浮游生物所在空间位置值为负值。

6.如权利要求1所述的方法，其特征是，所述在两个连续帧中浮游生物在空间中不重合，浮游生物所在空间位置的时间梯度在连续两个光流场中数值互为相反数的证明过程如下：

S31：首先证明在有浮游生物的地方对连续两个光流场的时间梯度互为相反数；

假设当前帧对于快速运动的浮游生物在两个连续帧中，该浮游生物在空间中不重合，浮游生物所在位置的灰度值为a1，其他背景的地方灰度值设定为p，在第二帧，对应第一帧浮游生物位置的灰度值变为p，而第二帧浮游生物的位置发生变化，灰度值记为a2，第三帧同理记为a3，依据公式：

其中，I_t与dst都是时间梯度，假定图像上点m＝(x,y)^t在时刻t的灰度值为I＝(x,y,t)，经过时间间隔dt后，对应点的灰度为I_{(x+dx,y+dy,t+dt)}；

求得第一个光流场，在第一帧浮游生物所在位置的时间梯度为(p-a1)/4，在第二帧相应位置的时间梯度为(a2-p)/4；

同时，第二个光流场，在第二帧浮游生物所在位置的时间梯度为(p-a2)/4，在第三帧相应位置的时间梯度为(a3-p)/4；

得出结论：在连续三帧图像形成的两个光流场的时间梯度在中间帧浮游生物对应位置上大小相等方向相反，即数值上互为相反数，同理能够求得横向和纵向的梯度数值相等方向相同；

S32：对灰度梯度松弛迭代n次，求得u和v的最优解：

u＝u-dsx₁*Δ；(6)

v＝v-dsx₂*Δ；(7)

其中，

反映HS光流算法的平滑性约束条件的参数，Δ就是迭代算法过程中的一个因子，Δ就是迭代算法过程中的一个因子，dsx₁是横向梯度，u,v分别是横向和纵向光流场矩阵；

在S32这个过程中，变量有三个，分别是dsx1、dsx2和dst，其中，dsx1和dsx2在前后两个光流场是数值相等的，具体证明过程与证明dst数值相反的方法相同，所以在公式(5)、公式(6)和公式(7)中变量仅有dst；

问题就简化为，证明当dst＝-dst′时，u'＝-u,v'＝-v；dst和dst′就是前后两个光流场的时间梯度；

这样，用数列来表示公式(5)、公式(6)和公式(7)的关系，其中迭代次数为n，公式如下：

其中，u_n+1与u_n是第n次迭代前后两个横向光流场，v_n+1与v_n是第n次迭代前后两个纵向光流场；

需要证明的是u_n+1＝-u'_n+1，v_n+1＝-v'_n+1；

用数学归纳法证明如下：

当n＝1时，因为u，v的初始值都为0，有：

其中，u₁就是第一次迭代的横向光流场矩阵，v₁是第一次迭代的纵向的光流场矩阵；

当dst＝-dst′时，u₁＝-u'₁,v₁＝-v'₁成立；

再假设当n＝k时，v_k+1＝-v'_k+1，u_k-1＝-u'_k-1成立；

即有公式(12)和公式(13)相等：

其中，v_k+1表示第k+1次迭代的前一个纵向光流场矩阵，v'_k+1表示第k+1次迭代的后一个纵向光流场矩阵；

需证明当n＝k+1时，v_k+2＝-v'_k+2；

将公式(14)和公式(15)相加，并把v_k+1＝-v'_k+1，u_k-1＝-u'_k-1代入公式(14)和公式(15)中，得：

v_k+2+v'_k+2＝0；(16)

纵向光流场证明完毕，横向的同理。

7.基于梯度光流法的深海浮游生物检测系统，其特征是，包括：

视频获取模块，其被配置为：获取在深海采集的视频；

光流场矩阵计算模块，基于HS光流法计算视频中每一帧图像的光流场矩阵；

浮游生物有无判断模块，其被配置为：根据在两个连续帧中浮游生物在空间中不重合，浮游生物所在空间位置的时间梯度在连续两个光流场中数值互为相反数，浮游生物所在空间位置的横向梯度在连续两个光流场中数值相等且方向一致，和浮游生物所在空间位置的纵向梯度在连续两个光流场中数值相等且方向一致来判断有无浮游生物；

浮游生物数量计算模块，其被配置为：计算有浮游生物的图像区域的连通域的数量，即为浮游生物的数量。

8.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-6任一项方法所述的步骤。

9.一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-6任一项方法所述的步骤。

Images