CN117809227A - 一种基于视频帧的冰流速识别方法 - Google Patents

Abstract

本发明提出了一种基于视频帧的冰流速识别方法，包括视频帧提取、特征点识别、跟踪窗口框定、特征点跟踪、坐标系转换及结果输出5个步骤。本发明通过高性能摄像机无人值守的方式监测冰流速，对特征点采用人工识别或自动识别方式，并基于特征点跟踪结果计算相邻两帧图像之间流冰位移，经过坐标系转换可得到目标流冰在实际河道中发生的位移，除以两帧之间的时间间隔，可以计算出瞬时流冰的速度，方法简便易操作。本发明能够降低冰期水文测验成本，实现在线冰情监测。

Description

一种基于视频帧的冰流速识别方法

技术领域

本发明属于图像识别技术领域，涉及冰流速识别技术，具体涉及一种基于视频帧的冰流速识别方法。

背景技术

冰流速是冰情监测中重要的水文参数之一，目前主要监测手段为传统目估法，即通过望远镜、全站仪、计时装置等设备人工测算流冰位移及时间，即可得到单点冰流速。传统目估法观测面小，测验精度受主观因素影响较大，需要人工现场观测，测验效率低、劳动强度大、环境艰苦且不安全，迫切需要采取自动化监测方法。

随着高性能视频监控硬件的发展，以及计算机视觉等图像识别技术的日益成熟，基于视频图像获取物体移动速度的应用越来越广泛，但较少应用于冰流速监测。目前基于机器学习的图像识别方法应用较为广泛，但该方法识别精度高度依赖学习样本数量和质量，这对于样本较少场景（例如一年中流冰时间较为有限）来说，投入成本较大。

北方河流水文巡测站点普遍安装视频监控装备，具备在线监测的硬件条件，但缺乏高效利用，大量视频资源仅用于日常监控却没有从中获取有价值的水文信息。目前国内还没有形成一种能够全天候监测、计算简便、成本低廉的冰流速识别方案，不能很好地完成水文测验工作的提档升级和提高自动化水平任务。

发明内容

为解决上述问题，本发明提出一种基于视频帧的冰流速识别方法，利用已建或在建的河道监控视频对断面冰流速进行识别，采用视频帧相关法追踪图像连续帧中的相同特征点，记录其特定时间段里的位移即可获得流速。本发明能够降低冰期水文测验成本，实现在线冰情监测。

为达到上述目的，本发明的技术方案如下：

一种基于视频帧的冰流速识别方法，包括如下步骤：

步骤1.视频帧提取

根据采样间隔，将计算时间段内的原始视频数据提取成帧数据存储；

步骤2.特征点识别

在步骤1存储的视频帧数据中选择第1帧图像，识别图像中的特征点并进行像素点标记，识别方式采用人工识别方式或自动识别方式；

所述人工识别方式为：手动选择图像中一像素点作为特征点，记录特征点坐标；

所述自动识别方式为：首先在河道测流断面上确定测验垂线位置，接着将测验垂线位置的像素点作为一组初始特征点，记录为初始特征点坐标，n为测验垂线数量；

步骤3.跟踪窗口框定

框定特征点在图像中能够移动的窗口范围M×N，其中M为窗口长度，N为窗口宽度；

步骤4.特征点跟踪

记视频第k帧上特征点中心坐标位于的大小为m×n×c的特征像素矩阵为/>，其在第k+1帧时中心坐标运动到/>，记为/>，m为特征像素矩阵长度，n为特征像素矩阵宽度，c为颜色通道数；则对于任意/>方向上位移/>，第k帧和第k+1帧中的特征像素矩阵相关系数为：

；

当且仅当时有最大值，其中/>为特征像素矩阵相关系数，/>为相关系数求解函数，/>为特征点任意位移大小，/>为第k帧特征像素矩阵，/>为第k+1帧位移/>后的特征像素矩阵；

在第k+1帧图像的最大窗口M×N上，对特征点位置周围以m×n×c为单位特征像素矩阵遍历计算与特征像素矩阵/>的相关系数，寻找相关系数最大值的位置，即为第k+1帧时的特征点对应特征像素矩阵/>，由此确定特征点位移/>；特征点位移/>表明特征像素矩阵/>在第k到k+1帧的过程中，中心位置由/>运动到了/>；记录该特征点位移坐标，循环采用步骤4继续计算第k+2帧、第k+3帧…直至截止时刻的位移坐标；

步骤5.坐标系转换及结果输出

将特征点像素位移dx转换成现实世界实际位移X，根据河道上标记点S ₁ 、S ₂ 、S ₃ 三点实际坐标，计算点S ₃ 到直线S ₁ 、S ₂ 的实际距离，在直线C ₁ C ₁ ′上，水平方向上实际距离与像素距离关系如下：

；

其中，C ₁ 为过S ₃ 做地平线的平行线与l ₁的交点，C ₁ ′为C ₁ 关于视中线的对称点，l ₁为垂直于岸线的一条视线，l ₁′与l ₁关于视中线对称，l ₁和l ₁′间任意像素坐标点相对于视线l ₁的实际位移X通过下式计算：

；

k、b、b′为预先存储好的参数；

通过下式得到冰流速结果：

；

式中，为冰流速，k为帧数，/>为第k+1帧时特征点的实际位移，/>为第k帧时特征点的实际位移，/>为第k+1帧时对应的时刻，/>为第k帧时对应的时刻。

进一步的，所述步骤3中，颜色通道数c为3。

进一步的，当步骤2中采用自动识别方式识别特征点时，如，则步骤4中在继续计算下一次位移结果时，将初始特征点重新调整成/>再进行跟踪。

进一步的，所述步骤5中，点S ₁ 、S ₂ 在测流断面上。

进一步的，所述步骤5中，S ₁ 、S ₂ 、S ₃ 三点实际坐标通过全站仪获取。

进一步的，所述步骤5中，视线的像素坐标表达式为：/>，/>的像素坐标表达式为：/>。

本发明的有益效果为：

本发明通过高性能摄像机无人值守的方式监测冰流速，对特征点采用人工识别或自动识别方式，并基于特征点跟踪结果计算相邻两帧图像之间流冰位移，经过坐标系转换可得到目标流冰在实际河道中发生的位移，除以两帧之间的时间间隔，可以计算出瞬时流冰的速度，方法简便易操作。

本发明采用基于三点的坐标转换方法将特征点像素位移转换成现实世界实际位移，只需要3个实际坐标点即可完成计算，大大简化了坐标标定工作，实用价值强。

附图说明

图1为本发明提供的基于视频帧的冰流速识别方法流程示意图。

图2为特征点跟踪示意图。

图3为坐标转换示意图。

具体实施方式

以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

本发明提出了一种基于视频帧的冰流速识别方法，其流程如图1所示，包括如下步骤：

步骤1.视频帧提取

根据特定的采样间隔、计算时间段，将自主选择的计算时间段内的原始视频数据提取成帧数据存储，步骤2特征点识别即利用帧数据进行。计算时间段是可以自主选择的视频时段，比如可以选择10：00-10：15这一时间段里的视频数据参与后续计算，在这15分钟的时段里，可以选择不同采样间隔（例如5帧/秒、10帧/秒……）提取视频帧数据。

步骤2.特征点识别

特征点为河道中流动的浮冰，在步骤1中存储的视频帧数据中选择第1帧图像，识别图像中的特征点并进行像素点标记。有两种识别方式可以选择，一种是人工识别，可手动选择图像中任意一像素点作为特征点；另一种是自动识别，首先在河道测流断面上确定测验垂线位置（水文测验业务中，通常会在河道测验断面上设立若干固定的测验垂线），接着将固定位置（即测验垂线位置）的像素点作为一组初始特征点，此时该组特征点不一定是流动的浮冰，有可能是平静的水面，因此需要对其进行进一步筛选。如选择人工识别，则在第1帧图像中标记特征点的像素点坐标，并记录为特征点坐标；如选择自动识别，则记录第1帧图像中测验垂线所在位置像素点坐标，并记录为初始特征点坐标/>（n为测验垂线数量）。两种识别方式得到特征点坐标后，进行步骤3进行下一步跟踪窗口框定。

步骤3.跟踪窗口框定

为高效跟踪下一帧图像中的特征点所在位置，框定特征点在图像中可能移动的窗口范围M×N（长×宽），以图像特征点周围m×n×c（长×宽×颜色通道数，颜色通道数为3）的特征像素矩阵为最小单位进行代数运算。

步骤4.特征点跟踪

记视频第k帧上特征点中心坐标位于的大小为m×n×3特征像素矩阵为/>，如图2所示，其在第k+1帧时中心坐标运动到/>，记为/>。则对于任意/>方向上位移/>,第k帧和第k+1帧中的特征像素矩阵相关系数：

当且仅当时有最大值，其中/>为特征像素矩阵相关系数，/>为相关系数求解函数，/>为特征点任意位移大小，/>为第k帧特征像素矩阵，/>为第k+1帧位移/>后的特征像素矩阵。

在第k+1帧图像的最大窗口M×N上，对特征点位置周围以m×n×3为单位特征像素矩阵遍历计算与特征像素矩阵/>的相关系数，寻找相关系数最大值的位置，即为第k+1帧时的特征点对应特征像素矩阵/>，由此可以确定特征点位移/>。表明特征像素矩阵/>在第k到k+1帧的过程中，中心位置由/>运动到了/>。记录该次特征点位移坐标，循环采用步骤4继续计算第k+2帧、第k+3帧…直到截止时刻（即步骤1存储的视频帧数据中最后一帧）的位移坐标。

对于步骤2中自动识别特征点的情况，如，即该特征点无位移，这里有两种原因，一种是该位置的冰没有移动，另一种是该位置没有流冰，对于这两种情况，在继续计算下一次位移结果时，将初始特征点重新调整成/>再进行跟踪。

步骤5.坐标系转换及结果输出

将特征点像素位移dx（像素）转换成现实世界实际位移X（m）。图3为坐标转换示意图，图中纵向有一视中线（即图像的水平对称轴），S ₃ 为视中线上任意一点，通过S ₁ 、S ₂ （点S ₁ 、S ₂ 在一条直线上）的视线l ₁ 实际上为垂直于岸线的一条特殊的视线。S ₁ 、S ₂ 、S ₃ 三点事先现场标定得到，点S ₁ 、S ₂ 均在一条直线上（本实施例中为测验断面），三点实际坐标通过全站仪获取。l ₁ 与l ₁′关于视中线对称，视线l ₁ 、l ₁′与图像底线和地平线所围的图形，在图上由于近大远小图像变形关系展示为等腰梯形，在现实世界中实际为矩形。因此图上两腰在l ₁、l ₁′上的任意等腰梯形，其图上上底和下底所对应的实际距离相等，通过这一原理并结合像素点和实际距离对应关系，可以计算l ₁和l ₁′间任意点相对视线l ₁的实际距离，这建立了水平位移测量的基础。根据河道上标记点S ₁ 、S ₂ 、S ₃ 三点实际坐标，计算点S₃到直线S ₁ 、S ₂ 的实际距离，即C ₁ 到S ₃ 的实际距离。在直线C ₁ C ₁ ′（C ₁ 为过S ₃ 做地平线的平行线与l ₁的交点，C ₁ ′为C ₁ 关于视中线的对称点）上，有水平方向上实际距离与像素距离关系：

；

l ₁和l ₁′间任意像素坐标点相对于视线l ₁的实际距离X：

有视线l ₁的像素坐标表达式：，则/>；

X计算公式：

实际操作中，首先读取预先存储好的k、b、b′参数，将特征点像素坐标代入上式即可计算出实际距离X。

输出冰流速结果：

式中，为冰流速（m/s），分子为特征点实际水平位移距离（m），分母为时间变化（s）,k为帧数，/>为第k+1帧时特征点的实际位移，/>为第k帧时特征点的实际位移，/>为第k+1帧时对应的时刻，/>为第k帧时对应的时刻。

需要说明的是，以上内容仅仅说明了本发明的技术思想，不能以此限定本发明的保护范围，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰均落入本发明权利要求书的保护范围之内。

Claims (6)

1.一种基于视频帧的冰流速识别方法，其特征在于，包括如下步骤

步骤1.视频帧提取

根据采样间隔，将计算时间段内的原始视频数据提取成帧数据存储；

步骤2.特征点识别

在步骤1存储的视频帧数据中选择第1帧图像，识别图像中的特征点并进行像素点标记，识别方式采用人工识别方式或自动识别方式；

所述人工识别方式为：手动选择图像中一像素点作为特征点，记录特征点坐标；

所述自动识别方式为：首先在河道测流断面上确定测验垂线位置，接着将测验垂线位置的像素点作为一组初始特征点，记录为初始特征点坐标，n为测验垂线数量；

步骤3.跟踪窗口框定

框定特征点在图像中能够移动的窗口范围M×N，其中M为窗口长度，N为窗口宽度；

步骤4.特征点跟踪

记视频第k帧上特征点中心坐标位于的大小为m×n×c的特征像素矩阵为/>，其在第k+1帧时中心坐标运动到/>，记为/>，m为特征像素矩阵长度，n为特征像素矩阵宽度，c为颜色通道数；则对于任意/>方向上位移/>，第k帧和第k+1帧中的特征像素矩阵相关系数为：

；

当且仅当时有最大值，其中/>为特征像素矩阵相关系数，/>为相关系数求解函数，/>为特征点任意位移大小，/>为第k帧特征像素矩阵，/>为第k+1帧位移/>后的特征像素矩阵；

在第k+1帧图像的最大窗口M×N上，对特征点位置周围以m×n×c为单位特征像素矩阵遍历计算与特征像素矩阵/>的相关系数，寻找相关系数最大值的位置，即为第k+1帧时的特征点对应特征像素矩阵/>，由此确定特征点位移/>；特征点位移/>表明特征像素矩阵/>在第k到k+1帧的过程中，中心位置由/>运动到了/>；记录该特征点位移坐标，循环采用步骤4继续计算第k+2帧、第k+3帧…直至截止时刻的位移坐标；

步骤5.坐标系转换及结果输出

将特征点像素位移dx转换成现实世界实际位移X，根据河道上标记点S ₁ 、S ₂ 、S ₃ 三点实际坐标，计算点S ₃ 到直线S ₁ 、S ₂ 的实际距离，在直线C ₁ C ₁ ′上，水平方向上实际距离与像素距离关系如下：

；

其中，C ₁ 为过S ₃ 做地平线的平行线与l ₁的交点，C ₁ ′为C ₁ 关于视中线的对称点，l ₁为垂直于岸线的一条视线，l ₁′与l ₁关于视中线对称，l ₁和l ₁′间任意像素坐标点相对于视线l ₁的实际位移X通过下式计算：

；

k、b、b′为预先存储好的参数；

通过下式得到冰流速结果：

；

式中，为冰流速，k为帧数，/>为第k+1帧时特征点的实际位移，/>为第k帧时特征点的实际位移，/>为第k+1帧时对应的时刻，/>为第k帧时对应的时刻。

2.根据权利要求1所述的基于视频帧的冰流速识别方法，其特征在于，所述步骤3中，颜色通道数c为3。

3.根据权利要求1所述的基于视频帧的冰流速识别方法，其特征在于，当步骤2中采用自动识别方式识别特征点时，如，则步骤4中在继续计算下一次位移结果时，将初始特征点重新调整成/>再进行跟踪。

4.根据权利要求1所述的基于视频帧的冰流速识别方法，其特征在于，所述步骤5中，点S ₁ 、S ₂ 在测流断面上。

5.根据权利要求1所述的基于视频帧的冰流速识别方法，其特征在于，所述步骤5中，S ₁ 、S ₂ 、S ₃ 三点实际坐标通过全站仪获取。

6.根据权利要求1所述的基于视频帧的冰流速识别方法，其特征在于，所述步骤5中，视线的像素坐标表达式为：/>，/>的像素坐标表达式为：/>。