CN111160210A - 一种基于视频的水流速检测方法及系统 - Google Patents

Abstract

本发明提供了一种基于视频的水流速检测方法，基于视频的水流速检测方法具有良好的环境鲁棒性，易于实施，其通过对水面图像进行处理，提取水面纹理特征并进行匹配，根据相机成像原理计算出特征点的物理距离以及帧间时间，计算出水面流速值，经过大量试验证明，该方法所得到的水面流速具有可靠性。

Description

一种基于视频的水流速检测方法及系统

技术领域

本发明属于视频监控技术领域，尤其是涉及一种基于视频的水流速检测方法及系统。

背景技术

随着技术的进步与发展，视频监控系统在水利水纹监控场景的应用越来越广泛。洪水是汛期普遍发生的自然灾害，其现有的形成和演进机制都是在理论和常规实验上获知的，缺乏极端条件下的实测方法和数据。中小河流的长期监测，特别是山区河流洪水事件的水位、流速和流量等核心水流信息的获取对于山洪的防治有着至关重要的作用，也是目前防洪减灾工作中的难点。

现有的水流速检测通常是通过浮漂法人为观察，或者通过雷达流速仪，叶轮转速等方法进行测量，传统方法在一些场景上的应用有较大的限制，实施可能存在极大的困难。

发明内容

有鉴于此，本发明旨在提出一种基于视频的水流速检测方法及系统，属于一种非接触式的检测方法，可以减少检测人员在洪水等危险场景下进行测量时的危险系数，同时具有很好的鲁棒性。

本发明的发明构思：首先对图像进行特征点的检测和匹配，然后再将相邻视频帧的匹配点的特征点像素坐标转换为物理坐标，得到物理距离，再结合根据帧率计算出的图像帧间时间，计算出水流速。

为达到上述目的，本发明的技术方案是这样实现的：

第一方面，本发明提供一种基于视频的水流速检测方法，包括如下步骤：

1)通过相机采集水流的视频，对视频图像进行特征点检测和匹配：

首先对相邻两帧水面图像的角点进行检测，再对检测到的特征点进行SIFT特征提取，得到相应的描述子，通过SIFT特征描述子对前后两帧检测到的角点进行匹配；得到成对的匹配特征点后，再对特征点进行筛选；

2)将筛选后得到的每对匹配点的像素坐标转换为世界坐标；

3)水流流速计算：通过像素点的世界坐标，计算出每对匹配点的实际物理距离，再通过视频帧率计算出帧间时间，根据速度计算公式v＝d/t计算出每对匹配点的运动速度。

进一步的，在步骤1)通过相机采集水流的视频之前需要进行相机内参标定，包括如下内容：对标定板图像进行采集，得到标定图像；得到标定图像后，根据相机模型中世界坐标系、相机坐标系、图像坐标系和像素坐标系四个坐标系的关系，计算出相机的内参参数；通过上述方法对相机在不同变倍下的内参进行标定，得到多组变倍下的内参参数的数据，对数据进行拟合处理，得出内参参数与变倍倍数之间的关系式；在步骤2)中，首先根据相机模型中世界坐标系，相机坐标系，图像坐标系以及像素坐标系的关系，推导出像素坐标系和世界坐标系的转换关系；再通过内参参数与变倍倍数之间的关系式计算出当前变倍下的内参矩阵，结合像素坐标系和世界坐标系的转换关系得到像素点的世界坐标。

进一步的，所述筛选分为三个步骤：11)根据基于SIFT特征匹配得到的匹配度进行排序，取匹配度较高的前n个点进行下一步的筛选；12)计算每对匹配点连线的斜率，根据斜率对匹配点进行排序，选择斜率较小的前m个点进行下一步的筛选；13)计算每对匹配点的欧式距离，并根据欧式距离对匹配点进行聚类，从所得的类中选择点数最多的一类中包含的点进行下一步的计算。。

第二方面，本发明提供一种基于视频的水流速检测系统，包括：

特征点检测和匹配模块：用于采集水流的视频，对视频图像进行特征点检测和匹配，具体的，首先对相邻两帧水面图像的角点进行检测，再对检测到的特征点进行SIFT特征提取，得到相应的描述子，通过SIFT特征描述子对前后两帧检测到的角点进行匹配；得到成对的匹配特征点后，再对特征点进行筛选；

坐标转换模块，用于将筛选后得到的每对匹配点的像素坐标转换为世界坐标；

水流流速计算模块，用于通过像素点的世界坐标，计算出每对匹配点的实际物理距离，再通过视频帧率计算出帧间时间，根据速度计算公式v＝d/t计算出每对匹配点的运动速度。

第三方面，本发明提供一种电子设备，包括存储器和处理器，所述存储器存储有可被所述处理器执行的程序指令，当所述计算机程序被处理器执行时，实现上述的方法。。

第四方面，本发明提供一种非暂态计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时，实现上述的方法。

相对于现有技术，本发明所述的基于视频的水流速检测方法及系统具有以下优势：

(1)首先对图像进行特征点的检测和匹配，然后再将特征点的像素坐标转换为物理坐标，结合根据帧率计算出的图像帧间时间，计算出水流速；该方法具有很好的鲁棒性，计算结果具有可靠性；本发明对视频图像进行分析的水流速检测属于一种非接触式的检测方法，可以减少检测人员在洪水等危险场景下进行测量时的危险系数，在具体实施过程中对相机的架设位置要求较低，可通过相机的变倍调节视频中水面纹理的清晰度，因此对场景具有更普遍的适用性。

(2)对测速相机进行内参的标定和数据拟合，得到相机各变倍下内参计算方程。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例所述的标定板的示意图；

图2为相机模型中坐标系的关系图；

图3为本发明实施例所述的基于视频的水流速检测方法的整体的流程图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

且需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

本发明实施例的一种基于视频的水流速检测方法，整体流程图如图3所示，包括如下步骤：

步骤1：相机内参标定：

在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为相机标定或摄像机标定。

相机的内参标定是通过世界坐标和其对应的图像坐标，获得相机内部参数的过程，主要包含各变倍下标定图像的采集、各变倍下内参的计算和数据拟合三个部分。

本方案用标定板对相机在各个变倍下分别进行标定，计算相机的内参，并对得到的数据进行拟合，得出表示内参与变倍关系的计算方程。

具体的：标定图像的采集主要是对标定板图像进行采集，标定板如图1所示。得到标定图像后，计算相机在此变倍下内参参数是根据相机模型中世界坐标系、相机坐标系、图像坐标系和像素坐标系四个坐标系的关系，计算出所需要的内参f_x，f_y，u₀，v₀，相机模型中坐标系的关系如图2所示。通过上述方法对相机在不同变倍下的内参进行标定，得到多组变倍下的内参参数数据，对这些数据进行统计，可以得出f_x，f_y分别与变倍倍数Z成线性关系，u₀，v₀为常量，分别对f_x，f_y的值进行直线拟合，得出两条直线方程，如式(1)和式(2)，用于计算各变倍下相机的内参参数。

f_x＝a₁Z+b₁ (1)

f_y＝a₂Z+b₂ (2)

其中Z为当前相机的变倍倍数。

本发明中针对使用的相机，采集了多组标定数据，对相机各个变倍下的内参进行计算和数据拟合，采集的数据越多拟合出的内参数据就越为准确。

步骤2：图像特征点检测和匹配：

本步骤主要是对水面上的水花、漂浮物、气泡等角点特征进行检测和特征匹配，并对特征点进行筛选，选择具有代表性的特征点进行水流速的计算。

具体的，本方案采用基于SIFT特征(尺度不变特征变换Scale-invariant featuretransform)的角点检测的方法，基于SIFT特征是因为SIFT特征具有尺度不变性、旋转不变性等特性，对于流动变化较快的水面特征点的检测具有较好的鲁棒性。在得到特征点后，通过计算运动方向斜率及欧式距离聚类的方式对点进行筛选，得到能够表示水流速的特征点。

具体的：

首先对相邻两帧水面图像上的漂浮物、气泡或者明显波纹形成的角点进行检测；

然后对检测到的特征点进行SIFT特征提取，得到相应的描述子，用SIFT特征描述子对前后帧检测到的角点进行匹配；

得到成对的匹配特征点后，再对特征点进行筛选，筛选分为三个步骤：

1、根据基于SIFT特征匹配得到的匹配度进行排序，取匹配度较高的前n个点进行下一步的筛选；

2、计算每对匹配点连线的斜率，由于水流速方向为横向流速，斜率较大的点会影响流速的计算且大部分匹配正确的点的斜率不会太大，所以根据斜率对匹配点进行排序，选择斜率较小的前m个点进行下一步的筛选；

3、计算每对匹配点的欧式距离，并根据欧式距离对匹配点进行聚类，从所得的类中选择点数最多的一类中包含的点进行下一步的计算。

步骤3：图像坐标转换成世界坐标：

此步骤主要是实现对步骤2中筛选得到的每对匹配点的像素坐标到世界坐标的转换。

图像坐标转世界坐标就是将上一步骤中得到的点在图像上的像素坐标转换为世界坐标，根据相机模型中世界坐标系，相机坐标系，图像坐标系以及像素坐标系的关系，可以推导出像素坐标系和世界坐标系的转换关系如式(3)所示：

其中Zc为任意参数，(u,v,1)^T表示像素端在图像上的坐标值，K表示内参矩阵，

表示旋转矩阵，(x_w,y_w,z_w,1)^T表示该点在世界坐标系中坐标值。

再通过步骤1中拟合出的方程可以计算出当前变倍下的内参矩阵，外参矩阵可以通过测量实际得到，通过式(3)求解方程可以将特征点的图像坐标转换为世界坐标。

步骤4：水流流速计算：

通过步骤3中得到的各个像素点的世界坐标，可以计算出每对匹配点的实际物理距离，再通过视频帧率可以计算出帧间时间，即得到两个匹配点间的时间差，根据速度计算公式v＝d/t可以计算出每对匹配点的运动速度，单位m/s。

本发明中根据速度计算公式计算出每对匹配点的运动速度后，对速度进行排序，并取中值作为最终的速度输出，排除了特殊点或者错误匹配点的影响。

本发明对应上述方法提供的另一个实施例是一种基于视频的水流速检测系统，包括：

特征点检测和匹配模块：用于采集水流的视频，对视频图像进行特征点检测和匹配，具体的，首先对相邻两帧水面图像的角点进行检测，再对检测到的特征点进行SIFT特征提取，得到相应的描述子，通过SIFT特征描述子对前后两帧检测到的角点进行匹配；得到成对的匹配特征点后，再对特征点进行筛选；

坐标转换模块，用于将筛选后得到的每对匹配点的像素坐标转换为世界坐标；

水流流速计算模块，用于通过像素点的世界坐标，计算出每对匹配点的实际物理距离，再通过视频帧率计算出帧间时间，根据速度计算公式v＝d/t计算出每对匹配点的运动速度。

相比之下，本发明基于视频的水流速检测方法具有良好的环境鲁棒性，易于实施，其通过对水面图像进行处理，提取水面纹理特征并进行匹配，根据相机成像原理计算出特征点的物理距离以及帧间时间，计算出水面流速值，经过大量试验证明，该方法所得到的水面流速具有可靠性。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的装置及设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种基于视频的水流速检测方法，其特征在于，包括如下步骤：

1)通过相机采集水流的视频，对视频图像进行特征点检测和匹配：

首先对相邻两帧水面图像的角点进行检测，再对检测到的特征点进行SIFT特征提取，得到相应的描述子，通过SIFT特征描述子对前后两帧检测到的角点进行匹配；得到成对的匹配特征点后，再对特征点进行筛选；

2)将筛选后得到的每对匹配点的像素坐标转换为世界坐标；

3)水流流速计算：通过像素点的世界坐标，计算出每对匹配点的实际物理距离，再通过视频帧率计算出帧间时间，根据速度计算公式v＝d/t计算出每对匹配点的运动速度。

2.根据权利要求1所述的一种基于视频的水流速检测方法，其特征在于：在步骤1)通过相机采集水流的视频之前需要进行相机内参标定，包括如下内容：

对标定板图像进行采集，得到标定图像；得到标定图像后，根据相机模型中世界坐标系、相机坐标系、图像坐标系和像素坐标系四个坐标系的关系，计算出相机的内参参数；

通过上述方法对相机在不同变倍下的内参进行标定，得到多组变倍下的内参参数的数据，对数据进行拟合处理，得出内参参数与变倍倍数之间的关系式；

在步骤2)中，首先根据相机模型中世界坐标系，相机坐标系，图像坐标系以及像素坐标系的关系，推导出像素坐标系和世界坐标系的转换关系；再通过内参参数与变倍倍数之间的关系式计算出当前变倍下的内参矩阵，结合像素坐标系和世界坐标系的转换关系得到像素点的世界坐标。

3.根据权利要求1所述的一种基于视频的水流速检测方法，其特征在于：所述筛选分为三个步骤：

11)根据基于SIFT特征匹配得到的匹配度进行排序，取匹配度较高的前n个点进行下一步的筛选；

12)计算每对匹配点连线的斜率，根据斜率对匹配点进行排序，选择斜率较小的前m个点进行下一步的筛选；

13)计算每对匹配点的欧式距离，并根据欧式距离对匹配点进行聚类，从所得的类中选择点数最多的一类中包含的点进行下一步的计算。

4.一种基于视频的水流速检测系统，其特征在于，包括：

特征点检测和匹配模块：用于采集水流的视频，对视频图像进行特征点检测和匹配，具体的，首先对相邻两帧水面图像的角点进行检测，再对检测到的特征点进行SIFT特征提取，得到相应的描述子，通过SIFT特征描述子对前后两帧检测到的角点进行匹配；得到成对的匹配特征点后，再对特征点进行筛选；

坐标转换模块，用于将筛选后得到的每对匹配点的像素坐标转换为世界坐标；

水流流速计算模块，用于通过像素点的世界坐标，计算出每对匹配点的实际物理距离，再通过视频帧率计算出帧间时间，根据速度计算公式v＝d/t计算出每对匹配点的运动速度。

5.一种电子设备，其特征在于，包括存储器和处理器，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至3任一所述的方法。

6.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序被处理器执行时，实现如权利要求1至3任一所述的方法。

Images