CN115471777A - 基于视频识别的精细化水流速度场获取方法和系统 - Google Patents

Abstract

本发明是一种基于视频识别的精细化水流速度场获取方法和系统，该方法包括：采集目标流体的视频，并对视频中的图像进行正摄影校正和尺度标定；将视频转换为连续的多帧图像，选定多帧图像中待测量的目标流体区域的图像；计算多帧的目标流体区域的图像的每相邻两帧图像中的像素点的位移，采用基于计算机视觉技术的图像处理算法，计算所有像素点的运动位移，结合每相邻两帧图像采样的间隔时间，获取所有像素点的瞬时流速计算结果；将得到的所有像素点的多个瞬时流速计算结果进行统计分析，获取目标流体区域的全流场的速度信息。该系统包括：图像采集模块、图像处理模块、区域框选模块、流场计算模块、统计分析模块。本发明可实现流场的快速准确测量。

Description

基于视频识别的精细化水流速度场获取方法和系统

技术领域

本发明涉及视频测量学的技术领域，尤其涉及一种基于视频识别的精细化水流速度场获取方法和系统。

背景技术

随着计算机视觉等人工智能技术的发展，基于视频识别的测量方法和技术已经应用于交通、土木、水利等基础设施建设领域。水流流速测量在实际工程规划设计以及抢险救灾中具有重要作用，如河流水利工程、跨河桥梁设计、洪水监测、城市防洪等方面，可靠的流场数据有助于评估灾害程度，可对灾害进行实时监测和预警，从而指导相关管理部门进行应急决策，同时准确的现场测量数据也可为流场预测数学模型提供可靠的数据支持。

传统的流速测量方法主要为接触式测量，如声学多普勒流速仪(ADV)和激光多普勒流速仪(LDA)，存在以下几个问题：1)测量仪器或探针侵入水体中对测量流场造成干扰；2)只能获得单点或一条垂线的流速，无法同步获得整个精细化流场的空间结果。

基于视频和图像识别技术的流场成像可以一次呈现精细化水流速度分布，具有广阔的应用前景。目前应用最广泛的为粒子成像测速技术(PIV)，然而PIV局限于清水或气泡很少的情况，更重要的是PIV需要在水体中撒入示踪粒子，通过捕捉示踪粒子的运动来获得水体质点流速。因此，PIV对于示踪粒子的依赖性很强，主要适用于室内实验室小尺度的精细化流场测量。此外PIV需要配套激光照亮测量面，也限制了其在野外测量中的应用。

发明内容

本发明提供了一种基于视频识别的精细化水流速度场获取方法和系统，用以解决现有技术无法同步获得整个流场的空间结果以及对于示踪粒子的依赖性强的技术问题。

本发明为实现上述目的，采用以下技术方案：

基于视频识别的精细化水流速度场获取方法，具体步骤为：

S1、采集目标流体的视频，并对所述视频中的图像进行正摄影校正和尺度标定；

S2、将所述视频转换为连续的多帧图像，选定多帧图像中待测量的目标流体区域的图像；

S3、计算多帧的目标流体区域的图像的每相邻两帧图像中的所有像素点的位移，采用基于计算机视觉技术的图像处理算法，计算同一灰度值的像素点的运动位移，并结合每相邻两帧图像采样的间隔时间，进行流速计算，获取所有像素点的瞬时流速计算结果；

S4、将得到的所有的选定像素点的多个所述瞬时流速计算结果进行统计分析，获取目标流体区域的全流场的速度信息。

步骤S1中，所述尺度标定包括相机内部参数标定和外部参数标定；

所述内部参数标定包括：用相机拍摄打印好的棋盘格图获取棋盘格图图像，通过棋盘格图图像与棋盘格图的比对，计算出相机的内参数据；

所述外部参数标定包括：通过设置多个地面控制点获得投影系数，计算式如下：

其中，(X,Y)和(x,y)分别为控制点实际坐标和图像中的像素坐标；A₁-C₃均为投影系数。

步骤S1中，对所述视频中的图像进行正摄影校正，包括：通过投影系数将图像的像素坐标转换为实际坐标，通过坐标插值得到正摄影图像。

步骤S2中，在选定多帧图像中待测量的目标流体区域的图像后，对目标流体区域的图像进行前处理，包括：

使用高斯滤波对原始图像进行卷积，生成背景图像；

利用原始图像减去背景图像得到前景图像；

最后对前景图像进行灰度拉伸，得到前处理完成后的目标流体区域的图像。

步骤S3中，计算多帧的目标流体区域的图像的每相邻两帧图像中的所有像素点的位移时，采用邻域网格的方法，通过下式在邻域网格中进行位移求解：

其中，d为相邻两帧图像间像素点的位移矢量，A₁、b₁、b₂为与像素点灰度值有关的系数矩阵。

步骤S3中，计算多帧的目标流体区域的图像的每相邻两帧图像中的所有像素点的位移时，还包括：

使用设定比例因子对图像进行多次缩放，并以该图像为底层依次向上排列构成具有不同分辨率的图像；由顶层到底层图像分辨率逐渐增大；

在流场计算时，从最顶层的图像开始向下一层求解；每一层得到的结果作为下一层求解的初始值；

经过逐层依次向下求解和结果修正，识别连续两帧图像中的每个像素点的位移。

基于视频识别的精细化水流速度场获取系统，包括：

图像采集模块，用于采集目标流体的视频，并对所述视频中的图像进行正摄影校正和尺度标定；

区域框选模块，用于将所述视频转换为连续的多帧图像，选定多帧图像中待测量的目标流体区域的图像；

流场计算模块，计算多帧的目标流体区域的图像的每相邻两帧图像中的所有像素点的位移，采用基于计算机视觉技术的图像处理算法，计算同一灰度值的像素点的运动位移，并结合每相邻两帧图像采样的间隔时间，进行流速计算，获取所有像素点的瞬时流速计算结果；

统计分析模块，用于将得到的所有像素点的多个所述瞬时流速计算结果进行统计分析，得到目标流体区域的全流场的速度信息。

还包括：

图像处理模块，包括尺度标定单元以及正摄影校正单元；

所述尺度标定单元，用于进行相机内部参数标定和外部参数标定，包括用相机拍摄打印好的棋盘格图获取棋盘格图图像，通过棋盘格图图像与棋盘格图的比对，计算出相机的内参数据；以及通过设置多个地面控制点获得投影系数，计算式如下：

其中，(X,Y)和(x,y)分别为控制点实际坐标和图像中的像素坐标；A1-C3均为投影系数；

所述正摄影校正单元，用于通过投影系数将图像的像素坐标转换为实际坐标，通过坐标差值得到正摄影图像。

本发明的有益效果是：本发明的基于视频识别的精细化水流速度场获取方法和系统，可通过计算机视觉以及图像识别的方法，实现流场的快速准确测量；过程中无需施放额外的人工示踪粒子；借助于自然光照，无需额外的激光辅助；该方法适用广泛，可应用于河流、洪水等监测以及桥梁抗洪水、城市防洪等领域。

附图说明

图1为本发明的基于视频识别的精细化水流速度场获取方法的流程示意图；

图2为本发明实施例中得到的某一天然河流的水流速度矢量图；

以下将结合本发明的实施例参照附图进行详细叙述。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。在下列段落中参照附图以举例方式更具体地描述本发明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。当一个组件被认为是“设置于”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中组件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

下面结合附图和实施例对本发明作进一步说明：

基于视频识别的精细化水流速度场获取方法，如图1所示，具体步骤为：

S1、采集目标流体的视频，并对所述视频中的图像进行正摄影校正和尺度标定；

S2、将所述视频转换为连续的多帧图像，选定多帧图像中待测量的目标流体区域的图像；

S3、计算多帧的目标流体区域的图像的每相邻两帧图像中的所有像素点的位移，采用基于计算机视觉技术的图像处理算法，计算同一灰度值的像素点的运动位移，并结合每相邻两帧图像采样的间隔时间，进行流速计算，获取所有像素点的瞬时流速计算结果；

S4、将得到的所有的选定像素点的多个所述瞬时流速计算结果进行统计分析，获取目标流体区域的全流场的速度信息。

通过上述步骤，可快速得到全流场的速度信息。

在实际实施时，可将相机固定于三脚架、测车或桥面，采集视频，对于某些野外比较危险或人工无法进入的地区，采用无人机挂载相机的悬停拍摄方式获得视频源。由于实际相机无法做到完全垂直拍摄，通常多为倾斜拍摄方式采集影像，因此需要对图像进行正摄影校正，即把倾斜拍摄的图像转换为垂直于测量面拍摄的图像，使得图像各个像素点的空间分辨率一致。还需要将图像中获得的以像素为单位的位移转换为实际的尺度，采用比例换算系数的标定方法。室内实验室测量中可采用标准的四方棋格标定板；野外情况下可采用天然特征物或者已知的实际距离进行标定。

步骤S1中，所述尺度标定包括相机内部参数标定和外部参数标定；

所述内部参数标定包括：用相机拍摄打印好的棋盘格图获取棋盘格图图像，通过棋盘格图图像与棋盘格图的比对(将图像传入函数)，计算出相机的内参数据；

所述外部参数标定包括：通过设置多个地面控制点获得投影系数，计算式如下：

其中，(X,Y)和(x,y)分别为控制点实际坐标和图像中的像素坐标；A₁-C₃均为投影系数。

步骤S1中，对所述视频中的图像进行正摄影校正，包括：通过投影系数将图像的像素坐标转换为实际坐标，通过坐标插值得到正摄影图像。

步骤S2中，在选定多帧图像中待测量的目标流体区域的图像后，对目标流体区域的图像进行前处理，包括：

使用高斯滤波对原始图像进行卷积，生成背景图像；

利用原始图像减去背景图像得到前景图像；

最后对前景图像进行灰度拉伸，得到前处理完成后的目标流体区域的图像。

即采用框选方法(即选定矩形计算区域的4个坐标点)选定流场计算区域，采用二值化及灰度拉伸的方法突出图像中的特征点。

在计算连续两帧间选定像素点的位移时，利用多项式对每个像素的邻域信息进行近似表示，可计算出图像上所有像素的位移，具体为将图像中每一像素点的灰度值表示为与像素点位置有关的二项式函数：

I₁(x,y)＝a₁+a₂x+a₃y+a₄x²+a₅y²+a₆xy

式中I₁为第一帧图像中的像素点的灰度值，a₁～a₆为二项式系数，x和y为像素点的横、纵坐标。

上式可写为如下矢量形式：

I₁(X)＝X^TA₁X+b₁X+c₁

根据灰度不变假设，连续两帧图片灰度值相等，有如下式：

I₂(X)＝I₁(X-d)

＝(X-d)^TA₁(X-d)+b₁(X-d)+c₁

＝X^TA₁X+(b₁-2A₁d)^TX+d^TA₁d-b₁ ^Td+c₁

＝X^TA₂X+b₂X+c₂

上式中d为像素点的位移矢量，根据式上式可推导出相邻两帧间像素点的位移为：

其中，d为相邻两帧图像间像素点的位移矢量，A₁、b₁、b₂为与像素点灰度值有关的系数矩阵。

根据上式进行迭代求解可得到位移值。

实际计算中，采用邻域网格的方法，即设定好邻域尺寸，对上式在邻域网格中进行求解。

根据求得的位移矢量，结合时间间隔，可得到速度矢量为：

上式中v为像素点的速度矢量，Δt为相邻两帧图像的时间间隔。

上述方法是在小位移目标物体运动的假设基础上。对于一些流速很大的应用场景中，特征点的位移较大计算误差较大，可采用多分辨率的图像处理技术解决大位移运动的问题。

步骤S3中，计算多帧的目标流体区域的图像的每相邻两帧图像中的所有像素点的位移时，还包括：

使用设定比例因子对图像进行多次缩放，并以该图像为底层依次向上排列构成具有不同分辨率的图像；由顶层到底层图像分辨率逐渐增大；

在流场计算时，从最顶层的图像开始向下一层求解；每一层得到的结果作为下一层求解的初始值；

经过逐层依次向下求解和结果修正，识别连续两帧图像中的每个像素点的位移。实现位移“由粗到细”的计算。

实施时，可对瞬时流场计算结果进行实时输出显示，对瞬时流场进行时均统计可得到时均流速场，根据视频帧率和标定得到的比例转换系数，可得到实际的时均流速，如图2所示为通过上述方法计算得到的某一河流的流速矢量图。

基于视频识别的精细化水流速度场获取系统，包括：

图像采集模块，用于采集目标流体的视频，并对所述视频中的图像进行正摄影校正和尺度标定；

区域框选模块，用于将所述视频转换为连续的多帧图像，选定多帧图像中待测量的目标流体区域的图像；

流场计算模块，计算多帧的目标流体区域的图像的每相邻两帧图像中的所有像素点的位移，采用基于计算机视觉技术的图像处理算法，计算同一灰度值的像素点的运动位移，并结合每相邻两帧图像采样的间隔时间，进行流速计算，获取所有像素点的瞬时流速计算结果；

统计分析模块，用于将得到的所有像素点的多个所述瞬时流速计算结果进行统计分析，得到目标流体区域的全流场的速度信息。

还包括：

图像处理模块，包括尺度标定单元以及正摄影校正单元；

所述尺度标定单元，用于进行相机内部参数标定和外部参数标定，包括用相机拍摄打印好的棋盘格图获取棋盘格图图像，通过棋盘格图图像与棋盘格图的比对，计算出相机的内参数据；以及通过设置多个地面控制点获得投影系数，计算式如下：

其中，(X,Y)和(x,y)分别为控制点实际坐标和图像中的像素坐标；A1-C3均为投影系数；

所述正摄影校正单元，用于通过投影系数将图像的像素坐标转换为实际坐标，通过坐标差值得到正摄影图像。

本实施例的图像采集模块，可以使用摄像机。根据测量对象和应用场景的不同可采用不同要求的摄像设备，如具有高频(>500Hz)摄像功能的CCD或CMOS相机，或者普通的数码相机或智能手机等。实验室内，若流场属于高速流或者主要关注高频脉动，可以选择高频摄像机；天然情况下，如河流或洪水，主要关注其时均流速，因此可选择普通的数码相机或智能手机。摄像机可配合相机载体使用。例如是固定摄像机的装置，分为固定式和移动式。室内实验室测量还可根据测量对象或者角度定制个性化的固定装置；野外天然情况下也可采用固定式(如三脚架)或移动式(如移动检测车或者无人机)。

摄像机还可配合拍摄辅助系统。主要为补充光源系统，由于某些拍摄环境下光照不足会导致拍摄图像质量下降，进而影响测量精度，因此采用LED灯作为补偿照明光源。摄像数据传输、存储和计算系统，可用于存储相机采集到的视频或图像流，并采用相应的流场算法进行分析计算。可采用便携式的笔记本电脑或者智能手机，若数据量较大或者计算要求较高，可采用带有GPU的计算机。

综上可知，本发明通过捕捉视频中每个像素点灰度值的变化即可得到精细化的水流速度矢量场。此外无需额外的激光照射测量面，因此不仅可用于室内实验室的流场测量，还可应用于野外天然情况下的流场测量，比如天然河流、近海岸潮水、城市洪水等。

上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种改进，或未经改进直接应用于其它场合的，均在本发明的保护范围之内。

Claims (8)

1.基于视频识别的精细化水流速度场获取方法，其特征在于，具体步骤为：

S1、采集目标流体的视频，并对所述视频中的图像进行正摄影校正和尺度标定；

S2、将所述视频转换为连续的多帧图像，选定多帧图像中待测量的目标流体区域的图像；

S3、计算多帧的目标流体区域的图像的每相邻两帧图像中的所有像素点的位移，采用基于计算机视觉技术的图像处理算法，计算同一灰度值的像素点的运动位移，并结合每相邻两帧图像采样的间隔时间，进行流速计算，获取所有像素点的瞬时流速计算结果；

S4、将得到的所有的选定像素点的多个所述瞬时流速计算结果进行统计分析，获取目标流体区域的全流场的速度信息。

2.根据权利要求1所述的基于视频识别的精细化水流速度场获取方法，其特征在于，

步骤S1中，所述尺度标定包括相机内部参数标定和外部参数标定；

所述内部参数标定包括：用相机拍摄打印好的棋盘格图获取棋盘格图图像，通过棋盘格图图像与棋盘格图的比对，计算出相机的内参数据；

所述外部参数标定包括：通过设置多个地面控制点获得投影系数，计算式如下：

其中，(X,Y)和(x,y)分别为控制点实际坐标和图像中的像素坐标；A₁-C₃均为投影系数。

3.根据权利要求2所述的基于视频识别的精细化水流速度场获取方法，其特征在于，

步骤S1中，对所述视频中的图像进行正摄影校正，包括：通过投影系数将图像的像素坐标转换为实际坐标，通过坐标插值得到正摄影图像。

4.根据权利要求3所述的基于视频识别的精细化水流速度场获取方法，其特征在于，

步骤S2中，在选定多帧图像中待测量的目标流体区域的图像后，对目标流体区域的图像进行前处理，包括：

使用高斯滤波对原始图像进行卷积，生成背景图像；

利用原始图像减去背景图像得到前景图像；

最后对前景图像进行灰度拉伸，得到前处理完成后的目标流体区域的图像。

5.根据权利要求4所述的基于视频识别的精细化水流速度场获取方法，其特征在于，

步骤S3中，计算多帧的目标流体区域的图像的每相邻两帧图像中的所有像素点的位移时，采用邻域网格的方法，通过下式在邻域网格中进行位移求解：

其中，d为相邻两帧图像间像素点的位移矢量，A₁、b₁、b₂为与像素点灰度值有关的系数矩阵。

6.根据权利要求5所述的基于视频识别的精细化水流速度场获取方法，其特征在于，

步骤S3中，计算多帧的目标流体区域的图像的每相邻两帧图像中的所有像素点的位移时，还包括：

使用设定比例因子对图像进行多次缩放，并以该图像为底层依次向上排列构成具有不同分辨率的图像；由顶层到底层图像分辨率逐渐增大；

在流场计算时，从最顶层的图像开始向下一层求解；每一层得到的结果作为下一层求解的初始值；

经过逐层依次向下求解和结果修正，识别连续两帧图像中的每个像素点的位移。

7.基于视频识别的精细化水流速度场获取系统，应用于权利要求6所述的基于视频识别的精细化水流速度场获取方法中，其特征在于，包括：

图像采集模块，用于采集目标流体的视频，并对所述视频中的图像进行正摄影校正和尺度标定；

区域框选模块，用于将所述视频转换为连续的多帧图像，选定多帧图像中待测量的目标流体区域的图像；

流场计算模块，计算多帧的目标流体区域的图像的每相邻两帧图像中的所有像素点的位移，采用基于计算机视觉技术的图像处理算法，计算同一灰度值的像素点的运动位移，并结合每相邻两帧图像采样的间隔时间，进行流速计算，获取所有像素点的瞬时流速计算结果；

统计分析模块，用于将得到的所有像素点的多个所述瞬时流速计算结果进行统计分析，得到目标流体区域的全流场的速度信息。

8.根据权利要求7所述的基于视频识别的精细化水流速度场获取系统，其特征在于，还包括：

图像处理模块，包括尺度标定单元以及正摄影校正单元；

所述尺度标定单元，用于进行相机内部参数标定和外部参数标定，包括用相机拍摄打印好的棋盘格图获取棋盘格图图像，通过棋盘格图图像与棋盘格图的比对，计算出相机的内参数据；以及通过设置多个地面控制点获得投影系数，计算式如下：

其中，(X,Y)和(x,y)分别为控制点实际坐标和图像中的像素坐标；A1-C3均为投影系数；

所述正摄影校正单元，用于通过投影系数将图像的像素坐标转换为实际坐标，通过坐标差值得到正摄影图像。

Images