CN112686204B - 一种基于稀疏像素点跟踪的视频测流方法及装置 - Google Patents

Abstract

本发明公开了一种基于稀疏像素点跟踪进行视频测流的方法及装置，属于水文测流技术领域。本发明利用稀疏像素点跟踪结合图像灰度特征的角点，在小块区域内对角点进行跟踪，利用帧间位移经透视变换转化成实际位移，最后计算出河流表面流速。本发明提出的方法采用完全非接触式的视频测流，且不用示踪物，节省了人力，缩短了测量时间，提高了工作效率。

Description

一种基于稀疏像素点跟踪的视频测流方法及装置

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于稀疏像素点跟踪的视频测流方法，还涉及一种基于稀疏像素点跟踪的视频测流装置。

背景技术

河流流速测量是天然河道与人工渠道中水流监测的重要任务之一，准确的监测水流状况有利于防范山洪等地质灾害。近年来，非接触式明渠水流监测技术在传感器及嵌入式技术的推动下取得了长足进步，基于声学、光学、雷达及图像的测流仪器显著提高了水文测验及水利量测的效率及安全性。专利公开号为CN107590819A的发明专利提出了一种基于压缩感知图像分析的河流表面流速估计方法可以实现河流流速实时监测以及数据远程传输，但此方法只能得到一个流速区间，并不能得到准确的流速，有一定的局限性。专利公开号为CN111605666A的发明专利提出了一种新型全自动定位浮标装置及其使用方法可为无人机水面测流或视频测流提供标定标志物，有效的提高了水流表面流速监测的高效性，但是浮标的使用还是具有一定的局限性。

虽然这些方法都已经被广泛的研究并取得了实际的应用，但都有不足的地方，基于压缩感知图像分析的河流表面流速估测只能得到一个流速区间，浮标装置在湍流情况下得不到保证，因此迫切的需要一种相对更加精确和简单的方法来监测河流的流速。本发明结合稀疏像素点跟踪与灰度特征角点相结合作为新的视频测流方法。。

发明内容

本发明的目的在于克服现有技术中的不足，提供了一种基于稀疏像素点跟踪的视频测流方法，准确的测量出河流表面的流速，进而得到平均流速。

为解决上述技术问题，本发明提供了一种基于稀疏像素点跟踪的视频测流方法，包括以下过程：

将视频流中每帧图像转换为灰度图；

获取测速线的起点和终点，根据测速线起点和终点确定测速线上搜索区域中心点及对应的搜索区域；

基于稀疏像素点跟踪方法计算相邻帧之间搜索区域的帧间位移，将视频流中所有相邻帧之间搜索区域的帧间位移的平均值作为搜索区域的帧间位移；

根据搜索区域的帧间位移，计算获得测速线上搜索区域中心点的流速。

进一步的，所述根据测速线起点和终点确定测速线上搜索区域中心点及对应的搜索区域，包括：

根据测速线的起点和终点，对测速线的起点到终点连线进行分段，以测速线上的分段点作为搜索区域中心点；

对于任一搜索区域中心点(x,y)，对应的搜索区域为(x-r:x+r,y-r:y+r)，其中r为分段后每一小段的x方向上距离的一半和y方向上距离的一半两者中绝对值取整较大者。

进一步的，所述分段采取等分原则，分段数目由断面数据的个数确定。

进一步的，所述基于稀疏像素点跟踪方法计算相邻帧之间搜索区域的帧间位移，包括：

在当前帧中寻找搜索区域内所有角点；

对于每一个角点，在下一帧相同的搜索区域利用稀疏像素点跟踪方法跟踪该角点，计算得到该角点的帧间像素位移；

将搜索区域内所有角点的帧间像素位移的平均值作为相邻帧之间搜索区域的帧间位移。

进一步的，所述寻找搜索区域内所有角点，包括：

根据Shi-Tomasi角点检测算法寻找搜索区域内所有角点。

进一步的，所述在下一帧相同的搜索区域利用稀疏像素点跟踪方法跟踪角点，计算得到帧间像素位移，包括：

(1)通过对当前帧的搜索区域图像I和下一帧搜索区域图像J连续降采样构建图像金字塔：

定义当前帧搜索区域图像I的金字塔表示为：I⁰＝I，第0层为原始图像，该层图像的宽度和高度分别为：

其中n_x为原始图像的宽度，n_y为原始图像的高度，然后以递归的方式构建图像的金字塔表示I¹，I²，I³……I^L-1，则第L层的图像可表示为式(1)：

同理可构建下一帧搜索区域图像J的金字塔J⁰,J¹,J²,J³……J^L；

(2)跟踪找到的角点：

令当前帧搜索区域图像I⁰中角点的坐标为p(x,y)，在第L层图像I^L中对应的点坐标为p^L(x^L,y^L)，则有：

设第L层的初始像素位移估计为g^L＝[0 0]^T，令d^L为L层迭代计算得到的像素位移增量，则有金字塔相邻层的像素位移计算式(2)：

经过迭代计算，角点在两帧之间最终的像素位移计算结果为式(3)：

其中得到每一层像素位移增量

的迭代计算的过程为：令第L层的像素位移增量d^L为

可由式(4)和式(5)进行迭代所得：

其中，

为每次迭代计算的像素位移增量，k为迭代计算的次序，I_x为当前帧搜索区域图像I在x方向上的导数，I_y为当前帧搜索区域图像I在y方向的导数，

令总迭代次数为K，迭代初始值为

则经过K次迭代后，像素位移向量d^L的最终解为式(6)：

将角点在两帧之间的像素位移作为角点的帧间像素位移。

进一步的，所述根据搜索区域的帧间位移，计算获得测速线上搜索区域中心点的流速，包括：

将搜索区域的帧间位移转换为世界坐标系中的搜索区域的实际位移，所述世界坐标系为基于标记点构建的坐标系；

根据搜索区域的实际位移，计算获得测速线上搜索区域中心点的流速。

进一步的，所述将搜索区域的帧间位移转换为世界坐标系中的搜索区域的实际位移，包括：

获取标记点A,B,C,D的坐标及四点两两之间的距离；

根据A,B,C,D四点两两之间的距离，计算出A,B,C,D四个点在世界坐标系中的坐标；

根据A,B,C,D四个点的坐标和世界坐标系中的坐标，计算获得透视变换的矩阵；

基于透视变换矩阵将搜索区域的帧间位移转换为世界坐标系中的搜索区域的实际位移。

进一步的，所述根据A,B,C,D四点两两之间的距离求出A,B,C,D四个点在世界坐标系中的坐标，包括：

(1-1)令A点为原点，取AB为x方向构建世界坐标系，则A点在世界坐标系中的坐标为(0,0)，B点在世界坐标系中的坐标为(AB,0)；

(1-2)计算COS(∠BAC)：若COS(∠BAC)>＝0，则点C的实际坐标为

若COS(∠BAC)<0，则点C的实际坐标为

(1-3)计算COS(∠BAD)：若COS(∠BAD)>＝0，则点D的实际坐标为

若COS(∠BAD)<0，则点D的实际坐标为

其中，AB,BC,CD,DA,AC,BD为A,B,C,D四个标记点在世界坐标系中两两之间的距离。

相应的，本发明还提供了一种基于稀疏像素点跟踪的视频测流装置，包括：

帧图像获取模块，用于将视频流中每帧图像转换为灰度图；

搜索区域确定模块，用于获取测速线的起点和终点，根据测速线起点和终点确定测速线上搜索区域中心点及对应的搜索区域；

帧间位移计算模块，用于基于稀疏像素点跟踪方法计算相邻帧之间搜索区域的帧间位移，将视频流中所有相邻帧之间搜索区域的帧间位移的平均值作为搜索区域的帧间位移；

流速计算模块，用于根据搜索区域的帧间位移，计算获得测速线上搜索区域中心点的流速。

与现有技术相比，本发明所达到的有益效果是：

1)采用完全非接触式的视频测流，无需示踪物，避免示踪物对河流造成污染，不需要相似算法中的示踪物识别运算，提高了算法效率；

2)相比于目前使用较为广泛的测流方法，节省了投入测流测验工作的人数，显著缩短测量时间，提高了工作效率，视频采集设备维护也较为简单。

附图说明

为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明，其中：

图1为本发明方法处理流程示意图；

图2为河道测流场景示意图；

图3为计算实际坐标的程序流程图；

图4为具体实施例1步骤S4和S5合并的程序流程图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例1

本发明的技术构思为：利用稀疏像素点跟踪方法直接跟踪灰度特征的角点，将帧间位移转化为实际位移最后计算得到表面流速。

本发明的一种基于稀疏像素点跟踪的视频测流方法，参见图1所示，包括以下过程：

步骤1，将视频进行切帧，总帧数为：帧速率*视频总时长；并将每帧图像转换为灰度图保存在帧数组中，像素点的跟踪都在帧数组中的灰度图上进行。

步骤2，获取预先存储好的文件coordination_information，该文件中存储了四个标记点、测速线起点和终点在视频中的坐标以及四个标记点在世界坐标系中两两之间的距离，从中获取标记点、测速线的信息；并在预先存储了断面数据的文件station_information里面获取断面数据；

河道测流场景示意图如图2，包括四个标记点、测速线起点和终点；

具体过程为：

(1)根据文件coordination_information的存储地址读取文件，获取四个标记点(A,B,C,D)在视频中的坐标信息、四个标记点在世界坐标系中两两之间的距离(AB,BC,CD,DA,AC,BD)信息、测速线起点(E)和终点(F)在视频中的坐标信息，其中四个标记点应该为顺时针方向依次标记；

(2)将六个点的坐标和四个标记点两两之间的距离分别存放在两个数据字典中。

(3)根据文件station_informationde存储地址读取文件，获取断面数据信息，令length为读取的断面数据的个数。

步骤3，根据测速线起点和终点确定搜索区域；

具体处理过程包括：

(1)根据测速线的起点和终点坐标，对测速线在图像上x方向的距离和y方向的距离都分段，其中分段原则是采取的等分原则，分段数目是根据断面数据的个数length所决定的。

(2)以测速线起点的坐标值依次分别在x方向上加上每一小段的距离和在y方向上加上每一小段的距离，均作为搜索区域的中心点(x,y)存放到数组中。

例如E(x1,y1)、F(x2,y2)分别为测速线的起点和终点，则x方向的每一小段距离为x_step＝(x2-x1)/(length+1)，y_step＝(y2-y1)/(length+1)。

则中心点分别为P₁(x1+x_step,y1+y_step)、P₂(x1+2*x_step,y1+2*y_step)……P_length(x1+length*x_step,y1+length*y_step)。

(3)令r为(1)中得到的分段后每一小段的x方向上距离的一半(x_step_half)和y方向上距离的一半(y_step_half)两者绝对值取整较大者，公式表达为：r＝max([|x_step_half|],[|y_step_half|])，其中[]为取整。

(4)在当前帧图像和下一帧图像中找到(2)得到的多个区域中心点，对于每个区域中心点，取寻找角点的搜索区域为(x-r:x+r,y-r:y+r)，则搜索区域的大小为(2*r)*(2*r)。

步骤4，在每个搜索区域内根据像素点的灰度特征(搜索区域内每个像素点的灰度值)寻找搜索区域内易于跟踪的像素点作为角点。

角点个数由搜索区域的大小决定，角点个数可以为1个，可以为多个。本发明实施例中一个搜索区域内角点为r个。

本发明实施例中，根据Shi-Tomasi角点检测算法在一个搜索区域内寻找角点。Shi-Tomasi角点检测算法的基本原理是：使用一个固定窗口在图像上进行任意方向上的滑动，比较滑动前与滑动后两种情况，窗口中的像素灰度变化程度，如果存在任意方向上的滑动，都有着较大灰度变化，那么我们可以认为该窗口中存在角点。

滑动过程中角点判断具体过程为：

(1)计算当前帧搜索区域图像的灰度矩阵I(x,y)。

(2)计算矩阵

其中w(x,y)为窗口函数，窗口函数可以是正常的矩形窗口也可以是对每一像素点给予不同权重的高斯窗口，I_x为I(x,y)在x方向上导数，I_y为I(x,y)在y方向上导数。

(3)计算矩阵M的特征值λ₁,λ₂，角点打分函数为R＝min(λ₁,λ₂)，如果打分超过设定阈值(范围为0-1)，即判断此窗口区域存在角点，窗口中心点为角点。

步骤5，在下一帧相同的搜索区域利用稀疏像素点跟踪方法跟踪当前帧寻找到的角点，得到帧间像素位移；

具体包括：

(1)通过对当前帧的搜索区域图像I和下一帧搜索区域图像J连续降采样构建图像金字塔：

定义当前帧搜索区域图像I的金字塔表示为：I⁰＝I，第0层为原始图像，该层图像的宽度和高度分别为：

其中n_x为原始图像的宽度，n_y为原始图像的高度，然后以递归的方式构建图像的金字塔表示I¹，I²，I³……I^L-1，则第L层的图像可表示为式(1)：

同理可构建下一帧搜索区域图像J的金字塔J⁰,J¹,J²,J³……J^L。

(2)跟踪找到的角点：

令当前帧搜索区域图像I⁰中角点的坐标为p(x,y)，在第L层图像I^L中对应的点坐标为p^L(x^L,y^L)，则有：

设顶层(第L层)的初始像素位移估计为g^L＝[0 0]^T，令d^L为L层迭代计算得到的像素位移增量，则有金字塔相邻层的像素位移计算式(2)：

经过迭代计算，角点在两帧之间最终的像素位移计算结果为式(3)：

其中得到每一层像素位移增量

的迭代计算的过程为：令第L层的像素位移增量d^L为

可由式(4)和式(5)进行迭代所得：

其中，

为每次迭代计算的像素位移增量，k为迭代计算的次序，I_x为当前帧搜索区域图像I在x方向上的导数，I_y为当前帧搜索区域图像I在y方向的导数，

令总迭代次数为K，迭代初始值为

则经过K次迭代后，像素位移向量d^L的最终解为式(6)：

用当前帧角点的坐标，加上得到的角点在两帧之间的像素位移即可得到下一帧角点的坐标。

(3)将最终角点在两帧之间的像素位移作为角点的帧间位移，求搜索区域所有角点帧间位移的平均值作为此搜索区域的帧间位移。

在整个视频里面所有相邻帧的多个搜索区域都进行步骤4和步骤5，设视频总共有f帧，则进行f-1次迭代。在每两个相邻帧计算时需要进行搜索区域个数次迭代，得到相邻帧多个搜索区域的帧间位移。最后整个视频迭代计算完成，得到所有相邻帧多个搜索区域帧间位移，求其平均值作为最终测速线上多个搜所区域(即中心点)的帧间位移。帧间位移的个数和搜索区域的个数相同。

步骤6，将帧间位移经透视变换转化为实际位移；

具体包括：

(1)根据A,B,C,D四点两两之间的距离求出A,B,C,D四个点在世界坐标系中的坐标，其中包括：

(1-1)由于四个标记点在同一平面内，且知道四个点两两之间的距离，则可以自己构建坐标系，求出四个标记点在世界坐标系中的坐标。

令A点为原点，取AB为x方向构建世界坐标系，则A点在世界坐标系中的坐标为(0,0)，B点在世界坐标系中的坐标为(AB,0)；

(1-2)计算COS(∠BAC)：若COS(∠BAC)>＝0，则点C的实际坐标为

若COS(∠BAC)<0，则点C的实际坐标为

(1-3)计算COS(∠BAD)：若COS(∠BAD)>＝0，则点D的实际坐标为

若COS(∠BAD)<0，则点D的实际坐标为

计算流程图如图3所示。

(2)根据A,B,C,D四个点在图上的坐标和实际中的坐标求透视变换的矩阵。

(3)用最终得到的整个视频中图像上帧间位移的起点和终点乘上透视变换矩阵得到实际中的起点和终点的坐标，从而得到实际位移。

步骤7，将实际位移经过计算转换为河流表面流速。

利用搜索区域的帧间实际位移除以帧速率即得到河流表面测速线上搜索区域中心点的表面流速。

本发明利用稀疏像素点跟踪结合图像灰度特征的角点，在小块区域内对角点进行跟踪，利用帧间位移经透视变换转化成实际位移，最后计算出河流表面流速。本发明提出的方法采用完全非接触式的视频测流，且不用示踪物，节省了人力，缩短了测量时间，提高了工作效率，视频采集设备易于维护。

实施例2

步骤S1：选取某水文站的视频数据，视频时长为10秒，视频帧速率为30s/帧，每帧大小为1920*1080。

首先对视频进行切帧，再将每一帧转为灰度图存放在帧序列数组frames中。

步骤S2：读取四个标记点的图上坐标信息为A(902,236)，B(1323,279)，C(896,1052)，D(111,465)；测速线起点图上坐标为E(827，971)，终点图上坐标为F(1747，315)；四个标记点两两之间的实际距离为AB＝20.87，BC＝27.97，CD＝17.05，DA＝24.77，AC＝27.17，BD＝36.63；断面数据个数length＝15。并将六个点的坐标存于points数据字典中，将四个标记点两两之间的距离存于distance数据字典中。

步骤S3：

(1)利用测速线起点和终点的坐标值之差分别除以(length+1)得到x_step＝-57.5，y_step＝41.0；

(2)利用起点坐标的x加上x方向上的距离，y加上y方向上的距离得到15个区域中心点(即起点和终点连线上的分段点)的坐标(x,y)；

(3)r＝max(22,29)＝29；

(4)取当前帧和下一帧的每个搜索区域都为frames[x-r:x+r,y-r:y+r]。

步骤S4：

(1)令当前搜索区域图像的灰度矩阵为I(x,y)，计算灰度矩阵在x方向上的导数I_x和图像在y方向的导数I_y；

(2)计算矩阵

设w(x,y)为高斯窗口；

(3)计算矩阵M的特征值λ₁,λ₂，计算角点打分函数为R＝min(λ₁,λ₂)，得到灰度特征角点p0(一个坐标数组)。

步骤S5：

(1)对当前帧搜索区域构建图像金字塔，构建层数为2；

(2)在下一帧搜索区域中跟踪当前帧搜索区域的角点p0，并迭代计算最终像素位移。

(3)将最终像素位移作为角点的帧间位移，求搜索区域所有角点帧间位移的平均值作为此搜索区域的帧间位移。参见图4所示。

步骤S6，得出四个标记点的实际坐标分别为：A(0,0)，B(20.87,0)，C(9.38,25.5)，D(-7.01,23.76)，得到透视变换矩阵为：

根据透视变换得到的实际帧间位移：[0.07870540959644334,0.12697222135569158,0.1504623710416658,0.17743244935006586,0.20087351246634977,0.226898384972785,0.24168563343407845,0.25860323017477255,0.2904718392700676,0.2803891633942844,0.29552413696180013,0.3084746481092901,0.22433951038767155,0.15573266635245323,0.08820945191238456]。

步骤S7，利用得到的搜索区域的实际位移除以帧速率可得河流表面测速线上搜索区域中心点的流速，根据得到的每个点的表面流速乘以流数系数再乘以此点的断面数据最后相加可得到断面流量，用断面流量除以断面面积可得平均流速为1.37，与实际的平均流速1.32相比，相对误差仅为3.8％。

此误差较小，完全满足水文站河流流速测量要求，说明本方法实际可行。

实施例3

相应的，本发明还提供了一种基于稀疏像素点跟踪的视频测流装置，包括：

帧图像获取模块，用于将视频流中每帧图像转换为灰度图；

搜索区域确定模块，用于获取测速线的起点和终点，根据测速线起点和终点确定测速线上搜索区域中心点及对应的搜索区域；

帧间位移计算模块，用于基于稀疏像素点跟踪方法计算相邻帧之间搜索区域的帧间位移，将视频流中所有相邻帧之间搜索区域的帧间位移的平均值作为搜索区域的帧间位移；

以及，流速计算模块，用于根据搜索区域的帧间位移，计算获得测速线上搜索区域中心点的流速。

本发明装置的各个模块的具体实现方案参见上述方法的具体实现过程。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (9)

1.一种基于稀疏像素点跟踪的视频测流方法，其特征是，包括以下过程：

将视频流中每帧图像转换为灰度图；

获取测速线的起点和终点，根据测速线起点和终点确定测速线上搜索区域中心点及对应的搜索区域；

基于稀疏像素点跟踪方法计算相邻帧之间搜索区域的帧间位移，将视频流中所有相邻帧之间搜索区域的帧间位移的平均值作为搜索区域的帧间位移；

根据搜索区域的帧间位移，计算获得测速线上搜索区域中心点的流速；

所述根据测速线起点和终点确定测速线上搜索区域中心点及对应的搜索区域，包括：

根据测速线的起点和终点，对测速线的起点到终点连线进行分段，以测速线上的分段点作为搜索区域中心点；

对于任一搜索区域中心点(x,y)，对应的搜索区域为(x-r:x+r,y-r:y+r)，其中r为分段后每一小段的x方向上距离的一半和y方向上距离的一半两者中绝对值取整较大者。

2.根据权利要求1所述的一种基于稀疏像素点跟踪的视频测流方法，其特征是，所述分段采取等分原则，分段数目由断面数据的个数确定。

3.根据权利要求1所述的一种基于稀疏像素点跟踪的视频测流方法，其特征是，所述基于稀疏像素点跟踪方法计算相邻帧之间搜索区域的帧间位移，包括：

在当前帧中寻找搜索区域内所有角点；

对于每一个角点，在下一帧相同的搜索区域利用稀疏像素点跟踪方法跟踪该角点，计算得到该角点的帧间像素位移；

将搜索区域内所有角点的帧间像素位移的平均值作为相邻帧之间搜索区域的帧间位移。

4.根据权利要求3所述的一种基于稀疏像素点跟踪的视频测流方法，其特征是，所述寻找搜索区域内所有角点，包括：

根据Shi-Tomasi角点检测算法寻找搜索区域内所有角点。

5.根据权利要求3所述的一种基于稀疏像素点跟踪的视频测流方法，其特征是，所述在下一帧相同的搜索区域利用稀疏像素点跟踪方法跟踪角点，计算得到帧间像素位移，包括：

(1)通过对当前帧的搜索区域图像I和下一帧搜索区域图像J连续降采样构建图像金字塔：

定义当前帧搜索区域图像I的金字塔表示为：I⁰＝I，第0层为原始图像，该层图像的宽度和高度分别为：

其中n_x为原始图像的宽度，n_y为原始图像的高度，然后以递归的方式构建图像的金字塔表示I¹，I²，I³......I^L-1，则第L层的图像可表示为式(1)：

同理可构建下一帧搜索区域图像J的金字塔J⁰,J¹,J²,J³......J^L；

(2)跟踪找到的角点：

令当前帧搜索区域图像I⁰中角点的坐标为p(x,y)，在第L层图像I^L中对应的点坐标为p^L(x^L,y^L)，则有：

设第L层的初始像素位移估计为g^L＝[0，0]^T，令d^L为L层迭代计算得到的像素位移增量，则有金字塔相邻层的像素位移计算式(2)：

经过迭代计算，角点在两帧之间最终的像素位移计算结果为式(3)：

其中得到每一层像素位移增量d^L的迭代计算的过程为：令第L层的像素位移增量d^L为

可由式(4)和式(5)进行迭代所得：

其中，

为每次迭代计算的像素位移增量，k为迭代计算的次序，I_x为当前帧搜索区域图像I在x方向上的导数，I_y为当前帧搜索区域图像I在y方向的导数，

令总迭代次数为K，迭代初始值为

则经过K次迭代后，像素位移向量d^L的最终解为式(6)：

将角点在两帧之间的像素位移作为角点的帧间像素位移。

6.根据权利要求1所述的一种基于稀疏像素点跟踪的视频测流方法，其特征是，所述根据搜索区域的帧间位移，计算获得测速线上搜索区域中心点的流速，包括：

将搜索区域的帧间位移转换为世界坐标系中的搜索区域的实际位移，所述世界坐标系为基于标记点构建的坐标系；

根据搜索区域的实际位移，计算获得测速线上搜索区域中心点的流速。

7.根据权利要求6所述的一种基于稀疏像素点跟踪的视频测流方法，其特征是，所述将搜索区域的帧间位移转换为世界坐标系中的搜索区域的实际位移，包括：

获取标记点A,B,C,D的坐标及四点两两之间的距离；

根据A,B,C,D四点两两之间的距离，计算出A,B,C,D四个点在世界坐标系中的坐标；

根据A,B,C,D四个点的坐标和世界坐标系中的坐标，计算获得透视变换的矩阵；

基于透视变换矩阵将搜索区域的帧间位移转换为世界坐标系中的搜索区域的实际位移。

8.根据权利要求7所述的一种基于稀疏像素点跟踪的视频测流方法，其特征是，所述根据A,B,C,D四点两两之间的距离求出A,B,C,D四个点在世界坐标系中的坐标，包括：

1)令A点为原点，取AB为x方向构建世界坐标系，则A点在世界坐标系中的坐标为(0,0)，B点在世界坐标系中的坐标为(AB,0)；

2)计算COS(∠BAC)：若COS(∠BAC)>＝0，则点C的实际坐标为

若COS(∠BAC)<0，则点C的实际坐标为

3)计算COS(∠BAD)：若COS(∠BAD)>＝0，则点D的实际坐标为

若COS(∠BAD)<0，则点D的实际坐标为

其中，AB,BC,CD,DA,AC,BD为A,B,C,D四个标记点在世界坐标系中两两之间的距离。

9.一种基于稀疏像素点跟踪的视频测流装置，其特征是，包括：

帧图像获取模块，用于将视频流中每帧图像转换为灰度图；

搜索区域确定模块，用于获取测速线的起点和终点，根据测速线起点和终点确定测速线上搜索区域中心点及对应的搜索区域；

帧间位移计算模块，用于基于稀疏像素点跟踪方法计算相邻帧之间搜索区域的帧间位移，将视频流中所有相邻帧之间搜索区域的帧间位移的平均值作为搜索区域的帧间位移；

流速计算模块，用于根据搜索区域的帧间位移，计算获得测速线上搜索区域中心点的流速；

所述根据测速线起点和终点确定测速线上搜索区域中心点及对应的搜索区域，包括：

根据测速线的起点和终点，对测速线的起点到终点连线进行分段，以测速线上的分段点作为搜索区域中心点；

对于任一搜索区域中心点(x,y)，对应的搜索区域为(x-r:x+r,y-r:y+r)，其中r为分段后每一小段的x方向上距离的一半和y方向上距离的一半两者中绝对值取整较大者。

Images