CN112884806A - 一种基于结合块匹配和密集逆向搜索的视频测流方法及装置 - Google Patents
一种基于结合块匹配和密集逆向搜索的视频测流方法及装置 Download PDFInfo
- Publication number
- CN112884806A CN112884806A CN202110038655.8A CN202110038655A CN112884806A CN 112884806 A CN112884806 A CN 112884806A CN 202110038655 A CN202110038655 A CN 202110038655A CN 112884806 A CN112884806 A CN 112884806A
- Authority
- CN
- China
- Prior art keywords
- block
- point
- displacement
- block area
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000006073 displacement reaction Methods 0.000 claims abstract description 87
- 238000005259 measurement Methods 0.000 claims abstract description 26
- 238000004364 calculation method Methods 0.000 claims abstract description 14
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 4
- 238000000691 measurement method Methods 0.000 claims abstract 2
- 230000008569 process Effects 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 238000010845 search algorithm Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 239000004576 sand Substances 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 239000012530 fluid Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000700 radioactive tracer Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P5/00—Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种结合块匹配和密集逆向搜索的视频测流方法及装置，属于水文测流技术领域。本发明借鉴视频编码中常用到的基于区域匹配的方法，利用密集逆向搜索计算区域中每个像素点之间的位移取平均值得到块区域的位移，最后计算得到河流的表面流速。本发明提出的方法引入了密集逆向搜索，只计算块区域中每个像素点之间的位移，提高了算法效率；且采用完全非接触式的视频测流，节省了人力，缩短了测量时间，提高了工作效率，视频采集设备易于维护。
Description
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于结合块匹配和密集逆向搜索的视频测流方法，还涉及一种基于结合块匹配和密集逆向搜索的视频测流装置。
背景技术
我国河流众多，河流的综合利用在国家经济社会发展中占有重要的地位。国家建立了许多水文站对很多河流进行水文信息监测，而河流流速的测量是水文信息监测的重要任务之一。然而洪水的发生具有突发性，且很多水文站地势险峻，这都使得河流流速测量变得很困难。近年来，非接触式明渠水流监测技术在传感器及嵌入式技术的推动下取得了长足进步，专利公开号为CN111232130A的发明专利，提出了一种新型全自动定位浮标装置及其使用方法有效的提高了水流表面流速监测的高效性，但是浮标的使用还是具有一定的局限性。专利公开号为CN107590819A的发明专利提出了一种基于压缩感知图像分析的河流表面流速估计方法可以实现河流流速实时监测以及数据远程传输，但此方法只能得到一个流速区间，并不能得到准确的流速，有一定的局限性。
虽然这些方法都已经被广泛的研究并取得了实际的应用，但都有不足的地方，基于压缩感知图像分析的河流表面流速估测只能得到一个流速区间，浮标装置在湍流情况下得不到保证，因此，迫切的需要一种相对更加精确和简单的方法来监测河流的流速。本发明提出了一种结合块匹配和密集逆向搜索的视频测流方法，只计算小块之间的像素点位移，既有利于保证准确性，又有利于提高时效性。
发明内容
本发明的目的在于克服现有技术中的不足，提供了一种基于结合块匹配和密集逆向搜索的视频测流方法，将计算像素点之间的位移与块匹配结合得到帧间位移，从而计算得到河流表面流速。
为解决上述技术问题，本发明提供了一种基于结合块匹配和密集逆向搜索的视频测流方法，包括以下过程：
将视频流中每帧图像转换为灰度图；
获取测速线的起点和终点，根据测速线起点和终点确定测速线上块区域中心点及对应的块区域；
基于密集逆向搜索算法计算相邻帧之间块区域中每个像素点的帧间位移，并取平均值作为相邻帧之间块区域的帧间位移；
计算视频流中所有相邻帧之间块区域的帧间位移的平均值作为块区域的帧间位移；
根据块区域的帧间位移，计算获得测速线上块区域中心点的流速。
进一步的，所述根据测速线起点和终点确定测速线上块区域中心点及对应的块区域，包括：
根据测速线的起点和终点，对测速线的起点到终点连线进行分段，以测速线上的分段点作为块区域中心点；
对于任一块区域中心点(x,y)，对应的块区域为(x-r:x+r,y-r:y+r)，其中r为分段后每一小段的x方向上距离的一半和y方向上距离的一半两者中绝对值取整较大者。
进一步的，所述分段采取等分原则，分段数目由断面数据的个数确定。
进一步的，所述基于密集逆向搜索算法计算相邻帧之间块区域中每个像素点的帧间位移，包括：
(1)令当前帧的块区域为It，下一帧的块区域为It+1，并以θsd为尺度金字塔下采样系数分别对It和It+1构建尺度金字塔，分别表示为It 1,It 2……It L和It+1 1,It+1 2……It+1 L；在顶层金字塔以全0位移初始化一个和顶层块区域相同大小的密集流场UL+1，从顶层往底层进行迭代在金字塔每一层s上进行以下步骤：
1)令模板Ts为金字塔s层
里的一个区域，模板大小为(θs*θs)，在
上用It分成的均匀的小块区域初始化并得到每个小块区域的中心点，且每个小块区域的大小为模板Ts的大小,模板Ts可以是任意一个小块区域；
2)用第s+1层得到的密集流场Us+1来初始化每个小块区域中心点的位移量ui,init，如公式(1)所示：
ui,init＝Us+1(x/θsd)*θsd (1)
其中，x为小块区域中心点的坐标；
3)对
中每个小块区域i都进行快速逆向搜索,令当前被处理的小块区域i为模板Ts，单次快速逆向搜索的过程为：利用梯度下降法在区域
中搜索与模板Ts最匹配的子窗口，即找到位移ui(v,w)使得模板Ts和
在子窗口上的差异平方和最小化，如公式(2)所示：
最小化这个量是非线性的，使用逆LK算法对其进行迭代优化，其中包括：
(a)通过对块区域
进行提取和双线性插值找到一个向量Δu，如公式(3)所示：
(b)更新ui＝ui+Δu；
4)产生密集流场，其中包括：
(a)若对于3)中更新的ui有||ui,init-ui||2超过了模板Ts的大小θs，则将ui都重新设定为ui,init；
(b)产生密集流场Us，如公式(4)所示：
其中，λi,x为
中小块区域i与
中以x为中心和小块区域同大小区域的重叠度，当且仅当二者完全重叠时λi,x＝1，Ns为小块区域数目，di(x)和Z的含义见公式(5)(6),Ts和小块区域i为相同区域：
(2)对(1)中经过迭代计算得到的顶层的密集流场UL按照下采样系数θsd再进行上采样得到最终的密集流场U，此密集流场U中的数据即为块区域中每个像素点的帧间位移。
进一步的，所述根据块区域的帧间位移，计算获得测速线上块区域中心点的流速，包括：
将块区域的帧间位移转换为世界坐标系中的块区域的实际位移，所述世界坐标系为基于标记点构建的坐标系；
根据块区域的实际位移，计算获得测速线上块区域中心点的流速。
进一步的，所述将块区域的帧间位移转换为世界坐标系中的块区域的实际位移，包括：
获取标记点A,B,C,D的坐标及四点两两之间的距离；
根据A,B,C,D四点两两之间的距离，计算出A,B,C,D四个点在世界坐标系中的坐标；
根据A,B,C,D四个点的坐标和世界坐标系中的坐标，计算获得透视变换的矩阵；
基于透视变换矩阵将块区域的帧间位移转换为世界坐标系中的块区域的实际位移。
进一步的，所述根据A,B,C,D四点两两之间的距离求出A,B,C,D四个点在世界坐标系中的坐标，包括：
(1-1)令A点为原点，取AB为x方向构建世界坐标系，则A点在世界坐标系中的坐标为(0,0)，B点在世界坐标系中的坐标为(AB,0)；
(1-2)计算COS(∠BAC)：若COS(∠BAC)>＝0，则点C的实际坐标为
若COS(∠BAC)<0，则点C的实际坐标为
(1-3)计算COS(∠BAD)：若COS(∠BAD)>＝0，则点D的实际坐标为
若COS(∠BAD)<0，则点D的实际坐标为
其中，AB,BC,CD,DA,AC,BD为A,B,C,D四个标记点在世界坐标系中两两之间的距离。
相应的，本发明还提供了一种基于稀疏像素点跟踪的视频测流装置，包括：
帧图像获取模块，用于将视频流中每帧图像转换为灰度图；
块区域确定模块，用于获取测速线的起点和终点，根据测速线起点和终点确定测速线上块区域中心点及对应的块区域；
帧间位移计算模块，用于基于密集逆向搜索算法计算相邻帧之间块区域中每个像素点的帧间位移，并取平均值作为相邻帧之间块区域的帧间位移；
块区域位移计算模块，用于计算视频流中所有相邻帧之间块区域的帧间位移的平均值作为块区域的帧间位移；
以及，流速计算模块，用于根据块区域的帧间位移，计算获得测速线上块区域中心点的流速。
与现有技术相比，本发明所达到的有益效果是：
1)结合块区域匹配和密集逆向搜索，既避免了计算整帧图片所有像素点之间位移量大且计算时间长的缺点，又能够得到较为准确的河流表面流速。
2)采用完全非接触式的视频测流，相比于目前使用较为广泛的测流方法，节省了投入测流测验工作的人数，显著缩短测量时间，提高了工作效率，视频采集设备维护也较为简单。
附图说明
为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明，其中：
图1为本发明方法处理流程示意图；
图2为河道测流场景示意图；
图3为确定块区域的程序流程图；
图4为计算实际坐标的程序流程图；
图5为具体实施例1步骤S4的程序流程图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例1
本发明的技术构思为：将计算像素点之间的位移与块匹配结合得到帧间位移，从而计算得到河流表面流速。
本发明的一种基于结合块匹配和密集逆向搜索的视频测流方法，参见图1所示，包括以下过程：
步骤1，将视频进行切帧，总帧数为：帧速率fps*视频总时长；并将每帧图像转换为灰度图保存在帧数组中，像素点的跟踪都在帧数组中的灰度图上进行。。
步骤2，获取预先存储好的文件coordination_information，该文件中存储了标记点、测速线起点和终点在视频中的坐标以及四个标记点在世界坐标系中两两之间的距离，从中获取标记点、测速线的信息；并在预先存储了断面数据的文件station_information里面获取断面数据；
具体过程为：
(1)根据文件coordination_information的存储地址读取文件，获取四个标记点(A,B,C,D)在视频中的坐标信息、四个标记点在世界坐标系中两两之间的距离(AB,BC,CD,DA,AC,BD)信息、测速线起点(E)和终点(F)在视频中的坐标信息，其中四个标记点应该为顺时针方向依次标记；河道测流场景示意图如图2；
(2)将六个点的坐标和四个标记点两两之间的距离分别存放在两个数据字典中。
(3)根据文件station_informationde存储地址读取文件，获取断面数据信息，令length为读取的断面数据的个数。
步骤3，根据测速线起点和终点确定被计算每个像素点之间位移的块区域；
其流程图如图3所示。具体处理过程包括：
(1)根据测速线的起点和终点坐标，对测速线在图像上x方向的距离和y方向的距离都等分成同样的小段x_step和y_step，其中分段原则是采取的等分原则，分段数目是根据断面数据的个数length所决定的。
(2)以测速线起点的坐标值(x,y)依次分别在x方向上加上每一小段的距离和在y方向上加上每一小段的距离(即测速线上起点和终点间的分段点)，作为块区域的中心点(x,y)存放到数组中，此中心点也为后面得到速度的点。
例如E(x1,y1)、F(x2,y2)分别为测速线的起点和终点，则x方向的每一小段距离为x_step＝(x2-x1)/(length+1)，y_step＝(y2-y1)/(length+1)。
则中心点分别为P1(x1+x_step,y1+y_step)、P2(x1+2*x_step,y1+2*y_step)……Plength(x1+length*x_step,y1+length*y_step)。
(3)令r为(1)中得到的每一小段的x方向上距离的一半(x_step_half)和y方向上距离的一半(y_step_half)两者绝对值取整较大者，公式表达为：r＝max([|x_step_half|],[|y_step_half|])，其中[]为取整。
(4)在当前帧图像中找到(2)得到的区域中心点，取每一个块区域为(x-r:x+r,y-r:y+r)，则块区域的大小为(2*r)*(2*r)。
步骤4，计算相邻两帧的块区域中每个像素点的帧间位移并取平均值，作为图上块区域的帧间位移；
具体过程包括：
(1)令当前帧的块区域为It，下一帧的块区域为It+1，并以θsd为尺度金字塔下采样系数分别对It和It+1构建尺度金字塔，分别表示为It 1,It 2……It L和It+1 1,It+1 2……It+1 L(It＝It 1,It+1＝It+1 1,L为最顶层)；在顶层金字塔(第L层)以全0位移初始化一个和顶层块区域相同大小的密集流场UL+1，并在金字塔每一层s上都完成以下步骤(顺序为从顶层往底层进行迭代)：
1)令模板Ts为金字塔s层
里的一个区域，模板大小为(θs*θs)(8≤θs≤12)，在
上用It分成的均匀的小块区域(或称为“网格”)初始化并得到每个小块区域的中心点，且每个小块区域的大小为模板Ts的大小,模板Ts可以是任意一个小块区域；
2)用第s+1层得到的密集流场Us+1来初始化每个小块区域中心点的位移量ui,init，如公式(1)所示：
ui,init＝Us+1(x/θsd)*θsd (1)
其中，x为小块区域中心点的坐标。
3)对
中每个小块区域i都进行快速逆向搜索,令当前被处理的小块区域i为模板Ts，单次快速逆向搜索的过程为：利用梯度下降法在区域
中搜索与模板Ts最匹配的子窗口，即找到位移ui(v,w)(v为此位移量在x方向上的分量，w为此位移量在y方向上的分量)使得模板Ts和
在子窗口上的差异平方和最小化，如公式(2)所示：
最小化这个量是非线性的，使用逆LK算法对其进行迭代优化，其中包括：
(a)通过对块区域
进行提取和双线性插值找到一个向量Δu，如公式(3)所示：
(b)更新ui＝ui+Δu；
4)产生密集流场，其中包括：
(a)为了增强鲁棒性，若对于3)中更新的ui有||ui,init-ui||2超过了模板Ts的大小θs，则将ui都重新设定为ui,init；
(b)产生密集流场Us，如公式(4)所示：
其中，λi,x为
中小块区域i与
中以x为中心和小块区域同大小区域的重叠度，当且仅当二者完全重叠时λi,x＝1，Ns为小块区域数目，di(x)和Z的含义见公式(5)(6),Ts和小块区域i为相同区域：
(2)对(1)中经过迭代计算得到的顶层(第L层)的密集流场UL按照下采样系数θsd再进行上采样得到最终的密集流场U，此密集流场U中的数据即为块区域中每个像素点的帧间位移，将每个像素点帧间位移的平均值作为两帧之间这两个块区域(即中心点)的图上帧间位移。
在整个视频里面所有相邻帧的各个块区域都进行步骤4，设视频总共有f帧，则进行f-1次迭代。在每两个相邻帧计算时需要进行块区域个数次迭代，得到相邻帧各个块区域的帧间位移。最后整个视频迭代计算完成，得到所有相邻帧各个块区域帧间位移，求其平均值作为最终测速线上各个块区域中心点的帧间位移。
步骤5，将帧间位移经透视变换转化为实际位移；
具体包括：
(1)根据A,B,C,D四点两两之间的距离求出A,B,C,D四个点在世界坐标系的坐标，其中包括：
(1-1)由于四个标记点在同一平面内，且知道四个点两两之间的距离，则可以自己构建坐标系，求出四个标记点在世界坐标系中的坐标。
令A点为原点，取AB为x方向构建世界坐标系，则A点的实际坐标为(0,0)，B点的实际坐标为(AB,0)；
(1-2)计算COS(∠BAC)：若COS(∠BAC)>＝0，则点C的实际坐标为
若COS(∠BAC)<0，则点C的实际坐标为
(1-3)计算COS(∠BAD)：若COS(∠BAD)>＝0，则点D的实际坐标为
若COS(∠BAD)<0，则点D的实际坐标为
计算流程图如图4所示。
(2)根据A,B,C,D四个点的坐标和世界坐标系中的实际坐标求透视变换的矩阵。
(3)用步骤4最后经过迭代计算的最终帧间位移的起点和终点乘上透视变换矩阵得到实际中的起点和终点的坐标，从而得到世界坐标系中的实际位移。
步骤6，将实际位移经过计算转换为河流表面流速。
利用块区域的实际位移除以帧速率即得到河流表面测速线上块区域中心点的表面流速。
本发明利用稀疏像素点跟踪结合图像灰度特征的角点，在小块区域内对角点进行跟踪，利用帧间位移经透视变换转化成实际位移，最后计算出河流表面流速。本发明提出的方法采用完全非接触式的视频测流，且不用示踪物，节省了人力，缩短了测量时间，提高了工作效率，视频采集设备易于维护。
实施例2
步骤S1：选取某水文站的视频数据，视频时长为10秒，视频帧速率为30s/帧，每帧大小为1920*1080。
首先对视频进行切帧，再将每一帧转为灰度图存放在帧序列数组frames中。
步骤S2：读取四个标记点的图上坐标信息为A(902,236)，B(1323,279)，C(896,1052)，D(111,465)；测速线起点图上坐标为E(827，971)，终点图上坐标为F(1747，315)；四个标记点两两之间的实际距离为AB＝20.87，BC＝27.97，CD＝17.05，DA＝24.77，AC＝27.17，BD＝36.63；断面数据长度length＝15。并将六个点的坐标存于points数据字典中，将四个标记点两两之间的距离存于distance数据字典中。
步骤S3：
(1)利用测速线起点和终点的坐标值之差分别除以(length+1)得到x_step＝-57.5，y_step＝41.0；
(2)利用起点坐标的x加上x方向上的距离，y加上y方向上的距离得到15个区域中心点(即分段点)的坐标(x,y)；
(3)r＝max(22,29)＝29；
(4)取当前帧和下一帧的每个块区域都为frames[x-r:x+r,y-r:y+r]。
步骤S4：参见图5所示，包括：
(1)构建尺度金字塔，层数为3层，并初始化流场为0；
(2)对当前帧块区域用均匀的小块区域初始化，每个小块区域的大小为8*8；
(3)以Us+1初始化每个小块区域的位移，其中s为当前尺度；
(4)对于每个小块区域都进行快速逆向搜索；
(5)计算密集流场；
(6)根据计算出的块区间每个像素点之间的位移求平均值作为这两块区域的图上帧间位移。
步骤S5，得出四个标记点的实际坐标分别为：A(0,0)，B(20.87,0)，C(9.38,25.5)，D(-7.01,23.76)，得到透视变换矩阵为：
根据透视变换得到的实际帧间位移为：[0.07212017734503479,0.11706552218162342,0.14177983069641928,0.16346248065977032,0.18662459009314183,0.21390633744257165,0.22397664147614454,0.23681202000887414,0.2698250831835158,0.2606958602738512,0.2764926574697566,0.2771889747860427,0.15965995533141739,0.10273243606763238,0.08863859534954452]。
步骤S7，利用得到的实际位移除以帧速率可得河流表面测速线不同点的流速，根据得到的表面流速计算平均流速为1.25，与实际的平均流速1.32相比，相对误差仅为5.3％。
此误差较小，完全满足水文站河流流速测量要求，说明本方法实际可行。
实施例3
相应的，本发明还提供了一种基于稀疏像素点跟踪的视频测流装置，包括：
帧图像获取模块，用于将视频流中每帧图像转换为灰度图；
块区域确定模块，用于获取测速线的起点和终点，根据测速线起点和终点确定测速线上块区域中心点及对应的块区域；
帧间位移计算模块，用于基于密集逆向搜索算法计算相邻帧之间块区域中每个像素点的帧间位移，并取平均值作为相邻帧之间块区域的帧间位移；
块区域位移计算模块，用于计算视频流中所有相邻帧之间块区域的帧间位移的平均值作为块区域的帧间位移；
流速计算模块，用于根据块区域的帧间位移，计算获得测速线上块区域中心点的流速。
本发明装置的各个模块的具体实现方案参见上述方法的具体实现过程。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。
Claims (8)
1.一种基于结合块匹配和密集逆向搜索的视频测流方法，其特征是，包括以下过程：
将视频流中每帧图像转换为灰度图；
获取测速线的起点和终点，根据测速线起点和终点确定测速线上块区域中心点及对应的块区域；
基于密集逆向搜索算法计算相邻帧之间块区域中每个像素点的帧间位移，并取平均值作为相邻帧之间块区域的帧间位移；
计算视频流中所有相邻帧之间块区域的帧间位移的平均值作为块区域的帧间位移；
根据块区域的帧间位移，计算获得测速线上块区域中心点的流速。
2.根据权利要求1所述的一种基于结合块匹配和密集逆向搜索的视频测流方法，其特征是，所述根据测速线起点和终点确定测速线上块区域中心点及对应的块区域，包括：
根据测速线的起点和终点，对测速线的起点到终点连线进行分段，以测速线上的分段点作为块区域中心点；
对于任一块区域中心点(x，y)，对应的块区域为(x-r：x+r，y-r：y+r)，其中r为分段后每一小段的x方向上距离的一半和y方向上距离的一半两者中绝对值取整较大者。
3.根据权利要求2所述的一种基于结合块匹配和密集逆向搜索的视频测流方法，其特征是，所述分段采取等分原则，分段数目由断面数据的个数确定。
4.根据权利要求1所述的一种基于结合块匹配和密集逆向搜索的视频测流方法，其特征是，所述基于密集逆向搜索算法计算相邻帧之间块区域中每个像素点的帧间位移，包括：
(1)令当前帧的块区域为It，下一帧的块区域为It+1，并以θsd为尺度金字塔下采样系数分别对It和It+1构建尺度金字塔，分别表示为It 1，It 2……It L和It+1 1，It+1 2……It+1 L；在顶层金字塔以全0位移初始化一个和顶层块区域相同大小的密集流场UL+1，从顶层往底层进行迭代在金字塔每一层s上进行以下步骤：
1)令模板Ts为金字塔s层
里的一个区域，模板大小为(θs*θs)，在
上用It分成的均匀的小块区域初始化并得到每个小块区域的中心点，且每个小块区域的大小为模板Ts的大小，模板Ts可以是任意一个小块区域；
2)用第s+1层得到的密集流场Us+1来初始化每个小块区域中心点的位移量ui，init，如公式(1)所示：
ui，init＝Us+1(x/θsd)*θsd (1)
其中，x为小块区域中心点的坐标；
3)对
中每个小块区域i都进行快速逆向搜索，令当前被处理的小块区域i为模板Ts，单次快速逆向搜索的过程为：利用梯度下降法在区域
中搜索与模板Ts最匹配的子窗口，即找到位移ui(v，w)使得模板Ts和
在子窗口上的差异平方和最小化，如公式(2)所示：
最小化这个量是非线性的，使用逆LK算法对其进行迭代优化，其中包括：
(a)通过对块区域
进行提取和双线性插值找到一个向量Δu，如公式(3)所示：
(b)更新ui＝ui+Δu；
4)产生密集流场，其中包括：
(a)若对于3)中更新的ui有||ui，init-ui||2超过了模板Ts的大小θs，则将ui都重新设定为ui，init；
(b)产生密集流场Us，如公式(4)所示：
其中，λi，x为
中小块区域i与
中以x为中心和小块区域同大小区域的重叠度，当且仅当二者完全重叠时λi，x＝1，Ns为小块区域数目，di(x)和Z的含义见公式(5)(6)，Ts和小块区域i为相同区域：
(2)对(1)中经过迭代计算得到的顶层的密集流场UL按照下采样系数θsd再进行上采样得到最终的密集流场U，此密集流场U中的数据即为块区域中每个像素点的帧间位移。
5.根据权利要求1所述的一种基于结合块匹配和密集逆向搜索的视频测流方法，其特征是，所述根据块区域的帧间位移，计算获得测速线上块区域中心点的流速，包括：
将块区域的帧间位移转换为世界坐标系中的块区域的实际位移，所述世界坐标系为基于标记点构建的坐标系；
根据块区域的实际位移，计算获得测速线上块区域中心点的流速。
6.根据权利要求5所述的一种基于结合块匹配和密集逆向搜索的视频测流方法，其特征是，所述将块区域的帧间位移转换为世界坐标系中的块区域的实际位移，包括：
获取标记点A，B，C，D的坐标及四点两两之间的距离；
根据A，B，C，D四点两两之间的距离，计算出A，B，C，D四个点在世界坐标系中的坐标；
根据A，B，C，D四个点的坐标和世界坐标系中的坐标，计算获得透视变换的矩阵；
基于透视变换矩阵将块区域的帧间位移转换为世界坐标系中的块区域的实际位移。
7.根据权利要求6所述的一种基于结合块匹配和密集逆向搜索的视频测流方法，其特征是，所述根据A，B，C，D四点两两之间的距离求出A，B，C，D四个点在世界坐标系中的坐标，包括：
(1-1)令A点为原点，取AB为x方向构建世界坐标系，则A点在世界坐标系中的坐标为(0，0)，B点在世界坐标系中的坐标为(AB，0)；
(1-2)计算COS(∠BAC)：若COS(∠BAC)＞＝0，则点C的实际坐标为
若COS(∠BAC)＜0，则点C的实际坐标为
(1-3)计算COS(∠BAD)：若COS(∠BAD)＞＝0，则点D的实际坐标为
若COS(∠BAD)＜0，则点D的实际坐标为
其中，AB，BC，CD，DA，AC，BD为A，B，C，D四个标记点在世界坐标系中两两之间的距离。
8.一种基于稀疏像素点跟踪的视频测流装置，其特征是，包括：
帧图像获取模块，用于将视频流中每帧图像转换为灰度图；
块区域确定模块，用于获取测速线的起点和终点，根据测速线起点和终点确定测速线上块区域中心点及对应的块区域；
帧间位移计算模块，用于基于密集逆向搜索算法计算相邻帧之间块区域中每个像素点的帧间位移，并取平均值作为相邻帧之间块区域的帧间位移；
块区域位移计算模块，用于计算视频流中所有相邻帧之间块区域的帧间位移的平均值作为块区域的帧间位移；
以及，流速计算模块，用于根据块区域的帧间位移，计算获得测速线上块区域中心点的流速。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110038655.8A CN112884806B (zh) | 2021-01-12 | 2021-01-12 | 一种基于结合块匹配和密集逆向搜索的视频测流方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110038655.8A CN112884806B (zh) | 2021-01-12 | 2021-01-12 | 一种基于结合块匹配和密集逆向搜索的视频测流方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112884806A true CN112884806A (zh) | 2021-06-01 |
| CN112884806B CN112884806B (zh) | 2022-09-02 |
Family
ID=76044760
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110038655.8A Active CN112884806B (zh) | 2021-01-12 | 2021-01-12 | 一种基于结合块匹配和密集逆向搜索的视频测流方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112884806B (zh) |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101876705A (zh) * | 2009-11-03 | 2010-11-03 | 清华大学 | 基于单频连续波雷达的频域车辆检测方法 |
| CN104796623A (zh) * | 2015-02-03 | 2015-07-22 | 中国人民解放军国防科学技术大学 | 基于金字塔块匹配和泛函优化的拼接视频去结构偏差方法 |
| CN105787901A (zh) * | 2016-03-21 | 2016-07-20 | 昆明理工大学 | 一种用于太阳高分辨图像序列中相邻两帧间的多尺度速度场测量方法 |
| CN106683114A (zh) * | 2016-12-16 | 2017-05-17 | 河海大学 | 基于特征光流的流体运动矢量估计方法 |
| WO2017096384A1 (en) * | 2015-12-04 | 2017-06-08 | Texas Instruments Incorporated | Quasi-parametric optical flow estimation |
| CN107102165A (zh) * | 2017-04-14 | 2017-08-29 | 重庆大学 | 一种基于粒子图像测速的表面流场测量方法 |
| CN107239760A (zh) * | 2017-06-05 | 2017-10-10 | 中国人民解放军军事医学科学院基础医学研究所 | 一种视频数据处理方法及系统 |
| CN108107234A (zh) * | 2018-01-19 | 2018-06-01 | 昆明理工大学 | 一种高水条件下的水面流速检测系统及其检测方法 |
| CN109360269A (zh) * | 2018-09-30 | 2019-02-19 | 国网黑龙江省电力有限公司电力科学研究院 | 基于计算机视觉的地面三维平面重建方法 |
| CN109740558A (zh) * | 2019-01-10 | 2019-05-10 | 吉林大学 | 一种基于改进光流法的移动目标检测方法 |
| CN110125928A (zh) * | 2019-03-27 | 2019-08-16 | 浙江工业大学 | 一种基于前后帧进行特征匹配的双目惯导slam系统 |
| CN110392265A (zh) * | 2019-08-27 | 2019-10-29 | 广州虎牙科技有限公司 | 帧间运动估计方法、装置、电子设备及可读存储介质 |
| CN110853033A (zh) * | 2019-11-22 | 2020-02-28 | 腾讯科技（深圳）有限公司 | 基于帧间相似度的视频检测方法和装置 |
| CN111161304A (zh) * | 2019-12-16 | 2020-05-15 | 北京空间机电研究所 | 一种快速背景估计的遥感视频目标轨迹跟踪方法 |
| WO2020098299A1 (zh) * | 2018-11-16 | 2020-05-22 | 中南大学 | 一种高温熔融流体流速检测方法及系统 |
| CN111445444A (zh) * | 2020-03-11 | 2020-07-24 | 中南大学 | 一种基于极化特征的铁水流速检测方法 |
| CN111494938A (zh) * | 2020-04-28 | 2020-08-07 | 网易（杭州）网络有限公司 | 测速方法、装置、存储介质及电子装置 |
| CN112017445A (zh) * | 2020-09-04 | 2020-12-01 | 卞建鹏 | 一种行人违规行为预测和运动轨迹跟踪系统和方法 |
-
2021
- 2021-01-12 CN CN202110038655.8A patent/CN112884806B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101876705A (zh) * | 2009-11-03 | 2010-11-03 | 清华大学 | 基于单频连续波雷达的频域车辆检测方法 |
| CN104796623A (zh) * | 2015-02-03 | 2015-07-22 | 中国人民解放军国防科学技术大学 | 基于金字塔块匹配和泛函优化的拼接视频去结构偏差方法 |
| WO2017096384A1 (en) * | 2015-12-04 | 2017-06-08 | Texas Instruments Incorporated | Quasi-parametric optical flow estimation |
| CN105787901A (zh) * | 2016-03-21 | 2016-07-20 | 昆明理工大学 | 一种用于太阳高分辨图像序列中相邻两帧间的多尺度速度场测量方法 |
| CN106683114A (zh) * | 2016-12-16 | 2017-05-17 | 河海大学 | 基于特征光流的流体运动矢量估计方法 |
| CN107102165A (zh) * | 2017-04-14 | 2017-08-29 | 重庆大学 | 一种基于粒子图像测速的表面流场测量方法 |
| CN107239760A (zh) * | 2017-06-05 | 2017-10-10 | 中国人民解放军军事医学科学院基础医学研究所 | 一种视频数据处理方法及系统 |
| CN108107234A (zh) * | 2018-01-19 | 2018-06-01 | 昆明理工大学 | 一种高水条件下的水面流速检测系统及其检测方法 |
| CN109360269A (zh) * | 2018-09-30 | 2019-02-19 | 国网黑龙江省电力有限公司电力科学研究院 | 基于计算机视觉的地面三维平面重建方法 |
| WO2020098299A1 (zh) * | 2018-11-16 | 2020-05-22 | 中南大学 | 一种高温熔融流体流速检测方法及系统 |
| CN109740558A (zh) * | 2019-01-10 | 2019-05-10 | 吉林大学 | 一种基于改进光流法的移动目标检测方法 |
| CN110125928A (zh) * | 2019-03-27 | 2019-08-16 | 浙江工业大学 | 一种基于前后帧进行特征匹配的双目惯导slam系统 |
| CN110392265A (zh) * | 2019-08-27 | 2019-10-29 | 广州虎牙科技有限公司 | 帧间运动估计方法、装置、电子设备及可读存储介质 |
| CN110853033A (zh) * | 2019-11-22 | 2020-02-28 | 腾讯科技（深圳）有限公司 | 基于帧间相似度的视频检测方法和装置 |
| CN111161304A (zh) * | 2019-12-16 | 2020-05-15 | 北京空间机电研究所 | 一种快速背景估计的遥感视频目标轨迹跟踪方法 |
| CN111445444A (zh) * | 2020-03-11 | 2020-07-24 | 中南大学 | 一种基于极化特征的铁水流速检测方法 |
| CN111494938A (zh) * | 2020-04-28 | 2020-08-07 | 网易（杭州）网络有限公司 | 测速方法、装置、存储介质及电子装置 |
| CN112017445A (zh) * | 2020-09-04 | 2020-12-01 | 卞建鹏 | 一种行人违规行为预测和运动轨迹跟踪系统和方法 |
Non-Patent Citations (6)
| Title |
|---|
| CHRISTOPHER M. BRUNT等: ""Modification of Projected Velocity Power Spectra by Density Inhomogeneities in Compressible Supersonic Turbulence"", 《ARXIV》 * |
| TILL KROEGER等: ""Fast Optical Flow using Dense Inverse Search"", 《ARXIV》 * |
| 付琼莹等: ""一种基于特征匹配的大位移变分光流方法"", 《测绘科学技术学报》 * |
| 伏思华等: ""随机并行梯度下降图像匹配方法"", 《实验力学》 * |
| 张振等: ""图像法测流系统开发与应用"", 《水利信息化》 * |
| 张煜等: ""基于成像的表面位移分析系统关键技术研究及应用"", 《长江科学院院报》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112884806B (zh) | 2022-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113610778B (zh) | 一种基于语义分割的桥梁表面裂纹检测方法与系统 | |
| CN111339870B (zh) | 一种针对物体遮挡场景的人体形状和姿态估计方法 | |
| CN111383209A (zh) | 一种基于全卷积自编码器网络的无监督瑕疵检测方法 | |
| CN102156991B (zh) | 基于四元数的物体光流跟踪方法 | |
| CN111861884A (zh) | 一种基于深度学习的卫星云图超分辨率重建方法 | |
| CN104318552B (zh) | 基于凸包投影图匹配的模型配准方法 | |
| CN116452794B (zh) | 一种基于半监督学习的有向目标检测方法 | |
| CN117291902B (zh) | 一种基于深度学习用于像素级混凝土裂缝的检测方法 | |
| CN115546273A (zh) | 一种面向室内鱼眼图像的场景结构深度估计方法 | |
| CN112686204B (zh) | 一种基于稀疏像素点跟踪的视频测流方法及装置 | |
| CN104596484A (zh) | 一种黄河凌汛期流凌密度测量方法 | |
| CN112884806B (zh) | 一种基于结合块匹配和密集逆向搜索的视频测流方法及装置 | |
| CN110599501A (zh) | 一种胃肠结构的真实尺度三维重建及可视化方法 | |
| CN113658147A (zh) | 一种基于深度学习的工件尺寸测量装置及方法 | |
| CN117576168A (zh) | 基于传统光流计算的水流速度估计方法及系统 | |
| CN114399547B (zh) | 一种基于多帧的单目slam鲁棒初始化方法 | |
| CN110852189A (zh) | 一种基于深度学习的低复杂度的密集人群分析方法 | |
| CN113077488B (zh) | 一种河流表面流速检测方法和装置 | |
| CN114034348B (zh) | 一种基于多信源信息的生态流量监测系统及其监测方法 | |
| CN113884025B (zh) | 增材制造结构光回环检测方法、装置、电子设备和存储介质 | |
| CN105427310A (zh) | 一种基于局部线性约束的稀疏特征匹配的图像配准方法 | |
| CN113592877B (zh) | 一种抽水蓄能电站红线超标识别方法及装置 | |
| CN116740619B (zh) | 基于数字图像处理的海上风力机角速度测量方法 | |
| CN113971679B (zh) | 一种基于计算机视觉与图像处理的海洋潮汐测量方法 | |
| CN117007606B (zh) | 一种基于晶粒分割网络的晶圆晶粒缺陷检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |