CN112884806B - 一种基于结合块匹配和密集逆向搜索的视频测流方法及装置 - Google Patents

一种基于结合块匹配和密集逆向搜索的视频测流方法及装置 Download PDF

Info

Publication number
CN112884806B
CN112884806B CN202110038655.8A CN202110038655A CN112884806B CN 112884806 B CN112884806 B CN 112884806B CN 202110038655 A CN202110038655 A CN 202110038655A CN 112884806 B CN112884806 B CN 112884806B
Authority
CN
China
Prior art keywords
block
point
displacement
block area
speed measuring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110038655.8A
Other languages
English (en)
Other versions
CN112884806A (zh
Inventor
王剑平
朱芮
张果
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202110038655.8A priority Critical patent/CN112884806B/zh
Publication of CN112884806A publication Critical patent/CN112884806A/zh
Application granted granted Critical
Publication of CN112884806B publication Critical patent/CN112884806B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P5/00Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种结合块匹配和密集逆向搜索的视频测流方法及装置,属于水文测流技术领域。本发明借鉴视频编码中常用到的基于区域匹配的方法,利用密集逆向搜索计算区域中每个像素点之间的位移取平均值得到块区域的位移,最后计算得到河流的表面流速。本发明提出的方法引入了密集逆向搜索,只计算块区域中每个像素点之间的位移,提高了算法效率;且采用完全非接触式的视频测流,节省了人力,缩短了测量时间,提高了工作效率,视频采集设备易于维护。

Description

一种基于结合块匹配和密集逆向搜索的视频测流方法及装置
技术领域
本发明属于计算机视觉技术领域,具体涉及一种基于结合块匹配和密集逆向搜索的视频测流方法,还涉及一种基于结合块匹配和密集逆向搜索的视频测流装置。
背景技术
我国河流众多,河流的综合利用在国家经济社会发展中占有重要的地位。国家建立了许多水文站对很多河流进行水文信息监测,而河流流速的测量是水文信息监测的重要任务之一。然而洪水的发生具有突发性,且很多水文站地势险峻,这都使得河流流速测量变得很困难。近年来,非接触式明渠水流监测技术在传感器及嵌入式技术的推动下取得了长足进步,专利公开号为CN111232130A的发明专利,提出了一种新型全自动定位浮标装置及其使用方法有效的提高了水流表面流速监测的高效性,但是浮标的使用还是具有一定的局限性。专利公开号为CN107590819A的发明专利提出了一种基于压缩感知图像分析的河流表面流速估计方法可以实现河流流速实时监测以及数据远程传输,但此方法只能得到一个流速区间,并不能得到准确的流速,有一定的局限性。
虽然这些方法都已经被广泛的研究并取得了实际的应用,但都有不足的地方,基于压缩感知图像分析的河流表面流速估测只能得到一个流速区间,浮标装置在湍流情况下得不到保证,因此,迫切的需要一种相对更加精确和简单的方法来监测河流的流速。本发明提出了一种结合块匹配和密集逆向搜索的视频测流方法,只计算小块之间的像素点位移,既有利于保证准确性,又有利于提高时效性。
发明内容
本发明的目的在于克服现有技术中的不足,提供了一种基于结合块匹配和密集逆向搜索的视频测流方法,将计算像素点之间的位移与块匹配结合得到帧间位移,从而计算得到河流表面流速。
为解决上述技术问题,本发明提供了一种基于结合块匹配和密集逆向搜索的视频测流方法,包括以下过程:
将视频流中每帧图像转换为灰度图;
获取测速线的起点和终点,根据测速线起点和终点确定测速线上块区域中心点及对应的块区域;
基于密集逆向搜索算法计算相邻帧之间块区域中每个像素点的帧间位移,并取平均值作为相邻帧之间块区域的帧间位移;
计算视频流中所有相邻帧之间块区域的帧间位移的平均值作为块区域的帧间位移;
根据块区域的帧间位移,计算获得测速线上块区域中心点的流速。
进一步的,所述根据测速线起点和终点确定测速线上块区域中心点及对应的块区域,包括:
根据测速线的起点和终点,对测速线的起点到终点连线进行分段,以测速线上的分段点作为块区域中心点;
对于任一块区域中心点(x,y),对应的块区域为(x-r:x+r,y-r:y+r),其中r为分段后每一小段的x方向上距离的一半和y方向上距离的一半两者中绝对值取整较大者。
进一步的,所述分段采取等分原则,分段数目由断面数据的个数确定。
进一步的,所述基于密集逆向搜索算法计算相邻帧之间块区域中每个像素点的帧间位移,包括:
(1)令当前帧的块区域为It,下一帧的块区域为It+1,并以θsd为尺度金字塔下采样系数分别对It和It+1构建尺度金字塔,分别表示为It 1,It 2......It L和It+1 1,It+1 2......It+1 L;在顶层金字塔以全0位移初始化一个和顶层块区域相同大小的密集流场UL+1,从顶层往底层进行迭代在金字塔每一层s上进行以下步骤:
1)令模板Ts为金字塔s层
Figure GDA0003684217910000031
里的一个区域,模板大小为(θss),在
Figure GDA0003684217910000032
上用It分成的均匀的小块区域初始化并得到每个小块区域的中心点,且每个小块区域的大小为模板Ts的大小,模板Ts可以是任意一个小块区域;
2)用第s+1层得到的密集流场Us+1来初始化每个小块区域中心点的位移量ui,init,如公式(1)所示:
ui,init=Us+1(x/θsd)*θsd (1)
其中,x为小块区域中心点的坐标;
3)对
Figure GDA0003684217910000037
中每个小块区域i都进行快速逆向搜索,令当前被处理的小块区域i为模板Ts,单次快速逆向搜索的过程为:利用梯度下降法在区域
Figure GDA0003684217910000033
中搜索与模板Ts最匹配的子窗口,即找到位移ui(v,w)使得模板Ts
Figure GDA0003684217910000034
在子窗口上的差异平方和最小化,如公式(2)所示:
Figure GDA0003684217910000035
最小化这个量是非线性的,使用逆LK算法对其进行迭代优化,其中包括:
(a)通过对块区域
Figure GDA0003684217910000036
进行提取和双线性插值找到一个向量Δu,如公式(3)所示:
Figure GDA0003684217910000041
(b)更新ui=ui+Δu;
4)产生密集流场,其中包括:
(a)若对于3)中更新的ui有||ui,init-ui||2超过了模板Ts的大小θs,则将ui都重新设定为ui,init
(b)产生密集流场Us,如公式(4)所示:
Figure GDA0003684217910000042
其中,λi,x
Figure GDA0003684217910000043
中小块区域i与
Figure GDA0003684217910000044
中以x为中心和小块区域同大小区域的重叠度,当且仅当二者完全重叠时λi,x=1,Ns为小块区域数目,di(x)和Z的含义见公式(5)(6),Ts和小块区域i为相同区域:
Figure GDA0003684217910000045
Figure GDA0003684217910000046
(2)对(1)中经过迭代计算得到的顶层的密集流场UL按照下采样系数θsd再进行上采样得到最终的密集流场U,此密集流场U中的数据即为块区域中每个像素点的帧间位移。
进一步的,所述根据块区域的帧间位移,计算获得测速线上块区域中心点的流速,包括:
将块区域的帧间位移转换为世界坐标系中的块区域的实际位移,所述世界坐标系为基于标记点构建的坐标系;
根据块区域的实际位移,计算获得测速线上块区域中心点的流速。
进一步的,所述将块区域的帧间位移转换为世界坐标系中的块区域的实际位移,包括:
获取标记点A,B,C,D的坐标及四点两两之间的距离;
根据A,B,C,D四点两两之间的距离,计算出A,B,C,D四个点在世界坐标系中的坐标;
根据A,B,C,D四个点的坐标和世界坐标系中的坐标,计算获得透视变换的矩阵;
基于透视变换矩阵将块区域的帧间位移转换为世界坐标系中的块区域的实际位移。
进一步的,所述根据A,B,C,D四点两两之间的距离求出A,B,C,D四个点在世界坐标系中的坐标,包括:
(1-1)令A点为原点,取AB为x方向构建世界坐标系,则A点在世界坐标系中的坐标为(0,0),B点在世界坐标系中的坐标为(AB,0);
(1-2)计算COS(∠BAC):若COS(∠BAC)>=0,则点C的实际坐标为
Figure GDA0003684217910000051
若COS(∠BAC)<0,则点C的实际坐标为
Figure GDA0003684217910000052
(1-3)计算COS(∠BAD):若COS(∠BAD)>=0,则点D的实际坐标为
Figure GDA0003684217910000053
若COS(∠BAD)<0,则点D的实际坐标为
Figure GDA0003684217910000054
其中,AB,BC,CD,DA,AC,BD为A,B,C,D四个标记点在世界坐标系中两两之间的距离。
相应的,本发明还提供了一种基于稀疏像素点跟踪的视频测流装置,包括:
帧图像获取模块,用于将视频流中每帧图像转换为灰度图;
块区域确定模块,用于获取测速线的起点和终点,根据测速线起点和终点确定测速线上块区域中心点及对应的块区域;
帧间位移计算模块,用于基于密集逆向搜索算法计算相邻帧之间块区域中每个像素点的帧间位移,并取平均值作为相邻帧之间块区域的帧间位移;
块区域位移计算模块,用于计算视频流中所有相邻帧之间块区域的帧间位移的平均值作为块区域的帧间位移;
以及,流速计算模块,用于根据块区域的帧间位移,计算获得测速线上块区域中心点的流速。
与现有技术相比,本发明所达到的有益效果是:
1)结合块区域匹配和密集逆向搜索,既避免了计算整帧图片所有像素点之间位移量大且计算时间长的缺点,又能够得到较为准确的河流表面流速。
2)采用完全非接触式的视频测流,相比于目前使用较为广泛的测流方法,节省了投入测流测验工作的人数,显著缩短测量时间,提高了工作效率,视频采集设备维护也较为简单。
附图说明
为了使本发明的内容更容易被清楚地理解,下面根据具体实施例并结合附图,对本发明作进一步详细的说明,其中:
图1为本发明方法处理流程示意图;
图2为河道测流场景示意图;
图3为确定块区域的程序流程图;
图4为计算实际坐标的程序流程图;
图5为具体实施例1步骤S4的程序流程图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
实施例1
本发明的技术构思为:将计算像素点之间的位移与块匹配结合得到帧间位移,从而计算得到河流表面流速。
本发明的一种基于结合块匹配和密集逆向搜索的视频测流方法,参见图1所示,包括以下过程:
步骤1,将视频进行切帧,总帧数为:帧速率fps*视频总时长;并将每帧图像转换为灰度图保存在帧数组中,像素点的跟踪都在帧数组中的灰度图上进行。。
步骤2,获取预先存储好的文件coordination_information,该文件中存储了标记点、测速线起点和终点在视频中的坐标以及四个标记点在世界坐标系中两两之间的距离,从中获取标记点、测速线的信息;并在预先存储了断面数据的文件station_information里面获取断面数据;
具体过程为:
(1)根据文件coordination_information的存储地址读取文件,获取四个标记点(A,B,C,D)在视频中的坐标信息、四个标记点在世界坐标系中两两之间的距离(AB,BC,CD,DA,AC,BD)信息、测速线起点(E)和终点(F)在视频中的坐标信息,其中四个标记点应该为顺时针方向依次标记;河道测流场景示意图如图2;
(2)将六个点的坐标和四个标记点两两之间的距离分别存放在两个数据字典中。
(3)根据文件station_informationde存储地址读取文件,获取断面数据信息,令length为读取的断面数据的个数。
步骤3,根据测速线起点和终点确定被计算每个像素点之间位移的块区域;
其流程图如图3所示。具体处理过程包括:
(1)根据测速线的起点和终点坐标,对测速线在图像上x方向的距离和y方向的距离都等分成同样的小段x_step和y_step,其中分段原则是采取的等分原则,分段数目是根据断面数据的个数length所决定的。
(2)以测速线起点的坐标值(x,y)依次分别在x方向上加上每一小段的距离和在y方向上加上每一小段的距离(即测速线上起点和终点间的分段点),作为块区域的中心点(x,y)存放到数组中,此中心点也为后面得到速度的点。
例如E(x1,y1)、F(x2,y2)分别为测速线的起点和终点,则x方向的每一小段距离为x_step=(x2-x1)/(length+1),y_step=(y2-y1)/(length+1)。
则中心点分别为P1(x1+x_step,y1+y_step)、P2(x1+2*x_step,y1+2*y_step)……Plength(x1+length*x_step,y1+length*y_step)。
(3)令r为(1)中得到的每一小段的x方向上距离的一半(x_step_half)和y方向上距离的一半(y_step_half)两者绝对值取整较大者,公式表达为:r=max([|x_step_half|],[|y_step_half|]),其中[]为取整。
(4)在当前帧图像中找到(2)得到的区域中心点,取每一个块区域为(x-r:x+r,y-r:y+r),则块区域的大小为(2*r)*(2*r)。
步骤4,计算相邻两帧的块区域中每个像素点的帧间位移并取平均值,作为图上块区域的帧间位移;
具体过程包括:
(1)令当前帧的块区域为It,下一帧的块区域为It+1,并以θsd为尺度金字塔下采样系数分别对It和It+1构建尺度金字塔,分别表示为It 1,It 2......It L和It+1 1,It+1 2......It+1 L(It=It 1,It+1=It+1 1,L为最顶层);在顶层金字塔(第L层)以全0位移初始化一个和顶层块区域相同大小的密集流场UL+1,并在金字塔每一层s上都完成以下步骤(顺序为从顶层往底层进行迭代):
1)令模板Ts为金字塔s层
Figure GDA0003684217910000091
里的一个区域,模板大小为(θss)(8≤θs≤12),在
Figure GDA0003684217910000092
上用It分成的均匀的小块区域(或称为“网格”)初始化并得到每个小块区域的中心点,且每个小块区域的大小为模板Ts的大小,模板Ts可以是任意一个小块区域;
2)用第s+1层得到的密集流场Us+1来初始化每个小块区域中心点的位移量ui,init,如公式(1)所示:
ui,init=Us+1(x/θsd)*θsd (1)
其中,x为小块区域中心点的坐标。
3)对
Figure GDA0003684217910000093
中每个小块区域i都进行快速逆向搜索,令当前被处理的小块区域i为模板Ts,单次快速逆向搜索的过程为:利用梯度下降法在区域
Figure GDA0003684217910000094
中搜索与模板Ts最匹配的子窗口,即找到位移ui(v,w)(v为此位移量在x方向上的分量,w为此位移量在y方向上的分量)使得模板Ts
Figure GDA0003684217910000095
在子窗口上的差异平方和最小化,如公式(2)所示:
Figure GDA0003684217910000096
最小化这个量是非线性的,使用逆LK算法对其进行迭代优化,其中包括:
(a)通过对块区域
Figure GDA0003684217910000097
进行提取和双线性插值找到一个向量Δu,如公式(3)所示:
Figure GDA0003684217910000101
(b)更新ui=ui+Δu;
4)产生密集流场,其中包括:
(a)为了增强鲁棒性,若对于3)中更新的ui有||ui,init-ui||2超过了模板Ts的大小θs,则将ui都重新设定为ui,init
(b)产生密集流场Us,如公式(4)所示:
Figure GDA0003684217910000102
其中,λi,x
Figure GDA0003684217910000103
中小块区域i与
Figure GDA0003684217910000104
中以x为中心和小块区域同大小区域的重叠度,当且仅当二者完全重叠时λi,x=1,Ns为小块区域数目,di(x)和Z的含义见公式(5)(6),Ts和小块区域i为相同区域:
Figure GDA0003684217910000105
Figure GDA0003684217910000106
(2)对(1)中经过迭代计算得到的顶层(第L层)的密集流场UL按照下采样系数θsd再进行上采样得到最终的密集流场U,此密集流场U中的数据即为块区域中每个像素点的帧间位移,将每个像素点帧间位移的平均值作为两帧之间这两个块区域(即中心点)的图上帧间位移。
在整个视频里面所有相邻帧的各个块区域都进行步骤4,设视频总共有f帧,则进行f-1次迭代。在每两个相邻帧计算时需要进行块区域个数次迭代,得到相邻帧各个块区域的帧间位移。最后整个视频迭代计算完成,得到所有相邻帧各个块区域帧间位移,求其平均值作为最终测速线上各个块区域中心点的帧间位移。
步骤5,将帧间位移经透视变换转化为实际位移;
具体包括:
(1)根据A,B,C,D四点两两之间的距离求出A,B,C,D四个点在世界坐标系的坐标,其中包括:
(1-1)由于四个标记点在同一平面内,且知道四个点两两之间的距离,则可以自己构建坐标系,求出四个标记点在世界坐标系中的坐标。
令A点为原点,取AB为x方向构建世界坐标系,则A点的实际坐标为(0,0),B点的实际坐标为(AB,0);
(1-2)计算COS(∠BAC):若COS(∠BAC)>=0,则点C的实际坐标为
Figure GDA0003684217910000111
若COS(∠BAC)<0,则点C的实际坐标为
Figure GDA0003684217910000112
(1-3)计算COS(∠BAD):若COS(∠BAD)>=0,则点D的实际坐标为
Figure GDA0003684217910000113
若COS(∠BAD)<0,则点D的实际坐标为
Figure GDA0003684217910000114
计算流程图如图4所示。
(2)根据A,B,C,D四个点的坐标和世界坐标系中的实际坐标求透视变换的矩阵。
(3)用步骤4最后经过迭代计算的最终帧间位移的起点和终点乘上透视变换矩阵得到实际中的起点和终点的坐标,从而得到世界坐标系中的实际位移。
步骤6,将实际位移经过计算转换为河流表面流速。
利用块区域的实际位移除以帧速率即得到河流表面测速线上块区域中心点的表面流速。
本发明利用稀疏像素点跟踪结合图像灰度特征的角点,在小块区域内对角点进行跟踪,利用帧间位移经透视变换转化成实际位移,最后计算出河流表面流速。本发明提出的方法采用完全非接触式的视频测流,且不用示踪物,节省了人力,缩短了测量时间,提高了工作效率,视频采集设备易于维护。
实施例2
步骤S1:选取某水文站的视频数据,视频时长为10秒,视频帧速率为30s/帧,每帧大小为1920*1080。
首先对视频进行切帧,再将每一帧转为灰度图存放在帧序列数组frames中。
步骤S2:读取四个标记点的图上坐标信息为A(902,236),B(1323,279),C(896,1052),D(111,465);测速线起点图上坐标为E(827,971),终点图上坐标为F(1747,315);四个标记点两两之间的实际距离为AB=20.87,BC=27.97,CD=17.05,DA=24.77,AC=27.17,BD=36.63;断面数据长度length=15。并将六个点的坐标存于points数据字典中,将四个标记点两两之间的距离存于distance数据字典中。
步骤S3:
(1)利用测速线起点和终点的坐标值之差分别除以(length+1)得到x_step=-57.5,y_step=41.0;
(2)利用起点坐标的x加上x方向上的距离,y加上y方向上的距离得到15个区域中心点(即分段点)的坐标(x,y);
(3)r=max(22,29)=29;
(4)取当前帧和下一帧的每个块区域都为frames[x-r:x+r,y-r:y+r]。
步骤S4:参见图5所示,包括:
(1)构建尺度金字塔,层数为3层,并初始化流场为0;
(2)对当前帧块区域用均匀的小块区域初始化,每个小块区域的大小为8*8;
(3)以Us+1初始化每个小块区域的位移,其中s为当前尺度;
(4)对于每个小块区域都进行快速逆向搜索;
(5)计算密集流场;
(6)根据计算出的块区间每个像素点之间的位移求平均值作为这两块区域的图上帧间位移。
步骤S5,得出四个标记点的实际坐标分别为:A(0,0),B(20.87,0),C(9.38,25.5),D(-7.01,23.76),得到透视变换矩阵为:
Figure GDA0003684217910000131
根据透视变换得到的实际帧间位移为:[0.07212017734503479,0.11706552218162342,0.14177983069641928,0.16346248065977032,0.18662459009314183,0.21390633744257165,0.22397664147614454,0.23681202000887414,0.2698250831835158,0.2606958602738512,0.2764926574697566,0.2771889747860427,0.15965995533141739,0.10273243606763238,0.08863859534954452]。
步骤S7,利用得到的实际位移除以帧速率可得河流表面测速线不同点的流速,根据得到的表面流速计算平均流速为1.25,与实际的平均流速1.32相比,相对误差仅为5.3%。
此误差较小,完全满足水文站河流流速测量要求,说明本方法实际可行。
实施例3
相应的,本发明还提供了一种基于稀疏像素点跟踪的视频测流装置,包括:
帧图像获取模块,用于将视频流中每帧图像转换为灰度图;
块区域确定模块,用于获取测速线的起点和终点,根据测速线起点和终点确定测速线上块区域中心点及对应的块区域;
帧间位移计算模块,用于基于密集逆向搜索算法计算相邻帧之间块区域中每个像素点的帧间位移,并取平均值作为相邻帧之间块区域的帧间位移;
块区域位移计算模块,用于计算视频流中所有相邻帧之间块区域的帧间位移的平均值作为块区域的帧间位移;
流速计算模块,用于根据块区域的帧间位移,计算获得测速线上块区域中心点的流速。
本发明装置的各个模块的具体实现方案参见上述方法的具体实现过程。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变型,这些改进和变型也应视为本发明的保护范围。

Claims (7)

1.一种基于结合块匹配和密集逆向搜索的视频测流方法,其特征是,包括以下过程:
将视频流中每帧图像转换为灰度图;
获取测速线的起点和终点,根据测速线起点和终点确定测速线上块区域中心点及对应的块区域;
基于密集逆向搜索算法计算相邻帧之间块区域中每个像素点的帧间位移,并取平均值作为相邻帧之间块区域的帧间位移;
计算视频流中所有相邻帧之间块区域的帧间位移的平均值作为块区域的帧间位移;
根据块区域的帧间位移,计算获得测速线上块区域中心点的流速;
所述根据测速线起点和终点确定测速线上块区域中心点及对应的块区域,包括:
根据测速线的起点和终点坐标,对测速线在图像上x方向的距离和y方向的距离都等分成同样的小段,以测速点起点的坐标值依次分别在x方向上加上每一小段的距离和在y方向上加上每一小段的距离,作为块区域的中心点x,y)存放到数组中;对于任一块区域中心点(x,y),对应的块区域为(x-r:x+r,y-r:y+r),其中r为分段后每一小段的x方向上距离的一半和y方向上距离的一半两者中绝对值取整较大者。
2.根据权利要求1所述的一种基于结合块匹配和密集逆向搜索的视频测流方法,其特征是,所述分段采取等分原则,分段数目由断面数据的个数确定。
3.根据权利要求1所述的一种基于结合块匹配和密集逆向搜索的视频测流方法,其特征是,所述基于密集逆向搜索算法计算相邻帧之间块区域中每个像素点的帧间位移,包括:
(1)令当前帧的块区域为It,下一帧的块区域为It+1,并以θsd为尺度金字塔下采样系数分别对It和It+1构建尺度金字塔,分别表示为It 1,It 2......It L和It+1 1,It+1 2......It+1 L;在顶层金字塔以全0位移初始化一个和顶层块区域相同大小的密集流场UL+1,从顶层往底层进行迭代在金字塔每一层s上进行以下步骤:
1)令模板Ts为金字塔s层
Figure FDA0003684217900000024
里的一个区域,模板大小为(θss),在
Figure FDA0003684217900000025
上用It分成的均匀的小块区域初始化并得到每个小块区域的中心点,且每个小块区域的大小为模板Ts的大小,模板Ts可以是任意一个小块区域;
2)用第s+1层得到的密集流场Us+1来初始化每个小块区域中心点的位移量ui,init,如公式(1)所示:
ui,init=Us+1(x/θsd)*θsd (1)
其中,x为小块区域中心点的坐标;
3)对
Figure FDA0003684217900000026
中每个小块区域i都进行快速逆向搜索,令当前被处理的小块区域i为模板Ts,单次快速逆向搜索的过程为:利用梯度下降法在区域
Figure FDA0003684217900000021
中搜索与模板Ts最匹配的子窗口,即找到位移ui(v,w)使得模板Ts
Figure FDA0003684217900000022
在子窗口上的差异平方和最小化,如公式(2)所示:
Figure FDA0003684217900000023
最小化这个量是非线性的,使用逆LK算法对其进行迭代优化,其中包括:
(a)通过对块区域
Figure FDA0003684217900000031
进行提取和双线性插值找到一个向量Δu,如公式(3)所示:
Figure FDA0003684217900000032
(b)更新ui=ui+Δu;
4)产生密集流场,其中包括:
(a)若对于3)中更新的ui有||ui,init-ui||2超过了模板Ts的大小θs,则将ui都重新设定为ui,init
(b)产生密集流场Us,如公式(4)所示:
Figure FDA0003684217900000033
其中,λi,x
Figure FDA0003684217900000034
中小块区域i与
Figure FDA0003684217900000035
中以x为中心和小块区域同大小区域的重叠度,当且仅当二者完全重叠时λi,x=1,Ns为小块区域数目,di(x)和Z的含义见公式(5)(6),Ts和小块区域i为相同区域:
Figure FDA0003684217900000036
Figure FDA0003684217900000037
(2)对(1)中经过迭代计算得到的顶层的密集流场UL按照下采样系数θsd再进行上采样得到最终的密集流场U,此密集流场U中的数据即为块区域中每个像素点的帧间位移。
4.根据权利要求1所述的一种基于结合块匹配和密集逆向搜索的视频测流方法,其特征是,所述根据块区域的帧间位移,计算获得测速线上块区域中心点的流速,包括:
将块区域的帧间位移转换为世界坐标系中的块区域的实际位移,所述世界坐标系为基于标记点构建的坐标系;
根据块区域的实际位移,计算获得测速线上块区域中心点的流速。
5.根据权利要求4所述的一种基于结合块匹配和密集逆向搜索的视频测流方法,其特征是,所述将块区域的帧间位移转换为世界坐标系中的块区域的实际位移,包括:
获取标记点A,B,C,D的坐标及四点两两之间的距离;
根据A,B,C,D四点两两之间的距离,计算出A,B,C,D四个点在世界坐标系中的坐标;
根据A,B,C,D四个点的坐标和世界坐标系中的坐标,计算获得透视变换的矩阵;
基于透视变换矩阵将块区域的帧间位移转换为世界坐标系中的块区域的实际位移。
6.根据权利要求5所述的一种基于结合块匹配和密集逆向搜索的视频测流方法,其特征是,所述根据A,B,C,D四点两两之间的距离求出A,B,C,D四个点在世界坐标系中的坐标,包括:
(1-1)令A点为原点,取AB为x方向构建世界坐标系,则A点在世界坐标系中的坐标为(0,0),B点在世界坐标系中的坐标为(AB,0);
(1-2)计算COS(∠BAC):若COS(∠BAC)>=0,则点C的实际坐标为
Figure FDA0003684217900000041
若COS(∠BAC)<0,则点C的实际坐标为
Figure FDA0003684217900000042
(1-3)计算COS(∠BAD):若COS(∠BAD)>=0,则点D的实际坐标为
Figure FDA0003684217900000051
若COS(∠BAD)<0,则点D的实际坐标为
Figure FDA0003684217900000052
其中,AB,BC,CD,DA,AC,BD为A,B,C,D四个标记点在世界坐标系中两两之间的距离。
7.一种基于稀疏像素点跟踪的视频测流装置,其特征是,包括:
帧图像获取模块,用于将视频流中每帧图像转换为灰度图;
块区域确定模块,用于获取测速线的起点和终点,根据测速线起点和终点确定测速线上块区域中心点及对应的块区域;
帧间位移计算模块,用于基于密集逆向搜索算法计算相邻帧之间块区域中每个像素点的帧间位移,并取平均值作为相邻帧之间块区域的帧间位移;
块区域位移计算模块,用于计算视频流中所有相邻帧之间块区域的帧间位移的平均值作为块区域的帧间位移;
以及,流速计算模块,用于根据块区域的帧间位移,计算获得测速线上块区域中心点的流速;
所述根据测速线起点和终点确定测速线上块区域中心点及对应的块区域,包括:
根据测速线的起点和终点坐标,对测速线在图像上x方向的距离和y方向的距离都等分成同样的小段以测速点起点的坐标值依次分别在x方向上加上每一小段的距离和在y方向上加上每一小段的距离,作为块区域的中心点x,y)存放到数组中;对于任一块区域中心点(x,y),对应的块区域为(x-r:x+r,y-r:y+r),其中r为分段后每一小段的x方向上距离的一半和y方向上距离的一半两者中绝对值取整较大者。
CN202110038655.8A 2021-01-12 2021-01-12 一种基于结合块匹配和密集逆向搜索的视频测流方法及装置 Active CN112884806B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110038655.8A CN112884806B (zh) 2021-01-12 2021-01-12 一种基于结合块匹配和密集逆向搜索的视频测流方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110038655.8A CN112884806B (zh) 2021-01-12 2021-01-12 一种基于结合块匹配和密集逆向搜索的视频测流方法及装置

Publications (2)

Publication Number Publication Date
CN112884806A CN112884806A (zh) 2021-06-01
CN112884806B true CN112884806B (zh) 2022-09-02

Family

ID=76044760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110038655.8A Active CN112884806B (zh) 2021-01-12 2021-01-12 一种基于结合块匹配和密集逆向搜索的视频测流方法及装置

Country Status (1)

Country Link
CN (1) CN112884806B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107102165A (zh) * 2017-04-14 2017-08-29 重庆大学 一种基于粒子图像测速的表面流场测量方法
CN108107234A (zh) * 2018-01-19 2018-06-01 昆明理工大学 一种高水条件下的水面流速检测系统及其检测方法
CN110125928A (zh) * 2019-03-27 2019-08-16 浙江工业大学 一种基于前后帧进行特征匹配的双目惯导slam系统
CN110853033A (zh) * 2019-11-22 2020-02-28 腾讯科技(深圳)有限公司 基于帧间相似度的视频检测方法和装置
WO2020098299A1 (zh) * 2018-11-16 2020-05-22 中南大学 一种高温熔融流体流速检测方法及系统
CN111445444A (zh) * 2020-03-11 2020-07-24 中南大学 一种基于极化特征的铁水流速检测方法
CN111494938A (zh) * 2020-04-28 2020-08-07 网易(杭州)网络有限公司 测速方法、装置、存储介质及电子装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101876705A (zh) * 2009-11-03 2010-11-03 清华大学 基于单频连续波雷达的频域车辆检测方法
CN104796623B (zh) * 2015-02-03 2016-02-24 中国人民解放军国防科学技术大学 基于金字塔块匹配和泛函优化的拼接视频去结构偏差方法
WO2017096384A1 (en) * 2015-12-04 2017-06-08 Texas Instruments Incorporated Quasi-parametric optical flow estimation
CN105787901B (zh) * 2016-03-21 2018-07-24 昆明理工大学 一种用于太阳高分辨图像序列中相邻两帧间的多尺度速度场测量方法
CN106683114B (zh) * 2016-12-16 2019-08-20 河海大学 基于特征光流的流体运动矢量估计方法
CN107239760B (zh) * 2017-06-05 2020-07-17 中国人民解放军军事医学科学院基础医学研究所 一种视频数据处理方法及系统
CN109360269B (zh) * 2018-09-30 2022-12-06 国网黑龙江省电力有限公司电力科学研究院 基于计算机视觉的地面三维平面重建方法
CN109740558B (zh) * 2019-01-10 2022-11-18 吉林大学 一种基于改进光流法的移动目标检测方法
CN110392265B (zh) * 2019-08-27 2022-03-25 广州虎牙科技有限公司 帧间运动估计方法、装置、电子设备及可读存储介质
CN111161304B (zh) * 2019-12-16 2023-06-30 北京空间机电研究所 一种快速背景估计的遥感视频目标轨迹跟踪方法
CN112017445B (zh) * 2020-09-04 2021-10-15 卞建鹏 一种行人违规行为预测和运动轨迹跟踪系统和方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107102165A (zh) * 2017-04-14 2017-08-29 重庆大学 一种基于粒子图像测速的表面流场测量方法
CN108107234A (zh) * 2018-01-19 2018-06-01 昆明理工大学 一种高水条件下的水面流速检测系统及其检测方法
WO2020098299A1 (zh) * 2018-11-16 2020-05-22 中南大学 一种高温熔融流体流速检测方法及系统
CN110125928A (zh) * 2019-03-27 2019-08-16 浙江工业大学 一种基于前后帧进行特征匹配的双目惯导slam系统
CN110853033A (zh) * 2019-11-22 2020-02-28 腾讯科技(深圳)有限公司 基于帧间相似度的视频检测方法和装置
CN111445444A (zh) * 2020-03-11 2020-07-24 中南大学 一种基于极化特征的铁水流速检测方法
CN111494938A (zh) * 2020-04-28 2020-08-07 网易(杭州)网络有限公司 测速方法、装置、存储介质及电子装置

Also Published As

Publication number Publication date
CN112884806A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN113610778B (zh) 一种基于语义分割的桥梁表面裂纹检测方法与系统
CN112597985B (zh) 一种基于多尺度特征融合的人群计数方法
CN102156991B (zh) 基于四元数的物体光流跟踪方法
CN104318552B (zh) 基于凸包投影图匹配的模型配准方法
CN101303729A (zh) 一种新的指纹奇异点检测方法
CN117291902B (zh) 一种基于深度学习用于像素级混凝土裂缝的检测方法
CN116452794B (zh) 一种基于半监督学习的有向目标检测方法
CN112906675A (zh) 一种固定场景中的无监督人体关键点检测方法及系统
CN115457556A (zh) 一种核电厂圆盘指针式仪表读数方法
CN112686204B (zh) 一种基于稀疏像素点跟踪的视频测流方法及装置
CN104596484A (zh) 一种黄河凌汛期流凌密度测量方法
CN112884806B (zh) 一种基于结合块匹配和密集逆向搜索的视频测流方法及装置
CN113920254A (zh) 一种基于单目rgb的室内三维重建方法及其系统
CN1766929B (zh) 一种基于三维数据库的运动对象运动重构方法
CN117007606B (zh) 一种基于晶粒分割网络的晶圆晶粒缺陷检测方法及系统
CN113658147A (zh) 一种基于深度学习的工件尺寸测量装置及方法
CN113989653A (zh) 一种河流平面几何指标与拓扑结构的提取方法
CN110852189A (zh) 一种基于深度学习的低复杂度的密集人群分析方法
CN114399547B (zh) 一种基于多帧的单目slam鲁棒初始化方法
CN114034348B (zh) 一种基于多信源信息的生态流量监测系统及其监测方法
CN113077488B (zh) 一种河流表面流速检测方法和装置
CN113450394A (zh) 一种基于Siamese网络的异尺寸图像配准方法
CN105427310A (zh) 一种基于局部线性约束的稀疏特征匹配的图像配准方法
CN113592877B (zh) 一种抽水蓄能电站红线超标识别方法及装置
CN116740619B (zh) 基于数字图像处理的海上风力机角速度测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant