CN111275752A - 水流测速方法、装置、计算机设备及存储介质 - Google Patents

水流测速方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111275752A
CN111275752A CN202010075235.2A CN202010075235A CN111275752A CN 111275752 A CN111275752 A CN 111275752A CN 202010075235 A CN202010075235 A CN 202010075235A CN 111275752 A CN111275752 A CN 111275752A
Authority
CN
China
Prior art keywords
water flow
video frame
characteristic
gray level
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010075235.2A
Other languages
English (en)
Inventor
柴秀娟
杨晨雪
张文蓉
孙坦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agricultural Information Institute of CAAS
Original Assignee
Agricultural Information Institute of CAAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agricultural Information Institute of CAAS filed Critical Agricultural Information Institute of CAAS
Priority to CN202010075235.2A priority Critical patent/CN111275752A/zh
Publication of CN111275752A publication Critical patent/CN111275752A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P5/00—Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft
    • G01P5/001—Full-field flow measurement, e.g. determining flow velocity and direction in a whole region at the same time, flow visualisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种水流测速方法、装置、计算机设备及存储介质，涉及视频测速技术领域，用于提高水流测速的准确度。本发明的主要技术方案为：获取待检测水流的视频序列；并从视频序列中获取视频帧RGB图像、视频帧差灰度图像以及视频帧灰度图像；根据所述视频帧RGB图像、所述视频帧差灰度图像以及所述视频帧灰度图像分别确定所述待检测水流的表观特征、运动特征与纹理特征；将所述待检测水流的表观特征、运动特征与纹理特征进行组合得到水流特征，并将所述水流特征输入到特征融合网络模型中得到与所述待检测水流对应的水流流速的预测结果；所述特征融合网络模型是根据样本水流特征和其对应的水流流速标签训练得到的。

Description

水流测速方法、装置、计算机设备及存储介质
技术领域
本发明涉及测速技术领域，尤其涉及一种水流测速方法、装置、计算机设备及存储介质。
背景技术
水流速度是一种重要的水文信息，测量水流流速对于预防治理洪涝和水旱灾害以及水资源调控具有重要作用。传统的水流流速测量方法受含沙量与漂浮物影响较大，且对设备与人力的投入成本较高，难以实现对水流速度的不间断实时监控。为了解决传统水流流速测量方法的局限性，开发一种成本低且实时性高的水流流速测量技术具有现实意义。
目前，通过视频监控测量水流流速，视频监控测量核心在于对水流的视频帧图像进行分析，提取河流表面波纹的特征，寻找水纹特征与河流流速的映射关系。首次利用视频监控测量水流流速，提出了在空中对河流投射浮标，再用摄像机记录浮标位置的方法进行流速测量的方法；或以河流流动时表面产生的泡沫作为目标，利用视频监控漂浮泡沫计算流速；又或以河面漂浮的树木枝叶替代普通浮标，利用摄像机监测树木枝叶计算河流的流速。但是，由于存在的晚上或光线不好的情况以及自然风速影响漂浮物的情况，将会导致根据视频帧图像测量的水流速度的精度低，还经常出现测量失败的情况。
发明内容
本发明提供一种水流测速方法、装置、计算机设备及存储介质，用于提高水流测速的准确度。
本发明实施例提供一种水流测速方法，所述方法包括：
获取待检测水流的视频序列；并从所述视频序列中获取视频帧RGB图像、视频帧差灰度图像以及视频帧灰度图像；
根据所述视频帧RGB图像、所述视频帧差灰度图像以及所述视频帧灰度图像分别确定所述待检测水流的表观特征、运动特征与纹理特征；
将所述待检测水流的表观特征、运动特征与纹理特征进行组合得到水流特征，并将所述水流特征输入到特征融合网络模型中得到与所述待检测水流对应的水流流速的预测结果；所述特征融合网络模型是根据样本水流特征和其对应的水流流速标签训练得到的。
本发明实施例提供一种水流测速装置，所述装置包括：
获取模块，用于获取待检测水流的视频序列；并从所述视频序列中获取视频帧RGB图像、视频帧差灰度图像以及视频帧灰度图像；
确定模块，用于根据所述视频帧RGB图像、所述视频帧差灰度图像以及所述视频帧灰度图像分别确定所述待检测水流的表观特征、运动特征与纹理特征；
计算模块，用于将所述待检测水流的表观特征、运动特征与纹理特征进行组合得到水流特征，并将所述水流特征输入到特征融合网络模型中得到与所述待检测水流对应的水流流速的预测结果；所述特征融合网络模型是根据样本水流特征和其对应的水流流速标签训练得到的。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述水流测速方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述水流测速方法。
本发明提供的一种水流测速方法、装置、计算机设备及存储介质，首先获取待检测水流的视频序列；并从视频序列中获取视频帧RGB图像、视频帧差灰度图像以及视频帧灰度图像；然后根据视频帧RGB图像、视频帧差灰度图像以及视频帧灰度图像分别确定待检测水流的表观特征、运动特征与纹理特征；最后将待检测水流的表观特征、运动特征与纹理特征进行组合得到水流特征，并将水流特征输入到特征融合网络模型中得到与所述待检测水流对应的水流流速的预测结果。与目前通过视频监控测量水流流速相比，本发明基于视觉多通道的深度特征融合网络的水流测速方法可准确的对水流进行测速，即将水流的表观特征、运动特征与纹理特征的多特征有效地整合在特征融合网络模型中，加强了特征在网络中的传递，有效提高了特征融合网络模型分类效果，因此通过本发明可准确地测量出待检测水流对应的水流速度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中水流测速方法的一应用环境示意图；
图2是本发明一实施例中水流测速方法的一流程图；
图3是本发明一实施例中水流测速方法的另一流程图；
图4是本发明一实施例中密集连接网络模型中的一个密集块示意图；
图5是本发明一实施例中完备局部二值模式特征提取示意图；
图6是本发明一实施例中纹理特征提取流程图；
图7是本发明一实施例中特征融合网络示意图；
图8是本发明一实施例中水流测速装置的一原理框图；
图9是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请提供的水流测速方法，可应用在如图1的应用环境中，其中，摄像设备通过网络与计算机设备进行通信。计算机设备获取摄像设备拍摄的待检测水流的视频序列；并从视频序列中获取视频帧RGB图像、视频帧差灰度图像以及视频帧灰度图像；根据所述视频帧RGB图像、所述视频帧差灰度图像以及所述视频帧灰度图像分别确定所述待检测水流的表观特征、运动特征与纹理特征；将所述待检测水流的表观特征、运动特征与纹理特征进行组合得到水流特征，并将所述水流特征输入到特征融合网络模型中得到与所述待检测水流对应的水流流速的预测结果；所述特征融合网络模型是根据样本水流特征和其对应的水流流速标签训练得到的。其中，计算机设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑等。
在一实施例中，如图2、图3所示，提供一种水流测速方法，以该方法应用在图1中的计算机设备为例进行说明，包括如下步骤：
S10，获取待检测水流的视频序列；并从所述视频序列中获取视频帧RGB图像、视频帧差灰度图像以及视频帧灰度图像。
其中，待检测水流是需要进行测量水流速度的水流，在本发明实施例中在获取待待检测水流的视频序列后，从视频序列中获取视频帧RGB图像、视频帧差灰度图像以及视频帧灰度图像。具体的，首先获取从视频序列中获取视频帧RGB图像，然后对获取的RGB图像帧进行灰度化处理，将RGB值转化为灰度值，其操作为：Gray(i,j)＝0.299*R(i,j)+0.578*G(i,j)+0.144*B(i,j)
其中，公式中R(i,j)，G(i,j)，B(i,j)为(i,j)像素点的三种颜色通道的分量。
S20，根据所述视频帧RGB图像、所述视频帧差灰度图像以及所述视频帧灰度图像分别确定所述待检测水流的表观特征、运动特征与纹理特征。
其中，表观特征用于描述待检测水流的空间表观；运动特征用于描述待检测水流的水流运动；纹理特征用于描述待检测水流的局部纹理。在本发明提供的一个实施例中，所述根据所述视频帧RGB图像、所述视频帧差灰度图像以及所述视频帧灰度图像分别确定所述待检测水流的表观特征、运动特征与纹理特征，包括：将所述视频帧RGB图像输入到表观流密集连接网络模型得到所述待检测水流的表观特征，所述表观流密集连接网络模型是根据样本视频帧RGB图像及其对应的表观特征标签训练得到的；将所述视频帧差灰度图像输入到运动流密集连接网络模型得到所述待检测水流的运动特征，所述运动流密集连接网络模型是根据样本视频帧差灰度图像及其对应的运动特征标签训练得到的；将所述及视频帧灰度图像输入到纹理流密集连接网络模型得到所述待检测水流的纹理特征，所述纹理流密集连接网络模型是根据样本视频帧灰度图像及其对应的纹理特征标签训练得到的。
具体的，表观流密集连接网络抽取视频序列的单帧RGB图像帧作为输入，用以描述图像画面的空间表观特征；运动流密集连接网络则是采集视频序列并获取光流数据(视频帧差灰度图像)输入网络，用以提取视频序列的时序变化特征，即检测水流的运动特征；纹理流密集连接网络则可以采用LBP、CLBP等模型提取视频序列的单帧图像帧的局部纹理特征。以下分别对它们进行介绍。
如图4为本发明的密集连接网络中的一个密集块示意图，本发明采用了密集连接网络分别作为提取视频序列的表观、运动与纹理的特征模型。给定一个输入的视频序列，使用三个密集连接网络分别根据输入的视频帧级别视觉特征序列提取特征描述。每一个密集连接网络都是由多个密集块组成，每个密集块由多层组成，通过密集式连接改变网络模型的连接方式可以使网络层间的信息得到充分传播。
需要说明的是，密集连接网络的一个重要特性是每个卷积层的输入是同一密集块内所有先前层生成的所有特征图的关联，即第i层的输入不仅与i-1层的输出相关，还有所有之前层的输出有关。因此，第l层接收lk个输入特征图，即：xl＝Hl([x0,x1,…,xl-1])
其中，[x0,x1,…,xl-1]代表将第0个卷积层到第l-1卷积层的输出特征图x0,x1,…,xl-1按特征通道拼接组合在一起，非线性变换Hl(·)表示BN-ReLU-Conv(1×1)-BN-ReLU-Conv(3×3)的复合函数，分别为批归一化函数(Batch Normalization，BN)、激活函数ReLU、卷积运算(Conv)的复合运算。在本发明实施例中，可选取40层密集连接为基础网络，该网络由3组结构相同的密集块组成，每个密集块包含12个3×3卷积层，每个卷积层的输出特征图数均为12。
一个密集连接网络由多个密集块组成，每一个密集块之间的层称为过渡层(transition layers)，由BN-Conv(1×1)-averagePooling(2×2)构成，即网络将密集块提取的特征图送入到过渡层中，进行1×1的卷积与2×2池化操作。过渡层中压缩因子设置为0.5，那么该过渡层输出的特征图变为密集连接块输出的一半，即为6。过渡层输出的特征图经过后面的多个密集块与过渡层，再经过全局平均池化层、全连接层。当特征图经过全连接层时，每张特征图大小已经变为1×1，所以全连接层输出的特征图维度是1×1×1024，最后的输出层输出包含多个类别的类别概率向量，最终实现多类分类任务。
在本发明提供的一个实施例中，所述根据所述视频帧灰度图像确定所述待检测水流的纹理特征，包括：根据预置局部纹理特征提取算法从所述视频帧灰度图像中确定所述待检测水流的纹理特征。其中，预置局部纹理特征提取算法可以为LBP、LTP、Haar特征、Gabor小波等，本发明实施例不做具体限定。
相应的，如图5、图6所示，在本发明提供的一个实施例中，当所述预置局部纹理特征提取算法为CLBP算法时，所述根据预置局部纹理特征提取算法从所述视频帧灰度图像中确定所述待检测水流的纹理特征，包括：
S201，通过所述视频帧灰度图像获取局部纹理特征差异及中心灰度级别全局纹理特征差异。
本发明选择纹理特征提取方法(局部二值模式)的改进算法-完备局部二值模式作为提取水纹理特征的方法。该方法使用全局阈值将中心像素的灰度级转换为二进制字符串，即灰度级CLBP-Center(CLBP_C)，并将图像局部差异信息分解为符号CLBP-Sign(CLBP_S)和幅值CLBP-Magnitude(CLBP_M)两个互补的运算符，然后分别对图像局部差异的符号和幅值信息进行编码。
S202，根据所述局部纹理特征差异确定差分符号算子CLBP_S和差分符值算子CLBP_M；根据所述中心灰度级别全局纹理特征差异确定中心像素灰度算子CLBP_C。
对于一幅水流视频帧差的灰度图像S上的任意像素点S(i,j)，将以S(i,j)为中心，采样半径为R的内含有P个采样点的区域称为其局部邻域(P,R)，则完备局部二值模式求取像素点S(i,j)的3个描述子的三维直方图可以定义为：
Figure BDA0002378324850000081
Figure BDA0002378324850000082
CLBP_C(P,R)＝s(gc,cI)
这里符号信息CLBP_S(P,R)等同于最基本的局部二值模式，其中gc代表中心像素S(i,j)的灰度值；gp代表采样点灰度值；其中mp表示采样点p的像素值与中心像素S(i,j)像素值的差分的幅度值，即gp和gc差值的绝对值；c为幅度值mp的平均值；阈值cI代表了整幅图像灰度级的平均值；s(x,c)函数表示当变量x大于阈值c时，函数值取1，否则函数值取0。
S203，根据所述差分符号算子CLBP_S、所述差分符值算子CLBP_M和所述中心像素灰度算子CLBP_C以并联的形式进行融合得到所述待检测水流的纹理特征。
在本发明实施例中，将CLBP_C、CLBP_S、CLBP_M这三个算子以并联的形式进行特征融合，生成最终的完备局部二值模式特征描述符，融合后的并联直方图被定义为CLBP_S/M/C，有如下表示：
CLBP_S/M/C＝[CLBP_S,CLBP_M,CLBP_C]
S30，将所述待检测水流的表观特征、运动特征与纹理特征进行组合得到水流特征，并将所述水流特征输入到特征融合网络模型中得到与所述待检测水流对应的水流流速的预测结果。
其中，所述特征融合网络模型是根据样本水流特征和其对应的水流流速标签训练得到的。在本发明提供的一个实施例中，特征融合网络模型主要是通过下述步骤训练得到的：首先从水流样本数据中确定样本视频帧RGB图像、样本视频帧差灰度图像以及视频帧灰度图像；确定样本视频帧RGB图像、样本视频帧差灰度图像以及视频帧灰度图像分别对应的样本表观特征、样本运动特征与样本纹理特征；将所述样本表观特征、所述样本运动特征与所述样本纹理特征进行合并得到所述样本水流特征；对所述样本水流特征和所述水流样本数据对应的水流流速标签进行训练得到所述特征融合网络模型。
本发明实施例基于视觉多通道的深度密集连接网络分别从表观流、运动流、以及纹理流中提取特征，将各自的特征图堆叠在一起进行特征层的融合，然后利用特征融合网络从融合后的特征图中进一步提取具有区分性的信息，最后经过卷积层和Softmax层，给出针对待检测水流的预测结果。图7给出了基于本发明一个实施例的特征融合网络示意图。通过特征层的融合，可以充分利用上述三流特征信息，克服单一信息的不足，而且有助于提高模型的准确率和泛化能力。
在本发明提供的一个实施例中，考虑到特征融合网络速度和精度的要求，特征融合网络选择k×k的卷积核，步长为1，使用全零填充(valid-padding)以加快训练速度。即特征融合网络模型中包括归一化层(Batch Normalization，BN)，其作用是将最小批(mini-batch)输入的数据{X1,X2,…,Xm}的分布通过平移伸缩变为均值为0，方差为1的正态分布，归一化处理的计算式为：
Figure BDA0002378324850000101
其中，Xi表示批归一化层的输入数据特征，μ为输入数据的均值，δ是输入数据的标准差。归一化的目的是为了缩小输入空间，从而降低调参难度，加快网络的训练速度，由于目前训练网络常用的方法是批量随机梯度下降(mini-batch stochastic gradientdescent)，归一化可以防止梯度爆炸或梯度消失，从而加快网络收敛。激活函数采用线性整流函数(Rectified Linear Unit，Re LU)，其表达式为：f(x)＝max(0,x)。
在特征融合层中，采用了如下方法逐渐合并特征映射：
Figure BDA0002378324850000102
Figure BDA0002378324850000103
其中，gi和hi分别表示特征操作方式和合并后的特征映射，运算符[gi-1:fi]表示两个特征在通道上进行连接操作。在每个合并阶段，把上一个阶段的最后一层特征映射通过一个上采样层，使其特征图尺寸大小增加一倍，然后与当前的特征映射连接。该特征融合模块包含卷积conv1×1和convk×k(k＝2,3，…)操作，conv1×1减少通道数量而且减少计算量，convk×k(k＝2,3，…)融合这些特征映射，最终生成这个合并阶段的输出。在最后一个合并阶段后的特征，作为convk×k层的输入，生成最终的合并层特征映射并将其提供给输出层。
本发明提供的一种水流测速方法，首先获取待检测水流的视频序列；并从视频序列中获取视频帧RGB图像、视频帧差灰度图像以及视频帧灰度图像；然后根据视频帧RGB图像、视频帧差灰度图像以及视频帧灰度图像分别确定待检测水流的表观特征、运动特征与纹理特征；最后将待检测水流的表观特征、运动特征与纹理特征进行组合得到水流特征，并将水流特征输入到特征融合网络模型中得到与所述待检测水流对应的水流流速的预测结果。与目前通过视频监控测量水流流速相比，本发明基于视觉多通道的深度特征融合网络的水流测速方法可准确的对水流进行测速，即将水流的表观特征、运动特征与纹理特征的多特征有效地整合在特征融合网络模型中，加强了特征在网络中的传递，有效提高了特征融合网络模型分类效果，因此通过本发明可准确地测量出待检测水流对应的水流速度。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种水流测速装置，该水流测速装置与上述实施例中水流测速方法一一对应。如图8所示，该水流测速装置包括：获取模块10、确定模块20、计算模块30。各功能模块详细说明如下：
获取模块10，用于获取待检测水流的视频序列；并从所述视频序列中获取视频帧RGB图像、视频帧差灰度图像以及视频帧灰度图像；
确定模块20，用于根据所述视频帧RGB图像、所述视频帧差灰度图像以及所述视频帧灰度图像分别确定所述待检测水流的表观特征、运动特征与纹理特征；
计算模块30，用于将所述待检测水流的表观特征、运动特征与纹理特征进行组合得到水流特征，并将所述水流特征输入到特征融合网络模型中得到与所述待检测水流对应的水流流速的预测结果；所述特征融合网络模型是根据样本水流特征和其对应的水流流速标签训练得到的。
进一步的，所述确定模块20，包括：
第一确定单元21，用于将所述视频帧RGB图像输入到表观流密集连接网络模型得到所述待检测水流的表观特征，所述表观流密集连接网络模型是根据样本视频帧RGB图像及其对应的表观特征标签训练得到的；
第二确定单元22，用于将所述视频帧差灰度图像输入到运动流密集连接网络模型得到所述待检测水流的运动特征，所述运动流密集连接网络模型是根据样本视频帧差灰度图像及其对应的运动特征标签训练得到的；
第三确定单元23，用于将所述及视频帧灰度图像输入到纹理流密集连接网络模型得到所述待检测水流的纹理特征，所述纹理流密集连接网络模型是根据样本视频帧灰度图像及其对应的纹理特征标签训练得到的。
具体的，所述确定模块20，具体用于根据预置局部纹理特征提取算法从所述视频帧灰度图像中确定所述待检测水流的纹理特征。
进一步的，所述确定模块20，包括：
获取单元24，用于通过所述视频帧灰度图像获取局部纹理特征差异及中心灰度级别全局纹理特征差异；
第三确定单元23，还用于根据所述局部纹理特征差异确定差分符号算子CLBP_S和差分符值算子CLBP_M；根据所述中心灰度级别全局纹理特征差异确定中心像素灰度算子CLBP_C；
融合单元25，用于根据所述差分符号算子CLBP_S、所述差分符值算子CLBP_M和所述中心像素灰度算子CLBP_C以并联的形式进行融合得到所述待检测水流的纹理特征。
进一步的，所述装置还包括：
所述确定模块20，还用于从水流样本数据中确定样本视频帧RGB图像、样本视频帧差灰度图像以及视频帧灰度图像；
所述确定模块20，还用于确定样本视频帧RGB图像、样本视频帧差灰度图像以及视频帧灰度图像分别对应的样本表观特征、样本运动特征与样本纹理特征；
合并模块40，用于将所述样本表观特征、所述样本运动特征与所述样本纹理特征进行合并得到所述样本水流特征；
训练模块50，用于对所述样本水流特征和所述水流样本数据对应的水流流速标签进行训练得到所述特征融合网络模型。
进一步的，所述特征融合网络模型中包括归一化层，所述归一化层用于将最小批输入数据的分布通过平移伸缩变为均值为0，方差为1的正态分布。
关于水流测速装置的具体限定可以参见上文中对于水流测速方法的限定，在此不再赘述。上述水流测速装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种水流测速方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
获取待检测水流的视频序列；并从所述视频序列中获取视频帧RGB图像、视频帧差灰度图像以及视频帧灰度图像；
根据所述视频帧RGB图像、所述视频帧差灰度图像以及所述视频帧灰度图像分别确定所述待检测水流的表观特征、运动特征与纹理特征；
将所述待检测水流的表观特征、运动特征与纹理特征进行组合得到水流特征，并将所述水流特征输入到特征融合网络模型中得到与所述待检测水流对应的水流流速的预测结果；所述特征融合网络模型是根据样本水流特征和其对应的水流流速标签训练得到的。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待检测水流的视频序列；并从所述视频序列中获取视频帧RGB图像、视频帧差灰度图像以及视频帧灰度图像；
根据所述视频帧RGB图像、所述视频帧差灰度图像以及所述视频帧灰度图像分别确定所述待检测水流的表观特征、运动特征与纹理特征；
将所述待检测水流的表观特征、运动特征与纹理特征进行组合得到水流特征，并将所述水流特征输入到特征融合网络模型中得到与所述待检测水流对应的水流流速的预测结果；所述特征融合网络模型是根据样本水流特征和其对应的水流流速标签训练得到的。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种水流测速方法，其特征在于，所述方法包括：
获取待检测水流的视频序列；并从所述视频序列中获取视频帧RGB图像、视频帧差灰度图像以及视频帧灰度图像；
根据所述视频帧RGB图像、所述视频帧差灰度图像以及所述视频帧灰度图像分别确定所述待检测水流的表观特征、运动特征与纹理特征；
将所述待检测水流的表观特征、运动特征与纹理特征进行组合得到水流特征，并将所述水流特征输入到特征融合网络模型中得到与所述待检测水流对应的水流流速的预测结果；所述特征融合网络模型是根据样本水流特征和其对应的水流流速标签训练得到的。
2.根据权利要求1所述的水流测速方法，其特征在于，所述根据所述视频帧RGB图像、所述视频帧差灰度图像以及所述视频帧灰度图像分别确定所述待检测水流的表观特征、运动特征与纹理特征，包括：
将所述视频帧RGB图像输入到表观流密集连接网络模型得到所述待检测水流的表观特征，所述表观流密集连接网络模型是根据样本视频帧RGB图像及其对应的表观特征标签训练得到的；
将所述视频帧差灰度图像输入到运动流密集连接网络模型得到所述待检测水流的运动特征，所述运动流密集连接网络模型是根据样本视频帧差灰度图像及其对应的运动特征标签训练得到的；
将所述及视频帧灰度图像输入到纹理流密集连接网络模型得到所述待检测水流的纹理特征，所述纹理流密集连接网络模型是根据样本视频帧灰度图像及其对应的纹理特征标签训练得到的。
3.根据权利要求1所述的水流测速方法，其特征在于，所述根据所述视频帧灰度图像确定所述待检测水流的纹理特征，包括：
根据预置局部纹理特征提取算法从所述视频帧灰度图像中确定所述待检测水流的纹理特征。
4.根据权利要求3所述的水流测速方法，其特征在于，当所述预置局部纹理特征提取算法为CLBP算法时，所述根据预置局部纹理特征提取算法从所述视频帧灰度图像中确定所述待检测水流的纹理特征，包括：
通过所述视频帧灰度图像获取局部纹理特征差异及中心灰度级别全局纹理特征差异；
根据所述局部纹理特征差异确定差分符号算子CLBP_S和差分符值算子CLBP_M；根据所述中心灰度级别全局纹理特征差异确定中心像素灰度算子CLBP_C；
根据所述差分符号算子CLBP_S、所述差分符值算子CLBP_M和所述中心像素灰度算子CLBP_C以并联的形式进行融合得到所述待检测水流的纹理特征。
5.根据权利要求1所述的水流测速方法，其特征在于，所述方法还包括：
从水流样本数据中确定样本视频帧RGB图像、样本视频帧差灰度图像以及视频帧灰度图像；
确定样本视频帧RGB图像、样本视频帧差灰度图像以及视频帧灰度图像分别对应的样本表观特征、样本运动特征与样本纹理特征；
将所述样本表观特征、所述样本运动特征与所述样本纹理特征进行合并得到所述样本水流特征；
对所述样本水流特征和所述水流样本数据对应的水流流速标签进行训练得到所述特征融合网络模型。
6.根据权利要求5所述的水流测速方法，其特征在于，所述特征融合网络模型中包括归一化层，所述归一化层用于将最小批输入数据的分布通过平移伸缩变为均值为0，方差为1的正态分布。
7.一种水流测速装置，其特征在于，所述装置包括：
获取模块，用于获取待检测水流的视频序列；并从所述视频序列中获取视频帧RGB图像、视频帧差灰度图像以及视频帧灰度图像；
确定模块，用于根据所述视频帧RGB图像、所述视频帧差灰度图像以及所述视频帧灰度图像分别确定所述待检测水流的表观特征、运动特征与纹理特征；
计算模块，用于将所述待检测水流的表观特征、运动特征与纹理特征进行组合得到水流特征，并将所述水流特征输入到特征融合网络模型中得到与所述待检测水流对应的水流流速的预测结果；所述特征融合网络模型是根据样本水流特征和其对应的水流流速标签训练得到的。
8.根据权利要求7所述的水流测速装置，其特征在于，所述确定模块，包括：
第一确定单元，用于将所述视频帧RGB图像输入到表观流密集连接网络模型得到所述待检测水流的表观特征，所述表观流密集连接网络模型是根据样本视频帧RGB图像及其对应的表观特征标签训练得到的；
第二确定单元，用于将所述视频帧差灰度图像输入到运动流密集连接网络模型得到所述待检测水流的运动特征，所述运动流密集连接网络模型是根据样本视频帧差灰度图像及其对应的运动特征标签训练得到的；
第三确定单元，用于将所述及视频帧灰度图像输入到纹理流密集连接网络模型得到所述待检测水流的纹理特征，所述纹理流密集连接网络模型是根据样本视频帧灰度图像及其对应的纹理特征标签训练得到的。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述水流测速方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述水流测速方法。
CN202010075235.2A 2020-01-22 2020-01-22 水流测速方法、装置、计算机设备及存储介质 Pending CN111275752A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010075235.2A CN111275752A (zh) 2020-01-22 2020-01-22 水流测速方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010075235.2A CN111275752A (zh) 2020-01-22 2020-01-22 水流测速方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN111275752A true CN111275752A (zh) 2020-06-12

Family

ID=70999115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010075235.2A Pending CN111275752A (zh) 2020-01-22 2020-01-22 水流测速方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN111275752A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734713A (zh) * 2020-12-31 2021-04-30 西安交通大学 变压器状态检测方法、装置、计算机设备和存储介质
CN113822909A (zh) * 2021-09-30 2021-12-21 中科(厦门)数据智能研究院 一种基于运动增强特征的水流测速方法
CN114862903A (zh) * 2021-01-20 2022-08-05 中国电信股份有限公司 流体运动特征描述方法、装置以及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110624A (zh) * 2019-04-24 2019-08-09 江南大学 一种基于DenseNet网络与帧差法特征输入的人体行为识别方法
CN110148425A (zh) * 2019-05-14 2019-08-20 杭州电子科技大学 一种基于完整局部二进制模式的伪装语音检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110624A (zh) * 2019-04-24 2019-08-09 江南大学 一种基于DenseNet网络与帧差法特征输入的人体行为识别方法
CN110148425A (zh) * 2019-05-14 2019-08-20 杭州电子科技大学 一种基于完整局部二进制模式的伪装语音检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
杨飚等: "基于East 的大角度倾斜车牌检测算法研究", 现代计算机, no. 4, pages 53 - 56 *
王万良 等: "基于压缩感知图像分析的河流表面流速估计方法", 水力发电学报, vol. 37, no. 5, pages 69 - 79 *
程德强等: "多特征融合的行人检测算法", 《煤炭技术》, vol. 37, no. 10, pages 254 - 257 *
赵晓刚;冯全;王书志;: "一种基于帧间差分与模板匹配的河水表面流速测量方法", 计算机应用与软件, no. 09 *
鞠振宇: "基于视频图像识别的水流测速方法研究", 中国优秀硕士学位论文全文数据库, no. 7, pages 21 - 69 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734713A (zh) * 2020-12-31 2021-04-30 西安交通大学 变压器状态检测方法、装置、计算机设备和存储介质
CN112734713B (zh) * 2020-12-31 2024-02-09 西安交通大学 变压器状态检测方法、装置、计算机设备和存储介质
CN114862903A (zh) * 2021-01-20 2022-08-05 中国电信股份有限公司 流体运动特征描述方法、装置以及介质
CN113822909A (zh) * 2021-09-30 2021-12-21 中科(厦门)数据智能研究院 一种基于运动增强特征的水流测速方法
CN113822909B (zh) * 2021-09-30 2023-12-08 中科(厦门)数据智能研究院 一种基于运动增强特征的水流测速方法

Similar Documents

Publication Publication Date Title
CN112115783A (zh) 基于深度知识迁移的人脸特征点检测方法、装置及设备
US20230022387A1 (en) Method and apparatus for image segmentation model training and for image segmentation
CN110516541B (zh) 文本定位方法、装置、计算机可读存储介质和计算机设备
CN111275752A (zh) 水流测速方法、装置、计算机设备及存储介质
CN108550176A (zh) 图像处理方法、设备及存储介质
CN111275175A (zh) 神经网络训练方法、装置、图像分类方法、设备和介质
CN113901894A (zh) 一种视频生成方法、装置、服务器及存储介质
CN112270686B (zh) 图像分割模型训练、图像分割方法、装置及电子设备
US20240029272A1 (en) Matting network training method and matting method
CN110334587A (zh) 人脸关键点定位模型的训练方法、装置及关键点定位方法
CN106295613A (zh) 一种无人机目标定位方法及系统
CN111368937A (zh) 图像分类方法、装置、及其训练方法、装置、设备、介质
CN116580257A (zh) 特征融合模型训练及样本检索方法、装置和计算机设备
CN112308866A (zh) 图像处理方法、装置、电子设备及存储介质
CN112884758A (zh) 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统
CN113361535B (zh) 图像分割模型训练、图像分割方法及相关装置
CN109920018A (zh) 基于神经网络的黑白照片色彩恢复方法、装置及存储介质
WO2022109922A1 (zh) 抠图实现方法、装置、设备及存储介质
CN116229106A (zh) 一种基于双u结构的视频显著性预测方法
CN114022786A (zh) 基于图中图卷积网络的高光谱图像分类方法
CN117078790A (zh) 图像生成方法、装置、计算机设备和存储介质
CN114299101A (zh) 图像的目标区域获取方法、装置、设备、介质和程序产品
CN108520532B (zh) 识别视频中物体运动方向的方法及装置
CN114202648A (zh) 文本图像矫正方法、训练方法、装置、电子设备以及介质
CN117237398A (zh) 抠图方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination