CN117788961A - 基于视频图像的河道渠系悬移质含沙量监测方法及系统 - Google Patents
基于视频图像的河道渠系悬移质含沙量监测方法及系统 Download PDFInfo
- Publication number
- CN117788961A CN117788961A CN202410210817.5A CN202410210817A CN117788961A CN 117788961 A CN117788961 A CN 117788961A CN 202410210817 A CN202410210817 A CN 202410210817A CN 117788961 A CN117788961 A CN 117788961A
- Authority
- CN
- China
- Prior art keywords
- image
- features
- sand content
- data
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 102
- 239000004576 sand Substances 0.000 title claims abstract description 99
- 238000012544 monitoring process Methods 0.000 title claims abstract description 36
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 30
- 239000007787 solid Substances 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 78
- 239000011159 matrix material Substances 0.000 claims description 41
- 230000004927 fusion Effects 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 20
- 230000007246 mechanism Effects 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 10
- 230000003213 activating effect Effects 0.000 claims description 9
- 238000005315 distribution function Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 7
- 101100001674 Emericella variicolor andI gene Proteins 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 239000000725 suspension Substances 0.000 claims 1
- 239000000126 substance Substances 0.000 description 9
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 208000034699 Vitreous floaters Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000013049 sediment Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于视频图像的河道渠系悬移质含沙量监测方法及系统，针对河道渠系悬移质含沙量监测成本高，测量难度大的问题，首先对待识别悬移质含沙量视频图像进行图像预处理，然后对预处理后的图像进行图像预分类，接着对预分类后的图像进行水体流速场识别，对预分类后的图像进行图像适应性调整，构建图像场数据；最后基于温度场数据、水体流速场和图像场数据，进行悬移质含沙量识别。本发明实现了河道渠系悬移质含沙量的低成本、非接触式监测。
Description
技术领域
本发明属于图像处理技术领域，涉及一种河道渠系水体悬移质含沙量监测方法及系统，涉及一种基于视频图像的河流渠系悬移质含沙量监测方法及系统。
背景技术
悬移质含沙量是衡量河流水质，评估河流生态环境健康状况的重要指标，开展持续的河流渠系悬移质含沙量对河流水质管理、生态环境保护等具有重要意义，实现河流悬移质含沙量精确自动测量是河流水质态势变化监测的重要内容。当前，悬移质含沙量测量方法主要包括人工测量方法与仪器测量方法。其中人工测量方法精度高，但人力成本大，自动化程度低，无法开展高频率的河流渠系悬移质含沙量监测。仪器测量方法应用简便，可实现在线悬移质含沙量在线监测，但测量设备造价高，难以大规模应用，且多为接触式测量，在洪水条件下，测量设备及施测人员安全难以得到有效保证。
随着计算机技术的发展，基于图像识别的悬移质含沙量测量方法逐渐被提出。目前研究较为广泛的方法主要包括基于目标检测与图像分类判别水体悬移质含沙量，其中基于目标检测的方法通常由高分辨率相机从特定位置拍摄固定断面图像，采用图像目标检测算法识别颗粒物，后结合图像空间变换，计算颗粒物体积，进而换算水体悬移质含沙量。这种方法在低悬移质含沙量条件下具有一定识别精度，但随悬移质含沙量增加，水体透光率减小，识别准确率将显著降低。基于图像分类算法的悬移质含沙量识别方法不拘泥于对泥沙颗粒的准确识别，而是结合神经网络构建水体拍摄图像与悬移质含沙量类别标签间的联系，通过水体表面的颜色、纹理等特征，估计水体悬移质含沙量。这种方法有效降低对拍摄相机的硬件要求，并显著提升悬移质含沙量的有效识别范围，但该方法只能输出离散的类别标签，无法提供具体的预估悬移质含沙量。因此，如何实现河流渠系水体悬移质含沙量低成本、非接触的精准监测，仍是亟需解决的问题。
发明内容
针对上述技术问题的不足，本发明提供了一种基于视频图像的河道渠系悬移质含沙量监测方法及系统，可实现河道渠系悬移质含沙量低成本、非接触的在线监测与概率性估计，提供更为精确及全面的河道渠系悬移质含沙量识别信息。
本发明的方法所采用的技术方案是：一种基于视频图像的河道渠系悬移质含沙量监测方法，包括以下步骤：
步骤1：对待识别悬移质含沙量视频图像进行图像预处理；
步骤2：对预处理后的图像进行图像预分类；
步骤3：对预分类后的图像进行水体流速场识别；
步骤4：对预分类后的图像进行图像适应性调整，构建图像场数据；
步骤5：基于温度场数据、水体流速场和图像场数据，进行悬移质含沙量识别。
作为优选，步骤1中所述图像预处理，包括规范化命名视频文件，对视频进行抽帧提取获得各时刻图像，基于透视变换原理进行图像畸变校正，和图像数据缩放处理。
作为优选，步骤2中所述图像预分类，首先将图像由RGB区间转换为HBV空间；然后计算V通道的均值，并设置阈值将图像划分为极暗图像、低光图像和光照良好图像，并剔除极暗图像；选择易出现阴影区域为局部感兴趣区，计算该区域的V通道均值，设置阈值将光照良好图像划分为带阴影图像和正常图像。
作为优选，步骤3的具体实现包括以下子步骤：
步骤3.1：取相邻两张处理后的图像，通过快速傅里叶变换，将图像转换至频率域；
步骤3.2：过滤低频信息，保留高频信息；
步骤3.3：通过傅里叶逆变换，将图像由频率域还原为原始形式；
步骤3.4：定义控制方程为：
；
根据泰勒公式展开：
；
式中，代表二阶无穷小项；因此：
；
令，则：
；
式中，I(x,y,t)为（x,y）处的像素在t时刻的位置；I(x+dx,y+dy,t+dt)为经过时间dt后，像素的位置；dx、dy为像素在x和y方向的移动距离；I x和I y为图像梯度，u和v为位置(x，y)处的x方向和y方向的流速；
步骤3.5：求解控制方程，拟定大小为3×3像素区域具有相同的运动，通过9个点的（I x，I y，I t），构建9个方程，采用最小平方拟合方法求解两个未知变量u和v，u和v表示为：
；
其中，i取值[1，9]。
作为优选，步骤4中所述图像适应性调整，具体实现包括以下子步骤：
步骤4.1：通过高斯滤波的方式对图像像元进行过滤；
步骤4.2：对图像像元进行缩放处理，将其缩放到0-1的范围内；
步骤4.3：对缩放处理后的图像进行进一步的标准化处理，所有像元均减去均值再除以方差，为保证在模型训练过程中对训练数据的处理和在识别过程中对待测数据处理方法的一致性。
作为优选，步骤5中，识别结果为：
；
式中，f(x)为最终的输出结果为x的概率，n gaussians为高斯函数个数，p i为输出的第i个高斯函数的权重值，sigma i为第i个高斯函数的方差值，mu i为输出的第i个高斯函数的均值。
作为优选，步骤5中，利用多模态数据融合的悬移质含沙量反演网络，进行悬移质含沙量识别；
所述多模态数据融合的悬移质含沙量反演网络，包括图像特征提取模块、流场特征提取模块、温度场特征映射模块、数据融合模块及混合概率密度模块；
所述图像特征提取模块，包括五层卷积网络，并嵌入自注意力机制及残差连接模块；通过第一层网络得到图像浅层特征I-F1；而后，衔接通道注意力机制与空间注意力机制，通道注意力机制分别计算I-F1各通道的最大值及平均值，采用平均池化和最大池化来捕捉输入张量在通道维度上的平均信息和最大信息，然后使用两个卷积层和ReLU激活函数将这些信息融合，最终通过 Sigmoid 函数激活，生成通道注意力权重I-T1；空间注意力机制对I-F1沿图像空间方向计算平均值和最大值，并进行拼接，然后由卷积层构成将其融合在一起，通过Sigmoid函数激活获得空间注意力权重I-S1；进而采用矩阵乘法计算考虑注意力条件的特征信息I-F2，最后使用卷积层进行最大池化处理得到I-F2-1，作为第一层网络输出；第一、二、三、四及第五层之间采用残差连接结构，最终获得图像特征I-Features；
所述流速特征提取模块，与图像特征提取模块使用相同的网络架构，但第一层输入通道数设置为2，对应u与v方向的流速场；而后处理与图像特征提取保持一致，最终获得流速特征F-Features；
所述温度场特征映射模块，采用数据复制扩充的方法，将单点的温度映射成大小为7×7×1的矩阵，将其作为温度特征T-Features；
所述数据融合模块，采用拼接的操作，将图像特征I-Features、流速特征F-Features及温度特征T-Features进行拼接，形成融合特征C-Features-0；而后，分别使用平均池化和最大池化来捕捉输入张量在通道维度上的平均信息C-Features-ave和最大信息C-Features-max，同时分别采用线性连接层对特征信息C-Features-ave和C-Features-max进行压缩，再采用输入线性连接层对特征信息进行还原，获得C-Features-ave-1和C-Features-max-1；进而采用矩阵加法的方式，获得最终的高维融合特征C-Features；
所述混合概率密度模块，用于融合特征的解码及结果输出工作，包括权重参数p，均值参数mu和方差参数Sigma；首先对融合特征C-Features进行扁平化处理，形成2维数组C-Features-1，进一步采用线性连接层将其映射为隐层特征C-Features-2，并使用ReLU函数进行激活；权重参数p通过使用线性连接层映射获得，其输入为C-Features-2，输出矩阵维度为n gaussians×1，其中n gaussians为组成混合概率密度网络的高斯函数数量；而后，使用Softmax函数进行参数激活，保证权重参数p的累加值为1；均值参数mu由平行线性连接层映射获得，其输入为C-Features-2，输出矩阵维度为n gaussians×1，采用ReLU函数进行参数激活；方差参数Sigma由平行线性连接层映射获得，其输入为C-Features-2，输出矩阵维度为n gaussians×1，采用指数函数torch.exp进行参数激活，防止方差出现负值；
最终网络输出结果由概率分布函数f(x)和其数学期望E(f(x) )构成：
；
；
式中，f(x)为最终的输出结果为x的概率，n gaussians为高斯函数个数，p i为输出的第i个高斯函数的权重值，sigma i为第i个高斯函数的方差值，mu i为输出的第i个高斯函数的均值，E(f(x) )为输出期望。
作为优选，所述多模态数据融合的悬移质含沙量反演网络，是训练好的网络；其训练过程包括以下子步骤：
（1）构建数据集，包括悬移质含沙量、温度监测数据，及同时间段内的视频资料；并将数据集划分为训练集、验证集和测试集；
（2）数据集数据进行处理，包括依次进行图像预处理，图像预分类，流速场识别，图像适应性调整；
（3）将处理后的训练集中数据输入所述多模态数据融合的悬移质含沙量反演网络，进行网络训练；
训练过程中采用的损失函数为：
；
式中，p i为第i个高斯函数的权重，sigma i为第i个高斯函数的标准差，mu i为第i个高斯函数的均值，n gaussians为高斯函数的个数，y为悬移质含沙量实测值。
作为优选，所述多模态数据融合的悬移质含沙量反演网络，训练过程中，通过MAE、RMSE和R2评价网络性能；
；
；
；
式中，N为样本总数，M为预设的高斯分布函数数量；y i为第i个样本的测量值；p ij为在第i样本条件下计算出来的第j个高斯分布函数的权重；μ ij为在i样本条件下计算出的第j个高斯分辨函数的均值；为实测悬移质含沙量样本的平均值。
本发明的系统所采用的技术方案是：一种基于视频图像的河道渠系悬移质含沙量监测系统，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现所述的基于视频图像的河道渠系悬移质含沙量监测方法。
相对于现有技术，本发明的有益效果是：本发明针对传统悬移质含沙量监测方法测量成本高，自动化程度低，时效性差的问题，基于多模态数据融合思想，结合机器学习算法，提出了一种基于视频图像的河道渠系悬移质含沙量监测方法。该方法在图像数据的基础上，使用光流法识别流速信息，并引入水温信息，利用注意力机制及残差神经网络进行高维特征提取与融合，最后构建混合概率密度网络，输出悬移质含沙量识别结果，显著提升了河流渠系悬移质含沙量的识别效果，降低了悬移质含沙量施测成本，并可实现河道渠系含沙量的远程在线实时监测。
附图说明
下面使用实施例，以及具体实施方式作进一步说明本文的技术方案。另外，在说明技术方案的过程中，也使用了一些附图。对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图以及本发明的意图。
图1是本发明实施例的方法流程图
图2是本发明实施例的多模态数据融合的悬移质含沙量反演网络结构图；
图3是本发明实施例的利用多模态数据融合的悬移质含沙量反演网络计算含沙量原理图；
图4是本发明实施例的河流流场识别示意图；
图5是本发明实施例的悬移质含沙量识别结果示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1，本实施例提供的一种基于视频图像的河道渠系悬移质含沙量监测方法，包括以下步骤：
步骤1：对待识别悬移质含沙量视频图像进行图像预处理；
在一种实施方式中，所述图像预处理，包括规范化命名视频文件，对视频进行抽帧提取获得各时刻图像，基于透视变换原理进行图像畸变校正，和图像数据缩放处理。
在一种实施方式中，规范化命名视频文件，统一由“站点-年-月-时-分”的形式命名，保证视频数据与检测数据具有一致性，放置于同一目录文件夹中；
在一种实施方式中，通过程序对视频进行抽帧提取，通过视频影像获得各时刻图像；具体的，相邻两张图片提取时间间隔需根据最大经验流速进行确定，通常可取为5-10帧，当流速较大时两张图片间间隔应更小，本实施例中取样间隔为5帧；
在一种实施方式中，基于透视变换原理进行图像畸变校正，具体由以下子步骤构成：
步骤A.1：在视频图像中布设4个标定点位，记录其真实位置信息与在图像中的相对像素位置信息；
步骤A.2：通过下式表示标定坐标（X，Y，Z）与视频图像中相对像素坐标（x，y，z）关系；
；
步骤A.3：将步骤A.2中的齐次化，可表示为：
；
步骤A.4：令a 33=1，代入步骤A.1中所布设的4个标定点位的标定坐标与图像中的相对像素位置信息，求解透视变换矩阵。
步骤A.5：通过步骤A.4求解得到的透视变换矩阵，将图像投影至标定坐标系。
在一种实施方式中，因图像较大时，将显著增加计算量降低模型运算效率，需对图像进行必要的缩放处理，具体由以下子步骤构成：
步骤B.1：通过局部裁剪的方式，将步骤A.5中得到的1920×1080的图像裁剪为1080×1080的图像；
步骤B.2：通过线性压缩的方式，将分辨率为1080×1080的图像重采样为512×512的图像；
步骤2：对预处理后的图像进行图像预分类；
光线条件对视频拍摄的水面颜色具有显著影响，不同悬移质含沙量水体在不同光照条件下可能呈现出相同的颜色特征；为此，需对视频图像进行预分类，以提高模型对悬移质含沙量的识别精度。
在一种实施方式中，步骤2具体由以下子步骤构成：
步骤2.1：将图像由RGB区间转换为HBV空间；
步骤2.2：计算V通道的均值，并设置阈值将图像划分为极暗图像、低光图像和光照良好图像，其中极暗图像难以有效表征水体悬移质含沙量情况，需予以剔除；
步骤2.3：选择易出现阴影区域为局部感兴趣区，计算该区域的V通道均值，设置阈值将光照良好图像划分为带阴影图像和正常图像。
步骤3：对预分类后的图像进行水体流速场识别；
水体流速对水流携沙能力具有显著影响，在进行水体悬移质含沙量监测时，需考虑流速场的影响。
在一种实施方式中，步骤3的流速场识别具体由以下子步骤构成：
步骤3.1：取相邻两张经步骤2处理后的两张图像，通过快速傅里叶变换，将图像转换至频率域；
步骤3.2：构建低通滤波器处理步骤3.1获得图像，过滤低频信息，保留高频信息；
步骤3.3：通过傅里叶逆变换，将图像由频率域还原为原始形式；
步骤3.4：设置假设条件：1）亮度恒定，同一点位置，在极短时间内容，其亮度保持一致；2）运动为小运动，即相邻两张图片中，物体位置不发生剧烈变化，可对位置求偏导；
根据所设假设条件，将控制方程定义为：
；
根据泰勒公式展开：
；
式中，代表二阶无穷小项，可忽略不计。因此：
；
令，则：
；
式中，I(x,y,t)为（x,y）处的像素在t时刻的位置；I(x+dx,y+dy,t+dt)为经过时间dt后，像素的位置；dx、dy为像素在x和y方向的移动距离；I x和I y为图像梯度，u和v为位置(x，y)处的x方向和y方向的流速；
步骤3.5：求解步骤3.4方程，拟定大小为3×3像素区域具有相同的运动，通过9个点的（I x，I y，I t），构建9个方程，采用最小平方拟合方法求解两个未知变量u和v，u和v表示为：
；
其中，i取值[1，9]。
步骤4：对预分类后的图像进行图像适应性调整，构建图像场数据；
图像场数据由当前帧图像和上一帧图像共同构成，由于图像中可能存在漂浮物等，造成偶然误差。同时，在RBG色域下，图像亮度取值范围为0-255，跨度过大不利于模型训练，因此需要对图像进行必要的处理。
在一种实施方式中，步骤4的具体由以下子步骤构成：
步骤4.1：取预分类后的图像，通过高斯滤波的方式对图像像元进行过滤，核函数采用3×3大小，中心值为5/13，周围值为1/13；
步骤4.2：对图像像元进行缩放处理，将其缩放到0-1的范围内。具体的，所有的像元均除以256；
步骤4.3：对图像进行进一步的标准化处理，所有像元均减去均值再除以方差，为保证在模型训练过程中对训练数据的处理和在识别过程中对待测数据处理方法的一致性，将R、G、B通道的均值分别预设为0.485、0.456和0.406，方差分别预设为0.229、0.224和0.225；
；
式中，Standardize(a) 为标准化处理后的值，a为原始像素值，和/>分别为通道像素值的均值和方差。
步骤5：基于温度场数据、水体流速场和图像场数据，进行悬移质含沙量识别。
在一种实施方式中，在区域范围较小条件下，温度变化差异小，因此温度场中各点位温度值均取为相同值，其通过复制扩充的方式，利用大小为7×7×1的矩阵进行定义。
请见图2，在一种实施方式中，利用多模态数据融合的悬移质含沙量反演网络，进行悬移质含沙量识别；
所述多模态数据融合的悬移质含沙量反演网络包括图像特征提取模块、流场特征提取模块、温度场特征映射模块、数据融合模块及混合概率密度模块构成。
图像特征提取模块包括五层卷积网络，并嵌入自注意力机制及残差连接模块，第一层网络由通道数为3，卷积核大小为7，步长为2，padding为3的卷积层构成，得到图像浅层特征I-F1；而后，衔接通道注意力机制与空间注意力机制，通道注意力机制分别计算I-F1各通道的最大值及平均值，采用平均池化和最大池化来捕捉输入张量在通道维度上的平均信息和最大信息，然后使用两个卷积核大小为1的卷积层和ReLU激活函数将这些信息融合，最终通过 Sigmoid 函数激活，生成通道注意力权重I-T1。空间注意力机制对I-F1沿图像空间方向计算平均值和最大值，并进行拼接，然后由卷积核大小为7，步长为2，padding为3的卷积层构成将其融合在一起，通过Sigmoid函数激活获得空间注意力权重I-S1。进而采用矩阵乘法计算考虑注意力条件的特征信息I-F2，最后使用卷积核大小为3，步长为2的卷积层进行最大池化处理得到I-F2-1，作为第一层网络输出；
第二、三、四及第五层均由卷积核大小为3，步长为1，padding为1的卷积层构成，其对应的卷积核数量分别为64、128、256和512。同时，卷积模块采用残差连接结构，以防止随网络层数增加导致的梯度消失及梯度爆炸现象。最终获得图像特征I-Features，其特征矩阵大小为7×7×512；
流速特征提取模块与图像特征提取模块使用相同的网络架构，但对第一层网络进行必要的适用性调整，第一层网络输入通道数设置为2，对应u与v方向的流速场；而后处理与图像特征提取保持一致，最终获得流速特征F-Features，其特征矩阵大小为7×7×512；
温度场特征映射模块则直接采用数据复制扩充的方法，将单点的温度映射成大小为7×7×1的矩阵，将其作为温度特征T-Features；
数据融合模块则采用拼接的操作，将图像特征I-Features、流速特征F-Features及温度特征T-Features进行拼接，形成矩阵大小为7×7×1025的融合特征C-Features-0；而后，分别使用平均池化和最大池化来捕捉输入张量在通道维度上的平均信息C-Features-ave和最大信息C-Features-max，同时分别采用输入通道数为1025，输出通道数为512的线性连接层对特征信息C-Features-ave和C-Features-max进行压缩，再采用输入通道数为512，输出通道数为1024的线性连接层对特征信息进行还原，获得C-Features-ave-1和C-Features-max-1；进而采用矩阵加法的方式，获得最终的高维融合特征C-Features，C-Features的矩阵大小为1×1×1024；
进而对融合特征C-Features进行扁平化处理，形成大小为1024×1的2维数组C-Features-1，进一步采用线性连接层将其映射为512大小的隐层特征C-Features-2，并使用ReLU函数进行激活。
混合概率密度模块负责的融合特征的解码及结果输出工作，包括权重参数p，均值参数mu和方差参数Sigma；
权重参数p通过使用线性连接层映射获得，其输入为C-Features-2，输出矩阵维度为n gaussians×1，其中n gaussians为组成混合概率密度网络的高斯函数数量。而后，使用Softmax函数进行参数激活，保证权重参数p的累加值为1；
均值参数mu由平行线性连接层映射获得，其输入为C-Features-2，输出矩阵维度为n gaussians×1，同时，考虑到含沙量不可能出现负值的情况，采用ReLU函数进行参数激活；
方差参数Sigma同样由平行线性连接层映射获得，其输入为C-Features-2，输出矩阵维度为n gaussians×1，同时，考虑到方差的非负性，采用指数函数torch.exp进行参数激活，防止方差出现负值；
最终模型输出结果由概率分布函数构成：
；
式中，f(x)为最终的输出结果为x的概率，n gaussians为高斯函数个数，p i为输出的第i个高斯函数的权重值，sigma i为第i个高斯函数的方差值，mu i为输出的第i个高斯函数的均值。
同时也输出其数学期望，当不考虑概率区间时，可以该数学期望作为悬移质含沙量的识别值：
；
式中，E(f(x) )为输出期望。
请见图3，在一种实施方式中，利用多模态数据融合的悬移质含沙量反演网络，进行悬移质含沙量识别；具体由以下子步骤构成：
步骤5.1：输入层由流速场、温度场和图像场信息叠加构成，具体流速场包括各点位x及y方向的流速，其大小为512×512×2，温度场由恒定值构成，其大小为512×512×1，图片场由当前帧和上一帧图像叠加构成，其大小为512×512×6；
步骤5.2：初始化网络，图像场采用输入通道数为6，输出通道数为3，卷积核为7，步长为2，padding为3的卷积层进行处理，获得256×256×3的特征矩阵，并进一步采用中心裁剪的方式获得224×244×3的特征矩阵，进而采用图像特征提取模块，提取图像特征，其矩阵大小为7×7×512；
流速场采用输入通道数为2，输出通道数为2，卷积核为7，步长为2，padding为3的卷积层进行处理，获得256×256×2的特征矩阵，并进一步采用中心裁剪的方式获得224×244×2的特征矩阵，进而采用流速特征提取模块，提取流速特征，其矩阵大小为7×7×512；
温度特征则通过复杂扩充映射的方式，直接生成矩阵大小为7×7×1的特征矩阵；
后将图像特征、流速特征和温度特征沿通道方向拼接，形成7×7×1025的矩阵，通过数据融合模块获得高维特征信息融合，并对融合特征进行扁平化处理，形成大小为1024×1的融合特征；
步骤5.3：通过添加的线性连接层将融合特征映射成512×1的大小的隐藏层特征，其输入维度为1024×1，输出维度为512×1，并通过ReLU函数进行激活；
步骤5.4：以线性连接层输出作为输入，通过多个高斯函数的p、mu、sigma作为输出，将确定性回归结果修改为概率估计结果；
其中，p层，以隐藏层特征为输入，以大小为n gaussians×1的矩阵为输出，同时，为保证p层输出之和为1，通过Softmax函数将p的输出转化为概率，其物理意义为各高斯函数的权重；
其中，mu层，以隐藏层特征为输入，以大小为n gaussians×1的矩阵为输出，通过ReLU函数进行激活，其物理意义为高斯函数的均值；
其中，sigma层，以隐藏层特征为输入，以大小为n gaussians×1的矩阵为输出，同时为保证sigma值均>0，均取sigma=exp(sigma)，其物理意义为高斯函数的方差。
输出结果为：
；
式中，f(x)为最终的输出结果为x的概率，n gaussians为高斯函数个数，p i为输出的第i个高斯函数的权重值，sigma i为第i个高斯函数的方差值，mu i为输出的第i个高斯函数的均值。
在一种实施方式中，所述多模态数据融合的悬移质含沙量反演网络，需要进行再训练，即使使用预训练参数，网络也仍需根据数据做出适应性参数再训练调整。其训练过程包括以下子步骤：
（1）构建数据集，包括悬移质含沙量、温度监测数据，及同时间段内的视频资料；并将数据集划分为训练集、验证集和测试集；
视频应尽可能的垂直拍摄水面，且布设于开阔区域，无高层建筑物或植物遮挡。视频图像分辨率需大于1920×1080，可清晰反映水面纹理特征，视频图像帧率需≥30帧/s，以更好捕捉水面纹理信息的动态变化过程。本实施例中，视频图像分辨率为1920×1080，视频图像帧率为30帧/s；
（2）数据集数据进行处理，包括依次进行图像预处理，图像预分类，流速场识别，图像适应性调整；
（3）将处理后的训练集中数据输入所述多模态数据融合的悬移质含沙量反演网络，进行网络训练；
训练过程中采用的损失函数为：
；
式中，p i为第i个高斯函数的权重，sigma i为第i个高斯函数的标准差，mu i为第i个高斯函数的均值，n gaussians为高斯函数的个数，y为悬移质含沙量实测值。
（4）构建误差评估体系，校验网络性能，当网络满足要求时，存储网络，否则返回调整网络参数并重新进行网络训练。本实施例中主要通过MAE、RMSE和R2评价模型性能，可分别表示为：
；/>
；
；
式中，N为样本总数，M为预设的高斯分布函数数量；y i为第i个样本的测量值；p ij为在第i样本条件下计算出来的第j个高斯分布函数的权重；μ ij为在i样本条件下计算出的第j个高斯分辨函数的均值；为实测悬移质含沙量样本的平均值。
本实施例还提供了一种基于视频图像的河道渠系悬移质含沙量监测系统，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现所述的基于视频图像的河道渠系悬移质含沙量监测方法。
下面通过具体实验对本发明做进一步的阐述。
请见图4，是实验的河流流场识别示意图，本发明的方法可实现流场的非接触式识别，并有效获取u，v方向的流速信息。
请见图5，是实验的悬移质含沙量识别结果示意图，图像横坐标为悬移质含沙量的识别值，纵坐标为悬移质含沙量的概率，图中虚线位置所对应的横坐标值即为当前条件下模型识别出的悬移质含沙量识别值，对应的纵坐标值即为当前悬移质含沙量识别值对应的概率。
应当理解的是，上述描述的实施例是本发明一部分实施例，而不是全部的实施例。另外，本发明提供的各个实施例或单个实施例中的技术特征可以相互任意结合，以形成可行的技术方案，这种结合不受步骤先后次序和/或结构组成模式的约束，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (9)
1.一种基于视频图像的河道渠系悬移质含沙量监测方法，其特征在于，包括以下步骤：
步骤1：对待识别悬移质含沙量视频图像进行图像预处理；
步骤2：对预处理后的图像进行图像预分类；
步骤3：对预分类后的图像进行水体流速场识别；
步骤3的具体实现包括以下子步骤：
步骤3.1：取相邻两张处理后的图像，通过快速傅里叶变换，将图像转换至频率域；
步骤3.2：过滤低频信息，保留高频信息；
步骤3.3：通过傅里叶逆变换，将图像由频率域还原为原始形式；
步骤3.4：定义控制方程为：
；
根据泰勒公式展开：
；
式中，代表二阶无穷小项；因此：
；
令，则：
；
式中，I(x,y,t)为（x,y）处的像素在t时刻的位置；I(x+dx,y+dy,t+dt)为经过时间dt后，像素的位置；dx、dy为像素在x和y方向的移动距离；I x和I y为图像梯度，u和v为位置(x，y)处的x方向和y方向的流速；
步骤3.5：求解控制方程，拟定大小为3×3像素区域具有相同的运动，通过9个点的（I x，I y，I t），构建9个方程，采用最小平方拟合方法求解两个未知变量u和v，u和v表示为：
；
其中，i取值[1，9]；
步骤4：对预分类后的图像进行图像适应性调整，构建图像场数据；
步骤5：基于温度场数据、水体流速场和图像场数据，进行悬移质含沙量识别。
2.根据权利要求1所述的基于视频图像的河道渠系悬移质含沙量监测方法，其特征在于：步骤1中所述图像预处理，包括规范化命名视频文件，对视频进行抽帧提取获得各时刻图像，基于透视变换原理进行图像畸变校正，和图像数据缩放处理。
3.根据权利要求1所述的基于视频图像的河道渠系悬移质含沙量监测方法，其特征在于：步骤2中所述图像预分类，首先将图像由RGB区间转换为HBV空间；然后计算V通道的均值，并设置阈值将图像划分为极暗图像、低光图像和光照良好图像，并剔除极暗图像；选择易出现阴影区域为局部感兴趣区，计算该区域的V通道均值，设置阈值将光照良好图像划分为带阴影图像和正常图像。
4.根据权利要求1所述的基于视频图像的河道渠系悬移质含沙量监测方法，其特征在于：步骤4中所述图像适应性调整，具体实现包括以下子步骤：
步骤4.1：通过高斯滤波的方式对图像像元进行过滤；
步骤4.2：对图像像元进行缩放处理，将其缩放到0-1的范围内；
步骤4.3：对缩放处理后的图像进行进一步的标准化处理，所有像元均减去均值再除以方差，为保证在模型训练过程中对训练数据的处理和在识别过程中对待测数据处理方法的一致性。
5.根据权利要求1所述的基于视频图像的河道渠系悬移质含沙量监测方法，其特征在于：步骤5中，识别结果为：
；
式中，f(x)为最终的输出结果为x的概率，n gaussians为高斯函数个数，p i为输出的第i个高斯函数的权重值，sigma i为第i个高斯函数的方差值，mu i为输出的第i个高斯函数的均值。
6.根据权利要求1-5任一项所述的基于视频图像的河道渠系悬移质含沙量监测方法，其特征在于：步骤5中，利用多模态数据融合的悬移质含沙量反演网络，进行悬移质含沙量识别；
所述多模态数据融合的悬移质含沙量反演网络，包括图像特征提取模块、流场特征提取模块、温度场特征映射模块、数据融合模块及混合概率密度模块；
所述图像特征提取模块，包括五层卷积网络，并嵌入自注意力机制及残差连接模块；通过第一层网络得到图像浅层特征I-F1；而后，衔接通道注意力机制与空间注意力机制，通道注意力机制分别计算I-F1各通道的最大值及平均值，采用平均池化和最大池化来捕捉输入张量在通道维度上的平均信息和最大信息，然后使用两个卷积层和ReLU激活函数将这些信息融合，最终通过 Sigmoid 函数激活，生成通道注意力权重I-T1；空间注意力机制对I-F1沿图像空间方向计算平均值和最大值，并进行拼接，然后由卷积层构成将其融合在一起，通过Sigmoid函数激活获得空间注意力权重I-S1；进而采用矩阵乘法计算考虑注意力条件的特征信息I-F2，最后使用卷积层进行最大池化处理得到I-F2-1，作为第一层网络输出；第一、二、三、四及第五层之间采用残差连接结构，最终获得图像特征I-Features；
所述流速特征提取模块，与图像特征提取模块使用相同的网络架构，但第一层输入通道数设置为2，对应u与v方向的流速场；而后处理与图像特征提取保持一致，最终获得流速特征F-Features；
所述温度场特征映射模块，采用数据复制扩充的方法，将单点的温度映射成大小为7×7×1的矩阵，将其作为温度特征T-Features；
所述数据融合模块，采用拼接的操作，将图像特征I-Features、流速特征F-Features及温度特征T-Features进行拼接，形成融合特征C-Features-0；而后，分别使用平均池化和最大池化来捕捉输入张量在通道维度上的平均信息C-Features-ave和最大信息C-Features-max，同时分别采用线性连接层对特征信息C-Features-ave和C-Features-max进行压缩，再采用输入线性连接层对特征信息进行还原，获得C-Features-ave-1和C-Features-max-1；进而采用矩阵加法的方式，获得最终的高维融合特征C-Features；
所述混合概率密度模块，用于融合特征的解码及结果输出工作，包括权重参数p，均值参数mu和方差参数Sigma；首先对融合特征C-Features进行扁平化处理，形成2维数组C-Features-1，进一步采用线性连接层将其映射为隐层特征C-Features-2，并使用ReLU函数进行激活；权重参数p通过使用线性连接层映射获得，其输入为C-Features-2，输出矩阵维度为n gaussians×1，其中n gaussians为组成混合概率密度网络的高斯函数数量；而后，使用Softmax函数进行参数激活，保证权重参数p的累加值为1；均值参数mu由平行线性连接层映射获得，其输入为C-Features-2，输出矩阵维度为n gaussians×1，采用ReLU函数进行参数激活；方差参数Sigma由平行线性连接层映射获得，其输入为C-Features-2，输出矩阵维度为n gaussians×1，采用指数函数torch.exp进行参数激活，防止方差出现负值；
最终网络输出结果由概率分布函数f(x)和其数学期望E(f(x) )构成：
；
；
式中，f(x)为最终的输出结果为x的概率，n gaussians为高斯函数个数，p i为输出的第i个高斯函数的权重值，sigma i为第i个高斯函数的方差值，mu i为输出的第i个高斯函数的均值，E(f(x) )为输出期望。
7.根据权利要求6所述的基于视频图像的河道渠系悬移质含沙量监测方法，其特征在于：所述多模态数据融合的悬移质含沙量反演网络，其训练过程包括以下子步骤：
（1）构建数据集，包括悬移质含沙量、温度监测数据，及同时间段内的视频资料；并将数据集划分为训练集、验证集和测试集；
（2）数据集数据进行处理，包括依次进行图像预处理，图像预分类，流速场识别，图像适应性调整；
（3）将处理后的训练集中数据输入所述多模态数据融合的悬移质含沙量反演网络，进行网络训练；
训练过程中采用的损失函数为：
；
式中，p i为第i个高斯函数的权重，sigma i为第i个高斯函数的标准差，mu i为第i个高斯函数的均值，n gaussians为高斯函数的个数，y为悬移质含沙量实测值。
8.根据权利要求6所述的基于视频图像的河道渠系悬移质含沙量监测方法，其特征在于：所述多模态数据融合的悬移质含沙量反演网络，训练过程中，通过MAE、RMSE和R2评价网络性能；
；
；
；
式中，N为样本总数，M为预设的高斯分布函数数量；y i为第i个样本的测量值；p ij为在第i样本条件下计算出来的第j个高斯分布函数的权重；μ ij为在i样本条件下计算出的第j个高斯分辨函数的均值；为实测悬移质含沙量样本的平均值。
9.一种基于视频图像的河道渠系悬移质含沙量监测系统，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至8中任一项所述的基于视频图像的河道渠系悬移质含沙量监测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410210817.5A CN117788961B (zh) | 2024-02-27 | 2024-02-27 | 基于视频图像的河道渠系悬移质含沙量监测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410210817.5A CN117788961B (zh) | 2024-02-27 | 2024-02-27 | 基于视频图像的河道渠系悬移质含沙量监测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117788961A true CN117788961A (zh) | 2024-03-29 |
| CN117788961B CN117788961B (zh) | 2024-05-10 |
Family
ID=90380054
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410210817.5A Active CN117788961B (zh) | 2024-02-27 | 2024-02-27 | 基于视频图像的河道渠系悬移质含沙量监测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117788961B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103675328A (zh) * | 2013-12-04 | 2014-03-26 | 重庆交通大学 | 一种悬移质泥沙群体沉速的检测方法 |
| CN112525785A (zh) * | 2020-11-25 | 2021-03-19 | 长江水利委员会长江科学院 | 一种基于新型多频超声探头的悬移质含沙量测量方法 |
| CN115563579A (zh) * | 2022-10-09 | 2023-01-03 | 昆明理工大学 | 一种电容式传感器测量含沙量的数据融合方法 |
| US20230215166A1 (en) * | 2021-12-30 | 2023-07-06 | Wuhan University | Few-shot urban remote sensing image information extraction method based on meta learning and attention |
| EP4216117A1 (en) * | 2022-01-21 | 2023-07-26 | China Three Gorges Co., Ltd. | Method and apparatus for training water-and-sediment prediction model for reservoir and method and apparatus for predicting water-and-sediment in reservoir |
| CN117333670A (zh) * | 2023-10-13 | 2024-01-02 | 华东交通大学 | 基于Transformer和微观图像的再生混凝土水化进程检测方法 |
-
2024
- 2024-02-27 CN CN202410210817.5A patent/CN117788961B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103675328A (zh) * | 2013-12-04 | 2014-03-26 | 重庆交通大学 | 一种悬移质泥沙群体沉速的检测方法 |
| CN112525785A (zh) * | 2020-11-25 | 2021-03-19 | 长江水利委员会长江科学院 | 一种基于新型多频超声探头的悬移质含沙量测量方法 |
| US20230215166A1 (en) * | 2021-12-30 | 2023-07-06 | Wuhan University | Few-shot urban remote sensing image information extraction method based on meta learning and attention |
| EP4216117A1 (en) * | 2022-01-21 | 2023-07-26 | China Three Gorges Co., Ltd. | Method and apparatus for training water-and-sediment prediction model for reservoir and method and apparatus for predicting water-and-sediment in reservoir |
| CN115563579A (zh) * | 2022-10-09 | 2023-01-03 | 昆明理工大学 | 一种电容式传感器测量含沙量的数据融合方法 |
| CN117333670A (zh) * | 2023-10-13 | 2024-01-02 | 华东交通大学 | 基于Transformer和微观图像的再生混凝土水化进程检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| YU HUANG 等: "Radar Technology for River Flow Monitoring: Assessment of the Current Status and Future Challenges", MDPI, 17 May 2023 (2023-05-17), pages 1 - 23 * |
| 刘明堂 等: "基于Kalman-GOCNN 最优融合模型的悬移质含沙量在线检测", 水利水电快报, vol. 43, no. 5, 31 May 2022 (2022-05-31), pages 20 - 27 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117788961B (zh) | 2024-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108615226B (zh) | 一种基于生成式对抗网络的图像去雾方法 | |
| CN110110601B (zh) | 基于多时空注意力模型的视频行人重识别方法及装置 | |
| KR102166458B1 (ko) | 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치 | |
| CN111160297A (zh) | 基于残差注意机制时空联合模型的行人重识别方法及装置 | |
| CN106886216B (zh) | 基于rgbd人脸检测的机器人自动跟踪方法和系统 | |
| CN111160249A (zh) | 基于跨尺度特征融合的光学遥感图像多类目标检测方法 | |
| CN110879982B (zh) | 一种人群计数系统及方法 | |
| CN109635634B (zh) | 一种基于随机线性插值的行人再识别数据增强方法 | |
| CN111079764B (zh) | 一种基于深度学习的低照度车牌图像识别方法及装置 | |
| CN113129272A (zh) | 一种基于去噪卷积自编码器的缺陷检测方法及装置 | |
| CN111062423B (zh) | 基于自适应特征融合的点云图神经网络的点云分类方法 | |
| WO2022247539A1 (zh) | 活体检测方法、估算网络处理方法、装置、计算机设备和计算机可读指令产品 | |
| CN112703532B (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN114998566A (zh) | 一种可解释的多尺度红外弱小目标检测网络设计方法 | |
| CN111160100A (zh) | 一种基于样本生成的轻量级深度模型航拍车辆检测方法 | |
| CN116912675B (zh) | 一种基于特征迁移的水下目标检测方法及系统 | |
| CN114187506A (zh) | 视点意识的动态路由胶囊网络的遥感图像场景分类方法 | |
| CN117636045A (zh) | 基于图像处理的木材缺陷检测系统 | |
| CN110827375B (zh) | 一种基于微光图像的红外图像真彩着色方法及系统 | |
| CN117011280A (zh) | 基于点云分割的3d打印混凝土墙质量监测方法及系统 | |
| CN117788961B (zh) | 基于视频图像的河道渠系悬移质含沙量监测方法及系统 | |
| CN110910497A (zh) | 实现增强现实地图的方法和系统 | |
| CN115358981A (zh) | 胶水缺陷的确定方法、装置、设备及存储介质 | |
| CN114821098A (zh) | 一种基于灰度梯度融合特征及cnn的高速路面破损检测算法 | |
| CN108416815A (zh) | 大气光值的测定方法、设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |