CN116778395A - 基于深度学习的山洪漫流视频识别监测方法 - Google Patents
基于深度学习的山洪漫流视频识别监测方法 Download PDFInfo
- Publication number
- CN116778395A CN116778395A CN202311048672.5A CN202311048672A CN116778395A CN 116778395 A CN116778395 A CN 116778395A CN 202311048672 A CN202311048672 A CN 202311048672A CN 116778395 A CN116778395 A CN 116778395A
- Authority
- CN
- China
- Prior art keywords
- video
- training
- flood
- correction
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000012544 monitoring process Methods 0.000 title claims abstract description 23
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 63
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 238000006424 Flood reaction Methods 0.000 claims abstract description 6
- 238000009966 trimming Methods 0.000 claims abstract description 4
- 238000012937 correction Methods 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 238000013138 pruning Methods 0.000 claims description 4
- 239000002352 surface water Substances 0.000 claims description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract description 10
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000004458 analytical method Methods 0.000 abstract 1
- 238000004519 manufacturing process Methods 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 31
- 238000012545 processing Methods 0.000 description 11
- 230000005856 abnormality Effects 0.000 description 4
- 239000002689 soil Substances 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000011010 flushing procedure Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的山洪漫流视频识别监测方法，包括大量获取洪涝灾害区域的视频数据修剪成短视频，并人工标记类别制作成初始样本；再由C3D网络模型进行时空特征提取，得到训练样本；用训练样本训练CNN模型得到预测得分模型，训练时，对CNN算法进行改进，提高算法的稳定性和收敛速度。本发明结合视频监测、异常检测和C3D技术，以及对摄像头传来的视频进行异常分析，通过识别水的流动以及水的波纹，从而判断是否有山洪漫流。不受天气干扰，识别速度快、准确率高，从而能更大限度地降低山洪带来的灾害。
Description
技术领域
本发明涉及一种山洪探测方法，尤其涉及一种基于深度学习的山洪漫流视频识别监测方法。
背景技术
山洪漫流检测和预测是预防洪涝灾害的关键，目前国内外主要使用了基于遥感影像的检测和预警。但是天气的好坏对遥感影像质量的影响十分巨大，当云，雾或者水气等在信号传播路线上形成一定规模，会导致影像的不准确或者干脆被遮盖，尤其是当遥感勘探运用不同频带之间来计算得出特殊地表结构时，计算出来的结果在考虑大气影响不够充分的时候，根本就不可靠。另一方面，当所选数据在一个时间轴上进行相互比较时，不同拍摄日的天气影响会使结果没有可比性。其次，光学传感器成像虽然直观，但往往也只适用于对地表可见的物质勘探与监控，例如在地质勘探方面，植被就会成为信息损失的另一大原因，此外冬季冰雪的覆盖也会对信息利用率造成影响。因此，在高精度要求下，遥感数据不如对固定点测绘可靠。
考虑到山洪具有水量集中，流速大，冲刷速度过快的特点，为了保证尽可能的减少山洪对居民区和铁路干线的破坏，我们需要尽量早的检测到山洪聚集的可能性。山洪的成因除山体结构条件外，主要是短时经历雷暴雨，导致山顶土体含水量趋于饱和，土层的水体压力剧增，会在短时间内积累大量的能量，以至于原有土体平衡破坏，土体和岩层裂隙中的表面覆盖层会被水体冲破，瞬间从山体中上部倾泻而下，从而引发山洪。
因此在山洪漫流检测和预测上，需要找出地表水变换的趋势和特点，发生异常的地方进行预警，从而最大限度地降低了山洪带来的灾害。
关于C3D模型，在图像处理领域，被卷积的都是静态图像，所以使用二维卷积神经网络就足以。而在视频理解领域，为了同时保留时序信息，就需要同时学习时空特征，如果用2D CNN来处理视频，那么将不能考虑编码在连续多帧之间的运动信息。对于2D卷积网络来说,2D CNN是输入为高度H*宽度W的二维矩阵，是在单通道的一帧图像上进行滑窗操作，这种方式没有考虑到时间维度的帧间运动信息，这是因为2D卷积网络只能学习空间上的特征。在以前的采用2D CNN处理视频时，都是对各个关键帧提取特征，然后用算法把各个关键帧的特征结合到一起。这样操作会产生一个问题，那就是在采用2D CNN处理视频的时候是把每一帧图像都当成静态图片进行处理，忽略掉了时间维度的运动信息。
而3D卷积和3D池化，可以对时间信息建模，即3D卷积网络输入视频会输出另外一个视频，保留输入的时间信息。这是因为3D卷积是通过堆叠多个连续的帧为一个立方体，在立方体中运用3D卷积核，在这个结构中，卷积层中每一个特征图都会与上一层中多个邻近的连续帧相连，因此捕捉运动信息。
关于深度学习的方法进行视频处理的方法，一般采用双流方法，C3D方法以及CNN-LSTM方法。而对于C3D方法来说，与之相对应的往往是多层感知机的后续处理方式。但是多层感知机这种神经网络用于后续的视频处理存在几个问题，一是没有考虑到图像的空间结构，识别性能会受到限制；二是每相邻两层的神经元都是全相连，参数太多，训练速度受到限制。
发明内容
本发明的目的就在于提供一种能克服现有技术中，遥感影像的检测和预警受天气影响大，光学传感器检测受地表干扰物影响大等缺陷，能较为准确的预测山洪的爆发的一种基于深度学习的山洪漫流视频识别监测方法。
为了实现上述目的，本发明采用的技术方案是这样的：一种基于深度学习的山洪漫流视频识别监测方法，包括以下步骤：
（1）大量获取洪涝灾害区域的视频数据；
（2）将视频数据修剪为多个不重复且帧数相同的短视频，并将短视频人工标记类别，若短视频内图像包含地表水区域，则标记为正例包，否则为负例包，将带有类别标记的短视频作为初始样本；
（3）将初始样本送入C3D网络模型中进行时空特征提取，输出视频数据特征图作为训练样本，将所有训练样本构成训练数据集；
（4）选择一CNN模型，将训练数据集分为T个批次训练CNN模型，得到预测得分模型，其中第t个批次的训练方法为步骤（41）-（43），t=1~T；
（41）将本批次训练样本送入CNN模型中，计算每个训练样本的预测得分和梯度，其中，训练样本x的预测得分通过下式得到；
（1），
式中，x为输入的训练样本，y为x的类别标记，若x对应正例包，则y=1，若x对应负例包，则y=-1，f(x)为CNN模型对x类别的预测值，m为用于控制正例包与负例包间距离的边界参数，1≤m≤10；
（42）对CNN模型的学习率进行自适应调整，得到调整后的学习率；
（43）用调整后的学习率更新CNN模型的权重；
（5）对监测区域进行视频拍摄，得到对应的视频数据，并修剪为帧数与短视频相同的待测短视频，送入C3D网络模型中得到待测视频数据特征图，再送入预测得分模型，输出预测得分；
（6）预设一阈值，若预测得分＞阈值，则判定监测区域存在山洪漫流。
作为优选，步骤（1）中，所述洪涝灾害区域的视频数据来源于洪涝数据集和自制数据集；所述洪涝数据集包括Utah Landslide Dataset、FloodNet Dataset、和CED-2016Dataset；所述自制数据集为选定探测区域，并在探测区域内由多台无人机划区域协同拍摄得到视频数据。
作为优选，步骤（2）还包括，对初始样本随机改变亮度、对比度和/或饱和度，生成大量新的训练样本。
作为优选，步骤（2）中，所述初始样本构成初始数据集，初始数据集按2:1分为训练集和测试集，正例包和负例包的比例也为2:1。
作为优选，步骤（42）包括（a1）-(a5）；
（a1）初始化权重，所述权重包括梯度的一阶估计C和梯度的平方的一阶矩的估计D；
（a2）通过反向传播算法计算C的梯度和D的梯度/>；
（a3）通过下式计算本批次、/>对应的修正前二阶矩估计/>和/>；
（2），
（3），
式中，为上一批次中/>对应的修正前二阶矩估计，/>为上一批次中/>对应的修正前二阶矩估计，当q=1时，/>和/>为O向量，/>为二阶修正因子且/>=0.9999，/>为常数且/>；
（a4）通过下式对、/>进行修正，得到修正后的二阶矩估计/>、/>；
（4），
（5），
（a5）计算C、D的学习率、/>；
（6），
（7）,
式中，η为预设的初始学习率，为常数，且/>；
作为优选，步骤（a2）中，、/>通过下式计算；
（8）,
（9）,
式中，n为本批次的训练样本的数量，i是当前训练样本，gradient（）为求梯度函数。
作为优选，步骤（43）具体为：
（b1）通过下式计算本批次的C、D对应的修正前一阶矩估计和/>；
（10）,
（11）,
式中，为上一批次中C对应的修正前一阶矩估计，/>为上一批次中D对应的修正前一阶矩估计，当q=1时，/>和/>为O向量，/>为一阶修正因子且/>=0.99；
（b2）通过下式对和/>进行修正，得到修正后的一阶矩估计/>、/>；
（12）,
（13）,
（b3）通过下式更新CNN模型的权重C、D，得到更新后的权重、/>；
（14）,
（15）。
本发明中：关于3D卷积：以前采用2D CNN处理视频时，都是对各个关键帧提取特征，然后用算法把各个关键帧的特征结合到一起。这样操作会在采用2D CNN处理视频的时候把每一帧图像都当成静态图片进行处理，忽略掉了时间维度的运动信息。本发明采用3D卷积和3D池化可以对时间信息建模，保留输入的时间信息。这是因为3D卷积是通过堆叠多个连续的帧为一个立方体，在立方体中运用3D卷积核，在这个结构中，卷积层中每一个特征图都会与上一层中多个邻近的连续帧相连，因此捕捉运动信息。
关于改进CNN模型，传统使用深度学习的方法进行视频处理往往是以下三个分支，分别是two-stream（双流）方法，C3D方法以及CNN-LSTM方法。而对于C3D方法分支来说，往往与之相对应的是多层感知机的后续处理方式。但是多层感知机这种神经网络用于后续的视频处理往往几个问题，一是没有考虑到图像的空间结构，识别性能会受到限制；二是每相邻两层的神经元都是全相连，参数太多，训练速度受到限制，因此本发明构建出改进CNN模型，用以处理C3D模型的输出。
另外，本发明对CNN模型内的算法进行了改进，让它根据输入，输出一预测得分，预测得分由公式（1）计算。该公式中实际用于衡量模型在异常检测任务中，预测值与真实标签之间的差距，该公式中m值越大，表示更严格的异常检测，m值越小则表示容许更多的误分类，所以选择m时需要平衡异常检测的准确性和误报率，根据实际情况进行调整。公式（1）中，用于计算训练样本x的预测值与真实标签的乘积，所述真实标签即为本发明步骤（1）中的类别标记，/>则计算了训练样本x与正例包之间的距离，若训练样本x被正确分类且与正例包之间的距离大于m，则结果为正值，表示样本距离正例包较远。如果样本被错误分类或与正例包之间的距离小于等于m，则结果为负值或零，表示样本距离正例包较近。
则是应用了Hinge Loss函数的核心部分。max函数用于确保损失为非负值，即如果该训练样本x与正例包之间的距离大于m，则损失为0；如果训练样本x与正例包之间的距离小于等于m，则损失为/>，表示负例包得分。
本发明通过公式（2）-（5）给出了更新修正后的二阶矩估计的公式，基本发明的算法，可以将β 2设置为0.9999，本发明在计算梯度、/>的平方时，添加了常数/>，一方面，可以有效减小步骤（a5）中计算学习率时常数/>的值，从而进一步提高算法的稳定性和收敛速度，本发明中，/>能达到10-9，远优于现有技术中10-6到10-8的数量级。另一方面，常数/>能使β 2也可以取到更小，加快模型的收敛速度。
与现有技术相比，本发明的优点在于：本发明通过识别水的流动以及水的波纹，从而判断是否有山洪漫流。本发明结合了C3D技术和分类识别技术对监测区域是否存在山洪漫流进行判定和识别。其中，训练样本基于视频数据，从而包含了时空特征的视频数据，通过C3D网络模型进行特征提取后，输出的特征图依然包含时空特征，从而使模型更容易学习到需要特征；同时，由于数据来源于视频数据，不依赖遥感影像，从而不受天气干扰，使得整个模型具有更高的识别率和准确度。
经C3D网络输出的特征图，本发明摈弃了现有技术常用的多层感知机的后续处理方式，而是采用处理速度更快的CNN模型，并在训练CNN模型时对训练方法进行了改进。从而提有效提高算法的稳定性和收敛速度，加快模型的收敛速度，并能提高识别的速度和准确率。
附图说明
图1为本发明流程图。
具体实施方式
下面将结合附图对本发明作进一步说明。
实施例1：参见图1，一种基于深度学习的山洪漫流视频识别监测方法，包括以下步骤：
（1）大量获取洪涝灾害区域的视频数据；
（2）将视频数据修剪为多个不重复且帧数相同的短视频，并将短视频人工标记类别，若短视频内图像包含地表水区域，则标记为正例包，否则为负例包，将带有类别标记的短视频作为初始样本；
（3）将初始样本送入C3D网络模型中进行时空特征提取，输出视频数据特征图作为训练样本，将所有训练样本构成训练数据集；
（4）选择一CNN模型，将训练数据集分为T个批次训练CNN模型，得到预测得分模型，其中第t个批次的训练方法为步骤（41）-（43），t=1~T；
（41）将本批次训练样本送入CNN模型中，计算每个训练样本的预测得分和梯度，其中，训练样本x的预测得分通过下式得到；
（1）,
式中，x为输入的训练样本，y为x的类别标记，若x对应正例包，则y=1，若x对应负例包，则y=-1，f(x)为CNN模型对x类别的预测值，m为用于控制正例包与负例包间距离的边界参数，1≤m≤10；
（42）对CNN模型的学习率进行自适应调整，得到调整后的学习率；
（43）用调整后的学习率更新CNN模型的权重；
（5）对监测区域进行视频拍摄，得到对应的视频数据，并修剪为帧数与短视频相同的待测短视频，送入C3D网络模型中得到待测视频数据特征图，再送入预测得分模型，输出预测得分；
（6）预设一阈值，若预测得分＞阈值，则判定监测区域存在山洪漫流。
本实施例的步骤（1）中，所述洪涝灾害区域的视频数据来源于洪涝数据集和自制数据集；所述洪涝数据集包括Utah Landslide Dataset、FloodNet Dataset、和CED-2016Dataset；所述自制数据集为选定探测区域，并在探测区域内由多台无人机划区域协同拍摄得到视频数据。
步骤（2）还包括，对初始样本随机改变亮度、对比度和/或饱和度，生成大量新的训练样本。步骤（2）中，所述初始样本构成初始数据集，初始数据集按2:1分为训练集和测试集，正例包和负例包的比例也为2:1。
步骤（42）对CNN模型的学习率进行自适应调整，得到调整后的学习率，具体包括（a1）-(a5）；
（a1）初始化权重，所述权重包括梯度的一阶估计C和梯度的平方的一阶矩的估计D；
（a2）通过反向传播算法计算C的梯度和D的梯度/>；
（a3）通过下式计算本批次、/>对应的修正前二阶矩估计/>和/>；
（2）,
（3）,
式中，为上一批次中/>对应的修正前二阶矩估计，/>为上一批次中/>对应的修正前二阶矩估计，当q=1时，/>和/>为O向量，/>为二阶修正因子且/>=0.9999，/>为常数且/>；
（a4）通过下式对、/>进行修正，得到修正后的二阶矩估计/>、/>；
（4）,
（5）,
（a5）计算C、D的学习率、/>；
（6）,
（7）,
式中，η为预设的初始学习率，为常数，且/>，步骤（a2）中，/>、/>通过下式计算；
（8）,
（9）,
式中，n为本批次的训练样本的数量，i是当前训练样本，gradient（）为求梯度函数。
实施例2：参见图1，在实施例1的基础上，对于步骤（43）用调整后的学习率更新CNN模型的权重，我们给出一种具体操作方法。步骤（43）具体为：
（b1）通过下式计算本批次的C、D对应的修正前一阶矩估计和/>；
（10）,
（11）,
式中，为上一批次中C对应的修正前一阶矩估计，/>为上一批次中D对应的修正前一阶矩估计，当q=1时，/>和/>为O向量，/>为一阶修正因子且/>=0.99；
（b2）通过下式对和/>进行修正，得到修正后的一阶矩估计/>、/>；
（12）,
（13）,
（b3）通过下式更新CNN模型的权重C、D，得到更新后的权重、/>；
（14）,
（15）。
实施例3：参见图1，为了说明本发明效果，我们设置了对比评估实验。
首先，从洪涝数据集中选取多个确定为发生山洪漫流的视频数据，对每个视频数据，从中修剪出10个短视频，构成短视频数据集，经C3D网络模型进行时空特征提取后构成训练数据集，再将训练数据集内训练样本按2：1的比例分为训练集和测试集，按 本发明方法进行训练和测试。
同时，将上述短视频数据集中的短视频，不用C3D网络模型进行时空特征提取，而是直接送入神经网络模型中进行训练。通过不同实验条件的设置，得到对比数据如下表1：
表1.对比结果表
表1中：C3D+CNN：指短视频经C3D网络模型进行时空特征提取后，再经CNN网络模型进行分类训练。C3D+MLP：指短视频经C3D网络模型进行时空特征提取后，再经MLP网络模型进行分类训练。未处理+CNN：指短视频直接用CNN网络模型进行分类训练。未处理+MLP：指短视频直接用MLP网络模型进行分类训练。
从表1可以看出，本发明在准确率上具有更大的优势。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于深度学习的山洪漫流视频识别监测方法，其特征在于，包括以下步骤：
（1）大量获取洪涝灾害区域的视频数据；
（2）将视频数据修剪为多个不重复且帧数相同的短视频，并将短视频人工标记类别，若短视频内图像包含地表水区域，则标记为正例包，否则为负例包，将带有类别标记的短视频作为初始样本；
（3）将初始样本送入C3D网络模型中进行时空特征提取，输出视频数据特征图作为训练样本，将所有训练样本构成训练数据集；
（4）选择一CNN模型，将训练数据集分为T个批次训练CNN模型，得到预测得分模型，其中第t个批次的训练方法为步骤（41）-（43），t=1~T；
（41）将本批次训练样本送入CNN模型中，计算每个训练样本的预测得分和梯度，其中，训练样本x的预测得分通过下式得到；
（1）,
式中，x为输入的训练样本，y为x的类别标记，若x对应正例包，则y=1，若x对应负例包，则y=-1，f(x)为CNN模型对x类别的预测值，m为用于控制正例包与负例包间距离的边界参数，1≤m≤10；
（42）对CNN模型的学习率进行自适应调整，得到调整后的学习率；
（43）用调整后的学习率更新CNN模型的权重；
（5）对监测区域进行视频拍摄，得到对应的视频数据，并修剪为帧数与短视频相同的待测短视频，送入C3D网络模型中得到待测视频数据特征图，再送入预测得分模型，输出预测得分；
（6）预设一阈值，若预测得分＞阈值，则判定监测区域存在山洪漫流。
2.根据权利要求1所述的基于深度学习的山洪漫流视频识别监测方法，其特征在于，步骤（1）中，所述洪涝灾害区域的视频数据来源于洪涝数据集和自制数据集；所述洪涝数据集包括Utah Landslide Dataset、FloodNet Dataset、和CED-2016 Dataset；所述自制数据集为选定探测区域，并在探测区域内由多台无人机划区域协同拍摄得到视频数据。
3.根据权利要求1所述的基于深度学习的山洪漫流视频识别监测方法，其特征在于，步骤（2）还包括，对初始样本随机改变亮度、对比度和/或饱和度，生成大量新的训练样本。
4.根据权利要求1所述的基于深度学习的山洪漫流视频识别监测方法，其特征在于，步骤（2）中，所述初始样本构成初始数据集，初始数据集按2:1分为训练集和测试集，正例包和负例包的比例也为2:1。
5.根据权利要求1所述的基于深度学习的山洪漫流视频识别监测方法，其特征在于，步骤（42）包括（a1）-(a5）；
（a1）初始化权重，所述权重包括梯度的一阶估计C和梯度的平方的一阶矩的估计D；
（a2）通过反向传播算法计算C的梯度和D的梯度/>；
（a3）通过下式计算本批次对应的修正前二阶矩估计、/>对应的修正前二阶矩估计/>和/>；
（2）,
（3）,
式中，为上一批次中/>对应的修正前二阶矩估计，/>为上一批次中/>对应的修正前二阶矩估计，当q=1时，/>和/>为O向量，/>为二阶修正因子且/>=0.9999，为常数且/>；
（a4）通过下式对、/>进行修正，得到修正后的二阶矩估计/>、/>；
（4）,
（5）,
（a5）计算C、D的学习率、/>；
（6）,
（7）,
式中，η为预设的初始学习率，为常数，且/>。
6.根据权利要求5所述的基于深度学习的山洪漫流视频识别监测方法，其特征在于，步骤（a2）中，、/>通过下式计算；
（8），
（9），
式中，n为本批次的训练样本的数量，i是当前训练样本，gradient（）为求梯度函数。
7.根据权利要求5所述的基于深度学习的山洪漫流视频识别监测方法，其特征在于，步骤（43）具体为：
（b1）通过下式计算本批次的C、D对应的修正前一阶矩估计和/>；
（10），
（11），
式中，为上一批次中C对应的修正前一阶矩估计，/>为上一批次中D对应的修正前一阶矩估计，当q=1时，/>和/>为O向量，/>为一阶修正因子且/>=0.99；
（b2）通过下式对和/>进行修正，得到修正后的一阶矩估计/>、/>；
（12），
（13），
（b3）通过下式更新CNN模型的权重C、D，得到更新后的权重、/>；
（14），
（15）。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311048672.5A CN116778395B (zh) | 2023-08-21 | 2023-08-21 | 基于深度学习的山洪漫流视频识别监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311048672.5A CN116778395B (zh) | 2023-08-21 | 2023-08-21 | 基于深度学习的山洪漫流视频识别监测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116778395A true CN116778395A (zh) | 2023-09-19 |
| CN116778395B CN116778395B (zh) | 2023-10-24 |
Family
ID=87991631
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311048672.5A Active CN116778395B (zh) | 2023-08-21 | 2023-08-21 | 基于深度学习的山洪漫流视频识别监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116778395B (zh) |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106709511A (zh) * | 2016-12-08 | 2017-05-24 | 华中师范大学 | 基于深度学习的城市轨道交通全景监控视频故障检测方法 |
| CN106910139A (zh) * | 2017-02-22 | 2017-06-30 | 北京石油化工学院 | 一种煤矿突透水灾害应急疏散模拟方法 |
| CN108764019A (zh) * | 2018-04-03 | 2018-11-06 | 天津大学 | 一种基于多源深度学习的视频事件检测方法 |
| CN109062956A (zh) * | 2018-06-26 | 2018-12-21 | 湘潭大学 | 一种面向区域综合能源系统的时空特征挖掘方法 |
| CN109376611A (zh) * | 2018-09-27 | 2019-02-22 | 方玉明 | 一种基于3d卷积神经网络的视频显著性检测方法 |
| CN110110651A (zh) * | 2019-04-29 | 2019-08-09 | 齐鲁工业大学 | 基于时空重要性和3d cnn的视频中行为识别方法 |
| CN111325155A (zh) * | 2020-02-21 | 2020-06-23 | 重庆邮电大学 | 基于残差式3d cnn和多模态特征融合策略的视频动作识别方法 |
| CN111582017A (zh) * | 2020-03-24 | 2020-08-25 | 成都信息工程大学 | 面向视频监控端到端地质灾害自动识别方法、系统及应用 |
| CN113033379A (zh) * | 2021-03-18 | 2021-06-25 | 贵州大学 | 一种基于双流cnn的帧内取证深度学习方法 |
| CN113065601A (zh) * | 2021-04-12 | 2021-07-02 | 陕西理工大学 | 基于遗传算法优化的深度学习林火异常检测方法 |
| CN113537177A (zh) * | 2021-09-16 | 2021-10-22 | 南京信息工程大学 | 一种基于视觉Transformer的洪涝灾害监测与灾情分析方法 |
| CN113536939A (zh) * | 2021-06-18 | 2021-10-22 | 西安电子科技大学 | 一种基于3d卷积神经网络的视频去重方法 |
| CN114639046A (zh) * | 2022-03-18 | 2022-06-17 | 中电科大数据研究院有限公司 | 一种基于时间序列检测的打斗行为识别方法 |
| US20220350842A1 (en) * | 2020-01-17 | 2022-11-03 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Video tag determination method, terminal, and storage medium |
| CN115661030A (zh) * | 2022-09-20 | 2023-01-31 | 北京工业大学 | 一种基于3d-cnn的激光散斑衬比血流成像精度的提高方法 |
| CN115860231A (zh) * | 2022-12-08 | 2023-03-28 | 河海大学 | 一种基于MCR_BiLSTM的智能洪水预报方法 |
| US20230141886A1 (en) * | 2021-03-02 | 2023-05-11 | Hohai University | Method for assessing hazard on flood sensitivity based on ensemble learning |
| US20230154207A1 (en) * | 2020-06-10 | 2023-05-18 | Nanjing University Of Science And Technology | Driver fatigue detection method and system based on combining a pseudo-3d convolutional neural network and an attention mechanism |
| CN116205522A (zh) * | 2023-01-31 | 2023-06-02 | 中国测绘科学研究院 | 一种多维cnn耦合的滑坡易发性评价方法及系统 |
-
2023
- 2023-08-21 CN CN202311048672.5A patent/CN116778395B/zh active Active
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106709511A (zh) * | 2016-12-08 | 2017-05-24 | 华中师范大学 | 基于深度学习的城市轨道交通全景监控视频故障检测方法 |
| CN106910139A (zh) * | 2017-02-22 | 2017-06-30 | 北京石油化工学院 | 一种煤矿突透水灾害应急疏散模拟方法 |
| CN108764019A (zh) * | 2018-04-03 | 2018-11-06 | 天津大学 | 一种基于多源深度学习的视频事件检测方法 |
| CN109062956A (zh) * | 2018-06-26 | 2018-12-21 | 湘潭大学 | 一种面向区域综合能源系统的时空特征挖掘方法 |
| CN109376611A (zh) * | 2018-09-27 | 2019-02-22 | 方玉明 | 一种基于3d卷积神经网络的视频显著性检测方法 |
| CN110110651A (zh) * | 2019-04-29 | 2019-08-09 | 齐鲁工业大学 | 基于时空重要性和3d cnn的视频中行为识别方法 |
| US20220350842A1 (en) * | 2020-01-17 | 2022-11-03 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Video tag determination method, terminal, and storage medium |
| CN111325155A (zh) * | 2020-02-21 | 2020-06-23 | 重庆邮电大学 | 基于残差式3d cnn和多模态特征融合策略的视频动作识别方法 |
| CN111582017A (zh) * | 2020-03-24 | 2020-08-25 | 成都信息工程大学 | 面向视频监控端到端地质灾害自动识别方法、系统及应用 |
| US20230154207A1 (en) * | 2020-06-10 | 2023-05-18 | Nanjing University Of Science And Technology | Driver fatigue detection method and system based on combining a pseudo-3d convolutional neural network and an attention mechanism |
| US20230141886A1 (en) * | 2021-03-02 | 2023-05-11 | Hohai University | Method for assessing hazard on flood sensitivity based on ensemble learning |
| CN113033379A (zh) * | 2021-03-18 | 2021-06-25 | 贵州大学 | 一种基于双流cnn的帧内取证深度学习方法 |
| CN113065601A (zh) * | 2021-04-12 | 2021-07-02 | 陕西理工大学 | 基于遗传算法优化的深度学习林火异常检测方法 |
| CN113536939A (zh) * | 2021-06-18 | 2021-10-22 | 西安电子科技大学 | 一种基于3d卷积神经网络的视频去重方法 |
| CN113537177A (zh) * | 2021-09-16 | 2021-10-22 | 南京信息工程大学 | 一种基于视觉Transformer的洪涝灾害监测与灾情分析方法 |
| US11521379B1 (en) * | 2021-09-16 | 2022-12-06 | Nanjing University Of Information Sci. & Tech. | Method for flood disaster monitoring and disaster analysis based on vision transformer |
| CN114639046A (zh) * | 2022-03-18 | 2022-06-17 | 中电科大数据研究院有限公司 | 一种基于时间序列检测的打斗行为识别方法 |
| CN115661030A (zh) * | 2022-09-20 | 2023-01-31 | 北京工业大学 | 一种基于3d-cnn的激光散斑衬比血流成像精度的提高方法 |
| CN115860231A (zh) * | 2022-12-08 | 2023-03-28 | 河海大学 | 一种基于MCR_BiLSTM的智能洪水预报方法 |
| CN116205522A (zh) * | 2023-01-31 | 2023-06-02 | 中国测绘科学研究院 | 一种多维cnn耦合的滑坡易发性评价方法及系统 |
Non-Patent Citations (7)
| Title |
|---|
| DIEDERIK P等: "Adam: A Method for Stochastic Optimization", MACHINE LEARNING, pages 1 - 15 * |
| DU TRAN等: "Learning Spatiotemporal Features with 3D Convolutional Networks", ARXIV:1412.0767V4, pages 1 - 16 * |
| SHENGMEI YANG等: "Cloud-Model-Based Method for Risk Assessment of Mountain Torrent Disasters", WATER, vol. 10, pages 1 - 20 * |
| XIN TANG等: "A Tunable Terahertz Absorber Based on Double-Layer Patterned Graphene Metamaterials", MATERIALS, vol. 16, no. 11, pages 1 - 10 * |
| 周晏 等: "基于三维卷积网络的山洪漫流灾害视频检测方法研究", 信息技术与信息化, no. 11, pages 141 - 144 * |
| 李燕 等: "基于C3D和CBAM-ConvLSTM的犯罪事件视频场景分类", 刑事技术, vol. 47, no. 05, pages 448 - 457 * |
| 陈垦 等: "基于改进YOLOX的落石检测方法", 计算机测量与控制, pages 1 - 8 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116778395B (zh) | 2023-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109977812B (zh) | 一种基于深度学习的车载视频目标检测方法 | |
| CN109034018B (zh) | 一种基于双目视觉的低空小型无人机障碍物感知方法 | |
| WO2020173226A1 (zh) | 一种时空行为检测方法 | |
| CN107016357B (zh) | 一种基于时间域卷积神经网络的视频行人检测方法 | |
| CN104463196B (zh) | 一种基于视频的天气现象识别方法 | |
| CN111915592B (zh) | 基于深度学习的遥感图像云检测方法 | |
| CN110110649B (zh) | 基于速度方向的可选择性人脸检测方法 | |
| CN109241913A (zh) | 结合显著性检测和深度学习的船只检测方法及系统 | |
| CN110263706A (zh) | 一种雾霾天气车载视频动态目标检测和识别的方法 | |
| CN104899866A (zh) | 一种智能化的红外小目标检测方法 | |
| CN107220603A (zh) | 基于深度学习的车辆检测方法及装置 | |
| CN113936142A (zh) | 一种基于深度学习的降水临近预报方法及装置 | |
| CN103593672A (zh) | Adaboost分类器在线学习方法及系统 | |
| CN111626169B (zh) | 一种基于图像的铁路危险落石尺寸判断方法 | |
| CN113469278B (zh) | 一种基于深度卷积神经网络的强天气目标识别方法 | |
| CN113111722A (zh) | 基于改进Mask R-CNN的自动驾驶目标识别方法 | |
| CN113297915A (zh) | 一种基于无人机巡检的绝缘子识别目标检测方法 | |
| CN114119586A (zh) | 一种基于机器视觉的飞机蒙皮缺陷智能检测方法 | |
| CN109800756A (zh) | 一种用于中文历史文献密集文本的文字检测识别方法 | |
| CN114841920A (zh) | 基于图像处理的火焰识别方法、装置及电子设备 | |
| CN114202643A (zh) | 基于多传感融合的苹果叶部病害识别终端及方法 | |
| CN111291818A (zh) | 一种面向云掩膜的非均匀类别的样本均衡化方法 | |
| CN113469097B (zh) | 一种基于ssd网络的水面漂浮物多相机实时检测方法 | |
| CN116778395B (zh) | 基于深度学习的山洪漫流视频识别监测方法 | |
| CN110706208A (zh) | 一种基于张量均方最小误差的红外弱小目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |