CN116166966B - 一种基于多模态数据融合的水质劣化事件检测方法 - Google Patents
一种基于多模态数据融合的水质劣化事件检测方法 Download PDFInfo
- Publication number
- CN116166966B CN116166966B CN202310409968.9A CN202310409968A CN116166966B CN 116166966 B CN116166966 B CN 116166966B CN 202310409968 A CN202310409968 A CN 202310409968A CN 116166966 B CN116166966 B CN 116166966B
- Authority
- CN
- China
- Prior art keywords
- data
- water quality
- training
- input
- channel number
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/152—Water filtration
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多模态数据融合的水质劣化事件检测方法，具体包括：收集水质污染事件发生时间段，传感器读数与监控探头图像的数据，构建图像‑传感器数据集；设计1D‑CNN时序编码模块、2D‑CNN图像编码模块与融合编码模块，构建基于多模态数据的水质分析算法；将构建的数据集划分训练集与测试集，对训练集与测试集进行预处理操作，得到训练、测试样本集；根据构建的训练样本集，将正常事件与异常事件的成对标签打散，进行多模态数据扩充，并训练基于多模态数据的异常事件分类算法；将训练得到的模型进行实际部署。本发明结合不同模态数据，实现了对真实场景中水质劣化事件的准确预警，为水域环境治理提供进一步有效保障。
Description
技术领域
本发明涉及多模态数据处理与图像处理领域，尤其涉及一种基于多模态数据融合的水质劣化事件检测方法。
背景技术
近年来，伴随着国家对水环境治理的关注以及各类传感器的日益成熟，现代化基础设施建设也越来越完善，越来越多的水质传感器、图像传感器大量应用于河流、湖泊等水体的日常监控。各类新型传感器的引入，产生了海量的数据，这些数据的存储和高效利用成为了一个业务难题。现阶段通过建设大数据平台、GIS平台等方式，实现了对海量数据的有效存储与管理。但对海量数据的监控，仍然基于历史时刻的监控数据进行人工判断或专家判断，这种方式不仅受主观因素影响大，并且影响了环境监察部门对水质异常劣化事件的及时响应。近年来，随着机器学习技术与深度学习技术的迅猛发展，采用机器学习深度学习的方法进行水质异常事件的检测逐渐成为主流。基于随机森林模型、支持向量回归模型等方法的水质监测指标预测算法，实现了对水体污染物浓度发展趋势的预测；而基于计算机视觉的方法则基于布控于河道两侧监控探头采集河流图片，通过图像数据实现非侵入式的水质参数的观测。这些方法在一定程度上提升了水质检测的智能化管理程度。但实际应用中，仍然存在以下问题：1.传感器设备在长时间观测过程中，由于故障或其他原因，会造成采集数据异常变化；2.监控探头等设备在夜间成像时，画面质量大幅度劣化，导致无法正确辨识水质变化。本发明提出的方法，基于两种不同模态数据，构建联合编码神经网络模型的处理，实现对江河水质劣化事件的准确告警，尤其在夜间场景中，融合模型显著提升了告警事件的准确率。
发明内容
本发明的目的在于针对上述现有技术的不足，提供了一种基于多模态数据融合的水质劣化事件检测方法，基于1D-CNN时序编码模块、2D-CNN图像编码模块及融合编码模块，实现了多模态数据的协同分析，有效提升了全天候场景下，对江河水质劣化事件的预警。
实现本发明目的的技术解决方案为：
一种基于多模态数据融合的水质劣化事件检测方法，包括如下主要步骤：
步骤S1、收集水质污染事件发生时间段，传感器读数数据与监控探头图像数据，构建图像-传感器数据集；
步骤S2、设计1D-CNN时序编码模块、2D-CNN图像编码模块与融合编码模块，构建基于多模态数据的水质分类算法模型；
所述1D-CNN时序编码模块包括：一个输入通道数为截取的时间间隔T，输出通道数128，卷积核Kernel尺寸为5的一维卷积层；一个输入向量通道数为128，输出通道数为256，卷积核Kernel尺寸为3的一维卷积层；两个输入向量通道数为128，输出通道数为64，卷积核Kernel尺寸为3的一维卷积层；一个将输入向量为两个通道数均为64的向量组横向拼接为一个通道数为128的向量的通道拼接层；一个将输入通道数为128的向量和输出通道数为128的向量通道顺序随机打乱，组成新向量的通道混洗层；
所述2D-CNN图像编码模块包括：三个Hard-Swish激活函数；一个输入通道数为3，输出通道数为128，步长为2，卷积核大小为3*3的卷积层；一个输入通道数为128，输出通道数为192，步长为1，卷积核大小为3*3的深度可分离卷积层；一个输入通道数为192，输出通道数为192，步长为2，卷积核大小为3*3的深度可分离卷积层；一个输入通道数为192，输出通道数为256，步长为1，卷积核大小为3*3的深度可分离卷积层；一个输入通道数为256，输出通道数为256，步长为2，卷积核大小为3*3的深度可分离卷积层；一个输入通道数为256，输出通道数为384，步长为1，卷积核大小为3*3的深度可分离卷积层；一个输入通道数为384，输出通道数为384，步长为2，卷积核大小为3*3的深度可分离卷积层；一个输入通道数为384，输出通道数为512，步长为1，卷积核大小为3*3的深度可分离卷积层；一个输入通道数为512，输出通道数为512，步长为2，卷积核大小为3*3的深度可分离卷积层；一个输入通道数512，输出通道数128的FC层；
所述融合编码模块包括：两个全连接层，第一个全连接层输入通道为256，输出通道为64；第二个全连接层输入通道数为64，输出通道数为K；
步骤S3、根据构建的数据集，划分训练集、测试集，对训练集与测试集进行预处理操作，得到训练样本集和测试样本集；
步骤S4、根据构建的训练样本集，通过正常事件与异常事件的成对标签打散，进行多模态数据扩充，并利用扩充后的样本集训练基于多模态数据的水质分类算法模型；
步骤S5、将训练得到的模型进行实际部署，将实时获取的摄像头图片与实时获取的水质传感器读数，输入基于多模态数据的水质分类算法模型中进行分析，输出当前事件分类。
进一步的，所述步骤S3中的预处理操作包括对传感器数据的序列数据进行预处理和对图像数据进行预处理。
进一步的，所述步骤S3中对传感器数据的序列数据进行预处理的操作步骤为：
步骤S31、对传感器数据的各项指标序列分别进行归一化处理；
步骤S32、采用设定好的滑动窗口尺寸，进行滑动窗口操作，将归一化处理后的值转换为2阶张量[window_size,feature_num]；windows_size为设定的滑动窗口大小，feature_num为传感器所提供的数据列数；
步骤S33、将转换后的数据输入到1D-CNN时序编码模块中进行网络训练。
进一步的，所述步骤S3中对图像数据进行预处理是归一化后将每张图像转换为3阶张量[height,width,channel]输入到网络中进行训练；height为图像高度，width为图像宽度，channels为图像通道数。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1.本发明能在传统摄像头无法捕获夜间水质变化情况或水质传感器出现错误数值时，使用其他模态数据进行补充，对水质异常事件做出准确识别。
2.本发明结合不同模态数据，实现了对真实场景中水质劣化事件的准确预警，为水域环境治理提供进一步有效保障。
附图说明
图1为本发明一种基于多模态数据融合的水质劣化事件检测方法的分析算法示意图。
图2为1D-CNN时序编码模块示意图。
图3为2D-CNN图像编码模块示意图。
具体实施方式
以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。
此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的。
本发明提出的一种基于多模态数据融合的水质劣化事件检测方法，具体包括以下步骤：
步骤S1：获取主要格式为CSV的水质检测传感器数据集、获取主要格式为JPG的河流图片数据集；
步骤S2：将水质传感器数据集按照给定5min时间周期进行滑动窗口操作，形成数量为M段的水质传感器数据，对应受污染图片数据集按照5min时间周期进行切分，形成数量为N的河流图片数据。其中，图片数据数量N不小于时间段数量M，且水质传感器数据中，水质异常时刻点：水质正常时刻点比例为1：1；图像数据中，标签为“水质异常”的河流图片与标签为“水质正常”的河流图片比例为1：1；
步骤S3：按照水质传感器标签进行标记，若时间周期内任意时刻存在水质异常事件，则将整个数据片段标记为“水质异常”分类，否则标记为“水质正常”分类。根据标记结果，随机将标签为“水质正常”的传感器数据段与标签为“水质正常”的河流图片进行匹配，形成样本数据集；
步骤S4：按照7：2：1的比例划分训练集：验证集：测试集，作为模型训练数据集；将图片数据进行预处理，转换为的向量；
步骤S5：构建多模态数据融合网络模块，将水质传感器数据输入1D-CNN时序编码模块，将其转换为传感器特征向量；将图片数据输入2D-CNN图像编码模块，将其图片特征信息进行编码，将其转换为图像特征向量；将图像特征向量与传感器特征向量进行拼接，形成融合特征向量；将融合特征向量输入多层感知机中，进行分类结果输出，使用Sigmoid函数进行映射，得到最终分类结果；
步骤S6：训练时将步骤4中生成的训练数据集输入对应模块中，网络整体采用交叉熵损失作为整体损失函数，对网络进行训练，采用验证数据集进行测试。当网络训练过程中，交叉熵损失不断降低，直至验证集精度不在降低时，停止训练，保存模型权重；
步骤S7：将实际场景下待处理的水质传感器信号、待识别视频流截取为图片，输入到训练完成的多模态水质检测融合网络中，得到一系列水质状态分类结果。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (4)
1.本发明公开了一种基于多模态数据融合的水质劣化事件检测方法，其特征在于，包括如下主要步骤：
步骤S1、收集水质污染事件发生时间段，传感器读数数据与监控探头图像数据，构建图像-传感器数据集；
步骤S2、设计1D-CNN时序编码模块、2D-CNN图像编码模块与融合编码模块，构建基于多模态数据的水质分类算法模型；
所述1D-CNN时序编码模块包括：一个输入通道数为截取的时间间隔T，输出通道数128，卷积核Kernel尺寸为5的一维卷积层；一个输入向量通道数为128，输出通道数为256，卷积核Kernel尺寸为3的一维卷积层；两个输入向量通道数为128，输出通道数为64，卷积核Kernel尺寸为3的一维卷积层；一个将输入向量为两个通道数均为64的向量组横向拼接为一个通道数为128的向量的通道拼接层；一个将输入通道数为128的向量和输出通道数为128的向量通道顺序随机打乱，组成新向量的通道混洗层；
所述2D-CNN图像编码模块包括：三个Hard-Swish激活函数；一个输入通道数为3，输出通道数为128，步长为2，卷积核大小为3*3的卷积层；一个输入通道数为128，输出通道数为192，步长为1，卷积核大小为3*3的深度可分离卷积层；一个输入通道数为192，输出通道数为192，步长为2，卷积核大小为3*3的深度可分离卷积层；一个输入通道数为192，输出通道数为256，步长为1，卷积核大小为3*3的深度可分离卷积层；一个输入通道数为256，输出通道数为256，步长为2，卷积核大小为3*3的深度可分离卷积层；一个输入通道数为256，输出通道数为384，步长为1，卷积核大小为3*3的深度可分离卷积层；一个输入通道数为384，输出通道数为384，步长为2，卷积核大小为3*3的深度可分离卷积层；一个输入通道数为384，输出通道数为512，步长为1，卷积核大小为3*3的深度可分离卷积层；一个输入通道数为512，输出通道数为512，步长为2，卷积核大小为3*3的深度可分离卷积层；一个输入通道数512，输出通道数128的FC层；
所述融合编码模块包括：两个全连接层，第一个全连接层输入通道为256，输出通道为64；第二个全连接层输入通道数为64，输出通道数为K；
步骤S3、根据构建的数据集，划分训练集、测试集，对训练集与测试集进行预处理操作，得到训练样本集和测试样本集；
步骤S4、根据构建的训练样本集，通过正常事件与异常事件的成对标签打散，进行多模态数据扩充，并利用扩充后的样本集训练基于多模态数据的水质分类算法模型；
步骤S5、将训练得到的模型进行实际部署，将实时获取的摄像头图片与实时获取的水质传感器读数，输入基于多模态数据的水质分类算法模型中进行分析，输出当前事件分类。
2.根据权利要求1所述的一种基于多模态数据融合的水质劣化事件检测方法，其特征在于：所述步骤S3中的预处理操作包括对传感器数据的序列数据进行预处理和对图像数据进行预处理。
3.根据权利要求2所述的一种基于多模态数据融合的水质劣化事件检测方法，其特征在于，所述步骤S3中对传感器数据的序列数据进行预处理的操作步骤为：
步骤S31、对传感器数据的各项指标序列分别进行归一化处理；
步骤S32、采用设定好的滑动窗口尺寸，进行滑动窗口操作，将归一化处理后的值转换为2阶张量[window_size,feature_num]；windows_size为设定的滑动窗口大小，feature_num为传感器所提供的数据列数；
步骤S33、将转换后的数据输入到1D-CNN时序编码模块中进行网络训练。
4.根据权利要求2所述的一种基于多模态数据融合的水质劣化事件检测方法，其特征在于：所述步骤S3中对图像数据进行预处理是归一化后将每张图像转换为3阶张量[height,width,channel]输入到网络中进行训练；height为图像高度，width为图像宽度，channels为图像通道数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310409968.9A CN116166966B (zh) | 2023-04-18 | 2023-04-18 | 一种基于多模态数据融合的水质劣化事件检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310409968.9A CN116166966B (zh) | 2023-04-18 | 2023-04-18 | 一种基于多模态数据融合的水质劣化事件检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116166966A CN116166966A (zh) | 2023-05-26 |
| CN116166966B true CN116166966B (zh) | 2023-07-21 |
Family
ID=86420390
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310409968.9A Active CN116166966B (zh) | 2023-04-18 | 2023-04-18 | 一种基于多模态数据融合的水质劣化事件检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116166966B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118518842B (zh) * | 2024-07-23 | 2024-10-11 | 贵州润可信息科技有限公司 | 基于多模态数据融合和智能优化的水质检测方法和系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106872657A (zh) * | 2017-01-05 | 2017-06-20 | 河海大学 | 一种多变量水质参数时序数据异常事件检测方法 |
| CN112116080A (zh) * | 2020-09-24 | 2020-12-22 | 中国科学院沈阳计算技术研究所有限公司 | 一种融合了注意力机制的cnn-gru水质预测方法 |
| CN114169638A (zh) * | 2021-12-23 | 2022-03-11 | 中国农业大学 | 一种水质预测方法及装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111897350A (zh) * | 2020-07-28 | 2020-11-06 | 谈斯聪 | 一种水下机器人装置、水下调控管理最优化系统及方法 |
| CN112561876B (zh) * | 2020-12-14 | 2024-02-23 | 中南大学 | 基于图像的池塘和水库的水质检测方法及系统 |
| CN113988177B (zh) * | 2021-10-27 | 2024-08-16 | 广东工业大学 | 一种水质传感器异常数据检测与故障诊断方法 |
| CN114742183B (zh) * | 2022-06-15 | 2023-04-18 | 广东中浦科技有限公司 | 基于深度学习的水污染预警方法、系统、设备及存储介质 |
-
2023
- 2023-04-18 CN CN202310409968.9A patent/CN116166966B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106872657A (zh) * | 2017-01-05 | 2017-06-20 | 河海大学 | 一种多变量水质参数时序数据异常事件检测方法 |
| CN112116080A (zh) * | 2020-09-24 | 2020-12-22 | 中国科学院沈阳计算技术研究所有限公司 | 一种融合了注意力机制的cnn-gru水质预测方法 |
| CN114169638A (zh) * | 2021-12-23 | 2022-03-11 | 中国农业大学 | 一种水质预测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116166966A (zh) | 2023-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11715190B2 (en) | Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device | |
| CN110232380A (zh) | 基于Mask R-CNN神经网络的火灾夜间场景复原方法 | |
| Liu et al. | A night pavement crack detection method based on image‐to‐image translation | |
| CN110826588A (zh) | 一种基于注意力机制的排水管道缺陷检测方法 | |
| CN111738044B (zh) | 一种基于深度学习行为识别的校园暴力评估方法 | |
| CN116166966B (zh) | 一种基于多模态数据融合的水质劣化事件检测方法 | |
| CN111223087B (zh) | 一种基于生成对抗网络的桥梁裂缝自动检测方法 | |
| CN114170144A (zh) | 一种输电线路销钉缺陷检测方法、设备及介质 | |
| CN116703885A (zh) | 一种基于Swin Transformer的表面缺陷检测方法及系统 | |
| CN116486231A (zh) | 一种基于改进YOLOv5的混凝土裂缝检测方法 | |
| CN116468667A (zh) | 一种加入Transformer的串式知识蒸馏的无监督缺陷检测方法 | |
| CN114078127B (zh) | 物件的缺陷检测及计数方法、装置、设备和存储介质 | |
| Jiao et al. | A steerable pyramid autoencoder based framework for anomaly frame detection of water pipeline CCTV inspection | |
| CN116523885A (zh) | 一种基于多尺度融合及深度学习的pcb缺陷检测方法 | |
| CN114549414A (zh) | 一种针对轨道数据的异常变化检测方法及系统 | |
| CN114596244A (zh) | 基于视觉处理和多特征融合的红外图像识别方法及系统 | |
| CN116883399A (zh) | 蓝宝石放肩阶段缺陷视觉检测方法、装置、系统和设备 | |
| CN117456321A (zh) | 一种基于多模态融合的输电线路热缺陷检测方法 | |
| CN115456957B (zh) | 一种全尺度特征聚合的遥感影像变化检测的方法 | |
| CN116206261A (zh) | 一种人员工装穿戴检测方法、装置、设备及存储介质 | |
| Harshini et al. | Sewage Pipeline Fault Detection using Image Processing | |
| CN113034432A (zh) | 一种产品缺陷检测方法、系统、装置及存储介质 | |
| CN117132601B (zh) | 一种基于分布式光纤传感的管道模式识别方法及系统 | |
| KR102691026B1 (ko) | 딥러닝을 이용한 차량용 카메라 이미지센서의 고장진단방법 | |
| CN116665016B (zh) | 一种基于改进YOLOv5的单帧红外弱小目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |