CN117235661B - 基于ai的直饮水质量监测方法 - Google Patents

基于ai的直饮水质量监测方法 Download PDF

Info

Publication number
CN117235661B
CN117235661B CN202311106485.8A CN202311106485A CN117235661B CN 117235661 B CN117235661 B CN 117235661B CN 202311106485 A CN202311106485 A CN 202311106485A CN 117235661 B CN117235661 B CN 117235661B
Authority
CN
China
Prior art keywords
water quality
data
model
algorithm
abnormality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311106485.8A
Other languages
English (en)
Other versions
CN117235661A (zh
Inventor
张志慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Yishui Water Technology Co ltd
Original Assignee
Guangzhou Yishui Water Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Yishui Water Technology Co ltd filed Critical Guangzhou Yishui Water Technology Co ltd
Priority to CN202311106485.8A priority Critical patent/CN117235661B/zh
Publication of CN117235661A publication Critical patent/CN117235661A/zh
Application granted granted Critical
Publication of CN117235661B publication Critical patent/CN117235661B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A20/00Water conservation; Efficient water supply; Efficient water use
    • Y02A20/152Water filtration

Landscapes

  • Testing And Monitoring For Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及直饮水质量监测方法技术领域,具体为基于AI的直饮水质量监测方法,包括以下步骤,使用IoT设备和传感器进行水质基础数据收集,对水质基础数据进行预处理,生成预处理后的水质数据集。本发明中,通过IoT设备、计算机视觉和声学信号三种不同的采集手段,确保了水质的综合评估,避免了单一监测方式可能遗漏的问题,通过数据清洗和标准化,确保后续分析的准确性,特征工程和计算机视觉技术则从大量的数据中提取关键特征,提高了模型的分析效率,将不同的数据源融合,提高了水质评估的准确性,在识别到水质异常时,能够及时进行预警,避免了对人体健康的潜在危害,此外,还能为管理部门提供优化建议,促进水质管理的持续改进。

Description

基于AI的直饮水质量监测方法
技术领域
本发明涉及直饮水质量监测方法技术领域,尤其涉及基于AI的直饮水质量监测方法。
背景技术
直饮水质量监测方法,是对直饮水的物理、化学和微生物指标进行检测和分析的过程。监测包括物理指标(如温度、浑浊度、颜色、气味)、化学指标(如pH值、溶解氧、电导率、重金属、有机物)和微生物指标(如总大肠菌群、大肠埃希菌)。物理指标可用仪器测量,化学分析使用仪器如pH计、电导仪,而微生物指标常用标准微生物学方法。此外,还可进行附加监测如残留氯、放射性物质等,以确保直饮水安全。监测应由专业实验室和培训人员进行,遵循法规标准,确保监测结果准确可靠,以满足相关水质安全要求。
在直饮水质量监测方法的实际使用过程中,许多现有方法主要依赖于传统的物理或化学分析,忽视了如声学或图像等非传统的监测方式,这可能导致某些特定的问题被遗漏。缺乏有效的数据预处理和特征提取步骤,可能导致数据的噪声和不规范性对后续分析产生不良影响。仅仅依赖于单一或少数几种数据来源,难以得到全面的水质评估。在面对异常水质时,现有的方法可能缺乏及时的预警系统,增加了潜在风险。当发现问题时,现有方法可能只提供问题诊断,而不提供具体的优化或改进建议。
发明内容
本发明的目的是解决现有技术中存在的缺点,而提出的基于AI的直饮水质量监测方法。
为了实现上述目的,本发明采用了如下技术方案:基于AI的直饮水质量监测方法,包括以下步骤:
S1:使用IoT设备和传感器进行水质基础数据收集,对所述水质基础数据进行预处理,包括数据清洗和标准化,生成预处理后的水质数据集;
S2:应用特征工程方法,从所述预处理后的水质数据集中提取关键特征,生成多维度水质特征向量;
S3:采用深度学习算法,对所述多维度水质特征向量进行初步模式识别,得到初步水质模式识别结果;
S4:通过计算机视觉技术,从水样图像中提取关键特征,生成图像识别水质特征;
S5:将所述初步水质模式识别结果与图像识别水质特征进行数据融合,得到融合后的水质模式识别结果;
S6:对水体的声音信号进行采集和处理,生成声学水质特征;
S7:采用机器学习算法,对所述融合后的水质模式识别结果和声学水质特征进行综合分析,输出综合水质评估报告;
S8:根据所述综合水质评估报告,运用异常检测算法进行异常识别,并生成水质异常与预警信息;
S9:基于所述水质异常与预警信息,采用智能推荐算法为管理部门提供优化建议,输出水质优化建议报告。
作为本发明的进一步方案,使用IoT设备和传感器进行水质基础数据收集,对所述水质基础数据进行预处理,包括数据清洗和标准化,生成预处理后的水质数据集的步骤具体为:
S101:根据检测需求,选取满足IEEE 802.15.4标准的IoT硬件设备进行部署,生成设备部署清单;
S102:依据所述设备部署清单,使用K-Means聚类算法确定最优传感器位置,并进行PH、浊度和有机物传感器的安装与配置,整合传感器配置记录;
S103:根据所述传感器配置记录,运用MQTT协议进行实时水质数据的采集,获取原始水质数据;
S104:将原始水质数据采用Apache Kafka进行实时数据流处理,并上传至云端数据库或本地服务器,作为存储数据集;
S105:采用Tukey’s Fences算法从存储数据集中剔除异常值和噪声,获取清洗后的数据;
S106:基于所述清洗后的数据,执行Z-score标准化,生成预处理后的水质数据集。
作为本发明的进一步方案,应用特征工程方法,从所述预处理后的水质数据集中提取关键特征,生成多维度水质特征向量的步骤具体为:
S201:对所述预处理后的水质数据集进行描述性统计和相关性分析,采用Seaborn或Matplotlib生成可视化图表,作为数据探索报告;
S202:依据所述数据探索报告,运用LASSO回归或随机森林算法进行特征重要性评估和选择,生成关键特征列表;
S203:采用主成分分析算法对所述关键特征列表进行降维,并生成特征向量,整合作为多维度水质特征向量。
作为本发明的进一步方案,采用深度学习算法,对所述多维度水质特征向量进行初步模式识别,得到初步水质模式识别结果的步骤具体为:
S301:根据多维度水质特征向量的结构,选择卷积神经网络作为选定的模型架构一;
S302:根据所述选定的模型架构一,设置包括学习率、批次大小的超参数,并进行模型初始化,获取配置后的模型;
S303:采用所述多维度水质特征向量训练配置后的模型,使用Adam或SGD的优化器对权重进行更新,作为训练中的模型;
S304:对所述训练中的模型进行验证,使用验证集数据并应用如交叉熵损失函数进行性能评估,获取验证后的模型;
S305:采用验证后的模型,对多维度水质特征向量进行模式识别,获取初步水质模式识别结果。
作为本发明的进一步方案,通过计算机视觉技术,从水样图像中提取关键特征,生成图像识别水质特征的步骤具体为:
S401:使用高分辨率摄像机获取原始水样图像;
S402:应用如高斯滤波或Canny边缘检测处理所述原始水样图像,生成处理后的图像;
S403:使用如SIFT或HOG算法对处理后的图像进行关键特征提取,获取图像中的关键特征;
S404:将所述图像中的关键特征通过特征提取与选择算法进行编码与整合,获取图像识别水质特征。
作为本发明的进一步方案,将所述初步水质模式识别结果与图像识别水质特征进行数据融合,得到融合后的水质模式识别结果的步骤具体为:
S501:采用加权方法作为选定的数据融合方法;
S502:使用所述选定的数据融合方法,应用于所述初步水质模式识别结果与图像识别水质特征,通过无监督的方式根据相似性或距离度量将其组合在一起,生成融合后的数据;
S503:对所述融合后的数据进行效果评估和验证,在交叉验证环境中,对融合结果进行性能的定量评价,获取融合后的水质模式识别结果。
作为本发明的进一步方案,对水体的声音信号进行采集和处理,生成声学水质特征的步骤具体为:
S601:使用水下麦克风进行声音采集,获取原始声音信号;
S602:应用低通滤波器对所述原始声音信号进行噪声削减,获取处理后的声音信号;
S603:运用Mel频率倒谱系数方法对处理后的声音信号进行特征提取,得到声音中的关键特征;
S604:将所述声音中的关键特征通过特征提取与选择算法进行编码与整合,形成描述水体状态的声学特征向量,作为声学水质特征。
作为本发明的进一步方案,采用机器学习算法,对所述融合后的水质模式识别结果和声学水质特征进行综合分析,输出综合水质评估报告的步骤具体为:
S701:将所述融合后的水质模式识别结果与声学水质特征合并成一个综合数据集;
S702:根据所述综合数据集的结构与需求,选择具体为支持向量机的机器学习模型,作为选定的模型架构二;
S703:使用综合数据集训练所述选定的模型架构二,设置超参数并进行交叉验证以优化模型性能,获取优化后模型;
S704:采用独立的测试数据集对所述优化后模型进行验证,获取最终优化模型;
S705:应用所述最终优化模型分析水质,并生成包含各种水质指标、评分和建议的综合水质评估报告。
作为本发明的进一步方案,根据所述综合水质评估报告,运用异常检测算法进行异常识别,并生成水质异常与预警信息的步骤具体为:
S801:根据所述综合水质评估报告,选择孤立森林异常检测算法,作为选定的异常检测算法;
S802:采用历史数据训练所述选定的异常检测算法,得到训练后的异常检测模型;
S803:应用所述训练后的异常检测模型在实时或近实时的综合水质评估报告上进行异常识别,生成水质异常与预警信息。
作为本发明的进一步方案,基于所述水质异常与预警信息,采用智能推荐算法为管理部门提供优化建议,输出水质优化建议报告的步骤具体为:
S901:根据所述异常与预警信息,选用协同过滤推荐算法来提供优化建议;
S902:根据历史案例和现有数据训练所述协同过滤推荐算法,所述协同过滤推荐算法学习针对水质异常和预警的特征,建立训练后的推荐算法模型;
S903:应用所述训练后的推荐算法模型,结合异常与预警信息,输出水质优化建议报告,包括增加监测频率、改善环境因素或采取污染物处理方法;
S904:基于所述水质优化建议报告,使用图表、可视化工具提供可视化结果。
与现有技术相比,本发明的优点和积极效果在于:
本发明中,通过IoT设备、计算机视觉和声学信号三种不同的采集手段,确保了水质的综合评估,避免了单一监测方式可能遗漏的问题。通过数据清洗和标准化,减少了数据的噪声和不一致性,确保后续分析的准确性。特征工程和计算机视觉技术则从大量的数据中提取关键特征,提高了模型的分析效率。将不同的数据源融合,提高了水质评估的准确性。在识别到水质异常时,能够及时进行预警,避免了对人体健康的潜在危害。此外,还能为管理部门提供优化建议,促进水质管理的持续改进。
附图说明
图1为本发明的主步骤示意图;
图2为本发明的S1细化示意图;
图3为本发明的S2细化示意图;
图4为本发明的S3细化示意图;
图5为本发明的S4细化示意图;
图6为本发明的S5细化示意图;
图7为本发明的S6细化示意图;
图8为本发明的S7细化示意图;
图9为本发明的S8细化示意图;
图10为本发明的S9细化示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在本发明的描述中,需要理解的是,术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
实施例一
请参阅图1,本发明提供一种技术方案:基于AI的直饮水质量监测方法,包括以下步骤:
S1:使用IoT设备和传感器进行水质基础数据收集,对水质基础数据进行预处理,包括数据清洗和标准化,生成预处理后的水质数据集;
S2:应用特征工程方法,从预处理后的水质数据集中提取关键特征,生成多维度水质特征向量;
S3:采用深度学习算法,对多维度水质特征向量进行初步模式识别,得到初步水质模式识别结果;
S4:通过计算机视觉技术,从水样图像中提取关键特征,生成图像识别水质特征;
S5:将初步水质模式识别结果与图像识别水质特征进行数据融合,得到融合后的水质模式识别结果;
S6:对水体的声音信号进行采集和处理,生成声学水质特征;
S7:采用机器学习算法,对融合后的水质模式识别结果和声学水质特征进行综合分析,输出综合水质评估报告;
S8:根据综合水质评估报告,运用异常检测算法进行异常识别,并生成水质异常与预警信息;
S9:基于水质异常与预警信息,采用智能推荐算法为管理部门提供优化建议,输出水质优化建议报告。
通过IoT设备和传感器进行水质基础数据收集并进行预处理,以确保数据的准确性和可比性。特征工程方法和深度学习算法将提取多维度水质特征和初步模式识别相结合,为水质评估提供全面的特征描述和初始识别。计算机视觉技术的应用使得从水样图像中提取关键特征成为可能,进一步丰富了水质特征的获取途径。数据融合将各种特征信息综合利用,提高水质模式识别的准确性。声学水质特征的采集和处理为水质状况的评估提供了额外信息。机器学习算法对融合后的水质模式识别结果和声学水质特征进行综合分析,生成综合水质评估报告,为管理部门提供全面信息。异常检测算法用于识别水质异常,并生成异常与预警信息。最后,基于水质异常与预警信息,智能推荐算法为管理部门提供优化建议,生成水质优化建议报告,支持决策制定和水质改善措施的实施。这种综合方法能够提高水质管理效率、水质状况评估准确性,并保障公众的饮用水安全。
请参阅图2,使用IoT设备和传感器进行水质基础数据收集,对水质基础数据进行预处理,包括数据清洗和标准化,生成预处理后的水质数据集的步骤具体为:
S101:根据检测需求,选取满足IEEE 802.15.4标准的IoT硬件设备进行部署,生成设备部署清单;
S102:依据设备部署清单,使用K-Means聚类算法确定最优传感器位置,并进行PH、浊度和有机物传感器的安装与配置,整合传感器配置记录;
S103:根据传感器配置记录,运用MQTT协议进行实时水质数据的采集,获取原始水质数据;
S104:将原始水质数据采用Apache Kafka进行实时数据流处理,并上传至云端数据库或本地服务器,作为存储数据集;
S105:采用Tukey’s Fences算法从存储数据集中剔除异常值和噪声,获取清洗后的数据;
S106:基于清洗后的数据,执行Z-score标准化,生成预处理后的水质数据集。
首先,选择符合标准的IoT设备和传感器,确保数据采集的稳定性和准确性。通过确定最优传感器位置,能够获得更准确的水质数据,并提高监测的可信度。实时水质数据采集和流式处理保证及时获取数据,并支持快速响应和决策。实时数据流处理和存储为大规模数据提供高效处理和存储方案,提高数据的可访问性和利用效率。通过剔除异常值和噪声,数据的质量得以提升,降低了数据误差对后续分析和决策的影响。数据标准化确保数据的可比性和一致性,为后续分析提供可靠的基准。
请参阅图3,应用特征工程方法,从预处理后的水质数据集中提取关键特征,生成多维度水质特征向量的步骤具体为:
S201:对预处理后的水质数据集进行描述性统计和相关性分析,采用Seaborn或Matplotlib生成可视化图表,作为数据探索报告;
S202:依据数据探索报告,运用LASSO回归或随机森林算法进行特征重要性评估和选择,生成关键特征列表;
S203:采用主成分分析算法对关键特征列表进行降维,并生成特征向量,整合作为多维度水质特征向量。
首先,通过描述性统计和相关性分析,可以对数据集进行全面的探索和理解。利用可视化图表,如Seaborn或Matplotlib生成的图表,可以直观地展示数据的分布、趋势和相关性,为后续特征选择提供重要参考。其次,采用LASSO回归或随机森林等算法进行特征重要性评估和选择,可以识别关键特征并排除冗余或无关特征。这有助于减少数据维度,降低计算复杂度,并提高模型的解释性和泛化能力。通过生成关键特征列表,可以快速了解对水质状况影响较大的特征。最后,采用主成分分析算法对关键特征列表进行降维,生成特征向量作为多维度水质特征向量。降维可以将高维特征空间转化为低维表示,减少特征间的冗余信息,提取更具代表性的特征,并尽可能保留原始数据的信息。得到多维度水质特征向量后,可以更全面地描述水质状况,为后续的模式识别和分析提供更准确的输入。
请参阅图4,采用深度学习算法,对多维度水质特征向量进行初步模式识别,得到初步水质模式识别结果的步骤具体为:
S301:根据多维度水质特征向量的结构,选择卷积神经网络作为选定的模型架构一;
S302:根据选定的模型架构一,设置包括学习率、批次大小的超参数,并进行模型初始化,获取配置后的模型;
S303:采用多维度水质特征向量训练配置后的模型,使用Adam或SGD的优化器对权重进行更新,作为训练中的模型;
S304:对训练中的模型进行验证,使用验证集数据并应用如交叉熵损失函数进行性能评估,获取验证后的模型;
S305:采用验证后的模型,对多维度水质特征向量进行模式识别,获取初步水质模式识别结果。
首先,选择卷积神经网络作为模型架构,能够有效处理多维度特征向量的结构。卷积层可以捕捉特征之间的空间关系,而池化层可以降低数据维度并提取重要特征。这样可以有效地提取水质数据中的关键模式和特征。其次,通过设置合适的超参数,例如学习率和批次大小,以及进行模型初始化,可以调整模型的训练过程并提高模型的性能。使用Adam或SGD等优化器对模型的权重进行更新,使模型逐步学习和优化,以更准确地预测水质模式。在训练过程中,使用验证集数据和交叉熵损失函数等性能评估指标,可以对模型进行验证和评估。这样可以确保模型具有较好的泛化能力和准确性,提高初步模式识别结果的可靠性。最后,利用验证后的模型对多维度水质特征向量进行模式识别,可以得到初步的水质模式识别结果。深度学习算法能够通过学习大量数据中的模式和关联,自动提取水质特征之间的复杂依赖关系,从而实现高精度的模式识别。
请参阅图5,通过计算机视觉技术,从水样图像中提取关键特征,生成图像识别水质特征的步骤具体为:
S401:使用高分辨率摄像机获取原始水样图像;
S402:应用如高斯滤波或Canny边缘检测处理原始水样图像,生成处理后的图像;
S403:使用如SIFT或HOG算法对处理后的图像进行关键特征提取,获取图像中的关键特征;
S404:将图像中的关键特征通过特征提取与选择算法进行编码与整合,获取图像识别水质特征。
首先,使用高分辨率摄像机获取原始水样图像,能够捕捉水样的细节和特征。这提供了丰富的信息源,有助于准确地分析水质。其次,应用图像处理技术如高斯滤波或Canny边缘检测,可以提升图像的质量并突出水样的关键特征。这有助于消除图像中的噪声和干扰,使得后续特征提取更准确和可靠。使用SIFT(尺度不变特征变换)或HOG(方向梯度直方图)等算法对处理后的图像进行关键特征提取,能够捕捉到水样中的独特特征和结构。这些特征可以代表水质的某些属性,例如浑浊度、色度、污染物等。将图像中的关键特征通过特征提取与选择算法进行编码与整合,可以生成图像识别水质特征。这样的特征表示提供了一种直观、可视化的方式来描述水质状况,便于后续的分类、识别和分析。
请参阅图6,将初步水质模式识别结果与图像识别水质特征进行数据融合,得到融合后的水质模式识别结果的步骤具体为:
S501:采用加权方法作为选定的数据融合方法;
S502:使用选定的数据融合方法,应用于初步水质模式识别结果与图像识别水质特征,通过无监督的方式根据相似性或距离度量将其组合在一起,生成融合后的数据;
S503:对融合后的数据进行效果评估和验证,在交叉验证环境中,对融合结果进行性能的定量评价,获取融合后的水质模式识别结果。
首先,采用加权方法作为数据融合的选择,可以根据不同数据源的可靠性和重要性,为每个数据源分配适当的权重。这样可以更准确地将初步水质模式识别结果和图像识别水质特征进行结合,并提高融合后数据的质量和可信度。
其次,使用选定的数据融合方法,如基于相似性或距离的无监督方法,能够自动将初步水质模式识别结果和图像识别水质特征组合在一起。这样可以充分利用两个不同数据源的信息,互补彼此的优势,从而进一步提高水质模式识别的准确性和鲁棒性。对融合后的数据进行效果评估和验证是必要的。在交叉验证环境中,可以使用已知的水质标签或真实数据进行训练和验证。通过对融合结果进行性能的定量评价,可以直观地了解融合后的水质模式识别结果的准确性和可靠性。
请参阅图7,对水体的声音信号进行采集和处理,生成声学水质特征的步骤具体为:
S601:使用水下麦克风进行声音采集,获取原始声音信号;
S602:应用低通滤波器对原始声音信号进行噪声削减,获取处理后的声音信号;
S603:运用Mel频率倒谱系数方法对处理后的声音信号进行特征提取,得到声音中的关键特征;
S604:将声音中的关键特征通过特征提取与选择算法进行编码与整合,形成描述水体状态的声学特征向量,作为声学水质特征。
首先,使用水下麦克风进行声音采集能够捕捉到水体中的声音信号。声音信号携带了丰富的信息,可以反映水体的状态和特征,如水流动、生物活动等。其次,应用低通滤波器对原始声音信号进行噪声削减。这有助于消除采集过程中可能存在的环境噪声,提高后续处理的信噪比。通过滤波处理后的声音信号可以更好地突出水体的声音特征。使用Mel频率倒谱系数方法对处理后的声音信号进行特征提取可以获取声音中的关键特征。Mel频率刻画了人耳对声音的感知,倒谱系数则表示声音在频域上的包络。这些特征能够反映声音信号的频谱分布和能量分布,提供了刻画水体声学特征的重要依据。将声音中的关键特征通过特征提取与选择算法进行编码与整合可以形成描述水体状态的声学特征向量。这样的特征向量可以用于表示水体的声学特征,如噪声水平、声源活动等。它们为声学水质特征提供了一种客观、可量化的描述方式。
请参阅图8,采用机器学习算法,对融合后的水质模式识别结果和声学水质特征进行综合分析,输出综合水质评估报告的步骤具体为:
S701:将融合后的水质模式识别结果与声学水质特征合并成一个综合数据集;
S702:根据综合数据集的结构与需求,选择具体为支持向量机的机器学习模型,作为选定的模型架构二;
S703:使用综合数据集训练选定的模型架构二,设置超参数并进行交叉验证以优化模型性能,获取优化后模型;
S704:采用独立的测试数据集对优化后模型进行验证,获取最终优化模型;
S705:应用最终优化模型分析水质,并生成包含各种水质指标、评分和建议的综合水质评估报告。
首先,将融合后的水质模式识别结果和声学水质特征合并成一个综合数据集,能够综合利用两者的信息,提供更全面和准确的水质分析基础。其次,选择具体的机器学习模型,例如支持向量机(SVM),作为选定的模型架构二,能够处理多维数据集并拟合复杂的非线性关系。通过使用综合数据集训练选定的模型并进行交叉验证,可以优化模型的超参数,并提高模型的性能和泛化能力。在验证阶段,将优化后的模型应用于独立的测试数据集,可以评估模型的准确性和可靠性,获取最终优化的模型。这确保了模型对未见过的数据能够正确预测水质状况。最后,应用最终优化的模型对水质进行分析,并生成综合水质评估报告。该报告包含各种水质指标、评分和建议,能够提供对水体健康和环境状况的全面评估。通过机器学习算法的综合分析,可以量化水质指标、识别异常情况,并给出针对改善水质的具体建议和措施。
请参阅图9,根据综合水质评估报告,运用异常检测算法进行异常识别,并生成水质异常与预警信息的步骤具体为:
S801:根据综合水质评估报告,选择孤立森林异常检测算法,作为选定的异常检测算法;
S802:采用历史数据训练选定的异常检测算法,得到训练后的异常检测模型;
S803:应用训练后的异常检测模型在实时或近实时的综合水质评估报告上进行异常识别,生成水质异常与预警信息。
首先,选择孤立森林异常检测算法作为选定的异常检测算法,该算法适用于高维数据集和未标记的数据。它能够有效地识别出与其他样本差异较大的异常样本,而无需依赖于正常样本的分布。这使得孤立森林异常检测算法成为识别水质异常的合适选择。其次,使用历史数据对选定的异常检测算法进行训练,得到训练后的异常检测模型。通过训练模型,算法能够学习正常水质样本的特征,并建立一个基准来判断新的综合水质评估报告是否异常。应用训练后的异常检测模型在实时或近实时的综合水质评估报告上进行异常识别,从而生成水质异常与预警信息。该过程可以监测水质状况的变化,并及时识别出异常情况。生成的水质异常与预警信息可以提供给相关的管理部门或用户,以便采取必要的行动和措施,以保护水质和避免潜在的危害。
请参阅图10,基于水质异常与预警信息,采用智能推荐算法为管理部门提供优化建议,输出水质优化建议报告的步骤具体为:
S901:根据异常与预警信息,选用协同过滤推荐算法来提供优化建议;
S902:根据历史案例和现有数据训练协同过滤推荐算法,协同过滤推荐算法学习针对水质异常和预警的特征,建立训练后的推荐算法模型;
S903:应用训练后的推荐算法模型,结合异常与预警信息,输出水质优化建议报告,包括增加监测频率、改善环境因素或采取污染物处理方法;
S904:基于水质优化建议报告,使用图表、可视化工具提供可视化结果。
首先,选用协同过滤推荐算法可以基于相似性或相关性,利用历史案例和现有数据为管理部门提供个性化的优化建议。这种算法能够挖掘数据中的隐藏模式和关联关系,帮助发现水质异常与预警背后的潜在因素。其次,根据历史案例和现有数据训练协同过滤推荐算法,可以让推荐算法学习针对水质异常和预警的特征,并建立训练后的推荐算法模型。通过模型的训练,算法能够从大量的数据中提取出信息,并根据发现的模式和规律来提供优化建议。应用训练后的推荐算法模型,结合异常与预警信息,可以输出水质优化建议报告。该报告可以包括增加监测频率、改善环境因素或采取污染物处理方法等具体建议,以改善水质状况并降低潜在的风险和影响。这些优化建议是针对特定异常情况和预警触发条件而定制的,能够帮助管理部门及时采取行动,并制定相应的水资源管理策略。基于水质优化建议报告,可以使用图表、可视化工具等方式提供可视化结果。这些可视化结果可以帮助管理部门更直观地理解水质情况和优化建议,并支持决策过程。可视化的报告和结果使得水质优化建议更易于理解和传达,提升管理部门的决策效果和行动效率。
工作原理:
首先,选择适用的IoT硬件设备,并根据需求部署在合适的位置。这些设备可能包括各种水质传感器,如PH传感器、溶解氧传感器等。使用K-Means聚类算法确定最佳的传感器安装位置,并按照结果进行传感器的安装。
接下来,开始实时采集水质数据,并将原始数据上传至云端数据库或本地服务器。通过使用数据流处理工具,对实时数据进行处理,去除异常值和噪声,得到清洗后的数据。
清洗后的数据需要进行标准化和预处理,以生成一个水质数据集。这包括对数据进行统计描述和相关性分析,使用可视化工具生成数据探索报告。然后,使用机器学习算法评估和选择关键特征,得到关键特征列表。为了降低数据维度,可以使用降维算法生成多维度的水质特征向量。
利用深度学习的方法进行初步模式识别。选择适当的卷积神经网络模型架构,并进行超参数的设置。使用训练数据对模型进行训练和优化,然后使用验证数据评估模型的性能,并得到验证后的模型。使用验证后的模型对多维度水质特征向量进行初步模式识别,以获取初步的水质模式识别结果。
同时,利用计算机视觉技术进行图像识别水质特征的提取。使用高分辨率摄像机获取水样图像,并对图像进行预处理和特征提取,得到图像识别水质特征。
随后,将初步模式识别结果和图像识别水质特征进行数据融合。可以采用加权的方法将两者融合在一起,得到融合后的数据。对融合后的数据进行评估和验证,以获取融合后的水质模式识别结果。
此外,声学水质特征也可以进行提取。利用水下麦克风采集声音信号,并进行处理和特征提取,得到声学水质特征。
最后,将水质模式识别结果、声学水质特征和其他相关数据综合起来,生成一个综合的数据集。利用机器学习模型对综合数据集进行训练和验证,生成最终优化的模型。应用最终优化的模型来分析水质数据,并生成综合水质评估报告,其中包括各种水质指标、评分和建议。
同时,利用异常检测算法识别水质异常和预警信息,并根据异常与预警信息使用推荐算法为管理部门提供优化建议。这些建议可能包括监测频率增加、环境因素改善和污染物处理等。为了增强可理解性,可提供可视化结果,以更好地呈现水质优化建议的内容。
以上,仅是本发明的较佳实施例而已,并非对本发明作其他形式的限制,任何熟悉本专业的技术人员可能采用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其他领域,但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与改型,仍属于本发明技术方案的保护范围。

Claims (8)

1.基于AI的直饮水质量监测方法,其特征在于,包括以下步骤:
使用IoT设备和传感器进行水质基础数据收集,对所述水质基础数据进行预处理,包括数据清洗和标准化,生成预处理后的水质数据集;
应用特征工程方法,从所述预处理后的水质数据集中提取关键特征,生成多维度水质特征向量;
采用深度学习算法,对所述多维度水质特征向量进行初步模式识别,得到初步水质模式识别结果;
通过计算机视觉技术,从水样图像中提取关键特征,生成图像识别水质特征;
将所述初步水质模式识别结果与图像识别水质特征进行数据融合,得到融合后的水质模式识别结果;
对水体的声音信号进行采集和处理,生成声学水质特征;
采用机器学习算法,对所述融合后的水质模式识别结果和声学水质特征进行综合分析,输出综合水质评估报告;
根据所述综合水质评估报告,运用异常检测算法进行异常识别,并生成水质异常与预警信息;
基于所述水质异常与预警信息,采用智能推荐算法为管理部门提供优化建议,输出水质优化建议报告;
应用特征工程方法,从所述预处理后的水质数据集中提取关键特征,生成多维度水质特征向量的步骤具体为:
对所述预处理后的水质数据集进行描述性统计和相关性分析,采用Seaborn或Matplotlib生成可视化图表,作为数据探索报告;
依据所述数据探索报告,运用LASSO回归或随机森林算法进行特征重要性评估和选择,生成关键特征列表;
采用主成分分析算法对所述关键特征列表进行降维,并生成特征向量,整合作为多维度水质特征向量;
通过计算机视觉技术,从水样图像中提取关键特征,生成图像识别水质特征的步骤具体为:
使用高分辨率摄像机获取原始水样图像;
应用如高斯滤波或Canny边缘检测处理所述原始水样图像,生成处理后的图像;
使用如SIFT或HOG算法对处理后的图像进行关键特征提取,获取图像中的关键特征;
将所述图像中的关键特征通过特征提取与选择算法进行编码与整合,获取图像识别水质特征;
根据所述综合水质评估报告,运用异常检测算法进行异常识别,并生成水质异常与预警信息的步骤具体为:
根据所述综合水质评估报告,选择孤立森林异常检测算法,作为选定的异常检测算法;
基于所述水质异常与预警信息,采用智能推荐算法为管理部门提供优化建议,输出水质优化建议报告的步骤具体为:
根据所述异常与预警信息,选用协同过滤推荐算法来提供优化建议。
2.根据权利要求1所述的基于AI的直饮水质量监测方法,其特征在于,使用IoT设备和传感器进行水质基础数据收集,对所述水质基础数据进行预处理,包括数据清洗和标准化,生成预处理后的水质数据集的步骤具体为:
根据检测需求,选取满足IEEE 802.15.4标准的IoT硬件设备进行部署,生成设备部署清单;
依据所述设备部署清单,使用K-Means聚类算法确定最优传感器位置,并进行PH、浊度和有机物传感器的安装与配置,整合传感器配置记录;
根据所述传感器配置记录,运用MQTT协议进行实时水质数据的采集,获取原始水质数据;
将原始水质数据采用Apache Kafka进行实时数据流处理,并上传至云端数据库或本地服务器,作为存储数据集;
采用Tukey’s Fences算法从存储数据集中剔除异常值和噪声,获取清洗后的数据;
基于所述清洗后的数据,执行Z-score标准化,生成预处理后的水质数据集。
3.根据权利要求1所述的基于AI的直饮水质量监测方法,其特征在于,采用深度学习算法,对所述多维度水质特征向量进行初步模式识别,得到初步水质模式识别结果的步骤具体为:
根据多维度水质特征向量的结构,选择卷积神经网络作为选定的模型架构一;
根据所述选定的模型架构一,设置包括学习率、批次大小的超参数,并进行模型初始化,获取配置后的模型;
采用所述多维度水质特征向量训练配置后的模型,使用Adam或SGD的优化器对权重进行更新,作为训练中的模型;
对所述训练中的模型进行验证,使用验证集数据并应用如交叉熵损失函数进行性能评估,获取验证后的模型;
采用验证后的模型,对多维度水质特征向量进行模式识别,获取初步水质模式识别结果。
4.根据权利要求1所述的基于AI的直饮水质量监测方法,其特征在于,将所述初步水质模式识别结果与图像识别水质特征进行数据融合,得到融合后的水质模式识别结果的步骤具体为:
采用加权方法作为选定的数据融合方法;
使用所述选定的数据融合方法,应用于所述初步水质模式识别结果与图像识别水质特征,通过无监督的方式根据相似性或距离度量将其组合在一起,生成融合后的数据;
对所述融合后的数据进行效果评估和验证,在交叉验证环境中,对融合结果进行性能的定量评价,获取融合后的水质模式识别结果。
5.根据权利要求1所述的基于AI的直饮水质量监测方法,其特征在于,对水体的声音信号进行采集和处理,生成声学水质特征的步骤具体为:
使用水下麦克风进行声音采集,获取原始声音信号;
应用低通滤波器对所述原始声音信号进行噪声削减,获取处理后的声音信号;
运用Mel频率倒谱系数方法对处理后的声音信号进行特征提取,得到声音中的关键特征;
将所述声音中的关键特征通过特征提取与选择算法进行编码与整合,形成描述水体状态的声学特征向量,作为声学水质特征。
6.根据权利要求1所述的基于AI的直饮水质量监测方法,其特征在于,采用机器学习算法,对所述融合后的水质模式识别结果和声学水质特征进行综合分析,输出综合水质评估报告的步骤具体为:
将所述融合后的水质模式识别结果与声学水质特征合并成一个综合数据集;
根据所述综合数据集的结构与需求,选择具体为支持向量机的机器学习模型,作为选定的模型架构二;
使用综合数据集训练所述选定的模型架构二,设置超参数并进行交叉验证以优化模型性能,获取优化后模型;
采用独立的测试数据集对所述优化后模型进行验证,获取最终优化模型;
应用所述最终优化模型分析水质,并生成包含各种水质指标、评分和建议的综合水质评估报告。
7.根据权利要求1所述的基于AI的直饮水质量监测方法,其特征在于,根据所述综合水质评估报告,运用异常检测算法进行异常识别,并生成水质异常与预警信息的步骤具体为:
采用历史数据训练所述选定的异常检测算法,得到训练后的异常检测模型;
应用所述训练后的异常检测模型在实时或近实时的综合水质评估报告上进行异常识别,生成水质异常与预警信息。
8.根据权利要求1所述的基于AI的直饮水质量监测方法,其特征在于,基于所述水质异常与预警信息,采用智能推荐算法为管理部门提供优化建议,输出水质优化建议报告的步骤具体为:
根据历史案例和现有数据训练所述协同过滤推荐算法,所述协同过滤推荐算法学习针对水质异常和预警的特征,建立训练后的推荐算法模型;
应用所述训练后的推荐算法模型,结合异常与预警信息,输出水质优化建议报告,包括增加监测频率、改善环境因素或采取污染物处理方法;
基于所述水质优化建议报告,使用图表、可视化工具提供可视化结果。
CN202311106485.8A 2023-08-30 2023-08-30 基于ai的直饮水质量监测方法 Active CN117235661B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311106485.8A CN117235661B (zh) 2023-08-30 2023-08-30 基于ai的直饮水质量监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311106485.8A CN117235661B (zh) 2023-08-30 2023-08-30 基于ai的直饮水质量监测方法

Publications (2)

Publication Number Publication Date
CN117235661A CN117235661A (zh) 2023-12-15
CN117235661B true CN117235661B (zh) 2024-04-12

Family

ID=89090291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311106485.8A Active CN117235661B (zh) 2023-08-30 2023-08-30 基于ai的直饮水质量监测方法

Country Status (1)

Country Link
CN (1) CN117235661B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117592870B (zh) * 2024-01-19 2024-04-30 生态环境部环境规划院 基于水环境监测信息的综合分析系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106417143A (zh) * 2016-09-05 2017-02-22 华中农业大学 一种基于被动声学信息的淡水鱼品种识别装置和方法
CN108492323A (zh) * 2018-01-18 2018-09-04 天津大学 融合机器视觉与听觉的水下运动物体检测与识别方法
CN109599120A (zh) * 2018-12-25 2019-04-09 哈尔滨工程大学 一种基于大规模养殖场厂哺乳动物异常声音监测方法
CN111931631A (zh) * 2020-08-05 2020-11-13 成佃丰 基于bim和人工智能的猪饮用水检测成像方法
CN112634945A (zh) * 2020-12-15 2021-04-09 浙江和达科技股份有限公司 一种基于云平台的智能漏水声识别方法
CN114384015A (zh) * 2022-01-12 2022-04-22 中国环境科学研究院 一种基于多源遥感和机器学习的水环境监测方法
CN115293214A (zh) * 2022-08-17 2022-11-04 中国电子科技集团公司第五十四研究所 一种基于样本扩充网络的水声目标识别模型优化方法
CN115470850A (zh) * 2022-09-09 2022-12-13 大连理工大学 一种基于管网水质时空数据的水质异常事件识别预警方法
CN116451142A (zh) * 2023-06-09 2023-07-18 山东云泷水务环境科技有限公司 一种基于机器学习算法的水质传感器故障检测方法
CN116469276A (zh) * 2023-04-19 2023-07-21 深圳市数智海洋科技有限公司 水域安全预警方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019071384A1 (en) * 2017-10-09 2019-04-18 Bl Technologies, Inc. INTELLIGENT SYSTEMS AND METHODS FOR THE TREATMENT AND EVALUATION OF SANITATION DIAGNOSIS, DETECTION AND CONTROL OF ANOMALY IN WASTEWATER TREATMENT FACILITIES OR IN DRINKING WATER FACILITIES

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106417143A (zh) * 2016-09-05 2017-02-22 华中农业大学 一种基于被动声学信息的淡水鱼品种识别装置和方法
CN108492323A (zh) * 2018-01-18 2018-09-04 天津大学 融合机器视觉与听觉的水下运动物体检测与识别方法
CN109599120A (zh) * 2018-12-25 2019-04-09 哈尔滨工程大学 一种基于大规模养殖场厂哺乳动物异常声音监测方法
CN111931631A (zh) * 2020-08-05 2020-11-13 成佃丰 基于bim和人工智能的猪饮用水检测成像方法
CN112634945A (zh) * 2020-12-15 2021-04-09 浙江和达科技股份有限公司 一种基于云平台的智能漏水声识别方法
CN114384015A (zh) * 2022-01-12 2022-04-22 中国环境科学研究院 一种基于多源遥感和机器学习的水环境监测方法
CN115293214A (zh) * 2022-08-17 2022-11-04 中国电子科技集团公司第五十四研究所 一种基于样本扩充网络的水声目标识别模型优化方法
CN115470850A (zh) * 2022-09-09 2022-12-13 大连理工大学 一种基于管网水质时空数据的水质异常事件识别预警方法
CN116469276A (zh) * 2023-04-19 2023-07-21 深圳市数智海洋科技有限公司 水域安全预警方法、装置、设备及存储介质
CN116451142A (zh) * 2023-06-09 2023-07-18 山东云泷水务环境科技有限公司 一种基于机器学习算法的水质传感器故障检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Acoustic signature based discrimination of drinking water;R S Chouhan.et al;《IEEE》;20121231;全文 *
Underwater Acoustic Image Processing for Detection of Marine Debris;Naik, V.V .et al;《International Conference on Artificial Intelligence and Sustainable Engineering》;20221231;全文 *
基于水质-声音-视觉融合的循环水养殖鱼类摄食强度识别;胡学龙等;《农业工程学报》;20230531;第39卷(第10期);全文 *
水产养殖大数据技术研究进展与发展趋势分析;段青玲等;《农业机械学报》;20180625(第06期);全文 *

Also Published As

Publication number Publication date
CN117235661A (zh) 2023-12-15

Similar Documents

Publication Publication Date Title
CN110188836B (zh) 一种基于变分自编码器的脑功能网络分类方法
US8868985B2 (en) Supervised fault learning using rule-generated samples for machine condition monitoring
JP2022500745A (ja) 異常検出および/または予知保全のためのコンピュータ実装方法、コンピュータプログラム製品およびシステム
CN117235661B (zh) 基于ai的直饮水质量监测方法
CN109374631B (zh) 一种隧道状态评测方法
CN117196066A (zh) 智慧运维信息分析模型
Sethi et al. Soundscapes predict species occurrence in tropical forests
CN115798516B (zh) 一种可迁移的端到端声信号诊断方法及系统
CN117390499A (zh) 一种应用于食品农药残留检测的多样品检测系统
CN111125186B (zh) 一种基于调查问卷的数据处理方法及系统
CN116756688A (zh) 一种基于多模态融合算法的舆情风险发现方法
CN116740426A (zh) 一种功能磁共振影像的分类预测系统
Stracuzzi et al. Quantifying Uncertainty to Improve Decision Making in Machine Learning.
JP5137805B2 (ja) 検査システム及びその制御方法、コンピュータプログラム
CN116307765A (zh) 一种人工智能政务数据评审方法及系统
Chen et al. Hass: High accuracy spike sorting with wavelet package decomposition and mutual information
CN114490344A (zh) 一种基于机器学习和静态分析的软件集成测评方法
Smith et al. The CARMEN e-Science pilot project: Neuroinformatics work packages
Bashar et al. Algan: Time series anomaly detection with adjusted-lstm gan
CN113778733B (zh) 一种基于多尺度mass的日志序列异常检测方法
Liu et al. Deep Learning for Operating Performance Assessment of Industrial Processes with Layer Attention-Based Stacked Performance-Relevant Denoising Auto-Encoders
CN117345344B (zh) 一种矿井声电信号智能预测方法与系统
Codex Advancing Conservation Efforts: Integrating Citizen Science and Expert Knowledge for Monitoring and Classification of Range Dynamics in Marine Fishes
CN117093919A (zh) 基于深度学习的岩土工程地质灾害预测方法及系统
CN118053218A (zh) 计算机板卡的检测方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant