CN115598164B - 一种集成机器学习的土壤重金属浓度检测方法及系统 - Google Patents
一种集成机器学习的土壤重金属浓度检测方法及系统 Download PDFInfo
- Publication number
- CN115598164B CN115598164B CN202211601435.2A CN202211601435A CN115598164B CN 115598164 B CN115598164 B CN 115598164B CN 202211601435 A CN202211601435 A CN 202211601435A CN 115598164 B CN115598164 B CN 115598164B
- Authority
- CN
- China
- Prior art keywords
- target
- heavy metal
- correction
- result
- soil
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
- G01N23/223—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material by irradiating the sample with X-rays or gamma-rays and by measuring X-ray fluorescence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Chemical & Material Sciences (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Analytical Chemistry (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了一种集成机器学习的土壤重金属浓度检测方法及系统,涉及计算机应用技术领域,所述方法包括:得到目标光谱数据,其中包括多类重金属光谱数据;提取目标重金属光谱数据,预处理得到目标光谱处理结果;得到目标理化指标参数,其中包括多个理化指标的多个参数;筛选得到目标指标参数因素;依次训练得到支持向量机矫正模型、循环神经网络矫正模型、梯度提升决策树矫正模型,融合得到智能矫正模型;处理得到输出信息;得到重金属浓度检测结果。解决了现有技术中对土壤中重金属检测效率低、检测准确度不够的技术问题。达到了提高土壤中重金属检测的智能化程度,进而提高土壤中重金属检测效率,同时提高土壤中重金属检测精度的技术效果。
Description
技术领域
本发明涉及计算机应用技术领域,尤其涉及一种集成机器学习的土壤重金属浓度检测方法及系统。
背景技术
重金属是影响生态环境质量的重要污染物,因其持久性、毒性和生物累积放大作用等给生态系统和人类健康带来巨大威胁。其中,土壤重金属污染问题一直较为突出,示范性的如镉、铅、汞、铜、铬、砷、镍、铁、锰、锌等土壤重金属严重威胁食品安全、农业生产以及生态环境。此外,由于重金属污染物一旦进入环境介质中短期内难以被及时发现,因此,对土壤中的重金属种类及其污染程度进行快速准确的评估极为重要。现有技术中一般通过在现场采集样品后在实验室强酸高温进行提取,进而通过用大型台式仪器进行实验室分析,示范性的如原子吸收光谱仪、原子荧光光谱仪、电感耦合等离子体发射光谱仪等,存在前处理和测定过程繁琐、分析周期长,进而导致检测效率低的技术问题。此外,由于土壤理化性质,如温度、含水率、电导率等的影响,导致土壤重金属检测准确性不高,影响检测可靠性。因此,研究利用计算机技术对土壤中的重金属进行快速、准确的检测,具有重要意义。
然而,现有技术中通过化学分析法对土壤中重金属进行检测时存在检测效率低的问题,通过X射线荧光光谱法对土壤中重金属进行检测时,由于忽略土壤理化性质对荧光强度的影响,导致土壤重金属检测存在准确度不够的技术问题。
发明内容
本发明的目的是提供一种集成机器学习的土壤重金属浓度检测方法及系统,用以解决现有技术中通过化学分析法对土壤中重金属进行检测时存在检测效率低的问题,通过X射线荧光光谱法对土壤中重金属进行检测时,由于忽略土壤理化性质对荧光强度的影响,导致土壤重金属检测存在准确度不够的技术问题。
鉴于上述问题,本发明提供了一种集成机器学习的土壤重金属浓度检测方法及系统。
第一方面,本发明提供了一种集成机器学习的土壤重金属浓度检测方法,所述方法通过一种集成机器学习的土壤重金属浓度检测系统实现,其中,所述方法包括:通过能谱仪对目标土壤进行检测,得到目标光谱数据,其中,所述目标光谱数据包括多类重金属光谱数据;提取所述多类重金属光谱数据中的目标重金属光谱数据,并对所述目标重金属光谱数据进行预处理,得到目标光谱处理结果;通过理化指标仪对所述目标土壤进行检测,得到目标理化指标参数,其中,所述目标理化指标参数包括多个理化指标的多个参数;对所述多个理化指标的多个参数进行筛选,并根据筛选结果得到目标指标参数因素;依次训练得到支持向量机矫正模型、循环神经网络矫正模型、梯度提升决策树矫正模型,并利用集成学习方法原理进行融合得到智能矫正模型;将所述目标光谱处理结果与所述目标指标参数因素作为所述智能矫正模型的输入信息,处理得到所述智能矫正模型的输出信息;基于所述智能矫正模型的输出信息,得到所述目标土壤的重金属浓度检测结果。
第二方面,本发明还提供了一种集成机器学习的土壤重金属浓度检测系统,用于执行如第一方面所述的一种集成机器学习的土壤重金属浓度检测方法,其中,所述系统包括:检测获得模块,所述检测获得模块用于通过能谱仪对目标土壤进行检测,得到目标光谱数据,其中,所述目标光谱数据包括多类重金属光谱数据;处理获得模块,所述处理获得模块用于提取所述多类重金属光谱数据中的目标重金属光谱数据,并对所述目标重金属光谱数据进行预处理,得到目标光谱处理结果;矫正获得模块,所述矫正获得模块包括:检测模块,所述检测模块用于通过理化指标仪对所述目标土壤进行检测,得到目标理化指标参数,其中,所述目标理化指标参数包括多个理化指标的多个参数;筛选模块,所述筛选模块用于对所述多个理化指标的多个参数进行筛选,并根据筛选结果得到目标指标参数因素;训练模块,所述训练模块用于依次训练得到支持向量机矫正模型、循环神经网络矫正模型、梯度提升决策树矫正模型,并利用集成学习方法原理进行融合得到智能矫正模型;矫正模块,所述矫正模块用于将所述目标光谱处理结果与所述目标指标参数因素作为所述智能矫正模型的输入信息,处理得到所述智能矫正模型的输出信息;获得模块,所述获得模块用于基于所述智能矫正模型的输出信息,得到所述目标土壤的重金属浓度检测结果。
本发明中提供的一个或多个技术方案,至少具有如下技术效果或优点:
通过能谱仪对目标土壤进行检测,得到目标光谱数据,其中,所述目标光谱数据包括多类重金属光谱数据;提取所述多类重金属光谱数据中的目标重金属光谱数据,并对所述目标重金属光谱数据进行预处理,得到目标光谱处理结果;通过理化指标仪对所述目标土壤进行检测,得到目标理化指标参数,其中,所述目标理化指标参数包括多个理化指标的多个参数;对所述多个理化指标的多个参数进行筛选,并根据筛选结果得到目标指标参数因素;依次训练得到支持向量机矫正模型、循环神经网络矫正模型、梯度提升决策树矫正模型,并利用集成学习方法原理进行融合得到智能矫正模型;将所述目标光谱处理结果与所述目标指标参数因素作为所述智能矫正模型的输入信息,处理得到所述智能矫正模型的输出信息;基于所述智能矫正模型的输出信息,得到所述目标土壤的重金属浓度检测结果。通过利用能谱仪检测得到目标土壤的目标光谱数据,实现了对土壤中的重金属污染物进行快速直接检测的技术目标。通过对能谱仪检测到的目标光谱数据进行预处理,得到处理后的目标光谱处理结果,实现了为后续智能化矫正土壤重金属检测结果提供可靠、有效的矫正基础的技术目标。通过理化指标仪对目标土壤的各个理化指标进行数据监测采集,进而通过筛选确定目标指标参数因素,实现了为后续矫正土壤重金属检测结果提供矫正因素约束的技术目标。通过集成学习原理构建智能矫正模型,达到了为后续智能化矫正目标土壤的重金属检测结果提供模型基础的技术效果。通过智能矫正模型分析得到输出信息,进而确定重金属浓度检测结果,达到了提高土壤中重金属检测的智能化程度,进而提高土壤中重金属检测效率,同时通过智能矫正模型的自动化检测矫正,达到了提高土壤中重金属检测准确度和精密度的技术效果。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是示例性的,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明一种集成机器学习的土壤重金属浓度检测方法的流程示意图;
图2为本发明一种集成机器学习的土壤重金属浓度检测方法中得到目标光谱处理结果的流程示意图;
图3为本发明一种集成机器学习的土壤重金属浓度检测方法中得到第一预处理结果的流程示意图;
图4为本发明一种集成机器学习的土壤重金属浓度检测方法中利用集成学习方法原理进行融合得到智能矫正模型的流程示意图;
图5为本发明一种集成机器学习的土壤重金属浓度检测系统的结构示意图。
附图标记说明:
检测获得模块M100,处理获得模块M200,矫正获得模块M300,检测模块M310,筛选模块M320,训练模块M330,矫正模块M340,获得模块M350。
具体实施方式
本发明通过提供一种集成机器学习的土壤重金属浓度检测方法及系统,解决了现有技术中通过化学分析法对土壤中重金属进行检测时存在检测效率低的问题,通过X射线荧光光谱法对土壤中重金属进行检测时,由于忽略土壤理化性质对荧光强度的影响,导致土壤重金属检测存在准确度不够的技术问题。达到了提高土壤中重金属检测的智能化程度,进而提高土壤中重金属检测效率,同时提高土壤中重金属检测精度的技术效果。
本发明技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
下面,将参考附图对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部。
实施例一
请参阅附图1,本发明提供了一种集成机器学习的土壤重金属浓度检测方法,其中,所述方法应用于土壤重金属浓度检测系统,所述土壤重金属浓度检测系统与能谱仪、理化指标仪通信连接,所述方法具体包括如下步骤:
步骤S100:通过所述能谱仪对目标土壤进行检测,得到目标光谱数据,其中,所述目标光谱数据包括多类重金属光谱数据;
具体而言,所述一种集成机器学习的土壤重金属浓度检测方法应用于所述一种集成机器学习的土壤重金属浓度检测系统,可以有效提高土壤中重金属浓度的检测效率和检测精度。通过与所述土壤重金属浓度检测系统通信连接的能谱仪,可以直接检测得到所述目标土壤中的重金属种类及其浓度数据,即得到所述目标光谱数据。其中,所述能谱仪是指基于X射线荧光光谱法检测原理设计制造的用于对土壤中的重金属进行智能检测的设备。所述目标土壤是指待通过所述土壤重金属浓度检测系统进行重金属种类及其含量检测的任意一块土壤。通过所述能谱仪检测得到的所述目标光谱数据包括多类重金属光谱数据。示范性的如镉、铅、汞、铜、铬、砷、镍、铁、锰、锌等土壤重金属的光谱数据。
通过利用能谱仪检测得到目标土壤的目标光谱数据,达到了提高土壤重金属检测效率的技术效果,实现了对土壤中的重金属污染物进行快速直接检测的技术目标,所述能谱仪将检测到的目标光谱数据实时传输至所述土壤重金属浓度检测系统,达到了为后续对土壤重金属检测结果进行智能矫正提供基础的技术效果。
步骤S200:提取所述多类重金属光谱数据中的目标重金属光谱数据,并对所述目标重金属光谱数据进行预处理,得到目标光谱处理结果;
进一步的,如附图2所示,本发明步骤S200还包括:
步骤S210:构建光谱预处理模型,其中,所述光谱预处理模型包括第一光谱预处理层、第二光谱预处理层、第三光谱预处理层;
步骤S220:通过所述第一光谱预处理层对所述目标重金属光谱数据进行异常数据剔除,得到第一预处理结果;
进一步的,如附图3所示,本发明步骤S220还包括:
步骤S221:基于所述目标重金属光谱数据,得到目标重金属的多个光谱数据;
步骤S222:利用箱型图原理对所述多个光谱数据进行位置划分,得到光谱数据位置划分结果;
步骤S223:获得预设异常数据位置;
步骤S224:基于所述预设异常数据位置对所述光谱数据位置划分结果进行遍历,并根据遍历结果得到目标光谱异常数据;
步骤S225:将所述目标光谱异常数据从所述目标重金属光谱数据进行剔除,得到所述第一预处理结果。
步骤S230:通过所述第二光谱预处理层对所述第一预处理结果进行降噪平滑处理,得到第二预处理结果;
步骤S240:通过所述第三光谱预处理层对所述第二预处理结果进行本底扣除处理,得到第三预处理结果;
步骤S250:将所述第三预处理结果作为所述目标光谱处理结果。
具体而言,在通过所述能谱仪检测得到目标土壤中含有的所述多类重金属光谱数据后,提取所述多类重金属光谱数据中的目标重金属光谱数据。其中,所述目标重金属光谱数据是指所述目标土壤中含有的任意一类重金属的光谱数据,示范性的如锌光谱数据。接着,对所述目标重金属光谱数据进行预处理得到所述目标光谱处理结果。
首先构建光谱预处理模型,其中,所述光谱预处理模型是指用于对所述目标重金属光谱数据进行预处理的智能模型,所述光谱预处理模型包括第一光谱预处理层、第二光谱预处理层、第三光谱预处理层。然后,通过所述第一光谱预处理层对所述目标重金属光谱数据进行异常数据剔除,得到所述目标重金属光谱数据剔除异常数据后的所述第一预处理结果。具体来说,先根据所述目标重金属光谱数据得到目标重金属的多个光谱数据,然后利用箱型图原理对所述多个光谱数据进行位置划分,得到光谱数据位置划分结果。其中,所述光谱数据位置划分结果是指基于箱型图原理,将超过箱形图上边缘和下边缘的数据划分为一组,将在上边缘与上四分位数之间和下四分位数和下边缘之间的数据划分为一组,将上四分位数与中位数之间和中位数与下四分位数之间的数据划分为一组。其中,将超过箱形图上边缘和下边缘的数据作为预设异常数据位置,也就是说,将超过箱形图上边缘和下边缘的数据作为极端异常数据,即将所述目标光谱异常数据从所述目标重金属光谱数据进行剔除,即得到所述第一预处理结果。
进一步的,通过所述光谱预处理模型的所述第二光谱预处理层对所述第一预处理结果进行降噪平滑处理,示范性的如Savitz ky-Golay卷积平滑法、Kernel1平滑法、小波阈值去噪法等平滑算法。通过降噪平滑处理,降低了数据采集和脉冲信号处理过程中的噪声干扰,处理后得到的结果即为所述第二预处理结果。再进一步的,通过所述光谱预处理模型的所述第三光谱预处理层对所述第二预处理结果进行本底扣除处理。其中,光谱本底由宇宙中射线以及周围环境中的辐射等导致,会对检测精度产生极大影响。通过本底扣除处理即得到第三预处理结果,最后,将所述第三预处理结果作为所述目标光谱处理结果。通过对能谱仪检测到的目标光谱数据进行预处理,得到处理后的目标光谱处理结果,实现了为后续智能化矫正土壤重金属检测结果提供可靠、有效的矫正基础的技术目标。
步骤S300:通过所述理化指标仪对所述目标土壤进行检测,得到目标理化指标参数,其中,所述目标理化指标参数包括多个理化指标的多个参数;
步骤S400:对所述多个理化指标的多个参数进行筛选,并根据筛选结果得到目标指标参数因素;
进一步的,本发明步骤S400还包括:
步骤S410:提取所述多个理化指标中的目标理化指标,并匹配得到所述目标理化指标的目标参数;
步骤S420:获得所述目标理化指标的目标参数阈值;
步骤S430:判断所述目标参数是否满足所述目标参数阈值;
步骤S440:若是,将所述目标理化指标添加至所述目标指标参数因素。
具体而言,通过与所述土壤重金属浓度检测系统通信相连的所述理化指标仪对所述目标土壤进行检测,得到所述目标土壤的各项理化指标检测数据,即所述目标理化指标参数,其中,所述目标理化指标参数包括多个理化指标的多个参数,示范性的如土壤含水率、电导率、PH等理化指标的检测参数。接着,对所述多个理化指标的多个参数进行筛选,并根据筛选结果得到目标指标参数因素。其中,所述目标指标参数因素是指会对所述目标土壤的重金属检测结果产生较大影响的理化指标及其检测参数。
首先提取所述多个理化指标中的目标理化指标,其中,所述目标理化指标是指所述多个理化指标中的任意一个理化指标,然后匹配得到所述目标理化指标的目标参数。然后获得所述目标理化指标的目标参数阈值,示范性的如利用专家分析法或者结合历史检测经验等确定会对土壤重金属检测结果产生较大影响的理化指标的数值范围。示范性的如土壤PH值超过10会对该土壤重金属检测结果产生影响,则将PH值大于10作为理化指标PH的目标参数阈值。接着,判断所述目标参数是否满足所述目标参数阈值,若判断结果显示所述目标参数满足所述目标参数阈值,则系统自动将所述目标理化指标添加至所述目标指标参数因素。若判断结果显示所述目标参数不满足所述目标参数阈值,则说明所述目标土壤的所述理化指标实际参数不会对其重金属检测结果产生重大影响,因此不将该指标考虑进矫正约束条件中,达到提高系统矫正效率和整体运行性能的技术效果。
步骤S500:依次训练得到支持向量机矫正模型、循环神经网络矫正模型、梯度提升决策树矫正模型,并利用集成学习方法原理进行融合得到智能矫正模型;
进一步的,本发明步骤S500还包括:
步骤S510:基于算法原理分析组建单矫正模型集,其中,所述单矫正模型集包括支持向量机、循环神经网络、梯度提升决策树;
步骤S520:获得多个土壤样本,对所述多个土壤样本依次进行数据采集,并根据数据采集结果组建模型训练数据集;
步骤S530:其中,所述模型训练数据集包括所述多个土壤样本中各个土壤样本的光谱处理结果、指标参数因素、重金属浓度检测结果标识;
步骤S540:基于所述模型训练数据集依次对所述支持向量机、所述循环神经网络、所述梯度提升决策树进行训练,分别得到支持向量机矫正模型、循环神经网络矫正模型、梯度提升决策树矫正模型。
进一步的,如附图4所示,本发明还包括如下步骤:
步骤S551:基于所述支持向量机矫正模型、所述循环神经网络矫正模型、所述梯度提升决策树矫正模型,并结合集成学习方法原理进行模型搭建,得到多个集成矫正模型;
步骤S552:依次基于所述多个集成矫正模型,对所述模型训练数据集进行矫正分析,得到多个矫正结果;
进一步的,本发明还包括如下步骤:
步骤S5521:提取所述多个集成矫正模型中任意一个集成矫正模型;
步骤S5522:获得所述任意一个集成矫正模型的初级学习器、元学习器;
步骤S5523:通过所述初级学习器对所述模型训练数据集进行矫正,得到初级矫正结果;
步骤S5524:将所述初级矫正结果作为所述元学习器的输入信息,处理得到所述元学习器的输出信息;
步骤S5525:基于所述元学习器的输出信息,得到所述任意一个集成矫正模型的矫正结果。
步骤S553:将所述多个矫正结果依次与所述重金属浓度检测结果标识进行对比分析,并根据对比分析结果计算得到多个目标矫正偏差;
步骤S554:筛选所述多个目标矫正偏差中的最小矫正偏差,并反向匹配所述最小矫正偏差的集成矫正模型,作为所述智能矫正模型。
步骤S600:将所述目标光谱处理结果与所述目标指标参数因素作为所述智能矫正模型的输入信息,处理得到所述智能矫正模型的输出信息;
步骤S700:基于所述智能矫正模型的输出信息,得到所述目标土壤的重金属浓度检测结果。
具体而言,为了实现多方面、多角度地全面分析和研究数据,将不同模型的性能取长补短,集成学习方法应运而生。集成学习是就通过组合多种模型来提高机器学习模型训练的效果,与单一的模型相比,这种方法能够产生更好的预测性能。
首先基于算法原理分析组建单矫正模型集,其中,所述单矫正模型集包括支持向量机、循环神经网络、梯度提升决策树。也就是说,选择三个不同的学习训练机理,依次训练得到支持向量机矫正模型、循环神经网络矫正模型、梯度提升决策树矫正模型。然后,采集得到多个土壤样本,并对所述多个土壤样本依次进行数据采集,进而根据数据采集结果组建模型训练数据集。其中,所述模型训练数据集包括所述多个土壤样本中各个土壤样本的光谱处理结果、指标参数因素、重金属浓度检测结果标识。也就是说,依次能谱仪依次对各个土壤样本进行重金属检测,并对检测结果预处理得到光谱处理结果,进而依次分析各个土壤样本中,会对其土壤重金属检测结果产生影响的土壤理化指标,从而分别得到各个土壤样本的指标参数因素,最后通过实验室检测等确定各个土壤样本的重金属浓度检测结果,并反向标记至对应的土壤样本上,即得到重金属浓度检测结果标识。最后,基于所述模型训练数据集依次对所述支持向量机、所述循环神经网络、所述梯度提升决策树进行训练,分别得到支持向量机矫正模型、循环神经网络矫正模型、梯度提升决策树矫正模型。
进一步的,基于集成学习将所述支持向量机矫正模型、循环神经网络矫正模型、梯度提升决策树矫正模型基于一定的结合策略进行融合,集成学习是就通过组合多种模型来提高机器学习模型训练的效果,与单一的模型相比,这种方法能够产生更好的预测性能,可分别将所述支持向量机矫正模型、循环神经网络矫正模型、梯度提升决策树矫正模型中其一作为Stacking框架第二层的元学习器确定三种集成预测模型。即分别将所述支持向量机矫正模型、循环神经网络矫正模型、梯度提升决策树矫正模型作为Stacking框架第二层的元学习器,剩余两个作为Stacking框架第一层的初级学习器。即搭建得到多个集成矫正模型。
进一步的,依次基于所述多个集成矫正模型,对所述模型训练数据集进行矫正分析,得到多个矫正结果。首先提取所述多个集成矫正模型中任意一个集成矫正模型,并获得所述任意一个集成矫正模型的初级学习器、元学习器。然后通过所述初级学习器对所述模型训练数据集进行矫正,得到初级矫正结果,进而将所述初级矫正结果作为所述元学习器的输入信息,处理得到所述元学习器的输出信息。最后基于所述元学习器的输出信息,得到所述任意一个集成矫正模型的矫正结果,最终得到所述多个集成矫正模型的多个矫正结果。接下来,将所述多个矫正结果依次与所述重金属浓度检测结果标识进行对比分析,并根据对比分析结果计算得到多个目标矫正偏差。示范性的如依次计算各个重金属的检测偏差程度,并取绝对值后进行相加。然后筛选所述多个目标矫正偏差中的最小矫正偏差,并反向匹配所述最小矫正偏差的集成矫正模型,作为所述智能矫正模型。也就是说,将矫正后的结果与土壤重金属的实际检测结果偏差最小的模型作为最终的智能矫正模型。
再进一步的,将所述目标光谱处理结果与所述目标指标参数因素作为所述智能矫正模型的输入信息,处理得到所述智能矫正模型的输出信息,基于所述智能矫正模型的输出信息,得到所述目标土壤的重金属浓度检测结果。基于所述模型数据集对组建的三种集成矫正模型进行训练与预测,通过进行矫正结果比对确定精准度最高、偏差最小的矫正结果,进而确定所述最佳矫正结果对应的集成矫正模型,将该集成矫正模型作为最终确定的所述智能矫正模型,进而基于所述智能矫正模型对目标土壤的所述目标光谱处理结果与所述目标指标参数因素进行智能化的矫正分析,得到输出信息,即得到所述目标土壤的重金属浓度检测结果。通过进行模型融合将不同模型的性能取长补短,实现多方面、多角度地全面分析和数据研究。
综上所述,本发明所提供的一种集成机器学习的土壤重金属浓度检测方法具有如下技术效果:
通过能谱仪对目标土壤进行检测,得到目标光谱数据,其中,所述目标光谱数据包括多类重金属光谱数据;提取所述多类重金属光谱数据中的目标重金属光谱数据,并对所述目标重金属光谱数据进行预处理,得到目标光谱处理结果;通过理化指标仪对所述目标土壤进行检测,得到目标理化指标参数,其中,所述目标理化指标参数包括多个理化指标的多个参数;对所述多个理化指标的多个参数进行筛选,并根据筛选结果得到目标指标参数因素;依次训练得到支持向量机矫正模型、循环神经网络矫正模型、梯度提升决策树矫正模型,并利用集成学习方法原理进行融合得到智能矫正模型;将所述目标光谱处理结果与所述目标指标参数因素作为所述智能矫正模型的输入信息,处理得到所述智能矫正模型的输出信息;基于所述智能矫正模型的输出信息,得到所述目标土壤的重金属浓度检测结果。通过利用能谱仪检测得到目标土壤的目标光谱数据,实现了对土壤中的重金属污染物进行快速直接检测的技术目标。通过对能谱仪检测到的目标光谱数据进行预处理,得到处理后的目标光谱处理结果,实现了为后续智能化矫正土壤重金属检测结果提供可靠、有效的矫正基础的技术目标。通过理化指标仪对目标土壤的各个理化指标进行数据监测采集,进而通过筛选确定目标指标参数因素,实现了为后续矫正土壤重金属检测结果提供矫正因素约束的技术目标。通过集成学习原理构建智能矫正模型,达到了为后续智能化矫正目标土壤的重金属检测结果提供模型基础的技术效果。通过智能矫正模型分析得到输出信息,进而确定重金属浓度检测结果,达到了提高土壤中重金属检测的智能化程度,进而提高土壤中重金属检测效率,同时通过智能矫正模型的自动化检测矫正,达到了提高土壤中重金属检测准确度和精密度的技术效果。
实施例二
基于与前述实施例中一种集成机器学习的土壤重金属浓度检测方法,同样发明构思,本发明还提供了一种集成机器学习的土壤重金属浓度检测系统,请参阅附图5,所述系统包括:
检测获得模块M100,所述检测获得模块M100用于通过能谱仪对目标土壤进行检测,得到目标光谱数据,其中,所述目标光谱数据包括多类重金属光谱数据;
处理获得模块M200,所述处理获得模块M200用于提取所述多类重金属光谱数据中的目标重金属光谱数据,并对所述目标重金属光谱数据进行预处理,得到目标光谱处理结果;
矫正获得模块M300,所述矫正获得模块M300包括:
检测模块M310,所述检测模块M310用于通过理化指标仪对所述目标土壤进行检测,得到目标理化指标参数,其中,所述目标理化指标参数包括多个理化指标的多个参数;
筛选模块M320,所述筛选模块M320用于对所述多个理化指标的多个参数进行筛选,并根据筛选结果得到目标指标参数因素;
训练模块M330,所述训练模块M330用于依次训练得到支持向量机矫正模型、循环神经网络矫正模型、梯度提升决策树矫正模型,并利用集成学习方法原理进行融合得到智能矫正模型;
矫正模块M340,所述矫正模块M340用于将所述目标光谱处理结果与所述目标指标参数因素作为所述智能矫正模型的输入信息,处理得到所述智能矫正模型的输出信息;
获得模块M350,所述获得模块M350用于基于所述智能矫正模型的输出信息,得到所述目标土壤的重金属浓度检测结果。
进一步的,所述系统中的所述处理获得模块M200还用于:
构建光谱预处理模型,其中,所述光谱预处理模型包括第一光谱预处理层、第二光谱预处理层、第三光谱预处理层;
通过所述第一光谱预处理层对所述目标重金属光谱数据进行异常数据剔除,得到第一预处理结果;
通过所述第二光谱预处理层对所述第一预处理结果进行降噪平滑处理,得到第二预处理结果;
通过所述第三光谱预处理层对所述第二预处理结果进行本底扣除处理,得到第三预处理结果;
将所述第三预处理结果作为所述目标光谱处理结果。
进一步的,所述系统中的所述处理获得模块M200还用于:
基于所述目标重金属光谱数据,得到目标重金属的多个光谱数据;
利用箱型图原理对所述多个光谱数据进行位置划分,得到光谱数据位置划分结果;
获得预设异常数据位置;
基于所述预设异常数据位置对所述光谱数据位置划分结果进行遍历,并根据遍历结果得到目标光谱异常数据;
将所述目标光谱异常数据从所述目标重金属光谱数据进行剔除,得到所述第一预处理结果。
进一步的,所述系统中的所述筛选模块M320还用于:
提取所述多个理化指标中的目标理化指标,并匹配得到所述目标理化指标的目标参数;
获得所述目标理化指标的目标参数阈值;
判断所述目标参数是否满足所述目标参数阈值;
若是,将所述目标理化指标添加至所述目标指标参数因素。
进一步的,所述系统中的所述训练模块M330还用于:
基于算法原理分析组建单矫正模型集,其中,所述单矫正模型集包括支持向量机、循环神经网络、梯度提升决策树;
获得多个土壤样本,对所述多个土壤样本依次进行数据采集,并根据数据采集结果组建模型训练数据集;
其中,所述模型训练数据集包括所述多个土壤样本中各个土壤样本的光谱处理结果、指标参数因素、重金属浓度检测结果标识;
基于所述模型训练数据集依次对所述支持向量机、所述循环神经网络、所述梯度提升决策树进行训练,分别得到支持向量机矫正模型、循环神经网络矫正模型、梯度提升决策树矫正模型。
进一步的,所述系统中的所述训练模块M330还用于:
基于所述支持向量机矫正模型、所述循环神经网络矫正模型、所述梯度提升决策树矫正模型,并结合集成学习方法原理进行模型搭建,得到多个集成矫正模型;
依次基于所述多个集成矫正模型,对所述模型训练数据集进行矫正分析,得到多个矫正结果;
将所述多个矫正结果依次与所述重金属浓度检测结果标识进行对比分析,并根据对比分析结果计算得到多个目标矫正偏差;
筛选所述多个目标矫正偏差中的最小矫正偏差,并反向匹配所述最小矫正偏差的集成矫正模型,作为所述智能矫正模型。
进一步的,所述系统中的所述训练模块M330还用于:
提取所述多个集成矫正模型中任意一个集成矫正模型;
获得所述任意一个集成矫正模型的初级学习器、元学习器;
通过所述初级学习器对所述模型训练数据集进行矫正,得到初级矫正结果;
将所述初级矫正结果作为所述元学习器的输入信息,处理得到所述元学习器的输出信息;
基于所述元学习器的输出信息,得到所述任意一个集成矫正模型的矫正结果。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,前述图1实施例一中的一种集成机器学习的土壤重金属浓度检测方法和具体实例同样适用于本实施例的一种集成机器学习的土壤重金属浓度检测系统,通过前述对一种集成机器学习的土壤重金属浓度检测方法的详细描述,本领域技术人员可以清楚的知道本实施例中一种集成机器学习的土壤重金属浓度检测系统,所以为了说明书的简洁,在此不再详述。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (5)
1.一种集成机器学习的土壤重金属浓度检测方法,其特征在于,所述土壤重金属浓度检测方法应用于土壤重金属浓度检测系统,所述土壤重金属浓度检测系统与能谱仪、理化指标仪通信连接,包括:
通过所述能谱仪对目标土壤进行检测,得到目标光谱数据,其中,所述目标光谱数据包括多类重金属光谱数据;
提取所述多类重金属光谱数据中的目标重金属光谱数据,并对所述目标重金属光谱数据进行预处理,得到目标光谱处理结果;
通过所述理化指标仪对所述目标土壤进行检测,得到目标理化指标参数,其中,所述目标理化指标参数包括多个理化指标的多个参数;
对所述多个理化指标的多个参数进行筛选,并根据筛选结果得到目标指标参数因素;
依次训练得到支持向量机矫正模型、循环神经网络矫正模型、梯度提升决策树矫正模型,并利用集成学习方法原理进行融合得到智能矫正模型;
将所述目标光谱处理结果与所述目标指标参数因素作为所述智能矫正模型的输入信息,处理得到所述智能矫正模型的输出信息;
基于所述智能矫正模型的输出信息,得到所述目标土壤的重金属浓度检测结果;
所述依次训练得到支持向量机矫正模型、循环神经网络矫正模型、梯度提升决策树矫正模型,包括:
基于算法原理分析组建单矫正模型集,其中,所述单矫正模型集包括支持向量机、循环神经网络、梯度提升决策树;
获得多个土壤样本,对所述多个土壤样本依次进行数据采集,并根据数据采集结果组建模型训练数据集;
其中,所述模型训练数据集包括所述多个土壤样本中各个土壤样本的光谱处理结果、指标参数因素、重金属浓度检测结果标识;
基于所述模型训练数据集依次对所述支持向量机、所述循环神经网络、所述梯度提升决策树进行训练,分别得到支持向量机矫正模型、循环神经网络矫正模型、梯度提升决策树矫正模型;
基于所述支持向量机矫正模型、所述循环神经网络矫正模型、所述梯度提升决策树矫正模型,并结合集成学习方法原理进行模型搭建,得到多个集成矫正模型;
依次基于所述多个集成矫正模型,对所述模型训练数据集进行矫正分析,得到多个矫正结果;
将所述多个矫正结果依次与所述重金属浓度检测结果标识进行对比分析,并根据对比分析结果计算得到多个目标矫正偏差;
筛选所述多个目标矫正偏差中的最小矫正偏差,并反向匹配所述最小矫正偏差的集成矫正模型,作为所述智能矫正模型;
所述依次基于所述多个集成矫正模型,对所述模型训练数据集进行矫正分析,得到多个矫正结果,包括:
提取所述多个集成矫正模型中任意一个集成矫正模型;
获得所述任意一个集成矫正模型的初级学习器、元学习器;
通过所述初级学习器对所述模型训练数据集进行矫正,得到初级矫正结果;
将所述初级矫正结果作为所述元学习器的输入信息,处理得到所述元学习器的输出信息;
基于所述元学习器的输出信息,得到所述任意一个集成矫正模型的矫正结果。
2.根据权利要求1所述的方法,其特征在于,所述提取所述多类重金属光谱数据中的目标重金属光谱数据,并对所述目标重金属光谱数据进行预处理,得到目标光谱处理结果,包括:
构建光谱预处理模型,其中,所述光谱预处理模型包括第一光谱预处理层、第二光谱预处理层、第三光谱预处理层;
通过所述第一光谱预处理层对所述目标重金属光谱数据进行异常数据剔除,得到第一预处理结果;
通过所述第二光谱预处理层对所述第一预处理结果进行降噪平滑处理,得到第二预处理结果;
通过所述第三光谱预处理层对所述第二预处理结果进行本底扣除处理,得到第三预处理结果;
将所述第三预处理结果作为所述目标光谱处理结果。
3.根据权利要求2所述的方法,其特征在于,所述通过所述第一光谱预处理层对所述目标重金属光谱数据进行异常数据剔除,得到第一预处理结果,包括:
基于所述目标重金属光谱数据,得到目标重金属的多个光谱数据;
利用箱型图原理对所述多个光谱数据进行位置划分,得到光谱数据位置划分结果;
获得预设异常数据位置;
基于所述预设异常数据位置对所述光谱数据位置划分结果进行遍历,并根据遍历结果得到目标光谱异常数据;
将所述目标光谱异常数据从所述目标重金属光谱数据进行剔除,得到所述第一预处理结果。
4.根据权利要求1所述的方法,其特征在于,所述对所述多个理化指标的多个参数进行筛选,并根据筛选结果得到目标指标参数因素,包括:
提取所述多个理化指标中的目标理化指标,并匹配得到所述目标理化指标的目标参数;
获得所述目标理化指标的目标参数阈值;
判断所述目标参数是否满足所述目标参数阈值;
若是,将所述目标理化指标添加至所述目标指标参数因素。
5.一种实现权利要求1-4中任一项所述方法的集成机器学习的土壤重金属浓度检测系统,其特征在于,包括:
检测获得模块,所述检测获得模块用于通过能谱仪对目标土壤进行检测,得到目标光谱数据,其中,所述目标光谱数据包括多类重金属光谱数据;
处理获得模块,所述处理获得模块用于提取所述多类重金属光谱数据中的目标重金属光谱数据,并对所述目标重金属光谱数据进行预处理,得到目标光谱处理结果;
矫正获得模块,所述矫正获得模块包括:
检测模块,所述检测模块用于通过理化指标仪对所述目标土壤进行检测,得到目标理化指标参数,其中,所述目标理化指标参数包括多个理化指标的多个参数;
筛选模块,所述筛选模块用于对所述多个理化指标的多个参数进行筛选,并根据筛选结果得到目标指标参数因素;
训练模块,所述训练模块用于依次训练得到支持向量机矫正模型、循环神经网络矫正模型、梯度提升决策树矫正模型,并利用集成学习方法原理进行融合得到智能矫正模型;
矫正模块,所述矫正模块用于将所述目标光谱处理结果与所述目标指标参数因素作为所述智能矫正模型的输入信息,处理得到所述智能矫正模型的输出信息;
获得模块,所述获得模块用于基于所述智能矫正模型的输出信息,得到所述目标土壤的重金属浓度检测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211601435.2A CN115598164B (zh) | 2022-12-14 | 2022-12-14 | 一种集成机器学习的土壤重金属浓度检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211601435.2A CN115598164B (zh) | 2022-12-14 | 2022-12-14 | 一种集成机器学习的土壤重金属浓度检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115598164A CN115598164A (zh) | 2023-01-13 |
CN115598164B true CN115598164B (zh) | 2023-04-07 |
Family
ID=84853828
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211601435.2A Active CN115598164B (zh) | 2022-12-14 | 2022-12-14 | 一种集成机器学习的土壤重金属浓度检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115598164B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115879061B (zh) * | 2023-02-22 | 2023-07-25 | 武汉正元环境科技股份有限公司 | 一种重金属检测方法与装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200349161A1 (en) * | 2019-04-30 | 2020-11-05 | Microsoft Technology Licensing, Llc | Learned resource consumption model for optimizing big data queries |
WO2022221719A2 (en) * | 2021-04-16 | 2022-10-20 | Strong Force Vcn Portfolio 2019, Llc | Systems, methods, kits, and apparatuses for digital product network systems and biology-based value chain networks |
CN113297904B (zh) * | 2021-04-16 | 2023-11-21 | 广州市华南自然资源科学技术研究院 | 一种基于卫星驱动模型的高寒草地生物量估算方法及系统 |
CN115236005A (zh) * | 2022-07-13 | 2022-10-25 | 河南理工大学 | 一种融合光谱和空间特征的土壤重金属含量反演方法 |
CN115345076B (zh) * | 2022-08-19 | 2023-09-12 | 清华大学 | 一种风速订正处理方法及装置 |
CN115436572B (zh) * | 2022-08-30 | 2023-06-06 | 南京云创大数据科技股份有限公司 | 一种基于循环神经网络的传感器校准方法及装置 |
-
2022
- 2022-12-14 CN CN202211601435.2A patent/CN115598164B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN115598164A (zh) | 2023-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108665119B (zh) | 一种供水管网异常工况预警方法 | |
CN109187392B (zh) | 一种基于分区建模的锌液痕量金属离子浓度预测方法 | |
CN115598164B (zh) | 一种集成机器学习的土壤重金属浓度检测方法及系统 | |
CN113011478A (zh) | 基于数据融合的污染源识别方法及系统 | |
CN109633094B (zh) | 一种臭气浓度在线监测方法 | |
CN115423163A (zh) | 一种流域短期洪水事件预测方法、装置及终端设备 | |
CN114821296A (zh) | 地下病害探地雷达图像识别方法、系统、存储介质及终端 | |
CN109669017B (zh) | 基于深度学习的炼厂蒸馏塔顶切水离子浓度预测方法 | |
CN111401444B (zh) | 红酒原产地的预测方法、装置、计算机设备及存储介质 | |
CN113758890A (zh) | 一种气体浓度计算方法、装置、设备及存储介质 | |
CN114611582B (zh) | 一种基于近红外光谱技术分析物质浓度的方法及系统 | |
CN109784390B (zh) | 一种人工智能嗅觉动态响应图谱气体检测识别方法 | |
CN113793645A (zh) | 一种基于机器学习模型的堆肥腐熟度预测方法 | |
CN113240006A (zh) | 废水排放的监测方法、装置、电子设备及存储介质 | |
CN117805099A (zh) | 一种耕地质量监测方法及系统 | |
CN112651173A (zh) | 一种基于跨域光谱信息的农产品品质无损检测方法及可泛化系统 | |
CN116596326B (zh) | 一种基于遥感数据的城市环境检测及综合评估方法 | |
Zhu et al. | A prediction method for intervals of trace ions concentration in zinc sulfate solution based on UV-vis spectroscopy | |
CN114863286B (zh) | 一种基于多算法协同选优的混合废塑料分类方法 | |
CN115728290A (zh) | 一种土壤中铬元素的检测方法、系统、设备及存储介质 | |
CN113378935A (zh) | 一种用于气体的嗅觉智能识别方法 | |
CN114354666A (zh) | 基于波长频次选择的土壤重金属光谱特征提取、优化方法 | |
CN111855946A (zh) | 基于鱼类行为解析的水质分析方法 | |
CN117934019B (zh) | 一种基于深度学习的铜精矿样品溯源方法及系统 | |
CN116223480B (zh) | 煤化工污泥重金属含量检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |