CN109902406A - 一种基于深度学习的检测土壤重金属含量的方法及应用 - Google Patents
一种基于深度学习的检测土壤重金属含量的方法及应用 Download PDFInfo
- Publication number
- CN109902406A CN109902406A CN201910166986.2A CN201910166986A CN109902406A CN 109902406 A CN109902406 A CN 109902406A CN 201910166986 A CN201910166986 A CN 201910166986A CN 109902406 A CN109902406 A CN 109902406A
- Authority
- CN
- China
- Prior art keywords
- soil
- curve
- data
- neural network
- nature parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Investigating Or Analyzing Materials By The Use Of Electric Means (AREA)
- Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
Abstract
一种基于深度学习的检测土壤重金属含量的方法及应用,在该方法中选取标准数据库中大部分的数据用于训练神经网络,小部分的数据用于验证神经网络,当预测值与检测数据间的相对误差小于预设阈值或者绝对误差小于预设阈值时,停止训练;采集土壤试样,检测所采集的土壤样本的多重性质参数或性质参数曲线,利用通过训练和验证的神经网络来预测被测土壤试样的重金属含量。当预测值与检测数据间的相对误差大于预设阈值或者绝对误差大于预设阈值时,土壤重金属含量采用传统方法进行重金属种类鉴别、含量精确测定,并测量该土壤试样的其余性质参数或性质参数曲线追加入标准数据库,利用扩充后的标准数据库再次训练和验证神经网络,以供后续检测使用。
Description
技术领域
本发明涉及一种基于深度学习的检测土壤重金属含量的方法。
背景技术
关于本发明所涉及的深度学习的技术原理,可参阅如下参考文献:
Hinton,G.E.,Osindero,S.and Teh,Y.,A fast learning algorithm for deepbelief nets.Neural Computation 18:1527-1554,2006
Yoshua Bengio,Pascal Lamblin,Dan Popovici and Hugo Larochelle,GreedyLayerWise Training of Deep Networks,in J.Platt et al.(Eds),Advances in NeuralInformation Processing Systems 19(NIPS 2006),pp.153-160,MIT Press,2007
Marc’Aurelio Ranzato,Christopher Poultney,Sumit Chopra and Yann LeCunEfficient Learning of Sparse Representations with an Energy-Based Model,inJ.Platt et al.(Eds),Advances in Neural Information Processing Systems(NIPS2006),MIT Press,2007
ImageNet Classification with Deep Convolutional Neural Networks,AlexKrizhevsky,Ilya Sutskever,Geoffrey E Hinton,NIPS 2012.
Learning Hierarchical Features for Scene Labeling,Clement Farabet,Camille Couprie,Laurent Najman and Yann LeCun,IEEE Transactions on PatternAnalysis and Machine Intelligence,2013.
本发明的发明人/申请人在先申请了的申请号为CN2018114653406、公开号为CN109307687A的中国发明专利申请,本发明为CN2018114653406发明专利申请的后续研究成果。本发明虽然与发明专利申请CN2018114653406的技术方案存在一定的联系度,但我们又在其基础上作出了重大的、实质性的改进与创新。
为简要起见,在本发明的专利申请文件中,相关背景技术及在前技术方案未作过多叙述,发明人/申请人保留在本发明专利申请的文件中引入申请号为CN2018114653406的发明专利申请文件中的部分或全部内容的权利,申请号为CN2018114653406的发明专利申请文件中的内容视为本发明的申请文件中的一部分。
在本发明人/申请人先前所提出的CN2018114653406发明专利申请中,还存在一些缺点,需要进一步改进:
在CN2018114653406发明专利申请中,仅仅考虑了土壤样本的两种性质参数,即:土壤介电损耗谱,土壤介电频谱,而实际上土壤中重金属含量与土壤的多重物理性质存在千丝万缕的关联,这使得利用CN2018114653406的技术方案得到的结果的准确度仍然不够令人满意,神经网络训练的结果的可靠度还不够高;
在CN2018114653406发明专利申请中,只是通过标准数据库单向地对神经网络进行训练,而神经网络的训练的结果究竟是否可靠、可信,仍然无法得知,无从验证;
在CN2018114653406发明专利申请中,由于采集到的土壤样本总是存在一定的水分,而为了获得较为准确、可信的土壤介电损耗谱和土壤介电频谱,必须要采取将土壤样本烘干至恒重这样的技术手段,由于需要对土壤样本进行电加热烘干至恒重,使得发明专利申请CN2018114653406的技术方案的测量速度仍然不够迅速,并且测量设备中也需要附加电加热功能,电能耗较高,操作不够方便快捷;
在CN2018114653406发明专利申请中,仅仅简单地利用经过训练的神经网络来对测试数据(土壤介电损耗谱,土壤介电频谱)进行土壤样本的重金属含量的预测,而预测值与真实值之间究竟误差多少,预测结果是否可靠可信,无从得知,这就无法避免在某些预测中,一些不太可靠的预测结果会夹杂在我们的结果列表中而无法剔除,后续也缺乏技术手段来解决剔除那些相对不可靠的结果;
在先的发明专利申请CN2018114653406中完全采用了通过神经网络的反演得到的结果,没有考虑到可能存在的误差较大、需要单独重新检测的情况,其结果是不能完全信任的,或者说其结果只能作为一种参考,后期仍然有可能需要进一步地利用传统技术作出精确的测量;
在CN2018114653406发明专利申请中,没有考虑到土壤中可能存在多种重金属污染的情况,在实际条件下,不同种类、不同含量的重金属元素在土壤介电损耗谱、土壤介电频谱所导致的畸变峰高、畸变位置、畸变形状各不相同,单纯地采用导致CN2018114653406发明专利申请的技术方案,考虑的因素过少,会由于这一原因导致神经网络训练结果不够精确;
在CN2018114653406发明专利申请中,所得到的结果只是单个采样点的土壤重金属含量结果,而实际上,在一个受重金属污染的区域,其重金属含量是按照空间位置存在分布梯度的,该技术方案无法得到土壤中重金属含量的空间分布情况。
申请号为CN2018114653406的在先专利申请是我们自己的发明专利申请,从来没有其他技术人员提出过类似我们的CN2018114653406的技术方案;在本发明申请之前,也从来没有任何本领域的技术人员意识到我们的在先发明专利申请CN2018114653406上述存在的各种技术问题,当然也没有动机对我们的CN2018114653406作出改进,克服上述缺陷,以得到本发明专利申请的技术方案。
本发明的发明人/申请人对我们自己的申请号为CN2018114653406的在先专利申请作出了大量的、有益的、实质性的改进,取得了优异的技术效果。
发明内容
为了解决现有技术存在的问题,本发明的目的在于提供一种全新的、完全不同于现有技术的土壤重金属含量的检测仪器与测量方法。
该方法包括如下步骤:现场采集土壤试样;将土壤试样放入测量仪器的传感器中;测量得到土壤的物理参数曲线,基于所述物理参数曲线反演得到土壤重金属含量。
具体地,实现本发明目的的具体技术方案是:
一种基于机器学习的检测土壤重金属含量的方法,包括如下步骤:
1.建立标准数据库;所述标准数据库中包含多条记录,每一条记录对应于一种土壤样本,多条记录分别对应于多种不同土壤样本,每一条记录具有多个属性,每个属性分别对应于相应土壤样本的的不同性质,每一条记录为所述多个属性的第一集合,所述土壤样本的不同性质指土壤样本的多重性质参数和/或性质参数曲线;
2.建立神经网络框架;
3.利用标准数据库训练和验证神经网络;
4.采集土壤试样,现场快速检测所采集的土壤样本的多重性质参数或性质参数曲线,步骤4所述的采集的土壤样本的多重性质参数或性质参数曲线构成第二集合;
5.利用通过训练和验证的神经网络来预测被测土壤试样的重金属含量。
进一步可选地,步骤1中所述土壤样本的多重性质参数或性质参数曲线中的测量值还附加有误差限。
进一步可选地,在步骤2中,采集土壤试样时,还记录下每一个采集到的土壤试样的点位坐标。
在步骤3中,随机选取标准数据库中60-90%的数据用于训练神经网络,剩余40-10%的数据用于验证神经网络,用于训练神经网络的数据及用于验证神经网络的数据之和为标准数据数据量的100%。当预测值与检测数据间的相对误差小于预设阈值或者绝对误差小于预设阈值时,停止训练,准备预测。
在步骤4中,所述第二集合为第一集合的子集,即:所述土壤样本的多重性质参数或性质参数曲线,为步骤1中所述土壤样本的多重性质参数或性质参数曲线中的两种或多种的任意组合。
优选地,第二集合为第一集合的真子集。
在步骤5中,当所述土壤样本的重金属含量的预测值与检测数据间的相对误差小于预设阈值或者绝对误差小于预设阈值时,输出并记录预测值,作为所述土壤样本的重金属含量;
当预测值与检测数据间的相对误差大于预设阈值或者绝对误差大于预设阈值时,所述土壤样本的重金属含量采用紫外可分光光度法(UV)、原子吸收法(AAS)、原子荧光法(AFS)、电感耦合等离子体法(ICP)、X荧光光谱(XRF)、电感耦合等离子质谱法(ICP-MS)中的任一种方法进行重金属种类鉴别、含量精确测定,并测量该土壤试样的其余性质参数或性质参数曲线追加入标准数据库,扩充标准数据库,然后回到步骤3,利用扩充后的标准数据库再次训练和验证神经网络,以供后续检测使用。
优选地,土壤湿度这一性质通过TDR方法(Time-Domain Reflectometry—时域反射技术)或FDR方法(Frequency Domain Reflectometry—频域反射技术)测量得到。
可选地,步骤5之后还具有步骤6:
基于每一个采集到的土壤试样的点位坐标、对应土壤试样所检测到的重金属种类、重金属含量数据,建立所采集的土壤片区的重金属空间分布,进一步地基于机器学习来预测所述土壤片区的重金属空间分布情况。
步骤6所得到的所述土壤片区的重金属空间分布情况,可用于后续的土壤重金属污染分析、监测、治理工作。
特别地,步骤4中所述的现场快速检测土壤样本的多重性质参数或性质参数曲线的种类构成的集合是步骤1中所述的标准数据库中的土壤样本的多重性质参数或性质参数曲线的种类构成的集合的子集,即,举例而言:
步骤1中所述的标准数据库中的土壤样本的多重性质参数或性质参数曲线包括土壤类型、重金属种类、重金属含量、土壤湿度或含水量、土壤密度、土壤介电损耗谱、土壤介电频谱共7个类别;而在步骤4中,现场快速检测土壤样本的多重性质参数或性质参数曲线为土壤类型、土壤湿度或含水量、土壤密度、土壤介电损耗谱、土壤介电频谱共5个类别,也可以是土壤类型、土壤湿度或含水量、土壤介电损耗谱、土壤介电频谱共4个类别,还可以是土壤类型、土壤介电损耗谱、土壤介电频谱共3个类别。由此可见,步骤4中所述的现场快速检测土壤样本的多重性质参数或性质参数曲线的种类构成的集合是步骤1中所述的标准数据库中的土壤样本的多重性质参数或性质参数曲线的种类构成的集合的子集,并且是真子集。
深度机器学习方法也有监督学习与无监督学习之分。不同的学习框架下建立的学习模型很是不同.例如,卷积神经网络(Convolutional neural networks,简称CNNs)就是一种深度的监督学习下的机器学习模型,而深度置信网(Deep Belief Nets,简称DBNs)就是一种无监督学习下的机器学习模型。
深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。深度学习的概念由Hinton等人于2006年提出。基于深度置信网络(DBN)提出非监督贪心逐层训练算法,为解决深层结构相关的优化难题带来希望,随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法,它利用空间相对关系减少参数数目以提高训练性能。
深度学习是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本。深度学习是无监督学习的一种。深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。
深度学习的实质,是通过构建具有很多隐层的机器学习模型和海量的训练数据,来学习更有用的特征,从而最终提升分类或预测的准确性。因此,“深度模型”是手段,“特征学习”是目的。通过逐层特征变换,将样本在原空间的特征表示变换到一个新特征空间,从而使分类或预测更加容易。与人工规则构造特征的方法相比,利用大数据来学习特征,更能够刻画数据的丰富内在信息。
关于深度学习的理论、实践案例,已有大量的文献报道和实际应用,属于本领域技术人员已具备的技能,在本发明的文件中,将不再对此多作阐述。当存在大量标准数据支撑的情况下,本发明的技术方案可以快速、准确地检测土壤重金属含量。
在本发明申请之前,从来没有本领域的技术人员意识到上述存在的技术问题,也没有动机对现有技术作出改进,克服上述缺陷,以得到本发明专利申请的技术方案。
本发明的发明人/申请人对我们自己的申请号为CN2018114653406的在先专利申请作出了大量的、有益的、实质性的改进,取得了优异的技术效果。
本发明的有益效果:
采用本发明的技术方案,相对于现有技术,不仅具备CN2018114653406发明专利申请所记载的显著优点,即:
由于信号发生器可以做得体积小便携带,且测试装置不存在精密、娇贵的部件,十分适合于野外现场快速检测;
由于采取了对测试数据归一化的处理,使得在前面步骤中,无需代入平行金属板的面积、间距来换算介电常数,并且,即使土壤样本在平行金属板间压紧时,无论土壤样本是否真正完全密实填满平行金属板之间的空间,即使存在部分孔洞、缺失,会带来表观电容实部Cp、表观电容虚部Cp’的测量偏差,但在归一化处理后,这些影响都将消失,在后续的数据处理中,无需考虑这些测量值的绝对大小,而是只需考虑测量得到的曲线的形状。这一点带来了测量的便捷性;
不需要对样品进行精密、谨慎的前处理工作;
另外,正是由于本发明的技术方案适用于野外现场快速检测,操作十分简单便捷,使得在环保工作中检测效率大大提高。
相对于本发明人/申请人先前所提出的CN2018114653406发明专利申请,本发明专利申请还进一步地具有如下显著的优点:
本发明中,考虑了土壤样本的更多的性质或性质参数,例如土壤类型,重金属种类,重金属含量,土壤湿度或含水量,土壤密度,土壤介电损耗谱,土壤介电频谱,这些性质或性质参数与土壤重金属含量的检测值存在着千丝万缕的联系,考虑的因素更丰富、更全面,更多的性质或性质参数输入深度学习的模型中,将会使得深度学习得到的模型更精确,进一步地,测量结果更准确。而在在先发明专利申请中,仅仅考虑了土壤样本的两种性质参数,即:土壤介电损耗谱,土壤介电频谱,这使得利用本发明的方法得到的测量结果的准确度大大高于利用在先发明专利申请CN2018114653406得到的结果的准确度。
在本发明中,由于将标准数据库中的数据分为了两部分,一大部分用于训练神经网络,一小部分用于验证神经网络,使得神经网络训练的结果更加准确可靠。而在先的发明专利申请CN2018114653406中则没有采取这样的交叉训练、验证手段。
在本发明中,土壤样本的性质还包括了土壤湿度这一性质,在测量中不再、也无需采用在先的发明专利申请CN2018114653406中的烘干至恒重这样的技术手段,而土壤湿度这一性质通过TDR或FDR方法测量得到,使得测量速度比在先的发明专利申请CN2018114653406更加迅速,测量设备无需附加电加热功能,电能耗更低,操作更加方便快捷。
在本发明中,当预测值与检测数据间的相对误差大于预设阈值或者绝对误差大于预设阈值时,所述土壤样本的重金属含量采用传统方法进行重金属种类鉴别、含量精确测定,并测量该土壤试样的Cp-logf曲线和Tan(Delta)–logf曲线,或Cp-lgf曲线和Tan(Delta)–lgf曲线,并将测量得到的土壤样本的重金属种类、含量、Cp-logf曲线和Tan(Delta)–logf曲线,或Cp-lgf曲线和Tan(Delta)–lgf曲线追加入标准数据库,扩充标准数据库,然后回到步骤3,利用扩充后的标准数据库再次训练和验证神经网络,以供后续检测使用。这使得经过深度学习得到的相对不可靠的结果得到剔除,并重新测量得到精确值,因此,每一次得到的结果都是准确可靠的,并且标准数据库的数据量不断得到扩充,神经网络的训练越来越准确可信,随着使用次数的增多,需要重新采用传统方法来测量的样本比例会越来越少,工作量将越来越低。而在先的发明专利申请CN2018114653406中则完全采用了通过神经网络的反演得到的结果,没有考虑到可能存在的误差较大、需要单独重新检测的情况,其结果是不能完全信任的,或者说其结果只能作为一种参考,后期仍然需要进一步地利用传统技术作出精确的测量。
在本发明专利申请中,进一步考虑到了土壤试样所检测到的重金属种类、重金属含量数据在土壤介电损耗谱、土壤介电频谱所导致的畸变峰高、畸变位置、畸变形状的影响因素,包括各曲线的所有极值点、拐点、鼓包、畸变峰位置、畸变峰高、畸变峰宽;考虑到了土壤样本的多重性质参数或性质参数曲线,包括:土壤类型,重金属种类,重金属含量,土壤湿度或含水量,土壤密度,土壤介电损耗谱,土壤介电频谱,使得预测结果更加精确可靠。
在本发明申请之前,从来没有本领域的技术人员意识到上述存在的技术问题,也没有动机对现有技术作出改进,克服上述缺陷,以得到本发明专利申请的技术方案。
具体实施方式
为便于理解本发明,下面结合实例来具体介绍本发明的技术方案。
一种基于机器学习的检测土壤重金属含量的方法,包括如下步骤:
1.建立标准数据库;所述标准数据库中包含多条记录,每一条记录对应于一种土壤样本,多条记录分别对应于多种不同土壤样本,每一条记录具有多个属性,每个属性分别对应于相应土壤样本的的不同性质,每一条记录为所述多个属性的第一集合,所述土壤样本的不同性质指土壤样本的多重性质参数和/或性质参数曲线;
在步骤1中,所述土壤样本的多重性质参数或性质参数曲线,包括:土壤类型,重金属种类,重金属含量,土壤湿度或含水量,土壤密度,土壤介电损耗谱,土壤介电频谱。
其中,土壤类型分为砂质土、黏质土、壤土三种;
进一步地,土壤类型细分为红壤、棕壤、褐土、黑土、栗钙土、漠土、潮土(包括砂姜黑土)、灌淤土、水稻土、湿土(草甸、沼泽土)、盐碱土、岩性土和高山土。
进一步可选地,步骤1中所述土壤样本的多重性质参数或性质参数曲线中的测量值还附加有误差限。
2.建立神经网络框架;
在步骤2中,可选地,建立神经网络框架的方法为:调用Matlab函数库中的newff函数,Net=newgrnn(PR,T,SPREAD),其中,Net为GRNN神经网络框架,PR为输入值,T为目标向量,SPREAD为径向基函数的扩展速度。
基于神经网络的机器学习可由现有的MATLAB来完成,也可以通过其他编程语言来完成,这属于本领域技术人员所具备的技能。
在步骤2中,进一步可选地,采集土壤试样时,还记录下每一个采集到的土壤试样的点位坐标。
3.利用标准数据库训练和验证神经网络;
在步骤3中,随机选取标准数据库中60-90%的数据用于训练神经网络,剩余40-10%的数据用于验证神经网络,用于训练神经网络的数据及用于验证神经网络的数据之和为标准数据数据量的100%。当预测值与检测数据间的相对误差小于预设阈值或者绝对误差小于预设阈值时,停止训练,准备预测。
4.采集土壤试样,现场快速检测所采集的土壤样本的多重性质参数或性质参数曲线,步骤4所述的采集的土壤样本的多重性质参数或性质参数曲线构成第二集合;
在步骤4中,所述第二集合为第一集合的子集,即:步骤4中所述的现场快速检测土壤样本的多重性质参数或性质参数曲线的种类构成的集合是步骤1中所述的标准数据库中的土壤样本的多重性质参数或性质参数曲线的种类构成的集合的子集,即,举例而言:
步骤1中所述的标准数据库中的土壤样本的多重性质参数或性质参数曲线包括土壤类型、重金属种类、重金属含量、土壤湿度或含水量、土壤密度、土壤介电损耗谱、土壤介电频谱共7个类别;而在步骤4中,现场快速检测土壤样本的多重性质参数或性质参数曲线为土壤类型、土壤湿度或含水量、土壤密度、土壤介电损耗谱、土壤介电频谱共5个类别,也可以是土壤类型、土壤湿度或含水量、土壤介电损耗谱、土壤介电频谱共4个类别,还可以是土壤类型、土壤介电损耗谱、土壤介电频谱共3个类别。由此可见,步骤4中所述的现场快速检测土壤样本的多重性质参数或性质参数曲线的种类构成的集合是步骤1中所述的标准数据库中的土壤样本的多重性质参数或性质参数曲线的种类构成的集合的子集,并且是真子集。
优选地,第二集合为第一集合的真子集。
5.利用通过训练和验证的神经网络来预测被测土壤试样的重金属含量。
在步骤5中,当所述土壤样本的重金属含量的预测值与检测数据间的相对误差小于预设阈值或者绝对误差小于预设阈值时,输出并记录预测值,作为所述土壤样本的重金属含量;
当预测值与检测数据间的相对误差大于预设阈值或者绝对误差大于预设阈值时,所述土壤样本的重金属含量采用紫外可分光光度法(UV)、原子吸收法(AAS)、原子荧光法(AFS)、电感耦合等离子体法(ICP)、X荧光光谱(XRF)、电感耦合等离子质谱法(ICP-MS)中的任一种方法进行重金属种类鉴别、含量精确测定,并测量该土壤试样的Cp-logf曲线和Tan(Delta)–logf曲线,或Cp-lgf曲线和Tan(Delta)–lgf曲线,并将测量得到的土壤样本的重金属种类、含量、Cp-logf曲线和Tan(Delta)–logf曲线,或Cp-lgf曲线和Tan(Delta)–lgf曲线追加入标准数据库,扩充标准数据库,然后回到步骤3,利用扩充后的标准数据库再次训练和验证神经网络,以供后续检测使用。
优选地,土壤湿度这一性质通过TDR方法(Time-Domain Reflectometry—时域反射技术)或FDR方法(Frequency Domain Reflectometry—频域反射技术)测量得到。
可选地,步骤5之后还具有步骤6:
基于每一个采集到的土壤试样的点位坐标、对应土壤试样所检测到的重金属种类、重金属含量数据,建立所采集的土壤片区的重金属空间分布,进一步地基于机器学习来预测所述土壤片区的重金属空间分布情况。
步骤6所得到的所述土壤片区的重金属空间分布情况,可用于后续的土壤重金属污染分析、监测、治理工作。
土壤介电损耗谱、土壤介电频谱的测量方法如下:
实时检测并记录所述交变电信号通过一对平行金属板及紧固夹在一对平行金属板之间的土壤试样的电参数,所述电参数包括交变电信号的表观电容实部Cp、表观电容虚部Cp’、损耗角正切值Tan(Delta)、频率f;其中,损耗角正切值Tan(Delta)等于表观电容虚部Cp’与表观电容实部Cp的比值;
将检测记录得到的数据,分别导出得到表观电容实部—频率曲线即Cp-f曲线、损耗角正切值—频率曲线即Tan(Delta)-f曲线;在所有表观电容实部—频率曲线、损耗角正切值—频率曲线中,频率均取对数值,即logf或lgf;最终得到的是Cp-logf曲线和Tan(Delta)–logf曲线,或Cp-lgf曲线和Tan(Delta)–lgf曲线;对Cp-logf曲线或Cp-lgf曲线作归一化处理;
在深度学习中,土壤介电损耗谱、土壤介电频谱中包括土壤试样的Cp-logf曲线和Tan(Delta)–logf曲线,或Cp-lgf曲线和Tan(Delta)–lgf曲线的特征,包括各曲线的所有极值点、拐点、鼓包、畸变峰位置、畸变峰高、畸变峰宽。
具体地,深度学习可由现有的MATLAB来完成,这属于本领域技术人员所具备的技能。可参阅:https://ww2.mathworks.cn/campaigns/offers/machine-learning-with-matlab.html?s_eid=psn_15353
实际测试温度取值与标准曲线库中的测量温度相同。
优选地,标准土壤试样的重金属含量,采用紫外可分光光度法(UV)、原子吸收法(AAS)、原子荧光法(AFS)、电感耦合等离子体法(ICP)、X荧光光谱(XRF)、电感耦合等离子质谱法(ICP-MS)中的任一种方法进行进一步的重金属种类鉴别、含量精确测定,并测量各标准土壤试样的Cp-logf曲线和Tan(Delta)–logf曲线,或Cp-lgf曲线和Tan(Delta)–lgf曲线,并由此建立标准数据库。
优选地,所述薄圆片状或薄方片状的尺寸为厘米级,厚度为毫米级;
优选地,土壤试样均为薄圆片状;
优选地,一对平行金属板均为薄圆片状;
进一步地,在现场采集土壤试样时,去除枯枝败叶、肉眼可见的碎石颗粒。
优选地,将所采集得到的土壤试样碾碎,将碾碎的土壤试样直接放置于一对平行金属板之间施加压力压紧,用刮片刮去漏出平行金属板外的多余部分,制成与平行金属板形状相同、大小相等的薄片状试样;
优选地,所述交变信号源的输出交变电信号vt的频率f低至Hz量级,高至MHz量级;
优选地,所述交变信号源的输出交变电信号vt的频率f随时间t作对数规律变化;
依据我们的实践经验,在低频段,试样的表观电容实部Cp—频率f曲线、损耗角正切值Tan(Delta)—频率f曲线通常变化较为缓慢,若频率f随时间t作线性规律变化,从百Hz量级至兆Hz量级,会导致耗时太长,长达数小时,且得到的数据量太多,在低频段看不出明显的变化;而选择频率f随时间t作对数规律变化,则需时仅约1分钟,在各频率段可显现出变化规律。
进一步地,频率不断变化的交变电信号由信号发生器产生,信号发生器接受微处理器或计算机发出的控制指令。
本发明的说明书中未作具体说明的相关内容,均属于本领域技术人员的常规技能,无需进一步披露。
以上说明仅仅为本发明的较佳实施例,本发明并不限于列举上述实施例,当说明的是,任何熟悉本领域的技术人员在本说明书的教导下,所做出的所有等同替代、明显变形形式,均落在本说明书的实质范围之内,理应受到本发明的保护。
Claims (7)
1.一种检测土壤重金属含量的方法,其特征在于,包括如下步骤:现场采集土壤试样;将土壤试样放入测量仪器的传感器中;测量得到土壤的物理参数曲线,基于所述物理参数曲线反演得到土壤重金属含量。
2.一种如权利要求1所述的基于深度学习的检测土壤重金属含量的方法,其特征在于:所述深度学习基于卷积神经网络(Convolutional neural networks,简称CNNs)或深度置信网络(Deep Belief Nets,简称DBNs);
所述的基于深度学习的检测土壤重金属含量的方法,具体包括如下步骤:
1)建立标准数据库;所述标准数据库中包含多条记录,每一条记录对应于一种土壤样本,多条记录分别对应于多种不同土壤样本,每一条记录具有多个属性,每个属性分别对应于相应土壤样本的的不同性质,每一条记录为所述多个属性的第一集合,所述土壤样本的不同性质指土壤样本的多重性质参数和/或性质参数曲线;
所述第一集合必包括有土壤种类、土壤湿度或含水量、土壤介电损耗谱、土壤介电频谱;
优选地,所述土壤样本的多重性质参数或性质参数曲线,包括:土壤类型,重金属种类,重金属含量,土壤湿度或含水量,土壤密度,土壤介电损耗谱,土壤介电频谱。
可选地,步骤1)中所述土壤样本的多重性质参数或性质参数曲线中的测量值还附加有误差限;
2)建立神经网络框架;
3)利用标准数据库训练和验证神经网络;
在步骤3)中,随机选取标准数据库中大部分的数据用于训练神经网络,小部分的数据用于验证神经网络,用于训练神经网络的数据及用于验证神经网络的数据之和为标准数据数据量的总和;当预测值与检测数据间的相对误差小于预设阈值或者绝对误差小于预设阈值时,停止训练,准备预测;
优选地,在步骤3)中,随机选取标准数据库中60-90%的数据用于训练神经网络,剩余40-10%的数据用于验证神经网络,用于训练神经网络的数据及用于验证神经网络的数据之和为标准数据数据量的100%;
4)采集土壤试样,采集土壤试样时还记录所检测地区的采样点空间坐标;
现场快速检测所采集的土壤样本的多重性质参数或性质参数曲线,步骤4)所述的采集的土壤样本的多重性质参数或性质参数曲线构成第二集合;
所述第二集合必包括有土壤种类、土壤湿度或含水量、土壤介电损耗谱、土壤介电频谱;
在步骤4)中,所述第二集合为第一集合的子集,即:所述土壤样本的多重性质参数或性质参数曲线,为步骤1)中所述土壤样本的多重性质参数或性质参数曲线中的多种的任意组合;
优选地,所述第二集合为所述第一集合的真子集;
优选地,土壤湿度或含水量这一参数通过TDR方法(Time-Domain Reflectometry—时域反射技术)或FDR方法(Frequency Domain Reflectometry—频域反射技术)测量得到。
5)利用通过训练和验证的神经网络来预测被测土壤试样的重金属含量;
在步骤5)中,当所述土壤样本的重金属含量的预测值与检测数据间的相对误差小于预设阈值或者绝对误差小于预设阈值时,输出并记录预测值,作为所述土壤样本的重金属含量;
当预测值与检测数据间的相对误差大于预设阈值或者绝对误差大于预设阈值时,所述土壤样本的重金属含量采用紫外可分光光度法(UV)、原子吸收法(AAS)、原子荧光法(AFS)、电感耦合等离子体法(ICP)、X荧光光谱(XRF)、电感耦合等离子质谱法(ICP-MS)中的任一种方法进行重金属种类鉴别、含量精确测定,并测量该土壤试样的其余性质参数或性质参数曲线追加入标准数据库,扩充标准数据库,然后回到步骤3),利用扩充后的标准数据库再次训练和验证神经网络,以供后续检测使用。
3.一种如权利要求2所述的方法,其特征在于:步骤5)之后还具有步骤6):
基于每一个采集到的土壤试样的点位坐标、对应土壤试样所检测到的重金属种类、重金属含量数据,建立所采集的土壤片区的重金属空间分布,进一步地基于机器学习来预测所述土壤片区的重金属空间分布情况。
4.一种如权利要求2-3任一项所述的方法,其特征在于:所述土壤介电损耗谱、土壤介电频谱的测量步骤如下:
实时检测并记录所述交变电信号通过一对平行金属板及紧固夹在一对平行金属板之间的土壤试样的电参数,所述电参数包括交变电信号的表观电容实部Cp、表观电容虚部Cp’、损耗角正切值Tan(Delta)、频率f;其中,损耗角正切值Tan(Delta)等于表观电容虚部Cp’与表观电容实部Cp的比值;
将检测记录得到的数据,分别导出得到表观电容实部—频率曲线即Cp-f曲线、损耗角正切值—频率曲线即Tan(Delta)-f曲线;在所有表观电容实部—频率曲线、损耗角正切值—频率曲线中,频率均取对数值,即logf或lgf;最终得到的是Cp-logf曲线和Tan(Delta)–logf曲线,或Cp-lgf曲线和Tan(Delta)–lgf曲线;对Cp-logf曲线或Cp-lgf曲线作归一化处理;
土壤介电损耗谱、土壤介电频谱即土壤试样的Cp-logf曲线和Tan(Delta)–logf曲线,或Cp-lgf曲线和Tan(Delta)–lgf曲线的特征,包括各曲线的所有极值点、拐点、鼓包、畸变峰位置、畸变峰高、畸变峰宽。
5.一种如权利要求4所述的方法,其特征在于:优选地,所述交变电信号vt的频率f低至Hz量级,高至MHz量级;优选地,所述交变电信号vt的频率f随时间t作对数规律变化。
6.一种如权利要求2-4任一项所述的方法,其特征在于:将所采集得到的土壤试样碾碎,将碾碎的土壤试样直接放置于一对平行金属板之间施加压力压紧,用刮片刮去漏出平行金属板外的多余部分,制成与平行金属板形状相同、大小相等的薄片状试样。
7.如权利要求3-6任一项所述的方法的应用,其特征在于:步骤6)所得到的所述土壤片区的重金属空间分布情况,用于后续的土壤重金属污染分析、监测、治理工作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910166986.2A CN109902406B (zh) | 2019-03-06 | 2019-03-06 | 一种基于深度学习的检测土壤重金属含量的方法及应用 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910166986.2A CN109902406B (zh) | 2019-03-06 | 2019-03-06 | 一种基于深度学习的检测土壤重金属含量的方法及应用 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109902406A true CN109902406A (zh) | 2019-06-18 |
CN109902406B CN109902406B (zh) | 2022-11-18 |
Family
ID=66946580
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910166986.2A Active CN109902406B (zh) | 2019-03-06 | 2019-03-06 | 一种基于深度学习的检测土壤重金属含量的方法及应用 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109902406B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112598130A (zh) * | 2020-12-09 | 2021-04-02 | 华东交通大学 | 基于自编码器和奇异值阈值的土壤湿度数据重构方法和计算机可读存储介质 |
CN112614552A (zh) * | 2021-01-04 | 2021-04-06 | 武汉轻工大学 | 基于bp神经网络的土壤重金属含量预测方法及系统 |
CN114047214A (zh) * | 2021-11-19 | 2022-02-15 | 燕山大学 | 一种改进的dbn-morf土壤重金属含量预测方法 |
WO2023108283A1 (en) * | 2021-12-17 | 2023-06-22 | Terramera, Inc. | Systems and methods for predicting soil properties |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010271247A (ja) * | 2009-05-22 | 2010-12-02 | Taisei Kiso Sekkei Kk | 土壌中における重金属等多元素成分同時分析方法 |
CN106645037A (zh) * | 2016-11-17 | 2017-05-10 | 安徽理工大学 | 基于高光谱技术检测煤矸石充填复垦重构土壤重金属含量的方法 |
CN107421894A (zh) * | 2017-09-28 | 2017-12-01 | 威海五洲卫星导航科技有限公司 | 基于无人机高光谱反演土壤中重金属污染监测方法 |
CN108573105A (zh) * | 2018-04-23 | 2018-09-25 | 浙江科技学院 | 基于深度置信网络的土壤重金属含量检测模型的建立方法 |
CN108596246A (zh) * | 2018-04-23 | 2018-09-28 | 浙江科技学院 | 基于深度神经网络的土壤重金属含量检测模型的建立方法 |
CN109298024A (zh) * | 2018-12-03 | 2019-02-01 | 苏州市环境科学研究所 | 一种现场快速检测土壤重金属含量的方法 |
CN109307687A (zh) * | 2018-12-03 | 2019-02-05 | 苏州市环境科学研究所 | 一种基于神经网络的现场快速检测土壤重金属含量的方法 |
-
2019
- 2019-03-06 CN CN201910166986.2A patent/CN109902406B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010271247A (ja) * | 2009-05-22 | 2010-12-02 | Taisei Kiso Sekkei Kk | 土壌中における重金属等多元素成分同時分析方法 |
CN106645037A (zh) * | 2016-11-17 | 2017-05-10 | 安徽理工大学 | 基于高光谱技术检测煤矸石充填复垦重构土壤重金属含量的方法 |
CN107421894A (zh) * | 2017-09-28 | 2017-12-01 | 威海五洲卫星导航科技有限公司 | 基于无人机高光谱反演土壤中重金属污染监测方法 |
CN108573105A (zh) * | 2018-04-23 | 2018-09-25 | 浙江科技学院 | 基于深度置信网络的土壤重金属含量检测模型的建立方法 |
CN108596246A (zh) * | 2018-04-23 | 2018-09-28 | 浙江科技学院 | 基于深度神经网络的土壤重金属含量检测模型的建立方法 |
CN109298024A (zh) * | 2018-12-03 | 2019-02-01 | 苏州市环境科学研究所 | 一种现场快速检测土壤重金属含量的方法 |
CN109307687A (zh) * | 2018-12-03 | 2019-02-05 | 苏州市环境科学研究所 | 一种基于神经网络的现场快速检测土壤重金属含量的方法 |
Non-Patent Citations (3)
Title |
---|
QINMEI SHEN等: ""The combination of Laser Induced Breakdown Spectroscopy and artificial neural network for concentration analysis of Ti in soil"", 《2011 INTERNATIONAL CONFERENCE ON REMOTE SENSING, ENVIRONMENT AND TRANSPORTATION ENGINEERING》 * |
孟德硕等: "基于激光诱导击穿光谱技术的土壤快速分类方法研究", 《光谱学与光谱分析》 * |
马伟波等: ""基于超限学习机的矿区土壤重金属高光谱反演"", 《生态与农村环境学报》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112598130A (zh) * | 2020-12-09 | 2021-04-02 | 华东交通大学 | 基于自编码器和奇异值阈值的土壤湿度数据重构方法和计算机可读存储介质 |
CN112598130B (zh) * | 2020-12-09 | 2024-04-09 | 华东交通大学 | 基于自编码器和奇异值阈值的土壤湿度数据重构方法和计算机可读存储介质 |
CN112614552A (zh) * | 2021-01-04 | 2021-04-06 | 武汉轻工大学 | 基于bp神经网络的土壤重金属含量预测方法及系统 |
CN112614552B (zh) * | 2021-01-04 | 2022-06-07 | 武汉轻工大学 | 基于bp神经网络的土壤重金属含量预测方法及系统 |
CN114047214A (zh) * | 2021-11-19 | 2022-02-15 | 燕山大学 | 一种改进的dbn-morf土壤重金属含量预测方法 |
WO2023108283A1 (en) * | 2021-12-17 | 2023-06-22 | Terramera, Inc. | Systems and methods for predicting soil properties |
Also Published As
Publication number | Publication date |
---|---|
CN109902406B (zh) | 2022-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109902406A (zh) | 一种基于深度学习的检测土壤重金属含量的方法及应用 | |
Zalama et al. | Road crack detection using visual features extracted by Gabor filters | |
Karimpouli et al. | Stochastic modeling of coal fracture network by direct use of micro-computed tomography images | |
CN106980877A (zh) | 一种基于粒子群算法优化支持向量机的爆破振动预测方法 | |
CN109307687A (zh) | 一种基于神经网络的现场快速检测土壤重金属含量的方法 | |
CN113009447B (zh) | 基于深度学习和探地雷达的道路地下空洞检测预警方法 | |
CN105447762B (zh) | 一种流体替换的低渗透油藏水淹信息的计算方法 | |
CN114821296B (zh) | 地下病害探地雷达图像识别方法、系统、存储介质及终端 | |
CN103967478A (zh) | 一种基于电导探针的垂直井流型辨识方法 | |
Qiao et al. | Development of pedotransfer functions for soil hydraulic properties in the critical zone on the Loess Plateau, China | |
Barkataki et al. | Classification of soil types from GPR B scans using deep learning techniques | |
CN117741808A (zh) | 基于地质勘探的地质裂缝检测方法 | |
Stepien et al. | Continuous conditional generative adversarial networks for data-driven modelling of geologic CO2 storage and plume evolution | |
CN116466408B (zh) | 一种基于航磁数据的人工神经网络超基性岩识别方法 | |
CN117131971A (zh) | 基于Xgboost算法的储层优势渗流通道预测方法 | |
CN116738227A (zh) | 一种电阻率参数和机器学习的土壤有机污染浓度预测方法 | |
CN115688590B (zh) | 一种基于深度学习的多矿物相岩心渗透率预测方法 | |
Ma et al. | An equivalent analysis of non-linear flow along rough-walled fractures based on power spectrum and wavelet transform | |
Ren et al. | A DL method to detect multi-type hidden objects in tunnel linings using a comprehensive GPR dataset | |
CN111155980A (zh) | 一种水流优势通道识别方法及装置 | |
Cao et al. | Grey Relational Local Regression Estimation Model of Soil Water Content Based on Hyperspectral Data. | |
D'Amico et al. | GPR signal processing in frequency domain using artificial neural network for water content prediction in unsaturated subgrade | |
CN105528657A (zh) | 基于北斗和向量机的建筑物震害预测方法 | |
Sun et al. | Classification of anchor bolts based on spectral kurtosis and K-means clustering algorithm | |
CN105114054B (zh) | 一种基于电导探针阵列投票表决的垂直井流型识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |