CN108007881A - 一种基于光谱技术的水产养殖水质总氮含量检测方法 - Google Patents
一种基于光谱技术的水产养殖水质总氮含量检测方法 Download PDFInfo
- Publication number
- CN108007881A CN108007881A CN201711236619.2A CN201711236619A CN108007881A CN 108007881 A CN108007881 A CN 108007881A CN 201711236619 A CN201711236619 A CN 201711236619A CN 108007881 A CN108007881 A CN 108007881A
- Authority
- CN
- China
- Prior art keywords
- mrow
- water quality
- coefficient
- msub
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2115—Selection of the most significant subset of features by evaluating different subsets according to an optimisation criterion, e.g. class separability, forward selection or backward elimination
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明提供一种基于光谱技术的水产养殖水质总氮含量检测方法,包括:获取原始光谱数据,原始光谱数据包括每一水质样本的水质光谱数据和每一水质样本的总氮含量真实值,每一水质样本的水质光谱数据表示每一水质样本在预设波长范围内的吸光度;通过无信息变量消除法和连续投影算法对原始光谱数据进行筛选,获得光谱特征数据;通过最小二乘支持向量机对光谱特征数据进行建模,获得检测模型,通过检测模型获得待测水质样本的总氮含量检测值。本发明提供了一种基于光谱技术的水产养殖水质总氮含量检测方法,不需要对样品进行预处理,不需要消耗化学试剂,是一种快速、低成本、无损分析的绿色检测技术,相对于传统的方法更具有先进性和环保性。
Description
技术领域
本发明涉及水质检测领域,更具体地,涉及一种基于光谱技术的水产养殖水质总氮含量检测方法。
背景技术
随着社会经济的发展,人们的膳食结构也在逐步调整,而水产品以其脂肪含量低,营养价值丰富且均衡,易吸收等优点获得了越来越多人们的青睐,成为了人们日常生活中不可缺少的重要组成部分。然而由于海洋渔业资源的过度开发利用,天然的水产资源已经不能满足人们的生活需求。随着人工水产养殖比例逐年上升,这种供不应求的状况在很大程度上得到了缓解。新中国刚成立时,我国水养殖的总产量仅有11万吨。随着我国水产养殖业的发展,到了2012年,我国水产品养殖产量4288.36万吨,占我国水产品总量的72.6%,占全世界养殖水产品总量的65.70%。2016年,我国水产品养殖产量达到5156万吨,占我国水产品总量的74.7%。
水产养殖是基于陆地水域通过人工饲养方式生产出水产品的产业。对于水产养殖而言,使用的环境资源就是水资源。养殖水域的水质状况直接影响到水产养殖业的产量、质量、经济效益和生态环境效益。如果水质指标超出了水产养殖生物生长所能忍受的范围,轻则会造成水生生物不能健康生长,重则会导致水产养殖生物大量死亡,浪费了大量的人力、物力和财力。氮是组成蛋白质的主要元素之一。氮是水产饲料不可或缺的成分,特别是在甲鱼、鳗、虾类等集约化养殖过程中通常要使用高蛋白质饵料,以促进其快速生长。
在我国目前的水产养殖生产中,特别是投喂高蛋白质饲料的情况下,鱼类摄入的氮中只有较少的一部分沉积在鱼体内转化为鱼类体蛋白,而相当一部分蛋白质被作为能源物质为鱼类所利用,还有一部分不能被消化吸收而被直接排出体外,而这被排出体外的氮绝大部分溶解在水中。这样会造成养殖水体中总氮水平过高,其一旦超过了水体自身的自净能力,就会导致水体中含氮、磷营养物质的富集,引起藻类及其它浮游生物迅速繁殖、水体溶解氧量下降、鱼类及其它生物大量死亡、水质恶化。2010年,全国水产养殖业由于污染和病害造成的经济损失高达45.50亿元,全部水产品损失总量的22%。养殖水体的污染不但给社会经济造成很大的影响,而且严重的制约了我国水产养殖业的可持续发展。
近年来,研究用一种比较快速又精确的方式检测水体中某种物质是否超标成为国内外的研究热点。传统的碱性过硫酸钾-紫外分光光度法测量水质总氮含量方法只能逐一测定水质样本的总氮含量,耗时耗力耗材且易对环境造成污染。
发明内容
本发明提供一种克服上述问题或者至少部分地解决上述问题的一种基于光谱技术的水产养殖水质总氮含量检测方法。
根据本发明的一个方面,提供一种水质总氮含量检测方法,S1、获取原始光谱数据,所述原始光谱数据包括每一水质样本的水质光谱数据和所述每一水质样本的总氮含量真实值,所述每一水质样本的水质光谱数据表示所述每一水质样本在预设波长范围内的吸光度;S2、通过无信息变量消除法和连续投影算法对预处理后的原始光谱数据进行筛选,获得光谱特征数据;S3、通过最小二乘支持向量机对所述光谱特征数据进行建模,获得检测模型,通过所述检测模型获得待测水质样本的总氮含量检测值。
优选地,步骤S2之前还包括:S01、对所述原始光谱数据进行一阶求导处理;S02、通过小波变换和Savitzky-Golay算法对一阶求导后的数据进行平滑处理,获得预处理后的原始光谱数据。
优选地,通过如下公式对所述原始光谱数据进行一阶求导处理:
其中,f'(xi)表示一阶求导处理后的数据,h为光谱扫描步长,xi为所述原始光谱数据中波长为inm处的水质样本的吸光度。
优选地,步骤S02具体包括:S021、通过对一阶求导后的数据进行小波变换,获得第一小波分解系数和第二小波分解系数;S022、通过Savitzky-Golay算法对所述第一小波分解系数进行平滑处理,获得平滑后的第一小波分解系数,通过Savitzky-Golay算法对所述第二小波分解系数进行平滑处理,获得平滑后的第二小波分解系数;S023、对平滑后的第二小波分解系数进行阈值量化处理,获得量化后的第二小波分解系数;S024、对平滑后的第一小波分解系数和量化后的第二小波分解系数进行小波重构,获得预处理后的原始光谱数据。
优选地,通过如下公式对平滑后的第二小波分解系数进行阈值量化处理:
其中,d'j(i)表示对所述第二小波分解系数的第i个元素进行阈值量化处理后的结果,dj表示所述第二小波分解系数,j表示分解尺度,dj(i)表示所述第二小波分解系数中的第i个元素,Thrj表示量化阈值。
优选地,所述量化阈值为:
其中,σ表示所述第二小波分解系数的噪声方差,j表示分解尺度,n表示所述第二小波分解系数的个数。
优选地,步骤S4之后还包括:通过决定系数、建模均方根误差和预测均方根误差,判断所述总氮含量检测值是否达到预设精度。
根据本发明的另一个方面,提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行一种水质总氮含量检测方法。
根据本发明的又一个方面,提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行一种水质总氮含量检测方法。
本发明提供了一种基于光谱技术的水产养殖水质总氮含量检测方法,不需要对样品进行预处理,不需要消耗化学试剂,属于绿色检测技术,是一种快速、低成本、无损分析技术,相对于传统的方法更具有先进性和环保性。
附图说明
图1为本发明实施例一种基于光谱技术的水产养殖水质总氮含量检测方法的流程图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
现有的的碱性过硫酸钾-紫外分光光度法测量水质总氮含量方法只能逐一测定水质样本的总氮含量,相对耗时耗力耗材且易对环境造成污染的缺点。
通过总结国内国外的研究资料得知,紫外-可见光光谱技术在水质检测方面的应用越来越多,这是由于光谱技术是一种快速、低成本、无损分析技术,它测量时间短,不需要对样品进行预处理,不需要消耗化学试剂,属于绿色检测技术。
因此,本发明以水产养殖水质为研究对象,进行基于光谱技术的水产养殖水质总氮快速检测的新方法的研究,为实现水产养殖环境的实时监控提供了理论和技术依据。在当前水产养殖水质污染严重,国家要求实现水产健康养殖的大背景下,研究水产养殖水质总氮快速和准确的检测方法,具有非常重要的意义。同时,基于光谱的水质信息获取和感知方法的研究,为实现基于物联网的智能农业提供了技术支撑,也为光谱技术用于其他养殖水质指标的快速检测提供了研究思路。
图1为本发明实施例一种基于光谱技术的水产养殖水质总氮含量检测方法的流程图,如图1所示,该方法包括:S1、获取原始光谱数据,所述原始光谱数据包括每一水质样本的水质光谱数据和所述每一水质样本的总氮含量真实值,所述每一水质样本的水质光谱数据表示所述每一水质样本在预设波长范围内的吸光度;S2、通过无信息变量消除法和连续投影算法对预处理后的原始光谱数据进行筛选,获得光谱特征数据;S3、通过最小二乘支持向量机对所述光谱特征数据进行建模,获得检测模型,通过所述检测模型获得待测水质样本的总氮含量检测值。
需要说明的是,无信息变量消除法(uniformative variable elimination,简称UVE)是一种新的变量筛选方法,该算法最初由Centner等人提出来,并用于NIR光谱数据,其目的是为了减少最终PLS模型中包含的变量数,降低模型的复杂性,改善PLS模型。
连续投影算法(successive projections algorithm,简称SPA)是一种使矢量空间共线性最小化的前向变量选择算法,它的优势在于提取全波段的几个特征波长,能够消除原始光谱矩阵中冗余的信息,可用于光谱特征波长的筛选。
此处采用无信息变量消除法和连续投影算法对预处理后的原始光谱数据进行筛选的好处在于:SPA与UVE是两种常见的特征数据提取算法,SPA算法可用于降低UVE算法的有效变量之间的共线性问题,在一定程度上实现了算法间的优势互补。本发明光谱特征提取的步骤是首先用UVE算法将信息含量低,对模型构建无益的数据进行一次初步筛选,再用SPA算法对剩余的有价值的数据进行进一步选择,最终选取信息含量最大的几个数据,供光谱数据模型构建的需要。
支持向量机在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势,基于本研究数据样本相对较少的状况,应该选择一种针对小样本光谱数据建模的方法。支持向量机(Support Vector Machine,简称SVM)算法能够使用较少的样本数达到较高的建模精度,符合本发明的要求。最小二乘支持向量机(least squares Support VectorMachine,简称LS-SVM)是一种经过改进的支持向量机方法,其相对于支持向量机来说,能够极大地提高模型的计算效率。因此,本发明选取最小二乘支持向量机作为光谱数据建模算法。
接着通过最小二乘支持向量机对所述光谱特征数据进行建模,建立水质光谱数据和总氮含量真实值之间的对应关系,也就是检测模型,通过检测模型获得待测水质样本的总氮含量检测值。
本发明提供了一种基于光谱技术的水产养殖水质总氮含量检测方法,不需要对样品进行预处理,不需要消耗化学试剂,属于绿色检测技术,是一种快速、低成本、无损分析技术,相对于传统的方法更具有先进性和环保性。
本发明在当前水产养殖水质污染严重,国家要求实现水产健康养殖的大背景下,研究水产养殖水质总氮快速和准确的检测方法,具有非常重要的意义。同时,基于光谱的水质信息获取和感知方法的研究,为实现基于物联网的智能农业提供了技术支撑,也为光谱技术用于其他养殖水质指标的快速检测提供了研究思路。
在上述实施例的基础上,优选地,步骤S2之前还包括:S01、对所述原始光谱数据进行一阶求导处理;S02、通过小波变换和Savitzky-Golay算法对一阶求导后的数据进行平滑处理,获得预处理后的原始光谱数据。
在上述实施例的基础上,具体地,通过如下公式对所述原始光谱数据进行一阶求导处理:
其中,f'(xi)表示一阶求导处理后的数据,h为光谱扫描步长,xi为所述原始光谱数据中波长为inm处的水质样本的吸光度。
在上述实施例的基础上,具体地,步骤S02具体包括:S021、通过对一阶求导后的数据进行小波变换,获得第一小波分解系数和第二小波分解系数;S022、通过Savitzky-Golay算法对所述第一小波分解系数进行平滑处理,获得平滑后的第一小波分解系数,通过Savitzky-Golay算法对所述第二小波分解系数进行平滑处理,获得平滑后的第二小波分解系数;S023、对平滑后的第二小波分解系数进行阈值量化处理,获得量化后的第二小波分解系数;S024、对平滑后的第一小波分解系数和量化后的第二小波分解系数进行小波重构,获得预处理后的原始光谱数据。
在上述实施例的基础上,具体地,通过如下公式对平滑后的第二小波分解系数进行阈值量化处理:
其中,d'j(i)表示对所述第二小波分解系数的第i个元素进行阈值量化处理后的结果,dj表示所述第二小波分解系数,j表示分解尺度,dj(i)表示所述第二小波分解系数中的第i个元素,Thrj表示量化阈值。
需要说明的是,sgn函数返回一个整型变量,指出参数的正负号。语法sgn(number),number参数是任何有效的数值表达式。返回值如果数字大于0,则sgn返回1,数字等于0,则返回0,数字小于0,则返回-1,数字参数的符号决定了sgn函数的返回值。
实质上,函数f(x)=sgn(x)相当于g(x)=abs(x)/x或h(x)=x/abs(x)。
在上述实施例的基础上,具体地,所述量化阈值为:
其中,σ表示所述第二小波分解系数的噪声方差,j表示分解尺度,n表示所述第二小波分解系数的个数。
本发明对原始水质数据预处理过程分两步进行,首先对原始光谱数据进行一阶求导处理,该过程能够消减光谱间由于光照角度、光程等造成的光谱数据基线漂移,提高光谱数据的分辨率。通过一阶求导处理,已经可以比较明显地判断出光谱的峰值所处于的波段。在进行一阶求导后,得到的一阶导数值形成的光谱曲线不够平滑,高频噪声突出。因此,需要对得到的一阶导数进行小波与Savitzky-Golay算法综合平滑处理,使得一阶导数光谱曲线的高频噪声能得到有效的去除,使得曲线比较平滑,峰值明显。将这3种预处理算法进行融合,能够更加有效地突出光谱曲线的特征数据,有助于下一步的特征数据提取工作的顺利进行。
本发明一优选实施例提供一种基于光谱技术的水产养殖水质总氮含量检测方法,该方法的具体执行过程如下:
举个例子,饲养4种不同密度的某种水产品,并以3天一次的采集的频率采集水产养殖水质样本的原始光谱数据。采集的水质样本经过30分钟的静止沉淀,去除水样表面的漂浮物等杂质,之后将水质样本分为2份,一份测量其总氮真实含量的浓度,另外一份通过水质吸光度的采集,获得该水质样本的水质光谱数据,对于未能及时进行数据测量的水质样本,依照国标HJ493-2009进行保存。
水质样本的水质光谱数据通过如下方式采集:采集使用UV-2450紫外可见光分光光度计,其测定波长范围190~900nm,吸光度的测量范围为-4~5Abs,分辨率为1nm。水质总氮含量真实值测定采用常见的碱性过硫酸钾-紫外分光光度法。
需要说明的是,分光光度计就是利用分光光度法对物质进行定量定性分析的仪器。而分光光度法则是通过测定被测物质在特定波长处或一定波长范围内的吸收度,对该物质进行定性和定量分析。
本发明实施例采用碱性过硫酸钾-紫外分光光度法测定养殖水质样本中总氮含量的真实值。碱性过硫酸钾-紫外分光光度法(GB11894-89)是现实中最常用的测量水体总氮含量的方法。具体的测量原理及方法介绍如下:
在60℃以上的水溶液中,过硫酸钾按以下反应式分解,生产氢离子和氧气。
K2S2O8+H2O→2KHSO4+1/2O2,
KHSO4→K++HSO4 -,
加入氢氧化钠用以中和氢离子,使过硫酸钾分解完全,用过硫酸钾作氧化剂,在120~124℃时的碱性介质条件下,不仅可将水样中的氨氮和亚硝酸盐氮氧化为硝酸盐,同时将水样中大部分有机氮化合物氧化为硝酸盐。再通过紫外分光光度计分别于波长220nm与275nm处测定其吸光度,按A=A220-2A275计算硝酸盐氮的吸光度值,从而计算总氮的含量。其摩尔吸光系数为1.47×103L(mol.cm)。
接着对原始光谱数据进行预处理,预处理过程为:先对原始光谱数据进行一阶求导处理;再通过小波变换和Savitzky-Golay算法对一阶求导后的数据进行平滑处理,获得预处理后的原始光谱数据。
其中,先对原始光谱数据进行一阶求导处理的具体过程如下:
光谱数据求导是一种常用的预处理算法,对原始光谱数据进行求导处理,能够消减光谱间由于光照角度、光程等造成的光谱数据基线漂移,提高光谱数据的分辨率,可以在一定的程度上消除光谱数据中由于合频和倍频所引起的信号重叠。一阶求导公式如下所示:
其中,f'(xi)表示一阶求导处理后的数据,h为光谱扫描步长,xi为波长为inm处的水质样本的吸光度。
其中,通过小波变换和Savitzky-Golay算法对一阶求导后的数据进行平滑处理,获得预处理后的原始光谱数据。该过程的具体步骤为:
S021、通过对一阶求导后的数据进行小波变换,获得第一小波分解系数和第二小波分解系数;
S022、通过Savitzky-Golay算法对所述第一小波分解系数进行平滑处理,获得平滑后的第一小波分解系数,通过Savitzky-Golay算法对所述第二小波分解系数进行平滑处理,获得平滑后的第二小波分解系数;
S023、对平滑后的第二小波分解系数进行阈值量化处理,获得量化后的第二小波分解系数;
S024、对平滑后的第一小波分解系数和量化后的第二小波分解系数进行小波重构,获得预处理后的原始光谱数据。
小波变换是近年来新发展起来的时频表征工具,对白噪声具有很强的抑制能力,但是抑制局部脉冲干扰的能力较弱,这是由于脉冲干扰幅值较大,波宽较窄时,经小波分解后其小波系数大于设定的阈值,致使经过多尺度分解滤波,脉冲干扰仍不能得到有效抑制。
相反,Savitzky-Golay平滑滤波算法是一种移动窗口的加权平均算法,在平滑脉冲干扰的同时,还可以保留信号的细节特征。因此,建立小波-Savitzky-Golay模型对信号进行预处理,可以同时有效地减少随机白噪声和局部脉冲干扰的影响。小波-Savitzky-Golay滤波算法具体步骤如下:
(1)、对含一阶处理后的数据形成的信号进行小波分解,得到相应的第一小波分解系数和第二小波分解系数,具体小波分解公式如下:
其中,cj,k和dj,k分别表示第一小波分解系数和第二小波分解系数,h和g表示滤波器的脉冲响应,j为响应的分解尺度。
(2)、对第一小波分解系数和第二小波分解系数按下式做Savitzky-Golay平滑处理,以第一小波分解系数为例进行说明。设ci是其中的一个小波系数,在ci附近以nl+nr+1个点在最小二乘意义下拟合一个M次多项式pi(c)在ci的值,即光滑函数gi表示为:
其中,nl为ci左边点的个数,bp为多项式的系数。设实测数据为yi,为了使pi(c)拟合测试数据,必须定义系数为bp,使得下式达到最优。
对第二小波分解系数做相同的处理。
(3)、为了保持平滑后的第二小波系数不变,根据下式对平滑后的第二小波系数进行阈值量化处理。
其中,dj表示所述第二小波分解系数,j表示分解尺度,dj(i)表示所述第二小波分解系数中的第i个元素,Thrj表示量化阈值。
具体地,量化阈值为:
其中,σ表示所述第二小波分解系数的噪声方差,j表示分解尺度,n表示所述第二小波分解系数的个数。
(4)、将经过步骤(1)~(3)处理后的第一小波分解系数和第二小波分解系数按照下式进行小波重构:
预处理完成后,通过无信息变量消除法和连续投影算法对预处理后的原始光谱数据进行筛选,获得光谱特征数据。具体分为两步,首先用无信息变量法剔除预处理后的原始光谱数据中的无信息数据,接着从剩下的有用的数据中进行连续投影算法处理,提取特征数据。
UVE算法是在偏最小二乘回归系数的基础上建立的特征波段提取算法,用于去除对建立模型没有贡献的变量,即去除无信息变量,以减少模型输入变量的数量,降低建模的复杂性。为提取出全波段光谱中的无信息变量,UVE算法向PLS模型的输入变量添加随机的噪声变量,采用交叉验证的方法建立PLS模型。将全光谱波段中每个变量的系数平均值和标准差相除的结果定义为变量的稳定性值,之后与随机噪声变量矩阵获得的稳定性值比较,去除和随机噪声变量一样对建模无益的无信息变量。
具体地,用无信息变量法剔除预处理后的原始光谱数据中的无信息数据的过程如下:
利用PLS对原始的光谱矩阵以及浓度矩阵Yn×1进行回归建模,选择最佳的主成分个数为p,其中n是样本的数量,m表示波长变量数;
记Gn×m为随机的噪声变量矩阵,构造出新的矩阵XGn×2m=[X,G]。
采用留一交叉验证法,应用PLS对XGn×2m与Yn×1进行回归建模,每次都去除一个样本,用剩下的样本做PLS回归,获得变量的系数向量bi(1×2m);重复使用上述方法进行PLS回归,最后每个样本都被去除一次,获得变量的系数矩阵其中是相应变量的系数矩阵。
计算出系数矩阵aj中每个变量的均值mean(aj)和标准差S(aj),那么系数矩阵aj的稳定值可以表示为:
去除无信息变量的阈值Cthreshold设置为随机嗓声变量稳定值的绝对值乘以系数0.99。如果原始光谱矩阵中的波长变量满足条件:Cj<Cthreshold,j∈(1,m),该变量被视为无信息变量,从光谱矩阵中去除,最终获得了基于UVE的特征数据矩阵。
连续投影算法作为一种新兴的波长选取方法,能够有效消除众多波长变量之间的共线性影响,降低模型的复杂度,以其简便、快速的特点得到越来越多的应用,在多种样品波长选取中取得了很好的效果。定标集的样品数M和波长数K组成一个近红外光谱的吸收矩阵XM×K,分别记xk(0)和N(N<M-1)为初始的迭代向量和需要提取的波长个数。连续投影算法是一种前向循环选择方法,它从一个波长开始,每次循环,计算它在未选入的波长上的投影,将投影向量最大的波长引入到波长组合,直到循环N次。每一个新选入的波长,都与前一个线性关系最小。从剩下的有用的数据中进行连续投影算法处理提取特征数据的步骤如下:
(1)、初始化,n=1,表示第一次迭代,在光谱矩阵中任选一列向量xj,记为xk(0)。
(2)、集合S定义为:即还没有被选择进波长链的列向量,分别计算xj对S中向量的投影向量:
(3)、记录最大投影的序号:
k(n)=arg(max||Pxj||,j∈S)。
(4)、将最大投影作为下轮的投影向量:
xj=Pxj,j∈S。
(5)、n=n+1,如果n<N,回到(2)继续投影。
因此得到N×K波长组合,对每一对xk(0)和N所决定的组合分别建立定标模型,使用预测均方根误差来决定所建模型的优劣。选出最小的预测均方根误差,它所对应的x* k(0)和N*即为最佳的波长组合。
最小二乘支持向量机是在支持向量机的基础上进行改进的,类似于支持向量机。最小二乘支持向量机进行函数拟合时会对输入数据从常规空间到高维空间进行映射,与此同时用等式约束替代不等式约束,在高维空间里求解最小化损失函数,得到了一个线性的拟合函数,因此最小二乘支持向量机转换为在对偶空间中对一个等式方程组进行二次规划问题的求解,可以极大的提高模型的计算效率。
通过最小二乘支持向量机对所述光谱特征数据进行建模获得检测模型的具体步骤如下:
假定建模集由N个数据组成,输入数据是xk∈RN,输出数据是yk∈R。利用一个非线性的函数将xk进行高维空间的映射,并建立相应的关系模型:
其中,W∈RN为权值向量,b为偏置值。使用最小二乘支持向量机方法进行求解时,函数拟合转化为以下方程进行求解:
上述方程的约束条件是:
式中ek为误差变量,为核空间的映射函数,γ为进行误差调整的惩罚系数。当模型的训练数据含有较多的噪声时,应该选用较小的γ值,然后将模型转变至偶空间进行求解,得到拉格朗日函数如下所示:
其中,拉格朗日函数的乘子ak∈R被称为支持值,对各个变量求偏导获得下列的条件等式:
消除变量w和变量e后,获得的线性方程组如下所示:
其中,
K(xk,xl)为满足Mercer定理的核函数。常用的核函数有线性函数、径向基函数、多项式函数和多层感知器函数等。
本发明中的最小二乘支持向量机建模均使用RBF作为核函数,RBF的公式如下所示:
根据核函数RBF获得最小二乘支持向量机模型的拟合结果为:
从最小二乘支持向量机的实现过程可以看出,最小二乘支持向量机建立摸型的过程主要在对偶空间。
通过检测模型获得待测水质样本的总氮含量检测值。
在模型建成之后,需要对模型性能进行测试时,待其性能比较稳定时,才可用于总氮测定。对模型测试之前,一般先要将样本集划分为训练集和测试集,划分训练集和测试集的常用方法包括浓度梯度法、随机选择法、主成分分析法以及K-S算法。由于前3种方法是根据建模者的主观意识去实施的,具有很强的随机性和不确定性。K-S算法被证明在选择代表性样品方面有较好的效果。本文将选用K-S算法对样本进行划分,以提高总氮的测量精度。Kennard-Stone算法是将已经选择好的样本点与剩余样本点之间最小欧氏距离最大化。样本i和j之间的欧氏距离dij通过样品的原始光谱根据下式进行计算:
其中,rik和rjk分别代表光谱i和j样品在k波长处的吸光度;p代表样品光谱的波长个数。使用这种算法,所有的样本在一开始都被作为选入训练集的候选点,并且整个算法过程中样本被连续地选择。其过程如下:
(1)、使用欧几里得距离测量法,最先选择两个相距最远的样本进入训练集;
(2)、第3个被选入训练集的,是距离前两个样本点最远的样本点:距离定义为第3个点与前两个样本点之间最小的欧几里得距离;
(3)、以此类推,这个过程一直重复,直到选取了足够多的样本进入训练集。
目前,对于不同的化学物质,没有一种通用的最优光谱化学计量学建模方法,判断某一种建模方法效果好坏,可以通过一些常用的模型精度评价指标。目前在光谱分析领域常用的评价指标包括决定系数、建模均方根误差和预测均方根误差。预测模型的较大并且建模均方根误差较小表明预测效果好,反之表示模型的预测效果较差。模型评价指标具体计算的公式如下:
(1)、决定系数的计算公式如下:
其中,R2表示决定系数,xi代表样本的测量值,代表xi的平均值,yi代表预测值,代表yi的平均值,n代表样本数。
(2)建模均方根误差的计算公式如下:
其中,RMSEC表示建模均方根误差,代表建模集样本测量值,代表建模集样本预测值,nc代表建模集样本数。
(3)、预测均方根误差的计算公式如下:
其中,RMSEP表示预测均方根误差,代表预测集样本测量值,代表预测集样本预测值,np代表预测集样本数。
通过决定系数、建模均方根误差和预测均方根误差,判断所述总氮含量检测值是否达到预设精度。目前在光谱分析领域常用的评价指标包括决定系数、建模均方根误差和预测均方根误差。预测模型的决定系数较大并且建模均方根误差值较小表明预测效果好,反之表示模型的预测效果较差。本发明实施例使用这三个评价指标综合反映光谱数据模型的评价精度,找出能够最佳拟合本实验光水质光谱数据的模型。
本发明提供了一种基于光谱技术的水产养殖水质总氮含量检测方法,不需要对样品进行预处理,不需要消耗化学试剂,属于绿色检测技术,是一种快速、低成本、无损分析技术,相对于传统的方法更具有先进性和环保性。
本发明实施例公开一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的方法,例如包括:获取原始光谱数据;通过无信息变量消除法和连续投影算法对预处理后的原始光谱数据进行筛选,获得光谱特征数据;通过最小二乘支持向量机对所述光谱特征数据进行建模,获得检测模型,通过所述检测模型获得待测水质样本的总氮含量检测值。
本实施例提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行上述各方法实施例所提供的方法,例如包括:获取原始光谱数据;通过无信息变量消除法和连续投影算法对预处理后的原始光谱数据进行筛选,获得光谱特征数据;通过最小二乘支持向量机对所述光谱特征数据进行建模,获得检测模型,通过所述检测模型获得待测水质样本的总氮含量检测值。
最后,本发明的方法仅为较佳的实施发明,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种水质总氮含量检测方法,其特征在于,包括:
S1、获取原始光谱数据,所述原始光谱数据包括每一水质样本的水质光谱数据和所述每一水质样本的总氮含量真实值,所述每一水质样本的水质光谱数据表示所述每一水质样本在预设波长范围内的吸光度;
S2、通过无信息变量消除法和连续投影算法对预处理后的原始光谱数据进行筛选,获得光谱特征数据;
S3、通过最小二乘支持向量机对所述光谱特征数据进行建模,获得检测模型,通过所述检测模型获得待测水质样本的总氮含量检测值。
2.根据权利要求1所述方法,其特征在于,步骤S2之前还包括:
S01、对所述原始光谱数据进行一阶求导处理;
S02、通过小波变换和Savitzky-Golay算法对一阶求导后的数据进行平滑处理,获得预处理后的原始光谱数据。
3.根据权利要求2所述方法,其特征在于,通过如下公式对所述原始光谱数据进行一阶求导处理:
<mrow>
<msup>
<mi>f</mi>
<mo>&prime;</mo>
</msup>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>6</mn>
<mi>h</mi>
<mo>&times;</mo>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mn>11</mn>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>+</mo>
<mn>18</mn>
<msub>
<mi>x</mi>
<mrow>
<mi>i</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>-</mo>
<mn>9</mn>
<msub>
<mi>x</mi>
<mrow>
<mi>i</mi>
<mo>-</mo>
<mn>2</mn>
</mrow>
</msub>
<mo>+</mo>
<mn>2</mn>
<msub>
<mi>x</mi>
<mrow>
<mi>i</mi>
<mo>-</mo>
<mn>3</mn>
</mrow>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>,</mo>
</mrow>
其中,f'(xi)表示一阶求导处理后的数据,h为光谱扫描步长,xi为所述原始光谱数据中波长为inm处水质样本的吸光度。
4.根据权利要求2所述方法,其特征在于,步骤S02具体包括:
S021、通过对一阶求导后的数据进行小波变换,获得第一小波分解系数和第二小波分解系数;
S022、通过Savitzky-Golay算法对所述第一小波分解系数进行平滑处理,获得平滑后的第一小波分解系数,通过Savitzky-Golay算法对所述第二小波分解系数进行平滑处理,获得平滑后的第二小波分解系数;
S023、对平滑后的第二小波分解系数进行阈值量化处理,获得量化后的第二小波分解系数;
S024、对平滑后的第一小波分解系数和量化后的第二小波分解系数进行小波重构,获得预处理后的原始光谱数据。
5.根据权利要求4所述方法,其特征在于,通过如下公式对平滑后的第二小波分解系数进行阈值量化处理:
<mrow>
<msubsup>
<mi>d</mi>
<mi>j</mi>
<mo>&prime;</mo>
</msubsup>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>sgn</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>d</mi>
<mi>j</mi>
</msub>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mrow>
<mo>(</mo>
<mo>|</mo>
<mrow>
<msub>
<mi>d</mi>
<mi>j</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>Thr</mi>
<mi>j</mi>
</msub>
</mrow>
<mo>|</mo>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>|</mo>
<msub>
<mi>d</mi>
<mi>j</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo>&GreaterEqual;</mo>
<msub>
<mi>Thr</mi>
<mi>j</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mo>|</mo>
<msub>
<mi>d</mi>
<mi>j</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo><</mo>
<msub>
<mi>Thr</mi>
<mi>j</mi>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
</mrow>
其中,d'j(i)表示对所述第二小波分解系数的第i个元素进行阈值量化处理后的结果,dj表示所述第二小波分解系数,j表示分解尺度,dj(i)表示所述第二小波分解系数中的第i个元素,Thrj表示量化阈值。
6.根据权利要求5所述方法,其特征在于,所述量化阈值为:
<mrow>
<msub>
<mi>Thr</mi>
<mi>j</mi>
</msub>
<mo>=</mo>
<mi>&sigma;</mi>
<msqrt>
<mrow>
<mn>2</mn>
<mi>log</mi>
<mi> </mi>
<mi>n</mi>
</mrow>
</msqrt>
<mo>/</mo>
<msqrt>
<mrow>
<mi>j</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msqrt>
<mo>,</mo>
</mrow>
其中,σ表示所述第二小波分解系数的噪声方差,j表示分解尺度,n表示所述第二小波分解系数的个数。
7.根据权利要求1所述方法,其特征在于,步骤S4之后还包括:
通过决定系数、建模均方根误差和预测均方根误差,判断所述总氮含量检测值是否达到预设精度。
8.一种计算机程序产品,其特征在于,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行如权利要求1至7任一所述的方法。
9.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如权利要求1至7任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711236619.2A CN108007881A (zh) | 2017-11-30 | 2017-11-30 | 一种基于光谱技术的水产养殖水质总氮含量检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711236619.2A CN108007881A (zh) | 2017-11-30 | 2017-11-30 | 一种基于光谱技术的水产养殖水质总氮含量检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108007881A true CN108007881A (zh) | 2018-05-08 |
Family
ID=62055382
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711236619.2A Pending CN108007881A (zh) | 2017-11-30 | 2017-11-30 | 一种基于光谱技术的水产养殖水质总氮含量检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108007881A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108801950A (zh) * | 2018-05-21 | 2018-11-13 | 东南大学 | 一种基于滑动窗多尺度主元分析的紫外光谱水质异常检测方法 |
CN109142233A (zh) * | 2018-08-08 | 2019-01-04 | 安徽汇泽通环境技术有限公司 | 一种饮用水源地水质突变预警与监测系统和方法 |
CN109782728A (zh) * | 2019-03-29 | 2019-05-21 | 华能国际电力股份有限公司德州电厂 | 一种基于Savitzky-Golay滤波器的多变量监控方法与系统 |
CN111751308A (zh) * | 2020-06-24 | 2020-10-09 | 中国科学院西安光学精密机械研究所 | 基于嵌入式arm平台的海水总氮总磷数据处理系统及方法 |
CN111982949A (zh) * | 2020-08-19 | 2020-11-24 | 东华理工大学 | 一种四次导数结合三样条小波变换分离edxrf光谱重叠峰方法 |
CN113029993A (zh) * | 2021-03-24 | 2021-06-25 | 中南大学 | 一种基于注意力机制的紫外光谱快速总氮在线检测方法 |
CN113989639A (zh) * | 2021-10-20 | 2022-01-28 | 华南农业大学 | 基于高光谱图像分析处理方法的荔枝病害自动识别方法及装置 |
CN114166764A (zh) * | 2021-11-09 | 2022-03-11 | 中国农业科学院农产品加工研究所 | 基于特征波长筛选的光谱特征模型的构建方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101221125A (zh) * | 2008-01-24 | 2008-07-16 | 浙江大学 | 用光谱技术测定富营养化水体特征参量的方法 |
CN103674835A (zh) * | 2012-09-14 | 2014-03-26 | 上海海洋大学 | 富营养化水体中氮磷物质含量现场快速检测方法及装置 |
CN106018336A (zh) * | 2016-08-05 | 2016-10-12 | 山东大学 | 一种基于近红外光谱分析技术监测人血白蛋白醋酸缓冲液沉淀过程的方法 |
CN106248746A (zh) * | 2016-09-25 | 2016-12-21 | 西北农林科技大学 | 一种基于介电频谱技术的牛乳蛋白质含量快速检测方法 |
CN106769904A (zh) * | 2017-01-22 | 2017-05-31 | 广州地理研究所 | 基于优化导数求算方法的水库水体总氮含量估算方法 |
CN106940290A (zh) * | 2017-01-22 | 2017-07-11 | 广州地理研究所 | 基于高光谱数据的水库水体氨氮含量估算方法 |
-
2017
- 2017-11-30 CN CN201711236619.2A patent/CN108007881A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101221125A (zh) * | 2008-01-24 | 2008-07-16 | 浙江大学 | 用光谱技术测定富营养化水体特征参量的方法 |
CN103674835A (zh) * | 2012-09-14 | 2014-03-26 | 上海海洋大学 | 富营养化水体中氮磷物质含量现场快速检测方法及装置 |
CN106018336A (zh) * | 2016-08-05 | 2016-10-12 | 山东大学 | 一种基于近红外光谱分析技术监测人血白蛋白醋酸缓冲液沉淀过程的方法 |
CN106248746A (zh) * | 2016-09-25 | 2016-12-21 | 西北农林科技大学 | 一种基于介电频谱技术的牛乳蛋白质含量快速检测方法 |
CN106769904A (zh) * | 2017-01-22 | 2017-05-31 | 广州地理研究所 | 基于优化导数求算方法的水库水体总氮含量估算方法 |
CN106940290A (zh) * | 2017-01-22 | 2017-07-11 | 广州地理研究所 | 基于高光谱数据的水库水体氨氮含量估算方法 |
Non-Patent Citations (3)
Title |
---|
位秀雷等: "小波-SG-EEMD 混合算法及混沌去噪应用研究", 《振动与冲击》 * |
刘胜等: "《智能预报技术及其在船舶工程中的应用》", 30 November 2015 * |
潘国峰: "水质总氮光谱检测建模方法研究", 《中国博士学位论文全文数据库 工程科技Ⅰ辑》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108801950A (zh) * | 2018-05-21 | 2018-11-13 | 东南大学 | 一种基于滑动窗多尺度主元分析的紫外光谱水质异常检测方法 |
CN108801950B (zh) * | 2018-05-21 | 2020-09-11 | 东南大学 | 基于滑动窗多尺度主元分析的紫外光谱水质异常检测方法 |
CN109142233A (zh) * | 2018-08-08 | 2019-01-04 | 安徽汇泽通环境技术有限公司 | 一种饮用水源地水质突变预警与监测系统和方法 |
CN109782728A (zh) * | 2019-03-29 | 2019-05-21 | 华能国际电力股份有限公司德州电厂 | 一种基于Savitzky-Golay滤波器的多变量监控方法与系统 |
CN111751308A (zh) * | 2020-06-24 | 2020-10-09 | 中国科学院西安光学精密机械研究所 | 基于嵌入式arm平台的海水总氮总磷数据处理系统及方法 |
CN111982949A (zh) * | 2020-08-19 | 2020-11-24 | 东华理工大学 | 一种四次导数结合三样条小波变换分离edxrf光谱重叠峰方法 |
CN113029993A (zh) * | 2021-03-24 | 2021-06-25 | 中南大学 | 一种基于注意力机制的紫外光谱快速总氮在线检测方法 |
CN113989639A (zh) * | 2021-10-20 | 2022-01-28 | 华南农业大学 | 基于高光谱图像分析处理方法的荔枝病害自动识别方法及装置 |
CN113989639B (zh) * | 2021-10-20 | 2024-04-16 | 华南农业大学 | 基于高光谱图像分析处理方法的荔枝病害自动识别方法及装置 |
CN114166764A (zh) * | 2021-11-09 | 2022-03-11 | 中国农业科学院农产品加工研究所 | 基于特征波长筛选的光谱特征模型的构建方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108007881A (zh) | 一种基于光谱技术的水产养殖水质总氮含量检测方法 | |
Li et al. | Advances in non-destructive early assessment of fruit ripeness towards defining optimal time of harvest and yield prediction—A review | |
Yu et al. | Hyperspectral imaging for mapping of total nitrogen spatial distribution in pepper plant | |
CN106596416A (zh) | 一种基于高光谱成像技术的冷鲜肉品质无损检测方法 | |
Yang et al. | Fusion of spectra and texture data of hyperspectral imaging for the prediction of the water-holding capacity of fresh chicken breast filets | |
CN105548028A (zh) | 禽蛋新鲜度的光纤光谱分级检测装置及其方法 | |
Song et al. | Spatial variability analysis of within-field winter wheat nitrogen and grain quality using canopy fluorescence sensor measurements | |
CN108956584B (zh) | 一种桑椹中重金属元素铬的快速准确检测方法 | |
Cevallos et al. | Vision-based analysis on leaves of tomato crops for classifying nutrient deficiency using convolutional neural networks | |
Fan et al. | Nitrogen balance index prediction of winter wheat by canopy hyperspectral transformation and machine learning | |
CN108519339A (zh) | 一种基于WT-LSSVR的叶片镉含量Vis-NIR光谱特征建模方法 | |
CN110569605A (zh) | 一种基于nsga2-elm的粳稻叶片氮素含量反演模型方法 | |
Kalopesa et al. | Estimation of sugar content in wine grapes via in situ VNIR–SWIR point spectroscopy using explainable artificial intelligence techniques | |
Ye et al. | NIR hyperspectral imaging technology combined with multivariate methods to identify shrimp freshness | |
Wang et al. | Digital image processing technology under backpropagation neural network and K-Means Clustering algorithm on nitrogen utilization rate of Chinese cabbages | |
Sun et al. | Determination of moisture content in barley seeds based on hyperspectral imaging technology | |
CN107024445A (zh) | 蔬菜中硝酸盐的快速检测的建模方法和检测方法 | |
CN115443889A (zh) | 作物精准灌溉方法及装置 | |
Liu et al. | Estimation of plant height and aboveground biomass of Toona sinensis under drought stress using RGB-D imaging | |
Tan et al. | Soil nitrogen content detection based on near-infrared spectroscopy | |
CN107944413A (zh) | 基于光谱指数排序法的水生植被遥感分类阈值计算方法 | |
Zhao et al. | Simultaneous quantification and visualization of photosynthetic pigments in Lycopersicon esculentum mill. Under different levels of nitrogen application with visible-near infrared hyperspectral imaging technology | |
Zhu et al. | Digital mapping of root-zone soil moisture using UAV-based multispectral data in a kiwifruit orchard of northwest China | |
Guo et al. | Predicting F v/F m and evaluating cotton drought tolerance using hyperspectral and 1D-CNN | |
Zhang et al. | Evaluating maize grain quality by continuous wavelet analysis under normal and lodging circumstances |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180508 |