CN108827909B - 基于可见近红外光谱与多目标融合的土壤快速分类方法 - Google Patents
基于可见近红外光谱与多目标融合的土壤快速分类方法 Download PDFInfo
- Publication number
- CN108827909B CN108827909B CN201810581522.3A CN201810581522A CN108827909B CN 108827909 B CN108827909 B CN 108827909B CN 201810581522 A CN201810581522 A CN 201810581522A CN 108827909 B CN108827909 B CN 108827909B
- Authority
- CN
- China
- Prior art keywords
- soil
- classification
- profile
- spectrum
- near infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002689 soil Substances 0.000 title claims abstract description 277
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000002329 infrared spectrum Methods 0.000 title claims abstract description 27
- 230000004927 fusion Effects 0.000 title claims abstract description 18
- 238000001228 spectrum Methods 0.000 claims abstract description 57
- 238000012706 support-vector machine Methods 0.000 claims abstract description 37
- 238000012795 verification Methods 0.000 claims abstract description 26
- 230000003595 spectral effect Effects 0.000 claims description 39
- 239000000523 sample Substances 0.000 claims description 31
- 230000004044 response Effects 0.000 claims description 13
- 238000009499 grossing Methods 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 10
- 230000000717 retained effect Effects 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 238000005192 partition Methods 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 5
- 238000000638 solvent extraction Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000002310 reflectometry Methods 0.000 claims description 4
- 238000000227 grinding Methods 0.000 claims description 3
- 238000001035 drying Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 abstract description 3
- 238000011835 investigation Methods 0.000 abstract description 2
- 239000010410 layer Substances 0.000 description 51
- 230000006870 function Effects 0.000 description 24
- 238000005516 engineering process Methods 0.000 description 6
- 238000013145 classification model Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000004468 VIS-NIR spectroscopy Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000004611 spectroscopical analysis Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004497 NIR spectroscopy Methods 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009313 farming Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了一种基于可见近红外光谱与多目标融合的土壤快速分类方法。首先利用可见近红外光谱仪快速获取土壤剖面不同发生层风干研磨土样的光谱数据，进行平滑去噪后，并将数据集划分为建模集和独立验证集。其次对土壤剖面的土壤系统分类结果及建模集中土壤剖面光谱之间的相关性建立基于径向基核函数的二分类支持向量机模型。然后通过二分类支持向量机模型预测独立验证集，从二分类支持向量机模型中提取每个发生层中所有土壤类型二分类组合的得票数，并加总同一剖面中所有发生层的得票数。最终加总得票最高的土壤类型即为土壤剖面的预测土壤类型。本发明能够快速准确地预测剖面的土壤类型，为大尺度高精度土壤测绘、土地资源调查提供了新思路。
Description
技术领域
本发明涉及一种土壤快速分类方法，尤其是涉及一种可见近红外光谱与多目标融合的土壤分类方法。
技术背景
准确了解土壤资源空间分布对于土壤可持续发展和管理具有十分重要的意义。对于农场主和决策者而言，土壤类型分布的科学认知有助于包括土壤资源的精准管理(比如耕作计划制定和水渠设计)。传统的土壤调查主要包括了实地勘测，实验室分析，专家知识以及后续的分类和制图等环节，因此常常费时费力。随着精准农业的持续发展，精细化的土壤类型图在土壤资源决策中的需求日益提升，传统的土壤调查已经无法满足这一要求，因此我们需要寻求一种更高效经济的技术来解决这个问题。
新近发展的近地传感技术如可见近红外光谱技术在自动化制图方面存在着巨大的潜力。目前国际上一致认为可见近红外光谱技术能够以较低的经济成本对土壤属性进行快速、精准和无损的测量(Stenberg等，2010.Stenberg,B.,Viscarra Rossel,R.A.,Mouazen,A.M.&Wetterlind,J.Visible and near infrared spectroscopy in soilscience.Advances in Agronomy，2010，107：163—215.)。此外，可见近红外光谱技术还具有同时估测多种土壤物理化学属性的优点。
土壤属性能够被土壤可见近红外光谱的机理在于土壤组成部分在其响应波段会有特征吸收峰，目前可见近红外光谱技术已经被广泛用于包括土壤有机碳、颜色，质地和pH等多种土壤属性的预测。
如何融合土壤剖面的光谱信息进行土壤分类具有很大的挑战性。目前的研究往往通过某一深度的土壤(如0-20cm)光谱来建立土壤类型的分类模型，这个方法从机理上存在着缺陷，因为土壤分类系统是基于土壤剖面中多个深度的土壤理化属性来判别土壤类型的。为了弥补上述不足，Viscarra Rossel和Webster(2011)(Viscarra Rossel,R.A.,&Webster,R.2011.Discrimination of Australian soil horizons and classes fromtheir visible–near infrared spectra.European Journal of Soil Science,62:637—647.)通过平均表层土壤发生层和底层土壤发生层的光谱数据成功将土壤光谱技术用于澳洲土壤类型的分类。Vasques等(2014)(Vasques,G.M.,Demattê,J.A.M.,Rossel,R.A.V.,Ramírez-López,L.,&Terra,F.S.2014.Soil classification using visible/near-infrared diffuse reflectance spectra from multiple depths.Geoderma,223:73—78.)则将三个固定土壤深度(0-20cm，40-60cm和80-100cm)的光谱进行拼接组合成一个新的光谱，然后通过分类模型较好地预测了巴西的土壤类型。上述两个研究的不足在于：1)平均土壤表层和底层的光谱数据会削弱土壤光谱的特征，忽略了不同层次的光谱分类信息，从而导致分类精度降低；2)合并固定土壤深度光谱的方法忽视了土壤分类系统中所用的诊断层来自于土壤发生层这个重要前提，从而降低了土壤分类的科学性。因此将土壤发生层结合可见近红外光谱技术是快速准确土壤分类的一个新方向。
目前土壤发生层结合可见近红外光谱技术中存在的一个难题是如何处理不同土壤剖面中土壤发生层数目不统一的现象。在中国土壤系统分类中，大部分土壤剖面往往含有A，B和C三个发生层，但是有些土壤类型比如淋溶土和雏形土仅有A和B层，而新成土仅有A和C层。因此，亟待开发一种新的算法用来融合不同数目土壤发生层可见近红外光谱信息从而进行土壤的快速准确分类。
支持向量机是基于结构风险最优化的机器学习算法，可用于分类和回归分析，并能够避免过度拟合。支持向量机由最初的二分类发展而来。
发明内容
本发明的目的在于提供一种基于可见近红外光谱与多目标融合的土壤快速分类方法，本发明采用的技术方案的步骤如下：
基于可见近红外光谱与多目标融合的土壤快速分类方法，其包括以下步骤：
步骤(1)：采集不同土壤剖面中各个发生层的样本，分析确定每个土壤剖面的土壤类型，形成土壤剖面数据集；
步骤(2)：对每个土壤剖面各个发生层的样本进行干燥、研磨过筛，然后使用可见近红外光谱仪和接触式探头(High Intensity Contact Probe,Analytical SpectralDevices Inc.,Boulder,Colorado)测量每个土壤剖面各个发生层样本的光谱数据，每个发生层样本测量多组光谱，然后经过算术平均得到该样本的初始光谱；
步骤(3)：对步骤(2)中得到的光谱数据进行预处理，去除初始光谱中噪音超标的波段，并对保留下来的光谱数据进行平滑去噪处理；
步骤(4)：将土壤剖面数据集中的土壤剖面按照土壤类型进行分区，并对每个分区的土壤剖面进行随机采样，每个土壤类型分区中随机选择预定比例的土壤剖面进入建模集，其余进入独立验证集；建模集和独立验证集中的每个土壤剖面数据中包含该土壤剖面的土壤类型，以及该土壤剖面中各个发生层样本经过平滑去噪处理后的光谱数据；
步骤(5)：利用建模集中土壤剖面不同发生层样本的光谱数据以及该发生层样本对应的土壤类型作为训练数据，对二分类支持向量机模型进行训练，使模型能够根据每个发生层样本的光谱预测土壤类型；
步骤(6)：利用经过训练的二分类支持向量机模型对独立验证集中每个土壤剖面每个发生层依次投票，每层具体操作如下：对所有可能的n种土壤类型中的任意两种类型进行一次投票，通过二分类支持向量机模型分别得到两种类型的决策值，然后根据决策值确定该两种类型的投票结果，对所有n种土壤类型共得到
个投票结果；对投票结果进行统计，得到每种土壤类型投票数，最后汇总同一个土壤剖面的所有发生层中每种土壤类型的得票数，将得票数最高的土壤类型作为该土壤剖面的预测土壤类型；
步骤(7)：利用独立验证集中每个土壤剖面的真实土壤类型和预测土壤类型进行对比，评价二分类支持向量机模型的预测精度；当预测精度达标后，即可用经过训练的二分类支持向量机模型进行土壤类预测。
作为优选，步骤(2)中，可见近红外光谱仪选择ASD FieldSpec 3可见近红外光谱仪，其光谱波长范围为350-2500nm，光谱间隔为1nm。
作为优选，步骤(2)中，每次光谱测量前，光谱仪须通过99％反射率的白板进行校正。
作为优选，步骤(3)中，对初始光谱的两端进行去除，保留下来的光谱数据为初始光谱中400～2450nm波段。
作为优选，通过二阶21窗口的Savitzky–Golay方法对光谱进行平滑去噪，其具体公式如下：
其中Zm和zm分别是波长m nm处经过Savitzky–Golay平滑去噪后的光谱值和原始的光谱值，n为平滑窗口大小，Ap是波长m+p nm处对应的卷积系数。
作为优选，步骤(4)中，对土壤剖面进行随机分层采样是基于土壤剖面为单位进行的，同一剖面中不同土壤发生层样本必同属于建模集或者独立验证集。
作为优选，步骤(5)中，所述的二分类支持向量机模型基于径向基核函数，其通过损失函数优化支持向量从而得到最佳的分类效果，其损失函数的具体公式如下：
其中yi是第i个响应变量，
是超平面的法向量，
是第i个z维的实向量(即预测变量)，b是一个介于-1和1之间的变量，通过
来控制从原点沿着法向量
到超平面的偏移量；
表示在
的条件下响应变量yi的输出值；
上述的损失函数通过下述公式进行分类的最优化：
其中s为建模样本的总个数，λ为权衡系数，用于权衡增加间隔超平面大小与确保
位于间隔超平面正确一侧的关系。
作为优选，步骤(5)中，二分类支持向量机模型中采用的核函数为径向基函数。
作为优选，步骤(5)中，二分类中用来判别分类的决策值范围在-1到1之间，正值代表分类结果为第一类，负值代表分类结果为第二类，该值的绝对值越大表明两个类别的分类效果越好。
作为优选，步骤(6)中，若出现两种或两种以上的土壤类型投票数相同的情况，则比较这些土壤类型的所有决策值，具有最大的决策值绝对值的土壤类型为该土壤剖面的预测土壤类型。
与背景技术相比，本发明具有的有益效果是：本发明提出的可见近红外光谱结合多目标融合支持向量机能够快速准确地预测土壤剖面的土壤类型，不仅减少了传统土壤分类对专家知识的依赖，同时大大降低了传统土壤分类中大量实验室理化分析的测试费用，为大尺度高精度土壤测绘，土地资源调查提供了新思路。
附图说明
图1是本实施方式的土壤剖面分布图。
图2是本实施方式的土壤典型剖面的实际采样图，研磨干样图和土壤可近近红外光谱图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
本发明的基于可见近红外光谱与多目标融合的土壤快速分类方法，包括以下步骤：
步骤(1)：采集待分类预测的区域内不同土壤剖面中各个发生层的样本，分析确定每个土壤剖面的土壤类型，形成土壤剖面数据集。土壤剖面数据集中的土壤剖面可尽量多，以覆盖所有土壤类型。
步骤(2)：对每个土壤剖面各个发生层的样本进行干燥、研磨并过2mm孔筛，然后使用ASD FieldSpec 3可见近红外光谱仪(光谱波长范围为350-2500nm，光谱间隔为1nm)和接触式探头(High Intensity Contact Probe,Analytical Spectral Devices Inc.,Boulder,Colorado)测量每个土壤剖面各个发生层样本的光谱数据，每个发生层样本测量多组光谱，然后经过算术平均得到该样本的初始光谱，平均时将同一光谱波长下不同光谱中的光谱值进行算数平均。另外，每次光谱测量前，光谱仪须通过99％反射率的白板进行校正。
步骤(3)：对步骤(2)中得到的光谱数据进行预处理，去除初始光谱中噪音超标的波段。预处理时，可以对初始光谱的两端进行去除，保留下来的光谱数据为初始光谱中400～2450nm波段。然后对保留下来的光谱数据通过二阶21窗口的Savitzky–Golay方法进行平滑去噪处理，其具体公式如下：
其中Zm和zm分别是波长m nm处经过Savitzky–Golay平滑去噪后的光谱值和原始的光谱值，n为平滑窗口大小，Ap是波长m+p nm处对应的卷积系数。
步骤(4)：将土壤剖面数据集中的土壤剖面按照土壤类型进行分区，并对每个分区的土壤剖面进行随机采样，每个土壤类型分区中随机选择预定比例的土壤剖面进入建模集，其余进入独立验证集；建模集和独立验证集中的每个土壤剖面数据中包含该土壤剖面的土壤类型，以及该土壤剖面中各个发生层样本经过平滑去噪处理后的光谱数据。需要注意的是，本步骤中对土壤剖面进行随机分层采样是基于土壤剖面为单位进行的，同一剖面中不同土壤发生层样本必同属于建模集或者独立验证集，不能将同一土壤剖面中的不同土壤发生层样本划分至不同集。
步骤(5)：利用建模集中土壤剖面不同发生层样本的光谱数据以及该发生层样本对应的土壤类型作为训练数据，对二分类支持向量机模型进行训练，使模型能够根据每个发生层样本的光谱预测土壤类型。
二分类支持向量机模型的主要原理是通过损失函数优化支持向量从而得到最佳的分类效果。本发明中二分类支持向量机模型基于径向基核函数，其通过损失函数优化支持向量从而得到最佳的分类效果，其损失函数的具体公式如下：
其中yi是第i个响应变量，
是超平面的法向量，是第i个z维的实向量(即预测变量)，b是一个介于-1和1之间的变量，通过
来控制从原点沿着法向量到超平面的偏移量；
表示在
的条件下响应变量yi的输出值；如果
则该损失函数的值为0，表明
位于间隔超平面正确分类的一侧；对于间隔超平面分类错误的数据
则其损失函数的值与距间隔超平面的距离成正比。
上述的损失函数通过下述公式进行分类的最优化：
其中s为建模样本的总个数，λ为权衡系数，用于权衡增加间隔超平面大小与确保
位于间隔超平面正确一侧的关系。
该二分类支持向量机模型中采用的核函数为径向基函数。
步骤(6)：利用经过训练的二分类支持向量机模型对独立验证集中每个土壤剖面每个发生层依次投票，每层具体操作如下：对所有可能的n种土壤类型中的任意两种类型进行一次投票，通过二分类支持向量机模型分别得到两种类型A、B的决策值，将A定义为第一类别，B定义为第二类别，若决策值为正A得一票，否则B得一票。根据决策值确定该两种类型的投票结果后，对所有n种土壤类型共得到个投票结果；对投票结果进行统计，得到每种土壤类型投票数，最后汇总同一个土壤剖面的所有发生层中每种土壤类型的得票数，将得票数最高的土壤类型作为该土壤剖面的预测土壤类型。若出现两种或两种以上的土壤类型投票数相同的情况，则比较这些土壤类型的所有决策值(二分类中用来判别分类的决策值范围在-1到1之间，正值代表分类结果为第一类，负值代表分类结果为第二类，该值的绝对值越大表明两个类别的分类效果越好)，具有最大的决策值绝对值的土壤类型为该土壤剖面的预测土壤类型。
步骤(7)：利用独立验证集中每个土壤剖面的真实土壤类型和预测土壤类型进行对比，评价二分类支持向量机模型的预测精度。当预测精度达标后，即可用经过训练的二分类支持向量机模型进行土壤类预测。预测时，也采用与步骤(2)和(3)相同的方法，采集每个土壤剖面各个发生层的样本的初始光谱，然后进行相同的预处理后输入二分类支持向量机模型，得到其预测土壤类型。
下面结合附图和实施例对本发明作进一步说明。
实施例：
本实施例中，选取浙江省典型土壤剖面的可见近红外光谱进行建模，最终得到土壤类型快速分类模型。
本发明的基于可见近红外光谱与多目标融合的土壤快速分类方法，包括以下步骤：
步骤(1)：根据专家知识采集浙江省各地131个土壤剖面各个发生层的样本，依据中国土壤系统分类，土壤专家通过剖面诊断及实验室理化分析得到每个土壤剖面的土壤类型，形成土壤剖面数据集。土壤剖面的空间分布如图1。
步骤(2)：对每个土壤剖面各个发生层的样本进行干燥、研磨并过2mm孔筛，然后使用ASD FieldSpec 3可见近红外光谱仪和高强度接触式探头(High Intensity ContactProbe,Analytical Spectral Devices Inc.,Boulder,Colorado)测量每个土壤剖面各个发生层样本的光谱数据，ASD FieldSpec 3可见近红外光谱仪光谱波长范围350-2500nm，光谱间隔为1nm。每个发生层样本测量10组光谱，然后经过算术平均得到该样本的初始光谱，平均时将同一光谱波长下不同光谱中的光谱值进行算数平均。另外，每次光谱测量前，光谱仪须通过99％反射率的白板进行校正。以两个典型土壤剖面为例，土壤剖面的采样图、研磨干样图和可见近红外光谱图如图2所示，每个剖面分为A、B、C三个发生层。
步骤(3)：对步骤(2)中得到的光谱数据进行预处理，以去除初始光谱中噪音超标的波段。本实施例在预处理时，对初始光谱的两端进行去除，保留下来的光谱数据为初始光谱中400～2450nm波段，以降低光谱两端的仪器噪音。然后对保留下来的光谱数据通过二阶21窗口的Savitzky–Golay方法进行平滑去噪处理，其具体公式如下：
其中Zm和zm分别是波长m nm处经过Savitzky–Golay平滑去噪后的光谱值和原始的光谱值，n为平滑窗口大小，Ap是波长m+p nm处对应的卷积系数。
步骤(4)：将土壤剖面数据集中的土壤剖面按照土壤类型进行分区，即将同一类土壤类型的剖面划分至同一分区。分区完成后，对每个分区的土壤剖面进行随机采样，每个土壤类型分区中随机选择预定比例的土壤剖面进入建模集，其余进入独立验证集，保证每个土壤类型都有建模样本和验证样本。建模集和独立验证集中的每个土壤剖面数据中包含该土壤剖面的土壤类型，以及该土壤剖面中各个发生层样本经过平滑去噪处理后的光谱数据。需要注意的是，本步骤中对土壤剖面进行随机分层采样是基于土壤剖面为单位进行的，同一剖面中不同土壤发生层样本必同属于建模集或者独立验证集，不能将同一土壤剖面中的不同土壤发生层样本划分至不同集。本实施例中，土壤剖面样本的2/3进入建模集，其余1/3进入独立验证集。最终建模集和验证集分别包含89和42个土壤剖面。
步骤(5)土壤分类模型的建立：利用建模集中土壤剖面不同发生层样本的光谱数据以及该发生层样本对应的土壤类型作为训练数据，对二分类支持向量机模型进行训练，使模型能够根据每个发生层样本的光谱预测土壤类型。
二分类支持向量机模型的主要原理是通过损失函数优化支持向量从而得到最佳的分类效果。本发明中二分类支持向量机模型基于径向基核函数，其通过损失函数优化支持向量从而得到最佳的分类效果，其损失函数的具体公式如下：
其中yi是第i个响应变量，是超平面的法向量，
是第i个z维的实向量(即预测变量)，b是一个介于-1和1之间的变量，通过
来控制从原点沿着法向量
到超平面的偏移量；
表示在
的条件下响应变量yi的输出值；如果
则该损失函数的值为0，表明
位于间隔超平面正确分类的一侧；对于间隔超平面分类错误的数据则其损失函数的值与距间隔超平面的距离成正比。
上述的损失函数通过下述公式进行分类的最优化：
其中s为建模样本的总个数，λ为权衡系数，用于权衡增加间隔超平面大小与确保
位于间隔超平面正确一侧的关系。
该二分类支持向量机模型中采用的核函数为径向基函数。
步骤(6)：利用经过训练的二分类支持向量机模型对独立验证集中每个土壤剖面每个发生层依次投票，每层具体操作如下：对所有可能的n种土壤类型(n为土壤剖面数据集中的土壤类型总数)中的任意两种类型(记为A、B)进行一次投票，通过二分类支持向量机模型分别得到两种类型A、B的决策值，将A定义为第一类别，B定义为第二类别，若决策值为正A得一票，否则B得一票。根据决策值确定该两种类型的投票结果后，对所有n种土壤类型共得到个投票结果；对投票结果进行统计，得到每种土壤类型投票数，最后汇总同一个土壤剖面的所有发生层中每种土壤类型的得票数，将得票数最高的土壤类型作为该土壤剖面的预测土壤类型。若出现两种或两种以上的土壤类型投票数相同的情况，则比较这些土壤类型的所有决策值(二分类中用来判别分类的决策值范围在-1到1之间，正值代表分类结果为第一类，负值代表分类结果为第二类，该值的绝对值越大表明两个类别的分类效果越好)，具有最大的决策值绝对值的土壤类型为该土壤剖面的预测土壤类型。
步骤(7)独立验证集预测精度评价：利用独立验证集中每个土壤剖面的真实土壤类型和预测土壤类型进行对比，评价二分类支持向量机模型的预测精度。
本实施例通过分类准确度来评价独立验证集的预测精度评价的结果如表1所示，且由表1可知，独立验证集的总体分类精度为69％，具有较好的分类效果。
表1独立验证集土壤类型预测精度
该模块预测精度满足要求，可用于土壤类预测。预测时，也采用与步骤(2)和(3)相同的方法，采集每个土壤剖面各个发生层的样本的初始光谱，然后进行相同的预处理后输入二分类支持向量机模型，得到其预测土壤类型。
以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。
Claims (10)
1.一种基于可见近红外光谱与多目标融合的土壤快速分类方法，其特征在于，包括以下步骤：
步骤(1)：采集不同土壤剖面中各个发生层的样本，分析确定每个土壤剖面的土壤类型，形成土壤剖面数据集；
步骤(2)：对每个土壤剖面各个发生层的样本进行干燥、研磨过筛，然后使用可见近红外光谱仪和接触式探头测量每个土壤剖面各个发生层样本的光谱数据，每个发生层样本测量多组光谱，然后经过算术平均得到该样本的初始光谱；
步骤(3)：对步骤(2)中得到的光谱数据进行预处理，去除初始光谱中噪音超标的波段，并对保留下来的光谱数据进行平滑去噪处理；
步骤(4)：将土壤剖面数据集中的土壤剖面按照土壤类型进行分区，并对每个分区的土壤剖面进行随机分层采样，每个土壤类型分区中随机选择预定比例的土壤剖面进入建模集，其余进入独立验证集；建模集和独立验证集中的每个土壤剖面数据中包含该土壤剖面的土壤类型，以及该土壤剖面中各个发生层样本经过平滑去噪处理后的光谱数据；
步骤(5)：利用建模集中土壤剖面不同发生层样本的光谱数据以及该发生层样本对应的土壤类型作为训练数据，对二分类支持向量机模型进行训练，使模型能够根据每个发生层样本的光谱预测土壤类型；
步骤(6)：利用经过训练的二分类支持向量机模型对独立验证集中每个土壤剖面每个发生层依次投票，每层具体操作如下：对所有可能的n种土壤类型中的任意两种类型进行一次投票，通过二分类支持向量机模型分别得到两种类型的决策值，然后根据决策值确定该两种类型的投票结果，对所有n种土壤类型共得到
个投票结果；对投票结果进行统计，得到每种土壤类型投票数，最后汇总同一个土壤剖面的所有发生层中每种土壤类型的得票数，将得票数最高的土壤类型作为该土壤剖面的预测土壤类型；
步骤(7)：利用独立验证集中每个土壤剖面的真实土壤类型和预测土壤类型进行对比，评价二分类支持向量机模型的预测精度；当预测精度达标后，即可用经过训练的二分类支持向量机模型进行土壤类型 预测。
2.根据权利要求1所述的基于可见近红外光谱与多目标融合的土壤快速分类方法，其特征在于，步骤(2)中，可见近红外光谱仪选择ASD FieldSpec 3可见近红外光谱仪，其光谱波长范围为350-2500nm，光谱间隔为1nm。
3.根据权利要求1所述的基于可见近红外光谱与多目标融合的土壤快速分类方法，其特征在于，步骤(2)中，每次光谱测量前，光谱仪须通过99％反射率的白板进行校正。
4.根据权利要求1所述的基于可见近红外光谱与多目标融合的土壤快速分类方法，其特征在于，步骤(3)中，对初始光谱的两端进行去除，保留下来的光谱数据为初始光谱中400～2450nm波段。
5.根据权利要求1所述的基于可见近红外光谱与多目标融合的土壤快速分类方法，其特征在于，通过二阶21窗口的Savitzky–Golay方法对光谱进行平滑去噪，其具体公式如下：
其中Zm和zm分别是波长m nm处经过Savitzky–Golay平滑去噪后的光谱值和原始的光谱值，n为平滑窗口大小，Ap是波长m+p nm处对应的卷积系数。
6.根据权利要求1所述的基于可见近红外光谱与多目标融合的土壤快速分类方法，其特征在于，步骤(4)中，对土壤剖面进行随机分层采样是基于土壤剖面为单位进行的，同一剖面中不同土壤发生层样本必同属于建模集或者独立验证集。
7.根据权利要求1所述的基于可见近红外光谱与多目标融合的土壤快速分类方法，其特征在于，步骤(5)中，所述的二分类支持向量机模型基于径向基核函数，其通过损失函数优化支持向量从而得到最佳的分类效果，其损失函数的具体公式如下：
其中yi是第i个响应变量，
是超平面的法向量，
是第i个z维的实向量，b是一个介于-1和1之间的变量，通过
来控制从原点沿着法向量
到超平面的偏移量；
表示在
的条件下响应变量yi的输出值；
上述的损失函数通过下述公式进行分类的最优化：
其中s为建模样本的总个数，λ为权衡系数，用于权衡增加间隔超平面大小与确保
位于间隔超平面正确一侧的关系。
8.根据权利要求1所述的基于可见近红外光谱与多目标融合的土壤快速分类方法，其特征在于，步骤(5)中，二分类支持向量机模型中采用的核函数为径向基函数。
9.根据权利要求1所述的基于可见近红外光谱与多目标融合的土壤快速分类方法，其特征在于，步骤(5)中，二分类中用来判别分类的决策值范围在-1到1之间，正值代表分类结果为第一类，负值代表分类结果为第二类，该值的绝对值越大表明两个类别的分类效果越好。
10.根据权利要求1所述的基于可见近红外光谱与多目标融合的土壤快速分类方法，其特征在于，步骤(6)中，若出现两种以上的土壤类型投票数相同的情况，则比较这些土壤类型的所有决策值，具有最大的决策值绝对值的土壤类型为该土壤剖面的预测土壤类型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810581522.3A CN108827909B (zh) | 2018-06-07 | 2018-06-07 | 基于可见近红外光谱与多目标融合的土壤快速分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810581522.3A CN108827909B (zh) | 2018-06-07 | 2018-06-07 | 基于可见近红外光谱与多目标融合的土壤快速分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108827909A CN108827909A (zh) | 2018-11-16 |
| CN108827909B true CN108827909B (zh) | 2020-01-24 |
Family
ID=64144718
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810581522.3A Active CN108827909B (zh) | 2018-06-07 | 2018-06-07 | 基于可见近红外光谱与多目标融合的土壤快速分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108827909B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109669023A (zh) * | 2018-12-05 | 2019-04-23 | 浙江大学 | 一种基于多传感器融合的土壤属性预测方法 |
| CN113436153B (zh) * | 2021-06-11 | 2023-07-14 | 中国科学院南京土壤研究所 | 一种基于高光谱成像和支持向量机技术的原状土壤剖面碳组分预测方法 |
| CN114324216B (zh) * | 2022-01-06 | 2023-08-01 | 中国科学院南京土壤研究所 | 一种基于土层组合特征的土壤数值分类方法 |
| CN118225710A (zh) * | 2024-05-23 | 2024-06-21 | 中兵勘察设计研究院有限公司 | 基于光谱传感器的土层名称推定系统、方法和设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006038511A (ja) * | 2004-07-23 | 2006-02-09 | Tokyo Univ Of Agriculture & Technology | 土壌分析方法及び土壌分析装置 |
| CN102680474A (zh) * | 2012-05-25 | 2012-09-19 | 浙江大学 | 利用全景环带摄影法快速预判土壤类型的装置和方法 |
| CN103234922A (zh) * | 2013-03-29 | 2013-08-07 | 浙江大学 | 一种基于大样本土壤可见-近红外光谱分类的土壤有机质快速检测方法 |
| CN103996047A (zh) * | 2014-03-04 | 2014-08-20 | 西安电子科技大学 | 基于压缩谱聚类集成的高光谱图像分类方法 |
| CN105550707A (zh) * | 2015-12-11 | 2016-05-04 | 中国烟草总公司广东省公司 | 一种烟田遥感数据的分类提取方法 |
| CN106442400A (zh) * | 2016-10-31 | 2017-02-22 | 湖北省农业科学院果树茶叶研究所 | 一种近红外光谱快速判定不同土壤类型茶鲜叶的方法 |
-
2018
- 2018-06-07 CN CN201810581522.3A patent/CN108827909B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006038511A (ja) * | 2004-07-23 | 2006-02-09 | Tokyo Univ Of Agriculture & Technology | 土壌分析方法及び土壌分析装置 |
| CN102680474A (zh) * | 2012-05-25 | 2012-09-19 | 浙江大学 | 利用全景环带摄影法快速预判土壤类型的装置和方法 |
| CN103234922A (zh) * | 2013-03-29 | 2013-08-07 | 浙江大学 | 一种基于大样本土壤可见-近红外光谱分类的土壤有机质快速检测方法 |
| CN103996047A (zh) * | 2014-03-04 | 2014-08-20 | 西安电子科技大学 | 基于压缩谱聚类集成的高光谱图像分类方法 |
| CN105550707A (zh) * | 2015-12-11 | 2016-05-04 | 中国烟草总公司广东省公司 | 一种烟田遥感数据的分类提取方法 |
| CN106442400A (zh) * | 2016-10-31 | 2017-02-22 | 湖北省农业科学院果树茶叶研究所 | 一种近红外光谱快速判定不同土壤类型茶鲜叶的方法 |
Non-Patent Citations (3)
| Title |
|---|
| "Soil condition classification using infrared spectroscopy：A proposition for assessment of soil condition along a tropical forest-cropland chronosequence";Alex O. Awiti 等;《Geoderma》;20071026;第143卷;第73-84页 * |
| "Vis-NIR光谱快速估测土壤可侵蚀性因子可行性分析";喻武 等;《光谱学与光谱分析》;20180430;第38卷(第4期);第1076-1081页 * |
| "基于支持向量机和近红外光谱特性的土壤质地分类";胡晓艳 等;《山西农业科学2》;20171231;第45卷(第10期);第1643-1645页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108827909A (zh) | 2018-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bao et al. | Vis-SWIR spectral prediction model for soil organic matter with different grouping strategies | |
| Nawar et al. | Optimal sample selection for measurement of soil organic carbon using on-line vis-NIR spectroscopy | |
| CN108827909B (zh) | 基于可见近红外光谱与多目标融合的土壤快速分类方法 | |
| Shi et al. | Development of a national VNIR soil-spectral library for soil classification and prediction of organic matter concentrations | |
| Jin et al. | Comparison of different satellite bands and vegetation indices for estimation of soil organic matter based on simulated spectral configuration | |
| de Santana et al. | Comparison of PLS and SVM models for soil organic matter and particle size using vis-NIR spectral libraries | |
| CN110717368A (zh) | 一种纺织品定性分类方法 | |
| Song et al. | Chlorophyll content estimation based on cascade spectral optimizations of interval and wavelength characteristics | |
| Zhang et al. | Allocate soil individuals to soil classes with topsoil spectral characteristics and decision trees | |
| CN105938099A (zh) | 一种基于激光诱导击穿光谱的岩性判别方法及系统 | |
| JP2010527017A (ja) | 分光学的データを使用し、材料または化学物質の分類および混合物中の材料または化学物質の特性を定量化するカーネル型方法および装置 | |
| Ogen et al. | Cluster-based spectral models for a robust assessment of soil properties | |
| Wang et al. | Identification of maize haploid kernels based on hyperspectral imaging technology | |
| CN103235095A (zh) | 注水肉检测方法和装置 | |
| Cai et al. | Rapid identification of ore minerals using multi-scale dilated convolutional attention network associated with portable Raman spectroscopy | |
| CN103854305A (zh) | 一种基于多尺度建模的模型传递方法 | |
| Chen et al. | Rapid determination of soil classes in soil profiles using vis–NIR spectroscopy and multiple objectives mixed support vector classification | |
| CN110779875B (zh) | 一种基于高光谱技术检测冬小麦麦穗水分含量的方法 | |
| Zhang et al. | Spectral signatures of soil horizons and soil orders–An exploratory study of 270 soil profiles | |
| CN112712108A (zh) | 一种拉曼光谱多元数据分析方法 | |
| Yipeng et al. | Determination of wheat kernels damaged by fusarium head blight using monochromatic images of effective wavelengths from hyperspectral imaging coupled with an architecture self-search deep network | |
| Wang et al. | Prediction of soil organic matter using VNIR spectral parameters extracted from shape characteristics | |
| Swofford et al. | A method for measuring the quality of friction skin impression evidence: Method development and validation | |
| CN114184599B (zh) | 单细胞拉曼光谱采集数目估计方法、数据处理方法及装置 | |
| Dorantes et al. | Calibration set optimization and library transfer for soil carbon estimation using soil spectroscopy—A review |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |