CN110287992A - 基于大数据的农业特征信息提取方法 - Google Patents

Abstract

本发明涉及大数据特征提取领域，针对农业数据难以处理的问题，提出了基于大数据的农业特征信息提取方法，包括：属性集建立步骤，获取农业属性数据，建立知识系统；属性类别聚类步骤，根据初始属性聚类中心建立初始属性类别，对所有的初始属性类别进行合并和分离操作得到聚类后的属性类别；特征属性计算步骤，计算整后的属性类别中的每个属性数据相对于其他属性数据的依赖度，选取依赖度的最高值作为特征属性值；特征属性归集步骤，选取并归集所有属性类别的特征属性值得到特征属性集。本发明能解决现有特征提取方法因不能反映数据的非线性结构特征导致的对数据利用效果不好的问题。

Description

基于大数据的农业特征信息提取方法

技术领域

本发明涉及大数据特征提取领域，具体涉及基于大数据的农业特征信息提取方法。

背景技术

数据是决策的基础和依据，农业数据是人们在从事农业生产或农业经济活动中所涉及的各种物质数据与能量数据。随着计算能力的日益增强、环境信息数据获取与解析技术的迅速发展，大规模农业数据的获取比以往更为方便和简单。

农业数据是农业决策的基础。但是农业大数据包括农业生产数据、土壤质量数据、气象和水文观测数据等农业空间数据，数据量庞大且复杂，导致了农业数据管理和分析的困难。因此，如何从大量农业数据中快速、有效得地提取出蕴藏在其中的本质特征显得非常重要。目前，常用的特征提取方法有主成分分析PCA和线性判别分析LDA，但是这两种方法所提取的特征不能够反映农业数据复杂的非线性结构特征，不利于后期的分析和评价，导致数据利用效果不好的问题。

发明内容

本发明的目的在于提供基于大数据的农业特征信息提取方法，能避免现有特征提取方法因不能反映数据的非线性结构特征导致的对数据利用效果不好的问题。

本发明提供的基础方案为：基于大数据的农业特征信息提取方法，包括以下步骤：

S1：属性集建立步骤，获取农业属性数据，建立知识系统；

S2：属性类别聚类步骤，从知识系统的属性集中选取属性数据作为初始属性聚类中心，根据初始属性聚类中心建立初始属性类别，对所有的初始属性类别进行合并和分离操作得到聚类后的属性类别；

S3：特征属性计算步骤，计算聚类后的属性类别中的每个属性数据相对于其他属性数据的依赖度，选取依赖度的最高值作为特征属性值；

S4：特征属性归集步骤，选取并归集所有属性类别的特征属性值得到特征属性集。

本发明的有益效果：1)本方案对初始属性类别进行合并和分离调整，调整了属性类别的数量，实现了属性数据降维的功能，减小了数据波动，能更符合属性真实的分布；2)采用最大依赖度的算法进行特征属性值的选取，可以发现不准确数据和噪声数据内部的结构联系，使特征的提取更具准确性，利于后期的分析和评价；3)删除多余特征属性，提取出本质特征的特征属性值，实现对信息的压缩和提炼，反映可数据的非线性结构特征，更便于农业大数据的挖掘与分析，为实现农业生产决策提供强有力的数据支持。

本方案解决了现有特征提取方法因不能反映数据的非线性结构特征导致的对数据利用效果不好的问题。

进一步，属性类别聚类步骤中还包括：

S201：参数预设子步骤，预设预期聚类中心数目、每个类别的最少样本数目、预期最大方差、两个聚类中心允许的最小距离和最大迭代次数。

有益效果：S2步骤采用ISODATA算法对属性数据进行属性聚类得到调整后的属性类别，其通过选取预期聚类中心数目、每个类别的最少样本数目、预期最大方差、两个聚类中心允许的最小距离和最大迭代次数进行属性类别的分裂和合并操作，实现了对信息的压缩和提炼，有利于提升数据的利用效果。

进一步，属性类别聚类步骤中还包括：

S202：初始聚类子步骤，从知识系统的属性集中选取若干个属性数据作为初始属性聚类中心，根据初始属性聚类中心建立初始属性类别；

S203：属性数据分类子步骤，计算属性集的属性数据与初始属性聚类中心的距离，将属性数据分到距离最小的初始属性聚类中心所属的初始属性类别中；

S204：聚类中心修正子步骤，判断初始属性类别中属性数据的数目是否大于每个类别的最少样本数目，若是，则修正初始属性聚类中心，得到修正后的属性聚类中心。

有益效果：通过对数据的分类和对初始属性聚类中心的修正，实现对属性类别的初步调整，有利于后续的合并和分裂调整。

进一步，属性类别聚类步骤中还包括：

S205：属性类别分裂子步骤，计算初始属性类别中所有属性数据与属性聚类中心的方差，选取初始属性类别的方差最大值与预期最大方差对比，若方差最大值大于预期最大方差，则将该初始属性类别分裂成两个属性类别；

S206：属性类别合并子步骤，计算两个初始属性类别的属性聚类中心之间的距离，若该距离大于两个聚类中心允许的最小距离，则将两个初始属性类别合并成一个属性类别。

有益效果：通过合并和分裂操作进一步对属性类别和属性聚类中心进行调整，能删除多余的特性属性类别，有利于提取到特征属性值。

进一步，属性类别聚类步骤中还包括：

S207：属性类别确定子步骤，根据最大迭代次数重复步骤S203至S206对初始属性类别进行调整，得到调整后的属性类别。

有益效果：根据数据属性集中属性数据的数量来确定最大迭代次数，通过重复的调节步骤有利于删除多余的特征属性。

进一步，S204步骤中，若初始属性类别中属性数据的数目小于每个类别的最少样本数目，则丢弃该初始属性类别，并将该初始属性类别中的属性数据重新分配到距离最近的其他初始属性类别中。

有益效果：属性数据低于少样本数目的属性类别为无效数据，对无效数据进行删除有利于提升对数据的处理效果。

进一步，S204步骤中，属性聚类中心修正公式为

进一步，特征属性计算步骤中还包括：

S301：等价类计算步骤，根据不可辨识关系计算调整后的属性类别中的每个属性数据的等价类。

进一步，特征属性计算步骤中还包括：

S302：依赖度计算步骤，计算调整后的属性类别中的每个属性数据相对于其他属性数据的依赖度。

有益效果：属性依赖度可以理解为属性数据对样本分辨能力的提高程度，属性依赖度越大，属性就越重要，对划分决策的影响就越大。

进一步，特征属性计算步骤中还包括：

S303：特征属性选取步骤，选取调整后的属性类别中依赖度最大的属性数据作为特征属性值。

附图说明

图1为本实施例中农业特征信息提取方法的逻辑框图；

图2为本实施例中S2步骤的子步骤的逻辑框图；

图3为本实施例中S3步骤的子步骤的逻辑框图。

具体实施方式

下面通过具体实施方式进一步详细的说明：

实施例：

如图1所示：基于大数据的农业特征信息提取方法，包括以下步骤：

S1：属性集建立步骤，获取农业属性数据，建立知识系统。属性数据包括农业生产数据、土壤质量数据、气象和水文观测数据，采集到所有属性数据后建立属性集；知识系统为S＝(U,A,V,f)，U是对象集，A是属性集，V是属性值域，f是映射，f反应对象集合之间的值。

S2：属性类别聚类步骤，从知识系统的属性集中随机选取属性数据作为初始属性聚类中心，根据初始属性聚类中心建立初始属性类别，对所有的初始属性类别进行合并和分离操作得到聚类后的属性类别。

S3：特征属性计算步骤，计算聚类后的属性类别中的每个属性数据相对于其他属性数据的依赖度，选取依赖度的最高值作为特征属性值。

S4：特征属性归集步骤，选取并归集所有属性类别的特征属性值得到特征属性集。

其中，如图2所示：S2步骤还包括：

S201：参数预设子步骤，预设预期聚类中心数目、每个类别的最少样本数目、预期最大方差、两个聚类中心允许的最小距离和最大迭代次数。

S202：初始聚类子步骤，从知识系统的属性集中选取若干个属性数据作为初始属性聚类中心，根据初始属性聚类中心建立初始属性类别。

S203：属性数据分类子步骤，计算属性集的属性数据与初始属性聚类中心的距离，将属性数据分到距离最小的初始属性聚类中心所属的初始属性类别中。

S204：聚类中心修正子步骤，判断初始属性类别中属性数据的数目是否大于每个类别的最少样本数目，若是，则修正初始属性聚类中心，得到修正后的属性聚类中心。

S205：属性类别分裂子步骤，计算初始属性类别中所有属性数据与属性聚类中心的方差，选取初始属性类别的方差最大值与预期最大方差对比，若方差最大值大于预期最大方差，则将该初始属性类别分裂成两个属性类别。

S206：属性类别合并子步骤，计算两个初始属性类别的属性聚类中心之间的距离，若该距离大于两个聚类中心允许的最小距离，则将两个初始属性类别合并成一个属性类别。

S207：迭代子步骤，根据最大迭代次数重复步骤S203至S206，对初始属性类别进行重复调整，得到调整后的属性类别。

具体的，采用ISODATA算法：

1、令预期聚类中心数为K₀、每个类所要求的最少样本数目为N_min、最大方差为Sigma、两个类别聚类中心间允许的最小距离为d_min、最大迭代次数为m、属性集为U。

2、从属性集中随机选取预期聚类中心数K₀个属性数据作为初始属性聚类中心

3、针对属性集U中的其他属性数据(除去K₀个选取作为初始属性聚类中心的属性数据)，计算其与K₀个初始属性聚类中心的距离，将属性数据分到距离最小的初始属性聚类中心所述的初始属性类别中。

4、分类完成后，判断每个初始属性类别中判断初始属性类别中的属性数据的数目是否大于每个类别的最少样本数目N_min：若小于N_min，则丢弃该初始属性类别，并将该初始属性类别中的属性数据重新分配给剩下的其他初始属性类别中距离最小的初始属性类别；若大于N_min，则修正初始属性聚类中心。

初始属性聚类中心的修正公式为：

修正初始属性类别后，对初始属性类别进行分裂和合并操作：

5、分裂操作，计算初始属性类别中所有属性数据与属性聚类中心的方差，选取初始属性类别的方差最大值与预期最大方差对比，若方差最大值大于预设方差，则将该初始属性类别分裂成两个属性类别，具体包括以下步骤：1)计算出每个类别中所有变量在每个样本中的方差；2)选出每个类别中的最大方差值σ_max；3)若σ_max>Sigma(Sigma为最大方差),且该初始属性类别所含变量个数n_i≥2n_max,则将该初始属性类别类分类成两个属性类别并令K＝K+1,

6、合并操作，计算两个初始属性类别的属性聚类中心之间的距离，若该距离大于两个聚类中心允许的最小距离，则合并两个初始属性类别成一个属性类别。具体包括以下步骤：1)计算所有类别聚类中心两两之间的距离，用矩阵D表示，其中D(i,i)＝0；2)将D(i,j)<d_min(i≠j)两个类别合并成新的一类。

新的类别聚类中心为其中，n_i和n_j分别是这两个类别的样本个数，m_i和m_j分别是这两个类别的聚类中心。

7、重复步骤3-6中的操作，重复m次(m为最大迭代次数，使用时根据数据量进行设定)，得到调整后的属性类别。

其中，如图3所示：S3步骤还包括：

S301：等价类计算步骤，根据不可辨识关系计算调整后的属性类别中的每个属性数据的等价类。

S302：依赖度计算步骤，计算调整后的属性类别中的每个属性数据相对于其他属性数据的依赖度。

S303：特征属性选取步骤，选取调整后的属性类别中依赖度最大的属性数据作为特征属性值。

具体的，采用MDA-RS算法：

对于知识系统S＝(U,A,V,f)，B是A的任意子集，U是对象集合，A是属性集合，V是属性值域，f是映射，反应对象集合之间的值。

对于x，y∈U，当且仅当对于每一个属性a∈B，f(x,a)＝f(y,a)时，则称x，y关于B是不可辨识关系，记为IND(B)，很显然，A的每一个子集可以导出一个唯一的不可辨识关系，不可辨识关系又称为等价关系，而等价关系可以导出一个唯一的聚类，由IND(B)导出的U的聚类记为U/B，聚类U/B中包含x∈U的等价类，记为[x]B。

在知识系统S＝(U,A,V,f)中，集合D和C是属性集合A的任意子集，如果D中的每一个值都可以精确地与C的一个值关联，则称D对C是函数依赖的，记为如果令K＝ΣX∈U/D|C(X)|/|U|，则称k为依赖度，D以k度依赖于C，记为如果k＝1，则D完全依赖于C；若k＜1，则D部分依赖于C。系数k描述了通过属性C能够将论域U中的元素正确分类到划分U/D的等价类中。

若属性的最大依赖度的最大值只有一个，则选取最大依赖度最大的属性作为特征属性；若最大值有多个，则需要进行下一轮选择，即在具有相同最大依赖度的属性中选择下一个依赖度最大的属性，直到选出一个属性为止。例如属性集中有4个属性A、B、C、D，它们之间的依赖度如表1所示。比较表1全部依赖度k，可以发现最大的k是1出现在A和B上，然后再比较A、B的其他依赖度，发现最大的k是0.4出现在B上，由此选择属性B是特征属性。

表1最大依赖度选取规则

算法复杂度：假设一个知识系统中有n个对象m个属性，由算法过程可知道，该算法需要计算(n(n－1))次属性依赖度，因此MDA-RS的算法复杂度为O(n(n－1)+nm)，具有较低的算法复杂度。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (10)

1.基于大数据的农业特征信息提取方法，其特征在于，包括以下步骤：

S1：属性集建立步骤，获取农业属性数据，建立知识系统；

S2：属性类别聚类步骤，从知识系统的属性集中选取属性数据作为初始属性聚类中心，根据初始属性聚类中心建立初始属性类别，对所有的初始属性类别进行合并和分离操作得到聚类后的属性类别；

S3：特征属性计算步骤，计算聚类后的属性类别中的每个属性数据相对于其他属性数据的依赖度，选取依赖度最高的属性数据作为特征属性值；

S4：特征属性归集步骤，选取并归集所有属性类别的特征属性值得到特征属性集。

2.根据权利要求1所述的基于大数据的农业特征信息提取方法，其特征在于，属性类别聚类步骤中还包括：

S201：参数预设子步骤，预设预期聚类中心数目、每个类别的最少样本数目、预期最大方差、两个聚类中心允许的最小距离和最大迭代次数。

3.根据权利要求2所述的基于大数据的农业特征信息提取方法，其特征在于，属性类别聚类步骤中还包括：

S202：初始聚类子步骤，从知识系统的属性集中选取若干个属性数据作为初始属性聚类中心，根据初始属性聚类中心建立初始属性类别；

S203：属性数据分类子步骤，计算属性集的属性数据与初始属性聚类中心的距离，将属性数据分到距离最小的初始属性聚类中心所属的初始属性类别中；

S204：聚类中心修正子步骤，判断初始属性类别中属性数据的数目是否大于每个类别的最少样本数目，若是，则修正初始属性聚类中心，得到修正后的属性聚类中心。

4.根据权利要求3所述的基于大数据的农业特征信息提取方法，其特征在于，属性类别聚类步骤中还包括：

S205：属性类别分裂子步骤，计算初始属性类别中所有属性数据与属性聚类中心的方差，选取初始属性类别的方差最大值与预期最大方差对比，若方差最大值大于预期最大方差，则将该初始属性类别分裂成两个属性类别；

S206：属性类别合并子步骤，计算两个初始属性类别的属性聚类中心之间的距离，若该距离大于两个聚类中心允许的最小距离，则将两个初始属性类别合并成一个属性类别。

5.根据权利要求4所述的基于大数据的农业特征信息提取方法，其特征在于，属性类别聚类步骤中还包括：

S207：迭代子步骤，根据最大迭代次数重复步骤S203至S206，对初始属性类别进行重复调整，得到调整后的属性类别。

6.根据权利要求5所述的基于大数据的农业特征信息提取方法，其特征在于：

S204步骤中，若初始属性类别中属性数据的数目小于每个类别的最少样本数目，则丢弃该初始属性类别，并将该初始属性类别中的属性数据重新分配到距离最近的其他初始属性类别中。

7.根据权利要求6所述的基于大数据的农业特征信息提取方法，其特征在于：

S204步骤中，初始属性聚类中心修正公式为

8.根据权利要求7所述的基于大数据的农业特征信息提取方法，其特征在于，特征属性计算步骤中还包括：

S301：等价类计算步骤，根据不可辨识关系计算调整后的属性类别中的每个属性数据的等价类。

9.根据权利要求8所述的基于大数据的农业特征信息提取方法，其特征在于，特征属性计算步骤中还包括：

S302：依赖度计算步骤，计算调整后的属性类别中的每个属性数据相对于其他属性数据的依赖度。

10.根据权利要求9所述的基于大数据的农业特征信息提取方法，其特征在于，特征属性计算步骤中还包括：

S303：特征属性选取步骤，选取调整后的属性类别中依赖度最大的属性数据作为特征属性值。