CN109409748A - 一种耕地质量评价指标关联性的检核方法及系统 - Google Patents

一种耕地质量评价指标关联性的检核方法及系统 Download PDF

Info

Publication number
CN109409748A
CN109409748A CN201811270257.3A CN201811270257A CN109409748A CN 109409748 A CN109409748 A CN 109409748A CN 201811270257 A CN201811270257 A CN 201811270257A CN 109409748 A CN109409748 A CN 109409748A
Authority
CN
China
Prior art keywords
evaluation
cultivated
list
land
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811270257.3A
Other languages
English (en)
Other versions
CN109409748B (zh
Inventor
胡明月
郭玉彬
萧嘉明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdng Youyuan Land Information Technology Co Ltd
Original Assignee
Guangdng Youyuan Land Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdng Youyuan Land Information Technology Co Ltd filed Critical Guangdng Youyuan Land Information Technology Co Ltd
Priority to CN201811270257.3A priority Critical patent/CN109409748B/zh
Publication of CN109409748A publication Critical patent/CN109409748A/zh
Application granted granted Critical
Publication of CN109409748B publication Critical patent/CN109409748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393Score-carding, benchmarking or key performance indicator [KPI] analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02Agriculture; Fishing; Forestry; Mining

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Administration (AREA)
  • Marketing (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Agronomy & Crop Science (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Mining & Mineral Resources (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种耕地质量评价指标关联性的检核方法及系统,其中,所述方法包括:获取某区域耕地质量评价数据;对所述耕地质量评价数据按照评价指标‑指标取值进行数据表示统一化处理,获取统一化后的耕地质量评价数据;基于FP‑Growth算法对所述统一化后的耕地质量评价数据进行关联性分析,获取强关联规则列表;对所述强关联规则列表进行检核规则生成处理,获取检核规则列表,对该区域的新增耕地质量评价数据进行检核,发现并去除其中的异常数据。在本发明,可以发现并去除不满足耕地质量评价指标取值关联性的异常数据,提高耕地质量评价数据的质量,为耕地质量评价的科学性、准确性提供基础。

Description

一种耕地质量评价指标关联性的检核方法及系统
技术领域
本发明涉及耕地质量评价数据处理技术领域,尤其涉及一种耕地质量评价指标关联性的检核方法及系统。
背景技术
耕地质量评价结果是用地决策者的基础依据,在占补平衡、土地集约利用评价、基本农田保护与建设等相关领域发挥着重要作用。因此,对耕地质量评价指标数据的合理性、准确性进行检验,及早发现异常数据是一项重要工作,其意义在于可以提升耕地质量评价数据质量,为科学、准确地评价耕地质量提供基础。
但是现有技术中所提出的县域耕地质量评价成果异常值检验方法主要思想在于建立不同预设阈值距离下的空间权重矩阵,预设阈值距离一般是人工设定的,缺少客观性评价依据。另外,该方法检测的是耕地质量评价成果的异常情况,没有对详细的指标数据的异常进行检测;或提出的三种耕地质量等别合理性检测方法,其检测方法主要考虑了邻域的空间相似性、质量建设项目与分等因素的关系之间有关系,重点考虑的还是耕地质量评价成果的异常性,同样存在实验参数选择主观性强的弱点。
发明内容
本发明的目的在于克服现有耕地质量评价指标数据检核技术的不足,本发明提供了一种耕地质量评价指标关联性的检核方法及系统,可以发现并去除不满足关联性的异常数据,提高耕地质量评价数据的质量,为耕地质量评价的科学性准确性提供基础。
为了解决上述技术问题,本发明实施例提供了一种耕地质量评价指标关联性的检核方法,所述方法包括:
获取耕地质量评价数据;
对所述耕地质量评价数据按照评价指标-指标取值进行数据表示统一化处理,获取统一化后的耕地质量评价数据;
基于FP-Growth算法对所述统一化后的耕地质量评价数据进行关联性分析,获取强关联规则列表;
对所述强关联规则列表进行检核规则生成处理,获取检核规则列表;
采用所述检核规则列表对所述检核规则列表区域内上报的耕地质量评价数据逐一进行检核,去除其中不满足检核规则的异常数据。
可选的,所述耕地质量评价数据包括:评价指标名称和与评价指标名称对应的评价指标取值;
其中,所述评价指标名称包括:地形坡度、田面坡度、剖面构型、有效土层厚度、土壤酸碱度(pH值)、地下水位、灌溉保证率、表层土壤质地、地表岩石露头度、土壤有机质含量、排水条件、障碍层距地表深度、盐渍化程度。
可选的,所述对所述耕地质量评价数据按照评价指标-指标取值进行数据表示统一化处理,获取统一化后的耕地质量评价数据,包括:
判断与评价指标名称对应的评价指标取值是否有评价指标分级代码;
若有,则使用对应的分级代码对与评价指标名称对应的评价指标取值进行分段,获取分段值;
若没有,则采用自然断裂法结合耕作制度进行分段,并取对应分段的最大值进行表示,获取分段值;
采用评价指标名称代码代替对应的评价指标名称,获取耕地评价指标名称代码;
将所述评价指标名称代码与对应的分段值进行组合,获取统一化后的耕地质量评价数据。
可选的,所述基于FP-Growth算法对所述统一化后的耕地质量评价数据进行关联性分析,获取强关联规则列表,包括:
统计统一化后的耕地质量评价数据中的每个指标取值的支持度,获取元素支持度列表;
对所述元素支持度列表中的元素分成K个组,在每一个元素支持度列表中的元素上增加一个组号,使每一个元素包含评价指标取值、支持度和所属组号,获取元素分组列表;
根据所述元素分组列表生成条件FP-Tree森林,从所述条件FP-Tree森林中获取大于置信度预设阈值的频繁模式,作为频繁模式列表;
对所述频繁模式列表中的每一个模式进行置信度和支持度计算,获取每一个模式的支持度值和置信度值;
判断每一个模式的支持度值和置信度值是否均大于预设阈值,若是,则生成一条强关联规则;
采用强关联规则构建列表,获取强关联规则列表。
可选的,所述统计统一化后的耕地质量评价数据中的每个耕地质量评价指标取值的支持度,获取元素支持度列表,包括:
对统一化后的耕地质量评价数据分成多份,分别交各计算服务器。各计算服务器对评价指标取值进行支持度计数;
回收各计算服务器的计算结果进行求和,然后逆序排序,获取按照支持度逆序排序评价指标取值支持度列表;
去除逆序排序列表中的出现次数小于支持度预设阈值的元素,获取元素支持度列表。
可选的,所述根据所述元素分组列表生成条件FP-Tree森林,从所述条件FP-Tree森林中获取大于置信度的频繁模式,作为频繁模式列表,包括:
根据元素分组列表造一棵条件FP-Tree;
收集所有条件FP-Tree,按照根结点的支持度进行降序排列,形成条件FP-Tree森林;
从所述条件FP-Tree森林中获取大于置信度的频繁模式,作为频繁模式列表。
可选的,所述根据元素分组列表构造一棵条件FP-Tree,包括:
将统一化后的耕地质量评价数据分成n份,与所述元素分组列表分别交由n个计算服务器;
所述n个计算服务器扫描分成n份的统一化后的耕地质量评价数据,依据所述元素分组列表生成每个元素的模式序列集合;
收集n个服务器中返回的模式序列集合,根据所述元素分组列表耕地质量评价指标值对模式序列集合进行分组,获取k个分组;
对每个分组构建一棵条件FP-Tree。
可选的,所述对所述频繁模式列表中的每一个模式进行置信度和支持度计算,获取每一个模式的支持度值和置信度值,包括:
计算每一个模式的置信度的公式如下:
P(B|A)=p(AB)/P(A);
计算每一个模式支持度的公式如下:
P(A∩B);
其中,P(B|A)为置信度,P(A∩B)为支持度,AB为每个模式。
可选的,所述对所述强关联规则列表进行检核规则生成处理,获取检核规则列表,包括:
提取所述强关联规则列表中每一个强关联规则的属性,查找统一化耕地质量评价数据时各评价指标的取值分段函数,获取每一个强关联规则的属性中的评价指标名称和评价指标取值范围;
根据每一个强关联规则的属性中的评价指标名称和评价指标取值范围组合在一起,生成一条检核规则;
将生成的每一条检核规则进行检核规则合并,获取检核规则列表。
另外本发明实施例还提供了一种耕地质量评价指标关联性的检核系统,所述系统包括:
数据获取模块:用于获取耕地质量评价数据;
统一化模块:用于对所述耕地质量评价数据按照评价指标-指标取值进行数据表示统一化处理,获取统一化后的耕地质量评价数据;
关联分析模块:用于基于FP-Growth算法对所述统一化后的耕地质量评价数据进行关联性分析,获取强关联规则列表;
规则生成模块:用于对所述强关联规则列表进行检核规则生成处理,获取检核规则列表。
数据检核模块:用于采用所述检核规则列表对所述检核规则列表区域内上报的耕地质量评价数据逐一进行检核,去除其中不满足检核规则的异常数据。
在本发明实施例中,通过对某一区域耕地质量评价数据的统一化和基于FP-Growth算法进行关联规则分析,最终生成检核规则列表;是利用关联分析算法对海量历史耕地质量评价指标数据分析挖掘,得到指标取值间强关联规则列表,进而获取到检核规则列表;利用检核规则列表对该区域新上报耕地质量评价指标数据进行检核,发现疑似错误、无效数据,提高耕地质量评价数据的可靠性,进而提高耕地质量评价的可靠性;即可以提高耕地质量评价数据的质量,进而提高耕地质量评价工作的准确性、科学性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见的,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明实施例中的耕地质量评价指标关联性的检核方法的流程示意图;
图2是本发明实施例中的耕地质量评价指标关联性的检核系统的结构组成示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
实施例:
请参阅图1,图1是本发明实施例中的耕地质量评价指标关联性的检核方法的流程示意图。
如图1所示,一种耕地质量评价指标关联性的检核方法,所述方法包括:
S11:获取耕地质量评价数据;
在本发明具体实施过程中,所述耕地质量评价数据包括:评价指标名称和与评价指标名称对应的评价指标取值;其中,所述评价指标名称包括:地形坡度、田面坡度、剖面构型、有效土层厚度、土壤酸碱度(pH值)、地下水位、灌溉保证率、表层土壤质地、地表岩石露头度、土壤有机质含量、排水条件、障碍层距地表深度、盐渍化程度。
具体的,对研究区采集到的县级分等单元数据进行指标提取,提取《规程》中耕地质量等别评价指标,并按照如下格式进行数据拼接。
[评价单元ID,评价指标名称:评价指标取值,评价指标名称:评价指标取值,…,评价指标名称:评价指标取值]。
本发明以广东省耕地质量等别指标数据为例,评价指标名称与取值示例,如表1所示,包括地形坡度、田面坡度、剖面构型、有效土层厚度、土壤酸碱度(pH值)、地下水位、灌溉保证率、表层土壤质地、地表岩石露头度、土壤有机质含量、排水条件、障碍层距地表深度、盐渍化程度;标准耕作制度两年五熟(早稻-晚稻-甘薯>早稻-晚稻);在本发明实施例中,采用的数据为水稻田的耕地质量评价数据。
表1耕地质量评价数据
GB/T28407,TD/T1014-2007等标准中给出地形坡度和田面坡度的级别代码与坡度值关系,如表2所示。GB/T28407对地形坡度和田面坡度给出的代码略有不同,当坡度值大于等于15度时,地形坡度划分G6等级,而田面坡度没有这一等级划分。
表2田面坡度级别代码表
与此类似,表层土壤质地、剖面构型、有效土层厚度、土壤酸碱度(pH值)、地下水位、灌溉保证率、表层土壤质地、地表岩石露头度、土壤有机质含量、排水条件、障碍层距地表深度、盐渍化程度等参数在《广东省农用地分等定级与估价技术方案》、《广东省农用地分等定级与估价实施方案》和《广东省耕地质量等别更新评价技术规范》等标准中也给出了实验室检测值对应的分段代码。
本发明不要求一定使用GB/T28407或广东省给出指标分段依据,用户也可依据数据情况自行选择分段依据,方便后续关联性分析工作。
S12:对所述耕地质量评价数据按照评价指标-指标取值进行数据表示统一化处理,获取统一化后的耕地质量评价数据;
在本发明具体实施过程中,对所述耕地质量评价数据按照评价指标-指标取值进行数据表示统一化处理,获取统一化后的耕地质量评价数据,包括:判断与评价指标名称对应的评价指标取值是否有评价指标分级代码;若有,则使用对应的分级代码对与评价指标名称对应的评价指标取值进行分段,获取分段值;若没有,则采用自然断裂法结合耕作制度进行分段,并取对应分段的最大值进行表示,获取分段值;采用评价指标名称代码代替对应的评价指标名称,获取耕地评价指标名称代码;将所述评价指标名称代码与对应的分段值进行组合,获取统一化后的耕地质量评价数据。
具体的,在进行关联性分析之前,需要对耕地质量评价数据进行统一处理;在《广东省耕地质量等别更新评价技术规范》中给出地形坡度、田面坡度、表层土壤质地、剖面构型、灌溉保证率、地表岩石露头度、排水条件、障碍层距地表深度、盐渍化程度等9个指标的分等代码,可直接使用这个分等代码来进行分段。
对没有给出分等代码的指标,例如:有效土层厚度(YXTCHD)、土壤有机质含量(TRYJZHL)、土壤酸碱度(TRSJD)、地下水位(DXSW)采用自然断裂法结合耕作制度进行分段,并取最大值来表示该分段的值。
例如“DXSW”(地下水位)字段结合广东省两年五熟的耕作制度,其农作物有水稻和甘薯,而且这两种作物的地下水位的分等分割线是一样的,所以可以统一分段处理;分成(0,30]、(30,60]、(60,),分别标注为30、60、Omga。表3给出表1中数据统一化处理后所得到的数据。
表3统一化处理后的耕地质量评价数据
S13:基于FP-Growth算法对所述统一化后的耕地质量评价数据进行关联性分析,获取强关联规则列表;
在本发明具体实施过程中,所述基于FP-Growth算法对所述统一化后的耕地质量评价数据进行关联性分析,获取强关联规则列表,包括:统计统一化后的耕地质量评价数据中的每个元素的支持度,获取元素支持度列表;对所述元素支持度列表中的元素分成K个组,在每一个元素支持度列表中的元素上增加一个组号,使每一个元素包含评价指标取值、支持度和所属组号,获取元素分组列表;根据所述元素分组列表生成条件FP-Tree森林,从所述条件FP-Tree森林中获取大于置信度的频繁模式,作为频繁模式列表;对所述频繁模式列表中的每一个模式进行置信度和支持度计算,获取每一个模式的支持度值和置信度值;判断每一个模式的支持度值和置信度值是否均大于预设阈值,若是,则生成一条强关联规则;采用强关联规则构建列表,获取强关联规则列表。
进一步的,所述统计统一化后的耕地质量评价数据中的每个耕地质量评价指标取值的支持度,获取元素支持度列表,包括:对统一化后的耕地质量评价数据中分配给各计算服务器,每台服务器并耕地质量评价指标取值出现次数进行支持度计算;回收各计算服务器的计算结果进行求和,然后逆序排序;去除逆序排序列表中的出现次数小于支持度预设阈值的元素,获取元素支持度列表。
进一步的,所述根据所述元素分组列表生成条件FP-Tree森林,从所述条件FP-Tree森林中获取大于置信度的频繁模式,作为频繁模式列表,包括:根据元素分组列表构造一棵条件FP-Tree;收集所有条件FP-Tree,按照根结点的支持度进行降序排列,形成条件FP-Tree森林;从所述条件FP-Tree森林中获取大于置信度的频繁模式,作为频繁模式列表。
进一步的,所述根据元素分组列表构造一棵条件FP-Tree,包括:将统一化后的耕地质量评价数据分成n份,与所述元素分组列表分别交由n个计算服务器;所述n个计算服务器扫描分成n份的统一化后的耕地质量评价数据,依据所述元素分组列表生成每个元素的模式序列集合;收集n个服务器中返回的模式序列集合,根据所述元素分组列表耕地质量评价指标值对模式序列集合进行分组,获取k个分组;对每个分组构建一棵条件FP-Tree。
进一步的,所述对所述频繁模式列表中的每一个模式进行置信度和支持度计算,获取每一个模式的支持度值和置信度值,包括:计算每一个模式的置信度的公式如下:
P(B|A)=p(AB)/P(A);
计算每一个模式支持度的公式如下:
P(A∩B);
其中,P(B|A)为置信度,P(A∩B)为支持度,AB为每个模式。
在具体的,判断每一个模式的支持度值和置信度值是否均大于预设阈值,则,A→B为强关联规则,并采用强关联规则构建列表,获取强关联规则列表。
S14:对所述强关联规则列表进行检核规则生成处理,获取检核规则列表;
在本发明具体实施过程中,所述对所述强关联规则列表进行检核规则生成处理,获取检核规则列表,包括:提取所述强关联规则列表中每一个强关联规则的属性,查找统一化后的耕地质量评价数据,获取每一个强关联规则的属性中的评价指标名称和评价指标值;根据每一个强关联规则的属性中的评价指标名称和评价指标值组合在一起,生成一条检核规则;将生成的每一条检核规则进行检核规则合并,获取检核规则列表。
具体的,对规则列表中每一条规则,执行如下操作:对所述强关联规则列表中每一个属性,查找统一化后的耕地质量评价数据,获取每一个属性中的评价指标名称和评价指标值;然后对每一个属性中的评价指标名称和评价指标值进行合并,获取检核规则列表。检核规则格式:<评价指标名称1,评价指标取值范围1>,…,<评价指标名称m,评价指标取值范围m>。
S15:采用所述检核规则列表对所述检核规则列表区域内上报的耕地质量评价数据逐一进行检核,去除其中不满足检核规则的异常数据。
在本发明具体实施过程中,对检核规则列表区域内新上报的耕地质量评价数据逐一进行检核,即对每一条待检核数据扫描检核规则列表,若满足每一条检核规则的,则该条待检核数据通过检核,可继续下一条待检核数据的检核;若待检核数据不满足某一条检核规则的,放入异常数据列表,在检核完成之后,输出异常数据列表并从原耕地质量评价数据中去除。
在本发明实施例中,通过对某一区域耕地质量评价数据的统一化和基于FP-Growth算法进行关联规则分析,最终生成检核规则列表;是利用关联性分析算法对大量历史耕地质量评价指标数据分析挖掘,得到指标取值间强关联规则列表,进而获取到检核规则列表;利用检核规则列表对该区域新上报耕地质量评价指标数据进行检核,发现疑似错误、无效数据,提高耕地质量评价数据的可靠性,进而提高耕地质量评价的可靠性;即可以提高耕地质量评价数据的质量,进而提高耕地质量评价的准确性和科学性。
实施例:
请参阅图2,图2是本发明实施例中的耕地质量评价指标关联性的检核系统的结构组成示意图。
如图2所示,一种耕地质量评价指标关联性的检核系统,所述系统包括:
数据获取模块11:用于获取耕地质量评价数据;
在本发明具体实施过程中,所述耕地质量评价数据包括:评价指标名称和与评价指标名称对应的评价指标取值;其中,所述评价指标名称包括:地形坡度、田面坡度、剖面构型、有效土层厚度、土壤酸碱度(pH值)、地下水位、灌溉保证率、表层土壤质地、地表岩石露头度、土壤有机质含量、排水条件、障碍层距地表深度、盐渍化程度。
具体的,对研究区采集到的县级分等单元数据进行指标提取,提取《规程》中耕地质量等别评价指标,并按照如下格式进行数据拼接。
[评价单元ID,评价指标名称:评价指标取值,评价指标名称:评价指标取值,…,评价指标名称:评价指标取值]。
本发明以广东省耕地质量等别指标数据为例,评价指标名称,如表1所示,包括地形坡度、田面坡度、剖面构型、有效土层厚度、土壤酸碱度(pH值)、地下水位、灌溉保证率、表层土壤质地、地表岩石露头度、土壤有机质含量、排水条件、障碍层距地表深度、盐渍化程度;标准耕作制度两年五熟(早稻-晚稻-甘薯>早稻-晚稻);在本发明实施例中,采用的数据为水稻田的耕地质量评价数据。
GB/T28407,TD/T1014-2007等标准中给出地形坡度和田面坡度的级别代码与坡度值关系,如表2所示。GB/T28407对地形坡度和田面坡度给出的代码略有不同,当坡度值大于等于15度时,地形坡度划分G6等级,而田面坡度没有这一等级划分。
与此类似,表层土壤质地、剖面构型、有效土层厚度、土壤酸碱度(pH值)、地下水位、灌溉保证率、表层土壤质地、地表岩石露头度、土壤有机质含量、排水条件、障碍层距地表深度、盐渍化程度等参数在《广东省农用地分等定级与估价技术方案》、《广东省农用地分等定级与估价实施方案》和《广东省耕地质量等别更新评价技术规范》等标准中也给出了实验室检测值对应的分段代码。
本发明对不要求一定使用GB/T28407或广东省给出地指标分段依据,用户也可依据数据情况自行选择分段依据,方便后续关联性分析工作。
统一化模块12:用于对所述耕地质量评价数据按照评价指标-指标取值进行数据表示统一化处理,获取统一化后的耕地质量评价数据;
在本发明具体实施过程中,对所述耕地质量评价数据按照评价指标-指标取值进行数据表示统一化处理,获取统一化后的耕地质量评价数据,包括:判断与评价指标名称对应的评价指标取值是否有评价指标分级代码;若有,则使用对应的分级代码对与评价指标名称对应的评价指标取值进行分段,获取分段值;若没有,则采用自然断裂法结合耕作制度进行分段,并取对应分段的最大值进行表示,获取分段值;采用评价指标名称代码代替对应的评价指标名称,获取耕地评价指标名称代码;将所述评价指标名称代码与对应的分段值进行组合,获取统一化后的耕地质量评价数据。
具体的,在进行关联性分析之前,需要对耕地质量评价数据进行统一处理;在《广东省耕地质量等别更新评价技术规范》中给出地形坡度、田面坡度、表层土壤质地、剖面构型、灌溉保证率、地表岩石露头度、排水条件、障碍层距地表深度、盐渍化程度等9个指标的分等代码,可直接使用这个分等代码来进行分段。
对没有给出分等代码的指标,例如:有效土层厚度(YXTCHD)、土壤有机质含量(TRYJZHL)、土壤酸碱度(TRSJD)、地下水位(DXSW)采用自然断裂法结合耕作制度进行分段,并取最大值来表示该分段的值。
例如“DXSW”(地下水位)字段结合广东省两年五熟的耕作制度,其农作物有水稻和甘薯,而且这两种作物的地下水位的分等分割线是一样的,所以可以统一分段处理;分成(0,30]、(30,60]、(60,),分别标注为30、60、Omga。表3给出表1中数据统一化处理后所得到的数据。
关联分析模块13:用于基于FP-Growth算法对所述统一化后的耕地质量评价数据进行关联性分析,获取强关联规则列表;
在本发明具体实施过程中,所述基于FP-Growth算法对所述统一化后的耕地质量评价数据进行关联性分析,获取强关联规则列表,包括:统计统一化后的耕地质量评价数据中的每个元素的支持度,获取元素支持度列表;对所述元素支持度列表中的元素分成K个组,在每一个元素支持度列表中的元素上增加一个组号,使每一个元素包含评价指标取值、支持度和所属组号,获取元素分组列表;根据所述元素分组列表生成条件FP-Tree森林,从所述条件FP-Tree森林中获取大于置信度的频繁模式,作为频繁模式列表;对所述频繁模式列表中的每一个模式进行置信度和支持度计算,获取每一个模式的支持度值和置信度值;判断每一个模式的支持度值和置信度值是否均大于预设阈值,若是,则生成一条强关联规则;采用强关联规则构建列表,获取强关联规则列表。
进一步的,所述统计统一化后的耕地质量评价数据中的每个耕地质量评价指标取值的支持度,获取元素支持度列表,包括:对统一化后的耕地质量评价数据中分配给各计算服务器,每台服务器并耕地质量评价指标取值出现次数进行支持度计算;回收各计算服务器的计算结果进行求和,然后逆序排序;去除逆序排序列表中的出现次数小于支持度预设阈值的元素,获取元素支持度列表。
进一步的,所述根据所述元素分组列表生成条件FP-Tree森林,从所述条件FP-Tree森林中获取大于置信度的频繁模式,作为频繁模式列表,包括:根据元素分组列表构造一棵条件FP-Tree;收集所有条件FP-Tree,按照根结点的支持度进行降序排列,形成条件FP-Tree森林;从所述条件FP-Tree森林中获取大于置信度的频繁模式,作为频繁模式列表。
进一步的,所述根据元素分组列表构造一棵条件FP-Tree,包括:将统一化后的耕地质量评价数据分成n份,与所述元素分组列表分别交由n个计算服务器;所述n个计算服务器扫描分成n份的统一化后的耕地质量评价数据,依据所述元素分组列表生成每个元素的模式序列集合;收集n个服务器中返回的模式序列集合,根据所述元素分组列表耕地质量评价指标值对模式序列集合进行分组,获取k个分组;对每个分组构建一棵条件FP-Tree。
进一步的,所述对所述频繁模式列表中的每一个模式进行置信度和支持度计算,获取每一个模式的支持度值和置信度值,包括:计算每一个模式的置信度的公式如下:
P(B|A)=p(AB)/P(A);
计算每一个模式支持度的公式如下:
P(A∩B);
其中,P(B|A)为置信度,P(A∩B)为支持度,AB为每个模式。
在具体的,判断每一个模式的支持度值和置信度值是否均大于预设阈值,则,A→B为强关联规则,并采用强关联规则构建列表,获取强关联规则列表。
规则生成模块14:用于对所述强关联规则列表进行检核规则生成处理,获取检核规则列表。
在本发明具体实施过程中,所述对所述强关联规则列表进行检核规则生成处理,获取检核规则列表,包括:提取所述强关联规则列表中每一个强关联规则的属性,查找统一化后的耕地质量评价数据,获取每一个强关联规则的属性中的评价指标名称和评价指标值;根据每一个强关联规则的属性中的评价指标名称和评价指标值组合,生成一条检核规则;检查生成的每一条检核规则,对取值域可合并的检核规则进行合并化简,获取检核规则列表。
具体的,对规则列表中每一条规则,执行如下操作:对所述强关联规则列表中每一个属性,查找统一化后的耕地质量评价数据,获取每一个属性中的评价指标名称和评价指标值;然后对每一个属性中的评价指标名称和评价指标值进行合并,对取值域可合并的检核规则进行合并化简,获取检核规则列表。检核规则格式:<评价指标名称1,评价指标取值范围1>,…,<评价指标名称m,评价指标取值范围m>。
数据检核模块15:用于采用所述检核规则列表对所述检核规则列表区域内上报的耕地质量评价数据逐一进行检核,去除其中不满足检核规则的异常数据。
在本发明具体实施过程中,对检核规则列表区域内新上报的耕地质量评价数据逐一进行检核,即采用检核规则列表对每一条待检核数据进行扫描检核规则列表,若满足每一条检核规则的,取下该条待检核数据进行检核;若待检核数据不满足某一条检核规则,将此待检核数据放入异常数据列表,在检核完成之后,输出异常数据列表并从原耕地质量评价指标数据中去除。
在本发明实施例中,通过对某一区域耕地质量评价数据的统一化和基于FP-Growth算法进行关联规则分析,最终生成检核规则列表;是利用关联分析算法对大量历史耕地质量评价指标数据分析挖掘,得到指标取值间强关联规则列表,进而获取到检核规则列表;利用检核规则列表对该区域新上报耕地质量评价指标数据进行检核,发现异常数据,提高耕地质量评价数据的可靠性,进而提高耕地质量评价的可靠性;即可以提高耕地质量评价数据的质量,进而提高耕地质量评价的准确性、科学性。
在本发明具体实施过程中,基于FP-Growth算法对所述统一化后的耕地质量评价数据进行关联性分析模型由3类角色组成,分别是应用服务器、数据库服务器和Hadoop集群;
后台服务器:后台服务器从数据库服务器获取耕地质量评价数据进行统一化处理,把处理结果存储到数据库服务器。
Hadoop集群:从数据库服务器获取统一化的耕地质量评价数据进行关联性分析,计算生成关联性分析结果,并把结果存储到数据库服务器。
后台服务器从数据库中获取关联性分析结果,进一步分析,进行检核规则生成处理,得到检核规则列表并存储到数据库。
后台服务器接收的数据检核任务后,依据检核规则对每条数据进行检核,获取异常数据列表并返回给用户。
在此过程中数据库服务器主要承担存储各类数据的作用。后台服务器负责进行数据统一化处理及检核规则生成及数据检核的任务。hadoop集群则完成关联性分析工作。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁盘或光盘等。
另外,以上对本发明实施例所提供的一种耕地质量评价指标关联性的检核方法及系统进行了详细介绍,本文中应采用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种耕地质量评价指标关联性的检核方法,其特征在于,所述方法包括:
获取耕地质量评价数据;
对所述耕地质量评价数据按照评价指标-指标取值进行数据表示统一化处理,获取统一化后的耕地质量评价数据;
基于FP-Growth算法对所述统一化后的耕地质量评价数据进行关联性分析,获取强关联规则列表;
对所述强关联规则列表进行检核规则生成处理,获取检核规则列表;
采用所述检核规则列表对所述检核规则列表区域内上报的耕地质量评价数据逐一进行检核,去除其中不满足检核规则的异常数据。
2.根据权利要求1所述的检核方法,其特征在于,所述耕地质量评价数据包括:评价指标名称和与评价指标名称对应的评价指标取值;
其中,所述评价指标名称包括:地形坡度、田面坡度、剖面构型、有效土层厚度、土壤酸碱度(pH值)、地下水位、灌溉保证率、表层土壤质地、地表岩石露头度、土壤有机质含量、排水条件、障碍层距地表深度、盐渍化程度。
3.根据权利要求2所述的检核方法,其特征在于,对所述耕地质量评价数据按照评价指标-指标取值进行数据表示统一化处理,获取统一化后的耕地质量评价数据,包括:
判断与评价指标名称对应的评价指标取值是否有评价指标分级代码;
若有,则使用对应的分级代码对与评价指标名称对应的评价指标取值进行分段,获取分段值;
若没有,则采用自然断裂法结合耕作制度进行分段,并取对应分段的最大值进行表示,获取分段值;
采用评价指标名称代码代替对应的评价指标名称,获取耕地评价指标名称代码;
将所述评价指标名称代码与对应的分段值进行组合,获取统一化后的耕地质量评价数据。
4.根据权利要求1所述的检核方法,其特征在于,所述基于FP-Growth算法对所述统一化后的耕地质量评价数据进行关联性分析,获取强关联规则列表,包括:
统计统一化后的耕地质量评价数据中的每个指标取值的支持度,获取元素支持度列表;
对所述元素支持度列表中的元素分成K个组,在每一个元素支持度列表中的元素上增加一个组号,使每一个元素包含评价指标取值、支持度和所属组号,获取元素分组列表;
根据所述元素分组列表生成条件FP-Tree森林,从所述条件FP-Tree森林中获取大于置信度预设阈值的频繁模式,作为频繁模式列表;
对所述频繁模式列表中的每一个模式进行置信度和支持度计算,获取每一个模式的支持度值和置信度值;
判断每一个模式的支持度值和置信度值是否均大于预设阈值,若是,则生成一条强关联规则;
采用强关联规则构建列表,获取强关联规则列表。
5.根据权利要求4所述的检核方法,其特征在于,所述统计统一化后的耕地质量评价数据中的每个耕地质量评价指标取值的支持度,获取元素支持度列表,包括:
对统一化后的耕地质量评价数据分成多份,分别交各计算服务器;各计算服务器对评价指标取值进行支持度计数;
回收各计算服务器的计算结果进行求和,然后逆序排序,获取按照支持度逆序排序评价指标取值支持度列表;
去除逆序排序列表中的出现次数小于支持度预设阈值的元素,获取元素支持度列表。
6.根据权利要求4所述的检核方法,其特征在于,所述根据所述元素分组列表生成条件FP-Tree森林,从所述条件FP-Tree森林中获取大于置信度的频繁模式,作为频繁模式列表,包括:
根据元素分组列表构造一棵条件FP-Tree;
收集所有条件FP-Tree,按照根结点的支持度进行降序排列,形成条件FP-Tree森林;
从所述条件FP-Tree森林中获取大于置信度的频繁模式,作为频繁模式列表。
7.根据权利要求6所述的检核方法,其特征在于,所述根据元素分组列表构造一棵条件FP-Tree,包括:
将统一化后的耕地质量评价数据分成n份,与所述元素分组列表分别交由n个计算服务器;
所述n个计算服务器扫描分成n份的统一化后的耕地质量评价数据,依据所述元素分组列表生成每个元素的模式序列集合;
收集n个服务器中返回的模式序列集合,根据所述元素分组列表耕地质量评价指标值对模式序列集合进行分组,获取k个分组;
对每个分组构建一棵条件FP-Tree。
8.根据权利要求4所述的检核方法,其特征在于,所述对所述频繁模式列表中的每一个模式进行置信度和支持度计算,获取每一个模式的支持度值和置信度值,包括:
计算每一个模式的置信度的公式如下:
P(B|A)=p(AB)/P(A);
计算每一个模式支持度的公式如下:
P(A∩B);
其中,P(B|A)为置信度,P(A∩B)为支持度,AB为每个模式。
9.根据权利要求1所述的检核方法,其特征在于,所述对所述强关联规则列表进行检核规则生成处理,获取检核规则列表,包括:
提取所述强关联规则列表中每一个强关联规则的属性,查找统一化耕地质量评价数据时各评价指标的取值分段函数,获取每一个强关联规则的属性中的评价指标名称和评价指标取值范围;
根据每一个强关联规则的属性中的评价指标名称和评价指标取值范围组合,生成一条检核规则;
将生成的每一条检核规则进行检核规则合并,获取检核规则列表。
10.一种耕地质量评价指标关联性的检核系统,其特征在于,所述系统包括:
数据获取模块:用于获取耕地质量评价数据;
统一化模块:用于对所述耕地质量评价数据按照评价指标-指标取值进行数据表示统一化处理,获取统一化后的耕地质量评价数据;
关联分析模块:用于基于FP-Growth算法对所述统一化后的耕地质量评价数据进行关联性分析,获取强关联规则列表;
规则生成模块:用于对所述强关联规则列表进行检核规则生成处理,获取检核规则列表。
数据检核模块:用于采用所述检核规则列表对所述检核规则列表区域内上报的耕地质量评价数据逐一进行检核,去除其中不满足检核规则的异常数据。
CN201811270257.3A 2018-10-29 2018-10-29 一种耕地质量评价指标关联性的检核方法及系统 Active CN109409748B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811270257.3A CN109409748B (zh) 2018-10-29 2018-10-29 一种耕地质量评价指标关联性的检核方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811270257.3A CN109409748B (zh) 2018-10-29 2018-10-29 一种耕地质量评价指标关联性的检核方法及系统

Publications (2)

Publication Number Publication Date
CN109409748A true CN109409748A (zh) 2019-03-01
CN109409748B CN109409748B (zh) 2021-07-20

Family

ID=65469824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811270257.3A Active CN109409748B (zh) 2018-10-29 2018-10-29 一种耕地质量评价指标关联性的检核方法及系统

Country Status (1)

Country Link
CN (1) CN109409748B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785106A (zh) * 2019-11-09 2021-05-11 上海光数信息科技有限公司 一种学生综合评价方法及系统
CN112785107A (zh) * 2019-11-09 2021-05-11 上海光数信息科技有限公司 一种管理学生激励的方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101650748A (zh) * 2009-09-14 2010-02-17 杨敬锋 一种土地质量评价方法及系统
CN105550938A (zh) * 2015-12-03 2016-05-04 中国农业大学 县域耕地质量评价成果异常值检验方法
CN107291716A (zh) * 2016-03-30 2017-10-24 阿里巴巴集团控股有限公司 一种链路数据校验方法及装置
CN107506252A (zh) * 2017-08-11 2017-12-22 云南电网有限责任公司信息中心 基于配置项关联关系的信息系统错误配置检测系统及方法
US20180107695A1 (en) * 2016-10-19 2018-04-19 Futurewei Technologies, Inc. Distributed fp-growth with node table for large-scale association rule mining

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101650748A (zh) * 2009-09-14 2010-02-17 杨敬锋 一种土地质量评价方法及系统
CN105550938A (zh) * 2015-12-03 2016-05-04 中国农业大学 县域耕地质量评价成果异常值检验方法
CN107291716A (zh) * 2016-03-30 2017-10-24 阿里巴巴集团控股有限公司 一种链路数据校验方法及装置
US20180107695A1 (en) * 2016-10-19 2018-04-19 Futurewei Technologies, Inc. Distributed fp-growth with node table for large-scale association rule mining
CN107506252A (zh) * 2017-08-11 2017-12-22 云南电网有限责任公司信息中心 基于配置项关联关系的信息系统错误配置检测系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785106A (zh) * 2019-11-09 2021-05-11 上海光数信息科技有限公司 一种学生综合评价方法及系统
CN112785107A (zh) * 2019-11-09 2021-05-11 上海光数信息科技有限公司 一种管理学生激励的方法和系统

Also Published As

Publication number Publication date
CN109409748B (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
Hermosilla et al. Regional detection, characterization, and attribution of annual forest change from 1984 to 2012 using Landsat-derived time-series metrics
Raposa et al. Assessing tidal marsh resilience to sea-level rise at broad geographic scales with multi-metric indices
Dickson et al. Mapping the probability of large fire occurrence in northern Arizona, USA
Tompalski et al. Estimating changes in forest attributes and enhancing growth projections: a review of existing approaches and future directions using airborne 3D point cloud data
Plowright et al. Assessing urban tree condition using airborne light detection and ranging
Hudak et al. Imputing forest structure attributes from stand inventory and remotely sensed data in western Oregon, USA
Shamsoddini et al. Improving lidar-based forest structure mapping with crown-level pit removal
Tompalski et al. Augmenting site index estimation with airborne laser scanning data
Bone et al. Integrating high resolution remote sensing, GIS and fuzzy set theory for identifying susceptibility areas of forest insect infestations
Sarmento et al. Disaggregating conventional soil maps with limited descriptive data: A knowledge-based approach in Serra Gaúcha, Brazil
CN109409748A (zh) 一种耕地质量评价指标关联性的检核方法及系统
CN116129262A (zh) 一种面向宜机化改造的耕地适宜性评价方法及系统
Qi et al. Automated change detection for updating settlements at smaller-scale maps from updated larger-scale maps
Sarmento et al. Prediction of soil orders with high spatial resolution: response of different classifiers to sampling density
CN113656868A (zh) 基于bim技术的医院建设协同管理平台
Alvares Tenenwurcel et al. An improved model for the evaluation of groundwater recharge based on the concept of conservative use potential: A study in the river Pandeiros Watershed, Minas Gerais, Brazil
Kohv et al. Anthropogenic effects on vegetation structure of the boreal forest in Estonia
Armstrong et al. The application of data mining techniques to characterize agricultural soil profiles
Di Stéfano et al. Evaluation of the automated reference toolset as a method to select reference plots for oil and gas reclamation on Colorado Plateau rangelands
Wężyk et al. Use of airborne laser scanning data for a revision and update of a digital forest map and its descriptive database: a case study from the Tatra National Park
Frew et al. Measuring Douglas-fir crown growth with multitemporal LiDAR
Handegard et al. Identifying old Norway spruce and Scots pine trees by morphological traits and site characteristics
Shettles et al. Examination of uncertainty in per unit area estimates of aboveground biomass using terrestrial LiDAR and ground data
Kallas et al. Modeling the probability of observing Armillaria root disease in the Black Hills
CN117151354B (zh) 一种农田修复与改良管理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Hu Yueming

Inventor after: Guo Yubin

Inventor after: Xiao Jiaming

Inventor before: Hu Mingyue

Inventor before: Guo Yubin

Inventor before: Xiao Jiaming

PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A checking method and system for correlation of cultivated land quality evaluation indexes

Effective date of registration: 20220322

Granted publication date: 20210720

Pledgee: Dongguan Zhuang sub branch of Bank of Guangzhou Co.,Ltd.

Pledgor: GUANGDONG YOUYUAN LAND INFORMATION TECHNOLOGY CO.,LTD.

Registration number: Y2022980002932

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20230417

Granted publication date: 20210720

Pledgee: Dongguan Zhuang sub branch of Bank of Guangzhou Co.,Ltd.

Pledgor: GUANGDONG YOUYUAN LAND INFORMATION TECHNOLOGY CO.,LTD.

Registration number: Y2022980002932

PC01 Cancellation of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Method and System for Checking the Correlation of Cultivated Land Quality Evaluation Indicators

Effective date of registration: 20230419

Granted publication date: 20210720

Pledgee: Dongguan Zhuang sub branch of Bank of Guangzhou Co.,Ltd.

Pledgor: GUANGDONG YOUYUAN LAND INFORMATION TECHNOLOGY CO.,LTD.

Registration number: Y2023980038445

PE01 Entry into force of the registration of the contract for pledge of patent right