CN117828148A - 土地管理用土地样本数据管理方法及系统 - Google Patents
土地管理用土地样本数据管理方法及系统 Download PDFInfo
- Publication number
- CN117828148A CN117828148A CN202311833930.0A CN202311833930A CN117828148A CN 117828148 A CN117828148 A CN 117828148A CN 202311833930 A CN202311833930 A CN 202311833930A CN 117828148 A CN117828148 A CN 117828148A
- Authority
- CN
- China
- Prior art keywords
- data
- land
- classification
- classified
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000013523 data management Methods 0.000 title claims abstract description 19
- 238000012800 visualization Methods 0.000 claims abstract description 38
- 238000004458 analytical method Methods 0.000 claims abstract description 36
- 238000007405 data analysis Methods 0.000 claims abstract description 28
- 238000013079 data visualisation Methods 0.000 claims abstract description 10
- 230000002159 abnormal effect Effects 0.000 claims description 46
- 238000012545 processing Methods 0.000 claims description 22
- 238000013500 data storage Methods 0.000 claims description 17
- 238000012544 monitoring process Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 10
- 238000013479 data entry Methods 0.000 claims description 9
- 238000007794 visualization technique Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000005856 abnormality Effects 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 230000008676 import Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 9
- 238000003860 storage Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000013439 planning Methods 0.000 description 6
- 239000002689 soil Substances 0.000 description 6
- 238000007619 statistical method Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000004140 cleaning Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000003908 quality control method Methods 0.000 description 3
- 238000012732 spatial analysis Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000002547 anomalous effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000011985 exploratory data analysis Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 238000012731 temporal analysis Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000000700 time series analysis Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 239000004927 clay Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/904—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Databases & Information Systems (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Data Mining & Analysis (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- General Engineering & Computer Science (AREA)
- Primary Health Care (AREA)
- Health & Medical Sciences (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- General Health & Medical Sciences (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了土地管理用土地样本数据管理方法及系统，涉及数据管理技术领域，数据分类模块对数据库中的土地样本数据进行分类和标签，数据分析模块对土地样本数据进行分析，可视化模块基于数据可视化工具将分类结果和分析结果可视化处理后向用户展示，报告生成模块生成标准化的报告，呈现数据分析结果、趋势和决策支持信息，该管理系统可以使数据更易于查找和使用，有助于加速数据访问，提高土地信息的可用性，促进更多的研究和规划项目，通过数据分类、分析和可视化模块，系统可以提供更深入的洞察和可视化呈现土地特性、趋势和模式，这可以帮助决策者更好地了解土地情况，从而做出更明智的决策，促进可持续土地管理。
Description
技术领域
本发明涉及数据管理技术领域，具体涉及土地管理用土地样本数据管理方法及系统。
背景技术
土地是自然资源中的关键要素，对于农业、城市规划、自然资源管理、环境保护和国土安全等方面都至关重要。有效的土地管理需要详细的土地信息和数据支持，以支持决策制定和政策实施，土地样本数据是对土地特性的实地采集数据，包括土壤类型、植被覆盖、地形、水资源、土地所有权和土地用途等信息。这些数据对于土地管理、规划和监测至关重要；
土地管理用土地样本数据管理系统是一个专门设计用于管理土地样本数据的信息系统，旨在帮助政府、土地管理部门、农业机构、环境保护组织和其他相关利益相关者更有效地收集、存储、分析和利用土地样本数据。
现有技术存在以下不足：
现有管理系统在对土地样本数据进行管理时，对土地样本数据无分类处理，从而导致数据不便于查找和使用，降低数据访问速度和土地信息的可用性，且系统无法提供更深入的洞察和可视化呈现土地特性、趋势和模式，从而无法帮助决策者更好地了解土地情况，不便于可持续土地管理。
发明内容
本发明的目的是提供土地管理用土地样本数据管理方法及系统，以解决背景技术中不足。
为了实现上述目的，本发明提供如下技术方案：土地管理用土地样本数据管理系统，包括数据采集模块、数据存储模块、数据分类模块、数据分析模块、可视化模块、数据共享模块以及报告生成模块：
数据采集模块：用于采集土地样本数据，土地样本数据获取包括手动输入、地理信息系统数据导入、传感器数据传输；
数据存储模块：用于存储和管理采集的土地样本数据，土地样本数据存储在数据库中；
数据分类模块：对数据库中的土地样本数据进行分类和标签；
数据分析模块：用于对土地样本数据进行分析，提供有关土地特性、趋势和模式的洞察；
可视化模块：基于数据可视化工具将分类结果和分析结果可视化处理后向用户展示，可视化方法包括图表、地图、热力图；
数据共享模块：将数据库中的土地样本数据导出为不同格式，包括标准数据格式和协议支持，与其他机构或系统共享；
报告生成模块：生成标准化的报告，呈现数据分析结果、趋势和决策支持信息。
优选地，所述数据分类模块对数据库中的土地样本数据进行分类和标签包括以下步骤：
确定要对土地样本数据进行分类和标签的目标，为每个需要分类的数据属性定义类别或标签；
根据需要，对数据进行标准化处理，标准化处理包括单位转换、数据格式统一，明确定义数据字段与类别或标签之间的映射关系；
基于规则引擎制定数据分类规则，规则根据字段值、关系进行分类，使用分类规则将数据分配到相应的类别或标签中；
对已分类的数据进行验证和一致性检查，确保数据符合所定义的分类规则和标签。
优选的，对已分类的数据进行验证和一致性检查，确保数据符合所定义的分类规则和标签包括以下步骤：
比较分类后的标签与原始数据中的字段值，分析每个数据点是否被正确分类到相应的类别或标签中；
检查数据是否缺少关键信息，关键信息包括缺失的地理位置、时间戳；
查找任何异常或不一致的数据，异常包括错误分类、数据录入错误，处理异常数据使数据符合规则和标签；
更新数据的元数据，包括已分类的标签和类别信息，包括在数据记录中添加分类的字段，更新数据的时间戳以反映数据分类的时间点；
综合评估分类后的土地样本数据质量。
优选地，综合评估分类后的土地样本数据质量包括以下步骤：
获取分类后土地样本数据的数据缺失度指数、分类标签欧式距离指数、异常积分指数；
综合计算数据缺失度指数、分类标签欧式距离指数、异常积分指数后获取分类质量系数；
若分类质量系数flz值＜质量阈值，分析数据的分类质量差；
若分类质量系数flz值≥质量阈值，分析数据的分类质量好。
优选的，所述分类质量系数的计算逻辑为：数据缺失度指数、分类标签欧式距离指数、异常积分指数与分类质量系数flz呈反比关系，分别为数据缺失度指数、分类标签欧式距离指数、异常积分指数乘以一个比例系数，比例系数用于将数据缺失度指数、分类标签欧式距离指数、异常积分指数进行归一化处理，使数据缺失度指数、分类标签欧式距离指数、异常积分指数的取值范围相近，调节完成后，综合计算数据缺失度指数、分类标签欧式距离指数、异常积分指数后获取分类质量系数。
优选的，所述分类标签欧式距离指数的计算表达式为：
式中，(x1、x2、...、xn)表示分类后的标签的数值，(y1、y2、...、yn)，表示原始数据中的字段值的数值。
优选的，所述异常积分指数的计算表达式为：
式中，Y(t)为数据异常的发生量，[tx，ty]为监测数据错误分类预警的时段，[ti，tj]为监测数据录入错误预警的时段；
数据错误分类次数大于错误分类次数阈值的时段为监测数据错误分类预警的时段，数据录入错误次数大于录入错误次数阈值的时段为监测数据录入错误预警的时段。
本发明还提供土地管理用土地样本数据管理方法，所述管理方法包括以下步骤：
S1：采集端采集土地样本数据，土地样本数据获取包括手动输入、地理信息系统数据导入、传感器数据传输，获取的土地样本数据存储在数据库中；
S2：处理端对数据库中的土地样本数据进行分类和标签，对土地样本数据进行分析，提供有关土地特性、趋势和模式的洞察；
S3：基于数据可视化工具将分类结果和分析结果可视化处理后向用户展示，可视化方法包括图表、地图、热力图；
S4：将数据库中的土地样本数据导出为不同格式，包括标准数据格式和协议支持，与其他机构或系统共享；
S5：生成标准化的报告，呈现数据分析结果、趋势和决策支持信息。
在上述技术方案中，本发明提供的技术效果和优点：
1、本发明通过数据分类模块对数据库中的土地样本数据进行分类和标签，数据分析模块对土地样本数据进行分析，提供有关土地特性、趋势和模式的洞察，可视化模块基于数据可视化工具将分类结果和分析结果可视化处理后向用户展示，可视化方法包括图表、地图、热力图，数据共享模块将数据库中的土地样本数据导出为不同格式，包括标准数据格式和协议支持，与其他机构或系统共享，报告生成模块生成标准化的报告，呈现数据分析结果、趋势和决策支持信息，该管理系统可以使数据更易于查找和使用，有助于加速数据访问，提高土地信息的可用性，促进更多的研究和规划项目，通过数据分类、分析和可视化模块，系统可以提供更深入的洞察和可视化呈现土地特性、趋势和模式，这可以帮助决策者更好地了解土地情况，从而做出更明智的决策，促进可持续土地管理；
2、本发明中，数据缺失度指数、分类标签欧式距离指数与分类质量系数flz呈正比关系，异常积分指数与分类质量系数flz呈反比关系，分别为数据缺失度指数、分类标签欧式距离指数、异常积分指数乘以一个比例系数，比例系数用于将数据缺失度指数、分类标签欧式距离指数、异常积分指数进行归一化处理，使数据缺失度指数、分类标签欧式距离指数、异常积分指数的取值范围相近，避免某一参数值过大或过小，调节完成后，综合计算数据缺失度指数、分类标签欧式距离指数、异常积分指数后获取分类质量系数，不仅分析更为全面，而且有利于提高数据处理效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明的系统模块图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：请参阅图1所示，本实施例所述土地管理用土地样本数据管理系统，包括数据采集模块、数据存储模块、数据分类模块、数据分析模块、可视化模块、数据共享模块以及报告生成模块：
数据采集模块：数据采集是系统的核心模块，用于采集土地样本数据，这可以包括手动输入、地理信息系统(GIS)数据导入、传感器数据等，土地样本数据发送至数据存储模块和数据分析模块；
确定数据采集的来源，可以包括野外采样、实验室测试、GIS系统、传感器设备、现有数据库等，制定数据采集计划，包括确定采样位置、时间表、样本类型和采集方法，这有助于确保数据的一致性和可比性，数据采集设备和工具，准备适当的数据采集设备和工具，如GPS设备、传感器、采样工具、移动应用程序等，以便在野外或实验室中获取数据，
进行实际的数据采集，这可以包括野外采样、实验室测试、传感器监测等，根据采集计划记录数据，对于手动采集的数据，将数据输入系统，可以使用移动应用程序、表格或数据输入界面来录入数据，如果数据来自其他系统或设备，进行数据导入和集成，确保数据能够顺利进入数据采集模块，进行数据质量控制，包括验证数据的准确性、完整性和一致性，可以使用数据验证规则和自动校验来识别问题数据，记录数据采集的元数据，包括采集时间、地点、采集者、仪器规格等信息，以便后续数据分析和可追溯性，将采集的数据传输至数据存储模块和数据分析模块，确保数据安全传送，定期备份采集的数据，以防止数据丢失或损坏。
数据存储模块：这个模块用于存储和管理采集的土地样本数据，数据可以存储在数据库中，允许对数据进行高效的检索和更新；
确定存储数据的结构，包括定义数据表、字段、数据类型和关系，这将有助于组织数据以满足系统需求，选择适当的数据库管理系统(如MySQL、PostgreSQL、Oracle等)，以满足数据存储和管理的要求，选择数据库系统应考虑性能、可扩展性和数据安全性，根据数据结构设计创建数据库表，每个表代表一种数据类型，例如土地用途、土壤类型、地理位置等；
将从数据采集模块获取的土地样本数据导入数据库，这可以是批量导入，也可以是实时数据流入，存储数据并为数据表创建索引，以便加速数据检索和查询操作，索引可以根据常见的查询需求进行优化，建立数据备份和恢复策略，确保数据安全性和可恢复性，定期备份数据以应对数据丢失或损坏的风险；
实施数据安全措施，包括访问控制、身份验证、授权和加密，以保护敏感数据免受未经授权的访问，制定数据一致性和完整性规则，以确保数据的质量和可信度，这包括数据验证、约束和规范化，提供数据更新和维护功能，以便可以更新和修改存储在数据库中的数据，保持数据的最新性，提供用户界面和查询工具，以便用户能够进行数据查询和检索，以满足其需求，根据政策或法规，定期归档和清理数据，以降低存储成本和维护数据的整洁性。
数据分类模块：这个模块可以用来对数据存储模块中的土地样本数据进行分类和标签，以便更好地组织数据，这可以包括土地用途、土壤类型、地理位置等标签，分类结果发送至可视化模块和报告生成模块。
数据分析模块：用于对土地样本数据进行分析，提供有关土地特性、趋势和模式的洞察，这可以包括统计分析、空间分析，分析结果发送至可视化模块和报告生成模块。
可视化模块：提供数据可视化工具，以便用户能够以图形方式查看和理解数据，这可以包括图表、地图、热力图等可视化方法；
在进行可视化之前，需要进行数据分析，以了解数据的特点、趋势和关键信息，数据也可能需要进行清洗和准备，以确保可视化的准确性，选择合适的可视化工具和库，这可以包括数据可视化工具如D3.js、Tableau、Matplotlib、Plotly等，以及地理信息系统(GIS)工具如ArcGIS、QGIS等，以满足不同可视化需求；
根据数据和用户需求选择适当的可视化类型，例如条形图、折线图、散点图、热力图、饼图、地图等，将数据映射到选定的可视化类型，并使用绘图工具创建相应的可视化图表，这包括定义数据点、坐标轴、颜色、标签等，添加交互性功能，使用户能够与可视化图表进行互动，例如缩放、筛选、提示信息显示等，优化可视化图表的外观，包括颜色、字体、标签、图例等，以提高可读性和吸引力；
如果系统包括多个可视化，确保它们之间可以进行联动，以支持更深入的数据探索，确保可视化能够在不同平台和设备上正常显示，包括计算机、移动设备和网页浏览器，提供用户培训，以确保用户能够充分利用可视化工具，并理解所呈现的信息，如果数据是实时变化的，确保可视化可以实时更新以反映最新数据，对于大规模数据，进行性能优化，以确保可视化仍然能够高效呈现大量数据，收集用户反馈并不断改进可视化模块，以满足用户需求并提高用户体验。
数据共享模块：允许用户将数据存储模块中的土地样本数据导出为不同格式，以便与其他机构或系统共享，这可以包括标准数据格式和协议支持；
确定要导出的数据格式，这可以包括标准数据格式(如CSV、Excel、JSON、XML)或特定行业或标准的数据格式，根据用户需求和目标机构的要求，选择要导出的数据，可以是特定日期范围内的数据、特定地理区域的数据、特定数据类型的数据等，如果目标格式与系统存储格式不匹配，进行数据转换和映射，以确保导出数据符合目标格式的要求，使用导出工具或功能，将筛选和映射后的数据导出到指定的目标文件或系统中，确定数据传输方式，这可以包括文件传输、API调用、Web服务、FTP等，以便将数据发送给目标机构；
确保在数据传输过程中的数据安全性，包括数据加密和身份验证，以防止未经授权的访问，提供数据文档和元数据，以便接收方了解数据的含义、来源和结构，通知目标机构或用户数据已准备好，以便他们能够及时获取和使用数据，对数据导出进行监控和追踪，以确保数据成功传输，并能够处理传输错误或问题；
确保只有授权的用户能够访问和导出数据，实施适当的用户权限和访问控制，遵守适用的法规和合规性要求，包括隐私法规、数据安全法规等，以确保数据合法共享，收集用户和目标机构的反馈，以改进数据导出和共享过程。
报告生成模块：可以生成标准化的报告，用于呈现数据分析结果、趋势和决策支持信息；
定义报告的结构和格式，包括标题、目录、章节、图表、表格、文字说明等，报告模板应根据用户需求和领域规范进行设计，根据用户需求，从数据存储模块中检索所需的数据，这可能涉及到复杂的查询和筛选条件，使用数据分析模块进行数据分析和计算，以生成报告所需的统计信息、图表和趋势分析；
将数据集成到报告模板中，并使用可视化工具生成图表、地图和热力图，以使数据更容易理解，添加文字描述和解释，以解释数据结果、趋势和洞察，这有助于用户更好地理解数据和分析结果；
根据报告模板、数据分析和文本描述，生成标准化的报告文档，这可以自动化生成，也可以手动编辑和定制，进行报告审查和校对，以确保报告的准确性、一致性和专业性，检查拼写、语法和格式错误，将生成的报告导出为所需的格式，如PDF、Word、HTML等，以便用户能够轻松分享和分发；
存档报告以备将来查阅和追溯，以支持决策过程的可追溯性，收集用户反馈，以改进报告的内容、格式和布局，以满足用户需求，在系统中实现报告生成的自动化过程，以提高效率，尤其是对于重复性报告，确保只有授权的用户能够生成和访问报告，实施适当的用户权限和访问控制。
本发明通过数据分类模块对数据库中的土地样本数据进行分类和标签，数据分析模块对土地样本数据进行分析，提供有关土地特性、趋势和模式的洞察，可视化模块基于数据可视化工具将分类结果和分析结果可视化处理后向用户展示，可视化方法包括图表、地图、热力图，数据共享模块将数据库中的土地样本数据导出为不同格式，包括标准数据格式和协议支持，与其他机构或系统共享，报告生成模块生成标准化的报告，呈现数据分析结果、趋势和决策支持信息，该管理系统可以使数据更易于查找和使用，有助于加速数据访问，提高土地信息的可用性，促进更多的研究和规划项目，通过数据分类、分析和可视化模块，系统可以提供更深入的洞察和可视化呈现土地特性、趋势和模式，这可以帮助决策者更好地了解土地情况，从而做出更明智的决策，促进可持续土地管理。
实施例2：数据分类模块对土地样本数据进行分类和标签，以便更好地组织数据，这可以包括土地用途、土壤类型、地理位置等标签；
确定要对土地样本数据进行分类和标签的目标，包括确定需要哪些类别和标签，例如土地用途、土壤类型、地理位置、时间等，为每个需要分类的数据属性定义类别或标签，例如确定土地用途的类别(农业、工业、住宅等)、土壤类型的类别(沙壤、壤土、粘土等)等；
根据需要，对数据进行标准化，以确保各类别之间的数据一致性，这可能涉及单位转换、数据格式统一等，明确定义数据字段与类别或标签之间的映射关系，例如，将土地用途字段映射到相应的类别(如农业、工业等)，基于规则引擎制定数据分类规则，规则可以根据字段值、关系或其他属性进行分类，使用分类规则将数据分配到相应的类别或标签中，是自动化的过程；
假设需要将土地样本数据按照土地用途进行分类，可以制定一组规则，根据土地用途字段的值，将数据分配到相应的类别或标签中：
规则1：农业用途
条件：土地用途字段等于"农田"；
操作：将数据分类为"农业用途"；
规则2：工业用途
条件：土地用途字段等于"工业区"；
操作：将数据分类为"工业用途"；
规则3：住宅用途
条件：土地用途字段等于"住宅区"；
操作：将数据分类为"住宅用途"；
规则4：商业用途
条件：土地用途字段等于"商业区"；
操作：将数据分类为"商业用途"；
这些规则基于土地用途字段的值来自动将数据分类为不同的土地用途类别，当新的土地样本数据被导入系统时，规则引擎会自动检查土地用途字段的值，并根据规则将数据分配到相应的类别中；
对已分类的数据进行验证和一致性检查，确保数据符合所定义的分类规则和标签，如果需要，进行数据补充，以完善或丰富数据，以便更好地支持分类和标签，更新数据的元数据，以包括分类和标签信息，以便后续的查询和分析；
验证分类标签的正确性：确保每个数据点被正确分类到相应的类别或标签中，比较分类后的标签与原始数据中的字段值，确保它们一致；
检查数据完整性：检查数据是否缺少关键信息，例如缺失的地理位置、时间戳，确保数据完整性以支持后续的分析；
检测异常数据：查找任何异常或不一致的数据，这可能是由于错误分类、数据录入错误或其他问题导致的，需要修复这些异常数据；
数据缺失值填充：如果发现数据中存在缺失值，填充这些缺失值以提高数据的完整性，这可以涉及使用默认值、估算值或从其他数据源获取信息；
数据修复：处理异常数据，可以进行手动修复或自动化处理，以使数据符合规则和标签；
数据丰富：如果有可能，补充数据以提供更多的相关信息，例如，可以添加地理坐标、气象数据或土地用途的详细描述；
标签和分类信息：更新数据的元数据，以包括已分类的标签和类别信息，这可以包括在数据记录中添加分类的字段，以便用户了解数据的分类；
更新时间戳：如果有必要，更新数据的时间戳以反映数据分类的时间点，这对于追踪数据更改和趋势分析非常有用；
文档元数据：确保文档和报告中的元数据反映最新的分类和标签信息，以支持后续的查询和分析。
数据质量管理：综合计算数据缺失度指数、分类标签欧式距离指数、异常积分指数后获取分类质量系数flz，表达式为：
式中，wz为数据缺失度指数，fb为分类标签欧式距离指数，yf为异常积分指数，α、β、γ分别为数据缺失度指数、分类标签欧式距离指数、异常积分指数的比例系数，且α、β、γ均大于0；
分类质量系数flz的具体计算逻辑为：数据缺失度指数、分类标签欧式距离指数、异常积分指数与分类质量系数flz呈反比关系，分别为数据缺失度指数、分类标签欧式距离指数、异常积分指数乘以一个比例系数，比例系数用于将数据缺失度指数、分类标签欧式距离指数、异常积分指数进行归一化处理，使数据缺失度指数、分类标签欧式距离指数、异常积分指数的取值范围相近，避免某一参数值过大或过小，调节完成后，综合计算数据缺失度指数、分类标签欧式距离指数、异常积分指数后获取分类质量系数，不仅分析更为全面，而且有利于提高数据处理效率。
有分类质量系数flz的计算逻辑与计算表达式可知，分类质量系数flz值越大，表明数据的分类质量越好，因此，将获取的分类质量系数flz值与预设的质量阈值进行对比；
若分类质量系数flz值＜质量阈值，分析数据的分类质量差；
若分类质量系数flz值≥质量阈值，分析数据的分类质量好；
当分析数据的分类质量差时，需要进行以下管理：
数据审核和校对：定期对已分类的数据进行审查和校对，以识别分类错误或不一致的情况，这可以涉及手动检查、双重验证或自动化的校对流程；
异常数据处理：识别和处理异常数据，包括错误分类、缺失值、离群值等，根据数据的性质，采取适当的纠正措施，如重新分类、填充缺失值或删除异常数据；
分类规则修订：定期评估和修订分类规则，如果发现分类规则不足以捕捉数据的复杂性或变化，应根据新的知识或需求更新规则；
数据补充和完善：补充数据以提高分类准确性，这可能包括从其他数据源获取信息，丰富数据，以便更好地支持分类和标签；
质量控制指标：制定数据质量控制指标和标准，以便监控分类质量，这可以包括准确性、完整性、一致性等指标，用于跟踪分类质量的变化。
数据缺失度指数的计算表达式为：wz＝xq/zsl；
式中，xq表示数据信息缺失检测次数，数据信息包括地理位置、时间戳，zsl表示分类后的总数据量，数据缺失度指数值越大，表明分类后数据越不完整，数据质量越差；
分类标签欧式距离指数的计算表达式为：
式中，(x1、x2、...、xn)表示分类后的标签的数值，(y1、y2、...、yn)，表示原始数据中的字段值的数值；
例如：假设分类标签的数值是(5,8,10)，而原始数据字段值的数值是(7,9,11)，则分类标签欧式距离指数计算表达式为：
这意味着分类标签与原始数据字段值之间的欧氏距离约为2.45，表示它们在数值上的差异度量，通常距离越小，它们越相似，距离越大，它们越不相似，即分类标签欧式距离指数值越小，表明分类后的标签与原始数据中的字段值越相似，数据质量越好。
异常积分指数的计算表达式为：
式中，Y(t)为数据异常的发生量，[tx，ty]为监测数据错误分类预警的时段，[ti，tj]为监测数据录入错误预警的时段；
数据错误分类和数据录入错误均会导致分类后的数据出现异常，因此，数据错误分类次数大于错误分类次数阈值的时段为监测数据错误分类预警的时段，数据录入错误次数大于录入错误次数阈值的时段为监测数据录入错误预警的时段；
异常积分指数值越大，表明系统检测过程中，分类后的数据异常越严重，降低分类数据的质量。
数据分析模块对土地样本数据进行分析，提供有关土地特性、趋势和模式的洞察，这可以包括统计分析、空间分析：
数据清洗：首先，对土地样本数据进行清洗，包括去除重复数据、处理缺失值、处理异常值和标准化数据格式；
数据探索：探索性数据分析(EDA)：通过可视化工具和统计方法，对数据进行初步探索，以了解数据的分布、关系和趋势，这可以包括绘制直方图、散点图、箱线图等；
特性分析：统计分析：使用统计方法，如平均值、中位数、标准差、相关系数等，来描述土地样本数据的特性，这有助于了解土地数据的中心趋势和分散程度；
趋势分析：时间序列分析：如果数据包括时间信息，可以进行时间序列分析，以识别土地特性随时间的变化趋势，这可以包括季节性分析、趋势分析等；
模式分析：空间分析：对地理信息系统(GIS)数据进行分析，以探索土地样本数据的空间模式和分布，这可以包括热点分析、空间自相关分析和地理加权回归等；
高级分析：机器学习和预测建模：使用机器学习算法来识别土地特性和趋势的复杂模式，以进行预测和模型构建，这可以包括回归分析、分类、聚类、深度学习等；
结果可视化：将分析结果以图形方式可视化，以便用户更容易理解和解释，可视化可以包括图表、地图、热力图和报告；
洞察和解释：根据分析结果，提取洞察和趋势，以解释土地数据的特点，这可以包括编制解释性报告，描述发现的模式和趋势；
决策支持：将数据分析结果用于支持土地管理和决策制定，这可能包括提供决策者建议、预测土地用途变化、土地规划和资源分配等；
监控和迭代：定期监控数据分析模块的性能和结果，根据需要调整分析方法和参数，数据分析是一个不断迭代的过程，以持续改进洞察和决策。
实施例3：本实施例所述土地管理用土地样本数据管理方法，所述管理方法包括以下步骤：
采集端采集土地样本数据，土地样本数据获取包括手动输入、地理信息系统数据导入、传感器数据传输，获取的土地样本数据存储在数据库中，处理端对数据库中的土地样本数据进行分类和标签，对土地样本数据进行分析，提供有关土地特性、趋势和模式的洞察，基于数据可视化工具将分类结果和分析结果可视化处理后向用户展示，可视化方法包括图表、地图、热力图，将数据库中的土地样本数据导出为不同格式，包括标准数据格式和协议支持，与其他机构或系统共享，生成标准化的报告，呈现数据分析结果、趋势和决策支持信息。
上述公式均是去量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最近真实情况的一个公式，公式中的预设参数由本领域的技术人员根据实际情况进行设置。
上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘。
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A,B可以是单数或者复数。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系，但也可能表示的是一种“和/或”的关系，具体可参考前后文进行理解。
本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (8)
1.土地管理用土地样本数据管理系统，其特征在于：包括数据采集模块、数据存储模块、数据分类模块、数据分析模块、可视化模块、数据共享模块以及报告生成模块：
数据采集模块：用于采集土地样本数据，土地样本数据获取包括手动输入、地理信息系统数据导入、传感器数据传输；
数据存储模块：用于存储和管理采集的土地样本数据，土地样本数据存储在数据库中；
数据分类模块：对数据库中的土地样本数据进行分类和标签；
数据分析模块：用于对土地样本数据进行分析，提供有关土地特性、趋势和模式的洞察；
可视化模块：基于数据可视化工具将分类结果和分析结果可视化处理后向用户展示，可视化方法包括图表、地图、热力图；
数据共享模块：将数据库中的土地样本数据导出为不同格式，包括标准数据格式和协议支持，与其他机构或系统共享；
报告生成模块：生成标准化的报告，呈现数据分析结果、趋势和决策支持信息。
2.根据权利要求1所述的土地管理用土地样本数据管理系统，其特征在于：所述数据分类模块对数据库中的土地样本数据进行分类和标签包括以下步骤：
确定要对土地样本数据进行分类和标签的目标，为每个需要分类的数据属性定义类别或标签；
根据需要，对数据进行标准化处理，标准化处理包括单位转换、数据格式统一，明确定义数据字段与类别或标签之间的映射关系；
基于规则引擎制定数据分类规则，规则根据字段值、关系进行分类，使用分类规则将数据分配到相应的类别或标签中；
对已分类的数据进行验证和一致性检查，确保数据符合所定义的分类规则和标签。
3.根据权利要求2所述的土地管理用土地样本数据管理系统，其特征在于：对已分类的数据进行验证和一致性检查，确保数据符合所定义的分类规则和标签包括以下步骤：
比较分类后的标签与原始数据中的字段值，分析每个数据点是否被正确分类到相应的类别或标签中；
检查数据是否缺少关键信息，关键信息包括缺失的地理位置、时间戳；
查找任何异常或不一致的数据，异常包括错误分类、数据录入错误，处理异常数据使数据符合规则和标签；
更新数据的元数据，包括已分类的标签和类别信息，包括在数据记录中添加分类的字段，更新数据的时间戳以反映数据分类的时间点；
综合评估分类后的土地样本数据质量。
4.根据权利要求3所述的土地管理用土地样本数据管理系统，其特征在于：综合评估分类后的土地样本数据质量包括以下步骤：
获取分类后土地样本数据的数据缺失度指数、分类标签欧式距离指数、异常积分指数；
综合计算数据缺失度指数、分类标签欧式距离指数、异常积分指数后获取分类质量系数；
若分类质量系数flz值＜质量阈值，分析数据的分类质量差；
若分类质量系数flz值≥质量阈值，分析数据的分类质量好。
5.根据权利要求4所述的土地管理用土地样本数据管理系统，其特征在于：所述分类质量系数的计算逻辑为：数据缺失度指数、分类标签欧式距离指数、异常积分指数与分类质量系数flz呈反比关系，分别为数据缺失度指数、分类标签欧式距离指数、异常积分指数乘以一个比例系数，比例系数用于将数据缺失度指数、分类标签欧式距离指数、异常积分指数进行归一化处理，使数据缺失度指数、分类标签欧式距离指数、异常积分指数的取值范围相近，调节完成后，综合计算数据缺失度指数、分类标签欧式距离指数、异常积分指数后获取分类质量系数。
6.根据权利要求5所述的土地管理用土地样本数据管理系统，其特征在于：所述分类标签欧式距离指数的计算表达式为：
式中，(x1、x2、...、xn)表示分类后的标签的数值，(y1、y2、...、yn)，表示原始数据中的字段值的数值。
7.根据权利要求6所述的土地管理用土地样本数据管理系统，其特征在于：所述异常积分指数的计算表达式为：
式中，Y(t)为数据异常的发生量，[tx，ty]为监测数据错误分类预警的时段，[ti，tj]为监测数据录入错误预警的时段；
数据错误分类次数大于错误分类次数阈值的时段为监测数据错误分类预警的时段，数据录入错误次数大于录入错误次数阈值的时段为监测数据录入错误预警的时段。
8.土地管理用土地样本数据管理方法，通过权利要求1-7任一项所述的管理系统实现，其特征在于：所述管理方法包括以下步骤：
S1：采集端采集土地样本数据，土地样本数据获取包括手动输入、地理信息系统数据导入、传感器数据传输，获取的土地样本数据存储在数据库中；
S2：处理端对数据库中的土地样本数据进行分类和标签，对土地样本数据进行分析，提供有关土地特性、趋势和模式的洞察；
S3：基于数据可视化工具将分类结果和分析结果可视化处理后向用户展示，可视化方法包括图表、地图、热力图；
S4：将数据库中的土地样本数据导出为不同格式，包括标准数据格式和协议支持，与其他机构或系统共享；
S5：生成标准化的报告，呈现数据分析结果、趋势和决策支持信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311833930.0A CN117828148A (zh) | 2023-12-28 | 2023-12-28 | 土地管理用土地样本数据管理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311833930.0A CN117828148A (zh) | 2023-12-28 | 2023-12-28 | 土地管理用土地样本数据管理方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117828148A true CN117828148A (zh) | 2024-04-05 |
Family
ID=90509170
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311833930.0A Pending CN117828148A (zh) | 2023-12-28 | 2023-12-28 | 土地管理用土地样本数据管理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117828148A (zh) |
-
2023
- 2023-12-28 CN CN202311833930.0A patent/CN117828148A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105868373B (zh) | 电力业务信息系统关键数据处理方法及装置 | |
| US5930798A (en) | Universal data measurement, analysis and control system | |
| Redman | Measuring data accuracy: A framework and review | |
| US20100179951A1 (en) | Systems and methods for mapping enterprise data | |
| CN109191338B (zh) | 基于校园一卡通消费数据的学生行为预警方法 | |
| CN111680153A (zh) | 一种基于知识图谱的大数据鉴真方法与系统 | |
| US20160239766A1 (en) | Systems, methods, and user interfaces for evaluating quality, health, safety, and environment data | |
| CN112860769B (zh) | 一种能源规划数据管理系统 | |
| CN115809302A (zh) | 元数据处理方法、装置、设备及存储介质 | |
| CN117829291B (zh) | 一种全过程咨询知识集成管理系统及方法 | |
| CN117235524A (zh) | 自动估值模型的学习训练平台 | |
| Aljumaili | Data quality assessment: Applied in maintenance | |
| Xue et al. | Improving near real-time anomaly event detection and classification with trend change detection for smart water grid operation management | |
| CN112631889A (zh) | 针对应用系统的画像方法、装置、设备及可读存储介质 | |
| Dierickx | News bot for the newsroom: how building data quality indicators can support journalistic projects relying on real-time open data | |
| WO2017156399A1 (en) | Systems, methods, and user interfaces for evaluating quality, health, safety, and environment data | |
| CN108052637B (zh) | 电网时标量测数据接入全生命周期实时图文监控方法 | |
| Longmate et al. | Prioritizing the selection of CMIP6 model ensemble members for downscaling projections of CONUS temperature and precipitation | |
| CN117828148A (zh) | 土地管理用土地样本数据管理方法及系统 | |
| Yuan et al. | Issues of intelligent data acquisition and quality for manufacturing decision-support in an Industry 4.0 context | |
| CN118011990B (zh) | 基于人工智能的工业数据品质监控与提升系统 | |
| CN117745110B (zh) | 一种基于行为分析的智慧校园餐厅运行管控方法及系统 | |
| Aziz et al. | Using quantitative approaches to enhance construction performance through data captured from mobile devices | |
| CN117786182B (zh) | 基于erp系统的业务数据存储系统及方法 | |
| CN118210791A (zh) | 基于ai训练的大数据清洗方法及大数据采集系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |