CN116842092A - 数据建库及归集管理的方法及系统 - Google Patents
数据建库及归集管理的方法及系统 Download PDFInfo
- Publication number
- CN116842092A CN116842092A CN202310675825.2A CN202310675825A CN116842092A CN 116842092 A CN116842092 A CN 116842092A CN 202310675825 A CN202310675825 A CN 202310675825A CN 116842092 A CN116842092 A CN 116842092A
- Authority
- CN
- China
- Prior art keywords
- information
- village
- data
- data set
- tasks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000013079 data visualisation Methods 0.000 claims abstract description 24
- 238000004140 cleaning Methods 0.000 claims abstract description 14
- 238000011161 development Methods 0.000 claims description 55
- 238000013439 planning Methods 0.000 claims description 41
- 238000007726 management method Methods 0.000 claims description 30
- 238000007405 data analysis Methods 0.000 claims description 13
- 238000004519 manufacturing process Methods 0.000 claims description 12
- 238000005192 partition Methods 0.000 claims description 12
- 238000005067 remediation Methods 0.000 claims description 10
- 230000006872 improvement Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 238000003062 neural network model Methods 0.000 claims description 8
- 238000013461 design Methods 0.000 claims description 7
- 238000007619 statistical method Methods 0.000 claims description 7
- 230000010391 action planning Effects 0.000 claims description 5
- 238000009440 infrastructure construction Methods 0.000 claims description 5
- 238000009360 aquaculture Methods 0.000 claims description 4
- 244000144974 aquaculture Species 0.000 claims description 4
- 230000005611 electricity Effects 0.000 claims description 4
- 244000144972 livestock Species 0.000 claims description 4
- 230000005012 migration Effects 0.000 claims description 4
- 238000013508 migration Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000018109 developmental process Effects 0.000 description 37
- 238000004458 analytical method Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013523 data management Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009418 renovation Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 235000013405 beer Nutrition 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000003973 irrigation Methods 0.000 description 1
- 230000002262 irrigation Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000003911 water pollution Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2379—Updates performed during online database operations; commit processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提出了一种数据建库及归集管理的方法及系统，涉及人工智能技术领域，包括：获取多个乡村的基本信息；对所述基本信息进行数据清洗和标准化处理，包括检查数据质量、去除错误或重复数据、统一数据格式，然后对处理后的基本信息进行分类和分级管理，根据不同标准划分不同的数据集，之后将各个所述数据集在数据库中进行关联；在实施村镇任务的情况下，从所述数据库中获取与所述村镇任务关联的目标数据集，并基于数据可视化工具，对所述目标数据集进行展示；获取村镇任务的实时需求信息，并根据所述实时需求信息对所述数据库进行更新，并对所述村镇任务的展示内容进行更新。
Description
技术领域
本公开涉及人工智能技术领域，尤其涉及一种数据建库及归集管理的方法及系统。
背景技术
随着中国经济的发展和城镇化进程的加快，乡村地区面临人口外流、农业结构性调整等问题，需要进行发展。为了有效推进发展，需要建立一套全面的数据体系，对于乡村的自然环境、人口、产业、设施等方面的数据进行系统归集和管理。这将有助于为乡村企业提供科学决策依据，推动乡村经济和社会发展。因而，如何进行科学、有效的数据建库，从而使得能够提高对数据的利用率，是目前需要解决的问题。
发明内容
本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
本公开第一方面实施例提出了一种数据建库及归集管理的方法，包括：
获取多个乡村的基本信息；
对所述基本信息进行数据清洗和标准化处理，包括检查数据质量、去除错误或重复数据、统一数据格式，然后对处理后的基本信息进行分类和分级管理，根据不同标准划分不同的数据集，之后将各个所述数据集在数据库中进行关联；
在实施村镇任务的情况下，从所述数据库中获取与所述村镇任务关联的目标数据集，并基于数据可视化工具，对所述目标数据集进行展示；
获取村镇任务的实时需求信息，并根据所述实时需求信息对所述数据库进行更新，并对所述村镇任务的展示内容进行更新。
本公开第二方面实施例提出了一种数据建库及归集管理的系统，包括：
第一获取模块，用于获取多个乡村的基本信息；
处理模块，用于对所述基本信息进行数据清洗和标准化处理，包括检查数据质量、去除错误或重复数据、统一数据格式，然后对处理后的基本信息进行分类和分级管理，根据不同标准划分不同的数据集，之后将各个所述数据集在数据库中进行关联；
展示模块，用于在实施村镇任务的情况下，从所述数据库中获取与所述村镇任务关联的目标数据集，并基于数据可视化工具，对所述目标数据集进行展示；
更新模块，用于获取村镇任务的实时需求信息，并根据所述实时需求信息对所述数据库进行更新，并对所述村镇任务的展示内容进行更新。
本公开实施例中，首先获取多个乡村的基本信息，之后对所述基本信息进行数据清洗和标准化处理，包括检查数据质量、去除错误或重复数据、统一数据格式，然后对处理后的基本信息进行分类和分级管理，根据不同标准划分不同的数据集，之后将各个所述数据集在数据库中进行关联，然后在实施村镇任务的情况下，从所述数据库中获取与所述村镇任务关联的目标数据集，并基于数据可视化工具，对目标数据集进行展示，最后获取村镇任务的实时需求信息，并根据所述实时需求信息对所述数据库进行更新，并对所述村镇任务的展示内容进行更新。由此，通过获取多个乡村的基本信息，并进行数据清洗和标准化处理，可以更加全面地了解和管理乡村的发展状况，为制定村镇任务战略提供更为准确和全面的数据支持，可以更好地了解和管理乡村的基本信息，通过对处理后的基本信息进行分类和分级管理，并根据不同标准划分不同的数据集，在数据库中进行关联，可以使得数据管理更加清晰、高效，也更为容易进行跨数据集的统计计算和各类数据分析操作，从而可以优化数据管理方式，还可以提升数据使用价值，由于通过实施村镇任务，并从所述数据库中获取与所述村镇任务关联的目标数据集，并利用数据可视化工具对各个数据集进行展示，可以使得数据更具可读性和直观性，提升数据的使用价值，进而对推动村镇任务项目的实施和管理产生积极推动作用，并且可以及时更新村镇任务需求信息：通过获取村镇任务的实时需求信息，并根据所述实时需求信息对所述数据库进行更新，并对所述村镇任务的展示内容进行更新，可以保证数据集始终具有时效性，并可以灵活根据实际需求进行深入的分析工作。
本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本公开实施例所提供的一种数据建库及归集管理的方法的流程图；
图2为本公开实施例所提供的一种数据建库及归集管理的系统的结构框图。
具体实施方式
下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。
下面参考附图描述本公开实施例的数据建库及归集管理的系统。
图1为本公开实施例所提供的数据建库及归集管理的方法的流程图。
如图1所示，该数据建库及归集管理的方法，包括：
步骤101，获取多个乡村的基本信息。
其中，基本信息至少包含有常住人口、人口年龄结构、外出务工人数、返乡人数、各类用地面积、人居环境整治情况、产业发展情况、农产品价格信息,在此不做限定。
其中，多个乡村可以是同一个省份的，或者也可以是从不同的省份中筛选出来的，在此不做限定。
步骤102，对所述基本信息进行数据清洗和标准化处理，包括检查数据质量、去除错误或重复数据、统一数据格式，然后对处理后的基本信息进行分类和分级管理，根据不同标准划分不同的数据集，之后将各个所述数据集在数据库中进行关联。
具体的，首先需要检查收集到的基本信息是否完整、准确和一致。可以通过对基本信息进行可视化和统计分析来识别可能存在的错误或缺失值。同时，还可以对不同来源的数据进行比较，以确保它们之间一致，之后需要去除重复数据：重复的数据会影响数据的正确性和准确性，因此需要将其去除。可以采用自动化工具或手动去重方法来实现，如使用啤酒定理（Brewer's Law）等算法进行重复数据检测和去除。进一步地，还需要进行标准化数据格式：由于不同地区和部门收集的数据经常采用不同的格式和单位，因此需要对数据进行标准化处理以便后续处理。例如，统一使用国家标准的地理坐标表示方式，规范化街道、村庄名称等信息。之后，还需要处理数据中的缺失和异常值：对于数据缺失和异常值，可以采用插值或统计方法来填充或修正数据。此外，还可以使用数据挖掘技术或人工审核来发现并纠正潜在的错误或异常值，最后可以保存清洗后的数据，清洗完毕后，需要将数据保存在可靠的数据库中，以备后续使用。
具体的，在对处理后的基本信息进行分类和分级管理，根据不同标准划分不同的数据集时，可以首先将所述基本信息分为至少四个类型，所述至少四个类型包括现状普查数据集、村庄布点规划数据集、村庄规划数据集和整治规划数据集。
其中，所述现状普查数据集至少包含有经济现状、土地利用现状、村庄建设现状、历史文化资源现状、村庄建设需求、村落普查现状；
其中，村庄布点规划数据集至少包含有村庄布点规划信息、生态保护规划信息、产业功能片区信息、新增住宅布局信息、开发密度分区信息和旅游分区规划信息；
其中，村庄规划数据集至少包含功能分区、用地规划、控规衔接信息、近期行动计划信息、住宅用地使用方案信息、历史文化保护信息；
其中，整治规划数据集至少包含整治规划布局信息和近期行动计划信息。
具体的，可以首先使用主键和外键对不同表格之间建立连接：对于不同数据集中的每个信息单元，可以将其存储在各自的表格中，并使用主键（primary key）和外键（foreign key）来建立连接。例如，在现状普查数据集中，可以使用每个村庄的编号作为主键，在其他数据集中使用这些编号作为外键来实现关联，以便更轻松地进行数据分析。之后可以合并不同表格来创建视图：可以考虑将相关的数据表格合并，通过创建视图（view）来展示数据集之间的关联。例如，可以将村庄布点规划数据集和村庄规划数据集合并，通过创建一个视图来展示两个数据集之间的联系。由此，通过合理设计数据库架构可以使得数据查询和分析更加高效、方便，提升城乡规划工作的效率和准确度。
进一步地，可以根据所述村镇任务的实时需求信息，设计数据汇总表。
其中，所述数据汇总表包括各个数据集的汇总字段、数据类型和统计方法。
其中，所述村镇任务的实时需求信息至少包含农民生产经营信息、土地利用和保护信息、乡村公共基础设施建设信息、产业发展信息、乡村人口变化信息。
其中，所述农民生产经营信息至少包含各类农作物的生产信息、畜牧水产养殖信息、劳动力和农技服务需求信息。
所述土地利用和保护信息包括土地用途、集体土地流转、农村环境综合整治进展信息。
所述乡村公共基础设施建设情况包括道路交通、水、电、气对应的基础设施的建设信息、更新信息、改造信息，以及在线教育及医疗公共服务设施强度信息、网络覆盖信息。
所述产业发展信息包括乡村旅游、休闲娱乐、项目进展及需求信息。
所述乡村人口变化信息包括年龄结构、户籍情况、人口流动信息、迁移信息、就业和创业情况信息，
将各个所述数据集按照预设的设计规则导入到所述数据汇总表中；
使用SQL语言对所述数据汇总表进行统计分析，以生成数据分析报告。
作为一种可能实现的方式，将各个所述数据集按照预设的设计规则导入所述数据汇总表可以遵循以下步骤：首先创建数据汇总表：首先需要根据预设的设计规则，在数据库中创建对应的数据汇总表。可以使用SQL语言中的CREATE TABLE命令来实现。之后导入数据集：将不同数据集中相关的信息插入到数据汇总表中，可以使用SQL语言中的INSERT INTO命令，按照预设的设计规则来进行插入操作。然后检查和清洗数据：导入后，需要对数据进行检查和清洗，确保数据格式的一致性和有效性。可以使用SQL语言中的SELECT和WHERE语句来筛选和修改数据。之后连接和关联表格：如果需要进行跨表格的查询和统计分析，则需要使用SQL语言中的JOIN和UNION命令来建立连接和关联不同的数据表格。然后可以编写SQL查询语句：为了进行数据分析，需要编写SQL查询语句，选择需要的信息并进行统计、排序等操作。可以使用SQL语言中的GROUP BY、ORDER BY、HAVING等命令。最后可以生成数据分析报告：根据SQL查询语句的结果，生成相应的数据分析报告。可以使用多种工具来完成，如利用Python和Jupyter Notebook展示分析结果，或使用如Tableau等数据可视化软件，生成数据分析报告的漂亮图表和图形。
步骤103，在实施村镇任务的情况下，从所述数据库中获取与所述村镇任务关联的目标数据集，并基于数据可视化工具，对目标数据集进行展示。
其中，村镇任务可以有乡村基础设施建设项目，比如农田水利、交通、电力、垃圾处理、厕所改造等方面。还可以包括有农村产业升级项目，构建符合地域特点的农业发展模式，推广现代农业技术，以及生态环境治理的项目，比如实施土地整治、水污染治理等相关工作。可以理解的是，在数据库中包含有多种数据，本公开实施例中，可以选择与实施村镇任务相关的数据，作为目标数据集。
其中，数据可视化工具可以有以下几种：Tableau、Highcharts、D3.js、Power BI，在此不做限定。其中，Highcharts是基于JavaScript库的数据可视化工具，可生成交互式图表和地图。支持各种图类型和数据源，并提供对细节的高度自定义。其中，D3.js是开源的JavaScript库，是用于基于Web的数据可视化的高级工具。其中，Power BI提供了数据可视化、数据建模、仪表板等功能，适用于大量数据处理和跨设备共享数据。进一步地，可以获取多个用户对所述数据可视化工具的反馈信息；根据所述反馈信息，调整所述村镇任务的展示内容；响应于确定所述反馈信息的数量达到预设阈值，对所述反馈信息进行处理，以获取所述用户对所述村镇任务的反馈标签。其中，反馈信息可以是用户对村镇任务的建议，或者对展示内容展示情况的建议，在此不做限定。可以理解的是，可以对用户对村镇任务的建议进行自然语言处理，以得到对应的特征标签，以及情感标签。其中，反馈信息的数量可以是反馈用户的数量，或者也可以是反馈数据的数据量。可以理解的是，若反馈信息的数量达到预设阈值，则说明用户反馈的愿望比较强烈，因而此时可以对反馈信息进行处理，从而调整村镇任务项目的展示内容，以及得到对应的反馈标签。其中，反馈标签可以是对任一村镇任务正面的标签，也可以是负面的标签，在此不做限定。由此，可以通过获取多个用户对数据可视化工具的反馈信息，可以及时了解到用户的需求和评价，通过针对需求进行相应调整，增强了数据可视化工具在村镇任务项目中的应用和表现，提高反馈信息的价值和可利用性。当反馈信息数量达到预设阈值时，可以对反馈信息进行处理，进一步分析、总结、过滤等操作，以获取用户所提供的运用场景、问题、意见等反馈标签，这些反馈标签可以为决策层制定更完善的村镇任务政策提供参考，同时也可以为工具的迭代升级提供指导。
步骤104，获取村镇任务的实时需求信息，并根据所述实时需求信息对所述数据库进行更新，并对所述村镇任务的展示内容进行更新。
可选的，可以首先按照指定的周期，获取与每个所述乡村对应的问卷调查结果，其中，所述问卷调查结果是与每个所述周期的所述村镇任务的实时需求信息关联的，然后对各个所述周期对应的所述问卷调查结果进行特征提取，以生成与每个所述周期对应的第一乡村发展特征，之后将各个所述周期的第一乡村发展特征输入至预先构建的神经网络模型中，以获取与每个所述乡村对应的第二乡村发展特征，最后根据每个所述乡村对应的第二乡村发展特征，获取与每个所述乡村关联的目标村镇任务策略。
具体的，可以建立与问卷调查系统的接口，定时获取每个周期内针对各个乡村所做的问卷调查结果，并将其保存至数据库中。可以使用机器学习算法来从所述问卷调查结果中提取第一乡村发展特征。其中，数据预处理和特征挖掘技术非常重要，可以采用文本处理、数据降维等技术来处理复杂问卷数据。根据情况，可选择不同的数据挖掘算法，例如主成分分析(PCA)、决策树、支持向量机(SVM)、随机森林等，来处理和分析问卷调查结果，以提取重要特征并生成第一乡村发展特征。可以首先利用神经网络模型来建模和训练，以生成与每个所述乡村对应的第二乡村发展特征。在构建神经网络模型时，需要考虑多方面因素，如选择合适的网络结构、设计合适的损失函数等。然后，使用生成的第一乡村发展特征作为输入，对神经网络模型进行训练和优化。之后进行数据分析：根据每个所述乡村对应的第二乡村发展特征，采取适当的数据分析方法，比如聚类分析、主成分分析等技术手段，以获取与每个所述乡村关联的目标村镇任务策略。其中，第一乡村发展特征是乡村的发展特征，第二乡村发展特征是与村镇任务关联的乡村发展特征。具体的，通过神经网络模型的方式可以使得获取到底第二乡村发展特征更加的可靠和准确。在得到了对应的第二乡村发展特征之后，可以据此获取关联的目标村镇任务策略。
可以理解的是，不同的乡村的情况不同，比如地域不同，风俗习惯不同，发展情况不同，因而可以根据为不同特征的乡村预先关联好对应的村镇任务策略，从而使得村镇任务策略更加符合乡村本地的情况。本公开实施例中，可以将与任一乡村对应的第二乡村发展特征关联的村镇任务策略作为对应的目标村镇任务策略，在此不做限定。
本公开实施例中，首先获取多个乡村的基本信息，之后对所述基本信息进行数据清洗和标准化处理，包括检查数据质量、去除错误或重复数据、统一数据格式，然后对处理后的基本信息进行分类和分级管理，根据不同标准划分不同的数据集，之后将各个所述数据集在数据库中进行关联，然后在实施村镇任务的情况下，从所述数据库中获取与所述村镇任务关联的目标数据集，并基于数据可视化工具，对各个所述数据集进行展示，最后获取村镇任务的实时需求信息，并根据所述实时需求信息对所述数据库进行更新，并对所述村镇任务的展示内容进行更新。由此，通过获取多个乡村的基本信息，并进行数据清洗和标准化处理，可以更加全面地了解和管理乡村的发展状况，为制定村镇任务战略提供更为准确和全面的数据支持，可以更好地了解和管理乡村的基本信息，通过对处理后的基本信息进行分类和分级管理，并根据不同标准划分不同的数据集，在数据库中进行关联，可以使得数据管理更加清晰、高效，也更为容易进行跨数据集的统计计算和各类数据分析操作，从而可以优化数据管理方式，还可以提升数据使用价值，由于通过实施村镇任务，并从所述数据库中获取与所述村镇任务关联的目标数据集，并利用数据可视化工具对各个数据集进行展示，可以使得数据更具可读性和直观性，提升数据的使用价值，进而对推动村镇任务项目的实施和管理产生积极推动作用，并且可以及时更新村镇任务需求信息：通过获取村镇任务的实时需求信息，并根据所述实时需求信息对所述数据库进行更新，并对所述村镇任务的展示内容进行更新，可以保证数据集始终具有时效性，并可以灵活根据实际需求进行深入的分析工作。
图2为本公开实施例所提供的数据建库及归集管理的系统的结构框图。
如图2所示，该数据建库及归集管理的系统，包括：
第一获取模块210，用于获取多个乡村的基本信息；
处理模块220，用于对所述基本信息进行数据清洗和标准化处理，包括检查数据质量、去除错误或重复数据、统一数据格式，然后对处理后的基本信息进行分类和分级管理，根据不同标准划分不同的数据集，之后将各个所述数据集在数据库中进行关联；
展示模块230，用于在实施村镇任务的情况下，从所述数据库中获取与所述村镇任务关联的目标数据集，并基于数据可视化工具，对所述目标数据集进行展示；
更新模块240，用于获取村镇任务的实时需求信息，并根据所述实时需求信息对所述数据库进行更新，并对所述村镇任务的展示内容进行更新。
可选的，所述基本信息至少包含有常住人口、人口年龄结构、外出务工人数、返乡人数、各类用地面积、人居环境整治情况、产业发展情况、农产品价格信息,
所述处理模块，具体用于：
将所述基本信息分为至少四个类型，所述至少四个类型包括现状普查数据集、村庄布点规划数据集、村庄规划数据集和整治规划数据集，
其中，所述现状普查数据集至少包含有经济现状、土地利用现状、村庄建设现状、历史文化资源现状、村庄建设需求、村落普查现状；
所述村庄布点规划数据集至少包含有村庄布点规划信息、生态保护规划信息、产业功能片区信息、新增住宅布局信息、开发密度分区信息和旅游分区规划信息；
所述村庄规划数据集至少包含功能分区、用地规划、控规衔接信息、近期行动计划信息、住宅用地使用方案信息、历史文化保护信息；
所述整治规划数据集至少包含整治规划布局信息和近期行动计划信息。
可选的，所述处理模块，还用于：
根据所述村镇任务的实时需求信息，设计数据汇总表，其中，所述数据汇总表包括各个数据集的汇总字段、数据类型和统计方法，
其中，所述村镇任务的实时需求信息至少包含农民生产经营信息、土地利用和保护信息、乡村公共基础设施建设信息、产业发展信息、乡村人口变化信息，
其中，所述农民生产经营信息至少包含各类农作物的生产信息、畜牧水产养殖信息、劳动力和农技服务需求信息，
所述土地利用和保护信息包括土地用途、集体土地流转、农村环境综合整治进展信息，
所述乡村公共基础设施建设情况包括道路交通、水、电、气对应的基础设施的建设信息、更新信息、改造信息，以及在线教育及医疗公共服务设施强度信息、网络覆盖信息，
所述产业发展信息包括乡村旅游、休闲娱乐、项目进展及需求信息，
所述乡村人口变化信息包括年龄结构、户籍情况、人口流动信息、迁移信息、就业和创业情况信息，
将各个所述数据集按照预设的设计规则导入到所述数据汇总表中；
使用SQL语言对所述数据汇总表进行统计分析，以生成数据分析报告。
可选的，所述的系统，还包括：
第二获取模块，用于按照指定的周期，获取与每个所述乡村对应的问卷调查结果，其中，所述问卷调查结果是与每个所述周期的所述村镇任务的实时需求信息关联的；
生成模块，用于对各个所述周期对应的所述问卷调查结果进行特征提取，以生成与每个所述周期对应的第一乡村发展特征；
第三获取模块，用于将各个所述周期的第一乡村发展特征输入至预先构建的神经网络模型中，以获取与每个所述乡村对应的第二乡村发展特征；
第四获取模块，用于根据每个所述乡村对应的第二乡村发展特征，获取与每个所述乡村关联的目标村镇任务策略。
可选的，所述展示模块，还用于：
获取多个用户对所述数据可视化工具的反馈信息；
根据所述反馈信息，调整所述村镇任务的展示内容；
响应于确定所述反馈信息的数量达到预设阈值，对所述反馈信息进行处理，以获取所述用户对所述村镇任务的反馈标签
本公开实施例中，首先获取多个乡村的基本信息，之后对所述基本信息进行数据清洗和标准化处理，包括检查数据质量、去除错误或重复数据、统一数据格式，然后对处理后的基本信息进行分类和分级管理，根据不同标准划分不同的数据集，之后将各个所述数据集在数据库中进行关联，然后在实施村镇任务的情况下，从所述数据库中获取与所述村镇任务关联的目标数据集，并基于数据可视化工具，对所述目标数据集进行展示，最后获取村镇任务的实时需求信息，并根据所述实时需求信息对所述数据库进行更新，并对所述村镇任务的展示内容进行更新。由此，通过获取多个乡村的基本信息，并进行数据清洗和标准化处理，可以更加全面地了解和管理乡村的发展状况，为制定村镇任务战略提供更为准确和全面的数据支持，可以更好地了解和管理乡村的基本信息，通过对处理后的基本信息进行分类和分级管理，并根据不同标准划分不同的数据集，在数据库中进行关联，可以使得数据管理更加清晰、高效，也更为容易进行跨数据集的统计计算和各类数据分析操作，从而可以优化数据管理方式，还可以提升数据使用价值，由于通过实施村镇任务，并从所述数据库中获取与所述村镇任务关联的目标数据集，并利用数据可视化工具对各个数据集进行展示，可以使得数据更具可读性和直观性，提升数据的使用价值，进而对推动村镇任务项目的实施和管理产生积极推动作用，并且可以及时更新村镇任务需求信息：通过获取村镇任务的实时需求信息，并根据所述实时需求信息对所述数据库进行更新，并对所述村镇任务的展示内容进行更新，可以保证数据集始终具有时效性，并可以灵活根据实际需求进行深入的分析工作。
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种数据建库及归集管理的方法，其特征在于，包括：
获取多个乡村的基本信息；
对所述基本信息进行数据清洗和标准化处理，包括检查数据质量、去除错误或重复数据、统一数据格式，然后对处理后的基本信息进行分类和分级管理，根据不同标准划分不同的数据集，之后将各个所述数据集在数据库中进行关联；
在实施村镇任务的情况下，从所述数据库中获取与所述村镇任务关联的目标数据集，并基于数据可视化工具，对所述目标数据集进行展示；
获取村镇任务的实时需求信息，并根据所述实时需求信息对所述数据库进行更新，并对所述村镇任务的展示内容进行更新。
2.根据权利要求1所述的方法，其特征在于，其中，所述基本信息至少包含有常住人口、人口年龄结构、外出务工人数、返乡人数、各类用地面积、人居环境整治情况、产业发展情况、农产品价格信息,
所述对处理后的基本信息进行分类和分级管理，根据不同标准划分不同的数据集，包括：
将所述基本信息分为至少四个类型，所述至少四个类型包括现状普查数据集、村庄布点规划数据集、村庄规划数据集和整治规划数据集，
其中，所述现状普查数据集至少包含有经济现状、土地利用现状、村庄建设现状、历史文化资源现状、村庄建设需求、村落普查现状；
所述村庄布点规划数据集至少包含有村庄布点规划信息、生态保护规划信息、产业功能片区信息、新增住宅布局信息、开发密度分区信息和旅游分区规划信息；
所述村庄规划数据集至少包含功能分区、用地规划、控规衔接信息、近期行动计划信息、住宅用地使用方案信息、历史文化保护信息；
所述整治规划数据集至少包含整治规划布局信息和近期行动计划信息。
3.根据权利要求1所述的方法，其特征在于，在所述将各个所述数据集在数据库中进行关联之后，还包括：
根据所述村镇任务的实时需求信息，设计数据汇总表，其中，所述数据汇总表包括各个数据集的汇总字段、数据类型和统计方法，
其中，所述村镇任务的实时需求信息至少包含农民生产经营信息、土地利用和保护信息、乡村公共基础设施建设信息、产业发展信息、乡村人口变化信息，
其中，所述农民生产经营信息至少包含各类农作物的生产信息、畜牧水产养殖信息、劳动力和农技服务需求信息，
所述土地利用和保护信息包括土地用途、集体土地流转、农村环境综合整治进展信息，
所述乡村公共基础设施建设情况包括道路交通、水、电、气对应的基础设施的建设信息、更新信息、改造信息，以及在线教育及医疗公共服务设施强度信息、网络覆盖信息，
所述产业发展信息包括乡村旅游、休闲娱乐、支持新型农业经营主体产业的发展信息、项目进展及需求信息，
所述乡村人口变化信息包括年龄结构、户籍情况、人口流动信息、迁移信息、就业和创业情况信息，
将各个所述数据集按照预设的设计规则导入到所述数据汇总表中；
使用SQL语言对所述数据汇总表进行统计分析，以生成数据分析报告。
4.根据权利要求1所述的方法，其特征在于，还包括：
按照指定的周期，获取与每个所述乡村对应的问卷调查结果，其中，所述问卷调查结果是与每个所述周期的所述村镇任务的实时需求信息关联的；
对各个所述周期对应的所述问卷调查结果进行特征提取，以生成与每个所述周期对应的第一乡村发展特征；
将各个所述周期的第一乡村发展特征输入至预先构建的神经网络模型中，以获取与每个所述乡村对应的第二乡村发展特征；
根据每个所述乡村对应的第二乡村发展特征，获取与每个所述乡村关联的目标村镇任务策略。
5.根据权利要求1所述的方法，其特征在于，在所述基于数据可视化工具，对各个所述数据集进行展示之后，还包括：
获取多个用户对所述数据可视化工具的反馈信息；
根据所述反馈信息，调整所述村镇任务的展示内容；
响应于确定所述反馈信息的数量达到预设阈值，对所述反馈信息进行处理，以获取所述用户对所述村镇任务的反馈标签。
6.一种数据建库及归集管理的系统，其特征在于，包括：
第一获取模块，用于获取多个乡村的基本信息；
处理模块，用于对所述基本信息进行数据清洗和标准化处理，包括检查数据质量、去除错误或重复数据、统一数据格式，然后对处理后的基本信息进行分类和分级管理，根据不同标准划分不同的数据集，之后将各个所述数据集在数据库中进行关联；
展示模块，用于在实施村镇任务的情况下，从所述数据库中获取与所述村镇任务关联的目标数据集，并基于数据可视化工具，对所述目标数据集进行展示；
更新模块，用于获取村镇任务的实时需求信息，并根据所述实时需求信息对所述数据库进行更新，并对所述村镇任务的展示内容进行更新。
7.根据权利要求6所述的系统，其特征在于，所述基本信息至少包含有常住人口、人口年龄结构、外出务工人数、返乡人数、各类用地面积、人居环境整治情况、产业发展情况、农产品价格信息,
所述处理模块，具体用于：
将所述基本信息分为至少四个类型，所述至少四个类型包括现状普查数据集、村庄布点规划数据集、村庄规划数据集和整治规划数据集，
其中，所述现状普查数据集至少包含有经济现状、土地利用现状、村庄建设现状、历史文化资源现状、村庄建设需求、村落普查现状；
所述村庄布点规划数据集至少包含有村庄布点规划信息、生态保护规划信息、产业功能片区信息、新增住宅布局信息、开发密度分区信息和旅游分区规划信息；
所述村庄规划数据集至少包含功能分区、用地规划、控规衔接信息、近期行动计划信息、住宅用地使用方案信息、历史文化保护信息；
所述整治规划数据集至少包含整治规划布局信息和近期行动计划信息。
8.根据权利要求6所述的系统，其特征在于，所述处理模块，还用于：
根据所述村镇任务的实时需求信息，设计数据汇总表，其中，所述数据汇总表包括各个数据集的汇总字段、数据类型和统计方法，
其中，所述村镇任务的实时需求信息至少包含农民生产经营信息、土地利用和保护信息、乡村公共基础设施建设信息、产业发展信息、乡村人口变化信息，
其中，所述农民生产经营信息至少包含各类农作物的生产信息、畜牧水产养殖信息、劳动力和农技服务需求信息，
所述土地利用和保护信息包括土地用途、集体土地流转、农村环境综合整治进展信息，
所述乡村公共基础设施建设情况包括道路交通、水、电、气对应的基础设施的建设信息、更新信息、改造信息，以及在线教育及医疗公共服务设施强度信息、网络覆盖信息，
所述产业发展信息包括乡村旅游、休闲娱乐、支持新型农业经营主体产业的发展信息、项目进展及需求信息，
所述乡村人口变化信息包括年龄结构、户籍情况、人口流动信息、迁移信息、就业和创业情况信息，
将各个所述数据集按照预设的设计规则导入到所述数据汇总表中；
使用SQL语言对所述数据汇总表进行统计分析，以生成数据分析报告。
9.根据权利要求6所述的系统，其特征在于，还包括：
第二获取模块，用于按照指定的周期，获取与每个所述乡村对应的问卷调查结果，其中，所述问卷调查结果是与每个所述周期的所述村镇任务的实时需求信息关联的；
生成模块，用于对各个所述周期对应的所述问卷调查结果进行特征提取，以生成与每个所述周期对应的第一乡村发展特征；
第三获取模块，用于将各个所述周期的第一乡村发展特征输入至预先构建的神经网络模型中，以获取与每个所述乡村对应的第二乡村发展特征；
第四获取模块，用于根据每个所述乡村对应的第二乡村发展特征，获取与每个所述乡村关联的目标村镇任务策略。
10.根据权利要求6所述的系统，其特征在于，所述展示模块，还用于：
获取多个用户对所述数据可视化工具的反馈信息；
根据所述反馈信息，调整所述村镇任务的展示内容；
响应于确定所述反馈信息的数量达到预设阈值，对所述反馈信息进行处理，以获取所述用户对所述村镇任务的反馈标签。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310675825.2A CN116842092A (zh) | 2023-06-08 | 2023-06-08 | 数据建库及归集管理的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310675825.2A CN116842092A (zh) | 2023-06-08 | 2023-06-08 | 数据建库及归集管理的方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116842092A true CN116842092A (zh) | 2023-10-03 |
Family
ID=88168031
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310675825.2A Pending CN116842092A (zh) | 2023-06-08 | 2023-06-08 | 数据建库及归集管理的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116842092A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117408642A (zh) * | 2023-12-12 | 2024-01-16 | 浙江美云数据科技有限公司 | 基于人工智能的乡村数字服务管理平台 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106779475A (zh) * | 2017-01-10 | 2017-05-31 | 甘肃万维信息技术有限责任公司 | 美丽村庄建设大数据平台 |
| CN110363382A (zh) * | 2019-06-03 | 2019-10-22 | 华东电力试验研究院有限公司 | 全能型乡镇供电所一体化业务融合技术 |
| CN111353924A (zh) * | 2020-02-27 | 2020-06-30 | 中国科学院南京地理与湖泊研究所 | 面向乡镇国土空间规划需要的调研信息采集方法与客户端 |
| CN113379310A (zh) * | 2021-06-30 | 2021-09-10 | 重庆大学 | 一种基于rssri的乡村聚落空间重构服务系统及方法 |
-
2023
- 2023-06-08 CN CN202310675825.2A patent/CN116842092A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106779475A (zh) * | 2017-01-10 | 2017-05-31 | 甘肃万维信息技术有限责任公司 | 美丽村庄建设大数据平台 |
| CN110363382A (zh) * | 2019-06-03 | 2019-10-22 | 华东电力试验研究院有限公司 | 全能型乡镇供电所一体化业务融合技术 |
| CN111353924A (zh) * | 2020-02-27 | 2020-06-30 | 中国科学院南京地理与湖泊研究所 | 面向乡镇国土空间规划需要的调研信息采集方法与客户端 |
| CN113379310A (zh) * | 2021-06-30 | 2021-09-10 | 重庆大学 | 一种基于rssri的乡村聚落空间重构服务系统及方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117408642A (zh) * | 2023-12-12 | 2024-01-16 | 浙江美云数据科技有限公司 | 基于人工智能的乡村数字服务管理平台 |
| CN117408642B (zh) * | 2023-12-12 | 2024-03-19 | 浙江美云数据科技有限公司 | 基于人工智能的乡村数字服务管理平台 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Pan et al. | Integrating BIM and AI for smart construction management: Current status and future directions | |
| Skoogh et al. | Input data management in simulation–Industrial practices and future trends | |
| Mađer et al. | Analysis of possibilities for linking land registers and other official registers in the Republic of Croatia based on LADM | |
| Liao et al. | Applying crowdsourcing techniques in urban planning: A bibliometric analysis of research and practice prospects | |
| CN106611246A (zh) | 一种国土资源综合管理系统 | |
| Wang et al. | Spatial decision support system for urban planning: Case study of Harbin City in China | |
| Azevedo et al. | Implementing a business intelligence cost accounting solution in a healthcare setting | |
| CN117151415A (zh) | 一种面向城乡融合发展的基础设施规划系统 | |
| Condotta et al. | BIM-based method to inform operation and maintenance phases through a simplified procedure | |
| CN108416524A (zh) | 基于一张图通用框架的产业规划精细化解读方法 | |
| Gonzalez-Lopez et al. | Integration of business process architectures within enterprise architecture approaches: a literature review | |
| CN116842092A (zh) | 数据建库及归集管理的方法及系统 | |
| CN115809302A (zh) | 元数据处理方法、装置、设备及存储介质 | |
| Yevu et al. | Systematic review on the integration of building information modelling and prefabrication construction for low-carbon building delivery | |
| Si | Construction and application of enterprise internal audit data analysis model based on decision tree algorithm | |
| CN116595191A (zh) | 一种交互式低代码知识图谱的构建方法及装置 | |
| Wang et al. | Core components-oriented modularisation methodology for complex products | |
| Glake et al. | Data management in multi-agent simulation systems | |
| Van Orshoven et al. | Upgrading geographic information systems to spatio-temporal decision support systems | |
| Kuczenski | Partial ordering of life cycle inventory databases | |
| Shayakhmetova et al. | Descriptive big data analytics in the field of education | |
| Fan et al. | Spatially enabled customer segmentation using a data classification method with uncertain predicates | |
| Rubio-Largo et al. | Data-Driven Computational Intelligence for Scientific Programming. | |
| Chim-Miki et al. | Relational economic geography and its use in tourism clusters studies | |
| CN108763565B (zh) | 一种基于深度学习的数据自动关联匹配的构建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |