CN117032906B - 农产品基础数据资源池管理方法及系统 - Google Patents
农产品基础数据资源池管理方法及系统 Download PDFInfo
- Publication number
- CN117032906B CN117032906B CN202311298441.XA CN202311298441A CN117032906B CN 117032906 B CN117032906 B CN 117032906B CN 202311298441 A CN202311298441 A CN 202311298441A CN 117032906 B CN117032906 B CN 117032906B
- Authority
- CN
- China
- Prior art keywords
- agricultural product
- virtual machine
- resource pool
- data
- data resource
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title claims description 84
- 238000003860 storage Methods 0.000 claims abstract description 38
- 238000005457 optimization Methods 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000013079 data visualisation Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 35
- 238000012800 visualization Methods 0.000 claims description 24
- 238000010586 diagram Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000001276 controlling effect Effects 0.000 claims description 6
- 230000008520 organization Effects 0.000 claims description 6
- 238000012550 audit Methods 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 5
- 238000013500 data storage Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000009825 accumulation Methods 0.000 claims description 3
- 238000013475 authorization Methods 0.000 claims description 3
- 238000009960 carding Methods 0.000 claims description 3
- 238000013075 data extraction Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims description 3
- 238000013523 data management Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013486 operation strategy Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据资源池管理领域，尤其涉及农产品基础数据资源池管理方法及系统，所述方法包括：基于元数据将农产品基础数据资源池以网状结构存储，对农产品基础数据资源池进行负载调度管理，对农产品基础数据资源池进行数据安全管理优化，对农产品基础数据资源池的数据进行数据可视化。本发明通过通过整合农产品基础数据，在保证数据安全储存的基础上，能够更加高效的利用农产品数据资源。
Description
技术领域
本发明涉及数据资源池管理技术领域，尤其涉及农产品基础数据资源池管理方法及系统。
背景技术
不同数据具有不同结构，包括结构化、半结构化与非结构化数据。对于这些信息来说，如果在各个地点按照各自需求对数据进行管理，就会造成整体数据资源与服务的分片，形成信息孤岛。因此要解决多源异构数据的管理问题。目前针对多源异构数据进行管理的方法主要有联邦数据库和数据仓库。其中，联邦数据库系统只能解决结构化数据管理的问题，并不适用于非结构化数据。数据仓库会导致数据安全性能较低，并且随着数据量增多其更新周期会越来越长，不仅影响了系统数据的实时性，还产生很大的更新成本。数据虚拟化是一种新兴的多源异构数据管理方法，近年来随着大数据技术发展逐步得到了人们的重视，并且被应用于医疗、电信、金融等各个领域。
数据资源池通常是一个集成多个数据源的中央存储库，可以存储不同类型和来源的数据，包括结构化、半结构化和非结构化数据。数据资源池可以通过不同的接口和协议访问，方便不同的业务应用程序调用和使用，在存储开销上只需要存储数据源的描述性数据并不需要存储数据源本身，因此在数据量很大的情况下，有效减少了对数据存储空间的需求。数据资源池还可以支持数据的实时获取和分析，提供实时决策支持。
如授权公告号为CN106648838B的中国专利公开了一种资源池管理的配置方法及装置，所述方法包括：获取虚拟化平台的环境部署配置参数对应的模板文件，并根据所述模板文件获取元数据信息文件；通过SSH方式连接目标主机；获取目标主机的所有存储类型，并得到每个存储类型的可用大小；根据所述元数据信息文件获取磁盘数据的存储大小，并将所述磁盘数据的存储大小与每个存储类型的可用大小进行比较；选择可用大小大于磁盘数据的存储大小的存储类型，通过加密的方式将模板文件的数据以该存储类型导入到所述目标主机中；根据所述元数据信息文件中的元数据生成虚拟机，并动态配置虚拟机的网络信息。通过该发明，用户可方便从Web浏览器来访问管理资源池中的目标主机。
如授权公告号为CN112416495B的中国专利公开了一种超融合云终端资源统一管理系统及方法，所述系统包括：部署在云终端的终端管理模块、部署在主机的主机路由模块、部署在管理台的资源池管理模块以及部署在虚拟机上的终端代理模块；终端管理模块被配置为将添加到云终端的服务中的资源通过主机路由模块发布到资源池管理模块，终端代理模块被配置为通过路由管理模块从资源池管理模块获得资源可用信息；当需要某种可用资源时，构建终端代理模块、主机路由模块和终端管理模块之间的数据通道，虚拟机中的客户端通过数据通道连接云终端对应的服务；该公开对云终端上的所有资源进行统一管理并分配给合适的虚拟机使用，有效的避免了云终端的闲散硬件资源的闲置和浪费。
以上专利均存在本背景技术提出的问题：随着多源异构数据量增多，数据资源池更新会越来越长，不仅影响了数据资源的实时性，还产生很大的更新成本；此外，不同虚拟机负载、资源消耗不同，在确定服务器过载或欠负载以及选择目标主机时需要更好的方案，不然就会导致虚拟机的网络性能大幅下降。为了解决这些问题，本申请设计了农产品基础数据资源池管理方法及系统。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供了农产品基础数据资源池管理方法及系统。
为实现上述目的，本发明提供如下技术方案：
农产品基础数据资源池管理方法，包括以下步骤：
步骤S1：基于元数据将农产品基础数据资源池以网状结构存储；
步骤S2：对农产品基础数据资源池进行负载调度管理；
步骤S3：对农产品基础数据资源池进行数据安全管理优化；
步骤S4：对农产品基础数据资源池的数据进行数据可视化。
进一步地，步骤S1具体步骤如下：
步骤S1.1：对所有农产品数据进行汇总，形成完整的元数据信息；
步骤S1.2：对于完整的元数据信息，分析每张表中每个字段的含义，并去掉重复的数据和字段，整合形成农产品基础数据资源池；
步骤S1.3：将农产品基础数据资源池中的表结构字段进行重新分析、梳理和整合，针对每个农产品领域形成特定的农产品专题数据库；
步骤S1.4：基于农产品基础数据资源池和农产品专题数据库生成网状结构并存储。
进一步地，步骤S1.4具体步骤如下：
步骤S1.4.1：分别对农产品基础数据资源池、农产品专题数据库生成相互独立的元数据网状图；
步骤S1.4.2：根据ETL数据抽取规则，以元数据为顶点，元数据所在数据库的表为边，从农产品专题数据库向农产品基础数据资源池进行追溯，找到的关系字段用虚线进行连接，以第一次找到的农产品基础数据资源池的表名作为网状结构边的名称将农产品专题数据库与农产品基础数据资源池两个元数据网状图连通，形成元数据网状结构并存储数据。
进一步地，步骤S2具体步骤如下：
步骤S2.1：随机生成虚拟机请求的个序列，对于每个虚拟机请求序列分配给物理服务器，产生/>种虚拟机分配方案；
步骤S2.2：在所述种虚拟机分配方案中，选择/>个最优虚拟机分配方案用于新一代分配方案；
步骤S2.3：逐步迭代后获得最优虚拟机分配方案。
虚拟机(英文全称：Virtual Machine)是指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统，目前流行的虚拟机软件有VMware、Virtual Box和Virtual PC，它们都能在Windows系统上虚拟出多个计算机，每个虚拟计算机可以独立运行，可以安装各种软件与应用等，虚拟机是将一台计算机虚拟化实现一台计算机具备多台计算机的功能，但整机性能也会被各个虚拟机所分配划分，因此划分虚拟机越多，各个虚拟机所分配的CPU、内存、存储空间资源也越少，因此组建虚拟机通常是配置越高越好，因此广泛使用于服务器等行业。
进一步地，步骤S2.2具体步骤如下：
步骤S2.2.1：设定虚拟机资源损耗为、虚拟机运行功耗为/>和虚拟机CPU运行温度为/>，并设定最优方案集为/>，其中，/>表示虚拟机最优资源损耗，表示虚拟机运行最优功耗，/>表示虚拟机CPU运行最优温度；
步骤S2.2.2：定义虚拟机分配方案与最优方案的关联度函数的上界和下界，计算公式为：
，
，
，
其中，表示服务器在空闲期间的平均功耗，/>表示服务器在满负荷期间的平均功耗与空闲期间的平均功耗差值，/>表示功耗下限，/>表示功耗上限，/>表示承载所有虚拟机所需的最小服务器数，/>表示承载所有虚拟机所需的最大服务器数，/>表示虚拟机所有请求的CPU数量，/>表示虚拟机资源损耗下限，/>表示虚拟机资源损耗上限，/>表示累加函数，/>表示虚拟机CPU需求的百分比，/>表示虚拟机内存需求的百分比，/>表示CPU温度下限，/>表示CPU温度上限，/>表示热阻，/>表示环境温度；
步骤S2.2.3：基于关联度函数的上界和下界计算虚拟机分配方案与最优方案的关联度函数值，计算公式为：
，
其中，表示第/>种虚拟机分配方案，/>表示虚拟机分配方案与最优方案的关联度函数，/>、/>和/>分别表示该虚拟机分配方案在由/>定义的虚拟机分配方案与最优方案中的关联度函数，/>和/>分别表示/>函数的上界和下界，和/>分别表示/>函数的上界和下界，/>和/>分别表示/>函数的上界和下界，/>表示关于关联度的常数，取值范围为/>，/>表示取最小值函数，/>表示取平均值函数；
步骤S2.2.4：选择虚拟机分配方案与最优方案的关联度值大的前个最优虚拟机分配方案用于新一代分配方案。
进一步地，数据安全管理包括：农产品基础数据存储管理优化、农产品基础数据资源授权管理优化、农产品基础数据资源的集中监控管理优化、农产品基础数据资源使用审计管理优化和农产品基础数据资源池管理系统的安全管理架构优化。
进一步地，数据可视化包括：农产品种类占比可视化、农产品销量走势可视化、农产品产量走势可视化、农产品价格走势可视化、农产品产地热度可视化、农产品销售地热度可视化和农产品链路溯源可视化。
农产品基础数据资源池管理系统，包括：
元数据组织模块，用于基于农产品基础数据资源池生成元数据库网状结构并存储数据；
服务负载调度模块，用于从本地存储库中读取CPU需求、内存需求、整体功耗和CPU温度的统计信息，并根据统计信息对服务器进行负载调度管理；
数据安全模块，用于控制业务过程中存在的安全风险；
数据可视化模块，用于对农产品基础数据资源池中的数据资产进行统计，并基于可视化图表把结果展现给管理员。
进一步地，元数据组织模块，包括：
元数据提取单元，用于对所有农产品数据进行汇总，提取农产品基础数据资源的元数据；
元数据处理单元，用于对元数据进行处理，去掉重复的数据和字段；
元数据分类单元，用于农产品数据源存储类别进行分类，其中存储类别包括：TXT、JSON、CSV和HTML；
元数据存储单元，用于将处理后的元数据按照存储类别进行存储。
进一步地，服务负载调度模块，包括：
负载信息收集单元，用于从本地存储库中读取CPU需求、内存需求、整体功耗和CPU温度的统计信息；
决策单元，用于决策选择最优的虚拟机分配方案；
全局控制器，用于对整个系统进行统一管理和调控；
本地控制器，用于本地相同设备群整体控制与管理；
虚拟机，用于通过虚拟化技术将物理服务器虚拟化成虚拟运行环境；
物理服务器，用于通过物理连接线连接到数据中心。
一种存储介质，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行上述的农产品基础数据资源池管理方法。
一种电子设备，包括处理器和存储介质，所述处理器执行所述存储介质中的指令。
与现有技术相比，本发明的有益效果是：
1.本发明提出的农产品基础数据资源池管理方法，通过对所有农产品数据进行汇总，整合形成农产品基础数据资源池，并生成元数据网状图，通过对元数据的设计管理，能够成功追溯到源头业务系统数据，并且以图形的方式展示元数据之间的关系，展示效果更加直观、清晰。
2.本发明提出的农产品基础数据资源池管理方法，对所有虚拟机分配方案进行选优，引入虚拟机资源损耗、虚拟机功耗和虚拟机CPU温度为特征，获得最优虚拟机分配方案，使得农产品基础数据资源池网络性能更好，数据资源系统的稳定性提高。
3.本发明提出的农产品基础数据资源池管理系统，通过全局控制器对整个系统进行统一管理与调控和本地控制器对本地相同设备群整体控制与管理，从而使得虚拟机都能够较为公平的共享物理资源，使得农产品基础数据资源池网络性能大大提高。
附图说明
通过阅读参照以下附图所作的对非限制性实施例的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例1中农产品基础数据资源池管理方法的流程示意图；
图2为本发明实施例2中农产品基础数据资源池管理方法的农产品基础数据资源池网状图；
图3为本发明实施例2中农产品基础数据资源池管理方法的农产品专题数据库网状图；
图4为本发明实施例2中农产品基础数据资源池管理方法的农产品元数据网状结构图；
图5为本发明实施例3中农产品基础数据资源池管理系统模块图；
图6为本发明实施例4中农产品基础数据资源池管理系统服务负载调度模块图；
图7为本发明实施例5中农产品基础数据资源池管理系统整体架构图；
图8为本发明实施例6中农产品基础数据资源池管理系统电子设备图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。
实施例1
请参阅图1，本发明提供的一种实施例：农产品基础数据资源池管理方法，包括以下步骤：
步骤S1：基于元数据将农产品基础数据资源池以网状结构存储；
步骤S2：对农产品基础数据资源池进行负载调度管理；
步骤S3：对农产品基础数据资源池进行数据安全管理优化；
步骤S4：对农产品基础数据资源池的数据进行数据可视化。
步骤S1具体包括以下步骤：
步骤S1.1：对所有农产品数据进行汇总，形成完整的元数据信息；
步骤S1.2：对于完整的元数据信息，分析每张表中每个字段的含义，并去掉重复的数据和字段，整合形成农产品基础数据资源池；
步骤S1.3：将农产品基础数据资源池中的表结构字段进行重新分析、梳理和整合，针对每个农产品领域形成特定的农产品专题数据库；
步骤S1.4：基于农产品基础数据资源池和农产品专题数据库生成网状结构并存储。
实施例2
请参阅图2、图3和图4，本发明提供的一种实施例：农产品基础数据资源池管理方法的农产品基础数据资源池网状结构，包括：两个数据库表以元数据ano为主键相连，元数据的边由实线连接，其中ano表示农产品编号，price表示农产品单价，Cat表示农产品所属种类，PR表示农产品出厂的省份，City表示农产品出厂的城市；三个数据库表分别以元数据ano和fno为主键相连，元数据的边由实线连接，其中fno表示农产品出厂的工厂编号，Fac表示农产品出厂的工厂名称，Road表示表示农产品出厂的工厂所在道路，Abb表示农产品出厂的省份缩写，EXP表示农产品的保质期。
步骤S1.4具体包括以下步骤：
步骤S1.4.1：分别对农产品基础数据资源池、农产品专题数据库生成相互独立的元数据网状图；
步骤S1.4.2：根据ETL数据抽取规则，以元数据为顶点，元数据所在数据库的表为边，从农产品专题数据库向农产品基础数据资源池进行追溯，找到的关系字段用虚线进行连接，以第一次找到的农产品基础数据资源池的表名作为网状结构边的名称将农产品专题数据库与农产品基础数据资源池两个元数据网状图连通，形成元数据网状结构并存储数据。
ETL中E代表的是Extract，表示抽取；T代表的是Transform，表示转换；L代表的是Load，表示加载。所以ETL的意思就是把海量的系统数据进行提取、清洗转化后，加载以产生一种更大的数据仓库的系统过程，通过ETL可以更加便捷的将不同行业、不同企业或者不同部门中的那些标准不统一、分布零散的数据进行整合，形成一个标准化、一体化的数据源资产，为自身发展和其他用户提供更好的数据服务。它不仅仅极大提高了对数据的处理速度，为数据资产的形成提供了良好的技术保障，让管理者或用户可以快速的从海量数据中挖掘出其潜在的价值，并实现商业化的快速提升。
步骤S2具体包括以下步骤：
步骤S2.1：随机生成虚拟机请求的个序列，对于每个虚拟机请求序列分配给物理服务器，产生/>种虚拟机分配方案；
步骤S2.2：在所述种虚拟机分配方案中，选择/>个最优虚拟机分配方案用于新一代分配方案；
步骤S2.3：逐步迭代后获得最优虚拟机分配方案。
步骤S2.2具体包括以下步骤：
步骤S2.2.1：设定虚拟机资源损耗为、虚拟机运行功耗为/>和虚拟机CPU运行温度为/>，并设定最优方案集为/>，其中，/>表示虚拟机最优资源损耗，表示虚拟机运行最优功耗，/>表示虚拟机CPU运行最优温度；
步骤S2.2.2：定义虚拟机分配方案与最优方案的关联度函数的上界和下界，计算公式为：
，
，
，
其中，表示服务器在空闲期间的平均功耗，/>表示服务器在满负荷期间的平均功耗与空闲期间的平均功耗差值，/>表示功耗下限，/>表示功耗上限，/>表示承载所有虚拟机所需的最小服务器数，/>表示承载所有虚拟机所需的最大服务器数，/>表示虚拟机所有请求的CPU数量，/>表示虚拟机资源损耗下限，/>表示虚拟机资源损耗上限，/>表示累加函数，/>表示虚拟机CPU需求的百分比，/>表示虚拟机内存需求的百分比，/>表示CPU温度下限，/>表示CPU温度上限，/>表示热阻，/>表示环境温度；
步骤S2.2.3：基于关联度函数的上界和下界计算虚拟机分配方案与最优方案的关联度函数值，计算公式为：
，
其中，表示第/>种虚拟机分配方案，/>表示虚拟机分配方案与最优方案的关联度函数，/>、/>和/>分别表示该虚拟机分配方案在由/>定义的虚拟机分配方案与最优方案中的关联度函数，/>和/>分别表示/>函数的上界和下界，和/>分别表示/>函数的上界和下界，/>和/>分别表示/>函数的上界和下界，/>表示关于关联度的常数，取值范围为/>，/>表示取最小值函数，/>表示取平均值函数；
步骤S2.2.4：选择虚拟机分配方案与最优方案的关联度值大的前个最优虚拟机分配方案用于新一代分配方案。
步骤S3中，数据安全管理包括：农产品基础数据存储管理优化、农产品基础数据资源授权管理优化、农产品基础数据资源的集中监控管理优化、农产品基础数据资源使用审计管理优化和农产品基础数据资源池管理系统的安全管理架构优化；
农产品基础数据存储管理优化包括：每天凌晨自动对整个系统数据进行备份，由专人负责每天检查，另外，每周会对备份文件再进行异地备份；
农产品基础数据资源授权管理优化包括：通过电子钥匙指定使用终端，通过身份认证来获取农产品基础数据查询权限；
农产品基础数据资源的集中监控管理优化包括：对农产品基础数据资源池实时监控，并实时监控终端使用数据资源的状态；
农产品基础数据资源使用审计管理优化包括：对农产品基础数据的拷入拷出进行审计并通过日志进行备份，做到责任溯源；
农产品基础数据资源池管理系统的安全管理架构优化包括：考虑经营策略、治理、合规、IT策略和风险容忍度五个要素；优先对重要数据进行安全治理工作，依据数据的不同属性对数据进行分级；明确数据的访问者（应用用户/数据管理人员）、访问对象、访问行为；基于这些信息制定不同的、有针对性的数据安全策略；Crypto（加密）、DCAP（以数据为中心的审计和保护）、DLP（数据防泄漏）、IAM（身份识别与访问管理）；为所有安全能力与产品配置策略并保持策略的一致与同步，策略执行对象包括数据库、大数据系统、文件类数据、云端数据、终端数据等。
步骤S4中，数据可视化包括：农产品种类占比可视化、农产品销量走势可视化、农产品产量走势可视化、农产品价格走势可视化、农产品产地热度可视化、农产品销售地热度可视化和农产品链路溯源可视化。
实施例3
请参阅图5，本发明提供的一种实施例：农产品基础数据资源池管理系统模块，包括：
元数据组织模块，用于基于农产品基础数据资源池生成元数据库网状结构并存储数据；
服务负载调度模块，用于从本地存储库中读取CPU需求、内存需求、整体功耗和CPU温度的统计信息，并根据统计信息对服务器进行负载调度管理；
数据安全模块，用于控制业务过程中存在的安全风险；
数据可视化模块，用于对农产品基础数据资源池中的数据资产进行统计，并基于可视化图表把结果展现给管理员。
元数据组织模块，包括：
元数据提取单元，用于对所有农产品数据进行汇总，提取农产品基础数据资源的元数据；
元数据处理单元，用于对元数据进行处理，去掉重复的数据和字段；
元数据分类单元，用于农产品数据源存储类别进行分类，其中存储类别包括：TXT、JSON、CSV和HTML；
元数据存储单元，用于将处理后的元数据按照存储类别进行存储。
实施例4
请参阅图6，本发明提供的一种实施例：农产品基础数据资源池管理系统服务负载调度模块，包括：
负载信息收集单元，用于从本地存储库中读取CPU需求、内存需求、整体功耗和CPU温度的统计信息；
决策单元，用于决策选择最优的虚拟机分配方案；
全局控制器，用于对整个系统进行统一管理和调控；
本地控制器，用于本地相同设备群整体控制与管理；
VM即虚拟机，用于通过虚拟化技术将物理服务器虚拟化成虚拟运行环境；
物理服务器，用于通过物理连接线连接到数据中心。
实施例5
请参阅图7，本发明提供的一种实施例：农产品基础数据资源池管理系统整体架构，包括：
运行环境，包括虚拟机、物理服务器和云服务平台；
数据层，用于存储集成农产品基础数据，生成农产品基础数据资源池；
业务层，包括查询展示服务、元数据服务、数据安全服务、负载调度服务、数据资产服务和数据质量服务；
展示层，包括数据查询展示、数据统计展示和产品溯源展示；
在数据层和业务层加入日志记录，用于保证农产品基础数据资源池的数据安全，做到责任溯源。
实施例6
请参阅图8，本发明提供的一种实施例：一种存储介质，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行上述的农产品基础数据资源池管理方法。
一种电子设备，包括处理器和上述的存储介质，所述处理器执行所述存储介质中的指令。
以上所述仅为本申请的较佳实例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。
Claims (10)
1.农产品基础数据资源池管理方法，其特征在于，包括以下步骤：
步骤S1：基于元数据将农产品基础数据资源池以网状结构存储；
步骤S2：对农产品基础数据资源池进行负载调度管理；
步骤S3：对农产品基础数据资源池进行数据安全管理优化；
步骤S4：对农产品基础数据资源池的数据进行数据可视化；
所述步骤S2具体包括以下步骤：
步骤S2.1：随机生成虚拟机请求的个序列，对于每个虚拟机请求序列分配给物理服务器，产生/>种虚拟机分配方案；
步骤S2.2：在所述种虚拟机分配方案中，选择/>个最优虚拟机分配方案用于新一代分配方案；
步骤S2.3：逐步迭代后获得最优虚拟机分配方案；
所述步骤S2.2具体包括以下步骤：
步骤S2.2.1：设定虚拟机资源损耗为、虚拟机运行功耗为/>和虚拟机CPU运行温度为，并设定最优方案集为/>，其中，/>表示虚拟机最优资源损耗，/>表示虚拟机运行最优功耗，/>表示虚拟机CPU运行最优温度；
步骤S2.2.2：定义虚拟机分配方案与最优方案的关联度函数的上界和下界，计算公式为：
；
；
；
其中，表示服务器在空闲期间的平均功耗，/>表示服务器在满负荷期间的平均功耗与空闲期间的平均功耗差值，/>表示功耗下限，/>表示功耗上限，/>表示承载所有虚拟机所需的最小服务器数，/>表示承载所有虚拟机所需的最大服务器数，/>表示虚拟机所有请求的CPU数量，/>表示虚拟机资源损耗下限，/>表示虚拟机资源损耗上限，/>表示累加函数，/>表示虚拟机CPU需求的百分比，/>表示虚拟机内存需求的百分比，表示CPU温度下限，/>表示CPU温度上限，/>表示热阻，/>表示环境温度；
步骤S2.2.3：基于关联度函数的上界和下界，计算虚拟机分配方案与最优方案的关联度函数值，计算公式为：
，
其中，表示第/>种虚拟机分配方案，/>表示虚拟机分配方案与最优方案的关联度函数，/>、/>和/>分别表示该虚拟机分配方案在由/>定义的虚拟机分配方案与最优方案中的关联度函数，/>和/>分别表示/>函数的上界和下界，和/>分别表示/>函数的上界和下界，/>和/>分别表示/>函数的上界和下界，/>表示关于关联度的常数，取值范围为/>，/>表示取最小值函数，/>表示取平均值函数；
步骤S2.2.4：选择虚拟机分配方案与最优方案的关联度值大的前个最优虚拟机分配方案用于新一代分配方案。
2.根据权利要求1所述的农产品基础数据资源池管理方法，其特征在于，所述步骤S1具体包括以下步骤：
步骤S1.1：对所有农产品数据进行汇总，形成完整的元数据信息；
步骤S1.2：对于完整的元数据信息，分析每张表中每个字段的含义，并去掉重复的数据和字段，整合形成农产品基础数据资源池；
步骤S1.3：将农产品基础数据资源池中的表结构字段进行重新分析、梳理和整合，针对每个农产品领域形成特定的农产品专题数据库；
步骤S1.4：基于农产品基础数据资源池和农产品专题数据库生成网状结构并存储。
3.根据权利要求2所述的农产品基础数据资源池管理方法，其特征在于，所述步骤S1.4具体包括以下步骤：
步骤S1.4.1：分别对农产品基础数据资源池、农产品专题数据库生成相互独立的元数据网状图；
步骤S1.4.2：根据ETL数据抽取规则，以元数据为顶点，元数据所在数据库的表为边，从农产品专题数据库向农产品基础数据资源池进行追溯，找到的关系字段用虚线进行连接，以第一次找到的农产品基础数据资源池的表名作为网状结构边的名称将农产品专题数据库与农产品基础数据资源池两个元数据网状图连通，形成元数据网状结构并存储数据。
4.根据权利要求3所述的农产品基础数据资源池管理方法，其特征在于，所述步骤S3中所述数据安全管理包括：农产品基础数据存储管理优化、农产品基础数据资源授权管理优化、农产品基础数据资源的集中监控管理优化、农产品基础数据资源使用审计管理优化和农产品基础数据资源池管理系统的安全管理架构优化。
5.根据权利要求4所述的农产品基础数据资源池管理方法，其特征在于，所述步骤S4中所述数据可视化包括：农产品种类占比可视化、农产品销量走势可视化、农产品产量走势可视化、农产品价格走势可视化、农产品产地热度可视化、农产品销售地热度可视化和农产品链路溯源可视化。
6.农产品基础数据资源池管理系统，其基于权利要求1-5中任一项所述的农产品基础数据资源池管理方法实现，其特征在于，所述系统包括：
元数据组织模块，用于基于农产品基础数据资源池生成元数据库网状结构并存储数据；
服务负载调度模块，用于从本地存储库中读取CPU需求、内存需求、整体功耗和CPU温度的统计信息，并根据统计信息对服务器进行负载调度管理；
数据安全模块，用于控制业务过程中存在的安全风险；
数据可视化模块，用于对农产品基础数据资源池中的数据资产进行统计，并基于可视化图表把结果展现给管理员。
7.根据权利要求6所述的农产品基础数据资源池管理系统，其特征在于，所述元数据组织模块，包括：
元数据提取单元，用于对所有农产品数据进行汇总，提取农产品基础数据资源的元数据；
元数据处理单元，用于对元数据进行处理，去掉重复的数据和字段；
元数据分类单元，用于农产品数据源存储类别进行分类，其中存储类别包括：TXT、JSON、CSV和HTML；
元数据存储单元，用于将处理后的元数据按照存储类别进行存储。
8.根据权利要求7所述的农产品基础数据资源池管理系统，其特征在于，所述服务负载调度模块，包括：
负载信息收集单元，用于从本地存储库中读取CPU需求、内存需求、整体功耗和CPU温度的统计信息；
决策单元，用于决策选择最优的虚拟机分配方案；
全局控制器，用于对整个系统进行统一管理和调控；
本地控制器，用于本地相同设备群整体控制与管理；
虚拟机，用于通过虚拟化技术将物理服务器虚拟化成虚拟运行环境；
物理服务器，用于通过物理连接线连接到数据中心。
9.一种存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行权利要求1-5中任一项所述的农产品基础数据资源池管理方法。
10.一种电子设备，其特征在于，包括处理器和权利要求9所述的存储介质，所述处理器执行所述存储介质中的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311298441.XA CN117032906B (zh) | 2023-10-09 | 2023-10-09 | 农产品基础数据资源池管理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311298441.XA CN117032906B (zh) | 2023-10-09 | 2023-10-09 | 农产品基础数据资源池管理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117032906A CN117032906A (zh) | 2023-11-10 |
| CN117032906B true CN117032906B (zh) | 2023-12-19 |
Family
ID=88645380
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311298441.XA Active CN117032906B (zh) | 2023-10-09 | 2023-10-09 | 农产品基础数据资源池管理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117032906B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102739798A (zh) * | 2012-07-05 | 2012-10-17 | 成都国腾实业集团有限公司 | 具有网络感知功能的云平台资源调度方法 |
| CN106648838A (zh) * | 2016-12-31 | 2017-05-10 | 云宏信息科技股份有限公司 | 一种资源池管理的配置方法及装置 |
| CN107943559A (zh) * | 2017-11-21 | 2018-04-20 | 广东奥飞数据科技股份有限公司 | 一种大数据资源调度系统及其方法 |
| CN111159184A (zh) * | 2019-12-25 | 2020-05-15 | 上海中信信息发展股份有限公司 | 元数据追溯方法、装置及服务器 |
| CN112596864A (zh) * | 2020-12-29 | 2021-04-02 | 航天开元科技有限公司 | 基于虚拟化和策略自动化的运营云平台云资源管理系统 |
| CN114741154A (zh) * | 2022-02-16 | 2022-07-12 | 杭州中港科技有限公司 | 一种虚拟机网络资源分配系统 |
| CN115167984A (zh) * | 2022-07-12 | 2022-10-11 | 河南大学 | 基于云计算平台的考虑物理资源竞争的虚拟机负载均衡放置方法 |
| CN115292390A (zh) * | 2022-10-08 | 2022-11-04 | 北京国电通网络技术有限公司 | 负荷信息生成方法、装置、电子设备和计算机可读介质 |
| KR102569867B1 (ko) * | 2022-12-20 | 2023-08-23 | 오케스트로 주식회사 | 상관분석을 활용한 가상머신 관리 방법 및 이를 구현하는 가상머신 관리 시스템 |
-
2023
- 2023-10-09 CN CN202311298441.XA patent/CN117032906B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102739798A (zh) * | 2012-07-05 | 2012-10-17 | 成都国腾实业集团有限公司 | 具有网络感知功能的云平台资源调度方法 |
| CN106648838A (zh) * | 2016-12-31 | 2017-05-10 | 云宏信息科技股份有限公司 | 一种资源池管理的配置方法及装置 |
| CN107943559A (zh) * | 2017-11-21 | 2018-04-20 | 广东奥飞数据科技股份有限公司 | 一种大数据资源调度系统及其方法 |
| CN111159184A (zh) * | 2019-12-25 | 2020-05-15 | 上海中信信息发展股份有限公司 | 元数据追溯方法、装置及服务器 |
| CN112596864A (zh) * | 2020-12-29 | 2021-04-02 | 航天开元科技有限公司 | 基于虚拟化和策略自动化的运营云平台云资源管理系统 |
| CN114741154A (zh) * | 2022-02-16 | 2022-07-12 | 杭州中港科技有限公司 | 一种虚拟机网络资源分配系统 |
| CN115167984A (zh) * | 2022-07-12 | 2022-10-11 | 河南大学 | 基于云计算平台的考虑物理资源竞争的虚拟机负载均衡放置方法 |
| CN115292390A (zh) * | 2022-10-08 | 2022-11-04 | 北京国电通网络技术有限公司 | 负荷信息生成方法、装置、电子设备和计算机可读介质 |
| KR102569867B1 (ko) * | 2022-12-20 | 2023-08-23 | 오케스트로 주식회사 | 상관분석을 활용한 가상머신 관리 방법 및 이를 구현하는 가상머신 관리 시스템 |
Non-Patent Citations (4)
| Title |
|---|
| Congestion-Aware Embedding of Heterogeneous Bandwidth Virtual Data Centers With Hose Model Abstraction;Fangfang Yan等;《IEEE/ACM Transactions on Networking》;第25卷(第2期);806-819 * |
| 一种基于图形数据库的元数据关系管理方法;李刚;《信息与电脑（理论版）》;第32卷(第13期);132-136 * |
| 数据密集型批处理工作流的任务调度与虚拟机整合;冯阔;《中国优秀硕士学位论文全文数据库信息科技辑》;I137-9 * |
| 绿色云计算环境中基于温度感知的虚拟机迁移策略;陈阳等;《重庆邮电大学学报(自然科学版)》;第32卷(第2期);192-199 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117032906A (zh) | 2023-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11487760B2 (en) | Query plan management associated with a shared pool of configurable computing resources | |
| US20200233869A1 (en) | Selecting resource configurations for query execution | |
| US10877987B2 (en) | Correlating log data with performance measurements using a threshold value | |
| AU2017202873B2 (en) | Efficient query processing using histograms in a columnar database | |
| US11782989B1 (en) | Correlating data based on user-specified search criteria | |
| US10614132B2 (en) | GUI-triggered processing of performance data and log data from an information technology environment | |
| US11119982B2 (en) | Correlation of performance data and structure data from an information technology environment | |
| CN107315776B (zh) | 一种基于云计算的数据管理系统 | |
| US10997191B2 (en) | Query-triggered processing of performance data and log data from an information technology environment | |
| US20190179815A1 (en) | Obtaining performance data via an application programming interface (api) for correlation with log data | |
| US20140324862A1 (en) | Correlation for user-selected time ranges of values for performance metrics of components in an information-technology environment with log data from that information-technology environment | |
| CN106778253A (zh) | 基于大数据的威胁情景感知信息安全主动防御模型 | |
| Mesbahi et al. | Highly reliable architecture using the 80/20 rule in cloud computing datacenters | |
| CN115174148B (zh) | 面向云计算和信息安全的云服务管理方法及人工智能平台 | |
| CN117032906B (zh) | 农产品基础数据资源池管理方法及系统 | |
| Bhagattjee | Emergence and taxonomy of big data as a service | |
| US8868485B2 (en) | Data flow cost modeling | |
| Kadam et al. | Cloud service based on database management system | |
| US20230004432A1 (en) | Tenant-Level Monitoring | |
| US11799890B2 (en) | Detecting anomalous downloads | |
| Nirmala et al. | Big data computing and the reference architecture | |
| Garcés-Erice et al. | Analysis of SQL Workloads on an Enterprise Datalake | |
| Zhang et al. | Optimization Design of Privacy Protection System Based on Cloud Native | |
| Kahraman et al. | A Performance Improvement Model for Market Surveillance Application | |
| Sanwasi et al. | The Use of CGM Web System as Cost of Goods Manufactured Monitoring in the Industrial Revolution 4.0 Era |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 210012 room 801-810, 8 building, 7 Ande Gate Street, Yuhuatai District, Nanjing, Jiangsu, China, 57 Patentee after: Xinlixun Technology Group Co.,Ltd. Country or region after: China Address before: 210012 room 801-810, 8 building, 7 Ande Gate Street, Yuhuatai District, Nanjing, Jiangsu, China, 57 Patentee before: New Lixun Technology Co.,Ltd. Country or region before: China |