CN116340573A - 一种智能平台架构的数据调度方法及系统 - Google Patents
一种智能平台架构的数据调度方法及系统 Download PDFInfo
- Publication number
- CN116340573A CN116340573A CN202310600922.5A CN202310600922A CN116340573A CN 116340573 A CN116340573 A CN 116340573A CN 202310600922 A CN202310600922 A CN 202310600922A CN 116340573 A CN116340573 A CN 116340573A
- Authority
- CN
- China
- Prior art keywords
- data
- resource
- scheduling
- demand
- request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000004458 analytical method Methods 0.000 claims abstract description 103
- 238000013468 resource allocation Methods 0.000 claims abstract description 26
- 230000004044 response Effects 0.000 claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims description 35
- 230000010354 integration Effects 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 8
- 238000007621 cluster analysis Methods 0.000 claims description 5
- 230000032683 aging Effects 0.000 claims description 4
- 238000007405 data analysis Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 18
- 230000006978 adaptation Effects 0.000 abstract description 12
- 238000012545 processing Methods 0.000 abstract description 2
- 210000002569 neuron Anatomy 0.000 description 5
- 238000007726 management method Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种智能平台架构的数据调度方法及系统，涉及数据处理领域，其中，所述方法包括：智能数据调度平台包括数据请求单元、请求解析单元、请求决策单元和请求响应单元；根据数据请求单元，获得目标用户的目标数据需求；基于请求解析单元对目标数据需求进行特征识别，获得目标数据需求特征；基于请求决策单元内的数据调度决策模型对目标数据需求特征进行数据资源配置，获得目标数据资源配置结果；将目标数据资源配置结果传输至请求响应单元，获得数据调度指令，基于数据调度指令对目标用户进行数据调度。解决了现有技术中针对数据调度的精准性不足、适配度低，继而造成数据调度效果不佳的技术问题。
Description
技术领域
本发明涉及数据处理领域，具体地，涉及一种智能平台架构的数据调度方法及系统。
背景技术
随着互联网的不断发展，信息数据呈爆炸式增长。数据的多样性、多源性、异构性也不断增强，对数据的调度提出了更高层次的要求。现有技术中，存在针对数据调度的精准性不足、适配度低，继而造成数据调度效果不佳的技术问题。
发明内容
本申请提供了一种智能平台架构的数据调度方法及系统。解决了现有技术中针对数据调度的精准性不足、适配度低，继而造成数据调度效果不佳的技术问题。达到了提高数据调度的精准性、适配度，提升数据调度质量的技术效果。
鉴于上述问题，本申请提供了一种智能平台架构的数据调度方法及系统。
第一方面，本申请提供了一种智能平台架构的数据调度方法，其中，所述方法应用于一种智能平台架构的数据调度系统，所述方法包括：构建智能数据调度平台，其中，所述智能数据调度平台包括数据请求单元、请求解析单元、请求决策单元和请求响应单元；根据所述数据请求单元，获得目标用户的目标数据需求；基于所述请求解析单元对所述目标数据需求进行特征识别，获得目标数据需求特征；所述智能数据调度平台还包括数据资源库，基于所述数据资源库进行数据整合，生成数据资源分布模型，其中，所述数据资源分布模型包括多个数据资源分布单元；基于所述数据资源分布模型，搭建数据调度决策模型，并将所述数据调度决策模型嵌入至所述请求决策单元；基于所述请求决策单元内的数据调度决策模型对所述目标数据需求特征进行数据资源配置，获得目标数据资源配置结果；将所述目标数据资源配置结果传输至所述请求响应单元，获得数据调度指令，基于所述数据调度指令对所述目标用户进行数据调度。
第二方面，本申请还提供了一种智能平台架构的数据调度系统，其中，所述系统包括：平台构建模块，所述平台构建模块用于构建智能数据调度平台，其中，所述智能数据调度平台包括数据请求单元、请求解析单元、请求决策单元和请求响应单元；数据需求获得模块，所述数据需求获得模块用于根据所述数据请求单元，获得目标用户的目标数据需求；需求特征识别模块，所述需求特征识别模块用于基于所述请求解析单元对所述目标数据需求进行特征识别，获得目标数据需求特征；数据整合模块，所述数据整合模块用于所述智能数据调度平台还包括数据资源库，基于所述数据资源库进行数据整合，生成数据资源分布模型，其中，所述数据资源分布模型包括多个数据资源分布单元；搭建模块，所述搭建模块用于基于所述数据资源分布模型，搭建数据调度决策模型，并将所述数据调度决策模型嵌入至所述请求决策单元；数据资源配置模块，所述数据资源配置模块用于基于所述请求决策单元内的数据调度决策模型对所述目标数据需求特征进行数据资源配置，获得目标数据资源配置结果；数据调度模块，所述数据调度模块用于将所述目标数据资源配置结果传输至所述请求响应单元，获得数据调度指令，基于所述数据调度指令对所述目标用户进行数据调度。
本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：
通过数据请求单元、请求解析单元、请求决策单元和请求响应单元，构建智能数据调度平台；通过数据请求单元，获得目标用户的目标数据需求；通过请求解析单元对目标数据需求进行特征识别，获得目标数据需求特征；基于数据资源库进行数据整合，生成数据资源分布模型；根据数据资源分布模型，搭建数据调度决策模型，并将数据调度决策模型嵌入至请求决策单元；通过请求决策单元内的数据调度决策模型对目标数据需求特征进行数据资源配置，获得目标数据资源配置结果；将目标数据资源配置结果传输至请求响应单元，获得数据调度指令，按照数据调度指令对目标用户进行数据调度。达到了提高数据调度的精准性、适配度，提升数据调度质量的技术效果。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对本公开实施例的附图作简单地介绍。明显地，下面描述中的附图仅仅涉及本公开的一些实施例,而非对本公开的限制。
图1为本申请一种智能平台架构的数据调度方法的流程示意图；
图2为本申请一种智能平台架构的数据调度方法中生成数据资源分布模型的流程示意图；
图3为本申请一种智能平台架构的数据调度系统的结构示意图。
附图标记说明：平台构建模块11，数据需求获得模块12，需求特征识别模块13，数据整合模块14，搭建模块15，数据资源配置模块16，数据调度模块17。
具体实施方式
本申请通过提供一种智能平台架构的数据调度方法及系统。解决了现有技术中针对数据调度的精准性不足、适配度低，继而造成数据调度效果不佳的技术问题。达到了提高数据调度的精准性、适配度，提升数据调度质量的技术效果。
实施例一
请参阅附图1，本申请提供一种智能平台架构的数据调度方法，其中，所述方法应用于一种智能平台架构的数据调度系统，所述方法具体包括如下步骤：
步骤S100：构建智能数据调度平台，其中，所述智能数据调度平台包括数据请求单元、请求解析单元、请求决策单元和请求响应单元；
步骤S200：根据所述数据请求单元，获得目标用户的目标数据需求；
步骤S300：基于所述请求解析单元对所述目标数据需求进行特征识别，获得目标数据需求特征；
进一步的，本申请步骤S300还包括：
步骤S310：构建多级需求解析指标，并将所述多级需求解析指标嵌入至所述请求解析单元，其中，所述多级需求解析指标包括需求类型指标、需求关键词指标、需求容量指标和需求时限指标；
步骤S320：基于所述多级需求解析指标对所述目标数据需求进行特征识别，获得所述目标数据需求特征。
具体而言，搭建由数据请求单元、请求解析单元、请求决策单元和请求响应单元组成的智能数据调度平台，并将所述智能数据调度平台与所述一种智能平台架构的数据调度系统通信连接。通过数据请求单元对目标用户进行数据需求采集，获得目标数据需求。继而，将目标数据需求传输至请求解析单元，通过请求解析单元内预先构建的多级需求解析指标对目标数据需求进行特征识别，获得目标数据需求特征。其中，所述目标用户为使用所述一种智能平台架构的数据调度系统进行智能化数据调度的任意用户。所述目标数据需求包括目标用户的数据需求类型、数据需求关键词、数据需求量等数据信息。所述多级需求解析指标包括需求类型指标、需求关键词指标、需求容量指标和需求时限指标。所述目标数据需求特征包括目标数据需求中的需求类型信息、需求关键词信息、需求容量信息和需求时限信息。需求容量信息为目标用户的数据需求量。需求时限信息包括目标用户的数据发布需求时间范围信息。达到了通过多级需求解析指标对目标数据需求进行特征识别，获得目标用户的目标数据需求特征，为后续对目标用户进行数据调度奠定基础的技术效果。
步骤S400：所述智能数据调度平台还包括数据资源库，基于所述数据资源库进行数据整合，生成数据资源分布模型，其中，所述数据资源分布模型包括多个数据资源分布单元；
进一步的，如附图2所示，本申请步骤S400还包括：
步骤S410：所述数据资源库包括多个数据资源；
步骤S420：构建多级资源特征维度，其中，所述多级资源特征维度包括资源类型、资源关键词、资源容量和资源时效；
步骤S430：基于所述多级资源特征维度执行所述数据资源库的特征解析，获得资源特征解析结果，并基于所述资源特征解析结果执行所述多个数据资源的特征标识，获得多个资源特征标识；
步骤S440：基于所述多个资源特征标识执行所述数据资源库的聚类分析，获得多个聚类数据资源；
步骤S450：基于所述多个聚类数据资源，获得所述数据资源分布模型。
具体而言，智能数据调度平台还包括数据资源库，数据资源库包括多个数据资源。通过多级资源特征维度对数据资源库中的多个数据资源进行特征识别，获得资源特征解析结果，并按照资源特征解析结果对多个数据资源的特征标识，获得多个资源特征标识。继而，按照多个资源特征标识对数据资源库中的多个数据资源进行聚类分析，即，将相同的资源特征标识对应的多个数据资源归为一类，获得多个聚类数据资源，并根据多个聚类数据资源，获得数据资源分布模型。
其中，所述多级资源特征维度包括资源类型、资源关键词、资源容量和资源时效。所述资源特征解析结果包括多个数据资源对应的多个资源特征信息。每个资源特征信息包括每个数据资源对应的资源类型信息、资源关键词信息、资源容量信息和资源时效信息。资源容量信息包括每个数据资源对应的数据量信息。资源时效信息包括每个数据资源的发布时间信息。多个资源特征标识包括多个资源特征信息。每个聚类数据资源包括资源特征标识相同的多个数据资源。所述数据资源分布模型包括多个聚类数据资源。达到了通过对数据资源库进行数据整合，构建数据资源分布模型，从而提高数据调度管理的全面性的技术效果。
进一步的，本申请步骤S440还包括：
步骤S441：基于所述多个数据资源进行调度价值分析，获得资源调度价值分析结果；
进一步的，本申请步骤S441还包括：
步骤S4411：基于所述多个数据资源进行资源价值分析，获得多个资源价值系数；
步骤S4412：基于大数据，获得预设历史时区内所述数据资源库对应的数据调度记录；
步骤S4413：基于所述数据调度记录执行所述多个数据资源的调度支持度分析，获得多个资源调度支持度；
步骤S4414：基于所述数据调度记录，获得资源调度特征支持度；
步骤S4415：基于所述多个资源调度支持度和所述资源调度特征支持度，获得多个资源调度置信度；
步骤S4416：基于所述多个资源价值系数和所述多个资源调度置信度进行加权计算，获得多个资源调度价值指数，并将所述多个资源调度价值指数添加至所述资源调度价值分析结果。
具体而言，遍历多个数据资源进行资源价值分析，获得多个资源价值系数。资源价值系数是用于表征数据资源的资源价值的数据信息。资源价值系数越大，对应的数据资源的资源价值越高。示例性地，在获得多个资源价值系数时，基于多个数据资源进行历史数据查询，获得多个历史数据资源、多个历史资源价值系数。将多个历史数据资源、多个历史资源价值系数进行不断的自我训练学习至收敛状态，即可获得资源价值分析模型。将多个数据资源输入资源价值分析模型，通过资源价值分析模型对多个数据资源进行资源价值系数匹配，得到多个数据资源对应的多个资源价值系数。
进一步，基于大数据，采集预设历史时区内数据资源库对应的数据调度记录。所述数据调度记录包括预设历史时区内，数据资源库中的多个数据资源对应的多个数据调度次数。预设历史时区包括预先设置确定的历史时间范围信息。继而，根据数据调度记录对多个数据资源进行调度支持度分析，即，将数据调度记录中的多个数据调度次数设置为多个资源调度支持度。对数据调度记录中的多个数据调度次数进行加和计算，获得资源调度特征支持度。资源调度特征支持度包括数据调度记录中的多个数据调度次数之和。分别将多个资源调度支持度和资源调度特征支持度进行比值计算，获得多个资源调度置信度。多个资源调度置信度包括多个资源调度支持度与资源调度特征支持度之间的多个比值。
进一步，对多个资源价值系数和多个资源调度置信度进行加权计算，获得多个资源调度价值指数，并将多个资源调度价值指数添加至资源调度价值分析结果。所述资源调度价值分析结果包括多个资源调度价值指数。示例性地，在获得多个资源调度价值指数时，分别将多个资源价值系数和多个资源调度置信度输入预设加权计算公式，得到多个资源调度价值指数。预设加权计算公式包括
。其中，/>
为输出的资源调度价值指数，/>
为输入的资源价值系数，/>
为输入的资源调度置信度，/>
为预先设置确定的资源价值权重系数、资源调度置信度权重系数。达到了通过对多个数据资源进行多维调度价值分析，获得准确的资源调度价值分析结果，从而提高数据调度管理的全面性的技术效果。
步骤S442：基于所述资源调度价值分析结果对所述多个数据资源进行加密算法匹配，获得资源加密算法匹配结果；
步骤S443：基于所述资源加密算法匹配结果对所述多个数据资源进行加密。
具体而言，按照资源调度价值分析结果对多个数据资源进行加密算法匹配，获得资源加密算法匹配结果，并按照资源加密算法匹配结果对每个聚类数据资源中的每个数据资源进行加密。其中，所述资源加密算法匹配结果包括每个聚类数据资源中的每个数据资源对应的匹配加密算法，以及该匹配加密算法对应的匹配解密算法。按照每个数据资源对应的匹配加密算法对每个数据资源进行加密之后，根据每个数据资源的匹配加密算法对应的匹配解密算法对加密之后的多个数据资源进行解密信息标识。匹配加密算法可以为现有技术中的对称加密算法、非对称加密算法。示例性地，当资源调度价值指数较低时，优先选择效率高、成本低、简单，但安全性低、扩展性差的对称加密算法作为匹配加密算法。当资源调度价值指数较高时，优先选择安全性高，但复杂、效率低、成本高的非对称加密算法作为匹配加密算法。匹配解密算法为匹配加密算法对应的解密算法。达到了通过资源调度价值分析结果对多个数据资源进行适应性地加密算法匹配，并按照获得的合理的资源加密算法匹配结果对多个数据资源进行加密，提高数据资源的数据保密性、安全性，防止数据传输、数据调度时，数据资源被窃取、篡改、泄露，提高数据调度管理的可靠性、准确性的技术效果。
步骤S500：基于所述数据资源分布模型，搭建数据调度决策模型，并将所述数据调度决策模型嵌入至所述请求决策单元；
进一步的，本申请步骤S500还包括：
步骤S510：基于BP神经网络，构建需求特征资源解析模型的基础网络结构；
步骤S520：基于所述数据资源分布模型进行大数据查询，获得多组数据需求特征匹配记录；
步骤S530：基于所述多组数据需求特征匹配记录进行预设分配算子的数据划分，获得训练数据序列和测试数据序列；
步骤S540：基于所述基础网络结构，根据所述训练数据序列和测试数据序列进行训练、测试，获得所述需求特征资源解析模型；
步骤S550：基于所述需求特征资源解析模型和所述数据资源分布模型，生成所述数据调度决策模型。
具体而言，BP神经网络是一种按照误差逆向传播算法进行训练的多层前馈神经网络。BP神经网络包括输入层、多层神经元、输出层。BP神经网络可以进行正向计算、反向计算。正向计算时，输入信息从输入层经过多层神经元逐层处理，转向输出层，每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转入反向计算，将误差信号沿原来的连接通路返回，通过修改各神经元的权值，使得误差信号最小。将BP神经网络作为需求特征资源解析模型的基础网络结构。即，所述基础网络结构包括输入层、隐含层和输出层。
进一步，基于数据资源分布模型进行大数据查询，获得数据资源分布模型对应的多组数据需求特征匹配记录。每组数据需求特征匹配记录包括数据资源分布模型对应的历史目标数据需求特征，以及历史目标数据需求特征对应的历史匹配资源信息。继而，按照预设分配算子对多组数据需求特征匹配记录进行数据划分，获得训练数据序列和测试数据序列。所述预设分配算子包括预先设置确定的数据划分比例。例如，所述预设分配算子为7:3。则，将多组数据需求特征匹配记录中随机70%的数据信息划分为训练数据序列，将多组数据需求特征匹配记录中随机30%的数据信息划分为测试数据序列。
进一步，根据基础网络结构，通过BP神经网络将训练数据序列进行不断的自我训练学习至收敛状态，获得需求特征资源解析模型。将测试数据序列作为输入信息，输入需求特征资源解析模型，通过测试数据序列对需求特征资源解析模型进行参数更新。将需求特征资源解析模型和数据资源分布模型进行连接，获得数据调度决策模型，并将数据调度决策模型嵌入至请求决策单元。其中，所述数据调度决策模型包括需求特征资源解析模型和数据资源分布模型。需求特征资源解析模型包括输入层、隐含层和输出层。达到了构建准确、泛化性能强的数据调度决策模型，从而提高对目标用户进行数据资源配置的精确度的技术效果。
步骤S600：基于所述请求决策单元内的数据调度决策模型对所述目标数据需求特征进行数据资源配置，获得目标数据资源配置结果；
步骤S700：将所述目标数据资源配置结果传输至所述请求响应单元，获得数据调度指令，基于所述数据调度指令对所述目标用户进行数据调度。
具体而言，将目标数据需求特征传输至请求决策单元，请求决策单元包括由需求特征资源解析模型、数据资源分布模型组成的数据调度决策模型。将目标数据需求特征作为输入信息，输入需求特征资源解析模型，通过需求特征资源解析模型对目标数据需求特征进行数据资源匹配，获得目标数据需求特征对应的匹配资源信息。按照匹配资源信息对数据资源分布模型进行数据资源读取，获得目标数据资源配置结果。继而，将目标数据资源配置结果传输至请求响应单元，获得数据调度指令，并根据数据调度指令对目标用户进行数据调度。其中，所述目标数据资源配置结果包括匹配资源信息对应的数据资源。所述数据调度指令是用于对目标用户进行数据调度的指令信息。且，所述数据调度指令包括目标数据资源配置结果。达到了通过数据调度决策模型对目标数据需求特征进行数据资源配置，提高数据调度的精准性、适配度的技术效果。
进一步的，本申请步骤S700之后，还包括：
步骤S810：所述智能数据调度平台还包括用户反馈单元，基于所述用户反馈单元，获得满足容量约束条件的用户反馈数据；
步骤S820：基于所述用户反馈数据，获得资源调整信息；
步骤S830：基于所述资源调整信息对所述数据资源分布模型进行优化。
具体而言，智能数据调度平台还包括用户反馈单元，通过用户反馈单元采集用户反馈信息，直至获得满足容量约束条件的用户反馈数据。继而，从用户反馈数据中提取出资源调整信息，并根据资源调整信息对数据资源分布模型进行优化。其中，所述容量约束条件包括预先设置确定的用户反馈数据量阈值。所述用户反馈数据包括多个目标用户对应的多个用户反馈信息。每个用户反馈信息包括每个目标用户对目标数据资源配置结果的评价信息、建议信息。所述资源调整信息包括用户反馈数据中的建议信息。例如，当资源调整信息包括数据资源中的数据错误信息时，则，按照资源调整信息对数据资源分布模型进行数据更正。达到了通过资源调整信息对数据资源分布模型进行优化，从而提高数据调度质量的技术效果。
综上所述，本申请所提供的一种智能平台架构的数据调度方法具有如下技术效果：
1.通过数据请求单元、请求解析单元、请求决策单元和请求响应单元，构建智能数据调度平台；通过数据请求单元，获得目标用户的目标数据需求；通过请求解析单元对目标数据需求进行特征识别，获得目标数据需求特征；基于数据资源库进行数据整合，生成数据资源分布模型；根据数据资源分布模型，搭建数据调度决策模型，并将数据调度决策模型嵌入至请求决策单元；通过请求决策单元内的数据调度决策模型对目标数据需求特征进行数据资源配置，获得目标数据资源配置结果；将目标数据资源配置结果传输至请求响应单元，获得数据调度指令，按照数据调度指令对目标用户进行数据调度。达到了提高数据调度的精准性、适配度，提升数据调度质量的技术效果。
2.通过资源调度价值分析结果对多个数据资源进行适应性地加密算法匹配，并按照获得的合理的资源加密算法匹配结果对多个数据资源进行加密，提高数据资源的数据保密性、安全性，防止数据传输、数据调度时，数据资源被窃取、篡改、泄露，提高数据调度管理的可靠性、准确性。
3.通过数据调度决策模型对目标数据需求特征进行数据资源配置，提高数据调度的精准性、适配度。
实施例二
基于与前述实施例中一种智能平台架构的数据调度方法，同样发明构思，本发明还提供了一种智能平台架构的数据调度系统，请参阅附图3，所述系统包括：
平台构建模块11，所述平台构建模块11用于构建智能数据调度平台，其中，所述智能数据调度平台包括数据请求单元、请求解析单元、请求决策单元和请求响应单元；
数据需求获得模块12，所述数据需求获得模块12用于根据所述数据请求单元，获得目标用户的目标数据需求；
需求特征识别模块13，所述需求特征识别模块13用于基于所述请求解析单元对所述目标数据需求进行特征识别，获得目标数据需求特征；
数据整合模块14，所述数据整合模块14用于所述智能数据调度平台还包括数据资源库，基于所述数据资源库进行数据整合，生成数据资源分布模型，其中，所述数据资源分布模型包括多个数据资源分布单元；
搭建模块15，所述搭建模块15用于基于所述数据资源分布模型，搭建数据调度决策模型，并将所述数据调度决策模型嵌入至所述请求决策单元；
数据资源配置模块16，所述数据资源配置模块16用于基于所述请求决策单元内的数据调度决策模型对所述目标数据需求特征进行数据资源配置，获得目标数据资源配置结果；
数据调度模块17，所述数据调度模块17用于将所述目标数据资源配置结果传输至所述请求响应单元，获得数据调度指令，基于所述数据调度指令对所述目标用户进行数据调度。
进一步的，所述系统还包括：
需求解析指标确定模块，所述需求解析指标确定模块用于构建多级需求解析指标，并将所述多级需求解析指标嵌入至所述请求解析单元，其中，所述多级需求解析指标包括需求类型指标、需求关键词指标、需求容量指标和需求时限指标；
目标数据需求特征获得模块，所述目标数据需求特征获得模块用于基于所述多级需求解析指标对所述目标数据需求进行特征识别，获得所述目标数据需求特征。
进一步的，所述系统还包括：
资源库组成模块，所述资源库组成模块用于所述数据资源库包括多个数据资源；
资源特征维度构建模块，所述资源特征维度构建模块用于构建多级资源特征维度，其中，所述多级资源特征维度包括资源类型、资源关键词、资源容量和资源时效；
特征标识模块，所述特征标识模块用于基于所述多级资源特征维度执行所述数据资源库的特征解析，获得资源特征解析结果，并基于所述资源特征解析结果执行所述多个数据资源的特征标识，获得多个资源特征标识；
聚类分析模块，所述聚类分析模块用于基于所述多个资源特征标识执行所述数据资源库的聚类分析，获得多个聚类数据资源；
第一执行模块，所述第一执行模块用于基于所述多个聚类数据资源，获得所述数据资源分布模型。
进一步的，所述系统还包括：
调度价值分析模块，所述调度价值分析模块用于基于所述多个数据资源进行调度价值分析，获得资源调度价值分析结果；
加密算法匹配模块，所述加密算法匹配模块用于基于所述资源调度价值分析结果对所述多个数据资源进行加密算法匹配，获得资源加密算法匹配结果；
数据资源加密模块，所述数据资源加密模块用于基于所述资源加密算法匹配结果对所述多个数据资源进行加密。
进一步的，所述系统还包括：
资源价值系数确定模块，所述资源价值系数确定模块用于基于所述多个数据资源进行资源价值分析，获得多个资源价值系数；
调度记录获取模块，所述调度记录获取模块用于基于大数据，获得预设历史时区内所述数据资源库对应的数据调度记录；
调度支持度分析模块，所述调度支持度分析模块用于基于所述数据调度记录执行所述多个数据资源的调度支持度分析，获得多个资源调度支持度；
第二执行模块，所述第二执行模块用于基于所述数据调度记录，获得资源调度特征支持度；
资源调度置信度确定模块，所述资源调度置信度确定模块用于基于所述多个资源调度支持度和所述资源调度特征支持度，获得多个资源调度置信度；
加权计算模块，所述加权计算模块用于基于所述多个资源价值系数和所述多个资源调度置信度进行加权计算，获得多个资源调度价值指数，并将所述多个资源调度价值指数添加至所述资源调度价值分析结果。
进一步的，所述系统还包括：
第三执行模块，所述第三执行模块用于基于BP神经网络，构建需求特征资源解析模型的基础网络结构；
大数据查询模块，所述大数据查询模块用于基于所述数据资源分布模型进行大数据查询，获得多组数据需求特征匹配记录；
数据划分模块，所述数据划分模块用于基于所述多组数据需求特征匹配记录进行预设分配算子的数据划分，获得训练数据序列和测试数据序列；
第四执行模块，所述第四执行模块用于基于所述基础网络结构，根据所述训练数据序列和测试数据序列进行训练、测试，获得所述需求特征资源解析模型；
第五执行模块，所述第五执行模块用于基于所述需求特征资源解析模型和所述数据资源分布模型，生成所述数据调度决策模型。
进一步的，所述系统还包括：
反馈模块，所述反馈模块用于所述智能数据调度平台还包括用户反馈单元，基于所述用户反馈单元，获得满足容量约束条件的用户反馈数据；
资源调整信息获得模块，所述资源调整信息获得模块用于基于所述用户反馈数据，获得资源调整信息；
优化模块，所述优化模块用于基于所述资源调整信息对所述数据资源分布模型进行优化。
本发明实施例所提供的一种智能平台架构的数据调度系统可执行本发明任意实施例所提供的一种智能平台架构的数据调度方法，具备执行方法相应的功能模块和有益效果。
所包括的各个模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
本申请提供了一种智能平台架构的数据调度方法，其中，所述方法应用于一种智能平台架构的数据调度系统，所述方法包括：通过数据请求单元、请求解析单元、请求决策单元和请求响应单元，构建智能数据调度平台；通过数据请求单元，获得目标用户的目标数据需求；通过请求解析单元对目标数据需求进行特征识别，获得目标数据需求特征；基于数据资源库进行数据整合，生成数据资源分布模型；根据数据资源分布模型，搭建数据调度决策模型，并将数据调度决策模型嵌入至请求决策单元；通过请求决策单元内的数据调度决策模型对目标数据需求特征进行数据资源配置，获得目标数据资源配置结果；将目标数据资源配置结果传输至请求响应单元，获得数据调度指令，按照数据调度指令对目标用户进行数据调度。解决了现有技术中针对数据调度的精准性不足、适配度低，继而造成数据调度效果不佳的技术问题。达到了提高数据调度的精准性、适配度，提升数据调度质量的技术效果。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (8)
1.一种智能平台架构的数据调度方法，其特征在于，所述方法包括：
构建智能数据调度平台，其中，所述智能数据调度平台包括数据请求单元、请求解析单元、请求决策单元和请求响应单元；
根据所述数据请求单元，获得目标用户的目标数据需求；
基于所述请求解析单元对所述目标数据需求进行特征识别，获得目标数据需求特征；
所述智能数据调度平台还包括数据资源库，基于所述数据资源库进行数据整合，生成数据资源分布模型，其中，所述数据资源分布模型包括多个数据资源分布单元；
基于所述数据资源分布模型，搭建数据调度决策模型，并将所述数据调度决策模型嵌入至所述请求决策单元；
基于所述请求决策单元内的数据调度决策模型对所述目标数据需求特征进行数据资源配置，获得目标数据资源配置结果；
将所述目标数据资源配置结果传输至所述请求响应单元，获得数据调度指令，基于所述数据调度指令对所述目标用户进行数据调度。
2.如权利要求1所述的方法，其特征在于，基于所述请求解析单元对所述目标数据需求进行特征识别，获得目标数据需求特征，包括：
构建多级需求解析指标，并将所述多级需求解析指标嵌入至所述请求解析单元，其中，所述多级需求解析指标包括需求类型指标、需求关键词指标、需求容量指标和需求时限指标；
基于所述多级需求解析指标对所述目标数据需求进行特征识别，获得所述目标数据需求特征。
3.如权利要求1所述的方法，其特征在于，所述生成数据资源分布模型，包括：
所述数据资源库包括多个数据资源；
构建多级资源特征维度，其中，所述多级资源特征维度包括资源类型、资源关键词、资源容量和资源时效；
基于所述多级资源特征维度执行所述数据资源库的特征解析，获得资源特征解析结果，并基于所述资源特征解析结果执行所述多个数据资源的特征标识，获得多个资源特征标识；
基于所述多个资源特征标识执行所述数据资源库的聚类分析，获得多个聚类数据资源；
基于所述多个聚类数据资源，获得所述数据资源分布模型。
4.如权利要求3所述的方法，其特征在于，所述方法包括：
基于所述多个数据资源进行调度价值分析，获得资源调度价值分析结果；
基于所述资源调度价值分析结果对所述多个数据资源进行加密算法匹配，获得资源加密算法匹配结果；
基于所述资源加密算法匹配结果对所述多个数据资源进行加密。
5.如权利要求4所述的方法，其特征在于，基于所述多个数据资源进行调度价值分析，获得资源调度价值分析结果，包括：
基于所述多个数据资源进行资源价值分析，获得多个资源价值系数；
基于大数据，获得预设历史时区内所述数据资源库对应的数据调度记录；
基于所述数据调度记录执行所述多个数据资源的调度支持度分析，获得多个资源调度支持度；
基于所述数据调度记录，获得资源调度特征支持度；
基于所述多个资源调度支持度和所述资源调度特征支持度，获得多个资源调度置信度；
基于所述多个资源价值系数和所述多个资源调度置信度进行加权计算，获得多个资源调度价值指数，并将所述多个资源调度价值指数添加至所述资源调度价值分析结果。
6.如权利要求1所述的方法，其特征在于，基于所述数据资源分布模型，搭建数据调度决策模型，包括：
基于BP神经网络，构建需求特征资源解析模型的基础网络结构；
基于所述数据资源分布模型进行大数据查询，获得多组数据需求特征匹配记录；
基于所述多组数据需求特征匹配记录进行预设分配算子的数据划分，获得训练数据序列和测试数据序列；
基于所述基础网络结构，根据所述训练数据序列和测试数据序列进行训练、测试，获得所述需求特征资源解析模型；
基于所述需求特征资源解析模型和所述数据资源分布模型，生成所述数据调度决策模型。
7.如权利要求1所述的方法，其特征在于，所述方法包括：
所述智能数据调度平台还包括用户反馈单元，基于所述用户反馈单元，获得满足容量约束条件的用户反馈数据；
基于所述用户反馈数据，获得资源调整信息；
基于所述资源调整信息对所述数据资源分布模型进行优化。
8.一种智能平台架构的数据调度系统，其特征在于，所述系统用于执行权利要求1至7中任一项所述的方法，所述系统包括：
平台构建模块，所述平台构建模块用于构建智能数据调度平台，其中，所述智能数据调度平台包括数据请求单元、请求解析单元、请求决策单元和请求响应单元；
数据需求获得模块，所述数据需求获得模块用于根据所述数据请求单元，获得目标用户的目标数据需求；
需求特征识别模块，所述需求特征识别模块用于基于所述请求解析单元对所述目标数据需求进行特征识别，获得目标数据需求特征；
数据整合模块，所述数据整合模块用于所述智能数据调度平台还包括数据资源库，基于所述数据资源库进行数据整合，生成数据资源分布模型，其中，所述数据资源分布模型包括多个数据资源分布单元；
搭建模块，所述搭建模块用于基于所述数据资源分布模型，搭建数据调度决策模型，并将所述数据调度决策模型嵌入至所述请求决策单元；
数据资源配置模块，所述数据资源配置模块用于基于所述请求决策单元内的数据调度决策模型对所述目标数据需求特征进行数据资源配置，获得目标数据资源配置结果；
数据调度模块，所述数据调度模块用于将所述目标数据资源配置结果传输至所述请求响应单元，获得数据调度指令，基于所述数据调度指令对所述目标用户进行数据调度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310600922.5A CN116340573B (zh) | 2023-05-26 | 2023-05-26 | 一种智能平台架构的数据调度方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310600922.5A CN116340573B (zh) | 2023-05-26 | 2023-05-26 | 一种智能平台架构的数据调度方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116340573A true CN116340573A (zh) | 2023-06-27 |
| CN116340573B CN116340573B (zh) | 2023-08-08 |
Family
ID=86884349
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310600922.5A Active CN116340573B (zh) | 2023-05-26 | 2023-05-26 | 一种智能平台架构的数据调度方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116340573B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108595267A (zh) * | 2018-04-18 | 2018-09-28 | 中国科学院重庆绿色智能技术研究院 | 一种基于深度强化学习的资源调度方法和系统 |
| US20190227533A1 (en) * | 2018-01-19 | 2019-07-25 | Industrial Technology Research Institute | Method and apparatus for dynamic intelligent scheduling |
| WO2019154371A1 (zh) * | 2018-02-09 | 2019-08-15 | 中兴通讯股份有限公司 | 一种调度方法及调度系统 |
| CA3063018A1 (en) * | 2018-11-21 | 2020-10-17 | Beijing Yutian Technology Co. Ltd | An intelligent emergency decision support system for emergency communication |
| CN114297025A (zh) * | 2021-12-27 | 2022-04-08 | 中国民航信息网络股份有限公司 | 数据中心资源分析系统及方法、存储介质及电子设备 |
| CN115185663A (zh) * | 2022-07-26 | 2022-10-14 | 贵州开放大学(贵州职业技术学院) | 一种基于大数据的智慧化数据处理系统 |
| CN115480882A (zh) * | 2021-05-31 | 2022-12-16 | 中移雄安信息通信科技有限公司 | 一种分布式边缘云资源调度方法及系统 |
-
2023
- 2023-05-26 CN CN202310600922.5A patent/CN116340573B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190227533A1 (en) * | 2018-01-19 | 2019-07-25 | Industrial Technology Research Institute | Method and apparatus for dynamic intelligent scheduling |
| WO2019154371A1 (zh) * | 2018-02-09 | 2019-08-15 | 中兴通讯股份有限公司 | 一种调度方法及调度系统 |
| CN108595267A (zh) * | 2018-04-18 | 2018-09-28 | 中国科学院重庆绿色智能技术研究院 | 一种基于深度强化学习的资源调度方法和系统 |
| CA3063018A1 (en) * | 2018-11-21 | 2020-10-17 | Beijing Yutian Technology Co. Ltd | An intelligent emergency decision support system for emergency communication |
| CN115480882A (zh) * | 2021-05-31 | 2022-12-16 | 中移雄安信息通信科技有限公司 | 一种分布式边缘云资源调度方法及系统 |
| CN114297025A (zh) * | 2021-12-27 | 2022-04-08 | 中国民航信息网络股份有限公司 | 数据中心资源分析系统及方法、存储介质及电子设备 |
| CN115185663A (zh) * | 2022-07-26 | 2022-10-14 | 贵州开放大学(贵州职业技术学院) | 一种基于大数据的智慧化数据处理系统 |
Non-Patent Citations (1)
| Title |
|---|
| 李长仪;刘婷婷;: "动态调度决策系统构建研究", 现代制造技术与装备, no. 04, pages 80 - 82 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116340573B (zh) | 2023-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | LSTM-based SQL injection detection method for intelligent transportation system | |
| Puschmann et al. | Adaptive clustering for dynamic IoT data streams | |
| CN114611145B (zh) | 一种基于互联网在线文档的数据安全共享平台 | |
| Cong | Personalized recommendation of film and television culture based on an intelligent classification algorithm | |
| Ponmalar et al. | Hybrid Whale Tabu algorithm optimized convolutional neural network architecture for intrusion detection in big data | |
| CN115563859A (zh) | 一种基于分层联邦学习的电力负荷预测方法、装置及介质 | |
| CN116340573B (zh) | 一种智能平台架构的数据调度方法及系统 | |
| CN116362526B (zh) | 一种用于数字化电厂的云边协同资源管控方法及系统 | |
| Pan et al. | Network intrusion detection model based on PCA+ ADASYN and XGBoost | |
| CN112508726A (zh) | 一种基于信息传播特点的虚假舆论识别系统及其处理方法 | |
| Zhang et al. | A community division-based evolutionary algorithm for large-scale multi-objective recommendations | |
| CN116528226A (zh) | 一种基于远程模块无线通信的安全监控方法及系统 | |
| CN115905358A (zh) | 一种基于图神经网络的内生安全的信任挖掘方法及系统 | |
| Luo et al. | A Language Model-based Fine-Grained Address Resolution Framework in UAV Delivery System | |
| CN115269712A (zh) | 结合元宇宙交互服务的用户兴趣挖掘方法及系统 | |
| Noughabi et al. | Predicting Students' Behavioral Patterns in University Networks for Efficient Bandwidth Allocation: A Hybrid Data Mining Method (Application Paper) | |
| CN115238170A (zh) | 基于区块链金融的用户画像处理方法及系统 | |
| CN115102868A (zh) | 一种基于SOM聚类与深度自编码器的web服务QoS预测方法 | |
| CN114417433A (zh) | 基于区块链安全认证的策略决策训练方法及云认证服务器 | |
| Shu et al. | Interval-Valued Skyline Web Service Selection on Incomplete QoS | |
| Razaque et al. | Fuzzy-gra trust model for cloud risk management | |
| Lee et al. | An enhanced memory-based collaborative filtering approach for context-aware recommendation | |
| CN116453523B (zh) | 针对高并发的语音ai节点统筹处理方法及装置 | |
| CN114820085B (zh) | 用户筛选方法、相关装置及存储介质 | |
| CN116127067B (zh) | 文本分类方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |