CN116628231B - 基于大数据平台的任务可视化发布方法及系统 - Google Patents

基于大数据平台的任务可视化发布方法及系统 Download PDF

Info

Publication number
CN116628231B
CN116628231B CN202310922016.7A CN202310922016A CN116628231B CN 116628231 B CN116628231 B CN 116628231B CN 202310922016 A CN202310922016 A CN 202310922016A CN 116628231 B CN116628231 B CN 116628231B
Authority
CN
China
Prior art keywords
task
issued
issuing
linkage
tasks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310922016.7A
Other languages
English (en)
Other versions
CN116628231A (zh
Inventor
柳宁波
周怡
宋少鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Yingtiandi Information Technology Co ltd
Original Assignee
Suzhou Yingtiandi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Yingtiandi Information Technology Co ltd filed Critical Suzhou Yingtiandi Information Technology Co ltd
Priority to CN202310922016.7A priority Critical patent/CN116628231B/zh
Publication of CN116628231A publication Critical patent/CN116628231A/zh
Application granted granted Critical
Publication of CN116628231B publication Critical patent/CN116628231B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
    • G06F2216/03—Data mining
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供一种基于大数据平台的任务可视化发布方法及系统，对任务发布阶段内多个待发布任务进行任务可视化分配时的初始化任务资源进行源数据调取，生成源数据知识图谱，依据各个待发布任务信息和各个可视化分配挖掘信息分别提取的相应待发布任务的目标发布知识向量序列，确定各个待发布任务之间的任务联动置信度以及各个待发布任务分别对应的可联动指标，依据生成的各个任务联动置信度和各个可联动指标，从各个待发布任务中确定联动发布任务，通过空域评估模态上各个待发布任务之间的任务联动置信度和时域评估模态上各个待发布任务分别对应的可联动指标来确定联动发布任务，可提高联动发布任务的分析准确性，进而提高后续任务发布的效率。

Description

基于大数据平台的任务可视化发布方法及系统
技术领域
本申请涉及大数据技术领域，具体而言，涉及一种基于大数据平台的任务可视化发布方法及系统。
背景技术
大数据平台指的是使用了Hadoop、Spark、Storm、Flink、Blink等这些分布式、实时或者离线计算框架，并在上面运行各种计算任务（如大数据挖掘任务发布）的平台。建设大数据平台的最终目的是服务于业务需求，解决现有业务问题或者创造新的机会。当前，对于大数据平台而言可能会定期规划多个待发布任务，然而相关技术中针对每个待发布任务都是独立进行任务可视化分配后进行发布的，缺乏针对每个待发布任务的联动属性分析，导致任务发布效率较低。
发明内容
有鉴于此，本申请目的在于提供一种基于大数据平台的任务可视化发布方法及系统，通过空域评估模态上各个待发布任务之间的任务联动置信度和时域评估模态上各个待发布任务分别对应的可联动指标，来确定联动发布任务，可提高联动发布任务的分析准确性，进而提高后续任务发布的效率。
依据本申请的第一方面，提供一种基于大数据平台的任务可视化发布方法，应用于基于大数据平台的任务可视化发布系统，所述方法包括：
对任务发布阶段内多个待发布任务进行任务可视化分配时的初始化任务资源进行源数据调取，生成源数据知识图谱，所述源数据知识图谱包含所述多个待发布任务分别对应的知识节点数据；
对生成的各个知识节点数据进行可视化分配挖掘，生成所述各个知识节点数据分别相关的待发布任务信息和可视化分配挖掘信息；
依据生成的各个待发布任务信息和各个可视化分配挖掘信息，分别提取相应待发布任务的目标发布知识向量序列；
依据生成的各个目标发布知识向量序列，确定各个待发布任务之间的任务联动置信度以及所述各个待发布任务分别对应的可联动指标；
依据生成的各个任务联动置信度和各个可联动指标，从所述各个待发布任务中确定联动发布任务，其中，确定的所述联动发布任务用于进行任务联动发布。
在第一方面的一种可能的实施方式中，所述可视化分配挖掘信息至少包含任务关联事件数据和分配的配置数据，则所述依据生成的各个待发布任务信息和各个可视化分配挖掘信息，分别提取相应待发布任务的目标发布知识向量序列，包括：
针对各个待发布任务中的每个待发布任务，依据该待发布任务的任务信息和分配的配置数据，获取该待发布任务的任务画像向量；
依据全局任务场景事件数据和所述任务关联事件数据，生成该待发布任务的先验知识向量，所述全局任务场景事件数据是将该待发布任务的任务关联事件数据和分配的配置数据进行融合生成的；
基于设定的注意力机制序列，依据所述全局任务场景事件数据和所述任务关联事件数据，生成该待发布任务的注意力向量；
依据所述任务画像向量、所述先验知识向量和所述注意力向量，生成该待发布任务的目标发布知识向量序列。
在第一方面的一种可能的实施方式中，所述依据该待发布任务的任务信息和分配的配置数据，获取该待发布任务的任务画像向量，包括：
从该待发布任务的任务信息中，提取任务标签、任务所属分区、任务所属业务节点和任务优先级；
从该待发布任务的分配的配置数据中，提取目标配置指向位置，所述目标配置指向位置为预置时空域内，该待发布任务的任务触发次数大于目标次数的指向位置；
将所述任务标签、所述任务所属分区、所述任务所属业务节点、所述任务优先级和所述目标配置指向位置中的至少一个向量序列，输出为所述任务画像向量。
在第一方面的一种可能的实施方式中，所述依据所述全局任务场景事件数据和所述任务关联事件数据，生成该待发布任务的先验知识向量，包括：
依据所述任务关联事件数据，分析所述任务发布阶段中各个关联任务发布阶段内，该待发布任务正向触发的频率、负向触发的频率、正权重分配的频率、负权重分配的频率；
依据所述全局任务场景事件数据，分析所述任务发布阶段中各个关联任务发布阶段内，该待发布任务请求的大数据服务量、发布的时间跨度、发布所调度的模块数量、任务发布的频率、任务发布所采用的节点数量；
将所述正向触发的频率、所述负向触发的频率、所述正权重分配的频率、所述负权重分配的频率、所述待发布任务请求的大数据服务量、所述发布的时间跨度、所述发布所调度的模块数量、所述任务发布的频率、所述任务发布所采用的节点数量中的至少一个，输出为所述先验知识向量。
在第一方面的一种可能的实施方式中，所述基于设定的注意力机制序列，依据所述全局任务场景事件数据和所述任务关联事件数据，生成该待发布任务的注意力向量，包括：
针对所述注意力机制序列中的一个注意力机制，依据所述一个注意力机制对应的全局任务场景事件数据或任务关联事件数据，分析所述任务发布阶段中各个关联任务发布阶段内，所述一个注意力机制对应的注意力活动，并依据分析结果，生成该待发布任务的注意力向量。
在第一方面的一种可能的实施方式中，所述依据生成的各个目标发布知识向量序列，确定所述各个待发布任务之间的任务联动置信度，包括：
依据所述各个目标发布知识向量序列包含的各个标的发布知识向量，确定一种或多种发布知识标签；
针对所述一种或多种发布知识标签，按照一种发布知识标签，对所述各个待发布任务进行聚类，并依据聚类数据，确定偏离聚类的差异化发布任务；
依据生成的各个聚类数据，分别确定生成的各个差异化发布任务各自在各个聚类数据中的显性参数值，生成所述各个差异化发布任务各自对应的显性参数值序列；
依据生成的各个显性参数值序列，分别确定所述各个聚类数据中，所述各个差异化发布任务各自相对于非差异化发布任务的任务联动置信度，并将所述各个差异化发布任务各自相对于非差异化发布任务的任务联动置信度，输出为所述各个待发布任务之间的任务联动置信度。
在第一方面的一种可能的实施方式中，所述依据生成的各个目标发布知识向量序列，确定各个待发布任务分别对应的可联动指标，包括：
将所述各个目标发布知识向量序列和所述各个待发布任务的历史目标发布知识向量序列，加载到满足模型收敛条件的任务联动决策模型中；
依据各个历史目标发布知识向量序列，采用所述任务联动决策模型，决策所述各个待发布任务的任务联动决策信息；
依据各个决策的任务联动决策信息和相应待发布任务的实际任务联动信息，确定相应待发布任务的可联动指标，所述实际任务联动信息是依据相应待发布任务对应的目标发布知识向量序列中包含的标的发布知识向量确定的。
在第一方面的一种可能的实施方式中，所述依据生成的各个任务联动置信度和各个可联动指标，从所述各个待发布任务中确定联动发布任务，包括以下操作中的任意一种：
将所述各个任务联动置信度中大于第一目标置信度的任务联动置信度对应的待发布任务，输出为联动发布任务，所述第一目标置信度是依据所述各个任务联动置信度确定的；
将所述各个可联动指标中大于第二目标置信度的可联动指标对应的待发布任务，输出为联动发布任务，所述第二目标置信度是依据所述各个可联动指标确定的；
将所述各个任务联动置信度中大于所述第一目标置信度，且所述各个可联动指标中大于所述第二目标置信度的待发布任务，输出为联动发布任务。
依据本申请的第二方面，提供一种基于大数据平台的任务可视化发布系统，所述基于大数据平台的任务可视化发布系统包括处理器以及可读存储介质，所述可读存储介质存储有程序，该程序被处理器执行时实现前述的基于大数据平台的任务可视化发布方法。
依据本申请的第三方面，提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，在监测到所述计算机可执行指令被执行时，实现前述的基于大数据平台的任务可视化发布方法。
依据上述任意一个方面，本申请中，对任务发布阶段内多个待发布任务进行任务可视化分配时的初始化任务资源进行源数据调取，生成源数据知识图谱，源数据知识图谱包含多个待发布任务各自进行任务可视化分配时产生的知识节点数据，可通过解析各个知识节点数据分别相关的待发布任务信息和可视化分配挖掘信息，依据各个待发布任务信息和各个可视化分配挖掘信息分别提取的相应待发布任务的目标发布知识向量序列，确定各个待发布任务之间的任务联动置信度以及各个待发布任务分别对应的可联动指标，依据生成的各个任务联动置信度和各个可联动指标，从各个待发布任务中确定联动发布任务，通过空域评估模态上各个待发布任务之间的任务联动置信度和时域评估模态上各个待发布任务分别对应的可联动指标，来确定联动发布任务，可提高联动发布任务的分析准确性，进而提高后续任务发布的效率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以依据这些附图获得其它相关的附图。
图1本申请实施例所提供的基于大数据平台的任务可视化发布方法的流程示意图；
图2示出了本申请实施例所提供的用于实现上述的基于大数据平台的任务可视化发布方法的基于大数据平台的任务可视化发布系统的组件结构示意图。
实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将依据本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了基于本申请实施例的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其它操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。
图1示出了本申请实施例提供的基于大数据平台的任务可视化发布方法的流程示意图，应当理解，在其它实施例中，本实施例的基于大数据平台的任务可视化发布方法其中部分步骤的顺序可以依据实际需要相互交换，或者其中的部分步骤也可以省略或删除。该基于大数据平台的任务可视化发布方法的详细步骤介绍如下。
步骤S101：对任务发布阶段内多个待发布任务进行任务可视化分配时的初始化任务资源进行源数据调取，生成源数据知识图谱，源数据知识图谱包含多个待发布任务各自进行任务可视化分配时产生的知识节点数据。
步骤S102：对生成的各个知识节点数据进行可视化分配挖掘，生成各个知识节点数据分别相关的待发布任务信息和可视化分配挖掘信息。
一种示例性的设计思路中，可视化分配挖掘信息至少包含任务关联事件数据和分配的配置数据。
步骤S103：依据生成的各个待发布任务信息和各个可视化分配挖掘信息，分别提取相应待发布任务的目标发布知识向量序列。
在执行步骤S103时，以各个待发布任务中的该待发布任务为例，目标发布知识向量序列的提取过程包括有：
步骤S1031：依据该待发布任务的任务信息和分配的配置数据，获取该待发布任务的任务画像向量。
一种示例性的设计思路中，任务画像向量表明了待发布任务的基本属性信息，例如至少包括任务标签、任务所属分区、任务所属业务节点、任务优先级、目标配置指向位置等5种特征。其中，目标配置指向位置为预置时空域内，该待发布任务的任务触发次数大于目标次数的指向位置。
一种示例性的设计思路中，从该待发布任务的任务信息中，提取任务标签、任务所属分区、任务所属业务节点和任务优先级，以及，从该待发布任务的分配的配置数据中，提取目标配置指向位置，将任务标签、任务所属分区、任务所属业务节点、任务优先级和目标配置指向位置中的至少一个，输出为该待发布任务的任务画像向量。
步骤S1032：依据全局任务场景事件数据和任务关联事件数据，生成该待发布任务的先验知识向量，全局任务场景事件数据是将该待发布任务的任务关联事件数据和分配的配置数据进行融合生成的。
一种示例性的设计思路中，先验知识向量至少包含待发布任务请求的大数据服务量、发布的时间跨度、发布所调度的模块数量、任务发布的频率、任务发布所采用的节点数量、对象正向触发的频率、负向触发的频率、正权重分配的频率、负权重分配的频率等特征向量。
一种示例性的设计思路中，在执行步骤S1032时，依据任务关联事件数据，统计任务发布阶段中各个关联任务发布阶段内，该待发布任务正向触发的频率、负向触发的频率、正权重分配的频率、负权重分配的频率，以及依据全局任务场景事件数据，统计任务发布阶段中各个关联任务发布阶段内，该待发布任务请求的大数据服务量、发布的时间跨度、发布所调度的模块数量、任务发布的频率、任务发布所采用的节点数量，将正向触发的频率、负向触发的频率、正权重分配的频率、负权重分配的频率、待发布任务请求的大数据服务量、发布的时间跨度、发布所调度的模块数量、任务发布的频率、任务发布所采用的节点数量中的至少一个，输出为该待发布任务的先验知识向量。
例如，以任务发布阶段为24小时为例，将任务发布阶段划分为00:00-05:00，05:00-11:00，11:00-17:00，17:00-24:00共计4个关联任务发布阶段，依据任务关联事件数据和全局任务场景事件数据，分别统计这4个时间段下上述特征向量，最终获得先验知识向量。
步骤S1033：基于设定的注意力机制序列，依据全局任务场景事件数据和任务关联事件数据，生成该待发布任务的注意力向量。
以注意力机制序列中的一个注意力机制为例，在执行步骤S1033时，依据一个注意力机制对应的全局任务场景事件数据或任务关联事件数据，统计任务发布阶段中各个关联任务发布阶段内，一个注意力机制对应的注意力活动，并依据分析结果，生成该待发布任务的注意力向量。
步骤S1034：依据任务画像向量、先验知识向量和注意力向量，生成该待发布任务的目标发布知识向量序列。
由此，可以得到各个待发布任务各自对应的目标发布知识向量序列，每个目标发布知识向量序列中，均包含任务画像向量、先验知识向量和注意力向量等特征向量。
步骤S104：依据生成的各个目标发布知识向量序列，确定各个待发布任务之间的任务联动置信度以及各个待发布任务分别对应的可联动指标。
本实施例中，考虑到联动发布任务本身较少见，而存在训练标签的联动发布任务也难以获取，由此可基于无监督学习方法确定联动发布任务，具体而言，一个是空域评估模态上，与其他待发布任务对比确定该待发布任务的联动情况；另一个是时域评估模态上，与自身对比确定待发布任务的任务的联动情况。
在执行步骤S104时，采用训练好的孤独森林模型，依据各个待发布任务对应的目标发布知识向量序列包含的各个标的发布知识向量，对各个待发布任务进行划分，从而得到偏离聚类的差异化发布任务，并计算差异化发布任务的任务联动置信度。
步骤S104_11：依据各个目标发布知识向量序列包含的各个标的发布知识向量，确定一种或多种发布知识标签。
每个待发布任务对应的目标发布知识向量序列中包含任务画像向量、先验知识向量和注意力向量，因此，依据这三种发布知识标签划分各个待发布任务。
步骤S104_12：依据孤独森林模型，针对一种或多种发布知识标签，按照一种发布知识标签，对各个待发布任务进行聚类，并依据聚类数据，确定偏离聚类的差异化发布任务。
步骤S104_13：依据生成的各个聚类数据，分别确定生成的各个差异化发布任务各自在各个聚类数据中的显性参数值，生成各个差异化发布任务各自对应的显性参数值序列。
步骤S104_14：依据生成的各个显性参数值序列，分别确定各个聚类数据中，各个差异化发布任务各自相对于非差异化发布任务的任务联动置信度，并将各个差异化发布任务各自相对于非差异化发布任务的任务联动置信度，输出为各个待发布任务之间的任务联动置信度。
一种示例性的设计思路中，执行步骤S104_14时，针对每一个显性参数值序列，按照各个发布知识标签对应的预设权重，对各个显性参数值进行加权计算，依据加权后的置信度，确定相应的差异化发布任务相对于非差异化发布任务的任务联动置信度，并将该任务联动置信度作为相应的差异化发布任务与其他待发布任务之间的任务联动置信度，并依据相应的差异化发布任务的任务联动置信度，确定相应的差异化发布任务是否为实际联动任务。
例如，以差异化发布任务为待发布任务4对应的显性参数值序列为例，任务联动置信度计算公式为：
K4＝L1*K4_1+L2*K4_2+L3*K4_3
其中，L1、L2、L3分别为任务画像向量、先验知识向量、注意力向量对应的权重，K4_1为待发布任务4在依据任务画像向量聚类后的结果中的显性参数值，K4_2为待发布任务4在依据先验知识向量聚类后的结果中的显性参数值，K4_3为待发布任务4在依据注意力向量聚类后的结果中的显性参数值，K4为加权后的任务联动置信度。
在执行步骤S104时，依据训练好的任务联动决策模型，确定各个待发布任务在时域评估模态上的可联动指标。
步骤S104_21：将各个目标发布知识向量序列和各个待发布任务的历史目标发布知识向量序列，加载到满足模型收敛条件的任务联动决策模型中。
在执行步骤S104_21时，将各个目标发布知识向量序列和各个待发布任务的历史目标发布知识向量序列，加载到依据训练好的长短期记忆网络，由长短期记忆网络对各个标的发布知识向量进行向量表示。
步骤S104_22：依据各个历史目标发布知识向量序列，采用任务联动决策模型，决策各个待发布任务的任务联动决策信息。
一种示例性的设计思路中，执行步骤S104_22时，采用长短期记忆网络，依据各个历史目标发布知识向量序列中的任务画像向量、先验知识向量、注意力向量，决策各个待发布任务的任务联动决策信息。
可选的，任务联动决策信息可用比特位表示，其中，1表示任务联动决策信息，0表示非任务联动决策信息。
例如，依据待发布任务4的历史目标发布知识向量序列，决策待发布任务4为任务联动决策信息为“0”。
步骤S104_23：依据各个决策的任务联动决策信息和相应待发布任务的实际任务联动信息，确定相应待发布任务的可联动指标，实际任务联动信息是依据相应待发布任务对应的目标发布知识向量序列中包含的标的发布知识向量确定的。
在执行步骤S104_23时，依据各个待发布任务分别对应的目标发布知识向量序列中包含的标的发布知识向量，确定相应待发布任务实际任务联动信息。依据各个决策的任务联动决策信息和相应待发布任务的实际任务联动信息，确定相应待发布任务的可联动指标。其中，可联动指标越大，表明该待发布任务联动的概率越大。
例如，依据待发布任务4的目标发布知识向量序列，确定待发布任务4实际任务联动信息为“1”，得到的待发布任务4的可联动指标为p4，p4大于设定值，则表明待发布任务4很可能为联动发布任务。
步骤S105：依据生成的各个任务联动置信度和各个可联动指标，从各个待发布任务中确定联动发布任务。
一种示例性的设计思路中，可依据各个任务联动置信度的目标置信度和各个可联动指标的目标置信度来确定联动发布任务。具体包括以下方式：
A：将各个任务联动置信度中大于第一目标置信度的任务联动置信度对应的待发布任务，输出为联动发布任务，第一目标置信度是依据各个任务联动置信度确定的。
例如，假设各个任务联动置信度的第一目标置信度记为F1，待发布任务6的任务联动置信度G6大于F1，则确定待发布任务6为联动发布任务。
B：将各个可联动指标中大于第二目标置信度的可联动指标对应的待发布任务，输出为联动发布任务，第二目标置信度是依据各个可联动指标确定的。
例如，假设各个可联动指标的第一目标置信度记为F2，待发布任务60的任务联动置信度m60大于F2，则确定待发布任务60为联动发布任务。
C：将各个任务联动置信度中大于第一目标置信度，且各个可联动指标中大于第二目标置信度的待发布任务，输出为联动发布任务。
例如，假设待发布任务4的任务联动置信度G4大于F1，待发布任务4的可联动指标m4大于F2，则确定待发布任务4为联动发布任务。
其中，确定的所述联动发布任务用于进行任务联动发布，例如可以将确定的每个联动发布任务与其它发布任务进行联动发布。
图2示意性地示出了可被用于实现本申请中所述的各个实施例的基于大数据平台的任务可视化发布系统100。
对于一个实施例，图2示出了基于大数据平台的任务可视化发布系统100，该基于大数据平台的任务可视化发布系统100具有一个或多个处理器102、被耦合到(一个或多个)处理器102中的至少一个的控制模块(芯片组)104、被耦合到控制模块104的存储器106、被耦合到控制模块104的非易失性存储器(NVM)/存储设备108、被耦合到控制模块104的一个或多个输入/输出设备110，和被耦合到控制模块104的网络接口112。
处理器102可包括一个或多个单核或多核处理器，处理器102可包括通用处理器或专用处理器(例如图形处理器、应用处理器、基频处理器等)的任意组合。在一些实施例中，基于大数据平台的任务可视化发布系统100能够作为本申请实施例中所述网关等服务器设备。
在一些实施例中，基于大数据平台的任务可视化发布系统100可包括具有指令114的一个或多个计算机可读介质(例如，存储器106或NVM/存储设备108)和与该一个或多个计算机可读介质相合并被配置为执行指令114以实现模块从而执行本公开中所述的动作的一个或多个处理器102。
对于一个实施例，控制模块104可包括任意适当的接口控制器，以向(一个或多个)处理器102中的至少一个和/或与控制模块104通信的任意适当的设备或组件提供任意适当的接口。
控制模块104可包括存储器控制器模块，以向存储器106提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。
存储器106可被用于例如为基于大数据平台的任务可视化发布系统100加载和存储数据和/或指令114。对于一个实施例，存储器106可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，存储器106可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例，控制模块104可包括一个或多个输入/输出控制器，以向NVM/存储设备108及(一个或多个)输入/输出设备110提供接口。
例如，NVM/存储设备108可被用于存储数据和/或指令114。NVM/存储设备108可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备108可包括在物理上作为基于大数据平台的任务可视化发布系统100被安装在其上的设备的一部分的存储资源，或者其可被该设备访问可不必作为该设备的一部分。例如，NVM/存储设备108可依据网络经由(一个或多个)输入/输出设备110进行访问。
(一个或多个)输入/输出设备110可为基于大数据平台的任务可视化发布系统100提供接口以与任意其他适当的设备通信，输入/输出设备110可以包括通信组件、拼音组件、传感器组件等。网络接口112可为基于大数据平台的任务可视化发布系统100提供接口以依据一个或多个网络通信，基于大数据平台的任务可视化发布系统100可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信，例如接入基于通信标准的无线网络，如WiFi、2G、3G、4G、5G等，或它们的组合进行无线通信。
对于一个实施例，(一个或多个)处理器102中的至少一个可与控制模块104的一个或多个控制器(例如，存储器控制器模块)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器102中的至少一个可与控制模块104的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiD)。对于一个实施例，(一个或多个)处理器102中的至少一个可与控制模块104的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器102中的至少一个可与控制模块104的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中，基于大数据平台的任务可视化发布系统100可以但不限于是：服务器、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。在各个实施例中，基于大数据平台的任务可视化发布系统100可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，服务器100包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
本申请实施例提供了一种电子设备，包括：一个或多个处理器；和，其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述电子设备执行如本申请中一个或多个所述的数据处理方法。
以上对本申请进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (8)

1.一种基于大数据平台的任务可视化发布方法，其特征在于，所述方法包括：
对任务发布阶段内多个待发布任务进行任务可视化分配时的初始化任务资源进行源数据调取，生成源数据知识图谱，所述源数据知识图谱包含所述多个待发布任务分别对应的知识节点数据；
对生成的各个知识节点数据进行可视化分配挖掘，生成所述各个知识节点数据分别相关的待发布任务信息和可视化分配挖掘信息；
依据生成的各个待发布任务信息和各个可视化分配挖掘信息，分别提取相应待发布任务的目标发布知识向量序列；
依据生成的各个目标发布知识向量序列，确定各个待发布任务之间的任务联动置信度以及所述各个待发布任务分别对应的可联动指标；
依据生成的各个任务联动置信度和各个可联动指标，从所述各个待发布任务中确定联动发布任务，其中，确定的所述联动发布任务用于进行任务联动发布；
所述可视化分配挖掘信息至少包含任务关联事件数据和分配的配置数据，则所述依据生成的各个待发布任务信息和各个可视化分配挖掘信息，分别提取相应待发布任务的目标发布知识向量序列，包括：
针对各个待发布任务中的每个待发布任务，依据该待发布任务的任务信息和分配的配置数据，获取该待发布任务的任务画像向量；
依据全局任务场景事件数据和所述任务关联事件数据，生成该待发布任务的先验知识向量，所述全局任务场景事件数据是将该待发布任务的任务关联事件数据和分配的配置数据进行融合生成的；
基于设定的注意力机制序列，依据所述全局任务场景事件数据和所述任务关联事件数据，生成该待发布任务的注意力向量；
依据所述任务画像向量、所述先验知识向量和所述注意力向量，生成该待发布任务的目标发布知识向量序列;
所述依据生成的各个目标发布知识向量序列，确定所述各个待发布任务之间的任务联动置信度，包括：
依据所述各个目标发布知识向量序列包含的各个标的发布知识向量，确定一种或多种发布知识标签；
针对所述一种或多种发布知识标签，按照一种发布知识标签，对所述各个待发布任务进行聚类，并依据聚类数据，确定偏离聚类的差异化发布任务；
依据生成的各个聚类数据，分别确定生成的各个差异化发布任务各自在各个聚类数据中的显性参数值，生成所述各个差异化发布任务各自对应的显性参数值序列；
依据生成的各个显性参数值序列，分别确定所述各个聚类数据中，所述各个差异化发布任务各自相对于非差异化发布任务的任务联动置信度，并将所述各个差异化发布任务各自相对于非差异化发布任务的任务联动置信度，输出为所述各个待发布任务之间的任务联动置信度。
2.根据权利要求1所述的基于大数据平台的任务可视化发布方法，其特征在于，所述依据该待发布任务的任务信息和分配的配置数据，获取该待发布任务的任务画像向量，包括：
从该待发布任务的任务信息中，提取任务标签、任务所属分区、任务所属业务节点和任务优先级；
从该待发布任务的分配的配置数据中，提取目标配置指向位置，所述目标配置指向位置为预置时空域内，该待发布任务的任务触发次数大于目标次数的指向位置；
将所述任务标签、所述任务所属分区、所述任务所属业务节点、所述任务优先级和所述目标配置指向位置中的至少一个向量序列，输出为所述任务画像向量。
3.根据权利要求1所述的基于大数据平台的任务可视化发布方法，其特征在于，所述依据所述全局任务场景事件数据和所述任务关联事件数据，生成该待发布任务的先验知识向量，包括：
依据所述任务关联事件数据，分析所述任务发布阶段中各个关联任务发布阶段内，该待发布任务正向触发的频率、负向触发的频率、正权重分配的频率、负权重分配的频率；
依据所述全局任务场景事件数据，分析所述任务发布阶段中各个关联任务发布阶段内，该待发布任务请求的大数据服务量、发布的时间跨度、发布所调度的模块数量、任务发布的频率、任务发布所采用的节点数量；
将所述正向触发的频率、所述负向触发的频率、所述正权重分配的频率、所述负权重分配的频率、所述待发布任务请求的大数据服务量、所述发布的时间跨度、所述发布所调度的模块数量、所述任务发布的频率、所述任务发布所采用的节点数量中的至少一个，输出为所述先验知识向量。
4.根据权利要求1所述的基于大数据平台的任务可视化发布方法，其特征在于，所述基于设定的注意力机制序列，依据所述全局任务场景事件数据和所述任务关联事件数据，生成该待发布任务的注意力向量，包括：
针对所述注意力机制序列中的一个注意力机制，依据所述一个注意力机制对应的全局任务场景事件数据或任务关联事件数据，分析所述任务发布阶段中各个关联任务发布阶段内，所述一个注意力机制对应的注意力活动，并依据分析结果，生成该待发布任务的注意力向量。
5.根据权利要求1所述的基于大数据平台的任务可视化发布方法，其特征在于，所述依据生成的各个目标发布知识向量序列，确定各个待发布任务分别对应的可联动指标，包括：
将所述各个目标发布知识向量序列和所述各个待发布任务的历史目标发布知识向量序列，加载到满足模型收敛条件的任务联动决策模型中；
依据各个历史目标发布知识向量序列，采用所述任务联动决策模型，决策所述各个待发布任务的任务联动决策信息；
依据各个决策的任务联动决策信息和相应待发布任务的实际任务联动信息，确定相应待发布任务的可联动指标，所述实际任务联动信息是依据相应待发布任务对应的目标发布知识向量序列中包含的标的发布知识向量确定的。
6.根据权利要求1-5中任一项所述的基于大数据平台的任务可视化发布方法，其特征在于，所述依据生成的各个任务联动置信度和各个可联动指标，从所述各个待发布任务中确定联动发布任务，包括以下操作中的任意一种：
将所述各个任务联动置信度中大于第一目标置信度的任务联动置信度对应的待发布任务，输出为联动发布任务，所述第一目标置信度是依据所述各个任务联动置信度确定的；
将所述各个可联动指标中大于第二目标置信度的可联动指标对应的待发布任务，输出为联动发布任务，所述第二目标置信度是依据所述各个可联动指标确定的；
将所述各个任务联动置信度中大于所述第一目标置信度，且所述各个可联动指标中大于所述第二目标置信度的待发布任务，输出为联动发布任务。
7.一种基于大数据平台的任务可视化发布系统，其特征在于，所述基于大数据平台的任务可视化发布系统包括处理器以及可读存储介质，所述可读存储介质存储有程序，该程序被处理器执行时实现上述权利要求1-6任意一项所述的基于大数据平台的任务可视化发布方法。
8.一种可读存储介质，其特征在于，所述可读存储介质存储有程序，该程序被处理器执行时实现上述权利要求1-6任意一项所述的基于大数据平台的任务可视化发布方法。
CN202310922016.7A 2023-07-26 2023-07-26 基于大数据平台的任务可视化发布方法及系统 Active CN116628231B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310922016.7A CN116628231B (zh) 2023-07-26 2023-07-26 基于大数据平台的任务可视化发布方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310922016.7A CN116628231B (zh) 2023-07-26 2023-07-26 基于大数据平台的任务可视化发布方法及系统

Publications (2)

Publication Number Publication Date
CN116628231A CN116628231A (zh) 2023-08-22
CN116628231B true CN116628231B (zh) 2023-09-22

Family

ID=87613936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310922016.7A Active CN116628231B (zh) 2023-07-26 2023-07-26 基于大数据平台的任务可视化发布方法及系统

Country Status (1)

Country Link
CN (1) CN116628231B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734165A (zh) * 2020-12-18 2021-04-30 中国平安财产保险股份有限公司 智能化的功能展示方法、装置、设备及存储介质
CN113268539A (zh) * 2021-06-16 2021-08-17 罗绍郑 基于云计算的大数据挖掘任务处理方法及大数据挖掘系统
CN114513624A (zh) * 2020-10-29 2022-05-17 浙江宇视科技有限公司 一种布控方法、装置、设备及存储介质
CN114564566A (zh) * 2022-03-09 2022-05-31 萍乡绪锐网络科技有限公司 应用云业务联动大数据处理方法及云业务人工智能系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114513624A (zh) * 2020-10-29 2022-05-17 浙江宇视科技有限公司 一种布控方法、装置、设备及存储介质
CN112734165A (zh) * 2020-12-18 2021-04-30 中国平安财产保险股份有限公司 智能化的功能展示方法、装置、设备及存储介质
CN113268539A (zh) * 2021-06-16 2021-08-17 罗绍郑 基于云计算的大数据挖掘任务处理方法及大数据挖掘系统
CN114564566A (zh) * 2022-03-09 2022-05-31 萍乡绪锐网络科技有限公司 应用云业务联动大数据处理方法及云业务人工智能系统

Also Published As

Publication number Publication date
CN116628231A (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
WO2021197364A1 (zh) 一种用于服务的扩缩容的方法及相关设备
WO2019114833A1 (en) Method, device, terminal and storage medium for processing application
CN112559007B (zh) 多任务模型的参数更新方法、装置及电子设备
US11429434B2 (en) Elastic execution of machine learning workloads using application based profiling
CN111045814A (zh) 资源调度方法和终端设备
CN112766596B (zh) 建筑能耗预测模型的构建方法、能耗预测方法及装置
CN104346926B (zh) 行驶时间预测方法和装置、以及相关终端设备
CN113407649A (zh) 数据仓库建模方法、装置、电子设备及存储介质
US11144538B2 (en) Predictive database index modification
CN111737168A (zh) 一种缓存系统、缓存处理方法、装置、设备及介质
US20220391253A1 (en) Method of resource management of virtualized system, electronic device and computer program product
WO2019085754A1 (zh) 应用清理方法、装置、存储介质及电子设备
CN111813517B (zh) 任务队列的分配方法、装置、计算机设备及介质
GB2611177A (en) Multi-task deployment method and electronic device
JP2022095895A (ja) 交通データ予測方法、交通データ予測装置、電子機器、記憶媒体、コンピュータプログラム製品及びコンピュータプログラム
CN116340889A (zh) 基于大数据平台的数据采集方法及系统
CN116628231B (zh) 基于大数据平台的任务可视化发布方法及系统
US11556878B2 (en) Systems and methods for managing organizational structures
CN116797973A (zh) 应用于环卫智慧管理平台的数据挖掘方法及系统
CN117544635A (zh) 一种资源管理方法、装置、设备及存储介质
CN113361621A (zh) 用于训练模型的方法和装置
CN113326888B (zh) 标注能力信息确定方法、相关装置及计算机程序产品
CN113420227B (zh) 点击率预估模型的训练方法、预估点击率的方法、装置
US20220398433A1 (en) Efficient Cross-Platform Serving of Deep Neural Networks for Low Latency Applications
US20210357794A1 (en) Determining the best data imputation algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant