CN114756376A - 一种跨领域多业务资源自动适配维护平台 - Google Patents

一种跨领域多业务资源自动适配维护平台 Download PDF

Info

Publication number
CN114756376A
CN114756376A CN202210491859.1A CN202210491859A CN114756376A CN 114756376 A CN114756376 A CN 114756376A CN 202210491859 A CN202210491859 A CN 202210491859A CN 114756376 A CN114756376 A CN 114756376A
Authority
CN
China
Prior art keywords
cross
task
data
domain multi
service resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210491859.1A
Other languages
English (en)
Inventor
王军平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Saibo Yunrui Intelligent Technology Co ltd
Original Assignee
Beijing Saibo Yunrui Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Saibo Yunrui Intelligent Technology Co ltd filed Critical Beijing Saibo Yunrui Intelligent Technology Co ltd
Priority to CN202210491859.1A priority Critical patent/CN114756376A/zh
Publication of CN114756376A publication Critical patent/CN114756376A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种跨领域多业务资源自动适配维护平台，该平台包括：跨领域多业务资源数据采集模块，用于采集跨领域多业务资源的数据，将该数据传输至跨领域多业务资源数据存储模块；跨领域多业务资源数据存储模块，用于对跨领域多业务资源数据转换模块传输的数据进行存储管理；跨领域多业务资源维护模块，用于根据所述跨领域多业务资源数据存储模块存储的数据，对跨领域多业务资源进行维护操作。本发明通过跨领域多业务资源数据的采集、存储和调用，可以实现跨领域多业务资源的自动适配，提高了维护平台的工作效率。

Description

一种跨领域多业务资源自动适配维护平台
技术领域
本发明涉及计算机技术领域，尤其涉及一种跨领域多业务资源自动适配维护平台。
背景技术
随着互联网信息化技术的不断发展，通过构建维护平台加强对业务资源的管理得到越来越广泛的应用，维护自动化带来的功效越来越明显。针对跨领域多任务的实际情况，当前维护平台存在任务承接功能不足、任务适配不够稳定、平台维护效率较低的问题；通过构建自行适配的维护平台，可以适应多领域、多业务资源的接入需求，实现对复杂资源的有效管理，提高任务运行的维护效率，节约维护成本。
发明内容
本发明提供了一种跨领域多业务资源自动适配维护平台，本发明通过跨领域多业务资源数据的采集、存储和调用，可以实现跨领域多业务资源的自动适配，提高了维护平台的工作效率。
一种跨领域多业务资源自动适配维护平台，其特征在于，包括：
跨领域多业务资源数据采集模块，用于采集跨领域多业务资源的数据，将该数据传输至跨领域多业务资源数据存储模块；
跨领域多业务资源数据存储模块，用于对跨领域多业务资源数据转换模块传输的数据进行存储管理；
跨领域多业务资源维护模块，用于根据所述跨领域多业务资源数据存储模块存储的数据，对跨领域多业务资源进行维护操作。
进一步地，所述跨领域多业务资源数据采集模块，用于借助通信技术和网络技术，通过通信设备和传感器获取跨领域多业务资源数据，并对该数据进行预处理操作；
所述跨领域多业务资源数据采集模块包括数据抽取单元、数据清洗单元和数据转换单元；
所述数据抽取单元，用于对获取的跨领域多业务资源数据中的关键信息进行抽取；
所述数据清洗单元，用于对抽取后的跨领域多业务资源数据中的无效数据进行清洗过滤；
所述数据处理单元，用于对清洗过滤后的跨领域多业务资源数据进行归一化处理，生成统一格式的数据，并上传至跨领域多业务资源数据存储模块。
进一步地，所述跨领域多业务资源数据存储模块包括基础文件存储单元、分布式列式存储单元、索引存储单元和关系存储单元；
所述基础文件存储单元，用于将超大数据文件和非结构化二进制数据存储在Hadoop分布式文件系统中；
所述分布式列式存储单元，用于将数据转换成列式格式存储在HBase集群中；
所述索引存储单元，用于将HBase集群中的复杂数据建立索引后，存储在弹性搜索数据库中；
所述关系存储单元，用于将关系型数据存储在MySQL数据库中。
进一步地，所述跨领域多业务资源维护模块包括事件生成单元、事件处理单元、事件转换单元和维护执行单元；
所述事件生成单元，用于调用跨领域多业务资源数据存储模块存储的数据，将所述数据转换成带有预设的消息服务应用程序接口形式的事件；
所述事件响应单元，用于接收来自事件生成单元的事件，根据所述事件发出事件响应；
所述事件转换单元，用于根据所述事件响应，生成与所述事件响应相对应的操作指令；
所述维护执行单元，用于根据所述操作指令，对跨领域多业务资源进行维护操作。
进一步地，所述跨领域多业务资源维护模块还包括指令生成单元，用于依托规则树分析所述事件响应，根据分析结果生成相对应的操作指令；
所述指令生成单元包括规则树构建子单元、规则树调用子单元和操作代码转译子单元；
所述规则树构建子单元，用于预先定义适配规则，根据所述适配规则构建适配规则树；所述适配规则包含规则目标和规则槽位；
所述规则树调用子单元，用于将所述事件对应的数据与所述自动适配规则进行适配，先对规则目标进行适配，如适配成功，则调用与该规则目标相对应的适配规则树，再获取该适配规则树对应的规则槽位，对所述规则槽位中的事件响应进行分析，生成分析结果；
所述操作代码转译子单元，用于根据所述分析结果生成操作代码，并将所述操作代码转译为操作指令。
进一步地，所述事件响应单元，包括事件请求绑定子单元、规则引擎触发子单元和事件请求响应子单元；
所述事件请求绑定子单元，用于将关联跨领域多业务资源操作的多个独立事件请求与预设的事件触发规则进行绑定，生成规则引擎；
所述规则引擎触发子单元，用于当接收的事件请求触发所述规则引擎时，调用相应的事件触发规则；
所述事件请求响应子单元，用于根据所述事件触发规则，对跨领域多业务资源的事件请求发出响应。
进一步地，所述事件生成单元包括事件可信度确定子单元，用于根据事件的规则可信度确定事件的可信度，若规则可信度大于预设的规则可信度阈值，则将所述事件确定为可信事件。
进一步地，所述跨领域多业务资源维护模块还包括跨领域多业务资源任务运行监测单元，用于监测跨领域多业务资源任务的运行；
所述跨领域多业务资源任务运行监测单元包括监测配置子单元、任务统计子单元和任务预警子单元：
所述监测配置子单元，用于对关联跨领域多业务资源任务运行的条件进行设置，设置的条件包括运行时限、运行过程、临界阈值；
所述任务统计子单元，用于统计分析跨领域多业务资源任务完成情况，区分时间、内容、效果类项进行统计，并在维护平台可视化界面上进行显示；
所述任务预警子单元，用于监测跨领域多业务资源任务运行情况，对出现异常的运行任务，及时发出预警，维护平台工作人员根据预警及时处置。
进一步地，还包括数据导入导出管理模块，所述数据导入导出管理模块用于对跨领域多业务资源数据存储模块中的数据进行管理；所述数据导入导出管理模块包括权限控制单元、方式控制单元和传输控制单元；
所述权限控制单元，用于对数据导入进行权限验证，并对数据导出进行校验；
所述方式控制单元，用于采用预设方式导入导出数据；所述预设方式为超文本传输协议方式和文件型方式相结合的方式；
所述传输控制单元，用于通过生产者消费者模式消息队列方式进行数据传输。
进一步地，还包括任务调配模块，用于对跨领域多业务资源进行任务调配；所述任务调配模块包括任务队列标记分类单元、任务队列监测分析单元和任务队列调整分配单元；
所述任务标记分类单元，用于根据跨领域多业务资源的任务特点和完成时限，按照预设的标记规则，将所述任务标记为重要紧急任务、重要非紧急任务、紧急非重要任务和非重要非紧急任务，并按照标记类型进行分类；
所述任务运行监测分析单元，用于监测分析正在运行的跨领域多业务资源任务占用平台资源情况，获得重要紧急任务对应的第一资源占用率、紧急非重要任务对应的第二资源占用率、重要非紧急任务对应的第三资源占用率和非重要非紧急任务对应的第四资源占用率；
根据所述第一资源占用率，判断得到该重要紧急任务所处任务节点可供紧急非重要任务运行的紧急非重要任务的第一资源可用率；
所述任务队列调整分配单元，用于接收到紧急重要任务、紧急非重要任务时，向任务节点发送调配指令；包括：
根据新接收的紧急重要任务请求，向第一资源占用率低的任务节点发送调配指令，将所述紧急重要任务分配给该任务节点；
根据新接收的紧急非重要任务请求，向所述第一资源可用率不小于第二资源占用率的任务节点发送调配指令，将所述紧急非重要任务分配给该任务节点；
当所有任务节点的第一资源可用率小于第二资源占用率时，向所述第一资源可用率不小于第三资源占用率的任务节点发送调配指令，将所述紧急非重要任务分配给该任务节点；
当所有任务节点的第一资源可用率小于第三资源占用率时，向所述第一资源可用率不小于第四资源占用率的任务节点发送调配指令，将所述紧急非重要任务分配给该任务节点；
当所有任务节点的第一资源可用率小于第四资源占用率时，将所述紧急非重要任务放入预先设置的等待队列中。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明的一种跨领域多业务资源自动适配维护平台模块示意图；
图2为本发明的跨领域多业务资源数据转换模块示意图；
图3为本发明的指令生成单元模块示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明提供了一种跨领域多业务资源自动适配维护平台，如图1所示，包括：
跨领域多业务资源数据采集模块，用于采集跨领域多业务资源的数据，将该数据传输至跨领域多业务资源数据存储模块；
跨领域多业务资源数据存储模块，用于对跨领域多业务资源数据转换模块传输的数据进行存储管理；
跨领域多业务资源维护模块，用于根据所述跨领域多业务资源数据存储模块存储的数据，对跨领域多业务资源进行维护操作。
上述技术方案的工作原理为：跨领域多业务资源的自动适配维护需要对跨领域多业务资源数据进行分析处理，具体需要进行数据的采集、存储，并根据存储的数据进行维护平台的建立，并对跨领域多业务资源进行自动适配维护；本实施例包括：跨领域多业务资源数据采集模块，用于采集跨领域多业务资源的数据，将该数据传输至跨领域多业务资源数据存储模块；
跨领域多业务资源数据存储模块，用于对跨领域多业务资源数据转换模块传输的数据进行存储管理；
跨领域多业务资源维护模块，用于根据所述跨领域多业务资源数据存储模块存储的数据，对跨领域多业务资源进行维护操作。
上述技术方案的有益效果为：采用本实施例提供的方案，通过对跨领域多业务资源数据的采集、存储和调用，可以实现跨领域多业务资源的自动适配，提高维护平台的工作效率。
在一个实施例中，如图2所示，所述跨领域多业务资源数据采集模块，用于借助通信技术和网络技术，通过通信设备和传感器获取跨领域多业务资源数据，并对该数据进行预处理操作；所述跨领域多业务资源数据采集模块包括数据抽取单元、数据清洗单元和数据转换单元；
所述数据抽取单元，用于对获取的跨领域多业务资源数据中的关键信息进行抽取；
所述数据清洗单元，用于对抽取后的跨领域多业务资源数据中的无效数据进行清洗过滤；
所述数据处理单元，用于对清洗过滤后的跨领域多业务资源数据进行归一化处理，生成统一格式的数据，并上传至跨领域多业务资源数据存储模块。
上述技术方案的工作原理为：对跨领域业务资源的日志数据，需要进行关键信息抽取；由于跨领域多业务资源数据的格式不同，需要处理成能够方便统一存储的形式；因此，本实施例先对数据进行相应的处理；包括数据抽取单元、数据清洗单元和数据转换单元；
所述数据抽取单元，用于对获取的跨领域多业务资源数据中的关键信息进行抽取；
所述数据清洗单元，用于对抽取后的跨领域多业务资源数据中的无效数据进行清洗过滤；
所述数据处理单元，用于对清洗过滤后的跨领域多业务资源数据进行归一化处理，生成统一格式的数据，并上传至跨领域多业务资源数据存储模块。
上述技术方案的有益效果为：采用本实施例提供的方案，通过对跨领域多业务资源数据的处理和转换，便于将数据转换成方便存储的格式进行存储。
在一个实施例中，所述跨领域多业务资源数据存储模块包括基础文件存储单元、分布式列式存储单元、索引存储单元和关系存储单元；
所述基础文件存储单元，用于将超大数据文件和非结构化二进制数据存储在Hadoop分布式文件系统中；
所述分布式列式存储单元，用于将数据转换成列式格式存储在HBase集群中；
所述索引存储单元，用于将HBase集群中的复杂数据建立索引后，存储在弹性搜索数据库中；
所述关系存储单元，用于将关系型数据存储在MySQL数据库中。
上述技术方案的工作原理为：针对跨领域多业务资源产生的大量数据，需要设计对应的存储方案，针对结构化数据和非结构化数据都要能够进行适应，本实施例针对这一实际需求，主要采用HBase分布式存储，通过其它存储方式进行辅助；具体包括基础文件存储单元、分布式列式存储单元、索引存储单元和关系存储单元；
所述基础文件存储单元，用于将超大数据文件和非结构化二进制数据存储在Hadoop分布式文件系统中；
所述分布式列式存储单元，用于将数据转换成列式格式存储在HBase集群中；
所述索引存储单元，用于将HBase集群中的复杂数据建立索引后，存储在弹性搜索数据库中；
所述关系存储单元，用于将关系型数据存储在MySQL数据库中。
上述技术方案的有益效果为：采用本实施例提供的方案，采用分布式存储保证了平台具有良好的可扩展性，能够根据业务资源数量，动态增加节点，以适应多业务资源的数据存储；将弹性搜索数据库作为索引数据存储组件，能够提高查询的效率。
在一个实施例中，所述跨领域多业务资源维护模块包括事件生成单元、事件处理单元、事件转换单元和维护执行单元；
所述事件生成单元，用于调用跨领域多业务资源数据存储模块存储的数据，将所述数据转换成带有预设的消息服务应用程序接口形式的事件；
所述事件响应单元，用于接收来自事件生成单元的事件，根据所述事件发出事件响应；
所述事件转换单元，用于根据所述事件响应，生成与所述事件响应相对应的操作指令；
所述维护执行单元，用于根据所述操作指令，对跨领域多业务资源进行维护操作。
上述技术方案的工作原理为：根据跨领域多业务资源维护信息的应用类型，维护平台对来自跨领域多业务资源事件消息进行监测，根据事件消息属性转换成相应的指令，控制跨领域多业务资源的任务运行；所述跨领域多业务资源维护模块包括事件生成单元、事件处理单元、事件转换单元和维护执行单元；
所述事件生成单元，用于调用跨领域多业务资源数据存储模块存储的数据，将所述数据转换成带有预设的消息服务应用程序接口形式的事件；
所述事件响应单元，用于接收来自事件生成单元的事件，根据所述事件发出事件响应；
所述事件转换单元，用于根据所述事件响应，生成与所述事件响应相对应的操作指令；
所述维护执行单元，用于根据所述操作指令，对跨领域多业务资源进行维护操作。
上述技术方案的有益效果为：采用本实施例提供的方案，通过构建事件生成单元、事件处理单元、事件转换单元和维护执行单元，能够通过调用跨领域多业务资源的数据，转化成控制跨领域多业务资源任务运行的指令，实现对跨领域多业务资源的维护。
在一个实施例中，如图3所示，所述跨领域多业务资源维护模块还包括指令生成单元，用于依托规则树分析所述事件响应，根据分析结果生成相对应的操作指令；
所述指令生成单元包括规则树构建子单元、规则树调用子单元和操作代码转译子单元；
所述规则树构建子单元，用于预先定义适配规则，根据所述适配规则构建适配规则树；所述适配规则包含规则目标和规则槽位；
所述规则树调用子单元，用于将所述事件对应的数据与所述自动适配规则进行适配，先对规则目标进行适配，如适配成功，则调用与该规则目标相对应的适配规则树，再获取该适配规则树对应的规则槽位，对所述规则槽位中的事件响应进行分析，生成分析结果；
所述操作代码转译子单元，用于根据所述分析结果生成操作代码，并将所述操作代码转译为操作指令。
上述技术方案的工作原理为：规则树是指由规则集生成的树形结构，每一层分枝除了每个属性的可能取值外，还添加了一个表示任意值的分枝并且叶节点存储了历史数据集的关键信息以及规则的相关评价指标；其特点有：每一层代表了一个属性，节点表示属性的取值；根节点为起始节点，代表了整个规则集；适配发生冲突时，采用高可信度规则优先方案；基于规则树的特点，本实施例依托规则树分析跨领域多业务资源的事件消息，根据分析结果生成操作指令；
所述跨领域多业务资源维护模块还包括指令生成单元，用于依托规则树分析所述事件响应，根据分析结果生成相对应的操作指令；
所述指令生成单元包括规则树构建子单元、规则树调用子单元和操作代码转译子单元；
所述规则树构建子单元，用于预先定义适配规则，根据所述适配规则构建适配规则树；所述适配规则包含规则目标和规则槽位；
所述规则树调用子单元，用于将所述事件对应的数据与所述自动适配规则进行适配，先对规则目标进行适配，如适配成功，则调用与该规则目标相对应的适配规则树，再获取该适配规则树对应的规则槽位，对所述规则槽位中的事件响应进行分析，生成分析结果；
所述操作代码转译子单元，用于根据所述分析结果生成操作代码，并将所述操作代码转译为操作指令。
上述技术方案的有益效果为：采用本实施例提供的方案，通过采用规则树分析跨领域多业务资源的事件消息，能针对跨领域多业务资源多样多种数据，能够保证高的准确率，从而提高跨领域多业务资源自动适配的质量。
在一个实施例中，所述事件响应单元，包括事件请求绑定子单元、规则引擎触发子单元和事件请求响应子单元；
所述事件请求绑定子单元，用于将关联跨领域多业务资源操作的多个独立事件请求与预设的事件触发规则进行绑定，生成规则引擎；
所述规则引擎触发子单元，用于当接收的事件请求触发所述规则引擎时，调用相应的事件触发规则；
所述事件请求响应子单元，用于根据所述事件触发规则，对跨领域多业务资源的事件请求发出响应。
上述技术方案的工作原理为：规则引擎是一种嵌入在应用程序中的组件，实现了将业务决策从应用程序代码中分离出来，并使用预定义的语义模块编写业务决策；其作用是接受数据输入，解释业务规则，并根据规则做出业务决策；规则引擎可以在系统工作时，将外部的业务规则加载到系统中，并使得系统按照该业务规则进行工作；本实施例通过利用规则引擎实现数据到响应决策的转换；
所述事件响应单元，包括事件请求绑定子单元、规则引擎触发子单元和事件请求响应子单元；
所述事件请求绑定子单元，用于将关联跨领域多业务资源操作的多个独立事件请求与预设的事件触发规则进行绑定，生成规则引擎；
所述规则引擎触发子单元，用于当接收的事件请求触发所述规则引擎时，调用相应的事件触发规则；
所述事件请求响应子单元，用于根据所述事件触发规则，对跨领域多业务资源的事件请求发出响应。
上述技术方案的有益效果为：采用本实施例提供的方案，通过建立规则引擎实现事件请求到事件响应的转换，有助于消息更顺畅地传递。
在一个实施例中，所述事件生成单元包括事件可信度确定子单元，用于根据事件的规则可信度确定事件的可信度，若规则可信度大于预设的规则可信度阈值，则将所述事件确定为可信事件。
上述技术方案的工作原理为：可信度是对分类规则的一种综合评价标准，会考虑到该规则在不同权重的数据集中的覆盖度和置信度，以及该分类规则在近期新增数据集中的表现。数据权重代表了一个数据集的重要程度，在由历史数据获取的最初规则集，历史数据集的初始数据权重为1，数据权重为1的数据集则表示重要程度最高的数据集，但随着维护平台的不断工作，会有新的数据集产生，此时，开始数据集的权重会进行衰减；传统分类规则评价标准一般只包括覆盖度与置信度，这两个参数对规则进行评价会将所有的历史数据重要程度视为一致，有一定的局限性；本实施例考虑数据集权重的衰减，优化了规则的可信度，具体计算公式为：
Figure BDA0003631372160000111
其中P是规则可信度，f是数据集的总数量，γ是数据集的序列数，γ＝1，2，…,f,A代表规则数据集,Bγ代表第γ个数据集，Wγ表示第γ个数据集中的数据数量，Wμ是与第γ个数据集对应的新增加的数据集的数据数量，Qτ第一个数据集的权值；
通过预设规则可信度的阈值，当规则可信度P大于预设可信度阈值时，则将所述事件确定为可信事件，并发送该可信事件到消息构建单元。
上述技术方案的有益效果为：采用本实施例提供的方案，通过提出规则可信度，将数据集权值的衰减作为影响规则可信度准确性的因素进行考虑，可以有效地解决累计误差，提高规则可信度计算的精确性；同时通过设置规则可信度阈值，保证了可信事件选取的准确性。
在一个实施例中，所述跨领域多业务资源维护模块还包括跨领域多业务资源任务运行监测单元，用于监测跨领域多业务资源任务的运行；
所述跨领域多业务资源任务运行监测单元包括监测配置子单元、任务统计子单元和任务预警子单元：
所述监测配置子单元，用于对关联跨领域多业务资源任务运行的条件进行设置，设置的条件包括运行时限、运行过程、临界阈值；
所述任务统计子单元，用于统计分析跨领域多业务资源任务完成情况，区分时间、内容、效果类项进行统计，并在维护平台可视化界面上进行显示；
所述任务预警子单元，用于监测跨领域多业务资源任务运行情况，对出现异常的运行任务，及时发出预警，维护平台工作人员根据预警及时处置。
上述技术方案的工作原理为：维护平台需要设置利用维护工作人员操作的界面和功能，以帮助维护工作人员更好地展开工作；本实施例通过设置跨领域多业务资源任务运行监测单元，用于监测跨领域多业务资源任务的运行；
所述跨领域多业务资源任务运行监测单元包括监测配置子单元、任务统计子单元和任务预警子单元：
所述监测配置子单元，用于对关联跨领域多业务资源任务运行的条件进行设置，设置的条件包括运行时限、运行过程、临界阈值；
所述任务统计子单元，用于统计分析跨领域多业务资源任务完成情况，区分时间、内容、效果类项进行统计，并在维护平台可视化界面上进行显示；
所述任务预警子单元，用于监测跨领域多业务资源任务运行情况，对出现异常的运行任务，及时发出预警，维护平台工作人员根据预警及时处置。
上述技术方案的有益效果为：采用本实施例提供的方案，通过设置跨领域多业务资源任务运行监测单元，用于监测跨领域多业务资源任务的运行，可以帮助维护工作人员更好地操作平台并展开维护工作。
在一个实施例中，还包括数据导入导出管理模块，所述数据导入导出管理模块用于对跨领域多业务资源数据存储模块中的数据进行管理；所述数据导入导出管理模块包括权限控制单元、方式控制单元和传输控制单元；
所述权限控制单元，用于对数据导入进行权限验证，并对数据导出进行校验；
所述方式控制单元，用于采用预设方式导入导出数据；所述预设方式为超文本传输协议方式和文件型方式相结合的方式；
所述传输控制单元，用于通过生产者消费者模式消息队列方式进行数据传输。
上述技术方案的工作原理为：跨领域多业务资源数据存储模块中的数据用来为维护平台的运行提供数据来源，同时也要保证数据传输的可靠性，因此，有必要对跨领域多业务资源数据存储模块中的数据进行重点管理，包括权限控制单元、方式控制单元和传输控制单元；
所述权限控制单元，用于对数据导入进行权限验证，并对数据导出进行校验；
所述方式控制单元，用于采用预设方式导入导出数据；所述预设方式为超文本传输协议方式和文件型方式相结合的方式；
所述传输控制单元，用于通过生产者消费者模式消息队列方式进行数据传输。
上述技术方案的有益效果为：采用本实施例提供的方案，通过对跨领域多业务资源数据存储模块中的数据进行管理，可以提高数据的调用效率和读写能力，提高维护平台工作的效率。
在一个实施例中，还包括任务调配模块，用于对跨领域多业务资源进行任务调配；所述任务调配模块包括任务队列标记分类单元、任务队列监测分析单元和任务队列调整分配单元；
所述任务标记分类单元，用于根据跨领域多业务资源的任务特点和完成时限，按照预设的标记规则，将所述任务标记为重要紧急任务、重要非紧急任务、紧急非重要任务和非重要非紧急任务，并按照标记类型进行分类；
所述任务运行监测分析单元，用于监测分析正在运行的跨领域多业务资源任务占用平台资源情况，获得重要紧急任务对应的第一资源占用率、紧急非重要任务对应的第二资源占用率、重要非紧急任务对应的第三资源占用率和非重要非紧急任务对应的第四资源占用率；
根据所述第一资源占用率，判断得到该重要紧急任务所处任务节点可供紧急非重要任务运行的紧急非重要任务的第一资源可用率；
所述任务队列调整分配单元，用于接收到紧急重要任务、紧急非重要任务时，向任务节点发送调配指令；包括：
根据新接收的紧急重要任务请求，向第一资源占用率低的任务节点发送调配指令，将所述紧急重要任务分配给该任务节点；
根据新接收的紧急非重要任务请求，向所述第一资源可用率不小于第二资源占用率的任务节点发送调配指令，将所述紧急非重要任务分配给该任务节点；
当所有任务节点的第一资源可用率小于第二资源占用率时，向所述第一资源可用率不小于第三资源占用率的任务节点发送调配指令，将所述紧急非重要任务分配给该任务节点；
当所有任务节点的第一资源可用率小于第三资源占用率时，向所述第一资源可用率不小于第四资源占用率的任务节点发送调配指令，将所述紧急非重要任务分配给该任务节点；
当所有任务节点的第一资源可用率小于第四资源占用率时，将所述紧急非重要任务放入预先设置的等待队列中。
上述技术方案的工作原理为：对于本实施例中的维护平台，因有跨领域的多个业务资源在运行，各个业务资源任务运行过程中占用的平台资源呈现动态变化的状态，为了更大限度地发挥维护平台地工作效能，有必要对跨领域多业务资源任务运行情况进行调配，包括任务队列标记分类单元、任务队列监测分析单元和任务队列调整分配单元；
所述任务标记分类单元，用于根据跨领域多业务资源的任务特点和完成时限，按照预设的标记规则，将所述任务标记为重要紧急任务、重要非紧急任务、紧急非重要任务和非重要非紧急任务，并按照标记类型进行分类；
所述任务运行监测分析单元，用于监测分析正在运行的跨领域多业务资源任务占用平台资源情况，获得重要紧急任务对应的第一资源占用率、紧急非重要任务对应的第二资源占用率、重要非紧急任务对应的第三资源占用率和非重要非紧急任务对应的第四资源占用率；
根据所述第一资源占用率，判断得到该重要紧急任务所处任务节点可供紧急非重要任务运行的紧急非重要任务的第一资源可用率；
所述任务队列调整分配单元，用于接收到紧急重要任务、紧急非重要任务时，向任务节点发送调配指令；包括：
根据新接收的紧急重要任务请求，向第一资源占用率低的任务节点发送调配指令，将所述紧急重要任务分配给该任务节点；
根据新接收的紧急非重要任务请求，向所述第一资源可用率不小于第二资源占用率的任务节点发送调配指令，将所述紧急非重要任务分配给该任务节点；
当所有任务节点的第一资源可用率小于第二资源占用率时，向所述第一资源可用率不小于第三资源占用率的任务节点发送调配指令，将所述紧急非重要任务分配给该任务节点；
当所有任务节点的第一资源可用率小于第三资源占用率时，向所述第一资源可用率不小于第四资源占用率的任务节点发送调配指令，将所述紧急非重要任务分配给该任务节点；
当所有任务节点的第一资源可用率小于第四资源占用率时，将所述紧急非重要任务放入预先设置的等待队列中。
上述技术方案的有益效果为：采用本实施例提供的方案，通过对跨领域多业务资源任务运行情况进行调度，可以充分满足跨领域多业务资源的任务运行需求，在保证任务有效运行的基础上，提高维护平台的工作效能。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种跨领域多业务资源自动适配维护平台，其特征在于，包括：
跨领域多业务资源数据采集模块，用于采集跨领域多业务资源的数据，将该数据传输至跨领域多业务资源数据存储模块；
跨领域多业务资源数据存储模块，用于对跨领域多业务资源数据转换模块传输的数据进行存储管理；
跨领域多业务资源维护模块，用于根据所述跨领域多业务资源数据存储模块存储的数据，对跨领域多业务资源进行维护操作。
2.根据权利要求1所述的一种跨领域多业务资源自动适配维护平台，其特征在于，所述跨领域多业务资源数据采集模块，用于借助通信技术和网络技术，通过通信设备和传感器获取跨领域多业务资源数据，并对该数据进行预处理操作；
所述跨领域多业务资源数据采集模块包括数据抽取单元、数据清洗单元和数据转换单元；
所述数据抽取单元，用于对获取的跨领域多业务资源数据中的关键信息进行抽取；
所述数据清洗单元，用于对抽取后的跨领域多业务资源数据中的无效数据进行清洗过滤；
所述数据处理单元，用于对清洗过滤后的跨领域多业务资源数据进行归一化处理，生成统一格式的数据，并上传至跨领域多业务资源数据存储模块。
3.根据权利要求1所述的一种跨领域多业务资源自动适配维护平台，其特征在于，所述跨领域多业务资源数据存储模块包括基础文件存储单元、分布式列式存储单元、索引存储单元和关系存储单元；
所述基础文件存储单元，用于将超大数据文件和非结构化二进制数据存储在Hadoop分布式文件系统中；
所述分布式列式存储单元，用于将数据转换成列式格式存储在HBase集群中；
所述索引存储单元，用于将HBase集群中的复杂数据建立索引后，存储在弹性搜索数据库中；
所述关系存储单元，用于将关系型数据存储在MySQL数据库中。
4.根据权利要求1所述的一种跨领域多业务资源自动适配维护平台，其特征在于，所述跨领域多业务资源维护模块包括事件生成单元、事件处理单元、事件转换单元和维护执行单元；
所述事件生成单元，用于调用跨领域多业务资源数据存储模块存储的数据，将所述数据转换成带有预设的消息服务应用程序接口形式的事件；
所述事件响应单元，用于接收来自事件生成单元的事件，根据所述事件发出事件响应；
所述事件转换单元，用于根据所述事件响应，生成与所述事件响应相对应的操作指令；
所述维护执行单元，用于根据所述操作指令，对跨领域多业务资源进行维护操作。
5.根据权利要求4所述的一种跨领域多业务资源自动适配维护平台，其特征在于，所述跨领域多业务资源维护模块还包括指令生成单元，用于依托规则树分析所述事件响应，根据分析结果生成相对应的操作指令；
所述指令生成单元包括规则树构建子单元、规则树调用子单元和操作代码转译子单元；
所述规则树构建子单元，用于预先定义适配规则，根据所述适配规则构建适配规则树；所述适配规则包含规则目标和规则槽位；
所述规则树调用子单元，用于将所述事件对应的数据与所述自动适配规则进行适配，先对规则目标进行适配，如适配成功，则调用与该规则目标相对应的适配规则树，再获取该适配规则树对应的规则槽位，对所述规则槽位中的事件响应进行分析，生成分析结果；
所述操作代码转译子单元，用于根据所述分析结果生成操作代码，并将所述操作代码转译为操作指令。
6.根据权利要求4所述的一种跨领域多业务资源自动适配维护平台，其特征在于，所述事件响应单元，包括事件请求绑定子单元、规则引擎触发子单元和事件请求响应子单元；
所述事件请求绑定子单元，用于将关联跨领域多业务资源操作的多个独立事件请求与预设的事件触发规则进行绑定，生成规则引擎；
所述规则引擎触发子单元，用于当接收的事件请求触发所述规则引擎时，调用相应的事件触发规则；
所述事件请求响应子单元，用于根据所述事件触发规则，对跨领域多业务资源的事件请求发出响应。
7.根据权利要求4所述的一种跨领域多业务资源自动适配维护平台，其特征在于，所述事件生成单元包括事件可信度确定子单元，用于根据事件的规则可信度确定事件的可信度，若规则可信度大于预设的规则可信度阈值，则将所述事件确定为可信事件。
8.根据权利要求1所述的一种跨领域多业务资源自动适配维护平台，其特征在于，所述跨领域多业务资源维护模块还包括跨领域多业务资源任务运行监测单元，用于监测跨领域多业务资源任务的运行；
所述跨领域多业务资源任务运行监测单元包括监测配置子单元、任务统计子单元和任务预警子单元：
所述监测配置子单元，用于对关联跨领域多业务资源任务运行的条件进行设置，设置的条件包括运行时限、运行过程、临界阈值；
所述任务统计子单元，用于统计分析跨领域多业务资源任务完成情况，区分时间、内容、效果类项进行统计，并在维护平台可视化界面上进行显示；
所述任务预警子单元，用于监测跨领域多业务资源任务运行情况，对出现异常的运行任务，及时发出预警，维护平台的工作人员根据预警及时处置。
9.根据权利要求1所述的一种跨领域多业务资源自动适配维护平台，其特征在于，还包括数据导入导出管理模块，所述数据导入导出管理模块用于对跨领域多业务资源数据存储模块中的数据进行管理；所述数据导入导出管理模块包括权限控制单元、方式控制单元和传输控制单元；
所述权限控制单元，用于对数据导入进行权限验证，并对数据导出进行校验；
所述方式控制单元，用于采用预设方式导入导出数据；所述预设方式为超文本传输协议方式和文件型方式相结合的方式；
所述传输控制单元，用于通过生产者消费者模式消息队列方式进行数据传输。
10.根据权利要求1所述的一种跨领域多业务资源自动适配维护平台，其特征在于，还包括任务调配模块，用于对跨领域多业务资源进行任务调配；所述任务调配模块包括任务队列标记分类单元、任务队列监测分析单元和任务队列调整分配单元；
所述任务标记分类单元，用于根据跨领域多业务资源的任务特点和完成时限，按照预设的标记规则，将所述任务标记为重要紧急任务、重要非紧急任务、紧急非重要任务和非重要非紧急任务，并按照标记类型进行分类；
所述任务运行监测分析单元，用于监测分析正在运行的跨领域多业务资源任务占用平台资源情况，获得重要紧急任务对应的第一资源占用率、紧急非重要任务对应的第二资源占用率、重要非紧急任务对应的第三资源占用率和非重要非紧急任务对应的第四资源占用率；
根据所述第一资源占用率，判断得到该重要紧急任务所处任务节点可供紧急非重要任务运行的紧急非重要任务的第一资源可用率；
所述任务队列调整分配单元，用于接收到紧急重要任务、紧急非重要任务时，向任务节点发送调配指令；包括：
根据新接收的紧急重要任务请求，向第一资源占用率低的任务节点发送调配指令，将所述紧急重要任务分配给该任务节点；
根据新接收的紧急非重要任务请求，向所述第一资源可用率不小于第二资源占用率的任务节点发送调配指令，将所述紧急非重要任务分配给该任务节点；
当所有任务节点的第一资源可用率小于第二资源占用率时，向所述第一资源可用率不小于第三资源占用率的任务节点发送调配指令，将所述紧急非重要任务分配给该任务节点；
当所有任务节点的第一资源可用率小于第三资源占用率时，向所述第一资源可用率不小于第四资源占用率的任务节点发送调配指令，将所述紧急非重要任务分配给该任务节点；
当所有任务节点的第一资源可用率小于第四资源占用率时，将所述紧急非重要任务放入预先设置的等待队列中。
CN202210491859.1A 2022-05-07 2022-05-07 一种跨领域多业务资源自动适配维护平台 Pending CN114756376A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210491859.1A CN114756376A (zh) 2022-05-07 2022-05-07 一种跨领域多业务资源自动适配维护平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210491859.1A CN114756376A (zh) 2022-05-07 2022-05-07 一种跨领域多业务资源自动适配维护平台

Publications (1)

Publication Number Publication Date
CN114756376A true CN114756376A (zh) 2022-07-15

Family

ID=82334833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210491859.1A Pending CN114756376A (zh) 2022-05-07 2022-05-07 一种跨领域多业务资源自动适配维护平台

Country Status (1)

Country Link
CN (1) CN114756376A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132251A (zh) * 2023-10-26 2023-11-28 合肥工业大学 一种基于大数据的人力资源调度管理系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132251A (zh) * 2023-10-26 2023-11-28 合肥工业大学 一种基于大数据的人力资源调度管理系统及方法
CN117132251B (zh) * 2023-10-26 2024-01-26 合肥工业大学 一种基于大数据的人力资源调度管理系统及方法

Similar Documents

Publication Publication Date Title
US10560465B2 (en) Real time anomaly detection for data streams
CN108776934B (zh) 分布式数据计算方法、装置、计算机设备及可读存储介质
US11736412B1 (en) Systems and methods for multi-tier resource and subsystem orchestration and adaptation
CN110727512A (zh) 集群资源调度方法、装置、设备及储存介质
CN107040608A (zh) 一种数据处理方法及系统
US11711327B1 (en) Data derived user behavior modeling
CN110147470B (zh) 一种跨机房数据比对系统及方法
CN115836305A (zh) 用于分布式事件分类和路由的系统和方法
US11777949B2 (en) Dynamic user access control management
CN115543577B (zh) 基于协变量的Kubernetes资源调度优化方法、存储介质及设备
CN113407649A (zh) 数据仓库建模方法、装置、电子设备及存储介质
US11595320B1 (en) Multi-tier resource, subsystem, and load orchestration
CN111984495A (zh) 一种大数据监控方法、装置和存储介质
CN116070249B (zh) 资产数据智能监控管理系统及方法
CN114221908B (zh) 动态限流熔断处理方法、装置、计算机设备及存储介质
CN114756376A (zh) 一种跨领域多业务资源自动适配维护平台
CN114022711A (zh) 工业标识数据缓存处理方法及装置、介质及电子设备
CN116629802A (zh) 一种用于铁路港口站的大数据平台系统
CN111190790A (zh) 一种基于峰值预测的云计算集群监控方法及系统
US11838171B2 (en) Proactive network application problem log analyzer
CN113220545B (zh) 分派工单的方法、装置和电子设备
US10171442B2 (en) Predicting a need for and creating temporary access to a computer component in infrastructure information technology
CN114443293A (zh) 一种大数据平台的部署系统及方法
US11810206B2 (en) Solver-based media assignment for content moderation
US12028271B2 (en) Prioritizing messages for server processing based on monitoring and predicting server resource utilization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination