CN115686801A - 一种基于云计算的工业大数据处理系统 - Google Patents
一种基于云计算的工业大数据处理系统 Download PDFInfo
- Publication number
- CN115686801A CN115686801A CN202310000340.3A CN202310000340A CN115686801A CN 115686801 A CN115686801 A CN 115686801A CN 202310000340 A CN202310000340 A CN 202310000340A CN 115686801 A CN115686801 A CN 115686801A
- Authority
- CN
- China
- Prior art keywords
- job
- processed
- processing
- cloud
- industrial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009826 distribution Methods 0.000 claims abstract description 34
- 238000003860 storage Methods 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于云计算的工业大数据处理系统，涉及云计算作业调度技术领域，通过设置预配置模块预先在云服务器中配置工业数据处理相关的程序；设置云存储模块实时接收由工业厂商发送的待处理的数据、数据的基础信息以及处理作业信息；设置作业生成模块将云存储模块中，每一批次的工业数据生成对应的处理作业批次；设置云服务器信息收集模块实时收集云服务器的运算状态；设置作业分配模块在云服务器存在算力以及内存空间空余状态时，从待处理作业集合中选择若干待处理作业进行处理；保证了每个完整作业的流畅性以及分配均衡性。
Description
技术领域
本发明属于云计算领域，涉及作业分配技术，具体是一种基于云计算的工业大数据处理系统。
背景技术
由于工厂生产工业过程比较复杂，且入库时间不能反映业务增量，无法进行业务分区转换；面对海量和复杂的工业数据，往往需要用到云计算技术；对工业数据的处理一般称为作业；每项作业往往需要将数据经过多次处理；而由于工业数量处理任务数量同样庞大，每项作业的处理往往没有连续性；若保证每项作业处理的连续性，又将会导致其他作业的等待时间过长；
现有公开专利一种工业大数据处理系统及方法（CN109669975A），通过将每个执行服务器连接至相同或不同的数据源，所有执行服务器均连接至管理服务器。采用分布式、高可用的方式部署工业数据处理的整个过程，以确保系统的健壮性、数据的安全性和一致性；能够快速提升工业数据处理分析速度和精度，能够实现大量数据查询分析。
但并未公开如何合理的对处理任务综合考虑作业的流畅性以及分配均衡性；
为此，提出一种基于云计算的工业大数据处理系统。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于云计算的工业大数据处理系统，该一种基于云计算的工业大数据处理系统通过将每个工业厂商发送的待处理数据预先进行编号；则每一批待处理数据被处理的每一道流程均会生成一道待处理作业，为每道待处理作业进行编号；所有待处理作业均保存在待处理作业集合中；云服务器定时从待处理作业集合中选择待处理作业进行处理；本发明通过为每项待处理作业计算其处理优先级的方式进行选择；该处理优先级具有处理等待时长或与上一流程的时间距离越长，则处理优先级越高；而处理作业预估的算力大小、占用内存空间大小或运算时长越小，则处理优先级越大的特点；综合考虑了作业的流畅性以及分配的均衡性。
为实现上述目的，根据本发明的第一方面的实施例提出一种基于云计算的工业大数据处理系统，包括预配置模块、云存储模块、作业生成模块、云服务器信息收集模块以及作业分配模块；其中，各个模块之间通过电气和/或无线网络方式连接；
其中，所述预配置模块主要用于预先在云服务器中配置工业数据处理相关的程序；
所述预配置模块配置工业数据处理相关的程序包括以下步骤：
步骤S1：每个工业厂商在云计算平台上进行注册；
步骤S2：注册完成后，每个工业厂商向云计算平台提交处理工业数据的程序、流程以及数据量的范围；
步骤S3：云计算平台根据每个工业厂商提供的工业数据量的范围，为工业厂商配置相应数量的云服务器；并将工业厂商提供的程序安装在云服务器中；
所述云存储模块主要用于实时接收由工业厂商发送的待处理的数据、数据的基础信息以及处理作业信息；
所述云存储模块包括云服务器中配备的存储设备；工业厂商将待处理的工业数据以及数据基础信息通过无线网络方式发送至云计算平台；云计算平台将待处理数据以及数据基础信息发送至工业厂商对应的云服务器中的存储设备中进行存储；
其中，所述处理作业信息包括每项处理作业的作业编号、处理开始时间以及完成时间；
其中，所述作业生成模块主要用于将云存储模块中，每一批次的工业数据生成对应的处理作业批次；
所述作业生成模块生成处理作业批次包括以下步骤：
步骤P1：为每一批次的待处理数据分配一个唯一的作业数字序号；
步骤P2：云服务器启动处理流程中的对应顺序的处理程序，并将处理数据输入至该处理程序，生成待处理作业；
云服务器为待处理作业分配一个唯一的待处理作业编号，以及根据输入的数据量以及处理程序的处理速率，为待处理作业评估需要的算力大小、占用内存空间大小以及运算时间；
步骤P3：将新生成的处理作业发送至待处理作业集合中；所述待处理作业集合保存云服务器中所有待处理的作业；
步骤P4：对于已经处理完成的待处理作业，其生成的数据作为新的一批待处理数据，并重复步骤P2-步骤P3；
所述作业生成模块将待处理作业集合发送至作业分配模块；
其中，所述云服务器信息收集模块主要用于实时收集云服务器的运算状态；
所述云服务器的运算状态包括当前云服务器中正在处理的作业信息、云服务器剩余的算力以及云服务器剩余的内存空间；
所述云服务器信息收集模块将云服务器的实时运算状态发送至作业分配模块；
其中，所述作业分配模块主要用于在云服务器存在算力以及内存空间空余状态时，从待处理作业集合中选择综合作业流畅性以及分配均衡性的待处理作业进行处理；
所述作业分配模块从待处理作业集合中选择待处理作业包括以下步骤：
步骤Q1：所述作业分配模块预先根据实际经验设置分配周期T；即云服务器每隔时间周期T从待处理作业集合中选择待处理作业进行处理；
步骤Q2：每隔分配周期T，所述作业分配模块从待处理作业集合中筛选出符合空间条件的待处理作业；并将筛选出的待处理作业使用作业集合G保存；并将每项待处理作业使用g标记；
所述空间条件为待处理作业的预估需要的内存空间以及算力大小均小于当前云服务器所剩余的内存空间以及算力大小；
步骤Q3：对于作业集合G中的每项待处理作业g，从云存储模块中根据作业编号，获取该项待处理作业的上一流程的作业信息；将待处理作业g的上一流程的作业处理结束时间与当前时间的时长距离标记为Bg；
步骤Q4：对于作业集合G中的每项待处理作业g，计算每项待处理作业g的等待时长；并将处理作业g的等待时长标记为Wg；
步骤Q5：将每项待处理作业g的预估需要的内存空间标记为Mg、算力大小标记为Cg以及运算时长标记为Tg；
步骤Q6：对于作业集合G中的每项待处理作业g，计算处理作业g的处理优先级Kg；Kg的计算公式为：
；其中，a,b,c以及d均为根据实际经验预设的比例系数；
步骤Q7：从作业集合G选择处理优先级Kg最大的待处理作业进行处理。
与现有技术相比，本发明的有益效果是：
本发明通过将每个工业厂商发送的待处理数据预先进行编号；则每一批待处理数据被处理的每一道流程均会生成一道待处理作业，为每道待处理作业进行编号；所有待处理作业均保存在待处理作业集合中；云服务器定时从待处理作业集合中选择待处理作业进行处理；本发明通过为每项待处理作业计算其处理优先级的方式进行选择；该处理优先级具有处理等待时长或与上一流程的时间距离越长，则处理优先级越高；而处理作业预估的算力大小、占用内存空间大小或运算时长越小，则处理优先级越大的特点；综合考虑了作业的流畅性以及分配的均衡性。
附图说明
图1为本发明的原理图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1所示，一种基于云计算的工业大数据处理系统，包括预配置模块、云存储模块、作业生成模块、云服务器信息收集模块以及作业分配模块；其中，各个模块之间通过电气和/或无线网络方式连接；
由于工厂生产工业过程比较复杂，且入库时间不能反映业务增量，无法进行业务分区转换；面对海量和复杂的工业数据，往往需要用到云计算技术；对工业数据的处理一般称为作业；每项作业往往需要将数据经过多次处理；而由于工业数量处理任务数量同样庞大，每项作业的处理往往没有连续性；若保证每项作业处理的连续性，又将会导致其他作业的等待时间过长；
其中，所述预配置模块主要用于预先在云服务器中配置工业数据处理相关的程序；
可以理解的是，不同工业厂商所生成的工业数据，其处理所需要的软件、程序以及流程不尽相同，因此，需要在云服务器中的配置也不相同；
在一个优选的实施例中，所述预配置模块配置工业数据处理相关的程序包括以下步骤：
步骤S1：每个工业厂商在云计算平台上进行注册；
步骤S2：注册完成后，每个工业厂商向云计算平台提交处理工业数据的程序、流程以及数据量的范围；优选的，所述流程为将工业数据从原始数据转化为输出数据所需要的处理顺序；可以理解的是，在每个处理顺序中，工业数据所需要的处理程序有所不同；所述数据量的范围根据各个厂商历史实际产生的工业数据量而定；
步骤S3：云计算平台根据每个工业厂商提供的工业数据量的范围，为工业厂商配置相应数量的云服务器；并将工业厂商提供的程序安装在云服务器中；
所述云存储模块主要用于实时接收由工业厂商发送的待处理的数据、数据的基础信息以及处理作业信息；
在一个优选的实施例中，所述云存储模块包括云服务器中配备的存储设备；工业厂商将待处理的工业数据以及数据基础信息通过无线网络方式发送至云计算平台；云计算平台将待处理数据以及数据基础信息发送至工业厂商对应的云服务器中的存储设备中进行存储；优选的，所述数据基础信息包括工业数据量大小、本批次工业数据的处理流程；
其中，所述处理作业信息包括每项处理作业的作业编号、处理开始时间以及完成时间；
其中，所述作业生成模块主要用于将云存储模块中，每一批次的工业数据生成对应的处理作业批次；
在一个优选的实施例中，所述作业生成模块生成处理作业批次包括以下步骤：
步骤P1：为每一批次的待处理数据分配一个唯一的作业数字序号；所述作业数字序号用于区分每一个批次的待处理作业；作为一个示例：可以将作业数字序号使用时间戳以及数字编号的方式表达；显然在同一时间内，生成待处理数据作业的数量是有限的；使用时间戳以及数字编号的方式可唯一标志一个待处理作业；
步骤P2：云服务器启动处理流程中的对应顺序的处理程序，并将处理数据输入至该处理程序，生成待处理作业；
云服务器为待处理作业分配一个唯一的待处理作业编号，以及根据输入的数据量以及处理程序的处理速率，为待处理作业评估需要的算力大小、占用内存空间大小以及运算时间；优选的，所述待处理作业编号可以使用作业数字序号与当前流程顺序编号表达；
步骤P3：将新生成的处理作业发送至待处理作业集合中；所述待处理作业集合保存云服务器中所有待处理的作业；
步骤P4：对于已经处理完成的待处理作业，其生成的数据作为新的一批待处理数据，并重复步骤P2-步骤P3；
所述作业生成模块将待处理作业集合发送至作业分配模块；
其中，所述云服务器信息收集模块主要用于实时收集云服务器的运算状态；
在一个优选的实施例中，所述云服务器的运算状态包括当前云服务器中正在处理的作业信息、云服务器剩余的算力以及云服务器剩余的内存空间；优选的，所述正在处理的作业信息包括作业的编号、作业占用的内存空间大小、作业占用的算力大小以及作业预估的剩余处理时长等；
所述云服务器信息收集模块将云服务器的实时运算状态发送至作业分配模块；
其中，所述作业分配模块主要用于在云服务器存在算力以及内存空间空余状态时，从待处理作业集合中选择综合作业流畅性以及分配均衡性的待处理作业进行处理；
在一个优选的实施例中，所述作业分配模块从待处理作业集合中选择待处理作业包括以下步骤：
步骤Q1：所述作业分配模块预先根据实际经验设置分配周期T；即云服务器每隔时间周期T从待处理作业集合中选择待处理作业进行处理；
步骤Q2：每隔分配周期T，所述作业分配模块从待处理作业集合中筛选出符合空间条件的待处理作业；并将筛选出的待处理作业使用作业集合G保存；并将每项待处理作业使用g标记；
所述空间条件为待处理作业的预估需要的内存空间以及算力大小均小于当前云服务器所剩余的内存空间以及算力大小；
步骤Q3：对于作业集合G中的每项待处理作业g，从云存储模块中根据作业编号，获取该项待处理作业的上一流程的作业信息；将待处理作业g的上一流程的作业处理结束时间与当前时间的时长距离标记为Bg；优选的，将待处理作业为第一道流程的时长距离设置为0；
步骤Q4：对于作业集合G中的每项待处理作业g，计算每项待处理作业g的等待时长；并将处理作业g的等待时长标记为Wg；
步骤Q5：将每项待处理作业g的预估需要的内存空间标记为Mg、算力大小标记为Cg以及运算时长标记为Tg；
步骤Q6：对于作业集合G中的每项待处理作业g，计算处理作业g的处理优先级Kg；具体的，Kg的计算公式为：
；其中，a,b,c以及d均为根据实际经验预设的比例系数；
需要理解的是，在Kg的计算公式中，处理等待时长或与上一流程的时间距离越长，则Kg优先级越高；而处理作业预估的算力大小、占用内存空间大小或运算时长越小，则Kg越大；
步骤Q7：从作业集合G选择处理优先级Kg最大的待处理作业进行处理。
以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。
Claims (8)
1.一种基于云计算的工业大数据处理系统，其特征在于，包括预配置模块、云存储模块、作业生成模块、云服务器信息收集模块以及作业分配模块；其中，各个模块之间通过电气和/或无线网络方式连接；
所述预配置模块用于预先在云服务器中配置工业数据处理相关的程序；
所述云存储模块用于实时接收由工业厂商发送的待处理的数据、数据的基础信息以及处理作业信息；
所述作业生成模块用于将云存储模块中，每一批次的工业数据生成对应的处理作业批次；并将待处理作业集合发送至作业分配模块；
所述云服务器信息收集模块用于实时收集云服务器的运算状态；并将云服务器的实时运算状态发送至作业分配模块；
所述作业分配模块用于在云服务器存在算力以及内存空间空余状态时，从待处理作业集合中选择综合作业流畅性以及分配均衡性的待处理作业进行处理。
2.根据权利要求1所述的一种基于云计算的工业大数据处理系统，其特征在于，所述预配置模块配置工业数据处理相关的程序包括以下步骤：
每个工业厂商向云计算平台提交处理工业数据的程序、流程以及数据量的范围；
云计算平台根据每个工业厂商提供的工业数据量的范围，为工业厂商配置相应数量的云服务器；并将工业厂商提供的程序安装在云服务器中。
3.根据权利要求1所述的一种基于云计算的工业大数据处理系统，其特征在于，所述处理作业信息包括每项处理作业的作业编号、处理开始时间以及完成时间。
4.根据权利要求1所述的一种基于云计算的工业大数据处理系统，其特征在于，所述作业生成模块生成处理作业批次包括以下步骤：
P1：为每一批次的待处理数据分配一个唯一的作业数字序号；
P2：云服务器启动处理流程中的对应顺序的处理程序，并将处理数据输入至该处理程序，生成待处理作业；
云服务器为待处理作业分配一个唯一的待处理作业编号，以及根据输入的数据量以及处理程序的处理速率，为待处理作业评估需要的算力大小、占用内存空间大小以及运算时间；
P3：将新生成的处理作业发送至待处理作业集合中；
P4：对于已经处理完成的待处理作业，其生成的数据作为新的一批待处理数据，并重复步骤P2-步骤P3。
5.根据权利要求1所述的一种基于云计算的工业大数据处理系统，其特征在于，所述云服务器的运算状态包括当前云服务器中正在处理的作业信息、云服务器剩余的算力以及云服务器剩余的内存空间。
6.根据权利要求1所述的一种基于云计算的工业大数据处理系统，其特征在于，所述作业分配模块从待处理作业集合中选择待处理作业包括以下步骤：
步骤Q1：所述作业分配模块预先根据实际经验设置分配周期T；即云服务器每隔时间周期T从待处理作业集合中选择待处理作业进行处理；
步骤Q2：每隔分配周期T，所述作业分配模块从待处理作业集合中筛选出符合空间条件的待处理作业；并将筛选出的待处理作业使用作业集合G保存；并将每项待处理作业使用g标记；
步骤Q3：对于作业集合G中的每项待处理作业g，从云存储模块中根据作业编号，获取该项待处理作业的上一流程的作业信息；将待处理作业g的上一流程的作业处理结束时间与当前时间的时长距离标记为Bg；
步骤Q4：对于作业集合G中的每项待处理作业g，计算每项待处理作业g的等待时长；并将处理作业g的等待时长标记为Wg；
步骤Q5：将每项待处理作业g的预估需要的内存空间标记为Mg、算力大小标记为Cg以及运算时长标记为Tg；
步骤Q6：对于作业集合G中的每项待处理作业g，计算处理作业g的处理优先级Kg；
步骤Q7：从作业集合G选择处理优先级Kg最大的待处理作业进行处理。
7.根据权利要求6所述的一种基于云计算的工业大数据处理系统，其特征在于，所述空间条件为待处理作业的预估需要的内存空间以及算力大小均小于当前云服务器所剩余的内存空间以及算力大小。
8.根据权利要求6所述的一种基于云计算的工业大数据处理系统，其特征在于，所述处理优先级Kg的计算公式为
；其中，a,b,c以及d均为根据实际经验预设的比例系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310000340.3A CN115686801A (zh) | 2023-01-03 | 2023-01-03 | 一种基于云计算的工业大数据处理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310000340.3A CN115686801A (zh) | 2023-01-03 | 2023-01-03 | 一种基于云计算的工业大数据处理系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115686801A true CN115686801A (zh) | 2023-02-03 |
Family
ID=85057106
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310000340.3A Pending CN115686801A (zh) | 2023-01-03 | 2023-01-03 | 一种基于云计算的工业大数据处理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115686801A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112650578A (zh) * | 2019-10-12 | 2021-04-13 | 阿里巴巴集团控股有限公司 | 数据处理方法、调度平台、视频存储平台和视频处理引擎 |
| CN114780253A (zh) * | 2022-06-15 | 2022-07-22 | 广东省信息工程有限公司 | 一种大数据智能分析系统 |
-
2023
- 2023-01-03 CN CN202310000340.3A patent/CN115686801A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112650578A (zh) * | 2019-10-12 | 2021-04-13 | 阿里巴巴集团控股有限公司 | 数据处理方法、调度平台、视频存储平台和视频处理引擎 |
| CN114780253A (zh) * | 2022-06-15 | 2022-07-22 | 广东省信息工程有限公司 | 一种大数据智能分析系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101986278B (zh) | 一种电子类设备的自动测试方法及系统 | |
| CN104583886A (zh) | 生产线的管理方法及管理系统 | |
| EP3324256B1 (en) | Control system and control device | |
| TW201931228A (zh) | 機台自動化管理系統及其方法 | |
| CN115204597A (zh) | 产线的调整方法、装置、电子设备及计算机可读存储介质 | |
| CN110324203B (zh) | 一种多通道高精度网络流量生成装置 | |
| CN112148732A (zh) | 结合rpa和ai的智能电网电子化移交单监控方法和装置 | |
| CN111769979A (zh) | 一种云资源编排方法、系统、终端及存储介质 | |
| CN111158800A (zh) | 基于映射关系构建任务dag的方法及装置 | |
| CN111582629B (zh) | 资源调度方法、装置、设备和存储介质 | |
| CN115686801A (zh) | 一种基于云计算的工业大数据处理系统 | |
| CN112633850A (zh) | 通过管理调用及监控rpa机器人实现业务流程自动化的方法 | |
| CN115600857A (zh) | 一种数字化产品智能制造方法、系统、计算机及存储介质 | |
| CN111124629B (zh) | 一种带结果收集的多趟调度模型的求解方法及系统 | |
| CN112364001A (zh) | 多维空间大数据的清洗方法、装置、计算机设备及介质 | |
| CN111949246A (zh) | 新能源电力行业应用的创建方法及装置 | |
| CN111679899A (zh) | 任务调度方法、装置、平台设备及存储介质 | |
| Hu et al. | Translating overall production goals into distributed flow control parameters for semiconductor manufacturing | |
| CN116029799B (zh) | 基于智能化决策的微服务架构管理平台 | |
| CN116484591B (zh) | 选煤厂全流程数字化工程设计的模型构建方法及系统 | |
| CN117057452B (zh) | 一种局限条件下的工单调度优化方法及系统 | |
| CN115239216B (zh) | 生产资源的预防性计划保养方法、装置、设备及存储介质 | |
| CN117057538B (zh) | 一种基于模型的门店维修人员调度方法及系统 | |
| CN116485154B (zh) | 一种生产排程自动管理方法、系统、电子设备及存储介质 | |
| Guo | Applications of the Internet of Things Technology in Advanced Planning Systems. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230203 |