CN117435582B - 一种捕获和处理erp临时数据的方法和装置 - Google Patents
一种捕获和处理erp临时数据的方法和装置 Download PDFInfo
- Publication number
- CN117435582B CN117435582B CN202311314517.3A CN202311314517A CN117435582B CN 117435582 B CN117435582 B CN 117435582B CN 202311314517 A CN202311314517 A CN 202311314517A CN 117435582 B CN117435582 B CN 117435582B
- Authority
- CN
- China
- Prior art keywords
- data
- time
- business
- layer
- erp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 100
- 238000012545 processing Methods 0.000 title claims abstract description 72
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 238000013136 deep learning model Methods 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000006243 chemical reaction Methods 0.000 claims abstract description 11
- 238000004140 cleaning Methods 0.000 claims abstract description 10
- 230000000694 effects Effects 0.000 claims description 147
- 239000013598 vector Substances 0.000 claims description 57
- 230000008569 process Effects 0.000 claims description 47
- 230000006870 function Effects 0.000 claims description 32
- 230000004913 activation Effects 0.000 claims description 30
- 238000004458 analytical method Methods 0.000 claims description 29
- 230000000737 periodic effect Effects 0.000 claims description 26
- 230000002776 aggregation Effects 0.000 claims description 25
- 238000004220 aggregation Methods 0.000 claims description 25
- 230000002159 abnormal effect Effects 0.000 claims description 21
- 230000007774 longterm Effects 0.000 claims description 21
- 230000007246 mechanism Effects 0.000 claims description 21
- 238000010586 diagram Methods 0.000 claims description 17
- 230000003044 adaptive effect Effects 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 12
- 238000012800 visualization Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000007405 data analysis Methods 0.000 claims description 11
- 238000005516 engineering process Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 7
- 230000004931 aggregating effect Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 230000001960 triggered effect Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 238000004148 unit process Methods 0.000 claims description 4
- 238000012300 Sequence Analysis Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 description 9
- 230000002123 temporal effect Effects 0.000 description 9
- 238000007726 management method Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 239000000306 component Substances 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 239000002994 raw material Substances 0.000 description 6
- 238000012731 temporal analysis Methods 0.000 description 6
- 238000000700 time series analysis Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 238000007619 statistical method Methods 0.000 description 5
- 229910052802 copper Inorganic materials 0.000 description 4
- 239000010949 copper Substances 0.000 description 4
- 230000008676 import Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000003442 weekly effect Effects 0.000 description 4
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000003064 k means clustering Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000013439 planning Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000001737 promoting effect Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000008358 core component Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000006116 polymerization reaction Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000005295 random walk Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 150000001879 copper Chemical class 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 210000002364 input neuron Anatomy 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004579 scanning voltage microscopy Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000013068 supply chain management Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
- G06F16/244—Grouping and aggregation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种捕获和处理ERP临时数据的方法及装置。该方法利用深度学习模型实时解析ERP系统的操作模式和业务逻辑,从中捕捉与特定业务操作相关的临时数据流。接着,通过应用特定的特征提取算法,从临时数据流中提取关键特征和模式,进而生成特征数据集。为确保数据的准确性和完整性,该方法考虑数据的时间、来源和业务逻辑对特征数据集进行聚合,形成聚合数据集。基于聚合数据集,构建描述数据间关系的数据关系图。最后,根据实时数据特性和业务需求,进行数据清洗、去噪和格式转换,以获得经优化的数据,从而实现对ERP临时数据的高效和准确处理。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及一种捕获和处理ERP临时数据的方法和装置。
背景技术
企业资源规划(ERP)系统作为企业管理的核心,日常为各种业务流程提供支持。在众多的业务操作中,ERP系统会产生大量的临时数据流。这些临时数据流包含了丰富的业务信息,对于企业运营管理、业务优化和决策支持都有着至关重要的作用。然而,由于ERP临时数据的体量大、更新快且复杂性高,传统的数据处理方法难以快速、准确地提取出其中的关键信息和模式,这导致了大量有价值的数据资源得不到充分利用。
此外,临时数据流往往包含各种噪声和冗余信息,这增加了数据处理的难度。而对于企业来说,为了确保业务的高效和稳定运行,对这些数据的快速、准确处理是非常关键的。单纯依赖传统的数据处理方法,不仅效率低下,而且可能导致信息的遗漏或误解,从而影响企业的决策和运营。
因此,急需一种能够有效捕获和处理ERP临时数据的方法及装置,既能实时解析ERP系统的操作模式和业务逻辑,又能准确地提取出数据中的关键特征和模式,为企业提供有价值的洞察和决策支持。
发明内容
本申请提供一种捕获和处理ERP临时数据的方法及装置,以提高捕获和处理ERP临时数据的效率和准确性。
本申请提供一种捕获和处理ERP临时数据的方法,包括:
通过深度学习模型,实时解析ERP系统的操作模式和业务逻辑,捕捉与特定业务操作相关的临时数据流;
应用特定的特征提取算法,从所述临时数据流中提取出关键特征和模式,获得特征数据集;
根据数据的时间、来源和业务逻辑,对所述特征数据集进行聚合,生成聚合数据集;
利用所述聚合数据集,构建一个描述数据间关系的数据关系图;
根据数据的实时特性和业务需求,对所述数据关系图进行数据清洗、去噪和格式转换,获得优化后的数据;
其中,所述深度学习模型包括:
自适应时间嵌入层,用于动态地将连续的时间戳转化为有意义的、周期性的时间嵌入,并提供时间上下文信息;
业务逻辑编码层,采用自编码器结构,用于提取ERP数据中的关键业务逻辑特征;
注意力机制层,设计有专门的注意力机制,使模型能够关注与当前操作最相关的历史数据和业务逻辑;
所述自适应时间嵌入层,包括嵌入调整单元、非线性时间变换器和上下文感知单元;
所述嵌入调整单元用于接收输入层提供的向量,输出一个权重调整因子;所述嵌入调整单元首先使用全连接层处理输入层提供的当前时间戳及其前N个时间戳组成的向量,捕捉时间戳之间的潜在关系;使用Batch Normalization层对捕获的时间戳之间的潜在关系进行标准化处理,获得标准化处理后数据;使用全连接层对于标准化处理后数据进行处理,生成一个权重调整因子;
所述非线性时间变换器,用于接收来自嵌入调整单元的权重调整因子和来自输入层的连续时间戳,获得一个时间嵌入;所述非线性时间变换器首先执行归一化操作将输入层提供的连续时间戳映射到介于0和1之间的连续值;然后通过双曲正切函数对于映射到介于0和1之间的连续值进行处理,获得增加了表达能力的时间信息;最后结合嵌入调整单元输出的权重调整因子,对增加了表达能力的时间信息进行加权调整,获得具有丰富表达能力的时间嵌入;
所述上下文感知单元,用于接收非线性时间变换器输出的时间嵌入,获得时间上下文信息;所述上下文感知单元首先使用一维卷积对非线性时间变换器输出的时间嵌入进行处理,捕获相邻时间点之间的短期依赖关系,所述一维卷积使用64个滤波器,滤波器的大小为3;进而,第一门控循环单元层对于相邻时间点之间的短期依赖关系进行处理,捕获序列数据中的第一长期依赖关系,所述第一门控循环单元层包括128个门控循环单元;第二门控循环单元层对于所述第一长期依赖关系进行处理,获得第二长期依赖关系,所述第二门控循环单元层包括128个门控循环单元;最后,所述上下文感知单元的全连接层对于所述第二长期依赖关系进行处理,获得时间上下文信息,所述上下文感知单元的全连接层使用双曲正切函数作为激活函数。
更进一步地,所述应用特定的特征提取算法,从所述临时数据流中提取出关键特征和模式,获得特征数据集,包括:
使用傅里叶变换分析所述临时数据流,识别出所述临时数据流中的周期性模式,并为识别出的周期性模式分配权重指标;
根据所述权重指标,为所述临时数据流构造特征向量,该特征向量展现了临时数据流中业务活动的周期特性,进而生成特征数据集。
更进一步地,所述根据数据的时间、来源和业务逻辑,对所述特征数据集进行动态聚合,生成聚合数据集,包括:
使用时间序列分析方法,对所述特征数据集进行分析,以确定该数据集中业务活动的变化频率;
根据所述变化频率,确定数据聚合的时间窗口;
结合外部日历和事件数据库,对确定的时间窗口进行进一步的调整;
根据调整后的时间窗口,对特征数据集进行聚合操作,以生成聚合数据集。
更进一步地,所述利用所述聚合数据集,构建一个描述数据间关系的数据关系图,包括:
根据聚合数据集中的业务活动和其相关性,识别各种业务活动关系模式,并为每种关系模式分配一个唯一标识符;
利用图嵌入技术,为聚合数据集中的业务活动在数据关系图中分配位置,确保相互关联的业务活动根据其关系模式的唯一标识符进行聚集;
应用图神经网络技术,根据关系模式的唯一标识符,优化数据关系图的结构和连接,以更准确地反映业务活动之间的实际关系;
在数据关系图中利用颜色、大小或其他可视化元素,根据关系模式的唯一标识符突出显示关键的业务活动关系,从而为用户提供更直观的洞察。
更进一步地,所述的捕获和处理ERP临时数据的方法,还包括:
使用优化后的数据,对业务数据进行分类;
根据分类结果,为每个业务分类生成一个专属的报表模板,该报表模板中包含了该类业务的关键指标和数据分析方法;
利用所述数据关系图,自动填充所述报表模板中的数据,确保报表中的数据能够真实反映业务活动的关联性和依赖性。
更进一步地,所述的捕获和处理ERP临时数据的方法,还包括:
根据优化后的数据,分析并确定可以自动化的业务活动;
根据所述可以自动化的业务活动,设计一个自动化工作流程,其中包括了业务活动的触发条件、执行条件以及后续操作;
利用所述数据关系图,将所述自动化工作流程与其他相关的业务流程连接起来,形成一个完整的业务流程链;
在ERP系统中部署该自动化工作流程,确保当满足特定条件时,工作流程能够自动触发并执行。
更进一步地,所述的捕获和处理ERP临时数据的方法,还包括:
利用优化后的数据,定义业务活动的正常模式和异常模式;
当检测到异常模式时,进行原因分析,获得分析结果;
根据分析结果,生成建议的解决方案,并将这些方案以通知的形式发送给相关的业务部门。
本申请提供一种捕获和处理ERP临时数据的装置,包括:
捕获单元,用于通过深度学习模型,实时解析ERP系统的操作模式和业务逻辑,捕捉与特定业务操作相关的临时数据流;
提取单元,用于应用特定的特征提取算法,从所述临时数据流中提取出关键特征和模式,获得特征数据集;
聚合单元,用于根据数据的时间、来源和业务逻辑,对所述特征数据集进行聚合,生成聚合数据集;
构建单元,用于利用所述聚合数据集,构建一个描述数据间关系的数据关系图;
获得单元,用于根据数据的实时特性和业务需求,对所述数据关系图进行数据清洗、去噪和格式转换,获得优化后的数据;
其中,所述深度学习模型包括:
自适应时间嵌入层,用于动态地将连续的时间戳转化为有意义的、周期性的时间嵌入,并提供时间上下文信息;
业务逻辑编码层,采用自编码器结构,用于提取ERP数据中的关键业务逻辑特征;
注意力机制层,设计有专门的注意力机制,使模型能够关注与当前操作最相关的历史数据和业务逻辑;
所述自适应时间嵌入层,包括嵌入调整单元、非线性时间变换器和上下文感知单元;
所述嵌入调整单元用于接收输入层提供的向量,输出一个权重调整因子;所述嵌入调整单元首先使用全连接层处理输入层提供的当前时间戳及其前N个时间戳组成的向量,捕捉时间戳之间的潜在关系;使用Batch Normalization层对捕获的时间戳之间的潜在关系进行标准化处理,获得标准化处理后数据;使用全连接层对于标准化处理后数据进行处理,生成一个权重调整因子;
所述非线性时间变换器,用于接收来自嵌入调整单元的权重调整因子和来自输入层的连续时间戳,获得一个时间嵌入;所述非线性时间变换器首先执行归一化操作将输入层提供的连续时间戳映射到介于0和1之间的连续值;然后通过双曲正切函数对于映射到介于0和1之间的连续值进行处理,获得增加了表达能力的时间信息;最后结合嵌入调整单元输出的权重调整因子,对增加了表达能力的时间信息进行加权调整,获得具有丰富表达能力的时间嵌入;
所述上下文感知单元,用于接收非线性时间变换器输出的时间嵌入,获得时间上下文信息;所述上下文感知单元首先使用一维卷积对非线性时间变换器输出的时间嵌入进行处理,捕获相邻时间点之间的短期依赖关系,所述一维卷积使用64个滤波器,滤波器的大小为3;进而,第一门控循环单元层对于相邻时间点之间的短期依赖关系进行处理,捕获序列数据中的第一长期依赖关系,所述第一门控循环单元层包括128个门控循环单元;第二门控循环单元层对于所述第一长期依赖关系进行处理,获得第二长期依赖关系,所述第二门控循环单元层包括128个门控循环单元;最后,所述上下文感知单元的全连接层对于所述第二长期依赖关系进行处理,获得时间上下文信息,所述上下文感知单元的全连接层使用双曲正切函数作为激活函数。
本申请带来的有益效果包括:通过采用深度学习模型实时解析ERP系统的操作模式和业务逻辑,不仅能够有效地捕获与特定业务操作相关的临时数据流,还能准确地从这些数据流中提取关键的特征和模式;通过对这些特征数据集进行精确的聚合和构建数据关系图,进一步实现了对数据的深度分析和可视化。此外,通过对数据关系图进行数据清洗、去噪和格式转换,确保了数据的高质量和实用性,为企业提供了更加直观和准确的业务洞察,从而帮助企业做出更加明智的决策,提高业务效率和准确性。
附图说明
图1是本申请第一实施例提供的一种捕获和处理ERP临时数据的方法的流程图。
图2是本申请第一实施例涉及的深度学习模型的示意图。
图3是本申请第一实施例涉及的自适应时间嵌入层的示意图。
图4是本申请第二实施例提供的一种捕获和处理ERP临时数据的装置的示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。
本申请第一实施例提供一种捕获和处理ERP临时数据的方法。请参看图1,该图为本申请第一实施例的示意图。以下结合图1对本申请第一实施例提供一种捕获和处理ERP临时数据的方法进行详细说明。
S101:通过深度学习模型,实时解析ERP系统的操作模式和业务逻辑,捕捉与特定业务操作相关的临时数据流。
在该步骤中,采用了深度学习模型来实时解析ERP系统中的数据。深度学习模型,作为一种具有多层神经网络结构的计算模型,能够自动地从数据中学习复杂的特征和模式。
该模型被设计为实时地处理ERP系统中产生的数据流,使其能够快速响应并准确捕捉与特定业务操作相关的信息。在此上下文中,“实时”意味着模型在接收到ERP数据的同时立即进行处理,确保数据的时效性。
为了实现这一目的,模型首先解析ERP系统的“操作模式”,即用户在系统中执行的具体操作序列,如订单输入、库存查询等。这些操作模式为模型提供了关于用户如何与ERP系统互动的直观信息。
接下来,模型进一步解析ERP系统的“业务逻辑”。业务逻辑是ERP系统中用于处理各种业务流程的核心规则和流程,如订单处理流程、库存管理规则等。通过解析这些业务逻辑,模型能够理解ERP数据的深层含义,并据此捕捉与特定业务操作相关的关键信息。
经过该步骤,所述深度学习模型将成功地捕捉与特定业务操作相关的ERP临时数据流,为后续的数据处理和分析步骤提供了必要的输入。
本实施例提供了名称为ERP-FlowNet的深度学习模型,用于实施该步骤。ERP-FlowNet是一个专门为处理ERP系统数据而设计的深度学习模型。其独特之处在于可以实时处理连续的ERP数据流,同时有效地捕捉其中的时间序列特点和业务逻辑。
下面结合图2对于ERP-FlowNet模型的结构以及工作流程进行说明。
输入层201:该层负责接收ERP系统产生的连续数据流。具体来说,这些数据流可能包含如下信息:
业务操作标识
数据修改时间戳
操作员信息等。
输入层201可以使用标准的输入神经元实现。
自适应时间嵌入层202:与传统的时间序列处理方法不同,ERP-FlowNet中的时间嵌入层采用了一种独特的网络结构,该结构能够自适应地捕捉ERP数据中的时间模式。
该层并不完全依赖于常见的RNN或LSTM结构。相反,它采用一种能够动态调整时间嵌入策略的网络结构,从而更准确地捕捉ERP数据中的周期性业务模式。
该层的主要任务是将连续的时间戳信息转化为有意义的时间嵌入,如日常、周常或月常的业务模式,并为后续的业务逻辑编码提供时间上下文信息。
如图3所示,自适应时间嵌入层202包括嵌入调整单元(EAU)301,非线性时间变换器(NTT)302和上下文感知单元(CAU)303。嵌入调整单元301用于动态调整时间嵌入的权重。非线性时间变换器302用于将连续时间戳转化为周期性嵌入。上下文感知单元303用于捕捉长期和短期的时间依赖。
嵌入调整单元301专门设计用于处理时间信息,它的主要任务是接收来自于输入层201提供的当前的时间戳以及其前N个时间戳,并将这些时间戳组织成一个连续的向量。为了确保此向量能够提供有意义的时间上下文,嵌入调整单元301采用了一系列先进的处理步骤。
首先,输入向量被传递到一个全连接层,该层具有专门的权重和偏置,能够捕捉输入向量中时间戳之间的潜在关系。这一步确保了时间信息的细节能够被完整地捕获。
接下来,为了提高模型的稳定性并加快训练速度,添加了Batch Normalization层。这一层可以对输入向量进行标准化处理,使其分布均匀,有助于网络更快地收敛。
在进行标准化处理后,数据流经一个ReLU激活函数,这是一个非线性函数,它可以增强模型的表达能力,使得模型能够学习到更为复杂的时间模式。
最后,嵌入调整单元301的输出层是设计用来返回权重调整因子的。这个权重调整因子的目的是动态地调整时间嵌入的权重,使其在后续的处理中更为合适。为了确保这些权重调整因子在合理的范围内,使用了Sigmoid激活函数,这确保了输出值始终位于0到1之间,这对于权重调整是非常关键的,因为它可以确保在后续的处理中,时间信息被适当地放大或缩小。
非线性时间变换器302是为了处理和转换连续时间戳而设计的关键组件。当它接收到来自于输入层201提供的一个连续时间戳作为输入时,它首先执行一个归一化操作,将该时间戳映射到一个介于0和1之间的连续值上。以日常时间为例,该映射操作将一天中的任意时间点转化为一个相对值:午夜对应于0,而随后的次日午夜则对应于1。这种归一化处理简化了时间信息,使其更容易与其他系统或模块进行交互。
接下来,为了捕获时间的非线性特性并增加其表达能力,非线性时间变换器302采用了双曲正切函数(tanh)。tanh函数可以将其输入映射到-1到1的范围内,这有助于突出时间信息中的关键模式和特征。
最后,结合嵌入调整单元(EAU)输出的权重调整因子,非线性时间变换器302可以对归一化并经过非线性变换的时间信息进行进一步的加权调整。这样,非线性时间变换器302输出的最终时间嵌入不仅反映了原始时间戳的基本信息,而且还结合了其他上下文信息,以提供一个更丰富、更有表达力的时间表示。
上下文感知单元303是专门设计来捕获时间数据中的依赖关系,无论这些关系是短期的还是长期的。
上下文感知单元303的输入为调整后的时间嵌入。具体而言,经过非线性时间变换器和嵌入调整单元处理后的时间嵌入值被送入上下文感知单元303进行进一步的处理。
上下文感知单元首先使用一维卷积层来捕捉时间数据中的短期依赖关系。通过采用不同大小的卷积核,这一层可以识别和捕获各种长度的时间模式,从而获取临近时间点间的关联性。
卷积层的输出接下来被送入GRU层。GRU是一种特殊的循环神经网络结构,特别适合捕获时间序列数据中的长期依赖关系。这确保了模型不仅仅考虑近期的时间数据,还考虑过去较长时间段的信息。
为了增加模型的复杂度并捕获更多的时间模式,可以使用多个GRU层进行堆叠。这种多层结构可以进一步提高模型的深度和学习能力。
上下文感知单元303的输出为时间上下文信息。经过上下文感知单元303的所有处理步骤后,最终的输出层返回一个表示时间上下文的向量。为了确保输出值的范围和非线性特性,可以采用Sigmoid或tanh作为激活函数。
这种综合考虑短期和长期时间依赖关系的方法,使上下文感知单元303能够为后续的数据处理和分析提供丰富的时间上下文信息。
以下是针对自适应时间嵌入层202的三个核心组件,使用Python和TensorFlow的示例性代码。
import tensorflow as tf
# EAU定义
def embedding_adjustment_unit(inputs):
x = tf.keras.layers.Dense(64, activation='relu')(inputs)
x = tf.keras.layers.BatchNormalization()(x)
weights = tf.keras.layers.Dense(1, activation='sigmoid')(x)
return weights
# NTT定义
def non_linear_time_transformer(timestamps, weights):
normalized_time = timestamps / max(timestamps)
time_embedding = tf.math.tanh(normalized_time)
adjusted_embedding = time_embedding * weights
return adjusted_embedding
# CAU定义
def context_aware_unit(embeddings):
x = tf.keras.layers.Conv1D(64, 3, activation='relu')(embeddings)
x = tf.keras.layers.GRU(128, return_sequences=True)(x)
x = tf.keras.layers.GRU(128)(x)
context_info = tf.keras.layers.Dense(1, activation='tanh')(x)
return context_info
这三个核心组件是相互串联的。在ERP-FlowNet的自适应时间嵌入层中,数据首先流经嵌入调整单元 301,然后,使用该单元的输出权重调整因子与原始时间戳结合在非线性时间变换器302中进行处理。最后,经过非线性时间变换器302处理的时间嵌入数据流向上下文感知单元303,在此处进一步捕捉时间的上下文信息。
具体而言,嵌入调整单元301首先接收连续时间戳作为输入,并输出一个权重调整因子。非线性时间变换器302接收EAU的权重调整因子和原始连续时间戳作为输入,进行非线性时间变换,并输出调整后的时间嵌入。上下文感知单元303:接收非线性时间变换器302的调整后的时间嵌入作为输入,并进一步提取时间上下文信息。
这三个组件相互串联,形成了一个完整的流水线,将原始的连续时间戳转化为具有上下文信息的时间嵌入,为ERP-FlowNet模型的后续处理提供了有价值的时间特征。
下面对于该自适应嵌入层的应用进行举例说明。
考虑一个典型的企业资源规划(ERP)系统,这个系统主要负责处理公司的日常运营任务,如订单处理、库存管理和财务报告等。在实际的业务流程中,可能会观察到,每天上午9点,员工开始上班并开始处理订单,而下午5点,员工结束工作前会进行最后的数据同步。因此,这两个时间点在ERP系统中的数据活动会显著增加,形成两个明显的数据流量峰值。
在这种业务场景中,嵌入调整单元首先会接收连续时间戳作为输入。通过对输入数据的分析,嵌入调整单元检测到每天上午9点和下午5点的数据流量异常增加。因此,它会输出一个权重调整因子,这个因子会增大这两个时间点的权重,使得模型在处理数据时更加关注这两个时间点。
接下来,非线性时间变换器会接收到嵌入调整单元输出的权重调整因子和原始的连续时间戳。非线性时间变换器的任务是将这些连续时间戳转化为有意义的时间嵌入。在这个例子中,非线性时间变换器可能会将时间戳转化为日常的业务模式嵌入,这样,上午9点和下午5点的数据流量峰值会被明确地表示出来。
最后,上下文感知单元会进一步处理非线性时间变换器的输出。它的任务是确保这些时间嵌入不仅仅代表单独的时间点,而是能够捕捉到与其他时间点的相对关系。例如,上午9点的数据流量峰值可能与上午8点的数据准备活动有关,而下午5点的峰值可能与下午4点的报告生成活动有关。上下文感知单元会确保这些相对关系在最终的时间嵌入中得到恰当的表示。
可见,通过这三个组件的联合作用,自适应时间嵌入层能够为ERP-FlowNet模型提供丰富、有意义的时间特征,从而帮助模型更准确地捕捉和解析ERP系统中的临时数据流。
业务逻辑编码层203:
在复杂的ERP系统中,数据往往包含大量的信息和隐藏的业务逻辑。为了能够从这些数据中提取关键的业务逻辑特征,本实施例采用了自编码器结构。自编码器是一种无监督的神经网络模型,它能够学习如何有效地表示输入数据。
自编码器由两个主要部分组成:编码器和解码器。
编码器的任务是将输入数据压缩到一个较小的特征集上。这些特征集捕获了数据中的主要模式和结构。
解码器用于从编码器生成的特征集中重建原始数据。这有助于确保编码的特征确实包含了原始数据的关键信息。
在ERP数据的场景中,业务逻辑编码层203的主要目标是自动提取关键的业务逻辑特征。这些特征为模型提供了有关ERP系统内部工作方式的深入洞察,从而为进一步的数据分析和决策提供支持。
以下是该层的示例性代码,使用Python和TensorFlow实现:
import tensorflow as tf
# 编码器定义
def encoder(inputs):
# 第一层有128个神经元,使用ReLU激活函数
x = tf.keras.layers.Dense(128, activation='relu')(inputs)
# 第二层有64个神经元,也使用ReLU激活函数
x = tf.keras.layers.Dense(64, activation='relu')(x)
# 编码后的特征集,包含32个神经元
encoded = tf.keras.layers.Dense(32, activation='relu')(x)
return encoded
# 解码器定义
def decoder(encoded):
# 第一层有64个神经元,使用ReLU激活函数
x = tf.keras.layers.Dense(64, activation='relu')(encoded)
# 第二层有128个神经元,也使用ReLU激活函数
x = tf.keras.layers.Dense(128, activation='relu')(x)
# 重建数据,使用sigmoid激活函数确保输出值在0到1之间
decoded = tf.keras.layers.Dense(inputs.shape[1], activation='sigmoid')(x)
return decoded
# 构建完整的自编码器模型
inputs = tf.keras.Input(shape=(input_dim,)) # `input_dim` 是ERP数据的特征数量
encoded_representation = encoder(inputs)
decoded_output = decoder(encoded_representation)
autoencoder = tf.keras.Model(inputs, decoded_output)
注意力机制层204:ERP系统中的数据通常包含多种业务流程和操作,其中一些数据可能与当前的业务操作密切相关,而其他数据可能不那么重要。为了确保模型能够准确地识别和处理这些关键数据,我们引入了专门为ERP数据设计的注意力机制。
注意力机制的主要思想是为输入数据中的每一部分分配一个权重。这些权重表示模型在做预测时应该给予每部分数据的关注程度。通过这种方式,模型可以集中关注与当前业务操作最相关的数据部分,而忽略不太相关的数据。
以下是该层的示例性代码,使用Python和TensorFlow实现:
import tensorflow as tf
class AttentionLayer(tf.keras.layers.Layer):
def __init__(self, units):
super(AttentionLayer, self).__init__()
# 定义权重矩阵,用于计算注意力权重
self.W1 = tf.keras.layers.Dense(units)
self.W2 = tf.keras.layers.Dense(units)
self.V = tf.keras.layers.Dense(1)
def call(self, features, hidden):
# `features` 是上一个层的输出
# `hidden` 是当前时间步的隐藏状态
hidden_with_time_axis = tf.expand_dims(hidden, 1)
# 使用tanh激活函数计算注意力的得分
score = tf.nn.tanh(self.W1(features) + self.W2(hidden_with_time_axis))
# 使用softmax函数计算最终的注意力权重
attention_weights = tf.nn.softmax(self.V(score), axis=1)
# 使用计算得到的注意力权重与特征相乘,得到上下文向量
context_vector = attention_weights * features
context_vector = tf.reduce_sum(context_vector, axis=1)
return context_vector, attention_weights
# 示例:如何使用注意力机制层
units = 64 # 定义隐藏单元数量
attention_layer = AttentionLayer(units) # 初始化注意力机制层
hidden_state = tf.zeros((batch_size, units)) # 初始化隐藏状态
context_vector, attention_weights = attention_layer(features, hidden_state)
输出层205,是一个全连接神经网络层,它结合了来自注意力机制层的加权数据来生成模型的最终输出。
在神经网络模型中,输出层扮演着至关重要的角色,它决定了模型的最终输出。本实施例中,输出层205专门设计用来处理来自注意力机制层的加权数据,并基于此数据为ERP临时数据流提供预测。
该层首先通过一个或多个全连接层进一步处理加权数据,为数据增加非线性特性。这些层通常使用ReLU作为激活函数,以增强模型的表达能力。随后,该层使用另一个全连接层为ERP数据生成最终输出。考虑到ERP数据值通常在0和1之间,可以选择使用sigmoid作为这一层的激活函数。
以下是输出层205的示例性代码,使用Python和TensorFlow实现:
import tensorflow as tf
class OutputLayer(tf.keras.layers.Layer):
def __init__(self, units):
super(OutputLayer, self).__init__()
# 定义三个全连接层,前两个使用ReLU激活函数,最后一个使用sigmoid激活函数
self.dense1 = tf.keras.layers.Dense(units, activation='relu')
self.dense2 = tf.keras.layers.Dense(units, activation='relu')
self.output_layer = tf.keras.layers.Dense(units, activation='sigmoid')
def call(self, attention_output):
# 将来自注意力机制层的加权数据通过全连接层进行处理
x = self.dense1(attention_output)
x = self.dense2(x)
# 返回模型的最终输出
return self.output_layer(x)
# 示例:如何使用输出层
units = attention_layer_output.shape[-1] # 获取加权数据的维度
output_layer = OutputLayer(units) # 初始化输出层
final_output = output_layer(attention_layer_output) # 获取模型的最终输出
通过上述代码,可以清晰地看到输出层是如何处理来自注意力机制层的数据,并为ERP临时数据流生成最终输出的。这只是一个基础示例,根据实际需求和数据情况,可以进行进一步的调整和优化。
下面结合一个简单的ERP数据处理场景,详细说明ERP-FlowNet模型的工作流程:
假设一个制造企业的ERP系统记录了原材料的采购、生产、和销售的活动。
1. 输入层201:
输入:ERP系统中的一条数据,例如,“今天上午10点,操作员A采购了100公斤的铜原材料”。
输出:这条数据被转化为一个向量,包含时间(10点)、操作员ID、操作类型(采购)、原材料类型(铜)和数量(100公斤)。
2. 自适应时间嵌入层202:
输入:上述向量中的时间信息(10点)。
输出:时间特征向量,代表该时间点在ERP数据中的重要性或频繁度。
3. 业务逻辑编码层203:
输入:来自输入层的完整向量。
输出:一个业务逻辑特征向量,代表该数据中的核心业务信息,例如,“原材料采购”。
4. 注意力机制层204:
输入:业务逻辑特征向量。
输出:一个权重向量,代表模型应该关注的数据部分的权重。在此例中,由于当前操作是原材料采购,权重向量可能会增强与“采购”和“铜”相关的部分。
5. 输出层205:
输入:注意力机制层的权重向量。
输出:一个预测向量,可能表示“由于此次铜的采购,下一个操作可能是生产”。
当ERP系统中出现一条关于原材料采购的数据时,ERP-FlowNet首先在输入层将这条数据转化为一个标准化的向量。然后,时间嵌入层提取其中的时间信息,并输出一个时间特征向量。接下来,业务逻辑编码层将整条数据转化为一个业务逻辑特征向量。注意力机制层根据这个特征向量输出一个权重向量,指示模型应该关注的数据部分。最后,输出层根据这个权重向量进行预测,生成一个预测向量,代表模型预测的下一个操作。
S102:应用特定的特征提取算法,从所述临时数据流中提取出关键特征和模式,获得特征数据集。
在步骤S102中,通过应用特定的特征提取算法,系统从ERP临时数据流中提取出关键特征和模式。此步骤的主要目的是将大量、复杂的ERP数据简化为一组具有代表性的特征,从而为后续步骤提供更为精简且有意义的数据输入。
特征提取算法的选择关键在于其适应性和准确性。此算法必须能够识别并提取ERP数据中最具代表性的信息部分。考虑到ERP数据的多样性和复杂性,该算法通常采用深度学习技术,例如卷积神经网络(CNN)或递归神经网络(RNN),以自动地学习和提取数据中的特征模式。
关键特征可能包括但不限于:业务操作的类型、操作的时间频率、数据修改的内容以及与特定操作关联的其他相关数据。例如,如果某个特定业务操作在每天上午9点频繁出现,则该时间点可能被识别为一个关键特征。
除了单一的特征点,特征提取算法还会识别数据中的整体模式。例如,系统可能会识别出每月底时库存检查的固定模式或每季度财务报告的生成模式。
经过上述处理后,原始的ERP临时数据流将被转化为一个特征数据集。这个数据集包含了原始数据中最具代表性的信息,且数据量相对较小,从而为后续步骤提供了更为高效的输入。
此外,为确保特征提取的准确性和完整性,通常还会引入其他机制,如正则化和降噪,来避免过度拟合并确保模型的稳定性。这样,步骤S102确保了ERP数据中最有价值的信息被准确无误地捕捉并用于后续处理,从而使整个方法达到最佳效果。
更进一步地,所述应用特定的特征提取算法,从所述临时数据流中提取出关键特征和模式,获得特征数据集,包括:
使用傅里叶变换分析所述临时数据流,识别出所述临时数据流中的周期性模式,并为识别出的周期性模式分配第一权重指标;
使用关联规则学习,识别出所述临时数据流中的关联业务活动对,并为所述关联业务对分配第二权重指标;
根据所述第一权重指标和第二权重指标,为所述临时数据流构造特征向量,该特征向量展现了临时数据流中业务活动的周期特性与关联特性,进而生成特征数据集。
傅里叶变换是一种在数学、物理和工程中广泛使用的技术,它将一个函数或信号从其原始域(通常为时间或空间)转换到频率域。在本实施例中,创造性的将傅里叶变换应用于ERP临时数据流,目的是为了解析和识别数据中可能存在的周期性模式。
ERP临时数据,作为一家公司日常业务活动的反映,可能会显示出某些固有的周期性。例如,每月的财务结算、每周的库存检查等都是固定周期的业务活动,这些活动在数据中可能会呈现出特定的模式或趋势。通过应用傅里叶变换,可以将这些模式从时间域转换到频率域,从而更容易地识别和分析它们。
一旦应用了傅里叶变换,可以得到ERP临时数据的频谱,其中的峰值或主要组件可以表示数据中的主要周期。例如,如果在频谱中观察到一个显著的峰值对应于30天的周期,这可能意味着数据中有一个月度的业务活动模式。
识别出数据中的周期性模式后,下一步是为这些模式分配权重。这些权重可以基于傅里叶变换结果中的幅度值,因为幅度值反映了该周期在数据中的显著性或重要性。例如,一个幅度值较大的周期性模式可能比幅度值较小的模式更重要。这样,可以为每个识别出的周期分配一个权重,该权重与其在频谱中的幅度值成正比。
基于前面的分析和权重分配,可以为每条ERP临时数据构造一个特征向量。这个向量将包含原始数据值、识别出的周期性模式及其相应的权重。这种表示方法提供了一个综合的视图,展现了数据中的业务活动如何随时间变化的。
构建的特征向量提供了一个丰富而综合的数据表示,它捕捉了ERP临时数据的核心周期性特征。当这些特征向量被汇总成一个数据集时,可以得到一个特征数据集,该数据集可以进一步用于各种机器学习或深度学习任务,如分类、聚类或预测。
综上所述,该方法提供了一个结构化且信息丰富的方式来提取和表示ERP临时数据中的关键周期性特征。通过这种方式,本领域的技术人员可以轻松地利用这些特征来进一步分析和解释ERP数据,或将其用作其他机器学习任务的输入。
S103:根据数据的时间、来源和业务逻辑,对所述特征数据集进行动态聚合,生成聚合数据集。
步骤S103的主要目标是根据这些关键属性对已提取的特征数据集进行动态聚合,以创建一个更结构化、更易于后续处理和分析的聚合数据集。
按时间聚合:ERP临时数据的时间属性是其核心特点之一。考虑到ERP数据的周期性特点,例如每月的财务结算或每周的库存检查,可以按照日、周、月或其他时间单位对特征数据集进行聚合。这样的聚合可以更好地捕捉和理解业务活动的长期趋势和周期性模式。
按来源聚合:ERP系统通常涉及多个部门和业务单位,如销售、采购、生产等。每个部门或业务单位可能都有其独特的数据来源和格式。因此,可以按照数据的来源对特征数据集进行聚合,以确保同一来源的数据在聚合数据集中被适当地组合在一起。
按业务逻辑聚合:除了时间和来源外,业务逻辑也是ERP数据中的一个关键属性。不同的业务活动,如订单处理、库存管理或财务报告,都可能有其独特的业务逻辑和数据流程。可以根据这些业务逻辑对特征数据集进行聚合,以确保与同一业务逻辑相关的数据被适当地组合在一起。
完成上述动态聚合过程后,将得到一个聚合数据集。这个数据集将包括按时间、来源和业务逻辑组织的数据,每个数据点都将代表一个特定的时间段、来源或业务逻辑的综合视图。
这个聚合数据集不仅提供了一个结构化和组织良好的数据表示,而且还减少了数据的复杂性和冗余性,使得后续的数据处理、分析和建模更为高效和准确。
更进一步地,所述根据数据的时间、来源和业务逻辑,对所述特征数据集进行动态聚合,生成聚合数据集,包括:
使用时间序列分析方法,对所述特征数据集进行分析,以确定该数据集中业务活动的变化频率;
根据所述变化频率,确定数据聚合的时间窗口;
结合外部日历和事件数据库,对确定的时间窗口进行进一步的调整;
根据调整后的时间窗口,对特征数据集进行聚合操作,以生成聚合数据集。
在ERP系统中,临时数据常常反映了企业的日常业务活动和操作。为了从这些数据中提取有意义的信息并为进一步的分析或决策提供支持,需要对这些数据进行有效的聚合。
首先,采用时间序列分析方法来分析特征数据集。时间序列分析是一种统计方法,用于分析时间序列数据,即在连续时间间隔内观测到的数据点。在这里,可以使用自相关函数来检测数据中的任何周期性或重复模式。此外,快速傅里叶变换(FFT)也是一种强大的工具,可用于从时间序列数据中提取频率成分。通过FFT,我们可以识别ERP数据中的主要周期性模式,如日常、周常、月常等。
在识别了数据的主要频率后,可以根据这些频率动态地确定数据聚合的时间窗口大小。例如,如果识别到ERP数据中有强烈的月常模式,则可能选择一个月作为时间窗口。这样,时间窗口的大小被设计为能够准确捕捉到ERP临时数据中的业务活动周期性变化,从而确保数据聚合的准确性。
ERP数据可能受到外部事件的影响,例如节假日、促销活动或行业会议。这些事件可能会导致业务活动的异常变化,从而影响数据的周期性。为了考虑这些外部事件的影响,可以结合外部日历和事件数据库来进一步调整确定的时间窗口。例如,如果知道某一天是公众假期,会相应地缩短那一天的时间窗口,以确保聚合数据的准确性。
根据上述动态调整的时间窗口,对特征数据集进行聚合操作。可以在每个时间窗口内对数据进行汇总或平均,以生成一个新的数据集,即聚合数据集。这个聚合数据集将更加准确地反映ERP临时数据的周期性和与外部事件的相关性。例如,如果选择了一个月的时间窗口,则聚合数据集可能包含每月的总销售额、总库存等。
通过结合时间序列分析、动态时间窗口确定和外部日历和事件数据库,可以确保聚合数据的准确性和有意义性,从而为进一步的分析或决策提供有力的支持。
综上所述,步骤S103提供了一个系统化的方法,用于根据ERP临时数据的关键属性对特征数据集进行动态聚合,从而创建一个更结构化、更易于后续处理和分析的聚合数据集。此方法确保了聚合过程的准确性和效率,同时还为后续的数据分析和建模提供了坚实的基础。
S104:利用所述聚合数据集,构建一个描述数据间关系的数据关系图。
在企业资源规划(ERP)系统中,数据关系图是一个重要的工具,它可以直观地展示ERP临时数据中业务活动的内部关系。该步骤是基于动态聚合后得到的聚合数据集来构建数据关系图的。
数据关系图是一种图形表示,其中节点表示数据点,边表示数据点之间的关系。在ERP临时数据的场景中,这些节点可能代表具体的业务活动,例如订单创建、库存查询等。边则可以代表这些业务活动之间的依赖关系或频繁的交互模式。
利用步骤S103生成的聚合数据集,首先将每个聚合的数据点视为数据关系图中的一个节点。这些节点的属性可能包括业务活动的类型、时间戳、来源等。
节点间的关系可以基于多种因素确定。例如,两个业务活动如果在时间上相邻并且有逻辑上的依赖关系,则它们之间可以建立一条边。此外,如果两个业务活动经常在相同的时间窗口内同时出现,也可以建立边。
在数据关系图中,边的权重可以表示两个业务活动之间关系的强度。这个权重可以基于两个业务活动之间的交互频率、相互依赖的程度或其他相关的业务指标来确定。
在构建数据关系图时,也可以考虑外部因素,如市场变化、节假日、促销活动等。这些因素可能会影响业务活动之间的关系。例如,在促销活动期间,某些业务活动的交互可能会增加。这种情况下,相应的边的权重可以进行调整。
最后,为了方便分析和决策,可以使用各种图形工具将数据关系图进行可视化。这可以帮助企业更好地理解业务活动之间的关系,并据此进行优化或调整。
更进一步地,所述利用所述聚合数据集,构建一个描述数据间关系的数据关系图,包括如下步骤:
步骤S501:根据聚合数据集中的业务活动和其相关性,识别各种业务活动关系模式,并为每种关系模式分配一个唯一标识符。
首先需要访问已经聚合的ERP数据集。这个数据集包含了各种业务活动及其相互之间的交互数据。
数据输入可以包括导入ERP的聚合数据集到一个高性能的数据处理平台,如Apache Spark或Hadoop,以便进行大规模并行处理。
对于数据集中的每一对业务活动,计算它们之间的关联度。为此,使用皮尔逊相关系数,该系数提供了一个介于-1和1之间的值,表示两个业务活动之间的线性关系强度。
基于计算出的关联度,使用一个阈值(例如0.8)来确定哪些业务活动对具有显著的关联。这样,可以得到一个关联的业务活动对列表。
接下来,使用K-means聚类算法对这些关联的业务活动对进行分组。K-means聚类的目标是将业务活动对分为K个群组,使得同一群组内的业务活动对关联度较高,而不同群组之间的关联度较低。为了确定最佳的K值,可以使用肘部法则。
一旦业务活动对被分为不同的群组,可以为每个群组分配一个唯一标识符。这些标识符是连续的整数,从1开始。
例如,如果识别出三种关系模式,它们将被分配标识符1、2和3。这样,在后续步骤中引用某一特定的关系模式时,只需使用其唯一标识符即可。
最后,将每个业务活动对及其对应的唯一标识符输出到一个新的数据集中,供后续步骤使用。
步骤S502:利用图嵌入技术,为聚合数据集中的业务活动在数据关系图中分配位置,确保相互关联的业务活动根据其关系模式的唯一标识符进行聚集。
该步骤的目标是利用图嵌入技术为聚合数据集中的业务活动在数据关系图中分配位置,确保相互关联的业务活动根据其关系模式的唯一标识符进行聚集。
初始阶段,首先使用步骤S501输出的数据集来构建一个初步的图。每个业务活动对应图中的一个节点,而业务活动之间的关系对应图中的边。边的权重可以由业务活动对之间的关联度决定。
为了为每个节点在图中分配位置,可以选择Node2Vec这种图嵌入技术。Node2Vec可以为图中的每个节点生成一个低维度的向量表示,这些向量表示可以捕获节点之间的关系模式。
使用Node2Vec技术,为聚合数据集中的每个业务活动计算其向量表示。Node2Vec的工作原理是通过模拟图中的随机游走来捕获节点之间的关系模式,并使用这些随机游走序列来生成节点的向量表示。
获得每个业务活动的向量表示后,可以使用这些向量为每个业务活动在数据关系图中分配位置。特别是,相互关联的业务活动会根据其关系模式的唯一标识符进行聚集。例如,具有相同标识符的业务活动将在图中被放置得较为接近。
为了使得数据关系图更为直观,可以进一步优化图的布局,例如使用力导向布局算法来确保图中的节点分布均匀,且相互关联的节点之间的距离较短。
最终,得到一个数据关系图,其中每个业务活动都根据其与其他业务活动的关系模式进行了合适的位置分配。这个数据关系图可以被进一步用于分析或可视化,以提供对ERP数据的更深入的洞察。
步骤S503:应用图神经网络技术,根据关系模式的唯一标识符,优化数据关系图的结构和连接,以更准确地反映业务活动之间的实际关系。
该步骤主要关注应用图神经网络技术,根据关系模式的唯一标识符,优化数据关系图的结构和连接,以更准确地反映业务活动之间的实际关系。
首先需要选择一个适合处理业务活动关系的图神经网络结构。这里,可以选择Graph Convolutional Network (GCN),它能够有效地处理图数据并捕获节点间的复杂关系。
使用步骤S502中计算出的节点向量作为初始特征输入到GCN中。这些特征包含了业务活动的关系模式和相互关联的信息。
为每个关系模式的唯一标识符分配一个独特的向量编码。这些编码在GCN中作为边特征,使其能够区分和优化不同类型的关系模式。
使用初始化的节点特征和关系模式的编码,将数据输入到GCN中。GCN在多次迭代中调整每个节点的嵌入向量,从而更准确地捕获与其他节点的关系,并根据边的编码优化连接权重。
GCN的主要输出是每个节点的更新后的嵌入向量。这些嵌入向量在高维空间中表示每个业务活动的位置,并考虑了与其他业务活动的关系。此外,GCN还输出边的权重,这些权重表示业务活动之间的关联强度。
基于GCN的节点嵌入输出和边权重,评估并优化数据关系图的连接。强关联的业务活动之间的连接被强化,而弱关联或不相关的连接被减弱或删除。
根据GCN的输出和连接的优化,得到一个经过优化的数据关系图。这个图不仅反映了ERP临时数据中的业务活动关系,还考虑了它们之间的关系模式。
步骤S504:在数据关系图中利用颜色、大小或其他可视化元素,根据关系模式的唯一标识符突出显示关键的业务活动关系,从而为用户提供更直观的洞察。
选择一个适合处理和显示图数据的可视化工具,例如Gephi或Graphviz。这些工具提供了丰富的可视化选项,可以方便地定制颜色、大小和其他元素。
根据每个节点在数据关系图中的重要性或其与其他节点的连接数量,动态调整其大小。例如,与多个其他业务活动有强关系的节点可以显示得更大,以突出其核心地位。
为关系模式的每一个唯一标识符,分配一个独特的颜色。这样,用户可以通过颜色快速识别和区分不同的关系模式。
根据业务活动之间的关系强度,调整边的粗细。强关系可以使用粗边表示,而弱关系则使用细边。此外,可以使用不同的线条样式(如虚线或点线)来表示特定的关系类型。
为了进一步增强数据关系图的可读性和直观性,可以考虑添加如阴影、箭头或注释等其他可视化元素。
在可视化工具中添加交互功能,如放大、缩小、拖动和高亮显示。这允许用户深入探索数据关系图,更好地理解业务活动之间的复杂关系。
可以在数据关系图旁边提供一个图例,解释各种颜色、大小和形状的含义。这确保了用户能够准确地解读图中的信息。
下面给出一个例子,对于上述步骤进行举例说明。
例如,在一个大型制造公司中,ERP系统每天都会处理数千次的业务操作,这些操作包括了采购、生产、销售等多个环节。对于管理层来说,了解这些业务操作之间的关系至关重要,因为这有助于优化工作流程、提高效率和减少成本。
步骤S501:
数据输入:首先,从ERP系统中导出一个月的聚合数据,这些数据显示了每天各种业务活动的数量和它们之间的关联。
关联分析:通过皮尔逊相关系数分析,发现采购和生产之间有很强的正相关关系,即当采购数量增加时,生产数量也相应增加。而销售和库存之间有负相关关系,表示销售增加时,库存会减少。
聚类分析:使用K-means聚类,将这些业务活动对分为三个群组:1) 采购和生产;2) 销售和库存;3) 其他业务活动。
标识符分配:为这三个群组分配了三个标识符:1、2和3。
步骤S502:
图构建:使用前面的数据,构建了一个初步的图,其中节点表示业务活动,边表示它们之间的关系。
节点位置分配:通过Node2Vec技术,为每个业务活动分配了一个位置,确保相关的业务活动在图中位置接近。
图优化:使用力导向布局,进一步优化了图的布局,使得图中的节点分布更均匀,相互关联的节点之间的距离更短。
步骤S503:
图神经网络优化:使用GCN,进一步优化了数据关系图的结构和连接。结果显示,采购和生产之间的连接被强化,而与其他不相关的业务活动之间的连接被减弱。
步骤S504:
数据关系图可视化:使用Gephi工具,将数据关系图进行了可视化。在图中,采购和生产的节点使用了大的、红色的圆形表示,而销售和库存使用了中等大小、蓝色的圆形。其他业务活动则使用了小的、绿色的圆形。
交互功能:在Gephi中,用户可以放大、缩小和拖动图,还可以点击任何一个节点,查看其详细的业务数据。
图例:在图的右侧,提供了一个图例,解释了不同颜色和大小的节点代表的业务活动,以及它们之间的关系。
通过上述的四个步骤,管理层不仅能够清晰地看到一个月内各种业务活动之间的关系,还能够深入地了解这些关系背后的业务逻辑,为公司的决策提供了有力的支持。
总之,步骤S104利用聚合数据集构建数据关系图,该图为企业提供了一个直观的工具,帮助它们理解ERP临时数据中的业务活动及其关系。这不仅可以帮助企业更好地理解其业务流程,还可以为进一步的分析和优化提供有力的支持。
S105:根据数据的实时特性和业务需求,对所述数据关系图进行数据清洗、去噪和格式转换,获得优化后的数据。
步骤S105的目标是确保数据关系图的质量和可读性,使其满足业务需求。
首先,需要对数据关系图进行全面评估,识别可能存在的异常值、缺失值或不一致的数据。使用统计方法对节点和边的权重、分布和频率进行评估,从而确定可能的问题区域。
基于上述评估,开始数据清洗过程。对于检测到的异常值,采用中值、均值或模式替换,或完全删除这些值,具体取决于异常值的性质和数量。对于缺失值,可以采用插值、预测或使用其他相似节点的数据进行替换。
使用滤波器或其他去噪算法,如局部加权回归或低通滤波器,来平滑数据关系图中的噪声或短暂的突变。这确保了图中的主要模式和关系不会被暂时的噪声或异常值所掩盖。
根据业务需求,可能需要将数据关系图转换为特定的数据格式。例如,为了与其他系统或应用程序兼容,可能需要将图转换为JSON、XML或其他特定格式。使用适当的转换工具和库,如NetworkX或Graph-tool,来执行此转换。
最后,为了使数据关系图更具可读性和直观性,使用颜色、大小和其他可视化元素来突出显示关键的业务活动关系。具体地说,基于关系模式的唯一标识符,为图中的特定节点和边分配不同的颜色和大小。此外,关键的业务活动关系可以通过更粗的边或更大的节点大小来突出显示。
更进一步地,所述的捕获和处理ERP临时数据的方法,还包括:
使用优化后的数据,对业务数据进行分类;
根据分类结果,为每个业务分类生成一个专属的报表模板,该报表模板中包含了该类业务的关键指标和数据分析方法;
利用所述数据关系图,自动填充所述报表模板中的数据,确保报表中的数据能够真实反映业务活动的关联性和依赖性。
本实施例进一步利用从ERP系统中获得的优化后的数据进行业务数据的分类。这一步骤的主要目的是将相似性质的业务数据归为一类,以便于后续的报表生成和数据分析。具体来说,业务数据的分类可以基于以下几个维度进行:
业务性质:例如,销售、采购、库存、财务等,这些不同的业务性质代表了企业的不同业务部门或功能模块。
时间维度:例如,日报、周报、月报等,这可以帮助企业根据时间周期查看业务趋势和变化。
地理位置:对于跨地域的大型企业,可以根据不同的地区或国家进行数据分类,从而更好地管理和分析各地的业务数据。
根据前面的业务数据分类结果,为每个业务分类生成一个专属的报表模板。每个报表模板都是为特定的业务类别量身定制的,从而确保其内容和格式都能满足该业务类别的特定需求。报表模板的主要组成部分包括:
关键指标:这些指标代表了业务的核心数据,如销售额、毛利率、库存量等,它们直接反映了企业的运营状况和业务表现。
数据分析方法:这部分包括了数据的统计、对比、趋势分析等,目的是帮助企业从数据中提取有价值的信息和洞察。
可视化元素:如图表、图形等,可以帮助用户更直观地理解和解读数据。
在生成报表模板后,接下来的任务是利用数据关系图自动填充报表模板中的数据。由于数据关系图已经反映了业务活动之间的关联性和依赖性,因此,通过从数据关系图中提取数据,可以确保报表中的数据是准确、完整和有意义的。
具体来说,这一步骤包括以下几个关键操作:
数据提取:从数据关系图中提取与报表模板中的关键指标相对应的数据。
数据转换:将提取的数据转换为报表模板所需的格式,如百分比、货币单位等。
数据填充:将转换后的数据填充到报表模板中的相应位置。
通过以上详细的实施步骤,本领域技术人员可以明确地理解和实施上面描述的使用优化后的数据进行业务数据分类、生成报表模板和填充报表数据的过程。
更进一步地,所述的捕获和处理ERP临时数据的方法,还包括:
根据优化后的数据,分析并确定可以自动化的业务活动;
根据所述可以自动化的业务活动,设计一个自动化工作流程,其中包括了业务活动的触发条件、执行条件以及后续操作;
利用所述数据关系图,将所述自动化工作流程与其他相关的业务流程连接起来,形成一个完整的业务流程链;
在ERP系统中部署该自动化工作流程,确保当满足特定条件时,工作流程能够自动触发并执行。
在ERP系统中,业务活动往往涉及多个部门和功能模块。有些业务活动需要人工干预,而有些则可以通过技术手段实现自动化。首先根据优化后的数据,对这些业务活动进行深入分析。分析的目的是确定哪些业务活动具有自动化的潜力,以及自动化这些业务活动所能带来的效益。具体的分析步骤包括:
确定业务活动的重复性:如果一个业务活动是重复性的,并且每次执行时都遵循相同的规则和逻辑,那么这个业务活动很可能是可以自动化的。
评估业务活动的复杂性:对于复杂的业务活动,自动化可能需要更多的技术支持和资源投入。但如果自动化可以显著提高效率和准确性,那么这种投入是值得的。
确定了可以自动化的业务活动后,接下来的任务是为这些业务活动设计一个自动化的工作流程。这个工作流程应该详细描述每一个业务活动的触发条件、执行条件以及后续的操作。例如:
触发条件:定义什么情况下业务活动应该被触发。这可能是基于时间(如每天的特定时间)、事件(如订单创建或发货)或其他业务逻辑。
执行条件:确定业务活动执行的具体条件。例如,一个自动化的库存管理活动可能只在库存低于某个阈值时执行。
后续操作:定义业务活动完成后应该执行的操作。这可能包括发送通知、更新数据库或启动另一个业务活动。
设计完成的自动化工作流程并不是孤立的,它需要与ERP系统中的其他业务流程相互连接。数据关系图提供了一个视觉化的工具,有助于理解不同业务活动之间的关系。通过这种方式,可以确保自动化工作流程能够顺利地与其他流程集成,形成一个完整的业务流程链。
完成工作流程的设计和连接后,最后一步是在ERP系统中部署这个工作流程。这确保当满足特定条件时,工作流程能够自动触发并执行,从而实现业务活动的自动化。
总之,上述步骤提供了如何利用优化后的数据在ERP系统中实现业务活动的自动化,从而提高效率和准确性。
更进一步地,所述的捕获和处理ERP临时数据的方法,还包括:
利用优化后的数据,定义业务活动的正常模式和异常模式;
当检测到异常模式时,进行原因分析,获得分析结果;
根据分析结果,生成建议的解决方案,并将这些方案以通知的形式发送给相关的业务部门。
在ERP系统中,每个业务活动都有其固有的运作模式。这些模式可以基于历史数据、业务规则和经验来定义。首先需要处理的是利用优化后的数据来明确定义什么是业务活动的“正常模式”以及什么是“异常模式”。
正常模式:描述了业务活动在正常情况下的运作方式。例如,在供应链管理中,正常模式可能包括订单的正常处理时间、库存水平的正常范围或客户响应的平均时间。
异常模式:描述了与正常模式不符的业务活动。这些异常可能是由于各种原因,如供应中断、需求激增或系统故障。
为了明确定义这两种模式,可能需要利用统计方法、机器学习或其他数据分析技术。
定义正常模式和异常模式是一项复杂的任务,需要深入了解业务活动和相关数据。以下是如何明确定义这两种模式的更详细的步骤:
1. 数据准备和预处理:
数据收集: 首先,需要收集与业务活动相关的历史数据。这包括但不限于交易数据、日志、业务操作指标等。
数据清洗: 清除不完整、不准确或不相关的数据。
特征工程: 选择或构造能够代表业务活动的关键特性的数据特征。
2. 定义正常模式:
统计分析: 利用统计方法,如平均值、中位数、标准差等,来描述数据的中心趋势和离散程度,从而确定数据的正常范围。
历史数据比对: 比较当前数据与历史数据,查看其是否在正常范围内。
模式识别: 使用聚类算法如K-means或层次聚类,将历史数据分为不同的群组,每个群组代表一种正常的业务模式。
3. 定义异常模式:
阈值方法: 设定某些关键指标的上下界。当数据超出这些界限时,就被视为异常。
机器学习: 利用分类器如SVM、随机森林或神经网络,训练模型识别正常和异常模式。通常,这需要一个标记的数据集,其中包含正常和异常的实例。
时间序列分析: 对于时间相关的数据,如股票价格或销售数据,可以使用ARIMA、Facebook的Prophet等时间序列分析方法来预测未来的数据点。当实际数据与预测值偏离太大时,可以视为异常。
4. 模型验证和修正:
交叉验证: 将数据集分为训练集和测试集,确保模型在未知数据上的表现良好。
实时监控: 在实际业务中实时应用模型,监控其检测效果,并根据实际反馈进行调整。
持续学习: 随着时间的推移,业务模式可能会发生变化。因此,需要定期更新模型,以确保其准确性。
通过上述步骤,可以为ERP系统中的业务活动明确定义正常模式和异常模式,从而有效地监控和管理业务风险。
当检测到异常模式时,进行原因分析:
一旦定义了正常和异常的模式,系统就可以实时监控业务活动,以检测任何可能的偏差。当检测到业务活动偏离正常模式并进入异常模式时,就要进行深入的原因分析。
数据收集:首先,收集与异常相关的所有数据。这可能包括与异常业务活动相关的所有前后数据、日志文件或其他相关信息。
数据分析:使用各种数据分析技术,如时间序列分析、回归分析或聚类,来确定异常的可能原因。
获得分析结果:基于数据分析,生成一个详细的分析报告,描述异常的性质、可能的原因以及其对业务的影响。
有了对异常的深入了解后,下一步是生成解决方案。这些方案应该是具体的、可行的,并考虑到业务的实际需求和约束。
根据分析结果,设计一系列的策略和操作,旨在解决检测到的问题。评估每个建议的方案的可行性、成本和预期效果。
最后,将这些解决方案以通知的形式发送给相关的业务部门。这确保了问题得到了及时的关注,并能够迅速得到解决。
基于建议的解决方案,生成详细的通知,描述问题的性质、原因和建议的解决方案。将通知发送给相关的业务部门或责任人,确保他们了解问题并采取相应的行动。
综上所述,上述步骤提供了一个框架,用于在检测到ERP系统中的异常模式时,进行原因分析,生成解决方案,并及时通知相关部门。这确保了ERP系统的稳定运行和业务活动的连续性。
在上述的实施例中,提供了一种捕获和处理ERP临时数据的方法,与之相对应的,本申请还提供一种捕获和处理ERP临时数据的装置。请参看图4,其为本申请的一种捕获和处理ERP临时数据的装置实施例的示意图。由于本实施例,即第二实施例,基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的系统实施例仅仅是示意性的。
本申请第二实施例提供一种捕获和处理ERP临时数据的装置,包括:
捕获单元401,用于通过深度学习模型,实时解析ERP系统的操作模式和业务逻辑,捕捉与特定业务操作相关的临时数据流;
提取单元402,用于应用特定的特征提取算法,从所述临时数据流中提取出关键特征和模式,获得特征数据集;
聚合单元403,用于根据数据的时间、来源和业务逻辑,对所述特征数据集进行聚合,生成聚合数据集;
构建单元404,用于利用所述聚合数据集,构建一个描述数据间关系的数据关系图;
获得单元405,用于根据数据的实时特性和业务需求,对所述数据关系图进行数据清洗、去噪和格式转换,获得优化后的数据。
本申请第三实施例提供一种电子设备,所述电子设备包括:
处理器;
存储器,用于存储程序,所述程序在被所述处理器读取执行时,执行本申请第一实施例中提供的捕获和处理ERP临时数据的方法。
本申请第四实施例提供一种计算机可读取存储介质,其上存储有计算机程序,该程序被处理器执行时,执行本申请第一实施例中提供的捕获和处理ERP临时数据的方法。
本申请虽然以较佳实施例公开如上,但其并不是用来限定本申请,任何本领域技术人员在不脱离本申请的精神和范围内,都可以做出可能的变动和修改,因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
Claims (8)
1.一种捕获和处理ERP临时数据的方法,其特征在于,包括:
通过深度学习模型,实时解析ERP系统的操作模式和业务逻辑,捕捉与特定业务操作相关的临时数据流;
应用特定的特征提取算法,从所述临时数据流中提取出关键特征和模式,获得特征数据集;
根据数据的时间、来源和业务逻辑,对所述特征数据集进行聚合,生成聚合数据集;
利用所述聚合数据集,构建一个描述数据间关系的数据关系图;
根据数据的实时特性和业务需求,对所述数据关系图进行数据清洗、去噪和格式转换,获得优化后的数据;
其中,所述深度学习模型包括:
自适应时间嵌入层,用于动态地将连续的时间戳转化为有意义的、周期性的时间嵌入,并提供时间上下文信息;
业务逻辑编码层,采用自编码器结构,用于提取ERP数据中的关键业务逻辑特征;
注意力机制层,设计有专门的注意力机制,使模型能够关注与当前操作最相关的历史数据和业务逻辑;
所述自适应时间嵌入层,包括嵌入调整单元、非线性时间变换器和上下文感知单元;
所述嵌入调整单元用于接收输入层提供的向量,输出一个权重调整因子;所述嵌入调整单元首先使用全连接层处理输入层提供的当前时间戳及其前N个时间戳组成的向量,捕捉时间戳之间的潜在关系;使用Batch Normalization层对捕获的时间戳之间的潜在关系进行标准化处理,获得标准化处理后数据;使用全连接层对于标准化处理后数据进行处理,生成一个权重调整因子;
所述非线性时间变换器,用于接收来自嵌入调整单元的权重调整因子和来自输入层的连续时间戳,获得一个时间嵌入;所述非线性时间变换器首先执行归一化操作将输入层提供的连续时间戳映射到介于0和1之间的连续值;然后通过双曲正切函数对于映射到介于0和1之间的连续值进行处理,获得增加了表达能力的时间信息;最后结合嵌入调整单元输出的权重调整因子,对增加了表达能力的时间信息进行加权调整,获得具有丰富表达能力的时间嵌入;
所述上下文感知单元,用于接收非线性时间变换器输出的时间嵌入,获得时间上下文信息;所述上下文感知单元首先使用一维卷积对非线性时间变换器输出的时间嵌入进行处理,捕获相邻时间点之间的短期依赖关系,所述一维卷积使用64个滤波器,滤波器的大小为3;进而,第一门控循环单元层对于相邻时间点之间的短期依赖关系进行处理,捕获序列数据中的第一长期依赖关系,所述第一门控循环单元层包括128个门控循环单元;第二门控循环单元层对于所述第一长期依赖关系进行处理,获得第二长期依赖关系,所述第二门控循环单元层包括128个门控循环单元;最后,所述上下文感知单元的全连接层对于所述第二长期依赖关系进行处理,获得时间上下文信息,所述上下文感知单元的全连接层使用双曲正切函数作为激活函数。
2.根据权利要求1所述的捕获和处理ERP临时数据的方法,其特征在于,所述应用特定的特征提取算法,从所述临时数据流中提取出关键特征和模式,获得特征数据集,包括:
使用傅里叶变换分析所述临时数据流,识别出所述临时数据流中的周期性模式,并为识别出的周期性模式分配权重指标;
根据所述权重指标,为所述临时数据流构造特征向量,该特征向量展现了临时数据流中业务活动的周期特性,进而生成特征数据集。
3.根据权利要求1所述的捕获和处理ERP临时数据的方法,其特征在于,所述根据数据的时间、来源和业务逻辑,对所述特征数据集进行动态聚合,生成聚合数据集,包括:
使用时间序列分析方法,对所述特征数据集进行分析,以确定该数据集中业务活动的变化频率;
根据所述变化频率,确定数据聚合的时间窗口;
结合外部日历和事件数据库,对确定的时间窗口进行进一步的调整;
根据调整后的时间窗口,对特征数据集进行聚合操作,以生成聚合数据集。
4.根据权利要求1所述的捕获和处理ERP临时数据的方法,其特征在于,所述利用所述聚合数据集,构建一个描述数据间关系的数据关系图,包括:
根据聚合数据集中的业务活动和其相关性,识别各种业务活动关系模式,并为每种关系模式分配一个唯一标识符;
利用图嵌入技术,为聚合数据集中的业务活动在数据关系图中分配位置,确保相互关联的业务活动根据其关系模式的唯一标识符进行聚集;
应用图神经网络技术,根据关系模式的唯一标识符,优化数据关系图的结构和连接,以更准确地反映业务活动之间的实际关系;
在数据关系图中利用颜色、大小或其他可视化元素,根据关系模式的唯一标识符突出显示关键的业务活动关系,从而为用户提供更直观的洞察。
5.根据权利要求1所述的捕获和处理ERP临时数据的方法,其特征在于,还包括:
使用优化后的数据,对业务数据进行分类;
根据分类结果,为每个业务分类生成一个专属的报表模板,该报表模板中包含了该类业务的关键指标和数据分析方法;
利用所述数据关系图,自动填充所述报表模板中的数据,确保报表中的数据能够真实反映业务活动的关联性和依赖性。
6.根据权利要求1所述的捕获和处理ERP临时数据的方法,其特征在于,还包括:
根据优化后的数据,分析并确定可以自动化的业务活动;
根据所述可以自动化的业务活动,设计一个自动化工作流程,其中包括了业务活动的触发条件、执行条件以及后续操作;
利用所述数据关系图,将所述自动化工作流程与其他相关的业务流程连接起来,形成一个完整的业务流程链;
在ERP系统中部署该自动化工作流程,确保当满足特定条件时,工作流程能够自动触发并执行。
7.根据权利要求1所述的捕获和处理ERP临时数据的方法,其特征在于,还包括:
利用优化后的数据,定义业务活动的正常模式和异常模式;
当检测到异常模式时,进行原因分析,获得分析结果;
根据分析结果,生成建议的解决方案,并将这些方案以通知的形式发送给相关的业务部门。
8.一种捕获和处理ERP临时数据的装置,其特征在于,包括:
捕获单元,用于通过深度学习模型,实时解析ERP系统的操作模式和业务逻辑,捕捉与特定业务操作相关的临时数据流;
提取单元,用于应用特定的特征提取算法,从所述临时数据流中提取出关键特征和模式,获得特征数据集;
聚合单元,用于根据数据的时间、来源和业务逻辑,对所述特征数据集进行聚合,生成聚合数据集;
构建单元,用于利用所述聚合数据集,构建一个描述数据间关系的数据关系图;
获得单元,用于根据数据的实时特性和业务需求,对所述数据关系图进行数据清洗、去噪和格式转换,获得优化后的数据;
其中,所述深度学习模型包括:
自适应时间嵌入层,用于动态地将连续的时间戳转化为有意义的、周期性的时间嵌入,并提供时间上下文信息;
业务逻辑编码层,采用自编码器结构,用于提取ERP数据中的关键业务逻辑特征;
注意力机制层,设计有专门的注意力机制,使模型能够关注与当前操作最相关的历史数据和业务逻辑;
所述自适应时间嵌入层,包括嵌入调整单元、非线性时间变换器和上下文感知单元;
所述嵌入调整单元用于接收输入层提供的向量,输出一个权重调整因子;所述嵌入调整单元首先使用全连接层处理输入层提供的当前时间戳及其前N个时间戳组成的向量,捕捉时间戳之间的潜在关系;使用Batch Normalization层对捕获的时间戳之间的潜在关系进行标准化处理,获得标准化处理后数据;使用全连接层对于标准化处理后数据进行处理,生成一个权重调整因子;
所述非线性时间变换器,用于接收来自嵌入调整单元的权重调整因子和来自输入层的原始连续时间戳,获得一个时间嵌入;所述非线性时间变换器首先执行归一化操作将输入层提供的原始连续时间戳映射到介于0和1之间的连续值;然后通过双曲正切函数对于映射到介于0和1之间的连续值进行处理,获得增加了表达能力的时间信息;最后结合嵌入调整单元输出的权重调整因子,对增加了表达能力的时间信息进行加权调整,获得具有丰富表达能力的时间嵌入;
所述上下文感知单元,用于接收非线性时间变换器输出的时间嵌入,获得时间上下文信息;所述上下文感知单元首先使用一维卷积对非线性时间变换器输出的时间嵌入进行处理,捕获相邻时间点之间的短期依赖关系,所述一维卷积使用64个滤波器,滤波器的大小为3;进而,第一门控循环单元层对于相邻时间点之间的短期依赖关系进行处理,捕获序列数据中的第一长期依赖关系,所述第一门控循环单元层包括128个门控循环单元;第二门控循环单元层对于所述第一长期依赖关系进行处理,获得第二长期依赖关系,所述第二门控循环单元层包括128个门控循环单元;最后,所述上下文感知单元的全连接层对于所述第二长期依赖关系进行处理,获得时间上下文信息,所述上下文感知单元的全连接层使用双曲正切函数作为激活函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311314517.3A CN117435582B (zh) | 2023-10-11 | 2023-10-11 | 一种捕获和处理erp临时数据的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311314517.3A CN117435582B (zh) | 2023-10-11 | 2023-10-11 | 一种捕获和处理erp临时数据的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117435582A CN117435582A (zh) | 2024-01-23 |
CN117435582B true CN117435582B (zh) | 2024-04-19 |
Family
ID=89556132
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311314517.3A Active CN117435582B (zh) | 2023-10-11 | 2023-10-11 | 一种捕获和处理erp临时数据的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117435582B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113408202A (zh) * | 2021-06-18 | 2021-09-17 | 国网湖南省电力有限公司 | 面向变电站核心工控业务的流量基线模型构造方法 |
CN113780667A (zh) * | 2021-09-15 | 2021-12-10 | 未来地图(深圳)智能科技有限公司 | 一种基于ai人工智能的企业经营预测方法及系统 |
CN116523284A (zh) * | 2023-04-25 | 2023-08-01 | 江苏领尔先智能科技有限公司 | 基于机器学习的业务操作流程自动化评估方法、系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8751276B2 (en) * | 2010-07-26 | 2014-06-10 | Accenture Global Services Limited | Capturing and processing data generated in an ERP interim phase |
-
2023
- 2023-10-11 CN CN202311314517.3A patent/CN117435582B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113408202A (zh) * | 2021-06-18 | 2021-09-17 | 国网湖南省电力有限公司 | 面向变电站核心工控业务的流量基线模型构造方法 |
CN113780667A (zh) * | 2021-09-15 | 2021-12-10 | 未来地图(深圳)智能科技有限公司 | 一种基于ai人工智能的企业经营预测方法及系统 |
CN116523284A (zh) * | 2023-04-25 | 2023-08-01 | 江苏领尔先智能科技有限公司 | 基于机器学习的业务操作流程自动化评估方法、系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117435582A (zh) | 2024-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10977293B2 (en) | Technology incident management platform | |
Verenich et al. | Survey and cross-benchmark comparison of remaining time prediction methods in business process monitoring | |
US20180315141A1 (en) | System and method for business intelligence through data-driven contract analysis | |
US20180300338A1 (en) | Distributed high-cardinality data transformation system | |
US20200242134A1 (en) | Method and apparatus for grouping data records | |
US20210125207A1 (en) | Multi-layered market forecast framework for hotel revenue management by continuously learning market dynamics | |
Raju et al. | An approach for demand forecasting in steel industries using ensemble learning | |
Dolk | Integrated model management in the data warehouse era | |
US20170075333A1 (en) | Planning for manufacturing environments | |
Yun et al. | Predictive analytics: a survey, trends, applications, opportunities’ and challenges for smart city planning | |
Si | Construction and application of enterprise internal audit data analysis model based on decision tree algorithm | |
CN117473048B (zh) | 基于数据挖掘的财务异常数据监测分析系统及方法 | |
Arnob et al. | Energy demand forecasting and optimizing electric systems for developing countries | |
CN117435582B (zh) | 一种捕获和处理erp临时数据的方法和装置 | |
Hanif | Applications of data mining techniques for churn prediction and cross-selling in the telecommunications industry | |
Hou | Financial Abnormal Data Detection System Based on Reinforcement Learning | |
CN115481803A (zh) | 基于行业拥挤度的金融时间序列预测方法、装置及设备 | |
CN115237970A (zh) | 数据预测方法、装置、设备、存储介质及程序产品 | |
Chang | [Retracted] Evaluation Model of Enterprise Lean Management Effect Based on Data Mining | |
US20240312081A1 (en) | Data interpolation platform | |
Yildiz et al. | A comparative Study of Machine Learning Algorithms as an Audit Tool in Financial Failure Prediction | |
Asthana et al. | System and Method on Order Management Using Neural Networks and Risk Modeling | |
CN118012916B (zh) | 报表的生成方法、装置、设备及存储介质 | |
CN118410922B (zh) | 基于产品供应链的数据处理方法及系统 | |
CN118227767B (zh) | 知识图谱驱动大模型的商业智能决策问答系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |