CN115391425A - 一种基于属性传递的流程一致性检验方法与系统 - Google Patents
一种基于属性传递的流程一致性检验方法与系统 Download PDFInfo
- Publication number
- CN115391425A CN115391425A CN202211043532.4A CN202211043532A CN115391425A CN 115391425 A CN115391425 A CN 115391425A CN 202211043532 A CN202211043532 A CN 202211043532A CN 115391425 A CN115391425 A CN 115391425A
- Authority
- CN
- China
- Prior art keywords
- data
- flow
- matching
- analysis
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Fuzzy Systems (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于属性传递的流程一致性检验方法与系统,属于数据传递分析领域,该检验方法具体步骤如下:(1)核验源流程传递数据并获取属性表;(2)获取并指定传递字段参数;(3)依据属性表对各参数进行匹配分析;(4)将异常的流程信息反馈给工作人员;本发明通过构建分析网络模型对源要素提取,能够提高属性要素提取的准确性,同时分析网络模型能够自行依据过往检测结果进行优化,简化工作人员维护步骤,方便工作人员使用,提高工作人员使用体验,能够定期对云端服务器中存储的数据进行清理,避免因存储多余的冗余数据影响数据传输,提高数据传输效率,节省工作人员人工清理时间。
Description
技术领域
本发明涉及数据传递分析领域,尤其涉及一种基于属性传递的流程一致性检验方法与系统。
背景技术
流程挖掘是近年来新兴的数字化工具,其工作原理是从信息系统记录的事件日志中提取各流程活动的时间和关联信息,从而还原出该流程的实际工作情况,其中流程一致性指的是评价流程现有路径和标准流程路径是否一致,对两者之间的一致性程度做出量化评价,并发现两者之间不一致的地方。通过检验两者之间的偏差以及权衡偏差的严重性,可以改进流程以提高流程模型的效率,使得流程模型可以更好的为业务服务。因此,一致性检验在流程挖掘中意义重大;
现有的基于属性传递的流程一致性检验方法与系统属性要素提取的准确性低,不方便工作人员使用,降低工作人员使用体验;此外,现有的基于属性传递的流程一致性检验方法与系统容易出现因存储多余的冗余数据从而影响数据传输,降低数据传输效率;为此,我们提出一种基于属性传递的流程一致性检验方法与系统。
发明内容
本发明的目的是为了解决现有技术中存在的缺陷,而提出的一种基于属性传递的流程一致性检验方法与系统。
为了实现上述目的,本发明采用了如下技术方案:
一种基于属性传递的流程一致性检验方法,该检验方法具体步骤如下:
(1)核验源流程传递数据并获取属性表;
(2)获取并指定传递字段参数;
(3)依据属性表对各参数进行匹配分析;
(4)将异常的流程信息反馈给工作人员。
作为本发明的进一步方案,步骤(1)所述传递数据核验具体步骤如下:
步骤一:构建分析网络模型,同时对该分析网络模型进行优化,之后依据工作人员选择信息抓取相对应的数据流程作为源数据流程,并将其流程信息导入分析网络模型中;
步骤二:分析网络模型提取该流程信息特征数据,并通过归一化转换函数将各组特征数据转换至默认检测区间内,之后将归一化后的各组特征数据送入双向特征金字塔,进行特征融合以生成特征检测图,并对特征检测图进行分类回归以输出属性检测框,其归一化具体计算公式如下:
式中,xnew代表归一化后的数据,xmin代表特征数据的最小值,xmax代表特征数据的最大值,x代表源数据流程的特征数据;
步骤三:收集检测框信息,并生成相对应的检测框坐标信息,之后依据获取的坐标信息对相关样本检测图进行扩大化剪裁以获取相关流程中的源要素并记录以生成相关属性表。
作为本发明的进一步方案,第一步所述分析网络模型具体优化步骤如下:
第一步:分析网络模型收集过往检测结果,并将收集到的各组检测结果分为验证集、测试集以及训练集,并重复多次使用验证集中的各组数据对分析网络模型精度进行验证,并统计测试集中各数据均方根误差,同时测试集中每组数据都进行一次预测;
第二步:将预测结果最好的数据作为最优参数输出,依据最后参数对训练集进行标准化处理生成训练样本,之后将训练样本输送到分析网络模型中,并采用长期迭代法对该分析网络模型进行实时优化。
作为本发明的进一步方案,步骤(2)所述传递字段参数指定具体步骤如下:
S1.1:依据工作人员选择的源数据流程,对该数据流程外的其余数据流程进行抓取,同时对各组流程信息中的传输数据中各组传递字段进行提取;
S1.2:对传递字段参数中指定一组或多组字段,如果传递字段的名称存在重复名称,则将重复的传递字段的名称追加后缀以保证名称唯一,并将指定的一组或多组字段作为目标要素。
作为本发明的进一步方案,步骤(3)所述匹配分析具体步骤如下:
S2.1:依据系统默认或人工设定的规则确认数据流程拓扑结构或空间模式,当属性表中的一个或多个源要素与一个或多个目标要素被识别为具有匹配的拓扑结构或空间模式时,将相应要素组成一个匹配组;
S2.2:接收各匹配组匹配置信度的值,并按照获取的匹配置信度将匹配结果分为以下四类:匹配置信度为100,得到指定匹配字段确认的匹配;匹配置信度为75,未得到指定匹配字段确认的匹配;匹配置信度为50,指定匹配字段中存在字段值差异;匹配置信度为0,不匹配的源要素或目标要素;
S2.3:对匹配置信度为75的各组目标要素进行重新匹配,之后收集匹配置信度为0以及50的各组目标要素,同时依据各组目标要素抓取相关数据流程,并将其标记为异常数据流程。
一种基于属性传递的流程一致性检验系统,包括管理平台、流程抓取模块、要素解析模块、解析优化模块、参数分析模块、异常分析模块、云端服务器以及数据清理模块;
其中,所述管理平台用于接收各子模块反馈的信息并以图像化的形式反馈给工作人员查看,同时依据工作人员操作信息下发控制指令;
所述流程抓取模块用于对工作人员选择的数据流程进行抓取,并将其标记为源数据流程;
要素解析模块用于构建分析网络模型以对源数据流程中的源要素进行解析提取;
解析优化模块用于对分析网络模型进行训练优化;
所述参数分析模块用于对源流程后续流程中目标要素进行分析收集;
所述异常分析模块用于将源要素与目标要素进行匹配分析,并依据分析结果抓取异常流程;
所述云端服务器用于存储各子模块运行数据;
所述数据清理模块用于定期对云端服务器存储数据进行数据回收。
作为本发明的进一步方案,所述数据清理模块数据回收具体步骤如下:
P1:当云端服务器中的存储数据取值达到规定阈值后,数据清理模块依据系统默认或人工设定的循环时间值定期对各存储数据进行收集计算以及更新;
P2:将每次更新后的收集数值反馈至管理平台供工作人员进行查看,之后数据清理模块对云端服务器内各组存储数据由老到新进行抽取,再对各组存储数据依据计算出的收集数值进行回收,并将收集信息反馈至管理平台供工作人员进行查看。
相比于现有技术,本发明的有益效果在于:
1、该基于属性传递的流程一致性检验方法相较于以往检验方法,本发明通过分析网络模型收集过往检测结果,并将收集到的各组检测结果分为验证集、测试集以及训练集,并重复多次使用验证集中的各组数据对分析网络模型精度进行验证,并统计测试集中各数据均方根误差,同时测试集中每组数据都进行一次预测,之后将预测结果最好的数据作为最优参数输出,依据最后参数对训练集进行标准化处理生成训练样本,之后将训练样本输送到分析网络模型中,并采用长期迭代法对该分析网络模型进行实时优化,然后分析网络模型接收并提取工作人员选择的源数据流程特征数据,并提取其特征数据并通过特征融合以生成特征检测图,之后进行扩大化剪裁获取源要素,通过构建分析网络模型对源要素提取,能够提高属性要素提取的准确性,同时分析网络模型能够自行依据过往检测结果进行优化,简化工作人员维护步骤,方便工作人员使用,提高工作人员使用体验;
2、该基于属性传递的流程一致性检验系统设置有数据清理模块,当云端服务器中的存储数据取值达到规定阈值后,数据清理模块依据系统默认或人工设定的循环时间值定期对各存储数据进行收集计算以及更新,之后将每次更新后的收集数值反馈至管理平台供工作人员进行查看,之后数据清理模块对云端服务器内各组存储数据由老到新进行抽取,再对各组存储数据依据计算出的收集数值进行回收,并将收集信息反馈至管理平台供工作人员进行查看,能够定期对云端服务器中存储的数据进行清理,避免因存储多余的冗余数据影响数据传输,提高数据传输效率,节省工作人员人工清理时间。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。
图1为本发明提出的一种基于属性传递的流程一致性检验方法的流程框图;
图2为本发明提出的一种基于属性传递的流程一致性检验系统的系统框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
实施例1
参照图1,本实施例公开了一种基于属性传递的流程一致性检验方法,该检验方法具体步骤如下:
核验源流程传递数据并获取属性表。
具体的,首先要素解析模块构建分析网络模型,同时通过解析优化模块对该分析网络模型进行优化,之后依据工作人员选择信息抓取相对应的数据流程作为源数据流程,并将其流程信息导入分析网络模型中,分析网络模型提取该流程信息特征数据,并通过归一化转换函数将各组特征数据转换至默认检测区间内,之后将归一化后的各组特征数据送入双向特征金字塔,进行特征融合以生成特征检测图,并对特征检测图进行分类回归以输出属性检测框,再收集检测框信息,并生成相对应的检测框坐标信息,之后依据获取的坐标信息对相关样本检测图进行扩大化剪裁以获取相关流程中的源要素并记录以生成相关属性表。
其归一化具体计算公式如下:
式中,xnew代表归一化后的数据,xmin代表特征数据的最小值,xmax代表特征数据的最大值,x代表源数据流程的特征数据。
需要进一步说明的是,分析网络模型收集过往检测结果,并将收集到的各组检测结果分为验证集、测试集以及训练集,并重复多次使用验证集中的各组数据对分析网络模型精度进行验证,并统计测试集中各数据均方根误差,同时测试集中每组数据都进行一次预测,之后将预测结果最好的数据作为最优参数输出,依据最后参数对训练集进行标准化处理生成训练样本,之后将训练样本输送到分析网络模型中,并采用长期迭代法对该分析网络模型进行实时优化。
获取并指定传递字段参数。
具体的,参数分析模块依据工作人员选择的源数据流程,对该数据流程外的其余数据流程进行抓取,同时对各组流程信息中的传输数据中各组传递字段进行提取,对传递字段参数中指定一组或多组字段,如果传递字段的名称存在重复名称,则将重复的传递字段的名称追加后缀以保证名称唯一,并将指定的一组或多组字段作为目标要素。
依据属性表对各参数进行匹配分析。
具体的,依据系统默认或人工设定的规则确认数据流程拓扑结构或空间模式,当属性表中的一个或多个源要素与一个或多个目标要素被识别为具有匹配的拓扑结构或空间模式时,将相应要素组成一个匹配组,之后检测并分析各匹配组匹配置信度的值,并按照获取的匹配置信度将匹配结果分为以下四类:匹配置信度为100,得到指定匹配字段确认的匹配;匹配置信度为75,未得到指定匹配字段确认的匹配;匹配置信度为50,指定匹配字段中存在字段值差异;匹配置信度为0,不匹配的源要素或目标要素,再对匹配置信度为75的各组目标要素进行重新匹配,之后收集匹配置信度为0以及50的各组目标要素,同时依据各组目标要素抓取相关数据流程,并将其标记为异常数据流程。
将异常的流程信息反馈给工作人员。
实施例2
参照图2,本实施例公开了一种基于属性传递的流程一致性检验系统,包括管理平台、流程抓取模块、要素解析模块、解析优化模块、参数分析模块、异常分析模块、云端服务器以及数据清理模块。
其中,管理平台用于接收各子模块反馈的信息并以图像化的形式反馈给工作人员查看,同时依据工作人员操作信息下发控制指令。
流程抓取模块用于对工作人员选择的数据流程进行抓取,并将其标记为源数据流程。
要素解析模块用于构建分析网络模型以对源数据流程中的源要素进行解析提取。
解析优化模块用于对分析网络模型进行训练优化。
参数分析模块用于对源流程后续流程中目标要素进行分析收集。
异常分析模块用于将源要素与目标要素进行匹配分析,并依据分析结果抓取异常流程。
云端服务器用于存储各子模块运行数据。
数据清理模块用于定期对云端服务器存储数据进行数据回收。
具体的,当云端服务器中的存储数据取值达到规定阈值后,数据清理模块依据系统默认或人工设定的循环时间值定期对各存储数据进行收集计算以及更新,之后将每次更新后的收集数值反馈至管理平台供工作人员进行查看,之后数据清理模块对云端服务器内各组存储数据由老到新进行抽取,再对各组存储数据依据计算出的收集数值进行回收,并将收集信息反馈至管理平台供工作人员进行查看。
Claims (7)
1.一种基于属性传递的流程一致性检验方法,其特征在于,该检验方法具体步骤如下:
(1)核验源流程传递数据并获取属性表;
(2)获取并指定传递字段参数;
(3)依据属性表对各参数进行匹配分析;
(4)将异常的流程信息反馈给工作人员。
2.根据权利要求1所述的一种基于属性传递的流程一致性检验方法,其特征在于,步骤(1)所述传递数据核验具体步骤如下:
步骤一:构建分析网络模型,同时对该分析网络模型进行优化,之后依据工作人员选择信息抓取相对应的数据流程作为源数据流程,并将其流程信息导入分析网络模型中;
步骤二:分析网络模型提取该流程信息特征数据,并通过归一化转换函数将各组特征数据转换至默认检测区间内,之后将归一化后的各组特征数据送入双向特征金字塔,进行特征融合以生成特征检测图,并对特征检测图进行分类回归以输出属性检测框,其归一化具体计算公式如下:
式中,xnew代表归一化后的数据,xmin代表特征数据的最小值,xmax代表特征数据的最大值,x代表源数据流程的特征数据;
步骤三:收集检测框信息,并生成相对应的检测框坐标信息,之后依据获取的坐标信息对相关样本检测图进行扩大化剪裁以获取相关流程中的源要素并记录以生成相关属性表。
3.根据权利要求2所述的一种基于属性传递的流程一致性检验方法,其特征在于,第一步所述分析网络模型具体优化步骤如下:
第一步:分析网络模型收集过往检测结果,并将收集到的各组检测结果分为验证集、测试集以及训练集,并重复多次使用验证集中的各组数据对分析网络模型精度进行验证,并统计测试集中各数据均方根误差,同时测试集中每组数据都进行一次预测;
第二步:将预测结果最好的数据作为最优参数输出,依据最后参数对训练集进行标准化处理生成训练样本,之后将训练样本输送到分析网络模型中,并采用长期迭代法对该分析网络模型进行实时优化。
4.根据权利要求1所述的一种基于属性传递的流程一致性检验方法,其特征在于,步骤(2)所述传递字段参数指定具体步骤如下:
S1.1:依据工作人员选择的源数据流程,对该数据流程外的其余数据流程进行抓取,同时对各组流程信息中的传输数据中各组传递字段进行提取;
S1.2:对传递字段参数中指定一组或多组字段,如果传递字段的名称存在重复名称,则将重复的传递字段的名称追加后缀以保证名称唯一,并将指定的一组或多组字段作为目标要素。
5.根据权利要求4所述的一种基于属性传递的流程一致性检验方法,其特征在于,步骤(3)所述匹配分析具体步骤如下:
S2.1:依据系统默认或人工设定的规则确认数据流程拓扑结构或空间模式,当属性表中的一个或多个源要素与一个或多个目标要素被识别为具有匹配的拓扑结构或空间模式时,将相应要素组成一个匹配组;
S2.2:接收各匹配组匹配置信度的值,并按照获取的匹配置信度将匹配结果分为以下四类:匹配置信度为100,得到指定匹配字段确认的匹配;匹配置信度为75,未得到指定匹配字段确认的匹配;匹配置信度为50,指定匹配字段中存在字段值差异;匹配置信度为0,不匹配的源要素或目标要素;
S2.3:对匹配置信度为75的各组目标要素进行重新匹配,之后收集匹配置信度为0以及50的各组目标要素,同时依据各组目标要素抓取相关数据流程,并将其标记为异常数据流程。
6.一种基于属性传递的流程一致性检验系统,其特征在于,包括管理平台、流程抓取模块、要素解析模块、解析优化模块、参数分析模块、异常分析模块、云端服务器以及数据清理模块;
其中,所述管理平台用于接收各子模块反馈的信息并以图像化的形式反馈给工作人员查看,同时依据工作人员操作信息下发控制指令;
所述流程抓取模块用于对工作人员选择的数据流程进行抓取,并将其标记为源数据流程;
要素解析模块用于构建分析网络模型以对源数据流程中的源要素进行解析提取;
解析优化模块用于对分析网络模型进行训练优化;
所述参数分析模块用于对源流程后续流程中目标要素进行分析收集;
所述异常分析模块用于将源要素与目标要素进行匹配分析,并依据分析结果抓取异常流程;
所述云端服务器用于存储各子模块运行数据;
所述数据清理模块用于定期对云端服务器存储数据进行数据回收。
7.根据权利要求6所述的一种基于属性传递的流程一致性检验系统,其特征在于,所述数据清理模块数据回收具体步骤如下:
P1:当云端服务器中的存储数据取值达到规定阈值后,数据清理模块依据系统默认或人工设定的循环时间值定期对各存储数据进行收集计算以及更新;
P2:将每次更新后的收集数值反馈至管理平台供工作人员进行查看,之后数据清理模块对云端服务器内各组存储数据由老到新进行抽取,再对各组存储数据依据计算出的收集数值进行回收,并将收集信息反馈至管理平台供工作人员进行查看。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211043532.4A CN115391425A (zh) | 2022-08-29 | 2022-08-29 | 一种基于属性传递的流程一致性检验方法与系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211043532.4A CN115391425A (zh) | 2022-08-29 | 2022-08-29 | 一种基于属性传递的流程一致性检验方法与系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115391425A true CN115391425A (zh) | 2022-11-25 |
Family
ID=84122131
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211043532.4A Withdrawn CN115391425A (zh) | 2022-08-29 | 2022-08-29 | 一种基于属性传递的流程一致性检验方法与系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115391425A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116431616A (zh) * | 2023-06-13 | 2023-07-14 | 深圳市诚识科技有限公司 | 一种基于云计算的大数据模型管理系统及方法 |
-
2022
- 2022-08-29 CN CN202211043532.4A patent/CN115391425A/zh not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116431616A (zh) * | 2023-06-13 | 2023-07-14 | 深圳市诚识科技有限公司 | 一种基于云计算的大数据模型管理系统及方法 |
CN116431616B (zh) * | 2023-06-13 | 2023-09-01 | 深圳市诚识科技有限公司 | 一种基于云计算的大数据模型管理系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107391353A (zh) | 基于日志的复杂软件系统异常行为检测方法 | |
CN105022373A (zh) | 基于zigbee技术的港口设备维护系统 | |
CN115391425A (zh) | 一种基于属性传递的流程一致性检验方法与系统 | |
CN114880312B (zh) | 一种可柔性设置的应用系统业务数据稽核方法 | |
CN113918947A (zh) | 一种电力监控系统 | |
CN115409992A (zh) | 一种远程驾驶巡逻车系统 | |
CN113657747B (zh) | 一种企业安全生产标准化级别智能评定系统 | |
CN112598142B (zh) | 一种风电机组检修工作质量审查辅助方法与系统 | |
CN113628024A (zh) | 基于大数据平台系统的财务数据智能稽核系统及方法 | |
CN113438248B (zh) | 一种便于主站网络ip地址自查管理系统 | |
CN115086391A (zh) | 基于穿戴式配网巡检装备的故障专家系统及其使用方法 | |
CN115186935A (zh) | 一种机电设备非线性故障预测方法及系统 | |
CN115269438A (zh) | 针对图像处理算法的自动化测试方法及装置 | |
CN110087066B (zh) | 一种应用于网上巡查的一键自动巡检方法 | |
CN115391080A (zh) | 一种基于属性过滤的流程一致性检验方法与系统 | |
CN113407520A (zh) | 一种基于机器学习的电力网络安全数据清洗系统及方法 | |
CN112598503A (zh) | 一种基于征信识别的ocr识别系统及方法 | |
CN110109968B (zh) | 基于网络数据捕获的信号系统时序一致性分析方法 | |
CN117591507B (zh) | 一种用于测控装备的数据质量特性自动化构建方法和系统 | |
CN116503016A (zh) | 一种rpa机器人自动化作业的方法和系统 | |
CN116823215B (zh) | 一种用于电站的智慧运维管控方法及系统 | |
CN116627090B (zh) | 基于切削状态诊断的数控机床调控方法及系统 | |
CN115993952B (zh) | 基于risc-v的桥梁支座监测芯片及设计系统、方法 | |
CN218456425U (zh) | 一种互联网计算机大数据信息处理系统 | |
CN112149969A (zh) | 特高压直流控制保护合并单元运行状态评价方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20221125 |
|
WW01 | Invention patent application withdrawn after publication |