CN113269268A - 基于大数据的数据匹配方法、系统及云平台 - Google Patents
基于大数据的数据匹配方法、系统及云平台 Download PDFInfo
- Publication number
- CN113269268A CN113269268A CN202110665750.0A CN202110665750A CN113269268A CN 113269268 A CN113269268 A CN 113269268A CN 202110665750 A CN202110665750 A CN 202110665750A CN 113269268 A CN113269268 A CN 113269268A
- Authority
- CN
- China
- Prior art keywords
- data
- abnormal
- matching
- operation index
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本申请是关于基于大数据的数据匹配方法、系统及云平台。基于异常显示数据生成异常标签。从获取到的操作事项数据中确定出第一操作指标数据并异常显示数据中确定出第二操作指标数据。然后,在第一操作指标数据和第二操作指标数据相似时基于异常标签将确定为审核数据的操作事项数据进行匹配,以实现对出现异常的智能匹配模型的在线审核,在第一操作指标数据和第二操作指标数据不相似时确定剔除异常标签之外的匹配指示数据并基于匹配指示数据将确定为正常数据的操作事项数据进行匹配,确保当智能匹配模型处于异常分析状态时不会获取到的操作事项数据。如此,在对智能匹配模型进行异常分析时,能够对操作事项数据进行准确地匹配。
Description
技术领域
本申请涉及数据匹配技术领域,尤其涉及基于大数据的数据匹配方法、系统及云平台。
背景技术
在数据流通的过程中,通常需要对数据需方所需数据和数据供方所提供的数据之间进行数据匹配,这样能有效地提相关数据匹配度。但是随着相关数据量不断地增加,这样就会给云平台带来巨大地运算负担,在每一个信息的进行匹配的时候,存在相关数据不能精确地匹配的问题(比如:相关数据存在着一定误差,这样导致相关数据匹配失败)。
发明内容
本申请提供基于大数据的数据匹配方法、系统及云平台,以改善现有技术存在的上述技术问题。
提供一种基于大数据的数据匹配方法,所述方法包括:
实时判断是否获取到操作事项数据;若获取到所述操作事项数据,则分析是否存在异常显示数据,在分析到存在所述异常显示数据的情况下,基于所述异常显示数据生成异常标签;其中,所述异常标签是对审核数据进行匹配的智能匹配模型形成的,所述异常标签中包括多个模型检测点,每个模型检测点对应一个智能匹配模型,所述异常标签中对应的每个智能匹配模型处于不同的设备集合中;
从所述操作事项数据中确定出第一操作指标数据以及从所述异常显示数据中确定出第二操作指标数据;其中,所述第二操作指标数据是预先设置的审核数据对应的操作指标数据;
将所述第一操作指标数据和第二操作指标数据进行匹配,得到匹配结果;
在所述匹配结果表征所述第一操作指标数据和所述第二操作指标数据相似时,基于所述异常标签将所述操作事项数据进行匹配;
在所述匹配结果表征所述第一操作指标数据和所述第二操作指标数据不相似时,确定剔除所述异常标签之外的匹配指示数据,基于所述匹配指示数据将所述操作事项数据进行匹配。
优选地,基于所述异常标签将所述操作事项数据进行匹配的步骤,包括:
将所述操作事项数据匹配给所述异常标签中的第一个模型检测点对应的第一个智能匹配模型;
使第一个智能匹配模型根据预先设置的第三操作指标数据与所述操作事项数据中的第一操作指标数据之间的判别结果,将所述操作事项数据匹配给第一个智能匹配模型的下一个智能匹配模型。
优选地,所述使第一个智能匹配模型根据预先设置的第三操作指标数据与所述操作事项数据中的第一操作指标数据之间的判别结果,将所述操作事项数据匹配给第一个智能匹配模型的下一个智能匹配模型的步骤,包括:
在所述判别结果表征所述第三操作指标数据和所述第一操作指标数据相似时,使第一个智能匹配模型将所述操作事项数据匹配给目标智能匹配模型;
在所述判别结果表征所述第三操作指标数据和所述第一操作指标数据不相似时,使第一个智能匹配模型将所述操作事项数据匹配给所述目标智能匹配模型所在的设备集合中剔除所述目标智能匹配模型之外的任意一个智能匹配模型。
优选地,基于所述匹配指示数据将所述操作事项数据进行匹配的步骤,包括:
将所述操作事项数据匹配给所述异常标签中的第一个模型检测点对应的第一个智能匹配模型所在的设备集合中剔除第一个智能匹配模型之外的任意一个智能匹配模型。
优选地,所述方法还包括:
在获取到所述异常标签中最后一个模型检测点对应的智能匹配模型根据接收的所述操作事项数据所回馈的确认数据时,重新生成所述异常标签。
优选地,所述方法还包括:
在分析到针对所述异常标签的构建完成数据时,向所述异常显示数据对应的当前智能匹配模型发送监控指标以使所述当前智能匹配模型暂停输出所述异常显示数据。
优选地,从所述操作事项数据中确定出第一操作指标数据的步骤,包括:
获取所述操作事项数据的第一关键内容数据;在预先设置数据库中遍历第二关键内容数据得到遍历结果,所述预先设置数据库用于标记多个目标关键内容数据以及每个目标关键内容数据的浮动数据向量和每个目标关键内容数据的数据分类,所述第二关键内容数据为与所述第一关键内容数据相似的关键内容数据;
当所述遍历结果表征所述预先设置数据库中存在所述第二关键内容数据时,基于所述第一关键内容数据的第一数据分类和所述第二关键内容数据的第二数据分类,得到所述第二关键内容数据的误差响应单元;其中,所述误差响应单元用于表征所述第二关键内容数据对所述第一关键内容数据的误差扰动;
确定所述第二关键内容数据的平均提取频率,并基于所述平均提取频率确定所述第二关键内容数据的当前提取权重;基于所述误差响应单元和所述当前提取权重,对上传所述第二关键内容数据的训练模型进行浮动数据提取,得到所述第二关键内容数据相对于所述训练模型的第二浮动数据;其中,所述训练模型为所述智能匹配异常处理之外的智能匹配模型;
通过预先设置的操作指标数据识别标准对所述第一关键内容数据进行内容识别,得到识别结果;所述识别结果包括所述第一关键内容数据的多个目标浮动数据向量、每个目标浮动数据向量的权重以及所述第一关键内容数据在每个目标浮动数据向量下的第一浮动数据;
确定与所述第二浮动数据之间的浮动参数最小的第一浮动数据,对该第一浮动数据进行分析,得到所述第一操作指标数据。
优选地,从所述异常显示数据中确定出第二操作指标数据的步骤,包括:
确定所述异常显示数据中的异常区域范围,并基于所述异常区域范围进行异常范围提取;所述异常区域范围为所述异常显示数据中与操作指标数据相关的异常范围所形成的区域范围;
将所述异常显示数据的异常范围与预先设置数据集合中每个预先设置数据的异常范围进行数据更新配对得到配对结果;所述预先设置数据集合中保存有多个预先设置数据对应的标签分类以及所述标签分类所表征的标签范围边界;
在所述配对结果表征所述异常显示数据的异常范围与每个预先设置数据的异常范围均配对成功的前提下,从所述异常显示数据的异常范围中提取出数据标签排列;判断所述异常显示数据的异常范围中的数据标签排列相对于所述异常显示数据的上一异常范围中的数据标签排列是否发生变化;
如果是,将从所述异常显示数据中的异常范围中提取出的数据标签排列确定为所述第二操作指标数据对应的标签排列;
否则,将从所述异常显示数据中异常范围中提取出的数据标签排列与所述异常显示数据中的上一异常范围中对应标签区域范围的目标标签排列进行整合,并将整合结果确定为所述第二操作指标数据对应的标签排列;
根据所述第二操作指标数据对应的标签排列确定所述第二操作指标数据。
提供一种基于大数据的数据匹配系统,包括数据采集模型和云平台,所述数据采集模型和所述云平台通信连接,所述云平台具体用于:
实时判断是否获取到操作事项数据;若获取到所述操作事项数据,则分析是否存在异常显示数据,在分析到存在所述异常显示数据的情况下,基于所述异常显示数据生成异常标签;其中,所述异常标签是对审核数据进行匹配的智能匹配模型形成的,所述异常标签中包括多个模型检测点,每个模型检测点对应一个智能匹配模型,所述异常标签中对应的每个智能匹配模型处于不同的设备集合中;
从所述操作事项数据中确定出第一操作指标数据以及从所述异常显示数据中确定出第二操作指标数据;其中,所述第二操作指标数据是预先设置的审核数据对应的操作指标数据;
将所述第一操作指标数据和第二操作指标数据进行匹配,得到匹配结果;
在所述匹配结果表征所述第一操作指标数据和所述第二操作指标数据相似时,基于所述异常标签将所述操作事项数据进行匹配;
在所述匹配结果表征所述第一操作指标数据和所述第二操作指标数据不相似时,确定剔除所述异常标签之外的匹配指示数据,基于所述匹配指示数据将所述操作事项数据进行匹配。
提供一种云平台,包括:
存储器,用于存储计算机程序;
与所述存储器连接的处理器,用于执行该存储器存储的计算机程序,以实现上述的方法。
通过上述方案,首先,在分析到存在异常显示数据的情况下,基于异常显示数据生成异常标签。其次,从获取到的操作事项数据中确定出第一操作指标数据并异常显示数据中确定出第二操作指标数据。然后,在第一操作指标数据和第二操作指标数据相似时基于异常标签将确定为审核数据的操作事项数据进行匹配,以实现对出现异常的智能匹配模型的在线审核,在第一操作指标数据和第二操作指标数据不相似时确定剔除异常标签之外的匹配指示数据从而基于匹配指示数据将确定为正常数据的操作事项数据进行匹配,确保当智能匹配模型处于异常分析状态时不会获取到的操作事项数据。如此,在对智能匹配模型进行异常分析时,能够对操作事项数据进行正确地处理。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是本申请根据一示例性实施例示出的一种基于大数据的数据匹配方法的流程图。
图2是本申请根据一示例性实施例示出的一种基于大数据的数据匹配装置的一个实施例框图。
图3为本申请基于大数据的数据匹配装置所在云平台的一种硬件结构图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明,以使本领域的技术人员可以更好地理解本发明并能予以实施,但所举实施例不作为对本发明的限定。
在上述基础上,请结合参阅图1,为本发明实施例所提供的一种基于大数据的数据匹配方法的流程图,具体可以通过以下步骤实现。
步骤210,实时判断是否获取到操作事项数据;若获取到所述操作事项数据,则分析是否存在异常显示数据,在分析到存在所述异常显示数据的情况下,基于所述异常显示数据生成异常标签。
示例性的,所述异常标签是对审核数据进行匹配的智能匹配模型形成的,所述异常标签中包括多个模型检测点,每个模型检测点对应一个智能匹配模型,所述异常标签中对应的每个智能匹配模型处于不同的设备集合中。
步骤220,从所述操作事项数据中确定出第一操作指标数据以及从所述异常显示数据中确定出第二操作指标数据。
示例性的,所述第二操作指标数据是预先设置的审核数据对应的操作指标数据。
步骤230,将所述第一操作指标数据和第二操作指标数据进行匹配,得到匹配结果。
示例性的,匹配结果表示通过第一操作指标数据和第二操作指标数据的交集形成的结果。
步骤240,在所述匹配结果表征所述第一操作指标数据和所述第二操作指标数据相似时,基于所述异常标签将所述操作事项数据进行匹配。
示例性的,异常标签表示匹配结果存在误差的相关数据。
步骤250,在所述匹配结果表征所述第一操作指标数据和所述第二操作指标数据不相似时,确定剔除所述异常标签之外的匹配指示数据,基于所述匹配指示数据将所述操作事项数据进行匹配。
示例性的,操作事项数据表示除了异常标签之外的准确数据形成的匹配指示数据。
通过上述步骤210-步骤250,首先,在分析到存在异常显示数据的情况下,基于异常显示数据生成异常标签。其次,从获取到的操作事项数据中确定出第一操作指标数据并异常显示数据中确定出第二操作指标数据。然后,在第一操作指标数据和第二操作指标数据相似时基于异常标签将确定为审核数据的操作事项数据进行匹配,以实现对出现异常的智能匹配模型的在线审核,在第一操作指标数据和第二操作指标数据不相似时确定剔除异常标签之外的匹配指示数据从而基于匹配指示数据将确定为正常数据的操作事项数据进行匹配,确保当智能匹配模型处于异常分析状态时不会获取到的操作事项数据。如此,在对智能匹配模型进行异常分析时,能够对操作事项数据进行正确地处理。
在一个可能的示例中,步骤240所叙述的基于所述异常标签将所述操作事项数据进行匹配,具体可以包括以下内容。
步骤241,将所述操作事项数据匹配给所述异常标签中的第一个模型检测点对应的第一个智能匹配模型。
步骤242,使第一个智能匹配模型根据预先设置的第三操作指标数据与所述操作事项数据中的第一操作指标数据之间的判别结果,将所述操作事项数据匹配给第一个智能匹配模型的下一个智能匹配模型。
一方面,在所述判别结果表征所述第三操作指标数据和所述第一操作指标数据相似时,使第一个智能匹配模型将所述操作事项数据匹配给目标智能匹配模型;其中,目标智能匹配模型是异常标签中第一个智能匹配模型的下一个智能匹配模型。
另一方面,在所述判别结果表征所述第三操作指标数据和所述第一操作指标数据不相似时,使第一个智能匹配模型将所述操作事项数据匹配给所述目标智能匹配模型所在的设备集合中剔除所述目标智能匹配模型之外的任意一个智能匹配模型。
这样,能够通过对训练模型操作指标数据的分级判断,能够确保操作事项数据的正确匹配,避免延误的就诊。
在另一个可能的示例中,步骤250所叙述的基于所述匹配指示数据将所述操作事项数据进行匹配具体包括:将所述操作事项数据匹配给所述异常标签中的第一个模型检测点对应的第一个智能匹配模型所在的设备集合中剔除第一个智能匹配模型之外的任意一个智能匹配模型。
在本实施例中,匹配指示数据中包括模型标签,该模型标签与异常标签不同,模型标签中的模型检测点与异常标签中的模型检测点全部不相似。
在上述基础上,所述方法还可以包括:在获取到所述异常标签中最后一个模型检测点对应的智能匹配模型根据接收的所述操作事项数据所回馈的确认数据时,重新生成所述异常标签。如此,通过对异常标签的修改,能够采用不同的异常测试操作进行异常修复的测试和复核,确保智能匹配模型在完成异常修复后能够正常地使用。
在上述基础上,该方法还可以包括:在分析到针对所述异常标签的构建完成数据时,向所述异常显示数据对应的当前智能匹配模型发送监控指标以使所述当前智能匹配模型暂停输出所述异常显示数据。
在本实施例中,构建完成数据用于表征云平台200已完成对异常标签的全部分类的构建。在这种情况下,可以确定异常修复的测试工序和复核工序完成,云平台200可以向当前智能匹配模型发送监控指标,进而使得当前智能匹配模型暂停异常显示数据的输出。
在具体实施时,为了有效地过滤操作事项数据中的误差,进而准确地确定第一操作指标数据,步骤220所叙述的从所述操作事项数据中确定出第一操作指标数据,具体可以包括以下步骤所叙述的内容。
步骤2211,获取所述操作事项数据的第一关键内容数据;在预先设置数据库中遍历第二关键内容数据得到遍历结果,所述预先设置数据库用于标记多个目标关键内容数据以及每个目标关键内容数据的浮动数据向量和每个目标关键内容数据的数据分类,所述第二关键内容数据为与所述第一关键内容数据相似的关键内容数据。
步骤2212,当所述遍历结果表征所述预先设置数据库中存在所述第二关键内容数据时,基于所述第一关键内容数据的第一数据分类和所述第二关键内容数据的第二数据分类,得到所述第二关键内容数据的误差响应单元;其中,所述误差响应单元用于表征所述第二关键内容数据对所述第一关键内容数据的误差扰动。
步骤2213,确定所述第二关键内容数据的平均提取频率,并基于所述平均提取频率确定所述第二关键内容数据的当前提取权重;基于所述误差响应单元和所述当前提取权重,对上传所述第二关键内容数据的训练模型进行浮动数据提取,得到所述第二关键内容数据相对于所述训练模型的第二浮动数据;其中,所述训练模型为所述智能匹配异常处理之外的智能匹配模型。
步骤2214,通过预先设置的操作指标数据识别标准对所述第一关键内容数据进行内容识别,得到识别结果;所述识别结果包括所述第一关键内容数据的多个目标浮动数据向量、每个目标浮动数据向量的权重以及所述第一关键内容数据在每个目标浮动数据向量下的第一浮动数据。
步骤2215,确定与所述第二浮动数据之间的浮动参数最小的第一浮动数据,对该第一浮动数据进行分析,得到所述第一操作指标数据。
可以理解,基于上述步骤2211-步骤2215,能够给予第一浮动数据和第二浮动数据之间的浮动参数有效地过滤操作事项数据中的误差,进而准确地确定第一操作指标数据。
在另一个示例中,步骤220所叙述的从所述异常显示数据中确定出第二操作指标数据的步骤,具体可以包括以下步骤所叙述的内容。
步骤2221,确定所述异常显示数据中的异常区域范围,并基于所述异常区域范围进行异常范围提取;所述异常区域范围为所述异常显示数据中与操作指标数据相关的异常范围所形成的区域范围。
步骤2222,将所述异常显示数据的异常范围与预先设置数据集合中每个预先设置数据的异常范围进行数据更新配对得到配对结果;所述预先设置数据集合中保存有多个预先设置数据对应的标签分类以及所述标签分类所表征的标签范围边界。
步骤2223,在所述配对结果表征所述异常显示数据的异常范围与每个预先设置数据的异常范围均配对成功的前提下,从所述异常显示数据的异常范围中提取出数据标签排列;判断所述异常显示数据的异常范围中的数据标签排列相对于所述异常显示数据的上一异常范围中的数据标签排列是否发生变化。
步骤2225,如果是,将从所述异常显示数据中的异常范围中提取出的数据标签排列确定为所述第二操作指标数据对应的标签排列。
步骤2226,否则,将从所述异常显示数据中异常范围中提取出的数据标签排列与所述异常显示数据中的上一异常范围中对应标签区域范围的目标标签排列进行整合,并将整合结果确定为所述第二操作指标数据对应的标签排列。
步骤2227,根据所述第二操作指标数据对应的标签排列确定所述第二操作指标数据。
在应用上述步骤2221-步骤2227所叙述的方法时,能够将异常显示数据在智能匹配模型和云平台之间的传输时进行的标签压缩和标签转换考虑在内,从而根据异常范围标签排列是否发生变化来确定第二操作指标数据对应的标签排列。这样,可以准确、无误地确定出第二操作指标数据。
在一种可替换的实施方式中,云平台200可能会先后训练其他处于正常运行状态的智能匹配模型,为了确保云平台200以及原有的智能匹配模型的数据完整性,避免数据匹配错误,在上述基础上,所述方法还可以包括以下步骤所叙述的内容。
步骤310,获取待训练模型发送的训练要求;其中,所述待训练模型为处于正常运行状态的其他智能匹配模型。
步骤320,对所述训练要求进行训练状态解析,得到所述训练要求对应的数据传输状态参数。
步骤330,对所述训练要求对应的数据传输状态参数进行第一特征提取,得到所述训练要求的第一特征,所述第一特征用于叙述所述数据传输状态参数的参数排列特征;对所述训练要求对应的数据传输状态参数进行第二特征提取,得到所述训练要求的第二特征,所述第二特征用于叙述所述数据传输状态参数的参数热度特征。
步骤340,当所述训练要求包括至少两个模型权限要求时,针对所述训练要求中的每一个模型权限要求,对所述模型权限要求的第一特征和第二特征分别进行检测,得到检测结果。
步骤350,基于所述检测结果,在预先设置的检测结果池中进行相似度搜索,得到当前搜索结果;对于所述当前搜索结果中包括的每一个预先设置检测结果,获取所述训练要求中包括的模型权限要求与所述预先设置检测结果之间的权重占比;获取所述训练要求中包括的模型权限要求在所述预先设置检测结果中的热度占比。
步骤360,基于与所述每一个预先设置检测结果匹配的权重占比以及热度占比,计算所述待训练模型发送的训练要求的数据关联系数,在所述数据关联系数大于或等于预先设置系数时,将所述待训练模型训练第一个设备集合中,在所述数据关联系数小于所述预先设置系数时,拒绝响应所述待训练模型发送的训练要求。
通过执行上述步骤310-步骤360所叙述的方法,能够对待训练模型进行训练验证,从而确保云平台200以及原有的智能匹配模型的数据完整性,避免数据匹配错误。
在另一种可替换的实施方式中,为了实现对出现异常的智能匹配模型的异常原因的追踪,在上述基础上,所述方法还可以包括以下步骤所叙述的内容。
步骤410,确定基于所述异常显示数据所提取到的数据标签。
步骤420,针对所述数据标签中的当前数据标签,基于当前数据标签在目标时长内的统计时长以及各所述数据标签在所述目标时长内的总统计时长,确定当前数据标签在所述目标时长内的统计权重。
步骤430,根据当前数据标签在两个相近的目标时长内的统计权重确定当前数据标签在两个相近的目标时长之间的全局异常系数。
步骤440,基于所述全局异常系数确定所述当前数据标签是否为有效标签。
步骤450,在确定出所述当前数据标签为有效标签时,基于所述当前数据标签在两个相近的目标时长内的统计权重,以及各所述数据标签在每个所述目标时长内的总统计时长确定各所述数据标签在两个相近的目标时长内的全局异常系数。
步骤460,基于所述全局异常系数和所述全局异常系数之间的映射关系确定所述异常显示数据所对应的异常类型,将异常类型与所述异常显示数据进行关联标记。
可以理解,通过上述步骤410-步骤460,能够对异常显示数据对应的数据标签进行分析,进而确定出用于对异常显示数据对应的异常原因进行追踪的异常类型。通过将异常显示数据和异常类型进行关联标记,能够实现对出现异常的智能匹配模型的异常原因进行有效追踪。
在上述基础上,请结合参阅图2,还提供了一种与智能匹配异常处理方法相对应的智能匹配异常处理装置500,具体叙述如下。
A1.一种基于大数据的数据匹配装置,所述装置包括:
异常标签生成模块510,用于实时判断是否获取到操作事项数据;若获取到所述操作事项数据,则分析是否存在异常显示数据,在分析到存在所述异常显示数据的情况下,基于所述异常显示数据生成异常标签;其中,所述异常标签是对审核数据进行匹配的智能匹配模型形成的,所述异常标签中包括多个模型检测点,每个模型检测点对应一个智能匹配模型,所述异常标签中对应的每个智能匹配模型处于不同的设备集合中;
指标数据确定模块520,用于从所述操作事项数据中确定出第一操作指标数据以及从所述异常显示数据中确定出第二操作指标数据;其中,所述第二操作指标数据是预先设置的审核数据对应的操作指标数据;
指标数据匹配模块530,用于将所述第一操作指标数据和第二操作指标数据进行匹配,得到匹配结果;
事项数据匹配模块540,用于在所述匹配结果表征所述第一操作指标数据和所述第二操作指标数据相似时,基于所述异常标签将所述操作事项数据进行匹配。
异常标签剔除模块550,用于在所述匹配结果表征所述第一操作指标数据和所述第二操作指标数据不相似时,确定剔除所述异常标签之外的匹配指示数据,基于所述匹配指示数据将所述操作事项数据进行匹配。
A2.如A1所述的装置,事项数据匹配模块540,用于:
将所述操作事项数据匹配给所述异常标签中的第一个模型检测点对应的第一个智能匹配模型;
使第一个智能匹配模型根据预先设置的第三操作指标数据与所述操作事项数据中的第一操作指标数据之间的判别结果,将所述操作事项数据匹配给第一个智能匹配模型的下一个智能匹配模型。
A3.如A2所述的装置,事项数据匹配模块540,用于:
在所述判别结果表征所述第三操作指标数据和所述第一操作指标数据相似时,使第一个智能匹配模型将所述操作事项数据匹配给目标智能匹配模型;
在所述判别结果表征所述第三操作指标数据和所述第一操作指标数据不相似时,使第一个智能匹配模型将所述操作事项数据匹配给所述目标智能匹配模型所在的设备集合中剔除所述目标智能匹配模型之外的任意一个智能匹配模型。
A4.如A1所述的装置,事项数据匹配模块540,用于:
将所述操作事项数据匹配给所述异常标签中的第一个模型检测点对应的第一个智能匹配模型所在的设备集合中剔除第一个智能匹配模型之外的任意一个智能匹配模型。
A5.如A1-A4任一项所述的装置,异常标签生成模块510,还用于:
在获取到所述异常标签中最后一个模型检测点对应的智能匹配模型根据接收的所述操作事项数据所回馈的确认数据时,重新生成所述异常标签。
A6.如A5所述的装置,异常标签生成模块510,还用于:
在分析到针对所述异常标签的构建完成数据时,向所述异常显示数据对应的当前智能匹配模型发送监控指标以使所述当前智能匹配模型暂停输出所述异常显示数据。
A7.如A1-A4任一项所述的装置,指标数据确定模块520,用于:
获取所述操作事项数据的第一关键内容数据;在预先设置数据库中遍历第二关键内容数据得到遍历结果,所述预先设置数据库用于标记多个目标关键内容数据以及每个目标关键内容数据的浮动数据向量和每个目标关键内容数据的数据分类,所述第二关键内容数据为与所述第一关键内容数据相似的关键内容数据;
当所述遍历结果表征所述预先设置数据库中存在所述第二关键内容数据时,基于所述第一关键内容数据的第一数据分类和所述第二关键内容数据的第二数据分类,得到所述第二关键内容数据的误差响应单元;其中,所述误差响应单元用于表征所述第二关键内容数据对所述第一关键内容数据的误差扰动;
确定所述第二关键内容数据的平均提取频率,并基于所述平均提取频率确定所述第二关键内容数据的当前提取权重;基于所述误差响应单元和所述当前提取权重,对上传所述第二关键内容数据的训练模型进行浮动数据提取,得到所述第二关键内容数据相对于所述训练模型的第二浮动数据;其中,所述训练模型为所述智能匹配异常处理之外的智能匹配模型;
通过预先设置的操作指标数据识别标准对所述第一关键内容数据进行内容识别,得到识别结果;所述识别结果包括所述第一关键内容数据的多个目标浮动数据向量、每个目标浮动数据向量的权重以及所述第一关键内容数据在每个目标浮动数据向量下的第一浮动数据;
确定与所述第二浮动数据之间的浮动参数最小的第一浮动数据,对该第一浮动数据进行分析,得到所述第一操作指标数据。
A8.如A1-A4任一项所述的装置,指标数据确定模块520,用于:
确定所述异常显示数据中的异常区域范围,并基于所述异常区域范围进行异常范围提取;所述异常区域范围为所述异常显示数据中与操作指标数据相关的异常范围所形成的区域范围;
将所述异常显示数据的异常范围与预先设置数据集合中每个预先设置数据的异常范围进行数据更新配对得到配对结果;所述预先设置数据集合中保存有多个预先设置数据对应的标签分类以及所述标签分类所表征的标签范围边界;
在所述配对结果表征所述异常显示数据的异常范围与每个预先设置数据的异常范围均配对成功的前提下,从所述异常显示数据的异常范围中提取出数据标签排列;判断所述异常显示数据的异常范围中的数据标签排列相对于所述异常显示数据的上一异常范围中的数据标签排列是否发生变化;
如果是,将从所述异常显示数据中的异常范围中提取出的数据标签排列确定为所述第二操作指标数据对应的标签排列;
否则,将从所述异常显示数据中异常范围中提取出的数据标签排列与所述异常显示数据中的上一异常范围中对应标签区域范围的目标标签排列进行整合,并将整合结果确定为所述第二操作指标数据对应的标签排列;
根据所述第二操作指标数据对应的标签排列确定所述第二操作指标数据。
A8.如A1所述的装置,所述装置还包括训练验证模块,用于:
获取待训练模型发送的训练要求;其中,所述待训练模型为处于正常运行状态的其他智能匹配模型;
对所述训练要求进行训练状态解析,得到所述训练要求对应的数据传输状态参数;
对所述训练要求对应的数据传输状态参数进行第一特征提取,得到所述训练要求的第一特征,所述第一特征用于叙述所述数据传输状态参数的参数排列特征;对所述训练要求对应的数据传输状态参数进行第二特征提取,得到所述训练要求的第二特征,所述第二特征用于叙述所述数据传输状态参数的参数热度特征;
当所述训练要求包括至少两个模型权限要求时,针对所述训练要求中的每一个模型权限要求,对所述模型权限要求的第一特征和第二特征分别进行检测,得到检测结果;
基于所述检测结果,在预先设置的检测结果池中进行相似度搜索,得到当前搜索结果;对于所述当前搜索结果中包括的每一个预先设置检测结果,获取所述训练要求中包括的模型权限要求与所述预先设置检测结果之间的权重占比;获取所述训练要求中包括的模型权限要求在所述预先设置检测结果中的热度占比;
基于与所述每一个预先设置检测结果匹配的权重占比以及热度占比,计算所述待训练模型发送的训练要求的数据关联系数,在所述数据关联系数大于或等于预先设置系数时,将所述待训练模型训练第一个设备集合中,在所述数据关联系数小于所述预先设置系数时,拒绝响应所述待训练模型发送的训练要求。
A9.如A1所述的装置,所述装置还包括异常分析模块,用于:
确定基于所述异常显示数据所提取到的数据标签;
针对所述数据标签中的当前数据标签,基于当前数据标签在目标时长内的统计时长以及各所述数据标签在所述目标时长内的总统计时长,确定当前数据标签在所述目标时长内的统计权重;
根据当前数据标签在两个相近的目标时长内的统计权重确定当前数据标签在两个相近的目标时长之间的全局异常系数;
基于所述全局异常系数确定所述当前数据标签是否为有效标签;
在确定出所述当前数据标签为有效标签时,基于所述当前数据标签在两个相近的目标时长内的统计权重,以及各所述数据标签在每个所述目标时长内的总统计时长确定各所述数据标签在两个相近的目标时长内的全局异常系数;
基于所述全局异常系数和所述全局异常系数之间的映射关系确定所述异常显示数据所对应的异常类型,将异常类型与所述异常显示数据进行关联标记。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所叙述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以排列到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
在上述基础上,请结合参阅图3,示出了一种基于大数据的数据匹配系统200,包括互相之间通信的处理器201和存储器202,所述处理器201用于从所述存储器202中读取计算机程序并执行,以实现上述的方法。
在上述基础上,本申请还提供了一种云平台,包括:存储器,用于存储计算机程序;与所述存储器连接的处理器,用于执行该存储器存储的计算机程序,以实现上述的方法。
本领域技术人员在考虑说明书及实践这里申请的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经叙述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (10)
1.一种基于大数据的数据匹配方法,其特征在于,所述方法包括:
实时判断是否获取到操作事项数据;若获取到所述操作事项数据,则分析是否存在异常显示数据,在分析到存在所述异常显示数据的情况下,基于所述异常显示数据生成异常标签;其中,所述异常标签是对审核数据进行匹配的智能匹配模型形成的,所述异常标签中包括多个模型检测点,每个模型检测点对应一个智能匹配模型,所述异常标签中对应的每个智能匹配模型处于不同的设备集合中;
从所述操作事项数据中确定出第一操作指标数据以及从所述异常显示数据中确定出第二操作指标数据;其中,所述第二操作指标数据是预先设置的审核数据对应的操作指标数据;
将所述第一操作指标数据和第二操作指标数据进行匹配,得到匹配结果;
在所述匹配结果表征所述第一操作指标数据和所述第二操作指标数据相似时,基于所述异常标签将所述操作事项数据进行匹配;
在所述匹配结果表征所述第一操作指标数据和所述第二操作指标数据不相似时,确定剔除所述异常标签之外的匹配指示数据,基于所述匹配指示数据将所述操作事项数据进行匹配。
2.如权利要求1所述的方法,其特征在于,基于所述异常标签将所述操作事项数据进行匹配的步骤,包括:
将所述操作事项数据匹配给所述异常标签中的第一个模型检测点对应的第一个智能匹配模型;
使第一个智能匹配模型根据预先设置的第三操作指标数据与所述操作事项数据中的第一操作指标数据之间的判别结果,将所述操作事项数据匹配给第一个智能匹配模型的下一个智能匹配模型。
3.如权利要求2所述的方法,其特征在于,所述使第一个智能匹配模型根据预先设置的第三操作指标数据与所述操作事项数据中的第一操作指标数据之间的判别结果,将所述操作事项数据匹配给第一个智能匹配模型的下一个智能匹配模型的步骤,包括:
在所述判别结果表征所述第三操作指标数据和所述第一操作指标数据相似时,使第一个智能匹配模型将所述操作事项数据匹配给目标智能匹配模型;
在所述判别结果表征所述第三操作指标数据和所述第一操作指标数据不相似时,使第一个智能匹配模型将所述操作事项数据匹配给所述目标智能匹配模型所在的设备集合中剔除所述目标智能匹配模型之外的任意一个智能匹配模型。
4.如权利要求1所述的方法,其特征在于,基于所述匹配指示数据将所述操作事项数据进行匹配的步骤,包括:
将所述操作事项数据匹配给所述异常标签中的第一个模型检测点对应的第一个智能匹配模型所在的设备集合中剔除第一个智能匹配模型之外的任意一个智能匹配模型。
5.如权利要求1-4任一项所述的方法,其特征在于,所述方法还包括:
在获取到所述异常标签中最后一个模型检测点对应的智能匹配模型根据接收的所述操作事项数据所回馈的确认数据时,重新生成所述异常标签。
6.如权利要求5所述的方法,其特征在于,所述方法还包括:
在分析到针对所述异常标签的构建完成数据时,向所述异常显示数据对应的当前智能匹配模型发送监控指标以使所述当前智能匹配模型暂停输出所述异常显示数据。
7.如权利要求1-4任一项所述的方法,其特征在于,从所述操作事项数据中确定出第一操作指标数据的步骤,包括:
获取所述操作事项数据的第一关键内容数据;在预先设置数据库中遍历第二关键内容数据得到遍历结果,所述预先设置数据库用于标记多个目标关键内容数据以及每个目标关键内容数据的浮动数据向量和每个目标关键内容数据的数据分类,所述第二关键内容数据为与所述第一关键内容数据相似的关键内容数据;
当所述遍历结果表征所述预先设置数据库中存在所述第二关键内容数据时,基于所述第一关键内容数据的第一数据分类和所述第二关键内容数据的第二数据分类,得到所述第二关键内容数据的误差响应单元;其中,所述误差响应单元用于表征所述第二关键内容数据对所述第一关键内容数据的误差扰动;
确定所述第二关键内容数据的平均提取频率,并基于所述平均提取频率确定所述第二关键内容数据的当前提取权重;基于所述误差响应单元和所述当前提取权重,对上传所述第二关键内容数据的训练模型进行浮动数据提取,得到所述第二关键内容数据相对于所述训练模型的第二浮动数据;其中,所述训练模型为所述智能匹配异常处理之外的智能匹配模型;
通过预先设置的操作指标数据识别标准对所述第一关键内容数据进行内容识别,得到识别结果;所述识别结果包括所述第一关键内容数据的多个目标浮动数据向量、每个目标浮动数据向量的权重以及所述第一关键内容数据在每个目标浮动数据向量下的第一浮动数据;
确定与所述第二浮动数据之间的浮动参数最小的第一浮动数据,对该第一浮动数据进行分析,得到所述第一操作指标数据。
8.如权利要求1-4任一项所述的方法,其特征在于,从所述异常显示数据中确定出第二操作指标数据的步骤,包括:
确定所述异常显示数据中的异常区域范围,并基于所述异常区域范围进行异常范围提取;所述异常区域范围为所述异常显示数据中与操作指标数据相关的异常范围所形成的区域范围;
将所述异常显示数据的异常范围与预先设置数据集合中每个预先设置数据的异常范围进行数据更新配对得到配对结果;所述预先设置数据集合中保存有多个预先设置数据对应的标签分类以及所述标签分类所表征的标签范围边界;
在所述配对结果表征所述异常显示数据的异常范围与每个预先设置数据的异常范围均配对成功的前提下,从所述异常显示数据的异常范围中提取出数据标签排列;判断所述异常显示数据的异常范围中的数据标签排列相对于所述异常显示数据的上一异常范围中的数据标签排列是否发生变化;
如果是,将从所述异常显示数据中的异常范围中提取出的数据标签排列确定为所述第二操作指标数据对应的标签排列;
否则,将从所述异常显示数据中异常范围中提取出的数据标签排列与所述异常显示数据中的上一异常范围中对应标签区域范围的目标标签排列进行整合,并将整合结果确定为所述第二操作指标数据对应的标签排列;
根据所述第二操作指标数据对应的标签排列确定所述第二操作指标数据。
9.一种基于大数据的数据匹配系统,其特征在于,包括数据采集模型和云平台,所述数据采集模型和所述云平台通信连接,所述云平台具体用于:
实时判断是否获取到操作事项数据;若获取到所述操作事项数据,则分析是否存在异常显示数据,在分析到存在所述异常显示数据的情况下,基于所述异常显示数据生成异常标签;其中,所述异常标签是对审核数据进行匹配的智能匹配模型形成的,所述异常标签中包括多个模型检测点,每个模型检测点对应一个智能匹配模型,所述异常标签中对应的每个智能匹配模型处于不同的设备集合中;
从所述操作事项数据中确定出第一操作指标数据以及从所述异常显示数据中确定出第二操作指标数据;其中,所述第二操作指标数据是预先设置的审核数据对应的操作指标数据;
将所述第一操作指标数据和第二操作指标数据进行匹配,得到匹配结果;
在所述匹配结果表征所述第一操作指标数据和所述第二操作指标数据相似时,基于所述异常标签将所述操作事项数据进行匹配;
在所述匹配结果表征所述第一操作指标数据和所述第二操作指标数据不相似时,确定剔除所述异常标签之外的匹配指示数据,基于所述匹配指示数据将所述操作事项数据进行匹配。
10.一种云平台,其特征在于,包括:
存储器,用于存储计算机程序;
与所述存储器连接的处理器,用于执行该存储器存储的计算机程序,以实现权利要求1-8任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110665750.0A CN113269268A (zh) | 2021-06-16 | 2021-06-16 | 基于大数据的数据匹配方法、系统及云平台 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110665750.0A CN113269268A (zh) | 2021-06-16 | 2021-06-16 | 基于大数据的数据匹配方法、系统及云平台 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113269268A true CN113269268A (zh) | 2021-08-17 |
Family
ID=77235123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110665750.0A Withdrawn CN113269268A (zh) | 2021-06-16 | 2021-06-16 | 基于大数据的数据匹配方法、系统及云平台 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113269268A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114389855A (zh) * | 2021-12-23 | 2022-04-22 | 中国电信股份有限公司 | 异常网际互联协议ip地址的确定方法及装置 |
-
2021
- 2021-06-16 CN CN202110665750.0A patent/CN113269268A/zh not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114389855A (zh) * | 2021-12-23 | 2022-04-22 | 中国电信股份有限公司 | 异常网际互联协议ip地址的确定方法及装置 |
CN114389855B (zh) * | 2021-12-23 | 2024-04-30 | 中国电信股份有限公司 | 异常网际互联协议ip地址的确定方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11971959B2 (en) | Data test method, electronic device and storage medium | |
CN107223257B (zh) | 测试方法、测试服务器及系统 | |
CN112613569B (zh) | 图像识别方法、图像分类模型的训练方法及装置 | |
CN111177655B (zh) | 一种数据处理方法、装置及电子设备 | |
CN115168868B (zh) | 一种应用于人工智能的业务漏洞分析方法及服务器 | |
CN114072808A (zh) | 用于控制制造过程的分类模型 | |
CN109145752A (zh) | 用于评估对象检测和跟踪算法的方法、装置、设备和介质 | |
CN110362446A (zh) | 移动应用异常操作监测方法、装置、存储介质及电子设备 | |
CN112990294A (zh) | 行为判别模型的训练方法、装置、电子设备及存储介质 | |
CN111767192A (zh) | 基于人工智能的业务数据检测方法、装置、设备和介质 | |
CN106874306A (zh) | 人口信息人像比对系统关键性能指标评测方法 | |
CN113269268A (zh) | 基于大数据的数据匹配方法、系统及云平台 | |
CN117114420B (zh) | 一种基于图像识别的工贸安全事故风险管控系统和方法 | |
JP2019158684A (ja) | 検査システム、識別システム、及び識別器評価装置 | |
CN112132220A (zh) | 一种自训练方法、系统、装置、电子设备及存储介质 | |
CN115809622B (zh) | 具有自动优化配置功能的芯片仿真加速系统 | |
CN113537407B (zh) | 基于机器学习的图像数据评价处理方法及装置 | |
CN114841663A (zh) | Gps设备安装质量的核验方法、装置、设备及存储介质 | |
CN115185792A (zh) | 故障硬件处理方法、装置和系统 | |
CN114139853A (zh) | 一种基于大数据的钢结构产品清单处理方法和装置 | |
CN113239075A (zh) | 一种施工数据自检方法及系统 | |
CN111489816B (zh) | 基于就诊数据传递的智能医疗故障处理方法及云服务器 | |
CN117873899B (zh) | Ui界面的自动测试方法、装置、终端设备和存储介质 | |
CN115758135B (zh) | 轨道交通信号系统功能需求追溯方法、装置及电子设备 | |
CN114722061B (zh) | 数据处理方法及装置、设备、计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210817 |