CN112860520A - 一种基于人工智能的信息数据格式化组件 - Google Patents

一种基于人工智能的信息数据格式化组件 Download PDF

Info

Publication number
CN112860520A
CN112860520A CN202110202663.1A CN202110202663A CN112860520A CN 112860520 A CN112860520 A CN 112860520A CN 202110202663 A CN202110202663 A CN 202110202663A CN 112860520 A CN112860520 A CN 112860520A
Authority
CN
China
Prior art keywords
data
checking
module
value
rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110202663.1A
Other languages
English (en)
Inventor
王诚
杨奚诚
熊瑛
吴真中
王平秀
解凤博
孙泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei D2s Soft Information Technology Co ltd
Original Assignee
Hefei D2s Soft Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei D2s Soft Information Technology Co ltd filed Critical Hefei D2s Soft Information Technology Co ltd
Priority to CN202110202663.1A priority Critical patent/CN112860520A/zh
Publication of CN112860520A publication Critical patent/CN112860520A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/32Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324Display of status information
    • G06F11/327Alarm or error message display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种基于人工智能的信息数据格式化组件,涉及数据处理技术领域;包括数据采集模块、云平台、数据格式化模块、数据校查模块、监测模块、控制器和数据解析模块;数据采集模块用于采集云平台内存储的数据和对应的存储信息,并以消息形式将数据分条提供给数据格式化模块;所述数据格式化模块用于对数据进行格式化处理得到格式化数据;本发明采用数据校查模块对格式化数据的格式做检查,效率高且错误检查精确;同时实时统计错误记录,根据错误记录判定校查规则中各规则的优先级,提高了校查的效率;同时能够在格式化组件运行过程中根据格式化数据正确性的校查结果进行分析预警;从而提高数据格式化效率和准确性。

Description

一种基于人工智能的信息数据格式化组件
技术领域
本发明涉及数据处理技术领域,尤其涉及一种基于人工智能的信息数据格式化组件。
背景技术
随着互联网、大数据和人工智能等技术的迅猛发展,海量数据的传输、存储、分析处理和挖掘工作的开展已经如火如荼,格式化数据在其中占有很大比例。不同系统间的数据转换也对数据格式的正确性要求严格。在这些领域的软硬件开发和应用过程当中,对有效快速校验各模块间产生数据的格式正确性的辅助手段的要求越来越突出。
现有的数据格式化组件只能对数据进行格式化处理,缺乏对格式化数据正确性的校验,同时在数据格式化组件运行过程中存在不能根据格式化数据正确性的校查结果进行分析预警,从而提高数据格式化效率和准确性的问题。
发明内容
针对现有技术存在的不足,本发明目的是提供一种基于人工智能的信息数据格式化组件。本发明采用数据校查模块对格式化数据的格式做检查,效率高且错误检查精确;同时实时统计错误记录,根据错误记录判定校查规则中各规则的优先级,将校查规则中各规则的校查顺序按照规则的优先值大小进行降序排列;提高了校查的效率;同时能够在格式化组件运行过程中根据格式化数据正确性的校查结果进行分析预警;从而提高数据格式化效率和准确性。
本发明的目的可以通过以下技术方案实现:一种基于人工智能的信息数据格式化组件,包括数据采集模块、云平台、数据格式化模块、数据校查模块、校查规则模块、监测模块、控制器、数据解析模块和报警模块;
所述数据采集模块用于采集云平台内存储的数据和对应的存储信息,将数据统一保存成文件,并以消息形式将数据分条提供给数据格式化模块;所述数据格式化模块用于对数据进行格式化处理得到格式化数据,并将格式化数据传输至数据校查模块进行校查;所述数据格式化模块为格式化组件;
所述校查规则模块用于校查规则的初始化配置;并对校查规则中各规则的校查优先级进行判定;所述校查规则模块用于将校查规则发送至数据校查模块;所述数据校查模块用于通过校查规则模块发送的校查规则对格式化数据针对每条规则作校查,获取得到校查结果;
所述数据校查模块用于将校查结果传输至监测模块;当数据校查模块运行时,所述监测模块用于对校查结果进行监测,并在监测到校查结果为有问题时向数据解析模块传输问题信号;所述数据解析模块用于接收到监测模块传输的问题信号时进行数据分析;获取得到预警值;将预警值W1与预警阈值相比较;若预警值W1≥预警阈值,则生成预警信号;
所述数据解析模块用于将预警信号传输至控制器,所述控制器用于接收预警信号并驱动控制报警模块发出警报。
进一步地,所述数据采集模块的具体工作步骤为:
S1:获取数据对应的存储信息,所述存储信息包括存储时间、存储等级和访问记录;所述访问记录包括访问次数和访问时长;
将存储时间与系统当前时间进行时间差计算获取得到存储时长并标记为T2;
S2:设定每个存储等级均有一个对应的等级值,将该格式化数据对应的存储等级与所有的存储等级进行匹配获取得到对应的等级值,并标记为K1;
S3:获取系统当前时间前十天内该格式化数据对应的访问记录,统计该格式化数据的访问次数并标记为K2,将访问时长进行累加形成访问总时长并标记为K3;
S4:利用公式KA=T2×a5+K1×a6+K2×a7+K3×a8获取得到数据的采配值KA,其中a5、a6、a7、a8均为系数因子;
S5:将采集的数据按照采配值KA从大到小的顺序进行排序;
数据采集模块按照数据的排序以消息形式将数据分条提供给数据格式化模块。
进一步地,所述校查规则包括格式化数据格式的数据长度、类型、分隔符、字段数目、各字段的数据类型、各字段的取值范围及长度。
进一步地,对校查规则中各规则的校查优先级进行判定;具体步骤为:
步骤一:采集系统当前时间前三天内的格式化数据的错误记录;所述错误记录包括问题数据、问题规则以及校查时间;
按照问题规则将同一问题规则的错误记录按照时间进行排序,将错误记录标记为Gj,j=1,...,m,Gm为最后一个错误记录;
获取到G1的校查时间和Gm的校查时间,并将G1的校查时间和Gm的校查时间进行时间差计算获取得到记录时长,将记录时长标记为T1;
根据m值得到错误记录出现的次数为m次;
利用公式P1=m/T1获取得到问题规则频次P1;
步骤二:将G1的校查时间与系统当前时间进行时间差计算获取得到第一缓冲时长,并标记为H1;将Gm的校查时间与系统当前时间进行时间差计算获取得到第二缓冲时长,并标记为H2;
将错误记录的校查时间标记为Dj;其中Dj表示第j条错误记录的校查时间;
利用公式
Figure BDA0002948429210000041
获取得到错误记录对应的时效值DGj;其中T0表示为系统当前时间;将所有错误记录对应的时效值进行求和得到时效总值,并标记为DZ;
步骤三:将问题规则频次、第一缓冲时长、第二缓冲时长和时效总值进行归一化处理并取其数值;
利用公式
Figure BDA0002948429210000042
获取得到问题规则的优先值Y1;其中a1、a2、a3和a4均为系数因子;其中优先值Y1越大,则对应规则的校查优先级越高;
步骤四:将校查规则中的各规则按照优先值Y1的大小进行降序排列。
进一步地,所述数据校查模块的具体校查步骤为:
V1:按照校查规则中各规则的校查顺序对格式化数据针对每条规则作校查;所述校查规则中各规则的校查顺序按照规则的优先值大小进行降序排列;
V2:当针对某条规则校查出有问题时;则校查结果为有问题,记录该条规则并标记为问题规则,同时将该格式化数据标记为问题数据;继续针对下一条规则作校查,依次类推;
V3:当针对所有规则校查出无问题时;则校查结果为无问题;
数据校查模块用于将问题数据、对应的问题规则和校查时间融合形成错误记录并将错误记录发送至存储模块存储。
进一步地,所述数据解析模块的具体分析步骤为:
SS1:接收数据校查模块传输的每一条格式化数据的校查结果,当监测到问题信号时,记录对应的错误记录;并在监测到问题信号时自动开始倒计数,倒计数取值X1,X1为预设值;所述倒计数表现为每监测一条格式化数据的校查结果,则倒计数减一;
SS2:在倒计数阶段继续对校查结果进行监测,若产生新的问题信号,则倒计数自动归为原值,重新按照X1进行倒计数;否则倒计数归零,停止计数;
SS3:获取倒计数阶段所有的校查结果;统计校查结果的数量并标记为ZS;
图形化展示校查结果的变化趋势;包括:
将校查结果标记为Fi,当校查结果为无问题时,则Fi=0,当校查结果为有问题时,则Fi=1;其中i表示第i条格式化数据;Fi表示为第i条格式化数据的校查结果;
SS4:统计Fi=1的校查结果的出现次数并标记为L1;
将两个相邻的Fi=1的校查结果的序号值进行差值计算获取得到间隔值;例如两个相邻的Fi=1的校查结果为F5、F21;即F5=1,F21=1,则间隔值为21-5=16;
SS5:将间隔值标记为L2;设定间隔系数为Qk;k=1,2,……,n;其中,Q1>Q2>……>Qn;每个间隔系数Qk均对应一个预设间隔值范围,依次分别为(q1,q2],(q2,q3],…,(qn,qn+1];且q1<q2<…<qn<qn+1;
当L2∈(qk,qk+1],则预设间隔值范围对应的间隔系数为Qk;
利用公式L3=L2×Qk获取得到间隔值对应的影响值L3,将所有的间隔值对应的影响值进行求和得到间隔影响总值,并标记为L4;
SS6:利用公式W1=(L1×d1+L4×d2)/ZS获取得到预警值W1,其中d1、d2为系数因子。
本发明的有益效果是:
1、本发明中数据采集模块用于采集云平台内存储的数据和对应的存储信息,将数据统一保存成文件,对存储信息进行分析,获取得到数据的采配值,将采集的数据按照采配值的从大到小的顺序进行排序;按照数据的排序以消息形式将数据分条提供给数据格式化模块;数据格式化模块对数据进行格式化处理得到格式化数据,使得数据处理更加有层次,有条不紊,提高数据格式化的效率;
2、本发明中数据校查模块用于通过校查规则模块发送的校查规则对格式化数据针对每条规则作校查,获取得到校查结果;校查规则模块用于校查规则的初始化配置;采集系统当前时间前三天内的格式化数据的错误记录并进行分析,获取得到校查规则中各规则的优先值,根据优先值对校查规则中各规则的校查优先级进行判定;校查规则中各规则的校查顺序按照规则的优先值大小进行降序排列;本发明采用数据校查模块对格式化数据的格式做检查,效率高且错误检查精确;同时实时统计错误记录,根据错误记录判定校查规则中各规则的优先级,将校查规则中各规则的校查顺序按照规则的优先值大小进行降序排列;提高了校查的效率;
3、当数据校查模块运行时,所述监测模块用于对校查结果进行监测,并在监测到校查结果为有问题时向数据解析模块传输问题信号;所述数据解析模块用于接收到监测模块传输的问题信号进行数据分析;接收数据校查模块传输的每一条格式化数据的校查结果,当监测到问题信号时,记录对应的错误记录;并在监测到问题信号时自动开始倒计数,获取倒计数阶段所有的校查结果并进行相关处理,获取得到预警值;若预警值W1≥预警阈值,则生成预警信号;控制器用于接收预警信号并驱动控制报警模块发出警报,用于提示管理人员对格式化组件进行处理,本发明能够在格式化组件运行过程中根据格式化数据正确性的校查结果进行分析预警;从而提高数据格式化效率和准确性。
附图说明
为了便于本领域技术人员理解,下面结合附图对本发明作进一步的说明。
图1为本发明的系统框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
如图1所示,一种基于人工智能的信息数据格式化组件,包括数据采集模块、云平台、数据格式化模块、数据校查模块、校查规则模块、监测模块、控制器、数据解析模块和报警模块;
数据采集模块用于采集云平台内存储的数据和对应的存储信息,将数据统一保存成文件,并以消息形式将数据分条提供给数据格式化模块;具体步骤为:
S1:获取数据对应的存储信息,存储信息包括存储时间、存储等级和访问记录;访问记录包括访问次数和访问时长;
将存储时间与系统当前时间进行时间差计算获取得到存储时长并标记为T2;
S2:设定每个存储等级均有一个对应的等级值,将该格式化数据对应的存储等级与所有的存储等级进行匹配获取得到对应的等级值,并标记为K1;
S3:获取系统当前时间前十天内该格式化数据对应的访问记录,统计该格式化数据的访问次数并标记为K2,将访问时长进行累加形成访问总时长并标记为K3;
S4:利用公式KA=T2×a5+K1×a6+K2×a7+K3×a8获取得到数据的采配值KA,其中a5、a6、a7、a8均为系数因子,例如a5取值0.21,a6取值0.29,a7取值0.32,a8取值0.51;
S5:将采集的数据按照采配值KA从大到小的顺序进行排序;
数据采集模块按照数据的排序以消息形式将数据分条提供给数据格式化模块;数据格式化模块用于对数据进行格式化处理得到格式化数据,并将格式化数据传输至数据校查模块进行校查;数据格式化模块为格式化组件;
本发明中数据采集模块能够根据采配值KA的大小以消息形式将数据分条提供给数据格式化模块,使得数据处理更加有层次,有条不紊,提高数据格式化的效率;
校查规则模块用于校查规则的初始化配置;校查规则包括格式化数据格式的数据长度、类型、分隔符、字段数目、各字段的数据类型、各字段的取值范围及长度;并对校查规则中各规则的校查优先级进行判定;具体步骤为:
步骤一:采集系统当前时间前三天内的格式化数据的错误记录;错误记录包括问题数据、问题规则以及校查时间;
按照问题规则将同一问题规则的错误记录按照时间进行排序,将错误记录标记为Gj,j=1,...,m,Gm为最后一个错误记录;
获取到G1的校查时间和Gm的校查时间,并将G1的校查时间和Gm的校查时间进行时间差计算获取得到记录时长,将记录时长标记为T1;
根据m值得到错误记录出现的次数为m次;
利用公式P1=m/T1获取得到问题规则频次P1;
步骤二:将G1的校查时间与系统当前时间进行时间差计算获取得到第一缓冲时长,并标记为H1;将Gm的校查时间与系统当前时间进行时间差计算获取得到第二缓冲时长,并标记为H2;
将错误记录的校查时间标记为Dj;其中Dj表示第j条错误记录的校查时间;
利用公式
Figure BDA0002948429210000081
获取得到错误记录对应的时效值DGj;其中T0表示为系统当前时间;将所有错误记录对应的时效值进行求和得到时效总值,并标记为DZ;
步骤三:将问题规则频次、第一缓冲时长、第二缓冲时长和时效总值进行归一化处理并取其数值;
利用公式
Figure BDA0002948429210000091
获取得到问题规则的优先值Y1;其中a1、a2、a3和a4均为系数因子,例如a1取值0.55,a2取值1.21,a3取值0.87,a4取值0.97;其中优先值Y1越大,则对应规则的校查优先级越高;
步骤四:将校查规则中的各规则按照优先值Y1的大小进行降序排列;
校查规则模块用于将校查规则发送至数据校查模块;
数据校查模块用于通过校查规则模块发送的校查规则对格式化数据针对每条规则作校查,获取得到校查结果;具体为:
V1:按照校查规则中各规则的校查顺序对格式化数据针对每条规则作校查;校查规则中各规则的校查顺序按照规则的优先值大小进行降序排列;
V2:当针对某条规则校查出有问题时;则校查结果为有问题,记录该条规则并标记为问题规则,同时将该格式化数据标记为问题数据;继续针对下一条规则作校查,依次类推;
V3:当针对所有规则校查出无问题时;则校查结果为无问题;
数据校查模块用于将问题数据、对应的问题规则和校查时间融合形成错误记录并将错误记录发送至存储模块存储;
数据校查模块用于将校查结果传输至监测模块;
本发明采用数据校查模块对格式化数据的格式做检查,效率高且错误检查精确;同时实时统计错误记录,根据错误记录判定校查规则中各规则的优先级,将校查规则中各规则的校查顺序按照规则的优先值大小进行降序排列;提高了校查的效率;
当数据校查模块运行时,监测模块用于对校查结果进行监测,并在监测到校查结果为有问题时向数据解析模块传输问题信号;数据解析模块用于接收到监测模块传输的问题信号进行数据分析;具体分析步骤为:
SS1:接收数据校查模块传输的每一条格式化数据的校查结果,当监测到问题信号时,记录对应的错误记录;并在监测到问题信号时自动开始倒计数,倒计数取值X1,X1为预设值;例如X1取值100;倒计数表现为每监测一条格式化数据的校查结果,则倒计数减一;
SS2:在倒计数阶段继续对校查结果进行监测,若产生新的问题信号,则倒计数自动归为原值,重新按照X1进行倒计数;否则倒计数归零,停止计数;
SS3:获取倒计数阶段所有的校查结果;统计校查结果的数量并标记为ZS;
图形化展示校查结果的变化趋势;包括:
将校查结果标记为Fi,当校查结果为无问题时,则Fi=0,当校查结果为有问题时,则Fi=1;其中i表示第i条格式化数据;Fi表示为第i条格式化数据的校查结果;
SS4:统计Fi=1的校查结果的出现次数并标记为L1;
将两个相邻的Fi=1的校查结果的序号值进行差值计算获取得到间隔值;例如两个相邻的Fi=1的校查结果为F5、F21;即F5=1,F21=1,则间隔值为21-5=16;
SS5:将间隔值标记为L2;设定间隔系数为Qk;k=1,2,……,n;其中,Q1>Q2>……>Qn;每个间隔系数Qk均对应一个预设间隔值范围,依次分别为(q1,q2],(q2,q3],…,(qn,qn+1];且q1<q2<…<qn<qn+1;
当L2∈(qk,qk+1],则预设间隔值范围对应的间隔系数为Qk;
利用公式L3=L2×Qk获取得到间隔值对应的影响值L3,将所有的间隔值对应的影响值进行求和得到间隔影响总值,并标记为L4;
SS6:利用公式W1=(L1×d1+L4×d2)/ZS获取得到预警值W1,其中d1、d2为系数因子;例如d1取值2.37,d2取值1.89;
将预警值W1与预警阈值相比较;
若预警值W1≥预警阈值,则生成预警信号;
数据解析模块用于将预警信号传输至控制器,控制器用于接收预警信号并驱动控制报警模块发出警报,用于提示管理人员对格式化组件进行处理,本发明能够在格式化组件运行过程中根据格式化数据正确性的校查结果进行分析预警;从而提高数据格式化效率和准确性。
本发明的工作原理是:
一种基于人工智能的信息数据格式化组件,在工作时,首先数据采集模块用于采集云平台内存储的数据和对应的存储信息,将数据统一保存成文件,对存储信息进行分析,获取得到数据的采配值,将采集的数据按照采配值的从大到小的顺序进行排序;按照数据的排序以消息形式将数据分条提供给数据格式化模块;数据格式化模块对数据进行格式化处理得到格式化数据,使得数据处理更加有层次,有条不紊,提高数据格式化的效率;
数据校查模块用于通过校查规则模块发送的校查规则对格式化数据针对每条规则作校查,获取得到校查结果;校查规则模块用于校查规则的初始化配置;采集系统当前时间前三天内的格式化数据的错误记录并进行分析,获取得到校查规则中各规则的优先值,根据优先值对校查规则中各规则的校查优先级进行判定;校查规则中各规则的校查顺序按照规则的优先值大小进行降序排列;本发明采用数据校查模块对格式化数据的格式做检查,效率高且错误检查精确;同时实时统计错误记录,根据错误记录判定校查规则中各规则的优先级,将校查规则中各规则的校查顺序按照规则的优先值大小进行降序排列;提高了校查的效率;
当数据校查模块运行时,监测模块用于对校查结果进行监测,并在监测到校查结果为有问题时向数据解析模块传输问题信号;数据解析模块用于接收到监测模块传输的问题信号进行数据分析;接收数据校查模块传输的每一条格式化数据的校查结果,当监测到问题信号时,记录对应的错误记录;并在监测到问题信号时自动开始倒计数,获取倒计数阶段所有的校查结果并进行相关处理,获取得到预警值;若预警值W1≥预警阈值,则生成预警信号;控制器用于接收预警信号并驱动控制报警模块发出警报,用于提示管理人员对格式化组件进行处理,本发明能够在格式化组件运行过程中根据格式化数据正确性的校查结果进行分析预警;从而提高数据格式化效率和准确性。
上述公式和系数因子均是由采集大量数据进行软件模拟及相应专家进行参数设置处理,得到与真实结果符合的公式和系数因子。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节,也不限制该发明仅为的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (6)

1.一种基于人工智能的信息数据格式化组件,其特征在于,包括数据采集模块、云平台、数据格式化模块、数据校查模块、校查规则模块、监测模块、控制器、数据解析模块和报警模块;
所述数据采集模块用于采集云平台内存储的数据和对应的存储信息,将数据统一保存成文件,并以消息形式将数据分条提供给数据格式化模块;所述数据格式化模块用于对数据进行格式化处理得到格式化数据,并将格式化数据传输至数据校查模块进行校查;所述数据格式化模块为格式化组件;
所述校查规则模块用于校查规则的初始化配置;并对校查规则中各规则的校查优先级进行判定;所述校查规则模块用于将校查规则发送至数据校查模块;所述数据校查模块用于通过校查规则模块发送的校查规则对格式化数据针对每条规则作校查,获取得到校查结果;
所述数据校查模块用于将校查结果传输至监测模块;当数据校查模块运行时,所述监测模块用于对校查结果进行监测,并在监测到校查结果为有问题时向数据解析模块传输问题信号;所述数据解析模块用于接收到监测模块传输的问题信号时进行数据分析;获取得到预警值;将预警值W1与预警阈值相比较;若预警值W1≥预警阈值,则生成预警信号;
所述数据解析模块用于将预警信号传输至控制器,所述控制器用于接收预警信号并驱动控制报警模块发出警报。
2.根据权利要求1所述的一种基于人工智能的信息数据格式化组件,其特征在于,所述数据采集模块的具体工作步骤为:
S1:获取数据对应的存储信息,所述存储信息包括存储时间、存储等级和访问记录;所述访问记录包括访问次数和访问时长;
将存储时间与系统当前时间进行时间差计算获取得到存储时长并标记为T2;
S2:设定每个存储等级均有一个对应的等级值,将该格式化数据对应的存储等级与所有的存储等级进行匹配获取得到对应的等级值,并标记为K1;
S3:获取系统当前时间前十天内该格式化数据对应的访问记录,统计该格式化数据的访问次数并标记为K2,将访问时长进行累加形成访问总时长并标记为K3;
S4:利用公式KA=T2×a5+K1×a6+K2×a7+K3×a8获取得到数据的采配值KA,其中a5、a6、a7、a8均为系数因子;
S5:将采集的数据按照采配值KA从大到小的顺序进行排序;
数据采集模块按照数据的排序以消息形式将数据分条提供给数据格式化模块。
3.根据权利要求1所述的一种基于人工智能的信息数据格式化组件,其特征在于,所述校查规则包括格式化数据格式的数据长度、类型、分隔符、字段数目、各字段的数据类型、各字段的取值范围及长度。
4.根据权利要求1所述的一种基于人工智能的信息数据格式化组件,其特征在于,对校查规则中各规则的校查优先级进行判定;具体步骤为:
步骤一:采集系统当前时间前三天内的格式化数据的错误记录;所述错误记录包括问题数据、问题规则以及校查时间;
按照问题规则将同一问题规则的错误记录按照时间进行排序,将错误记录标记为Gj,j=1,...,m,Gm为最后一个错误记录;
获取到G1的校查时间和Gm的校查时间,并将G1的校查时间和Gm的校查时间进行时间差计算获取得到记录时长,将记录时长标记为T1;
根据m值得到错误记录出现的次数为m次;
利用公式P1=m/T1获取得到问题规则频次P1;
步骤二:将G1的校查时间与系统当前时间进行时间差计算获取得到第一缓冲时长,并标记为H1;将Gm的校查时间与系统当前时间进行时间差计算获取得到第二缓冲时长,并标记为H2;
将错误记录的校查时间标记为Dj;其中Dj表示第j条错误记录的校查时间;
利用公式
Figure FDA0002948429200000031
获取得到错误记录对应的时效值DGj;其中T0表示为系统当前时间;将所有错误记录对应的时效值进行求和得到时效总值,并标记为DZ;
步骤三:将问题规则频次、第一缓冲时长、第二缓冲时长和时效总值进行归一化处理并取其数值;
利用公式
Figure FDA0002948429200000032
获取得到问题规则的优先值Y1;其中a1、a2、a3和a4均为系数因子;其中优先值Y1越大,则对应规则的校查优先级越高;
步骤四:将校查规则中的各规则按照优先值Y1的大小进行降序排列。
5.根据权利要求1所述的一种基于人工智能的信息数据格式化组件,其特征在于,所述数据校查模块的具体校查步骤为:
V1:按照校查规则中各规则的校查顺序对格式化数据针对每条规则作校查;所述校查规则中各规则的校查顺序按照规则的优先值大小进行降序排列;
V2:当针对某条规则校查出有问题时;则校查结果为有问题,记录该条规则并标记为问题规则,同时将该格式化数据标记为问题数据;继续针对下一条规则作校查,依次类推;
V3:当针对所有规则校查出无问题时;则校查结果为无问题;
数据校查模块用于将问题数据、对应的问题规则和校查时间融合形成错误记录并将错误记录发送至存储模块存储。
6.根据权利要求1所述的一种基于人工智能的信息数据格式化组件,其特征在于,所述数据解析模块的具体分析步骤为:
SS1:接收数据校查模块传输的每一条格式化数据的校查结果,当监测到问题信号时,记录对应的错误记录;并在监测到问题信号时自动开始倒计数,倒计数取值X1,X1为预设值;所述倒计数表现为每监测一条格式化数据的校查结果,则倒计数减一;
SS2:在倒计数阶段继续对校查结果进行监测,若产生新的问题信号,则倒计数自动归为原值,重新按照X1进行倒计数;否则倒计数归零,停止计数;
SS3:获取倒计数阶段所有的校查结果;统计校查结果的数量并标记为ZS;
图形化展示校查结果的变化趋势;包括:
将校查结果标记为Fi,当校查结果为无问题时,则Fi=0,当校查结果为有问题时,则Fi=1;其中i表示第i条格式化数据;Fi表示为第i条格式化数据的校查结果;
SS4:统计Fi=1的校查结果的出现次数并标记为L1;
将两个相邻的Fi=1的校查结果的序号值进行差值计算获取得到间隔值;例如两个相邻的Fi=1的校查结果为F5、F21;即F5=1,F21=1,则间隔值为21-5=16;
SS5:将间隔值标记为L2;设定间隔系数为Qk;k=1,2,……,n;其中,Q1>Q2>……>Qn;每个间隔系数Qk均对应一个预设间隔值范围,依次分别为(q1,q2],(q2,q3],…,(qn,qn+1];且q1<q2<…<qn<qn+1;
当L2∈(qk,qk+1],则预设间隔值范围对应的间隔系数为Qk;
利用公式L3=L2×Qk获取得到间隔值对应的影响值L3,将所有的间隔值对应的影响值进行求和得到间隔影响总值,并标记为L4;
SS6:利用公式W1=(L1×d1+L4×d2)/ZS获取得到预警值W1,其中d1、d2为系数因子。
CN202110202663.1A 2021-02-23 2021-02-23 一种基于人工智能的信息数据格式化组件 Pending CN112860520A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110202663.1A CN112860520A (zh) 2021-02-23 2021-02-23 一种基于人工智能的信息数据格式化组件

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110202663.1A CN112860520A (zh) 2021-02-23 2021-02-23 一种基于人工智能的信息数据格式化组件

Publications (1)

Publication Number Publication Date
CN112860520A true CN112860520A (zh) 2021-05-28

Family

ID=75990479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110202663.1A Pending CN112860520A (zh) 2021-02-23 2021-02-23 一种基于人工智能的信息数据格式化组件

Country Status (1)

Country Link
CN (1) CN112860520A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114266944A (zh) * 2021-12-23 2022-04-01 安徽中科锟铻量子工业互联网有限公司 快速模型训练结果检验系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101887421A (zh) * 2009-05-13 2010-11-17 北京博越世纪科技有限公司 一种将web网站中非格式化数据转为格式化数据的技术
WO2015010411A1 (zh) * 2013-07-26 2015-01-29 苏州亿倍信息技术有限公司 一种数据访问处理方法及系统
CN105592151A (zh) * 2015-12-18 2016-05-18 畅捷通信息技术股份有限公司 数据处理方法及数据处理装置
CN109446157A (zh) * 2018-10-18 2019-03-08 武汉虹旭信息技术有限责任公司 一种基于格式化数据的数据格式校查系统及其方法
CN111427844A (zh) * 2020-04-15 2020-07-17 成都信息工程大学 一种面向文件分级存储的数据迁移系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101887421A (zh) * 2009-05-13 2010-11-17 北京博越世纪科技有限公司 一种将web网站中非格式化数据转为格式化数据的技术
WO2015010411A1 (zh) * 2013-07-26 2015-01-29 苏州亿倍信息技术有限公司 一种数据访问处理方法及系统
CN105592151A (zh) * 2015-12-18 2016-05-18 畅捷通信息技术股份有限公司 数据处理方法及数据处理装置
CN109446157A (zh) * 2018-10-18 2019-03-08 武汉虹旭信息技术有限责任公司 一种基于格式化数据的数据格式校查系统及其方法
CN111427844A (zh) * 2020-04-15 2020-07-17 成都信息工程大学 一种面向文件分级存储的数据迁移系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114266944A (zh) * 2021-12-23 2022-04-01 安徽中科锟铻量子工业互联网有限公司 快速模型训练结果检验系统
CN114266944B (zh) * 2021-12-23 2022-08-12 安徽中科锟铻量子工业互联网有限公司 快速模型训练结果检验系统

Similar Documents

Publication Publication Date Title
CN114266944B (zh) 快速模型训练结果检验系统
CN112711757B (zh) 一种基于大数据平台的数据安全集中管控方法及系统
CN113190653A (zh) 一种基于区块链的交通数据监测系统
CN112860520A (zh) 一种基于人工智能的信息数据格式化组件
CN115617784A (zh) 一种信息化配电的数据处理系统及其处理方法
CN112383630A (zh) 一种基于生产线切面的分布式可插拔工序数据上报系统
CN114061770B (zh) 一种分布式预制光纤母线测温系统
CN113421168B (zh) 一种机械基础零部件智能加工系统
CN117035563B (zh) 产品质量安全风险监测方法、设备、监测系统及介质
CN113391256A (zh) 一种现场作业终端的电能表计量故障分析方法及系统
CN112559272A (zh) 车载设备的质量信息确定方法、装置、设备及存储介质
CN116054416B (zh) 一种基于物联网的智能监控运维管理系统
CN116923188A (zh) 一种新能源车的充电保护系统
CN116862697A (zh) 一种收费公路收费额仿真预测方法、系统、设备及终端
CN111767179A (zh) 一种基于云平台的计算机硬件维管系统
CN116308679A (zh) 供应链异常订单处理方法、装置、设备及存储介质
CN115545241A (zh) 充电桩状态识别方法、装置、电子设备及存储介质
CN115618286A (zh) 变压器局部放电类型识别方法、系统、设备、终端及应用
CN114116756A (zh) 一种工程造价数据修正系统及其方法
CN114237098A (zh) 一种电气产品的智能化数字管理系统
CN113376564A (zh) 基于数据分析的智能电表计量校正方法、装置及终端
CN110703183A (zh) 一种智能电能表故障数据分析方法及系统
CN107450030B (zh) 一种通信蓄电池遥测数据处理方法、装置及系统
CN111143622A (zh) 基于大数据平台的故障数据集构建方法
CN111985820A (zh) 充电运营管理系统基于fnn和ds融合的故障识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210528

RJ01 Rejection of invention patent application after publication