CN112905572A - 一种数据异常的信息研判模型及方法 - Google Patents

一种数据异常的信息研判模型及方法 Download PDF

Info

Publication number
CN112905572A
CN112905572A CN202110126182.7A CN202110126182A CN112905572A CN 112905572 A CN112905572 A CN 112905572A CN 202110126182 A CN202110126182 A CN 202110126182A CN 112905572 A CN112905572 A CN 112905572A
Authority
CN
China
Prior art keywords
data
model
studying
judging
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110126182.7A
Other languages
English (en)
Inventor
庄海燕
王璐
刘坦
李卫平
王钢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Railway police college
Original Assignee
Railway police college
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Railway police college filed Critical Railway police college
Priority to CN202110126182.7A priority Critical patent/CN112905572A/zh
Publication of CN112905572A publication Critical patent/CN112905572A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据异常的信息研判模型及方法，涉及数据分析技术领域，该数据异常的信息研判方法，该方法具体包括如下步骤：S1、获取数据信息；S2、将S1中获取的数据信息进行预处理，并存储于数据库；S3、建立正则表达式库，并对数据进行处理；S4、建立异常数据研判模型；S5、将实时数据信息输入S4中建立的异常数据研判模型，通过异常数据研判模型将实时数据信息进行分析、研判；本发明能够实现数据异常研判模型的实时更新，有效的提高了数据异常研判模型的更新效率，从而实现数据异常研判模型快速有效的研判数据信息中的异常数据，提高了数据信息的研判效率，大大的增加了数据信息的研判范围。

Description

一种数据异常的信息研判模型及方法
技术领域
本发明属于数据分析技术领域，具体涉及一种数据异常的信息研判模型及方法。
背景技术
数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。而在数据分析过程中，一般需将数据进行研判、分析，实现异常数据的采集，以便于正常数据的采集、分析，达到数据高效分析的目的。
但是目前市场上数据异常的信息研判模型及方法存在不能实时更新数据异常研判模型的问题，使得数据异常研判模型的更新效率低，从而导致数据异常研判模型不能快速有效的研判数据信息中的异常数据，造成数据信息研判效率低、范围小，影响数据信息的研判、分析。
发明内容
本发明的目的在于提供一种数据异常的信息研判模型及方法，以解决上述背景技术中提出的问题，能够实现数据异常研判模型的实时更新，有效的提高了数据异常研判模型的更新效率，达到数据信息的快速有效的研判的效果。
为实现上述目的，本发明提供如下技术方案：
1、一种数据异常的信息研判方法，该方法具体包括如下步骤：
S1、获取数据信息；
S2、将S1中获取的数据信息进行预处理，并存储于数据库；
S3、建立正则表达式库，并对数据进行处理；
S4、建立异常数据研判模型；
S5、将实时数据信息输入S4中建立的异常数据研判模型，通过异常数据研判模型将实时数据信息进行分析、研判；
S6、将S5中研判出的异常数据进行实时在环检测，并将异常数据进行整合分析；
S7、将S6中整合分析的异常数据剔除，并将异常数据研判模型进行参数调整，更新异常数据研判模型；
S8、将S7中更新的异常数据研判模型进行评估，以保证异常数据研判模型的精准度。
优选的，S2中所述获取的数据信息预处理的步骤如下：
步骤a、先将获取的数据信息汇总；
步骤b、再将数据信息进行数据清洗、数据转换以及数据集成工作；
步骤c、然后将步骤b中处理后的数据上传至数据库。
优选的，S3中所述正则表达式库的建立方法如下：
A、根据预处理后的数据信息，分析数据信息构成规则，以确定数据信息的特征集合；
B、根据特征集合的类型和属性，以设计各特征集合的正则表达式，构成正则表达式库；
C、根据建立的正则表达式库，分析获取的数据信息中的异常录入数据进行修正，以建立数据库D1。
优选的，S5中所述异常数据研判模型的建立方法具体如下：
(1)、针对数据库D1中的数量属性字段，识别异常数据；
(2)、整合数据库D1中未建立异常数据识别规则的字段，建立数据库D2，并对数据库D2中的数量属性字段进行离散化；
(3)、根据Apriori算法，生成候选项集Ck和频繁项集Lk；
(4)、当数据库D2增加新的数据集d时，引入参数i(1；
(5)、计算强关联规则；
(6)、根据强关联规则和历史数据信息，建立数据异常研判模型。
优选的，所述识别异常数据的判定方式如下：
1)、通过极大极小值建立字段的正常逻辑范围，当该字段的输入数据超出正常范围时，则判定为异常数据；
2)、利用线性模型，对存在一元线性关系的字段，建立线性模型，偏离直线的数值判定为异常数据；
3)、通过确定性的函数关系模型，对存在其他确定性函数关系的字段，建立函数关系，利用函数关系判断数据异常。
优选的，S7中所述异常数据研判模型的更新步骤具体如下：
S71、先通过数据筛选模块筛选出异常数据；
S72、再通过交叉验证法或网格搜索法将异常数据研判模型的参数进行调整；
S73、然后通过数据更新模块将异常数据研判模型进行更新。
优选的，S8中所述异常数据研判模型的评估方法包括兰德指数算法和轮廓系数算法。
2、一种数据异常的信息研判模型，该模型应用于上述的一种数据异常的信息研判方法，所述模型包括：
获取模块，用于实现数据信息的获取；
数据处理模块，用于实现数据信息的处理；
建模模块，用于实现数据模型的建立；
数据分析研判模块，用于实现数据信息的分析、研判；
实时在环检测模块，用于实现异常数据的整合分析。
优选的，所述模型包括模型更新单元，所述模型更新单元包括数据筛选模块和数据更新模块，且所述模型更新单元用于实现异常数据研判模型的更新。
优选的，所述模型还包括评估模块，所述评估模块用于实现更新后的异常数据研判模型的评估。
与现有技术相比，本发明的有益效果是：
(1)本发明能够实现数据异常研判模型的实时更新，有效的提高了数据异常研判模型的更新效率，从而实现数据异常研判模型快速有效的研判数据信息中的异常数据，提高了数据信息的研判效率，大大的增加了数据信息的研判范围，以便于数据信息的研判、分析。
(2)本发明能够实现数据异常研判模型的实时评估，从而有效的提高了数据异常研判模型的研判精确度，实现数据异常研判模型的精确研判，进一步提高数据信息中异常数据的研判效率，值得推广使用。
附图说明
图1为本发明所提供的数据异常的信息研判方法的流程图；
图2为本发明所提供的数据异常的信息研判模型的结构框图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供如下技术方案：
1、请参阅图1所示，一种数据异常的信息研判方法，该方法具体包括如下步骤：
S1、获取数据信息；
S2、将S1中获取的数据信息进行预处理，并存储于数据库；
S3、建立正则表达式库，并对数据进行处理；
S4、建立异常数据研判模型；
S5、将实时数据信息输入S4中建立的异常数据研判模型，通过异常数据研判模型将实时数据信息进行分析、研判；
S6、将S5中研判出的异常数据进行实时在环检测，并将异常数据进行整合分析；
S7、将S6中整合分析的异常数据剔除，并将异常数据研判模型进行参数调整，更新异常数据研判模型；
S8、将S7中更新的异常数据研判模型进行评估，以保证异常数据研判模型的精准度。
本实施例中，优选地，S2中获取的数据信息预处理的步骤如下：
步骤a、先将获取的数据信息汇总；
步骤b、再将数据信息进行数据清洗、数据转换以及数据集成工作；
步骤c、然后将步骤b中处理后的数据上传至数据库。
本实施例中，优选地，S3中正则表达式库的建立方法如下：
A、根据预处理后的数据信息，分析数据信息构成规则，以确定数据信息的特征集合；
B、根据特征集合的类型和属性，以设计各特征集合的正则表达式，构成正则表达式库；
C、根据建立的正则表达式库，分析获取的数据信息中的异常录入数据进行修正，以建立数据库D1。
本实施例中，优选地，S5中异常数据研判模型的建立方法具体如下：
(1)、针对数据库D1中的数量属性字段，识别异常数据；
(2)、整合数据库D1中未建立异常数据识别规则的字段，建立数据库D2，并对数据库D2中的数量属性字段进行离散化；
(3)、根据Apriori算法，生成候选项集Ck和频繁项集Lk；
(4)、当数据库D2增加新的数据集d时，引入参数i(1；
(5)、计算强关联规则；
(6)、根据强关联规则和历史数据信息，建立数据异常研判模型。
本实施例中，优选地，识别异常数据的判定方式如下：
1)、通过极大极小值建立字段的正常逻辑范围，当该字段的输入数据超出正常范围时，则判定为异常数据；
2)、利用线性模型，对存在一元线性关系的字段，建立线性模型，偏离直线的数值判定为异常数据；
3)、通过确定性的函数关系模型，对存在其他确定性函数关系的字段，建立函数关系，利用函数关系判断数据异常。
本实施例中，优选地，S7中异常数据研判模型的更新步骤具体如下：
S71、先通过数据筛选模块筛选出异常数据；
S72、再通过交叉验证法或网格搜索法将异常数据研判模型的参数进行调整；
S73、然后通过数据更新模块将异常数据研判模型进行更新。
本实施例中，优选地，S8中异常数据研判模型的评估方法包括兰德指数算法和轮廓系数算法。
2、请参阅图2所示，一种数据异常的信息研判模型，该模型应用于上述的一种数据异常的信息研判方法，模型包括：
获取模块，用于实现数据信息的获取；
数据处理模块，用于实现数据信息的处理；
建模模块，用于实现数据模型的建立；
数据分析研判模块，用于实现数据信息的分析、研判；
实时在环检测模块，用于实现异常数据的整合分析。
本实施例中，优选地，模型包括模型更新单元，模型更新单元包括数据筛选模块和数据更新模块，且模型更新单元用于实现异常数据研判模型的更新。
本实施例中，优选地，模型还包括评估模块，评估模块用于实现更新后的异常数据研判模型的评估。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种数据异常的信息研判方法，其特征在于：该方法具体包括如下步骤：
S1、获取数据信息；
S2、将S1中获取的数据信息进行预处理，并存储于数据库；
S3、建立正则表达式库，并对数据进行处理；
S4、建立异常数据研判模型；
S5、将实时数据信息输入S4中建立的异常数据研判模型，通过异常数据研判模型将实时数据信息进行分析、研判；
S6、将S5中研判出的异常数据进行实时在环检测，并将异常数据进行整合分析；
S7、将S6中整合分析的异常数据剔除，并将异常数据研判模型进行参数调整，更新异常数据研判模型；
S8、将S7中更新的异常数据研判模型进行评估，以保证异常数据研判模型的精准度。
2.根据权利要求1所述的一种数据异常的信息研判方法，其特征在于：S2中所述获取的数据信息预处理的步骤如下：
步骤a、先将获取的数据信息汇总；
步骤b、再将数据信息进行数据清洗、数据转换以及数据集成工作；
步骤c、然后将步骤b中处理后的数据上传至数据库。
3.根据权利要求1所述的一种数据异常的信息研判方法，其特征在于：S3中所述正则表达式库的建立方法如下：
A、根据预处理后的数据信息，分析数据信息构成规则，以确定数据信息的特征集合；
B、根据特征集合的类型和属性，以设计各特征集合的正则表达式，构成正则表达式库；
C、根据建立的正则表达式库，分析获取的数据信息中的异常录入数据进行修正，以建立数据库D1。
4.根据权利要求3所述的一种数据异常的信息研判方法，其特征在于：S5中所述异常数据研判模型的建立方法具体如下：
(1)、针对数据库D1中的数量属性字段，识别异常数据；
(2)、整合数据库D1中未建立异常数据识别规则的字段，建立数据库D2，并对数据库D2中的数量属性字段进行离散化；
(3)、根据Apriori算法，生成候选项集Ck和频繁项集Lk；
(4)、当数据库D2增加新的数据集d时，引入参数i(1；
(5)、计算强关联规则；
(6)、根据强关联规则和历史数据信息，建立数据异常研判模型。
5.根据权利要求4所述的一种数据异常的信息研判方法，其特征在于：所述识别异常数据的判定方式如下：
1)、通过极大极小值建立字段的正常逻辑范围，当该字段的输入数据超出正常范围时，则判定为异常数据；
2)、利用线性模型，对存在一元线性关系的字段，建立线性模型，偏离直线的数值判定为异常数据；
3)、通过确定性的函数关系模型，对存在其他确定性函数关系的字段，建立函数关系，利用函数关系判断数据异常。
6.根据权利要求1所述的一种数据异常的信息研判方法，其特征在于：S7中所述异常数据研判模型的更新步骤具体如下：
S71、先通过数据筛选模块筛选出异常数据；
S72、再通过交叉验证法或网格搜索法将异常数据研判模型的参数进行调整；
S73、然后通过数据更新模块将异常数据研判模型进行更新。
7.根据权利要求1所述的一种数据异常的信息研判方法，其特征在于：S8中所述异常数据研判模型的评估方法包括兰德指数算法和轮廓系数算法。
8.一种数据异常的信息研判模型，其特征在于：该模型应用于权利要求1-7中任意一项所述的一种数据异常的信息研判方法，所述模型包括：
获取模块，用于实现数据信息的获取；
数据处理模块，用于实现数据信息的处理；
建模模块，用于实现数据模型的建立；
数据分析研判模块，用于实现数据信息的分析、研判；
实时在环检测模块，用于实现异常数据的整合分析。
9.根据权利要求8所述的一种数据异常的信息研判模型，其特征在于：所述模型包括模型更新单元，所述模型更新单元包括数据筛选模块和数据更新模块，且所述模型更新单元用于实现异常数据研判模型的更新。
10.根据权利要求8所述的一种数据异常的信息研判模型，其特征在于：所述模型还包括评估模块，所述评估模块用于实现更新后的异常数据研判模型的评估。
CN202110126182.7A 2021-01-29 2021-01-29 一种数据异常的信息研判模型及方法 Pending CN112905572A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110126182.7A CN112905572A (zh) 2021-01-29 2021-01-29 一种数据异常的信息研判模型及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110126182.7A CN112905572A (zh) 2021-01-29 2021-01-29 一种数据异常的信息研判模型及方法

Publications (1)

Publication Number Publication Date
CN112905572A true CN112905572A (zh) 2021-06-04

Family

ID=76121106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110126182.7A Pending CN112905572A (zh) 2021-01-29 2021-01-29 一种数据异常的信息研判模型及方法

Country Status (1)

Country Link
CN (1) CN112905572A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109257383A (zh) * 2018-11-09 2019-01-22 中国人民解放军战略支援部队信息工程大学 一种bgp异常检测方法及系统
CN109767618A (zh) * 2018-12-20 2019-05-17 北京航空航天大学 一种公安交管业务异常数据综合研判方法及系统
CN110851422A (zh) * 2019-11-06 2020-02-28 国家计算机网络与信息安全管理中心山西分中心 一种基于机器学习的数据异常监测模型构建方法
CN111275136A (zh) * 2020-03-13 2020-06-12 安图实验仪器(郑州)有限公司 基于小样本下的故障预测系统及其预警方法
CN111708343A (zh) * 2019-10-31 2020-09-25 中国科学院沈阳自动化研究所 一种面向制造业行业现场工艺行为异常行为检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109257383A (zh) * 2018-11-09 2019-01-22 中国人民解放军战略支援部队信息工程大学 一种bgp异常检测方法及系统
CN109767618A (zh) * 2018-12-20 2019-05-17 北京航空航天大学 一种公安交管业务异常数据综合研判方法及系统
CN111708343A (zh) * 2019-10-31 2020-09-25 中国科学院沈阳自动化研究所 一种面向制造业行业现场工艺行为异常行为检测方法
CN110851422A (zh) * 2019-11-06 2020-02-28 国家计算机网络与信息安全管理中心山西分中心 一种基于机器学习的数据异常监测模型构建方法
CN111275136A (zh) * 2020-03-13 2020-06-12 安图实验仪器(郑州)有限公司 基于小样本下的故障预测系统及其预警方法

Similar Documents

Publication Publication Date Title
CN112034789B (zh) 一种数控机床关键部件及整机的健康评估方法，系统及评估终端机
CN111105332A (zh) 一种基于人工神经网络的高速公路智能预养护方法及系统
TW201732662A (zh) 一種建立資料識別模型的方法及裝置
CN110083803B (zh) 基于时间序列arima模型取水异常检测方法与系统
CN112547807B (zh) 一种基于决策树算法的热轧带钢质量精准判定方法
CN111783544B (zh) 加工陶瓷手机背板的金刚石铣磨头状态监测系统搭建方法
CN114155072B (zh) 基于大数据分析的财务预测模型构建方法及系统
CN110852496A (zh) 一种基于lstm循环神经网络的天然气负荷预测方法
CN112446597A (zh) 贮箱质量评估方法、系统、存储介质、计算机设备及应用
CN113887126A (zh) 焊点质量分析方法、装置、终端设备及介质
CN117056688A (zh) 一种基于数据分析的新材料生产数据管理系统及方法
CN116028887A (zh) 一种连续性工业生产数据的分析方法
CN111612149A (zh) 一种基于决策树的主网线路状态检测方法、系统及介质
CN111695730A (zh) 基于arima及rnn的立磨振动预测方法及装置
CN111476274A (zh) 一种大数据预测分析的方法、系统、装置及存储介质
CN117591679A (zh) 基于知识图谱的积木式产品碳足迹智能分析系统及方法
CN117034197A (zh) 基于多维Isolate-Detect多变点检测的企业用电典型模式分析方法
CN116365519B (zh) 一种电力负荷预测方法、系统、存储介质及设备
CN112905572A (zh) 一种数据异常的信息研判模型及方法
CN112858208A (zh) 基于红外光谱主成分和神经网络的生物质钾含量测量与建模方法
CN113642669B (zh) 基于特征分析的防欺诈检测方法、装置、设备及存储介质
KR102543211B1 (ko) 비정형 기업 데이터를 이용한 기업성장 예측 시스템
CN111125082B (zh) 基于关联规则挖掘的水泥工艺参数数据分析方法
Zhou et al. Study on Optimization of Data-Driven Anomaly Detection
Cui A long-term electrical power load forecasting model based on grey feed-back modification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination