CN113297272B - 一种桥梁监测数据关联规则挖掘及健康预警方法及系统 - Google Patents
一种桥梁监测数据关联规则挖掘及健康预警方法及系统 Download PDFInfo
- Publication number
- CN113297272B CN113297272B CN202110596358.5A CN202110596358A CN113297272B CN 113297272 B CN113297272 B CN 113297272B CN 202110596358 A CN202110596358 A CN 202110596358A CN 113297272 B CN113297272 B CN 113297272B
- Authority
- CN
- China
- Prior art keywords
- data
- bridge
- association rule
- abnormal
- association
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24564—Applying rules; Deductive queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Fuzzy Systems (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明涉及一种桥梁监测数据关联规则挖掘及健康预警方法及系统,该方法包括以下步骤:输入桥梁传感器的历史数据,然后对数据进行预处理和离散化;利用Apriori算法生成关联规则;对比桥梁正常与各项异常事件下的关联规则,记录变化较大的关联规则,建立关联规则库;输入新的桥梁传感器数据作为训练数据,进行预处理和离散化后利用Apriori算法生成关联规则;结合关联规则库,预测桥梁当前状态;判断预测结果是否正确,判断是否训练次数足够且预测准确率大于设定值,是则可将得到的关联模型应用于实时数据预测,否则继续训练;输入桥梁传感器的实施数据,预测桥梁当前状态。该方法及系统有利于更加准确地对桥梁健康进行监测及预警。
Description
技术领域
本发明属于数据挖掘技术领域,具体涉及一种桥梁监测数据关联规则挖掘及健康预警方法及系统。
背景技术
桥梁在投入使用后,除了要承受各种自然荷载以外,还不可避免的承受行车动力荷载、超载或撞击等,从而引起桥梁力学或结构性能的变化,这种内在变化将通过动静挠度的形式表现在桥梁表面。为了解桥梁的安全状况需要对其进行长期的结构性安全监测,防止桥梁坍塌等事故的发生。传统的监测方法是利用传感器获取桥梁的应变、温度、加速度、倾角、位移、索力、称重等监测数据,分别对每项监测数据进行单独专业的分析从而判断桥梁当前的健康状况。
传统方法只能简单的通过某一种桥梁监测数据的变动来判断桥梁是否正常,没有考虑到不同监测数据之间可能存在的关联,不能有效的反应各项数据对桥梁的复合影响。因此,有必要提供一种探究桥梁监测数据之间关联的方法,能够挖掘不同监测数据间的联系,更为立体的分析桥梁探测数据的波动对桥梁健康情况的影响。
发明内容
本发明的目的在于提供一种桥梁监测数据关联规则挖掘及健康预警方法及系统,该方法及系统有利于更加准确地对桥梁健康进行监测及预警。
为实现上述目的,本发明采用的技术方案是:一种桥梁监测数据关联规则挖掘及健康预警方法,包括以下步骤:
S1、输入桥梁传感器的历史数据,然后对数据进行预处理和离散化;
S2、基于上一步处理后的数据,利用Apriori算法生成关联规则;
S3、对比桥梁正常与各项异常事件下的关联规则,记录变化较大的关联规则,建立关联规则库;
S4、输入新的桥梁传感器数据作为训练数据,然后对数据进行预处理和离散化;
S5、基于上一步处理后的数据,利用Apriori算法生成关联规则;
S6、结合关联规则库,预测桥梁当前状态;
S7、输出预测结果,判断预测结果是否正确并计算预测准确率,然后判断是否训练次数足够且预测准确率大于设定值,是则转下一步,可将得到的关联模型应用于实时数据预测,否则返回步骤S4,继续进行训练;
S8、输入桥梁传感器的实施数据,并对数据进行预处理和离散化,然后基于处理后的数据,利用Apriori算法生成关联规则;
S9、结合关联规则库,预测桥梁当前状态;
S10、输出预测结果。
进一步地,步骤S1中,输入的桥梁传感器数据包括桥梁正常和异常状态下的传感器数据,异常状态数据添加标签,以说明当前数据区间桥梁处于何种异常事件;桥梁正常状态下的传感器数据,其数据结构为:【时间、桥梁名称、传感器类型、传感器编号、单位时间间隔内传感器数据平均值、传感器位置】;桥梁异常状态下的传感器数据,其数据结构为:【时间、桥梁名称、传感器类型、传感器编号、单位时间间隔内传感器数据平均值、传感器位置,桥梁异常事件】。
进一步地,步骤S1中,数据预处理的方法为:将同一时间但不同类型、编号的传感器数据进行汇聚;将桥梁正常状态下的传感器数据分为一组,其他每项桥梁异常事件下的数据各为一组。
进一步地,步骤S1中,数据离散化的方法为:桥梁结构或环境参数数据为数值数据,采取分箱方法将一定区间内的数据整合到一个箱中,以将数值型数据转化为Apriori算法可处理的字符型数据;分箱的具体参数指标参照传感器数据与桥梁的实时状态来确定,分箱区间根据数值安全度划分,即根据传感器数值在设定范围内桥梁异常的概率划分;
分箱过程需满足:(1)分箱区间的划分需能够包含所有数据的值,即每一个数据都能被分到某一个箱中;(2)正常数据与异常数据需统一分箱区间,即正常数据与异常数据的分箱个数、每个分箱区间的上限与下限的值需一致;(3)分箱时需设置一个传感器异常的分箱区间,即输入的数据的值不在传感器能接收的区间。
进一步地,步骤S2中,利用Apriori算法生成关联规则的方法为:利用Apriori算法找出分箱后数据的频繁项集,输出每项频繁项集的支持度、置信度与提升度;一条关联规则由项集及其支持度、置信度和提升度构成;根据计算能力调整最小支持度与最小置信度以寻找尽可能多的关联规则。
进一步地,步骤S3中,对比桥梁正常与每项异常事件下具有相同项集的关联规则,记录下支持度、置信度、提升度变化较大的关联规则,按表结构为:项集、正常关联规则属性、异常关联规则属性、异常事件,将其汇总到关联规则库中;
记录筛选的每条关联规则,建立关联规则库,其表结构为:桥梁异常事件、项集、桥梁正常状况关联规则属性、桥梁异常状况关联规则属性、关联规则发生次数、关联规则发生占比、关联规则发生与该桥梁异常事件比例。
进一步地,每次训练后对关联规则库进行一次更新,删除关联规则发生占比小于设定值且关联规则发生与该桥梁异常事件比例大于桥梁异常事件数的关联规则;去除价值低的规则,以精炼关联规则库。
进一步地,步骤S4中,进行数据预处理时取与步骤S1相同的时间间隔数据,进行数据离散化时取与步骤S1相同的分箱区间;步骤S5中,利用Apriori算法生成关联规则时,找到与关联规则库中具有相同前项和后项的关联规则。
进一步地,步骤S6中,结合关联规则库,判断桥梁当前状态的方法为:
将关联规则库中的关联规则与实时数据产生的具有相同前项后项的关联规则做对比,通过比较判断其属性为正常状态或异常状态;根据处于异常状态的关联规则属性,寻找最为接近的桥梁异常事件;若无相近的异常事件且只有小部分处于异常状态的关联规则,则判断桥梁处于正常状态,输出桥梁正常;若无相近的异常事件且较多传感器处于异常状态下,则判断桥梁处于未知异常状态,输出桥梁出现未知异常状态;若有相近的异常事件,则判断桥梁处于该异常状态,输出桥梁发生该项异常事件。
本发明还提供了一种桥梁监测数据关联规则挖掘及健康预警系统,包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序,当处理器运行所述计算机程序时,实现上述的方法步骤。
与现有技术相比,本发明具有以下有益效果:与现有的单一桥梁监测数据分析相比,本发明挖掘出多种传感器数据间的关联规则,全面、立体的反应多种桥梁监测数据对桥梁健康的共同作用。该方法对同时间不同传感器产生的数据进行离散化处理,利用Apriori算法产生关键规则,结合桥梁异常状态标签,建立关联规则库,利用新数据集对关联规则库进行不断优化、迭代,保持关联规则库始终能适应桥梁最新数据。传统桥梁监测仅通过单一传感器的异常数据,判断桥梁健康可能存在异常,无法发现各传感器数据正常情况下,不同传感器数据间的关联性发生变化而产生的潜在危险。本方法通过挖掘不同传感器间的关联规则,能够发现传感器数值正常时的桥梁异常,当不同传感器间的关联规则发生变化时,对比关联规则库,判断说明桥梁的健康状况发生改变,从而进行预警。
附图说明
图1是本发明实施例的方法实现流程图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出,以下详细说明都是示例性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示,本实施例提供了一种桥梁监测数据关联规则挖掘及健康预警方法,该方法从数据挖掘的角度出发,利用机器学习中的Apriori算法建立桥梁数据的关联模型,用于发现桥梁结构或环境参数之间的关系,并将该模型运用于对桥梁健康状况的检测中。
该方法实施步骤如下:
1.利用桥梁历史数据构建关联模型
1.1输入桥梁传感器的历史数据
选择一座桥梁正常和异常状态下的数据进行输入,即输入的桥梁传感器数据包括桥梁正常和异常状态下的传感器数据,异常状态添加标签,以说明当前数据区间桥梁处于何种异常事件。输入桥梁正常状况下的传感器数据,其数据结构为:【时间、桥梁名称、传感器类型、传感器编号、单位时间间隔内传感器数据平均值(时间间隔可为小时、分钟或秒,根据计算能力调整)、传感器位置】;输入桥梁异常状态下的传感器数据,其数据结构为【时间、桥梁名称、传感器类型、传感器编号、单位时间间隔内传感器数据平均值(时间间隔可为小时、分钟或秒,根据计算能力调整)、传感器位置,桥梁异常事件】。桥梁正常与异常状态下数据来源的传感器需在相同位置且类型相同。
1.2对数据进行数据预处理
根据计算能力选取传感器数据每小时、分钟或者秒的平均值,将同一时间但不同类型、编号的传感器数据进行汇聚。将正常状态下的传感器数据分为一组,其他每项桥梁异常事件下的数据各为一组。分别进行1.3-1.4步骤。
1.3对数据进行数据离散化
桥梁结构或环境参数数据为数值数据,Apriori算法处理的数据一般为符号型数据,需要将数据进行离散化处理。
本发明采取分箱方法将一定区间内的数据整合到一个箱中,以将数值型数据转化为Apriori算法可处理的字符型数据。分箱的具体参数指标需参照传感器数据与桥梁的实时状态来确定,分箱区间建议根据数值安全度划分,即根据传感器数值在某一范围内桥梁异常的概率划分。
分箱过程需满足:
(1)分箱区间的划分需能够包含所有数据的值,即每一个数据都能被分到某一个箱中;
(2)正常数据与异常数据需统一分箱区间,即正常数据与异常数据的分箱个数、每个分箱区间的上限与下限的值需一致;
(3)分箱时需设置一个传感器异常的分箱区间,即输入的数据的值不在传感器能接收的区间,如温度传感器的能接收的值区间为[-100℃,100℃],某时间传回的温度数据为200℃,说明此数据是由于传感器的异常而产生的。有时候传感器的异常是由于某些桥梁异常事件引发的,这种情况下的数据也是具有参考价值的。
分箱定义:通过考察“邻居”(周围的值)来平滑存储数据的值,用“箱的深度”表示不同的箱里有相同个数的数据,用“箱的宽度”来表示每个箱值的取值区间。由于分箱方法考虑相邻的值,因此是一种局部平滑方法。分箱的主要目的是去噪,将连续数据离散化,增加力度。
按照取值的不同可划分为按箱平均值平滑、按箱中值平滑以及按箱边界值平滑。
举例:
假设有8、24、15、41、7、10、18、67、25等9个数,分为3箱。
箱1:8、24、15
箱2:41、7、10
箱3:18、67、25
分别用三种不同的分箱法求出平滑存储数据的值:
按箱平均值求得平滑数据值:箱1:16,16,16,平均值是16,这样该箱中的每一个值被替换为16。
按箱中值求得平滑数据值:箱2:10,10,10,可以使用按箱中值平滑,此时,箱中的每一个值被箱中的中值替换。
按箱边界值求得平滑数据值:箱3:18,18,67,箱中的最大和最小值被视为箱边界。箱中的每一个值都被最近的边界值替换。
通过不同分箱方法求解的平滑数据值,就是同一箱中3个数的存储数据的值。
1.4基于处理后的数据,利用Apriori算法生成关联规则
利用Apriori算法找出分箱后数据的频繁项集,输出每项频繁项集的支持度、置信度与提升度。一条关联规则的结构为:项集、支持度、置信度、提升度。因为有意义的规则不一定是强关联规则,某些有意义的规则并不一定在总的项目集中占大的比例,但是这些小比例规则可能蕴含了有价值的信息。所以关联规则的生成数量越多越好,即最小支持度与最小置信度的阈值选择越低越好。但设备的算力是有限的,且Apriori算法需对数据库进行多次的遍历,需要的算力较大,而意义较大的规则通常集中在支持度与置信度较大的关联规则中,所以需根据计算能力调整最小支持度与最小置信度以寻找尽可能多的关联规则。
注:一条关联规则由项集和其支持度、置信度、提升度构成。项集就是项的集合,比如牛奶和面包组成一个集合{牛奶,面包},那么牛奶和面包就是项,而{牛奶,面包}为一个二项集,其中牛奶为前项,面包为后项;支持度是度量一个集合在原始数据中出现的频率;置信度指的是发生事件A的基础上发生事件B的概率(相当于条件概率);提升度是前项已满足的条件下,此时后项发生的概率与前项不满足条件下,后项发生概率的比值。
Apriori算法是一种挖掘关联规则的频繁项集算法,其核心思想是通过候选集生成和情节的向下封闭检测两个阶段来挖掘频繁项集。该算法已经被广泛的应用到商业、网络安全等各个领域。
Apriori算法采用了迭代的方法,先搜索出候选1项集及对应的支持度,剪枝去掉低于支持度的1项集,得到频繁1项集。然后对剩下的频繁1项集进行连接,得到候选的频繁2项集,筛选去掉低于支持度的候选频繁2项集,得到真正的频繁二项集,以此类推,迭代下去,直到无法找到频繁k+1项集为止,对应的频繁k项集的集合即为算法的输出结果,算法步骤如下:
(1)找出频繁1-项集,记为L1,然后利用L1来挖掘L2,即频繁2-集项,不断如此循环下去直到无法发现更多的频繁项集k-项集为止;
(2)找到所有频繁项集后,根据频繁项集生成关联规则。
支持度:数据集中包含该项集的数据所占数据集的比例,即度量一个集合在原始数据中出现的频率。关联规则A->B的支持度:
support=P(AB)
指的是事件A和事件B同时发生的概率(相当于联合概率)。
置信度:
指的是发生事件A的基础上发生事件B的概率(相当于条件概率)。
频繁k项集:
项集就是项的集合,比如牛奶和面包组成一个集合{牛奶,面包},那么牛奶和面包就是项,而{牛奶,面包}为一个二项集。频繁项集表示的就是在数据集中频繁出现的项集。如果事件A中包含k个元素,那么称这个事件A为k项集,并且事件A满足最小支持度阈值的事件称为频繁k项集。
提升度:
前项已满足的条件下,此时后项发生的概率与前项不满足条件下,后项发生概率的比值。
1.5对比桥梁正常与各项异常事件下的关联规则,记录变化较大的关联规则
对比桥梁正常与每项异常事件下具有相同项集的关联规则,记录下支持度、置信度、提升度变化较大的关联规则,按表结构为:项集、正常关联规则属性(支持度、置信度、提升度)、异常关联规则属性、异常事件,将其汇总到1.6关联规则库中。
1.6建立关联规则库
记录通过1.5筛选的每条关联规则,建立关联规则库,其表结构为:桥梁异常事件、项集、桥梁正常状况关联规则属性(支持度、置信度、提升度)、桥梁异常状况关联规则属性(支持度、置信度、提升度)、关联规则发生次数(发生该桥梁异常状况下,该关联规则发生的次数)、关联规则发生占比(发生该桥梁异常状况下,该关联规则发生的次数/该异常状况发生次数)、关联规则发生与该桥梁异常事件比例(项集的关联规则属性在所有异常事件下发生类似变化的次数/该异常事件发生的次数。注:在不同的桥梁异常事件下,此项集的关联规则属性也可能发生相似的变化,因此通过分析项集的变化次数与桥梁异常事件发生次数的比例也能体现两者的关系程度)。初步建立的关联规则库所包含的桥梁异常事件较少,所包含的关联规则可能存在偶然性,若直接应用于桥梁健康监测可能会导致极大的误差,需对该模型进行训练。
每次训练后对关联规则库进行一次更新,删除关联规则发生占比小于10%且关联规则发生与该桥梁异常事件比例大于桥梁异常事件数(相同桥梁异常事件重复发生也只计算一次)的关联规则。去除价值低的规则,以精炼关联规则库。
2.利用新的桥梁数据训练关联模型
2.1输入新的桥梁传感器数据作为训练数据
实施方法同步骤1.1。
2.2数据预处理
实施方法同步骤1.2,取与步骤1.2相同的时间间隔数据。
2.3数据离散化(分箱)
实施方法同步骤1.3,需与1.3取相同的分箱区间。
2.4利用Apriori算法生成关联规则
实施方法同步骤1.4,找到与关联规则库中具有相同前项和后项的关联规则。
2.5结合关联规则库,预测桥梁当前状态
将关联规则库中的关联规则与实时数据产生的具有相同前项后项的关联规则做对比,通过比较判断其属性(支持度、置信度、提升度)为正常状态或异常状态。根据处于异常状态的关联规则属性(支持度、置信度、提升度),寻找最为接近的桥梁异常事件。若无相近的异常事件且只有小部分处于异常状态的关联规则,则判断桥梁处于正常状态,输出桥梁正常;若无相近的异常事件且较多传感器处于异常状态下,则判断桥梁处于未知异常状态,输出桥梁出现未知异常状态。若有相近的异常事件,则判断桥梁处于该异常状态,输出桥梁发生该项异常事件。
2.6输出预测结果,判断预测结果是否正确
输出预测结果,判断预测结果是否正确并计算预测准确率,然后判断是否训练次数足够且预测准确率大于设定值,是则转下一步,可将得到的关联模型应用于实时数据预测,否则继续进行训练。
训练数据是带有标签的,即已知桥梁当前是否处于异常状态、处于何种异常状态。将预测结果与训练数据的标签比较,即可判断预测结果是否正确。然后按如下公式即可计算预测准确率:预测准确率=预测正确次数/总预测次数。
正确:若处于未知状态异常,将该异常事件查明,与当前异常的关联规则一起记录进关联规则库,更新相关的关联规则发生与该桥梁异常事件比例;若处于某项已知异常状态,将处于异常状态的关联规则汇总进关联规则库中,若关联规则库中具有项集相同且具有相近属性的关联规则,则合并,关联规则发生次数+1,更新关联规则发生占比与关联规则发生与该桥梁异常事件比例,若关联规则中没有相同项集或相近属性的关联规则,则新建一条关联规则;
错误:若桥梁处于异常事件,将处于异常状态的关联规则汇总进关联规则库中,若关联规则库中具有桥梁异常事件、项集相同且具有相近属性的关联规则,则合并,关联规则发生次数+1,更新关联规则发生占比与关联规则发生与该桥梁异常事件比例,若关联规则中没有相同异常事件、项集或相近属性的关联规则,则新建一条关联规则。
3.将实时数据输入模型进行监测与预警
3.1输入实时数据
输入与步骤1.1相同位置、相同类型传感器的实时数据,表结构为【时间、桥梁名称、传感器类型、传感器编号、传感器数据平均值(时间间隔可为小时、分钟或秒,根据计算能力调整)、传感器位置】。
3.2数据预处理
实施方法同步骤2.2,根据目标精度,取时间间隔。
3.3数据离散化(分箱)
实施方法同步骤2.3,需与2.3取相同的分箱区间。
3.4利用Apriori算法生成关联规则
实施方法同步骤2.4,找到与关联规则库中具有相同前项和后项的关联规则。
3.5结合关联规则库,预测桥梁当前状态
实施方法同步骤2.5。
3.6输出预测结果,判断预测结果是否正确,继续训练关联规则库
实时数据也可充当训练数据,从而在实际运用中不断更新关联规则库,不断训练、完善关联模型,追求更高的精度。
实时数据与训练数据的最大区别是并未带有标签,即不知当前桥梁是否异常。对于实时数据,输出预测结果后,通过查证核对,给这段数据赋予标签,即可用于更新关联规则库。若预测结果为异常,系统会进行预警,预警后进行相应的查证,该查证结果便可作为标签赋予这段数据;若预测结果为正常,实际桥梁为异常,通过定期的桥梁巡视查证发现,可基于查证结果给这段数据赋予标签。
现有桥梁健康监测技术仅分别对单个传感器传回的数据进行分析,根据历史数据拟合单个传感器的数据波动判断当前桥梁健康状况。该方法较为单一、片面,没有考虑到不同种类的传感器甚至是同种类但是不同位置的传感器对桥梁健康状况的共同作用。本发明方法对桥梁各个传感器之间的关联性进行深度挖掘,以多段桥梁数据进行反复训练、优化模型,通过输入新数据不断挖掘能反应桥梁健康情况的关联规则,从而建立关联规则库。
现有桥梁健康监测系统大多仅在某一个传感器出现异常值时进行预警。该方法无法识别在传感器数值正常时,因不同传感器数据间的关联规则发生改变时产生的桥梁异常。且单一数值分析不够严谨,容易产生误报漏报。本发明方法通过建立关联规则模型,对不同传感器传回的数据进行实时分析,无论单一传感器的数值是否在正常范围内,只要关联规则发生变化,对比关联规则库,判断当前桥梁出现的异常事件种类及其概率,进行预警。
本发明最突出的技术特点在于关联规则库的建立方式,即利用新数据训练关联规则库的过程,通过比对关联规则相似度进行显示具体事件与其概率的预警。具体体现在:
关联规则的建立方式:对正常与异常数据进行预处理、分箱,通过Apriori算法生成关联规则。进行对比桥梁正常与每项异常事件下具有相同项集的关联规则,记录下支持度、置信度、提升度变化较大的关联规则。建立的关联规则库表结构如下:桥梁异常事件、项集、桥梁正常状况关联规则属性、桥梁异常状况关联规则属性、关联规则发生次数、关联规则发生占比、关联规则发生与该桥梁异常事件比例。
训练关联规则的过程:输入新数据进行重复关联规则的建立过程。根据判断结果进行以下操作:正确。若处于未知状态异常,将该异常事件查明,与当前异常的关联规则一起记录进关联规则库,更新相关的关联规则发生与该桥梁异常事件比例;若处于某项已知异常状态,将处于异常状态的关联规则汇总进关联规则库中,若关联规则库中具有项集相同且具有相近属性的关联规则,则合并,关联规则发生次数+1,更新关联规则发生占比与关联规则发生与该桥梁异常事件比例,若关联规则中没有相同项集或相近属性的关联规则,则新建一条关联规则;错误。若桥梁处于异常事件,将处于异常状态的关联规则汇总进关联规则库中,若关联规则库中具有桥梁异常事件、项集相同且具有相近属性的关联规则,则合并,关联规则发生次数+1,更新关联规则发生占比与关联规则发生与该桥梁异常事件比例,若关联规则中没有相同异常事件、项集或相近属性的关联规则,则新建一条关联规则。每次训练后对关联规则库进行一次更新,删除关联规则发生占比小于10%且关联规则发生与该桥梁异常事件比例大于桥梁异常事件数(相同桥梁异常事件重复发生也只计算一次)的关联规则。去除价值低的规则,以精炼关联规则库。
显示具体事件与其概率的预警:将关联规则库中的关联规则与实时数据产生的具有相同前项后项的关联规则做对比,通过比较判断其属性(支持度、置信度、提升度)为正常状态或异常状态。根据处于异常状态的关联规则属性(支持度、置信度、提升度),寻找最为接近的桥梁异常事件。若无相近的异常事件且只有小部分处于异常状态的关联规则,则判断桥梁处于正常状态,输出桥梁正常;若无相近的异常事件且较多传感器处于异常状态下,则判断桥梁处于未知异常状态,输出桥梁出现未知异常状态。若有相近的异常事件,则判断桥梁处于该异常状态,输出桥梁发生该项异常事件。
本实施例还提供了一种桥梁监测数据关联规则挖掘及健康预警系统,其特征在于,包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序,当处理器运行所述计算机程序时,实现上述的方法步骤。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅是本发明的较佳实施例而已,并非是对本发明作其它形式的限制,任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型,仍属于本发明技术方案的保护范围。
Claims (6)
1.一种桥梁监测数据关联规则挖掘及健康预警方法,其特征在于,包括以下步骤:
S1、输入桥梁传感器的历史数据,然后对数据进行预处理和离散化;
S2、基于上一步处理后的数据,利用Apriori算法生成关联规则;
S3、对比桥梁正常与各项异常事件下的关联规则,记录变化较大的关联规则,建立关联规则库;
S4、输入新的桥梁传感器数据作为训练数据,然后对数据进行预处理和离散化;
S5、基于上一步处理后的数据,利用Apriori算法生成关联规则;
S6、结合关联规则库,预测桥梁当前状态;
S7、输出预测结果,判断预测结果是否正确并计算预测准确率,然后判断是否训练次数足够且预测准确率大于设定值,是则转下一步,可将得到的关联模型应用于实时数据预测,否则返回步骤S4,继续进行训练;
S8、输入桥梁传感器的实施数据,并对数据进行预处理和离散化,然后基于处理后的数据,利用Apriori算法生成关联规则;
S9、结合关联规则库,预测桥梁当前状态;
S10、输出预测结果;
步骤S1中,数据离散化的方法为:桥梁结构或环境参数数据为数值数据,采取分箱方法将一定区间内的数据整合到一个箱中,以将数值型数据转化为Apriori算法可处理的字符型数据;分箱的具体参数指标参照传感器数据与桥梁的实时状态来确定,分箱区间根据数值安全度划分,即根据传感器数值在设定范围内桥梁异常的概率划分;
分箱过程需满足:(1)分箱区间的划分需能够包含所有数据的值,即每一个数据都能被分到某一个箱中;(2)正常数据与异常数据需统一分箱区间,即正常数据与异常数据的分箱个数、每个分箱区间的上限与下限的值需一致;(3)分箱时需设置一个传感器异常的分箱区间,即输入的数据的值不在传感器能接收的区间;
步骤S2中,利用Apriori算法生成关联规则的方法为:利用Apriori算法找出分箱后数据的频繁项集,输出每项频繁项集的支持度、置信度与提升度;一条关联规则由项集及其支持度、置信度和提升度构成;根据计算能力调整最小支持度与最小置信度以寻找尽可能多的关联规则;
步骤S3中,对比桥梁正常与每项异常事件下具有相同项集的关联规则,记录下支持度、置信度、提升度变化较大的关联规则,按表结构为:项集、正常关联规则属性、异常关联规则属性、异常事件,将其汇总到关联规则库中;
记录筛选的每条关联规则,建立关联规则库,其表结构为:桥梁异常事件、项集、桥梁正常状况关联规则属性、桥梁异常状况关联规则属性、关联规则发生次数、关联规则发生占比、关联规则发生与该桥梁异常事件比例;
步骤S6中,结合关联规则库,判断桥梁当前状态的方法为:
将关联规则库中的关联规则与实时数据产生的具有相同前项后项的关联规则做对比,通过比较判断其属性为正常状态或异常状态;根据处于异常状态的关联规则属性,寻找最为接近的桥梁异常事件;若无相近的异常事件且只有小部分处于异常状态的关联规则,则判断桥梁处于正常状态,输出桥梁正常;若无相近的异常事件且较多传感器处于异常状态下,则判断桥梁处于未知异常状态,输出桥梁出现未知异常状态;若有相近的异常事件,则判断桥梁处于该异常状态,输出桥梁发生该项异常事件。
2.根据权利要求1所述的一种桥梁监测数据关联规则挖掘及健康预警方法,其特征在于,步骤S1中,输入的桥梁传感器数据包括桥梁正常和异常状态下的传感器数据,异常状态数据添加标签,以说明当前数据区间桥梁处于何种异常事件;桥梁正常状态下的传感器数据,其数据结构为:【时间、桥梁名称、传感器类型、传感器编号、单位时间间隔内传感器数据平均值、传感器位置】;桥梁异常状态下的传感器数据,其数据结构为:【时间、桥梁名称、传感器类型、传感器编号、单位时间间隔内传感器数据平均值、传感器位置,桥梁异常事件】。
3.根据权利要求2所述的一种桥梁监测数据关联规则挖掘及健康预警方法,其特征在于,步骤S1中,数据预处理的方法为:将同一时间但不同类型、编号的传感器数据进行汇聚;将桥梁正常状态下的传感器数据分为一组,其他每项桥梁异常事件下的数据各为一组。
4.根据权利要求1所述的一种桥梁监测数据关联规则挖掘及健康预警方法,其特征在于,每次训练后对关联规则库进行一次更新,删除关联规则发生占比小于设定值且关联规则发生与该桥梁异常事件比例大于桥梁异常事件数的关联规则;去除价值低的规则,以精炼关联规则库。
5.根据权利要求1所述的一种桥梁监测数据关联规则挖掘及健康预警方法,其特征在于,步骤S4中,进行数据预处理时取与步骤S1相同的时间间隔数据,进行数据离散化时取与步骤S1相同的分箱区间;步骤S5中,利用Apriori算法生成关联规则时,找到与关联规则库中具有相同前项和后项的关联规则。
6.一种桥梁监测数据关联规则挖掘及健康预警系统,其特征在于,包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序,当处理器运行所述计算机程序时,实现如权利要求1-5任一项所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110596358.5A CN113297272B (zh) | 2021-05-30 | 2021-05-30 | 一种桥梁监测数据关联规则挖掘及健康预警方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110596358.5A CN113297272B (zh) | 2021-05-30 | 2021-05-30 | 一种桥梁监测数据关联规则挖掘及健康预警方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113297272A CN113297272A (zh) | 2021-08-24 |
CN113297272B true CN113297272B (zh) | 2023-01-06 |
Family
ID=77326245
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110596358.5A Active CN113297272B (zh) | 2021-05-30 | 2021-05-30 | 一种桥梁监测数据关联规则挖掘及健康预警方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113297272B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113945632A (zh) * | 2021-09-08 | 2022-01-18 | 浙江省北大信息技术高等研究院 | 一种钢结构网架的健康监测装置和方法 |
CN116266483A (zh) * | 2021-12-16 | 2023-06-20 | 华为云计算技术有限公司 | 一种医疗检测数据的判读方法及装置 |
CN115342848A (zh) * | 2022-08-01 | 2022-11-15 | 广州市齐明软件科技有限公司 | 一种关于传感器异常数据的检测方法及装置 |
CN116029604B (zh) * | 2023-02-03 | 2024-01-23 | 华南农业大学 | 一种基于健康舒适度的笼养肉鸭养殖环境调控方法 |
CN117216701B (zh) * | 2023-09-13 | 2024-03-15 | 华夏安信物联网技术有限公司 | 智慧桥梁监测预警方法及系统 |
CN117056869A (zh) * | 2023-10-11 | 2023-11-14 | 轩创(广州)网络科技有限公司 | 一种基于人工智能的电子信息数据关联方法及系统 |
CN117131110B (zh) * | 2023-10-27 | 2024-01-23 | 南京中鑫智电科技有限公司 | 一种基于关联分析的容性设备介质损耗监测方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110018670A (zh) * | 2019-03-28 | 2019-07-16 | 浙江大学 | 一种基于动态关联规则挖掘的工业过程异常工况预测方法 |
CN111737916A (zh) * | 2020-06-22 | 2020-10-02 | 华南农业大学 | 一种基于大数据的道路桥梁病害分析与养护决策方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101655857B (zh) * | 2009-09-18 | 2013-05-08 | 西安建筑科技大学 | 基于关联规则挖掘技术挖掘建设法规领域数据的方法 |
EP3796241A1 (en) * | 2019-09-18 | 2021-03-24 | Tata Consultancy Services Limited | System and method for categorical time-series clustering |
CN111143517B (zh) * | 2019-12-30 | 2023-09-05 | 浙江阿尔法人力资源有限公司 | 人选标签预测方法、装置、设备和存储介质 |
CN112818924B (zh) * | 2021-02-26 | 2023-07-07 | 同济大学 | 一种基于关联规则分析的道路深层病害预警方法 |
-
2021
- 2021-05-30 CN CN202110596358.5A patent/CN113297272B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110018670A (zh) * | 2019-03-28 | 2019-07-16 | 浙江大学 | 一种基于动态关联规则挖掘的工业过程异常工况预测方法 |
CN111737916A (zh) * | 2020-06-22 | 2020-10-02 | 华南农业大学 | 一种基于大数据的道路桥梁病害分析与养护决策方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113297272A (zh) | 2021-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113297272B (zh) | 一种桥梁监测数据关联规则挖掘及健康预警方法及系统 | |
CN110633855B (zh) | 一种桥梁健康状态检测与管养决策系统及方法 | |
Tang et al. | Convolutional neural network‐based data anomaly detection method using multiple information for structural health monitoring | |
CN101950382B (zh) | 一种带有风险控制的液压设备最优维修计算方法 | |
Si et al. | A novel approach for coal seam terrain prediction through information fusion of improved D–S evidence theory and neural network | |
CN106600115A (zh) | 一种企业信息系统运维智能分析方法 | |
Leng et al. | A hybrid data mining method for tunnel engineering based on real-time monitoring data from tunnel boring machines | |
KR20180072167A (ko) | 유사특허 추출 시스템 및 그 방법 | |
KR20190072652A (ko) | 정보 처리 장치 및 정보 처리 방법 | |
CN109490072A (zh) | 一种土木工程建筑用检测系统及其检测方法 | |
CN109492775B (zh) | 一种地质构造解释的检测方法,检测装置及可读存储介质 | |
CN111066003A (zh) | 对流程行业中的设备进行状态监测的方法、装置及介质 | |
Tavakoli et al. | Input variable selection in time-critical knowledge integration applications: A review, analysis, and recommendation paper | |
CN113312696B (zh) | 基于arima算法的桥梁健康状况动态预测告警方法 | |
Bach et al. | Automatic case capturing for problematic drilling situations | |
Merzah | Software quality prediction using data mining techniques | |
Haijun et al. | Sensor data fusion using rough set for mobile robots system | |
CN114818493A (zh) | 一种隧道岩体完整程度定量评价的方法 | |
CN114330442A (zh) | 一种基于k-近邻法的管道应变特征分类计算方法及系统 | |
Liu et al. | Data-driven approaches for diagnosis of incipient faults in cutting arms of the roadheader | |
Turkoglu et al. | Application of data mining in failure estimation of cold forging machines: An industrial research | |
Sahana | Software Defect Prediction Based on Classication Rule Mining | |
EP3683759A1 (en) | Resource exploitation management system, method and program product | |
CN117824756B (zh) | 一种建筑结构监测方法、设备及存储介质 | |
CN111594197B (zh) | 一种基于tbm岩机信息的隧洞断层段超前智能感知方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |