一种大数据处理方法、系统和计算机可读存储介质
技术领域
本发明涉及大数据分析技术领域,尤其涉及一种大数据处理方法、系统和计算机可读存储介质。
背景技术
针对设备和系统的健康度检测是设备和系统维护中的一项重要工作。现有技术中通常采用定时检测的方法,直接的依据测量参数结果来判断和预测故障。现有的方法不能做到准确有效的健康度预测,不能准确直观的预测故障,无法直观有效的获得设备和系统的健康度变化状况和趋势分析结果。
发明内容
有鉴于此,本发明提供一种大数据处理方法、系统和计算机可读存储介质,以至少解决现有技术中存在的以上技术问题。
本发明一方面提供一种大数据处理方法,所述方法包括:
获得待分析的目标系统中各目标对象的时间序列历史数据,所述目标系统中包括至少一个目标对象;
根据获得的所述目标系统中各目标对象的时间序列历史数据,计算各目标对象所对应的多阶故障征兆的转移概率;
根据所述各目标对象所对应的多阶故障征兆的转移概率,计算获得所述目标系统的健康度信息。
在一可实施方式中,所述获得待分析的目标系统中各目标对象的时间序列历史数据,包括:
获得待分析的目标系统中各目标对象的历史检测模拟信号;
将所述各目标对象的历史检测模拟信号进行离散处理转换为相应的历史检测数字信号作为目标对象的时间序列历史数据。
在一可实施方式中,所述计算各目标对象所对应的多阶故障征兆的转移概率,包括:
分别针对每个目标对象,将其历史检测数字信号的对应数值按时间序列进行排列,得到按时间排序的数值序列{q1、q2、…、qn-1、qn};
针对所述数值序列中的第i个数据,在所述第i个数据所处的状态为已知的条件下,分别计算第i-1、第i-2…、第1个数据出现后所述第i个数据出现的条件概率值[p1、p2、…、pi-2、pi-1];其中,1<i≤n;
所述条件概率值[p1、p2、…、pi-2、pi-1]构成了相应目标对象的多阶故障征兆的转移概率的一维矩阵,即作为相应目标对象的多阶故障征兆的转移概率矩阵。
在一可实施方式中,所述根据各目标对象所对应的多阶故障征兆的转移概率,计算获得目标系统的健康度信息,包括:
针对每个目标对象,将其多阶故障征兆的转移概率矩阵中的所有概率值求和,将求和结果确定为相应目标对象的健康度的值;将所述目标系统中所有目标对象的健康度的值求和,并将求和结果确定为相应目标系统的健康度的值;
或者,针对每个目标对象,将其多阶故障征兆的转移概率矩阵中的所有概率值求积,将求积结果确定为相应目标对象的健康度的值;将所述目标系统中所有目标对象的健康度的值求积,并将求积结果确定为相应目标系统的健康度的值;
或者,针对每个目标对象,将其多阶故障征兆的转移概率矩阵中的所有概率值求均值,将求均值结果确定为相应目标对象的健康度的值;将所述目标系统中所有目标对象的健康度的值求均值,并将求均值结果确定为相应目标系统的健康度的值。
在一可实施方式中,在计算获得所述目标系统的健康度信息之后,所述方法还包括:根据所述健康度信息分析确定潜在故障源信息,具体为:
预设有多阶故障征兆的转移概率矩阵中各阶故障征兆所对应的故障源信息;
根据所述健康度对应的多阶故障征兆的转移概率矩阵,计算得到相应故障源导致目标故障发生的概率信息。
本发明另一方面提供一种大数据处理系统,所述系统包括:
历史数据获得单元,用于获得待分析的目标系统中各目标对象的时间序列历史数据,所述目标系统中包括至少一个目标对象;
征兆发生概率获得单元,用于根据获得的所述目标系统中各目标对象的时间序列历史数据,计算各目标对象所对应的多阶故障征兆的转移概率;
健康度信息获得单元,用于根据所述各目标对象所对应的多阶故障征兆的转移概率,计算获得所述目标系统的健康度信息。
在一可实施方式中,所述历史数据获得单元包括:
模拟信号获得子单元,用于获得待分析的目标系统中各目标对象的历史检测模拟信号;
离散处理子单元,用于将所述各目标对象的历史检测模拟信号进行离散处理转换为相应的历史检测数字信号作为目标对象的时间序列历史数据。
在一可实施方式中,所述征兆发生概率获得单元包括:
排序子单元,用于分别针对每个目标对象,将其历史检测数字信号的对应数值按时间序列进行排列,得到按时间排序的数值序列{q1、q2、…、qn-1、qn};
条件概率计算子单元,用于针对所述数值序列中的第i个数据,在所述第i个数据所处的状态为已知的条件下,分别计算第i-1、第i-2…、第1个数据出现后所述第i个数据出现的条件概率值[p1、p2、…、pi-2、pi-1];其中,1<i≤n;
矩阵获得子单元,用于将所述条件概率值[p1、p2、…、pi-2、pi-1]构成的相应目标对象的多阶故障征兆的转移概率的一维矩阵,作为相应目标对象的多阶故障征兆的转移概率矩阵。
在一可实施方式中,所述健康度信息获得单元进一步用于,
针对每个目标对象,将其多阶故障征兆的转移概率矩阵中的所有概率值求和,将求和结果确定为相应目标对象的健康度的值;将所述目标系统中所有目标对象的健康度的值求和,并将求和结果确定为相应目标系统的健康度的值;
或者,针对每个目标对象,将其多阶故障征兆的转移概率矩阵中的所有概率值求积,将求积结果确定为相应目标对象的健康度的值;将所述目标系统中所有目标对象的健康度的值求积,并将求积结果确定为相应目标系统的健康度的值;
或者,针对每个目标对象,将其多阶故障征兆的转移概率矩阵中的所有概率值求均值,将求均值结果确定为相应目标对象的健康度的值;将所述目标系统中所有目标对象的健康度的值求均值,并将求均值结果确定为相应目标系统的健康度的值。
在一可实施方式中,所述系统还包括:故障源分析单元,用于根据所述健康度信息分析确定潜在故障源信息,具体为:
预设有多阶故障征兆的转移概率矩阵中各阶故障征兆所对应的故障源信息;
根据所述健康度对应的多阶故障征兆的转移概率矩阵,计算得到相应故障源导致目标故障发生的概率信息。
本发明再一方面提供一种计算机可读存储介质,所述介质包括一组计算机可执行指令,当所述指令被执行时用于执行本发明所述的大数据处理方法。
通过实施本发明的方法和系统,能够做到对目标系统准确有效的健康度预测,能准确直观的预测故障,直观有效的获得设备和系统的健康度变化状况和趋势分析结果;另外,通过根据设备和系统的实际运行经验预设多阶故障征兆的转移概率矩阵中各阶故障征兆所对应的故障源信息,能够根据多阶故障征兆的转移概率矩阵计算得到相应故障源导致目标故障发生的概率信息,从而能够确定潜在的故障源信息,实现故障源的可预测和可追溯。
附图说明
图1示出了本发明实施例一的一种大数据处理方法的流程示意图;
图2示出了本发明实施例二的一种大数据处理方法的流程示意图;
图3示出了本发明实施例一的一种大数据处理系统的组成结构示意图;
图4示出了本发明实施例二的一种大数据处理系统的组成结构示意图。
具体实施方式
为使本发明的目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而非全部实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
参见图1所示,本发明实施例一提供的一种大数据处理方法主要包括:
步骤101,获得待分析的目标系统中各目标对象的时间序列历史数据,目标系统中包括至少一个目标对象。
本发明实施例不对目标系统的具体内容和形式进行限制,本发明实施例的目标系统既可以是由多个子系统构成的大型数据或装置系统,也可以是针对该目标系统内的单个子系统,还可以是针对某独立运行的装置或系统。例如:目标系统可以是由核心控制系统、供电系统、暖通系统等构成的整体系统,也可以仅仅是核心控制系统、供电系统、暖通系统的其中之一;当目标系统是由核心控制系统、供电系统、暖通系统等构成的整体系统时,所述核心控制系统、供电系统、暖通系统可以作为该目标系统的各目标对象,从而获得的时间序列历史数据是指分别对应核心控制系统、供电系统、暖通系统的以时间排序的历史数据;当目标系统是核心控制系统、供电系统、暖通系统的其中之一时,目标系统中的目标对象可以是系统中的各组成要件或检测目标。
在一可实施方式中,步骤101具体包括:
获得待分析的目标系统中各目标对象的历史检测模拟信号;
将各目标对象的历史检测模拟信号进行离散处理转换为相应的历史检测数字信号作为目标对象的时间序列历史数据。
模拟信号可由现场的传感器实时采集获得,数字信号及其离散处理是通过A/D转换系统来实现的,历史数据存储于可长期保存数据的二进制信息存储介质中。
举例一:
以由核心控制系统、供电系统、暖通系统构成的目标系统为例,那么核心控制系统、供电系统、暖通系统分别作为该目标系统的目标对象。以其中的供电系统为例,获得供电系统的时间序列历史数据的过程为:
由供电系统的传感器实时采集获得相应的历史检测模拟信号,通过过A/D转换将历史检测模拟信号转换为相应的数字信号,并通过数据离散处理获得相应的历史检测数字信号,将其作为目标对象的时间序列历史数据,进而将其存储于可长期保存数据的二进制信息存储介质中(如内存、硬盘、磁盘、U盘等等)。
同样的,对于目标系统的其他目标对象,如核心控制系统、暖通系统,其时间序列历史数据的获得过程也与供电系统的时间序列历史数据获得方式类似,此处不再赘述。通过上述的实施过程,能够获得目标系统中各个目标对象分别对应的时间序列历史数据。
步骤102,根据获得的目标系统中各目标对象的时间序列历史数据,计算各目标对象所对应的多阶故障征兆的转移概率。
计算各目标对象所对应的多阶故障征兆的转移概率的过程可包括:
分别针对每个目标对象,将其历史检测数字信号的对应数值按时间序列进行排列,得到按时间排序的数值序列{q1、q2、…、qn-1、qn};
针对数值序列中的第i个数据,在第i个数据所处的状态为已知的条件下,分别计算第i-1、第i-2…、第1个数据出现后第i个数据出现的条件概率值[p1、p2、…、pi-2、pi-1];其中,1<i≤n;
由条件概率值[p1、p2、…、pi-2、pi-1]构成了相应目标对象的多阶故障征兆的转移概率的一维矩阵,即作为相应目标对象的多阶故障征兆的转移概率矩阵。
其中,历史数据的时间序列可以表示如下:1、2、…i-2、i-1、i、i+1、i+2…。
“…i-2、i-1、i、i+1、i+2…”这些表示数据的时刻,也就是说,在获得第i个时刻的数字信号后,前面1~i-1时刻也称为第i个时刻的历史时刻;对于第i个时刻所获得的数据,可以计算第i-1、第i-2…、第1个数据出现后第i个数据出现的条件概率值,即[p1、p2、…、pi-2、pi-1];同样的,在获得第i+1个时刻的数字信号后,前面1~i时刻也称为第i+1个时刻的历史时刻;对于第i+1个时刻所获得的数据,可以计算第i、i-1、第i-2…、第1个数据出现后第i+1个数据出现的条件概率值,即[p1、p2、…、pi-2、pi-1、pi];以此类推,针对每个时刻获得的历史数据,都能通过上述方法计算获得对应该时刻的目标对象的多阶故障征兆的转移概率矩阵,对应每个时刻的转移概率矩阵都是由相应的条件概率值组成的一维矩阵。
步骤103,根据各目标对象所对应的多阶故障征兆的转移概率,计算获得目标系统的健康度信息。
在一实施过程中,步骤103的具体实施过程为:
针对每个目标对象,将其多阶故障征兆的转移概率矩阵中的所有概率值求和,将求和结果确定为相应目标对象的健康度的值;将目标系统中所有目标对象的健康度的值求和,并将求和结果确定为相应目标系统的健康度的值;
或者,针对每个目标对象,将其多阶故障征兆的转移概率矩阵中的所有概率值求积,将求积结果确定为相应目标对象的健康度的值;将目标系统中所有目标对象的健康度的值求积,并将求积结果确定为相应目标系统的健康度的值;
或者,针对每个目标对象,将其多阶故障征兆的转移概率矩阵中的所有概率值求均值,将求均值结果确定为相应目标对象的健康度的值;将目标系统中所有目标对象的健康度的值求均值,并将求均值结果确定为相应目标系统的健康度的值。
如计算某一时刻的目标系统的健康度信息,需要将对应时刻下每个目标对象多阶故障征兆的转移概率矩阵中的所有概率值分别求和/求积/求均值,将求和/求积/求均值结果确定为相应目标对象在对应时刻的健康度的值;再将对应时刻下目标系统中所有目标对象的健康度的值求和/求积/求均值,从而将求和/求积/求均值结果确定为目标系统在对应时刻下的健康度的值,即为所述健康度信息。
由此可见,目标系统在各个不同时刻下的健康度的值最终组成一条反应目标系统健康度的曲线,通过该曲线能够充分反应目标系统的健康度变化趋势,并能很好的预测目标系统发生潜在故障的风险。
需要说明的是,本发明实施例给出了健康度值的三种计算方式:求和、求积、求均值。当然,本发明实施例并非仅限于以上三种计算方式,实际应用中任何可利用转移概率矩阵中的概率值计算用于评价目标系统健康度的信息的方法应当都属于本发明实施例的保护范围。
实施例二
如图2所示,本发明实施例二所提供的一种大数据处理方法,在上述实施例一的步骤103之后,还包括:
步骤104,根据健康度信息分析确定潜在故障源信息。具体为:
预设有多阶故障征兆的转移概率矩阵中各阶故障征兆所对应的故障源信息;
根据健康度对应的多阶故障征兆的转移概率矩阵,计算得到相应故障源导致目标故障发生的概率信息。
对目标系统的健康度曲线进行分析,如果健康度曲线中反应的变化趋势以及健康度的值满足预设的故障预警条件,则判定存在潜在故障风险。在实际应用中,可以根据实际运行经验数据,预设转移概率矩阵中各阶故障征兆所对应的故障源信息,那么,就可以根据健康度对应的多阶故障征兆的转移概率矩阵,来计算得到相应故障源导致目标故障发生的概率信息,从而根据故障源导致目标故障发生的概率信息来确定潜在的故障源,从而有利于在故障发生之前通过数据分析获得潜在的故障源,做到防患于未然。
实施例三
对应本发明实施例的大数据处理方法,本发明实施例还提供了一种大数据处理系统,如图3所示,该系统主要包括:
历史数据获得单元10,用于获得待分析的目标系统中各目标对象的时间序列历史数据,目标系统中包括至少一个目标对象;
征兆发生概率获得单元20,用于根据获得的目标系统中各目标对象的时间序列历史数据,计算各目标对象所对应的多阶故障征兆的转移概率;
健康度信息获得单元30,用于根据各目标对象所对应的多阶故障征兆的转移概率,计算获得目标系统的健康度信息。
在一可实施方式中,历史数据获得单元10包括:
模拟信号获得子单元11,用于获得待分析的目标系统中各目标对象的历史检测模拟信号;
离散处理子单元12,用于将各目标对象的历史检测模拟信号进行离散处理转换为相应的历史检测数字信号作为目标对象的时间序列历史数据。
在另一可实施方式中,征兆发生概率获得单元20包括:
排序子单元21,用于分别针对每个目标对象,将其历史检测数字信号的对应数值按时间序列进行排列,得到按时间排序的数值序列{q1、q2、…、qn-1、qn};
条件概率计算子单元22,用于针对数值序列中的第i个数据,在第i个数据所处的状态为已知的条件下,分别计算第i-1、第i-2…、第1个数据出现后所述第i个数据出现的条件概率值[p1、p2、…、pi-2、pi-1];其中,1<i≤n;
矩阵获得子单元23,用于将所述条件概率值[p1、p2、…、pi-2、pi-1]构成的相应目标对象的多阶故障征兆的转移概率的一维矩阵,作为相应目标对象的多阶故障征兆的转移概率矩阵。
在另一可实施方式中,健康度信息获得单元30进一步用于,
针对每个目标对象,将其多阶故障征兆的转移概率矩阵中的所有概率值求和,将求和结果确定为相应目标对象的健康度的值;将目标系统中所有目标对象的健康度的值求和,并将求和结果确定为相应目标系统的健康度的值;
或者,针对每个目标对象,将其多阶故障征兆的转移概率矩阵中的所有概率值求积,将求积结果确定为相应目标对象的健康度的值;将目标系统中所有目标对象的健康度的值求积,并将求积结果确定为相应目标系统的健康度的值;
或者,针对每个目标对象,将其多阶故障征兆的转移概率矩阵中的所有概率值求均值,将求均值结果确定为相应目标对象的健康度的值;将目标系统中所有目标对象的健康度的值求均值,并将求均值结果确定为相应目标系统的健康度的值。
目标系统在各个不同时刻下的健康度的值最终组成一条反应目标系统健康度的曲线,通过该曲线能够充分反应目标系统的健康度变化趋势,并能很好的预测目标系统发生潜在故障的风险。
实施例四
如图4所示,实施例四的大数据处理系统在实施例三的基础上还包括:故障源分析单元40,用于根据健康度信息分析确定潜在故障源信息,具体为:
预设有多阶故障征兆的转移概率矩阵中各阶故障征兆所对应的故障源信息;
根据健康度对应的多阶故障征兆的转移概率矩阵,计算得到相应故障源导致目标故障发生的概率信息。
对目标系统的健康度曲线进行分析,如果健康度曲线中反应的变化趋势以及健康度的值满足预设的故障预警条件,则判定存在潜在故障风险。在实际应用中,可以根据实际运行经验数据,预设转移概率矩阵中各阶故障征兆所对应的故障源信息,那么,就可以根据健康度对应的多阶故障征兆的转移概率矩阵,来计算得到相应故障源导致目标故障发生的概率信息,从而根据故障源导致目标故障发生的概率信息来确定潜在的故障源,从而有利于在故障发生之前通过数据分析获得潜在的故障源,做到防患于未然。
实施例五
下面以核心控制系统、供电系统、暖通系统等构成的目标系统为实际应用场景,进一步详细阐述本发明实施例的大数据处理方法在实际场景中的应用方案。
首先,针对目标系统中的核心控制系统、供电系统、暖通系统,分别记录其时间序列历史数据,具体过程为:由各系统的传感器实时采集获得相应的历史检测模拟信号(如电压信号、电流信号等等),通过过A/D转换将历史检测模拟信号转换为相应的数字信号,并通过数据离散处理获得相应的历史检测数字信号,将其作为目标对象的时间序列历史数据,进而将其存储于可长期保存数据的二进制信息存储介质中。
其次,根据核心控制系统、供电系统、暖通系统各自的时间序列历史数据,分别计算其对应的多阶故障征兆的转移概率,具体过程为:
将核心控制系统、供电系统、暖通系统各自的历史检测数字信号的对应数值分别按时间序列进行排列,得到按时间排序的数值序列{q1、q2、…、qn-1、qn};
根据核心控制系统、供电系统、暖通系统各自的数值序列{q1、q2、…、qn-1、qn},计算各个时刻数据的条件概率值[p1、p2、…、pi-2、pi-1];
由每个时刻的条件概率值[p1、p2、…、pi-2、pi-1]构成的一维矩阵,即作为相应目标对象在不同时刻的多阶故障征兆的转移概率矩阵。
然后,根据核心控制系统、供电系统、暖通系统各自的转移概率矩阵,对转移概率矩阵中的所有概率值分别求和,将求和结果分别确定为相应核心控制系统、供电系统、暖通系统的健康度的值;再将核心控制系统、供电系统、暖通系统的健康度的值再求和,从而将最终求和结果确定为目标系统在相应时刻的整体健康度的值。
最终,目标系统在各个不同时刻下的健康度的值组成一条反应目标系统健康度的曲线,通过该曲线能够充分反应目标系统的健康度变化趋势,并能很好的预测目标系统发生潜在故障的风险。
实施例六
下面以由组件1和组件2构成的供电系统为实际应用场景,进一步详细阐述本发明实施例的大数据处理方法在实际场景中的应用方案。
首先,针对供电系统中的组件1和组件2,分别记录其时间序列历史数据,具体过程为:由组件1和组件2的传感器实时采集获得相应的历史检测模拟信号(如电压信号、电流信号等等),通过过A/D转换将历史检测模拟信号转换为相应的数字信号,并通过数据离散处理获得相应的历史检测数字信号,将其作为目标对象的时间序列历史数据,进而将其存储于可长期保存数据的二进制信息存储介质中。
其次,根据组件1和组件2各自的时间序列历史数据,分别计算其对应的多阶故障征兆的转移概率,具体过程为:
将组件1和组件2各自的历史检测数字信号的对应数值分别按时间序列进行排列,得到按时间排序的数值序列{q1、q2、…、qn-1、qn};
根据组件1和组件2各自的数值序列{q1、q2、…、qn-1、qn},计算各个时刻数据的条件概率值[p1、p2、…、pi-2、pi-1];
由每个时刻的条件概率值[p1、p2、…、pi-2、pi-1]构成的一维矩阵,即作为相应目标对象在不同时刻的多阶故障征兆的转移概率矩阵。
然后,根据组件1和组件2各自的转移概率矩阵,对转移概率矩阵中的所有概率值分别求和,将求和结果分别确定为相应组件1和组件2的健康度的值;再将组件1和组件2的健康度的值再求和,从而将最终求和结果确定为供电系统在相应时刻的整体健康度的值。
最终,供电系统在各个不同时刻下的健康度的值组成一条反应供电系统健康度的曲线,通过该曲线能够充分反应供电系统的健康度变化趋势,并能很好的预测供电系统发生潜在故障的风险。
另外,对供电系统的健康度曲线进行分析,如果健康度曲线中反应的变化趋势以及健康度的值满足预设的故障预警条件,则判定存在潜在故障风险。在实际应用中,可以根据实际运行经验数据,预设转移概率矩阵中各阶故障征兆所对应的故障源信息,那么,就可以根据健康度对应的多阶故障征兆的转移概率矩阵,来计算得到相应故障源导致目标故障发生的概率信息,从而根据故障源导致目标故障发生的概率信息来确定潜在的故障源,从而有利于在故障发生之前通过数据分析获得潜在的故障源。
本发明实施例还提供了一种计算机可读存储介质,该介质包括一组计算机可执行指令,当该指令被执行时用于实施本发明实施例所述的大数据处理方法。
综上所述,通过实施本发明的实施例,能够做到对目标系统准确有效的健康度预测,能准确直观的预测故障,直观有效的获得设备和系统的健康度变化状况和趋势分析结果;另外,通过根据设备和系统的实际运行经验预设多阶故障征兆的转移概率矩阵中各阶故障征兆所对应的故障源信息,能够根据多阶故障征兆的转移概率矩阵计算得到相应故障源导致目标故障发生的概率信息,从而能够确定潜在的故障源信息,实现故障源的可预测和可追溯。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。