CN106383916A - 基于工业设备预测性维护的数据处理方法 - Google Patents

基于工业设备预测性维护的数据处理方法 Download PDF

Info

Publication number
CN106383916A
CN106383916A CN201610983040.1A CN201610983040A CN106383916A CN 106383916 A CN106383916 A CN 106383916A CN 201610983040 A CN201610983040 A CN 201610983040A CN 106383916 A CN106383916 A CN 106383916A
Authority
CN
China
Prior art keywords
data
equipment
forecast model
hbase
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610983040.1A
Other languages
English (en)
Other versions
CN106383916B (zh
Inventor
刘红超
缪燕
喻翠微
陈晓娟
刘浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Beijing Xuji Electric Co Ltd
Original Assignee
State Grid Corp of China SGCC
Beijing Xuji Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Beijing Xuji Electric Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201610983040.1A priority Critical patent/CN106383916B/zh
Publication of CN106383916A publication Critical patent/CN106383916A/zh
Application granted granted Critical
Publication of CN106383916B publication Critical patent/CN106383916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Abstract

本发明实施例提供了一种基于工业设备预测性维护的数据处理方法,包括:建立基于Hadoop架构的存储平台的步骤,所述基于Hadoop架构的存储平台包括用于存储海量设备数据的HBase数据库;建立基于R语言的分析平台的步骤,所述基于R语言的分析平台通过所述HBase数据库内的设备数据进行分析;建立Hadoop接口程序的步骤,所述Hadoop接口程序用于提供接口实现业务数据能按规定的格式存入Hadoop平台的HBase数据库,使基于R语言的分析平台读取基于Hadoop架构的存储平台内的设备数据。上述的技术方案提供一种基于Hadoop+R语言平台的数据分析技术。

Description

基于工业设备预测性维护的数据处理方法
技术领域
本发明属于涉及信息技术领域,尤其涉及一种基于工业设备预测性维护的数据处理方法。
背景技术
近年来,预测性维护策略逐渐受到工厂设施管理人员的关注。预测性维护策略是通过在线监测和分析设备运行状态,以期在早期发现设备性能下降或发生故障的迹象,并给出可执行的处理措施建议,通知产线维护人员进行维护或排除故障。由于预测性维护对设备的状态检测一般都是在线进行,所以不会对设备的正常运转产生干扰;同时可以实现按需维护,这样不仅可以降低停机时间,提高产量,还能消除在不必要的维护上所花费的时间和资源。
实施预测性维护需要采集海量的设备数据,然后对数据进行详尽的分析。随着智能设备的引入、传感器技术的发展,使得设备数据的采集变得越来越便利。然而采集到海量的设备数据后如何进行存储和分析则是实现预测性维护策略的关键。
传统的数据存储方式和分析方法具有以下劣势:
1、数据存储压力大,不能长时间保存设备历史数据,只能保存近期少量数据,从而影响分析预测的准确性;
2、存储瓶颈还会导致数据分析效率低,显然不能满足准确预测的需求。
因此,如何以技术手段实现对工业设备数据的有效存储和分析,提出工业设备预测性维护分析方案是一个亟待解决的问题。
发明内容
针对现有技术中对海量数据进行存储和分析存在的问题,本发明实施例的目的是提供一种有效且高效的基于工业设备预测性维护的数据处理方法,能够提高针对海量数据进行有效存储和分析的效果。
为了解决上述问题,本发明实施例提出了一种基于工业设备预测性维护的数据处理方法,包括:
建立基于Hadoop架构的存储平台的步骤,所述基于Hadoop架构的存储平台包括用于存储海量设备数据的HBase数据库;建立基于R语言的分析平台的步骤,所述基于R语言的分析平台通过所述HBase数据库内的设备数据进行分析;建立RHadoop接口程序的步骤,所述RHadoop接口程序用于实现业务数据能按规定的格式存入Hadoop平台的HBase数据库,提供接口以使基于R语言的分析平台读取基于Hadoop架构的存储平台内的设备数据;
其中,建立基于Hadoop架构的存储平台的步骤具体包括:
为每一设备对应的在HBase数据库建立一个HBase表,所述HBase表的关键词Key包括至少三个参数:设备编码,部件编码,采集时间;
为每一HBase表生成一个列族DeviceProperty,所述列族设有以下至少四个列以存储设备数据:基本信息、环境信息、状态信息和故障信息;其中基本信息为设备的设备描述类参数,环境信息为设备所处环境的环境参数,状态信息为设备的工作状态参数,故障信息为设备出现故障时的故障参数;
其中,建立RHadoop接口程序的步骤具体包括:
建立接口API库以提供对HBase数据库的配置接口、权限接口、数据接口;
其中所述配置接口包含用于对HBase数据库进行环境配置的子接口、用于与HBase数据库建立连接的子接口、用于与HBase数据库断开连接的子接口;
其中所述权限接口用于根据预设的不同权限提供对HBase数据库的对应访问操作;
其中所述数据接口用于实现业务数据能按规定的格式存入Hadoop平台的HBase数据库,用于根据基于R语言的分析平台对基于Hadoop架构的存储平台进行访问的指令,对基于Hadoop架构的存储平台的HBase数据库的HBase表进行操作;
其中,建立基于R语言的分析平台的步骤具体包括:
建立线性回归算法模型以寻找属性与预测目标之间的线性关系,并采用最小二乘法来获取各属性与预测目标的线性系数;
进行K-Means聚类算法模型以获取设备数据与故障类型之间的关系;具体包括:将各个聚类子集内的所有数据样本的均值作为该聚类的代表点,并将每个数据点划分到最近的类别中,使得评价聚类性能的准则函数达到最优,从而使同一个类中的对象相似度较高,而不同类之间的对象的相似度较小;
建立决策树算法模型以根据设备当前的运行状态参数实时预测设备是否会引发故障;具体包括:利用对设备运行参数及故障参数作为训练样本进行学习以建立分类规则;利用分类规则对设备当前的运行状态参数进行分类;
建立时间序列算法模型以预测在什么时间范围内会引发何种类型的故障;具体包括:观测变量的当前值,记录历史数据和历史上所受随机干扰因素;然后通过历史数据和历史上所受的扰动进行回归得到当前的观测变量的预测值;
建立神经网络算法模型以根据设备当前的运行状态参数实时预测设备是否会引发故障;具体包括:信息的正向传递、误差的反向传播;在信息的正向传递过程中,输入信息从输入层经隐含层逐层计算传向输出层,每一层神经元的状态只影响下一层神经元的状态;如果输出层没有得到期望输出,则计算输出层的误差变化值,然后反向传播,通过网络将误差信号沿原来的连接通路反传,修改各神经元的权值,直至达到期望目标;
建立预测模型以进行设备预测性维护预测,其中所述预测模型基于R语言,且所述建立预测模型的步骤包括map阶段和reduce阶段,具体包括:
设置预测模型的时间范围,并加载数据;根据自变量与因变量之间的关系,计算回归系数,并最终生成预测模型。
其中,建立预测模型以进行设备预测性维护预测,其中所述预测模型基于R语言,且所述建立预测模型的步骤包括map阶段和reduce阶段,具体包括:
设置预测模型的时间范围,并加载数据;根据自变量与因变量之间的关系,计算回归系数,并最终生成预测模型。
其中,建立预测模型以进行设备预测性维护预测,其中所述预测模型基于R语言,且所述建立预测模型的步骤包括map阶段和reduce阶段,具体包括:
设出现故障Y的影响因素为X1和X2;则建立的预测模型为
Y=a1X1+a2X2
其中,a1、a2、β为回归系数;
确定模型时间范围t;加载设备故障时的历史数据;
根据map阶段的段mapper1函数计算XtX;根据根据map阶段的段mapper2函数计算XtY;
根据reduce阶段的Sum.reduce函数,计算map阶段输出的总和;
利用mapreduce()调用mapper1和Sum.reduce函数,计算XtX;运用mapreduce()调用mapper2和Sum.reduce函数,计算XtY;
计算回归系数值,并生成线性回归预测模型。
其中,所述方法还包括:根据建立的预测模型以及HBase数据库存储的设备数据,对故障进行预测。
建立预测模型以进行设备预测性维护预测,其中所述预测模型基于R语言,且所述建立预测模型的步骤包括map阶段和reduce阶段,具体包括:
设置预测模型的时间范围,并加载数据;根据自变量与因变量之间的关系,计算回归系数,并最终生成预测模型。
其中,所述根据建立的预测模型以及HBase数据库存储的设备数据,对故障进行预测,具体包括:
设定需要进行预测的时间范围;加载设备的运行数据;
调用指定设备的预测模型,以计算阈值,并计算达到阈值需要的时间范围;
输出结果文件。
其中,所述基本信息包括以下的至少一个参数:设备名称、部件名称、设备操作人、数据采集时间;所述环境信息包括以下的至少一个参数:温度、湿度、粉尘;状态信息包括以下的至少一个参数:设备的冲压压力、位移、电机转速、电流、性能;所述故障信息包括以下的至少一个参数:故障类别、故障描述。
其中,所述RHadoop接口程序的数据接口用于对HBase数据库的HBase表执行以下操作:
插入或修改数据:putCell(tableName,columnFamily,column,value);;
批量插入或修改数据:putCells(tableName,hbasecellList);
删除一条记录:deleteRow(tableName,rowkey);
批量删除记录:deleteRows(tableName,rowkeyList);
删除单元格:deleteCell(tableName,columnFamily,column);
按关键词Key的数据查询:queryData(tableName,rowkey);
自定义查询条件的数据查询:scaneByRowkeyRangeFilter(tableName,query);
统计行数:rowCount(tableName,columnFamily)。
本发明的上述技术方案的有益效果如下:上述的技术方案对提供一种基于Hadoop+R语言平台的数据分析技术,能够提供数据存储接口给工业设备数据采集程序调用,把海量设备数据存入基于开源平台Hadoop的HBase数据库系统,然后采用数据统计分析语言R来对海量数据进行统计分析,进行工业设备故障的预测,提出设备预防性维护的方案。
附图说明
图1是RHadoop基础架构图;
图2是接口API、设备数据采集程序、HBase关系图;
图3是设备数据的存储结构图;
图4是预测分析组件架构图;
图5是建立线性回归预测模型流程图;
图6是线性回归预测分析流程图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
本发明实施例提出了一种基于工业设备预测性维护的数据处理和分析方法,提供了一种基于Hadoop+R语言平台的工业设备预测性维护分析技术,首先通过接口把海量的设备数据存入基于Hadoop架构的存储平台,然后采用基于R语言的分析平台来进行预测分析;其中基于Hadoop架构的存储平台和基于R语言的分析平台之间通过RHadoop连接。其中RHadoop是一款R语言和Hadoop结合的产品,其架构说明见图1,它提供了rmr、rhdfs和rhbase三个基于R语言的功能包,可以通过R语言直接调用函数实现R语言平台与Hadoop架构平台的连接。
本发明实施例提出的基于工业设备预测性维护的数据处理方法利用了设备数据存储接口API和预测分析组件;其中:
1.设备数据存储接口API
为了实现设备数据能按预定格式存储到基于Hadoop架构的存储平台的HBase数据库中,本发明实施例提出了一种设备数据存储接口API,使得设备采集程序能快速实现数据存储。设备数据存储接口API对HBase数据库操作方法进行封装,提供专用API库供设备数据采集程序调用,支持把海量设备数据存入HBase。设备数据存储接口API、设备数据采集程序、HBase数据库之间关系如图2所示的。在本发明实施例中,设备数据存储接口API采用JAVA语言编写,以jar包的形式提供给设备数据采集程序调用,支持JAVA编程语言,操作简单,很方便实现设备数据的存取工作。
1.1设备数据存储结构定义
HBase数据库是一个分布式、多版本、面向列的开源数据库,利用Hadoop HDFS作为其文件存储系统,提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统,因此它特别适合存储设备数据。
如图3所示的,为便于后期维护管理,本发明实施例中将每个设备采集的数据独立存储于不同的HBase表中。其中,每一个表的Key值定义为“设备编码+部件编码+采集时间”;定义一个列族(DeviceProperty),设备数据存入该列族不同的列中,设备数据分为四类:基本信息、环境信息、状态信息和故障信息。其中基本信息包括设备名称、部件名称、设备操作人、数据采集时间等设备描述类信息;环境信息包括温度、湿度、粉尘等外部环境信息;状态信息跟具体的设备有关,比如冲压压力、位移、电机转速、电流、性能等影响设备运行的信息。这些信息是用于预测分析的主要信息;故障信息包含故障类别、故障描述等信息。
1.2设备数据存储接口API的接口API库
接口API库提供对HBase配置、权限、数据三种类型的接口,其中配置类接口包含HBase客户端环境配置方法、连接、断开方法等接口;权限类配置对HBase数据表根据不同权限授权,不允许非法访问;数据类接口主要是指对表的增删改查方法的封装,主要的数据类接口如下:
(1)插入或修改记录:putCell(tableName,columnFamily,column,value);
(2)批量插入或修改记录:putCells(tableName,hbasecellList);
(3)删除一条记录:deleteRow(tableName,rowkey);
(4)批量删除记录:deleteRows(tableName,rowkeyList);
(5)删除单元格:deleteCell(tableName,columnFamily,column);
(6)按rowkey查询数据:queryData(tableName,rowkey);
(7)自定义查询条件:scaneByRowkeyRangeFilter(tableName,query);
(8)统计行数:rowCount(tableName,columnFamily);
2.预测分析组件
R语言是一款开源的、专业的统计分析软件,R语言是集数分析与图形可视化于一体的程序设计语言,主要用于统计分析、绘图、数据挖掘。
预测分析组件采用R语言开发,运行在RHadoop环境中,组件内置多种预测算法,包括:线性回归、K-Means聚类、决策树、神经网络和时间序列算法。组件根据设定的分析时间段,通过RHBase接口从HBase数据库载入相关数据,选取样本数据集建立预测分析模型并存入系统,供后续预测分析调用。预测性维护分析组件架构见图4。
2.1预测分析模型定义
预测分析组件主要提供以下分析算法:
(1)线性回归:可用来预测设备数据在多长时间内达到阈值,从而引发故障。算法思想是:寻找属性与预测目标之间的线性关系,采用最小二乘法来获取各属性与预测目标的线性系数。
线性回归建模命令:linearRegression(tableName,columnsIn,columnOut)。
(2)K-Means聚类:用来预测设备数据在什么情况下会引发某种类型的故障。算法思想是:首先将各个聚类子集内的所有数据样本的均值作为该聚类的代表点,然后把每个数据点划分到最近的类别中,使得评价聚类性能的准则函数达到最优,从而使同一个类中的对象相似度较高,而不同类之间的对象的相似度较小。
K-Means建模命令:KMeans(tableName,columnsIn)。
(3)决策树:可根据设备运行时各状态参数情况,实时预测设备是否会引发某种类型的故障。算法思想是:通过对训练样本的学习,建立分类规则;依据分类规则,实现对新样本的分类。
决策树建模命令:decisionTree(tableName,columnsIn,columnOut)
(4)时间序列:可用来预测设备在什么时间范围内会引发某种类型的故障。算法思想是:观测变量的当前值,记录历史数据和历史上所受随机干扰因素,进而通过历史数据和历史上所受的扰动进行回归得到当前的观测变量的预测值。
时间序列建模命令:timeSequence(tableName,columnsIn,columnOut)。
(5)神经网络:跟决策树类似,可根据设备运行时各状态参数情况,实时预测设备是否会引发某种类型的故障。算法由两部分组成:信息的正向传递与误差的反向传播。在正向传播过程中,输入信息从输入层经隐含层逐层计算传向输出层,每一层神经元的状态只影响下一层神经元的状态。如果输出层没有得到期望输出,则计算输出层的误差变化值,然后反向传播,通过网络将误差信号沿原来的连接通路反传,修改各神经元的权值,直至达到期望目标。
神经网络建模命令:neuralNetworks(tableName,columnsIn,columnOut)
2.2预测模型算法实现
预测模型算法的实现主要是R语言的mapreduce化,即将R程序分成map和reduce两个阶段,并通过mapreduce接口实现R结合Hadoop对数据的并行化处理。以下以回归分析为例,说明算法的实现。
回归分析是研究被解释变量(因变量)与解释变量(自变量)之间相互依赖的定量关系的一种统计分析方法,主要用来预测。例如应用回归分析来预测某一设备未来一周是否会出现故障,此为因变量;假设导致设备出现故障的的主要影响因素是电机的转速和温度,此为两个自变量,确定变量之间的关系如下:
Y=a1X1+a2X2
建立线性回归预测模型步骤见图5,具体步骤如下:
(1)设置模型时间范围;
(2)加载数据;
(3)定义map阶段mapper1函数,计
(4)定义map阶段mapper2函数,计
(5)定义reduce阶段Sum.reduce函数,计算map阶段输出的总和;
(6)运用mapreduce()调用mapper1和Sum.reduce函数,计
(7)运用mapreduce()调用mapper2和Sum.reduce函数,计
(8)计算回归系数值;
(9)生成线性回归预测模型。
其他预测模型实现与线性回归基本类似,在此不再赘述。
2.3预测分析组件调用方式
预测分析组件以命令行的形式提供给用户使用,命令执行成功后,把预测结果存入指定文本文件中。其执行流程是先判断是否已有对应预测模型,如果没有,则先建立算法模型,然后再进行预测分析。
比如实现线性回归预测分析,调用过程见图6,调用步骤如下:
(1)判断对应预测模型是否已经建立,如果已经建立直接进入第2步;如果没有建立则调用建立模型过程,然后转到第2步;
(2)设定预测时间范围;
(3)加载数据;
(4)调用指定设备的预测模型;
(5)计算阈值;
(6)计算达到阈值需要的时间范围;
(7)输出结果文件。
具体的调用命令如下:
设置模型时间范围命令setModelTimeRange(strartTime,endTime);
建立预测模型命令:linearRegression('Model','equipNo1','tmperature,pressure,fault','tmperatureForeCast,pressureForeCast');创建指定设备的线性回归预测模型,存入系统;
判断是否有对应的预测模型:isExistModel('equipNo1','tmperature,pressure,fault','tmperatureForeCast,pressureForeCast');
设置预测时间范围命令setForeCastTimeRange(strartTime,endTime);
线性回归预测分析命令:linearRegression('ForeCast','equipNo1','tmperature,pressure,fault','tmperatureForeCast,pressureForeCast','/output/equipNo1Line.txt'),预测温度和压力的阈值及达到阈值的时间范围,并把结果存入equipNo1Line.txt文件中。
其他预测分析调用方法与线性回归调用基本类似,在此不再赘述。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于工业设备预测性维护的数据处理方法,其特征在于,包括:
建立基于Hadoop架构的存储平台的步骤,所述基于Hadoop架构的存储平台包括用于存储海量设备数据的HBase数据库;建立基于R语言的分析平台的步骤,所述基于R语言的分析平台通过所述HBase数据库内的设备数据进行分析;建立Hadoop接口程序的步骤,所述Hadoop接口程序用于提供接口实现业务数据能按规定的格式存入Hadoop平台的HBase数据库,使基于R语言的分析平台读取基于Hadoop架构的存储平台内的设备数据;
其中,建立基于Hadoop架构的存储平台的步骤具体包括:
为每一设备对应的在HBase数据库建立一个HBase表,所述HBase表的关键词Key包括至少三个参数:设备编码、部件编码、采集时间;
为每一HBase表生成一个列族DeviceProperty,所述列族设有以下至少四个列以存储设备数据:基本信息、环境信息、状态信息和故障信息;其中基本信息为设备的设备描述类参数,环境信息为设备所处环境的环境参数,状态信息为设备的工作状态参数,故障信息为设备出现故障时的故障参数;
其中,建立Hadoop接口程序的步骤具体包括:
建立接口API库以提供对HBase数据库的配置接口、权限接口、数据接口;
其中所述配置接口包含用于对HBase数据库进行环境配置的子接口、用于与HBase数据库建立连接的子接口、用于与HBase数据库断开连接的子接口;
其中所述权限接口用于根据预设的不同权限提供对HBase数据库的对应访问操作;
其中所述数据接口用于实现业务数据能按规定的格式存入Hadoop平台的HBase数据库,用于根据基于R语言的分析平台对基于Hadoop架构的存储平台进行访问的指令,对基于Hadoop架构的存储平台的HBase数据库的HBase表进行操作;
其中,建立基于R语言的分析平台的步骤具体包括:
建立线性回归算法模型以寻找属性与预测目标之间的线性关系,并采用最小二乘法来获取各属性与预测目标的线性系数;
建立K-Means聚类算法模型以获取设备数据与故障类型之间的关系;具体包括:将各个聚类子集内的所有数据样本的均值作为该聚类的代表点,并将每个数据点划分到最近的类别中,使得评价聚类性能的准则函数达到最优,从而使同一个类中的对象相似度较高,而不同类之间的对象的相似度较小;
建立决策树算法模型以根据设备当前的运行状态参数实时预测设备是否会引发故障;具体包括:利用对设备运行参数及故障参数作为训练样本进行学习以建立分类规则;利用分类规则对设备当前的运行状态参数进行分类;
建立时间序列算法模型以预测在什么时间范围内会引发何种类型的故障;具体包括:观测变量的当前值,记录历史数据和历史上所受随机干扰因素;然后通过历史数据和历史上所受的扰动进行回归得到当前的观测变量的预测值;
建立神经网络算法模型以根据设备当前的运行状态参数实时预测设备是否会引发故障;具体包括:信息的正向传递、误差的反向传播;在信息的正向传递过程中,输入信息从输入层经隐含层逐层计算传向输出层,每一层神经元的状态只影响下一层神经元的状态;如果输出层没有得到期望输出,则计算输出层的误差变化值,然后反向传播,通过网络将误差信号沿原来的连接通路反传,修改各神经元的权值,直至达到期望目标;
建立预测模型以进行设备预测性维护预测,其中所述预测模型基于R语言,且所述建立预测模型的步骤包括map阶段和reduce阶段,具体包括:
设置预测模型的时间范围,并加载数据;根据自变量与因变量之间的关系,计算回归系数,并最终生成预测模型。
2.根据权利要求1所述的基于工业设备预测性维护的数据处理方法,其特征在于,建立预测模型以进行设备预测性维护预测,其中所述预测模型基于R语言,且所述建立预测模型的步骤包括map阶段和reduce阶段,具体包括:
设置预测模型的时间范围,并加载数据;根据自变量与因变量之间的关系,计算回归系数,并最终生成预测模型。
3.根据权利要求2所述的基于工业设备预测性维护的数据处理方法,其特征在于,建立预测模型以进行设备预测性维护预测,其中所述预测模型基于R语言,且所述建立预测模型的步骤包括map阶段和reduce阶段,具体包括:
设出现故障Y的影响因素为X1和X2;则建立的预测模型为
Y=a1X1+a2X2
其中,a1、a2、β为回归系数;
确定模型时间范围t;加载设备故障时的历史数据;
根据map阶段的段mapper1函数计算XtX;根据根据map阶段的段mapper2函数计算XtY;
根据reduce阶段的Sum.reduce函数,计算map阶段输出的总和;
利用mapreduce()调用mapper1和Sum.reduce函数,计算XtX;运用mapreduce()调用mapper2和Sum.reduce函数,计算XtY;
计算回归系数值,并生成线性回归预测模型。
4.根据权利要求1所述的基于工业设备预测性维护的数据处理方法,其特征在于,所述方法还包括:根据建立的预测模型以及HBase数据库存储的设备数据,对故障进行预测。
建立预测模型以进行设备预测性维护预测,其中所述预测模型基于R语言,且所述建立预测模型的步骤包括map阶段和reduce阶段,具体包括:
设置预测模型的时间范围,并加载数据;根据自变量与因变量之间的关系,计算回归系数,并最终生成预测模型。
5.根据权利要求4所述的基于工业设备预测性维护的数据处理方法,其特征在于,所述根据建立的预测模型以及HBase数据库存储的设备数据,对故障进行预测,具体包括:
设定需要进行预测的时间范围;加载设备的运行数据;
调用指定设备的预测模型,以计算阈值,并计算达到阈值需要的时间范围;
输出结果文件。
6.根据权利要求1所述的基于工业设备预测性维护的数据处理方法,其特征在于,所述基本信息包括以下的至少一个参数:设备名称、部件名称、设备操作人、数据采集时间;所述环境信息包括以下的至少一个参数:温度、湿度、粉尘;状态信息包括以下的至少一个参数:设备的冲压压力、位移、电机转速、电流、性能;所述故障信息包括以下的至少一个参数:故障类别、故障描述。
7.根据权利要求1所述的基于工业设备预测性维护的数据处理方法,其特征在于,所述RHadoop接口程序的数据接口用于对HBase数据库的HBase表执行以下操作:
插入或修改数据:putCell(tableName,columnFamily,column,value);
批量插入或修改数据:putCells(tableName,hbasecellList);
删除一条记录:deleteRow(tableName,rowkey);
批量删除记录:deleteRows(tableName,rowkeyList);
删除单元格:deleteCell(tableName,columnFamily,column);
按关键词Key的数据查询:queryData(tableName,rowkey);
自定义查询条件的数据查询:scaneByRowkeyRangeFilter(tableName,query);
统计行数:rowCount(tableName,columnFamily)。
CN201610983040.1A 2016-11-09 2016-11-09 基于工业设备预测性维护的数据处理方法 Active CN106383916B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610983040.1A CN106383916B (zh) 2016-11-09 2016-11-09 基于工业设备预测性维护的数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610983040.1A CN106383916B (zh) 2016-11-09 2016-11-09 基于工业设备预测性维护的数据处理方法

Publications (2)

Publication Number Publication Date
CN106383916A true CN106383916A (zh) 2017-02-08
CN106383916B CN106383916B (zh) 2019-12-13

Family

ID=57958884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610983040.1A Active CN106383916B (zh) 2016-11-09 2016-11-09 基于工业设备预测性维护的数据处理方法

Country Status (1)

Country Link
CN (1) CN106383916B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109670551A (zh) * 2018-12-20 2019-04-23 树根互联技术有限公司 工程机械设备的故障预测方法及装置
CN109816136A (zh) * 2017-11-21 2019-05-28 财团法人资讯工业策进会 设备保养预测系统及其操作方法
CN110119759A (zh) * 2019-04-11 2019-08-13 天津大学 一种基于增益张量的高温承压元件红外图像监测方法
CN110502499A (zh) * 2019-06-26 2019-11-26 中电万维信息技术有限责任公司 基于贝叶斯算法的数据故障事件处理方法以及维护系统
CN110919657A (zh) * 2019-12-10 2020-03-27 北京奔驰汽车有限公司 一种基于大数据的工业机器人预测性状态监控方法
CN114616527A (zh) * 2019-11-05 2022-06-10 三菱电机株式会社 信息处理装置
CN116976861A (zh) * 2023-08-14 2023-10-31 常州润来科技有限公司 一种铜管生产车间设备的养护数据管理方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4113237A1 (en) * 2021-06-30 2023-01-04 ATS Automation Tooling Systems Inc. System and method for conveyor system configuration, testing and diagnostics

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100152878A1 (en) * 2008-12-16 2010-06-17 Industrial Technology Research Institute System for maintaining and analyzing manufacturing equipment and method thereof
CN105590146A (zh) * 2016-02-29 2016-05-18 上海带来科技有限公司 一种基于大数据的电厂设备智能预测检修方法和系统
CN105938575A (zh) * 2016-04-13 2016-09-14 山东毅康科技股份有限公司 基于多变量灰色神经网络的工业设备剩余寿命预测系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100152878A1 (en) * 2008-12-16 2010-06-17 Industrial Technology Research Institute System for maintaining and analyzing manufacturing equipment and method thereof
CN105590146A (zh) * 2016-02-29 2016-05-18 上海带来科技有限公司 一种基于大数据的电厂设备智能预测检修方法和系统
CN105938575A (zh) * 2016-04-13 2016-09-14 山东毅康科技股份有限公司 基于多变量灰色神经网络的工业设备剩余寿命预测系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816136A (zh) * 2017-11-21 2019-05-28 财团法人资讯工业策进会 设备保养预测系统及其操作方法
TWI663510B (zh) * 2017-11-21 2019-06-21 財團法人資訊工業策進會 設備保養預測系統及其操作方法
CN109670551A (zh) * 2018-12-20 2019-04-23 树根互联技术有限公司 工程机械设备的故障预测方法及装置
CN110119759A (zh) * 2019-04-11 2019-08-13 天津大学 一种基于增益张量的高温承压元件红外图像监测方法
CN110119759B (zh) * 2019-04-11 2023-04-25 天津大学 一种基于增益张量的高温承压元件红外图像监测方法
CN110502499A (zh) * 2019-06-26 2019-11-26 中电万维信息技术有限责任公司 基于贝叶斯算法的数据故障事件处理方法以及维护系统
CN114616527A (zh) * 2019-11-05 2022-06-10 三菱电机株式会社 信息处理装置
CN110919657A (zh) * 2019-12-10 2020-03-27 北京奔驰汽车有限公司 一种基于大数据的工业机器人预测性状态监控方法
CN116976861A (zh) * 2023-08-14 2023-10-31 常州润来科技有限公司 一种铜管生产车间设备的养护数据管理方法及系统
CN116976861B (zh) * 2023-08-14 2024-04-05 常州润来科技有限公司 一种铜管生产车间设备的养护数据管理方法及系统

Also Published As

Publication number Publication date
CN106383916B (zh) 2019-12-13

Similar Documents

Publication Publication Date Title
CN106383916A (zh) 基于工业设备预测性维护的数据处理方法
Turetskyy et al. Toward data‐driven applications in lithium‐ion battery cell manufacturing
CN106504116B (zh) 基于电网运行与暂态稳定裕度指标关联的稳定评估方法
CN106557991B (zh) 电压监测数据平台
CN106844161B (zh) 一种带状态流计算系统中的异常监控及预测方法和系统
CN108564254A (zh) 基于大数据的配电设备状态可视化平台
CN108830745B (zh) 基于监控信息的电网连锁故障诊断、预警、评估系统
CN111556032A (zh) 一种基于人工智能算法的工业大数据处理系统
CN105677791B (zh) 用于分析风力发电机组的运行数据的方法和系统
CN107992949A (zh) 工业数据分析方法和系统
CN106446181A (zh) 一种大数据处理及远程监控系统
CN111259947A (zh) 一种基于多模态学习的电力系统故障预警方法和系统
CN106533754A (zh) 用于高校教学服务器故障诊断的方法及专家系统
CN107193266A (zh) 一种大数据的平台监控系统
CN107908175A (zh) 一种电力系统现场智能化运维系统
Li et al. Transaction fraud detection using gru-centered sandwich-structured model
CN103258027A (zh) 基于智能终端的情境感知服务平台
CN112530559A (zh) 一种突发公共卫生事件医疗物资智能调配系统
CN112507006A (zh) 基于云端的电网企业运行数据整合系统
CN115438897A (zh) 一种基于blstm神经网络的工业过程产品质量预测方法
CN115170344A (zh) 调控系统运行事件智能处理方法及装置、介质及设备
CN112257937B (zh) 一种基于大数据技术的配电网故障预测系统及方法
CN106649034B (zh) 一种可视化智能运维方法及平台
Shao et al. Big data outlier detection model based on improved density peak algorithm
CN107590747A (zh) 基于综合能源大数据分析的电网资产周转率计算方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant