CN112507612B - 一种预测机器损坏时间的生存分析方法 - Google Patents

一种预测机器损坏时间的生存分析方法 Download PDF

Info

Publication number
CN112507612B
CN112507612B CN202011375405.5A CN202011375405A CN112507612B CN 112507612 B CN112507612 B CN 112507612B CN 202011375405 A CN202011375405 A CN 202011375405A CN 112507612 B CN112507612 B CN 112507612B
Authority
CN
China
Prior art keywords
time
neural network
survival analysis
survival
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011375405.5A
Other languages
English (en)
Other versions
CN112507612A (zh
Inventor
郑雷
张伟楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202011375405.5A priority Critical patent/CN112507612B/zh
Publication of CN112507612A publication Critical patent/CN112507612A/zh
Application granted granted Critical
Publication of CN112507612B publication Critical patent/CN112507612B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/12—Timing analysis or timing optimisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种预测机器损坏时间的生存分析方法，把预测机器损坏时间的生存分析问题拆解成分时间片的子问题，将整个时间长度上的时间序列预测问题分解之后大大降低了问题使用神经网络建模长时间序列预测问题的难度，通过使用相同的神经网络来建模每个时间片的风险概率，通过条件概率法则得到最终的生存概率。在不对机器的损坏时间在时间上的分布进行任何假设的前提下，可以结合大数据训练出预测模型。不仅仅可以用在离散时间片的生存概率预测上，在连续时间的生存概率预测上也可以发挥作用。实验证明，通过深度神经网络来训练生存分析模型预测准确率远超传统方法。并且通过并行计算，本算法可以在不增加运算时间的情况下进行长距离的生存概率预测。

Description

一种预测机器损坏时间的生存分析方法
技术领域
本发明涉及工程领域中对于机器设备损坏时间的建模，特别是使用生存分析方法对该问题进行建模和研究。
背景技术
在工程领域，生存分析常常被用来预测机器的损坏时间。生存分析是研究生存现象和响应事件数据及其统计规律的一门学科。该学科在医学、生物学、金融学等领域应用相当广泛的统计学分支。
传统的生存分析方法往往需要对数据分布有一个非常强的假设。比如常用的参数回归，使用这种方法的时候我们要先选择一个分布，然后通过数据去拟合分布方程中的参数。还有一类Cox方法的半参数化方法，这种方法假设数据是等比例风险分布的，也就是不同的实例所属的分布之间是相同的分布只是有一些比例的区别。最近提出了一些使用深度学习来建模生存分析问题的方法，但是这些方法只关注了在使用离散时间模型的情况下如何建模而忽略了在连续时间模型下如何使用深度学习方法进行建模。
一、分析近期关于生存分析的专利技术
1.申请号为CN111312393A的中国发明专利《一种结合主动学习的时序深度生存分析系统》提出了一种结合主动学习的生存分析系统，该方法主要针对离散时域，并不适用于连续时域。
2.申请号为CN111243738A的中国发明专利《生存分析模型的构建、生存率的预测方法、装置及设备》提出了一种生存分析的模型，但是该方法无法针对单个病人的独特特征进行建模，只能进行粗粒度的建模
二、分析近期对于生存分析的研究
1.Kan Ren等在Association for the Advancement of ArtificialIntelligence(人工智能促进协会)第三十三届会议上发表的Deep Recurrent SurvivalAnalysis《深度循环生存分析神经网络》,该文将生存分析问题用一个循环神经网络来处理，其不足之处在于结果输出时延过长。
2.Changhee Lee等在Association for the Advancement of ArtificialIntelligence(人工智能促进协会)第三十二届会议上发表的DeepHit:A Deep LearningApproach to Survival Analysis With Competing Risks《深度竞争风险生存分析神经网络》,该文将生存分析问题用一个神经网络来建模，其不足之处在于无法完整使用数据中的信息。
对于国内外相关专利分析以及相关研究可以得出以下结论：目前在生存分析预测领域没有同时适用于连续时间域和离散时间域的细粒度生存分析预测模型。
因此本应用致力于开发一种可以同时适应于连续时间领和离散时间域的细粒度预测生存分析模型。
发明内容
有鉴于现有技术的上述缺陷，本发明开发一种可以同时适应于连续时间领和离散时间域的细粒度预测生存分析方法。
针对机器损坏时间预测的问题，我们使用生存分析来进行建模，同时我们对生存分析方法进行了改进。鉴于现有生存分析方法的局限性，我们提出了一种方法可以在对机器的损坏时间数据没有任何假设的情况下可以在连续时间上对生存概率进行预测的框架。我们通过风险概率将生存概率预测问题转化为一系列可以方便的使用深度学习进行建模的二分类问题，我们把缺失标记的删失数据当作负向实例，把没有缺失标记的非删失数据当作正向实例。深度学习算法常常把时间段切割成相等的时间片，并且在离散时间模型下解决生存分析问题，然而这些方法都不能应用在连续的时间段预测中。为了处理连续时间段的预测问题，我们设计了一种灵活的时间框架可以同时处理离散和连续的时间段预测问题。在这种混合时间模型下，我们设计了一个比例风险网络去获得不足一个时间片长度的风险概率。另外，我们引入了因子交叉模块来自动学习机器的高阶特征组合，相比于单个模型对预测准确性的影响，不同特征之间的组合对预测准确性的影响也非常大，比如机器品牌与购买时间的组合。
我们首先将问题转化为一个二分类问题。之前的深度生存分析模型往往将生存分析问题视作建模事件第一次发生时间的随机过程，这种建模方式对于深度学习方法来说比较困难，我们通过建模风险函数，并且通过生存函数与风险函数的条件概率关系，将生存分析问题转化为一系列二分类问题。相比于生存函数，需要单调递减，风险函数可以有任意的形状，并且只需要输出的数字在[0,1]之间就可以了。那么这就是一个在深度学习领域被广泛研究的二分类问题。
深度学习模型往往将时间片按照相同的长度均分成等长的时间片。在生存分析中，生存概率是指一段时间后事件还没有发生的概率，风险概率指的是在之前时间段中事情没发生的条件下，在该时间段事件发生的概率。风险概率是一种条件概率，在一段连续时间段的风险概率的乘积与生存概率相加等于一。这种时间模型在分段时候只能用来处理离散时间片的情况。我们在每个时间片里面增加一个比例放缩因子，通过这种方式我们可以将常用的离散时间模型扩展到连续域上。
生存分析所处理的问题可以看作通用的对于多领域分类类型数据的处理。对于这种数据我们常用高维的01向量来进行表示。每个不同的属性里面有唯一的一个1，这种向量常通过词嵌入方法进行建模。这种表示实例特征的方法往往无法自动建模有效的交叉特征，比如一种故障，使用年限和品牌的组合对于预测特别有效。这种信息常常需要专家手动来进行设计。我们引入了一个特征交叉层来自动建模这种交叉特征。实现特征交叉层可以使用很多种方式，我们采用了自注意力机制来实现特征交叉层。
数据在经过特征交叉层之后就进入了主要的模型。我们的主模型是预测单个时间片内的风险概率，每个时间片采用同一个神经网络来进行预测。在获取所有时间片的结果之后计算出来最终的生存概率。我们设计的神经网络分成两块，一块是整体风险概率模块，这个模块可以预测整个时间片的风险概率，另一块是比例因子模块，这个模块通过数据特征，时间片计数和输入的比例因子来计算出要计算的时间段所占有的风险概率比例。通过比例因子与整体风险概率的乘积可以得到最终的该时间段的风险概率。
将问题转化为一系列二分类问题之后，训练方法也可以使用二分类问题常用的损失函数来进行运算。生存概率是指一段时间之后事件是否发生，我们将计算出来的所有风险概率相乘之后被1减得到最终的生存概率。在数据上，删失数据我们标记为零，非删失数据标记为一，通过常用的对数似然损失函数来训练整个模型。
预测机器损坏时间的生存分析方法包括以下步骤：
步骤1、取得机器的特征数据；
步骤2、将起始时刻至时刻t的时间段划分成长度为linterval的若干个时间片，生成每个时间片的输入数据；
步骤3、将步骤2得到的第k时间片的输入数据输入神经网络，由神经网络得到第k时间片的最终风险概率hkr；
步骤4、计算得到最终的生存概率。
优选地，机器的特征数据采用独热编码。
进一步地，步骤1中，先取得机器的特征向量xd，将xd输入到神经网络的词嵌入模块提取单一的特征，然后输入进神经网络的特征交叉模块进行高阶特征提取，得到交叉后的特征x。
优选地，步骤1中，采用自注意力机制来实现特征交叉层
进一步地，步骤2中，第n个时间片的输入数据里面包括三元组(x,tk,ck)，其中，tk是该时间片对应的时刻，ck是一个比例放缩因子，用来调整时间段不能被linterval整除的情况，除最后一个时间片外ck全部取1，最后一个时间片中ck等于剩余时间的长度与linterval的比值。
进一步地，步骤3中，将输入数据xk和tk输入至神经网络的风险概率模块中，得到第k个时间片的风险概率hk。
优选地，神经网络的风险概率预测模块的输出的数字在[0,1]之间。
进一步地，步骤3中，输入向量x和ck输入到比例风险模块中，得到第k个时间片的风险比例sk。
进一步地，步骤3中，第k个时间片的最终风险概率hkr＝hk*sk
进一步地，步骤4中，最终的生存概率为
Figure BDA0002807080920000041
其中，n为时间片的总数。
进一步地，在神经网络使用前，通过对数似然损失函数来训练；训练数据集中的删失数据标记为0，将非删失数据标记为1；对于非删失数据，时刻t取事件发生的时刻，对于删失数据，时刻t取观测结束的时刻。
与现有技术相比，本发明的有益效果如下：
本发明使用生存分析方法建模机器的损坏时间概率的分布。针对工程领域中机器的特征复杂的特点改造了传统的生存分析算法。
本发明中的深度学习算法可以在对机器损坏时间的数据分布没有任何假设的情况下对数据进行拟合，可以适应各种不同场景下产生的数据而不需要先验知识。
本发明将对长时间的生存概率预测问题通过风险概率转化为一系列容易使用深度学习进行预测的二分类问题，可以方便的使用各种深度学习模型解决生存分析问题。
本发明中的所采用的算法可以针对实例进行单机器的细粒度的预测，传统算法往往只能对整体数据做粗粒度的预测。
本发明中设计了混合时间模型，在发挥深度学习拟合能力的同时，克服了深度学习只能使用离散时间模型的弊端。
附图说明
图1是本申请的实施例的流程图。
具体实施方式
以下参考说明书附图介绍本申请的优选实施例，使其技术内容更加清楚和便于理解。本申请可以通过许多不同形式的实施例来得以体现，本申请的保护范围并非仅限于文中提到的实施例。
以下将对本发明的构思、具体结构及产生的技术效果作进一步的说明，以充分地了解本发明的目的、特征和效果，但本发明的保护不仅限于此。
本发明的一个实施例
一种预测机器损坏时间概率分布的生存分析方法，我们将该问题使用生存分析方法进行建模，并且针对机器特征复杂的特点使用深度学习改造了该方法。本发明实例可以使用深度学习在对数据分布无假设的情况下进行细粒度的生存概率预测。本模型可以在连续时间段和离散时间段上进行预测，一次训练之后无需再重新训练模型以适应不同的时间段长度。
如图1所示，具体步骤如下：
1、机器数据提取，
将机器实例的特征按照独热编码进行处理，
2、数据特征建模，
将每个属性处理成01向量x，比如机器品牌、购买时间等。
在训练时，将训练数据集中的删失数据标记为0，将非删失数据标记为1。对于非删失数据，时间标记t为其事件发生的时刻，对于删失数据，事件标记t为观测结束的时刻。
3、高阶特征提取，
先初始化神经网络，包括每个时间片共用的词嵌入模块，特征交叉模块以及风险概率预测模块。
对于一个机器实例d，将其特征向量xd先输入词嵌入模块提取单一的特征，然后输入进特征交叉模块进行高阶特征提取，得到交叉后的特征x。
4、离散时间处理和连续时间处理，
根据时间片的长度linterval和t来特征复制n次，分别输入到每一个时间片中。对于整数时间片，将三元组(x,tk,ck)输入到共用的时间片网络中，tk是该时间片代表的时间段次序，ck是取该时间片多长比例。在整数时间段中ck全部取1，剩余时间段中根据剩余事件长度与linterval的比来确定。
5、综合结果处理，
得到所有时间片的风险概率；
6、预测处理结果，
通过条件概率乘法法则得到最终的生存概率。
在使用生存分析进行机器损坏时间概率的预测中，本方法可以更有效的利用训练数据。通过转化可以更加有效的对长时间段的生存概率进行预测。通过引入特征交叉的层，避免了对高阶特征的手动设计，也使得网络可以自主发现影响预测结果的高阶特征。相比于其他深度生存分析模型。我们的算法可以处理更长长度的时间段预测并且使用了并行算法，在时间序列预测中不需要等待。并且本算法将深度学习算法扩展到了连续的时间领域上，避免需要预测不同时间段长度的时候需要对神经网络进行重新训练，大大节约了计算成本。
以上详细描述了本申请的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本申请的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本申请的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (8)

1.一种预测机器损坏时间的生存分析方法，其特征在于，包括以下步骤：
步骤1、取得机器的特征数据；
步骤2、将起始时刻至时刻t的时间段划分成长度为linterval的n个时间片，生成每个所述时间片的输入数据；
步骤3、将所述步骤2得到的第k个所述时间片的输入数据输入神经网络，由所述神经网络得到第k个所述时间片的最终风险概率；
步骤4、计算得到最终的生存概率；
所述步骤1中，先取得所述机器的特征向量xd，将xd输入到所述神经网络的词嵌入模块提取单一的特征，然后输入进所述神经网络的特征交叉模块进行高阶特征提取，得到交叉后的特征x；
所述步骤2中，第k个所述时间片的输入数据里面包括三元组(x,tk,ck)，其中，tk是该时间片对应的时刻，ck是一个比例放缩因子，用来调整时间段不能被linterval整除的情况，除最后一个时间片外ck全部取1，最后一个时间片中ck等于剩余时间的长度与linterval的比值。
2.如权利要求1所述的生存分析方法，其特征在于，所述机器的特征数据采用独热编码。
3.如权利要求1所述的生存分析方法，其特征在于，所述步骤1中，采用自注意力机制来实现所述神经网络的特征交叉模块。
4.如权利要求1所述的生存分析方法，其特征在于，所述步骤3中，将输入数据x和tk输入至所述神经网络的风险概率模块中，得到第k个所述时间片的风险概率hk。
5.如权利要求4所述的生存分析方法，其特征在于，所述神经网络的风险概率预测模块的输出的数字在[0,1]之间。
6.如权利要求4所述的生存分析方法，其特征在于，所述步骤3中，将输入向量x和ck输入到所述神经网络的比例风险模块中，得到第k个所述时间片的风险比例sk；第k个时间片的最终风险概率hkr＝hk*sk。
7.如权利要求6所述的生存分析方法，其特征在于，所述步骤4中，最终的生存概率为
Figure FDA0003697075290000021
其中，n为时间片的总数。
8.如权利要求1所述的生存分析方法，其特征在于，在所述神经网络使用前，通过对数似然损失函数来训练所述神经网络；训练数据集中的删失数据标记为0，非删失数据标记为1；对于所述非删失数据，所述时刻t取事件发生的时刻，对于所述删失数据，所述时刻t取观测结束的时刻。
CN202011375405.5A 2020-11-30 2020-11-30 一种预测机器损坏时间的生存分析方法 Active CN112507612B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011375405.5A CN112507612B (zh) 2020-11-30 2020-11-30 一种预测机器损坏时间的生存分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011375405.5A CN112507612B (zh) 2020-11-30 2020-11-30 一种预测机器损坏时间的生存分析方法

Publications (2)

Publication Number Publication Date
CN112507612A CN112507612A (zh) 2021-03-16
CN112507612B true CN112507612B (zh) 2022-08-02

Family

ID=74969258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011375405.5A Active CN112507612B (zh) 2020-11-30 2020-11-30 一种预测机器损坏时间的生存分析方法

Country Status (1)

Country Link
CN (1) CN112507612B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113314218B (zh) * 2021-06-22 2022-12-23 浙江大学 基于对比的包含竞争风险的动态生存分析设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104239694A (zh) * 2014-08-28 2014-12-24 北京交通大学 一种城轨列车转向架的故障预测与视情维修方法
CN111312393A (zh) * 2020-01-14 2020-06-19 之江实验室 一种结合主动学习的时序深度生存分析系统
CN111966829A (zh) * 2020-06-18 2020-11-20 电子科技大学 一种基于深度生存分析的网络话题爆发时间预测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005086068A2 (en) * 2004-02-27 2005-09-15 Aureon Laboratories, Inc. Methods and systems for predicting occurrence of an event
US11295233B2 (en) * 2017-11-09 2022-04-05 Adobe Inc. Modeling time to open of electronic communications
EP3791337A4 (en) * 2018-05-10 2022-03-30 Equifax, Inc. TRAINING OR USING SETS OF EXPLAINABLE MACHINE LEARNING MODELING ALGORITHMS TO PREDICT EVENT SYNCHRONIZATION
US20200111575A1 (en) * 2018-10-04 2020-04-09 Babylon Partners Limited Producing a multidimensional space data structure to perform survival analysis
US20200126099A1 (en) * 2018-10-19 2020-04-23 Affinity Solutions Incorporated System for predicting time to purchase using modified survival analysis and method for performing the same
CN111382909A (zh) * 2020-03-12 2020-07-07 上海携程商务有限公司 基于生存分析模型扩展坏样本的拒绝推断方法及相关设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104239694A (zh) * 2014-08-28 2014-12-24 北京交通大学 一种城轨列车转向架的故障预测与视情维修方法
CN111312393A (zh) * 2020-01-14 2020-06-19 之江实验室 一种结合主动学习的时序深度生存分析系统
CN111966829A (zh) * 2020-06-18 2020-11-20 电子科技大学 一种基于深度生存分析的网络话题爆发时间预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Deep Neural Networks for Survival Analysis Using Pseudo Values;Lili Zhao et al.;《IEEE Journal of Biomedical and Health Informatics》;20200312;第24卷(第11期);第3308-3314页 *
生存分析模型及在交通工程的应用;宫小雯第;《科技创新与应用》;20200531(第14期);全文 *

Also Published As

Publication number Publication date
CN112507612A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN109947912B (zh) 一种基于段落内部推理和联合问题答案匹配的模型方法
CN110222349B (zh) 一种深度动态上下文词语表示的方法及计算机
CN110134946B (zh) 一种针对复杂数据的机器阅读理解方法
CN111090736B (zh) 问答模型的训练方法、问答方法、装置及计算机存储介质
CN110008323B (zh) 一种半监督学习结合集成学习的问题等价性判别的方法
CN111966812B (zh) 一种基于动态词向量的自动问答方法和存储介质
CN111782797A (zh) 一种科技项目评审专家自动匹配方法及存储介质
CN113220886A (zh) 文本分类方法、文本分类模型训练方法及相关设备
CN110619121A (zh) 基于改进深度残差网络和注意力机制的实体关系抽取方法
CN105975497A (zh) 微博话题自动推荐方法及装置
CN112507612B (zh) 一种预测机器损坏时间的生存分析方法
CN113177113B (zh) 任务型对话模型预训练方法、装置、设备及存储介质
US20230154053A1 (en) System and method for scene graph lossless compression by context-based graph convolution
CN114357166B (zh) 一种基于深度学习的文本分类方法
CN115147931A (zh) 基于detr的人物成对解码交互的人与物交互检测方法
CN110555209A (zh) 训练词向量模型的方法及装置
CN114911933A (zh) 基于图内图间联合信息传播的假新闻检测方法及系统
CN110457703B (zh) 一种基于改进卷积神经网络的文本分类方法、装置和设备
CN109710943B (zh) 矛盾语句识别方法和系统及条款逻辑鉴别方法和系统
JPH11143875A (ja) 単語自動分類装置及び単語自動分類方法
CN113344060A (zh) 文本分类模型训练方法、诉讼状分类方法及装置
Glandorf et al. HyperSparse Neural Networks: Shifting Exploration to Exploitation through Adaptive Regularization
CN112183103A (zh) 融合不同预训练词向量的卷积神经网络实体关系抽取方法
Liu et al. Research on Text Emotion Analysis Based on LSTM
CN116561267A (zh) 基于知识增强与句法引导的对话状态追踪方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant