CN111079827B - 一种铁路数据状态评估方法及系统 - Google Patents

Abstract

本发明实施例提供一种铁路数据状态评估方法及系统，该方法包括：收集系统运行时产生的与待处理数据相对应的外部特征参数集；将外部特征参数集输入至冷热状态分析模型，获取冷热状态分析模型输出的冷热状态分析结果；其中，冷热状态分析模型是基于隐马尔可夫模型建立，并利用外部特征参数集样本以及与所述外部特征参数集样本对应的冷热状态分析结果标签训练后得到的。本发明实施例提供的铁路数据状态评估方法及系统，利用隐马尔可夫模型建立的冷热状态分析模型，通过数据外部特征参数准确地预测数据的内部状态，并根据内部状态梳理铁路现有业务系统及数据使用模式，确定铁路分类分级存储方案，很大程度上提高了铁路系统的数据服务能力。

Description

一种铁路数据状态评估方法及系统

技术领域

本发明涉及计算机技术领域，尤其涉及一种铁路数据状态评估方法及系统。

背景技术

近年来，随着铁路信息化建设的逐步深入，系统覆盖面越来越广，积累的数据量越来越大。据初步统计，铁路数据总量已达PB级，日增长量超TB级。目前，我国铁路系统业已建立涵盖车、机、工、电、辆各专业的PB级大数据湖，实现了铁路数据的大集中、统一管理、按需搬运，消除了跨行业、跨专业、跨系统信息孤岛和数据鸿沟。铁路数据湖主要包括：铁路总公司统建的各专业数据资源、需向各业务系统或用户提供面向业务分析的各种数据资源以及计算资源等，同专业和跨专业的数据存储、分配和提取是数据资产湖的研究重点和难点之一。

目前，采用的数据按需分区存储，本质上是一个离散的匹配方法，由于业务系统使用数据的复杂性，管理者很难对业务系统抽取数据和使用数据实际状态进行准确地评估和预测。例如：常用的阈值监测法，其往往需要人为预先设定阈值，导致自适应性差，主观性强，且业务系统包含多个子系统，每个子系统又可由多个特征参数表征，仅凭部分参数无法准确地推断系统数据使用实际状态。因此，该办法有着很大的局限性。

另外，现今热门的基于人工神经网络进行数据处理的方法，利用一组已知类别的样本，调整模型分类器的参数，使其达到最佳的分类性能。但采用该方法对业务系统数据使用状态评估缺点较为明显：1)很难获取已知类别的样本，即业务系统抽取数据特征很难通过人工或者经验判断其所反映的真实状态；2)无法建立起数据使用过去、现在和未来状态之间的联系。

再者，也有不少学者提出利用隐马尔可夫模型开展状态评估及预测，但大多面向实体机器或网络安全等方面，目前暂无应用于数据领域的研究，更未针对铁路大数据自身的特点进行过研究。

综上所述，亟需提供一种先进、高效的，且针对铁路数据特点的状态评估方法，以优化数据存储方式，提高铁路系统业务数据使用及检索效率。

发明内容

本发明实施例提供一种铁路数据状态评估方法及系统，用以解决现有技术中对于铁路数据存储方式落后缺陷，实现数据冷温热存储划分，优化数据存储设备和业务分析执行效率。

第一方面，本发明实施例提供一种铁路数据状态评估方法，包括：收集系统运行时产生的与待处理数据相对应的外部特征参数集；将外部特征参数集输入至冷热状态分析模型，获取冷热状态分析模型输出的冷热状态分析结果；其中，冷热状态分析模型是基于隐马尔可夫模型建立，并利用外部特征参数集样本以及与外部特征参数集样本对应的冷热状态分析结果标签训练后得到的。

进一步地，在取冷热状态分析模型输出的冷热状态分析结果之后，还包括：基于铁路数据的温度以及业务类别，将数据湖存储区域划分为冷数据区、温数据区和热数据区；根据冷热状态分析结果将待处理数据归入冷数据区、温数据区或热数据区。

进一步地，隐马尔可夫模型用五元组{S,O,A,B_i,π}表示，其中，S为隐含状态分类集合，O为模型输出的观测值集合，A表示隐含状态概率转移矩阵，B表示观测转移概率矩阵，π表示初始状态分布。

进一步地，上述隐含状态分类集合S为：

S＝(s₁,s₂,s₃)

其中，s₁表示待处理数据的隐含状态为冷状态，s₂表示待处理数据的隐含状态为温状态，s₃表示待处理数据的隐含状态为热状态；

所述隐含状态概率转移矩阵A为：

其中，

a_ij表示状态i转移到状态j的概率；

所述观测转移概率矩阵B为：

m表示观测值的个数，b_j(k)＝P(O_t＝v_k|q_t＝S_j)表示待处理数据温度状态为j时可观测的模型输出值为v_k的概率，v_k表示在k时刻观测到的观测值，k为观测时刻，O_t表示t时刻模型输出的观测值，S_j表示待处理数据温度状态为j；所述初始状态分布π为：

π＝{π₁,π₂,…,π_m},π_i＝P(q_i＝S_i)

其中，q_i为马尔科夫链在i时刻所处的状态，π_m为第m个业务类别对应的初始状态，S_i为第i个业务类别的铁路数据对应的隐含状态，1≤i≤m。

进一步地，上述观测转移概率矩阵的获取方法，包括：构建状态向量组，并对状态向量组进行离散化和归一化处理，获取标准状态向量组；将外部特征参数集输入至标准状态向量组，并利用基于密度聚类的DBSCAN算法，给定Eps邻域半径及最小数目Minpts，生成多个聚类簇，每个聚类簇对应一种业务类别的观测状态；由多个聚类簇构建观测转移概率矩阵。

进一步地，上述冷热状态分析模型是基于隐马尔可夫模型建立，并利用外部特征参数集样本以及与所述外部特征参数集样本对应的冷热状态分析结果标签训练后得到的，具体包括以下步骤：

将隐马尔可夫模型用{A,B_i,π}三元组进行简化；根据先验知识对隐含状态概率转移矩阵、观测转移概率矩阵以及初始状态分布进行赋值，完成对隐马尔可夫模型的模型参数的初始化；利用“前向-后向”算法不断迭代更新初始化后的隐马尔可夫模型的模型参数；根据不同业务类别确定平均时间内的期望值确定更新阈值；若平均时间内的期望值小于更新阈值，则停止迭代，获取符合要求的模型参数，获取冷热状态分析模型。

进一步地，上述利用“前向-后向”算法不断迭代更新初始化后的隐马尔可夫模型的模型参数，包括：

其中，更新后的参数模型设为

为状态转移矩阵，T为状态序列，m为观测值的个数，ξ_t(i,j)为在t时刻处于隐含状态S_i，在t+1时刻转移到隐含状态S_j的概率，γ_t(i)为在t时刻处于S_i隐含状态的概率，α_t(i)为在t时刻处于状态S_i且产生观测状态序列的概率，b_j(o_t+1)为在t+1时刻在隐含状态S_j产生观测状态的概率，β_t+1(j)为在时刻t处于状态S_i情况下，产生观测状态序列的概率。第二方面，本发明实施例提供一种铁路数据状态评估系统，包括：特征参数获取单元和冷热状态分析单元，其中：

特征参数获取单元，用于收集系统运行时产生的每个待处理数据相对应的所有外部特征组建成参数外部特征参数集；

冷热状态分析单元，其中存储有冷热状态分析模型，用于接收外部特征参数集，并输入至冷热状态分析模型，获取冷热状态分析模型输出的冷热状态分析结果；

其中，冷热状态分析模型是基于隐马尔可夫模型建立，并利用外部特征参数集样本以及与外部特征参数集样本对应的冷热状态分析结果标签训练后得到的。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述第一方面任一项所述铁路数据状态评估方法的步骤。

第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面任一项所述铁路数据状态评估方法的步骤。

本发明实施例提供的铁路数据状态评估方法及系统，利用隐马尔可夫模型建立的冷热状态分析模型，通过数据外部特征参数准确地预测数据的内部状态，并根据内部状态梳理铁路现有业务系统及数据使用模式，确定铁路分类分级存储方案，很大程度上提高了铁路系统的数据服务能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种铁路数据状态评估方法的流程示意图；

图2为本发明实施例提供的另一种食用菌干燥状态在线评估方法的流程示意图；

图3为本发明实施例提供的一种食用菌干燥状态在线评估系统的结构示意图；

图4为本发明实施例提供的一种电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

热数据一般是指被计算节点频繁访问的在线类数据，而冷数据则是对于离线类不经常访问的数据的称呼，比如企业备份数据、业务与操作日志数据、话单与统计数据。日常数据处理方式中，热数据因为访问频次需求大，效率要求高，所以就近计算和部署；冷数据则由于访问频次低，效率要求慢，可以做集中化部署，而基于大规模存储池里，可以对该类数据进行压缩、去重等降低成本的方法进行处理；温数据的活跃度则是介于冷数据和热数据之间。

为了实现对铁路数据湖的数据存储方式进行优化，如图1所示，本发明实施例提供一种铁路数据状态评估方法，包括但不限于以下步骤：

步骤S1：收集系统运行时产生的与待处理数据相对应的外部特征参数集；

步骤S2：将外部特征参数集输入至冷热状态分析模型，获取冷热状态分析模型输出的冷热状态分析结果；

其中，冷热状态分析模型是基于隐马尔可夫模型建立，并利用外部特征参数集样本以及与外部特征参数集样本对应的冷热状态分析结果标签训练后得到的。

隐马尔可夫模型(Hidden Markov Model，简称HMM)，是一种统计模型，可用于描述一个含有隐含未知参数的马尔可夫过程，主要用于从可观察的参数中确定该过程的隐含参数，然后利用这些隐含参数来作进一步的分析。

在本发明实施例提供的铁路数据状态评估方法，主要涉及铁路全专业冷、温、热数据的分区技术，重点分析和研究涵盖铁路车、机、工、电、辆等专业基于温度和粒度结合方式的冷热状态分析模型，实现冷温热数据自动分区。其中，冷温热数据分区本质上是结合数据访问、业务分析、存储成本、传输方式等数据查询与抽取的优化问题，通过构建隐马尔可夫HMM模型，先建立铁路专业数据湖和业务分析流向，以及确定所需优化的HMM模型参数，将数据区域划分及归属问题映射成一个HMM。

具体地，本发明实施例通过分析铁路的业务系统及数据使用现状，确定铁路数据分类分级存储方案，提出一种基于隐马尔可夫模型的铁路冷温热数据状态预测方法，该方法通过收集每个待处理数据的所有外部特征参数，组建一个外部特征参数集，然后利用隐马尔可夫模型建立数据内部状态与外部特征参数集之间联系，实时了解并预测待处理数据的使用状态，即冷热状态分析结果。

其中，外部特征参数可以包括数据库后台进程状态参数、数据分析时间参数等。在本发明实施例中，将外部特征参数集作为冷热状态分析模型的输入，即视为隐马尔可夫模型的可观测状态集；将与每个外部特征参数集对应的模型输出作为隐含状态集，可以根据隐含状态集确定出待处理数据的冷热状态。

本发明实施例提供的铁路数据状态评估方法，利用隐马尔可夫模型建立的冷热状态分析模型，通过数据外部特征参数准确地预测数据的内部状态，并根据内部状态梳理铁路现有业务系统及数据使用模式，确定铁路分类分级存储方案，很大程度上提高了铁路系统的数据服务能力。

基于上述实施例的内容，作为一种可选实施例，在获取冷热状态分析模型输出的冷热状态分析结果之后，还包括：基于铁路数据的温度以及业务类别，将数据湖存储区域划分为冷数据区、温数据区和热数据区；根据冷热状态分析结果将所述待处理数据归入冷数据区、温数据区或热数据区。

可以基于铁路大数据温度的区别，将数据湖存储区域分为冷数据区、温数据区、热数据区。因此，在本发明实施例中，通过将数据初始存储区域分为冷、温、热三个状态存储区。进一步地，在每个状态存储区内，根据铁路数据分类方式，将每个状态存储区分为客运、货运、调度、财务管理、资产经营、物资管理等业务类别区域，从而实现将整个数据湖存储区域划分为多个不同温度状态的不同业务类别区域。

其中，状态存储区的划分可以根据已有统计结果、数据的活跃程度甚至历史经验等进行划分，例如：将客运的服务反馈数据、历史客流数据等归类为冷数据；将客户关系数据、客运站管理数据等归类为温数据；将售票数据、行包数据、检票数据等归类为热数据。

其中，在本发明实施例中为表述方便，可以将数据所属状态存储区的隐含状态集合用S表示，S＝(s₁,s₂,s₃)，其中，s₁,s₂,s₃分别代表数据的隐含状态，即冷、温、热三个状态。

其中，根据上述数据湖存储区域的划分，对每一个待处理数据进行冷、温、热状态的分析，并根据分析的结果将其归入至相应的状态存储区内。进一步地，根据每个待处理数据的业务类别，在进行进一步地细分，归入至相应的业务类别区域内，从而完成对整个铁路大数据库的分类分级存储。

基于上述实施例的内容，作为一种可选实施例，其中的隐马尔可夫模型可以用五元组{S,O,A,B_i,π}表示，其中，S为隐含状态分类集合，O为模型输出的观测值集合，A表示隐含状态概率转移矩阵，B表示观测转移概率矩阵，π表示初始状态分布。

具体地，通过对五元组{S,O,A,B_i,π}参数的设置，实现隐马尔可夫模型的状态空间的构建，主要包括以下内容：

首先，确定隐马尔可夫模型的观测状态集。在本发明实施例中，将隐含状态分为冷、温、热三个状态，即隐含状态个数N＝3，则隐含状态概率转移矩阵A：

其中，

N＝3，i∈(1,2,3)，a_ij＝P(q_t+1＝S_k|q_t＝S_i)表示将观测状态状态i转移到隐含状态j的概率。

进一步地，确定隐马尔可夫模型的观测转移概率矩阵B，包括但不限于以下步骤：构建状态向量组，并对状态向量组进行离散化和归一化处理，获取标准状态向量组；将外部特征参数集输入至标准状态向量组，并利用基于密度聚类的DBSCAN算法，并给定Eps邻域半径及最小数目Minpts，生成多个聚类簇，每个聚类簇对应一种业务类别的观测状态；由多个聚类簇构建所述观测转移概率矩阵。

具体地，在本发明实施例中，采用基于密度聚类的DBSCAN算法构造观测状态集，即初始化观测状态的特征参数B，主要步骤为：获取包括Web服务器抽取数据时间及命中率，数据库表空间抽取时间及命中率，数据库抽取数据响应时间及命中率，面向业务分析数据所用时间等特征参，将这些参数构成一个向量组表示可观测状态；并上述可观测状态进行离散化和归一化等标准化处理后，构建标准状态向量组。输入初始数据(即待处理数据对应的外部特征参数集)，根据DBSCAN算法，给定Eps邻域半径及最小数目Minpts，对外部特征参数集进行标准化处理。

进一步地，可以消除外部特征参数集中的异常值和噪音，避免外部特征参数集等极端值对数状态分布结果产生过多影响，形成K个聚类簇，每一个聚类簇对应一类观测状态，由此可得观测转移概率矩阵B_i：

其中，矩阵的行表示可观测状态，列表示3个隐藏状态，其中，

k∈(1,m)，i表示铁路数据业务类别为第i个i∈(1,2,3,4，…，m)，m为总类别数，对应的业务类别分别为客运、货运、调度、财务管理、资产经营、物资管理等。B为观测转移概率矩阵，b_jk＝P(O_t＝v_k|q_t＝S_j)表示数据观测状态为j时外部可观测到的模型输出值为v_k的概率。

进一步地，在本发明实施例中，初始状态分布为：

π＝{π₁,π₂,…,π_m},π_i＝P(q_i＝S_i)

其中，q_i为马尔科夫链在i时刻所处的状态，π_m为第m个业务类别对应的初始状态，1≤i≤m。

S_i为第i个业务类别的铁路数据对应的隐含状态。

基于上述实施例的内容，作为一种可先实施例，冷热状态分析模型是基于隐马尔可夫模型建立，并利用外部特征参数集样本以及与所述外部特征参数集样本对应的冷热状态分析结果标签训练后得到的。其中，HMM可定义为一个五元组λ＝{S,O,A,B,π}，由于隐含状态分类集合S和模型输出的观测值集合O可以通过观测获取，因此建立隐马尔可夫模型的过程可以简化为确定模型参数集合λ＝{A,B,π}这一五元组来决定。

具体地，为便于说明，对说明书中各实施例出现的参数进行预先定义：任一时刻t输出数据的隐含状态为q_t，q_t∈{S₁,S₂,L,S_m}；O为模型输出的观测值集合，O＝(O₁,O₂,…,O_n)，n为输入的外部特征参数集中观测值的个数；A表示隐含状态概率转移矩阵，a_ij＝P(q_t+1＝S_k|q_t＝S_i)表示数据从观测状态状态i转移到隐含状态j的概率，B表示观测转移概率矩阵，b_jk＝P(O_t＝v_k|q_t＝S_j)表示数据为隐含状态j时外部可观测到的模型输出值为v_k的概率，π表示初始状态分布π＝{π₁,π₂,…,π_m},π_i＝P(q_i＝S_i)，m为总类别数。

其中，本发明实施例提供的冷热状态分析模型是基于隐马尔可夫模型建立，并利用外部特征参数集样本以及与所述外部特征参数集样本对应的冷热状态分析结果标签训练后得到的，如图2所示，具体包括以下步骤：

将所述隐马尔可夫模型用{A,B_i,π}三元组进行简化；

根据先验知识对所述隐含状态概率转移矩阵、所述观测转移概率矩阵以及所述初始状态分布进行赋值，完成对所述隐马尔可夫模型的模型参数的初始化；

利用“前向-后向”算法不断迭代更新所述初始化后的隐马尔可夫模型的模型参数；

根据不同业务类别确定平均时间内的期望值确定更新阈值；

若所述平均时间内的期望值小于更新阈值，则停止迭代，获取符合要求的模型参数，获取所述冷热状态分析模型。

第一步：首先对模型参数集合λ进行初始化，即根据先验知识和专家经验对A,B,π进行赋值。可以基于非监督学习算法，对不同业务类别的模型参数集合λ进行训练，根据观测状态序列推导出模型参数的最大似然估计。

具体为：设定外部特征参数集样本中时刻处于可观测状态i，在时刻t+1转移到隐含状态j的频数为A_ij，则状态转移概率为a_ij的估计为：

样本中，隐含状态为j并观测状态为k的频数是B_jk，则隐含状态为j观测状态为k的概率b_j(k)的估计为：

第二步，利用“前向-后向”算法不断迭代更新HMM的参数。其中，对上一步骤中获取的初始化后的模型参数进行更新，设更新后新的参数模型

更新参数步骤如下：

其中，

第三步，为了避免参数

陷入局部最优的问题，根据不同业务类别分析平均时间内的期望值设为更新阈值ε，通过判断

是否成立来决定迭代是否结束。若成立，则结束迭代，获得模型参数

为最终的冷热状态分析模型中隐马尔可夫模型的参数；反之，令

再次进行迭代计算，获取新的

重复判断，直到获得符合要求的模型参数

结束迭代，完成整个模型的预训练。

进一步地，根据迭代结果，更新模型输出的观测状态序列O_t使O_t-1∪O_t，合并观测值序列使O_t＝O_t-1∪O_t，最终形成冷、温、热三个状态数据集合。其中，P(O|λ)代表模型参数为λ，预设时间范围内产生观测状态序列O的概率，

其中，α_t(i)为在t时刻处于状态S_i且产生观测状态序列的概率，β_t(i)为在时刻t处于状态S_i情况下，产生观测状态序列的概率。

本发明实施例提供一种铁路数据状态评估系统，如图3所示，包括但不限于特征参数获取单元11和冷热状态分析单元12，其中：

特征参数获取单元11，用于收集系统运行时产生的每个待处理数据相对应的所有外部特征组建成参数外部特征参数集；

冷热状态分析单元12，其中存储有冷热状态分析模型，用于接收特征参数获取单元11输入的外部特征参数集，并将外部特征参数集输入至冷热状态分析模型，获取冷热状态分析模型输出的冷热状态分析结果；其中，冷热状态分析模型是基于隐马尔可夫模型建立，并利用外部特征参数集样本以及与所述外部特征参数集样本对应的冷热状态分析结果标签训练后得到的。

本发明实施例提供的铁路数据状态评估系统，在实际运用中执行上述实施例中任一状态评估方法的步骤，在本实施例将不作赘述。

本发明实施例提供的铁路数据状态评估系统，利用隐马尔可夫模型建立的冷热状态分析模型，通过数据外部特征参数准确地预测数据的内部状态，并根据内部状态梳理铁路现有业务系统及数据使用模式，确定铁路分类分级存储方案，很大程度上提高了铁路系统的数据服务能力。

图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行如下方法：收集系统运行时产生的与待处理数据相对应的外部特征参数集；将外部特征参数集输入至冷热状态分析模型，获取冷热状态分析模型输出的冷热状态分析结果；其中，冷热状态分析模型是基于隐马尔可夫模型建立，并利用外部特征参数集样本以及与外部特征参数集样本对应的冷热状态分析结果标签训练后得到的。

此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：收集系统运行时产生的与待处理数据相对应的外部特征参数集；将外部特征参数集输入至冷热状态分析模型，获取冷热状态分析模型输出的冷热状态分析结果；其中，冷热状态分析模型是基于隐马尔可夫模型建立，并利用外部特征参数集样本以及与外部特征参数集样本对应的冷热状态分析结果标签训练后得到的。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种铁路数据状态评估方法，其特征在于，包括：

收集系统运行时产生的与待处理数据相对应的外部特征参数集，所述外部特征参数集中的外部特征参数包括所述系统运行时数据库的后台进程状态参数和数据分析时间参数；

将所述外部特征参数集输入至冷热状态分析模型，获取所述冷热状态分析模型输出的冷热状态分析结果；

其中，所述冷热状态分析模型是基于隐马尔可夫模型建立，并利用外部特征参数集样本以及与所述外部特征参数集样本对应的冷热状态分析结果标签训练后得到的；

在所述获取所述冷热状态分析模型输出的冷热状态分析结果之后，还包括：

基于铁路数据的温度以及业务类别，将数据湖存储区域划分为冷数据区、温数据区和热数据区；

根据所述冷热状态分析结果将所述待处理数据归入冷数据区、温数据区或热数据区。

2.根据权利要求1所述的铁路数据状态评估方法，其特征在于，所述隐马尔可夫模型用五元组{S,O,A,B_i,π}表示，其中，S为隐含状态分类集合，O为模型输出的观测值集合，A表示隐含状态概率转移矩阵，B表示观测转移概率矩阵，π表示初始状态分布。

3.根据权利要求2所述的铁路数据状态评估方法，其特征在于，所述隐含状态分类集合为：

S＝(s₁,s₂,s₃)

其中，s₁表示待处理数据的隐含状态为冷状态，s₂表示待处理数据的隐含状态为温状态，s₃表示待处理数据的隐含状态为热状态；

所述隐含状态概率转移矩阵为：

其中，a_ij表示状态i转移到状态j的概率，N为隐含状态个数；

所述观测转移概率矩阵为：

其中，j表示隐藏状态，k表示待处理数据业务类别，m表示业务类别的总数，b_jk＝P(O_t＝v_k|q_t＝S_j)表示待处理数据温度状态为j时可观测的模型输出值为v_k的概率，v_k表示在待处理数据业务类别为k时冷热状态分析模型输出的观测值，k表示观测时刻，O_t表示待处理数据业务类别为t时冷热状态分析模型输出的观测值，S_j为隐含状态分类集合；

所述初始状态分布为：

π＝{π₁,π₂,…,π_m},π_k＝P(q₁＝s_j)

其中，q₁为马尔科夫链在初始状态，π_k为第k个业务类别对应的初始状态。

4.根据权利要求2所述的铁路数据状态评估方法，其特征在于，所述观测转移概率矩阵的获取方法，包括：

构建状态向量组，并对所述状态向量组进行离散化和归一化处理，获取标准状态向量组；

将所述外部特征参数集输入至所述标准状态向量组，并利用基于密度聚类的DBSCAN算法，并给定Eps邻域半径及最小数目Minpts，生成多个聚类簇，每个所述聚类簇对应一种业务类别的观测状态；

由所述多个聚类簇构建所述观测转移概率矩阵。

5.根据权利要求4所述的铁路数据状态评估方法，其特征在于，所述冷热状态分析模型是基于隐马尔可夫模型建立，并利用外部特征参数集样本以及与所述外部特征参数集样本对应的冷热状态分析结果标签训练后得到的，具体包括以下步骤：

将所述隐马尔可夫模型用{A,B_i,π}三元组进行简化；

根据先验知识对所述隐含状态概率转移矩阵、所述观测转移概率矩阵以及所述初始状态分布进行赋值，完成对所述隐马尔可夫模型的模型参数的初始化；

利用“前向-后向”算法不断迭代更新初始化后的隐马尔可夫模型的模型参数；

根据不同业务类别确定平均时间内的期望值确定更新阈值；

若所述平均时间内的期望值小于更新阈值，则停止迭代，获取符合要求的模型参数，获取所述冷热状态分析模型。

6.根据权利要求5所述的铁路数据状态评估方法，其特征在于，所述利用“前向-后向”算法不断迭代更新所述初始化后的隐马尔可夫模型的模型参数，包括：

其中，更新后的参数模型设为为更新后的状态转移矩阵，为更新后的观测转移概率矩阵；T为状态序列，m为观测值的个数，ξ_t(i,j)为在t时刻处于隐含状态S_i在t+1时刻转移到隐含状态S_j的概率，γ_t(i)为在t时刻处于S_i隐含状态的概率，α_t(i)为在t时刻处于状态S_i且产生观测状态序列的概率，b_j(o_t+1)为在t+1时刻在隐含状态S_j产生观测状态的概率，β_t+1(j)为在时刻t+1处于隐含状态S_i情况下，产生观测状态序列的概率；O_k表示待处理数据业务类别为k时冷热状态分析模型输出的观测值。

7.一种铁路数据状态评估系统，其特征在于，包括：

特征参数获取单元，用于收集系统运行时产生的每个待处理数据相对应的所有外部特征组建成参数外部特征参数集，所述外部特征参数集中的外部特征参数包括所述系统运行时数据库的后台进程状态参数和数据分析时间参数；

冷热状态分析单元，其中存储有冷热状态分析模型，用于接收所述外部特征参数集，并输入至所述冷热状态分析模型，获取所述冷热状态分析模型输出的冷热状态分析结果；

在所述获取所述冷热状态分析模型输出的冷热状态分析结果之后，还包括：基于铁路数据的温度以及业务类别，将数据湖存储区域划分为冷数据区、温数据区和热数据区；根据所述冷热状态分析结果将所述待处理数据归入冷数据区、温数据区或热数据区；

其中，所述冷热状态分析模型是基于隐马尔可夫模型建立，并利用外部特征参数集样本以及与所述外部特征参数集样本对应的冷热状态分析结果标签训练后得到的。

8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述铁路数据状态评估方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述铁路数据状态评估方法的步骤。

Images