CN116340796B - 时序数据分析方法、装置、设备及存储介质 - Google Patents

时序数据分析方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116340796B
CN116340796B CN202310571865.2A CN202310571865A CN116340796B CN 116340796 B CN116340796 B CN 116340796B CN 202310571865 A CN202310571865 A CN 202310571865A CN 116340796 B CN116340796 B CN 116340796B
Authority
CN
China
Prior art keywords
time sequence
mutation
result
estimation
state transition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310571865.2A
Other languages
English (en)
Other versions
CN116340796A (zh
Inventor
肖京
赵盟盟
王磊
邵熹
李娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202310571865.2A priority Critical patent/CN116340796B/zh
Publication of CN116340796A publication Critical patent/CN116340796A/zh
Application granted granted Critical
Publication of CN116340796B publication Critical patent/CN116340796B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Abstract

本发明涉及金融科技领域的人工智能技术,揭露了一种时序数据分析方法,包括:对待检测时序数据中的高频因子进行特征编码及降维聚类,根据降维聚类结果对系统时序状态进行时序突变检测,在系统突变检测结果为系统突变时,对待检测时序数据进行状态转移估计,基于状态转移估计结果进行迁移学习训练,得到时序突变模型,利用时序突变模型对系统突变检测结果为系统突变的待检测时序数据进行时序状态分析,得到时序分析结果。本发明还涉及区块链技术,所述时序分析结果可存储在区块链的节点中。本发明还提出一种时序数据分析装置、电子设备以及可读存储介质。本发明可以在金融领域的时序检测系统突变时,提高时序数据分析的准确性。

Description

时序数据分析方法、装置、设备及存储介质
技术领域
本发明涉及金融科技及人工智能技术领域,尤其涉及一种时序数据分析方法、装置、电子设备及可读存储介质。
背景技术
随着人工智能的发展,针对时序数据的预测分析变的越来越重要,例如,金融领域中,对一些经济指标数据进行预测分析。
现有技术中,普遍通过时间序列系统(后文简称时序系统)对不同领域的时序数据进行分析预测,如自然科学领域的信号处理系统、天气预测系统等;金融领域的指标预测系统等。时序系统在其稳定运行期间一般具有相对稳定的运行规律,对于时序系统的预测方法大多是基于其系统规律稳定条件下,学习其内在规律,对未来状态进行预测。但当系统受意外事件或不可控因素冲击影响、系统内在规律或发生显著改变,例如,金融领域的统计指标数据,很多指标时间序列数据都具有规律时变特性,由于涉及范围广、影响因素多,容易产生突变,使得原有时序系统将不能及时捕捉该变化和做出调整,传统的基于历史数据学习的方法将失效,导致预测效果出现较大偏差,难以对突变场景下的时间序列数据进行准确预测分析。
发明内容
本发明提供一种时序数据分析方法、装置、电子设备及可读存储介质,其主要目的在于可以在时序系统突变时,提高时序数据分析的准确性。
为实现上述目的,本发明提供的一种时序数据分析方法,包括:
获取待检测时序数据,对所述待检测时序数据中的高频因子进行特征编码,得到高维编码特征;
对所述高维编码特征进行降维聚类,根据降维聚类结果对所述待检测时序数据的系统时序状态进行时序突变检测,得到系统突变检测结果;
在所述系统突变检测结果为系统突变时,对所述待检测时序数据进行状态转移估计,得到状态转移估计结果;
基于所述状态转移估计结果进行迁移学习训练,得到时序突变模型;
利用所述时序突变模型对系统突变检测结果为系统突变的待检测时序数据进行时序状态分析,得到时序分析结果。
可选地,所述对所述待检测时序数据中的高频因子进行特征编码,得到高维编码特征,包括:
确定所述待检测时序数据中满足预设筛选指标的数据为高频因子;
利用预设的Transformer模型对所述高频因子进行特征编码,得到高维编码特征。
可选地,所述对所述高维编码特征进行降维聚类,包括:
计算所述高维编码特征的高维联合分布概率,将所述高维编码特征映射至低维空间,得到低维编码特征;
计算所述低维编码特征的低维联合分布概率,基于所述高维联合分布概率及所述低维联合分布概率构建目标函数;
基于所述目标函数对所述低维编码特征进行聚类,得到降维聚类结果。
可选地,所述在所述系统突变检测结果为系统突变时,对所述待检测时序数据进行状态转移估计,得到状态转移估计结果,包括:
在所述系统突变检测结果为系统突变时,确定所述待检测时序数据为突变样本,以及将系统突变检测结果为系统未突变的历史时序数据确定为稳定样本;
构建包含预设核函数的隐马尔可夫条件概率密度估计模型;
利用所述突变样本进行状态转移参数估计,得到突变估计参数,以及利用所述稳定样本进行状态转移参数估计,得到稳定估计参数;
利用所述包含预设核函数的隐马尔可夫条件概率密度估计模型对所述稳定估计参数进行状态转移估计,得到原状态转移估计结果;
利用所述包含预设核函数的隐马尔可夫条件概率密度估计模型对所述突变估计参数进行状态转移估计,得到新状态转移估计结果;
确定所述原状态转移估计结果及所述新状态转移估计结果为状态转移估计结果。
可选地,所述基于所述状态转移估计结果进行迁移学习训练,得到时序突变模型,包括:
汇总所述稳定样本作为第一源域样本,以及汇总所述突变样本作为第一目标域样本;
基于核平均分配算法,利用所述原状态转移估计结果及所述新状态转移估计结果对所述第一源域样本及所述第一目标域样本进行迁移学习,得到第一迁移学习结果;
利用所述第一源域样本及所述第一迁移学习结果训练预构建的时序分析模型,得到时序突变模型。
可选地,所述基于所述状态转移估计结果进行迁移学习训练,得到时序突变模型,包括:
汇总所述稳定样本作为第二源域样本,以及汇总所述突变样本作为第二目标域样本;
基于函数估计算法,利用所述原状态转移估计结果及所述新状态转移估计结果对所述第二源域样本及所述第二目标域样本进行迁移学习,得到第二迁移学习结果;
利用所述第二源域样本及所述第二迁移学习结果训练预构建的时序分析模型,得到时序突变模型。
可选地,在所述系统突变检测结果为系统未突变时,利用预构建的时序稳定模型对系统突变检测结果为系统未突变的待检测时序数据进行时序状态分析,得到时序分析结果。
为了解决上述问题,本发明还提供一种时序数据分析装置,所述装置包括:
突变检测模块,用于获取待检测时序数据,对所述待检测时序数据中的高频因子进行特征编码,得到高维编码特征,对所述高维编码特征进行降维聚类,根据降维聚类结果对所述待检测时序数据的系统时序状态进行时序突变检测,得到系统突变检测结果;
状态转移估计模块,用于在所述系统突变检测结果为系统突变时,对所述待检测时序数据进行状态转移估计,得到状态转移估计结果;
迁移学习模块,用于基于所述状态转移估计结果进行迁移学习训练,得到时序突变模型;
时序数据分析模块,用于利用所述时序突变模型对系统突变检测结果为系统突变的待检测时序数据进行时序状态分析,得到时序分析结果。
为了解决上述问题,本发明还提供一种电子设备,所述电子设备包括:
存储器,存储至少一个计算机程序;及
处理器,执行所述存储器中存储的计算机程序以实现上述所述的时序数据分析方法。
为了解决上述问题,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一个计算机程序,所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的时序数据分析方法。
本发明通过对待检测时序数据构建高维特征,再通过降维聚类方法进行时变性检验,综合考虑了影响系统状态变化的多维因子,可以准确及时捕捉系统状态变化;同时当检测到系统发生突变时,进行状态转移分布学习,重新定量刻画系统变化状态,此时通过新的状态样本估计状态变化时的概率分布,得到新状态的概率分布后,采用新的分布指导模型训练,但由于新状态存在小样本问题,通过使用迁移学习技术缩小模型在旧状态和新状态时的概率分布距离,以此更好地完成预测模型训练,得到适配系统突变的时序突变模型,可以提高对突变时序数据预测分析的准确性。因此本发明提出的时序数据分析方法、装置、电子设备及计算机可读存储介质,可以在时序系统突变时,提高时序数据分析的准确性。
附图说明
图1为本发明一实施例提供的时序数据分析方法的流程示意图;
图2为本发明一实施例提供的不同系统状态的降维特征示意图;
图3为本发明一实施例提供的迁移学习对比示意图;
图4为本发明一实施例提供的某统计指标的时序预测分析示意图;
图5为本发明一实施例提供的时序数据分析装置的功能模块图;
图6为本发明一实施例提供的实现所述时序数据分析方法的电子设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例提供一种时序数据分析方法。所述时序数据分析方法的执行主体包括但不限于服务端、终端等能够被配置为执行本发明实施例提供的该方法的电子设备中的至少一种。换言之,所述时序数据分析方法可以由安装在终端设备或服务端设备的软件或硬件来执行,所述软件可以是区块链平台。所述服务端包括但不限于:单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参照图1所示,为本发明一实施例提供的时序数据分析方法的流程示意图。在本实施例中,所述时序数据分析方法包括以下步骤S1-S5:
S1、获取待检测时序数据,对所述待检测时序数据中的高频因子进行特征编码,得到高维编码特征。
本发明实施例中,所述待检测时序数据是指不同领域基于时间变化而相应变化的统计指标数据,例如,金融领域中,所述待检测时序数据可以为市场指标等。所述高频因子是指结合专家经验和统计方法进行指标筛选和因子合成,基于大量实时更新的数据,对时序数据中的高频数据进行高频采集和分析得到的数据,例如,对于预测气象数据,可以从各观测站点提取小时级甚至分钟级气象观测数据;对于医疗科技领域,可以从生命健康状态数据获取心跳等实时体态监测数据;对于预测市场指标波动,可以从第三方社交平台及投资网站中提取大量专家观点,并利用信息感知和萃取技术加工成日度更新的投资者情绪因子。
详细地,所述对所述待检测时序数据中的高频因子进行特征编码,得到高维编码特征,包括:
确定所述待检测时序数据中满足预设筛选指标的数据为高频因子;
利用预设的Transformer模型对所述高频因子进行特征编码,得到高维编码特征。
本发明一可选实施例中,由于高频因子为时序型数据,此处采用Transformer模型,相较于传统的时序网络如RNN、LSTM等模型,Transformer进行时序预测时不采用 RNN的顺序结构,而是基于Multi-head Attention结构使得模型可以并行化训练,能够拥有全局信息。所述Transformer模型核心模块主要包括:1、输入Inputs;2、多头注意力机制Multi-Head Attention;3、残差链接和标准化Add&Norm;4、Decoder部分。
例如,1)输入Inputs:输入高频因子数据矩阵s×w(因子数为s,时间窗口为w),Transformer由于基于Self-Attention机制,忽略了序列的先后顺序,因此需加上位置编码:
其中,表示位置信息,/>表示位置信息为/>的高频因子的第/>维位置编码,/>表示总维度;
2)多头注意力机制Multi-HeadAttention:
如下计算框架所示,注意力分数计算方法为:
其中,Q、K、V为同一输入矩阵经过不同的线性变换得到的三个矩阵,分别代表query、key、value,表示特征维度,经过以上注意力分数公式计算后,在时序中有相似性质的向量能获得更高的注意力分数;
3)残差链接和标准化Add&Norm:将经过Multi-Head Attention后的输出和输入矩阵加起来,把原来的输入残差连接。一是解决梯度消失的问题,二是解决权重矩阵的退化问题。Layer Normalization,针对同一个样本的不同特征做归一化,以起到加快训练速度,加速收敛的作用;
4)对于Decoder部分,其与Encoder不同的地方在于,多头注意力机制的K,V为Encoder的输出,Q为Decoder中MaskedSelf-Attention的输出。传统 Seq2Seq中, Decoder使用的是 RNN 模型,因此在训练过程中输入t时刻的词,模型无论如何也看不到未来时刻的词。而Transformer的Decoder使用的Self-Attention机制,在训练过程中,整个正确的标注都暴露在 Decoder 中,因此,Decoder 的输入会进行Mask处理。最后,经过fc层,模型得到预测的label,与真实的label计算误差并反向传播,使得模型学习到原始特征与标签的关系。
S2、对所述高维编码特征进行降维聚类,根据降维聚类结果对所述待检测时序数据的系统时序状态进行时序突变检测,得到系统突变检测结果。
本发明实施例中,高维编码特征作为待检测时序数据的高维表示,含有更丰富的信息,捕捉了对于预测而言更关键的特征,对高维编码特征进行降维聚类,可以提高时序数据预测的准确性。
详细地,所述对所述高维编码特征进行降维聚类,包括:
计算所述高维编码特征的高维联合分布概率,将所述高维编码特征映射至低维空间,得到低维编码特征;
计算所述低维编码特征的低维联合分布概率,基于所述高维联合分布概率及所述低维联合分布概率构建目标函数;
基于所述目标函数对所述低维编码特征进行聚类,得到降维聚类结果。
本发明一可选实施例中,可以使用T-SNE算法进行降维聚类,高维数据用X表示,表示高维数据第i个样本,低维数据用Y表示,/>表示低维数据第i个样本。本发明中高维编码特征的高维联合分布概率:/>,其中,/>表示高维编码特征第i个样本/>和第j个样本/>出现在彼此附近的概率,/>是依据最大熵原理来决定的参数,类似的,低维编码特征的低维联合分布概率:/>,/>表示高维编码特征第i个样本/>和第j个样本/>出现在彼此附近的概率,对于高维空间中相距较近的点,为了满足/>=/>,低维空间中的距离则需要稍小一点;而对于高维空间中相距较远的点,低维空间中的距离则需要更远。T-SNE算法进一步使用t分布来计算低维空间中两点之间的相似性,即同一簇内的点(距离较近)聚合的更紧密,不同簇之间的点(距离较远)更加疏远,使用自由度为1的t分布重新定义/>:/>,目标函数为:/>,其中,P、Q分别表示高维空间中的特征及低维空间中的特征,其中,/>表示高维编码特征第i个样本/>分布在第j个样本/>周围的概率。
本发明实施例中,利用T-SNE法降维后,低维空间也保留了其在高维空间携带的关键信息,通过可视化降维后的特征,可以观察系统是否发生突变。在系统运行稳定时,时序数据的高维因子的降维聚类散点会呈规则状,如团状、带状、环状等;而当系统出现突变时,高维因子的降维特征将出现离群点。所述降维聚类结果是可视化的降维特征散点图,参照图2所示,左图表示系统运行稳定时的降维特征散点图,右图表示系统运行突变时的降维特征散点图。通过检验高维因子降维聚类后的散点分布情况,可以准确直观的识别系统状态的变化,检测是否出现了异常,提高了时序数据分析的准确性。
本发明另一可选实施例中,在所述系统突变检测结果为系统未突变时,利用预构建的时序稳定模型对系统突变检测结果为系统未突变的待检测时序数据进行时序状态分析,得到时序分析结果。
本发明实施例中,所述预构建的时序稳定模型可以为SVM、LSTM、Transformer模型等。
传统的系统状态检测方法主要是对序列本身采样,存在判断依据单一、未考虑系统隐状态等问题,本发明提出使用融合高维因子体系的特征空间映射检测法对系统状态进行识别,综合考虑了影响系统状态变化的多维因子,能够更准确及时捕捉系统状态变化。
S3、在所述系统突变检测结果为系统突变时,对所述待检测时序数据进行状态转移估计,得到状态转移估计结果。
本发明实施例中,当系统状态稳定时,状态转移概率分布是稳定的;而当检测到系统发生突变后,原有概率分布不再适用,由于预测标签相对状态样本具有滞后性,在检测到系统状态出现了异常后,重新利用新的状态观测样本更新状态突变后的条件概率密度函数。
详细地,所述在所述系统突变检测结果为系统突变时,对所述待检测时序数据进行状态转移估计,得到状态转移估计结果,包括:
在所述系统突变检测结果为系统突变时,确定所述待检测时序数据为突变样本,以及将系统突变检测结果为系统未突变的历史时序数据确定为稳定样本;
构建包含预设核函数的隐马尔可夫条件概率密度估计模型;
利用所述突变样本进行状态转移参数估计,得到突变估计参数,以及利用所述稳定样本进行状态转移参数估计,得到稳定估计参数;
利用所述包含预设核函数的隐马尔可夫条件概率密度估计模型对所述稳定估计参数进行状态转移估计,得到原状态转移估计结果;
利用所述包含预设核函数的隐马尔可夫条件概率密度估计模型对所述突变估计参数进行状态转移估计,得到新状态转移估计结果;
确定所述原状态转移估计结果及所述新状态转移估计结果为状态转移估计结果。
本发明实施例中,在进行状态转移估计时,主要通过历史样本和实时样本进行状态转移估计,使用历史样本优点是响应及时,概率分布明确且相对准确,缺点是历史突变情况有限,不能覆盖未来所有情况的变化;实时在线估计的优点是可以适应各类型情况的系统突变,面对不同状态变化给出不同概率分布,但缺点是新分布的响应不及时,需要待突变发生一段时间、新样本越充足、估计越准确,具有滞后性。因此采用两种方式相结合,提升突变识别的实时性和通用性。
本发明一可选实施例中,以基于隐马尔可夫的实时在线估计(即使用待检测时序数据及对应的时序状态数据进行在线实时在线估计)为例进行说明,隐马尔可夫模型是关于时序的概率模型,描述由一个隐藏的马尔科夫链随机生成不可观测的状态随机序列,再由各个状态生成观测,从而产生观测随机序列的过程。其随机生成的状态的序列称为状态序列,每个状态对应分布下残生的观测的序列称为观测序列。假设为独立同分布F的n个样本点,设其概率密度函数为f,带宽为h的核密度估计为:
即对每一个观察数拟合出的多个概率密度分布函数,取平均或根据一定权重加权平均。K为核函数,常用的核函数有:矩形、Epanechnikov曲线、高斯曲线等,这些函数满足在数据点处为波峰、曲线下方面积为1。h>0为带宽,是一个平滑参数,带宽反映了核密度曲线KDE整体的平坦程度,带宽越大,观察到的数据点在最终形成的曲线形状中所占比重越小,KDE整体曲线就越平坦,反之则越陡峭,表示带宽为h的核函数。
例如,以金融领域的市场指标数据为例,设是所有可能状态的集合,如通货膨胀状态、触底回升状态、货币政策宽松状态等;/>是所有可能观测的集合,指未来可能转变成的系统状态,如从货币政策宽松状态转变为货币政策紧缩状态,V是指后者所有可能的集合;/>是长度为T的状态序列;/>是对应的观测序列,指采样得到的时间序列样本数据,如利率、汇率、CPI等指标;那么隐马尔科夫模型((HMM, HiddenMarkov Model))由初始概率分布、状态转移概率分布、观测概率分布确定,即模型可用/>表示。其中,/>为状态转移概率矩阵,/>,表示时刻t处于状态的条件下在时刻t+1转移到状态/>的概率;/>为观测概率矩阵,,表示时刻t处于状态/>的条件下生成观测/>的概率,/>是初始态概率向量,/>。本发明观测序列可以为S1中的高频因子序列或高维编码特征序列。
具体地,设为受马尔科夫链/>影响的观测,其中/>为时刻t下的状态,对应的状态过程/>假设为/>阶的马尔可夫过程,即有条件密度函数F满足:
,/>,其中/>为Z和X的联合概率密度函数,且/>服从边际密度函数/>,则给定X时响应变量Z的条件密度函数为:
故当给定状态、观测/>,则基于预设核函数的隐马尔可夫条件概率密度估计模型为:
其中,为给定序列的权重,带宽/>、核函数/>取决于隐状态q和马尔可夫模型的阶数j,/>为该估计法中的需要学习的参数集合(,/>表示j取0时的带宽,/>为未知变量,/>和/>都是根据样本计算的数,但/>是一个值,/>表示序列,/>是序列/>(已知样本)的第j个值,同样的,/>表示未知变量序列的第j个值。
进一步地,参数估计的学习过程如下:
A、初始化:
1、给予一个初始估计,表示在时刻t处于状态q的概率,可以由先验知识估计或通过观察样本得到;
2、计算:/>
3、计算
4、根据多元正态推断规则估计和/>
B、前向-后向算法:
定义部分观测序列,且状态q的前向概率为
,/>为所有待估计的参数,在前向算法中,可以递推地求得:
其中,用于递推,/>是递推的结果,只需要将t=n时的结果带入即可,
类似的,对于后向算法,定义部分观测序列状态为q的后向概率,可以递推地求出:
C、估计权重和带宽,包括以下步骤,假设q和H是固定的,且使用高斯核函数:
1、根据计算一个估计的初始状态分布/>
2、利用前向-后向算法计算出,并根据该估计更新/>,即
3、根据标准HMM公式重新估计
4、计算;
其中,为克罗内克函数,若i=j,则/>,否则/>
5、计算
6、计算
7、计算权重:
其中,且:
8、计算
其中,
9、估计和/>
10、重复步骤2至9,直至收敛;
11、最后的权重为;
权重和带宽更新后,代入概率密度估计模型即可得到估计的条件概率密度函数。进一步地利用历史样本以及突变样本分别对系统发生突变前以及突变后的隐马尔科夫模型的条件概率密度函数进行估计,得到两种状态下的估计函数,即原状态转移估计结果及所述新状态转移估计结果。
S4、基于所述状态转移估计结果进行迁移学习训练,得到时序突变模型。
本发明实施例中,迁移学习(transfer learning)就是运用已有的知识来学习新的知识,核心是找到已有知识和新知识之间的相似性。在迁移学习中,已有的知识叫做源域(source domain),要学习的新知识叫目标域(target domain)。迁移学习研究如何把源域的知识迁移到目标域上。由于直接对目标域从头开始学习成本太高,故而转向运用已有的相关知识来辅助尽快地学习新知识。迁移学习与传统机器学习的不同参照图3所示,(a)传统机器学习对不同的学习任务建立不同的模型,(b)迁移学习利用源域中的数据将知识迁移到目标域,完成模型建立。
本发明一可选实施例中,系统正常状态时,状态概率分布样本充足,特征稳定;当系统发生突变时,概率分布为小样本甚至零样本,满足使用迁移学习的条件和场景。将正常状态时的样本作为源域,而系统发生突变时的样本作为目标域,系统状态突变时源域和目标域的特征分布不同,但是映射关系相同,因此该场景非常适合用基于样本的非归纳式迁移学习。
具体地,所述基于所述状态转移估计结果进行迁移学习训练,得到时序突变模型,包括:
汇总所述稳定样本作为第一源域样本,以及汇总所述突变样本作为第一目标域样本;
基于核平均分配算法,利用所述原状态转移估计结果及所述新状态转移估计结果对所述第一源域样本及所述第一目标域样本进行迁移学习,得到第一迁移学习结果;
利用所述第一源域样本及所述第一迁移学习结果训练预构建的时序分析模型,得到时序突变模型。
本发明实施例中,原状态转移估计结果中包括了源域的分布概率及源域的概率密度函数/>,新状态转移估计结果包括了目标域的分布概率/>及目标域的概率密度函数/>
进一步地,所述核平均分配算法(KMM,Kernel MeanMatch)是直接进行对状态转移估计结果中的概率密度函数进行估计,不涉及对及/>的分别计算。KMM的优化目标为:
其中,表示样本到希尔伯特空间的映射,/>是要优化求解的权重,H表示H阶距离,通常H可取1或2,/>表示在样本/>服从/>的条件下,对/>的期望。
KMM优化目标公式的具体含义为:
1、将源域样本和目标域样本映射到一个新的特殊的复杂的特征空间,叫希尔伯特空间;
2、在新的特征空间里,对源域和目标域的样本分别进行求和平均,但是源域的样本求和平均之前,每一个样本x都要套上一个参数,然后对源域和目标域的上述计算结果y和/>使用mse计算,将mse的计算作为极小化的目标,通过优化的方法计算出每一个样本对应的/>,这是一个有约束的最优化问题,/>即样本的密度比,也可以理解为源域样本的权重,必须大于等于0,并且源域样本的权重的均值为1。
在实际应用中,上述KMM优化目标公式可近似为:
其中,m是源域样本的数量,n是目标域样本的数量,表示目标域中的第i个样本,表示源域中的第j个样本,此时问题就转换为一个普通的有约束的最优化问题,可以通过拉格朗日乘子法转化为无约束的最优化问题,然后用最优化的方法求解即可。
详细地,所述基于所述状态转移估计结果进行迁移学习训练,得到时序突变模型,包括:
汇总所述稳定样本作为第二源域样本,以及汇总所述突变样本作为第二目标域样本;
基于函数估计算法,利用所述原状态转移估计结果及所述新状态转移估计结果对所述第二源域样本及所述第二目标域样本进行迁移学习,得到第二迁移学习结果;
利用所述第二源域样本及所述第二迁移学习结果训练预构建的时序分析模型,得到时序突变模型。
本发明实施例中,函数估计的方法将密度比视为一个未知函数,并通过学习一组基函数的组合来估算它,这种方法也被称为协变量移位法(covariate shift method),具体来说,通过定义为函数w(x),w(x)可以写作一组基函数的线性组合:
=/>*/>+/>*/>+/>*/>+......+/>*/>,
其中,f(x)表示的是基函数,可以是线性的或是非线性的,其中是需要学习的参数,通过令/>,最小化/>和/>之间的损失函数来训练学习得到参数/>,不同的损失函数对应不同的优化方法。
为准确预测状态突变下目标值,可以采用代表性算法kliep算法,kliep算法,和KMM类似,KMM是优化映射之后的高维空间的带权重的最大均值差异(Maximum MeanDiscrepancy,简称MMD),而kliep的优化目标是最小化目标域和加权之后的源域分布之间的KL距离,即:
其中,表示源域的概率密度函数,/>表示目标域的概率密度函数,假设源域有b个样本,则/>表示的是b个源域的样本的权重,是我们要计算出来的结果,/>是一个核函数,可以直接使用高斯核函数,即rbf核函数。
最终函数估计算法的目标函数如下:
其中,表示目标域第j个样本,/>表示源域第i个样本,/>表示b个源域样本中第/>个样本的核函数,/>表示b个源域样本的权重,m是源域样本的数量,n是目标域样本的数量。
通过迁移学习算法学习出源域样本中的权重后,可以用源域的数据与权重训练出突变状态下的模型(同时,如果目标域样本数量足够则也会用于训练,如果太少则只做测试集),并用新模型进行预测突变状态下的目标值,由于在突变状态下,源任务和目标任务的数据分布差异往往较大,基于模型的迁移学习可能无法很好地适应目标任务,相反,基于样本的迁移学习可以更灵活地处理这种差异,从而缩小原状态转移概率和新状态转移概率的差距,使得时间序列预测模型能够在新的概率分布下保持预测稳定性,使得新模型泛化能力大大提升,对于突变状态下的目标值预测准确率也大大提高。
S5、利用所述时序突变模型对系统突变检测结果为系统突变的待检测时序数据进行时序状态分析,得到时序分析结果。
本发明实施例中,通过对突变状态的待检测时序数据进行降维、状态转移估计及迁移学习,可以完成系统突变状态时的模型训练,即时序突变模型,此时时序突变模型已经初步适应了新状态下样本分布和变化规律,当输入时间序列数据更新时,就可以进行准确预测,相比传统时间序列模型,本发明的方法可在状态突变性及时做出响应,有效提升非稳态时对时序数据的预测分析准确度。
进一步地,如图4所示,以金融领域的某统计指标(如利率、汇率、CPI等指标)为例,通过对统计指标进行高维编码及降维聚类检测系统状态是否发生突变,若未发生突变,则使用系统稳定时预测模型进行预测分析;若发生突变,基于统计指标的在线估计及历史分布选择进行状态转移估计,得到新状态概率分布函数集对应的原状态概率分布函数;最后经过迁移学习得到系统突变时预测模型,其中,图中源域预测模型是指源域样本x→y的映射模型,目标域预测模型则是经过迁移学习后利用求得的权重重新训练的模型,可作为系统突变时预测模型。
本发明通过对待检测时序数据构建高维特征,再通过降维聚类方法进行时变性检验,综合考虑了影响系统状态变化的多维因子,可以准确及时捕捉系统状态变化;同时当检测到系统发生突变时,进行状态转移分布学习,重新定量刻画系统变化状态,此时通过新的状态样本估计状态变化时的概率分布,得到新状态的概率分布后,采用新的分布指导模型训练,但由于新状态存在小样本问题,通过使用迁移学习技术缩小模型在旧状态和新状态时的概率分布距离,以此更好地完成预测模型训练,得到适配系统突变的时序突变模型,可以提高对突变时序数据预测分析的准确性。因此本发明提出的时序数据分析方法,可以在时序系统突变时,提高时序数据分析的准确性。
如图5所示,是本发明一实施例提供的时序数据分析装置的功能模块图。
本发明所述时序数据分析装置100可以安装于电子设备中。根据实现的功能,所述时序数据分析装置100可以包括突变检测模块101、状态转移估计模块102、迁移学习模块103及时序数据分析模块104。本发明所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
在本实施例中,关于各模块/单元的功能如下:
所述突变检测模块101,用于获取待检测时序数据,对所述待检测时序数据中的高频因子进行特征编码,得到高维编码特征,对所述高维编码特征进行降维聚类,根据降维聚类结果对所述待检测时序数据的系统时序状态进行时序突变检测,得到系统突变检测结果;
所述状态转移估计模块102,用于在所述系统突变检测结果为系统突变时,对所述待检测时序数据进行状态转移估计,得到状态转移估计结果;
所述迁移学习模块103,用于基于所述状态转移估计结果进行迁移学习训练,得到时序突变模型;
所述时序数据分析模块104,用于利用所述时序突变模型对系统突变检测结果为系统突变的待检测时序数据进行时序状态分析,得到时序分析结果。
详细地,所述时序数据分析装置100各模块的具体实施方式如下:
步骤一、获取待检测时序数据,对所述待检测时序数据中的高频因子进行特征编码,得到高维编码特征。
本发明实施例中,所述待检测时序数据是指不同领域基于时间变化而相应变化的统计指标数据,例如,金融领域中,所述待检测时序数据可以为市场指标等。所述高频因子是指结合专家经验和统计方法进行指标筛选和因子合成,基于大量实时更新的数据,对时序数据中的高频数据进行高频采集和分析得到的数据,例如,对于预测气象数据,可以从各观测站点提取小时级甚至分钟级气象观测数据;对于医疗科技领域,可以从生命健康状态数据获取心跳等实时体态监测数据;对于预测市场指标波动,可以从第三方社交平台及投资网站中提取大量专家观点,并利用信息感知和萃取技术加工成日度更新的投资者情绪因子。
详细地,所述对所述待检测时序数据中的高频因子进行特征编码,得到高维编码特征,包括:
确定所述待检测时序数据中满足预设筛选指标的数据为高频因子;
利用预设的Transformer模型对所述高频因子进行特征编码,得到高维编码特征。
本发明一可选实施例中,由于高频因子为时序型数据,此处采用Transformer模型,相较于传统的时序网络如RNN、LSTM等模型,Transformer进行时序预测时不采用 RNN的顺序结构,而是基于Multi-head Attention结构使得模型可以并行化训练,能够拥有全局信息。所述Transformer模型核心模块主要包括:1、输入Inputs;2、多头注意力机制Multi-Head Attention;3、残差链接和标准化Add&Norm;4、Decoder部分。
例如,1)输入Inputs:输入高频因子数据矩阵s×w(因子数为s,时间窗口为w),Transformer由于基于Self-Attention机制,忽略了序列的先后顺序,因此需加上位置编码:
其中,表示位置信息,/>表示位置信息为/>的高频因子的第/>维位置编码,/>表示总维度;
2)多头注意力机制Multi-HeadAttention:
如下计算框架所示,注意力分数计算方法为:
其中,Q、K、V为同一输入矩阵经过不同的线性变换得到的三个矩阵,分别代表query、key、value,表示特征维度,经过以上注意力分数公式计算后,在时序中有相似性质的向量能获得更高的注意力分数;
3)残差链接和标准化Add&Norm:将经过Multi-Head Attention后的输出和输入矩阵加起来,把原来的输入残差连接。一是解决梯度消失的问题,二是解决权重矩阵的退化问题。Layer Normalization,针对同一个样本的不同特征做归一化,以起到加快训练速度,加速收敛的作用;
4)对于Decoder部分,其与Encoder不同的地方在于,多头注意力机制的K,V为Encoder的输出,Q为Decoder中MaskedSelf-Attention的输出。传统 Seq2Seq中, Decoder使用的是 RNN 模型,因此在训练过程中输入t时刻的词,模型无论如何也看不到未来时刻的词。而Transformer的Decoder使用的Self-Attention机制,在训练过程中,整个正确的标注都暴露在 Decoder 中,因此,Decoder 的输入会进行Mask处理。最后,经过fc层,模型得到预测的label,与真实的label计算误差并反向传播,使得模型学习到原始特征与标签的关系。
步骤二、对所述高维编码特征进行降维聚类,根据降维聚类结果对所述待检测时序数据的系统时序状态进行时序突变检测,得到系统突变检测结果。
本发明实施例中,高维编码特征作为待检测时序数据的高维表示,含有更丰富的信息,捕捉了对于预测而言更关键的特征,对高维编码特征进行降维聚类,可以提高时序数据预测的准确性。
详细地,所述对所述高维编码特征进行降维聚类,包括:
计算所述高维编码特征的高维联合分布概率,将所述高维编码特征映射至低维空间,得到低维编码特征;
计算所述低维编码特征的低维联合分布概率,基于所述高维联合分布概率及所述低维联合分布概率构建目标函数;
基于所述目标函数对所述低维编码特征进行聚类,得到降维聚类结果。
本发明一可选实施例中,可以使用T-SNE算法进行降维聚类,高维数据用X表示,表示高维数据第i个样本,低维数据用Y表示,/>表示低维数据第i个样本。本发明中高维编码特征的高维联合分布概率:/>,其中,/>表示高维编码特征第i个样本/>和第j个样本/>出现在彼此附近的概率,/>是依据最大熵原理来决定的参数,类似的,低维编码特征的低维联合分布概率:/>,/>表示高维编码特征第i个样本/>和第j个样本/>出现在彼此附近的概率,对于高维空间中相距较近的点,为了满足/>=/>,低维空间中的距离则需要稍小一点;而对于高维空间中相距较远的点,低维空间中的距离则需要更远。T-SNE算法进一步使用t分布来计算低维空间中两点之间的相似性,即同一簇内的点(距离较近)聚合的更紧密,不同簇之间的点(距离较远)更加疏远,使用自由度为1的t分布重新定义/>:/>,目标函数为:/>,其中,P、Q分别表示高维空间中的特征及低维空间中的特征,其中,/>表示高维编码特征第i个样本/>分布在第j个样本/>周围的概率。/>
本发明实施例中,利用T-SNE法降维后,低维空间也保留了其在高维空间携带的关键信息,通过可视化降维后的特征,可以观察系统是否发生突变。在系统运行稳定时,时序数据的高维因子的降维聚类散点会呈规则状,如团状、带状、环状等;而当系统出现突变时,高维因子的降维特征将出现离群点。所述降维聚类结果是可视化的降维特征散点图,参照图2所示,左图表示系统运行稳定时的降维特征散点图,右图表示系统运行突变时的降维特征散点图。通过检验高维因子降维聚类后的散点分布情况,可以准确直观的识别系统状态的变化,检测是否出现了异常,提高了时序数据分析的准确性。
本发明另一可选实施例中,在所述系统突变检测结果为系统未突变时,利用预构建的时序稳定模型对系统突变检测结果为系统未突变的待检测时序数据进行时序状态分析,得到时序分析结果。
本发明实施例中,所述预构建的时序稳定模型可以为SVM、LSTM、Transformer模型等。
传统的系统状态检测方法主要是对序列本身采样,存在判断依据单一、未考虑系统隐状态等问题,本发明提出使用融合高维因子体系的特征空间映射检测法对系统状态进行识别,综合考虑了影响系统状态变化的多维因子,能够更准确及时捕捉系统状态变化。
步骤三、在所述系统突变检测结果为系统突变时,对所述待检测时序数据进行状态转移估计,得到状态转移估计结果。
本发明实施例中,当系统状态稳定时,状态转移概率分布是稳定的;而当检测到系统发生突变后,原有概率分布不再适用,由于预测标签相对状态样本具有滞后性,在检测到系统状态出现了异常后,重新利用新的状态观测样本更新状态突变后的条件概率密度函数。
详细地,所述在所述系统突变检测结果为系统突变时,对所述待检测时序数据进行状态转移估计,得到状态转移估计结果,包括:
在所述系统突变检测结果为系统突变时,确定所述待检测时序数据为突变样本,以及将系统突变检测结果为系统未突变的历史时序数据确定为稳定样本;
构建包含预设核函数的隐马尔可夫条件概率密度估计模型;
利用所述突变样本进行状态转移参数估计,得到突变估计参数,以及利用所述稳定样本进行状态转移参数估计,得到稳定估计参数;
利用所述包含预设核函数的隐马尔可夫条件概率密度估计模型对所述稳定估计参数进行状态转移估计,得到原状态转移估计结果;
利用所述包含预设核函数的隐马尔可夫条件概率密度估计模型对所述突变估计参数进行状态转移估计,得到新状态转移估计结果;
确定所述原状态转移估计结果及所述新状态转移估计结果为状态转移估计结果。
本发明实施例中,在进行状态转移估计时,主要通过历史样本和实时样本进行状态转移估计,使用历史样本优点是响应及时,概率分布明确且相对准确,缺点是历史突变情况有限,不能覆盖未来所有情况的变化;实时在线估计的优点是可以适应各类型情况的系统突变,面对不同状态变化给出不同概率分布,但缺点是新分布的响应不及时,需要待突变发生一段时间、新样本越充足、估计越准确,具有滞后性。因此采用两种方式相结合,提升突变识别的实时性和通用性。
本发明一可选实施例中,以基于隐马尔可夫的实时在线估计(即使用待检测时序数据及对应的时序状态数据进行在线实时在线估计)为例进行说明,隐马尔可夫模型是关于时序的概率模型,描述由一个隐藏的马尔科夫链随机生成不可观测的状态随机序列,再由各个状态生成观测,从而产生观测随机序列的过程。其随机生成的状态的序列称为状态序列,每个状态对应分布下残生的观测的序列称为观测序列。假设为独立同分布F的n个样本点,设其概率密度函数为f,带宽为h的核密度估计为:
即对每一个观察数拟合出的多个概率密度分布函数,取平均或根据一定权重加权平均。K为核函数,常用的核函数有:矩形、Epanechnikov曲线、高斯曲线等,这些函数满足在数据点处为波峰、曲线下方面积为1。h>0为带宽,是一个平滑参数,带宽反映了核密度曲线KDE整体的平坦程度,带宽越大,观察到的数据点在最终形成的曲线形状中所占比重越小,KDE整体曲线就越平坦,反之则越陡峭,表示带宽为h的核函数。
例如,以金融领域的市场指标数据为例,设是所有可能状态的集合,如通货膨胀状态、触底回升状态、货币政策宽松状态等;/>是所有可能观测的集合,指未来可能转变成的系统状态,如从货币政策宽松状态转变为货币政策紧缩状态,V是指后者所有可能的集合;/>是长度为T的状态序列;/>是对应的观测序列,指采样得到的时间序列样本数据,如利率、汇率、CPI等指标;那么隐马尔科夫模型((HMM, HiddenMarkov Model))由初始概率分布、状态转移概率分布、观测概率分布确定,即模型可用/>表示。其中,/>为状态转移概率矩阵,/>,表示时刻t处于状态的条件下在时刻t+1转移到状态/>的概率;/>为观测概率矩阵,,表示时刻t处于状态/>的条件下生成观测/>的概率,/>是初始态概率向量,/>。本发明观测序列可以为步骤一中的高频因子序列或高维编码特征序列。
具体地,设为受马尔科夫链/>影响的观测,其中/>为时刻t下的状态,对应的状态过程/>假设为/>阶的马尔可夫过程,即有条件密度函数F满足:
,/>,其中/>为Z和X的联合概率密度函数,且/>服从边际密度函数/>,则给定X时响应变量Z的条件密度函数为:
/>
故当给定状态、观测/>,则基于预设核函数的隐马尔可夫条件概率密度估计模型为:
其中,为给定序列的权重,带宽/>、核函数/>取决于隐状态q和马尔可夫模型的阶数j,/>为该估计法中的需要学习的参数集合(,/>表示j取0时的带宽,/>为未知变量,/>和/>都是根据样本计算的数,但/>是一个值,/>表示序列,/>是序列/>(已知样本)的第j个值,同样的,/>表示未知变量序列的第j个值。
进一步地,参数估计的学习过程如下:
A、初始化:
1、给予一个初始估计,表示在时刻t处于状态q的概率,可以由先验知识估计或通过观察样本得到;
2、计算:/>
3、计算
4、根据多元正态推断规则估计和/>
B、前向-后向算法:
定义部分观测序列,且状态q的前向概率为
,/>为所有待估计的参数,在前向算法中,可以递推地求得:
其中,用于递推,/>是递推的结果,只需要将t=n时的结果带入即可,
类似的,对于后向算法,定义部分观测序列状态为q的后向概率
,可以递推地求出:/>
C、估计权重和带宽,包括以下步骤,假设q和H是固定的,且使用高斯核函数:
1、根据计算一个估计的初始状态分布/>
2、利用前向-后向算法计算出,并根据该估计更新/>,即/>
3、根据标准HMM公式重新估计
4、计算;
其中,为克罗内克函数,若i=j,则/>,否则/>
5、计算
6、计算
7、计算权重:
其中,且:
8、计算
其中,
9、估计和/>:/>
10、重复步骤2至9,直至收敛;
11、最后的权重为;
权重和带宽更新后,代入概率密度估计模型即可得到估计的条件概率密度函数。进一步地利用历史样本以及突变样本分别对系统发生突变前以及突变后的隐马尔科夫模型的条件概率密度函数进行估计,得到两种状态下的估计函数,即原状态转移估计结果及所述新状态转移估计结果。
步骤四、基于所述状态转移估计结果进行迁移学习训练,得到时序突变模型。
本发明实施例中,迁移学习(transfer learning)就是运用已有的知识来学习新的知识,核心是找到已有知识和新知识之间的相似性。在迁移学习中,已有的知识叫做源域(source domain),要学习的新知识叫目标域(target domain)。迁移学习研究如何把源域的知识迁移到目标域上。由于直接对目标域从头开始学习成本太高,故而转向运用已有的相关知识来辅助尽快地学习新知识。迁移学习与传统机器学习的不同参照图3所示,(a)传统机器学习对不同的学习任务建立不同的模型,(b)迁移学习利用源域中的数据将知识迁移到目标域,完成模型建立。
本发明一可选实施例中,系统正常状态时,状态概率分布样本充足,特征稳定;当系统发生突变时,概率分布为小样本甚至零样本,满足使用迁移学习的条件和场景。将正常状态时的样本作为源域,而系统发生突变时的样本作为目标域,系统状态突变时源域和目标域的特征分布不同,但是映射关系相同,因此该场景非常适合用基于样本的非归纳式迁移学习。
具体地,所述基于所述状态转移估计结果进行迁移学习训练,得到时序突变模型,包括:
汇总所述稳定样本作为第一源域样本,以及汇总所述突变样本作为第一目标域样本;
基于核平均分配算法,利用所述原状态转移估计结果及所述新状态转移估计结果对所述第一源域样本及所述第一目标域样本进行迁移学习,得到第一迁移学习结果;
利用所述第一源域样本及所述第一迁移学习结果训练预构建的时序分析模型,得到时序突变模型。
本发明实施例中,原状态转移估计结果中包括了源域的分布概率及源域的概率密度函数/>,新状态转移估计结果包括了目标域的分布概率/>及目标域的概率密度函数/>。/>
进一步地,所述核平均分配算法(KMM,Kernel MeanMatch)是直接进行对状态转移估计结果中的概率密度函数进行估计,不涉及对及/>的分别计算。KMM的优化目标为:
其中,表示样本到希尔伯特空间的映射,/>是要优化求解的权重,H表示H阶距离,通常H可取1或2,/>表示在样本/>服从/>的条件下,对/>的期望。
KMM优化目标公式的具体含义为:
1、将源域样本和目标域样本映射到一个新的特殊的复杂的特征空间,叫希尔伯特空间;
2、在新的特征空间里,对源域和目标域的样本分别进行求和平均,但是源域的样本求和平均之前,每一个样本x都要套上一个参数,然后对源域和目标域的上述计算结果y和/>使用mse计算,将mse的计算作为极小化的目标,通过优化的方法计算出每一个样本对应的/>,这是一个有约束的最优化问题,/>即样本的密度比,也可以理解为源域样本的权重,必须大于等于0,并且源域样本的权重的均值为1。
在实际应用中,上述KMM优化目标公式可近似为:
其中,m是源域样本的数量,n是目标域样本的数量,表示目标域中的第i个样本,表示源域中的第j个样本,此时问题就转换为一个普通的有约束的最优化问题,可以通过拉格朗日乘子法转化为无约束的最优化问题,然后用最优化的方法求解即可。
详细地,所述基于所述状态转移估计结果进行迁移学习训练,得到时序突变模型,包括:
汇总所述稳定样本作为第二源域样本,以及汇总所述突变样本作为第二目标域样本;
基于函数估计算法,利用所述原状态转移估计结果及所述新状态转移估计结果对所述第二源域样本及所述第二目标域样本进行迁移学习,得到第二迁移学习结果;
利用所述第二源域样本及所述第二迁移学习结果训练预构建的时序分析模型,得到时序突变模型。
本发明实施例中,函数估计的方法将密度比视为一个未知函数,并通过学习一组基函数的组合来估算它,这种方法也被称为协变量移位法(covariate shift method),具体来说,通过定义为函数w(x),w(x)可以写作一组基函数的线性组合:
=/>*/>+/>*/>+/>*/>+......+/>*/>,
其中,f(x)表示的是基函数,可以是线性的或是非线性的,其中是需要学习的参数,通过令/>,最小化/>和/>之间的损失函数来训练学习得到参数/>,不同的损失函数对应不同的优化方法。
为准确预测状态突变下目标值,可以采用代表性算法kliep算法,kliep算法,和KMM类似,KMM是优化映射之后的高维空间的带权重的最大均值差异(Maximum MeanDiscrepancy,简称MMD),而kliep的优化目标是最小化目标域和加权之后的源域分布之间的KL距离,即:
其中,表示源域的概率密度函数,/>表示目标域的概率密度函数,假设源域有b个样本,则/>表示的是b个源域的样本的权重,是我们要计算出来的结果,/>是一个核函数,可以直接使用高斯核函数,即rbf核函数。
最终函数估计算法的目标函数如下:
其中,表示目标域第j个样本,/>表示源域第i个样本,/>表示b个源域样本中第/>个样本的核函数,/>表示b个源域样本的权重,m是源域样本的数量,n是目标域样本的数量。
通过迁移学习算法学习出源域样本中的权重后,可以用源域的数据与权重训练出突变状态下的模型(同时,如果目标域样本数量足够则也会用于训练,如果太少则只做测试集),并用新模型进行预测突变状态下的目标值,由于在突变状态下,源任务和目标任务的数据分布差异往往较大,基于模型的迁移学习可能无法很好地适应目标任务,相反,基于样本的迁移学习可以更灵活地处理这种差异,从而缩小原状态转移概率和新状态转移概率的差距,使得时间序列预测模型能够在新的概率分布下保持预测稳定性,使得新模型泛化能力大大提升,对于突变状态下的目标值预测准确率也大大提高。
步骤五、利用所述时序突变模型对系统突变检测结果为系统突变的待检测时序数据进行时序状态分析,得到时序分析结果。
本发明实施例中,通过对突变状态的待检测时序数据进行降维、状态转移估计及迁移学习,可以完成系统突变状态时的模型训练,即时序突变模型,此时时序突变模型已经初步适应了新状态下样本分布和变化规律,当输入时间序列数据更新时,就可以进行准确预测,相比传统时间序列模型,本发明的方法可在状态突变性及时做出响应,有效提升非稳态时对时序数据的预测分析准确度。
进一步地,如图4所示,以金融领域的某统计指标(如利率、汇率、CPI等指标)为例,通过对统计指标进行高维编码及降维聚类检测系统状态是否发生突变,若未发生突变,则使用系统稳定时预测模型进行预测分析;若发生突变,基于统计指标的在线估计及历史分布选择进行状态转移估计,得到新状态概率分布函数集对应的原状态概率分布函数;最后经过迁移学习得到系统突变时预测模型,其中,图中源域预测模型是指源域样本x→y的映射模型,目标域预测模型则是经过迁移学习后利用求得的权重重新训练的模型,可作为系统突变时预测模型。
本发明通过对待检测时序数据构建高维特征,再通过降维聚类方法进行时变性检验,综合考虑了影响系统状态变化的多维因子,可以准确及时捕捉系统状态变化;同时当检测到系统发生突变时,进行状态转移分布学习,重新定量刻画系统变化状态,此时通过新的状态样本估计状态变化时的概率分布,得到新状态的概率分布后,采用新的分布指导模型训练,但由于新状态存在小样本问题,通过使用迁移学习技术缩小模型在旧状态和新状态时的概率分布距离,以此更好地完成预测模型训练,得到适配系统突变的时序突变模型,可以提高对突变时序数据预测分析的准确性。因此本发明提出的时序数据分析装置,可以在时序系统突变时,提高时序数据分析的准确性。
如图6所示,是本发明一实施例提供的实现所述时序数据分析方法的电子设备的结构示意图。
所述电子设备可以包括处理器10、存储器11、通信接口12和总线13,还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序,如时序数据分析程序。
其中,所述存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元,例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备,例如电子设备上配备的插接式移动硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(SecureDigital, SD)卡、闪存卡(Flash Card)等。进一步地,所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据,例如时序数据分析程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器10在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing Unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(Control Unit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述存储器11内的程序或者模块(例如时序数据分析程序等),以及调用存储在所述存储器11内的数据,以执行电子设备的各种功能和处理数据。
所述通信接口12用于上述电子设备与其他设备之间的通信,包括网络接口和用户接口。可选地,所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
所述总线13可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture,简称EISA)总线等。该总线13可以分为地址总线、数据总线、控制总线等。所述总线13被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
图6仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图6示出的结构并不构成对所述电子设备的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
例如,尽管未示出,所述电子设备还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与所述至少一个处理器10逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。
进一步地,所述电子设备还可以包括网络接口,可选地,所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该电子设备与其他电子设备之间建立通信连接。
可选地,该电子设备还可以包括用户接口,用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
所述电子设备中的所述存储器11存储的时序数据分析程序是多个指令的组合,在所述处理器10中运行时,可以实现:
获取待检测时序数据,对所述待检测时序数据中的高频因子进行特征编码,得到高维编码特征;
对所述高维编码特征进行降维聚类,根据降维聚类结果对所述待检测时序数据的系统时序状态进行时序突变检测,得到系统突变检测结果;
在所述系统突变检测结果为系统突变时,对所述待检测时序数据进行状态转移估计,得到状态转移估计结果;
基于所述状态转移估计结果进行迁移学习训练,得到时序突变模型;
利用所述时序突变模型对系统突变检测结果为系统突变的待检测时序数据进行时序状态分析,得到时序分析结果。
具体地,所述处理器10对上述指令的具体实现方法可参考附图对应实施例中相关步骤的描述,在此不赘述。
进一步地,所述电子设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的,也可以是非易失性的。例如,所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。
本发明还提供一种计算机可读存储介质,所述可读存储介质存储有计算机程序,所述计算机程序在被电子设备的处理器所执行时,可以实现:
获取待检测时序数据,对所述待检测时序数据中的高频因子进行特征编码,得到高维编码特征;
对所述高维编码特征进行降维聚类,根据降维聚类结果对所述待检测时序数据的系统时序状态进行时序突变检测,得到系统突变检测结果;
在所述系统突变检测结果为系统突变时,对所述待检测时序数据进行状态转移估计,得到状态转移估计结果;
基于所述状态转移估计结果进行迁移学习训练,得到时序突变模型;
利用所述时序突变模型对系统突变检测结果为系统突变的待检测时序数据进行时序状态分析,得到时序分析结果。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本发明实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。

Claims (9)

1.一种时序数据分析方法,其特征在于,所述方法包括:
获取待检测时序数据,确定所述待检测时序数据中满足预设筛选指标的数据为高频因子,利用预设的Transformer模型对所述高频因子进行特征编码,得到高维编码特征;
对所述高维编码特征进行降维聚类,降维聚类结果是可视化的降维特征散点图,根据降维聚类结果对所述待检测时序数据的系统时序状态进行时序突变检测,得到系统突变检测结果,其中,若降维特征散点图出现离群点,则所述系统突变检测结果为系统突变;
在所述系统突变检测结果为系统突变时,对所述待检测时序数据进行状态转移估计,得到状态转移估计结果;
基于所述状态转移估计结果进行迁移学习训练,得到时序突变模型;
利用所述时序突变模型对系统突变检测结果为系统突变的待检测时序数据进行时序状态分析,得到时序分析结果。
2.如权利要求1所述的时序数据分析方法,其特征在于,所述对所述高维编码特征进行降维聚类,包括:
计算所述高维编码特征的高维联合分布概率,将所述高维编码特征映射至低维空间,得到低维编码特征;
计算所述低维编码特征的低维联合分布概率,基于所述高维联合分布概率及所述低维联合分布概率构建目标函数;
基于所述目标函数对所述低维编码特征进行聚类,得到降维聚类结果。
3.如权利要求1中所述的时序数据分析方法,其特征在于,所述在所述系统突变检测结果为系统突变时,对所述待检测时序数据进行状态转移估计,得到状态转移估计结果,包括:
在所述系统突变检测结果为系统突变时,确定所述待检测时序数据为突变样本,以及将系统突变检测结果为系统未突变的历史时序数据确定为稳定样本;
构建包含预设核函数的隐马尔可夫条件概率密度估计模型;
利用所述突变样本进行状态转移参数估计,得到突变估计参数,以及利用所述稳定样本进行状态转移参数估计,得到稳定估计参数;
利用所述包含预设核函数的隐马尔可夫条件概率密度估计模型对所述稳定估计参数进行状态转移估计,得到原状态转移估计结果;
利用所述包含预设核函数的隐马尔可夫条件概率密度估计模型对所述突变估计参数进行状态转移估计,得到新状态转移估计结果;
确定所述原状态转移估计结果及所述新状态转移估计结果为状态转移估计结果。
4.如权利要求3所述的时序数据分析方法,其特征在于,所述基于所述状态转移估计结果进行迁移学习训练,得到时序突变模型,包括:
汇总所述稳定样本作为第一源域样本,以及汇总所述突变样本作为第一目标域样本;
基于核平均分配算法,利用所述原状态转移估计结果及所述新状态转移估计结果对所述第一源域样本及所述第一目标域样本进行迁移学习,得到第一迁移学习结果;
利用所述第一源域样本及所述第一迁移学习结果训练预构建的时序分析模型,得到时序突变模型。
5.如权利要求3中所述的时序数据分析方法,其特征在于,所述基于所述状态转移估计结果进行迁移学习训练,得到时序突变模型,包括:
汇总所述稳定样本作为第二源域样本,以及汇总所述突变样本作为第二目标域样本;
基于函数估计算法,利用所述原状态转移估计结果及所述新状态转移估计结果对所述第二源域样本及所述第二目标域样本进行迁移学习,得到第二迁移学习结果;
利用所述第二源域样本及所述第二迁移学习结果训练预构建的时序分析模型,得到时序突变模型。
6.如权利要求1所述的时序数据分析方法,其特征在于,在所述系统突变检测结果为系统未突变时,利用预构建的时序稳定模型对系统突变检测结果为系统未突变的待检测时序数据进行时序状态分析,得到时序分析结果。
7.一种时序数据分析装置,其特征在于,所述装置包括:
突变检测模块,用于获取待检测时序数据,确定所述待检测时序数据中满足预设筛选指标的数据为高频因子,利用预设的Transformer模型对所述高频因子进行特征编码,得到高维编码特征,对所述高维编码特征进行降维聚类,降维聚类结果是可视化的降维特征散点图,根据降维聚类结果对所述待检测时序数据的系统时序状态进行时序突变检测,得到系统突变检测结果,其中,若降维特征散点图出现离群点,则所述系统突变检测结果为系统突变;
状态转移估计模块,用于在所述系统突变检测结果为系统突变时,对所述待检测时序数据进行状态转移估计,得到状态转移估计结果;
迁移学习模块,用于基于所述状态转移估计结果进行迁移学习训练,得到时序突变模型;
时序数据分析模块,用于利用所述时序突变模型对系统突变检测结果为系统突变的待检测时序数据进行时序状态分析,得到时序分析结果。
8.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至6中任意一项所述的时序数据分析方法。
9.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6中任意一项所述的时序数据分析方法。
CN202310571865.2A 2023-05-22 2023-05-22 时序数据分析方法、装置、设备及存储介质 Active CN116340796B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310571865.2A CN116340796B (zh) 2023-05-22 2023-05-22 时序数据分析方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310571865.2A CN116340796B (zh) 2023-05-22 2023-05-22 时序数据分析方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116340796A CN116340796A (zh) 2023-06-27
CN116340796B true CN116340796B (zh) 2023-12-22

Family

ID=86877404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310571865.2A Active CN116340796B (zh) 2023-05-22 2023-05-22 时序数据分析方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116340796B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116959442B (zh) * 2023-07-29 2024-03-19 浙江阳宁科技有限公司 用于智能开关面板的芯片及其方法
CN116781430B (zh) * 2023-08-24 2023-12-01 克拉玛依市燃气有限责任公司 用于燃气管网的网络信息安全系统及其方法
CN116861370B (zh) * 2023-09-05 2023-12-01 山东千颐科技有限公司 用于井下防爆胶轮车的运动数据处理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956614A (zh) * 2016-04-25 2016-09-21 中国科学院上海高等研究院 一种时间序列语义化预测方法及系统
CN106446081A (zh) * 2016-09-09 2017-02-22 西安交通大学 基于变化一致性挖掘时序数据关联关系的方法
CN110458187A (zh) * 2019-06-27 2019-11-15 广州大学 一种恶意代码家族聚类方法和系统
CN114117355A (zh) * 2022-01-27 2022-03-01 平安科技(深圳)有限公司 一种抗时变性模型的优化方法、系统、设备及可读存储介质
CN114386324A (zh) * 2021-12-27 2022-04-22 上海电力大学 一种基于转折性时段识别的超短期风电功率分段预测方法
WO2023084787A1 (ja) * 2021-11-15 2023-05-19 日本電信電話株式会社 変化点検知装置、変化点検知方法及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6652699B2 (ja) * 2015-10-05 2020-02-26 富士通株式会社 アノマリ評価プログラム、アノマリ評価方法、および情報処理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956614A (zh) * 2016-04-25 2016-09-21 中国科学院上海高等研究院 一种时间序列语义化预测方法及系统
CN106446081A (zh) * 2016-09-09 2017-02-22 西安交通大学 基于变化一致性挖掘时序数据关联关系的方法
CN110458187A (zh) * 2019-06-27 2019-11-15 广州大学 一种恶意代码家族聚类方法和系统
WO2023084787A1 (ja) * 2021-11-15 2023-05-19 日本電信電話株式会社 変化点検知装置、変化点検知方法及びプログラム
CN114386324A (zh) * 2021-12-27 2022-04-22 上海电力大学 一种基于转折性时段识别的超短期风电功率分段预测方法
CN114117355A (zh) * 2022-01-27 2022-03-01 平安科技(深圳)有限公司 一种抗时变性模型的优化方法、系统、设备及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A survey of methods for time series change point detection;Samaneh Aminikhanghahi et al.;Knowl Inf Syst;第339-367页 *

Also Published As

Publication number Publication date
CN116340796A (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
CN116340796B (zh) 时序数据分析方法、装置、设备及存储介质
Fu et al. Deep residual LSTM with domain-invariance for remaining useful life prediction across domains
WO2022160902A1 (zh) 面向云环境下大规模多元时间序列数据异常检测方法
Mao et al. Toward data anomaly detection for automated structural health monitoring: Exploiting generative adversarial nets and autoencoders
WO2023065545A1 (zh) 风险预测方法、装置、设备及存储介质
Bhavsar et al. Machine learning in transportation data analytics
Yang et al. Bearing remaining useful life prediction based on regression shapalet and graph neural network
Zhou et al. Remaining useful life prediction of bearings by a new reinforced memory GRU network
González-Muñiz et al. Health indicator for machine condition monitoring built in the latent space of a deep autoencoder
Miao et al. A deep domain adaptative network for remaining useful life prediction of machines under different working conditions and fault modes
US20070260563A1 (en) Method to continuously diagnose and model changes of real-valued streaming variables
Wu et al. A weighted deep domain adaptation method for industrial fault prognostics according to prior distribution of complex working conditions
CN117041017B (zh) 数据中心的智能运维管理方法及系统
CN110264270A (zh) 一种行为预测方法、装置、设备和存储介质
Zhao et al. Probabilistic remaining useful life prediction based on deep convolutional neural network
CN110757510A (zh) 一种机器人剩余寿命预测方法及系统
US20220011760A1 (en) Model fidelity monitoring and regeneration for manufacturing process decision support
CN112785585A (zh) 基于主动学习的图像视频质量评价模型的训练方法以及装置
Zhang et al. A two-stage data-driven approach to remaining useful life prediction via long short-term memory networks
CN114048546B (zh) 一种基于图卷积网络和无监督域自适应的航空发动机剩余使用寿命预测方法
Liao et al. Remaining useful life with self-attention assisted physics-informed neural network
Qin et al. Remaining useful life prediction using temporal deep degradation network for complex machinery with attention-based feature extraction
Wang et al. Local–Global Correlation Fusion-Based Graph Neural Network for Remaining Useful Life Prediction
CN111260074B (zh) 一种超参数确定的方法、相关装置、设备及存储介质
CN113835964B (zh) 基于小样本学习的云数据中心服务器能耗预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant