CN110097193A - 训练模型的方法及系统和预测序列数据的方法及系统 - Google Patents

Abstract

提供了一种训练模型的方法及系统和预测序列数据的方法及系统。训练模型的方法及系统可获取序列训练样本集合，并基于序列训练样本集合训练机器学习模型，其中，所述机器学习模型是包括两个隐状态层的隐马尔可夫模型，其中，第一隐状态层中包括多个对象中的每个对象的个性化隐状态，第二隐状态层中包括由所述多个对象共享的多个共享隐状态。预测序列数据的方法及系统可获取对象的序列预测样本，并利用所述机器学习模型，针对所述序列预测样本执行预测来提供关于所述多个序列数据之后的下一序列数据的预测结果，其中，所述机器学习模型被事先训练为针对按时间顺序排列的一系列序列数据来预测所述一系列序列数据之后的下一序列数据。

Description

训练模型的方法及系统和预测序列数据的方法及系统

技术领域

本申请总体说来涉及人工智能领域，更具体地讲，涉及一种训练用于预测序列数据的机器学习模型的方法及系统、以及利用机器学习模型预测序列数据的方法及系统。

背景技术

随着海量数据的出现，人工智能技术迅速发展，而机器学习是人工智能发展到一定阶段的必然产物，其致力于通过计算的手段，从大量数据中挖掘有价值的潜在信息。

通过机器学习对连续出现的序列数据(例如，移动位置数据和音乐收听序列等)进行建模来挖掘序列数据背后的规律对于各种应用场景非常重要。例如，个性化的序列行为在我们的日常生活中无处不在，模拟这种行为对很多应用场景都非常重要。例如，对轨迹数据(序列数据的一种)进行建模有助于了解用户的流动性规律，从而可便于改进骑乘共享服务和交通；对音乐收听序列进行建模有助于揭示人们行为背后的连续规律，从而可便于增强内容推荐的准确性；对用户购买商品的顺序进行建模有利于分析用户的喜好，从而可便于定向广告；诸如此类的场景还有很多，不限于此。在所有这些应用场景中，一个重要的特点是序列数据所反映出的序列模式是高度个性化的，不同的对象可能有完全不同的序列规律，因此，需要有效地对个性化序列数据进行学习的模型。

隐马尔可夫模型(HMM)是用于对序列数据进行建模的模型之一，它不仅可刻画序列模式，同时可发现隐藏的序列模式背后的状态，因此常被用于序列建模。然而，利用HMM进行序列建模常存在以下问题，例如，如果我们为每个对象训练一个HMM，那么由于针对该对象的数据太少，因此无法利用非常有限的数据训练出可靠的HMM模型；而如果我们利用所有对象的数据为所有对象训练一个HMM，则会导致训练出的模型失去个性化。目前，虽然有研究者提出根据对象的序列数据的相似性对对象进行分组，并为每个组训练一个HMM，但是，这种方法仍然会迫使不同的对象(同一组内的对象)共享一个HMM，从而导致模型仍然对于对象个性化的体现不够，进而导致利用训练出的模型预测对象序列数据时预测准确性难以满足要求。

发明内容

本发明在于解决现有HMM模型无法同时处理训练数据的稀缺性和不同对象的序列模式多样性的问题，例如，在涉及对象序列数据(例如，序列行为)预测的场景中提高序列数据的预测准确性。

根据本申请示例性实施例，提供了一种训练用于预测序列数据的机器学习模型的方法，所述方法可包括：获取序列训练样本集合，其中，所述序列训练样本集合包括针对多个对象中的每个对象的多条序列训练样本，并且每个序列训练样本包括按时间顺序排列的多个序列数据；基于所述序列训练样本集合，训练所述机器学习模型，其中，所述机器学习模型是包括两个隐状态层的隐马尔可夫模型，其中，第一隐状态层中包括所述多个对象中的每个对象的个性化隐状态，第二隐状态层中包括由所述多个对象共享的多个共享隐状态。

根据本申请另一示例性实施例，提供了一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行如上所述的训练用于预测序列数据的机器学习模型的方法。

根据本申请另一示例性实施例，提供了一种包括至少一个计算装置和存储指令的至少一个存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行如上所述的训练用于预测序列数据的机器学习模型的方法。

根据本申请另一示例性实施例，提供了一种训练用于预测序列数据的机器学习模型的系统，所述系统可包括：训练样本获取装置，被配置为获取序列训练样本集合，其中，所述序列训练样本集合包括针对多个对象中的每个对象的多条序列训练样本，并且每个序列训练样本包括按时间顺序排列的多个序列数据；训练装置，被配置为基于所述序列训练样本集合，训练所述机器学习模型，其中，所述机器学习模型是包括两个隐状态层的隐马尔可夫模型，其中，第一隐状态层中包括所述多个对象中的每个对象的个性化隐状态，第二隐状态层中包括由所述多个对象共享的多个共享隐状态。

根据本申请另一示例性实施例，提供了一种利用机器学习模型预测序列数据的方法，所述方法可包括：获取对象的序列预测样本，其中，所述序列预测样本包括所述对象的按时间顺序排列的多个序列数据；利用所述机器学习模型，针对所述序列预测样本执行预测来提供关于所述多个序列数据之后的下一序列数据的预测结果，其中，所述机器学习模型被事先训练为针对按时间顺序排列的一系列序列数据来预测所述一系列序列数据之后的下一序列数据，并且所述机器学习模型是包括两个隐状态层的隐马尔可夫模型，其中，第一隐状态层中包括多个对象中的每个对象的个性化隐状态，第二隐状态层中包括由所述多个对象共享的多个共享隐状态。

根据本申请另一示例性实施例，提供了一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行如上所述的利用机器学习模型预测序列数据的方法。

根据本申请另一示例性实施例，提供了一种包括至少一个计算装置和存储指令的至少一个存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行如上所述的利用机器学习模型预测序列数据的方法。

根据本申请另一示例性实施例，提供了一种利用机器学习模型预测序列数据的系统，所述系统可包括：预测样本获取装置，被配置为获取对象的序列预测样本，其中，所述序列预测样本包括所述对象的按时间顺序排列的多个序列数据；预测装置，被配置为利用所述机器学习模型，针对所述序列预测样本执行预测来提供关于所述多个序列数据之后的下一序列数据的预测结果，其中，所述机器学习模型被事先训练为针对按时间顺序排列的一系列序列数据来预测所述一系列序列数据之后的下一序列数据，并且所述机器学习模型是包括两个隐状态层的隐马尔可夫模型，其中，第一隐状态层中包括多个对象中的每个对象的个性化隐状态，第二隐状态层中包括由所述多个对象共享的多个共享隐状态。

根据本申请示例性实施例的训练机器学习模型的方法及系统可训练包括两个隐状态层的隐马尔可夫模型，而由于该隐马尔可夫模型的第一隐状态层中包括多个对象中的每个对象的个性化隐状态，第二隐状态层中包括由所述多个对象共享的多个共享隐状态，因此，可不仅克服训练数据的稀缺性，而且可保证不同对象的序列模式多样性，从而使得训练出的上述隐马尔可夫模型可针对不同对象提供更加准确的序列数据预测结果。

根据本申请示例性实施例的利用机器学习模型预测序列数据的方法由于使用以上描述的包括两个隐状态层的隐马尔可夫模型预测序列数据，因此针对不同的对象提供个性化的序列数据预测，从而可能够提高序列数据的预测准确性。

附图说明

从下面结合附图对本申请实施例的详细描述中，本申请的这些和/或其他方面和优点将变得更加清楚并更容易理解，其中：

图1是示出根据本申请示例性实施例的训练用于预测序列数据的机器学习模型的系统的框图；

图2是根据本申请示例性实施例的共享隐状态的隐马尔科夫模型的示意图；

图3是示出根据本申请示例性实施例的训练用于预测序列数据的机器学习模型的方法的流程图；

图4是示出根据本申请示例性实施例的利用机器学习模型预测序列数据的系统的框图；

图5是示出根据本申请示例性实施例的利用机器学习模型预测序列数据的方法的流程图。

具体实施方式

为了使本领域技术人员更好地理解本申请，下面结合附图和具体实施方式对本申请的示例性实施例作进一步详细说明。

图1是示出根据本申请示例性实施例的训练用于预测序列数据的机器学习模型的系统(在下文中，为描述方便，将其简称为“模型训练系统”)100 的框图。如图1所示，模型训练系统100可包括训练样本获取装置110和训练装置120。

具体地，训练样本获取装置110可获取序列训练样本集合。这里，序列训练样本集合可包括针对多个对象中的每个对象的多条序列训练样本，并且每个序列训练样本可包括按时间顺序排列的多个序列数据。作为示例，多个序列数据可涉及对象在不同时间点的行为数据。这里，行为数据可包括反映对象行为的连续特征数据，例如，对象的位置数据(例如，用户骑行的位置数据)等，但不限于此。或者，行为数据可包括反映对象行为的离散特征数据，例如，对象所接受的内容(例如，内容可以是音乐、视频、广告、图像等各种类型的内容)的内容ID，但不限于此。作为另一示例，所述多个序列数据可涉及对象在不同时间点的状态数据，例如，用户的生理状态数据(例如，血压、血糖等)、商品的价格、股票的价格等等。

例如，在预测对象(例如，用户或车辆)移动轨迹的场景中，训练样本获取装置110可获取多个对象的每个对象的按照时间顺序排列的一系列历史位置数据来构成上述序列训练样本；在内容推荐场景中，训练样本获取装置 110可获取多个用户的每个用户的按照时间顺序排列的一系列历史接受内容的内容ID来构成上述序列训练样本；在涉及对象(人或动物)的生理状态预测的场景中，训练样本获取装置110可获取多个对象的每个对象的按时间顺序排列的一系列历史生理状态数据来构成上述序列训练样本；在涉及商品或股票价格预测的场景中，训练样本获取装置110可获取同类商品或股票中的每个商品或股票的按时间顺序排列的一系列历史价格数据来构成上述序列训练样本。

需要说明的是，在本申请中，对象既可以是有生命的人，也可以是无生命的事物(例如，机器、商品、股票等)。而且，序列数据可以是对象不同时间点在特定方面的表现或性质，而并不仅限于行为数据或状态数据。

具体地，作为示例，训练样本获取装置110可获取多个对象的历史数据记录集合，并基于所述多个对象的历史数据记录集合构建所述序列训练样本集合。或者，训练样本获取装置110可直接从外部获取由其他装置产生的序列训练样本集合。这里，以训练样本获取装置110本身执行操作来构建序列训练样本集合为例进行介绍。例如，训练样本获取装置110可通过手动、半自动或全自动的方式来获取历史数据记录，或对获取的历史数据记录进行处理，使得处理后的历史数据记录具有适当的格式或形式。这里，训练样本获取装置110可通过输入装置(例如，工作站)接收用户手动输入的历史数据记录，或者，训练样本获取装置110可通过全自动的方式从数据源获取历史数据记录集合，例如，通过以软件、固件、硬件或其组合实现的定时器机制来系统地请求数据源将历史数据记录集合发送给训练样本获取装置，或者，也可在有人工干预的情况下自动进行历史数据记录集合的获取，例如，在接收到特定的用户输入的情况下请求获取历史数据记录集合。每次获取到历史数据记录时，优选地，数据记录获取装置110可将捕获的数据存储在非易失性存储器中。作为示例，可利用数据仓库来存储获取的历史数据记录以及处理后的历史数据记录。

这里，在构建序列训练样本集合时，对于每个对象的按时间顺序排列的多条历史数据记录，如果相邻的两条历史数据记录之间的时间间隔满足预设条件，则训练样本获取装置110可对其进行切分，进而得到该对象的多条序列训练样本。例如，预设条件可以是相邻的任何两条历史数据记录之间的时间间隔大于预定时间阈值，但是不限于此，例如，预设条件还可以是相邻的任何两条历史数据记录之间的时间间隔在预定时间范围内。这里，作为示例，每个历史数据记录可包括多个数据属性字段，例如，对象标识字段、对象行为数据字段、行为发生时间字段等。训练样本获取装置110可首先在获取的多个对象的历史数据记录集合中根据对象标识字段获得每个对象的多条历史数据记录，然后可将每个对象的多条历史数据记录按照时间顺序进行排列，并且如果排列后的多条历史数据记录中的两条相邻的历史数据记录之间的时间间隔大于预设阈值，可进行切分，使得切分后的每个历史数据记录子集中任何两个相邻的历史数据记录之间的时间间隔小于或等于预设阈值。

为了更直观地表示切分过程，假设对象的一个历史数据记录被定义为一个元组r_n＝<u_n，t_n，e_n>，其中，u_n是用户ID，e_n是历史序列数据，t_n是时间戳(即，与e_n对应的时间标记)。这里，e_n既可以是连续数据也可以是离散数据。作为示例，当历史数据记录涉及对象行为时，在涉及移动位置预测的场景中，e_n例如可以是对象的位置数据，并可被表示为二维连续向量e_n＝(l_o，l_a)，其中，l_o表示经度和l_a表示纬度。作为另一示例，在涉及内容推荐的场景中，e_n例如可以是用户收听的音乐的歌手ID。作为另一示例，在涉及对象(人或动物)的生理状态预测的场景中，e_n可以是反应对象生理状态的数据，例如，血压值、血糖值等。作为另一示例，在涉及商品或股票的价格预测的场景中，e_n可以是商品或股票的价格。但是，历史数据记录的种类或表示形式均不限于以上示例。在这种情况下，假设是多个对象的历史数据记录集合，如果是R的子序列并且满足(其中，Δt＞0)和则便可以是构建的对象的一个序列训练样本。

在按照以上描述的方式获得了序列训练样本集合(包括针对多个对象中的每个对象的多条序列训练样本)之后，训练装置120可基于所述序列训练样本集合，训练机器学习模型。在本申请中，这里的机器学习模型可以是包括两个隐状态层的隐马尔可夫模型，其中，第一隐状态层中包括所述多个对象中的每个对象的个性化隐状态，第二隐状态层中包括由所述多个对象共享的多个共享隐状态。

为方便理解本申请提出的包括两个隐状态层的隐马尔可夫模型(在下文中，可被称为共享隐状态的隐马尔可夫模型)，这里首先对经典隐马尔可夫模型(HMM)进行简要介绍。HMM假设对象的序列数据由多个隐状态控制，并且这些隐状态之间的转移遵循马尔可夫假设，即，对象处于下一隐状态的概率仅取决于当前隐状态。假设M是隐状态的数量，则经典HMM模型包括三个参数集，这三个参数集分别是：

(1)M维向量π∈R^M，其中，π_m＝p(z＝m)定义对象初始访问第m个隐状态的初始概率，其中，z表示初始隐状态；

(2)M×M转移概率矩阵其定义了遵循马尔可夫假设的M个隐状态之间的转移概率，其中，a_ij＝p(z_n＝j|z_n-1＝i)并且表示对象从第i个隐状态到第j个隐状态的概率；

(3)参数集D＝{d_m}，m＝1，2，…M，其定义了M个隐状态在观察空间中的概率分布的集合，其中，d_m定义第m个隐状态在观察空间上的概率分布。

接下来，参照图2对根据本申请示例性实施例的共享隐状态的隐马尔可夫模型进行介绍。

如图2所示，相比经典HMM，本申请中的共享隐状态的隐马尔可夫模型可包括两个隐状态层，第一隐状态层中可包括所述多个对象中的每个对象的个性化隐状态，第二隐状态层中可包括由所述多个对象共享的多个共享隐状态。由于第一隐状态层包括所述多个对象中的每个对象的个性化隐状态，从而确保了每个对象的个性化序列模式，而由于第二隐状态层中多个对象共享多个共享隐状态，因此有效地解决了训练数据的稀缺性问题，综上，本申请的共享隐状态的隐马尔可夫模型不仅克服了训练数据的稀缺性而且可以保证不同对象的序列模式多样性。

本申请中的共享隐状态的隐马尔可夫模型完全遵循并能够反映实际应用场景中的客观规律，例如，很多人聚在一起形成热点地区或者具有相似兴趣的群体经常听一种类型的音乐，这些音乐通常由用户共享并且不太可能受到单个用户的影响。另一方面，例如，用户序列行为模式极其多样化。比如，两个用户在A地点一起工作，他们经常在下班后回家。他们的家很可能不在同一地区，因此使用单一转移模型来预测他们将在A地点后的去向是不合适的。另外，例如，用户1喜欢摇滚音乐和民谣，而用户2喜欢摇滚音乐和说唱音乐。如果没有个性化的信息，我们几乎无法预测他们在摇滚音乐后会听什么音乐。而在本申请中，正是通过第一隐状态层确保了每个对象的个性化序列模式，并且通过第二隐状态层可让多个对象可以共享不太可能受到单个对象的影响的隐状态。

下面参照图2进一步详细描述本申请的共享隐状态的隐马尔可夫模型。为方便描述，在图2中示出第一隐状态层中包括三个对象并且每个对象有三个隐状态(在第一隐状态层中，前三个圆表示第一个对象的三个个性化隐状态，中间的三个圆表示第二个对象的三个个性化隐状态，最后的三个圆表示第三个对象的三个个性化隐状态)，但应该清楚的是：本申请对于对象的数量以及隐状态的数量均并于任何限制。

参照图2，第一隐状态层中的每个对象的个性化隐状态的数量小于第二隐状态层中的所述多个共享隐状态的数量。作为示例，在预测对象(用户或车辆)的移动位置的场景中，个性化隐状态可包括例如对象的位置处于工作区、生活区和休息区等，共享隐状态可包括观察空间中被对象共享的一些热点地区，例如购物中心、饭店、休闲中心等。作为另一示例，在内容推荐场景中，个性化隐状态可包括特定用户通常接受的内容的类型，例如，民谣音乐、摇滚音乐、说唱音乐等，而共享隐状态可包括被大多数用户所接受的内容的类型，例如，舒缓的音乐、节奏明快的音乐等。作为另一示例，在涉及对象(人或动物)的生理状态预测的场景中，个性化隐状态可以是特定对象通常的生理状态指标区间(例如，血压变化区间)，共享隐状态可以是同类对象一般的生理状态指标区间；作为另一示例，在涉及商品或股票价格预测的场景中，个性化隐状态可以是某种商品或股票的通常的价格区间，共享隐状态可以是同类商品或股票一般所在的价格区间。尽管在图2中示出由三个对象共享的共享隐状态的数量是8个，但是应清楚的是本申请对共享隐状态的数量并无限制，只要其数量大于每个对象的个性化隐状态的数量即可。

如图2所示，第二隐状态层中的每个共享隐状态对应一个概率分布(图 2中用d表示，如d₁至d₈)。作为示例，当以上描述的行为数据是反映对象行为的连续特征数据(例如，位置数据)时，与每个共享隐状态对应的概率分布可包括高斯分布，但不限于此。作为另一示例，当以上描述的行为数据包括反映对象行为的离散特征数据(例如，内容ID)时，与每个共享隐状态对应的概率分布可包括多项式分布，但不限于此。

根据本申请示例性实施例，共享隐状态的马尔可夫模型的模型参数可包括针对每个对象的个性化参数集和由所述多个对象共享的共享参数集。具体地，个性化参数集包括第一隐状态层中的每个对象的个性化隐状态的概率、每个对象的个性化隐状态之间的转移概率和每个对象的从个性化隐状态到共享隐状态的发射概率，共享参数集包括与每个共享隐状态对应的概率分布的集合。

接下来，对模型的训练过程进行详细介绍。在此之前，为方便描述，先对以上提及的个性化参数集和共享参数集进行直观地表示。

具体地，假设第二隐状态层中的共享隐状态的数量是M，则由多个对象共享的共享参数集可被表示为D＝{d_m}(其中，m小于等于M且大于等于1)，每个d_m是与第m个共享隐状态对应的概率分布，其定义了第m个共享隐状态在观察空间上的概率分布。

此外，针对每个对象u的个性化参数集可表示为Φ^u＝{π^u，A^u，B^u}。假设对象u的个性化隐状态用z_n表示并且共享隐状态用c_n表示，这里，π^u是第一隐状态层中的对象u的个性化隐状态的概率，若对象有K个个性化隐状态，则是对象u初始处于第i个个性化隐状态的概率，其中，z₁是对象的初始的个性化隐状态，i小于等于K且大于等于1。是对象 u的K个个性化隐状态之间的转移概率矩阵，其中，表示对象u从第i个个性化隐状态到第j个个性化隐状态的转移概率。是发射概率矩阵，其中，表示从第一隐状态层中的第i个个性化隐状态到第二隐状态层中的第m个共享隐状态的发射概率。

一般而言，在实际场景中，对象在观察空间中仅具有很少的分布状态，例如，用户仅在少数区域(例如，家和办公室)之间转移，或者每个用户倾向于只收听集中的几种类型的音乐。因此，如果在训练过程中，使本申请的共享隐状态的隐马尔可夫模型中的位于第一隐状态层中的个性化隐状态以高度集中的概率分布发射到第二隐状态层中的少数几个共享隐状态，则训练出的模型将更易于解释(换言之，更加符合实际场景中的客观规律)。

为此，根据本申请示例性实施，训练装置120可将用于训练所述机器学习模型的目标函数构造为包括损失函数和正则项，这里，该正则项用于对每个对象的从个性化隐状态到共享隐状态的发射概率分布的集中程度进行约束。由于熵可以衡量不确定程度或衡量多样化，因此，作为示例，这里的正则项可包括与每个对象的从个性化隐状态到共享隐状态的发射概率的熵有关的约束项。例如，所述约束项可被构造为其中，其中，λ是大于0的实数， 指示第u个对象的从第i个个性化隐状态到第m个共享隐状态的发射概率，其中，u、i和m均是大于0的正整数。

尽管这里将与熵有关的约束项作为上述正则项的示例，但是需要说明的是，这里的正则项不限于与熵有关的约束项，而是可以是任何能够对从个性化隐状态到共享隐状态的发射概率分布的集中程度进行约束的函数项。或者，用于训练共享隐状态的隐马尔可夫模型的目标函数也可不包括用于对每个对象的从个性化隐状态到共享隐状态的发射概率分布的集中程度进行约束的正则项(此时，上述λ＝0)。或者，目标函数除了包括上述正则项之外，还可包括其他对模型复杂度进行约束的正则性。此外，以上提及与熵有关的约束项也不限于被构造为而是可被构造为关于熵的任何函数项的组合。

作为示例，根据本申请示例性实施例的目标函数可被构造如下：

其中，是损失函数，是对象的序列训练样本 (即，观察空间中观察到的由序列数据构成的每个序列)，并且 (其中，N是序列的长度)，J^u是所有对象u的序列训练样本集合，并且λ>0 是约束项的约束系数。

如图2所示，对于观察空间中观察到的由序列数据构成的每个序列均有与其对应的两个隐状态序列，分别是个性化隐状态序列和共享隐状态序列故在以上目标函数的等式 (1)中，可被表示如下：

其中，意思是

通过利用序列训练样本不断对以上的目标函数进行优化，可最终确定个性化参数集Φ^u＝{π^u，A^u，B^u}和共享参数集D＝{d_m}。最终，如果序列训练样本中的多个序列数据涉及对象在不同时间点的行为数据，则本申请的共享隐状态的隐马尔可夫模型可被训练为针对对象的按时间顺序排列的一系列历史行为数据来预测对象在所述一系列历史行为数据之后的下一行为数据。可选地，如果序列训练样本中的多个序列数据涉及对象在不同时间点的状态数据，则共享隐状态的隐马尔可夫模型可被训练为针对对象的按时间顺序排列的一系列历史状态数据来预测对象的在所述一系列历史属性数据之后的下一状态数据。

例如，如果行为数据是对象的位置数据，则机器学习模型被训练为针对对象的按时间顺序排列的一系列历史位置数据来预测对象在下一时间点的位置数据。如果行为数据是用户所接受的内容的内容ID，则所述机器学习模型被训练为针对用户的按时间顺序排列的一系列历史接受内容的内容ID来预测用户在下一时间点将接受的内容的内容ID。如果状态数据是对象的生理状态数据，则所述机器学习模型被训练为针对对象的按时间顺序排列的一系列历史生理状态数据来预测对象在下一时间点的生理状态数据。如果状态数据是商品或股票的价格数据，则所述机器学习模型被训练为针对商品或股票的按时间顺序排列的一系列历史价格数据来预测商品或股票在下一时间点的价格数据。

接下来，将详细描述利用以上目标函数训练共享隐状态的隐马尔可夫模型的过程。

具体地，训练装置120可利用与每个序列训练样本对应的个性化隐状态序列和共享隐状态序列基于詹森不等式来确定目标函数的下界，并通过最大化目标函数的下界来确定模型的模型参数。

首先，训练装置120可利用个性化隐状态序列和共享隐状态序列来找到基于詹森不等式的目标的下界，然后优化该下界以更新模型参数并找到新的下限直到收敛。这里，目标函数L(Φ，D)的下界可被确定如下：

在具体训练模型时，可首先初始化个性化参数集{π^u}、{A^u}和{B^u}以及共享参数集D，随后，针对输入的对象u的每个序列训练样本，可更新与其对应的个性化隐状态序列和共享隐状态序列的后验概率(下面为描述方便，将更新的步骤称为E-步骤)，并且可通过最大化L′₁(Φ，D)来更新模型参数{π^u}、{A^u}和{B^u}以及D(下面为描述方便，将更新模型参数的步骤称为M-步骤)。训练装置120可不断重复E-步骤和M步骤，直至目标函数L(Φ，D)最大，而当目标函数取最大值时所对应的模型参数即为最终训练出的模型的模型参数。

如上所述，在M-步骤中通过最大化L′₁(Φ，D)来更新模型参数{π^u}、{A^u} 和{B^u}以及D，下面，对M-步骤进行详细描述。

首先，在M-步骤中，训练装置120可将目标函数的下界L′₁(Φ，D)变换为包括仅受个性化隐状态的概率影响的函数项、仅受所述转移概率影响的函数项、仅受所述发射概率影响的函数项以及仅受所述共享参数集影响的函数项，并通过分别最大化各个函数项来确定对应的模型参数。具体地，可例如将 L′₁(Φ，D)变为：

这里，可通过定义三个辅助变量ξ_n(i，j)、γ_n(i)和ρ_n(i，m)来估计其中，以及其中n＝1，2...，N。在M-步骤中，可使用ξ_n(i，j)、γ_n(i)和ρ_n(i，m)替换来使L′₁(Φ，D)变为包括以上第(4)至第(7)项的形式，其中，函数项(4)是仅受个性化隐状态的概率影响的函数项，函数项 (5)是仅受转移概率影响的函数项，函数项(6)是仅受发射概率影响的函数项，函数项(7)是仅受共享参数集影响的函数项。然后，训练装置120可通过分别最大化各个函数项来确定对应的模型参数Φ和D。

由于以上的函数项(4)、(5)和(7)是是凹的而没有任何其他附加项，因此，训练装置120可基于传统的Baum Welch算法来确定其最大值，进而确定对应的模型参数，本领域技术人员均清楚如何基于传统的Baum Welch算法来确定函数项(4)、(5)和(7)的最大值，因此，这里不再赘述。然而，函数项(6)并不总是凹的并且受以上提及的约束项的影响，因此，无法基于传统的Baum Welch算法来确定其最大值。这里，针对受发射概率影响的函数项，本申请提出了一种可在凸差规划(DCP，Difference of Convex Programming) 框架下通过将最大化该函数项的问题转换为一维非线性方程问题来确定该函数项的最大值以确定发射概率的方式。下面，将对这种方式进行描述。

为简单起见，可以让并且 b＝{b_m}。接下来，可将为每个i和u找到b的问题(即函数项(6)的最大化问题)转化为最小化问题：

其中，已在E-步骤中估算出，存在λ>0使得(8)是非凸优化问题。

为了优化具有收敛保证的b的这种非凸函数，可将(8)分解为凸项和凹项的加法以满足DCP框架的形式要求。

DCP是求解非凸问题的一个通用而强大的框架，根据DCP，可通过局部线性化凹项来最小化凸上界f^(t+1)(b)的序列，其中，f^(t+1)(b)被表示如下：

如何有效地求解(9)是实现快速求解非凸问题的关键。为了实现这一目标，本申请中将(9)转换为一维非线性方程问题，即，存在η使得：

等式(9)的最优解可由中的η得到。等式(10) 是简单的一维非线性方程问题，其可以例如使用牛顿方法来求解。具体地，在DCP框架下求解(8)的过程如下：

首先，初始化b⁽¹⁾，随后，对于t＝1，…，T，用当前的b^(t)将等式(9) 转换为等式(10)并通过使用牛顿方法求解(10)来获得b^(t+1)。重复上述操作，从而获得b^(T)，此时便确定了函数项(6)最大时的发射概率。

以上已经参照图1和图2对根据本申请示例性实施例的训练用于预测序列数据的机器学习模型的系统和该机器学习模型的结构等进行了详细描述。一方面，由于本申请的机器学习模型包括两个隐状态层(其中，第一隐状态层包括每个对象的个性化隐状态并且第二隐状态层包括由多个对象共享的多个共享隐状态)，因此，其不仅可克服训练数据的稀缺性而且可保证不同对象的序列模式多样性。另一方面，由于本申请中将用于训练机器学习模型的目标函数构造为包括用于对每个对象的从个性化隐状态到共享隐状态的发射概率分布的集中程度进行约束的正则性，因此，训练出的机器学习模型更易于解释，更符合客观规律。此外，由于本申请在模型训练过程中，在DCP框架下通过将最大化该函数项的问题转换为一维非线性方程问题来确定发射概率，因此，可以快速求解发射概率，从而可提高模型训练速度。

需要说明的是，尽管以上在描述模型训练系统100时将其划分为用于分别执行相应处理的装置(例如，训练样本获取装置110和训练装置120)，然而，本领域技术人员清楚的是，上述各装置执行的处理也可以在模型训练系统100不进行任何具体装置划分或者各装置之间并无明确划界的情况下执行。此外，以上参照图1所描述的模型训练系统100并不限于包括以上描述的装置，而是还可以根据需要增加一些其他装置(例如，存储装置、数据处理装置等)，或者以上装置也可被组合。

图3是示出根据本申请示例性实施例的训练用于预测序列数据的机器学习模型的方法(以下，为描述方便，将其简称为“模型训练方法”)的流程图。

这里，作为示例，图3所示的模型训练方法可由图1所示的模型训练系统100来执行，也可完全通过计算机程序或指令以软件方式实现，还可通过特定配置的计算系统或计算装置来执行，例如，可通过包括至少一个计算装置和至少一个存储指令的存储装置的系统来执行，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行上述模型训练方法。为了描述方便，假设图3所示的模型训练方法由图1所示的模型训练系统100来执行，并假设模型训练系统100可具有图1所示的配置。

参照图3，在步骤S310，训练样本获取装置110可获取序列训练样本集合。这里，序列训练样本集合可包括针对多个对象中的每个对象的多条序列训练样本，并且每个序列训练样本包括按时间顺序排列的多个序列数据。作为示例，这里的多个序列数据可涉及对象在不同时间点的行为数据，所述机器学习模型被训练为针对对象的按时间顺序排列的一系列历史行为数据来预测对象在所述一系列历史行为数据之后的下一行为数据。作为另一示例，这里的多个序列数据涉及对象在不同时间点的状态数据，所述机器学习模型被训练为针对对象的按时间顺序排列的一系列历史状态数据来预测对象的在所述一系列历史属性数据之后的下一状态数据。以上已经参照图1对序列数据、行为数据、状态数据等进行了描述，这里不再赘述，参照图1所描述的相关内容同样适用于此。

具体地，在步骤S310，训练样本获取装置110可获取所述多个对象的历史数据记录集合，并基于所述多个对象的历史数据记录集合构建所述序列训练样本集合。这里，对于每个对象的按时间顺序排列的多条历史数据记录，如果相邻的两条历史数据记录之间的时间间隔满足预设条件，则进行切分，进而得到该对象的多条序列训练样本。例如，如果相邻的任何两条历史数据记录之间的时间间隔大于预定时间阈值，则进行切分。由于已经在图1的描述中介绍了关于通过切分的方式获得每个对象的序列训练样本的方式，因此这里不再赘述。

接下来，在步骤S320，训练装置120可基于在步骤S310获取的序列训练样本集合，训练所述机器学习模型。这里，所述机器学习模型是包括两个隐状态层的隐马尔可夫模型。具体地，第一隐状态层中可包括所述多个对象中的每个对象的个性化隐状态，第二隐状态层中可包括由所述多个对象共享的多个共享隐状态。

根据示例性实施例，每个共享隐状态可对应一个概率分布。如上所述，序列数据可包括对象的行为数据。作为示例，行为数据可包括反映对象行为的连续特征数据，在这种情况下，与每个共享隐状态对应的概率分布可包括高斯分布，但不限于此。作为另一示例，行为数据可包括反映对象行为的离散特征数据，在这种情况下，与每个共享隐状态对应的概率分布可包括多项式分布，但不限于此。这里，连续特征数据可包括对象的位置数据，在这种情况下，机器学习模型可被训练为用于针对对象的一系列历史位置数据来预测对象的下一位置数据(即，机器学习模型被训练为用于预测对象的移动位置)。作为示例，离散特征数据可包括对象所接受的内容的内容ID，在这种情况下，机器学习模型可被训练为针对对象的一系列历史接受内容的内容ID 来预测对象将接受的下一个内容的内容ID。需要说明的是，针对不同的应用场景，连续特征数据和离散特征数据可包括对象的不同类型的数据。

在本申请的包括两个隐状态层的隐马尔可夫模型中，第一隐状态层中的每个对象的个性化隐状态的数量可小于第二隐状态层中的所述多个共享隐状态的数量。此外，该隐马尔可夫模型的模型参数可包括针对每个对象的个性化参数集和由所述多个对象共享的共享参数集。具体地，个性化参数集可包括第一隐状态层中的每个对象的个性化隐状态的概率、每个对象的个性化隐状态之间的转移概率和每个对象的从个性化隐状态到共享隐状态的发射概率，共享参数集可包括与每个共享隐状态对应的概率分布的集合。

此外，用于训练所述机器学习模型的目标函数可被构造为包括损失函数和正则项。这里，所述正则项用于对每个对象的从个性化隐状态到共享隐状态的发射概率分布的集中程度进行约束。通过将目标函数构造为包括用于对每个对象的从个性化隐状态到共享隐状态的发射概率分布的集中程度进行约束项，可使得训练出的模型能够更易于解释，即，更符合实际场景中的客观规律。作为示例，这里的正则项可包括与每个对象的从个性化隐状态到共享隐状态的发射概率的熵有关的约束项。例如，约束项可被构造为其中，其中，λ是大于0的实数，指示所述多个对象中的第u个对象的从第i个个性化隐状态到第m个共享隐状态的发射概率，其中，u、i和m均是大于0的正整数。

以上在图1和图2的描述中所提及的关于本申请的机器学习模型的描述均适应于图3，因此，这里不再赘述。

在步骤S320中，训练装置120可利用与每个序列训练样本对应的个性化隐状态序列和共享隐状态序列基于詹森不等式来确定目标函数的下界，并通过最大化目标函数的下界来确定所述模型参数。具体地，在步骤S320中，训练装置120可将目标函数的下界变换为包括仅受个性化隐状态的概率影响的函数项、仅受所述转移概率影响的函数项、仅受所述发射概率影响的函数项以及仅受所述共享参数集影响的函数项，并通过分别最大化各个函数项来确定对应的模型参数。特别地，针对受所述发射概率影响的函数项，训练装置 120可在DCP框架下通过将最大化该函数项的问题转换为一维非线性方程问题来确定发射概率。以上在图1的描述中，已经对如何确定模型参数的过程进行了介绍，这里不再赘述。

另外，以上参照图1在描述模型训练系统中包括的各个装置时所提及的内容均适用于这里，故关于以上步骤中所涉及的相关细节，可参见图1的相应描述，这里均不再赘述。

以上描述的根据本申请示例性实施例的模型训练方法由于包括两个隐状态层而不仅可克服训练数据的稀缺性而且可保证不同对象的序列模式多样性，从而使得训练出的模型能够提供对序列数据的更准确的预测，此外通过使用于训练模型的目标函数包含用于对发射概率进行约束的正则项，可使得训练出的模型更易于解释。

在下文中，将参照图4和图5对利用上述训练出的机器学习模型预测序列数据的过程进行描述。

图4是示出根据本申请示例性实施例的利用机器学习模型预测序列数据的系统(以下，为描述方便，将其简称为“预测系统”)400的框图。

参照图4，预测系统400可包括预测样本获取装置410和预测装置420。具体地，预测样本获取装置410可被配置为获取对象的序列预测样本。这里，序列预测样本包括所述对象的按时间顺序排列的多个序列数据。预测装置420 可利用机器学习模型，针对由预测样本获取装置410获取的序列预测样本执行预测来提供关于所述多个序列数据之后的下一序列数据的预测结果。

这里，机器学习模型可被事先训练为针对按时间顺序排列的一系列序列数据来预测所述一系列序列数据之后的下一序列数据，并且所述机器学习模型可以是包括两个隐状态层的隐马尔可夫模型。具体地，第一隐状态层中可包括多个对象中的每个对象的个性化隐状态，第二隐状态层中可包括由所述多个对象共享的多个共享隐状态。这里的机器学习模型即为在图1至3的描述中提及的共享隐状态的隐马尔可夫模型，并且其训练过程可如参照图3所描述的训练过程，这里不再赘述。

作为示例，上述多个序列数据可涉及对象在不同时间点的行为数据(例如，对象的移动位置数据、对象的点击内容的行为等)，或者可涉及对象在不同时间点的状态数据(例如，生物体的生理状态数据、商品的价格、股票的交易价格等)。具体地，行为数据既可以包括反映对象行为的连续特征数据，也可包括反映对象行为的离散特征数据。例如，连续特征数据可包括对象的位置数据，离散特征数据可包括对象所接受的内容的内容ID。

例如，在预测对象(例如，用户或车辆)移动轨迹的场景中，预测样本获取装置110可获取对象的按照时间顺序排列的一系列历史位置数据来构成上述序列预测样本；在内容推荐场景中，预测样本获取装置110可获取用户的按照时间顺序排列的一系列历史接受内容的内容ID来构成上述序列预测样本；在涉及对象(人或动物)的生理状态预测的场景中，预测样本获取装置110可获取对象的按时间顺序排列的一系列历史生理状态数据来构成上述序列预测样本；在涉及商品或股票价格预测的场景中，预测样本获取装置110 可获取商品或股票的按时间顺序排列的一系列历史价格数据来构成上述序列预测样本。

在本申请的共享隐状态的隐马尔可夫模型中，每个共享隐状态可对应一个概率分布。如果行为数据是反映对象行为的连续特征数据，则与每个共享隐状态对应的概率分布可包括高斯分布，但不限于此。如果所述行为数据是反映对象行为的离散特征数据，则与每个共享隐状态对应的概率分布可包括多项式分布，但不限于此。

如以上参照图1至图3所描述的，第一隐状态层中的每个对象的个性化隐状态的数量可小于第二隐状态层中的所述多个共享隐状态的数量。此外，上述机器学习模型的模型参数可包括针对每个对象的个性化参数集和由所述多个对象共享的共享参数集。具体地，个性化参数集可包括第一隐状态层中的每个对象的个性化隐状态的概率、每个对象的个性化隐状态之间的转移概率和每个对象的从个性化隐状态到共享隐状态的发射概率，共享参数集可包括与每个共享隐状态对应的概率分布的集合。

如上所述，预测样本获取装置410可获取对象的序列预测样本。具体地，预测样本获取装置410可获取该对象的多条历史数据记录，按时间顺序排列所述多条历史数据记录，并基于排列后的所述多条历史数据记录构建所述序列预测样本。这里，如果排列后的所述多条历史数据记录中的相邻的两条历史数据记录之间的时间间隔满足预设条件，则进行切分，进而得到该对象的序列预测样本。

作为示例，对象的多条历史数据记录中的每条历史数据记录可包括多个数据属性字段，例如，对象标识字段、对象行为数据字段、行为发生时间字段等。例如，对象行为数据字段可包括对象在行为发生时间字段所指示的时间点的位置数据(例如，该位置数据可用包括经度和纬度的向量来表示)。或者，对象行为数据字段可包括对象在与行为发生时间字段所指示的时间对应的时间点接受的内容的内容ID(例如，用户点击的新闻的新闻ID、或者用户收听的音乐的歌手ID等等)。需要说明的是，本申请对序列数据的类型没有限制，只要其是按照时间顺序连续出现的一系列数据即可。此外，本申请对行为数据的类型也没有限制，只要其是反映对象的按时间顺序进行的一系列行为的数据即可。

此外，对象的序列数据记录可以是在线产生的数据记录、预先生成并存储的数据记录，也可以是通过输入装置或传输媒介而从外部数据源(例如，服务器、数据库等)接收的数据记录。数据记录可例如以数据表的形式被存储在本地存储介质或具有数据存储功能的云计算平台(包括但不限于公有云和私有云等)中。另外，就数据记录的获取方式而言，上述历史数据记录可通过输入装置被输入到预测样本获取装置410，或者由预测样本获取装置410 根据已获取的数据来自动生成，或者可由预测样本获取装置410从网络上(例如，网络上的存储介质(例如，数据仓库))获得，此外，诸如服务器的中间数据交换装置可有助于预测样本获取装置410从外部数据源获取相应的数据。这里，获取的历史数据记录可被进一步转换为容易处理的格式，例如，表单数据。根据本申请示例性实施例，以上提及的所述对象的多条历史数据记录可以是指具有某种连续性(例如，行为在时间上的连续性)的一系列序列数据，例如，用户在开启某新闻资讯类的App之后，截至退出该App之前连续点击的内容的内容ID。

如上所述，预测装置410可利用所述机器学习模型，针对序列预测样本执行预测来提供关于所述多个序列数据之后的下一序列数据的预测结果。具体地，预测装置420可首先在训练出的机器学习模型的模型参数中确定针对所述对象的个性化参数集，随后，利用确定的针对所述待预测对象的个性化参数集以及共享参数集，确定在所述多个序列数据之后出现每个下一候选序列数据的概率，并且基于确定的概率，确定所述多个序列数据之后的下一序列数据。这里，如图2所示的示意图所示出的概率转移，预测装置420可首先根据所述对象的个性化隐状态的概率(例如，图2中所示的π^u)和个性化隐状态之间的转移概率(例如，图2中所示的A^u)，确定所述对象的个性化隐状态序列(例如，图2中所示的)，其次，可根据确定的个性化隐状态序列和所述对象的从个性化隐状态到共享隐状态的发射概率(例如，图2中所示的B^u)，确定与所述个性化隐状态序列对应的共享隐状态序列(例如，图2 中所示的)，最后，可根据确定的共享隐状态序列和共享参数集(例如，图 2中所示的D)，确定在所述多个序列数据之后出现每个下一候选序列数据的概率。

这里，假设上述多个序列数据涉及对象在不同时间点的位置数据，例如，在第一时间点至第五时间点对象分别位于位置1至位置5(例如，位置可用经纬度表示)，则预测装置420可按照以上描述的预测过程预测对象出现在下一候选位置的概率。例如，假设有三个候选位置(候选位置1至候选位置3，例如，这三个候选位置分别对应建筑物1、建筑物2和建筑物3)，则预测装置420可分别计算出对象接下来分别位于候选位置1至候选位置3的概率。随后，预测装置420可基于确定的概率，确定上述多个序列数据之后的下一序列数据。例如，预测装置420可在候选位置1至候选位置3中选择计算出的概率最高的候选位置，作为下一序列数据。假设预测出对象接下来位于候选位置3的概率最高，则预测装置420可将建筑物3的位置数据确定为这里的下一序列数据。

例如，如果行为数据是对象的位置数据，则预测装置420可利用所述机器学习模型针对对象的按时间顺序排列的一系列历史位置数据来预测对象在下一时间点的位置数据。在利用机器学习模型预测出用户或车辆接下来将移动到的位置之后，例如，预测系统400可将预测结果提供给骑乘服务提供商，随后骑乘服务提供商可调配车辆(例如，共享单车)到该位置，以更好地为用户提供骑乘服务。

如果行为数据是用户所接受的内容的内容ID，则预测装置420可利用所述机器学习模型针对用户的按时间顺序排列的一系列历史接受内容的内容ID 来预测用户在下一时间点将接受的内容的内容ID。在预测出用户接下来可能接受的内容的内容ID后，例如，预测系统400可将预测结果提供给内容服务提供商，随后内容提供商可将与该内容ID对应的内容推荐给用户，从而便于实现精准的内容推荐。

如果状态数据是对象的生理状态数据，则预测装置420可利用所述机器学习模型针对对象的按时间顺序排列的一系列历史生理状态数据来预测对象在下一时间点的生理状态数据。例如，在预测出用户接下来的生理状态数据之后，预测系统400可将预测结果提供给医疗服务提供商，随后医疗服务提供商可以基于该预测结果来指导用户提前对生理状态的变化采取应对措施。

如果状态数据是商品或股票的价格数据，则预测装置420可利用所述机器学习模型针对商品或股票的按时间顺序排列的一系列历史价格数据来预测商品或股票在下一时间点的价格数据。在预测出商品或股票在下一时间点的价格之后，例如，预测系统400可将预测结果提供给用户，以帮助用户进行决策，例如，帮助用户判断是否购买该商品或股票。

需要说明的是，尽管以上仅列出涉及序列数据预测的四种应用场景，但是本领域技术人员清楚的是，预测系统400可被应用于的场景不限于上述四种应用场景，而是可应用于涉及产生对象的序列数据的任何场景。

根据示例性实施例的预测系统可利用包括两个隐状态层的隐马尔可夫模型预测序列数据，从而可有效地针对不同的对象提供个性化的序列数据预测，能够提高预测的准确性。

另外，需要说明的是，尽管以上在描述预测系统400时将其划分为用于分别执行相应处理的装置(例如，预测样本获取装置410和预测装置420)，然而，本领域技术人员清楚的是，上述各装置执行的处理也可以在预测系统不进行任何具体装置划分或者各装置之间并无明确划界的情况下执行。此外，以上参照图4所描述的预测系统400并不限于包括以上描述的装置，而是还可以根据需要增加一些其他装置(例如，存储装置、数据处理装置等)，或者以上装置也可被组合。而且，作为示例，以上参照图1描述的模型训练系统 100和预测系统400也可被组合为一个系统，或者是彼此独立的系统，本申请对此并无限制。

图5是示出根据本申请示例性实施例的利用机器学习模型预测序列数据的方法(以下，为描述方便，将其简称为“预测方法”)的流程图。

这里，作为示例，图5所示的预测方法可由图4所示的预测系统400来执行，也可完全通过计算机程序或指令以软件方式实现，还可通过特定配置的计算系统或计算装置来执行，例如，可通过包括至少一个计算装置和至少一个存储指令的存储装置的系统来执行，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行上述预测方法。为了描述方便，假设图5所示的预测方法由图4所示的预测系统400来执行，并假设预测系统400可具有图4所示的配置。

参照图5，在步骤S510，预测样本获取装置410可获取对象的序列预测样本。这里，序列预测样本可包括所述对象的按时间顺序排列的多个序列数据。作为示例，所述多个序列数据可涉及对象在不同时间点的行为数据，或者所述多个序列数据可涉及对象在不同时间点的状态数据。这里，行为数据可包括反映对象行为的连续特征数据，例如，连续特征数据可包括对象的位置数据，但不限于此。或者，行为数据可包括反映对象行为的离散特征数据，例如，离散特征数据包括对象所接受的内容的内容ID，但不限于此。

具体地，在步骤S510，预测样本获取装置410可获取所述对象的多条历史数据记录，按时间顺序排列所述多条历史数据记录，并基于排列后的所述多条历史数据记录构建所述序列预测样本。这里，如果排列后的所述多条历史数据记录中的相邻的两条历史数据记录之间的时间间隔满足预设条件，则进行切分，进而得到该对象的序列预测样本。

接下来，在步骤S520，预测装置420可利用机器学习模型，针对所述序列预测样本执行预测来提供关于所述多个序列数据之后的下一序列数据的预测结果。这里，所述机器学习模型可被事先训练为针对按时间顺序排列的一系列序列数据来预测所述一系列序列数据之后的下一序列数据，并且所述机器学习模型是包括两个隐状态层的隐马尔可夫模型，其中，第一隐状态层中可以包括多个对象中的每个对象的个性化隐状态，第二隐状态层中可以包括由所述多个对象共享的多个共享隐状态。这里，每个共享隐状态可对应于一个概率分布。如上所述，行为数据可包括反映对象行为的连续特征数据，此时，与每个共享隐状态对应的概率分布可包括高斯分布，但不限于此。如上所述，行为数据也可包括反映对象行为的离散特征数据，此时，与每个共享隐状态对应的概率分布可包括多项式分布，但不限于此。此外，在上述机器学习模型中，第一隐状态层中的每个对象的个性化隐状态的数量可小于第二隐状态层中的所述多个共享隐状态的数量。

例如，如果上述行为数据是对象的位置数据，则在步骤S520预测装置 420可利用所述机器学习模型针对对象的按时间顺序排列的一系列历史位置数据来预测对象在下一时间点的位置数据。例如，如果上述行为数据是用户所接受的内容的内容ID，则在步骤S520预测装置420可利用所述机器学习模型针对用户的按时间顺序排列的一系列历史接受内容的内容ID来预测用户在下一时间点将接受的内容的内容ID。例如，如果上述状态数据是对象的生理状态数据，则在步骤S520预测装置420可利用所述机器学习模型针对对象的按时间顺序排列的一系列历史生理状态数据来预测对象在下一时间点的生理状态数据。例如，如果上述状态数据是商品或股票的价格数据，则在步骤S520预测装置420可利用所述机器学习模型针对商品或股票的按时间顺序排列的一系列历史价格数据来预测商品或股票在下一时间点的价格数据。

根据示例性实施例，上述机器学习模型的模型参数可包括针对每个对象的个性化参数集和由所述多个对象共享的共享参数集。具体地，个性化参数集可包括第一隐状态层中的每个对象的个性化隐状态的概率、每个对象的个性化隐状态之间的转移概率和每个对象的从个性化隐状态到共享隐状态的发射概率，共享参数集包括与每个共享隐状态对应的概率分布的集合。

具体地，在步骤S520，预测装置420可首先在所述机器学习模型的模型参数中确定针对所述对象的个性化参数集，随后，利用确定的针对所述对象的个性化参数集以及共享参数集，确定在所述多个序列数据之后出现每个下一候选序列数据的概率，最后，基于确定的概率来确定所述多个序列数据之后的下一序列数据。例如，在确定在所述多个序列数据之后出现每个下一候选序列数据的概率时，预测装置420可首先根据所述对象的个性化隐状态的概率和个性化隐状态之间的转移概率，确定所述对象的个性化隐状态序列。随后，预测装置420可根据确定的个性化隐状态序列和所述对象的从个性化隐状态到共享隐状态的发射概率，确定与所述个性化隐状态序列对应的共享隐状态序列，最后，预测装置420可根据确定的共享隐状态序列和共享参数集，确定在所述多个序列数据之后出现每个下一候选序列数据的概率。

由于图5所示的预测方法可由图4所示的预测系统400来执行，因此，故关于以上步骤中所涉及的相关细节，可参见图4的相应描述，这里不再赘述。

以上描述的根据示例性实施例的预测方法通过利用包括两个隐状态层的隐马尔可夫模型预测序列数据，从而可有效地针对不同的对象提供个性化的序列数据预测，因此能够提高序列预测数据的预测准确性。

以上已参照图1至图5描述了根据本申请示例性实施例模型训练装置和模型训练方法以及预测系统和预测方法。

然而，应理解的是：图1和图4所示出的系统及其装置可被分别配置为执行特定功能的软件、硬件、固件或上述项的任意组合。例如，这些系统或装置可对应于专用的集成电路，也可对应于纯粹的软件代码，还可对应于软件与硬件相结合的模块。此外，这些系统或装置所实现的一个或多个功能也可由物理实体设备(例如，处理器、客户端或服务器等)中的组件来统一执行。

此外，上述方法可通过记录在计算机可读存储介质上的指令来实现，例如，根据本申请的示例性实施例，可提供一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行以下步骤：获取序列训练样本集合，其中，所述序列训练样本集合包括针对多个对象中的每个对象的多条序列训练样本，并且每个序列训练样本包括按时间顺序排列的多个序列数据；基于所述序列训练样本集合，训练所述机器学习模型，其中，所述机器学习模型是包括两个隐状态层的隐马尔可夫模型，其中，第一隐状态层中包括所述多个对象中的每个对象的个性化隐状态，第二隐状态层中包括由所述多个对象共享的多个共享隐状态。

此外，根据本申请的另一示例性实施例，可提供一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行以下步骤：获取对象的序列预测样本，其中，所述序列预测样本包括所述对象的按时间顺序排列的多个序列数据；利用所述机器学习模型，针对所述序列预测样本执行预测来提供关于所述多个序列数据之后的下一序列数据的预测结果，其中，所述机器学习模型被事先训练为针对按时间顺序排列的一系列序列数据来预测所述一系列序列数据之后的下一序列数据，并且所述机器学习模型是包括两个隐状态层的隐马尔可夫模型，其中，第一隐状态层中包括多个对象中的每个对象的个性化隐状态，第二隐状态层中包括由所述多个对象共享的多个共享隐状态。

上述计算机可读存储介质中存储的指令可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，应注意，所述指令还可在执行上述步骤时执行更为具体的处理，这些进一步处理的内容已经在参照图3 和图5描述的过程中提及，因此这里为了避免重复将不再进行赘述。

应注意，根据本公开示例性实施例的模型训练系统和预测系统可完全依赖计算机程序或指令的运行来实现相应的功能，即，各个装置在计算机程序的功能架构中与各步骤相应，使得整个系统通过专门的软件包(例如，lib库) 而被调用，以实现相应的功能。

另一方面，当图1和图4所示的系统和装置以软件、固件、中间件或微代码实现时，用于执行相应操作的程序代码或者代码段可以存储在诸如存储介质的计算机可读介质中，使得至少一个处理器或至少一个计算装置可通过读取并运行相应的程序代码或者代码段来执行相应的操作。

例如，根据本申请示例性实施例，可提供一种包括至少一个计算装置和存储指令的至少一个存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行下述步骤：获取序列训练样本集合，其中，所述序列训练样本集合包括针对多个对象中的每个对象的多条序列训练样本，并且每个序列训练样本包括按时间顺序排列的多个序列数据；基于所述序列训练样本集合，训练所述机器学习模型，其中，所述机器学习模型是包括两个隐状态层的隐马尔可夫模型，其中，第一隐状态层中包括所述多个对象中的每个对象的个性化隐状态，第二隐状态层中包括由所述多个对象共享的多个共享隐状态。

例如，根据本申请另一示例性实施例，可提供一种包括至少一个计算装置和存储指令的至少一个存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行下述步骤：获取对象的序列预测样本，其中，所述序列预测样本包括所述对象的按时间顺序排列的多个序列数据；利用所述机器学习模型，针对所述序列预测样本执行预测来提供关于所述多个序列数据之后的下一序列数据的预测结果，其中，所述机器学习模型被事先训练为针对按时间顺序排列的一系列序列数据来预测所述一系列序列数据之后的下一序列数据，并且所述机器学习模型是包括两个隐状态层的隐马尔可夫模型，其中，第一隐状态层中包括多个对象中的每个对象的个性化隐状态，第二隐状态层中包括由所述多个对象共享的多个共享隐状态。

具体说来，上述系统可以部署在服务器或客户端中，也可以部署在分布式网络环境中的节点上。此外，所述系统可以是PC计算机、平板装置、个人数字助理、智能手机、web应用或其他能够执行上述指令集合的装置。此外，所述系统还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。另外，所述系统的所有组件可经由总线和/或网络而彼此连接。

这里，所述系统并非必须是单个系统，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。所述系统还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子装置。

在所述系统中，所述至少一个计算装置可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，所述至少一个计算装置还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。计算装置可运行存储在存储装置之一中的指令或代码，其中，所述存储装置还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，所述网络接口装置可采用任何已知的传输协议。

存储装置可与计算装置集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储装置可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储装置和计算装置可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得计算装置能够读取存储在存储装置中的指令。

以上描述了本申请的各示例性实施例，应理解，上述描述仅是示例性的，并非穷尽性的，本申请不限于所披露的各示例性实施例。在不偏离本申请的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此，本申请的保护范围应该以权利要求的范围为准。

Claims (10)

1.一种训练用于预测序列数据的机器学习模型的方法，包括：

获取序列训练样本集合，其中，所述序列训练样本集合包括针对多个对象中的每个对象的多条序列训练样本，并且每个序列训练样本包括按时间顺序排列的多个序列数据；

基于所述序列训练样本集合，训练所述机器学习模型，

其中，所述机器学习模型是包括两个隐状态层的隐马尔可夫模型，其中，第一隐状态层中包括所述多个对象中的每个对象的个性化隐状态，第二隐状态层中包括由所述多个对象共享的多个共享隐状态。

2.如权利要求1所述的方法，其中，所述多个序列数据涉及对象在不同时间点的行为数据，所述机器学习模型被训练为针对对象的按时间顺序排列的一系列历史行为数据来预测对象在所述一系列历史行为数据之后的下一行为数据；或者

所述多个序列数据涉及对象在不同时间点的状态数据，所述机器学习模型被训练为针对对象的按时间顺序排列的一系列历史状态数据来预测对象的在所述一系列历史属性数据之后的下一状态数据。

3.如权利要求1所述的方法，其中，获取序列训练样本集合的步骤包括：

获取所述多个对象的历史数据记录集合；

基于所述多个对象的历史数据记录集合构建所述序列训练样本集合，其中，对于每个对象的按时间顺序排列的多条历史数据记录，如果相邻的两条历史数据记录之间的时间间隔满足预设条件，则进行切分，进而得到该对象的多条序列训练样本。

4.一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行如权利要求1至3中的任一权利要求所述的方法。

5.一种包括至少一个计算装置和存储指令的至少一个存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行如权利要求1至3中的任一权利要求所述的方法。

6.一种训练用于预测序列数据的机器学习模型的系统，包括：

训练样本获取装置，被配置为获取序列训练样本集合，其中，所述序列训练样本集合包括针对多个对象中的每个对象的多条序列训练样本，并且每个序列训练样本包括按时间顺序排列的多个序列数据；

训练装置，被配置为基于所述序列训练样本集合，训练所述机器学习模型，

其中，所述机器学习模型是包括两个隐状态层的隐马尔可夫模型，其中，第一隐状态层中包括所述多个对象中的每个对象的个性化隐状态，第二隐状态层中包括由所述多个对象共享的多个共享隐状态。

7.一种利用机器学习模型预测序列数据的方法，包括：

获取对象的序列预测样本，其中，所述序列预测样本包括所述对象的按时间顺序排列的多个序列数据；

利用所述机器学习模型，针对所述序列预测样本执行预测来提供关于所述多个序列数据之后的下一序列数据的预测结果，

其中，所述机器学习模型被事先训练为针对按时间顺序排列的一系列序列数据来预测所述一系列序列数据之后的下一序列数据，并且所述机器学习模型是包括两个隐状态层的隐马尔可夫模型，其中，第一隐状态层中包括多个对象中的每个对象的个性化隐状态，第二隐状态层中包括由所述多个对象共享的多个共享隐状态。

8.一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行如权利要求7所述的方法。

9.一种包括至少一个计算装置和存储指令的至少一个存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行如权利要求7所述的方法。

10.一种利用机器学习模型预测序列数据的系统，包括：

预测样本获取装置，被配置为获取对象的序列预测样本，其中，所述序列预测样本包括所述对象的按时间顺序排列的多个序列数据；

预测装置，被配置为利用所述机器学习模型，针对所述序列预测样本执行预测来提供关于所述多个序列数据之后的下一序列数据的预测结果，

其中，所述机器学习模型被事先训练为针对按时间顺序排列的一系列序列数据来预测所述一系列序列数据之后的下一序列数据，并且所述机器学习模型是包括两个隐状态层的隐马尔可夫模型，其中，第一隐状态层中包括多个对象中的每个对象的个性化隐状态，第二隐状态层中包括由所述多个对象共享的多个共享隐状态。