CN103218391A - 搜索装置、搜索方法和聚类装置 - Google Patents

Abstract

本发明提供了一种搜索装置、搜索方法和聚类装置。该搜索方法包括：获取学习数据；对于聚类划分使用学习数据执行机器学习，并且计算表示学习结果的各聚类的各有偏马尔可夫链的稳态以获得并存储表示网络上的各节点对于学习结果的各聚类的归属度的归属度信息；从用户接收搜索条件；基于与搜索条件匹配的节点组提取适合该搜索条件的聚类；切出由属于通过聚类提取步骤提取的聚类的节点组形成的部分网络；以及对于切出的部分网络执行个性化排名算法的运算来计算部分网络上的各节点的重要度，并且生成关于搜索条件的针对用户的搜索结果。

Description

搜索装置、搜索方法和聚类装置

技术领域

本发明涉及一种搜索装置、搜索方法和聚类装置。

背景技术

Page,L.et al.Stanford Digital Library Technologies Project(1998)，[在线]，[2011年1月10日搜索的]互联网（http://www-db.stanford.edu/～backrub/pageranksub.ps）（非专利文献1）公开了一种网页排名算法，其根据由网页和超链接形成的图形结构适当地定义表示各网页（节点）的重要度的“网页排名”。示意性地，网页排名算法根据在马尔可夫链的稳态中分配给各个节点的“概率”来定义各个节点的网页排名值。该算法是基于具有下述过程（马尔可夫随机漫步）的模拟，在所述过程中，人的代表在从节点到节点的图形上跟随链接随机地漫步。代表在一个节点存在的概率越高，该节点的网页排名值变得越高。

另外，非专利文献1还描述了个性化网页排名（下面，简称为“PPR”）算法。典型的网页排名算法不依赖于特定的时刻，而PPR算法计算添加有各个用户的兴趣或关注以及过去的搜索行为的个性化网页排名。换言之，在PPR中，其中根据过去的搜索历史预先知道的用户感兴趣的网页（节点）组（例如，与用户的搜索查询一致的网页组）用作种节点组，并且假设代表（即使在没有链接的情况下）以特定速率从网络上的各个节点跳到该组中包括的种节点，从而计算网页排名。因此，靠近种节点组的节点组的网页排名高于使用典型的网页排名算法的情况。如果将要计算与用户在特定时刻的关注（这可以表示为搜索历史）匹配的PPR，则要求基本上等于计算典型的网页排名的时间的时间。从所需时间的观点来看，每次获得来自用户的搜索查询（下面称为“用户查询”）时根据用户的最新的关注计算PPR是不现实的。

Haveliwara,T."Topic-Sensitive PageRank:A Context-Sensitive Ranking Algorithmfor Web Search,"IEEE Transactions on Knowledge and Data Engineering,15,pp.784-796,2003年6月（非专利文献2）公开了一种使用改进的网页排名算法高速执行网页搜索的方法。在该方法中，没有执行根据各个用户查询的马尔可夫链计算，而是预先（即，离线）使用PPR算法获得多个种节点组中的每一个的重要度。各个种节点组表示特定“主题”，即，“领域”。另外，每次接收到用户查询（即，在线）时，获得用户查询对于各个领域的归属度，并且使用对于各个领域的归属度作为系数来计算预先获得的与领域相关的重要度的线性和。

由于在原始的PPR算法中在计算时间方面不允许通过对于各个用户查询计算马尔可夫链来详细地获得依赖于查询的节点重要度排名，因此该方法仅通过适当地添加针对各领域获得的节点重要度或排名来获得其替代物。

另外，非专利文献3至7公开了作为现有技术的网络聚类或者从网络提取群组。

在Newman,M.E.J.&Girvan,M.“Finding and evaluating community structure innetworks.”Physical Review E69,026113(2004)（非专利文献3）中公开的方法中，对于各个链接计算“介数”，并且具有高介数的链接被视为将群组彼此连接的链接，并且它们被顺序地分割，从而将网络划分为聚类（群组）。在该方法中获得的聚类没有彼此交叠（即，不同的聚类没有共享同一节点）。

在Airoldi,E.M.,Blei,D.M.&Xing,E.P.“Mixed membership stochasticBlockmodels.”Journal of Machine Learning Research9,1981-2014(2008)（非专利文献4）和Ball,B.Karrer,B.&Newman,M.E.J.“Effective and principled method fordetecting communities in networks.”Physical Review E84,036103(2011)（非专利文献5）中公开的方法中，使用各个链接对于各群组的归属度作为参数等等来建立网络的随机生成模型。目标网络的链接结构（数据）被分配到其以定义似然性，并且获得用于使似然性最大的参数，从而获得形成网络的聚类（群组）。在该方法中，允许聚类之间的交叠，并且能够执行聚类或群组提取。

在Van Dongen,S.“Graph clustering by flow simulation.”PhD thesis,University ofUtrecht(2000)（非专利文献6）中公开的方法中，考虑网络上的马尔可夫随机过程（马尔可夫链），并且向其添加聚类过程。通常的马尔可夫随机过程（扩展）和聚类（膨胀）交替地重复，并且从而转移概率矩阵被最终分为链接部分。各个链接部分对应于各个聚类。由该方法提取的聚类从不彼此交叠。

在Chung,F.&Tsiatas,A.“Finding and visualizing graph clusters using PageRanoptimization.”Proceedings of WAW2010（非专利文献7）中公开的方法中，使用K均值方法对通过使用各个节点作为“芯”的马尔可夫随机过程（个性化网页排名算法）获得的稳态概率分布向量进行聚类。

发明内容

本发明的目的在于以高于不使用本发明的情况的速度基于与来自用户的查询匹配的个性化网页排名算法执行搜索。

本发明的另一目的在于使得能够对于其中链接不具有方向的网络或者对于其中链接具有方向或权重的网络进行允许聚类之间的交叠的聚类（聚类划分）。

根据本发明的第一方面，提供了一种搜索方法，该搜索方法包括：获取学习数据；对于聚类划分使用学习数据执行机器学习，在所述聚类划分中，将由多个节点和将多个节点彼此连接的多个链接形成的网络上的经由从节点到节点的链接转移的马尔可夫链划分为多个聚类，各个聚类由有偏马尔可夫链表示，并且计算表示学习结果的各个聚类的各个有偏马尔可夫链的稳态以获得并且存储表示网络上的各个节点对于学习结果的各个聚类的归属度的归属度信息；从用户接收搜索条件；基于与从用户接收的搜索条件匹配的节点组和归属度信息提取适合该搜索条件的聚类；切出由属于通过聚类提取步骤提取的聚类的节点组形成的部分网络；以及对于切出的部分网络执行以与搜索条件匹配的节点组作为种向量的个性化排名算法的操作来计算部分网络上的各个节点的重要度，并且基于计算出的重要度正常与搜索条件相关的针对用户的搜索结果。

根据本发明的第二方面，在根据第一方面的搜索方法中，学习数据可以是与针对各个用户在过去由搜索条件接收步骤从用户接收的各个搜索条件相关的搜索结果的数据，存储步骤可以针对各个用户使用与对应的用户相关的过去的搜索结果数据针对各个用户执行关于聚类划分的机器学习，可以按照作为学习结果的针对各个用户的聚类划分，针对各个用户求出并且存储归属度信息，并且聚类提取步骤可以使用与作为搜索条件的发布源的用户相应的归属度信息提取适合于搜索条件的聚类。

根据本发明的第三方面，提供了一种搜索装置，该搜索装置包括：学习数据获取单元，其获取学习数据；存储器单元，其对于聚类划分使用学习数据执行机器学习，在所述聚类划分中，将由多个节点和将多个节点彼此连接的多个链接形成的网络上的经由从节点到节点的链接转移的马尔可夫链划分为多个聚类，各个聚类由有偏马尔可夫链表示，并且计算表示学习结果的各个聚类的各个有偏马尔可夫链的稳态以获得并且存储表示网络上的各个节点对于学习结果的各个聚类的归属度的归属度信息；搜索条件接收单元，其从用户接收搜索条件；聚类提取单元，其基于与从用户接收的搜索条件匹配的节点组和归属度信息提取适合该搜索条件的聚类；部分网络切出单元，其从网络切出由属于由聚类提取单元提取的聚类的节点组形成的部分网络；以及重要度计算单元，其对于切出的部分网络执行以与搜索条件匹配的节点组作为种向量的个性化网页排名算法的操作来计算部分网络上的各个节点的重要度，并且基于计算出的重要度生成与搜索条件相关的针对用户的搜索结果。

根据本发明的第四方面，提供了一种搜索方法，其包括：获取学习数据；对于聚类划分使用学习数据执行机器学习，在所述聚类划分中，将由多个节点和将多个节点彼此连接的多个链接形成的网络上的经由从节点到节点的链接转移的马尔可夫链划分为多个聚类，各个聚类由有偏马尔可夫链表示，并且计算表示学习结果的各个聚类的各个有偏马尔可夫链的稳态以获得并且存储表示网络上的各个节点对于学习结果的各个聚类的归属度的归属度信息；从用户接收搜索条件；基于与从用户接收的搜索条件匹配的节点组和归属度信息提取适合该搜索条件的聚类；从网络切出由属于所提取的聚类的节点组形成的部分网络；以及以及对于切出的部分网络执行以与搜索条件匹配的节点组作为种向量的个性化排名算法的操作来计算部分网络上的各个节点的重要度，并且基于计算出的重要度正常与搜索条件相关的针对用户的搜索结果。

根据本发明的第五方面，提供了一种聚类装置，该聚类装置包括：计算单元，其对于活性向量，使用表示该活性向量的随机动态的各个聚类的关系式，根据前一时刻的活性向量计算当前时刻的活性向量，所述活性向量具有在同一时刻在网络的各个节点上存在在网络上沿着链接从节点转移到节点的代表的概率作为分量；以及指定单元，其通过由计算单元针对各个聚类随着时间的递进迭代地计算关于聚类的关系式来顺序地更新关系式中包括的参数，并且当由计算单元对于关系式的计算满足结束条件时，基于所述参数指定聚类，其中，用于各聚类的所述关系式被设置为：当前时刻的活性向量遵循预先定义的概率分布，作为观察结果获得学习数据的情况下的活性向量的似然性最大，所述预先定义的概率分布以根据基于网络的链接结构的马尔可夫链的转移概率矩阵的前一时刻的活性向量的转移结果为中心。

根据本发明的第一至第三方面，能够以高于不使用本发明的情况的速度基于与来自用户的查询匹配的个性化网页排名算法执行搜索。

根据本发明的第二方面，能够获得与用户的过去搜索的趋势匹配的搜索结果。

根据本发明的第四或第五方面，对于其中链接具有方向或权重的网络使得能够进行允许聚类之间的交叠的聚类（聚类划分）。

附图说明

将基于附图详细描述本发明的示例性实施方式，其中：

图1是示出马尔可夫链的聚类处理的过程的示例的流程图；

图2是示出使用聚类结果的搜索处理的过程的示例的流程图；

图3是示出根据本发明的示例性实施方式的搜索系统的构造的图；以及

图4是示出马尔可夫链的聚类处理的过程的另一示例的流程图。

具体实施方式

基本理念

PPR（个性化网页排名）算法可以不实时地获得节点的重要度（网页排名值）或排名的原因在于对于作为对象的整个大规模网络执行马尔可夫链的计算。这花费了大量的时间来对于互联网上的所有网页（www：万维网）执行这样的计算。

然而，为了获得与用户查询（搜索请求）相关的节点重要度或排名，仅使用与用户查询相关的部分而不是整个原始网络来执行马尔可夫链计算就将是足够的。例如，在通过执行马尔可夫链计算来获得与关于药物开发的查询相关的节点重要度或排名的情况下，马尔可夫链的范围（代表在网络上漫步）的范围包括关于医学科学、药物学、生物化学等等的区域，但是可以不要求包括例如关于航空工程、艺术和考古学的区域。

因此，从网络适当地切出与用户查询相关的“部分”，执行PPR算法的马尔可夫链计算以限于所述“部分”，并且因此，可以在比对于整个网络执行计算的情况更短的时间内获得与用户查询相关的节点重要度和排名。

因此，在示例性实施方式中，整个网络中的马尔可夫链被聚类，并且从由此产生的多个聚类提取与用户查询相关的聚类。另外，仅对于对应于原始网络的提取的聚类的部分网络执行利用PPR算法的马尔可夫链计算。

注意的是，本示例性实施方式中执行的聚类不是网络的节点和链接的静态结构的聚类，而是其中代表在网络上的节点之间的链接上随机漫步的动态马尔可夫链处理的聚类。

示例性实施方式中的聚类是基于关于在网络上漫步的代表的下述模拟。也就是说，典型的网页排名算法中不具有到种节点组的跳跃的马尔可夫链被建模为没有特定目的在整个网络上漫步的代表的移动。另一方面，在网络上仅在特定方向上漫步的代表可以被视为想要搜索对应于该方向的特定领域或者主题。这被称为有意的马尔可夫链。

因此，在示例性实施方式中，整个网络中的马尔可夫链在结构上处于下述形式，其中多个有意的马尔可夫链被基于机器学习的理论而进行聚类。使用诸如各个用户的过去的搜索历史的各个用户的信息或者诸如与用户无关的信息的基于网络的结构等等的现有信息预先执行该聚类（即，在在线的响应于用户查询的搜索）。虽然聚类有时由于对于整个网络执行马尔可夫链的计算而需要一些时间，但是在各搜索之前执行该聚类（例如，一周一次），并且因此，在在线搜索处理的场景中没有出现为此需要的时间。

另外，在示例性实施方式中，使用这样的在先聚类结果来约束处理用户查询时的计算范围。换言之，获得对应于用户查询的种节点组对于各个聚类的归属度，并且根据获得的归属度选择与用户查询相关的一个或多个聚类。此外，从原始网络提取属于所选择的该一个或多个聚类的节点作为部分网络。通过使用部分网络上的种节点组来执行PPR算法，在比在整个网络上执行PPR算法的情况更短的时间内计算与种节点组相关的节点重要度或排名处理。

介绍：基于贝叶斯框架的PPR算法的公式

下面，通过引入表示下式1的概率分布的下式2来获得概率分布以基于贝叶斯框架估计下述式3。

[式1]

$\stackrel{\→}{p}={(p_1,\·\·\·,p_N)}^T$

[式2]

$P\left(\stackrel{\→}{p}\right)$

[式3]

$\stackrel{\→}{p}$

这里，N是目标网络中包括的节点的总数。下面，为了防止混淆，下述式4被称为“活性向量”p，并且仅对于下述式5使用表述“概率”。

[式4]

$\stackrel{\→}{p}$

[式5]

P

活性向量p的各个分量p_n（其中，n是1至N的整数）是具有识别编号n的节点（下面称为“节点n”）处存在代表的概率（这被称为节点n的“活性”）。换言之，活性向量p表示特定时间在网络上的各个节点n处存在代表的概率（即，“活性”）的分布。

假设代表跟随网络上的链接并且随着时间的流逝随机漫步，则活性向量p随着时间的流逝而发展。假设活性向量p的随机动态满足马尔可夫性质。换言之，如下地表示活性向量p的时间系列。

[式6]

$\{\stackrel{\→}{p}\left(0\right),\·\·\·,\stackrel{\→}{p}\left(t\right)\}$

如下地表示时间系列的概率（发生这样的时间系列的概率）。

[式7]

$P(\stackrel{\→}{p}\left(t\right),\·\·\·,\stackrel{\→}{p}\left(0\right))=P\left(\stackrel{\→}{p}\left(0\right)\right){\mathrm{\Π}}_{t^{\′}=1}^{t}P\left(\stackrel{\→}{p}\left(t^{\′}\right)\right|\stackrel{\→}{p}(t^{\′}-1))$

这里，t和t’表示离散时刻，其中0为开始点。

将更详细地描述随机动态。时刻t处的活性向量p（即，下述式8）假设遵循具有下述式9作为中心的高斯分布。

[式8]

$\stackrel{\→}{p}\left(t\right)$

[式9]

$T\stackrel{\→}{p}(t-1)$

[式10]

T＝(T_nm)

这里，式10是满足下述式11和下述式12的马尔可夫链的转移概率矩阵（m为1至N的整数）。

[式11]

T_nm≥0

[式12]

∑_nT_nm＝1

转移概率矩阵以矩阵的形式表示代表在网络中跟随从节点m到节点n的链接并且进行转移的概率。例如，如果代表以相同概率选择节点中的一个或多个链接，则转移概率矩阵仅与网络的结构相关，即，仅与节点如何彼此链接相关。在该情况下，根据表示网络的结构的相邻矩阵的信息计算转移概率矩阵。另外，转移概率矩阵不必限于此。替代地，如本申请人的日本专利申请No.2011-179512中所公开的，可以使用其中转移概率不仅与网络结构相关而且与链接目的地的节点的重要度相关的转移概率矩阵。

在遵循高斯分布的上述假设（即，假设节点之间的转移不遵循转移概率而是发生根据高斯分布的误差）的情况下，下述关系式成立。

[式13]

$P\left(\stackrel{\→}{p}\left(t\right)\right|\stackrel{\→}{p}(t-1))=N\left(\stackrel{\→}{p}\left(t\right)\right|T\stackrel{\→}{p}(t-1),\mathrm{\α})~\exp \{-\frac{\mathrm{\α}}{2}{[\stackrel{\→}{p}\left(t\right)-T\stackrel{\→}{p}(t-1)]}^T[\stackrel{\→}{p}\left(t\right)-T\stackrel{\→}{p}(t-1)\left]\right\}---\left(1.1\right)$

等式中的“N()”表示高斯分布（正态分布），并且α表示分布的方差。符号“～”表示左侧和右侧（除了归一化常数之外的部分都相同）。

由该等式表示的概率P是有条件的，如式14中所示。

[式14]

$\stackrel{\→}{p}(t-1)$

然而，在没有包括关于证据的信息的意义上，其可以被视为下述式15的事先概率。

[式15]

$\stackrel{\→}{p}\left(t\right)$

另外，在方差α接近无穷的极限（换言之，温度Tα=1/α接近0的极限）处，如下述式16中所示地获得典型的“确定性的”马尔可夫链。

[式16]

$\stackrel{\→}{p}\left(t\right)=T\stackrel{\→}{p}(t-1)$

这里，假设由于噪声（即，任何不确定因素）导致在时刻t处的活性向量p被观察为处于如下式17中所示的劣化状态中。

[式17]

$\stackrel{\→}{\mathrm{\τ}}$

如果劣化被表示为高斯分布，则如下。

[式18]

$P\left(\stackrel{\→}{\mathrm{\τ}}\right|\stackrel{\→}{p}\left(t\right))=N\left(\stackrel{\→}{\mathrm{\τ}}\right|\stackrel{\→}{p}\left(t\right),\mathrm{\β})~\exp \{-\frac{\mathrm{\β}}{2}{[\stackrel{\→}{\mathrm{\τ}}-\stackrel{\→}{p}\left(t\right)]}^T[\stackrel{\→}{\mathrm{\τ}}-\stackrel{\→}{p}\left(t\right)\left]\right\}---\left(1.2\right)$

这里，β是高斯分布的方差。这是时刻t处的活性向量p的似然性函数。

根据贝叶斯公式，由下面的等式表示时刻t处的活性向量p的事后概率。

[式19]

$P\left(\stackrel{\→}{p}\left(t\right)\right|\stackrel{\→}{p}(t-1),\stackrel{\→}{\mathrm{\τ}})~P\left(\stackrel{\→}{p}\left(t\right)\right|\stackrel{\→}{p}(t-1))P\left(\stackrel{\→}{\mathrm{\τ}}\right|\stackrel{\→}{p}\left(t\right))---\left(1.3\right)$

另外，通过使用等式（1.1）和（1.2），获得下式20。

[式20]

$P\left(\stackrel{\→}{p}\left(t\right)\right|\stackrel{\→}{p}(t-1))P\left(\stackrel{\→}{\mathrm{\τ}}\right|\stackrel{\→}{p}\left(t\right))~\exp \{-\frac{\mathrm{\α}}{2}{[\stackrel{\→}{p}\left(t\right)-T\stackrel{\→}{p}(t-1)]}^T[\stackrel{\→}{p}\left(t\right)-T\stackrel{\→}{p}(t-1)\left]\right\}\exp \{-\frac{\mathrm{\β}}{2}{[\stackrel{\→}{p}\left(t\right)-\stackrel{\→}{\mathrm{\τ}}]}^T[\stackrel{\→}{p}\left(t\right)-\stackrel{\→}{\mathrm{\τ}}\left]\right\}$

$=\exp \{-\frac{\mathrm{\α}}{2}{[\stackrel{\→}{p}\left(t\right)-\stackrel{\→}{I}]}^T[\stackrel{\→}{p}\left(t\right)-\stackrel{\→}{I}]-\frac{\mathrm{\β}}{2}{[\stackrel{\→}{p}\left(t\right)-\stackrel{\→}{\mathrm{\τ}}]}^T[\stackrel{\→}{p}\left(t\right)-\stackrel{\→}{\mathrm{\τ}}\left]\right\}(\stackrel{\→}{I}(t-1)\≡T\stackrel{\→}{p}(t-1))$

$\begin{array}{c}\·\·\·\\ =\exp \{-\frac{\mathrm{\α}+\mathrm{\β}}{2}{(\stackrel{\→}{p}\left(t\right)-\frac{\mathrm{\α}}{\mathrm{\α}+\mathrm{\β}}\stackrel{\→}{I}-\frac{\mathrm{\β}}{\mathrm{\α}+\mathrm{\β}}\stackrel{\→}{\mathrm{\τ}})}^T(\stackrel{\→}{p}\left(t\right)-\frac{\mathrm{\α}}{\mathrm{\α}+\mathrm{\β}}\stackrel{\→}{I}-\frac{\mathrm{\β}}{\mathrm{\α}+\mathrm{\β}}\stackrel{\→}{\mathrm{\τ}})-\frac{\mathrm{\α\β}}{2(\mathrm{\α}+\mathrm{\β})}({\stackrel{\→}{I}}^T-{\stackrel{\→}{\mathrm{\τ}}}^T)(\stackrel{\→}{I}-\stackrel{\→}{\mathrm{\τ}})\}\end{array}$

该等式再现了已知的事实，即高斯分布×高斯分布获得高斯分布。

通过估计MAP（最大事后概率）来设置时刻t处的活性向量p。

[式21]

$\arg \underset{\stackrel{\→}{p}\left(t\right)}{\max }P\left(\stackrel{\→}{p}\left(t\right)\right|\stackrel{\→}{p}(t-1),\stackrel{\→}{\mathrm{\τ}}):$

在该表达式中，如果β/(α+β)被替换为r，并且α/(α+β)被替换为（1-r），则获得下述等式。

[式22]

$\stackrel{\·}{\·\·}\stackrel{\→}{p}\left(t\right)-(1-r)T\stackrel{\→}{p}(t-1)-r\stackrel{\→}{\mathrm{\τ}}=0---\left(1.4\right)$

等式（1.4）是PPR算法本身的等式。这里，时刻（t-1）处的活性向量p（即，下面的式23）是有条件的概率的“条件”，并且要求预先给出。

[式23]

$\stackrel{\→}{p}(t-1)$

然而，假设稳态，则下式24成立。

[式24]

$\stackrel{\→}{p}\left(t\right)=\stackrel{\→}{p}(t-1)={\stackrel{\→}{p}}_s$

因此，可以通过重复地计算等式（1.4）来获得下式25。

[式25]

${\stackrel{\→}{p}}_s=\underset{t\→\∞}{\lim }\stackrel{\→}{p}\left(t\right)$

该计算与PPR算法的计算相同。

在上述描述中，由等式（1.1）表示的事先概率被解释为“在网络中随机漫步的随机漫步者”的模型。根据贝叶斯公式，还能够假设“有目的地搜索网络的随机漫步者”，即，想要搜索特定区域（例如，与医学科学相关）。准备表示特定区域（领域）的诸如下式26的种向量，并且使用下式27来设置事先概率。

[式26]

$\stackrel{\→}{s}={(s_1,\·\·\·,s_N)}^T$ $({\mathrm{\Σ}}_{n=1}^N{s}_n=1)$

[式27]

$P\left(\stackrel{\→}{p}\left(t\right)\right|\stackrel{\→}{p}(t-1))~\exp \{-\frac{\mathrm{\α}}{2}{[\stackrel{\→}{p}\left(t\right)-(1-q)T\stackrel{\→}{p}(t-1)-q\stackrel{\→}{s}]}^T[\stackrel{\→}{p}\left(t\right)-(1-q)T\stackrel{\→}{p}(t-1)-q\stackrel{\→}{s}\left]\right\}.$

换言之，假设代表中比例q转移到由种向量表示的状态，并且剩余的比例（1-q）根据转移矩阵从前一时刻（t-1）的状态开始变化。这时，对应于等式（1.4）的等式变为如下。

[式28]

$\stackrel{\→}{p}\left(t\right)-(1-r)\{(1-q)T\stackrel{\→}{p}(t-1)+q\stackrel{\→}{s}\}-r\stackrel{\→}{\mathrm{\τ}}=\stackrel{\→}{p}\left(t\right)-(1-r)(1-q)T\stackrel{\→}{p}(t-1)-(1-r)q\stackrel{\→}{s}-r\stackrel{\→}{\mathrm{\τ}}=0$

另外，在存在两个或更多意向区域的情况下，混合地处理高斯分布，但是可以以相同的方式来进行处理。

马尔可夫链的聚类

通过引入对于上述PPR算法的贝叶斯公式的机器学习的正统方法（潜在变量方法），将在下面描述能够导出用于对马尔可夫链进行聚类的算法的情况。

这里讨论的马尔可夫链聚类被如下地定义。

换言之，存在满足连接性的网络，并且考虑整个网络中的马尔可夫链（下述等式）。

[式29]

$\stackrel{\→}{p}\left(t\right)=T\stackrel{\→}{p}(t-1)---\left(a\right)$

这里，各聚类被定义为下述有偏马尔可夫链。

[式30]

$\stackrel{\→}{p}\left(t\right)=(1-q_k)T\stackrel{\→}{p}(t-1)+q_k{\stackrel{\→}{s}}^{\left(k\right)}(0\≤q_k\≤1,k=1,\·\·\·,K)---\left(b\right)$

这里，下述等式31示出了表示第k个聚类的“芯”的N维向量。

[式31]

${\stackrel{\→}{s}}^{\left(k\right)}={(s_1^{\left(k\right)},\·\·\·,s_N^{\left(k\right)})}^T$

[式32]

$0\≤s_n^{\left(k\right)}\≤1,$ ${\mathrm{\Σ}}_{n=1}^N{s}_n^{\left(k\right)}=1$

这里，k是1至K的整数（其中，K是聚类的总数）。此外，q_k是表示从聚类k的芯（式33）的扩大的参数，并且q_k越靠近0（越接近1），扩大越大（越小）。

[式33]

${\stackrel{\→}{s}}^{\left(k\right)}$

假设，与马尔可夫链（a）相关地，如下地给出由D个数据点形成的观察数据。

[式34]

$\{{\stackrel{\→}{\mathrm{\τ}}}^{\left(1\right)},\·\·\·,{\stackrel{\→}{\mathrm{\τ}}}^{\left(D\right)}\}$

这里，式35示出了表示数据点d的N维向量。

[式35]

${\stackrel{\→}{\mathrm{\τ}}}^{\left(d\right)}={({\mathrm{\τ}}_1^{\left(d\right)},\·\·\·,{\mathrm{\τ}}_N^{\left(d\right)})}^T$

[式36]

$0\≤{\mathrm{\τ}}_n^{\left(d\right)}\≤1,$ ${\mathrm{\Σ}}_{n=1}^N{\mathrm{\τ}}_n^{\left(d\right)}=1$

根据观察数据基于下面描述的框架来估计聚类的芯和扩大。以该方式，马尔可夫链（a）被聚类为表示各聚类的多个有偏马尔可夫链（b）。换言之，通过使用观察数据中包括的D个数据点的机器学习来获得适合于数据点的聚类划分。

然而，作为准备观察数据（即，学习数据）（式37）的方法，可以考虑下面所述的。

[式37]

$\{{\stackrel{\→}{\mathrm{\τ}}}^{\left(1\right)},\·\·\·,{\stackrel{\→}{\mathrm{\τ}}}^{\left(D\right)}\}$

（1）从用户的搜索历史获得观察数据。

例如，对应于过去来自用户的D个搜索查询（用户查询）的D个搜索结果被设置为形成观察数据的各个数据点d处的种向量（式38）。

[式38]

${\stackrel{\→}{\mathrm{\τ}}}^{\left(d\right)}$

例如可以通过考虑网络上的N个节点中作为用户查询的搜索结果获得的节点的值被设置为正值（例如，“1”）并且其它节点的值被设置为“0”并且通过如下地对向量进行归一化使得分量的总和变为1来获得种向量。

[式39]

${\mathrm{\Σ}}_{n=1}^N{\mathrm{\τ}}_n^{\left(d\right)}=1$

“作为搜索结果获得的节点”可以是与由查询指示的搜索条件匹配的节点（例如，对于搜索条件的适合度等于或大于阈值的节点、添加有网页排名值（或PPR值）的适合度等于或大于阈值的节点、适合度较高的预定数目的节点等等），或者可以是由用户从与搜索条件匹配的节点组中实际选择的节点。如果考虑WWW作为网络，则各个网页是节点，由用户发送给搜索站点的搜索条件（例如，关键字的逻辑表达式）对应于用户查询，与搜索条件匹配的网页或者网页中用户观看的网页被设置为“1”并且其它网页被设置为“0”的向量，并且通过对向量进行归一化使得分量的总和变为1来获得种向量。D个种向量的组用作用于学习的观察数据。

另外，这里提及的“用户”可以是个人或者由人形成的组。在任何情况下，能够通过使用“用户”在过去的搜索历史对网络上的聚类的机器学习来获得为该“用户”个性化的聚类划分结果。

（2）网络上的各个节点的链接状态用作观察数据。

例如，考虑下述N维节点，其中对于各个节点，对应于节点中链接的链接目的地的节点的分量被设置为正值（例如，“1”），并且其它节点的分量被设置为“0”，并且通过对该N维向量进行归一化使得分量的总和变为1而获得的向量用作种向量。在该情况下，数据点的数目D与网络上的节点的数目N相同。

（3）通过网络上的随机漫步的模拟生成观察数据。

例如，考虑下述N维向量，其中执行网络上的随机漫步的模拟，对应于代表（随机漫步者）落入连续的L步（代表从一个节点移动到另一节点作为一步）之间的L个节点的分量被设置为正值（例如，“1”），并且对应于其它节点的分量被设置为“0”，并且通过对该N维向量进行归一化使得分量的总和为1获得的向量用作种向量。例如，通过模拟产生的代表的移动轨迹（节点列）可以被切割为D个种向量。

当使用上述方法（1）准备观察数据时，马尔可夫链的聚类等效于对用户查询进行聚类。例如，通过使用对应于从特定组（例如，诸如公司的系统）发出的查询组的观察数据，能够获得反映该组的兴趣等等的聚类结果。另外，当使用方法（2）或（3）准备观察数据时，能够获得整个网络上的马尔可夫链被分解为有偏马尔可夫链的哪种组合。

下面，将描述关于使用这样的观察数据对网络上的马尔可夫链聚类的机器学习。

考虑下述高斯分布。

[式40]

$N\left(\stackrel{\→}{p}\left(t\right)\right|{\stackrel{\→}{I}}^{\left(k\right)}(t-1),\mathrm{\α})={\left(\frac{\mathrm{\α}}{2\mathrm{\π}}\right)}^{N/2}\exp \{-\frac{\mathrm{\α}}{2}{[\stackrel{\→}{p}\left(t\right)-{\stackrel{\→}{I}}^{\left(k\right)}\left(\stackrel{\→}{p}(t-1)\right)]}^T[\stackrel{\→}{p}\left(t\right)-{\stackrel{\→}{I}}^{\left(k\right)}\left(\stackrel{\→}{p}(t-1)\right)\left]\right\}---\left(2.1\right)$

这里，给出下述。

[式41]

${\stackrel{\→}{I}}^{\left(k\right)}\left(\stackrel{\→}{p}(t-1)\right)=(1-q_k)T\stackrel{\→}{p}(t-1)+q_k{\stackrel{\→}{s}}^{\left(k\right)}=T\stackrel{\→}{p}(t-1)+q_k({\stackrel{\→}{s}}^{\left(k\right)}-T\stackrel{\→}{p}(t-1))$

这里，如下地定义潜在变量。

[式42]

$\stackrel{\→}{z}$

[式43]

z_k∈{0，1}

并且

${\mathrm{\Σ}}_{k=1}^K{z}_k=1---\left(2.2a\right)$

这里，z_k是潜在变量的第k个分量（其中k是1至K的整数）。另外，z_k=1表示聚类k被选择。潜在变量具有与将通过聚类获得的聚类（换言之，有偏马尔可夫链）的总数相同的数目的分量。等式（2.2a）表示潜在变量的K个分量中的任一个被设置为“1”，并且其它被设置为“0”。

这里，分量z_k为“1”的概率被设置为π_k。

[式44]

P(z_k＝1)＝π_k    (2.2b)

这里，0≤π_k≤1并且 ${\mathrm{\Σ}}_{k=1}^K{\mathrm{\π}}_k=1.$

该概率是聚类k被选择的概率。

[式45]

$P\left(\stackrel{\→}{z}\right)={\mathrm{\Π}}_{k=1}^K{{\mathrm{\π}}_k}^{z_k}---\left(2.3\right)$

[式46]

$P\left(\stackrel{\→}{p}\left(t\right)\right|z_k=1)=N\left(\stackrel{\→}{p}\left(t\right)\right|{\stackrel{\→}{I}}^{\left(k\right)}\left(\stackrel{\→}{p}(t-1)\right),\mathrm{\α}).---\left(2.4\right)$

$P\left(\stackrel{\→}{p}\left(t\right)\right|\stackrel{\→}{z})={\mathrm{\Π}}_{k=1}^{K}N{\left(\stackrel{\→}{p}\left(t\right)\right|{\stackrel{\→}{I}}^{\left(k\right)}\left(\stackrel{\→}{p}(t-1)\right),\mathrm{\α})}^{z_k}.---\left(2.5\right)$

从概率的乘法规则获得下述等式。

[式47]

$P(\stackrel{\→}{\mathrm{\τ}},\stackrel{\→}{p}\left(t\right)|\stackrel{\→}{z})=N\left(\stackrel{\→}{\mathrm{\τ}}\right|\stackrel{\→}{p}\left(t\right),\mathrm{\β}){\mathrm{\Π}}_{k=1}^{K}N{\left(\stackrel{\→}{p}\left(t\right)\right|\stackrel{\→}{I}\left(\stackrel{\→}{p}(t-1)\right),\mathrm{\α})}^{z_k}.---\left(2.6\right)$

这里，向量τ是上述观察数据的分量（种向量）。因此，如下地表示将被最大化的似然性。

[式48]

$P(\stackrel{\→}{\mathrm{\τ}},\stackrel{\→}{p}\left(t\right))={\mathrm{\Σ}}_{\stackrel{\→}{z}}P\left(\stackrel{\→}{z}\right)P(\stackrel{\→}{\mathrm{\τ}},\stackrel{\→}{p}\left(t\right)|\stackrel{\→}{z})=N\left(\stackrel{\→}{\mathrm{\τ}}\right|\stackrel{\→}{p}\left(t\right),\mathrm{\β}){\mathrm{\Σ}}_{k=1}^K{\mathrm{\π}}_{k}N\left(\stackrel{\→}{p}\left(t\right)\right|{\stackrel{\→}{I}}^{\left(k\right)}\left(\stackrel{\→}{p}(t-1)\right),\mathrm{\α})---\left(2.7\right)$

通过对等式（2.7）的最左侧和最右侧求对数，获得下式。

[式49]

$\ln P(\stackrel{\→}{\mathrm{\τ}},\stackrel{\→}{p}\left(t\right))=\ln N\left(\stackrel{\→}{\mathrm{\τ}}\right|\stackrel{\→}{p}\left(t\right),\mathrm{\β})+\ln {\mathrm{\Σ}}_{k=1}^K{\mathrm{\π}}_{k}N\left(\stackrel{\→}{p}\left(t\right)\right|{\stackrel{\→}{I}}^{\left(k\right)}\left(\stackrel{\→}{p}(t-1)\right),\mathrm{\α}).---\left(2.8\right)$

在下面描述的示例中，使用EM（期望和最大化）算法作为用于机器学习的算法。然而，EM算法仅是可以采用的示例，并且可以使用诸如k均值方法的其它方法。

在EM算法中，首先，在E步骤，计算由下式定义的对于聚类k的归属度γ(z_k)。

[式50]

$\mathrm{\γ}\left(z_k\right)\≡p(z_k=1|\stackrel{\→}{\mathrm{\τ}},\stackrel{\→}{p}\left(t\right))=\frac{{\mathrm{\π}}_{k}N\left(\stackrel{\→}{p}\left(t\right)\right|{\stackrel{\→}{I}}^{\left(k\right)}\left(\stackrel{\→}{p}(t-1)\right),\mathrm{\α})}{{\mathrm{\Σ}}_{l=1}^K{\mathrm{\π}}_{l}N\left(\stackrel{\→}{p}\left(t\right)\right|{\stackrel{\→}{I}}^{\left(l\right)}\left(\stackrel{\→}{p}(t-1)\right),\mathrm{\α})}.\left(2.9\right)$

通过将贝叶斯理论应用于等式（2.9）的中项来获得最左侧。另外，这里，给出下述。

[式51]

${\mathrm{\Σ}}_{k=1}^K\mathrm{\γ}\left(z_k\right)=1.$

将描述接下来的M步骤。

[式52]

$\stackrel{\→}{p}\left(t\right)$

通过关于式52对等式（2.8）求微分获得的结果被设置为0（事后概率的最大值处的等式（2.8）的微分为0），并且从而可以获得下式。

[式53]

$\stackrel{\→}{p}\left(t\right)=\frac{\mathrm{\β}}{\mathrm{\α}+\mathrm{\β}}\mathrm{\τ}+\frac{\mathrm{\α}}{\mathrm{\α}+\mathrm{\β}}{\mathrm{\Σ}}_{k=1}^K\mathrm{\γ}\left(z_k\right){\stackrel{\→}{I}}^{\left(k\right)}\left(\stackrel{\→}{p}(t-1)\right)---\left(2.10\right)$

这里，给出下式。

[式54]

${\stackrel{\→}{I}}^{\left(k\right)}\left(\stackrel{\→}{p}(t-1)\right)=(1-q_k)T\stackrel{\→}{p}(t-1)+q_k{\stackrel{\→}{s}}^{\left(k\right)}=T\stackrel{\→}{p}(t-1)+q_k({\stackrel{\→}{s}}^{\left(k\right)}-T\stackrel{\→}{p}(t-1))$

如下地获得等式（2.10）。

[式55]

换言之，通过执行计算使得获得等式（2.8）的微分并且将其设置为0来获得等式（2.10）。等式（2.10）表示马尔可夫链。

这里，假设如下地给出具有D个数据点的观察数据（学习数据）。

[式56]

$\{{\stackrel{\→}{\mathrm{\τ}}}^{\left(1\right)},\·\·\·,{\stackrel{\→}{\mathrm{\τ}}}^{\left(D\right)}\}$

另外，引入通过由等式（2.8）表示的对数概率对于D个数据点的求和获得的结果作为评价值Q。也就是说，由下面的等式表示评价值Q。

[式57]

${\mathrm{\Σ}}_{d=1}^D\ln P({\stackrel{\→}{\mathrm{\τ}}}^{\left(d\right)},{\stackrel{\→}{p}}^d\left(t\right))={\mathrm{\Σ}}_{d=1}^D\ln N\left({\stackrel{\→}{\mathrm{\τ}}}^{\left(d\right)}\right|{\stackrel{\→}{p}}^{\left(d\right)}\left(t\right),\mathrm{\β})+{\mathrm{\Σ}}_{d=1}^D\ln {\mathrm{\Σ}}_{k=1}^K{\mathrm{\π}}_{k}N\left({\stackrel{\→}{p}}^{\left(d\right)}\left(t\right)\right|{\stackrel{\→}{I}}^{\left(k\right)}\left({\stackrel{\→}{p}}^{\left(d\right)}(t-1)\right),\mathrm{\α})\≡Q---\left(2.11\right)$

[式58]

${\stackrel{\→}{s}}_k\left(t\right)$

通过关于式58对于等式（2.11）的最左侧和中间求微分获得的结果被设置为0，并且从而获得下面的等式（2.12）。

[式59]

${\stackrel{\→}{s}}^{\left(k\right)}=\frac{{\mathrm{\Σ}}_{d=1}^D\mathrm{\γ}\left(z_{\mathrm{dk}}\right)[{\stackrel{\→}{p}}^{\left(d\right)}\left(t\right)-(1-q_k)T{\stackrel{\→}{p}}^{\left(d\right)}(t-1)]}{q_k{D}_k}---\left(2.12\right)$

这里，

$\mathrm{\γ}\left(z_{\mathrm{dk}}\right)=p(z_{\mathrm{dk}}=1|{\stackrel{\→}{\mathrm{\τ}}}^{\left(d\right)},{\stackrel{\→}{p}}^{\left(d\right)}\left(t\right))=\frac{{\mathrm{\π}}_{k}N\left({\stackrel{\→}{p}}^{\left(d\right)}\left(t\right)\right|{\stackrel{\→}{I}}^{\left(k\right)}\left({\stackrel{\→}{p}}^{\left(d\right)}(t-1)\right),\mathrm{\α})}{{\mathrm{\Σ}}_{l=1}^K{\mathrm{\π}}_{l}N\left({\stackrel{\→}{p}}^{\left(d\right)}\left(t\right)\right|{\stackrel{\→}{I}}^{\left(l\right)}\left({\stackrel{\→}{p}}^{\left(d\right)}(t-1)\right),\mathrm{\α})}---\left(2.13\right)$

并且

$D_k={\mathrm{\Σ}}_{d=1}^D\mathrm{\γ}\left(z_{\mathrm{dk}}\right)---\left(2.14\right)$

此外，等式（2.11）的关于q_k的微分被设置为0，并且从而获得下面的等式（2.15）。

[式60]

$q_k=\frac{{\mathrm{\Σ}}_{d=1}^D\mathrm{\γ}\left(z_{\mathrm{dk}}\right)[{({\stackrel{\→}{p}}^{\left(d\right)}\left(t\right)-T{\stackrel{\→}{p}}^{\left(d\right)}(t-1))}^T({\stackrel{\→}{s}}^{\left(k\right)}-T{\stackrel{\→}{p}}^{\left(d\right)}(t-1))+{({\stackrel{\→}{s}}^{\left(k\right)}-T{\stackrel{\→}{p}}^{\left(d\right)}(t-1))}^T({\stackrel{\→}{p}}^{\left(d\right)}\left(t\right)-T{\stackrel{\→}{p}}^{\left(d\right)}(t-1))]}{2{\mathrm{\Σ}}_{d=1}^D\mathrm{\γ}\left(z_{\mathrm{dk}}\right){({\stackrel{\→}{s}}^{\left(k\right)}-T{\stackrel{\→}{p}}^{\left(d\right)}(t-1))}^T({\stackrel{\→}{s}}^{\left(k\right)}-T{\stackrel{\→}{p}}^{\left(d\right)}(t-1))}.---\left(2.15\right)$

另外，通过将同一项添加到等式（2.11）的最左侧和中项获得下面的等式（2.16）。

[式61]

${\mathrm{\Σ}}_d\ln P({\stackrel{\→}{\mathrm{\τ}}}^{\left(d\right)},{\stackrel{\→}{p}}^{\left(d\right)}\left(t\right))+\mathrm{\λ}({\mathrm{\Σ}}_{k=1}^K{\mathrm{\π}}_k-1)$ $\left(2.16\right)$

$={\mathrm{\Σ}}_d\ln N\left({\stackrel{\→}{\mathrm{\τ}}}^{\left(d\right)}\right|{\stackrel{\→}{p}}^{\left(d\right)}\left(t\right),\mathrm{\β})+{\mathrm{\Σ}}_d\ln {\mathrm{\Σ}}_{k=1}^K{\mathrm{\π}}_{k}N\left({\stackrel{\→}{p}}^{\left(d\right)}\left(t\right)\right|{\stackrel{\→}{I}}^{\left(k\right)}\left({\stackrel{\→}{p}}^{\left(d\right)}(t-1)\right),\mathrm{\α})+\mathrm{\λ}({\mathrm{\Σ}}_{k=1}^K{\mathrm{\π}}_k-1)$

等式（2.16）的两侧被关于π_k进行微分，微分结果的值被设置为0，并且从而获得下面的等式（2.17）。

[式62]

${\mathrm{\π}}_k=\frac{D_k}{D}---\left(2.17\right)$

通过将应用了“Christopher M.Bishop编写的Pattern Recognition And MachineLearning(Information Science and Statistics)”（2006/8/17，由Springer出版）的第9章中公开的方法的正统EM算法应用于网络上的马尔可夫链的聚类来进行上述推导。

聚类处理的流程：离线处理

为了概括上述描述，示例性实施方式中的聚类处理的流程是如图1中所示的流程。也就是说，假设如下地给出由D个数据点形成的观察数据（学习数据）。

[式63]

$\{{\stackrel{\→}{\mathrm{\τ}}}^{\left(1\right)},\·\·\·,{\stackrel{\→}{\mathrm{\τ}}}^{\left(D\right)}\}:$

在示例性实施方式中，通过（由上述等式（2.10）推导出的）下面的等式（I）表示关于数据点d的马尔可夫链。

[式64]

${\stackrel{\→}{p}}^{\left(d\right)}\left(t\right)=\frac{\mathrm{\β}}{\mathrm{\α}+\mathrm{\β}}{\mathrm{\τ}}^{\left(d\right)\mathrm{old}}+\frac{\mathrm{\α}}{\mathrm{\α}+\mathrm{\β}}{\mathrm{\Σ}}_{k=1}^K\mathrm{\γ}\left(z_{\mathrm{dk}}\right){\stackrel{\→}{I}}^{\left(k\right)}\left({\stackrel{\→}{p}}^{\left(d\right)}(t-1)\right)---\left(I\right)$

这里，

${\stackrel{\→}{I}}^{\left(k\right)}\left(\stackrel{\→}{p}(t-1)\right)=(1-{q_k}^{\mathrm{old}})T\stackrel{\→}{p}(t-1)+q_k{\stackrel{\→}{s}}^{\left(k\right)\mathrm{old}}=T\stackrel{\→}{p}(t-1){q_k}^{\mathrm{old}}({\stackrel{\→}{s}}^{\left(k\right)\mathrm{old}}-T\stackrel{\→}{p}(t-1)).$

换言之，等式（I）表示，在网络上的各个节点处存在代表的概率中，特定比率β/(α+β)与数据点d的种向量τ^(d)old有关（即，比率β/(α+β)表示代表返回到由种向量表示的节点组），并且通过根据对于聚类k的归属度将由聚类k的马尔可夫链获得的概率彼此相加来获得另一个。

在聚类处理中，首先，如图1的步骤S10中所示，暂时地确定等式（I）的右侧的各项中包括的变量的值。另外，假设例如以与网页排名算法的情况中相同的方法基于网络的链接结构预先获得转移概率矩阵T。此外，α和β是等式（1.1）和等式（1.2）中所示的高斯分布的方差，并且这些值由用户指定。

在这样暂时地确定变量（S10）之后，计算等式（I）（S12）。

接下来，在EM算法的E步骤中，使用下面的等式（II）计算归属度γ(z_dk)（S14）。

[式65]

$\mathrm{\γ}\left(z_{\mathrm{dk}}\right)=\frac{{{\mathrm{\π}}_k}^{\mathrm{old}}N\left({\stackrel{\→}{p}}^{\left(d\right)}\left(t\right)\right|{\stackrel{\→}{I}}^{\left(k\right)}\left({\stackrel{\→}{p}}^{\left(d\right)}(t-1)\right),\mathrm{\α})}{{\mathrm{\Σ}}_{l=1}^K{{\mathrm{\π}}_l}^{\mathrm{old}}N\left({\stackrel{\→}{p}}^{\left(d\right)}\left(t\right)\right|{\stackrel{\→}{I}}^{\left(l\right)}\left({\stackrel{\→}{p}}^{\left(d\right)}(t-1)\right),\mathrm{\α})}.---\left(\mathrm{II}\right)$

接下来，在M步骤中，计算由下面的等式（IIIa）至（IIIc）表示的各值（S16）。

[式66]

${\stackrel{\→}{s}}^{\left(k\right)\mathrm{new}}=\frac{{\mathrm{\Σ}}_{d=1}^D\mathrm{\γ}\left(z_{\mathrm{dk}}\right)[{\stackrel{\→}{p}}^{\left(d\right)}\left(t\right)-(1-{q_k}^{\mathrm{old}})T{\stackrel{\→}{p}}^{\left(d\right)}(t-1)]}{{q_k}^{\mathrm{old}}{D}_k}---\left(\mathrm{IIIa}\right)$

${q_k}^{\mathrm{new}}=\frac{{\mathrm{\Σ}}_{d=1}^D\mathrm{\γ}\left(z_{\mathrm{dk}}\right)[{({\stackrel{\→}{p}}^{\left(d\right)}\left(t\right)-T{\stackrel{\→}{p}}^{\left(d\right)}(t-1))}^T({\stackrel{\→}{s}}^{\left(k\right)\mathrm{old}}-T{\stackrel{\→}{p}}^{\left(d\right)}(t-1))+{({\stackrel{\→}{s}}^{\left(k\right)\mathrm{old}}-T{\stackrel{\→}{p}}^{\left(d\right)}(t-1))}^T({\stackrel{\→}{p}}^{\left(d\right)}\left(t\right)-T{\stackrel{\→}{p}}^{\left(d\right)}(t-1))]}{2{\mathrm{\Σ}}_{d=1}^D\mathrm{\γ}\left(z_{\mathrm{dk}}\right){({\stackrel{\→}{s}}^{\left(k\right)\mathrm{old}}-T{\stackrel{\→}{p}}^{\left(d\right)}(t-1))}^T({\stackrel{\→}{s}}^{\left(k\right)\mathrm{old}}-T{\stackrel{\→}{p}}^{\left(d\right)}(t-1))}---\left(\mathrm{IIIb}\right)$

${{\mathrm{\π}}_k}^{\mathrm{new}}=\frac{D_k}{D}---\left(\mathrm{IIIc}\right)$

这里，

$D_k={\mathrm{\Σ}}_{d=1}^D\mathrm{\γ}\left(z_{\mathrm{dk}}\right)$

另外，为了执行接下来的迭代运算，使用等式（I）至（IIIc）获得的各变量的值被设置为表示一步之前的值的变量（时刻（t-1）处的概率以及具有下标old的变量）（S18）。

另外，时刻t逐一递进直到由下面的等式（IV）定义的评价值Q变得足够小于所有数据点d（即，变得小于预定阈值ε），并且重复地执行步骤S12至S18中的处理（S20）。

[式67]

$Q\&equiv;{\mathrm{\&Sigma;}}_{d=1}^D\ln N\left({\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}\right|{\stackrel{\&RightArrow;}{p}}^{\left(d\right)}\left(t\right),\mathrm{\&beta;})+{\mathrm{\&Sigma;}}_{d=1}^D\ln {\mathrm{\&Sigma;}}_{k=1}^K{\mathrm{\&pi;}}_{k}N\left({\stackrel{\&RightArrow;}{p}}^{\left(d\right)}\left(t\right)\right|{\stackrel{\&RightArrow;}{I}}^{\left(k\right)}\left({\stackrel{\&RightArrow;}{p}}^{\left(d\right)}(t-1)\right),\mathrm{\&alpha;})<\mathrm{\&epsiv;}.---\left(\mathrm{IV}\right)$

当评价值Q小于阈值ε时的等式（IIIa）和（IIIb）的计算结果是从观察数据（学习数据）获得的各个聚类k的芯（式68）和扩大q_k。

[式68]

${\stackrel{\&RightArrow;}{s}}^{\left(k\right)}={(s_1^{\left(k\right)},\&CenterDot;\&CenterDot;\&CenterDot;,s_N^{\left(k\right)})}^T$

各个聚类k由芯和扩大规定。

在示例性实施方式中，使用上述马尔可夫链的聚类结果对网络上的节点组进行聚类。换言之，确定各个节点属于马尔可夫链的聚类结果的哪个聚类。各个节点归属的聚类不必限于单个聚类，并且例如，单个节点可以理解为归属于具有单个归属度的多个聚类。

在节点的聚类处理中，通过使用通过迄今为止描述的过程定义的各个聚类的芯和扩大来获得由下面的等式定义的马尔可夫链的稳态（即，执行个性化网页排名算法）。

[式69]

$\stackrel{\&RightArrow;}{p}\left(t\right)=(1-q_k)T\stackrel{\&RightArrow;}{p}(t-1)+q_k{\stackrel{\&RightArrow;}{s}}^{\left(k\right)}.---\left(V\right)$

等式（V）与上述等式（b）（式30）相同，并且是表示作为马尔可夫链的聚类结果的聚类k的有偏马尔可夫链的等式。

获得稳态的方法遵循典型的马尔可夫链计算方法。

[式70]

$\stackrel{\&RightArrow;}{p}\left(t\right)$

也就是说，时刻t逐一递进并且重复地执行等式（V）的计算直到式70收敛。

由以该方式获得的稳态（式71）规定聚类k（下标表示稳态）。

[式71]

${\stackrel{\&RightArrow;}{p}}^{[s,k]}=(p_1^{[s,k]},\&CenterDot;\&CenterDot;\&CenterDot;,p_N^{[s,k]})---\left(\mathrm{VI}\right)$

[式72]

$p_n^{[s,k]}$

这里，式72表示“节点n对于聚类k的归属度”。也就是说，该值越大（越接近1），节点n可以归属于（即，属于）聚类k的概率越高，并且该值越小（即，越接近0），则节点n可以归属于聚类k的概率越低。因此，等式（VI）中所示的归属度向量p^[s，k]表示根据节点编号n的网络上的各个节点归属于聚类k的程度的分布。

以该方式，作为聚类的结果获得由等式（VI）所表示的各个节点n对于聚类k的归属度形成的向量。聚类结果用于下面描述的在线搜索处理。

上述马尔可夫链的聚类处理由于需要对于网络上的所有节点执行PPR算法而要求大量的计算时间。然而，用户查询的内容在每次搜索时发生各种改变，并且基于用户（存在组的情况）的过去的搜索历史等等的马尔可夫链的聚类划分状态的改变随时间的变化相当平滑。因此，由于即使在一定程度的较长的时间内使用曾经获得的聚类结果，也可以获得针对用户查询的具有足够准确性的搜索结果（排名结果），因此，可以不对于每个用户查询每次都执行聚类处理。因此，在示例性实施方式中，与实时的对应于用户查询的在线处理分离地在预定时刻（例如，一周一次或一天一次）执行聚类处理作为离线处理。也就是说，例如，对于各个用户，定期地，使用从用户的搜索历史等等生成的用于学习的观察数据根据上述方法定期地学习聚类。通过该学习，获得表示由等式（VI）表示的各个节点k的特征的向量。获得的向量被与用户的ID（识别信息）相关地保留，并且当执行在线搜索处理时参考。

使用聚类结果的搜索：在线处理

接下来，将参考图2描述使用马尔可夫链的上述聚类结果实时地进行的针对用户查询的搜索处理（在线处理）的示例。

使用来自用户的搜索查询（用户查询）的出现作为触发来执行图2的过程。另外，假设用户完成了搜索系统中的登录，并且结果，搜索系统知道发出查询的用户的ID。

在该过程中，首先，搜索系统针对与用户查询中包括的搜索条件（例如，由一个或多个关键字形成的逻辑表达式等等）匹配的节点（例如，网页）搜索网络（例如，WWW）（S30：初步搜索）。在初步搜索中，在没有考虑基于网页排名等等的各个节点的重要度的情况下，仅获得与搜索条件匹配的节点（即，对于搜索条件的适合度等于或大于阈值的节点或者适合度较高的预定数目的节点）。可以使用现有技术中的搜索技术获得对于搜索条件的适合度。根据初步搜索的结果，如下地生成对应于用户查询的种节点组。

[式73]

$\stackrel{\&RightArrow;}{\mathrm{\&tau;}}$

该种节点组是其中对应于网络上的N个节点中与用户查询的搜索条件一致的获得的节点的分量被设置为正值（例如，“1”）并且对应于其它节点的分量被设置为“0”的N维向量。种节点组将用户查询的特征表示为网络中与搜索条件匹配的节点的分布（表示哪个节点与搜索条件匹配的分布）。

另外，搜索系统获取关于各个用户的聚类结果的保留信息中关于对应于发出该用户查询的用户的聚类结果的信息。另外，在可以从名录数据库等等获得对应于登录的用户所属于的包括多个个人的用户组的保留的聚类结果，并且可以获取关于对应于所获得的组的聚类结果的信息。

[式74]

$R_k\left(\stackrel{\&RightArrow;}{\mathrm{\&tau;}}\right)$

接下来，搜索系统根据下面的等式计算种节点组对于聚类k的归属度（式74）（S32）。

[式75]

$R_k\left(\stackrel{\&RightArrow;}{\mathrm{\&tau;}}\right)={\mathrm{\&Sigma;}}_{n=1}^N{\mathrm{\&tau;}}_n{p_n}^{[s,k]}.---\left(A1\right)$

用于计算等式（A1）的节点n对于聚类k的归属度p_n ^[s,k]被包括在关于对应于作为查询发布源的用户的聚类结果的信息中。等式（A1）的右侧是用于获得向量τ（即，种节点组）和向量p^[s,k]（即，具有网络上的各个节点对于聚类的归属度作为分量的向量）的内积的操作。表示由种节点组表示的用户查询的特征的节点组与由向量p_n ^[s,k]表示的对于聚类k的归属度（所属度）较高的节点组之间的共性越高，归属度R_k越高。

[式76]

$R_k\left(\stackrel{\&RightArrow;}{\mathrm{\&tau;}}\right)$

接下来，搜索系统从通过等式（A1）的运算获得的归属度（式76）的值较大的聚类按顺序提取L个聚类（S34）。这里，L是表示提取的聚类的数目的值，并且预先进行设置。

[式77]

$p_n^{[s,k]}\&GreaterEqual;\mathrm{\&theta;}$

另外，搜索系统从提取的L个聚类中的每一个中选择满足式77（预先设置的0的值）的节点（S36）。这里，k是所提取的L个聚类的识别编号。也就是说，在步骤S36中，对于聚类k的归属度p_n ^[s,k]是具有0至1的模拟值，并且该值等于或大于阈值θ的节点n被选择作为属于聚类k的节点。因此，阈值θ的值规定被确定为属于聚类k的节点的归属度的下限值。

以该方式，由从L个聚类中选择的节点组和原始网络上的节点之间的链接形成网络（S38）。该网络是原始网络的部分网络。也就是说，在步骤S38中，从原始网络中切出仅由所提取的聚类的节点形成的部分网络。

由下面的等式表示定义部分网络的结构的相邻矩阵。

[式78]

${\tilde{A}}^{\left(\stackrel{\&RightArrow;}{\mathrm{\&tau;}}\right)}=\left({{\tilde{A}}_{\mathrm{ij}}}^{\left(\stackrel{\&RightArrow;}{\mathrm{\&tau;}}\right)}\right)$

这里，i和j是1、2、…、N^（t)，并且N^(t）是形成部分网络的节点的总数（N^（t)＜N）。

在该过程中，接下来，获得由下面的等式定义的马尔可夫链的稳态（S40）。也就是说，执行PPR算法。

[式79]

$\widetilde{\stackrel{\&RightArrow;}{p}}\left(t\right)=\frac{\mathrm{\&beta;}}{\mathrm{\&alpha;}+\mathrm{\&beta;}}\widetilde{\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}+\frac{\mathrm{\&alpha;}}{\mathrm{\&alpha;}+\mathrm{\&beta;}}{\tilde{T}}^{\left(\stackrel{\&RightArrow;}{\mathrm{\&tau;}}\right)}\widetilde{\stackrel{\&RightArrow;}{p}}(t-1).---\left(A2\right)$

[式80]

${\tilde{T}}^{\left(\stackrel{\&RightArrow;}{\mathrm{\&tau;}}\right)}=\left({{\tilde{T}}_{\mathrm{ij}}}^{\left(\stackrel{\&RightArrow;}{\mathrm{\&tau;}}\right)}\right)=({{\tilde{A}}_{\mathrm{ij}}}^{\left(\stackrel{\&RightArrow;}{\mathrm{\&tau;}}\right)}/{\mathrm{\&Sigma;}}_{i^{\&prime;}=1}^{N^{\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}}{{\tilde{A}}_{i^{\&prime;}j}}^{\left(\stackrel{\&RightArrow;}{\mathrm{\&tau;}}\right)})$

这里，式80表示转移概率矩阵。另外，这里示例出的转移概率矩阵是其中网络上的所有链接都被视为具有相同值（即，其中特定节点上存在代表被视为以相同概率从节点中选择多个链接的矩阵）的矩阵，并且用在典型的网页排名算法中。转移概率矩阵仅由网络的链接结构规定并且是不随着马尔可夫链的动态（时间的流逝）而变化的静态矩阵。

然而，这仅是示例。或者，例如，可以将转移概率矩阵设置为链接的前一节点的评价值（重要度）越高，该链接被选择的概率（转移概率）越高。在该情况下，如果各个节点的评价值随着马尔可夫链的动态而变化，则转移概率矩阵也变化。因此，可以通过在重复地执行马尔可夫链的等式（A2）的计算同时随时间更新转移概率矩阵来获得稳定解。另外，本申请人提交的日本专利申请No.2011-179512中详细描述了根据链接目的地节点的评价值设置转移概率的方法，并且因此，将会省略其详细描述。

[式81]

$\widetilde{\stackrel{\&RightArrow;}{p}}$

[式82]

$\stackrel{\&RightArrow;}{p}$

等式（A2）中的式81是N^(t）维向量，并且通过从N维向量（式82）中仅提取对应于部分网络的N^(t）个节点的分量来形成式81。

[式83]

$\widetilde{\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}$

[式84]

$\stackrel{\&RightArrow;}{\mathrm{\&tau;}}$

N^(t）维向量（式83）也以相同方式由N维向量（式84）形成。

[式85]

${\widetilde{\stackrel{\&RightArrow;}{p}}}^{\left(s\right)}=({\tilde{p}}_1^{\left(s\right)},\&CenterDot;\&CenterDot;\&CenterDot;,{\tilde{p}}_{N^{\left(\stackrel{\&RightArrow;}{\mathrm{\&tau;}}\right)}}^{\left(s\right)})$

使用由等式（A2）的PPR算法获得的稳态的网页排名值（式85）设置部分网络上的N（t）个节点中的每一个的重要度。

[式86]

${\tilde{p}}_i^{\left(s\right)}$

也就是说，式86表示节点i的重要度。根据以该方式设置的重要度的大小对N（t）个节点进行排名（S42）。另外，可以获得添加有计算出的节点的重要度和节点对于用户查询（搜索条件）的适合度的评价值，并且可以按照评价值升高的顺序来对各个节点进行排名。另外，根据排名结果生成对于用户查询的响应信息，并且该响应信息返回给发布查询的用户（S44）。该响应信息例如为按照排名顺序布置的节点的列表（例如，到网页的链接被按照排名顺序布置的列表）。

通过上述过程，考虑PPR值获得对于用户查询的响应信息。虽然，在该搜索处理中，执行等式（A2）中所示的PPR算法的计算，但是计算的对象不是整个网络而是仅由具有对于种节点组的高归属度（相似性）的聚类形成的部分网络。为此，计算所需的成本比针对整个网络的典型的PPR算法运算的情况小得多。因此，针对用户查询基本上实时地获得搜索结果。

虽然，在上述示例中，通过初步搜索获得种节点组，但是这仅是示例，并且可以使用其它方法获得种节点组。

系统构造的示例

图3示出了执行上述离线（聚类）处理和在线（搜索）处理的搜索系统的构造的示例。

在图3中，网络信息存储装置10是存储关于将要进行处理的网络（例如，WWW）的信息（下面，称为“网络信息”）的存储装置。网络信息包括指示网络的结构的信息，即指示网络中的节点之间的链接连接关系的信息。网络结构信息被表示为例如相邻矩阵的形式。众所周知地，相邻矩阵A_nm是下述矩阵，其中，如果链接从节点m到节点n，则A_nm＝1，否则A_nm＝0。另外，网络信息可以包括关于各个节点的详细信息。例如，如果节点是网页，则网页中的文本信息是详细信息的示例。在针对诸如WWW的其中网络的结构或各个节点的内容可以随着时间的流逝而变化的网络的情况下，爬虫12定期地巡回网络，并且根据巡回结果更新网络信息存储装置10中的网络信息。

学习数据存储装置14是存储用于学习网络上的马尔可夫链处理的聚类划分的学习数据（上述“观察数据τ”）的装置。如果将要实现根据各个用户的关注的搜索，则学习数据存储装置14存储用于各个用户的学习数据。例如，可以使用上面示例出的各个用户的搜索历史作为用于各个用户的学习数据。在该情况下，例如，下面描述的搜索处理器20的搜索结果可以存储在学习数据存储装置14中。学习数据存储装置14可以存储关于对应于用于针对各个用户的学习的D个数据点的搜索结果的信息，并且例如，每次用户进行新的搜索时，可以从学习数据存储装置14中删除D个搜索结果中最旧的搜索结果，并且可以添加本次的搜索结果。

聚类处理器16通过利用网络信息存储装置10中存储的网络结构信息和学习数据存储装置14中存储的学习数据执行图1的上述处理过程来学习网络上的马尔可夫链的聚类。每次到达聚类的更新时刻时执行该学习处理。当实时的响应于用户查询的处理被称为在线处理时，该学习处理可以被称为离线处理。

这里，聚类处理器16从暂时数据存储器17读取聚类的诸如芯或扩大的变量的值，在图1的步骤S12、S14和S16中执行计算，并且在步骤S18中根据计算结果更新暂时数据存储器17中的变量的值。暂时数据存储器17例如为其中嵌入有搜索系统的计算机的主存储器中确保的存储区域。通过聚类处理器16的执行获得的关于聚类结果的数据（关于由上述等式（IV）表示的节点n对于聚类k的归属度的数据）保留在聚类结果存储装置18中。当使用针对各个用户的学习数据执行关于聚类的学习时，针对各个用户的聚类结果保留为例如与用户ID关联的形式。

搜索处理器20接收来自用户的查询并且与查询相关地实时地执行图2中的搜索处理（在线处理）。在该处理中，搜索处理器20针对网络信息存储装置10中存储的各个节点的详细信息（例如，各个网页的文本信息），基于用户查询的搜索条件执行初步搜索（图2中的S30），并且获得种节点组。另外，使用聚类结果存储装置18中存储的关于用户的聚类结果的信息和所获得的种节点组执行步骤S32至S36中的处理，从而选择作为PPR运算（S40）的目标的节点组。此外，从网络信息存储装置10中存储的关于网络结构的信息生成仅由所选择的节点组形成的部分网络（S38）。另外，通过对于部分网络执行PPR运算（S40）来获得各节点的PPR值，并且基于PPR值对节点进行排名（S42），并且基于排名结果将响应发送给用户（S44）。此外，搜索处理器20将执行上述处理（例如，步骤S30至S38中的处理结果）时的工作数据、步骤S40中的PPR算法中的每次迭代的计算结果、步骤S42中的排名结果等等写入到暂时数据存储器22中，并且使用暂时数据存储器22中的数据用于各接下来的步骤中的计算。

聚类的另一示例

在上述描述中，已经描述了其中对网络上的马尔可夫链进行聚类并且使用作为其结果获得的聚类的信息搜索网络的系统。然而，使用上述系统描述的聚类方法仅是示例。因此，在下面，将描述聚类网络上的马尔可夫链的方法的另一示例。

在上述示例中，使用诸如聚类的芯和扩大的参数用于聚类。相反地，在该示例中，没有使用这些参数。然而，节点之间的转移不遵循转移概率矩阵，并且假设在该示例中对于转移概率矩阵发生根据一定概率分布的误差。

上述示例和本示例都使用了网络上的马尔可夫链。关注马尔可夫链的原因在于即使在链路具有方向的情况下或者即使在链路具有模拟值的权重的情况下，也能够完全自然地定义网络上的马尔可夫链。

能够理解的是，网络上的马尔可夫链表示跟随链路并且随机在网络上移动的代表（随机漫步者）的移动。如果网络由多个聚类（具有高链路密度的部分：也称为群组（community））构成，则随机漫步者的移动对应于下述情况，其中，随机漫步者在对应于某一聚类的区域中停留了一会，然后移动到对应于另一聚类的区域，并且在其中停留了一会，然后，移动到对应于又一聚类的区域，并且在其中停留了一会…。

假设获得关于随机漫步者当前存在于哪一侧的信息。由下面的概率模型示出了生成该信息的过程。

（1）网络上的随机漫步者存在于对应于任何一个聚类的区域（下面也称为“群组”）中并且随机地移动。随机地定义存在随机漫步者的区域。

（2）作为观察在（1）中随机地定义的对应于聚类的区域移动的随机漫步者当前存在的区域的结果，获得关于随机漫步者存在于哪一侧的信息。

假设独立地进行观察若干次，并且因此，收集了关于存在随机漫步者的位置的大量数据。通过将数据指派给概率模型，获得“似然性”。似然性是（暂时确定的）聚类结构或者（暂时确定的）群组结构的函数。因此，聚类结构（群组结构）被设置为使似然性最大。这是将获得的聚类结构（群组结构）（看起来最可靠）。

在该示例中，目标网络被表示为相邻矩阵A。

[式87]

A＝(A_nm).    (3.1)

这里，n和m是1、2、…、和N，并且N是网络中包括的节点的总数。另外，在上述系统的示例中，相邻矩阵的第n行第m列的元素A_nm具有0或1的值，即，如果在网络上存在从节点m到节点n的链接则为1，并且如果在网络上不存在链接则为0。相反地，在下面的示例中，元素A_nm不具有0或1的值，而是具有模拟值，即，在一定的连续数值范围（例如，0至1的实数）内的任一值。元素A_nm的值表示从节点m到节点n的链接的强度（权重）。

网络上的马尔可夫链与该网络中的概率成比例，并且由下式表示。

[式88]

$\stackrel{\&RightArrow;}{p}\left(t\right)=T\stackrel{\&RightArrow;}{p}(t-1)---\left(3.2a\right)$

向量p（t）的第n向量p_n（t）是在时刻t分配给节点n的概率密度，并且由下式表示。

[式89]

$p_n\left(t\right)={\mathrm{\&Sigma;}}_{m=1}^N{T}_{\mathrm{nm}}{p}_m(t-1)---\left(3.2b\right)$

这里，矩阵T是马尔可夫链的转移概率矩阵并且由下式表示。

[式90]

T＝(T_nm)≡(A_nm/∑_n′A_n′m)    (3.3)

转移概率矩阵T满足下式。

[式91]

${\mathrm{\&Sigma;}}_{n=1}^N{T}_{\mathrm{nm}}=1,---\left(3.4\right)$

从而，概率的守恒定律成立。

[式92]

${\mathrm{\&Sigma;}}_{n=1}^N{p}_n\left(t\right)=C$ (随着t恒定)          (3.5a)

这里，给出下式。

[式93]

C＝1.    (3.5b)

利用该设置，马尔可夫链能够被视为作为在网络上存在的代表的随机漫步者，并且p_n（t）能够被理解为在时刻t在节点n处可以找到（即，在时刻t在节点n处存在）代表（随机漫步者）的概率。

由等式（3.2a）和（3.2b）表示的“全体”马尔可夫链可以使用由下式94表示的K个“局部”马尔可夫链来进行聚类。

[式94]

${\stackrel{\&RightArrow;}{p}}^{\left(k\right)}={(p_1^{\left(k\right)},\&CenterDot;\&CenterDot;\&CenterDot;,p_N^{\left(k\right)})}^T(k=1,\&CenterDot;\&CenterDot;\&CenterDot;,K)$

这些K个聚类（局部马尔可夫链）可以具有彼此交叠的部分（即，属于多个聚类的节点）。

为该聚类准备D个学习数据项目的组（下式）。

[式95]

$\{{\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(1\right)},\&CenterDot;\&CenterDot;\&CenterDot;,{\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(D\right)}\}---\left(4.1\right)$

这里，给出下式96。

[式96]

${\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}={({\mathrm{\&tau;}}_1^{\left(d\right)},\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&tau;}}_N^{\left(d\right)})}^T(d=1,\&CenterDot;\&CenterDot;\&CenterDot;,D)$

学习数据的组可以使用例如执行随着时间的流逝的网络上的随机漫步者的存在位置的D个观察的结果。例如，在当执行第d个观察时在节点m处发现随机漫步者的情况下，观察结果由下式表示。

[式97]

${\mathrm{\&tau;}}_n^{\left(d\right)}={\mathrm{\&delta;}}_{\mathrm{mn}}$

这里，δ_mn是克罗内克的δ。换言之，从特定观察d获得的学习数据是N维向量，其中，对应于当执行观察时存在随机漫步者的节点m的第m个向量为1，并且其它向量为0。假设学习数据项目的数目D充分大于网络上的节点的数目N，则认为，在D当中，τ^(d出现Dp_m ^(PR)次。这里，p_m ^(PR)是马尔可夫链（等式（3.2a）和（3.2b））的稳态中的第m个分量并且是预先独立计算的。这时，不需要在等式（3.2b）中获得1至D的总和m，并且可以考虑交叠仅计算1至N的总和m。

使用学习数据进行聚类的框架遵循在上述Bishop的书“Pattern recognition andmachine learning”的第IX章中示出的方法。

首先，引入K维二进制随机变量（下式98）。

[式98]

${\stackrel{\&RightArrow;}{z}}^{\left(d\right)}={(z_{d1},\&CenterDot;\&CenterDot;\&CenterDot;,z_{\mathrm{dK}})}^T$

这里，K是将通过聚类生成的聚类的总数。另外，这里，随机变量的K个分量的特定分量（下式99）为1，并且其它分量为0。

[式99]

z_dk

这里，下式100被设置为下式101的事先概率。

[式100]

$P\left({\stackrel{\&RightArrow;}{z}}^{\left(d\right)}\right)={\mathrm{\&Pi;}}_{k=1}^K{\left({\mathrm{\&pi;}}_k\right)}^{z_{\mathrm{dk}}}---\left(4.2a\right)$

[式101]

${\stackrel{\&RightArrow;}{z}}^{\left(d\right)}$

在该情况下，下式成立。

[式102]

P(z_dk＝1)＝π_k.    (4.2b)

这里，考虑结合概率，即，下式103。

[式103]

$P\left(\right\{{\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}\},\{{\stackrel{\&RightArrow;}{z}}^{\left(d\right)}\},\{{\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left(t\right)\left\}\right)=\left[{\mathrm{\&Pi;}}_{d=1}^D{\mathrm{\&Pi;}}_{k=1}^K{\left\{{\mathrm{\&pi;}}_{k}P\left({\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}\right|{\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left(t\right))\right\}}^{z_{\mathrm{dk}}}\right]\&times;\left[{\mathrm{\&Pi;}}_{k=1}^{K}P\left({\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left(t\right)\right|{\stackrel{\&RightArrow;}{I}}^{\left(k\right)}(t-1))\right]---\left(4.3\right)$

该结合概率是具有学习数据τ^(d)、表示聚类k被选择的二进制潜在变量z_dk和活性向量p^(k）作为变量的概率。这里，给出下式。

[式104]

${\stackrel{\&RightArrow;}{I}}^{\left(k\right)}(t-1)\&equiv;T{\stackrel{\&RightArrow;}{p}}^{\left(k\right)}(t-1)---\left(4.4a\right)$

$I_n^{\left(k\right)}(t-1)={\mathrm{\&Sigma;}}_{m=1}^N{T}_{\mathrm{nm}}{p}_m^{\left(k\right)}(t-1).---\left(4.4b\right)$

在等式（4.3）中，下式105是下式106的事先概率，并且被选择为能够最容易地生成下式107。

[式105]

$P\left({\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\right|{\stackrel{\&RightArrow;}{I}}^{\left(k\right)}(t-1))$

[式106]

${\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left(t\right)$

[式107]

${\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left(t\right)={\stackrel{\&RightArrow;}{I}}^{\left(k\right)}(t-1)$

这里，下式108是当给出下式109时的下式110的概率（即，下式111的似然性函数）。

[式108]

$P\left({\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}\right|{\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left(t\right))$

[式109]

${\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left(t\right)$

[式110]

${\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}$

[式111]

${\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left(t\right)$

能够根据贝叶斯理论获得下式。

[式112]

${\mathrm{\&gamma;}}_{\mathrm{dk}}\&equiv;P(z_{\mathrm{kd}}=1|{\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)})=\frac{P(z_{\mathrm{kd}}=1)P\left({\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}\right|z_{\mathrm{kd}}=1)}{{\mathrm{\&Sigma;}}_{{\stackrel{\&RightArrow;}{z}}^{\left(d\right)}}P(z_{\mathrm{kd}}=1)P\left({\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}\right|z_{\mathrm{kd}}=1)}=\frac{{\mathrm{\&pi;}}_{k}P\left({\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}\right|{\stackrel{\&RightArrow;}{p}}^{\left(k\right)})}{{\mathrm{\&Sigma;}}_{k=1}^K{\mathrm{\&pi;}}_{k}P\left({\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}\right|{\stackrel{\&RightArrow;}{p}}^{\left(k\right)})}.---\left(4.5\right)$

根据Bishop的书中所示的方法获得结合概率的对数。

[式113]

$\ln P\left(\right\{{\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\},\{{\stackrel{\&RightArrow;}{z}}^{\left(d\right)}\},\{{\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}\left\}\right)$

$={\mathrm{\&Sigma;}}_{k=1}^K{\mathrm{\&Sigma;}}_{d=1}^D{z}_{\mathrm{dk}}\ln {\mathrm{\&pi;}}_k+{\mathrm{\&Sigma;}}_{k=1}^K{\mathrm{\&Sigma;}}_{d=1}^D{z}_{\mathrm{dk}}\ln P\left({\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}\right|{\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left(t\right))+{\mathrm{\&Sigma;}}_{k=1}^K\ln P\left({\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left(t\right)\right|{\stackrel{\&RightArrow;}{I}}^{\left(k\right)}(t-1))---\left(4.6\right)$

这里，使用下式114的时候概率如下式115中那样获得结合概率的对数的期望值Q。

[式114]

$P\left(\right\{{\stackrel{\&RightArrow;}{z}}^{\left(d\right)}\left\}\right|\left\{{\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}\right\})={\mathrm{\&Pi;}}_{d=1}^{D}P\left({\stackrel{\&RightArrow;}{z}}^{\left(d\right)}\right|{\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)})---\left(4.7\right)$

[式115]

$Q\&equiv;E{\left[\ln P\left(\right\{{\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}\},\{{\stackrel{\&RightArrow;}{z}}^{\left(d\right)}\},\{{\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left\}\right)\right]}_{P\left(\right\{{\stackrel{\&RightArrow;}{z}}^{\left(d\right)}\left\}\right|\left\{{\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}\right\})}$ $\left(4.8\right)$

$={\mathrm{\&Sigma;}}_{k=1}^K{\mathrm{\&Sigma;}}_{d=1}^D{\mathrm{\&gamma;}}_{\mathrm{dk}}\ln {\mathrm{\&pi;}}_k+{\mathrm{\&Sigma;}}_{k=1}^K{\mathrm{\&Sigma;}}_{d=1}^D{\mathrm{\&gamma;}}_{\mathrm{dk}}\ln P\left({\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}\right|{\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left(t\right))+{\mathrm{\&Sigma;}}_{k=1}^K\ln P\left({\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left(t\right)\right|{\stackrel{\&RightArrow;}{I}}^{\left(k\right)}(t-1)).$

下式的关系用于获得等式（4.8）的右侧。

[式116]

虽然，在上述系统中，已经描述了使用高斯分布作为事先概率的分布（事先分布）的示例（参考等式（1.1）），但是，在下面，将描述分别使用高斯分布和狄利克雷分布作为事先分布的情况的示例。

使用高斯事先分布的马尔可夫链聚类

当使用高斯分布作为事先分布时，如下地表示结合概率。

[式117]

$P\left(\right\{{\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}\},\{{\stackrel{\&RightArrow;}{z}}^{\left(d\right)}\},\{{\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left(t\right)\left\}\right)$

$=\left[{\mathrm{\&Pi;}}_{d=1}^D{\mathrm{\&Pi;}}_{k=1}^K{\left\{{\mathrm{\&pi;}}_k\frac{1}{{\left(2\mathrm{\&pi;\&beta;}\right)}^{N/2}}\exp \right[-\frac{1}{2}\mathrm{\&beta;}{({\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}-{\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left(t\right))}^2\left]\right\}}^{z_{\mathrm{dk}}}\right]\&times;\left[{\mathrm{\&Pi;}}_{k=1}^K\frac{1}{{\left(2\mathrm{\&pi;\&alpha;}\right)}^{N/2}}\exp \right[-\frac{1}{2}\mathrm{\&alpha;}{({\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left(t\right)-{\stackrel{\&RightArrow;}{I}}^{\left(k\right)}(t-1))}^2\left]\right]$

$=\left[{\mathrm{\&Pi;}}_{d=1}^D{\mathrm{\&Pi;}}_{k=1}^K\right\{{{\mathrm{\&pi;}}_k}^{z_{\mathrm{dk}}}\frac{1}{{\left(2\mathrm{\&pi;\&beta;}\right)}^{z_{\mathrm{dk}}N/2}}\exp [-\frac{1}{2}{z}_{\mathrm{dk}}\mathrm{\&beta;}{({\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}-{\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left(t\right))}^2]\left\}\right]\&times;\left[{\mathrm{\&Pi;}}_{k=1}^K\frac{1}{{\left(2\mathrm{\&pi;\&alpha;}\right)}^{N/2}}\exp \right[-\frac{1}{2}\mathrm{\&alpha;}{({\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left(t\right)-{\stackrel{\&RightArrow;}{I}}^{\left(k\right)}(t-1))}^2\left]\right]---\left(5.1\right)$

$=\left[{\mathrm{\&Pi;}}_{k=1}^K\right\{{{\mathrm{\&pi;}}_k}^{{\mathrm{\&Sigma;}}_{d=1}^D{z}_{\mathrm{dk}}}\frac{1}{{\left(2\mathrm{\&pi;\&beta;}\right)}^{(N/2){\mathrm{\&Sigma;}}_{d=1}^D{z}_{\mathrm{dk}}}}\exp [-\frac{1}{2}{\mathrm{\&Sigma;}}_{d=1}^D{z}_{\mathrm{dk}}\mathrm{\&beta;}{({\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}-{\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left(t\right))}^2]\left\}\right]\&times;\left[{\mathrm{\&Pi;}}_{k=1}^K\frac{1}{{\left(2\mathrm{\&pi;\&alpha;}\right)}^{N/2}}\exp \right[-\frac{1}{2}\mathrm{\&alpha;}{({\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left(t\right)-{\stackrel{\&RightArrow;}{I}}^{\left(k\right)}(t-1))}^2\left]\right].$

根据贝叶斯理论，获得下面的关系。

[式118]

${\mathrm{\&gamma;}}_{\mathrm{dk}}\&equiv;P(z_{\mathrm{kd}}=1|{\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)})=\frac{P(z_{\mathrm{kd}}=1)P\left({\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}\right|z_{\mathrm{kd}}=1)}{{\mathrm{\&Sigma;}}_{{\stackrel{\&RightArrow;}{z}}^{\left(d\right)}}P(z_{\mathrm{kd}}=1)P\left({\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}\right|z_{\mathrm{kd}}=1)}$

$=\frac{{\mathrm{\&pi;}}_k\frac{1}{{\left(2\mathrm{\&pi;\&alpha;}\right)}^{N/2}}\exp [-\frac{1}{2}\mathrm{\&beta;}{({\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}-{\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left(t\right))}^2]}{{\mathrm{\&Sigma;}}_{k=1}^K{\mathrm{\&pi;}}_k\frac{1}{{\left(2\mathrm{\&pi;\&alpha;}\right)}^{N/2}}\exp [-\frac{1}{2}\mathrm{\&beta;}{({\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}-{\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left(t\right))}^2]}=\frac{{\mathrm{\&pi;}}_k\exp [-\frac{1}{2}\mathrm{\&beta;}{({\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}-{\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left(t\right))}^2]}{{\mathrm{\&Sigma;}}_{k=1}^K{\mathrm{\&pi;}}_k\exp [-\frac{1}{2}\mathrm{\&beta;}{({\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}-{\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left(t\right))}^2]}.---\left(5.2\right)$

如上所述，给出下式119，并且因此，结合概率的对数如下式120中所示。

[式119]

$P\left(\right\{{\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}\},\{{\stackrel{\&RightArrow;}{z}}^{\left(d\right)}\},\{{\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left\}\right)$

$={\mathrm{\&Pi;}}_{k=1}^K\left\{{{\mathrm{\&pi;}}_k}^{{\mathrm{\&Sigma;}}_{d=1}^D{z}_{\mathrm{dk}}}\frac{1}{{\left(2\mathrm{\&pi;\&beta;}\right)}^{(N/2){\mathrm{\&Sigma;}}_{d=1}^D{z}_{\mathrm{dk}}}}\frac{1}{{\left(2\mathrm{\&pi;\&alpha;}\right)}^{N/2}}\exp \right[-\frac{1}{2}{\mathrm{\&Sigma;}}_{d=1}^D{z}_{\mathrm{dk}}\mathrm{\&beta;}{({\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}-{\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left(t\right))}^2-\frac{1}{2}\mathrm{\&alpha;}{({\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left(t\right)-{\stackrel{\&RightArrow;}{I}}^{\left(k\right)}(t-1))}^2\left]\right\}---\left(5.3\right)$

[式120]

因此，结合概率的对数的期望值Q如下。

[式121]

$Q\&equiv;E{\left[\ln P\left(\right\{{\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}\},\{{\stackrel{\&RightArrow;}{z}}^{\left(d\right)}\},\{{\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left\}\right)\right]}_{P\left(\right\{{\stackrel{\&RightArrow;}{z}}^{\left(d\right)}\left\}\right|\left\{{\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}\right\})}$

$={\mathrm{\&Sigma;}}_{k=1}^K{\mathrm{\&Sigma;}}_{d=1}^D{\mathrm{\&gamma;}}_{\mathrm{dk}}\ln {\mathrm{\&pi;}}_k+\frac{\mathrm{ND}}{2}\ln 2\mathrm{\&pi;\&beta;}+\frac{\mathrm{NK}}{2}\ln 2\mathrm{\&pi;\&alpha;}{+\mathrm{\&Sigma;}}_{k=1}^K[{-\frac{1}{2}{\mathrm{\&Sigma;}}_{d=1}^D{\mathrm{\&gamma;}}_{\mathrm{dk}}\mathrm{\&beta;}({\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}-{\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left(t\right))}^2-\frac{1}{2}\mathrm{\&alpha;}{({\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left(t\right)-{\stackrel{\&RightArrow;}{I}}^{\left(k\right)}(t-1))}^2]$ $\left(5.5\right)$

$={\mathrm{\&Sigma;}}_{k=1}^K{\mathrm{\&Sigma;}}_{d=1}^D{\mathrm{\&gamma;}}_{\mathrm{dk}}\ln {\mathrm{\&pi;}}_k+\frac{\mathrm{ND}}{2}\ln 2\mathrm{\&pi;\&beta;}+\frac{\mathrm{NK}}{2}\ln 2\mathrm{\&pi;\&alpha;}{+\mathrm{\&Sigma;}}_{k=1}^K[{-\frac{1}{2}\mathrm{\&beta;}{\mathrm{\&Sigma;}}_{d=1}^D{\mathrm{\&gamma;}}_{\mathrm{dk}}{\mathrm{\&Sigma;}}_{n=1}^N(p_n^{\left(k\right)}\left(t\right)-{\mathrm{\&tau;}}_n^{\left(d\right)})}^2-\frac{1}{2}\mathrm{\&alpha;}{\mathrm{\&Sigma;}}_{n=1}^N{(p_n^{\left(k\right)}\left(t\right)-I_n^{\left(k\right)}(t-1))}^2],$

下面的关系用于该推导。

[式122]

这里，对于下式123使期望值Q最大。

[式123]

$p_n^{\left(k\right)}\left(t\right)$

从而，获得下面的关系式。

[式124]

$p_n^{\left(k\right)}\left(t\right)=\frac{\mathrm{\&alpha;}}{\mathrm{\&alpha;}+\mathrm{\&beta;}{D}_k}{I}_n^{\left(k\right)}(t-1)+\frac{\mathrm{\&beta;}{\mathrm{\&Sigma;}}_{d=1}^D{\mathrm{\&gamma;}}_{\mathrm{dk}}{\mathrm{\&tau;}}_n^{\left(d\right)}}{\mathrm{\&alpha;}+\mathrm{\&beta;}{D}_k}.---\left(5.7\right)$

这里，给出下式。

[式125]

$D_k={\mathrm{\&Sigma;}}_{d=1}^D{\mathrm{\&gamma;}}_{\mathrm{dk}}.---\left(5.8\right)$

另外，如下地推导等式（5.7）。

[式126]

$\frac{\&PartialD;Q}{\&PartialD;p_n^{\left(k\right)}\left(t\right)}=0:$

$\mathrm{\&alpha;}(p_n^{\left(k\right)}\left(t\right)-I_n^{\left(k\right)}(t-1))+\mathrm{\&beta;}{\mathrm{\&Sigma;}}_{d=1}^D{\mathrm{\&gamma;}}_{\mathrm{dk}}(p_n^{\left(k\right)}\left(t\right)-{\mathrm{\&tau;}}_n^{\left(d\right)})=0.$

$\stackrel{\&CenterDot;}{\&CenterDot;\&CenterDot;}{p}_n^{\left(k\right)}\left(t\right)=\frac{\mathrm{\&alpha;}}{\mathrm{\&alpha;}+\mathrm{\&beta;}{D}_k}{I}_n^{\left(k\right)}(t-1)+\frac{\mathrm{\&beta;}{\mathrm{\&Sigma;}}_{d=1}^D{\mathrm{\&gamma;}}_{\mathrm{dk}}{\mathrm{\&tau;}}_n^{\left(d\right)}}{\mathrm{\&alpha;}+\mathrm{\&beta;}{D}_k}.$

这里，如果设置了下式127，则下式128满足概率的守恒定律。

[式127]

${\mathrm{\&Sigma;}}_{n=1}^N{p}_n^{\left(k\right)}(t-1)=1$

[式128]

${\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left(t\right)$

也就是说，这导致了下式129。

[式129]

${\mathrm{\&Sigma;}}_{n=1}^N{p}_n^{\left(k\right)}\left(t\right)=1.---\left(5.9\right)$

原因如下。

[式130]

${\mathrm{\&Sigma;}}_{n=1}^N{p}_n^{\left(k\right)}\left(t\right)={\mathrm{\&Sigma;}}_{n=1}^N[\frac{\mathrm{\&alpha;}}{\mathrm{\&alpha;}+\mathrm{\&beta;}{D}_k}{I}_n^{\left(k\right)}(t-1)+\frac{\mathrm{\&beta;}{\mathrm{\&Sigma;}}_{d=1}^D{\mathrm{\&gamma;}}_{\mathrm{dk}}{\mathrm{\&tau;}}_n^{\left(d\right)}}{\mathrm{\&alpha;}+\mathrm{\&beta;}{D}_k}]=\frac{\mathrm{\&alpha;}}{\mathrm{\&alpha;}+\mathrm{\&beta;}{D}_k}{\mathrm{\&Sigma;}}_{n=1}^N{I}_n^{\left(k\right)}(t-1)+\frac{\mathrm{\&beta;}{\mathrm{\&Sigma;}}_{d=1}^D{\mathrm{\&gamma;}}_{\mathrm{dk}}{\mathrm{\&Sigma;}}_{n=1}^N{\mathrm{\&tau;}}_n^{\left(d\right)}}{\mathrm{\&alpha;}+\mathrm{\&beta;}{D}_k}$

$=\frac{\mathrm{\&alpha;}}{\mathrm{\&alpha;}+\mathrm{\&beta;}{D}_k}{\mathrm{\&Sigma;}}_{n=1}^N{\mathrm{\&Sigma;}}_{m=1}^N{T}_{\mathrm{nm}}{p}_m^{\left(k\right)}(t-1)+\frac{\mathrm{\&beta;}{\mathrm{\&Sigma;}}_{d=1}^D{\mathrm{\&gamma;}}_{\mathrm{dk}}}{\mathrm{\&alpha;}+\mathrm{\&beta;}{D}_k}=\frac{\mathrm{\&alpha;}}{\mathrm{\&alpha;}+\mathrm{\&beta;}{D}_k}{\mathrm{\&Sigma;}}_{m=1}^N{p}_m^{\left(k\right)}(t-1)+\frac{\mathrm{\&beta;}{\mathrm{\&Sigma;}}_{d=1}^D{\mathrm{\&gamma;}}_{\mathrm{dk}}}{\mathrm{\&alpha;}+\mathrm{\&beta;}{D}_k}=\frac{\mathrm{\&alpha;}}{\mathrm{\&alpha;}+\mathrm{\&beta;}{D}_k}+\frac{\mathrm{\&beta;}{D}_k}{\mathrm{\&alpha;}+\mathrm{\&beta;}{D}_k}=1.$

这里，在下式131的约束下，对于下式132，使Q最大，这导致下式133。

[式131]

${\mathrm{\&Sigma;}}_{k=1}^K{\mathrm{\&pi;}}_k=1$

[式132]

π_k

[式133]

${\mathrm{\&pi;}}_k=\frac{D_k}{D}.---\left(5.10\right)$

在学习数据项目的数目D充分大于网络的节点的数目N的情况下，能够如下地近似等式（5.5）的期望值Q。

[式134]

$Q\&equiv;E{\left[\ln P\left(\right\{{\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}\},\{{\stackrel{\&RightArrow;}{z}}^{\left(d\right)}\},\{{\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left\}\right)\right]}_{P\left(\right\{{\stackrel{\&RightArrow;}{z}}^{\left(d\right)}\left\}\right|\left\{{\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}\right\})}$ $\left(5.11\right)$

$={\mathrm{\&Sigma;}}_{k=1}^K{\mathrm{\&Sigma;}}_{d=1}^{N}D{p}_d^{\left(\mathrm{PR}\right)}{\mathrm{\&gamma;}}_{\mathrm{dk}}\ln {\mathrm{\&pi;}}_k+\frac{\mathrm{ND}}{2}\ln 2\mathrm{\&pi;\&beta;}+\frac{\mathrm{NK}}{2}\ln 2\mathrm{\&pi;\&alpha;}{+\mathrm{\&Sigma;}}_{k=1}^K[{-\frac{1}{2}\mathrm{\&beta;}{\mathrm{\&Sigma;}}_{d=1}^{D}D{p}_d^{\left(\mathrm{PR}\right)}{\mathrm{\&gamma;}}_{\mathrm{dk}}{\mathrm{\&Sigma;}}_{n=1}^N(p_n^{\left(k\right)}\left(t\right)-{\mathrm{\&tau;}}_n^{\left(d\right)})}^2-\frac{1}{2}\mathrm{\&alpha;}{\mathrm{\&Sigma;}}_{n=1}^N{(p_n^{\left(k\right)}\left(t\right)-I_n^{\left(k\right)}(t-1))}^2]$

这里，下式是马尔可夫链（3.2a）和（3.2b）的稳态下的网络上的所有节点上的概率分布。也就是说，下式136满足下式137。

[式135]

${\stackrel{\&RightArrow;}{p}}^{\left(\mathrm{PR}\right)}={(p_1^{\left(\mathrm{PR}\right)},\&CenterDot;\&CenterDot;\&CenterDot;,p_N^{\left(\mathrm{PR}\right)})}^T$

[式136]

${\stackrel{\&RightArrow;}{p}}^{\left(\mathrm{PR}\right)}$

[式137]

${\stackrel{\&RightArrow;}{p}}^{\left(\mathrm{PR}\right)}=T{\stackrel{\&RightArrow;}{p}}^{\left(\mathrm{PR}\right)}---\left(5.12a\right)$

$p_n^{\left(\mathrm{PR}\right)}={\mathrm{\&Sigma;}}_{m=1}^N{T}_{\mathrm{nm}}{p}_m^{\left(\mathrm{PR}\right)}---\left(5.12b\right)$

另外，对于下式138，使期望值Q最大，这导致下式139。

[式138]

$p_n^{\left(k\right)}\left(t\right)$

[式139]

$p_n^{\left(k\right)}\left(t\right)=\frac{\mathrm{\&alpha;}}{\mathrm{\&alpha;}+\mathrm{\&beta;D}{\mathrm{\&Sigma;}}_{d=1}^N{p}_d^{\left(\mathrm{PR}\right)}{\mathrm{\&gamma;}}_{\mathrm{dk}}}{I}_n^{\left(k\right)}(t-1)+\frac{\mathrm{\&beta;D}{\mathrm{\&Sigma;}}_{d=1}^N{p}_d^{\left(\mathrm{PR}\right)}{\mathrm{\&gamma;}}_{\mathrm{dk}}{\mathrm{\&tau;}}_n^{\left(d\right)}}{\mathrm{\&alpha;}+\mathrm{\&beta;D}{\mathrm{\&Sigma;}}_{d=1}^N{p}_d^{\left(\mathrm{PR}\right)}{\mathrm{\&gamma;}}_{\mathrm{dk}}}.---\left(5.13\right)$

此外，在下式140的约束下，对于下式141使期望值Q最大，这导致下式142。

[式140]

${\mathrm{\&Sigma;}}_{k=1}^K{\mathrm{\&pi;}}_k=1$

[式141]

π_k

[式142]

${\mathrm{\&pi;}}_k=\frac{D{\mathrm{\&Sigma;}}_{d=1}^N{p}_d^{\left(\mathrm{PR}\right)}{\mathrm{\&gamma;}}_{\mathrm{dk}}}{D}={\mathrm{\&Sigma;}}_{d=1}^N{p}_d^{\left(\mathrm{PR}\right)}{\mathrm{\&gamma;}}_{\mathrm{dk}}.---\left(5.14\right)$

综上，该示例中的聚类处理的流程如图4中所示。

在该示例中，关于学习数据d的马尔可夫链由下面的等式（I）（与等式（5.7）和（5.8）相同）表示。

[式143]

$p_n^{\left(k\right)}\left(t\right)=\frac{\mathrm{\&alpha;}}{\mathrm{\&alpha;}+\mathrm{\&beta;}{D}_k}{I}_n^{\left(k\right)}(t-1)+\frac{\mathrm{\&beta;}{\mathrm{\&Sigma;}}_{d=1}^D{\mathrm{\&gamma;}}_{\mathrm{dk}}{\mathrm{\&tau;}}_n^{\left(d\right)}}{\mathrm{\&alpha;}+\mathrm{\&beta;}{D}_k}---\left(I\right)$

这里，给出下式144。

[式144]

$D_k={\mathrm{\&Sigma;}}_{d=1}^D{\mathrm{\&gamma;}}_{\mathrm{dk}}$

换言之，当时间从（t-1）步进到t时，根据该等式（I），活性向量p^(k）随时间变化。

在聚类处理中，例如，如图4的步骤S50中所示，暂时地确定等式（I）的右侧的各项中包括的变量的值。另外，假设例如以与网页排名算法的情况相同的方法基于网络的链接结构等等预先获得转移概率矩阵T。此外，α和β是等式（5.2）和等式（5.3）中所示的高斯分布的方差，并且这些值由用户指定。根据暂时确定的下式145，设置等式（I）的右侧的下式146（参考等式（4.4a）和（4.4b））。

[式145]

${\stackrel{\&RightArrow;}{p}}^{\left(k\right)}(t-1)$

[式146]

${\stackrel{\&RightArrow;}{I}}^{\left(k\right)}(t-1)$

在这样暂时地确定变量（S50）之后，使用等式（I）计算下式147（S52）。

[式147]

${\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left(t\right)$

接下来，使用下面的等式（II）（参考上面的等式（5.2））计算归属度γ_dk（S54）。

[式148]

${\mathrm{\&gamma;}}_{\mathrm{dk}}=\frac{{\mathrm{\&pi;}}_k^{\mathrm{old}}\exp [-\frac{1}{2}\mathrm{\&beta;}{({\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}-{\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left(t\right))}^2]}{{\mathrm{\&Sigma;}}_{k=1}^K{\mathrm{\&pi;}}_k^{\mathrm{old}}\exp [-\frac{1}{2}\mathrm{\&beta;}{({\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}-{\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left(t\right))}^2]}---\left(\mathrm{II}\right)$

接下来，使用下面的等式（III）计算π_k ^new（S56）。

[式149]

${\mathrm{\&pi;}}_k^{\mathrm{new}}=\frac{D_k}{D}---\left(\mathrm{III}\right)$

另外，在学习数据项目的数目D充分大于网络的节点的数目N的情况下，使用下述作为等式（I）、（II）和（III）。

[式150]

$p_n^{\left(k\right)}\left(t\right)=\frac{\mathrm{\&alpha;}}{\mathrm{\&alpha;}+\mathrm{\&beta;D}{\mathrm{\&Sigma;}}_{d=1}^N{p}_d^{\left(\mathrm{PR}\right)}{\mathrm{\&gamma;}}_{\mathrm{dk}}}{I}_n^{\left(k\right)}(t-1)+\frac{\mathrm{\&beta;D}{\mathrm{\&Sigma;}}_{d=1}^N{p}_d^{\left(\mathrm{PR}\right)}{\mathrm{\&gamma;}}_{\mathrm{dk}}{\mathrm{\&tau;}}_n^{\left(d\right)}}{\mathrm{\&alpha;}+\mathrm{\&beta;D}{\mathrm{\&Sigma;}}_{d=1}^N{p}_d^{\left(\mathrm{PR}\right)}{\mathrm{\&gamma;}}_{\mathrm{dk}}}.---\left(I\right)$

${\mathrm{\&gamma;}}_{\mathrm{dk}}=\frac{{\mathrm{\&pi;}}_k^{\mathrm{old}}\exp [-\frac{1}{2}\mathrm{\&beta;}{({\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}-{\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left(t\right))}^2]}{{\mathrm{\&Sigma;}}_{k=1}^K{\mathrm{\&pi;}}_k^{\mathrm{old}}\exp [-\frac{1}{2}\mathrm{\&beta;}{({\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}-{\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left(t\right))}^2]}---\left(\mathrm{II}\right)$

${\mathrm{\&pi;}}_k^{\mathrm{new}}={\mathrm{\&Sigma;}}_{d=1}^N{p}_d^{\left(\mathrm{PR}\right)}{\mathrm{\&gamma;}}_{\mathrm{dk}}---\left(\mathrm{III}\right)$

当如上所述完成步骤S52、S54和S56中的计算时，为了执行接下来的迭代运算，使用等式（I）至（III）获得的各变量的值被设置为表示一步之前的值的变量（时间点t-1处的概率和具有下标old的变量）（S58）。

另外，使用等式（5.5）获得评价值Q（在D充分大于N的情况下，使用等式（5.11）），确定获得的评价值Q与一步之前在时刻（t-1）获得的评价值Q之间的差是否足够小（例如，差的绝对值小于预定阈值ε）（S59）。也就是说，在步骤S59中，确定随着时间变化的迭代运算是否收敛。如果确定结果为否（否：当前与前一评价值Q之间的差没有足够小，即，没有收敛），则时刻t递进1，并且重复地执行从步骤S52至S58的处理。如果步骤S59中的确定结果为肯定（Y），则结束图4的处理。

当图4的处理结束时的等式（I）表示聚类k的部分马尔可夫链。因此，在图4中所示的过程中，等式（I）至（III）在时间逐步递进的同时迭代地计算，因此，对等式（I）中的参数D_k和γ_dk进行调整，并且从而定义各个聚类k的形式。

另外，虽然，在该示例中，如果各时间步的评价值（期望值）Q之间的差足够小，则确定迭代运算收敛，并且迭代运算（从步骤S52至S59的处理循环）结束，但是这仅是示例。可以预先设置迭代运算的上限次数，并且当将要执行的迭代运算的次数达到上限次数时，即使迭代运算没有收敛，迭代运算也结束。在该情况下，包括迭代运算结束时的各参数D_k和γ_dk的等式（I）可以用作用于规定马尔可夫链的各个聚类k的式。

使用狄利克雷事先分布的马尔可夫链聚类

当使用狄利克雷分布作为事先分布时，如下地表示结合概率。

[式151]

$P\left(\right\{{\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}\},\{{\stackrel{\&RightArrow;}{z}}^{\left(d\right)}\},\{{\stackrel{\&RightArrow;}{p}}^{\left(l\right)}\left(t\right)\left\}\right)={\mathrm{\&Pi;}}_{d=1}^D{\mathrm{\&Pi;}}_{k=1}^K{\left\{{\mathrm{\&pi;}}_k{\mathrm{\&Pi;}}_{n=1}^N{\left[p_n^{\left(k\right)}\left(t\right)\right]}^{{\mathrm{\&beta;\&tau;}}_n^{\left(d\right)}}\right\}}^{z_{\mathrm{dk}}}\&times;{\mathrm{\&Pi;}}_{l=1}^K\frac{1}{Z_l}{\left[p_n^{\left(l\right)}\left(t\right)\right]}^{\mathrm{\&alpha;}{I}_n^{\left(l\right)}(t-1)+1-1}$

$={\mathrm{\&Pi;}}_{d=1}^D{\mathrm{\&Pi;}}_{k=1}^K\left\{{{\mathrm{\&pi;}}_k}^{z_{\mathrm{dk}}}{\mathrm{\&Pi;}}_{n=1}^N{\left[p_n^{\left(k\right)}\left(t\right)\right]}^{\mathrm{\&beta;}{z}_{\mathrm{dk}}{\mathrm{\&tau;}}_n^{\left(d\right)}}\right\}\&times;{\mathrm{\&Pi;}}_{l=1}^K\frac{1}{Z_l}{\left[p_n^{\left(l\right)}\left(t\right)\right]}^{\mathrm{\&alpha;}{I}_n^{\left(l\right)}(t-1)+1-1}$ $\left(6.1\right)$

$={\mathrm{\&Pi;}}_{k=1}^K\left\{{{\mathrm{\&pi;}}_k}^{{\mathrm{\&Sigma;}}_{d=1}^D{z}_{\mathrm{dk}}}{\mathrm{\&Pi;}}_{n=1}^N{\left[p_n^{\left(k\right)}\left(t\right)\right]}^{\mathrm{\&beta;}{\mathrm{\&Sigma;}}_{d=1}^D{z}_{\mathrm{dk}}{\mathrm{\&tau;}}_n^{\left(d\right)}}\right\}\&times;{\mathrm{\&Pi;}}_{l=1}^K\frac{1}{Z_l}{\left[p_n^{\left(l\right)}\left(t\right)\right]}^{\mathrm{\&alpha;}{I}_n^{\left(l\right)}(t-1)+1-1}.$

另外，在该式中，如下地分别定义狄利克雷分布的参数。

[式152]

$\mathrm{\&beta;}{\mathrm{\&tau;}}_n^{\left(d\right)}+1$

[式153]

$\mathrm{\&alpha;}{I}_n^{\left(l\right)}(t-1)+1$

通过这样定义，例如，如果下式为0，则可以发生的所有情况的概率是均匀的（参考Bishop的书的图2.5）。

[式154]

$I_n^{\left(l\right)}(t-1)$

从贝叶斯理论获得下面的等式。

[式155]

${\mathrm{\&gamma;}}_{\mathrm{dk}}\&equiv;P(z_{\mathrm{kd}}=1|{\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)})=\frac{P(z_{\mathrm{kd}}=1)P\left({\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}\right|z_{\mathrm{kd}}=1)}{{\mathrm{\&Sigma;}}_{{\stackrel{\&RightArrow;}{z}}^{\left(d\right)}}P(z_{\mathrm{kd}}=1)P\left({\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}\right|z_{\mathrm{kd}}=1)}$

$=\frac{{\mathrm{\&pi;}}_k{\mathrm{\&Pi;}}_{n=1}^N{\left[p_n^{\left(k\right)}\left(t\right)\right]}^{\mathrm{\&beta;}{\mathrm{\&tau;}}_n^{\left(d\right)}}\&times;{\mathrm{\&Pi;}}_{l=1}^K{\left[p_n^{\left(l\right)}\left(t\right)\right]}^{\mathrm{\&alpha;}{I}_n^{\left(l\right)}(t-1)+1-1}}{{\mathrm{\&Sigma;}}_{k=1}^K{\mathrm{\&pi;}}_k{\mathrm{\&Pi;}}_{n=1}^N{\left[p_n^{\left(k\right)}\left(t\right)\right]}^{\mathrm{\&beta;}{\mathrm{\&tau;}}_n^{\left(d\right)}}\&times;{\mathrm{\&Pi;}}_{l=1}^K{\left[p_n^{\left(l\right)}\left(t\right)\right]}^{\mathrm{\&alpha;}{I}_n^{\left(l\right)}(t-1)+1-1}}=\frac{{\mathrm{\&pi;}}_k{\mathrm{\&Pi;}}_{n=1}^N{\left[p_n^{\left(k\right)}\left(t\right)\right]}^{\mathrm{\&beta;}{\mathrm{\&tau;}}_n^{\left(d\right)}}}{{\mathrm{\&Sigma;}}_{k=1}^K{\mathrm{\&pi;}}_k{\mathrm{\&Pi;}}_{n=1}^N{\left[p_n^{\left(k\right)}\left(t\right)\right]}^{\mathrm{\&beta;}{\mathrm{\&tau;}}_n^{\left(d\right)}}}.---\left(6.2\right)$

这里，如果取上述结合概率（即，下式156的对数），则这导致下式157。

[式156]

$P\left(\right\{{\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\},\{{\stackrel{\&RightArrow;}{z}}^{\left(d\right)}\},\{{\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}\left\}\right)={\mathrm{\&Pi;}}_{k=1}^K\left\{\left(\frac{{{\mathrm{\&pi;}}_k}^{{\mathrm{\&Sigma;}}_{d=1}^D{z}_{\mathrm{dk}}}}{z_k}\right){\mathrm{\&Pi;}}_{n=1}^N{\left[p_n^{\left(k\right)}\left(t\right)\right]}^{\mathrm{\&beta;}{\mathrm{\&Sigma;}}_{d=1}^D{z}_{\mathrm{dk}}{\mathrm{\&tau;}}_n^{\left(d\right)}+\mathrm{\&alpha;}{I}_n^{\left(k\right)}(t-1)+1-1}\right\}---\left(6.3\right)$

[式157]

$\ln P\left(\right\{{\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\},\{{\stackrel{\&RightArrow;}{z}}^{\left(d\right)}\},\{{\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}\left\}\right)={\mathrm{\&Sigma;}}_{k=1}^K{{\mathrm{\&Sigma;}}_{d=1}^D{z}_{\mathrm{dk}}\ln {\mathrm{\&pi;}}_k+{\mathrm{\&Sigma;}}_{k=1}^K\mathrm{\&Sigma;}}_{n=1}^N[\mathrm{\&beta;}{\mathrm{\&Sigma;}}_{d=1}^D{z}_{\mathrm{dk}}{\mathrm{\&tau;}}_n^{\left(d\right)}+\mathrm{\&alpha;}{I}_n^{\left(k\right)}(t-1)]\ln p_n^{\left(k\right)}\left(t\right).---\left(6.4\right)$

使用结合概率的对数如下地定义期望值Q。

[式158]

$Q\&equiv;E{\left[\ln P\left(\right\{{\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\},\{{\stackrel{\&RightArrow;}{z}}^{\left(d\right)}\},\{{\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}\left\}\right)\right]}_{P\left(\right\{{\stackrel{\&RightArrow;}{z}}^{\left(d\right)}\left\}\right|\left\{{\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}\right\})}$

$={\mathrm{\&Sigma;}}_{k=1}^K{\mathrm{\&Sigma;}}_{d=1}^D{\mathrm{\&gamma;}}_{\mathrm{dk}}\ln {\mathrm{\&pi;}}_k+{\mathrm{\&Sigma;}}_{k=1}^K{\mathrm{\&Sigma;}}_{n=1}^N[\mathrm{\&beta;}{\mathrm{\&Sigma;}}_{d=1}^D{\mathrm{\&gamma;}}_{\mathrm{dk}}{\mathrm{\&tau;}}_n^{\left(d\right)}+\mathrm{\&alpha;}{I}_n^{\left(k\right)}(t-1)]\ln p_n^{\left(k\right)}\left(t\right)---\left(6.5\right)$

另外，为了获得该等式，使用下面的关系式。

[式159]

这里，在下式160的约束下，对于下式161使期望值Q最大，这导致下面的关系式162。

[式160]

${\mathrm{\&Sigma;}}_{n=1}^N{p}_n^{\left(k\right)}\left(t\right)=1$

[式161]

$p_n^{\left(k\right)}\left(t\right)$

[式162]

$p_n^{\left(k\right)}\left(t\right)=\frac{\mathrm{\&beta;}{\mathrm{\&Sigma;}}_{d=1}^D{\mathrm{\&gamma;}}_{\mathrm{dk}}{\mathrm{\&tau;}}_n^{\left(d\right)}+\mathrm{\&alpha;}{I}_n^{\left(k\right)}(t-1)}{\mathrm{\&beta;}{D}_k+\mathrm{\&alpha;}}=\frac{\mathrm{\&alpha;}}{\mathrm{\&alpha;}+\mathrm{\&beta;}{D}_k}{I}_n^{\left(k\right)}(t-1)+\frac{\mathrm{\&beta;}{\mathrm{\&Sigma;}}_{d=1}^D{\mathrm{\&gamma;}}_{\mathrm{dk}}{\mathrm{\&tau;}}_n^{\left(d\right)}}{\mathrm{\&alpha;}+\mathrm{\&beta;}{D}_k}---\left(6.7\right)$

这里，给出下式。

[式163]

$D_k={\mathrm{\&Sigma;}}_{d=1}^D{\mathrm{\&gamma;}}_{\mathrm{dk}}.---\left(6.8\right)$

如下地推导该关系式。

[式164]

$\tilde{Q}\&equiv;Q+\mathrm{\&lambda;}(1-{\mathrm{\&Sigma;}}_{n=1}^N{p}_n^{\left(k\right)}\left(t\right)).$

$\frac{\&PartialD;\tilde{Q}}{\&PartialD;p_n^{\left(k\right)}\left(t\right)}=0:$

$[\mathrm{\&beta;}{\mathrm{\&Sigma;}}_{d=1}^D{\mathrm{\&gamma;}}_{\mathrm{dk}}{\mathrm{\&tau;}}_n^{\left(d\right)}+\mathrm{\&alpha;}{I}_n^{\left(k\right)}(t-1)]\frac{1}{p_n^{\left(k\right)}\left(t\right)}-\mathrm{\&lambda;}=0.$

$\mathrm{\&beta;}{\mathrm{\&Sigma;}}_{d=1}^D{\mathrm{\&gamma;}}_{\mathrm{dk}}{\mathrm{\&tau;}}_n^{\left(d\right)}+\mathrm{\&alpha;}{I}_n^{\left(k\right)}(t-1)=\mathrm{\&lambda;}{p}_n^{\left(k\right)}\left(t\right).$

${\mathrm{\&Sigma;}}_{n=1}^N:$

βＤ_k+α＝λ.

$p_n^{\left(k\right)}\left(t\right)=\frac{\mathrm{\&beta;}{\mathrm{\&Sigma;}}_{d=1}^D{\mathrm{\&gamma;}}_{\mathrm{dk}}{\mathrm{\&tau;}}_n^{\left(d\right)}+\mathrm{\&alpha;}{I}_n^{\left(k\right)}(t-1)}{\mathrm{\&beta;}{D}_k+\mathrm{\&alpha;}}=\frac{\mathrm{\&alpha;}}{\mathrm{\&alpha;}+\mathrm{\&beta;}{D}_k}{I}_n^{\left(k\right)}(t-1)+\frac{\mathrm{\&beta;}{\mathrm{\&Sigma;}}_{d=1}^D{\mathrm{\&gamma;}}_{\mathrm{dk}}{\mathrm{\&tau;}}_n^{\left(d\right)}}{\mathrm{\&alpha;}+\mathrm{\&beta;}{D}_k}.$

另外，在下式165的约束下，对于下式166使期望值Q最大，这导致下面的关系式167。

[式165]

${\mathrm{\&Sigma;}}_{k=1}^K{\mathrm{\&pi;}}_k=1$

[式166]

π_k

[式167]

${\mathrm{\&pi;}}_k=\frac{D_k}{D}.---\left(6.9\right)$

在学习数据项目的数目D充分大于网络的节点的数目N的情况下，能够如下地近似等式（6.5）的期望值Q。

[式168]

$Q\&equiv;E{\left[\ln P\left(\right\{{\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}\},\{{\stackrel{\&RightArrow;}{z}}^{\left(d\right)}\},\{{\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left\}\right)\right]}_{P\left(\right\{{\stackrel{\&RightArrow;}{z}}^{\left(d\right)}\left\}\right|\left\{{\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(d\right)}\right\})}$

$={\mathrm{\&Sigma;}}_{k=1}^K{\mathrm{\&Sigma;}}_{d=1}^{N}D{p}_d^{\left(\mathrm{PR}\right)}{\mathrm{\&gamma;}}_{\mathrm{dk}}\ln {\mathrm{\&pi;}}_k+{\mathrm{\&Sigma;}}_{k=1}^K{\mathrm{\&Sigma;}}_{n=1}^N\left[\mathrm{\&beta;}{\mathrm{\&Sigma;}}_{d=1}^{N}D{p}_d^{\left(\mathrm{PR}\right)}{\mathrm{\&gamma;}}_{\mathrm{dk}}{\mathrm{\&tau;}}_n^{\left(d\right)}+\mathrm{\&alpha;}{I}_n^{\left(k\right)}(t-1)\right]\ln p_n^{\left(k\right)}\left(t\right).---\left(6.10\right)$

这里，在下式169的约束下，对于下式170使期望值Q最大，这导致下面的关系式171。

[式169]

${\mathrm{\&Sigma;}}_{n=1}^N{p}_n^{\left(k\right)}\left(t\right)=1$

[式170]

$p_n^{\left(k\right)}\left(t\right)$

[式171]

$p_n^{\left(k\right)}\left(t\right)=\frac{\mathrm{\&alpha;}}{\mathrm{\&alpha;}+\mathrm{\&beta;}D{\mathrm{\&Sigma;}}_{d=1}^N{p}_d^{\left(\mathrm{PR}\right)}{\mathrm{\&gamma;}}_{\mathrm{dk}}}{I}_n^{\left(k\right)}(t-1)+\frac{\mathrm{\&beta;D}{\mathrm{\&Sigma;}}_{d=1}^N{p}_d^{\left(\mathrm{PR}\right)}{\mathrm{\&gamma;}}_{\mathrm{dk}}{\mathrm{\&tau;}}_n^{\left(d\right)}}{\mathrm{\&alpha;}+\mathrm{\&beta;}D{\mathrm{\&Sigma;}}_{d=1}^N{p}_d^{\left(\mathrm{PR}\right)}{\mathrm{\&gamma;}}_{\mathrm{dk}}}.---\left(6.11\right)$

另外，在下式172的约束下，对于下式173使期望值Q最大，这导致下面的关系式174。

[式172]

${\mathrm{\&Sigma;}}_{k=1}^K{\mathrm{\&pi;}}_k=1$

[式173]

π_k

[式174]

${\mathrm{\&pi;}}_k=\frac{D{\mathrm{\&Sigma;}}_{d=1}^N{p}_d^{\left(\mathrm{PR}\right)}{\mathrm{\&gamma;}}_{\mathrm{dk}}}{D}={\mathrm{\&Sigma;}}_{d=1}^N{p}_d^{\left(\mathrm{PR}\right)}{\mathrm{\&gamma;}}_{\mathrm{dk}}.---\left(6.12\right)$

综上，在使用狄利克雷分布的示例中，关于学习数据d的马尔可夫链由下面的等式（I）（与上面的等式（6.7）和（6.8）相同）来表示。

[式175]

$p_n^{\left(k\right)}\left(t\right)=\frac{\mathrm{\&beta;}{\mathrm{\&Sigma;}}_{d=1}^D{\mathrm{\&gamma;}}_{\mathrm{dk}}{\mathrm{\&tau;}}_n^{\left(d\right)}+\mathrm{\&alpha;}{I}_n^{\left(k\right)}(t-1)}{\mathrm{\&beta;}{D}_k+\mathrm{\&alpha;}}=\frac{\mathrm{\&alpha;}}{\mathrm{\&alpha;}+\mathrm{\&beta;}{D}_k}{I}_n^{\left(k\right)}(t-1)+\frac{\mathrm{\&beta;}{\mathrm{\&Sigma;}}_{d=1}^D{\mathrm{\&gamma;}}_{\mathrm{dk}}{\mathrm{\&tau;}}_n^{\left(d\right)}}{\mathrm{\&alpha;}+\mathrm{\&beta;}{D}_k}---\left(I\right)$

这里，给出下式176。

[式176]

$D_k={\mathrm{\&Sigma;}}_{d=1}^D{\mathrm{\&gamma;}}_{\mathrm{dk}}$

使用狄利克雷事先分布的情况下的聚类处理的过程可以与图4中示例的使用高斯事先分布的情况中的过程相同。

也就是说，在这些过程中，如图4的步骤S50中所示，暂时地确定等式（I）的右侧的各项中包括的变量的值。另外，假设例如以与网页排名算法的情况相同的方法基于网络的链接结构等等预先获得转移概率矩阵T。此外，α和β是等式（6.1）等等中所示的狄利克雷分布的参数，并且这些值由用户指定。

根据暂时确定的下式177，设置等式（I）的右侧的下式178（参考等式（4.4a）和（4.4b））。

[式177]

${\stackrel{\&RightArrow;}{p}}^{\left(k\right)}(t-1)$

[式178]

${\stackrel{\&RightArrow;}{I}}^{\left(k\right)}(t-1)$

在这样暂时地确定变量（S50）之后，使用等式（I）计算下式179（S52）。

[式179]

${\stackrel{\&RightArrow;}{p}}^{\left(k\right)}\left(t\right)$

接下来，使用下面的等式（II）（参考上面的等式（6.2））计算归属度γ_dk（S54）。

[式180]

${\mathrm{\&gamma;}}_{\mathrm{dk}}=\frac{{\mathrm{\&pi;}}_k{\mathrm{\&Pi;}}_{n=1}^N{\left[p_n^{\left(k\right)}\left(t\right)\right]}^{\mathrm{\&beta;}{\mathrm{\&tau;}}_n^{\left(d\right)}}}{{\mathrm{\&Sigma;}}_{k=1}^K{\mathrm{\&pi;}}_k{\mathrm{\&Pi;}}_{n=1}^N{\left[p_n^{\left(k\right)}\left(t\right)\right]}^{\mathrm{\&beta;}{\mathrm{\&tau;}}_n^{\left(d\right)}}}.---\left(\mathrm{II}\right)$

接下来，使用下面的等式（III）计算π_k ^new（S56）。

[式181]

${\mathrm{\&pi;}}_k^{\mathrm{new}}=\frac{D_k}{D}---\left(\mathrm{III}\right)$

另外，在学习数据项目的数目D充分大于网络的节点的数目N的情况下，可以使用等式（6.11）和（6.12）替代等式（I）和（III）。

其它的处理步骤与高斯事先分布的处理步骤相同。

在使用狄利克雷事先分布的示例中，同样地，当图4的迭代处理结束时的等式（I）表示聚类k的部分马尔可夫链。因此，在图4中所示的过程中，等式（I）至（III）在时间逐步递进的同时迭代地计算，因此，对等式（I）中的参数D_k和γ_dk进行调整，并且从而定义各个聚类k的形式。

如上，已经描述了学习马尔可夫链的聚类的方法的一些示例。如果对马尔可夫链进行聚类，则这意味着，节点也能够被聚类。换言之，使用马尔可夫链的聚类结果获得各个聚类k（部分马尔可夫链）的稳态，并且获得稳态中各个节点上可以存在代表的概率作为节点n对于聚类k的归属度，从而对节点进行聚类。更具体地，例如，可以根据该方法使用马尔可夫链的聚类结果（即，图4的迭代处理结束时的等式（I））对网络上的节点组进行聚类。

可以通过与根据实施方式的系统中的节点组的聚类（即，通过等式（V）的迭代计算获得稳态的方法）相同的处理来执行该情况下的节点组的聚类。

换言之，即使在使用高斯分布或者狄利克雷分布作为事先分布的情况下，图4的迭代处理结束时的等式（I）被随着时间的递进而迭代地进行计算。当通过该迭代达到稳态时，获得稳态中的各个聚类编号k的活性向量（与上述实施方式中的等式（VI）相同，即，归属度向量）。活性向量的各个分量（即，下式）表示“节点n对于聚类k的归属度”。

[式182]

$p_n^{[s,k]}$

也就是说，该值越大，节点n可以归属于聚类k的概率越高。因此，归属度向量表示根据节点编号n的网络上的各个节点对于聚类k的归属度。这是对节点进行聚类的结果。能够说，各个节点n在由0以上且1以下的数值表示的程度上属于各个聚类k，该数值是各个归属度向量中的节点n的分量。另外，可以预先设置用于归属度的阈值，并且可以确定的是，对于各个聚类k的归属度等于或大于阈值的节点是属于该聚类k的节点。在该情况下，同一节点n可以属于多个不同的聚类k。

另外，在上面的描述中，可以使用诸如从用户的搜索历史获得的种向量、网络上的各个节点的链接状态和存在随机漫步者的节点的观察结果（参考式98）的各种示例以及下面的其它学习数据项目，作为用于学习对马尔可夫链进行聚类的学习数据。

[式183]

${\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(m\right)}=(T_{1m},T_{2m},\&CenterDot;\&CenterDot;\&CenterDot;,T_{\mathrm{Nm}})(m=1,\&CenterDot;\&CenterDot;\&CenterDot;,N)$

[式184]

T_mn

这里，式184是转移概率矩阵的分量。

[式185]

${\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(m\right)}$

换言之，第m个学习数据式185是具有网络上从节点m到各个节点n（其中，n=1，……和N）的转移概率作为第n分量的向量。

[式186]

${\stackrel{\&RightArrow;}{\mathrm{\&tau;}}}^{\left(m\right)}$

[式187]

$D{p}_m^{\left(\mathrm{PR}\right)}$

假设学习数据项目的数目D充分大于网络上的节点的数目N，则认为，在D当中，式186出现对应于式187的次数。

[式188]

$p_m^{\left(\mathrm{PR}\right)}$

[式189]

${\stackrel{\&RightArrow;}{p}}^{\left(\mathrm{PR}\right)}$

这里，式188是预先独立计算的马尔可夫链（等式（3.2a）和（3.2b））的稳态（式189）的第m个分量。这时，不需要在等式（3.2b）中获得1至D的总和m，并且可以考虑交叠仅计算1至N的总和m。

如上，已经描述了聚类的另一示例。通过例如图3的设备构造中的聚类处理器16执行示例的聚类处理。在该情况下，聚类处理器16可以通过使用网络信息存储装置10中存储的相邻矩阵A_nm的信息和学习数据存储装置14中存储的学习数据来执行上述处理（参考图4）。

另外，虽然，在上面的描述中，已经描述了使用高斯分布和狄利克雷分布作为事先分布的示例，但是可以使用其它概率分布作为事先分布。

根据上述“聚类的另一示例”，当由（节点的数目N的平方）×（聚类的数目K）控制速率时，在计算时间中对网络进行聚类。

在上述实施方式和“聚类的另一示例”中所示的聚类方法中，活性向量p具有跟随网络上的链接并且从节点转移到节点的代表在同一时刻存在于网络上的各个节点的概率作为分量，通过使用表示活性向量的随机动态的各个聚类的关系式（即，等式（I）至（III）、（IIIa）、（IIIb）和（IIIc））根据前一时刻的活性向量计算当前时刻的活性向量。各个聚类的关系式被设置为：在当前时刻的活性向量遵循预先定义的概率分布（例如，高斯分布或者狄利克雷分布），作为观察结果获得学习数据的情况下的活性向量的似然性最大（即，使等式（4.3）、（5.3）、（6.1）等等中所示的结合概率最大），所述预先定义的概率分布以根据基于网络的链接结构的马尔可夫链的转移概率矩阵的前一时刻的活性向量的转移结果为中心。另外，如图1和图4中示例的，对于各个聚类，随着时间的递进迭代地计算关于聚类的关系式，以顺序地更新关系式中包括的参数，并且包括迭代计算满足特定结束条件（例如，图1的步骤S20或图4的步骤S59）时的参数的关系式被确定为表示聚类的等式。

例如通过执行表示通用计算机中的上述各功能模块的处理的程序来实现上面示例的搜索系统。这里，计算机具有下述电路构造，其中，例如，作为硬件，诸如CPU的微处理器、诸如随机访问存储器（RAM）和只读存储器（ROM）的存储器（主存储器）、控制HDD（硬盘驱动器）的HDD控制器、各种I/O（输入输出）接口、执行用于连接到诸如局域网的网络的控制的网络接口等等经由例如总线彼此连接。另外，用于经由I/O接口从诸如CD或DVD的便携式盘记录介质读取信息和/或将信息写入其上的盘驱动器、用于从诸如闪存的各种规格的便携式非易失性记录介质读取信息和/或将信息写入其上的存储器读取器-写入器等等可以连接到总线。其中描述上面示例的各功能模块的处理内容的程序被经由诸如CD或DVD的记录介质或者诸如网络的通信单元保存在诸如硬盘驱动器的固定存储装置中，并且被安装在计算机中。固定存储装置中存储的程序被读取到RAM，并且由诸如CPU的微处理器执行，从而实现上面示例的功能模块组。另外，可以由诸如专用LSI（大规模集成电路）、ASIC（专用集成电路）或FPGA（场可编程门阵列）的硬件电路构造全部功能模块组或其一部分。

已经为了示出和描述的目的提供了本发明的示例性实施方式的前面的描述。并不意在是完全的，或者将本发明限制到所公开的具体形式。显而易见的是，很多修改和变化对于本领域技术人员来说都将是显而易见的。选择并描述了实施方式以最好滴说明本发明的原理及其实际应用，从而使得本领域技术人员能够理解本发明的各种实施方式和适合于能够想到的特定用途的各种修改。想要的是，本发明的范围由所附权利要求及其等价物来限定。

Claims (5)

1.一种搜索方法，所述搜索方法包括：

获取学习数据；

对于聚类划分，使用所述学习数据执行机器学习，并且计算表示学习结果的各聚类的各有偏马尔可夫链的稳态以求出并且存储表示网络上的各个节点对于所述学习结果的各个聚类的归属度的归属度信息，其中，在所述聚类划分中，将由多个节点和将所述多个节点彼此连接的多个链接形成的网络上的经由从节点到节点的链接的转移马尔科夫链划分为多个聚类，各个聚类由有偏马尔可夫链表示；

从用户接收搜索条件；

基于与从用户接收的所述搜索条件匹配的节点组和所述归属度信息提取适合所述搜索条件的聚类；

切出由属于通过聚类提取步骤提取的所述聚类的节点组形成的部分网络；以及

对于切出的所述部分网络执行以与所述搜索条件匹配的节点组作为种向量的个性化排名算法的运算来计算所述部分网络上的各个节点的重要度，并且基于计算出的所述重要度生成与所述搜索条件相关的针对所述用户的搜索结果。

2.根据权利要求1所述的搜索方法，

其中，所述学习数据是与针对各个用户在过去由搜索条件接收步骤从用户接收的各个搜索条件相关的搜索结果的数据，

其中，机器学习步骤针对各个用户使用与对应的用户相关的过去的搜索结果数据执行针对各个用户的聚类划分的机器学习，按照作为学习结果的针对各个用户的聚类划分，针对各个用户求出并且存储所述归属度信息，并且

其中，聚类提取步骤使用与作为所述搜索条件的发布源的用户相应的所述归属度信息提取适合于所述搜索条件的聚类。

3.一种搜索装置，所述搜索装置包括：

学习数据获取单元，所述学习数据获取单元获取学习数据；

存储器单元，所述存储器单元对于聚类划分使用学习数据执行机器学习，并且计算表示学习结果的各个聚类的各个有偏马尔可夫链的稳态以获得并且存储表示网络上的各个节点对于所述学习结果的各个聚类的归属度的归属度信息，在所述聚类划分中，将由多个节点和将所述多个节点彼此连接的多个链接形成的网络上的经由从节点到节点的链接的转移马尔科夫链划分为多个聚类，各个聚类由有偏马尔可夫链表示；

搜索条件接收单元，所述搜索条件接收单元从用户接收搜索条件；

聚类提取单元，所述聚类提取单元基于与从所述用户接收的所述搜索条件匹配的节点组和所述归属度信息提取适合所述搜索条件的聚类；

部分网络切出单元，所述部分网络切出单元从所述网络切出由属于所述聚类提取单元提取的聚类的节点组形成的部分网络；以及

重要度计算单元，所述重要度计算单元对于切出的所述部分网络执行以与所述搜索条件匹配的节点组作为种向量的个性化排名算法的运算来计算所述部分网络上的各个节点的重要度，并且基于计算出的重要度生成与所述搜索条件相关的针对所述用户的搜索结果。

4.一种搜索方法，所述搜索方法包括：

获取学习数据；

对于聚类划分，使用所述学习数据执行机器学习，并且计算表示学习结果的各聚类的各有偏马尔可夫链的稳态以求出并且存储表示网络上的各个节点对于所述学习结果的各个聚类的归属度的归属度信息，其中，在所述聚类划分中，将由多个节点和将所述多个节点彼此连接的多个链接形成的网络上的经由从节点到节点的链接的转移马尔科夫链划分为多个聚类，各个聚类由有偏马尔可夫链表示；

从用户接收搜索条件；

基于与从用户接收的所述搜索条件匹配的节点组和所述归属度信息提取适合所述搜索条件的聚类；

从网络切出由属于所提取的聚类的节点组形成的部分网络；以及

对于切出的所述部分网络执行以与所述搜索条件匹配的节点组作为种向量的个性化排名算法的运算来计算所述部分网络上的各个节点的重要度，并且基于计算出的所述重要度生成与所述搜索条件相关的针对所述用户的搜索结果。

5.一种聚类装置，所述聚类装置包括：

计算单元，所述计算单元对于活性向量，使用表示该活性向量的随机动态的用于各个聚类的关系式，根据前一时刻的活性向量计算当前时刻的活性向量，所述活性向量具有在同一时刻在网络的各个节点上存在在网络上沿着链接从节点转移到节点的代表的概率作为分量；以及

指定单元，所述指定单元通过由所述计算单元针对各个聚类随着时间的递进迭代地计算关于该聚类的所述关系式来顺序地更新所述关系式中包括的参数，并且当所述计算单元对于所述关系式的计算满足结束条件时，基于所述参数指定聚类，

其中，用于各聚类的所述关系式被设置为：当前时刻的活性向量遵循预先定义的概率分布，作为观察结果获得学习数据的情况下的活性向量的似然性最大，所述预先定义的概率分布以根据基于网络的链接结构的马尔科夫链的转移概率矩阵的前一时刻的活性向量的转移结果为中心。

Images