CN112257865A - 一种gpu上的基于着色优化的置信传播方法 - Google Patents

Abstract

本发明公开了一种GPU上的基于着色优化的置信传播方法。本发明通过使用信息残差大的顶点对信息残差小的顶点进行固定步长的着色操作，在整个图模型上形成多个以信息残差大的顶点为中心的分区，将该顶点命名为中心点；在每个分区中，按照最远顶点到中心点以及中心点到最远点的顺序对边上的信息进行更新操作，以完成每次迭代的置信传播计算。本发明能够保证置信传播方法在短时间内收敛大多数顶点。

Description

一种GPU上的基于着色优化的置信传播方法

技术领域

本发明涉及使用异构系统进行置信传播计算的方法，具体的说是一种GPU上的基于着色优化的置信传播方法。

背景技术

置信传播(Belief Propagation,BP)是一种在概率随机图上进行近似推断的信息传递算法，它是很多重要领域的基础算法，包括：在通信领域广泛应用的极化码编码(Polarcodes)和低密度奇偶校验编码(Low-Density Parity-Check,LDPC)、计算机视觉、蛋白质折叠等。例如：在计算机视觉中，立体匹配和图像去噪这种“像素标记”相关的应用需求可以直接看成最大后验(MAP)问题，这些问题可以通过最大乘积置信传播方法(Max-Product BP)成功解决。在概率图模型中，每个结点表示一个随机变量，其按照不同的概率取不同的标记值，结点之间的边表示这些随机变量之间的概率关系。其中，所有随机变量的联合概率分布可以表示成若干随机变量子集的乘积。置信传播算法利用结点与结点之间相互传递信息而更新当前整个概率图模型的标记状态。置信传播的计算往往需要多次迭代。经过多次迭代，无环路的概率图模型可以保证所有结点的置信度不再发生变化，即所有结点达到收敛状态。有环路的概率图模型不能保证所有结点达到收敛状态，但在多次迭代后，其未收敛的结点数目会逐渐稳定。早期的置信传播大多为串行方法，通过调整边上信息的更新顺序达到性能优化的效果。如：残差置信传播(Residual belief propagation,RBP)每次只更新信息残差最大的边上的信息。Loopy BP(LBP)是最直接的并行方案，其每次迭代更新所有未收敛边上的信息。但是研究表明这种方法最终的收敛度非常低。Residual Splash(RS)方法以信息残差最大的点为中心，按广度优先遍历顺序的正、反方向对边上的信息进行更新。近些年来，图形处理器(Graphics Processing Units，GPU)在并行图计算领域得到了广泛的应用，信息更新计算是置信传播中的主要计算任务，其非常适合于并行处理，因此GPU能显著提升置信传播计算的速度。RnBP方法是一种在GPU上实现的置信传播算法，其按一定比例更新未收敛信息使算法在收敛速度与收敛度间进行权衡。以上方法都存在明显缺陷，RS方法中的顶点排序操作不适合GPU的并行架构，并且RS需要申请大量内存来记录每个步长中需要处理的顶点值。而RnBP算法未考虑信息的更新顺序，导致计算资源的浪费。

发明内容

针对现有技术中存在的技术问题，本发明的目的在于提供一种GPU上的基于着色优化的置信传播方法，本发明充分考虑GPU的架构特征与置信传播中信息更新顺序，作为提升并行置信传播计算效率的关键因素，利用着色操作对未收敛的信息进行分区并规定更新顺序，提升了置信传播方法整体的运行效率，并根据用户的不同计算需求，提出不同的置信传播方法，对相应的计算阶段进行专门优化。

本发明的技术方案如下：

一种GPU上的基于着色优化的置信传播方法，其步骤包括：

1)将需要处理的概率图数据G(V,E,Ψ)加载到设备内存中；其中V为概率图的顶点集，E为概率图的边集，Ψ为概率集，包括概率图中每个顶点取不同标记的概率值和每条边对应的转移概率值；每个顶点v_i对应于集合

中的一个离散随机变量X_i，

n为顶点总数，X_i∈A_i，A_i为有限标签集；每一条边(v_i,v_j)对应于两个顶点v_i和v_j上变量不同取值之间的概率关系；设置每次着色操作的迭代次数C_n、判断信息是否收敛的阈值ξ以及置信传播结束计算的时间阈值T_ξ；

2)初始化信息变量数组M及其缓冲变量数组M’均为0，为每个线程分配一个边信息计算任务，计算每个边上的信息值并记录到变量数组M中；第一次迭代时根据变量数组M当前值和M’中的初始值，计算第一次迭代时每条边上的信息残差R；然后将变量数组M的值复制到变量数组M’中；后续每次迭代时进行步骤3)～8)；

3)用V_color表示顶点的color值，每个顶点的color值初始化为对应顶点的ID；用V_wave表示顶点的wave值并初始化为0，用E_wave表示边上的wave值并初始化为0；

4)为每个线程分配一个边信息计算任务，计算对应边上的信息值并记录到变量数组M中；

5)为每个线程分配一个顶点v_i任务，将当前顶点v_i的顶点残差初始化为0，然后遍历以该顶点v_i为终点的边，如果该边上的信息残差大于该顶点v_i的顶点残差，则将其赋值给顶点v_i的顶点残差；

6)根据顶点残差进行C_n次迭代的着色操作：为每个线程分配一个顶点v_i任务，遍历以该顶点v_i为终点的边e_j,i，如果边e_j,i的起点v_j的顶点残差大于顶点v_i的顶点残差，则将顶点v_j的ID赋值给顶点的color值，更新顶点v_i的wave值为顶点v_j的wave值加1、边e_j,i的wave值为顶点v_i的wave值；此过程迭代进行C_n次，完成C_n次迭代着色操作；

7)先按边的wave值倒序对边的信息值进行更新，然后按边的wave值正序对边的信息值进行更新；

8)根据变量数组M、缓冲变量数组M’中的信息，计算当前迭代时每条边上的信息残差R；然后将变量数组M的值复制到变量数组M’中；M’用于保存上次迭代得到的信息值；

9)根据当前信息残差R与预设的阈值判断是否结束计算：如果每条边的信息残差R均小于阈值ξ，则结束计算，跳转到步骤10)；或者如果信息残差R中小于阈值ξ的变量数趋于稳定，则结束计算，跳转到步骤10)；如果执行时间大于或等于时间阈值T_ξ，则结束计算，跳转到步骤10)；否则继续进行迭代计算；

10)根据最终计算所得的边的信息值计算出每个顶点取不同变量时的概率值，即每个顶点的置信度。

进一步的，按照公式

计算或更新每个边上的信息值m_i→j；按照公式

计算第t次迭代时边e_i,j上的信息残差

其中，x_i为变量X_i的一个取值，x_i所对应的一元势函数ψ_i(x_i)表示为

x_i、x_j之间的二元势函数ψ_i,j表示为

x_j为变量X_j的一个取值，X_j∈A_j，A_j为有限标签集；Γ_i表示顶点v_i的邻接顶点。

进一步的，根据公式

计算顶点v_i取不同变量时的概率值。

进一步的，步骤6)之后，将具有相同color值的顶点划分到同一分区中，将分区中ID与color值相同的顶点作为该分区的中心点；在同一个分区中，距离中心点越近的顶点或边，其wave值越小；如果中心点已经被其它顶点着色，则判定与该中心点color值相同的顶点所形成的分区是不完整的；对不完整分区中的信息进行过滤，其中过滤方法为：为每个线程分配一个顶点v_i任务，检查以该顶点v_i的color值为ID的顶点v_j的color值，如果顶点v_j的color值与顶点v_j的ID不同，则顶点v_i属于一个不完整的分区，将以顶点v_i为终点的所有边的wave值设为0。

进一步的，按边的wave值倒序对边的信息值进行更新的方法为：设wave值的取值分别为[C_n,…,1]，则从wave值最大的边开始，依次选取各边按公式

更新每个边上的信息值m_i→j，并将计算结果记录到变量数组M中。

进一步的，按边的wave值正序对边的信息值进行更新的方法为：设wave值的取值分别为[1,…,C_n]，则从wave值最小的边开始，依次选取各边按公式

更新每个边上的信息值m_i→j，并将计算结果记录到变量数组M中。

一种GPU上的基于着色优化的置信传播方法，其步骤包括：

1)将需要处理的概率图数据G(V,E,Ψ)加载到设备内存中；其中V为概率图的顶点集，E为概率图的边集，Ψ为概率集，包括概率图中每个顶点取不同标记的概率值和每条边对应的转移概率值；每个顶点v_i对应于集合

中的一个离散随机变量X_i，

n为顶点总数，X_i∈A_i，A_i为有限标签集；每一条边(v_i,v_j)对应于两个顶点v_i和v_j上变量不同取值之间的概率关系；设置信息更新率u下降的迭代次数阈值D_n，即每进行D_n次迭代后，信息更新率u下降一个设定比例；设置判断信息是否收敛的阈值ξ以及置信传播结束计算的时间阈值T_ξ；

2)初始化信息变量数组M及其缓冲变量数组M’均为0，为每个线程分配一个边信息计算任务，计算每个边上的信息值并记录到变量数组M中；第一次迭代时根据变量数组M当前值和M’中的初始值，计算第一次迭代时每条边上的信息残差R；然后将变量数组M的值复制到变量数组M’中；后续每次迭代时进行步骤3)～5)；

3)为每个线程分配一个边上信息值的计算任务，线程随机生成一个[0,1]范围内的r，如果r小于u，则线程对所分配边的信息值进行更新，并将更新结果记录到变量数组M中；

4)为每个线程分配一个边信息计算任务，计算对应边上的信息值并记录到变量数组M中；

5)根据变量数组M、缓冲变量数组M’中的信息，计算当前迭代时每条边上的信息残差R；然后将变量数组M的值复制到变量数组M’中；M’用于保存上次迭代得到的信息值；

6)根据当前信息残差R与预设的阈值判断是否结束计算：如果每条边的信息残差R均小于阈值ξ，则结束计算，跳转到步骤7)；或者如果信息残差R中小于阈值ξ的变量数趋于稳定，则结束计算，跳转到步骤7)；如果执行时间大于或等于时间阈值T_ξ，则结束计算，跳转到步骤7)；否则继续进行迭代计算；

7)根据最终计算所得的边的信息值计算出每个顶点取不同变量时的概率值，即每个顶点的置信度。

进一步的，按照公式

计算或更新每个边上的信息值m_i→j；按照公式

计算第t次迭代时边e_i,j上的信息残差

其中，x_i为变量X_i的一个取值，x_i所对应的一元势函数ψ_i(x_i)表示为

x_i、x_j之间的二元势函数ψ_i,j表示为

x_j为变量X_j的一个取值，X_j∈A_j，A_j为有限标签集；Γ_i表示顶点v_i的邻接顶点。

进一步的，根据公式

计算顶点v_i取不同变量时的概率值。

进一步的，将信息更新率u初始化为100％，每进行D_n次迭代后，信息更新率u降低10％，直到u降低到10％后，u保持为10％不再变化。

本发明主要创新之处包括：

1.针对短时间内使尽量多的信息达到收敛状态的计算需求，提出了Color Wave(CW)算法。通过使用信息残差大的顶点对信息残差小的顶点进行固定步长的着色操作，在整个图模型上形成多个以信息残差大的顶点为中心的分区，将该顶点命名为中心点。在每个分区中，按照最远顶点到中心点以及中心点到最远点的顺序对边上的信息进行更新操作，以完成每次迭代的置信传播计算。保证了置信传播方法在短时间内收敛大多数顶点。

2.针对在全局都有较高收敛速度的计算需求，提出Color Extract(CE)算法，该算法直接使用信息残差大的边对信息残差小的边进行一次着色操作，则信息残差大的边会对与其相连的所有边进行着色，只更新这些信息残差大的边上的信息，降低了每次迭代置信传播的计算量，提升了置信传播算法在整个计算过程中的收敛速度。

3.针对在算法稳定后有较高收敛度的计算需求，提出了Random Drop(RD)算法，通过逐步降低未收敛信息的更新率，使得算法在整个计算过程中都保持较高的收敛速度，并且算法稳定时有较高的收敛度。

整个算法方案如附图1所示，该图描述了根据用户不同的计算需求执行不同的置信传播操作的详细过程。

本发明方法具有以下的优点及效果：

1.根据用户的不同计算需求提出了三种置信传播的执行方案。每个执行方案在算法的整体运行阶段都能保持较高的收敛速度，并且在算法稳定后有较高的收敛度。每种算法在各自适应的计算阶段优化效果明显。

2.CW算法能够使置信传播在短时间内收敛大多数的信息。其通过对顶点进行固定步数着色操作将概率图分成若干个分区，并且设定每个分区中信息残差最大的顶点为中心点，按照到中心点的距离由远及近和由近到远的顺序更新边上的信息，可以保证每次迭代中收敛尽量多的信息，从而使得CW算法在短时间内收敛大多数的信息。

3.从算法开始到收敛的顶点数趋于稳定的整个计算过程中，CE算法能够使置信传播一直保持较高的收敛速度。同样借助于着色操作，CE算法强调了每次迭代的运行效率，其通过对边进行一次着色操作，选出邻接边中信息残差最大的边，并且只更新该边上的信息，使得每次迭代的更新都能快速完成，并且只更新了最需要更新的信息，减少了计算资源的浪费，使得置信传播在整个运行过程中一直保持较高的收敛速度。

4.RD能够保证置信传播一直保持较高的收敛速度，并且当算法达到稳定时，有较高的收敛度。在RnBP方法中，作者提出当置信传播方法中信息更新率设置较高时，虽然其收敛速度很快，但是算法达到稳定时的收敛度很低。我们进行一步研究发现，在置信传播计算过程中，当信息更新率由高向低进行调节时，置信传播的收敛速度会明显的提升，而信息更新率由低向高进行调节时，置信传播的收敛度会极具下降，甚至有很多信息从收敛状态重新变为不收敛状态。RD算法逐步降低算法的信息更新率，使其收敛速度高于使用固定信息更新率的方法，并且当算法达到稳定时，有较高的收敛度。

附图说明

图1是本发明的一种GPU上的基于着色优化的置信传播方法流程图。

图2是本发明中CW方法与传统方法在不同图数据上的计算效率对比示意图；

(a)100秒内，取不同阈值Cn的CW算法在图Ising_1250_3上进行置信传播计算未收敛信息数随着迭代次数的变化情况；

(b)100秒内，不同阈值Cn的CW算法与其他对比算法在图Ising_1500_3上进行置信传播计算的未收敛信息数随着时间的变化情况。

图3是本发明中CE方法与传统方法在不同图数据上的计算效率对比示意图；

(a)在前50次迭代置信传播计算中，CE算法与不同阈值Cn的CW算法在图Ising_1500_3上未收敛信息数随着迭代次数的变化情况；

(b)100秒内，不同算法在图Ising_1500_3上进行置信传播计算未收敛信息数随时间变化情况。

图4是本发明中RD方法与传统方法在不同图数据上的计算效率对比示意图；

(a)不同信息更新率的随机算法在图Ising_1500_2.5上进行置信传播计算未收敛信息数随着迭代次数的变化情况；

(b)RD算法与其他对比算法在图Ising_1500_3上进行置信传播计算未收敛信息数随着迭代次数的变化情况。

图5是本发明中所有方法与传统方法在不同硬件设备上的计算效率对比示意图；

(a)在硬件GeForce 1050ti上，100秒内不同算法在图Ising_1500_3上进行置信传播计算未收敛信息数随着时间的变化情况；

(b)在硬件Tesla K80上，100秒内不同算法在图Ising_1500_3上进行置信传播计算未收敛信息数随着时间的变化情况。

具体实施方式

下面通过具体实施例和附图，对本发明做进一步详细说明。

如附图1所示，本发明方法的实施过程由三个主要的计算方案组成，根据用户的不同计算需求选择不同的计算方案。其中，CW方案适合于在极短时间内使大多数信息收敛的计算需求。该方案分两个阶段，第一阶段以着色操作为中心，在初始化color与wave值后，通过着色过程标记每个顶点或边的color值与wave值，并通过过滤操作将不需要计算的信息的wave值设为0；第二阶段主要是根据wave值进行信息的更新操作。更新操作包括正反顺序两个方向。最后计算残差并判断是否结束信息更新的计算。CE方案适合于在整个计算过程都要保持较高收敛速度的计算需求。该方案也分两个阶段，第一阶段以着色操作为中心，只对所有的边进行一次着色操作，并标记边的color值；第二个阶段根据以上的标记进行信息更新，最后计算残差并判断是否结束信息更新的计算。RD方案适合于在整个计算过程都要保持较高收敛速度并且当算法稳定时收敛度较高的计算需求。该方案较为简单，主要通过逐步降低未收敛信息的更新率对信息进行迭代地随机更新。最后计算每个顶点的置信度并输出结果。具体地，可以分为24个小部分，下面对每部分的实施进行详细的说明。

1.加载概率图数据与用户预设参数

将需要处理的概率图数据加载到设备内存当中。用G(V,E,Ψ)表示需要处理的概率图数据，其中V为顶点集，E为边集，Ψ为概率集，包括概率图中每个顶点取不同标记的概率值和每条边对应的转移概率值。需要用户预设的参数为：CW方案中每次着色操作的迭代次数C_n；RD方案中，信息更新率u下降的迭代次数阈值D_n，即每进行D_n次迭代后，未收敛信息的信息更新率u下降设定比例(比如10％)；判断信息是否收敛的阈值ξ；置信传播结束计算的时间阈值T_ξ。置信传播是一种消息传递算法，它主要是在概率图模型(probabilisticgraphical models，PGMs)上进行近似地推导计算，概率图是指用户给定的图数据，既可以是在现实世界中提取出来的，比如polar codes,Low-Density Parity-Check(LDPC)等解码操作的底层图结构，部分机器学习的底层图结构，蛋白质折叠的图结构等都是概率图模型，相应数据可提取为概率图数据；也可以是自己生成的。马尔可夫随机场(MRFs)模型是一个具代表性的概率图模型，后面用到的Ising图就是一种成对的马尔可夫随机场(MRFs)模型的图数据，是本发明为了实验自己生成的。本发明是针对各类的概率图数据进行置信传播计算，只要是在概率图上的计算任务都可以采用本发明方法进行计算。

2.根据用户需求确定使用方案

我们提供了三种置信传播的计算方案，适应于不同的计算需求。如果用户的计算需求是在短时间内收敛大多数的信息，则采用CW方案；如果用户的计算需求是整个计算阶段都保持较高的收敛速度，则采用CE方案；如果用户的计算需求是整个计算阶段都保持较高的收敛速度并且当算法达到稳定状态时有较高的收敛度，则采用RD方案。

CW方案:

CW方案主要包括Color过程与Wave过程。

Color过程：

3.计算信息残差(一)

在概率图数据G(V,E,Ψ)中，每个顶点v_i∈V对应于集合

中的一个离散随机变量X_i。即

n为顶点总数，X_i的取值范围是X_i∈A_i，A_i为有限标签集。每一条边(v_i,v_j)∈E对应于两个顶点v_i和v_j上变量不同取值之间的概率关系。设x_i为变量X_i的一个取值，则x_i所对应的一元势函数ψ_i(x_i)可以表示为

x_i、x_j之间的二元势函数可以表示为

x_j为变量X_j的一个取值，X_j∈A_j，A_j为有限标签集。则可以按照以下公式(1)计算每个边上信息的值。其中，m_i→j表示边e_i,j＝(v_i,v_j)上的信息值，Γ_i表示顶点v_i的邻接顶点。在第t次计算后边e_i,j上的信息值表示为

则边e_i,j上信息残差如公式(2)所示。并行计算信息残差过程为：初始化信息变量数组M及其缓冲变量数组M’均为0，变量数组M与M’的大小与概率图中信息量相等。为每个线程分配一个信息计算任务，按照公式(1)计算对应边上的信息值m_i→j并将其记录到变量数组M中，将M’做为上次迭代得到的信息值，按照公式(2)计算边上的信息残差R。最后，将变量数组M的值复制到变量数组M’中。

4.初始化color与wave值

color与wave值是color过程中的重要变量，用于标记概率图中顶点的着色情况与每个边或顶点到中心点的距离。用V_color表示当前顶点的color值，每个顶点的color值初始化为对应顶点的ID。用V_wave与E_wave分别表示顶点和边上的wave值，所有的wave值均初始化为0。

5.计算顶点残差

顶点残差定义为以该顶点为终点的边上信息的残差的最大值。并行计算顶点残差操作过程为：为每个线程分配一个顶点v_i任务，线程数和任务数(顶点数)是相同的，将当前顶点v_i的顶点残差初始化为0，然后遍历以该顶点v_i为终点的边，如果该边上的信息残差R大于该顶点v_i的顶点残差，则将其赋值给当前顶点v_i的顶点残差。

6.着色操作并标记color与wave值

根据顶点残差进行C_n次迭代的着色操作。并行着色操作过程为：为每个线程分配一个顶点计算任务，对于分配顶点v_i计算任务的线程，遍历以该顶点v_i为终点的边e_j,i，如果边e_j,i的起点v_j的顶点残差大于顶点v_i的顶点残差，将顶点v_j的ID赋值给顶点的color值，称为顶点v_j将顶点v_i着色。同时，顶点v_i的wave值等于顶点v_j的wave值加1；边e_j,i的wave值等于顶点v_i的wave值。以上过程迭代进行C_n次。

7.过滤操作

在着色操作完成后，将具有相同color值的顶点划分到同一分区中，ID与color值相同的顶点为这个分区的中心点。在同一个分区中，距离中心点越近的顶点或边，其wave值越小。如果某个中心点已经被其它顶点着色，则与该中心点color值相同的顶点所形成的分区是不完整的。我们对不完整分区中的信息进行过滤，以节省计算资源。并行过滤操作过程为：为每个线程分配一个顶点任务，检查以该顶点v_i的color值为ID的顶点v_j的color值，如果顶点v_j的color值与顶点v_j的ID不同，则顶点v_i属于一个不完整的分区，将以顶点v_i为终点的所有边的wave值设为0。

Wave过程：

8.按边的wave值倒序对边的信息值进行更新

按wave值进行信息更新是Wave过程的主要操作。并行倒序信息更新操作过程为：为每个线程分配一个信息计算任务，如果其对应边的wave值为C_n，则按公式(1)对该边的信息值进行更新，并将计算结果记录到变量数组M中；对以上过程进行迭代操作，其中wave值的取值分别为[C_n-1,…,1]；第i次迭代时，是对wave值为C_n-i+1的边的信息值进行更新。

9.按边的wave值正序对边的信息值进行更新

根据起点和终点的不同，两个顶点之间的信息有两个，即边e_i,j和边e_j,i所对应的信息是不同的，如果按wave值倒序进行信息更新时更新的是边e_i,j所对应的信息，则按wave值正序进行信息更新时需要更新边e_j,i所对应的信息。并行正序信息更新操作过程为：为每个线程分配一个信息计算任务，如果其对应边e_j,i的wave值为1，则按公式(1)对边e_j,i上的信息进行更新，并将计算结果记录到变量数组M中；对以上过程进行迭代操作，其中wave值的取值分别为[1,…,C_n-1]。

10.计算信息残差(二)

在以上操作过程中，前一次置信传播计算所得信息记录到了M’中，本次置信传播计算所得信息记录到了M中，按照公式(2)计算边上的信息残差R。最后，将M复制到M’中。

11.是否结束计算

根据计算结果与用户预设的阈值判断是否结束计算。如果信息残差R中所有的值均小于阈值ξ，则所有信息达到收敛状态，结束计算，跳转到第23步；如果信息残差R中小于阈值ξ的变量数(即收敛的信息数)趋于稳定，则达到收敛状态的信息的数目趋于稳定，结束计算，跳转到第23步；如果以上操作过程的执行时间大于等于时间阈值T_ξ，结束计算，跳转到第23步；否则跳转到第4步继续进行计算。

CE方案:

CE方案主要包括Color过程与Calculate过程。

Color过程：

12.计算信息残差(一)

按照第3步的方法，初始化信息变量数组M及其缓冲变量数组M’均为0，按照公式(1)并行计算每个边上的信息值M，按照公式(2)计算边上的信息残差R，并将M复制到M’中。

13.初始化color值

CE方法是直接对边上的信息残差进行着色的方法，因此需要标记每条边上的color值，用E_color表示边的color值，每条边的color值初始化为对应边的ID，即第i条边的color值初始化为第i条边的ID。

14.着色操作并标记color值

根据边上的信息残差对边进行着色操作。并行着色操作过程为：根据边的个数确定所需线程的个数；为每个线程分配一个边任务，遍历以该边e_i,j的起点v_i为终点的边e_k,i及以该边e_i,j的终点v_j为起点的边e_j,l。如果边e_k,i或边e_j,l的信息残差值大于边e_i,j的信息残差值，则将边e_i,j的color值设为信息残差值更大的边的ID。

Calculate过程：

15.对所选边上的信息进行更新

在CE算法中，我们只更新信息残差大于所有邻接边的边上的信息，以减少不必要的信息更新计算。并行更新边上信息过程为：为每个线程分配一个边任务，如果该边的color值与该边的ID相同，则用公式(1)进行信息更新，并将计算结果记录到变量数组M中。

16.计算信息残差(二)

在以上操作过程中，前一次置信传播计算所得信息记录到了M’中，本次置信传播计算所得信息记录到了M中，按照公式(2)计算边上信息的残差R。最后，将M复制到M’中。

17.是否结束计算

使用第11步类似的方法，根据计算结果与用户预设的阈值判断是否结束计算。即：如果信息残差R中所有的值均小于阈值ξ，则所有信息达到收敛状态，结束计算，跳转到第23步；如果信息残差R中小于阈值ξ的变量数趋于稳定，则达到收敛状态的信息的数目趋于稳定，结束计算，跳转到第23步；如果以上操作过程的执行时间大于等于时间阈值Tξ，结束计算，跳转到第23步；否则跳转到第13步继续进行计算。

RD方案:

18.计算信息残差(一)

按照第3步的方法，初始化信息变量数组M及其缓冲变量数组M’均为0，按照公式(1)并行计算每个边上的信息值M，按照公式(2)计算边上的信息残差R，并将M复制到M’中。

19.计算信息更新率

信息更新率u为本次需要更新信息数(每条边上包含正反两个方向的信息值)占所有未收敛信息数的比例。RD方案通过逐步降低信息更新率保证算法在整个计算过程中始终保持较高的收敛速度，并且在算法达到稳定时有较高的收敛度。逐步降低信息更新率的方法为：将信息更新率u初始化为100％，每进行D_n次迭代后，信息更新率u降低10％，直到u降低到10％后，u保持为10％不再变化。

20.进行随机信息更新

根据计算所得的信息更新率u进行随机信息更新。并行随机信息更新过程为：为每个线程分配一个边上信息值的计算任务，随机生成一个[0,1]范围内的小数r，如果r的值小于u，则线程用公式(1)对所分配边的信息值进行更新，并将计算结果记录到变量数组M中。

21.计算信息残差(二)

在以上操作过程中，前一次置信传播计算所得信息记录到了M’中，本次置信传播计算所得信息记录到了M中，按照公式(2)计算边上信息的残差R。最后，将M复制到M’中。

22.是否结束计算

使用第11步类似的方法，根据计算结果与用户预设的阈值判断是否结束计算。即：如果信息残差R中所有的值均小于阈值ξ，则所有信息达到收敛状态，结束计算，跳转到第23步；如果信息残差R中小于阈值ξ的变量数趋于稳定，则达到收敛状态的信息的数目趋于稳定，结束计算，跳转到第23步；如果以上操作过程的执行时间大于等于时间阈值T_ξ，结束计算，跳转到第23步；否则跳转到第19步继续进行计算。

23.计算每个顶点的置信度

根据以上计算所得的边的信息值，可以计算出每个顶点取不同变量时的概率值，即每个顶点的置信度。按照以下公式(3)进行计算。并行计算每个顶点的置信度过程为：为每个线程分配一个置信度计算任务，按照公式(3)计算每个顶点取不同变量时的置信度。

24.输出结果

完成置信传播的计算，并输出结果。

实验数据与结论

本发明对比的实验数据均为Ising图数据，这是在置信传播的对比方法中常用的实验图数据。Ising图数据模型是规则的N×N的网格结构，每个顶点有两个可能的变量取值。顶点上变量的势函数ψ_i在[0,1]的范围内随机取值。当x_i＝x_j时，势函数ψ_i,j＝e^λC；否则，ψ_i,j＝e^-λC。其中，λ在[-0.5,0.5]的范围内随机取值，使得ψ_i,j在一个固定范围内随机取值，通过设置较大的C值，势函数ψ_i,j的取值范围变大，置信传播计算的难度上升。在实验分析中，我们通过在不同参数的Ising图数据上与不同硬件上执行置信传播方案来验证算法的普适性能。实验中用到的图数据被统一命名为Ising_N_C，表示参数取值C下具有N×N个顶点的Ising图。本实验对比了6种方案，(1)LBP:Murphy等人提出的在GPU上对所有的未收敛的信息进行并行更新的方案。(2)RnBP1：Der等人提出的采用固定的信息更新率，每次只随机更新一部分未收敛顶点的方案。(3)RnBP2：Der等人提出的采用变化的信息更新率的方案，其预设了一个信息更新率r’，如果当前迭代计算过程中收敛速度较快，则对所有的未收敛的信息进行并行更新，否则只按照信息更新率r’随机更新一部分未收敛顶点。(4)CW：我们提出的Color Wave方案；(5)CE：我们提出的Color Extract方案；(6)RD：我们提出的Random Drop方案。

1)Color Wave方案性能分析

为了验证本发明中Color Wave方案可以在短时间内使大多数信息达到收敛状态，本实验进行了多组对比实验。附图2(a)是在100秒内CW算法在Ising图Ising_1250_3上进行置信传播算法中未收敛信息数随着迭代次数的变化情况，其中括号内是我们设定的阈值C_n。从图中明显看出CW算法可以使图数据中超过一半的信息在前几次迭代中收敛，并且随着阈值C_n的增加，其前几次迭代中收敛的信息数也会有明显的增加，并且这样的收敛优势会一直保持，除了C_n＝3的CW算法的收敛度在第21次迭代后被C_n＝2的CW算法超越。因此，在短时间内使大多数的信息达到收敛状态是CW算法的主要优势，并且随着阈值C_n的增加，每次迭代收敛的信息数增加。该方法的缺点是每次迭代的时间随着阈值C_n的增加而增加。在100秒的运行时间中，C_n＝2的CW算法可以进行132次迭代，但是C_n＝8的CW算法只能进行45次迭代。从附图2(b)中不同算法在Ising图Ising_1500_3上进行置信传播计算得到的未收敛信息数随着时间的变化情况也可以看出这一点，其中RnBP1算法是只更新一部分未收敛信息的方案，更新的百分比显示在括号中。LBP是并行更新全部未收敛信息的方案。如附图2(b)所示，CW算法在前20秒内优势明显，但是由于每次迭代消耗了大量的时间，导致其在后面的运算中收敛度低于其他方法，并在最终的收敛稳定时，与其他方法的收敛度相近。

2)Color Extract方案性能分析

Color Extract方案是根据以上分析得出的Color Wave算法的弊端后提出的，其性能如下附图3所示。附图3(a)是在Ising图Ising_1500_3上CE算法与C_n取不同值时的CW算法在前50次迭代置信传播计算中每次迭代未收敛信息数变化的比较结果。可以看出由于CW算法中严格规定了所有未收敛信息的更新顺序，保证每次迭代都能收敛较多的信息，因此在前50次迭代中，CE算法的收敛度几乎无法超越CW算法，除了在第42次迭代后超越了C_n＝3的CW算法。但是CE算法的设计目的是为了减少每次迭代的运算时间，从而使算法整体上保证较高的收敛速度。附图3(b)是不同方案在Ising图Ising_1500_3上进行置信传播时未收敛信息数随时间变化情况，可以看出算法CE虽然在前20秒中收敛度远低于C_n取不同值时的CW算法，但是在之后一直保持很高的收敛速度，并且CE算法在达到稳定之前的收敛度一直远好于RnBP1与LBP算法。说明CE算法是一种整体上能保持较高收敛速度及收敛度的算法。

3)Random Drop方案性能分析

Der等人提出并行度高的随机置信传播方案能使算法快速收敛但是其收敛速度较低，我们在Ising图Ising_1500_2.5上对信息更新率不同的随机算法进行测试，其结果如附图4(a),虽然前25次迭代中有相反的现象，但是大部分迭代过程中的置信传播计算结果是符合这一规律的。在附图4(b)中，我们在Ising图Ising_1500_3上分析了RD算法和Der等人提出的变化的信息更新率的方案在只随机更新一部分未收敛信息的算法上的优化性能，其中RD算法在前90次迭代中信息更新率从100％逐步降到10％并一直保持在10％。从附图4(b)可以看出，变化的信息更新率方案的结果曲线几乎和直接只随机更新一部分未收敛信息的算法的结果曲线是重合的，其加速优势很不明显，但是我们的RD方案除了在前20次迭代中略有逊色，在其余的部分中超越了其他所有的算法。因此RD算法是一种几乎在整个计算过程中收敛速度很快的方案，并且当算法达到稳定状态时有很高的收敛度。

4)所有方案总体性能分析

为了验证所有计算方案的整体性能，我们在不同的硬件上对以上所有方案在Ising图Ising_1500_3上进行置信传播计算的性能进行分析，结果如附图5所示。其中，图(a)为不同方案在硬件GeForce 1050ti上的计算性能，图(b)为不同方案在硬件Tesla K80上的计算性能。可以看出，无论C_n取什么值，CW算法在前10秒(Tesla K80)或20秒(GeForce1050ti)时间内的收敛度远远大于其他任何方法，并且当算法达到稳定状态时，其收敛度也与其他方法接近。因此，CW算法非常适合于在短时间内收敛大多数信息的需求。在达到稳定之前，CE算法的收敛度一直大于除CW算法之外的其他方法，并且在10秒(Tesla K80)或20秒(GeForce1050ti)后的一段时间内，CE算法的收敛度也超过了CW算法。因此，CE算法适合于在稳定之前保持较高的收敛速度的计算需求。虽然RD算法在绝大多数时间内的收敛度都小于CW与CE算法，但是RD算法在整个的计算过程中比随机更新一部分未收敛信息与更新全部未收敛信息的算法的收敛度都高，并且算法达到稳定状态时的收敛度也非常高。因此RD算法适合于保持较高的收敛速度并且在算法稳定后有较高收敛度的需求。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (10)

1.一种GPU上的基于着色优化的置信传播方法，其步骤包括：

1)将需要处理的概率图数据G(V,E,Ψ)加载到设备内存中；其中V为概率图的顶点集，E为概率图的边集，Ψ为概率集，包括概率图中每个顶点取不同标记的概率值和每条边对应的转移概率值；每个顶点v_i对应于集合x中的一个离散随机变量X_i，x＝{X₁,X₂,…,X_n}，n为顶点总数，X_i∈A_i，A_i为有限标签集；每一条边(v_i,v_j)对应于两个顶点v_i和v_j上变量不同取值之间的概率关系；设置每次着色操作的迭代次数C_n、判断信息是否收敛的阈值ξ以及置信传播结束计算的时间阈值T_ξ；

2)初始化信息变量数组M及其缓冲变量数组M’均为0，为每个线程分配一个边信息计算任务，计算每个边上的信息值并记录到变量数组M中；第一次迭代时根据变量数组M当前值和M’中的初始值，计算第一次迭代时每条边上的信息残差R；然后将变量数组M的值复制到变量数组M’中；后续每次迭代时进行步骤3)～8)；

3)用V_color表示顶点的color值，每个顶点的color值初始化为对应顶点的ID；用V_wave表示顶点的wave值并初始化为0，用E_wave表示边上的wave值并初始化为0；

4)为每个线程分配一个边信息计算任务，计算对应边上的信息值并记录到变量数组M中；

5)为每个线程分配一个顶点v_i任务，将当前顶点v_i的顶点残差初始化为0，然后遍历以该顶点v_i为终点的边，如果该边上的信息残差大于该顶点v_i的顶点残差，则将其赋值给顶点v_i的顶点残差；

6)根据顶点残差进行C_n次迭代的着色操作：为每个线程分配一个顶点v_i任务，遍历以该顶点v_i为终点的边e_j,i，如果边e_j,i的起点v_j的顶点残差大于顶点v_i的顶点残差，则将顶点v_j的ID赋值给顶点的color值，更新顶点v_i的wave值为顶点v_j的wave值加1、边e_j,i的wave值为顶点v_i的wave值；此过程迭代进行C_n次，完成C_n次迭代着色操作；

7)先按边的wave值倒序对边的信息值进行更新，然后按边的wave值正序对边的信息值进行更新；

8)根据变量数组M、缓冲变量数组M’中的信息，计算当前迭代时每条边上的信息残差R；然后将变量数组M的值复制到变量数组M’中；M’用于保存上次迭代得到的信息值；

9)根据当前信息残差R与预设的阈值判断是否结束计算：如果每条边的信息残差R均小于阈值ξ，则结束计算，跳转到步骤10)；或者如果信息残差R中小于阈值ξ的变量数趋于稳定，则结束计算，跳转到步骤10)；如果执行时间大于或等于时间阈值T_ξ，则结束计算，跳转到步骤10)；否则继续进行迭代计算；

10)根据最终计算所得的边的信息值计算出每个顶点取不同变量时的概率值，即每个顶点的置信度。

2.如权利要求1所述的方法，其特征在于，按照公式

计算或更新每个边上的信息值m_i→j；按照公式

计算第t次迭代时边e_i,j上的信息残差

其中，x_i为变量X_i的一个取值，x_i所对应的一元势函数ψ_i(x_i)表示为

x_i、x_j之间的二元势函数ψ_i,j表示为

x_j为变量X_j的一个取值，X_j∈A_j，A_j为有限标签集；Γ_i表示顶点v_i的邻接顶点。

3.如权利要求2所述的方法，其特征在于，根据公式

计算顶点v_i取不同变量时的概率值。

4.如权利要求1所述的方法，其特征在于，步骤6)之后，将具有相同color值的顶点划分到同一分区中，将分区中ID与color值相同的顶点作为该分区的中心点；在同一个分区中，距离中心点越近的顶点或边，其wave值越小；如果中心点已经被其它顶点着色，则判定与该中心点color值相同的顶点所形成的分区是不完整的；对不完整分区中的信息进行过滤，其中过滤方法为：为每个线程分配一个顶点v_i任务，检查以该顶点v_i的color值为ID的顶点v_j的color值，如果顶点v_j的color值与顶点v_j的ID不同，则顶点v_i属于一个不完整的分区，将以顶点v_i为终点的所有边的wave值设为0。

5.如权利要求1所述的方法，其特征在于，按边的wave值倒序对边的信息值进行更新的方法为：设wave值的取值分别为[C_n,…,1]，则从wave值最大的边开始，依次选取各边按公式

更新每个边上的信息值m_i→j，并将计算结果记录到变量数组M中。

6.如权利要求1所述的方法，其特征在于，按边的wave值正序对边的信息值进行更新的方法为：设wave值的取值分别为[1,…,C_n]，则从wave值最小的边开始，依次选取各边按公式

更新每个边上的信息值m_i→j，并将计算结果记录到变量数组M中。

7.一种GPU上的基于着色优化的置信传播方法，其步骤包括：

1)将需要处理的概率图数据G(V,E,Ψ)加载到设备内存中；其中V为概率图的顶点集，E为概率图的边集，Ψ为概率集，包括概率图中每个顶点取不同标记的概率值和每条边对应的转移概率值；每个顶点v_i对应于集合x中的一个离散随机变量X_i，x＝{X₁,X₂,…,X_n}，n为顶点总数，X_i∈A_i，A_i为有限标签集；每一条边(v_i,v_j)对应于两个顶点v_i和v_j上变量不同取值之间的概率关系；设置信息更新率u下降的迭代次数阈值D_n，即每进行D_n次迭代后，信息更新率u下降一个设定比例；设置判断信息是否收敛的阈值ξ以及置信传播结束计算的时间阈值T_ξ；

2)初始化信息变量数组M及其缓冲变量数组M’均为0，为每个线程分配一个边信息计算任务，计算每个边上的信息值并记录到变量数组M中；第一次迭代时根据变量数组M当前值和M’中的初始值，计算第一次迭代时每条边上的信息残差R；然后将变量数组M的值复制到变量数组M’中；后续每次迭代时进行步骤3)～5)；

3)为每个线程分配一个边上信息值的计算任务，线程随机生成一个[0,1]范围内的r，如果r小于u，则线程对所分配边的信息值进行更新，并将更新结果记录到变量数组M中；

4)为每个线程分配一个边信息计算任务，计算对应边上的信息值并记录到变量数组M中；

5)根据变量数组M、缓冲变量数组M’中的信息，计算当前迭代时每条边上的信息残差R；然后将变量数组M的值复制到变量数组M’中；M’用于保存上次迭代得到的信息值；

6)根据当前信息残差R与预设的阈值判断是否结束计算：如果每条边的信息残差R均小于阈值ξ，则结束计算，跳转到步骤7)；或者如果信息残差R中小于阈值ξ的变量数趋于稳定，则结束计算，跳转到步骤7)；如果执行时间大于或等于时间阈值T_ξ，则结束计算，跳转到步骤7)；否则继续进行迭代计算；

7)根据最终计算所得的边的信息值计算出每个顶点取不同变量时的概率值，即每个顶点的置信度。

8.如权利要求7所述的方法，其特征在于，按照公式

计算或更新每个边上的信息值m_i→j；按照公式

计算第t次迭代时边e_i,j上的信息残差

其中，x_i为变量X_i的一个取值，x_i所对应的一元势函数ψ_i(x_i)表示为

x_i、x_j之间的二元势函数ψ_i,j表示为

x_j为变量X_j的一个取值，X_j∈A_j，A_j为有限标签集；Γ_i表示顶点v_i的邻接顶点。

9.如权利要求8所述的方法，其特征在于，根据公式

计算顶点v_i取不同变量时的概率值。

10.如权利要求7所述的方法，其特征在于，将信息更新率u初始化为100％，每进行D_n次迭代后，信息更新率u降低10％，直到u降低到10％后，u保持为10％不再变化。

Images