CN108876808A - 一种并行马尔可夫变分光流确定方法及系统 - Google Patents

Abstract

本发明公开一种并行马尔可夫变分光流确定方法及系统。所述方法包括：实时获取任意连续两帧图像；根据两帧所述图像并行计算马尔可夫光流模型中的多个数据项；根据所述数据项计算每个图像像素所要传递的信息，根据所述信息并行迭代更新每个像素点的消息，得到更新后的消息；同时并行向每个图像像素点的上、下、左、右四个方向传递所述更新后的消息；判断传递次数是否达到迭代阈值；若是，则输出传递消息，其中所述传递消息中的最小信息对应所要计算的光流值；若否，则跳转至更新消息计算步骤。本发明所涉及的并行马尔可夫变分光流确定方法，采用多线程结构对上下左右四个方向的信息并行计算和传递，大幅度提高了计算效率。

Description

一种并行马尔可夫变分光流确定方法及系统

技术领域

本发明涉及光流计算领域，特别是涉及一种并行马尔可夫变分光流确定方法及系统。

背景技术

图像序列变分光流计算技术在运动目标检测已取得了一些的进展，也在社会生产、生活等领域得以应用并发挥重要作用，但缺点在于变分光流计算的时间消耗通常较大，难以满足目标检测等实时应用。常规并行BP算法仅仅将图像中的每个像素点为单位简单地将串行计算步骤并行化，通常采用的是一个二维的并行计算框架，并没有针对BP计算的特点进行优化，由于信息计算涉及4个方向，同时每个方向上的信息计算必须采用复杂的降维法计算，导致单线程计算负荷过高，计算效率不高。

发明内容

本发明的目的是提供一种并行马尔可夫变分光流确定方法及系统，提高变分光流的计算效率，从而满足实时计算需求。

为实现上述目的，本发明提供了如下方案：

一种并行马尔可夫变分光流确定方法，所述方法包括：

实时获取任意连续两帧图像；

根据两帧所述图像并行计算马尔可夫光流模型中的多个数据项；

根据所述数据项计算每个图像像素所要传递的信息，根据所述信息并行迭代更新每个像素点的消息，得到更新后的消息；同时并行向每个图像像素点的上、下、左、右四个方向传递所述更新后的消息；

判断传递次数是否达到迭代阈值；

若是，则输出传递消息，其中所述传递消息中的最小信息对应所要计算的光流值；

若否，则跳转至更新消息计算步骤。

可选的，所述根据两帧所述图像计算多个数据项，具体包括：

对两帧所述图像进行平滑处理，得到两帧处理图像；

对所述处理图像进行金字塔下采样分层，得到两帧采样图像；

计算两帧所述采样图像每个像素点的灰度差；

根据所述灰度差，得到对应的数据项。

可选的，所述数据项通过下式表示:

D_p(u(f_p),v(f_p))＝min(||I₂(x_p+u(f_p),y_p+v(f_p))-I₁(x_p,y_p)||,τ)

其中，τ为截断值，x_p,y_p为像素点p点的坐标，u为光流水平方向的分量，v为光流垂直方向的分量，f_p＝1,2,…,L，L为在x和y方向上的采样点数，I₁和I₂分别为前后两帧图像。

可选的，所述根据所述数据项计算每个图像像素所要传递的信息，根据所述信息并行迭代更新每个像素点的消息，得到更新后的消息，具体包括：

根据数据项采用三维线程块结构更新每个像素点所要传递的信息，具体的，每个像素点对应一个三维线程块结构，第一维和第二维与图像像素点的横纵坐标对应，第三维采用并行抛物线下界法，计算每个数据项所对应的信息，根据所述信息并行迭代更新每个像素点的消息。

可选的，所述同时向每个图像像素点的上、下、左、右四个方向传递所述更新后的信息，具体包括:

采用三维线程结构传递所述更新后的信息，具体的，每个像素点对应一个三维线程结构，第一维和第二维与图像像素点的横纵坐标对应，第三维对应上、下、左、右四个不同方向。

可选的，所述传递信息通过下式表示：

其中，o_p＝(u(f_p),v(f_p))为光流矢量，函数V为平方距离函数，用于计算o_p,o_q之间的平方距离，表示节点p其向邻域点q的光流o_q传播的信息，s∈N(p)\_q表示p点排除q点的邻域。

一种并行马尔可夫变分光流确定系统，所述系统包括：

图像获取模块，用于实时获取任意连续两帧图像；

数据项获取模块，用于根据两帧所述图像并行计算马尔可夫光流模型中的多个数据项；

更新消息获取模块，用于根据所述数据项计算每个图像像素所要传递的信息，根据所述信息并行迭代更新每个像素点的消息，得到更新后的消息；

传递消息获取模块，用于同时并行向每个图像像素点的上、下、左、右四个方向传递所述更新后的消息，得到传递消息；

判断模块，用于判断传递次数是否达到迭代阈值；

若是，则输出传递消息，其中所述传递消息中的最小信息对应所要计算的光流值；

若否，则跳转至更新消息计算模块。

可选的，所述数据项获取模块，具体包括：

处理图像确定单元，用于对两帧所述图像进行平滑处理，得到两帧处理图像；

采样图像确定单元，用于对所述处理图像进行金字塔下采样分层，得到两帧采样图像；

差值确定单元，用于计算两帧所述采样图像每个像素点的灰度差；

数据项确定单元，用于根据所述灰度差，得到对应的数据项。

可选的，所述更新消息获取模块，具体包括：

更新消息获取单元，用于根据数据项采用三维线程块结构更新每个像素点所要传递的信息，具体的，每个像素点对应一个三维线程块结构，第一维和第二维与图像像素点的横纵坐标对应，第三维采用并行抛物线下界法，计算每个数据项所对应的信息，根据所述信息并行迭代更新每个像素点的消息。

可选的，所述传递消息获取模块，具体包括:

传递消息获取单元，采用三维线程结构传递所述更新后的信息，具体的，每个像素点对应一个三维线程结构，第一维和第二维与图像像素点的横纵坐标对应，第三维对应上、下、左、右四个不同方向。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供一种并行马尔可夫变分光流确定方法，所述方法包括：实时获取任意连续两帧图像；根据两帧所述图像并行计算多个马尔可夫光流能量函数中的数据项；根据数据项定义每个图像像素所要传递的信息，并行迭代更新上述信息，同时并行向上、下、左、右四个方向传递该信息；判断所述传递次数是否达到迭代阈值；若是，则输出传递信息，其中最小信息对应所要计算的光流值。本发明所涉及的并行马尔可夫变分光流确定方法，采用三维网格结构对上下左右四个方向的信息并行计算，大幅度提高了计算效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例并行马尔可夫变分光流确定方法流程图；

图2为本发明实施例信息传递图；

图3为本发明实施例线程分配图；

图4为本发明实施例并行马尔可夫变分光流确定系统结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种并行马尔可夫变分光流确定方法及系统，提高变分光流的计算效率，从而满足实时计算需求。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明实施例并行马尔可夫变分光流确定方法流程图。如图1所示，一种并行马尔可夫变分光流确定方法，所述方法包括：

步骤101：实时获取任意连续两帧图像；

步骤102：根据两帧所述图像并行计算马尔可夫光流模型中的多个数据项；

步骤103：根据所述数据项计算每个图像像素所要传递的信息，根据所述信息并行迭代更新每个像素点的消息，得到更新后的消息；

步骤104：同时并行向每个图像像素点的上、下、左、右四个方向传递所述更新后的消息；

步骤105：判断传递次数是否达到迭代阈值；

步骤106：若传递次数达到迭代阈值，则输出传递消息，其中所述传递消息中的最小信息对应所要计算的光流值；

若否，则跳转至更新消息计算步骤。

步骤102，具体包括：

对两帧所述图像进行平滑处理，得到两帧处理图像；

对所述处理图像进行金字塔下采样分层，得到两帧采样图像；

计算两帧所述采样图像每个像素点的灰度差；

根据所述灰度差，得到对应的数据项。

所述数据项通过下式表示:

D_p(u(f_p),v(f_p))＝min(||I₂(x_p+u(f_p),y_p+v(f_p))-I₁(x_p,y_p)||,τ)

其中，τ为截断值，x_p,y_p为像素点p点的坐标，u为光流水平方向的分量，v为光流垂直方向的分量，f_p＝1,2,…,L，L为在x和y方向上的采样点数，I₁和I₂分别为前后两帧图像。

步骤103，具体包括：

根据数据项采用三维线程块结构更新每个像素点所要传递的信息，具体的，每个像素点对应一个三维线程块结构，第一维和第二维与图像像素点的横纵坐标对应，第三维采用并行抛物线下界法，计算每个数据项所对应的信息，根据所述信息并行迭代更新每个像素点的消息。

步骤104，具体包括:

采用三维线程结构传递所述更新后的信息，具体的，每个像素点对应一个三维线程结构，第一维和第二维与图像像素点的横纵坐标对应，第三维对应上、下、左、右四个不同方向。

所述传递信息通过下式表示：

其中，o_p＝(u(f_p),v(f_p))为光流矢量，函数V为平方距离函数，用于计算o_p,o_q之间的平方距离，表示节点p其向邻域点q的光流o_q传播的信息，s∈N(p)\q表示p点排除q点的邻域。

采用本发明的并行马尔可夫变分光流确定方法，对上下左右四个方向的网络结构进行并行计算，提高变分光流的计算效率，从而满足实时计算需求。

置信传播(BP)算法的主要思想是：对于马尔可夫随机场中的每一个节点，通过信息传播，把该节点的概率分布状态传递给相邻的节点，从而影响相邻节点的概率分布状态，经过一定次数的迭代，每个节点的概率分布将收敛于一个稳态。这里简要介绍BP算法。

一般的马尔可夫的能量可以表示为下面的形式：

E(f)＝∑V(o_p,o_q)+∑D_p(o_p)

第一项表示把光流标记o_p和o_q同时赋给两个相邻节点p和q的代价，N表示该节点的邻域，二维MRF中取上下左右四邻域。第二项表示将标记o_p赋给p点的代价。采用BP算法中Max-Product的方法，节点之间传送的信息的按如下定义：

其中，表示节点p其向邻域点q的标记o_q传播的信息，s∈N(p)\q表示p点排除q点的邻域，图2为本发明实施例信息传递图。其传递过程如图2所示。在经过信息传播R遍后，得到q的置信度为：

对节点q，b_q(o_q)向量中最小的置信度对应的o_q就是节点q在MRF中的解。

图像中每个点的数据项的计算都是独立的，只要在并行运算平台CUDA中为每个点分配一个线程，每个线程并行地根据式D_p(u(f_p),v(f_p))＝min(||I₂(x_p+u(f_p),y_p+v(f_p))-I₁(x_p,y_p)||,τ)即可计算完数据项。具体分配线程时采用最简单的二维线程块网格进行线程划分，线程块多少的选取和图像的宽W和图像的高H有关，具体如下：

blocksW＝W/nThreadsX+((W％nThreadsX)？1:0)

blocksH＝H/nThreadsY+((H％nThreadsY)？1:0)

则线程块个数为blocksW*blocksH，每个线程块分配nThreadsX×nThreadsY个线程。

具体分配时采用如下函数：

Dim3Blocks(blocksW,blocksH)

Dim3Threads(nThreadsX,nThreadsY)

采用如下方程进行线程与像素点映射：

x＝blockIdx.x*blockDim.x+threadIdx.x；

y＝blockIdx.y*blockDim.y+threadIdx.y；

这样每一个线程均对应一个像素点，实现这些像素点相关的计算数据项并行计算操作。

图3为本发明实施例线程分配图。由于需要对上下左右四个方向进行信息更新，在分配线程块的时候采用了如图3所示的一个三维的线程块结构：

Dim3Blocks(blocksW,blocksH,4)

该结构中共有四层，每一层负责计算一个方向的所有像素点的信息，在每一层中又为每个线程块也分配了一个三维的线程块结构：

Dim3Threads(nThreadsX,nThreadsY,L)

其中L对应X(Y)方向上的采样点数，即图中最小方块的所对应的线程数；每个大方块包含的小方块的数目由nThreadsX,nThreadsY来决定，每个小方块对应着图像中的一个像素点。这样可以采用如下方程进行线程与像素点映射：

x＝blockIdx.x*blockDim.x+threadIdx.x；

y＝blockIdx.y*blockDim.y+threadIdx.y；

tz＝threadIdx.z；

bz＝blockIdx.z；

利用线程块前两维索引(blockIdx.x和blockIdx.y)和线程的前两维索引(threadIdx.x和threadIdx.y)根据上式计算对应要操作的图像像素点坐标x和y(即每个小方块的位置)，每个像素点对应一个小方块，而每个小方块中包含由第三维线程tz对应的L个线程，用这L个线程来并行计算二维降维法中的每一行或每一列的值。bz对应信息更新的每一个方向，其中0表示向上，1表示向下，2表示向右，3表示向左。这样相当于为每个像素点分配了4L个线程，计算和更新信息时，每个方向的计算和降维法的每行(列)的计算都是并行的，大大提高了计算速度。

并行输出各点光流值u和v，图像中每个点的光流值u和v的输出计算都是独立的，只要在并行运算平台CUDA中为每个点分配一个线程，每个线程并行地根据即可计算得到输出光流值u和v。

假设图像大小为W*H,循环次数为T,离散采样长度为L,串行降维法的计算复杂度为O(2*V*V),则串行光流计算方法的计算复杂度为O(W*H*T*2*L*L*4),这个计算量是巨大的，采用本并行算法后由于每个像素点的计算都是并行的，每个像素点的每个方向的计算也是并行的，每个方向计算时降维法的行(列)的计算也是并行的，并行降维法的计算复杂度为O(4*L)，故本方法的计算复杂度为O(T*4*L)，极大降低了计算量，能够实现实时计算。例如计算大小为318*252的两幅图像的光流，常规串行方法需要2分钟，而本并行方法只要不到1秒时间，速度提高120倍。

图4为本发明实施例并行马尔可夫变分光流确定系统结构图。如图4所示，一种并行马尔可夫变分光流确定系统，所述系统包括：

图像获取模块401，用于实时获取任意连续两帧图像；

数据项获取模块402，用于根据两帧所述图像并行计算马尔可夫光流模型中的多个数据项；

更新消息获取模块403，用于根据所述数据项计算每个图像像素所要传递的信息，根据所述信息并行迭代更新每个像素点的消息，得到更新后的消息；

传递消息获取模块404，用于同时并行向每个图像像素点的上、下、左、右四个方向传递所述更新后的消息，得到传递消息；

判断模块405，用于判断传递次数是否达到迭代阈值；

若是，则输出传递消息，其中所述传递消息中的最小信息对应所要计算的光流值；

若否，则更新消息计算。

所述数据项获取模块402，具体包括：

处理图像确定单元，用于对两帧所述图像进行平滑处理，得到两帧处理图像；

采样图像确定单元，用于对所述处理图像进行金字塔下采样分层，得到两帧采样图像；

差值确定单元，用于计算两帧所述采样图像每个像素点的灰度差；

数据项确定单元，用于根据所述灰度差，得到对应的数据项。

所述更新消息获取模块403，具体包括：

更新消息获取单元，用于根据数据项采用三维线程块结构更新每个像素点所要传递的信息，具体的，每个像素点对应一个三维线程块结构，第一维和第二维与图像像素点的横纵坐标对应，第三维采用并行抛物线下界法，计算每个数据项所对应的信息，根据所述信息并行迭代更新每个像素点的消息。

所述传递消息获取模块404，具体包括:

传递消息获取单元，采用三维线程结构传递所述更新后的信息，具体的，每个像素点对应一个三维线程结构，第一维和第二维与图像像素点的横纵坐标对应，第三维对应上、下、左、右四个不同方向。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种并行马尔可夫变分光流确定方法，其特征在于，所述方法包括：

实时获取任意连续两帧图像；

根据两帧所述图像并行计算马尔可夫光流模型中的多个数据项；

根据所述数据项计算每个图像像素所要传递的信息，根据所述信息并行迭代更新每个像素点的消息，得到更新后的消息；

同时并行向每个图像像素点的上、下、左、右四个方向传递所述更新后的消息；

判断传递次数是否达到迭代阈值；

若是，则输出传递消息，其中所述传递消息中的最小信息对应所要计算的光流值；

若否，则跳转至更新消息计算步骤。

2.根据权利要求1所述的并行马尔可夫变分光流确定方法，其特征在于，所述根据两帧所述图像计算多个数据项，具体包括：

对两帧所述图像进行平滑处理，得到两帧处理图像；

对所述处理图像进行金字塔下采样分层，得到两帧采样图像；

计算两帧所述采样图像每个像素点的灰度差；

根据所述灰度差，得到对应的数据项。

3.根据权利要求2所述的并行马尔可夫变分光流确定方法，其特征在于，所述数据项通过下式表示:

D_p(u(f_p),v(f_p))＝min(||I₂(x_p+u(f_p),y_p+v(f_p))-I₁(x_p,y_p)||,τ)

其中，τ为截断值，x_p,y_p为像素点p点的坐标，u为光流水平方向的分量，v为光流垂直方向的分量，f_p＝1,2,…,L，L为在x和y方向上的采样点数，I₁和I₂分别为前后两帧图像。

4.根据权利要求1所述的并行马尔可夫变分光流确定方法，其特征在于，所述根据所述数据项计算每个图像像素所要传递的信息，根据所述信息并行迭代更新每个像素点的消息，得到更新后的消息，具体包括：

根据数据项采用三维线程块结构更新每个像素点所要传递的信息，具体的，每个像素点对应一个三维线程块结构，第一维和第二维与图像像素点的横纵坐标对应，第三维采用并行抛物线下界法，计算每个数据项所对应的信息，根据所述信息并行迭代更新每个像素点的消息。

5.根据权利要求1所述的并行马尔可夫变分光流确定方法，其特征在于，所述同时向每个图像像素点的上、下、左、右四个方向传递所述更新后的信息，具体包括:

采用三维线程结构传递所述更新后的信息，具体的，每个像素点对应一个三维线程结构，第一维和第二维与图像像素点的横纵坐标对应，第三维对应上、下、左、右四个不同方向。

6.根据权利要求5所述的并行马尔可夫变分光流确定方法，其特征在于，所述传递信息通过下式表示：

其中，o_p＝(u(f_p),v(f_p))为光流矢量，函数V为平方距离函数，用于计算o_p,o_q之间的平方距离，表示节点p其向邻域点q的光流o_q传播的信息，s∈N(p)\q表示p点排除q点的邻域。

7.一种并行马尔可夫变分光流确定系统，其特征在于，所述系统包括：

图像获取模块，用于实时获取任意连续两帧图像；

数据项获取模块，用于根据两帧所述图像并行计算马尔可夫光流模型中的多个数据项；

更新消息获取模块，用于根据所述数据项计算每个图像像素所要传递的信息，根据所述信息并行迭代更新每个像素点的消息，得到更新后的消息；

传递消息获取模块，用于同时并行向每个图像像素点的上、下、左、右四个方向传递所述更新后的消息，得到传递消息；

判断模块，用于判断传递次数是否达到迭代阈值；

若是，则输出传递消息，其中所述传递消息中的最小信息对应所要计算的光流值；

若否，跳转至更新消息计算步骤。

8.根据权利要求7所述的并行马尔可夫变分光流确定系统，其特征在于，所述数据项获取模块，具体包括：

处理图像确定单元，用于对两帧所述图像进行平滑处理，得到两帧处理图像；

采样图像确定单元，用于对所述处理图像进行金字塔下采样分层，得到两帧采样图像；

差值确定单元，用于计算两帧所述采样图像每个像素点的灰度差；

数据项确定单元，用于根据所述灰度差，得到对应的数据项。

9.根据权利要求7所述的并行马尔可夫变分光流确定系统，其特征在于，所述更新消息获取模块，具体包括：

更新消息获取单元，用于根据数据项采用三维线程块结构更新每个像素点所要传递的信息，具体的，每个像素点对应一个三维线程块结构，第一维和第二维与图像像素点的横纵坐标对应，第三维采用并行抛物线下界法，计算每个数据项所对应的信息，根据所述信息并行迭代更新每个像素点的消息。

10.根据权利要求7所述的并行马尔可夫变分光流确定系统，其特征在于，所述传递消息获取模块，具体包括:

传递消息获取单元，采用三维线程结构传递所述更新后的信息，具体的，每个像素点对应一个三维线程结构，第一维和第二维与图像像素点的横纵坐标对应，第三维对应上、下、左、右四个不同方向。