CN104378618B - 一种基于深度图的并行视点合成负载均衡方法 - Google Patents

Abstract

本发明公开了一种基于深度图的并行视点合成负载均衡方法，包括：对参考视点图像进行分割得到不同图像块，各个线程分别对所述不同图像块进行并行的视点合成，然后将各个线程产生的虚拟视点图像进行拼接，完成整个虚拟视点图像的输出；所述对参考视点图像进行分割为：将所述参考视点图像按线程个数均分为不同图像块，根据每个线程负载与平均线程负载之差计算每个图像块应调整的负载值，然后以行为单位补偿所述负载值进而计算出每个图像块的分割高度，实现负载均衡。本发明公开的负载均衡方法进一步提高虚拟视点的并行合成速度。

Description

一种基于深度图的并行视点合成负载均衡方法

技术领域

本发明涉及计算机视觉与数字图像处理领域，特别涉及一种基于深度图面向并行虚拟视点合成负载均衡方法。

背景技术

自由视点视频(FTV)允许用户从任何视点观看3D视频，随着人们对视频视觉体验的要求越来越高，FTV提供的这种沉浸式的观看体验，必然成为未来视频发展的方向。在当前移动互联网时代，用户把娱乐活动渐渐转移到手机，平板等移动终端上，所以在手机上实现FTV的急迫性越来越紧。

为了重建高质量的任意视点图像应用于FTV，MPEG组织开发了VSRS(ViewSynthesisReferenceSoftware)参考软件,此软件用两个参考视点纹理图和相应的深度图作为输入来生成一个合成的虚拟视点。VSRS由于其复杂性特征，其视点合成的速度远远不能满足现实应用下的实时合成要求。随着手机和平板等移动终端内置多个核心越来越普遍，利用此特性可以大大提高其视点合成速度。基于多核特性的并行视点合成技术已经被提出，但是怎么分割图像使每个核上的工作负载相等还是一个亟待解决的问题。

发明内容

本发明目的在于提出一种基于深度图的并行视点合成负载均衡方法，以解决上述现有技术存在的各核上负载不均衡的技术问题。

为此，本发明提出一种基于深度图的并行视点合成负载均衡方法,包括：

对参考视点图像进行分割得到不同图像块，各个线程分别对所述不同图像块进行并行的视点合成，然后将各个线程产生的虚拟视点图像进行拼接，完成整个虚拟视点图像的输出；

所述对参考视点图像进行分割包括：将所述参考视点图像按线程个数均分为不同图像块，根据每个线程负载与平均线程负载之差计算每个图像块应调整的负载值，然后以行为单位补偿所述负载值计算每个图像块的分割高度，实现负载均衡。

优选地，所述每个图像块应调整的负载值为：

${\mathrm{\Δw}}_k=\underset{i=(k-1)\·\frac{H}{N}+1}{\overset{k\·\frac{H}{N}}{\Σ}}{w}_i-\frac{\underset{i=1}{\overset{H}{\Σ}}{w}_i}{N}$

其中，Δw_k为第k个图像块应调整的负载值，w_i为图像各行总负载，H为图像总行数，N为线程个数；

所述计算每个图像块的分割高度为：第k个图像块的分割高度h_k相应的调整的负载值为则通过下式确定：

$h_k^{new}=h_k+\frac{H}{\underset{i=1}{\overset{H}{\Σ}}{w}_i}\·\underset{j=1}{\overset{k}{\Σ}}{\mathrm{\Δw}}_j,$

其中第一帧的h_k初始化为均分图像。

优选地，所述图像各行总负载w_i通过下式确定：

$w_i=n_{hole}^i\·w_{hole}+n_{non\_hole}^i\·w_{non\_hole}$

其中，和分别是每行总的空洞和非空洞数目，w_holes和w_{non_holes}分别是处理单个空洞和非空洞的负载；

定义处理所述单个空洞和非空洞的负载之比：

$\mathrm{\α}=\frac{w_{hole}}{w_{non\_hole}}$

得到：

$\begin{array}{c}{w}_i=n_{hole}^i\·\mathrm{\α}\·w_{non\_hole}+n_{non\_hole}^i\·w_{non\_hole}=(n_{hole}^i\·\mathrm{\α}+n_{non\_hole}^i)\·w_{non\_hole}\\ =(n_{hole}^i\·\mathrm{\α}+n_{refs}\·width-n_{hole}^i)\·w_{non\_hole}=\[n_{refs}\·width+(\mathrm{\α}-1)\·n_{hole}^i\]\·w_{non\_hole}\end{array}$

其中，α由训练得到，width为图像块的宽度，n_refs为所述参考视点图像的个数。

优选地，所述每行总的空洞数目通过以下方式确定：

对所述参考视点图像进行边缘检测，标记上升边缘和下降边缘；

参考视点像素在虚拟视点图像中移动的距离d通过下式确定：

d＝fu·(t_v-t_r)/z+du_v-du_r,其中 $z=\frac{1}{\frac{v}{255}\·(\frac{1}{z_{near}}-\frac{1}{z_{far}})+\frac{1}{z_{far}}}$

z是计算出的此像素点深度，z_near和z_far分别是在原始三维空间中的最近和最远剪切平面，v是深度图所记录的此像素点的强度值，f_u是在水平方向上的焦距，t_v和t_r分别是虚拟视点和参考视点的相机位置，du_v和du_r分别是虚拟视点和参考视点图像中与光轴相交的位置；

对于所述下降边缘，所述下降边缘像素和其右边像素的移动距离分别为d_L和d_R，则在合成视点图像上该行空洞数目为n＝d_L-d_R，对于所述上升边缘，所述上升边缘像素和其左边像素的移动距离分别为d_R和d_L，则在合成视点图像上该行空洞数目为n＝d_R-d_L；将各个参考视点图像在合成视点图像中形成的该行空洞数目累加起来，得到合成视点图像上该行总的空洞数目记为i∈(1,2,…,H)，其中H为图像的总行数。

优选地，如果分割高度h_k是奇数，则h_k＝h_k+1。

本发明提供了一种简明高效的算法，且在并行虚拟视点合成时取得良好的均衡效果。

附图说明

图1是本发明具体实施方式的基于深度图的负载均衡方法流程图；

图2是本发明具体实施方式的左图中某一个下降边缘及其映射后形成的空洞图；

图3是本发明具体实施方式的右图中某一个上升边缘及其映射后形成的空洞；

图4是本发明具体实施方式的一种实施例四个线程的参数说明。

具体实施方式

良好的负载均衡是提高并行绘制系统性能的必要条件，也是并行绘制系统一直没有得到很好解决的一大难题。本发明提出一种基于深度图的并行视点合成负载均衡方法，包括以下步骤：

对参考视点图像进行分割得到不同图像块，各个线程分别对不同图像块进行并行的视点合成，然后将各个线程产生的虚拟视点图像进行拼接，完成整个虚拟视点图像的输出。

对参考视点图像进行分割为：将参考视点图像按线程个数均分为不同图像块，根据每个线程负载与平均线程负载之差计算每个图像块应调整的负载值，然后以行为单位补偿所述负载值进而计算出每个图像块的分割高度，实现负载均衡。

下面结合具体实施方式并对照附图对本发明作进一步详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。本具体实施方式有左、右两个参考视点图像，并行处理的线程个数为4，参见附图1为本发明具体实施方式的基于深度图的负载均衡方法流程图，具体如下：

S1、对深度图进行边缘检测标记上升边缘和下降边缘：

对于左视点的深度图检测其下降边界像素点，此像素点和其右边的像素点因深度值的差异向右边映射时会在两者之间产生空洞。对于右视点的深度图检测其上升边缘，此像素点和其左边的空洞点因深度值的差异向左边映射时会在两者之间产生空洞。当此像素点与其左右像素点深度值之差的绝对值大于一个预先设定的阈值(β_Threshold)时，可判断标记其是上升边界或下降边界。

具体地，对于左视点深度图的每个像素，当此像素点的深度值(D_L)与右边像素的深度值(D_R)满足D_L-D_R>β_Threshold时，标记其为下降边缘。对于右视点深度图的每个像素，当此像素点的深度值(D_R)与左边像素的深度值(D_L)满足D_R-D_L>β_Threshold时，标记其为上升边缘。

S2、预测空洞数量：

根据forwardwarping算法，参考视点像素在虚拟视点图中移动的距离d可以按如下公式计算：

d＝fu·(t_v-t_r)/z+du_v-du_r,其中 $z=\frac{1}{\frac{v}{255}\·(\frac{1}{z_{near}}-\frac{1}{z_{far}})+\frac{1}{z_{far}}}.$

在上述公式中，z是计算出的此像素点深度，Z_near和Z_far分别是在原始三维空间中的最近和最远剪切平面，v是深度图所记录的此像素点的强度值，fu是在水平方向上的焦距，t_v和t_r分别是虚拟视点和参考视点的相机位置，du_v和du_r分别是虚拟视点和参考视点图像中与光轴相交的位置。

参见图2是本发明具体实施方式的左图中某一个下降边缘及其映射后形成的空洞图，图3是本发明具体实施方式的右图中某一个上升边缘及其映射后形成的空洞。对于左视点图像，计算得到下降边缘像素点和其右边的像素点的位置移动分别d_L和d_R，因为下降边缘像素点的深度值大，所以d_L>d_R，所以下降边缘像素点在合成图像上向左移动的幅度大，由此形成空洞，其数目是：n＝d_L-d_R。对于右视点图像，计算得到上升边缘和其左边的像素的位置移动分别为d_R和d_L，因为上升边缘像素点的深度值大，所以上升边缘像素点在合成图像上向右移动的幅度比较大，由此形成空洞，其数目是：n＝d_R-d_L。最后加在一起得到图像中每行所包含的空洞数目，记为:i∈(1,2,...,H)。

S3、归一化每行的空洞和非空洞视点合成负载：

视点合成的每行总负载是所有空洞负载和非空洞负载之和，即： $w_i=n_{hole}^i\·w_{hole}+n_{non\_hole}^i\·w_{non\_hole}.$ 其中w_i是每行的总负载，和分别是每行中的空洞和非空洞数目，w_hole和w_{non_hole}分别是处理单个空洞和非空洞的负载。

定义处理单个空洞和非空洞的负载之比：

$\mathrm{\α}=\frac{w_{hole}}{w_{non\_hole}}$

根据非空洞和空洞的负载比把每行的空洞负载转换为非空洞负载，最后可以得到：

$\begin{array}{c}{w}_i=n_{hole}^i\·\mathrm{\α}\·w_{non\_hole}+n_{non\_hole}^i\·w_{non\_hole}=(n_{hole}^i\·\mathrm{\α}+n_{non\_hole}^i)\·w_{non\_hole}\\ =(n_{hole}^i\·\mathrm{\α}+2\·width-n_{hole}^i)\·w_{non\_hole}=\[2\·width+(\mathrm{\α}-1)\·n_{hole}^i\]\·w_{non\_hole}\end{array}$

每行视点合成负载：w_i,i∈(1,2,...,H)，其中，α可以由训练得到。

S4、对每个图像块调整分割高度：

根据线程个数均分图像，但此种分割必然导致不同块之间负载的不均衡，所以还需要根据如下公式计算每块图像应该调整的负载大小：

${\mathrm{\Δw}}_k=\underset{i=(k-1)\·\frac{H}{N}+1}{\overset{k\·\frac{H}{N}}{\Σ}}{w}_i-\frac{\underset{i=1}{\overset{H}{\Σ}}{w}_i}{N}$

其中，H表示图像的总行数，N表示线程个数，k表示当前处理的是第k个图像块。

第一个图像块的分割高度h1相应的应调整的负载值为Δw₁，第二个图像块的分割高度h₂相应的应调整的负载值为Δw₁+Δw₂,当线程个数大于两个时，第k个图像块的分割高度h_k相应的应调整负载值依次类推。参见图4是本发明具体实施方式的一种实施例四个线程的参数说明。则第k个图像块的分割高度位置公式如下：

$h_k^{new}=h_k+\frac{H}{\underset{i=1}{\overset{H}{\Σ}}{w}_i}\·\underset{j=1}{\overset{k}{\Σ}}{\mathrm{\Δw}}_j$

如果调整后的分割高度h_k不是偶数，则h_k＝h_k+1。

本发明根据上述方法，引入了基于深度图的面向并行虚拟视点合成的负载均衡策略，通过本发明能够缩短线程间的时间差，大大提高了虚拟视点的合成速度。

本领域技术人员将认识到，对以上描述做出众多变通是可能的，所以实施例仅是用来描述一个或多个特定实施方式。

尽管已经描述和叙述了被看作本发明的示范实施例，本领域技术人员将会明白，可以对其作出各种改变和替换，而不会脱离本发明的精神。另外，可以做出许多修改以将特定情况适配到本发明的教义，而不会脱离在此描述的本发明中心概念。所以，本发明不受限于在此披露的特定实施例，但本发明可能还包括属于本发明范围的所有实施例及其等同物。

Claims (3)

1.一种基于深度图的并行视点合成负载均衡方法，包括：

对参考视点图像进行分割得到不同图像块，各个线程分别对所述不同图像块进行并行的视点合成，然后将各个线程产生的虚拟视点图像进行拼接，完成整个虚拟视点图像的输出；

所述对参考视点图像进行分割包括：将所述参考视点图像按线程个数均分为不同图像块，根据每个线程负载与平均线程负载之差计算每个图像块应调整的负载值，然后以行为单位补偿所述负载值计算每个图像块的分割高度，实现负载均衡；

所述每个图像块应调整的负载值为：

${\mathrm{\Δw}}_k=\underset{i=(k-1)\·\frac{H}{N}+1}{\overset{k\·\frac{H}{N}}{\Σ}}{w}_i-\frac{\underset{i=1}{\overset{H}{\Σ}}{w}_i}{N}$

其中，Δw_k为第k个图像块应调整的负载值，w_i为图像各行总负载，H为图像总行数，N为线程个数；

所述计算每个图像块的分割高度为：第k个图像块的分割高度h_k相应的调整的负载值为则通过下式确定：

$h_k^{new}=h_k+\frac{H}{\underset{i=1}{\overset{H}{\Σ}}{w}_i}\·\underset{j=1}{\overset{k}{\Σ}}{\mathrm{\Δw}}_j,$

其中第一帧的h_k初始化为均分图像；

所述图像各行总负载w_i通过下式确定：

$w_i=n_{hole}^i\·w_{hole}+n_{non\_hole}^i\·w_{non\_hole}$

其中，和分别是每行总的空洞和非空洞数目，w_holes和w_{non_holes}分别是处理单个空洞和非空洞的负载；

定义处理所述单个空洞和非空洞的负载之比：

$\mathrm{\α}=\frac{w_{hole}}{w_{non\_hole}}$

得到：

$\begin{array}{c}{w}_i=n_{hole}^i\·\mathrm{\α}\·w_{non\_hole}+n_{non\_hole}^i\·w_{non\_hole}=(n_{hole}^i\·\mathrm{\α}+n_{non\_hole}^i)\·w_{non\_hole}\\ =(n_{hole}^i\·\mathrm{\α}+n_{refs}\·width-n_{hole}^i)\·w_{non\_hole}=\[n_{refs}\·width+(\mathrm{\α}-1)\·n_{hole}^i\]\·w_{non\_hole}\end{array}$

其中，α由训练得到，width为图像块的宽度，n_refs为所述参考视点图像的个数。

2.如权利要求1所述的基于深度图的并行视点合成负载均衡方法，其特征在于，所述每行总的空洞数目通过以下方式确定：

对所述参考视点图像进行边缘检测，标记上升边缘和下降边缘；

参考视点像素在虚拟视点图像中移动的距离d通过下式确定：

d＝fu·(t_v-t_r)/z+du_v-du_r,其中 $z=\frac{1}{\frac{v}{255}\·(\frac{1}{z_{near}}-\frac{1}{z_{far}})+\frac{1}{z_{far}}}$

z是计算出的此像素点深度，z_near和z_far分别是在原始三维空间中的最近和最远剪切平面，v是深度图所记录的此像素点的强度值，f_u是在水平方向上的焦距，t_v和t_r分别是虚拟视点和参考视点的相机位置，du_v和du_r分别是虚拟视点和参考视点图像中与光轴相交的位置；

对于所述下降边缘，所述下降边缘像素和其右边像素的移动距离分别为d_L和d_R，则在合成视点图像上该行空洞数目为n＝d_L-d_R，对于所述上升边缘，所述上升边缘像素和其左边像素的移动距离分别为d_R和d_L，则在合成视点图像上该行空洞数目为n＝d_R-d_L；将各个参考视点图像在合成视点图像中形成的该行空洞数目累加起来，得到合成视点图像上该行总的空洞数目记为i∈(1,2,…,H)，其中H为图像的总行数。

3.如权利要求1所述的基于深度图的并行视点合成负载均衡方法，其特征在于，如果分割高度h_k是奇数，则h_k＝h_k+1。