CN105913492A - 一种rgbd图像中物体形状的补全方法 - Google Patents

Abstract

本发明公布了一种RGBD图像中物体形状的补全方法，该方法采用单幅RGBD图像中预分割出的物体作为输入，借助数据库中的同类别三维模型计算估计出初步的完整形状，然后通过基于体块匹配的优化算法计算得到最优的完整形状；本发明简化了三维数据采集的复杂流程，用户不再需要手持RGBD相机围绕物体进行多次扫描，而只需像拍摄照片一样按一个按钮即可；本发明的方法在后台可以将用户拍摄的单幅RGBD图像的数据进行自动补全，补全后的物体形状不仅从全局外观上符合用户预期，而且局部细节也和RGBD图像中可见部分的细节保持一致。

Description

一种RGBD图像中物体形状的补全方法

技术领域

本发明涉及三维几何建模领域，尤其涉及一种基于单幅RGBD图像的几何形状补全的方法。

背景技术

三维形状补全技术在不完整数据恢复领域得到广泛的应用。早期工作如包括平滑和网格重构技术(S.Bischoff,et al.“Automatic restoration ofpolygonmodels,”ACMTrans.Graph.,24(4):1332–1352.)，分散数据拟合技术(S.Shalom,A.Shamir,H.Zhang,and D.Cohen-Or,“Cone carving for surface reconstruction,”ACM Trans.Graph.,29(5).)用于处理平滑表面的缺失小洞，但是对于复杂的缺失区域较难得到较好的结果。基于内容的补全技术通过探索自相似性来使用自身的纹理或重复元素来补全物体的缺失区域(A.Sharf,M.Alexa,and D.Cohen-Or,“Context-based surfacecompletion,”ACM Trans.Graph.,23(3):878–887.)(G.Harary,A.Tal,and E.Grinspun,“Context-based coherent surface completion,”ACM Trans.Graph.,33(1):5:1–5:12.)，但是此类方法主要用于补全三维模型的小洞，不能直接用于单幅RGBD图像，因为单幅RGBD图像中几乎一半的几何信息不可见。基于模板的方法将完整的模板模型变形，对齐到输入数据，然后利用匹配的模板区域来补洞(V.Kraevoy and A.Sheffer,“Template-BasedMesh Completion,”in Proceedings of SGP,2005.)(M.Pauly,N.J.Mitra,J.Giesen,M.Gross,and L.J.Guibas,“Example-Based 3D Scan Completion,”in Proceedings ofSGP,2005.)。这类方法可以补全大洞，但是当模板局部细节和输入不一样时，此类方法无法恢复出一致的形状细节。最新的从单幅深度图中恢复完整形状的方法是基于机器学习的方法，如使用深度神经网络来自动预测物体类别和全局形状(Z.Wu,S.Song,A.Khosla,F.Yu,L.Zhang,X.Tang,and J.Xiao,“3d shapenets:A deep representation for volumetricshapes,”in Proceedings of CVPR,2015,1912–1920.)(J.Rock,T.Gupta,J.Thorsen,J.Gwak,D.Shin,and D.Hoiem,“Completing 3d object shape from one depth image,”in Proceedings CVPR,2015,1810–1817.)。此类方法可以处理大量一般物体，但是几何细节经常丢失。

发明内容

本发明的目的在于针对现有技术的不足，提供了一种RGBD图像中物体形状的补全方法。本发明利用数据驱动的方法获得目标形状的大致估计后，通过迭代优化得到物体完整形状。本发明可简化三维数据采集流程，具有很高的实用价值。

本发明的目的是通过以下技术方案来实现的：一种单幅RGBD图像的物体形状补全方法，包括如下步骤：

(1)数据驱动的初始解计算：将数据库中的同类别三维模型和输入的深度数据进行匹配，将最优匹配的模型和深度数据转化为体素表达作为初始解。

(2)基于体块匹配的优化算法：为待优化目标区域的体素组成的体块寻找相似的源区域的体块，然后进行受约束的非线性优化。寻找和优化步骤交替进行，直到收敛。

(3)基于体块融合的去噪：对优化后的每一个体块搜索数据库模型中相似的多个体块，并将它们融合到对应的体块中去，去除优化后形状表面的高频噪声。

进一步地，所述步骤(1)主要包括以下子步骤：

(1.1)刚体变换数据库模型，使得变换后模型到输入深度数据之间的距离最小。

(1.2)在得到步骤1.1的最佳刚体匹配后，进一步非刚体变形模型，改善匹配；在非刚体变形中引入对称性能量项，尽可能在变形过程中维持对称性。

(1.3)如果数据库模型被预分割为各个部分，在得到步骤1.2的非刚体匹配之后，进一步对各个部分在局部范围内进行步骤1.1的刚体匹配和步骤1.2的非刚体匹配，以改善各组成部分的匹配。

(1.4)挑选最优匹配。如果模型没有被预分割，直接挑选步骤1.2后的变形后匹配最好的模型作为最优匹配的模型。如果模型被预分割，则挑选各个模型中匹配最好的部件，拼接在一起，组成最优匹配模型。

(1.5)将深度数据和最佳匹配模型分别转化为基于三维栅格的有向距离场表达，栅格的每个体素记录了它到真实表面的有向距离，并只记录和真实表面很近的体素的值。保持深度数据对应的体素的值不变，将匹配模型对应的体素融合到深度数据对应的三维栅格中。

进一步地，所述步骤(2)主要包括以下子步骤：

(2.1)体块匹配，为目标区域寻找一个最优的填充，使得目标区域的每个体素组成的小块都能在源区域内找到相似的小块。

(2.2)带约束的非线性优化，使得目标体素的值尽可能满足步骤2.1的匹配关系，同时也必须满足可见性约束，置信度约束和对称性约束。

(2.3)迭代求解，按从粗到细的顺序在每一个尺度下不断迭代步骤2.1和2.2，直到物体的形状收敛，不再更新。

本发明的有益效果是：本发明通过受约束优化不准确的初始解，并结合去噪算法，可以从RGBD图像中得到高质量的完整物体形状。形状的局部细节和可见区域保持一致，同时形状的整体几何和拓扑也符合用户预期。本发明简化了三维数据采集的复杂流程，用户不再需要手持RGBD相机围绕物体进行多次扫描，而只需像拍摄照片一样按一个按钮即可；本发明的方法在后台可以将用户拍摄的单幅RGBD图像的数据进行自动补全，补全后的物体形状不仅从全局外观上符合用户预期，而且局部细节也和RGBD图像中可见部分的细节保持一致。

附图说明

图1是本发明的算法流程图；左列：输入的RGBD图像；中间：基于数据驱动的初始解；右列：基于体块匹配的满足约束的优化结果；

图2是初始解的求解过程图；从左到右为：输入深度数据，刚体变换后的匹配模型，非刚体变换后的匹配模型，转化为体素表达的初始解；

图3是本发明在真实数据上的形状补全结果图；从左到右为：输入的RGBD图像，物体的深度数据，最佳匹配的数据库模型，优化后的最终物体形状。

具体实施方式

本发明的核心技术是使用基于三维体块匹配的形状优化算法，优化根据数据库模型匹配得到的初始形状估计，以此得到整体几何符合用户预期且局部细节和可见区域一致的RGBD图像物体的完整形状。本发明包括以下步骤：

1.数据驱动的初始解计算：给定RGBD图像中的物体类别，将数据库中的同类别三维模型和物体深度数据进行匹配来估计不可见区域的大致形状。

1.1.刚体匹配

首先将模型的向上方向(存储在数据库中)和输入深度数据的向上方向(检测支持平面的法向)对齐，支持平面的检测使用的是基于RANSAC的方法(R.Schnabel,R.Wahl,and R.Klein,“Efficient ransac for pointcloud shape detection,”CGF,vol.26,no.2,pp.214–226,2007.)；然后将模型缩放并平移到输入数据的包围盒中。最后，遍历搜索模型围绕向上方向的最佳角度，使得模型到输入深度数据之间的距离最小。

1.2.非刚体匹配

得到步骤1.1的最佳刚体匹配后，进一步使用Embedded deformation算法(R.W.Sumner,J.Schmid,and M.Pauly,“Embedded deformation for shape manipulation,”ACM Trans.Graph.,vol.26,no.3,pp.80–85,Aug.2007.)来进行非刚体匹配，以改善当前匹配。非刚体匹配是迭代进行，每一步迭代中，首先为模型中嵌入的控制点寻找深度数据中的最近的对应点，然后求解Embedded deformation方程，变形后重新计算对应点。

为了尽可能地维持对称信息，本发明在变形的能量方程中加入对称项，保证变形后的对称点尽可能保持对称：

$\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}\left|\right|R_i\left(g\right(t_i\left)\right)-g\left(s_i\right)|{|}^2,$

其中，(t_i,s_i)是一对对称点，(g(t)_i,g(s_i))是它们变形后的位置，R_i是t_i到s_i的对称变换，N是对称点对的个数。

1.3.局部改善

如果数据库模型被预分割为各个部分，在得到步骤1.2的非刚体匹配之后，进一步对各个部分在局部范围内进行步骤1.1的刚体匹配和步骤1.2的非刚体匹配，以改善各组成部分的匹配。

1.4.最优匹配

如果模型没有被预分割，直接挑选步骤1.2后的变形后匹配最好的模型作为最优匹配的模型。最优匹配是指模型到输入深度数据之间的距离最小。如果模型被预分割，则挑选各个模型中匹配最好的部件，拼接在一起，组成最优匹配模型。

1.5.转化为体素表达

假设相机处于世界坐标系原点，将深度数据反投为世界坐标系的三维点云，再将点云嵌入到三维栅格中转化为有向距离场表达(S.Osher and R.Fedkiw,Level Set Methods andDynamic Implicit Surfaces,ser.Applied Mathematical Sciences.Springer,2003.)，每个体素记录了它到真实表面的有向距离。本发明只记录和真实表面很近的体素的值。对于最佳匹配的三维模型，同样将它转换成三维栅格的有向距离场表达(Y.Ohtake,A.Belyaev,M.Alexa,G.Turk,and H.-P.Seidel,“Multilevel partition of unity implicits,”in Proceedings of SIGGRAPH.New York,NY,USA:ACM,2003,pp.463–470.)，同样也只记录和真实表面很近的体素的值。最后，保持深度数据对应的体素的值不变，将匹配模型对应的体素融合到深度数据对应的三维栅格中。

2.基于体块匹配的优化算法：在步骤1得到的以体素表达的初始解的基础上，为待优化目标区域的体素组成的体块寻找相似的源区域的体块，然后进行受约束的非线性优化。寻找和优化步骤迭代交替进行，直到收敛。

2.1.体块匹配

为目标区域寻找一个最优的填充，使得目标区域的每个体素组成的小块都能在源区域内找到相似的小块。目标区域T包括输入数据的可见区域T_k和不可见区域T_u，它们对应的源区域分别是步骤1.4的最佳匹配模型的所有区域S_d和输入数据的可见区域S_k。体块匹配的过程如下：

(1)匹配初始化，对于每个目标体素q，它对应的体块是Q＝N(q)，在源区域随机采样一个源体素p得到源体块N(p)并施加一个随机变换f得到对应的匹配源体块P＝f(N(p))。

(2)匹配扩散，利用相邻的体块来改善当前匹配：

$P*\←\underset{P_b\∈\{P,{P_{x-}}^{+},{P_{y-}}^{+},{P_{z-}}^{+}\}}{\arg \min }D(Q,P_b).$

其中，Q是当前目标体块，P是Q匹配的源体块，P_x- ⁺是Q的左邻居匹配的源体块的右邻居，P_y- ⁺是Q的上邻居匹配的源体块的下邻居，P_z- ⁺是Q的前邻居匹配的源体块的下邻居；P_b是这四个源体块中的任一个，与Q进行匹配；P*是这四个中匹配得最好的源体块，作为Q的新的匹配源体块。

(3)随机搜索，通过比较一组随机生成的体块来进一步寻找更好的匹配源体块：

$P*\←\underset{P_b\∈\left\{P\right\}\∪\left\{P_i\right\}}{\arg \min }D(Q,P_b).$

其中，Q是当前目标体块，P＝f(N(p))是Q匹配的源体块，p是源体块对应的体素。P_i＝f_i(N(p+w·0.5ⁱ·r_i))是随机生成的源体块，w是三维栅格的大小，f_i是随机采样的变换：围绕各个轴的旋转和反射的组合r_i＝[-1,1]×[-1,1]×[-1,1]，i＝0,1,2,...直到搜索半径w·0.5ⁱ小于一个体素大小。P_b是P和随机生成的源体块中的任一个，与Q进行匹配；P*是其中匹配得最好的源体块，作为Q的新的匹配源体块。

(4)交替迭代步骤(2)和(3)，本方法固定使用四次：在奇数次迭代进行顺序扫描，在偶数次迭代进行逆序扫描。

2.2.带约束的非线性优化

经过步骤2.1的体块匹配，所有的目标体素都有一系列和它最匹配的来源体素。为了得到当前目标体素的最优值，优化下述带约束的能量方程，使得目标体素的值尽可能满足步骤2.1的匹配关系，同时也必须满足可见性约束，置信度约束和对称性约束：

$\underset{T}{\arg \min }{\mathrm{\ϵ}}_m(T,S)+{\mathrm{\λ}}_c{\mathrm{\ϵ}}_c(T,\tilde{T})+{\mathrm{\λ}}_s{\mathrm{\ϵ}}_s\left(T\right),s.t.M\·d\left(T\right)>0.$

这里T是目标区域，S是源区域，是目标区域的初始值，λ_c＝λ_s＝1是对应的权重系数。ε_m(T,S)度量体块的匹配误差，是表面置信度项，ε_s(T)是对称性项，M·d(T)>0是可见性约束，具体定义如下：

${\mathrm{\ϵ}}_m(T,S)=\underset{q\⋐T}{\Σ}\underset{q\⋐S}{min}D(Q,P),$

其中，T是目标区域，S是源区域，Q＝N(q)是围绕目标体素q的目标体块，P＝f(N(p))是在围绕源体素p的并施加了随机变换f的源体块。D(Q,P)给出了P和Q的差异度量：D(Q,P)＝||d(Q)-d(P)||²，其中d(N(q))＝{d(q⁰),d(q¹),...,d(qⁿ)}，d(qⁱ)是存储在体素qⁱ中的有向距离值，n是体块的体素个数。

${\mathrm{\ϵ}}_c(T,\tilde{T})=\underset{q\⋐T}{\Σ}\left|\right|w_q\left(d\right(q)-\tilde{d}(q\left)\right)|{|}^2,$

其中，T是目标区域，是目标区域的初始值，d(q)是存储在体素q中的有向距离值，目标体素的初始有向距离值，wq是衡量可靠性的权重。对于不可见体素，权重为0。对于可见体素，权重的定义为：其中θ是q的有向距离值，σ2是所有可见体素的值的方差，l是使用主成分分析方法估计的噪音水平(S.Pyatykh,J.Hesser,and L.Zheng,“Image noise level estimation by principal component analysis,”IEEETrans.Image Processing,vol.22,no.2,pp.687–699,Feb.2013.)，σ_l是根据预采集的RGBD图像估计出的平均噪声水平。

${\mathrm{\ϵ}}_s\left(T\right)=\underset{q\⋐T}{\Σ}\left|\right|d\left(q\right)-d(q*)|{|}^2,$

其中，T是目标区域，d(q)是存储在体素q中的有向距离值，q*是q的对称体素，d(q*)存储在体素q*中的有向距离值。

M·d(T)>0，

其中，T是目标区域，M是对角阵，矩阵大小是目标区域的体素数。M_ii＝1表示对应的体素可见，M_ii＝0表示不可见。d(T)是列向量，包含了目标区域所有体素的值。

经过步骤2.1的体块搜索匹配后，优化能量方程中的P变为已知量，所有的目标体素都有一系列和它最匹配的来源体素。优化能量方程退化为带不等式约束的最小二乘问题。首先将此问题松弛为无约束的优化问题，该问题的最优解在偏微分为0时得到。在得到无约束优化的最优解之后，通过检查目标区域的可见体素是否满足可见性约束，将最优解再反投到可行域中。如果可见目标体素的值小于等于0，则给它赋一个很小的正值。

2.3.迭代求解

按从粗到细的顺序在每一个尺度下不断迭代步骤2.1和2.2，直到物体的形状收敛，不再更新。

3.基于体块融合的去噪算法

通过步骤1和2，可以得到整体形状符合预期，且细节和可见区域保持一致的完整几何。但是，原始数据的高频噪声仍然存在。为了进一步提升最终形状的质量，提出了基于体块融合的去噪算法。对于优化后的形状的每一个体块，在干净无噪声的三维模型数据库中搜索10个最相似的体块，并将它们融合到对应的体块中。因为这些相似体块干净无噪声，所以高频噪声会随着这些体块的融入而逐渐消失。相似体块的搜索使用的是步骤2.1中的体块匹配搜索算法。

实施实例

发明人在一台配备Intel I5-4430中央处理器，Nvidia GeForce GTX760显卡以及16GB内存的台式计算机上实现了本发明的实施实例。

发明人使用Microsoft Kinect采集了多个类别物体的RGBD图像(如椅子、桌子、雕像、自行车、容器和玩具等)，以及使用美国UIUC发布公共数据集来测试发明的实验结果。结果表明，在我们目前的硬件配置上，本发明可以在较短的时间内将单幅RGBD图像中的物体缺失的大量几何信息给补全。尽管通过数据驱动的方法得到的初始解在几何和拓扑上和输入数据有很大不同，本发明的基于体块匹配的优化算法通过结合表面置信度约束，可见性约束和对称约束，可以很好地恢复出最终的完整几何信息。在最终补全的几何信息中，RGBD图像的噪声得到了抑制，整体形状和拓扑结构符合用户的预期，而且恢复出局部几何细节和输入数据保持一致。

Claims (3)

1.一种RGBD图像中物体形状的补全方法，其特征在于，包括以下步骤：

(1)数据驱动的初始解计算：将数据库中的同类别三维模型和输入的深度数据进行匹配，将最优匹配的模型和深度数据转化为体素表达作为初始解。

(2)基于体块匹配的优化算法：为待优化目标区域的体素组成的体块寻找相似的源区域的体块，然后进行受约束的非线性优化。寻找和优化步骤交替进行，直到收敛。

(3)基于体块融合的去噪：对优化后的每一个体块搜索数据库模型中相似的多个体块，并将它们融合到对应的体块中去，去除优化后形状表面的高频噪声。

2.根据权利要求1所述的RGBD图像中物体形状的补全方法，其特征在于，所述步骤(1)主要包括以下子步骤：

(1.1)刚体变换数据库模型，使得变换后模型到输入深度数据之间的距离最小。

(1.2)在得到步骤1.1的最佳刚体匹配后，进一步非刚体变形模型，改善匹配；在非刚体变形中引入对称性能量项，尽可能在变形过程中维持对称性。

(1.3)如果数据库模型被预分割为各个部分，在得到步骤1.2的非刚体匹配之后，进一步对各个部分在局部范围内进行步骤1.1的刚体匹配和步骤1.2的非刚体匹配，以改善各组成部分的匹配。

(1.4)挑选最优匹配。如果模型没有被预分割，直接挑选步骤1.2后的变形后匹配最好的模型作为最优匹配的模型。如果模型被预分割，则挑选各个模型中匹配最好的部件，拼接在一起，组成最优匹配模型。

(1.5)将深度数据和最佳匹配模型分别转化为基于三维栅格的有向距离场表达，栅格的每个体素记录了它到真实表面的有向距离，并只记录和真实表面很近的体素的值。保持深度数据对应的体素的值不变，将匹配模型对应的体素融合到深度数据对应的三维栅格中。

3.根据权利要求1所述的RGBD图像中物体形状的补全方法，其特征在于，所述步骤(2)主要包括以下子步骤：

(2.1)体块匹配，为目标区域寻找一个最优的填充，使得目标区域的每个体素组成的小块都能在源区域内找到相似的小块。

(2.2)带约束的非线性优化，使得目标体素的值尽可能满足步骤2.1的匹配关系，同时也必须满足可见性约束，置信度约束和对称性约束。

(2.3)迭代求解，按从粗到细的顺序在每一个尺度下不断迭代步骤2.1和2.2，直到物体的形状收敛，不再更新。