CN107680140B - 一种基于Kinect相机的深度图像高分辨率重构方法 - Google Patents

Abstract

本发明公开了一种基于Kinect相机的深度图像高分辨率重构方法，涉及图像处理领域，该方法包括：对Kinect相机的彩色相机和深度相机进行标定，获取Kinect相机的相机参数；通过Kinect相机的彩色相机和深度相机分别获取目标物体的彩色图像和深度图像，根据kinect相机的相机参数将深度图像映射到彩色图像所在的彩色图像像素坐标系中，获得对齐后的深度图像，根据彩色图像和对齐后的深度图像构建非凸优化模型，利用交替方向乘子算法对非凸优化模型求解得到重构的深度图像；该方法能够实现在自然场景下彩色图像引导的深度图像高分辨率重建，并能够在保证快速收敛的同时具有良好的边缘保持平滑和鲁棒性。

Description

一种基于Kinect相机的深度图像高分辨率重构方法

技术领域

本发明涉及图像处理领域，尤其是一种基于Kinect相机的深度图像高分辨率重构方法。

背景技术

水果采摘机器人可以自动检测水果并进行采摘，因其效率高自动化程度好的优点而被广泛使用，水果采摘机器人的采摘动作依赖于其视觉检测系统对水果的准确检测与定位，因此为了提高水果采摘机器人的采摘精度，最重要的是要提高复杂场景下水果的检测与定位精度。

在复杂场景下，基于彩色图像进行水果检测与识别往往存在识别精度低、鲁棒性差的问题，为了解决这个问题，可以将低成本的Kinect相机引入到水果的检测与识别领域，使用Kinect相机包括的深度相机采集果树的深度图像，基于深度图像进行水果的检测与定位。但由于光照变化、遮挡以及Kinect相机自身硬件等因素，Kinect相机在室外自然场景下获得的深度图像的噪声比在室内获得的深度图像的噪声更为严重，同时深度图像的低分辨率也给几何特征的提取带来了困难，并且深度图像还存在着深度图像边缘与彩色图像边缘不对应、深度噪声等问题，导致果树的信息准确度下降，影响后续果实的识别。

发明内容

本发明人针对上述问题及技术需求，提出了一种基于Kinect相机的深度图像高分辨率重构方法,该方法可以实现在自然场景下彩色图像引导的深度图像高分辨率重建，并能够在保证快速收敛的同时具有良好的变化保持平滑和鲁棒性，提高使用Kinect相机进行图像识别的准确性。

本发明的技术方案如下：

一种基于Kinect相机的深度图像高分辨率重构方法，该方法包括：

对Kinect相机的彩色相机和深度相机进行标定，获取Kinect相机的相机参数；

通过Kinect相机的彩色相机获取目标物体的彩色图像，通过Kinect相机的深度相机获取目标物体的深度图像；

根据kinect相机的相机参数将深度图像映射到彩色图像所在的彩色图像像素坐标系中，获得对齐后的深度图像；

根据彩色图像和对齐后的深度图像构建非凸优化模型；

利用交替方向乘子算法对非凸优化模型求解得到重构的深度图像。

其进一步的技术方案为，根据彩色图像和对齐后的深度图像构建非凸优化模型，包括构建如下模型：

其中，u为输出图像，f为对齐后的深度图像，g为彩色图像，λ为正则化平衡参数，c为对齐后的深度图像f的置信度，N是对齐后的深度图像的领域集合，Φ_μ(g_i-g_j)＝exp(-(g_i-g_j)²/μ)，Φ_μ(g_i-g_j)是彩色图像g中相邻像素之间的强度差的权重函数，μ是控制平滑带宽的参数；

是非凸规则化器，威尔士函数充当鲁棒的正则化器，

υ是控制平滑带宽的参数，u⁰是每次迭代后输入的对齐后的深度图像f的邻域N像素集合。

其进一步的技术方案为，利用交替方向乘子算法对非凸优化模型求解得到重构的深度图像，包括：

步骤1：确定非凸优化模型的等效函数为：

其中，

z为辅助变量，z用于分离数据一致性项和非凸正则化的计算；

步骤2：采用增强拉格朗日方法将等效函数转换为如下近似函数：

其中，γ是增强拉格朗日乘数，β是惩罚参数；

步骤3：通过交替方向乘子算法求解近似函数得到：

γ^t+1＝γ^t-(u^t+1-

-z^t+1)；

步骤4：以z和γ为固定，相对于u最小化近似函数得到：

通过预处理共轭梯度算法更新u^t+1得到：

步骤5：以u和γ为固定，相对于z最小化近似函数得到：

令

在

处对h(z)进行泰勒展开得到h(z)的泰勒展开：h(z)＝h(τ)+h′(τ)(z-τ)；

用h(z)的泰勒展开替换h(z)，并定义τ处的近端算子为：

由此得到：

其中，w_τ＝exp(-τ²/υ)；

步骤6：检测是否满足||u^t+1-u^t||≥δ，其中δ是固定常数；

步骤7：若不满足||u^t+1-u^t||≥δ，则输出重构的深度图像；

步骤8：若满足||u^t+1-u^t||≥δ，则重新执行上述步骤1。

其进一步的技术方案为，相机参数包括彩色相机的内部参数和外部参数，以及深度相机的内部参数和外部参数；

根据kinect相机的相机参数将深度图像映射到彩色图像所在的彩色图像像素坐标系中，获得对齐后的深度图像，包括：

利用彩色相机外部参数根据投影逆变换获取在世界坐标系P(X_w,Y_w,Z_w)下的彩色相机的投影坐标P_rgb(X_c1，Y_c1，Z_c1)，利用深度相机外部参数根据投影逆变换获取在世界坐标系P(X_w,Y_w,Z_w)下的深度相机的投影坐标P_d(X_c2，Y_c2，Z_c2)；

利用彩色相机内部参数获取在彩色相机坐标系下的图像像素的坐标P_rgb(u₁，v₁)，利用深度相机内部参数获取在深度相机坐标系下的图像像素的坐标P_d(u₂，v₂)；

根据世界坐标系下的彩色相机的投影坐标P_rgb(X_c1，Y_c1，Z_c1)、世界坐标系下的深度相机的投影坐标P_d(X_c2，Y_c2，Z_c2)、彩色相机坐标系下的图像像素的坐标P_rgb(u₁，v₁)以及深度相机坐标系下的图像像素的坐标P_d(u₂，v₂)确定彩色图像像素坐标与深度图像像素坐标之间的对应关系；

根据彩色图像像素坐标与深度图像像素坐标之间的对应关系将深度图像映射到彩色图像像素坐标系中，获得对齐后的深度图像。

其进一步的技术方案为，对Kinect相机的彩色相机和深度相机进行标定，获取Kinect相机的相机参数，包括：

采用张正友标定法对对Kinect相机的彩色相机进行标定，获取彩色相机内部参数和彩色相机外部参数；

采用张正友标定法对Kinect相机的深度相机进行标定，获取深度相机内部参数和深度相机外部参数。

本发明的有益技术效果是：

1、本申请提供了一种基于Kinect相机的深度图像高分辨率重构方法，其能够实现在自然场景下彩色图像引导的深度图像高分辨率重建，并能够在保证快速收敛的同时具有良好的边缘保持平滑和鲁棒性，当该方法应用于水果检测与识别领域时，使用该方法可以重构自然场景下的果树的深度图像，从而提高复杂场景下水果的检测与定位精度，提高使用Kinect相机在自然场景下对果树进行果实识别时的精度。

2、本申请公开的高分辨率重构方法是一种基于彩色图像与深度图像的像素对齐的重构方法，相比于现有的诸如双线性插值(Bilinear Interpolation)、联合双边上采样(Joint Bilateral Upsampling，JBU)、二阶广义总变分(Total Generalized Variation，TGV)，引导图像滤波(Guided Image Filtering，GIF)之类的基于信息融合技术的重建方法来说，可以有效的解决图像像素不匹配的问题，可以更精确的获取到果实位置。

3、本发明还提出了一种处理强度和深度图像之间的结构差异的模型，该方法可以区分深度过渡与强度图像的纹理和弱边缘，解决深度渗色和纹理复制伪像。另外，本发明还公开了一种快速的ADMM求解器，它比传统的最大最小化求解器(MM)实现更快，相应的优化问题可以通过快速收敛到局部最小值的有效算法来解决，从而实现在自然场景下果树的高分辨率重建。

附图说明

图1是本发明公开的基于Kinect相机的深度图像高分辨率重构方法的方法流程图。

图2是彩色相机与深度相机之间的坐标映射模型示意图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步说明。

本申请公开了一种基于Kinect相机的深度图像高分辨率重构方法，该方法基于Kinect相机，Kinect相机包括一个彩色相机和一个深度相机，该重构方法包括如下步骤，流程图请参考图1：

一、分别对Kinect相机的彩色相机和深度相机进行标定，获取Kinect相机的相机参数，该相机参数包括彩色相机的参数以及深度相机的参数，本申请采用的标定方法为张正友标定法，实际也可以采用其他方法，本申请对此不做限定。采用张正友标定法对Kinect相机的彩色相机进行标定，可以获取彩色相机内部参数H_rgb和彩色相机外部参数(R_rgb，T_rgb)；采用张正友标定法对Kinect相机的深度相机进行标定，可以获取深度相机内部参数H_d和深度相机外部参数(R_d，T_d)。

二、通过Kinect相机的彩色相机获取目标物体的彩色图像，通过Kinect相机的深度相机获取目标物体的深度图像，在本申请中，目标物体为自然场景下的果树，彩色相机采集到的彩色图像的分辨率较高，通常为1080*1920，深度相机采集到的深度图像的分辨率较低，通常为424*512，彩色图像和深度图像的具体分辨率由Kinect相机的硬件参数和人为设定等因素来决定，本申请对此不做限定。

在实际实现时，上述步骤一和步骤二没有特定的先后顺序。

三、利用Kinect相机的相机参数，根据投影逆变换和空间坐标系之间的坐标映射关系，将深度信息映射到彩色图像像素坐标系中，获取与彩色图像的像素点一一对应的对齐后的深度图像，对其后的深度图像的分辨率与彩色图像的分辨率相同，为1080*1920，具体包括如下步骤，示意图如图2所示：

步骤1：利用彩色相机外部参数根据投影逆变换获取在世界坐标系P(X_w，Y_w，Z_w)下的彩色相机的投影坐标P_rgb(X_c1，Y_c1，Z_c1)，利用深度相机外部参数根据投影逆变换获取在世界坐标系P(X_w,Y_w,Z_w)下的深度相机的投影坐标P_d(X_c2，Y_c2，Z_c2)。

步骤2：利用彩色相机内部参数获取在彩色相机坐标系下的图像像素的坐标P_rgb(u₁，v₁)，利用深度相机内部参数获取在深度相机坐标系下的图像像素的坐标P_d(u₂，v₂)。

步骤3：根据世界坐标系下的彩色相机的投影坐标P_rgb(X_c1，Y_c1，Z_c1)、世界坐标系下的深度相机的投影坐标P_d(X_c2，Y_c2，Z_c2)、彩色相机坐标系下的图像像素的坐标P_rgb(u₁，v₁)以及深度相机坐标系下的图像像素的坐标P_d(u₂，v₂)确定彩色图像像素坐标与深度图像像素坐标之间的对应关系。

步骤4，最后根据彩色图像像素坐标与深度图像像素坐标之间的对应关系将深度图像映射到彩色图像像素坐标系中，从而获得对齐后的深度图像。

四、根据对其后的深度图像的像素之间的结构差异和非凸函数对异常值的鲁棒性，使用对齐后的深度图像与原始的高分辨率的彩色图像构建由保真度和正则化组成的非凸优化模型为：

其中，u为输出图像，f为对齐后的深度图像，g为彩色图像，λ为正则化平衡参数，c为对齐后的深度图像f的置信度，N是对齐后的深度图像的领域集合，Φ_μ(g_i-g_j)＝exp(-(g_i-g_j)²/μ)，Φ_μ(g_i-g_j)是彩色图像g中相邻像素之间的强度差的权重函数，μ是控制平滑带宽的参数；

是非凸规则化器，威尔士函数充当鲁棒的正则化器，

υ是控制平滑带宽的参数，u⁰是每次迭代后输入的对齐后的深度图像f的邻域N像素集合。

五、利用交替方向乘子算法(Alternating Direction Method of Multipliers，ADMM)对非凸优化模型求解得到重构的深度图像，包括如下步骤：

步骤1：确定上述非凸优化模型的等效函数为：

其中，

z为辅助变量，z用于分离数据一致性项和非凸正则化的计算；

步骤2：采用增强拉格朗日方法(Augmented Lagrange)近似上述等效函数，将等效函数转换为如下近似函数：

其中，γ是增强拉格朗日乘数，β是惩罚参数，增强拉格朗日方法中的增强拉格朗日乘数γ可以防止惩罚参数β变化，同时仍然具有很好的优化效果。

步骤3：通过交替方向乘子算法求解步骤2中的近似函数得到：

步骤4：以z和γ为固定，相对于u最小化近似函数得到：

通过预处理共轭梯度算法(PCG)更新u^t+1得到：

步骤5：以u和γ为固定，相对于z最小化近似函数得到：

令

在

处对h(z)进行泰勒展开得到h(z)的泰勒展开：h(z)＝h(τ)+h′(τ)(z-τ)；

用h(z)的泰勒展开替换h(z)，并定义τ处的近端算子为：

由此得到：

其中，w_τ＝exp(-τ²/υ)；

步骤6：检测是否满足||u^t+1-u^t||≥δ，其中δ是固定常数，δ的值为系统预设值或用户自定义值；

步骤7：若不满足||u^t+1-u^t||≥δ，则输出图像即为重构的深度图像，输出该重构的深度图像；

步骤8：若满足||u^t+1-u^t||≥δ，则重新执行上述步骤1。

以上所述的仅是本发明的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (3)

1.一种基于Kinect相机的深度图像高分辨率重构方法，其特征在于，所述方法包括：

对Kinect相机的彩色相机和深度相机进行标定，获取所述Kinect相机的相机参数；

通过Kinect相机的彩色相机获取目标物体的彩色图像，通过Kinect相机的深度相机获取所述目标物体的深度图像；

根据所述kinect相机的相机参数将所述深度图像映射到所述彩色图像所在的彩色图像像素坐标系中，获得对齐后的深度图像；

根据所述彩色图像和所述对齐后的深度图像构建非凸优化模型，包括构建如下模型：

其中，u为输出图像，f为所述对齐后的深度图像，g为所述彩色图像，λ为正则化平衡参数，c为所述对齐后的深度图像f的置信度，N是所述对齐后的深度图像的邻域集合，Φ_μ(g_i-g_j)＝exp(-(g_i-g_j)²/μ)，Φ_μ(g_i-g_j)是彩色图像g中相邻像素之间的强度差的权重函数，μ是控制平滑带宽的参数；

是非凸规则化器，威尔士函数充当鲁棒的正则化器，

υ是控制平滑带宽的参数，u⁰是每次迭代后输入的所述对齐后的深度图像f的邻域N像素集合；

利用交替方向乘子算法对所述非凸优化模型求解得到重构的深度图像，包括：

步骤1：确定所述非凸优化模型的等效函数为：

其中，

z为辅助变量，z用于分离数据一致性项和非凸正则化的计算；

步骤2：采用增强拉格朗日方法将所述等效函数转换为如下近似函数：

其中，γ是增强拉格朗日乘数，β是惩罚参数；

步骤3：通过交替方向乘子算法求解所述近似函数得到：

步骤4：以z和γ为固定，相对于u最小化所述近似函数得到：

通过预处理共轭梯度算法更新u^t+1得到：

步骤5：以u和γ为固定，相对于z最小化所述近似函数得到：

令

在

处对h(z)进行泰勒展开得到h(z)的泰勒展开：h(z)＝h(τ)+h′(τ)(z-τ)；

用h(z)的泰勒展开替换h(z)，并定义τ处的近端算子为：

由此得到：

其中，w_τ＝exp(-τ²/υ)；

步骤6：检测是否满足||u^t+1-u^t||≥δ，其中δ是固定常数；

步骤7：若不满足||u^t+1-u^t||≥δ，则输出所述重构的深度图像；

步骤8：若满足||u^t+1-u^t||≥δ，则重新执行上述步骤1。

2.根据权利要求1所述的方法，其特征在于，所述相机参数包括所述彩色相机的彩色相机内部参数和彩色相机外部参数，以及所述深度相机的深度相机内部参数和深度相机外部参数；

所述根据所述kinect相机的相机参数将所述深度图像映射到所述彩色图像所在的彩色图像像素坐标系中，获得对齐后的深度图像，包括：

利用所述彩色相机外部参数根据投影逆变换获取在世界坐标系P(X_w,Y_w,Z_w)下的彩色相机的投影坐标P_rgb(X_c1，Y_c1，Z_c1)，利用所述深度相机外部参数根据投影逆变换获取在世界坐标系P(X_w,Y_w,Z_w)下的深度相机的投影坐标P_d(X_c2，Y_c2，Z_c2)；

利用所述彩色相机内部参数获取在彩色相机坐标系下的图像像素的坐标P_rgb(u₁，v₁)，利用所述深度相机内部参数获取在深度相机坐标系下的图像像素的坐标P_d(u₂，v₂)；

根据世界坐标系下的彩色相机的投影坐标P_rgb(X_c1，Y_c1，Z_c1)、世界坐标系下的深度相机的投影坐标P_d(X_c2，Y_c2，Z_c2)、彩色相机坐标系下的图像像素的坐标P_rgb(u₁，v₁)以及深度相机坐标系下的图像像素的坐标P_d(u₂，v₂)确定彩色图像像素坐标与深度图像像素坐标之间的对应关系；

根据彩色图像像素坐标与深度图像像素坐标之间的对应关系将所述深度图像映射到彩色图像像素坐标系中，获得所述对齐后的深度图像。

3.根据权利要求2所述的方法，其特征在于，所述对Kinect相机的彩色相机和深度相机进行标定，获取所述Kinect相机的相机参数，包括：

采用张正友标定法对所述对Kinect相机的彩色相机进行标定，获取所述彩色相机内部参数和所述彩色相机外部参数；

采用张正友标定法对Kinect相机的深度相机进行标定，获取所述深度相机内部参数和所述深度相机外部参数。

Images