CN107680140A - 一种基于Kinect相机的深度图像高分辨率重构方法 - Google Patents

一种基于Kinect相机的深度图像高分辨率重构方法 Download PDF

Info

Publication number
CN107680140A
CN107680140A CN201710971318.8A CN201710971318A CN107680140A CN 107680140 A CN107680140 A CN 107680140A CN 201710971318 A CN201710971318 A CN 201710971318A CN 107680140 A CN107680140 A CN 107680140A
Authority
CN
China
Prior art keywords
mrow
msub
msup
munder
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710971318.8A
Other languages
English (en)
Other versions
CN107680140B (zh
Inventor
朱启兵
张跃
黄敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN201710971318.8A priority Critical patent/CN107680140B/zh
Publication of CN107680140A publication Critical patent/CN107680140A/zh
Application granted granted Critical
Publication of CN107680140B publication Critical patent/CN107680140B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于Kinect相机的深度图像高分辨率重构方法，涉及图像处理领域，该方法包括：对Kinect相机的彩色相机和深度相机进行标定，获取Kinect相机的相机参数；通过Kinect相机的彩色相机和深度相机分别获取目标物体的彩色图像和深度图像，根据kinect相机的相机参数将深度图像映射到彩色图像所在的彩色图像像素坐标系中，获得对齐后的深度图像，根据彩色图像和对齐后的深度图像构建非凸优化模型，利用交替方向乘子算法对非凸优化模型求解得到重构的深度图像；该方法能够实现在自然场景下彩色图像引导的深度图像高分辨率重建，并能够在保证快速收敛的同时具有良好的边缘保持平滑和鲁棒性。

Description

一种基于Kinect相机的深度图像高分辨率重构方法
技术领域
本发明涉及图像处理领域，尤其是一种基于Kinect相机的深度图像高分辨率重构方法。
背景技术
水果采摘机器人可以自动检测水果并进行采摘，因其效率高自动化程度好的优点而被广泛使用，水果采摘机器人的采摘动作依赖于其视觉检测系统对水果的准确检测与定位，因此为了提高水果采摘机器人的采摘精度，最重要的是要提高复杂场景下水果的检测与定位精度。
在复杂场景下，基于彩色图像进行水果检测与识别往往存在识别精度低、鲁棒性差的问题，为了解决这个问题，可以将低成本的Kinect相机引入到水果的检测与识别领域，使用Kinect相机包括的深度相机采集果树的深度图像，基于深度图像进行水果的检测与定位。但由于光照变化、遮挡以及Kinect相机自身硬件等因素，Kinect相机在室外自然场景下获得的深度图像的噪声比在室内获得的深度图像的噪声更为严重，同时深度图像的低分辨率也给几何特征的提取带来了困难，并且深度图像还存在着深度图像边缘与彩色图像边缘不对应、深度噪声等问题，导致果树的信息准确度下降，影响后续果实的识别。
发明内容
本发明人针对上述问题及技术需求，提出了一种基于Kinect相机的深度图像高分辨率重构方法,该方法可以实现在自然场景下彩色图像引导的深度图像高分辨率重建，并能够在保证快速收敛的同时具有良好的变化保持平滑和鲁棒性，提高使用Kinect相机进行图像识别的准确性。
本发明的技术方案如下：
一种基于Kinect相机的深度图像高分辨率重构方法，该方法包括：
对Kinect相机的彩色相机和深度相机进行标定，获取Kinect相机的相机参数；
通过Kinect相机的彩色相机获取目标物体的彩色图像，通过Kinect相机的深度相机获取目标物体的深度图像；
根据kinect相机的相机参数将深度图像映射到彩色图像所在的彩色图像像素坐标系中，获得对齐后的深度图像；
根据彩色图像和对齐后的深度图像构建非凸优化模型；
利用交替方向乘子算法对非凸优化模型求解得到重构的深度图像。
其进一步的技术方案为，根据彩色图像和对齐后的深度图像构建非凸优化模型，包括构建如下模型：
其中，u为输出图像，f为对齐后的深度图像，g为彩色图像，λ为正则化平衡参数，c为对齐后的深度图像f的置信度，N是对齐后的深度图像的领域集合，Φμ(gi-gj)＝exp(-(gi-gj)2/μ)，Φμ(gi-gj)是彩色图像g中相邻像素之间的强度差的权重函数，μ是控制平滑带宽的参数；是非凸规则化器，威尔士函数充当鲁棒的正则化器，υ是控制平滑带宽的参数，u0是每次迭代后输入的对齐后的深度图像f的邻域N像素集合。
其进一步的技术方案为，利用交替方向乘子算法对非凸优化模型求解得到重构的深度图像，包括：
步骤1：确定非凸优化模型的等效函数为：
其中，z为辅助变量，z用于分离数据一致性项和非凸正则化的计算；
步骤2：采用增强拉格朗日方法将等效函数转换为如下近似函数：
其中，γ是增强拉格朗日乘数，β是惩罚参数；
步骤3：通过交替方向乘子算法求解近似函数得到：
γt+1＝γt-(ut+1--zt+1)；
步骤4：以z和γ为固定，相对于u最小化近似函数得到：
通过预处理共轭梯度算法更新ut+1得到：
步骤5：以u和γ为固定，相对于z最小化近似函数得到：
令在处对h(z)进行泰勒展开得到h(z)的泰勒展开：h(z)＝h(τ)+h′(τ)(z-τ)；
用h(z)的泰勒展开替换h(z)，并定义τ处的近端算子为：
由此得到：其中，wτ＝exp(-τ2/υ)；
步骤6：检测是否满足||ut+1-ut||≥δ，其中δ是固定常数；
步骤7：若不满足||ut+1-ut||≥δ，则输出重构的深度图像；
步骤8：若满足||ut+1-ut||≥δ，则重新执行上述步骤1。
其进一步的技术方案为，相机参数包括彩色相机的内部参数和外部参数，以及深度相机的内部参数和外部参数；
根据kinect相机的相机参数将深度图像映射到彩色图像所在的彩色图像像素坐标系中，获得对齐后的深度图像，包括：
利用彩色相机外部参数根据投影逆变换获取在世界坐标系P(Xw,Yw,Zw)下的彩色相机的投影坐标Prgb(Xc1，Yc1，Zc1)，利用深度相机外部参数根据投影逆变换获取在世界坐标系P(Xw,Yw,Zw)下的深度相机的投影坐标Pd(Xc2，Yc2，Zc2)；
利用彩色相机内部参数获取在彩色相机坐标系下的图像像素的坐标Prgb(u1，v1)，利用深度相机内部参数获取在深度相机坐标系下的图像像素的坐标Pd(u2，v2)；
根据世界坐标系下的彩色相机的投影坐标Prgb(Xc1，Yc1，Zc1)、世界坐标系下的深度相机的投影坐标Pd(Xc2，Yc2，Zc2)、彩色相机坐标系下的图像像素的坐标Prgb(u1，v1)以及深度相机坐标系下的图像像素的坐标Pd(u2，v2)确定彩色图像像素坐标与深度图像像素坐标之间的对应关系；
根据彩色图像像素坐标与深度图像像素坐标之间的对应关系将深度图像映射到彩色图像像素坐标系中，获得对齐后的深度图像。
其进一步的技术方案为，对Kinect相机的彩色相机和深度相机进行标定，获取Kinect相机的相机参数，包括：
采用张正友标定法对对Kinect相机的彩色相机进行标定，获取彩色相机内部参数和彩色相机外部参数；
采用张正友标定法对Kinect相机的深度相机进行标定，获取深度相机内部参数和深度相机外部参数。
本发明的有益技术效果是：
1、本申请提供了一种基于Kinect相机的深度图像高分辨率重构方法，其能够实现在自然场景下彩色图像引导的深度图像高分辨率重建，并能够在保证快速收敛的同时具有良好的边缘保持平滑和鲁棒性，当该方法应用于水果检测与识别领域时，使用该方法可以重构自然场景下的果树的深度图像，从而提高复杂场景下水果的检测与定位精度，提高使用Kinect相机在自然场景下对果树进行果实识别时的精度。
2、本申请公开的高分辨率重构方法是一种基于彩色图像与深度图像的像素对齐的重构方法，相比于现有的诸如双线性插值(Bilinear Interpolation)、联合双边上采样(Joint Bilateral Upsampling，JBU)、二阶广义总变分(Total Generalized Variation，TGV)，引导图像滤波(Guided Image Filtering，GIF)之类的基于信息融合技术的重建方法来说，可以有效的解决图像像素不匹配的问题，可以更精确的获取到果实位置。
3、本发明还提出了一种处理强度和深度图像之间的结构差异的模型，该方法可以区分深度过渡与强度图像的纹理和弱边缘，解决深度渗色和纹理复制伪像。另外，本发明还公开了一种快速的ADMM求解器，它比传统的最大最小化求解器(MM)实现更快，相应的优化问题可以通过快速收敛到局部最小值的有效算法来解决，从而实现在自然场景下果树的高分辨率重建。
附图说明
图1是本发明公开的基于Kinect相机的深度图像高分辨率重构方法的方法流程图。
图2是彩色相机与深度相机之间的坐标映射模型示意图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
本申请公开了一种基于Kinect相机的深度图像高分辨率重构方法，该方法基于Kinect相机，Kinect相机包括一个彩色相机和一个深度相机，该重构方法包括如下步骤，流程图请参考图1：
一、分别对Kinect相机的彩色相机和深度相机进行标定，获取Kinect相机的相机参数，该相机参数包括彩色相机的参数以及深度相机的参数，本申请采用的标定方法为张正友标定法，实际也可以采用其他方法，本申请对此不做限定。采用张正友标定法对Kinect相机的彩色相机进行标定，可以获取彩色相机内部参数Hrgb和彩色相机外部参数(Rrgb，Trgb)；采用张正友标定法对Kinect相机的深度相机进行标定，可以获取深度相机内部参数Hd和深度相机外部参数(Rd，Td)。
二、通过Kinect相机的彩色相机获取目标物体的彩色图像，通过Kinect相机的深度相机获取目标物体的深度图像，在本申请中，目标物体为自然场景下的果树，彩色相机采集到的彩色图像的分辨率较高，通常为1080*1920，深度相机采集到的深度图像的分辨率较低，通常为424*512，彩色图像和深度图像的具体分辨率由Kinect相机的硬件参数和人为设定等因素来决定，本申请对此不做限定。
在实际实现时，上述步骤一和步骤二没有特定的先后顺序。
三、利用Kinect相机的相机参数，根据投影逆变换和空间坐标系之间的坐标映射关系，将深度信息映射到彩色图像像素坐标系中，获取与彩色图像的像素点一一对应的对齐后的深度图像，对其后的深度图像的分辨率与彩色图像的分辨率相同，为1080*1920，具体包括如下步骤，示意图如图2所示：
步骤1：利用彩色相机外部参数根据投影逆变换获取在世界坐标系P(Xw，Yw，Zw)下的彩色相机的投影坐标Prgb(Xc1，Yc1，Zc1)，利用深度相机外部参数根据投影逆变换获取在世界坐标系P(Xw,Yw,Zw)下的深度相机的投影坐标Pd(Xc2，Yc2，Zc2)。
步骤2：利用彩色相机内部参数获取在彩色相机坐标系下的图像像素的坐标Prgb(u1，v1)，利用深度相机内部参数获取在深度相机坐标系下的图像像素的坐标Pd(u2，v2)。
步骤3：根据世界坐标系下的彩色相机的投影坐标Prgb(Xc1，Yc1，Zc1)、世界坐标系下的深度相机的投影坐标Pd(Xc2，Yc2，Zc2)、彩色相机坐标系下的图像像素的坐标Prgb(u1，v1)以及深度相机坐标系下的图像像素的坐标Pd(u2，v2)确定彩色图像像素坐标与深度图像像素坐标之间的对应关系。
步骤4，最后根据彩色图像像素坐标与深度图像像素坐标之间的对应关系将深度图像映射到彩色图像像素坐标系中，从而获得对齐后的深度图像。
四、根据对其后的深度图像的像素之间的结构差异和非凸函数对异常值的鲁棒性，使用对齐后的深度图像与原始的高分辨率的彩色图像构建由保真度和正则化组成的非凸优化模型为：
其中，u为输出图像，f为对齐后的深度图像，g为彩色图像，λ为正则化平衡参数，c为对齐后的深度图像f的置信度，N是对齐后的深度图像的领域集合，Φμ(gi-gj)＝exp(-(gi-gj)2/μ)，Φμ(gi-gj)是彩色图像g中相邻像素之间的强度差的权重函数，μ是控制平滑带宽的参数；是非凸规则化器，威尔士函数充当鲁棒的正则化器，υ是控制平滑带宽的参数，u0是每次迭代后输入的对齐后的深度图像f的邻域N像素集合。
五、利用交替方向乘子算法(Alternating Direction Method of Multipliers，ADMM)对非凸优化模型求解得到重构的深度图像，包括如下步骤：
步骤1：确定上述非凸优化模型的等效函数为：
其中，z为辅助变量，z用于分离数据一致性项和非凸正则化的计算；
步骤2：采用增强拉格朗日方法(Augmented Lagrange)近似上述等效函数，将等效函数转换为如下近似函数：
其中，γ是增强拉格朗日乘数，β是惩罚参数，增强拉格朗日方法中的增强拉格朗日乘数γ可以防止惩罚参数β变化，同时仍然具有很好的优化效果。
步骤3：通过交替方向乘子算法求解步骤2中的近似函数得到：
步骤4：以z和γ为固定，相对于u最小化近似函数得到：
通过预处理共轭梯度算法(PCG)更新ut+1得到：
步骤5：以u和γ为固定，相对于z最小化近似函数得到：
令在处对h(z)进行泰勒展开得到h(z)的泰勒展开：h(z)＝h(τ)+h′(τ)(z-τ)；
用h(z)的泰勒展开替换h(z)，并定义τ处的近端算子为：
由此得到：其中，wτ＝exp(-τ2/υ)；
步骤6：检测是否满足||ut+1-ut||≥δ，其中δ是固定常数，δ的值为系统预设值或用户自定义值；
步骤7：若不满足||ut+1-ut||≥δ，则输出图像即为重构的深度图像，输出该重构的深度图像；
步骤8：若满足||ut+1-ut||≥δ，则重新执行上述步骤1。
以上所述的仅是本发明的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (5)

1.一种基于Kinect相机的深度图像高分辨率重构方法，其特征在于，所述方法包括：
对Kinect相机的彩色相机和深度相机进行标定，获取所述Kinect相机的相机参数；
通过Kinect相机的彩色相机获取目标物体的彩色图像，通过Kinect相机的深度相机获取所述目标物体的深度图像；
根据所述kinect相机的相机参数将所述深度图像映射到所述彩色图像所在的彩色图像像素坐标系中，获得对齐后的深度图像；
根据所述彩色图像和所述对齐后的深度图像构建非凸优化模型；
利用交替方向乘子算法对所述非凸优化模型求解得到重构的深度图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述彩色图像和所述对齐后的深度图像构建非凸优化模型，包括构建如下模型：
<mrow> <mi>&amp;epsiv;</mi> <mrow> <mo>(</mo> <mi>u</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mi>i</mi> </munder> <mfrac> <msub> <mi>c</mi> <mi>i</mi> </msub> <mn>2</mn> </mfrac> <msup> <mrow> <mo>(</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>f</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <mi>&amp;lambda;</mi> <munder> <mo>&amp;Sigma;</mo> <mi>i</mi> </munder> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>&amp;Element;</mo> <mi>N</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </mrow> </munder> <msub> <mi>&amp;Phi;</mi> <mi>&amp;mu;</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>g</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>g</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <msub> <mi>&amp;Psi;</mi> <mi>&amp;upsi;</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>u</mi> <mi>j</mi> <mn>0</mn> </msubsup> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
其中，u为输出图像，f为所述对齐后的深度图像，g为所述彩色图像，λ为正则化平衡参数，c为所述对齐后的深度图像f的置信度，N是所述对齐后的深度图像的领域集合，Φμ(gi-gj)＝exp(-(gi-gj)2/μ)，Φμ(gi-gj)是彩色图像g中相邻像素之间的强度差的权重函数，μ是控制平滑带宽的参数；是非凸规则化器，威尔士函数充当鲁棒的正则化器，υ是控制平滑带宽的参数，u0是每次迭代后输入的所述对齐后的深度图像f的邻域N像素集合。
3.根据权利要求2所述的方法，其特征在于，所述利用交替方向乘子算法对所述非凸优化模型求解得到重构的深度图像，包括：
步骤1：确定所述非凸优化模型的等效函数为：
<mrow> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mrow> <mi>u</mi> <mo>,</mo> <mi>z</mi> </mrow> </munder> <munder> <mrow> <mi>&amp;epsiv;</mi> <mrow> <mo>(</mo> <mrow> <mi>u</mi> <mo>,</mo> <mi>v</mi> </mrow> <mo>)</mo> </mrow> </mrow> <mrow> <mi>s</mi> <mo>.</mo> <mi>t</mi> <mo>.</mo> <mi>z</mi> <mo>=</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>u</mi> <mi>j</mi> <mn>0</mn> </msubsup> </mrow> </munder> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mi>i</mi> </munder> <mfrac> <msub> <mi>c</mi> <mi>i</mi> </msub> <mn>2</mn> </mfrac> <msup> <mrow> <mo>(</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>f</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <mi>&amp;lambda;</mi> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>&amp;Element;</mo> <mi>N</mi> </mrow> </munder> <msubsup> <mi>w</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mi>g</mi> </msubsup> <msub> <mi>&amp;Psi;</mi> <mi>&amp;upsi;</mi> </msub> <mrow> <mo>(</mo> <mi>z</mi> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
其中，z为辅助变量，z用于分离数据一致性项和非凸正则化的计算；
步骤2：采用增强拉格朗日方法将所述等效函数转换为如下近似函数：
<mrow> <msub> <mi>&amp;epsiv;</mi> <mrow> <mi>A</mi> <mi>L</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>u</mi> <mo>,</mo> <mi>v</mi> <mo>,</mo> <mi>&amp;gamma;</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mi>i</mi> </munder> <mfrac> <msub> <mi>c</mi> <mi>i</mi> </msub> <mn>2</mn> </mfrac> <msup> <mrow> <mo>(</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>f</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <mi>&amp;lambda;</mi> <munder> <mo>&amp;Sigma;</mo> <mi>i</mi> </munder> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>&amp;Element;</mo> <mi>N</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </mrow> </munder> <mo>&amp;lsqb;</mo> <msubsup> <mi>w</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mi>g</mi> </msubsup> <msub> <mi>&amp;Psi;</mi> <mi>&amp;upsi;</mi> </msub> <mrow> <mo>(</mo> <mi>z</mi> <mo>)</mo> </mrow> <mo>+</mo> <mfrac> <mi>&amp;beta;</mi> <mn>2</mn> </mfrac> <msup> <mrow> <mo>(</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>u</mi> <mi>j</mi> <mn>0</mn> </msubsup> <mo>-</mo> <mi>z</mi> <mo>-</mo> <mi>&amp;gamma;</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>&amp;rsqb;</mo> <mo>;</mo> </mrow>
其中，γ是增强拉格朗日乘数，β是惩罚参数；
步骤3：通过交替方向乘子算法求解所述近似函数得到：
<mrow> <msup> <mi>u</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>=</mo> <munder> <mi>argmin</mi> <mi>u</mi> </munder> <msub> <mi>&amp;epsiv;</mi> <mrow> <mi>A</mi> <mi>L</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>u</mi> <mo>,</mo> <msup> <mi>z</mi> <mi>t</mi> </msup> <mo>,</mo> <msup> <mi>&amp;gamma;</mi> <mi>t</mi> </msup> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
<mrow> <msup> <mi>v</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>=</mo> <munder> <mi>argmin</mi> <mi>z</mi> </munder> <msub> <mi>&amp;epsiv;</mi> <mrow> <mi>A</mi> <mi>L</mi> </mrow> </msub> <mrow> <mo>(</mo> <msup> <mi>u</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>,</mo> <mi>z</mi> <mo>,</mo> <msup> <mi>&amp;gamma;</mi> <mi>t</mi> </msup> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
γt+1＝γt-(ut+1-ut0-zt+1)；
步骤4：以z和γ为固定，相对于u最小化所述近似函数得到：
<mrow> <msup> <mi>u</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>=</mo> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mi>u</mi> </munder> <munder> <mo>&amp;Sigma;</mo> <mi>i</mi> </munder> <mfrac> <msub> <mi>c</mi> <mi>i</mi> </msub> <mn>2</mn> </mfrac> <msup> <mrow> <mo>(</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>f</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <mi>&amp;lambda;</mi> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>&amp;Element;</mo> <mi>N</mi> </mrow> </munder> <mfrac> <mi>&amp;beta;</mi> <mn>2</mn> </mfrac> <msup> <mrow> <mo>(</mo> <msub> <mi>u</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>u</mi> <mi>j</mi> <mn>0</mn> </msubsup> <mo>-</mo> <mi>z</mi> <mo>-</mo> <mi>&amp;gamma;</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>;</mo> </mrow>
通过预处理共轭梯度算法更新ut+1得到：
<mrow> <mo>(</mo> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>+</mo> <mi>&amp;lambda;</mi> <mi>&amp;beta;</mi> <mo>)</mo> <msubsup> <mi>u</mi> <mi>i</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <msub> <mi>c</mi> <mi>i</mi> </msub> <msub> <mi>f</mi> <mi>i</mi> </msub> <mo>+</mo> <mi>&amp;lambda;</mi> <mi>&amp;beta;</mi> <mo>(</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>&amp;Element;</mo> <mi>N</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </mrow> </munder> <msubsup> <mi>u</mi> <mi>j</mi> <mn>0</mn> </msubsup> <mo>+</mo> <msup> <mi>z</mi> <mi>t</mi> </msup> <mo>+</mo> <msup> <mi>&amp;gamma;</mi> <mi>t</mi> </msup> <mo>)</mo> <mo>;</mo> </mrow>
步骤5：以u和γ为固定，相对于z最小化所述近似函数得到：
<mrow> <msup> <mi>z</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>=</mo> <mi>&amp;lambda;</mi> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>&amp;Element;</mo> <mi>N</mi> </mrow> </munder> <mo>&amp;lsqb;</mo> <msubsup> <mi>w</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mi>g</mi> </msubsup> <msub> <mi>&amp;Psi;</mi> <mi>&amp;upsi;</mi> </msub> <mrow> <mo>(</mo> <mi>z</mi> <mo>)</mo> </mrow> <mo>+</mo> <mfrac> <mi>&amp;beta;</mi> <mn>2</mn> </mfrac> <mrow> <mo>(</mo> <msubsup> <mi>u</mi> <mi>i</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>u</mi> <mi>j</mi> <msup> <mi>t</mi> <mn>0</mn> </msup> </msubsup> <mo>-</mo> <mi>z</mi> <mo>-</mo> <msup> <mi>&amp;gamma;</mi> <mi>t</mi> </msup> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>;</mo> </mrow>
令在处对h(z)进行泰勒展开得到h(z)的泰勒展开：h(z)＝h(τ)+h′(τ)(z-τ)；
用h(z)的泰勒展开替换h(z)，并定义τ处的近端算子为：
<mrow> <msub> <mi>prox</mi> <mi>h</mi> </msub> <mrow> <mo>(</mo> <mi>&amp;tau;</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mi>argmin</mi> <mi>z</mi> </munder> <mo>&amp;lsqb;</mo> <msup> <mi>h</mi> <mo>&amp;prime;</mo> </msup> <mrow> <mo>(</mo> <mi>&amp;tau;</mi> <mo>)</mo> </mrow> <mi>z</mi> <mo>+</mo> <mfrac> <mrow> <mi>&amp;lambda;</mi> <mi>&amp;beta;</mi> </mrow> <mn>2</mn> </mfrac> <msup> <mrow> <mo>(</mo> <mi>z</mi> <mo>-</mo> <mi>&amp;tau;</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>&amp;rsqb;</mo> <mo>;</mo> </mrow>
由此得到：其中，wτ＝exp(-τ2/υ)；
步骤6：检测是否满足||ut+1-ut||≥δ，其中δ是固定常数；
步骤7：若不满足||ut+1-ut||≥δ，则输出所述重构的深度图像；
步骤8：若满足||ut+1-ut||≥δ，则重新执行上述步骤1。
4.根据权利要求1至3任一所述的方法，其特征在于，所述相机参数包括所述彩色相机的彩色相机内部参数和彩色相机外部参数，以及所述深度相机的深度相机内部参数和深度相机外部参数；
所述根据所述kinect相机的相机参数将所述深度图像映射到所述彩色图像所在的彩色图像像素坐标系中，获得对齐后的深度图像，包括：
利用所述彩色相机外部参数根据投影逆变换获取在世界坐标系P(Xw,Yw,Zw)下的彩色相机的投影坐标Prgb(Xc1，Yc1，Zc1)，利用所述深度相机外部参数根据投影逆变换获取在世界坐标系P(Xw,Yw,Zw)下的深度相机的投影坐标Pd(Xc2，Yc2，Zc2)；
利用所述彩色相机内部参数获取在彩色相机坐标系下的图像像素的坐标Prgb(u1，v1)，利用所述深度相机内部参数获取在深度相机坐标系下的图像像素的坐标Pd(u2，v2)；
根据世界坐标系下的彩色相机的投影坐标Prgb(Xc1，Yc1，Zc1)、世界坐标系下的深度相机的投影坐标Pd(Xc2，Yc2，Zc2)、彩色相机坐标系下的图像像素的坐标Prgb(u1，v1)以及深度相机坐标系下的图像像素的坐标Pd(u2，v2)确定彩色图像像素坐标与深度图像像素坐标之间的对应关系；
根据彩色图像像素坐标与深度图像像素坐标之间的对应关系将所述深度图像映射到彩色图像像素坐标系中，获得所述对齐后的深度图像。
5.根据权利要求4所述的方法，其特征在于，所述对Kinect相机的彩色相机和深度相机进行标定，获取所述Kinect相机的相机参数，包括：
采用张正友标定法对所述对Kinect相机的彩色相机进行标定，获取所述彩色相机内部参数和所述彩色相机外部参数；
采用张正友标定法对Kinect相机的深度相机进行标定，获取所述深度相机内部参数和所述深度相机外部参数。
CN201710971318.8A 2017-10-18 2017-10-18 一种基于Kinect相机的深度图像高分辨率重构方法 Active CN107680140B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710971318.8A CN107680140B (zh) 2017-10-18 2017-10-18 一种基于Kinect相机的深度图像高分辨率重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710971318.8A CN107680140B (zh) 2017-10-18 2017-10-18 一种基于Kinect相机的深度图像高分辨率重构方法

Publications (2)

Publication Number Publication Date
CN107680140A true CN107680140A (zh) 2018-02-09
CN107680140B CN107680140B (zh) 2020-03-27

Family

ID=61141430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710971318.8A Active CN107680140B (zh) 2017-10-18 2017-10-18 一种基于Kinect相机的深度图像高分辨率重构方法

Country Status (1)

Country Link
CN (1) CN107680140B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416803A (zh) * 2018-03-14 2018-08-17 大连理工大学 一种基于深度神经网络的多信息融合的场景深度恢复方法
CN109146947A (zh) * 2018-09-04 2019-01-04 清华-伯克利深圳学院筹备办公室 海洋鱼类三维图像获取及处理方法、装置、设备及介质
CN109299656A (zh) * 2018-08-13 2019-02-01 浙江零跑科技有限公司 一种车载视觉系统场景视深确定方法
CN110322411A (zh) * 2019-06-27 2019-10-11 Oppo广东移动通信有限公司 深度图像的优化方法、终端及存储介质
CN111724428A (zh) * 2020-05-08 2020-09-29 天津大学 基于图上信号模型的深度图采样与重构方法
CN114114187A (zh) * 2021-11-18 2022-03-01 中国人民解放军国防科技大学 网格失配情况下基于深度展开admm网络测向方法
CN115496898A (zh) * 2022-11-16 2022-12-20 山东科技大学 移动机器人目标定位方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8879811B2 (en) * 2012-03-28 2014-11-04 Siemens Aktiengesellschaft Alternating direction of multipliers method for parallel MRI reconstruction
CN104616284A (zh) * 2014-12-09 2015-05-13 中国科学院上海技术物理研究所 彩色深度相机的彩色图像到深度图像的像素级对准算法
CN107154014A (zh) * 2017-04-27 2017-09-12 上海大学 一种实时彩色及深度全景图像拼接方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8879811B2 (en) * 2012-03-28 2014-11-04 Siemens Aktiengesellschaft Alternating direction of multipliers method for parallel MRI reconstruction
CN104616284A (zh) * 2014-12-09 2015-05-13 中国科学院上海技术物理研究所 彩色深度相机的彩色图像到深度图像的像素级对准算法
CN107154014A (zh) * 2017-04-27 2017-09-12 上海大学 一种实时彩色及深度全景图像拼接方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BUMSUB HAM ET AL.: "Robust Image Filtering Using Joint Static and Dynamic Guidance", 《2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION 》 *
JIN XIAO ET AL.: "On the Convergence of Nonconvex Minimization Methods for Image Recovery", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
LEE-KANG LIU ET AL.: "Sparse Reconstruction of Depth Data:Representation, Algorithm, and Sampling", 《HTTP：//ARXIV.ORG/PDF/1407.3840VL.PDF》 *
朱俊 等: "基于局部和非局部正则化的图像压缩感知", 《数据采集与处理》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416803A (zh) * 2018-03-14 2018-08-17 大连理工大学 一种基于深度神经网络的多信息融合的场景深度恢复方法
CN108416803B (zh) * 2018-03-14 2020-01-24 大连理工大学 一种基于深度神经网络的多信息融合的场景深度恢复方法
CN109299656A (zh) * 2018-08-13 2019-02-01 浙江零跑科技有限公司 一种车载视觉系统场景视深确定方法
CN109146947A (zh) * 2018-09-04 2019-01-04 清华-伯克利深圳学院筹备办公室 海洋鱼类三维图像获取及处理方法、装置、设备及介质
CN109146947B (zh) * 2018-09-04 2021-09-28 清华-伯克利深圳学院筹备办公室 海洋鱼类三维图像获取及处理方法、装置、设备及介质
CN110322411A (zh) * 2019-06-27 2019-10-11 Oppo广东移动通信有限公司 深度图像的优化方法、终端及存储介质
CN111724428A (zh) * 2020-05-08 2020-09-29 天津大学 基于图上信号模型的深度图采样与重构方法
CN114114187A (zh) * 2021-11-18 2022-03-01 中国人民解放军国防科技大学 网格失配情况下基于深度展开admm网络测向方法
CN114114187B (zh) * 2021-11-18 2022-05-17 中国人民解放军国防科技大学 网格失配情况下基于深度展开admm网络测向方法
CN115496898A (zh) * 2022-11-16 2022-12-20 山东科技大学 移动机器人目标定位方法及系统
CN115496898B (zh) * 2022-11-16 2023-02-17 山东科技大学 移动机器人目标定位方法及系统

Also Published As

Publication number Publication date
CN107680140B (zh) 2020-03-27

Similar Documents

Publication Publication Date Title
CN107680140A (zh) 一种基于Kinect相机的深度图像高分辨率重构方法
CN105184779B (zh) 一种基于快速特征金字塔的车辆多尺度跟踪方法
CN111080724A (zh) 一种红外和可见光的融合方法
CN103177446B (zh) 基于邻域和非邻域平滑先验的图像前景精准提取方法
CN105069746B (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统
CN106683173A (zh) 一种基于邻域块匹配提高三维重建点云稠密程度的方法
CN104537625A (zh) 一种基于方向标志位的Bayer彩色图像插值方法
CN106651938A (zh) 一种融合高分辨率彩色图像的深度图增强方法
CN105869112B (zh) 一种边缘保持最小化的高动态范围图像色调映射方法
CN108596975A (zh) 一种针对弱纹理区域的立体匹配算法
CN101137003A (zh) 一种基于灰色关联分析的亚像素边缘提取方法
CN114049335B (zh) 一种基于时空注意力的遥感影像变化检测方法
CN113449735B (zh) 一种超像素分割的语义分割方法及装置
CN102509304A (zh) 基于智能优化的摄像机标定方法
CN103826032A (zh) 深度图后期处理方法
CN105046701A (zh) 一种基于构图线的多尺度显著目标检测方法
CN103729834B (zh) 一种x射线影像的自适应拼接方法及其拼接系统
CN106056121A (zh) 基于sift图像特征匹配的卫星装配工件快速识别方法
CN102519395A (zh) 彩色结构光三维测量中的彩色响应标定方法
CN108734668A (zh) 图像色彩恢复方法、装置、计算机可读存储介质及终端
CN109255773A (zh) 基于全变分的异分辨率红外与可见光图像融合方法及系统
CN105118069B (zh) 一种复杂环境直线检测和筛选方法及应用该方法的机器人
CN107016637A (zh) 一种用于提高鬼成像效率的自适应成像方法
CN107590782A (zh) 一种基于全卷积网络的高分辨率光学图像厚云去除方法
CN104992433B (zh) 基于线段匹配的多光谱图像配准的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant