CN103440664A - 一种生成高分辨率深度图的方法、系统及计算设备 - Google Patents

Abstract

本发明属于计算机视觉领域，提供了一种生成高分辨率深度图的方法、系统及计算设备。该方法及系统是在采用上采样算法将低分辨率深度图转换为高分辨率粗略深度图后，进一步得到该高分辨率粗略深度图的轮廓图，之后利用低分辨率亮度图，在低分辨率深度图中查找到与轮廓图中各交叠的轮廓区块最相似的区块，之后采用加权拼接方式将查找到的区块填入高分辨率粗略深度图的相应位置，得到高分辨率深度图。由于是将低分辨率深度图中的像素信息补充到了高分辨率粗略深度图中，纠正了由于数据平滑效应而在轮廓边缘产生的错误深度数据，弥补了单纯应用上采样方式的不足，得到的最终的高分辨率深度图的显示效果佳，且运算速度快。

Description

一种生成高分辨率深度图的方法、系统及计算设备

技术领域

本发明属于计算机视觉领域，尤其涉及一种生成高分辨率深度图的方法、系统及计算设备。

背景技术

在计算机视觉领域，深度图用以表示场景中各点相对于摄像机的距离，即是说，深度图中的每一像素点表示场景中某一点与摄像机之间的距离。自从微软的kinect深度图像传感器商业应用后，出现了更多地基于三维深度图像的服务与产品，比如微软的xbox One体感游戏器，Leap motion的体感控制器等。

当前的深度图像传感器采集到的深度图像大部分为低分辨率深度图，为了获得高分辨率深度图，现有技术是采用双边滤波等上采样算法对深度图像传感器采集到的低分辨率深度图进行放大处理，以将低分辨率深度图直接转换为高分辨率深度图。但受现有的上采样算法本身的制约，该种方式得到的高分辨率深度图中的轮廓边缘会由于数据平滑效应而产生错误深度数据，显示效果较差。

发明内容

本发明实施例的目的在于提供一种生成高分辨率深度图的方法，旨在解决现有技术采用上采样算法直接将低分辨率深度图转换为所需的高分辨率深度图，得到的高分辨率深度图中的轮廓边缘会由于数据平滑效应而产生错误深度数据，显示效果较差的问题。

本发明实施例是这样实现的，一种生成高分辨率深度图的方法，所述方法包括以下步骤：

采集同一场景的低分辨率深度图和第一低分辨率亮度图，所述第一低分辨率亮度图与所述低分辨率深度图的尺寸一致；

对所述低分辨率深度图进行上采样处理，得到高分辨率粗略深度图，计算所述高分辨率粗略深度图中的图像轮廓，得到所述高分辨率粗略深度图对应的轮廓图，所述高分辨率粗略深度图与所述轮廓图的尺寸一致；

根据局部搜索策略，利用所述第一低分辨率亮度图，在所述低分辨率深度图中查找与所述轮廓图中的轮廓区块最相似的区块，并采用加权拼接方式将查找到的区块填入所述高分辨率粗略深度图的相应位置，得到高分辨率深度图。

本发明实施例的另一目的在于提供一种生成高分辨率深度图的系统，所述系统包括：

图像采集模块，用于采集同一场景的低分辨率深度图和第一低分辨率亮度图，所述第一低分辨率亮度图与所述低分辨率深度图的尺寸一致；

第一图像处理模块，用于对所述低分辨率深度图进行上采样处理，得到高分辨率粗略深度图，计算所述高分辨率粗略深度图中的图像轮廓，得到所述高分辨率粗略深度图对应的轮廓图，所述高分辨率粗略深度图与所述轮廓图的尺寸一致；

第二图像处理模块，用于根据局部搜索策略，利用所述第一低分辨率亮度图，在所述低分辨率深度图中查找与所述轮廓图中的轮廓区块最相似的区块，并采用加权拼接方式将查找到的区块填入所述高分辨率粗略深度图的相应位置，得到高分辨率深度图。

本发明实施例的另一目的在于提供一种计算设备，所述计算设备包括如上所述的生成高分辨率深度图的系统。

本发明提出的生成高分辨率深度图的方法及系统是在采用上采样算法将低分辨率深度图转换为高分辨率粗略深度图后，进一步得到该高分辨率粗略深度图的轮廓图，之后利用低分辨率亮度图，在低分辨率深度图中查找到与轮廓图中各交叠的轮廓区块最相似的区块，之后采用加权拼接方式将查找到的区块填入高分辨率粗略深度图的相应位置，得到高分辨率深度图。相对于现有技术，由于是在得到高分辨率粗略深度图后，还进一步将低分辨率深度图中的像素信息补充到该高分辨率粗略深度图中，纠正了由于数据平滑效应而在轮廓边缘产生的错误深度数据，弥补了单纯应用上采样方式的不足，得到的最终的高分辨率深度图的显示效果佳，且运算速度快，特别适用于三维重建、三维电视节目传输与制作、体感互动应用等领域，具有广泛的应用价值。

附图说明

图1是本发明实施例一提供的生成高分辨率深度图的方法的流程图；

图2是本发明实施例一中根据局部搜索策略搜索相似区块并将区块填入高分辨率粗略深度图以得到高分辨率深度图的详细流程图；

图3是本发明实施例一中在低分辨率深度图中查找与轮廓图中的轮廓区块最相似的区块的详细流程图；

图4a是本发明实施例一中第一低分辨率亮度图的实例图；

图4b是本发明实施例一中低分辨率深度图的实例图；

图4c是本发明实施例一中高分辨率粗略深度图的实例图；

图4d是本发明实施例一中轮廓图的实例图；

图4e是本发明实施例一中第二低分辨率亮度图的实例图；

图4f是本发明实施例一中高分辨率亮度图的实例图；

图4g是本发明实施例一中高分辨率深度图的实例图；

图5是本发明实施例二提供的生成高分辨率深度图的系统的结构图；

图6是图5中第二图像处理模块的结构图；

图7是图6中第二图像处理子模块的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明是在采用上采样算法将低分辨率深度图转换为高分辨率粗略深度图后，进一步得到该高分辨率粗略深度图的轮廓图，之后利用低分辨率亮度图，在低分辨率深度图中查找到与轮廓图中各交叠的轮廓区块最相似的区块，之后采用加权拼接方式将查找到的区块填入高分辨率粗略深度图的相应位置，得到高分辨率深度图。以下将结合实施例详细说明本发明的实现方式：

实施例一

本发明实施例一提出了一种生成高分辨率深度图的方法，如图1所示，包括：

步骤S1：采集同一场景的低分辨率深度图和第一低分辨率亮度图，第一低分辨率亮度图与低分辨率深度图的尺寸一致。

本发明实施例一中，可利用现有的深度图像传感器实现对低分辨率深度图和第一低分辨率亮度图的采集，例如，可采用微软的kinect深度图像传感器同时采集同一场景尺寸相同的低分辨率深度图和第一低分辨率亮度图。

步骤S2：对低分辨率深度图进行上采样处理，得到高分辨率粗略深度图，计算高分辨率粗略深度图中的图像轮廓，得到高分辨率粗略深度图对应的轮廓图，高分辨率粗略深度图与轮廓图的尺寸一致。

本发明实施例一中，可采用双边滤波算法等对低分辨率深度图进行上采样处理，得到的高分辨率粗略深度图保留了低频信息而丢弃了高频信息。低频信息一般是指图像中变化缓慢的部分，反映了图像的框架、轮廓等概貌信息；高频信息一般是指图像中变化迅速的部分，反映了图像的细节信息。

本发明实施例一中，高分辨率粗略深度图中的图像轮廓在表达出高分辨率粗略深度图的全貌信息之外，还表达了场景中物体的边界和深度之间的关系。进一步地，计算高分辨率粗略深度图中的图像轮廓，得到高分辨率粗略深度图对应的轮廓图的步骤可表示为：

$\mathrm{Contour}(x,y)=\left\{\begin{array}{c}1,\max \left(\mathrm{depthL}(x\±2,y\±2)\right)-\min (\mathrm{depthL}(x\±2,y\±2)>T\\ 0\end{array}\right.---\left(1\right)$

其中，Contour(x,y)表示轮廓图中像素位置(x,y)的特征值，若像素位置(x,y)有轮廓，则Contour(x,y)为1，若像素位置(x,y)没有轮廓，则Contour(x,y)为0；depthL(x,y)表示高分辨率粗略深度图中像素位置(x,y)的深度值；T为预先根据经验设定的阈值，其取值取决于深度图像传感器的物理焦距，优选地T取值为8。

步骤S3：根据局部搜索策略，利用第一低分辨率亮度图，在低分辨率深度图中查找与轮廓图中的轮廓区块最相似的区块，并采用加权拼接方式将查找到的区块填入高分辨率粗略深度图的相应位置，得到高分辨率深度图。

进一步地，如图2所示，步骤S3可包括以下步骤：

S31：对第一低分辨率亮度图顺次进行下采样处理和上采样处理，得到第二低分辨率亮度图，对第二低分辨率亮度图进行上采样处理，得到高分辨率亮度图，第二低分辨率亮度图与第一低分辨率亮度图的尺寸和分辨率一致，高分辨率亮度图与高分辨率粗略深度图的尺寸一致。

本发明实施例一中，可先采用双立方插值算法等对第一低分辨率亮度图进行下采样处理，得到一缩小图；之后可采用双边滤波算法等对该缩小图进行上采样处理，得到第二低分辨率亮度图。第二低分辨率亮度图保留了低频信息而丢弃了高频信息。

S32：提取轮廓图中交叠的轮廓区块，并根据局部搜索策略，在低分辨率深度图中查找与轮廓图中的轮廓区块最相似的区块。

更进一步地，如图3所示，步骤S32可包括以下步骤：

S321：提取轮廓图中交叠的轮廓区块，交叠的各轮廓区块的尺寸一致。

本发明实施例一中，交叠的轮廓区块是指轮廓图中、分别以特征值Contour(x,y)为1的不同像素位置为中心的多个轮廓区块，且各轮廓区块的尺寸固定。可见，相邻轮廓区块之间相差1个错位1个像素点，即称为交叠的轮廓区块。

S322：查找轮廓区块在高分辨率亮度图中的对应区块。

本发明实施例一中，由于高分辨率亮度图与高分辨率粗略深度图尺寸一致，而高分辨率粗略深度图与轮廓图的尺寸一致，即是说，高分辨率亮度图与轮廓图的尺寸一致，因而在确定了轮廓中的轮廓区块的位置之后，即可获知轮廓区块在高分辨率亮度图中的对应区块的位置。

S323：查找对应区块的中心点在第二低分辨率亮度图中的位置坐标，以该位置坐标作为中心点确定一目标搜索区域，目标搜索区域的尺寸大于对应区块的尺寸。

本发明实施例一中，由于高分辨率亮度图是由第二低分辨率亮度图进行上采样放大处理而得到的，上采样因子表征了放大倍数，因此，在对应区块的中心点已知的条件下，将其缩小相应的放大倍数，即可得到对应区块的中心点在第二低分辨率亮度图中的位置坐标。例如，若上采样因子为a，对应区块的中心点在高分辨率亮度图中的坐标为(x,y)，则该对应区块的中心点在第二低分辨率亮度图中的位置坐标为(x/a,y/a)。

S324：遍历目标搜索区域中、每一与对应区块相同尺寸的区块，将目标搜索区域中、与对应区块之间的亮度差异最小的区域作为与对应区块最相似的区块，并得到搜索到的区块的中心点坐标，该步骤可表示为：

$\mathrm{similarity}=\underset{y=0}{\overset{N}{\mathrm{\Σ}}}\underset{x=0}{\overset{M}{\mathrm{\Σ}}}|R(x,y)-T(x,y)|---\left(2\right)$

其中，N表示对应区块的宽度，M表示对应区块的高度；R(x,y)表示对应区块中相应像素点的亮度值，T(x,y)表示当前与对应区块进行比较的区块中相应像素点的亮度值；similarity表示对应区块与当前与其进行比较的区块之间的亮度差异。

S325：根据搜索到的区块的尺寸及中心点坐标，将搜索到的区块对应到低分辨率深度图中的相应位置，得到与轮廓区块最相似的区块。

本发明实施例一中，由于第二低分辨率亮度图与低分辨率深度图尺寸一致，因而在确定了搜索到的区块的中心点坐标后，即可获知搜索到的区块在低分辨率深度图中的相应位置。

S33：采用加权拼接方式将查找到的区块填入高分辨率粗略深度图的相应位置，得到高分辨率深度图。

本发明实施例一中，由于各轮廓区块是交叠的，因此，查找到的各区块也是交叠的，查找到的相邻区块之间相差一个像素点。这样，在将查找到的区块填入高分辨率粗略深度图的相应位置后，每一填入像素点会被具有相应交叠区域的多个区块分别填入。因而，为了保证图像质量，需采用加权拼接方式进行填入，即是说，对于查找到的各区块之间的交叠部分，取其平均值填入相应位置。

为了便于理解，以下举例说明本发明实施例一提供的上述生成高分辨率深度图的方法：

首先在步骤S1中，假设采用微软的kinect深度图像传感器采集的低分辨率深度图如图4b所示、采集的第一低分辨率亮度图如图4a所示，该第一低分辨率亮度图例如可以是640x480的RGB图像。

之后，在步骤S2中，利用双边滤波算法对低分辨率深度图进行上采样处理，得到如图4c所示的高分辨率粗略深度图，上采样因子为a，高分辨率粗略深度图的尺寸例如可以是1080x1920；当阈值T取值为8时，通过上述公式（1），可计算出图像轮廓，并得到轮廓图如图4d所示。

之后，在步骤S3中，首先，在步骤S31中，采用双立方插值算法对第一低分辨率亮度图进行下采样处理，得到一缩小图，之后，采用双边滤波算法对缩小图进行上采样处理，得到第二低分辨率亮度图如图4e所示，之后，采用双边滤波算法对第二低分辨率亮度图进行上采样处理，上采样因子为a，得到高分辨率亮度图如图4f所示。之后，在步骤S32中，提取轮廓图中3×3大小或5×5大小或其它尺寸的交叠的轮廓区块，该轮廓区块可如图4d中的白色框所示；之后，在如图4f所示的高分辨率亮度图中，查找到轮廓区块的对应区块，如图4f中的黑色框所示；之后，根据上采样因子a，得到对应区块的中心点在图4e所示的第二低分辨率亮度图中的位置坐标，以该位置坐标作为中心点确定一目标搜索区域，如图4e的白色框所示，该目标搜索区域的大小例如可以是10×10；之后，应用上述公式（2），在该目标搜索区域得到与对应区块最相似的区块，如图4e的黑色框所示，并得到搜索到的区块的中心点坐标；之后，将搜索到的区块对应到如图4b所示的低分辨率深度图中的相应位置，得到与轮廓区块最相似的区块；之后，在步骤S33中，采用加权拼接方式将查找到的区块填入如图4c所示的高分辨率粗略深度图的相应位置，得到高分辨率深度图如图4g所示。

本发明实施例一提出的生成高分辨率深度图的方法是在采用上采样算法将低分辨率深度图转换为高分辨率粗略深度图后，进一步得到该高分辨率粗略深度图的轮廓图，之后利用低分辨率亮度图，在低分辨率深度图中查找到与轮廓图中各交叠的轮廓区块最相似的区块，之后采用加权拼接方式将查找到的区块填入高分辨率粗略深度图的相应位置，得到高分辨率深度图。相对于现有技术，由于是在得到高分辨率粗略深度图后，还进一步将低分辨率深度图中的像素信息补充到该高分辨率粗略深度图中，纠正了由于数据平滑效应而在轮廓边缘产生的错误深度数据，弥补了单纯应用上采样方式的不足，得到的最终的高分辨率深度图的显示效果佳，且运算速度快。

实施例二

本发明实施例二提出了一种生成高分辨率深度图的系统，如图5所示，为了便于说明，仅示出了与本发明实施例二相关的部分。

详细而言，本发明实施例二提出的生成高分辨率深度图的系统包括：图像采集模块1，用于采集同一场景的低分辨率深度图和第一低分辨率亮度图，第一低分辨率亮度图与低分辨率深度图的尺寸一致；第一图像处理模块2，用于对低分辨率深度图进行上采样处理，得到高分辨率粗略深度图，计算高分辨率粗略深度图中的图像轮廓，得到高分辨率粗略深度图对应的轮廓图，高分辨率粗略深度图与轮廓图的尺寸一致；第二图像处理模块3，用于根据局部搜索策略，利用第一低分辨率亮度图，在低分辨率深度图中查找与轮廓图中的轮廓区块最相似的区块，并采用加权拼接方式将查找到的区块填入高分辨率粗略深度图的相应位置，得到高分辨率深度图。

其中，图像采集模块1和第一图像处理模块2的详细执行过程如上实施例一所述，在此不赘述。优选地，图像采集模块1是微软的kinect深度图像传感器。

进一步地，如图6所示，第二图像处理模块3可包括：第一图像处理子模块31，用于对第一低分辨率亮度图顺次进行下采样处理和上采样处理，得到第二低分辨率亮度图，对第二低分辨率亮度图进行上采样处理，得到高分辨率亮度图，第二低分辨率亮度图与第一低分辨率亮度图的尺寸和分辨率一致，高分辨率亮度图与高分辨率粗略深度图的尺寸一致；第二图像处理子模块32，用于提取轮廓图中交叠的轮廓区块，并根据局部搜索策略，在低分辨率深度图中查找与轮廓图中的轮廓区块最相似的区块；第三图像处理子模块33，用于采用加权拼接方式将第二图像处理子模块32查找到的区块填入高分辨率粗略深度图的相应位置，得到高分辨率深度图。

其中，第一图像处理子模块31和第三图像处理子模块33的详细执行过程如上实施例一所述，在此不赘述。

更进一步地，如图7所示，第二图像处理子模块32可包括：提取子模块321，用于提取轮廓图中交叠的轮廓区块，交叠的各轮廓区块的尺寸一致；第一查找子模块322，用于查找轮廓区块在高分辨率亮度图中的对应区块；第二查找子模块323，用于查找对应区块的中心点在第二低分辨率亮度图中的位置坐标，以该位置坐标作为中心点确定一目标搜索区域，目标搜索区域的尺寸大于对应区块的尺寸；搜索子模块324，用于遍历目标搜索区域中、每一与对应区块相同尺寸的区块，将目标搜索区域中、与对应区块之间的亮度差异最小的区域作为与对应区块最相似的区块，并得到搜索到的区块的中心点坐标；第三查找子模块325，用于根据搜索到的区块的尺寸及中心点坐标，将搜索到的区块对应到低分辨率深度图中的相应位置，得到与轮廓区块最相似的区块。

其中，提取子模块321、第一查找子模块322、第二查找子模块323、搜索子模块324、第三查找子模块325的详细执行过程如上实施例一所述，在此不赘述。

本发明实施例二提出的生成高分辨率深度图的系统是在采用上采样算法将低分辨率深度图转换为高分辨率粗略深度图后，进一步得到该高分辨率粗略深度图的轮廓图，之后利用低分辨率亮度图，在低分辨率深度图中查找到与轮廓图中各交叠的轮廓区块最相似的区块，之后采用加权拼接方式将查找到的区块填入高分辨率粗略深度图的相应位置，得到高分辨率深度图。相对于现有技术，由于是在得到高分辨率粗略深度图后，还进一步将低分辨率深度图中的像素信息补充到该高分辨率粗略深度图中，纠正了由于数据平滑效应而在轮廓边缘产生的错误深度数据，弥补了单纯应用上采样方式的不足，得到的最终的高分辨率深度图的显示效果佳，且系统运算速度快。

实施例三

本发明实施例三提出了一种计算设备，包括如上实施例二所述的生成高分辨率深度图的系统，在此不赘述。

综上所述，本发明提出的生成高分辨率深度图的方法及系统是在采用上采样算法将低分辨率深度图转换为高分辨率粗略深度图后，进一步得到该高分辨率粗略深度图的轮廓图，之后利用低分辨率亮度图，在低分辨率深度图中查找到与轮廓图中各交叠的轮廓区块最相似的区块，之后采用加权拼接方式将查找到的区块填入高分辨率粗略深度图的相应位置，得到高分辨率深度图。相对于现有技术，由于是在得到高分辨率粗略深度图后，还进一步将低分辨率深度图中的像素信息补充到该高分辨率粗略深度图中，纠正了由于数据平滑效应而在轮廓边缘产生的错误深度数据，弥补了单纯应用上采样方式的不足，得到的最终的高分辨率深度图的显示效果佳，且运算速度快，特别适用于三维重建、三维电视节目传输与制作、体感互动应用等领域，具有广泛的应用价值。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来控制相关的硬件完成，所述的程序可以在存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种生成高分辨率深度图的方法，其特征在于，所述方法包括以下步骤：

采集同一场景的低分辨率深度图和第一低分辨率亮度图，所述第一低分辨率亮度图与所述低分辨率深度图的尺寸一致；

对所述低分辨率深度图进行上采样处理，得到高分辨率粗略深度图，计算所述高分辨率粗略深度图中的图像轮廓，得到所述高分辨率粗略深度图对应的轮廓图，所述高分辨率粗略深度图与所述轮廓图的尺寸一致；

根据局部搜索策略，利用所述第一低分辨率亮度图，在所述低分辨率深度图中查找与所述轮廓图中的轮廓区块最相似的区块，并采用加权拼接方式将查找到的区块填入所述高分辨率粗略深度图的相应位置，得到高分辨率深度图。

2.如权利要求1所述的生成高分辨率深度图的方法，其特征在于，所述计算所述高分辨率粗略深度图中的图像轮廓，得到所述高分辨率粗略深度图对应的轮廓图的步骤表示为：

$\mathrm{Contour}(x,y)=\left\{\begin{array}{c}1,\max \left(\mathrm{depthL}(x\±2,y\±2)\right)-\min (\mathrm{depthL}(x\±2,y\±2)>T\\ 0\end{array}\right.$

其中，所述Contour(x,y)表示轮廓图中像素位置(x,y)的特征值，若所述像素位置(x,y)有轮廓，则所述Contour(x,y)为1，若所述像素位置(x,y)没有轮廓，则所述Contour(x,y)为0；所述depthL(x,y)表示所述高分辨率粗略深度图中所述像素位置(x,y)的深度值；所述T为阈值。

3.如权利要求1所述的生成高分辨率深度图的方法，其特征在于，所述根据局部搜索策略，利用所述第一低分辨率亮度图，在所述低分辨率深度图中查找与所述轮廓图中的轮廓区块最相似的区块，并采用加权拼接方式将查找到的区块填入所述高分辨率粗略深度图的相应位置，得到高分辨率深度图的步骤包括以下步骤：

对所述第一低分辨率亮度图顺次进行下采样处理和上采样处理，得到第二低分辨率亮度图，对所述第二低分辨率亮度图进行上采样处理，得到高分辨率亮度图，所述第二低分辨率亮度图与所述第一低分辨率亮度图的尺寸和分辨率一致，所述高分辨率亮度图与所述高分辨率粗略深度图的尺寸一致；

提取所述轮廓图中交叠的轮廓区块，并根据局部搜索策略，在所述低分辨率深度图中查找与所述轮廓图中的轮廓区块最相似的区块；

采用加权拼接方式将查找到的区块填入所述高分辨率粗略深度图的相应位置，得到高分辨率深度图。

4.如权利要求3所述的生成高分辨率深度图的方法，其特征在于，所述提取所述轮廓图中交叠的轮廓区块，并根据局部搜索策略，在所述低分辨率深度图中查找与所述轮廓图中的轮廓区块最相似的区块的步骤包括以下步骤：

提取所述轮廓图中交叠的轮廓区块，交叠的各轮廓区块的尺寸一致；

查找所述轮廓区块在所述高分辨率亮度图中的对应区块；

查找所述对应区块的中心点在所述第二低分辨率亮度图中的位置坐标，以所述位置坐标作为中心点确定一目标搜索区域，所述目标搜索区域的尺寸大于所述对应区块的尺寸；

遍历所述目标搜索区域中、每一与所述对应区块相同尺寸的区块，将所述目标搜索区域中、与所述对应区块之间的亮度差异最小的区域作为与所述对应区块最相似的区块，并得到搜索到的区块的中心点坐标；

根据搜索到的区块的尺寸及所述中心点坐标，将所述搜索到的区块对应到所述低分辨率深度图中的相应位置，得到与所述轮廓区块最相似的区块。

5.如权利要求4所述的生成高分辨率深度图的方法，其特征在于，所述遍历所述目标搜索区域中、每一与所述对应区块相同尺寸的区块，将所述目标搜索区域中、与所述对应区块之间的亮度差异最小的区域作为与所述对应区块最相似的区块的步骤表示为：

$\mathrm{similarity}=\underset{y=0}{\overset{N}{\mathrm{\Σ}}}\underset{x=0}{\overset{M}{\mathrm{\Σ}}}|R(x,y)-T(x,y)|$

其中，所述N表示所述对应区块的宽度，所述M表示所述对应区块的高度；所述R(x,y)表示所述对应区块中相应像素点的亮度值，所述T(x,y)表示当前与所述对应区块进行比较的区块中相应像素点的亮度值；所述similarity表示所述对应区块与当前与其进行比较的区块之间的亮度差异。

6.一种生成高分辨率深度图的系统，其特征在于，所述系统包括：

图像采集模块，用于采集同一场景的低分辨率深度图和第一低分辨率亮度图，所述第一低分辨率亮度图与所述低分辨率深度图的尺寸一致；

第一图像处理模块，用于对所述低分辨率深度图进行上采样处理，得到高分辨率粗略深度图，计算所述高分辨率粗略深度图中的图像轮廓，得到所述高分辨率粗略深度图对应的轮廓图，所述高分辨率粗略深度图与所述轮廓图的尺寸一致；

第二图像处理模块，用于根据局部搜索策略，利用所述第一低分辨率亮度图，在所述低分辨率深度图中查找与所述轮廓图中的轮廓区块最相似的区块，并采用加权拼接方式将查找到的区块填入所述高分辨率粗略深度图的相应位置，得到高分辨率深度图。

7.如权利要求6所述的生成高分辨率深度图的系统，其特征在于，所述第二图像处理模块包括：

第一图像处理子模块，用于对所述第一低分辨率亮度图顺次进行下采样处理和上采样处理，得到第二低分辨率亮度图，对所述第二低分辨率亮度图进行上采样处理，得到高分辨率亮度图，所述第二低分辨率亮度图与所述第一低分辨率亮度图的尺寸和分辨率一致，所述高分辨率亮度图与所述高分辨率粗略深度图的尺寸一致；

第二图像处理子模块，用于提取所述轮廓图中交叠的轮廓区块，并根据局部搜索策略，在所述低分辨率深度图中查找与所述轮廓图中的轮廓区块最相似的区块；

第三图像处理子模块，用于采用加权拼接方式将所述第二图像处理子模块查找到的区块填入所述高分辨率粗略深度图的相应位置，得到高分辨率深度图。

8.如权利要求7所述的生成高分辨率深度图的系统，其特征在于，所述第二图像处理子模块包括：

提取子模块，用于提取所述轮廓图中交叠的轮廓区块，交叠的各轮廓区块的尺寸一致；

第一查找子模块，用于查找所述轮廓区块在所述高分辨率亮度图中的对应区块；

第二查找子模块，用于查找所述对应区块的中心点在所述第二低分辨率亮度图中的位置坐标，以所述位置坐标作为中心点确定一目标搜索区域，所述目标搜索区域的尺寸大于所述对应区块的尺寸；

搜索子模块，用于遍历所述目标搜索区域中、每一与所述对应区块相同尺寸的区块，将所述目标搜索区域中、与所述对应区块之间的亮度差异最小的区域作为与所述对应区块最相似的区块，并得到搜索到的区块的中心点坐标；

第三查找子模块，用于根据搜索到的区块的尺寸及所述中心点坐标，将所述搜索到的区块对应到所述低分辨率深度图中的相应位置，得到与所述轮廓区块最相似的区块。

9.如权利要求6所述的生成高分辨率深度图的系统，其特征在于，所述图像采集模块是kinect深度图像传感器。

10.一种计算设备，其特征在于，所述计算设备包括如权利要求6至9任一项所述的生成高分辨率深度图的系统。

Images