CN108876836A - 一种深度估计方法、装置、系统及计算机可读存储介质 - Google Patents

Abstract

本发明提供了一种深度估计方法、装置、系统及计算机可读存储介质，该方法包括：对获取的彩色图像和红外图像分别进行校正变换，得到无失真的虚拟视角图像；估计所述校正变换后的彩色图像与所述校正变换后的红外图像的视差，得到视差图；对所述视差图进行滤波处理；将所述滤波处理后的视差图进行反校正变换，得到与原始彩色图像对齐的深度图。本发明能够在移动终端上进行深度估计，能够精确地得到场景的深度信息。

Description

一种深度估计方法、装置、系统及计算机可读存储介质

技术领域

本发明涉及人工智能领域，特别涉及一种基于图像处理技术进行深度估计的方法、装置、系统及计算机可读存储介质。

背景技术

深度信息在计算机视觉领域有着重要的意义，深度图的精度对于三维重建、图像精细分割、光效渲染、人脸动画等应用有着重要的影响。为了获取图像的深度信息，人们可以通过多个相机获取的图像进行计算得到场景的深度信息。传统方案一般通过双彩色相机基于立体匹配算法来生成深度图，但是对于手机等移动设备来讲，双彩色摄像头模组体积较大，价格昂贵，并且在无纹理区域、精细边缘、夜晚拍摄、镂空区域等情况下，容易出现深度恢复错误的情况。

发明内容

考虑到上述问题而提出了本发明，解决近距离场景下的深度估计问题，提出了一种结合彩色图像和红外图像的深度估计方法、装置、系统及计算机可读存储介质，基于红外信息和彩色信息在近距离场景下恢复出场景深度信息，且在夜晚拍摄等情况下鲁棒，提高了深度图质量，降低了成本。

根据本发明的一方面，提供了一种深度估计方法，包括：对获取的彩色图像和红外图像分别进行校正变换，得到无失真的虚拟视角图像；估计所述校正变换后的彩色图像与所述校正变换后的红外图像的视差，得到视差图；对所述视差图进行滤波处理；将所述滤波处理后的视差图进行反校正变换，得到与原始彩色图像对齐的深度图。

进一步，所述估计所述校正变换后的彩色图像与所述校正变换后的红外图像的视差，得到视差图，包括：以所述彩色图像为基准，计算所述彩色图像到所述红外图像的视差，得到正向视差图；以及，以所述红外图像为基准，计算所述红外图像到所述彩色图像的视差，得到反向视差图。

进一步，所述对所述视差图进行滤波处理，包括：对所述正向视差图和所述反向视差图分别进行高斯滤波与双边滤波；对滤波后的所述正向视差图和滤波后的所述反向视差图进行双向一致性验证，得到置信度图；在所述彩色图像的引导下对滤波后的所述正向视差图进行保边滤波，并基于所述置信度图对所述保边滤波后的所述正向视差图进行置信度处理；以及，对所述置信度处理后的所述正向视差图进行高斯滤波与双边滤波。

进一步，所述正向视差图与所述反向视差图分别采用如下方式获得：先对所述彩色图像和所述红外图像进行下采样，得到预定分辨率的图像，在该层分辨率上进行视差计算得到该层的视差图；对该层的视差图进行上采样，得到上层分辨率的视差图；以上采样后的视差图为基准，对上层分辨率的彩色图像和红外图像进行视差计算得到上层的视差图；重复上述过程，直到所述彩色图像和所述红外图像的原始分辨率，得到最终的视差图。

进一步，在每一层分辨率进行视差计算得到该层的视差图，包括：如果是最低分辨率的一层，则在预定范围内随机生成各个像素的视差值，根据该视差值，以像素块为单位计算所述彩色图像与所述红外图像的相似度，确定匹配代价最小的点作为对应像素点，根据匹配的对应像素点得到视差值；如果不是最低分辨率的一层，则根据上一层上采样后的视差图为基准，以像素块为单位计算所述彩色图像与所述红外图像的相似度，确定匹配代价最小的点作为对应像素点，根据匹配的对应像素点得到视差值。

进一步，所述以像素块为单位计算所述彩色图像与所述红外图像的相似度，包括：采用卷积神经网络及马氏距离的方式对相似度进行度量，或者采用归一化互相关系数对相似度进行度量。

进一步，所述采用卷积神经网络及马氏距离的方式对相似度进行度量，包括：使用卷积神经网络学习度量所述彩色图像与所述红外图像相似性的协方差矩阵，并根据所述协方差矩阵进行马氏距离的计算，根据所述马氏距离得到所述相似度。

进一步，所述估计所述校正变换后的彩色图像与所述校正变换后的红外图像的视差，得到视差图，包括：以所述彩色图像为基准，计算所述彩色图像到所述红外图像的视差，得到正向视差图。

进一步，所述对所述视差图进行滤波处理，包括：对所述正向视差图进行高斯滤波与双边滤波；在所述彩色图像的引导下对滤波后的所述正向视差图进行保边滤波；以及，对所述保边滤波处理后的所述正向视差图进行高斯滤波与双边滤波。

进一步，所述对获取的彩色图像和红外图像分别进行校正变换，得到无失真的虚拟视角图像，包括：分别根据彩色相机和红外相机的内参、失真系数、三维旋转角度和平移参数将所述彩色图像和红外图像校正到无失真的虚拟视角，以使得所述彩色图像和所述红外图像之间的对极线平行。

根据本发明的另一方面，还提供了一种图像处理方法，所述方法为基于深度信息的移动终端解锁方法、基于深度信息的抠像及虚化方法、基于深度信息的3d美颜方法以及基于深度信息的3d打光方法中的一个，其特征在于，所述深度信息为根据上述任一项所述的深度估计方法获得。

根据本发明的另一方面，还提供了一种深度估计装置，包括：校正变换模块，用于对获取的彩色图像和红外图像分别进行校正变换，得到无失真的虚拟视角图像；视差图计算模块，用于估计所述校正变换后的彩色图像与所述校正变换后的红外图像的视差，得到视差图；滤波处理模块，用于对所述视差图进行滤波处理；反校正变换模块，用于将所述滤波处理后的视差图进行反校正变换，得到与原始彩色图像对齐的深度图。

根据本发明的另一方面，还提供了一种深度估计系统，包括：彩色图像采集装置、红外图像采集装置、处理器和存储器；所述彩色图像采集装置用于采集彩色图像，所述红外图像采集装置用于采集红外图像；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行上述任一项所述的方法。

根据本发明的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述任一项所述的方法的步骤。

根据本发明实施例的深度估计方法，解决了近距离场景下的深度估计问题，基于红外信息和彩色信息在近距离场景下恢复出场景深度信息，在对彩色图像和红外图像基于块匹配得到视差图时，使用一个基于度量学习的块匹配方法，能够较好的刻画彩色图像和红外图像局部的相似性，进一步地，通过块匹配得到粗糙深度图后，经过预先平滑去除奇异值、引导滤波保持边缘、双边滤波去除多余细节，最终得到高质量的深度图结果。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1示出了根据本发明一个实施例的一种深度估计方法的示意性流程图；

图2示出了根据本发明一个实施例的一种深度估计装置的示意性框图；

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

为解决上文所述的问题，本发明实施例提供一种深度估计方法。

首先，参照图1来描述用于实现本发明实施例的深度估计方法，具体包括如下步骤：对获取的彩色图像和红外图像分别进行校正变换，得到无失真的虚拟视角图像；估计所述校正变换后的彩色图像与所述校正变换后的红外图像的视差，得到视差图；对所述视差图进行滤波处理；将所述滤波处理后的视差图进行反校正变换，得到与原始彩色图像对齐的深度图。

在一个实施例中，将所述滤波处理后的视差图进行发校正变换，得到的视差图与原始彩色图像对齐，直接使用该反校正变换后的视差图作为深度图，实际上这样得到的深度图只是伪深度图，伪深度图能够表达场景各个像素之间的相对深度，而不是绝对深度，但是对于应用深度信息的场景而言，伪深度图一般就可以了。在另一个实施例中，利用得到的视差图，进一步计算真深度图，例如，可以根据公式计算真深度图，其中，f为彩色相机与红外相机的焦距，B为彩色相机与红外相机的中心距离，X_R-X_T为计算出来的视差值。

根据本发明的实施例，所述估计所述校正变换后的彩色图像与所述校正变换后的红外图像的视差，得到视差图，包括：以所述彩色图像为基准，计算所述彩色图像到所述红外图像的视差，得到正向视差图；以及，以所述红外图像为基准，计算所述红外图像到所述彩色图像的视差，得到反向视差图。

在该实施例中，同时使用了正向视差图和反向视差图，这样的目的是为了提高视差的计算精度。在一个示例中，在计算正向视差时，以彩色图像为基准，即根据某个预定的视差将彩色图像进行变换，将变换后的彩色图像与红外图像进行匹配，从而得到正向视差的计算结果。反之，在计算反向视差时，以红外图像为基准，即根据某个预定的视差将红外图像进行变换，将变换后的红外图像与彩色图像进行匹配，从而得到反向视差的计算结果。将上述计算得到的正向视差图与反向视差图一起作为该步骤的视差图，进入下一步骤的处理。

根据本发明的实施例，所述对所述视差图进行滤波处理，包括：对所述正向视差图和所述反向视差图分别进行高斯滤波与双边滤波；对滤波后的所述正向视差图和滤波后的所述反向视差图进行双向一致性验证，得到置信度图；在所述彩色图像的引导下对滤波后的所述正向视差图进行保边滤波，并基于所述置信度图对所述保边滤波后的所述正向视差图进行置信度处理；以及，对所述置信度处理后的所述正向视差图进行高斯滤波与双边滤波。

由于直接计算得到的正向视差图和反向视差图过于粗糙，为了得到准确的边缘以及细节信息，需要对得到的视差图进行滤波处理。首先对两幅视差图进行高斯平滑与双边滤波，去除部分奇异值，高斯平滑和双边滤波的滤波系数可以采用任意的形式。然后，对两幅视差图进行双向一致性验证，得到置信图。双向一致性验证主要是验证匹配点的可靠性，在一个实施例中，对于某个像素点经过正向视差计算后再经过反向视差计算，判断是否能够回到原像素点，如果偏离本像素点的距离过多，则表明该像素点的视差值置信度较低，理论上来讲，如果正向视差与反向视差计算正确的话，经过双向一致性验证，像素点能够回到原像素点的位置。在一个实施例中，可以根据像素点的偏离程度计算每个视差的置信度，例如，正确的视差为A，偏离一个像素的置信度为0.8A，偏离两个像素的置信度为0.6A，以此类推。然后，在彩色图像的引导下对正向视差图进行保边滤波，在彩色图的引导下，一方面将视差图的边缘变得平整，另一方面，使得视差图较为平滑，保边滤波器(Edge PreservingFilter)是指在滤波过程中能够有效的保留图像中的边缘信息的一类特殊滤波器，其中双边滤波器(Bilateral filter)、引导滤波器(Guided image filter)、加权最小二乘法滤波器(Weighted least square filter)为几种比较广为人知的保边滤波器。保边滤波之后，再利用之前的置信度图进行融合，在一个实施例中，可以将保边滤波后的正向视差图按位除以置信度图以得到置信度融合后的视差图，在另一个实施例中可以将保边滤波后的正向视差图按位乘以置信度图以得到置信度融合后的视差图，任何其他的可以体现置信度高低的数学计算形式也都可以。最后，在进行一下高斯平滑与双边滤波，去除彩色图像带来的多余高频细节，从而得到滤波处理步骤的处理结果。

根据本发明的实施例，所述正向视差图与所述反向视差图分别采用如下方式获得：先对所述彩色图像和所述红外图像进行下采样，得到预定分辨率的图像，在该层分辨率上进行视差计算得到该层的视差图；对该层的视差图进行上采样，得到上层分辨率的视差图；以上采样后的视差图为基准，对上层分辨率的彩色图像和红外图像进行视差计算得到上层的视差图；重复上述过程，直到所述彩色图像和所述红外图像的原始分辨率，得到最终的视差图。

根据本发明的实施例，在每一层分辨率进行视差计算得到该层的视差图，包括：如果是最低分辨率的一层，则在预定范围内随机生成各个像素的视差值，根据该视差值，以像素块为单位计算所述彩色图像与所述红外图像的相似度，确定匹配代价最小的点作为对应像素点，根据匹配的对应像素点得到视差值；如果不是最低分辨率的一层，则根据上一层上采样后的视差图为基准，以像素块为单位计算所述彩色图像与所述红外图像的相似度，确定匹配代价最小的点作为对应像素点，根据匹配的对应像素点得到视差值。

在一个实施例中，使用了由粗到细的多尺度策略，由于直接在原图分辨率上进行视差的估计，不容易设置较优的初始视差，因此，先将原始的彩色图像和红外图像进行下采样，得到最低的分辨率，在一个实施例中，例如，可以将原图下采样到原图的1/16，下采样的分辨率也可以根据计算成本的要求具体考量。在最低分辨率上进行视差的计算，由于该层分辨率较低，可以根据一个初始视差快速匹配所述彩色图像和红外图像，从而得到该层的视差图，然后再对该层的视差图进行上采样，得到上层分辨率的视差图，之后，以上采样得到的视差图为基准，计算上层分辨率的彩色图像和红外图像之间的视差，在一个实施例中，在首次计算出1/16分辨率图像的视差图之后，对视差图进行上采样，得到1/8分辨率图像的视差图，然后利用这个1/8分辨率图像的视差图计算1/8分辨率的彩色图像与红外图像之间的精确视差图，在一个实施例中，对于1/8分辨率彩色图像中的每个像素点，利用上采样得到的视差图中的对应像素点的视差值，利用像素块匹配技术进行匹配，找到精确的匹配点，计算得到精确的视差，从而得到在1/8分辨率的层次上的精确视差图。之后，重复上述迭代过程，直到计算到彩色图像和红外图像的原始分辨率，从而得到原始分辨率的精确视差图。

根据本发明的实施例，所述以像素块为单位计算所述彩色图像与所述红外图像的相似度，包括：采用卷积神经网络及马氏距离的方式对相似度进行度量，或者采用归一化互相关系数对相似度进行度量。

根据本发明的实施例，所述采用卷积神经网络及马氏距离的方式对相似度进行度量，包括：使用卷积神经网络学习度量所述彩色图像与所述红外图像相似性的协方差矩阵，并根据所述协方差矩阵进行马氏距离的计算，根据所述马氏距离得到所述相似度。

本发明的实施例可以使用两种相似度度量方式，进行像素块的度量学习。在一个实施例中，使用归一化互相关系数来度量彩色图像与红外图像的局部相似性。例如，在计算某个层的特定像素点的视差时，根据某个初始视差值将彩色图像变换，计算变换后的彩色图像块区域与对应位置的红外图像块区域之间的归一化相关系数，如果局部块的相似度最高(代价最低)，那么表示该区域刚好变换到和红外图像的相应区域重合。每个块都能得到代价最小的匹配点，在一定范围内选取叠加匹配代价最小的点作为对应匹配点，即胜者为王策略，可以获得视差值。

在另一个实施例中，可以使用卷积神经网络和马氏距离(Mahalanobis distance)对图像块相似度进行度量，例如，可以用卷积神经网络分别提取红外图像和彩色图像的特征向量，然后使用马氏距离度量特征向量之间的相似度，例如，还可以使用卷积神经网络学习用于度量彩色图像与红外图像相似性的马氏距离协方差矩阵，然后利用学习出来的协方差矩阵进行相似度度量。

根据本发明的实施例，所述估计所述校正变换后的彩色图像与所述校正变换后的红外图像的视差，得到视差图，包括：以所述彩色图像为基准，计算所述彩色图像到所述红外图像的视差，得到正向视差图。

在另一个实施例中，可以简化处理步骤，减少计算量。在计算视差图时，只计算正向(彩色图像->红外图像)的视差图，不计算反向(红外图像->彩色图像)的视差图，即不经过一致性检验，简化处理步骤。使用计算得到的正向视差图作为基本视差图用于后续的计算。

根据本发明的实施例，所述对所述视差图进行滤波处理，包括：对所述正向视差图进行高斯滤波与双边滤波；在所述彩色图像的引导下对滤波后的所述正向视差图进行保边滤波；以及，对所述保边滤波处理后的所述正向视差图进行高斯滤波与双边滤波。

在这个实施例中，仅仅计算了正向视差图，后续的滤波仅仅针对正向视差图，并且省略了双向一致性检验的步骤，不生成置信图，不进行置信度的融合。在一个实施例中，对所述正向视差图进行高斯滤波与双边滤波，在所述彩色图像的引导下对滤波后的所述正向视差图进行保边滤波，以及，对所述保边滤波处理后的所述正向视差图进行高斯滤波与双边滤波。

根据本发明的实施例，所述对获取的彩色图像和红外图像分别进行校正变换，得到无失真的虚拟视角图像，包括：分别根据彩色相机和红外相机的内参、失真系数、三维旋转角度和平移参数将所述彩色图像和红外图像校正到无失真的虚拟视角，以使得所述彩色图像和所述红外图像之间的对极线平行。

在一个实施例中，为了计算方便，对原始的彩色图像和红外图像进行校正变换，变换到无失真的虚拟视角，使得彩色相机和红外相机的像平面平行，即彩色图像和红外图像之间的对极线平行。在一个实施例中，根据彩色相机和红外相机的内参、失真参数、三维旋转角度和平移参数等，对所述彩色图像和红外图像进行校正变换，其中，彩色相机和红外相机的内参、失真参数、三维旋转角度和平移参数等可以提前计算获得。进行图像校正的目的是为了消除图像畸变、成像位置差别对视差计算的影响，通过图像校正，可以消除垂直视差，保留水平视差，有利于后续的计算。

根据发明的另一方面，还提供了一种图像处理方法，所述方法为基于深度信息的移动终端解锁方法、基于深度信息的抠像及虚化方法、基于深度信息的3d美颜方法以及基于深度信息的3d打光方法中的一个，其特征在于，所述深度信息为根据上述任一项所述的深度估计方法获得。

在计算得到深度图之后，可以将深度图信息应用于各种场景，例如，在一个实施例中，应用于移动终端的解锁，例如，利用人脸的深度信息进行活体检测、人脸识别，并基于活体检测和人脸识别的结果进行移动终端的屏幕解锁。在一个实施例中，应用于人像的抠像和虚化，例如，对于拍摄的人像，根据计算出来的前景和背景信息，扣取前景(人像)信息，以及利用深度信息将背景进行虚化。在一个实施例中，应用于3D美颜，不同于2D美颜的在图像像素层面的美颜操作，3D美颜可以利用空间深度信息，使得美颜效果更加自然，也可以完成一些2D美颜无法完成的操作。在另一个实施例中，应用于基于深度信息的3D打光，由于得知了深度信息，在图像进行虚拟光源的打光时，可以得知物体表面的法向量，能够模拟真实情况的打光效果。

根据发明的另一方面，参见图2，本发明实施例提供了一种深度估计装置，包括：校正变换模块，用于对获取的彩色图像和红外图像分别进行校正变换，得到无失真的虚拟视角图像；视差图计算模块，用于估计所述校正变换后的彩色图像与所述校正变换后的红外图像的视差，得到视差图；滤波处理模块，用于对所述视差图进行滤波处理；反校正变换模块，用于将所述滤波处理后的视差图进行反校正变换，得到与原始彩色图像对齐的深度图。

在一种实施方式中，所述视差图计算模块，用于以所述彩色图像为基准，计算所述彩色图像到所述红外图像的视差，得到正向视差图；以及，以所述红外图像为基准，计算所述红外图像到所述彩色图像的视差，得到反向视差图。

在一种实施方式中，所述滤波处理模块用于对所述正向视差图和所述反向视差图分别进行高斯滤波与双边滤波；对滤波后的所述正向视差图和滤波后的所述反向视差图进行双向一致性验证，得到置信度图；在所述彩色图像的引导下对滤波后的所述正向视差图进行保边滤波，并基于所述置信度图对所述保边滤波后的所述正向视差图进行置信度处理；以及，对所述置信度处理后的所述正向视差图进行高斯滤波与双边滤波。

在一种实施方式中，所述正向视差图与所述反向视差图分别采用如下方式获得：先对所述彩色图像和所述红外图像进行下采样，得到预定分辨率的图像，在该层分辨率上进行视差计算得到该层的视差图；对该层的视差图进行上采样，得到上层分辨率的视差图；以上采样后的视差图为基准，对上层分辨率的彩色图像和红外图像进行视差计算得到上层的视差图；重复上述过程，直到所述彩色图像和所述红外图像的原始分辨率，得到最终的视差图。

在一种实施方式中，在每一层分辨率进行视差计算得到该层的视差图，包括：如果是最低分辨率的一层，则在预定范围内随机生成各个像素的视差值，根据该视差值，以像素块为单位计算所述彩色图像与所述红外图像的相似度，确定匹配代价最小的点作为对应像素点，根据匹配的对应像素点得到视差值；如果不是最低分辨率的一层，则根据上一层上采样后的视差图为基准，以像素块为单位计算所述彩色图像与所述红外图像的相似度，确定匹配代价最小的点作为对应像素点，根据匹配的对应像素点得到视差值。

在一种实施方式中，所述以像素块为单位计算所述彩色图像与所述红外图像的相似度，包括：采用卷积神经网络及马氏距离的方式对相似度进行度量，或者采用归一化互相关系数对相似度进行度量。

在一种实施方式中，所述采用卷积神经网络及马氏距离的方式对相似度进行度量，包括：使用卷积神经网络学习度量所述彩色图像与所述红外图像相似性的协方差矩阵，并根据所述协方差矩阵进行马氏距离的计算，根据所述马氏距离得到所述相似度。

在另一种实施方式中，所述视差图计算模还用于以所述彩色图像为基准，计算所述彩色图像到所述红外图像的视差，得到正向视差图。

在另一种实施方式中，所述滤波处理模块用于对所述正向视差图进行高斯滤波与双边滤波；在所述彩色图像的引导下对滤波后的所述正向视差图进行保边滤波；以及，对所述保边滤波处理后的所述正向视差图进行高斯滤波与双边滤波。

在一种实施方式中，所述校正变换模块用于根据彩色相机和红外相机的内参、失真系数、三维旋转角度和平移参数将所述彩色图像和红外图像校正到无失真的虚拟视角，以使得所述彩色图像和所述红外图像之间的对极线平行。

根据本发明的另一方面，还提供了一种图像处理方法，所述方法为基于深度信息的移动终端解锁方法、基于深度信息的抠像及虚化方法、基于深度信息的3d美颜方法以及基于深度信息的3d打光方法中的一个，其特征在于，所述深度信息为根据上述任一项所述的深度估计方法获得。

根据发明的另一方面，本发明实施例提供了一种深度估计系统，包括：彩色图像采集装置、红外图像采集装置、处理器和存储器；所述彩色图像采集装置用于采集彩色图像，所述红外图像采集装置用于采集红外图像；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如前述方法实施例所提供的方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

根据发明的另一方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述前述方法实施例所提供的方法的步骤。

本发明实施例所提供的深度估计方法、装置及系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的用于行人检测的装置中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (14)

1.一种深度估计方法，其特征在于，包括：

对获取的彩色图像和红外图像分别进行校正变换，得到无失真的虚拟视角图像；

估计所述校正变换后的彩色图像与所述校正变换后的红外图像的视差，得到视差图；

对所述视差图进行滤波处理；

将所述滤波处理后的视差图进行反校正变换，得到与原始彩色图像对齐的深度图。

2.根据权利要求1所述的方法，其特征在于，

所述估计所述校正变换后的彩色图像与所述校正变换后的红外图像的视差，得到视差图，包括：

以所述彩色图像为基准，计算所述彩色图像到所述红外图像的视差，得到正向视差图；以及

以所述红外图像为基准，计算所述红外图像到所述彩色图像的视差，得到反向视差图。

3.根据权利要求2所述的方法，其特征在于，

所述对所述视差图进行滤波处理，包括：

对所述正向视差图和所述反向视差图分别进行高斯滤波与双边滤波；

对滤波后的所述正向视差图和滤波后的所述反向视差图进行双向一致性验证，得到置信度图；

在所述彩色图像的引导下对滤波后的所述正向视差图进行保边滤波，并基于所述置信度图对所述保边滤波后的所述正向视差图进行置信度处理；以及

对所述置信度处理后的所述正向视差图进行高斯滤波与双边滤波。

4.根据权利要求2所述的方法，其特征在于，

所述正向视差图与所述反向视差图分别采用如下方式获得：

先对所述彩色图像和所述红外图像进行下采样，得到预定分辨率的图像，在该层分辨率上进行视差计算得到该层的视差图；

对该层的视差图进行上采样，得到上层分辨率的视差图；

以上采样后的视差图为基准，对上层分辨率的彩色图像和红外图像进行视差计算得到上层的视差图；

重复上述过程，直到所述彩色图像和所述红外图像的原始分辨率，得到最终的视差图。

5.根据权利要求4所述的方法，其特征在于，

在每一层分辨率进行视差计算得到该层的视差图，包括：

如果是最低分辨率的一层，则在预定范围内随机生成各个像素的视差值，根据该视差值，以像素块为单位计算所述彩色图像与所述红外图像的相似度，确定匹配代价最小的点作为对应像素点，根据匹配的对应像素点得到视差值；

如果不是最低分辨率的一层，则根据上一层上采样后的视差图为基准，以像素块为单位计算所述彩色图像与所述红外图像的相似度，确定匹配代价最小的点作为对应像素点，根据匹配的对应像素点得到视差值。

6.根据权利要求5所述的方法，其特征在于，

所述以像素块为单位计算所述彩色图像与所述红外图像的相似度，包括：

采用卷积神经网络及马氏距离的方式对相似度进行度量，或者采用归一化互相关系数对相似度进行度量。

7.根据权利要求6所述的方法，其特征在于，

所述采用卷积神经网络及马氏距离的方式对相似度进行度量，包括：

使用卷积神经网络学习度量所述彩色图像与所述红外图像相似性的协方差矩阵，并根据所述协方差矩阵进行马氏距离的计算，根据所述马氏距离得到所述相似度。

8.根据权利要求1所述的方法，其特征在于，

所述估计所述校正变换后的彩色图像与所述校正变换后的红外图像的视差，得到视差图，包括：

以所述彩色图像为基准，计算所述彩色图像到所述红外图像的视差，得到正向视差图。

9.根据权利要求8所述的方法，其特征在于，

所述对所述视差图进行滤波处理，包括：

对所述正向视差图进行高斯滤波与双边滤波；

在所述彩色图像的引导下对滤波后的所述正向视差图进行保边滤波；以及

对所述保边滤波处理后的所述正向视差图进行高斯滤波与双边滤波。

10.根据权利要求1所述的方法，其特征在于，

所述对获取的彩色图像和红外图像分别进行校正变换，得到无失真的虚拟视角图像，包括：

分别根据彩色相机和红外相机的内参、失真系数、三维旋转角度和平移参数将所述彩色图像和红外图像校正到无失真的虚拟视角，以使得所述彩色图像和所述红外图像之间的对极线平行。

11.一种图像处理方法，所述方法为基于深度信息的移动终端解锁方法、基于深度信息的抠像及虚化方法、基于深度信息的3d美颜方法以及基于深度信息的3d打光方法中的一个，其特征在于，所述深度信息为根据权利要求1-10任一项所述的方法获得。

12.一种深度估计装置，其特征在于，包括：

校正变换模块，用于对获取的彩色图像和红外图像分别进行校正变换，得到无失真的虚拟视角图像；

视差图计算模块，用于估计所述校正变换后的彩色图像与所述校正变换后的红外图像的视差，得到视差图；

滤波处理模块，用于对所述视差图进行滤波处理；

反校正变换模块，用于将所述滤波处理后的视差图进行反校正变换，得到与原始彩色图像对齐的深度图。

13.一种深度估计系统，其特征在于，包括：

彩色图像采集装置、红外图像采集装置、处理器和存储器；

所述彩色图像采集装置用于采集彩色图像，所述红外图像采集装置用于采集红外图像；

所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至10任一项所述的方法。

14.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至11任一项所述的方法的步骤。