CN107133982B - 深度图构建方法、装置及拍摄设备、终端设备 - Google Patents

Abstract

本发明提出一种深度图构建方法、装置及拍摄设备、终端设备，其中，方法包括：获取除ROI之外其他区域的图像边缘和细节处的相位差，基于相位差确定出调整量，根据调整量中的调整方向可以获取到其他区域相对于ROI的景深关系，并且可以根据景深公式计算出其他区域相对于ROI的景深数据，在得到景深关系和景深数据后，可以计算出物体距离镜头的距离，从而可以构建出图像的深度图。本发明提出了一种新的深度图构建方法，在确定出其他区域相对于ROI的景深关系，可以从图像中能够快速地识别出图像的背景，从可以根据景深关系实现背景虚化的效果。

Description

深度图构建方法、装置及拍摄设备、终端设备

技术领域

本发明涉及图像技术领域，尤其涉及一种深度图构建方法、装置及拍摄设备、终端设备。

背景技术

目前，用户可以通过图像采集装置捕捉场景的图像。图像采集装置可以为移动终端上的摄像头，也可以是单独的相机等。一般情况下，为了能够获取到清晰的图像，在拍摄图像时需要对图像采集装置进行对焦。现有的对焦模式包括：相位反差式自动对焦模式和相位检测自动对焦模式。

相位反差式自动对焦模式根据焦点处画面的对比度变化，寻找对比度最大时的镜头位置，也就是准确对焦的位置。而相位检测自动对焦模式与其不同，相位检测自动对焦模式将入射光线分成成对的图像，执行一次相位差计算即可确定对焦调整的精确方向和调整量，对焦速度更快，被越来越多的图像采集设备所使用。

实际应用中，图像采集装置采集到的图像都是场景的静止图像。尽管拍摄到的静止图像在各种不同的应用中具有极大的作用，但静止图像无法提供足以准确地评估场景中所捕捉的各物体的相对深度的信息。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种深度图构建方法，以实现从静止图像中获取景深信息的目的，用于解决现有静止图像无法提供场景中各点相对摄像机的距离的问题。

本发明的第二个目的在于提出深度图构建装置。

本发明的第三个目的在于提出一种拍摄设备

本发明的第四个目的在于提出一种终端设备。

为达上述目的，本发明第一方面实施例提出了一种深度图构建方法，包括：

在图像的感兴趣区域处于合焦状态时，获取所述图像中除所述感兴趣区域之外的其他区域的图像边缘和细节处的相位差；

根据所述相位差获取所述其他区域在对焦时的调整量；

根据所述调整量获取所述其他区域相对所述感兴趣区域的景深信息；

根据所述景深信息构建所述图像的深度图。

本发明实施例的深度图构建方法，获取除ROI之外其他区域的图像边缘和细节处的相位差，基于相位差确定出调整量，根据调整量中的调整方向可以获取到其他区域相对于ROI的景深关系，并且可以根据景深公式计算出其他区域相对于ROI的景深数据，在得到景深关系和景深数据后，可以计算出物体距离镜头的距离，从而可以构建出图像的深度图。本实施例的深度图构建过程，不同于现有激光雷达深度成像法、计算机立体视觉成像、坐标测量机法、莫尔条纹法以及结构光法，是一种新的深度图构建方法。进一步地，在确定出其他区域相对于ROI的景深关系，可以从图像中能够快速地识别出图像的背景，从可以根据景深关系实现背景虚化的效果。

另外，本发明实施例的深度图构建方法，还具有如下附加的技术特征：

在本发明的一个实施例中，所述在图像的感兴趣区域处于合焦状态时，获取所述图像中除所述感兴趣区域之外的其他区域的图像边缘和细节处的相位差之前，还包括：

利用图像采集装置采集所述图像；

确定所述感兴趣区域；

根据所述感兴趣区域的相位差获取所述感兴趣区域对焦时的调整量；

利用音圈马达根据所述调整量进行对焦，使所述感兴趣区域处于所述合焦状态。

在本发明的一个实施例中，所述根据所述景深信息构建所述图像的深度图，包括：

利用所述景深信息构建所述图像的景深轮廓图；

利用所述景深轮廓图和所述图像的颜色信息构建所述深度图。

在本发明的一个实施例中，所述利用所述景深轮廓图和所述图像中的颜色信息构建所述深度图，包括：

基于所述图像的颜色信息和边缘检测算子从所述景深轮廓图中识别出所述图像中的平坦区域；

利用插值法获取所述平坦区域的所述景深信息；

将所述平坦区域的所述景深信息对应填充到所述景深轮廓图中，形成所述深度图。

在本发明的一个实施例中，所述根据所述调整量获取所述其他区域相对所述感兴趣区域的景深信息，包括：

根据所述调整量中调整方向，确定所述其他区域相对所述感兴趣区域的景深关系；

根据景深公式计算所述其他区域相对于所述感兴趣区域的景深数据；

利用所述景深关系和所述景深数据形成所述景深信息。

在本发明的一个实施例中，所述方法还包括：

预先将图像采集装置设置成相位检测自动对焦模式；

在所述相位检测自动对焦模式下获取所述图像边缘和细节处的所述相位差。

为达上述目的，本发明第二方面实施例提出了一种深度图构建装置，包括：

第一获取模块，用于在图像的感兴趣区域处于合焦状态时，获取所述图像中除所述感兴趣区域之外的其他区域的图像边缘和细节处的相位差；

第二获取模块，用于根据所述相位差确定所述其他区域在对焦时的调整量；

第三获取模块，用于根据所述调整量获取所述其他区域相对所述感兴趣区域的景深信息；

构建模块，用于根据所述景深信息构建所述图像的深度图。

本发明实施例的深度图构建装置，获取除ROI之外其他区域的图像边缘和细节处的相位差，基于相位差确定出调整量，根据调整量中的调整方向可以获取到其他区域相对于ROI的景深关系，并且可以根据景深公式计算出其他区域相对于ROI的景深数据，在得到景深关系和景深数据后，可以计算出物体距离镜头的距离，从而可以构建出图像的深度图。本实施例的深度图构建过程，不同于现有激光雷达深度成像法、计算机立体视觉成像、坐标测量机法、莫尔条纹法以及结构光法，是一种新的深度图构建方法。进一步地，在确定出其他区域相对于ROI的景深关系，可以从图像中能够快速地识别出图像的背景，从可以根据景深关系实现背景虚化的效果。

另外，本发明实施例的深度图构建装置，还具有如下附加的技术特征：

在本发明的一个实施例中，所述装置还包括：

图像采集模块，用于利用图像采集装置采集所述图像；

区域确定模块，用于确定所述感兴趣区域；

所述第二获取模块，还用于根据所述感兴趣区域的相位差获取所述感兴趣区域对焦时的调整量；

对焦模块，用于利用音圈马达根据所述调整量进行对焦，使所述感兴趣区域处于所述合焦状态。

在本发明的一个实施例中，所述构建模块包括：

轮廓图构建单元，用于利用所述景深信息构建所述图像的景深轮廓图；

深度图构建单元，用于利用所述景深轮廓图和所述图像的颜色信息构建所述深度图。

在本发明的一个实施例中，所述深度图构建单元，具体用于基于所述图像的颜色信息和边缘检测算子从所述景深轮廓图中识别出所述图像中的平坦区域，利用插值法获取所述平坦区域的所述景深信息，以及将所述平坦区域的所述景深信息对应填充到所述景深轮廓图中，形成所述深度图。

在本发明的一个实施例中，所述第三获取模块，具体用于根据所述调整量中调整方向，确定所述其他区域相对所述感兴趣区域的景深关系，根据景深公式计算所述其他区域相对于所述感兴趣区域的景深数据，利用所述景深关系和所述景深数据形成所述景深信息。

在本发明的一个实施例中，所述装置还包括：

设置模块，用于预先将图像采集装置设置成相位检测自动对焦模式；

所述第一获取模块，具体用于在所述相位检测自动对焦模式下获取所述图像边缘和细节处的所述相位差。

为达上述目的，本发明第三方面实施例提出了一种拍摄设备，包括：

本发明第二方面实施例提出的深度图构建装置。

本发明实施例的拍摄设备，获取除ROI之外其他区域的图像边缘和细节处的相位差，基于相位差确定出调整量，根据调整量中的调整方向可以获取到其他区域相对于ROI的景深关系，并且可以根据景深公式计算出其他区域相对于ROI的景深数据，在得到景深关系和景深数据后，可以计算出物体距离镜头的距离，从而可以构建出图像的深度图。本实施例的深度图构建过程，不同于现有激光雷达深度成像法、计算机立体视觉成像、坐标测量机法、莫尔条纹法以及结构光法，是一种新的深度图构建方法。进一步地，在确定出其他区域相对于ROI的景深关系，可以从图像中能够快速地识别出图像的背景，从可以根据景深关系实现背景虚化的效果。

为达上述目的，本发明第四方面实施例提出了一种终端设备，包括：

壳体和位于所述壳体内的处理器、存储器和相机模组，其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行以下步骤：

在图像的感兴趣区域处于合焦状态时，获取所述图像中除所述感兴趣区域之外的其他区域的图像边缘和细节处的相位差；

根据所述相位差获取所述其他区域在对焦时的调整量；

根据所述调整量获取所述其他区域相对所述感兴趣区域的景深信息；

根据所述景深信息构建所述图像的深度图。

本发明实施例的终端设备，获取除ROI之外其他区域的图像边缘和细节处的相位差，基于相位差确定出调整量，根据调整量中的调整方向可以获取到其他区域相对于ROI的景深关系，并且可以根据景深公式计算出其他区域相对于ROI的景深数据，在得到景深关系和景深数据后，可以计算出物体距离镜头的距离，从而可以构建出图像的深度图。本实施例的深度图构建过程，不同于现有激光雷达深度成像法、计算机立体视觉成像、坐标测量机法、莫尔条纹法以及结构光法，是一种新的深度图构建方法。进一步地，在确定出其他区域相对于ROI的景深关系，可以从图像中能够快速地识别出图像的背景，从可以根据景深关系实现背景虚化的效果。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例提供的一种深度图构建方法的流程示意图；

图2为本实施例提供的一种图像传感器100的结构示意图；

图3为相对检测自动对焦的原理示意图；

图4为本发明实施例提供的另一种深度图构建方法的流程示意图；

图5为本发明实施例提供的一种深度图构建装置的结构示意图；

图6为本发明实施例提供的另一种深度图构建装置的结构示意图；

图7为本发明实施例提供的一种拍摄设备的结构示意图；

图8为本发明实施例提供的一种终端设备的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的图像处理方法、装置及拍摄设备、终端设备。

图1为本发明实施例提供的一种图像处理方法的流程示意图。本发明实施例的图像处理方法，可应用于各种装置或终端设备，如平板电脑、笔记本电脑、个人电脑、智能手机、摄像装置等。

如图1所示，该图像处理方法包括以下步骤：

S101、在图像的感兴趣区域处于合焦状态时，获取图像中除感兴趣区域之外的其他区域的图像边缘和细节处的相位差。

本实施例中，可以开启图像采集装置，该图像采集装置可以为独立的装置，如单反相机这类的摄影装置，也可以为安装在终端上的摄像头等。在开启了图像采集装置后，可以利用图像采集装置对待拍摄的场景进行拍摄。

本实施例中的图像采集装置中设置有图像传感器100，该图像传感器100包括感光单元阵列10、滤光单元阵列20和微透镜阵列30。图2为本实施例提供的一种图像传感器100的结构示意图。在图2中，滤光单元阵列20设置在感光单元阵列10上，微透镜阵列30位于滤光单元阵列20之上。

其中，感光单元阵列10包括多个对焦感光单元11和多个非对焦感光单元12。微透镜阵列30包括两种大小不同的微透镜，第一微透镜31和第二微透镜32。其中，一个第一微透镜31覆盖一个对焦感光单元11，N*N个第二微透镜32覆盖一个非对焦感光单元12，其中，N为正整数。对焦感光单元11和非对焦感光单元12均包括M*M个感光像素110，其中，M为正整数。图2中M＝2，此处仅为示例，不能作为对M取值的限制条件。

通过上述图像采集装置可以执行本实施例提供的图像处理方法，具体过程如下介绍。

具体地，可以将图像采集装置对准待拍摄的场景，从而在图像采集装置中形成一个图像，可以从该图像中确定出感兴趣区域(Region Of Interest，简称ROI)。

在确定了ROI之后，可以对ROI进行对焦，使得ROI处于合焦状态。优选地，可以将图像采集装置的对焦模式预先设置为相位检测自动对焦模式，在该相位检测自动对焦模式下使ROI处于合焦状态。

在相位检测自动对焦模式下，图像采集装置通过分离镜头和线性传感器将图像分离出两个图像，两个图像分别对应一个相位点。进一步地，可以通过线性传感器可以检测出分离的两个图像之间的距离，也就是说，相对检测自动对焦模式是通过相位检测的线性信号来判断的焦点位置是考前还是靠后，并且准确的反馈给镜头驱动模块如音圈马达。进一步地，音圈马达可以根据调整量进行对焦，即控制镜头的移动方向。在确定了准确的焦点位置后说明待拍摄的物体处于合焦状态。

图3为相位检测自动对焦模式的原理示意图。图3中，包括四幅图片，每个图片中包括镜片和图像传感器(Sensor)即成像面。图3中黑色的圆点表示物体的一个点，灰色的实心圆点表示上相位对焦点所成的图像，白色的虚心圆点表示下相位对焦点所成的图像。第一幅图片中由于镜片距离Sensor太远，上下两条光线所成的图像没有重合；第二幅图片中由于镜片与Sensor之间的距离合适，上下两条光线所成的图像重合了，对焦成功处于合焦状态；第三幅和第四幅图片由于镜片距离Sensor太近，上下两条光线所成的图像没有重合，但是和第一幅图片不同的是两个图像之间的相位差方向是不一样的。

对图像进行边缘检测从中提取出其他区域的图像边缘和细节。进一步地，在提取出其他区域的图像边缘和细节后，就可以获取到图像边缘和细节处的相位差。

S102、根据相位差获取其他区域在对焦时的调整量。

本实施例中，在确定了图像边缘和细节处的相位差数据后，可以根据相位差确定出其他区域在对焦时的调整量。其中，该调整量可以包括调整方向和调整距离。

具体地，图像边缘和细节处两个相位对焦点对应的图像为二维图像，将两个相位对焦点的两个图像计算对应像素点之间的相位差，为例简化计算，以列为单元将每列上所有像素的相位差进行求和，得到2个一维数组。将其中一个数组进行左或右平移，可以计算出该数组与另外一个数组的差值，当最小差值时对应偏移值即是两个图像之间的像素偏移值，即调整距离。

在相位检测自动对焦模式下，两个相位对焦点中往往会固定一个相位对焦点，移动另外一个相位对焦点，优选地可以固定左侧相位对焦点的图像，移动右侧相位对焦点的图像，两个相位对焦点处于合焦状态，这样就可以根据右侧相位对焦点的调整方向。

S103、根据调整量获取其他区域相对感兴趣区域的景深信息。

本实施例中，可以根据对焦时的调整方向，确定出其他区域相对ROI区域的景深关系。具体地，合焦的ROI的两个相位对焦点的图像之间的像素偏移值为0，而其他区域的两个相位对焦点的图像之间的像素偏移值为负值，表示左侧相位对焦点的图像不动，右侧相位对焦点的图像需要向右移才能与左侧相位对焦点的图像对齐，说明其他区域离镜头的距离比ROI更近，则其他区域相对ROI的景深关系为其他区域在ROI的前面。若左侧相位对焦点的图像与右相位对焦点的图像的像素偏移值为正值，表示左侧相位对焦点的图像不动，右侧相位对焦点的图像需要向左移才能与侧相位对焦点的图像对齐，则说明其他区域离镜头的距离比对焦区域更远，则其他区域相对ROI的景深关系为其他区域在ROI的后面。

进一步地，可以根据景深的计算公式，计算出其他区域相对于ROI的景深数据。其中，景深的计算公式为：景深＝(2*弥散圆直径*镜头焦距的平方*光圈值*调焦距离的平方)/(镜头焦距的4次方-弥散圆直径的平方*光圈值的平方*调焦距离的平方)。其中，弥散圆直径、镜头焦距、光圈值、调焦距离在图像采集装置采集图像时就可以获取到。

在计算出其他区域相对于ROI的景深数据后，可以结合根据调整方向确定出的其他区域相对ROI的景深关系，形成其他区域相对于ROI的景深信息。

S104、根据景深信息构建图像的深度图。

在获取到其他区域相对于景深信息后，就可以确定出其他区域相对于ROI的位置关系，可以确定是其他区域是背景还是前景。

进一步地，就可以根据景深信息中的景深数据，确定出其他区域以及ROI与图像采集装置中镜头之间的物距，在确定出其他区域以及ROI的物距后，就可以确定出其他区域以及ROI距离镜头的深度，从而可以构建出图像的深度图。

本实施例中，获取除ROI之外其他区域的图像边缘和细节处的相位差，基于相位差确定出调整量，根据调整量中的调整方向可以获取到其他区域相对于ROI的景深关系，并且可以根据景深公式计算出其他区域相对于ROI的景深数据，在得到景深关系和景深数据后，可以计算出物体距离镜头的距离，从而可以构建出图像的深度图。本实施例的深度图构建过程，不同于现有激光雷达深度成像法、计算机立体视觉成像、坐标测量机法、莫尔条纹法以及结构光法，是一种新的深度图构建方法。进一步地，在确定出其他区域相对于ROI的景深关系，可以从图像中能够快速地识别出图像的背景，从可以根据景深关系实现背景虚化的效果。

图4为本发明实施例提供的另一种深度图构建方法的流程示意图。如图4所示，该深度图构建方法包括以下步骤：

S201、启动图像采集装置。

本实施例中，启动图像采集装置进行图像采集。

S202、预先将图像采集装置设置成相位检测自动对焦模式。

在启动后图像采集装置后，可以将图像采集装置预先设置成相位检测自动对焦模式。关于相位检测自动对焦模式的介绍可参见上述实施例中和附图3中相关内容的记载，此处不再赘述。

S203、对图像的ROI进行对焦使其处于合焦状态。

首先，为图像确定一个ROI。例如，可以自动将图像的中心区域作为该图像的ROI。再例如，可以由用户对显示该图像的屏幕进行选取操作，为该图像选取一个ROI。再例如，识别图像中所包括的物体的特征，将该特征所在区域作为ROI，例如图像中包括一个人物，可以识别出该人物的脸部，将该人物的脸部所在区域作为ROI。进一步地，在确定了ROI之后，图像采集装置可以基于相位检测自动对焦模式对ROI进行对焦，使得ROI处于合焦状态。关于ROI对焦的过程此处不再赘述。

S204、从图像中提取出其他区域的图像边缘和细节。

一般情况下，图像的边缘和细节为图像中的中高频内容，当使得ROI处于合焦状态后，因此可以采用高通滤波器对采集到的图像进行处理，得到图像中其他区域的图像边缘和细节。

S205、获取图像中除感兴趣区域之外的其他区域的图像边缘和细节处的相位差。

关于S205具体介绍可参见上述实施例中相关内容的记载，此处不再赘述。

S206、根据相位差获取其他区域在对焦时的调整量。

S207、根据调整量获取其他区域相对感兴趣区域的景深信息。

关于S206～S207的具体介绍可参见上述实施例中相关内容的记载，此处不再赘述。

S208、利用景深信息构建图像的景深轮廓图。

在获取到图像边缘和细节的景深信息后，可以利用景深信息构建图像的景深轮廓图中。

S209、利用景深轮廓图和图像的颜色信息构建深度图。

实际应用中，图像中除了包括图像边缘和细节，还包括平坦区域。图像中同一个边缘所包围的区域的颜色往往比较一致，从而可以根据图像内容颜色的连续性，从景深轮廓图中识别出平台区域。具体地，可以获取到图像中每个像素点的颜色信息，然后基于边缘检测算子从景深轮廓图中识别出图像中的平坦区域。在确定出平坦区域后，进一步地利用插值法获取到平坦区域的景深信息。获取平坦区域相邻的图像边缘和细节处的景深信息，利用相邻的图像边缘和细节处的景深信息，通过插值法插值出平坦区域的景深信息，进而可以利用平台区域的景深信息对应填充到景深轮廓图中相应位置，当填充完成后就可以得到图像的深度图。

本实施例中，获取除ROI之外其他区域的图像边缘和细节处的相位差，基于相位差确定出调整量，根据调整量中的调整方向可以获取到其他区域相对于ROI的景深关系，并且可以根据景深公式计算出其他区域相对于ROI的景深数据，在得到景深关系和景深数据后，可以计算出物体距离镜头的距离，从而可以构建出图像的深度图。本实施例的深度图构建过程，不同于现有激光雷达深度成像法、计算机立体视觉成像、坐标测量机法、莫尔条纹法以及结构光法，是一种新的深度图构建方法。进一步地，在确定出其他区域相对于ROI的景深关系，可以从图像中能够快速地识别出图像的背景，从可以根据景深关系实现背景虚化的效果。

图5为本发明实施例提供的一种深度图构建装置的结构示意图。如图5所示，该深度图构建装置包括：第一获取模块11、第二获取模块12和第三获取模块13和构建模块14。

具体地，第一获取模块11，用于在图像的感兴趣区域处于合焦状态时，获取所述图像中除所述感兴趣区域之外的其他区域的图像边缘和细节处的相位差。

第二获取模块12，用于根据所述相位差确定所述其他区域在对焦时的调整量。

第三获取模块13，用于根据所述调整量获取所述其他区域相对所述感兴趣区域的景深信息。

构建模块14，用于根据所述景深信息构建所述图像的深度图。

本实施例中，获取除ROI之外其他区域的图像边缘和细节处的相位差，基于相位差确定出调整量，根据调整量中的调整方向可以获取到其他区域相对于ROI的景深关系，并且可以根据景深公式计算出其他区域相对于ROI的景深数据，在得到景深关系和景深数据后，可以计算出物体距离镜头的距离，从而可以构建出图像的深度图。本实施例的深度图构建过程，不同于现有激光雷达深度成像法、计算机立体视觉成像、坐标测量机法、莫尔条纹法以及结构光法，是一种新的深度图构建方法。进一步地，在确定出其他区域相对于ROI的景深关系，可以从图像中能够快速地识别出图像的背景，从可以根据景深关系实现背景虚化的效果。

图6为本发明实施例提供的另一种深度图构建装置的结构示意图。如图6所示，在上述实施例的基础之上，该深度图构建装置还包括：图像采集模块15、区域确定模块16、对焦模块17和设置模块18。

其中，图像采集模块15，用于利用图像采集装置采集所述图像。

区域确定模块16，用于确定所述感兴趣区域。

第二获取模块12，还用于根据所述感兴趣区域的相位差获取所述感兴趣区域对焦时的调整量。

对焦模块17，用于利用音圈马达根据所述调整量进行对焦，使所述感兴趣区域处于所述合焦状态。

进一步地，构建模块14包括：

轮廓图构建单元141，用于利用所述景深信息构建所述图像的景深轮廓图。

深度图构建单元142，用于利用所述景深轮廓图和所述图像的颜色信息构建所述深度图。

进一步地，深度图构建单元142，具体用于基于所述图像的颜色信息和边缘检测算子从所述景深轮廓图中识别出所述图像中的平坦区域，利用插值法获取所述平坦区域的所述景深信息，以及将所述平坦区域的所述景深信息对应填充到所述景深轮廓图中，形成所述深度图。

进一步地，第三获取模块13，具体用于根据所述调整量中调整方向，确定所述其他区域相对所述感兴趣区域的景深关系，根据景深公式计算所述其他区域相对于所述感兴趣区域的景深数据，利用所述景深关系和所述景深数据形成所述景深信息。

进一步地，设置模块18，用于预先将图像采集装置设置成相位检测自动对焦模式。

第一获取模块11，具体用于在所述相位检测自动对焦模式下获取所述图像边缘和细节处的所述相位差。

本实施例中提出基于相位差进而得到景深信息，从而完成图像的身体构建的过程，不同于现有激光雷达深度成像法、计算机立体视觉成像、坐标测量机法、莫尔条纹法以及结构光法，是一种新的深度图构建方法。进一步地，在确定出其他区域相对于ROI的景深关系，可以从图像中能够快速地识别出图像的背景，从可以根据景深关系实现背景虚化的效果。

图7为本发明实施例提供的一种拍摄设备的结构示意图。如图7所示，该拍摄设备包括上述实施例中的深度图构建装置1。

本实施例中，关于深度图构建装置1的构成可参见上述实施例中的相关介绍，可以执行上述实施例中提供的深度图构建方法。

本实施例中提出基于相位差进而得到景深信息，从而完成图像的身体构建的过程，不同于现有激光雷达深度成像法、计算机立体视觉成像、坐标测量机法、莫尔条纹法以及结构光法，是一种新的深度图构建方法。进一步地，在确定出其他区域相对于ROI的景深关系，可以从图像中能够快速地识别出图像的背景，从可以根据景深关系实现背景虚化的效果。

图8为本发明实施例提供的一种终端设备的结构示意图。如图8所示，该终端设备包括以下一个或多个组件：壳体21和位于壳体21内包括处理器211、存储器212和相机模组213。

其中，处理器211通过读取存储器212中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行以下步骤：

在图像的感兴趣区域处于合焦状态时，获取所述图像中除所述感兴趣区域之外的其他区域的图像边缘和细节处的相位差；

根据所述相位差获取所述其他区域在对焦时的调整量；

根据所述调整量获取所述其他区域相对所述感兴趣区域的景深信息；

根据所述景深信息构建所述图像的深度图。

本实施例提供的终端设备，获取除ROI之外其他区域的图像边缘和细节处的相位差，基于相位差确定出调整量，根据调整量中的调整方向可以获取到其他区域相对于ROI的景深关系，并且可以根据景深公式计算出其他区域相对于ROI的景深数据，在得到景深关系和景深数据后，可以计算出物体距离镜头的距离，从而可以构建出图像的深度图。本实施例的深度图构建过程，不同于现有激光雷达深度成像法、计算机立体视觉成像、坐标测量机法、莫尔条纹法以及结构光法，是一种新的深度图构建方法。进一步地，在确定出其他区域相对于ROI的景深关系，可以从图像中能够快速地识别出图像的背景，从可以根据景深关系实现背景虚化的效果。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种深度图构建方法，其特征在于，包括：

在图像的感兴趣区域处于合焦状态时，获取所述图像中除所述感兴趣区域之外的其他区域的图像边缘和细节处的相位差；

根据所述相位差获取所述其他区域在对焦时的调整量；

根据所述调整量获取所述其他区域相对所述感兴趣区域的景深信息，其中，根据所述调整量中调整方向，确定所述其他区域相对所述感兴趣区域的景深关系，根据景深公式计算所述其他区域相对于所述感兴趣区域的景深数据，利用所述景深关系和所述景深数据形成所述景深信息；

根据所述景深信息构建所述图像的深度图。

2.根据所述权利要求1所述的方法，其特征在于，所述在图像的感兴趣区域处于合焦状态时，获取所述图像中除所述感兴趣区域之外的其他区域的图像边缘和细节处的相位差之前，还包括：

利用图像采集装置采集所述图像；

确定所述感兴趣区域；

根据所述感兴趣区域的相位差获取所述感兴趣区域对焦时的调整量；

利用音圈马达根据所述调整量进行对焦，使所述感兴趣区域处于所述合焦状态。

3.根据权利要求1所述的方法，所述根据所述景深信息构建所述图像的深度图，包括：

利用所述景深信息构建所述图像的景深轮廓图；

利用所述景深轮廓图和所述图像的颜色信息构建所述深度图。

4.根据权利要求3所述的方法，所述利用所述景深轮廓图和所述图像中的颜色信息构建所述深度图，包括：

基于所述图像的颜色信息和边缘检测算子从所述景深轮廓图中识别出所述图像中的平坦区域；

利用插值法获取所述平坦区域的所述景深信息；

将所述平坦区域的所述景深信息对应填充到所述景深轮廓图中，形成所述深度图。

5.根据所述权利要求1-4任一项所述的方法，其特征在于，还包括：

预先将图像采集装置设置成相位检测自动对焦模式；

在所述相位检测自动对焦模式下获取所述图像边缘和细节处的所述相位差。

6.一种深度图构建装置，其特征在于，包括：

第一获取模块，用于在图像的感兴趣区域处于合焦状态时，获取所述图像中除所述感兴趣区域之外的其他区域的图像边缘和细节处的相位差；

第二获取模块，用于根据所述相位差确定所述其他区域在对焦时的调整量；

第三获取模块，用于根据所述调整量获取所述其他区域相对所述感兴趣区域的景深信息，其中，所述第三获取模块根据所述调整量中调整方向，确定所述其他区域相对所述感兴趣区域的景深关系，根据景深公式计算所述其他区域相对于所述感兴趣区域的景深数据，利用所述景深关系和所述景深数据形成所述景深信息；

构建模块，用于根据所述景深信息构建所述图像的深度图。

7.根据所述权利要求6所述的装置，其特征在于，还包括：

图像采集模块，用于利用图像采集装置采集所述图像；

区域确定模块，用于确定所述感兴趣区域；

所述第二获取模块，还用于根据所述感兴趣区域的相位差获取所述感兴趣区域对焦时的调整量；

对焦模块，用于利用音圈马达根据所述调整量进行对焦，使所述感兴趣区域处于所述合焦状态。

8.根据权利要求6所述的装置，所述构建模块包括：

轮廓图构建单元，用于利用所述景深信息构建所述图像的景深轮廓图；

深度图构建单元，用于利用所述景深轮廓图和所述图像的颜色信息构建所述深度图。

9.根据权利要求8所述的装置，所述深度图构建单元，具体用于基于所述图像的颜色信息和边缘检测算子从所述景深轮廓图中识别出所述图像中的平坦区域，利用插值法获取所述平坦区域的所述景深信息，以及将所述平坦区域的所述景深信息对应填充到所述景深轮廓图中，形成所述深度图。

10.根据所述权利要求6-9任一项所述的装置，其特征在于，还包括：

设置模块，用于预先将图像采集装置设置成相位检测自动对焦模式；

所述第一获取模块，具体用于在所述相位检测自动对焦模式下获取所述图像边缘和细节处的所述相位差。

11.一种拍摄设备，其特征在于，包括：如上述权利要求6-10任一项所述的深度图构建装置。

12.一种终端设备，其特征在于，包括以下一个或多个组件：壳体和位于所述壳体内的处理器、存储器、和相机模组，其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行以下步骤：

在图像的感兴趣区域处于合焦状态时，获取所述图像中除所述感兴趣区域之外的其他区域的图像边缘和细节处的相位差；

根据所述相位差获取所述其他区域在对焦时的调整量；

根据所述调整量获取所述其他区域相对所述感兴趣区域的景深信息，其中，根据所述调整量中调整方向，确定所述其他区域相对所述感兴趣区域的景深关系，根据景深公式计算所述其他区域相对于所述感兴趣区域的景深数据，利用所述景深关系和所述景深数据形成所述景深信息；

根据所述景深信息构建所述图像的深度图。

Images