CN116233394A - 成像设备的调焦方法及装置、计算机设备、存储介质 - Google Patents

Abstract

本公开实施例公开了一种成像设备的调焦方法及装置、计算机设备、存储介质，其中方法包括：获取成像设备根据预设焦距采集的二维图像和深度图像；根据所述二维图像中各像素点的像素值，确定所述二维图像的第一清晰度；根据所述深度图像中各像素点的深度值，确定所述深度图像的第二清晰度；在所述第一清晰度和所述第二清晰度满足预设清晰度要求的情况下，将所述预设焦距确定为目标焦距；其中，所述目标焦距用于所述成像设备根据所述目标焦距成像。通过该方案，可以提高确定目标焦距的准确性，进而提高成像设备成像的清晰程度。

Description

成像设备的调焦方法及装置、计算机设备、存储介质

技术领域

本公开涉及但不限于成像设备领域，尤其涉及一种成像设备的调焦方法及装置、计算机设备、存储介质。

背景技术

成像设备如深度相机(三维相机)，在成像时往往通过手动方式或自动方式调节焦距来获得清晰的图像。以深度相机中的TOF(Time of Flight，飞行时间)相机为例，焦距对采集的二维图像、深度图像的清晰度，以及三维点云数据的准确度有直接的影响。因此，在出厂或实际使用时，如何确定成像设备成像时的焦距以获得清晰的图像，亟待解决。

发明内容

有鉴于此，本公开实施例期望提供一种成像设备的调焦方法及装置、计算机设备、存储介质。

第一方面，本公开实施例提供一种成像设备的调焦方法，所述方法包括：

获取成像设备根据预设焦距采集的二维图像和深度图像；

根据所述二维图像中各像素点的像素值，确定所述二维图像的第一清晰度；

根据所述深度图像中各像素点的深度值，确定所述深度图像的第二清晰度；

在所述第一清晰度和所述第二清晰度满足预设清晰度要求的情况下，将所述预设焦距确定为目标焦距；其中，所述目标焦距用于所述成像设备根据所述目标焦距成像。

在一些实施例中，所述第一清晰度包括第一子清晰度、第二子清晰度；所述根据所述二维图像中各像素点的像素值，确定所述二维图像的第一清晰度，包括：

根据所述二维图像中各像素点的灰度值，确定所述各像素点的灰度梯度，以及所述各像素点与相邻像素点的灰度差值；

根据所述各像素点的灰度梯度，确定所述第一子清晰度；

根据所述各像素点与相邻像素点的灰度差值，确定所述第二子清晰度。

在一些实施例中，所述根据所述各像素点的灰度梯度，确定所述第一子清晰度，包括：

对所述各像素点的灰度梯度进行直方图统计，得到第一统计结果；

根据所述第一统计结果，确定灰度梯度阈值；

将大于所述灰度梯度阈值的灰度梯度的均值确定为所述第一子清晰度。

在一些实施例中，所述根据所述二维图像中各像素点的灰度值，确定所述各像素点与相邻像素点的灰度差值，包括：

针对所述二维图像中的每一像素点，确定所述像素点与预设邻域内的各像素点的灰度差值；

将各灰度差值的平方和确定为所述像素点与相邻像素点的灰度差值。

在一些实施例中，所述根据所述各像素点与相邻像素点的灰度差值，确定所述第二子清晰度，包括：

对所述各像素点与相邻像素点的灰度差值进行直方图统计，得到第二统计结果；

根据所述第二统计结果，确定灰度差值阈值；

将大于所述灰度差值阈值的各灰度差值的均值确定为所述第二子清晰度。

在一些实施例中，所述二维图像包括根据所述预设焦距采集的多张二维图像；所述根据所述二维图像中各像素点的像素值，确定所述二维图像的第一清晰度，包括：

针对所述多张二维图像中的每一像素点，将位于同一位置的像素点的灰度值的均值确定为所述像素点的目标灰度值；

根据所述各像素点的目标灰度值，确定所述第一清晰度。

在一些实施例中，所述根据所述二维图像中各像素点的像素值，确定所述二维图像的第一清晰度，包括：

根据所述二维图像的预设中心区域中各像素点的像素值，确定所述第一清晰度。

在一些实施例中，所述根据所述深度图像中各像素点的深度值，确定所述深度图像的第二清晰度，包括：

根据所述深度图像中各像素点的深度值，确定所述像素点与相邻像素点的深度差值；

针对所述深度图像中的每一像素点，在所述像素点与相邻像素点的深度差值大于预设深度差值阈值的情况下，将所述像素点确定为目标飞点；

将所述目标飞点的总数确定为所述第二清晰度；其中，所述目标飞点的总数与所述深度图像的清晰程度负相关。

在一些实施例中，所述深度图像包括根据所述预设焦距采集的多张深度图像；所述根据所述深度图像中各像素点的深度值，确定所述深度图像的第二清晰度，包括：

针对所述多张深度图像中的每一像素点，根据位于同一位置的像素点的深度值，确定所述像素点的目标深度值；

根据所述各像素点的目标深度值，确定所述第二清晰度。

在一些实施例中，所述预设清晰度要求包括第一清晰度标准值、第二清晰度标准值；所述在所述第一清晰度和所述第二清晰度满足预设清晰度要求的情况下，将所述预设焦距确定为目标焦距，包括：

在所述第一清晰度与所述第一清晰度标准值的比值大于第一预设比值、且所述第二清晰度与所述第二清晰度标准值的比值小于第二预设比值的情况下，将所述预设焦距确定为所述目标焦距。

第二方面，本公开实施例提供一种成像设备的调焦装置，所述装置包括：

获取模块，用于获取成像设备根据预设焦距采集的二维图像和深度图像；

第一确定模块，用于根据所述二维图像中各像素点的像素值，确定所述二维图像的第一清晰度；

第二确定模块，用于根据所述深度图像中各像素点的深度值，确定所述深度图像的第二清晰度；

第三确定模块，用于在所述第一清晰度和所述第二清晰度满足预设清晰度要求的情况下，将所述预设焦距确定为目标焦距；其中，所述目标焦距用于所述成像设备根据所述目标焦距成像。

在一些实施例中，所述第一清晰度包括第一子清晰度、第二子清晰度；

所述第一确定模块，用于根据所述二维图像中各像素点的灰度值，确定所述各像素点的灰度梯度，以及所述各像素点与相邻像素点的灰度差值；根据所述各像素点的灰度梯度，确定所述第一子清晰度；根据所述各像素点与相邻像素点的灰度差值，确定所述第二子清晰度。

在一些实施例中，所述第一确定模块，用于对所述各像素点的灰度梯度进行直方图统计，得到第一统计结果；根据所述第一统计结果，确定灰度梯度阈值；将大于所述灰度梯度阈值的灰度梯度的均值确定为所述第一子清晰度。

在一些实施例中，所述第一确定模块，用于针对所述二维图像中的每一像素点，确定所述像素点与预设邻域内的各像素点的灰度差值；将各灰度差值的平方和确定为所述像素点与相邻像素点的灰度差值。

在一些实施例中，所述第一确定模块，用于对所述各像素点与相邻像素点的灰度差值进行直方图统计，得到第二统计结果；根据所述第二统计结果，确定灰度差值阈值；将大于所述灰度差值阈值的各灰度差值的均值确定为所述第二子清晰度。

在一些实施例中，所述二维图像包括根据所述预设焦距采集的多张二维图像；所述第一确定模块，用于针对所述多张二维图像中的每一像素点，将位于同一位置的像素点的灰度值的均值确定为所述像素点的目标灰度值；根据所述各像素点的目标灰度值，确定所述第一清晰度。

在一些实施例中，所述第一确定模块，用于根据所述二维图像的预设中心区域中各像素点的像素值，确定所述第一清晰度。

在一些实施例中，所述第二确定模块，用于根据所述深度图像中各像素点的深度值，确定所述像素点与相邻像素点的深度差值；针对所述深度图像中的每一像素点，在所述像素点与相邻像素点的深度差值大于预设深度差值阈值的情况下，将所述像素点确定为目标飞点；将所述目标飞点的总数确定为所述第二清晰度；其中，所述目标飞点的总数与所述深度图像的清晰程度负相关。

在一些实施例中，所述深度图像包括根据所述预设焦距采集的多张深度图像；所述第二确定模块，用于针对所述多张深度图像中的每一像素点，根据位于同一位置的像素点的深度值，确定所述像素点的目标深度值；根据所述各像素点的目标深度值，确定所述第二清晰度。

在一些实施例中，所述预设清晰度要求包括第一清晰度标准值、第二清晰度标准值；所述第三确定模块，用于在所述第一清晰度与所述第一清晰度标准值的比值大于第一预设比值、且所述第二清晰度与所述第二清晰度标准值的比值小于第二预设比值的情况下，将所述预设焦距确定为所述目标焦距。

第三方面，本公开实施例提供一种计算机设备，包括：处理器；用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行第一方面中所述的方法。

第四方面，本公开实施例提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现第一方面中所述的方法。

本公开的实施例提供的技术方案可以包括以下有益效果：

在本公开的实施例中，由于二维图像中各像素点的像素值可以呈现对象的平面信息(如轮廓信息)、深度图像中各像素点的深度值可以呈现对象的立体信息(如深度信息)，对此，本公开实施例根据二维图像中各像素点的像素值确定第一清晰度，量化成像在平面维度的清晰程度，并根据深度图像中各像素点的深度值确定的第二清晰度，量化成像在深度维度的清晰程度，从而结合成像设备在三维(包括平面维度、深度维度)成像的清晰程度确定目标焦距，相较于仅根据成像在二维(平面维度)的清晰程度确定目标焦距，本公开实施例可以提高成像设备成像的二维图像、深度图像的清晰度，进而提高如工业场景中使用深度相机进行高精度测量的准确性，以及使用点云数据还原物体在世界坐标系下的真实性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

图1为本公开实施例提供的一种成像设备的调焦方法流程图；

图2为本公开实施例提供的一种图像采集装置示例图；

图3为本公开实施例提供的一种二维图像采集对象示例图；

图4为本公开实施例提供的一种深度图像采集对象示例图；

图5为本公开实施例提供的一种灰度梯度直方图；

图6为本公开实施例提供的一种成像设备的调焦装置示例图；

图7为本公开实施例中计算机设备的一种硬件实体示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本公开实施例提供一种成像设备的调焦方法，其执行主体可以是成像设备本身，或是调焦装置；其中，调焦装置可以是终端设备、服务器或其它电子设备；终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些实施例中，若执行主体为调焦装置，成像设备将采集的图像发送给调焦装置，调焦装置根据接收的图像确定目标焦距，并将目标焦距发送给成像设备，从而成像设备根据接收的目标焦距进行成像，得到清晰的图像。在另一些实施例中，若执行主体为成像设备，成像设备根据调焦后的不同焦距采集图像，并在图像满足预设清晰度要求的情况下，以当前调焦的位置(如转动镜头的对焦环所在的位置)成像，得到清晰的图像；其中，调焦的位置所对应的焦距即为本公开的目标焦距。在一些可能的实现方式中，成像设备的调焦方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。下面以执行主体为成像设备为例进行说明。

图1示出了本公开实施例提供的一种成像设备的调焦方法流程图，所述方法包括：

S11、获取成像设备根据预设焦距采集的二维图像和深度图像；

S12、根据所述二维图像中各像素点的像素值，确定所述二维图像的第一清晰度；

S13、根据所述深度图像中各像素点的深度值，确定所述深度图像的第二清晰度；

S14、在所述第一清晰度和所述第二清晰度满足预设清晰度要求的情况下，将所述预设焦距确定为目标焦距；其中，所述目标焦距用于所述成像设备根据所述目标焦距成像。

在本公开实施例中，成像设备如深度相机，是指可获取场景中物体与摄像头之间物理距离的相机，其基本原理可以分为飞行时间法、结构光法、双目立体视觉法等；TOF相机即是一种基于飞行时间法的深度相机。

在步骤S11中，成像设备获取根据预设焦距采集的二维图像和深度图像，其中，二维图像可以是彩色图像，也可以是灰度图像。

本公开实施例成像设备采集二维图像和深度图像，可以是对任意对象进行图像采集，也可以是基于特定图像采集装置进行图像采集。

图2示出了本公开实施例提供的一种图像采集装置示例图，图3示出了本公开实施例提供的一种二维图像采集对象示例图。图2中，成像设备位于图像采集装置的底壳内侧，二维图像采集对象安置于图像采集装置的顶壳内侧，成像设备的成像面正对二维图像采集对象，从而成像设备可以采集该对象的二维图像。

图4示出了本公开实施例提供的一种深度图像采集对象示例图，安置于图像采集装置的顶壳内侧，与二维图像采集对象相邻。在进行深度图像采集时，移动成像设备使成像面正对深度图像采集对象，从而成像设备可以采集该对象的深度图像。

需要说明的是，二维图像采集对象可以是包括较多的明暗交替轮廓的实体，或该实体的照片，从而便于确定二维图像的第一清晰度，提高确定灰度图像的第一清晰度的准确性。深度图像采集对象可以是包括较多的轮廓以及轮廓深度较浅的实体，或该实体的照片，从而在进行深度图像成像时可以减少轮廓对光的反射次数，提高确定深度图像的第二清晰度的准确性。

在步骤S12中，若二维图像为灰度图像，对应的，各像素点的像素值为像素点的灰度值成像设备可以根据灰度图像中各像素点的灰度值，确定各像素点的灰度差异，从而根据各像素点的灰度差异确定灰度图像的第一清晰度，该第一清晰度即为二维图像的第一清晰度；其中，灰度差异包括灰度差值、灰度梯度等。

在一些实施例中，成像设备可以基于灰度图像中各像素点与其邻域像素点的灰度差值，并将各像素点对应的灰度差值的加权结果确定为深度图像的第二清晰度；其中，邻域可以是5邻域、8邻域等。

在一些实施例中，成像设备可以基于空域清晰度评价函数对灰度图像的各像素点的灰度值进行处理，得到灰度图像的第一清晰度；其中，空域清晰度评价函数包括能量梯度函数(Energy of Gradient，EOG)、Roberts函数、Tenengrad函数、Brenner函数、Variance方差函数、拉普拉斯(Laplace)函数等。

以拉普拉斯函数为例，利用Laplace算子可以确定像素点在各方向的灰度梯度，从而将各像素点的灰度梯度的加权结果确定为第一清晰度；Laplace算子可以用如下公式(1)表示：

其中，

表示Laplace算子，f表示坐标为(x，y)的像素点的灰度值。

在一些实施例中，成像设备还可以基于频域清晰度评价函数对灰度图像的各像素点的灰度值进行处理，得到灰度图像的第一清晰度；其中，频率清晰度评价函数包括基于二维离散傅里叶变换的图像清晰度评价函数、基于离散余弦变换的图像清晰度评价函数等。本公开实施例不限定确定第一清晰度的方式。

由于在灰度图像中，相邻像素点灰度差异越大，表征灰度图像中的轮廓越清晰，因此，第一清晰度与二维图像的清晰程度正相关。

若二维图像为彩色图像，对应的，各像素点的像素值包括像素RGB值；成像设备可以通过如加权平均法、最大值、最小值等将彩色图像转化为灰度图像(即将RGB值转换为灰度值)，并执行前述根据灰度图像的灰度值确定第一清晰度类似的方法，此处不详述。

在步骤S13中，在获取深度图像后，成像设备根据深度图像中各像素点的深度值，确定各像素点与其邻域像素点的深度差异，如深度差值、深度梯度等，从而根据各像素点的深度差异确定第二清晰度，如将各深度差异的加权结果确定为深度图像的第二清晰度。其中，各像素点的深度梯度可以是基于前述空域清晰度评价函数、频域清晰度评价函数等对深度图像的深度值进行处理得到的，此处不再赘述。

由于在深度图像中，相邻像素点深度差异越大，表征深度图像中毛刺现象越严重，因此，第二清晰度与深度图像的清晰程度负相关。

在步骤S14中，成像设备在确定二维图像的第一清晰度以及深度图像的第二清晰度后，在第一清晰度和第二清晰度满足预设清晰度要求的情况下，表征采集的二维图像和深度图像的清晰程度均合格，将预设焦距确定为目标焦距。

在一些实施例中，预设清晰度要求包括预设综合阈值；在第一清晰度与第二清晰度的加权结果(如第一清晰度与第二清晰度的差值)大于预设综合阈值的情况下，表征第一清晰度和第二清晰度满足预设清晰度要求。

在一些实施例中，预设清晰度要求包括第一预设阈值、第二预设阈值；在第一清晰度大于第一预设阈值，并且第二清晰度小于预设第二阈值的情况下，表征第一清晰度和第二清晰度满足预设清晰度要求。

从而在出厂时，根据前述方法将成像设备的焦距批量调至目标焦距；或在成像设备的实际使用过程中，基于确定的目标焦距成像，至少得到清晰的灰度图像以及深度图像，还可以得到清晰的彩色图像。此外，由于焦距对三维点云数据在水平方向和垂直方向上的精度有直接的影响，因此，本公开实施例基于目标焦距，可以得到精准的点云数据。

需要说明的是，若第一清晰度和/或第二清晰度不满足预设清晰度要求，可调焦至另一预设焦距继续执行步骤S11～S13，直到步骤S14中第一清晰度和第二清晰度满足预设清晰度要求，确定目标焦距；其中，调焦可以是手动调焦，也可以是自动调焦。

在一些实施例中，成像设备还可以是在确定第一清晰度和第二清晰度均满足预设清晰度要求的清晰下，继续以预设焦距采集多组(如5组)二维图像和深度图像，并在该多组中二维图像的第一清晰度、深度图像的第二清晰度均满足预设清晰度要求的情况下，将该预设焦距确定为目标焦距。相较于仅基于一组二维图像和深度图像确定目标焦距，本公开实施例可以提高确定目标焦距的准确性。

可以理解的是，由于二维图像中各像素点的像素值可以呈现对象的平面信息(如轮廓信息)、深度图像中各像素点的深度值可以呈现对象的立体信息(如深度信息)，对此，本公开实施例根据二维图像中各像素点的像素值确定第一清晰度，量化成像在平面维度的清晰程度，并根据深度图像中各像素点的深度值确定的第二清晰度，量化成像在深度维度的清晰程度，从而结合成像设备在三维(包括平面维度、深度维度)成像的清晰程度确定目标焦距，相较于仅根据成像在二维(平面维度)的清晰程度确定目标焦距，本公开实施例可以提高成像设备成像的二维图像、深度图像的清晰度，进而提高如工业场景中使用TOF相机进行高精度测量的准确性，以及使用点云数据还原物体在世界坐标系下的真实性。

在一些实施例中，所述第一清晰度包括第一子清晰度、第二子清晰度；所述根据所述二维图像中各像素点的像素值，确定所述二维图像的第一清晰度，包括：

根据所述二维图像中各像素点的灰度值，确定所述各像素点的灰度梯度，以及所述各像素点与相邻像素点的灰度差值；

根据所述各像素点的灰度梯度，确定所述第一子清晰度；

根据所述各像素点与相邻像素点的灰度差值，确定所述第二子清晰度。

在本公开实施例中，第一清晰度包括第一子清晰度、第二子清晰度；成像设备根据二维图像中各像素点的灰度值，如灰度图像的灰度值，或经彩色图像的像素值转换后的灰度值，基于前述空域清晰度评价函数、频域清晰度评价函数等确定各像素点的水平灰度梯度和/或垂直梯度灰度梯度，进而根据像素点的水平梯度和/或垂直梯度，确定像素点的灰度梯度，例如，将水平梯度或垂直梯度确定为该像素点的灰度梯度，或将水平梯度的绝对值与垂直梯度的绝对值之和确定为该像素点的灰度梯度，本公开实施例对此不做限定。

此外，成像设备根据二维图像中各像素点的灰度值，确定各像素点与其5邻域或8邻域的像素点的灰度差值，并将如与邻域像素点的灰度差值的加权结果确定为该像素点对应的灰度差值，进而可以将各像素点与相邻像素点的灰度差值的和值或均值确定为第二子清晰度。

可以理解的是，由于二维图像中各像素点的灰度梯度可以表征图像边缘信息，灰度差值可以表征轮廓的清晰程度，灰度梯度和灰度差值越大，表征图像越清晰；因此，本公开实施例将根据各像素点的灰度梯度确定的第一子清晰度，与根据各像素点与相邻像素点的灰度差值确定的第二子清晰度相结合，共同表征灰度图像的清晰程度，相较于仅基于灰度梯度或灰度差值确定清晰程度，本公开实施例可以提高确定清晰程度的准确性，以及提高调焦后确定目标焦距的准确性，进而提高成像设备基于目标焦距成像的图像的清晰度。

在一些实施例中，所述根据所述各像素点的灰度梯度，确定所述第一子清晰度，包括：

对所述各像素点的灰度梯度进行直方图统计，得到第一统计结果；

根据所述第一统计结果，确定灰度梯度阈值；

将大于所述灰度梯度阈值的灰度梯度的均值确定为所述第一子清晰度。

在本公开实施例中，成像设备在确定二维图像中各像素点的灰度梯度后，对各像素点的灰度梯度进行直方图统计，得到第一统计结果；其中，第一统计结果包括不同灰度梯度的像素点的个数。如图5所示，图5示出了本公开实施例提供的一种灰度梯度直方图，横轴表示不同的灰度梯度，纵轴表示各灰度梯度的像素点个数。

本公开实施例成像设备根据第一统计结果，确定灰度梯度阈值，例如，将小于预设数量(如6000)的灰度梯度的最大值确定为灰度梯度阈值，或是将数量最多的灰度梯度的10％确定为灰度梯度阈值等，进而成像设备将大于灰度梯度阈值的各灰度梯度的均值确定为第一子清晰度。

可以理解的是，由于如TOF相机在成像时，白色区域的灰度梯度受环境(如光照)影响较大，导致白色区域的灰度梯度波动较大；又由于受环境影响的白色区域的灰度梯度较小，因此本公开实施例过滤小于或等于灰度梯度阈值的灰度梯度，将大于灰度梯度阈值的各灰度梯度的均值确定为第一子清晰度，可以减少受环境影响的白色区域的灰度梯度对确定第一子清晰度的影响，进而提高确定第一子清晰度的准确性。

在一些实施例中，所述根据所述二维图像中各像素点的灰度值，确定所述各像素点与相邻像素点的灰度差值，包括：

针对所述二维图像中的每一像素点，确定所述像素点与预设邻域内的各像素点的灰度差值；

将各灰度差值的平方和确定为所述像素点与相邻像素点的灰度差值。

在本公开实施例中，预设邻域包括前述5邻域、8邻域。成像设备针对二维图像中的每一像素点，确定像素点与预设邻域内的各像素点的灰度差值，如像素点与其8邻域内的各像素点的灰度差值，并将各灰度差值的平方和确定为该像素点与相邻像素点的灰度差值，进而成像设备基于各像素点对应的灰度差值确定第二子清晰度。

可以理解的是，本公开实施例成像设备针对所述二维图像中的每一像素点，将像素点与各预设邻域内的像素点的灰度差值的平方和确定为像素点与相邻像素点的灰度差值，相较于仅基于一个相邻像素点确定灰度差值，本公开实施例可以提高像素点与其预设邻域像素点灰度差异程度的准确性，从而提高确定第二子清晰度的准确性。

在一些实施例中，所述根据所述各像素点与相邻像素点的灰度差值，确定所述第二子清晰度，包括：

对所述各像素点与相邻像素点的灰度差值进行直方图统计，得到第二统计结果；

根据所述第二统计结果，确定灰度差值阈值；

将大于所述灰度差值阈值的各灰度差值的均值确定为所述第二子清晰度。

在本公开实施例中，成像设备在确定二维图像中各像素点与相邻像素点的灰度差值后，对各灰度差值进行直方图统计，得到第二统计结果；其中，第二统计结果包括不同灰度差值的像素点的个数。

本公开实施例成像设备根据第二统计结果，确定灰度差值阈值，例如，将小于预设数量的灰度差值的最大值确定为灰度差值阈值，或是将数量最多的灰度差值的5％确定为灰度差值阈值等，进而成像设备将大于灰度差值阈值的各灰度差值的均值确定为第二子清晰度。

可以理解的是，由于二维图像中可能存在噪声，本公开实施例过滤小于或等于灰度差值阈值的灰度差值，将大于灰度差值阈值的各灰度差值的均值确定为第二子清晰度，可以减少图像噪声的影响，提高确定第二子清晰度的准确性。

在一些实施例中，所述二维图像包括根据所述预设焦距采集的多张二维图像；所述根据所述二维图像中各像素点的像素值，确定所述二维图像的第一清晰度，包括：

针对所述多张二维图像中的每一像素点，将位于同一位置的像素点的灰度值的均值确定为所述像素点的目标灰度值；

根据所述各像素点的目标灰度值，确定所述第一清晰度。

在本公开实施例中，成像设备可以根据预设焦距采集多张二维图像，如连续的三帧二维图像，从而对多张二维图像进行时域滤波，即针对每张二维图像中的各像素点，将位于同一位置的像素点的灰度值的均值确定为该像素点的目标灰度值，进而根据各像素点的目标灰度值，利用如前述空域清晰度评价函数、频域清晰度评价函数等确定第一清晰度。

可以理解的是，本公开实施例利用多张二维图像进行时域滤波，可以减小灰度图像噪声造成的帧间成像误差，从而提高根据时域滤波后的各像素点的目标灰度值确定第一清晰度的准确性，进而提高确定目标焦距的准确性。

在一些实施例中，所述根据所述二维图像中各像素点的像素值，确定所述二维图像的第一清晰度，包括：

根据所述二维图像的预设中心区域中各像素点的像素值，确定所述第一清晰度。

在本公开实施例中，预设中心区域即感兴趣区域(Region of Interest，ROI)，包括以二维图像的中心为中心，向四周扩散多覆盖的一定区域。成像设备根据二维图像的预设中心区域对二维图像进行ROI剪裁，并根据预设中心区域中各像素点的像素值，利用如前述空域清晰度评价函数、频域清晰度评价函数等确定第一清晰度。

示例性的，预设中心区域为以二维图像的中心为中心、二维图像的垂直区域的80％、水平区域的80％所在区域，剪裁二维图像的边角区域，从而成像设备根据预设中心区域中各像素点的像素值确定第一清晰度。

可以理解的是，由于如TOF相机成像时，受环境光影响导致二维图像的边角区域存在暗区，对此本公开实施例选取二维图像的预设中心区域，并根据预设中心区域中各像素点的像素值确定第一清晰度，可以减小受光线影响的边角暗区的影响，提高确定第一清晰度的准确性。

在一些实施例中，所述根据所述深度图像中各像素点的深度值，确定所述深度图像的第二清晰度，包括：

根据所述深度图像中各像素点的深度值，确定所述像素点与相邻像素点的深度差值；

针对所述深度图像中的每一像素点，在所述像素点与相邻像素点的深度差值大于预设深度差值阈值的情况下，将所述像素点确定为目标飞点；

将所述目标飞点的总数确定为所述第二清晰度；其中，所述目标飞点的总数与所述深度图像的清晰程度负相关。

在本公开实施例中，成像设备针对深度图像中每一像素点，确定像素点与其相邻像素点的深度差值，如将该像素点与任一相邻像素点的深度差确定为深度差值，或是将该像素点与各相邻像素点的深度差的均值确定为深度差值等。

本公开实施例成像设备针对每一像素点及其对应的深度差值，将深度差值大于预设深度差值阈值的像素点确定为目标飞点，并将目标飞点的总数确定为第二清晰度。

可以理解的是，深度差值大于预设深度差值阈值的像素点(即目标飞点)会导致图像产生毛刺，图像清晰程度较低，故目标飞点的总数与深度图像的清晰程度负相关。对此，本公开实施例基于目标飞点总数确定的第二清晰度可以准确表征深度图像的清晰程度，且与深度图像的清晰程度负相关，进而可以提高后续基于第一清晰度和第二清晰度确定目标焦距的准确性。

需要说明的是，由于深度图像的飞点具有随机性，对此，本公开实施例可以基于预设的飞点识别模型，对深度图像进行处理，确定深度图像中的目标飞点；其中，飞点识别模型可以是基于深度学习网络训练而成，例如，基于多张深度图像样本以及标签值，对如卷积神经网络(Convolutional Neural Networks，CNN)、深度学习网络(Deep NeuralNetworks，DNN))等网络进行训练调参后，得到该飞点识别模型，其中，标签值即为像素点是否为飞点。

可以理解的是，本公开实施例基于训练好的飞点识别模型，在获取深度图像后，将深度图像输入该模型即可确定深度图像中的目标飞点，通过该方案，可以进一步提高确定目标飞点的准确性。

在一些实施例中，所述深度图像包括根据所述预设焦距采集的多张深度图像；所述根据所述深度图像中各像素点的深度值，确定所述深度图像的第二清晰度，包括：

针对所述多张深度图像中的每一像素点，根据位于同一位置的像素点的深度值，确定所述像素点的目标深度值；

根据所述各像素点的目标深度值，确定所述第二清晰度。

在本公开实施例中，成像设备可以根据预设焦距采集多张深度图像(不限定深度图像的数量)，如连续的三帧深度图像，从而对多张深度图像进行时域滤波，在一些实施例中，针对每张深度图像中的各像素点，将位于同一位置的像素点的深度值的均值确定为该像素点的目标深度值；或将位于同一位置的像素点的深度值进行排序，并将序列中处于中间位置的深度值确定为该像素点的目标深度值等。在另一些实施例中，基于如高斯模型、直方图统计等方式确定位于同一位置的像素点的深度值分布，并将分布在预设范围内的深度值的均值确定为目标深度值等，进而根据如各像素点的目标深度值与其相邻像素点的目标深度值之间的深度差值确定第二清晰度。

可以理解的是，本公开实施例利用多张深度图像进行时域滤波，可以减小深度图像噪声造成的帧间成像误差，从而提高根据时域滤波后的各像素点的目标深度值对确定第二清晰度的准确性，进而提高确定目标焦距的准确性。

在一些实施例中，所述预设清晰度要求包括第一清晰度标准值、第二清晰度标准值；所述在所述第一清晰度和所述第二清晰度满足预设清晰度要求的情况下，将所述预设焦距确定为目标焦距，包括：

在所述第一清晰度与所述第一清晰度标准值的比值大于第一预设比值、且所述第二清晰度与所述第二清晰度标准值的比值小于第二预设比值的情况下，将所述预设焦距确定为所述目标焦距。

在本公开实施例中，预设清晰度要求包括第一清晰度标准值(如前述第一预设阈值)、第二清晰度标准值(如前述第二预设阈值)。在一些实施例中，第一清晰度标准值可以是基于已完成调焦(如完成手动调焦)的成像设备所成像的二维图像的第一清晰度；第二清晰度标准值可以是基于已完成调焦的成像设备所成像的深度图像的第二清晰度。

在一些实施例中，第一清晰度标准值还可以是第一子清晰度标准值与第二子清晰度标准值的和值，对应的，第一清晰度为第一子清晰度与第二子清晰度的和值；其中，第一子清晰度标准值可以是基于未调焦的预设成像设备在不同焦距下分别成像的灰度图像中第一子清晰度的最大值，第二子清晰度标准值可以是基于该未调焦的预设成像设备在不同焦距下分别成像的灰度图像中第二子清晰度的最大值；预设成像设备可以是一个，也可以是多个，如与成像设备同批次出厂的成像设备中随机采样的5个成像设备。

本公开实施例成像设备在获取第一清晰度标准值和第二清晰度标准值后，在第一清晰度与第一清晰度标准值的比值大于第一预设比值(如0.90)、且第二清晰度与第二清晰度标准值的比值小于第二预设比值(如0.95)的情况下，将预设焦距确定为目标焦距，从而成像设备基于该目标焦距进行成像得到清晰的图像。

可以理解的是，本公开实施例预设清晰度要求包括第一清晰度标准值、第二清晰度标准值，第一清晰度标准值用于判断二维图像的清晰程度是否合格，第二清晰度标准值用于判断深度图像的清晰程度是否合格，并在二维图像的清晰程度与深度图像的清晰程度均合格的情况下，将预设焦距确定为目标焦距，可以提高分别确定灰度图像的清晰程度、深度图像的清晰程度是否合格的针对性，从而提高确定目标焦距的准确性。

图6示出了本公开实施例提供的一种成像设备的调焦装置示例图，由图6可知，成像设备的调焦装置包括：

获取模块101，用于获取成像设备根据预设焦距采集的二维图像和深度图像；

第一确定模块102，用于根据所述二维图像中各像素点的像素值，确定所述二维图像的第一清晰度；

第二确定模块103，用于根据所述深度图像中各像素点的深度值，确定所述深度图像的第二清晰度；

第三确定模块104，用于在所述第一清晰度和所述第二清晰度满足预设清晰度要求的情况下，将所述预设焦距确定为目标焦距；其中，所述目标焦距用于所述成像设备根据所述目标焦距成像。

在一些实施例中，所述第一清晰度包括第一子清晰度、第二子清晰度；

所述第一确定模块102，用于根据所述二维图像中各像素点的灰度值，确定所述各像素点的灰度梯度，以及所述各像素点与相邻像素点的灰度差值；根据所述各像素点的灰度梯度，确定所述第一子清晰度；根据所述各像素点与相邻像素点的灰度差值，确定所述第二子清晰度。

在一些实施例中，所述第一确定模块102，用于对所述各像素点的灰度梯度进行直方图统计，得到第一统计结果；根据所述第一统计结果，确定灰度梯度阈值；将大于所述灰度梯度阈值的灰度梯度的均值确定为所述第一子清晰度。

在一些实施例中，所述第一确定模块102，用于针对所述二维图像中的每一像素点，确定所述像素点与预设邻域内的各像素点的灰度差值；将各灰度差值的平方和确定为所述像素点与相邻像素点的灰度差值。

在一些实施例中，所述第一确定模块102，用于对所述各像素点与相邻像素点的灰度差值进行直方图统计，得到第二统计结果；根据所述第二统计结果，确定灰度差值阈值；将大于所述灰度差值阈值的各灰度差值的均值确定为所述第二子清晰度。

在一些实施例中，所述二维图像包括根据所述预设焦距采集的多张二维图像；所述第一确定模块102，用于针对所述多张二维图像中的每一像素点，将位于同一位置的像素点的灰度值的均值确定为所述像素点的目标灰度值；根据所述各像素点的目标灰度值，确定所述第一清晰度。

在一些实施例中，所述第一确定模块102，用于根据所述二维图像的预设中心区域中各像素点的像素值，确定所述第一清晰度。

在一些实施例中，所述第二确定模块103，用于根据所述深度图像中各像素点的深度值，确定所述像素点与相邻像素点的深度差值；针对所述深度图像中的每一像素点，在所述像素点与相邻像素点的深度差值大于预设深度差值阈值的情况下，将所述像素点确定为目标飞点；将所述目标飞点的总数确定为所述第二清晰度；其中，所述目标飞点的总数与所述深度图像的清晰程度负相关。

在一些实施例中，所述深度图像包括根据所述预设焦距采集的多张深度图像；所述第二确定模块103，用于针对所述多张深度图像中的每一像素点，根据位于同一位置的像素点的深度值，确定所述像素点的目标深度值；根据所述各像素点的目标深度值，确定所述第二清晰度。

在一些实施例中，所述预设清晰度要求包括第一清晰度标准值、第二清晰度标准值；所述第三确定模块104，用于在所述第一清晰度与所述第一清晰度标准值的比值大于第一预设比值、且所述第二清晰度与所述第二清晰度标准值的比值小于第二预设比值的情况下，将所述预设焦距确定为所述目标焦距。

图7为本公开实施例中计算机设备的一种硬件实体示意图，如图7所示，该计算机设备800的硬件实体包括：处理器801、通信接口802和存储器803，其中：处理器801通常控制计算机设备800的总体操作。通信接口802可以使计算机设备通过网络与其他终端或服务器通信。

存储器803配置为存储由处理器801可执行的指令和应用，还可以缓存待处理器801以及计算机设备800中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory，RAM)实现。处理器801、通信接口802和存储器803之间可以通过总线804进行数据传输。其中，处理器801用于执行上述方法中的部分或全部步骤。

对应地，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述方法中的部分或全部步骤。

这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本公开存储介质和设备实施例中未披露的技术细节，请参照本公开方法实施例的描述而理解。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本公开的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本公开的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。上述本公开实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本公开所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本公开各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本公开上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。根据这样的理解，本公开的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本公开各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本公开的实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种成像设备的调焦方法，其特征在于，所述方法包括：

获取成像设备根据预设焦距采集的二维图像和深度图像；

根据所述二维图像中各像素点的像素值，确定所述二维图像的第一清晰度；

根据所述深度图像中各像素点的深度值，确定所述深度图像的第二清晰度；

在所述第一清晰度和所述第二清晰度满足预设清晰度要求的情况下，将所述预设焦距确定为目标焦距；其中，所述目标焦距用于所述成像设备根据所述目标焦距成像。

2.根据权利要求1所述的方法，其特征在于，所述第一清晰度包括第一子清晰度、第二子清晰度；所述根据所述二维图像中各像素点的像素值，确定所述二维图像的第一清晰度，包括：

根据所述二维图像中各像素点的灰度值，确定所述各像素点的灰度梯度，以及所述各像素点与相邻像素点的灰度差值；

根据所述各像素点的灰度梯度，确定所述第一子清晰度；

根据所述各像素点与相邻像素点的灰度差值，确定所述第二子清晰度。

3.根据权利要求2所述的方法，其特征在于，所述根据所述各像素点的灰度梯度，确定所述第一子清晰度，包括：

对所述各像素点的灰度梯度进行直方图统计，得到第一统计结果；

根据所述第一统计结果，确定灰度梯度阈值；

将大于所述灰度梯度阈值的灰度梯度的均值确定为所述第一子清晰度。

4.根据权利要求2所述的方法，其特征在于，所述根据所述二维图像中各像素点的灰度值，确定所述各像素点与相邻像素点的灰度差值，包括：

针对所述二维图像中的每一像素点，确定所述像素点与预设邻域内的各像素点的灰度差值；

将各灰度差值的平方和确定为所述像素点与相邻像素点的灰度差值。

5.根据权利要求2所述的方法，其特征在于，所述根据所述各像素点与相邻像素点的灰度差值，确定所述第二子清晰度，包括：

对所述各像素点与相邻像素点的灰度差值进行直方图统计，得到第二统计结果；

根据所述第二统计结果，确定灰度差值阈值；

将大于所述灰度差值阈值的各灰度差值的均值确定为所述第二子清晰度。

6.根据权利要求1所述的方法，其特征在于，所述二维图像包括根据所述预设焦距采集的多张二维图像；所述根据所述二维图像中各像素点的像素值，确定所述二维图像的第一清晰度，包括：

针对所述多张二维图像中的每一像素点，将位于同一位置的像素点的灰度值的均值确定为所述像素点的目标灰度值；

根据所述各像素点的目标灰度值，确定所述第一清晰度。

7.根据权利要求1所述的方法，其特征在于，所述根据所述二维图像中各像素点的像素值，确定所述二维图像的第一清晰度，包括：

根据所述二维图像的预设中心区域中各像素点的像素值，确定所述第一清晰度。

8.根据权利要求1所述的方法，其特征在于，所述根据所述深度图像中各像素点的深度值，确定所述深度图像的第二清晰度，包括：

根据所述深度图像中各像素点的深度值，确定所述像素点与相邻像素点的深度差值；

针对所述深度图像中的每一像素点，在所述像素点与相邻像素点的深度差值大于预设深度差值阈值的情况下，将所述像素点确定为目标飞点；将所述目标飞点的总数确定为所述第二清晰度；其中，所述目标飞点的总数与所述深度图像的清晰程度负相关。

9.根据权利要求1所述的方法，其特征在于，所述深度图像包括根据所述预设焦距采集的多张深度图像；所述根据所述深度图像中各像素点的深度值，确定所述深度图像的第二清晰度，包括：

针对所述多张深度图像中的每一像素点，根据位于同一位置的像素点的深度值，确定所述像素点的目标深度值；

根据所述各像素点的目标深度值，确定所述第二清晰度。

10.根据权利要求1所述的方法，其特征在于，所述预设清晰度要求包括第一清晰度标准值、第二清晰度标准值；所述在所述第一清晰度和所述第二清晰度满足预设清晰度要求的情况下，将所述预设焦距确定为目标焦距，包括：

在所述第一清晰度与所述第一清晰度标准值的比值大于第一预设比值、且所述第二清晰度与所述第二清晰度标准值的比值小于第二预设比值的情况下，将所述预设焦距确定为所述目标焦距。

11.一种成像设备的调焦装置，其特征在于，所述装置包括：

获取模块，用于获取成像设备根据预设焦距采集的二维图像和深度图像；

第一确定模块，用于根据所述二维图像中各像素点的像素值，确定所述二维图像的第一清晰度；

第二确定模块，用于根据所述深度图像中各像素点的深度值，确定所述深度图像的第二清晰度；

第三确定模块，用于在所述第一清晰度和所述第二清晰度满足预设清晰度要求的情况下，将所述预设焦距确定为目标焦距；其中，所述目标焦距用于所述成像设备根据所述目标焦距成像。

12.一种计算机设备，其特征在于，包括：处理器；用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行如权利要求1至10中任一项所述的方法。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法。

Images