CN114283141A - 用于评估深度图像质量的方法、装置、电子设备和介质 - Google Patents

Abstract

提供一种用于评估深度图像质量的方法、装置、电子设备和存储介质。该用于评估深度图像质量的方法包括：使用深度采集设备采集分别用于多个模组的多个深度图像，其中，所述多个模组具有不同表面深度特征；对于所述多个深度图像中的每个深度图像，提取该深度图像的深度图像特征；以及基于所提取的多个深度图像特征中的至少一项，确定用于所述深度采集设备的深度图像质量评估结果。

Description

用于评估深度图像质量的方法、装置、电子设备和介质

技术领域

本公开涉及深度图像处理技术领域，尤其涉及一种用于评估深度图像质量的方法、装置、电子设备和存储介质。

背景技术

随着3D信息的大量应用，深度获取技术得到越来越广泛的关注。在深度获取技术中，深度值的准确性是应用中最为关心的问题之一，因此如何对深度图像的精准度进行评估对于生成高质量的深度图像至关重要。影响深度图像精准度的主要因素分为深度获取算法以及深度采集设备标定的准确度，因此如何评价深度采集设备标定的好坏也是评价深度图像精准度的重要工作之一。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

本公开提供一种用于评估深度图像质量的方法、电子设备和存储介质，以实现有效的深度图像质量评估。

根据本公开的一方面，提供一种用于评估深度图像质量的方法，包括：使用深度采集设备采集分别用于多个模组的多个深度图像，其中，所述多个模组具有不同表面深度特征；对于所述多个深度图像中的每个深度图像，提取该深度图像的深度图像特征；以及基于所提取的多个深度图像特征中的至少一项，确定用于所述深度采集设备的深度图像质量评估结果。

根据本公开的另一方面，提供一种用于评估深度图像质量的装置，包括：深度采集设备，被配置用于使用深度采集设备采集分别用于多个模组的多个深度图像，其中，所述多个模组具有不同表面深度特征；提取单元，被配置用于对于所述多个深度图像中的每个深度图像，提取该深度图像的深度图像特征；以及评估单元，被配置用于基于所提取的多个深度图像特征中的至少一项，确定用于所述深度采集设备的深度图像质量评估结果。

根据本公开的另一方面，提供一种电子设备。该电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中所述存储器存储有计算机程序，所述计算机程序在被所述至少一个处理器执行时实现上述方法。

根据本公开的另一方面，提供一种存储有计算机程序的非瞬时计算机可读存储介质，其中，所述计算机程序在被处理器执行时实现上述方法。

根据本公开的另一方面，提供一种计算机程序产品。该计算机程序产品包括计算机程序，其中，所述计算机程序在被处理器执行时实现上述方法。

根据本公开的实施例，通过使用深度采集设备采集分别用于多个模组的多个深度图像，从多个深度图像中的每个深度图像，提取该深度图像的深度图像特征，基于所提取的多个深度图像特征中的至少一项对深度采集设备的深度图像质量进行评估，从而可以在多种不同的深度图像采集场景下，对所采集的深度图像质量和采集设备的标定质量进行全面、准确的评估。

根据在下文中所描述的实施例，本公开的这些和其它方面将是清楚明白的，并且将参考在下文中所描述的实施例而被阐明。

附图说明

附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。

图1示出了根据本公开的实施例的用于评估深度图像质量的方法的示例性过程流程图；

图2示出了根据本公开的实施例的深度采集设备与被拍摄的模组的位置关系示意图；

图3示出了根据本公开的实施例的采集平面模组深度图像的示意图；

图4示出了根据本公开的实施例的平面模组的深度图像拟合平面的示意图；

图5示出了根据本公开的实施例的凹凸模组的示意图；

图6示出了根据本公开的实施例的棋盘模组的示意图；

图7示出了根据本公开的实施例的半球面模组的示意图；

图8示出了根据本公开的示例性实施例的装置的示例的框图；

图9是示出根据本公开的示例性实施例的电子设备的示例的框图。

具体实施方式

在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。

在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。

发明人经研究发现，在相关技术中，存在一种基于人脸识别应用的深度图像质量评价方法。在此方法中，基于深度感知传感器获取一个或多个测试模具的深度图像。上述测试模具包括为了模仿人脸起伏的形状而设置的平面模具、正弦面模具、折面模具和圆柱面模具。对于任一测试模具，对该测试模具的深度图像进行分析，提取深度图像的特征。根据所有测试模具的深度图像的特征，对深度感知传感器采集的人脸深度图像进行评价。

该相关技术的方法中涉及的模具分别具有以下特征：平面模具为表面起伏误差小于第一预设阈值的模具。正弦面模具为表面呈横向和纵向交错正弦形状的模具。折面模具为表面呈连续直角折面的模具。圆柱面模具为表面呈连续圆柱曲面的模具。

可见，该方法虽然使用了多种测试模具对深度图像质量进行评估，但是只适用于人脸识别的深度图像质量评估，主要强调了在人脸识别中人脸深度图像的精准度评估方法，适用性单一，不具有更广泛的使用场景，无法全面和准确地评估人脸以外的物体的深度图像质量。

为了解决相关技术中的上述问题，本公开提供了一种新的较全面的深度图像质量以及深度采集设备标定质量的评价方法。以下结合附图详细描述本公开的实施例。

图1示出了根据本公开的实施例的用于评估深度图像质量的方法的示例性过程流程图。

如图1所示，在步骤S102中，使用深度采集设备采集分别用于多个模组的多个深度图像，其中，所述多个模组具有不同表面深度特征。

在步骤S104中，对于所述多个深度图像中的每个深度图像，提取该深度图像的深度图像特征。

在步骤S106中，基于所提取的多个深度图像特征中的至少一项，确定用于所述深度采集设备的深度图像质量评估结果。

根据本公开的实施例，可以通过使用深度采集设备采集分别用于多个模组的多个深度图像，从多个深度图像中的每个深度图像，提取该深度图像的深度图像特征，基于所提取的多个深度图像特征中的至少一项对深度采集设备的深度图像质量进行评估，从而可以在多种不同的深度图像采集场景下，对所采集的深度图像质量和采集设备的标定质量进行全面、准确的评估。

以下详细描述方法100的各个步骤。

在步骤S102中使用的多个模组可以包括平面模组、凹凸模组、棋盘模组和半球面模组中的一个或多个。本领域技术人员可以根据实际情况选择上述模组中的一个或多个用于评估深度采集设备采集的深度图像的图像质量。可以利用诸如3D打印等方式得到本公开的方法中使用的模组。

根据一些实施例，多个模组可以包括平面模组，平面模组的表面是平面。针对具有平面表面的平面模组采集的深度图像可以用于从评价重建后平面质量的方面评估深度图像质量和采集设备的标定质量。根据一些实施例，多个模组可以包括凹凸模组，凹凸模组的表面包括存在高度差的多个台阶。针对表面存在高度差的凹凸模组采集的深度图像可以用于从深度值精准程度的方面评估深度图像质量和采集设备的标定质量。根据一些实施例，多个模组可以包括棋盘模组，棋盘模组的表面包括预定尺寸的多个矩形格子。针对表面具有预定格子的棋盘模组采集的深度图像可以用于从水平方向的精准程度方面评估深度图像质量和采集设备的标定质量。根据一些实施例，多个模组可以包括半球面模组，半球面模组的表面包括具有预设曲率的半球面。针对具有预设曲率的半球面模组采集的深度图像可以用于从评价重建后半球面的曲率变化程度方面评估深度图像质量和采集设备的标定质量。

图2示出了根据本公开的实施例的深度采集设备与被拍摄的模组的位置关系示意图。其中，利用深度采集设备202采集模组204的深度图像。图2中示出的是半球形模组的示例。可以理解的是，图2中示出的模组204也可以是方法100中使用的多个模组中的任一模组。

如图2所示，在使用深度采集设备202采集分别用于模组204的深度图像时，可以设置深度采集设备202的光心与被拍摄的模组204的中心共线，并且深度采集设备202与被拍摄的模组204的位置关系保持平行。因此，如图2所示，在设置深度采集设备202与被拍摄的模组204的位置时，深度采集设备202的中轴线与被拍摄的模组204的中轴线共线。上述布置方法操作方便、并且可重复性好，因此可以保证在深度采集设备与不同的被拍摄模组的相对位置不变的情况下，采集不同的被拍摄模组的深度图像，从而保证不同深度图像的采集条件的一致性。

在一些实施例中，可以基于在多个距离下分别采集的多个模组的多组深度图像，分别确定对应于每个距离的深度图像质量评估结果。示例性地，可以把采集距离分为近程，中程和远程。通过分别在三个不同的采集距离下采集多个模组的多组深度图像，并分别提取多组深度图像的一项或多项深度图像特征，可以基于不同距离下采集的这些特征对所采集的深度图像质量和采集设备的标定质量进行评估。本领域技术人员可以根据实际情况设置近程、中程、远程的具体距离。通过这样的方式，本申请所公开的用于评估深度图像质量的方法可以适用于不同距离的使用场景，具有更好的通用性。

在步骤S104中，可以对多个深度图像中的每个深度图像，提取该深度图像的深度图像特征，不同的深度图像可以具有不同的深度图像特征。

在一些被拍摄模组是平面模组的实施例中，提取平面模组的深度图像的深度图像特征是在深度图像的有效图像区域内进行的，深度图像的有效图像区域是平面模组的深度图像中具有预定尺寸的感兴趣区域。例如，感兴趣区域可以以深度图像的中心为中心的矩形，并且感兴趣区域的长、宽可以被设置为深度图像的长、宽的一部分，如70％。又例如，感兴趣区域也可以是以深度图像的中心为中心的圆形、椭圆形或其他图形。本领域技术人员可以根据实际情况确定感兴趣区域的尺寸。通过选取有效图像区域的方式，可以灵活地在平面模组的特定区域内采集深度图像特征，有助于对感兴趣区域进行评估，并且可以通过对像素深度值误差进行统计以减小随机性误差。

在一些实施例中，当被拍摄的模组是平面模组时，提取的平面模组深度图像的深度图像特征可以是有效图像区域内的以下平面图像特征中的至少一项：绝对误差、无效深度值比率、异常深度值比率和拟合平面平整度。

根据一些实施例，平面图像特征可以是绝对误差，绝对误差指示基于用于平面模组的深度图像确定的测量深度值与平面模组的真实深度值的偏差，绝对误差可以直观地反映平面模组的表面的测量深度值与真实深度值的偏差大小。

根据一些实施例，平面图像特征可以是无效深度值比率，无效深度值比率指示用于平面模组的深度图像中测量深度值为无效值的像素所占比率。在深度采集设备输出的深度图像中，当测量深度值大于预定的无效值阈值时，输出的深度图像中的测量值将被确定为无效值(如0)。无效深度值比率可以反映具有大于无效值阈值的测量深度值与真实深度值之间的偏差的像素的比率，当这个比率越大时，具有大于无效值阈值的偏差的像素越多，深度图像质量越差。

根据一些实施例，平面图像特征可以是异常深度值比率，异常深度值比率指示平面模组的深度图像中测量深度值与真实深度值之间的误差大于预定误差阈值的像素所占比率。异常深度值比率以反映具有大于预定误差阈值的测量深度值与真实深度值之间的偏差的像素的比率，当这个比率越大时，具有大于预定误差阈值的偏差的像素越多，深度图像质量越差。

根据一些实施例，平面图像特征可以是拟合平面平整度，拟合平面平整度指示平面模组的深度图像中测量深度值与其拟合出的平面上的对应深度值之间的偏差小于平整度阈值的像素所占比。当拟合平面平整度的值越大时，基于测量深度值的拟合平面的平整度越好，测量深度值与拟合平面上的深度值越接近。

在另一些实施例中，当被拍摄的模组是凹凸模组时，提取的凹凸模组深度图像的深度图像特征可以包括获取凹凸模组的以下深度精度图像特征：深度偏差特征。该深度偏差特征指示凹凸模组表面的台阶之间的高度差的测量精度。基于深度偏差特征，凹凸模组可以用于从深度值精准程度的方面评估深度图像质量和采集设备的标定质量。

在另一些实施例中，当被拍摄的模组是棋盘模组时，提取的棋盘模组深度图像的深度图像特征可以包括获取棋盘模组的以下平面精度图像特征：平面偏差特征，该平面偏差特征指示所述棋盘模组表面的至少一个矩形格子的宽度偏差和高度偏差。基于平面偏差特征，棋盘模组可以用于从水平方向的精准程度方面评估深度图像质量和采集设备的标定质量。

在另一些实施例中，当被拍摄的模组是半球面模组时，提取的半球面模组深度图像的深度图像特征可以包括获取半球面模组的以下深度精度图像特征：深度采集设备的标定偏差特征。标定偏差特征可以基于三维曲面的拟合精度对深度采集设备的标定质量进行评估。

图3示出了根据本公开的实施例的采集平面模组深度图像的示意图。

如图3所示，深度采集设备302被用于采集用于平面模组304的深度图像。标记306所指的区域为有效图像区域306，有效图像区域306内的点P1和P2为平面模组上的点，有效图像区域306上方的点P1’和下方的点P2’为深度采集设备302采集的深度图像中的像素点的测量深度值的对应位置点。其中P1’和P2’分别对应平面模组上点P1和P2，可见深度图像中的像素点的测量深度值可能大于或小于该像素点的真实深度值。

以下描述获取平面模组的绝对误差的方法，该方法包括：在有效图像区域内，统计所有像素的测量深度值与真实深度值的差值的平均值或中值。该绝对误差用于在已知被拍摄的平面模组的真实深度距离时，统计经过深度采集设备的深度算法计算的测量深度值与真实深度值之间的绝对误差。以图3为例，平面模组上的点P1的真实深度值为Zt，点P1对应的深度图像中的像素点P1’的测量深度值为Zc，点P1与点P1’之间的深度值绝对误差为：Zd＝|Zt-Zc|。对于有效图像区域306内所有的点都进行上述绝对误差的计算，并求出所有绝对误差的中值Zd_mid或平均值

以得到上述平面图像特征中的绝对误差。

以下描述获取平面模组的无效深度值比率的方法，该方法包括：对于有效图像区域内的每个像素，当该像素的测量深度值与该像素的真实深度值的偏差大于预定的无效值阈值时，将该像素的测量深度值置为无效值，以及确定有效图像区域内测量深度值为无效值的像素数和有效图像区域内总像素数的比值作为无效深度值比率。

以图3为例，在有效图像区域306内，平面模组上的点P1的真实深度值为Zt，点P1对应的深度图像中的像素点P1’的测量深度值为Zc，点P1与点P1’之间的深度值绝对误差为：Zd＝|Zt-Zc|。然后将Zd与预设的无效值阈值比较，当Zd大于预设的无效值阈值时，将P1’的测量深度值置为无效值。在一些示例中，无效值可以为零。在一些示例中，无效值可以为一个接近零的数。本领域技术人员可以根据实际情况将无效值确定为任何合适的值。对有效图像区域306内所有的深度图像像素点都进行上述确定是否置为无效值的计算，然后统计有效图像区域306内测量深度值为无效值的像素数。将测量深度值为无效值的像素数与有效图像区域306内的总像素数的比值作为平面模组的无效深度值比率R_无效。计算公式如下式(1)，

其中，N_无效表示有效图像区域306内测量深度值被置为无效值的像素点的个数，N_total表示有效图像区域306内像素点的总个数。当深度图像像素点被置为无效值时，说明该像素点的测量深度值与真实深度值偏差很大。深度图像中的无效深度值比率越大，深度图像的质量就越差。

以下描述获取平面模组的异常深度值比率的方法，该方法包括：对于有效图像区域内的每个像素，当该像素的测量深度值与该像素的真实深度值的偏差大于预定误差阈值时，将测量深度值置为异常深度值，以及确定有效图像区域内测量深度值为异常深度值的像素数和有效图像区域内总像素数的比值作为异常深度值比率。

以图3为例，在有效图像区域306内，平面模组上的点P1的真实深度值为Zt，点P1对应的深度图像中的像素点P1’的测量深度值为Zc，点P1与点P1’之间的深度值绝对误差为：Zd＝|Zt-Zc|。然后将Zd与预设的预定误差阈值比较，当Zd大于预设的预定误差阈值时，将P1’的测量深度值置为异常深度值。对有效图像区域306内所有的深度图像像素点都进行上述确定是否置为异常深度值的计算，然后统计有效图像区域306内测量深度值为异常深度值的像素数。对测量深度值为异常深度值的像素数与有效图像区域306内的总像素数的比值作为平面模组的异常深度值比率。计算公式如下式(2)，

其中，N_异常表示有效图像区域306内测量深度值被置为无异常深度值的像素点的个数，N_total表示有效图像区域306内像素点的总个数。当深度图像像素点被置为无异常深度值时，说明该像素点的测量深度值与真实深度值偏差较大，因此异常深度值比率越大，深度图像的质量就越差。

图4示出了根据本公开的实施例的平面模组的深度图像拟合平面的示意图。

以下描述获取平面模组的拟合平面平整度的方法，该方法包括：对有效图像区域内的像素的测量深度值进行平面拟合，以得到拟合平面，以及确定有效图像区域内测量深度值与拟合平面上的对应深度值之间的偏差小于平整度阈值的像素数和有效图像区域内总像素数的比值作为拟合平面平整度。

以图4为例，在有效图像区域306内，平面模组304上的点P1对应的深度图像中的像素点P1’的测量深度值为Zc，标记308所指的平面是由有效图像区域306内的像素的测量深度值进行平面拟合所得到的拟合平面，拟合平面308上的像素点P1”对应于深度图像中的像素点P1’，P1”的深度值为Z_fit。将Z_fit与Zc的差值的绝对值与平整度阈值比较，平整度阈值为允许的拟合平面深度值与深度采集的测量深度值的偏差值，如果Z_fit与Zc的差值的绝对值小于平整度阈值，有效图像区域306内的该像素将被进一步用于计算拟合平面平整度。统计有效图像区域306内所有Z_fit与Zc的差值的绝对值小于平整度阈值的像素数，将该像素数与有效图像区域内总像素数的比值作为平面模组的拟合平面平整度。计算公式如下式(3)，

其中，N_fit表示有效图像区域306内所有Z_fit与Zc的差值的绝对值小于平整度阈值的像素数，N_total表示有效图像区域306内像素点的总个数。当基于式(3)确定的拟合平面平整度越大时，说明深度图像中的像素点与其拟合出来的拟合平面之间的偏差越小，拟合平面的平整度越好。

根据一些实施例，可以使用主成分分析算法对有效图像区域内的像素的测量深度值进行平面拟合，以得到拟合平面。其中，先基于式(5)对深度图像中的深度数据矩阵进行分解：

[U S V]＝svd(D) (4)

其中，D为深度图像中的深度数据矩阵，S为对应的奇异值矩阵，U和V分别是由D分解所得的特征向量，特征向量U和V可以体现深度数据矩阵D中绝大部分数据的共性，共性所占比例的多少取决于奇异值矩阵S中的奇异值的大小，奇异值越大，对应向量对深度数据矩阵D的共性就越大。然后获取拟合平面的法向量，拟合平面的法向量为奇异值矩阵S中最小特征值对应的特征向量，获取到该法向量后可以得出拟合平面。用主成分分析算法直接利用了采集的深度图像中的深度数据获取拟合平面，从而充分利用了这些深度数据。

返回参考图1，在步骤S106中，基于所提取的多个深度图像特征中的至少一项，确定用于深度采集设备的深度图像质量评估结果。其中多个深度图像特征可以包括平面模组深度图像的深度图像特征、凹凸模组深度图像的深度图像特征、棋盘模组深度图像的深度图像特征和半球面模组深度图像的深度图像特征。

在一些实施例中，当被拍摄的模组是平面模组时，基于所提取的多个深度图像特征中的至少一项，确定用于深度采集设备的深度图像质量评估结果可以包括：响应于平面图像特征满足以下至少一项，确定深度图像质量评估结果符合平面质量要求：绝对误差小于绝对误差阈值；无效深度值比率小于无效比率阈值；异常深度值比率小于异常比率阈值；以及拟合平面平整度大于平整度阈值。通过上述方式提供了多种评估平面模组的深度图像质量的标准，这些标准可以单独或以组合的方式被使用，从而使得对平面模组的深度图像质量的评估更加全面和准确。

在一些实施例中，凹凸模组的表面可以包括存在高度差的多个平面形成的多个台阶。各个台阶之间的高度差可以是相同的，也可以是不同的。示例性的凹凸模组如图5所示，其由同一平面内由高度差为固定值(a)mm的一系列不同高度的台阶构成，例如第一个台阶高度为(b)mm，第二个台阶高度为(b+a)mm，第三个台阶高度为(b+2a)mm，以此类推。如图5所示，示例性的凹凸模组包括不同高度的台阶，图中每一个方格的大小相同，表示凹凸模组中每一个台阶的横截面尺寸相同，数字1-49代表台阶的序号，其中且1，26-49共25个方格的高度一致为(b)mm，主要用于平面校正，不用于精度的计算。其余的台阶随着序号的递增依次递增(a)mm，即序号2的台阶高度为(b+a)mm，序号3的台阶高度为(b+2a)mm……序号25的台阶高度为(b+24a)mm。本领域技术人员可以根据实际情况确定a、b的数值。

获取凹凸模组的深度偏差特征的方法包括：基于用于凹凸模组的深度图像确定对应于凹凸模组表面的多个台阶中多个台阶测量深度值，基于多个台阶的台阶真实深度值确定凹凸模组中不同台阶之间的预定高度差，基于多个台阶的台阶测量深度值确定凹凸模组的深度图像中符合预定高度差的测量台阶差个数，将测量台阶差个数与多个台阶中真实台阶差个数的比值确定为深度偏差特征。凹凸模组的深度偏差特征可以用于确定深度采集设备能够识别的深度差的精度。在一些示例中，凹凸模组的深度偏差特征可以用于在近距离情况下确定深度采集设备能够识别的最小深度差。

以下结合图5进一步描述获取凹凸模组的深度偏差特征的方法。

在一些实施例中，需要确定深度采集装置在距离d下采集的深度图像能否满足深度方向偏差为(a)mm的精度要求。首先基于用于凹凸模组的深度图像确定对应于该凹凸模组表面的多个台阶中多个台阶的测量深度值，从而获得序号1-49的台阶的测量深度值。基于多个台阶的台阶真实深度值确定凹凸模组中不同台阶之间的预定高度差，例如，在图5的凹凸模组中共有24个台阶高度差(a)mm，因此将此时的真实台阶差个数M_total记为24。基于多个台阶的台阶测量深度值确定凹凸模组的深度图像中符合预定高度差的测量台阶差个数，以得到台阶高度差为(a)mm的实际测量台阶差个数M。将测量台阶差个数与多个台阶中真实台阶差个数的比值确定为深度偏差特征，深度偏差特征的计算公式如下式(5)，

其中，M为台阶高度差(a)mm的测量台阶差个数，M_total为台阶高度差(a)mm的真实台阶差个数。

在一些实施例中，当被拍摄的模组是凹凸模组时，基于所提取的多个深度图像特征中的至少一项，确定用于深度采集设备的深度图像质量评估结果包括，响应于深度偏差特征大于深度偏差阈值，确定深度图像质量评估结果符合深度精度质量要求。示例性的深度偏差阈值可以为1，此时当深度偏差特征等于1时，可以认为深度采集装置在距离d下满足(a)mm精度要求，否则，认为不满足该精度要求。可以理解的是，本领域技术人员也可以根据实际情况将深度偏差阈值确定为合适的值。

在一些实施例中，可以使用该凹凸模组确定该深度采集装置满足不同的精度要求。在一些示例中，确定在不同于d的距离下该深度采集装置满足(a)mm精度要求。在一些示例中，确定在d的距离下该深度采集装置满足a的整数倍(例如(2a)mm)精度要求，比如凹凸模组中共有23个(2a)mm的台阶高度差(台阶1和台阶3，台阶2和台阶4……台阶23和台阶25)。在一些示例中，确定在不同于d的距离下该深度采集装置满足a的整数倍(例如(2a)mm)精度要求。类似地，也可以利用该凹凸模组对其他数量的精度要求进行评估。

图6示出了根据本公开的实施例的棋盘模组的示意图。

如图6所示，棋盘模组由同一个平面上的多个尺寸相同的矩形格子组成，其中矩形格子的大小宽W、高H是根据拍摄距离d而设计的，水平方向相邻格子之间的实际距离为W，垂直方向相邻格子之间的实际间距为H。

获取棋盘模组的平面偏差特征的方法包括：基于对应于棋盘模组的深度图像获取多个矩形格子的角点坐标，以及基于角点坐标、角点处的测量深度值以及深度采集设备的内参，确定棋盘模组中的矩形格子的平均宽度偏差和平均高度偏差，平均宽度偏差ΔX的计算公式如下式(6)：

平均高度偏差ΔY的计算公式如下式(7)：

其中，n_hor、n_ver分别为采集的深度图像水平、垂直方向的角点个数，fx、fy分别为深度采集设备水平、垂直方向的内参，(v₀,u₀)为深度采集设备的主点坐标，(v₁,u₁)、(v₂,u₂)……(v_n,u_n)分别为从棋盘模组的深度图像中提取到的每一个角点的像素坐标，n为角点数量，Z_v，u为深度采集装置采集的深度图像中角点像素坐标(v,u)处的深度值。W为矩形格子的水平间距，H为矩形格子的垂直间距。棋盘模组的平面偏差特征用于统计深度图像在水平方向和垂直方向的偏差值。

在一些实施例中，棋盘模组表面的矩形格子可以通过不同的颜色来区分。如图6中所示出的，棋盘模组的表面可以设置有黑白相间的矩形格子。在其他实施例中，也可以利用任何其他合适的方式对棋盘模组表面的矩形格子进行区分。

在一些实施例中，当被拍摄的模组是棋盘模组时，基于所提取的多个深度图像特征中的至少一项，确定用于深度采集设备的深度图像质量评估结果包括，响应于平面偏差特征小于平面偏差阈值，确定深度图像质量评估结果符合平面精度质量要求。例如设置矩形格子的宽度偏差阈值和高度偏差阈值，当棋盘模组的平均宽度偏差和平均高度偏差有一项小于对应的偏差阈值，或同时小于对应的偏差阈值时，确定深度图像质量评估结果符合平面精度质量要求。

图7示出了根据本公开的实施例的半球面模组的示意图。

如图7所示，根据半球面模组的主视图和左视图可以看出，半球面模组由一个具有已知半径R的半球面和支撑半球面的正方形基板组成。根据半球面的已知半径R，以确定半球面的预设曲率ρ＝1/R。

获取深度采集设备的标定偏差特征的方法包括：基于对应于半球面模组的深度图像确定对应于半球面模组的点云图像。可以对点云图像进行拟合以获得对应于半球面的拟合半球面来确定拟合半球面的拟合曲率ρ’。基于拟合曲率ρ’和预设曲率ρ之间的偏差可以确定标定偏差特征。深度采集设备的标定偏差特征可以用于基于三维重构方法对深度图像质量以及深度采集设备的整体效果进行评估。

在一些实施例中，在对半球面模组进行深度采集时，深度采集装置的光心可以垂直穿过半球面模组的球心。

在一些实施例中，半球面模组的半球面曲率的拟合精度要根据拍摄距离进行变换，对于不同的拍摄距离，有着不同的精度需求。

在一些实施例中，当被拍摄的模组是半球面模组时，基于所提取的多个深度图像特征中的至少一项，确定用于深度采集设备的深度图像质量评估结果包括，响应于所述标定偏差特征小于标定偏差阈值，确定所述深度图像质量评估结果符合标定质量要求。例如可以设置允许的半球面曲率偏差百分比阈值，当拟合曲率ρ’和预设曲率ρ之间的偏差小于该曲率偏差百分比阈值时，确定该深度采集设备满足标定精度要求，反之，则确定不满足要求。

根据本公开的另一方面，还提供一种用于评估深度图像质量的装置，包括，深度采集设备810，被配置用于使用深度采集设备采集分别用于多个模组的多个深度图像，其中，所述多个模组具有不同表面深度特征；提取单元820，被配置用于对于所述多个深度图像中的每个深度图像，提取该深度图像的深度图像特征；以及评估单元830，被配置用于基于所提取的多个深度图像特征中的至少一项，确定用于所述深度采集设备的深度图像质量评估结果。

可以利用图8中示出的装置800来实现图1中示出的方法步骤S102～S104，在此不再加以赘述。

根据本公开的另一方面，提供一种电子设备。该电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中所述存储器存储有计算机程序，所述计算机程序在被所述至少一个处理器执行时实现上述方法。

根据本公开的另一方面，提供一种存储有计算机程序的非瞬时计算机可读存储介质，其中，所述计算机程序在被处理器执行时实现上述方法。

根据本公开的另一方面，提供一种计算机程序产品。该计算机程序产品包括计算机程序，其中，所述计算机程序在被处理器执行时实现上述方法。

参见图9，现将描述电子设备900，其是可以应用于本公开的各方面的硬件设备(电子设备)的示例。电子设备900可以是被配置为执行处理和/或计算的任何机器，可以是但不限于工作站、服务器、台式计算机、膝上型计算机、平板计算机、个人数字助理、机器人、智能电话、车载计算机或其任何组合。上述图像处理方法100以及用于标定响应曲线的方法300可以全部或至少部分地由电子设备900或类似设备或系统实现。

电子设备900可以包括(可能经由一个或多个接口)与总线902连接或与总线902通信的元件。例如，电子设备900可以包括总线902、一个或多个处理器904、一个或多个输入设备906以及一个或多个输出设备908。一个或多个处理器904可以是任何类型的处理器，并且可以包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(例如特殊处理芯片)。输入设备906可以是能向电子设备900输入信息的任何类型的设备，并且可以包括但不限于鼠标、键盘、触摸屏、麦克风和/或遥控器。输出设备908可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。电子设备900还可以包括非暂时性存储设备910，非暂时性存储设备可以是非暂时性的并且可以实现数据存储的任何存储设备，包括但不限于磁盘驱动器、光学存储设备、固态存储器、软盘、柔性盘、硬盘、磁带或任何其他磁介质，光盘或任何其他光学介质、ROM(只读存储器)、RAM(随机存取存储器)、高速缓冲存储器和/或任何其他存储器芯片或盒、和/或计算机可从其读取数据、指令和/或代码的任何其他介质。非暂时性存储设备910可以从接口拆卸。非暂时性存储设备910可以具有用于实现上述方法和步骤的数据/程序(包括指令)/代码。电子设备900还可以包括通信设备912。通信设备912可以是使得能够与外部设备和/或与网络通信的任何类型的设备或系统，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信设备和/或芯片组，例如蓝牙^TM设备、802.11设备、Wi-Fi设备、Wi-Max设备、蜂窝通信设备和/或类似物。

电子设备900还可以包括工作存储器914，其可以是可以存储对处理器904的工作有用的程序(包括指令)和/或数据的任何类型的工作存储器，并且可以包括但不限于随机存取存储器和/或只读存储器设备。

软件要素(程序)可以位于工作存储器914中，包括但不限于操作系统916、一个或多个应用程序918、驱动程序和/或其他数据和代码。用于执行上述方法和步骤的指令可以被包括在一个或多个应用程序918中，并且上述图像处理方法100以及用于标定响应曲线的方法300可以通过由处理器904读取和执行一个或多个应用程序918的指令来实现。更具体地，上述图像处理方法100中，步骤S102-S108可以例如通过处理器904执行具有步骤S102-S108的指令的应用程序918而实现。上述用于标定响应曲线的方法300中，步骤S302-S310可以例如通过处理器904执行具有步骤S302-S310的指令的应用程序918而实现。此外，上述图像处理方法100以及用于标定响应曲线的方法300中的其它步骤可以例如通过处理器904执行具有执行相应步骤中的指令的应用程序918而实现。软件要素(程序)的指令的可执行代码或源代码可以存储在非暂时性计算机可读存储介质(例如上述存储设备910)中，并且在执行时可以被存入工作存储器914中(可能被编译和/或安装)。软件要素(程序)的指令的可执行代码或源代码也可以从远程位置下载。

还应该理解，可以根据具体要求而进行各种变型。例如，也可以使用定制硬件，和/或可以用硬件、软件、固件、中间件、微代码，硬件描述语言或其任何组合来实现特定元件。例如，所公开的方法和设备中的一些或全部可以通过使用根据本公开的逻辑和算法，用汇编语言或硬件编程语言(诸如VERILOG，VHDL，C++)对硬件(例如，包括现场可编程门阵列(FPGA)和/或可编程逻辑阵列(PLA)的可编程逻辑电路)进行编程来实现。

还应该理解，前述方法可以通过服务器-客户端模式来实现。例如，客户端可以接收用户输入的数据并将所述数据发送到服务器。客户端也可以接收用户输入的数据，进行前述方法中的一部分处理，并将处理所得到的数据发送到服务器。服务器可以接收来自客户端的数据，并且执行前述方法或前述方法中的另一部分，并将执行结果返回给客户端。客户端可以从服务器接收到方法的执行结果，并例如可以通过输出设备呈现给用户。

还应该理解，电子设备900的组件可以分布在网络上。例如，可以使用一个处理器执行一些处理，而同时可以由远离该一个处理器的另一个处理器执行其他处理。计算系统900的其他组件也可以类似地分布。这样，电子设备900可以被解释为在多个位置执行处理的分布式计算系统。

以下描述本公开的一些示例性方面。

方面1.一种用于评估深度图像质量的方法，包括：

使用深度采集设备采集分别用于多个模组的多个深度图像，其中，所述多个模组具有不同表面深度特征；

对于所述多个深度图像中的每个深度图像，提取该深度图像的深度图像特征；以及

基于所提取的多个深度图像特征中的至少一项，确定用于所述深度采集设备的深度图像质量评估结果。

方面2.如方面1所述的方法，其中，所述多个模组包括平面模组，所述平面模组的表面是平面。

方面3.如方面2所述的方法，其中，所述提取该深度图像的深度图像特征包括获取用于所述平面模组的深度图像的有效图像区域内的以下平面图像特征中的至少一项：

绝对误差，所述绝对误差指示基于用于所述平面模组的深度图像确定的测量深度值与所述平面模组的真实深度值的偏差；

无效深度值比率，所述无效深度值比率指示用于所述平面模组的深度图像中测量深度值为无效值的像素所占比率；

异常深度值比率，所述异常深度值比率指示所述平面模组的深度图像中测量深度值与真实深度值之间的误差大于预定误差阈值的像素所占比率；以及

拟合平面平整度，所述拟合平面平整度指示所述平面模组的深度图像中测量深度值与其拟合出的平面上的对应深度值之间的偏差小于平整度阈值的像素所占比。

方面4.如方面3所述的方法，其中，用于所述平面模组的深度图像的有效图像区域是所述平面模组的深度图像中具有预定尺寸的感兴趣区域。

方面5.如方面3所述的方法，其中，获取所述平面模组的绝对误差包括：

在所述有效图像区域内，统计所有像素的测量深度值与真实深度值的差值的平均值或中值。

方面6.如方面3所述的方法，其中，获取所述平面模组的无效深度值比率包括：

对于所述有效图像区域内的每个像素，当该像素的测量深度值与该像素的真实深度值的偏差大于预定的无效值阈值时，将该像素的测量深度值置为无效值；以及

确定所述有效图像区域内测量深度值为无效值的像素数和所述有效图像区域内总像素数的比值作为所述无效深度值比率。

方面7.如方面3所述的方法，其中，获取所述平面模组的异常深度值比率包括：

对于所述有效图像区域内的每个像素，当该像素的测量深度值与该像素的真实深度值的偏差大于所述预定误差阈值，将所述测量深度值置为异常深度值；以及

确定所述有效图像区域内测量深度值为异常深度值的像素数和所述有效图像区域内总像素数的比值作为所述异常深度值比率。

方面8.如方面3所述的方法，其中，获取所述平面模组的拟合平面平整度包括：

对所述有效图像区域内的像素的测量深度值进行平面拟合，以得到拟合平面；以及

确定所述有效图像区域内测量深度值与所述拟合平面上的对应深度值之间的偏差小于平整度阈值的像素数和所述有效图像区域内总像素数的比值作为所述拟合平面平整度。

方面9.如方面8所述的方法，其中对所述有效图像区域内的像素的测量深度值进行平面拟合包括，使用主成分分析算法对所述有效图像区域内的像素的测量深度值进行平面拟合。

方面10.如方面3-9中任一项所述的方法，其中，基于所提取的多个深度图像特征中的至少一项，确定用于所述深度采集设备的深度图像质量评估结果包括：

响应于所述平面图像特征满足以下至少一项，确定所述深度图像质量评估结果符合平面质量要求：

所述绝对误差小于绝对误差阈值；

所述无效深度值比率小于无效比率阈值；

所述异常深度值比率小于异常比率阈值；以及

拟合平面平整度大于平整度阈值。

方面11.如方面1-9任一项所述的方法，其中，所述多个模组包括凹凸模组，所述凹凸模组的表面包括存在高度差的多个台阶。

方面12.如方面11所述的方法，其中，所述提取该深度图像的深度图像特征包括获取所述凹凸模组的以下深度精度图像特征：

深度偏差特征，所述深度偏差特征指示所述凹凸模组表面的台阶之间的高度差的测量精度。

方面13.如方面12所述的方法，其中，获取所述凹凸模组的深度偏差特征包括：

基于用于所述凹凸模组的深度图像确定对应于所述凹凸模组表面的多个台阶中多个台阶测量深度值；

基于所述多个台阶的台阶真实深度值确定所述凹凸模组中不同台阶之间的预定高度差；

基于所述多个台阶的台阶测量深度值确定所述凹凸模组的深度图像中符合所述预定高度差的测量台阶差个数；

将所述测量台阶差个数与所述多个台阶中真实台阶差个数的比值确定为所述深度偏差特征。

方面14.如方面12所述的方法，其中，基于所提取的多个深度图像特征中的至少一项，确定用于所述深度采集设备的深度图像质量评估结果包括：

响应于所述深度偏差特征大于深度偏差阈值，确定所述深度图像质量评估结果符合深度精度质量要求。

方面15.如方面1-14中任一项所述的方法，其中，所述多个模组包括棋盘模组，所述棋盘模组的表面包括预定尺寸的多个矩形格子。

方面16.如方面15所述的方法，其中，所述提取该深度图像的深度图像特征包括获取所述棋盘模组的以下平面精度图像特征：

平面偏差特征，所述平面偏差特征指示所述棋盘模组表面的至少一个矩形格子的宽度偏差和高度偏差。

方面17.如方面16所述的方法，其中，获取所述棋盘模组的平面偏差特征包括：

基于对应于所述棋盘模组的深度图像获取所述多个矩形格子的角点坐标；以及

基于所述角点坐标、所述角点处的测量深度值以及所述深度采集设备的内参，确定所述棋盘模组中的矩形格子的平均宽度偏差和平均高度偏差。

方面18.如方面16所述的方法，其中，基于所提取的多个深度图像特征中的至少一项，确定用于所述深度采集设备的深度图像质量评估结果包括：

响应于所述平面偏差特征小于平面偏差阈值，确定所述深度图像质量评估结果符合平面精度质量要求。

方面19.如方面1-18中任一项所述的方法，其中，所述多个模组包括半球面模组，所述半球面模组的表面包括具有预设曲率的半球面。

方面20.如方面19所述的方法，其中，所述提取该深度图像的深度图像特征包括获取所述深度采集设备的标定偏差特征。

方面21.如方面20所述的方法，其中，获取所述深度采集设备的标定偏差特征包括：

基于对应于所述半球面模组的深度图像确定对应于所述半球面模组的点云图像；

对所述点云图像进行拟合以获得对应于所述半球面的拟合半球面；

确定所述拟合半球面的拟合曲率；以及

基于所述拟合曲率和所述预设曲率之间的偏差确定所述标定偏差特征。

方面22.如方面20所述的方法，其中，基于所提取的多个深度图像特征中的至少一项，确定用于所述深度采集设备的深度图像质量评估结果包括：

响应于所述标定偏差特征小于标定偏差阈值，确定所述深度图像质量评估结果符合标定质量要求。

方面23.如方面1所述的方法，其中，在使用深度采集设备采集分别用于多个模组的多个深度图像时，设置所述深度采集设备的光心与被拍摄的模组的中心共线，并且所述深度采集设备与所述被拍摄的模组的位置关系保持平行。

方面24.如方面1所述的方法，其中，基于所提取的多个深度图像特征中的至少一项，确定用于所述深度采集设备的深度图像质量评估结果包括：

基于在多个距离下分别采集的所述多个模组的多组深度图像，分别确定对应于每个距离的深度图像质量评估结果。

方面25.一种用于评估深度图像质量的装置，包括：

深度采集设备，被配置用于使用深度采集设备采集分别用于多个模组的多个深度图像，其中，所述多个模组具有不同表面深度特征；

提取单元，被配置用于对于所述多个深度图像中的每个深度图像，提取该深度图像的深度图像特征；以及

评估单元，被配置用于基于所提取的多个深度图像特征中的至少一项，确定用于所述深度采集设备的深度图像质量评估结果。

方面26.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中

所述存储器存储有计算机程序，所述计算机程序在被所述至少一个处理器执行时实现根据方面1-24中任一项所述的方法。

方面27.一种存储有计算机程序的非瞬时计算机可读存储介质，其中，所述计算机程序在被处理器执行时实现根据方面1-24中任一项所述的方法。

方面28.一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现根据方面1-24中任一项所述的方法。

虽然已经参照附图描述了本公开的实施例或示例，但应理解，上述的方法、系统和设备仅仅是示例性的实施例或示例，本发明的范围并不由这些实施例或示例限制，而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外，可以通过不同于本公开中描述的次序来执行各步骤。进一步地，可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进，在此描述的很多要素可以由本公开之后出现的等同要素进行替换。

Claims (10)

1.一种用于评估深度图像质量的方法，包括：

使用深度采集设备采集分别用于多个模组的多个深度图像，其中，所述多个模组具有不同表面深度特征；

对于所述多个深度图像中的每个深度图像，提取该深度图像的深度图像特征；以及

基于所提取的多个深度图像特征中的至少一项，确定用于所述深度采集设备的深度图像质量评估结果。

2.如权利要求1所述的方法，其中，所述多个模组包括平面模组，所述平面模组的表面是平面。

3.如权利要求2所述的方法，其中，所述提取该深度图像的深度图像特征包括获取用于所述平面模组的深度图像的有效图像区域内的以下平面图像特征中的至少一项：

绝对误差，所述绝对误差指示基于用于所述平面模组的深度图像确定的测量深度值与所述平面模组的真实深度值的偏差；

无效深度值比率，所述无效深度值比率指示用于所述平面模组的深度图像中测量深度值为无效值的像素所占比率；

异常深度值比率，所述异常深度值比率指示所述平面模组的深度图像中测量深度值与真实深度值之间的误差大于预定误差阈值的像素所占比率；以及

拟合平面平整度，所述拟合平面平整度指示所述平面模组的深度图像中测量深度值与其拟合出的平面上的对应深度值之间的偏差小于平整度阈值的像素所占比。

4.如权利要求3所述的方法，其中，用于所述平面模组的深度图像的有效图像区域是所述平面模组的深度图像中具有预定尺寸的感兴趣区域。

5.如权利要求3所述的方法，其中，获取所述平面模组的绝对误差包括：

在所述有效图像区域内，统计所有像素的测量深度值与真实深度值的差值的平均值或中值。

6.如权利要求3所述的方法，其中，获取所述平面模组的无效深度值比率包括：

对于所述有效图像区域内的每个像素，当该像素的测量深度值与该像素的真实深度值的偏差大于预定的无效值阈值时，将该像素的测量深度值置为无效值；以及

确定所述有效图像区域内测量深度值为无效值的像素数和所述有效图像区域内总像素数的比值作为所述无效深度值比率。

7.一种用于评估深度图像质量的装置，包括：

深度采集设备，被配置用于使用深度采集设备采集分别用于多个模组的多个深度图像，其中，所述多个模组具有不同表面深度特征；

提取单元，被配置用于对于所述多个深度图像中的每个深度图像，提取该深度图像的深度图像特征；以及

评估单元，被配置用于基于所提取的多个深度图像特征中的至少一项，确定用于所述深度采集设备的深度图像质量评估结果。

8.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中

所述存储器存储有计算机程序，所述计算机程序在被所述至少一个处理器执行时实现根据权利要求1-6中任一项所述的方法。

9.一种存储有计算机程序的非瞬时计算机可读存储介质，其中，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。

10.一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。

Images