CN112985772B - 深度图检测装置、方法、电子设备和计算机可读存储介质 - Google Patents

深度图检测装置、方法、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN112985772B
CN112985772B CN202110154120.7A CN202110154120A CN112985772B CN 112985772 B CN112985772 B CN 112985772B CN 202110154120 A CN202110154120 A CN 202110154120A CN 112985772 B CN112985772 B CN 112985772B
Authority
CN
China
Prior art keywords
depth map
hollowed
out area
area
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110154120.7A
Other languages
English (en)
Other versions
CN112985772A (zh
Inventor
侯烨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110154120.7A priority Critical patent/CN112985772B/zh
Publication of CN112985772A publication Critical patent/CN112985772A/zh
Application granted granted Critical
Publication of CN112985772B publication Critical patent/CN112985772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02—Testing optical properties

Landscapes

  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请涉及一种深度图检测装置、方法、电子设备和计算机可读存储介质。该深度图检测装置包括测试板、背景板、以及支撑架，其中，测试板与背景板通过支撑架连接，测试板与背景板平行设置，测试板设置有镂空区域。深度图采集设备采集测试板的深度图，获取深度图中镂空区域的第一深度值和非镂空区域的第二深度值，并根据第一深度值和第二深度值，得到深度图采集设备的性能量化结果。在本方法中，可以通过获取深度图采集设备所采集的深度图的深度值，确定深度图采集设备的性能量化结果，替代了现有技术中人为主观进行深度图质量评价的方法，实现了客观、定量地对深度图采集设备的性能进行量化分析，分析结果准确、可靠。

Description

深度图检测装置、方法、电子设备和计算机可读存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种深度图检测方法、装置、电子设备和计算机可读存储介质。
背景技术
面阵TOF技术作为近几年发展迅速的新兴3d视觉技术，具有测量范围广、测量精度高、深度计算方法简单、且对测量场景适应性较好的特点，适合应用于手机、AR眼镜等设备的远距离深度测量、AR应用和环境重建等方面。
TOF相机的硬件结构、发射端光功率、接收端镜头性能、相机模组基线距离及装配工艺、相机底层模式配置和软件算法等因素都会影响其成像性能。现有技术中，对TOF相机生成深度图质量的评价仍停留在主观评价上，即，通过横向对比各家TOF相机生成的深度图定义各家的TOF相机的优劣势。
然而，上述基于主观评价的方法无法给出TOF相机性能的定量评价，且主观评价的标准不一，准确性低。
发明内容
本申请实施例提供了一种深度图检测装置、方法、电子设备、计算机可读存储介质，可以根据深度采集设备采集到的深度图，确定深度采集设备的性能量化分析结果。
第一方面，提供一种深度图检测装置，该装置包括测试板、背景板、以及支撑架；测试板与背景板通过支撑架连接；测试板与背景板平行设置；测试板设置有镂空区域；
通过深度图采集设备采集测试板的深度图，获取深度图中镂空区域的第一深度值和非镂空区域的第二深度值，并根据第一深度值和第二深度值，得到深度图采集设备的性能量化结果。
在其中一个实施例中，测试板的镂空区域包括第一镂空区域和第二镂空区域；
第一镂空区域位于测试板的顶点区域；
第二镂空区域位于测试板的中间区域；第二镂空区域为根据预设的曲线函数确定的区域。
在其中一个实施例中，顶点区域的第一目标点与测试板的第二目标点之间的距离小于预设的第一距离，中间区域的第三目标点与测试板的第二目标点之间的距离小于预设的第二距离。
在其中一个实施例中，测试板中第一镂空区域所形成的规则区域的边长比例与深度图采集设备采集的深度图的边长比例一致。
在其中一个实施例中，测试板和背景板之间的距离根据深度图采集设备的设备参数、测试板的表面反射率、以及背景板的表面反射率确定。
在其中一个实施例中，测试板面向深度图采集设备的第一表面与背景板面向深度图采集设备的第二表面平行。
在其中一个实施例中，第一表面的反射率和第二表面的反射率一致。
在其中一个实施例中，测试板与背景板通过螺栓固定于支撑架中。
第二方面，提供一种深度图检测方法，应用于上述第一方面所提供的深度图检测装置，该方法包括：
通过深度图采集设备采集深度图检测装置中测试板的深度图；
根据深度图，确定深度图中镂空区域的第一深度值和非镂空区域的第二深度值；
根据第一深度值和第二深度值，确定深度图采集设备的性能量化结果。
在其中一个实施例中，上述镂空区域包括第一镂空区域；该方法还包括：
根据第一镂空区域，对测试板的深度图进行透视变换，得到校正深度图；
根据深度图，确定深度图中镂空区域的第一深度值和非镂空区域的第二深度值，包括：
根据校正深度图，确定深度图中镂空区域的第一深度值和非镂空区域的第二深度值。
在其中一个实施例中，上述根据第一镂空区域，对测试板的深度图进行透视变换，得到校正深度图，包括：
获取第一镂空区域的标准尺寸和测试尺寸；
根据标准尺寸和测试尺寸，对测试板的深度图进行透视变换，得到校正深度图。
在其中一个实施例中，上述校正深度图中的第一镂空区域的测试尺寸与标准尺寸一致。
在其中一个实施例中，上述镂空区域包括第二镂空区域；根据第一深度值和第二深度值，确定深度图采集设备的性能量化结果，包括：
计算第二镂空区域中各像素点的第一深度值和第二深度值的差值；第二镂空区域为根据预设的曲线函数确定的区域；
确定差值处于预设差值范围之外的至少一个像素点所在的目标区域；预设差值范围为根据测试板和背景板之间的距离所确定的差值范围；
根据目标区域，确定深度图的横向分辨率和纵向分辨率，得到深度图采集设备的性能量化结果。
在其中一个实施例中，上述第二镂空区域包括横向镂空区域和纵向镂空区域；根据目标区域，确定深度图的分辨率，得到深度图采集设备的性能量化结果，包括：
根据横向镂空区域的第一目标区域，确定第一目标区域中的第一目标点，并根据第一目标点确定深度图的横向分辨率；
根据纵向镂空区域的第二目标区域，确定第二目标区域中的第二目标点，并根据第二目标点确定深度图的纵向分辨率；
根据深度图的横向分辨率和纵向分辨率，确定深度图采集设备的性能量化结果。
在其中一个实施例中，上述第二镂空区域包括多个横向镂空区域和多个纵向镂空区域；上述根据深度图的横向分辨率和纵向分辨率，确定深度图采集设备的性能量化结果，包括：
计算多个横向镂空区域对应的横向分辨率的平均横向分辨率；
计算多个纵向镂空区域对应的横向分辨率的平均纵向分辨率；
根据深度图的平均横向分辨率和平均纵向分辨率，确定深度图采集设备的性能量化结果。
在其中一个实施例中，该方法还包括：
获取第一镂空区域的标准面积和测试面积；
根据第一镂空区域的标准面积和测试面积，确定目标深度图的置信度；置信度表征目标深度图的可靠性。
一种电子设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行该计算机程序时实现上述深度图检测方法。
一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述深度图检测方法。
上述深度图检测装置、方法、电子设备和计算机可读存储介质，深度图检测装置包括测试板、背景板、以及支撑架，其中，测试板与背景板通过支撑架连接，测试板与背景板平行设置，测试板设置有镂空区域。通过深度图采集设备采集测试板的深度图，获取深度图中镂空区域的第一深度值和非镂空区域的第二深度值，并根据第一深度值和第二深度值，得到深度图采集设备的性能量化结果。在本方法中，可以通过获取深度图采集设备所采集的深度图的深度值，确定深度图采集设备的性能量化结果，替代了现有技术中人为主观进行深度图质量评价的方法，实现了客观、定量地对深度图采集设备的性能进行量化分析，分析结果准确、可靠。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中深度图检测装置的结构示意图。
图2为一个实施例中深度图检测装置的测试板结构示意图。
图3为一个实施例中深度图检测装置的测试板镂空区域成像比例示意图。
图4为一个实施例中深度图检测装置的测试板镂空区域设置示意图。
图5为一个实施例中深度图检测装置的测试板镂空区域设置示意图。
图6为一个实施例中深度图检测装置的测试板镂空区域设置示意图。
图7为一个实施例中深度图检测装置的测试板镂空区域设置示意图。
图8为一个实施例中深度图检测装置的测试板镂空区域设置示意图。
图9为一个实施例中深度图检测装置的测试板镂空区域设置示意图。
图10为一个实施例中深度图检测装置的结构示意图。
图11为一个实施例中深度图检测方法的流程图；
图12为一个实施例中深度图检测方法的流程图；
图13为一个实施例中深度图检测方法的流程图；
图14为一个实施例中深度图检测方法的流程图；
图15为一个实施例中深度图检测方法的流程图；
图16为一个实施例中深度图检测方法中边界点示意图；
图17为一个实施例中深度图检测方法的流程图；
图18为一个实施例中深度图检测方法的流程图；
图19为一个实施例中深度图检测方法的流程图；
图20为一个实施例中电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。
图1为一个实施例的深度图检测装置的结构框图。如图1所示，提供一种深度图检测装置，该装置包括测试板01、背景板02、以及支撑架03；测试板01与背景板02通过支撑架03连接；测试板01与背景板02平行设置；测试板01设置有镂空区域。
其中，测试板中设有镂空区域，深度图采集设备通过发射测试光至测试板01的实体区域和镂空区域，进行深度图采集设备的性能检测。如图1所示，测试板01和背景板02通过支撑架固定连接，其中，支撑架03可以为金属支撑架也可以为其他材质的支撑架，可选地，测试板01与背景板02可以通过螺栓固定于支撑架03中；测试板01与背景板02还可以通过嵌套插入的方式固定于支撑架03中，本实施例对此不做限定。
通过深度图采集设备采集测试板01的深度图，获取深度图中镂空区域的第一深度值和非镂空区域的第二深度值，并根据第一深度值和第二深度值，得到深度图采集设备的性能量化结果。
其中，深度图采集设备可以为TOF相机，还可以为结构光相机等深度图采集设备。
在本实施例中，深度图采集设备通过发射测试光至测试板01上，发射光照射在测试板01的实体区域，测试板01直接将光反射至深度图采集设备，即，获取到非镂空区域的第二深度值；发射光照射在测试板01的镂空区域，通过镂空区域照射至背景板02，由背景板02将光反射回深度图采集设备，即获取到镂空区域的第一深度值。可选地，基于深度图采集设备中的处理器或独立处理器，根据采集到的深度图进行深度图采集设备的性能量化，示例地，处理器可以获取深度图中第一深度值和第二深度值，确定深度图的分辨率，从而根据分辨率确定深度图采集设备的性能。
在本实施例中，上述提供的深度图检测装置包括测试板、背景板、以及支撑架，其中，测试板与背景板通过支撑架连接，测试板与背景板平行设置，测试板设置有镂空区域。深度图采集设备采集测试板的深度图，获取深度图中镂空区域的第一深度值和非镂空区域的第二深度值，并根据第一深度值和第二深度值，得到深度图采集设备的性能量化结果。在本方法中，可以通过获取深度图采集设备所采集的深度图的深度值，确定深度图采集设备的性能量化结果，替代了现有技术中人为主观进行深度图质量评价的方法，实现了客观、定量地对深度图采集设备的性能进行量化分析，分析结果准确、可靠。
在其中一个实施例中，如图2所示，上述测试板01的镂空区域包括第一镂空区域11和第二镂空区域12。
其中，第一镂空区域11位于测试板01的顶点区域；第二镂空区域位于测试板02的中间区域；第二镂空区域12为根据预设的曲线函数确定的区域。
在本实施例中，如图2所示，第一镂空区域可以认为处于测试板01的四个顶点区域的小正方形区域，8个小正方形构成了第一镂空区域；第二镂空区域则为测试板01的中间曲线镂空区域。其中，根据预设的曲线函数确定第二镂空区域，曲线函数可以为幂函数、标准对数函数曲线等。可选地，第一镂空区域与第二镂空区域所形成的四边形区域适应于深度图采集设备的成像区域，例如，深度图采集设备为TOF相机时，根据TOF相机其中一种成像比例4:3，确定第一镂空区域与第二镂空区域所形成的四边形区域的边长比例也为4:3，基于这个准则，针对于深度图采集设备的不同成像比例，可以在测试板01中设置不同比例的第一镂空区域与第二镂空区域所形成的四边形区域，具体参见图3所示，图3给出了一种在同一测试板上设置16:9、4:3两种四边形区域的测试板，基于该测试板，可以适用于成像比例16:9和/或4:3的深度图采集设备。
在本实施例中，通过设置第一镂空区域对采集到的深度图进行透视变换，通过设置第二镂空区域对采集到的深度图进行性能分析，且，测试板上的第一镂空区域和第二镂空区域可以适应深度图采集设备的成像比例，该方法简单有效地可以得到准确的深度图。
在其中一个实施例中，如图4所示，顶点区域的第一目标点与测试板01的第二目标点之间的距离d1小于预设的第一距离d1s，中间区域的第三目标点与测试板01的第二目标点之间的距离d2小于预设的第二距离d2s。
在本实施例中，如图4所示，第一镂空区域为正方形，测试板为四边形的情况下，第一目标点可以认为某一个小正方形的某个顶点，或某条边上的一点，例如，d1表示顶点区域第二个正方形右下角顶点到测试板01的顶边距离；d2表示中间区域的顶边某一点到测试板01的顶边距离；可选地，第一镂空区域还可以为别的形状，例如圆形，五角星，等，那么d1表示第一镂空区域中指定的一点到测试板01的顶边距离。另外，测试板可以为其他形状，例如圆形，如图5所示，d1表示顶点区域第二个正方形右下角顶点到测试板01的外切线之间的距离；d2表示中间区域的顶边某一点到测试板01的外切线之间的距离。其中，d1的取值范围根据实际情况确定，需要说明的是，第一镂空区域的外切边所形成的区域的比例，与深度图采集设备的成像比例一致。d2的取值范围根据测试板的中心点和距离阈值确定，d1与d2之间的大小关系不做限定，图6和图7中给出了两种第一镂空区域与第二镂空区域的示意图。
在本实施例中，根据预设的距离阈值设置第一镂空区域和第二镂空区域，通过设置第一镂空区域对采集到的深度图进行透视变换，通过设置第二镂空区域对采集到的深度图进行性能分析，该方法简单有效地可以得到准确的深度图。
在其中一个实施例中，可选地，测试板01中第一镂空区域所形成的规则区域的边长比例与深度图采集设备采集的深度图的边长比例一致。
在本实施例中，测试板01的形状可以为四边形、多边形、圆形等其他形状，测试板第一镂空区域所形成的规则区域的边长比例应该与深度图采集设备的成像区域的边长比例一致。示例地，参考图8所示，图8给出了测试板01为圆形的情况下，第一镂空区域所形成的拍摄区域的边长比例，其边长比例为4:3，适用于成像比例为4:3的深度图采集设备；参考图9所示，图,9给出了测试板01为四边形的情况下，第一镂空区域所形成的拍摄区域的边长比例，其边长比例为4:3，适用于成像比例为4:3的深度图采集设备。
在本实施例中，确保测试板01的边长比例与深度图采集设备采集的深度图的边长比例一致的目的是为了得到较为准确的深度图，在得到准确的深度图的基础上，可以提高基于深度图进行深度图采集设备性能分析的准确性。
在其中一个实施例中，如图10所示，测试板01和背景板02之间的距离d根据深度图采集设备的设备参数、测试板01的表面反射率、以及背景板02的表面反射率确定。
在本实施例中，由于发射光存在发散角，如果深度图采集设备发射光通过缝隙后距离背景距离过远，反射光将无法达到深度图采集设备的接收端，造成测量失败，因此，根据深度图采集设备的设备参数、测试板01的表面反射率、以及背景板02的表面反射率，来确定背景板与测试板之间的距离。
可选地，由于发射光存在发散角，测试板的厚度也会影响测量结果，因此制作装置时在保证测试板具有一定刚度，不易变形的前提下尽可能薄。
可选地，第一表面的反射率和第二表面的反射率一致。
在本实施例中，基于TOF相机深度测量原理可知，深度图的性能与待测物体的表面反射率有关，因此，在设置测试板与测试板时，应将测试板面向深度图采集设备的表面和测试板面向深度图采集设备的表面的反射率应保持一致，且不会产生镜面反射。
在本实施例中，通过约束测试板与背景板的距离、测试板表面与背景板表面的反射率，进一步提高深度图采集设备采集的深度图像的准确性。
在其中一个实施例中，测试板01面向深度图采集设备的第一表面与背景板02面向深度图采集设备的第二表面平行。
在本实施例中，为了尽可能保证深度图采集设备采集到的深度图中各像素点的深度值均在同一的标准下，在设置测试板01和测试板02的位置时，应将测试板01面向深度图采集设备的第一表面与背景板02面向深度图采集设备的第二表面平行放置，这样采集到的测试板中镂空区域的深度值会保持在同一标准，提高了深度图的准确性。
上述深度图检测装置中各个模块的划分仅仅用于举例说明，在其他实施例中，可将深度图检测装置按照需要划分为不同的模块，以完成上述深度图检测装置的全部或部分功能。
图11为一个实施例中深度图检测方法的流程图。本实施例中的深度图检测方法，以应用于图1中的深度图检测装置中为例进行描述。其中，深度图检测方法的执行主体可以为深度图采集设备，也可以为处理器，该处理器可以为独立的处理器，也可以为内置于深度图采集设备中的处理器。以下实施例中均以处理器为执行主体进行描述。如图11所示，深度图检测方法包括步骤201至步骤203。
步骤201，通过深度图采集设备采集深度图检测装置中测试板的深度图。
其中，深度图采集设备可以为TOF相机，还可以为结构光相机等深度图采集设备。
在本实施例中，将深度图采集设备放置于测试板前方，通过深度图采集设备拍摄测试板，采集测试板的深度图像。
步骤202，根据深度图，确定深度图中镂空区域的第一深度值和非镂空区域的第二深度值。
其中，深度值指的是各像素点的深度距离值。
在本实施例中，处理器可以直接通过采集到的深度图，获取指定区域中各个像素点的深度值，可选地，处理器可以获取镂空区域的各个像素点的第一深度值和非镂空区域的第二深度值。
步骤203，根据第一深度值和第二深度值，确定深度图采集设备的性能量化结果。
其中，这里深度图采集设备的性能量化结果主要针对的是深度图采集设备的横向分辨率和纵向分辨率。
在本实施例中，处理器可以根据第一深度值和第二深度值，确定采集到的深度图的横向分辨率和纵向分辨率，从而基于横向分辨率和纵向分辨率确定深度图采集设备的性能量化结果。
本实施例中的深度图检测方法，通过深度图采集设备采集深度图检测装置中测试板的深度图，根据深度图，确定深度图中镂空区域的第一深度值和非镂空区域的第二深度值，并根据第一深度值和第二深度值，确定深度图采集设备的性能量化结果。在本方法中，可以通过获取深度图采集设备所采集的深度图的深度值，确定深度图采集设备的性能量化结果，替代了现有技术中人为主观进行深度图质量评价的方法，实现了客观、定量地对深度图采集设备的性能进行量化分析，分析结果准确、可靠。
在采集深度图时，为提高性能分析结果的准确性，需要对采集到的深度图进行透视变换，在其中一个实施例中，上述镂空区域包括第一镂空区域；如图12所示，该方法还包括：
步骤301、根据第一镂空区域，对测试板的深度图进行透视变换，得到校正深度图。
其中，根据第一镂空区域对测试板的深度图进行透视变换，可选地，处理器可以通过第一镂空区域在测试板的位置坐标和深度图中第一镂空区域的位置坐标，对深度图进行透视变换，使得二者保持一致；或者，处理器还可以根据第一镂空区域的标准面积和深度图中第一镂空区域的测试面积，对深度图进行透视变换，使得二者保持一致；又或者，处理器还可以根据第一镂空区域的标准尺寸和深度图中第一镂空区域的测试尺寸，对深度图进行透视变换，使得二者保持一致，本实施例对此不做限定。
那么，根据深度图，确定深度图中镂空区域的第一深度值和非镂空区域的第二深度值，包括：
步骤302、根据校正深度图，确定深度图中镂空区域的第一深度值和非镂空区域的第二深度值。
在本实施例中，根据校正后的深度图，获取深度图中镂空区域中各个像素点的深度值、以及非镂空区域中的第二深度值，进而根据各个像素点的深度值确定深度图采集设备的性能分析结果；可选地，由于深度值表示的是距离值，因此，非镂空区域的各个像素点的深度值理论上应该相同，这里可以获取非镂空区域中任一像素点的深度值，或者获取整个非镂空区域深度值的平均值。
在本实施例中，根据第一镂空区域对深度图进行透视变换，得到的校正深度图中各像素点的深度值更准确，进一步地，基于各像素点的深度值确定的深度图采集设备的性能分析结果更准确。
可选地，可以根据第一镂空区域的标准尺寸和测试尺寸对采集到的深度图进行透视变换。在其中一个实施例中，如图13所示，上述根据第一镂空区域，对测试板的深度图进行透视变换，得到校正深度图，包括：
步骤401、获取第一镂空区域的标准尺寸和测试尺寸。
在本实施例中，处理器根据测试板的设计尺寸，获取第一镂空区域的标准尺寸；根据深度图中第一镂空区域的各顶点坐标计算得到第一镂空区域的测试尺寸。
步骤402、根据标准尺寸和测试尺寸，对测试板的深度图进行透视变换，得到校正深度图。
在本实施例中，处理器根据标准尺寸和测试尺寸，确定深度图采集设备采集到的深度图相当于测试板表面的倾斜程度，从而根据标准尺寸与预设的透视变换方式，对深度图进行拉伸变换，得到校正后的深度图。可选地，上述校正深度图中的第一镂空区域的测试尺寸与标准尺寸一致。
在本实施例中，根据第一镂空区域的测试尺寸和标准尺寸对深度图进行透视变换，得到的校正深度图具有更高的准确性。
深度图的第二镂空区域中存在缝隙较小的区域，该区域的深度值无法进行准确测量而发生错误，因此，深度图第二镂空区域中的这部分区域的第一深度值与深度图中非镂空区域的第二深度值的距离差值，与测试板和背景板之间的距离偏差较大，这部分距离偏差较大的区域可以认为是深度图第二镂空区域的深度值错误区域，根据深度值错误区域的边界点，确定深度图的分辨率，在其中一个实施例中，上述镂空区域包括第二镂空区域；如图14所示，根据第一深度值和第二深度值，确定深度图采集设备的性能量化结果，包括：
步骤501、计算第二镂空区域中各像素点的第一深度值和第二深度值的差值；第二镂空区域为根据预设的曲线函数确定的区域。
其中，第二镂空区域为根据预设的曲线函数确定的区域，曲线函数可以为标准对数函数曲线，可选地，还可以根据实际情况采用其他标准曲线，例如，幂函数等。
在本实施例中，处理器获取第二镂空区域的多个像素点，并根据各像素点的第一深度值与非镂空区域的第二深度值，计算二者之间的差值，其中，该差值表示的是基于深度图测量到的测试板与背景板之间的距离差值。
步骤502、确定差值处于预设差值范围之外的至少一个像素点所在的目标区域；预设差值范围为根据测试板和背景板之间的距离所确定的差值范围。
在本实施例中，处理器根据测试板和背景板之间的距离和允许偏差的范围，确定预设的差值范围，在计算得到的第二镂空区域中各个像素点对应的距离差值之后，确定距离差值处于差值范围之外的目标区域，即确定与测试板和背景板之间的距离偏差较大的像素点所形成的目标区域。
步骤503、根据目标区域，确定深度图的横向分辨率和纵向分辨率，得到深度图采集设备的性能量化结果。
在本实施例中，处理器在确定目标区域之后，可选地，处理器可以获取目标区域的边界点，根据预设的曲线函数，确定该边界点对应的函数值；或者，在无法直接获取目标区域边界点的情况下，处理器可以获取目标区域的边界线，基于边界线，确定目标区域的边界点，从而根据根据预设的曲线函数，确定该边界点对应的函数值。其中，函数值为当前深度图的横向分辨率或纵向分辨率，基于深度图的横向分辨率和纵向分辨率，确定深度图采集设备的性能量化结果。
在本实施例中，通过确定分辨率极限值，得到深度图的最大分辨率，使得得到的深度图采集设备的性能分析结果准确、可靠。
在根据第二镂空区域的深度值确定深度图采集设备的性能量化结果中，可选地，在其中一个实施例中，上述第二镂空区域包括横向镂空区域和纵向镂空区域；如图15所示，根据目标区域，确定深度图的分辨率，得到深度图采集设备的性能量化结果，包括：
步骤601、根据横向镂空区域的第一目标区域，确定第一目标区域中的第一目标点，并根据第一目标点，确定深度图的横向分辨率。
其中，第一目标点指的是第一目标区域的边界点。
在本实施例中，针对不同方向的镂空区域，处理器分别获取相应方向的镂空区域中第一目标区域，可选地，处理器可以获取第一目标区域的边界点，根据预设的曲线函数，确定边界点对应的分辨率的值；或者，在处理器无法直接获取第一目标区域边界点的情况下，可以根据目标区域的边界线确定边界点，可选地，服务器可以获取边界线在X轴上的投影，并确定该投影的中位值对应的像素点为作为第一目标区域的边界点，从而根据预设的曲线函数，确定边界点对应的分辨率的值。示例地，针对横向镂空区域，处理器计算得到的是横向分辨率的值。
如图16所示，处理器根据横向镂空区域中的第一目标区域，确定第一目标区域的边界线，通过计算确定P1点为第一目标区域的边界点，基于P1点确定P1点对应的δ的值，进而根据δ的值和预设的曲线函数，得到对应的分辨率的值，本实施例对此不做限定。可选地，当该曲线为以10为底的标准对数函数时，δ每增加1，表示该方向分辨率增加10倍。因此可认为某方向上的δ越大，该TOF相机该方向的分辨率就越高。
步骤602、根据纵向镂空区域的第二目标区域，确定第二目标区域中的第二目标点，并根据第二目标点，确定深度图的纵向分辨率。
其中，第二目标点指的是第二目标区域的边界点。
在本实施例中，与上述步骤601类似的，处理器根据纵向镂空区域的第二目标区域，确定第二目标区域的边界点，基于第二目标点确定对应的δ的值，进而根据δ的值和预设的曲线函数，得到对应的分辨率的值，即得到纵向镂空区域的纵向分辨率。
步骤603、根据深度图的横向分辨率和纵向分辨率，确定深度图采集设备的性能量化结果。
在本实施例中，深度图的横纵向分辨率是评价深度图采集设备的一个重要性能指标，定义为深度图采集设备正对着某一平面拍摄时，能分辨出该平面内横、纵向的最小缝隙。处理器在确定深度图的横纵向分辨率之后，根据深度图的横向分辨率和纵向分辨率确定深度图采集设备的性能量化结果。
在本实施例中，由于深度图的横纵向分辨率对于人脸识别、小物体建模等对细节特征敏感的应用来讲非常重要，基于深度图的横纵向分辨率确定深度图采集设备的性能结果，该结果准确、可靠。
第二镂空区域可以为一个镂空区域，也可以包括多个不同方向的镂空区域，在其中一个实施例中，上述第二镂空区域包括多个横向镂空区域和多个纵向镂空区域；如图17所示，上述根据深度图的横向分辨率和纵向分辨率，确定深度图采集设备的性能量化结果，包括：
步骤701、计算多个横向镂空区域对应的横向分辨率的平均横向分辨率。
在本实施例中，第二镂空区域包括多个横向镂空区域，处理器确定出各镂空区域的横向分辨率之后，可以通过计算多个横向镂空区域的横向分辨率的平均值，确定深度图整体的横向分辨率。
步骤702、计算多个纵向镂空区域对应的横向分辨率的平均纵向分辨率。
在本实施例中，第二镂空区域包括多个纵向镂空区域，处理器确定出各镂空区域的纵向分辨率之后，可以通过计算多个纵向镂空区域的纵向分辨率的平均值，确定深度图整体的纵向分辨率。
步骤703、根据深度图的平均横向分辨率和平均纵向分辨率，确定深度图采集设备的性能量化结果。
在本实施例中，处理器根据深度图整体的横向分辨率和纵向分辨率，确定深度图采集设备的性能量化结果。
在本实施例中，针对第二镂空区域包括多个横向镂空区域和多个纵向镂空区域的情况，处理器通过计算平均横向分辨率和平均纵向分辨率以确定深度图的性能量化结果，该量化结果准确、可靠。
在采集到深度图之后，还可以通过计算深度图的置信度判断深度图的可靠性，在其中一个实施例中，如图18所示，该方法还包括：
步骤801、获取第一镂空区域的标准面积和测试面积。
其中，第一镂空区域的标准面积指的是深度图检测装置中测试板上的第一镂空区域的面积；测试面积指的是采集到的深度图中第一镂空区域的面积。
在本实施例中，处理器根据测试板的设计尺寸，获取第一镂空区域的标准面积。可选地，处理器可以获取采集到的深度图中第一镂空区域的各顶点坐标，基于各定点坐标计算第一镂空区域的测试面积。
步骤802、根据第一镂空区域的标准面积和测试面积，确定目标深度图的置信度；置信度表征目标深度图的可靠性。
在本实施例中，在实际实施过程中很难做到测试板四边与TOF相机视场四边完全重合，而测试板平面与TOF相机成像平面存在角度时，测试板某一方向的缝隙相对于设计值就会偏小，计算得到的横纵向分辨率也会不准确。因此，可选地，在计算横纵向分辨率之前，可以根据第一镂空区域的标准面积和测试面积，确定目标深度图的置信度。可选地，可以通过下式计算深度图的置信度：
理想情况下，TOF相机完全正对着测试板平面，此时深度图上第一镂空区域的测试面积应该与标准面积完全一致，即Conf等于1。但实际情况中，通常很难保证正对，此时深度图上正方形面积会小于设计值，即Conf小于1，且测试板平面与TOF相机成像平面之间的角度越大，Conf越小，当conf小于一个预设的置信度阈值时，意味着采集到的深度图偏差过大，则需要重新采集深度图。
在本实施例中，通过计算深度图的置信度可以初步判定深度图的偏差，提高了后续计算深度图分辨率的准确性。
在另一个实施例中，提供一种深度图检测方法，如图19所示，包括步骤101至步骤109。
步骤101，通过深度图采集设备采集深度图检测装置中测试板的深度图；
步骤102，获取第一镂空区域的标准尺寸和测试尺寸；
步骤103，根据标准尺寸和测试尺寸，对测试板的深度图进行透视变换，得到校正深度图；
步骤104，根据第一镂空区域的标准面积和测试面积，确定目标深度图的置信度；
步骤105，根据深度图，确定深度图中镂空区域的第一深度值和非镂空区域的第二深度值；
步骤106，确定差值处于预设差值范围之外的至少一个像素点所在的目标区域；
步骤107，根据横向镂空区域的第一目标区域，确定第一目标区域中的第一目标点，并根据第一目标点确定深度图的横向分辨率；
步骤108，根据纵向镂空区域的第二目标区域，确定第二目标区域中的第二目标点，并根据第二目标点确定深度图的纵向分辨率；
步骤109，根据深度图的横向分辨率和纵向分辨率，确定深度图采集设备的性能量化结果。
在本实施例中，可以通过获取深度图采集设备所采集的深度图的横向分辨率和纵向分辨率，确定深度图采集设备的性能量化结果，替代了现有技术中人为主观进行深度图质量评价的方法，实现了客观、定量地对深度图采集设备的性能进行量化分析，分析结果准确、可靠。
应该理解的是，虽然图11-19的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图11-19中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图20为一个实施例中电子设备的内部结构示意图。如图20所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种深度图检测方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑、PDA(Personal DigitalAssistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑、穿戴式设备等任意终端设备。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行深度图检测方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行深度图检测方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (18)

1.一种深度图检测装置，其特征在于，所述装置包括测试板、背景板、以及支撑架；所述测试板与背景板通过所述支撑架连接；所述测试板与所述背景板平行设置；所述测试板设置有镂空区域；
通过深度图采集设备采集所述测试板的深度图，获取深度图中镂空区域的第一深度值和非镂空区域的第二深度值，并根据所述第一深度值和所述第二深度值，确定所述深度图的分辨率，根据所述分辨率得到所述深度图采集设备的性能量化结果；其中，所述第一深度值为所述深度图采集设备的发射光照射在所述测试板的镂空区域，通过所述镂空区域照射至所述背景板，由所述背景板将光反射回所述深度图采集设备获取到的。
2.根据权利要求1所述的装置，其特征在于，所述测试板的镂空区域包括第一镂空区域和第二镂空区域；
所述第一镂空区域位于所述测试板的顶点区域；
所述第二镂空区域位于所述测试板的中间区域；所述第二镂空区域为根据预设的曲线函数确定的区域。
3.根据权利要求2所述的装置，其特征在于，所述顶点区域的第一目标点与所述测试板的第二目标点之间的距离小于预设的第一距离，所述中间区域的第三目标点与所述测试板的第二目标点之间的距离小于预设的第二距离。
4.根据权利要求1-3任一项所述的装置，其特征在于，所述测试板中第一镂空区域所形成的规则区域的边长比例与所述深度图采集设备采集的深度图的边长比例一致。
5.根据权利要求1-3任一项所述的装置，其特征在于，所述测试板和所述背景板之间的距离根据所述深度图采集设备的设备参数、所述测试板的表面反射率、以及所述背景板的表面反射率确定。
6.根据权利要求1-3任一项所述的装置，其特征在于，所述测试板面向所述深度图采集设备的第一表面与所述背景板面向所述深度图采集设备的第二表面平行。
7.根据权利要求6所述的装置，其特征在于，所述第一表面的反射率和所述第二表面的反射率一致。
8.根据权利要求1-3任一项所述的装置，其特征在于，所述测试板与所述背景板通过螺栓固定于所述支撑架中。
9.一种深度图检测方法，其特征在于，应用于权利要求1-8任一项所述的深度图检测装置，所述方法包括：
通过深度图采集设备采集所述深度图检测装置中测试板的深度图；
根据所述深度图，确定所述深度图中镂空区域的第一深度值和非镂空区域的第二深度值；
根据所述第一深度值和所述第二深度值，确定所述深度图的分辨率，根据所述分辨率确定所述深度图采集设备的性能量化结果；其中，所述第一深度值为所述深度图采集设备的发射光照射在所述测试板的镂空区域，通过所述镂空区域照射至背景板，由所述背景板将光反射回所述深度图采集设备获取到的。
10.根据权利要求9所述的方法，其特征在于，所述镂空区域包括第一镂空区域；所述方法还包括：
根据所述第一镂空区域，对所述测试板的深度图进行透视变换，得到校正深度图；
所述根据所述深度图，确定深度图中所述镂空区域的第一深度值和非镂空区域的第二深度值，包括：
根据所述校正深度图，确定深度图中所述镂空区域的第一深度值和所述非镂空区域的第二深度值。
11.根据权利要求10所述的方法，其特征在于，所述根据所述第一镂空区域，对所述测试板的深度图进行透视变换，得到校正深度图，包括：
获取所述第一镂空区域的标准尺寸和测试尺寸；
根据所述标准尺寸和所述测试尺寸，对所述测试板的深度图进行透视变换，得到校正深度图。
12.根据权利要求11所述的方法，其特征在于，所述校正深度图中的第一镂空区域的测试尺寸与所述标准尺寸一致。
13.根据权利要求9所述的方法，其特征在于，所述镂空区域包括第二镂空区域；所述根据所述第一深度值和所述第二深度值，确定所述深度图采集设备的性能量化结果，包括：
计算所述第二镂空区域中各像素点的第一深度值和所述第二深度值的差值；所述第二镂空区域为根据预设的曲线函数确定的区域；
确定所述差值处于预设差值范围之外的至少一个像素点所在的目标区域；所述预设差值范围为根据所述测试板和背景板之间的距离所确定的差值范围；
根据所述目标区域，确定所述深度图的横向分辨率和纵向分辨率，得到所述深度图采集设备的性能量化结果。
14.根据权利要求13所述的方法，其特征在于，所述第二镂空区域包括横向镂空区域和纵向镂空区域；所述根据所述目标区域，确定所述深度图的分辨率，得到所述深度图采集设备的性能量化结果，包括：
根据所述横向镂空区域的第一目标区域，确定所述第一目标区域中的第一目标点，并根据所述第一目标点确定所述深度图的横向分辨率；
根据所述纵向镂空区域的第二目标区域，确定所述第二目标区域中的第二目标点，并根据所述第二目标点确定所述深度图的纵向分辨率；
根据所述深度图的横向分辨率和纵向分辨率，确定所述深度图采集设备的性能量化结果。
15.根据权利要求14所述的方法，其特征在于，所述第二镂空区域包括多个横向镂空区域和多个纵向镂空区域；所述根据所述深度图的横向分辨率和纵向分辨率，确定所述深度图采集设备的性能量化结果，包括：
计算所述多个横向镂空区域对应的横向分辨率的平均横向分辨率；
计算所述多个纵向镂空区域对应的横向分辨率的平均纵向分辨率；
根据所述深度图的平均横向分辨率和平均纵向分辨率，确定所述深度图采集设备的性能量化结果。
16.根据权利要求10所述的方法，其特征在于，所述方法还包括：
获取所述第一镂空区域的标准面积和测试面积；
根据所述第一镂空区域的标准面积和所述测试面积，确定目标深度图的置信度；所述置信度表征所述目标深度图的可靠性。
17.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求9至16中任一项所述的深度图检测方法的步骤。
18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求9至16中任一项所述的深度图检测方法的步骤。
CN202110154120.7A 2021-02-04 2021-02-04 深度图检测装置、方法、电子设备和计算机可读存储介质 Active CN112985772B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110154120.7A CN112985772B (zh) 2021-02-04 2021-02-04 深度图检测装置、方法、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110154120.7A CN112985772B (zh) 2021-02-04 2021-02-04 深度图检测装置、方法、电子设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112985772A CN112985772A (zh) 2021-06-18
CN112985772B true CN112985772B (zh) 2023-08-11

Family

ID=76346891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110154120.7A Active CN112985772B (zh) 2021-02-04 2021-02-04 深度图检测装置、方法、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112985772B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114184583B (zh) * 2021-11-09 2024-01-16 天津大学 高深宽比微结构深度一致性的光学测量与评估方法
CN114299016B (zh) * 2021-12-28 2023-01-10 合肥的卢深视科技有限公司 深度图检测装置、方法、系统及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104198162A (zh) * 2014-09-17 2014-12-10 中国科学院光电技术研究所 一种用于光学成像相机整机系统传递函数的测试装置及其测试方法
WO2016137239A1 (en) * 2015-02-26 2016-09-01 Dual Aperture International Co., Ltd. Generating an improved depth map usinga multi-aperture imaging system
CN106290284A (zh) * 2016-09-19 2017-01-04 浙江大学 结构光照明的双光子荧光显微系统与方法
CN110111384A (zh) * 2019-04-11 2019-08-09 歌尔股份有限公司 一种tof深度模组的标定方法、装置及系统
CN110864879A (zh) * 2019-10-21 2020-03-06 歌尔股份有限公司 一种基于投影模块的tof深度模组平面度测试系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100592201C (zh) * 2006-06-02 2010-02-24 鸿富锦精密工业（深圳）有限公司 光学镜头测试装置及测试方法
CN111091592B (zh) * 2018-10-24 2023-08-15 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104198162A (zh) * 2014-09-17 2014-12-10 中国科学院光电技术研究所 一种用于光学成像相机整机系统传递函数的测试装置及其测试方法
WO2016137239A1 (en) * 2015-02-26 2016-09-01 Dual Aperture International Co., Ltd. Generating an improved depth map usinga multi-aperture imaging system
CN106290284A (zh) * 2016-09-19 2017-01-04 浙江大学 结构光照明的双光子荧光显微系统与方法
CN110111384A (zh) * 2019-04-11 2019-08-09 歌尔股份有限公司 一种tof深度模组的标定方法、装置及系统
CN110864879A (zh) * 2019-10-21 2020-03-06 歌尔股份有限公司 一种基于投影模块的tof深度模组平面度测试系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于TOF相机的非合作矩形目标三维位姿测量方法;闫小盼等;《计算机应用研究》;20170901(第09期);第2856-2860页 *

Also Published As

Publication number Publication date
CN112985772A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN109737874B (zh) 基于三维视觉技术的物体尺寸测量方法及装置
CN109961468B (zh) 基于双目视觉的体积测量方法、装置及存储介质
Kang et al. Automatic targetless camera–lidar calibration by aligning edge with gaussian mixture model
CN110689581B (zh) 结构光模组标定方法、电子设备、计算机可读存储介质
CN112985772B (zh) 深度图检测装置、方法、电子设备和计算机可读存储介质
CN109373897B (zh) 一种基于激光虚拟标尺的测量方法
TW201817215A (zh) 影像掃描系統及其方法
US20180293450A1 (en) Object detection apparatus
CN113538551B (zh) 深度图生成方法、装置、电子设备
Nienaber et al. A comparison of low-cost monocular vision techniques for pothole distance estimation
CN112106111A (zh) 一种标定方法、设备、可移动平台及存储介质
WO2018120168A1 (zh) 一种视觉检测方法及系统
JP6282377B2 (ja) ３次元形状計測システムおよびその計測方法
CN112381921B (zh) 一种边缘重建方法及系统
CN116433737A (zh) 一种激光雷达点云与图像配准的方法、装置及智能终端
CN112257713A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
US20170069099A1 (en) Method and electronic device of identifying redundant data
CN114396875B (zh) 一种基于深度相机垂直拍摄的长方形包裹体积测量方法
CN113777592B (zh) 方位角标定方法和装置
CN113223176B (zh) 多维度管道特征参数的获取方法和装置
CN114332085A (zh) 一种光学卫星遥感影像检测方法
CN113607064A (zh) 目标物体的间距测算方法、装置、设备及可读存储介质
CN109741384B (zh) 深度相机的多距离检测装置及方法
CN108957432B (zh) 路沿检测方法、装置、计算机设备和存储介质
CN108846856B (zh) 图片特征点的跟踪方法和跟踪装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant