CN112102387B - 一种基于深度相机深度估计性能的测试方法与测试系统 - Google Patents
一种基于深度相机深度估计性能的测试方法与测试系统 Download PDFInfo
- Publication number
- CN112102387B CN112102387B CN202010818390.9A CN202010818390A CN112102387B CN 112102387 B CN112102387 B CN 112102387B CN 202010818390 A CN202010818390 A CN 202010818390A CN 112102387 B CN112102387 B CN 112102387B
- Authority
- CN
- China
- Prior art keywords
- depth
- camera
- total station
- scene
- laser total
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 36
- 238000010998 test method Methods 0.000 title claims abstract description 17
- 238000011156 evaluation Methods 0.000 claims abstract description 30
- 238000010408 sweeping Methods 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims description 41
- 230000003068 static effect Effects 0.000 claims description 10
- 238000003708 edge detection Methods 0.000 claims description 8
- 230000007613 environmental effect Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000002474 experimental method Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 238000007405 data analysis Methods 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000004590 computer program Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于深度相机深度估计性能的测试方法与测试系统，包括构建场景并架设深度相机、激光全站仪；保存彩色图与深度图；所述激光全站仪扫场得到投影的彩色图像与深度图；评估投影彩色图像与相机采集的彩色图像间的重合程度投影误差；若所述投影误差不满足要求则重新进行标定；若所述投影误差满足要求则可对相机采集的深度图与全站仪投影所得的深度图进行逐像素的对比评估，计算所述深度相机深度估计的误差情况。本发明的有益效果：通过激光全站仪扫场、相机与全站仪联合标定、点云反向投影获得深度图真值，通过直接对比深度图进行更加全面的评价，同时具有丰富的场景不受限于物理设备，具有更高的精度。
Description
技术领域
本发明涉及传感器测试的技术领域，尤其涉及一种基于深度相机深度估计性能的测试方法与测试系统。
背景技术
近年来，深度相机指的是具备深度测量能力的视觉传感器，其在机器人、无人机、无人驾驶等无人系统中具有广泛的应用，深度相机获取图像中各像素点的深度值的方式主要分为双目、结构光、光飞行时间三种方式获得，构成包含深度信息的深度图。
目前对于深度相机的深度估计性能的评价往往采用单个特征点的测试评估或者基于标定板的测试评估，基于单个特征点的测试评估存在着一定程度的片面性难以反映整张图深度估计的性能，基于标定板的测试评估方法存在着场景单一的问题不能很好的表现实际使用情况下的深度估计性能。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题，提出了本发明。
因此，本发明解决的技术问题是：提出一种基于深度相机深度估计性能的测试方法。
为解决上述技术问题，本发明提供如下技术方案：一种基于深度相机深度估计性能的测试方法，包括构建场景并架设深度相机、激光全站仪；所述深度相机进行场景的数据采集，并保存彩色图与深度图；所述激光全站仪扫场获取点云数据并根据标定的内外参进行反向投影，得到投影的彩色图像与深度图；评估投影彩色图像与相机采集的彩色图像间的重合程度投影误差；若所述投影误差不满足要求则重新进行标定；若所述投影误差满足要求则可对相机采集的深度图与全站仪投影所得的深度图进行逐像素的对比评估，计算所述深度相机深度估计的误差情况。
作为本发明所述的基于深度相机深度估计性能的测试方法的一种优选方案，其中：构建场景并架设深度相机、激光全站仪，包括以下步骤，构建静态的场景并确定观测点位置；将所述激光全站仪架设于所述观测点位置处，建立激光全站仪坐标系，并根据深度相机视角大小选择目标尺寸空间进行扫场，获取场景的彩色点云数据；移动所述激光全站仪并根据控制点重新架站；所述深度相机进行内参标定，并架设到全站仪扫场所在位置；使用棋盘标定板并置入所述场景中，进行所述激光全站仪与所述深度相机的联合标定外参。
作为本发明所述的基于深度相机深度估计性能的测试方法的一种优选方案，其中：所述构建场景包括以下步骤，根据需求与实际场景使用相关的道具构建静态的场景；记录下相关的环境参数，并标记至少3个所述激光全站仪的坐标系控制点，并确定目标观测点位置。
作为本发明所述的基于深度相机深度估计性能的测试方法的一种优选方案，其中：所述获取点云数据包括，将所述激光全站仪架设在所述观测点位置处；基于标记的所述控制点建立激光全站仪坐标系；根据相机的视角选取能够覆盖相机观测视角的区域进行扫场，得到所述场景内各点在所述激光全站仪坐标系下的三维坐标与RGB三通道色彩信息记为(xq,yq,zq,Rq,Gq,Bq)。
作为本发明所述的基于深度相机深度估计性能的测试方法的一种优选方案，其中：所述架设深度相机、激光全站仪包括内外参标定步骤，采用棋盘标定板标定相机的内参(fx,fy,u0,v0,k1,k2,k3,k4,k5)；将所述棋盘标定板置于深度相机前，获取相机去畸变后的图像，并检测棋盘格的角点在图像坐标系下的坐标为(ucc,vcc)；激光全站仪通过打点获得对应角点在全站仪坐标系下的坐标(xqc,yqc,zqc)，更换棋盘格位姿基于针孔相机模型与投影模型：
通过最小化投影误差进行所述激光全站仪坐标到相机坐标系的外参的标定/>
作为本发明所述的基于深度相机深度估计性能的测试方法的一种优选方案，其中：所述场景采集包括，通过将激光全站仪彩色点云转换到相机坐标系下；再将相机坐标系下的点云坐标投影到图像坐标下，并对落于同一像素点的多个点取近景的数据作为该像素点对应的数据，得到激光全站仪投影的深度图与对应的彩色图像；将标定板移出相机视野，使当前场景与扫场时的场景一致，控制相机输出对应的畸变校正后的彩色图像与深度图。
作为本发明所述的基于深度相机深度估计性能的测试方法的一种优选方案，其中：所述投影误差包括以下比对步骤，对比激光全站仪投影的彩色图像与实际相机输出的彩色图像；确认图像基本重合则可判定内外参标定误差能够接受，所述激光全站仪扫场点云投影正确，真值具备可信度则进行下一步对比评价；若图像不重合则为内外参标定存在问题需要重新标定，否则评价存在明显偏差。
作为本发明所述的基于深度相机深度估计性能的测试方法的一种优选方案，其中：所述深度图对比评估包括以下步骤，所述深度相机输出的深度图，找出其中所有缺省值，并统计缺省数量为N，基于下式计算深度图中有效值的占比P：
其中H和W为图像的高和宽，并记录下缺省值位置的信息，并按像素位置直接对比深度误差值，按下式计算平均误差：
其中为相机输出的深度图中非缺省值的为1、/>为全站仪投影深度图中非缺省值的为1、dc(u,v)为相机深度图上(u,v)处的深度值、dq(u,v)为全站仪投影深度图上(u,v)处的深度值；将投影的图与相机拍摄的原图做cannny边缘检测，取其边缘检测结果的并集，作为边缘点集，对点集中所有的边缘点按3x3大小作为其邻域，对边缘点邻域内的结果不进行误差评价，
其中，1noedge为像素点不落在边缘点邻域内时为1；通过获取多张深度图进行平均可得到其在该场景平均深度估计性能；变换场景重复上述试验可以计算不同难度场景以及不同环境下的深度相机的深度估计性能。
为解决上述技术问题，本发明提供如下技术方案：提出一种基于深度相机深度估计性能的测试系统，包括深度相机、计算机以及激光全站仪；所述深度相机为待测传感器，能够获取深度图、彩色或黑白图像；所述计算机用于采集所述深度相机输出的图像与深度信息，能够进行标定与数据分析处理的设备，且所述计算机搭载与所述深度相机采集的相关SDK与代码、内外参标定的算法代码、全站仪数据读取与分析的相关代码以及进行数据处理与深度图评价的相关算法代码；所述激光全站仪用于获取真值的仪器设备，能够扫场场景获取精确的彩色三维点云坐标，且测距范围不低于1km、静态测距精度不低于1.5mm+2×10-6D/2.4s以及角分辨率不低于3”。
作为本发明所述的基于深度相机深度估计性能的测试系统的一种优选方案，其中：还包括棋盘标定板和环境控制装置；所述棋盘标定板，用于全站仪与深度相机间的外参标定，且用于所述深度相机内参标定的道具；所述环境控制装置，为模拟光照环境变量的控制装置，能够提供应用场景的相关环境量的模拟。
本发明的有益效果：通过激光全站仪扫场、相机与全站仪联合标定、点云反向投影获得深度图真值，通过直接对比深度图进行更加全面的评价，同时具有丰富的场景不受限于物理设备，具有更高的精度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明所述基于深度相机深度估计性能的测试方法的流程图；
图2为本发明所述基于深度相机深度估计性能的测试系统结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
本实施例针对现有测试方法的不足，提出一种针对深度相机深度图的测试方法，其通过激光全站仪扫场、相机与全站仪联合标定、点云反向投影获得深度图真值，通过直接对比深度图进行更加全面的评价，同时具有丰富的场景不受限于物理设备，具有更高的精度。为深度相机的性能提供更加客观、全面有效的研发测试服务，以加速深度相机的研发进程与问题迭代，为此提出相应的深度相机深度估计性能的测试方法以及由激光全站仪、场景道具、标定板、相机支架、计算机构成一套实现上述测试方法的测试系统，当前方法针对的是可获取彩色或灰度图像的适用于针孔模型深度相机。
参照图1的示意，本实施例提出一种基于深度相机深度估计性能的测试方法，具体包括以下步骤，
S1：构建场景并架设深度相机、激光全站仪。
进一步的，本步骤中针对构建场景并架设深度相机、激光全站仪，包括以下步骤，
构建静态的场景并确定观测点位置，根据需求与实际场景使用相关的道具构建静态的场景，记录下相关的环境参数，并标记至少3个激光全站仪的坐标系控制点，并确定目标观测点位置；
将激光全站仪架设于观测点位置处，建立激光全站仪坐标系，并根据深度相机视角大小选择目标尺寸空间进行扫场，获取场景的彩色点云数据；获取点云数据包括，将激光全站仪架设在观测点位置处；基于标记的控制点建立激光全站仪坐标系；根据相机的视角选取能够覆盖相机观测视角的区域进行扫场，得到场景内各点在激光全站仪坐标系下的三维坐标与RGB三通道色彩信息记为(xq,yq,zq,Rq,Gq,Bq)。
移动激光全站仪并根据控制点重新架站；
深度相机进行内参标定，并架设到全站仪扫场所在位置；
使用棋盘标定板并置入场景中，进行激光全站仪与深度相机的联合标定外参。
S2：深度相机进行场景的数据采集，并保存彩色图与深度图。
本步骤中场景采集包括，
通过将激光全站仪彩色点云转换到相机坐标系下；
再将相机坐标系下的点云坐标投影到图像坐标下，并对落于同一像素点的多个点取近景的数据作为该像素点对应的数据，得到激光全站仪投影的深度图与对应的彩色图像；
将标定板移出相机视野，使当前场景与扫场时的场景一致，控制相机输出对应的畸变校正后的彩色图像与深度图。
S3：激光全站仪扫场获取点云数据并根据标定的内外参进行反向投影，得到投影的彩色图像与深度图；
S4：评估投影彩色图像与相机采集的彩色图像间的重合程度投影误差；
S5：若投影误差不满足要求则重新进行标定。需要说明的是，本步骤中对于标定是指上述深度相机和激光全站仪包括内外参标定。具体的，针对架设深度相机、激光全站仪包括内外参标定步骤，
采用棋盘标定板标定相机的内参(fx,fy,u0,v0,k1,k2,k3,k4,k5)；
将棋盘标定板置于深度相机前，获取相机去畸变后的图像，并检测棋盘格的角点在图像坐标系下的坐标为(ucc,vcc)；
激光全站仪通过打点获得对应角点在全站仪坐标系下的坐标(xqc,yqc,zqc)，
更换棋盘格位姿基于针孔相机模型与投影模型：
通过最小化投影误差进行激光全站仪坐标到相机坐标系的外参的标定/>
S6：若投影误差满足要求则可对相机采集的深度图与全站仪投影所得的深度图进行逐像素的对比评估，计算深度相机深度估计的误差情况。
进一步的，本实施例中投影误差包括以下比对步骤，
对比激光全站仪投影的彩色图像与实际相机输出的彩色图像；
确认图像基本重合则可判定内外参标定误差能够接受，激光全站仪扫场点云投影正确，真值具备可信度则进行下一步对比评价；
若图像不重合则为内外参标定存在问题需要重新标定，否则评价存在明显偏差。
针对深度相机输出的深度图，找出其中所有缺省值，并统计缺省数量为N，基于下式计算深度图中有效值的占比P：
其中H和W为图像的高和宽，并记录下缺省值位置的信息，并按像素位置直接对比深度误差值，按下式计算平均误差：
其中为相机输出的深度图中非缺省值的为1、/>为全站仪投影深度图中非缺省值的为1、dc(u,v)为相机深度图上(u,v)处的深度值、dq(u,v)为全站仪投影深度图上(u,v)处的深度值；
将投影的图与相机拍摄的原图做cannny边缘检测，取其边缘检测结果的并集，作为边缘点集，对点集中所有的边缘点按3x3大小作为其邻域，对边缘点邻域内的结果不进行误差评价，
其中，1noedge为像素点不落在边缘点邻域内时为1；
通过获取多张深度图进行平均可得到其在该场景平均深度估计性能；
变换场景重复上述试验可以计算不同难度场景以及不同环境下的深度相机的深度估计性能。
进一步的，更加具体的，本实施例基于深度相机深度估计性能的测试方法，更加完整的说明如下：
首先根据应用的需求与实际的场景使用相关的道具构建静态的场景，并记录下相关的环境参数，并标记不少于3个全站仪的坐标系控制点，确定合适的观测点位置；
将激光全站仪架设在观测点位置处，基于标记的控制点建立激光全站仪的坐标系，根据相机的视角选取能够覆盖相机观测视角的区域进行扫场，得到场景内各点在激光全站仪坐标系下的三维坐标与RGB三通道色彩信息记为(xq,yq,zq,Rq,Gq,Bq)；
将激光全站仪挪开并基于标记的控制点重新架站，使此时激光全站仪观测的坐标系与扫场时仍为同一坐标系下，将深度相机架设到观测点处并固定，尽可能使深度相机待评价的那一目与激光全站仪具有相似的视角，避免引入因单视角扫场观测不全带来的偏差，如使用多视角扫场获得场景全视角的点云图则可不受此约束；
采用棋盘标定板或其他标定板标定相机的内参(fx,fy,u0,v0,k1,k2,k3,k4,k5)，将标定板置于相机前，获取相机去畸变后的图像，并检测棋盘格的角点在图像坐标系下的坐标为(ucc,vcc)，激光全站仪通过打点获得对应角点在全站仪坐标系下的坐标(xqc,yqc,zqc)，更换棋盘格位姿基于针孔相机模型与投影模型：
通过最小化投影误差进行激光全站仪坐标到相机坐标系的外参的标定/>通过：
将激光全站仪彩色点云转换到相机坐标系下，再将相机坐标系下的点云坐标投影到图像坐标下：
并对落于同一像素点的多个点取近景的数据作为该像素点对应的数据，得到激光全站仪投影的深度图与对应的彩色图像。将标定板移出相机视野，使此时场景与扫场时的场景基本一致，控制相机输出对应的畸变校正后的彩色图像与深度图；
对比激光全站仪投影的彩色图像与实际相机输出的彩色图像，确认图像基本重合则可判定内外参标定误差可接受，激光全站仪扫场点云投影正确，真值具备一定的可信度可进行下一步对比评价，如图像不重合则为内外参标定存在问题需要重新标定，否则评价存在明显偏差；
对相机输出的深度图，找出其中所有缺省值，并统计缺省数量为N，基于式：
计算深度图中有效值的占比P，其中H和W为图像的高和宽，并记录下缺省值位置的信息按像素位置直接对比深度误差值，按
计算平均误差，其中为相机输出的深度图中非缺省值的为1，/>为全站仪投影深度图中非缺省值的为1，dc(u,v)为相机深度图上(u,v)处的深度值，dq(u,v)为全站仪投影深度图上(u,v)处的深度值；
考虑到激光全站仪投影的结果由于内外参标定精度的影响不可避免的存在着一定程度的误差，而这些误差大多出现在边缘处，将投影的图与相机拍摄的原图做cannny边缘检测，取其边缘检测结果的并集，作为边缘点集，对点集中所有的边缘点按3x3大小作为其邻域，对边缘点邻域内的结果不进行误差评价：
其中1noedge为像素点不落在边缘点邻域内时为1；通过获取多张深度图进行平均可得到其在该场景平均深度估计性能；变换场景重复上述试验可以计算不同难度场景以及不同环境下的深度相机的深度估计性能。
实施例2
参照图2的示意，图中示意出激光全站仪100、测试场景200、深度相机300、上位机400、棋盘标定板500、环境控制装置600。本实施例中提出一种基于深度相机深度估计性能的测试系统，包括深度相机300、计算机以及激光全站仪100。更加具体的，深度相机300为待测传感器，能够获取深度图、彩色或黑白图像；计算机(即上位机400)用于采集深度相机输出的图像与深度信息，能够进行标定与数据分析处理的设备，且计算机搭载与深度相机300采集的相关SDK与代码、内外参标定的算法代码、全站仪数据读取与分析的相关代码以及进行数据处理与深度图评价的相关算法代码；激光全站仪100用于获取真值的仪器设备，能够扫场场景获取精确的彩色三维点云坐标，且测距范围不低于1km、静态测距精度不低于1.5mm+2×10-6D/2.4s以及角分辨率不低于3”。
进一步的，本实施例还包括棋盘标定板500和环境控制装置600。具体的，棋盘标定板500，用于全站仪与深度相机300间的外参标定，且用于深度相机300内参标定的道具；环境控制装置600，为模拟光照环境变量的控制装置，能够提供应用场景的相关环境量的模拟。当然不难理解的是，本实施例还包括场景道具，其为深度相机300观测以及全站仪扫场的对象，可复现遮挡、透视等多种难度的场景，以及用以固定相机的相机支架。
针对本实施例基于深度相机深度估计性能的测试系统的具体测试过程，此处结合市面上的三款深度相机进行，其中一款为彩色相机的双目进行深度估计，一款为使用灰度相机的双目进行深度估计，另一款为结合彩色相机的双目与结构光一起进行深度估计。
测试使用的流程如下：
根据深度相机300的应用场景或者理论上的具有难度的影响因素，进行测试场景200设计与环境布置，构造具有典型性针对性的场景；
激光全站仪100根据场地内预先设置的控制点进行架站，建立全站仪坐标系，并根据相机视角大小选择合适尺寸空间进行扫场，获得场景的彩色点云数据；
将激光全站仪100移动位置，并根据控制点重新架站；
深度相机300进行内参标定，并将相机架设到全站仪扫场所在位置；
使用棋盘标定板500，置入场景中，进行全站仪与相机的联合标定外参；
将棋盘标定板500移出相机视野，进行数据采集，保存下彩色图与深度图；
将全站仪扫场获得的点云数据根据标定的内外参进行反向投影得到投影的彩色图像与深度图，评估彩色图像与相机采集的彩色图像之间的重合程度投影误差；
若投影误差不满足要求则重新进行标定；
若投影误差满足要求则可对相机采集的深度图与全站仪投影所得的深度图进行逐像素的对比评估，计算深度相机300深度估计的误差情况；
已有的场景测试是否满足测试的需求，如不满足则更换场景重复上述步骤，如满足则输出再各类场景下的深度估计误差情况。
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
如在本申请所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号，以本地和/或远程过程的方式进行通信。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (9)
1.一种基于深度相机深度估计性能的测试方法，其特征在于：包括，
构建场景并架设深度相机、激光全站仪；
所述深度相机进行场景的数据采集，并保存彩色图与深度图；
所述激光全站仪扫场获取点云数据并根据标定的内外参进行反向投影，得到投影的彩色图像与深度图；
评估投影彩色图像与相机采集的彩色图像间的重合程度投影误差；
若所述投影误差不满足要求则重新进行标定；
若所述投影误差满足要求则可对相机采集的深度图与全站仪投影所得的深度图进行逐像素的对比评估，计算所述深度相机深度估计的误差情况
深度图对比评估包括以下步骤，
所述深度相机输出的深度图，找出其中所有缺省值，并统计缺省数量为N，基于下式计算深度图中有效值的占比P：
其中H和W为图像的高和宽，并记录下缺省值位置的信息，并按像素位置直接对比深度误差值，按下式计算平均误差：
其中为相机输出的深度图中非缺省值的为1、/>为全站仪投影深度图中非缺省值的为1、dc(u,v)为相机深度图上(u,v)处的深度值、dq(u,v)为全站仪投影深度图上(u,v)处的深度值；
将投影的图与相机拍摄的原图做cannny边缘检测，取其边缘检测结果的并集，作为边缘点集，对点集中所有的边缘点按3x3大小作为其邻域，对边缘点邻域内的结果不进行误差评价，
其中，1noedge为像素点不落在边缘点邻域内时为1；
通过获取多张深度图进行平均可得到其在该场景平均深度估计性能；
变换场景重复上述试验可以计算不同难度场景以及不同环境下的深度相机的深度估计性能。
2.如权利要求1所述的基于深度相机深度估计性能的测试方法，其特征在于：构建场景并架设深度相机、激光全站仪，包括以下步骤，
构建静态的场景并确定观测点位置；
将所述激光全站仪架设于所述观测点位置处，建立激光全站仪坐标系，并根据深度相机视角大小选择目标尺寸空间进行扫场，获取场景的彩色点云数据；
移动所述激光全站仪并根据控制点重新架站；
所述深度相机进行内参标定，并架设到全站仪扫场所在位置；
使用棋盘标定板并置入所述场景中，进行所述激光全站仪与所述深度相机的联合标定外参。
3.如权利要求1或2所述的基于深度相机深度估计性能的测试方法，其特征在于：所述构建场景包括以下步骤，
根据需求与实际场景使用相关的道具构建静态的场景；
记录下相关的环境参数，并标记至少3个所述激光全站仪的坐标系控制点，并确定目标观测点位置。
4.如权利要求3所述的基于深度相机深度估计性能的测试方法，其特征在于：所述获取点云数据包括，
将所述激光全站仪架设在所述观测点位置处；
基于标记的所述控制点建立激光全站仪坐标系；
根据相机的视角选取能够覆盖相机观测视角的区域进行扫场，得到所述场景内各点在所述激光全站仪坐标系下的三维坐标与RGB三通道色彩信息记为(xq,yq,zq,Rq,Gq,Bq)。
5.如权利要求4所述的基于深度相机深度估计性能的测试方法，其特征在于：所述架设深度相机、激光全站仪包括内外参标定步骤，
采用棋盘标定板标定相机的内参(fx,fy,u0,v0,k1,k2,k3,k4,k5)；
将所述棋盘标定板置于深度相机前，获取相机去畸变后的图像，并检测棋盘格的角点在图像坐标系下的坐标为(ucc,vcc)；
激光全站仪通过打点获得对应角点在全站仪坐标系下的坐标(xqc,yqc,zqc)，
更换棋盘格位姿基于针孔相机模型与投影模型：
通过最小化投影误差进行所述激光全站仪坐标到相机坐标系的外参的标定/>
6.如权利要求4或5所述的基于深度相机深度估计性能的测试方法，其特征在于：所述场景采集包括，
通过将激光全站仪彩色点云转换到相机坐标系下；
再将相机坐标系下的点云坐标投影到图像坐标下，并对落于同一像素点的多个点取近景的数据作为该像素点对应的数据，得到激光全站仪投影的深度图与对应的彩色图像；
将标定板移出相机视野，使当前场景与扫场时的场景一致，控制相机输出对应的畸变校正后的彩色图像与深度图。
7.如权利要求6所述的基于深度相机深度估计性能的测试方法，其特征在于：所述投影误差包括以下比对步骤，
对比激光全站仪投影的彩色图像与实际相机输出的彩色图像；
确认图像基本重合则可判定内外参标定误差能够接受，所述激光全站仪扫场点云投影正确，真值具备可信度则进行下一步对比评价；
若图像不重合则为内外参标定存在问题需要重新标定，否则评价存在明显偏差。
8.一种采用如权利要求1～7任一所述的基于深度相机深度估计性能的测试系统，其特征在于：包括深度相机、计算机以及激光全站仪；
所述深度相机为待测传感器，能够获取深度图、彩色或黑白图像；
所述计算机用于采集所述深度相机输出的图像与深度信息，能够进行标定与数据分析处理的设备，且所述计算机搭载与所述深度相机采集的相关SDK与代码、内外参标定的算法代码、全站仪数据读取与分析的相关代码以及进行数据处理与深度图评价的相关算法代码；
所述激光全站仪用于获取真值的仪器设备，能够扫场场景获取精确的彩色三维点云坐标，且测距范围不低于1km、静态测距精度不低于1.5mm+2×10-6D/2.4s以及角分辨率不低于3”。
9.如权利要求8所述的基于深度相机深度估计性能的测试系统，其特征在于：还包括棋盘标定板和环境控制装置；
所述棋盘标定板，用于全站仪与深度相机间的外参标定，且用于所述深度相机内参标定的道具；
所述环境控制装置，为模拟光照环境变量的控制装置，能够提供应用场景的相关环境量的模拟。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010818390.9A CN112102387B (zh) | 2020-08-14 | 2020-08-14 | 一种基于深度相机深度估计性能的测试方法与测试系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010818390.9A CN112102387B (zh) | 2020-08-14 | 2020-08-14 | 一种基于深度相机深度估计性能的测试方法与测试系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112102387A CN112102387A (zh) | 2020-12-18 |
| CN112102387B true CN112102387B (zh) | 2024-01-26 |
Family
ID=73753803
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010818390.9A Active CN112102387B (zh) | 2020-08-14 | 2020-08-14 | 一种基于深度相机深度估计性能的测试方法与测试系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112102387B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112881999B (zh) * | 2021-01-25 | 2024-02-02 | 上海西虹桥导航技术有限公司 | 一种用于多线激光雷达与视觉传感器的半自动标定方法 |
| CN115379194A (zh) * | 2021-05-19 | 2022-11-22 | 北京小米移动软件有限公司 | 深度图像的量化方法及装置、终端设备、存储介质 |
| CN113781661B (zh) * | 2021-09-13 | 2023-06-27 | 太仓中科信息技术研究院 | 面向沉浸式场景的多投影空间布局评估方法和系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9013543B1 (en) * | 2012-11-14 | 2015-04-21 | Google Inc. | Depth map generation using multiple scanners to minimize parallax from panoramic stitched images |
| CN108489496A (zh) * | 2018-04-28 | 2018-09-04 | 北京空间飞行器总体设计部 | 基于多源信息融合的非合作目标相对导航运动估计方法及系统 |
| CN109461180A (zh) * | 2018-09-25 | 2019-03-12 | 北京理工大学 | 一种基于深度学习的三维场景重建方法 |
| CN110390719A (zh) * | 2019-05-07 | 2019-10-29 | 香港光云科技有限公司 | 基于飞行时间点云重建设备 |
-
2020
- 2020-08-14 CN CN202010818390.9A patent/CN112102387B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9013543B1 (en) * | 2012-11-14 | 2015-04-21 | Google Inc. | Depth map generation using multiple scanners to minimize parallax from panoramic stitched images |
| CN108489496A (zh) * | 2018-04-28 | 2018-09-04 | 北京空间飞行器总体设计部 | 基于多源信息融合的非合作目标相对导航运动估计方法及系统 |
| CN109461180A (zh) * | 2018-09-25 | 2019-03-12 | 北京理工大学 | 一种基于深度学习的三维场景重建方法 |
| CN110390719A (zh) * | 2019-05-07 | 2019-10-29 | 香港光云科技有限公司 | 基于飞行时间点云重建设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112102387A (zh) | 2020-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112102387B (zh) | 一种基于深度相机深度估计性能的测试方法与测试系统 | |
| JP6363863B2 (ja) | 情報処理装置および情報処理方法 | |
| US10578426B2 (en) | Object measurement apparatus and object measurement method | |
| EP1343332A2 (en) | Stereoscopic image characteristics examination system | |
| US20130046506A1 (en) | Three-dimensional measurement apparatus, three-dimensional measurement method, and storage medium | |
| US20150178908A1 (en) | Method for capturing the three-dimensional surface geometry of objects | |
| JP2001320652A (ja) | プロジェクタ装置 | |
| JP2016225953A (ja) | カメラのキャリブレーション装置、カメラシステム及び、カメラのキャリブレーション方法 | |
| JP2008058264A (ja) | 実河川を対象とした流速観測装置、流速観測方法，および流速観測プログラム | |
| JPWO2019172351A1 (ja) | 物体同定装置、物体同定システム、物体同定方法およびコンピュータプログラム | |
| RU2479828C2 (ru) | Стереоскопическая измерительная система и способ | |
| CN116630444A (zh) | 一种相机与激光雷达融合校准的优化方法 | |
| JP5494267B2 (ja) | 三次元形状計測装置、三次元形状計測装置のキャリブレーション方法、およびロボット装置 | |
| CN114792345A (zh) | 一种基于单目结构光系统的标定方法 | |
| CN108917722B (zh) | 植被覆盖度计算方法及装置 | |
| JP2008281481A (ja) | 解像測定装置及び方法 | |
| JP6921036B2 (ja) | レーザ較正装置、その較正方法、及びレーザ較正装置を含む画像入力装置 | |
| CN116743973A (zh) | 无感投影图像自动校正方法 | |
| JP2007033040A (ja) | 光切断法による３次元形状計測装置における光学ヘッド部のキャリブレーション方法及び装置 | |
| CN116091624A (zh) | 线阵相机标定方法、装置、终端设备及存储介质 | |
| CN112734857B (zh) | 相机内参和相机相对激光雷达外参的标定方法及电子设备 | |
| CN112254669B (zh) | 一种多偏置角度的智能视觉3d信息采集设备 | |
| JP6426295B2 (ja) | 測距装置、測距方法、及び測距プログラム | |
| RU2452992C1 (ru) | Стереоскопическая измерительная система и способ | |
| CN114359401A (zh) | 一种标定方法、系统及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |