CN110322518A - 立体匹配算法的评价方法、评价系统及测试设备 - Google Patents

立体匹配算法的评价方法、评价系统及测试设备 Download PDF

Info

Publication number
CN110322518A
CN110322518A CN201910604865.1A CN201910604865A CN110322518A CN 110322518 A CN110322518 A CN 110322518A CN 201910604865 A CN201910604865 A CN 201910604865A CN 110322518 A CN110322518 A CN 110322518A
Authority
CN
China
Prior art keywords
dimensional
circular
calibrating parameters
flat image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910604865.1A
Other languages
English (en)
Other versions
CN110322518B (zh
Inventor
谢青青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Autel Intelligent Aviation Technology Co Ltd
Original Assignee
Shenzhen Autel Intelligent Aviation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Autel Intelligent Aviation Technology Co Ltd filed Critical Shenzhen Autel Intelligent Aviation Technology Co Ltd
Priority to CN201910604865.1A priority Critical patent/CN110322518B/zh
Publication of CN110322518A publication Critical patent/CN110322518A/zh
Application granted granted Critical
Publication of CN110322518B publication Critical patent/CN110322518B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例涉及一种立体匹配算法的评价方法、评价系统及测试设备。该评价方法包括：获取采样区域的三维信息以及平面图像；根据若干个标定参数，确定所述平面图像与所述三维信息之间的对应关系；使用立体匹配算法，计算所述平面图像的深度估计值；根据所述深度估计值以及对应的所述三维信息的比较结果，确定所述立体匹配算法的评估结果。该方法利用拍摄深度信息的相机和预先设定的标定参数，可以直接获得当前使用环境下的实际深度信息作为参照，避免了公开数据集所存在的限制，令评价结果更为贴近实际。

Description

立体匹配算法的评价方法、评价系统及测试设备
【技术领域】
本发明涉及图像处理技术领域，尤其涉及一种立体匹配算法的评价方法、评价系统及测试设备。
【背景技术】
立体匹配算法的基本任务是找出在不同视角下获得的不同图像信息之间，各个像素点的对应关系。在已知这些对应关系的基础上，可以利用双目立体视觉的原理轻松的获得视差信息，以便于后续进一步获取原始图像的深度和立体信息。
随着技术的不断发展，涌现出了许多基于不同的立体匹配算法。这些立体匹配算法都有自己相应的适用数据场景和传感器硬件。如何在数量繁多的立体匹配算法中选择合适的算法，快速的完成参数调优等逐渐成为了立体匹配算法在实际应用过程的主要问题。
而在立体匹配算法选择和参数调优过程中，正确的对立体匹配算法进行评价是非常重要的组成部分。正确的评价结果能够很好的指引技术人员完成算法的选择和参数调优的工作。
但现有的立体匹配算法的评价方法依赖于包含有真值的公开数据集。这些公开数据集都是一些预先固定好的参数集合，无法与数据使用场景、传感器硬件等多种实际使用因素良好的契合，最终获得的评价结果可能无法很好的与实际使用场景相契合。
【发明内容】
为了解决上述技术问题，本发明实施例提供一种可以与实际使用场景贴近，获得正确评价结果的立体匹配算法的评价方法、评价系统及测试设备。
为解决上述技术问题，本发明实施例提供以下技术方案：一种立体匹配算法的评价方法。
该评价方法包括：获取采样区域的三维信息以及平面图像；根据若干个标定参数，确定所述平面图像与所述三维信息之间的对应关系；使用立体匹配算法，计算所述平面图像的深度估计值；根据所述深度估计值以及对应的所述三维信息的比较结果，确定所述立体匹配算法的评估结果
可选地，所述采样区域包括若干个空间点；所述三维信息为所述若干个空间点在三维坐标系中的坐标；所述平面图像为所述采样区域在无人机的拍摄装置的成像平面的投影。
可选地，所述根据若干个标定参数，确定所述采样区域的所述三维信息与所述平面图像之间的对应关系，包括：通过所述标定参数，将所述若干个空间点从所述三维坐标系转换至所述拍摄装置的坐标系；根据所述拍摄装置的内参矩阵，确定所述空间点在所述成像平面的投影位置。
可选地，所述标定参数包括：所述三维坐标系与所述拍摄装置的坐标系的坐标转换矩阵。
可选地，该方法还包括：确定所述标定参数。
可选地，所述确定所述标定参数包括：采集标靶的三维信息样本以及平面图像样本，所述标靶包括若干定位特征点；在所述三维信息样本和平面图像样本中，提取所述定位特征点；根据所述定位特征点的三维信息与平面图像信息，计算所述标定参数。
可选地，所述标靶上设置有若干个圆形通孔，所述定位特征点包括所述圆形通孔的圆心和半径。
可选地，所述在三维信息样本中提取所述定位特征点，包括：
检测所述空间点的深度，确定连续的所述空间点之间的深度变化大于预设突变阈值的突变范围；
在所述突变范围内，保留深度最小的空间点作为边界空间点；对所述边界空间点通过随机采样一致性算法，拟合获得拟合平面；对所述空间点通过随机采样一致性算法，拟合获得与所述圆形通孔数量相同的第一球体；获取所述拟合平面与所述第一球体的交集，作为所述圆形通孔的边界；根据所述圆形通孔的边界，获得所述圆形通孔在所述三维信息样本中的圆心和半径的第一计算值。
可选地，在所述获得所述圆形通孔在所述三维信息样本中的圆心和半径的第一计算值的步骤之后，该方法还包括：
判断所述圆心和半径的第一计算值是否与所述标靶的圆形通孔的圆心和半径相符；
若否，重新通过随机采样一致性算法，拟合获得包含最多所述空间点的第二球体；
剔除与所述第二球体的球心之间的距离大于筛选阈值的空间点；
对所述剩余的空间点通过随机采样一致性算法，拟合获得n-1个第三球体；n为所述圆形通孔的数量。
可选地，所述平面图像信息样本中提取所述定位特征点，具体包括：
通过索贝尔算子提取所述平面图像样本中的边缘信息；
对所述边缘信息通过霍夫变换检测算法，检测获得与所述圆形通孔数量相同的圆，作为所述圆形通孔的边界；
根据所述圆形通孔的边界，获得所述圆形通孔在所述平面图像信息样本中的圆心以及半径的第二计算值。
可选地，所述根据所述定位特征点的三维信息与平面图像信息，计算所述标定参数，具体包括：
根据所述定位特征点的三维信息与平面图像信息，计算粗标定参数，其中，所述粗标定参数用于表示所述三维坐标系与所述拍摄装置的坐标系在三维方向上的平移量；
将所述粗标定参数调整为所述标定参数，其中，所述标定参数用于表示所述三维坐标系与所述拍摄装置的坐标系在三维方向上的平移量以及旋转量。
可选地，所述将所述粗标定参数调整为所述标定参数，包括：
确定在三维方向上的所述旋转量和所述平移量的搜索区间；
以设定的搜索间隔，依次计算在所述搜索区间内不同旋转量和平移量对应的代价值；
选择所述代价值最小的旋转量和平移量的组合作为所述标定参数。
可选地，所述三维信息包括激光雷达检测获得的点云数据或者深度摄像机拍摄获得的深度图。
本发明又一实施例提供以下技术方案：一种立体匹配算法的评价系统。该评价系统包括：
采集装置，所述采集装置包括用于采集三维信息的第一拍摄设备以及用于采集平面图像的第二拍摄设备；
立体匹配装置，所述立体匹配装置用于对所述第二拍摄设备采集的平面图像信息执行立体匹配算法，计算所述平面图像的深度信息估计值；
信息转换装置，所述信息转换装置用于根据标定参数，确定所述平面图像与所述三维信息之间的对应关系，获得所述平面图像的深度信息标准值；
评价装置，所述评价装置用于比较所述深度信息估计值和所述深度信息标准值，获得所述立体匹配算法的评价结果。
可选地，所述采样区域包括若干个空间点，所述三维信息为所述若干个空间点在三维坐标系中的坐标，所述平面图像为所述采样区域在无人机的拍摄装置的成像平面的投影；
所述信息转换装置还用于：通过所述标定参数，将所述若干个空间点从所述三维坐标系转换至所述拍摄装置的坐标系；
根据所述拍摄装置的内参矩阵，确定所述空间点在所述成像平面的投影位置。
可选地，该系统还包括：标定装置，用于确定所述标定参参数，所述标定参数包括：所述三维坐标系与所述拍摄装置的坐标系的坐标转换矩阵。
可选地，所述标定装置包括：
样本采集单元，用于采集标靶的三维信息样本以及平面图像样本，所述标靶包括若干定位特征点；其中，所述标靶上设置有若干个圆形通孔，所述定位特征点包括所述圆形通孔的圆心和半径；
特征提取单元，用于在所述三维信息样本和平面图像样本中，提取所述定位特征点；
标定参数计算单元，用于根据所述定位特征点的三维信息与平面图像信息，计算所述标定参数。
可选地，所述样本采集单元具体用于：
检测所述空间点的深度，确定连续的所述空间点之间的深度变化大于预设突变阈值的突变范围；
在所述突变范围内，保留深度最小的空间点作为边界空间点；
对所述边界空间点通过随机采样一致性算法，拟合获得拟合平面；
对所述空间点通过随机采样一致性算法，拟合获得与所述圆形通孔数量相同的第一球体；
获取所述拟合平面与所述第一球体的交集，作为所述圆形通孔的边界；
根据所述圆形通孔的边界，获得所述圆形通孔在所述三维信息样本中的圆心和半径的第一计算值。
可选地，所述标定装置还包括采样优化单元；
所述采样优化单元用于：判断所述圆心和半径的第一计算值是否与所述标靶的圆形通孔的圆心和半径相符；
若否，重新通过随机采样一致性算法，拟合获得包含最多所述空间点的第二球体；
剔除与所述第二球体的球心之间的距离大于筛选阈值的空间点；
对所述剩余的空间点通过随机采样一致性算法，拟合获得n-1个第三球体；n为所述圆形通孔的数量。
可选地，所述特征提取单元具体用于：
通过索贝尔算子提取所述平面图像样本中的边缘信息；
对所述边缘信息通过霍夫变换检测算法，检测获得与所述圆形通孔数量相同的圆，作为所述圆形通孔的边界；
根据所述圆形通孔的边界，获得所述圆形通孔在所述平面图像信息样本中的圆心以及半径的第二计算值。
可选地，所述标定参数计算单元包括粗计算单元和校正单元：
所述粗计算单元用于：根据所述定位特征点的三维信息与平面图像信息，计算粗标定参数，其中，所述粗标定参数用于表示所述三维坐标系与所述拍摄装置的坐标系在三维方向上的平移量；
所述校正单元用于：将所述粗标定参数调整为所述标定参数，其中，所述标定参数用于表示所述三维坐标系与所述拍摄装置的坐标系在三维方向上的平移量以及旋转量。
可选地，所述校正单元具体用于：确定在三维方向上的所述旋转量和所述平移量的搜索区间；以设定的搜索间隔，依次计算在所述搜索区间内不同旋转量和平移量对应的代价值；选择所述代价值最小的旋转量和平移量的组合作为所述标定参数。
可选地，所述第一拍摄装置为激光雷达或者深度摄像机。本发明又一实施例提供以下技术方案：一种非易失性计算机可读存储介质。所述非易失性计算机可读存储介质存储有可执行计算机程序指令，所述可执行计算机程序指令被调用时，执行如上所述的评价方法。
本发明又一实施例提供以下技术方案：一种测试设备。该测试设备包括：处理器以及与所述处理器通信连接的存储器；所述存储器内存储有计算机可执行程序指令，所述计算机可执行程序指令被调用时，以使所述处理器执行如上所述的评价方法，获得立体匹配算法的评价结果。
与现有技术相比较，本发明实施例提供的立体匹配算法的评价方法利用拍摄深度信息的相机和预先设定的标定参数，可以直接获得当前使用环境下的实际深度信息作为参照，避免了公开数据集所存在的限制，令评价结果更为贴近实际。
【附图说明】
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1为本发明实施例提供的评价系统的结构示意图；
图2为本发明实施例提供的测试设备的结构示意图；
图3为本发明实施例提供的评价方法的方法流程图；
图4为本发明实施例提供的空间点在成像平面的投影示意图；
图5为本发明实施例提供的图4所示的步骤320的方法流程图；
图6为本发明实施例提供的确定标定参数的方法流程图；
图7为本发明实施例提供的在三维信息样本中提取定位特征点的示意图；
图8为本发明实施例提供的图6所示的步骤630的方法流程图；
图9为本发明实施例提供的标靶的示意图；
图10为本发明另一实施例提供的评价系统的结构示意图。
【具体实施方式】
为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。需要说明的是，当元件被表述“固定于”另一个元件，它可以直接在另一个元件上、或者其间可以存在一个或多个居中的元件。当一个元件被表述“连接”另一个元件，它可以是直接连接到另一个元件、或者其间可以存在一个或多个居中的元件。本说明书所使用的术语“上”、“下”、“内”、“外”、“底部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
此外，下面所描述的本发明不同实施例中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
立体匹配(stereo matching)是从不同视点的图像中找出匹配的像素点的过程。具体而言，假设空间景物的任意一点M在两个(或两个以上)摄像机成像面上的投影点为ml和mr。那么ml和mr被称为对应点(Correspondence)。求取两个摄像机像平面之间对应点的过程就是立体匹配。
基于对应像素点的匹配关系，可以获得视差信息以帮助重建图像的三维立体信息。在本说明书中，该三维立体信息通常又可以被称为“深度信息”或者“深度值”。其表示了特定空间点与拍摄装置之间的距离，可以用于唯一的确定该点在空间中的具体位置。
由此，立体匹配算法的评价结果主要取决于立体匹配算法计算出的深度估计值与实际的深度信息之间的差距或者距离。可以理解的是，深度估计值与实际深度信息的差距越小，立体匹配算法的效果越好。反之，深度估计值与实际深度信息之间存在较大差别时，对立体匹配算法的评价较低。
图1为本发明实施例提供的立体匹配算法的评价系统。该评价系统具有的其中一个技术效果是能够适应性的生成与实际情况相符的标准深度值。
如图1所示，该评价系统包括：采集装置110，立体匹配装置120，信息转换装置130以及评价装置140。
其中，所述采集装置110包括用于采集三维信息的第一拍摄设备以及用于采集平面图像的第二拍摄设备。
具体的，第一拍摄设备和第二拍摄设备分别可以采用任何类型，具有符合使用要求的性能参数的拍摄装置。例如，该第一拍摄设备可以是具有合适使用性能的激光雷达，该第二拍摄设备则可以是具有足够分辨率的小型相机。
在另一些实施例中，采集装置110还可以进一步的增加一些额外的设备或者装置。例如，用于固定第一拍摄设备和第二拍摄设备的固定支架或者控制第一拍摄设备和第二拍摄设备进行数据采集和拍摄的触发装置。
第一拍摄设备和第二拍摄设备在整个评价系统中所处的位置是固定不变的。由此，两者采集获得的数据之间存在恒定的转换关系，可以通过预先进行的标定过程完成。
所述立体匹配装置120与采集装置110连接，用于接收采集获得的平面图像，并对所述第二拍摄设备采集的平面图像执行立体匹配算法，以计算所述平面图像的深度信息估计值。
典型的，通过立体匹配算法可以计算获得平面图像在每个像素点的视差值。然后，依据各个像素点的视差值可以相应的计算出深度信息。在本说明书中，将通过立体匹配算法计算获得的深度信息称为“深度信息估计值”，与该像素点实际的深度信息相区别。
所述信息转换装置130与所述采集装置110连接。其可以接收三维信息和平面图像，并根据预先确定的标定参数，确定所述平面图像与所述三维信息之间的对应关系，获得所述平面图像的深度信息标准值。
如上所记载的，第一拍摄设备和第二拍摄设备之间的相对位置关系是不变的。因此，在采集过程中，采集区域内某个特定的空间点在第二拍摄装置的成像平面上的投影位置是可以唯一确定的。反之，在平面图像中的某个像素点也可以据此确定其在真实的三维立体世界内的具体位置。
由于三维信息转换获得的深度信息直接来源于三维信息的第一拍摄设备，不是间接测定或者计算获得的。因此，在标定参数可靠，转换关系正确的前提下，具有非常高的置信度，可以作为真值使用。这样的，在本说明书中，将由三维信息通过标定参数转换后获得的深度信息称为“深度信息标准值”，作为评估立体匹配算法的标准。
所述评价装置140分别与所述信息转换装置130和所述立体匹配装置12-连接，用于接收所述深度信息估计值和所述深度信息标准值，并通过对两者的比较来获得所述立体匹配算法的评价结果。
评价装置140以深度信息标准值为评判的标准，具体可以选用任何类型的比较和统计方式，确定立体匹配算法与实际情况的偏差程度，并以一种或者多种形式，输出展示具体的偏差程度作为具体的评价结果。
例如，评价装置140可以逐个像素点的统计深度信息估计值与深度信息标准值之间的欧式距离。然后判断整个平面图像的欧式距离的平均值所处的区间并输出最终的评价结果。
该区间可以根据实际经验预先划定，例如划分为优秀、良好、可用以及不可用等四个不同评价结果的区间。
请继续参阅图1，在一些实施例中，同处于虚线框内的立体匹配装置120、信息转换装置130以及评价装置140中的两个或者全部可以集成整合在同一个设备或者装置内，执行相应的功能。
在另一些实施例中，所述立体匹配装置120、信息转换装置130以及评价装置140还可以分别独立设置在不同的设备或者装置内。不同的设备或者装置之间存在通信连接，可以实现两者之间的数据交互以执行相应的功能。
应当说明的是，图1所示的评价系统以功能框图为例，详细的描述了本发明实施例提供的立体匹配装置120、信息转换装置130以及评价装置140。本领域技术人员根据说明书揭露的发明思想以及立体匹配装置120、信息转换装置130以及评价装置140所要执行的步骤和实现的功能，可以根据实际情况的需求(例如芯片功耗、发热的限制、硅片成本或者芯片的体积等)可以选择使用软件、硬件或者软硬件结合的方式实现。例如，使用更多的软件部分可以降低芯片的成本和占用的电路面积，并且便于修改。而使用更多的硬件电路实现可以提高可靠性和运算速度。
图2为本发明实施例提供的测试设备的结构框图。本发明实施例的立体匹配装置120、信息转换装置130以及评价装置140可以由所述电子设备所执行。如图2所示，该电子设备20可以包括：处理器21以及存储器22。
所述处理器21以及存储器22之间通过总线的方式，建立两者之间的通信连接。
处理器21可以为任何类型，具备一个或者多个处理核心的片上电路。其可以执行单线程或者多线程的操作，用于解析指令以执行获取数据、执行逻辑运算功能以及下发运算处理结果等操作。在一些实施例中，处理器21还可以具有若干数据接口，可以配置形成数据输入端或者输出端。
存储器22作为一种非易失性计算机可读存储介质，例如至少一个磁盘存储器件、闪存器件、相对于处理器21远程设置的分布式存储设备或者其他非易失性固态存储器件。
存储器22可以具有程序存储区，用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，供处理器21调用以使处理器21执行一个或者多个方法步骤，实现立体匹配装置120、信息转换装置130以及评价装置140的功能。存储器22还可以具有数据存储区，用以存储处理器21下发输出的运算处理结果。
基于本发明实施例提供的评价系统，本发明实施例还提供了一种立体匹配算法的评价方法。该评价方法可以灵活的提供实际深度信息用于进行立体匹配算法的评价，突破了现有带有真值的公开数据集合所存在的限制。
图3为本发明实施例提供的立体匹配算法。如图3所示，该立体匹配算法包括如下步骤：
310、获取采样区域的三维信息以及平面图像。
“采样区域”具体可以是任何大小或者面积的特定区域。其具体取决于采集三维信息的和平面图像的设备。三维信息和平面图像可以分别来自于不同的设备，只需要能够获得采样区域的三维信息和二维图像信息即可。例如，通过激光雷达采集获得的点云数据作为所述三维信息。在另一些实施例中，若处于室内场景，也可以使用测距范围较小的深度摄像机拍摄获得的深度图作为所述三维信息。
该平面图像则可以简单的通过摄像机等拍摄装置获得。较佳的，可以直接使用拍摄作为立体匹配算法的运算基础的图像信息的拍摄装置来采集采样区域的平面图像。
具体的，该采样区域具体可以看作若干个空间点组成。相应地，所述三维信息为所述空间点在三维坐标系中的坐标，所述平面图像则由所述采样区域的各个空间点在成像平面上的投影所组成。
320、根据若干个标定参数，确定所述平面图像与所述三维信息之间的对应关系。
如图4所示的，在三维系统中的空间点在成像平面的投影关系可以看到，平面图像与三维信息之间根据实际的采集设备位置，采集设备的拍摄参数等实际情况，具有相应的几何约束。
在本说明书中，通过一个或者多个标定参数来定义所述空间点的三维信息与在平面图像上的投影位置之间存在的几何约束。该标定参数可以通过预先进行的标定过程，基于一些先验知识而测量确定。具体需要使用的一个或者多个标定参数可以根据实际的采集设备设置情况以及测量方式等所确定。
在已知标定参数的情况下，便可以确定三维信息与平面图像之间的对应关系，实现三维信息到平面图像的转换并最终得到该平面图像中，特定位置(例如某个像素点)的实际深度信息。
330、使用立体匹配算法，计算所述平面图像的深度估计值。
该立体匹配算法具体可以是任何类型的，待评价或者评估的立体匹配算法。其由相应的电子计算平台(例如个人电脑、服务器等)执行以获得同一平面图像的深度估计值。
340、根据所述深度估计值以及对应的所述三维信息的比较结果，确定所述立体匹配算法的评估结果。
如上实施例所公开的，三维信息和标定参数提供了在平面图像上各个像素位置的实际深度信息。由此，只需要对平面图像中各个像素位置的深度估计值和实际深度信息进行比较。然后，根据实际情况的需要，选用相应的统计方法或者策略(例如平均值、方差或者标准差等)统计这些差异即可获得最终的评估结果。
具体的评估结果取决于实际情况的需要，在本实施例中不作具体的限定。例如，可以设置特定的差距阈值，在统计差异大于该差距阈值时，判定所述立体匹配算法的评估结果为“可使用”。而在统计差异小于差距阈值时，判定所述立体匹配算法的评估结果为“不可使用”等。在另一些实施例中，还可以根据差异的多少，划分为多个不同级别来表示所述评估结果，例如包括及格、良好、优秀等三个不同级别的评估结果。
图5为本发明实施例提供的步骤120的方法流程图。以下结合图4所示的空间点投影原理以及图5所示的方法流程，详细描述利用一个或者多个标定参数实现三维信息到平面图像之间的转换。如图5所示，所述方法包括：
321、通过所述标定参数，将所述空间点从所述三维坐标系转换至所述拍摄装置的坐标系。
在一些实施例中，该三维坐标系可能是采样空间所在的世界坐标系，也可能是采集空间点的三维信息的激光雷达的坐标系。其具体由实际采集的情况或者输出的三维信息数据所决定，能够表示空间点在立体空间中的位置即可。
拍摄装置的坐标系是以拍摄装置自身为坐标系原点的一个坐标系，其可以由三维坐标系通过平移和旋转后获得。利用已经预先确定的标定参数，可以将空间点的坐标从所述三维坐标系转换值所述拍摄装置的坐标系表示。
具体的，为了实现两个坐标系之间的相互转换，该标定参数可以包括所述三维坐标系与所述拍摄装置的坐标系的坐标转换矩阵。
该坐标转换矩阵是一个包含了在三维方向上的平移量和/或旋转量的矩阵。这些平移量和/或旋转量作为矩阵中的元素，可以方便的在矩阵运算中，将以某个坐标系表示的坐标转换至以另一个坐标系表示。
322、根据所述拍摄装置的内参矩阵，确定所述空间点在所述成像平面的投影位置。
请继续参阅图4，以所述拍摄装置的坐标系表示的空间点利用图4所示的投影成像原理以及图5所示的转换步骤，即可计算确定其在成像平面的投影位置。亦即，该空间点在平面图像上对应的像素位置。
由此，在依次对每一个空间点进行转换和投影解算以后，平面图像中各个像素位置对应的实际深度信息将可以被确定。
在一些实施例中，确定标定参数的标定过程是一个预先执行的步骤，其可以在进行评价前预先完成并被存储和记录。在另一些实施例中，该评价方法也可以通过合适并且可靠的标定过程来确定和提供准确的标定参数。
图6为本发明实施例提供的预先确定标定参数的标定过程的方法流程图。如图6所示，完整标定的过程包括：
610、采集标靶的三维信息样本以及平面图像样本。所述标靶包括若干定位特征点。
标靶是一个为确定标定参数而特别设置的，具有特定形状结构的可探测物。该可探测物可以被采集设备或者装置采集获得相应的三维信息样本和平面图像样本作为标定的基础数据。
在标定过程中，需要使用一些容易辨识，已知恒定的对应关系的空间点作为参照或者参考标记。在本实施例中，将标靶中作为参照或者参考标记的空间点称为“定位特征点”。
在一些实施例中，所述标靶可以是设置由若干个圆形通孔的平板。相应地，可以以这些圆形通孔的圆心和半径作为定位特征点。
620、在所述三维信息样本和平面图像样本中，提取所述定位特征点。
针对具体使用的定位特征点的特点(例如几何定义)，可以采用相应的提取方法分别进行提取，以确定定位特征点的三维信息和平面图像信息。
在一些实施例中，当所述定位特征点为圆心和半径时，可以采用如图7所示的方法，从三维信息样本中提取定位特征点：
701、检测所述空间点的深度，确定连续的所述空间点之间的深度变化大于预设突变阈值的突变范围。
标靶的边缘(包括通孔边缘以及标靶边缘)总是发生在深度发生剧烈变化的区域。例如，在使用激光雷达时，可以沿着激光检测线的方向来确定是否出现了深度突变的情况。
突变阈值是一个经验性数值，可以通过实验或者其它合适的方式，由本领域技术人员进行设置或者调整。
702、在所述突变范围内，保留深度最小的空间点作为边界空间点。
在本实施例中，深度较小的空间点与激光雷达等三维信息采集设备的距离更近。这样的，可以筛选突变范围内，深度更小的空间点视作标靶的边界或者边缘。
703、对所述边界空间点通过随机采样一致性算法，拟合获得拟合平面。
随机采样一致性算法(RANSAC)是一种利用寻找模型来拟合数据的方法。其在计算机视觉中被广泛应用，可以在大量异常数据或者异常数据较大时得到令人满意的结果。以筛选后的边界空间点为基础，拟合获得的拟合平面是标靶的一个表面。
704、对所述空间点通过随机采样一致性算法，拟合获得与所述圆形通孔数量相同的第一球体。
在激光雷达采集的点云数据中，进一步的进行拟合，可以获得与圆形通孔相对应的第一球体。具体拟合获得的第一球体的数量与圆形通孔的数量相同。
705、获取所述拟合平面与所述第一球体的交集，作为所述圆形通孔的边界。
在本实施例中，圆形通孔实际上就是第一球体在拟合平面上形成的投影。由此，拟合平面与第一球体的交集即为该圆形通孔的边界或者边缘。
706、根据所述圆形通孔的边界，获得所述圆形通孔在所述三维信息样本中的圆心和半径的第一计算值。
在已知圆形通孔的边界以后，可以方便的求解获得每个圆形通孔的圆形以及半径，从而实现定位特征点的提取操作。计算获得的圆心和半径的第一计算值即为在三维信息样本中的定位特征点信息。
较佳的，还可以新增第一计算值的检验步骤来提升提取结果的可靠性。请继续参阅图7，在步骤706之后，该检验步骤还包括：
707、判断所述圆心和半径的第一计算值是否与所述标靶的圆形通孔的圆心和半径相符。若是，结束检验，输出该第一计算值。若否，执行步骤708。
标靶的圆形通孔的圆心和半径是预先在制作标靶或者拍摄前对标靶进行测量后获得的先验知识，可以作为已知的标准以提供参考。
708、重新通过随机采样一致性算法，拟合获得包含最多所述空间点的第二球体。
该第二球体是算法拟合获得的，最有可能与任意一个圆形通孔对应的点云数据拟合结果。
709、剔除与所述第二球体的球心之间的距离大于筛选阈值的空间点。
“筛选阈值”是由标靶的圆形通孔的位置关系以及尺寸所决定。超出筛选阈值的空间点是从几何关系上来看，不可能属于圆形通孔所对应的球体的空间点。通过步骤709可以更好的改善拟合结果，避免一些错误空间点对拟合球体时的影响。
710、对所述剩余的空间点通过随机采样一致性算法，拟合获得n-1个第三球体。其中，n为所述圆形通孔的数量。
应当说明的是，第三球体和第二球体仅用于表示属于不同步骤拟合形成的球体。其同样表示了与圆形通孔相对应的球体。执行步骤710以后，可以获得更新后的球体拟合结果。
在另一些实施例中，在平面图像样本中提取定位特征点的操作可以通过如下方式实现：
首先，通过索贝尔算子提取所述平面图像样本中的边缘信息。索贝尔(sobel)算子是典型的图像边缘检测所使用的方法，可以有效的将平面图像中的边缘信息提取出来。
然后，对所述边缘信息通过霍夫变换检测算法，检测获得与所述圆形通孔数量相同的圆，作为所述圆形通孔的边界。霍夫变换(hough变换)检测算法是广泛应用在图像分析，用于辨别物件形状的方法，例如检测图像中的直线、圆或者椭圆等。
最后，在得到所述圆形通孔的边界以后，可以简便的获得所述圆形通孔在所述平面图像信息样本中的圆心以及半径的第二计算值，完成定位特征点的提取操作。
630、根据所述定位特征点的三维信息与平面图像信息，计算所述标定参数。
在本实施例中，该标定参数由坐标转换矩阵定义。坐标转换矩阵是是一个已知的模型或者函数，内含有一个或者多个未知，待求解的参数。
定位特征点具有唯一固定的特点。因此，每一个定位特征点实际上提供了某个空间点的三维信息和平面图像信息的对应关系。在实际的步骤执行过程中，将多个已知的三维信息与平面图像信息的对应关系(即各个定位特征点)代入坐标转换矩阵中即可求解矩阵中的未知参数。
在一些实施例中，这些未知参数也同样可以被称为“标定参数”。例如，在三维方向上的平移量或者旋转量。
具体可以使用多种不同的坐标转换矩阵计算方法来确定两个坐标系之间的转换关系。图8为本发明实施例提供的计算坐标转换矩阵的方法流程图。如图8所示，该坐标转换矩阵可以通过如下方式计算获得：
631、根据所述定位特征点的三维信息与平面图像信息，计算粗标定参数。
其中，所述粗标定参数用于表示所述三维坐标系与所述拍摄装置的坐标系在三维方向上的平移量。亦即，步骤631是一个粗标定计算过程，应用的计算模型暂时忽略两个坐标系之间存在的旋转量而仅考虑在三维方向上的平移量。
632、将所述粗标定参数校正为所述标定参数。
其中，所述标定参数用于表示所述三维坐标系与所述拍摄装置的坐标系在三维方向上的平移量以及旋转量。
具体的，可以通过代价值计算的方式来完成步骤632的校正过程。所述代价值由所述空间点根据所述标定参数计算确定的，在所述成像平面的投影位置与同一空间点在平面图像信息中的标准位置之间的距离确定。
由本实施例中的“代价值”的定义，可以得出该代价值实际上代表了空间点进行转换之后所存在的误差。考虑到总是期待坐标转换矩阵具有最小的转换误差。因此，可以代价值更小的坐标转换矩阵总是更优的选择。
在一些实施例中，使代价值最小的校正过程具体可以通过区间搜索的方式，按照如下步骤执行：
首先，确定所述在三维方向上的旋转量和平移量的搜索区间。该搜索区间是通过大致估计等方式，确定包含有实际旋转量和平移量的数值区间。
然后，在所述搜索区间内，以设定的搜索间隔，依次计算具有不同旋转量和平移量对应的代价值。
该“搜索间隔”是一个经验性数值，表明了在连续的搜索区间之内进行采样的采样精度。其具体可以根据实际情况的需要，设置合适类型的搜索间隔在搜索区间中进行采样。
在每一次的代价值计算过程中，都需要使用到具有特定数值的旋转量和平移量。由此，每一个代价值对应的是旋转量和平移量的组合(即坐标旋转矩阵)。
最后，选择所述代价值最小的旋转量和平移量的组合作为所述标定参数。亦即，直至找到代价值最小的坐标旋转矩阵为止。
图9为本发明实施例提供的标靶的结构示意图。以下以图9所示的标靶为例，详细的描述完整的坐标转换矩阵的计算和确定过程：
如图9所示，该标靶B由纸皮等硬质薄片材料制成。标靶上开设有四个相同的半径的圆形通孔A，四个圆形通孔的圆心围成一个正方形B，作为正方形的四个顶点。标靶上的圆形通孔的半径R和圆心位置O是已知的先验知识，可以作为定位特征点使用。
利用激光雷达和相机分别采集获得标靶的三维信息和平面图像作为标定过程的基础数据以后，可以通过如下几个步骤计算标定参数。
1)三维信息中提取定位特征点：
首先沿着激光雷达发射激光线的方向探测点云数据的深度变化情况，并且对发生深度突变的连续点云数据，仅保留深度更小的点云数据作为边界空间点。
然后，通过随机采样一致性算法，分别对边界空间点拟合平面(同时丢弃那些处于拟合平面之外的空间点)和对空间点拟合四个最佳的球体。拟合的四个球体与拟合平面之间的交集即是与圆形通孔对应的，在标靶上的圆。
最后，验证在三维信息中找到的标靶的圆的圆心以及半径是否与先验知识相符。当两者没有太明显的差异，基本可以认定为一致时，可以结束提取过程。但若与先验知识存在统计学意义上的显著差异，则需要重新拟合。
重新拟合的方式具体如下：以包含有最多局内点云数据的拟合球体为基础，通过先验知识裁剪那些明显不符合的点云数据，并基于裁剪后的点云数据，继续通过随机采样一致性算法拟合剩余的三个球体。
在本实施例中，基于图9所示的标靶，可以得到球体内的点云数据必然在正方形的对角线与半径之和的范围内的先验知识。因此，可以裁剪去除那些与拟合球体的球心距离大于标靶上四个圆形通孔的对角线与圆形通孔的半径之和的点云以调整改善拟合结果。
2)平面图像中提取定位特征点：
首先，利用sobel算子提取平面图像中的边缘。然后对这些边缘进行hough变换检测，从而获得平面图像中，与圆形通孔对应的圆。最后，根据检测获得的圆形通孔的边界，提取相应的定位特征点。
3)坐标转换矩阵的粗标定：
考虑到在实际使用过程中，激光雷达和相机之间的旋转量可以被很好的控制，差异主要来自于两者在立体空间上的位置的不同。由此，在粗标定过程中只考虑平移量而暂时不考虑旋转量所造成的差异。
在本实施例中，空间点的三维坐标与成像平面的投影位置的转换关系如下算式(1)所示：
其中，x，y分别为像素点在平面图像的x轴和y轴的坐标值，w为每个像素点的长度(与平面图像的分辨率相关)。X，Y和Z分别为空间点在三维坐标系的X轴、Y轴以及Z轴的坐标值。
P为相机的内参矩阵，具体形式如下算式(2)所示：
其中，f为相机的焦距，Ox和Oy分别为相机的主点坐标。
C为坐标转换矩阵，在粗标定过程中，仅包含在三维方向上的平移量，具体形式如下算式(3)所示：
其中，tx为x轴方向上的平移量，ty为y轴方向上的平移量，tz为z轴方向上的平移量。
在本实施例中，每一个圆形通孔的圆心和半径被视作一组定位特征点。在已知圆心和半径的三维信息及平面图像信息以后，可以用于求解上述的坐标转换矩阵中未知的参数tx，ty以及tz。
具体而言，未知的参数tx，ty以及tz可以通过如下公式(4)至(6)分别计算获得：
其中，f为相机的焦距，r3D为在三维信息样本中的半径，r2D为平面图像样本中的半径，X,Y和Z分别为圆心在三维坐标系中的坐标值，Ox和Oy分别为相机的主点坐标。
最终，利用4组定位特征点分别可以得到4组参数tx，ty以及tz以后，可以计算获得在x轴、y轴和z轴上的平移量的平均值tx_ave，ty_ave以及tz_ave，完成坐标转换矩阵的粗标定过程。
4)坐标转换矩阵的调整过程：
在调整过程中，坐标转换矩阵通过如下算式(7)表示：
其中，rx，tx，ry，ty，rz以及tz分别表示在x轴，y轴和z轴上的旋转量和平移量。而在坐标转换矩阵中，crx表示cos(rx)，srx表示sin(rx)，cry表示cos(ry)，以sry表示sin(ry)，以crz表示cos(rz)，以srz表示sin(rz)，tx`,ty`以及tz`为分别表示在x轴，y轴和z轴上的平移量的选定值。
首先，根据实际情况的需要，确定一个在三维方向上的旋转量和平移量的合适的搜索区间。亦即，分别确定rx，ry，rz，tx，ty以及tz一共六个不同维度上的搜素区间。
然后，通过选用合适的搜索间隔的方式在搜索区间分别确定六个维度上的旋转量和平移量，确定坐标转换矩阵并据此计算对应的代价值。
最后，比较各个不同的坐标转换矩阵的代价值(即六个维度的平移量和旋转量的组合)，并确定代价值最小的坐标转换矩阵作为调整后的优选坐标转换矩阵。
在本实施例中，具体的代价值计算方法为：通过确定的坐标转换矩阵，将点云数据中深度变化较大的点(即边界空间点)转换到平面图像的坐标系中。然后，计算这些边界空间点与最近的sobel算子提取结果的距离的平方作为代价值。
5)评价立体匹配算法：
首先使用立体匹配算法计算平面图像上各个像素点的视差值d，并且根据视差值d，通过如下算式(8)计算其深度值depth：
然后，通过步骤4)确定的坐标转换矩阵，将采样区域中的各个空间点的三维信息转换到成像平面相应的投影位置，从而确定平面图像每个像素位置对应的实际深度。
最后，逐个像素点比较所述立体匹配算法计算得到的深度值和通过激光雷达采集获得的实际深度值之间存在的差距即可完成对立体匹配算法的测距精度的检测。
基于以上实施例揭露的方法步骤，图10为本发明另一实施例提供的评价系统的结构示意图，用于执行以上的一个或者多个方法步骤。如图10所示，该评价系统包括：采集装置1010，立体匹配装置1020，信息转换装置1030，评价装置1040以及标定装置1050。
其中，所述采集装置1010包括用于采集三维信息的第一拍摄设备以及用于采集平面图像的第二拍摄设备。所述立体匹配装置1020用于对所述第二拍摄设备采集的平面图像信息执行立体匹配算法，计算所述平面图像的深度信息估计值；所述信息转换装置1030用于根据标定参数，确定所述平面图像与所述三维信息之间的对应关系，获得所述平面图像的深度信息标准值；所述评价装置1040用于比较所述深度信息估计值和所述深度信息标准值，获得所述立体匹配算法的评价结果。标定装置1050用于确定所述标定参参数。
具体的，所述采样区域包括若干个空间点，所述三维信息为所述若干个空间点在三维坐标系中的坐标，所述平面图像为所述采样区域在无人机的拍摄装置的成像平面的投影。
相对应地，所述信息转换装置1030还用于：通过所述标定参数，将所述若干个空间点从所述三维坐标系转换至所述拍摄装置的坐标系，并且根据所述拍摄装置的内参矩阵，确定所述空间点在所述成像平面的投影位置。
在一些实施例中，为了便于进行转换计算，所述标定参数可以包括所述三维坐标系与所述拍摄装置的坐标系的坐标转换矩阵。
在另一些实施例中，如图10所示，所述标定装置1050可以包括：样本采集单元1051，特征提取单元1052以及标定参数计算单元1053。
其中，所述样本采集单元1051用于采集标靶的三维信息样本以及平面图像样本，所述标靶包括若干定位特征点。所述标靶上设置有若干个圆形通孔，所述定位特征点包括所述圆形通孔的圆心和半径。所述特征提取单元1052用于在所述三维信息样本和平面图像样本中，提取所述定位特征点。所述标定参数计算单元1053用于根据所述定位特征点的三维信息与平面图像信息，计算所述标定参数。
一方面，所述特征提取单元1052具体可以执行如下步骤，从三维信息中提取合适的特征点：检测所述空间点的深度，确定连续的所述空间点之间的深度变化大于预设突变阈值的突变范围；在所述突变范围内，保留深度最小的空间点作为边界空间点；对所述边界空间点通过随机采样一致性算法，拟合获得拟合平面；对所述空间点通过随机采样一致性算法，拟合获得与所述圆形通孔数量相同的第一球体；获取所述拟合平面与所述第一球体的交集，作为所述圆形通孔的边界；根据所述圆形通孔的边界，获得所述圆形通孔在所述三维信息样本中的圆心和半径的第一计算值。
在另一方面，所述特征提取单元1052还可以执行如下步骤，从平面图像中提取对应的特征点：
通过索贝尔算子提取所述平面图像样本中的边缘信息；对所述边缘信息通过霍夫变换检测算法，检测获得与所述圆形通孔数量相同的圆，作为所述圆形通孔的边界；根据所述圆形通孔的边界，获得所述圆形通孔在所述平面图像信息样本中的圆心以及半径的第二计算值。
在较佳实施例中，如图10所示，所述标定装置1050还可以包括采样优化单元1054。
其中，所述采样优化单元1054用于：判断所述圆心和半径的第一计算值是否与所述标靶的圆形通孔的圆心和半径相符；若否，重新通过随机采样一致性算法，拟合获得包含最多所述空间点的第二球体；剔除与所述第二球体的球心之间的距离大于筛选阈值的空间点；对所述剩余的空间点通过随机采样一致性算法，拟合获得n-1个第三球体；n为所述圆形通孔的数量。
通过采样优化单元1054确保提取获得的特征点是符合实际，具有较高的准确率。
在一些实施例中，为便于实现快速计算和降低计算难度，如图10所示，所述标定参数计算单元1053可以包括粗计算单元1053a和校正单元1053b。
其中，所述粗计算单元1053a用于：根据所述定位特征点的三维信息与平面图像信息，计算粗标定参数，其中，所述粗标定参数用于表示所述三维坐标系与所述拍摄装置的坐标系在三维方向上的平移量；
所述校正单元1053b用于：将所述粗标定参数调整为所述标定参数，其中，所述标定参数用于表示所述三维坐标系与所述拍摄装置的坐标系在三维方向上的平移量以及旋转量。
具体的，校正单元可以利用代价值来完成粗标定参数的校正过程，执行的步骤包括：确定在三维方向上的所述旋转量和所述平移量的搜索区间；以设定的搜索间隔，依次计算在所述搜索区间内不同旋转量和平移量对应的代价值；选择所述代价值最小的旋转量和平移量的组合作为所述标定参数。
通过上述粗标定和校正两个步骤求解获得的标定参数，具有足够的准确率，并且计算过程较为简单，易于在电子设备中实现。
本领域技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的示例性的数据传输控制方法的各个步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (25)

1.一种立体匹配算法的评价方法，其特征在于，包括：
获取采样区域的三维信息以及平面图像；
根据若干个标定参数，确定所述平面图像与所述三维信息之间的对应关系；
使用立体匹配算法，计算所述平面图像的深度估计值；
根据所述深度估计值以及对应的所述三维信息的比较结果，确定所述立体匹配算法的评估结果。
2.根据权利要求1所述的评价方法，其特征在于，所述采样区域包括若干个空间点，所述三维信息为所述若干个空间点在三维坐标系中的坐标，所述平面图像为所述采样区域在无人机的拍摄装置的成像平面的投影。
3.根据权利要求2所述的评价方法，其特征在于，所述根据若干个标定参数，确定所述采样区域的所述三维信息与所述平面图像之间的对应关系，包括：
通过所述标定参数，将所述若干个空间点从所述三维坐标系转换至所述拍摄装置的坐标系；
根据所述拍摄装置的内参矩阵，确定所述空间点在所述成像平面的投影位置。
4.根据权利要求3所述的评价方法，其特征在于，所述标定参数包括：所述三维坐标系与所述拍摄装置的坐标系的坐标转换矩阵。
5.根据权利要求4所述的评价方法，其特征在于，该方法还包括：
确定所述标定参参数。
6.根据权利要求5所述的评价方法，其特征在于：所述确定所述标定参数包括：
采集标靶的三维信息样本以及平面图像样本，所述标靶包括若干定位特征点；
在所述三维信息样本和平面图像样本中，提取所述定位特征点；
根据所述定位特征点的三维信息与平面图像信息，计算所述标定参数。
7.根据权利要求6所述的评价方法，其特征在于，所述标靶上设置有若干个圆形通孔，所述定位特征点包括所述圆形通孔的圆心和半径。
8.根据权利要求7所述的评价方法，其特征在于，所述在三维信息样本中提取所述定位特征点，包括：
检测所述空间点的深度，确定连续的所述空间点之间的深度变化大于预设突变阈值的突变范围；
在所述突变范围内，保留深度最小的空间点作为边界空间点；
对所述边界空间点通过随机采样一致性算法，拟合获得拟合平面；
对所述空间点通过随机采样一致性算法，拟合获得与所述圆形通孔数量相同的第一球体；
获取所述拟合平面与所述第一球体的交集，作为所述圆形通孔的边界；
根据所述圆形通孔的边界，获得所述圆形通孔在所述三维信息样本中的圆心和半径的第一计算值。
9.根据权利要求8所述的评价方法，其特征在于，在所述获得所述圆形通孔在所述三维信息样本中的圆心和半径的第一计算值的步骤之后，该方法还包括：
判断所述圆心和半径的第一计算值是否与所述标靶的圆形通孔的圆心和半径相符；
若否，重新通过随机采样一致性算法，拟合获得包含最多所述空间点的第二球体；
剔除与所述第二球体的球心之间的距离大于筛选阈值的空间点；
对所述剩余的空间点通过随机采样一致性算法，拟合获得n-1个第三球体；n为所述圆形通孔的数量。
10.根据权利要求7所述的评价方法，其特征在于，所述平面图像信息样本中提取所述定位特征点，包括：
通过索贝尔算子提取所述平面图像样本中的边缘信息；
对所述边缘信息通过霍夫变换检测算法，检测获得与所述圆形通孔数量相同的圆，作为所述圆形通孔的边界；
根据所述圆形通孔的边界，获得所述圆形通孔在所述平面图像信息样本中的圆心以及半径的第二计算值。
11.根据权利要求6所述的评价方法，其特征在于，所述根据所述定位特征点的三维信息与平面图像信息，计算所述标定参数，包括：
根据所述定位特征点的三维信息与平面图像信息，计算粗标定参数，其中，所述粗标定参数用于表示所述三维坐标系与所述拍摄装置的坐标系在三维方向上的平移量；
将所述粗标定参数调整为所述标定参数，其中，所述标定参数用于表示所述三维坐标系与所述拍摄装置的坐标系在三维方向上的平移量以及旋转量。
12.根据权利要求11所述的评价方法，其特征在于，所述将所述粗标定参数调整为所述标定参数，包括：
确定在三维方向上的所述旋转量和所述平移量的搜索区间；
以设定的搜索间隔，依次计算在所述搜索区间内不同旋转量和平移量对应的代价值；
选择所述代价值最小的旋转量和平移量的组合作为所述标定参数。
13.根据权利要求1-12任一项所述的评价方法，其特征在于，所述三维信息包括激光雷达检测获得的点云数据或者深度摄像机拍摄获得的深度图。
14.一种立体匹配算法的评价系统，其特征在于，包括：
采集装置，所述采集装置包括用于采集三维信息的第一拍摄设备以及用于采集平面图像的第二拍摄设备；
立体匹配装置，所述立体匹配装置用于对所述第二拍摄设备采集的平面图像信息执行立体匹配算法，计算所述平面图像的深度信息估计值；
信息转换装置，所述信息转换装置用于根据标定参数，确定所述平面图像与所述三维信息之间的对应关系，获得所述平面图像的深度信息标准值；
评价装置，所述评价装置用于比较所述深度信息估计值和所述深度信息标准值，获得所述立体匹配算法的评价结果。
15.根据权利要求14所述的评价系统，其特征在于，所述采样区域包括若干个空间点，所述三维信息为所述若干个空间点在三维坐标系中的坐标，所述平面图像为所述采样区域在无人机的拍摄装置的成像平面的投影；
所述信息转换装置还用于：通过所述标定参数，将所述若干个空间点从所述三维坐标系转换至所述拍摄装置的坐标系；
根据所述拍摄装置的内参矩阵，确定所述空间点在所述成像平面的投影位置。
16.根据权利要求15所述的评价系统，其特征在于，该系统还包括：
标定装置，用于确定所述标定参参数，所述标定参数包括：所述三维坐标系与所述拍摄装置的坐标系的坐标转换矩阵。
17.根据权利要求16所述的评价系统，其特征在于，所述标定装置包括：
样本采集单元，用于采集标靶的三维信息样本以及平面图像样本，所述标靶包括若干定位特征点；其中，所述标靶上设置有若干个圆形通孔，所述定位特征点包括所述圆形通孔的圆心和半径；
特征提取单元，用于在所述三维信息样本和平面图像样本中，提取所述定位特征点；
标定参数计算单元，用于根据所述定位特征点的三维信息与平面图像信息，计算所述标定参数。
18.根据权利要求17所述的评价系统，其特征在于，所述特征提取单元还用于：
检测所述空间点的深度，确定连续的所述空间点之间的深度变化大于预设突变阈值的突变范围；
在所述突变范围内，保留深度最小的空间点作为边界空间点；
对所述边界空间点通过随机采样一致性算法，拟合获得拟合平面；
对所述空间点通过随机采样一致性算法，拟合获得与所述圆形通孔数量相同的第一球体；
获取所述拟合平面与所述第一球体的交集，作为所述圆形通孔的边界；
根据所述圆形通孔的边界，获得所述圆形通孔在所述三维信息样本中的圆心和半径的第一计算值。
19.根据权利要求17所述的评价系统，其特征在于，所述标定装置还包括采样优化单元；
所述采样优化单元用于：判断所述圆心和半径的第一计算值是否与所述标靶的圆形通孔的圆心和半径相符；
若否，重新通过随机采样一致性算法，拟合获得包含最多所述空间点的第二球体；
剔除与所述第二球体的球心之间的距离大于筛选阈值的空间点；
对所述剩余的空间点通过随机采样一致性算法，拟合获得n-1个第三球体；n为所述圆形通孔的数量。
20.根据权利要求17所述的评价系统，其特征在于，所述特征提取单元还用于：
通过索贝尔算子提取所述平面图像样本中的边缘信息；
对所述边缘信息通过霍夫变换检测算法，检测获得与所述圆形通孔数量相同的圆，作为所述圆形通孔的边界；
根据所述圆形通孔的边界，获得所述圆形通孔在所述平面图像信息样本中的圆心以及半径的第二计算值。
21.根据权利要求17所述的评价系统，其特征在于，所述标定参数计算单元包括粗计算单元和校正单元：
所述粗计算单元用于：根据所述定位特征点的三维信息与平面图像信息，计算粗标定参数，其中，所述粗标定参数用于表示所述三维坐标系与所述拍摄装置的坐标系在三维方向上的平移量；
所述校正单元用于：将所述粗标定参数调整为所述标定参数，其中，所述标定参数用于表示所述三维坐标系与所述拍摄装置的坐标系在三维方向上的平移量以及旋转量。
22.根据权利要求21所述的评价系统，其特征在于，所述校正单元具体用于：
确定在三维方向上的所述旋转量和所述平移量的搜索区间；
以设定的搜索间隔，依次计算在所述搜索区间内不同旋转量和平移量对应的代价值；
选择所述代价值最小的旋转量和平移量的组合作为所述标定参数。
23.根据权利要求14所述的评价系统，其特征在于，所述第一拍摄装置为激光雷达或者深度摄像机。
24.一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有可执行计算机程序指令，所述可执行计算机程序指令被调用时，执行如权利要求1-13任一项所述的评价方法。
25.一种测试设备，其特征在于，包括：处理器以及与所述处理器通信连接的存储器；
所述存储器内存储有计算机可执行程序指令，所述计算机可执行程序指令被调用时，以使所述处理器执行如权利要求1-13任一项所述的评价方法，获得立体匹配算法的评价结果。
CN201910604865.1A 2019-07-05 2019-07-05 立体匹配算法的评价方法、评价系统及测试设备 Active CN110322518B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910604865.1A CN110322518B (zh) 2019-07-05 2019-07-05 立体匹配算法的评价方法、评价系统及测试设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910604865.1A CN110322518B (zh) 2019-07-05 2019-07-05 立体匹配算法的评价方法、评价系统及测试设备

Publications (2)

Publication Number Publication Date
CN110322518A true CN110322518A (zh) 2019-10-11
CN110322518B CN110322518B (zh) 2021-12-17

Family

ID=68122864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910604865.1A Active CN110322518B (zh) 2019-07-05 2019-07-05 立体匹配算法的评价方法、评价系统及测试设备

Country Status (1)

Country Link
CN (1) CN110322518B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112612016A (zh) * 2020-12-07 2021-04-06 深兰人工智能(深圳)有限公司 传感器联合标定方法、装置、电子设备及存储介质
CN114800520A (zh) * 2022-05-23 2022-07-29 北京迁移科技有限公司 高精度的手眼标定方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100066811A1 (en) * 2008-08-11 2010-03-18 Electronics And Telecommunications Research Institute Stereo vision system and control method thereof
US20100309292A1 (en) * 2007-11-29 2010-12-09 Gwangju Institute Of Science And Technology Method and apparatus for generating multi-viewpoint depth map, method for generating disparity of multi-viewpoint image
CN102096919A (zh) * 2010-12-31 2011-06-15 北京航空航天大学 一种基于双向加权聚合的实时立体匹配方法
US20130121559A1 (en) * 2011-11-16 2013-05-16 Sharp Laboratories Of America, Inc. Mobile device with three dimensional augmented reality
CN103383776A (zh) * 2013-07-14 2013-11-06 浙江大学 一种基于分段匹配和贝叶斯估计的递进式立体匹配算法
CN104634248A (zh) * 2015-02-04 2015-05-20 西安理工大学 一种双目视觉下的转轴标定方法
CN106157285A (zh) * 2015-04-03 2016-11-23 株式会社理光 用于选择用于视差计算的参数组的优选值的方法和系统
CN107170042A (zh) * 2017-06-19 2017-09-15 电子科技大学 一种无序图像的多视立体匹配的三维重建方法
CN107622523A (zh) * 2017-09-21 2018-01-23 深圳市晟达机械设计有限公司 一种智能机器人
CN107977997A (zh) * 2017-11-29 2018-05-01 北京航空航天大学 一种结合激光雷达三维点云数据的相机自标定方法
CN109859253A (zh) * 2018-12-17 2019-06-07 深圳市道通智能航空技术有限公司 一种立体匹配方法、装置和电子设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100309292A1 (en) * 2007-11-29 2010-12-09 Gwangju Institute Of Science And Technology Method and apparatus for generating multi-viewpoint depth map, method for generating disparity of multi-viewpoint image
US20100066811A1 (en) * 2008-08-11 2010-03-18 Electronics And Telecommunications Research Institute Stereo vision system and control method thereof
CN102096919A (zh) * 2010-12-31 2011-06-15 北京航空航天大学 一种基于双向加权聚合的实时立体匹配方法
US20130121559A1 (en) * 2011-11-16 2013-05-16 Sharp Laboratories Of America, Inc. Mobile device with three dimensional augmented reality
CN103383776A (zh) * 2013-07-14 2013-11-06 浙江大学 一种基于分段匹配和贝叶斯估计的递进式立体匹配算法
CN104634248A (zh) * 2015-02-04 2015-05-20 西安理工大学 一种双目视觉下的转轴标定方法
CN106157285A (zh) * 2015-04-03 2016-11-23 株式会社理光 用于选择用于视差计算的参数组的优选值的方法和系统
CN107170042A (zh) * 2017-06-19 2017-09-15 电子科技大学 一种无序图像的多视立体匹配的三维重建方法
CN107622523A (zh) * 2017-09-21 2018-01-23 深圳市晟达机械设计有限公司 一种智能机器人
CN107977997A (zh) * 2017-11-29 2018-05-01 北京航空航天大学 一种结合激光雷达三维点云数据的相机自标定方法
CN109859253A (zh) * 2018-12-17 2019-06-07 深圳市道通智能航空技术有限公司 一种立体匹配方法、装置和电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YONG-JUN CHANG 等: "Region Based Stereo Matching Method with Gradient and Distance Information", 《2016APSIPA》 *
赖小波 等: "基于互相关信息的非参数变换立体匹配算法", 《浙江大学学报(工学版)》 *
鞠芹 等: "基于多目立体匹配的深度获取方法", 《计算机工程》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112612016A (zh) * 2020-12-07 2021-04-06 深兰人工智能(深圳)有限公司 传感器联合标定方法、装置、电子设备及存储介质
CN114800520A (zh) * 2022-05-23 2022-07-29 北京迁移科技有限公司 高精度的手眼标定方法
CN114800520B (zh) * 2022-05-23 2024-01-23 北京迁移科技有限公司 高精度的手眼标定方法

Also Published As

Publication number Publication date
CN110322518B (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
EP2236980B1 (en) A method for determining the relative position of a first and a second imaging device and devices therefore
JP5746477B2 (ja) モデル生成装置、３次元計測装置、それらの制御方法及びプログラム
US20170124693A1 (en) Pose Estimation using Sensors
CN109035330A (zh) 箱体拟合方法、设备和计算机可读存储介质
CN108510530A (zh) 一种三维点云匹配方法及其系统
CN110268445A (zh) 利用陀螺仪的相机自动校准
BR112020002452A2 (pt) método e aparelho para gerar uma representação
US10552984B2 (en) Capture device calibration methods and systems
CN109584307A (zh) 改进摄像机固有参数校准的系统和方法
CN103017676B (zh) 三维扫描装置和三维扫描方法
García-Moreno et al. LIDAR and panoramic camera extrinsic calibration approach using a pattern plane
CN109859272A (zh) 一种自动对焦双目摄像头标定方法及装置
CN106981081A (zh) 一种基于深度信息提取的墙面平整度检测方法
CN104913775B (zh) 无人机对地高度的测量方法、无人机定位方法及装置
CN105335699B (zh) 读写场景中读写元素三维坐标的智能认定方法及其应用
CN110322518A (zh) 立体匹配算法的评价方法、评价系统及测试设备
CN108734738A (zh) 相机标定方法及装置
Schraml et al. An event-driven stereo system for real-time 3-D 360 panoramic vision
Angladon et al. The toulouse vanishing points dataset
CN105354828B (zh) 读写场景中读物三维坐标的智能认定方法及其应用
Muffert et al. The estimation of spatial positions by using an omnidirectional camera system
Tjaden et al. High-speed and robust monocular tracking
Jarron et al. Automatic detection and labelling of photogrammetric control points in a calibration test field
Kim et al. Motion estimation for multi-camera systems using global optimization
WO2018134866A1 (ja) カメラ校正装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518055 Guangdong city of Shenzhen province Nanshan District Xili Street Xueyuan Road No. 1001 Chi Yuen Building 9 layer B1

Applicant after: Shenzhen daotong intelligent Aviation Technology Co.,Ltd.

Address before: 518055 Guangdong city of Shenzhen province Nanshan District Xili Street Xueyuan Road No. 1001 Chi Yuen Building 9 layer B1

Applicant before: AUTEL ROBOTICS Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant