CN110599546A - 一种获取三维空间数据的方法、系统、装置和存储介质 - Google Patents

一种获取三维空间数据的方法、系统、装置和存储介质 Download PDF

Info

Publication number
CN110599546A
CN110599546A CN201910801102.6A CN201910801102A CN110599546A CN 110599546 A CN110599546 A CN 110599546A CN 201910801102 A CN201910801102 A CN 201910801102A CN 110599546 A CN110599546 A CN 110599546A
Authority
CN
China
Prior art keywords
camera
binocular
image
cameras
laser radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910801102.6A
Other languages
English (en)
Inventor
刘威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beike Technology Co Ltd
Original Assignee
Beike Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beike Technology Co Ltd filed Critical Beike Technology Co Ltd
Priority to CN201910801102.6A priority Critical patent/CN110599546A/zh
Publication of CN110599546A publication Critical patent/CN110599546A/zh
Pending legal-status Critical Current

Links

Classifications

    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本申请公开了一种获取三维空间数据的方法、系统、装置和存储介质，具体为双目相机组中的彩色摄像头在每个停止位置采集第一图像，激光雷达和双目相机组中的深度摄像头分别采集激光雷达数据和第二图像，基于每组双目相机中的彩色摄像头和深度摄像头之间的第一姿态标定参数，生成每组双目相机的三维点云图，以任一组双目相机的相机坐标系为基准坐标系，根据确定的相邻的双目相机之间的第二姿态标定参数，生成双目相机组的三维点云图，在基准坐标系下，根据确定的任一双目相机与激光雷达之间的第三姿态标定参数，生成三维空间数据。本申请实施例同时通过双目相机组和激光雷达采集深度数据，并对两类深度数据做融合，获取可靠性较高的三维空间数据。

Description

一种获取三维空间数据的方法、系统、装置和存储介质
技术领域
本申请涉及计算机视觉领域，尤其涉及一种获取三维空间数据的方法、系统、装置和存储介质。
背景技术
三维重建技术是计算机视觉领域研究的热点和难点，其在自动驾驶、机器人同步定位与建图(simultaneous localization and mapping，SLAM)、三维视觉感知、房屋三维重建、无人机、物流机器人等领域有着极其重要的作用。三维空间图像相比于二维图像更能反应真实世界的尺度信息，能够更加客观的将现实世界的场景用数字化的信息重建以及展示出来，因此三维信息的采集显得尤为重要。结构光相机可以捕获丰富的纹理和鲜艳的色彩信息，同时可以采集深度信息，并将深度信息和色彩信息结合在一起可以将真实世界三维重建出来。因此，在三维重建领域有着较为广泛的应用。
三维重建技术按照传统的重建方式可以分为：单目相机重建、双目相机重建、以及多目相机重建。由于受限于相机精度或配准精度，以该类方法重建出来的场景往往误差过大，如果应用于对精度要求较高的场合，比如房屋、小区或工厂的重建，往往不能满足其尺寸测量需求。另外，传统的三维重建技术在遇到强光或者阳光区域往往会缺失深度，有时在室外处于不可使用的状态。
发明内容
本申请实施例提供了一种获取三维空间数据的方法，克服了双目相机组单独在采集三维图像时出现的深度缺失和精度不高的问题，提升了三维空间数据的可靠性。
该方法包括：
双目相机组中的彩色摄像头在每个停止位置采集第一图像，所述停止位置为双目相机组旋转预设角度后停止的位置；
激光雷达和所述双目相机组中的深度摄像头分别采集激光雷达数据和第二图像；
基于确定的每组双目相机中的所述彩色摄像头和所述深度摄像头之间的第一姿态标定参数，将所述第二图像投影至所述第一图像上，生成每组双目相机的三维点云图；
以所述双目相机组中的任一组双目相机的相机坐标系为基准坐标系，根据确定的相邻的双目相机之间的第二姿态标定参数，将所述每组双目相机的三维点云图投影至所述基准坐标系的三维点云图上，生成所述双目相机组的三维点云图；
在所述基准坐标系下，根据确定的任一所述双目相机与所述激光雷达之间的第三姿态标定参数，将所述激光雷达采集的所述激光雷达数据投影至所述双目相机组的三维点云图，生成三维空间数据。
可选地，选取多个采样点，并在每个所述采样点设置标定板；
每组双目相机在选取的每个所述采样点，通过深度摄像头和彩色摄像头分别采集第一采样图像和第二采样图像，其中，每张所述第一采样图像和所述第二采样图像中包含在所述标定板上设置的至少一个定位码；
在所述第一采样图像和所述第二采样图像中分别检测第一角点和第二角点，并根据所述定位码，对所述第一角点和所述第二角点进行配对，生成角点对；
基于所述角点对，计算第一姿态标定参数，并根据所述第一姿态标定参数调整所述每组双目相机中所述深度摄像头与所述彩色摄像头之间的相对姿态。
可选地，双目相机组在选取的每个所述采样点上通过彩色摄像头采集由所述第二采样图像组成的采样图像组，其中，所述第二采样图像包含在所述标定板上设置的至少一个定位码；
根据所述定位码，在所述第二采样图像中检测所述第二角点的角点坐标；
根据相邻的所述双目相机采集的所述第二采样图像中的所述第二角点的角点坐标，计算所述第二姿态标定参数，并根据所述第二姿态标定参数在所述双目相机组中调整相邻的所述双目相机之间的相对姿态。
可选地，在所述双目相机组中的任一组双目相机的所述彩色摄像头采集的所述第二采样图像中提取所述标定板中的所述第二角点；
将所述第二角点的所述角点坐标在所述基准坐标系下进行变换，生成所述标定板在所述基准坐标系下的平面方程；
根据所述激光雷达在所述采样点采集的表示所述标定板的激光雷达数据，生成所述激光雷达数据在所述基准坐标系中的直线方程；
根据所述平面方程的法向量和所述直线方程，计算所述第三姿态标定参数，并根据所述第三姿态标定参数调整所述激光雷达和任一双目相机之间的相对姿态。
可选地，根据所述角点对，计算所述彩色摄像头的第一相机内参和第一畸变参数，以及所述深度摄像头的第二相机内参和第二畸变参数；
根据所述第一相机内参和所述第一畸变参数对所述第一图像进行去畸变处理，以及根据所述第二相机内参和所述第二畸变参数对所述第二图像进行去畸变处理；
根据第一姿态标定参数，将进行去畸变处理后的所述第一图像和所述第二图像进行像素点对齐，并将所述第二图像投影在所述第一图像上，生成每组双目相机的三维点云图。
可选地，根据所述第三姿态标定参数，将所述激光雷达数据对应的三维坐标数据进行转换，并将转换后的所述激光雷达数据投影至所述双目相机组的三维点云图上，并生成所述三维空间数据。
在本发明的另一个实施例中，提供了一种获取三维空间数据的系统，该系统包括双目相机组、激光雷达、电机、和电机连接的旋转轴和处理单元，所述双目相机组和所述激光雷达固定设置在所述旋转轴上，由所述电机带动旋转轴，以使所述双目相机组和所述激光雷达跟随所述旋转轴进行旋转，其中，所述双目相机组中的任一双目相机包括深度摄像头和彩色摄像头；
所述处理单元用于对所述双目相机组识别的数据进行分析，并计算任一所述双目相机中的所述深度摄像头和所述彩色摄像头之间的第一姿态标定参数，双目相机组中相邻的双目相机之间的第二姿态标定参数，以及任一所述双目相机与所述激光雷达之间的第三姿态标定参数。
在本发明的另一个实施例中，提供了一种获取三维空间数据的装置，该装置包括：
第一采集模块，用于双目相机组中的彩色摄像头在每个停止位置采集第一图像，所述停止位置为双目相机组旋转预设角度后停止的位置；
第二采集模块，用于激光雷达和所述双目相机组中的深度摄像头分别采集激光雷达数据和第二图像；
第一生成模块，用于基于确定的每组双目相机中的所述彩色摄像头和所述深度摄像头之间的第一姿态标定参数，将所述第二图像投影至所述第一图像上，生成每组双目相机的三维点云图；
第二生成模块，用于以所述双目相机组中的任一组双目相机的相机坐标系为基准坐标系，根据确定的相邻的双目相机之间的第二姿态标定参数，将所述每组双目相机的三维点云图投影至所述基准坐标系的三维点云图上，生成所述双目相机组的三维点云图；
第三生成模块，用于在所述基准坐标系下，根据确定的任一所述双目相机与所述激光雷达之间的第三姿态标定参数，将所述激光雷达采集的所述激光雷达数据投影至所述双目相机组的三维点云图，生成三维空间数据。
在本发明的另一个实施例中，提供了一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行上述一种获取三维空间数据的方法中的各个步骤。
在本发明的另一个实施例中，提供了一种终端设备，包括处理器，所述处理器用于执行上述一种获取三维空间数据的方法中的各个步骤。
如上可见，基于上述实施例，首先双目相机组中的彩色摄像头在每个停止位置采集第一图像，停止位置为双目相机组旋转预设角度后停止的位置，同时，激光雷达和双目相机组中的深度摄像头分别采集激光雷达数据和第二图像，其次，基于确定的每组双目相机中的彩色摄像头和深度摄像头之间的第一姿态标定参数，将第二图像投影至第一图像上，生成每组双目相机的三维点云图，进一步地，以双目相机组中的任一组双目相机的相机坐标系为基准坐标系，根据确定的相邻的双目相机之间的第二姿态标定参数，将每组双目相机的三维点云图投影至基准坐标系的三维点云图上，生成双目相机组的三维点云图，最后，在基准坐标系下，根据确定的任一双目相机与激光雷达之间的第三姿态标定参数，将激光雷达采集的激光雷达数据投影至双目相机组的三维点云图，生成三维空间数据。本申请实施例通过双目相机组和激光雷达同时采集深度数据，并对两类深度数据做融合，获取可靠性较高的三维空间数据，以还原更真实的三维空间场景。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例100所提供的一种获取三维空间数据的方法的流程示意图；
图2示出了本申请实施例200提供的一种获取三维空间数据的方法的具体流程的示意图；
图3示出了本申请实施例300提供的一种定制化的标定板的示意图；
图4a示出了本申请实施例400提供的激光雷达采集到标定板的位置信息时的示意图；
图4b示出了本申请实施例提供的激光雷达未采集到标定板的位置信息时的示意图；
图4c示出了本申请实施例提供的提取出的表示标定板的位置信息的激光雷达数据的示意图；
图5示出了本申请实施例500提供的由双目相机组和激光雷达采集的数据融合后生成的三维空间数据的示意图；
图6示出了本申请实施例600还提供一种获取三维空间数据的系统的示意图；
图7示出了本申请实施例700还提供一种获取三维空间数据的装置的示意图；
图8示出了本申请实施例800所提供的一种终端设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
基于现有技术中的问题，本申请实施例提供了一种获取三维空间数据的方法，主要适用于计算机视觉和三维重建领域。通过双目相机组与激光雷达同时获取采样数据，并对双目相机组和激光雷达采集的数据进行融合，生成三维空间数据。下面以具体实施例对本发明的技术方案进行详细说明。以下具体实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。如图1所示，为本申请实施例100提供的一种获取三维空间数据的方法的流程示意图。其中，详细步骤如下：
S11，双目相机组中的彩色摄像头在每个停止位置采集第一图像，停止位置为双目相机组旋转预设角度后停止的位置。
本步骤中，本申请实施例中的双目相机组包括至少两组双目相机，主要为携带有彩色摄像头和深度摄像头的双目相机。其中，每组双目相机包括红外发射器、与红外发射器配合的红外(Infrared Radiation,IR)摄像头以及彩色(red、green、blue,RGB)摄像头。由红外发射器发射红外光斑，同时红外摄像头捕捉红外光斑获取深度信息。两组双目相机组成的双目相机组为本申请中的较佳实施例，双目相机组不限制双目相机的总数。可选地，双目相机组中的每个双目相机按照一定的排列方式安装，多组双目相机的拍摄范围有重叠，且拍摄范围可以达到180°，即多组双目相机中的彩色摄像头和深度摄像头的拍摄方向与地面平行，且在与地面的法向量相同的方向的可视化区域为180°左右的视野范围。
进一步地，双目相机组绕着与地面的法向量相同的方向旋转，在旋转的过程中设置多个停止位置，由每组双目相机的彩色摄像头在停止位置采集第一图像。其中，预设角度为双目相机组在每一个起始位置到停止位置时旋转的角度。
S12，激光雷达和双目相机中的深度摄像头分别采集激光雷达数据和第二图像。
本步骤中，本申请实施例中的激光雷达主要为单线激光雷达。双目相机组和激光雷达固定在一起作为获取三维空间数据的设备。其中，激光雷达的可视化区域至少为180°。进一步地，由激光雷达持续性地发射探测信号，并接受返回的探测信号。当在激光雷达采集到激光雷达数据的三维坐标信息时，将三维坐标信息转化为二维坐标信息。可选地，根据实际标定环境确定将三维坐标信息转化为二维坐标信息的转化系数，根据转化系数，将采集的三维坐标信息投影到二维平面上。激光雷达采集的三维坐标信息转化为二维平面上表现为多个散点，由多个散点组成二维坐标图像。同样地，双目相机中的深度摄像头持续性的采集第二图像，
S13，基于确定的每组双目相机中的彩色摄像头和深度摄像头之间的第一姿态标定参数，将第二图像投影至第一图像上，生成每组双目相机的三维点云图。
本步骤中，在利用由双目相机组和激光雷达组成的三维空间数据的设备获取三维空间数据之前，需要对每组双目相机中的彩色摄像头和深度摄像头之间进行标定，确定第一姿态标定参数。并根据第一姿态标定参数调整每组双目相机的彩色摄像头和深度摄像头之间的相对姿态。以实现每组双目相机中彩色摄像头和深度摄像头之间的标定。其中，第一姿态标定参数包括每组双目相机中的深度摄像头和彩色摄像头之间的平移关系和旋转关系。进一步地，将深度摄像头采集的第二图像经过第一姿态标定参数的转化，将第二图像投影至彩色摄像头采集的第一图像上，并生成每组双目相机的三维点云图。
S14，以双目相机组中的任一组双目相机的相机坐标系为基准坐标系，根据确定的相邻的双目相机之间的第二姿态标定参数，将每组双目相机的三维点云图投影至基准坐标系的三维点云图上，生成双目相机组的三维点云图。
本步骤中，在标定完每组双目相机中的深度摄像头和彩色摄像头的相对姿态之后，对双目相机组中相邻的双目相机进行标定，计算相邻的双目相机之间的第二姿态标定参数。其中，第二姿态标定参数包括相邻的两组双目相机之间的平移关系和旋转关系。在确定了第二姿态标定参数后，根据第二姿态标定参数调整相邻的双目相机之间的相对姿态，以实现相邻的双目相机之间的标定。进一步地，以双目相机组中任一组双目相机的相机坐标系为基准坐标系，根据第二姿态标定参数，将其它双目相机采集的三维点云图进行变换并投影至基准坐标系的三维点云图上，生成双目相机组融合后的三维点云图。
S15，在基准坐标系下，根据确定的任一双目相机与激光雷达之间的第三姿态标定参数，将激光雷达采集的激光雷达数据投影至双目相机组的三维点云图，生成三维空间数据。
本步骤中，首先计算任一双目相机与激光雷达之间的第三姿态标定参数。其中，第三姿态标定参数包括任一双目相机与激光雷达之间的平移关系和旋转关系。在确定了第三姿态标定参数后，根据第三姿态标定参数调整任一双目相机和激光雷达之间的相对姿态，以实现任一双目相机与激光雷达之间的标定。进一步地，根据第三姿态标定参数，对激光雷达采集的激光雷达数据进行转换并投影至双目相机组的三维点云图上，生成三维空间数据。
基于本申请的上述实施例，首先双目相机组中的彩色摄像头在每个停止位置采集第一图像，停止位置为双目相机组旋转预设角度后停止的位置，同时，激光雷达和双目相机组中的深度摄像头分别采集激光雷达数据和第二图像，其次，基于确定的每组双目相机中的彩色摄像头和深度摄像头之间的第一姿态标定参数，将第二图像投影至第一图像上，生成每组双目相机的三维点云图，进一步地，以双目相机组中的任一组双目相机的相机坐标系为基准坐标系，根据确定的相邻的双目相机之间的第二姿态标定参数，将每组双目相机的三维点云图投影至基准坐标系的三维点云图上，生成双目相机组的三维点云图，最后，在基准坐标系下，根据确定的任一双目相机与激光雷达之间的第三姿态标定参数，将激光雷达采集的激光雷达数据投影至双目相机组的三维点云图，生成三维空间数据。本申请实施例同时通过双目相机组和激光雷达采集深度数据，并对两类深度数据做融合，获取可靠性较高的三维空间数据，以还原更真实的三维空间场景。
如图2所示，为本申请实施例200提供的一种获取三维空间数据的方法的具体流程的示意图。其中，该具体流程的详细过程如下：
S201，选取多个采样点。
这里，围绕着双目相机组和激光雷达的周围选取多个采样点，并在每个采样点设置标定板。其中，标定板上由多个定位码组成，通过设置多个定位码表使得标定板具备方向性和定位功能，以使在彩色摄像头采集的采样图像中包含标定板中的部分定位码。如图3所示，为本申请实施例300示出的一种定制化的标定板的示意图。其中，定位码可以是二维码的形式，通过添加定位码表使得标定板具备方向性和定位功能。识别二维码可以准确地判断彩色摄像头相对于标定板的方位信息。同时也可以通过在第二采样图像中拍摄到的定位码的数量，判断是否需要过滤掉部分采样图像。另外，每个定位码所在方形单元格的中心为该标定板的角点的位置。
S202，每组双目相机在每个采样点通过深度摄像头采集第一采样图像。
这里，双目相机的深度摄像头包括红外发射器、与红外发射器配合的红外(Infrared Radiation,IR)。其中，通过红外发射器发射红外光斑，同时红外摄像头捕捉红外光斑获取第一采样图像。第一采样图像包含在标定板上设置的至少一个定位码。
S203，每组双目相机在每个采样点通过彩色摄像头采集第二采样图像。
这里，在每个采样点，每组双目相机的彩色摄像头采集第二采样图像。第二采样图像汇总包含在标定板上设置的至少一个定位码。
步骤S203与步骤S202同时执行，无先后执行顺序。
S204，根据定位码，在第一采样图像中检测第一角点。
这里，每张第一采样图像中包含在标定板上设置的至少一个定位码。可选地，对第一采样图像进行锐化处理，在图像成像质量较好时保存图像，或重新调节双目相机的曝光和增益以获取较好的图像成像质量。进一步地，对第一采样图像做二值化处理，将图像上的像素点的灰度值设置为0或255，使整张第一采样图像呈现出明显的黑白效果。然后采用霍夫直线检测算法提取感兴趣的线段，在第一采样图像中拟合直线并检测出方形单元格，提取方形单元格的几何中心作为第一角点的位置并进行亚像素处理。
S205，根据定位码，在第二采样图像中检测第二角点。
本步骤中，使用与步骤S205中在第一采样图像中检测第一角点的方法，在第二采样图像中检测第二角点。
S206，根据定位码，对第一角点和第二角点进行配对。
这里，以定位码的位置为位置基准，将在第一采样图像中检测出的多个第一角点与在第二采样图像中检测出的第二角点进行配对，得到多个角点对。可选地，以第一采样图像和第二采样图像中采集到的同一个定位码为基准，将分别在第一采样图像和第二采样图像中检测到的第一角点和第二角点以确定的同一个定位码为基准进行配对。
S207，根据角点对，计算第一姿态标定参数。
本步骤中，根据第一采样图像和第二采样图像中形成的角点对的坐标误差，通过张氏标定算法确定双目相机中彩色摄像头和深度摄像头之间的第一姿态标定参数。其中，第一姿态标定参数包括彩色摄像头和深度摄像头之间的平移关系和旋转关系。若彩色摄像头相对于深度摄像头的第一姿态标定参数为其中，R1表示深度摄像头和彩色摄像头之间的旋转关系，t1表示深度摄像头和彩色摄像头之间的平移关系。则根据每组双目相机的多组角点对，计算每组双目相机的第一姿态标定参数，即R1和t1的值。
S208，根据第一姿态标定参数，将每组双目相机的深度摄像头和彩色摄像头进行标定。
这里，计算每组双目相机的第一姿态标定参数，并根据第一姿态标定参数，为每组双目相机的深度摄像头和彩色摄像头进行标定。
S209，将按照第一姿态标定参数对齐后的深度摄像头采集的第一采样图像投影到彩色摄像头采集的第二采样图像上,计算第一重投影误差。
这里，将经过标定后的第一采样图像投影到第二采样图像上。根据定位码，生成标定后的角点对。根据标定后的角点对的坐标计算第一重投影误差。可选地，将第一采样图像中的第一角点的坐标根据第一姿态标定参数变换至彩色摄像头对应的相机坐标系中，即将第一角点在彩色摄像头对应的相机坐标系下的坐标投影在第二采样图像中，得到第一角点在第二采样图像中的投影坐标，并计算每个投影坐标与对应的第一角点的坐标的投影误差。进一步地，计算每个投影误差的误差均值，生成第一重投影误差。
S210，判断第一重投影误差是否满足第一预设阈值。
S211，将不满足第一预设阈值的第一重投影误差对应的第一姿态标定参数删除。
这里，当第一重投影误差的数值不满足第一预设阈值时，则将该组第一重投影误差对应的第一姿态标定参数删除。
S212，当第一重投影误差满足第一预设阈值时，则确定标定成功。
通过上述步骤S201至步骤212实现每组双目相机的深度摄像头和彩色摄像头之间的标定。
S213，根据相邻的双目相机采集的第二采样图像中的第二角点的角点坐标，计算第二姿态标定参数。
这里，首先，双目相机组在选取的每个采样点上通过彩色摄像头采集由第二采样图像组成的采样图像组，其中，第二采样图像包含在标定板上设置的至少一个定位码。然后，根据定位码，在第二采样图像中检测第二角点的角点坐标。最后，根据相邻的双目相机采集的第二采样图像中的第二角点的角点坐标，计算第二姿态标定参数，并根据第二姿态标定参数在双目相机组中调整相邻的双目相机之间的相对姿态。可选地，在前述步骤S203和步骤S205中，双目相机组中的彩色摄像头采集了第二采样图像并提取了其中的第二角点。
进一步地，双目相机组的彩色摄像头在采集了采样图像组后，基于相邻两组双目相机的彩色摄像头的内参，根据坐标变换优化算法得到每个第二角点在相邻两组双目相机视野内的三维坐标，最后采用最小二乘法优化得到两组三维坐标对的变换矩阵，即第二姿态标定参数。若第二姿态标定参数为其中，R2表示相邻的双目相机的彩色摄像头之间的旋转关系，t2表示相邻的双目相机的彩色摄像头之间的平移关系。则根据相邻的双目相机之间的多组角点对，计算相邻的双目相机之间第二姿态标定参数，即R2和t2的值。
S214，判断第二重投影误差是否满足第二预设阈值。
这里，按照第二姿态标定参数，将相邻的双目相机中的任一双目相机对应的第二采样图像中的任一数据点进行变换，并投影至相邻的双目相机中的另一双目相机的第二采样图像上，并计算任一数据点在另一双目相机的第二采样图像上的第二重投影误差，并将不满足第二预设阈值的第二重投影误差对应的第而姿态标定参数删除，以计算第二姿态标定参数的最优解。
S215，当第二重投影误差满足第二预设阈值时，则确定标定成功。
S216，将不满足第二预设阈值的第二重投影误差对应的第二姿态标定参数删除。
S217，根据最优的第二姿态标定参数在双目相机组中调整相邻的双目相机之间的相对姿态。
基于上述步骤S201至步骤217实现相邻的双目相机之间的标定。
S218，分别计算各个彩色摄像头的第一相机内参和第一畸变参数。
这里，在对单组双目相机进行标定计算第一姿态标定参数的同时，根据角点对，计算彩色摄像头的第一相机内参和第一畸变参数。可选地，利用角点提取算法分别提取第二采样图像中采集的标定板的所有第二角点，然后通过张氏标定算法，N点透视(Perspective-n-point,PNP)算法来优化结果并得到双目相机的两个摄像头的内参数。其中，在提取了第二角点的图像坐标后，为了获取更高的精度，可以将提取到的第二角点的像素精确到亚像素精度。进一步地，计算双目相机的彩色摄像头的第一相机内参和第一畸变参数。其中，第一相机内参为与深度摄像头自身相关的参数，第一相机内参其中，fx1为彩色摄像头在X轴上的焦距，fy1为在Y轴上的焦距，cx1为相对光轴而言x方向上的偏移量和相对光轴而言Y方向上的偏移量cy1。另外，得出彩色摄像头的第一畸变参数D1＝[k11,k21,p11,p21,k31]，其中，k11,k21,k3为感光元平面跟透镜不平行所导致的径向畸变系数，p11,p21为相机制作工艺导致的切向畸变系数。
S219，分别计算各个深度摄像头的第二相机内参和第二畸变参数。
这里，与上述步骤S218中的计算过程一样，计算深度摄像头的第二相机内参和第二畸变参数。其中，第二相机内参其中，fx2为彩色摄像头在X轴上的焦距，fy2为在Y轴上的焦距，cx2为相对光轴而言x方向上的偏移量和相对光轴而言Y方向上的偏移量cy2。以及，深度摄像头的第二畸变参数D2＝[k12,k22,p12,p22,k32]，其中，k12,k22,k32为感光元平面跟透镜不平行所导致的径向畸变系数，p12,p22为相机制作工艺导致的切向畸变系数。
S220，激光雷达在每个采样点采集表示标定板的激光雷达数据，并作为待处理图像。
这里，由激光雷达在各个采样点发射探测信号，并接受返回的探测信号。当在激光雷达在采样点采集到三维坐标信息时，将三维坐标信息转化为二维坐标信息。激光雷达在各个相机采样点上采集的三维坐标信息转化为二维平面上表现为多个散点，由多个散点组成二维坐标图像。
可选地，根据实际标定环境确定将三维坐标信息转化为二维坐标信息的转化系数，根据转化系数，将在各个采样点上采集的三维坐标信息投影到二维平面上。可选地，将表示标定板的激光雷达数据P从三维空间投影到二维空间中，得到对应的像素坐标p。其中，p＝AP，A中的参数以及二维图像的大小是根据实际标定环境确定的。如定义二维坐标图像的高和宽为1600像素，A设定为然后进行投影。
将激光雷达采集的三维坐标信息对应在二维平面上的各个散点拟合为直线线段。进一步地，利用直线检测算法在二维平面上检测直线线段。基于激光雷达测量距离的特性，当激光雷达采集的三维坐标信息中包括标定板的位置信息时，此时转化为二维坐标信息后，检测到的直线线段会出现不连续的情况。如图4a所示为本申请实施例400提供的激光雷达采集到标定板的位置信息时的示意图。其中，当在固定好标定板的室内环境中，当激光雷达发射的探测信号打到标定板上时，此时采集到的三维坐标信息转化为二维坐标信息的散点，对散点拟合后的直线线段不连续。如图4b所示为本申请实施例提供的激光雷达未采集到标定板的位置信息时的示意图。其中，当激光雷达采集的三维坐标信息中不包括标定板的位置信息时，此时在设定的室内环境中，不存在其它不同的距离信息，采集的三维坐标信息在转化为二维坐标信息的散点后，对散点进行拟合后的直线线段是连续的。
进一步地，如图4c所示为本申请实施例提供的提取出的表示标定板的位置信息的激光雷达数据的示意图，当检测到二维坐标图像中的散点拟合的直线线段不连续时，提取该段不连续的表示标定板的激光雷达数据的直线线段作为待处理图像。
S221，根据待处理图像，计算表示标定板的位置的激光雷达数据在三维空间中的直线方程。
这里，将待处理图像中的表示标定板的位置的激光雷达数据对应的二维坐标信息投影到基准坐标系中，并生成激光雷达数据在基准坐标系中的直线方程。具体的，若直线方程经过点(x0,y0,z0),方向向量为(a,b,c),则直线方程为
S222，根据第二采样图像中的提取的第二角点的坐标，计算标定板在基准坐标系下的平面方程。
本步骤中，根据第一相机内参和第一畸变参数，对第二采样图像进行去畸变处理，并在去畸变后的第二采样图像中提取标定板中的第二角点，并将第二角点的图像坐标在基准坐标系下进行变换，生成标定板在基准坐标系下的平面方程。其中，进行去畸变处理的具体过程如下：r＝x2+y2，
x′＝x×(1+k11×r+k21×r2+k31×r3)+2×p11×x×y+p21×(r+2×x2),
y′＝y×(1+k11×r+k21×r2+k31×r3)+2×p21×x×y+p11×(r+2×y2)，其中，fx1和fy1分别是双目相机的彩色摄像头在X轴上的焦距和在Y轴上的焦距，u和v表示目标图像中任一数据点的像素坐标，u0和v0是相机中心点位置，x和y是归一化像素坐标，r为归一化像素半径的平方。
进一步地，在去畸变后的第二采样图像上提取第二角点的坐标，将第二角点的坐标在基准坐标系下进行变换可以得到标定板在基准坐标系下的平面方程Ax+By+Cz+E＝0，其中，向量(A,B,C)是平面方程的法线向量，E是基准坐标系的原点到平面的距离。
S223，根据直线方程和平面方程，计算激光雷达和任一双目相机之间的第三姿态标定参数。
这里，根据平面方程Ax+By+Cz+E＝0，其法向定义为N＝[A,B,C]T，假定激光雷法相对于任一双目相机的第三姿态标定参数为其中，R3表示激光雷达和双目相机之间的旋转关系，t3表示激光雷达和双目相机之间的平移关系。对于表示激光雷达数据的直线方程中的任意一个点P(x,y,z)在基准坐标系中对应的点为Pc(xc,yc,zc)之间存的关系为Pc＝RP+t。激光雷达打在标定板上的数据点P，在经过T变换后必然会落在标定板在基准坐标系的平面内，两者之间的关系为N×(RP+t)＝E。根据前述关系计算激光雷达和任一双目相机之间的姿态标定参数。
S224，根据第三姿态标定参数调整激光雷达和任一双目相机之间的相对姿态。
基于上述步骤S201至步骤224实现任一双目相机和激光雷达之间相对姿态的标定。
S225，利用标定后的双目相机组和激光雷达采集图像。
本步骤中，双目相机组中的彩色摄像头在每个停止位置采集第一图像，同时，激光雷达和双目相机组中的深度摄像头分别采集激光雷达数据和第二图像。本申请的较佳实施例中双目相机组由两组双目相机组成，两组双目相机的夹角为60°，深度摄像头的视场角为100x 60，彩色摄像头的视场角为100x 75。激光雷达位于两组双目相机的中间，其可视化区域接近180°。上述数字均为较佳实施例。
S226，根据第一姿态标定参数，生成每组双目相机的三维点云图。
本步骤中，首先，根据第一相机内参和第一畸变参数对第一图像进行去畸变处理，以及根据第二相机内参和第二畸变参数对第二图像进行去畸变处理。可选地，根据内参数和畸变参数，分别对第一图像和第二图像进行去畸变处理。其中，对第一图像进行去畸变处理的具体过程如下：
x′＝x×(1+k11×r+k21×r2+k31×r3)+2×p11×x×y+p21×(r+2×x2),
y′＝y×(1+k11×r+k21×r2+k31×r3)+2×p21×x×y+p11×(r+2×y2),其中，u0和v0是深度摄像头的中心点位置，u和v表示第二图像上任意数据点的像素坐标，r为归一化像素半径的平方，x和y是归一化像素坐标。对第二图像进行去畸变的过程遇上类似，在此不再赘述。
进一步地，根据第一姿态标定参数，将进行去畸变处理后的第一图像和第二图像进行像素点对齐，并将第二图像投影在第一图像上，生成每组双目相机的三维点云图。可选地，根据计算出的第一姿态标定参数将深度摄像头采集的第二图像投影至第一图像中，得到像素点一一对应的图像。将第二图像投影至第一图像中的方法如下：
其中，x和y是第二图像中某个数据点的像素坐标位置，而x’和y’是是第二图像对齐在第一图像中的像素坐标位置。
S227，根据第二姿态标定参数，生成每组双目相机的三维点云图。
这里，以双目相机组中的任一组双目相机的相机坐标系为基准坐标系，根据确定的相邻的双目相机之间的第二姿态标定参数，将每组双目相机的三维点云图投影至基准坐标系的三维点云图上，生成双目相机组的三维点云图。可选地，以双目相机组中的任一组双目相机的相机坐标系为基准坐标系，根据第二姿态标定参数将双目相机组中的其它双目相机采集的采样图像投影至基准坐标系的采样图像上，生成双目相机组的三维点云图。其中，根据确定的每组双目相机的深度摄像头和深度摄像头之间的第一姿态标定参数分别将多组双目相机的Depth图像即第二图像对齐到RGB图像及第一图像的相机坐标系下。然后，根据如下公式，Z＝depth(x,y),其中，x和y为投影前的图像坐标，X、Y、Z是投影后的三维点云坐标，u0和v0是相机光轴中心。分别将多组双目相机的Depth图像和RGB图像投影到自身相机坐标系下，形成每组双目相机的三维点云图像。最后，利用相邻的双目相机的第二姿态标定参数以任一双目相机坐标系为基准，根据公式其中，XW，YW，ZW是世界坐标系下的三维坐标信息，Xc,Yc,Zc是选定的任一双目相机的彩色摄像头的相机坐标系下的三维坐标信息。
S228，将激光雷达数据投影到双目相机组生成的三维点云图上，生成三维空间数据。
本步骤中，在基准坐标系下，根据确定的任一双目相机与激光雷达之间的第三姿态标定参数，将激光雷达采集的激光雷达数据投影至双目相机组的三维点云图，生成三维空间数据。可选地，根据第三姿态标定参数，将激光雷达数据对应的三维坐标数据进行转换，并将转换后的激光雷达数据投影至双目相机组的三维点云图上，并生成三维空间数据。如图5所示，为本申请实施例500提供的双目相机组和激光雷达采集的数据融合后生成的三维空间数据的示意图。
本申请基于上述步骤实现上述一种获取三维空间数据的方法。
基于上述实施例，在双目相机组和激光雷达之间进行标定的详细过程如下：
当对每组双目相机中的深度摄像头和彩色摄像头进行标定后，对双目相机组中相邻的双目相机的彩色摄像头进行标定。本申请的较佳实施例中的两组双目相机之间存在60度的旋转关系，两组双目相机的拍摄范围为180°左右。计算单组双目相机中的深度摄像头和彩色摄像头之间的第一姿态标定参数，并根据第一姿态标定参数调整单组双目相机中的深度摄像头和彩色摄像头之间的相对姿态。进一步地，彩色摄像头的第一相机内参已经在单组双目相机的标定中确定，因此只需计算相邻两个双目相机的彩色摄像头之间的第二姿态标定参数即可。具体的，通过采集到的第二采样图像上的定位码，生成角点对，并计算相邻的两个彩色摄像头之间的第二姿态标定参数。
根据第二姿态标定参数，获取三维空间数据。记录双目相机组中每组双目相机在进行深度摄像头和彩色摄像头之间的标定时确定的第一姿态标定参数、深度摄像头和彩色摄像头的相机内参和畸变参数。进一步地，利用每组双目相机的相机内参和畸变参数分别对第一采样图像和第二采样图像做去畸变处理，得到无畸变的图像。根据确定的每组双目相机的深度摄像头和深度摄像头之间的第二姿态标定参数分别将两组双目相机的Depth图像对齐到RGB图像的坐标系下。然后，根据如下公式，Z＝depth(x,y), 其中，x和y投影前的图像坐标，X、Y、Z是投影后的三维点云坐标，u0和v0是相机光轴中心。分别将两组双目相机的Depth图像和RGB图像投影到自身相机坐标系下，形成每组双目相机的三维点云图像。最后，利用相邻的双目相机的第二姿态标定参数以任一双目相机的相机坐标系为基准坐标系，根据公式其中，XW，YW，ZW是世界坐标系下的三维坐标信息，Xc,Yc,Zc是相机坐标系下的三维坐标信息。最终生成由双目相机组生成的三维点云图像的示意图。
进一步地，根据激光雷达采集的激光雷达数据的直接方程和标定板在基准坐标系下的平面方程，计算激光雷达和双目相机组中任一彩色摄像头之间的第三姿态标定参数 并根据第三姿态标定参数调整双目相机组和激光雷达之间的相对姿态。
由双目相机组和激光雷达设备组成的获取三维空间数据的设备，既可以采集深度数据也可以采集彩色数据。为了使深度数据和彩色数据更好的做融合，需要将多组双目相机中的摄像头(多个深度摄像头+多个彩色摄像头)与激光雷达做联合标定。通过设置定制化的具有奇异性的由多个定位码组成的标定板。可以使用机械臂抓取该标定板在获取三维空间数据的设备的视野内移动，每移动到一个采样位置便可以同时采集多个个摄像头的图像以及激光雷达的数据。待采集完所有标定数据以后，便可以检测每个图像中的定位码的角点，根据角点之间的匹配关系，首先对红外摄像头和彩色摄像头之间的相对姿态进行标定，然后再对多组双目相机之间的相对姿态进行标定，最后对任一彩色摄像头和激光雷达之间的相对姿态进行标定。至此实现多个传感器之间相对姿态的标定。
进一步地，控制步进电机做旋转运动，由双目相机组和激光雷达设备组成的获取三维空间数据的设备同时获取步进电机的旋转角度以及多个双目相机的深度信息和激光雷达的深度信息。按照前述多个传感器之间的相对姿态的标定结果，将双目相机的深度数据和激光雷达的深度数据均投影到同一个彩色摄像头的相机坐标系下，并将位于彩色摄像头同一位置的深度数据做融合。可选地，融合时在近距离主要提取双目相机的深度摄像头采集的深度数据，在远距离时主要提取激光雷达的采集的深度数据，以得到较高的三维重建精度，以及室内外场景的三维数据，该设备具有较高的三维数据采集能力。
基于同一发明构思，本申请实施例600还提供一种获取三维空间数据的系统，其中，如图6所示，该系统包括双目相机组601、激光雷达602、电机603、和电机603连接的旋转轴604和处理单元605，双目相机组601和激光雷达602固定设置在旋转轴604上，由处理单元605控制电机603带动旋转轴604，以使双目相机组601和激光雷达602跟随旋转轴604进行旋转，其中，双目相机组601中的任一双目相机包括深度摄像头和彩色摄像头；
处理单元605用于对双目相机组601识别的数据进行分析，并计算任一双目相机中的深度摄像头和彩色摄像头之间的第一姿态标定参数，双目相机组601中相邻的双目相机之间的第二姿态标定参数，以及任一双目相机与激光雷达602之间的第三姿态标定参数。
获取三维空间数据的系统主要由双目相机组601、激光雷达602、电机603、和电机603连接的旋转轴604和处理单元605等组成。其中，双目相机组601和激光雷达602的视野领域至少为180°。处理器605主要用来控制电机603带动旋转轴604进行旋转，以使固定在旋转轴604上的双目相机组601和激光雷达602进行旋转、并控制双目相机组601和激光雷达602采集和识别数据，以及对双目相机中的深度摄像头和彩色摄像头、相邻的单组双目相机之间以及双目相机组601与激光雷达602之间进行标定。
基于同一发明构思，本申请实施例700还提供一种获取三维空间数据的装置，其中，如图7所示，该装置包括：
第一采集模块71，用于双目相机组中的彩色摄像头在每个停止位置采集第一图像，停止位置为双目相机组旋转预设角度后停止的位置；
第二采集模块72，用于激光雷达和双目相机组中的深度摄像头分别采集激光雷达数据和第二图像；
第一生成模块73，用于基于确定的每组双目相机中的彩色摄像头和深度摄像头之间的第一姿态标定参数，将第二图像投影至所述第一图像上，生成每组双目相机的三维点云图；
第二生成模块74，用于以双目相机组中的任一组双目相机的相机坐标系为基准坐标系，根据确定的相邻的双目相机之间的第二姿态标定参数，将每组双目相机的三维点云图投影至基准坐标系的三维点云图上，生成双目相机组的三维点云图；
第三生成模块75，用于在基准坐标系下，根据确定的任一双目相机与激光雷达之间的第三姿态标定参数，将激光雷达采集的激光雷达数据投影至双目相机组的三维点云图，生成三维空间数据。
本实施例中，第一采集模块71、第二采集模块72、第一生成模块73、第二生成模块74和第三生成模块75的具体功能和交互方式，可参见图1对应的实施例的记载，在此不再赘述。
如图8所示，本申请的又一实施例800还提供一种终端设备，包括处理器81，其中，处理器81用于执行上述一种获取三维空间数据的方法的步骤。从图8中还可以看出，上述实施例提供的终端设备还包括非瞬时计算机可读存储介质82，该非瞬时计算机可读存储介质82上存储有计算机程序，该计算机程序被处理器81运行时执行上述一种获取三维空间数据的方法的步骤。实际应用中，该终端设备可以是一台或多台计算机，只要包括上述计算机可读介质和处理器即可。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘和FLASH等，该存储介质上的计算机程序被运行时，能够执行上述的一种获取三维空间数据的方法中的各个步骤。实际应用中，所述的计算机可读介质可以是上述实施例中描述的设备/装置/系统中所包含的，也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或多个程序被执行时，能够执行上述的一种获取三维空间数据的方法中的各个步骤。
根据本申请公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件，或者上述的任意合适的组合，但不用于限制本申请保护的范围。在本申请公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
本申请附图中的流程图和框图，示出了按照本申请公开的各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或者代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应该注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同附图中所标注的顺序发生。例如，两个连接地表示的方框实际上可以基本并行地执行，它们有时也可以按照相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或者流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本申请中。特别地，在不脱离本申请精神和教导的情况下，本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，所有这些组合和/或结合均落入本申请公开的范围。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种获取三维空间数据的方法，其特征在于，包括：
双目相机组中的彩色摄像头在每个停止位置采集第一图像，所述停止位置为双目相机组旋转预设角度后停止的位置；
激光雷达和所述双目相机组中的深度摄像头分别采集激光雷达数据和第二图像；
基于确定的每组双目相机中的所述彩色摄像头和所述深度摄像头之间的第一姿态标定参数，将所述第二图像投影至所述第一图像上，生成每组双目相机的三维点云图；
以所述双目相机组中的任一组双目相机的相机坐标系为基准坐标系，根据确定的相邻的双目相机之间的第二姿态标定参数，将所述每组双目相机的三维点云图投影至所述基准坐标系的三维点云图上，生成所述双目相机组的三维点云图；
在所述基准坐标系下，根据确定的任一所述双目相机与所述激光雷达之间的第三姿态标定参数，将所述激光雷达采集的所述激光雷达数据投影至所述双目相机组的三维点云图，生成三维空间数据。
2.根据权利要求1所述的方法，其特征在于，在所述双目相机组中的彩色摄像头在每个停止位置采集第一图像的步骤之前，所述方法进一步包括：
选取多个采样点，并在每个所述采样点设置标定板；
每组双目相机在选取的每个所述采样点，通过深度摄像头和彩色摄像头分别采集第一采样图像和第二采样图像，其中，每张所述第一采样图像和所述第二采样图像中包含在所述标定板上设置的至少一个定位码；
在所述第一采样图像和所述第二采样图像中分别检测第一角点和第二角点，并根据所述定位码，对所述第一角点和所述第二角点进行配对，生成角点对；
基于所述角点对，计算第一姿态标定参数，并根据所述第一姿态标定参数调整所述每组双目相机中所述深度摄像头与所述彩色摄像头之间的相对姿态。
3.根据权利要求2所述的方法，其特征在于，在所述根据第一姿态标定参数调整所述每组双目相机中所述深度摄像头与所述彩色摄像头之间的相对姿态的步骤和所述双目相机组中的彩色摄像头在每个停止位置采集第一图像的步骤之间，所述方法进一步包括：
双目相机组在选取的每个所述采样点上通过彩色摄像头采集由所述第二采样图像组成的采样图像组，其中，所述第二采样图像包含在所述标定板上设置的至少一个定位码；
根据所述定位码，在所述第二采样图像中检测所述第二角点的角点坐标；
根据相邻的所述双目相机采集的所述第二采样图像中的所述第二角点的角点坐标，计算所述第二姿态标定参数，并根据所述第二姿态标定参数在所述双目相机组中调整相邻的所述双目相机之间的相对姿态。
4.根据权利要求3所述的方法，其特征在于，在所述根据第二姿态标定参数在所述双目相机组中调整相邻的所述双目相机之间的相对姿态的步骤和所述双目相机组中的彩色摄像头在每个停止位置采集第一图像的步骤之间，所述方法进一步包括：
在所述双目相机组中的任一组双目相机的所述彩色摄像头采集的所述第二采样图像中提取所述标定板中的所述第二角点；
将所述第二角点的所述角点坐标在所述基准坐标系下进行变换，生成所述标定板在所述基准坐标系下的平面方程；
根据所述激光雷达在所述采样点采集的表示所述标定板的激光雷达数据，生成所述激光雷达数据在所述基准坐标系中的直线方程；
根据所述平面方程的法向量和所述直线方程，计算所述第三姿态标定参数，并根据所述第三姿态标定参数调整所述激光雷达和任一双目相机之间的相对姿态。
5.根据权利要求2所述的方法，其特征在于，所述生成每组双目相机的三维点云图的步骤包括：
根据所述角点对，计算所述彩色摄像头的第一相机内参和第一畸变参数，以及所述深度摄像头的第二相机内参和第二畸变参数；
根据所述第一相机内参和所述第一畸变参数对所述第一图像进行去畸变处理，以及根据所述第二相机内参和所述第二畸变参数对所述第二图像进行去畸变处理；
根据第一姿态标定参数，将进行去畸变处理后的所述第一图像和所述第二图像进行像素点对齐，并将所述第二图像投影在所述第一图像上，生成每组双目相机的三维点云图。
6.根据权利要求5所述的方法，其特征在于，所述生成三维空间数据的步骤包括：
根据所述第三姿态标定参数，将所述激光雷达数据对应的三维坐标数据进行转换，并将转换后的所述激光雷达数据投影至所述双目相机组的三维点云图上，并生成所述三维空间数据。
7.一种获取三维空间数据的系统，其特征在于，包括双目相机组、激光雷达、电机、和电机连接的旋转轴和处理单元，所述双目相机组和所述激光雷达固定设置在所述旋转轴上，由所述电机带动旋转轴，以使所述双目相机组和所述激光雷达跟随所述旋转轴进行旋转，其中，所述双目相机组中的任一双目相机包括深度摄像头和彩色摄像头；
所述处理单元用于对所述双目相机组识别的数据进行分析，并计算任一所述双目相机中的所述深度摄像头和所述彩色摄像头之间的第一姿态标定参数，双目相机组中相邻的双目相机之间的第二姿态标定参数，以及任一所述双目相机与所述激光雷达之间的第三姿态标定参数。
8.一种获取三维空间数据的装置，其特征在于，包括：
第一采集模块，用于双目相机组中的彩色摄像头在每个停止位置采集第一图像，所述停止位置为双目相机组旋转预设角度后停止的位置；
第二采集模块，用于激光雷达和所述双目相机组中的深度摄像头分别采集激光雷达数据和第二图像；
第一生成模块，用于基于确定的每组双目相机中的所述彩色摄像头和所述深度摄像头之间的第一姿态标定参数，将所述第二图像投影至所述第一图像上，生成每组双目相机的三维点云图；
第二生成模块，用于以所述双目相机组中的任一组双目相机的相机坐标系为基准坐标系，根据确定的相邻的双目相机之间的第二姿态标定参数，将所述每组双目相机的三维点云图投影至所述基准坐标系的三维点云图上，生成所述双目相机组的三维点云图；
第三生成模块，用于在所述基准坐标系下，根据确定的任一所述双目相机与所述激光雷达之间的第三姿态标定参数，将所述激光雷达采集的所述激光雷达数据投影至所述双目相机组的三维点云图，生成三维空间数据。
9.一种非瞬时计算机可读存储介质，其特征在于，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如权利要求1至6任一项所述的一种获取三维空间数据的方法中的各个步骤。
10.一种终端设备，其特征在于，包括处理器，所述处理器用于执行如权利要求1至6中任一项所述的一种获取三维空间数据的方法中的各个步骤。
CN201910801102.6A 2019-08-28 2019-08-28 一种获取三维空间数据的方法、系统、装置和存储介质 Pending CN110599546A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910801102.6A CN110599546A (zh) 2019-08-28 2019-08-28 一种获取三维空间数据的方法、系统、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910801102.6A CN110599546A (zh) 2019-08-28 2019-08-28 一种获取三维空间数据的方法、系统、装置和存储介质

Publications (1)

Publication Number Publication Date
CN110599546A true CN110599546A (zh) 2019-12-20

Family

ID=68855946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910801102.6A Pending CN110599546A (zh) 2019-08-28 2019-08-28 一种获取三维空间数据的方法、系统、装置和存储介质

Country Status (1)

Country Link
CN (1) CN110599546A (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110895823A (zh) * 2020-01-10 2020-03-20 腾讯科技（深圳）有限公司 一种三维模型的纹理获取方法、装置、设备及介质
CN111627071A (zh) * 2020-04-30 2020-09-04 贝壳技术有限公司 一种测量电机旋转精度的方法、装置和存储介质
CN111735479A (zh) * 2020-08-28 2020-10-02 中国计量大学 一种多传感器联合标定装置及方法
CN112207804A (zh) * 2020-12-07 2021-01-12 国网瑞嘉(天津)智能机器人有限公司 带电作业机器人及多传感器识别定位方法
CN112261303A (zh) * 2020-11-19 2021-01-22 贝壳技术有限公司 三维彩色全景模型生成装置、方法、存储介质和处理器
CN112258567A (zh) * 2020-10-10 2021-01-22 达闼机器人有限公司 物体抓取点的视觉定位方法、装置、存储介质及电子设备
CN112312113A (zh) * 2020-10-29 2021-02-02 贝壳技术有限公司 用于生成三维模型的方法、装置和系统
CN112330748A (zh) * 2020-09-30 2021-02-05 江苏智库智能科技有限公司 一种基于双目深度相机的托盘识别和定位方法
CN112598747A (zh) * 2020-10-15 2021-04-02 武汉易维晟医疗科技有限公司 一种单目相机与投影仪的联合标定方法
CN112668505A (zh) * 2020-12-30 2021-04-16 北京百度网讯科技有限公司 基于路侧相机的外参的三维感知信息获取方法和路侧设备
CN113124850A (zh) * 2019-12-30 2021-07-16 北京极智嘉科技股份有限公司 机器人、地图生成方法、电子设备及存储介质
CN113506344A (zh) * 2021-07-07 2021-10-15 西南科技大学 一种核辐射环境机器人高精度三维定位装置及方法
CN113592956A (zh) * 2021-07-30 2021-11-02 武汉精测电子集团股份有限公司 一种基于显微检测机台的多镜头联合标定方法和装置
CN113625271A (zh) * 2021-07-29 2021-11-09 中汽创智科技有限公司 基于毫米波雷达和双目相机的同时定位与建图方法
CN113689482A (zh) * 2021-10-20 2021-11-23 贝壳技术有限公司 拍摄点推荐方法、装置及存储介质
CN113706692A (zh) * 2021-08-25 2021-11-26 北京百度网讯科技有限公司 三维图像重构方法、装置、电子设备以及存储介质
CN113828948A (zh) * 2021-11-23 2021-12-24 济南邦德激光股份有限公司 一种激光切割机的板材寻边方法、标定系统及寻边系统
CN115248032A (zh) * 2022-09-22 2022-10-28 创辉达设计股份有限公司 一种三维激光点云房屋信息自动化提取方法
CN115578465A (zh) * 2022-12-09 2023-01-06 幻幕谷智能科技(苏州)有限公司 一种基于双目视觉的激光定位与标注方法及产品和应用
CN117152274A (zh) * 2023-11-01 2023-12-01 三一重型装备有限公司 掘进机双目摄像头的位姿校正方法及系统、可读存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103837869A (zh) * 2014-02-26 2014-06-04 北京工业大学 基于向量关系的单线激光雷达和ccd相机标定方法
CN204439034U (zh) * 2015-02-11 2015-07-01 浙江理工大学 一种基于十字结构光的物体表面三维重建系统
CN104573646B (zh) * 2014-12-29 2017-12-12 长安大学 基于激光雷达和双目相机的车前行人检测方法及系统
CN107621226A (zh) * 2017-07-18 2018-01-23 深圳大学 多目立体视觉的三维扫描方法及系统
CN108389157A (zh) * 2018-01-11 2018-08-10 江苏四点灵机器人有限公司 一种三维全景图像快速拼接方法
CN108694731A (zh) * 2018-05-11 2018-10-23 武汉环宇智行科技有限公司 基于低线束激光雷达和双目相机的融合定位方法及设备
CN108734743A (zh) * 2018-04-13 2018-11-02 深圳市商汤科技有限公司 用于标定摄像装置的方法、装置、介质及电子设备
CN108828606A (zh) * 2018-03-22 2018-11-16 中国科学院西安光学精密机械研究所 一种基于激光雷达和双目可见光相机联合测量方法
CN109472831A (zh) * 2018-11-19 2019-03-15 东南大学 面向压路机施工过程的障碍物识别测距系统及方法
CN109767452A (zh) * 2018-12-24 2019-05-17 深圳市道通智能航空技术有限公司 一种目标定位方法和装置、无人机
CN109920011A (zh) * 2019-05-16 2019-06-21 长沙智能驾驶研究院有限公司 激光雷达与双目摄像头的外参标定方法、装置及设备
CN209168191U (zh) * 2018-12-31 2019-07-26 深圳积木易搭科技技术有限公司 一种标定装置
CN110362083A (zh) * 2019-07-17 2019-10-22 北京理工大学 一种基于多目标跟踪预测的时空地图下自主导航方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103837869A (zh) * 2014-02-26 2014-06-04 北京工业大学 基于向量关系的单线激光雷达和ccd相机标定方法
CN104573646B (zh) * 2014-12-29 2017-12-12 长安大学 基于激光雷达和双目相机的车前行人检测方法及系统
CN204439034U (zh) * 2015-02-11 2015-07-01 浙江理工大学 一种基于十字结构光的物体表面三维重建系统
CN107621226A (zh) * 2017-07-18 2018-01-23 深圳大学 多目立体视觉的三维扫描方法及系统
CN108389157A (zh) * 2018-01-11 2018-08-10 江苏四点灵机器人有限公司 一种三维全景图像快速拼接方法
CN108828606A (zh) * 2018-03-22 2018-11-16 中国科学院西安光学精密机械研究所 一种基于激光雷达和双目可见光相机联合测量方法
CN108734743A (zh) * 2018-04-13 2018-11-02 深圳市商汤科技有限公司 用于标定摄像装置的方法、装置、介质及电子设备
CN108694731A (zh) * 2018-05-11 2018-10-23 武汉环宇智行科技有限公司 基于低线束激光雷达和双目相机的融合定位方法及设备
CN109472831A (zh) * 2018-11-19 2019-03-15 东南大学 面向压路机施工过程的障碍物识别测距系统及方法
CN109767452A (zh) * 2018-12-24 2019-05-17 深圳市道通智能航空技术有限公司 一种目标定位方法和装置、无人机
CN209168191U (zh) * 2018-12-31 2019-07-26 深圳积木易搭科技技术有限公司 一种标定装置
CN109920011A (zh) * 2019-05-16 2019-06-21 长沙智能驾驶研究院有限公司 激光雷达与双目摄像头的外参标定方法、装置及设备
CN110362083A (zh) * 2019-07-17 2019-10-22 北京理工大学 一种基于多目标跟踪预测的时空地图下自主导航方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
焦宏伟: "《基于成像激光雷达与双CCD复合的二维精细成像技术研究》，国防科学技术大学2012年博士学位论文，焦宏伟(公开日：)", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》 *

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113124850B (zh) * 2019-12-30 2023-07-28 北京极智嘉科技股份有限公司 机器人、地图生成方法、电子设备及存储介质
CN113124850A (zh) * 2019-12-30 2021-07-16 北京极智嘉科技股份有限公司 机器人、地图生成方法、电子设备及存储介质
CN110895823A (zh) * 2020-01-10 2020-03-20 腾讯科技（深圳）有限公司 一种三维模型的纹理获取方法、装置、设备及介质
CN111627071A (zh) * 2020-04-30 2020-09-04 贝壳技术有限公司 一种测量电机旋转精度的方法、装置和存储介质
CN111627071B (zh) * 2020-04-30 2023-10-17 如你所视(北京)科技有限公司 一种测量电机旋转精度的方法、装置和存储介质
CN111735479B (zh) * 2020-08-28 2021-03-23 中国计量大学 一种多传感器联合标定装置及方法
CN111735479A (zh) * 2020-08-28 2020-10-02 中国计量大学 一种多传感器联合标定装置及方法
CN112330748A (zh) * 2020-09-30 2021-02-05 江苏智库智能科技有限公司 一种基于双目深度相机的托盘识别和定位方法
CN112330748B (zh) * 2020-09-30 2024-02-20 江苏智库智能科技有限公司 一种基于双目深度相机的托盘识别和定位方法
CN112258567A (zh) * 2020-10-10 2021-01-22 达闼机器人有限公司 物体抓取点的视觉定位方法、装置、存储介质及电子设备
CN112598747A (zh) * 2020-10-15 2021-04-02 武汉易维晟医疗科技有限公司 一种单目相机与投影仪的联合标定方法
CN112312113A (zh) * 2020-10-29 2021-02-02 贝壳技术有限公司 用于生成三维模型的方法、装置和系统
CN112261303B (zh) * 2020-11-19 2021-08-20 贝壳技术有限公司 三维彩色全景模型生成装置、方法、存储介质和处理器
CN112261303A (zh) * 2020-11-19 2021-01-22 贝壳技术有限公司 三维彩色全景模型生成装置、方法、存储介质和处理器
CN112207804A (zh) * 2020-12-07 2021-01-12 国网瑞嘉(天津)智能机器人有限公司 带电作业机器人及多传感器识别定位方法
CN112668505A (zh) * 2020-12-30 2021-04-16 北京百度网讯科技有限公司 基于路侧相机的外参的三维感知信息获取方法和路侧设备
US11893884B2 (en) 2020-12-30 2024-02-06 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Method for acquiring three-dimensional perception information based on external parameters of roadside camera, and roadside device
CN113506344A (zh) * 2021-07-07 2021-10-15 西南科技大学 一种核辐射环境机器人高精度三维定位装置及方法
CN113625271A (zh) * 2021-07-29 2021-11-09 中汽创智科技有限公司 基于毫米波雷达和双目相机的同时定位与建图方法
CN113625271B (zh) * 2021-07-29 2023-10-27 中汽创智科技有限公司 基于毫米波雷达和双目相机的同时定位与建图方法
CN113592956A (zh) * 2021-07-30 2021-11-02 武汉精测电子集团股份有限公司 一种基于显微检测机台的多镜头联合标定方法和装置
CN113592956B (zh) * 2021-07-30 2023-12-19 武汉精测电子集团股份有限公司 一种基于显微检测机台的多镜头联合标定方法和装置
CN113706692B (zh) * 2021-08-25 2023-10-24 北京百度网讯科技有限公司 三维图像重构方法、装置、电子设备以及存储介质
CN113706692A (zh) * 2021-08-25 2021-11-26 北京百度网讯科技有限公司 三维图像重构方法、装置、电子设备以及存储介质
CN113689482B (zh) * 2021-10-20 2021-12-21 贝壳技术有限公司 拍摄点推荐方法、装置及存储介质
CN113689482A (zh) * 2021-10-20 2021-11-23 贝壳技术有限公司 拍摄点推荐方法、装置及存储介质
CN113828948A (zh) * 2021-11-23 2021-12-24 济南邦德激光股份有限公司 一种激光切割机的板材寻边方法、标定系统及寻边系统
CN115248032B (zh) * 2022-09-22 2022-12-09 创辉达设计股份有限公司 一种三维激光点云房屋信息自动化提取方法
CN115248032A (zh) * 2022-09-22 2022-10-28 创辉达设计股份有限公司 一种三维激光点云房屋信息自动化提取方法
CN115578465A (zh) * 2022-12-09 2023-01-06 幻幕谷智能科技(苏州)有限公司 一种基于双目视觉的激光定位与标注方法及产品和应用
CN117152274A (zh) * 2023-11-01 2023-12-01 三一重型装备有限公司 掘进机双目摄像头的位姿校正方法及系统、可读存储介质
CN117152274B (zh) * 2023-11-01 2024-02-09 三一重型装备有限公司 掘进机双目摄像头的位姿校正方法及系统、可读存储介质

Similar Documents

Publication Publication Date Title
CN110599546A (zh) 一种获取三维空间数据的方法、系统、装置和存储介质
CN110570477B (zh) 一种标定相机和旋转轴相对姿态的方法、装置和存储介质
CN110599541B (zh) 一种对多传感器进行标定的方法、装置和存储介质
US10796151B2 (en) Mapping a space using a multi-directional camera
CN110580724B (zh) 一种对双目相机组进行标定的方法、装置和存储介质
CN111179358B (zh) 标定方法、装置、设备及存储介质
Singh et al. Bigbird: A large-scale 3d database of object instances
US9965870B2 (en) Camera calibration method using a calibration target
Scaramuzza et al. Extrinsic self calibration of a camera and a 3d laser range finder from natural scenes
CN111627072B (zh) 一种对多传感器进行标定的方法、装置和存储介质
EP3510562A1 (en) Method and system for calibrating multiple cameras
WO2021185220A1 (zh) 一种基于坐标测量的三维模型构建及测量方法
CN110084842B (zh) 一种机器人云台伺服二次对准方法及装置
CN111083438B (zh) 基于视频融合的无人巡检方法、系统、装置和存储介质
Yan et al. Joint camera intrinsic and lidar-camera extrinsic calibration
CN111627071B (zh) 一种测量电机旋转精度的方法、装置和存储介质
EP1100048A1 (fr) Procédé de création automatique de maquette numérique à partir de couples d'images stéréoscopiques
CN112254670A (zh) 一种基于光扫描和智能视觉融合的3d信息采集设备
Yamaguchi et al. Superimposing thermal-infrared data on 3D structure reconstructed by RGB visual odometry
CN111627070A (zh) 一种对旋转轴进行标定的方法、装置和存储介质
Kang et al. Accurate fruit localisation for robotic harvesting using high resolution lidar-camera fusion
EP4257924A1 (en) Laser scanner for verifying positioning of components of assemblies
CN112254677B (zh) 一种基于手持设备的多位置组合式3d采集系统及方法
CN111815560B (zh) 光伏电站故障检测方法、装置、便携检测设备及存储介质
CN112254671B (zh) 一种多次组合式3d采集系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191220