CN108596983A - 面向多深度相机三维扫描的全自动标定装置及方法 - Google Patents

Abstract

本发明涉及相机标定领域，具体涉及一种面向多深度相机三维扫描的全自动标定装置及方法。该全自动标定装置包括设于扫描平台中央处的立体标定装置，扫描平台四周设有n台均面向扫描平台中央的深度相机；立体标定装置具有n个用于一一对应地对准n台深度相机的标定立面，立体标定装置包括至少2层标定靶，每层标定靶处均设有n个竖直的标定靶面；每层标定靶的对应标定靶面共同构成相应的标定立面，且任一标定靶处的标定靶面均等距地向内收缩于下层标定靶的对应标定靶面；任一标定靶面处均设有至少1个特征标记，设于同一标定立面处的特征标记的中心点不共线且数量至少为3。该方法基于该全自动标定装置实现。本发明能够实现对相机的全自动标定。

Description

面向多深度相机三维扫描的全自动标定装置及方法

技术领域

本发明涉及相机标定技术领域，具体地说，涉及一种面向多深度相机三维扫描的全自动标定装置及方法。

背景技术

随着深度摄像技术的发展和深度传感器精度的不断提升，利用消费级深度摄像头快速搭建低成本三维扫描系统的技术已经逐步普及并广泛应用于工业自动化生产过程中。

对目标进行三维扫描时，往往需要从多个不同角度无死角地对目标进行拍摄，才能实现对目标全方位完整三维信息的采集。若设置单个相机，可选择让目标固定，移动相机从多角度拍摄；或选择让相机固定，让目标进行旋转。若设置多个相机，则可以让目标和相机都固定，数据采集将更稳定。但采用多个相机进行数据采集时，深度相机通过采集深度数据并计算获得的目标在该视角下的三维点云坐标值是以相机坐标为基准的，故需要对每个深度进行相机标定，使得所有相机获得的三维点云数据能配准到同一个三维坐标系下，进而才能拼接为一个完整的目标三维点云。

传统的多相机的标定方法为：首先借助棋盘格标定方法，通过识别棋盘格角点，再由人工填写角点的坐标来完成标定。这种标定方法的标定效率很低、操作复杂且需要专业人员才能完成标定。

发明内容

本发明提供了一种面向多深度相机三维扫描的全自动标定装置，其能够克服现有技术的某种或某些缺陷。

根据本发明的面向多深度相机三维扫描的全自动标定装置，其包括用于设于一扫描平台中央处的立体标定装置，扫描平台四周设有至少不为1的n台均面向扫描平台中央的深度相机；立体标定装置具有n个用于一一对应地对准n台深度相机的标定立面，立体标定装置包括至少2层标定靶，每层标定靶处均设有n个竖直的标定靶面；每层标定靶的对应标定靶面共同构成相应的标定立面，且任一标定靶处的标定靶面均等距地向内收缩于下层标定靶的对应标定靶面；任一标定靶面处均设有至少1个特征标记，设于同一标定立面处的特征标记的中心点不共线且数量为m，m至少为3。

本发明中，只需要将立体标定装置放置于扫描平台的设定位置处，即可通过软件的控制，无需人值守即可较佳的全自动完成所有标定流程，从而大大提升了标定的效率并能够大大地降低标定的成本。另外，由于多个深度相机能够同步运行进行标定，从而能够成倍地提升标定的速度。此外，本发明中的立体标定装置能够根据实际深度相机的数量而进行适应性的改变，从而能够较佳地运用于如3个、4个、5个、6个等多种场景下的相机标定，从而能够具有较广的应用范围。

本发明中，通过设置多层标定靶并使得多层标定靶呈塔型的台阶状布置，能够较佳地避免不同标定靶处的特征标记的共面。通过分层结构的设置，使得同一标定立面处的特征标记能够在空间上呈现立体布局，尤其是能够使得同一标定立面处的特征标记不会在与对应深度相机光轴垂直的面上共线，从而能够较佳便于后续数据的处理(求解处相机相关参数)。基于此，立体标定装置的层数至少应不低于2层。应当理解的是，在保证标定立面处于相应深度相机的视角范围内的前提下，标定靶的数量越多，则特征标记的数量也能够设置的越多，则越能避免特征标记间的共线和共面，则越能便于后续数据的处理(求解多元多次方程的最优解)；但是，由于深度相机在拍摄特征标记时是通过识别特征标记的中心点作为特征点的，而特征点的识别也存在误差，故特征标记越多，积累误差也就会越大。故本发明中，设置立体标定装置的优选层数为3层(即具有3层标定靶)，并且同一标定立面处的特征标记的数量优选为5个(即m＝5)，并且同一标定立面处的5个特征标记能够按照1、2、2的数量自上而下分别分布在3层标定靶的相应标定靶面处；从而能够较佳地便于数据的处理且也能够较佳地保证数据处理结果的准确性。

通过本发明的全自动标定装置，能够较佳获取每个深度相机相对世界坐标系的转换矩阵(包括旋转矩阵和平移矩阵)，从而能够较佳地多组位于不同相机坐标系下的三维点云配准到统一的世界坐标系下以完成数据的拼接。

作为优选，所述至少2层标定靶设于一标定靶底座处，扫描平台处设有与标定靶底座边线相配合的定位标记。

本发明中，通过将立体标定装置设于扫描平台中部，使得能够以扫描平台上平面的中心点作为原点而构建世界坐标系，从而能够较佳地便于数据的处理。其中，立体标定装置能够构造成一旋转体，从而使得在计算特征标记中心点(特征点)的世界坐标时，只需计算出其中一个标定立面处所有特征标记中心点的世界坐标后，按角度作刚体旋转即可推算出其余标定立面处所有特征标记中心点的世界坐标，从而能够较佳地便于数据的处理。

作为优选，标定靶面处设有一第一颜色层，第一颜色层的颜色为白色；特征标记的空心圆环形，特征标记处设有一第二颜色层，第二颜色层的颜色为黑色。

本发明中，由于在后续处理中，是通过多组特征点在世界坐标系和其在相应相机坐标系中的坐标代入转换矩阵的求解公式中进行求解获取转换矩阵的，故本发明中，将特征标记的中心点作为特征点，当特征标记设计为空心圆环形时，能够较佳地便于特征点的识别。应当理解是的，特征标记的形状也能够为如正多边形等规则的形状。另外，当特征标记为空心圆环形时，特征标记中部应当留有足够的空白区域，从而能够较佳地保证数据获取的准确性。

本发明中，在获取特征点的位置时，是结合平面图像和深度图像加以实现的，通过平面图像能够较佳地识别出特征标记，从而能够较佳地获取特征标记中心点的像素位置，之后根据像素位置即可较佳地获取特征标记中心点的深度信息。

此外，特征标记的颜色与标定靶面的颜色应该具有足够的反差，从而能够较佳地便于深度相机的识别。本发明中，采用黑、白搭配的方式仅为一个优选方案。其中，由于白色对深度相机的红外投影反射效果较好，故将第一颜色层设为白色能够较佳地便于深度信息的获取；其中，由于黑色与白色反差最大，故将第二颜色层的颜色设为黑色能够较佳地便于特征标记的识别。

作为优选，位于任一标定靶不同标定靶面处的特征标记的数量和布局均相同。从而便于算法统一识别，进而较佳地便于数据的自动化处理。

基于上述任一种全自动标定装置，本发明还提供了一种对多深度相机三维扫描进行全自动标定的方法，其包括以下步骤：

步骤一，将立体标定装置放置于扫描平台中央，并使得每个标定立面均对准一台深度相机；

步骤二，以扫描平台中心点为原点建立世界坐标系XYZw，将对应的深度相机和标定立面标号为i(i＝1，2，……，n)，按照相同的排序规则将每个标定立面处的每个特征标记依次标号为j(j＝1，2，……，m)；根据立体标定装置的尺寸计算每个特征标记的中心点在世界坐标系中的坐标并采用向量的方式进行表示，将第i个标定立面上的第j个特征标记的中心点坐标记为 将每个标定立面中的所有特征标记中心点在世界坐标系的坐标均构建成集合从而形成相应的点云PWi，点云PWi表示第i个标定立面处的点云，

步骤三，建立每个深度相机的相机坐标系，将第i个深度相机的相机坐标系记为XYZci；之后控制每个深度相机均对对应的标定立面进行拍摄，进而获取每个特征标记的中心点在相应相机坐标系中的坐标并采用向量的方式进行表示，将第i个标定立面上的第j个特征标记的中心点坐标记为 将每个标定立面中的所有特征标记中心点在相应相机坐标系的坐标均构建成集合从而形成相应的点云PCi，点云PCi表示第i个标定立面处的点云，

步骤四，根据公式代入步骤二和步骤三获取的数据，利用程序自动求解每个标定立面上的点的世界坐标和对应相机坐标点间的转换旋转矩阵Ri和平移矩阵Ti，该旋转矩阵Ri和平移矩阵Ti即为相应深度相机的旋转矩阵和平移矩阵。

本发明的步骤一中，应当使得立体标定装置的轴线与扫描平台的轴线重合，从而便于步骤二中的数据处理。

本发明的标定方法，能够通过程序自动运行，从而能够较佳地实现对深度相机的自动化标定。其中，步骤二中，由于立体标定装置的尺寸是固定规格的，故只需要在首次进行标定时，才需要对计算获取特征点的世界坐标，在之后的标定中，特征点的世界坐标能够保存在配置文件中作为已知参数直接使用。

另外，由于三维空间中一个点的在相机坐标系XYZci下的三维坐标与该点在世界坐标系XYZw下的三维坐标之间存在对应关系：而通过步骤二和步骤三能够在每个标定立面处获取m组已知点对的坐标，故能够通过程序利用四元数算法计算求解出旋转矩阵Ri和平移矩阵Ti，使得点云PWi和点云PCi间满足关系：通过上述，能够获取相应深度相机120的旋转矩阵Ri和平移矩阵Ti，之后保存至系统配置中即可。

作为优选，在扫描平台处设置与立体标定装置相配合的定位标记，步骤一中，将立体标定装置以定位标记为参照设于扫描平台处。从而能够较佳地对立体标定装置进行放置。

作为优选，将标定靶面与特征标记设置成反差较大的颜色。从而便于数据的处理。

作为优选，步骤二中，采用自上而下、自左而右的方式对每个标定立面处的特征标记进行标号。从而便于程序自动完成特征点的识别和与对应，可以理解的是特征标记进行标号的规则只要相同即可。

作为优选，将特征标记设计成空心的圆环形。从而便于数据的处理。

附图说明

图1为实施例1中的全自动标定装置的示意简图；

图2为实施例1中的立体标定装置的示意图；

图3为实施例1中的标定方法的流程示意图；

图4为实施例1中的立体标定装置的正面示意图。

具体实施方式

为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。应当理解的是，实施例仅仅是对本发明进行解释而并非限定。

实施例1

如图1和2所示，本实施例提供了一种面向多深度相机三维扫描的全自动标定装置，其包括用于设于一扫描平台100中央处的立体标定装置200，扫描平台100四周设有至少不为1的n台均面向扫描平台100中央的深度相机120；立体标定装置200具有n个用于一一对应地对准n台深度相机120的标定立面，立体标定装置200包括至少2层标定靶210，每层标定靶210处均设有n个竖直的标定靶面211；每层标定靶210的对应标定靶面211共同构成相应的标定立面，且任一标定靶210处的标定靶面211均等距地向内收缩于下层标定靶210的对应标定靶面211；任一标定靶面211处均设有至少1个特征标记212，设于同一标定立面处的特征标记212的中心点不共线且数量为m，m至少为3。

本实施例中，只需要将立体标定装置200放置于扫描平台100的设定位置处，即可通过软件的控制，无需人值守即可较佳的全自动完成所有标定流程，从而大大提升了标定的效率并能够大大地降低标定的成本。另外，由于多个深度相机120能够同步运行进行标定，从而能够成倍地提升标定的速度。此外，本实施例中的立体标定装置200能够根据实际深度相机120的数量而进行适应性的改变，从而能够较佳地运用于如3个、4个、5个、6个等多种场景下的相机标定，从而能够具有较广的应用范围。

本实施例中，通过设置多层标定靶210并使得多层标定靶210呈塔型的台阶状布置，能够较佳地避免不同标定靶210处的特征标记212的共面。通过分层结构的设置，使得同一标定立面处的特征标记212能够在空间上呈现立体布局，尤其是能够使得同一标定立面处的特征标记212不会在与对应深度相机120光轴垂直的面上共线，从而能够较佳便于后续数据的处理(求解处相机相关参数)。基于此，立体标定装置200的层数至少应不低于2层。应当理解的是，在保证标定立面处于相应深度相机120的视角范围内的前提下，标定靶210的数量越多，则特征标记212的数量也能够设置的越多，则越能避免特征标记212间的共线和共面，则越能便于后续数据的处理(求解多元多次方程的最优解)；但是，由于深度相机120在拍摄特征标记212时是通过识别特征标记212的中心点作为特征点的，而特征点的识别也存在误差，故特征标记212越多，积累误差也就会越大。故本实施例中，设置立体标定装置200的层数为3层(即具有3层标定靶210)，并且同一标定立面处的特征标记212数量为5个(即m＝5)，并且同一标定立面处的5个特征标记212按照1、2、2的数量自上而下分别分布在3层标定靶210的相应标定靶面211处；从而能够较佳地便于数据的处理且也能够较佳地保证数据处理结果的准确性。

通过本实施例的全自动标定装置，能够较佳获取每个深度相机120相对世界坐标系的转换矩阵(包括旋转矩阵和平移矩阵)，从而能够较佳地多组位于不同相机坐标系下的三维点云配准到统一的世界坐标系下以完成数据的拼接。

本实施例中，所述至少2层标定靶210设于一标定靶底座220处，扫描平台100处设有与标定靶底座220边线相配合的定位标记130。

本实施例中，通过将立体标定装置200设于扫描平台100中部，使得能够以扫描平台100上平面的中心点作为原点而构建世界坐标系，从而能够较佳地便于数据的处理。其中，立体标定装置200能够构造成一旋转体，从而使得在计算特征标记212中心点(特征点)的世界坐标时，只需计算出其中一个标定立面处所有特征标记212中心点的世界坐标后，按角度作刚体旋转即可推算出其余标定立面处所有特征标记212中心点的世界坐标，从而能够较佳地便于数据的处理。

本实施例中，标定靶面211处设有一第一颜色层，第一颜色层的颜色为白色；特征标记212的空心圆环形，特征标记212处设有一第二颜色层，第二颜色层的颜色为黑色。

本实施例中，由于在后续处理中，是通过多组特征点在世界坐标系和其在相应相机坐标系中的坐标代入转换矩阵的求解公式中进行求解获取转换矩阵的，故本实施例中，将特征标记212的中心点作为特征点，当特征标记212设计为空心圆环形时，能够较佳地便于特征点的识别。应当理解是的，特征标记212的形状也能够为如正多边形等规则的形状。另外，当特征标记212为空心圆环形时，特征标记212中部应当留有足够的空白区域，从而能够较佳地保证数据获取的准确性。

本实施例中，在获取特征点的位置时，是结合平面图像和深度图像加以实现的，通过平面图像能够较佳地识别出特征标记212，从而能够较佳地获取特征标记212中心点的像素位置，之后根据像素位置即可较佳地获取特征标记212中心点的深度信息。

此外，特征标记212的颜色与标定靶面211的颜色应该具有足够的反差，从而能够较佳地便于深度相机120的识别。本实施例中，采用黑、白搭配的方式仅为一个优选方案。其中，由于白色对深度相机的红外投影反射效果较好，故将第一颜色层设为白色能够较佳地便于深度信息的获取；其中，由于黑色与白色反差最大，故将第二颜色层的颜色设为黑色能够较佳地便于特征标记212的识别。

本实施例中，位于任一标定靶210不同标定靶面211处的特征标记212的数量和布局均相同。

本实施例中，特征标记212的尺寸以及在每层中的布局均相同，从而便于算法统一识别，进而较佳地便于数据的自动化处理。

结合图3所示，基于本实施例的全自动标定装置，本实施例还提供了一种对多深度相机三维扫描进行全自动标定的方法，其包括以下步骤：

步骤一，将立体标定装置200放置于扫描平台100中央，并使得每个标定立面均对准一台深度相机120；

步骤二，以扫描平台100中心点为原点建立世界坐标系XYZw，将对应的深度相机120和标定立面标号为i(i＝1，2，……，n)，按照相同的排序规则将每个标定立面处的每个特征标记212依次标号为j(j＝1，2，……，m)；根据立体标定装置200的尺寸计算每个特征标记212的中心点在世界坐标系中的坐标并采用向量的方式进行表示，将第i个标定立面上的第j个特征标记212的中心点坐标记为 将每个标定立面中的所有特征标记212中心点在世界坐标系的坐标均构建成集合从而形成相应的点云PWi，点云PWi表示第i个标定立面处的点云，

步骤三，建立每个深度相机120的相机坐标系，将第i个深度相机120的相机坐标系记为XYZci；之后控制每个深度相机120均对对应的标定立面进行拍摄，进而获取每个特征标记212的中心点在相应相机坐标系中的坐标并采用向量的方式进行表示，将第i个标定立面上的第j个特征标记212的中心点坐标记为 将每个标定立面中的所有特征标记212中心点在相应相机坐标系的坐标均构建成集合从而形成相应的点云PCi，点云PCi表示第i个标定立面处的点云，

步骤四，根据公式代入步骤二和步骤三获取的数据，利用程序自动求解每个标定立面上的点的世界坐标和对应相机坐标点间的转换旋转矩阵Ri和平移矩阵Ti，该旋转矩阵Ri和平移矩阵Ti即为相应深度相机120的旋转矩阵和平移矩阵。

本实施例的步骤一中，应当使得立体标定装置200的轴线与扫描平台100的轴线重合，从而便于步骤二中的数据处理。

本实施例中，是采用3层4面结构的立体标定装置200对具有4个深度相机120的三维扫描系统中的每个深度相机120进行标定，且每个标定立面处设有5个特征标记212，故本实施例中，n＝4、m＝5。

本实施例的标定方法，能够通过程序自动运行，从而能够较佳地实现对深度相机120的自动化标定。其中，步骤二中，由于立体标定装置200的尺寸是固定规格的，故只需要在首次进行标定时，才需要对计算获取特征点的世界坐标，在之后的标定中，特征点的世界坐标能够保存在配置文件中作为已知参数直接使用。

另外，由于三维空间中一个点的在相机坐标系XYZci下的三维坐标与该点在世界坐标系XYZw下的三维坐标之间存在对应关系：而通过步骤二和步骤三能够在每个标定立面处获取m(m＝5)组已知点对的坐标，故能够通过程序利用四元数算法计算求解出旋转矩阵Ri和平移矩阵Ti，使得点云PWi和点云PCi间满足关系：通过上述，能够获取相应深度相机120的旋转矩阵Ri和平移矩阵Ti，之后保存至系统配置中即可。

本实施例中，在扫描平台100处设置与立体标定装置200相配合的定位标记130，步骤一中，将立体标定装置200以定位标记130为参照设于扫描平台100处。从而能够较佳地对立体标定装置200进行放置。

本实施例中，将标定靶面211与特征标记212设置成反差较大的颜色。从而便于数据的处理。

如图4所示，步骤二中，采用自上而下、自左而右的方式对每个标定立面处的特征标记212进行标号。从而便于程序自动完成特征点的识别和与对应，可以理解的是特征标记212进行标号的规则只要相同即可。

本实施例中，将特征标记212设计成空心的圆环形。从而便于数据的处理。

通过本实施例的方法，能够较佳地实现对相机的自动标定。

以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (9)

1.面向多深度相机三维扫描的全自动标定装置，其特征在于：包括用于设于一扫描平台(100)中央处的立体标定装置(200)，扫描平台(100)四周设有至少不为1的n台均面向扫描平台(100)中央的深度相机(120)；立体标定装置(200)具有n个用于一一对应地对准n台深度相机(120)的标定立面，立体标定装置(200)包括至少2层标定靶(210)，每层标定靶(210)处均设有n个竖直的标定靶面(211)；每层标定靶(210)的对应标定靶面(211)共同构成相应的标定立面，且任一标定靶(210)处的标定靶面(211)均等距地向内收缩于下层标定靶(210)的对应标定靶面(211)；任一标定靶面(211)处均设有至少1个特征标记(212)，设于同一标定立面处的特征标记(212)的中心点不共线且数量为m，m至少为3。

2.根据权利要求1所述的面向多深度相机三维扫描的全自动标定装置，其特征在于：所述至少2层标定靶(210)设于一标定靶底座(220)处，扫描平台(100)处设有与标定靶底座(220)边线相配合的定位标记(130)。

3.根据权利要求1所述的面向多深度相机三维扫描的全自动标定装置，其特征在于：标定靶面(211)处设有一第一颜色层，第一颜色层的颜色为白色；特征标记(212)的空心圆环形，特征标记(212)处设有一第二颜色层，第二颜色层的颜色为黑色。

4.根据权利要求1所述的面向多深度相机三维扫描的全自动标定装置，其特征在于：位于任一标定靶(210)不同标定靶面(211)处的特征标记(212)的数量和布局均相同。

5.采用权利要求1-4中任一全自动标定装置对多深度相机三维扫描进行全自动标定的方法，其包括以下步骤：

步骤一，将立体标定装置(200)放置于扫描平台(100)中央，并使得每个标定立面均对准一台深度相机(120)；

步骤二，以扫描平台(100)中心点为原点建立世界坐标系XYZw，将对应的深度相机(120)和标定立面标号为i(i＝1，2，……，n)，按照相同的排序规则将每个标定立面处的每个特征标记(212)依次标号为j(j＝1，2，……，m)；根据立体标定装置(200)的尺寸计算每个特征标记(212)的中心点在世界坐标系中的坐标并采用向量的方式进行表示，将第i个标定立面上的第j个特征标记(212)的中心点坐标记为 将每个标定立面中的所有特征标记(212)中心点在世界坐标系的坐标均构建成集合从而形成相应的点云PWi，点云PWi表示第i个标定立面处的点云，

步骤三，建立每个深度相机(120)的相机坐标系，将第i个深度相机(120)的相机坐标系记为XYZci；之后控制每个深度相机(120)均对对应的标定立面进行拍摄，进而获取每个特征标记(212)的中心点在相应相机坐标系中的坐标并采用向量的方式进行表示，将第i个标定立面上的第j个特征标记(212)的中心点坐标记为 将每个标定立面中的所有特征标记(212)中心点在相应相机坐标系的坐标均构建成集合从而形成相应的点云PCi，点云PCi表示第i个标定立面处的点云，

步骤四，根据公式代入步骤二和步骤三获取的数据，利用程序自动求解每个标定立面上的点的世界坐标和对应相机坐标点间的转换旋转矩阵Ri和平移矩阵Ti，该旋转矩阵Ri和平移矩阵Ti即为相应深度相机(120)的旋转矩阵和平移矩阵。

6.根据权利要求5所述的方法，其特征在于：在扫描平台(100)处设置与立体标定装置(200)相配合的定位标记(130)，步骤一中，将立体标定装置(200)以定位标记(130)为参照设于扫描平台(100)处。

7.根据权利要求6所述的方法，其特征在于：将标定靶面(211)与特征标记(212)设置成反差较大的颜色。

8.根据权利要求6所述的方法，其特征在于：步骤二中，采用自上而下、自左而右的方式对每个标定立面处的特征标记(212)进行标号。

9.根据权利要求1所述的面向多深度相机三维扫描的全自动标定装置，其特征在于：将特征标记(212)设计成空心的圆环形。