CN107123147B

CN107123147B - 双目摄像机的标定方法、装置及双目摄像机系统

Info

Publication number: CN107123147B
Application number: CN201710210705.XA
Authority: CN
Inventors: 徐渊; 王少博; 姚浩东; 王亚洲; 郑炯彬; 范东勇
Original assignee: SHENZHEN CHIPMAP ELECTRONIC TECHNOLOGY Inc
Current assignee: SHENZHEN CHIPMAP ELECTRONIC TECHNOLOGY Inc
Priority date: 2017-03-31
Filing date: 2017-03-31
Publication date: 2020-05-05
Anticipated expiration: 2037-03-31
Also published as: CN107123147A

Abstract

本发明涉及双目摄像机的标定方法、装置及双目摄像机系统，标定方法包括：将双目摄像机安装至设定位置；放置平面标定模板，平面标定模板的参考标定位置与拍摄目标的参考位置重合；调整双目摄像机，使得双目摄像机采集的平面标定模板的标定线与基准标定线重合；在平面标定模板上布置多个立体标定块；基于平面标定模板选取多个第一标定点、和基于立体标定块选取多个具有三维坐标的第二标定点；以及根据第一标定点和第二标定点计算并存储双目摄像机的标定矩阵。标定过程中只需摆放一次立体标定板即可完成标定，操作简单，可去除多次操作带来的误差，普遍适用性高；且计算过程简单，对操作人员要求低，最终增加了视觉系统运行的鲁棒性。

Description

双目摄像机的标定方法、装置及双目摄像机系统

技术领域

本发明涉及视觉领域，尤其涉及一种双目摄像机的标定方法、双目摄像机的标定装置及双目摄像机系统。

背景技术

双目视觉系统利用两个摄像机从不同角度对运动的拍摄目标进行图像采集，并在三维空间中重建该拍摄目标的三维信息，以实现检测并跟踪运动目标。双目摄像机的标定是指获取双目摄像机的内部参数和两个摄像机之间的相对位置和姿态参数的过程，是双目视觉系统中最基本和最重要的组成部分之一。

目前的双目视觉系统大多采用张正友标定法，其利用MATLAB工具箱标定，需要在感测区域内人为旋转标定板，选取处于不同空间平面的多张图像，例如三张以上，并多次用半自动方式提取标定板的棋盘格角点，再经过计算取得摄像机的内外参数矩阵和畸变系数。但是，采用该标定方法获取的双目摄像机的内外参数矩阵和畸变系数与人为摆放标定板的空间位置和选取的角点相关，不同工程实施人员标定出的参数精度不一，不利于设备安装标定的普遍适用性原则。另外，MATLAB工具箱操作繁琐，对施工人员专业性要求过高。

发明内容

本发明要解决的技术问题在于，针对现有双目摄像机的标定操作复杂、普遍适用性低的缺陷，提供一种双目摄像机的标定方法、装置及双目摄像机系统。

本发明解决其技术问题所采用的技术方案是：提供了一种双目摄像机的标定方法，包括：

将双目摄像机安装至设定位置；

放置平面标定模板，所述平面标定模板的参考标定位置与拍摄目标的参考位置重合；

调整所述双目摄像机，使得所述双目摄像机采集的所述平面标定模板的标定线与基准标定线重合；

在所述平面标定模板上布置多个立体标定块；

基于所述平面标定模板选取多个第一标定点、和基于所述立体标定块选取多个具有三维坐标的第二标定点；以及

根据所述第一标定点和所述第二标定点计算并存储所述双目摄像机的标定矩阵。

根据本发明实施例所述的双目摄像机的标定方法中，所述放置平面标定模板包括：所述双目摄像机的连接中心点到所述平面标定模板所在平面的垂直距离大于零；所述连接中心点在所述平面标定模板所在平面的投影与所述参考位置不重合。

根据本发明实施例所述的双目摄像机的标定方法中，所述双目摄像机的连接中心点到所述平面标定模板所在平面的垂直距离介于2.7米和3.3米之间；所述连接中心点在所述平面标定模板所在平面的投影与所述参考位置之间的直线距离介于50厘米到120厘米之间。

根据本发明实施例所述的双目摄像机的标定方法中，基于所述平面标定模板分别针对所述双目摄像机的左目摄像机和右目摄像机各选取2个第一标定点，基于所述立体标定块分别针对所述左目摄像机和所述右目摄像机各选取12个第二标定点。

根据本发明实施例所述的双目摄像机的标定方法中，所述根据所述第一标定点和所述第二标定点计算并存储所述双目摄像机的标定矩阵包括：基于所述第二标定点的三维坐标以及所述第二标定点对应的图像点坐标，采用线性算法获取透视变换矩阵中的各个元素，以获取所述标定矩阵。

根据本发明实施例所述的双目摄像机的标定方法中，所述方法还包括在所述根据所述第一标定点和所述第二标定点计算并存储所述双目摄像机的标定矩阵之后，放置所述拍摄目标于所述参考位置，检测所述双目摄像机是否能感测到所述拍摄目标，若能则输入并存储所述拍摄目标的信息模板。

本发明还提供了一种双目摄像机的标定装置，包括平面标定模板、多个立体标定块、调整单元、提取单元、以及计算存储单元；其中，

所述平面标定模板的参考标定位置与拍摄目标的参考位置重合；所述多个立体标定块布置于所述平面标定模板之上；所述调整单元用于调整所述双目摄像机，使得所述双目摄像机采集的所述平面标定模板的标定线与基准标定线重合；所述提取单元用于基于所述平面标定模板选取多个第一标定点、和基于所述立体标定块选取多个具有三维坐标的第二标定点；以及所述计算存储单元用于根据所述第一标定点和所述第二标定点计算并存储所述双目摄像机的标定矩阵。

在根据本发明实施例所述的双目摄像机的标定装置中，所述多个立体标定块中的至少两个的高度不同。

在根据本发明实施例所述的双目摄像机的标定装置中，所述平面标定模板的表面包括间隔排布的多个黑色格子和多个白色格子；一个所述立体标定块位于一个所述黑色格子或一个所述白色格子之上。

在根据本发明实施例所述的双目摄像机的标定装置中，所述标定装置还包括检测单元，用于检测所述双目摄像机是否能感测到放置于所述参考位置的所述拍摄目标。

本发明又提供了一种双目摄像机系统，包括双目摄像机以及上述的任一所述的标定装置。

实施本发明具有以下有益效果：标定过程中，多个已知空间几何信息的立体标定块与常规的平面标定模板相结合以获取标定信息，标定过程中只需摆放一次立体标定板即可完成标定，无需在不同空间平面采集多张图像，操作简单，还可去除多次操作带来的误差，普遍适用性高。另，基于采集的立体标定块的三维坐标信息可获得出标定矩阵，计算过程简单，对操作人员要求低，最终增加了视觉系统运行的鲁棒性。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是依据本发明一实施例的双目摄像机的标定方法的流程图；

图2是图1中的双目摄像机与平面标定模板配合安装的示意图；

图3是图1中的平面标定模板的示意图；

图4是图1中的平面标定模板与立体标定块配合布置的示意图；

图5是依据本发明另一实施例的双目摄像机的标定方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供了一种双目摄像机的标定方法，图1示出了依据本发明一实施例的标定方法的流程图，其包括步骤：S100、将双目摄像机安装至设定位置；S200、放置平面标定模板，平面标定模板的参考标定位置与拍摄目标的参考位置重合；S300、调整双目摄像机，使得双目摄像机采集的平面标定模板的标定线与基准标定线重合；S400、在平面标定模板上布置多个立体标定块；S500、基于平面标定模板选取多个第一标定点、和基于立体标定块选取多个具有三维坐标的第二标定点；以及S600、根据第一标定点和第二标定点计算并存储双目摄像机的标定矩阵。

本发明的双目摄像机的标定方法中，多个已知空间几何信息的立体标定块与常规的平面标定模板相结合以获取标定信息，标定过程中只需摆放一次立体标定板即可完成标定，无需在不同空间平面采集多张图像，操作简单，还可去除多次操作带来的误差，普遍适用性高。另，通过采集的立体标定块的三维坐标信息即可获得出标定矩阵，计算过程简单，对操作人员要求低，且标定结果应用在高速目标检测上的冗余部分也可消除，最终增加了视觉系统运行的鲁棒性。

具体地，在步骤S100中，参见图2，按照预先设定的位置安装双目摄像机1，即右目摄像机11和左目摄像机12，并确保拍摄目标在双目摄像机1的拍摄感测区域内，通常设置双目摄像机1斜向拍摄感测区域。拍摄目标通常为运动状态，例如可以是运动的球类，一般可选择球类目标的击球点作为拍摄目标的参考位置，如球TEE台位置，箭头A指示击球方向。

步骤S200中，在放置平面标定模板2的过程中，参见图2，设置平面标定模板2的参考标定位置21与拍摄目标的参考位置（即图中的球TEE）重合。进一步地，还可设置双目摄像机1的连接中心点13到平面标定模板2所在平面的垂直距离L1大于零，连接中心点13在平面标定模板2所在平面的投影130与参考位置不重合，两者之间的直线距离L2大于零。例如，可设置距离L1介于2.7米和3.3米之间，距离L2介于50厘米到120厘米之间，优选85厘米。通过L1和L2的设置，可有效避免击球过程中人体遮挡的问题。

步骤S300中，调整双目摄像机1，使得双目摄像机1采集的平面标定模板2的标定线与基准标定线重合。具体参见图3，其示出了依据本发明一具体实施方式的平面标定模板2的示意图，该平面标定模板2为平面棋盘格模板，包括间隔排布的多个黑色格子22和多个白色格子23，例如可设置平面标定模板2的长为80cm、宽为55cm，黑色格子22或白色格子23均为正方形，其边长均为5cm。还可在平面标定模板2上设置坐标系，坐标原点设于平面标定模板2所在平面内，该平面的坐标轴为X轴和Y轴。平面标定模板2包括标定线，具体为左目标定线24和右目标定线25，调整双目摄像机1，例如调整其角度，使得双目摄像机1采集的左目标定线24和右目标定线25分别与各自预设的基准标定线重合。

在步骤S400中，在平面标定模板2上布置多个立体标定块。参照图3中设置的坐标系，如图4所示，该立体标定块3为长方体结构，底面设于平面标定模板2上，即底面在XY平面内，并垂直于平面标定模板2，即立体标定块3的Z方向的长度为其高。通常设置立体标定块3的底面面积与一个黑色格子22或一个白色格子23的面积相等，因此立体标定块3可恰好覆盖一个格子。且，多个立体标定块3中，至少两个立体标定块3的高度不相等。

在每个立体标定块3的顶面上，该顶面与底面相对，设有一个十字标定线31，该十字标定线31在图3的XYZ坐标系中具有三维坐标。例如，某个立体标定块3的十字标定线31的交点的高度为35cm，水平方向距离坐标原点的距离为22.5cm，垂直方向距离坐标原点的距离为2.5cm，那么（2.5,22.5,35）即为该立体标定块的十字标定线31的三维坐标。

在布置立体标定块3过程中，还可按照预定的顺序布置不同高度的立体标定块3。参见图3，平面标定模板2的多个格子中标有数字，这些标有数字的格子上将设置立体标定块3，这些数字代表了设置立体标定块3的顺序以及类型。例如，“（11）3”格子表示此处放置的是第11个立体标定块3，且该立体标定块3的高度为3cm。以上仅用作举例，并不是对本发明的限制，本领域的普通技术人员可基于本发明的教导，根据实际拍摄目标，合理配置立体标定块3，例如合理布置不同高度的立体标定块3的摆放顺序。

步骤S500中，在平面标定模板2上选取多个第一标定点，并在多个立体标定块3上选取多个具有三维坐标的第二标定点。仍采用图3中示出的坐标系，可在平面标定模板2上选取多个点作为第一标定点，其坐标为二维坐标（X,Y）。参照图4，可选取立体标定块3顶面的十字标定线31的交点作为第二标定点，其坐标为三维坐标（X,Y,Z）。

在本发明的一具体实施方式中，可在平面标定模板2上针对双目摄像机1的左目摄像机选取2个第一标定点，针对右目摄像机选取2个第一标定点；在多个立体标定块3上针对左目摄像机选取12个第二标定点，在多个立体标定块3上针对右目摄像机选取12个第二标定点。

步骤S600中，根据第一标定点和第二标定点计算并存储双目摄像机1的标定矩阵。具体可采用第一标定点计算实际像素距离，即图像中一个像素在实际场景中的真实长度。可基于第二标定点的三维坐标以及第二标定点对应的图像点坐标，采用线性算法获取透视变换矩阵中的各个元素，以获取标定矩阵。其中，第二标定点的三维坐标为其对应的立体标定块3的十字标定线31在图3中示出的实际坐标系中的坐标值，例如上述一个立体标定块的三维坐标（2.5,22.5,35）；而其对应的图像点坐标则是该十字标定线31的交点在XY平面内的二维图像坐标的投影的坐标值，本领域的普通技术人员可通过现有的任意适合的方法获得，此处不再赘述。

存储获取的标定矩阵，在后续的标定过程中，可再次读取并加载该标定矩阵进行双目摄像机1的标定，实现在不更换场地的情况下，只需一次标定即可后续重复利用。

本发明还提供了另一种双目摄像机1的标定方法，参见图5，本标定方法与上述图1中的标定方法的不同之处在于，该标定方法在步骤S600之后还包括步骤S700，S700中，放置拍摄目标于参考位置，检测双目摄像机1是否能感测到拍摄目标，若能则输入并存储拍摄目标的信息模板。例如，可将目标球放置在击打球TEE台位置，随后检测双目摄像机1是否能感测到目标球，以及感测区域是否异常，如是否存在额外的高反光物体、或者有多余球体，若无异常则存储目标球的面积、形状等信息模板，目标信息模板可于下次系统启动时自动加载。

本发明提供了一种双目摄像机1的标定装置，参见图2～4，该标定装置包括平面标定模板2、多个立体标定块3、调整单元、提取单元、以及计算存储单元。其中，平面标定模板2的参考标定位置21与拍摄目标的参考位置重合；多个立体标定块3布置于平面标定模板2之上；调整单元用于调整双目摄像机1，使得双目摄像机1采集的平面标定模板2的标定线与基准标定线重合；提取单元用于基于平面标定模板2选取多个第一标定点、和基于立体标定块3选取多个具有三维坐标的第二标定点；以及计算存储单元用于根据第一标定点和第二标定点计算并存储双目摄像机1的标定矩阵。

在该双目摄像机1的标定装置中，参见图3，平面标定模板2为平面棋盘格模板，包括间隔排布的多个黑色格子22和多个白色格子23，例如可设置平面标定模板2的长为80cm、宽为55cm，黑色格子22或白色格子23均为正方形，其边长均为5cm。还可在平面标定模板2上设置坐标系，坐标原点设于平面标定模板2所在平面内，该平面的坐标轴为X轴和Y轴。

如图4所示，立体标定块3为长方体结构，底面设于平面标定模板2上，即底面在XY平面内，并垂直于平面标定模板2，即立体标定块3的Z方向的长度为其高。通常设置立体标定块3的底面面积与一个黑色格子22或一个白色格子23的面积相等，因此立体标定块3可恰好覆盖一个格子。且，多个立体标定块3中，至少两个立体标定块3的高度不相等。

在每个立体标定块3的顶面上，该顶面与底面相对，设有一个十字标定线，该十字标定线在XYZ坐标系中具有三维坐标。例如，某个标定块的十字标定线的交点的高度为35cm，水平方向距离坐标原点的距离为22.5cm，垂直方向距离坐标原点的距离为2.5cm，那么（2.5,22.5,35）就是该标定块的十字标定线的三维坐标。

本发明还提供了另一种双目摄像机1的标定装置，与上述标定装置的不同之处在于，该标定装置还包括检测单元，用于检测双目摄像机1是否能感测到放置于参考位置的拍摄目标。

本发明中任意标定装置的细节方案已在上述标定方法中描述，可部分或全部引用，在此不再赘述。

本发明还提供了一种双目摄像机系统，包括双目摄像机、以及包括上述的任意一种标定装置。

可以理解的，以上实施例仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制；应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，可以对上述技术特点进行自由组合，还可以做出若干变形和改进，这些都属于本发明的保护范围；因此，凡跟本发明权利要求范围所做的等同变换与修饰，均应属于本发明权利要求的涵盖范围。

Claims

1.一种双目摄像机的标定方法，其特征在于，包括：

将双目摄像机安装至设定位置，所述双目摄像机为左目摄像机和右目摄像机；

调整所述双目摄像机，使得所述双目摄像机采集的所述平面标定模板的左目标定线和右目标定线分别与各自预设的基准标定线重合；

在所述平面标定模板上布置多个立体标定块；

基于所述平面标定模板选取多个具有二维坐标的第一标定点、和基于所述立体标定块选取多个具有三维坐标的第二标定点；以及

根据所述第一标定点和所述第二标定点计算并存储所述双目摄像机的标定矩阵；

其中，所述基于所述平面标定模板选取多个具有二维坐标的第一标定点、和基于所述立体标定块选取多个具有三维坐标的第二标定点包括：基于所述平面标定模板分别针对所述双目摄像机的左目摄像机和右目摄像机各选取2个第一标定点，基于所述立体标定块分别针对所述左目摄像机和所述右目摄像机各选取12个第二标定点；

所述根据所述第一标定点和所述第二标定点计算并存储所述双目摄像机的标定矩阵包括：基于所述第二标定点的三维坐标以及所述第二标定点对应的图像点坐标，采用线性算法获取透视变换矩阵中的各个元素，以获取所述标定矩阵。

2.根据权利要求1所述的双目摄像机的标定方法，其特征在于，所述放置平面标定模板包括：所述双目摄像机的连接中心点到所述平面标定模板所在平面的垂直距离大于零；所述连接中心点在所述平面标定模板所在平面的投影与所述参考位置不重合。

3.根据权利要求2所述的双目摄像机的标定方法，其特征在于，所述双目摄像机的连接中心点到所述平面标定模板所在平面的垂直距离介于2.7米和3.3米之间；所述连接中心点在所述平面标定模板所在平面的投影与所述参考位置之间的直线距离介于50厘米到120厘米之间。

4.根据权利要求1所述的双目摄像机的标定方法，其特征在于，所述方法还包括在所述根据所述第一标定点和所述第二标定点计算并存储所述双目摄像机的标定矩阵之后，放置所述拍摄目标于所述参考位置，检测所述双目摄像机是否能感测到所述拍摄目标，若能则输入并存储所述拍摄目标的信息模板。

5.一种双目摄像机的标定装置，其特征在于，包括平面标定模板、多个立体标定块、调整单元、提取单元、以及计算存储单元；其中，

所述双目摄像机为左目摄像机和右目摄像机；所述平面标定模板的参考标定位置与拍摄目标的参考位置重合；所述多个立体标定块布置于所述平面标定模板之上；所述调整单元用于调整所述双目摄像机，使得所述双目摄像机采集的所述平面标定模板的左目标定线和右目标定线分别与各自预设的基准标定线重合；所述提取单元用于基于所述平面标定模板选取多个具有二维坐标的第一标定点、和基于所述立体标定块选取多个具有三维坐标的第二标定点；以及所述计算存储单元用于根据所述第一标定点和所述第二标定点计算并存储所述双目摄像机的标定矩阵；

6.根据权利要求5所述的双目摄像机的标定装置，其特征在于，所述多个立体标定块中的至少两个的高度不同。

7.根据权利要求5所述的双目摄像机的标定装置，其特征在于，所述平面标定模板的表面包括间隔排布的多个黑色格子和多个白色格子；一个所述立体标定块位于一个所述黑色格子或一个所述白色格子之上。

8.根据权利要求5所述的双目摄像机的标定装置，其特征在于，所述标定装置还包括检测单元，用于检测所述双目摄像机是否能感测到放置于所述参考位置的所述拍摄目标。

9.一种双目摄像机系统，其特征在于，包括双目摄像机以及权利要求5-8任一项所述的标定装置。