CN106949836A - 一种立体视觉摄像头同侧目标位置标定装置及方法 - Google Patents

Abstract

本发明公开了一种立体视觉摄像头同侧目标位置标定装置及方法，该装置包括：标定基板、反射区域和标定区域构成。该方法通过立体视觉摄像头拍摄标定装置的标定反射平面图像，检测并三维重建出图像中目标点虚像的位置坐标，同时检测图像中多个标定点单元的位置坐标，计算出标定反射平面的位置姿态，将目标点虚像位置坐标对反射面平面做镜像对称变换，即标定出立体视觉摄像头同侧目标在摄像头坐标系下的三维位置坐标。该方法还可以通过移动摄像头或标定板，多次拍摄图像标定进行交叉验证，进一步提升目标位置坐标标定的精度。

Description

一种立体视觉摄像头同侧目标位置标定装置及方法

技术领域

本发明涉及目标位置标定领域，尤其涉及一种立体视觉摄像头同侧目标位置标定装置及方法。

背景技术

目前计算机视觉技术得到了广泛应用，当立体视觉摄像头可以直接拍摄到目标物体时，现有的技术可以准确的标定计算出目标物体在摄像头坐标系下的位置坐标。近年来，在计算机视觉领域一些应用中需要对摄像头同侧的目标物体进行标定定位。如部分机器设备的感知系统需同时用到立体视觉摄像头、激光雷达等多种传感器感知环境信息并进行融合，这就需要获得与立体视觉摄像头同侧的其他传感器位置坐标；视线跟踪领域需要获得拍摄眼部区域摄像头同侧近红外LED灯的位置坐标。但是，由于摄像头无法直接拍摄到这些目标，现有的技术方案难以实现对其位置进行准确的标定定位。

发明内容

基于现有技术所存在的问题，本发明的目的是提供一种立体视觉摄像头同侧目标位置标定装置及方法，能标定出立体视觉摄像头同侧目标在摄像头坐标系下的三维位置坐标。

本发明的目的是通过以下技术方案实现的：

本发明实施例提供一种立体视觉摄像头同侧目标标定装置，包括：

标定基板、反射区域和标定区域；其中，

所述标定基板采用表面平整的刚性板材，所述标定基板上设有标定反射平面；

所述标定反射平面上设有反射区域，该反射区域能反射不同波长光信号的区域，能对前方的目标镜面反射成像；

所述反射区域上设有标定区域，该标定区域布置有多个已知相对位置关系的标定点单元，能完成摄像头的标定，确定标定反射平面在摄像头坐标系中的位置姿态。

本发明实施例提供一种立体视觉摄像头同侧目标位置标定方法，采用本发明所述的立体视觉摄像头同侧目标标定装置，包括以下步骤：

立体视觉摄像头拍摄所述标定装置的标定反射平面的图像，所述图像中要同时拍摄到标定区域的多个标定点单元和目标点在反射区域镜面反射形成的虚像；

检测所述图像中目标点虚像的位置坐标，通过立体视觉方法重建出目标点虚像在摄像头坐标系中的三维位置坐标；

检测所述图像中多个标定点单元的位置坐标，结合多个标定点单元实际的相对位置关系计算出标定反射平面在摄像头坐标系下的位置姿态；

根据平面镜反射成像规律，将目标点虚像位置坐标对反射面平面做镜像对称变换，获得目标点在摄像头坐标系下的三维位置坐标。

由上述本发明提供的技术方案可以看出，本发明实施例提供的立体视觉摄像头同侧目标位置标定装置及方法，其有益效果为：通过有效利用反射成像规律，可以标定出立体视觉摄像头同侧目标在摄像头坐标系下的三维位置坐标。具有操作相对简单，标定准确的优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的反射镜标定板结构图；

图2为本发明实施例提供的立体视觉摄像头同侧目标位置标定方法流程图。

具体实施方式

下面结合本发明的具体内容，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

如图1所示，本发明实施例提供一种立体视觉摄像头同侧目标标定装置，可以标定出立体视觉摄像头同侧目标在摄像头坐标系下的三维位置坐标，包括：

标定基板、反射区域和标定区域；其中，

所述标定基板采用表面平整的刚性板材，所述标定基板上设有标定反射平面；

所述标定反射平面上设有反射区域，该反射区域能反射不同波长光信号的区域，能对前方的目标镜面反射成像；

所述反射区域上设有标定区域，该标定区域布置有多个已知相对位置关系的标定点单元，能完成摄像头的标定，确定标定反射平面在摄像头坐标系中的位置姿态。

上述装置中，标定基板、反射区域和标定区域共同构成了反射镜标定板，标定区域和反射区域在标定基板的同一个平面上，称其为标定反射平面。

上述标定装置中，标定反射平面为所述标定基板的上表面、中间平面、下表面中的任意一个面；优选的，板材采用不易形变的玻璃板、陶瓷板、金属板等中的任一种。当所述标定反射平面不在上表面时，需要标定基板采用透明材质。

所述反射区域和标定区域布置处于同一平面。

如图2所示，本发明实施例还提供一种立体视觉摄像头同侧目标位置标定方法，采用上述的立体视觉摄像头同侧目标标定装置，包括以下步骤：

步骤1，立体视觉摄像头拍摄所述标定装置的标定反射平面的图像，所述图像中要同时拍摄到标定区域的多个标定点单元和目标点在反射区域镜面反射形成的虚像；

步骤2，检测所述图像中目标点虚像的位置坐标，通过立体视觉方法重建出目标点虚像在摄像头坐标系中的三维位置坐标；

步骤3，检测所述图像中多个标定点单元的位置坐标，结合多个标定点单元实际的相对位置关系计算出标定反射平面在摄像头坐标系下的位置姿态；

步骤4，根据平面镜反射成像规律，将目标点虚像位置坐标对反射面平面做镜像对称变换，获得目标点在摄像头坐标系下的三维位置坐标。

上述标定方法还包括以下步骤：

步骤5，通过移动立体视觉摄像头或标定装置，多次拍摄图像标定进行交叉验证，提升目标位置坐标标定的精度。

上述标定方法中，立体视觉摄像头通过三维重建方法获得拍摄图像中目标点在摄像头坐标系中的三维坐标。优选的，立体视觉摄像头采用双目或多目视觉摄像头、单个摄像头加深度传感器的深度摄像头中的任意一种。

上述方法中，将目标点虚像位置坐标对反射面平面做镜像对称变换，获得目标点在摄像头坐标系下的三维位置坐标是根据平面镜反射成像原理，目标点的虚像基于反射面镜像对称，将目标点虚像坐标对反射面平面做镜像对称变换即能获得目标点的位置坐标，包括以下步骤：

已知目标点虚像在立体视觉摄像头坐标系下的三维坐标V₁和反射面坐标系下的坐标向立体视觉摄像头坐标系转换的旋转平移矩阵W，其中R为旋转矩阵，t为平移矢量；

W_n＝[R_n t_n]＝[R^-1-R^-1t] (3)

V_n1＝R_nV₁+t_n (4)

O₁＝R*V_O1+t (6)

根据上述式(3)计算出立体视觉摄像头坐标系下的坐标向反射面坐标系转换的旋转平移矩阵W_n，其中旋转矩阵R_n等于R的逆矩阵，平移矢量t_n等于负的R的逆矩阵乘以t；

根据上述式(4)计算，将目标点虚像坐标转换到反射面坐标系中，旋转矩阵R_n乘以V₁再加上平移矢量t_n，求出目标点虚像在反射面坐标系下的位置坐标V_n1；

根据上述式(5)计算，将反射面坐标系下目标点虚像坐标对反射面做镜像变换，将V_n1乘以镜像矩阵对反射面做镜像，获得目标点在反射面坐标系下的位置坐标V_O1；

根据上述式(6)计算，将目标点坐标转换到立体视觉摄像头坐标系中，旋转矩阵R乘以V_O1再加上平移矢量t，即获得目标点在立体视觉摄像头坐标系下的三维坐标O₁。

下面对本发明实施例具体作进一步地详细描述。

本发明实施例提供一种立体视觉摄像头同侧目标位置标定装置和标定方法，可以标定出立体视觉摄像头同侧目标在摄像头坐标系下的三维位置坐标。

如图1所示，所述的立体视觉摄像头同侧目标位置标定装置包括：标定基板、反射区域和标定区域构成反射镜标定板；其中，

所述的标定基板，由刚性板材构成，上下表面平面平整，不易形变，所述的板材可以是玻璃、陶瓷、金属等中的任意一种；

所述的反射区域，可以反射不同波长的光信号，对前方的目标镜面反射成像；

所述的标定区域，布置有多个已知相对位置关系的标定点单元，可以完成摄像头的标定，确定平面在摄像头坐标系中的位置姿态。

所述的反射区域和标定区域布置在标定基板的同一平面上，为标定反射平面；所述的标定反射平面可以是标定基板的上表面、中间平面、下表面等中的任意一种；当所述标定反射平面不在上表面时，需要标定基板材质透明。

所述的反射区域的生成方法包括但不限于在标定基板的平面上加装、电镀、涂抹反射膜，对金属基板表面打磨抛光等方法。

所述的标定点单元包括但不限于棋盘格角点、圆点、LED灯等摄像头拍摄图像中易检测定位的单元。该标定点单元可以通过涂抹、粘贴、焊接、刻蚀等方式加装到标定区域的相应位置，多个标定点单元在标定反射平面坐标系的位置坐标可以通过结构设计或后期标定的方法精确的获得。

所述的立体视觉摄像头同侧目标位置标定方法，如图2所示，包括以下步骤：

立体视觉摄像头拍摄反射镜标定板图像，图像中需要同时拍摄到标定区域的多个标定点单元和目标点在反射区域镜面反射形成的虚像；

检测图像中目标点虚像的位置坐标，通过立体视觉方法重建出目标点虚像在摄像头坐标系中的三维位置坐标；

检测图像中多个标定点单元的位置坐标，结合多个标定点单元实际的相对位置关系计算出标定反射平面在摄像头坐标系下的位置姿态；

根据平面镜反射成像规律，将目标点虚像位置坐标对反射面平面做镜像对称变换，即可获得目标点在摄像头坐标系下的三维位置坐标。

所述的立体视觉摄像头同侧目标位置标定方法，还可以通过移动摄像头或标定板，多次拍摄图像标定进行交叉验证，进一步提升目标位置坐标标定的精度。

所述的立体视觉摄像头可以通过三维重建方法获得拍摄图像中目标点在摄像头坐标系中的三维坐标，包括但不限于双目或多目视觉摄像头、单个摄像头加深度传感器的深度摄像头等。

所述的检测图像中目标点虚像，重建其三维坐标，可以根据目标的形状轮廓、灰度颜色、边缘、纹理等特征，通过相应的图像处理算法定位目标点虚像在图像中的位置坐标，然后根据立体视觉摄像头的类别，使用对应的方法三维重建虚像的三维坐标。以双目视觉摄像头为例，先分别检测单个摄像头中目标点虚像的位置坐标，然后结合摄像头的内参数并校正畸变后即可得到目标点虚像在各自单摄像头坐标系中的射线方向，再结合双摄像头之间的旋转平移矩阵等信息即可计算出两射线的交点位置，即为目标点虚像的三维坐标。

所述的检测图像中多个标定点单元的位置坐标，计算标定反射平面的位置姿态，即根据摄像头拍摄图像中标定点单元的形状轮廓、灰度颜色、边缘、纹理等特征精确的检测其在图像中的位置坐标，然后结合已知的多个标定点单元在标定板平面坐标系下的位置坐标，即可解算出标定单元所在平面坐标系在摄像头坐标系下的旋转平移矩阵，即标定反射平面在摄像头坐标系下位置姿态的数学表示。以棋盘格角点或圆点标定单元为例，在OpenCV软件和MATLAB软件中都有对应的标定点检测方法和计算标定单元所在平面在摄像头坐标系下的旋转平移矩阵的方法和程序。

所述的镜像对称变换获得目标点三维坐标，即根据平面镜反射成像原理，目标点其虚像关于反射面镜像对称，将目标点虚像坐标对反射面平面做镜像对称变换即可获得目标点的位置坐标，包括以下步骤：

如下述式(1)、(2)所示，已知目标点虚像在摄像头坐标系下的三维坐标V₁和反射面坐标系下的坐标向摄像头坐标系转换的旋转平移矩阵W，其中R为旋转矩阵，t为平移矢量；

先根据式3计算出摄像头坐标系下的坐标向反射面坐标系转换的旋转平移矩阵W_n，其中旋转矩阵R_n等于R的逆矩阵，平移矢量t_n等于负的R的逆矩阵乘以t；

把目标点虚像坐标转换到反射面坐标系中，如式4所示，旋转矩阵R_n乘以V₁再加上平移矢量t_n，求出目标点虚像在反射面坐标系下的位置坐标V_n1；

将反射面坐标系下目标点虚像坐标对反射面做镜像变换，如式5所示，将V_n1乘以镜像矩阵对反射面做镜像，获得目标点在反射面坐标系下的位置坐标V_O1；

把目标点坐标转换到摄像头坐标系中，如式6所示，旋转矩阵R乘以V_O1再加上平移矢量t，即可获得目标点在摄像头坐标系下的三维坐标O₁。

W_n＝[R_n t_n]＝[R^-1 -R^-1t] (3)

V_n1＝R_nV₁+t_n (4)

O₁＝R*V_O1+t (6)

本实施例提供一种立体视觉摄像头同侧目标位置标定装置和标定方法，可以标定出立体视觉摄像头同侧目标在摄像头坐标系下的三维位置坐标。所述的立体视觉摄像头同侧目标位置标定装置即为反射镜标定板，包括标定基板、反射区域和标定区域。所述的立体视觉摄像头同侧目标位置标定方法，通过立体视觉摄像头拍摄反射镜标定板图像，然后检测并三维重建出图像中目标点虚像的位置坐标，同时检测图像中多个标定点单元的位置坐标，计算出标定反射平面的位置姿态，然后将目标点虚像位置坐标对反射面平面做镜像对称变换，即可标定出立体视觉摄像头同侧目标在摄像头坐标系下的三维位置坐标。该方法还可以通过移动摄像头或标定板，多次拍摄图像标定进行交叉验证，进一步提升目标位置坐标标定的精度。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (8)

1.一种立体视觉摄像头同侧目标标定装置，其特征在于，包括：

标定基板、反射区域和标定区域；其中，

所述标定基板采用表面平整的刚性板材，所述标定基板上设有标定反射平面；

所述标定反射平面上设有反射区域，该反射区域能反射不同波长光信号的区域，能对前方的目标镜面反射成像；

所述反射区域上设有标定区域，该标定区域布置有多个已知相对位置关系的标定点单元，能完成摄像头的标定，确定标定反射平面在摄像头坐标系中的位置姿态。

2.根据权利要求1所述的一种立体视觉摄像头同侧目标标定装置，其特征在于，所述标定反射平面为所述标定基板的上表面、中间平面、下表面中的任意一个面；

所述反射区域和标定区域布置处于同一平面。

3.根据权利要求1或2所述的一种立体视觉摄像头同侧目标标定装置，其特征在于，所述板材采用玻璃板、陶瓷板、金属板中的任一种。

4.一种立体视觉摄像头同侧目标位置标定方法，其特征在于，采用权利要求1至3任一项所述的立体视觉摄像头同侧目标标定装置，包括以下步骤：

立体视觉摄像头拍摄所述标定装置的标定反射平面的图像，所述图像中要同时拍摄到标定区域的多个标定点单元和目标点在反射区域镜面反射形成的虚像；

检测所述图像中目标点虚像的位置坐标，通过立体视觉方法重建出目标点虚像在摄像头坐标系中的三维位置坐标；

检测所述图像中多个标定点单元的位置坐标，结合多个标定点单元实际的相对位置关系计算出标定反射平面在摄像头坐标系下的位置姿态；

根据平面镜反射成像规律，将目标点虚像位置坐标对反射面平面做镜像对称变换，获得目标点在摄像头坐标系下的三维位置坐标。

5.根据权利要求4所述的一种立体视觉摄像头同侧目标位置标定方法，其特征在于，还包括以下步骤：

通过移动立体视觉摄像头或标定装置，多次拍摄图像标定进行交叉验证，提升目标位置坐标标定的精度。

6.根据权利要求4所述的一种立体视觉摄像头同侧目标位置标定方法，其特征在于，所述立体视觉摄像头通过三维重建方法获得拍摄图像中目标点在摄像头坐标系中的三维坐标。

7.根据权利要求4或6所述的一种立体视觉摄像头同侧目标位置标定方法，其特征在于，所述立体视觉摄像头采用双目或多目视觉摄像头、单个摄像头加深度传感器的深度摄像头中的任意一种。

8.根据权利要求4至6任一项所述的一种立体视觉摄像头同侧目标位置标定方法，其特征在于，所述方法中，将目标点虚像位置坐标对反射面平面做镜像对称变换，获得目标点在摄像头坐标系下的三维位置坐标是根据平面镜反射成像原理，目标点的虚像基于反射面镜像对称，将目标点虚像坐标对反射面平面做镜像对称变换即能获得目标点的位置坐标，包括以下步骤：

已知目标点虚像在立体视觉摄像头坐标系下的三维坐标V₁和反射面坐标系下的坐标向立体视觉摄像头坐标系转换的旋转平移矩阵W，其中R为旋转矩阵，t为平移矢量；

$V_1=\left[\begin{array}{c}{x}_1\\ y_1\\ z_1\end{array}\right]---\left(1\right)$

$W=\left[\begin{array}{cc}R& t\end{array}\right]=\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_1\\ r_{21}& r_{22}& r_{23}& t_2\\ r_{31}& r_{32}& r_{33}& t_3\end{array}\right]---\left(2\right)$

W_n＝[R_n t_n]＝[R^-1 -R^-1t] (3)

V_n1＝R_nV₁+t_n (4)

$V_{O1}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& -1\end{array}\right]*V_{n1}---\left(5\right)$

O₁＝R*V_O1+t (6)

根据上述式(3)计算出立体视觉摄像头坐标系下的坐标向反射面坐标系转换的旋转平移矩阵W_n，其中旋转矩阵R_n等于R的逆矩阵，平移矢量t_n等于负的R的逆矩阵乘以t；

根据上述式(4)计算，将目标点虚像坐标转换到反射面坐标系中，旋转矩阵R_n乘以V₁再加上平移矢量t_n，求出目标点虚像在反射面坐标系下的位置坐标V_n1；

根据上述式(5)计算，将反射面坐标系下目标点虚像坐标对反射面做镜像变换，将V_n1乘以镜像矩阵对反射面做镜像，获得目标点在反射面坐标系下的位置坐标V_O1；

根据上述式(6)计算，将目标点坐标转换到立体视觉摄像头坐标系中，旋转矩阵R乘以V_O1再加上平移矢量t，即获得目标点在立体视觉摄像头坐标系下的三维坐标O₁。