CN112212784B - 一种点激光位移传感器与双目相机坐标融合的方法及系统 - Google Patents

一种点激光位移传感器与双目相机坐标融合的方法及系统 Download PDF

Info

Publication number
CN112212784B
CN112212784B CN202010904395.3A CN202010904395A CN112212784B CN 112212784 B CN112212784 B CN 112212784B CN 202010904395 A CN202010904395 A CN 202010904395A CN 112212784 B CN112212784 B CN 112212784B
Authority
CN
China
Prior art keywords
coordinate system
axis
displacement sensor
point
laser displacement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010904395.3A
Other languages
English (en)
Other versions
CN112212784A (zh
Inventor
张爽
陈儒
刘孝峰
韩伟峰
侯岱双
王善刚
王�华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Applied Chemistry of CAS
Original Assignee
Changchun Institute of Applied Chemistry of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Applied Chemistry of CAS filed Critical Changchun Institute of Applied Chemistry of CAS
Priority to CN202010904395.3A priority Critical patent/CN112212784B/zh
Publication of CN112212784A publication Critical patent/CN112212784A/zh
Application granted granted Critical
Publication of CN112212784B publication Critical patent/CN112212784B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种点激光位移传感器与双目相机坐标融合的方法及系统，该方法包括：根据标定机构标定板上的多点，采用测量机构分别获取在点激光位移传感器坐标系中的三维坐标，以及所述多点在双目立体视觉相机坐标系中的三维坐标；构建点激光位移传感器坐标系与过渡坐标系之间的第一位置关系；所述过渡坐标系根据所述标定板上的多点构建；构建过渡坐标系与双目立体视觉相机坐标系之间第二位置关系；计算得出点激光位移传感器坐标系与双目立体视觉坐标系之间的旋转平移矩阵；完成将点激光位移传感器所得的坐标转换到双目立体视觉坐标中。该方法解决了点激光位移传感器与双目立体视觉坐标系不统一的问题，该方法的步骤简单方便、且标定的精度较高。

Description

一种点激光位移传感器与双目相机坐标融合的方法及系统
技术领域
本发明涉及机器视觉技术中的多传感器融合领域，特别涉及一种点激光位移传感器与双目相机坐标融合的方法及系统。
背景技术
目前，在机器视觉领域，由单目相机的发展，产生了双目相机匹配测量三维立体场景的方式，也产生了激光位移传感器这种激光三角测距法的产品，在实际应用时，单个激光位移传感器无法满足需求，于是需要激光位移传感器及相机的同时使用，多传感器的应用，使得更多的工业设备更具可靠性。
多传感器数据融合是一个新兴的研究领域，已广泛应用于工业、医疗、军事、农业、航空和航海等领域。运用多传感器数据融合技术在解决探测、跟踪和目标识别等问题方面，更有利于提高整个系统的可靠性和鲁棒性，增强数据的可信度，并提高精度，扩展整个系统的时间、空间覆盖率，增加系统的实时性和信息利用率等。
在实际应用中，尤其在机器视觉应用中，激光位移传感器与立体视觉相机所产生的数据却不在一个坐标系下，所以需要将两种不同物体所采集的数据点转换在同一个坐标系下，因此，如何准确地将不同视觉坐标系转换融合，是本领域技术人员亟待解决的问题。
发明内容
本发明的目的是完成了一维点激光位移传感器采集的数据与双目相机标定之后采集的数据相融合，解决了点激光位移传感器与双目立体视觉坐标系不统一的问题，实现将两种不同传感器采集的数据点转换到同一坐标系下；提供了一种点激光位移传感器与双目相机坐标融合的方法。
第一方面，本发明实施例提供一种点激光位移传感器与双目相机坐标融合的方法，包括以下步骤：
S100、根据标定机构标定板上的多点，采用测量机构分别获取在点激光位移传感器坐标系中的三维坐标，以及所述多点在双目立体视觉相机坐标系中的三维坐标；
S200、构建所述点激光位移传感器坐标系与过渡坐标系之间的位置关系，称为第一位置关系；所述过渡坐标系根据所述标定板上的多点构建；
S300、构建所述过渡坐标系与双目立体视觉相机坐标系之间的位置关系，称为第二位置关系；
S400、根据所述第一位置关系和第二位置关系，计算得出所述点激光位移传感器坐标系与双目立体视觉坐标系之间的旋转平移矩阵；完成将点激光位移传感器所得的坐标转换到双目立体视觉坐标中。
在一个实施例中，所述步骤S100中的所述标定机构包括：标定板和X-Y工作台；所述标定板位于所述X-Y工作台的滑块上；所述标定板上的多点分别为：H1、H2、H3......Hn；
所述测量机构包括：双目相机和一个点激光位移传感器；两个相机之间的相对位置关系始终保持不变。
在一个实施例中，所述步骤S100，包括：
S101、移动X-Y工作台，使得点激光位移传感器投射的激光与H1点重合，记录点激光位移传感器中的数据,设点激光位移传感器坐标系在其中央，第一个点坐标为(0,0,z1d)，记为(x1d,y1d,z1d)；同时记录双目相机计算得出多点坐标分别为：(x1x,y1x,z1x)，(x2x,y2x,z2x)，(x3x,y3x,z3x)...(xnx,ynx,znx)；
S102、移动X-Y工作台，使得点激光位移传感器投射出的激光点与另一个点H2重合，并记录工作台X-Y方向移动的距离，反求可得点H2在激光位移传感器坐标系中的三维坐标；
S103、以此类推，完成多点采集，得到标定板在第一位置时，多点在点激光位移传感器中的全部数据：(x1d,y1d,z1d)，(x2d,y2d,z2d)，(x3d,y3d,z3d)...(xnd,ynd,znd)。
在一个实施例中，所述步骤S200包括：
S201、根据所述点激光位移传感器采集的标定板上的多点坐标，进行平面拟合：构建第一平面拟合方程ax+by+cz+d＝0；
S202、在所述标定板上选择任意三个不共线的点，投影在第一平面拟合方程上：
S203、利用投影在第一平面拟合方程上的三点，建立过渡坐标系；构建所述点激光位移传感器坐标系与过渡坐标系之间的旋转平移矩阵，解得第一位置关系。
在一个实施例中，所述步骤S202包括：
假定不在平面上的三维空间点坐标为(x0,y0,z0)，其在平面上的投影点坐标为(xp,yp,zp)；根据垂直约束条件，yp与zp满足如下条件：
Figure BDA0002660891810000031
Figure BDA0002660891810000032
解得：
Figure BDA0002660891810000033
Figure BDA0002660891810000034
Figure BDA0002660891810000035
由此解得空间三维点到平面的投影坐标(xp,yp,zp)；
根据空间三维点到平面的投影坐标(xp,yp,zp)，解得投影之后的点坐标：(x1dd,y1dd,z1dd)，(x2dd,y2dd,z2dd)，(x3dd,y3dd,z3dd)。
在一个实施例中，所述步骤S203包括：
根据投影在所述拟合的平面上的三点A(x1dd,y1dd,z1dd)、B(x2dd,y2dd,z2dd)、C(x3dd,y3dd,z3dd)，建立过渡坐标系：
Figure BDA0002660891810000041
Figure BDA0002660891810000042
Figure BDA0002660891810000043
点AB连线作为X轴，即：
Figure BDA0002660891810000044
平面ABC的垂线作为Z轴：
Figure BDA0002660891810000045
X轴与Z轴所在平面的垂线作为Y轴：
Figure BDA0002660891810000046
其中a1,a2,a3为X轴的向量，b1,b2,b3为Y轴的向量，c1,c2,c3为Z轴的向量；
构建所述点激光位移传感器坐标系与过渡坐标系之间的平移矩阵为：[t1 t2 t31]T；
其中t1为点激光坐标系原点到过渡坐标系的ZOY平面的距离,t2为点激光坐标系原点到过渡坐标系的ZOX平面的距离,t3为点激光坐标系原点到过渡坐标系的XOY平面的距离；
计算方式：
Figure BDA0002660891810000047
Figure BDA0002660891810000048
Figure BDA0002660891810000049
旋转矩阵的计算为：
Figure BDA00026608918100000410
其中α1为点激光坐标系X轴与过渡坐标系X轴的方向余弦；α2为点激光坐标系Y轴与过渡坐标系X轴的方向余弦；α3为点激光坐标系Z轴与过渡坐标系X轴的方向余弦；
同理:β1,β2,β3,γ1,γ2,γ3为X轴、Y轴、Z轴与过渡坐标系之间的方向余弦；转换矩阵的计算方式：
Figure BDA0002660891810000051
Figure BDA0002660891810000052
Figure BDA0002660891810000053
即可得到点激光位移传感器坐标系与过渡矩阵之间的关系，第一位置关系：
Figure BDA0002660891810000054
在一个实施例中，所述步骤S300包括：
S301、根据所述双目相机采集的标定板上的多点坐标，进行平面拟合：构建第二平面拟合方程：a'x+b'y+c'z+d'＝0；
S302、选择与第一平面对应的三个点，投影在第二平面拟合方程上，称为A',B',C'：
S303、利用投影在第二平面拟合方程上的三点，建立过渡坐标系；构建过渡坐标系与双目立体视觉相机坐标系之间的旋转平移矩阵，解得第二位置关系。
所述步骤S303包括：
根据投影在拟合的平面上的三点A'(x1xx,y1xx,z1xx)、B'(x2xx,y2xx,z2xx)、C'(x3xx,y3xx,z3xx)，建立过渡坐标系：
Figure BDA0002660891810000055
Figure BDA0002660891810000056
Figure BDA0002660891810000057
点A'B'连线作为X轴，即：
Figure BDA0002660891810000061
平面A'B'C'的垂线作为Z轴：
Figure BDA0002660891810000062
X轴Z轴所在平面的垂线作为Y轴：
Figure BDA0002660891810000063
其中，a1',a2',a3'为X轴向量，b1',b2',b3'为Y轴向量，c1',c2',c3'为Z轴向量；
构建所述过渡坐标系与双目立体视觉相机坐标系之间的平移矩阵为：
[t1' t2' t3' 1]T
其中t1'为过渡坐标系原点到双目立体视觉相机坐标系ZOY平面的距离,t2'为过渡坐标系原点到双目立体视觉相机坐标系ZOX平面的距离,t3'为过渡坐标系原点到双目立体视觉相机坐标系XOY平面的距离；
计算方式：
t1'＝x1xx
t2'＝y1xx
t3'＝z1xx
旋转矩阵的计算为：
Figure BDA0002660891810000064
其中α1'为过渡坐标系X轴与双目立体视觉相机坐标系X轴的方向余弦；α2'为过渡坐标系Y轴与双目立体视觉相机坐标系X轴的方向余弦；α3'为过渡坐标系Z轴与双目立体视觉相机坐标系X轴的方向余弦；
同理:β1',β2',β3',γ1',γ2',γ3'为X轴、Y轴、Z轴与双目立体视觉相机坐标系之间的方向余弦；
旋转矩阵的计算方式：
Figure BDA0002660891810000065
Figure BDA0002660891810000071
Figure BDA0002660891810000072
即可得到过渡坐标系与双目立体视觉相机坐标系之间的关系，第二位置关系：
Figure BDA0002660891810000073
所述步骤S400中计算得出所述点激光位移传感器坐标系与双目立体视觉坐标系之间的旋转平移矩阵；
Figure BDA0002660891810000074
其中，(x激光，y激光，z激光)为任意一点在点激光位移传感器坐标系内的坐标，(x双目，y双目，z双目)则为所述点在双目立体视觉坐标系中所对应的坐标。
第二方面，本发明实施例还提供一种点激光位移传感器与双目相机坐标融合的系统，包括：标定机构、测量机构和计算终端；
其中，测量机构与所述计算终端通讯连接；
所述计算终端用于执行如上述实施例提供的点激光位移传感器与双目相机坐标融合的方法步骤。
本发明实施例提供的上述技术方案的有益效果至少包括：
本发明实施例提供的一种点激光位移传感器与双目相机坐标融合的方法，通过标定机构上的多点构造的过渡坐标系，解决了点激光位移传感器与双目立体视觉坐标系不统一的问题，实现将两种不同传感器采集的数据点转换到同一坐标系下；本发明所提供的方法，步骤简单方便、易于实现，且标定的精度较高。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例提供的点激光位移传感器与双目相机坐标融合的方法流程图；
图2为本发明实施例提供的标定机构结构示意图；
图3为本发明实施例提供的测量机构结构示意图；
图4为本发明实施例提供的点激光位移传感器与双目相机坐标融合的系统结构图；
附图中：1-X-Y工作台、2-标定板、3-左相机、4-左相机固定板、5-点激光位移传感器、6-右相机固定板、7-右相机、8-总体固定板、9-路由器、10-计算终端。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
实施例1：
本发明实施例提供了一种点激光位移传感器与双目相机坐标融合的方法，参照图1，包括：
S100、根据标定机构标定板上的多点，采用测量机构分别获取在点激光位移传感器坐标系中的三维坐标，以及多点在双目立体视觉相机坐标系中的三维坐标；
S200、构建点激光位移传感器坐标系与过渡坐标系之间的位置关系，称为第一位置关系；过渡坐标系根据标定板上的多点构建；
S300、构建过渡坐标系与双目立体视觉相机坐标系之间的位置关系，称为第二位置关系；
S400、根据第一位置关系和第二位置关系，计算得出点激光位移传感器坐标系与双目立体视觉坐标系之间的旋转平移矩阵；完成将点激光位移传感器所得的坐标转换到双目立体视觉坐标中。本实施例中，该方法的步骤简单方便、易于实现，且标定的精度较高。
其中，参照图2所示，上述标定机构主要由X-Y工作台1和标定板2组成。标定板上分布着n个已知点：H1、H2、H3......Hn。由X-Y工作台进行左右移动，完成多点标定板与点激光位移传感器之间的对应关系，得到多点在点激光位移传感器坐标系中的位置。
参照图3所示，上述的测量机构主要由左相机3，左相机固定板4，点激光位移传感器5，右相机固定板6，右相机7，以及总体固定板8构成。左相机固定板固定左相机，使得左相机相对位置不变。右相机固定板固定右相机，使得右相机相对位置不变。总体固定板固定双目相机，使得两个相机之间的相对位置关系始终保持不变。
本实施例中，通过测量多点在点激光位移传感器坐标系中的三维坐标，以及多点在双目立体视觉相机坐标系中的三维坐标，分别由两个坐标系中的多点再建立一个过渡坐标系，通过点激光位移传感器坐标系与过渡坐标系之间的位置关系，以及过渡坐标系与双目立体视觉坐标系之间的位置关系，计算得出点激光位移传感器坐标系与双目立体视觉坐标系之间的旋转平移矩阵，从而将点激光位移传感器所得的坐标转换到双目立体视觉坐标系中。
其中，转换思想主要是先建立双目相机与多点所建立的坐标系之间的旋转平移关系，得到转换矩阵，后建立点激光位移传感器与多点之间的转换关系，由于在同多点建立的坐标系，所以多点不论是在双目相机下建立的坐标系，还是在点激光位移传感器下建立的坐标系，在现实世界中是完全相同的，因此利用多点所建立的过渡坐标系，完成双目立体视觉坐标与点激光位移传感器坐标系之间的转换关系。
下面通过更详细的实施例来说明本发明的技术方案。
具体检测过程如下：
(1)移动X-Y工作台，使得点激光位移传感器投射的激光与H1点重合，记录点激光位移传感器中的数据，由于点激光位移传感器只有深度信息，将第一个点视为(0,0,z1d)(由于计算方便，记为(x1d,y1d,z1d))，由双目相机计算得出多点坐标分别为：(x1x,y1x,z1x)，(x2x,y2x,z2x)，(x3x,y3x,z3x)...(xnx,ynx,znx)。
(2)移动X-Y工作台，使得点激光位移传感器投射出的激光点与另一个点H2重合，并记录工作台X,Y方向移动的距离，反求可得点H2在激光位移传感器坐标系中的三维坐标(x2d,y2d,z2d)，
(3)再次移动工作台，反求可得第三个点H3在激光位移传感器坐标系中的三维坐标(x3d,y3d,z3d)。
(4)继续采集三维点，从而得到点激光位移传感器全部数据：(x1d,y1d,z1d)，(x2d,y2d,z2d)，(x3d,y3d,z3d)...(xnd,ynd,znd)，完成对标定板上的多点在第一位置时相对于点激光位移传感器采集的三维坐标。
(5)根据(x1x,y1x,z1x)，(x2x,y2x,z2x)，(x3x,y3x,z3x)...(xnx,ynx,znx)等多点建立过渡坐标系，得到过渡坐标系与双目立体视觉坐标系之间的旋转平移矩阵。
(6)根据(x1d,y1d,z1d)，(x2d,y2d,z2d)，(x3d,y3d,z3d)...(xnd,ynd,znd)等多点建立过渡坐标系，得到过渡坐标系与点激光位移传感器之间的旋转平移矩阵。
(7)根据过渡坐标系与双目立体视觉坐标系之间的旋转平移矩阵,与过渡坐标系与点激光位移传感器坐标系之间的旋转平移矩阵，计算得到点激光位移传感器与双目立体视觉坐标系之间的旋转平移矩阵。
具体计算过程如下：
(1)点激光位移传感器坐标系与过渡坐标系之间的转换
关系：
①利用点激光位移传感器采集标定板上的多个点坐标：(x1d,y1d,z1d)，(x2d,y2d,z2d)，(x3d,y3d,z3d)...(xnd,ynd,znd)，进行过渡坐标系的建立。
首先对多点进行平面拟合：ax+by+cz+d＝0
②在标定板上选择三个不共线的点，使得该三点投影在上述所拟合的平面上：
假定不在平面上的三维空间点坐标为(x0,y0,z0)，其在平面上的投影点坐标为(xp,yp,zp)。因为投影点到当前点与平面垂直，根据垂直约束条件，易知yp与zp满足如下条件：
Figure BDA0002660891810000111
Figure BDA0002660891810000112
解得：
Figure BDA0002660891810000113
Figure BDA0002660891810000114
Figure BDA0002660891810000115
由此解得空间三维点到平面的投影坐标(xp,yp,zp)
用此方法，得到投影之后的点坐标：(x1dd,y1dd,z1dd)，(x2dd,y2dd,z2dd)，(x3dd,y3dd,z3dd)。
③利用上述投影的三点(定义为：A,B,C)建立坐标系：
Figure BDA0002660891810000121
Figure BDA0002660891810000122
Figure BDA0002660891810000123
点AB连线作为X轴，即：
Figure BDA0002660891810000124
平面ABC的垂线作为Z轴：
Figure BDA0002660891810000125
X轴与Z轴所在平面的垂线作为Y轴：
Figure BDA0002660891810000126
平移矩阵的计算：
所要求矩阵为：
[t1 t2 t3 1]T
其中t1为点激光坐标系原点到过渡坐标系的ZOY平面的距离,t2为点激光坐标系原点到过渡坐标系的ZOX平面的距离,t3为点激光坐标系原点到过渡坐标系的XOY平面的距离。
计算方式：
Figure BDA0002660891810000127
Figure BDA0002660891810000128
Figure BDA0002660891810000129
旋转矩阵的计算：
所要求矩阵为：
Figure BDA00026608918100001210
其中α1为点激光坐标系X轴与过渡坐标系X轴的方向余弦；α2为点激光坐标系Y轴与过渡坐标系X轴的方向余弦；α3为点激光坐标系Z轴与过渡坐标系X轴的方向余弦；
同理:β1,β2,β3,γ1,γ2,γ3为X轴、Y轴、Z轴与过渡坐标系之间的方向余弦。
计算方式：
Figure BDA0002660891810000131
Figure BDA0002660891810000132
Figure BDA0002660891810000133
即可得到点激光位移传感器坐标系与过渡矩阵之间的关系，第一位置关系：
Figure BDA0002660891810000134
(2)过渡坐标系与双目立体视觉坐标系之间的转换关系
①利用双目立体视觉采集的多坐标：(x1x,y1x,z1x)，(x2x,y2x,z2x)，(x3x,y3x,z3x)...(xnx,ynx,znx)，进行过渡坐标系的建立。
首先对多点进行平面拟合：a'x+b'y+c'z+d'＝0
②在标定板上选择三个不共线的点，此三点为点激光位移传感器建立坐标系时所选取的对应三点，使得该三点投影在上述所拟合的平面上：投影之后的点坐标(定义为：A',B',C')：(x1xx,y1xx,z1xx)，(x2xx,y2xx,z2xx)，(x3xx,y3xx,z3xx)。
③对该上述投影三点建立坐标系：
Figure BDA0002660891810000135
Figure BDA0002660891810000136
Figure BDA0002660891810000141
点A'B'连线作为X轴，即：
Figure BDA0002660891810000142
平面A'B'C'的垂线作为Z轴：
Figure BDA0002660891810000143
X轴Z轴所在平面的垂线作为Y轴：
Figure BDA0002660891810000144
平移矩阵的计算：
所要求矩阵为：
[t1' t2' t3' 1]T
其中t1'为过渡坐标系原点到双目立体视觉坐标系ZOY平面的距离,t2'为过渡坐标系原点到双目立体视觉相机坐标系ZOX平面的距离,t3'为过渡坐标系原点到双目立体视觉相机坐标系XOY平面的距离；
计算方式：
t1'＝x1xx
t2'＝y1xx
t3'＝z1xx
旋转矩阵的计算：
所要求矩阵为：
Figure BDA0002660891810000145
其中α1'为过渡坐标系X轴与双目立体视觉坐标系X轴的方向余弦；α2'为过渡坐标系Y轴与双目立体视觉坐标系X轴的方向余弦；α3'为过渡坐标系Z轴与双目立体视觉坐标系X轴的方向余弦；
同理:β1',β2',β3',γ1',γ2',γ3'为X轴，Y轴，Z轴与双目立体视觉坐标系之间的方向余弦。
旋转矩阵的计算：
Figure BDA0002660891810000151
Figure BDA0002660891810000152
Figure BDA0002660891810000153
即可得到过渡坐标系与相机坐标系之间的关系：
转换矩阵：
Figure BDA0002660891810000154
可得：
Figure BDA0002660891810000155
其中，(x激光，y激光，z激光)为点激光位移传感器坐标系内的任意一点的坐标，(x双目，y双目，z双目)则为所述点在双目立体视觉坐标系中所对应的坐标。
即可通过上述公式将点激光位移传感器采集到的数据转换到双目立体视觉坐标系中，完成点激光位移传感器与双目相机坐标融合，即完成多传感器(双目相机、点激光位移传感器)坐标系的统一。
实施例2：
本发明实施例还提供了一种点激光位移传感器与双目相机坐标融合的系统，参照图4，包括：标定机构、测量机构和计算终端10；
标定机构包括：X-Y工作台1和标定板2，多点标定板上分布着n个已知点：H1、H2、H3......Hn。由X-Y工作台进行左右移动，完成标定板与点激光位移传感器之间的对应关系，得到多点在点激光位移传感器坐标系之间的位置。
测量机构包括：左相机3，左相机固定板4，点激光位移传感器5，右相机固定板6，右相机7，以及总体固定板8，其中，左相机3、点激光位移传感器5和右相机7分别通过路由器9与计算终端通讯连接，通讯为有线或无线方式。
其中，计算终端10用于执行点激光位移传感器与双目相机坐标融合的方法步骤：
S100、根据标定机构标定板上的多点，采用测量机构分别获取在点激光位移传感器坐标系中的三维坐标，以及所述多点在双目立体视觉相机坐标系中的三维坐标；
S200、构建所述点激光位移传感器坐标系与过渡坐标系之间的位置关系，称为第一位置关系；所述过渡坐标系根据所述标定板上的多点构建；
S300、构建所述过渡坐标系与双目立体视觉相机坐标系之间的位置关系，称为第二位置关系；
S400、根据所述第一位置关系和第二位置关系，计算得出所述点激光位移传感器坐标系与双目立体视觉坐标系之间的旋转平移矩阵；完成将点激光位移传感器所得的坐标转换到双目立体视觉坐标中。
该系统可准确标定两个相机与点激光传感器坐标系之间的转换关系，精度较高，为该系统的应用场景，提供了有力条件。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种点激光位移传感器与双目相机坐标融合的方法，其特征在于，包括：
S100、根据标定机构标定板上的多点，采用测量机构分别获取在点激光位移传感器坐标系中的三维坐标，以及所述多点在双目立体视觉相机坐标系中的三维坐标；
S200、构建所述点激光位移传感器坐标系与过渡坐标系之间的位置关系，称为第一位置关系；所述过渡坐标系根据所述标定板上的多点构建；
S300、构建所述过渡坐标系与双目立体视觉相机坐标系之间的位置关系，称为第二位置关系；
S400、根据所述第一位置关系和第二位置关系，计算得出所述点激光位移传感器坐标系与双目立体视觉坐标系之间的旋转平移矩阵；完成将点激光位移传感器所得的坐标转换到双目立体视觉坐标中；
所述步骤S200包括：
S201、根据所述点激光位移传感器采集的标定板上的多点坐标，进行平面拟合：构建第一平面拟合方程ax+by+cz+d＝0；
S202、在所述标定板上选择任意三个不共线的点，投影在第一平面拟合方程上：
S203、利用投影在第一平面拟合方程上的三点，建立过渡坐标系；构建所述点激光位移传感器坐标系与过渡坐标系之间的平移矩阵，解得第一位置关系；
所述步骤S202包括：
假定不在平面上的三维空间点坐标为(x0,y0,z0)，其在平面上的投影点坐标为(xp,yp,zp)；根据垂直约束条件，yp与zp满足如下条件：
Figure FDA0003331371610000011
Figure FDA0003331371610000012
解得：
Figure FDA0003331371610000013
Figure FDA0003331371610000021
Figure FDA0003331371610000022
由此解得空间三维点到平面的投影坐标(xp,yp,zp)；
根据空间三维点到平面的投影坐标(xp,yp,zp)，解得投影之后的点坐标：(x1dd,y1dd,z1dd)，(x2dd,y2dd,z2dd)，(x3dd,y3dd,z3dd)。
2.如权利要求1所述的一种点激光位移传感器与双目相机坐标融合的方法，其特征在于，所述步骤S100中的所述标定机构包括：标定板和X-Y工作台；所述标定板位于所述X-Y工作台的滑块上；所述标定板上的多点分别为：H1、H2、H3......Hn；
所述测量机构包括：双目相机和一个点激光位移传感器；两个相机之间的相对位置关系始终保持不变。
3.如权利要求2所述的一种点激光位移传感器与双目相机坐标融合的方法，其特征在于，所述步骤S100，包括：
S101、移动X-Y工作台，使得点激光位移传感器投射的激光与H1点重合，记录点激光位移传感器中的数据，记为(x1d,y1d,z1d)；同时记录双目相机计算得出多点坐标分别为：(x1x,y1x,z1x)，(x2x,y2x,z2x)，(x3x,y3x,z3x)...(xnx,ynx,znx)；
S102、移动X-Y工作台，使得点激光位移传感器投射出的激光点与另一个点H2重合，并记录工作台X-Y方向移动的距离，反求可得点H2在激光位移传感器坐标系中的三维坐标；
S103、以此类推，完成多点采集，得到点激光位移传感器全部数据：(x1d,y1d,z1d)，(x2d,y2d,z2d)，(x3d,y3d,z3d)...(xnd,ynd,znd)。
4.如权利要求1所述的一种点激光位移传感器与双目相机坐标融合的方法，其特征在于，所述步骤S203包括：
根据投影在所述拟合的平面上的三点A(x1dd,y1dd,z1dd)、B(x2dd,y2dd,z2dd)、C(x3dd,y3dd,z3dd)，建立过渡坐标系：
Figure FDA0003331371610000031
Figure FDA0003331371610000032
Figure FDA0003331371610000033
点AB连线作为X轴，即：
Figure FDA0003331371610000034
平面ABC的垂线作为Z轴：
Figure FDA0003331371610000035
X轴与Z轴所在平面的垂线作为Y轴：
Figure FDA0003331371610000036
其中，a1,a2,a3为X轴向量，b1,b2,b3为Y轴向量，c1,c2,c3为Z轴向量；
构建所述点激光位移传感器坐标系与过渡坐标系之间的平移矩阵为：[t1 t2 t3 1]T；
其中t1为点激光坐标系原点到过渡坐标系的ZOY平面的距离,t2为点激光坐标系原点到过渡坐标系的ZOX平面的距离,t3为点激光坐标系原点到过渡坐标系的XOY平面的距离；
计算方式：
Figure FDA0003331371610000037
Figure FDA0003331371610000038
Figure FDA0003331371610000039
转换矩阵的计算为：
Figure FDA00033313716100000310
其中α1为点激光坐标系X轴与过渡坐标系X轴的方向余弦；α2为点激光坐标系Y轴与过渡坐标系X轴的方向余弦；α3为点激光坐标系Z轴与过渡坐标系X轴的方向余弦；
同理:β1,β2,β3,γ1,γ2,γ3为X轴、Y轴、Z轴与过渡坐标系之间的方向余弦；
转换矩阵的计算方式：
Figure FDA0003331371610000041
Figure FDA0003331371610000042
Figure FDA0003331371610000043
即可得到点激光位移传感器坐标系与过渡矩阵之间的关系，第一位置关系：
Figure FDA0003331371610000044
5.如权利要求4所述的一种点激光位移传感器与双目相机坐标融合的方法，其特征在于，所述步骤S300包括：
S301、根据所述双目相机采集的标定板上的多点坐标，进行平面拟合：构建第二平面拟合方程：a'x+b'y+c'z+d'＝0；
S302、选择与第一平面对应的三个点，投影在第二平面拟合方程上，称为A',B',C'：
S303、利用投影在第二平面拟合方程上的三点，建立过渡坐标系；构建过渡坐标系与双目立体视觉相机坐标系之间的平移矩阵，解得第二位置关系。
6.如权利要求5所述的一种点激光位移传感器与双目相机坐标融合的方法，其特征在于，所述步骤S303包括：
根据投影在拟合的平面上的三点A'(x1xx,y1xx,z1xx)、B'(x2xx,y2xx,z2xx)、B'(x3xx,y3xx,z3xx)，建立过渡坐标系：
Figure FDA0003331371610000045
Figure FDA0003331371610000046
Figure FDA0003331371610000047
点A'B'连线作为X轴，即：
Figure FDA0003331371610000048
平面A'B'C'的垂线作为Z轴：
Figure FDA0003331371610000051
X轴Z轴所在平面的垂线作为Y轴：
Figure FDA0003331371610000052
其中，a1',a2',a3'为X轴向量，b1',b2',b3'为Y轴向量，c1',c2',c3'为Z轴向量；
构建所述过渡坐标系与双目立体视觉相机坐标系之间的平移矩阵为：[t1' t2' t3' 1]T
其中t1'为过渡坐标系原点到双目立体视觉相机坐标系ZOY平面的距离,t2'为过渡坐标系原点到双目立体视觉相机坐标系ZOX平面的距离,t3'为过渡坐标系原点到双目立体视觉相机坐标系XOY平面的距离；
计算方式：
t1'＝x1xx
t2'＝y1xx
t3'＝z1xx
旋转矩阵的计算为：
Figure FDA0003331371610000053
其中α1'为过渡坐标系X轴与双目立体视觉相机坐标系X轴的方向余弦；α2'为过渡坐标系Y轴与双目立体视觉相机坐标系X轴的方向余弦；α3'为过渡坐标系Z轴与双目立体视觉相机坐标系X轴的方向余弦；
同理:β1',β2',β3',γ1',γ2',γ3'为X轴，Y轴，Z轴与双目立体视觉坐标系之间的方向余弦；
旋转矩阵的计算方式：
Figure FDA0003331371610000054
Figure FDA0003331371610000055
Figure FDA0003331371610000056
即可得到过渡坐标系与双目立体视觉相机坐标系之间的关系，第二位置关系：
Figure FDA0003331371610000061
7.如权利要求6所述的一种点激光位移传感器与双目相机坐标融合的方法，其特征在于，所述步骤S400中计算得出所述点激光位移传感器坐标系与双目立体视觉坐标系之间的旋转平移矩阵；
Figure FDA0003331371610000062
其中，(x激光，y激光，z激光)为任意一点在点激光位移传感器坐标系内的坐标，(x双目，y双目，z双目)则为所述点在双目立体视觉坐标系中所对应的坐标。
8.一种点激光位移传感器与双目相机坐标融合的系统，其特征在于，包括：标定机构、测量机构和计算终端；
其中，测量机构与所述计算终端通讯连接；
所述计算终端用于执行如权利要求1所述的点激光位移传感器与双目相机坐标融合的方法步骤。
CN202010904395.3A 2020-09-01 2020-09-01 一种点激光位移传感器与双目相机坐标融合的方法及系统 Active CN112212784B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010904395.3A CN112212784B (zh) 2020-09-01 2020-09-01 一种点激光位移传感器与双目相机坐标融合的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010904395.3A CN112212784B (zh) 2020-09-01 2020-09-01 一种点激光位移传感器与双目相机坐标融合的方法及系统

Publications (2)

Publication Number Publication Date
CN112212784A CN112212784A (zh) 2021-01-12
CN112212784B true CN112212784B (zh) 2022-02-08

Family

ID=74048743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010904395.3A Active CN112212784B (zh) 2020-09-01 2020-09-01 一种点激光位移传感器与双目相机坐标融合的方法及系统

Country Status (1)

Country Link
CN (1) CN112212784B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113253246B (zh) * 2021-06-01 2021-09-10 奥特酷智能科技(南京)有限公司 一种激光雷达和相机的标定方法
CN113781535A (zh) * 2021-08-20 2021-12-10 连云港杰瑞自动化有限公司 一种基于振动传感器的视觉3d点云数据的补偿装置及补偿方法
CN113870366B (zh) * 2021-10-18 2024-04-02 中国科学院长春光学精密机械与物理研究所 基于位姿传感器的三维扫描系统的标定方法及其标定系统
CN114708335B (zh) * 2022-03-20 2023-03-14 元橡科技(苏州)有限公司 双目立体相机的外参标定系统、标定方法、应用、存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127745A (zh) * 2016-06-17 2016-11-16 凌云光技术集团有限责任公司 结构光3d视觉系统与线阵相机的联合标定方法及装置
CN107883870A (zh) * 2017-10-24 2018-04-06 四川雷得兴业信息科技有限公司 基于双目视觉系统和激光跟踪仪测量系统的全局标定方法
CN108828606A (zh) * 2018-03-22 2018-11-16 中国科学院西安光学精密机械研究所 一种基于激光雷达和双目可见光相机联合测量方法
CN109035309A (zh) * 2018-07-20 2018-12-18 清华大学苏州汽车研究院（吴江） 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法
CN109323650A (zh) * 2018-01-31 2019-02-12 黑龙江科技大学 视觉图像传感器与点光测距传感器测量坐标系的统一方法
CN110349221A (zh) * 2019-07-16 2019-10-18 北京航空航天大学 一种三维激光雷达与双目可见光传感器的融合标定方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127745A (zh) * 2016-06-17 2016-11-16 凌云光技术集团有限责任公司 结构光3d视觉系统与线阵相机的联合标定方法及装置
CN107883870A (zh) * 2017-10-24 2018-04-06 四川雷得兴业信息科技有限公司 基于双目视觉系统和激光跟踪仪测量系统的全局标定方法
CN109323650A (zh) * 2018-01-31 2019-02-12 黑龙江科技大学 视觉图像传感器与点光测距传感器测量坐标系的统一方法
CN108828606A (zh) * 2018-03-22 2018-11-16 中国科学院西安光学精密机械研究所 一种基于激光雷达和双目可见光相机联合测量方法
CN109035309A (zh) * 2018-07-20 2018-12-18 清华大学苏州汽车研究院（吴江） 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法
CN110349221A (zh) * 2019-07-16 2019-10-18 北京航空航天大学 一种三维激光雷达与双目可见光传感器的融合标定方法

Also Published As

Publication number Publication date
CN112212784A (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
CN112212784B (zh) 一种点激光位移传感器与双目相机坐标融合的方法及系统
CN108734744B (zh) 一种基于全站仪的远距离大视场双目标定方法
CN103292710B (zh) 一种应用双目视觉视差测距原理的距离测量方法
Zisserman et al. Metric calibration of a stereo rig
CN101581569A (zh) 双目视觉传感系统结构参数的标定方法
TWI420066B (zh) 物件量測方法與系統
KR101926953B1 (ko) 4카메라 그룹 평면 어레이의 특징점의 매칭 방법 및 그에 기초한 측정 방법
Xu et al. Multi-camera global calibration for large-scale measurement based on plane mirror
CN102126162A (zh) 一种数控机床加工在线测量方法
Mohr et al. It can be done without camera calibration
CA3233222A1 (en) Method, apparatus and device for photogrammetry, and storage medium
CN110398208A (zh) 基于摄影全站仪系统的大数据变形监测方法
CN111982058A (zh) 一种基于双目相机的测距方法、系统、设备和可读存储介质
Xu et al. 3-D reconstruction of binocular vision using distance objective generated from two pairs of skew projection lines
Liu et al. Portable light pen 3D vision coordinate measuring system-probe tip center calibration
Yamauchi et al. Calibration of a structured light system by observing planar object from unknown viewpoints
CN113034565A (zh) 一种单目结构光的深度计算方法及系统
Fu et al. A flexible approach to light pen calibration for a monocular-vision-based coordinate measuring system
Zhang et al. Camera calibration for long-distance photogrammetry using unmanned aerial vehicles
CN103791919B (zh) 一种基于数字基高比模型的高程精度估算方法
CN201945293U (zh) 一种目标空间坐标的柔性立体视觉测量装置
CN216116064U (zh) 掘进机的位姿标定系统
CN101777182B (zh) 坐标循环逼进式正交摄像机系统视频定位方法及系统
CN102436657A (zh) 基于物联网应用的主动光深度测量值修正方法
Cheng et al. Integration of 3D stereo vision measurements in industrial robot applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant