CN106289106B - 一种线阵相机和面阵相机相结合的立体视觉传感器及标定方法 - Google Patents

一种线阵相机和面阵相机相结合的立体视觉传感器及标定方法 Download PDF

Info

Publication number
CN106289106B
CN106289106B CN201610631032.0A CN201610631032A CN106289106B CN 106289106 B CN106289106 B CN 106289106B CN 201610631032 A CN201610631032 A CN 201610631032A CN 106289106 B CN106289106 B CN 106289106B
Authority
CN
China
Prior art keywords
line
digital camera
scan digital
area array
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610631032.0A
Other languages
English (en)
Other versions
CN106289106A (zh
Inventor
刘震
潘晓
尹扬
武群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201610631032.0A priority Critical patent/CN106289106B/zh
Publication of CN106289106A publication Critical patent/CN106289106A/zh
Application granted granted Critical
Publication of CN106289106B publication Critical patent/CN106289106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种线阵相机和面阵相机相结合的立体视觉传感器及标定方法，视觉传感器可实现物体图像灰度和深度信息的同步获取，该传感器主要包括一个线阵相机，一个面阵相机、一个激光器和其它附件。线阵相机通过线激光器照明获得清晰图像，并与面阵相机构成立体视觉传感器，这时线激光器又作为面阵相机图像中特征，配合极线约束实现线阵相机与面阵相机图像的对应匹配，最后通过立体视觉测量模型实现三维坐标重建。该传感器可通过推扫方式同时获得物体的图像信息和每个像素对应的空间深度信息。本发明可广泛应用于物体识别和故障诊断等领域。

Description

一种线阵相机和面阵相机相结合的立体视觉传感器及标定 方法
技术领域
本发明涉及一种机器视觉领域的三维测量传感器、测量方法及标定方法，尤其涉及一种新的可实现物体图像灰度及对应深度信息同步测量的立体视觉传感器、测量方法及其标定方法。
背景技术
面阵相机在拍摄高速运动物体时，由于现有面阵光源发光不均匀导致面阵相机拍摄的图像亮度不均匀，或由于光源角度和物体形貌等原因造成图像阴影。线激光器具有亮度高、单色性好、直线性强等优点，作为线阵摄像机的照明光源，可以保障线阵相机在极低曝光时间条件下获取高速运动物体的清晰图像，且图像阴影小。
在使用二维图像进行故障识别时，由于污泥、油渍等影响容易出现故障识别错误。如果同步得到图像中每个像素对应的深度信息，就可以大大提高故障识别的准确率。
发明内容
本发明技术解决问题：克服现有技术的不足，提供一种结合线阵相机与面阵相机的立体视觉传感器及其标定方法，该传感器可实现物体灰度图及每个像素对应的深度值的同步获取，可以提高故障识别的准确率。
本发明技术解决方案：一种线阵相机和面阵相机结合的立体视觉传感器，包括：线激光器，面阵相机，线阵相机，图像存储及处理单元，测速及控制单元；线激光器安装在一个调节机构上，该调节机构放置在线阵相机下部，通过调节机构将激光器投射出的光平面与线阵相机的光学中心与线阵CCD构成的平面重合，保证线激光器给线阵相机提供良好的照明；面阵相机放置在线阵相机一侧，线阵相机和面阵相机连接到图像存储及处理单元上，测速及控制单元用于测量物体速度，并给线阵相机和面阵相机发出触发信号，用于图像采集。
一种线阵相机与面阵相机结合的立体视觉传感器测量方法，实现步骤如下：
步骤1：通过调节机构2将光平面与线阵相机3的光学中心和线阵CCD构成的平面调成一个平面，保证在线阵相机3测量范围内线激光器都可以为其提供高质量照明；另外，调节面阵相机4的拍摄角度，保证面阵相机4与线阵相机3的视场范围一致；
步骤2：完成面阵相机4内部参数标定；线阵相机3内部参数标定；线阵相机3坐标系Oc1xc1yc1zc1到面阵相机4坐标系Oc2xc2yc2zc2之间转换矩阵标定；
步骤3：将线阵相机3与面阵相机4形成的立体视觉传感器放置在合适位置，用于测量在其前面通过的运行物体。测速及控制单元6实时测量物体速度，并根据物体速度给线阵相机3和面阵相机4发出触发信号，保证物体每向前运动一个固定距离，给出对应的触发信号用于线阵相机3和面阵相机4拍摄运动物体的图像；
步骤4：线阵相机3和面阵相机4接到触发信号采集灰度图像数据传输到图像存储及处理单元5；
步骤5：根据步骤2中标定结果，通过图像存储及处理单元5确定线阵相机3与面阵相机4灰度图像中的对应点，求解出线阵相机3中每个灰度图像点在线阵相机3坐标下的三维坐标中的y，z分量，其中，x分量为0；
步骤6：测速单元6每发出一次触发信号，通过步骤5得到运动物体上一点在线阵相机坐标系下的y，z分量，这些点三维坐标的x分量为0，现根据触发信号序号定义x分量为dn，其中d为触发间隔时间内运动物体移动的单位距离，n为触发信号序号；线阵相机3的每一个像素都将对应一个三维坐标，每个像素对应的深度值为该点的z方向分量；
步骤7：重复步骤3-6，以推扫方式连续拍摄运动物体；线阵相机3连续拍摄得到运动物体的灰度图像，同时根据步骤5计算出每个灰度图像点的三维坐标。每个像素对应的深度值为该点三维坐标的z方向分量，进而可以获取对应的深度图。
所述步骤2中的线阵相机3内部参数标定如下：
(1)使用棋盘格平面靶标放置在线阵相机3和面阵相机4的共同测量范围内，同时采集棋盘格平面靶标的灰度图像；提取线阵相机3拍摄到的灰度图像特征点a、b、c、d、e、f，根据交比不变性求解出对应点A、B、C、D、E、F在棋盘格平面靶标坐标系下的二维坐标；
(2)提取面阵相机4拍摄到的灰度图像特征点，根据已标定出的面阵相机内部参数计算出平面靶标坐标系OTxTyTzT到面阵摄像机坐标系Oc2xc2yc2zc2的旋转矩阵和平移矢量，得到A、B、C、D、E、F，即线阵相机3拍摄到的灰度图像特征点a、b、c、d、e、f所对应的点的在面阵摄像机坐标系Oc2xc2yc2zc2下三维坐标；
(3)在靶标摆放多次后，通过拟合确定线阵相机投影平面在面阵相机坐标系下平面方程，并在线阵相机投影平面上建立线阵相机投影平面坐标系OLxLyLzL，其中线阵相机投影平面坐标系的OLyLzL与线阵摄像机坐标系的Oc1yc1zc1共面。。求解出线阵相机投影平面坐标系OLxLyLzL到面阵摄像机坐标系Oc2xc2yc2zc2坐标系下的旋转矩阵R2和平移矢量t2，并将A、B、C、D、E、F坐标转换到OLxLyLzL下，再根据线阵相机数学模型求解出来线阵相机3内部参数r11,r12,r21,r22,ty,tz,vL0,fL，其中r11,r12,r21,r22为线阵相机投影平面坐标系OLxLyLzL到线阵摄像机坐标系Oc1xc1yc1zc1的旋转矩阵的相应元素，ty,tz为线阵相机投影平面坐标系OLxLyLzL到线阵摄像机坐标系Oc1xc1yc1zc1的平移矢量t1＝[0 ty tz]T的相应元素(因为线阵相机投影平面坐标系的OLyLzL与线阵摄像机坐标系的Oc1yc1zc1共面，所以tx＝0)，vL0,fL为线阵相机内部参数矩阵的相应元素。
所述步骤2中，线阵摄像机坐标系Oc1xc1yc1zc1到面阵摄像机坐标系Oc2xc2yc2zc2标定如下：
(1)根据已求解出的线阵相机投影平面坐标系OLxLyLzL到线阵摄像机坐标系Oc1xc1yc1zc1的旋转矩阵R1和平移矢量t1，线阵相机投影平面坐标系OLxLyLzL到面阵摄像机坐标系Oc2xc2yc2zc2的旋转矩阵R2和平移矢量t2，采用下式公式(1)，求解得到线阵摄像机坐标系Oc1xc1yc1zc1到面阵摄像机坐标系Oc2xc2yc2zc2的旋转矩阵R12和平移矢量t12；
(2)在整个立体视觉传感器标定过程中可建立非线性优化目标函数，采用非线性优化方法(例如LM非线性优化方法)求解出所有标定参数K2,K1,R12,t12的最优解。
所述步骤5实现如下：
步骤51：根据步骤2中标定结果，求解出线阵相机3中任意一个图像点pl在面阵相机4图像中的极线lr；
步骤52：面阵相机4图像中，沿着极线lr搜索极线上图像灰度变化，当极线上存在图像灰度大于阈值，且呈近似高斯分布的区域时，该区域即为极线lr与面阵相机4图像中光条相交的区域，通过简单的图像处理方法即确定极线lr与光条的相交点pr；
步骤53：将相交点pr代入由线阵相机3和面阵相机4构成的双目立体视觉传感器的数学模型中，求解出每个线阵相机3图像的三维坐标，设z方向分量为该像素的深度值；
其中，v1,v2分别为线阵相机和面阵相机图像坐标系下无畸变图像坐标和的相应参数；fL,vL0和fFy,vF0分别为线阵相机和面阵相机内部参数矩阵和的相应参数；r22,r23,r32,r33和ty,tz分别为线阵摄像机坐标系Oc1xc1yc1zc1到面阵摄像机坐标系Oc2xc2yc2zc2的旋转矩阵及平移矢量和t12＝[tx ty tz]T的相应参数。
由此看出在K1、K2、R12、t12已知的情况下，由线阵相机与面阵相机图像中的对应点和通过式(2)就能够计算出线阵相机图像中的每个像素在线阵相机坐标系下的三维坐标中y,z分量，其中，x分量为0。
一种线阵相机与面阵相机结合的立体视觉传感器标定方法，实现步骤如下：
步骤1：采用张正友在2000年11月发表的文章“A flexible new technique forcamera calibration[J].IEEE Trans.on Pattern Analysis and MachineIntelligence”中提到的摄像机标定方法完成面阵相机4内部参数矩阵K2标定。
步骤2：使用棋盘格平面靶标放置在线阵相机3和面阵相机4的共同测量范围内，同时采集棋盘格平面靶标的灰度图像；提取线阵相机3拍摄到的灰度图像特征点a、b、c、d、e、f，根据交比不变性求解出对应点A、B、C、D、E、F在棋盘格平面靶标坐标系下的二维坐标；
提取面阵相机4拍摄到的灰度图像特征点，根据已标定出的面阵相机内部参数可以计算出平面靶标坐标系OTxTyTzT到面阵摄像机坐标系Oc2xc2yc2zc2的旋转矩阵和平移矢量，进而得到面阵相机4坐标系下，A、B、C、D、E、F(线阵相机3拍摄到的灰度图像特征点a、b、c、d、e、f所对应的点)的三维坐标；
在靶标摆放多次后，通过拟合确定线阵相机投影平面在面阵相机坐标系下平面方程，并在线阵相机投影平面上建立线阵相机投影平面坐标系OLxLyLzL，其中线阵相机投影平面坐标系的OLyLzL与线阵摄像机坐标系的Oc1yc1zc1共面。
求解出线阵相机投影平面坐标系OLxLyLzL到面阵相机Oc2xc2yc2zc2的旋转矩阵R2和平移矢量t2，并将A、B、C、D、E、F坐标转换到线阵相机投影平面坐标系OLxLyLzL下。再根据线阵相机数学模型求解出来线阵相机3内部参数r11,r12,r21,r22,ty,tz,vL0,fL，其中r11,r12,r21,r22为线阵相机投影平面坐标系OLxLyLzL到线阵相机坐标系Oc1xc1yc1zc1的旋转矩阵的相应元素，ty,tz为OLxLyLzL到Oc1xc1yc1zc1的平移矢量t1＝[0 ty tz]T的相应元素(因为线阵相机投影平面坐标系的OLyLzL与线阵相机坐标系的Oc1yc1zc1共面，所以tx＝0)，vL0,fL为线阵相机内部参数矩阵的相应元素；
步骤3：根据已求解出的线阵相机投影平面坐标系OLxLyLzL到线阵摄像机坐标系Oc1xc1yc1zc1的旋转矩阵R1和平移矢量t1，线阵相机投影平面坐标系OLxLyLzL到面阵摄像机坐标系Oc2xc2yc2zc2的旋转矩阵R2和平移矢量t2，采用下式公式(3)，求解得到线阵摄像机坐标系Oc1xc1yc1zc1到面阵摄像机坐标系Oc2xc2yc2zc2的旋转矩阵R12和平移矢量t12；
最后采用非线性优化方法(例如LM非线性优化方法)求解出K2,K1,R12,t12的最优解。至此完成了视觉传感器全部参数标定。
本发明与现有技术相比的优点在于：
(1)本发明的立体视觉传感器主要包括：线激光器，面阵相机，线阵相机，图像存储及处理单元，测速及控制单元，系统软件和其他相关机械及电气附件等。该立体视觉传感器的线阵相机在线激光器照明下拍摄图像，并与面阵相机构成立体视觉传感器，通过光条与极线几何约束可以确定线阵相机每个像素在面阵相机图像中的对应匹配点，再将对应匹配点代入立体视觉测量模型实现三维重建。该传感器可通过推扫方式同时获得物体的图像信息和每个像素对应的空间深度信息，本发明可广泛应用于物体识别和故障诊断等领域。
现有技术中存在面阵光源发光不均匀导致面阵相机拍摄的图像存在中间过亮，两边亮度不足的问题。而本发明中的线阵相机具有帧频快，结构简单等优点，以线激光器为线阵摄像机的照明光源时，可以保障线阵相机在极低曝光时间条件下获取被测物体的清晰图像。
(2)本发明的线阵相机与面阵相机结合的立体视觉传感器测量方法，通过光条与极线几何约束确定线阵相机每个像素在面阵相机图像中的对应匹配点，再将对应匹配点代入立体视觉测量模型实现三维重建。该传感器可通过推扫方式同时获得物体的图像信息和每个像素对应的空间深度信息。每个像素对应的深度值为该点三维坐标的z方向分量，进而可以获取对应的深度图。
现有技术大多需要采用线阵相机获取图像数据，再通过结构光视觉传感器获取三维数据。结构光视觉传感器中的面阵相机需要进行整幅图像处理，处理时间长、效率低。同时结构光视觉传感器获取的三维数据数据量大，导致数据传输、处理困难。另外，在故障识别时需要二维图像和三维数据分别处理，无法确定每个像素对应的深度信息。
而本发明根据立体视觉的极线几何约束关系，找到线阵相机像素在面阵图像中的对应特征区域，进而提取对应匹配点。由于该立体视觉传感器测量方法不需要对整幅图像进行二维图像处理，这大大减少了处理速度。同时，本发明可以得到每个像素对应的深度信息，这样数据量小，便于传输，而且更有利于后期故障识别。
(3)本方法的标定方法仅需要最常用的平面棋盘格靶标，不需要现有方法使用的齿状靶标和高精度移动台。在标定过程中，棋盘格靶标可以灵活摆放没有位置要求，并且不需要高精度的移动台。该方法具有标定过程方便简单，灵活性强，精度高等优点。
附图说明
图1为本发明实施例中立体视觉传感器结构示意图；
图2为本发明实施例立体视觉传感器测量模型示意图；
图3为本发明实施例立体视觉传感器标定过程示意图。
具体实施方式
图1为本发明实施例中立体视觉传感器结构示意图。如图1所示，在立体视觉传感器中，线激光器1安装在一个三自由度调节机构2上，该调节机构2放置在线阵相机3下部，通过调节机构2将激光器1投射出的光平面与线阵相机3的光学中心与线阵CCD构成的平面重合，保证线激光器1给线阵相机3提供良好的照明。面阵相机4放置在线阵相机3一侧。面阵相机4与线阵相机3构成立体视觉传感器。线阵相机3和面阵相机4通过图像采集装置连接到图像存储及处理单元5上。测速及控制单元6用于测量物体速度，并给线阵相机3和面阵相机4发出触发信号，用于图像采集。
下面介绍该立体视觉传感器的数学模型：
设和Q1＝[0 y z 1]T分别为空间点在线阵相机图像坐标系下无畸变图像坐标和线阵相机坐标系Oc1xc1yc1zc1下坐标式1为线阵相机的数学模型：
式中ρ1为非零常数；为线阵相机内部参数矩阵，其中fL为线阵相机焦距，vL0为线阵相机图像中心。根据经验，我们选镜头二阶径向畸变，畸变系数为kL1和kL2，根据镜头畸变校正模型可求解出线阵相机的无畸变图像坐标。
Q1在面阵相机图像坐标系下无畸变图像坐标为面阵摄像机数学模型如式2的方程组：
式中ρ2为非零常数；为面阵相机的内部参数矩阵，其中fFx,fFy为面阵相机的等效焦距，uF0,vF0为面阵相机图像中心；和t12＝[tx ty tz]T分别为线阵摄像机坐标系Oc1xc1yc1zc1到面阵摄像机坐标系Oc2xc2yc2zc2的旋转矩阵及平移矢量。根据经验，选镜头二阶径向畸变，畸变系数为和根据镜头畸变校正模型可求解出面阵相机的无畸变图像坐标。
故线阵相机与面阵相机构成的立体视觉传感器数学模型为：
通过整理可得：
由此可看出在K1、K2、R12、t12已知的情况下，由线阵相机与面阵相机图像中的对应点和通过式(4)就可以计算出线阵相机每个像素在线阵相机坐标系下的y,z分量。
下面介绍该立体视觉传感器的测量原理：
线阵相机3和激光器1构成物体灰度图像采集单元，并与面阵相机4构成立体视觉测量单元。图2为本发明实施例立体视觉传感器测量模型示意图。在图2中，空间中一点Q在线阵相机和面阵相机的图像平面上的投影点分别是如图2所示，在测量过程中根据极线约束关系可以确定每个线阵相机3图像像素在面阵相机4图像中的一条极线，该极线与面阵相机4图像中光条的交点为线阵相机3中像素在面阵相机4图像中的对应点。将该对应点代入立体视觉传感器数学模型就可以求解出线阵相机3图像点的在线阵相机坐标系下的y，z方向坐标，x方向坐标可由事先确定的推扫间隔距离和触发信号序号决定。因此根据以上方法就可以不但得到运动物体的灰度图像也可以得到每个像素点的三维坐标，其中z方向分量为该像素点的深度值。
下面介绍该立体视觉传感器的测量流程为：
步骤1：通过调节机构2将光平面与线阵相机3的光学中心与线阵CCD构成的平面调成一个平面。保证在线阵相机3测量范围内线激光器都可以为其提供高质量照明。这时，线激光器的线宽越宽调节越容易，但精度越低；线激光器的线宽越窄，调节越难，但精度越高。另外，调节面阵相机4的拍摄角度，保证面阵相机4与线阵相机3的视场范围一致。
步骤2：完成该立体视觉传感器标定。该标定主要包括面阵相机4内部参数标定；线阵相机3内部参数标定；线阵相机3坐标系到面阵相机4坐标系之间转换矩阵标定。
设Oc1xc1yc1zc1为线阵相机坐标系，Oc2xc2yc2zc2为面阵相机坐标系，OTxTyTzT为平面靶标坐标系。π为线阵摄像机像素与线阵相机光心所确定的平面，称为线阵相机投影平面。A、B、C、D、E、F为线阵相机投影平面与棋盘靶标的交点。
下面详细介绍三个标定过程的具体细节。
步骤21：面阵相机4内部参数矩阵K2标定
采用张正友在2000年11月发表的文章“A flexible new technique for cameracalibration[J].IEEE Trans.on Pattern Analysis and Machine Intelligence”中提到的摄像机标定方法完成面阵相机4内部参数矩阵K2标定。
步骤22：线阵相机3内部参数标定和线阵相机3坐标系到面阵相机4坐标系之间转换矩阵标定
图3为本发明实施例立体视觉传感器标定过程示意图。在图3中，a、b、c、d、e、f分别是A、B、C、D、E、F在线阵相机图像线阵上的成像点。
采用图像处理方法提取出a、b、c、d、e、f在线阵相机图像坐标系下图像坐标，根据交比不变性可知：
根据以上原理就可以全部求解出A、B、C、D、E、F在靶标坐标系下坐标。面阵相机拍摄靶标图像，提取靶标图像特征点，根据已标定出的面阵相机内部参数可以计算出平面靶标坐标系OTxTyTzT到面阵摄像机坐标系Oc2xc2yc2zc2的旋转矩阵和平移矢量，进而得到面阵摄像机坐标系Oc2xc2yc2zc2下A、B、C、D、E、F的三维坐标。
将平面靶标移动n次(至少两次以上)，可以得出A(i)、B(i)、C(i)、D(i)、E(i)、F(i)(i＝1，2…n)在面阵相机坐标下三维坐标。通过拟合确定线阵相机投影平面在Oc2xc2yc2zc2下平面方程，并在线阵相机投影平面上建立线阵相机投影平面坐标系OLxLyLzL(其中线阵相机投影平面坐标系的OLyLzL与线阵摄像机坐标系的Oc1yc1zc1共面。)。将A(i)、B(i)、C(i)、D(i)、E(i)、F(i)坐标转换到OLxLyLzL下，A(i)、B(i)、C(i)、D(i)、E(i)、F(i)在线阵相机图像上的投影点分别为a(i)、b(i)、c(i)、d(i)、e(i)、f(i)，这样就可以得到在线阵摄像机坐标系Oc1xc1yc1zc1下多个空间点与线阵相机图像点的对应点对集合Q。
在集合Q中选取任意一点在OLxLyLzL下坐标Q＝(0，yA，zA，1)T，在线阵相机图像坐标系下该点为这两点符合式6的对应关系。在集合Q中选取多点代入式6，并整理可以求解出r11,r12,r21,r22,tz,ty,vL0,fL。
式中ρ3为非零常数；和t1＝[0 ty tz]T分别为线阵相机投影平面坐标系OLxLyLzL到线阵摄像机坐标系Oc1xc1yc1zc1的旋转矩阵及平移矢量。
根据已求解出的线阵相机投影平面坐标系OLxLyLzL到线阵摄像机坐标系Oc1xc1yc1zc1的旋转矩阵R1和平移矢量t1，线阵相机投影平面坐标系OLxLyLzL到面阵摄像机坐标系Oc2xc2yc2zc2的旋转矩阵R2和平移矢量t2，采用下式公式(7)，求解得到线阵摄像机坐标系Oc1xc1yc1zc1到面阵摄像机坐标系Oc2xc2yc2zc2的旋转矩阵R12和平移矢量t12；
至此完成了视觉传感器全部参数标定。
步骤23：立体视觉传感器标定参数整体优化
在整个立体视觉传感器标定过程中建立以靶标特征点反投影图像误差最小的非线性优化目标函数，采用非线性优化方法(例如LM非线性优化方法)求解出K2,K1,R12,t12的最优解。
步骤3：测速单元6测量物体速度，并根据物体速度给线阵相机3和面阵相机4发出触发信号，保证物体每向前运动一个固定距离，立体视觉传感器就测量一次。
设线阵相机3的图像分辨率为m像素，希望得到的空间分辨率为n米，则线阵相机每个像素对应空间距离为d＝n/m米。为了保证线阵相机3在推扫测量时横纵方向分辨率一致，线阵相机3每帧测量间距也应该是d米。
测速单元6测量出的物体速度为米/秒，则线阵相机3每帧之间的间隔时间为t＝d/v秒。测速单元6实时测量物体运动速度，计算出线阵相机3每帧之间理想的间隔时间，给出对应的触发信号用于线阵相机3图像采集。
步骤4：线阵相机3和面阵相机4接到触发信号采集图像数据传输到图像存储及处理单元5。
步骤5：根据步骤2中标定结果，通过图像存储及处理单元5确定线阵相机3与面阵相机4图像中的对应点，代入式4求解出线阵相机3中每个图像点在线阵相机坐标下的三维坐标。
步骤51：根据步骤2中标定结果，求解出线阵相机3中任意一个图像点pl在面阵相机4图像中的极线lr。
步骤52：面阵相机4图像中，沿着lr搜索极线上图像灰度变化。当极线上存在图像灰度大于阈值，且呈近似高斯分布的区域时，该区域即为极线lr与面阵相机4图像中光条的相交的区域，通过简单的图像处理方法既可以确定极线lr与光条的相交点pr。
步骤53：将pr代入式2就可以求解出线阵相机3中任意一个图像点pl在线阵相机3坐标系下三维坐标，其中该点x坐标轴分量为0。
步骤53中将pr代入式2求解出每个线阵相机3图像的三维坐标，其中式2是结构光视觉传感器数学模型。因为在步骤52中已经找到了线阵相机3每个像素点在面阵相机4图像中的对应点，因此也可以将这一对对应点代入由线阵相机3和面阵相机4构成的双目立体视觉传感器的数学模型(如式3)，求解出每个线阵相机3图像的三维坐标，设z方向分量为该像素的深度值。
步骤6：测速单元6每发出一次触发信号，通过步骤5可以得到运动物体上一点在线阵相机坐标系下的y，z分量，这些点三维坐标的x分量为0，现根据触发信号序号定义x分量为dn，其中n为触发信号序号。以此类推，线阵相机3的每一个像素都将对应一个三维坐标。每个像素对应的深度值为该点的z方向分量。
步骤7：重复步骤3-6，以推扫方式连续拍摄运动物体；线阵相机3连续拍摄得到运动物体的灰度图像，同时根据步骤5测量出整个运动物体的灰度图像和每个像素对应的深度值。
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (4)

1.一种线阵相机与面阵相机结合的立体视觉传感器测量方法，所述采用的线阵相机和面阵相机结合的立体视觉传感器，包括线激光器，面阵相机，线阵相机，图像存储及处理单元，测速及控制单元；线激光器安装在一个三自由度调节机构上，该调节机构放置在线阵相机下部，通过调节机构将激光器投射出的光平面与线阵相机的光学中心与线阵CCD构成的平面重合，保证线激光器给线阵相机提供良好的照明；面阵相机放置在线阵相机一侧，线阵相机和面阵相机连接到图像存储及处理单元上，测速及控制单元用于测量物体速度，并给线阵相机和面阵相机发出触发信号，用于图像采集；
其特征在于所述测量方法实现步骤如下：
步骤1：通过调节机构将光平面与线阵相机的光学中心和线阵CCD构成的平面调成一个平面，保证在线阵相机测量范围内线激光器都可以为其提供高质量照明；另外，调节面阵相机的拍摄角度，保证面阵相机与线阵相机的视场范围一致；
步骤2：完成面阵相机内部参数标定；线阵相机内部参数标定；线阵相机坐标系到面阵相机坐标系之间转换矩阵标定；
步骤3：将线阵相机与面阵相机形成的立体视觉传感器放置在合适位置，用于测量在其前面通过的运行物体；测速及控制单元实时测量物体速度，并根据物体速度给线阵相机和面阵相机发出触发信号，保证物体每向前运动一个固定距离，给出对应的触发信号用于线阵相机和面阵相机拍摄运动物体的图像；
步骤4：线阵相机和面阵相机接到触发信号采集灰度图像数据传输到图像存储及处理单元；
步骤5：根据步骤2中标定结果，通过图像存储及处理单元确定线阵相机与面阵相机灰度图像中的对应点，求解出线阵相机中每个灰度图像点在线阵相机坐标下的三维坐标中的y，z分量，其中，x分量为0；
步骤6：测速单元每发出一次触发信号，通过步骤5得到运动物体上一点在线阵相机坐标系下的y，z分量，这些点三维坐标的x分量为0，现根据触发信号序号定义x分量为dn，其中d为触发间隔时间内运动物体移动的单位距离，n为触发信号序号；线阵相机的每一个像素都将对应一个三维坐标，每个像素对应的深度值为该点的z方向分量；
步骤7：重复步骤3-6，以推扫方式连续拍摄运动物体；线阵相机连续拍摄得到运动物体的灰度图像，同时根据步骤5计算出每个灰度图像点的三维坐标；
所述步骤5实现如下：
步骤51：根据步骤2中标定结果，求解出线阵相机中任意一个图像点pl在面阵相机图像中的极线lr；
步骤52：面阵相机图像中，沿着极线lr搜索极线上图像灰度变化，当极线上存在图像灰度大于阈值，且呈近似高斯分布的区域时，该区域即为极线lr与面阵相机图像中光条相交的区域，通过简单的图像处理方法即确定极线lr与光条的相交点pr；
步骤53：将相交点pr代入由线阵相机和面阵相机构成的双目立体视觉传感器的数学模型中，求解出每个线阵相机图像的三维坐标，设每个像素对应的深度值为该点三维坐标的z方向分量，进而可以获取对应的深度图；
其中，v1,v2分别为线阵相机和面阵相机图像坐标系下无畸变图像坐标和 的相应参数；fL,vL0和fFy,vF0分别为线阵相机和面阵相机内部参数矩阵和的相应参数；r22,r23,r32,r33和ty,tz分别为线阵摄像机坐标系Oc1xc1yc1zc1到面阵摄像机坐标系Oc2xc2yc2zc2的旋转矩阵及平移矢量和t12＝[tx ty tz]T的相应参数；
由此看出在线阵相机的内参矩阵K1、面阵相机的内参矩阵K2、线阵摄像机坐标系Oc1xc1yc1zc1到面阵摄像机坐标系Oc2xc2yc2zc2坐标系下的旋转矩阵R12、Oc1xc1yc1zc1坐标系到Oc2xc2yc2zc2坐标系下的平移矢量t12已知的情况下，由线阵相机与面阵相机图像中的对应点和通过式(2)就能够计算出线阵相机图像中的每个像素在线阵相机坐标系下的三维坐标中y，z分量，其中，x分量为0。
2.根据权利要求1所述的一种线阵相机与面阵相机结合的立体视觉传感器测量方法，其特征在于：所述步骤2中的线阵相机内部参数标定如下：
(1)使用棋盘格平面靶标放置在线阵相机和面阵相机的共同测量范围内，同时采集棋盘格平面靶标的灰度图像；提取线阵相机拍摄到的灰度图像特征点a、b、c、d、e、f，根据交比不变性求解出对应点A、B、C、D、E、F在棋盘格平面靶标坐标系下的二维坐标；
(2)提取面阵相机拍摄到的灰度图像特征点，根据已标定出的面阵相机内部参数计算出平面靶标坐标系OTxTyTzT到面阵摄像机坐标系Oc2xc2yc2zc2的旋转矩阵和平移矢量，得到面阵相机坐标系下，A、B、C、D、E、F，即线阵相机拍摄到的灰度图像特征点a、b、c、d、e、f所对应的点的三维坐标；
(3)在靶标摆放多次后，通过拟合确定线阵相机投影平面在面阵相机坐标系下平面方程，并在线阵相机投影平面上建立线阵相机投影平面坐标系OLxLyLzL，其中线阵相机投影平面坐标系的OLyLzL与线阵摄像机坐标系的Oc1yc1zc1共面；求解出线阵相机投影平面坐标系OLxLyLzL到面阵相机Oc2xc2yc2zc2坐标系下的旋转矩阵R2和平移矢量t2，并将A、B、C、D、E、F坐标转换到OLxLyLzL下，再根据线阵相机数学模型求解出来线阵相机内部参数r11,r12,r21,r22,ty,tz,vL0,fL，其中r11,r12,r21,r22为线阵相机投影平面坐标系OLxLyLzL到Oc1xc1yc1zc1坐标系下的旋转矩阵的相应元素，ty,tz为线阵相机投影平面坐标系OLxLyLzL到线阵摄像机坐标系Oc1xc1yc1zc1的平移矢量t1＝[0 ty tz]T的相应元素；因为OLyLzL与Oc1yc1zc1共面，tx＝0；vL0,fL为线阵相机内部参数矩阵的相应元素。
3.根据权利要求1所述的一种线阵相机与面阵相机结合的立体视觉传感器测量方法，其特征在于：所述步骤2中，线阵相机坐标系到面阵相机坐标系之间转换矩阵标定如下：
(1)根据已求解出的线阵相机投影平面坐标系OLxLyLzL到线阵摄像机坐标系Oc1xc1yc1zc1的旋转矩阵R1和平移矢量t1，线阵相机投影平面坐标系OLxLyLzL到面阵摄像机坐标系Oc2xc2yc2zc2的旋转矩阵R2和平移矢量t2，采用下式公式(1)，求解得到线阵摄像机坐标系Oc1xc1yc1zc1到面阵摄像机坐标系Oc2xc2yc2zc2的旋转矩阵R12和平移矢量t12；
(2)在整个立体视觉传感器标定过程中建立非线性优化目标函数，采用非线性优化方法求解出所有标定参数K2,K1,R12,t12的最优解。
4.一种线阵相机与面阵相机结合的立体视觉传感器标定方法，其特征在于实现步骤如下：
步骤1：采用摄像机标定方法完成面阵相机内部参数矩阵K2标定；
步骤2：使用棋盘格平面靶标放置在线阵相机和面阵相机的共同测量范围内，同时采集棋盘格平面靶标的灰度图像；提取线阵相机拍摄到的灰度图像特征点a、b、c、d、e、f，根据交比不变性求解出对应点A、B、C、D、E、F在棋盘格平面靶标坐标系下的二维坐标；
提取面阵相机拍摄到的灰度图像特征点，根据已标定出的面阵相机内部参数可以计算出平面靶标坐标系OTxTyTzT到面阵摄像机坐标系Oc2xc2yc2zc2的旋转矩阵和平移矢量进而得到面阵相机坐标系下，A、B、C、D、E、F，即线阵相机拍摄到的灰度图像特征点a、b、c、d、e、f所对应的点的三维坐标；
在靶标摆放多次后，通过拟合确定线阵相机投影平面在面阵相机坐标系下平面方程，并在线阵相机投影平面上建立线阵相机投影平面坐标系OLxLyLzL，其中线阵相机投影平面坐标系的OLyLzL与线阵摄像机坐标系的Oc1yc1zc1共面；求解出线阵相机投影平面坐标系OLxLyLzL到面阵摄像机坐标系Oc2xc2yc2zc2坐标系下的旋转矩阵R2和平移矢量t2，并将A、B、C、D、E、F坐标转换到线阵相机投影平面坐标系OLxLyLzL下。再根据线阵相机数学模型求解出来线阵相机内部参数r11,r12,r21,r22,ty,tz,vL0,fL，其中r11,r12,r21,r22为线阵相机投影平面坐标系OLxLyLzL到线阵摄像机坐标系Oc1xc1yc1zc1的旋转矩阵的相应元素，ty,tz为线阵相机投影平面坐标系OLxLyLzL到线阵摄像机坐标系Oc1xc1yc1zc1的平移矢量t1＝[0 tytz]T的相应元素，因为OLyLzL与Oc1yc1zc1共面，tx＝0，vL0,fL为线阵相机内部参数矩阵的相应元素；
步骤3：根据已求解出的线阵相机投影平面坐标系OLxLyLzL到线阵摄像机坐标系Oc1xc1yc1zc1的旋转矩阵R1和平移矢量t1，线阵相机投影平面坐标系OLxLyLzL到面阵摄像机坐标系Oc2xc2yc2zc2的旋转矩阵R2和平移矢量t2，采用下式公式(3)，求解得到线阵摄像机坐标系Oc1xc1yc1zc1到面阵摄像机坐标系Oc2xc2yc2zc2的旋转矩阵R12和平移矢量t12；
最后采用非线性优化方法求解出K2,K1,R12,t12的最优解，至此完成了视觉传感器全部参数标定。
CN201610631032.0A 2016-08-04 2016-08-04 一种线阵相机和面阵相机相结合的立体视觉传感器及标定方法 Active CN106289106B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610631032.0A CN106289106B (zh) 2016-08-04 2016-08-04 一种线阵相机和面阵相机相结合的立体视觉传感器及标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610631032.0A CN106289106B (zh) 2016-08-04 2016-08-04 一种线阵相机和面阵相机相结合的立体视觉传感器及标定方法

Publications (2)

Publication Number Publication Date
CN106289106A CN106289106A (zh) 2017-01-04
CN106289106B true CN106289106B (zh) 2017-12-12

Family

ID=57665169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610631032.0A Active CN106289106B (zh) 2016-08-04 2016-08-04 一种线阵相机和面阵相机相结合的立体视觉传感器及标定方法

Country Status (1)

Country Link
CN (1) CN106289106B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110278419B (zh) * 2019-05-30 2021-07-09 厦门硅图科技有限公司 一种基于线阵相机的视觉检测方法、装置、系统及存储介质

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106871818A (zh) * 2017-04-07 2017-06-20 吉林大学 变基线距的基于立方体位姿基准的扫描式汽车形貌检测仪
CN107044832A (zh) * 2017-04-07 2017-08-15 吉林大学 基线距可变的基于球面位姿基准的扫描式汽车形貌检测仪
CN106840040A (zh) * 2017-04-07 2017-06-13 吉林大学 基于立方体位姿基准的光栅式汽车形貌检测系统
CN106840041A (zh) * 2017-04-07 2017-06-13 吉林大学 基于双目主动视觉的汽车形貌扫描仪
CN106871817A (zh) * 2017-04-07 2017-06-20 吉林大学 基于球面位姿基准的光栅式汽车形貌检测系统
CN107063120A (zh) * 2017-04-07 2017-08-18 吉林大学 基线距可变的基于柱面位姿基准的扫描式汽车形貌检测仪
CN106840031A (zh) * 2017-04-07 2017-06-13 吉林大学 基于柱面位姿基准的光栅式汽车形貌检测系统
CN107907048A (zh) * 2017-06-30 2018-04-13 长沙湘计海盾科技有限公司 一种基于线结构光扫描的双目立体视觉三维测量方法
CN108184080B (zh) * 2017-12-28 2019-12-31 中国科学院西安光学精密机械研究所 机器视觉用高速cmos线阵相机
CN108765623B (zh) * 2018-05-15 2021-09-03 刘祥 一种正面拍照计算到达时间的实现装置
CN108759714B (zh) * 2018-05-22 2020-01-03 华中科技大学 一种多线激光轮廓传感器坐标系融合及转轴标定方法
CN108833751B (zh) * 2018-06-28 2021-06-22 北京大恒图像视觉有限公司 基于面阵图像传感器的高帧率线阵工业相机及其实现方法
CN109242909B (zh) * 2018-08-17 2022-04-26 中科慧远视觉技术（洛阳）有限公司 一种面向高精度二维尺寸测量的线阵相机标定算法
CN111212217B (zh) * 2018-11-22 2021-07-13 北京世纪东方通讯设备有限公司 一种铁路隧道漏缆图像采集装置
EP3693698A1 (de) * 2019-02-05 2020-08-12 Leica Geosystems AG Vermessungsgerät mit ereignisbasierter kamera
CN110166766B (zh) * 2019-06-04 2020-09-08 合肥工业大学 一种多线阵ccd相机共面共线成像联合调试方法
CN110246193B (zh) * 2019-06-20 2021-05-14 南京博蓝奇智能科技有限公司 工业机器人末端相机在线标定方法
CN110689537B (zh) * 2019-10-08 2022-05-03 凌云光技术股份有限公司 线阵相机是否匀速采图的判断方法及系统
CN110611770B (zh) * 2019-10-08 2021-07-30 凌云光技术股份有限公司 线阵相机行频与物体运动速度是否匹配的判断方法及系统
CN112815832B (zh) * 2019-11-15 2022-06-07 中国科学院长春光学精密机械与物理研究所 一种基于3d靶标的测量相机坐标系计算方法
CN111207670A (zh) * 2020-02-27 2020-05-29 河海大学常州校区 一种线结构光标定装置及方法
CN111595302A (zh) * 2020-05-22 2020-08-28 哈尔滨工业大学 一种双面阵ccd辅助三线阵ccd位姿光学测量及校准方法
CN111750821B (zh) * 2020-07-10 2021-05-18 江苏集萃智能光电系统研究所有限公司 一种位姿参数测量方法、装置、系统和存储介质
CN112329531B (zh) * 2020-09-30 2023-04-07 山东大学 用于管廊表观病害检测的线阵双目成像系统与工作方法
CN112710234A (zh) * 2020-12-17 2021-04-27 中国航空工业集团公司北京长城航空测控技术研究所 基于线阵面阵的三维动态测量装置及测量方法
CN113192143B (zh) * 2020-12-23 2022-09-06 合肥工业大学 一种用于摄像机快速标定的编码立体靶标及其解码方法
CN112712566B (zh) * 2020-12-29 2022-07-29 北京航空航天大学 基于结构参数在线校正的双目立体视觉传感器测量方法
CN112880563B (zh) * 2021-01-22 2021-12-28 北京航空航天大学 一种单维像素合并模式等效窄面阵相机空间位置测量方法
CN113884002B (zh) * 2021-08-16 2023-08-29 江苏集萃智能光电系统研究所有限公司 基于二三维信息融合的受电弓滑板上表面检测系统及方法
CN113983933B (zh) * 2021-11-11 2022-04-19 易思维（杭州）科技有限公司 一种多线激光传感器的标定方法
CN114359358A (zh) * 2021-12-30 2022-04-15 上海圭目机器人有限公司 一种面阵相机与结构光相机采集图像配准方法
CN114419170B (zh) * 2022-03-30 2022-07-15 杭州灵西机器人智能科技有限公司 线阵相机和面阵相机的联合标定方法、装置和介质
CN114923453B (zh) * 2022-05-26 2024-03-05 杭州海康机器人股份有限公司 一种线性轮廓仪外参的标定方法、装置及电子设备
CN115942096A (zh) * 2022-11-22 2023-04-07 天津大学 一种rgb-d图像的采集系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7708204B2 (en) * 2005-02-07 2010-05-04 Hamar Laser Instruments, Inc. Laser alignment apparatus
CN102706880A (zh) * 2012-06-26 2012-10-03 哈尔滨工业大学 基于二维图像和深度信息的路面信息提取装置及使用该装置实现路面裂纹信息的检测方法
CN104567726A (zh) * 2014-12-17 2015-04-29 苏州华兴致远电子科技有限公司 车辆运行故障检测系统及方法
CN104567725A (zh) * 2014-12-17 2015-04-29 苏州华兴致远电子科技有限公司 车辆运行故障检测系统及方法
CN105571512A (zh) * 2015-12-15 2016-05-11 北京康拓红外技术股份有限公司 一种基于深度信息与可视图像信息相融合的车辆信息采集方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7708204B2 (en) * 2005-02-07 2010-05-04 Hamar Laser Instruments, Inc. Laser alignment apparatus
CN102706880A (zh) * 2012-06-26 2012-10-03 哈尔滨工业大学 基于二维图像和深度信息的路面信息提取装置及使用该装置实现路面裂纹信息的检测方法
CN104567726A (zh) * 2014-12-17 2015-04-29 苏州华兴致远电子科技有限公司 车辆运行故障检测系统及方法
CN104567725A (zh) * 2014-12-17 2015-04-29 苏州华兴致远电子科技有限公司 车辆运行故障检测系统及方法
CN105571512A (zh) * 2015-12-15 2016-05-11 北京康拓红外技术股份有限公司 一种基于深度信息与可视图像信息相融合的车辆信息采集方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110278419B (zh) * 2019-05-30 2021-07-09 厦门硅图科技有限公司 一种基于线阵相机的视觉检测方法、装置、系统及存储介质

Also Published As

Publication number Publication date
CN106289106A (zh) 2017-01-04

Similar Documents

Publication Publication Date Title
CN106289106B (zh) 一种线阵相机和面阵相机相结合的立体视觉传感器及标定方法
CN105066909B (zh) 一种手持式多激光条纹快速三维测量方法
CN105184857B (zh) 基于点结构光测距的单目视觉重建中尺度因子确定方法
CN106091984B (zh) 一种基于线激光的三维点云数据获取方法
CN107167093B (zh) 一种激光线扫描与阴影莫尔的复合式测量系统及测量方法
CN103959012B (zh) 6自由度位置和取向确定
CN106651794B (zh) 一种基于虚拟相机的投影散斑校正方法
CN104713885B (zh) 一种用于pcb板在线检测的结构光辅助双目测量方法
CN104008571B (zh) 基于深度相机的人体模型获取方法及网络虚拟试衣系统
CN106127745B (zh) 结构光3d视觉系统与线阵相机的联合标定方法及装置
CN109544679A (zh) 管道内壁的三维重建方法
CN114998499B (zh) 一种基于线激光振镜扫描的双目三维重建方法及系统
CN107063129A (zh) 一种阵列式并行激光投影三维扫描方法
CN104240262B (zh) 一种用于摄影测量的相机外参数标定装置及标定方法
CN110230998A (zh) 一种基于线激光和双目相机的快速精密三维测量方法和装置
CN110044300A (zh) 基于激光器的两栖三维视觉探测装置及探测方法
CN110375648A (zh) 棋盘格靶标辅助的单台相机实现的空间点三维坐标测量方法
CN108020175A (zh) 一种多光栅投影双目视觉舌体表面三维整体成像方法
CN111009030A (zh) 一种多视高分辨率纹理图像与双目三维点云映射方法
CN109727290A (zh) 基于单目视觉三角测距法的变焦相机动态标定方法
CN106091983A (zh) 包含扫描方向信息的线结构光视觉测量系统完整标定方法
CN108830906A (zh) 一种基于虚拟双目视觉原理的摄像机参数自动标定方法
CN104408762A (zh) 利用单目和二维平台获取物体图像信息及三维模型的方法
CN106203429A (zh) 基于双目立体视觉复杂背景下的遮挡目标检测方法
CN108010125A (zh) 基于线结构光和图像信息的真实尺度三维重建系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Liu Zhen

Inventor after: Pan Xiao

Inventor after: Yin Yang

Inventor after: Wu Qun

Inventor before: Liu Zhen

Inventor before: Yin Yang

Inventor before: Wu Qun

GR01 Patent grant
GR01 Patent grant