CN115560695A - 一种平面镜的无重叠视场的线结构光视觉传感器全局标定方法 - Google Patents
一种平面镜的无重叠视场的线结构光视觉传感器全局标定方法 Download PDFInfo
- Publication number
- CN115560695A CN115560695A CN202210560851.6A CN202210560851A CN115560695A CN 115560695 A CN115560695 A CN 115560695A CN 202210560851 A CN202210560851 A CN 202210560851A CN 115560695 A CN115560695 A CN 115560695A
- Authority
- CN
- China
- Prior art keywords
- camera
- light
- plane
- plane mirror
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 22
- 230000003287 optical effect Effects 0.000 claims description 15
- 238000013519 translation Methods 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 229910000831 Steel Inorganic materials 0.000 abstract description 11
- 239000010959 steel Substances 0.000 abstract description 11
- 238000000926 separation method Methods 0.000 abstract description 4
- 238000005299 abrasion Methods 0.000 description 3
- 235000005121 Sorbus torminalis Nutrition 0.000 description 2
- 244000152100 Sorbus torminalis Species 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000000227 grinding Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供了一种平面镜的无重叠视场的线结构光视觉传感器全局标定方法。该方法基于三角测量原理，首先，以平面镜坐标系作为参照对象，实现无公共视场的相机参数标定。再利用平面镜的反射原理，将左右两侧的线结构光投射到同一个棋盘格靶标上，再将其线性分离后拟合出两个光平面方程。从而实现无公共视场的线结构光传感器测量系统的全局标定。该方法可应用于轨道轮廓检测，可实现双侧钢轨轮廓的同时检测，以此提高检测效率，是一种具有广泛应用前景的标定方法。
Description
技术领域
本发明属于视觉测量领域，涉及一种平面镜的无重叠视场的线结构光视觉传感器全局标定方法。
背景技术
截至2020年底，全国铁路营业里程14.63万公里，其中高铁3.8万公里，全国铁路网密度152.3公里/万平方公里。铁路基础设施状态检测监测是保障铁路运行安全的重要手段。钢轨是铁路基础设施最重要的部件之一，是重点维护的对象。当前，列车运行具有高速、高密度和重载的特点，钢轨鱼鳞纹、磨耗、表面擦伤、剥离掉块、肥边和裂纹等问题突出，钢轨轮廓全断面廓形检测分析已成为铁路工务部门最为关心的问题之一。线结构光钢轨轮廓全断面测量技术基于三角测量原理，通过结构光传感器获取钢轨的轮廓数据，并与标准钢轨轮廓配准，从而得到被测钢轨的垂直磨耗量和侧面磨耗量等参数，这些参数不仅可以用来掌握钢轨的服役状态，也可以指导钢轨打磨作业，是铁路运营维护的重要手段。该测量技术具有高速、高精度和非接触的特点，是国内外钢轨廓形动态检测的主流方式。
目前，对无公共视场相机标定的研究可分为两类:一类是利用其他设备建立多相机视场之间的联系，如Long和Wang 等人利用光学镜的反光特性对相机视场进行改善，克服了所有相机必须直接观察普通目标的局限，相机能够通过镜面间接观察目标。Sun等人利用多组球面目标和高精度辅助相机对非公共视场相机进行标定。标定相机观测一组球体，辅助相机观测所有的球体。每个相机在各自的视场中重建球面中心后实现全局标定。另一类是利用标定物之间固有的位置约束关系进行相机标定，如Liu等人利用两个相对位置关系不变的平面棋盘格组成复合目标对非公共视场相机进行标定。通过求解各视觉传感器坐标系到世界坐标系的关系，进而得到各视觉传感器之间的相对位姿。
发明内容
为了实现对左右轨道轨道轮廓的同时检测，本文提出了一种平面镜的无重叠视场的线结构光视觉传感器全局标定方法，该方法采用两个摄像机，两个单线红外结构光激光器，光学平面镜和棋盘格靶标进行对非公共视场的传感器系统的全局标定；该方法基于三角测量原理，首先，以平面镜坐标系作为参照对象，实现无公共视场的相机参数标定；再利用平面镜的反射原理，将左右两侧的线结构光投射到同一个棋盘格靶标上，再将其线性分离后拟合出两个光平面方程。从而实现无公共视场的线结构光传感器测量系统的全局标定；该方法可应用于轨道轮廓检测，可实现双侧钢轨轮廓的同时检测，以此提高检测效率，是一种具有广泛应用前景的标定方法。
一种无公共视场的线结构光传感器测量系统的标定方法，其特征是，该方法采用线结构光激光器、CCD相机、光学平面镜和公共棋盘格靶标进行全局测量标定；设定左侧相机的坐标系为全局坐标系，右侧相机的坐标系、左侧线结构光传感器的光平面参数、右侧线结构光传感器的光平面参数；首先对设备进行位置和姿态摆放，保证平面镜可以创造出两个相机的重叠视场，并且可以将右侧的线结构光反射到公共靶标上；再根据矩阵变换，得到无公共视场的相机转换矩阵，将右侧相机的坐标系统一到全局坐标系下；通过平面镜将右侧光平面反射到公共靶标上，同时左侧光平面也投射到公共靶标上，变换靶标姿态得到2组标定图，得到在全局坐标系下的两条光线方程，再拟合出左右侧光平面；最后，所有相机和结构光坐标系全部统一到左侧相机的全局坐标系下，完成标定。标定方法具体步骤如下：
第一步、安装相机和线结构光激光器，检查视野范围，并调整平面镜位置和姿态。
将两个相机安装于光学平台上，棋盘格靶标安装在左侧相机前的夹具上，然后将平面镜固定在右侧夹具上，调整平面镜的位置和姿态，保证右侧相机可以从平面镜中获得棋盘格靶标的虚拟呈像；再将两个线结构光激光器安装于光学平台上，调节右侧线结构光的投射角度和姿态，保证右侧线结构光光线可以通过平面镜反射到棋盘格靶标上；检查视野范围；确保在标定过程中，线结构光激光器和相机的位姿保持不变，不受干扰。
第二步、从右侧相机坐标系OC2XC2YC2ZC2到全局坐标系OC1XC1YC1ZC1的转换矩阵
。
有无公共视场的相机C1、C2，再使用一个平面镜使其有公共视场，通过调整平面镜角度和位置，使相机C1和虚拟相机V2之间存在重叠视角，借助V2可以将C1和C2统一到同一坐标系下。其中，OXYZ、OC1XC1YC1ZC1、OC2XC2YC2ZC2、OVXVYVZV分别表示平面镜、相机C1、相机C2和虚拟相机V2的坐标系，
分别是从坐标系OXYZ到OC2XC2YC2ZC2的旋转矩阵和平移向量，
分别是从坐标系OC2XC2YC2ZC2到OC1XC1YC1ZC1的旋转矩阵和平移向量，
分别是从坐标系OV2XV2YV2ZV2到OXYZ的旋转矩阵和平移向量。为了通过镜像得到相机C1和C2之间的关系，其标定过程包括以下四个步骤：
（1）计算摄像机C2与平面镜M之间的关系：摄像机C2与平面镜M之间的关系，即为坐标系OXYZ和OC2XC2YC2ZC2之间的关系用旋转矩阵
、平移向量
来表示。在平面镜上贴上棋盘格，这样便可以便可以利用棋盘格上的特征点得到
,然后利用相机标定工具箱，结合欧拉角可以求出旋转矩阵
：
平移向量为
（2）计算摄像机虚像V2与平面镜M之间的关系：可以得到虚拟摄像机坐标
和平面镜反面坐标
之间的旋转矩阵和平移向量分别为：
 | (3) |
把坐标
作为中间矩阵，根据式（2）和式（3）,可以得到平面镜坐标OXYZ与虚拟摄像机坐标之间的转换关系为：
（3）计算虚拟摄像机V2和真实摄像机C2之间的转换关系：结合第①步和第②步，把坐标
作为中间矩阵，则本发明系统中摄像机C2与虚拟摄像机V2之间的转换关系为：
（4）计算摄像机C1与摄像机C2之间的转换关系：由上述步骤，得到了摄像机C2与其虚像V2之间的变换关系。接下来，由于摄像机C1和虚拟摄像机V2之间存在一个公共FOV，因此通过双目校准方法可以得到C1和V2的外部参数矩阵
。
其中
为摄像机C1的外部参数，
为虚拟摄像机V2的外部参数。则摄像机C1与摄像机C2之间的转换关系为
第三步、左右侧光平面结构参数的全局标定。
相机标定完成后，保证相机和平面镜的相对位置不变，调整两侧激光器投射角度，使两条线激光能够投射到同一靶标并在摄像机C1的视场中。调整靶标姿态得到通过光平面标定算法，拟合出激光器L1的光平面P1和虚拟激光器L2’的光平面P2’，此时将激光器L1和虚拟激光器L2’标定在了摄像机C1坐标系下。综合上一步得到的摄像机C2到C1的旋转矩阵和平移向量，就完成了整个系统的全局标定，即将全部摄像机和激光器标定到同一个坐标系下。
（1）CCS中光条中心点的提取：相机C1根据之前拍摄的背景图像得到15张带光条的图片。对两张图片进行线性混合，以消除环境中其他因素产生的干扰。然后，需要设置 ROI以找到有关所需光条纹的信息。并且ROI的设置还可以减少处理图片的时间，提高光条的检测速度。第三，需要对图像进行滤波，突出有效信息，有利于激光条纹中心的提取。考虑到图片中主要存在高斯噪声，因此采用高斯滤波去除噪声。通过Hessian算法从处理后的ROI中提取灯带中心的亚像素坐标值。
（2）利用CCS中心点的3D坐标拟合光平面方程：为了分离左右侧线激光器的线结构光的中心点，采用线性不等式比较法，从而得到线结构光L1的中心点坐标和线结构光的中心点坐标在相同的目标位置点亮 L2。由于激光位置是固定的，因此得到的光条中心点应该在同一平面上，这些点用于通过拟合校准光平面参数。
本发明的有益效果是该方法可以实现投射到不同方向的线结构光的全局标定，不需要多次标定，化简传统非公共视场传感器的全局标定步骤。该方法有效简化了组合式测量的标定流程，使用的靶标数量少，降低了综合成本，而且提高了标定精度，是一种具有广泛应用前景的标定方法。
图1是无公共视场的线结构光传感器测量系统标定的流程图。
图2是无公共视场的线结构光传感器测量系统标定方法的系统结构示意图。
图3是相机标定方法坐标系转换的示意图。
Claims (1)
1.一种无公共视场的线结构光传感器测量系统的标定方法，其特征是，该方法采用线结构光激光器、CCD相机、光学平面镜和公共棋盘格靶标进行全局测量标定；设定左侧相机的坐标系为全局坐标系，右侧相机的坐标系、左侧线结构光传感器的光平面参数、右侧线结构光传感器的光平面参数；首先对设备进行位置和姿态摆放，保证平面镜可以创造出两个相机的重叠视场，并且可以将右侧的线结构光反射到公共靶标上；再根据矩阵变换，得到无公共视场的相机转换矩阵，将右侧相机的坐标系统一到全局坐标系下；通过平面镜将右侧光平面反射到公共靶标上，同时左侧光平面也投射到公共靶标上，变换靶标姿态得到2组标定图，得到在全局坐标系下的两条光线方程，再拟合出左右侧光平面；最后，所有相机和结构光坐标系全部统一到左侧相机的全局坐标系下，完成标定；标定方法具体步骤如下：
第一步、安装相机和线结构光激光器，检查视野范围，并调整平面镜位置和姿态；
将两个相机安装于光学平台上，棋盘格靶标安装在左侧相机前的夹具上，然后将平面镜固定在右侧夹具上，调整平面镜的位置和姿态，保证右侧相机可以从平面镜中获得棋盘格靶标的虚拟呈像；再将两个线结构光激光器安装于光学平台上，调节右侧线结构光的投射角度和姿态，保证右侧线结构光光线可以通过平面镜反射到棋盘格靶标上；检查视野范围；确保在标定过程中，线结构光激光器和相机的位姿保持不变，不受干扰；
第二步、从右侧相机坐标系OC2XC2YC2ZC2到全局坐标系OC1XC1YC1ZC1的转换矩阵
；
通过调整平面镜角度和位置，使有无公共视场的相机C1、C2有公共视场，即相机C1和虚拟相机V2之间存在重叠视角，借助V2可以将C1和C2统一到同一坐标系下。其中，OXYZ、OC1XC1YC1ZC1、OC2XC2YC2ZC2、OVXVYVZV分别表示平面镜、相机C1、相机C2和虚拟相机V2的坐标系，
分别是从坐标系OXYZ到OC2XC2YC2ZC2的旋转矩阵和平移向量，
分别是从坐标系OC2XC2YC2ZC2到OC1XC1YC1ZC1的旋转矩阵和平移向量，
分别是从坐标系OV2XV2YV2ZV2到OXYZ的旋转矩阵和平移向量。为了通过镜像得到相机C1和C2之间的关系，其标定过程包括以下四个步骤：
（1）计算摄像机C2与平面镜M之间的关系：摄像机C2与平面镜M之间的关系，即为坐标系OXYZ和OC2XC2YC2ZC2之间的关系用旋转矩阵
、平移向量
来表示；在平面镜上贴上棋盘格，这样便可以便可以利用棋盘格上的特征点得到
,然后利用相机标定工具箱，结合欧拉角可以求出旋转矩阵
：
（2）计算摄像机虚像V2与平面镜M之间的关系：可以得到虚拟摄像机坐标
和平面镜反面坐标
之间的旋转矩阵和平移向量分别为：
把坐标
作为中间矩阵，根据式（2）和式（3）,可以得到平面镜坐标OXYZ与虚拟摄像机坐标之间的转换关系为：
（3）计算虚拟摄像机V2和真实摄像机C2之间的转换关系：结合第①步和第②步，把坐标
作为中间矩阵，则本发明系统中摄像机C2与虚拟摄像机V2之间的转换关系为：
（4）计算摄像机C1与摄像机C2之间的转换关系：由上述步骤，得到了摄像机C2与其虚像V2之间的变换关系。接下来，由于摄像机C1和虚拟摄像机V2之间存在一个公共FOV，因此通过双目校准方法可以得到C1和V2的外部参数矩阵
；
其中
为摄像机C1的外部参数，
为虚拟摄像机V2的外部参数。则摄像机C1与摄像机C2之间的转换关系为
第三步、光平面结构参数标定；
相机标定完成后，保证相机和平面镜的相对位置不变，调整两侧激光器投射角度，使两条线激光能够投射到同一靶标并在摄像机C1的视场中；调整靶标姿态得到通过光平面标定算法，拟合出激光器L1的光平面P1和虚拟激光器L2’的光平面P2’，此时将激光器L1和虚拟激光器L2’标定在了摄像机C1坐标系下；综合上一步得到的摄像机C2到C1的旋转矩阵和平移向量，就完成了整个系统的全局标定，即将全部摄像机和激光器标定到同一个坐标系下；
（1）CCS中光条中心点的提取：相机C1根据之前拍摄的背景图像得到15张带光条的图片。对两张图片进行线性混合，以消除环境中其他因素产生的干扰。然后，需要设置 ROI 以找到有关所需光条纹的信息；并且ROI的设置还可以减少处理图片的时间，提高光条的检测速度；第三，需要对图像进行滤波，突出有效信息，有利于激光条纹中心的提取；考虑到图片中主要存在高斯噪声，因此采用高斯滤波去除噪声；通过Hessian算法从处理后的ROI中提取灯带中心的亚像素坐标值；
（2）利用CCS中心点的3D坐标拟合光平面方程：为了分离左右侧线激光器的线结构光的中心点，采用线性不等式比较法，从而得到线结构光L1的中心点坐标和线结构光的中心点坐标在相同的目标位置点亮 L2；由于激光位置是固定的，因此得到的光条中心点应该在同一平面上，这些点用于通过拟合校准光平面参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210560851.6A CN115560695A (zh) | 2022-05-21 | 2022-05-21 | 一种平面镜的无重叠视场的线结构光视觉传感器全局标定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210560851.6A CN115560695A (zh) | 2022-05-21 | 2022-05-21 | 一种平面镜的无重叠视场的线结构光视觉传感器全局标定方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115560695A true CN115560695A (zh) | 2023-01-03 |
Family
ID=84737756
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210560851.6A Pending CN115560695A (zh) | 2022-05-21 | 2022-05-21 | 一种平面镜的无重叠视场的线结构光视觉传感器全局标定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115560695A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116883517A (zh) * | 2023-09-07 | 2023-10-13 | 华东交通大学 | 基于平面镜的无重叠视场的相机参数标定方法 |
-
2022
- 2022-05-21 CN CN202210560851.6A patent/CN115560695A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116883517A (zh) * | 2023-09-07 | 2023-10-13 | 华东交通大学 | 基于平面镜的无重叠视场的相机参数标定方法 |
| CN116883517B (zh) * | 2023-09-07 | 2023-11-10 | 华东交通大学 | 基于平面镜的无重叠视场的相机参数标定方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109544679B (zh) | 管道内壁的三维重建方法 | |
| CN110230998B (zh) | 基于线激光和双目相机的快速精密三维测量方法和装置 | |
| CN104315995B (zh) | 基于虚拟多立方体标准目标的tof深度相机三维坐标标定装置和方法 | |
| WO2017124654A1 (zh) | 四相机组平面阵列特征点三维测量系统及测量方法 | |
| CN109443245B (zh) | 一种基于单应性矩阵的多线结构光视觉测量方法 | |
| CN111091076B (zh) | 基于立体视觉的隧道限界数据测量方法 | |
| CN112686938B (zh) | 基于双目图像测距的输电线路净距计算与安全告警方法 | |
| CN104034263A (zh) | 一种锻件尺寸的非接触测量方法 | |
| CN102353340A (zh) | 缸盖毛坯加工尺寸识别方法及装置 | |
| CN112762899B (zh) | 一种激光点云加bim模型在可视化变电站中与视频信息的融合方法 | |
| CN106918306A (zh) | 基于光场单相机的工业产品三维形貌实时检测系统 | |
| CN108279677B (zh) | 基于双目视觉传感器的轨道机器人检测方法 | |
| CN115482195B (zh) | 一种基于三维点云的列车部件变形检测方法 | |
| CN109919856B (zh) | 基于双目视觉的沥青路面构造深度检测方法 | |
| CN113310433A (zh) | 基于线结构光的虚拟双目立体视觉测量方法 | |
| CN111780678A (zh) | 一种轨道板预埋套管直径的测量方法 | |
| CN115560695A (zh) | 一种平面镜的无重叠视场的线结构光视觉传感器全局标定方法 | |
| CN111062992B (zh) | 一种双视角线激光扫描三维成像装置及方法 | |
| TW201445133A (zh) | 面板三維瑕疵之線上檢測方法 | |
| Jaw et al. | Feature-based registration of terrestrial lidar point clouds | |
| CN112164044A (zh) | 基于双目视觉的刚性接触网的磨耗分析方法 | |
| CN111397511A (zh) | 一种利用物体平移进行单目三维测量的方法及装置 | |
| CN114359365B (zh) | 一种具有高分辨率的汇聚式双目视觉测量方法 | |
| CN111829435A (zh) | 一种多双目相机与线激光协同检测方法 | |
| CN205607332U (zh) | 基于机器视觉的桥式起重机桥架跨度测量装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20230103 |
|
| WD01 | Invention patent application deemed withdrawn after publication |