CN111243002A - 应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法 - Google Patents

应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法 Download PDF

Info

Publication number
CN111243002A
CN111243002A CN202010039819.4A CN202010039819A CN111243002A CN 111243002 A CN111243002 A CN 111243002A CN 202010039819 A CN202010039819 A CN 202010039819A CN 111243002 A CN111243002 A CN 111243002A
Authority
CN
China
Prior art keywords
camera
image
speckle
coordinate system
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010039819.4A
Other languages
English (en)
Inventor
刘海波
孙才艺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202010039819.4A priority Critical patent/CN111243002A/zh
Publication of CN111243002A publication Critical patent/CN111243002A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Abstract

本发明涉及应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法。解决单目激光散斑投影系统校正不准带来额外误差问题。本方法构造无畸变虚拟左相机，并利用平面单应性矩阵计算标准参考左视图散斑图像作为标准参考图像。根据虚拟左相机和参考左视图散斑图像，对相机坐标系和相机拍摄的散斑图像进行校正，得到图像极线校正转换矩阵。本发明避免了采用传感器确定参考图像深度带来的额外误差，采用单相机和激光散斑投射器构造等效双目系统，降低成本，方法简单、精度更高。

Description

应用于高精度三维测量的单目激光散斑投影系统标定及深度 估计方法
技术领域
本发明涉及三维测量领域的单目激光散斑投影系统标定和深度估计方法，具体地说是基于单目相机和激光散斑投射器构造等效双目激光散斑投影系统的系统标定和深度估计方法。
背景技术
基于结构光原理的散斑投影系统，是一种近年来应用广泛的深度信息估计方法，具有测量范围大、结构简单、速度快、精度高等优点。激光器产生的激光，经过散斑光栅，可以在空间形成具有高度随机性的散斑。利用这一特征，可以对整个空间进行标记，进而利用立体视觉的理论与方法实现标记空间的深度感知。根据相机数量，激光散斑投影系统可分为双目激光散斑投影系统和单目激光散斑投影系统。
双目激光散斑投影系统，是激光散斑投影系统的最常用的一种。传统的双目视觉方法，无法测量表面缺乏纹理的空间物体，且易受环境光的干扰。将散斑投影引入双目立体视觉系统，可以为待测空间增加丰富的特征点，极大的增强双目立体视觉系统的稳定性和适应性，提高测量精度。
单目激光散斑投影系统，只用一个相机和一个激光散斑投射器，即可实现空间三维信息感知。相对于双/多目激光散斑投影系统，单目激光散斑投影系统更简洁、成本更低。单目激光散斑投影系统的典型应用是2011年美国微软公司推出的Kinect红外散斑场景传感系统。发明人在其专利（专利号US8150142B2）中将深度的测量描述为三角测量过程。
设参考平面上一个斑点
Figure 334908DEST_PATH_IMAGE002
与传感器的距离为
Figure 224717DEST_PATH_IMAGE004
，投影至物体表面上为点
Figure 622201DEST_PATH_IMAGE006
，点
Figure 351122DEST_PATH_IMAGE006
与传 感器的距离为
Figure DEST_PATH_IMAGE008
。如果将物体移近传感器（或远离传感器），则斑点在图像平面上的位置将 在
Figure DEST_PATH_IMAGE010
方向上移动。移动的偏移量为点
Figure 180669DEST_PATH_IMAGE006
对应的视差
Figure DEST_PATH_IMAGE012
。根据三角形的相似性：
Figure 488766DEST_PATH_IMAGE014
(1)
Figure 260413DEST_PATH_IMAGE016
(2)
其中，
Figure 86418DEST_PATH_IMAGE018
是基线长度，
Figure 968923DEST_PATH_IMAGE020
是红外相机的焦距，
Figure 383724DEST_PATH_IMAGE022
是点
Figure 326272DEST_PATH_IMAGE006
在物体空间中
Figure 100002_DEST_PATH_IMAGE023
方向的位移，
Figure 577256DEST_PATH_IMAGE024
是观 察到的图像空间中的视差。将
Figure 100002_DEST_PATH_IMAGE025
从（2）代入（1）并用其他变量表示
Figure 60190DEST_PATH_IMAGE008
，得出：
Figure DEST_PATH_IMAGE027
(3)
分析Kinect红外散斑场景传感系统的标定和测量过程，其不足主要在于：参考平面距 离
Figure DEST_PATH_IMAGE028
校正不准带来额外误差；由于安装精度导致图像
Figure DEST_PATH_IMAGE030
轴方向与基线方向存在不可避免的 偏差；基线长度
Figure 408126DEST_PATH_IMAGE018
校准存在误差等。
发明内容
本发明要解决的技术问题是：针对现有的单目激光散斑投影系统存在的不足，提出了基于单目激光散斑投影系统的系统标定和深度估计的新方法：利用单目相机和激光散斑投射器构造等效双目激光散斑投影系统，通过计算得到相机和图像的校正转换矩阵，以及标准参考图像；根据双目立体匹配原理进行深度估计和物体三维数据测量。
本发明的技术方案主要包括以下步骤：
第一步，装置安装，采集标定图像
安装相机与激光散斑投射器；制作棋盘格标定板，在相机视场内固定标定板，打开激光散斑投射器，向标定板投射散斑图案。调整标定板位置和姿态，利用相机采集
Figure DEST_PATH_IMAGE032
幅标定板散斑图像；其中，第
Figure DEST_PATH_IMAGE032A
幅为白板散斑图像，其余为棋盘格散斑图像。
第二步，标定相机，散斑点检测
采用张氏标定法标定相机，得到相机内参数、外参数和畸变系数。同时，对
Figure DEST_PATH_IMAGE032AA
幅标定板散斑图像进行特征点检测，得到图像上散斑点的二维坐标。
第三步，同名散斑点匹配
将其余标定板散斑图像与第1幅标定板散斑图像进行图像匹配，得到每幅标定板散斑图像上同名散斑点之间的对应关系，同名散斑点即激光散斑投射器投射的同一条光线在不同位置姿态标定板上的投影点。
第四步，计算同名散斑点三维坐标，直线拟合
根据相机标定参数，求解同名散斑点在相机坐标系下对应的三维坐标。对同名散斑点的三维坐标进行直线拟合，所有直线相交于一点
Figure DEST_PATH_IMAGE036
。
第五步，建立虚拟左、右相机坐标系，计算图像极线校正转换矩阵
拟合直线的交点
Figure DEST_PATH_IMAGE036A
作为虚拟的左相机光心，以此为原点建立虚拟左相机坐标系，虚拟左相机坐标系的
Figure 100002_DEST_PATH_IMAGE039
轴平行于虚拟的左相机光心与相机光心的连线，两相机光心连线即为基线。校正相机坐标系，建立虚拟右相机坐标系
Figure DEST_PATH_IMAGE041
，使其
Figure DEST_PATH_IMAGE043
轴平行于
Figure DEST_PATH_IMAGE039A
轴，根据右手定则确定
Figure DEST_PATH_IMAGE046
轴、
Figure DEST_PATH_IMAGE048
轴，虚拟左相机坐标系的
Figure DEST_PATH_IMAGE050
轴、
Figure DEST_PATH_IMAGE052
轴分别平行于
Figure DEST_PATH_IMAGE046A
轴、
Figure DEST_PATH_IMAGE048A
轴。虚拟左右相机构造了等效双目激光散斑投影系统。根据虚拟右相机和相机之间的转换矩阵计算图像极线校正转换矩阵
Figure DEST_PATH_IMAGE056
。
所述等效双目激光散斑投影系统：
（1）激光散斑投射器等效为虚拟左相机，激光散斑投射器光源点
Figure DEST_PATH_IMAGE036AA
即为虚拟左相机光心，由光线束拟合相交于一点得到；
（2）相机校正后等效为虚拟右相机，虚拟右相机光心为相机光心
Figure DEST_PATH_IMAGE059
，以此为原点建立虚拟右相机坐标系
Figure DEST_PATH_IMAGE041A
，
Figure DEST_PATH_IMAGE043A
轴方向与基线方向平行，其单位方向向量为
Figure DEST_PATH_IMAGE063
；将
Figure DEST_PATH_IMAGE046AA
轴方向定义为相机
Figure DEST_PATH_IMAGE066
轴与
Figure DEST_PATH_IMAGE043AA
轴正交方向，其单位方向向量为
Figure DEST_PATH_IMAGE069
，
Figure DEST_PATH_IMAGE048AA
轴与
Figure DEST_PATH_IMAGE043AAA
轴、
Figure DEST_PATH_IMAGE046AAA
轴正交，其单位方向向量为
Figure DEST_PATH_IMAGE074
；
（3）建立的虚拟左相机坐标系与校正后的虚拟右相机坐标系平行；
所述图像极线校正转换矩阵
Figure DEST_PATH_IMAGE076
计算方法为：
在相机坐标系
Figure DEST_PATH_IMAGE078
下，相机坐标系三个坐标轴方向向量已知，校正后的虚拟右相机坐标系
Figure DEST_PATH_IMAGE041AA
，其光心与相机光心一致，三个坐标轴方向向量
Figure DEST_PATH_IMAGE081
，从而可以计算虚拟右相机坐标系相对于相机坐标系的旋转矩阵
Figure DEST_PATH_IMAGE083
；则图像极线校正转换矩阵可以计算为
Figure DEST_PATH_IMAGE085
；
第六步，建立虚拟左视图图像坐标系，计算虚拟的参考左视图散斑图像
确定虚拟左相机内参数，建立虚拟左视图图像坐标系，求解虚拟左视图图像平面和相机图像平面之间的平面单应性矩阵
Figure DEST_PATH_IMAGE087
；根据第
Figure DEST_PATH_IMAGE032AAA
幅标定板散斑图像计算虚拟的参考左视图散斑图像。
所述参考左视图散斑图像计算方法为：首先在采集标定图像时，相机拍摄了平面白板的散斑图像，根据相机标定所得畸变系数对其进行畸变校正，再根据图像极线校正转换矩阵
Figure DEST_PATH_IMAGE076A
对其进行极线校正，使得校正后的图像极线互相平行，且与基线方向平行；然后再根据平面诱导的单应性矩阵计算在虚拟左视图图像坐标系下的参考左视图散斑图像。
第七步，相机拍摄物体散斑图像，根据相机畸变参数进行畸变校正，并根据图像极线校正转换矩阵
Figure DEST_PATH_IMAGE056A
对其进行极线校正，得到校正后的物体右视图散斑图像。
第八步，立体匹配，计算参考左视图散斑图像与极线校正后的物体右视图散斑图像的视差图。
第九步，根据视差图和已知参数，利用三角测量原理计算物体三维坐标。
本发明的优点在于：相比于目前市场上消费级深度相机产品，本发明避免了采用传感器确定参考图像深度带来的额外误差，对相机和激光散斑投射器的安装精度要求不高，采用单相机和激光散斑投射器构造等效双目系统，降低了成本，方法简单、精度更高，在高精度三维测量领域中具有广阔的应用前景。
附图说明
图 1 是Kinect红外散斑场景传感系统深度测量原理示意图；
图 2 是本发明的系统安装装置示意图；
图 3 是本发明深度测量原理示意图；
图 4 是本发明的整体流程图。
具体实施方式
采用本发明进行单目激光散斑投影系统标定和获取物体三维坐标，具体步骤如下：
第一步，安装相机与激光散斑投射器，两者固连在一条横梁上，激光散斑投射器在左，相机在右；制作标定板，一面有棋盘格标志点，另一面为白板；将标定板安装在固定器械上，使其位于测量系统视场内；重复调整标定板位置和姿态，利用相机拍摄
Figure DEST_PATH_IMAGE092
幅标定板散斑图像，其中前
Figure DEST_PATH_IMAGE094
幅图像为标定板棋盘格散斑图像，第
Figure DEST_PATH_IMAGE092A
幅为标定板白板散斑图像，记为标定图像集合
Figure DEST_PATH_IMAGE097
。
第二步，采用张氏标定法对相机进行标定，输入前
Figure DEST_PATH_IMAGE094A
张标定图像
Figure DEST_PATH_IMAGE100
，得到相机内参数（包括焦距，主点），外参数（包括旋转矩阵，平移向量）以及畸变系数。同时可对标定图像
Figure DEST_PATH_IMAGE097A
进行特征点检测，得到不同位置姿态标定板的散斑图像中散斑点的二维图像坐标。
第三步，第1幅标定图像
Figure DEST_PATH_IMAGE103
作为参考图像，标定图像
Figure DEST_PATH_IMAGE105
作为待匹配图像，利用匹配算法进行图像匹配，得到不同位置姿态标定板的散斑图像上同名散斑点之间的对应关系。
第四步，基于相机标定参数求解同名散斑点在相机坐标系下的三维坐标，同名散斑点都应该位于同一条空间光线上。利用最小二乘拟合方法，对同名散斑点的三维坐标进行直线拟合，且所有直线相交于一点，交点即为激光散斑投射器的光源点，记为
Figure DEST_PATH_IMAGE036AAA
，计算得到
Figure DEST_PATH_IMAGE036AAAA
在相机坐标系下的三维坐标。
第五步，将激光散斑投射器虚拟为左相机，与相机一起构成等效双目激光散斑投影系统。在相机坐标系
Figure DEST_PATH_IMAGE078A
下，相机光心
Figure DEST_PATH_IMAGE110
的坐标
Figure DEST_PATH_IMAGE112
，
Figure DEST_PATH_IMAGE114
轴方向向量
Figure DEST_PATH_IMAGE116
，
Figure DEST_PATH_IMAGE118
轴方向向量
Figure DEST_PATH_IMAGE120
，
Figure DEST_PATH_IMAGE066A
轴方向向量
Figure DEST_PATH_IMAGE123
。光源点
Figure DEST_PATH_IMAGE036AAAAA
即为虚拟左相机光心，以此为原点建立虚拟左相机坐标系，其
Figure DEST_PATH_IMAGE039AA
轴方向与两相机光心连线
Figure DEST_PATH_IMAGE127
平行，两相机光心连线
Figure DEST_PATH_IMAGE127A
即为基线，长度为
Figure DEST_PATH_IMAGE130
。校正虚拟右相机坐标系原点为相机光心
Figure DEST_PATH_IMAGE059A
，建立虚拟右相机坐标系
Figure DEST_PATH_IMAGE041AAA
，
Figure DEST_PATH_IMAGE043AAAA
轴方向与
Figure DEST_PATH_IMAGE039AAA
轴方向平行，其单位方向向量为
Figure DEST_PATH_IMAGE063A
；将
Figure DEST_PATH_IMAGE046AAAA
轴方向定义为相机
Figure DEST_PATH_IMAGE066AA
轴与
Figure DEST_PATH_IMAGE043AAAAA
轴正交方向，其单位方向向量为
Figure DEST_PATH_IMAGE069A
，
Figure DEST_PATH_IMAGE048AAA
轴与
Figure DEST_PATH_IMAGE043AAAAAA
轴、
Figure DEST_PATH_IMAGE046AAAAA
轴正交，其单位方向向量为
Figure DEST_PATH_IMAGE074A
；虚拟左相机坐标系的
Figure DEST_PATH_IMAGE050A
轴、
Figure DEST_PATH_IMAGE052A
轴分别平行于
Figure DEST_PATH_IMAGE046AAAAAA
轴、
Figure DEST_PATH_IMAGE048AAAA
轴。从而可以确定虚拟右相机坐标系的校正旋转矩阵
Figure DEST_PATH_IMAGE083A
和图像极线校正转换矩阵
Figure DEST_PATH_IMAGE085A
。
第六步，令虚拟左相机内参数与相机一致，内参数矩阵都为
Figure DEST_PATH_IMAGE151
，建立虚拟左视图图像坐标系；将世界坐标系固定在虚拟左相机上，虚拟左相机坐标系和虚拟右相机坐标系之间的相对位置姿态参数为
Figure DEST_PATH_IMAGE153
、
Figure DEST_PATH_IMAGE155
，
Figure DEST_PATH_IMAGE157
为单位矩阵。则左右相机的相机参数矩阵
Figure DEST_PATH_IMAGE159
、
Figure DEST_PATH_IMAGE161
分别为：
Figure DEST_PATH_IMAGE163
(4)
令
Figure DEST_PATH_IMAGE165
表示标定图像
Figure DEST_PATH_IMAGE167
对应的标定板平面，根据相机标定参数可以求解平面
Figure DEST_PATH_IMAGE165A
上特征点在相机坐标系下的三维坐标，从而可以拟合该平面，得到其单位法向量
Figure DEST_PATH_IMAGE170
，以及到虚拟左相机光心
Figure DEST_PATH_IMAGE036AAAAAA
的距离
Figure DEST_PATH_IMAGE173
。则左右相机之间的由平面
Figure DEST_PATH_IMAGE165AA
诱导的平面单应性矩阵
Figure DEST_PATH_IMAGE087A
为：
Figure DEST_PATH_IMAGE177
(5)
根据标定图像
Figure DEST_PATH_IMAGE167A
，根据相机畸变参数对其进行畸变校正，并根据图像极线校正转换矩阵
Figure DEST_PATH_IMAGE076AA
对其进行极线校正，得到虚拟右相机对应的右视图散斑图像，根据平面单应性矩阵
Figure DEST_PATH_IMAGE087AA
计算虚拟的参考左视图散斑图像
Figure DEST_PATH_IMAGE182
。
第七步，相机拍摄物体散斑图像
Figure DEST_PATH_IMAGE184
，根据相机畸变参数对其进行畸变校正，并根据图像极线校正转换矩阵
Figure DEST_PATH_IMAGE076AAA
对其进行极线校正，得到校正后的物体右视图散斑图像
Figure DEST_PATH_IMAGE187
。
Figure DEST_PATH_IMAGE187A
与参考左视图散斑图像
Figure DEST_PATH_IMAGE182A
只有水平视差，没有垂直视差，可以大大简化图像立体匹配的复杂度。
第八步，立体匹配，计算参考左视图散斑图像
Figure DEST_PATH_IMAGE182AA
与校正后的物体右视图散斑图像
Figure DEST_PATH_IMAGE187AA
的视差图。
第九步，根据已知的基线长度
Figure DEST_PATH_IMAGE193
、相机焦距
Figure DEST_PATH_IMAGE195
和视差
Figure DEST_PATH_IMAGE197
，在双目视觉模型下根据相似三角形原理，求解物体深度：
Figure DEST_PATH_IMAGE199
(6)
则其三维坐标可以计算：
Figure DEST_PATH_IMAGE201
(7)
其中，
Figure DEST_PATH_IMAGE203
为对应点在参考左视图图像上的二维坐标。

Claims (4)

1.应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法，利用单目相机和激光散斑投射器构造等效双目激光散斑投影系统，通过计算得到相机和图像的校正转换矩阵，以及标准参考图像；根据双目立体匹配原理进行深度估计和物体三维数据测量，其特征在于，该方法具体步骤如下：
第一步，装置安装，采集标定图像
安装相机与激光散斑投射器；制作棋盘格标定板，调整标定板位置和姿态，利用相机采 集
Figure 594601DEST_PATH_IMAGE002
幅标定板散斑图像；其中，第
Figure 324791DEST_PATH_IMAGE002
幅为白板散斑图像，其余为棋盘格散斑图像；
第二步，标定相机，散斑点检测
采用张氏标定法标定相机，得到相机内参数、外参数和畸变系数，同时，对
Figure 104528DEST_PATH_IMAGE002
幅标定 板散斑图像进行特征点检测，得到图像上散斑点的二维坐标；
第三步，同名散斑点匹配
将其余标定板散斑图像与第1幅标定板散斑图像进行图像匹配，得到每幅标定板散斑图像上同名散斑点之间的对应关系，同名散斑点即激光散斑投射器投射的同一条光线在不同位置姿态标定板上的投影点；
第四步，计算同名散斑点三维坐标，直线拟合
根据相机标定参数，求解同名散斑点在相机坐标系下对应的三维坐标，对同名散斑点的三维坐标进行直线拟合，所有直线相交于一点；
第五步，建立虚拟左、右相机坐标系，计算图像极线校正转换矩阵
Figure DEST_PATH_IMAGE004
；
第六步，建立虚拟左视图图像坐标系，计算虚拟的参考左视图散斑图像
确定虚拟左相机内参数，建立虚拟左视图图像坐标系，求解虚拟左视图图像平面和相 机图像平面之间的平面单应性矩阵
Figure 562054DEST_PATH_IMAGE006
；根据第
Figure 186546DEST_PATH_IMAGE002
幅标定板散斑图像计算虚拟的参考左视 图散斑图像；
第七步，相机拍摄物体散斑图像，根据相机畸变参数进行畸变校正，并根据图像极线校 正转换矩阵
Figure DEST_PATH_IMAGE007
对其进行极线校正，得到校正后的物体右视图散斑图像；
第八步，立体匹配，计算参考左视图散斑图像与极线校正后的物体右视图散斑图像的视差图；
第九步，根据视差图和已知参数，利用三角测量原理计算物体三维坐标。
2.根据权利要求1所述的应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法，其特征在于：所述等效双目激光散斑投影系统，具体为：
（1）激光散斑投射器等效为虚拟左相机，激光散斑投射器光源点
Figure DEST_PATH_IMAGE009
即为虚拟左相机光 心，由光线束拟合相交于一点得到；
（2）相机校正后等效为虚拟右相机，虚拟右相机光心为相机光心
Figure DEST_PATH_IMAGE011
，建立虚拟右相机坐 标系，
Figure DEST_PATH_IMAGE015
轴方向与基线方向平行，其单位方向向量为
Figure DEST_PATH_IMAGE017
；将
Figure DEST_PATH_IMAGE019
轴方向定 义为相机
Figure DEST_PATH_IMAGE021
轴与
Figure 759741DEST_PATH_IMAGE015
轴正交方向，其单位方向向量为
Figure DEST_PATH_IMAGE023
，
Figure DEST_PATH_IMAGE025
轴与
Figure 902140DEST_PATH_IMAGE015
轴、
Figure 101040DEST_PATH_IMAGE019
轴正 交，其单位方向向量为
Figure 832236DEST_PATH_IMAGE027
；
（3）建立的虚拟左相机坐标系与校正后的虚拟右相机坐标系平行。
3.根据权利要求1所述的应用于高精度三维测量的单目激光散斑投影系统标定及深度 估计方法，其特征在于：所述图像极线校正转换矩阵
Figure 825600DEST_PATH_IMAGE029
计算方法为：
在相机坐标系
Figure DEST_PATH_IMAGE031
下，相机坐标系三个坐标轴方向向量已知，校正后的虚拟右 相机坐标系
Figure 413486DEST_PATH_IMAGE013
，其光心与相机光心一致，三个坐标轴方向向量
Figure 212815DEST_PATH_IMAGE033
，从而可以 计算虚拟右相机坐标系相对于相机坐标系的旋转矩阵
Figure 736200DEST_PATH_IMAGE035
；则图像极线校正转换 矩阵计算为
Figure 979094DEST_PATH_IMAGE037
。
4.根据权利要求1所述的应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法，其特征在于：所述参考左视图散斑图像计算方法为：
首先在采集标定图像时，相机拍摄了平面白板的散斑图像，根据相机标定所得畸变系 数对其进行畸变校正，再根据图像极线校正转换矩阵
Figure 220719DEST_PATH_IMAGE029
对其进行极线校正，使得校正后的 图像极线互相平行，且与虚拟右相机坐标系
Figure DEST_PATH_IMAGE039
轴平行；然后再根据平面诱导的单应性矩阵 计算在虚拟左视图图像坐标系下的参考左视图散斑图像。
CN202010039819.4A 2020-01-15 2020-01-15 应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法 Pending CN111243002A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010039819.4A CN111243002A (zh) 2020-01-15 2020-01-15 应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010039819.4A CN111243002A (zh) 2020-01-15 2020-01-15 应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法

Publications (1)

Publication Number Publication Date
CN111243002A true CN111243002A (zh) 2020-06-05

Family

ID=70865298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010039819.4A Pending CN111243002A (zh) 2020-01-15 2020-01-15 应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法

Country Status (1)

Country Link
CN (1) CN111243002A (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768450A (zh) * 2020-06-10 2020-10-13 北京的卢深视科技有限公司 基于散斑图的结构光相机行偏差的自动检测方法和装置
CN112070844A (zh) * 2020-08-27 2020-12-11 合肥的卢深视科技有限公司 结构光系统的校准方法及装置、校准工具图、设备及介质
CN112184811A (zh) * 2020-09-22 2021-01-05 合肥的卢深视科技有限公司 单目空间结构光系统结构校准方法及装置
CN112229342A (zh) * 2020-09-14 2021-01-15 桂林电子科技大学 一种相位测量轮廓术中投影光栅的快速自校正方法
CN112465912A (zh) * 2020-11-18 2021-03-09 新拓三维技术(深圳)有限公司 一种立体相机标定方法及装置
CN112489134A (zh) * 2020-11-26 2021-03-12 南方科技大学 面向运动估计的跨帧超高速相机设计方法及运动估计方法
CN112614075A (zh) * 2020-12-29 2021-04-06 凌云光技术股份有限公司 一种面结构光3d系统的畸变校正方法及设备
CN112729164A (zh) * 2020-12-21 2021-04-30 革点科技(深圳)有限公司 一种基于mems的自适应点阵结构光投射方法
CN112884847A (zh) * 2021-03-02 2021-06-01 济南大学 一种双相机标定方法及系统
CN112995638A (zh) * 2020-12-31 2021-06-18 上海易维视科技有限公司 自动调节视差的裸眼3d采集和显示系统及方法
CN113034565A (zh) * 2021-03-25 2021-06-25 奥比中光科技集团股份有限公司 一种单目结构光的深度计算方法及系统
CN113074634A (zh) * 2021-03-25 2021-07-06 苏州天准科技股份有限公司 一种快速相位匹配方法、存储介质和三维测量系统
CN113391298A (zh) * 2021-04-30 2021-09-14 深圳市安思疆科技有限公司 一种激光雷达的参数标定方法和装置
CN113674353A (zh) * 2021-08-18 2021-11-19 中国人民解放军国防科技大学 一种空间非合作目标精确位姿测量方法
CN113793387A (zh) * 2021-08-06 2021-12-14 中国科学院深圳先进技术研究院 单目散斑结构光系统的标定方法、装置及终端
CN113902652A (zh) * 2021-12-10 2022-01-07 南昌虚拟现实研究院股份有限公司 散斑图像校正方法、深度计算方法、装置、介质及设备
CN114266815A (zh) * 2021-12-22 2022-04-01 合肥瑞识智能科技有限公司 一种深度测量方法、装置、设备及介质
CN114309976A (zh) * 2021-12-23 2022-04-12 大族激光科技产业集团股份有限公司 一种激光加工方法、激光加工设备及存储介质
CN114373020A (zh) * 2022-01-07 2022-04-19 天津大学 一种基于联合外参估计的线结构光传感器光平面标定方法
CN114419168A (zh) * 2022-01-21 2022-04-29 北京微链道爱科技有限公司 一种图像特征点的标定方法及装置
WO2022222291A1 (zh) * 2021-04-22 2022-10-27 奥比中光科技集团股份有限公司 光轴检测系统的光轴标定方法、装置、终端、系统和介质
CN115598624A (zh) * 2021-06-28 2023-01-13 苏州一径科技有限公司（Cn） 一种激光雷达的标定方法、装置及设备
WO2023083784A1 (en) 2021-11-09 2023-05-19 Trinamix Gmbh Recalibration of a 3d detector based on structured light
WO2023201578A1 (zh) * 2022-04-20 2023-10-26 深圳大学 单目激光散斑投影系统的外参数标定方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103868524A (zh) * 2013-12-23 2014-06-18 西安新拓三维光测科技有限公司 一种基于散斑图案的单目测量系统标定方法及装置
JP2017023562A (ja) * 2015-07-24 2017-02-02 公立大学法人広島市立大学 ３次元形状計測装置、診断システム及び３次元形状計測方法
CN106651794A (zh) * 2016-12-01 2017-05-10 北京航空航天大学 一种基于虚拟相机的投影散斑校正方法
CN107564091A (zh) * 2017-07-26 2018-01-09 深圳大学 一种基于快速对应点搜索的三维重建方法及装置
CN109405765A (zh) * 2018-10-23 2019-03-01 北京的卢深视科技有限公司 一种基于散斑结构光的高精度深度计算方法及系统
CN110070582A (zh) * 2018-01-23 2019-07-30 舜宇光学（浙江）研究院有限公司 多摄模组参数自校准系统和校准方法及其电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103868524A (zh) * 2013-12-23 2014-06-18 西安新拓三维光测科技有限公司 一种基于散斑图案的单目测量系统标定方法及装置
JP2017023562A (ja) * 2015-07-24 2017-02-02 公立大学法人広島市立大学 ３次元形状計測装置、診断システム及び３次元形状計測方法
CN106651794A (zh) * 2016-12-01 2017-05-10 北京航空航天大学 一种基于虚拟相机的投影散斑校正方法
CN107564091A (zh) * 2017-07-26 2018-01-09 深圳大学 一种基于快速对应点搜索的三维重建方法及装置
CN110070582A (zh) * 2018-01-23 2019-07-30 舜宇光学（浙江）研究院有限公司 多摄模组参数自校准系统和校准方法及其电子设备
CN109405765A (zh) * 2018-10-23 2019-03-01 北京的卢深视科技有限公司 一种基于散斑结构光的高精度深度计算方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄舒兰: "ToF与立体视觉技术相结合的三维重建方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768450A (zh) * 2020-06-10 2020-10-13 北京的卢深视科技有限公司 基于散斑图的结构光相机行偏差的自动检测方法和装置
CN111768450B (zh) * 2020-06-10 2023-10-13 合肥的卢深视科技有限公司 基于散斑图的结构光相机行偏差的自动检测方法和装置
CN112070844A (zh) * 2020-08-27 2020-12-11 合肥的卢深视科技有限公司 结构光系统的校准方法及装置、校准工具图、设备及介质
CN112229342A (zh) * 2020-09-14 2021-01-15 桂林电子科技大学 一种相位测量轮廓术中投影光栅的快速自校正方法
CN112184811A (zh) * 2020-09-22 2021-01-05 合肥的卢深视科技有限公司 单目空间结构光系统结构校准方法及装置
CN112465912B (zh) * 2020-11-18 2024-03-29 新拓三维技术(深圳)有限公司 一种立体相机标定方法及装置
CN112465912A (zh) * 2020-11-18 2021-03-09 新拓三维技术(深圳)有限公司 一种立体相机标定方法及装置
CN112489134A (zh) * 2020-11-26 2021-03-12 南方科技大学 面向运动估计的跨帧超高速相机设计方法及运动估计方法
CN112729164A (zh) * 2020-12-21 2021-04-30 革点科技(深圳)有限公司 一种基于mems的自适应点阵结构光投射方法
CN112614075B (zh) * 2020-12-29 2024-03-08 凌云光技术股份有限公司 一种面结构光3d系统的畸变校正方法及设备
CN112614075A (zh) * 2020-12-29 2021-04-06 凌云光技术股份有限公司 一种面结构光3d系统的畸变校正方法及设备
CN112995638A (zh) * 2020-12-31 2021-06-18 上海易维视科技有限公司 自动调节视差的裸眼3d采集和显示系统及方法
CN112884847A (zh) * 2021-03-02 2021-06-01 济南大学 一种双相机标定方法及系统
CN113034565A (zh) * 2021-03-25 2021-06-25 奥比中光科技集团股份有限公司 一种单目结构光的深度计算方法及系统
CN113074634A (zh) * 2021-03-25 2021-07-06 苏州天准科技股份有限公司 一种快速相位匹配方法、存储介质和三维测量系统
CN113034565B (zh) * 2021-03-25 2023-07-04 奥比中光科技集团股份有限公司 一种单目结构光的深度计算方法及系统
WO2022222291A1 (zh) * 2021-04-22 2022-10-27 奥比中光科技集团股份有限公司 光轴检测系统的光轴标定方法、装置、终端、系统和介质
CN113391298A (zh) * 2021-04-30 2021-09-14 深圳市安思疆科技有限公司 一种激光雷达的参数标定方法和装置
CN113391298B (zh) * 2021-04-30 2023-09-22 深圳市安思疆科技有限公司 一种激光雷达的参数标定方法和装置
CN115598624A (zh) * 2021-06-28 2023-01-13 苏州一径科技有限公司（Cn） 一种激光雷达的标定方法、装置及设备
CN115598624B (zh) * 2021-06-28 2023-12-12 苏州一径科技有限公司 一种激光雷达的标定方法、装置及设备
CN113793387A (zh) * 2021-08-06 2021-12-14 中国科学院深圳先进技术研究院 单目散斑结构光系统的标定方法、装置及终端
CN113674353B (zh) * 2021-08-18 2023-05-16 中国人民解放军国防科技大学 一种空间非合作目标精确位姿测量方法
CN113674353A (zh) * 2021-08-18 2021-11-19 中国人民解放军国防科技大学 一种空间非合作目标精确位姿测量方法
WO2023083784A1 (en) 2021-11-09 2023-05-19 Trinamix Gmbh Recalibration of a 3d detector based on structured light
CN113902652B (zh) * 2021-12-10 2022-03-08 南昌虚拟现实研究院股份有限公司 散斑图像校正方法、深度计算方法、装置、介质及设备
CN113902652A (zh) * 2021-12-10 2022-01-07 南昌虚拟现实研究院股份有限公司 散斑图像校正方法、深度计算方法、装置、介质及设备
CN114266815A (zh) * 2021-12-22 2022-04-01 合肥瑞识智能科技有限公司 一种深度测量方法、装置、设备及介质
CN114309976A (zh) * 2021-12-23 2022-04-12 大族激光科技产业集团股份有限公司 一种激光加工方法、激光加工设备及存储介质
CN114373020B (zh) * 2022-01-07 2023-04-28 天津大学 一种基于联合外参估计的线结构光传感器光平面标定方法
CN114373020A (zh) * 2022-01-07 2022-04-19 天津大学 一种基于联合外参估计的线结构光传感器光平面标定方法
CN114419168A (zh) * 2022-01-21 2022-04-29 北京微链道爱科技有限公司 一种图像特征点的标定方法及装置
WO2023201578A1 (zh) * 2022-04-20 2023-10-26 深圳大学 单目激光散斑投影系统的外参数标定方法和装置

Similar Documents

Publication Publication Date Title
CN111243002A (zh) 应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法
US11223820B2 (en) Augmented reality displays with active alignment and corresponding methods
US10869024B2 (en) Augmented reality displays with active alignment and corresponding methods
KR102085228B1 (ko) 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치
CN110728715A (zh) 一种智能巡检机器人像机角度自适应调整方法
CN103115613B (zh) 一种空间三维定位方法
CN109443245B (zh) 一种基于单应性矩阵的多线结构光视觉测量方法
CN102221331B (zh) 一种基于不对称双目立体视觉技术的测量方法
CN109859272A (zh) 一种自动对焦双目摄像头标定方法及装置
WO2018028152A1 (zh) 一种图像采集设备、虚拟现实设备
JP2012167944A (ja) ステレオカメラ校正方法及び装置
KR101926953B1 (ko) 4카메라 그룹 평면 어레이의 특징점의 매칭 방법 및 그에 기초한 측정 방법
US20140174149A1 (en) Calibration method for trigonometric-based ranging systems in multiple media
CN103983186A (zh) 双目视觉系统校正方法及校正设备
JP2021173740A (ja) テレセントリックラインスキャンカメラを用いて物体を効率的に３次元再構成するためのシステムおよび方法
Fernandez et al. Planar-based camera-projector calibration
CN108180888A (zh) 一种基于可转动摄像头的距离检测方法
Patel et al. Distance measurement system using binocular stereo vision approach
CN111854636A (zh) 一种多相机阵列三维检测系统和方法
CN102881040A (zh) 一种数码相机移动拍摄三维重建方法
KR101597163B1 (ko) 스테레오 카메라 교정 방법 및 장치
JP2005322128A (ja) ステレオ３次元計測用キャリブレーション方法及び３次元位置算出方法
WO2019087253A1 (ja) ステレオカメラのキャリブレーション方法
WO2023201578A1 (zh) 单目激光散斑投影系统的外参数标定方法和装置
CN112070844A (zh) 结构光系统的校准方法及装置、校准工具图、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200605

WD01 Invention patent application deemed withdrawn after publication