CN114998499B - 一种基于线激光振镜扫描的双目三维重建方法及系统 - Google Patents
一种基于线激光振镜扫描的双目三维重建方法及系统 Download PDFInfo
- Publication number
- CN114998499B CN114998499B CN202210648000.7A CN202210648000A CN114998499B CN 114998499 B CN114998499 B CN 114998499B CN 202210648000 A CN202210648000 A CN 202210648000A CN 114998499 B CN114998499 B CN 114998499B
- Authority
- CN
- China
- Prior art keywords
- laser
- camera
- line
- binocular
- binocular camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000005259 measurement Methods 0.000 claims abstract description 25
- 230000036544 posture Effects 0.000 claims abstract description 17
- 238000005457 optimization Methods 0.000 claims abstract description 5
- 230000003287 optical effect Effects 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 7
- 230000005484 gravity Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000004040 coloring Methods 0.000 claims description 3
- 239000003550 marker Substances 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
- G01M11/02—Testing optical properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Abstract
本发明公开了一种基于线激光振镜扫描的双目三维重建方法及系统。该方法包括标定步骤:通过双目相机采集测量空间中不同姿态下的标靶图像并进行对应点匹配;计算双目相机的初始内参和不同姿态下的双目相机的绝对外参;并基于构建的目标函数进行参数优化;重建步骤:通过线激光投射器投射各个角度的单条线激光至被测场景,并通过双目相机获取每一角度下的激光光条图像对;提取激光光条图像中的激光中心线;利用立体视觉的极线约束与激光中心线之间的特征搜索出激光光条图像对中的对应匹配点;基于激光光条图像对中的对应匹配点,根据标定参数和测量模型计算出单个视角下物体的三维点云数据。本发明具有实现室内场景的高效、高精度三维重建的优点。
Description
技术领域
本发明涉及光学三维数字成像技术领域,尤其涉及一种基于线激光振镜扫描的双目三维重建方法及系统。
背景技术
光学三维测量以非接触、高效、高精度的特点,被广泛应用于各类不同尺寸、复杂形状与材质的物体三维重建。近年来,随着人们对于精确的几何室内模型需求量的增加,以及一系列室内位置服务的推广发展,室内场景的三维重建技术得到了越来越多学者的关注。
在众多三维重建的技术当中,主动式测量方法由于其利用特定光源来重建场景,比单一的被动式测量方法更适用于弱纹理的室内场景;传统条纹投影轮廓术由于其面阵照明亮度低与分辨率差的缺陷,导致其在重建的精度、效率、稳定性等方面表现不佳;相比之下,激光扫描三维测量技术凭借其非接触、精度高、适用范围广等优点,目前已经成为室内场景重建中最受关注的技术。
目前的激光扫描三维测量技术中,点激光由于覆盖区域为一个小点,扫描过程会出现缺失的情况,导致效率低下,重建精度不高,点云稀疏;面激光虽然可以一次性覆盖住大面积区域,提高效率,但是制作成本很高,在场景表面梯度变化大的区域会产生遮挡,灵活性较差,
发明内容
本发明的目的是提供一种基于线激光振镜扫描的双目三维重建方法及系统,旨在解决现有室内场景的三维重建的效率和精度难以兼得的问题。
第一方面,本发明实施例提供一种基于线激光振镜扫描的双目三维重建方法,其特征在于,包括:
标定步骤:
通过双目相机采集测量空间中不同姿态下的标靶图像,并基于编码原则唯一性对所述双目相机进行标靶图像对应点匹配;
利用标靶的初始三维坐标和所述双目相机的初始内参,基于相机成像模型,计算并得到不同姿态下的所述双目相机的绝对外参;
基于所述双目相机的绝对外参,构建目标函数以优化所述标靶的初始三维坐标和所述双目相机的内参和外参,以获取精确的标定参数;
重建步骤:
通过线激光投射器投射各个角度的单条线激光至被测场景,并通过所述双目相机获取每一角度下的激光光条图像对;
提取所述激光光条图像中的激光中心线;
利用立体视觉的极线约束与激光中心线之间的特征搜索出所述激光光条图像对中的对应匹配点;
基于所述激光光条图像对中的对应匹配点,根据所述标定参数和测量模型计算出单个视角下物体的三维点云数据。
第二方面,本发明实施例提供一种基于线激光振镜扫描的双目三维重建系统,其特征在于,包括:
标定系统:
匹配单元,用于通过双目相机采集测量空间中不同姿态下的标靶图像,并基于编码原则唯一性对所述双目相机进行标靶图像对应点匹配;
参数获取单元,用于利用标靶的初始三维坐标和所述双目相机的初始内参,基于相机成像模型,计算并得到不同姿态下的所述双目相机的绝对外参;
参数优化单元,用于基于所述双目相机的绝对外参,构建目标函数以优化所述标靶的初始三维坐标和所述双目相机的内参和外参,以获取精确的标定参数;
重建系统:
图像获取单元,用于通过线激光投射器投射各个角度的单条线激光至被测场景,并通过所述双目相机获取每一角度下的激光光条图像对;
中心线提取单元,用于提取所述激光光条图像中的激光中心线;
搜索单元,用于利用立体视觉的极线约束与激光中心线之间的特征搜索出所述激光光条图像对中的对应匹配点;
计算单元,用于基于所述激光光条图像对中的对应匹配点,根据所述标定参数和测量模型计算出单个视角下物体的三维点云数据。
本发明实施例公开了一种基于线激光振镜扫描的双目三维重建方法及系统。该方法包括标定步骤:通过双目相机采集测量空间中不同姿态下的标靶图像,基于编码原则唯一性对双目相机进行标靶图像对应点匹配;利用标靶的初始三维坐标和双目相机的初始内参,基于相机成像模型,计算并得到不同姿态下的双目相机的绝对外参;基于双目相机的绝对外参,构建目标函数以优化标靶的初始三维坐标和双目相机的内参和外参,以获取精确的标定参数;重建步骤:通过线激光投射器投射各个角度的单条线激光至被测场景,并通过双目相机获取每一角度下的激光光条图像对;提取激光光条图像中的激光中心线;利用立体视觉的极线约束与激光中心线之间的特征搜索出激光光条图像对中的对应匹配点;基于激光光条图像对中的对应匹配点,根据标定参数和测量模型计算出单个视角下物体的三维点云数据。本发明具有实现室内场景的高效、高精度三维重建的优点。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于线激光振镜扫描的双目三维重建方法的流程示意图;
图2为本发明实施例提供的步骤S102的子流程示意图;
图3为本发明实施例提供的步骤S104的子流程示意图;
图4为本发明实施例提供的步骤S106的子流程示意图;
图5为本发明实施例提供的步骤S107的子流程示意图;
图6为本发明实施例提供的基于线激光振镜扫描的双目三维重建方法的原理图
图7为本发明实施例提供的立体视觉中的极线约束的原理图;
图8为本发明实施例提供的异面直线公垂线数学模型原理图;
图9为本发明实施例提供的基于线激光振镜扫描的双目三维重建系统的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
请参阅图1,图1为本发明实施例提供的基于线激光振镜扫描的双目三维重建方法的流程示意图;
如图1所示,该方法包括步骤S101~S107。
标定步骤:
S101、通过双目相机采集测量空间中不同姿态下的标靶图像,并基于编码原则唯一性对双目相机进行标靶图像对应点匹配;
S102、利用标靶的初始三维坐标和双目相机的初始内参,基于相机成像模型,计算并得到不同姿态下的双目相机的绝对外参;
具体的,如图2所示,步骤S102包括:
S201、将标靶平面作为世界坐标系得到标靶初始三维坐标;
S202、将双目相机的出厂参数初值作为双目相机的初始内参;
S203、基于相机成像模型,计算并得到不同姿态下的双目相机的绝对外参其中R,T分别为双目相机中的左相机到右相机的旋转矩阵和平移向量,i为不同姿态。
S103、基于双目相机的绝对外参,构建目标函数以优化标靶的初始三维坐标和双目相机的内参和外参,以获取精确的标定参数;
具体的,步骤S103包括:
根据相机成像模型,按如下公式获取左右相机之间的位姿关系:
T=T2-RT1;
其中,R,T分别表示双目相机中左相机到右相机的旋转矩阵和平移向量,R1,T1,R2,T2分别表示世界坐标系到左相机坐标系和右相机坐标系的旋转平移变换;
根据左右相机之间的位姿关系将右相机的姿态进一步表示为
构建如下目标函数以优化标定参数:
其中,j表示不同的三维标志点,为双目相机的左相机和右相机的标志点图像坐标,k1,K1,k2,K2为双目相机的初始内参,/>为双目相机相对标靶世界坐标的外参,Xj为标志点三维空间坐标;
基于构建的目标函数,将各个参数代入目标函数,并利用LM算法进行迭代计算以优化并得到精确的标定参数。
步骤S101-S103的标定过程中,采用双目相机作为成像系统,无需标定激光平面,受激光照明影响较小。
重建步骤:
S104、通过线激光投射器投射各个角度的单条线激光至被测场景,并通过双目相机获取每一角度下的激光光条图像对;
S105、提取激光光条图像中的激光中心线;
S106、利用立体视觉的极线约束与激光中心线之间的特征搜索出激光光条图像对中的对应匹配点;
S107、基于激光光条图像对中的对应匹配点,根据标定参数和测量模型计算出单个视角下物体的三维点云数据。
结合图6所示,步骤S104-S107的重建过程中,本申请采用双目相机作为成像系统,通过线激光投射器投射各个角度的单条线激光至被测场景,并通过双目相机拍摄被单条线激光调制后的物体表面图像并得到各个角度下的激光光条图像对,并传输给计算机并保存,而后对激光光条图像对进行激光中心线提取,最后通过立体匹配并得到对应匹配点,从而实现三维重建。
本申请采用双目相机可以模拟人眼视觉系统,无需标定激光平面等复杂步骤,在已有的被动式立体视觉测量中增加了线激光的纹理信息,一定程度上解决了立体匹配效率低的问题。并且本申请采用单条线激光扫描作为照明手段,无需高精密转台或位移装置,无需标定转轴进行激光线三维数据拼接;相比之下,本申请采用线激光扫描的方法平衡了点激光和面激光的扫描方法,能够在保持高精度的同时具有相对较高的测量速度。
下面针对重建步骤进行更详细的说明:
在一实施例中,如图3所示,步骤S104包括:
S301、控制线激光投射器投射单条线激光至振镜;
S302、使单条线激光经过振镜反射后照射至被测物体的表面,并通过双目相机获取当前的激光光条图像对;
S303、控制振镜转动预设角度并带动单条线激光变化角度,并通过双目相机同步获取每一角度下的激光光条图像对。
本实施例中,通过线激光投射器向galvo振镜投射单条线激光,单条线激光经过振镜反射后,照射到被测物体表面,双目相机拍摄被单条线激光调制后的物体表面图像;接着,通过振镜驱动板与DAC模块触发galvo振镜与双目相机同步采集图像并得到当前角度下的激光光条图像对,单条线激光在galvo振镜的带动下,对室内三维场景进行扫描;通过模拟电压信号,计算机可以控制galvo振镜电机带动galvo振镜的反射镜片变化各种角度,振镜每转动一个角度,双目相机同步捕捉当前场景被调制后的激光光条图像对。
在一实施例中,步骤S105包括:
按如下灰度重心法公式提取激光中心线:
其中,(xv,v)表示激光光条图像中第v列的激光中心点,I(u,v)表示激光光条图像中坐标(u,v)的像素灰度值,u=1,2,3,…,U,v=1,2,3…,V,U表示激光光条中激光中心点的行数,V表示激光光条中激光中心点的列数。
本实施例中,根据将各个参数代入上述灰度重心法公式,计算并得到激光光条图像中的灰度重心坐标,灰度重心坐标的像素灰度值分布中的质心记作光条纹的中心,即作为激光中心点,通过遍历激光光条上的像素并求取所有激光中心点,即可得到激光中心线。
在一实施例中,如图4所示,步骤S106包括:
S401、按如下极线方程的约束公式,利用双目相机中左相机和右相机下对应的两个激光中心点,求取并得到左相机和右相机下的左极线和右极线:
其中,mr和ml分别表示双目相机中左相机和右相机下对应的两个激光中心点,表示齐次坐标,F表示基础矩阵,KL,KR分别表示左相机和右相机的内部参数,R,T表示左相机到右相机的旋转平移变换矩阵;
S402、拟合极线方程上最邻近的十个激光中心点的多项式方程,结合多项式方程与极线方程求取交点,并作为对应匹配点;
S403、遍历左相机下的激光中心线上所有的激光中心点,计算右相机下的极线方程与激光中心线的交点,完成立体匹配;或者遍历右相机下的激光中心线上所有的激光中心点,计算左相机下的极线方程与激光中心线的交点,完成立体匹配。
本实施例中,如图7所示,激光光条立体匹配就是寻找同一条激光扫描线在不同视点下投影图像中像素间的一一对应关系。在立体视觉中,空间某一三维点Xw经左、右两个相机分别在ml,mr处成像,左相机和右相机的光心连线称为基线,由两个光心及三维点Xw所组成的平面称为极平面,极平面与左相机像平面的交线称为左极线,极平面与右相机的像平面的交线称为右极线。左相机和右相机的对应点对/>满足极线约束/>将各个参数代入极线约束公式计算并可得知:左相机上的ml的对应点在右极线上,同理,右相机上的mr的对应点在左极线上,而对于激光光条图像而言,同时它又在激光光条上,所以,极线和激光光条的交点就是所寻求的匹配点。
基于步骤S105-S106,通过结合标定参数求取基础矩阵F,然后根据灰度重心法公式求取的激光中心点的坐标,并代入极线约束公式中计算并得到极线方程;接着,拟合该极线方程最邻近的十个光条中心点的多项式方程,联合多项式方程与极线方程求取交点,即为其对应匹配点;循环上述操作,遍历左相机的激光光条图像上所有的激光中心点,计算右相机的图激光光条图像上的极线方程与激光光条的交点,完成立体匹配。
在一实施例中,如图5所示,步骤S107包括:
S501、根据双目相机的光心和激光光条图像对中的对应匹配点获取测量空间中的两条异面直线;
S502、根据公垂线性质,按如下公式计算并得到坐标点Q1和Q2:
其中,Q1表示左相机的光心与匹配点P1的连线所在直线上任意一点,Q2表示右相机的光心与匹配点P2的连线所在直线上任意一点,表示/>的单位向量,/>表示/>的单位向量;
S503、筛选||Q1Q2||的最小值,并确认两条异面直线的公垂线
S504、根据公垂线求取公垂线的中点(Q1+Q2)/2;
S505、将小于预设长度的公垂线的公垂线的中点作为单个视角下物体上对应点的三维点云数据。
本实施例中,采用异面直线公垂线数学模型作为重建的测量模型,如图8所示。由于测量空间中任意两条异面直线有且只有一条公垂线,通过求取异面直线公垂线中点及其长度,可确定三维点云坐标P的最优位置,同时可根据距离阈值剔除误匹配点。
具体的,以左相机为参考坐标系,已知左相机和右相机的相对位姿为R,T,左相机光心Ol=[0 0 0]T,则右相机光心Or=R[0 0 0]T+T,三维点在右相机中坐标三维点在左相机中坐标/>其中,Kl,Kr为左相机和右相机的内参,P1,P2为步骤S106中立体匹配的左相机和右相机中图像对应匹配点的坐标。
假设Q1为左相机光心Ol与像点P1的连线所在直线上的任意一点,为/>的单位向量,Q2为右相机光心Or与像点P2的连线所在直线上的任意一点,/>为/>的单位向量,/>表示左相机的光心与匹配点P1连线的向量,/>表示右相机的光心与匹配点P2连线的向量,α1和α2均为系数因子,根据公垂线的性质,有:
根据向量的表示方法有:
整理得:
求解方程组得:
当||Q1Q2||的值最小时,即为两条异面直线的公垂线,根据上述公式可求(Q1+Q2)/2为公垂线的中点。
若公垂线小于预设长度,则将公垂线的公垂线的中点作为待求点P的三维坐标,即单个视角下物体上对应点的三维点云数据;若公垂线大于等于预设长度,则将判定像点P1,P2为误匹配点,剔除即可,其中预设长度可根据实际应用进行设定。
基于上述S501-S505的推导过程,获取所有三维点云坐标P的最优位置后即可得到单个视角下物体的三维点云数据。
基于前述得到的物体的三维点云数据,本申请还可利用彩色相机获取物体的颜色信息并实现对物体进行着色;具体的:
在标定步骤中,还包括:
获取彩色相机与左相机坐标系的旋转平移矩阵和内参矩阵,通过左相机与彩色相机构成双目立体视觉系统,可将彩色相机与左相机联合进行立体光束平差标定,将彩色相机的图片转换为灰度图片,利用步骤S102-S103的方法完成彩色相机标定。
在重建步骤,还包括:
通过彩色相机获取图像颜色信息,并对单个视角下物体的三维点云数据进行着色。
本发明实施例还提供一种基于线激光振镜扫描的双目三维重建系统,该基于线激光振镜扫描的双目三维重建系统用于执行前述基于线激光振镜扫描的双目三维重建方法的任一实施例。具体地,请参阅图9,图9是本发明实施例提供的基于线激光振镜扫描的双目三维重建系统的示意性框图。
如图9所示,基于线激光振镜扫描的双目三维重建系统900,包括:匹配单元901、参数获取单元902、参数优化单元903、图像获取单元904、中心线提取单元905、搜索单元906以及计算单元907。
标定系统:
匹配单元901,用于通过双目相机采集测量空间中不同姿态下的标靶图像,并基于编码原则唯一性对双目相机进行标靶图像对应点匹配;
参数获取单元902,用于利用标靶的初始三维坐标和双目相机的初始内参,基于相机成像模型,计算并得到不同姿态下的双目相机的绝对外参;
参数优化单元903,用于基于双目相机的绝对外参,构建目标函数以优化标靶的初始三维坐标和双目相机的内参和外参,以获取精确的标定参数;
重建系统:
图像获取单元904,用于通过线激光投射器投射各个角度的单条线激光至被测场景,并通过双目相机获取每一角度下的激光光条图像对;
中心线提取单元905,用于提取激光光条图像中的激光中心线;
搜索单元906,用于利用立体视觉的极线约束与激光中心线之间的特征搜索出激光光条图像对中的对应匹配点;
计算单元907,用于基于激光光条图像对中的对应匹配点,根据标定参数和测量模型计算出单个视角下物体的三维点云数据
该系统采用双目相机作为成像系统,通过线激光投射器投射各个角度的单条线激光至被测场景,并通过双目相机拍摄被单条线激光调制后的物体表面图像并得到各个角度下的激光光条图像对,并传输给计算机并保存,而后对激光光条图像对进行激光中心线提取,最后通过立体匹配并得到对应匹配点,从而实现三维重建。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于线激光振镜扫描的双目三维重建方法,其特征在于,包括:
标定步骤:
通过双目相机采集测量空间中不同姿态下的标靶图像,并基于编码原则唯一性对所述双目相机进行标靶图像对应点匹配;
利用标靶的初始三维坐标和所述双目相机的初始内参,基于相机成像模型,计算并得到不同姿态下的所述双目相机的绝对外参;
基于所述双目相机的绝对外参,构建目标函数以优化所述标靶的初始三维坐标和所述双目相机的内参和外参,以获取精确的标定参数;
重建步骤:
通过线激光投射器投射各个角度的单条线激光至被测场景,并通过所述双目相机获取每一角度下的激光光条图像对;
提取所述激光光条图像中的激光中心线;
利用立体视觉的极线约束与激光中心线之间的特征搜索出所述激光光条图像对中的对应匹配点;
基于所述激光光条图像对中的对应匹配点,根据所述标定参数和测量模型计算出单个视角下物体的三维点云数据。
2.根据权利要求1所述的基于线激光振镜扫描的双目三维重建方法,其特征在于,所述利用标靶的初始三维坐标和所述双目相机的初始内参,基于相机成像模型,计算并得到不同姿态下的所述双目相机的绝对外参,包括:
将标靶平面作为世界坐标系得到标靶初始三维坐标;
将所述双目相机的出厂参数初值作为所述双目相机的初始内参;
基于相机成像模型,计算并得到不同姿态下的所述双目相机的绝对外参其中R,T分别为所述双目相机中的左相机到右相机的旋转矩阵和平移向量,i为不同姿态。
3.根据权利要求2所述的基于线激光振镜扫描的双目三维重建方法,其特征在于,所述基于所述双目相机的绝对外参,构建目标函数以优化所述标靶的初始三维坐标和所述双目相机的内参和外参,以获取精确的标定参数,包括:
构建如下目标函数以优化标定参数:
其中,j表示不同的三维标志点,为所述双目相机的左相机和右相机的标志点图像坐标,k1,K1,k2,K2为所述双目相机的初始内参,/>为双目相机相对标靶世界坐标的外参,Xj为标志点三维空间坐标;
基于构建的所述目标函数,利用LM算法进行迭代计算以优化并得到精确的所述标定参数。
4.根据权利要求1所述的基于线激光振镜扫描的双目三维重建方法,其特征在于,所述通过线激光投射器投射各个角度的单条线激光至被测场景,并通过所述双目相机获取每一角度下的激光光条图像对,包括:
控制所述线激光投射器投射单条线激光至振镜;
使所述单条线激光经过振镜反射后照射至被测物体的表面,并通过所述双目相机获取当前的所述激光光条图像对;
控制所述振镜转动预设角度并带动单条线激光变化角度,并通过所述双目相机同步获取每一角度下的激光光条图像对。
5.根据权利要求1所述的基于线激光振镜扫描的双目三维重建方法,其特征在于,所述提取所述激光光条图像中的激光中心线,包括:
按如下灰度重心法公式提取所述激光中心线:
其中,(xv,v)表示激光光条图像中第v列的激光中心点,I(u,v)表示激光光条图像中坐标(u,v)的像素灰度值,u=1,2,3,…,U,v=1,2,3…,V,U表示激光光条中激光中心点的行数,V表示激光光条中激光中心点的列数。
6.根据权利要求5所述的基于线激光振镜扫描的双目三维重建方法,其特征在于,所述利用立体视觉的极线约束与激光中心线之间的特征搜索出所述激光光条图像对中的对应匹配点,包括:
按如下极线方程的约束公式,利用所述双目相机中左相机和右相机下对应的两个激光中心点,求取并得到左相机和右相机下的左极线和右极线:
其中,mr和ml分别表示所述双目相机中左相机和右相机下对应的两个激光中心点,表示齐次坐标,F表示基础矩阵,KL,KR分别表示左相机和右相机的内部参数,R,T表示左相机到右相机的旋转平移变换矩阵;
拟合所述极线方程上最邻近的十个激光中心点的多项式方程,结合多项式方程与极线方程求取交点,并作为对应匹配点;
遍历所述左相机下的激光中心线上所有的激光中心点,计算所述右相机下的极线方程与激光中心线的交点,完成立体匹配;或者遍历所述右相机下的激光中心线上所有的激光中心点,计算所述左相机下的极线方程与激光中心线的交点,完成立体匹配。
7.根据权利要求1所述的基于线激光振镜扫描的双目三维重建方法,其特征在于,所述基于所述激光光条图像对中的对应匹配点,根据所述标定参数和测量模型计算出单个视角下物体的三维点云数据,包括:
根据所述双目相机的光心和所述激光光条图像对中的对应匹配点获取测量空间中的两条异面直线;
根据公垂线性质,按如下公式计算并得到坐标点Q1和Q2:
其中,Q1表示左相机的光心与匹配点P1的连线所在直线上任意一点,Q2表示右相机的光心与匹配点P2的连线所在直线上任意一点,表示/>的单位向量,/>表示/>的单位向量,/>表示左相机的光心与匹配点P1连线的向量,/>表示右相机的光心与匹配点P2连线的向量,α1和α2均为系数因子;
筛选||Q1Q2||的最小值,并确认两条异面直线的公垂线
根据所述公垂线求取公垂线的中点(Q1+Q2)/2;
将小于预设长度的所述公垂线的公垂线的中点作为单个视角下物体上对应点的三维点云数据。
8.根据权利要求1所述的基于线激光振镜扫描的双目三维重建方法,其特征在于,所述标定步骤还包括:
通过彩色相机与所述双目相机中任一相机构成双目立体视觉系统;
通过所述双目立体视觉系统重复执行所述双目相机的标定步骤,以完成所述彩色相机的标定过程。
9.根据权利要求8所述的基于线激光振镜扫描的双目三维重建方法,其特征在于,所述重建步骤还包括:
通过所述彩色相机获取图像颜色信息,并对所述单个视角下物体的三维点云数据进行着色。
10.一种基于线激光振镜扫描的双目三维重建系统,其特征在于,包括:
标定系统:
匹配单元,用于通过双目相机采集测量空间中不同姿态下的标靶图像,并基于编码原则唯一性对所述双目相机进行标靶图像对应点匹配;
参数获取单元,用于利用标靶的初始三维坐标和所述双目相机的初始内参,基于相机成像模型,计算并得到不同姿态下的所述双目相机的绝对外参;
参数优化单元,用于基于所述双目相机的绝对外参,构建目标函数以优化所述标靶的初始三维坐标和所述双目相机的内参和外参,以获取精确的标定参数;
重建系统:
图像获取单元,用于通过线激光投射器投射各个角度的单条线激光至被测场景,并通过所述双目相机获取每一角度下的激光光条图像对;
中心线提取单元,用于提取所述激光光条图像中的激光中心线;
搜索单元,用于利用立体视觉的极线约束与激光中心线之间的特征搜索出所述激光光条图像对中的对应匹配点;
计算单元,用于基于所述激光光条图像对中的对应匹配点,根据所述标定参数和测量模型计算出单个视角下物体的三维点云数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210648000.7A CN114998499B (zh) | 2022-06-08 | 2022-06-08 | 一种基于线激光振镜扫描的双目三维重建方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210648000.7A CN114998499B (zh) | 2022-06-08 | 2022-06-08 | 一种基于线激光振镜扫描的双目三维重建方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114998499A CN114998499A (zh) | 2022-09-02 |
CN114998499B true CN114998499B (zh) | 2024-03-26 |
Family
ID=83032508
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210648000.7A Active CN114998499B (zh) | 2022-06-08 | 2022-06-08 | 一种基于线激光振镜扫描的双目三维重建方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114998499B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115588037A (zh) * | 2022-09-27 | 2023-01-10 | 杭州海康机器人股份有限公司 | 一种数据采集设备、方法、装置及存储介质 |
CN115597551B (zh) * | 2022-12-14 | 2023-04-07 | 成都量芯集成科技有限公司 | 一种手持激光辅助双目扫描装置及方法 |
CN115638957B (zh) * | 2022-12-14 | 2023-04-07 | 北京九辰智能医疗设备有限公司 | 振镜扫描角度标定系统、方法及眼科视光检测设备 |
CN116342710B (zh) * | 2023-02-10 | 2024-01-30 | 深圳市中图仪器股份有限公司 | 用于激光跟踪仪的双目相机的标定方法 |
CN116309829B (zh) * | 2023-02-28 | 2024-03-19 | 无锡赛锐斯医疗器械有限公司 | 一种基于多目视觉的长方体扫描体群解码和位姿测量方法 |
CN116136395B (zh) * | 2023-04-14 | 2023-07-18 | 北京迁移科技有限公司 | 激光测量系统及方法 |
CN117146711B (zh) * | 2023-10-30 | 2024-02-13 | 中国科学院自动化研究所 | 基于双振镜系统的大范围动态激光重建方法、系统及设备 |
CN117146710B (zh) * | 2023-10-30 | 2024-02-13 | 中国科学院自动化研究所 | 基于主动视觉的动态投影三维重建系统及方法 |
CN117541730B (zh) * | 2024-01-08 | 2024-03-29 | 清华四川能源互联网研究院 | 一种水下目标的三维图像重建方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107907048A (zh) * | 2017-06-30 | 2018-04-13 | 长沙湘计海盾科技有限公司 | 一种基于线结构光扫描的双目立体视觉三维测量方法 |
WO2018103694A1 (zh) * | 2016-12-07 | 2018-06-14 | 苏州笛卡测试技术有限公司 | 一种机器人三维扫描装置及方法 |
WO2018103152A1 (zh) * | 2016-12-05 | 2018-06-14 | 杭州先临三维科技股份有限公司 | 一种三维数字成像传感器、三维扫描系统及其扫描方法 |
CN110044300A (zh) * | 2019-01-22 | 2019-07-23 | 中国海洋大学 | 基于激光器的两栖三维视觉探测装置及探测方法 |
-
2022
- 2022-06-08 CN CN202210648000.7A patent/CN114998499B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018103152A1 (zh) * | 2016-12-05 | 2018-06-14 | 杭州先临三维科技股份有限公司 | 一种三维数字成像传感器、三维扫描系统及其扫描方法 |
WO2018103694A1 (zh) * | 2016-12-07 | 2018-06-14 | 苏州笛卡测试技术有限公司 | 一种机器人三维扫描装置及方法 |
CN107907048A (zh) * | 2017-06-30 | 2018-04-13 | 长沙湘计海盾科技有限公司 | 一种基于线结构光扫描的双目立体视觉三维测量方法 |
CN110044300A (zh) * | 2019-01-22 | 2019-07-23 | 中国海洋大学 | 基于激光器的两栖三维视觉探测装置及探测方法 |
Non-Patent Citations (2)
Title |
---|
基于激光线扫描的双目立体视觉测量方法研究;马廷昭;吕乃光;邓文怡;娄小平;;北京机械工业学院学报;20071215(第04期);全文 * |
基于线结构光的双目三维体积测量系统;毛佳红;娄小平;李伟仙;赵阳;;光学技术;20160115(第01期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114998499A (zh) | 2022-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114998499B (zh) | 一种基于线激光振镜扫描的双目三维重建方法及系统 | |
CN110288642B (zh) | 基于相机阵列的三维物体快速重建方法 | |
CN106127745B (zh) | 结构光3d视觉系统与线阵相机的联合标定方法及装置 | |
CN105547189B (zh) | 基于变尺度的高精度光学三维测量方法 | |
CN102679959B (zh) | 基于主动全景视觉传感器的全方位三维建模系统 | |
CN104537707B (zh) | 像方型立体视觉在线移动实时测量系统 | |
CN109727290B (zh) | 基于单目视觉三角测距法的变焦相机动态标定方法 | |
CN109443245B (zh) | 一种基于单应性矩阵的多线结构光视觉测量方法 | |
CN109859272A (zh) | 一种自动对焦双目摄像头标定方法及装置 | |
CN113205592B (zh) | 一种基于相位相似性的光场三维重建方法及系统 | |
WO2009120073A2 (en) | A dynamically calibrated self referenced three dimensional structured light scanner | |
CN110940295B (zh) | 基于激光散斑极限约束投影的高反射物体测量方法及系统 | |
CN113129430B (zh) | 基于双目结构光的水下三维重建方法 | |
CN111640156A (zh) | 针对室外弱纹理目标的三维重建方法、设备及存储设备 | |
CN102519434A (zh) | 一种用于立体视觉三维恢复数据精度测量的试验验证方法 | |
CN111009030A (zh) | 一种多视高分辨率纹理图像与双目三维点云映射方法 | |
CN107038753B (zh) | 立体视觉三维重建系统及方法 | |
CN110852979A (zh) | 一种基于相位信息匹配的点云配准及融合方法 | |
CN113160298A (zh) | 一种深度真值获取方法、装置、系统及深度相机 | |
Nagy et al. | Online targetless end-to-end camera-LiDAR self-calibration | |
CN112489109B (zh) | 一种三维成像系统方法、装置及三维成像系统 | |
CN112254670B (zh) | 一种基于光扫描和智能视觉融合的3d信息采集设备 | |
CN112816967A (zh) | 图像距离测量方法、装置、测距设备和可读存储介质 | |
CN112254680A (zh) | 一种多自由度的智能视觉3d信息采集设备 | |
Lanman et al. | Surround structured lighting for full object scanning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |