CN113686264A - 一种基于极线几何的三维测量方法及系统 - Google Patents

一种基于极线几何的三维测量方法及系统 Download PDF

Info

Publication number
CN113686264A
CN113686264A CN202110880393.XA CN202110880393A CN113686264A CN 113686264 A CN113686264 A CN 113686264A CN 202110880393 A CN202110880393 A CN 202110880393A CN 113686264 A CN113686264 A CN 113686264A
Authority
CN
China
Prior art keywords
projector
camera
grating
pixel
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110880393.XA
Other languages
English (en)
Other versions
CN113686264B (zh
Inventor
吕深圳
邓伟杰
胡海翔
陶小平
张志宇
张斯特
徐萌萌
魏鸿达
张学军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN202110880393.XA priority Critical patent/CN113686264B/zh
Publication of CN113686264A publication Critical patent/CN113686264A/zh
Application granted granted Critical
Publication of CN113686264B publication Critical patent/CN113686264B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504Calibration devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • G01B11/2527Projection by scanning of the object with phase change by in-plane movement of the patern

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请涉及一种基于极线几何的三维测量方法及系统。所述方法包括:通过结构光系统采集待测物体表面的光栅图像;采用基于双目模型的标定方法标定出结构光系统的内外参数;将所述内外参数代入设定的极值点求解公式中,解得极值点在相机像素坐标上的分布,根据所述极值点在相机像素坐标上的分布确定具有最优光栅角度的倾斜光栅图像;基于极线几何方法,根据所述倾斜光栅图像计算待测物体的三维信息。本申请实施例实现了利用单组最优倾斜光栅图像的高精度三维测量,具有最大的相位灵敏度,大大提高了三维测量的精度和速度。

Description

一种基于极线几何的三维测量方法及系统
技术领域
本申请属于结构光三维测量技术领域,特别涉及一种基于极线几何的三维测量方法及系统。
背景技术
结构光三维测量是一种无需物理接即可获得物体表面几何形状信息的技术,已广泛应用到生物医学、工业制造、计算机视觉、娱乐等多个领域。典型的结构光系统是由一个投影仪和一个相机构成,其中投影仪用于将计算机生成的特定光栅图像投影到待测物体表面,相机用于采集由待测物体表面调制后的光栅图像。分析采集到的光栅图像可获得包含物体三维信息的相位分布,然后根据已标定出的系统内外参数,实现从相位到三维坐标的转换。
在结构光三维测量技术中,相位Φ关于深度z的偏导数
Figure BDA0003191819950000011
反映了相位相对于物体深度变化的灵敏度,是影响三维测量精度的重要因素,其值与投影光栅的方向相关。因此对于一个搭建好的结构光系统,在实际测量中应当采用最优方向的投影光栅。然而,在现有的结构光三维测量方法中,物体的三维数据是由物体的相位与参考平面的相位差直接计算得到的,在测量中由单组投影光栅就能得到物体的三维信息而与投影光栅的方向无关(例如从相位差到高度的转化方法)。同时,现有的结构光三维测量方法都是基于水平光栅或竖直光栅进行三维测量,但对于倾斜光栅而言,无法唯一地确定出vp或up(投影仪坐标),导致无法从单个倾斜光栅投影中直接获得物体的三维分布信息,影响三维测量的精度。
发明内容
本申请提供了一种基于极线几何的三维测量方法及系统,旨在至少在一定程度上解决现有技术中的上述技术问题之一。
为了解决上述问题,本申请提供了如下技术方案:
一种基于极线几何的三维测量方法,包括:
通过结构光系统采集待测物体表面的光栅图像;
采用基于双目模型的标定方法标定出结构光系统的内外参数;
将所述内外参数代入设定的极值点求解公式中,解得极值点在相机像素坐标上的分布,根据所述极值点在相机像素坐标上的分布确定具有最优光栅角度的倾斜光栅图像;
基于极线几何方法,根据所述倾斜光栅图像计算待测物体的三维信息。
本申请实施例采取的技术方案还包括:所述采用基于双目模型的标定方法标定出结构光系统的内外参数包括:
基于相机的针孔模型标定相机内外参数,根据所述相机内外参数生成相机的投影矩阵;
所述相机的针孔模型表达式为:
sc[uc,vc,1]T=Ac[Rc,tc][xw,yw,zw,1]T
上式中,sc是一个尺度因子,上标T表示矩阵的转置操作,上标c表示相机的相关参数,上标w表示世界坐标,Ac是相机的内参矩阵,Rc和tc分别表示相机的旋转与平移矩阵;
投影矩阵Pc的数学表示为:
Figure BDA0003191819950000031
上式中,
Figure BDA0003191819950000032
Figure BDA0003191819950000033
分别代表相机在u和v方向上的焦距,
Figure BDA0003191819950000034
为相机的主点坐标位置。
本申请实施例采取的技术方案还包括:所述采用基于双目模型的标定方法标定出结构光系统的内外参数还包括:
基于投影仪的针孔模型标定投影仪内外参数,根据所述投影仪内外参数生成投影仪的投影矩阵;
所述投影仪的针孔模型表达式为:
sp[up,vp,1]T=Ap[Rp,tp][xw,yw,zw,1]T,
上式中,sp是一个尺度因子,上标p表示投影仪,Ap是投影仪的内参矩阵,Rp和tp分别是投影仪的旋转与平移矩阵;
所述投影仪的投影矩阵为:
Figure BDA0003191819950000035
上式中,
Figure BDA0003191819950000036
Figure BDA0003191819950000037
分别表示投影仪在u和v方向上的焦距,
Figure BDA0003191819950000038
为投影仪的主点坐标位置,(up,vp)是投影仪的像素坐标,rij和ti分别是旋转和平移矩阵的元素。
本申请实施例采取的技术方案还包括:所述极值点求解公式的设定方式具体为:
所述投影仪投影光栅的条纹方向为θ的正弦光栅图像的数学表达式为:
Figure BDA0003191819950000041
Figure BDA0003191819950000042
θ∈[0,π)
上式中,T表示投影光栅的周期,Φ为投影光栅的相位分布,θ为投影光栅的条纹方向与水平方向的夹角;
对于条纹方向为θ的正弦光栅图像,其相位关于深度zw的偏导数
Figure BDA0003191819950000043
表示为:
Figure BDA0003191819950000044
利用所述相机和投影仪的针孔模型以及投影矩阵解得投影仪的像素分布与物体深度的表达式为:
Figure BDA0003191819950000045
Figure BDA0003191819950000046
其中,
Figure BDA0003191819950000047
Figure BDA0003191819950000048
Figure BDA0003191819950000049
m9=r31,m10=r32,m11=r33,m12=t3.
利用所述投影仪的像素分布与物体深度的表达式得到:
Figure BDA00031918199500000410
Figure BDA00031918199500000411
Figure BDA00031918199500000412
H(θ)关于条纹方向θ的导数为:
Figure BDA0003191819950000051
设定取极值点的条件为
Figure BDA0003191819950000052
则所述极值点求解公式为:
Figure BDA0003191819950000053
本申请实施例采取的技术方案还包括:所述将所述内外参数代入设定的极值点求解公式中,解得极值点在相机像素坐标上的分布还包括:
根据所述极值点求解公式和二阶导数确定
Figure BDA0003191819950000054
的正负值;
H(θ)关于条纹方向θ的二阶导数为:
Figure BDA0003191819950000055
联立所述极值点求解公式和二阶导数得:
Figure BDA0003191819950000056
上式中,sin(θ)≥0,偏导数
Figure BDA0003191819950000057
的正负值决定二阶导数
Figure BDA0003191819950000058
的正负值,如果
Figure BDA0003191819950000059
由所述极值点求解公式解出的条纹方向θ为相位灵敏度取最大值;如果
Figure BDA00031918199500000510
由所述极值点求解公式解出的条纹方向θ为相位灵敏度取最小值;
Figure BDA00031918199500000511
的正负值计算公式为:
Figure BDA00031918199500000512
本申请实施例采取的技术方案还包括:所述基于极线几何方法,根据所述倾斜光栅图像计算待测物体的三维信息具体为:
确定相机与投影仪的基础矩阵,根据所述基础矩阵确定相机像素所对应的投影仪像素,根据所述相机像素所对应的投影仪像素计算待测物体的三维信息。
本申请实施例采取的技术方案还包括:所述根据所述基础矩阵确定相机像素所对应的投影仪像素具体为:
采用基础矩阵描述相机的图像坐标与投影仪的像素坐标之间的关系:
[l1 l2 l3]T=F[uc vc 1]T
上式中,F为相机与投影仪的基础矩阵,
Figure BDA0003191819950000061
l1 l2 l3三个参数用于描述投影仪像面上的一条直线:
upl1+vpl2+l3=0
根据所述相机与投影仪的基础矩阵得到用于确定相机像素(uc,vc)所对应的投影仪像素(up,vp)的表达式为:
[up,vp,1]F[uc,vc,1]T=0。
本申请实施例采取的技术方案还包括:所述根据所述相机像素所对应的投影仪像素计算待测物体的三维信息具体为:
基于所述相机像素所对应的投影仪像素,根据所述投影仪的像素分布与物体深度的表达式以及世界坐标系与像素坐标系的转换关系表达式求解待测物体的三维数据;
所述世界坐标系与像素坐标系的转换关系表达式为:
Figure BDA0003191819950000071
Figure BDA0003191819950000072
本申请实施例采取的另一技术方案为:一种基于极线几何的三维测量系统,包括:
图像采集模块:用于通过结构光系统采集待测物体表面的光栅图像;
参数标定模块:用于采用基于双目模型的标定方法标定出结构光系统的内外参数;
图像选择模块:用于将所述内外参数代入设定的极值点求解公式中,解得极值点在相机像素坐标上的分布,根据所述极值点在相机像素坐标上的分布确定具有最优光栅角度的倾斜光栅图像;
三维计算模块:用于基于极线几何方法,根据所述倾斜光栅图像计算待测物体的三维信息。
相对于现有技术,本申请实施例产生的有益效果在于:本申请实施例的基于极线几何的三维测量方法及系统根据针孔模型得到待测物体的单组最优倾斜光栅图像,并基于极线几何方法,根据单组最优倾斜光栅图像获得待测物体的三维分布,实现了利用单组最优倾斜光栅图像的高精度三维测量,相较于现有的基于水平光栅或竖直光栅的三维测量,本申请实施例具有最大的相位灵敏度,大大提高了三维测量的精度和速度。
附图说明
图1是本申请实施例的基于极线几何的三维测量方法的流程图;
图2为本发明实施例中最优光栅角度的分布和g(uc,vc)的分布示意图,(a)为求解到的极值点在整个相机像素坐标上的分布,(b)为g(uc,vc)在整个相机像素坐标上的分布;
图3为分别利用水平光栅、竖直光栅以及本申请实施例的最优倾斜光栅对复杂物体进行三维测量的测量结果对比图;
图4为相机采集到的投影在标准平面上的三种光栅图像示意图;其中,(a)、(b)、(c)分别为对水平光栅、竖直光栅以及倾斜光栅采集到的光栅图像;
图5为标准平面利用三种重构方法重构出的三维测量结果的误差分布图;其中,(a)、(b)、(c)分别为水平光栅、竖直光栅和最优倾斜光栅的误差分布图,(d)、(e)、(f)分别为水平光栅、竖直光栅和最优倾斜光栅误差分布的直方图;
图6为本申请实施例的基于极线几何的三维测量系统结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
请参阅图1,是本申请实施例的基于极线几何的三维测量方法的流程图。本申请实施例的基于极线几何的三维测量方法包括以下步骤:
S10:通过结构光系统采集待测物体表面的光栅图像;
本步骤中,结构光系统包括投影仪和相机,其中投影仪用于将不同条纹方向的光栅投影到待测物体表面,相机用于采集由待测物体表面调制后的光栅图像。通过分析采集到的光栅图像可获得包含待测物体三维信息的相位分布,然后根据标定的结构光系统内外参数,实现从相位到三维坐标的转换。其中,投影仪投影光栅的条纹方向包括竖直条纹、水平条纹以及倾斜条纹,采集的光栅图像包括竖直光栅图像、水平光栅图像以及倾斜光栅图像。
S20:采用基于双目模型的标定方法标定出结构光系统的内外参数;
本步骤中,基于双目模型的标定方法采用双目视觉原理,将结构光系统的投影仪投影看作是相机成像的逆过程,并采用针孔模型描述相机的成像过程。其中,针孔模型利用旋转平移矩阵实现世界坐标系(xw,yw,zw)向相机坐标系的转换,并利用相机的内参矩阵实现相机坐标系向像素坐标系(uc,vc)的转换。
具体的,结构光系统的内外参数标定过程包括:
S21:基于相机的针孔模型标定相机内外参数,根据相机内外参数生成相机的投影矩阵;
其中,相机的针孔模型表达式为:
sc[uc,vc,1]T=Ac[Rc,tc][xw,yw,zw,1]T (1)
上式中,sc是一个尺度因子,上标T表示矩阵的转置操作,上标c表示相机的相关参数,上标w表示世界坐标,Ac是相机的内参矩阵,Rc和tc分别表示相机的旋转与平移矩阵。
定义Pc为相机的投影矩阵,在选择相机坐标系为世界坐标系的情况下,投影矩阵Pc的数学表示为:
Figure BDA0003191819950000101
上式中,
Figure BDA0003191819950000102
Figure BDA0003191819950000103
分别代表相机在u和v方向上的焦距,
Figure BDA0003191819950000104
为相机的主点坐标位置。
S22:基于投影仪的针孔模型标定投影仪内外参数,根据投影仪内外参数生成投影仪的投影矩阵;
其中,将投影看作是成像的逆过程,则投影过程也可以由针孔模型来描述,投影仪的针孔模型表达式为:
sp[up,vp,1]T=Ap[Rp,tp][xw,yw,zw,1]T (3)
上式中,sp是一个尺度因子,上标p表示投影仪,Ap是投影仪的内参矩阵,Rp和tp分别是投影仪的旋转与平移矩阵。
定义Pp为投影仪的投影矩阵,其数学表达式为:
Figure BDA0003191819950000105
上式中,
Figure BDA0003191819950000106
Figure BDA0003191819950000107
分别表示投影仪在u和v方向上的焦距,
Figure BDA0003191819950000108
为投影仪的主点坐标位置,(up,vp)是投影仪的像素坐标,rij和ti分别是旋转和平移矩阵的元素(其中i=1,2,3;j=1,2,3)。投影仪的投影矩阵Pp可简写为如下形式:
Figure BDA0003191819950000109
Figure BDA00031918199500001010
Figure BDA00031918199500001011
m9=r31,m10=r32,m11=r33,m12=t3
S30:将标定出的内外参数代入设定的极值点求解公式中,解得极值点在相机像素坐标上的分布,根据极值点在相机像素坐标上的分布确定单组最优倾斜光栅图像;
本步骤中,极值点即相位灵敏度关于光栅倾斜角度θ取极值时所对应的θ值,极值点求解公式推导过程如下:
投影仪投影光栅的条纹方向为θ的正弦光栅图像可以描述为如下的数学表达式:
Figure BDA0003191819950000111
上式中,T表示投影光栅的周期,Φ为投影光栅的相位分布,θ为投影光栅的条纹方向与水平方向的夹角,如果θ值为0,表示投影光栅是水平条纹;如果θ值为
Figure BDA0003191819950000112
表示投影光栅是竖直条纹。
对于条纹方向为θ的正弦光栅图像,其相位关于深度zw的偏导数
Figure BDA0003191819950000113
表示为:
Figure BDA0003191819950000114
利用相机和投影仪的针孔模型以及投影矩阵(即式(1)至(4))解得投影仪的像素分布与物体深度的表达式为:
Figure BDA0003191819950000115
Figure BDA0003191819950000116
其中,
Figure BDA0003191819950000117
利用投影仪的像素分布与物体深度的表达式(8)、(9)可以计算出:
Figure BDA0003191819950000121
Figure BDA0003191819950000122
Figure BDA0003191819950000123
H(θ)关于条纹方向θ的导数为:
Figure BDA0003191819950000124
设定取极值点的条件为
Figure BDA0003191819950000125
极值点求解公式如下所示:
Figure BDA0003191819950000126
进一步地,为了判断极值点的性质,H(θ)关于条纹方向θ的二阶导数为:
Figure BDA0003191819950000127
联立极值点求解公式(13)和二阶导数(14),可得:
Figure BDA0003191819950000128
在式(15)中,由于sin(θ)≥0,因此偏导数
Figure BDA0003191819950000129
的正负值决定了二阶导数
Figure BDA00031918199500001210
的正负值。
由式(10)可知,二阶导数
Figure BDA00031918199500001211
的正负值是由等式(10)的分子所确定,即
Figure BDA00031918199500001212
当g>0,则
Figure BDA0003191819950000131
由极值点求解公式(13)所解出的条纹方向θ为相位灵敏度取最大值的情况;当g<0,则
Figure BDA0003191819950000132
由极值点求解公式(13)所解出的条纹方向θ为相位灵敏度取最小值的情况。
如图2所示,为本发明实施例中最优光栅角度的分布和g(uc,vc)的分布示意图,其中(a)为求解到的极值点在整个相机像素坐标上的分布,(a)所示的光栅角度分布即为结构光系统的最优光栅方向,该最优光栅方向为倾斜光栅。其中,光栅角度在相机像素坐标系的分布数值变化量很小其均值为0.9627rad,因此可以取光栅角度分布数值的平均值作为最优光栅方向。(b)为g(uc,vc)在整个相机像素坐标上的分布,从(b)中可以观察到g(uc,vc)的值均为正值。
S40:基于极线几何方法,根据待测物体的单组最优倾斜光栅图像确定相机像素坐标所对应的投影仪像素,根据相机像素坐标所对应的投影仪像素求解出待测物体的三维信息;
本步骤中,待测物体的三维信息求解过程具体包括:
选择相机坐标系为世界坐标系,联立相机的针孔模型表达式(1)和相机的投影矩阵(2)可得世界坐标系与像素坐标系的转换关系表达式为:
Figure BDA0003191819950000133
上式中,世界坐标系(xw,yw,zw)为三个未知数,通常情况下需要利用投影仪的像素分布与物体深度的表达式(8)或(9)提供另一个约束方程,其中式(8)对应竖直条纹的投影光栅,式(9)对应水平条纹的投影光栅。对于具有一定条纹方向的正弦光栅而言,将所获得的绝对相位分布Φ(uc,vc)代入式(6)中,则有:
Figure BDA0003191819950000141
显然,仅有一个方向的相位分布无法唯一地确定出相机像素坐标(uc,vc)所对应的投影仪像素up或vp。因此,本申请实施例通过引入极线几何方法根据单组最优倾斜光栅图像确定相机像素坐标所对应的投影仪像素,求解出待测物体的三维信息。
具体地,在立体视觉中,极线几何方法用于描述两个摄像机的图像之间的映射关系。在基于双目模型的标定方法中,投影仪的投影过程可看作是相机成像的逆过程,类似于两个相机间的极线几何,因此,可以利用极线几何描述相机的图像坐标与投影仪的像素坐标之间的关系,即相机像面上的一点对应于投影仪像面上的一条直线。在极线几何中,采用基础矩阵描述相机的图像坐标与投影仪的像素坐标之间的关系,如下式所示:
[l1 l2 l3]T=F[uc vc 1]T (19)
其中,F为相机与投影仪的基础矩阵,
Figure BDA0003191819950000142
l1 l2 l3三个参数用于描述投影仪像面上的一条直线,如下式所示:
upl1+vpl2+l3=0 (20)
确定了相机与投影仪的基础矩阵后,联立式(19)和(20),得到用于确定相机像素(uc,vc)所对应的投影仪像素(up,vp)的表达式为:
[up,vp,1]F[uc,vc,1]T=0 (21)
由于在结构光系统的标定过程中,每个标定靶的圆心都提供了相机与投影仪像素的对应点(对应点即每个标定靶上的圆心位置成像在相机上的坐标(uc,vc)和成像在投影仪上的坐标(up,vp)),将这些对应点代入式(21)写成如下的矩阵形式:
Figure BDA0003191819950000151
Figure BDA0003191819950000152
对L做奇异值分解,最小非0奇异值所对应的特征向量为基础矩阵的解,如下式所示:
[U,S,V]=svd(L) (23)
其中,U为矩阵L的左奇异矩阵,S为矩阵L的奇异值矩阵,V是矩阵L的右奇异值矩阵。
因此,在计算出基础矩阵后,由式(19)和式(20)确定出相机像素所对应的投影仪的像素,并根据投影仪的像素分布与物体深度的表达式(8)、(9)以及世界坐标系与像素坐标系的转换关系表达式(17)即可求解出物体的三维信息。
本申请实施例根据已知的相机与投影仪像素的对应点确定出相机与投影仪的基础矩阵,与现有的根据两个相机确定基础矩阵相比,本申请实施例的基础矩阵求解过程更加简单。
为了验证本申请实施例的可行性和有效性,以下实施例通过实验对本申请实施例的三维测量结果进行了验证。如图3所示,为分别利用水平光栅、竖直光栅以及本申请实施例的最优倾斜光栅对复杂物体进行三维测量的测量结果对比图。其中,(a)、(b)、(c)分别为对水平光栅、竖直光栅以及倾斜光栅采集到的光栅图像,(d)、(e)、(f)分别为利用水平光栅、竖直光栅以及最优倾斜光栅重构出的三维测量结果。实验结果表明,采用本申请实施例的最优倾斜光栅所获得的三维测量结果质量明显优于水平和竖直光栅的测量结果。为了能更直观的进行对比,将(d)、(e)、(f)的手掌测量位置进行了局部放大,可以看到基于水平光栅和竖直光栅的三维测量结果存在明显的噪声,基于水平光栅的测量结果受噪声的影响最大,基于最优倾斜光栅的测量结果更平滑。
为了定量的估计申请实施例的特性,通过测量一个放置在10个不同位置和方位的标准平面来验证本申请实施例的有效性,其中标准平面的尺寸为300×300mm,平面度小于0.005mm。对于每个位置上的标准平面,分别利用传统的水平光栅、竖直光栅和本申请实施例的最优倾斜光栅计算出的最佳角度光栅并依次重建出标准平面的三维信息。如图4所示,为相机采集到的投影在第一个位置的标准平面上三种光栅图像示意图。其中,(a)、(b)、(c)分别为对水平光栅、竖直光栅以及倾斜光栅采集到的光栅图像。对于每一个光栅图像所获得的三维点云,进行如下的平面拟合:
Ax+By+Cz+D=0 (24)
然后,利用如下公式计算出每个测量点(x0,y0,z0)到拟合平面的最短距离:
Figure BDA0003191819950000161
如图5所示,为第一个标准平面利用上述的三种重构方法重构出的三维测量结果的误差分布图。其中,(a)、(b)、(c)分别为水平光栅、竖直光栅和最优倾斜光栅的误差分布图,由图可以看出,本申请实施例的最优倾斜光栅的三维测量方法的测量精度为0.1717mm,明显优于水平光栅的测量精度0.4234mm以及竖直光栅的测量精度0.3303mm。(d)、(e)、(f)分别为水平光栅、竖直光栅和最优倾斜光栅误差分布的直方图。相较于(d)和(e),(f)所示的直方图具有很好的对称分布,且绝大多数的误差均在-0.5mm到0.5mm的范围内。
表1展示了所有的标准平面的测量结果:
表1所有标准平面的测量结果
Figure BDA0003191819950000171
从表1的最后一行可知,利用水平光栅、竖直光栅和最优倾斜光栅的三维测量结果的rms的均值分别为0.3869mm、0.2984mm和0.1875mm。本申请实施例的最优倾斜光栅的三维测量方法的测量精度相较于水平光栅的测量精度提高了52%,相较于竖直光栅测量精度提高了37%。上述实验结果证明了本申请实施例的基于单组最优倾斜光栅的三维测量方法的有效性和较高的测量精度。
基于上述,本申请实施例的基于极线几何的三维测量方法根据针孔模型得到待测物体的单组最优倾斜光栅图像,并基于极线几何方法,根据单组最优倾斜光栅图像获得待测物体的三维分布,实现了利用单组最优倾斜光栅图像的高精度三维测量,相较于现有的基于水平光栅或竖直光栅的三维测量,本申请实施例具有最大的相位灵敏度,大大提高了三维测量的精度和速度。
请参阅图6,为本申请实施例的基于极线几何的三维测量系统结构示意图。本申请实施例的基于极线几何的三维测量系统40包括:
图像采集模块41:用于通过结构光系统采集待测物体表面的光栅图像;
参数标定模块42:用于采用基于双目模型的标定方法标定出结构光系统的内外参数;
图像选择模块43:用于将内外参数代入设定的极值点求解公式中,解得极值点在相机像素坐标上的分布,根据极值点在相机像素坐标上的分布确定具有最优光栅角度的倾斜光栅图像;
三维计算模块44:用于基于极线几何方法,根据倾斜光栅图像计算待测物体的三维信息。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本申请中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本申请所示的这些实施例,而是要符合与本申请所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种基于极线几何的三维测量方法,其特征在于,包括:
通过结构光系统采集待测物体表面的光栅图像;
采用基于双目模型的标定方法标定出结构光系统的内外参数;
将所述内外参数代入设定的极值点求解公式中,解得极值点在相机像素坐标上的分布,根据所述极值点在相机像素坐标上的分布确定具有最优光栅角度的倾斜光栅图像;
基于极线几何方法,根据所述倾斜光栅图像计算待测物体的三维信息。
2.根据权利要求1所述的基于极线几何的三维测量方法,其特征在于,所述采用基于双目模型的标定方法标定出结构光系统的内外参数包括:
基于相机的针孔模型标定相机内外参数,根据所述相机内外参数生成相机的投影矩阵;
所述相机的针孔模型表达式为:
sc[uc,vc,1]T=Ac[Rc,tc][xw,yw,zw,1]T
上式中,sc是一个尺度因子,上标T表示矩阵的转置操作,上标c表示相机的相关参数,上标w表示世界坐标,Ac是相机的内参矩阵,Rc和tc分别表示相机的旋转与平移矩阵;
投影矩阵Pc的数学表示为:
Figure FDA0003191819940000011
上式中,
Figure FDA0003191819940000012
Figure FDA0003191819940000013
分别代表相机在u和v方向上的焦距,
Figure FDA0003191819940000014
为相机的主点坐标位置。
3.根据权利要求2所述的基于极线几何的三维测量方法,其特征在于,所述采用基于双目模型的标定方法标定出结构光系统的内外参数还包括:
基于投影仪的针孔模型标定投影仪内外参数,根据所述投影仪内外参数生成投影仪的投影矩阵;
所述投影仪的针孔模型表达式为:
sp[up,vp,1]T=Ap[Rp,tp][xw,yw,zw,1]T,
上式中,sp是一个尺度因子,上标p表示投影仪,Ap是投影仪的内参矩阵,Rp和tp分别是投影仪的旋转与平移矩阵;
所述投影仪的投影矩阵为:
Figure FDA0003191819940000021
上式中,
Figure FDA0003191819940000022
Figure FDA0003191819940000023
分别表示投影仪在u和v方向上的焦距,
Figure FDA0003191819940000024
为投影仪的主点坐标位置,(up,vp)是投影仪的像素坐标,rij和ti分别是旋转和平移矩阵的元素。
4.根据权利要求3所述的基于极线几何的三维测量方法,其特征在于,所述极值点求解公式的设定方式具体为:
所述投影仪投影光栅的条纹方向为θ的正弦光栅图像的数学表达式为:
Figure FDA0003191819940000025
Figure FDA0003191819940000026
θ∈[0,π)
上式中,T表示投影光栅的周期,Φ为投影光栅的相位分布,θ为投影光栅的条纹方向与水平方向的夹角;
对于条纹方向为θ的正弦光栅图像,其相位关于深度zw的偏导数
Figure FDA0003191819940000027
表示为:
Figure FDA0003191819940000031
利用所述相机和投影仪的针孔模型以及投影矩阵解得投影仪的像素分布与物体深度的表达式为:
Figure FDA0003191819940000032
Figure FDA0003191819940000033
其中,
Figure FDA0003191819940000034
Figure FDA0003191819940000035
Figure FDA0003191819940000036
m9=r31,m10=r32,m11=r33,m12=t3.;
利用所述投影仪的像素分布与物体深度的表达式得到:
Figure FDA0003191819940000037
Figure FDA0003191819940000038
Figure FDA0003191819940000039
H(θ)关于条纹方向θ的导数为:
Figure FDA00031918199400000310
设定取极值点的条件为
Figure FDA00031918199400000311
则所述极值点求解公式为:
Figure FDA00031918199400000312
5.根据权利要求4所述的基于极线几何的三维测量方法,其特征在于,所述将所述内外参数代入设定的极值点求解公式中,解得极值点在相机像素坐标上的分布还包括:
根据所述极值点求解公式和二阶导数确定
Figure FDA00031918199400000313
的正负值;
H(θ)关于条纹方向θ的二阶导数为:
Figure FDA0003191819940000041
联立所述极值点求解公式和二阶导数得:
Figure FDA0003191819940000042
上式中,sin(θ)≥0,偏导数
Figure FDA0003191819940000043
的正负值决定二阶导数
Figure FDA0003191819940000044
的正负值,如果
Figure FDA0003191819940000045
由所述极值点求解公式解出的条纹方向θ为相位灵敏度取最大值;如果
Figure FDA0003191819940000046
由所述极值点求解公式解出的条纹方向θ为相位灵敏度取最小值;
Figure FDA0003191819940000047
的正负值计算公式为:
Figure FDA0003191819940000048
6.根据权利要求5所述的基于极线几何的三维测量方法,其特征在于,所述基于极线几何方法,根据所述倾斜光栅图像计算待测物体的三维信息具体为:
确定相机与投影仪的基础矩阵,根据所述基础矩阵确定相机像素所对应的投影仪像素,根据所述相机像素所对应的投影仪像素计算待测物体的三维信息。
7.根据权利要求6所述的基于极线几何的三维测量方法,其特征在于,所述根据所述基础矩阵确定相机像素所对应的投影仪像素具体为:
采用基础矩阵描述相机的图像坐标与投影仪的像素坐标之间的关系:
[l1 l2 l3]T=F[uc vc 1]T
上式中,F为相机与投影仪的基础矩阵,
Figure FDA0003191819940000051
l1 l2 l3三个参数用于描述投影仪像面上的一条直线:
upl1+vpl2+l3=0
根据所述相机与投影仪的基础矩阵得到用于确定相机像素(uc,vc)所对应的投影仪像素(up,vp)的表达式为:
[up,vp,1]F[uc,vc,1]T=0。
8.根据权利要求7所述的基于极线几何的三维测量方法,其特征在于,所述根据所述相机像素所对应的投影仪像素计算待测物体的三维信息具体为:
基于所述相机像素所对应的投影仪像素,根据所述投影仪的像素分布与物体深度的表达式以及世界坐标系与像素坐标系的转换关系表达式求解待测物体的三维数据;
所述世界坐标系与像素坐标系的转换关系式为:
Figure FDA0003191819940000052
Figure FDA0003191819940000053
9.一种基于极线几何的三维测量系统,其特征在于,包括:
图像采集模块:用于通过结构光系统采集待测物体表面的光栅图像;
参数标定模块:用于采用基于双目模型的标定方法标定出结构光系统的内外参数;
图像选择模块:用于将所述内外参数代入设定的极值点求解公式中,解得极值点在相机像素坐标上的分布,根据所述极值点在相机像素坐标上的分布确定具有最优光栅角度的倾斜光栅图像;
三维计算模块:用于基于极线几何方法,根据所述倾斜光栅图像计算待测物体的三维信息。
CN202110880393.XA 2021-08-02 2021-08-02 一种基于极线几何的三维测量方法及系统 Active CN113686264B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110880393.XA CN113686264B (zh) 2021-08-02 2021-08-02 一种基于极线几何的三维测量方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110880393.XA CN113686264B (zh) 2021-08-02 2021-08-02 一种基于极线几何的三维测量方法及系统

Publications (2)

Publication Number Publication Date
CN113686264A true CN113686264A (zh) 2021-11-23
CN113686264B CN113686264B (zh) 2022-08-02

Family

ID=78578878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110880393.XA Active CN113686264B (zh) 2021-08-02 2021-08-02 一种基于极线几何的三维测量方法及系统

Country Status (1)

Country Link
CN (1) CN113686264B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1534272A (zh) * 2003-03-31 2004-10-06 ������������ʽ���� 非接触三维形状测定方法及装置
JP2008006083A (ja) * 2006-06-29 2008-01-17 Toshiba Corp 3次元画像生成装置
CN101813461A (zh) * 2010-04-07 2010-08-25 河北工业大学 基于复合彩色条纹投影的绝对相位测量方法
CN103236082A (zh) * 2013-04-27 2013-08-07 南京邮电大学 面向捕获静止场景的二维视频的准三维重建方法
CN103679707A (zh) * 2013-11-26 2014-03-26 西安交通大学 基于双目相机视差图的道路障碍物检测系统及检测方法
CN105066909A (zh) * 2015-09-01 2015-11-18 华中科技大学 一种手持式多激光条纹快速三维测量方法
JP2017011431A (ja) * 2015-06-19 2017-01-12 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN106767527A (zh) * 2016-12-07 2017-05-31 西安知象光电科技有限公司 一种三维轮廓的光学混合检测方法
CN106840037A (zh) * 2017-01-17 2017-06-13 黑龙江科技大学 一种用于逆向工程的三维形貌数字化测量系统及方法
JP2017151797A (ja) * 2016-02-25 2017-08-31 Kddi株式会社 幾何検証装置、プログラム及び方法
CN107607060A (zh) * 2017-08-24 2018-01-19 东南大学 一种应用于光栅三维投影测量中的相位误差补偿方法
CN109307483A (zh) * 2018-11-20 2019-02-05 西南石油大学 一种基于结构光系统几何约束的相位展开方法
CN110345882A (zh) * 2019-06-28 2019-10-18 浙江大学 一种基于几何约束的自适应结构光三维测量系统及方法
CN111473744A (zh) * 2020-06-03 2020-07-31 北京航空航天大学 一种基于散斑嵌入相移条纹的三维形貌视觉测量方法及系统
CN113091646A (zh) * 2021-03-29 2021-07-09 上海交通大学 基于条纹标定的三维形貌测量方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1534272A (zh) * 2003-03-31 2004-10-06 ������������ʽ���� 非接触三维形状测定方法及装置
JP2008006083A (ja) * 2006-06-29 2008-01-17 Toshiba Corp 3次元画像生成装置
CN101813461A (zh) * 2010-04-07 2010-08-25 河北工业大学 基于复合彩色条纹投影的绝对相位测量方法
CN103236082A (zh) * 2013-04-27 2013-08-07 南京邮电大学 面向捕获静止场景的二维视频的准三维重建方法
CN103679707A (zh) * 2013-11-26 2014-03-26 西安交通大学 基于双目相机视差图的道路障碍物检测系统及检测方法
JP2017011431A (ja) * 2015-06-19 2017-01-12 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN105066909A (zh) * 2015-09-01 2015-11-18 华中科技大学 一种手持式多激光条纹快速三维测量方法
JP2017151797A (ja) * 2016-02-25 2017-08-31 Kddi株式会社 幾何検証装置、プログラム及び方法
CN106767527A (zh) * 2016-12-07 2017-05-31 西安知象光电科技有限公司 一种三维轮廓的光学混合检测方法
CN106840037A (zh) * 2017-01-17 2017-06-13 黑龙江科技大学 一种用于逆向工程的三维形貌数字化测量系统及方法
CN107607060A (zh) * 2017-08-24 2018-01-19 东南大学 一种应用于光栅三维投影测量中的相位误差补偿方法
CN109307483A (zh) * 2018-11-20 2019-02-05 西南石油大学 一种基于结构光系统几何约束的相位展开方法
CN110345882A (zh) * 2019-06-28 2019-10-18 浙江大学 一种基于几何约束的自适应结构光三维测量系统及方法
CN111473744A (zh) * 2020-06-03 2020-07-31 北京航空航天大学 一种基于散斑嵌入相移条纹的三维形貌视觉测量方法及系统
CN113091646A (zh) * 2021-03-29 2021-07-09 上海交通大学 基于条纹标定的三维形貌测量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHENZHEN LV: "Geometric dimension assisted absolute phase recovery in 3D shape measurement with digital fringe projection", 《MEASUREMENT SCIENCE AND TECHNOLOGY》 *

Also Published As

Publication number Publication date
CN113686264B (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
CN110288642B (zh) 基于相机阵列的三维物体快速重建方法
CN110514143B (zh) 一种基于反射镜的条纹投影系统标定方法
CN111242990B (zh) 基于连续相位稠密匹配的360°三维重建优化方法
CN110296667B (zh) 基于线结构光多角度投影的高反射表面三维测量方法
JP5029618B2 (ja) パターン投影法による3次元形状計測装置、方法およびプログラム
CN109307483B (zh) 一种基于结构光系统几何约束的相位展开方法
WO2018119771A1 (zh) 基于条纹投影轮廓术的高效相位-三维映射方法及系统
CN112308963B (zh) 一种无感三维人脸重建方法及采集重建系统
CN113237435B (zh) 一种高反光表面三维视觉测量系统及方法
WO2018201677A1 (zh) 基于光束平差的远心镜头三维成像系统的标定方法及装置
WO2020199439A1 (zh) 基于单双目混合测量的三维点云计算方法
WO2018107427A1 (zh) 相位映射辅助三维成像系统快速对应点匹配的方法及装置
CN111189416B (zh) 基于特征相位约束的结构光360°三维面形测量方法
CN109272555B (zh) 一种rgb-d相机的外部参数获得及标定方法
CN112967342B (zh) 一种高精度三维重建方法、系统、计算机设备及存储介质
WO2023241374A1 (zh) 双目立体匹配方法、计算机存储介质以及电子设备
CN116295113A (zh) 一种融合条纹投影的偏振三维成像方法
CN117450955B (zh) 基于空间环形特征的薄型物体三维测量方法
CN112985258B (zh) 一种三维测量系统的标定方法及测量方法
CN113686264B (zh) 一种基于极线几何的三维测量方法及系统
CN114877826B (zh) 一种双目立体匹配三维测量方法、系统及存储介质
CN113962853B (zh) 一种旋转线阵扫描图像位姿自动化精密解算方法
Peng et al. Algorithms for constructing 3-D point clouds using multiple digital fringe projection patterns
CN114820810A (zh) 一种基于Tsai氏相机平面标定算法的解析方法
CN117804381B (zh) 一种基于相机阵列聚焦结构光对物体三维重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant