CN110285831B - 一种网格结构光投射器标定方法 - Google Patents

一种网格结构光投射器标定方法 Download PDF

Info

Publication number
CN110285831B
CN110285831B CN201910603080.2A CN201910603080A CN110285831B CN 110285831 B CN110285831 B CN 110285831B CN 201910603080 A CN201910603080 A CN 201910603080A CN 110285831 B CN110285831 B CN 110285831B
Authority
CN
China
Prior art keywords
coordinate system
coordinates
camera
calibration
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910603080.2A
Other languages
English (en)
Other versions
CN110285831A (zh
Inventor
刘艳
李艳君
陈琢
王雪洁
潘树文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University City College ZUCC
Original Assignee
Zhejiang University City College ZUCC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University City College ZUCC filed Critical Zhejiang University City College ZUCC
Priority to CN201910603080.2A priority Critical patent/CN110285831B/zh
Publication of CN110285831A publication Critical patent/CN110285831A/zh
Application granted granted Critical
Publication of CN110285831B publication Critical patent/CN110285831B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass

Abstract

本发明涉及一种网格结构光投射器标定方法,包括步骤:1)构建网格结构光视觉测量系统;2)建立各个坐标系;3)获取步骤1中三个标定点A、P、B的像素坐标;4)求出三个标定点在辅助坐标系中的坐标并求出其位置向量长度;5)利用小孔成像原理求取三个标定点在摄像机坐标系下的坐标;6)重复以上步骤,获取多余两组标定点的摄像机坐标系下的坐标;7)利用最小二乘法对所有靶标坐标进行拟合得到结构光平面方程;8)重复以上步骤得到网格结构光投射器中所有光平面的标定。本发明的有益效果是:更好的将网格结构光视觉传感器获取的像点和三维看空间中物点之间的关系通过坐标系的建立展现出来。

Description

一种网格结构光投射器标定方法
技术领域
本发明涉及结构光视觉测量系统标定技术领域,尤其是一种网格结构光投射器标定方法。
背景技术
结构光视觉测量技术,因为具有高精度、高测量速度等优点而被广泛用于三维重建、工业视觉检测、手机人脸识别、安全支付、增强现实、游戏场景等众多领域。在以上应用领域中,网格结构光传感器通常安装在手机上用于实现人脸识别解锁,或安装在工作台上用于检测产品质量。网格结构光投射器与摄像机一起组成网格结构光视觉测量系统,在使用该系统进行测量时,必须先确定网格结构光视觉测量系统中网格结构光投射器与摄像机之间的相对位置关系,这里主要是指确定网格结构光投射器中各个平面相对于摄像机的位置关系;通过实验和计算来确定这个关系的过程称为网格结构光投射器的标定。
目前,吕明达等在GMAW熔池网格结构光三维视觉传感中建立了网格结构光模型,利用已知的网格结构光的出张角度和临束分离角求出各网格点坐标;然后利用激光器坐标系与世界坐标系之间的关系,将各点坐标转换到世界坐标系中。石光明等发明了一种二值网格模板的结构光动态场景深度获取方法,这里给出的是编码的结构光,没有进行系统的标定。孙佳睿对网格结构光和双目视觉系统三维重建技术进行了研究,文中用网格结构光增强了图像特征,有利于立体匹配。但是,以上三种网格结构光测量系统都没有提到网格结构光相对于摄像机位置关系的确定方法。
发明内容
本发明的目的是克服现有技术中的不足,提供一种网格结构光投射器标定方法,能够通过已知距离共线三点而实现网格结构光投射器中各个光平面的标定。
这种网格结构光投射器标定方法,包括如下步骤:
步骤1:构建网格结构光视觉测量系统;
将一个摄像机与一个网格结构光投射器以适当方式刚性连接到一起,打印距离已知的共线三点A、P和B组成的直线为靶标,线段AP和PB的长度分别为l1和l2;网格结构光投射器投射M个水平光平面和N个竖直光平面到三维空间内;设水平光平面在摄像机坐标系下方程为:
Figure GDA0002723275610000021
式中,h表示水平光平面下标;ah,bh,ch,dh为水平光平面方程系数;m表示第m个水平光平面;M为水平光平面的总数;
设竖直光平面在摄像机坐标系下方程为:
Figure GDA0002723275610000022
式中,v表示竖直光平面下标;av,bv,cv,dv为竖直光平面方程系数;n表示第n个竖直光平面;N为竖直光平面的总数;
根据实际系统的搭建可知,投射出来的结构光平面不会过摄像机坐标系的原点,即有式(1)、(2)中
Figure GDA0002723275610000024
Figure GDA0002723275610000025
的常数,这里设
Figure GDA0002723275610000026
Figure GDA0002723275610000023
步骤2:建立各个坐标系;
建立图像像素坐标系Osuv:以图像平面左上角为原点Os,图像上边向右为u轴,表示像素所在列,图像左边向下为v轴,表示像素所在行;
建立图像物理坐标系OiXiYi:以图像平面中心为原点Oi,Xi轴平行于u轴,Yi轴平行于v轴;
建立摄像机坐标系OcXcYcZc:以摄像机光线位置为原点Oc,Xc轴和Yc轴分别平行于摄像机成像平面的u轴和v轴,Zc轴由右手定则确定;由于所用靶标上的三个标定点A、P和B共线,且三个点A、P和B与摄像机的光心Oc不共线,所以三角形OcAP和OcAB共面;
建立辅助坐标系Ocxy:在平面OcABP上建立辅助坐标系Ocxy,其原点与摄像机坐标系原点Oc重合,x轴与OcP重合,方向指向空间靶标,y轴过Oc逆时针方向垂直x轴;
步骤3:获取步骤1中三个标定点A、P、B的像素坐标;
步骤4:求出三个标定点在辅助坐标系中的坐标并求出其位置向量长度;
步骤5:利用小孔成像原理求取三个标定点在摄像机坐标系下的坐标;
标定点像a、p和b在设摄像机坐标系中与坐标原点的距离分别记为
Figure GDA0002723275610000031
Figure GDA0002723275610000032
根据摄像机小孔成像模型原理,利用标定点像a、p和b在成像平面物理坐标
Figure GDA0002723275610000033
Figure GDA0002723275610000034
Figure GDA0002723275610000035
求出靶标在位置1处标定点A、P和B在摄像机坐标系下坐标为
Figure GDA0002723275610000036
Figure GDA0002723275610000037
分别如下:
Figure GDA0002723275610000038
Figure GDA0002723275610000039
Figure GDA00027232756100000310
上式中,
Figure GDA00027232756100000311
为标定点A在摄像机坐标系OcXcYcZc中与坐标原点的距离,
Figure GDA00027232756100000312
为标定点P在摄像机坐标系OcXcYcZc中与坐标原点的距离,
Figure GDA00027232756100000313
为标定点B在摄像机坐标系OcXcYcZc中与坐标原点的距离;
Figure GDA00027232756100000314
为靶标在位置1时,第i个平面上标定点A的成像点a在摄像机坐标系OcXcYcZc中的Z轴坐标;
Figure GDA00027232756100000315
为靶标在位置1时,第i个平面上标定点P的成像点p在摄像机坐标系OcXcYcZc中的Z轴坐标;
Figure GDA00027232756100000316
为靶标在位置1时,第i个平面上标定点B的成像点b在摄像机坐标系OcXcYcZc中的Z轴坐标;
步骤6:重复以上步骤,获取多余两组标定点的摄像机坐标系下的坐标;
变换靶标位置n-1次,每次使同一光平面经过该靶标,重复步骤3到步骤5的操作和计算,可以得到n组标定点A、P和B提供的共3n个标定点在摄像机坐标系下的坐标:
Figure GDA0002723275610000041
Figure GDA0002723275610000042
步骤7:利用最小二乘法对所有靶标坐标进行拟合得到结构光平面方程;
根据步骤1中建立的结构光平面模型,设以其中一个竖直结构光平面i为例,将步骤6的3n个标定点带入平面方程,为:
Figure GDA0002723275610000043
将其写成矩阵形式为:
Figure GDA0002723275610000044
Figure GDA0002723275610000045
式中,H是各标定点坐标组成的9n×3的矩阵;
Figure GDA0002723275610000047
是光平面参数组成的列向量;利用最小二乘法求出光平面方程系数向量为:
Figure GDA0002723275610000046
步骤8:重复以上步骤得到网格结构光投射器中所有光平面的标定;
按照步骤3到步骤7操作获取所有光平面在摄像机坐标系下的方程即完成了整个网格结构光投射器中结构光平面的标定。
作为优选,所述步骤3具体包括以下步骤:
步骤3-1:摄像机采用小孔模型且其参数已知,即主点为(u0,v0)、焦距为f、像素长度为dx和dy;设标定点A、P和B在摄像机成像平面上的像分别为a、p和b,它们的像素坐标分别为(ua,va)、(up,vp)和(ub,vb);它们的成像平面物理坐标分别为(Xia,Yia)、(Xip,Yip)和(Xib,Yib);它们在摄像机坐标系下坐标为(XcA,YcA,ZcA)、(XcP,YcP,ZcP)和(XcB,YcB,ZcB);标定点A、P和B在辅助坐标系Ocxy中的坐标分别为(xA,yA)、(xP,yP)和(xB,yB);
步骤3-2:通过已标定的摄像机获取位置1处的靶标图像,通过图像处理技术获取该图像中标定点像a、p和b的像素坐标
Figure GDA0002723275610000051
Figure GDA0002723275610000052
所述靶标为打印的距离已知的共线三点A、P和B组成的直线。
作为优选,所述步骤4具体包括以下步骤:
步骤4-1:标定点像a、p和b在图像平面上的物理坐标为
Figure GDA0002723275610000053
Figure GDA0002723275610000054
根据CCD相机成像原理,利用已知的摄像机内参数求出标定点像a、p和b在图像平面上的物理坐标为:
Figure GDA0002723275610000055
Figure GDA0002723275610000056
Figure GDA0002723275610000057
步骤4-2:由于摄像机坐标系原点到成像平面之间的距离为摄像机的焦距f,根据摄像机坐标系OcXcYcZc与成像平面坐标系OiXiYi之间的关系,可知点a、p和b在摄像机坐标系OcXcYcZc的坐标为:
Figure GDA0002723275610000058
Figure GDA0002723275610000059
点a、p和b在摄像机坐标OcXcYcZc中的位置向量为
Figure GDA00027232756100000510
Figure GDA0002723275610000061
设向量
Figure GDA00027232756100000612
Figure GDA0002723275610000062
Figure GDA00027232756100000613
间的夹角为
Figure GDA00027232756100000614
Figure GDA0002723275610000063
由内积定义有:
Figure GDA0002723275610000064
步骤4-3:根据三角形相似的判定定理可知两个ΔAA’P和ΔBB’P相似,点A在辅助坐标系Ocxy的x轴的投影为A’,点B在辅助坐标系Ocxy的x轴的投影为B’,有:
Figure GDA0002723275610000065
Figure GDA0002723275610000066
上式中,l1为线段AP的长度,l2为线段PB的长度;
在辅助坐标系Ocxy中,位置向量为
Figure GDA00027232756100000615
Figure GDA00027232756100000616
所在直线的斜率为:
Figure GDA0002723275610000067
Figure GDA0002723275610000068
根据式(8-1)和式(8-2)可得:
Figure GDA0002723275610000069
Figure GDA00027232756100000610
根据两点距离公式列出标定点A和P之间已知距离l1的表达式为:
Figure GDA00027232756100000611
根据式(7-1)、(9-1)和式(9-2)可得:
Figure GDA0002723275610000071
根据式(9-1)和式(11)可得:
Figure GDA0002723275610000072
根据式(7-2)和式(11)可得:
Figure GDA0002723275610000073
根据辅助坐标系Ocxy的建立方法,可知
Figure GDA0002723275610000074
因此式(10)可变为:
Figure GDA0002723275610000075
将式(12)、式(13)和式(11)带入式(14),可得:
Figure GDA0002723275610000076
根据坐标系的建立方式可知,式(15)取正号,即
Figure GDA0002723275610000077
将式(16)分别带入式(9-2)、式(11)、式(12)、和式(13),可得:
Figure GDA0002723275610000078
Figure GDA0002723275610000079
Figure GDA00027232756100000710
Figure GDA00027232756100000711
根据式(16)、式(17-1)、式(17-2)、式(17-3)、式(17-4)和
Figure GDA00027232756100000715
可得到标定点A、P和B在辅助坐标系Ocxy中的坐标
Figure GDA00027232756100000712
Figure GDA00027232756100000713
设标定点A、P和B在辅助坐标系Ocxy中与坐标原点的距离分别为
Figure GDA00027232756100000714
Figure GDA0002723275610000081
根据标定点A、P和B在辅助坐标系Ocxy中的坐标可得
Figure GDA0002723275610000082
Figure GDA00027232756100000813
为:
Figure GDA0002723275610000083
Figure GDA0002723275610000084
Figure GDA0002723275610000085
根据点、向量与坐标系之间的变换关系可知标定点A、P和B在摄像机坐标系中位置向量长度与它们在辅助坐标系Ocxy中的位置向量长度相等;设标定点A、P和B在摄像机坐标系OcXcYcZc中与坐标原点的距离分别为
Figure GDA0002723275610000086
Figure GDA0002723275610000087
则有:
Figure GDA0002723275610000088
Figure GDA0002723275610000089
Figure GDA00027232756100000810
作为优选,所述步骤4-3中标定点A、P和B在摄像机坐标系OcXcYcZc中位置向量长度与它们在辅助坐标系Ocxy中的位置向量长度相等的证明如下:
第1步:标定点A的向量由坐标原点O和点A确定,即
Figure GDA00027232756100000811
向量
Figure GDA00027232756100000814
在摄像机坐标系OcXcYcZc和辅助坐标系Ocxy中的向量分别为
Figure GDA00027232756100000815
Figure GDA00027232756100000812
点O在摄像机坐标系OcXcYcZc和辅助坐标系Ocxy下的坐标分别为Oc和Ac;点A在摄像机坐标系OcXcYcZc和辅助坐标系Ocxy下的坐标分别为Oxy和Axy
第2步,因为辅助坐标系Ocxy到摄像机坐标系OcXcYcZc的原点重合,所以两个坐标系之间的变换矩阵只有旋转向量R,则:
Oc=ROxy (26-1)
Ac=RAxy (26-2)
以上两式相减,得
Oc-Ac=ROxy-RAxy=R(Oxy-Axy) (27)
即:
Figure GDA0002723275610000091
对上式两边求模有:
Figure GDA0002723275610000092
根据旋转矩阵的行列式的值都是为1的特性,有
Figure GDA0002723275610000093
即同一向量在不同坐标系中表示的向量长度不变,即标定点A、P和B在摄像机坐标系OcXcYcZc中的位置向量与其在辅助坐标系Ocxy的表示的位置向量大小一样。
作为优选,所述标定点的像如a、p和b在设摄像机坐标系中与坐标原点的距离的求解方法dOca、dOcp和dOcb为:
第1步:根据步骤4-2中定义标定点像a、p和b在摄像机坐标系OcXcYcZc的坐标(Xca,Yca,f)、(Xcp,Ycp,f)和(Xcb,Ycb,f);
第2步:利用点到直线的距离公式可得:
Figure GDA0002723275610000094
Figure GDA0002723275610000095
Figure GDA0002723275610000096
上式中,Zca,Zcp和Zcb分别表示标定点A、P和B的成像a、p和b在摄像机坐标系中的Z轴坐标。
本发明的有益效果是:
(1)本发明根据网格结构光视觉传感器的特点,分别以成像平面左上角位置、图像平面中心位置、摄像机光心位置和三个标定点与光心所在平面建立坐标系,更好的将网格结构光视觉传感器获取的像点和三维看空间中物点之间的关系通过坐标系的建立展现出来。
(2)为获取三个标定点与摄像机坐标系原点的距离,本发明以内积概念、相似三角形等几何知识为基础,通过确定三个标定点在摄像机坐标系的位置向量长度,进而利用摄像机小孔成像原理获得三个标定点在摄像机坐标系下的坐标;通过最小二乘法拟合出网格结构光投射器各个光平面在摄像机坐标系下的方程系数,即完成了网格结光构投射器的标定。
(3)本发明将已知距离共线三点作为标定靶标,在图像处理方面仅需求解各个点的像素坐标即可,减小了计算量。
附图说明
图1是网格结构光视觉系统示意图;
图2是网格结构光投射器标定靶标图
图3是坐标系建立示意图
图4是结构光平面标定辅助坐标系示意图
图5是结构光平面标定流程图
具体实施方式
下面结合实施例对本发明做进一步描述。下述实施例的说明只是用于帮助理解本发明。应当指出,对于本技术领域的普通人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
本发明提供了一种网格结构光投射器标定方法;将一个摄像机和一个网格结构光投射器刚性连接在一起组成一个网格结构光视觉测量系统,保证网格结构光调制图案完全位于摄像机的视场内,如图1所示。本发明以距离已知的共线三点为靶标,如图2所示。使网格结构光从某个光平面投射至已知距离的共线三点;用已标定的摄像机获取靶标图像并利用图像处理算法获取标点像的像素坐标值;在摄像机光心和共线三点所确定的平面上以摄像机光心为原点、光心与三点中的中间点连线所在直线为x轴,逆时针方向垂直于x轴的直线为y轴建立辅助坐标系;利用内积、斜率和三角形相似等平面几何知识获得三个标定点在辅助坐标系的坐标;利用点到点的距离公式得到标定点到辅助坐标系原点之间的距离;根据刚性变换性质,三个标定点在摄像机坐标系中的向量长度与它们在辅助坐标中的长度一样;利用摄像机小孔成像原理,求出三个标定点在摄像机坐标系中的坐标值;变换靶标位置,获取大于两幅的靶标图像,利用最小二乘法求出光平面在摄像机坐标系下的方程系数即完成了一个光平面的标定;重复该方法获得所有光平面在摄像机坐标系中方程系数,进而实现完成网格结构光投射器的标定。
如图3所示,以图像平面左上角为原点Os建立图像像素坐标系Osuv,图像上边向右为u轴,表示像素所在列,图像左边向下为v轴,表示像素所在行。以图像平面中心为原点Oi建立图像物理坐标系OiXiYi,Xi轴平行于u轴,Yi轴平行于υ轴;以摄像机光线位置为原点Oc建立摄像机坐标系OcXcYcZc;其中,摄像机坐标系中Xc轴和Yc轴分别平行于摄像机成像平面的u轴和v轴,Zc轴由右手定则确定。
如图3所示,由于所用靶标上的三个标定点A、P和B共线,且三个点A、P和B与摄像机的光心Oc不共线,所以三角形OcAP和OcAB共面。因此,在平面OcABP上建立辅助坐标系Ocxy,其原点与摄像机坐标系原点Oc重合,x轴与OcP重合,方向指向空间靶标,y轴过Oc逆时针方向垂直x轴;
上述所定义的4个坐标系之间的关系可看作以下3个阶段:1)像素坐标系到图像平面坐标系;2)图像平面坐标系到摄像机坐标系;3)摄像机坐标系到辅助坐标系;其中,像素坐标系到图像平面坐标系关系即物理图像的离散化可由摄像机的主点和像素尺度确定;图像平面坐标系到摄像机坐标系之间关系即为摄像机的小孔成像原理所确定的透视投影变换;摄像机坐标系到辅助坐标系的关系即我们用来求解标定点在摄像机坐标系中的坐标值的刚体变换。
网格结构光平面的标定方法具体如步骤3-2、步骤4-1、步骤4-2、步骤4-3、步骤5、步骤6、步骤7。
如图4所示,步骤3-2、通过已标定的摄像机获取位置1靶标图像,通过图像处理技术获取该图像中标定点像a、p和b的像素坐标
Figure GDA0002723275610000111
Figure GDA0002723275610000112
步骤4-1它们在图像平面上的物理坐标为
Figure GDA0002723275610000113
Figure GDA0002723275610000114
根据CCD相机成像原理,利用已知的摄像机内参数求出标定点像a、p和b在图像平面上的物理坐标为:
Figure GDA0002723275610000115
Figure GDA0002723275610000116
Figure GDA0002723275610000117
步骤4-2、由于摄像机坐标系原点到成像平面之间的距离为摄像机的焦距f,根据摄像机坐标系OcXcYcZc与成像平面坐标系OiXiYi之间的关系,可知点a、p和b在摄像机坐标系OcXcYcZc的坐标为
Figure GDA0002723275610000121
Figure GDA0002723275610000122
点a、p和b在摄像机坐标系OcXcYcZc中的位置向量为
Figure GDA0002723275610000123
Figure GDA0002723275610000124
设向量
Figure GDA00027232756100001214
Figure GDA0002723275610000125
Figure GDA00027232756100001215
间的夹角为
Figure GDA00027232756100001216
Figure GDA0002723275610000126
由内积定义有:
Figure GDA0002723275610000127
步骤4-3、点A在辅助坐标系Ocxy的x轴的投影为A’,点B在辅助坐标系Ocxy的x轴的投影为B’,根据三角形相似的判定定理可知两个ΔAA’P和ΔBB’P相似,有:
Figure GDA0002723275610000128
Figure GDA0002723275610000129
上式中,l1为线段AP的长度,l2为线段PB的长度;
在辅助坐标系Ocxy中,位置向量为
Figure GDA00027232756100001217
Figure GDA00027232756100001218
所在直线的斜率为:
Figure GDA00027232756100001210
Figure GDA00027232756100001211
根据两点距离公式列出标定点A和P之间已知距离l1的表达式为:
Figure GDA00027232756100001212
根据辅助坐标系的建立可知
Figure GDA00027232756100001213
对式(6)至式(8)进行方程组解算,可得:
Figure GDA0002723275610000131
Figure GDA0002723275610000132
Figure GDA0002723275610000133
Figure GDA0002723275610000134
Figure GDA0002723275610000135
设标定点A、P和B在辅助坐标系Ocxy中与坐标原点的距离分别为
Figure GDA0002723275610000136
Figure GDA0002723275610000137
标定点A、P和B在辅助坐标系Ocxy中的坐标可得
Figure GDA0002723275610000138
Figure GDA00027232756100001322
为:
Figure GDA0002723275610000139
Figure GDA00027232756100001310
Figure GDA00027232756100001311
根据刚体变换的性质可知标定点A、P和B在摄像机坐标系中位置向量长度与它们在辅助坐标系Ocxy中的位置向量长度相等;设标定点A、P和B在摄像机坐标系OcXcYcZc中与坐标原点的距离分别为
Figure GDA00027232756100001312
Figure GDA00027232756100001313
则有:
Figure GDA00027232756100001314
Figure GDA00027232756100001315
Figure GDA00027232756100001316
标定点像a、p和b在设摄像机坐标系中与坐标原点的距离分别记为
Figure GDA00027232756100001317
Figure GDA00027232756100001318
根据摄像机小孔成像模型原理,利用标定点像a、p和b在成像平面物理坐标
Figure GDA00027232756100001319
Figure GDA00027232756100001323
Figure GDA00027232756100001320
求出靶标在位置1处标定点A、P和B在摄像机坐标系下坐标为
Figure GDA00027232756100001321
Figure GDA00027232756100001324
分别如下:
Figure GDA0002723275610000141
Figure GDA0002723275610000142
Figure GDA0002723275610000143
步骤6、变换靶标位置n-1次,每次使同一光平面经过该靶标,重复步骤3到步骤5的操作和计算,可以得到n组标定点A、P和B提供的共3n个标定点在摄像机坐标系下的坐标:
Figure GDA0002723275610000144
Figure GDA0002723275610000145
Figure GDA0002723275610000146
步骤7、根据步骤1中建立的结构光平面模型,设以其中一个竖直结构光平面i为例,将步骤6中的3n个标定点带入平面方程,为:
Figure GDA0002723275610000147
将其写成矩阵形式为:
Figure GDA0002723275610000151
Figure GDA0002723275610000152
其中,H是各标定点坐标组成的3n×3的矩阵;
Figure GDA0002723275610000154
是光平面参数组成的列向量。利用最小二乘法求出光平面方程系数向量为:
Figure GDA0002723275610000153
按照以上操作获取所有光平面在摄像机坐标系下的方程即完成了整个网格结构光投射器中结构光平面的标定。

Claims (6)

1.一种网格结构光投射器标定方法,其特征在于,包括如下步骤:
步骤1:构建网格结构光视觉测量系统;
将一个摄像机与一个网格结构光投射器以适当方式刚性连接到一起,打印距离已知的共线三点A、P和B组成的直线为靶标,线段AP和PB的长度分别为l1和l2;网格结构光投射器投射M个水平光平面和N个竖直光平面到三维空间内;设水平光平面在摄像机坐标系下方程为:
Figure FDA0002752314570000011
式中,h表示水平光平面下标;ah,bh,ch,dh为水平光平面方程系数;m表示第m个水平光平面;M为水平光平面的总数;
设竖直光平面在摄像机坐标系下方程为:
Figure FDA0002752314570000012
式中,υ表示竖直光平面下标;aυ,bυ,cυ,dυ为竖直光平面方程系数;n表示第n个竖直光平面;N为竖直光平面的总数;
根据实际系统的搭建可知,投射出来的结构光平面不会过摄像机坐标系的原点,即有式(1)、(2)中
Figure FDA0002752314570000013
Figure FDA0002752314570000014
的常数,这里设
Figure FDA0002752314570000015
Figure FDA0002752314570000016
步骤2:建立各个坐标系;
建立图像像素坐标系Osuυ:以图像平面左上角为原点Os,图像上边向右为u轴,表示像素所在列,图像左边向下为υ轴,表示像素所在行;
建立图像物理坐标系OiXiYi:以图像平面中心为原点Oi,Xi轴平行于u轴,Yi轴平行于υ轴;
建立摄像机坐标系OcXcYcZc:以摄像机光线位置为原点Oc,Xc轴和Yc轴分别平行于摄像机成像平面的u轴和υ轴,Zc轴由右手定则确定;由于所用靶标上的三个标定点A、P和B共线,且三个点A、P和B与摄像机的光心Oc不共线,所以三角形OcAP和OcAB共面;
建立辅助坐标系Ocxy:在平面OcABP上建立辅助坐标系Ocxy,其原点与摄像机坐标系原点Oc重合,x轴与OcP重合,方向指向空间靶标,y轴过Oc逆时针方向垂直x轴;
步骤3:获取步骤1中三个标定点A、P、B的像素坐标;
步骤4:求出三个标定点在辅助坐标系中的坐标并求出其位置向量长度;
步骤5:利用小孔成像原理求取三个标定点在摄像机坐标系下的坐标;
标定点像a、p和b在设摄像机坐标系中与坐标原点的距离分别记为
Figure FDA0002752314570000021
Figure FDA0002752314570000022
根据摄像机小孔成像模型原理,利用标定点像a、p和b在成像平面物理坐标
Figure FDA0002752314570000023
Figure FDA0002752314570000024
Figure FDA0002752314570000025
求出靶标在位置1处标定点A、P和B在摄像机坐标系下坐标为
Figure FDA0002752314570000026
Figure FDA0002752314570000027
分别如下:
Figure FDA0002752314570000028
Figure FDA0002752314570000029
Figure FDA00027523145700000210
上式中,
Figure FDA00027523145700000211
为标定点A在摄像机坐标系OcXcYcZc中与坐标原点的距离,
Figure FDA00027523145700000212
为标定点P在摄像机坐标系OcXcYcZc中与坐标原点的距离,
Figure FDA00027523145700000213
为标定点B在摄像机坐标系OcXcYcZc中与坐标原点的距离;
Figure FDA00027523145700000214
为靶标在位置1时,第i个平面上标定点A的成像点a在摄像机坐标系OcXcYcZc中的Z轴坐标;
Figure FDA0002752314570000031
为靶标在位置1时,第i个平面上标定点P的成像点p在摄像机坐标系OcXcYcZc中的Z轴坐标;
Figure FDA0002752314570000038
为靶标在位置1时,第i个平面上标定点B的成像点b在摄像机坐标系OcXcYcZc中的Z轴坐标;
步骤6:重复以上步骤,获取多余两组标定点的摄像机坐标系下的坐标;
变换靶标位置n-1次,每次使同一光平面经过该靶标,重复步骤3到步骤5的操作和计算,可以得到n组标定点A、P和B提供的共3n个标定点在摄像机坐标系下的坐标:
Figure FDA0002752314570000032
Figure FDA0002752314570000033
步骤7:利用最小二乘法对所有靶标坐标进行拟合得到结构光平面方程;
根据步骤1中建立的结构光平面模型,设以其中一个竖直结构光平面i为例,将步骤6的3n个标定点带入平面方程,为:
Figure FDA0002752314570000034
将其写成矩阵形式为:
Figure FDA0002752314570000035
Figure FDA0002752314570000036
式中,H是各标定点坐标组成的9n×3的矩阵;
Figure FDA0002752314570000037
是光平面参数组成的列向量;利用最小二乘法求出光平面方程系数向量为:
Figure FDA0002752314570000041
步骤8:重复以上步骤得到网格结构光投射器中所有光平面的标定;
按照步骤3到步骤7操作获取所有光平面在摄像机坐标系下的方程即完成了整个网格结构光投射器中结构光平面的标定。
2.根据权利要求1所述的一种网格结构光投射器标定方法,其特征在于,步骤3具体包括以下步骤:
步骤3-1:摄像机采用小孔模型且其参数已知,即主点为(u0,υ0)、焦距为f、像素长度为dx和dy;设标定点A、P和B在摄像机成像平面上的像分别为a、p和b,它们的像素坐标分别为(ua,υa)、(up,υp)和(ub,υb);它们的成像平面物理坐标分别为(Xia,Yia)、(Xip,Yip)和(Xib,Yib);它们在摄像机坐标系下坐标为(XcA,YcA,ZcA)、(XcP,YcP,ZcP)和(XcB,YcB,ZcB);标定点A、P和B在辅助坐标系Ocxy中的坐标分别为(xA,yA)、(xP,yP)和(xB,yB);
步骤3-2:通过已标定的摄像机获取位置1处的靶标图像,通过图像处理技术获取该图像中标定点像a、p和b的像素坐标
Figure FDA0002752314570000042
Figure FDA0002752314570000043
所述靶标为打印的距离已知的共线三点A、P和B组成的直线。
3.根据权利要求1所述的一种网格结构光投射器标定方法,其特征在于,步骤4具体包括以下步骤:
步骤4-1:标定点像a、p和b在图像平面上的物理坐标为
Figure FDA0002752314570000044
Figure FDA0002752314570000045
根据CCD相机成像原理,利用已知的摄像机内参数求出标定点像a、p和b在图像平面上的物理坐标为:
Figure FDA0002752314570000046
Figure FDA0002752314570000047
Figure FDA0002752314570000048
步骤4-2:由于摄像机坐标系原点到成像平面之间的距离为摄像机的焦距f,根据摄像机坐标系OcXcYcZc与成像平面坐标系OiXiYi之间的关系,可知点a、p和b在摄像机坐标系OcXcYcZc的坐标为:
Figure FDA0002752314570000051
Figure FDA0002752314570000052
点a、p和b在摄像机坐标OcXcYcZc中的位置向量为
Figure FDA0002752314570000053
Figure FDA0002752314570000054
设向量
Figure FDA0002752314570000055
Figure FDA0002752314570000056
Figure FDA0002752314570000057
间的夹角为
Figure FDA0002752314570000058
Figure FDA0002752314570000059
由内积定义有:
Figure FDA00027523145700000510
步骤4-3:根据三角形相似的判定定理可知两个ΔAA’P和ΔBB’P相似,点A在辅助坐标系Ocxy的x轴的投影为A’,点B在辅助坐标系Ocxy的x轴的投影为B’,有:
Figure FDA00027523145700000511
Figure FDA00027523145700000512
上式中,l1为线段AP的长度,l2为线段PB的长度;
在辅助坐标系Ocxy中,位置向量为
Figure FDA00027523145700000513
Figure FDA00027523145700000514
所在直线的斜率为:
Figure FDA00027523145700000515
Figure FDA00027523145700000516
根据式(8-1)和式(8-2)可得:
Figure FDA00027523145700000517
Figure FDA0002752314570000061
根据两点距离公式列出标定点A和P之间已知距离l1的表达式为:
Figure FDA0002752314570000062
根据式(7-1)、(9-1)和式(9-2)可得:
Figure FDA0002752314570000063
根据式(9-1)和式(11)可得:
Figure FDA0002752314570000064
根据式(7-2)和式(11)可得:
Figure FDA0002752314570000065
根据辅助坐标系Ocxy的建立方法,可知
Figure FDA0002752314570000066
因此式(10)可变为:
Figure FDA0002752314570000067
将式(12)、式(13)和式(11)带入式(14),可得:
Figure FDA0002752314570000068
根据坐标系的建立方式可知,式(15)取正号,即
Figure FDA0002752314570000069
将式(16)分别带入式(9-2)、式(11)、式(12)、和式(13),可得:
Figure FDA00027523145700000610
Figure FDA00027523145700000611
Figure FDA00027523145700000612
Figure FDA00027523145700000613
根据式(16)、式(17-1)、式(17-2)、式(17-3)、式(17-4)和
Figure FDA0002752314570000071
可得到标定点A、P和B在辅助坐标系Ocxy中的坐标
Figure FDA0002752314570000072
Figure FDA0002752314570000073
设标定点A、P和B在辅助坐标系Ocxy中与坐标原点的距离分别为
Figure FDA0002752314570000074
Figure FDA0002752314570000075
根据标定点A、P和B在辅助坐标系Ocxy中的坐标可得
Figure FDA0002752314570000076
Figure FDA0002752314570000077
为:
Figure FDA0002752314570000078
Figure FDA0002752314570000079
Figure FDA00027523145700000710
根据点、向量与坐标系之间的变换关系可知标定点A、P和B在摄像机坐标系中位置向量长度与它们在辅助坐标系Ocxy中的位置向量长度相等;设标定点A、P和B在摄像机坐标系OcXcYcZc中与坐标原点的距离分别为
Figure FDA00027523145700000711
Figure FDA00027523145700000712
则有:
Figure FDA00027523145700000713
Figure FDA00027523145700000714
Figure FDA00027523145700000715
4.根据权利要求3所述的一种网格结构光投射器标定方法,其特征在于,所述步骤4-3中两个ΔAA’P和ΔBB’P相似的证明方法为:
第1步:因为A’和B’分别是标定点A和B在辅助坐标系Ocxy的Ocx轴的投影,有AA’和BB’分别垂直于Ocx轴,所以,∠AA’P和∠BB’P为直角,即:
∠AA’P=∠BB’P
第2步:因为∠APA’和∠BPB’是对顶角,所以有:
∠APA’=∠BPB’
第3步:根据三角形相似的判断定理:如果一个三角形的两个角与另一个三角形的两个角对应相等,那么这两个三角形相似得出:
ΔAA’P∽ΔBB’P。
5.根据权利要求3所述的一种网格结构光投射器标定方法,其特征在于,所述步骤4-3中标定点A、P和B在摄像机坐标系OcXcYcZc中位置向量长度与它们在辅助坐标系Ocxy中的位置向量长度相等的证明如下:
第1步:标定点A的向量由坐标原点O和点A确定,即
Figure FDA0002752314570000081
向量
Figure FDA0002752314570000082
在摄像机坐标系OcXcYcZc和辅助坐标系Ocxy中的向量分别为
Figure FDA0002752314570000083
Figure FDA0002752314570000084
点O在摄像机坐标系OcXcYcZc和辅助坐标系Ocxy下的坐标分别为Oc和Ac;点A在摄像机坐标系OcXcYcZc和辅助坐标系Ocxy下的坐标分别为Oxy和Axy
第2步,因为辅助坐标系Ocxy到摄像机坐标系OcXcYcZc的原点重合,所以两个坐标系之间的变换矩阵只有旋转向量R,则:
Oc=ROxy (26-1)
Ac=RAxy (26-2)
以上两式相减,得
Oc-Ac=ROxy-RAxy=R(Oxy-Axy) (27)
即:
Figure FDA0002752314570000085
对上式两边求模有:
Figure FDA0002752314570000086
根据旋转矩阵的行列式的值都是为1的特性,有
Figure FDA0002752314570000087
即同一向量在不同坐标系中表示的向量长度不变,即标定点A、P和B在摄像机坐标系OcXcYcZc中的位置向量与其在辅助坐标系Ocxy的表示的位置向量大小一样。
6.根据权利要求3所述的一种网格结构光投射器标定方法,其特征在于,所述标定点的像如a、p和b在设摄像机坐标系中与坐标原点的距离的求解方法
Figure FDA0002752314570000088
Figure FDA0002752314570000089
为:
第1步:根据步骤4-2中定义标定点像a、p和b在摄像机坐标系OcXcYcZc的坐标(Xca,Yca,f)、(Xcp,Ycp,f)和(Xcb,Ycb,f);
第2步:利用点到直线的距离公式可得:
Figure FDA0002752314570000091
Figure FDA0002752314570000092
Figure FDA0002752314570000093
上式中,Zca,Zcp和Zcb分别表示标定点A、P和B的成像a、p和b在摄像机坐标系中的Z轴坐标。
CN201910603080.2A 2019-07-05 2019-07-05 一种网格结构光投射器标定方法 Active CN110285831B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910603080.2A CN110285831B (zh) 2019-07-05 2019-07-05 一种网格结构光投射器标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910603080.2A CN110285831B (zh) 2019-07-05 2019-07-05 一种网格结构光投射器标定方法

Publications (2)

Publication Number Publication Date
CN110285831A CN110285831A (zh) 2019-09-27
CN110285831B true CN110285831B (zh) 2020-12-29

Family

ID=68020777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910603080.2A Active CN110285831B (zh) 2019-07-05 2019-07-05 一种网格结构光投射器标定方法

Country Status (1)

Country Link
CN (1) CN110285831B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111487043B (zh) * 2020-05-07 2021-11-09 北京的卢深视科技有限公司 单目散斑结构光系统的散斑投射器标定参数确定方法
CN112907490B (zh) * 2021-01-29 2023-01-20 合肥工业大学 像素点提取方法、靶标信息采集方法和顶管机控制系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102034234B (zh) * 2010-10-20 2012-12-12 浙江工业大学 一种多视图结构光系统自标定方法
CN103582571A (zh) * 2011-06-23 2014-02-12 东洋制罐集团控股株式会社 结构体、结构体形成方法及结构体形成装置
CN103884271B (zh) * 2012-12-20 2016-08-17 中国科学院沈阳自动化研究所 一种线结构光视觉传感器直接标定方法
CN104506838B (zh) * 2014-12-23 2016-06-29 宁波盈芯信息科技有限公司 一种符号阵列面结构光的深度感知方法、装置及系统
CN204388802U (zh) * 2015-01-19 2015-06-10 长春师范大学 线结构光视觉系统标定板
CN108098762A (zh) * 2016-11-24 2018-06-01 广州映博智能科技有限公司 一种基于新型视觉引导的机器人定位装置及方法
CN108344360B (zh) * 2017-11-15 2020-03-31 北京航空航天大学 一种视觉测量系统的激光扫描式全局校准装置及方法
CN108088390B (zh) * 2017-12-13 2019-12-03 浙江工业大学 一种焊接检测中基于双目线结构光的光条中心三维坐标获取方法
CN108709499A (zh) * 2018-04-28 2018-10-26 天津大学 一种结构光视觉传感器及其快速标定方法
CN109029257B (zh) * 2018-07-12 2020-11-06 中国科学院自动化研究所 基于立体视觉和结构光视觉的大型工件位姿测量系统、方法

Also Published As

Publication number Publication date
CN110285831A (zh) 2019-09-27

Similar Documents

Publication Publication Date Title
CN101581569B (zh) 双目视觉传感系统结构参数的标定方法
CN106091984B (zh) 一种基于线激光的三维点云数据获取方法
CN111243002A (zh) 应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法
CN106056620B (zh) 线激光相机测量系统标定方法
CN110378969B (zh) 一种基于3d几何约束的汇聚式双目相机标定方法
CN107063129A (zh) 一种阵列式并行激光投影三维扫描方法
CN105627926A (zh) 四像机组平面阵列特征点三维测量系统及测量方法
CN109859272A (zh) 一种自动对焦双目摄像头标定方法及装置
CN109443245B (zh) 一种基于单应性矩阵的多线结构光视觉测量方法
CN101377405B (zh) 一种空间圆姿态参数和几何参数的视觉测量方法
CN111260720A (zh) 一种基于深度学习方法的目标高度测定系统
CN104807405B (zh) 一种基于光线角度标定的三维坐标测量方法
CN110285831B (zh) 一种网格结构光投射器标定方法
CN109272555B (zh) 一种rgb-d相机的外部参数获得及标定方法
CN107560554A (zh) 一种基于旋转透镜的三维信息视觉测量方法
CN108180888A (zh) 一种基于可转动摄像头的距离检测方法
CN104167001B (zh) 基于正交补偿的大视场摄像机标定方法
CN112001973B (zh) 基于数字散斑相关的快速三维人头测量方法
CN109493378A (zh) 一种基于单目视觉与双目视觉相结合的垂直度检测方法
CN111968182B (zh) 一种双目相机非线性模型参数的标定方法
CN115265407A (zh) 基于立体视觉与模型恢复的金属材料三维形貌测量方法
CN115880369A (zh) 线结构光3d相机和线阵相机联合标定的装置、系统及方法
CN115239801A (zh) 一种对象定位方法及装置
CN113012238B (zh) 一种多深度相机快速标定与数据融合的方法
CN112330747B (zh) 基于无人机平台的多传感器联合探测和显示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant