CN105528788B - 相对位姿参数的标定方法、装置和确定三维形状的装置 - Google Patents

相对位姿参数的标定方法、装置和确定三维形状的装置 Download PDF

Info

Publication number
CN105528788B
CN105528788B CN201510894138.5A CN201510894138A CN105528788B CN 105528788 B CN105528788 B CN 105528788B CN 201510894138 A CN201510894138 A CN 201510894138A CN 105528788 B CN105528788 B CN 105528788B
Authority
CN
China
Prior art keywords
parameter
gauge
indicate
projector
picture point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510894138.5A
Other languages
English (en)
Other versions
CN105528788A (zh
Inventor
回丙伟
滕书华
李洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Fenghua Intelligent Technology Co.,Ltd.
Original Assignee
Hunan Visualtouring Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Visualtouring Information Technology Co Ltd filed Critical Hunan Visualtouring Information Technology Co Ltd
Priority to CN201510894138.5A priority Critical patent/CN105528788B/zh
Publication of CN105528788A publication Critical patent/CN105528788A/zh
Application granted granted Critical
Publication of CN105528788B publication Critical patent/CN105528788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Abstract

本发明公开了一种结构光投影器与相机的相对位姿参数的标定方法、装置和确定三维形状的装置。所述相对位姿参数的标定方法包括:计算独立参数ω,κ,by,bz;利用一维控制信息以及获得的参数ω,κ,by,bz来求得基线分量Tx;确定三维空间中的刚体变换模型(R,T)。本发明实施例提出了一种利用一维控制信息实现投影器与数字相机之间相对位姿关系的标定方法。该方法不需要建立专门的控制场,在实现方法的简易性上具有优势。

Description

相对位姿参数的标定方法、装置和确定三维形状的装置
技术领域
本发明涉及三维形状测量领域,特别涉及一种相对位姿参数的标定方法、装置和用于确定三维形状的装置。
背景技术
在多个技术领域中,存在大量需要确定物体的三维形状的需求,例如:机械工程、建筑、汽车、采矿、口腔科等。待测量的物体的形状是各种各样的,并不规范。这就为准确测量各个维度的形状带来了难度。
利用投影器投射出的结构光和数字相机来恢复三维空间中的几何模型是实现三维成像的一种重要的技术手段,是一种使用数字相机进行测量对象物的照相摄影并用计算机进行图像处理,以非接触方式计算出测量对象物表面的三维形状的方法。下文简称该过程为结构光三维成像。
结构光三维成像的原理是利用投影器投射出的可识别的图案和光学三角测量关系交会得到空间点的三维坐标。在上述过程中,事先确定构成三角测量的设备之间严格的相对位置和姿态(以下简称位姿)关系,是实现三角成像的前提条件,故具有重要的实际意义。
现有的基于结构光的三维成像系统主要包括两类:一类是结构光只用于为相机提供光学图案,而是使用两台相机立体观测这些图案实现交会测量和建模。此类结构光系统,只需要标定两台相机之间的相对位姿关系,而不需要严格标定相机与结构光光源或投影器之间的相对位姿关系;另一类是结构光不仅需要提供光学图案,还需要提供交会的光线方向。在这类系统中需要标定结构光投影器与相机之间的相对位姿关系。目前现有的结构光投影器与相机之间的相对位姿关系标定必须要提供足够的平面或者空间控制信息,即需要建立一个二维或者三维的控制场,并在此控制场的基准坐标系中分别确定投影器和相机的空间绝对位姿,然后再利用这两个空间方位计算投影器和相机之间的相对位姿。
在上述结构光投影器与相机之间的相对位姿关系的标定过程中,构建二维或者三维的控制场是一个复杂的过程,且增加了三维形状测量的难度。
发明内容
本发明提供一种相对位姿参数的标定方法、装置和用于确定三维形状的装置,用以解决现有的结构光投影器与相机之间的相对位姿关系的标定过程中,构建二维或者三维的控制场比较复杂导致三维形状测量的困难的问题。
本发明的实施例提供一种结构光投影器与相机的相对位姿参数的标定方法,包括:计算独立参数ω,κ,by,bz;利用一维控制信息以及获得的参数ω,κ,by,bz来求得基线分量Tx;确定三维空间中的刚体变换模型(R,T);
可选的,所述计算独立参数ω,κ,by,bz,具体包括:将线性和非线性参数分离,基于powell搜索进行求解,得到独立参数ω,κ,by,bz
可选的,所述将线性和非线性参数分离,基于powell搜索进行求解,得到独立参数ω,κ,by,bz,具体包括:
S1501、任意设定待求角元素初值ω(0)(0)
S1502、进入Powell搜索,然后按照搜索规则寻找目标函数极小值,并在第k次搜索中,将ω(k)(k)代入(5)式by(xsv3-fsv1)-bz(xsv2-ysv1)=(ysv3-fsv2)构成超定线性方程组,利用线性最小二乘方法计算by (k),bz (k)
S1503、将ω(k)(k),by (k),bz (k)代入最小二乘的目标函数 计算当前的目标函数值;
S1504、重复上述步骤S1502和S1503,直至在搜索过程中ω,κ的变化量小于某个提前预设的极小值;
可选的,所述利用获得的参数ω,κ,by,bz来求得基线分量Tx,具体包括:
提供一个标准尺;确定标准尺的全尺尺寸;利用获得的参数ω,κ,by,bz来计算标准尺的模型尺寸;计算模型与欧式空间的比例系数;求得基线分量Tx
可选的,所述标准尺包括带有刻度且具有足够高精度的标准尺,例如,该精度可以为0.01mm或更高;
所述确定标准尺的全尺尺寸,具体包括:
利用数字相机及其一维的直接线性变换模型,确定标准尺的全尺尺寸;
所述利用获得的参数ω,κ,by,bz来计算标准尺的模型尺寸,具体包括:
利用数字相机和投影器以及获得的参数ω,κ,by,bz来计算标准尺的模型尺寸;
所述计算模型与欧式空间的比例系数,具体包括:
根据物理距离和模型距离之比,计算模型与欧式空间的比例系数;
可选的,所述利用数字相机和投影器以及获得的参数ω,κ,by,bz来计算标准尺的模型尺寸,具体包括:
S2301、将标准尺置于数字相机和投影器的公共视场中,并使标准尺的长边方向与结构光系统的基线方向近似垂直;
S2302、利用计算机生成一幅只包含一条直线的结构光投影图像,并通过投影器投射至场景空间中,并使该直线能够与标准尺的两个短边相交;
S2303、利用数字相机拍摄场景图像,并在摄影图像中确定与标准尺相交的两个坐标
S2304、根据核线约束原理,确定(x1,y1)和(x2,y2)两个点在投影图像中对应的图像点坐标
S2305、利用上述获得的参数ω,κ,1,by,bz以及投影器和相机的内定向模型参数,根据前方交会公式,计算两个特征点的坐标(x1,y1,z1)和(x2,y2,z2);
S2306、计算模型尺寸:
S2307、以每隔0.5度的偏移量逐步改变结构光投影图像中直线的方向,来重复第S2302步到第S2307步,直至找到一个数值最小的L'的值。
另一方面,本发明的实施例还提供一种相对位姿参数的标定装置,包括:
参数计算单元,用于计算独立参数ω,κ,by,bz;基线分量获得单元,用于利用获得的参数ω,κ,by,bz来求得基线分量Tx;刚体变换模型确定单元,用于确定三维空间中的刚体变换模型(R,T);
可选的,所述参数计算单元包括参数分离单元和搜索求解单元;所述参数分离单元用于将线性和非线性参数分离,所述搜索求解单元用于基于powell搜索进行求解;
可选的,所述基线分量获得单元,包括:全尺尺寸确定单元,其用于确定标准尺的全尺尺寸;模型尺寸计算单元,其用于利用获得的参数ω,κ,by,bz来计算标准尺的模型尺寸;比例系数计算单元,其用于计算模型与欧式空间的比例系数以及用于求得基线分量Tx
本发明的实施例还提供了一种用于确定三维形状的装置,包括如上述任一所述的相对位姿参数的标定装置,还包括用于根据所述刚体变换模型(R,T)来进行三维成像计算的三维成像单元。
本发明的实施例提供的相对位姿参数的标定方法、装置和用于确定三维形状的装置,提出了一种只利用一维控制信息实现投影器与数字相机之间相对位姿关系的标定方法、装置和用于确定三维形状的装置。所述相对位姿参数的标定方法包括:计算独立参数ω,κ,by,bz;利用一维控制信息以及获得的参数ω,κ,by,bz来求得基线分量Tx;确定三维空间中的刚体变换模型(R,T)。本发明的实施例只利用一维控制信息即可实现投影器与数字相机之间相对位姿关系的标定,不需要建立专门的控制场,在实现方法的简易性上具有优势。本发明的实施例只使用少量空间点完成投影器与数字相机相对位姿标定的方法,可通过相对标准化的算法获得稳定的计算结果,相对于传统方法具有明显优势。
附图说明
图1为本发明的实施例提供的结构光投影器与相机的相对位姿参数的标定方法中,投影器和数字相机的坐标系与相对位姿的示意图;
图2为本发明的实施例提供的结构光投影器与相机的相对位姿参数的标定方法中,同名光线共面条件的示意图;
图3为本发明的实施例提供的结构光投影器与相机的相对位姿参数的标定方法的第一种流程图;
图4为本发明的实施例提供的结构光投影器与相机的相对位姿参数的标定方法的第二种流程图;
图5为本发明的实施例提供的结构光投影器与相机的相对位姿参数的标定方法的第三种流程图;
图6为本发明的实施例提供的结构光投影器与相机的相对位姿参数的标定方法的第四种流程图;
图7为本发明的实施例提供的结构光投影器与相机的相对位姿参数的标定方法中,标准尺的刻度尺寸与全尺尺寸的示意图;
图8为本发明的实施例提供的结构光投影器与相机的相对位姿参数的标定方法中,测量标准尺模型长度的示意图;
图9为本发明的实施例提供的一种结构光投影器与相机的相对位姿参数的标定装置的结构示意图;
图10为本发明的实施例提供的另一种结构光投影器与相机的相对位姿参数的标定装置的结构示意图;
图11为本发明的实施例提供的一种用于确定三维形状的装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
利用投影器投射出的结构光和数字相机来恢复三维空间中的几何模型,下文简称该过程为结构光三维成像。结构光三维成像的原理是利用投影器投射出的可识别的图案和光学三角测量关系交会得到空间点的三维坐标。在上述过程中,事先确定构成三角测量的设备之间严格的相对位置和姿态(以下简称位姿)关系,标定结构光投影器与相机相对位姿参数,是实现三维成像的前提条件。
在本发明实施例提供的结构光投影器与相机的相对位姿参数的标定方法中,为了下文描述的方便性,为投影器和数字相机分别建立一个三维直角坐标系如图1所示。在建立坐标系时,做如下约定:
对于投影器来说,原点位于投影器的投影光心,Z轴为主光轴方向,Y轴为投影器像平面的竖直方向,X轴与上述坐标轴一起构成右手系;
对于数字相机来说,原点位于相机的摄影中心,Z轴为主光轴方向,Y轴为成像面的竖直方向,X轴与上述坐标轴一起构成右手系。
在上述坐标系定义方式下,投影器与数字相机之间的相对位姿可用三维空间中的刚体变换模型(R,T)来描述,其中R是一个旋转矩阵,可由三维独立的旋转角元素ω,κ来描述;T是基线向量,也称为相对位姿的线元素。对于基线向量T=(Tx,Ty,Tz)T来说,记则T为基线长度。在三角交会测量中,基线长只影响模型的尺度,不影响模型的形状。因此,在不考虑模型尺度的情况下,可以记基线向量为T'=(1,Ty/Tx,Tz/Tx)T=(1,by,bz)T。因此,上述相对位姿关系共有6个独立的参数ω,κ,by,bz和Tx。位姿标定就是利用一定的几何控制和图像确定这6个独立参数的过程。
基于上述原理,在本发明实施例提供的一种结构光投影器与相机的相对位姿参数的标定方法中,在下文的标定过程中,分两步完成6个参数的标定过程。即:第一步,标定5个独立参数ω,κ,by,bz;第二步,标定基线分量Tx。即如图3所示,包括:计算独立参数ω,κ,by,bz;利用获得的参数ω,κ,by,bz来求得基线分量Tx。本发明的实施例通过特殊的公式转化后,基线向量为T'=(1,Ty/Tx,Tz/Tx)T=(1,by,bz)T,因此可以先求出ω,κ,by,bz,然后利用获得的前一步骤求得的5个参数再求出Tx,即确定了相对位姿的几个关键参数。
进一步的,在得到以上的6个参数之后,将它们带入以下计算关系式中,就可以得到三维空间中的刚体变换模型(R,T)。其中,R是一个旋转矩阵,可由三维独立的旋转角元素ω,κ来描述;T是基线向量,也称为相对位姿的线元素。对于基线向量T=(Tx,Ty,Tz)T来说,在不考虑模型尺度的情况下,可以记基线向量为T'=(1,Ty/Tx,Tz/Tx)T=(1,by,bz)T。因此,在本发明实施例提供的一种结构光投影器与相机的相对位姿参数的标定方法中,如图3所示,包括:计算独立参数ω,κ,by,bz;利用获得的参数ω,κ,by,bz来求得基线分量Tx;确定三维空间中的刚体变换模型(R,T)。
本发明的实施例中,在计算独立参数ω,κ,by,bz的过程中,为了便于快速且稳定的获得搜索结果,采用将线性和非线性参数分离的方法,基于powell搜索进行求解,得到独立参数ω,κ,by,bz,如图4所示。
结合图1以及图6所示,进行一些本标定过程的前提和背景说明。进行本标定过程的前提是,数字相机和投影器的内定向模型参数已经正确获得,即投影光束和摄影光束的形状已知。在此基础上,本标定过程的操作步骤如下:
S11、制备投影图像。具体的,制备一幅包含多个特征点的投影图像,且特征点均匀分布于图像区域内;
S12、利用投影器将投影图像投射到三维空间,形成光影。即利用结构光投影器将投影图像投射到三维空间中,并在场景中形成光影;
S13、利用数字相机摄取场景中的结构光光影的图像;
S14、进行摄影图像与投影图像的特征点的匹配。例如,可以通过人工或自动的方式实现摄影图像与投影图像特征点的匹配对应,并构成同名像点对;
S15、利用获得的同名像点对,将线性和非线性参数分离,然后基于powell搜索进行求解,得到独立参数ω,κ,by,bz。下面详细介绍参数ω,κ,by,bz标定的原理和过程。
根据结构光三维成像系统投影和摄影几何原理可知,测量系统的基线与同名射线(光线)位于同一平面内,即三角测量中的共面条件,如图2所示。
图2表示了同名光线的共面条件。由此可知,光线SA,PA和基线SP三线共面,且平面SPA分别与相机像平面和投影器像平面相交于核线ls和lp。在相机坐标系S-XYZ中,光线SA,PA和基线SP分别用向量V1,V2,V3来表示,则根据三向量共面的条件,即混合积为零,可得:
m=V1·(V2×V3)=0 (1)
继续由图2可知向量V1=(xs,ys,fs),V2=(1,bx,by),向量V3与(xp,yp,fp)之间存在一个三维空间中的旋转变换关系,且有如下表达式:
其中,R即为由三个独立的角元素ω,κ决定的旋转矩阵。
因此,由(1)(2)式并结合V1和V2的表达式可得:
(3)式包含了本节待求的5个参数ω,κ,by,bz,因此,至少需要5对同名像点坐标可以完成全部参数的求解。当同名像点的对数大于5时,则可构成超定方程组,并实现最小二乘意义下的参数求解。本专利将最小二乘的目标函数定义为:
其中,是摄影图像上第i个图像点到对应核线(该核线由投影图像上的同名像点所确定)的垂直距离;同理,是投影图像上第i个图像点到对应核线(该核线由摄影图像上的同名像点所确定)的垂直距离。核线方程的计算过程可参考文献[Hartley R,Zisserman A.Multiple view geometryin computer vision[M].Cambridge university press,2003]。
由于(3)式是一个典型的包含大量三角函数式的非线性方程,故同时求解含有5个待求参数的方程组是一件相对困难的过程。对于该问题,本发明的实施例提供一种基于Powell搜索的线性与非线性参数分离求解方法。对(3)式继续进行转换和变形,进行处理,将线性和非线性参数分离,然后基于powell搜索进行求解,得到独立参数ω,κ,by,bz。该方法能够在提高算法收敛能力的情况下稳定的获得计算效果。具体来说,考虑(3)式的方程,xs,ys,fs和xp,yp,fp均为观测量,在ω,κ已知的情况下,是一个关于两个未知数by,bz的线性方程:
by(xsv3-fsv1)-bz(xsv2-ysv1)=(ysv3-fsv2) (5)
利用这一特性和解的唯一性,本专利通过对ω,κ进行搜索,并对每一给定值的ω(k)(k),利用(5)式构成的线性方程组对线性待求参数by (k),bz (k)进行最小二乘求解。在上述搜索过程中寻找一组参数ω',κ',by',bz'在目标函数(4)的度量下达到最小值,此时认为其即为方程组的最小二乘解。
下面考虑使用快速的搜索算法使(4)式的目标函数能够在任意ω,κ初值情况下,快速收敛到极小值,从而获得方程组的解。Powell算法是一种不涉及目标函数导数的最优化搜索算法,它是以共轭方向为基础,以正定二次函数为背景的最优化问题搜索方法,具体原理可参考文献[陈宝林.最优化理论与算法(第2版)[M].清华大学出版社,2005年]。Powell搜索策略已在许多数学算法库中标准化为程序模块。本专利以Powell算法为基础实现对非线性方程组的最小二乘求解,具体过程如下:
S1501、任意设定待求角元素初值ω(0)(0)
S1502、进入Powell搜索,然后按照搜索规则寻找目标函数极小值,并在第k次搜索中,将ω(k)(k)代入(5)式构成超定线性方程组,利用线性最小二乘方法计算by (k),bz (k)
S1503、将ω(k)(k),by (k),bz (k)代入(4)式(即最小二乘的目标函数)计算当前的目标函数值;
S1504、重复上述步骤S1502和S1503直至输出满足精度的ω,κ,by,bz,即在搜索过程中ω,κ,by,bz的变化量小于某个提取预设的极小值。
当在搜索过程中ω,κ的变化量小于某个提取预设的极小值时,即说明此时已经达到了满足精度的ω,κ,by,bz
本发明的实施例中,在数字相机和投影器的内定向模型参数已经正确获得,即投影光束和摄影光束的形状已知的条件下,独立参数ω,κ,by,bz的标定只通过S11~S15五个步骤就可以完成。并且在步骤S15中,本发明的实施例提供了一种基于Powell搜索的线性与非线性参数分离求解方法,通过将线性和非线性参数分离,然后基于powell搜索进行求解,仅需要5对同名像点坐标即可完成全部参数的求解,当同名像点的对数大于5时,则可构成超定方程组,该方法能够在提高算法收敛能力的情况下稳定的获得计算效果。
上面讲了标定独立参数ω,κ,by,bz的各种可能的实现方式。由于本发明的实施例已经对用于描述投影器与数字相机之间的相对位姿的三维空间中的刚体变换模型(R,T)进行了分解和变化,所以基线向量的表达式可以为T'=(1,Ty/Tx,Tz/Tx)T=(1,by,bz)T。因此,当获得了参数ω,κ,by,bz之后,可以利用它们求得基线分量Tx。本发明的实施例只利用一维控制信息即可求得基线分量Tx,实现投影器与数字相机之间相对位姿关系的标定,不需要建立专门的控制场。例如,可以采用直尺来作为一维控制信息,当然,也不限于直尺,只要是带有刻度的其他的一维控制信息也是可以的。以下以直尺为例,如图4所示,求得基线分量Tx具体包括以下步骤:
S21、提供一个标准尺;
S22、确定标准尺的全尺尺寸;
S23、利用获得的参数ω,κ,by,bz来计算标准尺的模型尺寸;
S24、计算模型与欧式空间的比例系数;
S25、求得基线分量Tx
需要说明的是,根据摄影测量原理可知,模型与欧式空间的比例系数即为基线分量Tx,故Tx=ρ,具体原理可参考文献[摄影测量与遥感概论,李德仁,王树根,周月琴,2008年]。
当基线分量Tx求出来以后,由上述基线向量为T'=(1,Ty/Tx,Tz/Tx)T=(1,by,bz)T的关系式可知,基线分量Ty=Tx·by,Tz=Tx·bz,结合前面求得的参数by,bz,即可以确定Tx,Ty的值,因此也就得到了基线分量Tx
综合上述两个过程,即可以确定投影器与相机之间相对位置和姿态关系。
在上面的步骤中,为了使得求得基线分量Tx的精确度足够高,进一步的,步骤S21中提供的标准尺可以选择带有刻度且具有足够高精度的标准尺,例如,该精度为0.01mm或更高。
进一步的,上述图4所示的求得基线分量Tx的步骤中,可以利用现有的设备来确定全尺尺寸,这样可以提高参数计算过程中的参考坐标的统一性,提高了最后标定的相对位姿的准确性。如图5所示,步骤22中,确定标准尺的全尺尺寸,具体可以包括:利用数字相机及其一维的直接线性变换模型,确定标准尺的全尺尺寸;步骤23中,所述利用获得的参数ω,κ,by,bz来计算标准尺的模型尺寸,具体可以包括:利用数字相机和投影器以及获得的参数ω,κ,by,bz来计算标准尺的模型尺寸;步骤24中,所述计算模型与欧式空间的比例系数,具体可以包括:根据物理距离和模型距离之比,计算模型与欧式空间的比例系数。
下面结合图7和图8来具体说明上面求得基线分量Tx的各步骤和原理。
S21、提供一个标准尺;
可以进行本标定过程的前提是准备好一个带有刻度且具有足够高精度的标准尺,例如一级因瓦尺、日内瓦尺等。
S22、确定标准尺的全尺尺寸。利用数字相机及其一维的直接线性变换模型,确定标准尺的全尺的物理尺寸。
各类标准尺在制备过程中,为了保证刻度不被磨损,通常其全尺尺寸略大于其刻度尺寸,如图7所示。本步骤主要利用数字相机及其一维的直接线性变换模型来确定标准尺的全尺尺寸。具体步骤如下:
S2201、将标准尺置于数字相机视场中,并使标准尺的刻度在相机中可视;
S2202,利用数字相机拍摄标准尺的一幅图像,并根据标准尺的刻度值及其成像位置,建立并求解一维的直接线性变换模型系数l1,l2,l3。具体方法可参考文献[冯文灏.近景摄影测量:物体外形与运动状态的摄影法测定[M].武汉大学出版社,2002年];
S2203,根据标准尺两个端点的图像坐标和直接变换模型系数,计算全尺长度L。
S23、利用获得的参数ω,κ,by,bz来计算标准尺的模型尺寸。利用数字相机和投影器以及上述步骤中获得的ω,κ,by,bz参数计算标准尺的模型尺寸。
S2301、将标准尺置于数字相机和投影器的公共视场中,并使标准尺的长边方向与结构光系统的基线方向近似垂直,如图8所示;
S2302、利用计算机生成一幅只包含一条直线的结构光投影图像,并通过投影器投射至场景空间中,并使该直线能够与标准尺的两个短边相交;
S2303、利用数字相机拍摄场景图像,并在摄影图像中确定与标准尺相交的两个坐标
S2304、根据核线约束原理,确定(x1,y1)和(x2,y2)两个点在投影图像中对应的图像点坐标
S2305、利用前文获得的ω,κ,1,by,bz参数以及投影器和相机的内定向模型参数根据前方交会公式,计算两个特征点的坐标(x1,y1,z1)和(x2,y2,z2)。具体交会计算过程请参考文献[李德仁,王树根,周月琴.摄影测量与遥感概论[M].测绘出版社,2001年]。
S2306、计算模型尺寸:
S2307、以每隔0.5度的偏移量逐步改变结构光投影图像中直线的方向,来重复第S2302步到第S2307步,直至找到一个数值最小的L'的值,并视之为标准尺的模型尺寸。因为在改变结构光投影图像中直线的方向(0~180度)的过程中,随着方向的改变,L'的值会呈现一个逐渐减小,而后逐渐上升的过程。因此能够找到一个波谷,即是最小值。这个最小值即为标准尺的模型尺寸。
S24、计算模型与欧式空间的比例系数。根据物理距离和模型距离之比,计算模型与欧式空间的比例系数ρ=L/L'。
由摄影测量原理可知,该比例系数即为基线分量Tx,故Tx=ρ,具体原理可参考文献[摄影测量与遥感概论,李德仁,王树根,周月琴,2008年]。
S25、求得基线分量Tx
由前文可知Ty=Tx·by,Tz=Tx·bz
当独立参数ω,κ,by,bz求出后,并且基线分量Tx也求出后,也就确定了三维空间中的刚体变换模型(R,T),因此也就确定了投影器与相机之间相对位置和姿态关系。
本发明的实施例提出了一种只使用少量空间点完成投影器与数字相机相对位姿标定的方法,相对于传统方法具有明显优势,例如:标定计算仅需要一维距离控制信息,而不需要任何二维或者三维的坐标控制信息;标定仅需要拍摄少量的图像;可通过相对标准化的算法获得稳定的计算结果,等等。本发明的实施例只利用一维控制信息即可实现投影器与数字相机之间相对位姿关系的标定,不需要建立专门的控制场,在实现方法的简易性上具有优势。
另一方面,本发明的一个实施例还提供了一种结构光投影器与相机的相对位姿参数的标定装置,如图9所示,其包括参数计算单元,用于计算独立参数ω,κ,by,bz
基线分量获得单元,用于利用获得的参数ω,κ,by,bz来求得基线分量Tx
刚体变换模型确定单元,用于确定三维空间中的刚体变换模型(R,T)。
进一步的,如图10所示,所述参数计算单元包括参数分离单元和搜索求解单元;所述参数分离单元用于将线性和非线性参数分离,所述搜索求解单元用于基于powell搜索进行求解。具体原理和步骤与上述相对位姿参数的标定方法的实施例中描述的相同,在此不再赘述。
进一步的,如图10所示,所述基线分量获得单元,包括全尺尺寸确定单元,其用于确定标准尺的全尺尺寸;模型尺寸计算单元,其用于利用获得的参数ω,κ,by,bz来计算标准尺的模型尺寸;比例系数计算单元,其用于计算模型与欧式空间的比例系数以及用于求得基线分量Tx
具体原理和步骤与上述相对位姿参数的标定方法的实施例中描述的相同,在此不再赘述。
进一步的,如图11所示,本发明的实施例还提供了一种用于确定三维形状的装置,其包括上述任一实施例所述的相对位姿参数的标定装置,还包括用于根据所述刚体变换模型(R,T)来进行三维成像计算的三维成像单元。因此,该装置能够用来确定物体的三维形状。
本发明的实施例提供的相对位姿参数的标定方法、装置和用于确定三维形状的装置,只使用少量空间点完成投影器与数字相机相对位姿标定的方法,相对于传统方法具有明显优势,例如:标定计算仅需要一维距离控制信息,而不需要任何二维或者三维的坐标控制信息;标定仅需要拍摄少量的图像;可通过相对标准化的算法获得稳定的计算结果,等等。本发明的实施例只利用一维控制信息即可实现投影器与数字相机之间相对位姿关系的标定,不需要建立专门的控制场,在实现方法的简易性上具有优势。
本领域普通技术人员可以理解:附图只是一个实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解:实施例中的装置中的单元模块可以按照实施例描述分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (6)

1.一种结构光投影器与相机的相对位姿参数的标定方法,其特征在于,包括:
计算独立参数ω,κ,by,bz;所述表示绕X轴的角度分量;所述ω表示绕Y轴的角度分量;所述κ表示绕Z轴的角度分量;所述by表示沿Y轴的水平分量;所述bz表示沿Z轴的水平分量;
利用带有刻度的标准尺以及获得的参数ω,κ,by,bz来求得基线分量Tx
确定三维空间中的刚体变换模型(R,T);
利用获得的参数ω,κ,by,bz来求得基线分量Tx,具体包括:
提供一个带有刻度的标准尺;
确定所述带有刻度的标准尺的全尺尺寸;
利用获得的参数ω,κ,by,bz来计算标准尺的模型尺寸;
计算模型与欧式空间的比例系数;
求得基线分量Tx
确定标准尺的全尺尺寸,具体包括:
利用数字相机及其一维的直接线性变换模型,确定标准尺的全尺尺寸;
所述利用获得的参数ω,κ,by,bz来计算标准尺的模型尺寸,具体包括:
利用数字相机和投影器以及获得的参数ω,κ,by,bz来计算标准尺的模型尺寸;
所述利用数字相机和投影器以及获得的参数ω,κ,by,bz来计算标准尺的模型尺寸,具体包括:
S2301、将标准尺置于数字相机和投影器的公共视场中,并使标准尺的长边方向与结构光系统的基线方向近似垂直;
S2302、利用计算机生成一幅只包含一条直线的结构光投影图像,并通过投影器投射至场景空间中,并使该直线能够与标准尺的两个短边相交;
S2303、利用数字相机拍摄场景图像,并在摄影图像中确定与标准尺相交的两个坐标其中,表示摄影图像中第一个图像点,表示摄影图像中第二个图像点,s表示在摄影图像中;
S2304、根据核线约束原理,确定(x1,y1)和(x2,y2)两个点在投影图像中对应的图像点坐标其中,表示投影图像中第一个图像点,表示投影图像中的第二个图像点,p表示在投影图像中;(x1,y1)和(x2,y2)表示第一个图像点和第二个图像点在立体空间中的XY平面的坐标;
S2305、利用获得的参数ω,κ,by,bz以及投影器和相机的内定向模型参数,根据前方交会公式,计算两个特征点的坐标(x1,y1,z1)和(x2,y2,z2),其中,(x1,y1,z1)和(x2,y2,z2)分别表示第一个图像点和第二个图像点在立体空间中的坐标;
S2306、计算模型尺寸:
S2307、以每隔0.5度的偏移量逐步改变结构光投影图像中直线的方向,重复第S2302步到第S2307步,直至找到一个数值最小的L'的值;
所述计算模型与欧式空间的比例系数,具体包括:
根据物理距离和模型距离之比,计算模型与欧式空间的比例系数。
2.根据权利要求1所述的相对位姿参数的标定方法,其特征在于,
所述计算独立参数ω,κ,by,bz,具体包括:
将线性和非线性参数分离,基于powell搜索进行求解,得到独立参数ω,κ,by,bz
3.根据权利要求2所述的相对位姿参数的标定方法,其特征在于,
所述将线性和非线性参数分离,基于powell搜索进行求解,得到独立参数ω,κ,by,bz,具体包括:
S1501、任意设定待求角元素初值ω(0)(0)
S1502、进入Powell搜索,然后按照搜索规则寻找目标函数极小值,并在第k次搜索中,将ω(k)(k)代入式by(xsv3-fsv1)-bz(xsv2-ysv1)=(ysv3-fsv2)构成的超定线性方程组,利用线性最小二乘方法计算by (k),bz (k)
在相机坐标系S-XYZ中,光线SA、PA和基线SP分别用向量V1、V2和V3表示,其中,v1、v2和v3表示所述基线分量SP的方向向量,V3=(v1,v2,v3),其中,v1,v2,v3表示基线分量SP沿X、Y和Z轴的分量;光线SA的法向量为V1=(xs,ys,fs),其中,xs,ys,fs表示光线SA在摄影图像中沿X、Y和Z轴的分量;
S1503、将ω(k)(k),by (k),bz (k)代入最小二乘的目标函数 计算当前的目标函数值;
其中,表示摄影图像上第i个图像点到对应第一核线的垂直距离,该第一核线由投影图像上的同名像点所确定;ls表示第一核线;
是投影图像上第i个图像点到对应第二核线的垂直距离,该第二核线由摄影图像上的同名像点所确定;lp表示第二核线;
S1504、重复步骤S1502和S1503,直至在搜索过程中ω,κ的变化量小于某个提前预设的极小值。
4.一种相对位姿参数的标定装置,其特征在于,包括:
参数计算单元,用于计算独立参数ω,κ,by,bz;所述表示绕X轴的角度分量;所述ω表示绕Y轴的角度分量;所述κ表示绕Z轴的角度分量;所述by表示沿Y轴的水平分量;所述bz表示沿Z轴的水平分量;
基线分量获得单元,用于利用带有刻度的标度尺以及获得的参数ω,κ,by,bz来求得基线分量Tx
刚体变换模型确定单元,用于确定三维空间中的刚体变换模型(R,T);
所述基线分量获得单元,包括:
全尺尺寸确定单元,其用于确定带有刻度的标准尺的全尺尺寸;
模型尺寸计算单元,其用于利用获得的参数ω,κ,by,bz来计算标准尺的模型尺寸;
比例系数计算单元,其用于计算模型与欧式空间的比例系数以及用于求得基线分量Tx
所述全尺尺寸确定单元,具体用于利用数字相机及其一维的直接线性变换模型,确定标准尺的全尺尺寸;
所述模型尺寸计算单元,具体用于利用数字相机和投影器以及获得的参数ω,κ,by,bz来计算标准尺的模型尺寸;
所述模型尺寸计算单元,具体利用数字相机和投影器以及获得的参数ω,κ,by,bz来通过以下方式计算标准尺的模型尺寸:
S2301、将标准尺置于数字相机和投影器的公共视场中,并使标准尺的长边方向与结构光系统的基线方向近似垂直;
S2302、利用计算机生成一幅只包含一条直线的结构光投影图像,并通过投影器投射至场景空间中,并使该直线能够与标准尺的两个短边相交;
S2303、利用数字相机拍摄场景图像,并在摄影图像中确定与标准尺相交的两个坐标其中,表示摄影图像中第一个图像点,表示摄影图像中第二个图像点,s表示在摄影图像中;
S2304、根据核线约束原理,确定(x1,y1)和(x2,y2)两个点在投影图像中对应的图像点坐标其中,表示投影图像中第一个图像点,表示投影图像中的第二个图像点,p表示在投影图像中;
S2305、利用获得的参数ω,κ,by,bz以及投影器和相机的内定向模型参数,根据前方交会公式,计算两个特征点的坐标(x1,y1,z1)和(x2,y2,z2),其中,(x1,y1,z1)和(x2,y2,z2)分别表示第一个图像点和第二个图像点在立体空间中的坐标;
S2306、计算模型尺寸:
S2307、以每隔0.5度的偏移量逐步改变结构光投影图像中直线的方向,重复第S2302步到第S2307步,直至找到一个数值最小的L'的值;
所述比例系数计算单元,具体用于根据物理距离和模型距离之比,计算模型与欧式空间的比例系数。
5.根据权利要求4所述的相对位姿参数的标定装置,其特征在于,
所述参数计算单元包括参数分离单元和搜索求解单元;
所述参数分离单元用于将线性和非线性参数分离,所述搜索求解单元用于基于powell搜索进行求解。
6.一种确定三维形状的装置,其特征在于,包括如权利要求4或5所述的相对位姿参数的标定装置,还包括用于根据刚体变换模型(R,T)来进行三维成像计算的三维成像单元。
CN201510894138.5A 2015-12-08 2015-12-08 相对位姿参数的标定方法、装置和确定三维形状的装置 Active CN105528788B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510894138.5A CN105528788B (zh) 2015-12-08 2015-12-08 相对位姿参数的标定方法、装置和确定三维形状的装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510894138.5A CN105528788B (zh) 2015-12-08 2015-12-08 相对位姿参数的标定方法、装置和确定三维形状的装置

Publications (2)

Publication Number Publication Date
CN105528788A CN105528788A (zh) 2016-04-27
CN105528788B true CN105528788B (zh) 2018-08-03

Family

ID=55770991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510894138.5A Active CN105528788B (zh) 2015-12-08 2015-12-08 相对位姿参数的标定方法、装置和确定三维形状的装置

Country Status (1)

Country Link
CN (1) CN105528788B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070844A (zh) * 2020-08-27 2020-12-11 合肥的卢深视科技有限公司 结构光系统的校准方法及装置、校准工具图、设备及介质
CN112630469B (zh) * 2020-12-07 2023-04-25 清华大学深圳国际研究生院 一种基于结构光和多光场相机的三维检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101750012A (zh) * 2008-12-19 2010-06-23 中国科学院沈阳自动化研究所 一种测量物体六维位姿的装置
CN102129680A (zh) * 2010-01-15 2011-07-20 精工爱普生株式会社 实时几何形状感知投影和快速重校准
CN102798380A (zh) * 2012-07-09 2012-11-28 中国人民解放军国防科学技术大学 线阵图像中目标运动参数的测量方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101750012A (zh) * 2008-12-19 2010-06-23 中国科学院沈阳自动化研究所 一种测量物体六维位姿的装置
CN102129680A (zh) * 2010-01-15 2011-07-20 精工爱普生株式会社 实时几何形状感知投影和快速重校准
CN102798380A (zh) * 2012-07-09 2012-11-28 中国人民解放军国防科学技术大学 线阵图像中目标运动参数的测量方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Automatic Recalibration of the Relative Pose in a Structured Light System;Y.F.Li et al.;《IEEE/RSJ International Conference on Intelligent Conference on Intelligent Robots and Systems》;20061015;第5703、5705页 *
CBVCT系统中心标定方法;张丰收 等;《机械设计》;20060228;第23卷(第2期);第28页 *
Dynamic calibration of the relative pose and erroranalysis in a structured light system;Beiwei Zhang et al.;《Journal of the Optical Society of America A Optics Image Science & Vision》;20081231;第25卷(第3期);第612-622页 *
基于线阵相机的弹丸速度与姿态测量;回丙伟 等;《弹道学报》;20120630;第24卷(第2期);第39页 *
结构光测量系统的标定方法综述;刘顺涛 等;《激光技术》;20150331;第39卷(第2期);第252-258页 *

Also Published As

Publication number Publication date
CN105528788A (zh) 2016-04-27

Similar Documents

Publication Publication Date Title
Zhao et al. Calibration for stereo vision system based on phase matching and bundle adjustment algorithm
CN105091849B (zh) 一种光轴非平行双目测距方法
CN110207614B (zh) 一种基于双远心相机匹配的高分辨高精度测量系统及方法
CN102376089A (zh) 一种标靶校正方法及系统
CN105910584B (zh) 大尺寸动态摄影测量系统的高精度定向及定向精度评价方法
CN110702025B (zh) 一种光栅式双目立体视觉三维测量系统及方法
CN103198481B (zh) 一种摄像机标定方法
WO2020199439A1 (zh) 基于单双目混合测量的三维点云计算方法
CN112268525A (zh) 三维扫描方法和三维扫描设备
CN107957251A (zh) 基于计算机辅助校正的反射球面通用化检测方法
CN105528788B (zh) 相对位姿参数的标定方法、装置和确定三维形状的装置
Lavecchia et al. The influence of software algorithms on photogrammetric micro-feature measurement’s uncertainty
Bergström et al. Automatic in-line inspection of shape based on photogrammetry
CN109708612A (zh) 一种光场相机的盲标定方法
CN113393413B (zh) 基于单目与双目视觉协同的水域面积测量方法和系统
CN103559710B (zh) 一种用于三维重建系统的标定方法
Kent et al. Photogrammetric calibration for improved three-dimensional particle velocimetry (3D PTV)
CN109813277B (zh) 测距模型的构建方法、测距方法、装置以及自动驾驶系统
Peng et al. Algorithms for constructing 3-D point clouds using multiple digital fringe projection patterns
CN116242277A (zh) 基于全场三维视觉的电源机箱结构件尺寸自动测量方法
Wu et al. A camera calibration method based on OpenCV
CN102155937A (zh) 柔性网状面形照相测量方法
CN114170321A (zh) 一种基于测距的相机自标定方法及系统
CN108682035A (zh) 一种单步光刀系统激光空间平面方程计算方法
CN108871204A (zh) 摄影测量中长度测量相对误差的绝对评价方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221013

Address after: Room 1016, Block C, Haiyong International Building 2, No. 489, Lusong Road, High tech Zone, Changsha City, Hunan Province, 410221

Patentee after: Hunan Fenghua Intelligent Technology Co.,Ltd.

Address before: 410205 A645, room 39, Changsha central software park headquarters, No. 39, Jian Shan Road, hi tech Development Zone, Hunan.

Patentee before: HUNAN VISUALTOURING INFORMATION TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right