一种物体三维信息采集装置
技术领域
本实用新型涉及物体三维信息采集技术领域,尤其涉及一种物体三维信息采集装置。
背景技术
随着机器视觉、图像处理技术、图像采集设备的迅猛发展,计算机图像处理技术已逐渐被应用到各个领域中。例如成像技术和三维重建技术已经广泛应用于逆向工程、工业设计与文物保护等领域。目前,基于图像的三维重建方法仪器具有快速、无损、信息量大等优点,并且通过后期处理,具有较高的重建精度,能较好满足用户的需求。但是对于一些特殊物体的表征变化和纹理特性,例如地貌,涉及山川、河流的动态变化,通过取样测量一定时间内岩石的纹理特性变化进而获取一定的地理信息,其对地质分析具有一定的意义。但目前现有技术还不能够直观的呈现出它们的动态变化信息,而通过人为的实地观察才能获得相关信息,其相当耗费人力和时间。
实用新型内容
本实用新型的目的是为克服上述现有技术的不足,提供一种物体三维信息采集装置。
为实现上述目的,本实用新型采用下述技术方案:
一种物体三维信息采集装置,包括可升降主体、光栅结构光传感器、摄像机和工控机;
其中光栅结构光传感器和摄像机通过支架装夹于可升降主体上并分别通过连接线与工控机相连;根据待测物体的不同高度通过可升降主体调节光栅结构光传感器和摄像机的相应高度,光栅结构光传感器和摄像机对待测物体不同高度处的图像信息进行采集并将采集的数据传递给工控机,工控机对传递来的数据进行处理,形成物体的三维信息。
优选地,所述光栅结构光传感器和摄像机分左右两组,且分别位于待测物体的左右两侧。
优选地,所述光栅结构光传感器和摄像机分左右前后四组,且分别位于待测物体的左右前后侧。
基于上述物体三维信息采集装置的采集方法,包括以下步骤:
(1)组建采集装置,形成三维信息采集模型;
(2)对摄像机的内外参数进行标定,得到摄像机的内外参数;
(3)对光栅结构光传感器进行标定,确定结构光平面在摄像机坐标系下的表达方程或者等效的表达形式;
(4)提取物体信息特征,分别应用骨架思想,聚类思想以及遗传算法获得曲线特征的信息;
(5)应用多层感知机识别未知环境中的特征点,并对参数进行量化,通过对应特征库样本的区间,给出待测物体基本情况量化评估。
进一步优选地,步骤(2)中,获取摄像机内外参数的矩阵为;
其中,(u0,v0)为主点坐标;dX、dY分别为每个像素在X轴与Y 轴方向上的物理尺寸;ax、ay分别为u轴和v轴上的尺度因子,或称为 u轴和v轴上的规一化焦距,且ax=f/dX,ay=f/dY;γ为u轴与v 轴不垂直因子,通常情况下等于0。M为3×3投影矩阵,M1由ax、ay、u0、v0决定,为摄像机内部参数矩阵;M2由R,T决定,为摄像机外部参数矩阵。
进一步优选地,步骤(3)中,结构光传感器与摄像机之间的关系固定不变,设结构光传感器τ光平面在摄像机坐标系下的表达式为
[Aτ,Bτ,Cτ,Dτ][X,Y,Z,1]T=0
其中,空间点P(X,Y,Z)T位于光平面τ上,且其在图像平面的投影点p的坐标为(x,y,1)T,理想情况下,P、p与摄像机的光心O共线,且满足如下关系:
其中,f0为摄像机的焦距。
进一步优选地,步骤(4)中,曲线中心的亚像素级坐标为:
(px,py)=(tnx+x0,tny+y0)
其中,且tnx∈[-0.5,0.5],tny∈[-0.5,0.5]。
进一步优选地,步骤(5)中,多层感知机至少包括三层:输入层,输出层和隐藏层;
其中,隐藏层激活函数为双曲正切函数和逻辑函数;
双曲正切函数为
其范围为-1到1;
逻辑函数为
其范围为0到1;
而输出层激活函数为逻辑函数、柔性函数和sigmod函数;其中,柔性函数表达如下:
进一步优选地,步骤(2)中,摄像机内外参标定流程为:
(2-1)使用标定板对不同位置、不同角度、不同姿态下拍摄的图片进行标定,以10~20张图片为宜;标定板选用黑白相间的矩形构成的棋盘图;
(2-2)对每一张的标定图片提取亚像素角点信息;
(2-3)获取棋盘标定图角点图像坐标之后,根据摄像机标定原理,计算摄像机内外参系数;
(2-4)对计算得到的摄像机内外参数进行进一步优化,得到最优的摄像机内外参数。
(2-5)将平面靶标在待测物体平面摆放,由摄像机获取平面靶标的图像,由标定原理确定摄像机图像平面与待测物体平面之间的单应关系矩阵。
进一步优选地,步骤(3)中,光栅结构光传感器标定流程为:
(3-1)标定摄像机的内参;
(3-2)将结构光标定靶标在空间中呈不同位置摆放,使得结构光在靶标平面的投射光条能够在摄像机图像平面清晰成像;
(3-3)对光条的中心点坐标进行提取,提取精度达到亚像素级;
(3-4)确定光平面在摄像机坐标系下的法向量,并最终确定光平面在摄像机坐标系下的完整表达方程;
(3-5)对光栅结构传感器中每个光平面依次重复上述步骤(3-1)、 (3-2)、(3-3)和(3-4)操作,即可确定光栅结构传感器中所有光平面在摄像机中的表达方程。
本实用新型提供的一种物体三维信息采集装置,主要通过工控机、摄像机、光栅结构光传感器等硬件设备,结合摄像机标定技术、激光测量技术、图像处理技术、图像特征识别技术,研究并设计出能够全面、自动、实时、高效地实现对待测物体信息的测量以及特征检测的软硬件系统,该系统可实现待测物体在整个变化过程中不同信息参数的同时测量和检测。
附图说明
图1是本实用新型物体三维信息采集装置的结构示意图;
图2是本实用新型摄像机成像模型以及各个坐标系之间的关系示意图;
图3是本实用新型结构光传感器测量模型示意图;
图4是本实用新型由平行线靶标获取光平面的消隐点示意图;
图5是本实用新型光平面消隐线与消隐点之间的关系示意图;
图6是本实用新型结构光传感器标定中平面关系示意图。
其中:1.可升降主体;2.光栅结构光传感器;3.摄像机;4. 工控机;5.支架;6.连接线;7.待测物体。
具体实施方式
下面结合附图和实施例对本实用新型进一步说明。
如图1所示,一种物体三维信息采集装置,包括可升降主体1、光栅结构光传感器2、摄像机3、工控机4,其中光栅结构光传感器2 和摄像机3分左右两组通过支架5装夹于可升降主体1上并分别通过连接线6与工控机4相连。
对待测物体7三维信息进行采集时,左右两组光栅结构光传感器 2和摄像机3分别位于待测物体7的左右两侧,根据待测物体7的不同高度通过可升降主体1调节光栅结构光传感器2和摄像机3的相应高度,光栅结构光传感器2和摄像机3对待测物体7不同高度处的图像信息进行采集并将采集的数据传递给工控机4,工控机4对传递来的数据进行处理,形成物体的三维信息。
另外,光栅结构光传感器2和摄像机3还可以设置成多组,例如分左右前后四组设置,且分别位于待测物体的左右前后侧,其中两组光栅结构光传感器2和摄像机3可以对待测物体的高度图像信息进行采集,而另外两组光栅结构光传感器2和摄像机3可以对待测物体的宽幅或文理图像信息进行采集。
基于上述物体三维信息采集装置的采集方法,包括以下步骤:
(1)组建采集系统,形成三维信息采集模型;
(2)采用张正友平面靶标标定方法,对摄像机的内外参数进行标定,得到最优的摄像机内外参数;
在此,摄像机成像模型诠释了图像产生的过程,是光学系统成像原理的简化,通过将空间三维点投影到二维图像平面上,该过程由成像变换描述,即为摄像机成像模型。该模型基于透镜成像原理,属于非线性模型。
记u,f,v依次代表透镜的物距,焦距和像距,三者之间满足
一般来说,由于物距u远远大于焦距f,即u≥f,因此有:v=f,上述模型则退化为小孔成像模型。理想情况下,摄像机均满足小孔成像模型,但由于镜头存在多种畸变以及安装误差,实际情况中成像模型仍为非线性,如图2所示,真实投影像素Pu和理想投影像素Pd之间存在距离。由于摄相机成像过程涉及多个坐标系,因此先对其进行说明:
Ow-XwYwZw——世界坐标系,
Oc-XcYcZc——摄像机坐标系,
O-XY——以图像中心为原点、毫米(mm)为单位的图像坐标系,
O0-uv——以图像左上角为原点、像素(pixel)为单位的图像帧存坐标系。
理想情况下,点P在摄像机坐标系下三维坐标Pc(xc,yc,zc)与其在像平面上二维投影点Pu(Xu,Yu)之间的数学关系为式中的线性关系
其中f为摄像机焦距。
经过图像数字化采样,其物理坐标Pu(Xu,Yu)与像素坐标p(u,v)之间转换关系为
记世界坐标系为Ow-XwYwZw,摄像机局部坐标系为Oc-XcYcZc,两者之间旋转矩阵为R,平移矢量为T,则点P在世界坐标系下三维坐标Pw与其在摄像机局部坐标系下三维坐标Pc间存在以下转换关系
将式(3)-(4)代入式(5)即可得到一个完整的摄像机成像模型,如式(5)所示
其中,(u0,v0)为主点坐标;dX、dY分别为每个像素在X轴与Y 轴方向上的物理尺寸;ax、ay分别为u轴和v轴上的尺度因子,或称为 u轴和v轴上的规一化焦距,且ax=f/dX,ay=f/dY;γ为u轴与v 轴不垂直因子,通常情况下等于0。M为3×3投影矩阵,M1由ax、ay、 u0、v0决定,为摄像机内部参数矩阵;M2由R,T决定,为摄像机外部参数矩阵。
实际上摄像机成像系统并不是如式(5)所描述的理想线性系统,而是存在不同程度的畸变误差,这主要是由于我们使用的摄像相机的传感器设备的光学镜头由多片透镜组成,其中两片镜片为超级低色散镜片,一片为萤石镜片,例如佳能EF 70-200mm f/2.8L ISII USM镜头。由此可见,这些镜头制造工艺的瑕疵以及安装过程均有可能存在误差,会对式(5)理想成像模型造成影响,产生不同程度的非线性误差,即为畸变。畸变类型可分为径向畸变、离心畸变和薄棱镜畸变等。因此线性成像模型并不准确,需要引入各种畸变因子,由此形成的相机成像模型被称为非线性模型。非线性模型的突出优点在于其最大程度上模拟了复杂的光学成像系统并充分考虑了各种成像因素,因此能够得到较高精度。摄像机的径向畸变对于镜头的主光轴是对称分布的,正向为枕形畸变,负向为桶形畸变,主要由于镜头形状缺陷造成;切向畸变包括离心畸变和薄棱镜畸变,离心畸变由相机镜头中各透镜的光轴偏差造成,而薄棱镜畸变由镜头设计和制造工艺缺陷等因素造成,比如镜头与摄像机像面之间存在很小的倾角等。这类畸变等效于在光学系统中增加了一个薄棱镜,所以它不仅会引起径向偏差,也会引起切向误差。一般来说,越靠近图像边缘位置的像素其畸变越大,一个比较完整的相机畸变模型如式(6)所示
其中,Pu(Xu,Yu)为理想图像坐标,Pd(Xd,Yd)为畸变图像坐标,如图2所示,(k1,k2)为径向畸变系数;(p1,p2)为离心畸变系数;(s1,s2) 为薄棱镜畸变系数。该畸变模型考虑了摄像机镜头三种主要畸变并且忽略了高阶次项。
大量实验证明径向畸变是摄像机畸变的主要部分,其误差数量级显著高于其它种类畸变,因此一般情况下研究人员均采用Zhang中所述畸变模型,即只需考虑径向畸变误差,而理想像坐标(X,Y)与畸变像坐标(Xd,Yd)之间的关系为如式(7)所示
至此,摄像机的线性模型参数u0,v0,α,β,γ和畸变参数k1,k2一起构成了完整的摄像机非线性模型参数,即式(7)所示为畸变模型。
不失一般性,设平面靶标的模型点在世界坐标系下的坐标为 Pw=(xw,yw,zw)T,设其像点在图像像素坐标系下的坐标为m=(u,v,1)T。由前述的摄像机成像原理可得
其中,w为一未知常量,表示模型点在摄像机坐标系下的深度信息,K是内参矩阵,r1,r2表示旋转矩阵的前两列,t表示平移向量。由式(8)看到,模型点与像点之间的3×3变换矩阵只能在差一个常数因子的情况下确定。设该变换矩阵(通常称为单应矩阵)为H,即 H=λK[r1,r2 t],其中λ为一比例因子。由旋转矩阵的正交性可得约束式:
令B=K-TK-1=[bij]3×3,由式(9)可得关于bij的线性方程组
其中,vij=(hi1hj1,hi1hj2+hi2hj1,hi2hj2,hi1hj3+hi3hj1,hi2hj3+hi3hj2,hi3hj3)T, b=(b11,b12,b22,b13,b23,b33)T。给定n副图像,可得关于b的超定线性方程组
Vb=0 (10)
其中,V是一个2n*6的矩阵。未知向量b的解即矩阵V最小特征值对应的特征向量。然后,通过对矩阵B计算Cholesky分解可得内参矩阵K。当计算得到内参矩阵K后,外参可由下式计算
一般地,在利用上述线性方式求解得到内外参后,还需要进行非线性优化。在此不再赘述。
(3)对光栅结构光传感器进行标定,确定结构光平面在摄像机坐标系下的表达方程或者等效的表达形式;
在结构光视觉传感器中,结构光传感器与摄像机之间的关系固定不变,设结构光传感器τ光平面在摄像机坐标系下的表达式为
[Aτ,Bτ,Cτ,Dτ][X,Y,Z,1]T=0 (12)
如图3所示,O-XYZ为摄像机坐标系,o-xy为图像坐标系,空间点P(X,Y,Z)T位于光平面τ上,且其在图像平面的投影点p的坐标为 (x,y,1)T,理想情况下,P、p与摄像机的光心O共线,且满足如下关系:
其中,f0为摄像机的焦距。实际测量过程中,镜头不可避免的存在径向畸变和切向畸变,通常情况下以径向畸变为主,则图像点之间的关系由下式表示:
其中,(x,y)T为畸变图像坐标,为理想图像点的坐标,k1和k2为径向畸变系数。
结构光视觉传感器的标定方法不尽相同,但是,标定的最终目的都是为了确定光平面在摄像机坐标系下的表达式或者等效形式。下面介绍一种基于消隐线的标定方法。
首先,将平行线靶标放置于摄像机视场内,并保证待标定结构光传感器在平行线靶标上的投影在摄像机图像平面清晰成像。靶标平面上相邻平行线间距相等且精确已知。由于一个平面有且只有一条消隐线,则光平面τ在靶标平面的投影直线L与消隐线l的交点P,如图3所示,即为光平面τ的一个消隐点。
多次移动平面靶标,得到光平面τ的多个消隐点。每个平面只有一条消隐线且消隐点位于消隐线上,如图5所示,得到的消隐点P1~Pn拟合成直线lL即为光平面τ的消隐线。
由相关性质得到光平面τ的法向量计算公式:
平面靶标上平行直线的方向向量为摄像机光心到消隐点的向量。类似于公式(16),靶标平面的法向量由靶标平面的消隐线得到。
定义通过靶标上平行线且垂直于靶标平面的面为Sn (n=0,1,2,…),如图6所示,则该平面的法向量由下式得到
对平面的法向量进行归一化,则平面Sn的表达式为
定义靠近摄像机坐标系Z轴的光平面为S0,靶标平面上平行线的间距d精确已知,则Sn平面方程中参数由下式确定。
其中,空间点T0-Tn同时位于光平面,靶标平面以及平面Sn上,联立方程(13)、(14)、(18)计算出光平面τ表达式中的参数Dτ,从而得到光平面的完整表达式,完成光平面的标定。
光平面标定完成,即确定了光平面在摄像机坐标系下的表达式。对于光平面上的点,由摄像机模型与光平面表达式联立即可确定光平面上的点在摄像机坐标系下的三维空间坐标。
(4)提取物体信息特征,分别应用骨架思想,聚类思想以及遗传算法获得曲线特征的信息;
在光栅式多目视觉测量系统的测量过程中,摄像机获取的图像特征点为主动投射的结构光光条的中心点。目前为止,关于曲线结构中心点的提取有多种方式。Jeong-HunJang等人将骨骼思想引入曲线特征中心的提取中,通过基于图像边缘的欧氏距离的映射,获得骨骼候选点,并将候选点分为脊点,混乱点和梯度点三类,从中得到曲线特征的信息;Derek C.Stanford等人通过聚类的方法,由图像中点的信息来拟合曲线的信息,由各个位置点的数量,判断曲线的走势以及中心位置;Byoung-Ki Jeon等人将遗传算法引入曲线的信息获取中,通过对图像进行去除噪声、分割等预处理,该算法可以快速有效的获取航空图像的道路信息。以上三种曲线特征的提取方法分别应用骨架思想,聚类思想以及遗传算法获得曲线特征的信息,但是,在提取过程中,其或多或少的存在以下问题a)计算量大,由于需要区分大量的候选点,且在诸如遗传算法的优化算法中,需要进行多次迭代,使得计算量增加;b)在非对称情况严重时,往往会使得曲线特征中心和边缘的信息存在较大偏差。鉴于此,Steger对曲线特征的截面信息进行建模,通过曲线特征截面的灰度值模型与相应的高斯核进行卷积来近似曲线特征的一阶导数和二阶导数,由一阶导数的零值点以及二阶导数的零值点,分别得到曲线特征的中心以及曲线的宽度信息。由数值分析中的二分法,得到曲线特征相应变量和偏差之间的函数关系,并对中心位置和曲线的宽度进行校正,获得精度较高的曲线中心以及宽度信息。在Steger曲线特征中心提取的方法中,分别应用三种模型对曲线特征图像的强度截面进行拟合,即条状模型,二次曲线模型和高斯曲线模型。三种模型中经过偏差校正后,高斯模型的精确度最高;Zhou等人将Steger曲线特征提取中的条状模型应用于结构光光条中心的提取中,使得光条中心的坐标达到亚像素级,被广泛应用在主动视觉的图像处理中。
在一维空间上,Steger的算法最初应用条状模型fb和二次曲线模型fp对曲线结构的截面进行拟合,之后将Gaussian函数fg引入用以对曲线结构的截面进行描述,使得拟合结果更加准确。三个模型的表达式如下:
其中,w为光条截面的宽度,a为光条的不对称度。
在二维空间上,利用Hessian矩阵确定图像中线条中心的法向量方向,通过求解法向量方向上的极值点确定线条边缘的位置,其精度可以达到亚像素级。该方法首先需要将图像与相应的高斯核函数进行卷积得到相应的偏导数,进而得到二维图像每个像素点的Hessian矩阵表示:
其中,hxx、hxy、hyy为图像与二阶离散高斯核函数的偏导数g进行卷积的值:
公式(24)中相关符号的定义如下:
由于Hessian矩阵的两个特征值分别代表图像灰度函数的二阶导数的极大值和极小值,即,其表示的是灰度值变化最为剧烈的方向和最为平缓方向的变化程度。因此,Hessian矩阵的最大绝对值的特征向量即为线条的边缘方向。
由于曲线特征的边缘中心点处的一阶导数为零,将像素的灰度值表示进行泰勒展开,并令其一阶导数为零,得到曲线中心的亚像素级坐标为:
(px,py)=(tnx+x0,tny+y0), (27)
其中,
且tnx∈[-0.5,0.5],tny∈[-0.5,0.5]。
(5)应用多层感知机识别未知环境中的特征点,并对参数进行量化,通过对应特征库样本的区间,给出待测物体基本情况量化评估。
多层感知机至少包括三层:输入层,输出层和隐藏层。如果多层感知机各个神经元之间的激活函数是线性的,即各神经元之间的输入权重和输出量之间为线性关系,那么,任意层数的感知机可以被简化为两层输入输出模型;如果一个多层感知机为非线性激活函数,则其可用来表达更加普遍的问题。
两类常用的隐藏层激活函数为双曲正切函数和逻辑函数。其中,双曲正切函数为
其范围为-1到1。逻辑函数为
其形状相似,但是范围为0到1。
对于输出函数而言,常用的激活函数为逻辑函数、柔性函数和 sigmod函数,其中,柔性函数被得到广泛的应用。柔性函数的表达如下:
多层感知机柔性函数常被应用于复杂的随机问题实现上,并取得了良好的效果。
在测量时,根据待测物体,例如矿物岩石,根据其原有的色泽和纹理特性,提取其现有的色泽和纹理特征,建立色泽和纹理特征库。通过多层感知机原理对该参数进行量化,通过识别色泽和纹理,给出对应特征库样本的区间,由此给出矿物岩石的变化情况量化评估。
本实用新型提供的一种物体三维信息采集方法,其中摄像机内参标定使用平面棋盘格靶标进行相应的操作,其标定的具体流程如下:
(1)使用标定板对不同位置、不同角度、不同姿态下拍摄的图片进行标定,最少需要3张,以10~20张为宜;标定板需要是黑白相间的矩形构成的棋盘图;
(2)对每一张标定图片,提取亚像素角点信息;
(3)获取到棋盘标定图角点图像坐标之后,根据前述摄像机标定原理,计算摄像机内外参系数;
(4)对计算得到的摄像机内外参数进行进一步优化,得到最优的摄像机内外参数。
至此,摄像机的内部参数即可确定,同时,将平面靶标在矿物岩石平面摆放,由摄像机获取平面靶标的图像。由前述标定原理,即可确定摄像机图像平面与矿物岩石平面之间的单应关系矩阵。
本实用新型提供的一种物体三维信息采集方法,其中光栅结构光传感器标定的目的,是为了确定结构光平面在摄像机坐标系下的表达方程或者等效的表达形式,其标定流程如下:
(1)标定摄像机的内参,该部分参考摄像机内参标定的具体流程;
(2)将结构光标定靶标在空间中呈不同位置摆放,使得结构光在靶标平面的投射光条能够在摄像机图像平面清晰成像;
(3)利用图像特征提取方法对光条的中心点坐标进行提取,提取精度达到亚像素级;
(4)利用结构光视觉传感器测量模型和标定方法,确定光平面在摄像机坐标系下的法向量,并最终确定光平面在摄像机坐标系下的完整表达方程;
(5)对光栅结构传感器中每个光平面依次重复上述操作,即可确定光栅传感器中所有光平面在摄像机中的表达方程。
至此,光栅结构光传感器标定结束。
本实用新型提供的一种物体三维信息采集方法,以矿物岩石为例,其系统测量主要分为色泽等参数的测量,以及对纹理信息的测量。其中
对色泽参数的测量流程如下:
(1)摄像机获取矿物岩石图像,包括整体图像,以及局部图像;
(2)对图像的矿物岩石特征进行提取;
(3)由标定结果,对图像进行畸变校正;
(4)由标定结果中单应矩阵的关系和图像特征点确定实际中的物理量;
对纹理参数的测量流程如下:
(1)光栅结构光传感器向被测矿物岩石表面投射激光光条;
(2)由摄像机获取经过矿物岩石表面调制的光栅激光图像;
(3)对光栅激光图像进行特征提取,得到亚像素级的光栅激光中心点坐标;
(4)由标定得到的结果,重建矿物岩石表面的三维信息。
由三维信息即可确定相应色泽和纹理等信息,从而完成矿物岩石表面物理参数的测量。
上述虽然结合附图对本实用新型的具体实施方式进行了描述,但并非对本实用新型保护范围的限制,所属领域技术人员应该明白,在本实用新型的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本实用新型的保护范围以内。