CN106600651A - 一种成像系统的建模方法 - Google Patents

一种成像系统的建模方法 Download PDF

Info

Publication number
CN106600651A
CN106600651A CN201611146726.1A CN201611146726A CN106600651A CN 106600651 A CN106600651 A CN 106600651A CN 201611146726 A CN201611146726 A CN 201611146726A CN 106600651 A CN106600651 A CN 106600651A
Authority
CN
China
Prior art keywords
model
pixel
coordinate
imaging system
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611146726.1A
Other languages
English (en)
Other versions
CN106600651B (zh
Inventor
李中伟
刘行健
史玉升
钟凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201611146726.1A priority Critical patent/CN106600651B/zh
Publication of CN106600651A publication Critical patent/CN106600651A/zh
Application granted granted Critical
Publication of CN106600651B publication Critical patent/CN106600651B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种成像系统的建模方法,其包括如下步骤:S1建立图像平面的任意一个像素点的像素坐标u与该像素点在三维空间中对应的直线l间的关系,进而推算获得成像模型,S2解算成像模型中的模型矩阵M,获得成像系统的模型,S3对成像系统的模型进行误差评估,获得误差评估值,S4若误差评估值落入设定范围,判定成像系统的模型建模成功,若误差评估值不落入设定范围,则继续解算模型矩阵并再次进行误差评估,直到获得的误差评估值落入设定范围。本发明基于成像系统的连续性约束原则,利用径向基算子建立了成像系统的模型,还利用了误差模型进行了模型的误差评估,本发明方法在保证成像系统的模型精度的前提下,降低了模型的复杂度。

Description

一种成像系统的建模方法
技术领域
本发明属于计算机视觉领域,具体涉及一种针对复杂成像系统的通用模型的建模方法。
背景技术
目前,计算机视觉技术在现实生活中应用越来越多。其中,相机的成像模型与标定算法是两个非常重要的研究主题。现有大部分相机都可利用透视模型(小孔成像模型)进行建模。在此模型中,图像的像素点对应的空间直线都会会聚在空间中的一点,我们将此点称为单视点(single view point),并且空间点和像素点之间的位置关系可以用一个11自由度的自由矩阵来表示。基于以上几何约束,Tasi[Tsai R.A versatile cameracalibration technique for high-accuracy 3D machine vision metrology usingoff-the-shelf TV cameras and lenses.IEEE Journal on Robotics and Automation,1987,3(4):323-344.],Zhang[Zhang Z.A flexible new technique for cameracalibration.IEEE Transactions on pattern analysis and machine intelligence,2000,22(11):1330-1334.]等人实现了针对透视模型的相机建模算法。
在实际应用中,也有一些相机模型满足单视点约束,但是并不符合小孔成像模型,他们被称作中心相机模型,例如:Baker及Nayar[Baker S,Nayar S K.A theory ofsingle-viewpoint catadioptric image formation.International Journal ofComputer Vision,1999,35(2):175-196]提出的反射折射相机模型(英文简称:catadioptric camera models),该模型由一个透视模型的相机和一个二次曲面镜组成。针对中心相机模型,Hartley[Hartley R,Kang S B.Parameter-free radial distortioncorrection with center of distortion estimation.IEEE Transactions on PatternAnalysis and Machine Intelligence,2007,29(8):1309-1321.],Nister[Nistér D,Stewénius H,Grossmann E.Non-parametric self-calibration.Tenth IEEE InternationalConference on Computer Vision(ICCV'05)Volume 1.IEEE,2005,1:120-127]和Ramalingam[Ramalingam S,Sturm P,Lodha S K.Generic self-calibration of centralcameras.Computer Vision and Image Understanding,2010,114(2):210-219]等人相继提出了数学模型及相应的模型标定算法。
随着更多的成像需求产生,更复杂的成像系统被研发出来。其中,一部分成像系统空间中的投影直线不再相交于一点。这一类相机通常被称为非中心相机模型,典型的代表是:由透视相机和一个非规则曲面镜组成的反射折射系统、线性相机系统、鱼眼相机及全景相机等。他们的优势是视场范围大,成像范围广,因此在机器人视觉和可视化研究方面产生了众多的应用。
但是,针对上述非中心相机模型,传统的透视成像模型并不能很好的参数化表征其成像过程,这限制了其在视觉测量、跟踪等领域的进一步应用。针对这一问题,Nayar等人[Grossberg M D,Nayar S K.A general imaging model and a method for finding itsparameters.ICCV 2001.Proceedings.Eighth IEEE International Conferenceon.IEEE,2001,2:108-115]提出了通用成像模型。通用成像模型的本质在于令图像上的二维点和空间中的三维直线产生一一对应关系,进而此模型不依赖于任何假设,可以表征任何的成像系统。但是,对于此模型的建模,大部分工作都采用了一种离散的无参数化的模型。即标定每一个像素所对应的直线,这在实际应用上是极为困难的。
为了简化此标定过程,一部分研究着眼与解决像素之间的插值问题研究,标定特定的像素和直线关系,并根据相邻一致原则进行插值计算。对于一个像素,有7个直线方程的参数需要被计算出来,对于一个M行N列的图像来说,表征整个系统参数便需要7MN个参数。这使得此模型的系统复杂度大大增加。
综上所述,为复杂成像系统建立数学模型仍是十分困难的。因此,需要开发一种确实可行的复杂成像系统视觉模型和其对应的标定方法。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种成像系统的建模方法,其基于成像系统的连续性原理,建立了通用的成像模型以及对模型进行了误差评估,使得本发明方法获得的模型准确可行。
为实现上述目的,按照本发明的一个方面,提供了一种成像系统的建模方法,其包括如下步骤:
S1:建立图像平面的任意一个像素点的像素坐标u与该像素点在三维空间中对应的直线l间的关系,进而推算获得成像模型,所述成像模型如下:
l=(s1(u),...,s6(u))=(Mφ(u) p(u))M
其中,u为图像平面的任意一个像素点的像素坐标,l为所述图像平面的任意一个像素点在三维空间对应的直线,p(u)=(1 u1 u2),其中的u1,u2为像素坐标u的两个向量坐标值,M为模型矩阵,核函数矩阵Mφ(u)=[φ(||u-c1||),φ(||u-c2||),...,φ(||u-cN||)],φ为径向基算子的核函数,ci(i=1...N)为随机选取的标定图像上的样本点,样本点根据K-means选取,N表示样本点个数,(s1(u),s2(u),s3(u),s4(u),s5(u),s6(u))表示利用径向基算子表达的六个参数,所述六个参数是指直线l在普朗克坐标系下的六个参数,
S2:解算模型矩阵M,获得成像系统的模型,
S3:对步骤S2获得的成像系统的模型进行误差评估,获得误差评估值,
S4:若所述误差评估值落入设定范围,判定所述成像系统的模型建模成功,
若所述误差评估值不落入设定范围,则继续解算所述模型矩阵并再次进行误差评估,直到获得的误差评估值落入设定范围。
进一步的,步骤S1中,建立图像平面的任意一个像素点的像素坐标u与该像素点在三维空间中对应的直线l间的关系,进而推算获得成像模型的具体过程如下:
图像平面上任意一个像素点在三维空间中对应的直线l在普朗克坐标系下表达为:
其中,X=(x0,x1,x2,x3),Y=(y0,y1,y2,y3)分别为图像平面上像素点在三维空间中对应的直线l上任意两点的齐次坐标,∧表示求解两点直线方程算子,lij=xiyj-xjyi,其中,lij=(l01,l02,l03,l23,l31,l12),(l01,l02,l03,l23,l31,l12)表示直线l在普朗克坐标系下的六个参数,d,m称为直线的方向和矩,d,m两者相互正交,R6表示l为六维向量坐标,
采用了径向基算子来表达直线l和像素坐标u的关系,具体的,将直线l在普朗克坐标系下的六个参数分别用像素坐标u作为变元的径向基算子表示如下:
l=(l01,l02,l03,l23,l31,l12)=(s1(u),s2(u),s3(u),s4(u),s5(u),s6(u))
其中,(l01,l02,l03,l23,l31,l12)表示直线l在普朗克坐标系下的六个参数,(s1(u),s2(u),s3(u),s4(u),s5(u),s6(u))表示利用径向基算子表达的所述的六个参数,
其中,对于(s1(u),s2(u),s3(u),s4(u),s5(u),s6(u))中的一个算子表达s(u),如下:
其中,ci(i=1...N)为随机选取的样本点,样本点根据K-means选取,N表示样品点个数。||.||向量的2范数,φ为径向基算子的核函数,k0,kx与h1,h2,…,hN均为径向基算子待求系数,
所述的径向基算子的核函数φ为高斯函数φ(r)=exp(-β2r2)或者multi-quadricsφ(r)=(β2+r2)1/2,其中,β为形状参数,r为||u-ci||的简写,
对于(s1(u),s2(u),s3(u),s4(u),s5(u),s6(u))中的一个算子表达s(u)的矩阵形式为:
其中,径向基算子待求系数k=(k0,kx)与h=(h1,h2,…,hN)合并表示为Mhk,称之为合并系数,Mφ(u)=[φ(||u-c1||),φ(||u-c2||),...,φ(||u-cN||)]表示核函数矩阵,p(u)=(1 u1 u2)中,u1,u2为像素坐标u的两个向量坐标值,
则,对于图像平面上一个像素点的坐标u所对应的直线l的六个参数可表示为:
其中,是指si(u)对应的合并系数,i=1,...,6,
接着进行推算,可表示为:
其中,为本发明通用成像模型的中待标定矩阵,称之为模型矩阵,
则,对于一个给定的样品点集合ci(i=1...N)、矩阵M以及径向基因子核函数矩阵Mφ(u),直线l的六个参数可表示如下:
l=(s1(u),...,s6(u))=(Mφ(u) p(u))M
其中,Mφ(u)=[φ(||u-c1||),φ(||u-c2||),...,φ(||u-cN||)]表示核函数矩阵,p(u)=(1 u1 u2)中u1,u2为像素坐标u的两个向量坐标值。
进一步的,解算模型矩阵M的具体过程如下:
首先,根据成像系统的视场范围选择设定尺寸的标定物,移动标定物多次并拍摄至少三幅标定物的图像,称为标定图像,提取标定图像圆心之后可得到多组圆心的像素坐标以及该多组圆心的像素坐标分别对应的三维空间坐标,根据Kmeans准则,从中选取数量为N的样本点集{c=c1,...cN},用于解算M矩阵,
接着,根据径向基因子核函数和样本点集{c=c1,…cN},计算对应的核函数矩阵Mφ(u)及p(u)=(1 u1 u2),p(u)=(1 u1 u2)中,u1,u2为像素坐标u的两个向量坐标值,
在普朗克坐标系下,验证图像平面上一个像素点所对应的三维坐标P是否在直线l上,采用如下公式进行验证计算:
其中,[P]x为P的反对称矩阵,I表示单位向量,对于标定时给定的图像像素坐标及该图像像素坐标在三维空间的对应点P,P点必然在图像坐标u点对应的空间直线l上,则可得:
(Q(P)l)T=lTQ(P)T=0
将式l=(s1(u),...,s6(u))=(Mφ(u) p(u))M代入(Q(P)l)T=lTQ(P)T=0中,可得如下公式:
再利用克罗内克(Kronecker)积进行展开,得到:
其中,vec(M)表示矩阵M的向量化,它是把M的所有列堆起来所形成的列向量,表示克罗内克(Kronecker)积,R(u)表示((Mφ(u) p(u))),
对于一个成像系统,假设存在K组对应点则由可得:
其中,D表示由径向基函数性质得到的额外的约束矩阵,vec(M)表示模型矩阵M的向量化。
因此,vec(M)的解即是的零空间,即,
vec(M)∈null(H)
其中,null表示求零空间。
进一步的,步骤S3中,采用误差模型对步骤S2获得的成像系统的模型进行误差评估,获得误差评估值中,所述误差模型满足如下条件:
对于一个成像系统所拍摄图像上的一点upixel,根据本发明提供的成像模型计算出其对应的直线方程lu,若已知upixel对应的世界坐标系uworld,则可以计算该点upixel与直线方程lu的点线距离d,该距离越小说明成像系统的模型越准确。
进一步的,步骤S4中,所述设定范围为0.5像素。
本发明提供一种复杂成像系统的通用成像模型及标定方法,采用基于成像系统的连续性约束原则,利用径向基算子建立了通用成像模型并进行参数化表达,从而在保证标定精度的前提下,降低了模型复杂度;此基础上,建立了点线误差模型对标定精度进行评估,并对模型参数进行进一步优化,最终实现复杂成像系统的通用建模以及标定过程。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,能够取得下列有益效果:
此方法与透视模型(小孔成像模型)以及中心相机模型等传统相机参数化模型相比,具有为复杂成像系统建模的能力,通用性更强。与Nayar等人[Grossberg M D,Nayar SK.A general imaging model and a method for finding its parameters.ICCV2001.Proceedings.Eighth IEEE International Conference on.IEEE,2001,2:108-115.]提出的离散通用成像模型相比,由于利用像素之间的连续性约束,模型复杂度大大降低,并且实现了参数化表示,这令通用成像模型在应用上成为了现实。
附图说明
图1为本发明实施例提供的连续通用成像模型示意图;
图2为本发明实施例提供的复杂成像系统标定流程图;
图3为本发明实施例提供的典型标定图像。
在所有的附图中,相同的附图标记表示相同的元件或者结构,其中:
1-点的像素坐标 2-图像平面
3-复杂成像系统 4-复杂成像系统中三维空间的直线
5-图像平面上一点对应的三维坐标
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
图1为本发明实施例提供的连续通用成像模型示意图,如图1所示,定义图像平面2上一个像素点1的像素坐标为u,3为待建模及标定的复杂成像系统,4为图像平面2上一个像素点1在三维空间中对应的直线l,5为图像平面2上一个像素点1所对应的三维坐标P。
本发明所提供的通用成像模型的建模方法如下:
图像平面2上一个像素点1在三维空间中对应的直线l在普朗克坐标系下表达为:
其中,X=(x0,x1,x2,x3),Y=(y0,y1,y2,y3)分别为图像平面2上像素点1在三维空间中对应的直线l上任意两点的齐次坐标,∧表示求解两点直线方程算子,lij=xiyj-xjyi,其中,lij=(l01,l02,l03,l23,l31,l12),(l01,l02,l03,l23,l31,l12)表示直线l在普朗克坐标系下的6个参数,d,m称为直线的方向和矩,d,m两者相互正交,R6表示l为六维向量坐标。
本发明所提供的通用成像模型的核心思路便是参数化图像中像素点的像素坐标u和该像素点对应的直线方程l之间的关系,即给定一个像素坐标u,可以计算出与该像素坐标u对应的直线方程l在普朗克坐标系下的6个参数。
本发明采用了径向基算子来表达直线l和像素u的关系,径向基算子是一种数学领域的插值算法,详见:(Buhmann M D.Radial basis functions:theory andimplementations[M].Cambridge university press,2003.)。具体的,将直线l在普朗克坐标系下的6个参数分别用像素坐标u作为变元的径向基算子来表示如下:
l=(l01,l02,l03,l23,l31,l12)=(s1(u),s2(u),s3(u),s4(u),s5(u),s6(u)) (3)
其中,(l01,l02,l03,l23,l31,l12)表示直线l在普朗克坐标系下的6个参数。(s1(u),s2(u),s3(u),s4(u),s5(u),s6(u))表示利用径向基算子表达的所述的6个参数。
其中,对于(s1(u),s2(u),s3(u),s4(u),s5(u),s6(u))中的一个算子表达s(u),如下:
其中,ci(i=1...N)为随机选取的样本点,样本点根据K-means选取的,N表示样品点个数。||.||向量的2范数,φ为径向基算子的核函数,k0,kx与h1,h2,…,hN均为径向基算子待求系数。
对于上述的径向基算子的核函数φ,可以分为有形核函数和无形核函数。其中,无形核函数包括样条函数,如:φ(r)=r2log(r),φ(r)=r2。有形核函数包括:高斯函数φ(r)=exp(-β2r2),multi-quadrics(中文:多重二次曲面函数):φ(r)=(β2+r2)1/2,其中,β为形状参数,r为||u-ci||的简写。
本发明中应用高斯核函数和multi-quadrics(中文:多重二次曲面函数)函数均可获得良好的效果。
对于(s1(u),s2(u),s3(u),s4(u),s5(u),s6(u))中的一个算子表达s(u)的矩阵形式为:
其中,径向基算子待求系数k=(k0,kx)与h=(h1,h2,…,hN)合并表示为Mhk,称之为合并系数,Mφ(u)=[φ(||u-c1||),φ(||u-c2||),...,φ(||u-cN||)]表示核函数矩阵,p(u)=(1 u1 u2)中,u1,u2为像素坐标u的两个向量坐标值。
综上,对于图像平面上一个像素点的坐标u所对应的直线l的六个参数可表示为:
其中,是指si(u)对应的合并系数,i=1,...,6。
进一步进行数学换算,可表示为:
其中,为本发明通用成像模型的中待标定矩阵,称之为模型矩阵。
因此,对于一个给定的样品点集合ci(i=1...N)、矩阵M以及径向基因子核函数矩阵Mφ(u),直线l的六个参数可表示如下:
l=(s1(u),...,s6(u))=(Mφ(u) p(u))M
其中,Mφ(u)=[φ(||u-c1||),φ(||u-c2||),...,φ(||u-cN||)]表示核函数矩阵,p(u)=(1 u1 u2)中u1,u2为像素坐标u的两个向量坐标值,为本发明通用成像模型的中待标定矩阵,称之为模型矩阵。
公式l=(s1(u),...,s6(u))=(Mφ(u) p(u))M即为本发明提供的成像系统的通用成像模型的参数化表达。
图2为本发明实施例提供的复杂成像系统标定流程图,如图2所示,本发明所提供的一种成像系统的通用成像模型的标定方法为求解模型矩阵M的方法(标定即为求解模型矩阵M),其具体步骤如下:
第一步,根据成像系统的视场范围选择设定尺寸的标定物,本发明采用的一种标定物如图3所示,其为一种典型标定物。移动标定物多次并拍摄至少三幅标定物的图像,称为标定图像,提取标定图像圆心之后可得到多组圆心的像素坐标以及该多组圆心的像素坐标分别对应的三维空间坐标,根据Kmeans准则[Krishna K,Murty M N.Genetic K-meansalgorithm.IEEE Transactions on Systems,Man,and Cybernetics,Part B(Cybernetics),1999,29(3):433-439],从中选取数量为N(通常样本点集数量占标定图像总圆心数的1/3以上,比如标定图像上有总共99个圆心,至少提出33个样本点集)的样本点集{c=c1,…cN},用于解算M矩阵。
第二步,选择径向基因子核函数φ(u)(本发明实施中,以高斯核函数和multi-quadrics作为径向基因子核函数φ(u)为宜),根据径向基因子核函数和样本点集{c=c1,...cN},计算对应的核函数矩阵Mφ(u)及p(u)=(1 u1 u2),p(u)=(1 u1 u2)中,u1,u2为像素坐标u的两个向量坐标值。
第三步,求解模型矩阵M,本发明采用如下流程求解M:在普朗克坐标系下,验证图像平面2上一个像素点1所对应的三维坐标P是否在直线l上,采用如下公式进行验证计算:
其中,[P]x为P的反对称矩阵,I表示单位向量,对于标定时给定的图像像素坐标及该图像像素坐标在三维空间的对应点P,P点必然在图像坐标u点对应的空间直线l上,则可得:
(Q(P)l)T=lTQ(P)T=0,
将式l=(s1(u),...,s6(u))=(Mφ(u) p(u))M代入公(Q(P)l)T=lTQ(P)T=0中,可得如下公式:
再利用克罗内克(Kronecker)积进行展开,即可得到:
其中,vec(M)表示矩阵M的向量化,它是把M的所有列堆起来所形成的列向量,表示克罗内克(Kronecker)积,R(u)表示((Mφ(u) p(u))),
对于一个成像系统,如果存在着K组对应点那么由可得:
其中,D表示由径向基函数性质得到的额外的约束矩阵,vec(M)表示模型矩阵M的向量化。
因此,vec(M)的解即是的零空间,即:
vec(M)∈null(H)
其中,null表示求零空间。
第四步,对获得的模型进行误差评估。求解获得的模型矩阵M后,还需要对成像模型进行误差评估,误差评估采用点线误差模型。
本发明提供的点线误差模型定义如下:
对于一个成像系统所拍摄图像上的一点upixel,可以根据本发明提供的成像模型计算出其对应的直线方程lu,若已知upixel对应的世界坐标系uworld,则可以计算该点upixel与直线方程lu的点线距离d,该距离越小说明模型越准确。
如误差评估值在设定范围之内,则判定建模成功,
否则,更换新的径向基因子形函数φ(r)与样本点数目N以及样本点集{c=c1,…ci},重新解算矩阵M以及再次进行误差评估,直至误差评估值在设定范围内,则判定建模成功。所述设定范围为0.5像素。
本发明提供了一种复杂成像系统的连续通用模型及标定方法。该方法基于成像系统的连续性原理,建立了连续通用成像模型和其对应的标定方法。其中,连续性原理指的是对于某一特定的成像系统,图像上相邻的像素点具有相近的对应直线方程,即直线L3随着像素点P2的变化而连续变化。本发明充分利用了这一特性,利用径向基函数对连续性进行了建模,实现了对于一个给定的像素点,便可以通过该模型计算出其对应的直线方程。
本发明提供的一种复杂成像系统的连续通用模型及标定方法,该方法采用基于成像系统的连续性约束原则,利用径向基函数建立连续通用成像模型并进行了参数化表达,从而在保证标定精度的前提下,降低了模型复杂度;此基础上,建立了点线误差模型对标定精度进行评估,并对模型参数进行进一步优化,从而最终实现复杂成像系统的通用建模以及标定过程。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (5)

1.一种成像系统的建模方法,其特征在于,其包括如下步骤:
S1:建立图像平面的任意一个像素点的像素坐标u与该像素点在三维空间中对应的直线l间的关系,进而推算获得成像模型,所述成像模型如下:
l=(s1(u),...,s6(u))=(Mφ(u) p(u))M
其中,u为图像平面的任意一个像素点的像素坐标,l为所述图像平面的任意一个像素点在三维空间对应的直线,
p(u)=(1 u1 u2),其中的u1,u2为像素坐标u的两个向量坐标值,M为模型矩阵,核函数矩阵Mφ(u)=[φ(||u-c1||),φ(||u-c2||),...,φ(||u-cN||)],φ为径向基算子的核函数,ci(i=1...N)为随机选取的标定图像上的样本点,样本点根据K-means选取,N表示样本点个数,(s1(u),s2(u),s3(u),s4(u),s5(u),s6(u))表示利用径向基算子表达的六个参数,所述六个参数是指直线l在普朗克坐标系下的六个参数,
S2:解算模型矩阵M,获得成像系统的模型,
S3:对步骤S2获得的成像系统的模型进行误差评估,获得误差评估值,
S4:若所述误差评估值落入设定范围,判定所述成像系统的模型建模成功,
若所述误差评估值不落入设定范围,则继续解算所述模型矩阵并再次进行误差评估,直到获得的误差评估值落入设定范围。
2.如权利要求1所述的一种成像系统的建模方法,其特征在于,步骤S1中,建立图像平面的任意一个像素点的像素坐标u与该像素点在三维空间中对应的直线l间的关系,进而推算获得成像模型的具体过程如下:
图像平面上任意一个像素点在三维空间中对应的直线l在普朗克坐标系下表达为:
其中,X=(x0,x1,x2,x3),Y=(y0,y1,y2,y3)分别为图像平面上像素点在三维空间中对应的直线l上任意两点的齐次坐标,∧表示求解两点直线方程算子,lij=xiyj-xjyi,其中,lij=(l01,l02,l03,l23,l31,l12),(l01,l02,l03,l23,l31,l12)表示直线l在普朗克坐标系下的六个参数,d,m称为直线的方向和矩,d,m两者相互正交,R6表示l为六维向量坐标,
采用了径向基算子来表达直线l和像素坐标u的关系,具体的,将直线l在普朗克坐标系下的六个参数分别用像素坐标u作为变元的径向基算子表示如下:
l=(l01,l02,l03,l23,l31,l12)=(s1(u),s2(u),s3(u),s4(u),s5(u),s6(u))
其中,(l01,l02,l03,l23,l31,l12)表示直线l在普朗克坐标系下的六个参数,(s1(u),s2(u),s3(u),s4(u),s5(u),s6(u))表示利用径向基算子表达的所述的六个参数,
其中,对于(s1(u),s2(u),s3(u),s4(u),s5(u),s6(u))中的一个算子表达s(u),如下:
s ( u ) = k 0 + k x T u + Σ i = 1 N h i φ ( | | u - c i | | )
其中,ci(i=1...N)为随机选取的样本点,样本点根据K-means选取,N表示样品点个数,||.||向量的2范数,φ为径向基算子的核函数,k0,kx与h1,h2,…,hN均为径向基算子待求系数,
所述的径向基算子的核函数φ为高斯函数φ(r)=exp(-β2r2)或者multi-quadricsφ(r)=(β2+r2)1/2,其中,β为形状参数,r为||u-ci||的简写,
对于(s1(u),s2(u),s3(u),s4(u),s5(u),s6(u))中的一个算子表达s(u)的矩阵形式为:
其中,径向基算子待求系数k=(k0,kx)与h=(h1,h2,…,hN)合并表示为Mhk,称之为合并系数,Mφ(u)=[φ(||u-c1||),φ(||u-c2||),...,φ(||u-cN||)]表示核函数矩阵,p(u)=(1 u1 u2)中u1,u2为像素坐标u的两个向量坐标值,
则,对于图像平面上一个像素点的坐标u所对应的直线l的六个参数可表示为:
l = ( s 1 ( u ) , ... , s 6 ( u ) ) = M φ ( u ) p ( u ) M h k ( 1 ) M φ ( u ) p ( u ) M h k ( 2 ) ... M φ ( u ) p ( u ) M h k ( 6 )
其中,是指si(u)对应的合并系数,i=1,...,6,
接着进行推算,可表示为:
其中,为本发明通用成像模型的中待标定矩阵,称之为模型矩阵,
则,对于一个给定的样品点集合ci(i=1...N)、矩阵M、径向基因子核函数矩阵Mφ(u)以及直线l的六个参数间关系可表示如下:
l=(s1(u),...,s6(u))=(Mφ(u) p(u))M
其中,Mφ(u)=[φ(||u-c1||),φ(||u-c2||),...,φ(||u-cN||)]表示核函数矩阵,p(u)=(1 u1 u2)中u1,u2为像素坐标u的两个向量坐标值。
3.如权利要求1或2所述的一种成像系统的建模方法,其特征在于,步骤S2中,解算模型矩阵M的具体过程如下:
首先,根据成像系统的视场范围选择设定尺寸的标定物,移动标定物多次并拍摄至少三幅标定图像,提取标定图像圆心之后得到多组圆心的像素坐标以及该多组圆心的像素坐标分别对应的三维空间坐标,根据Kmeans准则,从中选取数量为N的样本点集{c=c1,...cN},
接着,根据径向基因子核函数和样本点集{c=c1,...cN}计算对应的核函数矩阵Mφ(u)及p(u)=(1 u1 u2),
在普朗克坐标系下,验证图像平面上一个像素点所对应的三维坐标P是否在直线l上,采用如下公式进行验证计算:
[ P ] x - I 0 T P T l = 0
其中,[P]x为P的反对称矩阵,I表示单位向量,对于给定的图像像素坐标及该图像像素坐标在三维空间的对应点P,P点必然在图像坐标u点对应的空间直线l上,则可得:
(Q(P)l)T=lTQ(P)T=0
将式l=(s1(u),...,s6(u))=(Mφ(u) p(u))M代入(Q(P)l)T=lTQ(P)T=0中,可得如下公式:
再利用克罗内克(Kronecker)积进行展开,得到:
[ Q ( P ) ⊗ R ( u ) ] v e c ( M ) = 0
其中,vec(M)表示矩阵M的向量化,是把M的所有列堆起来所形成的列向量,表示克罗内克(Kronecker)积,R(u)表示((Mφ(u) p(u))),
对于一个成像系统,假设存在K组对应点则由可得:
H v e c ( M ) = 0 , H = Q ( P 1 ) ⊗ r ( u 1 ) Q ( P 2 ) ⊗ r ( u 2 ) . . . Q ( P K ) ⊗ r ( u K ) D
其中,D表示由径向基函数性质得到的额外的约束矩阵,vec(M)表示模型矩阵M的向量化,
因此,vec(M)的解即是 H = Q ( P 1 ) ⊗ r ( u 1 ) Q ( P 2 ) ⊗ r ( u 2 ) . . . Q ( P K ) ⊗ r ( u K ) D 的零空间,即,
vec(M)∈null(H)
其中,null表示求零空间。
4.如权利要求3所述的一种成像系统的建模方法,其特征在于,步骤S3中,采用误差模型对步骤S2获得的成像系统的模型进行误差评估,获得误差评估值中,所述误差模型满足如下条件:
对于一个成像系统所拍摄图像上的一点upixel,根据成像模型计算出其对应的直线方程lu
若已知upixel对应的世界坐标系uworld,则可以计算该点upixel与直线方程lu的点线距离d,该距离越小说明成像系统的模型越准确。
5.如权利要求4所述的一种成像系统的建模方法,其特征在于,步骤S4中,所述设定范围为0.5像素。
CN201611146726.1A 2016-12-13 2016-12-13 一种成像系统的建模方法 Active CN106600651B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611146726.1A CN106600651B (zh) 2016-12-13 2016-12-13 一种成像系统的建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611146726.1A CN106600651B (zh) 2016-12-13 2016-12-13 一种成像系统的建模方法

Publications (2)

Publication Number Publication Date
CN106600651A true CN106600651A (zh) 2017-04-26
CN106600651B CN106600651B (zh) 2019-06-18

Family

ID=58802738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611146726.1A Active CN106600651B (zh) 2016-12-13 2016-12-13 一种成像系统的建模方法

Country Status (1)

Country Link
CN (1) CN106600651B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647602A (zh) * 2018-04-28 2018-10-12 北京航空航天大学 一种基于图像复杂度判定的航空遥感图像场景分类方法
CN109920003A (zh) * 2017-12-12 2019-06-21 广东虚拟现实科技有限公司 相机标定检测方法、装置以及设备
CN111383281A (zh) * 2018-12-29 2020-07-07 天津大学青岛海洋技术研究院 一种基于rbf神经网络的摄像机标定方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050031188A1 (en) * 2003-08-10 2005-02-10 Luu Victor Van Systems and methods for characterizing a sample
CN102155909A (zh) * 2010-12-17 2011-08-17 华中科技大学 基于扫描电镜的纳米尺度三维形貌测量方法
CN103900504A (zh) * 2014-04-10 2014-07-02 华中科技大学 纳米尺度下的实时三维视觉信息反馈方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050031188A1 (en) * 2003-08-10 2005-02-10 Luu Victor Van Systems and methods for characterizing a sample
CN102155909A (zh) * 2010-12-17 2011-08-17 华中科技大学 基于扫描电镜的纳米尺度三维形貌测量方法
CN103900504A (zh) * 2014-04-10 2014-07-02 华中科技大学 纳米尺度下的实时三维视觉信息反馈方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109920003A (zh) * 2017-12-12 2019-06-21 广东虚拟现实科技有限公司 相机标定检测方法、装置以及设备
CN109920003B (zh) * 2017-12-12 2023-09-15 广东虚拟现实科技有限公司 相机标定检测方法、装置以及设备
CN108647602A (zh) * 2018-04-28 2018-10-12 北京航空航天大学 一种基于图像复杂度判定的航空遥感图像场景分类方法
CN111383281A (zh) * 2018-12-29 2020-07-07 天津大学青岛海洋技术研究院 一种基于rbf神经网络的摄像机标定方法

Also Published As

Publication number Publication date
CN106600651B (zh) 2019-06-18

Similar Documents

Publication Publication Date Title
Scaramuzza Omnidirectional vision: from calibration to root motion estimation
US8792726B2 (en) Geometric feature extracting device, geometric feature extracting method, storage medium, three-dimensional measurement apparatus, and object recognition apparatus
Siegemund et al. A temporal filter approach for detection and reconstruction of curbs and road surfaces based on conditional random fields
CN106651942A (zh) 基于特征点的三维旋转运动检测与旋转轴定位方法
US9761008B2 (en) Methods, systems, and computer readable media for visual odometry using rigid structures identified by antipodal transform
Antunes et al. Unsupervised vanishing point detection and camera calibration from a single manhattan image with radial distortion
Ramalingam et al. A theory of minimal 3D point to 3D plane registration and its generalization
CN109523595A (zh) 一种建筑工程直线棱角间距视觉测量方法
CN105913417A (zh) 基于透视投影直线的几何约束位姿方法
JP2011198330A (ja) 3次元位置合わせにおける照合方法およびそのプログラム
CN111462302B (zh) 基于深度编码网络的多视点人体动态三维重建方法及系统
Taylor et al. Automatic calibration of multi-modal sensor systems using a gradient orientation measure
CN111123242A (zh) 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质
CN106600651A (zh) 一种成像系统的建模方法
Perdigoto et al. Calibration of mirror position and extrinsic parameters in axial non-central catadioptric systems
Tribou et al. Degenerate motions in multicamera cluster SLAM with non-overlapping fields of view
CN112288813B (zh) 基于多目视觉测量与激光点云地图匹配的位姿估计方法
KR101538014B1 (ko) 3d 모델링을 통해 사진 이미지로부터 입체영상을 생성하는 방법
Han et al. A PTV-based feature-point matching algorithm for binocular stereo photogrammetry
Zalmanson Hierarchical recovery of exterior orientation from parametric and natural 3-D curves
CN116202487A (zh) 一种基于三维建模的实时目标姿态测量方法
Otero et al. Local iterative DLT soft-computing vs. interval-valued stereo calibration and triangulation with uncertainty bounding in 3D reconstruction
Choi et al. Extrinsic calibration of 2D laser sensors
Jiang et al. A multi-view structured light measurement method based on pose estimation using deep learning
Kang et al. 3D urban reconstruction from wide area aerial surveillance video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant