CN101354796B - 基于泰勒级数模型的全向立体视觉三维重建方法 - Google Patents
基于泰勒级数模型的全向立体视觉三维重建方法 Download PDFInfo
- Publication number
- CN101354796B CN101354796B CN200810120794XA CN200810120794A CN101354796B CN 101354796 B CN101354796 B CN 101354796B CN 200810120794X A CN200810120794X A CN 200810120794XA CN 200810120794 A CN200810120794 A CN 200810120794A CN 101354796 B CN101354796 B CN 101354796B
- Authority
- CN
- China
- Prior art keywords
- taylor series
- camera
- image
- dimensional
- omnidirectional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 239000011159 matrix material Substances 0.000 claims abstract description 28
- 238000013519 translation Methods 0.000 claims abstract description 15
- 230000009466 transformation Effects 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims 1
- 238000003384 imaging method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
本发明公开了一种基于泰勒级数模型的全向立体视觉三维重建方法。该方法的步骤包括:相机标定:利用泰勒级数模型对全向视觉传感器进行标定,得到相机内参;对极几何关系求取:包括计算双目全向相机之间的本质矩阵,并从中提取相机的旋转和平移分量;外极线校正:对所拍摄的全向立体图像对进行外极线校正,使校正后的极二次曲线与图像扫描线重合;三维重建:对校正后的立体图像对进行特征点匹配,根据匹配结果计算点的三维坐标。本发明可适用于各种全向视觉传感器,具有适用面广,精度高的特点;可在全向视觉传感器参数未知的情况下进行有效的三维重建。
Description
技术领域
本发明涉及获取360度范围内场景三维信息的计算机视觉方法,具体涉及一种基于泰勒级数模型的全向立体视觉三维重建方法。
背景技术
作为一种感知环境的特殊成像机制,全向视觉传感器克服了传统相机只能对局部环境感知的缺点,在越来越多的领域得到广泛应用,如安全监控、视频会议、基于图像的建模和机器人导航等。目前各种全向成像方式中,折反射系统是获得360°视场最简单快捷的方法。它由普通相机与反射镜面组成。例如,它可由双曲镜面、椭圆镜面或圆锥面和透视相机组成,也可由抛物镜面与正交相机组成,还可以是二次折射二次反射的全景环形透镜的配置。如果要使所成的全向图像在局部可以与普通透视相机所成的图像等效,折反射系统中的相机与镜面之间要满足一定的位置关系以符合单视点约束的限制。这些不同的全向视觉传感器有着不同的成像模型和计算方法,传统的研究方法是针对每一种特定的镜面模型进行解析求解出模型参数,过程繁琐且不具备通用性。
许多学者试图找出能够囊括所有满足单视点约束折反射系统的统一模型,并取得了一定的进展。目前应用最多的主要有四种统一模型:(1)基于球面的统一模型:三维空间中的点首先中心投影到单位球面上,然后从北极点和球心之间的某点透视投影到与光轴垂直的平面上。所有满足单视点约束的折反射相机,都能用这个球面模型等效。同时,也提出了很多对该模型的摄像机标定算法。(2)一般相机模型:对每个抽样像素通过一个查找表与一条三维光线相关联,最后插值得到成像的近似离散模型。(3)基于径向失真模型:图像像素在三维空间中对应的点只与它相对失真中心的径向距离有关,这是对普通相机径向校正的推广。(4)基于泰勒级数模型:它不要求折反射系统的具体镜面类型,将三维光线与图像像素之间的对应关系用某个幂次的泰勒级数近似,全向相机的标定只需求解这个多项式的系数即可获得内参。
在上述这些建模方法中,查找表的方法过于繁琐,不具有实用性;基于径向失真的方法过于理想化,精确性不足,而对于球面模型方法来说,试图去解析地求解镜面参数与相机的内参,最为精确。但须预知有关相机的参数,如镜面参数的初值、焦距、视场等。但有时这种先验信息是很难获得的,如SONY公司的RPU-C251全向相机并未给出有关的相机参数。基于泰勒级数的全向视觉模型是目前唯一能够真正做到未知参数下对各种全向视觉传感器建模的方法,它不依赖于具体的镜面模型和参数,而是用某幂次的泰勒级数来逼近全向相机的成像过程。但遗憾的是,有关该模型应用的进一步研究目前为止尚未见诸任何报道。
发明内容
本发明的目的在于提供一种基于泰勒级数模型的全向立体视觉三维重建方法,建立了一套完整的全向立体视觉框架,推导了基于该模型的对极几何关系,在标定得到的多项式空间中,提出了任意双目立体视觉配置下的本质矩阵计算方法。提出了一种基于本质矩阵和保角映射的全向视觉外极线校正方法。最后,根据特征点匹配结果,推导了到三维点的映射关系。
本发明采用的技术方案的步骤包括:
(1)相机标定:利用泰勒级数模型对全向视觉传感器进行标定,得到相机内参;
(2)对极几何关系求取:包括计算双目全向相机之间的本质矩阵,并从中提取相机的旋转和平移分量;
(3)外极线校正:对所拍摄的全向立体图像对进行外极线校正,使校正后的极二次曲线与图像扫描线重合;
(4)三维重建:对校正后的立体图像对进行特征点匹配,根据匹配结果计算点的三维坐标。
所述的利用泰勒级数模型的全向视觉传感器标定是利用平面上的已知三维点及其它在图像上的对应点,进行两步最小二乘计算,先后得到了相机与平面的旋转和平移、相机的内参,也就是泰勒级数的系数和阶次。
所述的对极几何关系求取,是基于泰勒级数模型的,只需图像平面到二次曲面空间的一次性投影,求解本质矩阵,并根据场景的先验知识,提取相机的旋转和平移分量。
所述的全向立体图像对的外极线校正是基于本质矩阵和保角映射的外极线校正算法。
所述的三维重建包含以下步骤:
(1)特征点匹配:对校正后的全向立体图像对进行特征点匹配,特征点提取算法是SIFT角点或Harris角点;
(2)校正图像坐标—原始图像坐标的投影变换:将校正图像上的匹配点坐标经过双极坐标变换和仿射变换,得到其在原始图像上的坐标;
(3)原始图像坐标—镜面点坐标的投影变换:由泰勒级数模型给出;
(4)三维空间点—镜面点的投影变换:假设世界坐标系与左相机镜面坐标系重合,根据从本质矩阵中分解出的旋转和平移分量,计算三维点到泰勒级数模型镜面的投影变换矩阵;
(5)根据三维空间点到泰勒级数模型镜面的投影变换矩阵,用最小二乘求出三维空间点的坐标。
本发明具有的有益效果是:
1.本发明提出的基于泰勒级数模型的全向立体视觉三维重建方法,可适用于各种全向视觉传感器,具有适用面广,精度高的特点;
2.本发明提出的基于泰勒级数模型的全向立体视觉三维重建方法,可在全向视觉传感器参数未知的情况下进行有效的三维重建。
附图说明
图1是本发明方法的流程图。
图2是基于泰勒级数的全向成像模型。
图3是泰勒级数模型下双目全向立体视觉系统的对极几何关系。
图4是本质矩阵零空间的两个视角图示。
图5是双极坐标系示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步描述。
图1给出了依照本发明进行基于泰勒级数模型的全向三维重建方法流程图。
如图1所示,在步骤101中,对所使用的全向视觉传感器进行标定,所采用的泰勒级数全向成像模型可用图2表示。三维世界中的点Pw首先投影到镜面点Pm,后又成像于图像点pi。该模型将各种全向成像方式下三维空间点到图像平面的非线性映射关系统一用泰勒级数去近似,如下式所示。
f(ρ)=aNρN+aN-1ρN-1+...+a1ρ+a0
其中, 是像素点到投影中心的欧氏距离。
由于镜面的旋转对称性,泰勒级数中不包含奇次项。根据最小重投影误差准则,得到某幂次的镜面多项式。这个多项式的系数包括了从图像点到镜面点的映射关系。该模型的标定借鉴了张正友提出的基于平面模板的标定方法,标定后可得到相机的内参aN,aN-1...a1,a0。
关于泰勒级数模型的标定方法可参考文献1:D.Scaramuzza,A Toolbox forEasy Calibrating Omnidirectional Cameras,Proceedings of the IEEE InternationalConference on Intelligent Robots and Systems,Beijing,China,October2006.
泰勒级数模型避开了精确求解镜面和相机参数的困难,得到的反射模型是一个虚拟的镜面。在实际应用中具有以下优点:对相机与镜面之间的对齐偏差不敏感,任何偏差导致的参数变化只体现在泰勒级数的系数上。同时,也将相机镜头的失真考虑在内。
如图1所示,在步骤102中,对所采用的全向立体视觉相机进行对极几何关系计算。对极几何描述了进行三维重建的二个相机之间的位置关系,同时也约束了对应点在二幅图像上的投影位置,从而可将同名点的搜索从二维图像降低到一维的直线或曲线上。图3给出了二个全向相机组成的双目立体视觉系统。镜面坐标系原点分别为O1m,O2m,假设三维世界点P2在左右两个相机分别成像于为p21,p22。根据泰勒级数模型,镜面上的对应点分别为:
q21=[p21,f1(‖p21‖)],q22=[p22,f2(|||p22|||)]
不失一般性,可假设世界坐标系与左相机镜面坐标系重合,右相机通过旋转R和平移t与它联系在一起。左相机中极平面O1mP2O2m的法线l21=t×q21经过旋转R变换到右视角坐标系中为l22=Rl21=R(t×q21)。同时向量q22∈O1mP2O2m且q22⊥l22,所以q22·l22=0,整理后得到下式:
其中,E=RT,T是t=[tx,ty,tz]的反对称矩阵形式,即
对于O1m中的点q21,它在O2m定义了一条空间曲线C=Eq21。在泰勒级数模型下,该曲线可以用图像上的一个圆近似。T是反对称矩阵,旋转矩阵R的秩为3,本质矩阵E的秩为2,所以镜面上的空间曲线过二个固定的点Nij(i=1...2,j=1...2),这就是极点。两个相机有四个极点,它们分别位于本质矩阵E的左右零空间,且满足下式:
EN1j=0ETN2j=0
每个图像的两个极点的连线与相机的相对位置一致,同时两条连线均过图像的投影中心,如图4(a)、(b)所示。
求解得到本质矩阵后,可从中提取相机的旋转和平移分量。一般来说,R,t与本质矩阵E之间不是一一对应关系。对于普通透视相机,可用对应点验证手性关系(Chirality)即可找到一组正确的运动分量。但由于全向图像的视角很大,选择正确的旋转和平移比较复杂。在四组重建结果中,有两组的重建点位于相机两个位置之间的一个平面上,这不符合实际情况,应该剔除。另外两组的重建结果是互相颠倒的,可根据实际场景的先验知识,可以找到唯一正确的一组旋转和平移。
求取了泰勒级数模型下的对极几何关系后,理论上即可将同名点的搜索降为一维。但在泰勒模型下,这种对极几何是非线性的,即左图中的一点,在相对应的右图上定义了一条曲线,如果匹配搜索沿着这条曲线进行,则不论是复杂性还是效率上都带来很大的困难,因此有必要进行进一步处理,将原对应极二次曲线上的点校正到同一条图像扫描线上。
如图1所示,在步骤103中,对全向立体图像对进行外极线校正。在泰勒级数模型下,一条外极线对应于全向图像上的一个圆,这些圆都过两个极点,这与双极坐标系的一个维度σ相似,如图5中垂直方向的实线圆族所示,与之正交的水平方向上的黑色虚线圆系为另一维τ。实际上前者是集合:
P={Pi|∠e1Pie2=σ0}
后者是集合:
且 有Pi⊥Qj,也就是说两族圆系互相正交(交点处的两条切线正交)。
因此,在足柯西—黎曼定律约束下,可以通过下面二式将图像平面u-v保角映射到双极平面τ-σ:
其中
以左图为例,首先将图像坐标系变换到以两极点连线的中点为原点的坐标系中,x轴与两极点连线方向重合。可以用一组仿射变换来表达:
假设原始图像中一点q1=[x1,y1]T,则经过仿射变换后,在以两极点连线的中点为原点的坐标系中对应q2=[x2,y2]T:
q2=RLq1+tL
校正后点q2的位置为:
由此,原始图像中极线上的点,在校正后位于图像的σ行上。经过校正的二幅图像,它的对应点位于同一行上。
如图1所示,在步骤104中,对校正后的立体图对进行匹配,并计算其三维坐标。假设外极线校正后左图像上的点对应在右校正图像上的点其中d>0即为视差。经过双极坐标变换和仿射变换,得到 在原始图像上的点分别为x1,x2。从本质矩阵E分解出旋转R和平移t分量。假设世界坐标系与左相机镜面坐标系重合,则两个相机的投影矩阵为M1=[I 0]和M2=[R t]。从三维空间点X=[X Y Z]T到泰勒模型镜面点的投影为:
其中,
上式包含5个未知数,6个独立线性方程,是一个超定的方程组,利用最小二乘就可以求出比例因子λ1,λ2和三维空间点X。该方法与普通相机的线性三角化法类似。由于定义在三维投影空间,后者只包括四个独立的方程。值得注意的是,由于平移,是经过归一化的,最后的重建结果与实际场景相差一个比例因子,这可通过测量该全向立体视觉系统的基线长度即可转换为绝对度量。
Claims (4)
1.一种基于泰勒级数模型的全向立体视觉三维重建方法,其特征在于,该方法的步骤如下:
(1)相机标定:利用泰勒级数模型对全向视觉传感器进行标定,得到相机内参;
(2)对极几何关系求取:包括计算双目全向相机之间的本质矩阵,并从中提取相机的旋转和平移分量;
(3)外极线校正:对所拍摄的全向立体图像对进行外极线校正,它是基于本质矩阵和保角映射的外极线校正算法,使校正后的极二次曲线与图像扫描线重合;
(4)三维重建:对校正后的立体图像对进行特征点匹配,根据匹配结果计算点的三维坐标。
2.根据权利要求1所述的一种基于泰勒级数模型的全向立体视觉三维重建方法,其特征在于,所述的利用泰勒级数模型的全向视觉传感器标定是利用平面上的已知三维点及其它在图像上的对应点,进行两步最小二乘计算,先后得到了相机与平面的旋转和平移、相机的内参,也就是泰勒级数的系数和阶次。
3.根据权利要求1所述的一种基于泰勒级数模型的全向立体视觉三维重建方法,其特征在于,所述的对极几何关系求取,是基于泰勒级数模型的,只需图像平面到二次曲面空间的一次性投影,求解本质矩阵,并根据场景的先验知识,提取相机的旋转和平移分量。
4.根据权利要求1所述的一种基于泰勒级数模型的全向立体视觉三维重建方法,其特征在于,所述的三维重建包含以下步骤:
(1)特征点匹配:对校正后的全向立体图像对进行特征点匹配,特征点提取算法是SIFT角点或Harris角点;
(2)校正图像坐标-原始图像坐标的投影变换:将校正图像上的匹配点坐标经过双极坐标变换和仿射变换,得到其在原始图像上的坐标;
(3)原始图像坐标-镜面点坐标的投影变换:由泰勒级数模型给出;
(4)三维空间点-镜面点的投影变换:假设世界坐标系与左相机镜面坐标系重合,根据从本质矩阵中分解出的旋转和平移分量,计算三维点到泰勒级数模型镜面的投影变换矩阵;
(5)根据三维空间点到泰勒级数模型镜面的投影变换矩阵,用最小二乘求出三维空间点的坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200810120794XA CN101354796B (zh) | 2008-09-05 | 2008-09-05 | 基于泰勒级数模型的全向立体视觉三维重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200810120794XA CN101354796B (zh) | 2008-09-05 | 2008-09-05 | 基于泰勒级数模型的全向立体视觉三维重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101354796A CN101354796A (zh) | 2009-01-28 |
CN101354796B true CN101354796B (zh) | 2010-08-11 |
Family
ID=40307595
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200810120794XA Expired - Fee Related CN101354796B (zh) | 2008-09-05 | 2008-09-05 | 基于泰勒级数模型的全向立体视觉三维重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101354796B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5442111B2 (ja) | 2009-05-21 | 2014-03-12 | インテル・コーポレーション | 画像から高速に立体構築を行なう方法 |
CN101577004B (zh) * | 2009-06-25 | 2013-05-15 | 海信集团有限公司 | 一种极线矫正方法、装置和系统 |
CN102005039B (zh) * | 2010-08-24 | 2012-05-23 | 浙江大学 | 基于泰勒级数模型的鱼眼相机立体视觉深度测量方法 |
KR101907852B1 (ko) * | 2012-09-06 | 2018-10-15 | 현대모비스 주식회사 | 스테레오 영상 처리 방법 및 장치 |
CN106127115B (zh) * | 2016-06-16 | 2020-01-31 | 哈尔滨工程大学 | 一种基于全景和常规视觉的混合视觉目标定位方法 |
CN108055510B (zh) * | 2017-12-25 | 2018-10-12 | 北京航空航天大学 | 一种基于fpga的双路视频实时矫正装置及方法 |
CN108710886B (zh) * | 2018-05-04 | 2022-04-15 | 南京邮电大学 | 一种基于sift算法的重复图像匹配方法 |
CN108830281B (zh) * | 2018-05-29 | 2021-09-28 | 南京邮电大学 | 一种基于局部变化检测和空间加权的重复图像匹配方法 |
CN109523627B (zh) * | 2018-10-24 | 2023-07-18 | 重庆大学 | 一种基于泰勒指数表达式型面结构光的三维重建方法 |
-
2008
- 2008-09-05 CN CN200810120794XA patent/CN101354796B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN101354796A (zh) | 2009-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101354796B (zh) | 基于泰勒级数模型的全向立体视觉三维重建方法 | |
CN105096329B (zh) | 一种精确校正超广角摄像头图像畸变的方法 | |
CN107705252B (zh) | 适用于双目鱼眼图像拼接展开校正的方法及系统 | |
Chatterjee et al. | Algorithms for coplanar camera calibration | |
CN107154014B (zh) | 一种实时彩色及深度全景图像拼接方法 | |
CN105043250B (zh) | 一种基于至少两个公共标记点的双视角数据对齐方法 | |
Aghayari et al. | Geometric calibration of full spherical panoramic Ricoh-Theta camera | |
CN110874854B (zh) | 一种基于小基线条件下的相机双目摄影测量方法 | |
CN110264528A (zh) | 一种鱼眼镜头双目像机快速自标定方法 | |
Mariottini et al. | Planar mirrors for image-based robot localization and 3-D reconstruction | |
CN105809706B (zh) | 一种分布式多像机系统的全局标定方法 | |
US20200294269A1 (en) | Calibrating cameras and computing point projections using non-central camera model involving axial viewpoint shift | |
Ohashi et al. | Fisheye stereo camera using equirectangular images | |
Nagy et al. | Development of an omnidirectional stereo vision system | |
CN108898550B (zh) | 基于空间三角面片拟合的图像拼接方法 | |
CN116804537A (zh) | 一种双目测距系统及方法 | |
Chen et al. | Multi-stereo 3D reconstruction with a single-camera multi-mirror catadioptric system | |
Chai et al. | Single-image calibration method for multiple virtual binocular vision system | |
Wang et al. | Perspective 3-D Euclidean reconstruction with varying camera parameters | |
Chai et al. | Mirror binocular calibration method based on sole principal point | |
Zhu et al. | A stereo vision depth estimation method of binocular wide-field infrared camera | |
CN109272558B (zh) | 分离圆的公共自极三角形及圆环点标定针孔摄像机的方法 | |
CN113223163A (zh) | 点云地图构建方法及装置、设备、存储介质 | |
Stone et al. | Direct spherical calibration of omnidirectional far infrared camera system | |
Frank et al. | Camera Calibration for Miniature, Low-cost, Wide-angle Imaging Systems. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100811 Termination date: 20110905 |