CN105759435A - 全景环带立体成像系统及其标定方法与成像方法 - Google Patents

全景环带立体成像系统及其标定方法与成像方法 Download PDF

Info

Publication number
CN105759435A
CN105759435A CN201610301456.0A CN201610301456A CN105759435A CN 105759435 A CN105759435 A CN 105759435A CN 201610301456 A CN201610301456 A CN 201610301456A CN 105759435 A CN105759435 A CN 105759435A
Authority
CN
China
Prior art keywords
overall view
ring belt
view ring
generating unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610301456.0A
Other languages
English (en)
Other versions
CN105759435B (zh
Inventor
黄治
吴震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ying Mo Science And Technology Ltd
Original Assignee
Hangzhou Ying Mo Science And Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Ying Mo Science And Technology Ltd filed Critical Hangzhou Ying Mo Science And Technology Ltd
Priority to CN201610301456.0A priority Critical patent/CN105759435B/zh
Publication of CN105759435A publication Critical patent/CN105759435A/zh
Application granted granted Critical
Publication of CN105759435B publication Critical patent/CN105759435B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/06Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08Catadioptric systems
    • G02B17/0804Catadioptric systems using two curved mirrors

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种全景环带立体成像系统及其标定方法与成像方法。包括两个结构相同的同光轴上下间隔布置的全景环带成像单元,形成立体成像系统,其投影模型符合f?θ模型;用棋盘格标定板对成像单元拍摄标定获得内参,然后同时拍摄相同的标定板获得外参,建立基于任意成像单元的局部坐标系,利用外参的投影矩阵旋转两个局部坐标系,使得坐标系三个轴方向相同且同光轴;光线进入两个成像单元后,经过多次折射和反射后成像在各自的成像面上,根据内参和外参获得两个成像点各自距离光轴之间的径向距离,两者差值结合基线距计算出该物点的空间坐标。本发明不需要转动设备就能实现360°无盲区的距离测量和立体成像,实时性好,计算过程简单。

Description

全景环带立体成像系统及其标定方法与成像方法
技术领域
本发明涉及一种全景立体成像光学系统,以及视觉测量领域,尤其涉及了一种全景环带立体成像系统及其标定方法与成像方法。
背景技术
基于平面圆柱投影原理的全景环带成像技术是一种与传统中心投影原理截然不同的新成像技术,可在无需转动成像系统的条件下,将周围360°的环带景物一次性地成像在同一个环带像面上,从光学原理上实现了360°全景凝视成像。如专利US Patent 4,566,763,1986和US Patent 5,473,474,1995所述,全景透镜采用平面圆柱投影法FCP(Flat Cylinder Perspective),将围绕光学系统光轴360°范围的圆柱视场投影到二维平面上的一个环形区域内。
通过上下同轴放置的存在一定光轴方向位移的两个全景环带镜头单元不仅可以实现360°范围内无盲区的实时监控,还可以通过三角测量法计算出图像中物体与系统的距离,可以实现无死角的报警,并且该方法不需要后期的图像拼接,实时性好,算法简单,可以广泛的应用于机器人和车载系统中。
由于全景环带镜头的视场极大,往往可以超过180°,一般的f-tanθ投影模型已不能适用,因此需要提出一种新的全景立体成像系统的标定方法,并且本方案不同于传统的双目视觉,并非左右设置两套光学系统,而是上下放置,因此其标定方法也较为特殊。
发明内容
本发明的技术解决问题是:克服了现有技术的不足,提供了一种全景环带立体成像系统及其标定方法与成像方法,可以在不需要拼接与旋转机构的情况下获得360°环境中的物体距离。
本发明采用的技术方案是:
一、一种全景环带立体成像系统:
包括两个结构相同的同光轴上下间隔布置的全景环带成像单元,两个成像单元的光轴同轴并垂直于地面,形成立体成像系统,全景环带成像单元的投影模型均符合f-θ成像模型。
一般的无畸变模型符合f-tanθ模型,即实际像高和入射角的关系为f×tanθ,因此在接近90°时理论像高为无限大,而全景环带透镜的入射角会高于90°,因此通过引入桶形畸变的方法来避免像高无限大的情况,这类型的成像模型的实际像高和入射角的关系为f×θ。
所述成像系统使用时光轴垂直于地面放置,与光轴垂直的直线为水平线,两个全景环带成像单元将绕光轴360°范围之内、水平线以下0°~20°、水平线以上0°~80°范围内的物体发出的光线投影到两个全景环带成像单元各自的成像面上,成像面呈环形,中心存在圆形盲区。
所述的两个全景环带成像单元沿光轴方向的基线距d为10mm~100mm。
所述的全景环带成像单元包括同一光轴下的环形折射面、环形反射面、圆形反射面、圆形折射面、中继转向透镜和成像面,环形折射面作为入射面,环形反射面位于环形折射面的正下方且其反射面朝上,圆形反射面连接在环形折射面的中心且其反射面朝下,圆形折射面连接在环形反射面的中心;入射光从环形折射面折射入射,经环形反射面反射到圆形反射面上,再经圆形反射面反射后经圆形折射面折射后出射,出射的光经中继转向透镜汇聚到成像面上。
二、一种全景环带立体成像系统的标定方法,步骤如下:
1)使用带棋盘格的标定板对两个结构相同的全景环带立体成像单元分别进行拍摄标定,获得各自的内参,内参包括镜头的投影中心坐标、近轴焦距、畸变方程系数、主点在虚拟像平面上的投影坐标等参数,主点为距离投影中心为一倍焦距的点,然后进行校正使得两个全景环带立体成像单元的内参在校正后相同;
2)将两个全景环带成像单元上下同轴放置形成所述全景环带立体成像系统,使用相同的带棋盘格的标定板分别进行拍摄,获得全景环带立体成像系统的外参,外参包括两个全景环带成像单元的基线距以及两个全景环带成像单元分别相对于标定板所在平面的投影矩阵;
3)建立世界坐标系,以带棋盘格的标定板所在平面的坐标系作为世界坐标系的XY轴,垂直于标定板的方向为世界坐标系的Z轴;对于两个全景环带成像单元分别建立空间上的虚拟成像平面局部坐标系O1X1Y1Z1和O2X2Y2Z2,其中O点为全景环带成像单元的成像面中心,作为虚拟成像平面局部坐标系的原点,成像面中心为成像面与光轴的交点,光轴方向作为Z轴,X轴和Y轴分别为垂直于光轴的投影平面的两个互相垂直方向;
4)利用步骤2)获得的投影矩阵,旋转上方全景环带成像单元和下方全景环带成像单元的局部坐标系,完成对全景环带立体成像系统的标定。
所述步骤3)中具体的是:O1、O2为下、上全景环带成像单元的成像面中心,Z1、Z2轴为下、上全景环带成像单元的Z轴方向,X1/X2轴分别表示下、上全景环带成像单元的X轴方向,Y1/Y2轴分别表示下、上全景环带成像单元的Y轴方向;
所述步骤4)中旋转上方全景环带成像单元和下方全景环带成像单元的局部坐标系具体方法为:
4.1)将上方全景环带成像单元的局部坐标系绕着原点O2旋转至其Z2轴与O1O2连线重合,
4.2)然后将下方全景环带成像单元的局部坐标系绕着原点O1旋转至其Z1轴与O1O2连线重合;
4.3)最后将上方全景环带成像单元或者下方全景环带成像单元的X-Y平面绕自身坐标系的Z轴旋转,使得上下全景环带成像单元的X和Y轴方向对齐一致。
所述步骤4.1)~4.3)中的旋转角度是根据上方全景环带成像单元相对于下方全景环带成像单元的投影矩阵或者下方全景环带成像单元对于上方全景环带成像单元的投影矩阵获得,所述上方全景环带成像单元相对于下方全景环带成像单元的投影矩阵或者下方全景环带成像单元对于上方全景环带成像单元的投影矩阵是根据步骤2)获得的两个投影矩阵相除获得。
三、一种全景环带立体成像系统的成像方法:
步骤一、采用权利要求5~8任一所述的方法对上、下两个全景环带成像单元进行标定处理,获得内参和外参;
步骤二、空间的物点发出两条光线,分别进入标定后的两个全景环带成像单元中,经过多次折射和反射后成像在各自的成像面上,根据全景环带成像单元的内参和外参获得两个成像点各自距离光轴之间的径向距离;
步骤三、比较两个成像点各自距离光轴之间的径向距离获得两者差值,并结合成像系统已知的基线距,通过以下公式的三角测量法计算出该物点距离系统光轴的距离:
z = f × d x 2 - x 1
其中f为全景单元的标定焦距(以毫米为单位),d为系统的基线距离(以像素为单位),x1和x2为相同像点在两个像平面上的径向距离(以像素为单位),z为计算出的物体的距离系统光轴的距离(以毫米为单位)。
所述的两个成像点各自与光轴之间的径向距离具体是根据内参和外参将两个全景环带成像单元的成像图像沿着任意同一条极线分别展开成矩形,计算两个矩形中各自成像点位置的距离差异获得。
本发明的有益效果是:
本发明全景立体环带成像装置在不需要转动设备的情况下,使用两个光学系统即实现了360°无盲区的距离测量,并且与该发明相配套的立体标定方法不同于已有的双目标定方法,提出了一种非f-tanθ投影模型的标定方法,可以实现一次性快速标定。经过标定后的图像可以采用与双目视觉求取视差相同的方法计算物体的距离,实时性好,计算过程简单。
附图说明
图1是单个全景环带镜头的光路图;
图2是单个全景环带镜头的像面分布图;
图3是本发明的立体成像原理图;
图4是本发明的虚拟像平面位置关系示意图与展开后的图像示意图;
图5是本发明全景环带立体成像装置的图像标定方法流程;
图6是本发明虚拟成像平面与同一物点的投影关系;
图7是本发明校正虚拟成像平面的过程示意图。
图中:环形折射面1、环形反射面2、圆形反射面3、圆形折射面4、中继转向透镜5、成像面6、上方全景环带成像单元7、下方全景环带成像单元8、光轴9;成像区域S1、盲区S2、成像点P、物点P0、第一成像点P1、第二成像点P2、上方成像单元主点M2、下方成像单元主点M1、基线距d、H为物点到第二个全景环带成像单元成像面的高度、S为物点到光轴的距离。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细说明。
如图1所示,本发明包括两个结构相同的同光轴9上下间隔布置的全景环带成像单元,两个成像单元的光轴9同轴并垂直于地面,形成立体成像系统,全景环带成像单元均符合f-θ成像模型。
本发明全景环带成像单元的结构是:一面为向外突出的环形折射面1,其中央部分为圆形反射面3,在环形折射面1的下方有向外突出的环形反射面2,其与环形折射面1之间连接部分为磨砂面,环形反射面2中心内圆区域为圆形折射面4,可以是凸面或凹面,也可以是平面,四个面组成一个实体。
全景透镜的成像原理是:同一物点发出的光线从环形折射面1折射进入实体,然后被环形反射面2与圆形反射面3两次反射,最后从圆形折射面4折射出实体。光线通过全景透镜后在其内部或后方形成虚像,该虚像通过中继转向透镜5折射,成像于成像面6的成像点P。
如图2所示,为本发明的单个全景环带镜头的像面分布图,由于存在原型反射面3的遮挡,近轴的光线无法进入全景透镜成像,因此会在成像面上形成圆形的盲区S2,而其能够成像的区域为环形的成像区域S1
如图3所示,为本发明的立体成像原理图。两个如图1所示的成像单元上下堆叠放置,且共光轴9,两单元虚拟主点M1和M2之间的间距为基线距d,使用时光轴垂直于地面放置。空间中任意一点P0发出两条光线,可以分别进入上方成像单元7和下方成像单元8,最终分别成像于第一成像点P1和第二成像点P2上,这两点距离光轴9的像素数略有差异,类似于双目视觉,通过该差异与基线距d与焦距f即可计算出P0点的空间坐标P0(S,H)。
本发明获得的两张图像为两幅环状图像,由于两个成像单元是上下放置的,不同于一般的双目相机,基线并非沿着图像的水平方向,而是从图像中心发出的射线。类似于双目相机在计算视差前要对图像进行标定和校正,由于受到镜头自身的个体误差,两全景环带成像单元空间相对位置偏差和成像面的空间状态等影响,必须对获得的图像进行标定,具体的说是将上下两成像单元拍摄的具有一定视差的图像进行极线标定和校正,使得上下两全景环带成像单元拍摄的两幅图像的虚拟成像平面三个坐标轴方向一致,仅存在Z轴方向的位移。如图4左图所示,标定后的上下单元的虚拟图像平面的X和Y轴方向相同,Z轴同轴,任意通过Z轴的平面与虚拟成像平面的交线都是极线,同一物点形成的两成像点服从极线约束,两成像点与Z轴必在同一平面上。沿着任意一条极线将上下单元的环形图像展开成矩形,可获得两张全景图像,如图4右图所示,此时只要沿着纵向极线方向查找同一物点的在两幅图上的对应像点的距离差异即可获得视差值,结合已知的基线距d与焦距f,可采用常规的双目视觉算法,计算获得同一物点距离全景环带立体成像装置光轴的距离。将所有像素点进行匹配后即可获得一副全景深度图。
Davide Scaramuzz对鱼眼镜头和全景镜头等具有特殊投影模型的大畸变大视场成像系统给出了标定内参的方法,可标定出镜头在成像面上的投影中心,畸变方程系数,仿射变换矩阵等内参,整个标定过程与标定普通相机过程类似,也采用拍摄黑白棋盘格的方式进行,但并未给出如何标定由两个相同全景镜头组成的全景环带立体成像系统的方法。
如图5所示,本发明实施例及其过程如下:
对上下两个全景环带成像单元分别进行标定,获得各自的内参;两个全景环带成像单元拍摄相同的棋盘格可获得外参,建立空间上的两虚拟成像平面局部坐标系;计算上方虚拟成像平面相对于下方虚拟成像平面的投影矩阵;旋转上下坐标系的坐标轴,使得XYZ方向均一致且Z轴同轴,并获得各自的投影矩阵;将两幅经过投影矩阵校正后的图像沿着径向展开成矩形后,即变成了两幅普通的校正后的双目图像对,可通过常见的双目视觉算法计算物点的距离。
下面分别对各主要步骤进行说明。
(1)对上下两个全景环带成像单元分别进行标定,获得各自的内参。利用物理参数已知的黑白棋盘格拍摄多幅完整的图像,采用Davide Scaramuzz提供的OcamCalib Toolbox计算获得准确度较高的内参,具体包括镜头主点相对于成像平面的距离,图像中心的坐标,近轴焦距,以及每张黑白棋盘格相对于成像平面的投影矩阵。
(2)两个全景环带镜头拍摄相同的棋盘格,获得两者的外参,建立空间上的虚拟成像平面局部坐标系O1X1Y1Z1和O2X2Y2Z2,其中O1/O2为成像点的投影中心,光轴方向为Z1/Z2轴,垂直于光轴的投影平面两垂直方向分别为X1/X2轴和Y1/Y2轴。通过上下两个全景环带成像单元同时拍摄一块黑白标定板,获得上下两个全景环带成像单元成像面相对于标定板上同一个物点的投影矩阵,由此建立上下全景环带成像单元的局部坐标系。
若世界坐标系中任意一点投影到两个局部坐标系中,如图6左侧所示,大坐标为世界坐标系,小坐标为两虚拟成像平面所在坐标系。如果以下方坐标系作为世界坐标系,其中心法线为O1Z1轴,如图6右侧图所示,由于各种误差的存在,上方虚拟成像平面的中心法线O2Z2与O1Z1不同轴,需要对其进行校正。
(3)将两全景相机拍摄相对于同一棋盘格的投影矩阵相除获得上方虚拟成像平面相对于下方虚拟成像平面的投影矩阵。对于一般的相机旋转和平移,世界坐标系中的任意一点P(X,Y,Z)投影到图像平面上可以用以下方程表示:
K 1 0 0 T 1 X Y Z 1 W = z u v 1
K R t 0 T 1 X Y Z 1 W = z ′ u ′ v ′ 1
其中,第一个方程代表在虚拟成像平面在旋转前满足的方程,第二个方程代表虚拟成像平面在经过旋转和平移后满足的方程,K是包含焦距和图像中心坐标的相机内参矩阵,P’(u,v)为P在虚拟成像平面上的二维坐标。u表示空间中任意一点x方向的坐标,表示空间中任意一点y方向的坐标,z表示和z’分别为与旋转前后焦距相关常数,W表示世界坐标系。
一般相机的内参矩阵为3*4的矩阵,外参为4*4的矩阵,所以K是不能求逆的,因为本方法不含平移(t=[0;0;0]),因此外参矩阵可以缩减到3*3,可以求逆,只保留R,如下方程所示:
K = f x 0 u 0 0 0 f y v 0 0 0 0 1 0 ⇒ K ′ = f x 0 u 0 0 f y v 0 0 0 1 R t 0 T 1 ⇒ R
其中,K’为不含有平移的投影矩阵,R为旋转矩阵,t为平移矩阵。fx表示小孔成像模型的x方向的近轴焦距,fy表示小孔成像模型的y方向的近轴焦距,u0表示x方向的中心坐标,v0表示y方向的中心坐标,0T表示1*3的全0矩阵。
消除相同的世界坐标(X,Y,Z,1)后,则旋转前后虚拟成像平面上的二维坐标(u,v)和(u’,v’)满足以下方程:
u ′ v ′ 1 = z z ′ · K ′ RK ′ - 1 u v 1
全景环带成像单元的内参矩阵在虚拟成像平面上的中心坐标(u’,v’)在步骤(1)中已经获得,但其中并没有给出焦距值,原因在于鱼眼镜头或全景镜头的畸变巨大,不满足小孔成像模型(或称之为f-tanθ模型),此类镜头即使标定出焦距也只适用于近轴位置,非近轴视场的边缘畸变极大。这类畸变一般可以拟合成一个视场角与像点到图像中心距离r的多项式的和的形式,如以下方程所示:
r(θ)=a1θ+a2θ2+a4θ4+a6θ6+...+a2nθ2n
其中,an为投影模型的畸变系数,θ为入射光与光轴的夹角,r为入射光在虚拟成像平面上的成像点与虚拟成像平面中心的距离。
全景环带成像单元在设计时符合f-θ模型,因此以上方程可以简化为:
r(θ)=fθ
其中,θ为入射光与光轴的夹角,f为全景环带成像单元标定后的焦距,r为入射光在虚拟成像平面上的成像点与虚拟成像平面中心的距离。
因此其在图像上的坐标符合以下方程:
x = f x Z w · X w = f x · tanθ x
其中,x为投影点在虚拟成像平面上X方向的距离,θx为入射光与光轴的夹角在X轴方向的分量,XW和ZW分别表示物点在X和Z方向的世界坐标。
由于符合f-θ模型,全景环带成像单元的Xw等价于θxZw,也就是说物空间坐标(XW,YW,ZW)可以写成(θxZw,θyZw,Zw),其中的角度均为弧度制。因此全景环带成像单元的投影方程可以表示为:
Z W u ′ v ′ 1 = f x 0 u 0 0 f y v 0 0 0 1 X W Y W Z W = f x 0 u 0 0 f y v 0 0 0 1 θ x Z W θ y Z W Z W = Z W f x 0 u 0 0 f y v 0 0 0 1 θ x θ y 1
其中(u’,v’)为投影点在虚拟成像平面上的坐标,θx和θy为入射光与光轴的夹角在X和Y轴方向的分量,YW分别表示物点在Y方向的世界坐标。
因此,全景环带成像单元的成像模型也依然满足小孔成像的模型。上方全景环带成像单元相对于下方全景环带成像单元的投影矩阵M为:
M = z z ′ · K ′ RK ′ - 1
(4)利用以上获得投影矩阵,将上方虚拟成像平面的z2轴绕着O2旋转至与O1O2连线相同的方向,然后,将下方虚拟成像平面的z1轴绕着O1旋转至与O1O2连线相同的方向,最后旋转上方或下方虚拟成像平面的z轴,使得上下两虚拟成像平面的x和y轴方向一致。为了保证基线距离相同,同时使两虚拟成像平面的Z轴同轴,必须对两个虚拟成像平面进行三次旋转。
在获得步骤(3)的矩阵M后,即可知道两个虚拟成像平面的旋转角度。如图7所示,首先计算出上方虚拟成像平面中心O1与下方虚拟成像平面中心O2的连线向量O1O2与下方虚拟成像平面法线O1Z1与上方虚拟成像平面法线O2Z2的夹角θ1和θ2,将两个夹角通过罗德里格斯方程转换为旋转矩阵M2和M1,接下来下方虚拟成像平面保持不变,计算上方虚拟成像平面X轴或Y轴相对于下方虚拟成像平面X轴或Y轴的角度θ2’,采用同样的方法转换为旋转矩阵M2’,因此上下虚拟成像平面的旋转矩阵分别为:
M d o w n = M 1 M u p = M 2 ′ · M 2
其中,Mdown和Mup分别为下和上虚拟成像平面的旋转矩阵。
原像平面上的坐标乘以以上各自的旋转矩阵后即可保证上下虚拟成像平面的坐标轴对齐,只存在Z方向的基线差异。
(5)将两幅图像沿着径向展开成矩形,消除径向畸变,通过三角测量法比较同一物点在极线上的差异可获得该物点的距离。
由于全景环带成像单元形成的图像是两个环形图像,沿着极线展开后既可以获得一副360°的无拼接全景图,将校正后的图像展开后即可获得如图4右侧的图像,图4右侧中上下的两幅图像只存在Y方向的视差,因此具体实施中是从两幅图像各自的左上角开始,沿着Y方向逐像素扫描,找到Y方向相似度最大的匹配点对,计算出两者Y方向的像素差异,结合已知的基线长度,即可计算出该匹配点距离装置光轴的距离。
由此,本发明实现了在不需要转动设备的情况下360°无盲区的距离测量,并且可一次性快速标定,实时性好,具有其突出显著的技术效果。

Claims (10)

1.一种全景环带立体成像系统,其特征在于:包括两个结构相同的同光轴(9)上下间隔布置的全景环带成像单元,两个成像单元的光轴(9)同轴并垂直于地面,形成立体成像系统,全景环带成像单元的投影模型均符合f-θ成像模型。
2.根据权利要求1所述的一种全景环带立体成像系统,其特征在于:所述成像系统使用时光轴垂直于地面放置,全景环带成像单元将绕光轴360°范围之内、水平线以下0°~20°、水平线以上0°~80°范围内的物体发出的光线投影到两个全景环带成像单元各自的成像面上,成像面呈环形,中心存在圆形盲区。
3.根据权利要求1所述的一种全景环带立体成像系统,其特征在于:所述的两个全景环带成像单元沿光轴方向的基线距d为10mm~100mm。
4.根据权利要求1所述的一种全景环带立体成像系统,其特征在于:所述的全景环带成像单元包括同一光轴下的环形折射面(1)、环形反射面(2)、圆形反射面(3)、圆形折射面(4)、中继转向透镜(5)和成像面(6),环形折射面(1)作为入射面,环形反射面(2)位于环形折射面(1)的正下方且其反射面朝上,圆形反射面(3)连接在环形折射面(1)的中心且其反射面朝下,圆形折射面(4)连接在环形反射面(2)的中心;入射光从环形折射面(1)折射入射,经环形反射面(2)反射到圆形反射面(3)上,再经圆形反射面(3)反射后经圆形折射面(4)折射后出射,出射的光经中继转向透镜(5)汇聚到成像面(6)上。
5.一种如权利要求1~4任一所述全景环带立体成像系统的标定方法,其特征步骤如下:
1)使用带棋盘格的标定板对两个结构相同的全景环带立体成像单元分别进行拍摄标定,获得各自的内参,内参包括镜头的投影中心坐标、近轴焦距、畸变方程系数、主点在虚拟像平面上的投影坐标等参数,主点为距离投影中心为一倍焦距的点,然后进行校正使得两个全景环带立体成像单元的内参在校正后相同;
2)将两个全景环带成像单元上下同轴放置形成所述全景环带立体成像系统,使用相同的带棋盘格的标定板分别进行拍摄,获得全景环带立体成像系统的外参,外参包括两个全景环带成像单元的基线距以及两个全景环带成像单元分别相对于标定板所在平面的投影矩阵;
3)建立世界坐标系,以带棋盘格的标定板所在平面的坐标系作为世界坐标 系的XY轴,垂直于标定板的方向为世界坐标系的Z轴;对于两个全景环带成像单元分别建立空间上的虚拟成像平面局部坐标系O1X1Y1Z1和O2X2Y2Z2,其中O点为全景环带成像单元的成像面中心,作为虚拟成像平面局部坐标系的原点,成像面中心为成像面与光轴的交点,光轴方向作为Z轴,X轴和Y轴分别为垂直于光轴的投影平面的两个互相垂直方向;
4)利用步骤2)获得的投影矩阵,旋转上方全景环带成像单元(7)和下方全景环带成像单元(8)的局部坐标系,完成对全景环带立体成像系统的标定。
6.根据权利要求5所述的一种全景环带立体成像系统的标定方法,其特征在于:所述步骤3)中具体是:O1、O2为下、上全景环带成像单元(8、7)的成像面中心,Z1、Z2轴为下、上全景环带成像单元(8、7)的Z轴方向,X1/X2轴分别表示下、上全景环带成像单元(8、7)的X轴方向,Y1/Y2轴分别表示下、上全景环带成像单元(8、7)的Y轴方向。
7.根据权利要求5所述的一种全景环带立体成像系统的标定方法,其特征在于:所述步骤4)中旋转上方全景环带成像单元(7)和下方全景环带成像单元(8)的局部坐标系具体方法为:
4.1)将上方全景环带成像单元(7)的局部坐标系绕着原点O2旋转至其Z2轴与O1O2连线重合,
4.2)然后将下方全景环带成像单元(8)的局部坐标系绕着原点O1旋转至其Z1轴与O1O2连线重合;
4.3)最后将上方全景环带成像单元(7)或者下方全景环带成像单元(8)的X-Y平面绕自身坐标系的Z轴旋转,使得上下全景环带成像单元(7、8)的X和Y轴方向对齐一致。
8.根据权利要求5所述的一种全景环带立体成像系统的标定方法,其特征在于:所述步骤4.1)~4.3)中的旋转角度是根据上方全景环带成像单元(7)相对于下方全景环带成像单元(8)的投影矩阵或者下方全景环带成像单元(8)对于上方全景环带成像单元(7)的投影矩阵获得,所述上方全景环带成像单元(7)相对于下方全景环带成像单元(8)的投影矩阵或者下方全景环带成像单元(8)对于上方全景环带成像单元(7)的投影矩阵是根据步骤2)获得的两个投影矩阵相除获得。
9.一种全景环带立体成像系统的成像方法,其特征在于:
步骤一、采用权利要求5~8任一所述的方法对上、下两个全景环带成像单元(7、8)进行标定处理,获得内参和外参;
步骤二、空间的物点发出两条光线,分别进入标定后的两个全景环带成像 单元(7、8)中,经过多次折射和反射后成像在各自的成像面上,根据全景环带成像单元的内参和外参获得两个成像点各自距离光轴之间的径向距离;
步骤三、比较两个成像点各自距离光轴之间的径向距离获得两者差值,并结合成像系统已知的基线距,通过以下公式的三角测量法计算出该物点与系统光轴的距离:
其中,f为全景单元的标定焦距,d为基线距,x1和x2为相同像点在两个像平面上的径向距离,z为物体与系统光轴的距离。
10.根据权利要求9所述的一种全景环带立体成像系统的成像方法,其特征在于:所述的两个成像点各自与光轴之间的径向距离具体是根据内参和外参将两个全景环带成像单元的成像图像沿着任意同一条极线分别展开成矩形,计算两个矩形中各自成像点位置的距离差异获得。
CN201610301456.0A 2016-05-07 2016-05-07 全景环带立体成像系统及其标定方法与成像方法 Expired - Fee Related CN105759435B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610301456.0A CN105759435B (zh) 2016-05-07 2016-05-07 全景环带立体成像系统及其标定方法与成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610301456.0A CN105759435B (zh) 2016-05-07 2016-05-07 全景环带立体成像系统及其标定方法与成像方法

Publications (2)

Publication Number Publication Date
CN105759435A true CN105759435A (zh) 2016-07-13
CN105759435B CN105759435B (zh) 2018-07-24

Family

ID=56322650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610301456.0A Expired - Fee Related CN105759435B (zh) 2016-05-07 2016-05-07 全景环带立体成像系统及其标定方法与成像方法

Country Status (1)

Country Link
CN (1) CN105759435B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106507084A (zh) * 2016-10-18 2017-03-15 安徽协创物联网技术有限公司 一种全景相机阵列多视点图像校正方法
CN106657983A (zh) * 2016-11-16 2017-05-10 深圳六滴科技有限公司 全景摄像机的参数测试方法和装置
CN106780630A (zh) * 2017-01-09 2017-05-31 上海商泰汽车信息系统有限公司 标定板装置、车载摄像头标定方法及装置、系统
CN106991704A (zh) * 2017-03-24 2017-07-28 深圳市圆周率软件科技有限责任公司 一种全景相机的多场景标定方法及系统
CN107993264A (zh) * 2017-11-17 2018-05-04 广州市安晓科技有限责任公司 一种汽车环视全景的标定方法
CN108805801A (zh) * 2018-05-24 2018-11-13 北京华捷艾米科技有限公司 一种全景图像校正方法及系统
CN109767476A (zh) * 2019-01-08 2019-05-17 像工场(深圳)科技有限公司 一种自动对焦双目摄像头标定及深度计算方法
CN110884672A (zh) * 2019-11-27 2020-03-17 西安应用光学研究所 全景成像直升机辅助降落装置
CN111322949A (zh) * 2020-04-10 2020-06-23 广景视睿科技(深圳)有限公司 一种墙面标定的方法以及一种边标定的方法
CN112365578A (zh) * 2020-11-11 2021-02-12 杭州勾勾科技有限公司 基于双摄像机的三维人体模型重构系统及方法
CN113808221A (zh) * 2021-09-26 2021-12-17 杭州环峻科技有限公司 一种全景环带相机的标定方法及标定系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4566763A (en) * 1983-02-08 1986-01-28 Budapesti Muszaki Egyetem Panoramic imaging block for three-dimensional space
US5473474A (en) * 1993-07-16 1995-12-05 National Research Council Of Canada Panoramic lens
CN101414054A (zh) * 2008-11-21 2009-04-22 浙江大学 利用全景环带成像透镜实现立体成像装置及其方法
CN102508354A (zh) * 2011-10-27 2012-06-20 浙江大学 利用全景环带透镜实现全景望远组合成像装置及其方法
CN103293845A (zh) * 2013-06-26 2013-09-11 浙江大学 一种全景成像装置及方法
CN205691872U (zh) * 2016-05-07 2016-11-16 杭州映墨科技有限公司 一种全景环带立体成像系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4566763A (en) * 1983-02-08 1986-01-28 Budapesti Muszaki Egyetem Panoramic imaging block for three-dimensional space
US5473474A (en) * 1993-07-16 1995-12-05 National Research Council Of Canada Panoramic lens
CN101414054A (zh) * 2008-11-21 2009-04-22 浙江大学 利用全景环带成像透镜实现立体成像装置及其方法
CN102508354A (zh) * 2011-10-27 2012-06-20 浙江大学 利用全景环带透镜实现全景望远组合成像装置及其方法
CN103293845A (zh) * 2013-06-26 2013-09-11 浙江大学 一种全景成像装置及方法
CN205691872U (zh) * 2016-05-07 2016-11-16 杭州映墨科技有限公司 一种全景环带立体成像系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
田延冰 等: "基于全景环带立体成像系统的深度信息估计", 《光学学报》 *
田延冰: "基于双PAL全景系统的立体信息获取研究", 《CNKI中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106507084A (zh) * 2016-10-18 2017-03-15 安徽协创物联网技术有限公司 一种全景相机阵列多视点图像校正方法
CN106657983B (zh) * 2016-11-16 2019-02-22 深圳六滴科技有限公司 全景摄像机的参数测试方法和装置
CN106657983A (zh) * 2016-11-16 2017-05-10 深圳六滴科技有限公司 全景摄像机的参数测试方法和装置
CN106780630A (zh) * 2017-01-09 2017-05-31 上海商泰汽车信息系统有限公司 标定板装置、车载摄像头标定方法及装置、系统
CN106991704A (zh) * 2017-03-24 2017-07-28 深圳市圆周率软件科技有限责任公司 一种全景相机的多场景标定方法及系统
CN107993264A (zh) * 2017-11-17 2018-05-04 广州市安晓科技有限责任公司 一种汽车环视全景的标定方法
CN108805801A (zh) * 2018-05-24 2018-11-13 北京华捷艾米科技有限公司 一种全景图像校正方法及系统
CN109767476A (zh) * 2019-01-08 2019-05-17 像工场(深圳)科技有限公司 一种自动对焦双目摄像头标定及深度计算方法
CN109767476B (zh) * 2019-01-08 2023-04-07 像工场(深圳)科技有限公司 一种自动对焦双目摄像头标定及深度计算方法
CN110884672A (zh) * 2019-11-27 2020-03-17 西安应用光学研究所 全景成像直升机辅助降落装置
CN111322949A (zh) * 2020-04-10 2020-06-23 广景视睿科技(深圳)有限公司 一种墙面标定的方法以及一种边标定的方法
CN111322949B (zh) * 2020-04-10 2022-03-11 广景视睿科技(深圳)有限公司 一种墙面标定的方法以及一种边标定的方法
CN112365578A (zh) * 2020-11-11 2021-02-12 杭州勾勾科技有限公司 基于双摄像机的三维人体模型重构系统及方法
CN113808221A (zh) * 2021-09-26 2021-12-17 杭州环峻科技有限公司 一种全景环带相机的标定方法及标定系统
CN113808221B (zh) * 2021-09-26 2023-09-01 杭州环峻科技有限公司 一种全景环带相机的标定方法及标定系统

Also Published As

Publication number Publication date
CN105759435B (zh) 2018-07-24

Similar Documents

Publication Publication Date Title
CN105759435B (zh) 全景环带立体成像系统及其标定方法与成像方法
CN108257183B (zh) 一种相机镜头光轴校准方法和装置
US7837330B2 (en) Panoramic three-dimensional adapter for an optical instrument and a combination of such an adapter and such an optical instrument
CN106127745B (zh) 结构光3d视觉系统与线阵相机的联合标定方法及装置
JP2004037270A (ja) キャリブレーション用データ測定装置、測定方法及び測定プログラム、並びにコンピュータ読取可能な記録媒体、画像データ処理装置
WO2018137721A1 (zh) 一种获取全景图像的装置及其组装方法
CN106352855A (zh) 一种摄影测量方法及装置
CN105654484A (zh) 光场相机外参数标定装置及方法
CN111896221B (zh) 虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法
CN102509261A (zh) 一种鱼眼镜头的畸变校正方法
CN107633489A (zh) 鱼眼镜头圆心重提取映射法畸变矫正方法
CN110827360B (zh) 一种光度立体式测量系统及其标定光源方向的方法
CN101354796B (zh) 基于泰勒级数模型的全向立体视觉三维重建方法
CN105825470A (zh) 基于点云影像的鱼眼影像纠正方法
CN104807405B (zh) 一种基于光线角度标定的三维坐标测量方法
US20240212210A1 (en) Hand-eye calibration method based on three-dimensional point cloud of calibration plate
CN107610183A (zh) 新型条纹投影相位高度转换映射模型及其标定方法
CN205691872U (zh) 一种全景环带立体成像系统
CN109272555A (zh) 一种rgb-d相机的外部参数获得及标定方法
CN102053475A (zh) 单相机全方位立体视觉系统
CN108109111A (zh) 通过软硬件结合组装调试多鱼眼镜头全景相机的方法
JP2017098859A (ja) 画像のキャリブレーション装置及びキャリブレーション方法
US10869022B2 (en) Autostereoscopic multi-view display system and related apparatus
CN117351091A (zh) 一种相机阵列标定装置及其使用方法
CN112950727A (zh) 基于仿生曲面复眼的大视场多目标同时测距方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180724

Termination date: 20210507