CN101577002B - 应用于目标检测的鱼眼镜头成像系统标定方法 - Google Patents

应用于目标检测的鱼眼镜头成像系统标定方法 Download PDF

Info

Publication number
CN101577002B
CN101577002B CN2009100692798A CN200910069279A CN101577002B CN 101577002 B CN101577002 B CN 101577002B CN 2009100692798 A CN2009100692798 A CN 2009100692798A CN 200910069279 A CN200910069279 A CN 200910069279A CN 101577002 B CN101577002 B CN 101577002B
Authority
CN
China
Prior art keywords
eye lens
fish
coordinate system
imaging surface
fish eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009100692798A
Other languages
English (en)
Other versions
CN101577002A (zh
Inventor
曹作良
付华柱
冯为嘉
刘庆杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University of Technology
Original Assignee
Tianjin University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University of Technology filed Critical Tianjin University of Technology
Priority to CN2009100692798A priority Critical patent/CN101577002B/zh
Publication of CN101577002A publication Critical patent/CN101577002A/zh
Application granted granted Critical
Publication of CN101577002B publication Critical patent/CN101577002B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

应用于目标检测的鱼眼镜头成像系统标定方法包括:基于等距投影的鱼眼镜头成像系统数学建模、成像系统内部参数的精确标定(包括成像面中心点O3(u0,v0);鱼眼镜头顶切面到理论折射光心平面的距离L;鱼眼镜头径向畸变系数K;像元纵横比例因子i;相机坐标系与成像面坐标系的平面扭角γ;)、各参数标定方法及配套软件。本发明针对基于鱼眼镜头建立的全方位视觉系统,分析鱼眼镜头的光学结构及成像原理,引入畸变参数,建立鱼眼镜头成像系统的物理模型并推导系统的数学模型。通过自主研发的标定程序,从二维图像中获取三维空间信息,以此标定成像系统参数。本发明适用于各种鱼眼式全景镜头标定,方便准确,实用性强。

Description

应用于目标检测的鱼眼镜头成像系统标定方法
【技术领域】:
本发明属于摄像机标定技术领域,特别涉及应用于目标检测的以鱼眼镜头建立的全方位视觉系统标定。
【背景技术】:
成像系统标定是三维重建必不可少的步骤,成像系统标定结果直接影响视觉信息应用效果的好坏。简单的说,成像系统标定就是确定从三维空间点到摄像机成像平面上二维图像点之间映射关系的参数,每个像素都是通过透射投影得到。因此,研究成像系统的标定方法具有重要的理论意义和重要的实际应用价值。
鱼眼镜头视场角可达185度,可以实现近距离或超近距离大视场立体视觉感知。将其应用于大广角目标检测具有极大的优势和广泛的应用前景。但是使用鱼眼镜头拍摄的图像具有非常严重的畸变,主要原因是鱼眼镜头的真正成像面不是平面,而是近似于球状的曲面,因此,鱼眼镜头全方位视觉系统的标定有别于常规成像系统的标定。目前对常规成像系统的标定已经取得大量研究成果,然而针对鱼眼镜头全方位视觉系统的标定方法仍有待探索。
标定内容主要包括:成像系统模型的建立及模型中各参数精确值的获取。由于鱼眼镜头内部光学结构复杂,一般由10组以上光学镜头组成,导致鱼眼镜头摄像机模型很难精确的建立。本发明首先建立精确的鱼眼镜头成像模型,然后根据鱼眼镜头等距投影成像原理建立简单实用的数学模型再通过实验和数学计算来求解鱼眼镜头的内外参数。
【发明内容】:
本发明目的是提供一种应用于目标检测的鱼眼镜头成像系统标定方法,建立基于等距投影原理的鱼眼镜头成像系统的数学模型;确立鱼眼镜头成像系统的数学模型中各坐标系关系,建立简化的系统模型;设计包括成成像面中心点O3(u0,v0);鱼眼镜头顶切面到理论折射光心平面的距离L;鱼眼镜头径向畸变系数K;像元纵横比例因子i;相机坐标系与成像面坐标系的平面扭角γ等成像系统参数的标定和计算方法;开发相关参数标定软件。、
本发明提供的一种应用于目标检测的鱼眼镜头成像系统标定方法包括:
步骤一、建立基于等距投影原理的鱼眼镜头成像系统数学模型:
第一:建立世界坐标系(Xw,Yw,Zw)。世界坐标系也称真实或现实世界坐标系,或全局坐标系。它是客观世界的绝对坐标,是由用户任意定义的三维空间坐标参照系。一般的3D场景都用这个坐标系来表示。假设空间中的一点P,为了得到P点的定量数据,便于数学模型的建立以及公式的推导,故建立P点所在空间坐标系为世界坐标系。
第二:建立系统光轴O1O2O3。将多层镜片的鱼眼镜头物理模型简化成一个半球形折射镜头模型,同时建立理论折射光心O1,所有入射光线(除与光轴重合的入射光线外)都会穿折射镜头发生折射,与光轴重合的入射光线不发生折射。设与光轴重合的入射光线与相机镜头接口平面的交点为O2与成像平面的交点为O3,O3即为成像面中心点(u0,v0),设定O1O2O3为系统光轴;
第三:建立鱼眼镜头坐标系(Z,Y,Z)。以O1O2O3为Z轴建立鱼眼镜头坐标系(X,Y,Z),原点为O1。此坐标系是将多层镜片的鱼眼镜头物理模型简化成一个半球形折射镜头模型,同时建立理论折射光心O1
第三:建立摄相机坐标系(x,y,z)。以O1O2O3为z轴建立相机坐标系(x,y,z),原点为O2,此坐标系用来描述相机位置。
第四:建立成像平面坐标系(u,v):以成像平面CCD为坐标平面建立的平面直角坐标系,,此坐标系为二维坐标系,原点设为成像面右上角。由于成像平面坐标与生成的图像坐标为一一对应关系,所以实际应用中也采用图像坐标系中的图像坐标(单位为像素)来代替成像平面坐标系中的坐标。由于实际相机的CCD像元并非理想的正方形,而是长方形,所以存在的一个像元纵横比例因子i。
以上四个层次的坐标系{世界坐标系(Xw,Yw,Zw)、鱼眼镜头坐标系(X,Y,Z)、摄像机坐标系(x,y,z)、成像平面坐标系(u,v)}之间的关系如图1所示。
步骤二、确立鱼眼镜头成像系统的数学模型中各坐标系关系,建立简化的系统模型:
第一:建立图像映射关系:设P是世界坐标系中一点;Zp为P点到投影面的空间高度;R是P到理论折射光心O1的水平距离;ω为P点相对理论折射光心O1的入射角(仰角);θ是P点在摄像机坐标系中的方位角;Puv为P在成像面上的像点;r为成像点离图像中心点O3的距离(径向距离);θ为像点在图像物理坐标系中的方位角;f为理论折射光心O1到成像平面坐标系的垂直距离(即鱼眼镜头焦距)。
第二:简化世界坐标系(Xw,Yw,Zw)与鱼眼镜头坐标系(X,Y,Z):在默认情况下,鱼眼镜头垂直放置,设定为世界坐标系(Xw,Yw,Zw)和鱼眼镜头坐标系(X,Y,Z)重合,此时将世界坐标系简化,只保留鱼眼镜头坐标系(X,Y,Z)。
第三:简化相机坐标系(x,y,z)和成像平面坐标系(u,v):在实际模型中,相机坐标系(x,y,z)和成像平面坐标系(u,v)处于同一平面中,相机坐标系原点O2和成像面中心点O3(u0,v0)重合,相机坐标系的xy轴和成像平面uv轴在同一平面重合,但由于工业制作精度的原因,相机坐标系与成像面坐标系会存在一个平面扭角γ。同时在成像过程中,成像平面和鱼眼镜头坐标系平面的距离为固定值f,即鱼眼镜头焦距,所以可以将相机坐标系(x,y,z)简化。
最终简化后的系统模型只包括鱼眼镜头坐标系(X,Y,Z)和成像平面坐标系(u,v)两个坐标系,如图3所示。
步骤三、提出关于测量需用的五大参数:根据鱼眼镜头简化的系统模型推导出五个在鱼眼镜头标定中的主要参数:成像面中心点O3(u0,v0);鱼眼镜头顶切面到理论折射光心平面的距离L;鱼眼镜头径向畸变系数K;像元纵横比例因子i;相机坐标系与成像面坐标系的平面扭角γ。同时,设计各系统参数的标定方法、靶标模式并开发相关标定程序。
其中,成像面中心点O3(u0,v0),为第一测量参数,是标定过程的核心参数,它直接反应系统光轴在成像平面中的坐标位置,对于其他参数标定或者鱼眼镜头的实际应用具有相当重要的作用。
鱼眼镜头顶切面到理论折射光心平面的距离L,此参数为模型中简化的半球形折射镜头参数,此参数作为其他后续参数标定所必须的重要的变量之一,所以单独提出,作为一个参数,但在鱼眼镜头的实际应用中不用涉及。
鱼眼镜头径向畸变系数K,鱼眼镜头特有的另一重要参数,此参数直接体现鱼眼镜头的成像规律,是鱼眼镜头成像规律计算和图象畸变矫正的必要参数。
像元纵横比例因子i,是由于相机的CCD感光芯片制作工艺原因,普通的CCD感光像元是长方形,所以存在一个像元横纵比例,此参数是图像的精确复原应用的重要参数之一。但对于感光像元为标准正方形的CMOS感光芯片来说,此参数可以不涉及。
相机坐标系与成像面坐标系的平面扭角γ,是由于相机的感光芯片贴片制作工艺的原因,虽然可以保证感光芯片和相机接口平面的一致,但两个平面坐标轴之间会出现一个细微的平面扭转角度γ,在用相机做视觉高精度测量定位等工作时,需要标定此参数,并进行角度补偿,但如果此参数足够小,在某些应用领域可以忽略不计。此参数与镜头无关,可在普通镜头下完成标定。
步骤四、成像面中心点O3(u0,v0)标定:首先建立如下图2所示标定系统,通过观察遮光板以及CCD成像调整系统,使激光器、小孔、鱼眼镜头成像系统处于同一直线(即鱼眼镜头成像的系统光轴所在直线)。利用Matlab统计图像亮度峰值,再通过图像处理程序利用公式
u 0 = 1 N Σ i = 1 i = N u i , v 0 = 1 N Σ i = 1 i = N v i - - - ( 1 )
计算鱼眼镜头的成像面中心点O3(u0,v0),其中u0,v0为鱼眼镜头的像面中心点,N为亮点像素个数,ui,vi是亮点坐标。。
步骤五、鱼眼镜头顶切面到理论折射光心平面的距离L的标定:鱼眼镜头顶切面到理论折射光心平面的距离L的标定模型如图3所示,代表光轴与鱼眼镜头顶切面交点到理论折射光心O1的距离,属于摄像机内部参数,是标定径向畸变系数的必要前提参数,但它无法通过直接测量得到,根据等距投影成像原理,如果空间两点到鱼眼镜头的入射角相同,则在成像面上的径向距离相等。
空间不同两点P1、P2点在鱼眼成像面上的像点为同一点Puv,P1、P2点到鱼眼镜头顶切面的垂直距离为H1、H2(即点P1、P2在光轴O1O2O3上的投影点到光轴与鱼眼镜头顶切面交点的距离),P1、P2到光轴上投影点的距离为R1、R2(也称为水平距离),从图3中可以发现:
Δ OBP 1 ≅ Δ OAP 2 - - - ( 2 )
OB OA = BP 1 AP 2 ⇒ H 1 + L H 2 + L = R 1 R 2 - - - ( 3 )
(H1+L)·R2=(H2+L)·R1(4)
由(4)式司得出: L = H 2 R 1 - H 1 R 2 R 2 - R 1 - - - ( 5 )
从式(5)中可得知,只要在空间中能够找到两点使其成像于鱼眼图像中的同一像点,测得这两点的水平和垂直距离,即可求得L。
特有的标定程序,针对靶标模式在程序中建立五个基准点,一方面用来保证成像系统坐标系与靶标坐标系的一致性,另一方面捕获标定点在图像中的像素值。
步骤六、相机坐标系与成像面坐标系的平面扭角γ的标定方法:
此步骤使用普通平面镜头,设置十字靶标,将十字靶标的十字轴与相机xy轴平行。采集图像,如图11所示,首先通过圆各个方向直径所包含的像素量,判断像元方向的方向,在存在像元纵横比的情况下,直径像素点多的为像元短方向,直径像素点少的为像元长方向。然后通过直线检测识别十字直线,并计算直线与图像的uv轴夹角,即为相机坐标系与成像面坐标系的平面扭角γ。
步骤七、鱼眼镜头径向畸变系数K和像元纵横比例因子i的标定:
根据等距投影原理数学模型如下:O3为鱼眼镜头成像面的中心点(u0,v0),(u,v)为成像点Puv在成像平面坐标系中的像素坐标,它们之间的关系为:
r=Kω(6)
r = ( u - u 0 ) 2 + ( v - v 0 ) 2 - - - ( 7 )
其中,K为径向畸变系数,因为: tan ω = R H + L , 所以:
ω = tan - 1 ( R H + L ) - - - ( 8 )
式中R为点P在空间坐标系下与光轴O1O2O3的距离。H为点P在光轴O1O2O3上的投影点到光轴与鱼眼镜头顶切面交点的距离,L为鱼眼镜头顶切面到理论折射光心平面的距离。
将式(7)、(8)代入(6)得(9):
K = r ω = ( u - u 0 ) 2 + ( v - v 0 ) 2 tan - 1 ( R H + L ) - - - ( 9 )
K即为鱼眼镜头径向畸变系数。
像元纵横比例因子i的标定:
由于存在像元比例因子i,所以图像在u,v轴上的发生的畸变是不同的,将径向畸变分解到u,v轴上。u,v方向上的径向畸变为:
ru=Kuω,rv=Kvω         (10)
式中ru,rv为像点到图像中心点的距离在u,v轴上的分量,设图像中心点为(u0,v0),空间一点入射角为ω的P点在图像平面的成像点为Puv(u,v),那么:
ru=|u-u0|,rv=|v-v0|     (11)
将式(3)、(11)代入到式(10)得(12):
K u = | u - u 0 | tan - 1 ( R H + L ) , K v = | v - v 0 | tan - 1 ( R H + L ) - - - ( 12 )
建立鱼眼镜头Ku,Kv标定模型如图4示。
测量镜头到靶标面的距离,记为Hi。采集靶标在鱼眼摄像机下的成像,标定程序自动获取标定点在鱼眼图像中的图像坐标记为(ui,vi),经标定软件自动计算得出Ku,Kv。鱼眼镜头径向畸变系数K可以由Ku,Kv取平均计算(Ku,Kv即为K值在uv轴上的分量)。然后像元纵横比例因子i可由公式 i = Ku Kv ,由标定软件自动求出。
本发明的优点和积极效果:
●应用于目标检测的鱼眼镜头成像系统标定方法建立了一套集世界坐标系、鱼眼镜头坐标系、摄像机坐标系、成像平面坐标系于一体的精确成像系统数学模型。
●在数学模型基础上根据等距投影定理和各坐标系关系,建立一个简化的数学建模。最终建立空间中任意一点与鱼眼图像中像素的对应关系。
●系统地提出基于鱼眼镜头建立的成像系统所需标定的内、外部共五大参数。为精确鱼眼图像畸变矫正、目标检测奠定坚实的基础。
●发明并开发精确、实用的各标定参数的标定方法、靶标模式及配套程序。确保标定结果准确可靠。
●特有的标定程序有效地辅助标定过程,自动捕获信息并进行数据计算、分析、处理,大大降低标定过程中由于人为运算而产生的误差。
【附图说明】:
图1是鱼眼镜头成像系统模型;
图2是像面中心点标定环境;
图3是鱼眼镜头简化的系统模型图;
图4是鱼眼图像在u、v轴方向上的径向畸变系数Ku,Kv标定靶标模型;
图5是遮光板上反射光斑;
图6是激光束CCD成像效果;
图7是光斑二值图像;
图8是Matlab亮度统计三维图;
图9是靶标与鱼眼镜头调整;
图10是靶标在鱼眼摄像机下的图像;
图11是普通平面镜头拍摄的十字靶标。
【具体实施方式】:
应用于目标检测的鱼眼镜头成像系统标定方法由七个步骤组成:1、建立基于等距投影原理的鱼眼镜头成像系统的数学模型;2、确立鱼眼镜头成像系统的数学模型中各坐标系关系,建立简化的系统模型;3、根据鱼眼镜头简化的系统模型推导出五个在鱼眼镜头标定中的主要参数;4、成像面中心点O3(u0,v0)标定;5、鱼眼镜头顶切面到理论折射光心平面的距离L标定;6、相机坐标系与成像面坐标系的平面扭角γ的标定;7、鱼眼镜头径向畸变系数K和像元纵横比例因子i的标定。
下面的实用案例具体说明了本发明的实施步骤和应用效果。
步骤一:以鱼眼镜头FE185C046HA-1及Watec221S模拟相机建立应用于目标检测的鱼眼镜头成像系统,建立系统数学模型如图1所示.
步骤二:确立鱼眼镜头成像系统的数学模型中各坐标系关系,建立简化的系统模型:简化世界坐标系和相机坐标系,简化后的系统模型如图3所示。
步骤三:测量所需的五大参数为:成像面中心点O3(u0,v0);鱼眼镜头顶切面到理论折射光心平面的距离L;鱼眼镜头径向畸变系数K;像元纵横比例因子i;相机坐标系与成像面坐标系的平面扭角γ
步骤四:成像面中心点O3(u0,v0)的标定。成像面中心点O3(u0,v0)的标定方法为激光标定法如图2所示,配套程序为亮度阈值统计Matlab程序和中心点计算VC程序首先须对整个标定系统进行位置调整。
激光束与鱼眼镜头光心水平高度调整:将激光器打开,用带有坐标纸的光学支架在激光器端及镜头端,分别观测光打在坐标纸上的位置,反复调整激光器与鱼眼镜头支架的高度,直至两端的激光打在坐标纸的等高位置上。
激光束与鱼眼镜头光心对中调整:在高度调整一致后,将激光器与鱼眼镜头支架高度固定,仅调整鱼眼镜头支架的偏转角度来获得对中效果。在反射光路中设置挡板,观察反射光斑圆环的对称性,同时对照CCD成像结果,当遮光板上反射光斑圆环达到对称且CCD图像中的光斑最接近圆形,此时激光束、鱼眼镜头光心位置调整完毕。图5及图6分别为调整结束后遮光板上的光斑照片和CCD中的成像效果。
亮度阈值统计Matlab程序对图像进行亮度统计,获得亮度处理阈值信息如亮度峰值等信息,如图8所示。根据统计结果对图6进行图像二值化处理,结果如图7所示。
利用公式(1)可求得光斑的质心位置。经过多次重复实验,随机抽取三次实验结果如表1所示。再将三次实验数据进行平均,得像面中心在像素坐标位置为(381.3289,290.1296)。
表1
  序号   u   v
  1   381.7597   290.4104
  2   380.9724   290.0548
  3   381.2547   289.9235
步骤五:鱼眼镜头顶切面到理论折射光心平面的距离L的标定。标定方法如图3所示,配套程序为五基准点VC程序。利用坐标纸建立标定靶标。在VC程序中编写图像采集程序,以O(u0,v0)作为基准点,分别在a(u0-90,v0)、b(u0+90,v0)、c(u0,v0-90)、d(u0,v0+90)五个点的图像位置作红色十字标记。通过图像调整靶标及鱼眼镜头位置:
首先保证鱼眼镜头与靶标面相互垂直。
然后移动靶标使图像中心O(u0,v0)的红色十字标记与靶标中心点O’重合。
最后水平方向轻微旋转靶标,观察图像中的标记与实际空间靶标上的点a’、b’、c’、d’,经过反复调整直至O’a’=O’b’,O’c’=O’d’,此时镜头与靶标位置正对并且垂直,如图9所示。
通过程序记录靶标上距靶标中心点2cm的点a’在图像中的位置P,测量镜面到靶标面的距离H1。将靶标固定,垂直方向调整镜头、加大靶标与镜头间的距离,直至距靶标中心3cm点的成像点与2cm处的成像点重合于P点,测量此时镜头到靶标面的距离H2,利用公式(5)求得L。多次测得取平均值得到L为17.8mm。
步骤六、相机坐标系与成像面坐标系的平面扭角γ的标定。
此步骤使用普通平面镜头,设置十字靶标,将十字靶标的十字轴与相机xy轴平行。采集图像,如图11所示,首先通过圆各个方向直径所包含的像素量,判断像元方向的方向,在存在像元纵横比的情况下,直径像素点多的为像元短方向,直径像素点少的为像元长方向。试验中圆周水平直径包含444像素,垂直直径包含450像素,由此可知像元长轴为成像面的u轴,像元短轴为成像面的v轴。
然后通过直线检测识别十字直线,并计算直线与图像的uv轴夹角,即为相机坐标系与成像面坐标系的平面扭角γ。本实例中,通过直线检测可以求得十字轴纵轴与图像v轴夹角为0.772480°。
步骤七:鱼眼镜头径向畸变系数K和像元纵横比例因子i的标定。构建标定实验平台,靶标结构如图4所示,u,v轴上的标定点间隔为2cm。采用参数L标定实验中的实验系统调整步骤,对镜头及靶标进行调整,最终保证镜头与靶标垂直、正对,并且通过相机坐标系与成像面坐标系的平面扭角γ调整补偿相机角度,保证成像平面坐标系与靶标坐标系相一致如图10所示。
利用配套Ku,Kv计算VC程序进行数据分析,Δuui、Δvvi为标定点的成像点到图像中心的像素差,ΔRi为标定点到光轴的的实际空间距离, θ i = tan - 1 ( Δ R i H + L ) 为标定点的入射角。求取实验数据的平均值得ku=3.2145,kv=3.2258。由Ku,Kv取平均可以计算出鱼眼镜头径向畸变系数K=3.22。
表2为X轴方向上的标定结果(h1=73.7mm),
表3为Y轴方向上的标定结果(h1=73.7mm)
利用纵横比例因子 i = Ku Kv 计算,VC程序求出i=0.9965。同时由步骤七得出的圆周水平直径包含444像素,垂直直径包含450像素,也可用来验证像元纵横比例因子i的标定,用水平直径像素个数除以垂直直径像素个数也可求的i=0.99666,通过两种方法,可以求得纵横比例因子i为0.996。至此,所有标定完成。

Claims (1)

1.一种应用于目标检测的鱼眼镜头成像系统的标定方法,其特征在于该标定方法包括:
步骤一、建立基于等距投影原理的鱼眼镜头成像系统的数学模型,具体方法是:
第一:建立世界坐标系(Xw,Yw,Zw),原点为Ow;此坐标系是客观世界的绝对坐标,是由用户任意定义的三维空间坐标参照系;
第二:建立系统光轴O1  O2 O3;将多层镜片的鱼眼镜头物理模型简化成一个半球形折射镜头模型,同时建立理论折射光心O1;除与光轴重合的入射光线外,所有入射光线都会穿折射镜头,从而发生折射,与光轴重合的入射光线不发生折射;设与光轴重合的入射光线与相机镜头接口平面的交点为O2与成像面的交点为O3,O3即为成像面中心点(u0,v0),设定O1 O2 O3为系统光轴;
第三:以O1 O2 O3为Z轴建立鱼眼镜头坐标系(X,Y,Z),原点为O1;此坐标系是将多层镜片的鱼眼镜头物理模型简化成一个半球形折射镜头模型,同时建立理论折射光心O1
第四:以O1 O2 O3为z轴建立相机坐标系(x,y,z),原点为O2;此坐标系描述相机位置;
第五:建立成像面坐标系(u,v):以成像面CCD为坐标平面建立的平面直角坐标系,此坐标系为二维坐标系;原点设为成像面右上角;由于成像面坐标与生成的图像坐标为一一对应关系,所以实际应用中也采用以像素为单位的图像坐标系中的图像坐标来代替成像面坐标系中的坐标;
步骤二、确立鱼眼镜头成像系统的数学模型中各坐标系关系,建立简化的系统模型,具体方法为:
第一:建立图像映射关系:设P是世界坐标系中一点;Zp为P点到投影面的空间高度;R是P到理论折射光心O1的水平距离;ω为P点相对理论折射光心O1的入射角,即仰角;θ是P点在鱼眼镜头坐标系中的方位角;Puv为P在成像面上的像点;r为像点与成像面中心点O3的距离,也称径向距离;θ为像点在图像坐标系中的方位角;f为理论折射光心O1到成像面坐标系的垂直距离,即鱼眼镜头焦距;
第二:简化世界坐标系(Xw,Yw,Zw)与鱼眼镜头坐标系(X,Y,Z):在默认情况下,鱼眼镜头垂直放置,设定为世界坐标系(Xw,Yw,Zw)和鱼眼镜头坐标系(X,Y,Z)重合,此时将世界坐标系简化,只保留鱼眼镜头坐标系(X,Y,Z);
第三:简化相机坐标系(x,y,z)和成像面坐标系(u,v):在实际模型中,相机坐标系(x,y,z)和成像面坐标系(u,v)处于同一平面中,相机坐标系原点O2和成像面中心点O3(u0,v0)重合;同时在成像过程中,成像面和鱼眼镜头坐标系平面的距离为固定值f,即鱼眼镜头焦距,所以能够将相机坐标系(x,y,z)简化;
最终简化后的系统模型只包括鱼眼镜头坐标系(X,Y,Z)和成像面坐标系(u,v)两个坐标系;
步骤三、根据鱼眼镜头简化的系统模型推导出五个在鱼眼镜头标定中的主要参数:成像面中心点O3(u0,v0);鱼眼镜头顶切面到理论折射光心平面的距离L;鱼眼镜头径向畸变系数K;像元纵横比例因子i;相机坐标系与成像面坐标系的平面扭角γ;
步骤四、成像面中心点标定:利用激光标定方法标定出鱼眼镜头的成像面中心点O3(u0,v0),具体标定方法是:
由鱼眼镜头成像系统采集激光在CCD上的成像,并用Matlab统计图像的亮度分布,由
Figure FSB00000446053900021
Figure FSB00000446053900022
计算鱼眼镜头的成像面中心点O3(u0,v0),其中u0,v0为鱼眼镜头的成像面中心点坐标,N为亮点像素个数,ui,vi是亮点坐标;
步骤五、建立鱼眼镜头顶切面到理论折射光心平面的距离L的标定模型,并根据模型设计L的标定方法,具体方法是:
根据标定模型推导出L的计算公式:建立标定方法,其中,式中H1、H2为点P1、P2在光轴O1 O2 O3上的投影点到光轴与鱼眼镜头表面即鱼眼镜头顶切面的交点的距离,R1、R2为点P1、P2到光轴上投影点的距离,空间不同两点P1、P2点在成像面上的像点为同一点Puv
步骤六、建立相机坐标系与成像面坐标系的平面扭角γ的标定模型,并根据模型设计相机与成像面的扭角γ的标定方法,具体方法是:固定十字靶标和相机轴平行,采集图像,首先通过圆各个方向直径所包含的像素量,判断像元方向的方向,在存在像元纵横比的情况下,直径像素点多的为像元短方向,直径像素点少的为像元长方向;然后通过直线检测识别十字直线,并计算直线与图像的uv轴夹角,即为相机坐标系与成像面坐标系的平面扭角γ;
步骤七、建立鱼眼镜头径向畸变系数K和像元纵横比例因子i的标定模型,并根据模型设计K和像元纵横比例因子i的标定方法,具体方法是:
K = ( u - u 0 ) 2 + ( v - v 0 ) 2 tan - 1 ( R H + L )
其中,(u0,v0)为成像面中心点的坐标,(u,v)为仰角为ω的一点P在成像面坐标系中的像点Puv的像素坐标,R是点P到理论折射光心O1的水平距离;H为点P在光轴O1 O2 O3上的投影点到光轴与鱼眼镜头表面交点的距离,L为鱼眼镜头顶切面到理论折射光心平面的距离;
i = Ku Kv
其中
Figure FSB00000446053900033
为鱼眼镜头在成像面u、v轴方向上的各自径向畸变系数分量Ku,Kv。
CN2009100692798A 2009-06-16 2009-06-16 应用于目标检测的鱼眼镜头成像系统标定方法 Expired - Fee Related CN101577002B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2009100692798A CN101577002B (zh) 2009-06-16 2009-06-16 应用于目标检测的鱼眼镜头成像系统标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009100692798A CN101577002B (zh) 2009-06-16 2009-06-16 应用于目标检测的鱼眼镜头成像系统标定方法

Publications (2)

Publication Number Publication Date
CN101577002A CN101577002A (zh) 2009-11-11
CN101577002B true CN101577002B (zh) 2011-12-28

Family

ID=41271936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009100692798A Expired - Fee Related CN101577002B (zh) 2009-06-16 2009-06-16 应用于目标检测的鱼眼镜头成像系统标定方法

Country Status (1)

Country Link
CN (1) CN101577002B (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101726855B (zh) * 2009-11-13 2011-05-11 河北工业大学 基于立方体投影对鱼眼图像畸变校正方法
CN101814181B (zh) * 2010-03-17 2012-05-23 天津理工大学 一种鱼眼图像复原的展开方法
CN102081798B (zh) * 2010-12-24 2012-09-26 北京控制工程研究所 一种鱼眼立体相机对的极线校正方法
CN102096923B (zh) * 2011-01-20 2013-07-24 上海杰图软件技术有限公司 鱼眼标定方法和装置
US9188973B2 (en) * 2011-07-08 2015-11-17 Restoration Robotics, Inc. Calibration and transformation of a camera system's coordinate system
CN102519435B (zh) * 2011-12-21 2013-12-25 上海杰图软件技术有限公司 全景影像采集测量系统和全景影像空间测量方法
CN103268487A (zh) * 2013-05-02 2013-08-28 山推工程机械股份有限公司 一种基于铲角特征的远程控制推土机目标检测方法
CN105184756B (zh) * 2013-09-04 2018-03-09 北京英泰智软件技术发展有限公司 一种鱼眼镜头的图像校正方法
CN104200468B (zh) * 2014-08-28 2017-01-18 中国矿业大学 一种球面透视投影模型校正参数获取方法
CN104516189A (zh) * 2014-12-26 2015-04-15 广东光阵光电科技有限公司 Vtm机180度广角拍摄摄像模组及其拍摄方法
CN105076077A (zh) * 2015-07-25 2015-11-25 孟宪胜 一种基于激光成像检测的鱼体识别方法
CN105187753A (zh) * 2015-08-06 2015-12-23 佛山六滴电子科技有限公司 一种录制全景视频的系统
CN105466334B (zh) * 2015-09-21 2019-12-03 天津理工大学 多镜头视觉采集装置的镜头位置校准方法
CN105488766B (zh) * 2015-11-23 2018-06-19 上海汽车集团股份有限公司 鱼眼镜头图像校正方法及装置
CN106815866B (zh) * 2015-11-30 2020-04-03 宁波舜宇光电信息有限公司 鱼眼相机的标定方法及其标定系统和标板
CN105678783B (zh) * 2016-01-25 2018-10-19 西安科技大学 折反射全景相机与激光雷达数据融合标定方法
EP3217355A1 (en) * 2016-03-07 2017-09-13 Lateral Reality Kft. Methods and computer program products for calibrating stereo imaging systems by using a planar mirror
CN105844584B (zh) * 2016-03-19 2019-08-06 上海大学 校正鱼眼镜头图像畸变的方法
CN107525652B (zh) * 2016-06-22 2021-05-04 北京疯景科技有限公司 镜头畸变测试方法、装置及系统
WO2018076154A1 (zh) * 2016-10-25 2018-05-03 成都通甲优博科技有限责任公司 一种基于鱼眼摄像机空间位姿标定的全景视频生成方法
CN106815869B (zh) * 2016-10-28 2020-06-19 北京鑫洋泉电子科技有限公司 鱼眼相机的光心确定方法及装置
US9807359B1 (en) * 2016-11-11 2017-10-31 Christie Digital Systems Usa, Inc. System and method for advanced lens geometry fitting for imaging devices
CN107248178B (zh) * 2017-06-08 2020-09-25 上海赫千电子科技有限公司 一种基于畸变参数的鱼眼相机标定方法
CN107122770B (zh) * 2017-06-13 2023-06-27 驭势(上海)汽车科技有限公司 多目相机系统、智能驾驶系统、汽车、方法和存储介质
CN109696122A (zh) * 2017-10-24 2019-04-30 华晶科技股份有限公司 利用鱼眼影像计算所摄物体坐标的方法及影像获取装置
CN107707911B (zh) * 2017-10-27 2019-05-28 信利光电股份有限公司 一种测试图片的生成方法
CN108109178A (zh) * 2017-12-19 2018-06-01 杭州电子科技大学 一种机车轮对磨耗参数检测的摄像机标定方法
CN108257183B (zh) * 2017-12-20 2021-02-23 歌尔光学科技有限公司 一种相机镜头光轴校准方法和装置
CN109544637B (zh) * 2018-10-18 2024-02-27 北京伟景智能科技有限公司 双目标定验证装置
EP3967969B1 (en) 2019-05-08 2024-05-08 Sichuan Visensing Technology Co., Ltd. Fisheye camera calibration system, method and apparatus, electronic device, and storage medium
CN113034605B (zh) * 2019-12-25 2024-04-16 宁波吉利汽车研究开发有限公司 目标对象的位置确定方法、装置、电子设备及存储介质
CN111307046B (zh) * 2020-02-17 2021-06-01 东北林业大学 基于半球图像的树高测量方法
CN113532329B (zh) * 2020-03-16 2024-03-19 天目爱视(北京)科技有限公司 一种以投射光斑为标定点的标定方法
CN112649935B (zh) * 2020-12-30 2023-12-08 安徽地势坤光电科技有限公司 一种调整成像镜头安装角度的辅助装置及调整方法
CN114862717B (zh) * 2022-05-11 2023-06-23 桂林理工大学 主光轴与核线正交和横轴共线同时约束的鱼眼相机像对检校方法
CN115100026B (zh) * 2022-06-15 2023-07-14 佳都科技集团股份有限公司 基于目标对象的标签坐标转换方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1933598A (zh) * 2006-09-29 2007-03-21 北京中星微电子有限公司 一种视频监控系统
CN101425181A (zh) * 2008-12-15 2009-05-06 浙江大学 一种全景视觉辅助泊车系统的标定方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1933598A (zh) * 2006-09-29 2007-03-21 北京中星微电子有限公司 一种视频监控系统
CN101425181A (zh) * 2008-12-15 2009-05-06 浙江大学 一种全景视觉辅助泊车系统的标定方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JP特开2005-258953A 2005.09.22
JP特开2007-192832A 2007.08.02
Weijia Feng et.al..Omnidirectional Vision Tracking and Positioning for Vehicles.《Natural Computation,2008,ICNC"08》.2008,第6卷183-187. *
秦洁等.基于DSP的SVM算法实现鱼眼镜头畸变校正.《电子测量技术》.2008,第31卷(第9期),154-156、184. *
贾云得等.一种鱼眼镜头成像立体视觉系统的标定方法.《计算机学报》.2000,第23卷(第11期),1215-1219. *

Also Published As

Publication number Publication date
CN101577002A (zh) 2009-11-11

Similar Documents

Publication Publication Date Title
CN101577002B (zh) 应用于目标检测的鱼眼镜头成像系统标定方法
CN103971353B (zh) 采用激光辅助大型锻件测量图像数据的拼接方法
CN102509261B (zh) 一种鱼眼镜头的畸变校正方法
CN110197466B (zh) 一种广角鱼眼图像矫正方法
CN110044300B (zh) 基于激光器的两栖三维视觉探测装置及探测方法
CN109859272B (zh) 一种自动对焦双目摄像头标定方法及装置
CN110689581B (zh) 结构光模组标定方法、电子设备、计算机可读存储介质
EP1378790B1 (en) Method and device for correcting lens aberrations in a stereo camera system with zoom
CN109544628B (zh) 一种指针式仪表的准确读数识别系统及方法
CN112894832A (zh) 三维建模方法、装置、电子设备和存储介质
CN104517291B (zh) 基于目标同轴圆特征的位姿测量方法
CN106952309A (zh) 快速标定tof深度相机多种参数的设备及方法
CN111709985B (zh) 一种基于双目视觉的水下目标测距方法
CN110874854B (zh) 一种基于小基线条件下的相机双目摄影测量方法
CN109272555B (zh) 一种rgb-d相机的外部参数获得及标定方法
CN101354796B (zh) 基于泰勒级数模型的全向立体视觉三维重建方法
CN107991665A (zh) 一种基于定焦相机的对标靶三维坐标连续测量方法
CN113947638B (zh) 鱼眼相机影像正射纠正方法
CN111595302A (zh) 一种双面阵ccd辅助三线阵ccd位姿光学测量及校准方法
CN114782636A (zh) 三维重建方法、装置及系统
CN108269234A (zh) 一种全景相机镜头姿态估计方法及全景相机
CN114998448A (zh) 一种多约束双目鱼眼相机标定与空间点定位的方法
TW565736B (en) Method for determining the optical parameters of a camera
CN117115272A (zh) 用于降水粒子多角度成像的远心相机标定和三维重构方法
CN109345595B (zh) 一种基于圆球透镜的立体视觉传感器标定方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20111228

Termination date: 20120616