CN102096923B - 鱼眼标定方法和装置 - Google Patents

鱼眼标定方法和装置 Download PDF

Info

Publication number
CN102096923B
CN102096923B CN201110022511XA CN201110022511A CN102096923B CN 102096923 B CN102096923 B CN 102096923B CN 201110022511X A CN201110022511X A CN 201110022511XA CN 201110022511 A CN201110022511 A CN 201110022511A CN 102096923 B CN102096923 B CN 102096923B
Authority
CN
China
Prior art keywords
point
unit
crossing
homography matrix
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110022511XA
Other languages
English (en)
Other versions
CN102096923A (zh
Inventor
张海威
刘玉亭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI JIETU SOFTWARE TECHN CO Ltd
Original Assignee
SHANGHAI JIETU SOFTWARE TECHN CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI JIETU SOFTWARE TECHN CO Ltd filed Critical SHANGHAI JIETU SOFTWARE TECHN CO Ltd
Priority to CN201110022511XA priority Critical patent/CN102096923B/zh
Publication of CN102096923A publication Critical patent/CN102096923A/zh
Application granted granted Critical
Publication of CN102096923B publication Critical patent/CN102096923B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了鱼眼标定方法和装置，能标定绝大多数镜头，标定结果精确、操作简单、效率高。其技术方案为：方法包括以下的步骤：建立半单位球面模型，并在单位球面模型上建立鱼眼成像关系；初始化内参，其中内参是鱼眼相机自身的参数，与外部环境无关；计算单应矩阵；初始化外参，其中外参是鱼眼相机与外部环境之间的参数；LM迭代最小化重投影误差，得到优化后的内参与外参。

Description

鱼眼标定方法和装置
技术领域
本发明涉及一种鱼眼标定技术，尤其涉及一种基于多项式拟合的鱼眼标定方法和装置。
背景技术
鱼眼镜头可以获得很大的视角，它在视觉监控、三维建模、虚拟现实和机器人导航等领域有着广泛的应用。与我们常见的普通透视图像不同，鱼眼图像有很大的畸变。在三维建模、虚拟现实和机器人导航等领域，要想使用鱼眼镜头首先必须对鱼眼镜头进行精确校正，这个校正的过程在计算机视觉中称为标定(calibration)。目前，针对鱼眼镜头的标定算法大体有如下几类：
基于特殊运动的方法：纯旋转“Panoramic mosaicing with a 180 field of viewlens”或者纯平面运动“Ego-motion and omnidirectional cameras”。这类方法能够标定鱼眼镜头内参，但要对相机运动做出限制并需要昂贵的设备来支撑。
自标定的方法：基于点对应估计极线约束“Estimation ofomnidirectional cameramodel from epipolar geometry”。这类方法能自动标定鱼眼镜头，但标定精度不高。
基于球的方法：“Catadioptric camera calibration using geometric invariants”。这种方法能够以较高精度标定鱼眼镜头，但需要精确的标定球并且只适用于鱼眼镜头。
基于直线的方法：“Straight lines have to be straight”。这类方法对标定场景有要求，并且标定精度不高。
基于标定板的方法：“A flexible technique for accurate omnidirectional cameracalibration and structure from motion”。这类方法能够精确标定鱼眼镜头，但现有的方法需要手动选取标定板上的大量特征点，操作效率非常低。
发明内容
本发明的目的在于解决上述问题，提供了一种鱼眼标定方法，能标定绝大多数镜头，标定结果精确、操作简单、效率高。
本发明的另一目的在于提供了一种鱼眼标定装置。
本发明的技术方案为：本发明揭示了一种鱼眼标定方法，包括以下的步骤：
步骤一：建立半单位球面模型，并在单位球面模型上建立鱼眼成像关系；
步骤二：初始化内参，其中内参是鱼眼相机自身的参数，与外部环境无关；
步骤三：计算单应矩阵；
步骤四：初始化外参，其中外参是鱼眼相机与外部环境之间的参数；
步骤五：LM迭代最小化重投影误差，得到优化后的内参与外参。
根据本发明的鱼眼标定方法的一实施例，步骤一包括：
记空间中某一点x在鱼眼图像上的成像点为(u，v)，空间点x指向单位球球心的入射角度为
Figure BDA0000044534280000021
其中θ是入射光线与单位球Z轴正方向的夹角，是入射光线在单位球XY平面上的投影与单位球X轴正方向的夹角，则由入射光线的入射角度
Figure BDA0000044534280000023
到鱼眼图像上的成像点(u，v)的鱼眼成像模型由以下方程描述：
r(θ)＝k1θ+k2θ2+k3θ3+k4θ4+k5θ5+...knθn    (1)
r表示图像上的某个像素点到图像主点的距离，k1，...kn是鱼眼镜头的成像参数；
Δr表示鱼眼镜头的径向畸变，l1，...ln，i1，...i4为径向畸变参数；
Δt表示鱼眼镜头的切向畸变，m1，...mn，j1，...j4为切向畸变参数；
Figure BDA0000044534280000026
xd为像素点的位置向量，即(xd，yd)，ur为径向单位向量，为切向单位向量；
u v = m u 0 0 m v x d y d + u 0 v 0 - - - ( 5 )
(u0，v0)为图像的主点坐标，(mu，mv)分别为CCD水平与垂直方向上单位距离上的像素数，(k1，k2，k3，k4，k5，l1，l2，l3，i1，i2，i3，i4，m1，m2，m3，j1，j2，j3，j4，mu，mv，u0，v0)为待标定的鱼眼镜头的参数。
根据本发明的鱼眼标定方法的一实施例，步骤二包括：
读取镜头参数，镜头参数包括焦距f和最大视角θmax；
令k1＝f，rmax＝fθmax；
检测鱼眼图像边界，对边界点进行椭圆拟合：
Figure BDA0000044534280000031
求得u0，v0，a，b，则
Figure BDA0000044534280000032
其中(a，b)为椭圆的长短半轴，(u0，v0)为椭圆圆心；
其它的参数设置为0。
根据本发明的鱼眼标定方法的一实施例，步骤三包括：
步骤3.1：读取标定板上的棋盘格图像；
步骤3.2：在每张棋盘格图像上依次选取棋盘格顶点处的4个交叉点；
步骤3.3：利用初始化内参，将交叉点
Figure BDA0000044534280000034
反投影到单位球上得到单位向量
Figure BDA0000044534280000035
其中j为第j幅图像，i为第i个棋盘格交叉点；
步骤3.4：估计单应矩阵Hj，将单位向量表示为
Figure BDA0000044534280000037
单位向量与标定板上的空间点xi之间存在单应变换Hj，通过线性算法估计单应变换Hj，得到标定板上的空间点xi在单应变换Hj下的对应点：其中xp i是第j幅棋盘格图像上第i个交叉点的空间坐标；
步骤3.5：通过LM迭代最小化误差函数
Figure BDA0000044534280000039
以优化单应矩阵Hj，其中
Figure BDA00000445342800000310
是向量
Figure BDA00000445342800000311
和
Figure BDA00000445342800000312
之间的夹角；
步骤3.6：将标定板上的所有交叉点通过优化后的单应矩阵Hj映射到单位球上得到对应点：
Figure BDA00000445342800000313
步骤3.7：将单位向量变换到图像上：
Figure BDA00000445342800000314
在投影点
Figure BDA00000445342800000315
的邻域寻找交叉点的图像坐标
之后重复步骤3.3～3.5以得到基于所有交叉点估计的单应矩阵Hj。
根据本发明的鱼眼标定方法的一实施例，步骤三包括：
步骤3.1：读取标定板上的棋盘格图像；
步骤3.2：在每张棋盘格图像上依次选取所有的棋盘格交叉点；
步骤3.3：利用初始化内参，将交叉点反投影到单位球上得到单位向量
Figure BDA00000445342800000318
其中j为第j幅图像，i为第i个棋盘格交叉点；
步骤3.4：估计单应矩阵Hj，将单位向量
Figure BDA0000044534280000041
表示为单位向量与标定板上的空间点xi之间存在单应变换Hj，通过线性算法估计单应变换Hj，得到标定板上的空间点xi在单应变换Hj下的对应点：其中xp i是第j幅棋盘格图像上第i个交叉点的空间坐标；
步骤3.5：通过LM迭代最小化误差函数
Figure BDA0000044534280000044
以优化单应矩阵Hj，其中
Figure BDA0000044534280000045
是向量
Figure BDA0000044534280000046
和
Figure BDA0000044534280000047
之间的夹角。
根据本发明的鱼眼标定方法的一实施例，步骤四包括：
外参
Figure BDA0000044534280000048
由单应矩阵Hj初始化如下：
r j 1 = λ j h j 1 , r j 2 = λ j h j 2 , r j 3 = r j 1 × r j 2 , t j = λ j h j 3
其中，
Figure BDA00000445342800000413
Rj为旋转参数，Tj为位移参数，其中
Figure BDA00000445342800000414
为第j个单应矩阵Hj的第i个列向量。
根据本发明的鱼眼标定方法的一实施例，步骤五包括：
LM迭代最小化重投影误差得到优化后的内参和外参，其中
Figure BDA00000445342800000416
为图像点
Figure BDA00000445342800000417
之间的像素距离，M为每幅棋盘格图像上的交叉点数量，N为棋盘格图像数量。
本发明还揭示了一种鱼眼标定装置，包括：
鱼眼成像关系建立模块，建立半单位球面模型，并在单位球面模型上建立鱼眼成像关系；
初始化内参模块，耦接鱼眼成像关系建立模块，初始化内参，其中内参是鱼眼相机自身的参数，与外部环境无关；
单应矩阵计算模块，耦接初始化内参模块，计算单应矩阵；
初始化外参模块，耦接单应矩阵计算模块，初始化外参，其中外参是鱼眼相机与外部环境之间的参数；
迭代优化模块，耦接初始化外参模块，LM迭代最小化重投影误差，得到优化后的内参与外参。
根据本发明的鱼眼标定装置的一实施例，鱼眼成像关系建立模块的处理如下：
记空间中某一点x在鱼眼图像上的成像点为(u，v)，空间点x指向单位球球心的入射角度为
Figure BDA0000044534280000051
其中θ是入射光线与单位球Z轴正方向的夹角，
Figure BDA0000044534280000052
是入射光线在单位球XY平面上的投影与单位球X轴正方向的夹角，则由入射光线的入射角度
Figure BDA0000044534280000053
到鱼眼图像上的成像点(u，v)的鱼眼成像模型由以下方程描述：
r(θ)＝k1θ+k2θ2+k3θ3+k4θ4+k5θ5+...knθn    (1)
r表示图像上的某个像素点到图像主点的距离，k1，...kn是鱼眼镜头的成像参数；
Figure BDA0000044534280000054
Δr表示鱼眼镜头的径向畸变，l1，...ln，i1，...i4为径向畸变参数；
Δt表示鱼眼镜头的切向畸变，m1，...mn，j1，...j4为切向畸变参数；
Figure BDA0000044534280000056
xd为像素点的位置向量，即(xd，yd)，ur为径向单位向量，
Figure BDA0000044534280000057
为切向单位向量；
u v = m u 0 0 m v x d y d + u 0 v 0 - - - ( 5 )
(u0，v0)为图像的主点坐标，(mu，mv)分别为CCD水平与垂直方向上单位距离上的像素数，(k1，k2，k3，k4，k5，l1，l2，l3，i1，i2，i3，i4，m1，m2，m3，j1，j2，j3，j4，mu，mv，u0，v0)为待标定的鱼眼镜头的参数。
根据本发明的鱼眼标定装置的一实施例，初始化内参模块的处理如下：
读取镜头参数，镜头参数包括焦距f和最大视角θmax；
令k1＝f，rmax＝fθmax；
检测鱼眼图像边界，对边界点进行椭圆拟合：求得u0，v0，a，b，则
Figure BDA00000445342800000510
Figure BDA00000445342800000511
其中(a，b)为椭圆的长短半轴，(u0，v0)为椭圆圆心；
其它的参数设置为0。
根据本发明的鱼眼标定装置的一实施例，单应矩阵计算模块包括：
棋盘格图像读取单元，读取标定板上的棋盘格图像；
交叉点选取单元，耦接棋盘格图像读取单元，在每张棋盘格图像上依次选取棋盘格顶点处的4个交叉点；
反投影单元，耦接交叉点选取单元，利用初始化内参，将交叉点
Figure BDA00000445342800000512
反投影到单位球上得到单位向量
Figure BDA00000445342800000513
其中j为第j幅图像，i为第i个棋盘格交叉点；
单应矩阵估计单元，耦接反投影单元，估计单应矩阵Hj，将单位向量
Figure BDA0000044534280000061
表示为
Figure BDA0000044534280000062
单位向量与标定板上的空间点xi之间存在单应变换Hj，通过线性算法估计单应变换Hj，得到标定板上的空间点xi在单应变换Hj下的对应点：其中xp i是第j幅棋盘格图像上第i个交叉点的空间坐标；
单应矩阵优化单元，耦接单应矩阵估计单元，通过LM迭代最小化误差函数
Figure BDA0000044534280000064
以优化单应矩阵Hj，其中
Figure BDA0000044534280000065
是向量
Figure BDA0000044534280000066
和
Figure BDA0000044534280000067
之间的夹角；
交叉点映射单元，耦接单应矩阵优化单元，将标定板上的所有交叉点通过优化后的单应矩阵Hj映射到单位球上得到对应点：
交叉点图像坐标获取单元，耦接交叉点映射单元，将单位向量变换到图像上：
Figure BDA0000044534280000069
在投影点的邻域寻找交叉点的图像坐标
Figure BDA00000445342800000611
根据本发明的鱼眼标定装置的一实施例，单应矩阵计算模块包括：
棋盘格图像读取单元，读取标定板上的棋盘格图像；
交叉点选取单元，耦接棋盘格图像读取单元，在每张棋盘格图像上依次选取所有的棋盘格交叉点；
反投影单元，耦接交叉点选取单元，利用初始化内参，将交叉点
Figure BDA00000445342800000612
反投影到单位球上得到单位向量
Figure BDA00000445342800000613
其中j为第j幅图像，i为第i个棋盘格交叉点；
单应矩阵估计单元，耦接反投影单元，估计单应矩阵Hj，将单位向量
Figure BDA00000445342800000614
表示为
Figure BDA00000445342800000615
单位向量与标定板上的空间点xi之间存在单应变换Hj，通过线性算法估计单应变换Hj，得到标定板上的空间点xi在单应变换Hj下的对应点：
Figure BDA00000445342800000616
其中xp i是第j幅棋盘格图像上第i个交叉点的空间坐标；
单应矩阵优化单元，耦接单应矩阵估计单元，通过LM迭代最小化误差函数
Figure BDA00000445342800000617
以优化单应矩阵Hj，其中
Figure BDA00000445342800000618
是向量
Figure BDA00000445342800000619
和
Figure BDA00000445342800000620
之间的夹角。
根据本发明的鱼眼标定装置的一实施例，初始化外参模块的处理如下：
外参
Figure BDA00000445342800000621
由单应矩阵Hj初始化如下：
r j 1 = λ j h j 1 , r j 2 = λ j h j 2 , r j 3 = r j 1 × r j 2 , t j = λ j h j 3
其中，Rj为旋转参数，Tj为位移参数，
Figure BDA00000445342800000627
为第j个单应矩阵Hj的第i个列向量。
根据本发明的鱼眼标定装置的一实施例，迭代优化模块的处理如下：
LM迭代最小化重投影误差
Figure BDA0000044534280000071
得到优化后的内参和外参，其中
Figure BDA0000044534280000072
为图像点
Figure BDA0000044534280000073
之间的像素距离，M为每幅棋盘格图像上的交叉点数量，N为棋盘格图像数量。
本发明对比现有技术有如下的有益效果：本发明的技术方案是建立半单位球面模型，并在单位球面模型上建立鱼眼成像关系；初始化内参，其中内参是鱼眼相机自身的参数，与外部环境无关；计算单应矩阵；初始化外参，其中外参是鱼眼相机与外部环境之间的参数；LM迭代最小化重投影误差，得到优化后的内参与外参。对比现有技术，本发明能通过算法中的具体模型的设计让鱼眼镜头的标定结果精确、操作简单、效率高，可用于测量及三维重建中。
附图说明
图1示例性的示出了本发明的鱼眼标定方法的实施例的流程图。
图2示例性的示出了本发明的鱼眼标定方法中有关计算单应矩阵的第一种实现方式的流程图。
图3示例性的示出了本发明的鱼眼标定方法中有关计算单应矩阵的第二种实现方式的流程图。
图4示例性的示出了本发明的半单位球面模型的示意图。
图5示例性的示出了本发明的鱼眼标定方法中有关初始化内参的实现方式的流程图。
图6示例性的示出了本发明的鱼眼标定装置的实施例的原理图。
图7示例性的示出了本发明的鱼眼标定装置中的单应矩阵计算模块的细化原理图。
图8示例性的示出了本发明的鱼眼标定装置中的单应矩阵计算模块的细化原理图。
具体实施方式
下面结合附图和实施例对本发明作进一步的描述。
鱼眼标定方法的第一实施例
图1示出了本发明的鱼眼标定方法的第一实施例。
步骤S10：建立半单位球面模型，并在单位球面模型上建立鱼眼成像关系。半单位球面模型的示意如图4所示，记空间中一点x，其在鱼眼图像上的成像点为(u，v)，其指向单位球球心的入射光线的入射角度为
Figure BDA0000044534280000081
其中θ是入射光线与单位球Z轴正方向的夹角，
Figure BDA0000044534280000082
是入射光线在单位球XY平面上的投影与单位球X轴正方向的夹角，则由入射光线的入射角度
Figure BDA0000044534280000083
到鱼眼图像上的成像点(u，v)的鱼眼成像模型由以下方程描述：
r(θ)＝k1θ+k2θ2+k3θ3+k4θ4+k5θ5+...knθn    (1)
r表示图像上的某个像素点到图像主点的距离，k1，...kn是鱼眼镜头的成像参数。
Figure BDA0000044534280000084
Δr表示鱼眼镜头的径向畸变，l1，...ln，i1，...i4为径向畸变参数。
Figure BDA0000044534280000085
Δt表示鱼眼镜头的切向畸变，m1，...mn，j1，...j4为切向畸变参数。
Figure BDA0000044534280000086
xd为像素点的位置向量，即(xd，yd)，ur为径向单位向量，
Figure BDA0000044534280000087
为切向单位向量。
u v = m u 0 0 m v x d y d + u 0 v 0 - - - ( 5 )
(u0，v0)为图像的主点坐标，(mu，mv)分别为CCD水平与垂直方向上单位距离上的像素数。
其中已知信息为空间点x的入射角度
Figure BDA0000044534280000089
以及空间点x在图像上的对应点(u，v)，其余参数(k1，k2，k3，k4，k5，l1，l2，l3，i1，i2，i3，i4，m1，m2，m3，j1，j2，j3，j4，mu，mv，u0，v0)为待标定的鱼眼镜头参数。需要指出的是，公式(1)、(2)、(3)中的多项式的阶次可以到无穷次，实验中发现，公式(1)中多项式阶次取到5次，公式(2)、公式(3)中多项式阶次取到3次已经能够精确建模鱼眼镜头成像过程。
步骤S12：初始化内参。
初始化内参的具体步骤如图5所示，详述如下。
步骤S120：读取厂商提供的镜头参数：焦距f以及最大视角θmax。
步骤S121：令k1＝f，rmax＝fθmax。
步骤S122：检测鱼眼图像边界。
步骤S123：对边界点进行椭圆拟合：
Figure BDA0000044534280000091
步骤S124：根据椭圆拟合求得u0，v0，a，b，则
Figure BDA0000044534280000092
Figure BDA0000044534280000093
其中(a，b)为椭圆的长短半轴，(u0，v0)为椭圆圆心。
步骤S125：其它参数设置为0。
步骤S14：计算单应矩阵。
计算单应矩阵的步骤如图2所示，详述如下。
步骤S140：读取标定板上的棋盘格图像。
这里的标定板是指其上印有黑白相间的棋盘格图案的平板，用以建立空间坐标系并提供空间点的精确位置，下同。步骤S141：在每张棋盘格图像上依次选取棋盘格顶点处的4个交叉点。
在标定板上选取4个交叉点是为了不需要手动选取所有交叉点，极大提高了效率，减少了出错率。
步骤S142：利用初始化内参，将交叉点
Figure BDA0000044534280000094
反投影到单位球上得到单位向量
Figure BDA0000044534280000095
过程如下：
x j i y j i = 1 m u 0 0 1 m v u j i - u 0 v j i - v 0
r j i = ( x j i ) 2 + ( y j i ) 2
k 1 θ j i + k 2 ( θ j i ) 2 + k 3 ( θ j i ) 3 + k 4 ( θ j i ) 4 + k 5 ( θ j i ) 5 - r j i = 0
其中j为第j幅图像，i为第i个棋盘格交叉点。
内参是指鱼眼相机自身的参数，与外部环境无关，本实施例中所指的内参为：(k1，k2，k3，k4，k5，l1，l2，l3，i1，i2，i3，i4，m1，m2，m3，j1，j2，j3，j4，mu，mv，u0，v0)。需要指出的是，公式(1)、(2)、(3)中的多项式的阶次可以到无穷次，实验中发现，公式(1)中多项式阶次取到5次，公式(2)、公式(3)中多项式阶次取到3次已经能够精确建模鱼眼镜头成像过程。
步骤S143：估计单应矩阵。单位向量可以表示为：
Figure BDA0000044534280000102
其与标定板上的空间点xi之间存在单应变换Hj，通过线性算法估计该单应变换Hj，得到空间点xi在单应变换Hj下的对应点： x ^ j i = H j x p i / | | H j x p i | | .
步骤S144：通过LM(Levenberg-Marqardt)迭代最小化误差函数
Figure BDA0000044534280000104
以优化单应矩阵Hj，其中
Figure BDA0000044534280000105
是向量
Figure BDA0000044534280000106
和
Figure BDA0000044534280000107
之间的夹角。
步骤S145：将标定板上的所有交叉点通过优化后的单应矩阵Hj映射到单位球上得到对应点：
Figure BDA0000044534280000108
其中xp i为第j幅棋盘格图像上第i个交叉点的空间坐标。
步骤S146：将单位向量变换到图像上：
Figure BDA0000044534280000109
在投影点的邻域寻找交叉点的图像坐标
Figure BDA00000445342800001011
步骤S147：重复步骤S142～S144得到基于所有交叉点估计的更加准确的单应矩阵Hj。
步骤S16：初始化外参。
外参
Figure BDA00000445342800001012
可由单应矩阵Hj初始化如下：
r j 1 = λ j h j 1 , r j 2 = λ j h j 2 , r j 3 = r j 1 × r j 2 , t j = λ j h j 3
其中，Rj为旋转参数，Tj为位移参数，
Figure BDA00000445342800001018
为第j个单应矩阵Hj的第i个列向量。
外参是指鱼眼相机与外部环境之间的参数，本实施例中是指鱼眼相机与标定板之间的参数Rj和Tj。
步骤S18：LM迭代最小化重投影误差得到优化后的内参与外参。其中
Figure BDA00000445342800001020
为图像点
Figure BDA00000445342800001021
之间的像素距离，M为每幅棋盘格图像上的交叉点数量，N为棋盘格图像数量。
鱼眼标定方法的第二实施例
图1也示出了鱼眼标定方法的第二实施例的步骤，详述如下。
步骤S10：建立半单位球面模型，并在单位球面模型上建立鱼眼成像关系。
半单位球面模型的示意如图4所示，记空间中一点x，其在鱼眼图像上的成像点为(u，v)，其指向单位球球心的入射光线的入射角度为
Figure BDA0000044534280000111
其中θ是入射光线与单位球Z轴正方向的夹角，
Figure BDA0000044534280000112
是入射光线在单位球XY平面上的投影与单位球X轴正方向的夹角，则由入射光线的入射角度
Figure BDA0000044534280000113
到鱼眼图像上的成像点(u，v)的鱼眼成像模型由以下方程描述：
r(θ)＝k1θ+k2θ2+k3θ3+k4θ4+k5θ5+...knθn    (1)
r表示图像上的某个像素点到图像主点的距离，k1，...kn是鱼眼镜头的成像参数。
Figure BDA0000044534280000114
Δr表示鱼眼镜头的径向畸变，l1，...ln，i1，...i4为径向畸变参数。
Figure BDA0000044534280000115
Δt表示鱼眼镜头的切向畸变，m1，...mn，j1，...j4为切向畸变参数。
Figure BDA0000044534280000116
xd为像素点的位置向量，即(xd，yd)，ur为径向单位向量，
Figure BDA0000044534280000117
为切向单位向量。
u v = m u 0 0 m v x d y d + u 0 v 0 - - - ( 5 )
(u0，v0)为图像的主点坐标，(mu，mv)分别为CCD水平与垂直方向上单位距离上的像素数。
其中已知信息为空间点x的入射角度以及空间点x在图像上的对应点(u，v)，其余参数(k1，k2，k3，k4，k5，l1，l2，l3，i1，i2，i3，i4，m1，m2，m3，j1，j2，j3，j4，mu，mv，u0，v0)为待标定的鱼眼镜头参数。需要指出的是，公式(1)、(2)、(3)中的多项式的阶次可以到无穷次，实验中发现，公式(1)中多项式阶次取到5次，公式(2)、公式(3)中多项式阶次取到3次已经能够精确建模鱼眼镜头成像过程。
步骤S12：初始化内参。
初始化内参的具体步骤如图5所示，详述如下。
步骤S120：读取厂商提供的镜头参数：焦距f以及最大视角θmax。
步骤S121：令k1＝f，rmax＝fθmax。
步骤S122：检测鱼眼图像边界。
步骤S123：对边界点进行椭圆拟合：
Figure BDA0000044534280000121
步骤S124：根据椭圆拟合求得u0，v0，a，b，则
Figure BDA0000044534280000123
其中(a，b)为椭圆的长短半轴，(u0，v0)为椭圆圆心。
步骤S125：其它参数设置为0。
内参是指鱼眼相机自身的参数，与外部环境无关，本实施例中所指的内参为：(k1，k2，k3，k4，k5，l1，l2，l3，i1，i2，i3，i4，m1，m2，m3，j1，j2，j3，j4，mu，mv，u0，v0)。需要指出的是，公式(1)、(2)、(3)中的多项式的阶次可以到无穷次，实验中发现，公式(1)中多项式阶次取到5次，公式(2)、公式(3)中多项式阶次取到3次已经能够精确建模鱼眼镜头成像过程。
步骤S14：计算单应矩阵。
计算单应矩阵的具体步骤如图3所示，详述如下。
步骤S240：读取标定板上的棋盘格图像。
步骤S241：在每张棋盘格图像上依次选取所有的棋盘格交叉点。
步骤S242：利用初始化内参，将交叉点
Figure BDA0000044534280000124
反投影到单位球上得到单位向量
Figure BDA0000044534280000125
过程如下：
x j i y j i = 1 m u 0 0 1 m v u j i - u 0 v j i - v 0
r j i = ( x j i ) 2 + ( y j i ) 2
Figure BDA0000044534280000128
k 1 θ j i + k 2 ( θ j i ) 2 + k 3 ( θ j i ) 3 + k 4 ( θ j i ) 4 + k 5 ( θ j i ) 5 - r j i = 0
其中j为第j幅图像，i为第i个棋盘格交叉点。
步骤S243：估计单应矩阵。单位向量
Figure BDA00000445342800001210
可以表示为：
Figure BDA00000445342800001211
其与标定板上的空间点xi之间存在单应变换Hj，通过线性算法估计该单应变换Hj，得到空间点xi在单应变换Hj下的对应点：
Figure BDA00000445342800001212
其中xp i为第j幅棋盘格图像上第i个交叉点的空间坐标。
步骤S244：通过LM迭代最小化误差函数
Figure BDA00000445342800001213
以优化单应矩阵Hj，其中是向量
Figure BDA00000445342800001215
和
Figure BDA00000445342800001216
之间的夹角。
步骤S16：初始化外参。
外参
Figure BDA0000044534280000131
可由单应矩阵Hj初始化如下：
r j 1 = λ j h j 1 , r j 2 = λ j h j 2 , r j 3 = r j 1 × r j 2 , t j = λ j h j 3
其中，
Figure BDA0000044534280000136
Rj为旋转参数，Tj为位移参数，
Figure BDA0000044534280000137
为第j个单应矩阵Hj的第i个列向量。
外参是指鱼眼相机与外部环境之间的参数，本实施例中是指鱼眼相机与标定板之间的参数Rj和Tj。
步骤S18：LM迭代最小化重投影误差
Figure BDA0000044534280000138
得到优化后的内参与外参。其中
Figure BDA0000044534280000139
为图像点
Figure BDA00000445342800001310
之间的像素距离，M为每幅棋盘格图像上的交叉点数量，N为棋盘格图像数量。
鱼眼标定装置的第一实施例
图6示出了本发明的鱼眼标定装置的第一实施例的原理。请参见图6，本实施例的装置包括：鱼眼成像关系建立模块10、初始化内参模块20、单应矩阵计算模块30、初始化外参模块40、迭代优化模块50。
这些模块之间的连接关系是：鱼眼成像关系建立模块10的输出端耦接初始化内参模块20，初始化内参模块20的输出端连接单应矩阵计算模块30，单应矩阵计算模块30的输出端耦接初始化外参模块40，初始化外参模块40的输出端耦接迭代优化模块50。
鱼眼成像关系建立模块10用于建立半单位球面模型，并在单位球面模型上建立鱼眼成像关系。
半单位球面模型的示意如图4所示，记空间中一点x，其在鱼眼图像上的成像点为(u，v)，其指向单位球球心的入射光线的入射角度为
Figure BDA00000445342800001311
其中θ是入射光线与单位球Z轴正方向的夹角，
Figure BDA00000445342800001312
是入射光线在单位球XY平面上的投影与单位球X轴正方向的夹角，则由入射光线的入射角度
Figure BDA00000445342800001313
到鱼眼图像上的成像点(u，v)的鱼眼成像模型由以下方程描述：
r(θ)＝k1θ+k2θ2+k3θ3+k4θ4+k5θ5+...knθn    (1)
r表示图像上的某个像素点到图像主点的距离，k1，...kn是鱼眼镜头的成像参数。
Figure BDA0000044534280000141
Δr表示鱼眼镜头的径向畸变，l1，...ln，i1，...i4为径向畸变参数。
Figure BDA0000044534280000142
Δt表示鱼眼镜头的切向畸变，m1，...mn，j1，...j4为切向畸变参数。
Figure BDA0000044534280000143
xd为像素点的位置向量，即(xd，yd)，ur为径向单位向量，
Figure BDA0000044534280000144
为切向单位向量。
u v = m u 0 0 m v x d y d + u 0 v 0 - - - ( 5 )
(u0，v0)为图像的主点坐标，(mu，mv)分别为CCD水平与垂直方向上单位距离上的像素数。
其中已知信息为空间点x的入射角度
Figure BDA0000044534280000146
以及空间点x在图像上的对应点(u，v)，其余参数(k1，k2，k3，k4，k5，l1，l2，l3，i1，i2，i3，i4，m1，m2，m3，j1，j2，j3，j4，mu，mv，u0，v0)为待标定的鱼眼镜头参数。需要指出的是，公式(1)、(2)、(3)中的多项式的阶次可以到无穷次，实验中发现，公式(1)中多项式阶次取到5次，公式(2)、公式(3)中多项式阶次取到3次已经能够精确建模鱼眼镜头成像过程。
初始化内参模块20用于初始化内参。
初始化内参的具体处理如下。读取厂商提供的镜头参数：焦距f以及最大视角θmax。令k1＝f，rmax＝fθmax。检测鱼眼图像边界，对边界点进行椭圆拟合：
( u - u 0 a ) 2 + ( v - v 0 b ) 2 = 1 .
然后根据椭圆拟合求得u0，v0，a，b，则
Figure BDA0000044534280000148
Figure BDA0000044534280000149
其中(a，b)为椭圆的长短半轴，(u0，v0)为椭圆圆心。并将其它参数设置为0。
内参是指鱼眼相机自身的参数，与外部环境无关，本实施例中所指的内参为：(k1，k2，k3，k4，k5，l1，l2，l3，i1，i2，i3，i4，m1，m2，m3，j1，j2，j3，j4，mu，mv，u0，v0)。需要指出的是，公式(1)、(2)、(3)中的多项式的阶次可以到无穷次，实验中发现，公式(1)中多项式阶次取到5次，公式(2)、公式(3)中多项式阶次取到3次已经能够精确建模鱼眼镜头成像过程。
单应矩阵计算模块30用于计算单应矩阵。
计算单应矩阵的原理如图7所示，包括棋盘格图像读取单元300、交叉点选取单元301、反投影单元302、单应矩阵估计单元303、单应矩阵优化单元304、交叉点映射单元305以及交叉点图像坐标获取单元306。
这些单元之间的连接关系是：棋盘格图像读取单元300的输出端耦接交叉点选取单元301，交叉点选取单元301的输出端耦接反投影单元302，反投影单元302的输出端耦接单应矩阵估计单元303，单应矩阵估计单元303的输出端耦接单应矩阵优化单元304，单应矩阵优化单元304的输出端耦接交叉点映射单元305，交叉点映射单元305的输出端耦接交叉点图像坐标获取单元306。
棋盘格图像读取单元300读取棋盘格图像。
交叉点选取单元301在每张棋盘格图像上依次选取棋盘格顶点处的4个交叉点。
反投影单元302利用初始化内参，将交叉点
Figure BDA0000044534280000151
反投影到单位球上得到单位向量
Figure BDA0000044534280000152
过程如下：
x j i y j i = 1 m u 0 0 1 m v u j i - u 0 v j i - v 0
r j i = ( x j i ) 2 + ( y j i ) 2
Figure BDA0000044534280000155
k 1 θ j i + k 2 ( θ j i ) 2 + k 3 ( θ j i ) 3 + k 4 ( θ j i ) 4 + k 5 ( θ j i ) 5 - r j i = 0
其中j为第j幅图像，i为第i个棋盘格交叉点。
单应矩阵估计单元303估计单应矩阵。单位向量
Figure BDA0000044534280000157
可以表示为：
Figure BDA0000044534280000158
其与标定板上的空间点xi之间存在单应变换Hj，通过线性算法估计该单应变换Hj，得到空间点xi在单应变换Hj下的对应点： x ^ j i = H j x p i / | | H j x p i | | .
单应矩阵优化单元304通过LM迭代最小化误差函数
Figure BDA00000445342800001510
以优化单应矩阵Hj，其中是向量
Figure BDA00000445342800001512
和之间的夹角。
交叉点映射单元305将标定板上的所有交叉点通过优化后的单应矩阵Hj映射到单位球上得到对应点：
Figure BDA00000445342800001514
其中xp i为第j幅棋盘格图像上第i个交叉点的空间坐标。
交叉点图像坐标获取单元306将单位向量变换到图像上：
Figure BDA0000044534280000161
在投影点
Figure BDA0000044534280000162
的邻域寻找交叉点的图像坐标
Figure BDA0000044534280000163
其中(mu，mv)分别为CCD水平与垂直方向上单位距离上的像素数。
重复反投影单元302、单应矩阵估计单元303以及单应矩阵优化单元304的运作就能得到基于所有交叉点估计的更加准确的单应矩阵Hj。
初始化外参模块40初始化外参。
外参
Figure BDA0000044534280000164
可由单应矩阵Hj初始化如下：
r j 1 = λ j h j 1 , r j 2 = λ j h j 2 , r j 3 = r j 1 × r j 2 , t j = λ j h j 3
其中，
Figure BDA0000044534280000169
Rj为旋转参数，Tj为位移参数，
Figure BDA00000445342800001610
为第j个单应矩阵Hj的第i个列向量。
外参是指鱼眼相机与外部环境之间的参数，本实施例中是指鱼眼相机与标定板之间的参数Rj和Tj。
迭代优化模块50用于LM迭代最小化重投影误差
Figure BDA00000445342800001611
得到优化后的内参与外参。其中
Figure BDA00000445342800001612
为图像点之间的像素距离，M为每幅棋盘格图像上的交叉点数量，N为棋盘格图像数量。
鱼眼标定装置的第二实施例
图6示出了本发明的鱼眼标定装置的第二实施例的原理。请参见图6，本实施例的装置包括：鱼眼成像关系建立模块10、初始化内参模块20、单应矩阵计算模块30、初始化外参模块40、迭代优化模块50。
这些模块之间的连接关系是：鱼眼成像关系建立模块10的输出端耦接初始化内参模块20，初始化内参模块20的输出端连接单应矩阵计算模块30，单应矩阵计算模块30的输出端耦接初始化外参模块40，初始化外参模块40的输出端耦接迭代优化模块50。
鱼眼成像关系建立模块10用于建立半单位球面模型，并在单位球面模型上建立鱼眼成像关系。
半单位球面模型的示意如图4所示，记空间中一点x，其在鱼眼图像上的成像点为(u，v)，其指向单位球球心的入射光线的入射角度为
Figure BDA00000445342800001614
其中θ是入射光线与单位球Z轴正方向的夹角，
Figure BDA0000044534280000171
是入射光线在单位球XY平面上的投影与单位球X轴正方向的夹角，则由入射光线的入射角度
Figure BDA0000044534280000172
到鱼眼图像上的成像点(u，v)的鱼眼成像模型由以下方程描述：
r(θ)＝k1θ+k2θ2+k3θ3+k4θ4+k5θ5+...knθn    (1)
r表示图像上的某个像素点到图像主点的距离，k1，...kn是鱼眼镜头的成像参数。
Figure BDA0000044534280000173
Δr表示鱼眼镜头的径向畸变，l1，...ln，i1，...i4为径向畸变参数。
Figure BDA0000044534280000174
Δt表示鱼眼镜头的切向畸变，m1，...mn，j1，...j4为切向畸变参数。
Figure BDA0000044534280000175
xd为像素点的位置向量，即(xd，yd)，ur为径向单位向量，
Figure BDA0000044534280000176
为切向单位向量。
u v = m u 0 0 m v x d y d + u 0 v 0 - - - ( 5 )
(u0，v0)为图像的主点坐标，其中(mu，mv)分别为CCD水平与垂直方向上单位距离上的像素数。
其中已知信息为空间点x的入射角度
Figure BDA0000044534280000178
以及空间点x在图像上的对应点(u，v)，其余参数(k1，k2，k3，k4，k5，l1，l2，l3，i1，i2，i3，i4，m1，m2，m3，j1，j2，j3，j4，mu，mv，u0，v0)为待标定的鱼眼镜头参数。需要指出的是，公式(1)、(2)、(3)中的多项式的阶次可以到无穷次，实验中发现，公式(1)中多项式阶次取到5次，公式(2)、公式(3)中多项式阶次取到3次已经能够精确建模鱼眼镜头成像过程。
初始化内参模块20用于初始化内参。
初始化内参的具体处理如下。读取厂商提供的镜头参数：焦距f以及最大视角θmax。令k1＝f，rmax＝fθmax。检测鱼眼图像边界，对边界点进行椭圆拟合：
( u - u 0 a ) 2 + ( v - v 0 b ) 2 = 1 .
然后根据椭圆拟合求得u0，v0，a，b，则
Figure BDA00000445342800001710
Figure BDA00000445342800001711
其中(a，b)为椭圆的长短半轴，(u0，v0)为椭圆圆心。并将其它参数设置为0。
内参是指鱼眼相机自身的参数，与外部环境无关，本实施例中所指的内参为：(k1，k2，k3，k4，k5，l1，l2，l3，i1，i2，i3，i4，m1，m2，m3，j1，j2，j3，j4，mu，mv，u0，v0)。需要指出的是，公式(1)、(2)、(3)中的多项式的阶次可以到无穷次，实验中发现，公式(1)中多项式阶次取到5次，公式(2)、公式(3)中多项式阶次取到3次已经能够精确建模鱼眼镜头成像过程。
单应矩阵计算模块30用于计算单应矩阵。
本实施例的计算单应矩阵的原理如图8所示，包括棋盘格图像读取单元310、交叉点选取单元311、反投影单元312、单应矩阵估计单元313、单应矩阵优化单元314。
这些单元之间的连接关系是：棋盘格图像读取单元310的输出端耦接交叉点选取单元311，交叉点选取单元311的输出端耦接反投影单元312，反投影单元312的输出端耦接单应矩阵估计单元313，单应矩阵估计单元313的输出端耦接单应矩阵优化单元314。
棋盘格图像读取单元310读取棋盘格图像。
交叉点选取单元311在每张棋盘格图像上依次选取所有的棋盘格交叉点。
反投影单元312利用初始化内参，将交叉点反投影到单位球上得到单位向量
Figure BDA0000044534280000182
过程如下：
x j i y j i = 1 m u 0 0 1 m v u j i - u 0 v j i - v 0
r j i = ( x j i ) 2 + ( y j i ) 2
k 1 θ j i + k 2 ( θ j i ) 2 + k 3 ( θ j i ) 3 + k 4 ( θ j i ) 4 + k 5 ( θ j i ) 5 - r j i = 0
其中j为第j幅图像，i为第i个棋盘格交叉点。
单应矩阵估计单元313估计单应矩阵。单位向量可以表示为：其与标定板上的空间点xi之间存在单应变换Hj，通过线性算法估计该单应变换Hj，得到空间点xi在单应变换Hj下的对应点：
Figure BDA0000044534280000189
其中xp i为第j幅棋盘格图像上第i个交叉点的空间坐标。
单应矩阵优化单元314通过LM迭代最小化误差函数
Figure BDA00000445342800001810
以优化单应矩阵Hj，其中
Figure BDA00000445342800001811
是向量和
Figure BDA00000445342800001813
之间的夹角。
初始化外参模块40初始化外参。
外参
Figure BDA00000445342800001814
可由单应矩阵Hj初始化如下：
r j 1 = λ j h j 1 , r j 2 = λ j h j 2 , r j 3 = r j 1 × r j 2 , t j = λ j h j 3
其中，
Figure BDA0000044534280000195
Rj为旋转参数，Tj为位移参数，
Figure BDA0000044534280000196
为第j个单应矩阵Hj的第i个列向量。
外参是指鱼眼相机与外部环境之间的参数，本实施例中是指鱼眼相机与标定板之间的参数Rj和Tj。
迭代优化模块50用于LM迭代最小化重投影误差
Figure BDA0000044534280000197
得到优化后的内参与外参。其中
Figure BDA0000044534280000198
为图像点之间的像素距离，M为每幅棋盘格图像上的交叉点数量，N为棋盘格图像数量。
上述实施例的提供给本领域普通技术人员来实现和使用本发明的，本领域技术人员可在不脱离本发明的发明思想的情况下，对上述实施例做出种种修改和变化，因而本发明的保护范围并不被上述实施例所限，而应该是符合权利要求书提到的全新性特征的最大范围。

Claims (14)

1.一种鱼眼标定方法，包括以下的步骤：
步骤一：建立半单位球面模型，并在半单位球面模型上建立鱼眼成像关系；
步骤二：初始化内参，其中内参是鱼眼相机自身的参数，与外部环境无关；
步骤三：计算单应矩阵；
步骤四：初始化外参，其中外参是鱼眼相机与外部环境之间的参数；
步骤五：LM迭代最小化重投影误差，得到优化后的内参与外参。
2.根据权利要求1所述的鱼眼标定方法，其特征在于，步骤一包括：
记空间中某一点x在鱼眼图像上的成像点为(u，v)，空间点x指向半单位球球心的入射角度为
Figure FDA00001595354900011
其中θ是入射光线与半单位球Z轴正方向的夹角，
Figure FDA00001595354900012
是入射光线在半单位球XY平面上的投影与半单位球X轴正方向的夹角，则由入射光线的入射角度
Figure FDA00001595354900013
到鱼眼图像上的成像点(u，v)的鱼眼成像模型由以下方程描述：
r(θ)＝k1θ+k2θ2+k3θ3+k4θ4+k5θ5+...knθn    (1)
r(θ)表示图像上的某个像素点到图像主点的距离，k1，...kn是鱼眼镜头的成像参数；
Figure FDA00001595354900014
Figure FDA00001595354900015
表示鱼眼镜头的径向畸变，l1，...ln，i1，...i4为径向畸变参数；
Figure FDA00001595354900017
表示鱼眼镜头的切向畸变，m1，...mn，j1，...j4为切向畸变参数；
Figure FDA00001595354900018
xd为像素点的位置向量，即(xd，yd)，
Figure FDA00001595354900019
为径向单位向量，为切向单位向量；
u v = m u 0 0 m v x d y d + u 0 v 0 - - - ( 5 )
(u0，v0)为图像的主点坐标，(mu，mv)分别为CCD水平与垂直方向上单位距离上的像素数，(k1，k2，k3，k4，k5，l1，l2，l3，i1，i2，i3，i4，m1，m2，m3，j1，j2，j3，j4，mu，mv，u0，v0)为待标定的鱼眼镜头的参数。
3.根据权利要求2所述的鱼眼标定方法，其特征在于，步骤二包括：
读取镜头参数，镜头参数包括焦距f和最大视角θmax；
令k1＝f，rmax＝fθmax；
检测鱼眼图像边界，对边界点进行椭圆拟合：
Figure FDA00001595354900021
求得u0，v0，a，b，则
Figure FDA00001595354900022
其中(a，b)为椭圆的长短半轴，(u0，v0)为图像的主点坐标；
其它的参数设置为0。
4.根据权利要求3所述的鱼眼标定方法，其特征在于，步骤三包括：
步骤3.1：读取标定板上的棋盘格图像；
步骤3.2：在每张棋盘格图像上依次选取棋盘格顶点处的4个交叉点；
步骤3.3：利用初始化内参，将交叉点
Figure FDA00001595354900024
反投影到半单位球上得到单位向量其中j为第j幅图像，i为第i个棋盘格交叉点；
步骤3.4：估计单应矩阵Hj，将单位向量
Figure FDA00001595354900026
表示为
Figure FDA00001595354900027
单位向量与标定板上的空间点xi之间存在单应矩阵Hj，通过线性算法估计单应变换Hj，得到标定板上的空间点xi在单应矩阵Hj下的对应点：
Figure FDA00001595354900028
其中xp i是第j幅棋盘格图像上第i个交叉点的空间坐标；
步骤3.5：通过LM迭代最小化误差函数
Figure FDA00001595354900029
以优化单应矩阵Hj，其中
Figure FDA000015953549000210
是向量
Figure FDA000015953549000211
和
Figure FDA000015953549000212
之间的夹角；
步骤3.6：将标定板上的所有交叉点通过优化后的单应矩阵H’j映射到半单位球上得到对应点： x ^ i j = H k , x p i / | | H , j x p i | | ;
步骤3.7：将单位向量变换到图像上：
Figure FDA000015953549000214
在投影点
Figure FDA000015953549000215
的邻域寻找交叉点的图像坐标
之后重复步骤3.3～3.5以得到基于所有交叉点估计的单应矩阵H”j。
5.根据权利要求3所述的鱼眼标定方法，其特征在于，步骤三包括：
步骤3.1：读取标定板上的棋盘格图像；
步骤3.2：在每张棋盘格图像上依次选取所有的棋盘格交叉点；
步骤3.3：利用初始化内参，将交叉点
Figure FDA00001595354900031
反投影到半单位球上得到单位向量其中j为第j幅图像，i为第i个棋盘格交叉点；
步骤3.4：估计单应矩阵Hj，将单位向量
Figure FDA00001595354900033
表示为
Figure FDA00001595354900034
单位向量与标定板上的空间点xi之间存在单应矩阵Hj，通过线性算法估计单应矩阵Hj，得到标定板上的空间点xi在单应矩阵Hj下的对应点：
Figure FDA00001595354900035
其中xp i是第j幅棋盘格图像上第i个交叉点的空间坐标；
步骤3.5：通过LM迭代最小化误差函数
Figure FDA00001595354900036
以优化单应矩阵Hj，其中
Figure FDA00001595354900037
是向量
Figure FDA00001595354900038
和
Figure FDA00001595354900039
之间的夹角。
6.根据权利要求4或5所述的鱼眼标定方法，其特征在于，步骤四包括：
外参
Figure FDA000015953549000310
由单应矩阵Hj初始化如下：
r j 1 = λ j h j 1 , r j 2 = λ j h j 2 , r j 3 = r j 1 × r j 2 , t j = λ j h j 3
其中，
Figure FDA000015953549000315
Rj为旋转参数，Tj为位移参数，为单应矩阵Hj的第i个列向量。
7.根据权利要求6所述的鱼眼标定方法，其特征在于，步骤五包括：
LM迭代最小化重投影误差得到优化后的内参和外参，其中
Figure FDA000015953549000318
为图像点
Figure FDA000015953549000319
之间的像素距离，M为每幅棋盘格图像上的交叉点数量，图像点即交叉点，N为棋盘格图像数量。
8.一种鱼眼标定装置，包括：
鱼眼成像关系建立模块，建立半单位球面模型，并在半单位球面模型上建立鱼眼成像关系；
初始化内参模块，耦接鱼眼成像关系建立模块，初始化内参，其中内参是鱼眼相机自身的参数，与外部环境无关；
单应矩阵计算模块，耦接初始化内参模块，计算单应矩阵；
初始化外参模块，耦接单应矩阵计算模块，初始化外参，其中外参是鱼眼相机与外部环境之间的参数；
迭代优化模块，耦接初始化外参模块，LM迭代最小化重投影误差，得到优化后的内参与外参。
9.根据权利要求8所述的鱼眼标定装置，其特征在于，鱼眼成像关系建立模块的处理如下：
记空间中某一点x在鱼眼图像上的成像点为(u，v)，空间点x指向半单位球球心的入射角度为
Figure FDA00001595354900041
其中θ是入射光线与半单位球Z轴正方向的夹角，
Figure FDA00001595354900042
是入射光线在半单位球XY平面上的投影与半单位球X轴正方向的夹角，则由入射光线的入射角度到鱼眼图像上的成像点(u，v)的鱼眼成像模型由以下方程描述：
r(θ)＝k1θ+k2θ2+k3θ3+k4θ4+k5θ5+...knθn    (1)
r(θ)表示图像上的某个像素点到图像主点的距离，k1，...kn是鱼眼镜头的成像参数；
表示鱼眼镜头的径向畸变，l1，...ln，i1，...i4为径向畸变参数；
Figure FDA00001595354900046
Figure FDA00001595354900047
表示鱼眼镜头的切向畸变，m1，...mn，j1，...j4为切向畸变参数；
Figure FDA00001595354900048
xd为像素点的位置向量，即(xd，yd)，
Figure FDA00001595354900049
为径向单位向量，
Figure FDA000015953549000410
为切向单位向量；
u v = m u 0 0 m v x d y d + u 0 v 0 - - - ( 5 )
(u0，v0)为图像的主点坐标，(mu，mv)分别为CCD水平与垂直方向上单位距离上的像素数，(k1，k2，k3，k4，k5，l1，l2，l3，i1，i2，i3，i4，m1，m2，m3，j1，j2，j3，j4，mu，mv，u0，v0)为待标定的鱼眼镜头的参数。
10.根据权利要求8所述的鱼眼标定装置，其特征在于，初始化内参模块的处理如下：
读取镜头参数，镜头参数包括焦距f和最大视角θmax；
令k1＝f，rmax＝fθmax；
检测鱼眼图像边界，对边界点进行椭圆拟合：求得u0，v0，a，b，则
Figure FDA00001595354900052
Figure FDA00001595354900053
其中(a，b)为椭圆的长短半轴，(u0，v0)为图像的主点坐标；
其它的参数设置为0。
11.根据权利要求10所述的鱼眼标定装置，其特征在于，单应矩阵计算模块包括：
棋盘格图像读取单元，读取标定板上的棋盘格图像；
交叉点选取单元，耦接棋盘格图像读取单元，在每张棋盘格图像上依次选取棋盘格顶点处的4个交叉点；
反投影单元，耦接交叉点选取单元，利用初始化内参，将交叉点
Figure FDA00001595354900054
反投影到半单位球上得到单位向量
Figure FDA00001595354900055
其中j为第j幅图像，i为第i个棋盘格交叉点；
单应矩阵估计单元，耦接反投影单元，估计单应矩阵Hj，将单位向量表示为
Figure FDA00001595354900057
单位向量与标定板上的空间点xi之间存在单应矩阵Hj，通过线性算法估计单应矩阵Hj，得到标定板上的空间点xi在单应矩阵Hj下的对应点：
Figure FDA00001595354900058
其中xpi是第j幅棋盘格图像上第i个交叉点的空间坐标；
单应矩阵优化单元，耦接单应矩阵估计单元，通过LM迭代最小化误差函数以优化单应矩阵Hj，其中
Figure FDA000015953549000510
是向量
Figure FDA000015953549000511
和之间的夹角；
交叉点映射单元，耦接单应矩阵优化单元，将标定板上的所有交叉点通过优化后的单应矩阵H’j映射到半单位球上得到对应点：
Figure FDA000015953549000513
交叉点图像坐标获取单元，耦接交叉点映射单元，将单位向量变换到图像上：
Figure FDA00001595354900061
在投影点
Figure FDA00001595354900062
的邻域寻找交叉点的图像坐标
其中重复反投影单元、单应矩阵估计单元以及单应矩阵优化单元的运作得到基于所有交叉点估计的单应矩阵H”j。
12.根据权利要求10所述的鱼眼标定装置，其特征在于，单应矩阵计算模块包括：
棋盘格图像读取单元，读取标定板上的棋盘格图像；
交叉点选取单元，耦接棋盘格图像读取单元，在每张棋盘格图像上依次选取所有的棋盘格交叉点；
反投影单元，耦接交叉点选取单元，利用初始化内参，将交叉点
Figure FDA00001595354900064
反投影到半单位球上得到单位向量
Figure FDA00001595354900065
其中j为第j幅图像，i为第i个棋盘格交叉点；
单应矩阵估计单元，耦接反投影单元，估计单应矩阵Hj，将单位向量
Figure FDA00001595354900066
表示为
Figure FDA00001595354900067
单位向量与标定板上的空间点xi之间存在单应矩阵Hj，通过线性算法估计单应矩阵Hj，得到标定板上的空间点xi在单应矩阵Hj下的对应点：
Figure FDA00001595354900068
其中xpi是第j幅棋盘格图像上第i个交叉点的空间坐标；
单应矩阵优化单元，耦接单应矩阵估计单元，通过LM迭代最小化误差函数
Figure FDA00001595354900069
以优化单应矩阵Hj，其中
Figure FDA000015953549000610
是向量
Figure FDA000015953549000611
和
Figure FDA000015953549000612
之间的夹角。
13.根据权利要求11或12所述的鱼眼标定装置，其特征在于，初始化外参模块的处理如下：
外参
Figure FDA000015953549000613
由单应矩阵Hj初始化如下：
r j 1 = λ j h j 1 , r j 2 = λ j h j 2 , r j 3 = r j 1 × r j 2 , t j = λ j h j 3
其中，
Figure FDA000015953549000618
Rj为旋转参数，Tj为位移参数，
Figure FDA000015953549000619
为单应矩阵Hj的第i个列向量。
14.根据权利要求13所述的鱼眼标定装置，其特征在于，迭代优化模块的处理如下：
LM迭代最小化重投影误差
Figure FDA00001595354900071
得到优化后的内参和外参，其中
Figure FDA00001595354900072
为图像点
Figure FDA00001595354900073
之间的像素距离，M为每幅棋盘格图像上的交叉点数量，图像点
Figure FDA00001595354900074
即交叉点，N为棋盘格图像数量。
CN201110022511XA 2011-01-20 2011-01-20 鱼眼标定方法和装置 Active CN102096923B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110022511XA CN102096923B (zh) 2011-01-20 2011-01-20 鱼眼标定方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110022511XA CN102096923B (zh) 2011-01-20 2011-01-20 鱼眼标定方法和装置

Publications (2)

Publication Number Publication Date
CN102096923A CN102096923A (zh) 2011-06-15
CN102096923B true CN102096923B (zh) 2013-07-24

Family

ID=44130000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110022511XA Active CN102096923B (zh) 2011-01-20 2011-01-20 鱼眼标定方法和装置

Country Status (1)

Country Link
CN (1) CN102096923B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3967969A4 (en) * 2019-05-08 2022-06-29 Sichuan Visensing Technology Co., Ltd. Fisheye camera calibration system, method and apparatus, electronic device, and storage medium

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104392435B (zh) * 2014-11-10 2018-11-23 中科院微电子研究所昆山分所 鱼眼相机标定方法及标定装置
KR101705558B1 (ko) * 2015-06-25 2017-02-13 (주)캠시스 Avm 시스템의 공차 보정 장치 및 방법
CN106803261A (zh) * 2015-11-20 2017-06-06 沈阳新松机器人自动化股份有限公司 机器人相对位姿估计方法
CN105488766B (zh) * 2015-11-23 2018-06-19 上海汽车集团股份有限公司 鱼眼镜头图像校正方法及装置
CN107527323B (zh) * 2016-06-22 2020-12-29 北京疯景科技有限公司 镜头畸变的标定方法及装置
CN106204496A (zh) * 2016-07-18 2016-12-07 北京奇虎科技有限公司 一种云台摄像头的鱼眼图像处理方法及装置
CN107644394B (zh) * 2016-07-21 2021-03-30 完美幻境(北京)科技有限公司 一种3d图像的处理方法及装置
CN106846410B (zh) * 2016-12-20 2020-06-19 北京鑫洋泉电子科技有限公司 基于三维的行车环境成像方法及装置
CN107248178B (zh) * 2017-06-08 2020-09-25 上海赫千电子科技有限公司 一种基于畸变参数的鱼眼相机标定方法
CN109978929B (zh) * 2017-12-28 2021-04-23 舜宇光学（浙江）研究院有限公司 深度信息摄像模组的rgb-d图像合成优化系统及其方法
CN108596826A (zh) * 2017-12-29 2018-09-28 广东工业大学 基于球面镜头图像采集方法、系统、装置及可读存储介质
CN108198222B (zh) * 2018-01-29 2021-09-03 大连东软信息学院 一种广角镜头标定及图像矫正方法
CN109064404A (zh) * 2018-08-10 2018-12-21 西安电子科技大学 一种基于多相机标定的全景拼接方法、全景拼接系统
CN109003311B (zh) * 2018-08-22 2022-03-18 上海庄生晓梦信息科技有限公司 一种鱼眼镜头的标定方法
CN110136207B (zh) * 2019-05-08 2020-06-23 四川深瑞视科技有限公司 鱼眼相机标定系统、方法、装置、电子设备及存储介质
EP3944194B1 (en) * 2019-05-22 2023-02-22 Sichuan Visensing Technology Co., Ltd. Fisheye camera calibration system, method and apparatus, and electronic device and storage medium
CN110163922B (zh) * 2019-05-22 2020-06-23 四川深瑞视科技有限公司 鱼眼相机标定系统、方法、装置、电子设备及存储介质
CN110728721B (zh) * 2019-10-21 2022-11-01 北京百度网讯科技有限公司 外参的获取方法、装置和设备
CN112862895B (zh) * 2019-11-27 2023-10-10 杭州海康威视数字技术股份有限公司 一种鱼眼摄像头标定方法、装置及系统
CN112288825B (zh) * 2020-10-29 2024-04-12 阿波罗智联(北京)科技有限公司 相机标定方法、装置、电子设备、存储介质和路侧设备
CN113129346B (zh) * 2021-04-22 2022-02-01 贝壳找房(北京)科技有限公司 深度信息获取方法和装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101577002A (zh) * 2009-06-16 2009-11-11 天津理工大学 应用于目标检测的鱼眼镜头成像系统标定方法
CN101726855A (zh) * 2009-11-13 2010-06-09 河北工业大学 基于立方体投影对鱼眼图像畸变校正方法
CN101923730A (zh) * 2010-09-21 2010-12-22 北京大学 基于鱼眼相机和多平面镜装置的三维重建方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7003150B2 (en) * 2001-11-05 2006-02-21 Koninklijke Philips Electronics N.V. Homography transfer from point matches
DE102005044653A1 (de) * 2005-09-19 2007-03-29 Siemens Ag Verfahren und Vorrichtung zur Rekonstruktion eines dreidimensionalen Bildvolumens aus zweidimensionalen Projektionsbildern

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101577002A (zh) * 2009-06-16 2009-11-11 天津理工大学 应用于目标检测的鱼眼镜头成像系统标定方法
CN101726855A (zh) * 2009-11-13 2010-06-09 河北工业大学 基于立方体投影对鱼眼图像畸变校正方法
CN101923730A (zh) * 2010-09-21 2010-12-22 北京大学 基于鱼眼相机和多平面镜装置的三维重建方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3967969A4 (en) * 2019-05-08 2022-06-29 Sichuan Visensing Technology Co., Ltd. Fisheye camera calibration system, method and apparatus, electronic device, and storage medium

Also Published As

Publication number Publication date
CN102096923A (zh) 2011-06-15

Similar Documents

Publication Publication Date Title
CN102096923B (zh) 鱼眼标定方法和装置
CN104240236B (zh) 一种鱼眼镜头标定后鱼眼图像校正的方法
Claus et al. A rational function lens distortion model for general cameras
KR101666959B1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
CN102175221B (zh) 基于鱼眼镜头的车载移动摄影测量系统
CN110351494B (zh) 一种全景视频合成方法、装置及电子设备
CN106600546B (zh) 一种超广角摄像头畸变校正方法及系统
CN107705252B (zh) 适用于双目鱼眼图像拼接展开校正的方法及系统
CN104778656B (zh) 基于球面透视投影的鱼眼图像校正方法
JP2022537984A (ja) 情報処理方法、測位方法及び装置、電子機器並びに記憶媒体
US11216979B2 (en) Dual model for fisheye lens distortion and an algorithm for calibrating model parameters
CN106331527A (zh) 一种图像拼接方法及装置
CN104994367A (zh) 一种图像矫正方法以及摄像头
Ying et al. Fisheye lenses calibration using straight-line spherical perspective projection constraint
CN102147918B (zh) 基于体育场标志线的摄像机外参数确定方法及系统
CN106570907B (zh) 一种相机标定方法及装置
CN104463791A (zh) 一种基于球面模型的鱼眼图像校正法
US20200294269A1 (en) Calibrating cameras and computing point projections using non-central camera model involving axial viewpoint shift
CN103247020A (zh) 一种基于径向特征的鱼眼图像展开方法
CN107492125A (zh) 汽车鱼眼镜头环视图像的处理方法
CN102622744A (zh) 一种基于多项式投影模型的长焦相机标定方法
CN110874854A (zh) 一种基于小基线条件下的大畸变广角相机双目摄影测量方法
CN107346530B (zh) 一种修正鱼眼图像的投影方法及系统
CN114549666B (zh) 一种基于agv的环视图像拼接标定方法
Bastanlar et al. Dlt-like calibration of central catadioptric cameras

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20110615

Assignee: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.

Assignor: Shanghai Jietu Software Techn Co., Ltd.

Contract record no.: 2014310000052

Denomination of invention: Fisheye calibration method and device

Granted publication date: 20130724

License type: Common License

Record date: 20140321

LICC Enforcement, change and cancellation of record of contracts on the licence for exploitation of a patent or utility model