CN109754435A - 一种基于小靶标模糊图像的摄像机在线标定方法 - Google Patents

Abstract

本发明涉及一种基于小靶标模糊图像的摄像机在线标定方法，包括：将高精度小的圆发光点靶标尽量靠近镜头，保证靶标获得较大图像比例与摆放角度；调整摄像机光圈与曝光时间，得到可辨识的靶标图像；建立靶标特征点定位不确定度数学模型，求解每个特征点的定位不确定度；以靶标特征点定位及参数的不确定度为约束，通过非线性优化方法求解摄像机内外参数高精度解；该方法不需要考虑摄像机聚焦空间和靶标尺寸，仅需很小的高精度靶标在贴近镜头的位置摆放就可以在大的图像模糊及噪声条件下实现摄像机超高精度标定。本发明适合在大视场、浅景深摄像机甚至是正在使用摄像机的在线标定，具有很大灵活性和适应性。

Description

一种基于小靶标模糊图像的摄像机在线标定方法

技术领域

本发明涉及传感器标定的技术领域，具体涉及一种基于小靶标模糊图像的摄像机在线标 定方法。

背景技术

摄像机是计算机视觉领域最重要的核心部件，摄像机标定对计算机视觉系统具有重要作 用。现有摄像机标定方法需要靶标放置在摄像机聚焦空间内保证获取清晰的靶标图像，且需 要在图像中占较大面积，同时靶标摆放位置需要有较大的角度变化，这样才可以获取高精度 的摄像机标定结果。但对包括以鱼眼和反射折射摄像机为代表的大视场摄像机来说，在摄像 机聚焦空间内的高精度中小靶标在图像中所占面积较小，而大靶标精度低且加工困难，搬运 和摆放都极为不方便；对于长焦、浅景深摄像机来说，摄像机聚焦空间内靶标摆放角度可变 化的范围很小，容易出现图像模糊现象，导致摄像机标定精度下降。

现在比较主流的摄像机标定方法多采用不同类型的靶标，主要包括三维靶标、二维靶标、 一维靶标、球靶标、圆柱体靶标等靶标类型。采用三维靶标的摄像机标定方法可以达到很高 的标定精度，但三维靶标特征点容易被自身遮挡、其重量大、加工非常困难。与三维靶标相 比，二维靶标特征点不存在自身遮挡，且二维靶标加工容易、精度很高，且便于携带，因此 采用二维靶标的标定方法在标定精度和灵活性上具有很大优势，是目前最主要的摄像机标定 方法，有大量的方法涌现。其中最著名的是张正友提出的基于棋盘格靶标的摄像机标定方法， 该方法已经被广泛使用，具有非常好的标定效果。但该方法需要靶标在图像中占一定面积且 图像清晰，这给大视场摄像机、浅景深摄像机等摄像机标定带来了很大困难。采用一维靶标 的标定方法具有靶标形式简单，可加工较大尺寸等优点。但受一维靶标特征点特性限制，只 有在使用一定约束条件下一维靶标才能完成单摄像机内部参数标定，且标定精度不高，这也 大大限制了一维靶标的适用范围。球靶标不受自身遮挡，因此采用球靶标的摄像机标定方法 非常适合多个不同位置摄像机的同步标定。与球靶标类似，基于旋转体靶标的摄像机标定方 法也存在类似优点。但基于这两类靶标的标定方法受算法本身限制都存在标定精度不足的缺 点。此外，也有很多不需要靶标的自标定技术，这些方法有不使用靶标的优点，被大量的应 用在视频跟踪、移动机器人视觉导航等领域，但标定精度一般，不适合应用在需要摄像机高 精度标定的场合。

但是，现有主要的摄像机标定方法必须将靶标摆放在聚焦空间，且要求靶标尺寸足够大， 同时要求成像清晰，特征点提取精确，才能达到相对较高的标定精度。然而实际特殊场合的 摄像机不允许上述传统的标定模式，因此，研究一种不受摄像机聚焦空间约束和靶标尺寸限 制，且能在图像模糊及高噪声条件下实现摄像机标定的新方法具有非常重要研究意义。

发明内容

本发明技术解决问题：克服现有技术的不足，提供一种基于小靶标模糊图像的摄像机在 线标定方法，能够在极小空间内(视场大小5cm×5cm)、采用小尺寸、高精度加工的圆发光 点靶标(如尺寸为2cm×2cm，圆发光点数量为10×10的圆发光点玻璃靶标)、高图像噪声(最 高达5个像素)情况下实现摄像机超高精度标定。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于小靶标模糊图像的摄像机在线标定方法，该方法包括：

步骤a、将小的高精度圆发光点靶标靠近镜头，靶标特征点为圆发光点，保证靶标图像 占整个图像的60％～70％，同时保证靶标摆放角度变化范围为±45°；所用小靶标特征点圆发 光点横纵向间距均为2mm，特征点数量为10×10，小靶标尺寸为2cm×2cm，加工精度 0.001mm；

步骤b、调整待标定摄像机光圈与曝光时间，对不同摆放位置的小靶标进行拍摄，得到 可辨识的靶标图像；

步骤c、建立拍摄所得的靶标图像中圆发光点，即特征点图像定位不确定度数学模型， 求解出每个特征点图像的中心定位不确定度；

步骤d、以步骤c中的特征点及参数的不确定度为约束，进行非线性优化，得到每个特 征点定位偏差；

步骤e、基于步骤d中获得的图像特征点定位偏差，补偿特征点的定位偏差，采用补偿 偏差后的特征点坐标进行张正友标定方法标定，得到摄像机的内参值；

步骤a中采用2cm×2cm的发光圆点靶标靠近镜头，打破了常规摄像机标定中靶标必须 摆放在聚焦空间内、靶标要加工的足够大这两个核心约束；同时，也很容易使得灵活小靶标 在摆放过程中占据较大的图像面积，且能够保证较大的摆放角度；其中，满足靶标在摆放过 程中占据较大的图像面积与较大的摆放角度,是保证摄像机标定精度的关键，要求靶标图像 占整个图像的60％～70％，同时保证靶标摆放角度变化范围为±45°之内。

步骤b中，得到可辨识的靶标图像的方法如下：

(1)减小光圈增加摄像机景深,以使得小靶标成像尽量清晰；

(2)减小光圈的同时提高摄像机曝光时间，最终得到可辨识的靶标图像。

步骤c中，建立特征点定位不确定度的数学模型以及求解每个特征点的中心定位不确定 度的过程为：

(1)依据靶标图像中特征点图像对称特性，靶标图像在圆特征点区域的灰度分布满足 高斯分布，采用基于光点亚像素求解方法对靶标图像中特征点进行建模；

(2)通过在步骤(1)中靶标图像特征点模型基础上叠加图像噪声模型，建立特征点中 心坐标定位不确定度与图像噪声之间的数学表达式如下式所示：其中为图像噪声的方差，N为下角标，代表噪声，K为理想无噪声图像的最大灰度值，为图像中坐标为(s₀,t₀)的点在两个坐标轴方向上的定位方差；

(3)通过求解特征点周围图像噪声，由步骤(2)中的数学表达式，得出每个特征点中 心定位不确定度。

步骤d中,得到每个特征点定位偏差的过程如下：

(1)基于步骤c中得到每个特征点中心定位不确定度，得到透视投影模型中的无畸变 图像点，以无畸变图像点平面到靶标平面之间单应矩阵映射为根据，构造图像投影点误差、 图像反投影点误差为目标函数，进行非线性优化，最终得到摄像机内参和每个特征点定位偏 差，所述非线性优化具体过程为：

(11)以图像投影点误差、图像反投影点误差及交比不变性约束建立目标函数，目标函 数为E(a)＝e₁+e₂，其中e₁,e₂分别为图像投影点误差、图像反投影点误差，M是靶标摆放的位置数，N是靶标特征点数量， p和q分别为靶标特征点在靶标坐标系和图像坐标系下的齐次坐标；

(12)确定参数优化范围的约束其中Δu,Δv为图像偏差， σ_u(ij)和σ_v(ij)为小靶标第i个摆放位置处第j个点在图像中特征点定位 不确定度，n是非零比例系数。f_x,f_y,u₀,v₀,k₁,k₂为摄像机内参数；

(13)采用Levenberg-Marquardt算法得到最优解。

步骤e中，补偿特征点定位偏差及得到标定结果的实现步骤如下：

以步骤d中非线性优化后求得的图像特征点定位偏差采用进行补偿， 得到新的图像特征点坐标，再使用新的图像特征点下标定出的摄像机内参值作为标定结果， 其中Δu_ij,Δv_ij为步骤d中求得的图像特征点定位偏差。

本发明与现有技术相比的优点在于：

(1)本发明仅使用小尺寸2cm×2cm靶标，贴近镜头处，就可以实现摄像机高精度标定。 打破了摄像机传统标定模式，不需要制作大型靶标，也不需要必须在聚焦空间内标定。

(2)同时，本发明给出每个特征点定位偏差的不确定度数学模型，并得出线性解，根 据补偿后的图像特征点坐标进行标定，实现了摄像机在大噪声情况下、小空间(视场大小 5cm×5cm)内的高精度标定。本发明适用于大视场、浅景深以及在轨摄像机的在线快速高 精度标定。

附图说明

图1为本发明一种基于小靶标模糊图像的摄像机在线标定方法流程图；

图2为摄像机透视投影、畸变与噪声三模型示意图；

图3为本发明标定过程详细流程图，主要包括摄像机光圈、曝光调整、图像采集、图像 特征点不确定度计算，非线性优化，得到摄像机参数；

图4为靶标特征点定位不确定度求解示意图。

具体实施方式

本发明的基本思想是：采用小尺寸靶标，贴近摄像机成像；建立图像特征点定位不确定 度数学模型；对图像特征点坐标进行补偿，采用新的图像特征点坐标实现摄像机的高精度标 定。

因此采用小的高精度圆发光点靶标靠近镜头，打破了常规摄像机标定中靶标必须摆放在 聚焦空间内、靶标要加工的足够大这两个核心约束。同时，也很容易使得灵活小靶标在摆放 过程中占据较大的图像面积，且能够保证较大的摆放角度。其中，满足靶标在摆放过程中占 据较大的图像面积与较大的摆放角度是保证摄像机标定精度的关键。

本发明具体标定流程如图1所示。

下面以一个摄像机和一个小尺寸圆点发光靶标为例，对本发明作进一步详细说明。

如图1所示，本发明基于小靶标模糊图像的摄像机在线标定方法主要包括以下步骤：

步骤11：选用背光的小尺寸圆发光点靶标，如2cm×2cm大小，圆发光点数量为10×10的 高精度靶标(加工精度为0.001mm)，贴近镜头处摆放，根据成像比例适当调整靶标距离， 使得靶标成像占整个像面60％～70％，同时保证靶标摆放角度变化范围为±45°。

步骤12：调整光圈增加摄像机景深，同时适当增加曝光时间与靶标背光亮度，使得小靶 标具有可辨识的图像即可，无需特别清晰与高信噪比；如图3中所示，步骤11中直接将小 靶标放置于镜头前方时，图像模糊导致特征点无法提取，调整镜头光圈、曝光时间后景深增 加，靶标特征点变得可分辨。

步骤13：建立靶标特征点定位不确定度数学模型，求解出每个特征点定位不确定度。具 体流程如下所述：

分析特征点周围图像信息，依据特征点中心坐标求解模型求出其中心点定位不确定度。 如图4所示，设Ouv为图像坐标系，p为靶标特征点在Ouv下图像点，靶标特征点实际成像 过程可表示为I(u,v)＝f(u,v)+n(u,v)，其中f(u,v)为空间特征点经过镜头失焦模糊后的理想 图像，n(u,v)为均值为0，方差为的图像噪声，I(u,v)为实际采集图像。以圆点图像为例， 目前特征点中心坐标提取方法已有多名学者研究，使用多尺度方法完成亚像素级特征点的提 取，首先通过多尺度计算光点局部区域的形状算子，选取绝对值最大的正极值对应的高斯核 作为最佳尺度因子。其中，经过γ归一化后的算子C的表达式：

为相应的高斯卷积模板的卷积核，r_uu(u,v)r_vv(u,v)r_uv(u,v)为图像在任意点(u,v)处的 Hessian矩阵中的元素，

通过计算归一化C算子得出最佳尺度因子，其可表示为，

从而得到对应高斯核下提取到的像素级特征点进一步完成亚像素级的中心点坐 标求解，设p＝(u₀,v₀)为得到的亚像素级特征点坐标。本发明以无噪声图像下的理想定位点 (0,0)为坐标原点，u、v为坐标轴建立O-st坐标系，设待求点p的坐标为(s₀,t₀)。从而该 点在卷积后的灰度值可以通过在(0,0)处的二阶泰勒展开式表示，即：

其中，为新的坐标系下I(s,t)经过方差为σ_g，中心为0的高斯核卷积后在(0,0)处的灰度 值，分别为(0,0)处的一阶偏导数，分别为(0,0)处的二阶偏导数。由 I(u,v)＝f(u,v)+n(u,v)知，分别可分解为 其中f_ss，f_st，f_tt分别为理想图像经过卷积后的二阶偏导，n_ss，n_st， n_tt分别为噪声卷积后的二阶偏导，由(s₀,t₀)的性质可知式(4)在特征点中心处相对于s、t处 的一阶导数为零，由此可得特征点的精确位置，

由于光点在理想图像中的分布可以表示为其中，σ_w为高斯核，为最大灰度值，M为一常数。满足f_s(0,0)＝0，f_s(0,0)为理想图像经过高斯卷积后在(0,0)处对s的一阶偏导，且n_ss(0,0)＜＜f_ss(0,0)，认为n_ss(0,0)＝n_tt(0,0)＝0。同时对于理想图像有f_ss(0,0)＝f_tt(0,0)且f_st(0,0)＝0。则式(5)可化简为，

n_s，n_t为噪声卷积后的一阶偏导，由n_s(0,0)＝n_t(0,0)，且其对应的方差为，

由上式得中心点定位方差为：

显然，各个方向的不确定度相同，通过对前式进行卷积，有：

从而中心点坐标的定位方差可以表示为：

根据提到的多尺度提取特征点中心方法，选取的σ_g是能够使得保证理想点定位处的算子C 的取值最大，所以有σ_g＝σ_w，因此中心点坐标定位方差可以写为：

这样可以避免求解实际图像不精确的σ_w值，保证实际得到的不确定区域仅仅与信号和噪 声等级相关。实际标定中，将I(s,t)经过滤波去噪后的图像F{I(s,t)}定义为I(s,t)与 相减为噪声数据n(s,t)。对比分析均值滤波，高斯滤波，维纳滤波、快速非局部滤波 等现有成熟图像滤波方法后，本文选用均值滤波方法计算图像噪声n(s,t)。其中为噪声 n(s,t)的方差，K为中灰度最大值。不失一般性，点p的不确定度即为(0,0)处的不 确定度，可以通过p处的信噪比完成不确定度范围的求解。

步骤14：分离摄像机成像过程中的透视投影与畸变模型，以靶标特征点及参数的不确定 度为约束，进行非线性优化，得到每个特征点定位偏差。

步骤141：如图2所示，是摄像机透视投影过程示意图。设O_cx_cy_cz_c与O_wx_wy_wz_w分别是摄 像机坐标系与世界坐标系。p_u＝[u_u,v_u,1]^T,p_d＝[u_d,v_d,1]^T与p_n＝[u_n,v_n,1]^T是图像坐标系下无畸变、 有畸变与添加图像噪声后图像点的齐次坐标。

由图2可以看出，空间点p的摄像机透视投影可分为三个阶段，第一个阶段是针孔成像 阶段，是P→p_u的阶段；第二个阶段为镜头畸变阶段，是p_u→p_d的阶段；第三个阶段是图像 噪声干扰阶段，是p_d→p_n的阶段。

第一个阶段是P→p_u的过程，满足如式1的针孔成像模型；

其中ρ为常数。K为摄像机内参数矩阵。u₀、v₀为主点坐标。f_x、f_y为焦距。参数γ是图像轴的不垂直因子。R＝[r₁ r₂ r₃]与t分别是旋转矩阵平移向量。

如果空间点p为平面靶标上特征点时，p点在靶标坐标系下Z方向分量为0，则式12可 见简化为：

其中H为靶标平面和图像平面之间的单应矩阵。

第二个阶段是p_u→p_d的过程，满足式14；

其中k₁,k₂为径向畸变系数。两阶径向畸变已经足够精确地描述镜头畸变，在实 际标定时，可根据实际使用要求采用多阶径向畸变和切向畸变来描述镜头畸变。

第三个阶段是p_d→p_n的阶段。设由于图像噪声等原因导致的图像偏差为Δu,Δv，则：

常识可知图像噪声满足均值为零方差为的高斯分布，因此受图像噪声导致的Δu,Δv也满 足高斯分布，该高斯分布的均值为零，方差为σ。根据高斯分布的特点，Δu,Δv有98％的概 率在±3σ范围内。

步骤142：基于步骤13中的特征点定位不确定度，以无畸变图像点平面到靶标平面之间 单应矩阵映射为根据，构造图像投影点误差、图像反投影点误差等为目标函数，进行非线性 优化，最终得到每个特征点定位偏差。

在靶标的第i个摆放位置，设靶标第j个点在靶标坐标系和图像坐标系下的齐次坐标分 别为q_j＝[x_j,y_j,1]^T和p_ij通过式14，15计算出p_u(ij)，p_u(ij)与q_j＝[x_j,y_j,1]^T通过式 13求解H_i矩阵，其中式15中Δu_ij,Δv_ij的初值为0。

根据H_i矩阵，q_j通过式13得到靶标第j个特征点在图像坐标系下投影点的齐次坐标p_n(ij)。 以p_ij与p_n(ij)之间距离最小为约束建立第一个目标函数如下：

其中Dist(A,B)表示点A与B的距离,M是靶标摆放的位置数，N靶标特征点数量。

通过式13计算p_ij在靶标坐标系下投影点的齐次坐标以q_j与之间距离最 小和所有靶标点中心和所有投影点中心之间距离最小为目标函数建立第二个目标函数：.

联合两个目标函数可得：

E(a)＝e₁+e₂(18)

对给定的目标函数及优化目标增加优化约束，针对Δu_ij,Δv_ij加入了优化范围约束,如式19 所示，

其中和σ_v(ij)为靶标第i个摆放位置处第j个点在图像中特征点定 位不确定度，可在步骤13中计算得出。n是非零比例系数，此处设n＝9。

合并目标函数式18与19，采用Levenberg-Marquardt算法得到最优解 (Δu_ij,Δv_ij,f_x,f_y,γ,u₀,v₀,k₁,k₂)。

步骤15：基于步骤14计算的(Δu_ij,Δv_ij)通过式14计算经过图像特征点定位偏差补偿的靶 标特征点图像齐次坐标 与的关系如下：

其中，Δu_ij,Δv_ij为图像特征点定位偏差。

总之，本发明将高精度小的圆发光点靶标尽量靠近镜头，保证靶标获得较大图像比例与 摆放角度；调整摄像机光圈与曝光时间，得到可辨识的靶标图像；建立靶标特征点定位不确 定度数学模型，求解每个特征点的定位不确定度；以靶标特征点定位不确定度为约束，通过 迭代式非线性优化方法求解摄像机内外参数高精度解；该方法不需要考虑摄像机聚焦空间和 靶标尺寸，仅需很小的高精度靶标在贴近镜头的位置摆放就可以在大的图像模糊及噪声条件 下实现摄像机超高精度标定。本发明适合在大视场、浅景深摄像机甚至是正在使用摄像机的 在线标定，具有很大灵活性和适应性。

Claims (6)

1.一种基于小靶标模糊图像的摄像机在线标定方法，其特征在于，实现步骤如下：

步骤a、将小的高精度圆发光点靶标靠近镜头，靶标特征点为圆发光点，保证靶标图像占整个图像的60％～70％，同时保证靶标摆放角度变化范围为±45°；所用小靶标特征点圆发光点横纵向间距均为2mm，特征点数量为10×10，小靶标尺寸为2cm×2cm；

步骤b、调整待标定摄像机光圈与曝光时间，对不同摆放位置的小靶标进行拍摄，得到可辨识的靶标图像；

步骤c、建立拍摄所得的靶标图像中圆发光点，即特征点图像定位不确定度数学模型，求解出每个特征点图像的中心定位不确定度，先采用张方法进行标定，得到摄像机内参的初值以及参数的不确定度；

步骤d、以步骤c中的特征点及参数的不确定度为约束，进行非线性优化，得到每个特征点定位偏差；

步骤e、基于步骤d中获得的图像特征点定位偏差，补偿特征点的定位偏差，采用补偿偏差后的特征点坐标进行张正友标定方法标定，得到摄像机的内参值。

2.根据权利要求1所述的基于小靶标模糊图像的摄像机在线标定方法，其特征在于：步骤a中采用2cm×2cm的发光圆点靶标靠近镜头，打破了常规摄像机标定中靶标必须摆放在聚焦空间内、靶标要加工的足够大这两个核心约束；同时，也很容易使得灵活小靶标在摆放过程中占据较大的图像面积，且能够保证较大的摆放角度；其中，靶标图像占整个图像的60％～70％，同时保证靶标摆放角度变化范围为±45°之内。

3.根据权利要求1所述的基于小靶标模糊图像的摄像机在线标定方法，其特征在于：步骤b中，得到可辨识的靶标图像的方法如下：

(1)减小光圈增加摄像机景深,以使得小靶标成像尽量清晰；

(2)减小光圈的同时提高摄像机曝光时间，最终得到可辨识的靶标图像。

4.根据权利要求1所述的基于小靶标模糊图像的摄像机在线标定方法，其特征在于：步骤c中，建立特征点定位不确定度的数学模型以及求解每个特征点的中心定位不确定度的过程为：

(1)依据靶标图像中特征点图像对称特性，靶标图像在圆特征点区域的灰度分布满足高斯分布，采用基于光点亚像素求解方法对靶标图像中特征点进行建模；

(2)通过在步骤(1)中靶标图像特征点模型基础上叠加图像噪声模型，建立特征点中心坐标定位不确定度与图像噪声之间的数学表达式如下式所示：其中为图像噪声的方差，N为下角标，代表噪声，K为理想无噪声图像的最大灰度值，为图像中坐标为(s₀,t₀)的点在两个坐标轴方向上的定位方差；

(3)通过求解特征点周围图像噪声，由步骤(2)中的数学表达式，得出每个特征点中心定位不确定度。

5.根据权利要求1所述的基于小靶标模糊图像的摄像机在线标定方法，其特征在于：步骤d中,得到每个特征点定位偏差的过程如下：

(1)分离摄像机成像过程中的透视投影、畸变模型以及图像噪声模型；

(2)基于步骤c中得到每个特征点中心定位不确定度，得到透视投影模型中的无畸变图像点，以无畸变图像点平面到靶标平面之间单应矩阵映射为根据，构造图像投影点误差、图像反投影点误差为目标函数，进行非线性优化，最终得到每个特征点定位偏差，所述非线性优化具体过程为：

(21)以图像投影点误差、图像反投影点误差建立目标函数，目标函数为E(a)＝e₁+e₂，其中e₁,e₂分别为图像投影点误差、图像反投影点误差，M是靶标摆放的位置数，N靶标特征点数量，p和q分别为靶标特征点在靶标坐标系和图像坐标系下的齐次坐标；

(22)确定参数优化范围的约束其中Δu,Δv为图像偏差，σ_u(ij)和σ_v(ij)为小靶标第i个摆放位置处第j个点在图像中特征点定位不确定度，n是非零比例系数，f_x,f_y,u₀,v₀,k₁,k₂为摄像机内参数；

(23)采用Levenberg-Marquardt算法得到最优解。

6.根据权利要求1所述的基于小靶标模糊图像的摄像机在线标定方法，其特征在于：步骤e中，以优化后的图像特征点坐标作为新的图像特征点坐标，再使用标定方法求出新的图像特征点下标定出的摄像机内参值。