CN203965128U - 大视场相机非线性畸变校正装置 - Google Patents

Abstract

本专利公开了一种大视场相机非线性畸变的校正装置，该装置包括单星星光模拟器、二维转台、二维转台控制系统、光学平台和计算机。该方法是利用质心定位算法确定相机视场范围内不同位置星点像的质心位置坐标，并建立投影成像模型计算对应星点像的理想成像位置坐标，通过遗传算法优化的BP神经网络拟合非线性畸变模型，实现待测相机畸变的校正。本专利具有装置简单、自动操作、测量方便，校正算法精度高的特点，易于实现大视场相机非线性畸变校正。

Description

大视场相机非线性畸变校正装置

技术领域

本专利涉及一种大视场相机非线性畸变高精度校正装置和方法的设计，属于计算机视觉和计算机图形学领域。

背景技术

一般相机由于加工和安装误差，难以达到理想透镜成像的效果，使得物体点在成像平面上实际所成的像与理想成像之间存在非线性光学畸变，并且随着视场角的不断增大，畸变逐渐加大。畸变的大小很大程度上决定了镜头的成像质量和系统的测量精度，因此，用于精密测量系统的光学相机，其畸变的校正显得尤其重要。

目前光学相机几何畸变校正算法主流是基于模板图像的畸变校正，主要有两大类：非线性畸变模型和直接映射法。

根据几何畸变的特性，建立非线性畸变模型。通过拍摄特征模板，利用特征点实际空间坐标与其对应的图像像素坐标之间的映射关系，采用最小二乘法获得标定模型的参数，利用少量的模型参数描述光学系统的畸变特性。常用的畸变模型为多项式变换模型，但是在进行广角镜头校正时通常需要高阶多项式，而引入过多的畸变系数不仅会增加计算量，有时还会引起解的不稳定，从而降低精度，校正效果不准确。

直接映射法，经过实验标定成像坐标和理想成像坐标之间的对应关系，建立位置映射表，通过查找表的方式实现实时畸变校正。通常查找表与图像的尺寸大小成正比，与视场角的平方成正比，而随着测量精度要求的提高，其大小也相应增加。该方法只适用于小尺寸小视场光学系统或者大存储容量的情况。

上述基于模板图像的畸变校正方法都要求模板图像的几何中心与待测相机的光轴重合，且模板图像与光轴必须高度垂直，因此模板图像与待测相机的对准误差会影响畸变校正，从而影响测量精度。

发明内容

本专利的目的在于克服上述在先技术的不足，提出一种大视场光学系统非线性畸变的测量装置，该装置方法简单，自动操作，测量方便，校正精度高。

本专利的技术解决方案如下：

一种大视场相机非线性畸变校正装置，它包括单星模拟器1、待测大视场相机2、二维转台3、二维转台控制系统4、计算机5和光学平台6，上述元部件的位置关系如下：

所述的单星模拟器1和二维转台3置于所述的光学平台6上；所述的单星模拟器1由积分球光源101、平行光管103和位于平行光管焦平面上的针孔分划板102组成；所述的待测大视场相机2固定在二维转台3上，并使待测大视场相机2的光轴与平行光管103的光轴平行；由积分球光源101发出的光照明针孔分划板102，通过针孔分划板102的光被平行光管103准直形成平行星光，该平行星光在待测大视场相机2的成像平面上产生星点像；所述待测大视场相机2通过传输线与计算机5相连；所述二维转台控制系统4与计算机5相连，通过计算机5操作二维转台控制系统4控制二维转台3的转动。

利用上述大视场光学相机非线性畸变校正装置实施畸变校正的方法为基于遗传算法优化BP神经网络算法，包括以下步骤：

1)待测相机成像中心的标定：通过固定待测大视场相机2于二维转台3上，保证待测大视场相机光轴与平行光管103的光轴平行，采集单星模拟器在待测大视场相机2所成的星点像，并通过质心法获得该星点像的位置坐标C₀₀＝[x₀₀,y₀₀],即图像平面中心坐标；

2)装置初始化：假设待测大视场相机2的视场角为θx×θy，其中θx为水平视场角，θy为垂直视场角；图像尺寸为M×N，焦距为f；旋转二维转台，使得转台转到X方向和Y方向处，即相机的视场临界点；

3)获取训练样本集：分别以Δθ_y和Δθ_x的角度增量在大视场相机的视场范围内旋转二维转台Y方向和X方向，则可以得到二维转台在视场范围内的旋转角度：

${\mathrm{\ω}}^{\mathrm{ij}}=\left[\begin{array}{c}{\mathrm{\ω}}_x^{\mathrm{ij}}\\ {\mathrm{\ω}}_y^{\mathrm{ij}}\end{array}\right]=\left[\begin{array}{c}-\frac{{\mathrm{\θ}}_x}{2}+(i-1)\×\mathrm{\Δ}{\mathrm{\θ}}_x\\ -\frac{{\mathrm{\θ}}_y}{2}+(j-1)\×\mathrm{\Δ}{\mathrm{\θ}}_y\end{array}\right](i=\mathrm{1,2},...,m,j=\mathrm{1,2},...,n)$

其中是二维转台绕X方向旋转角度，是二维转台绕Y方向旋转角度；

对每一个转台旋转位置进行测量，获取图像并通过质心定位算法获得对应星象点s_ij的位置坐标:

C^ij＝[x_ij,y_ij]  (2)

其中是x_ij图像平面行坐标，y_ij是图像平面列坐标；

4)根据以下公式：

$C_d^{\mathrm{ij}}=C^{\mathrm{ij}}-C_{00}---\left(3\right)$

构造畸变样本集 $C_d=\{C_d^{11},C_d^{12},...,C_d^{\mathrm{ij}},...,C_d^{\mathrm{mn}}\};$

5)确定投影成像模型：设定单星模拟器产生的星点在摄像机坐标系中的单位向量为P＝[X,Y,Z]，星点像在探测器平面坐标系的坐标为[u,v]，星点像在图像平面坐标系的坐标为[x,y],按小孔成像模型建立投影变换模型f:[X,Y,Z]→[x,y],而由坐标系旋转矩阵可以获得，当二维转台旋转角度为时，平行光管产生的星点的单位向量为

$\left[\begin{array}{c}{X}_{\mathrm{ij}}\\ Y_{\mathrm{ij}}\\ Z_{\mathrm{ij}}\end{array}\right]=\left[\begin{array}{ccc}\cos {\mathrm{\ω}}_y^{\mathrm{ij}}& 0& -\sin {\mathrm{\ω}}_y^{\mathrm{ij}}\\ 0& 1& 0\\ \sin {\mathrm{\ω}}_y^{\mathrm{ij}}& 0& \cos {\mathrm{\ω}}_y^{\mathrm{ij}}\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos {\mathrm{\ω}}_x^{\mathrm{ij}}& -\sin {\mathrm{\ω}}_x^{\mathrm{ij}}\\ 0& -\sin {\mathrm{\ω}}_x^{\mathrm{ij}}& \cos {\mathrm{\ω}}_x^{\mathrm{ij}}\end{array}\right]\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]=\left[\begin{array}{c}-\sin {\mathrm{\ω}}_y^{\mathrm{ij}}\cos {\mathrm{\ω}}_x^{\mathrm{ij}}\\ \sin {\mathrm{\ω}}_x^{\mathrm{ij}}\\ \cos {\mathrm{\ω}}_y^{\mathrm{ij}}\cos {\mathrm{\ω}}_x^{\mathrm{ij}}\end{array}\right]---\left(4\right)$

因此，根据投影变换模型和上述公式可以得到星点像s_ij对应的理想成像坐标为

由此构造输入畸变样本集以及期望输出理想样本集 $C_u=\{C_u^{11},C_u^{12},...,C_u^{\mathrm{ij}},...,C_u^{\mathrm{mn}}\};$

6)将训练样本集中样本坐标向量的各维数据进行归一化：采用最大最小法归一化Cd和Cu得到归一化的输入样本集和对应的输出样本集 ${\stackrel{\‾}{C}}_u=\{{\stackrel{\‾}{C}}_u^{11},{\stackrel{\‾}{C}}_u^{12},...,{\stackrel{\‾}{C}}_u^{\mathrm{ij}},...,{\stackrel{\‾}{C}}_u^{\mathrm{mn}}\};$

7)确定神经网络拓扑结构：采用三层BP神经网络，由于训练样本集输入输出均为二维坐标，则输入层节点数p＝2，输出层节点数q＝2,因此主要是确定隐含层节点数l，采用经验公式其中a为0到10之间的常数,输入层和隐含层的节点转移函数采用logsig函数，输出层节点转移函数采用purelin函数，将均方误差作为训练停止条件；

8)遗传算法优化神经网络的初始权值和阈值：采用实数编码方式对神经网络的初始权值和阈值进行编码，设定种群规模，初始权值和阈值中种群规模在15～30之间，进化次数在30～50之间，交叉概率在0.3～0.4之间，变异概率在0.2～0.4之间，经过反复迭代获得最优神经网络的初始权值和阈值；

9)BP神经网络训练，神经网络结构如步骤8)所述；在每一轮迭代中，分别取训练样本集中畸变坐标样本作为神经网络输入，计算神经网络输出向量O^ij，并与对应的理想输出样本比较。将比较误差用于调节神经网络连接权值和阈值，反复训练神经网络，直到满足终止条件，即到达迭代次数或者误差满足要求，保存该神经网络的结构以及模型参数；

10)重复步骤7)到步骤9)，获得不同隐含层下的神经网络结构及其模型参数，比较误差，保存最优的神经网络以及模型参数作为最终畸变校正的模型；

11)进行畸变校正：获得畸变坐标，并按照第7)步的归一化公式进行归一化得到，输入上述最佳神经网络，计算输出坐标向量，并反归一化求得校正后的坐标

在步骤3)中所述的和的取值不小于20。

在步骤7)中所述的输入层和隐含层的节点转移函数采用tansig函数代替。

本专利的优点及有益效果是：

(1)该装置进行大视场光学系统非线性畸变校正，无需复杂的对准过程，且训练样本集采集过程为计算机自动控制，方便快捷。

(2)利用BP神经网络的非线性学习能力，更好地表达大视场光学系统难以用数学方法描述的非线性畸变模型，同时引入遗传算法进行全局优化，克服BP神经网络收敛速度慢，容易陷入局部极值的缺陷，能够提高精度。

(3)该方法只需要存储少量的神经网络模型参数即可实现畸变校正，无需建立庞大的映射表，适用于高分辨率和大视场相机系统以及嵌入式系统设备。

(4)该方法适用于不同的几何成像模型，普适性强。

附图说明

图1为本专利大视场光学系统非线性畸变校正装置结构示意图。

图2为本专利畸变校正方法流程框图。

图3为星点投影模型以及坐标系。

图4为校正前畸变坐标与理想坐标对比图。

图5为校正后校正坐标与理想坐标对比图。

具体实施方式

为使本专利的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利作进一步详细的说明。

如图1所示，一种大视场光学系统非线性畸变校正装置，构成包括单星模拟器1、待测相机2、二维转台3、二维转台控制系统4、计算机5和光学平台6，上述元部件的位置关系如下：

所述单星模拟器和二维转台置于所述的光学平台6上；所述的单星模拟器1由积分球光源101、平行光管103和位于平行光管焦平面上的针孔分划板102组成；所述的待测大视场相机2固定在二维转台3上，并使待测大视场相机2的光轴与平行光管103的光轴平行；由所述积分球光源101发出的光照明所述针孔分划板102，通过针孔分划板102的光被平行光管103准直形成平行星光，该平行星光在待测大视场相机2的成像平面上产生星点像；所述待测大视场相机2通过传输线与计算机5相连；所述二维转台控制系统4与计算机5相连，通过计算机5操作二维转台控制系统4控制二维转台3的转动。

如图2所示，本专利中利用上述大视场光学相机非线性畸变校正装置实施畸变校正的方法包括如下模块：样本采集模块S1，在镜头中心校准后，根据成像投影模型获得理想成像坐标和实际成像坐标向量集合,并分别对数据做归一化处理后作为神经网络输入样本集和输出样本集；遗传算法优化模块S2，在确定好神经网络的拓扑结构后，采用遗传算法优化神经网络的初始权值和阈值，使得优化后的BP神经网络能够更好的拟合非线性模型；神经网络训练模块S3，将遗传算法得到的最优权值和阈值作为神经网络的初始权值和阈值，进行神经网络训练，保存神经网络模型参数；畸变校正模块S4，选择最优的神经网络结构和模型参数，将待校正的畸变坐标作为神经网络输入，计算输出向量并反归一化即可获得校正坐标。

以下以视场角为θ_x×θ_y，图像尺寸为M×N，焦距为f的大视场相机为例进行说明，具体步骤如下：

1)待测大视场相机成像中心的标定：通过固定待测大视场相机于二维转台上，保证待测大视场相机光轴与平行光管的光轴平行，采集单星模拟器在待测大视场相机所成的星点像，通过质心法获得该星点像的位置坐标C₀₀＝[x₀₀,y₀₀],即图像平面中心坐标；

2)装置初始化：旋转二维转台，使得相机镜头转到转台X方向和Y方向处，即相机的视场临界点；

3)获取训练样本集：分别以Δθ_y和Δθ_x的步进角度增量在大视场相机的视场范围内旋转二维转台Y方向和X方向，则可以得到二维转台在视场范围内的旋转角度：

${\mathrm{\ω}}^{\mathrm{ij}}=\left[\begin{array}{c}{\mathrm{\ω}}_x^{\mathrm{ij}}\\ {\mathrm{\ω}}_y^{\mathrm{ij}}\end{array}\right]=\left[\begin{array}{c}-\frac{{\mathrm{\θ}}_x}{2}+(i-1)\×\mathrm{\Δ}{\mathrm{\θ}}_x\\ -\frac{{\mathrm{\θ}}_y}{2}+(j-1)\×\mathrm{\Δ}{\mathrm{\θ}}_y\end{array}\right](i=\mathrm{1,2},...,m,j=\mathrm{1,2},...,n)$

其中是二维转台绕X方向旋转角度，是二维转台绕Y方向旋转角度；

对每一个转台旋转位置进行测量，获取图像并通过质心定位算法获得对应星象点s_ij的位置坐标:

C^ij＝[x_ij,y_ij]  (2)

其中是x_ij图像平面行坐标，y_ij是图像平面列坐标；

4)根据以下公式：

$C_d^{\mathrm{ij}}=C^{\mathrm{ij}}-C_{00}---\left(3\right)$

构造畸变样本集 $C_d=\{C_d^{11},C_d^{12},...,C_d^{\mathrm{ij}},...,C_d^{\mathrm{mn}}\};$

5)确定投影成像模型：设定单星模拟器产生的星点在摄像机坐标系中的单位向量为P＝[X,Y,Z]，星点像在探测器平面坐标系的坐标为[u,v]，星点像在图像平面坐标系的坐标为[x,y],采用如图3所示的投影成像模型，通过坐标变换可得以下投影方程：

$\left[\begin{array}{c}u\\ v\end{array}\right]=\left[\begin{array}{c}-\frac{f}{D_x}\frac{X}{Z}\\ -\frac{f}{D_y}\frac{Y}{Z}\end{array}\right]---\left(4\right)$

$\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}-u\\ -v\end{array}\right]---\left(5\right)$

其中，D_x,D_y为探测器像元的高和宽；

而由坐标系旋转矩阵可以获得，当二维转台旋转角度为时，平行光管产生的星点的单位向量为

$\left[\begin{array}{c}{X}_{\mathrm{ij}}\\ Y_{\mathrm{ij}}\\ Z_{\mathrm{ij}}\end{array}\right]=\left[\begin{array}{ccc}\cos {\mathrm{\ω}}_y^{\mathrm{ij}}& 0& -\sin {\mathrm{\ω}}_y^{\mathrm{ij}}\\ 0& 1& 0\\ \sin {\mathrm{\ω}}_y^{\mathrm{ij}}& 0& \cos {\mathrm{\ω}}_y^{\mathrm{ij}}\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos {\mathrm{\ω}}_x^{\mathrm{ij}}& -\sin {\mathrm{\ω}}_x^{\mathrm{ij}}\\ 0& -\sin {\mathrm{\ω}}_x^{\mathrm{ij}}& \cos {\mathrm{\ω}}_x^{\mathrm{ij}}\end{array}\right]\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]=\left[\begin{array}{c}-\sin {\mathrm{\ω}}_y^{\mathrm{ij}}\cos {\mathrm{\ω}}_x^{\mathrm{ij}}\\ \sin {\mathrm{\ω}}_x^{\mathrm{ij}}\\ \cos {\mathrm{\ω}}_y^{\mathrm{ij}}\cos {\mathrm{\ω}}_x^{\mathrm{ij}}\end{array}\right]---\left(6\right)$

因此，根据投影变换模型和上述公式可以得到星点像s_ij对应的理想成像坐标：

$C_u^{\mathrm{ij}}=[-\frac{f}{D_x}\tan {\mathrm{\ω}}_y^{\mathrm{ij}},\frac{f}{D_y}\frac{\tan {\mathrm{\ω}}_x^{\mathrm{ij}}}{\cos {\mathrm{\ω}}_y^{\mathrm{ij}}}---\left(7\right)$

由此构造输入畸变样本集，以及期望输出理想样本集 $C_u=\{C_u^{11},C_u^{12},...,C_u^{\mathrm{ij}},...,C_u^{\mathrm{mn}}\};$

6)将训练样本集中样本坐标向量的各维数据进行归一化：采用最大最小法归一化Cd和Cu得到归一化的输入样本集和对应的输出样本集 ${\stackrel{\‾}{C}}_u=\{{\stackrel{\‾}{C}}_u^{11},{\stackrel{\‾}{C}}_u^{12},...,{\stackrel{\‾}{C}}_u^{\mathrm{ij}},...,{\stackrel{\‾}{C}}_u^{\mathrm{mn}}\};$

7)确定神经网络拓扑结构：采用三层BP神经网络，由于训练样本集输入输出均为二维坐标，则输入层节点数p＝2，输出层节点数q＝2,因此主要是确定隐含层节点数l，采用经验公式其中a为0到10之间的常数,输入层和隐含层的节点转移函数采用logsig函数，输出层节点转移函数采用purelin函数，将均方误差作为训练停止条件，可以知道该神经网络共有(p+q)×l个权值和l+q个阈值，因此遗传算法个体编码长度为(p+q+1)×l+q；

8)遗传算法优化神经网络的初始权值和阈值。遗传算法的基本要素包括染色体编码方法，适应度函数，选择、交叉和变异等遗传操作和运行参数；

采用实数串编码方式，每个个体均为一个实数串表示，由输入层与隐含层连接权值、隐含层阈值、隐含层与输出层连接权值和输出层阈值4部分组成；

适应度函数采用神经网络预测误差绝对值，即将以每个个体为神经网络初始权值和阈值，用采集到的训练样本集用步骤7)描述的神经网络进行初步训练，得到的预测误差作为个体适应度，个体适应度值越小，个体越优；

选择操作，采用轮盘赌法，即基于适应度比例的选择策略，每个个体i的选择概率，其中f_i为个体i的适应度，k为系数；

交叉操作，采用实数交叉法，第k个染色体a_k和第l个染色体a_l在j位的交叉操作方法如下：

a_kj＝a_kj(1-b)+a_ljb

                        (8)

a_lj＝a_lj(1-b)+a_kjb

其中b是0到1之间的随机数；

变异操作，选取第i个个体的第j个基因a_ij进行变异，变异操作如下：

$a_{\mathrm{ij}}\left\{\begin{array}{cc}{a}_{\mathrm{ij}}+(a_{\mathrm{ij}}-a_{\max })*f\left(g\right)& r>0.5\\ a_{\mathrm{ij}}+(a_{\min }-a_{\mathrm{ij}})*f\left(g\right)& r\≤0.5\end{array}\right.---\left(9\right)$

其中，a_max为基因a_ij的上界，a_min为基因a_ij的下界，f(g)＝r₂(1-g/G_max)²，r₂为一个随机数，g为当前迭代次数，G_max为最大进化次数，r为0到1之间的随机数；

运行参数包括种群规模，进化次数，交叉概率和变异概率；

遗传算法优化的具体步骤如下：

第一步：设置种群规模为15，进化次数为50，交叉概率为0.3，变异概率为0.2；并在初始化范围内初始化每个个体，并计算每个个体的适应度；

第二步：进行选择、交叉和变异操作获得新一代种群，计算该种群每个个体的适应度，从中找出最优个体并替换最差个体；

第三步：判断是否达到终止条件，即进化次数是否结束，若不是，则返回第二步；

第四步：将最优个体的实数编码保存下来，作为下步神经网络训练的初始权值和阈值；

9)BP神经网络训练，神经网络结构如步骤8)所述；在每一轮迭代中，分别取训练样本集中畸变坐标样本作为神经网络输入，计算神经网络输出向量O^ij，并与对应的理想输出样本比较。将比较误差用于调节神经网络连接权值和阈值，反复训练神经网络，直到满足终止条件，即到达迭代次数或者误差满足要求，保存该神经网络的结构以及模型参数；

10)重复步骤7)到步骤9)，获得不同隐含层下的神经网络结构及其模型参数，比较误差，保存最优的神经网络以及模型参数作为最终畸变校正的模型；

11)进行畸变校正：获得畸变坐标，并按照步骤7)的归一化公式进行归一化得到，输入上述最佳神经网络，计算输出坐标向量，并反归一化求得校正后的坐标

Claims (1)

1.一种大视场相机非线性畸变校正装置，它包括单星模拟器(1)、待测大视场相机(2)、二维转台(3)、二维转台控制系统(4)、计算机(5)和光学平台(6)，其特征在于：

所述的单星模拟器(1)和二维转台(3)置于所述的光学平台(6)上；所述的单星模拟器(1)由积分球光源(101)、平行光管(103)和位于平行光管焦平面上的针孔分划板(102)组成；所述的待测大视场相机(2)固定在二维转台(3)上，并使待测大视场相机(2)的光轴与平行光管(103)的光轴平行；由积分球光源(101)发出的光照明针孔分划板(102)，通过针孔分划板(102)的光被平行光管(103)准直形成平行星光，该平行星光在待测大视场相机(2)的成像平面上产生星点像；所述待测大视场相机(2)通过传输线与计算机(5)相连；所述二维转台控制系统(4)与计算机(5)相连，通过计算机(5)操作二维转台控制系统(4)控制二维转台(3)的转动。