CN109816607A

CN109816607A - 一种基于多层前馈神经网络的二维光纤光谱图像校正技术

Info

Publication number: CN109816607A
Application number: CN201910055743.1A
Authority: CN
Inventors: 尹乾; 郭平; 徐佳丽
Original assignee: Beijing Normal University
Current assignee: Beijing Normal University
Priority date: 2019-01-22
Filing date: 2019-01-22
Publication date: 2019-05-28

Abstract

本发明公开了一种基于多层前馈神经网络的二维光纤光谱图像校正技术，该方法能根据光谱图像畸变规律构建训练集并训练多层前馈神经网络用于校正二维光纤光谱图像，主要步骤包括：对二维平场光谱图像进行光纤追迹，使用完全最小二乘法拟合追迹曲线对应的直线作为校正后的目标输出；按照中间密集四周稀疏的策略选取训练数据集中样本点；使用构建出的数据集训练神经网络模型；最后使用训练好的网络模型对原始光谱图像进行校正。本算法表现出很好的光谱图像校正效果，减少了抽谱过程中交叉污染的影响，提升了抽谱效果。本发明能够以预处理的方式应用到光谱抽取流程，提升抽谱效果并减少抽谱过程的计算复杂度，具有很好的应用前景。

Description

一种基于多层前馈神经网络的二维光纤光谱图像校正技术

技术领域

本发明属于天文光谱数据处理技术领域，涉及一种基于多层前馈神经网络的二维光纤光谱图像校正技术，特别涉及一种基于光谱图像畸变规律构建训练集并训练神经网络校正二维光谱图像的方法。

背景技术

LAMOST是我国建成并投入使用的大天区多目标光纤光谱望远镜，具有口径大、同时观测目标数多的特点。所有的光纤光谱望远镜观测得到的二维光纤光谱图像都需要经过多种数据处理步骤才能被天文学家使用，主要包括CCD改正、平场改正、宇宙线提出、目标谱抽取、波长定标、减天光、流量定标等。其中目标谱抽取(即抽谱)的目标是从目标光谱图像种获得各根光纤在各个波长上的流量值，可以将CCD记录的二维光纤光谱图像转化成一维的波长-流量光谱。

多数天文观测望远镜都是大视场广角镜头望远镜，LAMOST也同样如此。广角镜头的使用使得光谱在成像过程中存在一定程度的畸变，具体表现为两侧出现枕型畸变，越是边缘畸变现象便明显，可以看到两侧的光纤存在明显的弯曲。LAMOST的每幅图像可以记录250条光谱，这些光谱密集的排列在一张图像上，存在着一定的交叉污染；而且，大视场摄谱仪的广泛应用，使得处于CCD不同位置的点扩展函数(Point Spread Function,PSF)轮廓差异很大，这会很大程度的增加抽谱的计算复杂度。总的来说，这些原因使得现有的抽谱方法在计算上存在误差，会大大的影响到最终一维光谱的质量。2009年Bolton and Schlegel等人提出反卷积抽谱方法，相比于传统的孔径抽谱能较好的处理交叉污染和各点PSF差异大的问题，但是计算复杂度太大也极大的限制了实际的投入使用。

在图像处理领域，存在很多图像校正方法。针对广角镜头拍摄出来的图像畸变，从原理上主要是对畸变过程进行数学建模，构造函数对畸变后的图像进行反变换以达到图像校正的目的。近年来，人工智能的兴起，使得之前已经不受关注的神经网络再一次受到研究人员的广泛关注，多层神经网络神经元的组合可以表示一种复杂的非线性变换，这种变换不是用具体的函数形式来表示。受此启发，神经网络也可以用于构造图像畸变函数帮助我们对二维光谱图像进行校正，减少交叉污染和各点PSF差异大对抽谱的影响。

发明内容

本发明的目的是减少二维光谱图像畸变对光谱抽取精度和计算复杂度的影响，达到优化抽谱的效果。

为此，本发明公开了一种基于多层前馈神经网络的二维光纤光谱图像校正技术，该方法能通过构造训练样本，训练多层神经网络得到网络参数来对畸变的二维光谱图像进行校正，最终从精度和计算复杂度上优化抽谱效果，包括如下步骤：

1)通过对二维平场光谱图像进行光纤追迹，得到含有250条光谱曲线的二维光纤追迹图像；

2)对上一步得到的二维光纤追迹结果图中每一条曲线使用完全最小二乘法进行直线拟合，将拟合出的直线作为校正后的目标输出；

3)产生在球面上均匀分布的2*N个点，并将上半球(或者下半球)部分的N个点投影到二维平面的图像作为数据集选点规律的分布图；

4)按照上一步产生的选点分布图对二维光纤追迹结果图和直线拟合结果图进行像素点采样，构造训练神经网络的数据集，其中光纤追迹图中点的横纵坐标值作为二维输入向量(x,y)，而直线拟合结果图中对应的点作为二维输出向量(x’,y’)；

5)构造输入输出都为两个神经元的多层前馈神经网络模型，使用上一步构造的数据集进行训练，保存训练好的网络模型参数；

6)使用上一步训练好的神经网络模型对原始二维平场光谱中的每一个像素点进行校正，输入同样为每个点所在位置对应的波长方向和空间方向的(x,y)，将对应输出位置点的像素值用输入点像素值代替。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1为二维光纤光谱图像校正技术的处理流程图；

图2为LAMOST二维平场光谱图像示例图；

图3为二维光谱图像光纤追迹结果图；

图4为某根光纤完全最小二乘法直线拟合图；

图5为样本点选取分布示意图；

图6为校正后光纤追迹图；

图7为部分放大后的校正前后光纤追迹对比图；

图8为多层前馈神经网络模型示意图；

图9为校正前后的二维光纤光谱图像对比图。

具体实施方法

以下将结合附图，对本发明的优选实施例进行详细的描述：应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。

图1为二维光纤光谱图像校正技术的处理流程图。

以图1为例，下面将详细描述基于多层前馈神经网络的二维光纤光谱图像校正技术的各个步骤，主要包括光谱追迹、对光谱进行直线拟合、构造数据集、训练神经网络、使用训练好的网络模型进行二维光谱图像校正五个步骤。

步骤1：对二维平场光谱图像进行光纤追迹，得到含有250条光纤轨迹中心的追迹结果图像。如图1LAMOST二维平场光谱图像所示，一幅LAMOST平场光谱图像的大小一般是4096*4096，共250根光谱排列在一张图像上，从图2可以明显的看到图像中的每根光纤存在不同程度的畸变，越是两侧这种畸变越明显，理论上消除畸变后的图像上的每一根光纤都接近直线。平场光谱图像的信噪比很高，可以精确的定位每根光纤在每个波长处的光纤位置中心。在不同的波长上，每根光纤都是中间最亮，从中间到两侧逐渐变暗。光纤追迹便是得到250*4096的光纤轨迹中心矩阵，其中4096就是波长方向上的4096个像素，250是指同一波长上250根光纤的中心点。实际操作中的具体做法是：在同一波长对应的大小为4096的向量中找到所有峰值，然后根据光纤之间的实际距离剔除不是光纤中心的假点，一根光纤对应于一个轮廓，求每个轮廓的重心位置作为每根光纤轨迹真正的中心。图3为二维光谱图像光纤追迹结果图。

步骤2：对光纤追迹结果图中的每一根光纤进行直线拟合。理想校正之后的二维光谱图像应该分布着250条接近直线的光纤，并且彼此不存在交叉，为了得到校正参数，使用直线拟合结果构造数据集的目标输出向量，这也是一种神经网络训练中对于无标签数据自动构造标签进行训练的方法，根据具体情况加入人为先验知识的干预，从而达到监督学习的目的。直线拟合可以描述为：对于给定的n个测量点(x_i,y_i)，求解一条直线，使得这些点尽可能的通过该直线或者在这条直线附近。这样经典的直线拟合问题可以用最常见的最小二乘法来解决。普通的最小二乘法求解的残差集中在纵轴方向，而在许多实际情况中，横纵轴的误差都需要考虑，所以这里使用了完全最小二乘法(TLS)来求解拟合直线。

考虑到b＝0的情况，定义线性方程

l∶a+r₁x+r₂y＝0|(x,y)∈IR² (1)

根据TLS方法找到这里“最佳拟合”的参数a和r₁，r₂，实际上就是找到所有点到线l的实际距离的平方和的最小值：

等式(1)也可重新定义为：

l＝{(x,y)∈IR²|a+r₁x+r₂y＝0}＝w+r^⊥,with‖r‖²＝r₁ ²+r₂ ²＝1 (3)

，同时其距离直线的距离可以表示为：

dist(z,l)＝|r^T(z-w)| (4)

其中

l＝w+r^⊥＝{z∈IR²|r^T(z-w)＝0}

最终整个问题转化为寻找向量r和w使下列方程最小化：

其中

向量w可以满足方程(1)的直线l上的任意点，r^⊥是单位长度，z是我们的数据点。这样，利用完全最小二乘法就可以最小误差拟合得到最终我们需要的直线光谱轨迹方程。图4为一根光纤直线拟合结果图，其中虚线表示的曲线为光纤追迹轨迹，实线表示的直线是使用完全最小二乘法拟合的直线。

步骤3：根据畸变规律，采取中间稀疏四周密集的策略构造数据集。选取图3光纤追迹结果图上的N个像素点，将其所在的波长位置和空间位置作为二维输入向量，而对应的输出向量则为图6校正后的光纤追迹图上的点的位置，将图6部分放大后可以明显看到原本光纤追迹后的曲线都拟合成直线，如图7所示，校正前后的光纤轨迹对比明显。虽然光纤追迹之后的点数目相比原始二维平场光谱图像已经大大减少，但是每根光谱上有4096个点，250条光谱便是4096*250＝1017250个数据点，我们不用使用全部的像素点作为训练样本，这会极大的限制神经网络的训练速度，较好的舍弃一些对训练影响不大的点会是一个不错的办法。考虑到广角镜头导致的畸变，这一步使用中间稀疏四周密集的策略进行输入样本选点。具体做法是：确认输入样本数目N，在三维空间中构造一个球面，球面上均匀分布2*N个点，截取上半部分(或下半部分)球面进行平面投影，得到投影之后二维平面上的N个选点的分布图。下面根据图5，来详细说明选取样本点的实现。

首先，我们需要在球面上生成2*N个均匀分布的点，这个看似比较常见的问题并没有很简单的公式直接生成，这里我们使用的是一种近似求解方法，当然其他能达到相同效果的方法也适用。本例使用的方法主要是基于同种等量电荷相互排斥的物理模型来实现：模拟2*N个电荷在球面上运动的过程，由于电荷之间斥力的存在，多次迭代更新电荷的坐标和各运动方向的速度，当电荷运动基本停止的时候便是达到一个相对平衡的状态，此时球面上各点的分布就会是均匀的。设每个点的状态量为(r_i,v_i)，其中i＝1,2,…,2N,r_i＝(x_i,y_i,z_i)分别表示三维坐标系中的坐标值，v_i＝(v_x,v_y,v_z)分别表示x,y,z方向的运动速度。对于每一个点p_i(i＝1,2,…,2N)随机生成一个初始状态(r_i0,v_i0)，设置最大迭代次数M和斥力常数G(G可取1e^-2，实验验证效果较好)，每一次迭代对点的位置和各方向速度进行更新，满足：

其中r_i(j+1),v_i(j+1)分别表示在第(j+1)次迭代后第i个电荷的位置和速度，i＝1,2,…,2N,j＝1,2,…,M；F^v _i表示第i个电荷所受其他电荷排斥力的切向分量。

经过M次迭代之后，电荷的运动达到一个相对平衡的状态，也就是球面上的各点几乎是均匀分布的。接着将所有满足z轴坐标大于等于0的点投影到x-y二维平面，得到中间稀疏四周密集的点分布图，这种分布规律用于对光纤追迹后的图像进行样本点的选取以构造数据集，可以用较少的数据集很好的反映二维光谱图像的畸变规律，保证训练效果的同时缩短多层神经网络的训练时间。

同样，按照训练集和测试集3：1～5：1的比例构造测试集以验证训练出的网络模型的校正效果。本实施例中训练集的大小为20000，故N＝20000，经过M＝1000次迭代后球面上的点分布较为均匀，迭代停止。

步骤4：确定多层神经网络模型参数，使用上一步构造的训练集进行训练。

多层神经网络可以很好的拟合非线性映射关系，很适合构造图像校正函数。此步骤首先需要确定网络模型，考虑到训练样本数量较大，本例中使用四层网络模型：输入层，两层隐藏层，输出层。如图8多层前馈神经网络模型所示，两层隐藏层的神经元个数分别为10和5，激活函数为relu，训练集数量为20000，测试集为4000，输入为二维向量(x,y),分别表示各选取点波长和空间方向上的值，目标输出同样也是二维向量(x’,y’)，表示校正后的取值，损失函数为均方误差函数，如表1所示。具体实现可以使用深度学习框架tensorflow来搭建网络，调节参数进行多次训练直到损失值在训练集和测试集都到达一个很小的值。

表1：神经网络参数设置

步骤5：使用训练好的神经网络参数进行原始平场二维光谱图像校正。

对原始LAMOST二维平场光谱图像中每一个像素点构造一个代表其所在位置的二维特征向量(xi,yi)，比如图像中第一列第一行的像素点的特征向量为(1,1),第一列第二行的像素为(1,2)…将所有4096*4096个二维特征向量作为训练好的神经网络模型的输入向量，得到对应的二维输出向量(xi′,yi′)，并将此输出位置所在的像素值用输入像素点的像素值代替，以实现图像校正的效果。校正前后的二维光纤光谱图像对比如图9所示。可以看到校正后的多条光纤都接近相互平行的直线，畸变现象得到较好的消除。

总之，本发明中的基于多层前馈神经网络的二维光纤光谱图像校正技术，有很多优点以及很好的应用前景。

以上所述仅为本发明的优选实施例，并不用于限制本发明，显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种基于多层前馈神经网络的二维光纤光谱图像校正技术，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于多层前馈神经网络的二维光纤光谱图像校正技术，其特征在于，步骤3)所述的选点分布图的产生方法为：

首先在球面上产生均匀分布的2*N个点，接着取上半球(或者下半球)部分投影到二维平面；

实现球面上均匀点分布的方法是基于同种等量电荷相互排斥的物理模型：设每个点的状态量为(r_i,v_i)，其中i＝1,2,…,2N,r_i＝(x_i,y_i,z_i)分别表示三维坐标系中的坐标值，v_i＝(v_x,v_y,v_z)分别表示x,y,z方向的运动速度，对于每一个点p_i(i＝1,2,…,2N)随机生成一个初始状态(r_i0,v_i0)，设置最大迭代次数M和斥力常数G，每一次迭代对点的位置和各方向速度进行更新，满足：

其中r_i(j+1),v_i(j+1)分别表示在第(j+1)次迭代后第i个电荷的位置和速度，i＝1,2,…,2N,j＝1,2,…,M；F^v _i表示第i个电荷所受其他电荷排斥力的切向分量；

经过M次迭代之后，电荷的运动达到一个相对平衡的状态，接着将所有满足z轴坐标大于等于0的点投影到x-y二维平面，得到中间稀疏四周密集的点分布图。

3.根据权利要求1所述的基于多层前馈神经网络的二维光纤光谱图像校正技术，其特征在于，步骤4)所述数据集构建过程，具体如下：

对于图像中每一像素点(x_i,y_i)，这里规定水平方向为波长方向，垂直方向为空间位置，光纤追迹图像上的每一个像素点波长和空间方向上的坐标值可以作为数据集的输入特征，而对应的输出则是曲线经过直线拟合后对应的点的两个方向上的值(x_i′,y_i′)，数据集的输入输出都为二维向量，通过设置不同的数目大小分别产生不同点分布图用于构造训练集和测试集，比例满足5:1～3:1。

4.根据权利要求2所述的基于多层前馈神经网络的二维光纤光谱图像校正技术，其特征在于，步骤6)所述使用训练好的神经网络模型对原始二维平场光谱校正的方法为：

对原始LAMOST二维平场光谱图像中每一个像素点构造一个代表其所在位置的二维特征向量(x_i,y_i)，比如图像中第一列第一行的像素点的特征向量为(1,1),第一列第二行的像素为(1,2)…将代表原始图像所有像素位置的二维特征向量作为训练好的神经网络模型的输入向量，得到对应的二维输出向量(x_i′,y_i′)，并将此输出位置所在的像素值用输入像素点的像素值代替，以实现图像校正。