CN111340081A - 一种基于光流估计的神经网络像差预测方法 - Google Patents

Abstract

本发明公开了一种基于光流估计的神经网络像差预测方法，利用的系统包括：像差校正器，图像采集模块，光流估计算法模块，卷积神经网络模块，校正器控制模块。具体方法为，像差校正器，作为执行机构对空间通信光的畸变像差进行补偿；图像采集模块负责接收校正器补偿后的光束，并将其采集为光斑图像；光流估计算法模块对当前图像与上一帧图像特征进行提取，得到图像的运动变化信息；卷积神经网络模块根据光斑图像及光流估计模块的运动信息预测出畸变光斑对应的Zernike系数；最后，控制模块将Zernike系数转化为驱动信号，控制像差校正器对像差进行校正。该方法探测简单，有效的提高大气扰动预估效率与校正系统的实时性。

Description

一种基于光流估计的神经网络像差预测方法

技术领域

本发明涉及空间光通信技术领域，具体的为一种基于光流估计的神经网络像差预测方法，主要通过光流估计算法对大气扰动产生畸变的运动信息进行提取，结合卷积神经网络实现对大气扰动的预估与对像差校正系统的控制。

背景技术

空间光通信相较于微波通信，在传输速率、通信容量、信息安全性等方面的优势尤为突出，在星地、星间等通信链路中已得到广泛应用。为进一步提高接收系统的探测灵敏度与通信容量，空间光到单模光纤的耦合是应用空间光通信技术的前提。但是，大气衰减、大气扰动、接收与发射端随机抖动等影响因素的存在，使空间光到单模光纤的耦合较为困难，其对空间光通信的终端接收产生严重影响，通信性能明显下降。为抑制大气扰动对空间光通信链路的影响，国内外学者在通讯信道、接收系统、光纤控制和畸变补偿等方面都开展的大量研究，目前主要的相关技术有：大孔径接收技术、多孔径接收技术、光纤章动技术、分集接收技术和像差校正技术等。其中的像差校正技术利用相位共轭原理或优化算法，实时改善光波像差质量，对空间光相位畸变有较好的实时补偿效果，所以相比于其它技术，像差校正系统近年来受到越来越多的研究人员的重视。

在像差校正系统给中，传统的像差探测方法需要保证每个探测子孔径中都有足够的光强进行斜率估计，并且存在一定的计算误差。在像差校正系统工作的过程中，CCD图像采集、数据传输、控制信号计算及像差校正器响应等过程都具有一定的时间延时，这将对通信系统的校正精度和系统带宽产生影响。针对以上问题的本发明提出一种基于光流估计的神经网络像差预测方法，采用改进的卷积神经网络对大气扰动产生的像差畸变进行预测，该方法无需额外的探测装置，仅需要一个图像采集装置即可实现。针对像差校正系统的各项延迟环节造成的校正误差，采用光流估计算法，对大气扰动的运动趋势进行预估，最终结合卷积神经网络完成大气扰动的预估计与畸变补偿。

发明内容

本发明要解决的技术问题为：提出一种基于光流估计的神经网络像差预测方法，采用光流估计算法对大气扰动产生畸变的运动趋势进行提取，结合卷积神经网络对空间光畸变像差进行预测，提高像差校正系统的实时性。

本发明采用的技术方案为：一种基于光流估计的神经网络像差预测方法，该方法包括如下步骤：

步骤一、像差校正器对由大气等扰动产生畸变像差进行校正；

步骤二、图像采集模块采集像差校正后的光束光斑图像；

步骤三、光流估计算法模块对当前图像与上一帧图像特征进行提取，得到图像速度变化信息并输入神经网络模块；

步骤四、卷积神经网络模块经过大量光斑数据训练后，根据成像系统采集得到的光斑图像及光流估计模块的运动信息，拟合出光斑对应的Zernike系数；

步骤五、驱动控制模块将拟合得到的Zernike系数转化为驱动信号，控制像差校正器对弱大气湍流产生的像差像差进行校正。

进一步地，图像采集模块对校正后的光束进行成像，得到校正后的光斑图像，其包括：

1)分光棱镜，对校正后的光束进行分光，其中一束进行图像采集，另一束耦合进入光纤进行信息传输；

2)图像采集器，对光斑亮度值进行捕获，并将光斑亮度值反馈到像差控制系统。

进一步地，光流估计算法，其特征在于：光流估计研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”。

1)光流估计基本模型，在每一像素(x,y)处，I表示像素的强度，t表示时间，Δx与Δy分别为像素在x、y方向的移动距离，有：

一步化简公式得到：

I_xΔx+I_yΔy＝-I_t (2)

其中，I_x、I_y、I_t分别为像素强度对x、y、t的偏微分。光流估计即需要对像素点的二维方向运动量(u,v)进行计算即：

(u,v)＝(Δx,Δy) (3)

2)对于基于领域的Lucas-Kanade(L-K)光流估计方法。假设在一个小方格里的所有像素位移相同，得到一组光流估计方程。用矩阵表示如下：

Αu＝b (4)

其中，A为像素点强度，u为两帧图像对应像素位移，b为像素强度变化值。将上述问题转化为最优化问题，实现光流的初步预估。

3)最后采用图像金字塔方法，首先获取两帧原始图像I_t和I_(t+1)，先对最顶层图像运行L-K方法，得到一个初始的位移估计值，然后进行对准和上采样，将分辨率提高1倍，此时对得到的较大的图像再运行L-K方法。重复上述步骤直至到达原始的分辨率图像，最后将相邻帧及特征点交换，并将特征值输入卷积神经网络控制模块。

进一步地，卷积神经网络模块用于实现：

1)建立初始卷积神经网络结构：其中包括：三层以上卷积层、三层以上池化层及两层以上全连接层；

2)样本数据采集：获取足够的训练光斑图像及各个样本光斑图像对应的Zernike系数；

3)训练卷积神经网络：将采集到的样本光斑图像和其对应的Zernike系数输入到卷积神经网络，对初始的卷积神经网络进行训练，最终得到液晶像差校正方法的无像差探测卷积神经网络。

进一步地，Zernike系数矩阵生成灰度信息，包括：

1)校正器控制信号的计算为Zernike矩阵与Zernike系数向量进行矩阵向列乘法；

2)Zernike矩阵由Zernike多项式组成，其表达式如下：

式中，0≤r≤1，0≤θ≤2π，n为非负整数，m步长为2且取值介于-n到n之间，

为多项式的径向函数；

表示如下：

3)根据卷积神经网络预测得到Zernike系数，将Zernike矩阵与Zernike系数向量进行矩阵向量乘法，最终得到校正器的控制信号。

本发明与现有系统相比具有如下优点：

(1)同传统像差探测校正系统相比，该发明采用卷积神经网络对像差畸变进行预测拟合。该方法不需要使用像差探测器件，避免了使用哈特曼等像差探测器产生的能量损失，提高通信误码率。

(2)同现有的无像差探测算法相比，该发明采用光流估计算法对大气扰动的运动特征进行提取，结合卷积神经网络对大气扰动产生的畸变进行预估控制，提高通信系统的校正精度与实时性。

(3)该发明结构简单，易于实现。

附图说明

图1是本发明的基于光流估计的卷积神经网络原理图；

图2是本发明的光流估计的卷积神经网络流程图；

图3是本发明的基于图像金字塔的光流估计算法的示意图；

图4是本发明的卷积神经网络的训练流程图。

具体实施方式

以下结合附图对本发明的具体实施方式做详细说明。

如图1所示，基于光流估计的神经网络像差预测方法，利用的系统包括：像差校正器，图像采集模块，光流估计算法模块，卷积神经网络模块，校正器控制模块。具体方法为，像差校正器，作为执行机构对通信光的畸变像差进行补偿；图像采集模块负责接收校正器补偿后的光束，并将其采集为光斑图像；光流估计算法模块对当前图像与上一帧图像特征进行提取，得到图像的运动变化信息并输入神经网络中；经过大量光斑数据训练后，卷积神经网络模块根据成像系统采集得到的光斑图像及光流估计模块的运动信息，拟合出畸变光斑对应的Zernike系数；最后，控制模块将拟合得到的Zernike系数转化为驱动信号，控制像差校正器对像差进行校正。

一种基于光流估计的神经网络像差预测方法，该方法具体包括如下步骤：

步骤一、像差校正器对由大气等扰动产生畸变像差进行校正；

步骤二、图像采集模块采集像差校正后的光束光斑图像；

步骤三、光流估计算法模块对当前图像与上一帧图像特征进行提取，得到图像速度变化信息并输入神经网络模块；

步骤四、卷积神经网络模块经过大量光斑数据训练后，根据成像系统采集得到的光斑图像及光流估计模块的运动信息，拟合出光斑对应的Zernike系数；

步骤五、驱动控制模块将拟合得到的Zernike系数转化为驱动信号，控制像差校正器对弱大气湍流产生的像差像差进行校正。

其中，图像采集模块对校正后的光束进行成像，得到校正后的光斑图像，其包括：

1)分光棱镜，对校正后的光束进行分光，其中一束进行图像采集，另一束耦合进入光纤进行信息传输；

2)图像采集器，对光斑亮度值进行捕获，并将光斑亮度值反馈到像差控制系统。

其中，光流估计算法，其特征在于：光流估计研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”。

1)光流估计基本模型，在每一像素(x,y)处，I表示像素的强度，t表示时间，有：

I_xΔx+I_yΔy＝-I_t

进一步化简公式得到：

I_xΔx+I_yΔy＝-I_t (2)

光流估计即需要对像素点的二维方向运动量进行计算，即：

(u,v)＝(Δx,Δy) (3)

2)对于基于领域的Lucas-Kanade(L-K)光流估计方法。假设在一个小方格里的所有像素位移相同，得到一组光流估计方程。用矩阵表示如下：

Αu＝b (4)

其中，A为像素点强度，u为两帧图像对应像素位移，b为像素强度变化值。将上述问题转化为最优化问题，实现光流的初步预估。

3)最后采用图像金字塔方法，首先获取两帧原始图像I_t和I_(t+1)，先对最顶层图像运行L-K方法，得到一个初始的位移估计值，然后进行对准和上采样，将分辨率提高1倍，此时对得到的较大的图像再运行L-K方法。重复上述步骤直至到达原始的分辨率图像，最后将相邻帧及特征点交换，并将特征值输入卷积神经网络控制模块。

其中，卷积神经网络模块用于实现：

1)建立初始卷积神经网络结构：其中包括：三层以上卷积层、三层以上池化层及两层以上全连接层；

2)样本数据采集：获取足够的训练光斑图像及各个样本光斑图像对应的Zernike系数；

3)训练卷积神经网络：将采集到的样本光斑图像和其对应的Zernike系数输入到卷积神经网络，对初始的卷积神经网络进行训练，最终得到液晶像差校正方法的无像差探测卷积神经网络。

其中，Zernike系数矩阵生成灰度信息，包括：

1)校正器控制信号的计算为Zernike矩阵与Zernike系数向量进行矩阵向列乘法；

2)Zernike矩阵由Zernike多项式组成，其表达式如下：

式中，0≤r≤1，0≤θ≤2π，n为非负整数，m步长为2且取值介于-n到n之间，

为多项式的径向函数；

3)根据卷积神经网络预测得到Zernike系数，将Zernike矩阵与Zernike系数向量进行矩阵向量乘法，最终得到校正器的控制信号。

如图2所示，光流估计的卷积神经网络具体流程为：入射光束经过弱大气湍流畸变后进入接收系统，校正器进行初步校正。校正后的光束经过分光棱镜后大部分进入光纤系统进行耦合，另一部分进行进入图像采集系统(CCD)生成光斑图像，输入到光流估计算法模块对当前图像与上一帧图像特征进行提取，得到图像的运动变化信息并输入神经网络中卷积神经网络中进行预测。经过系统的训练后的卷积神经网络根据输入光斑图像实时产生Zernike系数，经过计算转换成控制信号。校正器根据反馈的残差校正灰度值进行残差校正，图像采集模块继续对校正后的图像进行采集，经过多次循环最终达到最佳校正效果。

如图3所示，基于图像金字塔的光流估计算法计算流程为：采用图像金字塔方法首先有两帧原始图像，先对最顶层图像运行领域计算方法，得到一个初始的位移估计值，然后进行对准和上采样，将分辨率提高1倍，此时对得到的较大的图像再运行领域计算方法。重复上述步骤直至到达原始的分辨率图像。

如图4所示，卷积神经网络的训练流程为：网络训练阶段，将大量经过弱大气扰动产生畸变的图像和扰动运动信息输入到卷积神经网络中，建立起畸变图像与Zernike系数的匹配模型。应用阶段，将实际系统采集到的畸变图像及畸变运动信息输入到训练好的卷积神经网络中，生成对应校正器的控制信号，实现对畸变信号的实时校正。

Claims (5)

1.一种基于光流估计的神经网络像差预测方法，其特征在于：该方法包括如下步骤：

步骤一、像差校正器对由大气等扰动产生畸变像差进行校正；

步骤二、图像采集模块采集像差校正后的光束光斑图像；

步骤三、光流估计算法模块对当前图像与上一帧图像特征进行提取，得到图像速度变化信息并输入神经网络模块；

步骤四、卷积神经网络模块经过大量光斑数据训练后，根据成像系统采集得到的光斑图像及光流估计模块的运动信息，拟合出光斑对应的Zernike系数；

步骤五、驱动控制模块将拟合得到的Zernike系数转化为驱动信号，控制像差校正器对弱大气湍流产生的像差像差进行校正。

2.根据权利要求1所述的一种基于光流估计的神经网络像差预测方法，其特征在于：图像采集模块对校正后的光束进行成像，得到校正后的光斑图像，其包括：

1)分光棱镜，对校正后的光束进行分光，其中一束进行图像采集，另一束耦合进入光纤进行信息传输；

2)图像采集器，对光斑亮度值进行捕获，并将光斑亮度值反馈到像差控制系统。

3.根据权利要求1所述的一种基于光流估计的神经网络像差预测方法，其特征在于：光流估计研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”，

1)光流估计基本模型，在每一像素(x,y)处，I表示像素的强度，t表示时间，Δx与Δy分别为像素在x、y方向的移动距离，有：

进一步化简公式得到：

I_xΔx+I_yΔy＝-I_t (2)

其中，I_x、I_y、I_t分别为像素强度对x、y、t的偏微分；

光流估计即需要对像素点的二维方向运动量(u,v)进行计算，即：

(u,v)＝(Δx,Δy) (3)

2)对于基于领域的Lucas-Kanade(L-K)光流估计方法，假设在一个小方格里的所有像素位移相同，得到一组光流估计方程，用矩阵表示如下：

Αu＝b (4)

其中，A为像素点强度，u为两帧图像对应像素位移，b为像素强度变化值，将上述问题转化为最优化问题，实现光流的初步预估；

3)最后采用图像金字塔方法，首先获取两帧原始图像I_t和I_(t+1)，先对最顶层图像运行L-K方法，得到一个初始的位移估计值，然后进行对准和上采样，将分辨率提高1倍，此时对得到的较大的图像再运行L-K方法，重复上述步骤直至到达原始的分辨率图像，最后将相邻帧及特征点交换，并将特征值输入卷积神经网络控制模块。

4.根据权利要求1所述的一种基于光流估计的神经网络像差预测方法，其特征在于：卷积神经网络模块用于实现：

1)建立初始卷积神经网络结构：其中包括：三层以上卷积层、三层以上池化层及两层以上全连接层；

2)样本数据采集：获取足够的训练光斑图像及各个样本光斑图像对应的Zernike系数；

3)训练卷积神经网络：将采集到的样本光斑图像、其对应的Zernike系数和扰动信号的运动信息输入到卷积神经网络，对初始的卷积神经网络进行训练。

5.根据权利要求1所述的一种基于光流估计的神经网络像差预测方法，其特征在于：根据Zernike系数矩阵生成控制信号，包括：

1)校正器控制信号的计算为Zernike矩阵与Zernike系数向量进行矩阵向列乘法；

2)Zernike矩阵由Zernike多项式组成，其表达式如下：

式中，0≤r≤1，0≤θ≤2π，n为非负整数，m步长为2且取值介于-n到n之间，

为多项式的径向函数；

表示如下：

3)根据卷积神经网络预测得到Zernike系数，将Zernike矩阵与Zernike系数向量进行矩阵向量乘法，最终得到校正器的控制信号。

Images