CN116841204A - 一种基于深度学习的自适应光学系统自主控制方法 - Google Patents
一种基于深度学习的自适应光学系统自主控制方法 Download PDFInfo
- Publication number
- CN116841204A CN116841204A CN202310865660.5A CN202310865660A CN116841204A CN 116841204 A CN116841204 A CN 116841204A CN 202310865660 A CN202310865660 A CN 202310865660A CN 116841204 A CN116841204 A CN 116841204A
- Authority
- CN
- China
- Prior art keywords
- wavefront
- loop
- open
- control
- self
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013135 deep learning Methods 0.000 title claims abstract description 15
- 230000003044 adaptive effect Effects 0.000 claims abstract description 64
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 8
- 238000011176 pooling Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 210000002569 neuron Anatomy 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 230000005284 excitation Effects 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 4
- 230000004075 alteration Effects 0.000 claims description 3
- 239000000919 ceramic Substances 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000012800 visualization Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 claims 8
- 238000005516 engineering process Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
- G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Mechanical Light Control Or Optical Switches (AREA)
Abstract
本发明公开了一种基于深度学习的自适应光学系统自主控制方法，首先利用夏克‑哈特曼波前探测器采集其子孔径图像数据集，并依据该图像对自适应光学系统开闭环的影响，划分为开环数据集和闭环数据集，通过数据集离线训练合理的开闭环判断模型，然后将判断模型嵌入自适应光学系统的控制系统中；并将自适应光学系统中实时采集的子孔径图像，送入控制系统的开闭环判断模块；完成对当前状态的判定后，向波前控制器发送开环或闭环指令，波前控制器会根据开闭环指令向波前校正器发送控制信号，实现自适应光学自主控制系统的自主控制；该发明利用神经网络在图像识别上的优秀能力，提升了系统开闭环控制的准确性，保证了关键器件的安全性。
Description
技术领域
本发明属于自适应光学领域，具体的是一种自适应光学系统的控制方法，主要是涉及一种使用深度学习进行自适应光学系统自主控制的技术。
背景技术
大多数地基天文望远镜、部分空间相机和机载光学成像平台都会配置自适应光学系统，以提高观测目标的成像质量。自适应光学技术的应用使得光学系统首次具有了能够自动适应外界变化的能力，正因如此，自适应光学技术还被广泛应用于激光加工、激光传输、激光器光束质量改善、激光驱动核聚变、激光通信、生物医学等诸多领域。
自适应光学系统是一个闭环系统，系统中波前校正器的控制信号来源于波前传感器的波前残差探测结果。常用AO系统的波前校正器大多是连续镜面分离驱动的变形镜，当波前探测失效，为了拟合波前传感器给出的错误波前，驱动器对镜面的驱动可能超出镜面能承受的应力范围，此时如果闭环不再收敛，驱动器甚至可能对镜面进行反复拉扯，这种较长时间对镜面进行的剧烈拉扯很容易导致变形镜镜面和镜头的损坏，造成自适应光学系统的严重损失，是应该极力避免的。
当前的自适应光学系统一般由具有一定学科知识和经验的专业人员进行操控，人工控制其开闭环状态，该方法在大型地基天文望远镜的自适应光学系统中较为常见。但在以太空望远镜为例的空基自适应光学系统中，由于星地之间存在一定的信号延迟，位于地面控制中心的工程师们无法做到对自适应光学系统开闭环的准确控制，从而影响系统的观测状态，甚至由于无法在必要的时候转换为开环状态，从而损坏自适应系统的硬件，同时由于空天资源的稀缺，人们希望空间自适应系统能常态化运行，从而实现更长时间的观察。
目前对自适应光学自主控制技术的研究较少，中国科学院光电技术研究所的陈忠凤在2017年提出了一种基于HS光斑有效性检测的AO系统自动闭环方法(参见基于陈忠凤.基于HS光斑有效性检测的AO系统自动闭环判断研究[D].中国科学院大学(中国科学院光电技术研究所)，2017.)，中国科学院光电技术研究所的李自强在2021年提出了一种基于波前校正器控制电压逻辑回归的AO系统自动开闭环方法(参照基于李自强.基于深度学习的自适应光学波前传感技术[D].中国科学院大学(中国科学院光电技术研究所)，2021.)，相关研究有较强的工程独立性，无法做到大规模普及，因此，本发明提出了一种基于深度学习的自适应光学自主控制技术方法。
发明内容
本发明要解决的技术问题是：当前的自适应光学系统，为保证波前校正器等关键部件不被损坏，通常需要工程师依据经验手动控制开闭环。但在以太空望远镜为例的空基自适应光学系统中，由于星地之间存在一定的信号延迟，位于地面控制中心的工程师无法做到对自适应光学系统开闭环的准确控制，从而影响系统的观测状态，甚至对硬件造成损坏。本发明提供一种基于深度学习的自适应光学自主控制技术，其核心是通过CNN神经网络框架建立夏克-哈特曼波前探测器子孔径图像的判别模型，依据模型自动进行自适应光学系统的开闭环条件判定，以解决上述问题。
本发明采用的技术方案是：一种基于深度学习的自适应光学自主控制方法，其步骤如下：
步骤(1)：通过夏克-哈特曼波前传感器采集到图像信息，并发送给计算机平台，图像信息为夏克-哈特曼波前传感器子孔径图像，计算机平台包括图像采集单元、斜率计算单元、波前复原单元、控制运算单元和缓存单元，通信协议为camera link协议和PCIE协议；
步骤(2)：通过计算机平台上收集夏克-哈特曼波前传感器子孔径图像数据集；
步骤(3)：通过夏克-哈特曼波前传感器子孔径图像的光斑形态、光强等因素，对获取的数据集进行划分，数据集分为训练集和测试集，分别数据集总数的85％和15％；
步骤(4)：创建CNN神经网络框架，基于pytorch-gpu版本、Python3.7版本和英伟达3080显卡进行自适应光学开闭环控制模型的训练，使用pycharm软件进行源代码编写；
步骤(5)：通过测试集的测试后，再次采集新的子孔径图像数据，用于检查验证模型的准确性；
步骤(6)：将达到标准的自适应光学开闭环控制模型嵌入计算机的控制运算单元，并将其设置为自适应光学系统开闭环判断单元；
步骤(7)：成像目标的光源信息经过大气湍流后，由望远镜模块引入自适应光学系统模块；
步骤(8)：通过夏克-哈特曼波前探测器实时生成对应的子孔径图像，并将该图像发送到计算机的自适应光学系统开闭环判断单元；
步骤(9)：通过自适应光学系统开闭环判断单元对子孔径图像进行判定；当判定系统可以闭环时，输出闭环控制信号，子孔径图像将输入斜率计算单元，通过斜率计算得到的波前平均斜率，并传入波前复原单元得到复原矩阵，通过控制运算单元对复原矩阵进行处理，得到控制电压信号；当判定系统应当开环时，系统只开启图像采集单元，其他单元不进行调用；
步骤(10)：由控制运算单元输出的控制信号，通过数字模拟信号转化通信卡(D/A转换)输出到高压放大器中，随后加载到波前校正器上，完成自适应光学系统的闭环校正。
进一步地，所述步骤(1)中夏克-哈特曼波前传感器为CCD相机或者CMOS相机，均支持camera link协议；
所述步骤(1)中图像采集单元、斜率计算单元、波前复原单元、控制运算单元和缓存单元均集成在自适应光学系统可视化控制软件中，该软件基于Linux操作系统，利用Qt嵌入式开发软件进行源代码编写；
所述步骤(2)和步骤(5)中图像数据集收集于自适应光学系统可视化控制软件，可在计算机中显示当前夏克-哈特曼波前探测器子孔径图像；
所述步骤(6)中自适应光学系统开闭环判断单元是基于Linux操作系统，利用Qt嵌入式开发软件进行源代码编写；
所述步骤(7)中望远镜模块可以是反射式或透射式，其中反射式望远镜模块可以是同轴或离轴结构；
所述步骤(7)中所述的自适应光学系统模块包括波前探测器、波前校正器和波前控制器；波前探测器用来探测信标光束的波前相位，波前校正器置于主光路中用来生成共轭的湍流畸变相位对信号光束进行处理，波前控制器置于计算机平台中用于对波前校正器输出控制信号；
所述步骤(7)中所述的自适应光学系统模块，包括波前探测器，波前校正器和波前控制器，所述的波前探测器为采用微透阵列的夏克-哈特曼波前传感器；所述的波前校正器可以为压电陶瓷变形镜、音圈电机变形镜、MEMS变形镜或者空间光调制器；
所述步骤(7)中所述的自适应光学系统模块，还包括倾斜校正器，放置于自适应光学系统模块的主光路中，对倾斜误差进行校正。
进一步地，所述步骤(4)中CNN神经网络框架构架为：CNN的基本结构由输入层、卷积层(convolution layer)、池化层(pooling layer，也称为取样层)、全连接层及输出层构成。卷积层和池化层一般会取若干个，采用卷积层和池化层交替设置，即一个卷积层连接一个池化层，池化层后再连接一个卷积层，依此类推；由于卷积层中输出特征面的每个神经元与其输入进行局部连接，并通过对应的连接权值与局部输入进行加权求和再加上偏置值，得到该神经元输入值，该过程等同于卷积过程，根据公式：
可以得到每一个卷积层的每一个特征面的大小；
其中：oMapN为CNN中每一个卷积层的每个输出特征面的大小，oMap为每个卷积层输出特征面的个数；iMap为输入特征面个数，1表示偏置，在同一个输出特征面中偏置也共享；
根据公式：
CParams＝(iMap×CWindow+1)×oMap
可以得到每个卷积层可训练参数数目；
其中：CParams为每个卷积层可训练参数数目，oMap为每个卷积层输出特征面的个数；iMap为输入特征面个数。1表示偏置，在同一个输出特征面中偏置也共享；
根据公式：
ReLU(x)＝max(0，x)
为CNN结构中卷积层常采用的激励函数；
根据公式：
可以得到CNN中每个池化层的每一个输出特征面的大小；
其中，DoMapN为CNN中每个池化层的每一个输出特征面的大小，DWindow为池化核大小，oMapN为CNN中每一个卷积层的每个输出特征面的大小。
进一步地，所述步骤(9)中的波前复原方法为国内最常采用的直接斜率法，不需要知道波前相位的具体值，只需要得到波前校正器各个驱动器需要的控制电压。其公式为：
G＝RxyV
其中，Rxy为变形镜到哈特曼传感器的斜率响应矩阵，可随时由传感器测量得到，G是需要校正的波前像差斜率测量值。
进一步地，所述步骤(9)中的控制运算把复原出的残余电压经过控制算法，得到驱动器控制电压，通常采用PID控制算法，采用的比例-积分传函控制器公式为：
其中，C(S)为控制器的拉普拉斯变换，Kc是控制系数。
本发明与现有技术相比有如下优点：
(1)代替人工对自适应光学系统开闭环状态进行控制，提升了系统开闭环控制的准确性，保证了关键器件的安全性；
(2)完成了自适应光学系统的运行常态化，增加了系统的有效运行时间，在空间自适应光学领域有较大运用价值，能有效利用空天资源；
(3)自适应光学开闭环判断单元可直接和传统自适应光学系统的波前控制器进行软件编写上的耦合，不需要增添其他的硬件设备，在大多数自适应光学系统上均较易实现。
附图说明
图1为本发明的自适应光学自主控制系统示意图，其中，1为望远镜模块，2为自适应光学系统处理模块，3为计算机模块，201为倾斜镜校正器，202为变形镜校正器，203为第一透镜，204为第一反射镜，205为第二透镜，206为第二反射镜，207为波前探测器；
图2为本发明的CNN神经网络框架示意图；
图3为本发明的开闭环判断单元的判断实例图。
具体实施方式
为使本发明的技术方案和优点更加清楚明白，以下结合具体实施例，参照附图对本发明进一步详细说明。所描述的实施例仅为本发明的一部分实施例，而非全部实施例。
本发明一种基于深度学习的自适应光学系统自主控制方法，包括：
步骤(1)：通过夏克-哈特曼波前传感器采集到图像信息，并发送给计算机平台，图像信息为夏克-哈特曼波前传感器子孔径图像，计算机平台包括图像采集单元、斜率计算单元、波前复原单元、控制运算单元和缓存单元，通信协议为camera link协议和PCIE协议；
所述步骤(1)中夏克-哈特曼波前传感器为CCD相机或者CMOS相机，均支持cameralink协议；
所述步骤(1)中图像采集单元、斜率计算单元、波前复原单元、控制运算单元和缓存单元均集成在自适应光学系统可视化控制软件中，该软件基于Linux操作系统，利用Qt嵌入式开发软件进行源代码编写；
步骤(2)：通过计算机平台上收集夏克-哈特曼波前传感器子孔径图像数据集；
步骤(3)：通过夏克-哈特曼波前传感器子孔径图像的光斑形态、光强因素，对获取的数据集进行划分，数据集分为训练集和测试集，分别数据集总数的85％和15％；
步骤(4)：创建CNN神经网络框架，基于pytorch-gpu版本、Python3.7版本和英伟达3080显卡进行自适应光学开闭环控制模型的训练，使用pycharm软件进行源代码编写；
所述步骤(4)中CNN神经网络框架构架为：CNN的基本结构由输入层、卷积层(convolution layer)、池化层(pooling layer，也称为取样层)、全连接层及输出层构成。卷积层和池化层一般会取若干个，采用卷积层和池化层交替设置，即一个卷积层连接一个池化层，池化层后再连接一个卷积层，依此类推；由于卷积层中输出特征面的每个神经元与其输入进行局部连接，并通过对应的连接权值与局部输入进行加权求和再加上偏置值，得到该神经元输入值，该过程等同于卷积过程，根据公式：
可以得到每一个卷积层的每一个特征面的大小；
其中：oMapN为CNN中每一个卷积层的每个输出特征面的大小，oMap为每个卷积层输出特征面的个数；iMap为输入特征面个数，1表示偏置，在同一个输出特征面中偏置也共享；
根据公式：
CParams＝(iMap×CWindow+1)×oMap
可以得到每个卷积层可训练参数数目；
其中：CParams为每个卷积层可训练参数数目，oMap为每个卷积层输出特征面的个数；iMap为输入特征面个数。1表示偏置，在同一个输出特征面中偏置也共享；
根据公式：
ReLU(x)＝max(0，x)
为CNN结构中卷积层常采用的激励函数；
根据公式：
可以得到CNN中每个池化层的每一个输出特征面的大小；
其中，DoMapN为CNN中每个池化层的每一个输出特征面的大小，DWindow为池化核大小，oMapN为CNN中每一个卷积层的每个输出特征面的大小。
如图2所示，先经过Convolution卷积层，kernel_size为内核大小，kernel_size＝11，并经过ReLU(Rectified Linear Unit)为激励函数层，接着经过MAX-Pool最大池化层，池化层内核大小为3，此时完成第一次特征提取；接着再依次通过内核大小为5的Convolution卷积层、ReLU激励函数层、内核大小为3的MAX-Pool最大池化层完成第二次特征提取；再依次通过内核大小为3的Convolution卷积层、ReLU激励函数层、内核大小为3的MAX-Pool最大池化层完成第三次特征提取；最后经过Flatten函数将多维数组转化为一维数组，Linear函数进行线性变化，Dropout函数减少数据量，ReLU激励函数等步骤完成结果的输出。
步骤(5)：通过测试集的测试后，再次采集新的子孔径图像数据，用于检查验证模型的准确性；
所述步骤(2)和步骤(5)中图像数据集收集于自适应光学系统可视化控制软件，可在计算机中显示当前夏克-哈特曼波前探测器子孔径图像；
步骤(6)：将达到标准的自适应光学开闭环控制模型嵌入计算机的控制运算单元，并将其设置为自适应光学系统开闭环判断单元；
所述步骤(6)中自适应光学系统开闭环判断单元是基于Linux操作系统，利用Qt嵌入式开发软件进行源代码编写；
步骤(7)：成像目标的光源信息经过大气湍流后，由望远镜模块引入自适应光学系统模块；
所述步骤(7)中望远镜模块可以是反射式或透射式，其中反射式望远镜模块可以是同轴或离轴结构；
所述步骤(7)中所述的自适应光学系统模块包括波前探测器、波前校正器和波前控制器；波前探测器用来探测信标光束的波前相位，波前校正器置于主光路中用来生成共轭的湍流畸变相位对信号光束进行处理，波前控制器置于计算机平台中用于对波前校正器输出控制信号；
所述步骤(7)中所述的自适应光学系统模块，包括波前探测器，波前校正器和波前控制器，所述的波前探测器为采用微透阵列的夏克-哈特曼波前传感器；所述的波前校正器可以为压电陶瓷变形镜、音圈电机变形镜、MEMS变形镜或者空间光调制器；
所述步骤(7)中所述的自适应光学系统模块，还包括倾斜校正器，放置于自适应光学系统模块的主光路中，对倾斜误差进行校正；
步骤(8)：通过夏克-哈特曼波前探测器实时生成对应的子孔径图像，并将该图像发送到计算机的自适应光学系统开闭环判断单元；
步骤(9)：通过自适应光学系统开闭环判断单元对子孔径图像进行判定；当判定系统可以闭环时，输出闭环控制信号，子孔径图像将输入斜率计算单元，通过斜率计算得到的波前平均斜率，并传入波前复原单元得到复原矩阵，通过控制运算单元对复原矩阵进行处理，得到控制电压信号；当判定系统应当开环时，系统只开启图像采集单元，其他单元不进行调用；
所述步骤(9)中的波前复原方法为国内最常采用的直接斜率法，不需要知道波前相位的具体值，只需要得到波前校正器各个驱动器需要的控制电压。其公式为：
G＝RxyV
其中，Rxy为变形镜到哈特曼传感器的斜率响应矩阵，可随时由传感器测量得到，G是需要校正的波前像差斜率测量值；
所述步骤(9)中的控制运算把复原出的残余电压经过控制算法，得到驱动器控制电压，通常采用PID控制算法。采用的比例-积分传函控制器公式为：
其中，C(S)为控制器的拉普拉斯变换，Kc是控制系数；
步骤(10)：由控制运算单元输出的控制信号，通过数字模拟信号转化通信卡(D/A转换)输出到高压放大器中，随后加载到波前校正器上，完成自适应光学系统的闭环校正。
实施例：
参照图1，该图为本发明实施例所提供的一种基于深度学习的自适应光学系统自主控制方法的示意图。包括望远镜模块1，自适应光学系统处理模块2，计算机模块3。
由于自适应光学系统需要在合适条件下才能进入闭环模式，因此需要工程师对自适应系统手动进行开闭环操作，若当前状态不满足闭环条件，但未及时将系统调至开环模式，则有可能损坏系统的重要部件。在本发明中，在波前控制器中耦合开闭环判定单元，实现自适应光学系统自主控制，来克服该问题。
计算机模块3包括图像采集单元、开闭环判断单元、控制运算单元、斜率计算单元、波前复原单元、数字模拟信号转化通信卡(D/A转换)、高压放大器；成像目标发出的光，在主光路中传播，经过望远镜模块1，进入自适应光学系统处理模块2的波前探测器207，波前探测器输出其子孔径图片信息至计算机模块3的图像采集单元，图像采集单元将子孔径图片发送到开闭环判断单元。通过自适应光学系统开闭环判断单元对子孔径图像进行判定；当判定系统可以闭环时，输出闭环控制信号，子孔径图像还输入斜率计算单元，通过斜率计算得到的波前平均斜率，并传入波前复原单元和控制运算单元进行处理；当判定系统应当开环时，系统只开启图像采集单元，其他单元不进行调用。通过计算机平台处理后的信号，通过数字模拟信号转化通信卡(D/A转换)输出到高压放大器中；高压放大器将电压信号传递至自适应光学处理模块2中的倾斜镜校正器201和变形镜校正器202，最终完成自适应光学自主控制系统的实现。
自适应光学系统处理模块2包括波前探测器207、变形镜校正器202、倾斜镜校正器201、第一透镜203、第二透镜205、第一反射镜204和第二反射镜206。波前探测器207用来获取经大气传输后的成像目标光波前相位变化，实时控制变形镜校正器202生成共轭的波前相位。当成像目标光经过主光路中的变形镜校正器202时，则可实现对信号光的补偿。倾斜镜校正器201置于主光路中用来实现对低阶的倾斜误差的补偿。第一透镜203、第二透镜205与第一反射镜204构成了一个缩束/扩束系统，实现信标光的缩束、信号光的扩束，满足系统的工作口径需求。在本实施例中，所用到的波前传感器207是12×12子口径微透镜的哈特曼波前传感器，变形镜校正器202采用的是137单元的压电陶瓷变形镜，其最高矫正频率为1700Hz，波前相位的解析算法可采用模式法、直接斜法等经典自适应光学算法，波前校正器的控制算法可采用随机并行梯度下降算法。
计算机模块3中的自适应光学开闭环判断模块的核心是基于CNN神经网络训练的夏克-哈特曼波前探测器子孔径图像判断模型，本实施例的CNN神经网络框架参照图2，该模型可以根据由图像采集单元传入的图像信息判断当前自适应光学系统能否进入闭环状态，如图3所示，展示了部分该模型判断的夏克-哈特曼波前探测器子孔径图像，图3中前三张图片(第一行)表示开闭环判断模块认定当前状态下系统应进入开环模式，图3中后三张图片(第二行)表示开闭环判断模块认定当前状态下系统应进入闭环模式，且自适应光学自主控制系统均按照要求进入对应模式，说明采用本发明提供的基于深度学习的自适应光学自主控制方法能有效控制自适应光学系统自主控制开闭环模式，完成自适应光学自主控制系统的实现。
以上实施例与装置示意图仅用来描述本发明的目的，以及为本发明具体使用提供参考，并非限制本发明的范围。本发明的具体范围由所附权利要求限定。凡在本发明的精神和原则之内的修改和变更也应当落入本发明的权利要求保护范围内。
Claims (5)
1.一种基于深度学习的自适应光学系统自主控制方法，其特征在于，包括：
步骤(1)：通过夏克-哈特曼波前传感器采集到图像信息，并发送给计算机平台，图像信息为夏克-哈特曼波前传感器子孔径图像，计算机平台包括图像采集单元、斜率计算单元、波前复原单元、控制运算单元和缓存单元，通信协议为cameralink协议和PCIE协议；
步骤(2)：通过计算机平台上收集夏克-哈特曼波前传感器子孔径图像数据集；
步骤(3)：通过夏克-哈特曼波前传感器子孔径图像的光斑形态、光强因素，对获取的数据集进行划分，数据集分为训练集和测试集，分别数据集总数的85％和15％；
步骤(4)：创建CNN神经网络框架，基于pytorch-gpu版本、Python3.7版本和英伟达3080显卡进行自适应光学开闭环控制模型的训练，使用pycharm软件进行源代码编写；
步骤(5)：通过测试集的测试后，再次采集新的子孔径图像数据，用于检查验证模型的准确性；
步骤(6)：将达到标准的自适应光学开闭环控制模型嵌入计算机的控制运算单元，并将其设置为自适应光学系统开闭环判断单元；
步骤(7)：成像目标的光源信息经过大气湍流后，由望远镜模块引入自适应光学系统模块；
步骤(8)：通过夏克-哈特曼波前探测器实时生成对应的子孔径图像，并将该图像发送到计算机的自适应光学系统开闭环判断单元；
步骤(9)：通过自适应光学系统开闭环判断单元对子孔径图像进行判定；当判定系统可以闭环时，输出闭环控制信号，子孔径图像将输入斜率计算单元，通过斜率计算得到的波前平均斜率，并传入波前复原单元得到复原矩阵，通过控制运算单元对复原矩阵进行处理，得到控制电压信号；当判定系统应当开环时，系统只开启图像采集单元，其他单元不进行调用；
步骤(10)：由控制运算单元输出的控制信号，通过数字模拟信号转化通信卡输出到高压放大器中，随后加载到波前校正器上，完成自适应光学系统的闭环校正。
2.根据权利要求1所述的基于深度学习的自适应光学系统自主控制方法，其特征在于：所述步骤(1)中夏克-哈特曼波前传感器为CCD相机或者CMOS相机，均支持camera link协议；
所述步骤(1)中图像采集单元、斜率计算单元、波前复原单元、控制运算单元和缓存单元均集成在自适应光学系统可视化控制软件中，该软件基于Linux操作系统，利用Qt嵌入式开发软件进行源代码编写；
所述步骤(2)和步骤(5)中图像数据集收集于自适应光学系统可视化控制软件，可在计算机中显示当前夏克-哈特曼波前探测器子孔径图像；
所述步骤(6)中自适应光学系统开闭环判断单元是基于Linux操作系统，利用Qt嵌入式开发软件进行源代码编写；
所述步骤(7)中望远镜模块可以是反射式或透射式，其中反射式望远镜模块可以是同轴或离轴结构；
所述步骤(7)中所述的自适应光学系统模块包括波前探测器、波前校正器和波前控制器；波前探测器用来探测信标光束的波前相位，波前校正器置于主光路中用来生成共轭的湍流畸变相位对信号光束进行处理，波前控制器置于计算机平台中用于对波前校正器输出控制信号；
所述步骤(7)中所述的自适应光学系统模块，包括波前探测器，波前校正器和波前控制器，所述的波前探测器为采用微透阵列的夏克-哈特曼波前传感器；所述的波前校正器可以为压电陶瓷变形镜、音圈电机变形镜、MEMS变形镜或者空间光调制器；
所述步骤(7)中所述的自适应光学系统模块，还包括倾斜校正器，放置于自适应光学系统模块的主光路中，对倾斜误差进行校正。
3.根据权利要求1的基于深度学习的自适应光学系统自主控制方法，其特征在于：所述步骤(4)中CNN神经网络框架构架为：CNN的基本结构由输入层、卷积层(convolutionlayer)、池化层(pooling layer，也称为取样层)、全连接层及输出层构成；卷积层和池化层一般会取若干个，采用卷积层和池化层交替设置，即一个卷积层连接一个池化层，池化层后再连接一个卷积层，依此类推；由于卷积层中输出特征面的每个神经元与其输入进行局部连接，并通过对应的连接权值与局部输入进行加权求和再加上偏置值，得到该神经元输入值，该过程等同于卷积过程，根据公式：
可以得到每一个卷积层的每一个特征面的大小；
其中：oMapN为CNN中每一个卷积层的每个输出特征面的大小，oMap为每个卷积层输出特征面的个数；iMap为输入特征面个数，1表示偏置，在同一个输出特征面中偏置也共享；
根据公式：
CParanm＝(iMap×CWindow+1)×oMap
可以得到每个卷积层可训练参数数目；
其中：CParams为每个卷积层可训练参数数目，oMap为每个卷积层输出特征面的个数；iMap为输入特征面个数，1表示偏置，在同一个输出特征面中偏置也共享；
根据公式：
ReLU(x)＝max(0，x)
为CNN结构中卷积层常采用的激励函数；
根据公式：
可以得到CNN中每个池化层的每一个输出特征面的大小；
其中，DoMapN为CNN中每个池化层的每一个输出特征面的大小，DWindow为池化核大小，oMapN为CNN中每一个卷积层的每个输出特征面的大小。
4.根据权利要求1的基于深度学习的自适应光学自主控制方法，其特征在于：
所述步骤(9)中的波前复原方法为国内最常采用的直接斜率法，不需要知道波前相位的具体值，只需要得到波前校正器各个驱动器需要的控制电压，其公式为：
G＝RxyV
其中，Rxy为变形镜到哈特曼传感器的斜率响应矩阵，可随时由传感器测量得到，G是需要校正的波前像差斜率测量值。
5.根据权利要求1的基于深度学习的自适应光学自主控制方法，其特征在于：
所述步骤(9)中的控制运算把复原出的残余电压经过控制算法，得到驱动器控制电压，采用PID控制算法，采用的比例-积分传函控制器公式为：
其中，C(S)为控制器的拉普拉斯变换，Kc是控制系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310865660.5A CN116841204A (zh) | 2023-07-14 | 2023-07-14 | 一种基于深度学习的自适应光学系统自主控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310865660.5A CN116841204A (zh) | 2023-07-14 | 2023-07-14 | 一种基于深度学习的自适应光学系统自主控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116841204A true CN116841204A (zh) | 2023-10-03 |
Family
ID=88165013
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310865660.5A Pending CN116841204A (zh) | 2023-07-14 | 2023-07-14 | 一种基于深度学习的自适应光学系统自主控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116841204A (zh) |
-
2023
- 2023-07-14 CN CN202310865660.5A patent/CN116841204A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zacharias et al. | The first US Naval Observatory CCD astrograph catalog | |
| CN109031654A (zh) | 一种基于卷积神经网络的自适应光学校正方法及系统 | |
| CN110648298A (zh) | 一种基于深度学习的光学像差畸变校正方法及系统 | |
| CN112558296B (zh) | 一种应用形变器件的高变倍比不动变焦成像方法 | |
| Madec et al. | Adaptive Optics Facility: control strategy and first on-sky results of the acquisition sequence | |
| WO2024187835A1 (zh) | 一种基于run优化算法的波前校正系统及校正方法 | |
| Roberts et al. | Performance of the adaptive optics system for Laser Communications Relay Demonstration’s Ground Station 1 | |
| Di Filippo et al. | Laboratory testing of the Ingot WFS | |
| CN113917686A (zh) | 一种基于图像的拼接衍射望远镜拼接误差并行校正方法 | |
| CN116841204A (zh) | 一种基于深度学习的自适应光学系统自主控制方法 | |
| Ellerbroek et al. | Progress toward developing the TMT adaptive optical systems and their components | |
| CN114994859B (zh) | 基于cnn的tma望远镜面形、位姿误差在轨校正方法 | |
| CN211264359U (zh) | 一种基于深度学习的光学像差畸变校正系统 | |
| Redding et al. | Wavefront sensing and control for large space optics | |
| Schwartz et al. | Phasing a small deployable optical space telescope using focal-plane wavefront sensing | |
| Le Mignant et al. | LGS AO at WM Keck Observatory: routine operations and remaining challenges | |
| Costille et al. | Linear quadratic gaussian control applied to WFAO systems: simulation and experimental results | |
| Le Mignant et al. | LGS AO operations at the WM Keck Observatory | |
| Roberts Jr et al. | A laser communication adaptive optics system as a testbed for extreme adaptive optics | |
| Martin et al. | INO pyramidal wavefront sensor demonstrator: first closed-loop on-sky operation at Mont-Mégantic telescope | |
| CN114001716B (zh) | 一种阵列式广视场巡天相机 | |
| US12025793B1 (en) | Wavefront correction system based on RUN optimization algorithm | |
| van Dam et al. | Infrared tip-tilt sensing: on-sky experience, lessons learned and unsolved problems | |
| CN114895459B (zh) | 一种地表层自适应光学波前实时控制器 | |
| Hubin et al. | ADONIS-a User Friendly Adaptive Optics System for the ESO 3.6 m Telescope |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |