CN111290118A - 一种变形镜的解耦控制方法及装置 - Google Patents
一种变形镜的解耦控制方法及装置 Download PDFInfo
- Publication number
- CN111290118A CN111290118A CN202010162676.6A CN202010162676A CN111290118A CN 111290118 A CN111290118 A CN 111290118A CN 202010162676 A CN202010162676 A CN 202010162676A CN 111290118 A CN111290118 A CN 111290118A
- Authority
- CN
- China
- Prior art keywords
- deformable mirror
- surface shape
- reinforcement learning
- learning model
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000002787 reinforcement Effects 0.000 claims abstract description 62
- 230000003287 optical effect Effects 0.000 claims abstract description 22
- 230000006870 function Effects 0.000 claims description 40
- 238000004132 cross linking Methods 0.000 claims description 24
- 238000003860 storage Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 16
- 238000009826 distribution Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 3
- 238000012821 model calculation Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
- G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
- G02B26/0825—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a flexible sheet or membrane, e.g. for varying the focus
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Optical Elements Other Than Lenses (AREA)
Abstract
本申请公开了一种变形镜的解耦控制方法及装置，该方法包括：确定实际在轨运行的空间光学遥感器光学系统所采集的波前面形，将所述波前面形输入到强化学习模型，并通过所述强化学习模型的网络参数以及所述波前面形确定出变形镜的驱动量；建立变形镜模型，根据所述变形镜模型以及所述驱动量计算得到变形镜面形，并将所述变形镜面形输入到所述强化学习模型计算得到所述波前面形与所述变形镜面形之间的累积奖赏值；判断所述累积奖赏值是否满足预设条件；若不满足，则调整所述网络参数重新计算所述驱动量直到所述累积奖赏值满足所述预设条件为止，并基于当前所述强化学习模型输出的所述驱动量驱动所述变形镜。本发明解决了现有方案可靠性较差的问题。
Description
技术领域
本申请涉及变形镜控制技术领域，尤其涉及一种变形镜的解耦控制方法及装置。
背景技术
变形镜驱动以及控制技术是自适应光学技术领域的核心技术之一，变形镜作为自适应光学系统的核心器件，变形镜由多个驱动器组成，每个驱动器在外加电压的作用下驱动一定的驱动量，进而使得变形镜发生形变，通过其变形镜形变改变入射波前的相位，从而保证空间光学遥感器成像质量。因此，在变形镜驱动以及控制过程中，变形镜中每个驱动器的驱动量的求取，直接影响其改变入射波前的相位的大小，从而影响空间光学遥感器成像质量以及精度。
目前，变形镜中每个驱动器的驱动量的求取方法，主要是通过直接波前影响矩阵来确定驱动器的驱动量。具体的，直接波前影响矩阵来确定驱动器的驱动量原理是，对于一个指定大小的面形，通过如下公式计算每个驱动器的驱动量或驱动电压：
C＝BV
其中，C表示变形镜的zernike多项式的系数向量表达；V表示驱动器的驱动电压组成的向量；B表示波前影响矩阵，代表了变形镜的空间信息。
针对不同的zernike多项式或者波前表达式，上述波前影响矩阵是直接给定的或者通过固定的模型计算得到的，即现有技术中驱动器的驱动量不能根据实际的应用场景动态得到，因此，现有技术在计算每个驱动器的驱动量过程中，当控制对象发生变化或者控制参数发生变化时，波前影响矩阵不能根据实际的场景调整，进而使得计算得到的驱动量与实际情况偏差较大，导致方案的适用性以及可靠性较差。
发明内容
本申请解决的技术问题是：针对现有技术中方案的适用性和可靠性较差。本申请实施例提供了一种变形镜的解耦控制方法及装置，本申请实施例所提供的方案中，通过强化学习模型实时强化学习调整优化网络参数，进而使得确定出的驱动量更贴合实际情况，提高了方案的适用性以及可靠性。
第一方面，本申请实施例提供一种变形镜的解耦控制方法，该方法包括：
确定实际在轨运行的空间光学遥感器光学系统所采集的波前面形，将所述波前面形输入到强化学习模型，并通过所述强化学习模型的网络参数以及所述波前面形确定出变形镜的驱动量；
建立变形镜模型，根据所述变形镜模型以及所述驱动量计算得到变形镜面形，并将所述变形镜面形输入到所述强化学习模型计算得到所述波前面形与所述变形镜面形之间的累积奖赏值；
判断所述累积奖赏值是否满足预设条件；
若不满足，则调整所述网络参数重新计算所述驱动量直到所述累积奖赏值满足所述预设条件为止，并基于当前所述强化学习模型输出的所述驱动量驱动所述变形镜。
本申请实施例所提供的方案中，通过将实际在轨运行的空间光学遥感器光学系统所采集的波前面形输入到强化学习模型中计算出变形镜的驱动量，然后，根据变形镜的驱动量以及建立的变形镜模型计算得到变形镜面形，将变形镜模型计算出的变形镜面形输入到强化学习模型确定出波前面形与变形镜面形之间的累积奖赏值，若该累积奖赏值不满足预设条件，则调整网络参数重新计算驱动量，直到累积奖赏值满足预设条件为止。因此，本申请实施例所提供的方案中，通过实际在轨运行的波前面形以及强化学习模型实时强化学习调整优化网络参数，进而使得确定出的驱动量更贴合实际情况，提高了方案的适用性以及可靠性。
可选地，所述预设条件，包括：
所述累积奖赏值大于预设的第一阈值；或
相邻两次确定出的所述累积奖赏值之间的差值不大于预设的第二阈值。
可选地，通过所述强化学习模型的网络参数以及所述波前面形确定出变形镜的驱动量，包括：
通过所述强化学习模型提取所述波前面形的特征信息，其中，所述特征信息包括波前面形的空间信息；将所述特征信息与所述网络参数进行至少一次卷积运算以及下采样处理，确定出所述变形镜的驱动量。
可选地，建立变形镜模型，包括：
通过预设的随机函数确定变形镜的交联值以及高斯指数，并确定所述变形镜中驱动器的数目以及每个所述驱动器的位置；
根据所述交联值、所述高斯指数以及所述驱动器的位置确定所述每个驱动器的影响函数；
根据所述驱动器的数目将所述每个驱动器的影响函数进行叠加得到所述变形镜模型。
本申请实施例所提供的方案中，通过随机变量函数确定变形镜的交联值以及高斯指数，能够求取不同应用场景下的变形镜的交联值以及高斯指数，提高了变形镜的交联值以及高斯指数的不确定性，避免采用固定变形镜的交联值以及高斯指数建立变形镜模型，导致变形镜模型的适用性较差的问题。
第二方面，本申请实施例提供了一种变形镜的解耦控制装置，该装置包括：
确定单元，用于确定实际在轨运行的空间光学遥感器光学系统所采集的波前面形，将所述波前面形输入到强化学习模型，并通过所述强化学习模型的网络参数以及所述波前面形确定出变形镜的驱动量；
计算单元，用于建立变形镜模型，根据所述变形镜模型以及所述驱动量计算得到变形镜面形，并将所述变形镜面形输入到所述强化学习模型计算得到所述波前面形与所述变形镜面形之间的累积奖赏值；
判断单元，用于判断所述累积奖赏值是否满足预设条件；
调整单元，用于若所述累积奖赏值不满足所述预设条件，则调整所述网络参数重新计算所述驱动量直到所述累积奖赏值满足所述预设条件为止，并基于当前所述强化学习模型输出的所述驱动量驱动所述变形镜。
可选地，所述预设条件，包括：
所述累积奖赏值大于预设的第一阈值；或
相邻两次确定出的所述累积奖赏值之间的差值不大于预设的第二阈值。
可选地，所述确定单元，具体用于：
通过所述强化学习模型提取所述波前面形的特征信息，其中，所述特征信息包括波前面形的空间信息；将所述特征信息与所述网络参数进行至少一次卷积运算以及下采样处理，确定出所述变形镜的驱动量。
可选地，所述计算单元，具体用于：
通过预设的随机函数确定变形镜的交联值以及高斯指数，并确定所述变形镜中驱动器的数目以及每个所述驱动器的位置；
根据所述交联值、所述高斯指数以及所述驱动器的位置确定所述每个驱动器的影响函数；
根据所述驱动器的数目将所述每个驱动器的影响函数进行叠加得到所述变形镜模型。
第三方面，本申请提供一种计算机设备，该计算机设备，包括：
存储器，用于存储至少一个处理器所执行的指令；
处理器，用于执行存储器中存储的指令执行第一方面所述的方法。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行第一方面所述的方法。
附图说明
图1为本申请实施例所提供的一种变形镜的解耦控制系统的结构示意图；
图2为本申请实施例所提供的一种变形镜的解耦控制方法的流程图；
图3为本申请实施例所提供的一种一种强化学习模型的结构示意图；
图4为本申请实施例所提供的一种变形镜中驱动器的分布示意图；
图5为本申请实施例所提供的一种变形镜的解耦控制装置的结构示意图；
图6为本申请实施例所提供的一种计算机设备的结构示意图。
具体实施方式
为了更好的理解上述技术方案，下面通过附图以及具体实施例对本申请技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。
为了理解变形镜的解耦控制方法的原理，参见图1，本申请实施例提供了一种变形镜的解耦控制系统的结构示意图。变形镜的解耦控制系统包括：强化学习模型11以及变形镜模型12；其中，强化学习模型11用于根据输入波前面形进行强化学习输出变形镜驱动量，并将所述变形镜的驱动量发送给变形镜模型12，接收变形镜模型12输出的变形镜面形；变形镜模型12用于根据输入的变形镜驱动量控制驱动器移动，得到变形镜面形，将变形镜面形输入到强化学习模型11。
在本申请实施例所提供的方案中，强化学习模型求解强化学习问题所使用的算法包括策略搜索算法或者值函数算法(Value Function)等，在此并不做限定。
以下结合说明书附图对本申请实施例所提供的一种变形镜的解耦控制方法做进一步详细的说明，该方法具体实现方式可以包括以下步骤(方法流程如图2所示)：
步骤201，确定实际在轨运行的空间光学遥感器光学系统所采集的波前面形，将所述波前面形输入到强化学习模型，并通过所述强化学习模型的网络参数以及所述波前面形确定出变形镜的驱动量。
在本申请实施例所提供的方案中，计算机设备通过随机函数生成指定项的Zernike系数，然后基于Zernike函数思想去一定的面形，将该面形作为波前面形，得到如下所述的波前面形：
其中，
表示波前面形；m表示选取的Zernike函数的项数；ai表示Zernike函数的第i项的系数；Zi(x，y)表示Zernike函数的第i项的多项式。
计算机设备在确定出波前面形之后，将波前面形输入到强化学习模型，并根据强化学习模型中预设的网络参数以及所述波前面形确定变形镜的驱动量，其中，变形镜的驱动量可以为变形镜中驱动器的驱动电压，或者驱动器的移动量。在本申请实施例所提供的方案中，计算机设备确定变形镜的驱动量的方式有多种，下面以一种较佳的方式为例进行说明。
在一种可能实现方式中，通过所述强化学习模型的网络参数以及所述波前面形确定出变形镜的驱动量，包括：通过所述强化学习模型提取所述波前面形的特征信息，其中，所述特征信息包括波前面形的空间信息；将所述特征信息与所述网络参数进行至少一次卷积运算以及下采样处理，确定出所述变形镜的驱动量。
参见图3，本申请实施例所提供的一种强化学习模型的结构示意图。强化学习模型包括至少一个卷积单元31以及至少一个下采样单元32，且卷积单元31与下采样单元32交错排列；其中，卷积单元31用于将输入的波前面形的特征信息与卷积单元31中预设的卷积核进行卷积运算，得到变形量的驱动量；下采样单元32，用于将得到的驱动量进行降维处理，得到预设维度的变形镜驱动量。
应理解，本申请实施例所提供的方案中，计算机设备包括电脑、服务器或者移动终端，只要具有数据处理计算功能的设备都适用于本申请实施例，在此并不做限定。
步骤202，建立变形镜模型，根据所述变形镜模型以及所述驱动量计算得到变形镜的面形，并将所述变形镜面形输入到所述强化学习模型计算得到所述波前面形与所述变形镜面形之间的累积奖赏值。
具体的，在本申请实施例所提供的方案中，计算机设备建立变形镜的模型的方式有多种，下面以一种较佳的方式为例进行说明。
在一种可能实现的方式中，建立变形镜模型，包括：通过预设的随机函数确定变形镜的交联值以及高斯指数，并确定所述变形镜中驱动器的数目以及每个所述驱动器的位置；根据所述交联值、所述高斯指数以及所述驱动器的位置确定所述每个驱动器的影响函数；根据所述驱动器的数目将所述每个驱动器的影响函数进行叠加得到所述变形镜模型。
具体的，变形镜的主要性能指标包括影响函数和交联值，变形镜包括多个驱动器；其中，影响函数是指当仅有一个驱动器外加电压而其他驱动器仅由弹性力约束时，变形镜镜面的形变成为此驱动器的影响函数。具体的，驱动器的影响函数如下式所示：
其中，fi(x，y)表示变形镜中第i个驱动器的影响函数；(xi，yi)表示第i个驱动器的位置；ω表示变形镜的交联值，其中，交联值表示为任一驱动器的影响函数的变化量与相邻驱动器变形量的比值；α表示高斯指数；d表示相邻驱动器之间的距离。
变形镜面形是由各个驱动器的影响函数叠加所确定的，对于一个指定的变形镜面形，可以通过如下公式表示：
其中，Z(x，y)表示指定的变形镜面形；n表示变形镜中驱动器的数目；vj表示第j个驱动器的驱动电压；fj(x，y)表示第j个驱动器的影响函数。
根据上述公式可以，变形镜面形除了与变形镜的交联值以及高斯指数有关之外，还与变形镜中驱动器的数目以及位置有关。因此，在本申请实施例所提供的方案中，计算机设备在建立变形将模型之前，需要确定变形镜的交联值、高斯指数、变形镜中驱动器的数目以及位置。
进一步，为了提高变形镜模型的多变性，在本申请实施例所提供的方案中，计算机设备通过预设的随机函数确定变形镜的交联值以及高斯指数。变形镜中驱动器的分布有多种形式，例如，驱动器的分布包括四边形分布或三角分布(即六边形分布)，然后，在世界坐标系下，计算机设备根据变形镜中驱动器的分布确定每个驱动器的位置。为了便于理解上述变形镜中驱动器的分布，下面以三角分布为例进行说明。
例如，参见图4，为本申请实施例所提供的一种变形镜中驱动器的分布示意图。在图4所示的三角分布中由37个驱动器组成一个六边形，其中，在每个驱动器的大小忽略的情况下，六边形的直径为50mm，在该六边形结构中任意相邻两个驱动器之间的距离相同，然后，在世界坐标系下，计算机设备根据变形镜中驱动器的分布确定每个驱动器的位置坐标(x，y)。
进一步，计算机设备在确定变形镜的交联值、高斯指数、变形镜中驱动器的数目以及位置之后，根据变形镜的交联值、高斯指数、变形镜中驱动器的数目以及位置建立变形镜模型，然后将所述驱动量输入到所述变形镜模型计算得到变形镜面形。
进一步，通过变形镜模型计算得到变形镜面形之后，将变形镜面形输入到所述强化学习模型计算得到波前面形与变形镜面形之间的奖赏值，具体的，强化学习模型计算得到波前面形与变形镜面形之间的奖赏值的算法有多种，例如，算法包括强化学习算法Q-Learning或深度强化学习算法(Deep Q Network，DQN)等。
步骤203，判断所述累积奖赏值是否满足预设条件。
具体的，在本申请实施例所提供的方案中，在计算机设备的数据库中预先存储着预设条件，其中，所述预设条件是指衡量累积奖赏值是否满足要求的标准。
在一种可能实现方式中，所述预设条件，包括：
所述累积奖赏值大于预设的第一阈值；或
相邻两次确定出的所述累积奖赏值之间的差值不大于预设的第二阈值。
步骤204，若不满足，则调整所述网络参数直到所述累积奖赏值满足所述预设条件为止，并基于当前所述强化学习模型输出的所述驱动量驱动所述变形镜。
具体的，在本申请实施例所提供的方案中，若计算机设备确定累积奖赏值不满足预设条件，则调整强化学习模型的网络参数，其中，网络参数包括强化学习模型的每一个卷积单元的卷积核或每一个下采样单元的采样维数。在调整强化学习模型的网络参数之后，跳转到步骤201，根据调整后的网络参数重新计算变形镜的驱动量，并执行步骤202～步骤204，直到所述累积奖赏值满足所述预设条件为止。
在本申请实施例所提供的方案中，若计算机设备确定累积奖赏值满足预设条件，则在步骤203跳转到步骤205，基于当前所述强化学习模型输出的所述驱动量驱动所述变形镜。
本申请实施例所提供的方案中，通过将实际在轨运行的空间光学遥感器光学系统所采集的波前面形输入到强化学习模型中计算出变形镜的驱动量，然后，根据变形镜的驱动量以及建立的变形镜模型计算得到变形镜面形，将变形镜模型计算出的变形镜面形输入到强化学习模型确定出波前面形与变形镜面形之间的累积奖赏值，若该累积奖赏值不满足预设条件，则调整网络参数重新计算驱动量，直到累积奖赏值满足预设条件为止。因此，本申请实施例所提供的方案中，通过实际在轨运行的波前面形以及强化学习模型实时强化学习调整优化网络参数，进而使得确定出的驱动量更贴合实际情况，提高了方案的适用性以及可靠性。
基于与上述图2所示的方法相同的发明构思，本申请实施例提供了一种变形镜的解耦控制装置，参见图5，该装置包括：
确定单元501，用于确定实际在轨运行的空间光学遥感器光学系统所采集的波前面形，将所述波前面形输入到强化学习模型，并通过所述强化学习模型的网络参数以及所述波前面形确定出变形镜的驱动量；
计算单元502，用于建立变形镜模型，根据所述变形镜模型以及所述驱动量计算得到变形镜面形，并将所述变形镜面形输入到所述强化学习模型计算得到所述波前面形与所述变形镜面形之间的累积奖赏值；
判断单元503，用于判断所述累积奖赏值是否满足预设条件；
调整单元504，用于若所述累积奖赏值不满足所述预设条件，则调整所述网络参数重新计算所述驱动量直到所述累积奖赏值满足所述预设条件为止，并基于当前所述强化学习模型输出的所述驱动量驱动所述变形镜。
可选地，所述预设条件，包括：
所述累积奖赏值大于预设的第一阈值；或
相邻两次确定出的所述累积奖赏值之间的差值不大于预设的第二阈值。
可选地，所述确定单元501，具体用于：
通过所述强化学习模型提取所述波前面形的特征信息，其中，所述特征信息包括波前面形的空间信息；将所述特征信息与所述网络参数进行至少一次卷积运算以及下采样处理，确定出所述变形镜的驱动量。
可选地，所述计算单元502，具体用于：
通过预设的随机函数确定变形镜的交联值以及高斯指数，并确定所述变形镜中驱动器的数目以及每个所述驱动器的位置；
根据所述交联值、所述高斯指数以及所述驱动器的位置确定所述每个驱动器的影响函数；
根据所述驱动器的数目将所述每个驱动器的影响函数进行叠加得到所述变形镜模型。
参见图6，本申请提供一种计算机设备，该计算机设备，包括：
存储器601，用于存储至少一个处理器所执行的指令；
处理器602，用于执行存储器中存储的指令执行上述图2所述的方法。
本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行上述图2所述的方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种变形镜的解耦控制方法，其特征在于，包括：
确定实际在轨运行的空间光学遥感器光学系统所采集的波前面形，将所述波前面形输入到强化学习模型，并通过所述强化学习模型的网络参数以及所述波前面形确定出变形镜的驱动量；
建立变形镜模型，根据所述变形镜模型以及所述驱动量计算得到变形镜面形，并将所述变形镜面形输入到所述强化学习模型计算得到所述波前面形与所述变形镜面形之间的累积奖赏值；
判断所述累积奖赏值是否满足预设条件；
若不满足，则调整所述网络参数重新计算所述驱动量直到所述累积奖赏值满足所述预设条件为止，并基于当前所述强化学习模型输出的所述驱动量驱动所述变形镜。
2.如权利要求1所述的方法，其特征在于，所述预设条件，包括：
所述累积奖赏值大于预设的第一阈值；或
相邻两次确定出的所述累积奖赏值之间的差值不大于预设的第二阈值。
3.如权利要求1所述的方法，其特征在于，通过所述强化学习模型的网络参数以及所述波前面形确定出变形镜的驱动量，包括：
通过所述强化学习模型提取所述波前面形的特征信息，其中，所述特征信息包括波前面形的空间信息；将所述特征信息与所述网络参数进行至少一次卷积运算以及下采样处理，确定出所述变形镜的驱动量。
4.如权利要求1～3任一项所述的方法，其特征在于，建立变形镜模型，包括：
通过预设的随机函数确定变形镜的交联值以及高斯指数，并确定所述变形镜中驱动器的数目以及每个所述驱动器的位置；
根据所述交联值、所述高斯指数以及所述驱动器的位置确定所述每个驱动器的影响函数；
根据所述驱动器的数目将所述每个驱动器的影响函数进行叠加得到所述变形镜模型。
5.一种变形镜的解耦控制装置，其特征在于，包括：
确定单元，用于确定实际在轨运行的空间光学遥感器光学系统所采集的波前面形，将所述波前面形输入到强化学习模型，并通过所述强化学习模型的网络参数以及所述波前面形确定出变形镜的驱动量；
计算单元，用于建立变形镜模型，根据所述变形镜模型以及所述驱动量计算得到变形镜面形，并将所述变形镜面形输入到所述强化学习模型计算得到所述波前面形与所述变形镜面形之间的累积奖赏值；
判断单元，用于判断所述累积奖赏值是否满足预设条件；
调整单元，用于若所述累积奖赏值不满足所述预设条件，则调整所述网络参数重新计算所述驱动量直到所述累积奖赏值满足所述预设条件为止，并基于当前所述强化学习模型输出的所述驱动量驱动所述变形镜。
6.如权利要求5所述的装置，其特征在于，所述预设条件，包括：
所述累积奖赏值大于预设的第一阈值；或
相邻两次确定出的所述累积奖赏值之间的差值不大于预设的第二阈值。
7.如权利要求5所述的装置，其特征在于，所述确定单元，具体用于：
通过所述强化学习模型提取所述波前面形的特征信息，其中，所述特征信息包括波前面形的空间信息；将所述特征信息与所述网络参数进行至少一次卷积运算以及下采样处理，确定出所述变形镜的驱动量。
8.如权利要求5～7任一项所述的方法，其特征在于，所述计算单元，具体用于：
通过预设的随机函数确定变形镜的交联值以及高斯指数，并确定所述变形镜中驱动器的数目以及每个所述驱动器的位置；
根据所述交联值、所述高斯指数以及所述驱动器的位置确定所述每个驱动器的影响函数；
根据所述驱动器的数目将所述每个驱动器的影响函数进行叠加得到所述变形镜模型。
9.一种计算机设备，其特征在于，包括：
存储器，用于存储至少一个处理器所执行的指令；
处理器，用于执行存储器中存储的指令执行如权利要求1～4任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如权利要求1～4任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010162676.6A CN111290118A (zh) | 2020-03-10 | 2020-03-10 | 一种变形镜的解耦控制方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010162676.6A CN111290118A (zh) | 2020-03-10 | 2020-03-10 | 一种变形镜的解耦控制方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111290118A true CN111290118A (zh) | 2020-06-16 |
Family
ID=71020759
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010162676.6A Pending CN111290118A (zh) | 2020-03-10 | 2020-03-10 | 一种变形镜的解耦控制方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111290118A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116454718A (zh) * | 2023-06-13 | 2023-07-18 | 深圳市镭硕光电科技有限公司 | 激光器 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108983412A (zh) * | 2018-07-09 | 2018-12-11 | 北京邮电大学 | 一种无波前检测自适应光学系统及光束相位调整方法 |
| CN110044498A (zh) * | 2019-04-18 | 2019-07-23 | 中国科学院光电技术研究所 | 一种基于深度学习的哈特曼波前传感器模式波前复原方法 |
| CN110487211A (zh) * | 2019-09-29 | 2019-11-22 | 中国科学院长春光学精密机械与物理研究所 | 非球面元件面形检测方法、装置、设备及可读存储介质 |
| CN110648298A (zh) * | 2019-11-01 | 2020-01-03 | 中国工程物理研究院流体物理研究所 | 一种基于深度学习的光学像差畸变校正方法及系统 |
-
2020
- 2020-03-10 CN CN202010162676.6A patent/CN111290118A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108983412A (zh) * | 2018-07-09 | 2018-12-11 | 北京邮电大学 | 一种无波前检测自适应光学系统及光束相位调整方法 |
| CN110044498A (zh) * | 2019-04-18 | 2019-07-23 | 中国科学院光电技术研究所 | 一种基于深度学习的哈特曼波前传感器模式波前复原方法 |
| CN110487211A (zh) * | 2019-09-29 | 2019-11-22 | 中国科学院长春光学精密机械与物理研究所 | 非球面元件面形检测方法、装置、设备及可读存储介质 |
| CN110648298A (zh) * | 2019-11-01 | 2020-01-03 | 中国工程物理研究院流体物理研究所 | 一种基于深度学习的光学像差畸变校正方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| ZHENXING XU，PING YANG，KE HU ETC.: "Deep learning control model for adaptive optics systems", 《 APPLIED OPTICS》 * |
| 刘成，于飞，丁琳等: "一种新的连续面形变形镜的解耦控制方法", 《航天返回与遥感》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116454718A (zh) * | 2023-06-13 | 2023-07-18 | 深圳市镭硕光电科技有限公司 | 激光器 |
| CN116454718B (zh) * | 2023-06-13 | 2023-08-11 | 深圳市镭硕光电科技有限公司 | 激光器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6827539B2 (ja) | アクション選択ニューラルネットワークをトレーニングすること | |
| CN110476172B (zh) | 用于卷积神经网络的神经架构搜索 | |
| EP4231197B1 (en) | Training machine learning models on multiple machine learning tasks | |
| JP6926203B2 (ja) | 補助タスクを伴う強化学習 | |
| US11627165B2 (en) | Multi-agent reinforcement learning with matchmaking policies | |
| CN112119409A (zh) | 具有关系存储器的神经网络 | |
| EP3602409A1 (en) | Selecting actions using multi-modal inputs | |
| CN113168566A (zh) | 通过使用熵约束来控制机器人 | |
| WO2018189404A1 (en) | Distributional reinforcement learning | |
| US20210103815A1 (en) | Domain adaptation for robotic control using self-supervised learning | |
| CN110546653A (zh) | 使用神经网络的用于强化学习的动作选择 | |
| WO2018083667A1 (en) | Reinforcement learning systems | |
| US20230367934A1 (en) | Method and apparatus for constructing vehicle dynamics model and method and apparatus for predicting vehicle state information | |
| CN113419424B (zh) | 减少过估计的模型化强化学习机器人控制方法及系统 | |
| EP3571631A1 (en) | Noisy neural network layers | |
| CN113139696A (zh) | 一种轨迹预测模型构建方法及轨迹预测方法、装置 | |
| CN111290118A (zh) | 一种变形镜的解耦控制方法及装置 | |
| CN114239974A (zh) | 多智能体的位置预测方法、装置、电子设备及存储介质 | |
| KR20220074715A (ko) | 이미지 처리 방법 및 장치 | |
| CN111738046B (zh) | 对用于基于深度学习的装置的学习的虚拟世界模拟器的物理引擎进行标定的方法及装置 | |
| Chandramohan et al. | Sparse approximate dynamic programming for dialog management | |
| CN113485107B (zh) | 基于一致性约束建模的强化学习机器人控制方法及系统 | |
| US11501167B2 (en) | Learning domain randomization distributions for transfer learning | |
| CN115293334B (zh) | 基于模型的高样本率深度强化学习的无人设备控制方法 | |
| CN107315573A (zh) | 建筑机电系统的控制方法、存储介质和终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200616 |
|
| RJ01 | Rejection of invention patent application after publication |