CN113238375B - 一种基于深度学习的自由曲面成像系统初始结构生成方法 - Google Patents

Abstract

本发明提供一种基于深度学习的自由曲面成像系统初始结构生成方法，通过系统演化的方法来获得样本数量足够多的基础训练集，经过深度神经网络模型的训练，可以生成相应系统参数范围的性能良好的神经网络模型；对于后续的自由曲面成像系统初始结构设计，只要将需要设计的系统参数输入到训练好的神经网络模型中，就可获得其初始结构，大大减少了时间和人力成本，以及对高级设计经验的依赖，即使是光学设计初学者也可以利用本发明来生成自由曲面成像系统初始结构，尤其适用于设计大参数范围的自由曲面折射，反射和折反混合系统。

Description

一种基于深度学习的自由曲面成像系统初始结构生成方法

技术领域

本发明属于光学设计领域，尤其涉及一种基于深度学习的自由曲面成像系统初始结构生成方法。

背景技术

随着科技的发展进步，成像光学系统的逐渐向着大视场，大孔径，小F数，小体积和少成像元件的方向发展来满足更加高级的设计需求。为了实现以上高级的设计需求，自由曲面应运而生。自由曲面可以在很好的校正非对称像差的同时，还可以实现更好的成像性能，更高的系统规格，更紧凑的系统配置和更少的元件。

传统的设计方法是找到一个系统参数与设计需求相近的系统作为初始结构，再执行后续的优化。对于传统的旋转对称系统来说，有许多设计经验，理论和充足的设计实例。然而对于自由曲面成像系统来说，其一般是用来实现先进的系统规格或者满足特殊的系统结构。然而和设计规格相匹配的，可以用来作为初始结构的系统太少了。如果无法找到合适的初始结构，设计者可能会需要花费大量的时间和精力来实现最终的设计，有时甚至可能会失败。近年来，一些新的初始结构生成方法被提出，比如：偏微分方程法，多曲面同时设计法，基于像差理论的方法，和基于逐点构建与迭代的方法。然而这些上述方法对于给定的系统规格只能产生一种特定的结构，也就是只能提供一种特殊解。但是，这些方法缺乏举一反三的能力，面对新的设计任务时，仍需要重复以上工作，耗费了大量的时间和努力。此外，这些方法在生成具有先进系统规范的系统初始结构方面存在困难，阻碍了这些方法的应用。有研究者将神经网络用于较窄系统参数范围的自由曲面离轴三反系统的初始结构生成，但是在较宽系统参数范围的高级系统参数范围的自由曲面成像系统的比较乏力。

发明内容

为解决上述问题，本发明提供一种基于深度学习的自由曲面成像系统初始结构生成方法，可以迅速得到自由曲面成像系统的初始结构，大大减少了设计者的设计时间和努力，以及对高级设计经验的依赖。

一种基于深度学习的自由曲面成像系统初始结构生成方法，包括以下步骤：

S1：按照如下步骤获取基础训练集：

S11：从自由曲面成像系统的系统参数空间中采样N_f组备选系统参数组合，并将其中实现难度最低的一组备选系统参数组合作为初始基础系统参数SYSP_f,1，则初始基础系统参数SYSP_f,1对应的自由曲面成像系统作为基础系统BaseSys₁；

S12：按照如下方法分别判断剩余备选系统参数组合是否入选基础训练集：

每确定一个备选系统参数组合是否入选基础训练集后，将最新入选基础训练集的备选系统参数组合作为当前系统参数组合执行如下操作：

从剩余备选系统参数组合中选取与当前系统参数组合SYSP_f,current最接近的一组作为下一个基础系统的备选系统参数组合SYSP_f,nearest，并对当前系统参数组合SYSP_f,current对应的基础系统进行优化，得到下一组备选系统参数组合SYSP_f,nearest对应的基础系统BaseSys_f,nearest和曲面参数SURP_f,nearest；

判断基础系统BaseSys_f,nearest的性能是否满足要求，若满足，则备选系统参数组合SYSP_f,nearest入选基础数据集，若不满足，则在当前系统参数组合SYSP_f,current以外的其他已入选基础训练集的系统参数组合中，选择一组作为次近邻系统参数组合SYSP_{f,next_nearest}，并对次近邻系统参数组合SYSP_{f,next_nearest}对应的基础系统进行优化，重新得到下一组备选系统参数组合SYSP_f,nearest对应的基础系统BaseSys_f,nearest和对应的曲面参数SURP_f,nearest；

判断基础系统BaseSys_f,nearest的性能是否满足要求，若满足，则备选基础系统参数组合SYSP_f,nearest入选基础训练集，若不满足，剔除备选基础系统参数SYSP_f,nearest；

其中，若从剩余备选系统参数组合中选取的与初始基础系统参数SYSP_f,1最接近的一组备选系统参数组合SYSP_f,2对应的基础系统BaseSys_f,2的性能不满足要求，则直接对系统参数空间重新采样，并重新执行步骤S11～S12；

S2：将基础训练集中的系统参数组合和各系统参数组合对应的曲面参数分别作为深度神经网络的输入和输出，对深度神经网络进行训练，得到自由曲面成像系统的神经网络模型；

S3：在系统参数空间重新获取与基础训练集中不相同的自由曲面成像系统的系统参数组合，然后输入到所述神经网络模型，得到对应的曲面参数，并根据该对应的曲面参数得到自由曲面成像系统的初始结构。

进一步地，获取基础训练集后，采用加权K近邻法根据基础训练集获取补充训练集，再合并基础训练集与补充训练集得到训练总集；

将训练总集代替步骤S2中的基础训练集，再执行步骤S2～S3，得到更优的自由曲面成像系统的初始结构；

其中，所述补充训练集的获取方法为：

从自由曲面成像系统的系统参数空间中采样N_s组备选系统参数组合，且N_s组备选系统参数组合与N_f组备选系统参数组合不重合；

分别将N_s组备选系统参数组合作为当前系统参数组合执行如下步骤：

在基础训练集中选取K个与当前系统参数组合最接近的系统参数组合作为参考系统参数组合，并将各参考系统参数组合对应的曲面参数的加权平均作为当前系统参数组合对应的补充系统的初始曲面参数，其中，K至少为3；

对补充系统的初始曲面参数进行优化，并判断优化结果是否满足性能要求，若满足，则优化结果为当前系统参数组合对应的最终曲面参数。

进一步地，所述自由曲面成像系统的系统参数组合和曲面参数的选取原则为：

实现设计所给定的自由曲面光学系统所必须且独立的系统参数；曲面参数为包含自由曲面成像系统各个曲面的空间位置信息和形状信息的参数。

进一步地，所述自由曲面成像系统的系统参数空间的确定方法为：按照各类型的系统参数的取值范围、任意两个类型系统参数之间的约束条件生成系统参数空间，其中，系统参数的类型数量决定系统参数空间的维度，各类型的系统参数的取值范围、任意两个类型系统参数之间的约束条件决定系统参数空间的形状。

进一步地，判断任意一个基础系统的性能是否满足要求的方法为：

判断基础系统的成像质量是否满足要求、基础系统中各曲面之间是否存在遮拦，若成像质量满足要求且不存在遮拦，则该基础系统的性能满足要求。

进一步地，剩余备选系统参数中与当前系统参数最接近的一组备选系统参数SYSP_f,nearest满足：

备选系统参数SYSP_f,nearest与当前系统参数SYSP_f,current之间的加权距离最短。

进一步地，系统参数的类型包括视场角、放大率、F数、焦距、光阑位置、入瞳直径以及出瞳距离，且自由曲面成像系统的类型不同，系统参数空间包含的系统参数的类型不同，其中，对于自由曲面反射成像系统，系统参数空间包含的系统参数的类型为视场，焦距以及F数；对于自由曲面无焦望远系统，系统参数空间包含的系统参数的类型为视场和放大率；对于自由曲面棱镜成像系统，系统参数空间包含的系统参数的类型为视场，入瞳直径和F数。

进一步地，从自由曲面成像系统的系统参数空间中采样N_f组备选系统参数所选用的采样方法为均匀采样或随机采样。

进一步地，所述加权距离的计算公式如下：

其中||·||是2范数，υ＝[υ₁,…,υ_t,…,υ_T]是决定每个系统参数权重的权重向量，

代表各向量对应元素相乘，T表示系统参数的类型个数。

进一步地，补充训练集中初始曲面参数的计算公式如下：

其中，

为初始曲面参数，SURP^*,j _f,m是基础训练集中的系统参数组合SYSP^*,j _f,m所对应的曲面参数，W_j,m是描述补充训练集中的系统参数组合SYSP_s,j和SYSP^*,j _f,m相似程度的权重向量，且W_j,m＝1/D_j,m。

有益效果：

1、本发明提供一种基于深度学习的自由曲面成像系统初始结构生成方法，通过系统演化的方法来获得样本数量足够多的基础训练集，经过深度神经网络模型的训练，可以生成相应系统参数范围的性能良好的神经网络模型；对于后续的自由曲面成像系统初始结构设计，只要将需要设计的系统参数输入到训练好的神经网络模型中，就可获得其初始结构，大大减少了时间和人力成本，以及对高级设计经验的依赖，即使是光学设计初学者也可以利用本发明来生成自由曲面成像系统初始结构，尤其适用于设计大参数范围的自由曲面折射，反射和折反混合系统。

2、本发明提供一种基于深度学习的自由曲面成像系统初始结构生成方法，对于训练大范围的系统参数所对应的深度神经网络模型来说，训练集要足够大才能获得良好的训练结果，因此，本发明采用系统演化的方式得到基础训练集后，再通过K最近邻方法生成补充数据集，能够大大缩短训练样本的获取时间。

3、本发明提供一种基于深度学习的自由曲面成像系统初始结构生成方法，还可将算法集成到现有的光学设计软件和云服务器上，方便更多的设计者使用。训练集的生成和网络的训练过程可以不间断地在服务器上运行，为不同类型的系统和不同的应用生成复杂的网络。

附图说明

图1为本发明提供的一种自由曲面成像系统初始结构生成方法的流程图；

图2为本发明提供的数据集生成及网络训练方法流程图

图3为本发明提供的采用深度神经网络获得的2000个自由曲面离轴三反测试系统的平均RMS弥散斑直径示意图；

图4为本发明提供的采用深度神经网络获得的2000个自由曲面离轴三反测试系统的最大绝对畸变示意图。

图5为本发明提供的采用深度神经网络获得的2000个自由曲面离轴四反测试系统的平均RMS弥散斑直径示意图；

图6为本发明提供的采用深度神经网络获得的2000个自由曲面离轴四反测试系统的最大绝对畸变示意图。

图7为本发明提供的采用深度神经网络获得的2000个自由曲面棱镜测试系统的平均RMS弥散斑直径示意图；

图8为本发明提供的采用深度神经网络获得的2000个自由曲面棱镜测试系统的最大绝对畸变示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

实施例一

深度学习是人工智能研究领域的一个重要组成部分，并成功应用于分类，回归，预测和决策等领域。同时，深度学习也广泛应用于光学相关领域，比如计算成像，微纳光学和超表面的设计，量子光学，光纤，激光等。在之前的工作中，成功将神经网络应用于自由曲面离轴反射系统的设计，但是之前的网络对应的是较窄系统参数范围的自由曲面离轴三反成像系统，严重影响了网络的实用性。如果可以得到系统参数范围广、适用于不同类型的自由曲面成像系统初始结构的深度神经网络，则可以满足更广泛的设计要求和应用。本发明大大减少了设计者的时间和精力，也减少了对高级设计经验的依赖。同时，本发明可以集成到光学设计软件和云服务器中，方便更多的设计者使用。

具体的，参见图1，该图为本实施例提供的一般化的自由曲面成型系统初始结构生成方法的流程图。一般化的自由曲面成型系统初始结构生成方法，具体包括以下步骤：

S1：获取训练总集，其中，训练总集包括基础训练集和补充训练集。

首先介绍基础训练集的获取方式如下：

S11：通过均匀采样或随机采样的方式，从自由曲面成像系统的系统参数空间中采样N_f组备选系统参数组合，并将其中实现难度最低的一组备选系统参数组合作为初始基础系统参数SYSP_f,1，则初始基础系统参数SYSP_f,1对应的自由曲面成像系统作为基础系统BaseSys₁；其中，N_f至少为1000。

需要说明的是，常见的系统参数的类型包括视场角、放大率、F数、焦距、光阑位置、入瞳直径以及出瞳距离，且自由曲面成像系统的类型不同，系统参数空间包含的系统参数的类型不同；同时，对于一个给定的成像系统，以上系统参数并不一定同时需要或者存在，根据需要设计的系统的需求选择不可或缺且独立的系统参数(某一系统参数不可以被其他系统参数所表达)来完整描述整个系统。也就是说，自由曲面成像系统的系统参数需要根据系统的具体情况而确定，比如，对于自由曲面反射成像系统，则系统参数空间包含的系统参数的类型可以为视场，焦距以及F数；对于自由曲面无焦望远系统，则系统参数空间包含的系统参数的类型可以为视场和放大率；对于自由曲面棱镜成像系统，则系统参数空间包含的系统参数的类型可以为视场，焦距和F数这个组合，也可以是视场，入瞳直径以及F数这个组合，或者是视场，焦距以及F数这个组合；

自由曲面成像系统的曲面参数包括曲面的位置和曲面面形系数；所述自由曲面位置包括每个自由曲面顶点相对于全局坐标系的全局y坐标、每个自由曲面顶点相对于全局坐标系的全局z坐标以及每个自由曲面局部坐标系相对于全局坐标系绕x方向的旋转角度；自由曲面面形系数为描述该曲面面形的所有系数。

进一步地，所述自由曲面成像系统的系统参数空间的确定方法为：

根据设计要求选取两个以上相互独立且实现所述设计要求所必须的系统参数类型；按照各类型的系统参数的取值范围、任意两个类型系统参数之间的约束条件，如视场角乘以放大率不能超过某一个极限值来生成系统参数空间，其中，系统参数的类型数量决定系统参数空间的维度，各类型的系统参数的取值范围、任意两个类型系统参数之间的约束条件决定系统参数空间的形状。

也就是说，系统参数空间SPS是由各个系统参数所决定的高维空间，其维度由系统参数的个数所决定。而SPS的边界由系统参数之间根据其范围和其他实际需要的约束确定。SPS的不规则度会随着系统参数约束条件的复杂程度逐渐增加。

S12：按照如下方法分别判断剩余备选系统参数是否入选基础训练集：

每确定一个备选系统参数组合是否入选基础训练集后，将最新入选基础训练集的备选系统参数组合作为当前系统参数组合执行如下操作：

从剩余备选系统参数组合中选取与当前系统参数组合SYSP_f,current最接近的一组作为下一个基础系统的备选系统参数组合SYSP_f,nearest，并对当前系统参数组合SYSP_f,current对应的基础系统进行优化，得到下一组备选系统参数组合SYSP_f,nearest对应的基础系统BaseSys_f,nearest和曲面参数SURP_f,nearest；

判断基础系统BaseSys_f,nearest的性能是否满足要求，若满足，则备选系统参数组合SYSP_f,nearest入选基础数据集，若不满足，则在当前系统参数组合SYSP_f,current以外的其他已入选基础训练集的系统参数组合中，选择一组作为次近邻系统参数组合SYSP_{f,next_nearest}，并对次近邻系统参数组合SYSP_{f,next_nearest}对应的基础系统进行优化，重新得到下一组备选系统参数组合SYSP_f,nearest对应的基础系统BaseSys_f,nearest和对应的曲面参数SURP_f,nearest；

判断基础系统BaseSys_f,nearest的性能是否满足要求，若满足，则备选基础系统参数组合SYSP_f,nearest入选基础训练集，若不满足，剔除备选基础系统参数SYSP_f,nearest；

其中，若从剩余备选系统参数组合中选取的与初始基础系统参数SYSP_f,1最接近的一组备选系统参数组合SYSP_f,2对应的基础系统BaseSys_f,2的性能不满足要求，则直接对系统参数空间重新采样，并重新执行步骤S11～S12；

例如，下面给出获取第二～三个入选基础训练集的备选系统参数的过程：

步骤一：从剩余备选系统参数中选取与基础系统参数SYSP_f,1最接近的一组作为第二组备选系统参数SYSP_f,2，并对基础系统BaseSys₁进行优化，得到备选系统参数SYSP_f,2对应的基础系统BaseSys₂；

步骤二：判断基础系统BaseSys₂的性能是否满足要求，若满足，则第二组备选系统参数SYSP_f,2入选基础数据集，并进入步骤三；若不满足，则对系统参数空间重新采样；

步骤三：从剩余备选系统参数中选取与系统参数SYSP_f,2最接近的一组作为第三组备选系统参数SYSP_f,3，并对基础系统BaseSys₂进行优化，得到第三组系统参数SYSP_f,3对应的基础系统BaseSys₃；

步骤四：判断基础系统BaseSys₃的性能是否满足要求，若满足，则第三组备选系统参数SYSP_f,3入选基础数据集；若不满足，则从在系统参数SYSP_f,2以外的其他已入选基础数据的系统参数中，选择一组作为次近邻系统参数，此时只能是基础系统参数SYSP_f,1，对基础系统BaseSys₁进行优化，得到备选系统参数SYSP_f,3对应的基础系统BaseSys₃，并进入步骤五；

步骤五：判断基础系统BaseSys₃的性能是否满足要求，若满足，则第三组备选系统参数SYSP_f,3入选基础数据集；若不满足，剔除第三组备选系统参数SYSP_f,3，将不被选为基础训练集中的训练样本。

以此类推，依次判断N_f组备选系统参数是否能成为训练深度神经网络的样本。

由此可见，本发明采用一种系统演化的方式生成基础训练集，具体的，首先生成一个非先进系统参数的初始基础系统；以序列的方式生成剩余的基础系统；除了初始基础系统外，所有的基础系统BaseSys_f,i都从与其系统参数最接近的系统开始优化；在每一次优化后对系统的成像质量和是否存在遮挡进行评价，如果当前系统有致命错误或者成像质量极差或曲面之间存在遮挡，该系统从已获得的基础系统中选择其次近邻系统进行优化。若与近邻系统进行优化得到的基础系统仍然不满足要求，则跳过或者剔除该成像质量较差的系统对应的备选系统参数。

进一步地，对于训练大范围的系统参数所对应的DNN来说，数据集要足够大才能获得良好的训练结果，采用上述的序列生成方式来生成大训练集是非常耗时的。因此，采用上述方法只生成基础数据集，其余的数据集(补充数据集)则采用下面的K最近邻方法生成。具体的，所述补充训练集的获取方法如下：

通过均匀采样或随机采样的方式，从自由曲面成像系统的系统参数空间中采样N_s组备选系统参数，且N_s组备选系统参数与N_f组备选系统参数不重合；可以采用均匀采样或者随机采样的方式在系统参数空间进行采样。其中，均匀采样：在系统参数空间SPS中对于每一个系统参数，系统参数的值被等间隔的划分。随机采样：在系统参数空间SPS中随机选择N_s个系统参数组合。对于每一个系统参数组合SYSP_s,j，需要生成成像质量良好的基础系统BaseSys_s,j。

分别将N_s组备选系统参数作为当前系统参数执行如下步骤：

在基础训练集中选取K个与当前系统参数组合最接近的系统参数组合作为参考系统参数组合，并将各参考系统参数组合对应的曲面参数的加权平均作为当前系统参数组合对应的补充系统的初始曲面参数，其中，K至少为3；对补充系统的初始曲面参数进行优化，并判断优化结果是否满足性能要求，若满足，则优化结果为当前系统参数组合对应的最终曲面参数，优化可并行进行，以减少时间成本。

进一步地，补充训练集中系统参数SYSP_s,j与基础训练集中

的加权距离计算公式如下：

其中||·||是2范数，υ＝[υ₁,…,υ_t,…,υ_T]是决定每个系统参数权重的权重向量，

代表各向量对应元素相乘，T表示系统参数的类型个数。

进一步地，补充训练集中初始曲面参数的计算公式如下：

其中，

为初始曲面参数，SURP^*,j _f,m是基础训练集中的系统参数组合SYSP^*,j _f,m所对应的曲面参数，W_j,m是描述补充训练集中的第j个系统参数组合SYSP_s,j和K近邻中第m个系统参数组合SYSP^*,j _f,m相似程度的权重向量，与D_j,m成负相关关系，W_j,m＝1/D_j,m，且下标f表示基础，s表示补充。

S2：将训练总集中的系统参数和各系统参数对应的曲面参数分别作为深度神经网络的输入和输出，对深度神经网络进行训练，得到自由曲面成像系统的神经网络模型。

进一步地，所述深度神经网络DNN为前向反馈的BP神经网络，DNN的输入为系统参数，输出为曲面参数，其输入层节点数与系统参数个数相同，输出层节点数与曲面参数个数相同，即输入和输出层的每个节点分别对应一个系统参数和曲面参数。网络采取对称结构，即隐藏层的节点数关于中心隐藏层对称，比如第一个隐藏层和最后一个隐藏层的节点数相同。同时，DNN含有多个隐藏层来增强其鲁棒性和一般性，隐藏层和输出层使用相同的激活函数。网络的训练参数包括，优化算法，损失函数，激活函数，学习率等；具体的，训练DNN的方法如下：

训练DNN前需要对数据集中的数据进行预处理，以增加DNN的训练速度，缩短训练时间，此外还要对训练DNN的重要训练参数进行合理选择，比如损失函数，优化算法，学习率，激活函数等。同时，在DNN训练的初期模型通常是欠拟合的，在训练的后期模型可能会出现过拟合，可以采用正则化，dropout，早停，增加训练集样本的方式来解决过拟合问题。

训练总集中的训练样本的预处理方式如下：

其中，SYSP_total,a ^(τ)是训练总集中第a个系统的第τ个系统参数；U_a ^(τ)是SYSP_total,a ^(τ)经过预处理后的值；max(SYSP_total ^(τ))是第τ个系统参数在训练总集中的最大值；min(SYSP_total ^(τ))是第τ个系统参数在训练总集中的最小值。

进一步地，DNN的性能测试如下：

在DNN训练结束后，需要测试DNN的性能，首先在SPS中随机生成系统参数组合，并采用和训练集中相同的预处理方法来处理数据，并作为DNN的输入。在DNN输出结果后，做数据的逆处理来还原数据，并将还原后的数据输入到光学软件中来获得预测的光学系统。最后根据光学系统成像质量来综合评价DNN的性能。

S3：在系统参数空间内重新获取与训练总集中系统参数不相同的自由曲面成像系统的系统参数，然后输入到所述神经网络模型，得到对应的曲面参数，并根据该对应的曲面参数得到自由曲面成像系统的初始结构。

需要注意的是，本实施例最终得到的只是自由曲面成像系统的初始结构，得到初始结构后，可以根据现有的优化方法对初始结构进行微调，进行后续优化。

综上，参见图2，该图为本实例提供的深度神经网络的训练数据集以及深度神经网络的训练和测试方法流程图。由图2可知，本发明首先需要确定用于训练深度神经网络需要的系统参数和曲面参数，需要注意的是系统参数是要相互独立且描述自由曲面成像系统不可或缺的，曲面参数需要能描述曲面位置和形状；然后根据设计要求和系统规格的范围，由系统参数的变化范围和系统参数之间的约束条件确定系统参数空间；然后，在系统参数空间SPS中采样N_f个系统参数组合SYSP_f,i，然后采用系统演化的方法获得对应的基础系统BaseSys_f,i；获得基础数据后，在SPS中采样N_s个系统参数组合SYSP_s,j，然后采用K近邻的方法获得补充系统的初始曲面参数

可以并行优化完成，经过优化后得到最终的补充系统曲面参数SURP_s,j，最终获得整个训练数据集。最后，将基础数据集和补充数据集整合在一起作为最终的训练数据集，将系统参数和曲面参数分别作为DNN的输入和输出部分，对DNN进行训练。当网络测试良好时，对于SPS中给定的系统规范组合作为输入，DNN可以直接输出相应的曲面参数。相应的系统可以作为进一步优化的良好自由曲面成像系统初始结构。

实施例二

下面结合附图说明一种大参数范围且高级系统规格的自由曲面成像系统的网络构建与应用过程。

本实施例采用的自由曲面离轴三反成像系统，选择x方向视场(half-XFOV)，y方向视场(half-YFOV)，以及系统的入瞳直径(ENPD)作为系统参数，焦距(EFL)固定为1mm.系统采用常见的Wetherell结构，第二个面为光阑面。曲面面型使用无二次曲面基底的6阶XY多项式曲面，可表示为：

z(x,y)＝A₃x²+A₅y²+A₇x²y+A₉y³+A₁₀x⁴+A₁₂x²y²+A₁₄y⁴+A₁₆x⁴y

+A₁₈x²y³+A₂₀y⁵+A₂₁x⁶+A₂₃x⁴y²+A₂₅x²y⁴+A₂₇y⁶

其中，A_i是XY多项式的面形系数。每个自由曲面的曲面参数包括其相对于全局坐标系的y方向的坐标，相对于全局坐标系的z方向的坐标，相对于全局坐标系的x轴的旋转角，以及14个面形系数(光阑面的相对于全局坐标系的y，z坐标除外)，共计49个曲面参数。系统参数空间SPS由以下约束条件确定：

其中后三个约束条件意味着不同系统参数不能同时变大，视场角(FOV)的单位为度，系统的入瞳直径ENPD的单位为mm。对于基础数据集来说，x方向不同视场的个数为40个，y方向不同视场的个数为40个，不同入瞳直径的个数为15个。在SPS中共选择8457个系统参数，初始基础系统的系统参数为：[half-XFOV,half-YFOV,ENPD]＝[1°,1°,0.125mm]，也就是使用了SPS中最小的视场范围以及最大的F数，初始基础系统BaseSys₁可以使用多种不同的优化方法得到。由于系统关于子午面对称，所以优化过程只考虑了半视场范围内的十个视场：(0°，0°)，(0°，-1°)，(0°，-1°)，(1°，0°)，(1°，-1°)，(1°，-1°)，(1°，0.5°)，(1°，-0.5°)，(0.5°，-0.5°)，(0.5°，-0.5°)。其他系统的设计也采用相似的视场采样方法。优化过程需要控制系统的焦距EFL，曲面使用区域，相对畸变以及光线遮拦等。在获得基础训练集后，接下来要做的就是生成补充训练集。K的取值为3，也就是说对于补充数据集中的每个随机的系统参数组合SYSP_s,j，在基础数据集中选择3个与其系统参数最接近的系统，将这3个系统的曲面参数的加权平均作为该系统的初始曲面参数

然后执行与基础数据集相同的优化策略得到最终的曲面参数SURP_s,j。最终得到8414个成像质量良好的系统，整个训练集也就得到了，其中包含16871个系统的系统参数和曲面参数。

得到训练集后，就要训练DNN，在这个实施例中，DNN是包含12个隐藏层的对称结构。第一个隐藏层的节点数为150，按照逐层递减10个节点的原则直到第6个隐藏层有100个节点。剩下的隐藏层从第7个隐藏层的100个节点增加到第12个隐藏层的150个节点。DNN的训练参数如下：Adam，0.0006，MSE，tanh，分别为DNN的优化算法，学习率，误差函数，激活函数。训练次数为70万次，训练时间大约为14个小时，最终的误差值为0.225。

在训练DNN后需要测试其性能，在SPS中随机生成2000个系统参数组合，然后将其输入到训练好的DNN中，就可得到曲面参数，进而得到对应的自由曲面离轴三反系统。然后评价系统的质量，包括判断系统是否存在遮拦和/或光线追迹错误。在所有测试系统中有28个系统发生光线追迹错误，4个系统存在遮拦。参见图3和图4，分别为本实施例提供的采用DNN得到的2000个系统的像质的平均RMS弥散斑直径示意图和最大绝对畸变示意图。DNN预测的绝大多数系统是可以作为一个可以进一步优化的良好的初始结构。

实施例三

下面结合附图说明另一种大参数范围且高级系统规格的自由曲面成像系统的网络构建与应用过程。

本实施例是自由曲面离轴四反无焦望远系统，系统的光阑位于系统的后面，物空间的入射中心视场主光线与光阑处的出射中心视场主光线是互相垂直的。对于这个系统我们选择，x方向视场(half-XFOV)，y方向视场(half-YFOV)，视场放大率(Γ)作为系统参数。入瞳直径固定为1mm。自由曲面采用6阶XY多项式面形，每个自由曲面的曲面参数包括曲面相对于全局坐标系的y方向坐标，相对于全局坐标系的z方向的坐标，相对于全局坐标系的x轴的旋转角，以及14个面形系数。所以每个系统有68个曲面参数。SPS的约束条件如下：

对于基础数据集来说，x方向不同视场的个数为26个，y方向不同视场的个数为26个，不同入瞳直径的个数为15个。基础数据中有7056组系统参数和曲面参数。

优化过程中，在无焦望远系统后增加一个焦距为0.5mm的理想透镜以辅助系统设计。此外，需要严格系统的视场放大率，光线遮拦，系统体积，系统在y方向和z方向的比例，相对畸变。K的值为3，补充数据集中的系统数为7314.整个训练集有14370个基础系统。

训练的DNN有15个隐藏层。隐藏层的节点数从第一个隐藏层的170个节点到第8个隐藏层的100个节点再到最后一个隐藏层的170个节点。总的训练次数为70万次，训练时间大于为20小时，最终误差函数为0.77。为了测试DNN，在SPS中随机产生2000个系统参数组合，输入到DNN中来评价对应预测系统的性能。在所有的测试系统中，有14个系统为光线追迹错误系统，有71个系统存在遮拦。71个遮拦系统中有45个系统的遮拦比较小(≤0.1mm)，可以通过简单地优化或者减小ENPD来达到消除遮拦的效果，这些系统仍旧可以作为较好的初始结构。参见图5和图6，分别是无光线追迹错误的测试系统像质的平均RMS弥散斑直径示意图和最大绝对畸变示意图。由DNN生成的大部分系统还是可以作为一个可以被优化的良好的初始结构。

实施例四

下面结合附图说明又一种大参数范围且高级系统规格的自由曲面成像系统的网络构建与应用过程。

本实施例为用于近眼显示的自由曲面棱镜，从微显示器发出的光线经过曲面4的折射后在曲面3(1)发生全反射，后经过曲面2的反射和曲面1的透射进入人眼。我们选择x方向半视场(half-XFOV),y方向半视场(half-YFOV)，F数(F#)作为系统参数，入瞳直径固定为4mm。该自由曲面成像系统有51个曲面参数，曲面面形为6阶XY多项式曲面。决定SPS的约束条件如下：

后三个约束条件表示，考虑到设计难度，视场和1/F#不应该同时变大。初始基础系统的系统参数为[half-XFOV,half-YFOV,F#]＝[5°,5°,5]。在优化过程中要控制出瞳距离，光线在曲面3上发生全反射，相对畸变，曲面的平滑度，光线遮拦等。基础数据集中有7535个成像质量良好的基础系统。对于不中数据集来说，K的值为3，补充系统的个数为8919。DNN的结构为含有26个隐藏层的对称结构，节点数从第一个隐藏层的180个节点减少到第13隐藏层的60个节点，然后再增加到最后一个隐藏层的180个节点。训练次数为60万次，学习率为0.0006，其余训练参数与上面使用的DNN相同。训练时间大约为35个小时，最终的误差函数为0.22。在SPS中随机生成2000个系统参数组合来测试DNN的性能，以及对应系统的成像质量。在所有测试系统中有162个系统发生光线追迹错误，有19个系统存在遮拦。这些光线追迹错误系统中有许多系统的结构是正常的，只需稍加优化就会得到正常系统。参考图7和图8，分别是无光线追迹错误的测试系统像质的平均RMS弥散斑直径示意图和最大绝对畸变示意图。由DNN生成的大部分系统还是可以作为一个可以被优化的良好的初始结构。

由此可见，本实施例提供的基于深度学习的自由曲面成像系统初始结构生成方法具有以下优点：其一，在较大系统参数范围内自动化快速生成大量成像质量良好的基础数据集中的基础系统和补充数据集中的补充系统，两个数据集共同组成训练集，训练集生成方法快，并且可以自动化完成。其二，在获得性能良好的DNN模型后，如果需要设计系统参数空间内的任意系统的参数结构，只需要将其系统参数输入到DNN，即可得到对应的曲面参数进而可得到对应的自由曲面成像系统初始结构。其三，该方法提供了一种一般化的参数范围广系统参数先进的多种不同类型或用途的自由曲面成像系统初始结构生成方法，为其他自由曲面初始结构的生成提供了见解。其四，该方法大大减少了设计者的时间和人力成本，以及对高级设计经验的依赖。即使是光学设计的初学者利用该方法也能完成自由曲面初始结构的设计任务。同时该方法还可以集成到现有的光学设计软件和云服务器上，方便更多的设计者使用。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当然可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (9)

1.一种基于深度学习的自由曲面成像系统初始结构生成方法，其特征在于，包括以下步骤：

S1：按照如下步骤获取基础训练集：

S11：从自由曲面成像系统的系统参数空间中采样N_f组备选系统参数组合，并将其中实现难度最低的一组备选系统参数组合作为初始基础系统参数SYSP_f,1，则初始基础系统参数SYSP_f,1对应的自由曲面成像系统作为基础系统BaseSys₁；

S12：按照如下方法分别判断剩余备选系统参数组合是否入选基础训练集：

每确定一个备选系统参数组合是否入选基础训练集后，将最新入选基础训练集的备选系统参数组合作为当前系统参数组合执行如下操作：

从剩余备选系统参数组合中选取与当前系统参数组合SYSP_f,current最接近的一组作为下一个基础系统的备选系统参数组合SYSP_f,nearest，并对当前系统参数组合SYSP_f,current对应的基础系统进行优化，得到下一组备选系统参数组合SYSP_f,nearest对应的基础系统BaseSys_f,nearest和曲面参数SURP_f,nearest；

判断基础系统BaseSys_f,nearest的性能是否满足要求，若满足，则备选系统参数组合SYSP_f,nearest入选基础数据集，若不满足，则在当前系统参数组合SYSP_f,current以外的其他已入选基础训练集的系统参数组合中，选择一组作为次近邻系统参数组合SYSP_{f,next_nearest}，并对次近邻系统参数组合SYSP_{f,next_nearest}对应的基础系统进行优化，重新得到下一组备选系统参数组合SYSP_f,nearest对应的基础系统BaseSys_f,nearest和对应的曲面参数SURP_f,nearest；

判断基础系统BaseSys_f,nearest的性能是否满足要求，若满足，则备选基础系统参数组合SYSP_f,nearest入选基础训练集，若不满足，剔除备选基础系统参数SYSP_f,nearest；

其中，若从剩余备选系统参数组合中选取的与初始基础系统参数SYSP_f,1最接近的一组备选系统参数组合SYSP_f,2对应的基础系统BaseSys_f,2的性能不满足要求，则直接对系统参数空间重新采样，并重新执行步骤S11～S12；

S2：获取基础训练集后，采用加权K近邻法根据基础训练集获取补充训练集，再合并基础训练集与补充训练集得到训练总集；其中，所述补充训练集的获取方法为：

从自由曲面成像系统的系统参数空间中采样N_s组备选系统参数组合，且N_s组备选系统参数组合与N_f组备选系统参数组合不重合；

分别将N_s组备选系统参数组合作为当前系统参数组合执行如下步骤：

在基础训练集中选取K个与当前系统参数组合最接近的系统参数组合作为参考系统参数组合，并将各参考系统参数组合对应的曲面参数的加权平均作为当前系统参数组合对应的补充系统的初始曲面参数，其中，K至少为3；

对补充系统的初始曲面参数进行优化，并判断优化结果是否满足性能要求，若满足，则优化结果为当前系统参数组合对应的最终曲面参数；

S3：将训练总集中的系统参数组合和各系统参数组合对应的曲面参数分别作为深度神经网络的输入和输出，对深度神经网络进行训练，得到自由曲面成像系统的神经网络模型；

S4：在系统参数空间重新获取与基础训练集中不相同的自由曲面成像系统的系统参数组合，然后输入到所述神经网络模型，得到对应的曲面参数，并根据该对应的曲面参数得到自由曲面成像系统的初始结构。

2.如权利要求1所述的一种基于深度学习的自由曲面成像系统初始结构生成方法，其特征在于，所述自由曲面成像系统的系统参数组合和曲面参数的选取原则为：

实现设计所给定的自由曲面光学系统所必须且独立的系统参数；曲面参数为包含自由曲面成像系统各个曲面的空间位置信息和形状信息的参数。

3.如权利要求1所述的一种基于深度学习的自由曲面成像系统初始结构生成方法，其特征在于，所述自由曲面成像系统的系统参数空间的确定方法为：按照各类型的系统参数的取值范围、任意两个类型系统参数之间的约束条件生成系统参数空间，其中，系统参数的类型数量决定系统参数空间的维度，各类型的系统参数的取值范围、任意两个类型系统参数之间的约束条件决定系统参数空间的形状。

4.如权利要求1所述的一种基于深度学习的自由曲面成像系统初始结构生成方法，其特征在于，判断任意一个基础系统的性能是否满足要求的方法为：

判断基础系统的成像质量是否满足要求、基础系统中各曲面之间是否存在遮拦，若成像质量满足要求且不存在遮拦，则该基础系统的性能满足要求。

5.如权利要求1所述的一种基于深度学习的自由曲面成像系统初始结构生成方法，其特征在于，剩余备选系统参数中与当前系统参数最接近的一组备选系统参数SYSP_f,nearest满足：

备选系统参数SYSP_f,nearest与当前系统参数SYSP_f,current之间的加权距离最短。

6.如权利要求1所述的一种基于深度学习的自由曲面成像系统初始结构生成方法，其特征在于，系统参数的类型包括视场角、放大率、F数、焦距、光阑位置、入瞳直径以及出瞳距离，且自由曲面成像系统的类型不同，系统参数空间包含的系统参数的类型不同，其中，对于自由曲面反射成像系统，系统参数空间包含的系统参数的类型为视场，焦距以及F数；对于自由曲面无焦望远系统，系统参数空间包含的系统参数的类型为视场和放大率；对于自由曲面棱镜成像系统，系统参数空间包含的系统参数的类型为视场，入瞳直径和F数。

7.如权利要求1所述的一种基于深度学习的自由曲面成像系统初始结构生成方法，其特征在于，从自由曲面成像系统的系统参数空间中采样N_f组备选系统参数所选用的采样方法为均匀采样或随机采样。

8.如权利要求5所述的一种基于深度学习的自由曲面成像系统初始结构生成方法，其特征在于，所述加权距离的计算公式如下：

其中，||·||是2范数，υ＝[υ₁,…,υ_t,…,υ_T]是决定每个系统参数权重的权重向量，

代表各向量对应元素相乘，T表示系统参数的类型个数。

9.如权利要求1所述的一种基于深度学习的自由曲面成像系统初始结构生成方法，其特征在于，补充训练集中初始曲面参数的计算公式如下：

其中，

为初始曲面参数，SURP^*,j _f,m是基础训练集中的系统参数组合SYSP^*,j _f,m所对应的曲面参数，W_j,m是描述补充训练集中的系统参数组合SYSP_s,j和SYSP^*,j _f,m相似程度的权重向量，且W_j,m＝1/D_j,m。

Images