CN116068758B

CN116068758B - 全景环带镜头设计方法、镜头及全景图像恢复方法

Info

Publication number: CN116068758B
Application number: CN202310358712.XA
Authority: CN
Inventors: 汪凯巍; 高少华; 蒋奇; 白剑
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2023-04-06
Filing date: 2023-04-06
Publication date: 2023-06-27
Anticipated expiration: 2043-04-06
Also published as: CN116068758A

Abstract

本发明公开了全景环带镜头设计方法、镜头及全景图像恢复方法，全景环带镜头设计方法基于匹兹瓦尔和校正，实现了轻薄全景环带镜头的初始结构的快速构建，镜头的透镜数量少于或等于3片，避免了传统全景环带镜头在设计过程中的参数串扰限制，无需多片球面透镜或增加非球面透镜的复杂系统设计，降低了加工和装配公差要求。全景图像恢复方法利用透视图像数据集，通过仿真的方式模拟了全景环带展开图的成像方式，弥补了全景环带图像恢复数据集的空缺，提供了全景环带图像恢复所缺少的透视‑仿真退化图像对，弥补了轻薄光学设计带来的像差问题以及全景图像展开带来的插值问题。

Description

全景环带镜头设计方法、镜头及全景图像恢复方法

技术领域

本发明属于光学设计、深度学习技术领域，尤其涉及全景环带镜头设计方法、镜头及全景图像恢复方法。

背景技术

随着现代成像光学系统的发展，高像质、大视场、小体积、轻重量已经成为新的发展趋势。传统成像光学系统为了达到上述目标，往往采用增大系统孔径等方式提高分辨率和视场、增加透镜数量以及使用特殊非球面面型等方式消除因为视场增大而引入的轴外像差，多种材料组合或引入特殊材料等方式消除大视场引入的色差，以上方法虽然可以提高分辨率、增大视场、扩宽波段，但是会使系统结构复杂、质量大、成本高，不符合光学系统小型化的发展趋势。

常见的传统全景成像系统是鱼眼光学系统，这种成像系统的边缘视场畸变通常很大并且边缘视场相对照度较低而不是应用在场景感知等领域的全景成像系统的最佳选项。全景环带镜头的畸变较小，并且在全视场范围内具有高而均匀的相对照度。相对于鱼眼光学系统，全景环带镜头的结构形式更加紧凑，适合应用在空间和重量限制的场景感知领域。目前，全景环带镜头的透镜数通常在7片以上，由于透镜数多造成的系统复杂、公差严格、高成本、大体积、大重量等问题严重限制了全景成像系统在小型化机器人、无人机、轻薄可穿戴设备、无人驾驶等领域的场景感知应用。另一方面，全景环带镜头属于超广角光学系统，强烈依赖初始结构，系统初始结构通常也被称为系统的起点，在这一起点处优化驱使评价函数逐渐降低直至到最低点。传统全景环带镜头设计方法通过添加透镜数以及使用各种非球面面型进行成像性能优化和设计时，优化指向性低，容易造成参数之间的串扰，严重限制了系统参数的优化能力而无法跳出局部解，从而无法得到更好的成像质量。

发明内容

本申请实施例的目的是提供全景环带镜头设计方法、镜头及全景图像恢复方法，以弥补传统全景成像镜头透镜数目多而造成的系统复杂、公差严格、高成本、大体积、大重量的缺陷，快速进行全景环带镜头的轻薄化设计。

根据本申请实施例的第一方面，提供一种全景环带镜头设计方法，所述全景环带镜头包括全景环带镜头块、光阑、中继透镜组、传感器，该方法包括：

S11：设置全景环带镜头块的初始参数，所述初始参数包括全景环带透镜块的厚度、表面曲率、材料折射率；

S12：利用所述全景环带透镜块的表面曲率和材料折射率，计算全景环带透镜块的匹兹瓦尔和因子，从而得到中继透镜组的匹兹瓦尔和因子；

S13：根据所述中继透镜组的匹兹瓦尔和因子，给定中继透镜组的材料折射率，计算得到中继透镜组中凸面的表面曲率，设置透镜的表面间厚度，其中所述中继透镜组为单块平凸透镜；

S14：根据全景环带透镜块的厚度、表面曲率、材料折射率和中继透镜组的材料折射率、中继透镜组中凸面的表面曲率以及透镜的表面间厚度，设置波长、孔径、视场，从而建立初始的全景环带镜头结构模型；

S15：根据探测器匹配原理对所述全景环带镜头结构模型的焦距进行设定和优化，设置实际玻璃材料；

S16：对优化后的全景环带镜头结构模型的点列、畸变、调制传递函数进行评价，若评价结果不满足预定标准则返回步骤S15，反之则进入步骤S17；

S17：对全景环带镜头结构模型进行公差分析，若公差分析结果比预定公差标准宽松则返回S15，反之则将所述全景环带镜头结构模型作为设计结果，以利用所述设计结果进行出图和制造。

进一步地，所述中继透镜组包括1~2片透镜，当中继透镜组的透镜为2片透镜时，其构成形式为分离式或双胶合式。

进一步地，步骤S12包括：

利用所述全景环带透镜块的表面曲率和材料折射率，计算所述全景环带透镜块的匹兹瓦尔和因子

：

其中

是光线追迹在所述全景环带镜头块中经过最后一个表面的序号，/>

是第

个表面的表面曲率，/>

与/>

分别是第/>

个表面前后的材料折射率；

将预先设定的匹兹瓦尔和因子与所述全景环带透镜块的匹兹瓦尔和因子的差值作为中继透镜组的匹兹瓦尔和因子，其中所述预先设定的匹兹瓦尔和因子小于等于0.01。

进一步地，步骤S13中，根据下式计算得到中继透镜组中凸面的表面曲率

：

其中

是光线追迹在轻薄全景环带镜头中经过整个成像系统的最后一个表面的序号，/>

与/>

分别是第

个表面前后的材料折射率，/>

为中继透镜组的匹兹瓦尔和因子。

进一步地，步骤S16中的预定标准为： 60%视场点列RMS半径小于传感器一个像元尺寸、F-theta畸变小于5%、所有视场在奈奎斯特频率处调制传递函数高于0.1。

根据本申请实施例的第二方面，提供一种全景环带镜头，由第一方面所述的全景环带镜头设计方法设计得到。

根据本申请实施例的第三方面，提供一种全景图像恢复方法，包括：

获取透视图像数据集；

通过全景退化图像仿真方法对所述透视图像数据集进行全景展开图像成像仿真，得到对应的仿真退化图像，从而得到透视-仿真退化图像对；

利用所述透视-仿真退化图像对，采用L1损失函数或L2损失函数对进行图像恢复网络的训练，直至将所述仿真退化图像输入图像恢复网络得到的恢复图像与所述对应的透视图像间的峰值信噪比指标大于预定阈值；

将如第二方面所述的全景环带镜头拍摄得到的全景图像进行展开，并将展开得到的图像输入训练后的图像恢复网络，得到恢复的全景展开图像。

进一步地，通过全景退化图像仿真方法对所述透视图像数据集进行全景展开图像成像仿真，得到对应的仿真退化图像，从而得到透视-仿真退化图像对，包括：

通过光学设计软件对所述全景环带镜头进行光线追迹，计算成像波段和视场角范围内各波长和视场下的点扩散函数；

将透视图像数据集按照全景环带图像展开插值方式进行分块不均匀上下采样，得到适应全景展开的透视图像；

将所述适应全景展开的透视图像与所述成像波段和视场角范围内各波长和视场下的点扩散函数进行分块卷积，得到对应的仿真退化图像，构成透视-仿真退化图像对。

根据本申请实施例的第四方面，提供一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面或第三方面所述的方法。

根据本申请实施例的第五方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面或第三方面所述方法的步骤。

本申请的实施例提供的技术方案可以包括以下有益效果：

由上述实施例可知，本申请提出了一种基于匹兹瓦尔和校正的全景环带镜头设计方法，实现了轻薄全景环带镜头的初始结构的快速构建，透镜数量少于或等于3片，避免了传统全景环带镜头在设计过程中的参数串扰限制，无需多片球面透镜或增加非球面透镜的复杂系统设计，降低了加工和装配公差要求，具备视场大、结构简单、公差宽松、成本低、体积小、重量轻的优点。

本申请利用了公开的高清透视图像数据集，通过仿真的方式模拟了全景环带展开图的成像方式，弥补了全景环带图像恢复数据集的空缺，提供了全景环带图像恢复所缺少的高清图像-退化图像数据对。本发明提出的基于深度学习的退化图像恢复方法能够弥补轻薄光学设计带来的像差问题以及全景图像展开带来的插值问题，实现了单纯光学设计无法实现的少镜片、易加工、高成像质量的全景环带成像系统。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是根据一示例性实施例示出的一种全景环带镜头的结构示意图。

图2是根据一示例性实施例示出的一种全景环带镜头设计方法的流程图。

图3是根据一示例性实施例示出的一种全景环带镜头设计装置的框图。

图4是根据一示例性实施例示出的一种全景环带镜头的光学系统结构图。

图5是根据一示例性实施例示出的一种全景图像恢复方法的流程图。

图6是根据一示例性实施例示出的一种轻薄全景环带镜头的具体实施例的实际拍摄图像。

图7是根据一示例性实施例示出的一种轻薄全景环带镜头的具体实施例光学系统的全景展开图像增强对比图。

图8是根据一示例性实施例示出的一种全景图像恢复装置的框图。

图9是根据一示例性实施例示出的一种电子设备的示意图。

图中的附图标记有：1、全景环带镜头块；2、光阑；3、中继透镜组；4、传感器。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

实施例1

如图1所示，全景环带镜头包括全景环带镜头块1、光阑2、中继透镜组3、传感器4，光线从全景环带镜头外部以最小半视场角

和最大半视场角/>

的视场范围进入到全景环带镜头块1时依次发生折射-反射-反射-折射后进入光阑2，然后经过中继透镜组3后成像在传感器4上，其光线路径如图1中光路箭头所示，本方法针对全景环带镜头块1和中继透镜组3进行设计。图2是根据一示例性实施例示出的一种全景环带镜头设计方法的流程图，如图2所示，该方法应用于终端中，可以包括以下步骤：

S11：设置全景环带镜头块1的初始参数，所述初始参数包括全景环带透镜块的厚度、表面曲率、材料折射率；

S12：利用所述全景环带透镜块的表面曲率和材料折射率，计算全景环带透镜块的匹兹瓦尔和因子，从而得到中继透镜组3的匹兹瓦尔和因子；

S13：根据所述中继透镜组3的匹兹瓦尔和因子，给定中继透镜组3的材料折射率，计算得到中继透镜组3中凸面的表面曲率，设置透镜的表面间厚度，其中所述中继透镜组3为单块平凸透镜；

S14：根据全景环带透镜块的厚度、表面曲率、材料折射率和中继透镜组3的材料折射率、中继透镜组3中凸面的表面曲率以及透镜的表面间厚度，设置波长、孔径、视场，从而建立初始的全景环带镜头结构模型；

由上述实施例可知，本申请出了一种基于匹兹瓦尔和校正的全景环带镜头设计方法，实现了轻薄全景环带镜头的初始结构的快速构建，透镜数量少于或等于3片，避免了传统全景环带镜头在设计过程中的参数串扰限制，无需多片球面透镜或增加非球面透镜的复杂系统设计，降低了加工和装配公差要求，具备视场大、结构简单、公差宽松、成本低、体积小、重量轻的优点。

在S11的具体实施中，设置全景环带镜头块1的初始参数，所述初始参数包括全景环带透镜块的厚度、表面曲率、材料折射率；

具体地，所述全景环带镜头块1为全景环带镜头的一个透镜。

在S12的具体实施中，利用所述全景环带透镜块的表面曲率和材料折射率，计算全景环带透镜块的匹兹瓦尔和因子，从而得到中继透镜组3的匹兹瓦尔和因子；

具体地，所述中继透镜组3包括1~2片透镜，当中继透镜组3的透镜为2片透镜时，其构成形式为分离式或双胶合式。

轻薄全景环带镜头的匹兹瓦尔和

可由下式表示

其中

是拉格朗日不变量，/>

是第/>

个表面的曲率（如图1所示，光线从镜头外部进入全景环带镜头时经过的第一个表面被称为表面1，经过的第2个表面为表面2，根据光线在全景环带镜头中传播的路径依次定义第i个表面的序号。），/>

与/>

分别是第/>

个表面前后的折射率；当表面为反射面时，/>

；

具体地，此步骤可以包括以下子步骤：

S21：利用所述全景环带透镜块的表面曲率和材料折射率，计算所述全景环带透镜块的匹兹瓦尔和因子

：

其中

是光线追迹在所述全景环带镜头块1中经过最后一个表面的序号，/>

是第

个表面的表面曲率，/>

与/>

分别是第/>

个表面前后的材料折射率。例如，当全景环带镜头块1由1个透镜组成时，/>

，当轻薄全景环带镜头块1由个透镜组成时，/>

。

S22：将预先设定的匹兹瓦尔和因子与所述全景环带透镜块的匹兹瓦尔和因子的差值作为中继透镜组的匹兹瓦尔和因子，其中所述预先设定的匹兹瓦尔和因子小于等于0.01；

具体地，当轻薄全景环带镜头块1的匹兹瓦尔和因子

与轻薄全景环带镜头的中继透镜组3匹兹瓦尔和因子/>

之和为匹兹瓦尔和因子≤0.01时，认为全景环带镜头系统的匹兹瓦尔场曲得到良好校正。一实施例中，在计算轻薄全景环带镜头的初始结构时，规定其和等于0.01可以计算得到中继透镜组3的匹兹瓦尔和因子

。其计算方法如下式所示：

在S13的具体实施中，根据所述中继透镜组3的匹兹瓦尔和因子，给定中继透镜组3的材料折射率，计算得到中继透镜组3中凸面的表面曲率，设置透镜的表面间厚度，其中所述中继透镜组3为单块平凸透镜；

具体地，当中继透镜组3由一个平凸透镜组成时，中继透镜组3中只有单个凸面具有光焦度

，根据下式计算得到中继透镜组3中凸面的表面曲率/>

，在建立初始结构时也可将单个平凸透镜进行透镜分裂成一个具有两个表面曲率一致的弯月透镜和一个平凸透镜；

其中

与/>

分别是第/>

个表面前后的材料折射率，/>

为中继透镜组3的匹兹瓦尔和因子。

在S14的具体实施中，根据全景环带透镜块的厚度、表面曲率、材料折射率和中继透镜组3的材料折射率、中继透镜组3中凸面的表面曲率以及透镜的表面间厚度，设置波长、孔径、视场，从而建立初始的全景环带镜头结构模型；

具体地，使用光学设计软件Zemax、Code V等进行全景环带镜头结构模型的构建，根据应用场景输入全景环带镜头的波长、孔径、视场和初始全景环带镜头结构模型，波长、孔径、视场是全景环带镜头的基本参数，若无这些参数则无法建立系统模型，这些参数一般根据不同应用场景进行合理设置。

在S15的具体实施中，根据探测器匹配原理对所述全景环带镜头结构模型的焦距进行设定和优化，设置实际玻璃材料；

具体地，由于上述给定和计算的是玻璃材料的折射率，未指定玻璃材料型号，此处根据述给定和计算的玻璃材料的折射率设置实际玻璃材料。根据探测器匹配原理对所述全景环带镜头结构模型的焦距进行设定和优化为本领域常规技术手段，此处不作赘述。

在S16的具体实施中，对优化后的全景环带镜头结构模型的点列、畸变、调制传递函数进行评价，若评价结果不满足预定标准则返回步骤S15，反之则进入步骤S17；

在一实施例中，所述预定标准为： 60%视场点列RMS（root mean square，均方根）半径小于传感器4一个像元尺寸、F-theta畸变小于5%、所有视场在奈奎斯特频率处调制传递函数高于0.1。在具体实施中，该预定标准也可以根据实际情况和需求设置。

在S17的具体实施中，对全景环带镜头结构模型进行公差分析，若公差分析结果比预定公差标准宽松则返回S15，反之则将所述全景环带镜头结构模型作为设计结果，以利用所述设计结果进行出图和制造。

在一实施例中，当厚度公差宽松程度大于±0.05mm时，系统在奈奎斯特频率出对衍射平均调制传递函数分析200次，全视场衍射平均调制传递函数有90%概率大于0.2时，认为公差宽松，反之认为公差严格。此处仅以厚度公差为范例，公差分析时还需对表面曲率、倾斜和偏芯等公差项进行分析。

与前述的全景环带镜头设计方法的实施例相对应，本申请还提供了全景环带镜头设计装置的实施例。

图3是根据一示例性实施例示出的一种全景环带镜头设计装置框图。参照图3，该装置可以包括：

设置模块11，用于设置全景环带镜头块1的初始参数，所述初始参数包括全景环带透镜块的厚度、表面曲率、材料折射率；

第一计算模块12，用于利用所述全景环带透镜块的表面曲率和材料折射率，计算全景环带透镜块的匹兹瓦尔和因子，从而得到中继透镜组3的匹兹瓦尔和因子；

第二计算模块13，用于根据所述中继透镜组3的匹兹瓦尔和因子，给定中继透镜组3的材料折射率，计算得到中继透镜组3中凸面的表面曲率，设置透镜的表面间厚度，其中所述中继透镜组3为单块平凸透镜；

建模模块14，用于根据全景环带透镜块的厚度、表面曲率、材料折射率和中继透镜组3的材料折射率、中继透镜组3中凸面的表面曲率以及透镜的表面间厚度，建立初始的全景环带镜头结构模型，设置波长、孔径、视场；

优化模块15，用于根据探测器匹配原理对所述全景环带镜头结构模型的焦距进行设定和优化，设置实际玻璃材料；

评价模块16，用于对优化后的全景环带镜头结构模型的点列、畸变、调制传递函数进行评价，若评价结果不满足预定标准则返回优化模块，反之则进入公差分析模块；

公差分析模块17，用于对全景环带镜头结构模型进行公差分析，若公差分析结果比预定公差标准宽松则返回优化模块，反之则将所述全景环带镜头结构模型作为设计结果，以利用所述设计结果进行出图和制造。

实施例2

本申请提供一种全景环带镜头，由实施例1所述的全景环带镜头设计方法设计得到。

如图4所示，通过所述全景环带镜头设计方法得到的全景环带镜头的透镜数量少于或等于3片，全景有效成像半视场

（最大半视场角/>

减去最小半视场角/>

）大于或等于75°。一实施例中全景有效成像半视场/>

为75°，最大半视场角/>

为100°，最小半视场角/>

为25°。整个轻薄全景环带镜头包括3片镜片，其中中继透镜组3为双胶合透镜。特别地，中继透镜组3也可为双片分离式透镜，或是全景环带镜头块1为双片式结构，中继透镜组3为单片透镜。

实施例3

图5是根据一示例性实施例示出的一种全景图像恢复方法的流程图，如图5所示，该方法应用于终端中，可以包括以下步骤：

步骤S31：获取透视图像数据集；

步骤S32：通过全景退化图像仿真方法对所述透视图像数据集进行全景展开图像成像仿真，得到对应的仿真退化图像，从而得到透视-仿真退化图像对；

步骤S33：利用所述透视-仿真退化图像对，采用L1损失函数或L2损失函数对进行图像恢复网络的训练，直至将所述仿真退化图像输入图像恢复网络得到的恢复图像与所述对应的透视图像间的峰值信噪比指标大于预定阈值；

步骤S34：将上述全景环带镜头拍摄得到的全景图像进行展开，并将展开得到的图像输入训练后的图像恢复网络，得到恢复的全景展开图像。

由上述实施例可知，本申请利用了透视图像数据集，通过仿真的方式模拟了全景环带展开图的成像方式，弥补了全景环带图像恢复数据集的空缺，提供了全景环带图像恢复所缺少的高清图像-退化图像数据对。本申请提出的基于深度学习的退化图像恢复方法能够弥补轻薄光学设计带来的像差问题以及全景图像展开带来的插值问题，实现了单纯光学设计无法实现的少镜片、易加工、高成像质量的全景环带成像系统。

在步骤S31的具体实施中，获取透视图像数据集；

具体地，获取公开的高清透视图像数据集如DIV2K和Flickr2K。

在步骤S32的具体实施中，通过全景退化图像仿真方法对所述透视图像数据集进行全景展开图像成像仿真，得到对应的仿真退化图像，从而得到透视-仿真退化图像对；

具体地，此步骤可以包括如下子步骤：

步骤S41：通过光学设计软件对如上述的全景环带镜头进行光线追迹，计算成像波段和视场角范围内各波长和视场下的点扩散函数；

具体地，在成像波段和视场角范围内进行均匀划分和采样，在光学设计软件中以此设置各采样波长和采样视角；接着利用光学设计软件光线追迹功能计算出对应设置下像面的点扩散函数，其中点扩散函数的采样尺寸根据点列图半径和所用传感器4像元尺寸的比例确定；然后根据传感器4波长响应，合成R、G、B三个通道各视场下的点扩散函数。

步骤S42：将透视图像数据集按照全景环带图像展开插值方式进行分块不均匀上下采样，得到适应全景展开的透视图像；

需要说明的是，将透视图像数据集按照全景环带图像展开插值方式进行分块不均匀上下采样为本领域的常规技术手段，此处不作赘述。

步骤S43：将所述适应全景展开的透视图像与所述成像波段和视场角范围内各波长和视场下的点扩散函数进行分块卷积，得到对应的仿真退化图像，构成透视-仿真退化图像对；

需要说明的是，将所述适应全景展开的透视图像与所述成像波段和视场角范围内各波长和视场下的点扩散函数进行分块卷积为本领域的常规技术手段，此处不作赘述。

本申请提出的全景退化图像仿真方法取代了人工拍摄、标定、对齐的数据采集方法，能够提升数据集数量，增加了数据集的适应性。

在步骤S33的具体实施中，利用所述透视-仿真退化图像对，采用L1损失函数或L2损失函数对进行图像恢复网络的训练，直至将所述仿真退化图像输入图像恢复网络得到的恢复图像与所述对应的透视图像间的峰值信噪比指标大于预定阈值；

具体地，所述图像恢复网络可以为Restormer，NAFNet，Uformer，SwinIR等。在一实施例中设置预定阈值为27dB（PSNR（Peak Signal to Noise Ratio，峰值信噪比）阈值设定与输入图像模糊程度有关，对于两片或三片镜头组成的全景环带镜头设计，PSNR阈值范围设定在25dB~29dB）。

在一实施例中，所述图像恢复网络可以包括：

N个编码模块，每个编码模块包括卷积特征提取层和下采样层，对输入图像进行下采样特征编码，N取3~5；

N个解码模块，每个解码模块包括卷积特征提取层和上采样层，对编码特征进行上采样特征解码，此处解码模块的数量与编码模块相同；

跳跃连接模块，为对称的编码模块和解码模块提供特征传递；

输出层，包含1个卷积层，从解码特征输出恢复图像。

具体地，输入的仿真退化图像经过图像恢复网络的编码模块生成深层编码特征，又经过解码模块生成浅层解码特征，最后经过输出层生成恢复图像，网络中的跳跃连接用于传递对称的编码模块和解码模块间的特征；输出的恢复图像与高清透视图像逐像素计算损失函数，通过梯度下降法更新网络参数，进行网络训练，网络生成的恢复图像会逐渐趋近所述高清透视图像，最终实现退化图像的恢复，网络能够将符合训练时像差退化特性的图像恢复为无像差的高清图像。

在步骤S34的具体实施中，将上述的全景环带镜头拍摄得到的全景图像进行展开，并将展开得到的图像输入训练后的图像恢复网络，得到恢复的全景展开图像。

具体地，对全景环带镜头采集的全景图像用展开算法进行标定展开，展开图像内容的分布和所述高清透视图像一致；将展开图像输入训练好的图像恢复网络，经过训练的网络能够拟合特定像差分布造成的退化图像到对应高清图像的映射，将退化的展开图像恢复为清晰的展开图像，完成了全景环带图像的像差校正。

参阅图6，本发明示出的一种轻薄全景环带镜头的具体实施例的实际拍摄图像，图像中央具有最小半视场角

为25°的盲区，可以形成360°的全景有效成像半视场/>

为75°的超大全景视场图像，证明了本发明的轻薄全景环带镜头设计方法的成像有效性和明显的系统简化优势。图像在最大视场附近存在由于透镜数减少造成的光学像差引起的图像退化，可使用本发明提出的轻薄全景环带镜头图像恢复模型的构建方法进行质量增强。

参阅图7，本发明示出的一种轻薄全景环带镜头的具体实施例光学系统的全景展开图像增强对比图。其中图片上方为图6展开的原图，可以看到图像在小视场由于展开算法进行插值造成的图像退化，以及最大视场由于光学像差造成的图像退化。图片下方是使用本发明提出的轻薄全景环带镜头图像恢复模型的构建方法对全景展开图像进行图像质量增强后的效果。从图片下方可以看出在运用了本发明的轻薄全景环带镜头图像恢复模型的构建方法后，全景图像质量具有明显提升，与预期结果一致。

与前述的全景图像恢复方法的实施例相对应，本申请还提供了全景图像恢复装置的实施例。

图8是根据一示例性实施例示出的一种全景图像恢复装置框图。参照图8，该装置可以包括：

获取模块31，用于获取透视图像数据集；

成像仿真模块32，用于通过全景退化图像仿真方法对所述透视图像数据集进行全景展开图像成像仿真，得到对应的仿真退化图像，从而得到透视-仿真退化图像对；

训练模块33，用于利用所述透视-仿真退化图像对，采用L1损失函数或L2损失函数对进行图像恢复网络的训练，直至将所述仿真退化图像输入图像恢复网络得到的恢复图像与所述对应的透视图像间的峰值信噪比指标大于预定阈值；

恢复模块34，用于将上述全景环带镜头拍摄得到的全景图像进行展开，并将展开得到的图像输入训练后的图像恢复网络，得到恢复的全景展开图像。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

相应的，本申请还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的全景环带镜头设计方法或全景图像恢复方法。如图9所示，为本发明实施例提供的一种全景环带镜头设计方法或全景图像恢复方法所在任意具备数据处理能力的设备的一种硬件结构图，除了图9所示的处理器、内存以及网络接口之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。

相应的，本申请还提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述的全景环带镜头设计方法或全景图像恢复方法。所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。

本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。