CN116540375A - 结合深度神经网络的可见光全彩广角超透镜相机 - Google Patents

结合深度神经网络的可见光全彩广角超透镜相机 Download PDF

Info

Publication number
CN116540375A
CN116540375A CN202310315971.4A CN202310315971A CN116540375A CN 116540375 A CN116540375 A CN 116540375A CN 202310315971 A CN202310315971 A CN 202310315971A CN 116540375 A CN116540375 A CN 116540375A
Authority
CN
China
Prior art keywords
wide
neural network
layer
deep neural
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310315971.4A
Other languages
English (en)
Inventor
董建文
郑伟诗
刘言
李文东
陈泽茗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202310315971.4A priority Critical patent/CN116540375A/zh
Publication of CN116540375A publication Critical patent/CN116540375A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B1/00—Optical elements characterised by the material of which they are made; Optical coatings for optical elements
    • G02B1/002—Optical elements characterised by the material of which they are made; Optical coatings for optical elements made of materials engineered to provide properties not available in nature, e.g. metamaterials
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B1/00—Optical elements characterised by the material of which they are made; Optical coatings for optical elements
    • G02B1/10—Optical coatings produced by application to, or surface treatment of, optical elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B1/00—Optical elements characterised by the material of which they are made; Optical coatings for optical elements
    • G02B1/10—Optical coatings produced by application to, or surface treatment of, optical elements
    • G02B1/14—Protective coatings, e.g. hard coatings
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B30/00—Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B9/00—Exposure-making shutters; Diaphragms
    • G03B9/02—Diaphragms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Lenses (AREA)

Abstract

本发明提供一种结合深度神经网络的可见光全彩广角超透镜相机，包括广角超透镜、CMOS图像传感器、组装机械构件和深度神经网络图像恢复模块；广角超透镜和CMOS图像传感器从物侧到像侧沿光线传播方向依次设置在组装机械构件内部，用于生成待恢复的可见光全彩图像；组装机械构件用于对广角超透镜和CMOS图像传感器进行固定、密封、调节和保护；深度神经网络图像恢复模块与CMOS图像传感器电连接，用于恢复可见光全彩高质量图像；本发明具有相机体积小、视场范围宽和图像质量高的优点，有效提高了可见光成像的质量和效果，同时为相机的微型化提供了一种新方法，在例如微型内窥镜等手持式或穿戴式光学系统中具有广阔的应用前景。

Description

结合深度神经网络的可见光全彩广角超透镜相机
技术领域
本发明涉及微纳光学、深度神经网络图像处理和可见光成像技术领域，更具体地，涉及一种结合深度神经网络的可见光全彩广角超透镜相机。
背景技术
相机通常使用镜头获得远处或近处景物的高质量成像，并使用电耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器来捕获图像或视频。现有的可见光相机及其镜头越来越多应用于车载、移动端、医疗内窥等对器件的重量、体积和成本敏感的领域，便携式、轻量化、集成化和低成本逐渐成为可见光相机未来的发展趋势。另一方面，可见光相机也在追求更大的视场角和更高质量的图像输出，这对相机镜头提出了更高的要求。
传统相机镜头为了校正大视场下的各种像差，实现高质量图像输出，通常需要复杂的球面和非球面光学透镜组合而成。这样不仅导致镜头的体积大、重量高，并且在各透镜及传感器组装上精度要求高、装配难度大，进而也增加了加工和装配成本。因此，传统的光学元件同时实现微型化、大视场角和高质量相机十分困难。
超透镜是一种平面化的亚波长结构单元按周期性排列实现对光束的聚焦。超透镜能实现亚波长分辨率成像，具有质量和体积小的优势，同时具有极大的设计自由度，对于发展轻量化和小型化成像器件至关重要。近几年，超透镜的成像研究进展迅速，包括视场角扩展、像差校正、图像分辨率提升等方面。
目前的现有技术公开了一种超宽视场平面光学器件，该超透镜校正了三阶赛德尔像差，实现了至少120°视场的广角平面成像；然而，该超透镜仅限于在单波长下实现高分辨广角成像，且存在畸变问题，限制了其在宽光谱范围下的宽视场成像应用，难以实现超广角可见光的全彩成像；另一方面，现有技术中的超透镜虽然能实现接近衍射极限的聚焦，但是超透镜的成像仍然存在对比度低、背景噪声等问题，超透镜的成像质量也有待提高。
随着深度神经网络研究的兴起，以U-Net为代表的一系列深度神经网络模型在去噪、去雾、去雨和超分辨等底层视觉任务任务中展示了强大的图像处理能力，因此深度神经网络有希望解决广角超透镜的畸变、色差、杂光和对比度低的问题。
发明内容
本发明为克服上述现有技术中的超透镜在成像时光谱范围较窄且对比度低，含有背景噪声，且成像质量较低的缺陷，提供一种结合深度神经网络的可见光全彩广角超透镜相机，具有相机体积小、视场范围宽和图像质量高的优点，有效提高了可见光成像的质量和效果。
为解决上述技术问题，本发明的技术方案如下：
一种结合深度神经网络的可见光全彩广角超透镜相机，包括：广角超透镜、CMOS图像传感器、组装机械构件和深度神经网络图像恢复模块；
所述广角超透镜和CMOS图像传感器从物侧到像侧沿光线传播方向依次设置在组装机械构件内部，用于生成待恢复的可见光全彩图像；
所述组装机械构件用于对广角超透镜和CMOS图像传感器进行固定、密封、调节和保护；
所述深度神经网络图像恢复模块与CMOS图像传感器电连接，用于将待恢复的可见光全彩图像恢复为可见光全彩高质量图像。
优选地，所述广角超透镜从物侧到像侧沿光线传播方向依次包括光阑保护层、光阑层、介质层、超表面微纳结构层和微纳结构保护涂层；
所述CMOS图像传感器从物侧到像侧沿光线传播方向依次包括保护玻璃层和传感单元；
所述传感单元与深度神经网络图像恢复模块电连接；
所述组装机械构件包括遮光件、镜筒和底座；
所述遮光件的透光面积可调，设置在光阑保护层的物侧；
所述广角超透镜设置在镜筒内部，广角超透镜的轴线与镜筒的轴线重合；
所述CMOS图像传感器设置在底座内部，CMOS图像传感器的轴线与底座的轴线重合；
所述镜筒和底座之间螺牙连接。
优选地，所述超表面微纳结构层包括数量不低于一百万个微纳结构，每个微纳结构按相位规则排列，排列方式包括正方形晶格和六角晶格；
所述微纳结构的透射效率大于90％，相位调制范围覆盖0到2π；
所述超表面微纳结构层的材料包括氮化硅、富硅氮化硅、二氧化钛、二氧化硅、氮化镓、晶体硅、多晶硅、单晶硅中的任意一种或多种；
所述超表面微纳结构层的形状包括圆柱、方形柱、椭圆柱、鳍状柱和矩形柱中的一种或多种组合，且组合形式包括四周环绕组合、内外形状包裹组合和多层堆叠中的任意一种。
优选地，所述光阑保护层、介质层和微纳结构保护涂层的可见光透过率均大于95％；
所述光阑层的材料具体为反射或吸收可见光的材料，包括Au、PMMA、SU-8和BN32中的任意一种或多种；
所述组装机械构件的材料具体为可见光吸收材料，或经过磨砂处理表面发黑处理的材料。
优选地，所述广角超透镜和CMOS图像传感器之间的最大轴向距离小于2mm。
优选地，利用光线追击优化算法、粒子群优化算法和拓扑优化算法中的任意一种算法，获取所述广角超透镜的焦距、口径和相位分布。
优选地，所述深度神经网络图像恢复模块中设置有深度神经网络模型；
所述深度神经网络模型包括依次连接的编码器层、中间瓶颈层和解码器层；
所述编码器包括三个依次连接的注意力子模型；中间瓶颈层包括一个注意力子模型；解码器包括三个依次连接的注意力子模型；
所有注意力子模型结构相同，且输入和输出的数据维度不同；
每个注意力子模型包括依次连接的注意力层、第一层归一化层、前馈层和第二层归一化层，注意力层的输入端还与第一层归一化层构成残差连接，前馈层的输入端还与第二层归一化层构成残差连接。
优选地，利用所述深度神经网络图像恢复模块将待恢复的可见光全彩图像恢复为可见光全彩高质量图像的具体方法为：
S1：获取广角超透镜的先验知识和第一原始图像集；
S2：利用广角超透镜的先验知识对第一原始图像集进行仿真处理，获取仿真图像集，并结合第一原始图像集对深度神经网络模型进行初始化训练，获得初始化训练后的深度神经网络模型；
S3：获取第二原始图像集，利用广角超透镜和CMOS图像传感器对第二原始图像集进行采集，获取真实采集图像集；
利用传统的商用相机对第二原始图像集进行拍摄，获取拍摄图像集；
S4：将真实采集图像集和拍摄图像集输入初始化训练后的深度神经网络模型中进行二次训练，获取最优的深度神经网络模型；
S5：利用广角超透镜和CMOS图像传感器获取待恢复的可见光全彩图像并输入最优的深度神经网络模型中进行图像恢复，获取可见光全彩高质量图像。
优选地，所述步骤S1中，广角超透镜的先验知识包括广角超透镜在所有视场下、可见光波段中的特定波长下的点扩散函数。
优选地，所述步骤S2和S4中，初始化训练和二次训练的损失函数相同；在初始化训练或二次训练时，当损失函数取得最小值时，获得初始化训练后的深度神经网络模型或最优的深度神经网络模型。
与现有技术相比，本发明技术方案的有益效果是：
本发明提供一种结合深度神经网络的可见光全彩广角超透镜相机，包括广角超透镜、CMOS图像传感器、组装机械构件和深度神经网络图像恢复模块；广角超透镜和CMOS图像传感器从物侧到像侧沿光线传播方向依次设置在组装机械构件内部，用于生成待恢复的可见光全彩图像；所述组装机械构件用于对广角超透镜和CMOS图像传感器进行固定、密封、调节和保护；所述深度神经网络图像恢复模块与CMOS图像传感器电连接，用于将待恢复的可见光全彩图像恢复为可见光全彩高质量图像；
本发明将广角超透镜和装配工程技术进行结合，广角超透镜平面化的结构使其轻薄易于装配，避免了组装过程中的各种倾斜误差，广角超透镜相机的整体尺寸可以更小更轻，并且其结构简单，易于实现，通用性强；同时，本发明提出的深度神经网络图像恢复模块展示了一种针对广角超透镜图像恢复标准化的流程，校正了广角超透镜相机拍摄图片畸变、色差、中心亮斑和对比度低的问题，实现了高效率的广角超透镜相机的可见光全彩高质量图像恢复；除此之外，本发明提出的具有相机体积小、视场范围宽和图像质量高的优点，有效提高了可见光成像的质量和效果，为相机的微型化提供了一种新方法，在例如微型内窥镜等手持式或穿戴式光学系统中具有应用前景。
附图说明
图1为实施例1所提供的一种结合深度神经网络的可见光全彩广角超透镜相机结构图。
图2为实施例2所提供的广角超透镜成像的光线追迹图。
图3为实施例2所提供的广角超透镜的点列图。
图4为实施例2所提供的广角超透镜的调制传递函数。
图5为实施例2所提供的广角超透镜的光学显微图和微纳结构的扫描电镜图。
图6为实施例2所提供的广角超透镜在不同视场角下对数字“7”的测量投影图像。
图7为实施例2所提供的深度神经网络图像恢复模块的工作示意图。
图8为实施例2所提供的全彩简单卡通图片的拍摄效果对比图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，本实施例提供一种结合深度神经网络的可见光全彩广角超透镜相机，包括：广角超透镜1、CMOS图像传感器2、组装机械构件3和深度神经网络图像恢复模块4；
所述广角超透镜1和CMOS图像传感器2从物侧到像侧沿光线传播方向依次设置在组装机械构件3内部，用于生成待恢复的可见光全彩图像；
所述组装机械构件3用于对广角超透镜1和CMOS图像传感器2进行固定、密封、调节和保护；
所述深度神经网络图像恢复模块4与CMOS图像传感器2电连接，用于将待恢复的可见光全彩图像恢复为可见光全彩高质量图像。
在具体实施过程中，广角超透镜1和CMOS图像传感器2从物侧到像侧沿光线传播方向依次设置在组装机械构件3内部，所述组装机械构件3用于对广角超透镜1和CMOS图像传感器2进行固定、密封、调节和保护；
物体的光线经过广角超透镜1后被CMOS图像传感器2接收；
CMOS图像传感器2与深度神经网络图像恢复模块4与电连接，并将接收到的光信号转换为电信号输送至深度神经网络图像恢复模块4，最终恢复所述广角超透镜相机的可见光全彩图像；
在本实施例中，广角超透镜相机的视场角为60°～180°，广角超透镜相机的尺寸小于3×3×2mm3；
本实施例中的相机将广角超透镜和装配工程技术进行结合，广角超透镜平面化的结构使其轻薄易于装配，避免了组装过程中的各种倾斜误差，广角超透镜相机的整体尺寸可以更小更轻，并且其结构简单，易于实现，通用性强；同时，本实施例提出的深度神经网络图像恢复模块展示了一种针对广角超透镜图像恢复标准化的流程，校正了广角超透镜相机拍摄图片畸变、色差、中心亮斑和对比度低的问题，实现了高效率的广角超透镜相机的可见光全彩高质量图像恢复；除此之外，本实施例提出的一种结合深度神经网络的可见光全彩广角超透镜相机，具有相机体积小、视场范围宽和图像质量高的优点，有效提高了可见光成像的质量和效果，为相机的微型化提供了一种新方法，在例如微型内窥镜等手持式或穿戴式光学系统中具有应用前景。
实施例2
本实施例提供一种结合深度神经网络的可见光全彩广角超透镜相机，包括：广角超透镜1、CMOS图像传感器2、组装机械构件3和深度神经网络图像恢复模块4；
所述广角超透镜1和CMOS图像传感器2从物侧到像侧沿光线传播方向依次设置在组装机械构件3内部，用于生成待恢复的可见光全彩图像；
所述组装机械构件3用于对广角超透镜1和CMOS图像传感器2进行固定、密封、调节和保护；
所述深度神经网络图像恢复模块4与CMOS图像传感器2电连接，用于将待恢复的可见光全彩图像恢复为可见光全彩高质量图像；
所述广角超透镜1从物侧到像侧沿光线传播方向依次包括光阑保护层11、光阑层12、介质层13、超表面微纳结构层14和微纳结构保护涂层15；
所述CMOS图像传感器2从物侧到像侧沿光线传播方向依次包括保护玻璃层21和传感单元22；
所述传感单元22与深度神经网络图像恢复模块4电连接；
所述组装机械构件3包括遮光件31、镜筒32和底座33；
所述遮光件31的透光面积可调，设置在光阑保护层11的物侧；
所述广角超透镜1设置在镜筒32内部，广角超透镜1的轴线与镜筒32的轴线重合；
所述CMOS图像传感器2设置在底座33内部，CMOS图像传感器2的轴线与底座33的轴线重合；
所述镜筒32和底座33之间螺牙连接；
所述超表面微纳结构层14包括数量不低于一百万个微纳结构，每个微纳结构按相位规则排列，排列方式包括正方形晶格和六角晶格；
所述微纳结构的透射效率大于90％，相位调制范围覆盖0到2π；
所述超表面微纳结构层14的材料包括氮化硅、富硅氮化硅、二氧化钛、二氧化硅、氮化镓、晶体硅、多晶硅、单晶硅中的任意一种或多种；
所述超表面微纳结构层14的形状包括圆柱、方形柱、椭圆柱、鳍状柱和矩形柱中的一种或多种组合，且组合形式包括四周环绕组合、内外形状包裹组合和多层堆叠中的任意一种；
所述光阑保护层11、介质层13和微纳结构保护涂层15的可见光透过率均大于95％；
所述光阑层12的材料具体为反射或吸收可见光的材料，包括Au、PMMA、SU-8和BN32中的任意一种或多种；
所述组装机械构件3的材料具体为可见光吸收材料，或经过磨砂处理表面发黑处理的材料；
所述广角超透镜1和CMOS图像传感器2之间的最大轴向距离小于2mm；
利用光线追击优化算法、粒子群优化算法和拓扑优化算法中的任意一种算法，获取所述广角超透镜1的焦距、口径和相位分布；
所述深度神经网络图像恢复模块4中设置有深度神经网络模型；
所述深度神经网络模型包括依次连接的编码器层、中间瓶颈层和解码器层；
所述编码器包括三个依次连接的注意力子模型；中间瓶颈层包括一个注意力子模型；解码器包括三个依次连接的注意力子模型；
所有注意力子模型结构相同，且输入和输出的数据维度不同；
每个注意力子模型包括依次连接的注意力层、第一层归一化层、前馈层和第二层归一化层，注意力层的输入端还与第一层归一化层构成残差连接，前馈层的输入端还与第二层归一化层构成残差连接；
利用所述深度神经网络图像恢复模块4将待恢复的可见光全彩图像恢复为可见光全彩高质量图像的具体方法为：
S1：获取广角超透镜1的先验知识和第一原始图像集；
S2：利用广角超透镜1的先验知识对第一原始图像集进行仿真处理，获取仿真图像集，并结合第一原始图像集对深度神经网络模型进行初始化训练，获得初始化训练后的深度神经网络模型；
S3：获取第二原始图像集，利用广角超透镜1和CMOS图像传感器2对第二原始图像集进行采集，获取真实采集图像集；
利用传统的商用相机对第二原始图像集进行拍摄，获取拍摄图像集；
S4：将真实采集图像集和拍摄图像集输入初始化训练后的深度神经网络模型中进行二次训练，获取最优的深度神经网络模型；
S5：利用广角超透镜1和CMOS图像传感器2获取待恢复的可见光全彩图像并输入最优的深度神经网络模型中进行图像恢复，获取可见光全彩高质量图像；
所述步骤S1中，广角超透镜1的先验知识包括广角超透镜1在所有视场下、可见光波段中的特定波长下的点扩散函数；
所述步骤S2和S4中，初始化训练和二次训练的损失函数相同；在初始化训练或二次训练时，当损失函数取得最小值时，获得初始化训练后的深度神经网络模型或最优的深度神经网络模型。
在具体实施过程中，广角超透镜相机的视场角为60°～180°，广角超透镜相机的尺寸小于3×3×2mm3；
本实施例中结合深度神经网络的可见光全彩广角超透镜相机的具体参数为：全视场角为140°，像空间数值孔径为0.176，广角超透镜的厚度小于0.8mm，相机的总厚度小于1.6mm，镜头直径小于3mm；
广角超透镜1和CMOS图像传感器2从物侧到像侧沿光线传播方向依次设置在组装机械构件3内部，所述组装机械构件3用于对广角超透镜1和CMOS图像传感器2进行固定、密封、调节和保护；
物体的光线经过广角超透镜1后被CMOS图像传感器2接收；
CMOS图像传感器2与深度神经网络图像恢复模块4与电连接，并将接收到的光信号转换为电信号输送至深度神经网络图像恢复模块4，最终恢复所述广角超透镜相机的可见光全彩图像；
图2为广角超透镜成像的光线追迹图，如图2所示，所述广角超透镜1从物侧到像侧沿光线传播方向依次包括光阑保护层11、光阑层12、介质层13、超表面微纳结构层14和微纳结构保护涂层15；
所述CMOS图像传感器2从物侧到像侧沿光线传播方向依次包括保护玻璃层21和传感单元22；
所述传感单元22与深度神经网络图像恢复模块4电连接；
在本实施例中，光阑层12的孔径直径为220μm，介质层13的厚度为700μm，超表面微纳结构层14的光学有效直径为1.53mm；
本实施例中的光阑层12的厚度大于200nm，光阑保护层11和微纳结构保护层15的厚度大于1μm；
在本实施例中，选取的光阑保护层11和微纳结构保护层15的材料为SiO2，超表面微纳结构层14的材料为多晶硅、形状为圆柱体、微纳结构的周期排列方式为六角晶格，介质层13的材料为熔融石英；
所述组装机械构件3包括遮光件31、镜筒32和底座33；
所述遮光件31的透光面积可调，设置在光阑保护层11的物侧，同时设置在镜筒32一端的内侧，用于消除杂散光和遮挡广角超透镜1视场角以外的光线；
所述广角超透镜1设置在镜筒32内部，镜筒32用于对广角超透镜1进行固定、密封和保护；
所述CMOS图像传感器2设置在底座33内部，底座33用于对CMOS图像传感器2进行固定、密封和保护；
所述镜筒32和底座33之间采用螺牙结构连接，用于调节广角超透镜1和CMOS图像传感器2之间的轴向距离；
在本实施例中，广角超透镜1和CMOS图像传感器2之间的最大轴向距离小于2mm，广角超透镜1和CMOS图像传感器2之间的介质为空气，选取的CMOS图像传感器2的保护玻璃层21的厚度为0.4mm；
组装机械构件3的材料具体为可见光吸收材料，处理工艺包括磨砂处理和表面发黑处理，用于吸收杂光；
为了满足广角成像系统的需求，本实施例选取主光线波长为532nm，使用光线追迹的方法优化了广角超透镜1的相位分布；
具体采用的相位公式如下：
其中，R是超表面微纳结构层14的半径，ρ是纳米柱所处径向坐标位置，an是各项系数；
通过最小二乘法算法和迭代优化后得到的广角超透镜1相位分布的各项系数an，其中n为12；优化后的各项系数如表1所示：
a1 a2 a3 a4 a5 a6
-5.29e+3 -1.09e+3 1.38e+4 -6.26e+4 -1.50e+5 -2.05e+5
a7 a8 a9 a10 a11 a12
1.55e+5 -5.31e+4 -5.57e+2 3.64e+3 8.74e-02 4.45e-01
表1优化后的广角超透镜1相位分布的各项系数
图3为本实施例所提供的广角超透镜1的点列图，由图3可知，广角超透镜1在全视场范围内的光斑半径都小于艾里斑半径；
图4为本实施例所提供的广角超透镜1的调制传递函数，调制传递函数表征光学系统在不同空间频率传递对比能力，横轴表示空间频率，纵轴表示调制传递因子MTF；图4中示出该光学系统各视场的调制传递函数曲线接近衍射极限，因此，本实施例中的方案极大的改善了像质，在预设的成像范围内实现了三阶赛德尔像差的完全消除；
在本实施例中，广角超透镜1中微纳结构的周期晶格常数以及柱状结构高度分别为220nm和260nm，根据每种柱状结构所对应的相位调制，最终得到一组具有超过90％透射效率的柱状单元结构，同时满足相位调制范围覆盖0到2π；
本实施例还利用电子束曝光和等离子体刻蚀等工艺制备了广角超透镜1样品用于实验验证，如图5所示，图5(a)为本实施例提供的广角超透镜1的光学显微图，图5(b)为广角超透镜1的微纳结构的扫描电镜图，图5展示的是基于传输相位原理的六角晶格的纳米柱结构，广角超透镜1中光阑层12和超表面微纳结构层14的光学偏心在1μm以内；
图6为广角超透镜1在不同视场角下对数字“7”的测量投影图像，图6进一步体现了本实施例中的广角超透镜1的成像性能，图6共有6幅子图，分别对应0°、20°、40°、50°、60°和65°，其光源为532nm中心波长和10nm带宽；从图6中可以看出，仅使用广角超透镜1成像，随着视场角的增大，数字“7”会发生畸变；
本实施例根据所述广角超透镜1的性能参数选取CMOS图像传感器2进行匹配：广角超透镜1的成像面直径为1.26mm，选取单个像素2μm、对角线直径为1.26mm的CMOS图像传感器2相适配，并保证广角超透镜相机的尺寸小于3×3×2mm3；
所述广角超透镜1的主光线预设波长为532nm，并没有消除在可见光波段范围内的色差，为了进一步消除像差，本实施例还提供了深度神经网络图像恢复模块4以恢复广角超透镜相机的可见光全彩图像；
图7为本实施例所提供的深度神经网络图像恢复模块4的工作示意图，如图7所示，所述的深度神经网络图像恢复模块4是基于两阶段的构建范式来训练深度神经网络；
第一阶段是利用广角超透镜的先验知识，使用广角超透镜的设计参数与第一原始图像集A进行计算得到仿真图像集A’，将仿真图像集A’和第一原始图像集A组成数据对，基于损失函数和梯度下降以先验监督的方式对深度神经网络模型进行初始化训练，当预设的损失函数最小时，获取初始化训练后的深度神经网络模型；
第二阶段是利用广角超透镜1和CMOS图像传感器2对第二原始图像集B进行采集，获取真实采集图像集B’；利用传统的商用相机对第二原始图像集B进行拍摄，获取拍摄图像集B”；将真实采集图像集B’和拍摄图像集B”输入初始化训练后的深度神经网络模型中进行二次训练，当预设的损失函数最小时，获取最优的深度神经网络模型；
最后利用广角超透镜1和CMOS图像传感器2获取待恢复的图像并输入最优的深度神经网络模型中进行图像恢复，获取广角超透镜相机的可见光全彩图像；
为了进一步验证结合深度神经网络的可见光全彩广角超透镜相机的拍摄性能，本实施例使用LCD显示屏放映图片，利用本实施例的广角超透镜相机测试得到图像集，本实施例展示两种典型的全彩图片的结果对比；
如图8所示为全彩简单卡通图拍摄的待恢复图、恢复图和原图对比；相比于原图，恢复图像明显改善待恢复图中存在的畸变、色差、中心亮斑和对比度差的问题；同时，本实施例在全彩复杂场景图片的拍摄效果也较好，相比于原图，恢复图除了改善上述问题外，对于边缘模糊的物体细节也能恢复出来；
综上所述，本实施例中的结合深度神经网络的可见光全彩广角超透镜相机仅包括一个结构紧凑的广角超透镜光学元件，平面化的结构降低了装配难度，同时也减少体积小，使相机轻量化，便于携带；另外，本发明实施的深度神经网络图像恢复模块，可让广角超透镜相机的呈现高对比度广角可见光全彩图像，很大程度上有望应用于电子内窥镜系统、无人机、VR/AR等轻便、微型化需求的设备上；
本实施例中的相机将广角超透镜和装配工程技术进行结合，广角超透镜平面化的结构使其轻薄易于装配，避免了组装过程中的各种倾斜误差，广角超透镜相机的整体尺寸可以更小更轻，并且其结构简单，易于实现，通用性强；同时，本实施例提出的深度神经网络图像恢复模块展示了一种针对广角超透镜图像恢复标准化的流程，校正了广角超透镜相机拍摄图片畸变、色差、中心亮斑和对比度低的问题，实现了高效率的广角超透镜相机的可见光全彩高质量图像恢复；除此之外，本实施例提出的一种结合深度神经网络的可见光全彩广角超透镜相机，具有相机体积小、视场范围宽和图像质量高的优点，有效提高了可见光成像的质量和效果，为相机的微型化提供了一种新方法，在例如微型内窥镜等手持式或穿戴式光学系统中具有应用前景。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种结合深度神经网络的可见光全彩广角超透镜相机，其特征在于，包括：广角超透镜(1)、CMOS图像传感器(2)、组装机械构件(3)和深度神经网络图像恢复模块(4)；
所述广角超透镜(1)和CMOS图像传感器(2)从物侧到像侧沿光线传播方向依次设置在组装机械构件(3)内部，用于生成待恢复的可见光全彩图像；
所述组装机械构件(3)用于对广角超透镜(1)和CMOS图像传感器(2)进行固定、密封、调节和保护；
所述深度神经网络图像恢复模块(4)与CMOS图像传感器(2)电连接，用于将待恢复的可见光全彩图像恢复为可见光全彩高质量图像。
2.根据权利要求1所述的一种结合深度神经网络的可见光全彩广角超透镜相机，其特征在于，所述广角超透镜(1)从物侧到像侧沿光线传播方向依次包括光阑保护层(11)、光阑层(12)、介质层(13)、超表面微纳结构层(14)和微纳结构保护涂层(15)；
所述CMOS图像传感器(2)从物侧到像侧沿光线传播方向依次包括保护玻璃层(21)和传感单元(22)；
所述传感单元(22)与深度神经网络图像恢复模块(4)电连接；
所述组装机械构件(3)包括遮光件(31)、镜筒(32)和底座(33)；
所述遮光件(31)的透光面积可调，设置在光阑保护层(11)的物侧；
所述广角超透镜(1)设置在镜筒(32)内部，广角超透镜(1)的轴线与镜筒(32)的轴线重合；
所述CMOS图像传感器(2)设置在底座(33)内部，CMOS图像传感器(2)的轴线与底座(33)的轴线重合；
所述镜筒(32)和底座(33)之间螺牙连接。
3.根据权利要求2所述的一种结合深度神经网络的可见光全彩广角超透镜相机，其特征在于，所述超表面微纳结构层(14)包括数量不低于一百万个微纳结构，每个微纳结构按相位规则排列，排列方式包括正方形晶格和六角晶格；
所述微纳结构的透射效率大于90％，相位调制范围覆盖0到2π；
所述超表面微纳结构层(14)的材料包括氮化硅、富硅氮化硅、二氧化钛、二氧化硅、氮化镓、晶体硅、多晶硅、单晶硅中的任意一种或多种；
所述超表面微纳结构层(14)的形状包括圆柱、方形柱、椭圆柱、鳍状柱和矩形柱中的一种或多种组合，且组合形式包括四周环绕组合、内外形状包裹组合和多层堆叠中的任意一种。
4.根据权利要求2所述的一种结合深度神经网络的可见光全彩广角超透镜相机，其特征在于，所述光阑保护层(11)、介质层(13)和微纳结构保护涂层(15)的可见光透过率均大于95％；
所述光阑层(12)的材料具体为反射或吸收可见光的材料，包括Au、PMMA、SU-8和BN32中的任意一种或多种；
所述组装机械构件(3)的材料具体为可见光吸收材料，或经过磨砂处理表面发黑处理的材料。
5.根据权利要求2、3或4所述的一种结合深度神经网络的可见光全彩广角超透镜相机，其特征在于，所述广角超透镜(1)和CMOS图像传感器(2)之间的最大轴向距离小于2mm。
6.根据权利要求5所述的一种结合深度神经网络的可见光全彩广角超透镜相机，其特征在于，利用光线追击优化算法、粒子群优化算法和拓扑优化算法中的任意一种算法，获取所述广角超透镜(1)的焦距、口径和相位分布。
7.根据权利要求6所述的一种结合深度神经网络的可见光全彩广角超透镜相机，其特征在于，所述深度神经网络图像恢复模块(4)中设置有深度神经网络模型；
所述深度神经网络模型包括依次连接的编码器层、中间瓶颈层和解码器层；
所述编码器包括三个依次连接的注意力子模型；中间瓶颈层包括一个注意力子模型；解码器包括三个依次连接的注意力子模型；
所有注意力子模型结构相同，且输入和输出的数据维度不同；
每个注意力子模型包括依次连接的注意力层、第一层归一化层、前馈层和第二层归一化层，注意力层的输入端还与第一层归一化层构成残差连接，前馈层的输入端还与第二层归一化层构成残差连接。
8.根据权利要求7所述的一种结合深度神经网络的可见光全彩广角超透镜相机，其特征在于，利用所述深度神经网络图像恢复模块(4)将待恢复的可见光全彩图像恢复为可见光全彩高质量图像的具体方法为：
S1：获取广角超透镜(1)的先验知识和第一原始图像集；
S2：利用广角超透镜(1)的先验知识对第一原始图像集进行仿真处理，获取仿真图像集，并结合第一原始图像集对深度神经网络模型进行初始化训练，获得初始化训练后的深度神经网络模型；
S3：获取第二原始图像集，利用广角超透镜(1)和CMOS图像传感器(2)对第二原始图像集进行采集，获取真实采集图像集；
利用传统的商用相机对第二原始图像集进行拍摄，获取拍摄图像集；
S4：将真实采集图像集和拍摄图像集输入初始化训练后的深度神经网络模型中进行二次训练，获取最优的深度神经网络模型；
S5：利用广角超透镜(1)和CMOS图像传感器(2)获取待恢复的可见光全彩图像并输入最优的深度神经网络模型中进行图像恢复，获取可见光全彩高质量图像。
9.根据权利要求8所述的一种结合深度神经网络的可见光全彩广角超透镜相机，其特征在于，所述步骤S1中，广角超透镜(1)的先验知识包括广角超透镜(1)在所有视场下、可见光波段中的特定波长下的点扩散函数。
10.根据权利要求8所述的一种结合深度神经网络的可见光全彩广角超透镜相机，其特征在于，所述步骤S2和S4中，初始化训练和二次训练的损失函数相同；在初始化训练或二次训练时，当损失函数取得最小值时，获得初始化训练后的深度神经网络模型或最优的深度神经网络模型。
CN202310315971.4A 2023-03-27 2023-03-27 结合深度神经网络的可见光全彩广角超透镜相机 Pending CN116540375A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310315971.4A CN116540375A (zh) 2023-03-27 2023-03-27 结合深度神经网络的可见光全彩广角超透镜相机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310315971.4A CN116540375A (zh) 2023-03-27 2023-03-27 结合深度神经网络的可见光全彩广角超透镜相机

Publications (1)

Publication Number Publication Date
CN116540375A true CN116540375A (zh) 2023-08-04

Family

ID=87456723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310315971.4A Pending CN116540375A (zh) 2023-03-27 2023-03-27 结合深度神经网络的可见光全彩广角超透镜相机

Country Status (1)

Country Link
CN (1) CN116540375A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117031757A (zh) * 2023-08-16 2023-11-10 天津大学四川创新研究院 一种用于增强现实显示的超透镜光机装置及其运行方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117031757A (zh) * 2023-08-16 2023-11-10 天津大学四川创新研究院 一种用于增强现实显示的超透镜光机装置及其运行方法

Similar Documents

Publication Publication Date Title
CN113703133B (zh) 摄像用光学镜组
CN109828345B (zh) 光学取像镜头、取像装置及电子装置
CN109001888B (zh) 摄像系统镜头组、取像装置及电子装置
CN108398771B (zh) 光学取像镜片系统、取像装置及电子装置
CN110554480B (zh) 影像撷取光学镜片组、取像装置及电子装置
US9989738B2 (en) Optical image capturing system
CN114594579A (zh) 光学摄影镜头组
US10416415B2 (en) Optical image capturing system
US9897781B2 (en) Optical image capturing system
CN108227114B (zh) 光学摄像镜片系统、取像装置及电子装置
US20160377838A1 (en) Optical image capturing system
US10338345B2 (en) Optical image capturing system
CN112817132B (zh) 定焦镜头及成像设备
CN114128250B (zh) 设计具有有意畸变的小型透镜的方法
JP2008292800A (ja) アナモルフィックレンズ、撮像装置及び監視装置
WO2006001431A1 (ja) ズームレンズ系、撮像装置及びカメラ
US10268020B2 (en) Optical image capturing system
CN114450615B (zh) 透镜系统、摄像装置以及摄像系统
CN116540375A (zh) 结合深度神经网络的可见光全彩广角超透镜相机
CN110471165B (zh) 一种消畸变小型化高分辨率鱼眼镜头光学系统
CN112630943B (zh) 光学成像镜头及成像设备
CN113132583B (zh) 光学镜头、摄像头模组和终端
CN110441892B (zh) 一种低畸变小型化高分辨率鱼眼镜头光学系统
CN102628982B (zh) 变焦透镜和包含变焦透镜的图像拾取装置
CN107462969B (zh) 光学镜头

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination