CN116681595B - 一种基于多峰psf的远距离计算超分辨率成像装置 - Google Patents
一种基于多峰psf的远距离计算超分辨率成像装置 Download PDFInfo
- Publication number
- CN116681595B CN116681595B CN202310955652.XA CN202310955652A CN116681595B CN 116681595 B CN116681595 B CN 116681595B CN 202310955652 A CN202310955652 A CN 202310955652A CN 116681595 B CN116681595 B CN 116681595B
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- super
- detector
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 94
- 230000003287 optical effect Effects 0.000 claims abstract description 10
- 210000001747 pupil Anatomy 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 48
- 238000000034 method Methods 0.000 claims description 39
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 claims description 18
- 238000009826 distribution Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 17
- 230000004913 activation Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 4
- 230000005484 gravity Effects 0.000 claims description 4
- 230000001965 increasing effect Effects 0.000 claims description 4
- 238000011084 recovery Methods 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 3
- 238000009792 diffusion process Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明是一种基于多峰PSF的远距离计算超分辨率成像装置。本发明涉及计算成像和超分辨率重建领域，本发明所述成像装置包括：相位掩膜板、成像镜组、探测器和超分辨率重建模块；相位掩膜板，成像镜组和探测器垂直于成像装置的光轴并依次排列，探测器和超分辨率重建模块电学相连，相位掩膜板放置于成像镜组光瞳处，探测器放置于成像装置后焦平面；来自无限远的平行光经相位掩膜板调制后，通过成像镜组成像到探测器的靶面，得到低分辨率图像；将低分辨率图像输入到超分辨率重建模块，得到高分辨率重建图像。本发明仅需单个探测器单次成像，即可获得重建的超分辨率图像。
Description
技术领域
本发明涉及计算成像和超分辨率重建领域，是一种基于多峰PSF的远距离计算超分辨率成像装置。
背景技术
自从光电接收器件（主要针对探测器）问世以来，人们追求小像元、高分辨、大面阵的脚步就从未停止。但是由于光电接收器件本身所固有物理特性的限制，无法做到在具备小像元的同时还拥有与大像元探测器同等灵敏度和计算速度的要求。采用小像元尺寸的探测器芯片可以充分的挖掘光学系统的潜力，但其缺点是受到相机光学相对孔径、焦面辐射照度和探测器工艺制造理论与方法的限制，因此超分辨技术应运而生。它是将一幅或多幅低分辨率图像利用信息处理方法重建，以获得一幅包含更多高频信息的高分辨率图像，“超”即是代表突破极限。超分辨技术能够花费较小成本突破原有低分辨率系统的分辨率限制。因此图像超分辨重建具有广泛的应用和实际的意义，也受到了越来越多科研人员的重视。
超分辨技术可以分为单帧图像超分辨技术和多帧图像超分辨技术，单帧超分辨技术是利用一幅低分辨率图像，将其频谱带宽限制以外的频率信息复原重建。但从客观上讲，单帧图像由于其提供信息有限，只能通过估计或预测重建超分辨率图像，无法重建真实的亚像素信息，不能有效复原出丢失的高频信息。而多帧图像超分辨率技术是从同一场景的多幅图像的互补信息出发，利用信息融合方法重构出一幅高分辨率图像，因此可以得到细节更多、分辨率更高的图像。
目前实现远距离超分辨成像的主流多帧超分辨技术主要有两种：一是亚像元超分辨成像，在光电成像系统中使用两个以上的探测器，通过精密装调配准，使得探测器在二维成像的水平、垂直两个方向上错开半个像元，然后通过不同探测器之间的冗余亚像素信息来提高成像分辨率的方法。然而，这种技术需要使用多个探测器，增加了系统体积、重量、成本，不利于轻小型化；二是微扫描超分辨成像，通过控制微扫描平台按照一定频率及步长移动光学透镜，获取具有亚像素级偏差的低分辨率原始图像序列，利用焦平面成像器件，在每一个微扫周期的成像过程中，保持场景和视场不变，只变动成像器件相对于场景的位置。存储每一次成像数据后，通过计算机算法重建出高分辨率的图像。然而，这种技术要进行多次成像，不利于拍摄运动目标，而且十分依赖于扫描机械精度。平台振动等因素都会影响微扫描的步进精度，导致重建效果退化。
发明内容
本发明为克服现有技术的不足，本发明为了克服传统超分辨率成像方法系统体积重量成本大，或需要多次成像、受环境因素干扰明显的问题，提出了一种基于多峰PSF的远距离计算超分辨率成像装置，仅需单个探测器单次成像，再经过超分辨率图像重建即可获得亚像素超分辨率图像。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
本发明提供了一种基于多峰PSF的远距离计算超分辨率成像装置，本发明提供了以下技术方案：
一种基于多峰PSF的远距离计算超分辨率成像装置，所述成像装置包括：相位掩膜板、成像镜组、探测器和超分辨率重建模块；
相位掩膜板，成像镜组和探测器垂直于成像装置的光轴并依次排列，探测器和超分辨率重建模块电学相连，相位掩膜板放置于成像镜组光瞳处，探测器放置于成像装置后焦平面；来自无限远的平行光经相位掩膜板调制后，通过成像镜组成像到探测器的靶面，得到低分辨率图像；将低分辨率图像输入到超分辨率重建模块，得到高分辨率重建图像。
优选地，掩膜板和成像镜组组合，在镜组焦平面处所产生的点扩散函数PSF分布包括：n个形状相同的尖峰，n≥3。
优选地，每个尖峰的半高全宽不超过3个探测器像素的边长尺寸；
每个尖峰的归一化高度不小于0.2，艾里斑的PSF高度为1；
除尖峰外，PSF分布其余位置最大强度旁瓣不大于0.05；
在所有尖峰中选择一个尖峰，为中心尖峰；其余尖峰的峰值位置与该中心尖峰峰值位置之间的距离满足：
（1）
其中，为整数，/>为每个尖峰与中心尖峰位置之间的距离，d为探测器像元尺寸，距离l的方向为水平x或竖直y方向，对应着成像的二维方向；除中心尖峰外的其余尖峰至少应包括一个在水平方向和一个在竖直方向进行位移的尖峰。
优选地，探测器所得到的图像可表示为原始图像与点扩散函数PSF的卷积，则根据成像过程和卷积定理，可得：
（2）
其中，为原始图像，P(x,y)为中心尖峰点扩散函数值,/>、为其余尖峰位置处的点扩散函数值，/>为探测器得到的混叠图像、、/>、/>为具有亚像素级偏移量的图像序列。
优选地，相位掩膜板使用振幅加权GS相位恢复算法进行反向生成，为避免重建图像时产生伪影，基于点光源在空间中的传播定律，将作为物平面振幅的初始相位，其中k为波数；为了加快收敛速度，采用振幅加权迭代方法，将目标像面的PSF振幅约束表示为：
（3）
其中， 分别为目标PSF的振幅和重建的PSF振幅。
一种基于多峰PSF的远距离计算超分辨率成像方法，所述方法包括以下步骤：
步骤1：首先构建超分辨率重建网络模型，包括生成器模型G以及判别器模型D；
步骤2：将低分辨率混叠图像输入网络的生成器G中进超分辨率重建，得到重建的超分辨率图像，将生成器重建的超分辨图像与对应的高分辨率图像一同输入判别器网络中进行真假判别；
步骤3：训练数据集，使用高分辨率相机和带有组装上述相位掩膜板的低分辨率成像系统对同一场景分别成像，形成对应的高-低分辨率图像对，构成数据集，用于训练超分辨率重建网络模型；
步骤4：建立损失函数，训练生成对抗网络模型，将探测器得到的具有亚像素级偏移量的低分辨率混叠图像输入训练好的网络中，得到重建的2倍超分辨率图像。
优选地，生成器网络G用来生成超分辨率图像，主要包括图像解混叠模块、密集残差模块以及超分辨率重建模块；其中，图像解混叠模块由2个的卷积层构成，激活函数为ReLu，将探测器得到的低分辨率图像消除混叠效应，得到多帧具有亚像素级偏移量的图像，为超分辨率重建保留信息；密集残差模块包含N个结构相同的残差块，每个残差块中去掉传统残差块中的BN 层，通过3*3的卷积层进行特征提取并用LeakyReLu函数激活，并将每一层卷积后得到的特征图连接起来传递到下一层；通过跳跃连接，把密集残差块前端的特征与最后的特征相加；
超分辨率重建模块由1个亚像素卷积层以及一个的卷积层构成；亚像素卷积层将图像特征信息融合互补，重构出分辨率更高、细节更丰富的图像，最后通过一个/>的卷积层，输出重建的超分辨率图像；
判别器网络D用来区分超分辨率图像和真实高分辨率图像，判别条件为真实高分辨率图像，判别器模型D包含8个卷积层，同时包含BN层与LeakyReLu激活单元，滤波器通道数从64个输出通道逐渐增加到512个；得到的512个特征图之后进入两个密集连接层和一个最终的sigmoid激活函数，最后输出生成器生成的超分辨图像为真实的概率。
优选地，建立损失函数的具体步骤为：
内容损失使用最小均方差损失，用来约束生成图像G(x)在内容上接近于真实图像y；
（4）
其中，W、H为图像的宽、高大小，y表示原始高分辨率图像，G(x)表示生成器网络G生成的超分辨率图像；
感知损失为使生成的超分辨率图像在特征层面上与对应的高分辨率图像接近；
（5）
其中，是预先训练的VGG-19，/>、/>为图像特征；
对抗损失为使判别网络模型难以判别出生成图像的超分辨率图像是否为真：
（6）
其中，N代表训练样本总数量，D表示判别器，为生成的超分辨率图像与原始图像的差距；
总损失函数记为：
（7）
其中， 、/> 、/>分别为/> 、/> 、/>的超参数，用于调整各自所占的比重。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现一种基于多峰PSF的远距离计算超分辨率成像方法。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现一种基于多峰PSF的远距离计算超分辨率成像方法。
本发明具有以下有益效果：
本发明与现有技术相比：
本发明基于多峰PSF的计算超分辨率成像系统可以克服传感器的基本空间分辨率限制的问题，得到超分辨率信息，有利于增强图像细节，并增加后续目标识别准确性，适用于遥感成像、航空测量、安防监控等。
本发明基于多峰PSF的计算超分辨率成像系统只需使用单探测器进行单次拍摄，即可得到超分辨率信息，系统结构简单，十分有利于轻小型化，并且适于拍摄快速运动的目标。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是基于多峰PSF的远距离计算超分辨率成像装置的系统结构图；
图2是具有多个PSF尖峰分布的二维图；
图3是超分辨率重建网络框架示意图；
图4是传统高分辨率相机拍摄的图像、低分辨率原始图像、探测器所得到的多个PSF混叠图像以及超分辨率重建图像。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
以下结合具体实施例，对本发明进行了详细说明。
具体实施例一：
根据图1至图4所示，本发明为解决上述技术问题采取的具体优化技术方案是：本发明涉及一种基于多峰PSF的远距离计算超分辨率成像装置，本发明为了克服传统超分辨率成像方法系统体积重量成本大，或需要多次成像、受环境因素干扰明显的问题，提出了一种基于多峰PSF的远距离计算超分辨率成像装置，仅需单个探测器单次成像，再经过超分辨率图像重建即可获得亚像素超分辨率图像。
一种基于多峰PSF的远距离计算超分辨率成像装置，所述成像装置包括：相位掩膜板、成像镜组、探测器和超分辨率重建模块；
相位掩膜板，成像镜组和探测器垂直于成像装置的光轴并依次排列，探测器和超分辨率重建模块电学相连，相位掩膜板放置于成像镜组光瞳处，探测器放置于成像装置后焦平面；来自无限远的平行光经相位掩膜板调制后，通过成像镜组成像到探测器的靶面，得到低分辨率图像；将低分辨率图像输入到超分辨率重建模块，得到高分辨率重建图像。
具体实施例二：
本申请实施例二与实施例一的区别仅在于：
掩膜板和成像镜组组合，在镜组焦平面处所产生的点扩散函数PSF分布包括：n个形状相同的尖峰，n≥3。
具体实施例三：
本申请实施例三与实施例二的区别仅在于：
每个尖峰的半高全宽不超过3个探测器像素的边长尺寸；
每个尖峰的归一化高度不小于0.2，艾里斑的PSF高度为1；
除尖峰外，PSF分布其余位置最大强度旁瓣不大于0.05；
在所有尖峰中选择一个尖峰，为中心尖峰；其余尖峰的峰值位置与该中心尖峰峰值位置之间的距离满足：
（1）
其中，为整数，/>为每个尖峰与中心尖峰位置之间的距离，d为探测器像元尺寸，距离l的方向为水平x或竖直y方向，对应着成像的二维方向；除中心尖峰外的其余尖峰至少应包括一个在水平方向和一个在竖直方向进行位移的尖峰。
具体实施例四：
本申请实施例四与实施例三的区别仅在于：
探测器所得到的图像可表示为原始图像与点扩散函数PSF的卷积，则根据成像过程和卷积定理，可得：
（2）
其中，为原始图像，P(x,y)为中心尖峰点扩散函数值,/>、为其余尖峰位置处的点扩散函数值，/>为探测器得到的混叠图像、、/>、/>为具有亚像素级偏移量的图像序列。
具体实施例五：
本申请实施例五与实施例四的区别仅在于：
相位掩膜板使用振幅加权GS相位恢复算法进行反向生成，为避免重建图像时产生伪影，基于点光源在空间中的传播定律，将作为物平面振幅的初始相位，其中k为波数；为了加快收敛速度，采用振幅加权迭代方法，将目标像面的PSF振幅约束表示为：
（3）
其中， 分别为目标PSF的振幅和重建的PSF振幅。
具体实施例六：
本申请实施例六与实施例五的区别仅在于：
本发明提供一种基于多峰PSF的远距离计算超分辨率成像方法，所述方法包括以下步骤：
步骤1：首先构建超分辨率重建网络模型，包括生成器模型G以及判别器模型D；
步骤2：将低分辨率混叠图像输入网络的生成器G中进超分辨率重建，得到重建的超分辨率图像，将生成器重建的超分辨图像与对应的高分辨率图像一同输入判别器网络中进行真假判别；
步骤3：训练数据集，使用高分辨率相机和带有组装上述相位掩膜板的低分辨率成像系统对同一场景分别成像，形成对应的高-低分辨率图像对，构成数据集，用于训练超分辨率重建网络模型；
步骤4：建立损失函数，训练生成对抗网络模型，将探测器得到的具有亚像素级偏移量的低分辨率混叠图像输入训练好的网络中，得到重建的2倍超分辨率图像。
具体实施例七：
本申请实施例七与实施例六的区别仅在于：
生成器网络G用来生成超分辨率图像，主要包括图像解混叠模块、密集残差模块以及超分辨率重建模块；其中，图像解混叠模块由2个的卷积层构成，激活函数为ReLu，将探测器得到的低分辨率图像消除混叠效应，得到多帧具有亚像素级偏移量的图像，为超分辨率重建保留信息；密集残差模块包含N个结构相同的残差块，每个残差块中去掉传统残差块中的BN 层，通过3*3的卷积层进行特征提取并用LeakyReLu函数激活，并将每一层卷积后得到的特征图连接起来传递到下一层；通过跳跃连接，把密集残差块前端的特征与最后的特征相加；
超分辨率重建模块由1个亚像素卷积层以及一个的卷积层构成；亚像素卷积层将图像特征信息融合互补，重构出分辨率更高、细节更丰富的图像，最后通过一个/>的卷积层，输出重建的超分辨率图像；
判别器网络D用来区分超分辨率图像和真实高分辨率图像，判别条件为真实高分辨率图像，判别器模型D包含8个卷积层，同时包含BN层与LeakyReLu激活单元，滤波器通道数从64个输出通道逐渐增加到512个；得到的512个特征图之后进入两个密集连接层和一个最终的sigmoid激活函数，最后输出生成器生成的超分辨图像为真实的概率。
具体实施例八：
本申请实施例八与实施例七的区别仅在于：
建立损失函数的具体步骤为：
内容损失使用最小均方差损失，用来约束生成图像G(x)在内容上接近于真实图像y；
（4）
其中，W、H为图像的宽、高大小，y表示原始高分辨率图像，G(x)表示生成器网络G生成的超分辨率图像；
感知损失为使生成的超分辨率图像在特征层面上与对应的高分辨率图像接近；
（5）
其中，是预先训练的VGG-19，/>、/>为图像特征；
对抗损失为使判别网络模型难以判别出生成图像的超分辨率图像是否为真：
（6）
其中，N代表训练样本总数量，D表示判别器，为生成的超分辨率图像与原始图像的差距；
总损失函数记为：
（7）
其中，、/>、/>分别为/>、/>、/>的超参数，用于调整各自所占的比重。
具体实施例九：
本申请实施例九与实施例八的区别仅在于：
本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如一种基于多峰PSF的远距离计算超分辨率成像方法。
具体实施例十：
本申请实施例十与实施例九的区别仅在于：
本发明提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其所述处理器执行所述计算机程序时实现一种基于多峰PSF的远距离计算超分辨率成像方法。
具体实施例十一：
本申请实施例十一与实施例十的区别仅在于：
如图1所示，一种基于多峰PSF的远距离计算超分辨率成像装置。该装置主要包括相位掩膜板、成像镜组、探测器以及超分辨率重建模块。相位掩膜板，成像镜组、探测器垂直于系统光轴依次排列，探测器和超分辨率重建模块电学相连。相位掩膜板放置于成像镜组光瞳处，探测器放置于系统后焦平面。来自无限远的平行光经该相位掩膜板调制后，通过成像镜组，并被成像到探测器靶面，得到低分辨率图像。将低分辨率图像输入到超分辨率重建模块，得到高分辨率重建图像。
一种基于多峰PSF的远距离计算超分辨率成像装置，相位掩膜板设计
相位掩膜板的特征为：该掩膜板和成像镜组组合，在镜组焦平面处所产生的点扩散函数（PSF）分布包括3个尖峰。且满足以下条件：1）每个尖峰的半高全宽不超过3个探测器像素的边长尺寸；2）每个尖峰的归一化高度不小于0.2（设艾里斑的PSF高度为1）；3）除尖峰外，PSF分布其余位置最大强度（旁瓣）不大于0.05； 4）在所有尖峰中选择一个尖峰，为中心尖峰。其余两个尖峰的峰值位置与该中心尖峰峰值位置之间的距离l应满足：
（4）
其中，为整数，d为探测器像元尺寸。除中心尖峰外的其余两个尖峰一个在水平方向，另一个在竖直方向进行位移，对应着成像的二维方向。
这样设计的原因是由于探测器所得到的图像可表示为原始图像与点扩散函数PSF的卷积，则根据成像过程和卷积定理，可得：
（5）
其中，为原始图像，P为点扩散函数，/>为探测器得到的混叠图像、/>为具有亚像素级偏移量的图像序列。
从而在一次拍摄中得到由三幅彼此之间具有亚像素级偏移量的低分辨率混叠图像，方便后续的超分辨率重建。
该位相掩膜板可使用振幅加权GS相位恢复算法进行反向生成，主要改变如下：为避免重建图像时产生伪影，本算法基于点光源在空间中的传播定律，提出将作为物平面振幅的初始相位。为了加快算法的收敛速度，受深度学习的激活函数Tanh启发，本算法提出一种振幅加权迭代方法，将目标像面的PSF振幅约束表示为：
（6）
其中， 分别为目标PSF的振幅和重建的PSF振幅。此外，考虑PSF为物面中心视场处的一点经光学系统成像在探测器像面的光场分布，本算法以PSF振幅作为图像平面的光场振幅；对PSF振幅应用傅里叶逆变换，取其模长作为物平面振幅（仿真实验中，可通过调制光源参数在物平面获得同样的光场分布）。
具体步骤如下：开始，由物平面的振幅和初始相位合成物平面光场分布；然后，对合成的复场函数应用傅里叶变换，保留生成的离散复场的相位部分作为像平面光场分布的相位，对生成的离散复场的振幅部分应用PSF振幅约束生成像平面光场分布的振幅，从而合成像平面的光场分布；之后，对更新的像平面光场函数应用傅里叶逆变换，舍弃生成的复场函数的振幅，保留生成的复场函数的相位部分作为物平面光场分布的相位，振幅部分约束为初始物平面振幅。以有限的迭代次数重复该过程，以收敛至最优相位分布。
超分辨率重建
本实例以生成对抗网络GAN为例，设计生成对抗网络超分辨率重建模型，对探测器得到的具有亚像素级偏移量的低分辨率混叠图进行超分辨率重建。
首先构建超分辨率重建网络模型，包括生成器模型G①以及判别器模型D②。将低分辨率混叠图像输入网络的生成器G中进超分辨率重建，得到重建的超分辨率图像。生成器G包括图像解混叠模块、密集残差模块以及超分辨率重建模块。输入的低分辨率图像依次进入图像解混叠模块，将低分辨率混叠图像解混叠，得到多幅具有亚像素级偏移量的图像，然后进入特征提取模块提取图像特征，最后进入重建模块，得到重建的超分辨率图像。将生成器重建的超分辨图像与对应的高分辨率图像一同输入判别器网络中进行真假判别，输出其为真实图像的概率。
超分辨率重建模块使用深度学习网络将探测器得到的具有亚像素偏移量的低分辨率混叠图像进行超分辨率重建：所设计的网络架构包括图像解混叠模块、密集残差模块以及超分辨率重建模块。所提出的超分辨率重建网络架构，可根据实际的光学成像需求选择合适的深度学习网络进行修改，从而将探测器得到的具有亚像素级偏移量的低分辨率混叠图重建为超分辨率图像。
将数据集中③的高-低分辨率图像对输入所设计的网络中进行特征学习，根据所构建的损失函数④训练生成对抗网络模型。训练过程中使用ADAM优化器来对生成网络和判别网络的梯度进行反向传播，不断更新两个模型的参数权重，直至网络收敛，此时判别器不能分辨出生成器生成的超分辨率图像与真实图像的区别，此时优化结束，保存网络模型。
最后将探测器得到的具有亚像素级偏移量的低分辨率混叠图像输入训练好的网络中，得到重建的2倍超分辨率图像。
如表1所示，为所述装置超分辨重建前后图像的PSNR,SSIM对比。
表 1 复原图像结果
①生成器网络G用来生成超分辨率图像，主要包括图像解混叠模块、密集残差模块以及超分辨率重建模块。
其中，图像解混叠模块由2个的卷积层构成，激活函数为ReLu，该模块将探测器得到的低分辨率图像消除混叠效应，得到多帧具有亚像素级偏移量的图像，为超分辨率重建保留尽可能多的信息。
密集残差模块包含N个结构相同的残差块，每个残差块中去掉传统残差块中的BN层，通过3*3的卷积层进行特征提取并用LeakyReLu函数激活，并将每一层卷积后得到的特征图连接起来传递到下一层。最后通过跳跃连接，把密集残差块前端的特征与最后的特征相加。该模块可以增加网络深度，得到深层的图像特征信息。
超分辨率重建模块由1个亚像素卷积层以及一个的卷积层构成。亚像素卷积层将图像特征信息融合互补，重构出分辨率更高、细节更丰富的图像，最后通过一个/>的卷积层，输出重建的超分辨率图像。
②判别器网络D用来区分超分辨率图像和真实高分辨率图像，判别条件为真实高分辨率图像。判别器模型D包含8个卷积层，同时包含BN层与LeakyReLu激活单元，滤波器通道数从64个输出通道逐渐增加到512个。得到的512个特征图之后进入两个密集连接层和一个最终的sigmoid激活函数，最后输出生成器生成的超分辨图像为真实的概率。
③训练数据集：使用高分辨率相机和带有组装上述相位掩膜板的低分辨率成像系统对同一场景分别成像，形成对应的高-低分辨率图像对，构成数据集，用于训练所设计的网络模型。其中规定相机分辨率达到25921944以上为高分辨率相机。
④损失函数包括：
内容损失使用最小均方差损失，用来约束生成图像G(x)在内容上更加接近于真实图像y；
（7）
其中，W、H图像的宽、高大小，y表示原始高分辨率图像，G(x)表示生成器网络G生成的超分辨率图像。
感知损失，目的为使生成的超分辨率图像在特征层面上与对应的高分辨率图像接近；
（8）
其中，是预先训练的VGG-19，/>、/>为图像特征。
对抗损失，目的为使判别网络模型难以判别出生成图像的超分辨率图像是否为真，
（9）
其中，N代表训练样本总数量，D表示判别器，为生成的超分辨率图像与原始图像的差距；
总损失函数记为：
（10）
其中，、/>、/>分别为/>、/>、/>的超参数，用于调整它们各自所占的比重。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或 者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表 述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或 N 个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下， 本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特 征进行结合和组合。 此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性 或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“N个”的含义是至少两个，例如 两个，三个等，除非另有明确具体的限定。 流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个 或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的 实施例所属技术领域的技术人员所理解。 在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实 现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设 备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播 或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或N个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM 或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进 行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存 储在计算机存储器中。 应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实 施方式中，N 个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或 固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离 散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场 可编程门阵列（FPGA）等。
以上所述仅是一种全局匹配的水下运动目标视觉增强方法的优选实施方式，一种全局匹配的水下运动目标视觉增强方法的保护范围并不仅局限于上述实施例，凡属于该思路下的技术方案均属于本发明的保护范围。应当指出，对于本领域的技术人员来说，在不脱离本发明原理前提下的若干改进和变化，这些改进和变化也应视为本发明的保护范围。
Claims (7)
1.一种基于多峰PSF的远距离计算超分辨率成像装置，其特征是：所述成像装置包括：相位掩膜板、成像镜组、探测器和超分辨率重建模块；
相位掩膜板，成像镜组和探测器垂直于成像装置的光轴并依次排列，探测器和超分辨率重建模块电学相连，相位掩膜板放置于成像镜组光瞳处，探测器放置于成像装置后焦平面；来自无限远的平行光经相位掩膜板调制后，通过成像镜组成像到探测器的靶面，得到低分辨率图像；将低分辨率图像输入到超分辨率重建模块，得到高分辨率重建图像；
探测器所得到的图像表示为原始图像与点扩散函数PSF的卷积，则根据成像过程和卷积定理，可得：
其中，I0(x,y)为原始图像，P(x,y)为中心尖峰点扩散函数值,P(x-l1，y)、P(x，y-l2)为其余尖峰位置处的点扩散函数值，I(x′,y′)为探测器得到的混叠图像、I1(x′,y′)、I1(x′-l1,y′)、I1(x′,y′-l2)为具有亚像素级偏移量的图像序列；
相位掩膜板使用振幅加权GS相位恢复算法进行反向生成，为避免重建图像时产生伪影，基于点光源在空间中的传播定律，将-k*(x2+y2+z2)0.5作为物平面振幅的初始相位；其中k为波数，为了加快收敛速度，采用振幅加权迭代方法，将目标像面的PSF振幅约束表示为：
其中，At Ar分别为目标PSF的振幅和重建的PSF振幅；
每个尖峰的半高全宽不超过3个探测器像素的边长尺寸；
每个尖峰的归一化高度不小于0.2，艾里斑的PSF高度为1；
除尖峰外，PSF分布其余位置最大强度旁瓣不大于0.05；
在所有尖峰中选择一个尖峰，为中心尖峰；其余尖峰的峰值位置与该中心尖峰峰值位置之间的距离l应满足：
li＝(ni+0.5)d (1)
其中，ni为整数，li为每个尖峰与中心尖峰位置之间的距离，d为探测器像元尺寸，距离l的方向为水平x或竖直y方向，对应着成像的二维方向；除中心尖峰外的其余尖峰至少应包括一个在水平方向和一个在竖直方向进行位移的尖峰。
2.根据权利要求1所述的成像装置，其特征是：掩膜板和成像镜组组合，在镜组焦平面处所产生的点扩散函数PSF分布包括：n个形状相同的尖峰，n≥3。
3.一种基于多峰PSF的远距离计算超分辨率成像方法，所述方法基于如权利要求1所述的一种基于多峰PSF的远距离计算超分辨率成像装置实现，其特征是：所述方法包括以下步骤：
步骤1：首先构建超分辨率重建网络模型，包括生成器模型G以及判别器模型D；
步骤2：将低分辨率的混叠图像，输入重建网络的生成器G中进行超分辨率重建，得到重建的超分辨率图像，将生成器重建的超分辨图像与对应的高分辨率图像一同输入判别器网络中进行真假判别；
步骤3：训练数据集，使用高分辨率相机和带有组装相位掩膜板的低分辨率成像系统对同一场景分别成像，形成对应的高-低分辨率图像对，构成数据集，用于训练超分辨率重建网络模型；
步骤4：建立损失函数，训练生成对抗网络模型，将探测器得到的具有亚像素级偏移量的低分辨率混叠图像输入训练好的网络中，得到重建的2倍超分辨率图像。
4.根据权利要求3所述的方法，其特征是：生成器网络G用来生成超分辨率图像，包括图像解混叠模块、密集残差模块以及超分辨率重建模块；其中，图像解混叠模块由2个3×3的卷积层构成，激活函数为ReLu，将探测器得到的低分辨率图像消除混叠效应，得到多帧具有亚像素级偏移量的图像，为超分辨率重建保留信息；密集残差模块包含N个结构相同的残差块，每个残差块中去掉传统残差块中的BN层，通过3*3的卷积层进行特征提取并用LeakyReLu函数激活，并将每一层卷积后得到的特征图连接起来传递到下一层；通过跳跃连接，把密集残差块前端的特征与最后的特征相加；
超分辨率重建模块由1个亚像素卷积层以及一个3×3的卷积层构成；亚像素卷积层将图像特征信息融合互补，最后通过一个3×3的卷积层，输出重建的超分辨率图像；
判别器网络D用来区分超分辨率图像和真实高分辨率图像，判别条件为真实高分辨率图像，判别器模型D包含8个卷积层，同时包含BN层与LeakyReLu激活单元，滤波器通道数从64个输出通道逐渐增加到512个；得到的512个特征图之后进入两个密集连接层和一个最终的sigmoid激活函数，最后输出生成器生成的超分辨图像为真实的概率。
5.根据权利要求4所述的方法，其特征是：建立损失函数的具体步骤为：
内容损失使用最小均方差损失lMSE，用来约束生成图像G(x)在内容上接近于真实图像y；
其中，W、H为图像的宽、高大小，y表示原始高分辨率图像，G(x)表示生成器网络G生成的超分辨率图像；
感知损失lg为使生成的超分辨率图像在特征层面上与对应的高分辨率图像接近；
其中，是预先训练的VGG-19，/>为图像特征；
对抗损失ld为使判别网络模型难以判别出生成图像的超分辨率图像是否为真：
其中，N代表训练样本总数量，D表示判别器，D(y,xi)为生成的超分辨率图像与原始图像的差距；
总损失函数记为：
loss＝α·lMSE+β·lg+γ·ld (7)
其中，α、β、γ分别为lMSE、lg、ld的超参数，用于调整各自所占的比重。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求3-5任意一项权利要求所述的方法。
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征是：所述处理器执行所述计算机程序时实现权利要求4-5任意一项权利要求所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310955652.XA CN116681595B (zh) | 2023-08-01 | 2023-08-01 | 一种基于多峰psf的远距离计算超分辨率成像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310955652.XA CN116681595B (zh) | 2023-08-01 | 2023-08-01 | 一种基于多峰psf的远距离计算超分辨率成像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116681595A CN116681595A (zh) | 2023-09-01 |
| CN116681595B true CN116681595B (zh) | 2023-11-03 |
Family
ID=87781300
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310955652.XA Active CN116681595B (zh) | 2023-08-01 | 2023-08-01 | 一种基于多峰psf的远距离计算超分辨率成像装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116681595B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104834088A (zh) * | 2015-04-09 | 2015-08-12 | 中国科学院西安光学精密机械研究所 | 波前编码成像系统及基于单幅图像放大的超分辨处理方法 |
| CN107979716A (zh) * | 2016-10-21 | 2018-05-01 | 三星电机株式会社 | 相机模块和包括该相机模块的电子装置 |
| CN108828788A (zh) * | 2018-06-15 | 2018-11-16 | 长春理工大学 | 用于望远大视场超分辨率快速成像装置及其成像方法 |
| CN111145089A (zh) * | 2019-11-18 | 2020-05-12 | 中国科学院苏州生物医学工程技术研究所 | 高保真图像重构方法、系统、计算机设备和存储介质 |
| CN111308682A (zh) * | 2019-11-18 | 2020-06-19 | 天津大学 | 基于结构光照明的超分辨重构方法 |
| KR102303002B1 (ko) * | 2021-03-31 | 2021-09-16 | 인하대학교 산학협력단 | 의사 블러 합성기를 이용한 사람이 포함된 영상의 디블러링 방법 및 장치 |
| CN114387196A (zh) * | 2021-12-24 | 2022-04-22 | 汉姆德(宁波)智能医疗科技有限公司 | 超分辨显微镜欠采样图像的生成方法、装置 |
| CN116245726A (zh) * | 2023-01-18 | 2023-06-09 | 长春理工大学 | 基于深度学习框架的压缩感知偏振超分辨成像方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9692939B2 (en) * | 2013-05-29 | 2017-06-27 | Yeda Research And Development Co. Ltd. | Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence |
| US10921255B2 (en) * | 2014-12-09 | 2021-02-16 | Bioaxial Sas | Optical measuring device and process |
-
2023
- 2023-08-01 CN CN202310955652.XA patent/CN116681595B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104834088A (zh) * | 2015-04-09 | 2015-08-12 | 中国科学院西安光学精密机械研究所 | 波前编码成像系统及基于单幅图像放大的超分辨处理方法 |
| CN107979716A (zh) * | 2016-10-21 | 2018-05-01 | 三星电机株式会社 | 相机模块和包括该相机模块的电子装置 |
| CN108828788A (zh) * | 2018-06-15 | 2018-11-16 | 长春理工大学 | 用于望远大视场超分辨率快速成像装置及其成像方法 |
| CN111145089A (zh) * | 2019-11-18 | 2020-05-12 | 中国科学院苏州生物医学工程技术研究所 | 高保真图像重构方法、系统、计算机设备和存储介质 |
| CN111308682A (zh) * | 2019-11-18 | 2020-06-19 | 天津大学 | 基于结构光照明的超分辨重构方法 |
| KR102303002B1 (ko) * | 2021-03-31 | 2021-09-16 | 인하대학교 산학협력단 | 의사 블러 합성기를 이용한 사람이 포함된 영상의 디블러링 방법 및 장치 |
| CN114387196A (zh) * | 2021-12-24 | 2022-04-22 | 汉姆德(宁波)智能医疗科技有限公司 | 超分辨显微镜欠采样图像的生成方法、装置 |
| CN116245726A (zh) * | 2023-01-18 | 2023-06-09 | 长春理工大学 | 基于深度学习框架的压缩感知偏振超分辨成像方法 |
Non-Patent Citations (2)
| Title |
|---|
| Deep learning-based computed tomographic image super-resolution via wavelet embedding;Hyeongsub Kim et al.;《Radiation Physics and Chemistry》;全文 * |
| 基于亚像素扫描的超分辨技术在X射线显微镜中的应用;耿星杰;《中国优秀硕士学位论文全文数据库信息科技辑》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116681595A (zh) | 2023-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lan et al. | MADNet: A fast and lightweight network for single-image super resolution | |
| CN110770784B (zh) | 图像处理装置、成像装置、图像处理方法、程序、以及存储介质 | |
| CN106846463B (zh) | 基于深度学习神经网络的显微图像三维重建方法及系统 | |
| CN112308200B (zh) | 神经网络的搜索方法及装置 | |
| CN102792671B (zh) | 用于图像采集和转换的方法和装置 | |
| Pu et al. | Robust high dynamic range (hdr) imaging with complex motion and parallax | |
| AU2020281143B1 (en) | Creating super-resolution images | |
| CN114757862B (zh) | 用于红外光场设备的图像增强渐进式融合方法 | |
| CN116245726A (zh) | 基于深度学习框架的压缩感知偏振超分辨成像方法 | |
| Rohith et al. | Paradigm shifts in super-resolution techniques for remote sensing applications | |
| CN116993826A (zh) | 一种基于局部空间聚合神经辐射场的场景新视图生成方法 | |
| CN115578262A (zh) | 基于afan模型的偏振图像超分辨率重建方法 | |
| CN115086550A (zh) | 元成像方法与系统 | |
| CN110335228B (zh) | 一种图像视差的确定方法、装置及系统 | |
| CN112113661B (zh) | 一种深度学习型快照式光谱成像装置及其探测方法 | |
| CN111008930B (zh) | 一种织物图像超分辨率重建方法 | |
| CN111353982B (zh) | 一种深度相机图像序列筛选方法及装置 | |
| CN116681595B (zh) | 一种基于多峰psf的远距离计算超分辨率成像装置 | |
| KR102614908B1 (ko) | 이미지 복원 방법 및 장치 | |
| CN115760670B (zh) | 基于网络隐式先验的无监督高光谱融合方法及装置 | |
| Zhang et al. | Iterative multi‐scale residual network for deblurring | |
| CN116612009A (zh) | 一种多尺度连接生成对抗网络医学图像超分辨率重建方法 | |
| CN115909088A (zh) | 基于超分辨特征聚合的光学遥感图像目标检测方法 | |
| Jee et al. | Hologram super-resolution using dual-generator gan | |
| Ma et al. | Progressive fusion network based on infrared light field equipment for infrared image enhancement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |