CN114565514A - 一种基于线扫描的图像超分辨率方法 - Google Patents

一种基于线扫描的图像超分辨率方法 Download PDF

Info

Publication number
CN114565514A
CN114565514A CN202210166823.6A CN202210166823A CN114565514A CN 114565514 A CN114565514 A CN 114565514A CN 202210166823 A CN202210166823 A CN 202210166823A CN 114565514 A CN114565514 A CN 114565514A
Authority
CN
China
Prior art keywords
resolution
image
spatial light
light modulator
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210166823.6A
Other languages
English (en)
Other versions
CN114565514B (zh
Inventor
田昕
肖滢
刘芮
何访
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202210166823.6A priority Critical patent/CN114565514B/zh
Publication of CN114565514A publication Critical patent/CN114565514A/zh
Application granted granted Critical
Publication of CN114565514B publication Critical patent/CN114565514B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明提出了一种基于线扫描的图像超分辨率方法，利用低分辨率探测器结合高分辨率空间调制器通过正交方向的线扫描获取多幅包含目标不同像素位置信息的低分辨率图像，进一步分别对两个方向上的低分辨率图像进行对应像素信息的提取和拼接融合得到两个方向上的图像超分辨率重建结果。最后提出一种基于全局和低秩约束的联合重建方法对两个方向的重建结果进行融合和条纹去噪，最终得到目标高分辨率重建图像。通过调整空间光调制器的工作像素和探测器成像区域像素实现不同超分辨率倍数的图像重建，通过调整扫描间隔来平衡采样时间与重建质量之间的关系，具有较强的灵活性和鲁棒性。本发明提供的方法分辨率增强效果显著，方法竞争力强。

Description

一种基于线扫描的图像超分辨率方法
技术领域
本发明属于图像超分辨率领域，涉及一种基于线扫描的图像超分辨率方法，适用于各种资源受限的图像超分应用场景。
背景技术
图像超分辨率重建(Super-Resolution，SR)是指从观测到的同一场景的单幅或者多幅低分辨率(Low Resolution，LR)图像中，通过相应的算法恢复一个高分辨率(HighResolution，HR)图像的过程。该技术已经广泛应用在医疗诊断、遥感探测、计算机视觉以及军事侦察等各个领域[1,2]。
传统的图像超分辨率方法包括插值方法和基于学习的方法。最早使用的插值方法[3]只能利用低分辨率图像自身的像素信息对周围下像素进行插值实现高分辨率图像重构，难以得到满意的结果。为了缓解这一问题，基于实例学习的方法[4-7]通过尽可能挖掘LR与HR图像块对之间的映射关系，并将其作为先验知识重构更高质量的高分辨率图像。近年来，基于深度学习的方法[8-11]成为研究热点，并取得了一些优秀成果，但由于输入图像中所包含的目标真实信息有限，单纯基于软件算法的重建方法仍难以实现复杂图像的重构。
近年来，基于空间光调制器件实现图像或场景的光路复用技术[12]为超分辨率成像问题带来新的思路。通过控制调制器件实现逐像素扫描方法能够最直接获取目标的全部高像素信息，但为了避免点扩撒函数的混叠，图像采集时间较长。为了加快成像速度，压缩感知技术被应用于这个课题[13-14]。但上述方法仍然存在两个限制：(1)由于光复用过程中是基于单个像素水平的信息采集，对成像传感器的光照灵敏度要求较高；(2)受限于传感器的填充系数无法达到100％，重建结果会产生不可避免的不均匀性噪声。
发明内容
本发明针对现有技术的不足，利用基于目标线空间信息的光路复用技术，在正交方向上采集多幅包含目标不同信息的低分辨率图像，并进一步将其进行融合与重建，从而实现从目标低分辨率图像实现高分辨率图像重建的方法。
基于线扫描的图像超分辨率方法是利用一种基于线的光多路复用技术来设计一种新的成像框架，在正交方向上分别采集包含不同空间信息的低分辨率图像。并进一步提出一种基于全变分和低秩约束的联合重建算法对两个方向的重建结果进行融合。如何实现数据的快速采集和高质量结果重建，以及如何有效解决像素混叠和结果的不均匀性是基于线扫描的图像超分辨率方法的关键问题。
本发明所采用的技术方案是：一种基于线扫描的图像超分辨率方法，首先将白光作为照明光源，目标表面反射光通过物镜汇聚到空间光调制器工作液晶面上，利用高分辨率空间光调制器对目标分别进行行方向和列方向扫描，将扫描后的图像再次成像在低分辨率图像传感器上，通过合成多幅包含不同行列信息的低分辨率图像分别得到行列两个方向的超分辨结果。最后我们提出一种基于全局和低秩约束的重建算法将两个方向的结果进行融合重建，得到最终的高分辨率重建图像。其系统原理图如附图1所示。该方法包括以下步骤：
步骤1：搭建光学系统。将白光光源打在目标物上，使目标的反射光经过物镜会聚在空间光调制器表面，经空间光调制后的物体高分辨率线扫描信息经过成像透镜成像在图像探测器光敏面上。根据分辨率增强的倍数设置空间光调制器的工作像素大小以及相应图像探测器成像区域像素大小。
步骤2：对空间光调制器和探测器进行工作频率同步匹配。
步骤3：空间光调制器在水平和垂直方向设置合适的线扫描间隔分别对投影的目标信息进行扫描，用图像探测器获取每次扫描图像，从而在正交方向上得到目标一系列低分辨率图像。
步骤4：将步骤3中得到的系列低分辨率图像分别在水平和垂直方向上进行对应像素位置的拼接融合后得到两个方向上的图像超分结果。
步骤5：提出一种基于全局和低秩约束的联合重建方法，对步骤4中得到的正交方向上的超分结果进行融合重建，同时解决因为像素扫描带来的线状条纹噪声的问题，从而得到最终的高分辨率重建图像。
进一步的，步骤1的具体实现包括以下子步骤：
步骤1.1，将白光光源照射到探测目标的表面，目标表面反射光经焦距为f 的双胶合透镜会聚在空间光调制器液晶工作面上。
步骤1.2，旋转空间光调制器前后两个偏振片，使其偏振方向为正交方向，从而使空间光调制器调制效果最佳。
步骤1.3，在空间光调制器中输入像素大小为M×N的全通矩阵，使其与目标信息相作用后通过一组变焦镜头成像在CCD光敏面上。进一步调整镜头焦距使CCD成像区域像素大小为m×n，要求分辨率增强倍数Sr为空间光调制器与 CCD成像区域像素之比，即：
Figure BDA0003516548560000031
进一步的，为了能够同步空间光调制器的调制与CCD的图像采集，在步骤 2中我们设置空间光调制器图像翻转频率fs与CCD图像采集频率fz相同。
进一步的，步骤3的具体实现包括以下子步骤：
步骤3.1，在计算机上设计需要的线扫描调制矩阵，在水平方向上，设置扫描间隔为T(T≥Sr)，此时需要T个调制矩阵，第p个调制矩阵为：
Figure BDA0003516548560000032
其中，R(i,j)表示在水平方向扫描时，第p个调制矩阵R；M,N表示空间光调制器输入调制矩阵大小为M行N列。
同理，在垂直方向上，在相同的扫描间隔下同样需要T个调制矩阵，第p个调制矩阵为：
Figure BDA0003516548560000033
其中，C(i,j)表示在水平方向扫描时，第p个调制矩阵C；
步骤3.2，合理调整扫描间隔T，使其尽量小的同时，CCD获取的线扫描信息之间无混叠。
步骤3.3，空间光调制器按顺序播放上述线扫描调制矩阵，相应的CCD同步获取每次经调制后的目标图像，此时我们将分别在水平和垂直方向获得T幅低分辨率图像
Figure BDA0003516548560000034
和
Figure BDA0003516548560000035
其中m×n表示CCD成像分辨率，即获取的低分辨率图像的分辨率，u，v分别表示在水平方向获得的第u幅低分辨率图像和在垂直方向获得的第v幅低分辨率图像。
进一步的，步骤4中，分别将步骤3中CCD获取的水平和垂直方向多幅低分辨率扫描图像中的线条纹信息进行提取和拼接融合。融合后我们得到水平方向重建结果
Figure BDA0003516548560000041
和垂直方向重建结果
Figure BDA0003516548560000042
进一步的，步骤5的具体实现包括以下子步骤：
步骤5.1，我们定义目标结果为变量F，变量Y为含有线条纹噪声的F，其中Y包含两个内容：目标结果F以及线条纹噪声B。步骤4中的重建结果Mr和Mc被认为是Y的下采样版本。我们将联合重建问题描述为：
Figure BDA0003516548560000043
其中Ψr和Ψc为下采样算子，
Figure BDA0003516548560000044
为Frobenius范数，‖·‖TV为TV范数，‖·‖*为核范数，α，λ，ρ为相关参数。
步骤5.2，通过解决关于变量Y，F，和B的三个子问题得到最终目标重建结果F。
关于Y的子问题被描述为：
Figure BDA0003516548560000045
其中，t表示迭代次数，我们采用快速收缩阈值算法[15]对Ψr和Ψc进行分离并进一步解决这个问题。
关于F的子问题被描述为：
Figure BDA0003516548560000046
这个结果可以直接由增广的拉格朗日方法[16]导出。
关于B的子问题被描述为：
Figure BDA0003516548560000047
可以利用软阈值方法[17]解决这个问题。
通过解决以上问题我们可以得到最终的重建高分辨率结果F。
与现有技术相比，本发明的优点和有益效果如下：本发明考虑利用一种基于线扫描的光多路复用技术，提出一种新的成像框架。在正交方向上分别采集包含目标不同空间信息的低分辨率图像，并提出一种联合重建算法对两个方向上的重建结果进行融合，实现了图像的超分辨成像，并有效解决了扫描成像过程中由于 CCD像素响应的不均匀性产生的条纹噪声，显著提高了图像重建质量。
附图说明
图1是基于线扫描的图像超分辨率方法系统原理图。
图2为实施例的测量系统装置图。
图3是扫描调制矩阵示例图。
图4是调制后CCD采集图像示例图。
图5是两个方向上超分辨率重建结果图。
图6是初始低分辨率图与最终联合重建结果图。
图7是不同线采样间隔图像4倍超分辨率结果对比图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明做进一步的详细描述，应当理解的是，此处所描述的实施例仅用于解释本发明，并不用于限定本发明。
本发明主要针对图像超分辨率的应用需求。用低分辨率探测器多次采集投影在空间光调制器上的高分辨率目标信息，通过多幅低分辨率图像的融合实现正交方向的图像超分辨率重建。最后利用一种联合重建方法融合两个方向上的重建结果得到最终的高分辨率图像。
附图2为实施例的测量系统装置图。系统主要由物镜，空间光调制器，偏振片，成像镜头和CCD探测器组成。
步骤1：搭建光学系统。将白光光源打在目标物上，使目标的反射光经过物镜会聚在空间光调制器表面，经空间光调制后的物体高分辨率线扫描信息经过成像透镜成像在图像探测器光敏面上。根据分辨率增强的倍数设置空间光调制器的工作像素大小以及相应图像探测器成像区域像素大小。具体实现包括以下子步骤：
步骤1.1，将白光光源照射到探测目标的表面，目标表面反射光经焦距为 f＝200mm的双胶合透镜会聚在空间光调制器液晶工作面上。
步骤1.2，旋转空间光调制器前后两个偏振片，使其偏振方向为正交方向，从而使空间光调制器调制效果最佳。
步骤1.3，在空间光调制器中输入像素大小为M×N(M＝N＝512)的全通矩阵，使其与目标信息相作用后通过一组变焦镜头成像在CCD光敏面上。进一步调整镜头焦距使CCD成像区域像素大小为m×n(m＝n＝64)，要求分辨率增强倍数Sr为空间光调制器与CCD成像区域像素之比，即：
Figure BDA0003516548560000061
步骤2：对空间光调制器和探测器进行工作频率同步匹配，为了采样频率尽可能大，我们设置空间光调制器的调制频率和相机采集频率均为60Hz。
步骤3：空间光调制器在水平和垂直方向设置合适的线扫描间隔分别对投影的目标信息进行扫描，用图像探测器获取每次扫描图像，从而在正交方向上得到目标一系列低分辨率图像。具体实现包括以下子步骤：
步骤3.1，在计算机上设计需要的线扫描调制矩阵，在水平方向上，设置扫描间隔为T(T≥Sr)，此时需要T个调制矩阵，第p个调制矩阵为:
Figure BDA0003516548560000062
其中，R(i,j)表示在水平方向扫描时，第p个调制矩阵R；M,N表示空间光调制器输入调制矩阵大小为M行N列；
同理，在垂直方向上，在相同的扫描间隔下同样需要T个调制矩阵，第p个调制矩阵为：
Figure BDA0003516548560000063
其中，C(i,j)表示在水平方向扫描时，第p个调制矩阵C；调制矩阵示例如附图3 所示。
步骤3.2，合理调整扫描间隔T，在此实例中我们设置T＝32，使得CCD获取的线扫描信息之间间隔清晰无混叠。
步骤3.3，空间光调制器按顺序播放上述线扫描调制矩阵，相应的CCD同步获取每次经调制后的目标图像，此时我们将分别在水平和垂直方向获得T＝32幅低分辨率图像
Figure BDA0003516548560000064
和
Figure BDA0003516548560000065
其中m×n表示 CCD成像分辨率，即获取的低分辨率图像的分辨率，u，v分别表示在水平方向获得的第u幅低分辨率图像和在垂直方向获得的第v幅低分辨率图像，图像示例如附图4所示。
步骤4：分别将步骤三中CCD获取的水平和垂直方向T＝32幅低分辨率扫描图像中的线条纹信息进行提取和拼接融合。融合后我们得到水平方向重建结果
Figure BDA0003516548560000071
和垂直方向重建结果
Figure BDA0003516548560000072
此步骤结果如附图5所示。
步骤5：提出一种基于全局和低秩约束的联合重建方法，对步骤4中得到的正交方向上的超分结果进行融合重建，同时解决因为像素扫描带来的线状条纹噪声的问题，从而得到最终的高分辨率重建图像。具体实现包括以下子步骤：
步骤5.1，我们定义目标结果为变量F，变量Y为含有线条纹噪声的F，其中Y包含两个内容：目标结果F以及线条纹噪声B。步骤4中的重建结果Mr和Mc被认为是Y的下采样版本。我们将联合重建问题描述为：
Figure BDA0003516548560000073
其中Ψr和Ψc为下采样算子，
Figure BDA0003516548560000074
为Frobenius范数，‖·‖TV为TV范数，‖·‖*为核范数，α，λ，ρ为相关参数。
步骤5.2，通过解决关于变量Y，F，和B的三个子问题得到最终目标重建结果F。
关于Y的子问题被描述为：
Figure BDA0003516548560000075
我们采用快速收缩阈值算法[15]对Ψr和Ψc进行分离并进一步解决这个问题。
关于F的子问题被描述为：
Figure BDA0003516548560000076
这个结果可以直接由增广的拉格朗日方法[16]导出。
关于B的子问题被描述为：
Figure BDA0003516548560000077
可以利用软阈值方法[17]解决这个问题。
通过解决以上问题我们可以得到最终的重建高分辨率结果F。
基于上述步骤我们可以通过调整空间光调制器工作像素(M×N)和探测器成像区域(m×n)的大小实现不同超分辨率倍数(Sr)的图像重建，同时选择不同的扫描间隔T可以平衡成像速度和质量之间的关系。附图7补充说明了在Sr＝4 时我们设置不同的扫描间隔T对目标进行成像的结果。结果显示当扫描间隔T 较小，即采集图像数量更少，成像速度更快时，能够一定程度实现分辨率增强的效果，但是随着扫描间隔T的增大，牺牲了一定的成像速度，但是可以达到更好的超分辨率效果。为了方便起见，该实验中我们将目标图像直接显示在手机屏幕上作为目标物。
表1：基于8幅来源于DIV2K数据库图像的不同超分辨率方法结果量化评价
Figure BDA0003516548560000081
为了定量的评价基于线扫描的图像超分辨率方法的图像重建效果，我们在超分辨率倍数Sr＝4，扫描间隔T＝16的实验中我们选用了DIV2K数据集中的8 幅图像进行了重建，并与一些典型的基于软件算法的图像超分辨率方法进行了对比。8幅图像对比实验中，PSNR和SSIM评价指标的均值和方差如表1所示。
可以看到我们提出的方法(LSSR)的两项重要成像指标都明显高于现有各类软件方法，由此可以证明基于线扫描的图像超分辨率方法对于利用低分辨率探测器实现高分辨率图像重建具有显著效果与重要意义。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
参考文献
[1]H.Luo，H.Yu，Y.Wen，T.Zhang，P.Li，F.Wang，and L.Liu，“Enhanced high-quality super-resolution imaging in air using microsphere lens groups，”Opt.Lett.45，2981-2984(2020).
[2]X.Wang，J.Ma，P.Yi，X.Tian，J.Jiang，and X.-P.Zhang，“Learning anepipolar shift compensation for light fifield image super-resolution，”Inf.Fusion 79， 188-199(2022).
[3]Q.Wang and R.K.Ward，“A new orientation-adaptive interpolationmethod，” IEEE Transactions on Image Process.16，889-900(2007).
[4]H.Chang，D.-Y.Yeung，and Y.Xiong，“Super-resolution through neighborembedding，”in Proc.IEEE Conf.Comput.Vis.Pattem Recognit.，(2004).
[5]J.Yang，J.Wright，T.S.Huang，and Y.Ma，“Image super-resolution viasparse representation，”IEEE Transactious on Image Process.19，2861-2873(2010).
[6]M.Bevilacqua，A.Roumy，C.Guillemot，and M.-L.Alberi-Morel，“Lowcomplexity single image super-resolution based on nonnegative neighborembedding，”in Proc.Brit.Mach.Vis.Conf.，(2012).
[7]J.Jiang，X.Ma，C.Chen，T.Lu，Z.Wang，and J.Ma，“Single image super-resolution via locally regularized anchored neighborhood regression andnonlocal means，”IEEE Transactions on Multimed.19，15-26(2016).
[8]P.Yi，Z.Wang，K.Jiang，J.Jiang，T.Lu，and J.Ma，“A progressive fusiongenerative adversarial network for realistic and consistent video super-resolution，” IEEE Transactions on Pattern Analysis Mach.Intell.(2020).
[9]M.Haris，G.Shakhnarovich，and N.Ukita，“Deep back-projection networksfor super-resolution，”in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.，(2018)，pp. 1664-1673.
[10]K.Zhang，L.V.Gool，and R.Timofte，“Deep unfolding network for imagesuper-resolution，”in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.，(2020)，pp.3217-3226.
[11]D.Ulyanov，A.Vedaldi，and V.Lempitsky，“Deep image prior，”inProc.IEEE Conf.Comput.Vis.Pattern Recognit.，(2018)，pp.9446-9454.
[12]H.Chen，M.Salman Asif，A.C.Sankaranarayanan，and A.Veeraraghavan，“Fpa-cs：Focal plane array-based compressive imaging in short wave infrared，”in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.，(2015)，pp.2358-2366.
[13]F.Li，H.Chen，A.Pediredla，C.Yeh，K.He，A.Veeraraghavan，andO.Cossairt，“CS-ToF：High-resolution compressive time-of-flflight imaging，”Opt.Express 25，31096-31110(2017).
[14]Q.Sun，X.Dun，Y.Peng，and W.Heidrich，“Depth and transient imagingwith compressive SPAD array cameras.”in Proc.IEEE Conf.Comput.Vis.PatternRecognit.，(2018)，pp.273-282.
[15]A.Beck and M.Teboulle，SIAM J.on Imaging Sci.2，183(2009).
[16]S.H.Chan，R.Khoshabeh，K.B.Gibson，P.E.Gill，and T.Q.Nguyen，IEEETransactious on Image Process.20，3097(2011).
[17]J.-F.Cai，E.J.Candès，and Z.Shen，SIAM J.on Optim.20，1956(2010)。

Claims (6)

1.一种基于线扫描的图像超分辨率方法，其特征在于，包括如下步骤：
步骤1，搭建光学系统，将白光光源打在目标物上，使目标的反射光经过物镜会聚在空间光调制器表面，经空间光调制后的物体高分辨率线扫描信息经过成像透镜成像在图像探测器光敏面上，根据分辨率增强的倍数设置空间光调制器的工作像素大小以及相应图像探测器成像区域像素大小；
步骤2，对空间光调制器和探测器进行工作频率同步匹配；
步骤3，空间光调制器在水平和垂直方向设置合适的线扫描间隔分别对投影的目标信息进行扫描，用图像探测器获取每次扫描图像，从而在正交方向上得到目标一系列低分辨率图像；
步骤4，将步骤3中得到的系列低分辨率图像分别在水平和垂直方向上进行对应像素位置的拼接融合后得到两个方向上的图像超分结果；
步骤5，对步骤4中得到的正交方向上的超分结果进行融合重建，同时解决因为像素扫描带来的线状条纹噪声的问题，从而得到最终的高分辨率重建图像。
2.如权利要求1所述的一种基于线扫描的图像超分辨率方法，其特征在于：步骤1的具体实现包括以下子步骤：
步骤1.1，将白光光源照射到探测目标的表面，目标表面反射光经焦距为f的双胶合透镜会聚在空间光调制器液晶工作面上；
步骤1.2，旋转空间光调制器前后两个偏振片，使其偏振方向为正交方向，从而使空间光调制器调制效果最佳；
步骤1.3，在空间光调制器中输入像素大小为M×N的全通矩阵，使其与目标信息相作用后通过一组变焦镜头成像在CCD光敏面上，进一步调整镜头焦距使CCD成像区域像素大小为m×n，分辨率增强倍数Sr为空间光调制器与CCD成像区域像素之比，即：
Figure FDA0003516548550000011
3.如权利要求1所述的一种基于线扫描的图像超分辨率方法，其特征在于：步骤2中设置空间光调制器图像翻转频率fs与CCD图像采集频率fz相同，即可实现空间光调制器和探测器的工作频率同步匹配。
4.如权利要求1所述的一种基于线扫描的图像超分辨率方法，其特征在于：步骤3的具体实现包括以下子步骤：
步骤3.1，在计算机上设计需要的线扫描调制矩阵，在水平方向上，设置扫描间隔为T，T≥Sr，此时需要T个调制矩阵，第p个调制矩阵为：
Figure FDA0003516548550000021
其中，R(i,j)表示在水平方向扫描时，第p个调制矩阵R；M,N表示空间光调制器输入调制矩阵大小为M行N列；
同理，在垂直方向上，在相同的扫描间隔下同样需要T个调制矩阵，第p个调制矩阵为：
Figure FDA0003516548550000022
其中，C(i,j)表示在水平方向扫描时，第p个调制矩阵C；
步骤3.2，合理调整扫描间隔T，使其尽量小的同时，CCD获取的线扫描信息之间无混叠；
步骤3.3，空间光调制器按顺序播放上述线扫描调制矩阵，相应的CCD同步获取每次经调制后的目标图像，此时将分别在水平和垂直方向获得T幅低分辨率图像
Figure FDA0003516548550000023
u＝{1,T}和
Figure FDA0003516548550000024
v＝{1,T}，其中m×n表示CCD成像分辨率，即获取的低分辨率图像的分辨率，u，v分别表示在水平方向获得的第u幅低分辨率图像和在垂直方向获得的第v幅低分辨率图像。
5.如权利要求1所述的一种基于线扫描的图像超分辨率方法，其特征在于：步骤4中，分别将步骤3中CCD获取的水平和垂直方向多幅低分辨率扫描图像中的线条纹信息进行提取和拼接融合，融合后得到水平方向重建结果
Figure FDA0003516548550000025
和垂直方向重建结果
Figure FDA0003516548550000026
6.如权利要求5所述的一种基于线扫描的图像超分辨率方法，其特征在于：步骤5的具体实现包括以下子步骤：
步骤5.1，定义目标结果为变量F，变量Y为含有线条纹噪声的F，其中Y包含两个内容：目标结果F以及线条纹噪声B，步骤4中的重建结果Mr和Mc被认为是Y的下采样版本，将联合重建问题描述为：
Figure FDA0003516548550000027
其中Ψr和Ψc为下采样算子，
Figure FDA0003516548550000028
为Frobenius范数，‖·‖TV为TV范数，‖·‖*为核范数，α，λ，ρ为相关参数；
步骤5.2，通过解决关于变量Y，F，和B的三个子问题得到最终目标重建结果F；
关于Y的子问题被描述为：
Figure FDA0003516548550000031
其中t表示迭代次数，采用快速收缩阈值算法对Ψr和Ψc进行分离并进一步解决这个问题；
关于F的子问题被描述为：
Figure FDA0003516548550000032
这个结果可以直接由增广的拉格朗日方法导出；
关于B的子问题被描述为：
Figure FDA0003516548550000033
利用软阈值方法解决这个问题；
通过解决以上问题得到最终的重建高分辨率结果F。
CN202210166823.6A 2022-02-23 2022-02-23 一种基于线扫描的图像超分辨率方法 Active CN114565514B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210166823.6A CN114565514B (zh) 2022-02-23 2022-02-23 一种基于线扫描的图像超分辨率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210166823.6A CN114565514B (zh) 2022-02-23 2022-02-23 一种基于线扫描的图像超分辨率方法

Publications (2)

Publication Number Publication Date
CN114565514A true CN114565514A (zh) 2022-05-31
CN114565514B CN114565514B (zh) 2024-07-26

Family

ID=81714509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210166823.6A Active CN114565514B (zh) 2022-02-23 2022-02-23 一种基于线扫描的图像超分辨率方法

Country Status (1)

Country Link
CN (1) CN114565514B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984106A (zh) * 2022-12-12 2023-04-18 武汉大学 一种基于双边生成对抗网络的线扫描图像超分辨率方法
WO2024183279A1 (zh) * 2023-03-06 2024-09-12 中国科学院脑科学与智能技术卓越创新中心 基于线扫描的超分辨成像方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102800071A (zh) * 2012-06-20 2012-11-28 南京航空航天大学 序列图像pocs超分辨率重建方法
WO2014174087A1 (en) * 2013-04-25 2014-10-30 Thomson Licensing Method and device for performing super-resolution on an input image
WO2018059469A1 (en) * 2016-09-28 2018-04-05 Versitech Limited Recovery of pixel resolution in scanning imaging
KR20210090159A (ko) * 2019-03-25 2021-07-19 텔레다인 디지털 이미징, 아이엔씨. 초해상도 이미지를 생성하기 위한 방법 및 관련 디바이스

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102800071A (zh) * 2012-06-20 2012-11-28 南京航空航天大学 序列图像pocs超分辨率重建方法
WO2014174087A1 (en) * 2013-04-25 2014-10-30 Thomson Licensing Method and device for performing super-resolution on an input image
WO2018059469A1 (en) * 2016-09-28 2018-04-05 Versitech Limited Recovery of pixel resolution in scanning imaging
KR20210090159A (ko) * 2019-03-25 2021-07-19 텔레다인 디지털 이미징, 아이엔씨. 초해상도 이미지를 생성하기 위한 방법 및 관련 디바이스

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984106A (zh) * 2022-12-12 2023-04-18 武汉大学 一种基于双边生成对抗网络的线扫描图像超分辨率方法
CN115984106B (zh) * 2022-12-12 2024-04-02 武汉大学 一种基于双边生成对抗网络的线扫描图像超分辨率方法
WO2024183279A1 (zh) * 2023-03-06 2024-09-12 中国科学院脑科学与智能技术卓越创新中心 基于线扫描的超分辨成像方法及装置

Also Published As

Publication number Publication date
CN114565514B (zh) 2024-07-26

Similar Documents

Publication Publication Date Title
Jiang et al. Learning to see moving objects in the dark
Zhuang et al. Learning structure-and-motion-aware rolling shutter correction
CN108965742B (zh) 异形屏显示方法、装置、电子设备及计算机可读存储介质
CN109413407B (zh) 高空间分辨率光场采集装置与图像生成方法
US20110025830A1 (en) Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
CN114565514B (zh) 一种基于线扫描的图像超分辨率方法
JP2013531268A (ja) 符号化開口を使用した距離の測定
KR102253320B1 (ko) 집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법 및 이를 구현하는 집적영상 현미경 시스템
WO2011014421A2 (en) Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
CN111080774B (zh) 一种应用深度采样进行光场重构的方法及系统
JPH1069543A (ja) 被写体の曲面再構成方法及び被写体の曲面再構成装置
US11967096B2 (en) Methods and apparatuses of depth estimation from focus information
Zhang et al. Computational Super-Resolution Imaging With a Sparse Rotational Camera Array
Shankar et al. Multiaperture imaging
CN116708744A (zh) 一种角度分辨率和成像时间可调的光场成像装置及方法
CN116402908A (zh) 一种基于异构式成像的密集光场图像重建方法
CN115984124A (zh) 一种神经形态脉冲信号去噪和超分辨方法及装置
Muniraj et al. Subpixel based defocused points removal in photon-limited volumetric dataset
Li et al. Lighting, reflectance and geometry estimation from 360deg panoramic stereo
CN110084749B (zh) 一种焦距非一致的光场图像的拼接方法
CN114222063A (zh) 亿级像素的图片与视频数据的处理方法和装置
KR20090025420A (ko) 크기가변 매핑 기술을 사용하는 부피형 3차원 영상 재생장치
CN116309043A (zh) 一种基于块扫描的图像超分辨率方法和系统
CN115086558B (zh) 对焦方法、摄像设备、终端设备及存储介质
Yu et al. Racking focus and tracking focus on live video streams: a stereo solution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant