CN105160630B - 一种光学超分辨率图像重建方法 - Google Patents

一种光学超分辨率图像重建方法 Download PDF

Info

Publication number
CN105160630B
CN105160630B CN201510690668.8A CN201510690668A CN105160630B CN 105160630 B CN105160630 B CN 105160630B CN 201510690668 A CN201510690668 A CN 201510690668A CN 105160630 B CN105160630 B CN 105160630B
Authority
CN
China
Prior art keywords
low
image
resolution
reference picture
point spread
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510690668.8A
Other languages
English (en)
Other versions
CN105160630A (zh
Inventor
缪泓
徐海明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN201510690668.8A priority Critical patent/CN105160630B/zh
Publication of CN105160630A publication Critical patent/CN105160630A/zh
Application granted granted Critical
Publication of CN105160630B publication Critical patent/CN105160630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种光学超分辨率图像重建方法，包括：根据成像系统与采集到的低分辨率图像的像素灰度值分布对该低分辨率图像的点扩散函数进行估计；根据估计到的点扩散函数对读取的低分辨率的参考图像进行降质退化处理，将处理结果与所述低分辨率图像进行比较，并判断比较结果是否超出阈值范围；若是，则利用特定的投影修正算子对参考图像进行修正，并重复上一个步骤，直至比较结果在阈值范围内，从而获得重建后的光学超分辨率图像。通过采用本发明公开的方法，可以有效提升图片的分辨率。

Description

一种光学超分辨率图像重建方法
技术领域
本发明涉及光学成像与图像处理领域，尤其涉及一种光学超分辨率图像重建方法。
背景技术
图像超分辨率重建技术是信息光学和数字图像处理领域的一门新兴交叉学科。其在国防、医学、智能交通、公共安全、宇宙探索、地理信息系统、光学显微测量、计算机视觉、模式识别等领域有着的广泛的应用。对于图像超分辨率重建技术进行研究有着重要的意义。
影响图像质量的因素是多种多样的。首先一个原因是成像系统的“限制”，这是因为所有光学成像系统都是衍射受限系统。简单的说，此系统并不能把所有的“频率”信息都纳入图像之中，许多“高频”信息都没有进入图片信息，导致所成的像要变模糊，没有高频的结构信息。第二个原因是，由于倏逝波的存在，这就决定了许多“超高频”并不能进入成像系统，这些倏逝波在物体表面就已经“湮灭”衰减了。第三个原因是由于现在许多成像设备都是基于数字CCD成像的，由于传感器单元大小和性能的限制，就导致成像时的抽样率不足，这就导致了成像质量不好。最后一个原因是由于畸变、相对运动、晃动、相差、对焦不准、空气扰动、云雾干扰以及噪声等造成成像质量变差。
综上所述，这一研究领域的关键是研究怎样超越成像系统的固有限制，重建出高质量的“超分辨率”图像，这也是超分辨率重建的关键。然而，现有技术还没有较为成熟的方案，从而无法有效重建出高质量的“超分辨率”图像。
发明内容
本发明的目的是提供一种光学超分辨率图像重建方法，可以有效提升图片的分辨率。
本发明的目的是通过以下技术方案实现的：
一种光学超分辨率图像重建方法，包括：
根据成像系统与采集到的低分辨率图像的像素灰度值分布对该低分辨率图像的点扩散函数进行估计；
根据估计到的点扩散函数对读取的低分辨率的参考图像进行降质退化处理，将处理结果与所述低分辨率图像进行比较，并判断比较结果是否超出阈值范围；
若是，则利用特定的投影修正算子对参考图像进行修正，并重复上一个步骤，直至比较结果在阈值范围内，从而获得重建后的光学超分辨率图像。
所述根据成像系统与采集到的低分辨率图像的像素灰度值分布对该低分辨率图像的点扩散函数进行估计包括：
根据成像系统类型确定点扩散函数的形状，若为单色系统，则点扩散函数为I＝(sinx/x)2的形状，若是白光系统，则点扩散函数多为高斯形状；
再根据点扩散函数的形状与低分辨率图像的像素灰度值分布进行点扩散函数的估计。
所述特定的投影修正算子通过拉格朗日乘数法进行推导获得，推导过程的约束条件为参考图像经过降质退化处理之后得到的中间图像与所述低分辨率图像的差值最小。
所述低分辨率的参考图像包括：X光成像及其他内部成像所获得的图像。
由上述本发明提供的技术方案可以看出，该方案可以有效提升图片的分辨率，亦即扩展图片的高频分量，通过分析和重建，恢复出具有高分辨率细节的，噪声低的超分辨率图像。在一般的衍射受限光学系统中，能够突破系统的衍射受限，经过重建达到逼近原始场景的功效；特别是在光学显微实验中，能够突破原始的光学衍射极限，使重建结果达到130nm的精度，这超越了一般衍射受限220nm——400nm的极限。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种光学超分辨率图像重建方法的流程图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明实施例提供一种光学超分辨率图像重建方法，如图1所示，该方法主要包括如下步骤：
步骤101、根据成像系统与采集到的低分辨率图像的像素灰度值分布对该低分辨率图像的点扩散函数进行估计。
具体来说，首先，根据成像系统类型确定点扩散函数的形状，若为单色系统，则点扩散函数为I＝(sinr/r)2的形状，亦即是一个以原点为中心的多圈圆环，其每个圆环的极值亮度是逐次降低的。若是白光系统，则点扩散函数多为高斯形状；
再根据点扩散函数的形状与低分辨率图像的像素灰度值分布进行点扩散函数的估计。
步骤102、根据估计到的点扩散函数对读取的低分辨率的参考图像进行降质退化处理，将处理结果与所述低分辨率图像进行比较，并判断比较结果是否超出阈值范围；若是，则转入步骤103进行迭代运算；否则，转入步骤104。
示例性的，假设采集到的低分辨率图像为g0，参考图像为f0，点扩散函数为h0，则根据估计到的点扩散函数h0对读取的低分辨率的参考图像f0进行降质退化处理表示为：将处理结果与所述低分辨率图像进行比较表示为：r0为余量矩阵，再判断该余量矩阵r中每个像素的余量|r(i,j)|是否超出阈值范围(-σ0,σ0)，其中σ0≥0。
另外，本发明实施例中的低分辨率的参考图像包括：X光成像及其他内部成像所获得的图像。
步骤103、利用特定的投影修正算子对参考图像进行修正，并重复上一个步骤，直至比较结果在阈值范围内，从而获得重建后的光学超分辨率图像。
本发明实施例中，所述特定的投影修正算子通过拉格朗日乘数法进行推导获得，推导过程的约束条件为参考图像经过降质退化处理之后得到的中间图像与所述低分辨率图像的差值最小，即要求相关公式的导数为零，以此为基础可以得到相应的投影修正算子。
利用特定的投影修正算子对参考图像进行修正的过程如下：
式中，fn+1(x,y)为第n+1次修正之后得到的参考图像，Pi,j为投影修正算子；h0,ij＝h0(i-x,j-y)，是一个点扩散函数，rn(i,j)是第n此迭代得到的余量。
且在修正之后，再返回前述步骤102，直至比较结果在阈值范围内，即通过迭代运算完成光学超分辨率图像的重建。
步骤104、无需进行迭代运算，直接获得重建后的光学超分辨率图像结果。
由于参考图像有一个更新的过程，更新过后的图像即可作为超分辨率重建的结果。
本发明实施例的上述方案，可以有效提升图片的分辨率，亦即扩展图片的高频分量，通过分析和重建，恢复出具有高分辨率细节的，噪声低的超分辨率图像。在一般的衍射受限光学系统中，能够突破系统的衍射受限，经过重建达到逼近原始场景的功效；特别是在光学显微实验中，能够突破原始的光学衍射极限，使重建结果达到130nm的精度，这超越了一般衍射受限220nm——400nm的极限。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (3)

1.一种光学超分辨率图像重建方法，其特征在于，包括：
根据成像系统与采集到的低分辨率图像的像素灰度值分布对该低分辨率图像的点扩散函数进行估计，包括：根据成像系统类型确定点扩散函数的形状，若为单色系统，则点扩散函数为I＝(sinx/x)2的形状，若是白光系统，则点扩散函数为高斯形状；再根据点扩散函数的形状与低分辨率图像的像素灰度值分布进行点扩散函数的估计；
根据估计到的点扩散函数对读取的低分辨率的参考图像进行降质退化处理，将处理结果与所述低分辨率图像进行比较，并判断比较结果是否超出阈值范围；
若是，则利用投影修正算子对参考图像进行修正，并重复上一个步骤，直至比较结果在阈值范围内，从而获得重建后的光学超分辨率图像；
其中，利用投影修正算子对参考图像进行修正的过程如下：
式中，fn+1(x,y)为第n+1次修正之后得到的参考图像，Pi,j为投影修正算子；h0,ij为点扩散函数，rn(i,j)是第n次迭代得到的余量，阈值范围为(-σ0,σ0)，σ0≥0。
2.根据权利要求1所述的方法，其特征在于，所述投影修正算子通过拉格朗日乘数法进行推导获得，推导过程的约束条件为参考图像经过降质退化处理之后得到的中间图像与所述低分辨率图像的差值最小。
3.根据权利要求1所述的方法，其特征在于，所述低分辨率的参考图像包括：X光成像及其他内部成像所获得的图像。
CN201510690668.8A 2015-10-19 2015-10-19 一种光学超分辨率图像重建方法 Active CN105160630B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510690668.8A CN105160630B (zh) 2015-10-19 2015-10-19 一种光学超分辨率图像重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510690668.8A CN105160630B (zh) 2015-10-19 2015-10-19 一种光学超分辨率图像重建方法

Publications (2)

Publication Number Publication Date
CN105160630A CN105160630A (zh) 2015-12-16
CN105160630B true CN105160630B (zh) 2019-04-26

Family

ID=54801473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510690668.8A Active CN105160630B (zh) 2015-10-19 2015-10-19 一种光学超分辨率图像重建方法

Country Status (1)

Country Link
CN (1) CN105160630B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105528761B (zh) * 2016-01-18 2018-08-10 广西科技大学 一种显微图像的超分辨重构方法
CN107071288A (zh) * 2017-05-24 2017-08-18 深圳市中科智诚科技有限公司 一种超分辨率图像采集系统
CN110796603B (zh) * 2019-11-25 2023-05-23 曲阜师范大学 一种深层肿瘤新生血管的高分辨率光声成像方法
CN111693496A (zh) * 2020-05-15 2020-09-22 清华大学 基于结构光照明的双光子光场超分辨显微成像方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101101277A (zh) * 2007-08-10 2008-01-09 华南理工大学 一种高清晰焊缝超声成像无损检测方法及检测系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5178662B2 (ja) * 2009-07-31 2013-04-10 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101101277A (zh) * 2007-08-10 2008-01-09 华南理工大学 一种高清晰焊缝超声成像无损检测方法及检测系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于POCS的微尺度图像重建算法关键技术研究;徐海明等;《第十二届全国实验力学学术会议摘要集》;20090725;第1-2页
微尺度图像超分辨率重建技术研究;徐海明;《万方学位论文全文数据库》;20090429;第1-81页
微平移序列图像的超分辨率重建技术;缪泓等;《专题研讨会报告-微纳细读实验力学检测技术与应用》;20090824;第1页

Also Published As

Publication number Publication date
CN105160630A (zh) 2015-12-16

Similar Documents

Publication Publication Date Title
US10269147B2 (en) Real-time camera position estimation with drift mitigation in incremental structure from motion
Clapuyt et al. Reproducibility of UAV-based earth topography reconstructions based on Structure-from-Motion algorithms
Zhao et al. TBC-Net: A real-time detector for infrared small target detection using semantic constraint
US10269148B2 (en) Real-time image undistortion for incremental 3D reconstruction
KR102027587B1 (ko) 초해상도를 이용한 비디오 향상
CN110135455A (zh) 影像匹配方法、装置及计算机可读存储介质
WO2021017314A1 (zh) 信息处理方法、定位方法及装置、电子设备和存储介质
US20180315232A1 (en) Real-time incremental 3d reconstruction of sensor data
CN105160630B (zh) 一种光学超分辨率图像重建方法
JP5600043B2 (ja) スペースデブリ検出方法
JP2019518268A (ja) 日常シーン復元エンジン
CN104103058B (zh) 图像匹配系统及方法
CN109410260B (zh) 点云数据网格化方法、装置、计算机设备和存储介质
Zhang et al. Aerial orthoimage generation for UAV remote sensing
KR101495299B1 (ko) 3차원 형상 획득 장치 및 그 획득 방법
JP2019185281A (ja) 衛星画像変化抽出システムおよび衛星画像変化抽出方法、並びに衛星画像変化抽出システムにおけるフロントエンド部
Chaochuan et al. An extrinsic calibration method for multiple RGB-D cameras in a limited field of view
Kong et al. A new method for building roof segmentation from airborne LiDAR point cloud data
Jia et al. Depth measurement based on a convolutional neural network and structured light
Hong et al. Robotic mapping approach under illumination-variant environments at planetary construction sites
WO2021051220A1 (zh) 一种点云融合方法、设备、系统及存储介质
CN116912817A (zh) 三维场景模型拆分方法、装置、电子设备和存储介质
Zhuang et al. A novel method for 3D measurement of RFID multi-tag network based on matching vision and wavelet
CN115393423A (zh) 目标检测方法和装置
CN115311418A (zh) 一种多细节层次树木模型单体化重建方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant