CN102473286A - 超分辨率信号重构的方法和系统 - Google Patents

超分辨率信号重构的方法和系统 Download PDF

Info

Publication number
CN102473286A
CN102473286A CN2010800305353A CN201080030535A CN102473286A CN 102473286 A CN102473286 A CN 102473286A CN 2010800305353 A CN2010800305353 A CN 2010800305353A CN 201080030535 A CN201080030535 A CN 201080030535A CN 102473286 A CN102473286 A CN 102473286A
Authority
CN
China
Prior art keywords
input
data
input field
field
sparse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800305353A
Other languages
English (en)
Other versions
CN102473286B (zh
Inventor
莫尔德海·塞格夫
约尼纳·埃尔达
斯尼尔·加齐特
亚历山大·斯扎梅特
约阿夫·什希特曼
奥伦·柯亨
帕维尔·西多伦科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technion Research and Development Foundation Ltd
Original Assignee
Technion Research and Development Foundation Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Technion Research and Development Foundation Ltd filed Critical Technion Research and Development Foundation Ltd
Publication of CN102473286A publication Critical patent/CN102473286A/zh
Application granted granted Critical
Publication of CN102473286B publication Critical patent/CN102473286B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • H04N23/651Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

在此提出了一种对输入场进行重构的方法和系统,其中该输入场由一个测量系统感测。该方法包括:提供对应于所述测量系统的输出场的测量数据;提供有关该输入场的稀疏度的数据以及有关该测量系统的有效响应函数的数据;并且根据所述已知数据来对测量数据进行处理,该处理包括:根据所述测量数据、所述有关该输入场的稀疏度的数据以及所述有关该测量系统的有效响应函数的数据确定一个稀疏矢量;并且利用该稀疏矢量对输入信息进行重构。本发明允许成像应用中的次波长分辨率,并且允许在某些其他应用中通过慢检测器检测非常短的脉冲。

Description

超分辨率信号重构的方法和系统
技术领域
本发明总体上属于信号重构技术的领域,并涉及一种用于带宽外推和超分辨率信号重构的方法和系统。本发明可以在信号测量系统中(其中对信号进行测量)、尤其是光学成像系统、短脉冲检测系统等等中实现。
参考文献
以下是与理解本发明背景相关的参考文献列表:
[1]F.M.Huang以及N.I.Zheludev,“Super-resolution withoutevanescent waves,”Nano Lett.9,1249-1254(2009)。
[2]A.Yildiz,J.N.Forkey,S.A.McKinney,T.Ha,Y.E.Goldman,以及P.R.Selvin,“Myosin v walks hand-overhand:Single fluorophoreimaging with 1.5nm localization,”Science 300,2061-2065(2003)。
[3]S.W.Hell,R.Schmidt,以及A.Egner,“Diffraction-unlimitedthreedimensional optical nanoscopy with opposing lenses,”Nat.Photon.3,381-387(2009)。
[4]J.B.Pendry,“Negative refraction makes a perfect lens,”Phys.Rev.Lett.85,3966-3969(2000)。
[5]N.Fang,H.Lee,C.Sun,以及X.Zhang,“Sub-diffraction-limitedoptical imaging with a silver superlens,”Science 308,534-537(2005)。
[6]A.Salandrino以及N.Engheta,“Far-field subdiffraction opticalmicroscopy using metamaterial crystals:Theory and simulations,”Phys.Rev.B74,075103(2006)。
[7]Z.Liu,H.Lee,Y.Xiong,C.Sun,以及X.Zhang,“Far-field opticalhyperlens magnifying sub-diffraction-limited objects,”Science 315,1686(2007)。
[8]E.J.Candes,J.Romberg,以及T.Tao,“Robust uncertaintyprinciples:exact signal reconstruction from highly incomplete frequencyinformation,”IEEE Trans.Inf.Theory 52,489-509(2006)。
[9]E.J.Candes以及T.Tao,“Near-optimal signal recovery fromrandom projections:Universal encoding strategies?”IEEE Trans.Inf.Theory52,5406-5425(2006)。
[10]D.L.Donoho,“Compressed sensing,”IEEE Trans.Inf.Theory 52,1289-1306(2006)。
[11]J.A.Tropp,IEEE Trans Inf.Theory 50,2231-2242(2004)。
[12]D.L.Donoho,M.Elad以及V.M.Temlyakov,IEEE Trans.Inf.Theory 52,6-18(2006)。
[13]S.S.Chen,D.L.Donoho,以及M.A.Saunders,“Atomicdecomposition by basis pursuit,”SIAMJ.Sci.Comput.20,33-61(1998)。
[14]J.W.Goodman,Introduction to Fourier optics(McGraw-HillComp.,1996),2nd ed.Pages 132-134。
[15]S.Gazit,A.Szameit,Y.C.Eldar,以及M.Segev,Opt.Exp.17,23920(2009)。
背景技术
各种测量系统的共同目标是增强测量数据的分辨率。这类测量系统包括例如光学成像系统,其中分辨率通常由衍射极限所限制,即定义了特定成像系统的光学成像中的最小可分辨特征,这主要由所用光学元件(镜头等)的数值孔径所决定。然而,即使是一个具有无限孔径的系统,其仍具有分辨率限制,这是由电磁(EM)场的波长λ所引起的。因此无论如何,光学系统的最佳可恢复分辨率是λ/2。这是因为EM波在块状介质中的传播相当于低通滤波器,由于距离远大于波长,从而衰减了大于1/λ的空间频率。因而,这些空间频率迅速在若干个波长的距离尺度上衰减,而利用常规成像方法基本上不可能实现次波长特征的观测。
多年以来,人们多次尝试摆脱光学成像上的λ/2极限。这些尝试中的很多集中于对非常接近(“近场”)次波长样本的测量。一种这类方法是近场扫描光学显微镜(NSOM或SNOM)。这种技术基于非常窄小的尖端,该尖端在次波长样本的近场上对电磁场进行逐点采样。然而,这种技术总是要求以非常高的精度(纳米)以及在距样本非常短的距离(亚微米)上逐点地对样本进行扫描。因此,NSOM不能实时地捕捉到一幅全景图像。其他已知途径是利用电浆子金属薄膜制成的次波长孔来探测信息并对样本进行扫描,或者利用电浆子金属中纳米孔阵列的特定排列来构建处于次波长热点形式的超振荡波包,并且然后以次波长分辨率对样本进行扫描[1]。这两种方法依赖于扫描,因而均不能产生实时成像。次波长成像的其他技术依赖于在目标体上分布小于波长的荧光物并多次重复试验[2,3]。所有这些技术均受到例如长时间扫描、或扫描所用的成像时间、或需要重复试验、实时成像不可行这类不利因素的影响。
另外一种方法包括多个成像设备(超级透镜、超透镜等),这些成像设备由负折射率材料制成[4-7]。然而,光学负折射率材料受到巨大损耗的影响,并且除此之外,超透镜仅可以处理一维信息,不能处理全2D图像。因而,负折射率材料目前无法提供用于次波长光学成像的可行技术。
人们也曾经尝试利用算法技术(对图像数据进行处理)来实现次波长成像。这些技术依赖于EM场的解析性:如果解析函数在某个有限区域上是确知的,通过解析开拓就可以完全恢复并唯一找到它。已经开发出基于解析理论的若干概念和外推方法。然而,这些方法对测量数据中的噪声以及对作为图像的信息(待恢复的信号)所做的假设极为敏感。
美国2008/0260279中描述了分辨率增强技术的一些实例,其中提供了从一个场景的不同的、至少是部分重叠的区域的多个采样图像中迭代推导出一幅主图像的方法。该方法包括定义以下内容:一个转换算子,该算子将主图像内的位置映射到采样图像中的相应位置;一个畸变算子,该算子模拟一个调制传递函数,该函数与产生采样图像的成像传感器相关联;以及一个采样算子,该算子将图像从输出分辨率缩小到采样图像分辨率。对于每个采样图像,将转换算子、畸变算子以及采样算子应用于一个当前主图像假设上以产生一幅预测图像。计算出一幅差分图像,该差分图像具有与采样图像和预测图像之间的相应像素值内的差值相对应的像素值。对差分图像中的每一个进行反投影以产生当前主图像假设的一幅校正图像。最后,用校正图像对当前主图像假设进行校正以产生一幅新的主图像假设。对当前主图像假设的校正包括通过推导校正图像中相应像素的加权平均值来组合校正图像。每幅校正图像中的各个像素的权重根据一个距离来计算,该距离是在采样图像中在通过转换算子将该校正图像中的像素映射到其上的采样图像中的一个点和至少一个接近该点的像素形心之间测得的。
短脉冲(光或电子)信号的脉冲形状测量是另一个重要的实例,其中测量系统的分辨率增强更令人感兴趣。经常在光学中产生具有从纳秒到皮秒以及飞秒时间尺度范围的持续时间的短激光脉冲。最近已经产生了阿秒时间尺度上的超短脉冲。在很多有短脉冲参与的系统或应用中,以高分辨率来表征脉冲的形状(只是强度或者振幅以及相位)是十分重要的。有若干装置和技术可以测量短激光脉冲的脉冲形状。例如,因为其简单、鲁棒、对光特性不太灵敏、尺寸小并且成本低,高速光电二极管或超快扫描照相机结合示波器广泛地用于纳秒到皮秒时间分辨率上的激光脉冲的脉冲形状(强度轮廓)的直接测量。测量短脉冲的脉冲形状的几种技术利用了该脉冲与具有已知形状的另一脉冲之间的非线性相互作用(例如,互相关、或互相关频率分辨光学门)或该脉冲与具有测量脉冲的时延复本的另一个脉冲之间的非线性相互作用(例如,自相关、频率分辨光学门(FROG)、以及称为SPIDER的直接电场重构频谱干涉仪)。
在信息处理的不同领域中,过去的几十年已经见证了数据压缩方面的一些重大突破和采样技术方面的一些进步。最值得注意的是,于2006年开发出一项新技术,其目的是降低信息的采样率。该技术被称为压缩传感(CS),并且目前它广泛地用于数据的亚奈奎斯特采样,并用于从少量样本中恢复数据。在进行压缩传感时,该技术更多地涉及亚采样数据信息的插值,并且依赖于对先验信息的单一要求,即信号(待恢复的)在已知基内是稀疏的[8-10]。目前,在CS领域存在两种主要理念,这两种理念均试图通过少量测量对函数进行重构。CS中的第一种途径试图通过在函数的傅里叶域中随机地进行测量来对一个稀疏函数进行重构。这些随机分布的测量的目的是对整个函数进行重构,前提是该函数是稀疏的。第二种CS途径的目的是增强已知低分辨率图像的分辨率。这个第二种技术是基于与原始图像相同的域中的测量,它要求从若干定义的实例中恢复信息以便对算法进行校准用于分辨率增强。例如,这种方法可以从具有20×20像素分辨率的原始图像中产生200×200像素的图像,但仍不能加入不属于原始图像中的数据。
以下专利公开中描述了在信号处理中使用CS技术的一些实例:
美国7,646,924提供了一种用于压缩传感的方法和装置,以便从次数减少的测量中产生质量可接受的目标重构。将信号或图像的分量x表达为一个具有m个项的矢量。再产生包括一个具有n个项的矢量的测量值y,其中n小于m。m-矢量x的近似重构从y进行。一些特定的测量矩阵允许测量值y=Ax+z,其中y是测得的m-矢量,x是所希望的n-矢量,而z是表示噪声的m-矢量。“A”是一个n×m的矩阵,即行数小于列数的阵列。“A”能够传递x的近似重构x#。一个实施方案披露了x从维度减少的测量值y的近似重构。给定y以及矩阵A,得到x的x#是有可能的。该实施方案是由提高x#的近似稀疏度的目标所提出的。
美国7,511,643描述了一种利用压缩传感来粗略估计多个数字信号或图像的方法。所述多个数字信号或图像的一个公共分量xc和所述多个数字信号的每一个的改进分量xi各自表示为一个具有m个项的矢量,在这一方案中,该方法包括以下步骤:产生测量值yc,其中yc包括一个只具有ni个项的矢量,其中ni小于m;对于所述相关数字信号中的每一个,产生测量值yi,其中yi包括一个只具有ni个项的矢量,其中ni小于m;并且利用所述公共分量yc和所述改进分量yi从每一个改进分量yi产生每个m-矢量xi的近似重构。
美国2009/141995提供了一种压缩传感成像的方法,该方法包括:获取一幅稀疏数字图像b,所述图像包括对应于一个1维网格点的多个强度;将点(x(k),y(k))初始化,其中x(k)是由b=RΦ-1x定义的一个第一扩展图像x的一个元素,其中R是一个傅里叶变换矩阵,Φ是小波变换矩阵,y(k)是
Figure BDA0000129107730000061
中的一个点,
Figure BDA0000129107730000062
i是第i个坐标的一个前向有限差分算子,而k是一个迭代计数器;从x(k)1(αΦ∑nLn *yn (k)+ΦR*(RΦ-1x(k)-b))计算一个第一辅助变量s(k),其中τ1,α是预先确定的正标量常数,对x中所有点n求和,并且L*是算子L=(1,...,.
Figure BDA0000129107730000064
I)的伴随;由yn (k)2LnΦ-1x(k)计算一个第二辅助变量tn(k),其中τ2是一个预先确定的正标量常数;由sign(s(k))max{0,|s(k)|-τ1β}对x(k+1)进行更新,其中β是一个预先确定的正标量常数;并且由min{1/τ2,||tn (k)||2}tn (k)/||tn (k)||2对yn(k+1)进行更新。
美国2010/0001901提供了基于压缩传感概念产生雷达影像和目标轮廓的方法和装置。在雷达目标的方向上传输一个出射雷达波形,并且利用雷达反射率轮廓的一种可压缩的或稀疏的表示并结合出射波形的知识从所接收的雷达波序列中恢复雷达反射率轮廓。在一个示例性实施方案中,出射波形是一个伪噪声序列或线性FM波形。
同样,在2008年IEEE计算机协会的计算机视觉和模式识别会议(CVPR)上,在由Jianchao Yang、John Wright、Thomas Huang、Yi Ma发表的“Image Super-Resolution as Sparse Representation of Raw ImagePatches”中描述了压缩传感技术。
发明内容
发明概述
本领域中存在协助各种类型(例如,光、电子)信号测量的分辨率增强的需求,如以优于所谓的测量的“物理分辨率”。这种物理分辨率极限典型地是由测量单元(传感器)的响应函数或测量技术(例如,测量数据与已知参考数据的互相关)来定义。
在测量单元中对信号进行收集和检测(测量)的分辨率受到三个主要参数的限制。第一个参数是检测器的采样率,例如用于捕捉图像的光学传感器的空间分辨率(照相机中的像素尺寸),或者检测器(例如示波器)的时间采样率。第二个参数是测量单元的有效响应函数,对应于空间或时间频率响应。在这一点上,应当理解的是,在线性且移位不变(例如采用相干或完全非相干照明)系统中,这种有效响应函数实际上由频率响应函数本身所表示,而对于其他系统(例如利用部分非相干照明的非线性和/或移位不变系统),有效响应函数由输入信号和输出信号(由所述测量系统测量)之间的关系来确定。例如,对于部分空间非相干光形式的输入场的测量,实际上没有传递函数,因为这种操作不是线性的并且不是移位不变的。因此,在当前的应用中,术语“频率响应函数”或“传递函数”或“频谱响应函数”应当广泛地解释为有效响应函数,在一些情况下,有效响应函数由输入和输出场/信号/数据之间的关系来表达。第三个参数是测量的信噪比。
本发明人已经发现一种技术,该技术通过测量单元的频率传递函数从感测的(测量的)数据中恢复由于物理分辨率限制而在感测数据中丢失的、并且仅通过对测量数据进行归一化也不能恢复的输入信息(输入信号)的那些特征。换言之,本发明的技术能够克服与测量数据中最高频率相关的限制,在该频率处,信噪比允许通过反卷积来重构(通过测量系统的频谱传递函数对测量数据进行区分)。
测量系统的响应函数和所述系统进行测量的信噪比是主要因素,这些因素定义并限制对信号进行测量时的分辨率。大多数情况下,频谱响应函数g(ω)用作一个低通滤波器(LPF),该低通滤波器是具有一个特征截止频率fc(其中在时域fc~l/tc,tc是检测器的上升时间)。如果输入数据(信号或场)在高于截止频率的频率上包含多个特征,那么传感器输出信号(测量数据)与输入数据有偏差。在这种情况中,反卷积方法经常用于提取输入数据。反卷积方法包括对检测器频谱滤波运算进行反运算,其中滤波运算是输入信号与检测器的频谱传递函数的卷积(频率滤波)。通过一个因子对检测器输出信号(在频谱域中)进行再放大来实现反卷积,该因子对应于检测器的频谱传递函数的逆(l/|g(ω)|)。该放大因子在高频谱区域中变得非常大(|g(ω)|<<l)。<因而,这些频谱区域中的细微误差是非常无法容忍的,因为它们被一个非常大的因子放大,即,这些频率上的低噪声(连同信号)被放大了,从而降低了信噪比(SNR)。实际上,反卷积处理不能从SNR(ω)<l/|g(ω)|的频谱区域中恢复信息。<
通常,系统的响应函数包含一个确切的截止频率,高于该截止频率的传递函数为零(或者对应于非常大的衰减)。高于截止频率的频率振幅被极大地衰减,这样使得这些高频信号低于噪声水平并且不能被提取(与噪声分离)。因此,认为这些高频信息已经丢失。因而,人们普遍认为在这些高频谱区域上的信息丢失了并且不能被恢复。在SNR(ω)<l/|g(ω)|上的频率实际上表示测量的有效截止频率。
然而,测量信号的高分辨率需要待测量输入信号的高频特征(即,对于时变信号是高时间频率,或在光学图像的情况中是高空间频率)。例如,在常规的光学显微术中,不能以高于光学系统的衍射极限的分辨率捕获图像(即,在自由空间传播的情况下是λ/2)。例如,就电磁(EM)波的自由空间传播而言,如果EM波从目标平面到检测器的传播距离远大于波长λ,那么由于光学系统的传递函数(用于相干照明的CTF或用于非相干照明的OTF)充当了一个低通滤波器,丢失了由大于1/λ的空间频率所携带的所有信息。
本发明提供在某一分辨率上的信息(输入信号)重构,该分辨率高于由测量系统的最高频率或频谱传递函数和信噪比之间的比率[SNR(ω)<l/|g(ω)|]所定义的频率。
在这一点上,应当理解的是感测(测量)数据包括:通过适合的传感器单元(检测器)对信号进行检测,其中检测信号可以是输入场或在输入数据和参考数据之间已知的相互作用(例如,与已知信号进行相关)中产生的那些信号;并且对测量(检测)数据进行处理。利用任何适合的检测器时,检测过程应当尽可能精确。这样的精确检测可以包括任何解码过程,前提是对在其到检测器的传播过程中出现(例如在频谱平面)的信号进行了某种预定编码(或预处理)。这类编码或预处理可以用软件和/或硬件(例如,利用掩膜,如相位掩膜或光栅)实现。本发明的原理可应用于任何测量数据,不论检测过程是否包含解码。在考虑编码/解码的情况中,本发明的技术对解码的测量数据进行处理。
本发明提供了用于一种对测量数据进行处理的新处理技术以恢复包含在输入信息(输入信号)中的细节,而这些细节是由于测量系统(在去往检测器的路上该测量系统包括一个检测器单元并且可能还包括一个或多个信号收集器)的响应函数而在检测阶段被过滤出的。这种过滤导致那些信号或信号分量的测量振幅过小,以至于通过传递响应函数对它们进行区分时产生非常大的误差。
换言之,利用本发明的技术,已重构的/恢复的信息包含比测量系统的有效响应函数的有效截止频率更高的频率。根据本发明的测量数据(在光学成像的背景下是光场)的重构利用了已知的L1最小化和压缩传感技术的原理,在压缩传感技术中对在某种已知基内是稀疏的信息(输入信号)进行恢复。应当理解的是,一个稀疏信号是这样的,即:在某个基中它主要包含零值以及非常少的不同于零值的元素。有关输入场的稀疏度的知识或数据可能只包含以下事实,即:这个信号在某个基中是稀疏的,并且其中的信号是稀疏的这个基。还要求在信号基(其中信息是稀疏的)与测量基之间存在一种已知关系,以及返回关系。对于一些系统,这种关系可以被写为一个变换算子。然而,应当理解的是,本发明不需要将这种关系表达为算子,只需要这种关系是已知的。本发明恰当地利用测量相关数据,即有关测量系统的有效响应函数的数据连同上述稀疏度相关数据。如上所述,本发明考虑了由输入场(表示在某个基中,在该基中它是稀疏的)和输出场之间关的系所表达的测量系统的有效响应函数。在这一点上,应当理解的是,考虑到输入场表示在一个基中(例如利用基本信息对测量信号进行某种类型的初始处理),而输入场在该基中是稀疏的,稀疏基和测量基之间的用于线性移位不变测量系统的关系可以对应于测量系统的有效响应函数。
本发明允许在信号收集器的有效截止频率(检测系统的物理极限)之外的分辨率增强。本发明基于以下内容:在可以写为一些已知基函数的组合的所有信号(在被已知的传递函数(CTF或OTF)“污染”后,这些信号产生测量结果)中,找到这些信号中最稀疏的一个,即,该最稀疏信号包括最少的基函数。本发明人已经将这种新技术命名为SMARTER(Sparsity Mediated Algorithmic Reconstruction Technique for EnhancedResolution)显微术(在次波长情况中)和用于光脉冲的表征的SMARTER脉冲诊断法。
因此,根据本发明的一个广泛方面,提供了一种用于对由测量系统感测的输入场进行重构的方法。该方法包括:提供有关输入场的稀疏度(输入信号(待恢复的信息)在一个已知基中是稀疏的)的数据(先验知识),以及有关测量系统的有效响应函数的数据;并且根据所述已知数据对测量数据进行处理。这种“先验知识”用于对测量单元产生的测量数据进行处理,以恢复原始信息(输入信号)。处理阶段包括:根据以下内容确定一个稀疏矢量:所述有关输入场的稀疏度的数据,有关有效响应函数的数据,以及测量数据(测量系统的输出);并且利用该稀疏矢量对输入信息进行重构。
本发明的技术基于以下理解,给定上述先验知识,在对测量数据(均对应于相同的测量数据)的频谱进行外推的所有可能情况中,产生最稀疏输入信号(待恢复信息)的外推是唯一的(没有噪声),或者存在噪声时,该外推提供非常接近并且最接近输入信息的恢复信息[8-12]。如果信号基和测量基是是最不相关的,或者换言之它们“彼此非相干”(在此术语“非相干”不应当与光学领域中的相干属性相混淆),本技术提供更好的重构(更高的分辨率)。然而,应当理解的是,像信号基和测量基之间的最不相关这种条件,尽管是优选的,但对于本发明技术的操作原理和结果而言可以是任选的。相反,具有在测量基内占据大部分基函数的测量数据对于正确地恢复输入信号就足够了。当稀疏基和测量基最不相关时,必需的样本数量(在测量基中)是最小的。
本技术允许重构的输入场的分辨率远高于所述响应函数的有效截止频率。
让我们考虑例如光学成像应用,在这种应用中提供了有关输入场稀疏度以及有关有效响应函数的先验知识(即,输入图像在一些已知的或确定的基中包含小部分非零像素,并且从近场到在其中对数据进行测量的平面的变换是已知的)。这里,最简单的基是近场。与近场最不相关的基是远场(信息的傅里叶平面)。因此,在光学成像应用中,如果测量是在远场中进行的,本发明的技术可以提供更好的结果。使近场和远场相关的变换仅仅是傅里叶变换乘以有效变换函数,该有效变换函数是用于相干场的CTF或用于空间非相干场的OTF。
在光学成像的相同背景下,人们可以使用另一种测量基:光学成像系统的像平面。在这种情况中,在输入场传播通过光学测量系统的过程中出现的变换包括以下内容:对输入信号进行傅里叶变换,将傅里叶变换乘以CTF(或OTF),并且将另一个傅里叶变换(具有某种程度的放大)应用于乘法运算的结果。在这种情况中,测量基和稀疏基是完全相同。然而,假设有效响应函数满足以下条件,本发明的技术仍然表现良好:测量数据占据大部分测量基,并且在两个基之间的变换是已知的。
因此,一般来说,本发明可应用于任何测量基,只要测量数据占据大部分测量基,并且两个基之间的变换是已知的。假设输入图像在一个已知基中是稀疏的,本发明在所有那些测量基中表现良好。
对于光学成像应用,测量单元被配置用于光学测量,因此包括一个光学系统(镜头等)以及一个适合的光学检测器(或照相机)如上所述,这种测量单元的有效响应函数由一个空间频率传递函数来定义,该函数与用于相干照明情况的相干传递函数(CTF)或用于非相干照明的光学传递函数(OTT)相关联。利用本发明的方法,重构的输入信息可以具有高于OTF(或CTF)的截频的分辨率,该分辨率自然地定义了光学成像系统的最小可分辨特征(衍射极限斑点)。优选地,输出场对应于输入场的一幅远场图像。
应当注意,本发明提供了具有非均匀相位的信号(即具有变化相位的信号)的重构,例如在一个点上为正相位而在另一个点上为负相位的信号,以及在最广义上具有从一个点到另一个点在0和2π之间能够任意变化的相位的信号。因此,不需要进一步的假设,例如信号的非负性。作为上述重构过程的一部分,具有非均匀相位的信号(信息)的恢复是通过进一步使用称为非局部硬阈值化(NLHT)的迭代方法来进行的。这项技术包括通过执行阈值化步骤来以一种迭代方式来分配稀疏信号的去支持,该阈值化步骤依赖于临近位置(在实空间中)的值。应当理解并将在以下作进一步更为具体描述的是,在一些实施方案中本发明的处理器实用程序通常可能被预先编程以识别测量信号具有均匀的或非均匀的相位,并因此选择性地应用一个不使用NLHT(但是使用基追踪(BP)的第一处理模式或一个使用NLHT的第二处理模式;或者取消识别步骤并利用第二种更为通用的使用NLHT的模型。在一些其他实施方案中,本发明旨在对非均匀相位信号(例如,进行输入脉冲形状的重构)进行处理,处理器实用程序可以仅采用BP模式。
根据本发明的另一个广泛方面,提供了一种用于对输入信号进行重构的系统。该系统包括一个输入实用程序,该输入实用程序能够接收并存储由测量单元(直接由其提供或不由其提供)产生的测量数据。测量数据对应于该测量单元响应于一个有待重构的输入信号而产生的一个输出信号。输入单元还接收表示输入场的稀疏度的数据以及表示测量单元的有效响应函数(例如,空间或时间响应函数;或输入信号和测量信号之间的关系)的数据。该系统包括一个预先编程的数据处理器实用程序用于对所接收的数据进行分析和处理。更确切地说,处理器确定一个稀疏矢量,该稀疏矢量是以下内容的函数:有关输入信号的稀疏度、测量的输出信号的信息,以及有关测量单元的有效响应函数的数据;并且利用该稀疏矢量通过该稀疏矢量到输入信号的原始基上的基变换对输入信号进行重构。
根据本发明的又一个方面,提供了一种用于对输入光场进行重构的系统。该系统包括一个输入实用程序,该实用程序能够接收并存储对应于光学测量单元响应于输入光场所产生的一个输出场的测量数据(由光学测量单元产生并直接由其提供或不由其提供)。该输入实用程序还接收表示输入光场的稀疏度的数据,以及表示该光学测量单元的有效响应函数的数据。该系统包括一个预先编程的数据处理器实用程序用于对所接收的数据进行分析和处理,从而根据稀疏数据、测量数据以及光学测量单元的有效响应函数来确定一个稀疏矢量;并且利用该稀疏矢量通过该稀疏矢量到输入信号的原始基上的基变换对输入场进行重构。
在又一个方面中,本发明提供了一种测量系统,包括:一个成像系统,该成像系统定义了输入场到光检测器的传播,以及一个具有用于对从所述检测器输出的测量数据进行处理的处理器实用程序的控制单元,该处理器实用程序被配置并可操作用于根据有关输入场的稀疏度的数据和有关成像系统的有效响应函数的数据对测量数据进行处理,以便利用高于所述有效响应函数的有效截频的分辨率对输入场进行重构。
在一些其他实施方案中,本发明用于对数据的时域轮廓进行处理,所测量的数据由电子传感系统产生。在这种情况中,有待测量和重构的输入场可以是一个脉冲(例如,光脉冲),尤其是短脉冲,即与脉冲检测器的物理极限(例如上升时间)相比而言较短。短脉冲形状测量技术和装置中的一个总体趋势是在较高分辨率和较大带宽上所进行的测量要求更为复杂和成本更高的装置或系统。因此,更令人感兴趣的是通过后恢复算法来增大脉冲形状测量装置或系统的分辨率。
本发明这方面最有吸引力的应用是对轮廓(强度轮廓或振幅和相位轮廓)进行重构,尤其有利于超短脉冲(在皮秒以及更短的范围内)。在这些实施方案中,测量单元的有效响应函数对应于电子感测系统的时间频率响应。可以有利地与本发明技术一起使用的测量系统/检测器的实例包括以下装置:示波器、光电二极管、超快扫描照相机、与参考场/信号的互相关、信号/场与自身的自相关、频率分辨光学门(FROG)、直接电场重构频谱干涉仪(SPIDER)、互相关频率分辨光学门(XFROG)、GRENOUILLE、TADPOLE。
因此,在其又一个广泛方面中,本发明提供了一种方法和系统以从由较慢的测量系统(慢检测器)进行的测量中恢复短脉冲(电子脉冲、光脉冲等)的轮廓,该较慢测量系统意味着检测器的上升时间比脉冲持续时间长。在这些实施方案中,已知的(最初提供的)数据包括有关输入脉冲的稀疏度以及有效响应函数(例如,定义测量基和信号基之间关系的时间频率响应函数)的数据。脉冲的形状可以是复杂的并且它的频谱可以包括在用于测量的有效截止频率以外的频谱区域的频率。重构利用了所测量的输出信号、有关检测系统的有效传递函数的数据以及短脉冲本质上是稀疏的(在时间上)这一事实。
如上所述,测量数据可以包括输入场的检测或它与某个参考信号的相互作用。例如,光短脉冲可以与另一个(参考)脉冲进行互相关并对互相关信号进行测量。本发明还提供了通过对这类测量数据进行处理来对输入场(恢复短输入脉冲(例如是电子或光脉冲)的结构(振幅和相位))进行重构。重构使用了输出的互相关信号、参考脉冲的已知形状以及两个脉冲之间的相互作用模型(即互相关)。
附图说明
为了理解本发明并明白它在实际中如何执行,现在将参考附图仅通过非限制性实例来对实施方案进行描述,其中:
图1是本发明的一种用于对输出场进行重构的系统的实例的框图;
图2A至图2C展示了根据常规技术的图像重构的原理;
图3A和图3B对本发明的重构技术和图2A至图2C的结果进行了比较;
图4A和图4B对应地以2D和1d表现形式举例说明了光传递函数和由其定义的截止频率;
图5A至图5F举例说明了根据常规技术以及本发明的图像重构过程;
图6A和图6B对应地示出了一种适于嵌入本发明的光学系统的两个实例;
图7A至图7C示出了利用图6A的系统的本发明技术的试验结果;
图8A至图8F对重构2D目标的本发明技术和常规技术进行了比较;
图9A和图9B举例说明了可以如何将本发明用于活细胞(是稀疏目标)的图像重构;
图10A和图10B举例说明了可以如何将本发明用于集成电路(是稀疏目标)的图像重构;
图11A至图11J对使用本发明和常规技术进行次波长图像重构进行了比较;
图12A至图12J举例说明了可以如何利用慢检测器将本发明用于对时域光脉冲的形状进行重构;
图13A至图13G示出了试验结果并对利用慢检测器使用本发明和常规技术来重构时域光脉冲的形状进行了比较;以及
图14A至图14G展示了利用慢检测器对时域光脉冲的形状进行重构的一种可能的装置。
具体实施方式
参见图1,该图通过框图示意性地展示了本发明的、对来自输入场IF的稀疏信号进行重构的一个系统10的实例。例如,输入场IF可以是一个在空间域内变化的光场、或一个在时间域内变化的光场。输入场IF可以是空间和/或时间坐标的复函数(在其振幅和相位二者中承载信息)或实函数。系统10是一个用于对输入数据进行处理的计算机化的系统。因此,系统10包括一个数据输入实用程序12和一个数据处理器实用程序14。该系统还可以包括一个存储器实用程序和一个未专门示出的数据呈现实用程序(例如显示器)。同样,该系统可以连接到一个计算机网络(例如互联网)上并因此可利用一个合适的通信实用程序进行安装。系统10被配置为对与某一测量单元16的测量输出MO相对应的测量数据进行处理。应当理解的是,该系统可以执行测量数据的实时处理,同时该系统连接到测量单元(通过有线或无线的信号传输)上;或者可以执行测量数据的后处理,这种后处理应用于事先存储在系统10的存储器实用程序中或另一个合适的存储器实用程序中的测量系统的输出数据。
测量系统16可以是任何适于检测(接收和记录)输入场IF(例如,光、电子信号)并且产生对其进行表示的输出场(测量数据)的类型。检测的输入场可以是来自目标的一个输入信号或该输入信号与某个参考信号相互作用的结果。测量系统16的构造和操作通常不构成本发明的一部分;并且本发明可以与任何类型的具有有效响应函数的测量系统一起使用,该有效响应函数与其到输入信号(场)的输出的空间或时间频率响应相关联。有效响应函数可以由规定的数学关系来确定,该数学关系定义了其到输入场IF的测量输出MO。
配置用于对输入场IF进行测量的测量系统16包括一个合适的检测器(例如,照相机的像素矩阵;示波器;光电二极管等),并且还可以包括一个用于空间或时间频率的低通或带通滤波器。应当注意的是,该系统的一个或多个物理元件可以用作一个低通(或带通)滤波器,例如孔组件(由一个或多个孔形成,例如一个或多个镜头);和/或通过光从目标平面到检测器平面(“图像平面”)的自由空间传播。低通(或带通)滤波器还可以由检测器本身的特性而产生,该检测器可以仅最低限度地响应高空间或时间频率,这样使得数据的这些部分就埋藏在测量系统16的噪声中。测量系统16产生的测量数据MO和输入场IF之间的数学关系可以表示为一个响应函数(或传递函数),对于高空间或时间频率,该响应函数充当一个低通滤波器。对于非线性系统或对于非移位不变系统,这样的关系可以用一些其他表达式来表示。根据本发明,测量系统的测量输出MO是测量系统16的物理特性引起的输入场IF的特定变换的结果。就光成像测量单元而言,测量单元的输出优选地是目标的远场成像的结果。例如,检测器平面基本上位于孔组件的傅里叶平面上。以下将参见图6A至图6B进一步对这一点做更为具体的描述。
还应当注意,尽管没有具体示出,测量系统16可以包括一个用于对输入场进行编码的编码器实用程序。编码器可以是采用掩码(例如相位掩码或光栅)的软件和/或硬件实用程序。因此,可以将处理器实用程序14配置用于执行所接收的测量数据的初始解码。
另外,可以将该测量系统配置用于将输入信号与参考信号互相关,在这种情况下输入场IF是这种互相关的结果,而待重构的信号是所述输入信号。可以将该系统配置为将输入信号自相关;测量的输入场将是自相关的结果。
因此,输入实用程序12响应于输入数据用于从测量系统16接收(并且典型地存储)测量数据,该测量数据与所述测量系统16响应于输入场IF而产生的输出场MO相对应。同样,该系统(例如通过相同的输入实用程序或另一个输入端口)接收场相关数据FD和传感器相关数据SD。场相关数据FD包括有关输入(例如光)场的稀疏度的数据(包括数学基,数据在该基中是稀疏的)。传感器相关数据SD包括表示所述测量系统16的有效响应函数(例如,测量输出MO和输入场IF之间的数学关系)的数据。在光学测量系统的情况中,有效响应函数可以由测量系统的相干传递函数(CTF)或光传递函数(OTF)来定义,这些函数继而又由一个或多个孔来确定,如果存在的话,还由通向检测器的自由空间传播路径来确定。
在以下描述中,光学测量单元的有效传递函数有时被称为“光传递函数”或“OTF”。然而,应当理解的是并且如上所述,在是适当的时候,还应当将该术语广泛地解释为指CTF,并且更一般地应当解释为指输入场和输出(测量)场之间的关系。就有关输入场的稀疏度的数据而言,如上所述,它包括该场在某个已知基内是稀疏的这一知识,并且还可能包括稀疏基和测量基之间的关系。
数据处理器实用程序14被配置并可操作(即预编程的)用于在高于测量系统16的特性所限制(例如,通过频率响应函数的有效截止频率)的测量系统16分辨率的分辨率上对所接收的数据进行分析和处理,以便对输入场IF进行重构(不论它是否具有均匀的或非均匀的相位)。处理器14可以在其中包括一个稀疏矢量确定模块14A和一个基变换模块14B,这些模块是运行一些合适算法的软件实用程序。稀疏矢量确定模块14A用于对所接收的数据(测量输出MO、有关输入场的稀疏度的数据SD以及有关有效响应函数的数据FD,例如测量输入MO和输入场IF之间的数学关系)进行处理并确定一个稀疏矢量(x)。因此后者是一个多参数函数,包括所述表示输入场的稀疏度的数据、检测器的输出以及有效响应函数。基转换模块14B用于使用稀疏矢量(x)来根据所述稀疏矢量和所述表示输入场稀疏度的数据确定所重构的输入光场(yrec)。这使得输入场的重构(即实空间重构)成为可能。
在一个具体的但非限制性的实例中,重构过程包括以下内容:
(a)对以下方程求解:
x ^ = arg min x | | x | | 1 s . t . ( FAx - b ) T &CenterDot; W &CenterDot; ( FAx - b ) < &epsiv; x &GreaterEqual; 0 - - - ( 1 )
其中x是稀疏矢量,F是高达截止频率vc的偏傅里叶矩阵(因此F举例说明了测量单元16的有效响应函数),A是代表基的矩阵,所述信号在该基中是稀疏的(即有关稀疏度的数据SD),b是在除以测量单元的有效响应函数(例如OTF)的归一化后傅里叶域中的测量(即根据传感器相关数据的测量数据),ε是由噪声值确定的参数,而W是对角矩阵,该对角矩阵包含所述响应函数的平方幅度用于增大其对角线上的频率值;并且
(b)将所述输入场(例如图像)重构为:
y rec = A x ^ - - - ( 2 )
在一个较简单的情况中,其中测量系统的传递函数具有锐截频的形式(例如在相干照明的情况中,CTF在低于截频的频率上等于一,而对于高于截频的频率变为零),测量数据(b)的归一化和归一化矩阵W可以忽略,并且由偏傅里叶矩阵F单独表示传递函数。方程(1)因此具有如下形式:
x ^ = arg min x | | x | | 1 s . t . | | b - Fx | | 2 &le; &epsiv; - - - ( 3 )
为了解释本发明的重构方法,让我们考虑由以上方程(3)所代表的更为简单的情况。我们认为测量数据和通过有效响应函数R(ξ-ξ′)所表达的输入场之间的关系为:
bdetector(ξ)=∫g(ξ′)R(ξ-ξ′)dξ′    (4)
其中bdetector(ξ′)是测量数据(在特定的数学基中),而g(ξ′)是输入场(在特定的已知数学基中,该数学基可以与测量数据的基相同或者不同)。应当注意,ξ和ξ′可以是多维的(即它们可以具有矢量特性)。
表达式(4)涵盖了所有情况,其中包括一个传递函数,即ξ可以是任何坐标,也就是说它可以是空间坐标、时间坐标以及其他坐标。
如上所述,本发明利用输入场g’是稀疏的这一事实,或者执行某种预处理(基变换)以将非稀疏输入转换为它在某种已知基中的稀疏表示。
因此,在原始信号非稀疏的情况下,典型地可能的是将初始数据通过线性变换M(ξ′-η)转换为数据在其中是稀疏的另一个数学基:
g ( &xi; &prime; ) = &Integral; f ( &eta; ) M ( &xi; &prime; - &eta; ) d&eta; - - - ( 5 )
其中f(η)是原始数据,而g(ξ′)是其稀疏表示。通常,向基(原始数据在其中是稀疏的)的变换可以是线性的或非线性的基变换或是任何普通的基变换。
如上所述,对于任何坐标(是空间坐标、时间坐标以及其他坐标),本发明都适合于涉及有效响应函数(即频率传递函数和/或测量数据与输入场之间的关系)的任何测量应用。另外,也可以不指定传递函数的类型,即传递函数可以描述任何测量系统(例如空间的、时间的),并且传递函数可以是连续的亦或离散的函数。传递函数的具体特征是它对高(空间的或时间的或其他的)频率可以呈现尖锐和/或平滑的截频。锐截频被定义为传递函数在其上不会消失的最高频率。平滑截频被定义为传递函数的值没有被埋藏在测量系统噪声中的最高频率。这两种情况都类似于相同的物理状况:由于人们不得不通过传递函数对测量数据进行区分,有效截频(尖锐的或平滑的)以外的频率因此丢失并且不能由常规的重构方案(例如反卷积)来恢复;但是如果传递函数的振幅低于噪声水平,这种区分就会产生非常大的误差,使得输入场的高频内容不可恢复。
本发明提供了一种用于对稀疏输入场g(ξ′)进行重构的方法,如果需要,该方法还可以对非稀疏初始数据f(η)进行重构。该方法完全依赖于g(ξ′)是稀疏的这一知识以及它在基中是稀疏的这一知识。因而,传递函数R(ξ-ξ′)和线性变换M(ξ′-η)是已知的。为了对在相位上(并且可能在振幅上也是)是非均匀的输入场g(ξ′)进行重构的目的,本发明提供了一种用于对稀疏信号进行重构的新迭代技术。具体而言,在光成像的背景下,检测具有非均匀相位的信号可能是重要的。在该领域中使用的标准基追踪(BP)途径不能得出具有交变相位的信号的细节。本发明通过添加一个迭代非局部阈值过程或更具体地是非局部硬阈值化NLHT过程(该过程是本发明的一部分),扩展了该技术以解释非均匀相位。通过执行阈值化步骤(该步骤依赖于相邻位置(在实空间中)的值),这种算法以迭代的方式分配稀疏信号的去支持。在每次迭代中,该算法使用BP步骤,该步骤将水平为e的噪声(这种算法在文献资料中称为BP去噪BPDN[13])考虑在内:
( P 1 ) min g | | g | | 1 subjectto | | b - Fg | | 2 &le; &epsiv; - - - ( 6 )
在此,g是未知的稀疏信息,b是测量数据,F是对应于有效传递函数的(已知)变换矩阵,该变换矩阵将信息从稀疏信息g(信号基)的初始基变换到测量基,其中获得了测量数据b。应当注意,这两种基可以是不同的或完全相同的。值ε是由测量系统的噪声确定的一个小参数。应当理解的是,参数b和F是已知的,而g是未知的。然而,F不能进行逆运算(由于传递函数呈现截止)。因而,人们寻找满足Fg=b的最稀疏解g。为了找到这个解,本发明的技术根据以上给出的最小化问题确定矢量g。重构的矢量g则是找到的最小值的自变量,即:
g ^ = arg min g | | g | | 1 subjectto | | b - Fg | | 2 &le; &epsiv; . - - - ( 7 )
基于每一步骤的解,通过执行NLHT来分配信号的去支持。NLHT包括将小于固定阈值的d的每个元素及其相邻元素一起置零并且认为这类元素为去支持。在下一次迭代中,利用附加约束(对应于去支持的位置被设置为零)重复BPND步骤。如果原始数据f在原始信号基中不是稀疏的,通过线性变换g=Mf将其转换到另一个基(该数据在其中是稀疏的)中是可能的,因此等式(6)采用以下修改形式:
( P 1 ) min g | | g | | 1 subjectto | | b - FMf | | 2 &le; &epsiv; - - - ( 8 )
在光学成像中,有两个重要情形是不同的并且应当在以下予以强调。第一个是相干情形,它由相干传递函数CTF所包含。光振幅E(x,y,z)的场推导由下式描述:
E(x,y,z)=FT-1{FT{E(x,y,z=0)}H(kx,ky,z)}    (9)
其中FT和FT-1对应地表示傅里叶变换和傅里叶逆变换,而CTF由下式给出:
H = exp { iz ( &omega; / c ) 2 - ( k x 2 + k y 2 ) } . - - - ( 10 )
在此,ω是光角频率,而c是光速。应当注意的是,CTF在任何位置都不会消失。然而,高于阈值
Figure BDA0000129107730000213
时,它按指数规律衰减,这样使得通过在光远场中的测量,波是衰减的并且完全埋藏在(测量系统和检测器的)噪声中。因此,称它们丢失。通过假定一个强截止,利用稍加修改的传递函数就可以容易地对这个过程进行建模:
H ( k x , k y ) = 1 , | k x 2 + k y 2 | < k c 0 , else - - - ( 11 )
在截频以外,该式几乎为零。第二种是空间非相干情形,它由强度I(x,y,z)的推演式来描述:
I(x,y,z)=FT-1{FT{I(x,y,z=0)}Hic(kx,ky,z)}.    (12)
对于非相干情形,当对强度和非相干传递函数(光传递函数)OTF进行处理时,我们有:
H iz ( k x , k y ) = 1 - | k x 2 + k y 2 | / k c , | k x 2 + k y 2 | < k c 0 , else - - - ( 13 )
应当注意的是,已经在此使用了理想传递函数,它在截频以外几乎为零(即,衰减波被切除;在远场中无论如何都无法测得这些波)。
对响应函数的截频以外的数据进行重构在数学意义上对应于一个欠定方程组,该欠定方程组不能做逆运算。该问题产生于以下事实:这种系统具有无穷个解,这些解都产生与显微镜中看到的一样的图像。关键的任务是提取一个正确的解,以其他意义上,该解是“最正确的解”。这就需要稀疏度发挥作用了。当光场(或任何数据)被分解成一组基函数时,那么当在这些基函数上的大部分投影极小时,称这种数据为稀疏。由于每一个基函数代表两个自由度(DOF),一个表示在其上的投影,另一个表示位置,稀疏样本也仅携带有限数量的DOF。由于传播光的解析特性(已知电磁场总是解析函数),这种场的DOF数量在自由空间的传播过程中必须保持恒定。因此,近场中的DOF必须与远场中的那些相匹配。通常,当一个函数中包含的DOF数量为N时,那么在该函数的不同位置需要至少N次测量。因而,我们可以得出以下结论:仅在低频区域上进行多次测量(多个测量输出)仍然允许对整个输入场进行重构,该测量次数超出了自由度的数量。问题是要知道这种测量需要进行多少次。此问题是通过压缩传感解决与检测器像素矩阵的几何分辨率相关联的不同超分辨率问题来回答的。压缩传感的重要结果是在没有噪声时,稀疏解是唯一的[8-10],不论它们怎样稀疏。这意味着对于来自所有可能解(它们会在显微镜中产生看起来模糊的图像)的一些稀疏样本而言,只有一个是稀疏的。因此,如果人们知道输入场是稀疏的并且只有这种情况,就需要找到唯一稀疏解(该稀疏解产生看起来模糊的图像)。解的唯一性保证了该稀疏解是正确的解。存在噪声时,解不再唯一。然而,人们必须严格证明误差是有界的。这意味着所有不同的稀疏解非常相似。因而,查找最稀疏解将会导致一种非常接近于理想重构的重构[11,12]。在其原始背景下,压缩传感已经使用了稀疏度来减少给定信号的样本数量,同时仍能够正确地恢复信号。这个概念后来被扩展到数字图像处理领域,以便使用有关输入场的稀疏度的知识来提高在记录输入场之后由给定的像素矩阵所采样的图像的分辨率。这是因为目前压缩传感使用稀疏度来提高已采样数据的分辨率,不尝试使用系统的传递函数并且不对所恢复的带宽(在测量输入的截止频率以外)进行外推。作为一个实例,让我们考虑用m×n像素的CCD照相机记录次波长源的衍射极限斑点的图像。众所周知,人们可以使用稀疏度来提高CCD照相机的采样率,即人们可以获得αm×βn的分辨率,其中α,β>1。然而,在这种(众所周知的)方案中,最小可分辨特征将仍是衍射极限斑点(由成像系统的截止空间频率所定义)。确切地说,这种方法不能产生次波长分辨率,主要是因为它不使用例如对应于输入(实空间)基和测量(图像)基之间的关系的测量系统的有效传递函数。因此,这种途径被认为是测量样本点之间的“插值增强”。
本发明人已经发现,为了实现真实的带宽外推,不得不考虑测量系统的(并且不仅是检测器的)有效响应(传递)函数R(ξ-ξ′)。值得注意的是,这种有效传递函数还可以在一个不同于测量基的基上起作用,其中它可以用作一个低通滤波器。作为光学的一个实例,为了对光信号进行低通滤波,传递函数应当在傅里叶空间中起作用。有关有效传递函数的知识允许在测量系统的传递函数的截频或者在检测器的样本点之间的给定插值以外进行带宽外推。因而,本发明允许恢复成像系统截止频率以外的输入场的高频分量。根据以上给出的实例,利用本发明中使用的基于稀疏度的途径连同测量系统的有效传递函数,人们能够从输入场源的远场中、或者在(模糊的、衍射极限的)图像平面中、或者在介于两者之间的任意其他平面中进行的多次测量里恢复输入场的次波长特征。
应当注意的是,稀疏度可以用于提高分辨率,即使是在不能用与传递函数的卷积描述的系统中,即不能由方程(4)表达的系统中。一个好的实例是部分非相干光,传递函数对于部分非相干光而言是不存在的,但是一种积分关系描述了一个平面上的光场和另一个平面上的场(或强度)之间的关系[14]。因而,人们不能定义一种简单的关系Fg=b。然而,由于很好地定义了g和b之间的关系,提高这种系统的分辨率仍然是可能的。
现在参见图2A至图2C以及图3A至图3B,对于使用CTF的相干光成像的情况,这些图举例说明了本发明的原理[15]:图2A至2C展示了根据普通技术的图像重构的原理,并且图3A至3B对本发明的重构技术的结果和图2A至图2C的结果进行了比较。
在图2A中,次波长信息由一维光图像来表示,该光图像在本实例中具有交变相位。图中所呈现的图像是稀疏的次波长输入场,以振幅与位置图的形式对其进行了展示。所示出的场是稀疏的,其含义是在空间内它在大部分点上具有零值,而只在较少点上具有非零值。图中的位置轴线是与所用波长λ成比例的。如从图2A中可见,输入场具有比波长λ(次波长输入场)更小的特征点。同样,在该实例中,输入场具有一个非均匀相位;在该具体实例中,输入场包括正值和负值。如上所述,成像的分辨率由衍射极限(λ/2)所限制,因此高于1/λ的空间频率不能由光学器件传输,从而展示了光学器件的锐截止频率(对于相干照明情况)。图2B示出了输入场的光远场,实际上它是输入场(图2A)的傅里叶变换,在空间频率(±1/λ)处截断。在利用常规方法进行成像(光学处理)时,这种次波长场产生模糊图像,如图2C所示。从图2C可见,由于衍射极限或者通常来说是测量单元的低通滤波器的截止频率,在图像中原始输入场(图2A)的所有次波长特征都丢失了。
重构是基于输入场在一个已知基中为稀疏的这一知识,并且基于测量单元的已知响应函数的使用,即它的低通滤波器的使用。在该具体情况下,输入场在实空间内是稀疏的:图2A中非零像素的数量远小于像素总数。为了进行自身重构,应用了NLHT算法(如上所述)。
图3A和图3B举例说明了根据本发明的一个具体但非限制性的实例的重构算法的结果。图3A示出了傅立叶域中的重构信号。对场进行重构的方法是恢复高空间频率(截率以上的频率),并且因此就恢复了原始输入场。在图3B中示出了重构的场并且其包括原始输入场的所有次波长特征。应当注意的是,在该具体实例中,测量基是描述空间频率的傅里叶空间(光远场),并且IF的基是实空间。
如上所述,利用稀疏图像,大大减少了图像重构算法的自由度。假定所占据的基函数中的比例部分是β(<1),信号的β个样本应该在的一个替代基展开中确定。然而,应当合理地选择测量基,使得描述信号和测量基的组合矩阵是(左)可逆的,以确保解的存在。如果限制测量的次数,那么具有与信号基函数最小相关性的测量基确保在最少测量次数下进行重构。类似于量子力学中的测不准原理,这种表述防止信号在两个基内是稀疏的,并且如果信号在这些基的一个中是稀疏的,确保在另一个基中是非常宽展的。因此,几乎每个投影将产生一个非零信息性测量。极大不相关基的经典实例是空间域和傅里叶域:高度稀疏信号,例如单狄拉克δ函数被傅里叶变换为一个覆盖整个频谱的扩展函数。在次波长光学实施方案中,将测量基选择为傅里叶域中的低空间频率。如果不限制测量次数,仅假设测量数据投影到对应于输入场自由度个数的足够数量的基函数上,那么可以在任何基(包括与信号相同的基)内进行测量。
鉴于以上所述,根据本发明,如果信号在一个实空间基内是稀疏的,并且如果该实空间中的信号与测量基之间的关系是已知的,那么对这些低空间频率进行测量将足以恢复该信号。测量基可以是输入场的远场(傅里叶平面)、或图像平面(在该平面上测量数据是输入场的一幅模糊图像)、或者介于两者之间的任何其他平面,只要与实空间(输入)平面的关系是已知的,并且测量数据在测量基内投影到足够数量的基函数上。
除了信号是稀疏的这一知识,本发明的技术还利用有关测量系统的信息,即有效传递函数(CTF或OTF,或如以上所解释的输入场基和测量数据基之间的关系),以求解精细的次波长特征,并且优选地进一步对信号的非均匀相位情况利用上述NLHT。本发明优选地利用远场图像数据,因此简化了次波长特征的恢复。
在图4A和图4B示出了典型的光学系统的OTF的实例。在图4A中,示出了2维系统中的一个模拟OTF,并且图4B示出了1维实验性的光学系统的一个测量OTF。
现在参见图5A至图5F,当用于输入场的重构(利用非相干光成像)时,这些图举例说明了本发明的原理。图5A以幅度与位置图示出了一幅稀疏次波长图像,图中的位置轴线与成像系统的空间截止频率成比例。图5B中展示了图5A中图像的空间傅里叶变换。在该实例中,图5A的图像对应于通过非相干照明进行的成像,并且因此成像系统的OTF具有三角形状,见图5D(图G)。图5C示出了利用常规方法获得的图5A的图像。
如上所述,通过考虑成像系统的OTF(是锐截频的或具有更通用的形式),本发明对次波长图像进行了重构。根据本发明,在图5E中示出了图5A图像的重构结果,并且在图5F中示出了傅里叶变换重构。应当注意的是,在该实例中,测量数据在傅里叶空间(即空间频率)中,而输入场在实空间中。
现在参见图6A和图6B,它们举例说明了测量单元的两个实验性装置,通常以100标识,这两种装置使用一种4-f-装置光学系统设计,其中图6A举例说明了近场成像,而图6B举例说明了远场成像。为了便于理解,使用相同的参考号标识在所有实例中共同的组件。测量单元100包括:一个由激光源(未示出)形成的光源单元102、一个产生部分非相干光的扩散器104以及一个由透镜L1和L2形成的扩束器106;一个被配置为4-f望远镜的光学系统108,该光学系统包括可调狭缝110和透镜L3、L4;以及一个光检测器114(照相机)。光学系统具有由低通滤波器定义的一个空间频率截止,在本实例中该空间频率截止由狭缝110构成。光源单元与在λ=532nm时产生激光束(例如,Verdi 5W,相干商业有限公司)的一个激光源相关联。利用透镜L1和L2的望远镜/扩束器106对该束进行准直,并且其经过样本112,该样本展示了空间特征的某种排列的掩模。掩模112上的信息印刻在该束上(即,该束由掩模图案进行空间编码),并且用作输入信号信息。透镜L3对图像进行光学傅里叶变换。可调狭缝110置于透镜L3的焦平面上(在该平面处获得傅里叶频谱),以用作一个可控的低通滤波器。可调狭缝110的孔径定义了在输出平面OP上进行光学恢复的图像中的最高分辨率,该输出平面是图6A中的图像平面(由照相机光敏感表面所定义)并且图6B中位于的照相机成像镜头L5的前方(在其后焦面内)。还在图6B示出了一个分束器BS和一个参考束。在此,参考束和从样本收集的激光束之间的相互作用用于相位检测(即对干涉图的相位影响,干涉图典型地用于基于OCT技术的样本检验)。应当注意的是,由于光传递函数,装置100实际上举例说明了低通滤波的所有可能的物理特征,其中传输窗口(狭缝110的尺寸和/或形状)是任意的并且在尺寸和对称性二者上是可调的。系统100用于利用变化的空间频率窗口110对目标(样本112)进行成像,因此根据狭缝开口的宽度,系统的衍射极限斑点可以是任意尺寸。再通过另一个透镜L4实现向实域的傅里叶反变换。
因此,在该实例中,利用常规的CCD照相机114(Cohu 3400)进行测量,该照相机置于傅里叶平面(图6B),在该位置上它对切谱进行测量,或者置于4-f系统(透镜L3和L4)的输出端处的图像平面(图6A),在该位置它对经过滤波的信息进行测量。在另一个透镜L5(图6B)产生的傅里叶平面中对傅里叶谱进行测量。每一帧中的实际测量次数由照相机中的像素数确定。照相机提供功率谱(或强度)的直接测量。傅里叶平面亦或滤波图像平面中的相位信息通过与在一个已知角度处传播的平面波进行干涉来提供。最后,光信息本质上是2D,而当前的试验是专为1D信息而设计。为了从2D图像中提取1D信息,将测量信息沿着该信息为均匀的方向上进行平均化,并且通过该平均化的图像获取一个横截面。
利用以上描述的光学系统采集的图像呈现在图7A和图7B中,而图7C展示了基于图7B中的图像的由本发明对技术产生的一幅重构图像。图7A所示的样本(目标)图像是在输入平面后(在距离其1mm)获取的实际输入信息(输入场)。图7B中所示的图像对应于狭缝110的闭合状态以阻断高空间频率并提供模糊图像。根据本发明对图7B的模糊图像进行处理,以提供图7C所示的重构图像,该重构图像产生了允许样本的清晰图像的高分辨率。应当注意的是,在该具体实例中,测量输出的测量基是实空间,即与输入场的基相同。
本发明的技术可以容易地扩展到二维次波长特征。应当理解的是,2D情况在物理上更具挑战性,因为上述等式(5)的标量关系需要进行修改以描述不可避免的极化效应。也就是说,包含次波长2D光图像的EM波不能被线性地极化,从而在实空间和平面波谱(在等式(5)的积分中应当加入一个单位矢量)之间产生了矢量映射。在这一点上,参见图8A至图8F,它们示出了一个包含2D次波长振幅信息的实例。这些图例描述了物理现实的标量版,仅为了说明恢复2D次波长图像的能力。
更确切地说,图8A至图8F对比对2D目标进行重构的常规技术来说明本发明的技术。图8A示出了一个有待使用本发明的技术进行重构的二维次波长目标。在图8B示出了该目标的2D空间傅里叶变换。图8C和图8D示出了利用常规光学系统进行测量的实空间和傅里叶域中的次波长目标图像。可以看出,在系统截频(1/λ)以上的空间频率被阻止,并且因此图8C所示的图像是模糊的并且不包含原始目标的细节。图8E和图8F示出了根据本发明的实空间和傅里叶域中的重构图像。如图8E和图8F所示(注意,图中的位置轴线与波长1/λ成比例),明显的是重构图像分辨率明显地高于1/λ衍射极限。
因此,本发明能够以一个超过最大分辨率(在傅里叶空间中由低通滤波器定义)的分辨率恢复光信息,该光信息可以由直接光成像来恢复。通过利用输入信息的稀疏度和光学系统的传递函数(或更一般地说,频率响应函数),本发明的技术对信息损失做出了补偿。假定输入信息的稀疏度是β,低通滤波器的通带宽度是Δk,在无噪声情况下,本发明可以将通带延伸至Δk/(2β)。这等于将自由空间H(kx,ky)的传递函数的通带从Δk=4π/λ延伸至Δk=4π/(2βλ)。对于非常稀疏的信息,β可以非常小(例如图1中β=0.03)。这意味着在光显微术中最小可恢复的特征可以小至λ/16,甚至更小。除了稀疏度,另一个物理限制是噪声,实际上永远不能消除噪声。本发明的技术对噪声而言相当鲁棒,尽管噪声确实降低了其性能。然而,利用过采样可以将噪声的不利影响最小化以增加测量精度。在光学系统中利用分束器,人们可以同时测量傅里叶谱和输出图像(均在低通滤波之后),并且原则上可以测量两者之间任意平面中的场分布。因而,即使噪声仍然或多或少地影响结果,但其不利影响可以被最小化。
如上所述,根据本发明的重构技术利用了输入信息的稀疏性。绝大部分自然目标以及人工目标都是稀疏的。尽管这样,信息在实空间内没有必要是稀疏的,即它可以在任何与傅里叶基充分不相干的数学基中是稀疏的。而且,人们可以在目标之后的近场中使用具有随机相位(斑纹)的掩膜(即对输入场进行相位编码),该掩膜将更多信息从原始信号投射到低频范围,由此增加了可测数据的量。
就图像的稀疏度而言,应当理解的是所有自然图像在某个已知基中是稀疏的。在光学中最简单的实例是在实空间中为稀疏的图像,例如活细胞或细菌,信息仅出现在各种组织的轮廓线上,而在任何其他位置细胞/细菌都是透明的。优选地,本发明提出在傅里叶域对测量数据进行重构。然而,如上所述,本发明包括在一个不同的数学基中对原始数据的稀疏化版本进行重构,这可以通过一个线性变换来实现。
参见图9A和图9B以及图10A和图10B,这些图例示出了自然稀疏(组织细胞)和人工稀疏目标(即图9A至图9B的活细菌内部以及图10A至图10B的集成电路)的实例。在图9A中可见,细菌/细胞空间特征仅占据横截面的小部分区域,因此是高度稀疏的。图9B示出了图像中像元的数量以及每个像元的归一化振幅,从而示出了图像的稀疏度。图10B示出了图10A所示的电路的二阶导数中的元素数量,从而示出了尽管该图像在实空间内不是稀疏的,但在二阶空间导数中是稀疏的,并且因此还可以利用本发明对该图像进行重构。在这种情况中,人们对二阶导数(它是稀疏的)进行重构并且通过逆线性变换从原始数据中对其进行恢复。
在以上两个实例中,本发明可以提供“超分辨率极限的观察”的重大改进。尽管有些目标不是稀疏的,例如电子芯片,但明显的是稀疏目标并不神秘,而是在很多领域尤其是生物标本中十分常见的。最后,应当注意的是本发明可以用于每种光学显微镜以作为一种简单的、计算化的图像处理工具,该工具在实际上无需附加的硬件的情况下几乎实时地传输结果。本发明的技术非常通用,并且还可以扩展到其他非光学的显微镜,例如原子力显微镜、扫描隧道电子显微镜、磁显微镜以及其他成像系统。
以下是在图像重构方面本发明的技术与常规技术相比较的更多实例。参见图11A至图11J。在此,图11A示出了一个金属板中的次波长狭缝的扫描显微镜图像。在图11B示出了该目标的光学成像,其中使用了λ=532nm的照明波长,因为图11A中出现的狭缝对中的每一个在图像中无法在空间上相分离,从而呈现出低质量图像。在图11C中示出了图11A的目标的空间截止傅里叶谱,它还代表测量数据。图11D示出了由本发明的技术产生的次波长目标的重构图像,其中可以看到所有狭缝均很好地彼此相分离。应当注意,狭缝的宽度(150nm)远低于光波长(λ=532nm)。在图11E中,示出了原始样本和恢复样本的横截面之间的比较。在图11F中示出了所恢复的频谱,展示了由CTF决定的8倍于截止频率的空间频率的恢复。在图11G至图11K展示了重构技术的二维应用。图11G示出了样本的反射电子显微镜(REM)图像,其中特征尺寸为100nm。当以λ=532nm的光对样本进行照明时,图像在显微镜中高度模糊,并且所有次波长信息都丢失了(图11H)。在图11I示出了图11G的目标的空间截止傅里叶谱,该傅里叶谱还代表测量数据。图11J示出了由本发明的技术获得的次波长目标的重构图像,其中可见所有狭缝很好地彼此相分离。注意,狭缝的宽度(100nm)远低于光波长(λ=532nm)。
当利用远慢于光脉冲的持续时间的检测器(即该检测器的上升时间大于/长于脉冲持续时间)进行测量时,本发明的重构技术还可以用于恢复光脉冲的波形。在数学意义上,测量系统的响应函数对高的时间频率呈现截止(即它是一种慢检测器),并且人们想单独从低频的测量中对光脉冲的高频进行重构。因此这个问题非常类似于次波长成像。
参见图12A至图12J,其中展示了利用慢检测器对慢脉冲的进行重构一个数值实例。在图12A(时间域)和图12B(频谱域)展示了由三个30皮秒的子脉冲构成的一个复杂脉冲。图12C示出了通过该脉冲与一个脉冲响应函数之间的卷积而计算得到的数值检测信号,同样在图中示出了该信号。在图12D示出了相关的频谱传递函数和信号频谱。图12C的脉冲响应函数对应于一种光电二极管的真实试验性测量的脉冲响应函数,该光电二极管具有1纳秒的上升时间(对应于截止频率fc~0.3GHz)。图12E和图12F示出了利用维纳反卷积以各种维纳反卷积信噪比参数来对原始脉冲进行重构的尝试。显然,这些反卷积波形(图12E和图12F)严重变形。而另一方面,利用本发明的重构方法,本发明人显示了他们能够以极高的分辨率来提取原始脉冲(图12G和图12H)。图12H示出了在高达93GHz的整个频谱区域上的数据十分精确地得到恢复。相比较而言,反卷积情况(图12F)中的“过渡频率”是多于十倍地更小。在图12J中,示出了来自具有SNR=105的附加白高斯噪声的卷积信号(图12C)的重构波形,该重构波形表明了基于稀疏的恢复算法的鲁棒性。因此图12A至图12J举例说明了本发明提出的重构算法可以将短脉冲的波形重构中的分辨率提高至少一个数量级。
图13A至图13G示出了由光电二极管检测的短光脉冲波形重构技术的试验性演示。图13A展示了一种用于输入激光脉冲1的试验性测量系统,使该脉冲通过分束器2,并对应地通过慢光电二极管脉冲检测器3(具有175皮秒的上升时间)和快速光电二极管脉冲检测器4(具有150皮秒的上升时间)来检测出来自分束器的空间上分离的光分量。具有合适的处理器实用程序的控制单元5被设置与测量系统进行通信。因此,三个150皮秒子脉冲组成的激光脉冲由具有1纳秒上升时间的“慢”光电二极管进行检测,为了进行比较,还利用“快”光电二极管(175皮秒上升时间)对该脉冲进行探测。首先通过检测一个30fs的脉冲来测量光电二极管脉冲响应和频谱传递函数,该脉冲用作“脉冲激励”并产生检测器的脉冲响应。图13B示出了时间域中的光电二极管的脉冲响应函数,并且图13C示出了傅里叶域内的脉冲响应函数。图13D示出了由慢和快光电二极管(慢PD和快PD)进行的测量,同时在图13E中示出了它们的傅里叶谱。重构方案是利用“慢”光电二极管在所检测信号上实施的并且获得了质量良好的重构,如图13F、图13G所示,这些图例还示出了利用来自“慢”和“快”光电二极管的相同输出信号所进行的维纳反卷积。更确切地说,示出了三个图,这些图对应于慢光电二极管测量数据的基于反卷积的重构(Dec.慢PD)、快光电二极管测量数据的相同重构(Dec.快PD)以及本发明的技术所进行的慢光电二极管测量数据的重构(Reconst.)。图13G示出了傅里叶域中的相似的图(重构信号)。明显的是,基于稀疏度的重构方法提取了正确的三脉冲结构,而维纳反卷积完全失效。图13G示出了维纳反卷积对高达截止频率的频谱进行了重构,而基于稀疏度的方法能够以约10倍的较高分辨率来对数据进行重构并且采用了先验信息来恢复以其他方式隐藏在噪声中的数据。
参见图14A至图14G,其中示出了本发明的重构方案在恢复电子脉冲波形方面的一种实现方式,该电子脉冲由一个电子低通滤波器(LPF)进行滤波。图14A示出了一种试验系统,该系统用于利用光脉冲(激光脉冲)1来测量通过照射光电二极管2产生的电子信号(脉冲)。在此,光电二极管具有1纳秒的上升时间,而激光脉冲1具有由两个子脉冲的序列来定义的持续时间,这两个子脉冲具有120纳秒的FWHM(半高全宽)和550纳秒的波峰间隔。因此,光电二极管的上升时间比每个子脉冲的持续时间更短,并且因此光电二极管的输出实际上与其输入完全相同。对于试验性测量系统,光电二极管2的电子输出表现为一个输入信号6,即对该输入信号进行测量和重构。如所示,输入信号6由快速示波器5(构成一个短上升时间检测器)通过两个通道进行探测,一个通道是在通过fc=300KHz的低通滤波器(LPF)3(即上升时间远长于次脉冲持续时间)之后,而另一个通道是通过示波器5的未滤波的输入通道4。因此,利用激光脉冲,通过照射具有1ns上升时间的光电二极管来产生复电子脉冲,该激光脉冲包括具有120ns的FWHM和550ns的波峰间隔的两个子脉冲。光电二极管通过fc=300KHz的电子LPF由快速示波器进行探测。为了进行比较,还直接探测光电二极管。首先利用10ps的脉冲通过照射光电二极管来测量LPF的脉冲响应和频谱传递函数。图14B和图14C对应地示出了时间域和傅里叶域中LPF的脉冲响应函数。图14D示出了直接形式的(快PD,未滤波的)和通过LPF(慢PD,滤波的)形式的单次测量,而在图14E示出了它们的傅里叶谱。重构方案通过LPF在检测信号上实施并且获得了高质量的波形重构(图14F)。将该结果与维纳反卷积相比较。更确切地说,图14F和图14G对应地示出了时间域和傅里叶域中的重构信号以便与未经滤波的通道(快PD,未滤波的)的测量进行比较,这些重构信号包括根据本发明的技术的信号重构(重构的)以及利用反卷积技术(维纳反卷积)重构的信号。如图所示,本发明提出的重构方法大大超过维纳反卷积的精度。值得注意的是,图14E和图14G之间的比较说明所提出的重构技术能够在信号完全淹没于噪声中的频谱区域上恢复信息。
值得注意的是,在时间阈情况下,在中间基内获得测量数据,该中间基既不是时间基也不是频率基。
因此,本发明提供了一种各种类型信号的简单且有效的超分辨率(例如,次波长分辨率)重构,该技术实际上对大多数测量应用都十分有效。这些应用包括利用均匀或非均匀相位的信号所进行的光学应用(次波长成像;由“慢”检测器进行的光脉冲的检测);电信号测量的电子应用;以及有待从测量数据(对应于该信号与一个或多个其他参考信号的相互作用)重构的输入信号的应用。本领域技术人员将容易地理解,可以对本发明的实施方案做出在此以及之前举例说明的各种修改和变化,而不背离所附权利要求中以及由其定义的范围。

Claims (53)

1.一种对输入场进行重构的方法,该输入场由一个测量系统感测,该方法包括:
提供对应于所述测量系统的输出场的测量数据;
提供有关该输入场的稀疏度的数据,以及有关该测量系统的有效响应函数的数据;并且
基于所述已知数据对该测量数据进行处理,该处理包括:根据所述测量数据、所述有关该输入场的稀疏度的数据、以及所述有关该有效响应函数的数据确定一个稀疏矢量;并且使用该稀疏矢量来对输入信息进行重构。
2.根据权利要求1所述的方法,其中利用该有效响应函数的有效截频以上的分辨率来对该输入场进行重构。
3.根据权利要求1或2所述的方法,其中所述输入信号是一个光场。
4.根据以上权利要求中的任一项所述的方法,其中该测量单元包括一个光学成像系统。
5.根据权利要求4所述的方法,其中该输入场对应于成像过程中的相干照明,该有效响应函数与测量系统的一个相干传递函数(CTF)相关联。
6.根据权利要求4所述的方法,其中该输入场对应于成像过程中的非相干照明,该有效响应函数与测量系统的光传递函数(OTF)相关联。
7.根据权利要求4所述的方法,其中该输入场对应于成像过程中的部分非相干照明,该有效响应函数与输入场和测量数据之间的关系相关联。
8.根据权利要求4至7中任一项所述的方法,其中所述重构的输入场具有对应于多个特征的分辨率,这些特征小于成像系统的一个衍射极限斑点。
9.根据权利要求4至8中任一项所述的方法,其中这些测量是在输入场的远场平面中进行的。
10.根据权利要求4至8中任一项所述的方法,其中这些测量是在输入场的图像平面中进行的。
11.根据权利要求4至8中任一项所述的方法,其中这些测量是在输入场的任意平面中进行的,假设该测量平面和输入平面之间的关系是已知的。
12.根据权利要求1至3中任一项所述的方法,其中该输入场包括一个或多个脉冲信号,该输入场的重构包括对所述一个或多个脉冲信号中每一个的轮廓进行重构。
13.根据权利要求12所述的方法,其中该测量系统包括一个具有该有效响应函数的检测器,该有效响应函数对应于一个时间频率响应。
14.根据权利要求12或13中任一项所述的方法,其中该时间频率响应定义了检测器的一个上升时间,该上升时间比所述一个或多个脉冲中每一个的持续时间更长。
15.根据以上权利要求中任一项所述的方法,其中所述的提供表示该输入场的稀疏度的数据包括一个基,所述输入场在该基中是稀疏的。
16.根据以上权利要求中任一项所述的方法,其中所述的提供表示该输入场稀疏度的数据包括将该输入场变换成其在某个已知基中的稀疏表示形式。
17.根据以上权利要求中任一项所述的方法,其中该输入场在一个通过线性或非线性变换连接到傅里叶域上的域内是稀疏的。
18.根据权利要求15或16所述的方法,其中该输入场在一个傅里叶域测量的实空间中是稀疏的。
19.根据权利要求15或16所述的方法,其中该输入场在一个傅里叶域亦或实空间中测量的一个二阶导数域中是稀疏的。
20.根据以上权利要求中任一项所述的方法,其中所述表示该输入场的稀疏度的数据具有该基的一种矩阵表示,所述信号在该基中是稀疏的。
21.根据以上权利要求中任一项所述的方法,其中所述输入场具有一种非均匀相位。
22.根据以上权利要求中任一项所述的方法,其中稀疏矢量的所述确定包括该输出场的非局部硬阈值化。
23.根据权利要求22所述的方法,其中所述非局部硬阈值化包括分配该稀疏矢量的多个去支持元素,所述分配包括将该稀疏矢量的低于一个固定阈值的每个元素及其相邻元素一起置零。
24.根据以上权利要求中任一项所述的方法,其中所述处理包括该测量数据的一个初始解码。
25.根据权利要求12至24中任一项所述的方法,其中该测量系统包括一个检测单元,该检测单元包括以下信号检测器中的至少一个:示波器、光电二极管、超快扫描照相机、频率分辨光学门(FROG)、直接电场重构频谱干涉仪(SPIDER)、互相关频率分辨光学门(XFROG)、GRENOUILLE以及TADPOLE。
26.根据权利要求12至25中任一项所述的方法,其中该测量系统被配置为执行以下操作中的至少一个:输入信号与一个参考信号的互相关,其中该输入场是所述互相关的结果;以及输入信号与自身的自相关,其中该输入场是所述自相关的结果。
27.一种对输入场进行重构的方法,该输入场由一个测量系统感测,该方法包括:提供对应于所述测量系统的输出场的测量数据;提供有关该输入场的稀疏度的数据,以及有关该测量系统的有效响应函数的数据;并且基于所述有关该稀疏度以及有关该有效响应函数的数据来对测量数据进行处理,以便以高于该有效响应函数的有效截频的分辨率来对该输入场进行重构。
28.一种对输入场进行重构的系统,该系统包括:
至少一个输入端口,用于响应于所述输入场接收与某个测量系统产生的一个输出信号相对应的测量数据;并且用于接收表示该输入场的稀疏度的数据,以及表示所述测量系统的有效响应函数的数据;以及
一个数据处理器实用程序,该处理器实用程序被预编程以对所接收的数据进行分析和处理以便确定一个稀疏矢量,该稀疏矢量是所述测量数据、所述有关该输入信号的稀疏度的数据以及所述有关该有效响应函数的数据的函数,并且使用该稀疏矢量通过该稀疏矢量到该输入场的原始基上的基转换来对该输入信号进行重构。
29.根据权利要求28所述的系统,其中该数据处理器实用程序被配置并可操作用于将该输入场变换成其在某个已知基内的稀疏表示。
30.根据权利要求28或29所述的系统,其中所述重构的输入场具有高于所述有效响应函数的有效截止频率的分辨率。
31.根据权利要求28或29所述的系统,其中所述数据处理器实用程序被配置为识别该输入场具有均匀的或非均匀的相位。
32.根据权利要求28至31中任一项所述的系统,其中所述输入场是一个光场,该输出场对应于该输入场的一个图像。
33.根据权利要求32所述的系统,其中该输出场对应于该输入场的远场图像。
34.根据权利要求28至33中任一项所述的系统,其中所述重构的输入场具有多个小于该成像系统的衍射极限斑点的特征。
35.根据权利要求28至34中任一项所述的系统,其中所述表示该输入场的稀疏度的数据包括所述输入场在其内是稀疏的一个基。
36.根据权利要求28至35中任一项所述的系统,其中该输入场在通过线性或非线性变换连接到傅里叶域上的一个域中是稀疏的,该处理器实用程序被配置并可操作用于执行所述线性或非线性变换。
37.根据权利要求28至36中任一项所述的系统,其中该输入场在傅里叶域内测量的实空间中是稀疏的。
38.根据权利要求28至36中任一项所述的系统,其中该输入场在傅里叶域亦或在实空间域内测量的一个二阶导数域中是稀疏的。
39.根据权利要求28至38中任一项所述的系统,其中所述表示该输入场的稀疏度的数据具有该基的一种矩阵表示,所述信号在该基内是稀疏的。
40.根据权利要求28至39中任一项所述的系统,其中所述处理器被配置为通过将非局部硬阈值化应用于该输出场来确定该稀疏矢量,所述非局部硬阈值化包括分配该稀疏矢量的多个去支持元素,其中所述分配包括将该稀疏矢量的、低于一个固定阈值的每个元素及其相邻元素一起置零。
41.根据权利要求28至40中任一项所述的系统,其中所述输入场对应于一个光输入场。
42.根据权利要求28至40中任一项所述的系统,其中所述输入场对应于一个电子输入场。
43.根据权利要求41或42所述的系统,其中该输入场包括一个或多个脉冲,该重构的场具有基本上与所述一个或多个脉冲中的每一个的轮廓相同的轮廓。
44.根据权利要求28至43中任一项所述的系统,其中所述处理器实用程序被配置为执行所接收的测量数据的初始解码。
45.根据权利要求44所述的系统,其中该测量系统包括对该输入信号进行编码的一个编码器实用程序。
46.根据权利要求41至45中任一项所述的系统,其中该测量系统包括一个检测单元,该检测单元包括以下信号检测器中的至少一个:示波器、光电二极管、超快扫描照相机、频率分辨光学门(FROG)、直接电场重构频谱干涉仪(SPIDER)、互相关频率分辨光学门(XFROG)、GRENOUILLE以及TADPOLE。
47.权利要求41至46中任一项所述的系统,其中该测量系统被配置为执行以下操作中的至少一个:输入信号与一个参考信号的互相关,其中该输入场是所述互相关的结果;并且输入信号与自身的自相关,其中该输入场是所述自相关的结果。
48.一种对输入场进行重构的系统,该输入场由一个测量系统感测,该系统包括:至少一个输入端口,用于接收与某个测量系统的输出场相对应的测量数据,并且用于接收有关该输入场的稀疏度的数据以及有关该测量系统的有效响应函数的数据;以及一个数据处理器实用程序,该数据处理器实用程序用于根据所述有关与该稀疏度以及有关该有效响应函数的数据来对测量数据进行处理以便利用高于所述有效响应函数的有效截频的分辨率对该输入场进行重构。
49.一种测量系统,包括:一个成像系统,该成像系统定义了传播到一个光检测器的输入场,以及一个控制单元,该控制单元具有用于对所述检测器输出的测量数据进行处理的一个处理器实用程序,该实用程序被配置并可操作用于根据有关该输入场的稀疏度的数据以及有关该成像系统的有效响应函数的数据来对测量数据进行处理,以便利用高于所述有效响应函数的有效截频的分辨率对该输入场进行重构。
50.根据权利要求49所述的测量系统,其中所述成像系统被配置用于该输入场的远场成像。
51.一种测量系统,包括:一个检测器,该检测器具有由其有效截止频率定义的某个时间响应函数,并且被配置并可操作用于接收处于一个或多个脉冲形式的一个输入场并用于产生表示它的测量数据;以及一个控制单元,该控制单元具有用于对该测量数据进行处理的一个处理器实用程序,该实用程序被配置并可操作用于根据有关该输入场的稀疏度的数据以及有关所述时间响应函数的数据来对测量数据进行处理,以便利用高于所述时间响应函数的有效截频的分辨率对该测量数据进行重构,由此能够通过一个较慢的检测器来对相对短的脉冲进行重构。
52.根据权利要求51所述的测量系统,其中该检测器包括以下信号检测器中的至少一个:示波器、光电二极管、超快扫描照相机、频率分辨光学门(FROG)、直接电场重构频谱干涉仪(SPIDER)、互相关频率分辨光学门(XFROG)、GRENOUILLE以及TADPOLE。
53.根据权利要求51或52所述的测量系统,其中该测量系统被配置为执行以下操作中的至少一个:输入信号与一个参考信号的互相关,其中该输入场是所述互相关的结果;以及输入信号与自身的自相关,其中该输入场是所述自相关的结果。
CN201080030535.3A 2009-07-08 2010-07-08 超分辨率信号重构的方法和系统 Expired - Fee Related CN102473286B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US22371809P 2009-07-08 2009-07-08
US61/223,718 2009-07-08
US31849410P 2010-03-29 2010-03-29
US61/318,494 2010-03-29
PCT/IL2010/000553 WO2011004378A1 (en) 2009-07-08 2010-07-08 Method and system for super-resolution signal reconstruction

Publications (2)

Publication Number Publication Date
CN102473286A true CN102473286A (zh) 2012-05-23
CN102473286B CN102473286B (zh) 2014-12-10

Family

ID=43066946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080030535.3A Expired - Fee Related CN102473286B (zh) 2009-07-08 2010-07-08 超分辨率信号重构的方法和系统

Country Status (4)

Country Link
US (1) US9159119B2 (zh)
EP (1) EP2452311A1 (zh)
CN (1) CN102473286B (zh)
WO (1) WO2011004378A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104049288A (zh) * 2014-07-11 2014-09-17 重庆大学 一种基于单层金属狭缝结构阵列的连续振幅调控超振荡聚焦透镜
CN106841865A (zh) * 2017-01-22 2017-06-13 西华大学 短时电能质量扰动信号的单比特采样与重构方法
CN109253997A (zh) * 2018-10-27 2019-01-22 西安电子科技大学 一种基于频率调制和空间编码的拉曼断层成像系统
CN109414171A (zh) * 2016-04-06 2019-03-01 锐珂牙科技术顶阔有限公司 利用压缩传感的口内oct
CN109489544A (zh) * 2018-10-24 2019-03-19 江苏度微光学科技有限公司 基于光学微结构的超分辨光学相干层析方法和系统
CN116827368A (zh) * 2023-08-29 2023-09-29 成都戎星科技有限公司 基于非均匀信道化进行信号完全重构的方法

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5932018B2 (ja) * 2011-03-28 2016-06-08 エイヴィエル・テスト・システムズ・インコーポレーテッド 排気測定用のデコンボリューション法
US8970425B2 (en) 2011-06-09 2015-03-03 Sony Corporation Radar apparatus and method
CN102306291B (zh) * 2011-07-27 2013-05-29 清华大学 一种光场采样及重构方法与装置
US9324133B2 (en) * 2012-01-04 2016-04-26 Sharp Laboratories Of America, Inc. Image content enhancement using a dictionary technique
WO2013188520A2 (en) * 2012-06-12 2013-12-19 Yale University Multimode optical fiber spectrometer
WO2015008276A1 (en) * 2013-07-14 2015-01-22 B.G. Negev Technologies And Applications Ltd. (Ben-Gurion University) Thin-layered devices in compressive sensing spectroscopy
US9396164B2 (en) 2013-10-21 2016-07-19 International Business Machines Corporation Sparsity-driven matrix representation to optimize operational and storage efficiency
US10049683B2 (en) 2013-10-21 2018-08-14 Dolby International Ab Audio encoder and decoder
US9709440B2 (en) 2013-12-18 2017-07-18 Massachusetts Institute Of Technology Methods and apparatus for spectrometry using multimode interference in a tapered spiral-shaped waveguide
CN103714526B (zh) * 2013-12-24 2016-04-20 西安电子科技大学 基于稀疏多流形嵌入的超分辨率图像重构方法
US20150261623A1 (en) * 2014-03-15 2015-09-17 Macronix International Co., Ltd. Method and device for recovering data
US10620309B2 (en) 2014-05-01 2020-04-14 Utah State University Space Dynamics Laboratory Synthetic aperture radar target modeling
US20150316646A1 (en) * 2014-05-01 2015-11-05 Utah State University Synthetic aperture radar target modeling
CN106461785B (zh) * 2014-06-27 2018-01-19 Hrl实验室有限责任公司 压缩扫描激光雷达
US20160048721A1 (en) * 2014-08-12 2016-02-18 Joseph Cole Harper System and method for accurately analyzing sensed data
US9510787B2 (en) 2014-12-11 2016-12-06 Mitsubishi Electric Research Laboratories, Inc. Method and system for reconstructing sampled signals
US9911178B2 (en) 2015-05-22 2018-03-06 Samsung Electronics Co., Ltd. System and method for content-adaptive super-resolution via cross-scale self-learning
CN108474643B (zh) * 2015-09-14 2020-04-24 统雷有限公司 用于一个或多个波长扫描激光器的设备和方法及其信号检测
GB201614330D0 (en) 2016-08-22 2016-10-05 Univ Of Sussex The Attitude determination system
US10504692B2 (en) 2017-08-07 2019-12-10 Applied Materials Israel Ltd. Method and system for generating a synthetic image of a region of an object
US10876833B2 (en) 2018-03-26 2020-12-29 International Business Machines Corporation Apparatus and method for measuring micrometer scale features of electronic component over millimeter scale distances to nanometer scale precision
JP6845181B2 (ja) * 2018-04-24 2021-03-17 日本電信電話株式会社 映像生成装置、映像生成方法、およびプログラム
US10839837B2 (en) * 2018-05-22 2020-11-17 International Business Machines Corporation Determining span expansion or contraction between features and structures in thin films
KR102599507B1 (ko) 2018-09-17 2023-11-09 삼성디스플레이 주식회사 디스플레이 장치
CN110211205B (zh) * 2019-06-14 2022-12-13 腾讯科技(深圳)有限公司 图像处理方法、装置、设备和存储介质
IL292170B2 (en) 2019-10-21 2023-12-01 Illumina Inc Increased computational efficiency for structured illumination microscopy
CN112816563A (zh) * 2019-11-15 2021-05-18 声澈科技(上海)有限公司 超声波检测及成像的方法及装置、超声波成像系统
WO2021116923A1 (en) 2019-12-10 2021-06-17 Saudi Arabian Oil Company Electromagnetic metamaterial cells, detectors comprising the same, and methods of their use
US11362481B2 (en) 2020-05-01 2022-06-14 Mesa Photonics, LLC Method and apparatus for measuring optical pulses
CN112884645B (zh) * 2021-01-18 2024-05-03 北京工业大学 基于张量稀疏约束的光场填充方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007050680A2 (en) * 2005-10-25 2007-05-03 William Marsh Rice University Method and apparatus for on-line compressed sensing
WO2008063691A2 (en) * 2006-04-12 2008-05-29 William Marsh Rice University Apparatus and method for compressive sensing radar imaging

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL160152A (en) 2004-02-01 2011-06-30 Rafael Advanced Defense Sys Super-resolution image processing
US7646924B2 (en) 2004-08-09 2010-01-12 David Leigh Donoho Method and apparatus for compressed sensing
WO2006122146A2 (en) 2005-05-10 2006-11-16 William Marsh Rice University Method and apparatus for distributed compressed sensing
US8014616B2 (en) 2007-11-02 2011-09-06 Siemens Aktiengesellschaft System and method for fixed point continuation for total variation based compressed sensing imaging

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007050680A2 (en) * 2005-10-25 2007-05-03 William Marsh Rice University Method and apparatus for on-line compressed sensing
WO2008063691A2 (en) * 2006-04-12 2008-05-29 William Marsh Rice University Apparatus and method for compressive sensing radar imaging

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
B.R.HUNT: "Super-Resolution of Images: Algorithms, Principles, Performance", 《INTERNATIONAL JOURNAL OF IMAGING SYSTEMS AND TECHNOLOGY》 *
DAVID L. DONOHO ET AL: "Stable Recovery of Sparse Overcomplete Representations", 《IEEE TRANSACTIONS ON INFORMATION THEORY》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104049288A (zh) * 2014-07-11 2014-09-17 重庆大学 一种基于单层金属狭缝结构阵列的连续振幅调控超振荡聚焦透镜
CN104049288B (zh) * 2014-07-11 2015-12-30 重庆大学 一种基于单层金属狭缝结构阵列的连续振幅调控超振荡聚焦透镜
CN109414171A (zh) * 2016-04-06 2019-03-01 锐珂牙科技术顶阔有限公司 利用压缩传感的口内oct
CN106841865A (zh) * 2017-01-22 2017-06-13 西华大学 短时电能质量扰动信号的单比特采样与重构方法
CN109489544A (zh) * 2018-10-24 2019-03-19 江苏度微光学科技有限公司 基于光学微结构的超分辨光学相干层析方法和系统
CN109253997A (zh) * 2018-10-27 2019-01-22 西安电子科技大学 一种基于频率调制和空间编码的拉曼断层成像系统
CN116827368A (zh) * 2023-08-29 2023-09-29 成都戎星科技有限公司 基于非均匀信道化进行信号完全重构的方法
CN116827368B (zh) * 2023-08-29 2023-11-03 成都戎星科技有限公司 基于非均匀信道化进行信号完全重构的方法

Also Published As

Publication number Publication date
US9159119B2 (en) 2015-10-13
US20120188368A1 (en) 2012-07-26
CN102473286B (zh) 2014-12-10
EP2452311A1 (en) 2012-05-16
WO2011004378A1 (en) 2011-01-13

Similar Documents

Publication Publication Date Title
CN102473286B (zh) 超分辨率信号重构的方法和系统
Chen et al. Group sparsity based regularization model for remote sensing image stripe noise removal
Gazit et al. Super-resolution and reconstruction of sparse sub-wavelength images
Arce et al. Compressive coded aperture spectral imaging: An introduction
Liang Punching holes in light: recent progress in single-shot coded-aperture optical imaging
Chang et al. Robust destriping method with unidirectional total variation and framelet regularization
Wang et al. A comparative analysis of image fusion methods
US7336353B2 (en) Coding and modulation for hyperspectral imaging
CN104154998B (zh) 一种基于压缩感知的计算多光谱成像图谱的重构方法
Amizic et al. Compressive blind image deconvolution
Carnicer et al. Polarimetric 3D integral imaging in photon-starved conditions
CN204788661U (zh) 基于压缩感知的计算多光谱成像系统
Chan et al. Fusing concurrent visible and infrared videos for improved tracking performance
CN104574296A (zh) 一种用于偏振去雾霾的多小波融合处理图片的方法
WO2019025759A1 (en) SPECTRAL IMAGING DEVICE WITH CODED OPENING
EP3994516B1 (en) System and method for generating an image
Zhi et al. Image degradation characteristics and restoration based on regularization for diffractive imaging
Kwan et al. Target tracking and classification directly in compressive measurement for low quality videos
Zhuang et al. Hyperspectral image denoising and anomaly detection based on low-rank and sparse representations
Patel et al. Passive millimeter-wave imaging with extended depth of field and sparse data
Liang et al. Adaptive Fourier single-pixel imaging sampling based on frequency coefficients prediction
Lazar et al. Sparsity based noise removal from low dose scanning electron microscopy images
Xu et al. Remote sensing image fusion method based on multiscale morphological component analysis
Li et al. Bayesian regularization restoration algorithm for photon counting images
Shin et al. Photon-efficient super-resolution laser radar

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141210

Termination date: 20190708

CF01 Termination of patent right due to non-payment of annual fee