CN1902660A - 用于经由图像导向器所获得的共焦图像的超分辨率的方法和系统以及用于实现这种方法的设备 - Google Patents

用于经由图像导向器所获得的共焦图像的超分辨率的方法和系统以及用于实现这种方法的设备 Download PDF

Info

Publication number
CN1902660A
CN1902660A CNA2004800394794A CN200480039479A CN1902660A CN 1902660 A CN1902660 A CN 1902660A CN A2004800394794 A CNA2004800394794 A CN A2004800394794A CN 200480039479 A CN200480039479 A CN 200480039479A CN 1902660 A CN1902660 A CN 1902660A
Authority
CN
China
Prior art keywords
image
orientation device
cloud
image orientation
far
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004800394794A
Other languages
English (en)
Other versions
CN1902660B (zh
Inventor
F·贝里耶
A·佩尚特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mauna Kea Technologies SA
Original Assignee
Mauna Kea Technologies SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mauna Kea Technologies SA filed Critical Mauna Kea Technologies SA
Publication of CN1902660A publication Critical patent/CN1902660A/zh
Application granted granted Critical
Publication of CN1902660B publication Critical patent/CN1902660B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Image Processing (AREA)
  • Image Input (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)

Abstract

本发明涉及一种用于提高经由图像导向器所获得的共焦图像分辨率的方法，所述图像导向器的远端与用于在观察对象中聚焦由图像导向器所发射的激光束的光学头相关联。本发明的特征在于对于光学头的给定位置来说，所述方法包括如下步骤：经由所述图像导向器产生多个采集，对于图像导向器的所述远端相对于保持静止的光学头的具体空间位移产生每一采集；把每一采集的数据变换为点云；记录相对于作为参考的点云的每一散布点图；叠加由此记录的点云；并且根据所述叠加来重构最终图像。有益的是，使用在图像导向器的远端附近设置的受控压电管来移动后者。

Description

用于经由图像导向器所获得的共焦图像的超分辨率 的方法和系统以及用于实现这种方法的设备
技术领域
本发明涉及一种用于经由图像导向器获得的共焦图像的超分辨率的方法和系统以及用于实现这种方法的设备。
本发明尤其可应用于医学成像领域中。然而，由于可以把本发明应用于借助包括多个光纤的导向器来执行成像的任何领域中，诸如应用于查看已制造设备的内部的领域，因而本发明在范围上应该更宽。
背景技术
所述图像导向器能够获得图像。这种设备能够把激光扫描、光源和接收器从待观测的对象移开一定距离。例如，在用于获得共焦图像的激光扫描系统中，图像导向器是数千个光纤的集合，其空间布局在进入和离开时是相同的。
把远端、即靠近待观测对象的那端(因此与光源有一定距离)与由光学器件所构成的头部相关联，以便在待观测对象中聚焦激光束。这种图像导向器能够利用横向分辨率和视场(这取决于光学放大率、图像导向器的核内距离以及导向器直径)来深入地观测对象。通过修改放大率，可以改变分辨率，但是这对于视场来讲是不利的。以同样的方式，类似的但是具有更小核内距离的图像导向器能够获得相同的结果。在这两种情况下，当分辨率减小时，图像视场也减小。
图像导向器是一种固定结构，其中有效表面与所存在的核数之间的关系定义了系统的分辨率。对于同一图像视场来说，并因此对于同一图像导向器表面来讲，由于物理以及技术方面的限制，所以无法减小光纤之间的核间距离。首先，制造约束开始动作，然后，链接到导向器背景噪声以及光纤的光学属性的物理约束能够引导在可见波长周围的光线。
由此，每束光纤的物理引导限制不能够以固定放大率和视场来获得更好的分辨率。
在很多光纤类型的共焦成像应用中，探求更好的分辨率是最重要的。例如在医疗应用中，察看细胞或者细胞的组分要求能超出这种技术的物理限制的分辨率。
现有的对超分辨率的大量著作都是使用标准照相机来实现的，其中采样图是规则的并且是依照正方形或者矩形栅格来配置的。这些工作大量地利用了采样的空间规则性。特别的是，在源于采集集合的采样是交错采样的情况下，对超分辨率的工作是已知的。例如，如下的出版物有所涉及：
由H.Shekarforoush和R.Chellappa于1999年3月在“Journal of the OpticalSociety of America A”的16(3)：481-492中发表的“Data-driven multi-channelsuper-resolution with application to video sequences”；
由R.Kornprobst、R.Peeters、T.Vieville、G.Malandain、S.Mierisova、S.Sunaert和O.Faugeras以及R.Van Hecke于2002年7月在“Technical ReportNo.4513，INRIA”中发表的“Superresolution in mri and is influence in statisticalanalysis”；和
由S.Lertrattanapanich和N.K.Bose于2002年12月“在IEEE Transactions onImage Processing”的第11卷(No.12)上发表的“High resolution image formationfrom low resolution frames using delaunay triangulation”。
最后，已知用于描述多个视图之间移动十分自由并且产生真正的不规则采样的系统的著作。所描述的系统转换函数是空间相异的，并且转换函数的宽度和用于分开采样点的距离之间的关系在采集过程中并不是恒定的，这导致需要考虑系统的光学器件，并且由此产生了非常复杂的分辨率。这种系统特别在如下文献中被公开：
由A.Patti、M.Sezan和M.Tekalp于1997年8月在“IEEE Trans.on ImageProcessing”的1064-1078页发表的“Superresolution video reconstruction witharbitrary sampling lattices and nonzero aperture time”；以及
由Andrew J.Patti和Yucel Altunbasak于2001年1月在“IEEE Transactionson Image Processing”的10(1)的179-186页发表的“Artifact reduction for settheoretic super resolution image reconstruction with edge adaptive constraints andhigher-order interpolants”。
发明内容
本发明的目的在于增加经由图像导向器所获得图像的分辨率。本发明的另一显著目的在于把超分辨率的概念应用于图像导向器。
本发明的另一目的在于通过增加每表面单位的测量点的数目来改进经由图像导向器所获得的恒定视场图像的分辨率。
上述的至少一个目的是利用这样一种方法来实现的，所述方法用于增加经由图像导向器所获得的共焦图像的分辨率，其中所述图像导向器由多个光纤构成，此图像导向器的近端被连接至被提供用来向图像导向器的每一光纤发射激光束并在采集期间收集每一返回光束的激光扫描设备，远端与用于在被观测的对象中聚焦由图像导向器所发射的激光束的光学头相关联。依照本发明，对于光学头的给定位置来说，此方法包括如下步骤：
经由图像导向器进行多个采集，对于图像导向器的所述远端相对于光学头的给定空间位移产生每一采集，
把每一采集的数据变换为点云，所述点云由经由图像导向器的每一光纤在对象上测量的光功率来加权，
相对于作为参考的点云来定位每一点云，
叠加由此定位的点云，并且
根据此叠加来重构最终图像。
采用依照本发明的方法，在重构最终图像的步骤以前，产生相同对象的冗余采集。对于光学头的给定位置来说，执行多个采集，每一采集均对应于图像导向器的给定位置。
遍及其余部分的描述，虽然语言上不恰当，但是点云定位的表达步骤用于表示：实际上每一点云都被处理，以便定位对应于这些点云的图像，而不必重构这些图像。
特别的是，经由图像导向器的单个采集等效于对不规则网络(其是光纤的所在地)的采集，此后将其称为对象采样。图像导向器在管中的移动变为移动采样图，所述采样图是图像导向器中单个光纤的布局。利用两个采集，由此可以获得相同对象的两个采样，但是它们在空间上存在位移。通过叠加它们，可获得两倍于测量点那么多的采样。通过增加实验，可以获得更大的采样点云。所产生的采样是不规则的，并且必须以图像的形式被重构。
变换所采集的数据的步骤后面可以是应用过滤的步骤，以便消除因存在图像导向器而出现的假象。这种过滤可以包含用于处理使用由多个光纤所构成的导向器所获得的图像的方法。更确切的说，对于每个光纤，在所获得的图像(原始数据)上，对应于此光纤的区域被隔离，然后把使用来自此区域的信息来估计由此光纤传输的功率以及经由此同一光纤源于被观测对象的功率。然后，被观测对象的表示是加权的点云，其可以通过在正方形网格上内插所述加权的点云来以图像的形式重构。这种变换(功率+内插的估计)能够消除因光纤所产生的图案。
依照本发明的实施例，所述定位步骤包括如下步骤：
校正几何失真，
通过内插被称为“固定点云”的参考点云来重构被称为“固定图像”的参考图像，
对于被称为“移动点云”的每一其它点云，重构被称为“移动”的图像，然后优化在所述移动图像和所述固定图像之间所计算的均方差。
有益的是，只考虑对应于所述移动点云的点的像素来计算均方差。
所述内插算法例如是特别在如下文献中所公开的B样条近似迭代序列，所述文献是：由Seungyong Lee、George Wolberg和Sung Yong Shin于1997年7月-9月在“IEEE transactions on visualization and computer graphics”的3(3)上所发表的“Scattered data interpolation with multilevel b-splines”。
有益的是，所述参考点云可以对应于图像导向器静止时的位置。
依照本发明，所述定位步骤例如可以包含根据预先确定的位移距离来定位每一点云，其中所述预先确定的位移距离是通过校准图像导向器的移动的步骤来获得的。
优选的是，在每一采集时，为了相对于所述光学头来移位图像导向器，至少一个电压被施加到至少一个压电跨接片，其至少与这种图像导向器的远端集成。举例来说，使用了四个跨接片，其构成压电管，所述压电管至少围绕在图像导向器的远端，并且对于图像导向器的远端的每次移动来说，把一对相对电压分别施加到两个相对的跨接片。此外，通过在两个正交或者至少非共线的方向上基本上侧向平移图像导向器的远端来获得空间位移。
有益的是，所述校准步骤可以通过把如下步骤应用于通过采集在所述被观测对象的位置中所布置的参考图案而获得的有限数目的点云来执行，所述步骤是：
校正几何失真，
通过内插被称为“固定点云”的参考点云来重构被称为“固定图像”的参考图像，
对于被称为“移动点云”的每一其它点云，重构被称为“移动”的图像，然后优化在所述移动图像和所述固定图像之间所计算的均方差，
根据被施加到压电跨接片以便产生这种位移的电压来产生用于描述在固定图像和移动图像之间所获得的位移距离的线性模型。
所述校准能够根据所施加的电压来验证线性移动模型，并且能够根据测量来估计位移系数。然后使用这种线性模型来定位后续点云。
此外，可以使用所谓的迭代B样条近似算法来执行重构最终图像的步骤，对此，叠加被认为是不规则的点云。这种算法显示出了优良的数学特性、优良的稳定性并且就计算时间而言，显示出了合理的成本。
根据多个采集进行重构的问题与只知道单个采集来利用非线性系统进行重构的问题相同。此处可以认为系统的等效转换函数是空间相异的，并且采样是不规则的。
重构最终图像的步骤后面可以是：如果由此合成的采样是冗余的，那么去卷积最终图像的步骤。
依照本发明的另一方面，提供了一种用于增加经由图像导向器所获得的共焦图像的分辨率的设备，其中所述图像导向器由多个光纤构成，此图像导向器的近端连接至被提供用来向图像导向器的每一光纤发射激光束并且在采集期间收集每一返回光束的激光扫描设备，远端与用于在被观测对象中聚焦由图像导向器发射的激光束的光学头相关联。依照本发明，所述光学头包括与此光学头集成的光学装置。所述设备还包括围绕图像导向器并且至少在所述远端与此图像导向器集成的压电管，以便响应于移位次序来相对于光学头空间地移位该远端。此设定值最好是施加到压电管的一对电压。
有益的是，所述压电管至少由四个独立的陶瓷跨接片来构成，所述四个独立的陶瓷跨接片均占据1/4个管。每一跨接片的内部和外部表面可以由诸如银的金属材料覆盖，如此使得分别施加到两个相对跨接片的相对电压通过产生横向压电效应来移位所述管的远端。更确切的说，所述陶瓷跨接片可以在两个正交方向上两个两个地被控制。
还提供了一种用于增加经由图像导向器所获得的共焦图像的分辨率的系统，其中所述图像导向器由多个光纤构成，此图像导向器的近端连接至被提供用来向图像导向器的每一光纤发射激光束并在采集期间收集每一返回光束的激光扫描设备，远端与用于在被观测对象中聚焦由图像导向器所发射的激光束的光学头相关联。依照本发明，对于光学头的给定位置而言，此系统包括：
用于经由图像导向器产生多个采集的装置，
用于在每一采集时相对于所述光学头来空间地移位图像导向器的所述远端的装置，
用于把来自每一采集的数据变换为点云的装置，其中所述点云由经由图像导向器的每一光纤在对象上所测量的光功率来加权，
用于定位每一点云的装置，
用于叠加由此定位的点云的装置，以及
用于根据这种叠加来重构最终图像的装置。
附图说明
根据如下对实施例的描述，将会更好地理解本发明并且其他的优势将更加明显，所述描述是参考附图作出的，其中：
图1是依照本发明的整个系统的分解示意图；
图2是围绕图像导向器的压电管的示意图；
图3是举例说明图像导向器的一端移动的示意图；
图4是举例说明点云的不规则叠加的示意图；以及
图5是举例说明定位点云的原理的框图。
具体实施方式
图1示出了形成图像导向器1的有序束的挠性光纤(特别是数万的)，在其近端，光源2和光纤射入系统能够逐个照明光纤，而在其远端，光学头3能够在位于被观测对象4的给定深度的点上聚焦离开被照明光纤的光束。所述射入系统包括置于光纤扫描系统6之前的多个光学元件5，诸如偏转单元，其能够以非常高的速度逐个扫描光纤。依次使用每一光纤来传送照明光束，并且传送源于被观测对象的相应返回光束。通过把激光束聚焦为一点并且借助在同样用于照明的那些光纤所进行的空间过滤被观测对象的过程中驻留的共焦特性来获得空间分辨率。这样能够借助于光电检测器9来唯一地接收源于被观测对象的信号并且能够逐点产生图像。
把图像导向器的远端插入压电管7中，所述压电管7本身安装在刚性管3中，所述刚性管3形成光学头并且包含被置于图像导向器1的出口的光学器件8。所述压电管7能够在光学头3的内部移动图像导向器1，所述光学头3相对于被观测对象保持固定。这样做避免由于光学头在被观测对象上的磨擦而引起的问题。
图2示出了压电管7的结构。这种管7是由均占据圆柱的四分之一的四个陶瓷零件构成的。在内部和外部平面上，所述管7的表面镀有银，以便产生横向压电效应。这种现象解释了由于在结晶结构中存在电偶极而使得当后者陷于电场时的晶体的失真。
当在陶瓷的内部和外部面之间施加电压时，后者延长(或者根据电压的符号而收缩)并且变得更细(或者分别更宽)。因此，通过把正电压施加到其中一个陶瓷而把相反电压施加到相对的陶瓷，就可以进行扫描。当一个面延长而相对的面收缩时，所述管7弯曲并且其自由端移动。由此，能够在两个方向上使光纤的远端沿两个正交轴移位。图3举例说明了压电管7沿一个轴的移动。连续的线表示静止状态位置，没有移位。虚线表示向上移位的压电管7的一端，由此引起图像导向器1的远端的移位。对比起来，与光学头集成的光学器件8a和8b以及被观测对象4保持固定。图像导向器远端的移动对应于激光束打在被观测对象上的点的移动。
对于施加到压电管7的每一对电压来说，产生了失真，并且由此把经由图像导向器1所执行的采集移位了与所施加电压成比例的距离。
依照本发明的超分辨率方法包括第一步骤，其中，对于光学头的给定固定位置，执行一系列采集。对于每次采集来说，所述激光束扫描所有光纤。然后，光电检测器9检索原始数据集合，可以通过遵循激光扫描顺序在栅格上布置所述原始数据的集合来表示它们。对于每个光纤来说，看上去都会出现一个圆顶，其表示导向器中的光纤相对于激光扫描的位置。图像导向器1的远端的移位不改变图像导向器的近端处的光纤的布局或者位置。对比起来，经由这些圆顶所观测到的对象(可以与具有孔的栅格相比较)当压电管7变形时被移位。
然后，这些原始数据被变换为点云，这些点云由经由图像导向器的每一光纤在对象上测量的光功率来加权。这种变换使得对于每一点表示在激光扫描期间由每一光纤所实际看见的信息。还可以对每一点云应用过滤，以便消除与图像导向器的存在相链接的假象(栅格)。
通过利用图像导向器远端的不同位置产生多个采集，好像采样点已经被创建、例如被垂直和水平移位。采集的次数和方向仅仅由压电管7的精确度来限制。
图4示出了每个光纤的影响区，所述影响区可以被定义为每一光纤的光学转换函数的宽度与在图像导向器出口和被观测对象之间放置的光学器件的宽度的结合。应该注意的是，一个光纤的转换函数不必等于相邻光纤的转换函数。实际上，可以认为它们都是不同的，至少在宽度上不同。
在能够叠加点云以前，它们必须被定位。实际上，相同的对象已经被获得，但是所述采样图被移位。在校正系统的几何失真之后，所述移位变为通过把相同对象的所有采集与参考采集进行比较而评估出来的平移，一般说来，所述压电管7是静止的(按照惯例)。
定位所述图像的问题是十分标准的目标，并且存在很多技术。所述问题包含定位在借助于压电机构进行移位之前和之后所采集的相同对象的两个图像。在当前情况下，下面的变换模型是平移模型。待估计的参数的数目因此只有两个(x，y)。然而，由于使用了不规则网格，所以当前情况的变换模型不同于许多研究。
在当前情况下，通过使具有两个参数(沿平移轴的平移值)的成本函数最小化来谋求最好的变换。例如，可以假设当移动较小时，边缘问题是可忽略的。那么所谋求的方案接近(0，0)。
在图5中举例说明了采用的算法原理。通常，参考点云将被定义，此后被称为“固定点云”。然后此固定点云被内插，以便重构此后被称为“固定图像”10的图像。
特别的是，内插固定点云以便获得固定图像是使用迭代B样条近似算法来执行的，所述算法在Seungyong Lee等人提出的文献中被公开，下面对其进行简要描述。为了不每次计算内插值，对精细的、最好是正方形的规则网格执行内插，然后选择最接近的。由此，可以获得十分平滑并且被非常迅速地计算的内插。
然后，每一其它点云执行内插，此后将其称为移动点云，以便重构移动图像。然后，优化每一移动图像和固定图像之间的均方差。有益的是，就像在标准情况下那样，不执行在两个图像之间逐个像素的计算，而是只考虑对应于移动点云的点的像素来进行计算。所述优势在于在大量节省时间。
采用循环来执行优化，其步骤是：
变换步骤14，其中定义将在循环中被评估的平移参数；
变换的内插步骤12，其中初始移动点云在处理过程中通过变换被平移；
距离计算步骤13，其中测量源于所平移的移动点云11的移动图像和表示固定点云的固定图像10之间的距离。此距离是在移动点云的点和内插的固定图像之间评估的均方差；
优化步骤，其中使用了基于诸如共轭梯度之类的梯度的优化器15。优化器15评估先前计算的距离上的局部变化，以便发现新的变换(即，平移)，这能够减小用于下一循环的距离值(即，优化它)。
当所述距离函数不再减少时，退出循环。
为了不必对所有点云进行刚刚所描述的定位过程，此定位过程将只对具有有限采集数目的参考对象执行。为了做到这一点，所述被观测对象由参考对象来替代，所述参考对象诸如校准图案，或者更确切的说，例如是分辨率图案。然后，在此定位有限数目的点云期间所获得的结果能够根据所施加的电压来校准压电管的移位。图像导向器1和光学头3组件可以相对于扫描共焦部分5、6的轴转向，从而至少必须估计移动的轴及其方向。为了执行此操作，例如64个的有限数目的可能移位被执行，并且它们被相对于公共参考、例如当压电管处于静止时所获得的点云来定位。然后，对于施加到每次定位所测量的压电移位的所有电压对来执行线性回归。如果此模型是线性的，并且具有满意的精确度(比核间距离少得多)，那么就认为所述模型有效，并且随后它可以直接用于在测量对象上产生的随后的采集，而不必重新定位由点云所表示的图像。因此，此优选实施例允许更加快速的处理，这是因为利用被观测对象所获得的点云没有经历进行内插的整个定位过程。只对利用一个或者其它分辨率图案获得的64个点云执行此过程。
还可以设想，在非优选模式中，直接使用被观测对象而不是分辨率图案来根据有限数目的点云产生线性模型。
在所述模型不是线性的，或者如果它是不精确的，或者如果存在滞后作用的情况下，无法使用所述模型。在此情况下，预先描述的降级模式应该因此得以实现，即，作为超分辨率目标的每一点云必须被内插，然后被定位。
当所有移位均已知时，相应的移位历经每一采样，并且它们被叠加。由此，采用比采集更多的点来获得合成采集。然后在两个阶段中执行重构。首先，利用标准方法近似、或者内插生成的加权的点云。考虑到该产生的云是不规则的。例如，在定位期间使用如先前定义的迭代B样条近似。此后简要地描述这种算法：
设f是待重构的函数，将依照在覆盖支持f的矩形网格φ上所定义的统一二元三次B样条函数的形式来表示f。由此获得的函数是C2。与网格节点相关联的值被标记φij。在不损失一般应用性的情况下，假设这种网格包括在平面矩形上的整个坐标的点。
已知控制点φij的值，由如下公式给出f：
f ( x , y ) = Σ k = 0 3 Σ l = 0 3 [ Φ | x | - 1 + k , | y | - 1 + l B k ( x - | x | ) B l ( y - | y | ) ]
所述B样条由如下公式给出：
B 0 ( t ) = 1 6 ( 1 - t ) 3
B 1 ( t ) = 1 6 ( 3 t 3 - 6 t 2 + 4 )
B 2 ( t ) = 1 6 ( - 3 t 3 + 3 t 2 + 3 t + 1 )
B 3 ( t ) = 1 6 t 3
通过迭代近似法来进行对控制点φij的估计，所述迭代近似法使用分级点阵、通过用因数2精炼点阵来从一个比例传递至下一个比例。每一采样点将影响16个控制点。在不反向整个系统的情况下，以每一比例局部计算前一比例的贡献，并且对所推导的此比例估计余数。每一采样点将影响16个最接近的控制点。
这种算法能够在算法的收敛(有限数的迭代)时获得内插。在当前情况下，可以考虑对于点阵大小的两个限制情况。第一种情况是不存在不受至少一个采样点影响的单个控制点φi，j。第二种情况是任何两个采样点都无法影响同一控制点。这两种情况都能够计算起始点阵的大小，以及所述点阵的大小使得能够实现收敛。假定所述点的分布是六角形采样，那么这些大小可以凭经验计算。可以观察到的(
Figure A20048003947900151
图的含义内)相邻采样点之间的距离的直方图可以被观察到，并且分位数被保持在5％(或者任何其它较低的百分比)。此最小距离实际上是在两个位移之间的距离。
其它算法能够重构具有满意结果的点云。独创性在于依照内插或者非规则点云的近似的形式使问题形式化。
依照本发明，然后可选择性地执行去卷积信号的步骤，进行系统恒定线性的近似表示，并且获得图像导向器的光纤的平均转换函数，例如可以使用Wiener过滤来实现。
当然，本发明不局限于刚刚描述过的示例，可以在不超出本发明范围的情况下，对这些示例做出许多改变。

Claims (18)

1.一种用于提高经由图像导向器所获得的共焦图像的分辨率的方法，其中所述图像导向器由多个光纤构成，此图像导向器的近端连接至被提供用来向图像导向器的每一光纤发射激光束并在采集期间收集每一返回光束的激光扫描设备，远端与用于在被观测对象中聚焦由图像导向器所发射的激光束的光学头相关联，其特征在于，对于光学头的给定位置，此方法包括如下步骤：
经由图像导向器进行多个采集，对于图像导向器的所述远端相对于光学头的给定空间位移产生每一采集，
把每一采集的数据变换为点云，所述点云由经由图像导向器的每一光纤在对象上测量的光功率被加权，
相对于作为参考的点云来定位每一点云，
叠加由此定位的点云，和
根据这种叠加来重构最终图像。
2.如权利要求1所述的方法，其特征在于，变换所获得的数据的步骤的后面是应用过滤的步骤，以便消除因存在图像导向器而出现的假象。
3.如权利要求1或2所述的方法，其特征在于，所述定位步骤包括如下步骤：
校正几何失真，
通过内插被称为“固定点云”的参考点云来重构被称为“固定图像”的参考图像，
对于被称为“移动点云”的每一其它点云，重构被称为“移动”的图像，然后优化所述移动图像和所述固定图像之间所计算的均方差。
4.如权利要求3所述的方法，其特征在于，只考虑对应于所述移动点云的点的像素来计算均方差。
5.如权利要求3或4所述的方法，其特征在于，所述内插包含所谓的迭代B样条近似算法。
6.如权利要求3至5的任一项所述的方法，其特征在于，所述固定点云对应于静止时图像导向器的位置。
7.如权利要求1或2所述的方法，其特征在于，所述定位步骤包含根据预先确定的位移距离来定位每一点云，其中所述预先确定的位移距离是通过校准图像导向器的移动的步骤来获得的。
8.如前述任一项权利要求所述的方法，其特征在于，在每次采集时，为了相对于所述光学头来移位图像导向器，把至少一个电压施加到至少一个压电跨接片，所述压电跨接片至少与该图像导向器的远端集成。
9.如权利要求7和8所述的方法，其特征在于，所述校准步骤可以通过把如下步骤应用于通过采集在所述被观测对象的位置中所布置的参考图案而获得的有限数目的点云来执行，所述步骤是：
校正几何失真，
通过内插被称为“固定点云”的参考点云来重构被称为“固定图像”的参考图像，
对于被称为“移动点云”的每一其它点云，重构被称为“移动”的图像，然后优化所述移动图像和所述固定图像之间所计算的均方差，
根据被施加到压电跨接片以便产生这种位移的电压来产生用于描述在固定图像和移动图像之间所获得的位移距离的线性模型。
10.如权利要求8或9所述的方法，其特征在于，使用四个跨接片来构成压电管，所述压电管至少围绕在图像导向器的远端，并且对于图像导向器的远端的每次移动来说，把一对相对电压分别施加到两个相对的跨接片。
11.如前述任一项权利要求所述的方法，其特征在于，通过在两个正交方向上基本侧向平移图像导向器的远端来获得空间位移。
12.如前述任一项权利要求所述的方法，其特征在于，用于重构最终图像的步骤可以借助于所谓的迭代B样条近似算法来执行，对此叠加被认为是不规则的点云。
13.如前述任一项权利要求所述的方法，其特征在于，用于重构最终图像的步骤的后面是去卷积最终图像的步骤。
14.一种用于提高经由图像导向器所获得的共焦图像的分辨率的设备，其中所述图像导向器由多个光纤构成，此图像导向器的近端连接至被提供用来向图像导向器的每一光纤发射激光束并且在采集期间收集每一返回光速的激光扫描设备，远端与用于在被观测对象中聚焦由图像导向器所发射的激光束的光学头相关联，其特征在于，所述光学头包括与该光学头集成的光学装置，并且所述设备还包括包围所述图像导向器并且至少在所述远端与该图像导向器集成的压电管，以便响应于移位次序来相对于所述光学头空间地移位该远端。
15.如权利要求14所述的设备，其特征在于，所述压电管由至少四个独立的陶瓷跨接片来构成，所述四个独立的陶瓷跨接片的每一个均占据压电管的1/4。
16.如权利要求15所述的设备，其特征在于，每一跨接片的内部和外部面由诸如银的金属材料覆盖，如此使得分别施加到两个相对跨接片的相对电压通过产生横向压电效应来使所述管的远端移位。
17.如权利要求15或者16所述的设备，其特征在于，所述陶瓷跨接片是在两个正交方向上两个两个地被控制的。
18.一种用于实现如权利要求1至13任一项所述的方法的系统，用于提高经由图像导向器所获得的共焦图像的分辨率，所述图像导向器由多个光纤构成，所述图像导向器的近端连接至被提供用来向图像导向器的每一光纤发射激光束并且在采集期间收集每一返回光束的激光扫描设备，远端与用于在被观测对象中聚焦由图像导向器发射的激光束的光学头相关联，其特征在于，对于所述光学头的给定位置，该系统包括：
用于经由图像导向器产生多个采集的装置，
用于在每一采集时相对于所述光学头来空间地移位图像导向器的远端的装置，
用于把每一采集的数据变换为点云的装置，所述点云由经由图像导向器的每一光纤在对象上测量的光功率被加权，
用于定位每一点云的装置，
用于叠加由此定位的点云的装置，以及
用于根据该叠加来重构最终图像的装置。
CN2004800394794A 2003-12-31 2004-12-29 用于经由图像导向器所获得的共焦图像的超分辨率的方法和系统以及用于实现这种方法的设备 Expired - Fee Related CN1902660B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0315628A FR2864631B1 (fr) 2003-12-31 2003-12-31 Procede et systeme de super-resolution d'images confocales acquises a travers un guide d'image, et dispositif utilise pour la mise en oeuvre d'un tel procede
FR0315628 2003-12-31
PCT/FR2004/003401 WO2005073912A1 (fr) 2003-12-31 2004-12-29 Procede et systeme de super-resolution d’images confocales acquises a travers un guide d’image, et dispositif utilise pour la mise en oeuvre d’un tel procede

Publications (2)

Publication Number Publication Date
CN1902660A true CN1902660A (zh) 2007-01-24
CN1902660B CN1902660B (zh) 2010-04-21

Family

ID=34639737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2004800394794A Expired - Fee Related CN1902660B (zh) 2003-12-31 2004-12-29 用于经由图像导向器所获得的共焦图像的超分辨率的方法和系统以及用于实现这种方法的设备

Country Status (13)

Country Link
US (1) US7646938B2 (zh)
EP (1) EP1702304B1 (zh)
JP (1) JP5268257B2 (zh)
KR (1) KR20060131828A (zh)
CN (1) CN1902660B (zh)
AT (1) ATE547772T1 (zh)
AU (1) AU2004314774B2 (zh)
BR (1) BRPI0418235A (zh)
CA (1) CA2550305C (zh)
ES (1) ES2383526T3 (zh)
FR (1) FR2864631B1 (zh)
IL (1) IL176372A (zh)
WO (1) WO2005073912A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101387506B (zh) * 2007-09-14 2010-11-10 鸿富锦精密工业（深圳）有限公司 点云最优对齐方法

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100417225C (zh) * 2005-10-27 2008-09-03 中国科学院上海技术物理研究所 基于光纤耦合的焦平面阵列图像时空变换的方法
DE102006004006B3 (de) * 2006-01-27 2007-07-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Erzeugung eines hoch aufgelösten Bildes für faseroptische Systeme
US7680373B2 (en) 2006-09-13 2010-03-16 University Of Washington Temperature adjustment in scanning beam devices
US7738762B2 (en) 2006-12-15 2010-06-15 University Of Washington Attaching optical fibers to actuator tubes with beads acting as spacers and adhesives
US8305432B2 (en) 2007-01-10 2012-11-06 University Of Washington Scanning beam device calibration
US7583872B2 (en) * 2007-04-05 2009-09-01 University Of Washington Compact scanning fiber device
US8212884B2 (en) 2007-05-22 2012-07-03 University Of Washington Scanning beam device having different image acquisition modes
US8437587B2 (en) 2007-07-25 2013-05-07 University Of Washington Actuating an optical fiber with a piezoelectric actuator and detecting voltages generated by the piezoelectric actuator
US8411922B2 (en) 2007-11-30 2013-04-02 University Of Washington Reducing noise in images acquired with a scanning beam device
US20090177042A1 (en) * 2008-01-09 2009-07-09 University Of Washington Color image acquisition with scanning laser beam devices
JP5731389B2 (ja) * 2008-10-22 2015-06-10 コーニンクレッカ フィリップス エヌ ヴェ 光学的な走査プローブのアセンブリ
AU2010209422B2 (en) 2009-01-30 2015-06-18 Mauna Kea Technologies Method and system for processing images acquired in real time through a medical device
JP2010253155A (ja) * 2009-04-28 2010-11-11 Fujifilm Corp 内視鏡システム、内視鏡、並びに内視鏡駆動方法
JP2010253156A (ja) * 2009-04-28 2010-11-11 Fujifilm Corp 内視鏡システム、内視鏡、並びに内視鏡駆動方法
JP2010284369A (ja) * 2009-06-12 2010-12-24 Fujifilm Corp 内視鏡システム、内視鏡、並びに内視鏡駆動方法
JP5210991B2 (ja) * 2009-07-22 2013-06-12 富士フイルム株式会社 校正方法および装置
JP5537079B2 (ja) * 2009-07-24 2014-07-02 オリンパス株式会社 光走査装置及びそれを備えた内視鏡装置
JP5145299B2 (ja) * 2009-07-31 2013-02-13 富士フイルム株式会社 校正方法および装置
JP5340089B2 (ja) * 2009-09-08 2013-11-13 富士フイルム株式会社 内視鏡
JP2011045525A (ja) * 2009-08-27 2011-03-10 Fujifilm Corp 内視鏡
JP5317893B2 (ja) * 2009-08-31 2013-10-16 富士フイルム株式会社 内視鏡システム
JP5340085B2 (ja) * 2009-09-01 2013-11-13 富士フイルム株式会社 内視鏡
JP2012004908A (ja) * 2010-06-17 2012-01-05 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
RU2431889C1 (ru) * 2010-08-06 2011-10-20 Дмитрий Валерьевич Шмунк Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления
KR101869443B1 (ko) 2011-10-11 2018-06-21 삼성전자 주식회사 빛의 위치 제어 장치 및 그 제조 방법
US9076236B2 (en) 2013-09-12 2015-07-07 At&T Intellectual Property I, L.P. Guided image upsampling using bitmap tracing
JP6553293B2 (ja) * 2016-05-09 2019-07-31 オリンパス株式会社 光ファイバスキャナ、照明装置および観察装置
GB201707239D0 (en) 2017-05-05 2017-06-21 Univ Edinburgh Optical system and method
WO2019246380A1 (en) * 2018-06-20 2019-12-26 Magic Leap, Inc. Methods and systems for fiber scanners with continuous bond lines
CN110163799B (zh) * 2019-05-05 2023-05-05 杭州电子科技大学上虞科学与工程研究院有限公司 一种基于深度学习的超分辨率点云生成方法
EP4142290A1 (en) * 2021-08-31 2023-03-01 Beijing Xiaomi Mobile Software Co., Ltd. Method and apparatus of encoding/decoding point cloud geometry data sensed by at least one sensor

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6053919A (ja) * 1983-09-05 1985-03-28 Olympus Optical Co Ltd 内視鏡用撮像装置
JP3103488B2 (ja) * 1995-02-06 2000-10-30 旭光学工業株式会社 内視鏡装置
US5696848A (en) * 1995-03-09 1997-12-09 Eastman Kodak Company System for creating a high resolution image from a sequence of lower resolution motion images
US6190308B1 (en) * 1995-08-17 2001-02-20 Karl Storz Gmbh & Co., Kg Endoscopic video system for correcting a video image of an object to be studied
JP3048945B2 (ja) * 1996-05-24 2000-06-05 三洋電機株式会社 情報記録再生装置
WO1998038907A1 (en) * 1997-03-06 1998-09-11 Massachusetts Institute Of Technology Instrument for optically scanning of living tissue
JP2000126116A (ja) * 1998-10-28 2000-05-09 Olympus Optical Co Ltd 光診断システム
US6804419B1 (en) * 1998-11-10 2004-10-12 Canon Kabushiki Kaisha Image processing method and apparatus
US6466618B1 (en) * 1999-11-19 2002-10-15 Sharp Laboratories Of America, Inc. Resolution improvement for multiple images
JP2001327460A (ja) * 2000-05-18 2001-11-27 Olympus Optical Co Ltd 内視鏡装置
US6678398B2 (en) * 2000-09-18 2004-01-13 Sti Medical Systems, Inc. Dual mode real-time screening and rapid full-area, selective-spectral, remote imaging and analysis device and process
JP2002328311A (ja) * 2001-04-27 2002-11-15 Matsushita Electric Ind Co Ltd イメージファイバ撮像装置
US6665063B2 (en) * 2001-09-04 2003-12-16 Rosemount Aerospace Inc. Distributed laser obstacle awareness system
JP2003310532A (ja) * 2002-02-21 2003-11-05 Olympus Optical Co Ltd 撮像装置
JP2004289365A (ja) * 2003-03-20 2004-10-14 Fujitsu Support & Service Kk コンテンツ提供方法及びシステム
US7091475B2 (en) * 2003-05-07 2006-08-15 Mitutoyo Corporation Miniature 2-dimensional encoder readhead using fiber optic receiver channels
US7158225B2 (en) * 2004-01-23 2007-01-02 Kaiser Optical Systems Multi-channel, self-calibrating fiber-coupled raman spectrometers including diagnostic and safety features

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101387506B (zh) * 2007-09-14 2010-11-10 鸿富锦精密工业（深圳）有限公司 点云最优对齐方法

Also Published As

Publication number Publication date
EP1702304A1 (fr) 2006-09-20
KR20060131828A (ko) 2006-12-20
BRPI0418235A (pt) 2007-04-17
JP2007516760A (ja) 2007-06-28
AU2004314774A1 (en) 2005-08-11
IL176372A0 (en) 2006-10-05
WO2005073912A1 (fr) 2005-08-11
JP5268257B2 (ja) 2013-08-21
CN1902660B (zh) 2010-04-21
US7646938B2 (en) 2010-01-12
IL176372A (en) 2011-06-30
ATE547772T1 (de) 2012-03-15
FR2864631B1 (fr) 2006-04-14
US20070273930A1 (en) 2007-11-29
ES2383526T3 (es) 2012-06-21
CA2550305C (fr) 2014-07-08
FR2864631A1 (fr) 2005-07-01
CA2550305A1 (fr) 2005-08-11
AU2004314774B2 (en) 2010-01-28
EP1702304B1 (fr) 2012-02-29

Similar Documents

Publication Publication Date Title
CN1902660A (zh) 用于经由图像导向器所获得的共焦图像的超分辨率的方法和系统以及用于实现这种方法的设备
US6816606B2 (en) Method for maintaining high-quality focus during high-throughput, microscopic digital montage imaging
US20050259864A1 (en) Four-dimensional imaging of periodically moving objects via post-acquisition synchronization of nongated slice-sequences
JP2009526272A (ja) 顕微鏡媒体ベースの標本からデジタル画像データを収集するための方法および装置およびコンピュータプログラム製品
CN110599399B (zh) 基于卷积神经网络的快速双光子成像方法及装置
JP2018536211A5 (zh)
CN101865673B (zh) 一种微观光场采集与三维重建方法及装置
Rasti et al. Image resolution enhancement by using interpolation followed by iterative back projection
CN111220615A (zh) 一种倾斜式三维扫描显微成像系统及方法
CN108537862B (zh) 一种自适应降噪的傅里叶衍射扫描显微镜成像方法
BR112020007609B1 (pt) Método e dispositivo de reconstrução de imagem e dispositivo de imagiologia microscópica
CN109272575B (zh) 一种提高数字切片扫描仪建模速度的方法
CN102693533A (zh) 一种医学数字图像拼接方法
US11300767B2 (en) Method for high-resolution scanning microscopy
CN108983702B (zh) 基于计算机显微视觉切片扫描技术的显微视觉系统的显微视场数字化扩展方法及系统
US11574794B2 (en) Beam trajectory via combination of image shift and hardware alpha tilt
CN108955562B (zh) 显微视觉系统显微景深数字化扩展方法及系统
CN109934768B (zh) 一种基于配准方式的亚像素位移图像获取方法
Sun et al. A lightweight dual-domain attention framework for sparse-view CT reconstruction
CN111983797B (zh) 一种超分辨成像数字玻片扫描仪
EP1877954B1 (en) Four-dimensional imaging of periodically moving objects via post-acquisition synchronization of nongated slice-sequences
CN114155340A (zh) 扫描光场数据的重建方法、装置、电子设备及存储介质
CN1555097A (zh) 面阵电荷耦合器件超分辨率成象技术中的快速算法
CN110967827A (zh) 一种基于光场微型显微系统的成像建模方法及装置
JP4224425B2 (ja) Ｃｔ画像生成方法およびｘ線ｃｔ装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100421

Termination date: 20151229

EXPY Termination of patent right or utility model