CN113227718A - 多模波导成像 - Google Patents
多模波导成像 Download PDFInfo
- Publication number
- CN113227718A CN113227718A CN201980082784.8A CN201980082784A CN113227718A CN 113227718 A CN113227718 A CN 113227718A CN 201980082784 A CN201980082784 A CN 201980082784A CN 113227718 A CN113227718 A CN 113227718A
- Authority
- CN
- China
- Prior art keywords
- multimode
- waveguide
- fiber
- light
- multimode waveguide
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 57
- 238000009826 distribution Methods 0.000 claims abstract description 22
- 238000005452 bending Methods 0.000 claims abstract description 7
- 239000000835 fiber Substances 0.000 claims description 130
- 238000005259 measurement Methods 0.000 claims description 45
- 239000013307 optical fiber Substances 0.000 claims description 30
- 238000000034 method Methods 0.000 claims description 27
- 238000005253 cladding Methods 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 230000003595 spectral effect Effects 0.000 claims description 9
- 239000000523 sample Substances 0.000 description 54
- 230000003287 optical effect Effects 0.000 description 35
- 230000006835 compression Effects 0.000 description 16
- 238000007906 compression Methods 0.000 description 16
- 238000007493 shaping process Methods 0.000 description 10
- 230000008901 benefit Effects 0.000 description 9
- 238000013459 approach Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000001069 Raman spectroscopy Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001727 in vivo Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000984004 Tinamus tao Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003444 anaesthetic effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002692 epidural anesthesia Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000013074 reference sample Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007788 roughening Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00165—Optical arrangements with light-conductive means, e.g. fibre optics
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0605—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for spatially modulated illumination
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0669—Endoscope light sources at proximal end of an endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
- A61B1/3135—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for examination of the epidural or the spinal space
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2423—Optical details of the distal end
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2461—Illumination
- G02B23/2469—Illumination using optical fibres
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/26—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/48—Laser speckle optics
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
- G02B6/24—Coupling light guides
- G02B6/36—Mechanical coupling means
- G02B6/3616—Holders, macro size fixtures for mechanically holding or positioning fibres, e.g. on an optical bench
- G02B6/3624—Fibre head, e.g. fibre probe termination
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00057—Operational features of endoscopes provided with means for testing or calibration
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M25/00—Catheters; Hollow probes
- A61M25/01—Introducing, guiding, advancing, emplacing or holding catheters
- A61M25/06—Body-piercing guide needles or the like
- A61M25/065—Guide needles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Optics & Photonics (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Neurology (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Multimedia (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Microscoopes, Condenser (AREA)
- Endoscopes (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
一种成像系统(100)，包括多模波导(Wm)，所述多模波导被配置成接收从光源(20)进入到其近侧(13p)的输入光(Li)，并且基于所述输入光(Li)将对应的散斑图案(Pn)从其远侧(13d)输出，以照明要成像的样本(S)。单模波导(Ws)连接到所述多模波导(Wm)以将来自所述光源(20)的输入光(Li)耦合到所述多模波导(Wm)。所述多模波导(Wm)具有相对短的长度(Zm)和相对高的抗弯刚度(R)，以维持进入所述多模波导(Wm)的输入光(Li)的输入特性(λ,A)与所述散斑图案(Pn)的空间分布(Ixy)之间的独特关系。单模波导(Ws)可以相对长且柔软，以允许短的刚性多模波导(Wm)的移动。
Description
技术领域和背景技术
本公开涉及用于用经由多模波导生成的散斑图案来照明样本的成像系统和方法。
光学显微镜作为生物学和医学研究的关键工具已经很多世纪了。然而，传统的光学成像通常只能最多在组织表面以下几毫米处进行，因为在更深处，多次光散射可能会使图像恶化。为了克服这一约束，发展了显微内镜技术。在显微内镜技术中，希望通过插入活体组织的微小探针来提供高分辨率的活体图像。归因于各种光学对比机制，诸如弹性散射、荧光、拉曼散射等，光学显微内镜可支持功能或结构成像。显微内镜可基于例如微型光学探针，诸如光纤束、梯度折射率(GRIN)透镜和多模光纤。光纤束的使用可能会受到由纤芯之间的最小可能距离决定的相对低的成像分辨率(约3μm)的影响。微型GRIN探针通常提供更好的空间分辨率，但可能会受到像差和视野限制的影响：例如，直径为1mm的典型GRIN探针具有仅约为250μm的视野(FOV)。这会使内窥镜探针直径显著大于视野。基于多模光纤的内窥镜可以在全FOV下提供高分辨率，但可能依赖于使用复杂的空间调光系统和多模光纤传输矩阵的知识来重构成像。最后，大多数现有的显微内镜技术都是基于光栅扫描的，这对于大量像素而言变得很慢。
Rodriguez-Cobo等人[SPIE会议录，卷8413 84131R-1；doi:10.1117/12.978217]描述了用于感测应用的多模光纤中的散斑特征。如所解释的，在单模光纤中，纤芯直径相对很小(例如10μm)，并且光学信号具有几乎恒定的相速度。在多模光纤中，直径大得多(例如≥50μm)，并且诸导模具有不同的相速度。在第一情形中，光束在光纤输出处的投射通常形成均匀的光斑，而在第二情形中，可以观察到颗粒化的光图案。后者通常被称为‘散斑图案’，并且可被理解为多模光纤内部传播的诸模之间的干涉现象。其提出了在多模光纤中获得的散斑现象的特殊输入特性可被用于感测技术。
WO 2013/144898 A2描述了一种多模波导照明器和成像器，其依赖于通过柔性多模波导来补偿模态扰乱和光色散的波前成形系统。第一步包括校准多模波导，且第二步包括在波导近端投射特定图案以在其远端产生所需的光图案。只有通过改变空间调光器投射在波导近端的相图案，才能动态地扫描或改变照明图案。第三步和最后一步包括通过同一波导来收集由样本产生的光学信息以形成图像。根据现有技术，柔性多模波导可被插入样本中，并在适应校准的同时移动。
不幸的是，已知系统可能需要频繁的重新校准，以针对在输入处投射的相图案来调节波导的输出。此外，空间调光器可能很麻烦，并且它可能难以投射足够不同的相图案来提供所需的照明图案范围。因此，仍然需要缓解已知系统和方法的缺点，同时保持其至少一些优点。
发明内容
本公开的一些方面涉及成像系统，例如用于显微内镜的成像系统。优选地，该系统包括多模波导，所述多模波导被配置成接收从光源进入到其近侧的输入光，并且基于所述输入光将对应的散斑图案从其远侧输出，以照明要成像的样本。通过使多模波导保持相对刚性，可以在进入多模波导的输入光的输入特性和散斑图案的空间分布之间维持独特的关系。通过保持多模波导相对短，它可更容易处置。例如，单模波导可连接到多模波导以将来自光源的输入光耦合到多模波导。通过使用长度相对长且与多模波导相比具有柔性的单模波导，这可以允许多模波导相对于光源移动，而不影响进入多模波导的输入光的输入特性。
一些方面可涉及基于在多模光纤中生成的散斑图案的图像重构。例如，图像重构可以包括访问校准数据，该校准数据将预定的一组相应的输入特性(诸如进入多模波导的输入光的可变波长)与从多模波导输出的散斑图案的一组相应空间分布进行相关。例如，可根据该组预定的空间分布从由不同散斑图案照明的样本接收一组(光谱)强度测量。因此，可以基于强度测量和校准数据来计算样本的空间分辨图像。
这些和其他方面可在诸如显微内镜等领域中提供各种优点。例如，该方法和系统可启用在探针的全视野下的高速衍射受限成像，其不需要复杂元件(诸如空间调光器)或多模光纤的传输矩阵的知识就能重构图像。一些方面可涉及压缩感测与多模光纤探针的组合，以产生散斑图案的随机基础，并用这一组随机但已知的散斑图案照亮样本。然后可以收集荧光、弹性散射或拉曼散射响应，并根据该响应重构图像。可选地，通过在不同工作距离处校准该系统来提供光学切片(sectioning)。压缩算法的优点可以包括与逐点光栅扫描相比将测量数量降低一个数量级以获得由数千像素组成的图像的可能性。因此，它可以比显微内镜的任何传统的光栅扫描办法快得超过一个数量级。此外，重构图像不需要多模光纤的传输矩阵的详细信息。
压缩成像显微内镜可以基于标准多模光纤，并且不需要使用空间调光器、高NA物镜和/或大量扫描元件。因此，对于生物医学应用，它可以便宜，简单，且易于小型化。这一新显微内镜的空间分辨率可以由光纤探针的数值孔径确定，并且可以非常高(NA>0.8的多模光纤已经被证实)。视野仅受光纤探针直径的限制。归因于它的简单和紧凑，新显微内镜可被用于在医疗规程期间穿过针芯进行成像，例如在放置硬膜外麻醉期间。
附图说明
通过以下描述、所附权利要求和附图，本公开的装置、系统和方法的这些和其他特征、方面和优点将得到更好的理解，附图中：
图1A示出了成像系统；
图1B示意性地示出了成像系统的成像探针头；
图2A和2B示出了可变光输入和对应的散斑图案；
图3A和3B示出了用于控制散斑图案的实施例；
图4A示出了具有宽带光源和多光谱光检测器的成像系统；
图4B示出了具有用于承载并分离信号光与输入光的多包层光纤的成像系统；
图5A和5B示出了使用不同波长的校准和测量；
图6A-6C示出了用于在源/信号光纤和多模光纤之间耦合光的实施例；
图7A和7B示出了其中多模波导可被插入和从中空针移除的实施例；
图8A和8B示出了因变于不同多模光纤长度的相对波长的、散斑图案的互相关系数；
图9和10示出了基于各种测量的图像和曲线图。
具体实施方式
用于描述特定实施例的术语不旨在限制本发明。如本文所使用的，单数形式“一个”、“一”和“该”也旨在包括复数形式，除非上下文另有明确指示。术语“和/或”包括相关联的所列项目中的一个或多个中的任何项目和所有组合。将理解，术语“包括”和/或“包含”规定了所陈述特征的存在，但不排除存在或添加一个或多个其他功能。还将理解，当方法的特定步骤被称为继另一步骤之后时，它可以紧继所述另一步骤之后，或者在执行该特定步骤之前可以执行一个或多个中间步骤，除非另有规定。同样，将理解，当描述结构或组件之间的连接时，除非另有规定，否则可直接或通过中间结构或组件建立此连接。
现在将在下文中参考示出了本发明的实施例的附图来更全面地描述本发明。在附图中，系统、组件、层和区域的绝对尺寸和相对尺寸可出于清楚的目的而被夸大。可参考本发明的可能理想化的实施例和中间结构的示意图和/或截面图来描述各实施例。在该描述和附图中，相似的数字在全文中都指相似的元素。相关术语及其派生应解释为指当时所描述或所讨论的附图中所示的取向。这些相关术语是为了方便描述，而不要求该系统在特定取向上构造或操作，除非另有说明。
图1A示出了成像系统100。图1B示意性地示出了成像系统100的成像探针头10a；
在一些实施例中，例如如图所示，该系统包括多模波导“Wm”。多模波导可被配置成接收输入光“Li”，例如从光源20进入其近侧13p，并基于输入光“Li”从其远侧13d输出对应的散斑图案“Pn”。散斑图案可被用于照明待成像的样本“S”。理论上不受限制，散斑图案通常被理解为一组波前的相互干涉所产生的强度图案。例如，通过多模波导的光可经历不同模式之间的干扰(模式干扰)。
通常，多模干扰不会发生在单模光纤中，因为通常——顾名思义——仅存在单个模式，即单模波导优选地被配置成仅发射一个模式。原则上，配置成支持单模输入光的任何波导都可以被认为是单模波导。虽然单模波导或低模波导原则上可以允许附加模式，例如在非常不同的波长处，但是该系统或光源优选地被配置成在测量中仅使用优选的单个模式，以在光进入多模波导之前防止不受控的模式干扰。
优选地，多模波导“Wm”具有相对短的长度“Zm”和/或相对高的抗弯刚度“R”，以维持进入多模波导“Wm”的输入光“Li”的输入特性与散斑图案“Pn”的空间分布“Ixy”之间的独特关系。例如，输入特性可以包括进入多模波导的输入光的光波长“λn”和/或空间分布“An”。
在一些实施例中，例如如图所示，该系统包括连接到多模波导“Wm”的单模波导“Ws”，以用于将来自光源20的输入光“Li”耦合到多模波导“Wm”。优选地，单模波导“Ws”具有相对长的长度“Zs”和/或相对柔性F(与多模波导“Wm”相比)。这可以允许短刚性多模波导“Wm”相对于光源20移动，而不影响进入多模波导“Wm”的输入光“Li”的输入特性。
在一些实施例中，多模波导“Wm”具有比单模波导“Ws”高得多的抗弯刚度，例如至少高出2、3、5、10、20、50、100倍或更多。多模波导“Wm”越硬，输入光“Li”和相应散斑图案“Pn”之间的相关性就维持得越好。单模波导“Ws”越柔性，就越容易绕多模波导“Wm”形成的刚性端自由移动。
在优选实施例中，例如如图所示，多模波导“Wm”由多模光纤13形成。在一些实施例中，多模光纤可由刚性外套13m护持。外套13m可提供高抗弯刚度“R”，以显著地防止多模波导“Wm”的本可破坏输入光“Li”的输入特性与相应散斑图案“Pn”之间的相关性的任何弯曲。在另一或进一步优选实施例中，单模波导“Ws”包括单模光纤11。通常，单模光纤11可以基本上没有刚性外套13m，如图所示。
在一些实施例中，刚性多模波导“Wm”形成成像探针头10a，其经由单模波导“Ws”所提供的柔性连接来连接到或可连接到该系统的其余部分，例如光源20和/或检测器30。优选地，从样本“S”返回的信号光“Ls”经由(柔性)多模波导被引导到检测器30。这可以是靠近样本位置的单独光纤12，如图1A所示。更优选地，引导光返回的柔性多模波导与柔性多模波导集成在一起，例如作为一个或多个相邻连接的光纤(束)，或者更优选地作为包围单模光纤的外套，以形成双(或多)包层光纤(例如，如图4B和6C所示)。
在一个实施例中，多模波导“Wm”具有小于20厘米、优选在1到15厘米之间、更优选在2到10厘米之间、最优选在3到7厘米之间的相对短的长度“Zm”。在一些实施例中，多模波导“Wm”的远侧13d由经粗糙化的散射表面而不是典型的平滑光纤小面形成。使光纤输出小面粗糙化可进一步改进不相关的散斑图案的生成。例如，这可允许使用相对短的多模波导在输入处波长的最小变化以产生不同散斑图案。作为替换或补充，输入处波长的大变化可允许非常短的多模波导，例如小于5厘米、小于1厘米或甚至小于1毫米。优选地，刚性多模波导“Wm”尽可能短以使得更容易在狭窄空间中处置，同时仍然针对不同输入特性的范围提供足够不同的散斑图案。单模波导“Ws”的长度“Zs”可以比多模波导“Wm”的长度“Zm”高得多，例如至少长2、3、5、10、20、50、100倍或更多。例如，单模波导“Ws”的长度可以是一米或几米。
在一个实施例中，例如如图所示，该系统包括用以生成输入光“Li”的光源20。如图所示，单模波导“Ws”可以在光源20和多模波导“Wm”之间的光路中连接到光源20的固定输出。在另一或进一步实施例中，例如如图所示，该系统包括光检测器30，其被配置成确定由散斑图案“Pn”的照明所得到的来自样本“S”的光信号“Ls”的强度测量“Mn”。将理解，强度测量“Mn”不需要在空间上被解析，因此光信号“Ls”可以容易地通过同一或分开的波导来传输。在一些优选实施例中，该系统包括形成相应波导的光纤11、12、13，以将输入光“Li”从光源20传输到样本“S”和/或将信号光“Ls”从样本“S”传输到光检测器30。
在一个实施例中，单模波导“Ws”由具有单模波导直径“Ds”的单模光纤11形成，并且多模波导“Wm”由具有多模波导直径“Dm”的多模光纤13形成。通常，多模波导直径“Dm”比单模波导直径“Ds”更大，例如至少大2倍、至少大3倍、4倍或5倍，例如直至大10倍或更大。
在一个实施例中，例如如图所示，该系统包括控制器40。在一些实施例中，控制器可以被配置和/或编程成访问校准数据“Cn”。例如，校准数据可以存储在计算机可读介质上，该计算机可读介质可以是控制器40的一部分，或者以其他方式可以由控制器40访问。在一些实施例中，校准数据可以提供进入多模波导“Wm”的输入光“Li”的预定的一组相应输入特性λn、An与离开多模波导“Wm”的散斑图案“Pn”的对应的一组相应空间分布Ixy之间的关系。在另一或进一步的实施例中，同一或其他控制器可根据该组预定的空间分布Ixy，从由不同散斑图案“Pn”照明的样本“S”接收光信号“Ls”的一组在空间上未分辨的强度测量“Mn”。在其他或进一步的实施例中，同一或其他控制器可基于强度测量“Mn”和校准数据“Cn”来计算样本“S”的空间分辨图像“Sxy”。例如，可如本文所述使用压缩感测算法和/或神经网络。
本发明的一些方面可以实现为方法。在一些实施例中，该方法包括接收校准数据“Cn”，该校准数据将进入多模波导“Wm”的输入光“Li”的一组波长“λ”或空间分布“A”与从多模波导“Wm”出来的散斑图案“Pn”的对应的一组相应空间分布Ixy进行相关。在另一或进一步的实施例中，该方法包括根据该组预定的空间分布Ixy，从由不同散斑图案“Pn”照明的样本“S”接收光信号“Ls”的一组在空间上经分辨的强度测量“Mn”。
在一些的实施例中，该方法包括基于强度测量“Mn”和校准数据“Cn”来计算样本“S”的空间分辨图像“Sxy”。该方法可例如结合刚性多模波导“Wm”来执行。或者，只要校准仍然有效，该方法就可结合柔性多模波导“Wm”来使用，例如，多模波导“Wm”在校准和测量之间没有实质性弯曲，和/或其弯回以具有相同的构造(configuration)(例如，插回入同一刚性外套13m)。
在优选实施例中，空间分辨图像“Sxy”的计算包括应用压缩感测(CS)算法，该算法使用要重构的图像的稀疏属性，例如经重构图像在某些基础上(通常在小波基础上)应该是稀疏的。这可以允许显著(超过10倍)提高成像以及预校准速度，这在任何生命科学和医学应用中都是重要的。诸如算法和/或校准数据之类的一些方面也可以实现为非瞬态计算机可读介质。例如，该介质可以存储程序指令或数据，所述程序指令或数据在被计算机执行和/或访问时使计算机执行本文所述的方法和/或形成如所述的成像系统的至少一部分(例如，控制器40)。
也可以使用诸如神经网络之类的其他功能或算法来重构图像。例如，可以使用一组已知的光输入和散斑图案输出来训练神经网络。在某种意义上，系数(例如，经训练的神经网络的权重)可以用作校准数据，其中图像是基于系数来计算的。原则上，也可以仅使用已知的光输入和检测器处的测得信号来训练(或重新训练)网络，例如对要重构的图像采取一些约束。例如，在检测器处的已知光输入和对应的信号测量可以是(深度学习)神经网络中的输入，其中与约束的偏离被用作训练中的误差或惩罚。例如，图像约束可以包括经重构图像的可压缩性或熵，其中假设要重构的图像不是完全随机的。在一些实施例中，训练可以是连续的，例如在执行实际测量时，使用一组最新测量来训练网络。
图2A和2B示出了在多模波导的近侧接收的一些可能的可变光输入Li，以及在多模波导的远侧形成不同散斑图案“Pn”的对应光输出；
在一些实施例中，例如如图2A所示，预定的一组输入特性包括输入光“Li”的一组不同的波长“λ”。在一些实施例中，控制器被配置成可再现地控制进入多模波导“Wm”的近侧的输入光“Li”的输入特性“λ”和/或“A”以将受控输入特性“λ”和/或“A”唯一地关联到从远侧13d出来的对应散斑图案“Pn”的空间分布“Ixy”。例如，控制器被配置成控制光源20以顺序地产生在多模波导“Wm”的近侧13p处的输入光“Li”的一组不同波长“λN”。将明白，光源的控制可以相对容易，例如，不需要任何机械元件，诸如微镜。在一些实施例中，校准数据可以包括不同波长的测得信号的标准化。例如，在荧光测量中，来自样本的荧光量可取决于输入光的波长。在其他类型的测量中，例如弹性散射，不同波长对反射量的影响可以忽略不计。
在其他或进一步的实施例中，例如，如图2B所示，预定的一组输入特性包括进入多模波导“Wm”的近侧13p的输入光“Li”的一组不同的空间分布An。例如，控制器被配置成顺序地产生在多模波导“Wm”的近侧13p处的输入光“Li”的一组不同空间分布An。不同波长和空间分布的组合也是可能的。还可以设想输入光“Li”的输入特性的其他变化，例如不同的偏振、相位、角度等。
图3A和3B解说了用于控制在多模波导“Ws”中生成的散斑图案“Pn”的实施例。
在一个实施例中，如图3A所示，形成单模波导“Ws”的单模光纤11的输出被熔合到由多模光纤13形成的多模波导“Wm”的近侧13p。这可以固定输入光“Li”进入多模波导“Wm”的位置和/或角度。这一实施例可以例如与输入光“Li”的可变波长“λ”相组合。优选地，形成多模波导“Wm”的材料的折射率与单模波导“Ws”的折射率相同或相似，例如在10％以内，优选在5％或1％以内，最优选地是相同的材料。折射率越相似，在单模波导“Ws”和多模波导“Wm”之间的界面处发生的反射就越小。
在另一或进一步实施例中，单模波导“Ws”的端部(例如光纤)的位置相对于多模波导“Wm”的近端侧13p而改变，以提供一组不同的输入特性“An”。例如，光纤端部例如通过微电机进行旋转、往复运动和/或振动。作为替换或补充，来自单模波导“Ws”的光可以通过光学元件，例如微镜，其可以类似地控制输入特性“An”(例如，图6C中所示)。从源光纤11发射到多模光纤13上的光斑的不同位置之间的优选步长可取决于源光的波长“λ”和/或多模波导“Wm”的数值孔径。为了创建足够不同(不相关)的散斑图案，优选地，所述步长是至少λ/2NA。
图4A示出了使用宽带光源20和多光谱光检测器30的实施例。
在一些实施例中，例如，如图所示，该系统包括宽带光源20，其被配置成生成跨一个不同波长“λ”的范围的输入光“Li”。在其他或进一步的实施例中，该系统包括光检测器30，其具有用于作为波长“λ”的函数来测量光信号“Ls”的强度的光谱分辨元件32。在其他或进一步的实施例中，光检测器30包括具有用于同时测量光信号“Ls”的光谱强度的多个传感器元件的光传感器34。
在优选实施例中，控制器被配置成基于宽带光源20的一个或多个发射(shot)和光信号“Ls”的光谱强度的相应测量来计算空间分辨图像。将明白，这可以允许非常快速的图像采集，其中使用将光谱分量链接到对应散斑图案的相应空间分布的校准数据将基本上一组测得的光谱强度转换成空间图像。在一些情形中，输入光“Li”的强度可针对不同波长而变化，并且该波长处的对应光信号“Ls”可相应地被归一化。例如，可任选地使用同一光检测器30来同时或顺序地测量输入光“Li”的(部分)光谱以进行归一化。作为使用光的宽带发射的替换方案，还可以控制光源20来扫描输入光“Li”的波长。这可以简化光检测器30，例如免去光谱分辨元件32并且仅需要单个光强度传感器。
在一些实施例中，例如，如图4A所示，使用半透明镜“STM”将输入光“Li”与返回光信号“Ls”分离。例如，半透明镜TM可以使50％的光透过。对于其中光信号“Ls”具有与输入光“Li”基本上不同的波长的一些应用，可以使用二向色镜来更高效地分离光。例如，这可适用于荧光测量。
图4B示出了具有用于承载并分离返回信号光“Ls”与输入光“Li”的多包层光纤的实施例。在优选实施例中，例如，如图所示，单模波导“Ws”是多包层光纤(例如双包层光纤“DCF”)的一部分。最优选地，多包层光纤与如图4A所示的宽带光源相组合地应用，例如从而允许容易地分离输入光“Li”和所得的光信号“Ls”，特别是当它们可以具有相同或相似的波长时。
在一些实施例中，该系统包括由至少一个纤芯1形成的多包层光纤，纤芯1周围有第一光纤包层2，并且第二光纤包层3包围第一光纤包层2。有利地，纤芯1可以形成用于输入光“Li”的单模波导“Ws”，并且第一光纤包层2可以形成用于测得光信号“Ls”的返回路径。在一个实施例中，例如，如图所示，纤芯1和第一光纤包层2两者都连接以将输入光“Li”耦合到多模光纤13中并将信号光“Ls”耦合出多模光纤13。例如，第一光纤包层2形成由第二光纤包层3包围的双包层光纤的内包层，第二光纤包层3形成双包层光纤DCF的外包层。
在优选实施例中，该系统包括光纤耦合器15，以便将输入光“Li”与光信号“Ls”分离。在一个实施例中，例如，如图所示，光纤耦合器15是非对称多包层光纤耦合器。例如，纤芯1延伸穿过在连接到光源(这里未示出)的源光纤11和成像探针头10a处的多模光纤13之间的耦合器15。例如，第一光纤包层2与连接到光检测器(这里未示出)的信号光纤12熔合。例如，第一光纤包层2被配置成经由多模光纤13收集来自被照明样本区域S的信号光“Ls”，并且经由光纤耦合器15将所收集的信号光“Ls”中的至少一些传输到信号光纤12中。
图5A和5B分别示出了扫描或应用不同波长的输入光“Li”作为宽带发射的校准和测量。对于这两个实施例，校准数据“Cn”可以例如通过(例如使用相机或像素阵列)扫描光源的波长“λ”并测量对应的散斑图案“Pn”来获得。然后测量可被完成。对于图5A的实施例，测量可以简单地包括重复波长扫描并测量对应光信号“Ls”的一系列强度。空间分辨图像“Sxy”随后可例如从解决优化问题(例如，压缩感测算法)来重构。图5B的实施例可以使用类似的计算，但是所有光谱强度是同时测量的。对于其他类型的输入特性，也可以执行类似的校准和重构。
在优选实施例中，图像重构使用压缩感测(也称为压缩采样或稀疏采样)。这可以被认为是通过找出欠定线性系统的解来高效地采集和重构信号的信号处理技术。通过优化，可以利用信号的稀疏性从比Shannon-Nyquist采样定理所要求的样本少得多的样本中恢复信号。恢复的一个条件可以称为“稀疏性”。例如，如果信号在某个域中是稀疏的，则可以实现这一点。另一个条件可被称为“非相干”，其通过对稀疏信号而言足够的等距特性来被应用。
图6A-6C示出了用于在源/信号光纤11、12和多模光纤13之间耦合光的各实施例。
在优选实施例中，用于返回光信号“Ls”的信号光纤12也是多模光纤，与产生散斑图案“Pn”的多模光纤13相比具有相同或不同(例如更低)的直径。在一些实施例中，单模源光纤11和返回信号光纤12形成单个束。这可允许在仅附连单个束的情况下移动成像探针头10a。在一些实施例中，源光纤11和信号光纤12两者都连接到由容纳多模光纤13的刚性外套13m形成的探针头10a。在一些实施例中，信号光纤12直接与样本接触。
在一些实施例中，刚性外套13m可容纳更多的光学部件，例如镜(图6B和6C中所示)和/或透镜(未示出)。例如，可以使用微型微加工的微机电系统(MEMS)。在一些实施例中，例如，如图6A所示，源光纤11的光纤端部可由可容纳在刚性外套13m中的微电机(未示出)移动。在一些实施例中，例如，如图6B所示，成像探针头10a可包括半透明和/或二向色镜，以将具有输入光“Li”的光路与具有光信号“Ls”的光路分开。也可以使用诸如偏振器之类的其他元件。在一些实施例中，源光纤和信号光纤11、12的各端部可以保持静止，同时往复反射镜控制输入光“Li”的输入特性A。当然，可以使用不同的元件组合来设想本文所描述的实施例的许多变型。
图7A和7B示出了其中多模波导“Wm”可被插入空心针的实施例。例如，波导“Wm”可以与针集成或分开。在一个实施例中，成像系统被用于提供针尖处的光的图像，同时针插入样本“S”。这可例如有助于放置皮下注射针。在一些实施例中，多模波导“Wm”可从空心针中移除，以便针可被连接以将流体(例如药物和/或麻醉剂)注入样本中。
在一个实施例中，空心针可基本上形成刚性套13m，从而将其刚性赋予多模波导“Wm”。在另一或进一步实施例中，多模波导“Wm”本身可无需针而是相对刚性的，使得当光纤从针中移除时，校准不受影响。优选地，针和/或波导包括以一定角度α布置的小面，例如在30度到70度之间，优选地是45度。在其他实施例中，角度可以更低或没有角度(α等于零度)。
图8A和8B示出了因变于不同多模光纤长度Zm的相对波长“λ”的、散斑图案的互相关系数。优选地，该组散斑图案包括(尽可能)彼此不相关的伪随机可变空间分布Ixy，例如具有小于0.5、小于0.2或小于0.1的相关性“r”。在这一情形中，对于MM光纤长度“Zm”＝11cm，散斑图案的适当去相关可发生在0.2nm偏移处，对于MM光纤长度“Zm”＝6cm，散斑图案的适当去相关可发生在0.4nm偏移处。所以用于实现不同的散斑图案的波长“λ”的偏移可能相对很小。散斑图案越不相关，重建图像所需的图案就越少。将明白，本公开可在显微内镜领域中提供各种优点，例如压缩多模光纤成像。如本文所述，在多模光纤中生成的散斑图案可表示压缩感测的极好基础。所以，与显微内镜的标准光栅扫描办法所需的测量总次数相比，可以用少得多的总测量次数来启用通过光纤探针进行高分辨率压缩成像。此外，将明白，多模光纤的固有光学切片可有助于克服压缩感测的问题，且可被用于体结构的成像。如本文所述，压缩多模光纤成像不依赖于复杂的波前成形，并且可以显著提高预校准和成像速度，从而为显微内镜创造优势。
内窥镜是用于活体动物中的深部组织的微创光学检查的关键技术。复杂的波前成形(一种在高散射材料中进行光控制的方法)的出现可为显微内镜开辟新的途径。波前成形允许使用标准多模光纤探针作为成像设备。所以，多模光纤可被认为是很有前途的工具，例如用于活体显微内镜。多模光纤成像的空间分辨率可以由光纤探针的数值孔径确定，并且可以比传统的光纤束内窥镜的分辨率好得多。此外，阶跃折射率多模光纤可支持比具有相同直径的光纤束、GRIN透镜或多芯光纤多得多的模式。因此，多模光纤可以以更高的密度来传输信息。
基于多模光纤的成像系统可以利用传统扫描荧光显微镜的思想。利用经由波前成形的预校准过程中产生的焦点对每一图像像素进行顺序扫描，从而重建光纤输出小面上的对象。每一像素的总荧光信号是通过同一光纤被采集并引导回配准系统的。
然而，现有多模光纤显微内镜仍有局限性。首先，成像过程可能需要比标准扫描显微镜花费更多时间，因为通常振镜系统被慢得多的空间调光器(SLM)取代。采样速率可由所需的空间分辨率确定，并且必须遵循奈奎斯特准则。因此，每帧需要N≈2Nmodes个模式测量，其中N是目标图像中的像素总数，且Nmodes是光纤引导模式的总数。其次，预校准步骤可能需要采集大量的相机帧。对于具有单偏振输入状态的无像差成像，SLM上的分段的数目优选不小于Nmodes/2。作为结果，预校准测量的数目通常是N1≥1.5Nmodes，因为每一分段至少需要三个相位步进来进行波前成形。最后，典型的多模光纤显微内镜可依赖于SLM的使用——SLM是传统显微镜中不常见的复杂且昂贵的设备。
本公开的各方面提供了多模光纤显微内镜的新概念：压缩多模光纤成像。这种办法可以以高得多的速度提供高分辨率成像，并且不需要复杂的波前成形装置和昂贵的SLM。在一些实施例中，压缩感测办法可与多模光纤内窥镜相组合，这产生散斑图案的随机基础、收集荧光响应、并且在体样本的情况下通过去除背景来提供光学切片。
压缩感测是一种新成像范例，它与数据采集的一般观点背道而驰。它依赖于如下事实：大多数图像具有数学属性，称为“稀疏性”。这一思想是大多数现代有损编解码器(如JPEG-2000)的基础。压缩成像可能已经在信号采集阶段实现了这种压缩。在压缩中被丢弃的图像数据甚至从未被测量过，从而造成成像过程的显著加速。
图9示出了荧光球的基于多模光纤的成像的示例实验。(a)参考明亮视野相机图像。(b)经由波前成形通过多模光纤进行光栅扫描荧光成像。(c-d)压缩多模光纤成像：(c)减去背景后在三个测量上取平均的原始数据，(d)使用公知的规程检索图像来作为l1最小化问题的解。比例尺是5μm。
在第一组测量中，使用复杂波前成形算法来在光纤输出端上产生紧密聚焦的光斑。优化过程所需的时间受到同时优化不同点所需的相机帧速率的限制。在我们的实验中，我们使用了高速相机，并且整个优化花费2700帧和7.8秒。所产生的焦点的半峰全宽(FWHM)是1.14±0.07μm，并且完美符合光纤探针的衍射极限(1.2μm)。计算并存储了与输出光纤小面上的不同位置处的焦点相对应的相位掩模。
在波前成形规程之后，样本被放置在多模光纤的输出小面上。相机用于记录样本的亮场图像，如图9(a)所示，以供参考。之后，预校准部分不再使用。通过顺序地应用所记录的相位掩模并检测总荧光信号，在内窥镜配置中采集样本图像。作为结果，重建了样本的逐像素图像。该结果呈现在图10(b)中。如图所示，图9(a)中的亮场参考样本图像与图9(b)中通过MM光纤记录的图像之间具有极好的一致性。
在第二组实验中，我们实现了MM光纤成像的压缩感测办法。在这里描述的实施例中，提供了仅用于调幅的数字微镜设备(DMD)。当然，也可以如本文所述使用改变输入的其他方式。在一个实施例中，使用预校准规程，包括针对不同输入图案(例如，光纤输入小面上的不同焦点位置和/或不同输入波长)来记录多模光纤输出小面上的散斑图案。在预校准期间，还可以记录与每一散斑图案相对应的背景信号。将明白，压缩显微内镜的预校准规程不需要额外的计算，并且因此可以比光栅扫描多模光纤显微内镜所需的规程更直接。
预校准后，将样本放置在多模光纤的输出小面上，并且可以移除该装置的校准部分++。通过顺序地应用与校准规程期间相同的相位掩模并检测总荧光信号，在内窥镜配置中采集样本图像。图9(c)中呈现了减去背景后三个测量上取平均的原始数据的示例。误差条代表标准差。信噪比被估计为≈6。归因于泵浦强度在全图像区域的重新分布，与光栅扫描显微内镜相比，噪声主要由接近背景的较低水平的荧光信号来解释。小得多的动态范围也起作用。尽管信号水平低且测量次数少，但图像可以很好地恢复。
在一些实施例中，如这里所使用的，为了检索图像，可以使用诸如E.J.Candes、J.Romberg以及T.Tao[IEEE会议录，信息理论52，489(2006)]所描述的规程。例如，图像检索可以包括计算l1最小化问题的解。例如，可以使用来自Stanford.edu的开放软件算法‘l1magic’。在一些实施例中，为了提高计算速度，可以人为地降低参考散斑图案的分辨率。在实验中，50x 50像素图像的平均计算时间是20秒，而100x 100像素图像的平均计算时间是8分钟。这些计算是在标准办公PC上使用自定义算法完成的。检索到的图像在图9(d)中所示。将明白，标准多模光纤成像和新型压缩显微内镜提供具有衍射受限的分辨率的微米大小球体的图像。截面的半峰全宽FWHM对于标准显微内镜而言是1.3±0.2μm，而对于压缩显微内镜而言是1.4±0.2μm。
归因于若干原因，压缩显微内镜的成像速度显著更快。首先，通过所选择的光纤探针重建高分辨率图像所需的测量较少，例如在该实验中是150。因此，它可以提高成像速度(这里是23倍)并提高预校准速度(这里是18倍)。其次，成像速度不受空间调光器速度的限制。在压缩显微内镜中，例如，可以使用快速振镜系统和/或单模光纤的共振扫描和/或波长变化。它允许进一步提高成像速度到每帧几毫秒。它可被用于许多应用，诸如使用快速电位敏感染料对神经元活动的成像。
在不受理论约束的情况下，将明白，在压缩感测中，可以使用伪随机图案，因为它们通常与在其中自然图像具有稀疏表示的共同数学基础强不相关。为了创建伪随机照明图案，例如，可以利用空间调光器或随机散射样本。在优选实施例中，如本文所述，散斑图案由多模光纤生成。在其他或进一步实施例中，也可使用其他类型的散射介质。
为了分析多模光纤的散斑图案的属性，例如，可以使用下式计算所记录图案的总数的两个随机照明图案之间的相关系数r
其中a和b是多模光纤输出小面上的散斑图像，
和
是它们的均值。
图10(a)示出了在MM光纤中生成的总共225个图案的不同散斑图案“Np”的互相关系数。
通过在输入光纤小面上按方形点阵(15x15)组织的225个点上扫描聚焦的输入光束，来创建总共225个散斑图案。针对所有散斑图案对计算相关性系数，并且结果在图10(a)中呈现。将明白，在多模光纤中生成的两个独立的随机散斑图案之间的相关性接近于0，从而证实了它们的随机性。
图10(b)示出了作为测量次数“Nm”的函数的重建成功“RS”的分析。重建成功被估计为使用225个测量来重建的图像与使用“Nm”个测量来重建的图像之间的互相关系数，作为“Nm”的函数。底部的点代表实验结果，顶部的点代表基于实验测得的MM光纤散斑图案的数值模拟。灰色区域代表重建质量基本得到保持的区域。
这些测量可以说明多模光纤压缩成像所需的测量数量的下限。我们重复了上述压缩显微内镜实验，以5为增量，对范围从40到225的数目的参考散斑图案进行了实验。为了分析MM光纤压缩成像的无噪声极限，还进行了数值实验。我们在光纤输出小面上使用一组实验测得的散斑图案，并通过计算基集与感兴趣对象之间的内积来模拟无噪声信号。然后，我们用l1最小化的相同规程从不完全的实验数据集和数值测量中检索图像。
图10(c)和(d)示出在(c)y和(d)z方向上以5μm的步长扫描样本期间的压缩多模光纤成像。比例尺是5μm。在测量中，我们用MM光纤压缩显微内镜对样本进行成像，其中样本位置相对于光纤输出小面在横向和轴向上变化，步长为5μm，总共20μm。
我们发现，重建图像的质量不取决于在横向扫描期间荧光样本的位置。相反，我们看到，当我们将样本从光纤小面移动远离时，信号水平显著降低。主要原因是所收集的信号强取决于距光纤输出小面的距离。图像质量和信号水平仅在前10μm内得到维持。超过15μm，信号的贡献非常低，如可在图9(d)中看到的。使用具有相对高NA的光纤，可以进一步提高轴向分辨率。我们可以使用由光纤的性质所提供的这种固有的光学切片对体样本进行成像。作为结果，多模光纤办法提供了用于压缩感测的新方法。
总之，我们示出了在多模光纤中自然地生成的散斑表示压缩感测的良好基础。我们在实验上演示了压缩显微内镜，其测量数量远小于多模光纤的模式数量，例如10倍或甚至20倍。此外，我们还证明了多模光纤的固有光学切片可被用来提供轴向分辨率和体结构的截面成像。压缩多模光纤成像提供了显著更高的速度，保持衍射有限的分辨率，并且不需要复杂的波前成形，从而提供了用于显微内镜的独特工具。
在解释所附权利要求时，应当理解，词语“包括”不排除除了在给定权利要求中列出的那些之外的其他元素或行为的存在；元素前面的词“一”或“一个”并不排除存在多个这样的元素；权利要求书中的任何附图标记都不限制其范围；若干“装置”可由相同或不同的项或者所实现的结构或功能来表示；除非另有特别说明，否则所公开的设备或其部分中的任何一者可组合在一起或分离成进一步的部分。当一项权利要求引用另一项权利要求时，这可以表示通过组合它们各自的特征而实现的协同优势。但在相互不同的从属权利要求中记载某些措施的纯粹事实并不指示不能使用这些措施的组合来获益。因此，本实施例可以包括权利要求的所有行得通的组合，其中每一个权利要求原则上可以引用任何先前的权利要求，除非上下文明确排除。
Claims (15)
1.一种成像系统(100)，包括：
多模波导(Wm)，所述多模波导被配置成接收从光源(20)进入到其近侧(13p)的输入光(Li)，并且基于所述输入光(Li)将对应的散斑图案(Pn)从其远侧(13d)输出，以照明要成像的样本(S)；
单模波导(Ws)，被连接到所述多模波导(Wm)以将来自所述光源(20)的输入光(Li)耦合到所述多模波导(Wm)，
其中所述多模波导(Wm)具有相对短的长度(Zm)和相对高的抗弯刚度(R)，以维持进入所述多模波导(Wm)的输入光(Li)的输入特性(λ,A)与所述散斑图案(Pn)的空间分布(Ixy)之间的独特关系；
其中所述单模波导(Ws)具有相对长的长度(Zs)且与所述多模波导(Wm)相比相对柔软(F)，以允许短的刚性多模波导(Wm)相对于所述光源(20)移动，而不影响进入所述多模波导(Wm)的输入光(Li)的输入特性(λn,An)。
2.根据权利要求1所述的系统，其特征在于，包括控制器(40)，被配置成：
访问校准数据(Cn)，所述校准数据将进入所述多模波导(Wm)的输入光(Li)的预定的一组相应输入特性(λn,An)与离开所述多模波导(Wm)的散斑图案(Pn)的对应的一组相应空间分布(Ixy)进行相关；
接收来自由根据该组预定的空间分布(Ixy)的不同散斑图案(Pn)照明的样本(S)的光信号(Ls)的一组空间上未分辨的强度测量(Mn)；以及
基于强度测量(Mn)和校准数据(Cn)来计算所述样本(S)的空间分辨图像(Sxy)。
3.根据权利要求2所述的系统，其特征在于，所述预定的一组输入特性(λn,An)包括所述输入光(Li)的一组不同波长(λ)。
4.根据权利要求3所述的系统，其特征在于，所述系统包括宽带光源(20)，被配置成生成跨一个不同波长(λ)的范围的输入光(Li)。
5.根据权利要求4所述的系统，其特征在于，包括光检测器(30)，具有用于作为波长(λ)的函数来测量光信号(Ls)的强度的光谱分辨元件(32)和用于同时测量光信号(Ls)的光谱强度的多个传感器元件的光传感器(34)。
6.根据权利要求5所述的系统，其特征在于，所述控制器(40)被配置成基于所述宽带光源(20)的一个或多个发射以及所述光信号(Ls)的光谱强度的对应测量来计算所述空间分辨图像(Sxy)。
7.根据前述权利要求中的任一项所述的系统，其特征在于，包括多包层光纤(DCF)，其至少由纤芯(1)、第一光纤包层(2)和第二光纤包层(3)形成，所述第一光纤包层(2)包围所述纤芯(1)，所述第二光纤包层(3)包围所述第一光纤包层(2)，其中所述纤芯(1)形成用于所述输入光(Li)的单模波导(Ws)，并且所述第一光纤包层(2)形成用于测得的光信号(Ls)的返回路径，其中所述纤芯(1)和所述第一光纤包层(2)两者连接以将所述输入光(Li)耦合进入所述多模光纤(13)中并将所述信号光(Ls)耦合出所述多模光纤(13)。
8.根据前述权利要求中的任一项所述的系统，其特征在于，所述多模波导(Wm)具有比所述单模波导(Ws)的抗弯刚度至少高10倍的抗弯刚度，并且所述多模波导(Wm)具有小于10厘米的相对短的长度(Zm)，而所述单模波导(Ws)具有比所述多模波导(Wm)至少长10倍的相对长的长度(Zs)。
9.根据前述权利要求中的任一项所述的系统，其特征在于，所述多模波导(Wm)由被刚性外套(13m)护持的多模光纤(13)形成。
10.根据前述权利要求中的任一项所述的系统，其特征在于，所述多模波导(Wm)被布置在中空硬膜外针中。
11.根据前述权利要求中的任一项所述的系统，其特征在于，形成所述单模波导(Ws)的单模光纤(11)的输出被熔合到由所述多模光纤(13)形成的多模波导(Wm)的近端(13p)。
12.根据前述权利要求中的任一项所述的系统，其特征在于，所述单模波导(Ws)的端部的位置相对于所述多模波导(Wm)的近端侧(13p)而改变，以提供一组不同的输入特性(An)。
13.一种方法，包括
接收校准数据(Cn)，所述校准数据将进入多模波导(Wm)的输入光(Li)的预定的一组波长(λ)与离开所述多模波导(Wm)的散斑图案(Pn)的对应的一组相应空间分布(Ixy)进行相关；
接收来自由根据该组预定的空间分布(Ixy)的不同散斑图案(Pn)照明的样本(S)的光信号(Ls)的一组空间分辨强度测量(Mn)；以及
基于所述强度测量(Mn)和校准数据(Cn)来计算所述样本(S)的空间分辨图像(Sxy)。
14.一种非瞬态计算机可读介质，在其上存储有当由计算机执行时使得所述计算机执行权利要求13的方法的程序指令。
15.根据权利要求14所述的介质，其特征在于，用于计算空间分辨图像(Sxy)的程序指令包括压缩感测(CS)算法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| NL2021837 | 2018-10-19 | ||
| NL2021837A NL2021837B1 (en) | 2018-10-19 | 2018-10-19 | Multimode waveguide imaging |
| PCT/NL2019/050686 WO2020080944A1 (en) | 2018-10-19 | 2019-10-18 | Multimode waveguide imaging |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113227718A true CN113227718A (zh) | 2021-08-06 |
Family
ID=64184151
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980082784.8A Pending CN113227718A (zh) | 2018-10-19 | 2019-10-18 | 多模波导成像 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20220345600A1 (zh) |
| EP (1) | EP3867604A1 (zh) |
| JP (1) | JP2022512037A (zh) |
| KR (1) | KR20210093245A (zh) |
| CN (1) | CN113227718A (zh) |
| NL (1) | NL2021837B1 (zh) |
| WO (1) | WO2020080944A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114024810A (zh) * | 2021-11-03 | 2022-02-08 | 南京信息工程大学 | 一种多芯光纤信道调制格式识别方法及其装置 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210018745A1 (en) * | 2018-03-20 | 2021-01-21 | Nec Corporation | Imaging apparatus and imaging method |
| EP4286806A1 (en) * | 2022-06-01 | 2023-12-06 | Imec VZW | A device and a method for polarization dependent imaging |
| DE102023109883A1 (de) | 2023-04-19 | 2024-04-11 | Carl Zeiss Meditec Ag | Holographisch-endoskopische bildgebung und minimalinvasive medizinische operationen |
| CN117017168B (zh) * | 2023-10-09 | 2024-02-27 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种多模光纤的弯曲内窥成像方法及相关设备 |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5440388A (en) * | 1993-08-02 | 1995-08-08 | Erickson; Jon W. | Chemical analysis and imaging by discrete fourier transform spectroscopy |
| US20030002769A1 (en) * | 2001-06-29 | 2003-01-02 | Lovely Peter Scoot | Quenching laser noise in a multimode fiber sensor system |
| EP1351541A3 (en) * | 2002-04-01 | 2007-09-26 | Pegasusnet Co., Ltd. | Optical cross-connect device |
| ITMI20030541A1 (it) * | 2003-03-20 | 2004-09-21 | Ist Naz Stud Cura Dei Tumori | Apparecchio per la caratterizzazione di lesioni pigmentale della cute |
| EP1515270A1 (en) * | 2003-09-09 | 2005-03-16 | Semeion | An artificial neural network |
| WO2007030741A2 (en) * | 2005-09-09 | 2007-03-15 | Trustees Of Boston University | Imaging system using dynamic speckle illumination |
| US20070213618A1 (en) * | 2006-01-17 | 2007-09-13 | University Of Washington | Scanning fiber-optic nonlinear optical imaging and spectroscopy endoscope |
| US20120197133A1 (en) * | 2011-01-28 | 2012-08-02 | Nellcor Puritan Bennett Llc | Advanced Ultrasound Modulated Optical Spectroscopy And Its Application To Patient Monitoring |
| JP5703907B2 (ja) * | 2011-03-31 | 2015-04-22 | ソニー株式会社 | 非線形ラマン分光装置、非線形ラマン分光システム及び非線形ラマン分光方法 |
| WO2013144898A2 (en) | 2012-03-29 | 2013-10-03 | Ecole Polytechnique Federale De Lausanne (Epfl) | Methods and apparatus for imaging with multimode optical fibers |
| US20140235948A1 (en) * | 2013-02-19 | 2014-08-21 | The Board Of Trustees Of The Leland Stanford Junior University | Method for single-fiber microscopy using intensity-pattern sampling and optimization-based reconstruction |
| EP3581983B1 (en) * | 2014-01-22 | 2021-09-01 | The Regents of the University of Colorado, a body corporate | Optical imaging devices and variable-focus lens elements, and methods for using them |
| WO2015153982A1 (en) * | 2014-04-04 | 2015-10-08 | The General Hospital Corporation | Apparatus and method for controlling propagation and/or transmission of electromagnetic radiation in flexible waveguide(s) |
| JP6463903B2 (ja) * | 2014-05-14 | 2019-02-06 | オリンパス株式会社 | 内視鏡システム |
| KR101794986B1 (ko) * | 2015-05-12 | 2017-11-08 | 주식회사 케이티 | 멀티모드 광선로를 이용한 수동형 광가입자망 시스템 |
| US10584954B2 (en) * | 2015-09-16 | 2020-03-10 | The General Hospital Corporation | Apparatus and methods for mirror tunnel imaging device and for providing pseudobessel beams in a miniaturized optical system for imaging |
| EP3589366A1 (en) * | 2017-02-28 | 2020-01-08 | Sun Nuclear Corporation | Radiation therapy treatment verification with electronic portal imaging device transit images |
| CA3056278A1 (en) * | 2017-04-06 | 2018-10-11 | Konstantin Roggatz | Augmented reality (ar) spectacles and method for mixing virtual images into an image that is visible to a wearer of the spectacles through at least one spectacle glass |
| US11061185B2 (en) * | 2017-07-17 | 2021-07-13 | Z Square Ltd. | Enhancing imaging by multicore fiber endoscopes |
| WO2019046003A1 (en) * | 2017-08-30 | 2019-03-07 | Verily Life Sciences Llc | GRANULARITY CONTRAST ANALYSIS USING AUTOMATIC LEARNING TO VISUALIZE A FLOW |
| US10824847B2 (en) * | 2017-12-15 | 2020-11-03 | Verily Life Sciences Llc | Generating virtually stained images of unstained samples |
| US10401883B2 (en) * | 2018-01-11 | 2019-09-03 | Eric Swanson | Optical probe using multimode optical waveguide and proximal processing |
-
2018
- 2018-10-19 NL NL2021837A patent/NL2021837B1/en active
-
2019
- 2019-10-18 EP EP19828884.7A patent/EP3867604A1/en active Pending
- 2019-10-18 WO PCT/NL2019/050686 patent/WO2020080944A1/en unknown
- 2019-10-18 CN CN201980082784.8A patent/CN113227718A/zh active Pending
- 2019-10-18 JP JP2021547031A patent/JP2022512037A/ja active Pending
- 2019-10-18 US US17/232,760 patent/US20220345600A1/en active Pending
- 2019-10-18 KR KR1020217013933A patent/KR20210093245A/ko active Search and Examination
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114024810A (zh) * | 2021-11-03 | 2022-02-08 | 南京信息工程大学 | 一种多芯光纤信道调制格式识别方法及其装置 |
| CN114024810B (zh) * | 2021-11-03 | 2023-05-23 | 南京信息工程大学 | 一种多芯光纤信道调制格式识别方法及其装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| NL2021837B1 (en) | 2020-05-13 |
| US20220345600A1 (en) | 2022-10-27 |
| EP3867604A1 (en) | 2021-08-25 |
| WO2020080944A1 (en) | 2020-04-23 |
| JP2022512037A (ja) | 2022-02-01 |
| KR20210093245A (ko) | 2021-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113227718A (zh) | 多模波导成像 | |
| JP6770109B2 (ja) | 全方向視覚装置 | |
| KR102588057B1 (ko) | 광학 시스템 및 방법 | |
| CN111742211A (zh) | 使用多模光学波导和近侧处理的光学探头 | |
| CN107069391B (zh) | 飞秒脉冲激光调制器及具有其的微型双光子显微成像装置 | |
| Boudoux et al. | Rapid wavelength-swept spectrally encoded confocal microscopy | |
| US20210341670A1 (en) | Enhancing imaging by multicore fiber endoscopes | |
| Vyas et al. | Fiber bundle shifting endomicroscopy for high-resolution imaging | |
| US11321837B2 (en) | Fiber imaging apparatus, methods, and applications | |
| US11428924B2 (en) | Devices and methods for conveying and controlling light beams for lensless endo-microscopic imagery | |
| Zhao et al. | Deep-learning cell imaging through Anderson localizing optical fiber | |
| US20190209015A1 (en) | Multi-field miniaturized micro-endoscope | |
| Yelin et al. | Spectral-domain spectrally-encoded endoscopy | |
| JP2020096834A (ja) | 強化されたマルチコアファイバ内視鏡 | |
| Bortoletto et al. | Multiphoton fluorescence microscopy with GRIN objective aberration correction by low order adaptive optics | |
| Oh et al. | Review of endomicroscopic imaging with coherent manipulation of light through an ultrathin probe | |
| Lyu et al. | Sub-diffraction computational imaging via a flexible multicore-multimode fiber | |
| CN109901283A (zh) | 一种单模单光纤无扫描内窥成像系统及方法 | |
| KR102404070B1 (ko) | 광섬유 번들을 이용하는 반사 내시현미경 및 이를 이용한 이미지 획득 방법 | |
| Singh | Robust, Fast and High Resolution Multimode Fiber Endoscopes | |
| Amitonova et al. | Compressive endo-microscopy | |
| Pellegrini et al. | Imaging with a Rigid Multimode Fiber Bundle | |
| El Moussawi | Specialty optical fiber for ultra-miniaturized biomedical endoscopes | |
| Zhao | Imaging through Glass-air Anderson Localizing Optical Fiber | |
| Xie et al. | Spectrally Encoded Nonscanning Imaging through a Fiber |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |