CN113574438B - 通过散射介质成像的系统及方法 - Google Patents

通过散射介质成像的系统及方法 Download PDF

Info

Publication number
CN113574438B
CN113574438B CN202080021378.3A CN202080021378A CN113574438B CN 113574438 B CN113574438 B CN 113574438B CN 202080021378 A CN202080021378 A CN 202080021378A CN 113574438 B CN113574438 B CN 113574438B
Authority
CN
China
Prior art keywords
light
sample
wavefront
pattern
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080021378.3A
Other languages
English (en)
Other versions
CN113574438A (zh
Inventor
泽埃夫·扎列夫斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bar Ilan University
Original Assignee
Bar Ilan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bar Ilan University filed Critical Bar Ilan University
Publication of CN113574438A publication Critical patent/CN113574438A/zh
Application granted granted Critical
Publication of CN113574438B publication Critical patent/CN113574438B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47Scattering, i.e. diffuse reflection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47Scattering, i.e. diffuse reflection
    • G01N21/4795Scattering, i.e. diffuse reflection spatially resolved investigating of object in scattering medium
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0056Optical details of the image generation based on optical coherence, e.g. phase-contrast arrangements, interference arrangements
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294Addressing the hologram to an active spatial light modulator
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/0083Adaptation of holography to specific applications for restoring distorted objects, e.g. restoring objects through scattering media
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2222/00Light sources or light beam properties
    • G03H2222/36Scanning light beam

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

揭示了一种用于通过散射介质成像的系统。所述系统包括:一成像单元以及一控制系统。所述成像单元包括(a)一光源单元,包括:至少一光源,提供具有选定的波长范围的相干照明;以及一空间光调制器,配置为选择性地改变通过所述至少一光源产生的光的波前的空间图案;(b)一收集单元,包括至少一检测器阵列,并且位于所述光源单元的旁边,用于收集从通过所述光源单元照射的一样本反射的光。所述控制系统包括至少一处理单元,并且连接到所述光源单元以及所述收集单元,所述控制系统配置为根据通过所述收集单元的所述至少一检测器阵列收集的光的空间图案来选择性地改变通过所述至少一光源产生的光的波前的空间图案,以满足表示所述波前的空间图案与收集的光的空间图案之间的关系的一反射条件。

Description

通过散射介质成像的系统及方法
技术领域
本发明属于成像技术领域,并且涉及一种用于对一散射介质的内部或后面的一感兴趣区域进行成像的成像方法及系统。
背景技术
下面列出了被认为与本公开主题的背景相关的参考文献:
1、光学相干断层扫描;科学(D.Huang,E.A Swanson,C.P.Lin,J.S.Schuman,W.G.Stinson,W.Chang,J.G.Fujimoto,“Optical coherence tomography,”Science,254(5035),1178-1181(1991).);
2、散射光学成像的最新进展;医学和生物学中的物理学(A.P.Gibson,J.C.Hebden,and S.R.Arridge,“Recent advances in diffuse optical imaging,”Physics in Medicine and Biology 50(4)(2005).);
3、通过散斑相关的散射层和拐角处的非侵入性单次激发成像;自然光电(O.Katz,P.Heidmann,M.Fink,and S.Gigan,“Non-invasive single-shot imaging throughscattering layers and around corners via speckle correlations,”Nat.Photonics8,784(2014));
4、使用傅立叶域淋浴幕效应通过动态混浊介质进行光学成像;激光与电光研讨(E.Edrei and G.Scarcelli,“Optical imaging through dynamic turbid media usingthe Fourier-domain shower-curtain effect,”Conference on Lasers and Electro-Optics(2016));
5、通过基于物体调制散斑的混浊介质的无透镜宽场单次成像;应用光学(P.Wu,Z.Liang,X.Zhao,L.Su,L.Song,“Lensless wide-field single-shot imaging throughturbid media based on object-modulated speckles,”Applied Optics 56(12),3335(2017));
6、相位回复及其在光学成像中的应用:当代综述;IEEE信号处理杂志(Y.Shechtman,Y.C.Eldar,O.Cohen,H.N.Chapman,J.Miao,M.Segev,“Phase Retrievalwith Application to Optical Imaging:A contemporary overview,”IEEE SignalProcessing Magazine 32(3),87–109(2015));
7、使用热光源成像(摘要);美国物理联合会会议录(L.A.Wu,B.K.Hartline,R.K.Horton,C.M.Kaicher,“Lensless‘Ghost’Imaging with Thermal Light Sources(abstract),”AIP Conference Proceedings(2009));
8、无湍流鬼成像的物理学;技术(Y.Shih,“The Physics of Turbulence-FreeGhost Imaging,”Technologies 4(4),39(2016));
9、鬼成像本质上是否更强大地对抗散射;光学快讯(Y.K.Xu,W.T.Liu,E.F.Zhang,Q.Li,H.Y.Dai,P.X.Chen,“Is ghost imaging intrinsically more powerful againstscattering?,”Optics Express 23(26),32993(2015));
10、具有超低辐射的桌上型X射线鬼影成像;光学设计(A.-X.Zhang,Y.-H.He,L.-A.Wu,L.-M Chen,B.-B.Wang,“Tabletop x-ray ghost imaging with ultra-lowradiation,”Optica 5(4),374(2018));
11、通过不透明的强散射介质聚焦相干光;光学快报(I.M.Vellekoop,A.P.Mosk,“Focusing coherent light through opaque strongly scattering media,”OpticsLetters 32(16),2309(2007));
12、测量光学中的传输矩阵:研究和控制无序介质中光传播的方法;物理评论快(S.M.Popoff,G.Lerosey,R.Carminati,M.Fink,A.C.Boccara,S.Gigan,“Measuring theTransmission Matrix in Optics:An Approach to the Study and Control of LightPropagation in Disordered Media,”Physical Review Letters 104(10)(2010));
13、控制空间和时间中的波以在复杂介质中成像和聚焦;自然-光子学(A.P.Mosk,A.Lagendijk,G.Lerosey,M.Fink,“Controlling waves in space and time for imagingand focusing in complex media,”Nature Photonics 6(5),283–292(2012));
14、利用无序实现完美对焦;自然-光子学(I.M.Vellekoop,A.Lagendijk,A.P.Mosk,“Exploiting disorder for perfect focusing,”Nature Photonics 4(5),320–322(2010));
15、通过与已知物体相关的薄混浊层恢复图像;光学快讯(H.He,Y.Guan,J.Zhou,“Image restoration through thin turbid layers by correlation with a knownobject,”Optics Express 21(10),12539(2013));以及
16、粒子群优化;ICNN95会议记录-神经网络国际会议(J.Kennedy,R.Eberhart,“Particle swarm optimization,”Proceedings of ICNN95-International Conferenceon Neural Networks)。
本文中对上述参考文献的承认不应被推断为意味着这些参考文献在任何方面与本公开主题的可专利性相关。
通过散射介质(scattering media)成像具有潜在的广泛应用,尤其是在通过生物组织成像方面。当光通过散射介质时的随机散射使得难以对其后面的物体成像,并且这种散射介质通常看起来是不透明的。已经提出了几种通过散射介质成像的方法,包括光学相干断层扫描(Optical Coherence Tomography,OCT)、扩散断层扫描、X射线及超声以及其他几种技术。
散斑的光学记忆效应被用作逆散射问题(inverse scattering problem)中相位回复(phase retrieval)的工具。然而,相位回复算法通常对噪声敏感,导致在被成像物体的重建中出现大量错误。鬼成像(Ghost imaging)也可用作回复未知物体信息的工具。然而,此技术需要使用参考光束(reference beam),这使得它对各种应用受到限制。
最近开发的技术利用光通过随机介质散射的的确定性,来将光聚焦通过它。波前整形成为通过散射介质聚焦光的有效工具之一。
发明内容
本领域需要一种用于在散射介质内部及后面进行高分辨率成像的新方法。这种技术可以提供通过生物散射介质的成像,同时避免需要直接接近散射介质或介质另一侧。此外,本技术允许在不需要事先知道介质的散射特性的情况下进行成像。
如上所述,已知波前整形是通过散射介质来聚焦光的有效工具之一。一些已知技术执行引导至散射介质的光的波前成形,并且通过一照相机单元在介质的另一侧收集光分量。使用由空间光调制器(spatial light modulator,SLM)调制的光相位来执行波前整形,其中使用来自照相机的反馈来调制相位图案,以在散射介质的后面提供聚焦光斑(focusing spot)。通过优化改变波前,直到在照相机上获得聚焦光斑。其他技术利用散射介质的传输矩阵的测量值,并使用测量的矩阵使用SLM来将反相位(inverse phase)引入波前,以获得散射介质后面的聚焦光斑。此类技术需要初始校准才能找到完整的传输矩阵。
因此,这些已知技术需要散射介质的先验知识或需要接近其背面。这些限制使得已知技术不是最佳的,并且不适用于涉及生物组织的后面的光的非侵入性聚焦的问题。
本发明提供了一种新颖的成像技术,它在一种光学方案中利用照明波前整形,其中照明以及检测都在散射介质的同一侧,而正在成像的感兴趣区域位于散射介质的内部或后面的某处。通常,本技术基于发明人的理解,即介质的散射特性通常是相似的。因此,本技术利用波前图案的选择,当被引导到散射介质中时,在介质中的特定深度处产生聚焦光斑。从聚焦光斑反射的一些光分量沿照明的方向返回,并通过基本上相似的介质的散射特性。此外,本发明有利地提供了不需要捕获及处理大量图像的感兴趣区域的成像。
更具体地,本发明基于发明人的理解,光在散射介质中的传播可以由输入波前的第一散射算子操作来表示,其中光在通过相同介质之后返回,并且返回的光可以因此由一第二散射来算子来表示,与第一次散射算子具有一定的对应关系(例如:所述第一散射算子的反向(inverse))。因此,通过对输入波前进行编码,向由散射介质制成的样本传输,可以通过测量从样本返回(反射)的光的图案,并且改变输入波前的编码以满足与输入波前的空间图案与从样本返回(反射)的光的空间图案之间的关系相关联的条件,来识别在样本中特定深度的聚焦光斑。通常,这种反射条件可以与输入光的空间强度图案以及从样本反射的收集的光的相似性相关联,相似程度达到一定损耗量以及变化阈值。通常,满足此条件的输入波前,会在样本的一定深度处产生聚焦光斑。因此,本技术能够通过散射介质(或在散射介质中)对物体进行成像,同时避免需要到达介质的另一侧。
此外,由于样本的散射特性在整个样本上可能相对相似,因此将不同位置处的类似编码输入波前引导到样本上通常在特定深度提供基本上相似的聚焦,并且位置根据输入位置移动。因此,在识别定向到样本上的一个或多个位置的合适的波前编码之后,本技术能够扫描样本,以获得样本内特定深度的图像数据。通常,图像数据可以根据输入强度波前以及收集的输出强度之间的纯量(scalar)关系来确定,表示聚焦光斑处的反射。因此,本技术利用样本的扫描以在散射介质后面的特定深度处提供成像。本技术利用优化过程来确定合适的输入波前编码,并且能够扫描样本,而无需重复优化波前编码。这通常适用于某些限制范围和介质特性,并且基于散射介质在其宏观特性上通常是均匀的假设。
因此,根据一个广泛的方面,本发明提供了一种用于通过散射介质成像的系统,所述系统包含:
一成像单元,包括:
一光源单元,包括:至少一光源,提供具有选定的波长范围的相干照明;以及一空间光调制器,配置为选择性地改变通过所述至少一光源产生的光的波前的空间图案;
一收集单元,包括至少一检测器阵列,并且位于所述光源单元的旁边,用于收集从通过所述光源单元照射的一样本反射的光;以及
一控制系统,包括至少一处理单元,并且连接到所述光源单元以及所述收集单元,所述控制系统配置为根据通过所述收集单元的所述至少一检测器阵列收集的光的空间图案来选择性地改变通过所述至少一光源产生的光的波前的空间图案,以满足表示所述波前的空间图案与收集的光的空间图案之间的关系的一反射条件。
根据一些实施例,所述反射条件可以是收集的光的强度图案在空间上与由所述至少一光源产生的光的波前的空间强度图案相类似,直至恒定损耗以及预定的阈值变化。
根据一些实施例,所述反射条件可以对应于Iin(x)≈kIout(x),其中Iin(x)为通过产生的光的波前的所述空间图案所形成的强度图案,Iout(x)为收集的强度图案,并且k是一测量值,表示来自所述样本中的特定深度的一焦点区域的损耗及反射。
根据一些实施例,所述成像单元可以位于一移动平台上,所述控制系统连接至所述平台,用于选择性地改变所述成像单元相对于所述样本的横向位置。
根据一些实施例,所述控制系统可以配置为改变所述成像单元相对于所述样本的横向位置,并且在一选定数量的不同位置验证所述反射条件。
根据一些实施例,所述控制单元可以配置为选择性地改变所述成像单元相对于所述样本的横向位置,从而扫描所述样本的一选定的区域,收集的光的图案的总强度的变化表示来自所述样本中的特定深度的一聚焦光斑的反射,所述扫描从而提供表示到所述样本中的所述特定深度的图像数据。
根据一些实施例,所述处理单元可以包括一散射矩阵模块,所述散射矩阵模块配置为使用适合于满足所述反射条件的光的波前的空间图案的数据来确定所述样本的一估计散射矩阵。
根据一些实施例,所述处理单元还可以包括图案确定模块,所述图案确定模块配置为接收所述估计散射矩阵上的数据,并使用所述估计散射矩阵来确定适于在选定的多个深度处的所述散射介质内产生焦点区域的一个或多个波前图案。
根据一些实施例,本发明提供了一种通过散射介质成像的方法,所述方法包含:将具有选定的波长范围以及选定的空间图案的相干照明波前定向到一样本上;收集从所述样本返回的光,并确定收集的光的空间图案;确定所述相干照明波前的所述选定的空间图案与收集的光的空间图案之间的一关系;改变相干照明波前的空间图案,直到所述关系处于预定的反射条件内。
根据一些实施例,所述预定反射条件被选择为满足以下的一条件:收集的光的空间图案在空间上与所述相干照明波前的空间图案相类似,直至恒定损耗以及预定的阈值变化。
根据一些实施例,所述预定的反射条件对应于Iin(x)≈kIout(x),其中Iin(x)为通过产生的光的波前的所述空间图案所形成的强度图案,Iout(x)为收集的空间强度图案,并且k是一测量值,表示来自所述样本中的特定深度的一焦点区域的损耗及反射。
根据一些实施例,所述方法还可以包含改变照明相对于所述样本的相对横向位置。
根据一些实施例,所述方法还可以包含在所述样本上的一选定的数量的不同的横向位置上确定所述反射条件。
根据一些实施例,所述方法还可以包含:扫描所述样本的一选定的区域;针对所述样本上的每个测量位置,确定相对于所述相干照明波前的总强度的收集的光的图案的总强度的变化,并且确定来自所述样本中的特定深度的一聚焦光斑的反射水平的数据;以及根据所述扫描产生表示到所述样本中的所述特定深度的图像数据。
附图说明
为了更好地理解本文公开的主题并举例说明它可以如何在实践中执行,现在将参考附图仅通过非限制性示例的方式来描述实施例,其中:
图1示意性地示出了一种根据本发明的一些实施例的系统;
图2示出了举例说明根据本发明的一些实施例通过优化选择输入波前图案的流程图;
图3A及图3B示出了根据本发明的一些实施例的技术的模拟中的1D概念;
图4示出了根据用于模拟本技术的迭代次数绘制的价值函数值;
图5A至图5D示出了根据本发明的一些实施例的优化前(图5A)、优化后(图5B)、优化前目标平面上的强度(图5C)以及优化后目标平面上的强度(图5D)(其显示出清晰的焦点以及减少的散射)的Iout测量值的模拟结果;
图6A及图6B分别为图5C及图5D的强度分布图;
图7说明了用于验证本技术的实验系统配置;
图8A及图8B示出了在两次(图8A)或一次(图8B)通过散射样本后所捕获的收集的图像;
图9示出了根据本技术用于优化输入波前的输入与输出强度图案之间的相关性;以及
图10A至图10E示出了根据本技术的一些实施例的优化前(图10A)及优化后(图10B)的优化结果,包括通过散射样本后获得的聚焦区域(图10C),以及优化之前(图10D)及优化之后(图10E)的强度曲线的一维图。
具体实施方式
如上所述,本技术提供了能够通过散射介质或在散射介质后面成像的成像系统。图1示出了一种根据本发明的一些实施例的成像系统10。所述成像系统10被配置并且可操作用于对位于一散射介质16后面(或内部某处)的感兴趣区域(region of interest,ROI)ROI进行成像。通常,如下文更详细地描述的,系统10可以被配置通过逐点扫描感兴趣区域来对感兴趣区域ROI进行成像,并根据扫描输出重建完整的图像。系统10包括一光源系统12,所述光源系统包括一光源(例如:激光光源)122、空间光调制器124(例如:空间相位调制器SLM、或数字微镜调制器DMD等)及一收集单元14,例如照相机单元。所述光源系统12被配置为产生具有预定波长范围以及选定空间图案的光,并指向所述散射介质16上的一区域。通常,所述光源系统12以及所述收集单元14定义一成像单元150,所述成像单元150可以安装在能够沿着一个或多个轴155选择性地移动的一移动平台上,用于扫描所述散射介质16的一区域。
所述成像单元150可连接到一控制单元500,所述控制单元500被配置为操作所述光源系统12、所述收集单元14、以及所述移动平台155,用于选择在所述散射介质16的特定深度处产生一聚焦光斑(focus spot)的空间图案,以及收集从所述散射介质16返回的光。所述控制单元利用关于从所述散射介质的一个或多个区域收集的光的数据,来确定所述散射介质16内特定深度处的一感兴趣区域ROI的图像。所述控制单元500包括至少一个处理单元(processor)及存储器单元,并且还包括一用户界面模块及通信模块(输入/输出模块),这里不具体示出。所述存储器单元通常携带用于操作成像单元以获得指示所述散射介质16内一深度处的感兴趣区域的图像数据的指令。所述控制单元500通常被配置为执行一个或多个动作,包括:选择合适的照明图案,以获得图像数据;确定散射操作;以及利用散射运算子(scattering operator)来确定一个或多个选定深度的附加照明图案;以及操作所述平台155以及所述成像单元150来获得感兴趣区域ROI的图像数据。在一些配置中,如下文进一步描述的,所述控制单元500还可使用由所述收集单元收集的数据来确定重建图像数据。
控制单元通常被配置为选择允许获得关于感兴趣区域ROI的数据的合适的照明编码。为此,所述控制单元通过控制所述空间光调制器124来利用一种或多种优化技术,以选择性地改变由所述光源122产生的光的波前的空间图案。为此,所述控制单元操作以选择照明编码图案,将具有所选空间图案的光引导到所述散射介质上,并且响应于来自所述收集单元的数据。所述收集单元收集从所述散射介质16返回的光,并将收集的光的图案传输到所述控制单元500。因此,所述控制单元被配置为改变照明的空间编码图案,以满足与照明编码与收集的光的图案之间的关系相关的一预定反射条件。通常,在一些实施例中,所述反射条件是指收集的光的强度图案在空间上与由所述至少一光源产生的光的波前的空间强度图案相类似,直至恒定损耗以及预定的阈值变化。例如,反射条件可以是Iin(x)≈kIout(x)的形式,其中Iin(x)为照明的空间编码形成的强度图案,Iout(x)为收集的强度图案,以及k是一测量值,表示来自样本中的特定深度的一焦点区域的损耗及反射。
在这一点上,所述控制单元通常可以配置为一计算机系统,包括输入及输出连接、存储器实用程序以及一个或多个未具体示出的处理器。所述一个或多个处理器被配置为基于计算机可读代码进行操作,所述计算机可读代码包括由一个或多个模块表示的操作指令,所述一个或多个模块包括扫描控制器510、编码控制器522、输入控制器514、波前优化器520、散射矩阵模块530以及图像扫描聚合器540。一旦选择了一初始编码,所述编码控制器522就生成编码数据,并将其传输到所述空间光调制器124,用于编码指向所述散射介质16的输入波前Ein(x)。由所述收集单元14收集的光的图案数据在输入控制器514处被发送及接收,用于确定关于收集的光的图案Iout(x)的数据。所述波前优化器520接收编码图案Ein(x)的数据,以确定输入强度图案Iin(x)的数据,以及收集的光的图案Iout(x)的数据,并利用一种或多种优化技术来选择合适的编码,所述编码产生满足期望的反射条件的Iin(x)与Iout(x)之间的关系,通常以Iin(x)≈kIout(x)的形式。需要说明的是,编码图案Ein(x)与输入强度图案Iin(x)的关系可由Iin(x)=|Ein(x)|2来确定。
当达到输入光的空间图案与收集光的空间图案之间的关系的条件时,假设输入光的至少一部分在所述散射介质16内的特定深度处产生一焦点区域,并且从所述焦点区域的材料反射的光在返回到所述收集单元14的途中通过基本上相似的散射特性。为了验证此假设,所述扫描控制器510通常可以改变所述成像单元150的位置,以在偏移位置照明散射材料。根据下文进一步描述的散射模型,反射条件保持在所述散射介质16上的位置偏移之间。更具体地,如果波前编码没有产生位于所述散射介质16的深度内的焦点区域,位置的任何变化都会导致收集到的光的图案发生变化。这是因为,如果波前编码确实在材料内提供了焦点区域,则散射介质的散射特性的各向同性(isotropy)会导致所收集的光的图案基本上相似。
选择一合适的波前编码后,所述扫描控制器510可以操作所述移动平台155,以改变照明位置,从而扫描所述散射介质16的一区域。对于每个位置,收集的光的图案与输入波前的强度图案相比,以确定反射参数k。所述反射参数表示由于散射造成的损耗,但也表示位于焦点区域的材料的反射率。所述图像扫描聚合器540收集每个位置的反射参数k的数据,用于构建指示所述散射介质16中深度内的区域的图像数据。
在一些实施例中,所述散射矩阵模块530可以利用合适的波前编码图案Ein(x)的数据,来确定一估计的散射矩阵算子A,从而提供期望的焦点区域。更具体地,所述散射矩阵算子A是根据以下要求确定的:A·Ein(x)提供了一个基向量,表示仅到达焦点区域的照明,直至散射导致的能量损耗。在一些配置中,所述散射矩阵算子可用于确定适合于在选定深度生成焦点区域的波前编码图案,通常不同于通过优化确定的波前编码图案的特定深度。为此,所述控制单元的所述处理单元还可以包括一图案确定模块535,被配置为接收估计散射矩阵A的数据,并且使用所述估计散射矩阵来确定适合于在选定深度的散射介质内产生焦点区域的一个或多个波前图案。此外,所述图案确定模块535还可用于通过生成使用一共同的照明的波前图案形成的附加焦点区域,来确定能够扫描散射矩阵的多个波前图案。
如上所述,本发明利用照明,并且检测在介质的同一侧。这意味着入射光两次通过相同的介质,这构成了下面描述的建模的基础。此外,波前编码由一空间光调制器提供,例如数字微镜器件(Digital Micromirror Device,DMD)或任何其他光调制器系统。术语SLM的DMD在下文中可互换使用,并且应广义地理解为涉及任何类型的空间光调制单元。通常,在一些实施例中,本技术可以尝试估计散射函数,并且使用散射介质的一逆散射函数选择性地编码照明激光光源(具有DMD)的波前,使得在通过其散射函数之后,获得一聚焦光束。此波前是在两次通过相同的散射介质(在前路及后路)后获得的。为了估计在通过上述散射后会被聚焦的编码逆波前,我们使用以下建模:假设散射介质可以通过一系列算子乘法来建模,而第一个是随机相位的算子,第二个是dz的短自由空间传播的算子,其中dz是被检测组织(散射介质)中的平均散射长度。重复这对算子,直到重复次数等于M=L/dz(或更大),其中L是介质后面的目标距照明点的距离。因此,散射矩阵A可以写为:
其中[Fij]及[Fij]*是傅立叶(Fourier)及傅立叶逆算子(矩阵)。
这提供了需要注意的是,矩阵A是酉矩阵(Unitary)(忽略由于散射造成的能量损失),因为它是两个酉矩阵相乘的结果。
算子矩阵A在模型中应用了两次,因为有两次穿过散射介质(向前及向后)。在向后途中,散射是逆序的,因此对矩阵A应用了转置(transpose)运算。我们想要找到输入相位向量Ein(x),使得在一次通过后获得焦点,即算子A在空间轴的中间产生delta函数:
因此,我们可以得出以下结论:
并且因此:
其中N是沿输出轴的多个空间采样点的数量或波前编码的几何分辨率。根据等式2,Ein等于逆矩阵算子A的中间列:
由于A是酉矩阵,因此A转置(At)与逆A(A-1)之间存在一已知关系。
A-1=A*
(等式6)
其中*表示矩阵A的共轭转置。
由结合等式4、5及6;其示出因此,我们获得了期望的应用于SLM,以获得第一次通过介质后的聚焦光斑,以及使用从所述介质返回的收集的光的图案来确定Ein的一条件。
显然,上述模型是一个近似值,因此获得的解析结果只是要在SLM上显示的分布的起始迭代点,需要在其周围应用闭环收敛(close loop convergence)过程,以在第一次通过后真正获得焦点。处理它的最合适的方法是使用捕获输出场的相位,并使用入射光的相位调制来进行优化。然而,为了证明这概念,我们选择执行振幅调制(AmplitudeModulation)。我们采用PSO技术来执行闭环优化。参考图2,其示出了描述PSO中关联的动作的流程图。PSO中的目标函数在本例中由输出光束强度与输入光束强度之间的相关性定义。因此,
如图2所示,启动PSO技术2010,并确定多个解(solution)的一初始随机群体2020。此技术的概念涉及作为具有与所述多个解相关的特定初始速度矢量的粒子的解。通过计算一适应度函数的值来确定解的群体的适应度2030。所述多个解是基于其速度及位置(可以与解的属性以及适应度值相关联)的更新2040,并且重新计算适应度函数值2050。更新每个单独的解的光学值,以确定一全域最优值(global optimal value)2060,并检查多个终止条件2070。所述多个终止条件可以与循环次数、最优值等相关联。如果所述终止条件被确定为正2080,则计算程序结束2085,并且以最优值及相应解的形式来提供输出。如果终止条件不被满足2090,则此技术通过更新所述多个解的速度及位置2040以及计算多个适应值2050来重复自身。
模拟结果:
发明人已经使用100x100像素进行数值模拟,以进行模拟。由于模型通常以1D形式描述,散射介质上的有效照明面积保持最小,即选择一线照明(line illumination)。需要注意的是,通过对齐区域的矢量表示,可在2D中显示模型。沿垂直轴有100个像素,其幅度值可以在0-255之间变化。沿水平方向选择3像素列用于线照明。像素大小设置为8μ。理想情况下,这意味着振幅沿垂直方向调制的光线入射到一散射介质上。由于我们不希望散射样本的其他区域的散射贡献,我们将散射体上除照明区域之外的其余区域挡住,图3A以及图3B示出了用于本文模拟的散射区域的限制。图3A举例说明了一全散射表面,而图3B举例说明了在散射体上除照明区域之外的其余区域上使用阻挡掩模之后留下的散射区域。黑色表示被阻止以保持来自其他区域的贡献最小的区域。
粒子群优化考虑了150个粒子的群大小(Swarm size),这被称为随机解。并且这些粒子中的每一个都以一定的速度初始化。在这种情况下的解是100x3像素线,其沿垂直轴的幅度在0-255之间变化。这些解为照射散射样本的输入波前编码强度提供了候选。假设目标放置在散射样本后面5毫米处。从散射体到目标的传播是使用角谱传播完成的。我们捕获双通道后从散射介质发出的光的强度。我们对此强度进行平均,以找到收集的光的图案/>然后,根据等式7,我们计算价值函数(merit function)/目标函数作为这两个强度图案之间的相关性。在这些随机解中,会有一个解具有较高的价值函数值。这被称为全域最优解(Global Best Solution),并且对于每个粒子,最优解被称为粒子最优解(Particle Best Solution)。根据全域最优以及粒子最优,改变粒子的位置及速度。这是一次迭代。同样,我们执行了250次迭代,直到我们达到价值函数的一较高相关系数值0.99。图4显示了根据迭代次数绘制的价值函数值。
图5A至图5D显示了优化前(图5A)、优化后(图5B)、优化前目标平面上的强度(图5C)以及优化后目标平面上的强度(图5D)(其显示了清晰的焦点及减少的散射)的各个Iout测量值。
由于我们不使用来自目标平面(散射介质后面的平面,光斑会在所述平面被聚焦)的信息,因此我们以无创方式(noninvasive)执行优化。图5A及图5B显示了优化前后测量的输出强度。然而,为了验证我们是否获得了光斑,我们尝试查看目标平面上的强度(如图5C及图5D所示)。图6A及图6B分别显示了图5C及图5D的相应的强度分布图。
从图5D至图6B,我们在对入射光进行适当的幅度调制后,在目标平面上得到一聚焦光斑。在下一组迭代中,此技术可以映射(map)另一个聚焦光斑。通过经历许多这样的优化循环,我们能够映射整个目标平面。
发明人进行了初步实验,通过波前整形的幅度调制来示出本技术的效率。实验装置如图7所示,包括一光源710(例如:532nm激光单元)以及在其光输出处的一偏振器712、配置用于准直输出光的一光学装置720以及定位成提供选定偏振(例如:圆偏振(circularpolarization))的半波板722。光通过与空间调制控制器732相关联的空间光调制器730(例如:DMD单元)透射或反射,所述空间调制控制器732被操作以提供选择的照明图案Ein,图案化的光可以被偏振器740进一步偏振,并且被针孔/孔径750过滤,以去除与空间调制相关的高衍射级(diffraction orders)。此示例中的系统利用一柱面透镜760来产生沿其具有不同幅度图案的一聚焦线,并将所述聚焦线导向样本800。使用分束器770将从样本返回的光导向照相机单元780(通常经由偏振分析器782),以收集返回光的图案。一附加照相机单元790以及成像透镜单元792位于所述样本800的下游,以验证聚焦光斑的产生。实验装置在振幅模式下使用LCOS SLM 730为输入波前提供空间光束编码。所述样本800由非常薄的鸡胸肉切片制成,用作漫射介质,并在下游2mm距离处包括反射面,以便从系统获得适当的响应。所述样本800被一柱面透镜沿每个像素的不同幅度的线照亮。光通过同一介质两次,因此:
A是前向散射矩阵(forward scattering matrix)。根据上述模型,在振幅方案中,对于聚焦光斑,我们必须具有:
使用CCD1(THORCAM)照相机单元测量为强度图像。Ein是应用于SLM730的幅度掩蔽(amplitude mask)。我们选择粒子群演算法(Particle Swarm Algorithm,PSO)来执行优化。成本函数(cost function)或适应度函数(fitness function)是Eout与Ein之间的相关性。因此它成为一个最大化问题。CCD2(THORCAM)用于在优化完成后检查聚焦光斑。/>
使用的SLM是HEO1080P SC-I(来自HoloEye),它包含8um像素大小的1080x1920像素。因此,为了保持最小的计算负载,我们对108x108像素进行了优化。这是通过在SLM上打(clubbing)10个像素来完成的。这意味着10个像素组合在一起会具有相同的灰度值。为了得到一条线(其中每个像素的幅度不同),应用在SLM上的掩蔽采用光栅的形式,随后使用柱面透镜将其转换为一条线。
所述散射组织是一鸡胸肉。鸡的表面被覆盖,只允许光线通过。这样做是为了使散射更接近一维(1D)。图8A及图8B例示了当没有对入射光进行调制时,使用照相机780及照相机790拍摄的图像的结果。图8A中所示的散射光已经两次通过散射介质,而图8B的图像显示了一次穿过介质后的光散射。
捕获的Eout为145x36像素。它被调整为108x36像素。然而,为了符合数学公式,发明人使用了1D输出强度,其中沿y轴的强度平均超过36个像素。这是合理的假设,因为我们有一个沿y轴非常薄的组织。
执行PSO算法。最初创建了150个随机幅度掩蔽的总体,并且运行了100次迭代。在每次迭代中,我们还有另外150次迭代。可以看出,经过25次迭代后,相关系数达到了0.82(图9)。
为了检查在散射组织后面产生焦点,发明人使用一第二照相机单元790拍摄一次穿过所述散射介质(样本800)之后的强度。图10A至10E显示了初始强度(图10A)与单次优化后的强度(图10B)之间的比较。图10C示出了图10B的聚焦光斑的放大图像。在优化时,图10B示出了相对于图10A的初始光斑散散射较少的一聚焦光斑。图10D及图10E沿着分别与图10D及图10E中的光斑相对应的被收集的光的像素来绘制强度曲线。图10E(聚焦后)中达到的峰值强度高于(至少相对于其周围)图10D(聚焦前)中达到的峰值强度。
因此,本发明提供了一种能够例如通过扫描对位于散射介质后面的材料进行成像的系统及技术。本技术可以以有限数量的优化步骤来操作,并且可以允许在不需要重复优化的情况下,从散射介质的不同区域成像。此外,本发明可以允许确定波前编码,以便在从一特定初始深度收集成像数据之后,获得进入散射介质的选定深度的图像数据。

Claims (8)

1.一种用于通过散射介质成像的系统,其特征在于,所述系统包含:
一成像单元,所述成像单元位于一移动平台上且包括:
(a) 一光源单元,包括:至少一光源,提供具有选定的波长范围的相干照明;以及一空间光调制器,配置为选择性地改变通过所述至少一光源产生的光的波前的空间图案;
(b) 一收集单元,包括至少一检测器阵列,并且位于所述光源单元的旁边,用于收集从通过所述光源单元照射的一样本反射的光;以及
一控制系统,包括至少一处理单元,并且连接到所述移动平台、所述光源单元、以及所述收集单元,所述控制系统配置为根据通过所述收集单元的所述至少一检测器阵列收集的光的空间图案来选择性地改变通过所述至少一光源产生的光的波前的空间图案,以满足一反射条件,所述反射条件是指收集的光的强度图案在空间上与由所述至少一光源产生的光的波前的空间强度图案相类似,直至恒定损耗以及预定的阈值变化;所述控制系统配置为选择性地改变所述成像单元相对于所述样本的横向位置,并且确定每个横向位置的反射参数k,以及构建指示所述散射介质中深度内的区域的图像数据。
2.如权利要求1所述的系统,其特征在于:所述反射条件对应于I in (x)kI out (x),其中I in (x)为通过产生的光的波前的所述空间图案所形成的强度图案,I out (x)为收集的强度图案,并且k是一测量值,表示来自所述样本中的特定深度的一焦点区域的损耗及反射。
3.如权利要求1所述的系统,其特征在于:所述控制系统配置为改变所述成像单元相对于所述样本的横向位置,并且在一选定数量的不同位置验证所述反射条件。
4.如权利要求1至3中任一项所述的系统,其特征在于:所述处理单元包括一散射矩阵模块,所述散射矩阵模块配置为使用适合于满足所述反射条件的光的波前的空间图案的数据来确定所述样本的一估计散射矩阵。
5.如权利要求4所述的系统,其特征在于:所述处理单元还包括图案确定模块,所述图案确定模块配置为接收所述估计散射矩阵上的数据,并使用所述估计散射矩阵来确定适于在选定的多个深度处的所述散射介质内产生焦点区域的一个或多个波前图案。
6.一种通过散射介质成像的方法,其特征在于:所述方法包含:
(a) 将具有选定的波长范围以及选定的空间图案的相干照明波前定向到一样本上;
(b)收集从所述样本返回的光,并确定收集的光的空间图案;
(c) 确定所述相干照明波前的所述选定的空间图案与收集的光的空间图案之间的一关系;
(d) 改变相干照明波前的空间图案,直到所述关系处于预定的反射条件内,所述预定的反射条件被选择为满足以下条件:收集的光的空间图案在空间上与所述相干照明波前的空间图案相类似,直至恒定损耗以及预定的阈值变化;
(e)扫描所述样本的一选定的区域;改变照明相对于所述样本的相对横向位置,针对所述样本上的每个测量位置,确定相对于所述相干照明波前的总强度的收集的光的图案的总强度的变化;
(f)确定来自所述样本中的特定深度的一聚焦光斑的反射水平的数据;以及
(g)根据所述扫描产生表示到所述样本中的所述特定深度的图像数据。
7.如权利要求6所述的方法,其特征在于:所述预定的反射条件对应于I in (x)kI out (x),其中I in (x)为通过产生的光的波前的所述空间图案所形成的强度图案,I out (x)为收集的空间强度图案,并且k是一测量值,表示来自所述样本中的特定深度的一焦点区域的损耗及反射。
8.如权利要求6所述的方法,其特征在于:所述方法还包含在所述样本上的一选定的数量的不同的横向位置上确定所述反射条件。
CN202080021378.3A 2019-02-03 2020-01-30 通过散射介质成像的系统及方法 Active CN113574438B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962800505P 2019-02-03 2019-02-03
US62/800,505 2019-02-03
PCT/IL2020/050116 WO2020157759A1 (en) 2019-02-03 2020-01-30 System and method for imaging via scattering medium

Publications (2)

Publication Number Publication Date
CN113574438A CN113574438A (zh) 2021-10-29
CN113574438B true CN113574438B (zh) 2023-07-18

Family

ID=71840527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080021378.3A Active CN113574438B (zh) 2019-02-03 2020-01-30 通过散射介质成像的系统及方法

Country Status (5)

Country Link
US (1) US11867625B2 (zh)
EP (1) EP3918405A4 (zh)
JP (1) JP2022524923A (zh)
CN (1) CN113574438B (zh)
WO (1) WO2020157759A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11908478B2 (en) 2021-08-04 2024-02-20 Q (Cue) Ltd. Determining speech from facial skin movements using a housing supported by ear or associated with an earphone
CN114839789B (zh) * 2022-05-20 2023-09-12 西南科技大学 一种基于二值化空间调制的衍射聚焦方法以及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104849874A (zh) * 2015-06-02 2015-08-19 西安电子科技大学 基于稀疏表示的随机散射光学成像系统及成像方法
CN108780042A (zh) * 2016-01-13 2018-11-09 尼克根合伙Ip有限责任公司 用于多参数光谱的系统和方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9259594B2 (en) 2010-10-18 2016-02-16 Bwt Property, Inc. Apparatus and methods for deep tissue laser therapy
US8817255B2 (en) * 2010-12-17 2014-08-26 Canon Kabushiki Kaisha Apparatus and method for irradiating a scattering medium
TWI456255B (zh) 2012-08-16 2014-10-11 Univ Nat Central 反向聚焦顯微成像結構及方法
US9762565B2 (en) 2015-06-26 2017-09-12 Washington State University Spatial-light-modulator-based signatures of intrinsic and extrinsic scattering surface markers for secure authentication
CN108700460B (zh) * 2015-12-21 2020-11-03 威里利生命科学有限责任公司 成像系统和成像方法
US10162086B2 (en) * 2016-03-07 2018-12-25 Microsoft Technology Licensing, Llc Imaging through highly diffusive media with wavefront shaping
CN105866035B (zh) 2016-03-30 2019-04-05 温州医科大学 一种基于空间频域调制大面积解析微观结构的快速无损组织活检方法与技术
JP6994472B2 (ja) * 2016-05-13 2022-02-04 エコール・ポリテクニーク・フェデラル・ドゥ・ローザンヌ (ウ・ペ・エフ・エル) 傾斜照明による網膜の吸収、位相および暗視野撮像のためのシステム、方法、および装置
WO2017205857A1 (en) 2016-05-27 2017-11-30 Verily Life Sciences Llc Systems and methods for 4-d hyperspectrial imaging
JP6882085B2 (ja) 2016-07-05 2021-06-02 キヤノン株式会社 波面制御装置、波面制御方法、情報取得装置、プログラム、および、記憶媒体
US10760956B2 (en) 2016-07-05 2020-09-01 Canon Kabushiki Kaisha Wavefront control apparatus, wavefront control method, information acquiring apparatus, and storage medium
CN106200276B (zh) 2016-07-19 2017-10-24 西安电子科技大学 基于随机散射介质的可控亚波长无掩模光刻系统和方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104849874A (zh) * 2015-06-02 2015-08-19 西安电子科技大学 基于稀疏表示的随机散射光学成像系统及成像方法
CN108780042A (zh) * 2016-01-13 2018-11-09 尼克根合伙Ip有限责任公司 用于多参数光谱的系统和方法

Also Published As

Publication number Publication date
EP3918405A4 (en) 2022-11-09
EP3918405A1 (en) 2021-12-08
WO2020157759A1 (en) 2020-08-06
JP2022524923A (ja) 2022-05-11
CN113574438A (zh) 2021-10-29
US20220163444A1 (en) 2022-05-26
US11867625B2 (en) 2024-01-09

Similar Documents

Publication Publication Date Title
KR101810637B1 (ko) 티코그래피에서 프로브의 보정
CN105659143A (zh) 孔径扫描傅立叶重叠关联成像
CN113574438B (zh) 通过散射介质成像的系统及方法
JP2010528279A (ja) 三次元撮像
WO2010064051A1 (en) Provision of image data
KR102604960B1 (ko) 홀로그래픽 간섭법의 방법 및 시스템
JP6999129B2 (ja) 細胞観察システムおよび細胞観察方法
WO2009113068A1 (en) Intraoral imaging system and method based on conoscopic holography
Cámara et al. Optical coherenscopy based on phase-space tomography
Marco et al. Virtual light transport matrices for non-line-of-sight imaging
Liu et al. Virtual wave optics for non-line-of-sight imaging
Hazineh et al. D-Flat: A Differentiable Flat-Optics Framework for End-to-End Metasurface Visual Sensor Design
Royo et al. Virtual mirrors: Non-line-of-sight imaging beyond the third bounce
KR102129069B1 (ko) 스캐닝 홀로그램 기반 자동광학검사 장치 및 방법
KR102129071B1 (ko) 스캐닝 홀로그램 기반 자동광학검사 장치 및 방법
Katkovnik et al. Computational wavelength resolution for in-line lensless holography: phase-coded diffraction patterns and wavefront group-sparsity
Sanjeev et al. Optical reciprocity induced wavefront shaping for axial and lateral shifting of focus through a scattering medium
Wen et al. Phase retrieval with dynamic linear combination in multiple intensity measurements
US10931899B1 (en) Systems and methods for simulation of shearographic imaging
Zhuang et al. Deep-learning based reconstruction in optical scanning holography
US20230328219A1 (en) High resolution imaging behind scattering medium
US20240126207A1 (en) Imaging through scattering media
Laurenzis et al. Approaches to solve inverse problems for optical sensing around corners
US11506478B2 (en) Three dimensional (3D) imaging using optical coherence factor (OCF)
Komáromi Real-time statistical simulation of dynamic laser speckle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant