CN112992275A - 一种用于免标记活细胞虚拟染色的马赫-曾德尔干涉系统 - Google Patents

一种用于免标记活细胞虚拟染色的马赫-曾德尔干涉系统 Download PDF

Info

Publication number
CN112992275A
CN112992275A CN202110121780.5A CN202110121780A CN112992275A CN 112992275 A CN112992275 A CN 112992275A CN 202110121780 A CN202110121780 A CN 202110121780A CN 112992275 A CN112992275 A CN 112992275A
Authority
CN
China
Prior art keywords
light
cells
information
mach
object light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110121780.5A
Other languages
English (en)
Inventor
张璐
杨鹤
唐志愿
杨泽文
吴涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202110121780.5A priority Critical patent/CN112992275A/zh
Publication of CN112992275A publication Critical patent/CN112992275A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16BBIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B45/00ICT specially adapted for bioinformatics-related data visualisation, e.g. displaying of maps or networks
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biotechnology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明公开了一种用于免标记活细胞虚拟染色的马赫‑曾德尔干涉系统,一束激光进入马赫—曾德尔干涉光学系统后,被分为物光和参考光两部分,物光穿过待检测细胞后会携带有细胞的三维形态信息,并由显微物镜将这一信息放大;参考光经变倍扩束镜后,光束被扩束五至十倍,之后物光和参考光汇合干涉,将样本信息包含在干涉条纹图中。应用深度学习及条件生成对抗网络技术对条纹图进行相位提取处理,本发明应用语义分割技术进行单帧包裹相位展开,训练过程中的三个部分中数据来源为最小二乘法处理包裹相位图得到的结果,另外两部份同相位提取技术。本发明实现对细胞的非干预性三维高信息量的检测。

Description

一种用于免标记活细胞虚拟染色的马赫-曾德尔干涉系统
技术领域
本发明属于免标记细胞光学测量与机器学习研究领域,设计一种用于免标记活细胞虚拟染色的马赫-曾德尔系统。
背景技术
细胞作为生物体组成和生命活动的基本单元,被生物和医学界广泛关注。其尺寸、形状和结构特征与其功能和活动相对应。因此,找到绿色化、低成本、高精度的细胞检测方法是解决目前一些人体重大疾病问题的关键。
目前常用的细胞检测方法是将镜检与标记技术相结合,该方法是根据不同种类细胞与化学试剂结合,反应显示不同颜色的多参数、快速的定量分析。它的优点在于速度快,精度高,在当代已被广泛使用,但同时也存在许多缺点。首先,该方法属于对细胞的接触和破坏性检测方法,长期的荧光作用会减缓细胞的移动速度,损害细胞的特性,甚至破坏细胞的活性,不能跟踪监测活体细胞。
故此,传统的细胞显微镜检方法的不足主要表现在:
(1)需要对细胞进行染色标记,标记物质会伤害细胞的生物活性,属于一种侵害性的检测方法。
(2)细胞显微镜检需要对细胞进行复杂的染色操作,耗时耗力,且染色效果受标记物质的制备、操作人员的经验等影响较大。
(3)细胞显微镜检只能得到其二维平面信息,二维信息内细胞信息的含有量不足,轴向信息和细胞内部各细胞器的具体信息难以获取。
(4)细胞显微检测受主观因素影响大,样品的制备、染色、观察、判断严重依赖于操作人员的经验;并且,化学标记物与放射性标记物等,例如荧光染料鬼笔环肽属剧毒物质,会对操作人员健康造成威胁。
为此我们提出了通过测量细胞光学相位信息对细胞虚拟染色的方法。细胞相位的研究表明,因细胞及其内部结构的折射率差异从而使细胞具有了相位特性,细胞的内部结构与其折射路分布呈一一对应关系,研究人员提出可以通过测量细胞内部相位来达到对细胞虚拟染色的目的。
传统的马赫-曾德尔干涉光路应用于微观时,由于物光和参考光束的横向放大比差异巨大导致两光束光强差异巨大从而极大程度上影响了干涉条纹图的清晰度,参考光和物光结合是还会损失一般的光强导致物光处含有细胞的信息光强度严重不足,并且由于物光路上添加了高倍显微物镜引入了极大的二次相位因子导致无法提取细胞本身相位。基于这些问题我们对光路进行了一些改进。
发明内容
本发明是一种用于免标记活细胞虚拟染色的马赫-曾德尔干涉系统,实现对细胞的非干预性三维高信息量的检测。
本发明的技术方案是这样实现的:
激光沿着激光器的输出方向经过偏振片和第一偏振分光棱镜,所述的第一分偏振光棱镜将激光分为物光和参考光,沿物光依次放置第一反射镜、样品、显微物镜、远心透镜第二偏振分光棱镜;沿参考光方向依次放置有连续变倍扩束镜、第二反射镜、第二偏振分光棱镜;参考光和物光在第二偏振分光棱镜处重合之后由图像接收设备CCD靶面接收干涉图,并储存在计算机上。
保证物光通过显微物镜后留有足够光强,应用调控两路光强的偏振片和第一偏振分光棱镜调整偏振片角度至透射P光与S光的光强比等于参考光束与物光扩束倍数比,保证两光束的强度一致以保持干涉条纹的对比度、用于整合两路光束,减少光强损失的第二偏振分光棱镜保证最大限度地获取物光处较弱的光强。
显微物镜保证足够的放大倍数用于细胞的放大、用于抵消显微物镜产生的二次相位因子的远心透镜,远心透镜与显微物镜的距离为两透镜焦距之和保证完全消除二次相位因子。
一束激光经分光棱镜后分为物光和参考光,物光通过样品细胞后携带了细胞的三维形态信息,物光与参考光会合后,样品相关形态信息包含在马赫—曾德尔干涉条纹中,应用深度学习中条件生成对抗网络技术对携带样品信息的马赫—曾德尔干涉条纹进行相应的相位提取处理,应用深度学习中语义分割技术对提取的相位图进行解包裹处理,获取细胞横向与径向的二维信息,通过数字图像处理方法对细胞二维信息与图像彩色信息进行匹配,将二维信息再进行彩色三维重建,实现细胞的三维虚拟染色,实现对样本轴向与径向全方位、高信息度的三维虚拟染色。
本发明具有的效果
1.采用偏振片与偏振反光棱镜配合操作来调控参考光与物光的光强比,尤其是物光,采用第二偏振分光棱镜来减少物光的光强浪费,结构简单,操作方便;
2.采用马赫—曾德尔干涉系统来确保光路的操作性与稳定性。
3.采用基于条件生成对抗网络的相位解调与基于语义分割的相位解包裹方法进行细胞三维相位的恢复,不仅能够在在成像效率上增强了定量相位成像数据本身,同时能够满足经典相位恢复算法的精度,能够实现单帧实时动态免标记细胞的快速三维相位恢复。
附图说明
图1为发明系统的系统结构图。
其中:(1)激光器、(2)偏振片、(3)第一偏振分光棱镜、(4)变倍扩束镜、(5)参考光反射镜、(6)物光反射镜、(7)样品、(8)显微物镜、(9)远心透镜、(10)第二偏振分光棱镜、(11)CCD相机;
图2为网络模型的部分训练数据;
图3为携带红细胞样品信息的干涉条纹图;
图4为红细胞虚拟染色结果;
图5为携带白细胞样品信息的干涉条纹图;
图6为白细胞虚拟染色结果;
图7不加远心光路时干涉条纹;
图8远心光路下干涉条纹
具体实施方式
本发明中马赫—曾德尔干涉系统包括光源和分光系统、显微放大系统和图像接收系统。激光器发出激光,经偏振片转换为特定偏振角度的偏振光,偏振光经过第一分光棱镜后被分为亮度较高的物光和亮度较低的参考光,参考光经过扩束镜扩束后在第二偏振分光棱镜处与物光汇合;物光将穿过待测细胞并携带细胞的三维形态信息,经显微物镜放大后,由远心透镜补偿显微物镜产生的二次相位因子,通过第二偏振分光棱镜与参考光汇合产生干涉条纹,样品的三维信息调制在干涉条纹中,最终由CCD相机接收干涉条纹图像。
随着大数据和深度学习在图像识别和计算机视觉领域的突破式进展,该技术用于探索各种形式的生物医学图像。深度学习方法为系统和全面利用定量相位成像方法开辟了新的思路,对生物细胞三维相位恢复的研究产生了深远影响。深度学习方法的引入,不仅能够在成像效率和性能方面增强了定量相位成像数据本身,而且针对定量相位成像数据进行准确有效的分类,为免标记血液病的智能筛查提供新的研究思路,对细胞生物学和病理学的研究具有重要意义。
一束激光进入马赫—曾德尔干涉光学系统后,被分为物光和参考光两部分,物光穿过待检测细胞后会携带有细胞的三维形态信息,并由显微物镜将这一信息放大;参考光经变倍扩束镜后,光束被扩束五至十倍,之后物光和参考光汇合干涉,将样本信息包含在干涉条纹图中。应用深度学习及条件生成对抗网络技术对条纹图进行相位提取处理,训练过程主要包括三部分:一是数据的采集和预处理,将干涉条纹图用相移法进行处理之后的结果作为训练数据;二是训练模型,主要是对参数的初始化;最后是网络模型的测试工作,评价网络的优略。应用语义分割技术进行单帧包裹相位展开,训练过程中的三个部分中数据来源为最小二乘法处理包裹相位图得到的结果,另外两部份同相位提取技术。
用于测量微观物体的马赫—曾德尔干涉系统,激光进入干涉系统后经过偏振片和偏振分光棱镜,通过偏振片和偏振分光棱镜的配合可以调节物光和参考光的光强比。在物光与参考光汇合处放置偏振分光棱镜,将物光的损失减到最小。此方法适用于两光束强度消耗差异巨大的同轴、离轴和轻微离轴干涉光路。
参照图1所示,激光器1、偏振片2产生偏振光、第一偏振分光棱镜3分配物光和参考光光强、变倍扩束镜4、参考光反射镜5、物光反射镜6、样品7调制激光携带样品相位信息、显微物镜8放大样品信息、远心透镜9补偿显微物镜产生的二次相位因子、第二偏振分光棱镜10、含有生物图像采集镜头高速CCD11为干涉采集系统;
参照图2所示,白细胞和红细胞的相位信息通过相移法提取相位后应用最小二乘法解包裹后的结果作为训练数据;
参照图3所示,携带红细胞相位信息的干涉条纹,通过基于条件生成对抗网络(CGAN)的相位解调及基于语义分割网络的相位解包裹方法提取处样品的相位信息;
参照图4所示,对红细胞进行虚拟染色,模拟结果与实验结果进行对比,进一步验证使用方法的正确性;
参照图5所示,携带白细胞相位信息的干涉条纹;
参照图6所示,通过实验进一步验证了本发明的可实施性和准确性。
参照图7所示,通过实验观察了显微物镜产生的二次相位因子。
参照图8所示,通过实验观察远心光路对图7中二次相位因子的补偿作用。
实施例一:人体血红细胞三维虚拟染色
实验样品血涂片制备
1.取样:取适量人体血液,用移液枪转移少量血液注入干净的试管内。
2.稀释:更换移液枪针头后,用移液枪取适量PBS缓冲液注入样品试管,用移液枪不断吹打至其混合均匀。
3.离心:将稀释好的样品对称放入离心机中,设定合适的转速和时间后离心。
4.制片:取少量离心后血细胞滴涂至载玻片上,取另一玻片将样品液滴均匀推开,风干后即可取用。
免标记血红细胞虚拟染色
(1)将改进式马赫-曾德尔系统与深度学习算法融合的细胞三维虚拟染色方法中各元器件摆放至既定位置,调节光轴至产生适当粗细的稳定干涉条纹。
(2)将激光器、电脑、CCD相机接通电源,连接好CCD相机与电脑。
(3)将制好的样品放置在系统中样品放置处,基于马赫-曾德尔干涉原理,参考光与携带血红细胞相位信息的物光在交叠处发生干涉现象,产生携带有细胞相位信息的干涉条纹图,并由CCD相机靶面接受图像,存储至电脑。
参考光与物光形成的干涉光场光强分布为:
I(x,y)=I0(x,y)+I1(x,y)cos(kΔw(x,y))
其中,Δw(x,y)为参考光与物光相位差k=2π/λ,λ为激光波长。I0(x,y)为背景光强I1(x,y)cos(kΔw(x,y))为调制光强。当系统中无样品时,Δw(x,y)为规则一次函数,干涉图中产生均匀干涉条纹;当系统中放置样品时,相位差将携带有细胞的相位信息,规则的条纹发生形变。
(4)将形变条纹作为卷积神经网络的输入置入程序,采用基于条件生成对抗网络的相位解调与基于语义分割的相位解包裹方法进行细胞三维相位的恢复,获取到细胞的三维相位信息。
(5)用MATLAB软件对细胞的三维形态学信息进行数字图像处理,实现对细胞的数字化虚拟染色。

Claims (4)

1.一种用于免标记活细胞虚拟染色的马赫-曾德尔干涉系统,其特征在于:激光沿着激光器(1)的输出方向经过偏振片(2)和第一偏振分光棱镜(3),所述的第一分偏振光棱镜(3)将激光分为物光和参考光,沿物光依次放置第一反射镜(6)、样品(7)、显微物镜(8)、远心透镜(9)第二偏振分光棱镜(109);沿参考光方向依次放置有连续变倍扩束镜(4)、第二反射镜(5)、第二偏振分光棱镜(8);参考光和物光在第二偏振分光棱镜(10)处重合之后由图像接收设备CCD(11)靶面接收干涉图,并储存在计算机上。
2.根据权利要求1所述的一种用于测量微观物体的马赫—曾德尔干涉系统,其特征在于:保证物光通过显微物镜(8)后留有足够光强,应用调控两路光强的偏振片(2)和第一偏振分光棱镜(3)调整偏振片角度至透射P光与S光的光强比等于参考光束与物光扩束倍数比,保证两光束的强度一致以保持干涉条纹的对比度、用于整合两路光束,减少光强损失的第二偏振分光棱镜(10)保证最大限度地获取物光处较弱的光强。
3.根据权利要求1所述的一种用于测量微观物体的马赫—曾德尔干涉系统,其特征在于:显微物镜(8)保证足够的放大倍数用于细胞的放大、用于抵消显微物镜(8)产生的二次相位因子的远心透镜(9),远心透镜与显微物镜(8)的距离为两透镜焦距之和保证完全消除二次相位因子。
4.根据权利要求1所述免标记活细胞虚拟染色系统,其特征在于,在马赫—曾德尔干涉系统中,一束激光经分光棱镜后分为物光和参考光,物光通过样品细胞后携带了细胞的三维形态信息,物光与参考光会合后,样品相关形态信息包含在马赫—曾德尔干涉条纹中,应用深度学习中条件生成对抗网络技术对携带样品信息的马赫—曾德尔干涉条纹进行相应的相位提取处理,应用深度学习中语义分割技术对提取的相位图进行解包裹处理,获取细胞横向与径向的二维信息,通过数字图像处理方法对细胞二维信息与图像彩色信息进行匹配,将二维信息再进行彩色三维重建,实现细胞的三维虚拟染色,实现对样本轴向与径向全方位、高信息度的三维虚拟染色。
CN202110121780.5A 2021-01-28 2021-01-28 一种用于免标记活细胞虚拟染色的马赫-曾德尔干涉系统 Pending CN112992275A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110121780.5A CN112992275A (zh) 2021-01-28 2021-01-28 一种用于免标记活细胞虚拟染色的马赫-曾德尔干涉系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110121780.5A CN112992275A (zh) 2021-01-28 2021-01-28 一种用于免标记活细胞虚拟染色的马赫-曾德尔干涉系统

Publications (1)

Publication Number Publication Date
CN112992275A true CN112992275A (zh) 2021-06-18

Family

ID=76345695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110121780.5A Pending CN112992275A (zh) 2021-01-28 2021-01-28 一种用于免标记活细胞虚拟染色的马赫-曾德尔干涉系统

Country Status (1)

Country Link
CN (1) CN112992275A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336419A (zh) * 2013-07-01 2013-10-02 江苏大学 一种两步相移干涉相位显微一次成像系统及方法
CN106568392A (zh) * 2016-10-19 2017-04-19 江苏大学 一种双波长相位显微成像系统和方法、以及对应相位恢复方法
US20190049896A1 (en) * 2017-08-08 2019-02-14 National Taiwan Normal University Method and Apparatus of Structured Illumination Digital Holography
CN110057743A (zh) * 2019-05-06 2019-07-26 西安交通大学 基于光学虚拟染色的血涂片免标记细胞三维形态检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336419A (zh) * 2013-07-01 2013-10-02 江苏大学 一种两步相移干涉相位显微一次成像系统及方法
CN106568392A (zh) * 2016-10-19 2017-04-19 江苏大学 一种双波长相位显微成像系统和方法、以及对应相位恢复方法
US20190049896A1 (en) * 2017-08-08 2019-02-14 National Taiwan Normal University Method and Apparatus of Structured Illumination Digital Holography
CN110057743A (zh) * 2019-05-06 2019-07-26 西安交通大学 基于光学虚拟染色的血涂片免标记细胞三维形态检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LU ZH.等: "High Precision Phase Recovery for Single Frame Fringe Pattern of Label-free Cells Detection Based on Deep Learning", 《2020 15TH IEEE CONFERENCE ON INDUSTRIAL ELECTRONICS AND APPLICATIONS (ICIEA)》 *
徐媛媛 等: "生物细胞定量相位显微技术及相位恢复方法的新进展", 《激光与光电子学进展》 *

Similar Documents

Publication Publication Date Title
Chen et al. Spatial light interference microscopy: principle and applications to biomedicine
Kim et al. Correlative three-dimensional fluorescence and refractive index tomography: bridging the gap between molecular specificity and quantitative bioimaging
Ku et al. Multiplexed and scalable super-resolution imaging of three-dimensional protein localization in size-adjustable tissues
Park et al. Artificial intelligence-enabled quantitative phase imaging methods for life sciences
Baczewska et al. Refractive index changes of cells and cellular compartments upon paraformaldehyde fixation acquired by tomographic phase microscopy
CN105182514B (zh) 基于led光源的无透镜显微镜及其图像重构方法
US8947510B2 (en) Functional imaging of cells with optical projection tomography
US20140139625A1 (en) Method and system for detecting and/or classifying cancerous cells in a cell sample
CN106094189B (zh) 多通道荧光显微的复合显微系统
CN102846312B (zh) 一种多维度成像检测仪及其数据反演方法
Kreiss et al. Digital staining in optical microscopy using deep learning-a review
CN110146467B (zh) 高光谱干涉非标记成像方法及活细胞定量断层成像系统
CN110057743A (zh) 基于光学虚拟染色的血涂片免标记细胞三维形态检测方法
Huang et al. Accurate and fast registration algorithm for multi-height lensless in-line on-chip holographic microscopy
Ma et al. Light-field tomographic fluorescence lifetime imaging microscopy
CN112992275A (zh) 一种用于免标记活细胞虚拟染色的马赫-曾德尔干涉系统
Vatan et al. Volumetric super-resolution imaging by serial ultrasectioning and stochastic optical reconstruction microscopy in mouse neural tissue
CN109540888B (zh) 一种新型精子质量评价方法
CN110824688A (zh) 一种基于相位成像生物细胞亚表面形态快速重建方法
Mehta et al. Non-invasive spectral analysis of osteogenic and adipogenic differentiation in adipose derived stem cells using dark-field hyperspectral imaging technique
He et al. Rapid, autonomous and ultra-large-area detection of latent fingerprints using object-driven optical coherence tomography
Peng et al. A Compact Real-time Quantitative Phase Imaging System
Tang et al. Microfluidic imaging flow cytometry by asymmetric-detection time-stretch optical microscopy (ATOM)
Zhang et al. High Precision Phase Recovery for Single Frame Fringe Pattern of Label-free Cells Detection Based on Deep Learning
Mannam Overcoming fundamental limits of three-dimensional in vivo fluorescence imaging using machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210618