CN110989155B - 一种基于滤光片阵列的无透镜显微成像装置及重构方法 - Google Patents
一种基于滤光片阵列的无透镜显微成像装置及重构方法 Download PDFInfo
- Publication number
- CN110989155B CN110989155B CN201911260562.9A CN201911260562A CN110989155B CN 110989155 B CN110989155 B CN 110989155B CN 201911260562 A CN201911260562 A CN 201911260562A CN 110989155 B CN110989155 B CN 110989155B
- Authority
- CN
- China
- Prior art keywords
- light field
- filter array
- optical filter
- sample
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000003384 imaging method Methods 0.000 title claims abstract description 23
- 239000002131 composite material Substances 0.000 claims abstract description 8
- 238000005070 sampling Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 239000000523 sample Substances 0.000 description 27
- 238000001228 spectrum Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 201000001320 Atherosclerosis Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003143 atherosclerotic effect Effects 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000001093 holography Methods 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/361—Optical details, e.g. image relay to the camera or image sensor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Microscoopes, Condenser (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了一种基于滤光片阵列的无透镜显微成像装置及重构方法,该装置包括依次设置的多波长复合光源、散射片、针孔、滤光片阵列以及图像传感器,待测样本放置于针孔和滤光片阵列之间。本发明所公开的成像装置通过多波长复合光源经过针孔后照射到待测样本上,样本光波经过滤光片阵列后由图像传感器记录得到多波长混合全息图。最后通过重建算法将多波长混合全息图还原得到被测样本图像。发明实验装置具有快速、小型化、便携和成本低的优点。本发明的方法能够对稠密样本采集一张图像即可重建目标图像,方法快速简便,图像重建效果好,重建效率高。
Description
技术领域
本发明涉及显微成像技术领域,特别涉及一种基于滤光片阵列的无透镜显微成像装置及重构方法。
背景技术
自17世纪60年代被用于生物医学观察以来,光学显微镜一直是生物医学检测与分析的核心仪器。但是,现代检测应用对检测设备提出了现场化、即时化、快速化和便携化等要求,传统的显微镜由于体积和重量的限制,在上述场景下较难应用。显微设备的小型化、成本低廉化、操作简便化必然能够大大降低医疗检测的门槛,为资源条件有限的地区提供快捷、廉价的即时诊断工具。
近年来,同轴全息成像技术为设计显微镜提供了一种新的研究方向,可实现高度紧凑和高通量的无透镜显微成像。为了使系统结构紧凑,无透镜全息显微镜采用同轴全息形式,其中样本散射光波和参考光束光波在相同方向上共同传播,图像传感器记录了物体光波和参考光波之间的干涉全息图案。而后,通过数字全息重建方法从记录的全息图案中反演得到被测样本图像。无透镜全息显微技术消除了光学镜头在体积、重量、成像尺寸等方面的局限,较传统显微镜具有结构简单、体积小巧、操作简便、价格低廉等优点。
然而,传统无透镜全息显微镜对观测样本的稀疏度具有一定的要求。当样本目标在视野内占据较大空间或样本较为稠密时(例如病理切片和组织切片),不同样本衍射后会相互干涉,当干涉较为严重时,数字全息重建算法无法消除全息孪生像的干扰,导致重建结果中存在较大的伪像。
为了解决上述问题,研究人员尝试通过拍摄多幅具有一定差异的全息图像,通过增加物理约束消除孪生伪像的干扰,以实现稠密样本的重建。在多高度法中研究人员改变样本到探测器之间距离,拍摄样本在不同高度下的全息图,而后进行样本图像重构,研究表明多高度法中需要拍摄8张左右的全息图才能保证较好的重建结果,多高度法的主要缺点是需要增加位移台,系统较为复杂。此外,通过拍摄多个不同波长下的全息图像,利用波长约束也能够一定程度的消除孪生伪像。与多高度法类似,多波长法中也需要拍摄6-8张不同波长的全息图以保证较好的重建结果。但是上述方法需要针对每个波长拍摄一张样本全息图,图像采集速度慢,不适合对活动样本进行观测和采集。
发明内容
为解决上述技术问题,本发明提供了一种基于滤光片阵列的无透镜显微成像装置及重构方法,以达到装置小型化、成本低,能够对稠密样本采集一张图像即可重建目标图像,的目的。
为达到上述目的,本发明的技术方案如下:
一种基于滤光片阵列的无透镜显微成像装置,包括依次设置的多波长复合光源、散射片、针孔、滤光片阵列以及图像传感器,待测样本放置于针孔和滤光片阵列之间。
上述方案中,所述散射片为50°散射角的工程散射片。
上述方案中,所述针孔紧贴在散射片背部,孔径尺寸为100μm。
上述方案中,所述待测样本与针孔之间的间隔为6-10cm。
一种基于滤光片阵列的无透镜显微成像重构方法,采用上述的一种基于滤光片阵列的无透镜显微成像,包括如下步骤:
步骤1、记图像传感器采集所得图像Di位置的下采样光场强度图为Ii(x′,y′)((x′,y′)∈Di,i=1,2,...,N),N为波长的个数;
步骤3、对物面光场On(x,y)光波正向传播,得到探测器面光场Ei,n(x′,y′),其中,n为自然数,表示迭代次数,n=0时为初始猜测;
步骤5、对更新后的探测器面光场E′i,n(x′,y′)执行光波反向传播,得到更新后的物面光场O′n(x,y);
步骤6、上述步骤完成了对一个波长进行更新,令i=i+1,重复上述步骤更新其他每个波长的光场强度图,每个波长的光场强度图更新完毕为完成一次迭代;
步骤7、令n=n+1,重复步骤3~6,直到迭代次数达到预设的最大次数为止。
优选地,步骤5得到更新后的物面光场O′n(x,y)后,对结果O′n(x,y)进行小波域的支持域更新,具体方法如下:
其中,β为调节参数,一般取0.7~0.9;
其中,W为二维小波变换,W-1为二维小波逆变换。
通过上述技术方案,本发明提供的一种基于滤光片阵列的无透镜显微成像装置及重构方法通过多波长复合光源经过针孔后照射到待测样本上,样本光波经过滤光片阵列后由图像传感器记录得到多波长混合全息图。最后通过重建算法将多波长混合全息图还原得到被测样本图像。
发明实验装置具有快速、小型化、便携和成本低的优点。本发明的方法能够对稠密样本采集一张图像即可重建目标图像,方法快速简便,图像重建效果好,重建效率高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例所公开的一种基于滤光片阵列的无透镜显微成像装置示意图;
图2为本发明的多波长复合光源的三种LED色块分布示意图;
图3本发明的彩色工业相机的Bayer格式示意图;
图4为本发明的一种基于滤光片阵列的无透镜显微成像重构方法示意图;
图5为相机采集的动脉粥样硬化强度图像;
图6为反向传播物面光场初始猜测振幅图像;
图7为经过处理后的重构结果振幅图像。
图中,1、多波长复合光源;2、散射片;3、针孔;4、滤光片阵列;5、图像传感器;6、待测样本。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
本发明提供了一种基于滤光片阵列的无透镜显微成像装置,如图1所示,该装置包括依次设置的多波长复合光源1、散射片2、针孔3、滤光片阵列4以及图像传感器5,待测样本6放置于针孔3和滤光片阵列4之间。
所用多波长复合光源1为三波长LED光源,其中包含了红光(R)、绿光(G)和蓝光(G)三种LED色块,分布如图2,中心波长分别为红光λ1=632nm、绿光λ2=520nm、蓝光λ3=449nm。
本发明中在LED光源和针孔3之间放置了散射片2。所用散射片2为50°散射角的工程散射片,该散射片2将各LED色块光复合照射在生物样本上,且照射光更加均匀。
针孔3紧贴在散射片2背部,孔径尺寸为100μm,作用是对LED光源发出的光进行空间滤波,以保持较好的空间相干性。
样本为待观测显微样本,样本与针孔之间间隔为6-10cm。
本实施例中采用了彩色工业相机,其集成了滤光片阵列4和图像传感器5。彩色工业相机的滤光片阵列为Bayer格式分布的滤光片,如图3所示,即间隔放置的红色、绿色和蓝色滤光片。图像传感器的像元尺寸为1.85微米,相机与待测样本之间间隔约为0.5-10mm。
设全部像素为R,红、绿、蓝色滤光片位置像素分别为D1、D2、D3(i=1,2,3)。分别取出D1、D2、D3的数据,可以得到红、绿、蓝三色对应像素的下采样光场强度图,其中绿色的数据量是其他两种颜色的两倍。
利用上述装置进行样本数据采集。采集前,调节红、绿、蓝三色LED光源亮度,使得在相同曝光时间下相机所得图像具有相同灰度值。采集图像时,同时打开红、绿、蓝三色LED光源照射样本,记样本处物面光场为O(x,y),光波传播距离z后到达相机探测器,记像面光场为E(x′,y′),像机记录探测器面光场强度I(x′,y′)=|E(x′,y′)|2。
上述传播过程可通过光波近场衍射传播进行描述,可采用菲涅尔卷积法或角谱法等方式进行数值计算。本实施例中采用了角谱法进行实现。光波角谱传播计算了样本O(x,y)经过距离z的传播后,波长为λ的光波的像面光场为E(x′,y′)=ASP[O(x,y);λ,z],其计算过程如下:
因此,光波角谱传播计算形式为E(x′,y′)=ASP[O(x,y);λ,z]。
对所得图像按照Bayer格式分离出红、绿、蓝三色对应像素的下采样光场强度图,然后输入到重构算法中进行重构。如图4所示,具体计算过程如下:
步骤1、记图像传感器采集所得图像分离出的红、绿、蓝三色对应像素的下采样光场强度图为Ii(x′,y′)((x′,y′)∈Di,i=1,2,...,N),N为波长的个数;
步骤3、对物面光场On(x,y)使用光波角谱传播计算,进行角谱正向传播,得到探测器面光场Ei,n(x′,y′)=ASP[O0(x,y);λi,z],其中,n为自然数,表示迭代次数,n=0时为初始猜测;
步骤5、对更新后的探测器面光场E′i,n(x′,y′)执行角谱反向传播,On(x,y)=ASP[E′i,n(x′,y′);λi,-z],得到更新后的物面光场O′n(x,y);
步骤6、对步骤5的结果O′n(x,y)进行小波域的支持域更新:(此步骤可不进行,可以加快运行速度,但会降低重建质量):
其中,β为调节参数,一般取0.7~0.9;
其中,W为二维小波变换,W-1为二维小波逆变换。
步骤7、上述步骤3-6完成了对一个波长进行更新,令i=i+1,重复上述步骤更新其他每个波长的光场强度图,每个波长的光场强度图更新完毕为完成一次迭代;
步骤8、令n=n+1,重复步骤3~7,直到迭代次数达到预设的最大次数为止。
图5给出了相机采集的动脉粥样硬化强度图像。通过光波角谱反向传播计算模块找到物体所在平面,得到的物面光场初始猜测,其振幅如图6所示,可以看到图像中仍具有较多的伪纹,物体内部不易辨认。将初始化猜测带入重构算法中,经过处理后的重构结果振幅图像如图7,此图像清晰可见。图5-图7中右边部分图像为左边图像中黑色框内的图像放大图。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (5)
1.一种基于滤光片阵列的无透镜显微成像重构方法,其特征在于,采用一种基于滤光片阵列的无透镜显微成像装置进行成像,该成像装置包括依次设置的多波长复合光源、散射片、针孔、滤光片阵列以及图像传感器,待测样本放置于针孔和滤光片阵列之间;成像重构方法包括如下步骤:
步骤1、记图像传感器采集所得图像Di位置的下采样光场强度图为Ii(x′,y′)((x′,y′)∈Di,i=1,2,...,N),N为波长的个数;
步骤3、对物面光场On(x,y)光波正向传播,得到探测器面光场Ei,n(x′,y′),其中,n为自然数,表示迭代次数,n=0时为初始猜测;
步骤5、对更新后的探测器面光场E′i,n(x′,y′)执行光波反向传播,得到更新后的物面光场O′n(x,y);
步骤6、上述步骤完成了对一个波长进行更新,令i=i+1,重复上述步骤更新其他每个波长的光场强度图,每个波长的光场强度图更新完毕为完成一次迭代;
步骤7、令n=n+1,重复步骤3~6,直到迭代次数达到预设的最大次数为止。
2.根据权利要求1所述的一种基于滤光片阵列的无透镜显微成像重构方法,其特征在于,所述散射片为50°散射角的工程散射片。
3.根据权利要求1所述的一种基于滤光片阵列的无透镜显微成像重构方法,其特征在于,所述针孔紧贴在散射片背部,孔径尺寸为100μm。
4.根据权利要求1所述的一种基于滤光片阵列的无透镜显微成像重构方法,其特征在于,所述待测样本与针孔之间的间隔为6-10cm。
5.根据权利要求1所述的一种基于滤光片阵列的无透镜显微成像重构方法,其特征在于,步骤5得到更新后的物面光场O′n(x,y)后,对结果O′n(x,y)进行小波域的支持域更新,具体方法如下:
其中,β为调节参数,取0.7~0.9;
其中,W为二维小波变换,W-1为二维小波逆变换。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911260562.9A CN110989155B (zh) | 2019-12-10 | 2019-12-10 | 一种基于滤光片阵列的无透镜显微成像装置及重构方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911260562.9A CN110989155B (zh) | 2019-12-10 | 2019-12-10 | 一种基于滤光片阵列的无透镜显微成像装置及重构方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110989155A CN110989155A (zh) | 2020-04-10 |
CN110989155B true CN110989155B (zh) | 2021-12-14 |
Family
ID=70092072
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911260562.9A Active CN110989155B (zh) | 2019-12-10 | 2019-12-10 | 一种基于滤光片阵列的无透镜显微成像装置及重构方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110989155B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112130306B (zh) * | 2020-09-17 | 2022-02-18 | 浙江大学山东工业技术研究院 | 运用于细胞分割下的cmos全息显微成像装置及方法 |
CN114859543B (zh) * | 2022-05-20 | 2023-05-12 | 清华大学深圳国际研究生院 | 一种基于rgb led光源的高分辨无透镜显微镜 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105158894A (zh) * | 2015-09-29 | 2015-12-16 | 南京理工大学 | 基于彩色led阵列照明的无透镜相位显微层析装置及图像重构方法 |
CN109358480A (zh) * | 2018-09-13 | 2019-02-19 | 天津农学院 | 一种数字像面全息显微图的优化方法 |
CN110308547A (zh) * | 2019-08-12 | 2019-10-08 | 青岛联合创智科技有限公司 | 一种基于深度学习的稠密样本无透镜显微成像装置与方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11079719B2 (en) * | 2017-07-05 | 2021-08-03 | Accelerate Diagnostics, Inc. | Lens-free holographic optical system for high sensitivity label-free microbial growth detection and quantification for screening, identification, and susceptibility testing |
-
2019
- 2019-12-10 CN CN201911260562.9A patent/CN110989155B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105158894A (zh) * | 2015-09-29 | 2015-12-16 | 南京理工大学 | 基于彩色led阵列照明的无透镜相位显微层析装置及图像重构方法 |
CN109358480A (zh) * | 2018-09-13 | 2019-02-19 | 天津农学院 | 一种数字像面全息显微图的优化方法 |
CN110308547A (zh) * | 2019-08-12 | 2019-10-08 | 青岛联合创智科技有限公司 | 一种基于深度学习的稠密样本无透镜显微成像装置与方法 |
Non-Patent Citations (1)
Title |
---|
Comparative study of fully three-dimensional;Anthony Berdeu 等;《Applied Optics》;20170501;第56卷(第13期);第3939-3951页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110989155A (zh) | 2020-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210181673A1 (en) | Device and method for iterative phase recovery based on pixel super-resolved on-chip holography | |
Zuo et al. | Wide-field high-resolution 3D microscopy with Fourier ptychographic diffraction tomography | |
WO2020087966A1 (zh) | 基于led阵列编码照明的三维衍射层析显微成像方法 | |
CN106896489B (zh) | 基于波长复用的频域拼贴显微系统及其方法 | |
US20220206434A1 (en) | System and method for deep learning-based color holographic microscopy | |
CN109884018B (zh) | 一种基于神经网络的亚微米级无透镜显微成像方法及系统 | |
Liu et al. | Deep learning‐based color holographic microscopy | |
JP4772961B2 (ja) | ディジタル・ホログラムを数値的に再構成することにより、振幅コントラスト画像と定量的位相コントラスト画像を同時に形成する方法 | |
CN109828371B (zh) | 一种基于移动散斑光源的大视场散射成像方法 | |
CN109709786B (zh) | 一种超分辨率数字全息成像系统和成像方法 | |
US10664685B2 (en) | Methods, systems, and devices for optical sectioning | |
WO2013018024A1 (en) | Apparatus and method for quantitative phase tomography through linear scanning with coherent and non-coherent detection | |
CN110989155B (zh) | 一种基于滤光片阵列的无透镜显微成像装置及重构方法 | |
CN115220211B (zh) | 基于深度学习和光场成像的显微成像系统及方法 | |
CN113568156B (zh) | 一种光谱显微成像装置及实现方法 | |
CN115144371A (zh) | 基于波长扫描的无透镜傅里叶叠层衍射层析显微成像方法 | |
CN112327473A (zh) | 无透镜显微成像系统及基于平均投影迭代的图像重构方法 | |
CN110455834A (zh) | 基于光强传输方程的x射线单次曝光成像装置及方法 | |
CN111917964B (zh) | 一种无透镜荧光显微成像装置及其图像重建方法 | |
CN113223106A (zh) | 一种基于深度学习的少角度数字全息层析重建算法 | |
WO2022002399A1 (en) | Multicore fiber endoscope for phase imaging based on intensity recording using deep neural networks | |
CN116337811A (zh) | 基于对向照明的光学衍射层析显微成像方法 | |
Sokol et al. | The Use of Digital Interferometry Devices to Analyze the State of Red Blood Cell Membranes | |
CN112288633A (zh) | 一种新型亚像素分辨率衍射成像方法 | |
Shevkunov et al. | CNN-assisted quantitative phase microscopy for biological cell imaging. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |