CN106442412A - 超分辨率算法的多层同轴全息显微成像系统和成像方法 - Google Patents
超分辨率算法的多层同轴全息显微成像系统和成像方法 Download PDFInfo
- Publication number
- CN106442412A CN106442412A CN201610787259.4A CN201610787259A CN106442412A CN 106442412 A CN106442412 A CN 106442412A CN 201610787259 A CN201610787259 A CN 201610787259A CN 106442412 A CN106442412 A CN 106442412A
- Authority
- CN
- China
- Prior art keywords
- resolution
- super
- sample
- computer
- imaging system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 claims abstract description 18
- 230000001427 coherent effect Effects 0.000 claims abstract description 11
- 239000008280 blood Substances 0.000 claims description 3
- 210000004369 blood Anatomy 0.000 claims description 3
- 210000004027 cell Anatomy 0.000 claims description 3
- 210000003296 saliva Anatomy 0.000 claims description 3
- 238000001093 holography Methods 0.000 claims description 2
- 230000001788 irregular Effects 0.000 claims description 2
- 239000000523 sample Substances 0.000 abstract description 38
- 239000012472 biological sample Substances 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 2
- 239000010410 layer Substances 0.000 description 9
- 239000000428 dust Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000000879 optical micrograph Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
- G01N21/45—Refractivity; Phase-affecting properties, e.g. optical path length using interferometric methods; using Schlieren methods
- G01N21/453—Holographic interferometry
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Microscoopes, Condenser (AREA)
Abstract
一种超分辨率算法的多层数字同轴全息成像系统和成像方法，该系统含有同轴的相干光源、设置多层样品的和成像芯片，所述的样品架具有驱动的微型马达，所述的成像芯片的输出端与计算机或电脑的输入端相连。利用超分辨率算法，将所述的N幅较低分辨率的全息图重构成为N幅具有不同焦距的高分辨率全息重构图。本发明系统摆脱了精确移动结构，具有结构简化、可用于各种典型的多层生物样品及非生物样品的特点，成像方法利用超分辨率算法，是确定性方法，具有超分辨率效果。通过多幅低分辨率的图像得到高分辨率重构图像。
Description
技术领域
本发明涉及全息显微成像，特别是一种超分辨率算法的多层同轴全息显微成像系统和成像方法。
技术背景
光学显微成像被广泛应用于生物医学、材料等领域，是现代科学不可缺少的工具。普通光学显微镜一般包括显微物镜，加上目镜或成像透镜将样品放大成像于人眼或成像芯片上。多年来，显微镜的基本结构并没有改变，最新的显微技术一般也是基于传统显微镜的结构。显微物镜是传统显微镜的核心，它必须具有较大的数值孔径以得到微米和亚微米级的分辨率，同时需要消除各种像差、色差等，以得到良好的成像质量。为了达到这些目的，一个好的显微物镜一般都是精心设计的组合透镜组，成本较高。例如一个高端的显微物镜价格可以达到几千美元。
近年来，出于降低显微成像成本和制作便携系统的需要，无透镜的显微成像技术已成为研究的热点之一。在无透镜成像技术中，全息成像是一种重要的、具有独特优势的方法。全息成像技术已有很多年的历史，目前的全息成像技术一般是利用成像芯片记录全息图像，然后通过数值计算重构出样品的图像、即数字全息成像技术。全息成像技术得到的重构样品分辨率主要取决于相机的像素尺寸。目前成像芯片的像素大小不小于2.2μm，使得生物样品细节在重构中丢失。超分辨算法已经应用在多种系统中，用以超越成像分辨率极限，得到更高分辨率。超分辨率算法是一种利用多组(一幅)低分辨率图片得到多组(一幅)高分辨图片的方法，其原理是利用低分辨率图片中相对移动或者相机模糊造成的相对变化，在样品信息重构得到高分辨率图片。全息成像系统与超分辨算法的解释近些年引起科学家的关注。图1是现有种超分辨率算法重构的同轴全息成像系统(摘自Waheb Bishara,UzairSikora,Onur Mudanyal,Su Ting-Wei,Oguzhan Yaglidere,Shirley Luckhart,andAydogan Ozcan,“Holographic pixel super-resolution in portable lensless on-chip microscopy using a fiber-optic array,”Lib Chip 11,10.1039(2011))；目前这种结构相对简单。图中，1:23个LED光源，2：物平面，3：成像平面，系统利用23个相邻可以独立控制的LED作为光源，通过滤波片增加LED光的相干性，经过样品面的光在成像面形成全息图。通过控制LED光源依次通电，可以在成像面形成一组有相对移动的全息图。这些低分辨率全息图通过超分辨算法重构成为一幅超越相机像素的高分辨的全息图。通过重构即可得到样品的高分辨率重构图片。但是这种方法存在的问题是在迭代估计中需要在算法中设立一个标准判断此有限支持的所在地。因此这种方法只适用于具有孤立源样品信息，另外需要人工设立标准判断有限支持也表明这种算法是一种估计方法，而不是确定性方法，其结果依赖于人工输入和样品的具体情况。同时该方法只适应单层结构样品，限制了全息成像的用途，使得样品的精度和制作有较高的制作要求。
综上所述，现有的超分辨率数字同轴全息重构方法存在的主要问题是：
(1)基于有限支持的迭代重构算法为估计性方法，依赖于人工设定和样品具体情况。
(2)样品的单层结构，限制了该全息系统的应用范围。以上存在的问题制约了基于超分辨算法的数字同轴全息重构成像方法的进一步发展。
发明内容
为了克服上述现有技术的问题，本发明提供一种超分辨率算法的多层数字同轴全息成像系统和成像方法，该系统摆脱精确移动结构，具有结构简化、可用于各种典型的多层生物样品及非生物样品的特点，成像方法是确定性方法，具有超分辨率效果。通过多幅低分辨率的图像得到高分辨率重构图像。
本发明的技术解决方案如下：
一种超分辨算法的同轴全息成像系统，特点在于含有同轴的相干光源、设置多层样品的样品架和成像芯片，所述的样品架具有驱动的微型马达，所述的成像芯片的输出端与计算机或电脑的输入端相连。
所述的多层样品一般为生物医学样品，包括血液，唾液或细胞等。
所述的光源一般为扩束后的激光，或经过小孔提高相干性后的其他光源，如LED。
所述的成像芯片可以为CMOS或CCD二维成像芯片。
所述的外围电路提供图象的采集，处理，显示及存储功能。
所述的样品架供放置普通显微镜的载波片，或者自行设计的载波片。
利用超分辨算法的同轴全息成像系统的全息成像方法，包括下列步骤：
1)将多层样品置于样品台上，使所述的N层样品层进行无规律移动，N为所述的多层样品的层数，所述的相干光源输出的相干光照射所述的多层样品，照射光和样品的散射的光在所述的成像芯片上干涉而形成全息图输入所述的计算机或电脑，通过随机移动样品面的样品，其强度信息分别被成像芯片依次记录下来，获得一组N幅较低分辨率的全息图；
2)所述的计算机或电脑利用超分辨率算法，将所述的N幅较低分辨率的全息图重构成为N幅具有不同焦距的高分辨率全息重构图。根据N层样品具有不同重构距离，将每一幅全息图进行N次单次重构，得到N组具有不同聚焦距离的单次重构图组，其过程是将全息探测面的强度信息，利用标量衍射公式传播至样品面上，得到样品面的强度信息。
本发明的技术效果要点：
1)本发明成像过程不需要透镜，是通过同轴全息的强度图样对样品图象进行重构，样品一般为生物医学样品，例如血液，唾液，细胞等。
2)具有超分辨率效果。数字同轴全息成像结构中加入了超分辨率算法，通过多幅低分辨率的图像得到一幅高分辨率重构图像。这里多幅低分辨率图片可以随机移动样品面通过相机连续采集得到，可以简化系统结构，摆脱精确移动结构。
3)支持多层样品结构。样品面具有多层结构，可以同时得到多层样品的高分辨率重构结果。图片像素小于成像芯片的像素尺寸，可以实现超分辨成像的目的。
附图说明
图1是现有种超分辨率算法重构的同轴全息成像系统
图2是本发明超分辨算法的同轴全息成像系统简图
图3是本发明超分辨算法的同轴全息成像系统实物图
图4是双层结构同轴全息实验结果图
具体实施方式
下面结合附图和实施例对本发明基于超分辨率算法的多层同轴全息显微成像作进一步描述。
先请参阅图3，图3是本发明超分辨算法的同轴全息成像系统实物图，由图可见，本发明超分辨算法的同轴全息成像系统，含有同轴的相干光源、设置多层样品的样品架和成像芯片，所述的样品架具有驱动的微型马达，所述的成像芯片的输出端与计算机或电脑的输入端相连。
本实施例，相干光源1利用激光光源，波长是473nm，相干光经过10cm的传播距离后到达样品面3。样品面是双层结构，底层是美国空军标准分辨率(USAF)样板，上层是掉落在样板另一层的灰尘。样品面与成像层距离为3mm。相干光经过样品，相位发生变化，在成像平面与未经过样品的光干涉形成全息图。通过微型马达2随意移动样品面，多幅具有相对移动的全息图被成像芯片4依次采集下来，记录到电脑中。
本发明在电脑上对这多幅低分辨率全息图进行处理。全息图中含有双层样品的信息，通过MATLAB程序，找出全息图双层样品的不同重构距离，使双层的样品分别能很好的聚焦。
利用两个重构距离，分别对多幅低分辨率全息图进行单次重构，得到两层样品的有相对移动的重构图。超分辨率算法即可以应用在两组低分辨率重构图中，分别进行图片重构，即可得到两幅具有高分率的样品重构图，如图4所示，(a)为USAF样板面的高分辨率重构图，(b)为样板另一面灰尘的高分辨率重构图，(1)点含有明显的灰尘样品，(2)点为USAF样板中较小光栅结构，(a)中(2)点光栅具有很好的重构结果，而(1)点中灰尘重构结果并不理想，(b)中(1)点灰尘重构结果理想，而并不能清晰呈现(2)中小光栅结构。
实验表明，本发明具有结构简化、可用于各种典型的多层生物样品及非生物样品的特点，成像方法是确定性方法，具有超分辨率效果。通过多幅低分辨率的图像得到高分辨率重构图像。
Claims (7)
1.一种超分辨算法的同轴全息成像系统，其特征在于该系统含有同轴的相干光源、设置多层样品的样品架和成像芯片，所述的样品架具有驱动的微型马达，所述的成像芯片的输出端与计算机或电脑的输入端相连。
2.根据权利要求1所述的超分辨算法的同轴全息成像系统，其特征在于所述的样品一般为生物医学样品，包括血液，唾液或细胞。
3.根据权利要求1所述的超分辨算法的同轴全息成像系统，其特征在于所述的光源为扩束后的激光，或经过小孔提高相干性后的其他光源。
4.根据权利要求1所述的超分辨算法的同轴全息成像系统，其特征在于所述的成像芯片为CMOS或CCD二维成像芯片。
5.根据权利要求1所述的超分辨算法的同轴全息成像系统，其特征在于所述的计算机或电脑具有进行高分辨率重构的图象的采集、处理、显示和存储功能。
6.根据权利要求1至5任一项所述的超分辨算法的同轴全息成像系统，其特征在于所述的样品架供放置普通显微镜的载波片，或者自行设计的载波片。
7.利用权利要求1所述的超分辨算法的同轴全息成像系统的全息成像方法，包括下列步骤：
1)将多层样品置于样品台上，使所述的N层样品层进行无规律移动，N为所述的多层样品的层数，所述的相干光源输出的相干光照射所述的多层样品，照射光和样品的散射的光在所述的成像芯片上干涉而形成全息图输入所述的计算机或电脑，通过随机移动样品面的样品，其强度信息分别被成像芯片依次记录下来，获得一组N幅较低分辨率的全息图；
2)所述的计算机或电脑利用超分辨率算法，将所述的N幅较低分辨率的全息图重构成为N幅具有不同焦距的高分辨率全息重构图，根据N层样品具有不同重构距离，将每一幅全息图进行两次单次重构，得到两组具有不同聚焦距离的单次重构图组，其过程是将全息探测面的强度信息，利用标量衍射公式传播至样品面上，得到样品面的强度信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610787259.4A CN106442412B (zh) | 2016-08-31 | 2016-08-31 | 利用超分辨率算法的同轴全息成像系统的成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610787259.4A CN106442412B (zh) | 2016-08-31 | 2016-08-31 | 利用超分辨率算法的同轴全息成像系统的成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106442412A true CN106442412A (zh) | 2017-02-22 |
| CN106442412B CN106442412B (zh) | 2019-01-29 |
Family
ID=58163598
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610787259.4A Expired - Fee Related CN106442412B (zh) | 2016-08-31 | 2016-08-31 | 利用超分辨率算法的同轴全息成像系统的成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106442412B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107145052A (zh) * | 2017-05-24 | 2017-09-08 | 上海交通大学 | 基于数字插值和相位迭代的全息显微成像方法 |
| CN109596587A (zh) * | 2018-12-12 | 2019-04-09 | 中国科学院苏州生物医学工程技术研究所 | 双层同时成像的光学系统及其图像处理方法、设备、介质 |
| CN111458858A (zh) * | 2020-04-13 | 2020-07-28 | 北京理工大学 | 一种超分辨率同轴数字全息显微成像系统与方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2778284A1 (en) * | 2009-10-20 | 2011-04-28 | The Regents Of The University Of California | Incoherent lensfree cell holography and microscopy on a chip |
| CN104634793A (zh) * | 2015-02-04 | 2015-05-20 | 南京理工大学 | 共轴数字全息显微成像装置及检测玻璃亚表面缺陷的方法 |
| CN105739279A (zh) * | 2014-12-11 | 2016-07-06 | 上海交通大学 | 基于全息图强度信息的迭代重构成像方法 |
| CN105874391A (zh) * | 2013-12-02 | 2016-08-17 | Imec 非营利协会 | 用于执行物体的同轴无透镜数字全息术的装置和方法 |
-
2016
- 2016-08-31 CN CN201610787259.4A patent/CN106442412B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2778284A1 (en) * | 2009-10-20 | 2011-04-28 | The Regents Of The University Of California | Incoherent lensfree cell holography and microscopy on a chip |
| CN105874391A (zh) * | 2013-12-02 | 2016-08-17 | Imec 非营利协会 | 用于执行物体的同轴无透镜数字全息术的装置和方法 |
| CN105739279A (zh) * | 2014-12-11 | 2016-07-06 | 上海交通大学 | 基于全息图强度信息的迭代重构成像方法 |
| CN104634793A (zh) * | 2015-02-04 | 2015-05-20 | 南京理工大学 | 共轴数字全息显微成像装置及检测玻璃亚表面缺陷的方法 |
Non-Patent Citations (2)
| Title |
|---|
| WAHEB BISHARA ET AL.: "Holographic pixel super-resolution in portable lensless on-chip microscopy using a fiber-optic array", 《LAB CHIP》 * |
| 陈云鹏: "无透镜数字全息显微成像研究", 《中国优秀硕士学位论文全文数据库 基础科学辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107145052A (zh) * | 2017-05-24 | 2017-09-08 | 上海交通大学 | 基于数字插值和相位迭代的全息显微成像方法 |
| CN107145052B (zh) * | 2017-05-24 | 2019-07-09 | 上海交通大学 | 基于数字插值和相位迭代的全息显微成像方法 |
| CN109596587A (zh) * | 2018-12-12 | 2019-04-09 | 中国科学院苏州生物医学工程技术研究所 | 双层同时成像的光学系统及其图像处理方法、设备、介质 |
| CN111458858A (zh) * | 2020-04-13 | 2020-07-28 | 北京理工大学 | 一种超分辨率同轴数字全息显微成像系统与方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106442412B (zh) | 2019-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220254538A1 (en) | Fourier ptychographic imaging systems, devices, and methods | |
| Pan et al. | High-resolution and large field-of-view Fourier ptychographic microscopy and its applications in biomedicine | |
| Wu et al. | Three-dimensional virtual refocusing of fluorescence microscopy images using deep learning | |
| de Haan et al. | Deep-learning-based image reconstruction and enhancement in optical microscopy | |
| Rivenson et al. | Phase recovery and holographic image reconstruction using deep learning in neural networks | |
| Ren et al. | Fringe pattern improvement and super-resolution using deep learning in digital holography | |
| Huang et al. | Holographic image reconstruction with phase recovery and autofocusing using recurrent neural networks | |
| US20220058776A1 (en) | Systems and methods for two-dimensional fluorescence wave propagation onto surfaces using deep learning | |
| Luo et al. | Synthetic aperture-based on-chip microscopy | |
| Zhang et al. | 3D imaging of optically cleared tissue using a simplified CLARITY method and on-chip microscopy | |
| Li et al. | Deep DIH: single-shot digital in-line holography reconstruction by deep learning | |
| CN109884018B (zh) | 一种基于神经网络的亚微米级无透镜显微成像方法及系统 | |
| Xiao et al. | Video-rate volumetric neuronal imaging using 3D targeted illumination | |
| Greer et al. | Fast objective coupled planar illumination microscopy | |
| US6876474B2 (en) | Method for tracking particles and life forms in three dimensions and in time | |
| CN106442412A (zh) | 超分辨率算法的多层同轴全息显微成像系统和成像方法 | |
| Zhang et al. | Rapid detection of neurons in widefield calcium imaging datasets after training with synthetic data | |
| Wu et al. | Learned end-to-end high-resolution lensless fiber imaging towards real-time cancer diagnosis | |
| Kim | Single-shot light-field microscopy: an emerging tool for 3D biomedical imaging | |
| Schmied et al. | Open-source solutions for SPIMage processing | |
| Nöbauer et al. | Mesoscale volumetric light-field (MesoLF) imaging of neuroactivity across cortical areas at 18 Hz | |
| Lu et al. | A practical guide to scanning light-field microscopy with digital adaptive optics | |
| Greene et al. | Pupil engineering for extended depth-of-field imaging in a fluorescence miniscope | |
| Guo et al. | EventLFM: Event camera integrated Fourier light field microscopy for ultrafast 3D imaging | |
| CN105739279A (zh) | 基于全息图强度信息的迭代重构成像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190129 |