CN108537842A - 差分相衬显微成像中背景非均匀性的校正与补偿方法 - Google Patents
差分相衬显微成像中背景非均匀性的校正与补偿方法 Download PDFInfo
- Publication number
- CN108537842A CN108537842A CN201711484809.6A CN201711484809A CN108537842A CN 108537842 A CN108537842 A CN 108537842A CN 201711484809 A CN201711484809 A CN 201711484809A CN 108537842 A CN108537842 A CN 108537842A
- Authority
- CN
- China
- Prior art keywords
- image
- background
- sample
- correction
- phase contrast
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000003384 imaging method Methods 0.000 title claims abstract description 61
- 238000012937 correction Methods 0.000 title claims abstract description 56
- 230000003044 adaptive effect Effects 0.000 claims abstract description 19
- 238000005286 illumination Methods 0.000 claims abstract description 14
- 238000009826 distribution Methods 0.000 claims abstract description 5
- 238000012546 transfer Methods 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000000694 effects Effects 0.000 claims description 11
- 238000000513 principal component analysis Methods 0.000 claims description 8
- 238000003491 array Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000001678 irradiating effect Effects 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 2
- 230000017105 transposition Effects 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 description 9
- 238000010521 absorption reaction Methods 0.000 description 4
- 230000021615 conjugation Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 201000005296 lung carcinoma Diseases 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000000399 optical microscopy Methods 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明公开了一种差分相衬显微成像中背景非均匀性的校正与补偿方法，采用背景预标定或者自适应背景拟合方法，在背景预标定方法中，采集不放置样品时的图像作为背景图像，在后续的计算中通过减法或者除法操作消去图像的非均匀性。在差分相衬成像中，图像的不均匀性在照明方向上是线性分布的，基于这点，自适应背景拟合方采取三种拟合背景图像，在后续的计算中通过减法或者除法操作消去图像的非均匀性。本发明以解决差分相衬成像系统采集图像时存在的图像亮暗不均匀的问题，在保证差分相衬成像显微镜系统成像速度的基础上提升成像质量以及相位求解精度。
Description
技术领域
本发明属于光学显微成像技术的图像校正领域，特别是一种差分相衬显微成像中背景非均匀性的校正与补偿方法。
背景技术
细胞作为有机体构成和生命活动的基本单位，其结构的准确、清晰、定量重现一直以来都对生物医学和生命科学界的研究起着至关重要的作用。然而大部分生物细胞是无色透明的，在可见光波段具有弱吸收性，光线透过细胞之后不会引起光强的明显变化，这使得细胞观察无法实现。
在显微技术领域，有两种方式来解决这个问题，第一种采用“标记”的手段，依赖染色剂改变细胞的弱吸收性质，实现可见光下细胞的可见性。但这样的方法却也对细胞的活性产生了不利影响，染色剂或者荧光染色剂往往会给细胞造成损伤甚至杀死细胞。泽尼克相衬显微提供了第二种观察无色透明细胞的手段即“无标记”成像技术，它利用光的衍射和干涉特性，根据空间滤波的原理改变物光波的频谱相位，将相位差转换成振幅差从而大大地提高了透明相位物体在光学显微镜下的可分辨性。随后出现的诺马斯基微分干涉相衬显微也实现了类似的效果，它基于偏振分光干涉原理，其可将样品的相位梯度转换为强度差反映出来，形成的是一种伪三维立体浮雕图像，具有很强的立体感。
差分相衬技术也成功实现类似的效果，它通过采集非对称照明下的样品图像，利用图像差实现增强图像衬度的效果，最终的结果呈现伪浮雕的三维结果，可以定性的反应样品的凹凸信息。在此基础上，多位学者提出了多种方法改善差分相衬的结果，例如，田磊等在2015年提出了差分相衬成像定量相位成像技术，成功利用差分相衬成像技术实现了样品定量相位的求解(Tian L,Waller L.Quantitative differential phase contrastimaging in an LED array microscope[J].Optics express,2015,23(9):11394-11403.)。虽然有多项技术方法可提高差分相衬成像的结果，但是在差分相衬成像显微镜系统中，仍存在采集图像亮暗不均匀的问题，不管是普通的差分相衬成像还是差分相衬定量相位成像系统中，这都会严重影响最终的成像效果。在差分相衬成像中，最终的伪浮雕结果会呈现亮暗不均匀，在差分相衬定量相位成像中，这会使得最终求得的相位图像边缘出现严重的错误。因此，如何快速有效的校正或补偿差分相衬成像中图像的非均匀性就成为目前差分相衬成像技术必须解决的一大难题。
发明内容
本发明的目的在于提供一种差分相衬显微成像中背景非均匀性的校正与补偿方法，以解决差分相衬成像系统采集图像时存在的图像亮暗不均匀的问题，在保证差分相衬成像显微镜系统成像速度的基础上提升成像质量以及相位求解精度。
实现本发明目的的技术解决方案为：一种差分相衬显微成像中背景非均匀性的校正与补偿方法，其特征在于采用背景预标定的步骤如下：
步骤一，相位传递函数计算：采用弱相位物体近似，计算当前参数下系统的相位传递函数，保存成固定数据格式，后续计算直接读入；
步骤二，图像采集：利用LED阵列产生上、下、左、右四个方向的半圆形或者半环形照明图案，不放置样品采集四幅背景图像，放置样品采集四幅样品图像；
步骤三，图像校正：对采集的四幅样品图像和四幅背景图像做减法或者除法计算，对计算结果进行数值修正得到校正后的样品图像；
步骤四，差分图像计算：利用差分相衬成像算法，对校正后的样品图像进行计算，得到两幅差分样品图像；
步骤五，定量相位计算：利用上面求得的两幅差分样品图像以及相位传递函数，采用Tikhonov准则计算样品的差分相衬定量相位结果；
或者采用自适应背景拟合的步骤如下：
步骤一，相位传递函数计算：采用弱相位物体近似，计算当前参数下系统的相位传递函数，保存成固定数据格式，后续计算直接读入；
步骤二，图像采集：利用LED阵列产生上、下、左、右四个方向的半圆形或者半环形照明图案，放置样品采集四幅样品图像；
步骤三，差分图像计算：利用差分相衬成像算法对四幅样品图像进行计算，得到两幅差分样品图像；
步骤四，图像校正：利用自适应图像背景拟合算法对两幅差分样品图像的背景进行拟合，利用减法或者除法运算校正补偿不均匀背景；
步骤五，自适应校正判断：对校正后的差分图像再次利用背景拟合算法拟合出背景图像，对二次背景计算标准差，设定阈值进行判断，以二次背景图像的标准差作为判断依据对是否达到去除非均匀性的效果进行判断；
步骤六，定量相位计算：利用步骤二得到的校正后两幅差分样品图像以及光学传递函数，采用Tikhonov准则计算样品的差分相衬定量相位结果。
本发明与现有技术相比，其显著优点：(1)在现有差分相衬成像技术中引入图像非均匀性校正过程，有效的校正了图像非均匀性带来的误差，提升差分相衬的成像质量。(2)从实现速度来看，同一套系统中，校正所需多项参数仅需计算一次就可以满足后续校正，且校正过程简单快捷，不会产生明显的计算时间。(3)从实现手段来看，不仅可以对原始采集的非均匀图像进行校正，也可以对经过差分相衬计算后的图像进行非均匀性校正。(4)从应用来看，不仅可以应用于差分相衬成像系统，并且可以应用于差分相衬定量相位成像系统，在保证系统成像速度的基础上提升差分相衬图像以及细胞的定量相位结果。(5)可选择重构单通道差分相衬结果或者彩色差分相衬结果。若选择彩色差分相衬，则需要对采集图像按通道进行图像校正，再对校正后的三通道进行彩色融合即可。针对发明提及的多种方案进行了实验，结果显示任一种校正方法都可以很好的校正图像非均匀性，提升成像质量。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为背景预标定方法步骤流程示意图。
图2为自适应背景拟合方法步骤流程示意图。
图3为差分相衬成像采集图像时LED照明图案示意图，分别可采用半圆形或者半环形进行照明。
图4为背景标定方法以及自适应背景拟合方法的差分相衬成像结果，图4(a1)、4(a2)为未进行校正的上下以及左右差分相衬计算结果，4(b1)、4(b2)、4(c1)、4(c2)、4(d1)、4(d2)、4(e1)、4(e2)分别本发明专利提出的背景预标定、投影叠加拟合、局部均值双线性拟合以及主成分拟合方法对应的差分相衬计算结果。
图5为背景标定方法以及自适应背景拟合方法的差分相衬定量相位结果。图5(a)为未进行校正的差分相衬定量相位计算结果，5(b)、5(c)、5(d)、5(e)分别本发明专利提出的背景预标定、投影叠加拟合、局部均值双线性拟合以及主成分拟合方法对应的差分相衬定量相位结果。
具体实施方式
本发明差分相衬显微成像中背景非均匀性的校正与补偿方法所依赖的实际硬件平台是基于可编程LED阵列的显微镜系统，整个系统包括图像采集相机、显微物镜、样片、载物台、可编程LED光源。LED阵列作为显微镜的照明光源，其被直接安置在样品载物台下方，其距离载物台的上表面距离H一般在20-100mm之间，并且LED阵列的中心处于显微物镜的光轴上。LED阵列中包括若干个LED元素，它们规则排布形成一个二维阵列。其中单个LED元素均为红绿蓝三色LED，其典型波长为红光635nm、绿光525nm和蓝光475nm。每个LED元素之间中心间距d典型值1-10mm。LED阵列并不需要进行单独加工，一般在市场上可直接购置。其包含呈阵列排列的一组多个LED，这些LED通过固定基板实现物理与电路连接。
LED阵列中每个LED元素均可通过实现单独点亮，点亮LED元素的具体方法为现有技术，实现电路可以采用(但不限于)单片机、ARM、或者可编程逻辑器件等现有技术即可实现，具体实现方法可参考相关文献，如郭宝增,邓淳苗：基于FPGA的LED显示屏控制系统设计[J].液晶与显示,2010,25(3):424-428。
结合图1，本发明差分相衬显微成像中背景非均匀性的校正与补偿方法，采用背景预标定的校正与补偿，具体步骤如下：
步骤一，系统相位传递函数计算：采用弱相位物体近似，计算当前参数下系统的相位传递函数，保存成固定数据格式，后续计算直接读入。
首先分析单个点光源照明下的强度分布，以o(r)表示样品的复振幅透过率，表示为o(r)＝exp[-μ(r)+iφ(r)]，μ(r)表示样品的吸收，φ(r)代表样品的相位，r＝(x,y)表示样品坐标。单个点光源照明分布用q(r)表示。P(u")来表示光瞳函数，u"表示光瞳面的坐标，则单个点光源照明下相机采集的图像强度为
I(rc)＝|∫∫[∫∫q(r)o(r)exp(-2πru")d2r]P(u")exp(-i2πu"rc)d2u")|2 (1)
其中，rc表示相机平面的坐标。差分相称成像的照明模式采用非相干照明，假设其照明的强度分布为S(u')，u'表示光源的坐标。那么，相机采集的图像强度等于单个点光源得到的图像强度的叠加，表示为
I(rc)＝∫∫|∫∫[∫∫q(r)o(r)exp(-2πru")d2r]P(u")exp(-i2πu"rc)d2u")|2d2u'
(2)
在LED阵列放置在离样品较远的位置时，每个LED的照明近似为平面波照明，照明可以表示为
采用弱相位近似时，样品的复传递函数可以表示为o(r)≈1-μ(r)+iφ(r)，忽略μ(r)和φ(r)的相关项，则可以得到
o(r)o*(r')≈1-[μ(r)+μ(r')]+i[φ(r)-φ(r')] (4)
可以看到，上式中强度被分为三个部分：背景项，吸收项和相差项。为了进一步对传递函数进行分析，将公式(3)和(4)带入公式(2)中，对方程式两边的做傅立叶变换，得到强度的频谱表示为三个项的和
其中，代表傅里叶变换，u＝(ux,uy)表示空间频率坐标。
公式(5)中的背景项通过测量成像系统总能量得到
B＝∫∫S(u')|P(u')|2d2u'
弱对象近似的好处在于由吸收和相位差异是去耦并且线性的，因此可以独立进行分析。吸收的频率响应由吸收传递函数表征，吸收传递函数表示为
Habs(u)＝-[∫∫S(u')P*(u')P(u'+u)d2u'+∫∫S(u')P*(u')P(u'-u)d2u'] (6)
相位的频率响应由相位传递函数表征，相位传递函数表示为
Hph(u)＝i[∫∫S(u')P*(u')P(u'+u)d2u'-∫∫S(u')P*(u')P(u'-u)d2u'] (7)
由于相位传递函数只和系统参数和物镜参数有关，所以同一系统中每个物镜的相位传递函数Hph(u)只需要计算一次，以数值矩阵的方式保存成固定数据格式，后续计算直接读入即可。
步骤二，图像采集：利用LED阵列产生不对称光照，照明样品采集四幅样品图像，同样的照明情况下不放置样品采集四幅背景图像。
点亮可编程LED阵列，产生如图3所示上、下、左、右四个方向的不对称照明，以半圆形或者半环形照明图案照射样品。半圆形的圆心点或者半环的内圆的圆心点在显微镜物镜的光轴上，每改变一次照明图案触发相机采集一幅图像。在放置样品与不放置样品两种情况下各采集四幅图像，放置样品时记为Isleft、Isright、Isup、Isdown，不放置样品时记为Ibleft、Ibright、Ibup、Ibdown。由于用来标定的背景图像Ibleft、Ibright、Ibup、Ibdown只和显微镜系统参数以及物镜参数有关，系统确定后，不同的物镜只需采集一次背景图像进行保存，每次实验带入当前物镜下对应的背景图像即可得到校正结果。
步骤三，图像校正：对采集的四幅样品图像和四幅背景图像做减法或者除法计算，对计算结果进行数值修正得到校正后的样品图像。
(1)除法计算过程分为2步，具体流程为:
①为了避免除法计算时，分母的0值带来的误差，首先对样品图像Isleft、Isright、Isup、Isdown和差分背景图像Ibleft、Ibright、Ibup、Ibdown进行数值修正，将其数值范围修正为0-2，按照下面的公式对应相除即可获得校正后的差分样品图像(以Isleft为例)：
②对上述结果Isl_corr进行硬阈值数值修正
即可得到最终的校正图像Isl_corr。
(2)减法计算过程为(以Isleft为例)：
样品图像Isleft、Isright、Isup、Isdown和差分背景图像Ibleft、Ibright、Ibup、Ibdown对应相减，得到的图像去除了背景不均匀性的影响，再给每个相减的结果加上背景图像的平均值mbleft进行补偿，将图像的数值恢复到原图范围，即可得到最终的校正图像Isl_corr。
Isl_corr＝Isleft-Ibleft+mbleft (10)
步骤四，差分相衬图像计算：利用差分相衬成像算法，对校正后的四幅样品图像Isl_corr、Isr_corr、Isu_corr、Isd_corr进行计算，得到两个方向上的样品差分图像。
差分相衬计算公式为：
式中，Islr_corr、Isud_corr为得到的左右方向和上下方向的差分相衬图像，传统的差分相衬成像以Islr_corr、Isud_corr为最终结果，结果显示为伪浮雕图像，可以定性的反应样品的凹凸信息。在差分相衬定量相位成像中，以Islr_corr、Isud_corr为输入图像，与相位传递函数计算求解样品的定量相位信息，具体计算流程见步骤五。
步骤五，定量相位计算：利用上面求得的两幅差分图像以及相位传递函数，采用Tikhonov准则计算样品的差分相衬定量相位结果。
Tikhonov准则表示为：
上式中的α为正则化参数，一般选取定值即可，例如0.001，代表左右方向上的相位传递函数取共轭，代表上下方向上的相位传递函数取共轭。
结合图2，本发明差分相衬显微成像中背景非均匀性的校正与补偿方法，采用自适应背景拟合的具体步骤如下：
步骤一，系统相位传递函数计算：采用弱相位物体近似，计算当前参数下系统的相位传递函数。保存成固定数据格式，后续计算直接读入。
步骤二，图像采集：利用LED阵列产生不对称光照，照明样品采集四幅样品图像。
利用可编程LED阵列产生上、下、左、右四个方向的不对称照明，以半圆形或者半环形照明图案照射样品，照明图案如图3所示，半圆形的圆心点或者半环的内圆的圆心点在显微镜物镜的光轴上，每改变一次照明图案触发相机采集一幅图像，共采集四幅样品图像，分别记为Isleft、Isright、Isup、Isdown。
步骤三，差分图像计算：利用差分相衬成像方法，对四幅样品图像Isleft、Isright、Isup、Isdown进行计算，得到两个方向上的差分样品图像。
差分相衬计算公式为：
式中，Islr、Isud为得到的不同方向的差分相衬图像，传统的差分相衬成像以Islr、Isud为最终结果，结果显示为伪浮雕图像，可以定性的反应样品的凹凸信息。在差分相衬定量相位成像中，以Islr、Isud为输入图像，与相位传递函数计算求解样品的相位信息，具体计算过程见步骤六。
步骤四，图像校正：利用自适应图像背景拟合方法快速拟合背景图像，并利用减法或者除法进行背景校正。流程分为两步，第一步拟合背景图像，第二步背景非均匀性校正，下面对具体步骤进行详细说明。
(1)拟合背景图像
图像背景快速拟合有三种方法可以选择，拟合的结果都是得到上下方向和左右方向差分样品图像的背景分布图像，下面对三种背景拟合方法的具体流程进行说明。
1)投影叠加快速拟合方法
①对M*N大小的差分样品图像进行不同方向上的投影叠加，左右差分图像按列叠加，上下差分图像按行叠加，得到包含背景变化信息的一维数组。
②对得到的一维数组做一阶拟合得到拟合曲线，求得位于拟合曲线上新的一维数组。对其进行插值得到M*N大小的矩阵，即为背景图像Iblr、Ibud，计算其平均值记为mblr、mbud。
2)局部均值双线性拟合方法
①求取数值M和N的公约数集，按从大到小的顺序进行排列，放入一维数组Div中，长度为d。
②将M*N大小的差分样品图像分成m*n个大小为Divk*Divk(k＝1,2,3,...,d)的子区域，计算第i行第j列的子区域的平均值meanij、标准差stdij和最小值minij(i＝1，2，3，...,m，j＝1，2，3，...,n)，利用下面的公式估计当前子区域背景灰度值
Iij_back＝max(meanij-thr*stdij,minij) (16)
其中，thr是选取的固定阈值，根据3σ原则，thr选取3。构造一个m*n大小的矩阵Cmn，根据i和j的取值，将所求的背景灰度值Iij_back放到矩阵中对应位置，得到一个m*n大小的子区域背景灰度值矩阵Cmn。
③对子区域背景灰度值矩阵Cmn进行双线性插值，得到M*N大小的矩阵，得到的矩阵即为背景图像Iblr、Ibud，计算其平均值记为mblr、mbud。
3)主成分提取平面拟合方法
①对M*N大小的差分样品图像进行降采样，得到m*n大小的图像。对m*n大小的差分样品图像进行主成分分析，得到主成分系数矩阵COEFF和主成份(变量)矩阵SCORE。COEFF矩阵的每一列包含一个主成分的系数，列是按主成分变量递减顺序排列，SCORE每列对应一个主成份(变量)。这里要注意，对于上下差分图像Isud，降采样后直接进行主成分分析，而对于左右差分图像Islr，降采样后对其转置进行主成分分析。
②提取第一主成分score1(SCORE矩阵的第一列)和其对应的系数coeff1(COEFF矩阵的第一列)，分别对这两个一维数组进行一阶拟合，求得拟合曲线上新的两个一维数组，记为score1_n和coeff1_n。
③图像主成分重构，利用主成分分析的信号重构方法score1_n*coeff1_nT，得到降采样差分图像的第一主成分图像。
④对得到的第一主成分图像进行插值，得到图像即为背景图像Iblr、Ibud，计算其平均值记为mblr、mbud。
(2)图像非均匀性校正
根据上述任一种方法得到的背景图像Iblr、Ibud和均值mblr、mbud，利用减法或者除法运算得到校正后的差分样品图像，具体计算流程见背景预标定的步骤。
步骤五，自适应校正判断：对校正后的差分图像再次利用背景重建算法构建背景图像，对二次背景计算标准差，设定阈值进行判断，是否再次进行背景拟合。此阈值的数值将影响从系统的成像性能，阈值越小时，图像的背景非均匀性消除的越好，但是相应的计算次数越多，计算速度会下降。阈值大的话，速度较快，但是背景非均匀性校正效果却受到影响。在同时保证背景非均匀性校正效果和成像速度，一般选择0.02即可在保证校正效果的基础上不会影响成像速度。
对于投影叠加线性拟合方法，如果二次背景的标准差小于或者等于设定的阈值，则当前背景不均匀性校正效果满足要求，进行下一步骤。如果二次背景的标准差大于设定的阈值，再次使用步骤四中的投影叠加线性快速方法进行背景拟合，去除背景并进行判断，直至背景标准差小于设定阈值。
对于局部均值双线性拟合方法，如果二次背景的标准差小于或者等于设定的阈值，则确定m*n为子区域数目，后续的计算都采用这个值进行图像分区。若二次背景的标准差大于设定的阈值，则子区域大小改变为Divk*Divk→Divk+1*Divk+1，确定新的m和n值，重新进行步骤四、五，直至二次背景标准差小于设定的阈值。对于同一套系统，此自适应校正判断过程仅需进行一次，确定数目子区域数目m和n值后即可应用于后续的计算。
对于主成分提取平面拟合方法，如果二次背景的标准差小于或者等于设定的阈值，则进行下一步骤。如果二次背景的标准差大于设定的阈值，再次进行四、五步骤，直至背景标准差小于设定阈值。
步骤六，定量相位计算：利用步骤二得到的校正后两幅差分样品图像以及光学传递函数，采用Tikhonov准则计算样品的差分相衬定量相位结果。
Tikhonov准则表示为
上式中的α为正则化参数，一般选取定值即可，例如0.001，代表左右方向上的相位传递函数取共轭，代表上下方向上的相位传递函数取共轭。
本发明背景预标定和自适应背景拟合方法不仅可以对原始采集的非均匀图像进行校正，也可以对经过差分相衬计算后的图像进行非均匀性校正。背景预标定和自适应背景拟合方法可选择重构单通道差分相衬结果或者彩色差分相衬结果。若选择彩色差分相衬，则需要对采集图像按通道进行图像校正，再对校正后的三通道进行彩色融合即可。相位传递函数只和系统参数有关，为加快成像速度，当前系统参数下，固定物镜的相位传递函数只需计算一次，保存成固定数据格式，计算时直接读入进行计算。背景预标定方法和自适应背景拟合方法可应用于差分相衬成像和差分相衬定量相位成像。对于差分相衬成像，校正后的图像即为最终的结果，但是对于差分相衬定量相位成像，校正后的图像作为输入，与相位传递函数计算得到最终的样品相位。
为了验证上述背景预标定方法和自适应背景拟合方法对差分相衬图像的非均匀性校正效果，采用未染色的LC-06肺癌细胞进行了实验。实验系统采用21*21大小的可编程LED阵列，LED单元间距为2mm，其被放置在载物台下方30mm处，采用10x物镜进行成像，其数值孔径为0.25，采集设备为CCD相机，其成像靶面大小为1280*960，单元像素尺寸为3.75μm。利用上述参数计算得到系统的相位传递函数。如图4所示，对不进行校正补偿、背景预标定方法以及自适应背景拟合方法校正后的差分相衬图像进行了对比。图4(a1)、(a2)是不进行任何校正补偿过程，直接计算得到的差分相衬图像，可以看到图像的背景不均匀性非常明显，这使图像的差分相衬结果中样品信息损失，图像凹凸信息变得不明显。分别使用背景预标定方法以及自适应背景拟合方法中的三种校正方法进行校正补偿，结果如图4(a)-(e)所示。可以看出，差分相衬图像的背景变得非常均匀，并且其成像的凹凸感更加明显，图像质量得到了明显的提升。同时，利用上述方法进行了差分相衬定量相位成像，结果显示在图5中。对比可以发现，不进行背景非均匀性校正时，样品的定量相位结果在边缘处出现明显错误，此处的样品相位被错误信息所掩盖，大量信息损失。使用背景预标定和自适应背景拟合方法进行校正后，得到正确的样品定量相位结果，样品的相位信息清晰可见。以上实验结果可以看出，使用本发明提及的方法可以非常好的校正差分相衬图像中的非均匀性带来的结果，提升差分相衬图像的成像质量。
Claims (9)
1.一种差分相衬显微成像中背景非均匀性的校正与补偿方法，其特征在于采用背景预标定的步骤如下：
步骤一，相位传递函数计算：采用弱相位物体近似，计算当前参数下系统的相位传递函数，保存成固定数据格式，后续计算直接读入；
步骤二，图像采集：利用LED阵列产生上、下、左、右四个方向的半圆形或者半环形照明图案，不放置样品采集四幅背景图像，放置样品采集四幅样品图像；
步骤三，图像校正：对采集的四幅样品图像和四幅背景图像做减法或者除法计算，对计算结果进行数值修正得到校正后的样品图像；
步骤四，差分图像计算：利用差分相衬成像算法，对校正后的样品图像进行计算，得到两幅差分样品图像；
步骤五，定量相位计算：利用上面求得的两幅差分样品图像以及相位传递函数，采用Tikhonov准则计算样品的差分相衬定量相位结果；
或者采用自适应背景拟合的步骤如下：
步骤一，相位传递函数计算：采用弱相位物体近似，计算当前参数下系统的相位传递函数，保存成固定数据格式，后续计算直接读入；
步骤二，图像采集：利用LED阵列产生上、下、左、右四个方向的半圆形或者半环形照明图案，放置样品采集四幅样品图像；
步骤三，差分图像计算：利用差分相衬成像算法对四幅样品图像进行计算，得到两幅差分样品图像；
步骤四，图像校正：利用自适应图像背景拟合算法对两幅差分样品图像的背景进行拟合，利用减法或者除法运算校正补偿不均匀背景；
步骤五，自适应校正判断：对校正后的差分图像再次利用背景拟合算法拟合出背景图像，对二次背景计算标准差，设定阈值进行判断，以二次背景图像的标准差作为判断依据对是否达到去除非均匀性的效果进行判断；
步骤六，定量相位计算：利用步骤二得到的校正后两幅差分样品图像以及光学传递函数，采用Tikhonov准则计算样品的差分相衬定量相位结果。
2.根据权利要求1所述的差分相衬显微成像中背景非均匀性的校正与补偿方法，其特征在于图像采集的过程为：
点亮可编程LED阵列，产生上、下、左、右四个方向的不对称照明，以半圆形或者半环形照明图案照射样品；半圆形的圆心点或者半环的内圆的圆心点在显微镜物镜的光轴上，每改变一次照明图案触发相机采集一幅图像；在放置样品与不放置样品两种情况下各采集四幅图像，放置样品时记为Isleft、Isright、Isup、Isdown，不放置样品时记为Ibleft、Ibright、Ibup、Ibdown，由于用来标定的背景图像Ibleft、Ibright、Ibup、Ibdown只和显微镜系统参数以及物镜参数有关，系统确定后，不同的物镜只需采集一次背景图像进行保存，每次实验带入当前物镜下对应的背景图像即可得到校正结果。
3.根据权利要求1所述的差分相衬显微成像中背景非均匀性的校正与补偿方法，其特征在于图像校正中的除法具体过程为：
①为了避免除法计算时，分母的0值带来的误差，首先对样品图像Isleft、Isright、Isup、Isdown和差分背景图像Ibleft、Ibright、Ibup、Ibdown进行数值修正，将其数值范围修正为0-2，按照下面的公式对应相除即可获得校正后的差分样品图像：
②对上述结果Isl_corr进行硬阈值数值修正
即可得到最终的校正图像Isl_corr。
4.根据权利要求1所述的差分相衬显微成像中背景非均匀性的校正与补偿方法，其特征在于图像校正中的减法具体过程为：样品图像Isleft、Isright、Isup、Isdown和差分背景图像Ibleft、Ibright、Ibup、Ibdown对应相减，得到的图像去除了背景不均匀性的影响，再给每个相减的结果加上背景图像的平均值mbleft进行补偿，将图像的数值恢复到原图范围，即可得到最终的校正图像Isl_corr：
Isl_corr＝Isleft-Ibleft+mbleft。 (10)
5.根据权利要求1所述的差分相衬显微成像中背景非均匀性的校正与补偿方法，其特征在于自适应背景拟合的图像校正分为两步，第一步拟合背景图像，第二步背景非均匀性校正，其中拟合背景图像方法为投影叠加快速拟合方法、局部均值双线性拟合方法或主成分提取平面拟合方法，拟合的结果得到上下方向和左右方向差分样品图像的背景分布图像，根据上述任一种方法得到的背景图像和均值，利用减法或者除法运算得到校正后的差分样品图像。
6.根据权利要求5所述的差分相衬显微成像中背景非均匀性的校正与补偿方法，其特征在于在投影叠加快速拟合方法的步骤为：
①对M*N大小的差分样品图像进行不同方向上的投影叠加，左右差分图像按列叠加，上下差分图像按行叠加，得到包含背景变化信息的一维数组；
②对得到的一维数组做一阶拟合得到拟合曲线，求得位于拟合曲线上新的一维数组，对其进行插值得到M*N大小的矩阵，即为背景图像Iblr、Ibud，计算其平均值记为mblr、mbud。
7.根据权利要求5所述的差分相衬显微成像中背景非均匀性的校正与补偿方法，其特征在于在局部均值双线性拟合方法的步骤为：
①求取数值M和N的公约数集，按从大到小的顺序进行排列，放入一维数组Div中，长度为d；
②将M*N大小的差分样品图像分成m*n个大小为Divk*Divk的子区域，k＝1,2,3,...,d，计算第i行第j列的子区域的平均值meanij、标准差stdij和最小值minij，i＝1，2，3，...,m，j＝1，2，3，...,n，利用下面的公式估计当前子区域背景灰度值
Iij_back＝max(meanij-thr*stdij,minij) (16)
其中，thr是选取的固定阈值，根据3σ原则，thr选取3，构造一个m*n大小的矩阵Cmn，根据i和j的取值，将所求的背景灰度值Iij_back放到矩阵中对应位置，得到一个m*n大小的子区域背景灰度值矩阵Cmn；
③对子区域背景灰度值矩阵Cmn进行双线性插值，得到M*N大小的矩阵，得到的矩阵即为背景图像Iblr、Ibud，计算其平均值记为mblr、mbud。
8.根据权利要求5所述的差分相衬显微成像中背景非均匀性的校正与补偿方法，其特征在于在主成分提取平面拟合方法的步骤为：
①对M*N大小的差分样品图像进行降采样，得到m*n大小的图像，对m*n大小的差分样品图像进行主成分分析，得到主成分系数矩阵COEFF和主成份矩阵SCORE；COEFF矩阵的每一列包含一个主成分的系数，列是按主成分变量递减顺序排列，SCORE每列对应一个主成份，对于上下差分图像Isud，降采样后直接进行主成分分析，而对于左右差分图像Islr，降采样后对其转置进行主成分分析；
②提取第一主成分score1和其对应的系数coeff1，分别对这两个一维数组进行一阶拟合，求得拟合曲线上新的两个一维数组，记为score1_n和coeff1_n；
③图像主成分重构，利用主成分分析的信号重构方法score1_n*coeff1_nT，得到降采样差分图像的第一主成分图像；
④对得到的第一主成分图像进行插值，得到图像即为背景图像Iblr、Ibud，计算其平均值记为mblr、mbud。
9.根据权利要求1或5所述的差分相衬显微成像中背景非均匀性的校正与补偿方法，其特征在于投影叠加线性拟合方法中的自适应判断过程为：如果二次背景的标准差小于或者等于设定的阈值，则当前背景不均匀性校正效果满足要求，进行下一步骤；如果二次背景的标准差大于设定的阈值，再次使用步骤四中的投影叠加线性快速方法进行背景拟合，去除背景并进行判断，直至背景标准差小于设定阈值；
或者：
局部均值双线性拟合方法中的自适应判断过程为：如果二次背景的标准差小于或者等于设定的阈值，则确定m*n为子区域数目，后续的计算都采用这个值进行图像分区；若二次背景的标准差大于设定的阈值，则子区域大小改变为Divk*Divk→Divk+1*Divk+1，确定新的m和n值，重新进行步骤四、五，直至二次背景标准差小于设定的阈值；对于同一套系统，此自适应校正判断过程仅需进行一次，确定数目子区域数目m和n值后即可应用于后续的计算。
或者：
主成分提取平面拟合方法的自适应判断过程为：如果二次背景的标准差小于或者等于设定的阈值，则进行下一步骤；如果二次背景的标准差大于设定的阈值，再次进行四、五步骤，直至背景标准差小于设定阈值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711484809.6A CN108537842B (zh) | 2017-12-29 | 2017-12-29 | 差分相衬显微成像中背景非均匀性的校正与补偿方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711484809.6A CN108537842B (zh) | 2017-12-29 | 2017-12-29 | 差分相衬显微成像中背景非均匀性的校正与补偿方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108537842A true CN108537842A (zh) | 2018-09-14 |
| CN108537842B CN108537842B (zh) | 2022-01-07 |
Family
ID=63489803
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711484809.6A Active CN108537842B (zh) | 2017-12-29 | 2017-12-29 | 差分相衬显微成像中背景非均匀性的校正与补偿方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108537842B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108896470A (zh) * | 2018-07-31 | 2018-11-27 | 电子科技大学 | 基于led阵列的微流通道旋转细胞相衬成像方法及系统 |
| CN109375358A (zh) * | 2018-11-28 | 2019-02-22 | 南京理工大学 | 一种基于最优照明模式设计下的差分相衬定量相位显微成像方法 |
| WO2021073245A1 (zh) * | 2019-10-15 | 2021-04-22 | 南京理工大学 | 一种基于彩色复用照明的单帧差分相衬定量相位成像方法 |
| CN117398059A (zh) * | 2023-12-12 | 2024-01-16 | 中国科学院长春光学精密机械与物理研究所 | 基于差分相衬成像的视网膜成像方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100327175A1 (en) * | 2007-12-14 | 2010-12-30 | Yakov Nesterets | Phase-contrast imaging method and apparatus |
| CN104359862A (zh) * | 2014-11-06 | 2015-02-18 | 佛山市南海区欧谱曼迪科技有限责任公司 | 一种基于光外差干涉术的共聚焦扫描显微成像方法及系统 |
| CN104809708A (zh) * | 2015-05-08 | 2015-07-29 | 北京工商大学 | 基于改进的分裂Bregman算法的荧光显微图像复原方法和装置 |
| CN104849852A (zh) * | 2015-05-07 | 2015-08-19 | 清华大学 | 基于相机阵列的光场显微成像系统及方法 |
| CN106462984A (zh) * | 2014-06-02 | 2017-02-22 | 皇家飞利浦有限公司 | 用于差分相位对比成像中的谱相位展开的无偏置正则化 |
| CN106768396A (zh) * | 2016-12-23 | 2017-05-31 | 电子科技大学 | 一种基于微分相衬成像还原定量相位图像的方法及系统 |
| CN107024763A (zh) * | 2017-05-16 | 2017-08-08 | 广东欧谱曼迪科技有限公司 | 一种双通道结构光数字相衬显微成像系统及其实现方法 |
-
2017
- 2017-12-29 CN CN201711484809.6A patent/CN108537842B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100327175A1 (en) * | 2007-12-14 | 2010-12-30 | Yakov Nesterets | Phase-contrast imaging method and apparatus |
| CN106462984A (zh) * | 2014-06-02 | 2017-02-22 | 皇家飞利浦有限公司 | 用于差分相位对比成像中的谱相位展开的无偏置正则化 |
| CN104359862A (zh) * | 2014-11-06 | 2015-02-18 | 佛山市南海区欧谱曼迪科技有限责任公司 | 一种基于光外差干涉术的共聚焦扫描显微成像方法及系统 |
| CN104849852A (zh) * | 2015-05-07 | 2015-08-19 | 清华大学 | 基于相机阵列的光场显微成像系统及方法 |
| CN104809708A (zh) * | 2015-05-08 | 2015-07-29 | 北京工商大学 | 基于改进的分裂Bregman算法的荧光显微图像复原方法和装置 |
| CN106768396A (zh) * | 2016-12-23 | 2017-05-31 | 电子科技大学 | 一种基于微分相衬成像还原定量相位图像的方法及系统 |
| CN107024763A (zh) * | 2017-05-16 | 2017-08-08 | 广东欧谱曼迪科技有限公司 | 一种双通道结构光数字相衬显微成像系统及其实现方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108896470A (zh) * | 2018-07-31 | 2018-11-27 | 电子科技大学 | 基于led阵列的微流通道旋转细胞相衬成像方法及系统 |
| CN108896470B (zh) * | 2018-07-31 | 2021-03-16 | 电子科技大学 | 基于led阵列的微流通道旋转细胞相衬成像方法及系统 |
| CN109375358A (zh) * | 2018-11-28 | 2019-02-22 | 南京理工大学 | 一种基于最优照明模式设计下的差分相衬定量相位显微成像方法 |
| WO2021073245A1 (zh) * | 2019-10-15 | 2021-04-22 | 南京理工大学 | 一种基于彩色复用照明的单帧差分相衬定量相位成像方法 |
| US11893719B2 (en) | 2019-10-15 | 2024-02-06 | Nanjing University Of Science And Technology | Single-shot differential phase contrast quantitative phase imaging method based on color multiplexed illumination |
| CN117398059A (zh) * | 2023-12-12 | 2024-01-16 | 中国科学院长春光学精密机械与物理研究所 | 基于差分相衬成像的视网膜成像方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108537842B (zh) | 2022-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108537842A (zh) | 差分相衬显微成像中背景非均匀性的校正与补偿方法 | |
| Psenner | Determination of size and morphology of aquatic bacteria by automated image analysis | |
| US10824847B2 (en) | Generating virtually stained images of unstained samples | |
| AU2002334590B2 (en) | Method quantitative video-microscopy and associated system and computer software program product | |
| CN107209123B (zh) | 多孔傅立叶重叠关联和荧光成像 | |
| CN107407799A (zh) | 使用傅里叶叠层成像技术校正不相干成像系统中的像差 | |
| Chen et al. | Isotropic differential phase contrast microscopy for quantitative phase bio‐imaging | |
| CN105158894A (zh) | 基于彩色led阵列照明的无透镜相位显微层析装置及图像重构方法 | |
| Xue et al. | Deep-learning-augmented computational miniature mesoscope | |
| CN109325927A (zh) | 工业相机摄影测量图像亮度补偿方法 | |
| US9406118B2 (en) | Stain image color correcting apparatus, method, and system | |
| Mayer et al. | Attenuation artifacts in light sheet fluorescence microscopy corrected by OPTiSPIM | |
| Van den Eynde et al. | Quantitative comparison of camera technologies for cost-effective super-resolution optical fluctuation imaging (SOFI) | |
| Chatterjee et al. | Chromatic micromaps in primary visual cortex | |
| Lampe et al. | Spectral demixing avoids registration errors and reduces noise in multicolor localization-based super-resolution microscopy | |
| GB2524227A (en) | Method of forming an imaging reference device | |
| Tayal et al. | Simultaneous fluorescence and quantitative phase imaging of MG63 osteosarcoma cells to monitor morphological changes with time using partially spatially coherent light source | |
| JP2009014355A (ja) | 画像処理装置および画像処理プログラム | |
| Piccinini et al. | Vignetting and photo-bleaching correction in automated fluorescence microscopy from an array of overlapping images | |
| Piccinini et al. | Colour vignetting correction for microscopy image mosaics used for quantitative analyses | |
| López et al. | Real-time correction of chromatic aberration in optical fluorescence microscopy | |
| CN110388882B (zh) | 具等向性转换函数之量化微分相位衬度显微系统 | |
| CN112666697B (zh) | 基于彩色复用照明的单帧差分相衬定量相位成像方法 | |
| US11624900B2 (en) | System for quantitative differential phase contrast microscopy with isotropic transfer function | |
| CN112601950B (zh) | 图像处理装置、摄像系统、图像处理装置的工作方法以及图像处理装置的工作程序 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |