CN110794660A - 一种图像记录系统及图像分类方法 - Google Patents
一种图像记录系统及图像分类方法 Download PDFInfo
- Publication number
- CN110794660A CN110794660A CN201810870650.XA CN201810870650A CN110794660A CN 110794660 A CN110794660 A CN 110794660A CN 201810870650 A CN201810870650 A CN 201810870650A CN 110794660 A CN110794660 A CN 110794660A
- Authority
- CN
- China
- Prior art keywords
- image
- cell
- light wave
- ccd
- hologram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000010287 polarization Effects 0.000 claims abstract description 8
- 210000004027 cell Anatomy 0.000 claims description 58
- 239000010410 layer Substances 0.000 claims description 31
- 238000013528 artificial neural network Methods 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 210000003855 cell nucleus Anatomy 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 239000002356 single layer Substances 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 230000015572 biosynthetic process Effects 0.000 abstract 1
- 230000003287 optical effect Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 238000001228 spectrum Methods 0.000 description 10
- 239000000758 substrate Substances 0.000 description 9
- 238000006073 displacement reaction Methods 0.000 description 8
- 238000000926 separation method Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 238000001093 holography Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 210000004369 blood Anatomy 0.000 description 5
- 239000008280 blood Substances 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 239000011344 liquid material Substances 0.000 description 4
- 210000000601 blood cell Anatomy 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 238000013145 classification model Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000011056 performance test Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000010186 staining Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 101100327165 Arabidopsis thaliana CCD8 gene Proteins 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 201000005787 hematologic cancer Diseases 0.000 description 1
- 208000014951 hematologic disease Diseases 0.000 description 1
- 208000024200 hematopoietic and lymphoid system neoplasm Diseases 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000000265 leukocyte Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010339 medical test Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000009666 routine test Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000012192 staining solution Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/16—Processes or apparatus for producing holograms using Fourier transform
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
- G03H2001/005—Adaptation of holography to specific applications in microscopy, e.g. digital holographic microscope [DHM]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Mathematical Physics (AREA)
- Holo Graphy (AREA)
Abstract
本申请提供一种图像记录系统及图像分类方法,由激光器发出的激光经过偏振分束镜后分为两路光波,其中一路光波透射物体从而携带物体信息,并经第一显微物镜成像,另外一路光波经第二显微物镜形成球面光波,所述球面光波与所述像干涉后形成图像,所述图像被CCD采集后传输到计算机经算法再现得到物体的位相图像,并对该位相图像进行分类,从而得到所述的统计数据。
Description
技术领域
本申请涉及一种细胞图像自动分类方法,属于光学信息处理和生物医学领域。
背景技术
血常规检验是临床医学检验最常用、最基本和最重要的手段之一,细胞分类计数是其中的一项重要内容。人体在发生疾病时,常可导致血细胞发生数量或质量的变化,血液中各类白细胞的数量和百分比是医生判断有无疾病、疾病的种类和严重程度的重要基础数据,有极其重要的意义。由于待检测血液样品中细胞数量巨大,细胞图像的自动分类在血液检测中具有非常重要的作用,尤其是在血液病和血癌的早期诊断中更为重要。
当前医院对细胞的分类计数主要借助于自动血球计数仪结合血图片人工显微镜下检查,这个自动血球计数仪的临床应用减轻了临床检验人员的劳动量,但仍存在分类精度不够高的问题。许多检验人员为避免手工镜检的巨大工作量而疏于结合显微镜下检查,导致误报误诊的现象还屡屡出现。同时,现有的分类均基于细胞的强度图像,由于细胞是透明的,未加染色处理的细胞图像对比度较低,因而在获得强度图像之前通常需要对细胞染色,这个过程不仅耗时,对操作者要求较高,且检测结果受到染色液质量、PH环境及时间等多种因素的影响。
数字全息术是一种新型的无损干涉测量技术,它用光电耦合器件(CCD或CMOS)采集被测样品的全息图,然后将全息图输入计算机中,利用算法模拟实际的全息图再现过程,样品定量的强度图像和位相图像可以同时给出,而位相图像呈现的是样品的三维形貌分布。数字全息术对透明和不透明样品均可以直接成像,实现对样品的实时、无损、三维可视化检测,这对生物细胞检测非常有益,近年来已成功应用于活体细胞的实时检测与监测。与传统的光学显微镜相比,数字全息术具有许多突出的优点,如灵活方便的存储、传输、数字畸变矫正、数字聚焦、消噪等特点,这些优点使数字全息术得到了广泛关注,已成为一个研究热点。
人工神经网络是模拟生物神经元系统之间的复杂激励行为的并行非线性系统,具有分布式存储、大规模自适应并行处理、结构可变性、高度非线性、高度容错性、自学习性和自组织性等特点。近年来,神经网络呈现出巨大的优势:它可将原始图像直接作为输入,且具有强大的学习特征的能力,从而可以从不同的层次来自动获取图像特征;它具有其端到端的性质,可以一步完成特征提取与分类。
将数字全息术与神经网络相结合用于细胞图像的自动识别与分类,不仅可以解决细胞染色问题,还可以提高细胞分类精度、降低检验人员的劳动强度,同时可以实现可视化自动检测与分类,实现自动存储、传输及数据共享。
发明内容
本申请提供一种细胞图像自动分类方法,利用像面数字全息技术对细胞直接进行成像获得细胞精准的位相图像,解决细胞常规检测之前需要染色带来的问题。同时,利用前向反馈神经网络对细胞图像进行自动识别与分类,从而提高细胞分类精度,并减轻检验人员的劳动强度。
本申请采用如下技术方案,一种细胞图像自动分类方法,包括以下步骤:
1)、数字图像的记录和重现:利用像面数字全息记录系统对细胞样品进行记录,然后利用傅里叶变换重建算法获得细胞位相图像;
2)、图像预处理:(1)根据阈值分割方法,对上述细胞位相图像进行边界分割,并令边界之外的位相值为零;(2)对上述细胞位相图像进行裁剪,以减小计算量,并降低噪声影响,裁剪后的图像大小以能够显示一个完整的细胞为宜;(3)对图像灰度作归一化处理,以降低不同图像之间亮度和对比度的变化;其中,依据下面的公式进行图像归一化处理:
其中,Ip,normal表示归一化的图像强度,Imax,i和Imin,i分别表示图像中最大和最小强度,Ip表示原图像强度分布;
3)、特征参数的提取:根据要提取的细胞特征,如细胞大小、细胞形状、细胞核大小及边缘特征等形态学特征进行细胞初步分类;
4)、利用前向反馈神经网络(即BP神经网络)构建分类器:(1)将经图像预处理后的细胞位相图像作为输入图像,所述输入图像为训练样本集;(2)利用MATLAB中的工具箱对训练样本集进行两层两类分类的神经网络分类训练,直至误差达到要求。所述前向反馈神经网络的结构如下:
a)输入层为p×p层,其中p表示裁剪后的细胞图像行数;
b)隐含层为单层;
c)网络的输出函数为:Y=f{g(XW1+b1)W2+b2}
其中,X是输入矩阵,Y是输出矩阵,W1是隐含层权重矩阵,b1是隐含层偏置矩阵,W2是输出层权重矩阵,b2是输出层偏置矩阵,是隐含层激活函数,f(x)=x是输出层激活函数。
附图说明
图1图像记录实验系统的结构示意图;
图2像面数字全息记录坐标示意图;
图3电致变焦透镜结构示意图;
图4角度调节自动控制系统;
图5神经网络结构示意图;
图6神经网络性能测试之一——MSE;
图7神经网络性能测试之二——相关性。
具体实施方式
如图1所示,本申请的数字图像记录实验系统包括激光器1、第一半波片2、偏振分束镜3、第一反射镜4、第一扩束准直镜5、透明物体6、第一显微物镜MO1、合束镜7(半透射半反射)、CCD8、第二半波片2′、第二扩束准直镜9、第二反射镜10、第二显微物镜MO2以及计算机12。激光器发出的光束经偏振分束镜后分为第一光束和第二光束,第一光束经第一反射镜后进入第一扩束准直镜后形成平行光照射透明物体形成物光波,该物光波透过第一显微物镜MO1后经合束镜后到达CCD靶面;经偏振分束镜后的第二光束经第二扩束准直镜形成平面光波,所述平面光波经过第二反射镜进入第二显微物镜MO2形成参考光波,所述参考光波经合束镜后到达CCD靶面与物光波形成全息图;所述CCD记录的全息图传送到计算机并保存。为了消除MO1引入的二次位相畸变,MO2应与MO1完全相同,并须精确调整其位置,使平行光经它们后所形成的球面光波相对CCD有完全相同的波面弯曲。同时需要精调合束镜7的倾角,使所记录的全息图频谱沿对角线方向分离。
下面对如何获得精准的离轴像面全息图进行具体分析。
离轴像面数字全息记录系统以及分析所用的坐标系统如图2所示,其中,显微物镜已用单透镜等效表示。物平面、MO1平面及CCD平面分别用(x0,y0)、(xφ,yφ)及(x,y)表示(图中y0、yφ和y三个坐标轴未画出),z轴沿系统的光轴方向并通过以上三个平面的中心,d0、f和di分别为物平面到显微物镜的距离、显微物镜焦距和显微物镜到像平面的距离。在图1中,物光与参考光在进入BS之前,其主光束相互垂直,而棱镜BS相对于光轴有一个小角度倾斜(倾斜角θ约为2-3°),结果使参考光主光束相对于物光主光束产生同样的倾斜,从而实现离轴记录。在图2中,我们令MO2相对于MO1倾斜同样的角度θ(图中θ被放大了),而BS不发生倾斜,从而达到与图1中完全一样的效果。
为了完全抵消MO1引入的二次位相畸变,须使平面光波经MO1、MO2后所形成的球面光波相对CCD具有相同的弯曲,即使图2中MO2的焦点F2在光轴上的投影点与MO1的焦点F1重合。F2的坐标可以表示为(x-xr,y-yr,di-f),其中xr、yr的大小决定了全息图±1级谱与0级谱分离的程度。
根据菲涅耳衍射公式,略去无关紧要的常数位相因子,当物光路中不放物体时,MO1后表面的光场复振幅分布为
对于理想成像情况,P(xφ,yφ)=1,带入上式得到:
式中“FT”表示二维傅里叶变换,经计算得
式中同理,参考光在CCD平面形成的光波场复振幅为
其中R0为参考光在CCD平面的振幅。CCD平面干涉条纹强度分布为
H(x,y)=|R(x,y)+O(x,y)|2 (6)
将R(x,y)、O(x,y)的表达式带入上式,得到
物光与参考光之间的位相差分布,由此可以求出全息图条纹的局部空间频率分布
可见,条纹空间频率与全息图平面坐标(x,y)无关,即对于一个确定的记录系统,全息图条纹空间频率为定值,表明等曲率物参光像面数字全息图为平行等间距的直条纹分布,这同时意味着,与其他数字全息记录光路相比,等曲率物参光像面数字全息记录系统具有最大的信息容量。
下面分析像面数字全息图的再现。为了分析的简洁性,暂不考虑CCD有限的光敏面尺寸及像元的抽样影响。理论和实验已经证明,对于球面参考光像面数字全息图来说,需要采用准直平面光波进行再现,即再现参考光波C(x,y)=1。像面数字全息图记录的是物体的放大像,且全息图记录距离为零,因此,菲涅耳衍射不成立。角谱算法没有最小再现距离的限制,又可以很方便地用于频域滤波处理,因此,采用角谱算法对像面数字全息图进行数值再现是恰当的。对全息图进行傅里叶变换,然后滤除0级及共轭像频谱,从而得到原始像光场的复振幅分布
U+1(x,y)=FT-1{{FT[H(x,y)]}Fil}=R*(x,y)O(x,y) (9)
式中“FT-1”表示二维逆傅里叶变换,角标“Fil”表示频谱滤波。将式(4)、(5)带入上式,得到
式中同样可得到共轭像光场的复振幅分布,它与原始像光场有类似的形式。对于确定的记录系统来说,(10)式中除x、y之外,其余参量均为定值,因此,再现像光场发生了一次位相畸变,表明在不放被测物体时,重建像光场的位相为平行等间距直条纹分布。
由以上分析可知,可以根据不放物体时所记录的全息图条纹及再现的位相分布是否为平行直条纹来精调参考光路中显微物镜的位置,以确保再现像光场中二次位相因子的彻底消除。因此,为了获得精准的再现像,在全息图的记录过程中需要确保做到以下两点:其一、第二显微物镜MO2形成的球面光波的中心(即焦点F2)与第一显微物镜MO1的焦点F1到CCD的距离相等,从而能够消除第一显微物镜造成的二次位相畸变。其二、第二显微物镜的焦点F2的坐标可以表示为(x-xr,y-yr,di-f),其中xr、yr的大小决定了全息图±1级谱与0级谱分离的程度;因此,需要调节第二显微物镜的焦点F2的位置,从而使得全息图±1级谱与0级谱刚好分离,由此获得分辨率最大的再现像。
下面具体分析如何获得精准的像面数字全息图。首先,需要保证第一显微物镜的焦点F1和第二显微物镜的焦点F2到CCD的距离相等。在现有技术中,通常是将第一显微物镜的位置保持不变,而改变第二显微物镜的位置,从而实现第二显微物镜的焦点F2到CCD的距离尽可能等于焦点F1到CCD的距离,然而改变第二显微物镜的位置的方式,通常包括手动或电动调节第二显微物镜前后移动的距离,这样的移动方式都存在精度差的缺陷,而且在移动第二显微物镜的过程中,极有可能影响到光束进入第二显微物镜的角度,从而影响了通过第二显微物镜形成的球面光波的形状,也就影响了参考光波的形状,导致形成的像面全息图质量严重下降。下面提供一种精准调节第二显微物镜的焦点F2的位置的实验系统和方法。
将附图1所示的数字图像记录实验系统中的第二显微物镜MO2用电致变焦透镜代替,所述电致变焦透镜如图3所示。所述电致变焦透镜11包括透明上基板111,透明下基板115,在上基板111的内表面设置有透明的第一电极112,在下基板115的内表面设置有透明的第二电极114,以及位于第一电极和第二电极之间的液态材料113,所述液态材料为液晶。所述第一基板和第二基板为圆形,所述第一电极112为面状电极,所述第二电极为间隔设置的环形电极,且第二电极与第一电极之间的电压差具有一定的变化规律,第二电极与第一电极的电压差从中间位置向外围边缘位置的方向逐渐增大(或者逐渐变小),例如中间的电压差为1V,到了最外围边缘增加到10V。该液态材料113在第一电极和第二电极之间的电压差的驱动下,液态分子会发生旋转,电压差越大液态分子旋转的角度越大,从而使得光线的折射角度发生改变,因此,在第一电极和第二电极上施加渐变的电压差,从而能够形成液态透镜,根据电压差的变化方式不同,可以形成凹透镜或者凸透镜。同时,由于所述液态材料113具有旋光性,因此相比传统的数字全息记录光路,可以省略偏振分束棱镜与第二反射镜之间的半波片。
上述图像记录实验系统,使用电致变焦透镜,通过施加电压,形成所需的透镜;并通过施加电压的变化,可以改变透镜的焦距,即改变形成的球面光波的中心点的位置(相当于调节第二显微物镜的焦点F2的位置),使得所述中心点沿着光轴方向前后移动,从而使得球面光波的中心点与第一显微物镜的焦点F1到CCD的距离相等。而什么情况下所述距离相等,这个可以根据记录的全息图干涉条纹的特征进行判断。下面,详细介绍通过上述实验系统准确获取像面数字全息的方法,具体包括以下步骤:
1)在第一电极上施加一个公共电压V0;
2)第二电极为多个相互间隔的环状电极,在不同位置的第二电极上施加不同的电压,首先在位于基板中间的第二电极上施加电压V0+ΔV,以中间位置的第二电极为中心往基板外缘方向,在第二电极上依次施加电压V0+NΔV,其中N为自然数;观察从电致变焦透镜透射光的性质;
3)如果所述透射光为汇聚光波,则调整施加在第二电极上的电压值的变化规律,此时可以调整为,以中间位置的第二电极为中心往基板外缘方向,第二电极上施加的电压为V0-NΔV;
如果所述透射光为发散球面光波,则无需调整施加在第二电极上的电压值的变化规律。
4)在所述透射光为发散球面光波时,通过CCD获取物光波和参考光波的干涉图像,如果干涉图像为弯曲的干涉条纹,则对上述施加在第二电极上的电压V0±NΔV中的ΔV进行调整,通过增大ΔV或减小ΔV,并结合获取的干涉图像进行判断,当获取的干涉图像为等间距直条纹图像时,此时获得的干涉图像(即全息图)为准确的像面全息图,此时发散球面光波的发散中心与第一显微物镜的焦点F1到CCD的距离严格相等。
通过上述方法获得的是准确的像面全息图,然而还不一定是离轴像面全息图,从上面的分析可见像面全息的再现像的分离程度与第二显微物镜的焦点F2(即发散球面光波的发散中心点)的坐标相关,并不涉及物光波和参考光波的夹角。然而,通过对记录光路的分析,可知第一显微物镜的焦点F1与第二显微物镜的焦点F2相对于合束镜的半透半反射镜面是镜像对称的,也就是说F2通过半透半反射镜面的成像与F1位于同一平面上,且在光路布置的过程中,由于物光波和参考光波都是平行台面布置,即参考点光源的y坐标可以认为是零,此时,离轴像面数字全息的再现像的分离程度只与参考点光源的x坐标相关,而通过旋转合束镜可以改变上述点光源的x坐标,进而影响再现像的分离程度。为了获得充分分离且分辨率最大的再现像,下面介绍一种精确调节焦点F2坐标的方法;具体包括如下步骤:
1)测量合束镜至CCD靶面的第一距离d1并记录;
2)采集物光波和参考光波的第一全息图并保存;
3)对第一全息图进行重建得到再现像1,判断得到的再现像1中原始像和零级衍射项分离的程度;
4)如果再现像1中的原始像和零级衍射项重叠或部分重叠,计算机发出指令控制合束镜旋转规定的角度(例如0.1度);
5)继续采集物光波和参考光波的第二全息图并保存;
6)对第二全息图进行重建得到再现像2,判断得到的再现像2中原始像和零级衍射项分离的程度;
7)如果再现像2中原始像和零级衍射项仍然部分重叠,则重复上述步骤4)-6),直到再现像中的原始像和零级衍射项完全分离;
8)对原始像和零级衍射项完全分离的再现像继续判断,如果原始像和零级衍射项之间的距离太远,则计算机发出指令控制半反半透镜反方向旋转规定的角度的一半(例如0.05度);
9)继续采集物光波和参考光波的第三全息图并保存;
10)对第三全息图进行重建得到再现像3,判断得到的再现像3中原始像和零级衍射项分离的程度;
11)如果原始像和零级衍射项之间的距离仍然太远,则重复上述步骤8)-10),直到再现像中的原始像和零级衍射项刚好分离;此时对应的全息图为d1距离对应的最佳全息图H1;将该最佳全息图H1保存在数据库中;
12)、控制CCD向前或向后移动规定距离Δd,然后重复上述步骤1)-11),直到获得与距离d1±Δd对应的最佳全息图H2,将该最佳全息图H2保存在数据库中。
13)、将获得的最佳全息图H1、H2…Hn与对应的距离d1、d2…dn建立距离-全息图对应表。
14)在后续全息图的记录中,首先测量CCD到合束镜的距离d,输入距离d后从计算机中的上述距离-全息图对应表中调出所需的最佳全息图H,作为标准全息图;其次,计算机发出指令控制合束镜旋转角度后拍摄全息图M,将该全息图M与上述标准全息图进行匹配(即识别),如果全息图不匹配,则继续旋转角度拍摄全息图;如果全息图匹配,则将此时拍摄的全息图M保存,作为重建物体三维图像的全息图。上述全息图的匹配过程中,由于两幅全息图完全一致是很难做到的,因此可以设置一个误差阈值,当匹配的误差值小于上述阈值,则可以认为是匹配的,大于上述阈值则不匹配。
本申请由于通过采集与距离对应的最佳全息图,并建立距离-全息图对应表,在以后的数字显微镜系统调节中,只需输入CCD到合束镜的距离,计算机系统自动控制合束镜旋转并获得最佳全息图,通过该最佳全息图,就能够获得更精准的三维再现像。
进一步的,本申请还提供一种通过计算机精确地控制合束镜旋转角度的角度调节系统。如图4所示,该角度调节系统包括:支撑平台14、旋转轴15、拉绳16、位移探测器17、驱动电机18。合束镜固定在支撑平台上,通过旋转轴的旋转,带动合束镜旋转,从而调节参考点光源在物平面的位置,旋转轴的旋转带动拉绳的位移,拉绳的移动距离通过位移探测器监测,通过位移探测器获得拉绳的移动距离,进而获得旋转轴的旋转角度,由于拉绳的移动距离能够被位移探测器准确获得,且在旋转轴的直径为一恒定值时,旋转轴旋转的角度也能够被准确的获得。计算机13控制驱动电机驱动旋转轴旋转,在旋转轴旋转的过程中,带动拉绳位移,位移探测器探测拉绳的直线位移,当直线位移等于预设值时,位移探测器发出信号至计算机进而控制旋转轴停止旋转,所述预设值与合束镜需要旋转的规定角度对应。通过上述角度调节系统,能够精确地调节在上述的离轴像面数字全息记录中第二显微物镜的焦点的位置,控制再现像的分离程度和分辨率,从而获得高质量的再现像。
下面分析利用上面的图像记录实验系统获取细胞的像面全息图,然后对其进行分类的方法。所述方法包括以下步骤:
1)、数字图像的记录和重现:利用像面数字全息记录系统对细胞样品进行记录,然后利用傅里叶变换重建算法获得细胞位相图像;
2)、图像预处理:(1)根据阈值分割方法,对上述细胞位相图像进行边界分割,并令边界之外的位相值为零;(2)对上述细胞位相图像进行裁剪,以减小计算量,并降低噪声影响,裁剪后的图像大小以能够显示一个完整的细胞为宜;(3)对图像灰度作归一化处理,以降低不同图像之间亮度和对比度的变化;其中,依据下面的公式进行图像归一化处理:
其中,Ip,normal表示归一化的图像强度,Imax,i和Imin,i分别表示图像中最大和最小强度,Ip表示原图像强度分布;
3)、特征参数的提取:根据要提取的细胞特征,如细胞大小、细胞形状、细胞核大小及边缘特征等形态学特征进行细胞初步分类;
4)、利用前向反馈神经网络(即BP神经网络)构建分类器:(1)将经图像预处理后的细胞位相图像作为输入图像,所述输入图像为训练样本集;(2)利用MATLAB中的工具箱对训练样本集进行两层两类分类的神经网络分类训练,直至误差达到要求。所述前向反馈神经网络的结构如下:
a)输入层为p×p层,其中p表示裁剪后的细胞图像行数;
b)隐含层为单层;
c)网络的输出函数为:Y=f{g(XW1+b1)W2+b2}
其中,X是输入矩阵,Y是输出矩阵,W1是隐含层权重矩阵,b1是隐含层偏置矩阵,W2是输出层权重矩阵,b2是输出层偏置矩阵,是隐含层激活函数,f(x)=x是输出层激活函数;上述神经网络的结构示意图如图5所示。
上述分类器性能测试:用测试样本集对所建立的神经网络分类器性能进行测试,该神经网络的性能由以下三个参数表征:
(1)均方误差(Mean SquaredError),测试结果如图6所示
目标函数Ti与实际的神经网络输出函数Oi之间的均方误差MSE计算式如下:
均方误差曲线表明了实际的神经网络输出函数与目标函数之间的均方误差随着迭代次数的变化之间的关系,并表明了训练数据可以达到的最好正确率性能及所对应的迭代次数,同时还可以指示是否存在过拟合的情况。
(2)混淆矩阵(ConfusionMatrix)
混淆矩阵是机器学习中总结分类模型预测结果的情形分析表,以矩阵形式将数据集中的记录按照真实的类别与分类模型作出的分类判断两个标准进行汇总,它可以非常容易的表明多个类别是否有混淆。
对于细胞的分类,我们采用一个2×2混淆矩阵,用于检验训练的网络对明显的清晰图像和像散图像分类的性能。
(3)回归曲线(Regression Plot);测试结果如图7所示
回归曲线表示神经网络的输出与目标之间的关系,用于训练数据、寻找最佳迭代次数以及数据测试,其中R的值表明了输出与目标之间的相关性。若R=1,表明输出与目标之间的精确线性关系已经获得,这种情况下输出精度是最高的;R=0,表明输出与目标之间不存在线性关系。同样,测试数据与目标之间的相关性验证了该训练网络的正确性程度。
Claims (2)
1.一种图像记录系统,包括:激光器、第一半波片、偏振分束镜、第一反射镜、第一扩束准直镜、透明细胞物体、第一显微物镜MO1、合束镜(半透射半反射)、CCD、第二半波片、第二扩束准直镜、第二反射镜、第二显微物镜以及计算机;激光器发出的光束经偏振分束镜后分为第一光束和第二光束,第一光束经第一反射镜后进入第一扩束准直镜后形成平行光照射透明细胞物体形成物光波,该物光波透过第一显微物镜后经合束镜后到达CCD靶面;经偏振分束镜后的第二光束经第二扩束准直镜形成平面光波,所述平面光波经过第二反射镜进入第二显微物镜形成参考光波,所述参考光波经合束镜后到达CCD靶面与物光波形成干涉图;所述CCD记录的干涉图传送到计算机并保存;其特征在于:第一显微物镜的焦点到CCD靶面的距离等于第二显微物镜的焦点到CCD靶面的距离;且所述计算机可以自动控制合束镜的转动,以获得最佳干涉图样,所述干涉图样经重建后能够获得的再现像中原始像、共轭像以及零级衍射项刚好分离。
2.一种细胞图像自动分类方法,包括以下步骤:
1)、数字图像的记录和重现:利用权利要求1所述的记录系统对细胞样品进行记录,然后利用傅里叶变换重建算法获得细胞位相图像;
2)、图像预处理:(1)根据阈值分割方法,对上述细胞位相图像进行边界分割,并令边界之外的位相值为零;(2)对上述细胞位相图像进行裁剪,以减小计算量,并降低噪声影响,裁剪后的图像大小以能够显示一个完整的细胞为宜;(3)对图像灰度作归一化处理,以降低不同图像之间亮度和对比度的变化;其中,依据下面的公式进行图像归一化处理:
其中,Ip,normal表示归一化的图像强度,Imax,i和Imin,i分别表示图像中最大和最小强度,Ip表示原图像强度分布;
3)、特征参数的提取:根据要提取的细胞特征,如细胞大小、细胞形状、细胞核大小及边缘特征等形态学特征进行细胞初步分类;
4)、利用前向反馈神经网络(即BP神经网络)构建分类器:(1)将经图像预处理后的细胞位相图像作为输入图像,所述输入图像为训练样本集;(2)利用MATLAB中的工具箱对训练样本集进行两层两类分类的神经网络分类训练,直至误差达到要求。所述前向反馈神经网络的结构如下:
a)输入层为p×p层,其中p表示裁剪后的细胞图像行数;
b)隐含层为单层;
c)网络的输出函数为:Y=f{g(XW1+b1)W2+b2}
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810870650.XA CN110794660B (zh) | 2018-08-02 | 2018-08-02 | 一种图像记录系统及图像分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810870650.XA CN110794660B (zh) | 2018-08-02 | 2018-08-02 | 一种图像记录系统及图像分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110794660A true CN110794660A (zh) | 2020-02-14 |
CN110794660B CN110794660B (zh) | 2021-12-17 |
Family
ID=69425883
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810870650.XA Active CN110794660B (zh) | 2018-08-02 | 2018-08-02 | 一种图像记录系统及图像分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110794660B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111459004A (zh) * | 2020-04-14 | 2020-07-28 | 清华大学 | 双光路合成孔径全息图拼接方法 |
CN111740307A (zh) * | 2020-07-01 | 2020-10-02 | 中国工程物理研究院激光聚变研究中心 | 激光器谐振腔的智能调节系统和方法 |
CN112233158A (zh) * | 2020-10-14 | 2021-01-15 | 首都师范大学 | 微纳米ct投影图像的二次投影配准方法 |
CN113805414A (zh) * | 2021-10-11 | 2021-12-17 | 中国科学院上海光学精密机械研究所 | 一种曲面投影的方法 |
CN116542987A (zh) * | 2023-04-19 | 2023-08-04 | 翼存(上海)智能科技有限公司 | 一种图像裁剪方法、装置、电子设备及存储介质 |
CN116542987B (zh) * | 2023-04-19 | 2024-06-04 | 翼存(上海)智能科技有限公司 | 一种图像裁剪方法、装置、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102749834A (zh) * | 2012-07-24 | 2012-10-24 | 河北工程大学 | 一种光学显微成像系统及成像方法 |
CN106164784A (zh) * | 2014-02-06 | 2016-11-23 | 林瑟科技公司 | 数字全息设备 |
CN106952275A (zh) * | 2017-03-16 | 2017-07-14 | 南京师范大学 | 一种基于粒子群神经网络的细胞图像分割方法 |
FR3056749A1 (fr) * | 2016-09-28 | 2018-03-30 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Procede de numeration de leucocytes dans un echantillon |
CN108169888A (zh) * | 2018-03-04 | 2018-06-15 | 河北工程大学 | 一种数字显微成像系统及方法 |
-
2018
- 2018-08-02 CN CN201810870650.XA patent/CN110794660B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102749834A (zh) * | 2012-07-24 | 2012-10-24 | 河北工程大学 | 一种光学显微成像系统及成像方法 |
CN106164784A (zh) * | 2014-02-06 | 2016-11-23 | 林瑟科技公司 | 数字全息设备 |
FR3056749A1 (fr) * | 2016-09-28 | 2018-03-30 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Procede de numeration de leucocytes dans un echantillon |
CN106952275A (zh) * | 2017-03-16 | 2017-07-14 | 南京师范大学 | 一种基于粒子群神经网络的细胞图像分割方法 |
CN108169888A (zh) * | 2018-03-04 | 2018-06-15 | 河北工程大学 | 一种数字显微成像系统及方法 |
Non-Patent Citations (3)
Title |
---|
王伟凝等: "基于并行深度卷积神经网络的图像美感分类", 《自动化学报》 * |
贾洪飞: "基于深度学习的白细胞分类计数的研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 * |
高培贤等: "基于卷积神经网络的图像隐写分析方法", 《计算机应用研究》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111459004A (zh) * | 2020-04-14 | 2020-07-28 | 清华大学 | 双光路合成孔径全息图拼接方法 |
CN111459004B (zh) * | 2020-04-14 | 2021-09-14 | 清华大学 | 双光路合成孔径全息图拼接方法 |
CN111740307A (zh) * | 2020-07-01 | 2020-10-02 | 中国工程物理研究院激光聚变研究中心 | 激光器谐振腔的智能调节系统和方法 |
CN112233158A (zh) * | 2020-10-14 | 2021-01-15 | 首都师范大学 | 微纳米ct投影图像的二次投影配准方法 |
CN113805414A (zh) * | 2021-10-11 | 2021-12-17 | 中国科学院上海光学精密机械研究所 | 一种曲面投影的方法 |
CN116542987A (zh) * | 2023-04-19 | 2023-08-04 | 翼存(上海)智能科技有限公司 | 一种图像裁剪方法、装置、电子设备及存储介质 |
CN116542987B (zh) * | 2023-04-19 | 2024-06-04 | 翼存(上海)智能科技有限公司 | 一种图像裁剪方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110794660B (zh) | 2021-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110794660B (zh) | 一种图像记录系统及图像分类方法 | |
JP2022513494A (ja) | 病理標本の自動撮像および分析のための計算顕微鏡ベースシステムおよび方法 | |
US9684281B2 (en) | Method and system for detecting and/or classifying cancerous cells in a cell sample | |
US8368035B2 (en) | 3D imaging of live cells with ultraviolet radiation | |
JP2000513465A (ja) | 生体組織の試料および体液の試料の自動顕微鏡支援検査方法 | |
US11826124B2 (en) | Apparatus and method for image-guided interventions with hyperspectral imaging | |
Ozaki et al. | Label-free classification of cells based on supervised machine learning of subcellular structures | |
CN114965470B (zh) | 一种基于非干涉合成孔径的光强传输衍射层析显微成像方法 | |
WO2019117177A1 (ja) | 判別方法、学習方法、判別装置及びコンピュータプログラム | |
US11507020B2 (en) | Optical measurement system for obtaining and analyzing surface topography of object | |
Park et al. | Artificial intelligence-enabled quantitative phase imaging methods for life sciences | |
WO2018158901A1 (ja) | 細胞解析方法及び細胞解析装置 | |
Mirsky et al. | Dynamic tomographic phase microscopy by double six-pack holography | |
CN109034257A (zh) | 一种细胞图像记录系统及分类方法 | |
KR101563810B1 (ko) | 공통 광 경로 3차원 회절 광 현미경 및 그의 시편 변형성 측정 방법 | |
JP2023534252A (ja) | 細胞の診断および分析方法 | |
CN112924452A (zh) | 一种血液检查辅助系统 | |
CN116360229A (zh) | 一种基于数字全息显微层析的癌细胞内部空泡三维结构实时定量检测方法 | |
EP3828617A1 (de) | Verfahren zur digitalen anfärbung von zellen | |
TWI632361B (zh) | 數位全像顯微斷層之方法及裝置 | |
CN112255206B (zh) | 分光检测单元、粒子检测装置及方法 | |
WO2022121284A1 (zh) | 大视场高通量高分辨病理切片分析仪 | |
CN112798504B (zh) | 大视场高通量流式细胞分析系统及分析方法 | |
JP2024505149A (ja) | 合成画像集合を生成する為の装置とシステムと方法 | |
US20220026699A1 (en) | Method and System for Acquisition of Fluorescence Images of Live-cell Biological Samples |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |