CN108364266B - 使用微流控芯片进行细胞全息重建观测的流路结构去除方法 - Google Patents

使用微流控芯片进行细胞全息重建观测的流路结构去除方法 Download PDF

Info

Publication number
CN108364266B
CN108364266B CN201810136170.0A CN201810136170A CN108364266B CN 108364266 B CN108364266 B CN 108364266B CN 201810136170 A CN201810136170 A CN 201810136170A CN 108364266 B CN108364266 B CN 108364266B
Authority
CN
China
Prior art keywords
image
reconstruction
rec
matrix
flow path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810136170.0A
Other languages
English (en)
Other versions
CN108364266A (zh
Inventor
罗洪艳
叶东海
朱子岩
廖彦剑
胡宁
高成龙
季忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Lize Health Technology Co.,Ltd.
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201810136170.0A priority Critical patent/CN108364266B/zh
Publication of CN108364266A publication Critical patent/CN108364266A/zh
Application granted granted Critical
Publication of CN108364266B publication Critical patent/CN108364266B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/155Segmentation; Edge detection involving morphological operators
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/01Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials specially adapted for biological cells, e.g. blood cells
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Dispersion Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Holo Graphy (AREA)

Abstract

本发明涉及一种使用微流控芯片进行细胞全息重建观测的流路结构去除方法,属于数字全息成像技术与微流控芯片技术领域,该方法首先对包含有微流控芯片流路及内含细胞的目标区域进行全息成像,使用滑动窗进行半窗长滑动,并加以卷积重建,对于交叠部分中像素灰度取平均,整合得到整幅重建图。然后对于整幅重建图再次分块,使用最大类间方差设置灰度阈值得到块内物体可能存在区域。接着通过形态学滤波去除可能是细胞的微小区域,将保留下来区域内的物体信息反衍射出对应衍射环。最终与原始全息衍射环抵消后进行二次重建,得到单纯的细胞重建图像。本发明实现了微流控芯片内细胞实时追踪,简化观察步骤,提高了实验人员观察分析效率。

Description

使用微流控芯片进行细胞全息重建观测的流路结构去除方法
技术领域
本发明属于数字全息成像技术与微流控芯片技术领域,涉及一种使用微流控芯片进行细胞全息重建观测的流路结构去除方法。
背景技术
微流控芯片实验室是本世纪一项重要的科学技术。微流控芯片实验室简称微流控芯片或芯片实验室,指的是在一块几平方厘米的芯片上构建的化学或生物实验室。它把化学和生物等领域中所涉及的样品制备、反应、分离、检测,细胞培养、分选、裂解等基本操作单元集成到一块很小的芯片上,由微通道形成网络,以可控流体贯穿整个系统,用以实现常规化学或生物实验室的各种功能。
从物理上说,微流控芯片是一种操控微小体积的流体在微小通道或构建中流动的系统,其中通道和构件的尺度为几十到几百微米,承载流体的量通常仅为10-9至10-18L。
从工作原理来讲,微流控芯片实验室各个操作单元通过微通道网络内流体的流动相互联系。设计适当结构的微通道网络,使流体在该微通道网络内按一定的方式流动,微流控芯片就可以从整体上实现特定的功能。
但就观察手段而言,对常规微流控芯片内细胞而言,仍无法摆脱荧光标记、染料染色等有损伤标记方法。且对于尺寸较大的芯片与通道较长的流路,光学显微镜难以在成像视野与成像精度间权衡,尤其对于追踪观察的情况需要实验人员不断调整视野,不仅操作繁琐而且极易造成目标丢失。因此如果能够保证成像精度与细胞活性的前提下扩大观察视野,那么无论是对于简化实验流程还是便于后续处理分析都具有重大意义。
数字全息是一种精度可达微米级别的成像方法,由CCD或CMOS等光学元器件直接记录获取样本图像,光路极其精简,易于集成和小型化。同时其具有全视场、非接触、无损伤、实时性、定量化的优点。加之无需对样本染色即可清晰成像,故特别适合于活体生物样品的定量三维重建和快速跟踪,得以在生物医学应用领域尤其是细胞培养观测中发展迅速。此外由于全息图视野直接对应于光学元器件的尺寸,所以全息图具有得天独厚的大视野成像的优点。在同时能够对微米级别物体准确成像的基础上,全息图视野下所记录的物体信息远丰富于常规光学显微镜。
但是由于全息成像的记录过程是由光源发出的光线照射到样本上,样本表面产生的散射光(即物光)和参考光在光敏电子成像器件表面发生干涉,从而形成全息图。而芯片内流路结构也会与光产生强烈的衍射作用,同时由于具有明显的深度结构,所以在进行常规重建时会带来难以克服的共轭像,甚至会严重影响内部细胞成像。
发明内容
有鉴于此,本发明的目的在于提供一种使用微流控芯片进行细胞全息重建观测的流路结构去除方法,实现对微流控芯片内细胞实时追踪,简化观察步骤,提高实验人员观察分析效率。
为达到上述目的,本发明提供如下技术方案:
使用微流控芯片进行细胞全息重建观测的流路结构去除方法,该方法包含如下步骤:
S1:读入待重建的细胞全息图,进行预处理,将细胞全息图从RGB彩色空间映射为灰度图像,对应像素映射关系:
Gray(a,b)=0.229×R(a,b)+0.587×G(a,b)+0.114×B(a,b)
其中,a、b为行列坐标,R、G、B分别为三原色通道信息;
S2:设置图像分块尺寸,将全息图进行半窗长滑动分块处理;
S3:对于某一分块处理后全息图像块H在记录距离、重建波长下进行卷积重建,得到复矩阵;
S4:对重建所得复矩阵取模,得实数矩阵,经过灰度拉伸与归一化取整得到初步重建图像块,取各初步重建图块交叠部分对应像素点灰度取均值作为整合重建图中的像素灰度完成所有重建图块的整合;
S5:对于整幅整合重建图再次分块,使用最大类间方差设置灰度阈值得到整合重建图块内流路结构可能的成像区域;
S6:结合梯度判断与形态学滤波手对流路结构进行进一步处理,排除掉观察用目标物体,获得流路结构的成像区域;
S7:将成像区域所对应的全息图重建所得的复矩阵中流路结构对应区域的数值保留,将其他位置的数据实部、虚部分别替换为矩阵各元素实部、虚部的均值,构建复数矩阵;
S8:按照卷积重建步骤反向执行,反衍射出复数矩阵对应的衍射信息矩阵holo;
S9:将成像区域所对应的全息图中的流路结构的衍射信息进行抵消,对抵消后的全息图进行卷积重建,得到纯净的细胞物体重建图;
S10:将细胞物体重建图按照对应全息图块分块顺序重新排列,得到芯片流路内所有细胞分布的完整重建图。
进一步,所述卷积重建具体为:
将全息图中衍射信息再现后对应光波表示为:
Figure BDA0001576341890000031
其中,
Figure BDA0001576341890000032
Figure BDA0001576341890000033
式中,j表示虚数单位,λ为重建光波长,θ为衍射角,zi为观察面与记录面距离,xi为重建图中像点横坐标,yi为重建图中像点纵坐标,x为全息图中像点横坐标,y为全息图中像点纵坐标,C(x,y)为是重建光波在传感器平面上的分布,H(x,y)为图像传感器所记录的全息图光强分布;
令C(x,y)的共轭为R(x,y):
R(x,y)=exp[-jk(xsinα+ysinβ)]
式中,α、β分别为平面参考光波与空间yoz平面和xoz平面的夹角,k为波数,k=2π/λ;
根据线性系统理论,将再现图像复振幅表示为:
Figure BDA0001576341890000034
其中,k=2π/λ,g为自由空间脉冲响应;
Figure BDA0001576341890000035
由卷积理论,使用傅里叶变换计算得到再现图像:
Z=FT-1[FT(H·C)·FT(g)]
式中,FT()表示傅里叶变换,FT-1()表示逆傅里叶变换。
进一步,步骤S2具体包含:
S21:设图像分块边长为L,整幅图像的行列值为M和N,对应整除取图像的行、列所能排布图像块的个数分别为Row和Col;
Row=M|L
Col=N|L
S22:取整幅图像左上Row×L行与Col×L列区域为有效重建区域,进行图像裁剪;
S23:以L为分块边长对全息图有效区域进行滑动分块,横向、纵向滑动步长为L/2,直至各图像块平铺排布覆盖整个有效区域,且相邻块间均有四分之一面积区域交叠。
进一步,步骤S3中所述复矩阵为:
U(xi,yi)=R(xi,yi)+O(xi,yi)×i
其中,R与O分别为复矩阵的实部矩阵与虚部矩阵系数,i表示虚数单位,(xi,yi)为重建图在再现图像平面上的位置分布。
进一步,步骤S4包含如下步骤:
S41:将复矩阵U(xi,yi)取模,获得实数矩阵I(xi,yi);
Figure BDA0001576341890000041
S42:对实数矩阵I(xi,yi)进行归一化和取整处理,获得元素数值为整数且拉伸分布在整个图像灰度级[0,level]区间的实整矩阵Is(xi,yi),
Figure BDA0001576341890000042
其中,max和min分别代表矩阵I(xi,yi)中的最大、最小元素数值,level取255,round的取整规则为四舍五入取整,Is(xi,yi)为重建图像块。
S43:对于各重建图块交叠部分对应像素点灰度取均值作为整合重建图中像素灰度,完成重建图块整合。
进一步,步骤S5包含如下步骤:
S51:将整合重建图记为Rec,通过图像分块边长L,再次对整合重建图Rec进行分块处理,获得平铺无交叠的整合重建图块rec;
S52:对于整合重建图块rec进行基于最大类间方差的灰度阈值计算,
对于整合重建图块rec,记T为前景与背景的分割阈值,前景点数占图像比例为w0,平均灰度为u0;背景点数占图像比例为w1,平均灰度为u1,图像的总平均灰度为u,g为前景和背景图象的方差,则有:
u=w0×u0+w1×u1
g=w0×(u0-u)2+w1×(u1-u)2
则:
Figure BDA0001576341890000043
当方差g最大时,认为此时前景和背景差异最大,分割阈值T即是最佳灰度阈值;
S53:根据所得到的分割阈值T,对整合重建图块rec进行二值化处理,得二值图像recBW
Figure BDA0001576341890000044
其中,x,y为整合重建图块的位置坐标,rec(x,y)表示坐标x,y处的灰度值。
进一步,步骤S6包含如下步骤:
S61:使用Sobel算子对二值图像recBW中流路结构可能区域所有边缘点坐标对应的整合重建图块rec中的像素点进行梯度值计算,
Gx=[2rec(x,y+1)-2rec(x,y-1)]+[rec(x-1,y+1)-rec(x-1,y-1)]+[rec(x+1,y+1)-rec(x+1,y-1)]
Gy=[2rec(x+1,y)-2rec(x-1,y)]+[rec(x+1,y-1)+rec(x-1,y-1)]+[rec(x+1,y+1)-rec(x-1,y+1)]
该点对应梯度值为:
Figure BDA0001576341890000051
S62:计算recBW中所有边缘点对应整合重建图块rec中像素点梯度的均值Gavr
Figure BDA0001576341890000052
其中,num为整合重建图块rec中连通域边缘点总数,edge整合重建图块rec中连通域边缘点合集;
S63:设recBW中共初检测出k个连通域,计算其各连通域边缘对应rec中像素灰度梯度均值Gt,t∈1,2,…,k;
S64:进行形态学滤波,根据实际观察细胞尺寸设置滤波范围,实物面积对应在重建图上像素点个数n,经过1.5倍放大,去除所含像素点数少于1.5n的连通域,将此时的二值矩阵为M。
进一步,步骤SS7具体包含,
S71:计算重建所得复矩阵的实部R与虚部系数O的均值,分别记为real和imag,
Figure BDA0001576341890000053
Figure BDA0001576341890000054
S72:根据二值矩阵M的逻辑值分布,构建针对流路成像区域的复数矩阵S(xi,yi),
Figure BDA0001576341890000055
其中,M(xi,yi)为二值矩阵M的第i行第i列元素。
进一步,步骤S9包含如下步骤:
S91:计算反衍射矩阵holo元素均值holoavr
Figure BDA0001576341890000061
S92:从全息图像块H中抵消掉衍射环矩阵holo所含信息,得到仅含有细胞衍射信息的全息图像块H*
H*(x,y)=H(x,y)-2[holo(x,y)-holoavr]
S93:对矩阵H*进行卷积重建,得重建复矩阵U*,将重建复矩阵U*取模,得到U*对应的实数矩阵I′,并对实数矩阵I′进行归一化和取整处理。
本发明的有益效果在于:本发明方法所解决的根源问题在于,在使用全息成像技术对微流控芯片流路中的细胞进行重建再现时,由于微流控芯片自身的流路结构等相较细胞尺寸较大,进而重建后会产生非常明显的共轭像,以致严重干扰影响到观测的主体——流路中的细胞。本发明对于实现微流控芯片内细胞实时追踪,简化观察步骤,提高实验人员观察分析效率具有重大意义。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚,本发明提供如下附图进行说明:
图1为本发明流程图。
具体实施方式
下面将结合附图,对本发明的优选实施例进行详细的描述。
如图1所示,本发明方法包含如下步骤:
S1:读入待重建全息图,进行预处理。
具体包括:
将全息图从RGB彩色空间映射为灰度图像,对应像素映射关系:
Gray(a,b)=0.229×R(a,b)+0.587×G(a,b)+0.114×B(a,b)
其中a、b为行列坐标,R、G、B分别为三原色(红、绿、蓝)通道信息。
S2:设置分块尺寸,将全息图进行半窗长滑动分块处理。
具体包括:
S21:设图像块分块边长为L,整幅图像行列值为M和N,单位为像素(pixel)。对应整除取其行、列所能排布图像块的个数Row和Col:
Row=M|L
Col=N|L
S22:取整幅图像左上Row×L行与Col×L列区域为有效重建区域,完成图像裁剪。
S23:以L为分块边长对全息图有效区域进行滑动分块,横向、纵向滑动步长为L/2,直至各图像块平铺排布覆盖整个有效区域,且相邻块间均恰有四分之一面积区域交叠。由于对于每一图像的处理均相同,故在下述步骤重以H统一代指某一图像块。
S3:对于某一分割后全息图像块H在记录距离、重建波长下进行卷积重建,重建结果得到复矩阵U。
U(xi,yi)=R(xi,yi)+O(xi,yi)×i
其中R与O分别为复矩阵的实部矩阵与虚部矩阵系数,i在此表示虚数单位,(xi,yi)为重建图在再现像平面上的位置分布。
S4:对重建所得复数矩阵取模,得实数矩阵,经过灰度拉伸与归一化取整得到初步重建图像块。对于各重建图块交叠部分对应像素点灰度取均值作为整合重建图中像素灰度完成重建图块整合。
具体包括:
S41:将S3中重建得到的复数矩阵U取模,得实数矩阵I。
Figure BDA0001576341890000071
S42:对实数矩阵进行归一化和取整处理,得元素数值为整数且拉伸分布在整个图像灰度级[0,level]区间的实整矩阵Is
Figure BDA0001576341890000072
其中max和min分别代表矩阵I中的最大、最小元素数值。level通常为255。round的取整规则使用四舍五入取整。至此Is为重建图像块。
S43:对于各重建图块交叠部分对应像素点灰度取均值作为整合重建图中像素灰度完成重建图块整合,记得到的整幅有效区域重建图为Rec。
S5:对于整幅重建图再次分块,使用最大类间方差设置灰度阈值得到块内流路结构可能成像区域。
具体包括:
S51:对于整幅重建图Rec,仍沿用设置的分块边长L,再次进行分块处理。
与S2不同的,本次所分图像块平铺无交叠,由于下述步骤对于重建图像块做相同处理,故均以rec代指某一所分得的重建图像块。
S52:对于rec图像块像素进行基于最大类间方差(也称大津法,简称OTSU)的灰度阈值计算,阈值灰度记为T。
具体地,对于重建图块rec,记T为前景与背景的分割阈值,前景点数占图像比例为w0,平均灰度为u0;背景点数占图像比例为w1,平均灰度为u1,图像的总平均灰度为u,前景和背景图象的方差,则有:
u=w0×u0+w1×u1
g=w0×(u0-u)2+w1×(u1-u)2
联立上面两式可得:
g=w0×w1×(u0-u1)2
Figure BDA0001576341890000081
当方差g最大时,认为此时前景和背景差异最大,灰度T即是最佳灰度阈值。
S53:根据所得到的灰度阈值T,对rec图像块进行二值化处理,得二值图像recBW,具体地:
Figure BDA0001576341890000082
S6:使用梯度信息并结合形态学滤波手段,对于S5各重建块中粗提取出的流路结构做进一步,排除掉被选中的细胞等观察用目标物体。
具体包括:
S61:使用Sobel算子对S5中提取出的recBW中流路结构可能区域所有边缘点(集合记为edge)坐标对应的重建图rec中的像素点进行梯度值计算。
对于坐标位置(x,y)的像素点,其横向梯度Gx与纵向梯度Gy计算方法如下:
Gx=[2rec(x,y+1)-2rec(x,y-1)]+[rec(x-1,y+1)-rec(x-1,y-1)]+[rec(x+1,y+1)-rec(x+1,y-1)]
Gy=[2rec(x+1,y)-2rec(x-1,y)]+[rec(x+1,y-1)+rec(x-1,y-1)]+[rec(x+1,y+1)-rec(x-1,y+1)]
该点对应梯度大小:
Figure BDA0001576341890000083
S62:计算recBW中所有边缘点对应rec像素点梯度的均值Gavr
Figure BDA0001576341890000084
其中,num为rec中连通域边缘点总数。
S63:设recBW中共初检测出k个连通域,计算其各连通域边缘对应rec中像素灰度梯度均值Gt,t∈1,2,…,k。
对于Gt值低于Gavr
Figure BDA0001576341890000091
强度的连通域,其对应物体与背景对比度不足,排除为流路结构成像的可能,认为是由于光场分布不均或流路结构的共轭像所致。
S64:进行形态学滤波,根据实际观察细胞尺寸设置滤波范围,即实物面积对应在重建图上像素点个数n,经过1.5倍放大,去除所含像素点数少于1.5n的连通域。记此时二值矩阵为M。
S7:经过S6中梯度判断和形态学滤波处理后,仍保留下的区域(M中真值)认为是微流控芯片流路结构成像区域。对于rec区域对应的全息图H重建所得的复矩阵U,将流路结构对应区域的数值加以保留,而将其他位置处的数据实部、虚部分别替换为U矩阵各元素实部、虚部的均值。
S71:计算重建所得复矩阵U的实部R与虚部系数O的均值,分别记为real和imag。
Figure BDA0001576341890000092
Figure BDA0001576341890000093
S72:根据M矩阵逻辑值分布,构建针对流路成像区域的复数矩阵S。
Figure BDA0001576341890000094
S8:按照卷积重建步骤反向执行,反衍射出复数矩阵S对应的衍射信息矩阵holo。
S9:将重建图块rec对应原始全息图H中流路结构的衍射信息抵消,此时全息图中将仅(主要)包含细胞物体的衍射信息。再对抵消后的全息图重建,得到纯净的细胞物体重建图。
具体包括:
S91:计算反衍射矩阵holo元素均值holoavr
Figure BDA0001576341890000095
S92:从全息图像块H中抵消掉衍射环矩阵holo所含信息,得到仅含有细胞衍射信息的全息图像块H*
H*(x,y)=H(x,y)-2[holo(x,y)-holoavr]
S93:对矩阵H*进行卷积重建,得重建复矩阵U*。与S4相同的,得到U*对应的实数矩阵I′,并对其进行归一化和取整处理。
S10:将各去除了芯片流路结构的重建图块按照对应全息图块分块顺序重新排列,得到芯片流路内所有细胞分布的完整重建图。
S0:特别的,对于S3、S8、S9中的全息图重建(逆)方法,采用卷积重建法加以实现,具体计算流程如下:
卷积重建法是基于线性系统理论和瑞利-索默菲积分公式而构建的,能够准确反映光的空间衍射分布。由瑞利-索默菲衍射积分公式,全息图中衍射信息再现后对应光波:
Figure BDA0001576341890000101
其中,
Figure BDA0001576341890000102
Figure BDA0001576341890000103
j在此表示虚数单位,λ为重建光波长。
H(x,y)为图像传感器所记录的全息图光强分布,也即是所采集记录得到的全息图。
C(x,y)是重建光波在传感器平面上的分布,取为R(x,y)的共轭:
R(x,y)=exp[-jk(xsinα+ysinβ)]
式中α、β分别为平面参考光波与空间yoz平面和xoz平面的夹角。
而根据线性系统理论,再现像复振幅可以表示为如下卷积形式:
Figure BDA0001576341890000104
其中,k=2π/λ,g为自由空间脉冲响应。
Figure BDA0001576341890000105
再由卷积理论,可使用傅里叶变换计算得到再现像,也即是本发明所使用的重建图:
Z=FT-1[FT(H·C)·FT(g)]
最后说明的是,以上优选实施例仅用以说明发明的技术方案而非限制,尽管通过上述优选实施例已经对本发明进行了详细的描述,但本领域技术人员应当理解,可以在形式上和细节上对其作出各种各样的改变,而不偏离本发明权利要求书所限定的范围。

Claims (9)

1.使用微流控芯片进行细胞全息重建观测的流路结构去除方法,其特征在于:该方法包含如下步骤:
S1:读入待重建的细胞全息图,进行预处理,将细胞全息图从RGB彩色空间映射为灰度图像,对应像素映射关系:
Gray(a,b)=0.229×R(a,b)+0.587×G(a,b)+0.114×B(a,b)
其中,a、b为行列坐标,R、G、B分别为三原色通道信息;
S2:设置图像分块尺寸,将全息图进行半窗长滑动分块处理;
S3:对于某一分块处理后全息图像块H在记录距离、重建波长下进行卷积重建,得到复矩阵;
S4:对重建所得复矩阵取模,得实数矩阵,经过灰度拉伸与归一化取整得到初步重建图像块,取各初步重建图块交叠部分对应的像素点的灰度取均值,作为整合重建图中的像素灰度,完成所有重建图块的整合;
S5:对于整幅整合重建图再次分块,使用最大类间方差设置灰度阈值得到整合重建图块内流路结构可能的成像区域;
S6:结合梯度判断与形态学滤波对流路结构进行进一步处理,排除掉观察用目标物体,获得流路结构的成像区域;
S7:将成像区域所对应的全息图重建所得的复矩阵中流路结构对应区域的数值保留,将其他位置的数据实部、虚部分别替换为矩阵各元素实部、虚部的均值,构建复数矩阵;
S8:按照卷积重建步骤反向执行,反衍射出复数矩阵对应的衍射信息矩阵holo;
S9:将成像区域所对应的全息图中的流路结构的衍射信息进行抵消,对抵消后的全息图进行卷积重建,得到纯净的细胞物体重建图;
S10:将细胞物体重建图按照对应全息图块分块顺序重新排列,得到芯片流路内所有细胞分布的完整重建图。
2.根据权利要求1所述的使用微流控芯片进行细胞全息重建观测的流路结构去除方法,其特征在于:
所述卷积重建具体为:
将全息图中衍射信息再现后对应光波表示为:
Figure FDA0003267609980000011
其中,
Figure FDA0003267609980000021
Figure FDA0003267609980000022
式中,j表示虚数单位,λ为重建光波长,θ为衍射角,zi为观察面与记录面距离,xi为重建图中像点横坐标,yi为重建图中像点纵坐标,x为全息图中像点横坐标,y为全息图中像点纵坐标,C(x,y)为重建光波在传感器平面上的分布,H(x,y)为图像传感器所记录的全息图光强分布;
令C(x,y)的共轭为R(x,y):
R(x,y)=exp[-jk(xsinα+ysinβ)]
式中,α、β分别为平面参考光波与空间yoz平面和xoz平面的夹角,k为波数,k=2π/λ;
根据线性系统理论,将再现图像复振幅表示为:
Figure FDA0003267609980000023
其中,k=2π/λ,g为自由空间脉冲响应;
Figure FDA0003267609980000024
由卷积理论,使用傅里叶变换计算得到再现图像:
Z=FT-1[FT(H(x,y)·C(x,y))·FT(g)]
式中,FT()表示傅里叶变换,FT-1()表示逆傅里叶变换。
3.根据权利要求2所述的使用微流控芯片进行细胞全息重建观测的流路结构去除方法,其特征在于:步骤S2具体包含:
S21:设图像分块边长为L,整幅图像的行列值为M和N,对应整除取图像的行、列所能排布图像块的个数分别为Row和Col;
Row=M|L
Col=N|L
S22:取整幅图像左上Row×L行与Col×L列区域为有效重建区域,进行图像裁剪;
S23:以L为分块边长对全息图有效区域进行滑动分块,横向、纵向滑动步长为L/2,直至各图像块平铺排布覆盖整个有效区域,且相邻块间均有四分之一面积区域交叠。
4.根据权利要求3所述的使用微流控芯片进行细胞全息重建观测的流路结构去除方法,其特征在于:步骤S3中所述复矩阵为:
U(xi,yi)=R(xi,yi)+O(xi,yi)×i
其中,R与O分别为复矩阵的实部矩阵与虚部矩阵系数,i表示虚数单位,(xi,yi)为重建图在再现图像平面上的位置分布。
5.根据权利要求4所述的使用微流控芯片进行细胞全息重建观测的流路结构去除方法,其特征在于:步骤S4包含如下步骤:
S41:将复矩阵U(xi,yi)取模,获得实数矩阵I(xi,yi);
Figure FDA0003267609980000031
S42:对实数矩阵I(xi,yi)进行归一化和取整处理,获得元素数值为整数且拉伸分布在整个图像灰度级[0,level]区间的实整矩阵Is(xi,yi),
Figure FDA0003267609980000032
其中,max和min分别代表矩阵I(xi,yi)中的最大、最小元素数值,level取255,round的取整规则为四舍五入取整,Is(xi,yi)为重建图像块;
S43:对于各重建图块交叠部分对应像素点灰度取均值作为整合重建图中像素灰度,完成重建图块整合。
6.根据权利要求5所述的使用微流控芯片进行细胞全息重建观测的流路结构去除方法,其特征在于:步骤S5包含如下步骤:
S51:将整合重建图记为Rec,通过图像分块边长L,再次对整合重建图Rec进行分块处理,获得平铺无交叠的整合重建图块rec;
S52:对于整合重建图块rec进行基于最大类间方差的灰度阈值计算,
对于整合重建图块rec,记T为前景与背景的分割阈值,前景点数占图像比例为w0,平均灰度为u0;背景点数占图像比例为w1,平均灰度为u1,图像的总平均灰度为u,var为前景和背景图像的方差,则有:
u=w0×u0+w1×u1
var=w0×(u0-u)2+w1×(u1-u)2
则:
Figure FDA0003267609980000033
当方差var最大时,认为此时前景和背景差异最大,分割阈值T即是最佳灰度阈值;
S53:根据所得到的分割阈值T,对整合重建图块rec进行二值化处理,得二值图像recBW
Figure FDA0003267609980000034
其中,xi,yi为整合重建图块的位置坐标,rec(xi,yi)表示坐标xi,yi处的灰度值。
7.根据权利要求6所述的使用微流控芯片进行细胞全息重建观测的流路结构去除方法,其特征在于:步骤S6包含如下步骤:
S61:使用Sobel算子对二值图像recBW中流路结构可能区域所有边缘点坐标对应的整合重建图块rec中的像素点进行梯度值计算,
Gx=[2rec(xi,yi+1)-2rec(xi,yi-1)]+[rec(xi-1,yi+1)-rec(xi-1,yi-1)]+[rec(xi+1,yi+1)-rec(xi+1,yi-1)]
Gy=[2rec(xi+1,yi)-2rec(xi-1,yi)]+[rec(xi+1,yi-1)+rec(xi-1,yi-1)]+[rec(xi+1,yi+1)-rec(xi-1,yi+1)]
该像素点对应梯度值为:
Figure FDA0003267609980000041
S62:计算recBW中所有边缘点对应整合重建图块rec中像素点梯度的均值Gavr
Figure FDA0003267609980000042
其中,num为整合重建图块rec中连通域边缘点总数,edge整合重建图块rec中连通域边缘点合集;
S63:设recBW中共初检测出k个连通域,计算其各连通域边缘对应rec中像素灰度梯度均值Gt,t∈1,2,...,k;
S64:进行形态学滤波,根据实际观察细胞尺寸设置滤波范围,实物面积对应在重建图上像素点个数n,经过1.5倍放大,去除所含像素点数少于1.5n的连通域,将此时的二值矩阵为M。
8.根据权利要求7所述的使用微流控芯片进行细胞全息重建观测的流路结构去除方法,其特征在于:步骤S7具体包含,
S71:计算重建所得复矩阵的实部R与虚部系数O的均值,分别记为real和imag,
Figure FDA0003267609980000043
Figure FDA0003267609980000044
S72:根据二值矩阵M的逻辑值分布,构建针对流路成像区域的复数矩阵S(xi,yi),
Figure FDA0003267609980000045
其中,M(xi,yi)为二值矩阵M的第i行第i列元素。
9.根据权利要求8所述的使用微流控芯片进行细胞全息重建观测的流路结构去除方法,其特征在于:步骤S9包含如下步骤:
S91:计算反衍射矩阵holo元素均值holoavr
Figure FDA0003267609980000051
S92:从全息图像块H中抵消掉衍射环矩阵holo所含信息,得到仅含有细胞衍射信息的全息图像块H*
H*(x,y)=H(x,y)-2[holo(x,y)-holoavr]
S93:对矩阵H*进行卷积重建,得重建复矩阵U*,将重建复矩阵U*取模,得到U*对应的实数矩阵I′,并对实数矩阵I′进行归一化和取整处理。
CN201810136170.0A 2018-02-09 2018-02-09 使用微流控芯片进行细胞全息重建观测的流路结构去除方法 Active CN108364266B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810136170.0A CN108364266B (zh) 2018-02-09 2018-02-09 使用微流控芯片进行细胞全息重建观测的流路结构去除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810136170.0A CN108364266B (zh) 2018-02-09 2018-02-09 使用微流控芯片进行细胞全息重建观测的流路结构去除方法

Publications (2)

Publication Number Publication Date
CN108364266A CN108364266A (zh) 2018-08-03
CN108364266B true CN108364266B (zh) 2021-11-30

Family

ID=63005242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810136170.0A Active CN108364266B (zh) 2018-02-09 2018-02-09 使用微流控芯片进行细胞全息重建观测的流路结构去除方法

Country Status (1)

Country Link
CN (1) CN108364266B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110517183B (zh) * 2019-07-26 2020-09-25 电子科技大学 一种基于视网膜机制的高速低功耗图像处理器
CN115598025B (zh) * 2022-12-13 2023-03-10 四川亿欣新材料有限公司 图像处理方法及使用该方法的碳酸钙粉质检系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103827889A (zh) * 2011-07-19 2014-05-28 奥维茨奥成像系统公司 用于检测和/或分类细胞样品中的癌细胞的方法和系统
CN104568907A (zh) * 2015-01-21 2015-04-29 重庆大学 一种血液及生物样本无损检测用微流控sers芯片
CN105739279A (zh) * 2014-12-11 2016-07-06 上海交通大学 基于全息图强度信息的迭代重构成像方法
CN106408539A (zh) * 2016-09-26 2017-02-15 微美光速资本投资管理(北京)有限公司 一种基于模糊逻辑的增强现实图像再现方法
WO2017054342A1 (zh) * 2015-09-28 2017-04-06 中兴通讯股份有限公司 一种全息投影方法、装置及计算机存储介质
CN107490948A (zh) * 2017-09-26 2017-12-19 天津工业大学 一种可调节重建三维场景视场角的相位型全息打印方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103827889A (zh) * 2011-07-19 2014-05-28 奥维茨奥成像系统公司 用于检测和/或分类细胞样品中的癌细胞的方法和系统
CN105739279A (zh) * 2014-12-11 2016-07-06 上海交通大学 基于全息图强度信息的迭代重构成像方法
CN104568907A (zh) * 2015-01-21 2015-04-29 重庆大学 一种血液及生物样本无损检测用微流控sers芯片
WO2017054342A1 (zh) * 2015-09-28 2017-04-06 中兴通讯股份有限公司 一种全息投影方法、装置及计算机存储介质
CN106408539A (zh) * 2016-09-26 2017-02-15 微美光速资本投资管理(北京)有限公司 一种基于模糊逻辑的增强现实图像再现方法
CN107490948A (zh) * 2017-09-26 2017-12-19 天津工业大学 一种可调节重建三维场景视场角的相位型全息打印方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
3D image reconstruction of transparent gas flow by parallel phase-shifting digital holography;Yasuhiro Awatsuji等;《2016 15th Workshop on Information Optics (WIO)》;20161117;第1-2页 *
GPU implementation of volume reconstruction and object detection in Digital Holographic Microscopy;László Orzó等;《2010 12th International Workshop on Cellular Nanoscale Networks and their Applications (CNNA 2010)》;20100309;第1-4页 *
Phase measurements with reduced sensitivity of a supersonic shock flow by two-wavelength dual hologram shearing interference technique;G. Toker等;《ICIASF"97 Record. International Congress on Instrumentation in Aerospace Simulation Facilities》;20020806;第313-321页 *
Tomography of microfluidic channels by synthetic holography;A. Di Donato等;《2016 Progress in Electromagnetic Research Symposium (PIERS)》;20161110;第1页 *

Also Published As

Publication number Publication date
CN108364266A (zh) 2018-08-03

Similar Documents

Publication Publication Date Title
Shi et al. Study on modeling method of forest tree image recognition based on CCD and theodolite
EP3136079B1 (en) Incoherent lensfree cell holography and microscopy on a chip
EP1963927B1 (en) Method and apparatus for analysis of a sample of cells
CN108388853B (zh) 针对白细胞与血小板共存全息图的分步重建与计数方法
JP2013542468A (ja) 走査型投影レンズレス顕微鏡システム
Moon et al. Cell identification computational 3-D holographic microscopy
CN108364296B (zh) 基于多层全息重建与聚焦策略的细胞群空间分布构建方法
CN107169953A (zh) 基于hog特征的桥梁混凝土表面裂缝检测方法
CN108364266B (zh) 使用微流控芯片进行细胞全息重建观测的流路结构去除方法
US20190178796A1 (en) Lensless imaging device for microscopy and fingerprint biometric
US6876474B2 (en) Method for tracking particles and life forms in three dimensions and in time
CN108416767B (zh) 基于全息成像的红细胞多项生理参数检测方法
CN115220211B (zh) 基于深度学习和光场成像的显微成像系统及方法
US20230177645A1 (en) Pathological section analyzer with large field of view, high throughput and high resolution
Tian et al. Research on dual-line array subpixel scanning imaging for iomt-based blood cell analysis system
Glasbey et al. Multimodal microscopy by digital image processing
CN105741336A (zh) 一种基于随机采样的分块压缩感知成像方法及系统
KR20150019264A (ko) 세포 정렬 기판을 이용한 시료 분석 장치 및 그 방법
US20230386233A1 (en) Method for classifying a sequence of input images representing a particle in a sample over time
CN108387553B (zh) 针对白细胞与血小板共存全息图的分块重建与分类计数方法
Chu et al. High resolution U-Net for quantitatively analyzing early spatial patterning of human induced pluripotent stem cells on micropatterns
Zawada Image processing of underwater multispectral imagery
Pala et al. Development of Embedded System-Based Lens-Less Microscopy System and Testing on Pathological Samples
D'Almeida Development of lens-free holographic microscopes using multiheight and multispectral phase recovery methods
Hu et al. Few-Cell Culture Monitoring and Analysis in Real-Time Using the Lensless Imaging System

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230925

Address after: No. A7 Tongji Middle Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing, 100176

Patentee after: Beijing Lize Health Technology Co.,Ltd.

Address before: 400044 No. 174 Shapingba street, Shapingba District, Chongqing

Patentee before: Chongqing University