CN109557000A - 在胸水荧光图像中检测肿瘤细胞的方法和装置 - Google Patents
在胸水荧光图像中检测肿瘤细胞的方法和装置 Download PDFInfo
- Publication number
- CN109557000A CN109557000A CN201811546860.XA CN201811546860A CN109557000A CN 109557000 A CN109557000 A CN 109557000A CN 201811546860 A CN201811546860 A CN 201811546860A CN 109557000 A CN109557000 A CN 109557000A
- Authority
- CN
- China
- Prior art keywords
- channel
- cell
- apc
- fitc
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010048612 Hydrothorax Diseases 0.000 title claims abstract description 63
- 210000004881 tumor cell Anatomy 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 36
- 210000004027 cell Anatomy 0.000 claims abstract description 282
- MHMNJMPURVTYEJ-UHFFFAOYSA-N fluorescein-5-isothiocyanate Chemical compound O1C(=O)C2=CC(N=C=S)=CC=C2C21C1=CC=C(O)C=C1OC1=CC(O)=CC=C21 MHMNJMPURVTYEJ-UHFFFAOYSA-N 0.000 claims abstract description 91
- 238000012216 screening Methods 0.000 claims abstract description 38
- 230000011218 segmentation Effects 0.000 claims abstract description 31
- 238000012935 Averaging Methods 0.000 claims abstract description 30
- PSVRFUPOQYJOOZ-QNPWAGBNSA-O 2-[hydroxy-[(2r)-2-[(5z,8z,11z,14z)-icosa-5,8,11,14-tetraenoyl]oxy-3-octadecanoyloxypropoxy]phosphoryl]oxyethyl-trimethylazanium Chemical compound CCCCCCCCCCCCCCCCCC(=O)OC[C@H](COP(O)(=O)OCC[N+](C)(C)C)OC(=O)CCC\C=C/C\C=C/C\C=C/C\C=C/CCCCC PSVRFUPOQYJOOZ-QNPWAGBNSA-O 0.000 claims abstract description 21
- 238000013480 data collection Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000012876 topography Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 208000005443 Circulating Neoplastic Cells Diseases 0.000 description 1
- 208000002151 Pleural effusion Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
- G01N15/10—Investigating individual particles
-
- G01N15/1023—
-
- G01N15/01—
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N2015/1006—Investigating individual particles for cytology
-
- G01N2015/1028—
Abstract
本发明提供在胸水荧光图像中检测肿瘤细胞的方法及装置,包括:对于胸水荧光图像中的APC、PE、FITC三个通道图层图像中分别进行相同方式的细胞分割和相同方式的筛选,得到APC通道细胞位置数据集SAPC、PE通道细胞位置数据集SPE和FITC通道细胞位置数据集SFITC;根据SAPC、SPE和SFITC,确定胸水荧光图像在PE通道相对APC通道的图像平均偏移值,记作PE_offset,并且确定胸水荧光图像在FITC通道相对APC通道的图像平均偏移值,记作FITC_offset;根据SAPC、SPE和SFITC中的细胞位置信息、PE_offset和FITC_offset代表的通道偏移信息、以及APC、PE、FITC三个通道图层图像中的灰度信息,筛选出胸水荧光图像中的肿瘤细胞,其中肿瘤细胞满足条件:APC通道呈阴性且PE通道或者FIFC通道呈阳性。
Description
技术领域
本发明涉及一种计算机及软件技术领域,具体涉及一种在胸水荧光图像中检测肿瘤细胞的方法和装置。
背景技术
在病理医学领域中,通常需要对胸水荧光图像进行分析检测。常见的胸水荧光图像共有三个通道,分别为APC,PE,FITC。APC最大吸收为630nm-650nm,发射波长为660nm,颜色大致为红色。PE最大吸收490nm-560nm,发射波长574nm,颜色大致为橙黄色。FITC最大吸收波长488nm,最大发射波长530nm,颜色大致为绿色。每个通道使用了不同的荧光物质,一个胸水荧光图像中的总细胞数目通常在2-20万个,而阳性的肿瘤细胞(circulating tumorcell,CTC)数量通常只有10个左右。目前主要的检测方式是对三个通道进行人工综合筛查,由于总细胞数量过多,人工筛查一个样本通常需要几个多小时,效率很低。急需研发出一种胸水荧光图像CTC细胞自动检测方法和装置。
发明内容
有鉴于此,本发明提供一种在胸水荧光图像中检测肿瘤细胞的方法和装置,能够解决现有技术的效率低、主观性强、误差大、重现率不佳的技术问题。
为实现上述目的,根据本发明的一个方面,提供了一种在胸水荧光图像中检测肿瘤细胞的方法,包括:A:对于胸水荧光图像中的APC、PE、FITC三个通道图层图像中分别进行相同方式的细胞分割和相同方式的筛选,得到APC通道细胞位置数据集SAPC、PE通道细胞位置数据集SPE和FITC通道细胞位置数据集SFITC;B.根据所述SAPC、SPE和SFITC,确定胸水荧光图像在PE通道相对APC通道的图像平均偏移值,记作PE_offset,并且确定胸水荧光图像在FITC通道相对APC通道的图像平均偏移值,记作FITC_offset;C.根据所述SAPC、SPE和SFITC中的细胞位置信息、PE_offset和FITC_offset代表的通道偏移信息、以及所述APC、PE、FITC三个通道图层图像中的灰度信息,筛选出所述胸水荧光图像中的肿瘤细胞,其中所述肿瘤细胞满足条件:APC通道呈阴性且PE通道或者FIFC通道呈阳性。
可选地,在所述步骤A之前,还包括:对所述胸水荧光图像进行中值滤波处理和对比度受限直方图均衡化处理。
可选地,所述步骤B包括:B1:对所述SAPC中的细胞逐一进行如下操作:确定细胞在APC通道图像中的贴合矩形框boxAPC,然后向四周延伸a像素以得到延展矩形框记作ext_box,其中a为正整数表示扩展宽度,若所述ext_box对应到APC通道图像、PE通道图像和FIFC通道图像中所得到的三个图像块中的细胞数量均是1且该唯一细胞的曲率值小于预设曲率值阈值,则判断当前细胞为采样细胞,然后对跳至步骤B2;B2:获得该采样细胞在PE通道图像中的贴合矩形框boxPE,并且获得该采样细胞在FITC通道图像中的贴合矩形框boxFITC;根据该采样细胞的boxAPC和boxPE计算该采样细胞在PE通道相对APC通道的细胞图像偏移值,并且根据该采样细胞的boxAPC和boxFITC计算该采样细胞在FITC通道相对APC通道的细胞图像偏移值;B3:当采样细胞的数量累计到预设采样数量n后,对所述预设采样数量的采样细胞在PE通道相对APC通道的细胞图像偏移值求平均,以得到所述PE_offset,并且,对所述预设采样数量的采样细胞在FITC通道相对APC通道的细胞图像偏移值求平均,以得到所述FITC_offset。
可选地,所述步骤C包括:C1:根据下列两个筛选条件筛选出白细胞:APC通道细胞相对灰度大于预设相对灰度阈值;APC通道细胞相对灰度大于b倍PE通道细胞相对灰度,其中b表示大于零的第一预设系数;C2:根据所述白细胞在所述PE通道的相对灰度数值统计分布确定PE通道阳性细胞阈值,并且根据所述白细胞在FITC通道的相对灰度数值统计分布确定FITC通道阳性细胞阈值;C3:根据所述PE通道阳性细胞阈值筛选出PE通道疑似阳性细胞,若所述PE通道疑似阳性细胞在APC通道为阴性,则该PE通道疑似阳性细胞记为第一类肿瘤细胞;C4:根据所述FITC通道阳性细胞阈值筛选出FITC通道疑似阳性细胞,若所述FITC通道疑似阳性细胞在APC通道为阴性,则该FITC通道疑似阳性细胞记为第二类肿瘤细胞;C5:输出所述第一类肿瘤细胞和所述第二类肿瘤细胞。
可选地,所述步骤C2包括:统计所述白细胞在PE通道的相对灰度值的均值和标准差;计算PE通道阳性细胞阈值=白细胞在PE通道的相对灰度值的均值+c倍白细胞在PE通道的相对灰度值的标准差;统计所述白细胞在FIFC通道的相对灰度值的均值和标准差;计算FIFC通道阳性细胞阈值=白细胞在FIFC通道的相对灰度值的均值+d倍白细胞在FIFC通道的相对灰度值的标准差,其中c表示大于零的第二预设系数,d表示大于零的第三预设系数。
为实现上述目的,根据本发明的另一个方面,还提出一种在胸水荧光图像中检测肿瘤细胞的装置,包括:细胞分割模块,用于对于胸水荧光图像中的APC、PE、FITC三个通道图层图像中分别进行相同方式的细胞分割和相同方式的筛选,得到APC通道细胞位置数据集SAPC、PE通道细胞位置数据集SPE和FITC通道细胞位置数据集SFITC;偏移计算模块,用于根据所述SAPC、SPE和SFITC,确定胸水荧光图像在PE通道相对APC通道的图像平均偏移值,记作PE_offset,并且确定胸水荧光图像在FITC通道相对APC通道的图像平均偏移值,记作FITC_offset;筛选输出模块,用于根据所述SAPC、SPE和SFITC中的细胞位置信息、PE_offset和FITC_offset代表的通道偏移值、以及所述APC、PE、FITC三个通道图层图像中的灰度信息,筛选出所述胸水荧光图像中的肿瘤细胞,其中所述肿瘤细胞满足条件:APC通道呈阴性且PE通道或者FIFC通道呈阳性。
可选地,还包括:预处理模块,用于对所述胸水荧光图像进行中值滤波处理和对比度受限直方图均衡化处理。
可选地,所述偏移计算模块包括:采样选定模块,用于对所述SAPC中的细胞逐一进行如下操作:确定细胞在APC通道图像中的贴合矩形框boxAPC,然后向四周延伸a像素以得到延展矩形框记作ext_box,其中a为正整数表示扩展宽度,若所述ext_box对应到APC通道图像、PE通道图像和FIFC通道图像中所得到的三个图像块中的细胞数量均是1且该唯一细胞的曲率值小于预设曲率值阈值,则判断当前细胞为采样细胞,然后发送给采样计算模块;所述采样计算模块,用于获得该采样细胞在PE通道图像中的贴合矩形框boxPE,并且获得该采样细胞在FITC通道图像中的贴合矩形框boxFITC;根据该采样细胞的boxAPC和boxPE计算该采样细胞在PE通道相对APC通道的细胞图像偏移值,并且根据该采样细胞的boxAPC和boxFITC计算该采样细胞在FITC通道相对APC通道的细胞图像偏移值;平均化模块,用于当采样细胞的数量累计到预设采样数量n后,对所述预设采样数量的采样细胞在PE通道相对APC通道的细胞图像偏移值求平均,以得到所述PE_offset,并且,对所述预设采样数量的采样细胞在FITC通道相对APC通道的细胞图像偏移值求平均,以得到所述FITC_offset。
可选地,所述筛选输出模块,包括:白细胞筛选模块,用于根据下列两个筛选条件筛选出白细胞:APC通道细胞相对灰度大于预设相对灰度阈值;APC通道细胞相对灰度大于b倍PE通道细胞相对灰度,其中b表示大于零的第一预设系数;阈值计算模块,用于根据所述白细胞在所述PE通道的相对灰度数值统计分布确定PE通道阳性细胞阈值,并且根据所述白细胞在FITC通道的相对灰度数值统计分布确定FITC通道阳性细胞阈值;第一筛选模块,用于根据所述PE通道阳性细胞阈值筛选出PE通道疑似阳性细胞,若所述PE通道疑似阳性细胞在APC通道为阴性,则该PE通道疑似阳性细胞记为第一类肿瘤细胞;第二筛选模块,用于根据所述FITC通道阳性细胞阈值筛选出FITC通道疑似阳性细胞,若所述FITC通道疑似阳性细胞在APC通道为阴性,则该FITC通道疑似阳性细胞记为第二类肿瘤细胞;输出模块,用于输出所述第一类肿瘤细胞和所述第二类肿瘤细胞。
可选地,所述阈值计算模块还用于:统计所述白细胞在PE通道的相对灰度值的均值和标准差;计算PE通道阳性细胞阈值=白细胞在PE通道的相对灰度值的均值+c倍白细胞在PE通道的相对灰度值的标准差;统计所述白细胞在FIFC通道的相对灰度值的均值和标准差;计算FIFC通道阳性细胞阈值=白细胞在FIFC通道的相对灰度值的均值+d倍白细胞在FIFC通道的相对灰度值的标准差,其中c表示大于零的第二预设系数,d表示大于零的第三预设系数。
根据本发明的技术方案,自动化地在胸水荧光图像中检测出肿瘤细胞,科学可行,效率高、重现性好,算法简便明晰,对硬件配置要求低。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是本发明实施例的在胸水荧光图像中检测肿瘤细胞的方法的流程示意图;
图2是本发明实施例的在胸水荧光图像中检测肿瘤细胞的装置的结构示意图;
图3是本发明实施例的中值滤波处理的示意图;
图4是本发明实施例的对比度受限直方图均衡化处理的示意图;
图5是本发明实施例的图像不同区域的背景亮度不同的示意图;
图6是本发明实施例的APC、PE、FITC三个通道分别进行初级分割的结果示意图;
图7是本发明实施例的局部细胞采样的示意图;
图8是本发明实施例的黏连细胞分割的示意图;
图9是本发明实施例的筛选肿瘤细胞的流程示意图;
图10是本发明实施例的背景细胞消除mask生成的示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图1是根据本发明实施例的在胸水荧光图像中检查肿瘤细胞的方法的流程示意图。如图1所示,该方法可以包括如下的步骤A至步骤C。
步骤A:对于胸水荧光图像中的APC、PE、FITC三个通道图层图像中分别进行相同方式的细胞分割和相同方式的筛选,得到APC通道细胞位置数据集SAPC、PE通道细胞位置数据集SPE和FITC通道细胞位置数据集SFITC。
步骤B:根据SAPC、SPE和SFITC,确定胸水荧光图像在PE通道相对APC通道的图像平均偏移值,记作PE_offset,并且确定胸水荧光图像在FITC通道相对APC通道的图像平均偏移值,记作FITC_offset。
步骤C:根据SAPC、SPE和SFITC中的细胞位置信息、PE_offset和FITC_offset代表的通道偏移信息、以及APC、PE、FITC三个通道图层图像中的灰度信息,筛选出胸水荧光图像中的肿瘤细胞,其中肿瘤细胞满足条件:APC通道呈阴性且PE通道或者FIFC通道呈阳性。
根据本发明实施例的在胸水荧光图像中检查肿瘤细胞的方法,自动化地在胸水荧光图像中检测出肿瘤细胞,科学可行,效率高、重现性好,算法简便明晰,对硬件配置要求低。
可选地,根据本发明实施例的在胸水荧光图像中肿瘤细胞检测方法中,在步骤A之前,还包括:对胸水荧光图像进行中值滤波处理和对比度受限直方图均衡化处理。经过这些预处理,能够提高后续的分割结果的准确性。中值滤波处理,在降噪的同时也能保证较好的细胞轮廓;由于原始图像对比度过低,很多细胞显现不明显,进行对比度受限直方图均衡化(contrast limited adaptive histogram equalization,CLAHE)处理可以为后续细胞分割提供更好的分割效果。
可选地,根据本发明实施例的在胸水荧光图像中肿瘤细胞检测方法的步骤A中,细胞分割和细胞筛选的方式可以灵活多样的。例如,可以是基于自适应阈值的分割算法进行图像分割,然后再基于细胞尺寸和曲率值进行筛选。
可选地,根据本发明实施例的在胸水荧光图像中肿瘤细胞检测方法中,步骤B包括如下的步骤B1至步骤B3。
步骤B1:对SAPC中的细胞逐一进行如下操作:确定细胞在APC通道图像中的贴合矩形框boxAPC,然后向四周延伸a像素以得到延展矩形框记作ext_box,其中a为正整数表示扩展宽度,若ext_box对应到APC通道图像、PE通道图像和FIFC通道图像中所得到的三个图像块中的细胞数量均是1且该唯一细胞的曲率值小于预设曲率值阈值,则判断当前细胞为采样细胞,然后对跳至步骤B2。可选地,0<a<20,优选值为10。
步骤B2:获得该采样细胞在PE通道图像中的贴合矩形框boxPE,并且获得该采样细胞在FITC通道图像中的贴合矩形框boxFITC;根据该采样细胞的boxAPC和boxPE计算该采样细胞在PE通道相对APC通道的细胞图像偏移值,并且根据该采样细胞的boxAPC和boxFITC计算该采样细胞在FITC通道相对APC通道的细胞图像偏移值。
步骤B3:当采样细胞的数量累计到预设采样数量n后,对预设采样数量的采样细胞在PE通道相对APC通道的细胞图像偏移值求平均,以得到PE_offset,并且,对预设采样数量的采样细胞在FITC通道相对APC通道的细胞图像偏移值求平均,以得到FITC_offset。可选地,5≤n≤20,优选值为10。
需要说明的是,尽管本实施例是对预设采样数量n个细胞求取图像偏移值PE_offset和FITC_offset,但本发明其他实施例也可以通过遍历所有细胞求平均的方式来计算偏移值PE_offset和FITC_offset。
可选地,根据本发明实施例的在胸水荧光图像中肿瘤细胞检测方法中,步骤C包括如下的步骤C1至步骤C5。
步骤C1:根据下列两个筛选条件筛选出白细胞:APC通道细胞相对灰度大于预设相对灰度阈值;APC通道细胞相对灰度大于b倍PE通道细胞相对灰度,其中b表示大于零的第一预设系数。可选地,0.01<b<0.5,优选值为0.1。
步骤C2:根据白细胞在PE通道的相对灰度数值统计分布确定PE通道阳性细胞阈值,并且根据白细胞在FITC通道的相对灰度数值统计分布确定FITC通道阳性细胞阈值。
步骤C3:根据PE通道阳性细胞阈值筛选出PE通道疑似阳性细胞,若PE通道疑似阳性细胞在APC通道为阴性,则该PE通道疑似阳性细胞记为第一类肿瘤细胞。
步骤C4:根据FITC通道阳性细胞阈值筛选出FITC通道疑似阳性细胞,若FITC通道疑似阳性细胞在APC通道为阴性,则该FITC通道疑似阳性细胞记为第二类肿瘤细胞。
步骤C5:输出第一类肿瘤细胞和第二类肿瘤细胞。
可选地,根据本发明实施例的在胸水荧光图像中肿瘤细胞检测方法中,步骤C2包括如下步骤:统计白细胞在PE通道的相对灰度值的均值和标准差;计算PE通道阳性细胞阈值=白细胞在PE通道的相对灰度值的均值+c倍白细胞在PE通道的相对灰度值的标准差;统计白细胞在FIFC通道的相对灰度值的均值和标准差;计算FIFC通道阳性细胞阈值=白细胞在FIFC通道的相对灰度值的均值+d倍白细胞在FIFC通道的相对灰度值的标准差,其中c表示大于零的第二预设系数,d表示大于零的第三预设系数。可选地,0<c<10,优选值为3。0<d<10,优选值为5。
图2是根据本发明实施例的在胸水荧光图像中检测肿瘤细胞的装置的结构示意图。如图2所示,该装置包括细胞分割模块100、偏移计算模块200和筛选输出模块300。
细胞分割模块100用于对于胸水荧光图像中的APC、PE、FITC三个通道图层图像中分别进行相同方式的细胞分割和相同方式的筛选,得到APC通道细胞位置数据集SAPC、PE通道细胞位置数据集SPE和FITC通道细胞位置数据集SFITC。
偏移计算模块200用于根据SAPC、SPE和SFITC,确定胸水荧光图像在PE通道相对APC通道的图像平均偏移值,记作PE_offset,并且确定胸水荧光图像在FITC通道相对APC通道的图像平均偏移值,记作FITC_offset。
筛选输出模块300用于根据SAPC、SPE和SFITC中的细胞位置信息、PE_offset和FITC_offset代表的通道偏移值、以及APC、PE、FITC三个通道图层图像中的灰度信息,筛选出胸水荧光图像中的肿瘤细胞,其中肿瘤细胞满足条件:APC通道呈阴性且PE通道或者FIFC通道呈阳性。
可选地,根据本发明实施例的在胸水荧光图像中肿瘤细胞检测装置中,还包括预处理模块,该预处理模块用于对胸水荧光图像进行中值滤波处理和对比度受限直方图均衡化处理。增加预处理模块,能够提高后续的分割结果的准确性。由于图像采集过程中会伴有噪声产生,以及图像的对比度受采集转置和环境影响,所以预处理是十分必要的。
可选地,根据本发明实施例的在胸水荧光图像中肿瘤细胞检测装置中,偏移计算模块包括:采样选定模块、采样计算模块和平均化模块。
采样选定模块用于对SAPC中的细胞逐一进行如下操作:确定细胞在APC通道图像中的贴合矩形框boxAPC,然后向四周延伸a像素以得到延展矩形框记作ext_box,其中a为正整数表示扩展宽度,若ext_box对应到APC通道图像、PE通道图像和FIFC通道图像中所得到的三个图像块中的细胞数量均是1且该唯一细胞的曲率值小于预设曲率值阈值,则判断当前细胞为采样细胞,然后发送给采样计算模块。可选地,0<a<20,优选值为10。
采样计算模块用于获得该采样细胞在PE通道图像中的贴合矩形框boxPE,并且获得该采样细胞在FITC通道图像中的贴合矩形框boxFITC;根据该采样细胞的boxAPC和boxPE计算该采样细胞在PE通道相对APC通道的细胞图像偏移值,并且根据该采样细胞的boxAPC和boxFITC计算该采样细胞在FITC通道相对APC通道的细胞图像偏移值。
平均化模块用于当采样细胞的数量累计到预设采样数量n后,对预设采样数量的采样细胞在PE通道相对APC通道的细胞图像偏移值求平均,以得到PE_offset,并且,对预设采样数量的采样细胞在FITC通道相对APC通道的细胞图像偏移值求平均,以得到FITC_offset。
可选地,根据本发明实施例的在胸水荧光图像中肿瘤细胞检测装置中,筛选输出模块包括:白细胞筛选模块、阈值计算模块、第一筛选模块、第二筛选模块和输出模块。
白细胞筛选模块用于根据下列两个筛选条件筛选出白细胞:APC通道细胞相对灰度大于预设相对灰度阈值;APC通道细胞相对灰度大于b倍PE通道细胞相对灰度,其中b表示大于零的第一预设系数。可选地,0.01<b<0.5,优选值为0.1。
阈值计算模块用于根据白细胞在PE通道的相对灰度数值统计分布确定PE通道阳性细胞阈值,并且根据白细胞在FITC通道的相对灰度数值统计分布确定FITC通道阳性细胞阈值。
第一筛选模块用于根据PE通道阳性细胞阈值筛选出PE通道疑似阳性细胞,若PE通道疑似阳性细胞在APC通道为阴性,则该PE通道疑似阳性细胞记为第一类肿瘤细胞。
第二筛选模块用于根据FITC通道阳性细胞阈值筛选出FITC通道疑似阳性细胞,若FITC通道疑似阳性细胞在APC通道为阴性,则该FITC通道疑似阳性细胞记为第二类肿瘤细胞。
输出模块用于输出第一类肿瘤细胞和第二类肿瘤细胞。
可选地,根据本发明实施例的在胸水荧光图像中肿瘤细胞检测装置中,阈值计算模块还用于:统计白细胞在PE通道的相对灰度值的均值和标准差;计算PE通道阳性细胞阈值=白细胞在PE通道的相对灰度值的均值+c倍白细胞在PE通道的相对灰度值的标准差;统计白细胞在FIFC通道的相对灰度值的均值和标准差;计算FIFC通道阳性细胞阈值=白细胞在FIFC通道的相对灰度值的均值+d倍白细胞在FIFC通道的相对灰度值的标准差,其中c表示大于零的第二预设系数,d表示大于零的第三预设系数。可选地,0<c<10,优选值为3。0<d<10,优选值为5。
为使本领域技术人员更好地理解,下面结合具体实施例进行详细说明。
(1)图像预处理
由于图像采集过程中通常会有噪声产生,所以预处理第一步进行中值滤波处理,在降噪的同时也能保证较好的细胞轮廓,滤波结果如图3所示(由于原图尺寸过大,为2048像素×2048像素,图3中只显示了局部区域)。又由于原始图像对比度过低,很多细胞显现不明显,所以进一步进行对比度受限直方图均衡化处理,处理后的结果如图4所示。
(2)细胞分割
由于图像不同区域的背景亮度有所不同,参见图5,可以看出两个矩形框内的背景灰度值分布差异较大。因此首先采用自适应阈值分割(Adaptive thresholding)算法进行细胞的初步分割,此算法需要两个参数,窗口尺寸block_size和偏移量offset,其中,block_size表示用来计算阈值的区域大小,offset值用来微调计算出来的阈值。这里,三个通道的参数分别设置如下:APC通道:block_size=65,offset=-33;PE通道:block_size=51,offset=-33;FITC通道:block_size=111,offset=-35。自适应阈值分割的结果再进行形态学开运算,得到初级分割二值图像MASK,如图6所示。
由于胸水细胞的形态学特点是圆形,以及直径大小在6um到35um之间(大致对应8像素到54像素之间),这里设置三个参数size_min、size_max和circularity_th来筛选分割结果,其中,size_min=8表示细胞的最小直径,size_max=54表示细胞的最大直径,分割出的目标物的曲率值(circularity),可由以下公式计算得到:circularity=C^2/4πS。
其中,C表示目标物的周长,S表示目标物的面积,circularity∈[1,+∞),circularity越接近1,表示目标物的形态越接近正圆,这里取曲率值阈值circularity_th=1.3。
对初级分割二值图像MASK中的每一个小的分割结果进行如下条件判断:
if circularity<circularity_th and size_min<size<size_max:
通过
elif size<size_min:
丢弃
else:
进行后续处理
需要说明的是,这时候已经筛选出了最理想的、在图像中比较独立地呈现的、最容易分割出来那部分细胞了。同时,将一些候选的局部图像送去作进一步处理。
对上述的需要进行二阶段处理的细胞,首先根据该细胞对应的mask,生成一个贴合矩形框box,记其在原图上的坐标为(x,y,w,h),其中x,y为矩形框左上角点的坐标,w,h为矩形框的长宽。将该矩形框沿四个方向延伸20像素得到box2,利用box2在预处理过的图像IMG以及mask上裁剪出小块图像img和msk_local,为了避免与该细胞相临近的细胞干扰该细胞的二次分割,利用box2从1-(MASK-mask)上裁剪出mask2,然后img*msk2得到img_local,此img_local作为该细胞的待分割图像,如图7所示。
然后对细胞局部图像img_local进行细胞分割,阈值按如下公式计算:threshold=mean+k*std,其中,mean表示img_local的灰度均值,std表示img_local的灰度标准差,k为参数,取k=0.5。阈值分割的结果再进行形态学开运算得到二值图msk_local2,对msk_local2里的每一个分割出来的结果进行如下判断:
if sum(msk_local*msk_local2)==0or sum(msk_local2)>2*sum(msk_local):
丢弃
elif circularity<circularity_th and size_min<size<size_max:
通过
else:
进行后续处理
需要说明单是,这时候已经筛选出了在图像中周围存在临近细胞的、识别难度中等的那部分细胞了。同时,将一些候选的局部图像送去作进一步处理。
对上述的需要进行分水岭分割的细胞进行分水岭分割得到二值结果图msk_local3,分割效果如图8所示,对msk_local3里的每一个分割结果进行如下判断:
if circularity<circularity_th and size_min<size<size_max:
通过
else:
丢弃
合并前面三次筛选过程中通过筛选的细胞数据集,即得到细胞分割结果。
(3)计算通道偏移大小
由于APC、PE和FITC三个通道图像采集过程中存在一定程度的错位,且阳性细胞的筛选需要结合细胞在三个通道的情况综合判断,所以在筛选阳性细胞前需要进行通道校准。这里以APC通道为参考通道,对PE和FITC进行校准,校准方法如下:基于上一步骤得到的APC、PE和FITC的二值分割结果APC_MSK、PE_MSK、FITC_MSK,遍历APC_MSK里的每一个分割出来细胞,生成一个贴合矩形框,并向四周延伸10像素,得到矩形框apc_box,将此矩形框对应到PE_MSK,FITC_MSK,并进行如下判断:如果在三个通道的apc_box矩形框内都只有一个细胞且该细胞的circularity<1.2,则在PE和FITC通道的apc_box里,分别生成一个贴合细胞的矩形框,然后计算此贴合矩形框和APC通道的贴合矩形框的差值,即为PE通道和FITC通道相对APC通道的偏移值,记作PE_offset,FITC_offset。
(4)阳性细胞筛选
阳性细胞定义如下:APC通道为阴性且PE通道或FITC通道为阳性,筛选流程见图9。筛选过程是对(2)中生成的细胞逐个进行判断的,以PE通道为例,当对该通道的某个细胞进行判断时,首先生成一个该细胞的贴合矩形框,记为pe_rect,为了判断该细胞是否是阳性细胞,需要结合APC通道进行判断,为了获取该细胞在APC通道下的位置,对pe_rect进行偏移校准,得到apc_rect=pe_rect–PE_offset,apc_rect即为该细胞在APC通道下的矩形框。
其中细胞相对灰度值定义为细胞灰度值减去背景灰度值,由于每个细胞周围的背景存在差异,所以每个细胞都需要计算一个背景灰度值,计算方式如下:对于每一个细胞,根据其在(2)中得到的二值图生成一个贴合矩形框,然后将矩形框向四周延伸20像素得到矩形框rect,利用rect在IMG上裁剪出小图像块img_cell,为了避免该细胞周围细胞影响背景灰度值的计算,需要进行细胞局部图像生成处理,然后生成msk_cell和msk_cell2(见图10),则该细胞的相对灰度值为:
以上结合具体实施例描述了本发明的基本原理,在本发明的装置和方法中,显然,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且,执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行,但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (10)
1.一种在胸水荧光图像中检测肿瘤细胞的方法,其特征在于,包括:
A:对于胸水荧光图像中的APC、PE、FITC三个通道图层图像中分别进行相同方式的细胞分割和相同方式的筛选,得到APC通道细胞位置数据集SAPC、PE通道细胞位置数据集SPE和FITC通道细胞位置数据集SFITC;
B:根据所述SAPC、SPE和SFITC,确定胸水荧光图像在PE通道相对APC通道的图像平均偏移值,记作PE_offset,并且确定胸水荧光图像在FITC通道相对APC通道的图像平均偏移值,记作FITC_offset;
C:根据所述SAPC、SPE和SFITC中的细胞位置信息、PE_offset和FITC_offset代表的通道偏移信息、以及所述APC、PE、FITC三个通道图层图像中的灰度信息,筛选出所述胸水荧光图像中的肿瘤细胞,其中所述肿瘤细胞满足条件:APC通道呈阴性且PE通道或者FIFC通道呈阳性。
2.根据权利要求1所述的方法,其特征在于,在所述步骤A之前,还包括:对所述胸水荧光图像进行中值滤波处理和对比度受限直方图均衡化处理。
3.根据权利要求1所述的方法,其特征在于,所述步骤B包括:
B1:对所述SAPC中的细胞逐一进行如下操作:确定细胞在APC通道图像中的贴合矩形框boxAPC,然后向四周延伸a像素以得到延展矩形框记作ext_box,其中a为正整数表示扩展宽度,若所述ext_box对应到APC通道图像、PE通道图像和FIFC通道图像中所得到的三个图像块中的细胞数量均是1且该唯一细胞的曲率值小于预设曲率值阈值,则判断当前细胞为采样细胞,然后对跳至步骤B2;
B2:获得该采样细胞在PE通道图像中的贴合矩形框boxPE,并且获得该采样细胞在FITC通道图像中的贴合矩形框boxFITC;根据该采样细胞的boxAPC和boxPE计算该采样细胞在PE通道相对APC通道的细胞图像偏移值,并且根据该采样细胞的boxAPC和boxFITC计算该采样细胞在FITC通道相对APC通道的细胞图像偏移值;
B3:当采样细胞的数量累计到预设采样数量n后,对所述预设采样数量的采样细胞在PE通道相对APC通道的细胞图像偏移值求平均,以得到所述PE_offset,并且,对所述预设采样数量的采样细胞在FITC通道相对APC通道的细胞图像偏移值求平均,以得到所述FITC_offset。
4.根据权利要求1所述的方法,其特征在于,所述步骤C包括:
C1:根据下列两个筛选条件筛选出白细胞:APC通道细胞相对灰度大于预设相对灰度阈值;APC通道细胞相对灰度大于b倍PE通道细胞相对灰度,其中b表示大于零的第一预设系数;
C2:根据所述白细胞在所述PE通道的相对灰度数值统计分布确定PE通道阳性细胞阈值,并且根据所述白细胞在FITC通道的相对灰度数值统计分布确定FITC通道阳性细胞阈值;
C3:根据所述PE通道阳性细胞阈值筛选出PE通道疑似阳性细胞,若所述PE通道疑似阳性细胞在APC通道为阴性,则该PE通道疑似阳性细胞记为第一类肿瘤细胞;
C4:根据所述FITC通道阳性细胞阈值筛选出FITC通道疑似阳性细胞,若所述FITC通道疑似阳性细胞在APC通道为阴性,则该FITC通道疑似阳性细胞记为第二类肿瘤细胞;
C5:输出所述第一类肿瘤细胞和所述第二类肿瘤细胞。
5.根据权利要求4所述的方法,其特征在于,所述步骤C2包括:
统计所述白细胞在PE通道的相对灰度值的均值和标准差;
计算PE通道阳性细胞阈值=白细胞在PE通道的相对灰度值的均值+c倍白细胞在PE通道的相对灰度值的标准差;
统计所述白细胞在FIFC通道的相对灰度值的均值和标准差;
计算FIFC通道阳性细胞阈值=白细胞在FIFC通道的相对灰度值的均值+d倍白细胞在FIFC通道的相对灰度值的标准差,
其中c表示大于零的第二预设系数,d表示大于零的第三预设系数。
6.一种在胸水荧光图像中检测肿瘤细胞的装置,其特征在于,包括:
细胞分割模块,用于对于胸水荧光图像中的APC、PE、FITC三个通道图层图像中分别进行相同方式的细胞分割和相同方式的筛选,得到APC通道细胞位置数据集SAPC、PE通道细胞位置数据集SPE和FITC通道细胞位置数据集SFITC;
偏移计算模块,用于根据所述SAPC、SPE和SFITC,确定胸水荧光图像在PE通道相对APC通道的图像平均偏移值,记作PE_offset,并且确定胸水荧光图像在FITC通道相对APC通道的图像平均偏移值,记作FITC_offset;
筛选输出模块,用于根据所述SAPC、SPE和SFITC中的细胞位置信息、PE_offset和FITC_offset代表的通道偏移值、以及所述APC、PE、FITC三个通道图层图像中的灰度信息,筛选出所述胸水荧光图像中的肿瘤细胞,其中所述肿瘤细胞满足条件:APC通道呈阴性且PE通道或者FIFC通道呈阳性。
7.根据权利要求6所述的装置,其特征在于,还包括:
预处理模块,用于对所述胸水荧光图像进行中值滤波处理和对比度受限直方图均衡化处理。
8.根据权利要求6所述的装置,其特征在于,所述偏移计算模块包括:
采样选定模块,用于对所述SAPC中的细胞逐一进行如下操作:确定细胞在APC通道图像中的贴合矩形框boxAPC,然后向四周延伸a像素以得到延展矩形框记作ext_box,其中a为正整数表示扩展宽度,若所述ext_box对应到APC通道图像、PE通道图像和FIFC通道图像中所得到的三个图像块中的细胞数量均是1且该唯一细胞的曲率值小于预设曲率值阈值,则判断当前细胞为采样细胞,然后发送给采样计算模块;
所述采样计算模块,用于获得该采样细胞在PE通道图像中的贴合矩形框boxPE,并且获得该采样细胞在FITC通道图像中的贴合矩形框boxFITC;根据该采样细胞的boxAPC和boxPE计算该采样细胞在PE通道相对APC通道的细胞图像偏移值,并且根据该采样细胞的boxAPC和boxFITC计算该采样细胞在FITC通道相对APC通道的细胞图像偏移值;
平均化模块,用于当采样细胞的数量累计到预设采样数量n后,对所述预设采样数量的采样细胞在PE通道相对APC通道的细胞图像偏移值求平均,以得到所述PE_offset,并且,对所述预设采样数量的采样细胞在FITC通道相对APC通道的细胞图像偏移值求平均,以得到所述FITC_offset。
9.根据权利要求6所述的装置,其特征在于,所述筛选输出模块,包括:
白细胞筛选模块,用于根据下列两个筛选条件筛选出白细胞:APC通道细胞相对灰度大于预设相对灰度阈值;APC通道细胞相对灰度大于b倍PE通道细胞相对灰度,其中b表示大于零的第一预设系数;
阈值计算模块,用于根据所述白细胞在所述PE通道的相对灰度数值统计分布确定PE通道阳性细胞阈值,并且根据所述白细胞在FITC通道的相对灰度数值统计分布确定FITC通道阳性细胞阈值;
第一筛选模块,用于根据所述PE通道阳性细胞阈值筛选出PE通道疑似阳性细胞,若所述PE通道疑似阳性细胞在APC通道为阴性,则该PE通道疑似阳性细胞记为第一类肿瘤细胞;
第二筛选模块,用于根据所述FITC通道阳性细胞阈值筛选出FITC通道疑似阳性细胞,若所述FITC通道疑似阳性细胞在APC通道为阴性,则该FITC通道疑似阳性细胞记为第二类肿瘤细胞;
输出模块,用于输出所述第一类肿瘤细胞和所述第二类肿瘤细胞。
10.根据权利要求6所述的装置,其特征在于,所述阈值计算模块还用于:
统计所述白细胞在PE通道的相对灰度值的均值和标准差;
计算PE通道阳性细胞阈值=白细胞在PE通道的相对灰度值的均值+c倍白细胞在PE通道的相对灰度值的标准差;
统计所述白细胞在FIFC通道的相对灰度值的均值和标准差;
计算FIFC通道阳性细胞阈值=白细胞在FIFC通道的相对灰度值的均值+d倍白细胞在FIFC通道的相对灰度值的标准差,
其中c表示大于零的第二预设系数,d表示大于零的第三预设系数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811546860.XA CN109557000A (zh) | 2018-12-18 | 2018-12-18 | 在胸水荧光图像中检测肿瘤细胞的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811546860.XA CN109557000A (zh) | 2018-12-18 | 2018-12-18 | 在胸水荧光图像中检测肿瘤细胞的方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109557000A true CN109557000A (zh) | 2019-04-02 |
Family
ID=65870338
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811546860.XA Pending CN109557000A (zh) | 2018-12-18 | 2018-12-18 | 在胸水荧光图像中检测肿瘤细胞的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109557000A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110458042A (zh) * | 2019-07-19 | 2019-11-15 | 杭州智团信息技术有限公司 | 一种荧光ctc中的探针数目检测方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101606060A (zh) * | 2006-09-05 | 2009-12-16 | 维里德克斯有限责任公司 | 细胞图像的归类方法 |
US8817115B1 (en) * | 2010-05-05 | 2014-08-26 | Amnis Corporation | Spatial alignment of image data from a multichannel detector using a reference image |
JP2016517000A (ja) * | 2013-03-15 | 2016-06-09 | ベックマン コールター, インコーポレイテッド | フローサイトメトリーにおけるパネル設計のためのシステム及び方法 |
CN108376400A (zh) * | 2018-02-12 | 2018-08-07 | 华南理工大学 | 一种骨髓细胞自动分类方法 |
CN108693009A (zh) * | 2017-03-31 | 2018-10-23 | 合度精密生物科技有限公司 | 使用图像分析识别候选细胞 |
CN108918398A (zh) * | 2018-05-18 | 2018-11-30 | 宁波永新光学股份有限公司 | 一种循环肿瘤细胞检测方法 |
-
2018
- 2018-12-18 CN CN201811546860.XA patent/CN109557000A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101606060A (zh) * | 2006-09-05 | 2009-12-16 | 维里德克斯有限责任公司 | 细胞图像的归类方法 |
US8817115B1 (en) * | 2010-05-05 | 2014-08-26 | Amnis Corporation | Spatial alignment of image data from a multichannel detector using a reference image |
JP2016517000A (ja) * | 2013-03-15 | 2016-06-09 | ベックマン コールター, インコーポレイテッド | フローサイトメトリーにおけるパネル設計のためのシステム及び方法 |
CN108693009A (zh) * | 2017-03-31 | 2018-10-23 | 合度精密生物科技有限公司 | 使用图像分析识别候选细胞 |
CN108376400A (zh) * | 2018-02-12 | 2018-08-07 | 华南理工大学 | 一种骨髓细胞自动分类方法 |
CN108918398A (zh) * | 2018-05-18 | 2018-11-30 | 宁波永新光学股份有限公司 | 一种循环肿瘤细胞检测方法 |
Non-Patent Citations (1)
Title |
---|
ANANDKUMAR S. RANE ET AL.: "《High-Throughput Multi-parametric Imaging Flow Cytometry》", 《CHEM》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110458042A (zh) * | 2019-07-19 | 2019-11-15 | 杭州智团信息技术有限公司 | 一种荧光ctc中的探针数目检测方法 |
CN110458042B (zh) * | 2019-07-19 | 2022-06-28 | 杭州智团信息技术有限公司 | 一种荧光ctc中的探针数目检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10565479B1 (en) | Identifying and excluding blurred areas of images of stained tissue to improve cancer scoring | |
CN107507173B (zh) | 一种全切片图像的无参考清晰度评估方法及系统 | |
CN110246108B (zh) | 一种图像处理方法、装置及计算机可读存储介质 | |
CN110084150B (zh) | 一种基于深度学习的白细胞自动分类方法及系统 | |
EP2681715B1 (en) | Method and software for analysing microbial growth | |
CN107657606B (zh) | 一种显示装置的亮度缺陷检测方法与装置 | |
CN103164692B (zh) | 一种基于计算机视觉的特种车辆仪表自动识别系统及方法 | |
CN109671058B (zh) | 一种大分辨率图像的缺陷检测方法及系统 | |
CN107977682B (zh) | 基于极坐标变换数据增强的淋巴类细胞分类方法及其装置 | |
CN113362306B (zh) | 一种基于深度学习的封装芯片缺陷检测方法 | |
CN108664840A (zh) | 图像识别方法及装置 | |
US20110002516A1 (en) | Method and device for dividing area of image of particle in urine | |
CN105067638A (zh) | 基于机器视觉的轮胎胎膜表面字符缺陷检测方法 | |
CN108133481A (zh) | 一种针对荧光免疫层析试条成像系统的图像处理算法 | |
CN115082451B (zh) | 一种基于图像处理的不锈钢汤勺缺陷检测方法 | |
CN107328776A (zh) | 一种免疫层析试纸卡的快速检测方法 | |
US20090167850A1 (en) | Method for identifying guignardia citricarpa | |
CN116990323B (zh) | 一种高精密印刷版视觉检测系统 | |
CN106127124A (zh) | 出租车前排区域的异常图像信号的自动检测方法 | |
CN109523524A (zh) | 一种基于集成学习的眼底图像硬性渗出检测方法 | |
CN115294377A (zh) | 一种道路裂缝的识别系统及方法 | |
CN109557000A (zh) | 在胸水荧光图像中检测肿瘤细胞的方法和装置 | |
US10453189B2 (en) | Process and device for direct measurements of plant stomata | |
CN103150717A (zh) | 图像高亮区域的检测方法、内容检测方法及内容检测装置 | |
CN116309561B (zh) | 一种基于防漏电绝缘材料的表面缺陷识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190402 |
|
WD01 | Invention patent application deemed withdrawn after publication |