CN106462746A - 分析数字全息显微术数据以用于血液学应用 - Google Patents
分析数字全息显微术数据以用于血液学应用 Download PDFInfo
- Publication number
- CN106462746A CN106462746A CN201580032575.4A CN201580032575A CN106462746A CN 106462746 A CN106462746 A CN 106462746A CN 201580032575 A CN201580032575 A CN 201580032575A CN 106462746 A CN106462746 A CN 106462746A
- Authority
- CN
- China
- Prior art keywords
- image
- white blood
- dhm
- grader
- blood corpuscle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009647 digital holographic microscopy Methods 0.000 title claims abstract description 100
- 210000000265 leukocyte Anatomy 0.000 claims abstract description 73
- 238000000034 method Methods 0.000 claims abstract description 70
- 238000012549 training Methods 0.000 claims abstract description 45
- 238000012360 testing method Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 16
- 230000003287 optical effect Effects 0.000 claims description 15
- 238000004043 dyeing Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 230000006855 networking Effects 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000004040 coloring Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 4
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012706 support-vector machine Methods 0.000 claims description 3
- 210000004027 cell Anatomy 0.000 description 61
- 210000003743 erythrocyte Anatomy 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 14
- 238000003860 storage Methods 0.000 description 14
- 230000011218 segmentation Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 210000004369 blood Anatomy 0.000 description 8
- 239000008280 blood Substances 0.000 description 8
- 230000015654 memory Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000002372 labelling Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 241000894007 species Species 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 210000000601 blood cell Anatomy 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 210000003714 granulocyte Anatomy 0.000 description 3
- 210000004698 lymphocyte Anatomy 0.000 description 3
- 238000000386 microscopy Methods 0.000 description 3
- 210000001616 monocyte Anatomy 0.000 description 3
- 210000000440 neutrophil Anatomy 0.000 description 3
- 230000001737 promoting effect Effects 0.000 description 3
- 239000013049 sediment Substances 0.000 description 3
- 102000001554 Hemoglobins Human genes 0.000 description 2
- 108010054147 Hemoglobins Proteins 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 208000007502 anemia Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 210000003979 eosinophil Anatomy 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 208000015181 infectious disease Diseases 0.000 description 2
- 208000032839 leukemia Diseases 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000002203 pretreatment Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241001062009 Indigofera Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 210000002919 epithelial cell Anatomy 0.000 description 1
- 239000008187 granular material Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 235000012736 patent blue V Nutrition 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 238000007447 staining method Methods 0.000 description 1
- 210000000130 stem cell Anatomy 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
- 238000002562 urinalysis Methods 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1429—Signal processing
- G01N15/1433—Signal processing using image recognition
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/483—Physical analysis of biological material
- G01N33/487—Physical analysis of biological material of liquid biological material
- G01N33/49—Blood
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/01—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials specially adapted for biological cells, e.g. blood cells
- G01N2015/016—White blood cells
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N2015/1006—Investigating individual particles for cytology
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
- G03H2001/005—Adaptation of holography to specific applications in microscopy, e.g. digital holographic microscope [DHM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
- G06T2207/30104—Vascular flow; Blood flow; Perfusion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Chemical & Material Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Immunology (AREA)
- Analytical Chemistry (AREA)
- Pathology (AREA)
- Biochemistry (AREA)
- Hematology (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Dispersion Chemistry (AREA)
- Urology & Nephrology (AREA)
- Ecology (AREA)
- Food Science & Technology (AREA)
- Biophysics (AREA)
- Medicinal Chemistry (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
一种用于分析数字全息显微术(DHM)数据以用于血液学应用的方法包括接收使用数字全息显微术系统获取的多个DHM图像。在多个DHM图像中的每个中标识一个或多个连接分量,并且根据一个或多个连接分量生成一个或多个训练白血细胞图像。使用一个或多个训练白血细胞图像来训练分类器以标识多个白血细胞类型。可以将分类器应用于新的白血细胞图像以确定多个概率值,每个相应的概率值对应于多个白血细胞类型中的一个。然后可以在图形用户界面中呈现新的白血细胞图像和多个概率值。
Description
相关申请的交叉引用
本申请要求2014年6月16日提交的美国临时申请序号62/012,636的权益,所述美国临时申请被整体地通过引用结合到本文中。
技术领域
本公开一般地涉及分析数字全息显微术(DHM)以用于血液学应用。本文中描述的各种系统、方法以及装置可以应用于例如红血细胞(RBC)体积测量和白血细胞(WBC)区分(differential)(细胞类型分类)应用。
背景技术
数字全息显微术(DHM)(也称为干涉相位显微术)是一种成像技术,其提供了定量地跟踪透明样品中的亚纳米量级光学厚度改变的能力。不同于其中仅捕捉关于样品的强度(振幅)信息的传统数字显微术,DHM捕捉相位和强度两者。作为全息图捕捉的相位信息可以用来使用计算机算法来重构关于样品的扩展形态信息(诸如深度和表面特性)。现代的DHM实现提供若干附加益处,诸如快速扫描/数据获取速度、低噪声、高分辨率和用于无标签样本获取的潜力。
诸如体积测量和分类之类的常规细胞分析技术依赖于缺少拓扑信息的二维细胞图像。因此,虽然这些技术可以基于诸如强度之类的信息来分析细胞,但其准确度由于缺少细胞的尺寸和形状的知识而被限制。因此,期望提供适用于提供关于细胞结构的更详细信息的成像模式(诸如DHM)的细胞分析技术。
发明内容
通过提供与分析数字全息显微术(DHM)以用于血液学应用相关的方法、系统以及装置,本发明的实施例解决并克服了上面的不足和缺点中的一个或多个。另外,如在本公开中进一步详细地解释的那样,本文中描述的技术也可以应用于其他临床应用。
DHM以潜在无标记的方式用扩展深度和形态信息来实现高分辨率、宽视野成像的能力使本技术定位于供在若干临床应用中使用。例如,在血液学领域中,DHM可以被用于红血细胞(RBC)体积测量、白血细胞(WBC)区分(细胞类型分类)。针对尿沉渣分析,DHM虑及扫描层中的微流体样本以重构沉渣(可能不等待沉淀);提高沉渣组分的分类准确度。DHM还可以通过DHM的扩展形态/对比(例如以在新鲜组织中在不标记的情况下将癌细胞与健康细胞区别开)的利用而被用于组织病理学应用。类似地,针对罕见细胞检测应用可以利用DHM的扩展形态/对比(例如,以区别罕见细胞,诸如循环肿瘤/上皮细胞、干细胞、受感染细胞等)。
根据本发明的一个方面,如在某些实施例中所述,一种用于分析数字全息显微术(DHM)数据以用于血液学应用的方法包括接收使用数字全息显微术系统获取的DHM图像。在多个DHM图像中的每个中标识一个或多个连接分量。根据一个或多个连接分量生成一个或多个训练白血细胞图像,并且使用一个或多个训练白血细胞图像来训练分类器以标识白血细胞类型。当接收到新的DHM图像时,从DHM图像提取新的白血细胞图像。于是然后可以将分类器应用于新的白血细胞图像以确定概率值,其中每个相应的概率值对应于白血细胞类型中的一个。然后可以在图形用户界面中呈现新的白血细胞图像和多个概率值。在某些实施例中,可以使用该概率值来执行全血细胞(CBC)测试。
在本发明的不同实施例中可以对前述做出各种增强、修改或添加。例如,在某些实施例中,在标识一个或多个连接分量之前,对多个DHM图像中的每个应用定阈值(thresholding)以突出每个相应的DHM图像中的亮点。然后可以移除具有在预定阈值以下的尺寸的分量(即,小的连接分量)。在某些实施例中,分类器是K最近邻(K-NN)分类器。此类分类器可以使用从多个DHM图像中的每个提取的基于纹理基元的纹理特征来将新的DHM图像分类。在其他实施例中,分类器是使用分层k均值和尺度不变特征变换(SIFT)描述符作为局部图像特征训练的视觉词汇词典(例如,词汇直方图)。例如,可以从多个DHM图像中的每个提取稠密SIFT描述符并将其用来构造表示词汇词典结构的二元查找树。然后可以基于二元查找树来生成视觉词汇词典。可以将一对一n个标记支持向量机(SVM)用于标识DHM图像中的多个白血细胞类型中的一个或多个。在其他实施例中,分类器是使用自动编码器卷积神经网络(CNN)训练的深度学习分类器。
另外,在前述方法的某些实施例中,对白血细胞图像应用数字染色技术。例如,在一个实施例中,确定光学密度与和染色协议相关联的着色之间的映射。还确定与新的白血细胞图像相关联的光学密度信息 。在呈现新的白血细胞图像之前,使用映射和光学密度信息将新的白血细胞图像着色。
根据本发明的另一方面,如在某些实施例中所述,一种用于分析数字全息显微术(DHM)数据以用于血液学应用的制品包括非瞬时有形计算机可读介质,其保存用于执行前述方法的计算机可执行指令。该制品可以进一步包括针对上面关于前述方法讨论的任何附加特征的指令。
在本发明的其他实施例中,一种用于分析数字全息显微术(DHM)数据以用于血液学应用的系统包括联网组件、建模处理器以及图形用户界面。联网组件被配置成与数字全息显微术系统通信以检索训练DHM图像和测试DHM图像。建模处理器被配置成:标识每个训练DHM图像中的一个或多个连接分量、根据一个或多个连接分量生成一个或多个训练白血细胞图像,以及使用一个或多个训练白血细胞图像来训练分类器以标识白血细胞类型。建模处理器被进一步配置成从测试DHM图像提取测试白血细胞图像,以及将分类器应用于测试白血细胞图像以确定概率值,其中每个相应的概率值对应于白血细胞类型中的一个。图形用户界面被配置成呈现测试白血细胞图像和概率值。
根据参考附图进行的说明性实施例的以下详细描述,将使得本发明的附加特征和优点显而易见。
附图说明
当结合附图来阅读时,根据以下详细描述最佳地理解本发明的前述及其他方面。出于说明本发明的目的,在图中示出了当前优选的实施例,然而,应理解的是本发明不限于公开的特定手段。包括在图中的是以下各图:
图1提供了根据某些实施例的用于处理DHM图像以用于红细胞体积计算的框架的图示;
图2提供了如可以在某些实施例中执行的光程差DHM(OPD-DHM)图像中的红细胞的分割的示例图示;
图3示出了如可以在某些实施例中利用的正常红细胞的几何模型;
图4提供了图示出规则化的红细胞的参数建模的示例;
图5提供了根据某些实施例的用于计算细胞体积的过程的图示;
图6提供了如可以在某些实施例中应用其的用于将白血细胞分类的预处理框架的图示;
图7示出了根据某些实施例的在训练和测试中使用的白血细胞的样本;
图8A提供了如可以在某些实施例中使用的示出了可以用于针对每个细胞类型进行训练和测试的数据集的示例的表格;
图8B示出了如可以根据某些实施例获得的针对本样本情况使用纹理基元特征和KNN分类器获得的成对分类结果;
图9提供了如可以在某些实施例中应用其的局部图像特征采样的示例;
图10示出了表示词汇词典结构的完整二元查找树结构;
图11提供了如可以在某些实施例中应用的用于从局部图像特征(稠密SIFT描述符)到全局图像特征(词汇直方图)的变换的工作流程的可视化;
图12示出了根据某些实施例获得的使用SIFT和SVM分类的成对分类结果;
图13示出了可以在某些实施例中利用的具有一个隐藏层的前馈神经网络的结构;
图14示出了根据某些实施例的提供结果可视化并促进用户交互和校正的GUI;
图15图示出在其内可以实现本发明的实施例的示例性计算环境。
具体实施方式
以下公开根据针对与分析数字全息显微术(DHM)以用于血液学及其他临床应用相关的方法、系统以及装置的若干实施例来描述本发明。简要地,本文中讨论的技术包括可以在本文中描述的各种实施例中以不同配置应用的三个原则想法。首先,在某些实施例中,使用红细胞的参数建模来执行红血细胞(RBC)体积估计以将原始DHM数据规则化以匹配红细胞的物理模型,在尝试中消除在图像获取过程期间引起的任何畸变。其次,在某些实施例中,使用机器学习算法来执行由DHM捕捉的白血细胞(WBC)的无标记区别,所述机器学习算法从WBC的每个子类型(即,单核细胞、嗜中性粒细胞、嗜碱性粒细胞、淋巴细胞、嗜酸性粒细胞)的训练样本DHM图像的集合提取特性拓扑改变。该机器学习算法然后基于学习的基于DHM图像的特征自动地将新细胞分类成种类中的一个。第三,在某些实施例中,执行细胞的被分类的DHM图像的“数字染色”或“假着色”以类似于常规染色技术。本文中描述的数字染色方法使用一组细胞的DHM和染色图像的匹配对,并且学习回归函数以映射DHM图像像素(将细胞组分的拓扑表示成常规染色技术的RBG色彩方案)。
图1提供了根据某些实施例的用于处理DHM图像以用于红细胞体积计算的框架100的图示。简要地,使用DHM系统105来获取一个或多个输入图像。数字全息显微术系统105可以是能够获取DHM图像的本领域中已知的任何系统。图像分割组件110在获取的输入图像中执行红细胞的分割。接下来,参数建模组件115(例如,使用卡西尼卵形线)开发红细胞的模型。然后,参数建模组件120计算每个红细胞的厚度信息,其进而可以被用来确定红细胞的体积。
可以将各种分割技术应用于输入图像以将红细胞分割。例如,在某些实施例中,由图像分割组件110执行的分割问题被制定为能量最小化问题,其使在组合优化框架中的分段恒定Mumford-Shah能量泛函最小化。可以如下描述分割能量。给定图像u和感兴趣图像u:Ω→R,其中Ω是包括若干连接分量Ωi且以封闭边界为边界的R2中的开放有界子集,找到分段恒定近似使得u在组件Ωi内是恒定的并且在跨边界C的过渡中是陡峭的。这被用公式表示为:
(1)
其中xp是指示特定像素p = (x, y)是属于细胞还是属于背景的二元变量。针对每个像素设置二元变量xp,使得
(2)
常数c1和c2表示输入DHM图像的分段恒定近似,wpq表示欧几里德长度规则化的权重,并且μ是定义长度规则化对分割能量的贡献的加权系数。可以使用用于mu的相对高的值以避免将细胞的核与其余部分分离。
图2提供了光程差DHM(OPD-DHM)图像中的红细胞的分割的示例图示。图像205示出了输入图像,而图像210示出了对图像205强加的红细胞边界的描绘(用点线表示)。
正常红细胞一般地被成形为双凹盘形以实现大的表面积与体积比。例如,图3示出了正常红细胞的几何模型300。存在影响细胞的形状的四个主要参数(在图3中示出):细胞的直径(D)、最小凹陷厚度(t)、最大厚度(h)和确定最大厚度的圆的直径(d)。
使用在图3中呈现的几何理解,存在用于红细胞表面表示的若干双凹模型,其可以被参数建模组件120应用以表征每个红细胞的形状和几何结构。例如,某些实施例利用一般地在本领域中已知的Evans-Fung模型技术,其利用以下等式:
(3)
其中R是细胞的半径(R = D/2),并且ρ是距细胞中心的水平距离。为了估计模型参数c0、c1和c2,我们使如根据参数模型估计的深度图与根据DHM观察的深度之间的误差平方和最小化。厚度轮廓的误差平方和被表达为:
(4)
在某些实施例中,细胞的参数建模将细胞表面规则化以匹配红细胞的物理模型并消除在图像获取过程期间引起的任何畸变。图4提供了图示出规则化的红细胞的参数建模的示例。在图像405中,描绘了如从DHM图像观察的细胞表面。图像410示出了如由Evans-Fung模型表征的细胞表面。
在针对每个细胞执行分割和参数建模之后,可以计算每个RBC的体积。然后可以使用RBC体积本身作为临床测量结果,或者可以将其用来导出附加临床有效值。例如,可以在确定平均细胞体积(MCV)(其继而是全血细胞计数(CBC)中的关键参数)中使用RBC体积的计算。
图5提供了根据某些实施例的用于计算细胞体积的过程500的图示。在步骤505处,接收红细胞的OPD-DHM图像。接下来,在步骤510处,将DHM图像分割以从背景提取所有红细胞。可以例如使用组合分段恒定Mumford-Shah能量泛函或在本领域中一般地已知的任何类似技术来执行分割。在步骤515处,对分割掩码(mask)应用连接分量分析以标记独立的红细胞。
继续参考图5,在步骤520-530处,针对每个红细胞执行测量过程。在步骤520处,例如使用Evans-Fung技术来近似细胞表面。优化等式4中的差平方和并计算模型参数C0、C1和C2。接下来,在步骤525处,使用模型来使用等式3估计更新的细胞厚度z(p)。然后,在步骤530处,使用更新的细胞厚度来计算细胞体积。过程500的输出是每个红细胞的体积。
可以将过程500扩展成还提供细胞的平均血红蛋白含量。为此,可以将常规血液分析仪用于校准平均细胞体积和将基于光学密度图的体积转换成平均血红蛋白含量。
区分血液测试测量血细胞样本中的白血细胞类型中的每个类型的百分比。标识每个类型的白血细胞对于被用来诊断疾病(诸如感染、贫血和白血病)的血液区分分析而言是关键的预备步骤。为了解决此步骤,可以应用本文中描述的系统以将不同的白血细胞类型区别开来。具体地,所描述的系统旨在区别五个不同类型的白血细胞,即:单核细胞、嗜碱性粒细胞、嗜中性粒细胞、嗜酸性粒细胞和淋巴细胞。简要地,处理白血细胞的管线包括以下三个步骤。第一步是其中标识并隔离各种类型的白血细胞的预处理。第二步是其中根据提取的细胞训练分类器的训练。第三步是其中使用分类器来将看不见的细胞分类的分类。现在将详细地讨论这些步骤中的每个。
图6提供了如可以在某些实施例中应用其的用于将白血细胞分类的预处理框架600的图示。在预处理步骤期间,使用管线来准备用于分类器训练步骤期间的训练块(patch)。最初,对输入图像605应用阈值以捕捉亮点(其非常有可能是细胞)。在定阈值之后,对定阈值的图像610应用连接分量分析。然后,如图像615中所图示,针对每个连接分量计算分量尺寸。如果分量的尺寸在预定义阈值t1和t2以下或以上,则拒绝该分量。从训练和测试排除被拒绝分量。包括剩余分量的块(块是包括连接分量的矩形框)被用来训练分类器(例如,K最近邻分类器)。
在预处理框架600之后,可以将各种机器学习算法用于对白血细胞的DHM图像执行五部分区分。例如,在某些实施例中,使用基于纹理基元的方法,其中使用细胞的DHM图像的纹理特性作为主要辨别特征。在其他实施例中,采用更加数据驱动的方法,其中学习图像块的词典并将其用来将整个图像表示为直方图。然后使用该直方图作为用于各种细胞子类型之间的分类的主要特征。在其他实施例中,分类基于具有多个层的卷积神经网络以用多层网络立刻执行特征提取、选择以及分类。下面详细地描述这些不同方法中的每个。
如在本领域中一般地理解的那样,使用代表性图像的数据集来训练图像分类算法。在图7中图示出训练数据集的一个示例。在本示例中,以四个种类中的一个来标记细胞图像:单核细胞、嗜碱性粒细胞、嗜中性粒细胞以及淋巴细胞。应注意的是此训练集仅仅是可以在训练分类器中使用的数据的一个示例。例如,在某些实施例中采用的其他训练集可以包括附加种类(例如,嗜酸性粒细胞)。另外(或替换地),种类可以具有更精细的粒度水平。
在其中基于纹理基元的方法被用于分类的实施例中,使用包括预处理的细胞图像的提取块来训练K最近邻(K-NN)分类器。该分类器利用从每个块提取的基于纹理基元的纹理特征。纹理基元是通过滤波器组响应的集合进行的小纹理特征的表示。基于纹理基元的纹理分类器使用纹理基元的直方图以通过与训练数据集的纹理基元相比特定的块中的纹理基元的频率来表征纹理。特别地,使用纹理基元特征,因为在病理上证明了细胞核的粒度在不同细胞类型中不同并且这可以使用纹理特征来捕捉。
为了说明基于纹理基元的方法,考虑基于纹理基元的纹理特征表示与简单的K-NN分类器的组合。图8A提供了示出可以被用于针对每个细胞类型进行训练和测试的数据集的示例的表格。在所有成对分类中针对本示例数据集获得的分类率从75%变化到95%。图8B示出了针对该样本情况使用纹理基元特征和KNN分类器获得的成对分类结果。
为了使用先前的成对分类来提供多标记分类器,可以使用投票将一个或多个成对分类器组合。理想地,四个分类器应对类别标签达成一致,并且6个分类器将提供随机标记。例如,如果10个分类器被表示为C1至C10,则可以将用于未知样本S的最后类别标记L表示为10个分类器的标记的模式(最频繁值)。换言之,针对多标记分类问题标记10个成对分类器的大多数投票。将所有成对分类组合到一个多标记分类器产生针对图8A中呈现的示例数据集集合的76.5%正确分类率。
在某些实施例中,可以使用视觉单词袋(BOW)方法来解决此基于多类别的图像分类问题。在BOW方法中,用视觉单词的出现计数的向量(基于局部图像特征的词汇词典上的直方图)来表示全局图像特征。这些全局图像特征然后被用于分类。可以将管线划分成三个阶段:离线词汇学习、图像分类训练和测试。在离线词汇学习阶段中,可以使用分层K均值和SIFT(尺度不变特征变换)描述符作为局部图像特征来训练视觉词汇词典。针对分类,可以利用一对一n个标记支持向量机(SVM)。为了避免过拟合问题,可以采用两个方法。首先,可以以随机程度扰乱每个训练图像。其次,可以使用对训练数据集的交叉验证而针对内核确定SVM参数。
SIFT描述符描述了不变局部图像结构和捕捉局部纹理信息。可以针对每个图像的每ns个像素计算稠密SIFT描述符(w×h),其中w和h分别是图像宽度和高度。例如,可以使用128维度SIFT描述符,并且因此每个图像存在约个局部图像特征。图9提供了如可以在某些实施例中应用其的局部图像特征采样的示例。在本示例中,每个白点表示计算128维度SIFT描述符的位置。
在某些实施例中,利用修改的词汇树结构来构造视觉词汇词典。词汇树使用分层k均值聚类来定义分层量化。图10示出了表示词汇词典结构的完全二元(k=2)查找树结构。节点1005是视觉集群中心。个叶节点最终被用作视觉词汇单词。nd是二叉树的深度。在词汇树学习阶段中,首先,初始k均值算法被应用到训练数据(从训练数据集导出的SIFT描述符的集合)且然后划分成2个组,其中每个组包括最接近于集群中心的SIFT描述符。该过程然后被循环地应用直至树深度达到nd。在在线阶段中,经由将该特征向量与2个集群中心相比较并选择最近的一个而使SIFT描述符(向量)沿着树按照每个级别向下传递。针对每个图像上的所有稠密SIFT描述符计算视觉单词直方图。
图11提供了用于从局部图像特征(稠密SIFT描述符)到全局图像特征(词汇直方图)的变换的工作流程的可视化。在图12中描绘了通过将SIFT特征与用于示例数据集的SVM分类组合而获得的结果。将这些成对分类器组合产生针对5类分类问题的84%正确分类率。
在某些实施例中,使用深度学习(DL)架构来执行5类分类。虽然主要针对二元分类来制定SVM,但DL固有地是多标记分类器。为了说明DL分类技术,针对多标记分类问题直接地训练卷积网络。500个细胞被用于训练,每个种类100个,并且细胞的其余部分被用于测试。
针对本示例DL应用,使用自动编码器卷积神经网络(CNN)来训练边缘空间学习(MSL)分类器。图13示出了具有一个隐藏层(也称为“AE”)的前馈神经网络的结构。忽视偏项(图13中标记为“+1”的节点),输入和输出层具有相同数目的节点。此类自动编码器的目标是学习输入层(表示图像的特征)与输出层(用于图像的标记)之间的传递函数。如果隐藏层具有等于或大于输入层的尺寸,则潜在地,AE可以学习恒定变换。为了防止此类平凡解,先前用具有比输入层少的节点的隐藏层来设立AE。最近,提出了去噪自动编码器(DAE)以学习输入的更有意义的表示。随机地挑选要被干扰的输入节点(例如,将值设置成零)的一定百分比(例如,50%),并且要求DAE考虑到受污染的观察来重构原始输入向量。用DAE,隐藏层可以具有比输入更多的节点以实现超完备表示。在训练AE之后,丢弃输出层并使用已训练的隐藏层的激活响应作为到新AE的输入来堆叠另一AE。可以重复此过程以逐层地训练和扩展网络。在预先训练之后,可以将隐藏层的输出示为高级图像特征以训练分类器。替换地,我们可以添加用于目标输出的再一个层,并且可以使用向后传播来细化整个网络。
在分类完成之后,可以在图形用户界面(GUI)中向病理学家呈现白血细胞的各种种类以用于最后确认。可以计算给定细胞属于某个子类型的概率,并且在最后检查期间将其以数值方式或以图形方式呈现给病理学家
图14示出了根据某些实施例的提供结果可视化并促进用户交互和校正的GUI。如图14中所示,病理学家将具有基于细胞的DHM图像进行修改的机会。在显示每个血细胞类型的百分比和基于这些百分比的可能诊断的前两行1405处描绘了自动血液区分的结果。图1410的底部部分示出了用户可以如何修改结果。系统示出了用于用户交互的顶部细胞候选。这些细胞基于前两个概率的差而被选择和分类。该系统显示提取的细胞(由我们的预处理管线提取)并显示其属于每个WBC类型的概率。用户可以通过简单地标记复选框来接受标记或选择新标记。如果用户改变标记,则系统可以自动地更新计数、百分比和可能的诊断,这改变顶行并显示新的结果。
另外,为了使病理学家能够最好地回顾图像,在某些实施例中,利用假着色方案,其将DHM图像转换成具有与针对常规染色方法(诸如Wright和Giemsa方法)染色的细胞图像类似的彩色图案的图像。例如,Giemsa-Wright染色使用包括用于染色的曙红Y、天蓝色B以及亚甲蓝的解决方案。这些方案绑定到细胞的不同地包括核和颗粒的组分,并且从而提供对于细胞的目视检查必不可少的更明显的着色。从细胞的DHM图像,我们获得针对细胞组分的不同光学密度图案,并且其可以被用作用以执行着色的特征。我们设想的方法是基于具有分别地用DHM和Giemsa染色两者成像的细胞的匹配对。在某些实施例中,使用简单的回归函数,其可以使用机器学习技术来实现,诸如用以将光学密度图从DHM映射到与Giemsa-Wright染色协议一致RGB色彩方案的卷积神经网络。回归映射可以对单个像素或像素组(即,图像块)工作。另外,可以利用基于马尔可夫随机场的规则化来确保具有类似光学密度的相邻像素将被类似地着色。除Giemsa和Wright染色之外,可以基于细胞图像的匹配对的集合来学习其他染色协议,并且可以从DHM图像以数字方式再现染色版本。
在某些实施例中,可以将本文中描述的针对RBC的平均细胞体积计算和/或WBC五部分区分作为用于全血细胞计数(CBC)测试的关键测量。如在本领域中理解的,CBC测试评估个体的总体健康,并且可以被用在诸如贫血、感染和白血病之类的血液相关疾病的检测中。因此,例如,可以使用特定WBC计数中的异常增加或减少作为要求进一步评估的基础医学条件的指示符。
可以对本文中描述的技术做出或者向本文中描述的技术添加各种其他扩展、增强或其他修改以提供附加功能。例如,在某些实施例中,也在重构之前对原始干涉图案图像应用用于白血细胞子分类的五部分区分方法。为了增加RBC体积或者WBC分类的总体准确度,可以使用同一细胞的多个图像或者可以对结果求平均。本文中描述的系统和方法还可以应用于在细胞分类空间外部的临床应用。例如,可以扩展基于描述的方法的各种对象的尺寸计算和分类以用于尿分析应用,其中测量尿沉渣的尺寸并通过使用所描述的方法来分析DHM图像而标识各种种类。另外,考虑到DHM技术中的最近进步——特别是尺寸、复杂性和成本中的降低——可以在临床环境内或者在照护点处(以分散式方式)执行这些(及其他)应用。
图15图示出在其内可以实现本发明的实施例的示例性计算环境1500。例如,该计算环境1500可以被配置成执行框架100的组件中的一个或多个以用于处理图1中图示的DHM图像。另外(或替换地),该计算环境1500可以被配置成执行本文中描述的过程中的一个或多个(例如,图1中所示的用于计算细胞体积的过程500)。计算环境1500可以包括计算机系统1510,其是可以在其上面实现本发明的实施例的计算系统的一个示例。计算机和计算环境(诸如计算机系统1510和计算环境1500)为本领域那些技术人员已知,并且因此在这里进行简要描述。
如图15中所示,计算机系统1510可以包括诸如总线1521之类的通信机构或者用于在计算机系统1510内传送信息的其他通信机构。计算机系统1510进一步包括与总线1521耦合以用于处理信息的一个或多个处理器1520。处理器1520可包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)或本领域中已知的任何其他处理器。
计算机系统1510还包括被耦合到总线1521的系统存储器1530,用于存储将由处理器1520执行的信息和指令。系统存储器1530可以包括以易失性和/或非易失性存储器(诸如只读存储器(ROM)1531和/或随机访问储器(RAM)1532)的形式的计算机可读存储介质。系统存储器RAM 1532可以包括(一个或多个)其他动态存储设备(例如,动态RAM、静态RAM以及同步DRAM)。系统存储器ROM 1531可包括(一个或多个)其他静态存储设备(例如,可编程ROM、可擦除PROM以及电可擦PROM)。另外,系统存储器1530可以被用于在由处理器1520执行指令期间存储瞬时变量或其他中间信息。可以在ROM 1531内存储包含帮助诸如在启动期间在计算机系统1510内的元件之间传输信息的基本例程的基本输入/输出系统(BIOS)1533。RAM1532可以包含可立即被处理器1520访问和/或当前被其操作的数据和/或程序模块。系统存储器1530可以另外包括例如操作系统1534、应用程序1535、其他程序模块1536和程序数据1537。
计算机系统1510还包括被耦合到总线1521以控制用于存储信息和指令的一个或多个存储设备的盘控制器1540,所述存储设备诸如硬盘1541和可移除介质驱动1542(例如,软盘驱动、压缩盘驱动、磁带驱动和/或固态驱动)。可使用适当的设备接口(例如,小的计算机系统接口(SCSI)、集成电子设备(IDE)、通用串行总线(USB)或火线)向计算机系统1510添加存储系统。
计算机系统1510还可包括被耦合到总线321以控制显示器1566(诸如阴极射线管(CRT)或液晶显示器(LCD))的显示器控制器1565,用于向计算机用户显示信息。计算机系统包括输入接口1560和一个或多个输入设备,诸如键盘1562和指示设备1561,用于与计算机用户交互并向处理器1520提供信息。指示设备1561例如可以是用于向处理器1520传送方向信息和命令选择并用于控制显示器1566上的光标移动的鼠标、轨迹球或指示杆。显示器1566可以提供触摸屏接口,其允许输入补充或替换由指示设备1561进行的方向信息和命令选择的传送。
计算机系统1510可以响应于处理器1520执行包含于存储器(诸如系统存储器1530)中的一个或多个指令的一个或多个序列而执行本发明的实施例的处理步骤的一部分或全部。此类指令可以被从另一计算机可读介质(诸如硬盘1541或可移除介质驱动1542)读取到系统存储器1530。硬盘1541可以包含被本发明的实施例使用的一个或多个数据仓库和数据文件。数据仓库内容和数据文件可被加密以提高安全性。还可以在多处理布置中采用处理器1520以执行包含于系统存储器1530中的指令的一个或多个序列。在替换实施例中,可以代替软件指令或与软件指令相组合地使用硬接线电路。因此,实施例不限于硬件电路和软件的任何特定组合。
如上面陈述的那样,计算机系统1510可包括用于保存根据本发明的实施例编程的指令且用于包含数据结构、表格、记录或本文中描述的其他数据的至少一个计算机可读介质或存储器。如本文中使用的术语“计算机可读介质”指参与向处理器1520提供指令以用于执行的任何介质。计算机可读介质可采取许多形式,包括但不限于非易失性介质、易失性介质以及传输介质。非易失性介质的非限制性示例包括光盘、固态驱动、磁盘以及磁光盘,诸如硬盘1541或可移除介质驱动1542。易失性介质的非限制性示例包括动态存储器,诸如系统存储器1530。传输介质的非限制性示例包括同轴线缆、铜线以及光纤,其包括构成总线1521的导线。传输介质还可采取声波或光波(诸如在无线电波和红外数据通信期间生成的那些)的形式。
计算环境1500可以进一步包括使用到一个或多个远程计算机(诸如远程计算机1580)的逻辑链接在联网环境中操作的计算机系统1510。远程计算机1580可以是个人计算机(膝上计算机或台式计算机)、移动设备、服务器、路由器、网络PC、对等设备或其他公共网络节点,并且通常包括上面相对于计算机系统1510描述的元件中的许多或全部。当在联网环境中使用时,计算机系统1510可以包括用于通过网络1571(诸如因特网)来建立通信的调制解调器1572。调制解调器1572可经由用户网络接口1570或经由另一适当机构连接到总线1521。
网络1571可以是一般地在本领域中已知的任何网络或系统,包括因特网、内部网、局域网(LAN)、广域网(WAN)、城域网(MAN)、直接连接或连接的系列、蜂窝电话网或者能够促进计算机系统1510与其他计算机(例如,远程计算机1580)之间的通信的任何其他网络或介质。网络1571可以是有线的、无线的或其组合。可使用以太网、通用串行总线(USB)、RJ-11或一般地在本领域中已知的任何其他有线连接来实现有线连接。可使用Wi-Fi、WiMAX以及蓝牙、红外、蜂窝式网络、卫星或一般地在本领域中已知的任何其他无线连接方法来实现无线连接。另外,若干网络可单独地或相互通信地工作以促进网络1571中的通信。
作为示例性计算环境1500到本文中描述的技术的一个应用,考虑用于分析DHM数据以用于血液学应用的示例系统,其包括网络组件、建模处理器以及GUI。联网组件可以包括网络接口1570或提供类似功能的硬件和软件的某组合。联网组件被配置成与DHM系统通信以检索DHM图像。因此,在某些实施例中,联网组件可以包括用于与DHM系统通信的专门接口。建模处理器被包括在计算系统(例如计算机系统1510)中并被配置有指令,所述指令使得其能够针对存在于从经由联网组件接收到的DHM图像提取的细胞图像中的细胞类型训练分类器。建模处理器可以包括如在本公开中描述的附加功能以支持此任务(例如,分割、标识连接分量等)。建模处理器被进一步配置成使用分类器来确定新的细胞图像属于被用来训练分类器的类型中的一个的概率。然后可以在显示器(例如,显示器1566)上呈现GUI以供用户回顾。
可以用硬件和软件的任何组合来实现本公开的实施例。另外,可以将本公开的实施例包括在具有例如计算机可读的非瞬时介质的制品(例如,一个或多个计算机程序产品)中。介质具有在其中体现的例如用于提供和促进本公开的实施例的机制的计算机可读程序代码。该制品可以被包括作为计算机系统的部分或者被单独出售。
虽然在本文中公开了各种方面和实施例,但其他方面和实施例对于本领域那些技术人员而言将是显而易见的。在本文中公开的各种方面和实施例出于说明的目的且并不意图是限制性的,其中由以下权利要求来指示实际范围和精神。
如本文中使用的可执行应用包括用于例如响应于用户命令或输入而调节处理器以实现预定功能(诸如操作系统、上下文数据获取系统或其他信息处理系统的那些)的代码或机器可读指令。可执行程序是一段代码或机器可读指令、子例程或用于执行一个或多个特定过程的可执行应用的代码或部分的其他不同区段。这些过程可以包括接收输入数据和/或参数、对接收到的输入数据执行操作和/或响应于接收到的输入参数而执行功能以及提供结果得到的输出数据和/或参数。
如本文中使用的图形用户界面(GUI)包括由显示处理器生成且使得能够实现与处理器或其他设备的用户交互及关联的数据获取和处理功能的一个或多个显示图像。GUI还包括可执行程序或可执行应用。可执行程序或可执行应用调节显示处理器以生成表示GUI显示图像的信号。这些信号被供应给显示设备,所述显示设备显示图像以供由用户查看。处理器在可执行程序或可执行应用的控制下响应于从输入设备接收到的信号来操纵GUI显示图像。这样,用户可以使用输入设备与显示图像交互,使得能够实现与处理器或其他设备的用户交互。
本文中的功能和过程步骤可以被自动地或者完全或部分地响应于用户命令而执行。在没有用户直接发起活动的情况下响应于一个或多个可执行指令或设备操作而执行自动地执行的活动(包括步骤)。
图的系统和过程并不是排他性的。根据本发明的原理可以导出其他系统、过程和菜单以实现相同目标。虽然已参考特定实施例描述了本发明,但应理解的是本文中所示和描述的实施例和变化仅仅用于说明目的。在不脱离本发明的范围的情况下,可由本领域那些技术人员实现对当前设计的修改。如本文中描述的那样,可以使用硬件组件、软件组件和/或其组合来实现各种系统、子系统、代理、管理器和过程。不根据美国法典第35条112款第六段的条款来解释本文中的权利要求元件,除非使用短语“用于……的部件”明确地叙述该元件。
Claims (20)
1.一种用于分析数字全息显微术(DHM)数据以用于血液学应用的方法,方法包括:
接收使用数字全息显微术系统获取的多个DHM图像;
标识多个DHM图像中的每个中的一个或多个连接分量;
根据一个或多个连接分量生成一个或多个训练白血细胞图像,
使用一个或多个训练白血细胞图像来训练分类器以标识多个白血细胞类型;
从新的DHM图像提取新的白血细胞图像;
将分类器应用于新的白血细胞图像以确定多个概率值,每个相应的概率值对应于多个白血细胞类型中的一个;以及
在图形用户界面中呈现新的白血细胞图像和多个概率值。
2.权利要求1的方法,进一步包括:
在标识一个或多个连接分量之前,对多个DHM图像中的每个应用定阈值以突出每个相应的DHM图像中的亮点。
3. 权利要求2的方法,其中一个或多个连接分量包括连接分量的集合,并且方法进一步包括:
在标识一个或多个连接分量之后从一个或多个连接分量移除一个或多个小的连接分量,以及
其中每个小的连接分量具有在预定阈值以下的尺寸。
4.权利要求1的方法,其中分类器是K最近邻(K-NN)分类器。
5.权利要求4的方法,其中分类器使用从多个DHM图像中的每个提取的基于纹理基元的纹理特征来将新的DHM图像分类。
6.权利要求1的方法,其中分类器是使用分层K均值和尺度不变特征变换(SIFT)描述符作为局部图像特征训练的视觉词汇词典。
7.权利要求6的方法,其中方法进一步包括:
从多个DHM图像中的每个提取多个稠密SIFT描述符;
基于从多个DHM图像中的每个提取的多个稠密SIFT描述符来建立表示词汇词典结构的二元查找树;
基于二元查找树来生成视觉词汇词典。
8.权利要求7的方法,其中视觉词汇词典是词汇直方图。
9.权利要求6的方法,其中将一对一n个标记支持向量机(SVM)用于标识多个DHM图像中的多个白血细胞类型中的一个或多个。
10.权利要求1的方法,其中分类器是使用自动编码器卷积神经网络(CNN)训练的深度学习分类器。
11. 权利要求1的方法,进一步包括:
确定光学密度和与染色协议相关联的着色之间的映射;以及
确定与新的白血细胞图像相关联的光学密度信息;以及
在呈现新的白血细胞图像之前,使用映射和光学密度信息来将新的白血细胞图像着色。
12.权利要求1的方法,进一步包括:
使用多个概率值来执行全血细胞(CBC)测试。
13.一种用于分析数字全息显微术(DHM)数据以用于血液学应用的制品,制品包括非瞬时有形计算机可读介质,其保存计算机可执行指令以用于执行包括如下的方法:
接收使用数字全息显微术系统获取的多个DHM图像;
标识多个DHM图像中的每个中的一个或多个连接分量;
根据一个或多个连接分量生成一个或多个训练白血细胞图像,
使用一个或多个训练白血细胞图像来训练分类器以标识多个白血细胞类型;
从新的DHM图像提取新的白血细胞图像;
将分类器应用于新的白血细胞图像以确定多个概率值,每个相应的概率值对应于多个白血细胞类型中的一个;以及
在图形用户界面中呈现新的白血细胞图像和多个概率值。
14.权利要求13的制品,其中方法进一步包括:
在标识一个或多个连接分量之前,对多个DHM图像应用定阈值以突出每个相应的DHM图像中的亮点。
15.权利要求14的制品,其中一个或多个连接分量包括连接分量的集合,并且方法进一步包括:
在标识一个或多个连接分量之后,从一个或多个连接分量移除一个或多个小的连接分量,其中每个小的连接分量具有在预定阈值以下的尺寸。
16.权利要求13的制品,其中分类器使用从多个DHM图像中的每个提取的基于纹理基元的纹理特征来将新的DHM图像分类。
17.权利要求13的制品,其中分类器是使用分层K均值和尺度不变特征变换(SIFT)描述符作为局部图像特征训练的视觉词汇词典。
18.权利要求1的制品,其中分类器是使用自动编码器卷积神经网络(CNN)训练的边缘空间学习(MSL)分类器。
19. 权利要求13的制品,其中方法进一步包括:
确定光学密度和与染色协议相关联的着色之间的映射;以及
确定与新的白血细胞图像相关联的光学密度信息;以及
在呈现新的白血细胞图像之前,使用映射和光学密度信息来将新的白血细胞图像着色。
20.一种用于分析数字全息显微术(DHM)数据以用于血液学应用的系统,系统包括:
联网组件,其被配置成与数字全息显微术系统通信以检索多个训练DHM图像和测试DHM图像;
建模处理器,其被配置成:
标识多个训练DHM图像中的每个中的一个或多个连接分量,
根据一个或多个连接分量生成一个或多个训练白血细胞图像,
使用一个或多个训练白血细胞图像来训练分类器以标识多个白血细胞类型,
从测试DHM图像提取测试白血细胞图像,以及
将分类器应用于测试白血细胞图像以确定多个概率值,每个相应的概率值对应于多个白血细胞类型中的一个;以及
图形用户界面,其被配置成呈现测试白血细胞图像和多个概率值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810094733.4A CN108426994B (zh) | 2014-06-16 | 2015-06-16 | 分析数字全息显微术数据以用于血液学应用 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201462012636P | 2014-06-16 | 2014-06-16 | |
US62/012636 | 2014-06-16 | ||
PCT/US2015/035945 WO2015195609A1 (en) | 2014-06-16 | 2015-06-16 | Analyzing digital holographic microscopy data for hematology applications |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810094733.4A Division CN108426994B (zh) | 2014-06-16 | 2015-06-16 | 分析数字全息显微术数据以用于血液学应用 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106462746A true CN106462746A (zh) | 2017-02-22 |
CN106462746B CN106462746B (zh) | 2020-03-10 |
Family
ID=53488476
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580032575.4A Active CN106462746B (zh) | 2014-06-16 | 2015-06-16 | 分析数字全息显微术数据以用于血液学应用 |
CN201810094733.4A Active CN108426994B (zh) | 2014-06-16 | 2015-06-16 | 分析数字全息显微术数据以用于血液学应用 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810094733.4A Active CN108426994B (zh) | 2014-06-16 | 2015-06-16 | 分析数字全息显微术数据以用于血液学应用 |
Country Status (5)
Country | Link |
---|---|
US (3) | US10706260B2 (zh) |
EP (2) | EP3155558A1 (zh) |
JP (2) | JP6503382B2 (zh) |
CN (2) | CN106462746B (zh) |
WO (2) | WO2015195609A1 (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108537092A (zh) * | 2017-03-02 | 2018-09-14 | 爱威科技股份有限公司 | 变异红细胞识别方法及装置 |
CN108693097A (zh) * | 2017-12-13 | 2018-10-23 | 青岛汉朗智能医疗科技有限公司 | 红细胞聚集检测方法及系统 |
CN108804878A (zh) * | 2018-06-16 | 2018-11-13 | 志诺维思(北京)基因科技有限公司 | 一种染色模拟方法及装置 |
CN110506278A (zh) * | 2017-04-19 | 2019-11-26 | 西门子医疗有限公司 | 隐空间中的目标检测 |
CN110720034A (zh) * | 2017-05-07 | 2020-01-21 | 国立大学法人大阪大学 | 识别方法、分类分析方法、识别装置、分类分析装置及记录介质 |
CN111095360A (zh) * | 2017-09-19 | 2020-05-01 | 美国西门子医学诊断股份有限公司 | 使用通用对抗网络对数字全息显微术图像中的细胞的虚拟染色 |
WO2020102953A1 (zh) * | 2018-11-19 | 2020-05-28 | 深圳迈瑞生物医疗电子股份有限公司 | 分析细胞的方法、细胞分析设备与计算机可读存储介质 |
CN111247417A (zh) * | 2017-11-14 | 2020-06-05 | 医学诊断公司 | 通过利用类比例数据的卷积字典学习对对象群体进行分类 |
CN111512140A (zh) * | 2017-12-22 | 2020-08-07 | Imec 非营利协会 | 快速且稳健的基于傅立叶域的细胞区分 |
CN111837157A (zh) * | 2018-03-08 | 2020-10-27 | 株式会社岛津制作所 | 细胞图像解析方法、细胞图像解析装置、及学习模型创建方法 |
CN112085841A (zh) * | 2020-09-17 | 2020-12-15 | 西安交通大学 | 一种基于深度前馈神经网络的数字全息图生成系统及方法 |
CN112204674A (zh) * | 2018-03-07 | 2021-01-08 | 维迪控股私人有限公司 | 通过显微术识别生物材料的方法 |
CN112219104A (zh) * | 2018-05-28 | 2021-01-12 | 维也纳自然资源与生命科学大学 | 用于确定介质中的三维颗粒分布的方法 |
CN112236705A (zh) * | 2018-05-30 | 2021-01-15 | 西门子医疗保健诊断公司 | 借助于光场相机对医学样本进行三维分析的分析仪 |
CN112689756A (zh) * | 2018-09-12 | 2021-04-20 | 分子装置有限公司 | 用于生物样品的无标记识别和分类的系统和方法 |
CN113678143A (zh) * | 2019-02-20 | 2021-11-19 | 蓝岩治疗有限公司 | 使用人工智能在大图像数据集中检测目标细胞 |
Families Citing this family (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105095921B (zh) * | 2014-04-30 | 2019-04-30 | 西门子医疗保健诊断公司 | 用于处理尿液沉渣图像的待处理区块的方法和装置 |
CN105095901B (zh) * | 2014-04-30 | 2019-04-12 | 西门子医疗保健诊断公司 | 用于处理尿液沉渣图像的待处理区块的方法和装置 |
WO2015195609A1 (en) * | 2014-06-16 | 2015-12-23 | Siemens Healthcare Diagnostics Inc. | Analyzing digital holographic microscopy data for hematology applications |
US10614287B2 (en) | 2014-06-16 | 2020-04-07 | Siemens Healthcare Diagnostics Inc. | Virtual staining of cells in digital holographic microscopy images using general adversarial networks |
EP2985719A1 (en) * | 2014-08-15 | 2016-02-17 | IMEC vzw | A system and method for cell recognition |
FR3030749B1 (fr) * | 2014-12-19 | 2020-01-03 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Methode d'identification de particules biologiques par piles d'images holographiques defocalisees |
US9721186B2 (en) * | 2015-03-05 | 2017-08-01 | Nant Holdings Ip, Llc | Global signatures for large-scale image recognition |
KR101692634B1 (ko) * | 2015-08-28 | 2017-01-03 | 연세대학교 산학협력단 | 2차원 영상의 3차원 변환 장치 및 방법 |
US9971966B2 (en) * | 2016-02-26 | 2018-05-15 | Google Llc | Processing cell images using neural networks |
US10055839B2 (en) | 2016-03-04 | 2018-08-21 | Siemens Aktiengesellschaft | Leveraging on local and global textures of brain tissues for robust automatic brain tumor detection |
EP3220130B1 (en) * | 2016-03-16 | 2023-03-01 | Siemens Healthcare GmbH | High accuracy 5-part differential with digital holographic microscopy and untouched leukocytes from peripheral blood |
US11151721B2 (en) | 2016-07-08 | 2021-10-19 | Avent, Inc. | System and method for automatic detection, localization, and semantic segmentation of anatomical objects |
US10504004B2 (en) * | 2016-09-16 | 2019-12-10 | General Dynamics Mission Systems, Inc. | Systems and methods for deep model translation generation |
WO2018091486A1 (en) | 2016-11-16 | 2018-05-24 | Ventana Medical Systems, Inc. | Convolutional neural networks for locating objects of interest in images of biological samples |
US10289925B2 (en) * | 2016-11-29 | 2019-05-14 | Sap Se | Object classification in image data using machine learning models |
CN108229508B (zh) * | 2016-12-15 | 2022-01-04 | 富士通株式会社 | 用于训练图像处理装置的训练装置和训练方法 |
FR3060746B1 (fr) * | 2016-12-21 | 2019-05-24 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Procede de numeration de particules dans un echantillon par imagerie sans lentille |
JP6873390B2 (ja) * | 2017-03-02 | 2021-05-19 | 株式会社島津製作所 | 細胞解析方法及び細胞解析装置 |
US10365606B2 (en) * | 2017-04-07 | 2019-07-30 | Thanh Nguyen | Apparatus, optical system, and method for digital holographic microscopy |
US10593082B2 (en) * | 2017-07-18 | 2020-03-17 | Becton, Dickinson And Company | Dynamic display of multi-parameter quantitative biological data |
CN107451994A (zh) * | 2017-07-25 | 2017-12-08 | 宸盛科华(北京)科技有限公司 | 基于生成对抗网络的物体检测方法及装置 |
US11227386B2 (en) | 2017-08-15 | 2022-01-18 | Siemens Healthcare Gmbh | Identifying the quality of the cell images acquired with digital holographic microscopy using convolutional neural networks |
ES2837438T3 (es) | 2017-09-29 | 2021-06-30 | Siemens Healthcare Gmbh | Detección específica de malaria con microscopía óptica digital |
GB2567155B (en) | 2017-10-02 | 2022-03-02 | Room4 Group Ltd | Histopathological image analysis |
WO2019084517A1 (en) * | 2017-10-26 | 2019-05-02 | Essenlix Corporation | SYSTEM AND METHODS FOR IMAGE-BASED ANALYSIS USING MACHINE LEARNING AND CROF |
EP3700419A4 (en) * | 2017-10-26 | 2021-11-10 | Essenlix Corporation | RAPID TEST OF BLOOD PLATES |
FR3073047B1 (fr) * | 2017-11-02 | 2021-01-29 | Commissariat Energie Atomique | Procede optique d'estimation d'un volume representatif de particules presentes dans un echantillon |
CN107767384B (zh) * | 2017-11-03 | 2021-12-03 | 电子科技大学 | 一种基于对抗训练的图像语义分割方法 |
CN108197525B (zh) * | 2017-11-20 | 2020-08-11 | 中国科学院自动化研究所 | 人脸图像生成方法及装置 |
KR102282722B1 (ko) * | 2017-12-15 | 2021-07-29 | 주식회사 내일해 | 결함 검출 방법 및 장치 |
WO2019117453A1 (ko) * | 2017-12-15 | 2019-06-20 | 주식회사 내일해 | 측정 대상 물체의 3차원 형상 정보를 생성하는 방법, 결함 검출 방법 및 결함 검출 장치 |
EP3754595A4 (en) * | 2018-02-16 | 2021-09-08 | Nikon Corporation | DEVICE, PROGRAM AND CALCULATION PROCESS |
JP7070656B2 (ja) * | 2018-03-06 | 2022-05-18 | 株式会社島津製作所 | 細胞画像解析方法、細胞画像解析装置、及び学習モデル作成方法 |
EP3540631A1 (de) * | 2018-03-15 | 2019-09-18 | Siemens Healthcare GmbH | In-vitro-verfahren zum markierungsfreien bestimmen eines zelltyps einer weissen blutzelle |
CN108491809B (zh) * | 2018-03-28 | 2023-09-22 | 百度在线网络技术(北京)有限公司 | 用于生成近红外图像生成模型的方法和装置 |
CN108629369A (zh) * | 2018-04-19 | 2018-10-09 | 中南大学 | 一种基于Trimmed SSD的尿沉渣有形成分自动识别方法 |
JP2019195304A (ja) * | 2018-05-10 | 2019-11-14 | 学校法人順天堂 | 画像解析方法、装置、コンピュータプログラム、及び深層学習アルゴリズムの生成方法 |
JP6627069B2 (ja) | 2018-06-01 | 2020-01-08 | 株式会社フロンティアファーマ | 画像処理方法、薬剤感受性試験方法および画像処理装置 |
EP3805401B1 (en) * | 2018-06-01 | 2023-09-27 | Frontier Pharma, Inc. | Image processing method, medicine sensitivity test method and image processing device |
CN109582562B (zh) * | 2018-10-19 | 2021-04-30 | 北京航空航天大学 | 基于生成对抗网络的智能化软件测试及云平台构建方法 |
WO2020110774A1 (ja) | 2018-11-30 | 2020-06-04 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、及びプログラム |
KR102638267B1 (ko) | 2018-12-03 | 2024-02-21 | 삼성전자주식회사 | 반도체 웨이퍼 불량 분석 시스템 및 그것의 동작 방법 |
GB2579797B (en) * | 2018-12-13 | 2022-11-16 | Room4 Group Ltd | Classification of cell nuclei |
CN109754398A (zh) * | 2019-01-14 | 2019-05-14 | 武汉兰丁医学高科技有限公司 | 一种基于计算机的骨髓白细胞自动标记方法及系统 |
US11068694B2 (en) * | 2019-01-23 | 2021-07-20 | Molecular Devices, Llc | Image analysis system and method of using the image analysis system |
US10885631B2 (en) * | 2019-02-01 | 2021-01-05 | Essen Instruments, Inc. | Label-free cell segmentation using phase contrast and brightfield imaging |
JP7381003B2 (ja) | 2019-04-26 | 2023-11-15 | 学校法人順天堂 | 疾患解析を支援する方法、装置、及びコンピュータプログラム、並びにコンピュータアルゴリズムを訓練する方法、装置、及びプログラム |
CN114375477A (zh) | 2019-06-07 | 2022-04-19 | 徕卡显微系统Cms有限公司 | 用于处理生物学相关数据的系统和方法、用于控制显微镜的系统和方法及显微镜 |
KR102264612B1 (ko) * | 2019-06-24 | 2021-06-14 | 국민대학교산학협력단 | 혈액영상을 이용한 백혈구 감별방법 |
CN110648309B (zh) * | 2019-08-12 | 2024-05-28 | 平安科技(深圳)有限公司 | 基于条件生成对抗网络合成红细胞图像的方法及相关设备 |
KR102338050B1 (ko) | 2019-08-30 | 2021-12-13 | 포항공과대학교 산학협력단 | 주사투과전자현미경 이미지에서의 원자 구조 해석 방법 |
JP7530709B2 (ja) * | 2019-10-11 | 2024-08-08 | 株式会社島津製作所 | 細胞画像解析方法及び細胞解析装置 |
KR102253227B1 (ko) | 2019-12-02 | 2021-05-18 | 포항공과대학교 산학협력단 | 저차원 재료의 원자 이미지 분석 방법 |
US20220180515A1 (en) * | 2020-12-09 | 2022-06-09 | The Chinese University Of Hong Kong | Artificial intelligence enabled reagent-free imaging hematology analyzer |
CN115050024B (zh) * | 2022-06-21 | 2023-08-22 | 广州医科大学 | 一种可解释性的粒细胞智能实时识别方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6330350B1 (en) * | 1997-05-22 | 2001-12-11 | Korea Institute Of Science And Technology | Method and apparatus for automatically recognizing blood cells |
CN101762584A (zh) * | 2008-12-25 | 2010-06-30 | 希森美康株式会社 | 细胞图像显示装置、细胞图像显示方法、以及控制系统 |
US20110074944A1 (en) * | 2009-09-29 | 2011-03-31 | General Electric Company | System and methods for generating a brightfield image using fluorescent images |
CN102278951A (zh) * | 2010-09-14 | 2011-12-14 | 北京航空航天大学 | 一种基于数字全息的生物活体细胞动态三维显微观测装置 |
US20120034647A1 (en) * | 2010-08-05 | 2012-02-09 | Abbott Point Of Care, Inc. | Method and apparatus for automated whole blood sample analyses from microscopy images |
CN102812404A (zh) * | 2010-02-09 | 2012-12-05 | 相位全息成像Phi有限公司 | 一种数字全息显微及成像技术用途及检测已标记细胞样本的方法 |
WO2013080163A1 (en) * | 2011-12-02 | 2013-06-06 | Csir | Material analysis system, method and device |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4125828A (en) * | 1972-08-04 | 1978-11-14 | Med-El Inc. | Method and apparatus for automated classification and analysis of cells |
US6350613B1 (en) * | 1998-03-07 | 2002-02-26 | Belton Dickinson & Co. | Determination of white blood cell differential and reticulocyte counts |
WO2005054811A2 (en) * | 2003-11-26 | 2005-06-16 | Separation Technology, Inc. | Method and apparatus for ultrasonic determination of hematocrit and hemoglobin concentrations |
US7907769B2 (en) * | 2004-05-13 | 2011-03-15 | The Charles Stark Draper Laboratory, Inc. | Image-based methods for measuring global nuclear patterns as epigenetic markers of cell differentiation |
SE528697C2 (sv) | 2005-03-11 | 2007-01-30 | Hemocue Ab | Volymetrisk bestämning av antalet vita blodkroppar i ett blodprov |
CN1945326A (zh) | 2006-10-13 | 2007-04-11 | 江西特康科技有限公司 | 基于视觉形态的五分类全血细胞分析方法 |
CN102227747B (zh) * | 2008-11-27 | 2014-06-04 | 皇家飞利浦电子股份有限公司 | 产生未染色生物标本的多色图像 |
US8994743B2 (en) | 2010-12-07 | 2015-03-31 | Life Technologies Corporation | Virtual cellular staining |
US9423342B2 (en) * | 2011-02-16 | 2016-08-23 | Phase Holographic Imaging Phi Ab | Determination of physical parameters associated with erythrocytes |
EP2734955A1 (en) * | 2011-07-19 | 2014-05-28 | Ovizio Imaging Systems NV/SA | A method and system for detecting and/or classifying cancerous cells in a cell sample |
US20130046793A1 (en) * | 2011-08-19 | 2013-02-21 | Qualcomm Incorporated | Fast matching of image features using multi-dimensional tree data structures |
US9164479B2 (en) * | 2011-09-16 | 2015-10-20 | University Of Massachusetts | Systems and methods of dual-plane digital holographic microscopy |
US20130094750A1 (en) * | 2011-10-12 | 2013-04-18 | Tolga Tasdizen | Methods and systems for segmentation of cells for an automated differential counting system |
EP2602608B1 (en) | 2011-12-07 | 2016-09-14 | Imec | Analysis and sorting of biological cells in flow |
AU2013255401B2 (en) * | 2012-05-03 | 2017-02-23 | Medial Research Ltd. | Methods and systems of evaluating a risk of a gastrointestinal cancer |
US10032064B2 (en) | 2012-08-21 | 2018-07-24 | Cambridge Research & Instrumentation, Inc. | Visualization and measurement of cell compartments |
WO2014164757A1 (en) * | 2013-03-11 | 2014-10-09 | Roche Diagnostics Hematology, Inc. | Imaging blood cells |
US9135682B2 (en) | 2013-03-15 | 2015-09-15 | Indian Institute Of Technology Delhi | Image recovery from single shot digital hologram |
US9129189B2 (en) * | 2013-08-14 | 2015-09-08 | Qualcomm Incorporated | Performing vocabulary-based visual search using multi-resolution feature descriptors |
US9668699B2 (en) | 2013-10-17 | 2017-06-06 | Siemens Healthcare Gmbh | Method and system for anatomical object detection using marginal space deep neural networks |
US10126709B2 (en) * | 2013-12-02 | 2018-11-13 | Imec Vzw | Apparatus and method for performing in-line lens-free digital holography of an object |
US10074006B2 (en) * | 2014-03-17 | 2018-09-11 | Carnegie Mellon University | Methods and systems for disease classification |
WO2015195609A1 (en) | 2014-06-16 | 2015-12-23 | Siemens Healthcare Diagnostics Inc. | Analyzing digital holographic microscopy data for hematology applications |
US20170328924A1 (en) * | 2014-11-26 | 2017-11-16 | Ronald Jones | Automated microscopic cell analysis |
JP2018517188A (ja) * | 2015-03-02 | 2018-06-28 | シーメンス アクチエンゲゼルシヤフトSiemens Aktiengesellschaft | 細胞画像および映像の分類 |
JP2018514844A (ja) * | 2015-03-11 | 2018-06-07 | シーメンス アクチエンゲゼルシヤフトSiemens Aktiengesellschaft | 細胞画像および映像の深層畳み込みネットワークベースの分類のためのシステムおよび方法 |
US10641698B2 (en) * | 2015-06-12 | 2020-05-05 | Cytochip Inc. | Methods for complete blood count measurement |
RU2018107453A (ru) * | 2015-08-10 | 2019-09-12 | Эссенликс Корп. | Устройства для анализов и способы в биологии/химии, предусматривающие упрощенные стадии, образцы небольшого объема, повышенную скорость и простоту применения |
EP3353606B1 (en) | 2015-09-22 | 2024-03-13 | Siemens Healthineers AG | Auto-referencing in digital holographic microscopy reconstruction |
EP3220130B1 (en) | 2016-03-16 | 2023-03-01 | Siemens Healthcare GmbH | High accuracy 5-part differential with digital holographic microscopy and untouched leukocytes from peripheral blood |
CN109564209B (zh) * | 2016-05-11 | 2022-05-31 | 思迪赛特诊断有限公司 | 对样品实施的光学测量 |
KR20170141029A (ko) * | 2016-06-14 | 2017-12-22 | 조선대학교산학협력단 | 형태학적 셀파라미터 기반 적혈구 검사 방법 및 이에 사용되는 디지털 홀로그래픽 현미경 |
-
2015
- 2015-06-16 WO PCT/US2015/035945 patent/WO2015195609A1/en active Application Filing
- 2015-06-16 JP JP2016572573A patent/JP6503382B2/ja active Active
- 2015-06-16 CN CN201580032575.4A patent/CN106462746B/zh active Active
- 2015-06-16 US US15/580,136 patent/US10706260B2/en active Active
- 2015-06-16 EP EP15741628.0A patent/EP3155558A1/en not_active Withdrawn
- 2015-06-16 CN CN201810094733.4A patent/CN108426994B/zh active Active
- 2015-06-16 EP EP18159357.5A patent/EP3364341B1/en active Active
- 2015-06-16 WO PCT/US2015/035999 patent/WO2015195642A1/en active Application Filing
- 2015-06-16 US US15/318,831 patent/US10176363B2/en active Active
-
2018
- 2018-02-14 JP JP2018024140A patent/JP6704005B2/ja active Active
- 2018-11-16 US US16/193,587 patent/US10671833B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6330350B1 (en) * | 1997-05-22 | 2001-12-11 | Korea Institute Of Science And Technology | Method and apparatus for automatically recognizing blood cells |
CN101762584A (zh) * | 2008-12-25 | 2010-06-30 | 希森美康株式会社 | 细胞图像显示装置、细胞图像显示方法、以及控制系统 |
US20110074944A1 (en) * | 2009-09-29 | 2011-03-31 | General Electric Company | System and methods for generating a brightfield image using fluorescent images |
CN102812404A (zh) * | 2010-02-09 | 2012-12-05 | 相位全息成像Phi有限公司 | 一种数字全息显微及成像技术用途及检测已标记细胞样本的方法 |
US20120034647A1 (en) * | 2010-08-05 | 2012-02-09 | Abbott Point Of Care, Inc. | Method and apparatus for automated whole blood sample analyses from microscopy images |
CN102278951A (zh) * | 2010-09-14 | 2011-12-14 | 北京航空航天大学 | 一种基于数字全息的生物活体细胞动态三维显微观测装置 |
WO2013080163A1 (en) * | 2011-12-02 | 2013-06-06 | Csir | Material analysis system, method and device |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108537092A (zh) * | 2017-03-02 | 2018-09-14 | 爱威科技股份有限公司 | 变异红细胞识别方法及装置 |
CN108537092B (zh) * | 2017-03-02 | 2020-11-10 | 爱威科技股份有限公司 | 变异红细胞识别方法及装置 |
CN110506278B (zh) * | 2017-04-19 | 2023-11-10 | 西门子医疗有限公司 | 隐空间中的目标检测 |
CN110506278A (zh) * | 2017-04-19 | 2019-11-26 | 西门子医疗有限公司 | 隐空间中的目标检测 |
CN110720034B (zh) * | 2017-05-07 | 2022-10-18 | 艾珀尔有限公司 | 识别方法、分类分析方法、识别装置、分类分析装置及记录介质 |
CN110720034A (zh) * | 2017-05-07 | 2020-01-21 | 国立大学法人大阪大学 | 识别方法、分类分析方法、识别装置、分类分析装置及记录介质 |
CN111095360A (zh) * | 2017-09-19 | 2020-05-01 | 美国西门子医学诊断股份有限公司 | 使用通用对抗网络对数字全息显微术图像中的细胞的虚拟染色 |
CN111095360B (zh) * | 2017-09-19 | 2023-09-05 | 美国西门子医学诊断股份有限公司 | 使用通用对抗网络对数字全息显微术图像中的细胞的虚拟染色 |
CN111247417A (zh) * | 2017-11-14 | 2020-06-05 | 医学诊断公司 | 通过利用类比例数据的卷积字典学习对对象群体进行分类 |
CN108693097A (zh) * | 2017-12-13 | 2018-10-23 | 青岛汉朗智能医疗科技有限公司 | 红细胞聚集检测方法及系统 |
CN111512140A (zh) * | 2017-12-22 | 2020-08-07 | Imec 非营利协会 | 快速且稳健的基于傅立叶域的细胞区分 |
CN111512140B (zh) * | 2017-12-22 | 2024-03-29 | Imec非营利协会 | 快速且稳健的基于傅立叶域的细胞区分 |
CN112204674A (zh) * | 2018-03-07 | 2021-01-08 | 维迪控股私人有限公司 | 通过显微术识别生物材料的方法 |
US11978211B2 (en) | 2018-03-08 | 2024-05-07 | Shimadzu Corporation | Cellular image analysis method, cellular image analysis device, and learning model creation method |
CN111837157A (zh) * | 2018-03-08 | 2020-10-27 | 株式会社岛津制作所 | 细胞图像解析方法、细胞图像解析装置、及学习模型创建方法 |
CN112219104A (zh) * | 2018-05-28 | 2021-01-12 | 维也纳自然资源与生命科学大学 | 用于确定介质中的三维颗粒分布的方法 |
CN112219104B (zh) * | 2018-05-28 | 2024-03-26 | 维也纳自然资源与生命科学大学 | 用于确定介质中的三维颗粒分布的方法 |
CN112236705A (zh) * | 2018-05-30 | 2021-01-15 | 西门子医疗保健诊断公司 | 借助于光场相机对医学样本进行三维分析的分析仪 |
CN108804878B (zh) * | 2018-06-16 | 2020-08-11 | 志诺维思(北京)基因科技有限公司 | 一种染色模拟方法及装置 |
CN108804878A (zh) * | 2018-06-16 | 2018-11-13 | 志诺维思(北京)基因科技有限公司 | 一种染色模拟方法及装置 |
CN112689756A (zh) * | 2018-09-12 | 2021-04-20 | 分子装置有限公司 | 用于生物样品的无标记识别和分类的系统和方法 |
CN113039551A (zh) * | 2018-11-19 | 2021-06-25 | 深圳迈瑞生物医疗电子股份有限公司 | 分析细胞的方法、细胞分析设备与计算机可读存储介质 |
WO2020102953A1 (zh) * | 2018-11-19 | 2020-05-28 | 深圳迈瑞生物医疗电子股份有限公司 | 分析细胞的方法、细胞分析设备与计算机可读存储介质 |
CN113039551B (zh) * | 2018-11-19 | 2024-01-23 | 深圳迈瑞生物医疗电子股份有限公司 | 分析细胞的方法、细胞分析设备与计算机可读存储介质 |
CN113678143A (zh) * | 2019-02-20 | 2021-11-19 | 蓝岩治疗有限公司 | 使用人工智能在大图像数据集中检测目标细胞 |
CN112085841B (zh) * | 2020-09-17 | 2024-04-02 | 西安交通大学 | 一种基于深度前馈神经网络的数字全息图生成系统及方法 |
CN112085841A (zh) * | 2020-09-17 | 2020-12-15 | 西安交通大学 | 一种基于深度前馈神经网络的数字全息图生成系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3364341B1 (en) | 2024-07-24 |
EP3364341C0 (en) | 2024-07-24 |
US10706260B2 (en) | 2020-07-07 |
WO2015195642A1 (en) | 2015-12-23 |
JP6704005B2 (ja) | 2020-06-03 |
WO2015195609A1 (en) | 2015-12-23 |
JP6503382B2 (ja) | 2019-04-17 |
JP2018119969A (ja) | 2018-08-02 |
US10176363B2 (en) | 2019-01-08 |
CN108426994A (zh) | 2018-08-21 |
US20170132450A1 (en) | 2017-05-11 |
EP3364341A1 (en) | 2018-08-22 |
US20180144182A1 (en) | 2018-05-24 |
EP3155558A1 (en) | 2017-04-19 |
JP2017519985A (ja) | 2017-07-20 |
US10671833B2 (en) | 2020-06-02 |
US20190087638A1 (en) | 2019-03-21 |
CN108426994B (zh) | 2020-12-25 |
CN106462746B (zh) | 2020-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106462746A (zh) | 分析数字全息显微术数据以用于血液学应用 | |
Pan et al. | Accurate segmentation of nuclei in pathological images via sparse reconstruction and deep convolutional networks | |
Kromp et al. | Evaluation of deep learning architectures for complex immunofluorescence nuclear image segmentation | |
Sun et al. | Deep learning‐based single‐cell optical image studies | |
Pan et al. | Cell detection in pathology and microscopy images with multi-scale fully convolutional neural networks | |
He et al. | A review: The detection of cancer cells in histopathology based on machine vision | |
Ju et al. | Classification of jujube defects in small data sets based on transfer learning | |
Chen et al. | Segmentation of overlapping cervical cells with mask region convolutional neural network | |
CN114600155A (zh) | 用于细胞检测和分割的弱监督多任务学习 | |
Razavi et al. | MiNuGAN: Dual segmentation of mitoses and nuclei using conditional GANs on multi-center breast H&E images | |
Riggi et al. | Astronomical source detection in radio continuum maps with deep neural networks | |
Hu et al. | Breast cancer histopathological images recognition based on two-stage nuclei segmentation strategy | |
Khashman | Investigation of different neural models for blood cell type identification | |
Thanikkal et al. | A novel edge detection method for medicinal plant's leaf features extraction | |
Sarmiento et al. | Automatic breast cancer grading of histological images based on colour and texture descriptors | |
Pan et al. | A review of machine learning approaches, challenges and prospects for computational tumor pathology | |
Qamar et al. | Segmentation and characterization of macerated fibers and vessels using deep learning | |
Feng et al. | Plantorganelle Hunter is an effective deep-learning-based method for plant organelle phenotyping in electron microscopy | |
Gräbel et al. | State of the art cell detection in bone marrow whole slide images | |
Liu et al. | Multi-view learning and deep learning for microscopic neuroblastoma pathology image diagnosis | |
Lefebvre et al. | Nellie: Automated organelle segmentation, tracking, and hierarchical feature extraction in 2D/3D live-cell microscopy | |
Zhao et al. | Improved nuclear segmentation on histopathology images using a combination of deep learning and active contour model | |
Ben Taieb | Analyzing cancers in digitized histopathology images | |
Rocks | Towards Explainable AI Using Attribution Methods and Image Segmentation | |
Röhrl et al. | Towards Interpretable Classification of Leukocytes based on Deep Learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |