CN116188792A - 一种针对全血细胞散点图的定量分析方法及系统 - Google Patents
一种针对全血细胞散点图的定量分析方法及系统 Download PDFInfo
- Publication number
- CN116188792A CN116188792A CN202310157013.9A CN202310157013A CN116188792A CN 116188792 A CN116188792 A CN 116188792A CN 202310157013 A CN202310157013 A CN 202310157013A CN 116188792 A CN116188792 A CN 116188792A
- Authority
- CN
- China
- Prior art keywords
- blood cell
- whole blood
- row
- column
- sliding window
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000000601 blood cell Anatomy 0.000 title claims abstract description 111
- 238000010586 diagram Methods 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000004445 quantitative analysis Methods 0.000 title claims abstract description 28
- 238000000605 extraction Methods 0.000 claims abstract description 71
- 239000002775 capsule Substances 0.000 claims abstract description 52
- 210000004027 cell Anatomy 0.000 claims abstract description 33
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 21
- 238000011176 pooling Methods 0.000 claims description 44
- 238000012545 processing Methods 0.000 claims description 8
- 238000012935 Averaging Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 229940060587 alpha e Drugs 0.000 claims description 2
- 238000012216 screening Methods 0.000 abstract description 15
- 230000007547 defect Effects 0.000 abstract description 3
- 208000036762 Acute promyelocytic leukaemia Diseases 0.000 description 20
- 230000009286 beneficial effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 208000031261 Acute myeloid leukaemia Diseases 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- SHGAZHPCJJPHSC-YCNIQYBTSA-N all-trans-retinoic acid Chemical compound OC(=O)\C=C(/C)\C=C\C=C(/C)\C=C\C1=C(C)CCCC1(C)C SHGAZHPCJJPHSC-YCNIQYBTSA-N 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 238000004820 blood count Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004393 prognosis Methods 0.000 description 2
- 229930002330 retinoic acid Natural products 0.000 description 2
- 206010061818 Disease progression Diseases 0.000 description 1
- 208000033776 Myeloid Acute Leukemia Diseases 0.000 description 1
- 208000033826 Promyelocytic Acute Leukemia Diseases 0.000 description 1
- 210000002798 bone marrow cell Anatomy 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 230000005750 disease progression Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000009190 disseminated intravascular coagulation Diseases 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000000684 flow cytometry Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000002008 hemorrhagic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000025113 myeloid leukemia Diseases 0.000 description 1
- 239000011886 peripheral blood Substances 0.000 description 1
- 210000004976 peripheral blood cell Anatomy 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000002626 targeted therapy Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N2015/1006—Investigating individual particles for cytology
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Chemical & Material Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Dispersion Chemistry (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像定量分析技术领域，公开了一种针对全血细胞散点图的定量分析方法及系统。首先对全血细胞散点图进行全局信息提取和局部信息提取，得到包含全血细胞散点图中所有散点细胞群落的位置分布信息的粗尺度图像，以及包含全血细胞散点图中单个散点细胞群落的内部特征信息的细尺度图像；然后采用卷积神经网络和胶囊网络对粗尺度图像进行特征提取，得到第一特征信息；采用卷积神经网络和残差网络对细尺度图像进行特征提取，得到第二特征信息；最后通过多层感知机从第一特征信息和所述第二特征信息中提取出高维定量特征信息，为下游APL筛查提供可靠的数据支撑，克服了现有的全自动血细胞分析仪仅针对细胞进行粗分类及计数的缺陷。
Description
技术领域
本发明涉及一种散点图定量分析技术，具体而言，涉及一种针对全血细胞散点图的定量分析方法及系统。
背景技术
APL是急性髓系白血病(AML)的一种，占AML患者的10％-15％。其易感人群是成年人，超过30％的患者年龄超过60岁，但最近报告的儿科患者数量正在上升。早期诊断在APL治疗选择中起着极其重要的作用，并且与预后密切相关。采用全反式维甲酸(ATRA)进行特异性靶向治疗，可以使得APL的五年无病生存率从25％上升到95％。然而，APL在疾病进行的早期容易发生出血性并发症(如弥散性血管内凝血(DIC))，导致患者的早期死亡(ED)。换言之，APL是最受益于及时治疗的白血病亚型，及早地开展特异性治疗对其预后有着决定性的作用，故而其早期筛查十分重要。
完备的APL临床证据包括多种实验室检查，如外周血和骨髓细胞的显微镜检查、流式细胞术分析和高级遗传或分子水平等，所需的时间成本及人力成本极高。根据目前的转诊制度，初筛和初诊工作大多由县级及以下医院承担。而手工镜检对人员的技术能力要求较高，在基层医院难以可靠开展。对于基层医院，急需开发一种成本低、操作简单、对设备要求不高，且能够快速、准确、可靠地进行APL早筛的方法。
现有的APL筛查方法主要包括两种。第一种是使用多种急性早幼粒细胞白血病相关融合基因的引物及探针结合实时荧光PCR技术对APL进行诊断，该方法精度较高，但是对于设备的要求较高，并且需要专业人员进行操作，这使得很难作为筛查方法进行普及；第二种是使用全血细胞计数值进行异常提示，该方法基于全自动血细胞分析仪对细胞进行统计分析，但现有的全自动血细胞分析仪仅针对细胞进行粗分类和计数等简单的统计学操作，导致使用全血细胞计数值进行异常提示的APL筛查方法的敏感性和特异性不高。
有鉴于此，特提出本申请。
发明内容
本发明所要解决的技术问题是：现有的全自动细胞分析仪仅对细胞进行粗分类和简单计数，输出的统计分析结果不能作为辅助APL筛查的依据。目的在于提供一种针对全血细胞散点图的定量分析方法及系统，可对所有全自动血细胞分析仪生成的全血细胞散点图进行定量分析，通过从全血细胞散点图中提取出高维定量特征，该高维定量特征可为下游APL筛查提供可靠的数据支撑。
本发明通过下述技术方案实现：
一方面，提供一种针对全血细胞散点图的定量分析方法，包括以下步骤：提取全血细胞散点图的全局信息，得到粗尺度图像，所述粗尺度图像包含所述全血细胞散点图中所有散点细胞群落的位置分布信息；提取所述全血细胞散点图的局部信息，得到细尺度图像，所述细尺度图像包含所述全血细胞散点图中单个散点细胞群落的内部特征信息；采用卷积神经网络和胶囊网络对粗尺度图像进行特征提取，得到第一特征信息；采用卷积神经网络和残差网络对细尺度图像进行特征提取，得到第二特征信息；通过多层感知机从所述第一特征信息和所述第二特征信息中提取出高维定量特征信息。
上述定量分析方法中，获取所述粗尺度图像包括以下步骤：定义滑动窗口，利用所述滑动窗口对所述全血细胞散点图依次进行第一级加权池化和第二级平均池化，得到所述粗尺度图像；所述第一级加权池化包括以下步骤：将所述滑动窗口的中心位置对准所述全血细胞散点图的第1行第1列像素点；以第1行第1列像素点为起点，以第M行第N列像素点为终点，对所述滑动窗口执行多次步长为1的滑动操作；每次滑动后，利用所述滑动窗口对所述全血细胞散点图的对应区域进行加权池化；其中，M表示所述全血细胞散点图的宽度，N表示所述全血细胞散点图的高度；所述第二级平均池化包括以下步骤：将所述滑动窗口的中心位置对准经过第一级加权池化后的图像的第1行第1列像素点；以第1行第1列像素点为起点，以第M行第N列像素点为终点，对所述滑动窗口执行多次步长为2的滑动操作；每次滑动后，利用所述滑动窗口对所述全血细胞散点图的对应区域进行平均池化，得到所述粗尺度图像。
进一步的，上述滑动窗口为5×5的表格结构，一个表格对应一个像素点；位于所述滑动窗口的第1行、第5行、第1列和第5列的每个表格对应一个外层窗函数；位于所述滑动窗口的第2行第2列、第2行第3列、第2行第4列、第3行第2列、第3行第4列、第3行第2列、第3行第3列和第3行第4列的每个表格对应一个中间层窗函数；位于所述滑动窗口第3行第3列的表格对应内层窗函数。
其中，所述外层窗函数的表达式为
中间层窗函数的表达式为
内层窗函数的表达式为/>
Γ(·)为伽马函数，当进行全局信息提取时，α∈[-1，0]；当进行局部信息提取时，α∈[0，1]。
进一步的，第一特征信息包括以下步骤：采用卷积神经网络对所述粗尺度图像进行特征提取，得到粗尺度特征图；采用主胶囊层将所述粗尺度特征图进行格式调整，得到胶囊节点格式的特征图；采用多层表示胶囊层对格式调整后的特征图进行处理，得到所述第一特征信息；每一层表示胶囊层的胶囊节点个数不相同。获取所述第二特征信息包括以下步骤：采用卷积神经网络对所述细尺度图像进行特征提取，得到细尺度特征图；采用多个残差模块对细尺度特征图进行特征提取；通过全连接层输出提取的特征信息，得到所述第二特征信息。
另一方面，提供一种针对全血细胞散点图的定量分析系统，包括全局信息提取模块、局部信息提取模块、第一特征信息提取模块、第二特征信息提取模块和输出模块。其中，全局信息提取模块用于提取全血细胞散点图的全局信息，得到粗尺度图像，所述粗尺度图像包含所述全血细胞散点图中所有散点细胞群落的位置分布信息。局部信息提取模块用于提取所述全血细胞散点图的局部信息，得到细尺度图像，所述细尺度图像包含所述全血细胞散点图中单个散点细胞群落的内部特征信息。第一特征信息提取模块，用于采用卷积神经网络和胶囊网络对粗尺度图像进行特征提取，得到第一特征信息。第二特征信息提取模块，用于采用卷积神经网络和残差网络对细尺度图像进行特征提取，得到第二特征信息。输出模块，用于通过多层感知机从所述第一特征信息和所述第二特征信息中提取出高维定量特征信息。
进一步的，全局信息提取模块和所述局部信息提取模块均包括滑动窗口设置单元、第一级加权池化单元和参数设置单元。其中，滑动窗口设置单元，用于定义滑动窗口，滑动窗口为5×5的表格结构，一个表格对应一个像素点；位于所述滑动窗口的第1行、第5行、第1列和第5列的每个表格对应一个外层窗函数；位于所述滑动窗口的第2行第2列、第2行第3列、第2行第4列、第3行第2列、第3行第4列、第3行第2列、第3行第3列和第3行第4列的每个表格对应一个中间层窗函数；位于所述滑动窗口第3行第3列的表格对应内层窗函数。第一级加权池化单元，用于将所述滑动窗口的中心位置对准所述全血细胞散点图的第1行第1列像素点；以第1行第1列像素点为起点，以第M行第N列像素点为终点，对所述滑动窗口执行多次步长为1的滑动操作；每次滑动后，利用所述滑动窗口对所述全血细胞散点图的对应区域进行加权池化；其中，M表示所述全血细胞散点图的宽度，N表示所述全血细胞散点图的高度。参数设置单元，用于在提取全血细胞散点图的全局信息时将窗函数的参数设置在[-1,0]内，以及在提取全血细胞散点图的局部信息时将窗函数的参数设置在[0,1]内。区别在于，全局信息提取模块还包括第二级平均池化单元。第二级平均池化单元用于将所述滑动窗口的中心位置对准经过第一级加权池化后的图像的第1行第1列像素点；以第1行第1列像素点为起点，以第M行第N列像素点为终点，对所述滑动窗口执行多次步长为2的滑动操作；每次滑动后，利用所述滑动窗口对所述全血细胞散点图的对应区域进行平均池化，得到所述粗尺度图像。
进一步的，第一特征信息提取模块包括第一卷积层、主胶囊层和多层表示胶囊层。第一卷积层用于对所述粗尺度图像进行特征提取，得到粗尺度特征图。主胶囊层，用于对所述粗尺度特征图进行格式调整，得到胶囊节点格式的特征图。多层表示胶囊层，用于对格式调整后的特征图进行处理，得到所述第一特征信息；每一层表示胶囊层的胶囊节点个数不相同。第二特征信息提取模块包括第二卷积层、多层残差层和全连接层。第二卷积层用于对所述细尺度图像进行特征提取，得到细尺度特征图。层残差层用于对细尺度特征图进行特征提取。全连接层用于对所述多层残差层提取的特征信息处理后输出，得到所述第二特征信息。
与现有技术相比，本发明具有如下的优点和有益效果：本发明采用了对全自动血细胞分析仪生成的全血细胞散点图进行粗尺度图像预处理和细尺度图像预处理，提取出了全血细胞散点图中各散点细胞群落的位置信息和单个细胞群落的内部特征信息，并采用了不同的特征提取方式从全血细胞散点图的全局特征和局部特征中提取出不同的高级语义特征，从而克服了现有的全自动血细胞分析仪仅针对细胞进行粗分类及计数的缺陷。输出的高维定量特征信息更有利于为下游APL筛查提供可靠的数据支撑。
附图说明
为了更清楚地说明本发明示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例1提供的针对全血细胞散点图的定量分析方法的实施流程示意图；
图2为本发明实施例1提供的粗细尺度预处理方法流程示意图；
图3为本发明实施例1提供的窗函数结构示意图；
图4为本发明实施例1提供的高维定量特征信息提取流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1
如图1所示，本实施例提供一种针对全血细胞散点图的定量分析方法，通过从全血细胞散点图中提取出包含全血细胞分群特征和局部的细胞簇内可解释特征的高维特征，用于下游的APL筛查任务，解决现有的全自动细胞分析仪仅对细胞进行粗分类和简单计数，输出的统计分析结果不能作为辅助APL筛查的依据的问题。具体的，该定量分析方法包括以下步骤：
步骤1：从全自动血液分析仪中提取出全血细胞散点图。全自动血液分析仪目前已是国内外临床检验最常用的筛检仪器之一，在我国的各级医院、乡镇、社区医疗机构已经得到普及，因此本方法可以兼容市面上各个品牌的全自动血细胞分析仪所生成的全血细胞散点图。
步骤2：提取全血细胞散点图的全局信息，得到粗尺度图像，所述粗尺度图像包含所述全血细胞散点图中所有散点细胞群落的位置分布信息；提取所述全血细胞散点图的局部信息，得到细尺度图像，所述细尺度图像包含所述全血细胞散点图中单个散点细胞群落的内部特征信息。
本步骤的目的是将散点图数据处理为着眼于全局信息的粗尺度图像和着眼于局部信息的细尺度图像。其中，全局信息主要关注点为细胞散点群落的分布，局部信息主要关注点为单群细胞散点群落内部的细节。粗尺度图像和细尺度图像的生成方法如图2所示。
粗尺度图像的生成方式为两级滑动窗口加权池化。
第一级滑动窗口为[x0，y0，w，h]，其中[x0，y0]为窗口的中心位置，w和h分别为窗口的宽和高。首先，将滑动窗口的中心位置对准全血细胞散点图的第1行第1列像素点；然后，以第1行第1列像素点为起点，以第M行第N列像素点为终点，M表示所述全血细胞散点图的宽度，N表示所述全血细胞散点图的高度；对所述滑动窗口执行多次步长为1的滑动操作，x0∈[0，M]，y0∈[0，N]；每次滑动后，利用滑动窗口对全血细胞散点图的对应区域进行加权池化。
加权池化的计算公式为
其中，Iout(x,y)表示经过加权池化后的全血细胞散点图在第x行第y列处的像素值，Iin(x+i，y+j)表示原始的全血细胞散点图在第x+i行第y+j列处的像素值，K(x+i，y+j)表示所述滑动窗口在第x+i行第y+j列处对应的窗函数，/>
w表示所述滑动窗口的宽度，h表示所述滑动窗口的高度。
第一级滑动窗口中窗函数的结构如图3所示。本实施例中，滑动窗口为5×5的表格结构，一个表格对应一个像素点；位于所述滑动窗口的第1行、第5行、第1列和第5列的每个表格对应一个外层窗函数；位于所述滑动窗口的第2行第2列、第2行第3列、第2行第4列、第3行第2列、第3行第4列、第3行第2列、第3行第3列和第3行第4列的每个表格对应一个中间层窗函数；位于所述滑动窗口第3行第3列的表格对应内层窗函数。
上述外层窗函数的表达式为
中间层窗函数的表达式为
内层窗函数的表达式为/>
其中，α∈[-1，0]，Γ(·)为伽马函数。
第二级池化采用了步长为2的平均池化操作。即将上述滑动窗口的中心位置对准经过第一级加权池化后的图像的第1行第1列像素点；以第1行第1列像素点为起点，以第M行第N列像素点为终点，对所述滑动窗口执行多次步长为2的滑动操作；每次滑动后，利用滑动窗口对全血细胞散点图的对应区域进行平均池化，得到粗尺度图像。
进一步的，细尺度图像的生成方式为滑动窗口加权。利用滑动窗口对全血细胞散点图进行与粗尺度图像生成过程中相同的第一级加权池化。采用与生成粗尺度图像时相同的加权池化的计算公式和窗函数结构，区别在于生成细尺度图像时，各窗函数中α∈[0，1]。经由滑动窗口加权后的细尺度图像不再接平均化操作，以保证图像的空间分辨率。
步骤3：采用卷积神经网络和胶囊网络对粗尺度图像进行特征提取，得到第一特征信息；采用卷积神经网络和残差网络对细尺度图像进行特征提取，得到第二特征信息。
具体而言，针对粗尺度图像和细尺度图像，本实施例采用了两种不同的特征提取方法。如图4所示，粗尺度图像经过两级滑动窗口加权池化后，主要留下了散点细胞群的位置信息，用于提取细胞群轮廓特征，所采用的特征提取结构为胶囊网络。粗尺度图像首先经过高斯滤波后输入到胶囊网络，胶囊模型的输入为尺寸为150×150×3的粗尺度特征图。第一层特征图由卷积神经网络提取，卷积层由128个3×3的卷积核构成，经过该层以后获得128个尺寸为150×150×3的特征图。此后开始为胶囊网络结构，不同类型的胶囊节点能够提取不同的高级语义特征。主胶囊层将粗尺度特征图组织成胶囊节点的格式，即每个胶囊节点的输出均为128维矢量。主胶囊层后顺序连接了四层表示胶囊层，每个胶囊层分别包含11250、5625、1875和375个胶囊节点。信息在胶囊节点中流动的过程满足胶囊网络采用的动态路由规则。最后一层表示胶囊层的2个胶囊输出的矢量长度分别表示输入粗尺度图像中提出的特征。
细尺度图像经过滑动窗口加权后增强了单群细胞散点群落内部的细节，可以通过卷积神经网络进行特征提取。对细尺度图像进行特征提取时，可以兼容任意的卷积神经网络模型，使用残差网络Resnet18为例，由一个卷积层，6个残差块与一个全连接层相连组成的，其中每一个残差块包括的两个相连的卷积层，并将输入直接连接到输出。模型的输入应是300×300×3的CBC散点图，全连接层的输出为细尺度图像中提出的特征。
步骤4：通过多层感知机从所述第一特征信息和所述第二特征信息中提取出高维定量特征信息。粗细尺度图像所取得的特征连接在一起后会经过两层感知机MLP，获得从该散点图提取出的高维定量特征。该特征可用于辅助进行APL的早期筛查。
本实施例通过上述方法已使用320名健康人员、105名非APL的髓系白血病患者和51名APL患者的总计1150个散点图对该模型进行了训练，在五折交叉验证过程中，准确率超过了99％，保障了该模型判断的准确性。
实施例2
与实施例1对应的，本实施例提供一种针对全血细胞散点图的定量分析系统，包括全局信息提取模块、局部信息提取模块、第一特征信息提取模块、第二特征信息提取模块和输出模块。其中，全局信息提取模块用于提取全血细胞散点图的全局信息，得到粗尺度图像，所述粗尺度图像包含所述全血细胞散点图中所有散点细胞群落的位置分布信息。局部信息提取模块用于提取所述全血细胞散点图的局部信息，得到细尺度图像，所述细尺度图像包含所述全血细胞散点图中单个散点细胞群落的内部特征信息。第一特征信息提取模块，用于采用卷积神经网络和胶囊网络对粗尺度图像进行特征提取，得到第一特征信息。第二特征信息提取模块，用于采用卷积神经网络和残差网络对细尺度图像进行特征提取，得到第二特征信息。输出模块，用于通过多层感知机从所述第一特征信息和所述第二特征信息中提取出高维定量特征信息。
进一步的，全局信息提取模块和所述局部信息提取模块均包括滑动窗口设置单元、第一级加权池化单元和参数设置单元。其中，滑动窗口设置单元，用于定义滑动窗口，滑动窗口为5×5的表格结构，一个表格对应一个像素点；位于所述滑动窗口的第1行、第5行、第1列和第5列的每个表格对应一个外层窗函数；位于所述滑动窗口的第2行第2列、第2行第3列、第2行第4列、第3行第2列、第3行第4列、第3行第2列、第3行第3列和第3行第4列的每个表格对应一个中间层窗函数；位于所述滑动窗口第3行第3列的表格对应内层窗函数。第一级加权池化单元，用于将所述滑动窗口的中心位置对准所述全血细胞散点图的第1行第1列像素点；以第1行第1列像素点为起点，以第M行第N列像素点为终点，对所述滑动窗口执行多次步长为1的滑动操作；每次滑动后，利用所述滑动窗口对所述全血细胞散点图的对应区域进行加权池化；其中，M表示所述全血细胞散点图的宽度，N表示所述全血细胞散点图的高度。参数设置单元，用于在提取全血细胞散点图的全局信息时将窗函数的参数设置在[-1,0]内，以及在提取全血细胞散点图的局部信息时将窗函数的参数设置在[0,1]内。区别在于，全局信息提取模块还包括第二级平均池化单元。第二级平均池化单元用于将所述滑动窗口的中心位置对准经过第一级加权池化后的图像的第1行第1列像素点；以第1行第1列像素点为起点，以第M行第N列像素点为终点，对所述滑动窗口执行多次步长为2的滑动操作；每次滑动后，利用所述滑动窗口对所述全血细胞散点图的对应区域进行平均池化，得到所述粗尺度图像。
进一步的，第一特征信息提取模块包括第一卷积层、主胶囊层和多层表示胶囊层。第一卷积层用于对所述粗尺度图像进行特征提取，得到粗尺度特征图。主胶囊层，用于对所述粗尺度特征图进行格式调整，得到胶囊节点格式的特征图。多层表示胶囊层，用于对格式调整后的特征图进行处理，得到所述第一特征信息；每一层表示胶囊层的胶囊节点个数不相同。第二特征信息提取模块包括第二卷积层、多层残差层和全连接层。第二卷积层用于对所述细尺度图像进行特征提取，得到细尺度特征图。层残差层用于对细尺度特征图进行特征提取。全连接层用于对所述多层残差层提取的特征信息处理后输出，得到所述第二特征信息。
与现有技术相比，本发明具有如下的优点和有益效果：本发明采用了对全自动血细胞分析仪生成的全血细胞散点图进行粗尺度图像预处理和细尺度图像预处理，提取出了全血细胞散点图中各散点细胞群落的位置信息和单个细胞群落的内部特征信息，并采用了不同的特征提取方式从全血细胞散点图的全局特征和局部特征中提取出不同的高级语义特征，从而克服了现有的全自动血细胞分析仪仅针对细胞进行粗分类及计数的缺陷。输出的高维定量特征信息更有利于为下游APL筛查提供可靠的数据支撑。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种针对全血细胞散点图的定量分析方法，其特征在于，包括以下步骤：
提取全血细胞散点图的全局信息，得到粗尺度图像，所述粗尺度图像包含所述全血细胞散点图中所有散点细胞群落的位置分布信息；提取所述全血细胞散点图的局部信息，得到细尺度图像，所述细尺度图像包含所述全血细胞散点图中单个散点细胞群落的内部特征信息；
采用卷积神经网络和胶囊网络对粗尺度图像进行特征提取，得到第一特征信息；采用卷积神经网络和残差网络对细尺度图像进行特征提取，得到第二特征信息；
通过多层感知机从所述第一特征信息和所述第二特征信息中提取出高维定量特征信息。
2.根据权利要求1所述的一种针对全血细胞散点图的定量分析方法，其特征在于，获取所述粗尺度图像包括以下步骤：
定义滑动窗口，利用所述滑动窗口对所述全血细胞散点图依次进行第一级加权池化和第二级平均池化，得到所述粗尺度图像；
所述第一级加权池化包括以下步骤：将所述滑动窗口的中心位置对准所述全血细胞散点图的第1行第1列像素点；以第1行第1列像素点为起点，以第M行第N列像素点为终点，对所述滑动窗口执行多次步长为1的滑动操作；每次滑动后，利用所述滑动窗口对所述全血细胞散点图的对应区域进行加权池化；其中，M表示所述全血细胞散点图的宽度，N表示所述全血细胞散点图的高度；
所述第二级平均池化包括以下步骤：将所述滑动窗口的中心位置对准经过第一级加权池化后的图像的第1行第1列像素点；以第1行第1列像素点为起点，以第M行第N列像素点为终点，对所述滑动窗口执行多次步长为2的滑动操作；每次滑动后，利用所述滑动窗口对所述全血细胞散点图的对应区域进行平均池化，得到所述粗尺度图像。
3.根据权利要求2所述的一种针对全血细胞散点图的定量分析方法，其特征在于，所述加权池化的计算模型表达式为
其中，Iout(x，y)表示经过加权池化后的全血细胞散点图在第x行第y列处的像素值，Iin(x+i，y+j)表示原始的全血细胞散点图在第x+i行第y+j列处的像素值，K(x+i，y+j)表示所述滑动窗口在第x+i行第y+j列处对应的窗函数，/>
w表示所述滑动窗口的宽度，h表示所述滑动窗口的高度。
4.根据权利要求3所述的一种针对全血细胞散点图的定量分析方法，其特征在于，所述滑动窗口为5×5的表格结构，一个表格对应一个像素点；位于所述滑动窗口的第1行、第5行、第1列和第5列的每个表格对应一个外层窗函数；位于所述滑动窗口的第2行第2列、第2行第3列、第2行第4列、第3行第2列、第3行第4列、第3行第2列、第3行第3列和第3行第4列的每个表格对应一个中间层窗函数；位于所述滑动窗口第3行第3列的表格对应内层窗函数。
5.根据权利要求4所述的一种针对全血细胞散点图的定量分析方法，其特征在于，
所述外层窗函数的表达式为
/>
所述中间层窗函数的表达式为
所述内层窗函数的表达式为
其中，α∈[-1，0]，Γ(·)为伽马函数。
6.根据权利要求4所述的一种针对全血细胞散点图的定量分析方法，其特征在于，获取所述细尺度图像的方法为：利用所述滑动窗口对所述全血细胞散点图进行所述第一级加权池化；
所述外层窗函数的表达式为
所述中间层窗函数的表达式为
所述内层窗函数的表达式为
其中，α∈[0，1]，Γ(·)为伽马函数。
7.根据权利要求1-6中任一所述的一种针对全血细胞散点图的定量分析方法，其特征在于，
获取所述第一特征信息包括以下步骤：
采用卷积神经网络对所述粗尺度图像进行特征提取，得到粗尺度特征图；
采用主胶囊层将所述粗尺度特征图进行格式调整，得到胶囊节点格式的特征图；
采用多层表示胶囊层对格式调整后的特征图进行处理，得到所述第一特征信息；每一层表示胶囊层的胶囊节点个数不相同；
获取所述第二特征信息包括以下步骤：
采用卷积神经网络对所述细尺度图像进行特征提取，得到细尺度特征图；
采用多个残差模块对细尺度特征图进行特征提取；
通过全连接层输出提取的特征信息，得到所述第二特征信息。
8.一种针对全血细胞散点图的定量分析系统，其特征在于，包括
全局信息提取模块，用于提取全血细胞散点图的全局信息，得到粗尺度图像，所述粗尺度图像包含所述全血细胞散点图中所有散点细胞群落的位置分布信息；
局部信息提取模块，用于提取所述全血细胞散点图的局部信息，得到细尺度图像，所述细尺度图像包含所述全血细胞散点图中单个散点细胞群落的内部特征信息；
第一特征信息提取模块，用于采用卷积神经网络和胶囊网络对粗尺度图像进行特征提取，得到第一特征信息；
第二特征信息提取模块，用于采用卷积神经网络和残差网络对细尺度图像进行特征提取，得到第二特征信息；
输出模块，用于通过多层感知机从所述第一特征信息和所述第二特征信息中提取出高维定量特征信息。
9.根据权利要求8所述的一种针对全血细胞散点图的定量分析系统，其特征在于，所述全局信息提取模块和所述局部信息提取模块均包括
滑动窗口设置单元，用于定义滑动窗口，滑动窗口为5×5的表格结构，一个表格对应一个像素点；位于所述滑动窗口的第1行、第5行、第1列和第5列的每个表格对应一个外层窗函数；位于所述滑动窗口的第2行第2列、第2行第3列、第2行第4列、第3行第2列、第3行第4列、第3行第2列、第3行第3列和第3行第4列的每个表格对应一个中间层窗函数；位于所述滑动窗口第3行第3列的表格对应内层窗函数；
第一级加权池化单元，用于将所述滑动窗口的中心位置对准所述全血细胞散点图的第1行第1列像素点；以第1行第1列像素点为起点，以第M行第N列像素点为终点，对所述滑动窗口执行多次步长为1的滑动操作；每次滑动后，利用所述滑动窗口对所述全血细胞散点图的对应区域进行加权池化；其中，M表示所述全血细胞散点图的宽度，N表示所述全血细胞散点图的高度；
参数设置单元，用于在提取全血细胞散点图的全局信息时将窗函数的参数设置在[-1,0]内，以及在提取全血细胞散点图的局部信息时将窗函数的参数设置在[0,1]内；
所述全局信息提取模块还包括
第二级平均池化单元，用于将所述滑动窗口的中心位置对准经过第一级加权池化后的图像的第1行第1列像素点；以第1行第1列像素点为起点，以第M行第N列像素点为终点，对所述滑动窗口执行多次步长为2的滑动操作；每次滑动后，利用所述滑动窗口对所述全血细胞散点图的对应区域进行平均池化，得到所述粗尺度图像。
10.根据权利要求8或9所述的一种针对全血细胞散点图的定量分析系统，其特征在于，
所述第一特征信息提取模块包括
第一卷积层，用于对所述粗尺度图像进行特征提取，得到粗尺度特征图；
主胶囊层，用于对所述粗尺度特征图进行格式调整，得到胶囊节点格式的特征图；
多层表示胶囊层，用于对格式调整后的特征图进行处理，得到所述第一特征信息；每一层表示胶囊层的胶囊节点个数不相同；
所述第二特征信息提取模块包括
第二卷积层，用于对所述细尺度图像进行特征提取，得到细尺度特征图；
多层残差层，用于对细尺度特征图进行特征提取；
全连接层，用于对所述多层残差层提取的特征信息处理后输出，得到所述第二特征信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310157013.9A CN116188792B (zh) | 2023-02-23 | 2023-02-23 | 一种针对全血细胞散点图的定量分析方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310157013.9A CN116188792B (zh) | 2023-02-23 | 2023-02-23 | 一种针对全血细胞散点图的定量分析方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116188792A true CN116188792A (zh) | 2023-05-30 |
| CN116188792B CN116188792B (zh) | 2023-10-20 |
Family
ID=86448307
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310157013.9A Active CN116188792B (zh) | 2023-02-23 | 2023-02-23 | 一种针对全血细胞散点图的定量分析方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116188792B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117629853A (zh) * | 2023-11-17 | 2024-03-01 | 四川省医学科学院·四川省人民医院 | 一种获取全血细胞计数值的方法及装置、系统、电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109360155A (zh) * | 2018-08-17 | 2019-02-19 | 上海交通大学 | 基于多尺度特征融合的单帧图像去雨方法 |
| AU2020100274A4 (en) * | 2020-02-25 | 2020-03-26 | Huang, Shuying DR | A Multi-Scale Feature Fusion Network based on GANs for Haze Removal |
| CN111914904A (zh) * | 2020-07-08 | 2020-11-10 | 太原理工大学 | 一种融合DarkNet与CapsuleNet模型的图像分类方法 |
| CN112766199A (zh) * | 2021-01-26 | 2021-05-07 | 武汉大学 | 基于自适应多尺度特征提取模型的高光谱图像分类方法 |
| CN114187495A (zh) * | 2022-02-11 | 2022-03-15 | 武汉纺织大学 | 一种基于图像的服装流行趋势预测方法 |
-
2023
- 2023-02-23 CN CN202310157013.9A patent/CN116188792B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109360155A (zh) * | 2018-08-17 | 2019-02-19 | 上海交通大学 | 基于多尺度特征融合的单帧图像去雨方法 |
| AU2020100274A4 (en) * | 2020-02-25 | 2020-03-26 | Huang, Shuying DR | A Multi-Scale Feature Fusion Network based on GANs for Haze Removal |
| CN111914904A (zh) * | 2020-07-08 | 2020-11-10 | 太原理工大学 | 一种融合DarkNet与CapsuleNet模型的图像分类方法 |
| CN112766199A (zh) * | 2021-01-26 | 2021-05-07 | 武汉大学 | 基于自适应多尺度特征提取模型的高光谱图像分类方法 |
| CN114187495A (zh) * | 2022-02-11 | 2022-03-15 | 武汉纺织大学 | 一种基于图像的服装流行趋势预测方法 |
Non-Patent Citations (4)
| Title |
|---|
| HANCHAO LI 等: "DFANet:Deep Feature Aggregation for Real-Time Semantic Segmentation", 《ARXIV》, pages 1 - 10 * |
| HONG ZHANG 等: "Multi-Scale MLP-Mixer for image classification", 《KNOWLEDGE-BASED SYSTEMS》, pages 1 - 7 * |
| YONG WU 等: "Person Reidentification by Multiscale Feature Representation Learning With Random Batch Feature Mask", 《IEEE TRANSACTIONS ON COGNITIVE AND DEVELOPMENTAL SYSTEMS》, vol. 13, no. 4, pages 865 - 874, XP011892605, DOI: 10.1109/TCDS.2020.3003674 * |
| 雷鹏程;刘丛;唐坚刚;彭敦陆;: "分层特征融合注意力网络图像超分辨率重建", 《中国图象图形学报》, vol. 25, no. 09, pages 1773 - 1786 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117629853A (zh) * | 2023-11-17 | 2024-03-01 | 四川省医学科学院·四川省人民医院 | 一种获取全血细胞计数值的方法及装置、系统、电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116188792B (zh) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yoo et al. | Prostate cancer detection using deep convolutional neural networks | |
| CN109670510B (zh) | 一种基于深度学习的胃镜活检病理数据筛查系统 | |
| CN109935336B (zh) | 一种儿童呼吸科疾病的智能辅助诊断系统 | |
| CN113256637B (zh) | 一种基于深度学习、上下文相关的尿液有形成分检测方法 | |
| CN110236543B (zh) | 基于深度学习的阿尔茨海默病多分类诊断系统 | |
| CN112070772A (zh) | 基于UNet++和ResNet的血液白细胞图像分割方法 | |
| CN116188792B (zh) | 一种针对全血细胞散点图的定量分析方法及系统 | |
| CN112508953B (zh) | 基于深度神经网络的脑膜瘤快速分割定性方法 | |
| CN110728666B (zh) | 基于数字病理玻片进行慢性鼻窦炎的分型方法及其系统 | |
| CN109359569A (zh) | 一种基于cnn的红细胞图像亚分类方法 | |
| CN111415324B (zh) | 基于磁共振成像的脑病灶图像空间分布特征的分类鉴别方法 | |
| CN109961059A (zh) | 检测肾脏感兴趣组织区域的方法及系统 | |
| CN112420170B (zh) | 一种提高计算机辅助诊断系统图片分类准确度的方法 | |
| US20230066976A1 (en) | Systematic characterization of objects in a biological sample | |
| CN112750132A (zh) | 基于双路径网络和通道注意的白细胞图像分割方法 | |
| CN113902669A (zh) | 一种尿脱落细胞液基涂片的阅片方法及系统 | |
| CN114972254A (zh) | 一种基于卷积神经网络的宫颈细胞图像分割方法 | |
| CN115909006A (zh) | 基于卷积Transformer的乳腺组织图像分类方法及系统 | |
| Koul et al. | A study on bladder cancer detection using AI-based learning techniques | |
| CN113160974A (zh) | 一种基于超图聚类的精神疾病生物型发掘方法 | |
| CN113130050B (zh) | 一种医学信息显示方法及显示系统 | |
| Shams et al. | Bio-net dataset: AI-based diagnostic solutions using peripheral blood smear images | |
| CN110739051B (zh) | 利用鼻息肉病理图片建立嗜酸性粒细胞占比模型的方法 | |
| Daniel et al. | PECNet: A deep multi-label segmentation network for eosinophilic esophagitis biopsy diagnostics | |
| Gupta et al. | Different CNN-based architectures for detection of invasive ductal carcinoma in breast using histopathology images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |