CN116630294B - 一种基于深度学习的全血样本检测方法、装置及存储介质 - Google Patents
一种基于深度学习的全血样本检测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN116630294B CN116630294B CN202310680620.3A CN202310680620A CN116630294B CN 116630294 B CN116630294 B CN 116630294B CN 202310680620 A CN202310680620 A CN 202310680620A CN 116630294 B CN116630294 B CN 116630294B
- Authority
- CN
- China
- Prior art keywords
- image
- detection
- model
- positioning
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 155
- 210000004369 blood Anatomy 0.000 title claims abstract description 60
- 239000008280 blood Substances 0.000 title claims abstract description 60
- 238000013135 deep learning Methods 0.000 title claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 120
- 210000003743 erythrocyte Anatomy 0.000 claims abstract description 69
- 238000000034 method Methods 0.000 claims abstract description 61
- 102000001554 Hemoglobins Human genes 0.000 claims abstract description 29
- 108010054147 Hemoglobins Proteins 0.000 claims abstract description 29
- 238000004820 blood count Methods 0.000 claims abstract description 24
- 238000011176 pooling Methods 0.000 claims description 38
- 238000013507 mapping Methods 0.000 claims description 23
- 238000002790 cross-validation Methods 0.000 claims description 14
- 238000010008 shearing Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 9
- 238000012512 characterization method Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 6
- 238000005534 hematocrit Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的全血样本检测方法、装置及存储介质,本发明通过获取全血样本涂片的图像数据集,并根据所述图像数据集进行模型训练,得到训练后的定位模型以及检测模型,获取全血样本的待识别图像,对所述待识别图像进行裁剪处理,得到若干个不同位置的位置图像,将所述位置图像输入至所述定位模型,确定待检测的目标位置图像,根据所述目标位置图像以及所述检测模型,得到检测结果,通过采集全血样本涂片的图像数据集利用深度学习的定位模型以及检测模型即可以检测出包括血红蛋白数值、红细胞计数值以及红细胞压积数值中的至少一种的检测结果,有利于提高检测效率、降低成本以及提升便携性。
Description
技术领域
本发明涉及深度学习领域,尤其是一种基于深度学习的全血样本检测方法、装置及存储介质。
背景技术
血常规检查是临床诊断检查项目之一,对于疾病的诊断和治疗发挥着重要的作用。现今,对于血常规检查中血红蛋白、红细胞报计数、红细胞比积等红细胞相关参数的分析,主要基于全自动血液分析仪采用化学法、电阻抗法等方式对采集的全血样本进行检测分析,在这些检测的场景中,需要设计复杂的自动化检测设备、检测试剂成本高、便携性差。
发明内容
有鉴于此,为了解决上述技术问题的至少之一,本发明的目的是提供一种基于深度学习的全血样本检测方法、装置及存储介质,提高检测效率。
本发明实施例提供了一种基于深度学习的全血样本检测方法,包括:
获取全血样本涂片的图像数据集,并根据所述图像数据集进行模型训练,得到训练后的定位模型以及检测模型;
获取全血样本的待识别图像,对所述待识别图像进行裁剪处理,得到若干个不同位置的位置图像;
将所述位置图像输入至所述定位模型,确定待检测的目标位置图像;
根据所述目标位置图像以及所述检测模型,得到检测结果;所述检测结果包括血红蛋白数值、红细胞计数值以及红细胞压积数值中的至少一种。
进一步,所述对所述待识别图像进行裁剪处理,得到若干个不同位置的位置图像,包括:
基于预设规则对所述待识别图像进行裁剪,确定若干个不同位置的位置图像。
进一步,所述将所述位置图像输入至所述定位模型,确定待检测的目标位置图像,包括:
将若干个所述位置图像输入至定位模型;
通过所述定位模型输出每一所述位置图像对应的平铺概率;所述平铺概率表征全血样本中红细胞不重叠的概率;
将平铺概率最高的位置图像作为待检测的目标位置图像。
进一步,所述根据所述目标位置图像以及所述检测模型,得到检测结果,包括:
根据预设显微镜高倍镜视野大小从所述目标位置图像中选取目标区域;
将所述目标区域输入至所述检测模型,通过所述检测模型对所述目标区域进行检测,得到检测结果。
进一步,所述根据所述图像数据集进行模型训练,得到训练后的定位模型,包括:
从所述图像数据集中确定第一训练图像并将所述第一训练图像输入至定位网络;所述定位网络包括第一卷积层、第一残差模块、第一池化层、第一线性层以及MLP分类器,第一残差模块包括若干个第一残差块,每一第一残差块包括若干个第二卷积层;
通过所述第一卷积层对所述第一训练图像进行第一卷积,通过所述第一残差模块对第一卷积结果进行第二卷积,通过第一池化层对第二卷积结果进行全局平均池化;
通过第一线性层对全局平均池化结果进行映射并通过MLP分类器输出平铺概率以及非平铺概率,根据所述平铺概率以及所述非平铺概率调整所述定位网络的网络参数;
从所述图像数据集中确定新的第一训练图像并返回所述将所述第一训练图像输入至定位网络的步骤,根据十折交叉验证方法确定若干个调整后的定位网络的准确率;
将准确率最高的调整后的定位网络作为训练后的定位模型;
或者,
从所述图像数据集中确定第一目标训练图像并将所述第一目标训练图像输入至定位网络;所述定位网络包括剪切模块、维度映射模块、增加模块、编码器模块以及多层感知器MLP;
通过剪切模块将所述第一目标训练图像进行图像剪切以及铺平处理,得到若干个图像块,通过所述维度映射模块对所述图像块进行维度映射,得到固定长度的向量,通过所述增加模块在所述固定长度的向量上增加可学习的类别记号和位置编码并输入至所述编码器模块中进行编码,编码结果输入至所述多层感知器MLP中进行分类,输出平铺概率以及非平铺概率,根据所述平铺概率以及所述非平铺概率调整所述定位网络的网络参数,
从所述图像数据集中确定新的第一目标训练图像并返回所述将所述第一目标训练图像输入至定位网络的步骤,根据十折交叉验证方法确定若干个调整后的定位网络的准确率,将准确率最高的调整后的定位网络作为训练后的定位模型。
进一步,所述根据所述图像数据集进行模型训练,得到训练后的检测模型,包括:
根据训练后的定位模型以及图像数据集,得到位置图像数据集,并获取所述位置图像数据集对应的真实数值;所述真实数值包括真实的血红蛋白数值、真实的红细胞计数值以及真实的红细胞压积数值中的至少一种;
从所述位置图像数据集中确定第二训练图像,并将所述第二训练图像输入至检测网络;所述检测网络包括第三卷积层、第二残差模块、第二池化层以及第二线性层,第二残差模块包括若干个第二残差块,每一第二残差块包括若干个第四卷积层;
通过所述第三卷积层对所述训练图像进行第三卷积,通过所述第二残差模块对第三卷积结果进行第四卷积,通过第二池化层对第四卷积结果进行全局平均池化;
通过第二线性层对全局平均池化结果进行映射,得到预测结果,根据预测结果以及所述真实数值调整所述检测网络的网络参数;
从所述位置图像数据集中确定新的第二训练图像并返回所述将所述第二训练图像输入至检测网络的步骤,根据十折交叉验证方法确定若干个调整后的检测网络的皮尔逊相关系数;
将皮尔逊相关系数最高的调整后的检测网络作为训练后的检测模型。
进一步,所述方法还包括:
将第二训练图像以不同的显微镜高倍镜视野大小确定若干个区域图像;
将所述区域图像分别输入至所述检测模型,以得到每一所述区域图像对应的皮尔逊相关系数;
将皮尔逊相关系数表征满足预设性能的区域图像对应的显微镜高倍镜视野大小作为预设显微镜高倍镜视野大小。
本发明实施例还提供一种基于深度学习的全血样本检测装置,包括:
训练模块,用于获取全血样本涂片的图像数据集,并根据所述图像数据集进行模型训练,得到训练后的定位模型以及检测模型;
获取模块,用于获取全血样本的待识别图像,对所述待识别图像进行裁剪处理,得到若干个不同位置的位置图像;
确定模块,用于将所述位置图像输入至所述定位模型,确定待检测的目标位置图像;
检测模块,用于根据所述目标位置图像以及所述检测模型,得到检测结果;所述检测结果包括血红蛋白数值、红细胞计数值以及红细胞压积数值中的至少一种。
本发明实施例还提供一种基于深度学习的全血样本检测装置,所述基于深度学习的全血样本检测装置包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现所述方法。
本发明实施例还提供一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现所述方法。
本发明的有益效果是:
通过获取全血样本涂片的图像数据集,并根据所述图像数据集进行模型训练,得到训练后的定位模型以及检测模型,获取全血样本的待识别图像,对所述待识别图像进行裁剪处理,得到若干个不同位置的位置图像,将所述位置图像输入至所述定位模型,确定待检测的目标位置图像,根据所述目标位置图像以及所述检测模型,得到检测结果,通过采集全血样本涂片的图像数据集利用深度学习的定位模型以及检测模型即可以检测出包括血红蛋白数值、红细胞计数值以及红细胞压积数值中的至少一种的检测结果,有利于提高检测效率、降低成本以及提高便携性。
为了更好地理解和实施,下面结合附图详细说明本发明。
附图说明
图1为本发明基于深度学习的全血样本检测方法的步骤流程示意图;
图2(a)为本发明具体实施例红细胞平铺的示意图;图2(b)为本发明具体实施例红细胞重叠的示意图;图2(c)为本发明具体实施例红细胞稀疏的示意图;
图3为本发明具体实施例基于玻片长度截取位置图像的示意图;
图4为本发明具体实施例不同图片大小时检测模型的评价示意图;
图5(a)为本发明具体实施例血红蛋白的评估示意图;图5(b)为本发明具体实施例红细胞计数的评估示意图;图5(c)为本发明具体实施例的红细胞压积评估示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
如图1所示,本发明实施例提供一种基于深度学习的全血样本检测方法,包括步骤S100-S400:
S100、获取全血样本涂片的图像数据集,并根据图像数据集进行模型训练,得到训练后的定位模型以及检测模型。
本发明实施例中,对全血样本涂片中的红细胞进行染色得到染色后的全血样本图片,采用显微镜头和CCD匀速运动,逐步扫描染色后的全血样本,将扫描的每个视野图片拼接成为全幅图片,获得全血样本涂片的完整图片,多张全血样本涂片的完整图片构成图像数据集。
本发明实施例中,定位模型用于从图像数据集所输入的图片中定位红细胞平铺视野的具体位置。可选地,步骤S100中根据图像数据集进行模型训练,得到训练后的定位模型,包括步骤S101-S106:
S101、从图像数据集中确定第一训练图像并将第一训练图像输入至定位网络。
可选地,定位网络为一个二分类深度学习网络,包括但不限于深度卷积神经网络和深度注意力网络,本发明实施例中以深度卷积神经网络为例。定位网络包括第一卷积层、第一残差模块、第一池化层、第一线性层以及MLP分类器,第一残差模块包括若干个第一残差块,每一第一残差块包括若干个第二卷积层。例如,示例性地:第一卷积层包括7*7卷积核,移动步长为2,第一残差模块包括4个第一残差块,每个第一残差块包括2个3*3卷积核的第二卷积层,采用的第一线性层为512大小。
可选地,在训练前可以将图像数据集划分为训练集以及验证集,从训练集中选取第一训练图像并将第一训练图像输入至定位网络中进行处理。
S102、通过第一卷积层对第一训练图像进行第一卷积,通过第一残差模块对第一卷积结果进行第二卷积,通过第一池化层对第二卷积结果进行全局平均池化。
S103、通过第一线性层对全局平均池化结果进行映射并通过MLP分类器输出平铺概率以及非平铺概率,根据平铺概率以及非平铺概率调整定位网络的网络参数。
本发明实施例中,通过第一卷积层对第一训练图像进行第一卷积,通过第一残差模块对第一卷积结果进行第二卷积,通过第一池化层对第二卷积结果进行全局平均池化,然后通过第一线性层对全局平均池化结果进行映射并通过MLP分类器输出平铺概率以及非平铺概率。需要说明的是,平铺概率表征全血样本中红细胞不重叠的概率,非平铺概率表征全血样本中红细胞重叠的概率,例如,不重叠即平铺如图2(a)所示,非平铺包括重叠或者稀疏,分别如图2(b)、图2(c)所示。本发明实施例中,在得到平铺概率和非平铺概率后,根据平铺概率以及非平铺概率调整定位网络的网络参数。具体地,根据平铺概率、非平铺概率以及图像数据集事先标注的的平铺、非平铺的真实标签,利用第一损失函数计算第一损失,并根据第一损失调整定位网络的网络参数。可以理解的是,第一损失越少表征准确度越高;网络参数包括但不限于数据处理(或预处理)相关参数、训练过程与训练相关的参数或者网络相关参数。例如,数据处理(或预处理)相关参数包括但不限于丰富数据库的参数(enrichdata)、数据泛化处理的参数(feature normalization and scaling)和BN处理的参数(batch normalization);训练过程与训练相关的参数包括但不限于训练动量、学习率、衰减函数、权值初始化和正则化相关方法;网络相关参数包括但不限于分类器的选择参数、神经元数量、过滤器数量和网络层数;通过对网络参数的修改调整,对网络进行优化。
S104、从图像数据集中确定新的第一训练图像并返回将第一训练图像输入至定位网络的步骤,根据十折交叉验证方法确定若干个调整后的定位网络的准确率。
可选地,从图像数据集的训练集中确定新的第一训练图像并返回将第一训练图像输入至定位网络的步骤,即返回步骤S101中将第一训练图像输入至定位网络的步骤,输入第一训练图像的次数可以为训练集中的图像数量或者为预设输入次数,不作具体限定。可以理解的是,在每一次调整后都可以得到一个调整后的定位网络,根据十折交叉验证方法,即训练集与验证集按照9:1比例分配进行训练和验证,基于第一损失函数计算第一损失衡量若干个调整后的定位网络的准确率。
S105、将准确率最高的调整后的定位网络作为训练后的定位模型。
本发明实施例中,将准确率最高的调整后的定位网络作为训练后的定位模型。
可选地,假设定位网络为深度注意力网络(vision transformer),定位模型的训练步骤可以为S106-S108:
S106、从图像数据集中确定第一目标训练图像并将第一目标训练图像输入至定位网络;定位网络包括剪切模块、维度映射模块、增加模块、编码器模块以及多层感知器MLP。
S107、通过剪切模块将第一目标训练图像进行图像剪切以及铺平处理,得到若干个图像块,通过维度映射模块对图像块进行维度映射,得到固定长度的向量,通过增加模块在固定长度的向量上增加可学习的类别记号(class token)和位置编码(positionembedding)并输入至编码器模块中进行编码,编码结果输入至多层感知器MLP中进行分类,输出平铺概率以及非平铺概率,根据平铺概率以及非平铺概率调整定位网络的网络参数。
例如,剪切模块用于将输入的第一目标训练图像进行图像剪切为一系列大小(如16*16)相同的块(patch)并进行铺平处理(如变换成256),得到若干个图像块,维度映射模块对每个得到的图像块进行维度映射,得到固定长度的向量(如768)。可选地,Transformer编码器模块由多层编码层构成,每个编码层由一个多头注意力和多层感知器MLP(全连接层+激活)通过残差连接构成。
S108、从图像数据集中确定新的第一目标训练图像并返回将第一目标训练图像输入至定位网络的步骤,根据十折交叉验证方法确定若干个调整后的定位网络的准确率,将准确率最高的调整后的定位网络作为训练后的定位模型。
可选地,步骤S100中根据图像数据集进行模型训练,得到训练后的检测模型,包括步骤S111-S116:
S111、根据训练后的定位模型以及图像数据集,得到位置图像数据集,并获取位置图像数据集对应的真实数值。
具体地,将图像数据集中的图像输入至训练后的定位模型中进行定位,得到待检位置图像,多个待检位置图像构成位置图像数据集。本发明实施例中,通过收集位置图像数据集的血细胞分析五分类(血常规)结果从而获取真实数值,真实数值可以作为真实标签在图像数据集中事先标注或收集,即图像数据集中包含有真实数值,真实数值包括真实的血红蛋白数值、真实的红细胞计数值以及真实的红细胞压积数值,其他实施例中可以包括真实的血红蛋白数值、真实的红细胞计数值以及真实的红细胞压积数值中的一种或多种。
S112、从位置图像数据集中确定第二训练图像,并将第二训练图像输入至检测网络。
可选地,可以将位置图像数据集按照9:1的比例划分为训练集以及验证集,然后从训练集中确定第二训练图像,并将第二训练图像输入至检测网络。本发明实施例中,检测网络是一个基于深度学习用于定量预测血红蛋白、红细胞计数、红细胞压积的回归网络,包括但不限于深度卷积神经网络和深度注意力网络,以深度卷积神经网络为例进行说明,深度注意力网络与上述描述的深度注意力网络结构类似。检测网络包括第三卷积层、第二残差模块、第二池化层以及第二线性层,第二残差模块包括若干个第二残差块,每一第二残差块包括若干个第四卷积层。例如,第三卷积层包括7*7卷积核,移动步长为2,第二残差模块包括4个第二残差块,每个第二残差块包括2个3*3卷积核的第四卷积层,采用的第二线性层为512大小。
S113、通过第三卷积层对训练图像进行第三卷积,通过第二残差模块对第三卷积结果进行第四卷积,通过第二池化层对第四卷积结果进行全局平均池化。
S114、通过第二线性层对全局平均池化结果进行映射,得到预测结果,根据预测结果以及真实数值调整检测网络的网络参数。
本发明实施例中,通过第三卷积层对训练图像进行第三卷积,通过第二残差模块对第三卷积结果进行第四卷积,通过第二池化层对第四卷积结果进行全局平均池化,然后通过第二线性层对全局平均池化结果进行映射,得到预测结果。可选地,根据预测结果、真实数值以及第二损失函数计算第二损失,根据第二损失调整检测网络的网络参数。
S115、从位置图像数据集中确定新的第二训练图像并返回将第二训练图像输入至检测网络的步骤,根据十折交叉验证方法确定若干个调整后的检测网络的皮尔逊相关系数。
可选地,从位置图像数据集中确定新的第二训练图像并返回将第二训练图像输入至检测网络的步骤,即返回步骤S112中将第二训练图像输入至检测网络的步骤,输入第二训练图像的次数可以为训练集中的图像数量或者为预设输入次数,不作具体限定。可以理解的是,在每一次调整后都可以得到一个调整后的检测网络,根据十折交叉验证方法,确定若干个调整后的检测网络的皮尔逊相关系数。
S116、将皮尔逊相关系数最高的调整后的检测网络作为训练后的检测模型。
具体地,将皮尔逊相关系数最高的调整后的检测网络作为训练后的检测模型。
需要说明的是,检测模型可以包括三个子模型,每一子模型分别输出血红蛋白数值、红细胞计数值以及红细胞压积数值,每一子模型分别通过上述步骤S112-S116的步骤训练得到。在其他一些实施例中,检测模型也可以为一个模型,直接输出血红蛋白数值、红细胞计数值以及红细胞压积数值中的至少一种。
可选地,检测模型的训练还可以包括步骤S117-S119:
S117、将第二训练图像以不同的显微镜高倍镜视野大小确定若干个区域图像。
示例性地,以8个不同的显微镜高倍镜视野大小为例进行说明,不构成具体限定。例如,将第二训练图像以50,100,200,300,400,500,600,700(像素)大小依次选取8个区域图像,此时对应的8个不同的显微镜高倍镜视野大小分别为0.04,0.09,0.18,0.28,0.37,0.46,0.56,0.65。
S118、将区域图像分别输入至检测模型,以得到每一区域图像对应的皮尔逊相关系数。
可选地,分别将8个区域图像分别输入至检测模型中,以在验证集上分别输出每一区域图像对应的皮尔逊相关系数。需要说明的是,当检测模型具有三个子模型时,此时得到的皮尔逊相关系数分别包括血红蛋白的皮尔逊相关系数、红细胞计数的皮尔逊相关系数、红细胞压积的皮尔逊相关系数。
S119、将皮尔逊相关系数表征满足预设性能的区域图像对应的显微镜高倍镜视野大小作为预设显微镜高倍镜视野大小。
可以理解的是,最终确定的预设显微镜高倍镜视野大小可以包括血红蛋白的显微镜高倍镜视野大小、红细胞计数的显微镜高倍镜视野大小以及红细胞压积的显微镜高倍镜视野大小,以血红蛋白的显微镜高倍镜视野大小为例进行说明。假设,得到8个区域图像对应的皮尔逊相关系数分别为0.771,0.871,0.919,0.940,0.949,0.956,0.960,0.965,预设性能可以通过预设阈值进行衡量,例如假设当前为了需要满足一定的性能要求,需要预设阈值为0.95,当皮尔逊相关系数大于0.95即可以认为皮尔逊相关系数表征满足预设性能,此时大于0.95的有0.956,0.960,0.965,可以选取其中一个作为预设显微镜高倍镜视野大小,例如0.46(0.46个高倍镜/500*500像素大小);又或者需要更高的性能要求,此时可以设置预设阈值为0.965,以满足更高的性能,此时将0.965对应的显微镜高倍镜视野大小作为预设显微镜高倍镜视野大小。需要说明的是,可以根据实际所需要的检测性能进行调整,即可以根据需要一般的检测性能或者更高的检测性能进行调整,可以考虑图片的大小、模型推理速度,不同的检测性能、硬件、实际需求等进行预设阈值的调整,不对预设阈值进行限定。需要说明的是,红细胞计数的显微镜高倍镜视野大小以及红细胞压积的显微镜高倍镜视野大小确定方式类似,不再赘述。
如图4所示,可以看到不同图片大小时,基于皮尔逊相关系数的检测模型的评价示意图,当需要更高的皮尔逊相关系数时,可以选取更大的图片大小。
S200、获取全血样本的待识别图像,对待识别图像进行裁剪处理,得到若干个不同位置的位置图像。
可选地,步骤S200中对待识别图像进行裁剪处理,得到若干个不同位置的位置图像,具体为:基于预设规则对待识别图像进行裁剪,确定若干个不同位置的位置图像。需要说明的是,在进行定位模型的训练时,基于从厚至薄的基准对输入至定位模型的训练图像进行裁剪,确定若干个不同位置的训练位置图像,如图3所示,根据玻片长度从厚血膜至薄血膜方向依次间隔相同玻片长度的距离截取10个固定位置(0-9)视野的图片(可依据硬件性能选择,包括但不限于700*700大小),从而得到10个不同位置的训练位置图像并进行人工标注,第一次发现红细胞不重叠标注为不重叠,其它9个都标注为重叠,即实际上对后续可能发现不重叠的地方,都当稀疏进行处理。此时,对应的预设规则即为10个,对待识别图像进行裁剪从而得到10个不同位置的位置图像。
S300、将位置图像输入至定位模型,确定待检测的目标位置图像。
可选地,步骤S300具体包括:
将若干个位置图像输入至定位模型;
通过定位模型输出每一位置图像对应的平铺概率;
将平铺概率最高的位置图像作为待检测的目标位置图像。
本发明实施例中,将各个位置图像输入至定位模型,从而通过定位模型输出每一位置图像对应的平铺概率,将平铺概率最高的位置图像作为待检测的目标位置图像,即为待检区域。
S400、根据目标位置图像以及检测模型,得到检测结果。
可选地,步骤S400包括步骤S410-S420:
S410、根据预设显微镜高倍镜视野大小从目标位置图像中选取目标区域。
需要说明的是,预设显微镜高倍镜视野大小根据步骤S117-S119确定,根据预设显微镜高倍镜视野大小可以从目标位置图像中选取目标区域,有利于选取适合大小的目标区域。
S420、将目标区域输入至检测模型,通过检测模型对目标区域进行检测,得到检测结果。
本发明实施例中,将目标区域输入至检测模型,然后通过检测模型对目标区域进行检测,得到检测结果。
需要说明的是,当检测模型包括三个子模型,S410中可以确定三个目标区域,然后将三个目标区域分别输入至对应的子模型中,从而得到血红蛋白数值、红细胞计数值以及红细胞压积数值,构成检测结果。在其他实施例中也可以仅包括一个或多个子模型,或者检测模型为一个单独的模型,同时输出血红蛋白数值、红细胞计数值以及红细胞压积数值,不作具体限定。
如图5(a)所示,本发明实施例的检测模型的表现评估:横坐标为血红蛋白(HGB)的检测数值,纵坐标为预测数值(单位为g/L),皮尔逊相关系数(PCC)为0.981,决定系数(R2)为0.960,平均绝对误差(MAE)为4.751g/L;如图5(b)所示,横坐标为红细胞计数(RBC)的检测数值,纵坐标为预测数值(单位为10-12/L),皮尔逊相关系数(PCC)为0.977,决定系数(R2)为0.954,平均绝对误差(MAE)为0.18310-12/L;如图5(c)所示,横坐标为红细胞压积(HCT)的检测数值,纵坐标为预测数值(单位为L/L),皮尔逊相关系数(PCC)为0.979,决定系数(R2)为0.952,平均绝对误差(MAE)为0.014L/L。可以看到,本发明实施例的检测模型可以获得较好的检测性能,并且经过测试评估后发现,在定位模型定位不准确时,如目标区域红细胞轻度重叠或者稀疏时,检测模型仍能获得较好的检测性能,红细胞重叠程度对系统检测影响较小;又或者,涂片染色偏蓝、偏红,镜头轻微虚焦,检测模型仍能获得较好的检测性能,检测效果好。
需要说明的是,如果需要计算更多的参数如红细胞平均体积(MCV)、红细胞平均血红蛋白量(MCH)、红细胞平均血红蛋白浓度(MCHC),可以通过检测模型输出的血红蛋白数值、红细胞计数值以及红细胞压积数值直接计算得到,方便快捷。
相对于现有技术,本发明实施例的基于深度学习的全血样本检测方法:
1)、采用形态学方法定量检测血红蛋白、红细胞计数、红细胞压积相比传统的血常规检测中的化学法、电阻抗法成本低廉,检测速率更高;
2)、构建了定位模型和检测模型两个深度学习模型来实现血红蛋白、红细胞计数、红细胞压积检测,与物体分割框架相比简单高效;
3)、确定预设显微镜高倍镜视野大小以确定目标区域输入至深度学习模型,预设显微镜高倍镜视野大小在所需的图片大小不同、硬件的检测性能不同时能够根据实际需要进行适应性调整,更加便捷。
4)、深度学习检测模型在不同红细胞重叠程度、涂片染色差异、图像缩放,影响下依旧获得良好的检测性能,能有效学习和记忆这些因素并不被干扰。
本发明实施例还提供一种基于深度学习的全血样本检测装置,包括:
训练模块,用于获取全血样本涂片的图像数据集,并根据图像数据集进行模型训练,得到训练后的定位模型以及检测模型;
获取模块,用于获取全血样本的待识别图像,对待识别图像进行裁剪处理,得到若干个不同位置的位置图像;
确定模块,用于将位置图像输入至定位模型,确定待检测的目标位置图像;
检测模块,用于根据目标位置图像以及检测模型,得到检测结果;检测结果包括血红蛋白数值、红细胞计数值以及红细胞压积数值中的至少一种。
上述方法实施例中的内容均适用于本装置实施例中,本装置实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法实施例所达到的有益效果也相同,不再赘述。
本发明实施例还提供了另一种基于深度学习的全血样本检测装置,该基于深度学习的全血样本检测装置包括处理器和存储器,存储器中存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现前述实施例的基于深度学习的全血样本检测方法。可选地,该基于深度学习的全血样本检测装置包括但不限于手机、平板电脑、电脑及车载电脑等。
上述方法实施例中的内容均适用于本装置实施例中,本装置实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法实施例所达到的有益效果也相同,不再赘述。
本发明实施例还提供一种计算机可读存储介质,存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现前述实施例的基于深度学习的全血样本检测方法。
本发明实施例还提供一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行前述实施例的基于深度学习的全血样本检测方法。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括多指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (7)
1.一种基于深度学习的全血样本检测方法,其特征在于,包括:
获取全血样本涂片的图像数据集,并根据所述图像数据集进行模型训练,得到训练后的定位模型以及检测模型;
获取全血样本的待识别图像,对所述待识别图像进行裁剪处理,得到若干个不同位置的位置图像;
将所述位置图像输入至所述定位模型,确定待检测的目标位置图像;
根据所述目标位置图像以及所述检测模型,得到检测结果;所述检测结果包括血红蛋白数值、红细胞计数值以及红细胞压积数值中的至少一种;
所述将所述位置图像输入至所述定位模型,确定待检测的目标位置图像,包括:将若干个所述位置图像输入至定位模型;通过所述定位模型输出每一所述位置图像对应的平铺概率;所述平铺概率表征全血样本中红细胞不重叠、不稀疏以及无红细胞的概率,非平铺概率表征重叠或者稀疏的概率;将平铺概率最高的位置图像作为待检测的目标位置图像;
所述根据所述图像数据集进行模型训练,得到训练后的定位模型,包括:
从所述图像数据集中确定第一训练图像并将所述第一训练图像输入至定位网络;所述定位网络包括第一卷积层、第一残差模块、第一池化层、第一线性层以及MLP分类器,第一残差模块包括若干个第一残差块,每一第一残差块包括若干个第二卷积层;
通过所述第一卷积层对所述第一训练图像进行第一卷积,通过所述第一残差模块对第一卷积结果进行第二卷积,通过第一池化层对第二卷积结果进行全局平均池化;
通过第一线性层对全局平均池化结果进行映射并通过MLP分类器输出平铺概率以及非平铺概率,根据所述平铺概率以及所述非平铺概率调整所述定位网络的网络参数;
从所述图像数据集中确定新的第一训练图像并返回所述将所述第一训练图像输入至定位网络的步骤,根据十折交叉验证方法确定若干个调整后的定位网络的准确率;
将准确率最高的调整后的定位网络作为训练后的定位模型;
或者,
从所述图像数据集中确定第一目标训练图像并将所述第一目标训练图像输入至定位网络;所述定位网络包括剪切模块、维度映射模块、增加模块、编码器模块以及多层感知器MLP;
通过剪切模块将所述第一目标训练图像进行图像剪切以及铺平处理,得到若干个图像块,通过所述维度映射模块对所述图像块进行维度映射,得到固定长度的向量,通过所述增加模块在所述固定长度的向量上增加可学习的类别记号和位置编码并输入至所述编码器模块中进行编码,编码结果输入至所述多层感知器MLP中进行分类,输出平铺概率以及非平铺概率,根据所述平铺概率以及所述非平铺概率调整所述定位网络的网络参数;
从所述图像数据集中确定新的第一目标训练图像并返回所述将所述第一目标训练图像输入至定位网络的步骤,根据十折交叉验证方法确定若干个调整后的定位网络的准确率,将准确率最高的调整后的定位网络作为训练后的定位模型;
所述根据所述图像数据集进行模型训练,得到训练后的检测模型,包括:
根据训练后的定位模型以及图像数据集,得到位置图像数据集,并获取所述位置图像数据集对应的真实数值;所述真实数值包括真实的血红蛋白数值、真实的红细胞计数值以及真实的红细胞压积数值中的至少一种;
从所述位置图像数据集中确定第二训练图像,并将所述第二训练图像输入至检测网络;所述检测网络包括第三卷积层、第二残差模块、第二池化层以及第二线性层,第二残差模块包括若干个第二残差块,每一第二残差块包括若干个第四卷积层;
通过所述第三卷积层对所述训练图像进行第三卷积,通过所述第二残差模块对第三卷积结果进行第四卷积,通过第二池化层对第四卷积结果进行全局平均池化;
通过第二线性层对全局平均池化结果进行映射,得到预测结果,根据预测结果以及所述真实数值调整所述检测网络的网络参数;
从所述位置图像数据集中确定新的第二训练图像并返回所述将所述第二训练图像输入至检测网络的步骤,根据十折交叉验证方法确定若干个调整后的检测网络的皮尔逊相关系数;
将皮尔逊相关系数最高的调整后的检测网络作为训练后的检测模型。
2.根据权利要求1所述基于深度学习的全血样本检测方法,其特征在于:所述对所述待识别图像进行裁剪处理,得到若干个不同位置的位置图像,包括:
基于预设规则对所述待识别图像进行裁剪,确定若干个不同位置的位置图像。
3.根据权利要求1所述基于深度学习的全血样本检测方法,其特征在于:所述根据所述目标位置图像以及所述检测模型,得到检测结果,包括:
根据预设显微镜高倍镜视野大小从所述目标位置图像中选取目标区域;
将所述目标区域输入至所述检测模型,通过所述检测模型对所述目标区域进行检测,得到检测结果。
4.根据权利要求1所述基于深度学习的全血样本检测方法,其特征在于:所述方法还包括:
将第二训练图像以不同的显微镜高倍镜视野大小确定若干个区域图像;
将所述区域图像分别输入至所述检测模型,以得到每一所述区域图像对应的皮尔逊相关系数;
将皮尔逊相关系数表征满足预设性能的区域图像对应的显微镜高倍镜视野大小作为预设显微镜高倍镜视野大小。
5.一种基于深度学习的全血样本检测装置,其特征在于,包括:
训练模块,用于获取全血样本涂片的图像数据集,并根据所述图像数据集进行模型训练,得到训练后的定位模型以及检测模型;
获取模块,用于获取全血样本的待识别图像,对所述待识别图像进行裁剪处理,得到若干个不同位置的位置图像;
确定模块,用于将所述位置图像输入至所述定位模型,确定待检测的目标位置图像;
检测模块,用于根据所述目标位置图像以及所述检测模型,得到检测结果;所述检测结果包括血红蛋白数值、红细胞计数值以及红细胞压积数值中的至少一种;
所述将所述位置图像输入至所述定位模型,确定待检测的目标位置图像,包括:将若干个所述位置图像输入至定位模型;通过所述定位模型输出每一所述位置图像对应的平铺概率;所述平铺概率表征全血样本中红细胞不重叠、不稀疏以及无红细胞的概率,非平铺概率表征重叠或者稀疏的概率;将平铺概率最高的位置图像作为待检测的目标位置图像;
所述根据所述图像数据集进行模型训练,得到训练后的定位模型,包括:
从所述图像数据集中确定第一训练图像并将所述第一训练图像输入至定位网络;所述定位网络包括第一卷积层、第一残差模块、第一池化层、第一线性层以及MLP分类器,第一残差模块包括若干个第一残差块,每一第一残差块包括若干个第二卷积层;
通过所述第一卷积层对所述第一训练图像进行第一卷积,通过所述第一残差模块对第一卷积结果进行第二卷积,通过第一池化层对第二卷积结果进行全局平均池化;
通过第一线性层对全局平均池化结果进行映射并通过MLP分类器输出平铺概率以及非平铺概率,根据所述平铺概率以及所述非平铺概率调整所述定位网络的网络参数;
从所述图像数据集中确定新的第一训练图像并返回所述将所述第一训练图像输入至定位网络的步骤,根据十折交叉验证方法确定若干个调整后的定位网络的准确率;
将准确率最高的调整后的定位网络作为训练后的定位模型;
或者,
从所述图像数据集中确定第一目标训练图像并将所述第一目标训练图像输入至定位网络;所述定位网络包括剪切模块、维度映射模块、增加模块、编码器模块以及多层感知器MLP;
通过剪切模块将所述第一目标训练图像进行图像剪切以及铺平处理,得到若干个图像块,通过所述维度映射模块对所述图像块进行维度映射,得到固定长度的向量,通过所述增加模块在所述固定长度的向量上增加可学习的类别记号和位置编码并输入至所述编码器模块中进行编码,编码结果输入至所述多层感知器MLP中进行分类,输出平铺概率以及非平铺概率,根据所述平铺概率以及所述非平铺概率调整所述定位网络的网络参数;
从所述图像数据集中确定新的第一目标训练图像并返回所述将所述第一目标训练图像输入至定位网络的步骤,根据十折交叉验证方法确定若干个调整后的定位网络的准确率,将准确率最高的调整后的定位网络作为训练后的定位模型;
所述根据所述图像数据集进行模型训练,得到训练后的检测模型,包括:
根据训练后的定位模型以及图像数据集,得到位置图像数据集,并获取所述位置图像数据集对应的真实数值;所述真实数值包括真实的血红蛋白数值、真实的红细胞计数值以及真实的红细胞压积数值中的至少一种;
从所述位置图像数据集中确定第二训练图像,并将所述第二训练图像输入至检测网络;所述检测网络包括第三卷积层、第二残差模块、第二池化层以及第二线性层,第二残差模块包括若干个第二残差块,每一第二残差块包括若干个第四卷积层;
通过所述第三卷积层对所述训练图像进行第三卷积,通过所述第二残差模块对第三卷积结果进行第四卷积,通过第二池化层对第四卷积结果进行全局平均池化;
通过第二线性层对全局平均池化结果进行映射,得到预测结果,根据预测结果以及所述真实数值调整所述检测网络的网络参数;
从所述位置图像数据集中确定新的第二训练图像并返回所述将所述第二训练图像输入至检测网络的步骤,根据十折交叉验证方法确定若干个调整后的检测网络的皮尔逊相关系数;
将皮尔逊相关系数最高的调整后的检测网络作为训练后的检测模型。
6.一种基于深度学习的全血样本检测装置,其特征在于:所述基于深度学习的全血样本检测装置包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-4中任一项所述方法。
7.一种计算机可读存储介质,其特征在于:所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-4中任一项所述方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310680620.3A CN116630294B (zh) | 2023-06-08 | 2023-06-08 | 一种基于深度学习的全血样本检测方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310680620.3A CN116630294B (zh) | 2023-06-08 | 2023-06-08 | 一种基于深度学习的全血样本检测方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116630294A CN116630294A (zh) | 2023-08-22 |
CN116630294B true CN116630294B (zh) | 2023-12-05 |
Family
ID=87609841
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310680620.3A Active CN116630294B (zh) | 2023-06-08 | 2023-06-08 | 一种基于深度学习的全血样本检测方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116630294B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018211418A1 (en) * | 2017-05-15 | 2018-11-22 | Sigtuple Technologies Private Limited | Method and system for determining area to be scanned in peripheral blood smear for analysis |
CN110647876A (zh) * | 2019-11-28 | 2020-01-03 | 北京小蝇科技有限责任公司 | 一种血涂片全视野智能分析方法 |
CN111105415A (zh) * | 2019-12-31 | 2020-05-05 | 北京理工大学重庆创新中心 | 一种基于深度学习的白细胞大视场图像检测系统及方法 |
CN113241154A (zh) * | 2020-12-28 | 2021-08-10 | 中国人民解放军陆军军医大学第二附属医院 | 一种人工智能血液涂片细胞标注系统及方法 |
CN113327233A (zh) * | 2021-05-28 | 2021-08-31 | 北京理工大学重庆创新中心 | 一种基于迁移学习的细胞图像检测方法 |
CN113793336A (zh) * | 2021-11-17 | 2021-12-14 | 成都西交智汇大数据科技有限公司 | 一种检测血细胞的方法、装置、设备及可读存储介质 |
CN114022539A (zh) * | 2021-10-13 | 2022-02-08 | 吴冰 | 一种显微镜图像细胞位置判断方法 |
CN115629072A (zh) * | 2022-10-28 | 2023-01-20 | 新乡医学院 | 一种骨髓涂片图像分析诊断方法及病理切片扫描仪装置 |
CN115830594A (zh) * | 2022-12-02 | 2023-03-21 | 内蒙古农业大学 | 一种基于机器学习算法的牛乳体细胞图像识别方法 |
CN115965602A (zh) * | 2022-12-29 | 2023-04-14 | 河海大学 | 一种基于改进的YOLOv7和Swin-Unet的异常细胞检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11860154B2 (en) * | 2020-05-28 | 2024-01-02 | Leuko Labs, Inc | Method to detect white blood cells and/or white blood cell subtypes from non-invasive capillary videos |
-
2023
- 2023-06-08 CN CN202310680620.3A patent/CN116630294B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018211418A1 (en) * | 2017-05-15 | 2018-11-22 | Sigtuple Technologies Private Limited | Method and system for determining area to be scanned in peripheral blood smear for analysis |
CN110647876A (zh) * | 2019-11-28 | 2020-01-03 | 北京小蝇科技有限责任公司 | 一种血涂片全视野智能分析方法 |
CN111105415A (zh) * | 2019-12-31 | 2020-05-05 | 北京理工大学重庆创新中心 | 一种基于深度学习的白细胞大视场图像检测系统及方法 |
CN113241154A (zh) * | 2020-12-28 | 2021-08-10 | 中国人民解放军陆军军医大学第二附属医院 | 一种人工智能血液涂片细胞标注系统及方法 |
CN113327233A (zh) * | 2021-05-28 | 2021-08-31 | 北京理工大学重庆创新中心 | 一种基于迁移学习的细胞图像检测方法 |
CN114022539A (zh) * | 2021-10-13 | 2022-02-08 | 吴冰 | 一种显微镜图像细胞位置判断方法 |
CN113793336A (zh) * | 2021-11-17 | 2021-12-14 | 成都西交智汇大数据科技有限公司 | 一种检测血细胞的方法、装置、设备及可读存储介质 |
CN115629072A (zh) * | 2022-10-28 | 2023-01-20 | 新乡医学院 | 一种骨髓涂片图像分析诊断方法及病理切片扫描仪装置 |
CN115830594A (zh) * | 2022-12-02 | 2023-03-21 | 内蒙古农业大学 | 一种基于机器学习算法的牛乳体细胞图像识别方法 |
CN115965602A (zh) * | 2022-12-29 | 2023-04-14 | 河海大学 | 一种基于改进的YOLOv7和Swin-Unet的异常细胞检测方法 |
Non-Patent Citations (1)
Title |
---|
基于深度学习的肿瘤细胞病理学研究;杜军 等;广东医学(19);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116630294A (zh) | 2023-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Swiderska-Chadaj et al. | Learning to detect lymphocytes in immunohistochemistry with deep learning | |
US11756318B2 (en) | Convolutional neural networks for locating objects of interest in images of biological samples | |
JP7180004B2 (ja) | 医用画像分割方法、医用画像分割装置、電子機器及びコンピュータプログラム | |
US20220237788A1 (en) | Multiple instance learner for tissue image classification | |
Ongun et al. | Feature extraction and classification of blood cells for an automated differential blood count system | |
Yoon et al. | Tumor identification in colorectal histology images using a convolutional neural network | |
Ongun et al. | An automated differential blood count system | |
Wu et al. | A hematologist-level deep learning algorithm (BMSNet) for assessing the morphologies of single nuclear balls in bone marrow smears: algorithm development | |
CN111079620B (zh) | 基于迁移学习的白细胞图像检测识别模型构建方法及应用 | |
KR102122068B1 (ko) | 이미지 분석 시스템 및 분석 방법 | |
CN112819821B (zh) | 一种细胞核图像检测方法 | |
Parab et al. | Red blood cell classification using image processing and CNN | |
CN113838067A (zh) | 肺结节的分割方法和装置、计算设备、可存储介质 | |
RU2732895C1 (ru) | Метод для выделения и классификации типов клеток крови с помощью глубоких сверточных нейронных сетей | |
CN115210779A (zh) | 生物样品中对象的系统性表征 | |
CN115131503A (zh) | 一种虹膜三维识别的健康监测方法及其系统 | |
CN114445356A (zh) | 基于多分辨率的全视野病理切片图像肿瘤快速定位方法 | |
CN114972202A (zh) | 一种基于轻量级的神经网络的Ki67病理细胞快速检测计数方法 | |
CN116630294B (zh) | 一种基于深度学习的全血样本检测方法、装置及存储介质 | |
CN112861743A (zh) | 一种掌静脉图像防伪方法、装置和设备 | |
Pala et al. | CNN-based approach for overlapping erythrocyte counting and cell type classification in peripheral blood images | |
Iqbal et al. | Towards Efficient Segmentation and Classification of White Blood Cell Cancer Using Deep Learning | |
Hartmann et al. | COVID-19 Diagnosis in 3D Chest CT Scans with Attention-Based Models | |
RU2303812C2 (ru) | Способ распознавания и подсчета клеток в биологических средах человека и животных и устройство для его осуществления | |
ul Haq et al. | An Intelligent Approach for Blood Cell Detection Employing Faster RCNN |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |