CN112036334A - 待测样本中的有形成分分类方法、系统及终端 - Google Patents

待测样本中的有形成分分类方法、系统及终端 Download PDF

Info

Publication number
CN112036334A
CN112036334A CN202010915202.4A CN202010915202A CN112036334A CN 112036334 A CN112036334 A CN 112036334A CN 202010915202 A CN202010915202 A CN 202010915202A CN 112036334 A CN112036334 A CN 112036334A
Authority
CN
China
Prior art keywords
tangible
sample
neural network
network model
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010915202.4A
Other languages
English (en)
Inventor
王齐耀
唐玉坤
邢圆
余珊
祁欢
叶波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Mindray Bio Medical Electronics Co Ltd
Original Assignee
Shenzhen Mindray Bio Medical Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Mindray Bio Medical Electronics Co Ltd filed Critical Shenzhen Mindray Bio Medical Electronics Co Ltd
Priority to CN202010915202.4A priority Critical patent/CN112036334A/zh
Publication of CN112036334A publication Critical patent/CN112036334A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种待测样本中的有形成分分类方法、系统及终端,获取待测样本的原始图像,对原始图像进行特征提取,得到第一图像特征,基于第一图像特征,定位待测样本中的有形成分,以得到有形成分的位置信息;基于有形成分的位置信息,从原始图像中获取有形成分所在区域的目标图像;对目标图像进行特征提取,得到第二图像特征;基于第二图像特征和预设神经网络模型,对有形成分进行识别分类,得到有形成分的描述信息。在对有形成分进行识别分类过程排除原始图像中其他区域图像对有形成分的干扰,从而可以提高准确度。并且在得到有形成分的描述信息后,输出有形成分的描述信息,以对有形成分进行介绍说明,便于对待测样本中各有形成分进行了解。

Description

待测样本中的有形成分分类方法、系统及终端
技术领域
本申请属于分类技术领域,尤其涉及一种待测样本中的有形成分分类方法、系统及终端。
背景技术
在血液样本分析领域中,识别血液样本中的白细胞、红细胞和血小板等细胞具有重要的临床价值。目前血液样本分析主要是对血液样本中的细胞进行识别分类,识别分类过程如下:
对血液样本的样本图像进行图像分割,得到样本图像中的细胞区域,对细胞区域进行细胞形态识别,确定细胞区域中的细胞类型,虽然这种方式能够识别出细胞类型但是其准确度比较低。
发明内容
有鉴于此,本申请的目的在于提供一种待测样本中的有形成分分类方法、系统及终端,技术方案如下:
一方面,本申请提供一种待测样本中的有形成分分类方法,包括:
获取待测样本的原始图像;
对所述原始图像进行特征提取,得到第一图像特征;
基于所述第一图像特征,定位所述待测样本中的有形成分,以得到所述有形成分的位置信息;
基于所述有形成分的位置信息,从所述原始图像中获取所述有形成分所在区域的目标图像;
对所述目标图像进行特征提取,得到第二图像特征;
基于所述第二图像特征和预设神经网络模型,对所述有形成分进行识别分类,得到所述有形成分的描述信息,所述有形成分的描述信息至少指示出所述有形成分的类型;
输出所述有形成分的描述信息。
另一方面,本申请提供一种终端,包括:
图像获取装置,配置用于获取待测样本的原始图像;
处理器,配置用于执行上述待测样本中的有形成分分类方法,以得到所述待测样本中有形成分的描述信息;
输出接口,配置用于输出所述有形成分的描述信息。
再一方面,本申请提供一种有形成分分析系统,包括:
成像装置,配置用于对待测样本的样本涂片进行拍摄,得到所述待测样本的原始图像;
涂片保持装置,配置用于使所述样本涂片与所述成像装置相对运动;
控制装置,配置用于执行上述待测样本中的有形成分分类方法。
再一方面,本申请提供一种有形成分分析方法,包括:
通过涂片保持装置使所述样本涂片与所述成像装置相对运动;
通过成像装置对待测样本的样本涂片进行拍摄,得到所述待测样本的原始图像;
通过控制装置对所述原始图像进行如下处理:
对所述原始图像进行特征提取,得到第一图像特征;
基于所述第一图像特征,定位所述待测样本中的有形成分,以得到所述有形成分的位置信息;
基于所述有形成分的位置信息,从所述原始图像中获取所述有形成分所在区域的目标图像;
对所述目标图像进行特征提取,得到第二图像特征;
基于所述第二图像特征和预设神经网络模型,对所述有形成分进行识别分类,得到所述有形成分的描述信息,所述有形成分的描述信息至少指示出所述有形成分的类型;
输出所述有形成分的描述信息。
再一方面,本申请提供一种存储介质,所述存储介质中存储有计算机程序代码,所述计算机程序代码执行时实现上述待测样本中的有形成分分类方法。
上述待测样本中的有形成分分类方法,获取待测样本的原始图像,对原始图像进行特征提取,得到第一图像特征,基于第一图像特征,定位待测样本中的有形成分,以得到有形成分的位置信息;基于有形成分的位置信息,从原始图像中获取有形成分所在区域的目标图像;对目标图像进行特征提取,得到第二图像特征;基于第二图像特征和预设神经网络模型,对有形成分进行识别分类,得到有形成分的描述信息。因在对有形成分进行识别分类过程中参照的第二图像特征是从有形成分所在区域的目标图像得到,排除原始图像中其他区域图像对有形成分的干扰,从而可以提高准确度。并且在得到有形成分的描述信息后,输出有形成分的描述信息,以对有形成分进行介绍说明,便于对待测样本中各有形成分进行了解。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提供的一种待测样本中的有形成分分类方法的流程图;
图2示出了本申请实施例提供的多特征融合得到第二图像特征的示意图;
图3示出了本申请实施例提供的输出描述信息的示意图;
图4示出了本申请实施例提供的一种待测样本中的有形成分分类方法的示意图;
图5示出了本申请实施例提供的另一种待测样本中的有形成分分类方法的示意图;
图6示出了本申请实施例提供的另一种待测样本中的有形成分分类方法的流程图;
图7示出了一种通过分类热力图和预设神经网络模型相结合得到有形成分的描述信息的示意图;
图8至图13分别示出6种不同的预设神经网络模型对同一个有形成分的分类结果的示意图;
图14示出了另一种通过分类热力图和预设神经网络模型相结合得到有形成分的描述信息的示意图;
图15示出了本申请实施例提供的再一种待测样本中的有形成分分类方法的流程图;
图16示出了本申请实施例提供的再一种待测样本中的有形成分分类方法的流程图;
图17示出了本申请实施例提供的一种有形成分分析系统的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参见图1,其示出了本申请实施例提供的一种待测样本中的有形成分分类方法,可以包括以下步骤:
101:获取待测样本的原始图像。其中待测样本是进行有形成分分类检测的样本,有形成分是样本中具有一定形状且通过显微镜观察可识别到的物质,通过对待测样本中的有形成分的分类检测,例如确定待测样本中的有形成分的类型、有形成分是正常的有形成分还是异常的有形成分,这些针对待测样本中的有形成分的检测结果能够辅助医生对疾病的诊断。
待测样本为血液样本、骨髓样本、尿液样本和体液样本中的任意一种,当然待测样本还可以是其他类型样本,如脱落细胞样本、除尿液之外的其他排泄物样本和分泌物样本。对于不同类型的待测样本来说,待测样本中的有形成分、承载待测样本以及待测样本的形式会有所不同,下面一一进行说明:
血液样本,也称为外周血:载体为玻片;形式为血膜(样本涂片的一种特殊形式);有形成分包括:红细胞、白细胞、血小板。
骨髓样本:载体为玻片;形式为骨髓涂片;有形成分包括:红细胞系、粒细胞系、淋巴细胞系、单核系、浆细胞系等各类不同成熟阶段的细胞,还有其他类型细胞,如巨核细胞、网状细胞、吞噬细胞、内皮细胞、脂肪细胞等。
尿液样本:载体为计数池;形式为尿沉渣(样本涂片的一种特殊形式);有形成分包括:红细胞、白细胞、白细胞团、细菌、酵母样菌、上皮细胞、小圆上皮细胞、结晶、透明管型、非透明管型、粘液丝等。
体液样本:体液样本可以是但不限于是:脑脊液、浆膜腔积液、关节腔积液、羊水等样本;载体为玻片;形式为样本涂片;有形成分包括:红细胞、白细胞、白细胞团、细菌、酵母样菌、上皮细胞、寄生虫等。
脱落细胞样本:载体为玻片;形式为样本涂片;有形成分包括:上皮细胞、间皮细胞、癌细胞、红细胞、白细胞、巨噬细胞或组织细胞、坏死物(黏液、细菌团、真菌团、植物细胞、棉絮及染料残渣等)、寄生虫等。
除尿液之外的其他排泄物样本与分泌物样本:其他排泄物样本与分泌物样本可以是但不限于是:粪便、阴道分泌物、精液、前列腺液、痰液等样本;载体为玻片;形式为样本涂片;有形成分包括:红细胞、白细胞、结晶、病原微生物、上皮细胞、寄生虫、精子、滴虫、前列腺胆碱小体、前列腺颗粒细胞、肺泡巨噬细胞,肿瘤细胞等。
相对应的,获取待测样本的原始图像的方式可以是但不限于是:通过显微镜获取待测样本在载体上的原始图像,如通过显微镜中的百倍镜对载体进行拍摄,得到待测样本的原始图像。例如针对血液样本来说,将血液涂抹在玻片上,通过推片等在玻片上制备出作为血液样本的血膜,将玻片传输到显微镜的拍摄区域下,将显微镜中的百倍镜(即100倍镜)对玻片进行拍摄,从而得到待测样本的原始图像。
102:对原始图像进行特征提取,得到第一图像特征。
第一图像特征用于定位出待测样本中的有形成分,待测样本中的有形成分具备几何形状、尺寸和颜色中的至少一种特征,通过这些特征能够定位出有形成分在待测样本中的区域,从而实现对有形成分的定位,由此,第一图像特征可以包括但不限于能够指示有形成分的几何形状、尺寸和颜色中的至少一种的特征向量。
得到第一图像特征的可行方式包括但不限于:在获取到原始图像后,调用一个特征提取模型(为了区分称为第一特征提取模型)对原始图像进行特征提取,得到第一特征提取模型输出的第一图像特征。第一特征提取模型是通过历史原始图像和历史第一图像特征进行训练得到的,如通过历史原始图像和历史第一图像特征对神经网络模型进行训练,第一得到特征提取模型,神经网络模型包括但不限于是CNN(Convolutional NeuralNetworks,卷积神经网络模型),CNN的网络结构包含但不限于resnet50,googlenet,alexnet,densenet,inceptionV4等,通过CNN输出一个N*1维的数字矩阵作为第一图像特征,N为自然数,对于N的取值本实施例不进行限定。
在本实施例中,可获取待测样本的多张原始图像,多张原始图像的拍摄参数不同,例如拍摄多张原始图像过程中采用的焦点不同,多张原始图像虽然对应同一个待测样本,但是因焦点不同使得多张原始图像的清晰度有所差异,然后对每张原始图像进行特征提取,得到每张原始图像对应的图像特征,基于每张原始图像对应的图像特征,得到第一图像特征。
如对每张原始图像对应的图像特征进行融合,得到第一图像特征,其中融合方式包括但不限于:拼接、降维、PCA(Principal ComponentsAnalysis,主成分分析)等中的至少一种方式,对此本实施例不再详述。
103:基于第一图像特征,定位待测样本中的有形成分,以得到有形成分的位置信息。有形成分的位置信息用于体现出有形成分在原始图像中占用的区域,从位置信息指示的区域中可以获取到有形成分,实现对待测样本中有形成分的定位。例如有形成分的位置信息可通过但不限于:有形成分在原始图像中的坐标表示,以通过坐标将有形成分从原始图像中划分出来。
在本实施例中,有形成分的位置信息可通过但不限于定位模型得到,定位模型是预先训练的能够对待测样本中的有形成分进行定位的模型,在得到第一图像特征后,将第一图像特征输入到定位模型中,通过定位模型定位待测样本中的有形成分,得到定位模型输出的有形成分的位置信息。定位模型的获得过程如下:
获取历史样本的历史原始图像和历史样本中有形成分的历史位置信息;对历史原始图像进行特征提取,得到历史原始图像特征;基于历史原始图像特征和历史位置信息,对预设网络模型的模型参数进行调整,以得到定位模型。
其中,预设网络模型可以是但不限于是BP(Back Propagation)神经网络模型,对于BP神经网络的网络结构不进行限定,通过历史原始图像和历史位置信息对应的历史原始图像特征,对BP神经网络模型进行训练,以调整其模型参数,从而得到一个能够输出有形成分的位置信息的定位模型。
对于得到有形成分的位置信息的其他方式,本实施例不再一一阐述。
104:基于有形成分的位置信息,从原始图像中获取有形成分所在区域的目标图像。因有形成分的位置信息用于体现出有形成分在原始图像中占用的区域,通过有形成分的位置信息能够在原始图像中划出有形成分占用的区域(即所在区域),将所在区域的图像作为目标图像。
105:对目标图像进行特征提取,得到第二图像特征。
第二图像特征用于体现出目标图像中的有形成分的描述信息,且描述信息至少指示出有形成分的类型,不同类型的有形成分在几何形状、尺寸和颜色中的至少一种特征会存在差异,因此本实施例中第二图像特征包括但不限于能够指示有形成分的几何形状、尺寸和颜色中的至少一种的特征向量。
得到第二图像特征的可行方式包括但不限于:在获取到目标图像后,调用一个特征提取模型(为了区分称为第二特征提取模型)对目标图像进行特征提取,得到第二特征提取模型输出的第二图像特征。第二特征提取模型是通过历史目标图像和历史第二图像特征进行训练得到的,如通过历史目标图像和历史第二图像特征对神经网络模型进行训练,得到第二特征提取模型,神经网络模型包括但不限于是CNN,CNN的网络结构包含但不限于resnet50,googlenet,alexnet,densenet,inceptionV4等,通过CNN输出一个N*1维的数字矩阵作为第二图像特征,N为自然数,对于N的取值本实施例不进行限定。
如果获取到待测样本的至少两张原始图像,这些原始图像的拍摄参数不同,例如拍摄多张原始图像过程中采用的焦点不同使得多张原始图像虽然对应同一个待测样本,但是这些原始图像的清晰度有所差异。在这种情况下,基于有形成分的位置信息,分别从至少两张原始图像中获取有形成分所在区域的目标图像,从而得到对应同一个有形成分但清晰度不同的至少两张目标图像。
在得到至少两张目标图像后,分别对至少两张目标图像进行特征提取,得到每张目标图像的图像特征;基于每张目标图像的图像特征得到第二图像特征。如对每张目标图像的图像特征进行融合,得到第二图像特征,其中融合方式包括但不限于:拼接、降维、PCA等中的至少一种方式,对此本实施例不再详述。
图2示出了本实施例中通过多特征融合得到第二图像特征的过程,获取到同一个细胞的M张目标图像,图2中以7张目标图像为例,M张目标图像是基于细胞的位置信息从M张原始图像中获取到。M张目标图像分别输入到基于CNN得到的第二特征提取模型中,得到第二特征提取模型输出的每张目标图像的图像特征,每张目标图像的图像特征经过拼接、降维和PCA等至少一种融合方式,得到第二图像特征。
在这里需要说明的一点是:虽然第一图像特征和第二图像特征都可以包括但不限于能够指示有形成分的几何形状、尺寸和颜色中的至少一种的特征向量,但是第一图像特征是基于原始图像获取到,第二图像特征基于目标图像获取到,目标图像是原始图像中至少一个有形成分的图像,相对于原始图像来说尺寸明显减小,目标图像的数据量明显小于原始图像的数据量,从而可提高第二图像特征的获取效率。
106:基于第二图像特征和预设神经网络模型,对有形成分进行识别分类,得到有形成分的描述信息,有形成分的描述信息至少指示出有形成分的类型。
其中,预设神经网络模型是预先训练的能够对待测样本中的有形成分进行识别分类的模型,在得到第二图像特征后,将第二图像特征输入到预设神经网络模型中,得到预设神经网络模型输出的有形成分的描述信息。预设神经网络模型的训练过程如下:
获取历史样本中有形成分的历史描述信息和历史描述信息对应的历史图像;对历史图像进行特征提取,得到历史图像特征;基于历史图像特征和历史描述信息,对预设神经网络模型的模型参数进行调整,以得到用于对有形成分进行识别分类的预设神经网络模型,预设神经网络模型可采用但不限于采用深度学习神经网络模型或机器学习神经网络模型,深度学习神经网络模型或机器学习神经网络模型的网络结构本实施例不进行限定。
因不同类型的待测样本中的有形成分有差距,相对应的预设神经网络模型在对任一类型的待测样本中的有形成分进行识别分类过程中其侧重点也会有所不同,由此若通过一个预设神经网络模型对所有类型的待测样本进行识别分类,则预设神经网络模型需要具备区分不同类型待测样本中有形成分的区别的功能,从而通过一个预设神经网络模型能够对不同类型的待测样本进行识别分类。
当然,本实施例还可以训练多个预设神经网络模型,每个预设神经网络模型侧重点不同,如每个预设神经网络模型对应至少一种类型样本,例如分别以体液样本、血液样本、骨髓样本等类型样本的历史图像和历史描述信息对预设神经网络模型进行训练,得到对应任一类型样本的预设神经网络模型,这样在通过预设神经网络模型进行识别分类过程中可基于至少一个预设神经网络模型进行识别分类,其过程如下:
如果预设神经网络模型的数量为一个,则可以将预设神经网络模型输出的有形成分的预测信息确定为有形成分的描述信息。
如果预设神经网络模型的数量为至少两个,可以基于第二图像特征和至少两个预设神经网络模型,对有形成分进行识别分类,得到有形成分的预测信息;基于有形成分的预测信息,得到有形成分的描述信息。
其中,有形成分的预测信息是预设神经网络模型预测出的有形成分可能的描述信息,其预测出的可能的描述信息也能够指示出有形成分的类型,任一预设神经网络模型预测出的描述信息能够作为有形成分的一个中间结果,通过对多个中间结果的分析得到有形成分的描述信息。如果预设神经网络模型的数量为一个或至少两个,对应的得到有形成分的描述信息的方式包括但不限于如下方式:
如果预设神经网络模型的数量为至少两个,则基于每个预设神经网络模型的权重对预测信息进行加权融合,得到有形成分的描述信息,从而实现通过多个预设神经网络模型融合预测描述信息,以结合多个预设神经网络模型提高描述信息的准确度。
预设神经网络模型的权重表明预设神经网络模型预测出的预测信息的准确程度,预设神经网络模型对有形成分的预测信息的合理性可以作为评判预设神经网络模型的准确程度的一个客观标准,合理性越低准确程度也越低,相对应的预设神经网络模型的权重越小,合理性也越高准确程度也越高,相对应的预设神经网络模型的权重越大,以通过合理性这一客观标准来得到预设神经网络模型的权重。可以理解的是,预设神经网络模型的权重也可以是预设值,比如根据经验值来设定;或者,预设神经网络模型的权重还可基于预设神经网络模型输出的所述有形成分的预测信息的置信度得到,比如设定该权重与置信度正相关等。置信度是预设神经网络模型输出的类型的概率值,取值范围为[0,1],1为置信度最高,0为置信度最低,可以通过设定该权重与置信度的关系来确定预设神经网络模型的权重。
其中预设神经网络模型输出的信息(此处信息可以是预测信息或描述信息)的合理性的得到过程包括:基于第二图像特征,计算目标图像的分类热力图,分类热力图用于表征预设神经网络模型识别目标图像过程中关注的区域;基于分类热力图,判断预设神经网络模型输出的信息的合理性。
如在得到第二图像特征过程中可通过上述第二特征提取模型得到每个卷积层对应的特征图,分别记为f1、f2、f3、…,每个卷积图对应的权重为w1、w2、w3、…,将卷积图与对应权重相乘并求和得到热力度量值:map=f1*w1+f2*w2+f3*w3+…,map则是目标图像的分类热力图,以通过热力度量值指示出关注的区域以及关注的区域的热力值。
如果分类热力图的取值越低,说明预设神经网络模型识别过程中关注的区域有误,由此基于预设神经网络模型得到的预测信息的合理性也越低,合理性可以作为评判预设神经网络模型的准确程度的一个标准,合理性越低准确程度也越低,相对应的预设神经网络模型的权重越小;如果分类热力图的取值越高,说明基于预设神经网络模型得到的预测信息的合理性也越高,相对应的预设神经网络模型的权重越大,从而实现基于分类热力图来准确设置预设神经网络模型的权重。
在本实施例中,基于分类热力图确定权重的取值的一种方式可以是但不限于是:设置分类热力图与权重的对应关系,如设置热力度量值与权重之间的取值对应关系,在确定任一预设神经网络模型的热力度量值后,基于取值对应关系可确定出权重。
除了通过多个预设神经网络模型进行融合得到有形成分的描述信息,本实施例还可以采用其他融合方式,如融合得到第二图像特征,其中融合得到第二图像特征的一种方式如图2所示,另一种方式是,利用至少两个预设神经网络模型对目标图像进行特征提取,得到每个预设神经网络模型提取到的图像特征,对每个预设神经网络模型提取到的图像特征进行融合处理得到第二图像特征,如将每个第二特征提取模型提取到的图像特征进行降维组成一个第二图像特征,然后再利用至少一个预设神经网络模型输出有形成分的描述信息。即预设神经网络模型既具备特征提取功能,又具备识别分类功能,预设神经网络模型的特征提取以及融合处理过程请参见上述第二特征提取模型的说明,此处不再详述。
在这里需要说明的一点是:随着生活环境变化,人体内的有形成分(如细胞)会发生一定变化,相对应的用于对有形成分进行识别分类的预设神经网络模型也需要适应性变化,例如如果预设神经网络模型输出的有形成分的预测信息的合理性满足特定条件,则对满足特定条件的预设神经网络模型的模型参数进行调整,以使其能够随有形成分的变化而变化。特定条件可以包括但不限于预设神经网络模型输出的有形成分的预测信息的合理性小于阈值,通过此预设条件触发对预设神经网络模型的模型参数的调整,调整过程中可以改变对预设神经网络模型进行训练的历史样本,具体过程本实施例不再阐述。
除了通过预设神经网络模型预测描述信息之外,本实施例还可以采用其他方式,一种方式是,第二图像特征用于表征目标图像的像素信息,由目标图像中各个像素点的像素信息(如像素值)组成特征向量,将由像素信息组成的特征向量确定为第二图像特征。相对应的基于第二图像特征,对有形成分进行识别分类,得到有形成分的描述信息包括:基于目标图像的像素信息,计算有形成分的几何形状、尺寸和色彩中的至少一种,基于有形成分的几何形状、尺寸和色彩中的至少一种,对有形成分进行识别分类,得到有形成分的描述信息。
上述有形成分的描述信息至少用于指示有形成分的类型,相对应的有形成分的描述信息可以包括:有形成分的类型、有形成分的形态和有形成分的结构,有形成分的结构是对有形成分的补充描述。有形成分的类型能够指示有形成分是红细胞、白细胞、血小板、沉渣等中的一种,形态和结构对于不同类型的有形成分来说存在差异,下面以红细胞、白细胞、血小板和沉渣为例进行说明:
红细胞的形态包括:正常、椭圆、泪滴、碎片等多种ICSH(国际血液标准化委员会)定义的红细胞形态,红细胞的结构包括正常、嗜碱性点彩、帕彭海默小体等异常结构。
白细胞的形态包括:中性粒分叶核,中性粒杆状核,嗜酸,嗜碱,单核,淋巴,原始,早幼粒,中幼粒,晚幼粒,核固缩,反应性淋巴,幼稚单核等,白细胞的结构包括:核形态异常,空泡化,颗粒分布异常等。
血小板的形态包括:大血小板、巨大血小板、血小板聚集等。
沉渣属于杂质,没有形态和结构。
107:输出有形成分的描述信息,以便于了解待测样本中的有形成分。一种实施例中,可将所述有形成分的描述信息与所述原始图像关联性存储或显示,如显示有形成分的类型、形态和结构,或者显示对有形成分类型、形态和结构的统计数据,例如各种有形成分的类型的数量占所有类型总数量的占比等。在本实施例中,输出有形成分的描述信息包括但不限于如下方式:
一种方式是,至少将有形成分的描述信息与原始图像进行关联;在输出原始图像过程中输出有形成分的描述信息,从而在显示原始图像过程中,能够将其关联的有形成分的描述信息输出,这样不但能够对原始图像进行观看,还能够通过有形成分的描述信息对原始图像有一个直观的了解。
其中在输出原始图像过程中输出有形成分的描述信息包括:基于有形成分的位置信息,在原始图像中标注出有形成分,并在有形成分所在区域显示有形成分的描述信息,如图3所示基于有形成分的位置信息,将原始图像中的有形成分以矩形框方式标注出,并在每个矩形框位置显示其框住的有形成分的描述信息,实现在原始图像中输出有形成分的描述信息,便于查看原始图像中异常的有形成分。
另一种方式是,基于有形成分的描述信息,确定有形成分是正常有形成分还是异常有形成分,输出异常有形成分的描述信息。对于正常有形成分还是异常有形成分的判断,本实施例可通过描述信息中的形态和结构进行判断,在确定出异常有形成分之后,可以直接输出异常有形成分的描述信息,或者输出基于异常有形成分的描述信息得到的检测结果,如基于异常有形成分的描述信息,确定出异常有形成分在待测样本中的占比,输出异常有形成分在待测样本中的占比。
本实施例还可以在得到异常有形成分在待测样本中的占比,得到待测样本的异常程度,输出待测样本的异常程度。例如预设占比与异常程度的对应关系,在确定出当前待测样本中异常有形成分的占比后,基于对应关系得到异常程度,异常程度可通过但不限于通过特殊符号表示,如通过“+”表示,“+”数量不同代表的异常程度不同,例如“+”/“++”/“+++”表明异常程度逐渐提高。
上述待测样本中的有形成分分类方法,获取待测样本的原始图像,对原始图像进行特征提取,得到第一图像特征,基于第一图像特征,定位待测样本中的有形成分,以得到有形成分的位置信息;基于有形成分的位置信息,从原始图像中获取有形成分所在区域的目标图像;对目标图像进行特征提取,得到第二图像特征;基于第二图像特征和预设神经网络模型,对有形成分进行识别分类,得到有形成分的描述信息。因在对有形成分进行识别分类过程中参照的第二图像特征是从有形成分所在区域的目标图像得到,排除原始图像中其他区域图像对有形成分的干扰,从而可以提高准确度。并且在得到有形成分的描述信息后,输出有形成分的描述信息,以对有形成分进行介绍说明,便于对待测样本中各有形成分进行了解。
如图4所示,在获取到一个待测样本的原始图像之后,对原始图像进行特征提取,如可以通过但不限于通过上述第一特征提取模型对原始图像进行特征提取,得到第一图像特征。调用定位模型对第一图像特征进行处理,定位出待测样本中的有形成分,定位模型输出待测样本中的有形成分的位置信息。通过有形成分的位置信息从原始图像中获取到目标图像,针对目标图像可通过但不限于通过上述第二特征提取模型对原始图像进行特征提取,得到第二图像特征,在进行第二图像特征提取过程中可参照上述图2所示示意图将多个目标图像对应的图像特征融合得到第二图像特征。
将第二图像特征输入到预设神经网络模型中,以调用预设神经网络模型对第二图像特征指向的有形成分进行识别分类,得到有形成分的描述信息,并输出有形成分的描述信息,如图4所示在原始图像中输出有形成分的描述信息并示出有形成分在原始图像中的位置。
本实施例还能够将定位模型的定位功能和预设神经网络模型的识别分类功能融合到一个网络模型中,如可以在yolo网络模型和SSD(Single Shot MultiBox Detector)网络模型等具备物体检测功能的网络模型的基础上构建出一个既能够检测出有形成分的位置信息和有形成分的描述信息的网络模型。其中网络模型的执行过程如图5所示,网络模型中输入原始图像后,网络模型获取到原始图像在不同尺度空间的图像,对不同尺度空间的图像进行特征提取,然后基于提取到的特征进行定位和识别分类,从而输出有形成分的描述信息,如图5所示在原始图像中输出有形成分的描述信息。在利用网络模型进行定位和识别分类过程中,网络模型能够在定位的同时进行识别分类,有形成分所在区域搜索更快,大大减少了耗时。
对于网络模型获取到的不同尺度空间的图像中,尺度空间之间的相互关系以及不同尺寸空间的图像的数量,本实施例不进行限定。
请参见图6,其示出了本申请实施例提供的另一种待测样本中的有形成分分类方法的流程图,可以包括以下步骤:
201:获取待测样本的原始图像。
202:对原始图像进行特征提取,得到第一图像特征。
203:基于第一图像特征,定位待测样本中的有形成分,以得到有形成分的位置信息。
204:基于有形成分的位置信息,从原始图像中获取有形成分所在区域的目标图像。
205:对目标图像进行特征提取,得到第二图像特征。
206:基于第二图像特征和预设神经网络模型,对有形成分进行识别分类,得到有形成分的描述信息,有形成分的描述信息至少指示出有形成分的类型。
上述步骤201至步骤206:请参见上述步骤101至步骤106,对此本实施例不再阐述。
207:基于第二图像特征,判断预设神经网络模型输出的有形成分的描述信息的合理性。在本实施例中,预设神经网络模型输出的描述信息的合理性的得到过程如下:
基于第二图像特征,计算目标图像的分类热力图,分类热力图用于表征预设神经网络模型识别目标图像过程中关注的区域;基于分类热力图,判断预设神经网络模型输出的有形成分的描述信息的合理性。
如在得到第二图像特征过程中可通过上述第二特征提取模型得到每个卷积层对应的特征图,分别记为f1、f2、f3、…,每个卷积图对应的权重为w1、w2、w3、…,将卷积图与对应权重相乘并求和得到热力度量值:map=f1*w1+f2*w2+f3*w3+…,map则是目标图像的分类热力图,以通过热力度量值指示出关注的区域以及关注的区域的热力值。
分类热力图能够体现出预设神经网络模型识别过程中关注的区域,预设神经网络模型输出的有形成分的描述信息会基于其关注的区域得到,因此分类热力图能够作为判断预设神经网络模型输出的有形成分的描述信息的合理性的参照,以评价预设神经网络模型输出的有形成分的描述信息的合理性的。
如果分类热力图的取值越低,说明预设神经网络模型识别过程中关注的区域有误,由此确定预设神经网络模型得到的描述信息的合理性也越低;如果分类热力图的取值越高,说明预设神经网络模型识别过程中关注的区域准确度较高,由此确定预设神经网络模型得到的描述信息的合理性也越高。当然还可以通过其他方式确定合理性,对此本实施例不再一一阐述
在本实施例中,预设神经网络模型输出的描述信息的合理性可通过但不限于数值方式表示,如数值越大合理性越高,反之数值越小合理性越低,本事实例中确定表征合理性的数值的方式可以是但不限于是:设置分类热力图与表征合理性的数值的对应关系,如设置热力度量值与表征合理性的数值之间的取值对应关系,在确定任一预设神经网络模型的热力度量值后,基于取值对应关系可确定出表征合理性的数值。
208:如果有形成分的描述信息的合理性满足预设条件,则输出有形成分的描述信息。其中预设条件指示有形成分的描述信息的合理性较高,预设条件的一种表现形式是预设神经网络模型输出的描述信息的合理性的合理程度大于预设程度。例如预设程度通过表征合理性的数值表示,预设程度可以是一个预设数值,如果表征合理性的数值大于预设数值,确定有形成分的描述信息的合理性的合理程度大于预设程度,满足预设条件,意味着预设神经网络模型输出的有形成分的描述信息的准确度高,可输出有形成分的描述信息。
209:如果有形成分的描述信息的合理性不满足预设条件,则输出告警信息。如果有形成分的描述信息的合理性不满足预设条件,说明预设神经网络模型输出的有形成分的描述信息的准确度低,此时可输出告警信息,以通过告警信息提示当前输出的有形成分的描述信息不合理。
上述待测样本中的有形成分分类方法,可基于第二图像特征,计算目标图像的分类热力图;基于分类热力图,判断预设神经网络模型输出的有形成分的描述信息的合理性,实现通过分类热力图对预设神经网络模型输出的有形成分的描述信息的合理性判断,并在合理性不满足预设条件的情况下,输出告警信息,以指示当前输出的有形成分的描述信息不合理。
在本实施例中,分类热力图和预设神经网络模型之间还可以采用其他方式结合来得到有形成分的描述信息,图7示出了分类热力图和预设神经网络模型相结合得到有形成分的描述信息的可行方式,包括以下步骤:
301:基于第二图形特征和至少两个预设神经网络模型,对有形成分进行识别分类,得到每个预设神经网络模型输出的有形成分的预测信息。
其中,有形成分的预测信息是预设神经网络模型预测出的有形成分可能的描述信息,其预测出的可能的描述信息也能够指示出有形成分的类型,任一预设神经网络模型预测出的描述信息能够作为有形成分的一个中间结果,通过对多个中间结果的分析得到有形成分的描述信息,以通过多个预设神经网络模型得到有形成分的描述信息,这样即便一个预设神经网络模型的侧重点有误导致其输出的预测信息的准确度有误,仍能够通过其他预设神经网络模型输出的预测信息进行矫正,以提高描述信息的准确度。
302:基于第二图像特征,判断每个预设神经网络模型输出的有形成分的预测信息的合理性。
其一种可行方式是,基于第二图像特征,分别计算每个预设神经网络模型的分类热力图,分类热力图用于表征预设神经网络模型识别目标图像过程中关注的区域,基于每个预设神经网络模型的分类热力图,判断每个预设神经网络模型输出的有形成分的预测信息的合理性。
分类热力图能够体现出预设神经网络模型识别过程中关注的区域,预设神经网络模型输出的有形成分的描述信息会基于其关注的区域得到,因此分类热力图能够作为判断预设神经网络模型输出的有形成分的描述信息的合理性的参照,以评价预设神经网络模型输出的有形成分的描述信息的合理性的,具体过程请参见上述实施例。其他判断预设神经网络模型输出的有形成分的预测信息的合理性的可行方式可参照上述实施例的说明,此处不再赘述。
303:基于每个预设神经网络模型输出的有形成分的预测信息的合理性和每个预设神经网络模型输出的有形成分的预测信息,得到有形成分的描述信息。
其中,得到有形成分的描述信息的一种方式是:基于每个预设神经网络模型输出的有形成分的预测信息的合理性,确定预设神经网络模型的权重,基于每个预设神经网络模型的权重和每个预设神经网络模型输出的有形成分的预测信息,得到有形成分的描述信息,如利用权重对预测信息进行加权融合,以得到有形成分的描述信息,其过程请参见上述实施例。
得到有形成分的描述信息的另一种方式是:基于每个预设神经网络模型输出的有形成分的预测信息的合理性,从所有预设神经网络模型输出的预测信息中选取一个预测信息作为描述信息,如选取合理性最高的预设神经网络模型输出的预测信息为描述信息,或者,从所有预设神经网络模型中,确定输出相同的预测信息的多个预设神经网络模型(简称目标模型集合),如果存在多个目标模型集合,基于多个目标模型集合中的预设神经网络模型的合理性,确定描述信息,如将多个目标模型集合中合理性最高的目标模型集合的预测信息作为描述信息。
如8至图13所示,分别是6种不同的预设神经网络模型对同一个有形成分的分类结果,图8至图13分别包括三张图,图(a)为预设神经网络模型识别到的有形成分的类型(以取值最大的为有形成分的类型)、图(b)为分类热力图、图(c)为分类热力图与目标图像的对比示意图,图8至图13对应的预设神经网络模型的网络结构依次是resnet18、resnet50、densenet102、densenet201、Xception和InceptionV4。
resnet50,densenet102和densenet201识别到的有形成分的类型为有核红,且热力度量值均为0.5左右,resnet18,Xception和InceptionV4识别到的有形成分的类型为分叶,且热力度量值为0.1左右,通过热力度量值resnet50,densenet102和densenet201输出的描述信息的合理性高于resnet18,Xception和InceptionV4输出的描述信息的合理性,且resnet50,densenet102和densenet201输出的描述信息一致,因此将有核红作为描述信息。
从上述图8至图13所示可知,任一预设神经网络模型输出两种类型的有形成分,分别是有核红和分叶,并示出了每种类型的有形成分的置信度,置信度是预设神经网络模型输出的类型的概率值,取值范围为[0,1],1为置信度最高,0为置信度最低,将置信度最高的类型确定为当前目标图像指向的有形成分的类型。
图14示出了本申请实施例提供的另一种预设神经网络模型和热力分类图结合确定描述信息的过程,可以包括以下步骤:
401:基于第二图像特征和第一预设神经网络模型,对有形成分进行识别分类,得到第一预设神经网络模型输出的有形成分的预测信息。
402:基于第二图像特征,判断第一预设神经网络模型输出的有形成分的预测信息的合理性。如基于第二图像特征,计算第一预设神经网络模型的分类热力图,分类热力图用于表征第一预设神经网络模型在识别目标图像过程中关注的区域;基于第一预设神经网络模型的分类热力图,判断第一预设神经网络模型输出的有形成分的预测信息的合理性,详细过程请参见上述实施例,此处不再赘述。
403:如果第一预设神经网络模型输出的有形成分的预测信息的合理性小于预设阈值,则基于第二图像特征和第二预设神经网络模型,对有形成分进行识别分类,得到第二预设神经网络模型输出的有形成分的预测信息。
其中,第二预设神经网络模型的识别速度小于第一预设神经网络模型的识别速度,但第二预设神经网络模型的准确度大于第一预设神经网络模型的准确度。
404:将第二预设神经网络模型输出的有形成分的预测信息作为有形成分的描述信息。
405:如果第一预设神经网络模型输出的有形成分的预测信息的合理性大于或等于预设阈值,则将第一预设神经网络模型输出的有形成分的预测信息作为有形成分的描述信息。
上述图14所示得到描述信息的流程与图7所示得到描述信息的流程的不同之处在于:图14中调用的第一预设神经网络模型和第二预设神经网络模型具有一定关系:第二预设神经网络模型的识别速度小于第一预设神经网络模型的识别速度,但第二预设神经网络模型的准确度大于第一预设神经网络模型的准确度,由此先调用第一预设神经网络模型对第二图像特征进行识别分类,如果判断出第一预设神经网络模型的合理性大于或等于预设阈值,可将第一预设神经网络模型输出的有形成分的预测信息作为有形成分的描述信息,提高描述信息的识别效率。
在基于有形成分的描述信息确定出有形成分的类型,本实施例还能够针对不同类型的有形成分进行异常分析。比如,如果所述有形成分的描述信息指示所述有形成分为红细胞、白细胞或血小板,则计算所述有形成分的几何形状、尺寸和色彩中的至少一种;基于所述有形成分的几何形状、尺寸和色彩中的至少一种,确定所述红细胞是正常有形成分还是异常有形成分。进一步以红细胞为例,如图15待测样本中的有形成分分类方法的流程图,其示出了对红细胞的异常分析,相对于图1所示方法,还可以包括以下步骤:
108:如果有形成分的描述信息指示有形成分为红细胞,则计算红细胞的几何形状、尺寸和色彩中的至少一种。
109:基于红细胞的几何形状、尺寸和色彩中的至少一种,确定红细胞是正常红细胞还是异常红细胞。
对于正常红细胞和异常红细胞来说,在几何形状、尺寸和色彩种的至少一方面存在差异,且能够几何形状、尺寸和色彩种的至少一方面确定是正常红细胞还是异常红细胞,由此在有形成分的描述信息指示有形成分为红细胞的情况下,可计算出红细胞的几何形状、尺寸和色彩中的至少一种,以确定是正常红细胞还是异常红细胞。
如对于确定出的红细胞,计算红细胞的尺寸,分类出正常、大细胞和小细胞,从而判断待测样本中是否存在大小不均的红细胞;或者,对于确定出的红细胞计算色彩,分类出正常、低色素和嗜多色,从而判断待测样本中是否存在色彩异常的红细胞。
对于血小板的异常分析过程如图16所示,示出了本申请实施例提供的再一种待测样本中的有形成分分类方法的流程图,可以包括以下步骤:
501:获取待测样本的原始图像。
502:对原始图像进行特征提取,得到第一图像特征。
503:基于第一图像特征,定位待测样本中的有形成分,以得到有形成分的位置信息。
504:基于有形成分的位置信息,从原始图像中获取有形成分所在区域的目标图像。
505:对目标图像进行特征提取,得到第二图像特征。
506:基于第二图像特征和预设神经网络模型,对有形成分进行识别分类,得到有形成分的描述信息,有形成分的描述信息至少指示出有形成分的类型。
上述步骤201至步骤206:请参见上述步骤101至步骤106,对此本实施例不再阐述。
507:输出有形成分的描述信息。
上述步骤501至步骤507:请参见上述步骤101至步骤107,对此本实施例不再阐述。
508:如果有形成分的描述信息指示有形成分为血小板,则基于待测样本中血小板的位置信息,确定待测样本中血小板是否存在聚集,如确定待测样本中的血小板是否聚集在尾部。
其中,确定待测样本中血小板是否存在聚集的一种方式是:基于待测样本中血小板的位置信息,计算血小板的位置信息指向区域中血小板的个数;基于血小板的个数,确定血小板是否存在聚集。
基于待测样本中血小板的位置信息,可以计算出位置信息指向的同一个区域中血小板的个数,以通过计数方式确定出血小板是否存在聚集,如可通过但不限于如果位置信息指向区域中血小板的个数达到一定数量(如预设数量),则确定血小板存在聚集。
在计算出血小板的位置信息指向区域中血小板的个数,输出血小板的个数,从而能够显示待测样本中血小板的个数,以便于医生基于血小板的个数决定是否进行对待测样本进行复检等等。
如果有形成分的描述信息指示有形成分为血小板且存在聚集,则输出关联于待测样本的提示信息,提示信息用于指示对待测样本进行重测、复检和重新采集样本中的至少一种操作,以对待测样本中的血小板异常进行再次分析。
此外,有形成分的描述信息可以为血小板聚集,血小板聚集指示出待测样本中存在血小板聚集,由此可如果有形成分的描述信息指示有形成分为血小板聚集,则确定待测样本中血小板存在聚集。在确定待测样本中血小板存在聚集的情况下,可以输出关联于待测样本的提示信息,提示信息用于指示对待测样本进行重测、复检和重新采集样本中的至少一种操作。
举例而言,若确定待测样本中血小板存在聚集,提示信息可用于指示对所述待测样本的受试者重新采集样本,以得到新的待测样本进行分析。
对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行,不同实施例中的步骤可相互结合。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
与上述方法实施例相对应,本申请实施例还提供一种终端,包括:图像获取装置、处理器和输出接口。其中图像获取装置,配置用于获取待测样本的原始图像;处理器,配置用于执行上述待测样本中的有形成分分类方法,以得到所述待测样本中有形成分的描述信息;输出接口,配置用于输出所述有形成分的描述信息。
本实施例的终端的一种形式可以是细胞图像分析装置,另一种形式可以是电脑等提供给医生或监测人员使用的设备,通过这些设备在获取到待测样本的原始图像后,可基于原始图像得到待测样本中各有形成分的描述信息,如待测样本中包括的各种类型细胞。
图17示出了本申请实施例提供的一种有形成分分析系统的可选结构,可以包括:成像装置10、涂片保持装置(未示出)和控制装置30。
成像装置10,配置用于对待测样本的样本涂片进行拍摄,得到待测样本的原始图像,成像装置10可以包括相机和透镜组并且用于对涂片上涂抹的样本中的细胞进行拍摄;涂片保持装置,配置用于使样本涂片与所述成像装置相对运动,以便成像装置10拍摄样本涂片的特定区域的细胞图像;控制装置30,配置用于执行上述待测样本中的有形成分分类方法,以得到并输出待测样本中各有形成分的描述信息。
其中,涂片保持装置可以是载物台或机械手,构造用于承载或夹持涂片。涂片保持装置或成像装置10可与驱动装置连接,在驱动装置的带动下,涂片保持装置与成像装置10相对运动。
图17所示有形成分分析系统还可以包括:涂片制备装置40、第一传输轨道50和第二传输轨道60。
涂片制备装置40,配置用于制备待测样本的样本涂片。
第一传输轨道50,配置用于将装载有待测样本的试管运送至涂片制备装置。
第二传输轨道60,配置用于将待测样本的样本涂片从涂片制备装置运送至涂片保持装置。
控制装置30,还配置用于与第一传输轨道和第二传输轨道电连接,并控制第一传输轨道和第二传输轨道动作,从而通过控制装置30控制第一传输轨道和第二传输轨道在涂片制备装置40、成像装置10和控制装置30自动传送样本涂片,完成样本涂片的制备、样本涂片的分析等。
上述有形成分分析系统还可以包括:识别装置、玻片夹取装置和样本涂片回收装置。识别装置用于识别样本涂片的身份信息,玻片夹取装置用于将样本涂片从识别装置夹取到样本涂片保持装置上进行检测,样本涂片回收装置用于放置经检测的样本涂片。
上述有形成分分析系统还可以包括:玻片篮装载装置,用于装载装有待测样本涂片的玻片篮,玻片夹取装置还用于将玻片篮装载装置上装载的玻片篮中的待测玻片夹取到识别装置进行身份信息识别。玻片篮装载装置与第一传输轨道连接,以便由样本涂片制备装置制备的样本涂片能够运送至涂片保持装置。一种实施例中,细胞图像分析装置可包含成像装置和涂片保持装置。
相对于有形成分分析系统,还提供一种有形成分分析方法,可以包括以下步骤:
1)通过涂片保持装置使样本涂片与成像装置相对运动。
2)通过成像装置对待测样本的样本涂片进行拍摄,得到待测样本的原始图像。
3)通过控制装置对原始图像进行如下处理:
31)对原始图像进行特征提取,得到第一图像特征。
基于第一图像特征,定位待测样本中的有形成分,以得到有形成分的位置信息。
32)基于有形成分的位置信息,从原始图像中获取有形成分所在区域的目标图像。
33)对目标图像进行特征提取,得到第二图像特征。
34)基于第二图像特征和预设神经网络模型,对有形成分进行识别分类,得到有形成分的描述信息,有形成分的描述信息至少指示出有形成分的类型。
35)输出有形成分的描述信息。
对于控制装置对原始图像的处理过程,本实施例不进行阐述。
上述有形成分分类方法还可以包括以下步骤:
4)利用第一传输轨道将装载有待测样本的试管运送至涂片制备装置。
5)利用第二传输轨道将涂片制备装置制备的待测样本的样本涂片运送至细胞图像分析装置,以获取成像装置拍摄到的原始图像。
本申请实施例还提供一种存储介质,存储介质中存储有计算机程序代码,计算机程序代码执行时实现上述待测样本中的有形成分分类方法。
需要说明的是,本说明书中的各个实施例可以采用递进的方式描述、本说明书中各实施例中记载的特征可以相互替换或者组合,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于系统类实施例、终端类实施例以及与系统类实施例对应的方法实施例而言,由于其与上一方法实施例基本相似,所以描述的比较简单,相关之处参见上一方法实施例的部分说明即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (29)

1.一种待测样本中的有形成分分类方法,包括:
获取待测样本的原始图像;
对所述原始图像进行特征提取,得到第一图像特征;
基于所述第一图像特征,定位所述待测样本中的有形成分,以得到所述有形成分的位置信息;
基于所述有形成分的位置信息,从所述原始图像中获取所述有形成分所在区域的目标图像;
对所述目标图像进行特征提取,得到第二图像特征;
基于所述第二图像特征和预设神经网络模型,对所述有形成分进行识别分类,得到所述有形成分的描述信息,所述有形成分的描述信息至少指示出所述有形成分的类型;
输出所述有形成分的描述信息。
2.根据权利要求1所述的方法,其中,还包括:
基于所述第二图像特征,判断所述预设神经网络模型输出的有形成分的描述信息的合理性;
所述输出所述有形成分的描述信息包括:如果所述有形成分的描述信息的合理性满足预设条件,则输出所述有形成分的描述信息;
如果所述有形成分的描述信息的合理性不满足预设条件,则输出告警信息。
3.根据权利要求1或2所述的方法,其中,所述基于所述第二图像特征和预设神经网络模型,对所述有形成分进行识别分类,得到所述有形成分的描述信息包括:
基于所述第二图像特征和至少两个预设神经网络模型,对所述有形成分进行识别分类,得到每个预设神经网络模型输出的所述有形成分的预测信息;
基于每个预设神经网络模型输出的所述有形成分的预测信息,得到所述有形成分的描述信息。
4.根据权利要求3所述的方法,其中,所述基于每个预设神经网络模型对所述有形成分的预测信息,得到所述有形成分的描述信息包括:
基于每个预设神经网络模型的权重输出的所述预测信息进行加权融合,得到所述有形成分的描述信息。
5.根据权利要求4所述的方法,其中,所述预设神经网络模型的权重基于所述预设神经网络模型输出的所述有形成分的预测信息的合理性,和/或基于所述预设神经网络模型输出的所述有形成分的预测信息的置信度得到。
6.根据权利要求1或2所述的方法,其中,所述基于所述第二图像特征和预设神经网络模型,对所述有形成分进行识别分类,得到所述有形成分的描述信息包括:
基于所述第二图像特征和至少两个预设神经网络模型,对所述有形成分进行识别分类,得到每个预设神经网络模型输出的所述有形成分的预测信息;
基于所述第二图像特征,判断每个预设神经网络模型输出的所述有形成分的预测信息的合理性;
基于每个预设神经网络模型输出的所述有形成分的预测信息的合理性和每个预设神经网络模型输出的所述有形成分的预测信息,得到所述有形成分的描述信息。
7.根据权利要求2、5和6中任一项所述的方法,其中,所述预设神经网络模型输出的信息的合理性的得到过程包括:
基于所述第二图像特征,计算所述目标图像的分类热力图,所述分类热力图用于表征所述预设神经网络模型识别目标图像过程中关注的区域;
基于所述分类热力图,判断所述预设神经网络模型输出的信息的合理性。
8.根据权利要求1或2所述的方法,其中,所述基于所述第二图像特征和预设神经网络模型,对所述有形成分进行识别分类,得到所述有形成分的描述信息包括:
基于所述第二图像特征和第一预设神经网络模型,对所述有形成分进行识别分类,得到所述第一预设神经网络模型输出的所述有形成分的预测信息;
基于所述第二图像特征,判断所述第一预设神经网络模型输出的所述有形成分的预测信息的合理性;
如果所述第一预设神经网络模型输出的所述有形成分的预测信息的合理性小于预设阈值,则基于所述第二图像特征和第二预设神经网络模型,对所述有形成分进行识别分类,得到所述第二预设神经网络模型输出的所述有形成分的预测信息;所述第二预设神经网络模型的识别速度小于所述第一预设神经网络模型的识别速度,但所述第二预设神经网络模型的准确度大于所述第一预设神经网络模型的准确度;
将所述第二预设神经网络模型输出的所述有形成分的预测信息作为所述有形成分的描述信息;
如果所述第一预设神经网络模型输出的所述有形成分的预测信息的合理性大于或等于所述预设阈值,则将所述第一预设神经网络模型输出的所述有形成分的预测信息作为所述有形成分的描述信息。
9.根据权利要求8所述的方法,其中,所述基于所述第二图像特征,判断所述第一预设神经网络模型输出的所述有形成分的预测信息的合理性包括:
基于所述第二图像特征,计算第一预设神经网络模型的分类热力图,所述分类热力图用于表征所述第一预设神经网络模型识别目标图像过程中关注的区域;
基于所述第一预设神经网络模型的分类热力图,判断所述第一预设神经网络模型输出的所述有形成分的预测信息的合理性。
10.根据权利要求1至9中任意一项所述的方法,其中,所述基于所述有形成分的位置信息,从所述原始图像中获取所述有形成分所在区域的目标图像包括:基于所述有形成分的位置信息,分别从至少两张原始图像中获取所述有形成分所在区域的目标图像,所述至少两张原始图像中每张原始图像对应的拍摄参数不同;
所述对所述目标图像进行特征提取,得到第二图像特征包括:分别对至少两张目标图像进行特征提取,得到每张目标图像的图像特征;基于每张目标图像的图像特征得到所述第二图像特征。
11.根据权利要求1至9中任意一项所述的方法,其中所述对所述目标图像进行特征提取,得到第二图像特征包括:利用至少两个所述预设神经网络模型对所述目标图像进行特征提取,得到每个预设神经网络模型提取到的图像特征;
对每个预设神经网络模型提取到的图像特征进行融合处理,得到所述第二图像特征。
12.根据权利要求1至11中任意一项所述的方法,其中,所述输出所述有形成分的描述信息包括:
至少将所述有形成分的描述信息与所述原始图像进行关联;
在输出所述原始图像过程中输出所述有形成分的描述信息。
13.根据权利要求12所述的方法,其中,所述在输出所述原始图像过程中输出所述有形成分的描述信息包括:基于所述有形成分的位置信息,在所述原始图像中标注出所述有形成分,并在所述有形成分所在区域显示所述有形成分的描述信息。
14.根据权利要求12所述的方法,其中,所述输出所述有形成分的描述信息包括:
基于所述有形成分的描述信息,确定所述有形成分是正常有形成分还是异常有形成分,输出异常有形成分的描述信息。
15.根据权利要求1至14中任意一项所述的方法,其中,还包括:
如果所述有形成分的描述信息指示所述有形成分为红细胞、白细胞或血小板,则计算所述有形成分的几何形状、尺寸和色彩中的至少一种;
基于所述有形成分的几何形状、尺寸和色彩中的至少一种,确定所述有形成分是正常有形成分还是异常有形成分。
16.根据权利要求1至15中任意一项所述的方法,其中,还包括:
如果所述有形成分的描述信息指示所述有形成分为血小板,则基于所述待测样本中血小板的位置信息,确定所述待测样本中血小板是否存在聚集;
或者,
如果所述有形成分的描述信息指示所述有形成分为血小板聚集,则确定所述待测样本中血小板存在聚集。
17.根据权利要求16所述的方法,其中,所示基于所述待测样本中血小板的位置信息,确定所述待测样本中血小板是否存在聚集包括:
基于所述待测样本中血小板的位置信息,计算所述血小板的位置信息指向区域中血小板的个数;
基于所述血小板的个数,确定所述血小板是否存在聚集。
18.根据权利要求17所述的方法,其中,还包括:输出所述血小板的个数。
19.根据权利要求1至18中任意一项所述的方法,其中,还包括:
如果所述有形成分的描述信息指示所述有形成分为血小板且存在聚集,或者,如果所述有形成分的描述信息指示所述有形成分为血小板聚集,则输出关联于所述待测样本的提示信息;
所述提示信息用于指示对所述待测样本进行重测、复检和重新采集样本中的至少一种操作。
20.根据权利要求1至19中任意一项所述的方法,其中,所述获取待测样本的原始图像包括:通过显微镜获取所述待测样本在载体上的原始图像。
21.根据权利要求1至20中任意一项所述的方法,其中,所述有形成分的描述信息包括:所述有形成分的类型、所述有形成分的形态和所述有形成分的结构,所述有形成分的结构是对所述有形成分的补充描述。
22.根据权利要求1至21中任意一项所述的方法,其中,所述待测样本为血液样本、骨髓样本、尿液样本和体液样本中的任意一种。
23.根据权利要求1至22中任意一项所述的方法,其中,所述基于所述第一图像特征,定位所述待测样本中的有形成分,以得到所述有形成分的位置信息包括:将所述第一图像特征输入到定位模型中,通过所述定位模型定位所述待测样本中的有形成分,得到所述定位模型输出的所述有形成分的位置信息。
24.一种终端,包括:
图像获取装置,配置用于获取待测样本的原始图像;
处理器,配置用于执行如权利要求1至23中任意一项所述的待测样本中的有形成分分类方法,以得到所述待测样本中有形成分的描述信息;
输出接口,配置用于输出所述有形成分的描述信息。
25.一种有形成分分析系统,包括:
成像装置,配置用于对待测样本的样本涂片进行拍摄,得到所述待测样本的原始图像;
涂片保持装置,配置用于使所述样本涂片与所述成像装置相对运动;
控制装置,配置用于执行如权利要求1至23中任意一项所述的待测样本中的有形成分分类方法。
26.根据权利要求25所述的系统,其中,还包括:
涂片制备装置,配置用于制备所述待测样本的样本涂片;
第一传输轨道,配置用于将装载有待测样本的试管运送至所述涂片制备装置;
第二传输轨道,配置用于将所述待测样本的样本涂片从涂片制备装置运送至成像装置;
控制装置,还配置用于与所述第一传输轨道和所述第二传输轨道电连接,并控制所述第一传输轨道和所述第二传输轨道动作。
27.一种有形成分分析方法,包括:
通过涂片保持装置使所述样本涂片与所述成像装置相对运动;
通过成像装置对待测样本的样本涂片进行拍摄,得到所述待测样本的原始图像;
通过控制装置对所述原始图像进行如下处理:
对所述原始图像进行特征提取,得到第一图像特征;
基于所述第一图像特征,定位所述待测样本中的有形成分,以得到所述有形成分的位置信息;
基于所述有形成分的位置信息,从所述原始图像中获取所述有形成分所在区域的目标图像;
对所述目标图像进行特征提取,得到第二图像特征;
基于所述第二图像特征和预设神经网络模型,对所述有形成分进行识别分类,得到所述有形成分的描述信息,所述有形成分的描述信息至少指示出所述有形成分的类型;
输出所述有形成分的描述信息。
28.根据权利要求27所述的方法,其中,还包括:
利用第一传输轨道将装载有待测样本的试管运送至涂片制备装置;
利用第二传输轨道将所述涂片制备装置制备的所述待测样本的样本涂片运送至涂片保持装置,以获取所述成像装置拍摄到的所述原始图像。
29.一种存储介质,所述存储介质中存储有计算机程序代码,所述计算机程序代码执行时实现如权利要求1至23中任意一项所述的待测样本中的有形成分分类方法。
CN202010915202.4A 2020-09-03 2020-09-03 待测样本中的有形成分分类方法、系统及终端 Pending CN112036334A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010915202.4A CN112036334A (zh) 2020-09-03 2020-09-03 待测样本中的有形成分分类方法、系统及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010915202.4A CN112036334A (zh) 2020-09-03 2020-09-03 待测样本中的有形成分分类方法、系统及终端

Publications (1)

Publication Number Publication Date
CN112036334A true CN112036334A (zh) 2020-12-04

Family

ID=73591803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010915202.4A Pending CN112036334A (zh) 2020-09-03 2020-09-03 待测样本中的有形成分分类方法、系统及终端

Country Status (1)

Country Link
CN (1) CN112036334A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011306A (zh) * 2021-03-15 2021-06-22 中南大学 连续成熟阶段骨髓细胞图像自动识别方法、系统及介质
CN113256637A (zh) * 2021-07-15 2021-08-13 北京小蝇科技有限责任公司 一种基于深度学习、上下文相关的尿液有形成分检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011306A (zh) * 2021-03-15 2021-06-22 中南大学 连续成熟阶段骨髓细胞图像自动识别方法、系统及介质
CN113256637A (zh) * 2021-07-15 2021-08-13 北京小蝇科技有限责任公司 一种基于深度学习、上下文相关的尿液有形成分检测方法
CN113256637B (zh) * 2021-07-15 2021-11-05 北京小蝇科技有限责任公司 一种基于深度学习、上下文相关的尿液有形成分检测方法
WO2023284341A1 (zh) * 2021-07-15 2023-01-19 北京小蝇科技有限责任公司 一种基于深度学习、上下文相关的尿液有形成分检测方法

Similar Documents

Publication Publication Date Title
Macawile et al. White blood cell classification and counting using convolutional neural network
US11403751B2 (en) System and method of classification of biological particles
CN111325103B (zh) 一种细胞标注系统和方法
CN111079620B (zh) 基于迁移学习的白细胞图像检测识别模型构建方法及应用
CN111179273A (zh) 一种基于深度学习的白细胞核质自动分割方法及系统
Wu et al. A hematologist-level deep learning algorithm (BMSNet) for assessing the morphologies of single nuclear balls in bone marrow smears: algorithm development
CN103345654B (zh) 一种基于形态学分类计数白细胞的方法
Liu et al. Bone marrow cells detection: a technique for the microscopic image analysis
WO1996009598A1 (en) Cytological slide scoring apparatus
CN111401418A (zh) 一种基于改进Faster r-cnn的员工着装规范检测方法
Parab et al. Red blood cell classification using image processing and CNN
CN112819821B (zh) 一种细胞核图像检测方法
CN112036334A (zh) 待测样本中的有形成分分类方法、系统及终端
CN111105422A (zh) 一种网织红细胞分类计数模型构建方法及应用
CN114729953A (zh) 样本分析系统及方法、细胞图像分析仪及存储介质
CN115908255A (zh) 面向目标检测的改进轻量型YOLOX-nano模型及检测方法
Evangeline et al. Computer aided system for human blood cell identification, classification and counting
CN114332855A (zh) 一种基于明场显微成像的无标记白细胞三分类方法
CN110414317B (zh) 基于胶囊网络的全自动白细胞分类计数方法
CN112001315A (zh) 基于迁移学习和图像纹理特征的骨髓细胞分类识别方法
Hao et al. Automatic detection of fungi in microscopic leucorrhea images based on convolutional neural network and morphological method
CN113378831B (zh) 一种小鼠胚胎器官识别与评分方法与系统
KR20200136004A (ko) 세포 샘플 내에서 적어도 하나의 기형을 가지는 세포를 검출하기 위한 방법
Vale et al. Automatic segmentation and classification of blood components in microscopic images using a fuzzy approach
CN111684279A (zh) 一种细胞分析方法、细胞分析装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination