CN112990339B - 胃病理切片图像分类方法、装置及存储介质 - Google Patents
胃病理切片图像分类方法、装置及存储介质 Download PDFInfo
- Publication number
- CN112990339B CN112990339B CN202110358707.XA CN202110358707A CN112990339B CN 112990339 B CN112990339 B CN 112990339B CN 202110358707 A CN202110358707 A CN 202110358707A CN 112990339 B CN112990339 B CN 112990339B
- Authority
- CN
- China
- Prior art keywords
- pathological section
- stomach
- section image
- target
- image block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 297
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 230000002496 gastric effect Effects 0.000 title claims description 112
- 210000002784 stomach Anatomy 0.000 claims abstract description 248
- 239000013598 vector Substances 0.000 claims abstract description 67
- 230000011218 segmentation Effects 0.000 claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 40
- 230000000474 nursing effect Effects 0.000 claims abstract description 35
- 208000012895 Gastric disease Diseases 0.000 claims abstract description 31
- 239000011159 matrix material Substances 0.000 claims description 25
- 238000003709 image segmentation Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 208000018556 stomach disease Diseases 0.000 abstract description 17
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 19
- 238000005096 rolling process Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 206010028980 Neoplasm Diseases 0.000 description 6
- 230000009826 neoplastic cell growth Effects 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000003902 lesion Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000010186 staining Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000004043 dyeing Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 208000024312 invasive carcinoma Diseases 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Abstract
本申请涉及医疗科技领域，具体公开了一种胃病理切片图像分类方法、装置及存储介质。该方法包括获取胃病理切片图像；将所述胃病理切片图像分割为多个维度相同的胃病理切片图像块；对每个胃病理切片图像块进行处理，得到每个胃病理切片图像块对应的特征向量以及概率分割图，所述概率分割图用于表示所述胃病理切片图像中各个像素点属于阳性的概率；根据每个胃病理切片图像块对应的概率分割图，确定所述多个胃病理切片图像块中的至少一个目标胃病理切片图像块；根据所述至少一个目标胃病理切片图像块中每个目标胃病理切片图像块对应的特征向量，确定所述胃病理切片图像对应的类别。本申请实施例有利于提高分类效率。
Description
技术领域
本申请涉及图像识别技术领域，具体涉及一种胃病理切片图像分类方法、装置及存储介质。
背景技术
胃病是常见的人体疾病之一，全国乃至全世界发病率都特别高，大量的胃病患者给医院医生带来繁重的工作，同时使得患者等待检验报告时间较长。所以为了减轻医生的工作量，通过图像识别，对胃病理图像进行分类，以便辅助医生加速分类。
由于胃病理切片图像较大，在进行图像识别过程中将整张切片切分成多个小图像块，再对每个小图像块进行分类，得到每个小图像块对应的类别。然后，统计每个类别对应的图像块的数量，并确定该类别对应的占比，然后，将该类别的占比与该类别的阈值进行比对，以对整个胃病理切片图像进行分类。比如，低级别瘤变对应的占比为60％，且大于设定好的阈值，则确定该胃病理切片图像的类别为低级别瘤变。但是，这种识别方法需要为每个类别手动设置一个阈值，操作起来比较繁琐。而且，每个类别对应的阈值需要大量的实验数据才能得到，过程繁琐，需要投入大量人工成。此外，将整张胃病理切片图像分成多个图像小块，可能会将病灶区域分成了多个小区域，这样会将某些病灶区域误识别为假阳性，导致识别精度低。
因此，现有对胃病理切片图像进行分类的过程繁琐，识别精度较低。
发明内容
本申请实施例提供了一种胃病理切片图像分类、装置及存储介质。提高对胃病理切片图像的分类效率和分类精度。
第一方面，本申请实施例提供一种胃病理切片图像分类方法，包括：
获取胃病理切片图像；
将所述胃病理切片图像分割为多个维度相同的胃病理切片图像块；
对每个胃病理切片图像块进行处理，得到每个胃病理切片图像块对应的特征向量以及概率分割图，所述概率分割图用于表示所述胃病理切片图像中各个像素点属于阳性的概率；
根据每个胃病理切片图像块对应的概率分割图，确定所述多个胃病理切片图像块中的至少一个目标胃病理切片图像块；
根据所述至少一个目标胃病理切片图像块中每个目标胃病理切片图像块对应的特征向量，确定所述胃病理切片图像对应的类别。
第二方面，本申请实施例提供一种胃病理切片图像分类装置，包括：
获取单元，用于获取胃病理切片图像；
处理单元，用于将所述胃病理切片图像分割为多个维度相同的胃病理切片图像块；
所述处理单元，还用于对每个胃病理切片图像块进行处理，得到每个胃病理切片图像块对应的特征向量以及概率分割图，所述概率分割图用于表示所述胃病理切片图像中各个像素点属于阳性的概率；
所述处理单元，还用于根据每个胃病理切片图像块对应的概率分割图，确定所述多个胃病理切片图像块中的至少一个目标胃病理切片图像块；
所述处理单元，还用于根据所述至少一个目标胃病理切片图像块中每个目标胃病理切片图像块对应的特征向量，确定所述胃病理切片图像对应的类别。
第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如第一方面所述的方法中的步骤的指令。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得计算机执行如第一方面所述的方法。
第五方面，本申请实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机可操作来使计算机执行如第一方面所述的方法。
实施本申请实施例，具有如下有益效果：
可以看出，在本申请实施例中，先将胃病理切片图像分割为多个胃病理切片图像块；然后，分割出每个胃病理切片图像块的概率分割图，并根据每个胃病理切片图像块的概率分割图确定出最有可能包含病灶区域的目标胃病理切片图像块；最后使用目标胃病理切片图像块对应的特征向量，直接识别出胃病理切片图像的类别，无需设置多个阈值，从而简化了识别过程，提高识别效率。此外，由于使用的是最有可能包含病灶区域的目标胃病理切片图像块对胃病理切片图像进行分类，可以使分类的精度相对较高。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种胃病理切片图像分类方法的流程示意图；
图2为本申请实施例提供的一种图像分割与分类网络的示意图；
图3a为本申请实施例提供的一种构建图卷积网络的示意图；
图3b为本申请实施例提供的一种图卷积的示意图；
图4为本申请实施例提供的一种连接关系的示意图；
图5为本申请实施例提供的一种训练图像分割与分类网络的流程示意图；
图6为本申请实施例提供的一种训练图卷积网络的流程示意图；
图7为本申请实施例提供的一种胃病理切片图像分类装置的结构示意图；
图8为本申请实施例提供的一种胃病理切片图像分类装置的功能单元组成框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结果或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
参阅图1，图1为本申请实施例提供的一种胃病理切片图像分类方法的流程示意图。该方法应用于胃病理切片图像分类装置。该方法包括以下步骤：
101：胃病理切片图像分类装置获取胃病理切片图像。
其中，该胃病理切片图像可以通过现有的制作病理切片的方法进行制作得到，不再过度叙述。
102：胃病理切片图像分类装置将所述胃病理切片图像分割为多个维度相同的胃病理切片图像块。
示例性的，可按照预设维度将该胃病理切片图像分割成多个维度相同的胃病理切片图像块。比如，可以将该胃病理切片图像分割成预设维度为512*512的多个胃病理切片图像块。
在本申请的一个实施方式中，在对该胃病理切片图像分割之前，还可对该胃病理切片图像进行染色归一化，将该胃病理切片图像的颜色变换到标准颜色上。该标准颜色为对图像分割与分类网络进行训练的过程中使用到标准颜色。后面详细叙述对该图像分割与分类网络进行训练的过程以及详细叙述该标准颜色，在此不做过多描述。将胃病理切片图像染色归一化到标准颜色，可以避免由于染色差异带来的误识别问题，提高识别精度。
在本申请的一个实施方式中，还可以对该多个胃病理切片图像块进行过滤。示例性的，可以通过大津法对该多个胃病理切片图像块进行过滤，即对每个胃病理切片图像进行分割，确定出该图像块中的组织区域，并确定该组织区域的面积相对于该图像块的总面积的占比，将占比大于或等于第一阈值(比如，70％)的图像块保留，舍弃占比小于该第一阈值的其他图像块。可以看出，先过滤掉包含组织区域较少的图像块，因为这种图像块中一般不会包含病灶区域，所以这种图像块对整个胃病理切片图像的分类帮助不大，从而实现有针对性的处理部分胃病理切片图像块，过滤掉部分无效的胃病理切片图像块，提高后续的分类效率和分类精度。
需要说明，本申请中所涉及的胃病理切片图像块均以组织区域的面积相当于整个图像块的面积占比大于第一阈值的图像块为例进行说明。
103：胃病理切片图像分类装置对每个胃病理切片图像块进行处理，得到每个胃病理切片图像块对应的特征向量以及概率分割图，所述概率分割图用于表示所述胃病理切片图像中各个像素点属于阳性的概率。
示例性的，可对每个胃病理切片图像块进行特征提取，得到每个胃病理切片图像块对应的第一特征图。其中，对每个胃病理切片图像块进行特征提取可以通过该图像分割与分类网络进行特征提取。
其中，该图像分割与分类网络可以以现有的图像分割网络(比如，V-net网络)为基础构成。比如，可以在现有的图像分割网络的基础上，添加图像分类的网络分支，构成该图像分割与分类网络。如图2所示，可以在V-net网络的基础上连接多个全连接层，通过该多个全连接层进行图像分类。因此，如图2所示，可以通过该图像分割与分类网络对每个胃病理切片图像块进行特征提取，得到第一特征图。并且在提取特征的过程中，可以通过多层网络结构进行提取，与残差结构类似，将多层网络中本层网络的输出和本层网络的输入拼接到一起作为下层网络的输入，因此该第一特征图是由上一层网络的输出以及输入拼接到一起得到的特征图；然后，通过该多个全连接层对该第一特征图进行分类，得到该胃病理切片图像块对应的特征向量。最后，对该第一特征图进行上采样，得到该第二特征图。如图2所示，在进行上采样的过程中，也可以通过多层网络结构进行上采样，并将每层网络上采样得到的输出结果与该层网络对应的输入数据，以及将特征提取过程中得到的与该层网络上采样对应的维度相同的特征图进行拼接，作为下一层层网络进行上采样的输入数据，直至得到该第二特征图；最后，使用该第二特征图进行图像分割，得到每个胃病理切片图像块对应的概率分割图。其中，对特征图进行图像分割与使用全卷积网络进行图像分割的过程类似，不再叙述。
应理解，该概率分割图用于表示胃病理切片图像中各个像素点属于阳性的概率只是一种实现方式。在实际应用中，还可以分割出该胃病理切片图像中各个像素点属于阴性的概率。具体表示为哪种病灶的概率，可以依据实际需要进行灵活选择，本申请对此不做限定。
104：胃病理切片图像分类装置根据每个胃病理切片图像块对应的概率分割图，确定所述多个胃病理切片图像块中的至少一个目标胃病理切片图像块。
示例性的，可将每个胃病理切片图像块中各个像素点属于阳性的概率相加，得到每个胃病理切片图像块对应的目标概率，即该目标概率是该胃病理切片图像块中各个像素点属于阳性的概率之和。
然后，按照目标概率从大到小的顺序，从该多个胃病理切片图像块中选取预设数量的胃病理切片图像块，得到该至少一个目标胃病理切片图像块。示例性的，该预设数量可以为5个、10个、15个或者其他值。
由于是按照阳性概率从大到小的顺序选取目标胃病理切片图像块，所以，选出的目标胃病理切片图像块是最有可能包含病灶区域的图像块。因此，使用目标胃病病理切片图像块对胃病病理切片图像进行分类，可提高分类精度。
105：胃病理切片图像分类装置根据所述至少一个目标胃病理切片图像块中每个目标胃病理切片图像块对应的特征向量，确定所述胃病理切片图像对应的类别。
示例性的，根据每个目标胃病理切片图像块对应的特征向量，得到邻接矩阵；并对该邻接矩阵进行卷积处理，得到该目标特征向量；根据该目标特征向量，确定该胃病理切片图像对应的类别。即根据该目标特征向量确定落入各个类别中的概率，将概率最大概率对应的类别作为该胃病理切片图像对应的类别。
示例性的，如图3a所示，可根据每个目标胃病理切片图像块对应的特征向量，得到该邻接矩阵；根据该邻接矩阵构建图卷积网络(Graph Convolutional Network，GCN)；然后，如图3b所示，将每个目标胃病理切片图像块对应的特征向量作为该图卷积网络中对应的节点的输入数据，输入到该构建好的图卷积网络进行图卷积处理，得到该目标特征向量，并根据该目标特征向量，得到落入各个类别的概率。一般来说，每个胃病理切片图像通常对应四个诊断类别，即阴性、低级别瘤变、高级别瘤变和浸润性癌。如图3b所示，可根据该目标特征向量分别确定出落入阴性、低级别瘤变、高级别瘤变和浸润性癌的概率，将概率最大的类别作为该胃病理切片图像对应的类别。
具体来说，可确定该至少一个目标胃病理切片图像块中任意两个目标胃病理切片图像块对应的特征向量之间的相似度，根据该任意两个目标胃病理切片图像块对应的特征向量之间的相似度，得到该任意两个目标胃病理切片图像块之间的连接关系，其中，该连接关系包括该两个目标胃病理切片图像块之间相互连接或者不连接。
示例性的，可通过计算任意两个目标胃病理切片图像块对应的特征向量之间的皮尔森距离，确定该任意两个目标胃病理切片图像块之间的连接关系。比如，若该两个特征向量之间的皮尔森距离小于第二阈值t，则确定该两个目标胃病理切片图像块之间不连接，若该两个特征向量之间的皮尔森距离大于或等于第二阈值t，则确定该两个目标胃病理切片图像块之间相互连接。因此，两个目标胃病理切片图像块之间的连接关系可通过公式(1)表示：
其中，i≠j，Ni为该至少一个目标胃病理切片图像块中的第i个目标胃病理切片图像块，Nj为该至少一个目标胃病理切片图像块中的第j个目标胃病理切片图像块，Aij为该第i个目标胃病理切片图像块和第j个目标胃病理切片图像块之间的连接关系，distance为求两个向量之间的皮尔森距离，1表示相互连接，0表示不连接。
然后，根据每个目标胃病理切片图像块对应的目标概率，以及任意两个目标胃病理切片图像块之间的连接关系，得到邻接矩阵。
具体地，将每个目标胃病理切片图像块作为一个节点，并根据该目标胃病理切片对应的目标概率确定该目标胃病理切片图像块对应的节点顺序。比如，可将目标概率从大到小的顺序，作为每个目标胃病理切片图像块的节点顺序。
示例性的，将第i节点与第j个节点的连接关系(即取值0或1)作为邻接矩阵D中的第i行第j列的元素。并且，设定i个节点到i个节点(自身)的连接关系为不连接(即取值为0)，可确定邻接矩阵D为对角线为0的对角矩阵。
应理解，也可以将目标概率从小到大的顺序，作为每个目标胃病理切片图像块的节点顺序，或者，按照随机排列的顺序，确定该至少一个目标胃病理切片图像块的节点顺序，本申请不对确定节点顺序进行限定。
举例来说，如图4所示，若目标胃病理切片图像块的数量为三个，且第一个目标胃病理切片图像块、第二个目标胃病理切片图像块、第三个目标胃病理切片图像块的目标概率依次降低，则可将第一个目标胃病理切片图像块、第二个目标胃病理切片图像块、第三个目标胃病理切片图像分别作为第一个节点、第二个节点、以及第三个节点。并且，确定出第一个节点分与第二个节点相互连接，第二个节点与第三个节点相互连接。则可确定出邻接矩阵：
可以看出，在本申请实施例中，先将胃病理切片图像分割为多个胃病理切片图像块；然后，分割出每个胃病理切片图像块的概率分割图，并根据每个胃病理切片图像块的概率分割图确定出最有可能包含病灶区域的目标胃病理切片图像块；最后使用目标胃病理切片图像块对应的特征向量，直接识别出胃病理切片图像的类别，无需设置多个阈值，从而简化了识别过程，提高识别效率。此外，由于使用的是最有可能包含病灶区域的目标胃病理切片图像块对胃病理切片图像进行分类，可以使分类的精度相对较高。
在本申请的一个实施方式中，该方法还包括：
根据所述多个胃病理切片图像块中每个胃病理切片图像块对应的概率分割图，确定每个胃病理切片图像块中的疑似病灶区域；对每个胃病理切片图像块中的疑似病灶区域进行可视化展示。
示例性的，可根据每个胃病理切片图像块对应的概率分割图，确定每个胃病理切片图像块中各个像素点属于阳性的概率，并将属于阳性的概率大于第三阈值的像素点作为病灶区域中的像素点，然后，将该胃病理切片图像块中属于病灶区域中的像素点分割出来，得到胃病理切片图像块中的疑似病灶区域，并将该病灶区域进行可视化展示。
可以看出，在本实施方式中，将疑似病灶区域分割出来，并进行可视化展示，可给医生的诊断带来辅助数据，提高医生的诊断效率。
在本申请的一个实施方式中，上述的图像分割与分类网络与图卷积网络可以单独训练，也可以进行端到端的训练。本申请中以单独训练为例进行说明。
参阅图5，图5为本申请实施例提供的一种图像分割与分类网络训练方法的流程示意图。该方法包括：
501：获取第一胃病理切片图像样本以及与所述第一胃病理切片图像样本对应的第一训练标签。
其中，该第一训练标签包括该第一胃病理切片图像样中各个像素点属于阳性的真实概率，即真实的概率分割图，以及该第一胃病理切片图像样本对应的真实分类结果。
其中，该第一胃病理切片图像样本可以是从一个完整的胃病理切片图像中分割出的一个图像块。此外，每个实验室在制作胃病理切片图像的过程中，由于进行染色的化学物质组成比例不同、购买化学材料的厂商不同，或者其他原因，使得胃病理切片图像在染色上会出现一定差异，为了避免不同胃病理切片图像之间的染色差异给神经网络的识别带来影响。先对获取到的完整的胃病理切片图像进行染色归一化，即将完整的胃病理切片图像的颜色归一化到预设颜色。然后，再从归一化后的胃病理切片图像中分割出该第一胃病理切片图像样本，对该图像分割与分类网络进行训练。
应理解，也可以直接对获取到的完整的胃病理切片图像进行分割，得到该胃病理切片图像块，然后，再对该胃病理切片图像块进行染色归一化，得到该第一胃病理切片图像样本，对该图像分割与分类网络进行训练。即本申请不对颜色归一化和分割的先后顺序进行限定。
在本申请的一个实施方式中，可以将获取到的胃病理切片图像样本进行数据增强，得到丰富的训练样本。其中，数据增强包括对该胃病理切片图像样本进行翻折、旋转、拉伸以及颜色变换，其中，颜色变换包括对亮度、饱和度、色度以及对比度进行变换，等等。因此，通过数据增强可以得到丰富的胃病理切片图像样本，也就可以使用丰富的训练样本对胃病理切片图像样本进行训练，可以防止网络过拟合，提高网络的泛化能力。
502：将所述第一胃病理切片图像样本输入到所述图像分割与分类网络，得到与所述第一胃病理切片图像样本对应的预测概率分割图以及预测分类结果。
其中，该预测概率分割图用于表示该第一胃病理切片图像样本中各个像素点属于阳性的预测概率。该预测分类结果是根据该胃病理切片图像样本对应的特征向量得到，获取该胃病理切片图像样本对应的特征向量与上述的方式类似，不再叙述。
503：根据所述第一胃病理切片图像样本对应的预测概率分割图以及预测分类结果，以及所述第一训练标签，调整所述图像分割与分类网络的网络参数，对所述图像分割与分类网络进行训练。
示例性的，根据该预测概率分割图与真实概率分割图确定第一损失；根据该预测分类结果与该真实分类结果，确定第二损失；根据该第一损失和第二损失调整该图像分割与分类网络的网络参数。比如，可以将该第一损失和第二损失进行加权处理，得到目标损失，根据该目标损失以及梯度下降法调整该分割与分类网络的网络参数，直至网络收敛，完成训练。
示例性的，第一损失可以通过公式(2)表示：
其中，Loss1为第一损失，M为该胃病理切片图像样本中的像素点的个数，pk为该胃病理切片图像样本中的第k个像素点属于阳性的真实概率，qk为该胃病理切片图像样本中的第k个像素点属于阳性的预测概率。
示例性的，第二损失可以通过公式(3)表示：
Loss2＝dist(σ,σ′) (3)
其中，Loss2为第二损失，σ为胃病理切片图像样本对应的真实分类结果，σ′为胃病理切片图像样本对应的预测分类结果，dist为求距离操作，该距离可为欧式距离。
在一些可能的实施方式中，本申请的胃病理切片图像分类方法还可以促进智慧医疗的发展。比如，通过该胃病理切片图像分类，可以快速确定出一个待诊断患者的胃病理切片图像的病灶类别，给医生一个预先的诊断结果，从而可以辅助医生快速给出诊断结果，缓解了医生的诊断压力，促进医疗科技的发展。
参阅图6，图6为本申请实施例提供的一种图卷积网络训练方法的流程示意图。该方法包括以下步骤：
601：获取多个第二胃病理切片图像样本块以及第二训练标签，其中，多个第二胃病理切片图像样本块为对第二胃病理切片图像样本进行分割得到的。
其中，该训练标签为该第二胃病理切片图像样本对应的真实类别。
602：获取所述多个第二胃病理切片图像样本块中每个第二胃病理切片图像样本块对应的特征向量。
示例性的，可通过卷积网络对每个第二胃病理切片图像样本块进行特征提取，得到每个第二胃病理切片图像样本块对应的特征向量。
603：将每个胃第二病理切片图像样本块对应的特征向量输入到图卷积网络，得到所述第二胃病理切片图像样本对应的预测类别。
其中，第二胃病理切片图像样本对应的预测类别与上述确定胃病理切片图像对应的类别的方式类似，不再重复描述。
604：根据所述预测类别以及所述训练标签，调整所述图卷积网络的网络参数，对所述图卷积网络进行训练。
示例性的，根据该第二胃病理切片图像样本对应的预测类别以及真实类别，确定第四损失；根据该第四损失以及梯度下降法调整该图卷积网络的网络参数，直至该图卷积网络收敛，完成训练。
参阅图7，图7为本申请实施例提供的一种电子设备的结构示意图。如图7所示，胃病理切片图像分类装置700包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行以下步骤的指令：
获取胃病理切片图像；
将所述胃病理切片图像分割为多个维度相同的胃病理切片图像块；
对每个胃病理切片图像块进行处理，得到每个胃病理切片图像块对应的特征向量以及概率分割图，所述概率分割图用于表示所述胃病理切片图像中各个像素点属于阳性的概率；
根据每个胃病理切片图像块对应的概率分割图，确定所述多个胃病理切片图像块中的至少一个目标胃病理切片图像块；
根据所述至少一个目标胃病理切片图像块中每个目标胃病理切片图像块对应的特征向量，确定所述胃病理切片图像对应的类别。
在一些可能的实施方式中，在对每个胃病理切片图像块进行处理，得到每个胃病理切片图像块对应的特征向量以及概率分割图方面，上述程序具体用于执行以下步骤的指令：
对每个胃病理切片图像块进行特征提取，得到第一特征图；
根据所述第一特征图确定每个胃病理切片图像块对应的特征向量；
对所述第一特征图进行上采样处理，得到第二特征图；
根据所述第二特征图进行图像分割，确定每个胃病理切片图像块对应的概率分割图。
在一些可能的实施方式中，在根据每个胃病理切片图像块对应的概率分割图，确定所述多个胃病理切片图像块中的至少一个目标胃病理切片图像块方面，上述程序具体用于执行以下步骤的指令：
将每个胃病理切片图像块中的各个像素点属于阳性的概率相加，得到每个胃病理切片图像块对应的目标概率；
按照目标概率从大到小的顺序，从所述多个胃病理切片图像块中选取预设数量的胃病理切片图像块，得到所述至少一个目标胃病理切片图像块。
在一些可能的实施方式中，在根据所述至少一个目标胃病理切片图像块中每个目标胃病理切片图像块对应的特征向量，确定所述胃病理切片图像对应的类别方面，上述程序具体用于执行以下步骤的指令：
根据所述至少一个目标胃病理切片图像块中每个目标胃病理切片图像块对应的特征向量，得到邻接矩阵；
对所述邻接矩阵进行图卷积处理，得到目标特征向量；
根据所述目标特征向量，确定所述胃病理切片图像对应的类别。
在一些可能的实施方式中，在根据所述至少一个目标胃病理切片图像块中每个目标胃病理切片图像块对应的特征向量，得到邻接矩阵方面，上述程序具体用于执行以下步骤的指令：
确定所述至少一个目标胃病理切片图像块中任意两个目标胃病理切片图像块对应的特征向量之间的相似度；
根据所述任意两个目标胃病理切片图像块对应的特征向量之间的相似度，得到所述任意两个目标胃病理切片图像块之间的连接关系，所述连接关系包括两个目标胃病理切片图像块之间相互连接或者不连接；
根据所述至少一个目标胃病理切片图像块中每个目标胃病理切片图像块对应的目标概率，以及所述任意两个目标胃病理切片图像块之间的连接关系，得到所述邻接矩阵。
在一些可能的实施方式中，在根据所述至少一个目标胃病理切片图像块中每个目标胃病理切片图像块对应的目标概率，以及所述任意两个目标胃病理切片图像块之间的连接关系，得到所述邻接矩阵方面，上述程序具体用于执行以下步骤的指令：
将每个目标胃病理切片图像块作为一个节点，并根据每个目标胃病理切片图像块对应的目标概率，确定每个目标胃病理切片图像块对应的节点顺序；
根据每个目标胃病理切片图像块对应的节点顺序，以及所述任意两个目标胃病理切片图像块之间的连接关系，确定各个节点之间的连接关系；
根据所述各个节点之间的连接关系，得到所述邻接矩阵。
在一些可能的实施方式中，上述程序还用于执行以下步骤的指令：
根据所述多个胃病理切片图像块中每个胃病理切片图像块对应的概率分割图，确定每个胃病理切片图像块中的疑似病灶区域；
对每个胃病理切片图像块中的疑似病灶区域进行可视化展示。
参阅图8，图8本申请实施例提供的一种胃病理切片图像分类装置的功能单元组成框图。胃病理切片图像分类装置800包括：获取单元801和处理单元802，其中：
获取单元801，用于获取胃病理切片图像；
处理单元802，用于将所述胃病理切片图像分割为多个维度相同的胃病理切片图像块；
处理单元802，还用于对每个胃病理切片图像块进行处理，得到每个胃病理切片图像块对应的特征向量以及概率分割图，所述概率分割图用于表示所述胃病理切片图像中各个像素点属于阳性的概率；
处理单元802，还用于根据每个胃病理切片图像块对应的概率分割图，确定所述多个胃病理切片图像块中的至少一个目标胃病理切片图像块；
处理单元802，还用于根据所述至少一个目标胃病理切片图像块中每个目标胃病理切片图像块对应的特征向量，确定所述胃病理切片图像对应的类别。
在一些可能的实施方式中，在对每个胃病理切片图像块进行处理，得到每个胃病理切片图像块对应的特征向量以及概率分割图方面，处理单元802，具体用于执行：
对每个胃病理切片图像块进行特征提取，得到第一特征图；
根据所述第一特征图确定每个胃病理切片图像块对应的特征向量；
对所述第一特征图进行上采样处理，得到第二特征图；
根据所述第二特征图进行图像分割，确定每个胃病理切片图像块对应的概率分割图。
在一些可能的实施方式中，在根据每个胃病理切片图像块对应的概率分割图，确定所述多个胃病理切片图像块中的至少一个目标胃病理切片图像块方面，处理单元802，具体用于执行以下步骤的指令：
将每个胃病理切片图像块中的各个像素点属于阳性的概率相加，得到每个胃病理切片图像块对应的目标概率；
按照目标概率从大到小的顺序，从所述多个胃病理切片图像块中选取预设数量的胃病理切片图像块，得到所述至少一个目标胃病理切片图像块。
在一些可能的实施方式中，在根据所述至少一个目标胃病理切片图像块中每个目标胃病理切片图像块对应的特征向量，确定所述胃病理切片图像对应的类别方面，上处理单元802，具体用于：
根据所述至少一个目标胃病理切片图像块中每个目标胃病理切片图像块对应的特征向量，得到邻接矩阵；
对所述邻接矩阵进行图卷积处理，得到目标特征向量；
根据所述目标特征向量，确定所述胃病理切片图像对应的类别。
在一些可能的实施方式中，在根据所述至少一个目标胃病理切片图像块中每个目标胃病理切片图像块对应的特征向量，得到邻接矩阵方面，处理单元802，具体用于：
确定所述至少一个目标胃病理切片图像块中任意两个目标胃病理切片图像块对应的特征向量之间的相似度；
根据所述任意两个目标胃病理切片图像块对应的特征向量之间的相似度，得到所述任意两个目标胃病理切片图像块之间的连接关系，所述连接关系包括两个目标胃病理切片图像块之间相互连接或者不连接；
根据所述至少一个目标胃病理切片图像块中每个目标胃病理切片图像块对应的目标概率，以及所述任意两个目标胃病理切片图像块之间的连接关系，得到所述邻接矩阵。
在一些可能的实施方式中，在根据所述至少一个目标胃病理切片图像块中每个目标胃病理切片图像块对应的目标概率，以及所述任意两个目标胃病理切片图像块之间的连接关系，得到所述邻接矩阵方面，处理单元802，具体用于执行以下步骤的指令：
将每个目标胃病理切片图像块作为一个节点，并根据每个目标胃病理切片图像块对应的目标概率，确定每个目标胃病理切片图像块对应的节点顺序；
根据每个目标胃病理切片图像块对应的节点顺序，以及所述任意两个目标胃病理切片图像块之间的连接关系，确定各个节点之间的连接关系；
根据所述各个节点之间的连接关系，得到所述邻接矩阵。
在一些可能的实施方式中，处理单元802，还用于：
根据所述多个胃病理切片图像块中每个胃病理切片图像块对应的概率分割图，确定每个胃病理切片图像块中的疑似病灶区域；
对每个胃病理切片图像块中的疑似病灶区域进行可视化展示。
本申请实施例还提供一种计算机存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如上述方法实施例中记载的任何一种胃病理切片图像分类方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种胃病理切片图像分类方法的部分或全部步骤。
应理解，本申请中的胃病理切片图像分类装置可以包括智能手机(如Android手机、iOS手机、Windows Phone手机等)、平板电脑、掌上电脑、笔记本电脑、移动互联网设备MID(Mobile Internet Devices，简称：MID)或穿戴式设备等。上述胃病理切片图像分类装置仅是举例，而非穷举，包含但不限于上述胃病理切片图像分类装置。在实际应用中，上述胃病理切片图像分类装置还可以包括：智能车载终端、计算机设备等等。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (7)
1.一种胃病理切片图像分类方法，其特征在于，包括：
获取胃病理切片图像；
将所述胃病理切片图像分割为多个维度相同的胃病理切片图像块；
对每个胃病理切片图像块进行处理，得到每个胃病理切片图像块对应的特征向量以及概率分割图，所述概率分割图用于表示所述胃病理切片图像中各个像素点属于阳性的概率；
根据每个胃病理切片图像块对应的概率分割图，确定多个所述胃病理切片图像块中的至少一个目标胃病理切片图像块；
根据所述至少一个目标胃病理切片图像块中每个目标胃病理切片图像块对应的特征向量，确定所述胃病理切片图像对应的类别，包括：
确定所述至少一个目标胃病理切片图像块中任意两个目标胃病理切片图像块对应的特征向量之间的相似度；根据所述任意两个目标胃病理切片图像块对应的特征向量之间的相似度，得到所述任意两个目标胃病理切片图像块之间的连接关系，所述连接关系包括两个目标胃病理切片图像块之间相互连接或者不连接；将每个目标胃病理切片图像块作为一个节点，并根据每个目标胃病理切片图像块对应的目标概率，确定每个目标胃病理切片图像块对应的节点顺序；根据每个目标胃病理切片图像块对应的节点顺序，以及所述任意两个目标胃病理切片图像块之间的连接关系，确定各个节点之间的连接关系；根据所述各个节点之间的连接关系，得到邻接矩阵，其中，每个目标胃病理切片图像块对应的目标概率是对目标胃病理切片图像块中的各个像素点属于阳性的概率相加得到的；
对所述邻接矩阵进行图卷积处理，得到目标特征向量；根据所述目标特征向量，确定所述胃病理切片图像对应的类别。
2.根据权利要求1所述的方法，其特征在于，所述对每个胃病理切片图像块进行处理，得到每个胃病理切片图像块对应的特征向量以及概率分割图，包括：
对每个胃病理切片图像块进行特征提取，得到第一特征图；
根据所述第一特征图确定每个胃病理切片图像块对应的特征向量；
对所述第一特征图进行上采样处理，得到第二特征图；
根据所述第二特征图进行图像分割，确定每个胃病理切片图像块对应的概率分割图。
3.根据权利要求1或2所述的方法，其特征在于，所述根据每个胃病理切片图像块对应的概率分割图，确定多个所述胃病理切片图像块中的至少一个目标胃病理切片图像块，包括：
将每个胃病理切片图像块中的各个像素点属于阳性的概率相加，得到每个胃病理切片图像块对应的目标概率；
按照目标概率从大到小的顺序，从多个所述胃病理切片图像块中选取预设数量的胃病理切片图像块，得到所述至少一个目标胃病理切片图像块。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据多个所述胃病理切片图像块中每个胃病理切片图像块对应的概率分割图，确定每个胃病理切片图像块中的疑似病灶区域；
对每个胃病理切片图像块中的疑似病灶区域进行可视化展示。
5.一种胃病理切片图像分类装置，其特征在于，包括：
获取单元，用于获取胃病理切片图像；
处理单元，用于将所述胃病理切片图像分割为多个维度相同的胃病理切片图像块；
所述处理单元，还用于对每个胃病理切片图像块进行处理，得到每个胃病理切片图像块对应的特征向量以及概率分割图，所述概率分割图用于表示所述胃病理切片图像中各个像素点属于阳性的概率；
所述处理单元，还用于根据每个胃病理切片图像块对应的概率分割图，确定多个所述胃病理切片图像块中的至少一个目标胃病理切片图像块；
所述处理单元，还用于根据所述至少一个目标胃病理切片图像块中每个目标胃病理切片图像块对应的特征向量，确定所述胃病理切片图像对应的类别，包括：
确定所述至少一个目标胃病理切片图像块中任意两个目标胃病理切片图像块对应的特征向量之间的相似度；根据所述任意两个目标胃病理切片图像块对应的特征向量之间的相似度，得到所述任意两个目标胃病理切片图像块之间的连接关系，所述连接关系包括两个目标胃病理切片图像块之间相互连接或者不连接；将每个目标胃病理切片图像块作为一个节点，并根据每个目标胃病理切片图像块对应的目标概率，确定每个目标胃病理切片图像块对应的节点顺序；根据每个目标胃病理切片图像块对应的节点顺序，以及所述任意两个目标胃病理切片图像块之间的连接关系，确定各个节点之间的连接关系；根据所述各个节点之间的连接关系，得到邻接矩阵，其中，每个目标胃病理切片图像块对应的目标概率是对目标胃病理切片图像块中的各个像素点属于阳性的概率相加得到的；
对所述邻接矩阵进行图卷积处理，得到目标特征向量；根据所述目标特征向量，确定所述胃病理切片图像对应的类别。
6.一种胃病理切片图像分类装置，其特征在于，包括处理器、存储器、通信接口以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行权利要求1-4任一项方法中的步骤的指令。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-4任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110358707.XA CN112990339B (zh) | 2021-03-31 | 胃病理切片图像分类方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110358707.XA CN112990339B (zh) | 2021-03-31 | 胃病理切片图像分类方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112990339A CN112990339A (zh) | 2021-06-18 |
| CN112990339B true CN112990339B (zh) | 2024-07-12 |
Family
ID=
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564578A (zh) * | 2018-04-13 | 2018-09-21 | 上海商汤智能科技有限公司 | 病理诊断辅助方法、装置及系统 |
| CN110175998A (zh) * | 2019-05-30 | 2019-08-27 | 沈闯 | 基于多尺度深度学习的乳腺癌图像识别方法、装置及介质 |
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564578A (zh) * | 2018-04-13 | 2018-09-21 | 上海商汤智能科技有限公司 | 病理诊断辅助方法、装置及系统 |
| CN110175998A (zh) * | 2019-05-30 | 2019-08-27 | 沈闯 | 基于多尺度深度学习的乳腺癌图像识别方法、装置及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110120040B (zh) | 切片图像处理方法、装置、计算机设备和存储介质 | |
| CN108446730B (zh) | 一种基于深度学习的ct肺结节检测装置 | |
| Shorfuzzaman | An explainable stacked ensemble of deep learning models for improved melanoma skin cancer detection | |
| CN107748900B (zh) | 基于区分性卷积神经网络的乳腺肿瘤分类装置和存储介质 | |
| Oskal et al. | A U-net based approach to epidermal tissue segmentation in whole slide histopathological images | |
| CN111524137B (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
| CN109410194B (zh) | 一种基于深度学习的食管癌病理图像处理方法 | |
| CN110298383B (zh) | 基于多模态深度学习的病理分类方法及系统 | |
| CN109544518B (zh) | 一种应用于骨骼成熟度评估的方法及其系统 | |
| Pan et al. | Cell detection in pathology and microscopy images with multi-scale fully convolutional neural networks | |
| Masoud Abdulhamid et al. | New auxiliary function with properties in nonsmooth global optimization for melanoma skin cancer segmentation | |
| WO2022127500A1 (zh) | 基于多个神经网络的mri图像分割方法、装置及设备 | |
| An et al. | Medical image segmentation algorithm based on multilayer boundary perception-self attention deep learning model | |
| Alkassar et al. | Going deeper: magnification‐invariant approach for breast cancer classification using histopathological images | |
| WO2021212715A1 (zh) | 精神分裂症分类识别方法、运行控制装置及医疗设备 | |
| CN115526834A (zh) | 免疫荧光图像检测方法及装置、设备、存储介质 | |
| CN114445356A (zh) | 基于多分辨率的全视野病理切片图像肿瘤快速定位方法 | |
| CN116844687A (zh) | 一种基于舌像和知识图谱的处方推荐方法及系统 | |
| CN115063592A (zh) | 一种基于多尺度的全扫描病理特征融合提取方法及系统 | |
| CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
| Kanwal et al. | Detection and localization of melanoma skin cancer in histopathological whole slide images | |
| Nagaraj et al. | Identification of Skin Diseases using a Novel Deep CNN | |
| Dabass et al. | A hybrid U-Net model with attention and advanced convolutional learning modules for simultaneous gland segmentation and cancer grade prediction in colorectal histopathological images | |
| CN114283406A (zh) | 细胞图像识别方法、装置、设备、介质及计算机程序产品 | |
| Huang et al. | Recent advances in medical image processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |