CN115861212A - 基于胃粘膜活检样本对相关病症进行区分的系统和应用 - Google Patents

Abstract

本发明涉及疾病诊断和图像检测技术领域，提供了基于胃粘膜活检样本对相关病症进行区分的系统和应用。该系统包括：图像收集模块；图像预处理模块；特征提取模块；图像分类模块；整片结果确定模块。本发明提供了胃粘膜活检过程中几类临床常见易混淆疾病的辅助诊断方案，以缓解因为胃粘膜活检组织量不充分，从而导致诊断难度较大的问题。

Description

基于胃粘膜活检样本对相关病症进行区分的系统和应用

技术领域

本发明涉及疾病诊断和图像识别技术领域，具体涉及基于胃粘膜活检样本对相关病症进行区分的系统和应用。

背景技术

胃黏膜活检是临床最常见到的消化道活检样本之一，通过内窥镜下观察，对可疑病变的部位进行取材，进行病理学诊断，达到指导后续治疗的目的。随着内镜技术的迅猛发展、活检取材的微创性及便利性不断普及推广，消化道活检样本在病理科的比重也愈益增大。活检样本病理诊断的结果可判断疾病的性质，同时判断恶性肿瘤的类型，诊断结果会直接影响到患者治疗方式的选择。虽然活检样本有着痛苦较小，损伤较轻，观察病变客观真实的优点，但在临床工作中，活检样本也存在组织量有限，病变组织过小，在内镜钳的牵拉下容易出现挤压变形等问题，常规HE染色无法充分观察。对于良性疾病如炎性病变，炎症环境刺激正常上皮细胞，上皮细胞增生混合炎性细胞背景，形成类似肿瘤性病变的组织学形态；胃的低分化腺癌由于缺少腺管样结构，上皮细胞呈片状低粘附性生长，组织结构类似淋巴瘤；胃肠道是结外非霍奇金淋巴瘤最常见的侵犯部位，胃弥漫性大B细胞淋巴瘤（DiffuseLarge B cell lymphoma, DLBCL）近年来的发生率逐渐升高，病理组织学形态上主要表现为弥漫性病变，这与胃原发低分化腺癌、慢性胃炎刺激下的上皮增生形态上有相似之处，容易造成误诊。对于胃黏膜活检中的常见疾病如炎症、低分化腺癌和淋巴瘤，HE染色下的组织学形态有一定程度的相似，但由于治疗方式及预后完全不同，因此准确的病理诊断是精准治疗的前提。

在日常工作中，对病理医师而言，从形态上鉴别胃低分化腺癌，弥漫性大B细胞淋巴瘤以及炎症性病变有一定困难。在显微镜下，胃的正常结构遭到破坏，有层次的上皮形态消失，取而代之的是大片状的细胞巢团。中高倍镜下，炎症性病变可能是多种炎性细胞如中性粒细胞，淋巴细胞，浆细胞等的混合，形成混杂的背景，也有可能是单一炎细胞的聚集，形成类似肿瘤的形态。而肿瘤性病变中胃低分化腺癌，弥漫性大B细胞淋巴瘤均表现为弥漫性的浸润方式，破坏胃黏膜的正常结构；中高倍镜下肿瘤细胞中等-大，有时胞浆稀少，胞核染色质浓集，粗糙；有时胞浆相对丰富。仅凭镜下形态不足以得出准确的病理诊断，常常需要依赖免疫组化染色，荧光原位杂交，基因检测等多种手段来辅助诊断。比如，首先运用免疫组化标记物如AE1/AE3，以及B淋巴细胞标记物CD20，CD19以及T细胞标记物CD3，CD5来判断细胞的来源，是来源于上皮或来源于淋巴造血系统。如果来源于上皮则AE1/AE3阳性，则需要进行CK20，SATB2等腺上皮标记物，判断肿瘤是否为低分化腺癌；同时对于混杂了较多淋巴细胞的低分化腺癌，也可进行EBER原位杂交染色等判断是否为特殊亚型。如果细胞显示淋巴细胞标记物阳性，需要对B细胞及T细胞的比例和分布进行进一步评估，判断是肿瘤性或反应性。有时即使了充分的免疫组化染色，也不能确定是否为肿瘤性病变。则需要借助分子检测协助定性。最常用到是的B细胞及T细胞克隆性重排，由于B细胞和T细胞在发育过程中经过了VDJ重排，有极大的多源性，用于机体识别不同类型的外界病原体，因此在正常情况下，T细胞和B细胞的重排是多克隆性的。而肿瘤性病变的特征是细胞在基因水平上失去对生长的调控作用，导致异型增生。因此肿瘤性病变是单克隆性重排。在确定了肿瘤的性质之后，为了得到准确的病理诊断，需要进行多项免疫组化染色，进行肿瘤的具体分类，如CD10，BCL6，MUM1等进行细胞起源的分类，同时C-MYC，BCL2等染色与患者的预后相关；除此之外，荧光原位杂交也是常用的分子检测手段，如BCL2，BCL6及MYC染色体易位检测，用于判断是否为高级别B细胞淋巴瘤，伴MYC、BCL2和/或BCL6重排，即双打击/三打击淋巴瘤（HighGradeB-cell Lympgoma, Double/Triple Hit，HGBL-DH/TH）。而部分复杂病例，在进行完上述检测后，尚不能完全明确诊断，还需要进一步通过基因测序技术协助诊断。

由此可知，在日常诊断过程中，对于胃低分化腺癌，弥漫性大B细胞淋巴瘤以及炎症性病变的诊断及鉴别诊断是一个需要多项步骤及较大花费的过程。首先，对于患者而言，漫长的检测周期会影响到后续的检查及治疗方案的制定。其次，对于活检样本而言，本身组织量较少，随着多项免疫组化的进行，剩余的有效肿瘤越来越少，会影响后续的分子检测及基因检测，无法得出准确的诊断。此外，按照传统的疾病诊断流程，过大的诊断花费也是疾病诊疗过程中的负担，随着疾病诊断相关分组（Diagnosis Related Groups, DRG）在医院改革收费中的推进，对各疾病诊断相关组制定支付标准，预付医疗费用的付费方式，不同的疾病对应相应的诊断相关组，有对应的付费标准。在此情况下，疾病诊断诊疗前期的过度花费，会影响后续的治疗及随诊，因此寻找快速、准确的诊断方式成为临床面临的实际问题。而近年来，图像识别系统及深度学习技术不断发展，人工智能辅助诊断系统也应运而生，在疾病的检测及诊断过程中发挥作用。

随着扫描技术、计算速度的进步和储存成本的下降，人们可以使用深度学习方法做为工具，进行淋巴瘤辅助诊断相关的研究。2014年，一个简单的CNN架构实现了免疫组化图像的免疫细胞检测(T. Chen and C. Chefd’hotel, “Deep learning based automaticimmune cell detection for immunohistochemistry images,” Lect. Notes Comput. Sci. (including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics), vol. 8679, pp. 17–24, 2014, doi: 10.1007/978-3-319-10581-9_3.)。在这项工作中，该模型适用于整片图像的某些部分，称为整片图像的视野 (fields ofviews, FOV)。近年来，一些研究人员专注于具有临床意义的任务。例如，Achi, H.等人建立了针对良性淋巴结、DLBCL、伯基特淋巴瘤和小淋巴细胞性淋巴瘤四种诊断类别的淋巴瘤诊断模型(H. El Achi et al., “Automated diagnosis of lymphoma with digitalpathology images using deep learning,” Ann. Clin. Lab. Sci., vol. 49, no. 2,pp. 153–160, 2019.)。Senaras，C.等人开发了一种具有U-Net主干的自动化方法，用于从CD8染色的组织病理学切片图像中进行滤泡分割，以减少训练数据量(C. Senaras et al.,“Segmentation of follicles from CD8-stained slides of follicular lymphomausing deep learning,” in Medical Imaging 2019: Digital Pathology, Mar. 2019,no. May, p. 25, doi: 10.1117/12.2512262.)。Swiderska-Chadaj, Z.等人应用深度学习模型，基于HE染色标本,检测 DLBCL 中与患者预后和结果相关的 MYC 基因易位(Z.Swiderska-Chadaj, K. Hebeda, M. van den Brand, and G. Litjens, “PredictingMYC translocation in HE specimens of diffuse large B-cell lymphoma throughdeep learning,” in Medical Imaging 2020: Digital Pathology, Mar. 2020, vol.1132010, no. May, p. 36, doi: 10.1117/12.2549650.)。

近些年来，以整片（Whole Slide Image,WSI）的方式处理病理图像逐渐引起了人们的关注。由于数字扫描仪获得的图像可以保存不同放大倍数的图像，并且高倍放大的图像具有极高的分辨率和极大的尺寸，从而使得得到的数字图像保留大量信息。因此，深度学习可以适当地应用于数字病理学中的整张病理图像图像。Qaiser, T. 等人提出了一种多任务CNN模型，用于同时进行细胞检测和分类，然后进行数字近似标记 (digitalproximity signature, DPS)估计，以预测弥漫大B细胞淋巴瘤患者的总生存期(T.Qaiser, M. Pugh, S. Margielewska, R. Hollows, P. Murray, and N. Rajpoot,“Digital Tumor-Collagen Proximity Signature Predicts Survival in DiffuseLarge B-Cell Lymphoma,” Lect. Notes Comput. Sci. (including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics), vol. 11435 LNCS, pp. 163–171, 2019, doi: 10.1007/978-3-030-23937-4_19.)。Hashimoto，N. 等人通过有效结合多示例学习（Multiple-instance learning, MIL）、领域对抗（Domain Adversarial, DA）和多尺度（Multi-Scale, MS）方法，开发了一种新的基于CNN的数字病理图像分类方法(N.Hashimoto et al., “Multi-scale Domain-adversarial Multiple-instance CNN forCancer Subtype Classification with Unannotated Histopathological Images,” inCVPR 2020, Jan. 2020, pp. 3852–3861, [Online]. Available: http://arxiv.org/abs/2001.01599.)。这些技术用于解决大尺寸图像、弱标签、不同染色条件以及使用不同放大倍率分别观察不同特征的要求所带来的问题。

此外，以CNN 主干网的发展丰富了任务类型。Bruno，P. 等人在基因表达的热图上使用CNN来区分弥漫大B细胞淋巴瘤和正常组织(P. Bruno and F. Calimeri, “UsingHeatmaps for Deep Learning based Disease Classification,” 2019 IEEE Conf. Comput. Intell. Bioinforma. Comput. Biol. CIBCB 2019, no. November, 2019,doi: 10.1109/CIBCB.2019.8791493.)。

现阶段已有的淋巴瘤辅助诊断技术中，部分诊断方法是针对细胞或感兴趣区域（Regionofinterest）进行分类或检测。这类方法需要较高的人工成本进行前置信息处理，例如手动筛选ROI或截取图像中的细胞，因此不具备很强的临床诊断价值。

其余在WSI上操作的技术，现有方案中并没有针更具体临床问题的方法,例如对胃粘膜活检样本进行炎症、淋巴瘤和腺癌进行区分的相关算法。这主要是因为活检样本存在组织量有限，病变组织过小，在内镜钳的牵拉下容易出现挤压变形等问题，因此常规HE染色无法充分观察。有对于良性疾病如炎性病变，炎症环境刺激正常上皮细胞，上皮细胞增生混合炎性细胞背景，形成类似肿瘤性病变的组织学形态，同样容易造成误诊。从工程角度解释，由于上述问题的存在，不同类型的图像可能存在形态学相似性，从而可能导致提取地特征存在类间距大，类内距小，决策边界不明确等情况。

发明内容

有鉴于此，本发明旨在解决上述问题，提出一种基于深度学习的方法，获得整片病理图像的辅助诊断结果，为病理科医生做出诊断提供参考，从而降低医生的工作量。

有鉴于此，本发明提供了胃粘膜活检过程中几类临床常见易混淆疾病的辅助诊断方案，以缓解因为胃粘膜活检组织量不充分，从而导致诊断难度较大的问题。参见图1，本发明中的图像块分类模型基于图卷积网络（GraphConvolutionalNetwork）结构作为特征提取器并引入原型学习（PrototypeLearning）的机制进行图像分类。具体来说，本发明根据病例图像特点，使用图机构表征细胞之间组成的拓扑结构，从而更加高效地提取细胞之间的空间结构信息。同时，结合病理图像特点，引入原型学习机制，使得同一类别的图像被提取出特征向量在特征空间上的距离更接近，从而便于分类。

因此，本发明一种基于胃粘膜活检样本对相关病症进行区分的系统，该系统主要针对三种胃粘膜活检的常见病种，具体为炎症、淋巴瘤和腺癌，该系统包括:

图像收集模块，用于获取待检测图像；

图像预处理模块，对采集的图像进行预处理。包括将图像切割为大小相等的图像块从而使得硬件可以直接进行处理，同时进行色彩正则化、图像增强等处理，减少色差等因素对后续系统的影响；

特征提取模块，用于提取预处理好的图像块的特征。具体地，使用图像分割网络分割图像中的细胞核，并利用分割出的细胞核构建图结构，并以图卷积网络作为工具，提取图像的特征；

图像分类模块，利用特征提取模块提取到的图像特征，使用一种基于原型学习的方法对图像块进行分类

整片结果确定模块，用于判断整张切片所属的疾病类别。该模块综合一张整张切片上所有图像块的分类结果，得到整片分类的结果。具体地，在得到由图像分类模块得到所有图像块的分类结果后，经过质量控制操作，筛选出具有高置信度的图像块，进行多数投票确定最终的整片类比，即筛选后的图像块中数量最多的类别被确定为整片的分类结果。

任选地，还包括结果输出模块；

所述相关病症包括弥漫大B细胞淋巴瘤，低分化腺癌，炎症。

优选地，图像预处理包括将图像切割为大小相等的图像块从而使得硬件可以直接进行处理，任选地还同时进行色彩正则化、图像增强以减少色差等因素对后续系统的影响；更优选地，选择放大倍数300-400倍的图像，将选取的图像进行预处理，包括将原始图像切割分块、删除背景图像块、数据增强操作。

更优选地，特征提取模块中，对预处理完成后的图像基于病理图像构建图结构数据，具体是：首先使用U-net对细胞核进行分割、得到细胞核的分割；对细胞核分割边界内的图像，提取16个特征，包括内部像素点强度的平均值、偏标准差、偏度、平均熵；平均前景/背景的差分；灰度共生矩阵（GLCM）的相异性、同质性、能量和角二阶矩（ASM）； 离心率;面积；轴的最大长度、最小长度；周长，稳定性（面积与凸包面积之比）；旋转角度等；将这些特征值组成一个特征向量，用作细胞核的特征；由此可以构建图结构的节点，此后根据细胞核之间的位置关系构建图结构的边，给两个距离小于一定阈值(例如设置为100个像素点)的两个核之间赋予一条图结构的边，由此构建完成图结构；

特征提取模块还包含三组图卷积模块，每个图卷积模块由三个串联的Graphsage图卷积操作实现；图卷积模块之间使用DIFFPool结构连接，从而获得复杂度不同的图结构并提取信息；将三个图卷积模块提取的信息进行全局最大池化，转为一维向量，并将他们三个进行拼接，从而融合不同尺度的信息，最终得到一个图像块的特征向量；

具体地，特征提取模块中的特征提取器包含三层结构复杂度不同的图结构，第一层为最初构建的图结构，通过池化的方式获得更简单、并包含高层抽象信息的图结构，优选地选择DiffPool作为池化工具，第二层和第三层分别为上一层得到的图结构经过池化操作后得到更粗略的图结构；使用GraphSage模型作为每一层图结构上的特征提取模型，每层图结构上的卷积操作为三个串联GraphSage，即3-hopGraphsage；

每层图卷积的输出结果使用最大值池化的方法将图结构的特征矩阵转化为向量，并将在三层上获得的向量进行拼接，作为整个图结构的特征向量，它也是图像块的特征向量。

在具体实施方式中，图像分类采用基于原型学习的方法对图像块进行分类；为每个类别在特征提取后的特征空间上设置三个原型（共9个原型），使用动态损失函数使得图像块的特征向量尽可能地向对应类别的原型靠近，从而达到更好的图像块分类效果；

具体地，是将获取的特征向量输入全连接层后得到最终特征向量，将特征向量和每一类别的原型进行对比，将图像块分到距离其最近的原型所对应的类别，即：

其中x为特征向量，C为类别数，K为每类包含原型的个数。

在一个具体实施方式中，整片结果确定模块综合一张整张切片上所有图像块的分类结果，得到整片分类的结果；具体地，在得到由图像分类模块得到所有图像块的分类结果后，经过质量控制操作，筛选出具有高置信度的图像块，进行多数投票确定最终的整片类比，即筛选后的图像块中数量最多的类别被确定为整片的分类结果；

具体地，对于由前述方法获得的整片切片中所有前景图像块的预测标签；将这些标签的置信度从高到低排列，按确定的比例选择置信度最高的图像块（例如选择置信度前50%的图像块），并进行多数投票，图像块数量最多的类别将被作为整片分类结果。

进一步优选地，所述系统通过机器学习方法进行学习和优化，具体包括如下步骤：

获取训练样本集，所述训练样本集包括多个整片图像；

对各个训练图像分别进行预处理操作，得到预处理后的训练图像块；其中图像块的标签与整片的标签一致；

对各个的训练图像块进行细胞核分割，并构建相应的图结构。对构建好的图结构使用图卷积网络进行特征提取，并使用基于原型学习的模型进行分类；上述网络结构通过Pytorch深度学习框架进行训练获得参数；

并通过多次实验，手动设置模型中的不参与训练的超参数，优选地超参数有：每类原型的个数、进行原型重定位的频率、后处理中质量控制阶段入选图像块置信度阈值。

在训练过程中，基于K-means的原型重分配和动态损失函数的方法来优化模型；

具体地，使用原型重分配是指在迭代若干次后，使用k-means算法对每一类内的原型位置进行强制重定位，得到这类别分布的若干个中心；更具体地，选择每5个轮次进行一次重分配；

动态损失函数中使用DCE损失和MCE损失的组合作为损失函数；在训练开始时，DCE损失在优化中发挥主要作用，可以使模型尽快稳定，而随着实验进行，MCE在损失函数中的占比逐渐增加，使用MCE损失则可以尽量增大类间距，从而在训练的后半程使得模型的决策边界更清晰；具体地，使用

作为损失函数，其中

随着轮次增加逐渐减小。

本发明还提供一种基于胃粘膜活检样本对相关病症进行区分的装置，其包括：处理器、存储器和通信接口；其中，所述处理器、存储器和通信接口相互间进行通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以执行所述的系统；

优选地还包括配套的图像获取设备，以及显示设备如屏幕或者远程结果显示器。

本发明进一步提供一种利用所述的装置用于非诊断目的基于胃粘膜活检样本对相关病症进行区分的方法，其包括，获取待测样品的图像，执行所述的计算机程序，获得结果的步骤。

本发明设计了一个用于进行胃粘膜活检病理图像分类的深度学习网络，结合了图卷积网络、原型学习等技术，设计了针对胃粘膜活检图像分类的模块，并论证了其有效性，并且在整张病理切片上论证了本发明方法的有效性。与现有方法对比，本模型针将胃粘膜活检样本进行炎症、淋巴瘤和腺癌进行区分的这一具体临床实际问题开发算法，具有较强的临床实际意义。除此之外，本发明根据因为活检样本存在组织量有限，病变组织过小，在内镜钳的牵拉下容易出现挤压变形等问题，将其抽象概括为类内的特征分布不集中，更接近于复合高斯型，并且部分类间距较小。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明的网络结构图。（a）图网络的主体框架，（b）图为特征提取器的详细结构。

图2.三类疾病在整片层面和图像块层面的混淆矩阵。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一本发明的系统构建

步骤1：从临床收集符合要求的胃黏膜活检组织，制成切片，使用高倍数扫描仪进行扫描，制作数字病理图像。

步骤2：选择放大倍数合适（在发明中选择400倍）的图像，将选取的图像进行预处理，如将原始图像切割分块、删除背景图像块、数据增强等一系列操作。

预处理完成后，开始基于病理图像构建图结构数据。首先使用U-net对细胞核进行分割、得到细胞核的分割。对细胞核分割边界内的图像，提取16个特征，包括内部像素点强度的平均值、偏标准差、偏度、平均熵；平均前景/背景的差分；灰度共生矩阵（GLCM）的相异性、同质性、能量和角二阶矩（ASM）； 离心率;面积；轴的最大长度、最小长度；周长，稳定性（面积与凸包面积之比）；旋转角度等。将这些特征值组成一个特征向量，用作细胞核的特征。由此可以构建图结构的节点。此后根据细胞核之间的位置关系构建图结构的边，给两个距离小于一定阈值(在此设置为100个像素点)的两个核之间赋予一条图结构的边，由此图结构构建完成。

步骤3：构建基于图卷积网络的特征提取器。

特征提取器包含三层结构复杂度不同的图结构。第一层为最初构建的图结构，节点最多，结构最为复杂。复杂的图结构通过池化的方式获得更简单、并包含高层抽象信息的图结构，在此我们选择DiffPool作为池化工具。使用GraphSage模型作为每一层图结构上的特征提取模型，每层图结构上的卷积操作为三个串联GraphSage。每层图卷积的输出结果使用最大值池化的方法将图结构的特征矩阵转化为向量，并将在三层上获得的向量进行拼接，作为整个图结构的特征向量，它也是图像块的特征向量。

步骤4：设计包含原型的结构。将步骤3中获取的特征向量输入全连接层后得到最终特征向量。将特征向量和每一类别的原型进行对比，将图像块分到距离其最近的原型所对应的类别。即

其中x为特征向量，C为类别数，K为每类包含原型的个数。

在训练过程中，我们设计了基于K-means的原型重分配和动态损失函数的方法来优化模型。

使用原型重分配是因为活检取得的样本较少，因此同一类标签下的组织也可能会出现形态学差异，因此可以假设同一类内特征的分布为有多个中心的混和高斯型。原型重分配是指在迭代若干次后，使用k-means算法对每一类内的原型位置进行强制重定位，得到这类别分布的若干个中心。这样可以最大程度地使得同一类别特征向量尽可能接近的本类别的原型。在模型训练的过程中，我们选择每5个轮次（epoch）进行一次重分配。

动态损失函数则是指随着训练的进行，我们调整损失函数的不同部分的权重。我们使用DCE损失和MCE损失的组合作为损失函数。DCE损失会使用特征向量和所有的原型进行运算的损失函数，而MCE损失只会使用距离特征向量最近的正确类内原型和错误类内原型计算损失。在训练开始时，DCE损失在优化中发挥主要作用，可以使模型尽快稳定，而随着实验进行，MCE在损失函数中的占比逐渐增加，使用MCE损失则可以尽量增大类间距，从而在训练的后半程使得模型的决策边界更清晰。具体地，我们使用

作为损失函数，其中

随着轮次增加逐渐减小。

步骤5：输出整片结果。经过步骤4可以得到整片切片中所有前景图像块的预测标签。将这些标签的置信度从高到低排列，通过实验，我们按照通过实验确定确定的比例选择置信度最高的图像块（在本实验中选择置信度前50%的图像块），并进行多数投票，图像块数量最多的类别将被作为整片分类结果。例如经过后处理过后的图像块有100个，其中80个被预测为弥漫大B细胞淋巴瘤，15个被预测为低分化腺癌，5个被预测为炎症，则整片结果被预测为弥漫大B细胞淋巴瘤。该结果也将作为最终辅助诊断结果被提供给医生。

参见图1，本发明中的图像块分类模型基于图卷积网络（GraphConvolutionalNetwork）结构作为特征提取器并引入原型学习（PrototypeLearning）的机制进行图像分类。具体来说，本发明根据病例图像特点，使用图机构表征细胞之间组成的拓扑结构，从而更加高效地提取细胞之间的空间结构信息。同时，结合病理图像特点，引入原型学习机制，使得同一类别的图像被提取出特征向量在特征空间上的距离更接近，从而便于分类。

实施例二本发明方法的的要素的有效性

同时本发明进行了对比实验，以论证了提出的要素的有效性。下述表格中，我们分别使用PA、IA和IAwP表示图像块分类准确性、整片分类准确性和使用后处理的整片分类准确性。

表2说明了动态损失函数的有效性，我们将损失函数和现有论文中常用的三种损失函数进行了对比，从中可以发现我们的损失函数具有最好的效果。

表2多种损失函数对比

方法	PA	IA	IA w P
				PL w MCE loss	0.427	0.338	0.338
PL w DCE loss	0.718	0.854	0.871
				PL w OvAloss	0.715	0.871	0.919
PL w MCE +DCEloss（本发明）	0.738	0.903	0.952

表3说明了设定多个类内原型的必要性，并尝试找出了最优的类内原型个数。从表中可以看出当原型数大于1时，模型的分类效果会有提升，但是当一个类内的原型数量较多时，模型的表现可能会有所下降，这可能是因为模型过于复杂出现了过拟合。最优的原型数量是3个。

表3原型数量对结果的影响

原型数量	1	2	3	4	5
						PA	0.718	0.729	0.738	0.719	0.706
IA	0.887	0.871	0.903	0.887	0.854

表4则体现了使用K-means对原型位置进行重定位的作用，并且探索了不同的重定位频率对结果的影响，我们发现频率合适的操作对结果的提升有一定的帮助。当重定位过于频繁时，模型并不能很稳定地进行迭代，所以分类效果较为一般。原型位置重分配是频率最优的是5。

表4原型位置重分配对结果的影响

Kmeans per epoch	PA	IA
			0	0.721	0.854
2	0.702	0.839
			5	0.738	0.903
10	0.730	0.887

使用混淆矩阵展示三类的病症的分类结果如图2。混淆矩阵是表示精度评价的一种标准格式。其每一列代表了预测类别，每一列的总数表示预测为该类别的数据的数目；每一行代表了数据的真实归属类别。以炎症为例，假设测试集中炎症图像共有10张，其中7张被分为炎症，1张被分类为弥漫大B细胞淋巴瘤，2张被分辨为低分化腺癌，则混淆矩阵中炎症对应的那一行的数值将分别为0.7、0.1和0.2。左侧图像为整片分类的混淆矩阵结果，右图为图像块分类结果的混淆矩阵。从中可以看出，在整片分类层面，模型可以得到相对较好的结果，并且在本数据集下没有将恶性肿瘤识别为炎症。

实施例三 本发明方法的验证

本发明收集临床上有病理诊断明确的胃黏膜活检样本，共183例，用于进行模型训练和验证。通过与其他方法进行对比实验，论证了本发明的方法整体的有效性。除此之外，针对模型中不同的创新模块，还进行了消融实验，即内部对比实验，论证了各模块的有效性以及各模块中超参数对实验结果的影响，并找到了尝试范围内超参数的最优值。模型训练结果与病理诊断进行对比，结果如下。

主要使用分类准确率这一指标来评价模型的有效性，其计算方法如下：

Acc(准确率)= 分类正确的图像（图像块）数目/总图像（图像块）数目

假设测试集中有炎症、弥漫大B细胞淋巴瘤、低分化腺癌图像各10张，三类中分类正确的图像分别为10张，9张和8张，则分离中缺率的计算方法为(10+9+8)/(10+10+10)=0.9。

表4 方法对比

方法	PA	IA	IA w P
				Baseline(CGC-net)	0.645	0.758	0.806
CGPnet(ours)	0.738	0.903	0.952

在表1中，通过与CGC-net进行对比，本发明在图像块级别的分类准确性、整片分类的准确性和后处理的图像分类准确性上的准确性都有提高，准确率达到0.952，充分体现了本发明方法的有效性。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (9)

1.一种基于胃粘膜活检样本对相关病症进行区分的系统，其特征在于，包括：

图像收集模块，用于获取待检测图像；

图像预处理模块，对采集的图像进行预处理；

特征提取模块，用于提取预处理好的图像块的特征；

图像分类模块，利用特征提取模块提取到的图像特征对图像块进行分类；

整片结果确定模块，用于判断整张切片所属的疾病类别；

任选地，还包括结果输出模块；

所述相关病症包括弥漫大B细胞淋巴瘤，低分化腺癌，炎症。

2.如权利要求1所述的系统，其特征在于，图像预处理包括将图像切割为大小相等的图像块从而使得硬件可以直接进行处理，任选地还同时进行色彩正则化、图像增强以减少色差等因素对后续系统的影响；更优选地，选择放大倍数300-400倍的图像，将选取的图像进行预处理，包括将原始图像切割分块、删除背景图像块、数据增强操作。

3.如权利要求1所述的系统，其特征在于，特征提取模块中，对预处理完成后的图像基于病理图像构建图结构数据，具体是：首先使用U-net对细胞核进行分割、得到细胞核的分割；对细胞核分割边界内的图像，提取16个特征，包括内部像素点强度的平均值、偏标准差、偏度、平均熵；平均前景/背景的差分；灰度共生矩阵（GLCM）的相异性、同质性、能量和角二阶矩（ASM）； 离心率;面积；轴的最大长度、最小长度；周长，稳定性（面积与凸包面积之比）；旋转角度等；将这些特征值组成一个特征向量，用作细胞核的特征；由此可以构建图结构的节点，此后根据细胞核之间的位置关系构建图结构的边，给两个距离小于一定阈值(例如设置为100个像素点)的两个核之间赋予一条图结构的边，由此构建完成图结构；

特征提取模块还包含三组图卷积模块，每个图卷积模块由三个串联的Graphsage图卷积操作实现；图卷积模块之间使用DIFFPool结构连接，从而获得复杂度不同的图结构并提取信息；将三个图卷积模块提取的信息进行全局最大池化，转为一维向量，并将他们三个进行拼接，从而融合不同尺度的信息，最终得到一个图像块的特征向量；

具体地，特征提取模块中的特征提取器包含三层结构复杂度不同的图结构，第一层为最初构建的图结构，通过池化的方式获得更简单、并包含高层抽象信息的图结构，优选地选择DiffPool作为池化工具，第二层和第三层分别为上一层得到的图结构经过池化操作后得到更粗略的图结构；使用GraphSage模型作为每一层图结构上的特征提取模型，每层图结构上的卷积操作为三个串联GraphSage，即3-hopGraphsage；

每层图卷积的输出结果使用最大值池化的方法将图结构的特征矩阵转化为向量，并将在三层上获得的向量进行拼接，作为整个图结构的特征向量，它也是图像块的特征向量。

4.如权利要求1所述的系统，其特征在于，图像分类采用基于原型学习的方法对图像块进行分类；为每个类别在特征提取后的特征空间上设置三个原型（共9个原型），使用动态损失函数使得图像块的特征向量尽可能地向对应类别的原型靠近，从而达到更好的图像块分类效果；

具体地，是将获取的特征向量输入全连接层后得到最终特征向量，将特征向量和每一类别的原型进行对比，将图像块分到距离其最近的原型所对应的类别，即：

其中x为特征向量，C为类别数，K为每类包含原型的个数。

5.如权利要求1所述的系统，其特征在于，整片结果确定模块综合一张整张切片上所有图像块的分类结果，得到整片分类的结果；具体地，在得到由图像分类模块得到所有图像块的分类结果后，经过质量控制操作，筛选出具有高置信度的图像块，进行多数投票确定最终的整片类比，即筛选后的图像块中数量最多的类别被确定为整片的分类结果；

具体地，对于由前述权利要求4中的方法获得的整片切片中所有前景图像块的预测标签；将这些标签的置信度从高到低排列，按确定的比例选择置信度最高的图像块（例如选择置信度前50%的图像块），并进行多数投票，图像块数量最多的类别将被作为整片分类结果。

6.如权利要求1所述的系统，其特征在于，所述系统通过机器学习方法进行学习和优化，具体包括如下步骤：

获取训练样本集，所述训练样本集包括多个整片图像；

对各个训练图像分别进行预处理操作，得到预处理后的训练图像块；其中图像块的标签与整片的标签一致；

对各个的训练图像块进行细胞核分割，并构建相应的图结构；对构建好的图结构使用图卷积网络进行特征提取，并使用基于原型学习的模型进行分类；上述网络结构通过Pytorch深度学习框架进行训练获得参数；

并通过多次实验，手动设置模型中的不参与训练的超参数，优选地超参数有：每类原型的个数、进行原型重定位的频率、后处理中质量控制阶段入选图像块置信度阈值；

在训练过程中，基于K-means的原型重分配和动态损失函数的方法来优化模型；

具体地，使用原型重分配是指在迭代若干次后，使用k-means算法对每一类内的原型位置进行强制重定位，得到这类别分布的若干个中心；更具体地，选择每5个轮次进行一次重分配；

动态损失函数中使用DCE损失和MCE损失的组合作为损失函数；在训练开始时，DCE损失在优化中发挥主要作用，可以使模型尽快稳定，而随着实验进行，MCE在损失函数中的占比逐渐增加，使用MCE损失则可以尽量增大类间距，从而在训练的后半程使得模型的决策边界更清晰；具体地，使用

作为损失函数，其中

随着轮次增加逐渐减小。

7.一种基于胃粘膜活检样本对相关病症进行区分的装置，其特征在于，包括：处理器、存储器和通信接口；其中，所述处理器、存储器和通信接口相互间进行通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以执行权利要求1至6任一项权利要求所述的系统。

8.如权利要求7所述的基于胃粘膜活检样本对相关病症进行区分的装置，其特征在于，还包括配套的图像获取设备，以及显示设备如屏幕或者远程结果显示器。

9.一种利用如权利要求7或8所述的装置用于非诊断目的基于胃粘膜活检样本对相关病症进行区分的方法，其包括，获取待测样品的图像，执行所述的计算机程序，获得结果的步骤。

Images