CN112149717A - 基于置信度加权的图神经网络训练方法及装置 - Google Patents

Abstract

本发明提出一种基于置信度加权的图神经网络训练方法及装置，其中，方法包括：从训练样本集中随机选择一个医学图像序列输入至图神经网络模型中，根据从图神经网络模型获取的图像特征向量表示计算医学图像序列中每张医学图像的分类概率值，根据分类概率值计算每张医学图像对应类别的置信度，进而根据分类概率值和置信度计算损失函数，根据损失函数对图神经网络模型的参数进行更新，并在更新参数后的图神经网络模型收敛时输出图神经网络模型。本发明在模型训练过程中分析了医学图像之间的关系，考虑了每张医学图像的分类概率值和分类的置信度，使得标注噪声对损失函数及整个训练过程的影响被减弱，能够得到鲁棒性和准确性都较高的图神经网络。

Description

基于置信度加权的图神经网络训练方法及装置

技术领域

本发明涉及计算机多媒体技术领域，尤其涉及医学图像分类及深度学习技术，更具体地，涉及一种基于置信度加权的图神经网络训练方法及装置。

背景技术

医学图像(如CT图像、MRI图像等)是医学领域一类重要数据，在辅助医生进行诊断、病理研究等方面有举足轻重的作用。利用人工智能技术对医学图像进行智能、自动分析，对提升医疗效率、节省医疗成本、减少患者痛苦等方面有重要意义，将为我国医疗信息化、智能化建设、提高我国医疗水平提供有力保障。其中，针对医学图像的分类是基于医学图像的智能分析中的一个最为基础的任务，它在疾病类型的识别、病灶严重程度的判断、病人恢复状况的量化等多种具体场景中有重要的需求。因此，发展准确的医学图像自动分类方法与系统在实际场景中有急迫的需求和重要的意义。

传统图像识别方法的有效性较弱、准确率较低，无法满足实际医学图像分类应用的需求。近年来，以深度卷积神经网络(Deep Convolutional Neural Networks，)为代表的深度学习(Deep Learning)技术得到长足的发展，并且在计算机视觉领域的多项任务中取得了不俗的效果，包括图像分类、对象检测等。受益于深度卷积神经网络的发展，医学图像自动分类的准确性也得到了提升，离实际应用的要求也越来越近。深度卷积神经网络通过卷积操作来抽取图像的局部特征，再通过多层级联的方式，使得特征能够得到逐步整合，在经过复杂的计算之后，可以得到极具描述力的图像特征，为准确的医学图像分类打下基础。相较于传统的方向梯度直方图(Histogram of Oriented Gradient，HOG)特征、局部二值模式(Local Binary Patterns，LBP)、尺度不变特征变化(Scale Invariant FeatureTransform，SIFT)等，利用深度卷积神经网络抽取的图像特征能更好地挖掘图像数据的细节信息，并且可以通过收集特定的数据集来训练深度卷积神经网络，这种特征抽取方式也更加灵活，能更好地拟合数据。

基于深度卷积神经网络的图像分类方法归属于有监督学习的范畴，即利用足量的有标注数据去训练模型。然而，必须注意到的是，精确的标注数据是包括深度学习在内的诸多学习算法的重要假设。然而医学图像数据由于其复杂性，准确大量的标注数据难以保证。例如，深度卷积网络通常是基于一张CT图像进行诊断，然而对于一个CT序列，将其中的每一张图像都精确地标注将耗费大量的时间。一种折中的方法是通过诊断报告获取一个序列的信息，然后将该信息作为该序列中每一张图像的标签。但实验表明，标注数据中的噪声将会对深度学习等方法的性能带来较大的影响，而将CT序列的诊断报告信息作为每一张图像的标签势必会受到这种影响，因为并不是每一张图像都包含诊断报告中所描述的病例信息。医学图像数据中的标注数据难以获得，是深度学习等图像识别算法应用于该类数据识别任务时必须克服的挑战。

发明内容

针对实际迫切的需求以及现有深度卷积神经网络所面临的挑战，本发明提出一种基于置信度加权的图神经网络训练方法，旨在解决训练过程中医学图像数据存在的标注噪声对模型带来的影响。本发明通过挖掘同一医疗影像序列中图像间的相互关系，建立特征相似性评估模型及时序一致评估模型，通过两个评估模型的加权输出，实现有噪样本的降权，从而削弱标签噪声的影响，提升模型鲁棒性，使其在实际应用中有更高的准确性，提升深度模型在医疗领域的通用性。

本发明第一方面实施例提出了一种基于置信度加权的图神经网络训练方法，包括：

获取医学图像数据集，并对所述医学图像数据集中的医学图像进行标注，以生成训练样本集；

从所述训练样本集中随机选择一个医学图像序列输入至图神经网络模型中，并从所述图神经网络模型获取与所述医学图像序列对应的图像特征向量表示；

根据所述图像特征向量表示，计算所述医学图像序列中每张医学图像的分类概率值；

根据所述每张医学图像的分类概率值，计算所述每张医学图像对应类别的置信度；

根据所述每张医学图像的分类概率值和所述每张医学图像对应类别的置信度，计算损失函数；

根据所述损失函数对所述图神经网络模型的参数进行更新，以使所述损失函数最小化；

判断更新参数后的所述图神经网络模型是否收敛；

若收敛，则确定所述图神经网络模型训练完成，并输出所述图神经网络模型。

本发明第二方面实施例提出了一种基于图神经网络的医学图像分类方法，所述图神经网络通过第一方面实施例所述的基于置信度加权的图神经网络训练方法训练得到，所述方法包括：

获取待分类的医学图像数据；

将所述医学图像数据输入至预先训练得到的图神经网络中，并获取所述图神经网络输出的所述医学图像数据在每个类别上的概率分布；

根据所述概率分布，确定所述医学图像数据所属的目标类别。

本发明第三方面实施例提出了一种基于置信度加权的图神经网络训练装置，包括：

标注模块，用于获取医学图像数据集，并对所述医学图像数据集中的医学图像进行标注，以生成训练样本集；

获取模块，用于从所述训练样本集中随机选择一个医学图像序列输入至图神经网络模型中，并从所述图神经网络模型获取与所述医学图像序列对应的图像特征向量表示；

第一计算模块，用于根据所述图像特征向量表示，计算所述医学图像序列中每张医学图像的分类概率值；

第二计算模块，用于根据所述每张医学图像的分类概率值，计算所述每张医学图像对应类别的置信度；

第三计算模块，用于根据所述每张医学图像的分类概率值和所述每张医学图像对应类别的置信度，计算损失函数；

更新模块，用于根据所述损失函数对所述图神经网络模型的参数进行更新，以使所述损失函数最小化；

判断模块，用于判断更新参数后的所述图神经网络模型是否收敛；

输出模块，用于在所述图神经网络模型收敛时，则确定所述图神经网络模型训练完成，并输出所述图神经网络模型。

本发明第四方面实施例提出了一种基于图神经网络的医学图像分类装置，所述图神经网络通过如第一方面实施例所述的基于置信度加权的图神经网络训练方法训练得到，所述装置包括：

第一获取模块，用于获取待分类的医学图像数据；

第二获取模块，用于将所述医学图像数据输入至预先训练得到的图神经网络中，并获取所述图神经网络输出的所述医学图像数据在每个类别上的概率分布；

确定模块，用于根据所述概率分布，确定所述医学图像数据所属的目标类别。

本发明第五方面实施例提出了一种计算机设备，包括处理器、存储器和存储在所述存储器上并可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，实现如第一方面实施例所述的基于置信度加权的图神经网络训练方法，或者，实现如第二方面实施例所述的基于图神经网络的医学图像分类方法。

本发明第六方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时，实现如第一方面实施例所述的基于置信度加权的图神经网络训练方法，或者，实现如第二方面实施例所述的基于图神经网络的医学图像分类方法。

本发明提供的技术方案，至少可以带来如下有益效果：

本发明针对利用序列级别的标注信息来训练分类网络的场景，对于其中标注存在噪声的信息，通过图神经网络，在训练过程中估计出图像的输出概率，并根据输出概率来计算概率的置信度，并根据该置信度计算概率加权的损失函数，能使标注噪声对损失函数及整个训练过程的影响被减弱，抑制错误标注数据对网络性能带来的影响，使训练好的图神经网络能够准确地挖掘出不同类别的医学图像的特性，从而实现更加有效地特征抽取和更准确的分类。利用复杂多变、存在噪声的医学数据，训练出对噪声鲁棒的深度卷积神经网络，解决在医学图像分类中，医学图像的标注存在噪声(错误标注)对模型训练带来的挑战，得到更加鲁棒的深度卷积神经网络，提升医学图像分类的准确性，从而实现医学图像的准确、鲁棒、自动分类，为疾病类型的识别、病灶严重程度的判断、病人恢复状况的量化等任务打下基础。本发明所提出的基于图神经网络医学图像鲁棒分类方法具有精度高、适用范围广、鲁棒性强等特点，具有较强的实际应用前景。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明一实施例提出的基于置信度加权的图神经网络训练方法的流程示意图；

图2为本发明一实施例提出的基于图神经网络的医学图像分类方法的流程示意图；

图3为本发明一实施例提出的基于置信度加权的图神经网络训练装置的结构示意图；

图4为本发明一实施例提出的基于图神经网络的医学图像分类装置的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本发明实施例的基于置信度加权的图神经网络训练方法及装置。

图1为本发明一实施例提出的基于置信度加权的图神经网络训练方法的流程示意图，该方法可以由本发明提供的基于置信度加权的图神经网络训练装置执行，所述基于置信度加权的图神经网络训练装置可以应用于本发明提供的计算机设备中，所述计算机设备可以是服务器，也可以是台式电脑、笔记本电脑等电子设备。

如图1所示，该基于置信度加权的图神经网络训练方法，可以包括以下步骤：

步骤101，获取医学图像数据集，并对医学图像数据集中的医学图像进行标注，以生成训练样本集。

其中，医学图像数据集中包括大量的医学图像序列，每个医学图像序列可以包括若干个医学图像。

训练深度卷积神经网络需要有足量已标注的数据作为训练样本，本发明实施例中，可以根据实际任务需求获取相关的训练样本来训练深度卷积神经网络。

比如，如果深度卷积神经网络的目的是进行医学图像的分类，则在数据收集时，需要收集很多医学图像序列，并且给每个序列相应的分类标签。比如，针对基于脑CT序列的脑疾病诊断，就需要预先收集很多脑CT图像序列，并定义一个需要识别的目标病理，如急/慢性脑卒中、脑血肿、脑肿瘤等，然后对于每个图像，赋予其相应的类别。这些图像的类别标注信息可以直接通过序列的诊断报告得到。有了这些标注好的图像数据，就可以利用这些标注好的图像数据作为训练样本进行模型训练，以生成用于对医学图像进行分类的模型。但是需要注意的是，由于并非每一张序列都包含目标病理，因此这些标注中往往存在一定比例的噪声，即标注错误。

本发明实施例中，可以针对具体的分类目标，获取相关的医学图像数据集，并通过医学图像数据集中每个医学图像序列对应的诊断报告信息，对对应的医学图像序列中的每张医学图像进行标注，生成训练样本集，其中，训练样本集中包含大量已标注的医学图像。

步骤102，从训练样本集中随机选择一个医学图像序列输入至图神经网络模型中，并从图神经网络模型获取与医学图像序列对应的图像特征向量表示。

图神经网络(Graph Neural Networks，GNN)本质上是一个深度卷积神经网络，其训练的基本流程与训练深度卷积神经网络是一致的，即利用迭代的方式不断优化模型。由于其复杂性和计算资源的限制，每次迭代过程中不可能使用所有数据进行模型更新。一般来说，每次可以从数据集中采样一条医学图像序列进行一次迭代的训练。

本发明实施例中，可以从训练样本集中随机选择一个医学图像序列输入至图神经网络模型中，以对图神经网络模型进行训练，并从图神经网络模型获取与医学图像序列对应的图像特征向量表示。

在本发明实施例中，图神经网络使用的基础深度卷积神经网络结构是DenseNet-40，即一个40层的深度卷积神经网络，其在速度和准确率上都有一定的保证。需要说明的是，本发明使用的模型可以根据具体场景进行修改，在修改模型时，主要是修改卷积层后全连接层的特征数量，即2048维的特征后接一层128维的全连接层。

对于随机选择的一个医学图像序列，记为

其中N是医学图像序列的长度，即该医学图像序列中包含的医学图像的个数，I_i表示医学图像序列I中的第i张医学图像。将该医学图像序列输入至图神经网络模型之后，可以得到一个d＝128维的特征向量，记做

其对应的特征矩阵为

其中，x_i表示与医学图像I_i对应的特征向量。

步骤103，根据图像特征向量表示，计算医学图像序列中每张医学图像的分类概率值。

本实施例中，获取了与医学图像序列对应的图像特征向量表示之后，可以根据获取的图像特征向量表示，计算医学图像序列中每张医学图像的分类概率值。

作为一种可能的实现方式中，根据图像特征向量表示计算分类概率值时，可以根据图像特征向量表示，生成大小为N×N的第一相似性矩阵，第一相似性矩阵中每个元素的值用于衡量医学图像序列中每两个医学图像之间的相似度，N为医学图像序列的长度；根据第一相似性矩阵，生成对应的拉普拉斯图矩阵；根据拉普拉斯图矩阵和图像特征向量表示，确定相似性特征；以及，根据第二相似性矩阵，确定对应的时序一致性特征，第二相似性矩阵根据医学图像序列中医学图像之间的距离生成；进而，根据相似性特征和时序一致性特征，确定医学图像序列中每张医学图像的分类概率值。

其中，第一相似性矩阵中每个元素的值通过如下公式(1)计算得到：

A_i,j＝exp(X_i，X_j-max(X_i·X)) (1)

其中，A_i,j表示第一相似性矩阵中第i行第j列的元素的值，X_i和X_j分别表示医学图像序列的第i张图像与第j张图像的图像特征向量表示，X表示该医学图像序列中所有图像的图像特征向量表示所组成的特征矩阵。

拉普拉斯图矩阵通过如下公式(2)计算得到：

其中，I_n是一个大小为N×N的单位矩阵，A表示第一相似性矩阵，

为矩阵

的度矩阵(对角矩阵)，

表示拉普拉斯图矩阵

中第i行第j列的元素的值。

相似性特征通过如下函数公式(3)表示：

其中，H^F表示相似性特征，σ表示sigmoid激活函数，

表示所述拉普拉斯图矩阵，X表示医学图像序列中所有图像的图像特征向量表示所组成的特征矩阵，W为可学习的参数。

第二相似性矩阵中每个元素的值通过如下公式(4)计算得到：

B_i,j＝exp(-||i-j||) (4)

其中，B_i,j表示第二相似性矩阵中第i行第j列的元素的值，i表示所述医学图像序列中的第i张医学图像，j表示所述医学图像序列中的第j张医学图像。从上述公式(4)可以看出，第二相似性矩阵可以直观地由医学图像序列中医学图像之间的远近距离得到。

本发明实施例中，根据生成的第二相似性矩阵，可以确定出对应的时序一致性特征。具体地，时序一致性特征可以根据与相似性特征类似的计算方法得到，时序一致性特征通过如下函数公式(5)表示：

其中，H^T表示时序一致性特征，σ表示sigmoid激活函数，

表示所述第二相似性矩阵，X表示所述医学图像序列中所有图像的图像特征向量表示所组成的特征矩阵，W为可学习的参数。

接着，确定了相似性特征和时序一致性特征之后，可以根据相似性特征和时序一致性特征，确定医学图像序列中每张医学图像的分类概率值。比如，可以通过平均池化和sigmoid的方式得到每张图像的分类概率值，记为p_i，其中，p_i表示第i张医学图像对应的分类概率值，医学图像序列的分类概率值可以记为

实际实现时，可以通过一个特征相似性评估模块和一个时序一致性评估模块来挖掘同一个影像序列中图像之间的关系，特征相似性评估模块用于生成上述相似性特征，时序一致性评估模块用于生成上述时序一致性特征，这两个模块在计算概率值前提供有效的编码策略，从而提高预测概率的准确性。

对于特征相似性评估模块，先构造一个第一相似性矩阵

该矩阵中每个元素的值通过上述公式(1)计算得到，第一相似性矩阵中元素的值衡量了该序列中两两图像间的相似度，值域在0～1之间，通过这样的一个约束，特征相似的图像将会拥有相似的预测概率。接着，构造第一相似性矩阵A对应的拉普拉斯图矩阵

其计算方法如上述公式(2)所示。最终，对于图卷积网络中的某一层，其输出相似性特征H^F如上述公式(3)所示。每一层图卷积操作中的参数都是可以通过梯度下降的方式来获得，因此，特征相似性评估模块可以由多层图卷积操作堆叠得到。

对于时序一致性评估模块，其第二相似性特征B可以直观地由图像的远近距离得到，第二相似性特征B中每个元素的值可以通过上述公式(4)获得。时序一致性评估模块输出时序一致性特征，记为H^T。

最后，基于H^F和H^T，可以通过平均池化和sigmoid的方式得到每张图像的概率值

步骤104，根据每张医学图像的分类概率值，计算每张医学图像对应类别的置信度。

每张图像的标签置信度可根据每张图像概率的方差来进行计算，因为有了上述相似性特征和时序一致性特征的约束，拥有正确类标的图像的概率值会相对平滑，而错误类标的概率值会方差较大，因此在训练的过程中，可以根据方差值动态地调整每张图像的置信度。

本发明实施例中，根据每张医学图像的分类概率值，计算每张医学图像对应类别的置信度，计算方法如公式(6)所示：

其中，

表示网络(即图神经网络模型)在训练t轮后的对第i张图像包含目标病灶的分类概率值，而此时该张图像(第i张图像)的置信度表示为第1轮到第t轮分类概率值方差的倒数。方差越大，表示图神经网络模型对该张图像的置信程度越低，在求得影像序列所有图像的置信度值后，需要对其进行归一化操作。

步骤105，根据每张医学图像的分类概率值和每张医学图像对应类别的置信度，计算损失函数。

为了更新模型，需要计算损失函数。一般来说，分类任务可以使用交叉熵损失函数，一般的交叉熵损失函数没有考虑标注噪声，因此对标注噪声很敏感，会使模型的性能受到严重影响。

本发明实施例中，将获取的样本权重(即分类概率值)与交叉熵损失函数进行结合作为损失函数。具体而言，p_i为模型的分类概率值输出，q_i∈{0,1}为一个长度为2的由0和1组成的向量，表示样本的类别向量，如果样本属于类别0，则该向量的第一个元素为q_i0＝1，否则q_i0＝0。经过置信度加权的交叉熵损失函数的计算公式如公式(7)所示。

其中，其中，w_i表示第i张图像的置信度，q_i1∈{0,1}表示第i张图像的类标，即是否包含目标病灶，1-有，0-无。而p_i1∈[0,1]则表示网络(即图神经网络模型)对该第i张图像包含目标病灶的分类概率值，p_i0＝1-p_i1,p_i1＝1-p_i0。

在前述步骤中得到的基于置信度的权重，反应了一个样本的标注是正确的置信度，如果置信度高，那么这一样本的损失函数就可以正常计算；如果置信度较低，通过引入权重，则该样本的损失函数对总的损失函数贡献很小，从而对模型更新的影响受到抑制。基于置信度加权的损失函数使得训练过程对标注噪声更加鲁棒，这也是本发明与普通的基于交叉熵损失函数进行深度卷积神经网络分类训练方法的一大区别与优势。

步骤106，根据损失函数对图神经网络模型的参数进行更新，以使损失函数最小化。

本发明实施例中，利用定义的损失函数，即可更新图神经网络，更新的过程是通过对图神经网络的参数进行更新，使损失函数能够最小化。

具体实现中，可以使用开源框架TensorFlow，并利用TensorFlow内嵌的相关操作实现模型的训练。具体来说，本发明通过随机梯度下降(stochastic gradient descent)实现网络的优化。

步骤107，判断更新参数后的图神经网络模型是否收敛。

步骤108，若收敛，则确定图神经网络模型训练完成，并输出图神经网络模型。

本发明实施例中，使用随机梯度下降法来优化图神经网络，该方法是一个迭代式的方法。在初始阶段，在完成一轮对模型的更新之后，再回到步骤102，随机选择新的小批次训练数据，用新的模型抽取特征与概率分布，再进行置信度评估和计算损失函数，再更新模型。经过若干轮的训练之后，模型训练到而一定程度，此时，模型的性能达到最优状态，损失函数无法继续下降，即收敛。而判断收敛的方式只需要计算前后两轮迭代中的损失函数值，若仍在变化，则回到步骤102继续迭代训练网络；若损失函数值没有显著变化，则可认为模型收敛，此时确定图神经网络模型训练完成，停止训练，输出得到的模型。

本实施例的基于置信度加权的图神经网络训练方法，通过获取医学图像数据集，并对医学图像数据集中的医学图像进行标注以生成训练样本集，从训练样本集中随机选择一个医学图像序列输入至图神经网络模型中，并从图神经网络模型获取与医学图像序列对应的图像特征向量表示，根据图像特征向量表示，计算医学图像序列中每张医学图像的分类概率值，根据每张医学图像的分类概率值，计算每张医学图像对应类别的置信度，进而根据每张医学图像的分类概率值和每张医学图像对应类别的置信度计算损失函数，根据损失函数对图神经网络模型的参数进行更新，以使损失函数最小化，判断更新参数后的图神经网络模型是否收敛，并在收敛时输出图神经网络模型，由此，在模型训练过程中分析了医学图像之间的关系，并在损失函数计算时考虑了每张医学图像的分类概率值和分类的置信度，使得标注噪声对损失函数及整个训练过程的影响被减弱，实现了在标注数据存在噪声的环境下的模型鲁棒训练，能够得到鲁棒性和准确性都较高的图神经网络，为后续更准确地分类识别奠定了良好基础。

为了实现上述实施例，本发明还提出一种基于图神经网络的医学图像分类方法。

图2为本发明一实施例提出的基于图神经网络的医学图像分类方法的流程示意图，该方法可以由本发明提供的基于图神经网络的医学图像分类装置执行，所述基于图神经网络的医学图像分类装置可以应用于本发明提供的计算机设备中，所述计算机设备可以是服务器，也可以是台式电脑、笔记本电脑等电子设备。

如图2所示，该基于图神经网络的医学图像分类方法，可以包括以下步骤：

步骤201，获取待分类的医学图像数据。

其中，医学图像数据中包括至少一张医学图像。

步骤202，将医学图像数据输入至预先训练得到的图神经网络中，并获取图神经网络输出的医学图像数据在每个类别上的概率分布。

其中，本实施例的图神经网络通过前述实施例所述的基于置信度加权的图神经网络训练方法训练得到，该图神经网络受到标注噪声的影响较小，具有较高的分类准确性和鲁棒性。

本实施例中，获取了待分类的医学图像数据之后，可以将医学图像数据输入至预先训练好的图神经网络中，由图神经网络进行相关计算，并输出该医学图像数据在若干目标类别上的概率分布，概率分布反映了该医学图像数据属于这些类别的可能性。

步骤203，根据概率分布，确定医学图像数据所属的目标类别。

本发明实施例中，获取了图神经网络输出的医学图像数据在每个类别上的概率分布之后，可以根据该概率分布，确定医学图像数据所属的目标类别。

通常，选择概率最大的那一类别作为医学图像数据所属的目标类别，并将确定的目标类别作为分类结果输出。

本实施例的基于图神经网络的医学图像分类方法，通过获取待分类的医学图像数据，将医学图像数据输入至预先训练得到的图神经网络中，并获取图神经网络输出的医学图像数据在每个类别上的概率分布，根据概率分布，确定医学图像数据所属的目标类别，由此，实现了准确、鲁棒、自动地医学图像分类，为疾病类型的识别、病灶严重程度的判断、病人恢复状况的量化等任务奠定了基础。

为了实现上述实施例，本发明还提出了一种基于置信度加权的图神经网络训练装置。

图3为本发明一实施例提出的基于置信度加权的图神经网络训练装置的结构示意图，如图3所示，该基于置信度加权的图神经网络训练装置30包括：标注模块310、获取模块320、第一计算模块330、第二计算模块340、第三计算模块350、更新模块360、判断模块370和输出模块380。

其中，标注模块310，用于获取医学图像数据集，并对所述医学图像数据集中的医学图像进行标注，以生成训练样本集。

获取模块320，用于从所述训练样本集中随机选择一个医学图像序列输入至图神经网络模型中，并从所述图神经网络模型获取与所述医学图像序列对应的图像特征向量表示。

第一计算模块330，用于根据所述图像特征向量表示，计算所述医学图像序列中每张医学图像的分类概率值。

第二计算模块340，用于根据所述每张医学图像的分类概率值，计算所述每张医学图像对应类别的置信度。

第三计算模块350，用于根据所述每张医学图像的分类概率值和所述每张医学图像对应类别的置信度，计算损失函数。

更新模块360，用于根据所述损失函数对所述图神经网络模型的参数进行更新，以使所述损失函数最小化。

判断模块370，用于判断更新参数后的所述图神经网络模型是否收敛。

输出模块380，用于在所述图神经网络模型收敛时，则确定所述图神经网络模型训练完成，并输出所述图神经网络模型。

进一步地，在本发明实施例一种可能的实现方式中，第一计算模块330具体用于：

根据所述图像特征向量表示，生成大小为N×N的第一相似性矩阵，所述第一相似性矩阵中每个元素的值用于衡量所述医学图像序列中每两个医学图像之间的相似度，N为所述医学图像序列的长度；

根据所述第一相似性矩阵，生成对应的拉普拉斯图矩阵；

根据所述拉普拉斯图矩阵和所述图像特征向量表示，确定相似性特征；

根据第二相似性矩阵，确定对应的时序一致性特征，所述第二相似性矩阵根据所述医学图像序列中医学图像之间的距离生成；

根据所述相似性特征和所述时序一致性特征，确定所述医学图像序列中每张医学图像的分类概率值；

其中，所述第一相似性矩阵中每个元素的值通过上述公式(1)计算得到；拉普拉斯图矩阵通过上述公式(2)计算得到；所述相似性特征通过上述函数公式(3)表示；所述第二相似性矩阵中每个元素的值通过上述公式(4)计算得到；时序一致性特征通过上述公式(5)计算得到。

在本发明实施例一种可能的实现方式中，第二计算模块340具体用于：通过上述公式(6)计算得到每张医学图像对应类别的置信度。

在本发明实施例一种可能的实现方式中，第三计算模块350具体用于利用上述公式(7)计算损失函数。

需要说明的是，前述对基于置信度加权的图神经网络训练方法实施例的解释说明也适用于本实施例的基于置信度加权的图神经网络训练装置，其实现原理类似，此处不再赘述。

本发明实施例的基于置信度加权的图神经网络训练装置，通过获取医学图像数据集，并对医学图像数据集中的医学图像进行标注以生成训练样本集，从训练样本集中随机选择一个医学图像序列输入至图神经网络模型中，并从图神经网络模型获取与医学图像序列对应的图像特征向量表示，根据图像特征向量表示，计算医学图像序列中每张医学图像的分类概率值，根据每张医学图像的分类概率值，计算每张医学图像对应类别的置信度，进而根据每张医学图像的分类概率值和每张医学图像对应类别的置信度计算损失函数，根据损失函数对图神经网络模型的参数进行更新，以使损失函数最小化，判断更新参数后的图神经网络模型是否收敛，并在收敛时输出图神经网络模型，由此，在模型训练过程中分析了医学图像之间的关系，并在损失函数计算时考虑了每张医学图像的分类概率值和分类的置信度，使得标注噪声对损失函数及整个训练过程的影响被减弱，实现了在标注数据存在噪声的环境下的模型鲁棒训练，能够得到鲁棒性和准确性都较高的图神经网络，为后续更准确地分类识别奠定了良好基础。

为了实现上述实施例，本发明还提出一种基于图神经网络的医学图像分类装置。

图4为本发明一实施例提出的基于图神经网络的医学图像分类装置的结构示意图，其中，本实施例的图神经网络通过前述实施例所述的基于置信度加权的图神经网络训练方法训练得到。如图4所示，该基于图神经网络的医学图像分类装置40包括：第一获取模块410、第二获取模块420和确定模块430。

其中，第一获取模块410，用于获取待分类的医学图像数据。

第二获取模块420，用于将所述医学图像数据输入至预先训练得到的图神经网络中，并获取所述图神经网络输出的所述医学图像数据在每个类别上的概率分布。

确定模块430，用于根据所述概率分布，确定所述医学图像数据所属的目标类别。

需要说明的是，前述对基于图神经网络的医学图像分类方法实施例的解释说明也适用于本实施例的基于图神经网络的医学图像分类装置，其实现原理类似，此处不再赘述。

本实施例的基于图神经网络的医学图像分类装置，通过获取待分类的医学图像数据，将医学图像数据输入至预先训练得到的图神经网络中，并获取图神经网络输出的医学图像数据在每个类别上的概率分布，根据概率分布，确定医学图像数据所属的目标类别，由此，实现了准确、鲁棒、自动地医学图像分类，为疾病类型的识别、病灶严重程度的判断、病人恢复状况的量化等任务奠定了基础。

为了实现上述实施例，本发明还提出一种计算机设备，包括处理器、存储器和存储在所述存储器上并可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，实现如前述实施例所述的基于置信度加权的图神经网络训练方法，或者，实现如前述实施例所述的基于图神经网络的医学图像分类方法。

为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时，实现如前述实施例所述的基于置信度加权的图神经网络训练方法，或者，实现如前述实施例所述的基于图神经网络的医学图像分类方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种基于置信度加权的图神经网络训练方法，其特征在于，包括：

获取医学图像数据集，并对所述医学图像数据集中的医学图像进行标注，以生成训练样本集；

从所述训练样本集中随机选择一个医学图像序列输入至图神经网络模型中，并从所述图神经网络模型获取与所述医学图像序列对应的图像特征向量表示；

根据所述图像特征向量表示，计算所述医学图像序列中每张医学图像的分类概率值；

根据所述每张医学图像的分类概率值，计算所述每张医学图像对应类别的置信度；

根据所述每张医学图像的分类概率值和所述每张医学图像对应类别的置信度，计算损失函数；

根据所述损失函数对所述图神经网络模型的参数进行更新，以使所述损失函数最小化；

判断更新参数后的所述图神经网络模型是否收敛；

若收敛，则确定所述图神经网络模型训练完成，并输出所述图神经网络模型。

2.根据权利要求1所述的方法，其特征在于，所述根据所述图像特征向量表示，计算所述医学图像序列中每张医学图像的分类概率值，包括：

根据所述图像特征向量表示，生成大小为N×N的第一相似性矩阵，所述第一相似性矩阵中每个元素的值用于衡量所述医学图像序列中每两个医学图像之间的相似度，N为所述医学图像序列的长度；

根据所述第一相似性矩阵，生成对应的拉普拉斯图矩阵；

根据所述拉普拉斯图矩阵和所述图像特征向量表示，确定相似性特征；

根据第二相似性矩阵，确定对应的时序一致性特征，所述第二相似性矩阵根据所述医学图像序列中医学图像之间的距离生成；

根据所述相似性特征和所述时序一致性特征，确定所述医学图像序列中每张医学图像的分类概率值；

其中，所述第一相似性矩阵中每个元素的值通过如下公式计算得到：

A_i,j＝exp(X_i，X_j-max(X_i·X))；

其中，A_i,j表示第一相似性矩阵中第i行第j列的元素的值，X_i和X_j分别表示所述医学图像序列的第i张图像与第j张图像的图像特征向量表示，X表示所述医学图像序列中所有图像的图像特征向量表示所组成的特征矩阵。

所述拉普拉斯图矩阵通过如下公式计算得到：

其中，I_n是一个大小为N×N的单位矩阵，A表示第一相似性矩阵，

为矩阵

的度矩阵，

所述相似性特征通过如下函数表示：

其中，H^F表示相似性特征，σ表示sigmoid激活函数，

表示所述拉普拉斯图矩阵，X表示所述医学图像序列中所有图像的图像特征向量表示所组成的特征矩阵，W为可学习的参数；

所述第二相似性矩阵中每个元素的值通过如下公式计算得到：

B_i,j＝exp(-||i-j||)；

其中，B_i,j表示第二相似性矩阵中第i行第j列的元素的值，i表示所述医学图像序列中的第i张医学图像，j表示所述医学图像序列中的第j张医学图像；

所述时序一致性特征通过如下函数表示：

其中，H^T表示时序一致性特征，σ表示sigmoid激活函数，

表示所述第二相似性矩阵，X表示所述医学图像序列中所有图像的图像特征向量表示所组成的特征矩阵，W为可学习的参数。

3.根据权利要求2所述的方法，其特征在于，所述根据所述每张医学图像的分类概率值，计算所述每张医学图像对应类别的置信度，包括：

通过如下公式计算得到所述每张医学图像对应类别的置信度：

其中，

表示网络在训练t轮后的对第i张图像包含目标病灶的分类概率值。

4.根据权利要求3所述的方法，其特征在于，所述根据所述每张医学图像的分类概率值和所述每张医学图像对应类别的置信度，计算损失函数，包括：

利用如下公式计算所述损失函数：

其中，w_i表示第i张图像的置信度，q_i1∈{0,1}表示所述第i张图像的类标，；p_i1∈[0,1]则表示网络对所述第i张图像包含目标病灶的分类概率值，p_i0＝1-p_i1,p_i1＝1-p_i0。

5.一种基于图神经网络的医学图像分类方法，其特征在于，所述图神经网络通过如权利要求1-4任一所述的基于置信度加权的图神经网络训练方法训练得到，所述方法包括：

获取待分类的医学图像数据；

将所述医学图像数据输入至预先训练得到的图神经网络中，并获取所述图神经网络输出的所述医学图像数据在每个类别上的概率分布；

根据所述概率分布，确定所述医学图像数据所属的目标类别。

6.一种基于置信度加权的图神经网络训练装置，其特征在于，包括：

标注模块，用于获取医学图像数据集，并对所述医学图像数据集中的医学图像进行标注，以生成训练样本集；

获取模块，用于从所述训练样本集中随机选择一个医学图像序列输入至图神经网络模型中，并从所述图神经网络模型获取与所述医学图像序列对应的图像特征向量表示；

第一计算模块，用于根据所述图像特征向量表示，计算所述医学图像序列中每张医学图像的分类概率值；

第二计算模块，用于根据所述每张医学图像的分类概率值，计算所述每张医学图像对应类别的置信度；

第三计算模块，用于根据所述每张医学图像的分类概率值和所述每张医学图像对应类别的置信度，计算损失函数；

更新模块，用于根据所述损失函数对所述图神经网络模型的参数进行更新，以使所述损失函数最小化；

判断模块，用于判断更新参数后的所述图神经网络模型是否收敛；

输出模块，用于在所述图神经网络模型收敛时，则确定所述图神经网络模型训练完成，并输出所述图神经网络模型。

7.一种基于图神经网络的医学图像分类装置，其特征在于，所述图神经网络通过如权利要求1-4任一所述的基于置信度加权的图神经网络训练方法训练得到，所述装置包括：

第一获取模块，用于获取待分类的医学图像数据；

第二获取模块，用于将所述医学图像数据输入至预先训练得到的图神经网络中，并获取所述图神经网络输出的所述医学图像数据在每个类别上的概率分布；

确定模块，用于根据所述概率分布，确定所述医学图像数据所属的目标类别。

8.一种计算机设备，其特征在于，包括处理器、存储器和存储在所述存储器上并可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，实现如权利要求1-4任一项所述的基于置信度加权的图神经网络训练方法，或者，实现如权利要求5所述的基于图神经网络的医学图像分类方法。

9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序被处理器执行时，实现如权利要求1-4任一项所述的基于置信度加权的图神经网络训练方法，或者，实现如权利要求5所述的基于图神经网络的医学图像分类方法。

Images