CN110807495A - 多标签分类方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种多标签分类方法、装置、电子设备及存储介质，该方法包括获取待分类医学图像，并将待分类医学图像输入至预先训练的第一卷积网络，获得与标签信息对应的特征信息，标签信息为根据分类需求预先确定的信息；将特征信息输入至预先训练的第二卷积网络，获得待分类医学图像的多标签分类结果，第二卷积网络为图卷积网络，而图卷积网络的映射函数是基于特征信息和标签信息之间的关系矩阵训练得到的。本申请根据标签信息提取待分类医学图像的特征信息，此时特征信息之间是互相孤立的，当将标签信息的关系矩阵引入对特征信息的处理过程后，由于考虑到了同一特征信息可能对应多个标签，避免了分类时标签的缺失，提升了图像多标签分类的精度。

Description

多标签分类方法、装置、电子设备及存储介质

技术领域

本申请一般涉及图像处理技术领域，具体涉及一种多标签分类方 法、装置、电子设备及存储介质。

背景技术

医学影像(Medical Image)由于具有非入侵性的优势而被广泛应 用于人体器官或组织的成像和观测，常见的医学影像包括心电图、脑 电图、光学摄影、计算机断层摄影(Computed Tomography，CT)和 磁共振成像(Magnetic Resonance Imaging，MRI)等。

在医学影像的处理过程中，主要包含医学成像系统和医学图像处 理两个方向，其中医学图像处理用于对已经获得的图像做进一步处理， 比如使原来不够清晰的图像复原，或者对图像做多标签分类等。对于 多标签分类而言，目前的解决方法是对每个标签进行独立地分类，也 就是将对p个标签的分类拆解为p个二分类问题。

在实现本发明的过程中，发明人发现现有技术中至少存在如下问 题：同一张医学影像可能存在多种疾病，即对应于多个标签，而有些 标签之间是存在相互关联的，因此独立分类会造成标签的缺失，进而 降低图像多标签分类的精度。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种多标签分类方 法、装置、电子设备及存储介质，能够提升图像多标签分类的精度。

第一方面，本申请提供一种多标签分类方法，包括：

获取待分类医学图像；

将所述待分类医学图像输入至预先训练的第一卷积网络，获得与 标签信息对应的特征信息，所述标签信息为根据分类需求预先确定的 信息；

将所述特征信息输入至预先训练的第二卷积网络，获得所述待分 类医学图像的多标签分类结果，所述第二卷积网络为图卷积网络，所 述图卷积网络的映射函数是基于所述特征信息和所述标签信息之间的 关系矩阵训练得到的。

第二方面，本申请提供一种多标签分类装置，包括：

获取模块，用于获取待分类医学图像；

特征提取模块，用于将所述待分类医学图像输入至预先训练的第 一卷积网络，获得与标签信息对应的特征信息，所述标签信息为根据 分类需求预先确定的信息；

分类模块，用于将所述特征信息输入至预先训练的第二卷积网络， 获得所述待分类医学图像的多标签分类结果，所述第二卷积网络为图 卷积网络，所述图卷积网络的映射函数是基于所述特征信息和所述标 签信息之间的关系矩阵训练得到的。

第三方面，本申请提供一种电子设备，所述电子设备包括处理器 和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码 集或指令集，所述指令、所述程序、所述代码集或所述指令集由所述 处理器加载并执行以实现如第一方面所述的多标签分类方法的步骤。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可 读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一 个或者多个处理器执行，以实现如第一方面所述的多标签分类方法的 步骤。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请实施例提供了一种多标签分类方法，获取待分类医学图像， 并将待分类医学图像输入至预先训练的第一卷积网络，获得与标签信 息对应的特征信息，其中标签信息为根据分类需求预先确定的信息； 进而，将特征信息输入至预先训练的第二卷积网络，获得待分类医学 图像的多标签分类结果，其中第二卷积网络为图卷积网络，而图卷积 网络的映射函数是基于特征信息和标签信息之间的关系矩阵训练得到 的。本申请实施例根据标签信息提取待分类医学图像的特征信息，此 时特征信息之间是互相孤立的，当将标签信息之间的关系矩阵引入对 特征信息的处理过程后，由于考虑到了同一特征信息可能对应多个标 签，避免了分类时标签的缺失，提升了图像多标签分类的精度。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述， 本申请的其它特征、目的和优点将会变得更明显：

图1为本申请实施例提供的一种多标签分类方法的应用场景示意 图；

图2为本申请实施例提供的一种多标签分类方法的基本流程示意 图；

图3为本申请实施例提供的一种基于Dense Net结构的第一卷积网 络示意图；

图4为图3的Dense Block结构示意图；

图5为图3的第一卷积网络的训练结构示意图；

图6为本申请实施例提供的一种图卷积网络的示意图；

图7为本申请实施例提供的一种多标签分类网络整体结构示意图；

图8为本申请实施例提供的一种多标签分类装置的基本结构示意图；

图9为本申请实施例提供的一种电子设备的基本结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本 申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整 地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全 部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的 范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第 二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必 用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情 况下可以互换，以便描述的本申请的实施例能够以除了在这里图示或 描述的那些以外的顺序实施。

此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖 不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、 产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有 清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或 模块。

为了便于理解本申请实施例提供的多标签分类方法，下面结合实 际应用场景对该多标签分类方法进行介绍。

请参考图1，其为本申请实施例提供的一种多标签分类方法的应 用场景示意图。如图1所示，在该应用场景中，包括终端101和服务 器102，终端101和服务器102信号连接。信号连接的方式包括有线 接口连接以及无线互联网连接，而无线互联网连接可以包括但不限于 Wi-Fi、无线宽带、全球微波互联接入和蓝牙、射频识别和超宽带等技 术。

其中，终端101用于采集图像，并发送至服务器102，该终端101 具体可以包括但不限于医疗检测设备、个人数字助理(Personal Digital Assistant，PDA)、平板电脑(TabletComputer)、无线手持设备和手机 等，本申请实施例对此不做限定。服务器102能够对所接收的图像进 行多标签分类，其可以为独立的服务器，也可以为由多个服务器组成 的服务器集群或者云计算中心。

需要说明的是，本实施例中的图像为医学影像。比如，对于同一 张医学影像而言，其中可能存在多种疾病，即对应多个标签，由于有 些疾病之间是存在相互关联的，例如高血压可能会伴随着中风或脑出 血，本申请实施例提供的多标签分类方法能够利用标签之间的相关关 系进行分类，以此提升了分类的精度。

为了便于理解和说明，下面通过图2至图9详细的阐述本申请实 施例提供的多标签分类方法、装置、电子设备及存储介质。

请参考图2，其为本申请实施例提供的一种多标签分类方法的基 本流程示意图，该多标签分类方法包括以下步骤：

S201，获取待分类医学图像。

需要说明的是，本实施例可应用于医学图像处理场景。随着医疗 检测设备的不断研究发展以及检测技术的不断提升，医学影像数据呈 现井喷式爆发。通过医疗检测设备可以获取大量的医学图像，因此该 医学图像可以包括但不限于计算机断层扫描(computedtomography, CT)图像、核磁共振成像(magnetic resonance imaging，MRI)图像以 及超声(ultrasonic,US)图像等，而待分类医学图像具体可以是肺部 图像、胃部图像、脑部图像、肝脏图像或者心脏图像等。

S202，将待分类医学图像输入至预先训练的第一卷积网络，获得 与标签信息对应的特征信息，该标签信息为根据分类需求预先确定的 信息。

举例说明，当待分类医学图像为脑部图像时，对于该脑部图像而 言，其中可能存在多种疾病类型，比如脑出血、中风和高血压。其中， 一个疾病类型对应一个标签信息。本实施例通过第一卷积网络分别提 取该多个标签信息对应的特征信息，此时特征信息之间是互相孤立的。

需要说明的是，第一卷积网络为卷积网络进行多标签特征提取建 模，并训练得到的针对多标签的特征提取网络。其中，第一卷积网络 能够用于图像特征提取，且最后一层为p个并行的全连接层。该第一 卷积网络可以包括但不限于Dense Net、Res Net，Inception Net和VGG 等，并将这些网络的最后一层替换为p个并行的全连接层。

举例说明，为了说明的便利将本实施例中的第一卷积网络划分为 预先训练的第一特征提取单元和预先训练的第二特征提取单元，其中 第一特征提取单元实现该第一卷积网络的卷积算法，而第二特征提取 单元实现该第一卷积网络的全连接算法。因此，本实施例利用第一特 征提取单元提取待分类医学图像的第一特征信息，并利用第二特征提 取单元对第一特征信息分别进行针对标签信息的二次特征提取，获得 标签信息对应的第二特征信息，其中标签信息与全连接层一一对应， 该标签信息用于表示疾病的类型。

下面请参考图3，以基于Dense Net结构的第一卷积网络为例进行 详细地说明。Dense Net包括若干个Dense Block，该若干个Dense Block 形成本实施例的第一特征提取单元，如图3的虚线框301为该第一特 征提取单元。又如图4所示，其为本申请实施例提供的一种Dense Block 结构示意图，该Dense Block由5对卷积层组构成，用于提取待分类 医学图像的第一特征信息。其中，每对卷积层组中的第一层卷积核尺 寸为1×1，第二层卷积核尺寸为3×3，此对卷积层组的输出会和之前 所有卷积层组的输出并联，作为下一对卷积层组的输入。而第二特征 提取单元为Dense Net结构最后一层的p个并行的全连接层(FC)，如图3的虚线框302为该第二特征提取单元。所以待分类医学图像经过 第一卷积网络的处理之后，可以得到与标签信息对应的特征信息。假 设标签个数为p，比如标签1、标签2、……标签p，该Dense Net网 络在级联了4个Dense Block之后，所提取的特征信息转换为一维特征向量，并通过p个相互独立的全连接层对应提取了p个第二特征信 息，作为第二卷积网络的输入。本实施例通过将常规Dense Net网络 的最后一层替换为p个并行的全连接层，能够更加有针对性地提取用 于描述不同标签的第二特征信息。

需要说明的是，第一卷积网络的具体训练过程包括：增加分类用 全连接层，该分类用全连接层与标签信息一一对应；样本医学图像经 第一卷积网络的全连接层提取第二特征信息之后，该第二特征信息分 别输入至对应的分类用全连接层，并分别输出对应的分类结果；进而， 通过分类结果调整第一卷积网络的参数，使得各分类用全连接层输出 正确的分类结果。

如图5所示，给出图3中第一卷积网络的训练结构示意图。需要 说明的是，在针对标签信息进行特征提取的全连接层(FC)之后，增 加了用于分类的全连接层(FC)’来进行分类，如图5的虚线框303 为该分类用全连接层。训练中，输入具有某个标签特征的样本医学图 像，经过第一次特征提取、第二次特征提取和全连接层(FC)’分类后， 应输出该标签值为真，否则调整第二卷积网络的参数继续训练，直到 输出正确的分类结果。此处的参数包括第一特征提取单元和第二特征 提取单元的参数。

S203，将特征信息输入至预先训练的第二卷积网络，获得待分类 医学图像的多标签分类结果。

需要说明的是，仍以上述的脑部图像为例。事实上，由于有些疾 病类型之间是存在相互关联的，例如高血压可能会伴随着中风或者脑 出血，换言之在脑部图像中出现高血压的特征信息时，极有可能也会 出现中风或者脑出血的特征信息。因此，本实施例将反映标签信息之 间联系的关系矩阵引入第二卷积网络，用以对特征信息进行相关性的 处理。由于考虑到了同一特征信息可能对应多个标签信息，从而避免 了分类时标签的缺失，提升了图像多标签分类的精度。

其中，第二卷积网络为图卷积网络(Graph Convolutional Network， GCN)，图卷积网络的映射函数是基于特征信息和标签信息之间的关系 矩阵训练得到的。

具体的，本实施例利用第二卷积网络中前_a-1个卷积层的映射函 数对特征信息进行变换得到新特征信息，其中第二卷积网络包括a个 卷积层，a为大于或者等于2的自然数；进而，利用第二卷积网络中 最后一个卷积层的映射函数对输入至该卷积层的特征信息进行降维处 理，并输出对标签分类结果；其中，映射函数的输入包括前一个卷积 层的特征信息和预先确定的关系矩阵。

可选地，本实施例中图卷积网络的映射函数如下：

D′＝h(CDW)

其中，h为非线性激活函数，比如ReLU或者LeakyReLU，D为每 个标签对应的特征信息，C为关系矩阵，W为通过训练获得的转换矩阵， D′为经变换后的新特征信息。

而关系矩阵通过以下步骤确定：首先，统计训练集中同时具有任 意两个标签信息的样本医学图像数量n，以及具有其中之一标签信息 的样本医学图像数量m；进而，根据样本医学图像数量n和样本医学 图像数量m，确定关系矩阵。比如，关系矩阵C中，每个元素c_i，j∈[0，1]定 义为已知样本具有标签i的情况下同时具有标签j的概率，即

其中，n表示同时具有标签i和j的样本医学图像数量，m表示所 有样本中具有标签i的样本医学图像数量。由于P(L_j|L_i)≠P(L_i|L_j)， 因此该关系矩阵C为非对称矩阵。

举例说明，如图6所示，其为本申请实施例提供的一种图卷积网 络的示意图。图6中每个圆柱体表示针对某个标签所提取的特征信息， 有箭头连接表示这两个标签之间存在相关关系，反之则表示这两个标 签无关。d₁，d₂…d₅表示第一卷积网络所提取的不同标签对应的特征 信息，在经过第二卷积网络即图卷积网络之后，标签之间的相关关系 不发生改变，而每个标签的特征信息发生改变，得到d₁’，d₂’…d₅’。 不同于循环神经网络(Recurrent Neural Network，RNN)同一时间只 能引入相邻两个标签的关联信息，本实施例通过使用图卷积网络，所 有标签间的相关关系都能被同时引入到分类网络中。

需要说明的是，本实施例中的图卷积网络包括多个卷积层，而每 一个卷积层的输入都为前一卷积层的特征信息和预先确定的关系矩阵。 但对于每个卷积层的映射函数而言，自变量D和W是不相同的。原因 在于，卷积层的作用是深层次提取输入的不同特征信息，第一层卷积 层可能只能提取一些低级的特征，比如边缘、线条和角等层级，而后 面的卷积层则能从低级特征中迭代提取更复杂的特征，并在最终的卷 积层中通过调整W来进行降维，使得最终输出一维向量，即得到多个 标签的分类结果。

示例性地，以图卷积网络包含两个卷积层和5个标签为例进行说 明。图卷积网络中第一卷积层的映射函数为D′＝h(CDW₁)，第二卷积 层的映射函数为

其中，D∈R^l×s代表图卷积的所有输入 特征信息，l为标签的数量，s为对应标签的第二特征向量的维度。当 用于表示标签信息的关系矩阵C和各特征信息D经过第一卷积层的处 理之后，得到多维度的特征信息D′，进而还需要通过第二卷积层的降 维处理，得到一维的标签概率，即多标签分类结果，标签数量为5个， 如有标签1、标签2、标签3、标签4和标签5，获得的标签概率为(0， 0.6，0.2，0，0.8)，则说明待分类图像可能的标签为标签2、标签3 和标签5。当然，本实施例还能够将标签分数与预设阈值进行比较， 确定最终的分类结果。当标签分数大于或者等于预设阈值时，标签分 数转换为1，而当标签分数小于预设阈值时，标签分数转换为0，如上 述示例，预设阈值为0.5时，分类结果为(0，1，0，0，1)，也就是 该图像属于标签2和标签5的分类。实际应用中对应图卷积网络的卷 积层数以及标签数量不做限定，可根据需求设定其数量。

为便于更好地理解本申请实施例，如图7所示，其为多标签分类 网络整体结构示意图。该多标签分类网络包括第一卷积网络和第二卷 积网络，而这两个卷积网络之间相互级联，网络训练过程也分为两部 分进行。在第一卷积网络之后接入p个相互独立的全连接层(Fully Connected layers，FC)，通过p个全连接层提取了p个特征信息，每 个全连接层与标签信息一一对应。从而保证了所提取特征信息对于相 应标签的针对性。当第一卷积网络预训练完成时，通过端对端 (end-to-end)的方式对如图7所示多标签分类网络中的所有参数同时 进行训练，这样不仅将第二卷积网络中标签间的关系矩阵引入到了分 类过程中，还可以通过反向传播(back propagation)优化第一卷积网 络的特征提取参数，从而使得所提取特征信息也能体现标签之间的相 互联系，进一步提升了多标签分类的精度。

需要说明的是，在多标签分类网络的训练过程中，如果样本K对 于标签i的判定结果为真，则

反之则

因此，标定结果Y 是一个由0和1组成的一维向量。

另外，本申请实施例采用加权二元交叉熵(Weighted Binary Cross Entropy，WBCE)作为损失函数。即假设待分类图像的特征描述子 为D，其标签为Y＝{y₁，y₂，…，y_n}，多标签分类网络函数为f，则损失 函数定义为：

其中，w_i，+表示正样本权重，定义为对于标签i，总样本个数除以 判定为真的样本个数；而w_i，-表示负样本权重，定义为总样本个数除 以对于标签i判定为假的样本个数。

同时，本申请实施例采用基于Adam的梯度下降法更新第二卷积 网络的参数。比如，Adam中的betas＝(0.95，0.9995)，初始学习率为 0.001，并且每经过20个周期(epoch)缩小为十分之一，总共训练60 个周期，批大小(batchsize)为25。

本申请实施例提供的多标签分类方法，获取待分类医学图像，并 将待分类医学图像输入至预先训练的第一卷积网络，获得与标签信息 对应的特征信息，其中标签信息为根据分类需求预先确定的信息；进 而，将特征信息输入至预先训练的第二卷积网络，获得待分类医学图 像的多标签分类结果，其中第二卷积网络为图卷积网络，而图卷积网 络的映射函数是基于特征信息和标签信息之间的关系矩阵训练得到的。 本申请实施例根据标签信息提取待分类医学图像的特征信息，此时特 征信息之间是互相孤立的，当将标签信息之间的关系矩阵引入对特征 信息的处理过程后，由于考虑到了同一特征信息可能对应多个标签， 避免了分类时标签的缺失，提升了图像多标签分类的精度。

基于前述实施例，本申请实施例提供一种多标签分类装置。该多 标签分类装置能够用于图2～7对应的多标签分类方法中，如图8所示， 多标签分类装置8包括：

获取模块81，用于获取待分类医学图像；

特征提取模块82，用于将待分类医学图像输入至预先训练的第一 卷积网络，获得与标签信息对应的特征信息，标签信息为根据分类需 求预先确定的信息；

分类模块83，用于将特征信息输入至预先训练的第二卷积网络， 获得待分类医学图像的多标签分类结果，第二卷积网络为图卷积网络， 图卷积网络的映射函数是基于特征信息和标签信息之间的关系矩阵训 练得到的。

可选地，特征提取模块82具体用于：

利用第一卷积网络的卷积算法，提取待分类医学图像的第一特征 信息；

利用第一卷积网络的全连接算法，对第一特征信息分别进行针对 标签信息的二次特征提取，获得标签信息对应的第二特征信息，其中 标签信息与第一卷积网络的全连接层一一对应，标签信息用于表示疾 病的类型。

可选地，第一卷积网络的训练过程包括：

增加分类用全连接层，分类用全连接层与标签信息一一对应；

样本医学图像经第一卷积网络的全连接层提取第二特征信息之后， 第二特征信息分别输入至对应的分类用全连接层，并分别输出对应的 分类结果；

通过分类结果调整第一卷积网络的参数，使得各分类用全连接层 输出正确的分类结果。

可选地，分类模块83具体用于：

利用第二卷积网络中前a-1个卷积层的映射函数对特征信息进行 变换得到新特征信息，其中第二卷积网络包括a个卷积层，a为大于 或者等于2的自然数；

利用第二卷积网络中最后一个卷积层的映射函数对输入至该卷积 层的特征信息进行降维处理，输出多标签分类结果；

其中，映射函数的输入包括前一个卷积层的特征信息和预先确定 的关系矩阵。

可选地，映射函数如下：

D′＝h(CDW)

其中，h为非线性激活函数，C为关系矩阵，D为标签信息对应的 特征信息，W为通过训练获得的转换矩阵，D′为经过变换后的新特征 信息。

可选地，关系矩阵通过以下步骤确定：

统计训练集中同时具有任意两个标签信息的样本医学图像数量n， 以及具有其中之一标签信息的样本医学图像数量m；

根据样本医学图像数量n和样本医学图像数量m，确定关系矩阵。

需要说明的是，本实施例中与其它实施例中相同步骤和相同内容 的说明，可以参照其它实施例中的描述，此处不再赘述。

本申请实施例提供的多标签分类装置，获取模块用于获取待分类 医学图像，特征提取模块用于将待分类医学图像输入至预先训练的第 一卷积网络，获得与标签信息对应的特征信息，其中标签信息为根据 分类需求预先确定的信息；进而，分类模块用于将特征信息输入至预 先训练的第二卷积网络，获得待分类医学图像的多标签分类结果，其 中第二卷积网络为图卷积网络，而图卷积网络的映射函数是基于特征 信息和标签信息之间的关系矩阵训练得到的。本申请实施例根据标签 信息提取待分类医学图像的特征信息，此时特征信息之间是互相孤立 的，当将标签信息之间的关系矩阵引入对特征信息的处理过程后，由 于考虑到了同一特征信息可能对应多个标签，避免了分类时标签的缺 失，提升了图像多标签分类的精度。

基于前述实施例，请参考图9，其为本申请实施例提供的一种电 子设备的基本结构示意图。电子设备100包括一个或多个处理器1001、 一个或多个存储器1002，存储器1002中存储有至少一条指令、至少 一段程序、代码集或指令集，指令、程序、代码集或指令集由处理器 1001加载并执行以实现上述的多标签分类方法的步骤。可选地，图9 所示电子设备100还可以包括外围设备接口1003，而外围设备接口 1003还连接有输入装置1004、输出装置1005、显示屏1006、电源1007、 以及数据采集装置1008，这些组件通过总线系统和/或其它形式的连接 机构(未示出)互连。应当注意，图9所示的电子设备100的组件和 结构只是示例性的，而非限制性的，根据需要，电子设备100也可以 具有其他组件和结构。

处理器1001可以是网关，也可以为智能终端，或者是包含中央处 理单元(CPU)、图像处理单元(GPU)或者具有数据处理能力和/或 指令执行能力的其它形式的处理单元的设备，可以对电子设备100中 的其它组件的数据进行处理，还可以控制电子设备100中的其它组件 以执行期望的功能。

存储器1002可以包括一个或多个计算机程序产品，计算机程序产 品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/ 或非易失性存储器。易失性存储器例如可以包括随机存取存储器 (RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可 以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质 上可以存储一个或多个计算机程序指令，处理器1001可以运行程序指 令，以实现本申请实施例中(由处理设备实现)的客户端功能以及/ 或者其它期望的功能。在计算机可读存储介质中还可以存储各种应用 程序和各种数据，例如应用程序使用和/或产生的各种数据等。

输入装置1004可以是用户用来输入指令的装置，并且可以包括键 盘、鼠标、麦克风和触摸屏等中的一个或多个。

输出装置1005可以向外部(例如，用户)输出各种信息(例如， 图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

数据采集装置1008可以采集对象的图像，并且将所采集的图像存 储在存储器1002中以供其它组件使用。示例性地，该数据采集装置 1008可以为摄像头。

示例性地，用于实现根据本申请实施例多标签图像分类方法的示 例电子设备中的各器件可以集成设置，也可以分散设置，诸如将处理 器1001、存储器1002、输入装置1004和输出装置1005集成设置于一 体，而将数据采集装置1008分离设置。

示例性地，用于实现根据本申请实施例多标签图像分类方法的示 例电子设备可以被实现为诸如智能手机、平板电脑、智能手表以及计 算机等智能终端。

作为另一方面，本申请实施例提供一种计算机可读存储介质，用 于存储程序代码，该程序代码用于执行前述各个实施例多标签分类方 法中的任意一种实施方式。

作为再一方面，本申请实施例提供一种包括指令的计算机程序产 品，当其在计算机上运行时，使得计算机执行前述各个实施例多标签 分类方法中的任意一种实施方式。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁， 上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实 施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统， 装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实 施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能 划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以 结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。 另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以 是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性， 机械或其它的形式。作为分离部件说明的模块可以是或者也可以不是 物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据 实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理 单元中，也可以是各个模块单独物理存在，也可以两个或两个以上单 元集成在一个模块中。上述集成的单元既可以采用硬件的形式实现， 也可以采用软件功能单元的形式实现。而集成的单元如果以软件功能 单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计 算机可读取存储介质中。

基于这样的理解，本申请的技术方案本质上或者说对现有技术做 出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体 现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用 以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备 等)执行本申请各个实施例信息上报方法的全部或部分步骤。而前述 的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory， ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或 者光盘等各种可以存储程序代码的介质。

需要说明的是，以上实施例仅用以说明本申请的技术方案，而非 对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域 的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术 方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改 或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案 的精神和范围。

Claims (14)

1.一种多标签分类方法，其特征在于，所述方法包括：

获取待分类医学图像；

将所述待分类医学图像输入至预先训练的第一卷积网络，获得与标签信息对应的特征信息，所述标签信息为根据分类需求预先确定的信息；

将所述特征信息输入至预先训练的第二卷积网络，获得所述待分类医学图像的多标签分类结果，所述第二卷积网络为图卷积网络，所述图卷积网络的映射函数是基于所述特征信息和所述标签信息之间的关系矩阵训练得到的。

2.根据权利要求1所述的多标签分类方法，其特征在于，所述将所述待分类医学图像输入至预先训练的第一卷积网络，获得与标签信息对应的特征信息包括：

利用所述第一卷积网络的卷积算法，提取所述待分类医学图像的第一特征信息；

利用所述第一卷积网络的全连接算法，对所述第一特征信息分别进行针对所述标签信息的二次特征提取，获得所述标签信息对应的第二特征信息，其中所述标签信息与所述第一卷积网络的全连接层一一对应，所述标签信息用于表示疾病的类型。

3.根据权利要求2所述的多标签分类方法，其特征在于，所述第一卷积网络的训练过程包括：

增加分类用全连接层，所述分类用全连接层与所述标签信息一一对应；

样本医学图像经所述第一卷积网络的全连接层提取第二特征信息之后，所述第二特征信息分别输入至对应的所述分类用全连接层，并分别输出对应的分类结果；

通过所述分类结果调整所述第一卷积网络的参数，使得各所述分类用全连接层输出正确的分类结果。

4.根据权利要求1所述的多标签分类方法，其特征在于，所述将所述特征信息输入至预先训练的第二卷积网络，获得所述待分类医学图像的多标签分类结果包括：

利用所述第二卷积网络中前a-1个卷积层的映射函数对所述特征信息进行变换得到新特征信息，其中所述第二卷积网络包括a个卷积层，a为大于或者等于2的自然数；

利用所述第二卷积网络中最后一个卷积层的映射函数对输入至该卷积层的特征信息进行降维处理，输出多标签分类结果；

其中，所述映射函数的输入包括前一个卷积层的特征信息和预先确定的关系矩阵。

5.根据权利要求4所述的多标签分类方法，其特征在于，所述映射函数如下：

D′＝h(CDW)

其中，h为非线性激活函数，C为关系矩阵，D为标签信息对应的特征信息，W为通过训练获得的转换矩阵，D′为经过变换后的新特征信息。

6.根据权利要求5所述的多标签分类方法，其特征在于，所述关系矩阵通过以下步骤确定：

统计训练集中同时具有任意两个标签信息的样本医学图像数量n，以及具有其中之一标签信息的样本医学图像数量m；

根据所述样本医学图像数量n和所述样本医学图像数量m，确定所述关系矩阵。

7.一种多标签分类装置，其特征在于，所述装置包括：

获取模块，用于获取待分类医学图像；

特征提取模块，用于将所述待分类医学图像输入至预先训练的第一卷积网络，获得与标签信息对应的特征信息，所述标签信息为根据分类需求预先确定的信息；

分类模块，用于将所述特征信息输入至预先训练的第二卷积网络，获得所述待分类医学图像的多标签分类结果，所述第二卷积网络为图卷积网络，所述图卷积网络的映射函数是基于所述特征信息和所述标签信息之间的关系矩阵训练得到的。

8.根据权利要求7所述的多标签分类装置，其特征在于，所述特征提取模块具体用于：

利用所述第一卷积网络的卷积算法，提取所述待分类医学图像的第一特征信息；

利用所述第一卷积网络的全连接算法，对所述第一特征信息分别进行针对所述标签信息的二次特征提取，获得所述标签信息对应的第二特征信息，其中所述标签信息与所述第一卷积网络的全连接层一一对应，所述标签信息用于表示疾病的类型。

9.根据权利要求8所述的多标签分类装置，其特征在于，所述第一卷积网络的训练过程包括：

增加分类用全连接层，所述分类用全连接层与所述标签信息一一对应；

样本医学图像经所述第一卷积网络的全连接层提取第二特征信息之后，所述第二特征信息分别输入至对应的所述分类用全连接层，并分别输出对应的分类结果；

通过所述分类结果调整所述第一卷积网络的参数，使得各所述分类用全连接层输出正确的分类结果。

10.根据权利要求7所述的多标签分类装置，其特征在于，所述分类模块具体用于：

利用所述第二卷积网络中前a-1个卷积层的映射函数对所述特征信息进行变换得到新特征信息，其中所述第二卷积网络包括a个卷积层，a为大于或者等于2的自然数；

利用所述第二卷积网络中最后一个卷积层的映射函数对输入至该卷积层的特征信息进行降维处理，输出多标签分类结果；

其中，所述映射函数的输入包括前一个卷积层的特征信息和预先确定的关系矩阵。

11.根据权利要求10所述的多标签分类装置，其特征在于，所述映射函数如下：

D′＝h(CDW)

其中，h为非线性激活函数，C为关系矩阵，D为标签信息对应的特征信息，W为通过训练获得的转换矩阵，D′为经过变换后的新特征信息。

12.根据权利要求11所述的多标签分类装置，其特征在于，所述关系矩阵通过以下步骤确定：

统计训练集中同时具有任意两个标签信息的样本医学图像数量n，以及具有其中之一标签信息的样本医学图像数量m；

根据所述样本医学图像数量n和所述样本医学图像数量m，确定所述关系矩阵。

13.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由所述处理器加载并执行以实现如权利要求1至6中任意一项所述的多标签分类方法的步骤。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至6中任意一项所述的多标签分类方法的步骤。

Images