CN111340807A - 病灶定位核心数据提取方法、系统、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种病灶定位核心数据提取方法、系统、电子设备及存储介质，对于医疗图像数据集中的任一个图像，计算并融合该图像的信息熵、对比度值、inception score值，计算该图像的核心度；将医疗图像数据集中所有图像按照核心度进行降序排列，提取核心度排名前k的图像作为核心数据。利用上一批核心数据和无病理医疗数据，优化所述信息熵；重复上述过程，提取出合适数量的核心数据。本发明在不断提取核心数据的同时，不断优化其提取机制，使得本发明的提取性能不断提升。经过实验证明，本发明的实用性高，能够在减少大量的数据标注负担的同时，训练得到优秀的病灶定位模型，能够有效辅助医生诊断，降低误诊率。

Description

病灶定位核心数据提取方法、系统、电子设备及存储介质

技术领域

本发明涉及智慧医疗领域，特别是一种基于主动学习的病灶定位核心数据提取方法、系统、电子设备及存储介质。

背景技术

近年来，人工智能在理论和技术上日益成熟，给人类日常生活带来许多便利，其中智能医疗的发展非常迅速，如Google提出的基于深度学习的算法，能够对糖尿病视网膜病变迹象做出解释；Ni借助深度学习在腹部器官分割取得高准确率等等。这些深度学习的技术可以辅助医生判别疾病，极大的减轻了医生的负担，也有利于医生做出更加准确的诊断。这些研究体现了深度学习技术在医疗图像分析上的有效性，但是目前对疾病智能诊断的研究大多都集中在疾病的识别上，而在医学领域，病灶定位信息可以帮助医生做出更好的诊断，并且对于大多数疾病的治疗而言，获得病灶部分位置信息是不可或缺的。目前，病灶定位的主要方法是依靠医生判断，这不仅大大增加了医生的工作量，而且医生在疲劳等情况下对病灶位置判断容易失误，耽误治疗。因此借助基于深度学习的目标检测技术完成对病灶的定位，可以使智能医疗更加准确和全面，从而更好地辅助医生工作。

深度学习本质是深层网络自动从大量的数据中提取特征，数据是网络学习的保证，数据的质量和数量影响着网络的性能。并且深度学习在医疗领域中图像识别和目标检测的发展很大程度上依赖于全监督学习的方法，这需要大量的强标注数据去学习。然而在大数据医疗时代中，虽然存在大量的医疗影像数据，如X光片、CT图像等，但是这些数据中会包含一些较为劣质的图像拥有低分辨率、多噪声等问题。除了质量问题外，另一个重要的问题是这些图像大多没有标注，虽然大部分医疗图像可能具有病种标签，但是病灶位置的标注几乎没有，所以深度学习中面向医疗图影像的目标检测发展受限。而目标检测又是智慧医疗辅助技术中必不可少的一部分，所以如何解决医疗领域目标检测中这个障碍非常重要。上述两个问题的最直接的方法就是将所有无标注的数据进行标注，对网络进行训练。但是病灶标注需以专业为导向的医疗知识和技能，费时费力和成本昂贵，所以面对海量的无病灶标注的医疗影像数据，这种方法实现较困难，并且可能存在质量不良的图像，影响网络的训练。可见，使用深度学习技术训练目标检测模型进行病灶定位需要大量的标注数据，现有数据质量不一，且大都无标注。需要专业人士挑选和标注数据，增加了医生工作量，费时费力，人工成本昂贵。

针对深度学习中这种由于标注成本过高而没有获得强标注的情况，半监督学习和主动学习两种主流的弱监督学习解决方法被提出。半监督学习的重点是使用简单易用的注释进行学习。它通过用计算机进行自动或半自动标注，没有人类专家参与。虽然该方法降低了标注代价，但其标注结果过分依赖由初始部分有标注的数据训练出来的模型, 因此并不能保证标注结果的准确率。主动学习侧重于减少所需标注的样本数，主动学习通过查询函数，选择出最有价值的未标注数据给专家标注，通过较少的含标注的核心数据集训练目标模型。专家参与标注解决了上述中过于依赖基准模型的问题，效果更加稳定，更适合于医学领域。但是目前大部分主动学习的研究是面向图像分类，只有少数研究面向目标检测，但是要求初始数据集包含部分有标注信息的数据，且没有应用于医疗领域。总之，现有面向目标检测的主动学习方法，均需要初始数据集中包含部分已有标注信息的数据，且需要多次与专家交互，不适用于医疗领域的实际情况。目前还没有面向医疗领域的合适方法，能够在减少训练数据的同时，保持模型准确率，实现病灶定位，辅助医生诊断。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种病灶定位核心数据提取方法、系统、电子设备及存储介质，从无任何病灶标注信息的医疗图像数据中提取核心数据，解决智能医疗中由于数据大量无标注且质量不一造成的病灶定位难的问题。

为解决上述技术问题，本发明所采用的技术方案是：一种病灶定位核心数据提取方法，包括以下步骤：

S1、对于医疗图像数据集中的任一个图像，计算并融合该图像的信息熵、对比度值、inception score值，计算该图像的核心度；

S2、将医疗图像数据集中所有图像按照核心度进行降序排列，提取核心度排名前k的图像作为核心数据。

S3、利用上一批核心数据和无病理医疗数据，优化所述信息熵；

S4、重复步骤S1～S3，提取出合适数量的核心数据。

本发明的方法无需大量病灶标注数据，解决了现有技术中数据质量不一且病灶标注数据稀缺，标注麻烦，代价昂贵的问题，能在初始没有任何病灶标注信息的医疗图像数据中提取核心数据。考虑图像在不同评价指标下的重要性并保留数值的特征，本发明设计均值融合算法，对各评价指标计算均值，即利用下式计算医疗图像数据集中图像i的核心度

：

；

其中，r表示同一评价指标下图像的数量；

分别表示图像i的信息熵值、对比度值以及inception score值；i的取值范围为1,2,…,r；

分别表示图像j的信息熵值、对比度值以及inception score值；j的取值范围为1,2,…,r。

本发明信息熵优化过程为：利用上一批核心数据和无病理医疗数据对所述分类模型进行微调，即固定分类模型的前面层的参数权重，使用提取的上一批核心数据和无病理医疗数据训练调整分类模型最后一层的权重，并使用微调后的分类模型替换原有分类模型，从而优化所述信息熵。

步骤S1中，图像i的信息熵值计算过程包括：对图像i通过使用拥有预训练权重的分类模型进行学习和计算，得到图像i的信息熵，得到图像i的信息熵

，计算公式如下：

；

N为分类模型的输出类别数，i表示无标注数据集中正样本集的第i张图像，

表示分类模型预测图像i是类别c的置信度。

步骤S1中，计算图像i的对比度值之前，对所述图像i进行GLCM（灰度共生矩阵）转化。基于灰度共生矩阵的对比度可以更加准确的表示图像的纹理特征。纹理沟纹越深，其对比度越大，图像越清晰，越利于模型学习特征。

步骤S1中，图像i的inception score值的计算过程包括：对图像i进行切割处理，得到n×n个子块；计算每个子块的inception score，合成所述图像i所有子块的inceptionscore，得到图像i的inception score。精确计算图像的inception score。

对应上述方法，本发明还提供了一种基于主动学习的病灶定位核心数据提取系统，包括：

信息熵计算模块，用于计算医疗图像数据集中所有图像的信息熵；

对比度值计算模块，用于计算医疗图像数据集中所有图像的对比度值；

inception score值计算模块，用于计算医疗图像数据集中所有图像的inceptionscore值；

融合模块，用于根据每个图像的信息熵、对比度值、inception score值，计算每个图像的核心度；

排序模块，用于将医疗图像数据集中所有图像按照核心度进行降序排列，提取核心度排名前k的图像作为一批核心数据。

优化循环模块，用于优化信息熵计算模块，并循环提取核心数据，直至提取出适量核心数据。

所述信息熵计算模块对图像i通过使用拥有预训练权重的分类模型进行学习和计算，得到图像i的信息熵。本发明的所述对比度值计算模块包括：

转化单元，用于对医疗图像数据集中的图像进行GLCM转化；

计算单元，用于计算转化后的图像的对比度值。

本发明的所述inception score值计算模块包括：

切割单元，用于对所述医疗图像数据集中的图像进行切割处理，将每个图像切割为n×n个子块；

inception score计算单元，用于计算每个子块的inception score；

合成单元，用于合成n×n个子块的inception score，得到图像的inception score。

本发明的所述优化循环模块包括：

优化单元，用于对信息熵计算模块中分类模型利用迁移学习进行微调，即固定网络的前面层的参数权重，只用这些数据训练调整最后几层的权重。并将微调后的模型对选择模块中的原有模型进行替换。

循环单元，循环执行信息熵计算模块，对比度值计算模块，inception score值计算模块，融合模块，排序模块以及优化循环模块中的优化单元的操作，直至提取出合适数量的核心数据。

作为一个发明构思，本发明还提供了一种用于提取病灶定位核心数据的电子设备，其包括处理器；所述处理器用于执行上述方法。

优选地，为了便于采集数据，本发明的电子设备还包括数据采集模块，用于采集医疗图像，并将所述病灶图像传送至所述处理器。

作为一个发明构思，本发明还提供了一种计算机存储介质，其存储有程序；该程序用于执行上述方法。

与现有技术相比，本发明所具有的有益效果为：

1、本发明解决了现阶段智能医疗中病灶定位的模型训练依赖大量病灶标注数据，而数据质量不一且病灶标注数据稀缺，标注麻烦，代价昂贵的问题，能在初始没有任何病灶标注信息的医疗图像数据中提取核心数据，在降低医生标注负担和交互次数的同时，利用本发明提取出的核心数据可以训练得到一个有效定位病灶的目标检测模型，以辅助医生诊断，减轻医生工作压力，推动智慧医疗中目标检测的发展；

2、本发明在不断提取核心数据的同时，不断优化其提取机制，使得本发明的提取性能不断提升。经过实验证明，本发明的实用性高，能够减轻大量的数据标注的负担，有效辅助医生诊断。

附图说明

图1为本发明方法流程图；

图2为本发明体系结构图；

图3为本发明选择模块中Inception v3网络结构示意图；其中，（a）Inception v3中模块一；（b）Inception v3中模块二；（c）Inception v3中模块三；（d）Inception v3模型训练的网络结构；

图4为本发明实施例对比度值计算模块模块结构示意图；

图5为本发明实施例inception score值计算模块结构示意图；

图6为本发明实施例优化循环模块结构示意图。

具体实施方式

本发明采用主动学习的思想，设计了核心数据提取方法，能够从无任何病灶标注信息的医疗图像数据中提取核心数据，用于病灶定位目标检测模型的训练，能够解决智能医疗中由于数据大量无标注且质量不一造成的病灶定位发展阻碍。

智慧医疗中病灶定位的发展依赖基于深度学习的目标检测技术，需要大量的标注数据。而医疗大数据中，医疗图像质量不一，有些存在噪声等质量问题。此外大多数图像数据均无病灶位置标注，且标注需要医疗知识，费时费力，获取成本太高。本发明将通过设计的选择模块（即本发明的提取系统）从无病灶标注的数据中提取核心数据。为了准确的提取核心数据，本发明选择模块包含了三个图像评价指标对图像进行评价。通过考虑图像本身质量选用图像质量评价指标如基于灰度共生矩阵（GLCM）对比度等对图像进行计算。考虑模型训练计算图像信息熵，综合目标检测模型的训练和图像数据集本身考虑，引入Inceptionscore。它是一项经常用于评价GAN生成图像的指标，用来评价生成图像的清晰度和多样性。一般是对一组图像进行判别，其值越大表示图像越清晰和越多样。本发明设计有效的融合算法进行融合得到图像核心度，因为考虑图像在不同评价指标下的重要性并保留数值的特征，本发明设计均值融合算法，对各评价指标计算均值，用均值处理原始数据，最后进行融合得到图像核心度，其公式如下：

；

其中r表示同一评价指标下图像的数量，

分别表示图像i的信息熵值，对比度值以及inception score的值；i的取值范围为1,2,…,r；

分别表示图像j的信息熵值、对比度值以及inception score值；j的取值范围为1,2,…,r。

本发明的方法主要包括以下三个阶段：第一阶段通过选择模块从无标注的数据集中提取核心数据；第二阶段通过提取出来的核心数据对选择模块进行优化；第三阶段重复上述两步得到合适数量的核心数据，最后交给人类专家标注具体的病理位置。

如图1，本发明根据核心度提取核心数据，上述过程其具体步骤如下：

第一步：首先对图像进行GLCM转化，并计算其对比度值。其值反映了图像的清晰度和纹理沟纹深浅的程度。纹理沟纹越深，其对比度越大，图像越清晰。

第二步：对图像通过使用拥有预训练权重的分类模型，如有ImageNet预训练权重的Inception v3进行学习和计算得到图像的信息熵。

第三步：在这里我们对图像进行切割处理，得到n×n个块（例如，n=5）。针对图像的每块进行inception score的计算，最后将该图像所有块的inception score进行合成，得到该图像inception score。

第四步：使用设计好的融合算法将三组图像评价指标的值进行融合，得到图像的一个具有综合评价代表性的核心度。

第五步：对图像的核心度进行降序排列，提取核心度排名前k的图像作为一批核心数据。

为了使核心数据的提取更加精准，本发明采用的是批量提取，并且利用提取的核心数据不断优化选择模块（即优化第二步计算的信息熵，也即优化信息熵计算模块），步骤如下：

第一步：将上一批的核心数据与未标注池中无病理的正常图像对选择模块中具有预权重的Inception v3利用迁移学习进行微调（例如迭代1000轮），即维持网络的前面层的初始权重不变，只用这些数据训练调整最后一层的权重。

第二步：将微调后的模型对选择模块中的原有模型进行替换。

重复上述两个阶段，直至挑选出适量的核心数据。最后将其交给医生专家，由医生专家对这些核心医疗图像进行具体病灶位置信息的标注。这些核心数据，可以用于定位病灶的目标检测模型的训练，得到一个优秀的病灶定位模型。

本发明的体系结构如图2，主要由四个部分组成：（1）无标注的数据集池。无标注的数据集中存在的是大量低成本易获得没有病理位置标注的病理图像，包含少量无病理的正常医疗图像。（2）选择模块。选择模块包括信息熵计算模块、对比度值计算模块、inceptionscore值计算模块、融合模块和排序模块。（3）专家标注。医生专家对最后挑选出来的核心数据集进行标注病灶位置。（4）迭代更新的（有标注）核心数据集池。最后整个核心数据集通过专家标注后得到有标注的核心数据集。

从图2可以看出，本发明实施例的提取系统包括以下模块：

信息熵计算模块，用于计算医疗图像数据集中所有图像的信息熵；

对比度值计算模块，用于计算医疗图像数据集中所有图像的基于灰度共生矩阵的对比度值；

inception score值计算模块，用于计算计算医疗图像数据集中所有图像的inceptionscore值；

融合模块，用于根据每个图像的信息熵、对比度值、inception score值，计算每个图像的核心度；

排序模块，用于将医疗图像数据集中所有图像按照核心度进行降序排列，提取核心度排名前k的图像作为一批核心数据。

优化循环模块，用于优化信息熵模块，并循环提取一批核心数据过程，直至提取出适量核心数据集；

上述信息熵计算模块对图像i通过使用拥有预训练权重的分类模型进行学习和计算，得到图像i的信息熵。

如图3，信息熵计算模块中的分类模型非常重要，Inception v3在分类领域有着良好的性能，因此本发明使用了Inception v3对图像进行学习和计算信息熵。Inception v3模型有46层，输入图像通过卷积层（Conv），池化层（Pool），全连接层（FC）得到图像分类的置信度。另外Inception v3模型中有3类Inception模块，分别为：两个连续的3×3卷积核的inception模块；将n×n卷积分解为连续的n×1和1×n卷积核的inception模块；将n×n卷积分解为并列的n×1和1×n卷积核的inception模块。

如图4所示，对比度值计算模块包括：

转化单元，用于对医疗图像数据集中的图像进行GLCM转化；

计算单元，用于计算转化后的图像的对比度值。

如图5所示，inception score值计算模块包括：

切割单元，用于对所述医疗图像数据集中的图像进行切割处理，将每个图像切割为n×n个子块；

inception score计算单元，用于计算每个子块的inception score；

合成单元，用于合成n×n个子块的inception score，得到图像的inception score。

如图6所示，优化循环模块包括：

优化单元，利用排序模块提取的上一批核心数据和无病理医疗数据对信息熵计算模块中的分类模型进行微调，即固定分类模型的前面层的参数权重，使用提取的上一批核心数据和无病理医疗数据训练调整最后一层的权重，并使用微调后的分类模型替换原有分类模型；

循环单元，循环执行信息熵计算模块，对比度值计算模块，inception score值计算模块，融合模块，排序模块以及优化循环模块的操作，直至提取出合适数量的核心数据。

Claims (10)

1.一种病灶定位核心数据提取方法，其特征在于，包括以下步骤：

S1、对于医疗图像数据集中的任一个图像，计算并融合该图像的信息熵、基于灰度共生矩阵的对比度值、inception score值，计算该图像的核心度；

优选地，利用下式计算医疗图像数据集中图像i的核心度

：

；

其中，r表示同一评价指标下图像的数量；

分别表示图像i的信息熵值、对比度值以及inception score值；i的取值范围为1,2,…,r；

分别表示图像j的信息熵值、对比度值以及inception score值；

S2、将医疗图像数据集中所有图像按照核心度进行降序排列，提取核心度排名前k的图像作为一批核心数据；

S3、利用上一批核心数据和无病理医疗数据，优化所述信息熵；

S4、重复步骤S1～S3，提取出合适数量的核心数据。

2.根据权利要求1所述的病灶定位核心数据提取方法，其特征在于，步骤S1中，图像i的信息熵计算过程包括：对图像i通过使用拥有预训练权重的分类模型进行学习和计算，得到图像i的信息熵

，计算公式如下：

；

N为分类模型的输出类别数，i表示无标注数据集中正样本集的第i张图像，

表示分类模型预测图像i是类别c的置信度；

优选地，利用上一批核心数据和无病理医疗数据对所述分类模型进行微调，即固定分类模型的前面层的参数权重，使用提取的上一批核心数据和无病理医疗数据训练调整分类模型最后一层的权重，并使用微调后的分类模型替换原有分类模型，从而优化所述信息熵。

3.根据权利要求1所述的病灶定位核心数据提取方法，其特征在于，步骤S1中，计算图像i的对比度值之前，对所述图像i进行灰度共生矩阵转化。

4.根据权利要求1所述的病灶定位核心数据提取方法，其特征在于，步骤S1中，图像i的inception score值的计算过程包括：对图像i进行切割处理，得到n×n个子块；计算每个子块的inception score，合成所述图像i所有子块的inception score，得到图像i的inception score。

5.一种病灶定位核心数据提取系统，其特征在于，包括：

信息熵计算模块，用于计算医疗图像数据集中所有图像的信息熵；

对比度值计算模块，用于计算医疗图像数据集中所有图像的基于灰度共生矩阵的对比度值；

inception score值计算模块，用于计算医疗图像数据集中所有图像的inceptionscore值；

融合模块，用于根据每个图像的信息熵、对比度值、inception score值，计算每个图像的核心度；

排序模块，用于将医疗图像数据集中所有图像按照核心度进行降序排列，提取核心度排名前k的图像作为一批核心数据；

优化循环模块，用于优化信息熵计算模块，并循环提取核心数据，直至提取出适量核心数据；

所述信息熵计算模块对图像i通过使用拥有训练权重的分类模型进行学习和计算，得到图像i的信息熵。

6.根据权利要求5所述的病灶定位核心数据提取系统，其特征在于，所述对比度值计算模块包括：

转化单元，用于对医疗图像数据集中的图像进行灰度共生矩阵转化；

计算单元，用于计算转化后的图像的对比度值。

7.根据权利要求5所述的病灶定位核心数据提取系统，其特征在于，所述inceptionscore值计算模块包括：

切割单元，用于对所述医疗图像数据集中的图像进行切割处理，将每个图像切割为n×n个子块；

inception score计算单元，用于计算每个子块的inception score；

合成单元，用于合成n×n个子块的inception score，得到图像的inception score。

8.根据权利要求5所述的病灶定位核心数据提取系统，其特征在于，所述优化循环模块包括：

优化单元，利用排序模块提取的上一批核心数据和无病理医疗数据对信息熵计算模块中的分类模型进行微调，即固定分类模型的前面层的参数权重，使用提取的上一批核心数据和无病理医疗数据训练调整最后一层的权重，并使用微调后的分类模型替换原有分类模型；

循环单元，循环执行信息熵计算模块，对比度值计算模块，inception score值计算模块，融合模块，排序模块以及优化循环模块的操作，直至提取出合适数量的核心数据。

9.一种用于提取病灶定位核心数据的电子设备，其特征在于，包括处理器；所述处理器用于执行权利要求1～5之一所述的方法；优选地，还包括数据采集模块，用于采集医疗图像，并将所述病灶图像传送至所述处理器。

10.一种计算机存储介质，其特征在于，其存储有程序；该程序用于执行权利要求1～5之一所述的方法。

Images