CN110264449A - 人工智能的深度学习方法及基于人工智能的医学放射影像胸部摄片的质量控制方法 - Google Patents

Abstract

本发明公开了一种人工智能的深度学习方法及基于人工智能的医学放射影像胸部摄片的质量控制方法，该质控方法，在以往连续卷积池化运算的基础上，增设了将最后一次卷积池化运算的结果与上一级的卷积池化运算结果进行拼接卷积后，再与上一级的卷积池化运算结果进行二次的拼接卷积，直至将第一次卷积池化运算的结果进行拼接卷积，最终完成数据的处理，通过上述学习方法的优化，其不仅具备以往连续卷积池化的优点，而且通过逐级的拼接卷积，可将之前连续卷积池化过程中的遗漏数据进行再次处理，最后达到深度学习的目的。

Description

人工智能的深度学习方法及基于人工智能的医学放射影像胸 部摄片的质量控制方法

技术领域

本发明公开涉及人工智能的技术领域，尤其涉及一种人工智能的深度学习方法及基于人工智能的医学放射影像胸部摄片的质量控制方法。

背景技术

胸片就是胸部的χ片，在胸片拍摄时，受检者取站立位，一般在平静吸气下摒气投照。心血管的常规胸片检查包括：后前正位(焦-片距离200cm)、左前斜位(60°～65°)、右前斜位(45°～55°)和左侧位照片。正位胸片能显示出心脏大血管的大小、形态、位置和轮廓，能观察心脏与毗邻器官的关系和肺内血管的变化，可用于心脏及其径线的测量。左前斜位片显示主动脉的全貌和左右心室及右心房增大的情况。右前斜位片有助于观察左心房增大、肺动脉段突出和右心室漏斗部增大的变化。左侧位片能观察心、胸的前后径和胸廓畸形等情况，对主动脉瘤与纵隔肿物的鉴别及定位尤为重要。

由于胸片是作为医生进行疾病诊断的重要依据，因此，每次拍摄后的胸片必须进行人工质控，质控人员依据医学业务规则以及对于胸片的肉眼观察，确定该胸片是否为合格胸片。现有的人工质控方法，虽然可以实现胸片摄片的质量控制，但是人工鉴定效率低，而且不同的质控人员对于标准的理解差异较大，导致质控标准不统一，影响质控的可靠性。

随着人工智能的快速发展，是否可以通过人工智能实现胸片摄片的质控，以解决人工质控存在的效率低、标准不统一的问题，成为人们亟待解决的问题。

发明内容

鉴于此，本发明公开了一种人工智能的深度学习方法及基于人工智能的医学放射影像胸部摄片的质量控制方法，以至少解决人工质控存在的效率低、标准不统一等问题。

本发明一方面提供了一种人工智能的深度学习方法，该方法包括如下步骤：

1)将输入的学习数据进行M次卷积池化运算，其中，每次卷积池化运算均是基于上一次卷积池化运算获得的数据进行的；

2)对第M次卷积池化运算获得的数据进行上采样，获得采样数据；

3)将第M-1次卷积池化运算获得的数据进行注意力权重计算，并使用获得的权重处理第M次卷积池化操作对应的上采样结果，获得处理后数据；

4)将所述的处理后数据与所述的上采样数据进行拼接卷积运算后，再次上采样，获得采样数据；

5)将第M-2次卷积池化运算获得的数据进行注意力权重计算，并使用获得的权重处理第M-1次卷积池化操作对应的上采样结果，获得处理后数据；

6)重复步骤4)、5)，每重复一次M减1，直至将第1次卷积池化运算获得的数据进行注意力权重计算，并使用获得权重对最后一次的上采样数据进行处理，将处理后的数据与采样数据进行拼接卷积运算，获得最终的数据，进行步骤7)；

7)依据步骤6)中获得的最终数据，采用Adam优化器，对上述各步骤中的参数进行调整；

8)重复步骤1)～步骤7)，直至每个步骤中的参数值都调整在适当的范围内，模型满足了学习要求，完成学习；

其中，M为大于等于2的自然数。

优选，所述输入的学习数据为矩阵。

进一步优选，所述上采样的方法为：将卷积池化运算获得的数据通过反卷积进行维度扩增，获得扩增后数据即为上采样数据。

本发明另一方面提供了一种基于人工智能的医学放射影像胸部摄片的质量控制方法，该质控方法包括如下步骤：

启动人工智能模型进行胸片的深度学习，直至学习完成；

提取已拍摄胸片中的图像数据，并对提取的图像数据进行预处理，获得处理后数据；

将所述处理后的数据由人工智能模型进行鉴定，获得鉴定结果；

根据医学业务规则和所述鉴定结果，输出所述已拍摄胸片的质控鉴定。

优选，所述启动人工智能模型进行胸片的深度学习，直至学习完成的具体方法为：

1)将胸片图像矩阵、对应的掩码矩阵作为学习数据，将所述学习数据进行M次卷积池化运算，其中，每次卷积池化运算均是基于上一次卷积池化运算获得的数据矩阵进行的；

2)对第M次卷积池化运算获得的数据矩阵进行上采样，获得采样数据矩阵；

3)将第M-1次卷积池化运算获得的数据矩阵进行注意力权重计算，并使用获得的权重处理第M次卷积池化操作对应的上采样数据矩阵，获得处理后数据矩阵；

4)将所述的处理后数据与所述的上采样数据矩阵进行拼接卷积运算后，再次上采样，获得采样数据矩阵；

5)将第M-2次卷积池化运算获得的数据矩阵进行注意力权重计算，并使用获得的权重处理第M-1次卷积池化操作对应的上采样数据矩阵，获得处理后数据矩阵；

6)重复步骤4)、5)，每重复一次M减1，直至将第1次卷积池化运算获得的数据矩阵进行注意力权重计算，并使用获得权重对最后一次的上采样数据矩阵进行处理，将处理后的数据矩阵与上采样数据矩阵进行拼接卷积运算，获得最终的数据矩阵，进行步骤7)；

7)依据步骤6)中获得的最终数据，采用Adam优化器，对模型各层中的参数进行调整；

8)重复步骤1)～步骤7)，直至模型每层中的参数值都调整在适当的范围内，模型满足学习要求，完成学习；

其中，M为大于等于2的自然数。

进一步优选，步骤3)以及步骤5)中所述注意力权重所用公式具体为：

w_i＝∑_r∈m,c∈nv_r,c/(m*n),i∈channel (1)；

W＝[w_i],i∈channel (2)；

W＝softmax(W) (3)；

其中，channel是输入通道，i是输入通道的索引，m是矩阵的行数，n是矩阵的列数，r是矩阵行的索引，c是矩阵列的索引。

进一步优选，所述作为学习数据的胸片图像矩阵以及对应的掩码矩阵包括：合格胸片以及不合格胸片。

进一步优选，所述对提取的图像数据进行预处理包括：图像缩放、降噪以及张量化。

进一步优选，所述人工智能模型包括：胸椎模型、两肋肺尖模型、锁骨模型、肩软组织模型、肩胛骨模型、心肺比模型以及心影后肋骨模型中的一种或多种。

本发明提供的人工智能的深度学习方法，该学习方法在以往连续卷积池化运算的基础上，增设了将最后一次卷积池化运算的结果与上一级的卷积池化运算的结果进行拼接卷积，然后再与上一级的卷积池化运算的结果进行再次的拼接卷积，直至将第一次卷积池化运算的结果进行拼接卷积，最终完成数据的处理，通过上述学习方法的优化，其不仅具备以往连续卷积池化优点，而且通过逐级的拼接卷积，可将之前连续卷积池化的遗漏数据进行再次处理，最后达到深度学习的目的。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明的公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明公开实施例提供的一种人工智能模型系统的模块示意图；

图2为本发明公开实施例中输入的胸片原图；

图3为肩上3-5cm质控指标不合格的示意图；

图4为锁骨平齐质控指标不合格的示意图；

图5为胸椎居中质控指标不合格的示意图；

图6为肺尖可见质控指标不合格的示意图；

图7为两侧肋骨外缘可见质控指标不合格的示意图。

具体实施方式

下面以具体的实施例对本发明进行进一步的解释说明，但是并不用于限制本发明的保护范围。

鉴于现有技术中的人工质控存在效率低、标准不统一等问题，本实施例提供了一种基于人工智能的医学放射影像胸部摄片的质量控制方法，该质控方法主要通过具有人工智能模型的系统实现的，该质控方法包括两部分：1)构建以及训练人工智能模型；2)质控鉴定两部分。

构建以及训练人工智能模型：

其中，参见图1为本发明构建的人工智能模型，该人工智能模型包括：第一卷积层1、第一池化层2、第二卷积层3、第二池化层4、第三卷积层5、第三池化层6、第四卷积层7、第一上采样层8、第一AE单元9、第一拼接卷积层10、第二上采样层11、第二AE单元12、第二拼接卷积层13、第三上采样层14、第三AE单元15以及第三拼接卷积层16，其中，第一卷积层1的第一输出端与第一池化层2的输入端连接，第一池化层2的输出端与第二卷积层3的输入端连接，第二卷积层3的第一输出端与第二池化层4的输入端连接，第二池化层4的输出端与第三卷积层5的输入端连接，第三卷积层5的第一输出端与第三池化层6的输入端连接，第三池化层6的输出端与第四卷积层7的输入端连接，第四卷积层7的输出端与第一上采样层8的输入端连接，第一上采样层8的第一输出端以及第三卷积层的第二输出端均与第一AE单元9的输入端连接，第一AE单元9的输出端以及第一上采样层8的第二输出端均与第一拼接卷积层10的输入端连接，第一拼接卷积层10的输出端与第二上采样层11的输入端连接，第二上采样层11的第一输出端以及第二卷积层3的第二输出端均与第二AE单元12的输入端连接，第二AE单元12的输出端以及第二上采样层11的第二输出端均与第二拼接卷积层13的输入端连接，第二拼接卷积层13的输出端与第三上采样层14的输入端连接，第三上采样层14的第一输出端以及第一卷积层1的第二输出端均与第三AE单元15的输入端连接，第三AE单元15的输出端以及第三上采样层14的第二输出端均与第三拼接卷积层16的输入端连接。

上述人工智能模型建立结束后，进行该人工智能模型的深度学习训练，具体而言，向第一卷积层1中输入学习的数据矩阵，该学习的数学矩阵依次经过第一卷积层1进行卷积处理后，由第一池化层2进行池化处理、再依次由第二卷积层3进行卷积处理、第二池化层4进行池化处理、第三卷积层5进行卷积处理、第三池化层6进行池化处理以及第四卷积层7进行卷积处理后，由第一上采样层8进行上采样，第一AE单元9分别提取第三卷积层5卷积处理后的数据以及第一上采样层8中的上采样数据，该第一AE单元9将第三卷积层5中卷积处理后的数据进行注意力权重计算后，依据获得的权重，对第一上采样层8中的上采样数据进行加权处理，获得处理后数据，第一卷积拼接层10分别提取第一AE单元9中的处理后数据以及第一上采样层8中的上采样数据进行拼接卷积处理，获得拼接卷积数据，第二上采样层11对第一卷积拼接层10中的拼接卷积数据进行上采样后，发送到第二AE单元12中，第二AE单元12提取第二卷积层3中卷积处理后的数据，并对该数据进行注意力权重计算后，依据获得的权重，对接收的第二上采样层11中的上采样数据进行加权处理后，发送到第二拼接卷积层13，第二拼接卷积层13同时提取第二上采样层11中的采样数据，并将二者进行拼接卷积后发送到第三上采样层14，第三上采样层14对接收的数据进行上采样后，发送到第三AE单元15中，第三AE单元15提取第一卷积层1卷积处理后的数据，并对该数据进行注意力权重计算后，依据获得的权重，对接收的第三上采样层14中的上采样数据进行加权处理后，发送到第三拼接卷积层16，第三拼接卷积层16提取第三上采样层14中的采样数据后与上述接收数据进行拼接卷积处理，获得最终数据，依据该最终数据，采用Adam优化器，对上述模型中各层的参数进行调整，其中，每次学习过程中均对模型各层的参数进行调整，直至该人工智能模型各层参数值都调整在适当的范围内，学习结束。然后对人工智能模型进行测试，如果测试不合格需要继续进行学习，直至测试合格，该人工智能模型测试合格与否是依据训练集、验证集、测试集的损失值和准确率评估的。

上述人工智能模型是以4个卷积层和3个池化层为例，但实际上，卷积层和池化层的个数设定，是可以根据实际情况进行变化的，可以增加也可以减少，相应的上采样层、拼接卷积层以及AE单元的个数是依据上述卷积层的变化而进行的适应性调整。上述各上采样层的采样方式是通过反卷积的形式来完成矩阵的维度扩增，以便于后期数据矩阵的拼接卷积处理。

上述人工智能模型其主要的创新之处在于，增设了AE单元，该AE单元的主要是用于采集上一级卷积层的卷积数据，然后将该卷积数据进行注意力权重计算后，依据获得的权重，对输入到AE单元的上采样数据进行加权处理，将处理结果输送到拼接卷积层，由拼接卷积层将AE单元输出的数据与上采样层输出的数据进行拼接卷积处理，完成人工模型的一次学习温故总结，参见图1，上述的学习温故总结是逐层进行的，直至将最后一次上采样层的采样数据与经过处理的第一次卷积运算数据进行拼接卷积，获得最终数据。与常见的深度学习结构相比，在同等级的计算量下，该结构能够提取出更多的有效信息，提升了模型性能。

上述AE单元中所使用的公式具体如下：

w_i＝∑_r∈m,c∈nv_r,c/(m*n),i∈channel (1)；

W＝[w_i],i∈channel (2)；

W＝softmax(W) (3)；

其中，公式(1)是计算采集的卷积数据中各channel(通道)的矩阵的平均值，其采集的卷积数据是三维矩阵，维度为[m,n,channel]，表示有channel个m*n的矩阵，m是矩阵的行数，n是矩阵列数，i是输入数据channel的索引，r是矩阵行的索引，c是矩阵列的索引。

公式(2)是将公式(1)的结果表示为向量，该向量为channel维。

公式(3)是调节公式(2)中的向量包含的各个值，使其值的范围为[0,1]。

上述人工智能模型深度学习训练过程中，各层参数的优化是通过Adam优化器的Adam优化算法进行的，该算法具有如下特定：

1)计算高效，方便实现，内存使用少。

2)更新步长和梯度大小无关，只和alpha、beta_1、beta_2有关系，并且由它们决定步长的理论上限。

3)对目标函数没有平稳要求，即loss function可以随着时间变化。

4)能较好的处理噪音样本，并且天然具有退火效果。

5)能较好处理稀疏梯度，即梯度在很多step处都是0的情况。

其中，学习过程中调节的参数包括：

学习速率，控制学习速度，以较合适的速率找到全局最有参数。

beta_1：一阶矩估计的指数衰减率。

beta_2：二阶矩估计的指数衰减率。

decay：每次参数更新后，学习率的下降值。

本实施方案中胸片射片质控的系统中可以根据对应的质控标准相应调整对应的子模型个数，通常每个模型对应一项质控关键指标，而且每个子模型均是按照上述的模型结构构建而成，其中，依据上述的子模型结构，可以构建包括胸椎模型、两肋肺尖模型、锁骨模型、肩软组织模型、肩胛骨模型、心肺比模型以及心影后肋骨模型中的一种或多种。

基于上述人工智能模型及系统的胸片摄片的质控方法，具体为：

启动人工智能模型进行胸片的深度学习，直至学习完成；

提取已拍摄胸片中的图像数据，并对提取的图像数据进行预处理，获得处理后数据；

将所述处理后的数据由人工智能模型进行鉴定，获得鉴定结果；

根据医学业务规则和所述鉴定结果，输出所述已拍摄胸片的质控鉴定。

其中，人工智能模型在胸片学习时，包括：合格的胸片图像矩阵、对应的掩码矩阵，以及不合格的胸片图像矩阵、对应的掩码矩阵学习。

上述对提取的图像数据进行预处理包括：图像缩放、降噪以及张量化。

实验中，系统中采用的模型是由胸椎模型、两肋肺尖模型、锁骨模型、肩软组织模型、肩胛骨模型、心肺比模型以及心影后肋骨模型7种模型融合而成的，为验证采用上述质控系统以及质控方法的有效性，实验时，输入了图2所示的胸片原图，图3～图7分别为质控过程中筛选出图2中不合格的质控关键指标的示意图，依次为肩上3-5cm、锁骨平齐、胸椎居中、肺尖可见、两侧肋骨外缘可见指标的不合格示意图，最终采用上述质控方法的系统显示该图像的最终结果为废片，符合实际情况。

本实施方案中采用计算机程序代替人工进行正位胸片常规摄片质控鉴定，鉴定一张片的耗时小于1秒，显著地提高了鉴定效率，节省了大量的人工成本。本实施方案中的模型一旦完成训练，可以大规模复用，并且易于部署。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种人工智能的深度学习方法，其特征在于，包括如下步骤：

1)将输入的学习数据进行M次卷积池化运算，其中，每次卷积池化运算均是基于上一次卷积池化运算获得的数据进行的；

2)对第M次卷积池化运算获得的数据进行上采样，获得采样数据；

3)将第M-1次卷积池化运算获得的数据进行注意力权重计算，并使用获得的权重处理第M次卷积池化操作对应的上采样结果，获得处理后数据；

4)将所述处理后数据与所述上采样数据进行拼接卷积运算后，再次上采样，获得采样数据；

5)将第M-2次卷积池化运算获得的数据进行注意力权重计算，并使用获得的权重处理第M-1次卷积池化操作对应的上采样结果，获得处理后数据；

6)重复步骤4)、5)，每重复一次M减1，直至将第1次卷积池化运算获得的数据进行注意力权重计算，并使用获得权重对最后一次的上采样数据进行处理，将处理后的数据与采样数据进行拼接卷积运算，获得最终的数据，进行步骤7)；

7)依据步骤6)中获得的最终数据，采用Adam优化器，对上述各步骤中的参数进行调整；

8)重复步骤1)～步骤7)，直至每个步骤中的参数值都调整在适当的范围内，满足学习要求，完成学习；

其中，M为大于等于2的自然数。

2.根据权利要求1所述人工智能的深度学习方法，其特征在于，步骤3)以及步骤5)中所述注意力权重所用公式具体为：

w_i＝∑_r∈m,c∈nv_r,c/(m*n),i∈channel (1)；

W＝[w_i],i∈channel (2)；

W＝softmax(W) (3)；

其中，channel是输入通道，i是输入通道的索引，m是矩阵的行数，n是矩阵的列数，r是矩阵行的索引，c是矩阵列的索引。

3.根据权利要求1所述人工智能的深度学习方法，其特征在于，所述输入的学习数据为矩阵。

4.根据权利要求1所述人工智能的深度学习方法，其特征在于，所述上采样的方法为：将卷积池化运算获得的数据通过反卷积进行维度扩增，获得扩增后数据即为上采样数据。

5.一种基于人工智能的医学放射影像胸部摄片的质量控制方法，其特征在于，包括如下步骤：

启动人工智能模型进行胸片的深度学习，直至学习完成；

提取已拍摄胸片中的图像数据，并对提取的图像数据进行预处理，获得处理后数据；

将所述处理后的数据由人工智能模型进行鉴定，获得鉴定结果；

根据医学业务规则和所述鉴定结果，输出所述已拍摄胸片的质控鉴定。

6.根据权利要求5所述基于人工智能的医学放射影像胸部摄片的质量控制方法，其特征在于，所述启动人工智能模型进行胸片的深度学习，直至学习完成的具体方法为：

1)将胸片图像矩阵、对应的掩码矩阵作为学习数据，将所述学习数据进行M次卷积池化运算，其中，每次卷积池化运算均是基于上一次卷积池化运算获得的数据矩阵进行的；

2)对第M次卷积池化运算获得的数据矩阵进行上采样，获得采样数据矩阵；

3)将第M-1次卷积池化运算获得的数据矩阵进行注意力权重计算，并使用获得的权重处理第M次卷积池化操作对应的上采样数据矩阵，获得处理后数据矩阵；

4)将所述的处理后数据与所述的上采样数据矩阵进行拼接卷积运算后，再次上采样，获得采样数据矩阵；

5)将第M-2次卷积池化运算获得的数据矩阵进行注意力权重计算，并使用获得的权重处理第M-1次卷积池化操作对应的上采样数据矩阵，获得处理后数据矩阵；

6)重复步骤4)、5)，每重复一次M减1，直至将第1次卷积池化运算获得的数据矩阵进行注意力权重计算，并使用获得权重对最后一次的上采样数据矩阵进行处理，将处理后的数据矩阵与上采样数据矩阵进行拼接卷积运算，获得最终的数据矩阵，进行步骤7)；

7)依据步骤6)中获得的最终数据矩阵，采用Adam优化器，对模型各层中的参数进行调整；

8)重复步骤1)～步骤7)，直至模型每层中的参数值都调整在适当的范围内，模型满足了学习要求，完成学习；

其中，M为大于等于2的自然数。

7.根据权利要求6所述基于人工智能的医学放射影像胸部摄片的质量控制方法，其特征在于，步骤3)以及步骤5)中所述注意力权重所用公式具体为：

w_i＝∑_r∈m,c∈nv_r,c/(m*n),i∈channel (1)；

W＝[w_i],i∈channel (2)；

W＝softmax(W) (3)；

其中，channel是输入通道，i是输入通道的索引，m是矩阵的行数，n是矩阵的列数，r是矩阵行的索引，c是矩阵列的索引。

8.根据权利要求6所述基于人工智能的医学放射影像胸部摄片的质量控制方法，其特征在于，所述作为学习数据的胸片图像矩阵以及对应的掩码矩阵包括：合格胸片以及不合格胸片。

9.根据权利要求6所述基于人工智能的医学放射影像胸部摄片的质量控制方法，其特征在于，所述对提取的图像数据进行预处理包括：图像缩放、降噪以及张量化。

10.根据权利要求6所述基于人工智能的医学放射影像胸部摄片的质量控制方法，其特征在于，所述人工智能模型包括：胸椎模型、两肋肺尖模型、锁骨模型、肩软组织模型、肩胛骨模型、心肺比模型以及心影后肋骨模型中的一种或多种。