CN115689981A - 基于信息融合的肺部图像检测方法、装置及存储介质 - Google Patents

基于信息融合的肺部图像检测方法、装置及存储介质 Download PDF

Info

Publication number
CN115689981A
CN115689981A CN202210923549.2A CN202210923549A CN115689981A CN 115689981 A CN115689981 A CN 115689981A CN 202210923549 A CN202210923549 A CN 202210923549A CN 115689981 A CN115689981 A CN 115689981A
Authority
CN
China
Prior art keywords
neural network
lung
network model
information
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210923549.2A
Other languages
English (en)
Inventor
陈昆涛
雷柏英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fifth Affiliated Zhuhai Hospital Of Zunyi Medical University
Original Assignee
Fifth Affiliated Zhuhai Hospital Of Zunyi Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fifth Affiliated Zhuhai Hospital Of Zunyi Medical University filed Critical Fifth Affiliated Zhuhai Hospital Of Zunyi Medical University
Priority to CN202210923549.2A priority Critical patent/CN115689981A/zh
Publication of CN115689981A publication Critical patent/CN115689981A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于信息融合的肺部图像检测方法、装置及存储介质，方法包括：融合肺部CT图像和预设的人口信息训练三维卷积神经网络；将肺部CT图像输入至包含已训练的三维卷积神经网络的第一神经网络模型，得到特征金字塔序列；基于预设的第二神经网络模型，融合特征金字塔序列，得到融合信息，提取融合信息的第一特征值，接着得到肺部图像检测结果。本发明实施例通过融合人口信息和肺部CT图像，以增强处理高维数据的能力，通过建立特征金字塔来提取低分辨率和低梯度特征，通过增强的多头注意力机制，分配和融合不同特征金字塔层中表示子空间的加权重要性，使得模型在跨中心验证任务中取得良好的结果。

Description

基于信息融合的肺部图像检测方法、装置及存储介质
技术领域
本发明涉及医用检测技术领域，尤其涉及的是基于信息融合的肺部图像检测方法、装置及存储介质。
背景技术
特定肺部病毒的肆虐给我们的生产和生活带来了巨大的影响，对其进行精准的检测显得尤为重要，但是现有技术中肺部图像的检测面临低分辨率和低梯度特征，通过人眼的CT图像很难发现早期特定肺炎病毒，并且通过人工方法来识别肺部图像的特征，效率非常的低下。近年来，采用深度学习来检测肺部图像取得了不错的效果，但是现有的检测方法仍然存在一些局限性，大多数现有研究通常基于单个中心，数据量有限，数据维度高，使得在对肺部图像进行检测时，分辨率低，从而导致检测结果准确度低。
因此，现有技术还有待改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于信息融合的肺部图像检测方法、装置及存储介质，旨在解决现有技术中基于单个中心，数据量有限，数据维度高，使得在对特定肺部图像进行检测时，分辨率低，从而导致检测结果准确度低的问题。
本发明解决问题所采用的技术方案如下：
第一方面，本发明实施例提供一种基于信息融合的肺部图像检测方法，其中，所述方法包括：
获取肺部CT图像，并基于所述肺部CT图像和预设的人口信息，训练三维卷积神经网络；其中，所述人口信息用于表征患者的年龄和性别；
将所述肺部CT图像输入至包含已训练的三维卷积神经网络的第一神经网络模型，并根据所述第一神经网络模型，得到特征金字塔序列；其中，所述特征金字塔序列为所述神经网络模型每层特征值的汇集；
基于预设的第二神经网络模型，融合所述特征金字塔序列，得到融合信息，提取所述融合信息的第一特征值，基于预设的第三神经网络模型和所述第一特征值，得到肺部图像检测结果；其中，所述第三神经网络模型采用增强的多头注意力机制。
在一种实现方式中，所述三维卷积神经网络包括堆叠卷积层和最大池化层。
在一种实现方式中，所述基于所述肺部CT图像和预设的人口信息，训练三维卷积神经网络包括：
将所述肺部CT图像输入至由三维卷积神经网络和预设的第一分类器组成的网络，进行性别类别训练；
将所述肺部CT图像输入至由经过性别类别训练后的三维卷积神经网络和预设的第二分类器组成的网络，进行年龄类别训练。
在一种实现方式中，所述第一神经网络模型包括已训练的三维卷积神经网络和所述第一分类器；所述将所述肺部CT图像输入至包含已训练的三维卷积神经网络的第一神经网络模型，并根据所述第一神经网络模型，得到特征金字塔序列包括：
将所述肺部CT图像输入至包含已训练的三维卷积神经网络的第一神经网络模型；
将所述第一神经网络模型中的每层输出的第二特征值进行汇集，得到特征金字塔序列。
在一种实现方式中，所述基于预设的第二神经网络模型，融合所述特征金字塔序列，得到融合信息，提取所述融合信息的第一特征值包括：
基于有序神经元长短期记忆人工神经网络，将所述特征金字塔序列中的所有多尺度特征进行融合，得到融合信息；
提取所述融合信息的第一特征值。
在一种实现方式中，所述增强多头注意力模型包括若干自我注意力模型和若干相异的激活函数组成。
在一种实现方式中，所述方法还包括：
基于若干预设的测试任务对所述第一神经网络模型、所述第一神经网络模型和所述第一神经网络模型进行测试。
第二方面，本发明实施例还提供一种基于信息融合的肺部图像检测装置，其中，所述装置包括：
训练模块，用于获取肺部CT图像，并基于所述肺部CT图像和预设的人口信息，训练三维卷积神经网络；其中，所述人口信息用于表征患者的年龄和性别；
特征提取模块，用于将所述肺部CT图像输入至包含已训练的三维卷积神经网络的第一神经网络模型，并根据所述第一神经网络模型，得到特征金字塔序列；其中，所述特征金字塔序列为所述神经网络模型每层特征值的汇集；
特征值融合和肺部图像检测模块，用于基于预设的第二神经网络模型，融合所述特征金字塔序列，得到融合信息，提取所述融合信息的第一特征值，基于预设的第三神经网络模型和所述第一特征值，得到肺部图像检测结果；其中，所述第三神经网络模型采用增强的多头注意力机制。
第三方面，本发明实施例还提供一种智能终端，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如上述任意一项所述的基于信息融合的肺部图像检测方法。
第四方面，本发明实施例还提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述中任意一项所述的基于信息融合的肺部图像检测方法。
本发明的有益效果：本发明实施例首先获取肺部CT图像，并基于所述肺部CT图像和预设的人口信息，训练三维卷积神经网络；其中，所述人口信息用于表征患者的年龄和性别；然后将所述肺部CT图像输入至包含已训练的三维卷积神经网络的第一神经网络模型，并根据所述第一神经网络模型，得到特征金字塔序列；其中，所述特征金字塔序列为所述神经网络模型每层特征值的汇集；最后基于预设的第二神经网络模型，融合所述特征金字塔序列，得到融合信息，提取所述融合信息的第一特征值，基于预设的第三神经网络模型和所述第一特征值，得到肺部图像检测结果；其中，所述第三神经网络模型采用增强的多头注意力机制；可见，本发明实施例中通过融合人口信息和肺部CT图像，以增强处理高维数据的能力，通过建立特征金字塔来提取低分辨率和低梯度特征，通过增强的多头注意力机制，分配和融合不同特征金字塔层中表示子空间的加权重要性，使得模型在跨中心验证任务中取得良好的结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于信息融合的肺部图像检测方法流程示意图。
图2为本发明实施例提供的一种实现方式的基于信息融合的肺部图像检测方法流程示意图。
图3为本发明实施例提供的一种实现方式的特征金字塔序列模型的结构图。
图4为本发明实施例提供的一种实现方式的ON-LSTM结构图。
图5为本发明实施例提供的一种实现方式的增强多头注意力结构图。
图6为本发明实施例提供的基于信息融合的肺部图像检测装置的原理框图。
图7为本发明实施例提供的智能终端的内部结构原理框图。
具体实施方式
本发明公开了基于信息融合的肺部图像检测方法、装置及存储介质，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语 (包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
由于现有技术中，采用深度学习来检测特定肺部图像取得了不错的效果，但是现有的检测方法仍然存在一些局限性，大多数现有研究通常基于单个中心，数据量有限，数据维度高，使得在对特定肺部图像进行检测时，分辨率低，从而导致检测结果准确度低。
为了解决现有技术的问题，本实施例提供了基于信息融合的肺部图像检测方法，通过融合人口信息和肺部CT图像，以增强处理高维数据的能力，通过建立特征金字塔来提取低分辨率和低梯度特征，通过增强的多头注意力机制，分配和融合不同特征金字塔层中表示子空间的加权重要性，使得模型在跨中心验证任务中取得良好的结果。具体实施时，首先获取肺部CT 图像，并基于所述肺部CT图像和预设的人口信息，训练三维卷积神经网络；其中，所述人口信息用于表征患者的年龄和性别；然后将所述肺部CT图像输入至包含已训练的三维卷积神经网络的第一神经网络模型，并根据所述第一神经网络模型，得到特征金字塔序列；其中，所述特征金字塔序列为所述神经网络模型每层特征值的汇集；最后基于预设的第二神经网络模型，融合所述特征金字塔序列，得到融合信息，提取所述融合信息的第一特征值，基于预设的第三神经网络模型和所述第一特征值，得到肺部图像检测结果；其中，所述第三神经网络模型采用增强的多头注意力机制。
示例性方法
本实施例提供基于信息融合的肺部图像检测方法，该方法可以应用于医用检测的智能终端。具体如图1-2所示，所述方法包括：
步骤S100、获取肺部CT图像，并基于所述肺部CT图像和预设的人口信息，训练三维卷积神经网络；其中，所述人口信息用于表征患者的年龄和性别；
具体地，在图像分析中，CNN是一个强大的多层神经网络。然而，2D-CNN 结构被设计用于分析2D图像，这对于提取3D医学图像的空间信息效率很低。因此，本发明采用了三维卷积核。在一种实现方式中，本发明通过堆叠卷积层和最大池化层来构建三维卷积神经网络(3D-CNN网络)，如图3所示。在本实施例中，采用整流线性单元(Relu)作为激活函数，为了提高小样本跨中心数据的处理能力，有效融合受试者的群体信息，本发明将受试者的人口信息作为基于标签的辅助任务。第一种是通过肺部CT图像预测样本性别，第二种是通过CT预测样本年龄，可以训练第一辅助任务。
在步骤S100中，所述基于所述肺部CT图像和预设的人口信息，训练三维卷积神经网络包括如下步骤：将所述肺部CT图像输入至由三维卷积神经网络和预设的第一分类器组成的网络，进行性别类别训练；将所述肺部CT 图像输入至由经过性别类别训练后的三维卷积神经网络和预设的第二分类器组成的网络，进行年龄类别训练。
具体地，先对肺部CT图像对应的年龄和性别分别进行标注，也就是说，每个肺部CT图像会对应一个年龄标签和一个性别标签，这样，将所述肺部 CT图像输入至由三维卷积神经网络和预设的第一分类器(如FC-softMax) 组成的网络时，根据网络的输出和性别标签对网络进行训练，这样，经过性别类别训练后，三维卷积神经网络就融合了患者的性别，接着保留三维卷积神经网络的权重，重建回归模型，将所述肺部CT图像输入至由经过性别类别训练后的三维卷积神经网络和预设的第二分类器(FC)组成的网络，根据网络的输出和年龄标签对网络进行训练，这样，经过年龄类别训练后，三维卷积神经网络就融合了患者的年龄。通过上述处理后，在训练模型时，该模型可以将人口信息和CT图像进行融合，并学习更多特征(例如隐藏在 CT图像中的性别和年龄信息)，以增强鲁棒性。此外，与直接融合的人口信息融合相比，该辅助任务通过预训练可以消除模型训练后患者的人口信息，使用方便，有利于保护隐私。
得到三维卷积神经网络后，就可以执行如图1-2所示的如下步骤：S200、将所述肺部CT图像输入至包含已训练的三维卷积神经网络的第一神经网络模型，并根据所述第一神经网络模型，得到特征金字塔序列；其中，所述特征金字塔序列为所述神经网络模型每层特征值的汇集；
具体地，第一神经网络模型包含已训练的三维卷积神经网络和其他网络，其他网络可以为分类器，将所述肺部CT图像输入至第一神经网络模型后，可以将第一神经网络模型各层输出的特征值按照特定的顺序进行排列，得到特征金字塔序列。所述特征金字塔序列为所述神经网络模型每层特征值的汇集。相应的，所述第一神经网络模型包括已训练的三维卷积神经网络和所述第一分类器；所述将所述肺部CT图像输入至包含已训练的三维卷积神经网络的第一神经网络模型，并根据所述第一神经网络模型，得到特征金字塔序列包括如下步骤：将所述肺部CT图像输入至包含已训练的三维卷积神经网络的第一神经网络模型；将所述第一神经网络模型中的每层输出的第二特征值进行汇集，得到特征金字塔序列。
具体地，第一神经网络模型包括已训练的三维卷积神经网络和所述第一分类器；在本实施例中，第一分类器为fc-softmax,当将所述肺部CT图像输入至包含已训练的三维卷积神经网络的第一神经网络模型时，主要进行肺部病毒检测结果类别的检测，如阴性或者阳性。为了进一步挖掘CNN特征图的隐藏信息，提高模型在低分辨率和低梯度特征方面的提取能力，利用图像金字塔提取每个卷积层的输出，也即将所述第一神经网络模型中的每层输出的第二特征值进行汇集，构建特征金字塔序列。与FPN网络不同的是，本发明不使用叠加的方式，而是通过汇集每一层的特征来构建特征金字塔序列。因此，所有层的特征尺寸处于同一水平。在得到特征金字塔序列后，本发明将其输入后续模块，并提取不同深度特征之间关系的隐藏信息。
得到特征金字塔序列后，就可以执行如图1所示的如下步骤：S300、基于预设的第二神经网络模型，融合所述特征金字塔序列，得到融合信息，提取所述融合信息的第一特征值，基于预设的第三神经网络模型和所述第一特征值，得到肺部图像检测结果；其中，所述第三神经网络模型采用增强的多头注意力机制。
具体地，预设的第二神经网络模型可以为长短期记忆人工神经网络 (LSTM)，也可以为有序神经元长短期记忆人工神经网络(ON-LSTM)，也就是说可以基于长短期记忆人工神经网络融合所述特征金字塔序列，得到融合信息，也可以基于有序神经元长短期记忆人工神经网络融合所述特征金字塔序列，得到融合信息，最后提取融合信息的第一特征值，可以将所述第一特征值输入预设的第三神经网络模型(可以为自我注意力SA、多头注意力MA或者增强多头注意力EMA)，得到最终的肺部图像检测结果。
在步骤S300中，所述基于预设的第二神经网络模型，融合所述特征金字塔序列，得到融合信息，提取所述融合信息的第一特征值包括如下步骤：基于有序神经元长短期记忆人工神经网络，将所述特征金字塔序列中的所有多尺度特征进行融合，得到融合信息；提取所述融合信息的第一特征值。
具体地，基于有序神经元长短期记忆人工神经网络(ON-LSTM)，将所述特征金字塔序列中的所有多尺度特征进行融合，得到融合信息；由于融合了各个卷积层的多尺度特征，提取所述融合信息的第一特征值，就可以提取其隐藏的层次关系。在本实施例中，将特征金字塔序列中的特征值视为从较低到较高的特征的序列。LSTM及其变体是序列分析的常用方法。LSTM 的门很难区分神经元之间的信息水平，因为每个神经元中的这些门是独立的。因此，本发明通过强制执行神经元更新顺序，使每个神经元的门依赖于其他神经元。如图4所示，ON-LSTM和LSTM之间的区别在于ON-LSTM替换了单元状态更新函数。在解释新的存储单元更新函数之前，本发明首先定义了一些基本概念：
将当前点的输入定义为xt，输出定义为ht，表示t处的特征，W是权重， b是偏差。然后，本发明定义了一个新的激活函数来强制更新频率的顺序：
Figure RE-GDA0003976216730000101
其中cumsum是累积和的平均值，向量
Figure RE-GDA0003976216730000102
被视为二进制门：g＝ cumax(0，...，0，1，...，1)。该二进制门将单元状态分为两段：段0和段1。该模型将根据不同的规则更新这两个值，并对其进行分级。基于cumax()，本发明可以定义主遗忘门和主输入门：
master forget gate：
Figure RE-GDA0003976216730000103
Master input gate：
Figure RE-GDA0003976216730000104
根据cumax()的激活特性，主遗忘门和输入门中的值在0到1之间变化。这些门用作细胞状态更新的高级控制。对于ON-LSTM，主要功能是通过主遗忘门和主输入门对信息进行排序。具体来说，当主遗忘门控制消除行为时，即(0，…，0，1，…，1)，(分割点为
Figure RE-GDA0003976216730000105
)，前一个单元状态
Figure RE-GDA0003976216730000106
中第ct-1个神经元之前的信息将被完全删除。主输入门控制模型的写入机制，即(1，…， 1，0，…，0)(分割点为
Figure RE-GDA0003976216730000111
)。较大的
Figure RE-GDA0003976216730000112
表示当前输入的xt包含需要保存几个步骤的长期信息。较小的
Figure RE-GDA0003976216730000113
意味着电流输入xt提供了在接下来的几个步骤中由主忘记门擦除的局部信息。
在步骤S300中，所述基于预设的第三神经网络模型和所述第一特征值，得到肺部图像检测结果包括如下步骤：将所述第一特征值输入至增强多头注意力模型，得到肺部图像检测结果。
具体地，如图5所示，图5(A)显示了自我注意力SA，图5(B)显示了多头注意力MA，图5(C)显示了增强多头注意力EMA的示意图。可以看到，MA模块由多个SA模块(多头)组成，并且仅使用线性激活函数，其中它们的头可能不一定像预期的那样专注于信息。本发明中的EMA由多个SA模块 (多个头部)组成，并使用不同的激活函数将特征映射转换为不同的非线性变换，从而确保每个头部关注不同的子空间。具体来说，本发明首先计算SA，从每个输入向量x创建三个向量，即查询向量(Q＝xwQ)、键向量(K＝ xwK)和值向量(V＝xwV)。wQ，wK，和wV是Q，K和V的权重向量。然后，本发明将Q和K相乘，对输入进行评分。接下来，本发明将分数除以
Figure RE-GDA0003976216730000114
其中dk是K的维数。此外，输出由softmax函数标准化，其元素之和为1。下一步是将每个值向量乘以softmax的分数，并累积这些加权向量，从而生成 SA层的输出。最后，我们使用四个SA模块和四个不同的激活函数(即line、 sigmoid、tanh和ReLU)来形成本发明的EMA模块。在SA中，本发明设置有多个查询/键/值权重矩阵，这些集合中的每个矩阵都是通过随机初始化生成的。在训练时，将语义信息投影到不同的表示子空间，然后进行融合。此外，受ResNet的启发，本发明对注意力的输入和输出进行叠加，以进一步增强其表示能力。这样，将所述第一特征值输入至增强多头注意力模型EMA，得到肺部图像检测结果。在一种实现方式中，所述增强多头注意力模型包括四个自我注意力模型(SA)和若干相异的激活函数(line、sigmoid、 tanh和ReLU)组成。
在一种实现方式中，所述方法还包括如下步骤：基于若干预设的测试任务对所述第一神经网络模型、所述第一神经网络模型和所述第一神经网络模型进行测试。
具体地，为了更好地演示模型性能，我们基于两个肺炎数据集构建了四个测试任务，分别是基于数据集1的5倍交叉验证(任务1，T1)，基于数据集2的5倍交叉验证(任务2，T2)，基于数据集1训练并基于数据集2测试 (任务3，T3)，基于数据集2训练并基于数据集1测试(任务4，T4)，四个测试任务分别对所述第一神经网络模型、所述第一神经网络模型和所述第一神经网络模型进行测试，以实现对患者肺部病毒的检测测试。
三维CT图像由Dicom格式的多张二维灰度切片组成。为了使用这些3D CT图像来训练本发明的模型，本发明执行以下数据预处理步骤。本发明首先使用Matlab软件的Dicomread功能分别读取每个样本中的切片矩阵信息，然后将这些矩阵组合成三维矩阵。这样，本发明可以获得所有样本的3D CT 图像。由于这些三维CT图像的切片数不同，本发明通过最近邻插值方法将所有CT图像的大小调整为256×256×128。此外，本发明将每个CT数据标准化，使其均值为零，标准差为1，这形成了本发明模型的输入图像。此外，本发明使用最大池操作将这些数据进一步下采样到128×128×64的大小，这有助于缓解过拟合问题。
实验环境
为了验证不同模块的性能和模型的鲁棒性，本发明将实验分为两部分：第一部分是单个数据集的内部验证，第二部分是跨数据集验证。在此基础上，本发明构建了四个分类任务：任务1：使用数据集1(T1)进行训练和测试；任务2：使用数据集2(T2)进行训练和测试；任务3：使用数据集 1(T3)训练后，使用数据集2进行测试；任务4：使用数据集2(T4)训练后，使用数据集1进行测试。接下来，我们将基于这四个任务分别验证特征提取、高级语义分析和注意力模块的性能。
对于3D-CNN，本发明选择Adam优化器进行优化，并将交叉熵作为损失函数。本发明将批大小设置为16，训练周期设置为20，初始学习率设置为 10-4，模糊因子设置为10-9，矩估计的一阶指数衰减率设置为0.9，矩估计的二阶指数衰减率设置为0.999。对于LSTM，本发明选择RMSprop作为优化器，以加快训练，并将交叉熵作为损失函数。本发明将批量大小设置为30，训练周期数设置为25，学习率设置为10-3，模糊因子设置为10-8，rho设置为0.9，学习率衰减为10-5。
所有实验均在Windows机器上进行，使用NVIDIA TITAN Xt GPU，并使用Keras库和Tensorflow实现。
方法评价指标
对于分类性能评估，我们使用不同的性能指标，即准确性(ACC)、敏感性(SEN)、特异性(SPEC)、F1分数(F1)、平衡准确性(BAC)和接收操作曲线下面积(AUC)。
Figure RE-GDA0003976216730000131
Figure RE-GDA0003976216730000132
Figure RE-GDA0003976216730000133
Figure RE-GDA0003976216730000141
Figure RE-GDA0003976216730000142
上式中TP(true positive)、TN(true negative)、FP(false positive) 和FN(false negative)分别为真阳性、真阴性、假阳性和假阴性的样本个数。K为类别数，m为每个类别中的样本数。
示例性设备
如图6中所示，本发明实施例提供一种基于信息融合的肺部图像检测装置，该装置包括训练模块401、特征提取模块402和特征值融合和肺部图像检测模块403：
训练模块401，用于获取肺部CT图像，并基于所述肺部CT图像和预设的人口信息，训练三维卷积神经网络；其中，所述人口信息用于表征患者的年龄和性别；
特征提取模块402，用于将所述肺部CT图像输入至包含已训练的三维卷积神经网络的第一神经网络模型，并根据所述第一神经网络模型，得到特征金字塔序列；其中，所述特征金字塔序列为所述神经网络模型每层特征值的汇集；
特征值融合和肺部图像检测模块403，用于基于预设的第二神经网络模型，融合所述特征金字塔序列，得到融合信息，提取所述融合信息的第一特征值，基于预设的第三神经网络模型和所述第一特征值，得到肺部图像检测结果；其中，所述第三神经网络模型采用增强的多头注意力机制。
基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图7所示。该智能终端包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于信息融合的肺部图像检测方法。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏，该智能终端的温度传感器是预先在智能终端内部设置，用于检测内部设备的运行温度。
本领域技术人员可以理解，图7中的原理图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种智能终端，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
获取肺部CT图像，并基于所述肺部CT图像和预设的人口信息，训练三维卷积神经网络；其中，所述人口信息用于表征患者的年龄和性别；
将所述肺部CT图像输入至包含已训练的三维卷积神经网络的第一神经网络模型，并根据所述第一神经网络模型，得到特征金字塔序列；其中，所述特征金字塔序列为所述神经网络模型每层特征值的汇集；
基于预设的第二神经网络模型，融合所述特征金字塔序列，得到融合信息，提取所述融合信息的第一特征值，基于预设的第三神经网络模型和所述第一特征值，得到肺部图像检测结果；其中，所述第三神经网络模型采用增强的多头注意力机制。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态 RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM (ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus) 直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上所述，本发明公开了基于信息融合的肺部图像检测方法、装置及存储介质，方法包括：获取肺部CT图像，并基于所述肺部CT图像和预设的人口信息，训练三维卷积神经网络；其中，所述人口信息用于表征患者的年龄和性别；将所述肺部CT图像输入至包含已训练的三维卷积神经网络的第一神经网络模型，并根据所述第一神经网络模型，得到特征金字塔序列；其中，所述特征金字塔序列为所述神经网络模型每层特征值的汇集；基于预设的第二神经网络模型，融合所述特征金字塔序列，得到融合信息，提取所述融合信息的第一特征值，基于预设的第三神经网络模型和所述第一特征值，得到肺部图像检测结果；其中，所述第三神经网络模型采用增强的多头注意力机制。本发明实施例通过融合人口信息和肺部CT图像，以增强处理高维数据的能力，通过建立特征金字塔来提取低分辨率和低梯度特征，通过增强的多头注意力机制，分配和融合不同特征金字塔层中表示子空间的加权重要性，使得模型在跨中心验证任务中取得良好的结果。
基于上述实施例，本发明公开了一种基于信息融合的肺部图像检测方法，应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于信息融合的肺部图像检测方法，其特征在于，所述方法包括：
获取肺部CT图像，并基于所述肺部CT图像和预设的人口信息，训练三维卷积神经网络；其中，所述人口信息用于表征患者的年龄和性别；
将所述肺部CT图像输入至包含已训练的三维卷积神经网络的第一神经网络模型，并根据所述第一神经网络模型，得到特征金字塔序列；其中，所述特征金字塔序列为所述神经网络模型每层特征值的汇集；
基于预设的第二神经网络模型，融合所述特征金字塔序列，得到融合信息，提取所述融合信息的第一特征值，基于预设的第三神经网络模型和所述第一特征值，得到肺部图像检测结果；其中，所述第三神经网络模型采用增强的多头注意力机制。
2.根据权利要求1所述的基于信息融合的肺部图像检测方法，其特征在于，所述三维卷积神经网络包括堆叠卷积层和最大池化层。
3.根据权利要求1所述的基于信息融合的肺部图像检测方法，其特征在于，所述基于所述肺部CT图像和预设的人口信息，训练三维卷积神经网络包括：
将所述肺部CT图像输入至由三维卷积神经网络和预设的第一分类器组成的网络，进行性别类别训练；
将所述肺部CT图像输入至由经过性别类别训练后的三维卷积神经网络和预设的第二分类器组成的网络，进行年龄类别训练。
4.根据权利要求3所述的基于信息融合的肺部图像检测方法，其特征在于，所述第一神经网络模型包括已训练的三维卷积神经网络和所述第一分类器；所述将所述肺部CT图像输入至包含已训练的三维卷积神经网络的第一神经网络模型，并根据所述第一神经网络模型，得到特征金字塔序列包括：
将所述肺部CT图像输入至包含已训练的三维卷积神经网络的第一神经网络模型；
将所述第一神经网络模型中的每层输出的第二特征值进行汇集，得到特征金字塔序列。
5.根据权利要求1所述的基于信息融合的肺部图像检测方法，其特征在于，所述基于预设的第二神经网络模型，融合所述特征金字塔序列，得到融合信息，提取所述融合信息的第一特征值包括：
基于有序神经元长短期记忆人工神经网络，将所述特征金字塔序列中的所有多尺度特征进行融合，得到融合信息；
提取所述融合信息的第一特征值。
6.根据权利要求1所述的基于信息融合的肺部图像检测方法，其特征在于，所述基于预设的第三神经网络模型和所述第一特征值，得到肺部图像检测结果包括：
将所述第一特征值输入至增强多头注意力模型，得到肺部图像检测结果。
7.根据权利要求1所述的基于信息融合的肺部图像检测方法，其特征在于，所述方法还包括：
基于若干预设的测试任务对所述第一神经网络模型、所述第一神经网络模型和所述第一神经网络模型进行测试。
8.一种基于信息融合的肺部图像检测装置，其特征在于，所述装置包括：
训练模块，用于获取肺部CT图像，并基于所述肺部CT图像和预设的人口信息，训练三维卷积神经网络；其中，所述人口信息用于表征患者的年龄和性别；
特征提取模块，用于将所述肺部CT图像输入至包含已训练的三维卷积神经网络的第一神经网络模型，并根据所述第一神经网络模型，得到特征金字塔序列；其中，所述特征金字塔序列为所述神经网络模型每层特征值的汇集；
特征值融合和肺部图像检测模块，用于基于预设的第二神经网络模型，融合所述特征金字塔序列，得到融合信息，提取所述融合信息的第一特征值，基于预设的第三神经网络模型和所述第一特征值，得到肺部图像检测结果；其中，所述第三神经网络模型采用增强的多头注意力机制。
9.一种智能终端，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如权利要求1-7中任意一项所述的方法。
10.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1-7中任意一项所述的方法。
CN202210923549.2A 2022-08-02 2022-08-02 基于信息融合的肺部图像检测方法、装置及存储介质 Pending CN115689981A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210923549.2A CN115689981A (zh) 2022-08-02 2022-08-02 基于信息融合的肺部图像检测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210923549.2A CN115689981A (zh) 2022-08-02 2022-08-02 基于信息融合的肺部图像检测方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN115689981A true CN115689981A (zh) 2023-02-03

Family

ID=85061179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210923549.2A Pending CN115689981A (zh) 2022-08-02 2022-08-02 基于信息融合的肺部图像检测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN115689981A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452898A (zh) * 2023-06-16 2023-07-18 中国人民大学 基于影像组学和深度学习的肺腺癌亚型识别方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452898A (zh) * 2023-06-16 2023-07-18 中国人民大学 基于影像组学和深度学习的肺腺癌亚型识别方法和装置
CN116452898B (zh) * 2023-06-16 2023-10-17 中国人民大学 基于影像组学和深度学习的肺腺癌亚型识别方法和装置

Similar Documents

Publication Publication Date Title
CN110503630B (zh) 一种基于三维深度学习模型的脑出血分类、定位与预测方法
CN109993102B (zh) 相似人脸检索方法、装置及存储介质
CN111291604A (zh) 面部属性识别方法、装置、存储介质及处理器
Gangwar et al. AttM-CNN: Attention and metric learning based CNN for pornography, age and Child Sexual Abuse (CSA) Detection in images
CN112464865A (zh) 一种基于像素和几何混合特征的人脸表情识别方法
CN113240655B (zh) 一种自动检测眼底图像类型的方法、存储介质及装置
Bai et al. Coordinate CNNs and LSTMs to categorize scene images with multi-views and multi-levels of abstraction
CN112749737A (zh) 图像分类方法及装置、电子设备、存储介质
CN110414541B (zh) 用于识别物体的方法、设备和计算机可读存储介质
Singh et al. A stack autoencoders based deep neural network approach for cervical cell classification in pap-smear images
CN115689981A (zh) 基于信息融合的肺部图像检测方法、装置及存储介质
Sun et al. Perceptual multi-channel visual feature fusion for scene categorization
Ahmad et al. Autism spectrum disorder detection using facial images: A performance comparison of pretrained convolutional neural networks
CN112861881A (zh) 一种基于改进MobileNet模型的蜂窝肺识别方法
Mejia-Escobar et al. Towards a better performance in facial expression recognition: a data-centric approach
Henderson et al. Analyzing chest X-ray to detect the evidence of lung abnormality due to infectious disease
Wang et al. Crop pest detection by three-scale convolutional neural network with attention
CN113627522A (zh) 基于关系网络的图像分类方法、装置、设备及存储介质
Ye et al. Sparse representation optimization of image Gaussian mixture features based on a convolutional neural network
CN113610080A (zh) 基于跨模态感知的敏感图像识别方法、装置、设备及介质
Nath et al. Deep learning-based common skin disease image classification
Weiyue et al. Facial Expression Recognition with Small Samples under Convolutional Neural Network
Zhang et al. Discriminative clustering on manifold for adaptive transductive classification
CN117237856B (zh) 图像识别方法、装置、计算机设备、存储介质
CN117217807B (zh) 一种基于多模态高维特征的不良资产估值方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination