CN115861303B - 基于肺部ct图像的egfr基因突变检测方法和系统 - Google Patents

Abstract

本申请涉及人工智能技术领域，公开了一种基于肺部CT图像的EGFR基因突变检测方法和系统，所述方法包括：获取待检测数据，所述待检测数据包括肺部CT图像和患者多媒体信息；将多视角下的肺部CT图像输入图像特征提取器中，获得图像融合特征；将所述患者多媒体信息输入多媒体特征提取器中，获得多媒体融合特征；将所述图像融合特征与所述多媒体融合特征进行融合，获得突变检测特征；将所述突变检测特征输入EGFR基因突变检测分类器中，获得EGFR基因突变检测结果。本申请解决了现有EGFR基因突变检测方法存在的耗时长、步骤多的问题。

Description

基于肺部CT图像的EGFR基因突变检测方法和系统

技术领域

本申请涉及人工智能技术领域，具体是指一种基于肺部CT图像的EGFR基因突变检测方法和系统。

背景技术

肺癌是全球死亡率最高的一种恶性肿瘤疾病。随着计算机断层扫描（CT）技术在医院普及使用，肺癌的死亡率减少了20%左右。肺癌在临床上分为小细胞肺癌和非小细胞肺癌(non-small-cell carcinoma，NSCLC)两类，其中NSCLC约占80％，最多见的NSCLC组织学亚型为腺癌和鳞状细胞癌(squamous cellcarcinoma，SQCC)。

EGFR（人体表皮生长因子受体，epidermal growthfactor receptor）已成为近年来肿瘤治疗研究和抗肿瘤药物筛选的热点, 有关EGFR突变与肿瘤发生以及EGFR突变在分子靶向治疗中的作用日益受到人们的关注。EGFR突变是癌症患者是否对TKI 敏感的强预测因子, 因此EGFR基因突变的检测能为肿瘤靶向治疗提供依据，有效提高EGFR基因敏感突变肺癌患者的生存概率和生存质量。

目前，DNA 测序法是进行EGFR突变检测的最可靠方法，也是使用最多的方法。还有各种基于PCR的基因突变检测的方法，比如聚合酶链式反应－单链构象多态性分析（PCR-SSCP），突变体富集PCR，探针扩增阻滞突变系统（ARMS），微数字PCR等等。

现有的传统EGFR基因检测方法，基因测序虽然结果可靠且使用广泛，但是价格高昂，过程繁琐且耗时长，而且需要进行穿刺活检，对患者有伤害，且对于晚期肿瘤不适用穿刺活检的情况下，此种检测方法无法使用。PCR方法虽然可以利用患者胸腔积水等包含肿瘤细胞DNA的样本进行检测，但是方法虽然比测序法操作容易，却只能提供个体样本有无突变的信息，无法得出具体的突变类型，而且需要电泳检测限制了其在临床上的应用。总的来说，这些方法虽然结果较为准确，但是耗费的时间长，步骤多，而且可能会对患者造成一定程度上的伤害（如穿刺活检），对医院的设备和技术也有要求。

发明内容

基于以上技术问题，本申请提供了一种基于肺部CT图像的EGFR基因突变检测方法和系统，解决了现有EGFR基因突变检测方法存在的耗时长、步骤多的问题。

为解决以上技术问题，本申请采用的技术方案如下：

一种基于肺部CT图像的EGFR基因突变检测方法，包括：

获取待检测数据，所述待检测数据包括肺部CT图像和患者多媒体信息；

将多视角下的肺部CT图像输入图像特征提取器中，获得图像融合特征；

将所述患者多媒体信息输入多媒体特征提取器中，获得多媒体融合特征；

将所述图像融合特征与所述多媒体融合特征进行融合，获得突变检测特征；

将所述突变检测特征输入EGFR基因突变检测分类器中，获得EGFR基因突变检测结果。

一种基于肺部CT图像的EGFR基因突变检测系统，其特征在于，包括：

数据获取模块，所述数据获取模块用于获取待检测数据，所述待检测数据包括肺部CT图像和患者多媒体信息；

图像特征提取模块，所述图像特征提取模块用于将多视角下的肺部CT图像输入图像特征提取器中，获得图像融合特征；

多媒体特征提取模块，所述多媒体特征提取模块用于将所述患者多媒体信息输入多媒体特征提取器中，获得多媒体融合特征；

特征融合模块，所述特征融合模块用于将所述图像融合特征与所述多媒体融合特征进行融合，获得突变检测特征；

分类检测模块，所述分类检测模块用于将所述突变检测特征输入EGFR基因突变检测分类器中，获得EGFR基因突变检测结果。

一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述基于肺部CT图像的EGFR基因突变检测方法的步骤。

一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述基于肺部CT图像的EGFR基因突变检测方法的步骤。

与现有技术相比，本申请的有益效果是：

上述方法、装置、计算机设备和存储介质通过利用特征提取器与分类器构成的EGFR基因突变检测模型，可以通过输入患者的肺部CT图像与多媒体信息获得EGFR基因突变检测结果，在确保EGFR基因突变检测准确率的前提下，具有检测耗时短，检测步骤少的优点。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。其中：

图1为本申请一些实施例中提供的基于肺部CT图像的EGFR基因突变检测方法的流程示意图。

图2为本申请一些实施例中提供的EGFR基因突变检测模型训练的流程示意图。

图3为本申请一些实施例中提供的基于多视角下的训练图像对第一训练模型进行训练的流程示意图。

图4为本申请一些实施例中提供的基于所述训练多媒体信息对第二训练模型进行训练的流程示意图。

图5为本申请一些实施例中提供的基于所述训练数据对第三训练模型进行训练的流程示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应当理解，本说明书中所使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

应当理解，本说明书中除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

参阅图1，在一些实施例中，一种基于肺部CT图像的EGFR基因突变检测方法，包括：

S101，获取待检测数据，所述待检测数据包括肺部CT图像和患者多媒体信息；

具体的，肺部CT图像通过CT设备采集获得；

优选的，所述患者多媒体信息包括文本信息、图像信息、音频信息和检查数据信息，所述文本信息包括家族病史、吸烟史和饮酒史，所述图像信息包括肺部超声图像和支气管镜图像，所述音频信息包括肺部湿啰音数据，所述检查数据信息包括肿瘤标记物检查数据、血液检查数据和胸腔积液检查数据；

优选的，对于肺部CT图像数据，在进行检测之前，还包括对其进行预处理，以突出其有效的特征，便于更好地检测肺部CT影像中的肺癌病灶是否发生EGFR基因突变；

具体的，首先对肺部CT图像的窗宽窗位进行调整，由于肺部CT图像的显示范围较广，其中包括了很大一部分非肺窗的范围，而这部分信息会造成冗余，降低神经网络模型的效果，因此需要将肺部CT图像的显示范围调整为肺窗。

S102，将多视角下的肺部CT图像输入图像特征提取器中，获得图像融合特征；

优选的，所述多视角包括冠状面视角、矢状面视角以及横断面视角。

其中，对于三维空间，采用三个正交方向的冠状面视角、矢状面视角以及横断面视角的肺部CT图像作为图像特征提取器的输入，即可包含病灶微环境中大部分的有用信息。通过采用多视角下的肺部CT图像进行特征提取，可以从多个视角提取有效的图像特征，以更为准确地完成EGFR基因突变结果的分类，增加了EGFR基因突变检测结果的准确性。

具体的，图像特征提取器选择现有ResNet（残差网络）模型的特征提取器部分，用于完成图像特征的提取。ResNet模型是一种密集连接网络，网络吸取了DenseNet（稠密连接网络）模型中通过特征在通道（Channel）上的连接来实现特征重用（Feature Reuse）的优点，它使用密集连接（Dense Connection）将前面所有层与后面层相连，并通过特征融合（Fearture Fusuion）将多个视角下提取的特征进行融合。上述特点让本申请可以在参数和计算成本更少的情形下实现比传统的神经网络更优的性能，还在一定程度上缓解了梯度消失的问题。

因此，则图像特征提取器的基本结构包括三个特征提取单元与一个特征融合单元，三个特征提取单元用于分别实现冠状面视角、矢状面视角以及横断面视角下肺部CT图像的特征提取，再通过特征融合单元获得图像融合特征。特征融合单元负责三个视角特征的融合，其主要的融合方式是使用贝叶斯网络先分别学习三个视角特征的分布函数，然后联合三个分布函数产生融合后的特征概率分布，图像特征提取器输出的特征来自于对联合概率分布的采样。

其中，由于采用多视角特征融合的特征提取器，所以输入的图像数据具有三个多视角的特征信息，特征提取器会从三个不同的视角进行特征提取，这样可以充分提取出病灶微环境的特征信息，找出病灶微环境的特征和EGFR基因突变之间深层次的联系，以提高后续EGFR基因突变检测的准确性。

S103，将所述患者多媒体信息输入多媒体特征提取器中，获得多媒体融合特征；

优选的，所述患者多媒体信息包括文本信息、图像信息、音频信息和检查数据信息，所述文本信息包括家族病史、吸烟史和饮酒史，所述图像信息包括肺部超声图像和支气管镜图像，所述音频信息包括肺部湿啰音数据，所述检查数据信息包括肿瘤标记物检查数据、血液检查数据和胸腔积液检查数据。

具体的，对于多媒体特征提取器，选择Transformer（自注意力网络）模型的特征提取器部分，用于完成患者多媒体信息特征的提取，通过对患者多媒体信息进行一次抽象化处理，使得提取到的信息具有统一的表示方式，方便各种不同格式信息的处理。

因此，则多媒体特征提取器的基本结构包括多个Transformer单元来处理不同多媒体信息的输入，将其统一输出为向量形式的抽象输出，之后再使用一个Transformer单元对输出的向量进行提取和精炼，获得多媒体融合特征。

S104，将所述图像融合特征与所述多媒体融合特征进行融合，获得突变检测特征；

其中，因为图像信息和多媒体信息的表现形式不同，特征提取器提取的两种特征直接作为分类器的输入会大大提高分类器的复杂度，所以通过对特征提取器提取的不同特征进行融合，可以更好地综合肺部CT图像和患者多媒体信息的特征信息以方便分类器的结果检测。

具体的，图像融合特征与多媒体融合特征进行融合时，首先将图像融合特征与多媒体融合特征进行二次抽象化，使二者处于相同的表示空间中，然后图像融合特征使用自注意力机制先进行内部融合，之后拼接上多媒体融合特征再进行自注意力融合，得到最终融合后的突变检测特征。

S105，将所述突变检测特征输入EGFR基因突变检测分类器中，获得EGFR基因突变检测结果。

本实施例中，提出了一种基于肺部CT图像的多视角特征，辅以患者多媒体信息特征的EGFR基因突变检测方法，构建了一种图片特征、文本特征信息相结合的深度神经网络模型，可以从多个视角的肺部CT图像切面提取有效的影像特征加上从患者吸烟史、家族史等信息中提取出来的文本特征一起来判断EGFR基因的突变状态。通过从三个多视角的肺部CT图像进行特征提取并且融合患者与基因突变原因高度相关的文本信息特征，增加深度神经网络模型的准确性，获得较为准确的检测结果，辅助肺癌的靶向治疗。

传统通过神经网络模型进行EGFR基因突变检测的方法往往只从一个视角进行处理，或是只处理图像信息，忽视了其他视角丰富的病灶微环境信息和图像无法表示出来的患者信息（如是否抽烟），这样无疑会对网络的准确率产生负面影响。而本申请方法具有检测结果准确，分类效率高，能够充分捕捉EGFR基因突变带来的病灶微环境表现的优点。

参阅图2，在一些实施例中，在获取待检测数据之前，还包括：

S201，获取训练数据，所述训练数据包括标注有真实标签的训练图像和训练多媒体信息；

具体的，真实标签是指对训练图像和训练多媒体信息对应的EGFR基因突变检测结果的标注，以及对训练图像上肺癌病灶位置的标注。

S202，基于多视角下的训练图像对第一训练模型进行训练，所述第一训练模型包括第一特征提取器和第一分类器，将训练完成的第一特征提取器作为图像特征提取器；

S203，基于所述训练多媒体信息对第二训练模型进行训练，所述第二训练模型包括第二特征提取器和第二分类器，将训练完成的第二特征提取器作为多媒体特征提取器；

S204，基于所述训练数据对第三训练模型进行训练，所述第三训练模型包括训练完成的第一特征提取器、第二特征提取器以及未训练的第三分类器，将训练完成的第三分类器作为EGFR基因突变检测分类器。

本实施例中，为了加快训练速度和提高模型的准确性，本实施例使用对图像特征提取器和多媒体特征提取器采用单独进行预训练的策略。即将两种特征提取器各自作为一个模型的特征提取部分（编码器）来分开进行预训练，然后在训练本申请的EGFR基因突变检测分类器时加载两个特征提取器预训练好的参数作为初始化参数，以完成对后续分类器的训练。

参阅图3，在一些实施例中，基于多视角下的训练图像对第一训练模型进行训练包括：

S301，将多视角下的训练图像输入所述第一特征提取器，提取所述训练图像的第一样本特征；

具体的，神经网络模型的计算需要处理好地带标签数据，同时受限于机器硬件的性能，把一个完整的肺部CT图像送入网络中训练会极大地较低训练的效率，因此本申请选择裁剪肺部CT图像中的病灶区域作为训练图像。

S302，将所述第一样本特征输入所述第一分类器，获得所述训练图像的第一分类结果；

S303，根据所述第一分类结果与所述训练图像真实标签之间的误差，获得第一误差信息；

S304，基于所述第一误差信息对所述第一特征提取器和所述第一分类器的参数进行优化。

本实施例中，基于误差信息对神经网络参数进行优化的方式是神经网络模型的基本训练模式，其主要是对神经网络模型的当前状态进行误差估计，为了减少下一次训练评估的误差，一般还会使用一个能够表示误差的函数用以对参数进行更新，这个函数便是损失函数。

参阅图4，在一些实施例中，基于所述训练多媒体信息对第二训练模型进行训练包括：

S401，将所述训练多媒体信息输入所述第二特征提取器，提取所述训练多媒体信息的第二样本特征；

S402，将所述第二样本特征输入所述第二分类器，获得所述训练图像的第二分类结果；

S403，根据所述第二分类结果与所述训练多媒体信息真实标签之间的误差，获得第二误差信息；

S404，基于所述第二误差信息对所述第二特征提取器和所述第二分类器的参数进行优化。

参阅图5，在一些实施例中，基于所述训练数据对第三训练模型进行训练包括：

S501，将多视角下的训练图像输入训练完成的第一特征提取器，获得第三样本特征；

S502，将所述训练多媒体信息输入训练完成的第二特征提取器，获得第四样本特征；

S503，将所述第三样本特征与所述第四样本特征进行融合，获得融合样本特征；

S504，将所述融合样本特征输入所述第三分类器中，获得第三分类结果；

S505，根据所述第三分类结果与所述训练数据真实标签之前的误差，获得第三误差信息；

S506，固定所述第一特征提取器和所述第二特征提取器的参数，基于所述第三误差信息对所述第三分类器的参数进行优化。

在一些实施例中，还公开了一种基于肺部CT图像的EGFR基因突变检测系统，包括：

数据获取模块，所述数据获取模块用于获取待检测数据，所述待检测数据包括肺部CT图像和患者多媒体信息；

图像特征提取模块，所述图像特征提取模块用于将多视角下的肺部CT图像输入图像特征提取器中，获得图像融合特征；

多媒体特征提取模块，所述多媒体特征提取模块用于将所述患者多媒体信息输入多媒体特征提取器中，获得多媒体融合特征；

特征融合模块，所述特征融合模块用于将所述图像融合特征与所述多媒体融合特征进行融合，获得突变检测特征；

分类检测模块，所述分类检测模块用于将所述突变检测特征输入EGFR基因突变检测分类器中，获得EGFR基因突变检测结果。

本实施例中，对于图像特征提取模块、多媒体特征提取模块、特征融合模块以及分类检测模块构成的EGFR基因突变检测模型，对于已经完成训练的模型，可以实现快速检测，实现批量肺部CT图像检测，可以实现无人值守批量操作，且速度快速，速度可随设备扩展提升。节省了初级筛查的人力物力，解放医生工作集中于更高层次的诊断的处置方案设计。同时，还可向底层推广，可以解决基层医院专业医疗资源不足的问题，提升基层医院诊断水平，减少偏远地区误诊与漏诊的机率。

为解决上述技术问题，本申请还公开了一种计算机设备，其特征在于，包括存储器和处理器，存储器中存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述基于肺部CT图像的EGFR基因突变检测方法的步骤。

其中，所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或D界面显示存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEBROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器可以是所述计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，所述存储器也可以是所述计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media)，安全数字卡(SD Card)，闪存卡(Flash Card)等。当然，所述存储器还可以既包括所述计算机设备的内部存储单元也包括其外部存储设备。本实施例中，所述存储器常用于存储安装于所述计算机设备的操作系统和各类应用软件，例如所述基于肺部CT图像的EGFR基因突变检测方法的程序代码等。此外，所述存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制所述计算机设备的总体操作。本实施例中，所述处理器用于运行所述存储器中存储的程序代码或者处理数据，例如运行所述基于肺部CT图像的EGFR基因突变检测方法的程序代码。

为解决上述技术问题，本申请还公开了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述基于肺部CT图像的EGFR基因突变检测方法的步骤。

其中，所述计算机可读存储介质存储有界面显示程序，所述界面显示程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于肺部CT图像的EGFR基因突变检测方法的步骤。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器或者网络设备等)执行本申请各个实施例所述的方法。

如上即为本申请的实施例。上述实施例以及实施例中的具体参数仅是为了清楚表述申请的验证过程，并非用以限制本申请的专利保护范围，本申请的专利保护范围仍然以其权利要求书为准，凡是运用本申请的说明书及附图内容所作的等同结构变化，同理均应包含在本申请的保护范围内。

Claims (8)

1.基于肺部CT图像的EGFR基因突变检测方法，其特征在于，包括：

获取待检测数据，所述待检测数据包括肺部CT图像和患者多媒体信息；患者多媒体信息包括文本信息、图像信息、音频信息和检查数据信息，所述文本信息包括家族病史、吸烟史和饮酒史，所述图像信息包括肺部超声图像和支气管镜图像，所述音频信息包括肺部湿啰音数据，所述检查数据信息包括肿瘤标记物检查数据、血液检查数据和胸腔积液检查数据；

将多视角下的肺部CT图像输入图像特征提取器中，获得图像融合特征；多视角包括冠状面视角、矢状面视角以及横断面视角；

将所述患者多媒体信息输入多媒体特征提取器中，获得多媒体融合特征；

将所述图像融合特征与所述多媒体融合特征进行融合，获得突变检测特征；

将所述突变检测特征输入EGFR基因突变检测分类器中，获得EGFR基因突变检测结果。

2.根据权利要求1所述的基于肺部CT图像的EGFR基因突变检测方法，其特征在于，在获取待检测数据之前，还包括：

获取训练数据，所述训练数据包括标注有真实标签的训练图像和训练多媒体信息；

基于多视角下的训练图像对第一训练模型进行训练，所述第一训练模型包括第一特征提取器和第一分类器，将训练完成的第一特征提取器作为图像特征提取器；

基于所述训练多媒体信息对第二训练模型进行训练，所述第二训练模型包括第二特征提取器和第二分类器，将训练完成的第二特征提取器作为多媒体特征提取器；

基于所述训练数据对第三训练模型进行训练，所述第三训练模型包括训练完成的第一特征提取器、第二特征提取器以及未训练的第三分类器，将训练完成的第三分类器作为EGFR基因突变检测分类器。

3.根据权利要求2所述的基于肺部CT图像的EGFR基因突变检测方法，其特征在于，基于多视角下的训练图像对第一训练模型进行训练包括：

将多视角下的训练图像输入所述第一特征提取器，提取所述训练图像的第一样本特征；

将所述第一样本特征输入所述第一分类器，获得所述训练图像的第一分类结果；

根据所述第一分类结果与所述训练图像真实标签之间的误差，获得第一误差信息；

基于所述第一误差信息对所述第一特征提取器和所述第一分类器的参数进行优化。

4.根据权利要求2所述的基于肺部CT图像的EGFR基因突变检测方法，其特征在于，基于所述训练多媒体信息对第二训练模型进行训练包括：

将所述训练多媒体信息输入所述第二特征提取器，提取所述训练多媒体信息的第二样本特征；

将所述第二样本特征输入所述第二分类器，获得所述训练图像的第二分类结果；

根据所述第二分类结果与所述训练多媒体信息真实标签之间的误差，获得第二误差信息；

基于所述第二误差信息对所述第二特征提取器和所述第二分类器的参数进行优化。

5.根据权利要求2所述的基于肺部CT图像的EGFR基因突变检测方法，其特征在于，基于所述训练数据对第三训练模型进行训练包括：

将多视角下的训练图像输入训练完成的第一特征提取器，获得第三样本特征；

将所述训练多媒体信息输入训练完成的第二特征提取器，获得第四样本特征；

将所述第三样本特征与所述第四样本特征进行融合，获得融合样本特征；

将所述融合样本特征输入所述第三分类器中，获得第三分类结果；

根据所述第三分类结果与所述训练数据真实标签之前的误差，获得第三误差信息；

固定所述第一特征提取器和所述第二特征提取器的参数，基于所述第三误差信息对所述第三分类器的参数进行优化。

6.基于肺部CT图像的EGFR基因突变检测系统，其特征在于，包括：

数据获取模块，所述数据获取模块用于获取待检测数据，所述待检测数据包括肺部CT图像和患者多媒体信息；患者多媒体信息包括文本信息、图像信息、音频信息和检查数据信息，所述文本信息包括家族病史、吸烟史和饮酒史，所述图像信息包括肺部超声图像和支气管镜图像，所述音频信息包括肺部湿啰音数据，所述检查数据信息包括肿瘤标记物检查数据、血液检查数据和胸腔积液检查数据；

图像特征提取模块，所述图像特征提取模块用于将多视角下的肺部CT图像输入图像特征提取器中，获得图像融合特征；多视角包括冠状面视角、矢状面视角以及横断面视角；

多媒体特征提取模块，所述多媒体特征提取模块用于将所述患者多媒体信息输入多媒体特征提取器中，获得多媒体融合特征；

特征融合模块，所述特征融合模块用于将所述图像融合特征与所述多媒体融合特征进行融合，获得突变检测特征；

分类检测模块，所述分类检测模块用于将所述突变检测特征输入EGFR基因突变检测分类器中，获得EGFR基因突变检测结果。

7.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述基于肺部CT图像的EGFR基因突变检测方法的步骤。

8.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述基于肺部CT图像的EGFR基因突变检测方法的步骤。

Images