CN115830020A - 一种肺结节特征提取方法、分类方法、装置及介质 - Google Patents
一种肺结节特征提取方法、分类方法、装置及介质 Download PDFInfo
- Publication number
- CN115830020A CN115830020A CN202310112743.7A CN202310112743A CN115830020A CN 115830020 A CN115830020 A CN 115830020A CN 202310112743 A CN202310112743 A CN 202310112743A CN 115830020 A CN115830020 A CN 115830020A
- Authority
- CN
- China
- Prior art keywords
- classification
- features
- lung
- feature
- feature extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000002685 pulmonary effect Effects 0.000 title claims description 29
- 206010056342 Pulmonary mass Diseases 0.000 claims abstract description 88
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000011176 pooling Methods 0.000 claims abstract description 31
- 238000013528 artificial neural network Methods 0.000 claims abstract description 19
- 210000004072 lung Anatomy 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000013145 classification model Methods 0.000 claims description 26
- 239000013598 vector Substances 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000002705 metabolomic analysis Methods 0.000 claims description 3
- 230000001431 metabolomic effect Effects 0.000 claims description 3
- RKTYLMNFRDHKIL-UHFFFAOYSA-N copper;5,10,15,20-tetraphenylporphyrin-22,24-diide Chemical compound [Cu+2].C1=CC(C(=C2C=CC([N-]2)=C(C=2C=CC=CC=2)C=2C=CC(N=2)=C(C=2C=CC=CC=2)C2=CC=C3[N-]2)C=2C=CC=CC=2)=NC1=C3C1=CC=CC=C1 RKTYLMNFRDHKIL-UHFFFAOYSA-N 0.000 claims 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 10
- 230000008569 process Effects 0.000 abstract description 8
- 230000007246 mechanism Effects 0.000 abstract description 6
- 230000000903 blocking effect Effects 0.000 abstract description 4
- 206010054107 Nodule Diseases 0.000 description 19
- 238000002591 computed tomography Methods 0.000 description 11
- 230000003211 malignant effect Effects 0.000 description 9
- 208000009956 adenocarcinoma Diseases 0.000 description 8
- 238000003860 storage Methods 0.000 description 6
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 201000005202 lung cancer Diseases 0.000 description 5
- 208000020816 lung neoplasm Diseases 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 208000009458 Carcinoma in Situ Diseases 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 201000004933 in situ carcinoma Diseases 0.000 description 2
- 238000011065 in-situ storage Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 201000009030 Carcinoma Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 206010020718 hyperplasia Diseases 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明实施例中公开了一种肺结节特征提取方法、分类方法、装置及介质，该肺结节特征提取方法通过将肺部三维影像中每个肺结节的完整空间信息进行分块处理，并将肺结节的各个分块的不同切面信息进行向量化，再利用具有注意力机制的池化模块的神经网络进行特征提取，从而提取到更多具有代表性的用于肺结节分类鉴别的特征，应用在人工智能模型的训练过程中能够增强学习到信息的有效性，并降低模型的训练难度。
Description
技术领域
本发明涉及人工智能技术与医疗影像处理技术，特别涉及一种肺结节特征提取方法、分类方法、装置及介质。
背景技术
肺癌是所有恶性肿瘤中最常见最致命的一种。早期肺癌检出率低于25％，但是早期肺癌5年生存率达到70％，但因为肺癌的早期特征不明显，发现肺癌的最佳方法就是定期进行肺部CT肺结节的筛查。
CT作为常用比较可靠的肺结节筛查方式，但临床基于CT的肺结节良恶性鉴别，依赖于临床医生的经验，主观性过强，难以高效、快速且精准进行肺结节分类鉴别；同时，面对产生的大量CT影像，临床医生的工作强度大，容易过度疲劳而造成漏诊；而随着人工智能医疗影像领域的广泛应用，利用人工智能技术辅助临床高效且准确鉴别肺结节，能够很大程度地降低临床医生的工作强度，并改善漏诊和误诊情况。
目前，利用人工智能技术辅助鉴别肺结节时，需要从二维影像或三维影像中提取出用于人工智能学习的二维特征或三维特征，而特征的表示能力直接关系到训练学习的人工智能模型的准确率与鲁棒性，虽然三维特征比二维特征的表示能力更强，但三维特征也会包含更多的冗余信息和噪声，将影响人工智能模型的训练难度和工作效率。因此，准确地提取更多具有代表性的肺结节特征，将增强人工智能模型在训练过程中学习到信息的有效性，提升模型的准确率与鲁棒性，也可减少在特征中引入的冗余信息和噪声，降低模型的训练难度。
发明内容
本发明实施例中提供一种肺结节特征提取方法，通过将肺部三维影像中每个肺结节的完整空间信息进行分块处理，并将肺结节的各个分块的不同切面信息进行向量化，再利用具有注意力机制的池化模块的神经网络进行特征提取，从而提取到更多具有代表性的用于肺结节分类鉴别的特征，应用在人工智能模型的训练过程中能够增强学习到信息的有效性，并降低模型的训练难度。
本发明的第一方面，提供一种肺结节特征提取方法，该方法包括以下步骤：
S1：基于肺部三维图像中肺结节的完整空间信息，生成用于包含对应肺结节的完整空间信息的正方体空间；
S2：将所述正方体空间切分为若干个同等大小的正方体子空间，并获取经过每个所述正方体子空间中心的多个不同视角的切面；
S3：对所述正方体空间内各个所述正方体子空间对应的切面进行向量化，得到具有连贯性的浅特征；
S4：将所述浅特征输入至具有至少一个注意力池化模块的第一神经网络进行特征提取，得到用于肺结节分类鉴别的特征。
在一些可能的实施例中，在步骤S3中，采用第二神经网络对所述正方体空间内各个所述正方体子空间对应的切面进行向量化；其中，所述浅特征的表达式为：
；其中，
为第i个正方体空间的第m个正方体子空间的特征向量，其包含第m个正方体子空间对应的不同视角的切面信息。
在一些可能的实施例中，所述第一神经网络进行特征提取包括以下步骤：
S401：将所述浅特征输入至第一注意力池化模块进行注意力池化操作，而得到第一状态浅特征；
S402：将所述第一状态浅特征输入至多层感知机进行特征映射，而得到第二状态浅特征；
S403：将所述第二状态浅特征输入至第二注意力池化模块进行注意力池化操作，而得到第三状态浅特征；
S404：将所述第三状态浅特征输入至Transformer模块进行特征提取，得到用于肺结节分类鉴别的特征。
在一些可能的实施例中，所述步骤S404中，所述Transformer模块进行特征提取的方式为：对输入的所述第三状态浅特征分别进行Patch Embedding和Position Embedding，并将经Patch Embedding和Position Embedding处理的结果相叠加后输入至TransformerEncoder，得到用于肺结节分类鉴别的特征。
在一些可能的实施例中，若有外部特征输入至所述Transformer模块，则在进行Position Embedding时，将所述外部特征与所述第三状态浅特征拼接后融合入可训练变量pos_embedding，并完成对所述可训练变量pos_embedding的训练。
在一些可能的实施例中，通过对表观基因组学模态信息和/或代谢组学模态信息和/或临床表型模态信息进行特征提取而得到所述外部特征。
在一些可能的实施例中，所述注意力池化操作包括：计算输入的特征中每个特征向量的注意力得分，并将输入的特征中每个特征向量与其注意力的乘积求和，得到输出的特征。
本发明的第二方面，提供一种肺结节特征提取装置，其包括：
一个或多个处理器；以及，用于存储所述处理器可执行指令的存储器；
所述一个或多个处理器，用于从所述存储器中读取所述可执行指令，并执行所述可执行指令以实现本发明第一方面提供的肺结节特征提取方法。
本发明的第三方面，提供一种肺结节分类方法，其包括：
获取肺部三维图像中待分类的肺结节的完整空间信息；
利用本发明第一方面提供的肺结节特征提取方法提取出用于肺结节分类鉴别的特征；
将用于肺结节分类鉴别的特征输入至分类模型进行分类，得到所述三维肺部影像中肺结节的分类结果。
在一些可能的实施例中，所述分类模型还根据输入的用于肺结节分类鉴别的特征，输出用于表征肺结节分类结果的特征矩阵。
在一些可能的实施例中，所述分类模型在训练时，将基于训练样本所得到的特征分配至满足相应损失函数约束的子任务分类器中进行分类处理；以及，根据总任务的损失函数约束，判断所述分类模型是否训练成功。
在一些可能的实施例中，所述分类模型在训练时，利用聚类算法对基于训练样本提取出的特征进行聚类，并将聚类结果用于确定所述分类模型的先验信息。
本发明的第四方面，提供一种肺结节分类装置，其包括：
一个或多个处理器；以及，用于存储所述处理器可执行指令的存储器；
所述一个或多个处理器，用于从所述存储器中读取所述可执行指令，并执行所述可执行指令以实现本发明的第三方面提供的肺结节分类方法。
本发明的第五方面，提供一种计算机可读介质，其上存储有计算机程序，该计算机程序被一个或多个处理器执行时实现本发明第一方面提供的肺结节特征提取方法或实现本发明第三方面提供的肺结节分类方法。
有益效果：本发明实施例提供的肺结节特征提取方法，通过将肺部CT影像中每个肺结节的完整空间信息进行分块处理，并将肺结节的各个分块的不同切面信息进行向量化，再利用具有注意力机制的池化模块的神经网络进行特征提取，从而提取到更多具有代表性的用于肺结节分类鉴别的影像特征，肺结节分类模型的训练过程中能够增强学习到信息的有效性，并降低模型的训练难度。
附图说明
图1为本发明实施例提供的肺结节特征提取方法的流程示意图；
图2为本发明实施例提供的肺结节特征提取工作过程的示意图；
图3为本发明实施例提供的第一神经网络的工作过程的示意图；
图4为本发明实施例提供的第一神经网络进行特征提取的流程示意图；
图5为本发明实施例提供的Transformer模块的工作流程示意图；
图6为本发明实施例提供的Transformer模块另一工作方式的流程示意图；
图7为本发明实施例提供的肺结节分类方法的流程示意图；
图8为本发明实施例提供的装置的结构示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
如图1和图2所示，本发明实施例提供的肺结节特征提取方法，包括以下步骤：
S1：基于肺部三维图像中肺结节的完整空间信息，生成用于包含对应肺结节的完整空间信息的正方体空间；具体的，在步骤S1中，需要通过计算机断层扫描技术获取病患的肺部三维图像，再由放射科医师浏览肺部三维图像并操作软件标记出肺部三维图像内的肺结节，生成该肺部三维图像的标记文件，通过读取该肺部三维图像的标记文件，即可得到该肺部三维图像中肺结节的完整空间信息；然后，通过块状化处理，将肺结节的区域通过标注坐标定位在统一大小的正方体空间内，如此可以保证信息处理的维度一致性。
S2：将所述正方体空间切分为若干个同等大小的正方体子空间，并获取经过每个所述正方体子空间中心的多个不同视角的切面；具体的，由于包含肺结节的完整空间信息的正方体空间相当于是一个空间实体，通过切块处理，将该正方体空间切分成多个正方体子空间后，使每个正方体子空间内都具有部分肺结节的三维空间信息，再通过切面处理，将每个正方体子空间具有的部分肺结节的三维空间信息转为二维信息。其中，不同视角的切面包括：View1-横切面、View2-第一纵切面，View3-第二纵切面、以及View4~View9分别对应的6个对角线切面。
S3：对所述正方体空间内各个所述正方体子空间对应的切面进行向量化，得到具有连贯性的浅特征；具体的，在步骤S3中，采用第二神经网络对所述正方体空间内各个所述正方体子空间对应的切面进行向量化；其中，所述浅特征的表达式为：
；其中，
为第i个正方体空间的第m个正方体子空间的特征向量，其包含第m个正方体子空间对应的视角View1~View9的切面信息
。进一步地，第二神经网络采用轻量级网络MobileNet-V2，相对于传统卷积神经网络，基于分层卷积网络的MobileNet-V2对空间特征的学习能力更强。
S4：将所述浅特征输入至具有至少一个注意力池化模块的第一神经网络进行特征提取，得到用于肺结节分类鉴别的特征。具体的，注意力池化模块是在池化模块中引入了注意力机制，能够避免直接平局池化处理而造成信息丢失。
具体的，如图3所示，第一神经网络100的架构包括：第一注意力池化模块101、多层感知机102、第二注意力池化模块103以及Transformer模块104。进一步地，如图4所示，第一神经网络100进行特征提取包括以下步骤：
S401：将浅特征输入至第一注意力池化模块进行注意力池化操作，而得到第一状态浅特征；
S402：将所述第一状态浅特征输入至多层感知机进行特征映射，而得到第二状态浅特征；
S403：将所述第二状态浅特征输入至第二注意力池化模块进行注意力池化操作，而得到第三状态浅特征；
S404：将所述第三状态浅特征输入至Transformer模块进行特征提取，得到用于肺结节分类鉴别的特征。
具体的，第一注意力池化模块和第二注意力池化模块可根据实际应用需求配置包括多个基于注意力机制的池化层；而且，注意力池化操作包括：计算输入的特征中每个特征向量的注意力得分，并将输入的特征中每个特征向量与其注意力的乘积求和，得到输出的特征。其中，注意力池化操作通过以下公式表达：
；
；其中， 
，h k 表示输入特征中的第k个特征向量，a k 表示第k个特征向量的注意力得分，Z表示经过注意力池化操作的输出特征。
如图5所示，在步骤S404中，所述Transformer模块进行特征提取的方式为：对输入的所述第三状态浅特征分别进行Patch Embedding和Position Embedding，并将经PatchEmbedding和Position Embedding处理的结果相叠加后输入至Transformer Encoder，得到用于肺结节分类鉴别的特征。
在第一神经网络进行特征提取之前，在三维层面，通过将包含肺结节的完整空间信息的正方体切分为若干个同等大小的正方体子空间，丰富肺结节的特征信息，但也会使具有相关性的正方体子空间之间产生一定空间距离；在二维层面，通过在每个正方体子空间的基础上进行切面，获取经过每个正方体子空间中心的横切面、纵切面以及矢状切面，进一步丰富肺结节的特征信息，同样也会进一步扩大具有相关性的切面特征的距离；那么，所述正方体空间内各个正方体子空间对应的横切面、纵切面以及矢状切面进行向量化后获得的浅特征，其在不同位置的特征信息也必然有关联性。
由于Transformer模块的基础单元是attention神经元，由于attention神经元的特点在于：能够无视两个特征点在空间上的距离长短而计算它们相互之间的关联性。因此，采用Transformer模块对浅特征进行提取，能够观察到不同位置的特征信息的关联性，进而提取出更多具有代表性的用于肺结节分类鉴别的特征。
为了进一步提升肺结节鉴别能力，虽已有相关研究工作在尝试将CT影像特征与其他模态的信息进行融合，但由于CT影像特征普遍难以与其他模态的特征信息（如临床中的病理信息、基因检测中的IVD分子信息等）在维度上对齐，无法进行有效的融合，而直接进行拼接融合又欠缺合理性与可解释性，故CT影像特征与其他模态的信息的融合处理效果欠佳。
如图6所示，在步骤S404中，若有外部特征输入至所述Transformer模块，则在进行Position Embedding时，将所述外部特征与所述第三状态浅特征拼接后融合入可训练变量pos_embedding，并完成对所述可训练变量pos_embedding的训练。
具体的，由于不同的模态信息其呈现方式不一致，如果模态信息以影像方式呈现，则通过卷积神经网络或者注意力机制网络进行特征提取，并提取出与第三状态浅特征维度一致的特征，然后输入至Transformer模块；如果模态信息以文本方式呈现的，则需要经过标记化(Tokenize)的处理，然后输入至Transformer模块。因此，外部特征包括基于表观基因组学模态信息而提取的特征和/或基于代谢组学模态信息而提取的特征和/或基于临床表型模态信息而提取的特征。
在实施时，通过在Transformer模块上设计外部特征输入和融合的接口，不仅提取到CT影像模态中更多具有代表性的用于肺结节分类鉴别的特征，还能够可选地提取到其它模态中更多具有代表性的用于肺结节分类鉴别的特征。
如图7所示，本发明实施例提供肺结节分类方法包括以下步骤：
首先，输入肺部三维图像中待分类的肺结节的完整空间信息；
接着，基于输入的肺部三维图像中肺结节的完整空间信息，采用的方法为本发明实施例提供的肺结节特征提取方法，提取出用于肺结节分类鉴别的特征；
最后，将用于肺结节分类鉴别的特征输入至分类模型进行分类，得到该三维肺部影像中肺结节的分类结果。
在实施时，所述分类模型还根据输入的用于肺结节分类鉴别的特征，输出用于表征肺结节分类结果的特征矩阵。本实施例中，分类模型具体为多层感知机。
为进一步阐释本发明实施例提供肺结节分类方法，分类模型的训练过程具体为：
一、收集数据集；该数据集中包含9079例病患的共计12541个肺部小结节信息，其中所有结节的定位工作均由专业放射科医师完成；然后，通过病理学被鉴定为恶性结节的共有7863个，其中前浸润性结节的共有1780个，都为原位腺癌（AIS）；另外5232个结节被鉴定为浸润性结节，其中有2317个为微浸润性腺癌（MIA），有2915个为浸润性腺癌（IAC）；另外有811个非腺癌的其他类别恶性结节。
二、数据集标注；根据病理信息标注的结节种类，种类范围在不典型腺瘤样增生（AAH）、原位腺癌（AIS）、微浸润性腺癌（MIA）、浸润性腺癌（IAC）中的选择。
三、数据集预处理；为了更高效的利用数据集，将数据集对等的划分为5个子数据集，并分别将它们标记为：子数据集0,1,2,3,4。为了保证子数据集与总数据集中数据分布尽可能相似，每个子数据集都由总数据集中各类别的20%组成。其中子数据集4会被视为测试集，不参与分类模型的训练。子数据集0~3将以交叉验证的形式为总体训练所使用的超参数提供调整依据，最终将会使用合适且统一的超参数完成在子数据集0~3上的训练。
由于在实际情况中，各个恶性类别的结节数量并不均匀，例如该数据集中恶性其他（Other）类与原位腺癌（AIS）结节的总体影像数量较少，形成了小类别数据。为了避免小类别数据对总体训练带来的负面影响，在符合临床诊断的合理范围内，将恶性其他（Other）、原位腺癌（AIS）、微浸润性腺癌（MIA）、浸润性腺癌（IAC）这四种病灶区域子类合并为同一类，既恶性结节类。因此，可以将该结节良恶性分类定义为一个二分类的任务。
具体的，在划分好子数据集后，利用本发明实施例提供的肺结节特征提取方法提取出子数据集中每个数据样本对应的肺结节特征。
为了更有效地利用输入特征，可在分类模型训练之前，使分类模型对特征拥有一定的先验知识，因此，利用聚类算法对基于训练样本提取出的特征进行聚类，并将聚类结果用于确定所述分类模型的先验信息。
具体的，由于分类任务其实本身就是一个聚类任务，通过K均值聚类算法对肺结节密度特征进行聚类处理，将相似的特征在特征空间中聚在一起，能够提升分类模型的性能，防止过拟合现象。其中，根据每一组特征中的大多数特征的投票来决定该组特征的类别，并将类的可能性定义为正（+）或者负（-）；如此，在一组簇群中，正为大多数的则为正类簇群，反之则为负类簇群；在某一族群与其他附近簇群特征空间相似且都被定义为同类簇群。
为了增强多任务训练模式中各个子任务的训练效率，通过部署多头结构来对各自子任务的分类器同时进行损失函数的运算，其中每一个独立分组同时也是总体任务的一部分，并在多头结构中使用单独的头来完成分类子任务。因此，将包含单独任务与总体任务的损失函数定义为下：
；其中，Loss GDM 表示总体任务的目标，m为每一组的标识，n则为分组的总量。例如Loss m=1 与Loss m=2 分别表示了以结节密度信息分型(Density)为子任务的分类器损失函数与病理分型(Pathology)为子任务的分类器损失函数。
由于在总体训练中，需要将特征分配给子任务，为了保证分配特征的有效性，在子任务的损失函数Loss m 中还加入了主动平滑损失函数（GAS）来降低标签中噪声的影响以达到增强特征差异性的效果。该损失函数沿用了主动学习的思想，对上文中提到的经过无监督的聚类后的特征进行前向传播时对线上样本进行评估并得到对应的门控值，然后使用该门控值来挑选对子任务更有学习价值的样本。在这一思想中，核心约束应当作用于特征空间，因为经过编码后的特征需要更靠近簇群的中心点以保证该簇群中都是相似类别的特征。同时，还使用了经过加权的交叉熵损失函数以及标签平滑算法来共同减少标签中的噪音和类别平衡问题。总体损失函数公式如下：
；
。
该损失函数中，N代表训练中总体样本数；y i 代表样本i的标签，标签为正的会被定义为1，反之则定义为0；p i 则代表着样本i被分类器预测为正类别的概率；
与
则分别对应正样本与负样本的权重值，该值的取值范围为[0,1]在本实施例中将该值设定为0.75和0.25；ε为一项用于调节的参数，在本实施例中该值被设定为0.1；c i 用来表示在浅特征空间流z i 中第y i 个分类中心点距离当前特征的距离，该距离会随着训练不断更新。
最终，整个训练过程中采用的总体目标损失函数可以被定义为：
；
其中，M为结节密度标签的种类数量，p ic 为模型对于密度类别c的推测几率，y ic 为该类别的标签，为C类则=1，否则为0。由于总体目标损失函数L total 运用了交叉熵，能够计算出两组向量之间的差距，从而在训练时通过对比模型判断生成的向量和标签向量的相似度，以此来评估模型分类的准确性。通过上述的总体目标损失函数L total 的约束不仅可以优化多层感知机的每层参数，提高分类的精确率，还可以作用于本发明实施例中提取肺结节特征所涉及到的第一神经网络、第二神经网络的各层的参数，以提取更具有代表性的特征，便于提高分类的精确率。
为了能够更直观的进行评估分类模型训练的效果，使用对分类的精确率（Accuracy）来对分类模型与放射科专家进行比较，验证增益效果。其中精确率主要检测模型与专家对三类结节分类的正确与否，关于精确率Accuracy的公式定义如下：
；然后，基于同样的病例样本，由本发明分类模型与不同地域医学中心不同批次专家进行结节良恶性分类，得到的精确率统计结果如下表所示：
| 分类方式 | Accuracy |
| 本发明分类模型 | 85.39% |
| 上海医学中心第1批次专家 | 82.57% |
| 上海医学中心第2批次专家 | 84.95% |
| 上海医学中心第3批次专家 | 80.86% |
| 山东医学中心第1批次专家 | 78.75% |
| 安徽医学中心第1批次专家 | 77.77% |
上表中的数据验证了本项目的增益效果，在测试集上的精准度指标表现在不同程度上优于放射科专家。
如图8所示，该电子装置包括处理器，其可以根据存储在只读存储器（ROM）中的计算机程序或者从存储单元加载到随机访问存储器（RAM）中的计算机程序，来执行各种运算操作。在RAM中，还可存储电子设备操作所需的各种程序和数据。处理器、ROM 以及RAM通过总线彼此相连。输入/输出（I/O）接口也连接至总线，通信单元、输入单元和输出单元通过I/O接口连接至总线，从而实现电子设备与外部设备的数据交互。因此，在该电子装置中的只读存储器（ROM）或者存储单元中存储用于实现本发明实施例提供的肺结节特征提取方法的计算机程序或可执行指令，即可得到一种肺结节特征提取装置；而在该电子装置中的只读存储器（ROM）或者存储单元中存储用于实现本发明实施例提供的肺结节分类方法的计算机程序或可执行指令，即可得到一种肺结节分类装置。
进一步地，本发明还提供一种计算机可读介质，其上存储有计算机程序，该计算机程序被一个或多个处理器执行时实现本发明第一方面提供的肺结节特征提取方法或实现本发明第三方面提供的肺结节分类方法。
应该理解到，本发明所揭露的装置或设备，可通过其它的方式实现。例如所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，模块之间的通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (14)
1.一种肺结节特征提取方法，其特征在于，包括以下步骤：
S1：基于肺部三维图像中肺结节的完整空间信息，生成用于包含对应肺结节的完整空间信息的正方体空间；
S2：将所述正方体空间切分为若干个同等大小的正方体子空间，并获取经过每个所述正方体子空间中心的多个不同视角的切面；
S3：对所述正方体空间内各个所述正方体子空间对应的切面进行向量化，得到具有连贯性的浅特征；
S4：将所述浅特征输入至具有至少一个注意力池化模块的第一神经网络进行特征提取，得到用于肺结节分类鉴别的特征。
2.如权利要求1所述的肺结节特征提取方法，其特征在于，在步骤S3中，采用第二神经网络对所述正方体空间内各个所述正方体子空间对应的切面进行向量化；其中，所述浅特征的表达式为：
；其中，为第i个正方体空间的第m个正方体子空间的特征向量，其包含第m个正方体子空间对应的不同视角的切面信息。
3.如权利要求2所述的肺结节特征提取方法，其特征在于，所述第一神经网络进行特征提取包括以下步骤：
S401：将所述浅特征输入至第一注意力池化模块进行注意力池化操作，而得到第一状态浅特征；
S402：将所述第一状态浅特征输入至多层感知机进行特征映射，而得到第二状态浅特征；
S403：将所述第二状态浅特征输入至第二注意力池化模块进行注意力池化操作，而得到第三状态浅特征；
S404：将所述第三状态浅特征输入至Transformer模块进行特征提取，得到用于肺结节分类鉴别的特征。
4.如权利要求3所述的肺结节特征提取方法，其特征在于，所述步骤S404中，所述Transformer模块进行特征提取的方式为：对输入的所述第三状态浅特征分别进行PatchEmbedding和Position Embedding，并将经Patch Embedding和Position Embedding处理的结果相叠加后输入至Transformer Encoder，得到用于肺结节分类鉴别的特征。
5.如权利要求4所述的肺结节特征提取方法，其特征在于，所述步骤S404中，若有外部特征输入至所述Transformer模块，则在进行Position Embedding时，将所述外部特征与所述第三状态浅特征拼接后融合入可训练变量pos_embedding，并完成对所述可训练变量pos_embedding的训练。
6.如权利要求5所述的肺结节特征提取方法，其特征在于，通过对表观基因组学模态信息和/或代谢组学模态信息和/或临床表型模态信息进行特征提取而得到所述外部特征。
7.如权利要求3所述的肺结节特征提取方法，其特征在于，所述注意力池化操作包括：计算输入的特征中每个特征向量的注意力得分，并将输入的特征中每个特征向量与其注意力的乘积求和，得到输出的特征。
8.一种肺结节特征提取装置，其特征在于，包括：
一个或多个处理器；以及，用于存储所述处理器可执行指令的存储器；
所述一个或多个处理器，用于从所述存储器中读取所述可执行指令，并执行所述可执行指令以实现如权利要求1-7任一所述的肺结节特征提取方法。
9.一种肺结节分类方法，其特征在于，包括：
获取肺部三维图像中待分类的肺结节的完整空间信息；
利用如权利要求1~7任一项所述的一种肺结节特征提取方法提取出用于肺结节分类鉴别的特征；
将用于肺结节分类鉴别的特征输入至分类模型进行分类，得到所述三维肺部影像中肺结节的分类结果。
10.如权利要求9所述的肺结节分类方法，其特征在于，所述分类模型还根据输入的用于肺结节分类鉴别的特征，输出用于表征肺结节分类结果的特征矩阵。
11.如权利要求9所述的肺结节分类方法，其特征在于，所述分类模型在训练时，将基于训练样本所得到的特征分配至满足相应损失函数约束的子任务分类器中进行分类处理，并根据总任务的损失函数约束，判断所述分类模型是否训练成功。
12.如权利要求9所述的肺结节分类方法，其特征在于，所述分类模型在训练时，利用聚类算法对基于训练样本提取出的特征进行聚类，并将聚类结果用于确定所述分类模型的先验信息。
13.一种肺结节分类装置，其特征在于，包括：
一个或多个处理器；以及，用于存储所述处理器可执行指令的存储器；
所述一个或多个处理器，用于从所述存储器中读取所述可执行指令，并执行所述可执行指令以实现如权利要求9~12任一所述的肺结节分类方法。
14.一种计算机可读介质，其上存储有计算机程序，其特征在于，该计算机程序被一个或多个处理器执行时实现如权利要求1-7任一所述的肺结节特征提取方法或实现如权利要求9~12任一所述的肺结节分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310112743.7A CN115830020B (zh) | 2023-02-14 | 2023-02-14 | 一种肺结节特征提取方法、分类方法、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310112743.7A CN115830020B (zh) | 2023-02-14 | 2023-02-14 | 一种肺结节特征提取方法、分类方法、装置及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115830020A true CN115830020A (zh) | 2023-03-21 |
| CN115830020B CN115830020B (zh) | 2023-04-28 |
Family
ID=85521289
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310112743.7A Active CN115830020B (zh) | 2023-02-14 | 2023-02-14 | 一种肺结节特征提取方法、分类方法、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115830020B (zh) |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7724254B1 (en) * | 2007-03-12 | 2010-05-25 | Nvidia Corporation | ISO-surface tesselation of a volumetric description |
| CN106651750A (zh) * | 2015-07-22 | 2017-05-10 | 美国西门子医疗解决公司 | 用于基于卷积神经网络回归的2d/3d图像配准的方法和系统 |
| CN109859232A (zh) * | 2019-01-11 | 2019-06-07 | 安徽师范大学 | 一种动物脑组织切片显微图像分割方法 |
| GB201916845D0 (en) * | 2019-11-19 | 2020-01-01 | Move Ai Ltd | Real-time system for generating 4D spatio-temporal model of a real world environment |
| US20200219262A1 (en) * | 2019-01-03 | 2020-07-09 | The Regents Of The University Of California | Automated selection of an optimal image from a series of images |
| US20200320751A1 (en) * | 2019-04-06 | 2020-10-08 | Kardiolytics Inc. | Autonomous segmentation of contrast filled coronary artery vessels on computed tomography images |
| CN112085714A (zh) * | 2020-08-31 | 2020-12-15 | 广州视源电子科技股份有限公司 | 一种肺结节检测方法、模型训练方法、装置、设备及介质 |
| CN112233080A (zh) * | 2020-10-13 | 2021-01-15 | 深圳市纵维立方科技有限公司 | 三维模型重建方法和装置、电子设备及存储介质 |
| CN112529870A (zh) * | 2020-12-10 | 2021-03-19 | 重庆大学 | 基于源域与频域结合的多尺度CNNs肺结节假阳性剔除方法 |
| CN112848279A (zh) * | 2021-01-05 | 2021-05-28 | 武汉理工大学 | 3d打印坐标集处理方法、3d打印方法和系统 |
| CN113570573A (zh) * | 2021-07-28 | 2021-10-29 | 中山仰视科技有限公司 | 混合注意力机制的肺结节假阳性排除方法、系统、设备 |
| CN113902702A (zh) * | 2021-10-08 | 2022-01-07 | 国科宁波生命与健康产业研究院 | 一种基于计算机断层扫描的肺结节良恶性辅助诊断系统 |
| CN114092332A (zh) * | 2021-11-29 | 2022-02-25 | 桂林电子科技大学 | 一种头部三维mri超分辨率重建方法 |
| CN114170212A (zh) * | 2021-12-14 | 2022-03-11 | 广州柏视医疗科技有限公司 | 一种基于ct影像中肺小结节假阳检测方法及系统 |
| CN114187467A (zh) * | 2021-11-11 | 2022-03-15 | 电子科技大学 | 基于cnn模型的肺结节良恶性分类方法及装置 |
| CN114255251A (zh) * | 2020-09-11 | 2022-03-29 | 发那科株式会社 | 多个透明对象3d检测 |
| CN114841975A (zh) * | 2022-05-12 | 2022-08-02 | 中国人民解放军空军军医大学 | 一种三维图像数据的处理方法、装置及设备 |
-
2023
- 2023-02-14 CN CN202310112743.7A patent/CN115830020B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7724254B1 (en) * | 2007-03-12 | 2010-05-25 | Nvidia Corporation | ISO-surface tesselation of a volumetric description |
| CN106651750A (zh) * | 2015-07-22 | 2017-05-10 | 美国西门子医疗解决公司 | 用于基于卷积神经网络回归的2d/3d图像配准的方法和系统 |
| US20200219262A1 (en) * | 2019-01-03 | 2020-07-09 | The Regents Of The University Of California | Automated selection of an optimal image from a series of images |
| CN109859232A (zh) * | 2019-01-11 | 2019-06-07 | 安徽师范大学 | 一种动物脑组织切片显微图像分割方法 |
| US20200320751A1 (en) * | 2019-04-06 | 2020-10-08 | Kardiolytics Inc. | Autonomous segmentation of contrast filled coronary artery vessels on computed tomography images |
| GB201916845D0 (en) * | 2019-11-19 | 2020-01-01 | Move Ai Ltd | Real-time system for generating 4D spatio-temporal model of a real world environment |
| US20230008567A1 (en) * | 2019-11-19 | 2023-01-12 | Move Ai Ltd | Real-time system for generating 4d spatio-temporal model of a real world environment |
| CN112085714A (zh) * | 2020-08-31 | 2020-12-15 | 广州视源电子科技股份有限公司 | 一种肺结节检测方法、模型训练方法、装置、设备及介质 |
| CN114255251A (zh) * | 2020-09-11 | 2022-03-29 | 发那科株式会社 | 多个透明对象3d检测 |
| CN112233080A (zh) * | 2020-10-13 | 2021-01-15 | 深圳市纵维立方科技有限公司 | 三维模型重建方法和装置、电子设备及存储介质 |
| CN112529870A (zh) * | 2020-12-10 | 2021-03-19 | 重庆大学 | 基于源域与频域结合的多尺度CNNs肺结节假阳性剔除方法 |
| CN112848279A (zh) * | 2021-01-05 | 2021-05-28 | 武汉理工大学 | 3d打印坐标集处理方法、3d打印方法和系统 |
| CN113570573A (zh) * | 2021-07-28 | 2021-10-29 | 中山仰视科技有限公司 | 混合注意力机制的肺结节假阳性排除方法、系统、设备 |
| CN113902702A (zh) * | 2021-10-08 | 2022-01-07 | 国科宁波生命与健康产业研究院 | 一种基于计算机断层扫描的肺结节良恶性辅助诊断系统 |
| CN114187467A (zh) * | 2021-11-11 | 2022-03-15 | 电子科技大学 | 基于cnn模型的肺结节良恶性分类方法及装置 |
| CN114092332A (zh) * | 2021-11-29 | 2022-02-25 | 桂林电子科技大学 | 一种头部三维mri超分辨率重建方法 |
| CN114170212A (zh) * | 2021-12-14 | 2022-03-11 | 广州柏视医疗科技有限公司 | 一种基于ct影像中肺小结节假阳检测方法及系统 |
| CN114841975A (zh) * | 2022-05-12 | 2022-08-02 | 中国人民解放军空军军医大学 | 一种三维图像数据的处理方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115830020B (zh) | 2023-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Halder et al. | Lung nodule detection from feature engineering to deep learning in thoracic CT images: a comprehensive review | |
| Yan et al. | Classification of lung nodule malignancy risk on computed tomography images using convolutional neural network: A comparison between 2d and 3d strategies | |
| Shin et al. | Deep convolutional neural networks for computer-aided detection: CNN architectures, dataset characteristics and transfer learning | |
| Wang et al. | A multi-view deep convolutional neural networks for lung nodule segmentation | |
| Khan et al. | Stomach deformities recognition using rank-based deep features selection | |
| Kooi et al. | Classifying symmetrical differences and temporal change for the detection of malignant masses in mammography using deep neural networks | |
| Chen et al. | LDNNET: towards robust classification of lung nodule and cancer using lung dense neural network | |
| Pan et al. | Cell detection in pathology and microscopy images with multi-scale fully convolutional neural networks | |
| Peng et al. | Hybrid automatic lung segmentation on chest ct scans | |
| Niyaz et al. | Advances in deep learning techniques for medical image analysis | |
| CN112348800A (zh) | 融合多尺度特征的密集神经网络肺部肿瘤图像识别方法 | |
| Wu et al. | Malignant-benign classification of pulmonary nodules based on random forest aided by clustering analysis | |
| Zhang et al. | An appraisal of nodule diagnosis for lung cancer in CT images | |
| Selver | Segmentation of abdominal organs from CT using a multi-level, hierarchical neural network strategy | |
| Kurmi et al. | Content-based image retrieval algorithm for nuclei segmentation in histopathology images: CBIR algorithm for histopathology image segmentation | |
| Diamant et al. | Chest radiograph pathology categorization via transfer learning | |
| Rani et al. | New approaches in machine-based image analysis for medical oncology | |
| Fu et al. | Fusion of 3D lung CT and serum biomarkers for diagnosis of multiple pathological types on pulmonary nodules | |
| Tian et al. | Radiomics and its clinical application: artificial intelligence and medical big data | |
| Pandey et al. | A systematic review of modern approaches in healthcare systems for lung cancer detection and classification | |
| Liu et al. | U2F-GAN: weakly supervised super-pixel segmentation in thyroid ultrasound images | |
| Laishram et al. | An optimized ensemble classifier for mammographic mass classification | |
| CN115830020B (zh) | 一种肺结节特征提取方法、分类方法、装置及介质 | |
| Vinay et al. | Computerized analysis of classification of lung nodules and comparison between homogeneous and heterogeneous ensemble of classifier model | |
| Mahmood et al. | DEVELOPING A CONVOLUTIONAL NEURAL NETWORK FOR CLASSIFYING TUMOR IMAGES USING INCEPTION V3. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |