CN113889231A - 一种基于手工特征和深度特征融合的肺结节图像处理方法 - Google Patents
一种基于手工特征和深度特征融合的肺结节图像处理方法 Download PDFInfo
- Publication number
- CN113889231A CN113889231A CN202111201550.6A CN202111201550A CN113889231A CN 113889231 A CN113889231 A CN 113889231A CN 202111201550 A CN202111201550 A CN 202111201550A CN 113889231 A CN113889231 A CN 113889231A
- Authority
- CN
- China
- Prior art keywords
- depth
- features
- feature
- manual
- lung nodule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010056342 Pulmonary mass Diseases 0.000 title claims abstract description 59
- 230000004927 fusion Effects 0.000 title claims abstract description 24
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 210000004072 lung Anatomy 0.000 claims abstract description 24
- 230000009467 reduction Effects 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 238000013178 mathematical model Methods 0.000 claims description 8
- 230000002685 pulmonary effect Effects 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 5
- 230000000877 morphologic effect Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000007547 defect Effects 0.000 abstract description 2
- 231100000915 pathological change Toxicity 0.000 abstract 1
- 230000036285 pathological change Effects 0.000 abstract 1
- 208000020990 adrenal cortex carcinoma Diseases 0.000 description 15
- 238000002591 computed tomography Methods 0.000 description 10
- 238000000513 principal component analysis Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000011176 pooling Methods 0.000 description 4
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 201000005202 lung cancer Diseases 0.000 description 3
- 208000020816 lung neoplasm Diseases 0.000 description 3
- 238000013526 transfer learning Methods 0.000 description 3
- 230000034994 death Effects 0.000 description 2
- 231100000517 death Toxicity 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 231100000504 carcinogenesis Toxicity 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开一种基于手工特征和深度特征融合的肺结节图像处理方法。从肺部CT图像中提取出肺结节的ROI;然后对肺结节的ROI提取13维手工特征;将在ImageNet上预训练的VGG16模型作为特征提取器,提取肺结节的ROI的深度特征;采用PCA对深度特征进行降维;将手工特征和降维后的深度特征级联以获得融合特征;将融合特征输入MKL‑SVM‑PSO算法实现肺结节识别。本发明将肺结节的手工特征和深度特征相融合,克服了手工特征无法完全反映病变内部特征的缺点,弥补了深度特征缺乏可解释性的问题;采用MKL‑SVM‑PSO作为肺结节识别算法,可以快速、准确地找到算法的最优参数组,更易得到全局最优解;将本发明应用于肺CAD中,可有效减轻医生负担,提高医疗效率。
Description
技术领域
本发明涉及医学图像处理领域,具体地说,特别涉及一种基于手工特征和深度特征融合的肺结节图像处理方法。
背景技术
肺癌是癌症死亡的主要原因,占全球癌症死亡人数的18%。计算机断层扫描成像(computed tomography, CT)技术是检测早期肺癌的重要手段。肺癌早期的影像表现形式是肺结节。在CT图像中,肺结节指直径介于3mm至3cm间的肺内圆形或类圆形致密影。早期检测到肺结节能够有效地提高患者的生存率,延长患者的寿命。
发明内容
肺计算机辅助检测(Computer Aided Detection, CAD)系统能在CT上高效实现肺结节的检测与识别,能够帮助放射科医生提高工作效率,从而有效避免了结节误检和漏检的现象发生。肺 CAD 系统通常包括以下步骤:采集肺部 CT图像数据、图像预处理、肺实质分割、候选肺结节感兴趣区域(Region of Interesting,ROI)的分割、ROI特征的提取与选择、肺结节的识别。
传统的候选结节ROI特征通常根据医生建议进行设计,常用纹理特征、形态学特征和像素亮度特征等手工特征表示,这不利于复杂特征的提取,易出现过拟合问题,导致模型泛化能力差,且不具备良好的迁移能力。
深度神经网络模型具有强大的层次化特征学习能力,卷积神经网络(Convolutional Neural Networks, CNN)将原始图像作为输入,自动学习深度特征进行分类,从而无需提取预定义特征。但是医学图像数据集标注成本高昂,带有标注的大规模医学影像学数据集较少,使得训练数据不足成为医学图像处理中不可避免的问题。
发明内容
为了解决现有技术问题,本发明提供了一种基于手工特征和深度特征融合的肺结节图像处理方法,将传统的手工特征与深度特征相结合作为输入,选用基于粒子群优化算法的多核学习支持向量机(Multiple Kernel Learning Support Vector MachineParticle Swarm Optimization, MKL-SVM-PSO)算法实现肺结节识别。一方面,手工特征较深度特征具有一定可解释性;另一方面,深度特征补充了手工特征无法反应图像内部特征的缺点,从而得到更全面的特征信息。所述技术方案如下:
一种基于手工特征和深度特征融合的肺结节图像处理方法,包括以下步骤:
步骤一:从实验数据中提取肺结节的ROI;
步骤二:对所述肺结节的ROI提取手工特征;
步骤三:对所述肺结节的ROI提取深度特征;
步骤四:对所述深度特征进行降维,获得降维后的深度特征;
步骤五:将所述手工特征和降维后的深度特征进行融合,获得数据样本;
步骤六:将所述数据样本输入MKL-SVM-PSO算法进行肺结节识别。
可选地,步骤一具体是:首先选取肺部CT 图像,然后对所述肺部 CT 图像数据进行图像预处理;最后对所述经预处理后的图像进行肺实质分割,提取出肺结节的ROI。
可选地,步骤二所述手工特征具体是:对从步骤一中得到的肺结节的ROI中提取手工特征,所述的手工特征采用根据医生建议的13维手工特征具体包括:面积、直径、周长、矩形度、扁度、圆形度、细长度共计7维形态特征;灰度均值和灰度方差共计2维灰度特征;在GLCM中提取能量、逆差距、对比度、熵共计4维纹理特征。
可选地,步骤三具体过程是:选取在ImageNet上预训练的VGG16模型,VGG16模型通过小卷积核和多卷积层替换大卷积核实现,减少了网络的参数数量,与AlexNet和GoogLeNet模型相比,识别准确率更高;将所述预训练的VGG16模型的第一个完全连接层前的权重迁移到目标网络中,卷积层和子采样层进行特征提取得到的特征图是全连接层的输入,包含肺结节的最丰富的语义信息,提取第一个完全连接层前的深度特征,可以更全面地描述特征提取所述肺结节的ROI的深度特征。
可选地,步骤四的具体过程是:采用主成分分析法(Principal ComponentAnalysis, PCA)降低深度特征维度,并按照降维后每个新特征向量对应信息量占原始数据总信息量的比例进行降序排列,将深度特征维数降至适合的维度,基本可以描述肺结节的特征信息。
可选地,步骤五的具体过程是:将步骤二中得到的手工特征与将步骤四中得到深度特征采用级联的方式融合,得到完整保留两部分特征信息的融合特征;将所述融合特征随机打散后,获得数据样本,分为用于参数寻优的训练集及用于测试模型的测试集。
可选地,步骤六所述MKL-SVM-PSO算法具体是:选用多项式核与径向基核两种典型的核函数按照比例组合为多核函数,与SVM算法相结合构成MKL-SVM算法,以期获得更好的学习能力与泛化能力;同时将PSO引入MKL-SVM构造MKL-SVM-PSO算法,以肺结节的总体识别准确度为适应度函数,同时配以非线性惯性权重。
可选地,步骤六的具体过程是:将所述数据样本的训练集输入MKL-SVM-PSO算法进行寻优处理,获取最优参数组,建立MKL-SVM数学模型,将所述最优参数组应用于所述MKL-SVM的数学模型进行识别计算,得出在所述数据样本的训练集上的肺结节识别结果;将所述数学模型在所述数据样本的测试集上进行测试,得到最终的识别结果。
本发明实施例提供的技术方案带来的有益效果是:
本发明运用迁移学习技术,将预训练好的VGG-16模型作为目标网络的特征提取器,提取深度特征,不仅有效地解决了医学图像处理中训练数据不足的问题,而且获得了能够反映图像内部信息的深度特征;选用PCA对深度特征进行降维,有效降低了后续识别算法的计算量,提高了分类精度;将手工特征和深度特征采用级联的方式相融合,弥补了深度特征不可解释性的问题,从而得到更全面的特征信息;采用MKL-SVM-PSO作为肺结节识别算法,可以快速、准确地找到算法的最优参数组,更易得到全局最优解;将本发明应用于肺CAD中,可有效减轻医生负担,提高医疗效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1 是本发明实施例的方法流程图;
图2 是本发明实施例的深度特征提取网络VGG16结构图;
图3 是本发明实施例的采用PCA降维后的特征维数与累计方差贡献量的关系。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述。
如图1所示为本发明实施例的方法流程图,具体步骤如下:
步骤一:从实验数据中提取肺结节的ROI;
步骤二:对所述肺结节的ROI提取手工特征;
步骤三:对所述肺结节的ROI提取深度特征;
步骤四:对所述深度特征进行降维,获得降维后的深度特征;
步骤五:将所述手工特征和降维后的深度特征进行融合,获得数据样本;
步骤六:将所述数据样本输入MKL-SVM-PSO算法进行肺结节识别。
所述步骤一中的具体情况如下:首先选取肺部CT 图像数据,然后经过对所述肺部CT 数据进行图像预处理及肺实质分割处理后,最终提取出肺结节的ROI;图像预处理是将原CT图像进行二值化处理,对最大的8连通区域进行重构,以去除背景得到最后的目标部分;肺实质分割主要完成左、右肺的分开及肺边缘提取,采用阈值法将图像找到独立的连通区域处理左右肺不粘连情况,采用向上寻找鞍点法处理左右肺粘连情况;所述ROI中包括结节和非结节。
所述步骤二中的具体情况如下:对肺结节ROI提取13维手工特征,肺结节ROI手工特征常用纹理特征、形态学特征和像素亮度特征等表示,本发明手工特征采用根据医生建议的13维手工特征,具体包括:面积、直径、周长、矩形度、扁度、圆形度、细长度共计7维形态特征;灰度均值和灰度方差共计2维灰度特征;在GLCM中提取能量、逆差距、对比度、熵共计4维纹理特征。
所述步骤三中的具体情况如下:本发明采用迁移学习方法,选取在大型公开数据集ImageNet上预训练的VGG16模型作为特征提取器,将所述预训练的VGG16模型的第一个完全连接层前的权重,迁移到目标网络中,提取所述肺结节感兴趣区域的深度特征;CNN特征提取功能的核心是卷积层和池化层,低层的特征语义信息比较少,高层的语义信息更为丰富;卷积层和子采样层进行特征提取得到的特征图是全连接层的输入,包含肺结节的最丰富的语义信息,提取第一个完全连接层前的深度特征,可以更全面地描述特征。
所述步骤四中的具体情况如下:本发明采用PCA降低深度特征维度,从而降低了后续识别算法计算量;PCA从协方差的角度,将高维的特征映射到低维空间中表示,并期望在所投影的维度上,数据的方差最大;为使目标网络更加适应迁移学习的模型,将原始尺寸为64*64的肺结节ROI图像重建为224×224,输入到通过ImageNet预训练的VGG16模型,经过卷积层和池化层提取出7×7×512共计25088维特征;按照降维后每个新特征向量对应信息量占原始数据总信息量的比例进行降序排列,图3展示了降维后的特征维数与累计方差贡献量之间的关系。
所述步骤五中的具体情况如下:将步骤二中得到的手工特征与将步骤四中得到深度特征采用级联的方式融合,得到完整保留两部分特征信息的融合特征;将所述融合特征随机打散后,获得数据样本,分为用于参数寻优的训练集及用于测试模型的测试集,作为MKL-SVM-PSO识别算法的输入。
所述步骤六中的具体情况如下:
1)本发明中MKL-SVM-PSO算法为:选用多项式核与径向基核两种典型的核函数按比例组合为多核函数,与SVM算法相结合构成MKL-SVM算法,以期获得更好的学习能力与泛化能力,多项式核函数、径向基核函数及组合后的多核函数分别用Kpoly、Krbf和Kmule表示.
上式中,参数d代表多项式核函数的阶数,取值为大于1正整数;参数g代表RBF核函数的核宽度;m取值范围为(0,1),可以灵活地调节各个单核函数所占多核函数的比重,兼顾学习能力与泛化能力,使结果不偏重于某个指标的提升,由于多项式核函数在低阶时泛化能力较强,同时也体现了模型的非线性,故本发明的多项式核函数阶数选取d=2或d=3;将PSO用于MKL-SVM构造MKL-SVM-PSO算法,并以肺结节的总体识别准确度为适应度函数,可以快速、准确地寻找到最优参数组;在模型的训练阶段,使用5折交叉验证,将整体的识别准确率ACC作为适应度函数,如式(4)所示。
其中TP、TN、FN、FP分别代表真阳性、真阴性、假阴性、假阳性的个数. 在PSO中配以合适的非线性惯性权重,使得平均适应度值更加平稳、快速地接近最优适应度值,且易得到全局最优解。采用的非线性惯性权重表达式如式(5)所示
其中,wstart为初始惯性权重,wend为最大迭代次数时的惯性权重;k为当前迭代的次数;Tmax为最大迭代次数. 为保证算法在迭代初期具有较强的全局搜索能力以及在迭代后期具有较强的局部搜索能力,通常选取wstart=0.9,wend=0.4.
2)本发明中采用MKL-SVM-PSO算法进行肺结节识别的过程为:通过 MKL-SVM-PSO算法对所述数据样本的训练集进行寻优处理,获取最优参数组,确定识别算法的数学模型,并将其用在测试集上对肺结节进行识别,得到最终结果;为保证实验的有效性,每组实验重复进行20次,实验结果取统计均值;表1列出了使用13维手工特征、使用98维深度特征以及将手工特征和不同维度深度特征进行融合的几类情况下,采用MKL-SVM-PSO识别算法得到的实验结果;其中,ACC_mean为平均准确率的统计均值,ACC_median为ACC的中位数统计均值,ACC_max为最大ACC的统计均值;
表1 不同算法的实验结果
表1的实验结果表明,使用融合特征比单独使用手工特征或深度特征结果更优;融合了98维深度特征与13维手工特征的结果最优,与单独使用手工特征相比,ACC_mean与ACC_mediam均提升了5.56%,ACC_max提升了6.67%;与单独使用98维深度特征相比,ACC_mean与ACC_mediam均提升了3.34%,ACC_max提升了4.45%;采用融合特征时,使用98维深度特征与手工特征相融合的指标最优,得到的ACC_mean与ACC_mediam均为97.78%,ACC_max可达98.89%,优于49维深度特征与手工特征融合的实验结果,也优于147维深度特征与手工特征融合的实验结果. 综上,将深度特征与手工特征的相融合,优于单独使用深度特征或手工特征的结果,且选用合适维度的深度特征较为重要。
如图2所示为本发明实施例的深度特征提取网络VGG16结构图,具体实现为:移除VGG16网络的3层完全连接层和softmax层,将肺结节ROI图像作为输入,经过简化的VGGNet-16网络:该结构共分为5组13个卷积层,包括第一组:Conv1_1、Conv1_2;第二组:Conv2_1、Conv2_2;第三组:Conv3_1、Conv3_2、Conv3_3;第四组:Conv4_1、Conv4_2、Conv4_3;第5组:Conv5_1、Conv5_2、Conv5_3;5组卷积层均采用了相同的卷积核参数,卷积核的尺寸均为3×3,滑动步长为1,卷积层的通道数分别为64、128、256、512,5层池化层的尺寸为2×2的最大池化,Conv5_3的输出为本发明的深度特征。
如图3所示为本发明实施例的采用PCA降维后的特征维数与累计方差贡献量的关系,参见图3,随着特征维数的逐渐增加,所占原始数据总信息量的比例逐渐增大,但是增加幅度逐渐减小,排序越靠后的特征对应的累计方差贡献量越小,并且随着维数的增加,会导致计算量过多和分类性能下降的问题;将深度特征维数降至49、98以及147维,分别保留了原有信息量54%、73%以及83%的信息,基本可以描述肺结节的特征。
以上仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于手工特征和深度特征融合的肺结节图像处理方法,其特征在于,包括以下步骤:
S1:从实验数据中提取肺结节的ROI;
S2:对所述肺结节的ROI提取手工特征;
S3:对所述肺结节的ROI提取深度特征;
S4:对所述深度特征进行降维,获得降维后的深度特征;
S5:将所述手工特征和降维后的深度特征进行融合,获得数据样本;
S6:将所述数据样本输入MKL-SVM-PSO算法进行肺结节识别。
2.根据权利要求1所述的一种基于手工特征和深度特征融合的肺结节图像处理方法,其特征在于:所述S1具体是:首先选取肺部 CT 图像,然后对所述肺部 CT 图像数据进行图像预处理;最后对所述经预处理后的图像进行肺实质分割,提取出肺结节的ROI。
3.根据权利要求1所述的一种基于手工特征和深度特征融合的肺结节图像处理方法,其特征在于:所述S2的手工特征具体是:对从S1中得到的肺结节的ROI中提取手工特征,所述的手工特征采用根据医生建议的13维手工特征具体包括:面积、直径、周长、矩形度、扁度、圆形度、细长度共计7维形态特征;灰度均值和灰度方差共计2维灰度特征;在GLCM中提取能量、逆差距、对比度、熵共计4维纹理特征。
4.根据权利要求1所述的一种基于手工特征和深度特征融合的肺结节图像处理方法,其特征在于:所述S3的具体过程是:选取在ImageNet上预训练的VGG16模型,VGG16模型通过小卷积核和多卷积层替换大卷积核实现,减少了网络的参数数量,与AlexNet和GoogLeNet模型相比,识别准确率更高;将所述预训练的VGG16模型的第一个完全连接层前的权重迁移到目标网络中,卷积层和子采样层进行特征提取得到的特征图是全连接层的输入,包含肺结节的最丰富的语义信息,提取第一个完全连接层前的深度特征,可以更全面地描述特征提取所述肺结节的ROI的深度特征。
5.根据权利要求1所述的一种基于手工特征和深度特征融合的肺结节图像处理方法,其特征在于:所述S4的具体过程是:采用PCA降低深度特征维度,并按照降维后每个新特征向量对应信息量占原始数据总信息量的比例进行降序排列,将深度特征维数降至适合的维度,基本可以描述肺结节的特征信息。
6.根据权利要求1所述的一种基于手工特征和深度特征融合的肺结节图像处理方法,其特征在于:所述S5的具体过程是:将S2中得到的手工特征与将S4中得到深度特征采用级联的方式融合,得到完整保留两部分特征信息的融合特征;将所述融合特征随机打散后,获得数据样本,分为用于参数寻优的训练集及用于测试模型的测试集。
7.根据权利要求1所述的一种基于手工特征和深度特征融合的肺结节图像处理方法,其特征在于:所述S6的MKL-SVM-PSO算法具体是:选用多项式核与径向基核两种典型的核函数按照比例组合为多核函数,与SVM算法相结合构成MKL-SVM算法,以期获得更好的学习能力与泛化能力;同时将PSO引入MKL-SVM构造MKL-SVM-PSO算法,以肺结节的总体识别准确度为适应度函数,同时配以非线性惯性权重。
8.根据权利要求1所述的一种基于手工特征和深度特征融合的肺结节图像处理方法,其特征在于:所述S6的具体过程是:将所述数据样本的训练集输入MKL-SVM-PSO算法进行寻优处理,获取最优参数组,建立MKL-SVM数学模型,将所述最优参数组应用于所述MKL-SVM的数学模型进行识别计算,得出在所述数据样本的训练集上的肺结节识别结果;将所述数学模型在所述数据样本的测试集上进行测试,得到最终的识别结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111201550.6A CN113889231A (zh) | 2021-10-15 | 2021-10-15 | 一种基于手工特征和深度特征融合的肺结节图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111201550.6A CN113889231A (zh) | 2021-10-15 | 2021-10-15 | 一种基于手工特征和深度特征融合的肺结节图像处理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113889231A true CN113889231A (zh) | 2022-01-04 |
Family
ID=79002933
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111201550.6A Pending CN113889231A (zh) | 2021-10-15 | 2021-10-15 | 一种基于手工特征和深度特征融合的肺结节图像处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113889231A (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107240097A (zh) * | 2017-06-27 | 2017-10-10 | 长春工业大学 | 基于mkl‑svm‑pso算法的肺结节图像处理方法 |
EP3540692A1 (en) * | 2018-03-16 | 2019-09-18 | Infervision | A computed tomography pulmonary nodule detection method based on deep learning |
CN111598871A (zh) * | 2020-05-15 | 2020-08-28 | 安徽医学高等专科学校 | 多特征融合辅助检测肺部磨玻璃影结节系统及介质 |
-
2021
- 2021-10-15 CN CN202111201550.6A patent/CN113889231A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107240097A (zh) * | 2017-06-27 | 2017-10-10 | 长春工业大学 | 基于mkl‑svm‑pso算法的肺结节图像处理方法 |
EP3540692A1 (en) * | 2018-03-16 | 2019-09-18 | Infervision | A computed tomography pulmonary nodule detection method based on deep learning |
CN111598871A (zh) * | 2020-05-15 | 2020-08-28 | 安徽医学高等专科学校 | 多特征融合辅助检测肺部磨玻璃影结节系统及介质 |
Non-Patent Citations (3)
Title |
---|
李阳等: "基于群体智能优化的MKL-SVM 算法及肺结节识别", 《工程科学学报》, vol. 43, no. 9, 30 September 2021 (2021-09-30), pages 1157 - 1165 * |
潘燕七等: "基于浅层与深层特征融合的胃癌前疾病识别", 《中国生物医学工程学报》, vol. 39, no. 4, 20 August 2020 (2020-08-20), pages 413 - 421 * |
迟剑宁等: "融合深度网络和浅层纹理特征的 甲状腺结节癌变超声图像诊断", 《中国图像图形学报》, vol. 23, no. 10, 16 October 2018 (2018-10-16), pages 1182 - 1593 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106940816B (zh) | 基于3d全卷积神经网络的ct图像肺结节检测系统 | |
Bora et al. | Pap smear image classification using convolutional neural network | |
Tareef et al. | Optimizing the cervix cytological examination based on deep learning and dynamic shape modeling | |
Hariraj et al. | Fuzzy multi-layer SVM classification of breast cancer mammogram images | |
Zhang et al. | High-throughput histopathological image analysis via robust cell segmentation and hashing | |
Doyle et al. | Cascaded discrimination of normal, abnormal, and confounder classes in histopathology: Gleason grading of prostate cancer | |
CN110309860B (zh) | 基于卷积神经网络对肺结节的恶性程度进行分类的方法 | |
Li et al. | Deep convolutional neural networks for detecting secondary structures in protein density maps from cryo-electron microscopy | |
Pan et al. | Cell detection in pathology and microscopy images with multi-scale fully convolutional neural networks | |
Abdelsamea et al. | A survey on artificial intelligence in histopathology image analysis | |
Taha et al. | Automatic polyp detection in endoscopy videos: A survey | |
Wang et al. | Weakly supervised learning for whole slide lung cancer image classification | |
CN113408605A (zh) | 基于小样本学习的高光谱图像半监督分类方法 | |
CN112132827A (zh) | 病理图像的处理方法、装置、电子设备及可读存储介质 | |
Chen et al. | Segmentation of overlapping cervical cells with mask region convolutional neural network | |
Al-Thelaya et al. | Applications of discriminative and deep learning feature extraction methods for whole slide image analysis: A survey | |
Wetteland et al. | Multiclass Tissue Classification of Whole-Slide Histological Images using Convolutional Neural Networks. | |
Ahmad et al. | Optimized lung nodule prediction model for lung cancer using contour features extraction | |
CN111815554A (zh) | 一种基于边缘搜索mrf模型的宫颈细胞图像分割方法 | |
Meng et al. | Clinical applications of graph neural networks in computational histopathology: A review | |
CN117710760A (zh) | 残差的注意神经网络用于胸部x线病灶检测的方法 | |
CN116311387B (zh) | 一种基于特征交集的跨模态行人重识别方法 | |
CN113065430A (zh) | 基于深度学习特征与人工提取特征融合的白细胞分类方法 | |
Pan et al. | A review of machine learning approaches, challenges and prospects for computational tumor pathology | |
Ke et al. | Selective detection and segmentation of cervical cells |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |