CN111931867A - 基于轻量级模型的新冠肺炎x射线图像分类方法及系统 - Google Patents
基于轻量级模型的新冠肺炎x射线图像分类方法及系统 Download PDFInfo
- Publication number
- CN111931867A CN111931867A CN202010991924.8A CN202010991924A CN111931867A CN 111931867 A CN111931867 A CN 111931867A CN 202010991924 A CN202010991924 A CN 202010991924A CN 111931867 A CN111931867 A CN 111931867A
- Authority
- CN
- China
- Prior art keywords
- feature map
- layer
- feature
- convolution
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 206010035664 Pneumonia Diseases 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000004927 fusion Effects 0.000 claims abstract description 55
- 238000013145 classification model Methods 0.000 claims abstract description 49
- 238000012549 training Methods 0.000 claims description 38
- 238000012360 testing method Methods 0.000 claims description 20
- 208000025721 COVID-19 Diseases 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 230000007704 transition Effects 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000002596 correlated effect Effects 0.000 claims description 5
- 238000012512 characterization method Methods 0.000 abstract description 10
- 230000008034 disappearance Effects 0.000 abstract description 5
- 239000010410 layer Substances 0.000 description 92
- 230000035945 sensitivity Effects 0.000 description 20
- 238000004364 calculation method Methods 0.000 description 8
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000011976 chest X-ray Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000011800 void material Substances 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 241000711573 Coronaviridae Species 0.000 description 2
- 206010035742 Pneumonitis Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于轻量级模型的新冠肺炎X射线图像分类方法及系统，该方法构建了包括多路径多尺度特征融合模块和深度可分离卷积密集块的图像分类模型，多路径多尺度特征融合模块中多路径所获得的感受野不同，可有效提高特征利用率，增强模型的表征能力，并有效防止过拟合；深度可分离卷积密集块对特征图中的特征进行空间和通道的关联，并将关联后的特征图与所述输入的特征图进行通道拼接，实现特征重用，提升模型表征能力，有效解决梯度消失带来的模型欠拟合问题。本发明提供的图像分类模型为轻量级模型，可应用于存储空间与计算能力有限的移动设备或嵌入式设备，且对X‑Ray图像的分类速度快、准确率高。
Description
技术领域
本发明涉及医学X-Ray图像分类技术领域，尤其是一种基于轻量级模型的新冠肺炎X射线图像分类方法及系统。
背景技术
COVID-19为新型冠状病毒肺炎，简称新冠肺炎。COVID-19包含一些可以被胸部X射线（X-Ray）检测到的放射学特征，因此可通过对X-Ray图像进行识别筛选出含COVID-19放射学特征的X-Ray图像。但是现有技术中还没有一种适用于存储空间与计算能力有限的移动设备或嵌入式设备的高效、高性能的X-Ray图像分类方法，以便随时随地使用。
发明内容
本发明提供一种基于轻量级模型的新冠肺炎X射线图像分类方法及系统，用于克服现有技术中不能在适用于存储空间与计算能力有限的移动设备或嵌入式设备的同时兼具高效、高性能等缺陷。
为实现上述目的，本发明提出一种基于轻量级模型的新冠肺炎X射线图像分类方法，包括：
获取若干带标识的X-Ray图像；若干所述X-Ray图像中包括含COVID-19放射学特征的图像、含普通肺炎放射学特征的图像和正常图像；
对X-Ray图像进行预处理，并将预处理后的X-Ray图像划分为训练集和测试集；
利用训练集对预先构建的图像分类模型进行训练，利用测试集对训练后的图像分类模型进行测试；所述图像分类模型包括多个串联的多路径多尺度特征融合模块和多个串联的深度可分离卷积密集块；所述多路径多尺度特征融合模块用于提取特征图中不同尺度的特征，并将不同尺度的特征进行融合，获得融合特征图；所述深度可分离卷积密集块用于对特征图中的特征进行空间和通道的关联，并将关联后的特征图与所述输入的特征图进行通道拼接，获得深度特征图；
利用测试后的图像分类模型对待识别的X-Ray图像进行分类，获得X-Ray图像的类别。
为实现上述目的，本发明还提出一种基于轻量级模型的新冠肺炎X射线图像分类系统，包括：
图像获取模块，用于获取若干带标识的X-Ray图像；若干所述X-Ray图像中包括含COVID-19放射学特征的图像、含普通肺炎放射学特征的图像和正常图像；
图像处理模块，用于对X-Ray图像进行预处理，并将预处理后的X-Ray图像划分为训练集和测试集；
模型训练模块，用于利用训练集对预先构建的图像分类模型进行训练，利用测试集对训练后的图像分类模型进行测试；所述图像分类模型包括多个串联的多路径多尺度特征融合模块和多个串联的深度可分离卷积密集块；所述多路径多尺度特征融合模块用于提取特征图中不同尺度的特征，并将不同尺度的特征进行融合，获得融合特征图；所述深度可分离卷积密集块用于对特征图中的特征进行空间和通道的关联，并将关联后的特征图与所述输入的特征图进行通道拼接，获得深度特征图；
图像分类模块，用于利用测试后的图像分类模型对待识别的X-Ray图像进行分类，获得X-Ray图像的类别。
为实现上述目的，本发明还提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。
为实现上述目的，本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的方法的步骤。
与现有技术相比，本发明的有益效果有：
本发明提供的基于轻量级模型的新冠肺炎X射线图像分类方法，针对X-Ray图像类别间相似度高且类别内变异性低的问题，构建了包括多个串联的多路径多尺度特征融合模块和多个串联的深度可分离卷积密集块的图像分类模型，多路径多尺度特征融合模块中多路径所获得的感受野不同，可提取特征图中不同尺度的特征并将其进行融合，可有效提高特征利用率，增强模型的表征能力，并有效防止过拟合；深度可分离卷积密集块对特征图中的特征进行空间和通道的关联，并将关联后的特征图与所述输入的特征图进行通道拼接，实现特征重用，从而防止模型过拟合，提升模型表征能力，有效解决梯度消失带来的模型欠拟合问题。此外，多路径多尺度特征融合模块和深度可分离卷积密集块可显著降低模型的参数量和计算量，同时提高模型的精度，因此本发明提供的图像分类模型为轻量级模型，可应用于存储空间与计算能力有限的移动设备或嵌入式设备，且对COVID-19X-Ray图像的分类速度快，准确率高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明提供的基于轻量级模型的新冠肺炎X射线图像分类方法的流程图；
图2为COVID-19 X-Ray图像；
图3为普通肺炎X-Ray图像；
图4为正常X-Ray图像；
图5为本发明实施例中图像分类模型的结构图；
图6为本发明实施例中多路径多尺度特征融合模块的结构图；
图7为本发明实施例中深度可分离卷积密集块的结构图；
图8为本发明提供的图像分类模型在含COVID-19放射学特征的图像、含普通肺炎放射学特征的图像和正常图像上的灵敏度图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明提出一种基于轻量级模型的新冠肺炎X射线图像分类方法，如图1所示，包括：
101：获取若干带标识的X-Ray图像；若干所述X-Ray图像中包括含COVID-19放射学特征的图像、含普通肺炎放射学特征的图像和正常图像；
102：对X-Ray图像进行预处理，并将预处理后的X-Ray图像划分为训练集和测试集；
预处理以使处理后的图像可顺利输入图像识别模型中。
103：利用训练集对预先构建的图像分类模型进行训练，利用测试集对训练后的图像分类模型进行测试；所述图像分类模型包括多个串联的多路径多尺度特征融合模块和多个串联的深度可分离卷积密集块；所述多路径多尺度特征融合模块用于提取特征图中不同尺度的特征，并将不同尺度的特征进行融合，获得融合特征图；所述深度可分离卷积密集块用于对特征图中的特征进行空间和通道的关联，并将关联后的特征图与所述输入的特征图进行通道拼接，获得深度特征图；
通道，指图像分类模型中输出特征的通道。
特征重用：复制某一层的输入特征，将复制的输入特征与某层输出特征进行拼接，成为下一层的输入。
空间关联：在特征图的空间维度进行卷积。
通道关联：通过卷积计算使不同通道间的特征图相互作用。
通道拼接：使特征图在通道维度上进行堆叠。
104：利用测试后的图像分类模型对待识别的X-Ray图像进行分类，获得X-Ray图像的类别。
本发明提供的基于轻量级模型的新冠肺炎X射线图像分类方法，针对X-Ray图像类别间相似度高且类别内变异性低的问题，构建了包括多个串联的多路径多尺度特征融合模块和多个串联的深度可分离卷积密集块的图像分类模型，多路径多尺度特征融合模块中多路径所获得的感受野不同，可提取特征图中不同尺度的特征并将其进行融合，可有效提高特征利用率，增强模型的表征能力，并有效防止过拟合；深度可分离卷积密集块对特征图中的特征进行空间和通道的关联，并将关联后的特征图与所述输入的特征图进行通道拼接，实现特征重用，从而防止模型过拟合，提升模型表征能力，有效解决梯度消失带来的模型欠拟合问题。此外，多路径多尺度特征融合模块和深度可分离卷积密集块可显著降低模型的参数量和计算量，同时提高模型的精度，因此本发明提供的图像分类模型为轻量级模型，可应用于存储空间与计算能力有限的移动设备或嵌入式设备，且对COVID-19X-Ray图像的分类速度快，准确率高。
多路径多尺度特征融合模块，该模块包括多路径，每条路经的感受野不同，因此可以实现多尺度特征的提取，且多条路径同时进行不同尺度的特征提取。由于X-Ray图像类别间相似度高且类别内变异性低，因此对模型的表征能力要求很高，本发明首先通过多路经同时进行不同尺度特征提取，有效提高特征利用率，增强模型的表征能力，并有效防止过拟合；而由于X-Ray图像类别间相似度高且类别内变异性低，因此设置多个串联的多路径多尺度特征融合模块以尽可能多的提高X-Ray图像中的特征利用率，保证最终分类的准确率；此外，多路径多尺度特征融合模块可显著降低模型的参数量和计算量。
深度可分离卷积密集块，相比普通标准卷积中将特征的空间关联和通道关联同时进行，本发明的深度可分离卷积密集块将深度卷积和逐点卷积分开进行，即将特征图中特征的空间关联和通道关联分开进行，可确保特征图中特征的空间关联和通道关联更加精确和仔细以适用于X-Ray图像的分类；同时相比普通标准卷积，深度可分离卷积密集块将深度卷积和逐点卷积分开，可显著降低模型的参数量和计算量；此外，深度可分离卷积密集块中将关联后的特征图与所述深度可分离卷积密集块的输入的特征图进行通道拼接，通过这样的密集连接可实现特征重用，从而防止模型过拟合，提升模型表征能力，有效解决梯度消失带来的模型欠拟合问题。
在其中一个实施例中，对于步骤101，若干带标识的X-Ray图像选自两个开源数据集，Kaggle的胸部X射线图像集以及Joseph Paul Cohen等人提供的新冠肺炎胸片数据集。
由于肺炎胸片，尤其是新冠肺炎胸片（即含COVID-19放射学特征的X-Ray图像）匮乏，本实施例从Joseph Paul Cohen等人提供的数据集中选出542幅感染了COVID-19的X-Ray图像，并采用图像增广的方式对542幅感染了COVID-19的X-Ray图像进行扩充，并随机选取其中1020幅新冠肺炎胸片。Kaggle的胸部X射线图像集由正常和普通肺炎患者的胸部X射线图像组成，其中包含了5863张胸部X射线图像，普通肺炎胸片有4268幅以及正常胸片有1585。采用图像增广的方式对Kaggle的胸部X射线图像集进行扩充，随机选取3900幅普通肺炎胸片以及2340幅正常胸片。
本实施例共获取了1020幅新冠肺炎胸片、3900幅普通肺炎胸片以及2340幅正常胸片。将这三类胸片分别随机分成10份，每一类胸片任取1份、混合，作为测试集；其他所有胸片混合，作为训练集。
COVID-19 X-Ray图像、普通肺炎X-Ray图像和正常X-Ray图像分别如图2、图3和图4所示，从图可知，X-Ray图像类别间相似度高并且类别内变异性低，这增加了模型对X-Ray图像进行识别的难度。
在下一个实施例中，对于步骤102，由于获取的X-Ray图像分辨率高，但尺寸不一，800至2500像素不等。为了便于模型训练，本实施例将所用X-Ray图像均处理成224×224固定分辨率。由于训练集的X-Ray图像数量不够多，可能会使经过训练的模型出现过拟合现象或者欠泛化，因此本实施例对训练集进行图像增广，将X-Ray图像重塑成800×800分辨率。随机选取50%训练集中的X-Ray图像进行60度水平翻转，再随机选取50%训练集中的X-Ray图像进行45度垂直翻转；然后将X-Ray图像随机重塑成224×224分辨率；最后对训练集中X-Ray图像的色彩进行增强，将X-Ray图像的亮度值均匀变为0.6~1.4倍，X-Ray图像的对比度均匀变为0.6~1.4倍，以及X-Ray图像的饱和度变为0.6~1.4倍。因此实际上用于训练的X-Ray图像数量是原训练集中X-Ray图像的五倍。
在另一个实施例中，对于步骤103，图像分类模型如图5所示，依次包括：
输入层，用于对输入的X-Ray图像进行初步特征提取，所述输入层包括1个标准空洞卷积层（DConv）；
特征提取子网络，用于对特征图进行特征提取和特征关联获得深度特征图，所述特征提取子网络依次包括多个串联的多路径多尺度特征融合模块（MSFA-D）、过渡模块（Transition）和多个串联的深度可分离卷积密集块（MSFA-S）；
输出层，用于利用深度特征图进行图像分类，所述输出层依次包括全局平均池化层（Pooling Layer）、全连接层（FC Layer）、丢弃层（Dropout Layer）和Softmax分类器（SoftmaxClassfifier）。
在某个实施例中，图像分类模型的特征提取子网络依次包括5个串联的多路径多尺度特征融合模块、过渡模块和9个串联的深度可分离卷积密集块。
在下一个实施例中，多路径多尺度特征融合模块（MSFA-D）依次包括切分层、多条并行的支路以及融合层，每条所述支路包括多个不同尺寸的卷积层；
所述切分层用于对输入的特征图进行均等切分，并将切分后的特征图分别输入多条支路中；支路的数量与切分后特征图数量一致；
所述多条并行的支路用于提取特征图中不同尺度的特征；
所述融合层用于将不同尺度的特征进行融合，获得融合特征图。
在另一个实施例中，多路径多尺度特征融合模块（MSFA-D）如图6包括两条支路；
一条支路依次包括1×1的逐点卷积层（PWC）、3×3的空洞深度卷积层（DDC，DilatedDepthwise Convolution）和1×1的逐点卷积层（PWC）；
另一条支路依次包括1×1的逐点卷积层（PWC）、3×3的深度卷积层（DWC，DepthWiseConvolution）和1×1的逐点卷积层（PWC）；
两条支路中的第一个逐点卷积层均用于对输入的特征图进行升维处理，第二个逐点卷积层均用于对特征图中的特征进行通道关联；
所述空洞深度卷积层和深度卷积层分别用于对特征图进行不同尺度的特征提取。
多路径多尺度特征融合模块用于下采样，多路径并行。首先对输入特征进行均等切分，在逐点卷积层中进行空间特征降维。一条支路使用步长为2、卷积核尺寸为3*3、感受野尺寸为3*3的深度卷积层，另一支路使用步长为2、空洞率为1、卷积核尺寸为3*3、感受野尺寸为5*5的空洞深度卷积。由于下采样操作会丢失信息，因此先通过逐点卷积层进行升维操作；再利用深度卷积层和空洞深度卷积层在空间区域进行特征提取，通道间的信息没有互通。因此接着使用点卷积来实现通道相关；最后将两条支路的进行通道拼接。两条支路所需的计算量与参数量是一样的，因此很好地适用于并行计算。由于两条支路所获得的感受野不同，多路径多尺度特征融合模块实现了不同尺度特征融合，从而增强了模型的表征能力，并有效防止过拟合。
空洞卷积最初用于语义分割任务，能在不增加参数量与计算量的前提下，增加局部感受野，有益于提高模型性能。在标准卷积中引入空洞卷积，可在图像分类任务上取得很好的成果。使用不同尺寸的卷积层并行连接的方式，能让模型学习到更多的特征。不同尺度特征的融合能提高特征利用率，有效防止模型过拟合。
本发明中提到的卷积层非是单一的一层，是由卷积层（Convolution）、批归一化层（BN，Batch Normaoliztion）与激活函数（H_Swish，Active Function）组成。相比其他激活函数，H_Swish能降低延迟，且适用于移动设备。
在下一个实施例中，深度可分离卷积密集块（MSFA-S）包括多个不同尺寸的卷积层，第一个卷积层的输入端与最后一个卷积层的输出端进行密集连接。
深度可分离卷积密集块通过密集连接与特征重用来缓解梯度消失的问题。
在某个实施例中，深度可分离卷积密集块如图7所示，依次包括3×3的深度卷积层（DWC）、1×1的逐点卷积层（PWC）和通道拼接层（Concat）；
所述深度卷积层用于对特征图中的特征进行空间的关联；
所述逐点卷积层用于对特征图中的特征进行通道的关联；
所述通道拼接层用于将输入深度可分离卷积密集块的特征图与深度可分离卷积密集块中逐点卷积层输出的特征图进行通道拼接，获得深度特征图。
输入图像分类模型中的X-Ray图像的尺寸为224×224，经历了多次下采样，特征图尺寸变为7×7。由于空洞卷积具有网格效应，会造成信息丢失，且输入特征图尺寸小，特征越来越抽象，因此MSFA-S不使用空洞卷积。为了缓解梯度消失，提高特征利用率，在MSFA-S中使用了密集连接。在MSFA-S中特征图首先通过深度卷积层，实现空间特征相关；接着通过点卷积，实现通道特征相关。将深度卷积层的输入与逐点卷积层的输出进行通道拼接，实现特征重用，从而防止模型过拟合，提升模型表征能力，解决梯度消失带来的模型欠拟合。
在某个实施例中，图像分类模型如表1所示，第一层采用步长为1的标准空洞卷积层（DConv），输出通道设置为16，由于空洞卷积会使得空间信息不连续，因此第一层卷积层不用于下采样。接着重复5次使用MFSA-D，五个MFSA-D的输出通道数分别32， 48， 64， 80，96，在第五次使用MFSA-D后，不同路径间的信息不互通。因此，使用一个过渡模块（Transition），过渡模块为输入通道数为96，输出通道数为112的深度可分离卷积层。然后重复使用9次MFSA-S，9个MFSA-S的输出通道数分别为128，144，160，176，192，208，224，240，256。将第九个MFSA-S产生的输出特征图送入自适应全局平均池化层（Pooling Layer），输出256张1×1特征图。再经过卷积核尺寸为1的全连接层（FC Layer），生成480张1×1输出特征图。然后将输出特征图转化成列向量形式。为防止过拟合，将输出特征图送至Dropout层，将丢弃率设置为0.2。最后将特征图送入3分类Softmax分类器。其中“DConv”表示标准空洞卷积；“PWC”表示逐点卷积；“DWC”表示深度卷积；“DDC”表示空洞深度卷积；“Split”表示通道切分；“Concatenation”表示通道拼接。
表1 图像分类模型
在下一个实施例中，对于步骤103，在模型训练过程中，由于模型对参数初始值很敏感，合适的参数初始值可以加快模型收敛，益于模型参数优化。因此，本实施例对卷积层的权重参数使用kaiming正太分布初始化，将归一化层中的权值参数初始为1，偏置参数初始为0，将全连接层中的权值参数用均值为0，标准偏差为0.01的正太分布初始化。采用基于共享参数的迁移学习方式预训练模型，有助于模型收敛。
本实施例中，使用SqueezeNet、MobileNetV1/V2以及ShuffleNetV1/V2这五个经典轻量级网络模型作为对比模型来体现本发明图像分类模型的性能与高效性。本实施例进行了四组实验，每一个模型一组实验。每一个模型在数据集上重复实验100次，即epoch=100。所实验的模型初始学习率均为0.01。统一使用交叉熵损失函数来体现模型预测值与实际值值间的偏差。在前20个epoch使用Adam优化器，20-199个epoch使用动量为0.9、权重衰减为5e-4SGD优化器，同时使用特定周期学习率设置方法与等间隔调整学习率的方法来动态改变学习率(lr)。。每5个epoch学习率降为前一个epoch的0.9，并且在10的整数倍epoch将lr降为1/(2*n)，其中n为10的整数倍值，每50个epoch一个循环。训练集的batchsize为32，测试集的batchsize为16。
本实施例利用准确率、精确率、特异度、灵敏度、以及F1值来评估模型，取多次实验的平均值，结果如表2所示，识别含COVID-19放射学特征的图像的特异度达到100%，灵敏度达到93.14%, 精度达100%，其F1值为96.45；识别含普通肺炎放射学特征的图像的特异度达到93.41%，灵敏度达到95.90%，精度达91%，其F1值为93.39；识别正常图像的特异度达到95.73%，灵敏度达到90.60%，精度达92.27%，其F1值91.27%。由此可知，本发明图像分类模型平均灵敏度为93.21%，特异度为96.38%，精度为94.99%，F1值为94.04，所有指标均在90%以上，使用本发明提出的图像分类模型识别含COVID-19放射学特征的图像，误判概率为0，漏判概率为6.86%，说明该模型的分类精度与效率优于人工阅片和一般现有图像分类模型。
表2本发明提供的图像分类模型的性能表
图8为本发明提供的图像分类模型在含COVID-19放射学特征的图像、含普通肺炎放射学特征的图像和正常图像上的灵敏度图，由图可知，本发明提供的图像分类模型对含COVID-19放射学特征的图像的灵敏度达到93%，含普通肺炎放射学特征的图像的灵敏度达到96%，识别正常胸片的灵敏度达91%,平均准确率达94%。本发明提供的图像分类模型对COVID-19X-Ray图像的分类灵敏度高。
本实施例还将本发明提供的图像分类模型Covid-19NeXt与现有的轻量级卷积神经网路模型：SqueezeNet、MobileNetV1、ShuffleNetV1、MobileNetV2以及ShuffleNetV2进行比较，结果如表3和表4（计算量与参数量以百万为单位）所示，Covid-19NeXt的各个性能指标均最高，且所需计算复杂度与模型尺寸均最小，说明Covid-19NeXt在这几个模型中效率最好，适应于计算能力与存储空间有限的移动端设备。SqueezeNet参数量虽然只有0.7M，但是其性能表现不如人工阅片，且要求设备计算能力较高。
就灵敏度而言，Covid-19NeXt比MobileNetV1高出约6%，说明Covid-19NeXt漏诊率比MobileNetV1低；就特异度而言，Covid-19NeXt比MobileNetV1高出约6.5%，说明Covid-19NeXt误诊率比MobileNetV1的低；就精确度而言，Covid-19NeXt比MobileNetV1高出约4.8%，说明Covid-19NeXt的自信分要比MobileNetV1的高；就准确率而言，Covid-19NeXt比MobileNetV1高出约5.3%左右，说明Covid-19NeXt分类性能要比MobileNetV1好；就F1值而言，Covid-19NeXt比MobileNetV1的高出约5.4%左右，说明Covid-19NeXt综合精度与灵敏度比MobileNetV1好，并且Covid-19NeXt的计算量比其少了约5.2X,说明Covid-19NeXt比较高效，Covid-19NeXt的参数量比其少了约14.5X。
就灵敏度而言，Covid-19NeXt比ShuffleNetV1高出约7%，说明Covid-19NeXt漏诊率比ShuffleNetV1低；就特异度而言，Covid-19NeXt比ShuffleNetV1高出约6%，说明Covid-19NeXt误诊率比ShuffleNetV1的低；就精确度而言，Covid-19NeXt比ShuffleNetV1高出约4.9%，说明Covid-19NeXt的自信分要比ShuffleNetV1的高；就准确率而言，Covid-19NeXt比ShuffleNetV1高出约6.8%左右，说明Covid-19NeXt分类性能要比ShuffleNetV1好；就F1值而言，Covid-19NeXt比ShuffleNetV1的高出约6%左右，说明Covid-19NeXt综合精度与灵敏度比ShuffleNetV1好，并且Covid-19NeXt的计算量比其少了0.57X,说明Covid-19NeXt比较高效，Covid-19NeXt的参数量比其少了3.5X。
就灵敏度而言，Covid-19NeXt比MobileNetV2高出约4.7%，说明Covid-19NeXt漏诊率比MobileNetV2低；就特异度而言，Covid-19NeXt比MobileNetV2高出约3.2%，说明Covid-19NeXt误诊率比MobileNetV2的低；就精确度而言，Covid-19NeXt比MobileNetV2高出约3.1%，说明Covid-19NeXt的自信分要比MobileNetV2的高；就准确率而言，Covid-19NeXt比MobileNetV2高出约4.5%左右，说明Covid-19NeXt分类性能要比MobileNetV2好；就F1值而言，Covid-19NeXt比MobileNetV2的高出约3.9%左右，说明Covid-19NeXt综合精度与灵敏度比MobileNetV2好，并且Covid-19NeXt的计算量比其少了约3.5X,说明Covid-19NeXt比较高效，Covid-19NeXt的参数量比其少了9.5X。
ShuffleNetV2模型是五个对比模型中性能最好的，但Covid-19NeXt各个性能指标还是比其好，且Covid-19NeXt的计算量比其少了0.6X，参数量比其少了5X倍。就灵敏度而言，Covid-19NeXt比ShuffleNetV2高出约1.5%，说明Covid-19NeXt漏诊率比ShuffleNetV2低；就特异度而言，Covid-19NeXt比ShuffleNetV2高出约0.09%，说明Covid-19NeXt误诊率比ShuffleNetV2的低；就精确度而言，Covid-19NeXt比ShuffleNetV2高出约3%，说明Covid-19NeXt的自信分要比ShuffleNetV2的高；就准确率而言，Covid-19NeXt比ShuffleNetV2高出约1.8%左右，说明Covid-19NeXt分类性能要比ShuffleNetV2好；就F1值而言，Covid-19NeXt比ShuffleNetV2的高出约2.2%左右，说明Covid-19NeXt综合精度与灵敏度比ShuffleNetV2好。
表3不同模型性能对比表
表4不同模型的计算量与参数量对比表
本发明还提出一种基于轻量级模型的新冠肺炎X射线图像分类系统，包括：
图像获取模块，用于获取若干带标识的X-Ray图像；若干所述X-Ray图像中包括含COVID-19放射学特征的图像、含普通肺炎放射学特征的图像和正常图像；
图像处理模块，用于对X-Ray图像进行预处理，并将预处理后的X-Ray图像划分为训练集和测试集；
模型训练模块，用于利用训练集对预先构建的图像分类模型进行训练，利用测试集对训练后的图像分类模型进行测试；所述图像分类模型包括多个串联的多路径多尺度特征融合模块和多个串联的深度可分离卷积密集块；所述多路径多尺度特征融合模块用于提取特征图中不同尺度的特征，并将不同尺度的特征进行融合，获得融合特征图；所述深度可分离卷积密集块用于对特征图中的特征进行空间和通道的关联，并将关联后的特征图与所述输入的特征图进行通道拼接，获得深度特征图；
图像分类模块，用于利用测试后的图像分类模型对待识别的X-Ray图像进行分类，获得X-Ray图像的类别。
在其中一个实施例中，对于模型训练模块，图像分类模型依次包括：
输入层，用于对输入的X-Ray图像进行初步特征提取，所述输入层包括1个标准空洞卷积层；
特征提取子网络，用于对特征图进行特征提取和特征关联获得深度特征图，所述特征提取子网络依次包括多个串联的多路径多尺度特征融合模块、过渡模块和多个串联的深度可分离卷积密集块；
输出层，用于利用深度特征图进行图像分类，所述输出层依次包括全局平均池化层、全连接层、丢弃层和Softmax分类器。
在下一个实施例中，对于模型训练模块，特征提取子网络依次包括5个串联的多路径多尺度特征融合模块、过渡模块和9个串联的深度可分离卷积密集块。
在另一个实施例中，对于模型训练模块，多路径多尺度特征融合模块依次包括切分层、多条并行的支路以及融合层，每条所述支路包括多个不同尺寸的卷积层；
所述切分层用于对输入的特征图进行均等切分，并将切分后的特征图分别输入多条支路中；支路的数量与切分后特征图数量一致；
所述多条并行的支路用于提取特征图中不同尺度的特征；
所述融合层用于将不同尺度的特征进行融合，获得融合特征图。
在某个实施例中，对于模型训练模块，多路径多尺度特征融合模块包括两条支路；
一条支路依次包括1×1的逐点卷积层、3×3的空洞深度卷积层和1×1的逐点卷积层；
另一条支路依次包括1×1的逐点卷积层、3×3的深度卷积层和1×1的逐点卷积层；
两条支路中的第一个逐点卷积层均用于对输入的特征图进行升维处理，第二个逐点卷积层均用于对特征图中的特征进行通道关联；
所述空洞深度卷积层和深度卷积层分别用于对特征图进行不同尺度的特征提取。
在下一个实施例中，对于模型训练模块，深度可分离卷积密集块包括多个不同尺寸的卷积层，第一个卷积层的输入端与最后一个卷积层的输出端进行密集连接。
在另一个实施例中，对于模型训练模块，深度可分离卷积密集块依次包括3×3的深度卷积层、1×1的逐点卷积层和通道拼接层；
所述深度卷积层用于对特征图中的特征进行空间的关联；
所述逐点卷积层用于对特征图中的特征进行通道的关联；
所述通道拼接层用于将输入深度可分离卷积密集块的特征图与深度可分离卷积密集块中逐点卷积层输出的特征图进行通道拼接，获得深度特征图。
本发明还提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。
本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的方法的步骤。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。
Claims (10)
1.一种基于轻量级模型的新冠肺炎X射线图像分类方法，其特征在于，包括：
获取若干带标识的X-Ray图像；若干所述X-Ray图像中包括含COVID-19放射学特征的图像、含普通肺炎放射学特征的图像和正常图像；
对X-Ray图像进行预处理，并将预处理后的X-Ray图像划分为训练集和测试集；
利用训练集对预先构建的图像分类模型进行训练，利用测试集对训练后的图像分类模型进行测试；所述图像分类模型包括多个串联的多路径多尺度特征融合模块和多个串联的深度可分离卷积密集块；所述多路径多尺度特征融合模块用于提取特征图中不同尺度的特征，并将不同尺度的特征进行融合，获得融合特征图；所述深度可分离卷积密集块用于对特征图中的特征依次进行空间关联和通道关联，并将关联后的特征图与所述深度可分离卷积密集块的输入特征图进行通道拼接，获得深度特征图；
利用测试后的图像分类模型对待识别的X-Ray图像进行分类，获得X-Ray图像的类别。
2.如权利要求1所述的基于轻量级模型的新冠肺炎X射线图像分类方法，其特征在于，所述图像分类模型依次包括：
输入层，用于对输入的X-Ray图像进行初步特征提取，所述输入层包括1个标准空洞卷积层；
特征提取子网络，用于对特征图进行特征提取和特征关联获得深度特征图，所述特征提取子网络依次包括多个串联的多路径多尺度特征融合模块、过渡模块和多个串联的深度可分离卷积密集块；
输出层，用于利用深度特征图进行图像分类，所述输出层依次包括全局平均池化层、全连接层、丢弃层和Softmax分类器。
3.如权利要求2所述的基于轻量级模型的新冠肺炎X射线图像分类方法，其特征在于，所述特征提取子网络依次包括5个串联的多路径多尺度特征融合模块、过渡模块和9个串联的深度可分离卷积密集块。
4.如权利要求1~3任一项所述的基于轻量级模型的新冠肺炎X射线图像分类方法，其特征在于，所述多路径多尺度特征融合模块依次包括切分层、多条并行的支路以及融合层，每条所述支路包括多个不同尺寸的卷积层；
所述切分层用于对输入的特征图进行均等切分，并将切分后的特征图分别输入多条支路中；支路的数量与切分后特征图数量一致；
所述多条并行的支路用于提取特征图中不同尺度的特征；
所述融合层用于将不同尺度的特征进行融合，获得融合特征图。
5.如权利要求4所述的基于轻量级模型的新冠肺炎X射线图像分类方法，其特征在于，所述多路径多尺度特征融合模块包括两条支路；
一条支路依次包括1×1的逐点卷积层、3×3的空洞深度卷积层和1×1的逐点卷积层；
另一条支路依次包括1×1的逐点卷积层、3×3的深度卷积层和1×1的逐点卷积层；
两条支路中的第一个逐点卷积层均用于对输入的特征图进行升维处理，第二个逐点卷积层均用于对特征图中的特征进行通道关联；
所述空洞深度卷积层和深度卷积层分别用于对特征图进行不同尺度的特征提取。
6.如权利要求1~3任一项所述的基于轻量级模型的新冠肺炎X射线图像分类方法，其特征在于，所述深度可分离卷积密集块包括多个不同尺寸的卷积层，第一个卷积层的输入端与最后一个卷积层的输出端进行密集连接。
7.如权利要求6所述的基于轻量级模型的新冠肺炎X射线图像分类方法，其特征在于，所述深度可分离卷积密集块依次包括3×3的深度卷积层、1×1的逐点卷积层和通道拼接层；
所述深度卷积层用于对特征图中的特征进行空间的关联；
所述逐点卷积层用于对特征图中的特征进行通道的关联；
所述通道拼接层用于将输入深度可分离卷积密集块的特征图与深度可分离卷积密集块中逐点卷积层输出的特征图进行通道拼接，获得深度特征图。
8.一种基于轻量级模型的新冠肺炎X射线图像分类系统，其特征在于，包括：
图像获取模块，用于获取若干带标识的X-Ray图像；若干所述X-Ray图像中包括含COVID-19放射学特征的图像、含普通肺炎放射学特征的图像和正常图像；
图像处理模块，用于对X-Ray图像进行预处理，并将预处理后的X-Ray图像划分为训练集和测试集；
模型训练模块，用于利用训练集对预先构建的图像分类模型进行训练，利用测试集对训练后的图像分类模型进行测试；所述图像分类模型包括多个串联的多路径多尺度特征融合模块和多个串联的深度可分离卷积密集块；所述多路径多尺度特征融合模块用于提取特征图中不同尺度的特征，并将不同尺度的特征进行融合，获得融合特征图；所述深度可分离卷积密集块用于对特征图中的特征进行空间和通道的关联，并将关联后的特征图与所述深度可分离卷积密集块的输入特征图进行通道拼接，获得深度特征图；
图像分类模块，用于利用测试后的图像分类模型对待识别的X-Ray图像进行分类，获得X-Ray图像的类别。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1~7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1~7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010991924.8A CN111931867B (zh) | 2020-09-21 | 2020-09-21 | 基于轻量级模型的新冠肺炎x射线图像分类方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010991924.8A CN111931867B (zh) | 2020-09-21 | 2020-09-21 | 基于轻量级模型的新冠肺炎x射线图像分类方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111931867A true CN111931867A (zh) | 2020-11-13 |
| CN111931867B CN111931867B (zh) | 2020-12-18 |
Family
ID=73334219
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010991924.8A Active CN111931867B (zh) | 2020-09-21 | 2020-09-21 | 基于轻量级模型的新冠肺炎x射线图像分类方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111931867B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113129293A (zh) * | 2021-04-26 | 2021-07-16 | 长沙理工大学 | 医学图像分类方法、装置、计算机设备和存储介质 |
| CN113989206A (zh) * | 2021-10-20 | 2022-01-28 | 杭州深睿博联科技有限公司 | 一种基于轻量化模型的骨龄预测方法及装置 |
| CN116503635A (zh) * | 2022-10-26 | 2023-07-28 | 湖南省中医药研究院 | 一种基于机器学习的肺炎ct图像分类识别方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107016357A (zh) * | 2017-03-23 | 2017-08-04 | 北京工业大学 | 一种基于时间域卷积神经网络的视频行人检测方法 |
| US20180033144A1 (en) * | 2016-09-21 | 2018-02-01 | Realize, Inc. | Anomaly detection in volumetric images |
| US20180260951A1 (en) * | 2017-03-08 | 2018-09-13 | Siemens Healthcare Gmbh | Deep Image-to-Image Recurrent Network with Shape Basis for Automatic Vertebra Labeling in Large-Scale 3D CT Volumes |
| CN110097554A (zh) * | 2019-04-16 | 2019-08-06 | 东南大学 | 基于密集卷积和深度可分离卷积的视网膜血管分割方法 |
| CN111402984A (zh) * | 2020-02-13 | 2020-07-10 | 上海杏脉信息科技有限公司 | 一种肺部疾病远程诊断系统 |
| CN111462102A (zh) * | 2020-04-07 | 2020-07-28 | 广州柏视医疗科技有限公司 | 基于新型冠状病毒肺炎x射线胸片的智能分析系统及方法 |
| CN111507965A (zh) * | 2020-04-17 | 2020-08-07 | 中山仰视科技有限公司 | 新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质 |
-
2020
- 2020-09-21 CN CN202010991924.8A patent/CN111931867B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180033144A1 (en) * | 2016-09-21 | 2018-02-01 | Realize, Inc. | Anomaly detection in volumetric images |
| US20180260951A1 (en) * | 2017-03-08 | 2018-09-13 | Siemens Healthcare Gmbh | Deep Image-to-Image Recurrent Network with Shape Basis for Automatic Vertebra Labeling in Large-Scale 3D CT Volumes |
| CN107016357A (zh) * | 2017-03-23 | 2017-08-04 | 北京工业大学 | 一种基于时间域卷积神经网络的视频行人检测方法 |
| CN110097554A (zh) * | 2019-04-16 | 2019-08-06 | 东南大学 | 基于密集卷积和深度可分离卷积的视网膜血管分割方法 |
| CN111402984A (zh) * | 2020-02-13 | 2020-07-10 | 上海杏脉信息科技有限公司 | 一种肺部疾病远程诊断系统 |
| CN111462102A (zh) * | 2020-04-07 | 2020-07-28 | 广州柏视医疗科技有限公司 | 基于新型冠状病毒肺炎x射线胸片的智能分析系统及方法 |
| CN111507965A (zh) * | 2020-04-17 | 2020-08-07 | 中山仰视科技有限公司 | 新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113129293A (zh) * | 2021-04-26 | 2021-07-16 | 长沙理工大学 | 医学图像分类方法、装置、计算机设备和存储介质 |
| CN113989206A (zh) * | 2021-10-20 | 2022-01-28 | 杭州深睿博联科技有限公司 | 一种基于轻量化模型的骨龄预测方法及装置 |
| CN116503635A (zh) * | 2022-10-26 | 2023-07-28 | 湖南省中医药研究院 | 一种基于机器学习的肺炎ct图像分类识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111931867B (zh) | 2020-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111931867B (zh) | 基于轻量级模型的新冠肺炎x射线图像分类方法及系统 | |
| CN110598029B (zh) | 基于注意力转移机制的细粒度图像分类方法 | |
| CN103544506B (zh) | 一种基于卷积神经网络的图像分类方法和装置 | |
| CN114582470B (zh) | 一种模型的训练方法、训练装置及医学影像报告标注方法 | |
| CN109784283A (zh) | 基于场景识别任务下的遥感图像目标提取方法 | |
| CN108846404B (zh) | 一种基于相关约束图排序的图像显著性检测方法及装置 | |
| CN109344851B (zh) | 图像分类显示方法和装置、分析仪器和存储介质 | |
| CN104484886B (zh) | 一种mr图像的分割方法及装置 | |
| CN112270286B (zh) | 一种抗阴影干扰的单色视频目标跟踪方法 | |
| CN111310821A (zh) | 多视图特征融合方法、系统、计算机设备及存储介质 | |
| CN111739037B (zh) | 一种针对室内场景rgb-d图像的语义分割方法 | |
| CN106227836B (zh) | 基于图像与文字的无监督联合视觉概念学习系统及方法 | |
| CN104978569A (zh) | 一种基于稀疏表示的增量人脸识别方法 | |
| CN116386853A (zh) | 面向智慧医疗的深度可分离卷积双重聚合联邦学习方法 | |
| CN113486202B (zh) | 小样本图像分类的方法 | |
| CN114627424A (zh) | 一种基于视角转化的步态识别方法和系统 | |
| CN116309465B (zh) | 一种基于改进的YOLOv5的自然环境下舌像检测定位方法 | |
| CN116403071B (zh) | 基于特征重构的少样本混凝土缺陷检测方法及装置 | |
| CN117036897A (zh) | 一种基于Meta RCNN的少样本目标检测方法 | |
| CN113221731B (zh) | 一种多尺度遥感图像目标检测方法及系统 | |
| CN115578593A (zh) | 一种使用残差注意力模块的域适应方法 | |
| MOHAMMED et al. | A New Image Classification System Using Deep Convolution Neural Network And Modified Amsgrad Optimizer | |
| Liu et al. | PGR-Net: A parallel network based on group and regression for age estimation | |
| CN117611600B (zh) | 一种图像分割方法、系统、存储介质及设备 | |
| CN117611599B (zh) | 融合中心线图和增强对比度网络的血管分割方法及其系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |