CN113034473A - 基于Tiny-YOLOv3的肺炎图像目标检测方法 - Google Patents
基于Tiny-YOLOv3的肺炎图像目标检测方法 Download PDFInfo
- Publication number
- CN113034473A CN113034473A CN202110324430.9A CN202110324430A CN113034473A CN 113034473 A CN113034473 A CN 113034473A CN 202110324430 A CN202110324430 A CN 202110324430A CN 113034473 A CN113034473 A CN 113034473A
- Authority
- CN
- China
- Prior art keywords
- convolution
- image
- size
- step size
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明的技术解决方案是,提供了一种基于Tiny‑YOLOv3的肺炎图像目标检测方法,包括以下步骤:1)将原始XML文件解析为TXT,对于该TXT文件的每一行,具体包括图像绝对路径,肺炎病灶左上角以及右下角坐标值,存在病灶的概率;2)用目标检测模型Tiny‑YOLOv3对训练数据进行训练,最终得到预测值;3)将得到的预测值中的位置信息和概率信息与训练集中真实值相应的位置信息和概率信息作差通过损失函数处理,最终根据所述损失函数的处理结果调整所述特征提取网络中卷积操作的卷积核参数;4)输入待检测肺炎图像至训练好的目标检测模型,所述目标检测模型输出检测结果,具体包括坐标值与概率值。本发明提高了模型训练精度,使得预测结果更准确。
Description
技术领域
本发明属于图像信息技术领域,具体涉及一种基于Tiny-YOLOv3的肺炎图像目标检测方法。
背景技术
肺炎目标检测是计算机辅助诊断中的重要环节。研究肺炎目标检测对医学图像处理以及医生诊断肺炎具有长远意义。
肺炎目标检测算法具体描述为:一张肺炎X光图像通过训练得到的模型之后得到一个定位肺炎病灶的矩形框。由采用下采样的技术提取肺炎图像较大的感受野。且基于Tiny-YOLOv3的肺炎目标检测实时性较高。
现今目基于深度学习的目标检测方法都包括特征提取与预测结果阶段,可以用于检测肺炎的具体举例为RetinaNet、Faster R-CNN、R-FCN等。Tiny-YOLOv3也可以用于肺炎目标检测,但是其还是存在如下的问题:
(1)Tiny-YOLOv3具有很好的实时性,但是其精度较低。
(2)在Tiny-YOLOv3算法的特征提取阶段时,采用Leaky ReLU不能很好传递负输入的信息。
(3)在Tiny-YOLOv3算法的特征提取阶段时,采用下采样虽有利于增大感受野,但是坐标信息丢失过多。
发明内容
有鉴于此,为了解决上述现有技术问题,本发明提出了一种提高模型训练精度基于 Tiny-YOLOv3的肺炎图像目标检测方法,提高了检测精确度。
本发明的技术解决方案是,提供了一种基于Tiny-YOLOv3的肺炎图像目标检测方法,包括以下步骤:
1)将原始XML文件解析为TXT,对于该TXT文件的每一行,具体包括图像绝对路径,肺炎病灶左上角以及右下角坐标值,存在病灶的概率;
2)使用Tiny-YOLOv3对训练数据进行训练,所述Tiny-YOLOv3包括特征提取网络和预测网络,所述的特征提取网络以卷积操作为主,所述的预测网络包括不同分辨率大小特征网络(所述卷积操作已在深度学习代码框架Pytorch中被实现)。
3)首先将肺炎图像图像分辨率调整为416×416×3,接着将其依次送入如下的卷积操作中:卷积核大小为3×3,步长为1,输出通道为16的卷积操作,卷积核大小为3×3,步长为2,空洞卷积率为2的空洞卷积操作,卷积核大小为3×3,步长为1,输出通道为 32的卷积操作中,卷积核大小为3×3,步长为2,空洞卷积率为2的空洞卷积操作,卷积核大小为3×3,步长为1,输出通道为64的卷积操作,卷积核大小为3×3,步长为2,空洞卷积率为2的空洞卷积操作,卷积核大小为3×3,步长为1,输出通道为128的卷积操作,卷积核大小为3×3,步长为2,空洞卷积率为2的空洞卷积操作,卷积核大小为3×3,步长为1,输出通道为256的卷积操作中,得到26×26×256的特征图F1。
4)将得到的F1特征图依次送入如下的卷积操作中:卷积核大小为3×3,步长为2,空洞卷积率为2的空洞卷积操作,卷积核大小为3×3,步长为1,输出通道为512的卷积操作,卷积核大小为3×3,步长为1,输出通道为1024的卷积操作,卷积核大小为3 ×3,步长为1,输出通道为256的卷积操作,此时得到特征图F2。
5)将得到的F2特征图依次送入如下的卷积操作中:卷积核大小为3×3,步长为1,输出通道为512的卷积操作,卷积核大小为3×3,步长为1,输出通道为3*(5+C)的卷积操作,C代表类别的个数,最终得到可以进行预测的特征图13×13×3*(5+C),即为R1。
6)将得到的F2特征图依次送入如下的卷积操作中:卷积核大小为1×1,步长为1,输出通道为128的卷积操作,再进行一次上采样操作,得到特征图F3,其维度为26×26 ×128。
7)将得到的F1与F3进行Concat操作,并将结果特征图依次送入如下的卷积操作中:卷积核大小为3×3,步长为1,卷积核大小为1×1,步长为1,最终得到可预测的特征图R2,其维度为26×26×3*(5+C)。
8)将R1与R2和真值计算损失函数,并反向传播训练参数。
可选的,步骤3)-步骤7)中,每次卷积操作后将输入Swish激活函数处理,通过所述Swish激活函数减少负输入的丢失。
可选的,步骤3)-步骤7)中,将原始的池化操作替换为空洞卷积操作。
可选的,植入AP(Average Precision)导向损失函数权值,所述损失函数为:
植入AP导向的损失函数为:
α可以用于控制权重变化的快慢,α的取值范围为100~1000;APi为第i个epoch 的平均精度值,e为自然底数。
本发明与现有技术相比,具有如下优点:
本发明中,在基于Tiny-YOLOv3的肺炎图像目标检测方法中,AP导向的加权损失函数利用单阶段目标检测训练快的特点,在没有提升模型训练时间的条件下,提升目标检测的精度;将Swish替代Leaky ReLU激活函数使得负输入得到更好的利用;空洞卷积起到下采样的效果。综上,本发明提高了模型的训练精度,提高了图像检测精度。
附图说明
图1是本发明的模型框架图。
图2是空洞卷积示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行详细描述,但本发明并不仅仅限于这些实施例。本发明涵盖任何在本发明的精神和范围上做的替代、修改、等效方法以及方案。
为了使公众对本发明有彻底的了解,在以下本发明优选实施例中详细说明了具体的细节,而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。
在下列段落中参照附图以举例方式更具体地描述本发明。需说明的是,附图均采用较为简化的形式且均使用非精准的比例,仅用以方便、明晰地辅助说明本发明实施例的目的。
本发明的一种基于Tiny-YOLOv3的肺炎图像目标检测方法,包括以下步骤:
1)将数据集按照7:3的比例划分为训练集和测试集;
2)首先将肺炎图像图像分辨率调整为416×416×3,接着将其依次送入如下的卷积操作中:卷积核大小为3×3,步长为1,输出通道为16的卷积操作,卷积核大小为3×3,步长为2,空洞卷积率为2的空洞卷积操作,卷积核大小为3×3,步长为1,输出通道为 32的卷积操作中,卷积核大小为3×3,步长为2,空洞卷积率为2的空洞卷积操作,卷积核大小为3×3,步长为1,输出通道为64的卷积操作,卷积核大小为3×3,步长为2,空洞卷积率为2的空洞卷积操作,卷积核大小为3×3,步长为1,输出通道为128的卷积操作,卷积核大小为3×3,步长为2,空洞卷积率为2的空洞卷积操作,卷积核大小为3×3,步长为1,输出通道为256的卷积操作中,得到26×26×256的特征图F1。
将得到的F1特征图依次送入如下的卷积操作中:卷积核大小为3×3,步长为2,空洞卷积率为2的空洞卷积操作,卷积核大小为3×3,步长为1,输出通道为512的卷积操作,卷积核大小为3×3,步长为1,输出通道为1024的卷积操作,卷积核大小为3×3,步长为1,输出通道为256的卷积操作,此时得到特征图F2。
将得到的F2特征图依次送入如下的卷积操作中:卷积核大小为3×3,步长为1,输出通道为512的卷积操作,卷积核大小为3×3,步长为1,输出通道为3*(5+C)的卷积操作,C代表类别的个数,最终得到可以进行预测的特征图13×13×3*(5+C),即为R1。
将得到的F2特征图依次送入如下的卷积操作中:卷积核大小为1×1,步长为1,输出通道为128的卷积操作,再进行一次上采样操作,得到特征图F3,其维度为26×26× 128。
将得到的F1与F3进行Concat操作,并将结果特征图依次送入如下的卷积操作中:卷积核大小为3×3,步长为1,卷积核大小为1×1,步长为1,最终得到可预测的特征图R2,其维度为26×26×3*(5+C);
3)将R1与R2和真值计算损失函数,并反向传播训练参数;
4)输入待检测肺炎X光图像至训练好的目标检测模型Tiny-YOLOv3,所述目标检测模型Tiny-YOLOv3输出检测结果。
步骤3)-步骤7)中,每次卷积操作后将输入Swish激活函数处理,通过所述Swish激活函数减少负输入的丢失。
卷积操作中卷积核为参数,自图像左上角至右下角遍历图像,对应元素相乘得到另一张图像,将该图像所得到的值作为Swish激活函数的输入,得到Swish激活函数的输出值即为特征图。将得到的预测结果与数据集的真实值输入到损失函数中,计算损失函数的值,该值为该模型的误差值,计算损失函数的微分值,对卷积核参数进行更新迭代,最终得到局部最优解。预测时,将图像输入模型,首先提取特征得到预测值,此时该预测值无需再次计算损失函数,表现为图像中的病灶的检测框。
本发明中,用采用Swish激活函数代替现有技术的Leaky ReLU激活函数,现有技术的Leaky ReLU激活函数公式如下:
Swish激活函数公式如下:
Swish=x*sigmoid(βx) (2) 在x<0处,Swish激活函数的曲率更为灵活,使得梯度不为0,从而使得输入为负值的神经元保持有效。
在图1中,输入图像为一张肺炎X光图像,原始图像大小为3×1024×1024,由于显存的限制,将其重设置大小为3×416×416。原始图像经过四次步长为2的空洞卷积后得到特征图F1,其大小为26×26×256,接着将F1经过一次步长为2的空洞卷积后得到第一个输出值R1,其维度为13×13×3*(5+C),将F2经过一次上采样得到F3,对F1和 F3进行Concat操作得到第二个输出值R2,其维度为26×26×3*(5+C)。以上涉及图像尺寸仅为例子,实际可以根据场合调整。
其损失函数为平方损失函数,公式如下所示:
应用一个对数函数来设置损失函数的权值:
ψ(t)=log(α|APi-APi-1|+e) (4)
在公式(4)中,α可以用于控制权重变化的快慢,α的取值范围为100~1000;APi为第i个epoch的平均精度值,e为自然底数。
实时计算每个epoch的平均精度并计算AP导向权重,植入AP导向权重的损失函数,其变体损失函数公式如下:
保存训练的模型,对每一个模型进行测试,记录每个模型的平均精度,总计100个模型,选取最高精度模型最为最终结果。
本发明的AP导向损失函数能实时地根据平均精度调整权值,有利于训练,精度降低意味着需要加强训练力度。
虽然以上将实施例分开说明和阐述,但涉及部分共通之技术,在本领域普通技术人员看来,可以在实施例之间进行替换和整合,涉及其中一个实施例未明确记载的内容,则可参考有记载的另一个实施例。
以上仅就本发明较佳的实施例作了说明,但不能理解为是对权利要求的限制。本发明不仅局限于以上实施例,其具体结构允许有变化。总之,凡在时本发明独立权利要求的保护范围内所作的各种变化均在本发明的保护范围内。
Claims (1)
1.一种基于Tiny-YOLOv3的肺炎图像目标检测方法,其特征在于:包括如下步骤:
1)将原始XML文件解析为TXT,对于该TXT文件的每一行,具体包括图像绝对路径,肺炎病灶左上角以及右下角坐标值,存在病灶的概率;
2)使用Tiny-YOLOv3对训练数据进行训练,所述Tiny-YOLOv3包括特征提取网络和预测网络,所述的特征提取网络以卷积操作为主,所述的预测网络包括不同分辨率大小特征网络(所述卷积操作已在深度学习代码框架Pytorch中被实现),
3)首先将肺炎图像图像分辨率调整为416×416×3,接着将其依次送入如下的卷积操作中:卷积核大小为3×3,步长为1,输出通道为16的卷积操作,卷积核大小为3×3,步长为2,空洞卷积率为2的空洞卷积操作,卷积核大小为3×3,步长为1,输出通道为32的卷积操作中,卷积核大小为3×3,步长为2,空洞卷积率为2的空洞卷积操作,卷积核大小为3×3,步长为1,输出通道为64的卷积操作,卷积核大小为3×3,步长为2,空洞卷积率为2的空洞卷积操作,卷积核大小为3×3,步长为1,输出通道为128的卷积操作,卷积核大小为3×3,步长为2,空洞卷积率为2的空洞卷积操作,卷积核大小为3×3,步长为1,输出通道为256的卷积操作中,得到26×26×256的特征图F1,
4)将得到的F1特征图依次送入如下的卷积操作中:卷积核大小为3×3,步长为2,空洞卷积率为2的空洞卷积操作,卷积核大小为3×3,步长为1,输出通道为512的卷积操作,卷积核大小为3×3,步长为1,输出通道为1024的卷积操作,卷积核大小为3×3,步长为1,输出通道为256的卷积操作,此时得到特征图F2,
5)将得到的F2特征图依次送入如下的卷积操作中:卷积核大小为3×3,步长为1,输出通道为512的卷积操作,卷积核大小为3×3,步长为1,输出通道为3*(5+C)的卷积操作,C代表类别的个数,最终得到可以进行预测的特征图13×13×3*(5+C),即为R1,
6)将得到的F2特征图依次送入如下的卷积操作中:卷积核大小为1×1,步长为1,输出通道为128的卷积操作,再进行一次上采样操作,得到特征图F3,其维度为26×26×128,
7)将得到的F1与F3进行Concat操作,并将结果特征图依次送入如下的卷积操作中:卷积核大小为3×3,步长为1,卷积核大小为1×1,步长为1,最终得到可预测的特征图R2,其维度为26×26×3*(5+C),
8)将R1与R2和真值计算损失函数,并反向传播训练参数,
步骤3)-步骤7)中,每次卷积操作后将输入Swish激活函数处理,通过所述Swish激活函数减少负输入的丢失,
卷积操作中卷积核为参数,自图像左上角至右下角遍历图像,对应元素相乘得到另一张图像,将该图像所得到的值作为Swish激活函数的输入,得到Swish激活函数的输出值即为特征图,将得到的预测结果与数据集的真实值输入到损失函数中,计算损失函数的值,该值为该模型的误差值,计算损失函数的微分值,对卷积核参数进行更新迭代,最终得到局部最优解,预测时,将图像输入模型,首先提取特征得到预测值,此时该预测值无需再次计算损失函数,表现为图像中的病灶的检测框,
本发明中,用采用Swish激活函数代替现有技术的Leaky ReLU激活函数,现有技术的Leaky ReLU激活函数公式如下:
Swish激活函数公式如下:
Swish=x*sigmoid(βx) (2)
在x<0处,Swish激活函数的曲率更为灵活,使得梯度不为0,从而使得输入为负值的神经元保持有效,
在图1中,输入图像为一张肺炎X光图像,原始图像大小为3×1024×1024,由于显存的限制,将其重设置大小为3×416×416,原始图像经过四次步长为2的空洞卷积后得到特征图F1,其大小为26×26×256,接着将F1经过一次步长为2的空洞卷积后得到第一个输出值R1,其维度为13×13×3*(5+C),将F2经过一次上采样得到F3,对F1和F3进行Concat操作得到第二个输出值R2,其维度为26×26×3*(5+C),以上涉及图像尺寸仅为例子,实际可以根据场合调整,
其损失函数为平方损失函数,公式如下所示:
应用一个对数函数来设置损失函数的权值:
ψ(t)=log(α|APi-APi-1|+e) (4)
在公式(4)中,α可以用于控制权重变化的快慢,α的取值范围为100~1000;APi为第i个epoch的平均精度值,e为自然底数,
实时计算每个epoch的平均精度并计算AP导向权重,植入AP导向权重的损失函数,其变体损失函数公式如下:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110324430.9A CN113034473A (zh) | 2021-03-26 | 2021-03-26 | 基于Tiny-YOLOv3的肺炎图像目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110324430.9A CN113034473A (zh) | 2021-03-26 | 2021-03-26 | 基于Tiny-YOLOv3的肺炎图像目标检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113034473A true CN113034473A (zh) | 2021-06-25 |
Family
ID=76474242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110324430.9A Withdrawn CN113034473A (zh) | 2021-03-26 | 2021-03-26 | 基于Tiny-YOLOv3的肺炎图像目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113034473A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116862836A (zh) * | 2023-05-30 | 2023-10-10 | 北京透彻未来科技有限公司 | 一种泛器官淋巴结转移癌检测系统及计算机设备 |
-
2021
- 2021-03-26 CN CN202110324430.9A patent/CN113034473A/zh not_active Withdrawn
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116862836A (zh) * | 2023-05-30 | 2023-10-10 | 北京透彻未来科技有限公司 | 一种泛器官淋巴结转移癌检测系统及计算机设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108510194B (zh) | 风控模型训练方法、风险识别方法、装置、设备及介质 | |
CN112241766B (zh) | 基于样本生成和迁移学习的肝脏ct图像多病变分类方法 | |
US11468262B2 (en) | Deep network embedding with adversarial regularization | |
CN110163260B (zh) | 基于残差网络的图像识别方法、装置、设备及存储介质 | |
CN109191382B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN111784671B (zh) | 基于多尺度深度学习的病理图像病灶区域检测方法 | |
CN109949276B (zh) | 一种于改进SegNet分割网络的淋巴结检测方法 | |
CN108921851B (zh) | 一种基于3d对抗网络的医学ct图像分割方法 | |
CN113012172A (zh) | 一种基于AS-UNet的医学图像分割方法及系统 | |
US11468293B2 (en) | Simulating and post-processing using a generative adversarial network | |
CN111242233B (zh) | 一种基于融合网络的阿尔兹海默病分类方法 | |
CN110728729A (zh) | 一种基于注意机制的无监督ct投影域数据恢复方法 | |
CN111275686B (zh) | 用于人工神经网络训练的医学图像数据的生成方法及装置 | |
CN111507184B (zh) | 基于并联空洞卷积和身体结构约束的人体姿态检测方法 | |
CN112258537B (zh) | 一种基于卷积神经网络的监督暗视觉图像边缘检测方法 | |
CN111626379B (zh) | 肺炎x光图像检测方法 | |
CN117456183A (zh) | 一种多层级特征提取融合注意力机制的医学图像分割方法 | |
CN117173412A (zh) | 一种基于CNN和Transformer融合网络的医学图像分割方法 | |
CN112750137A (zh) | 基于深度学习的肝脏肿瘤分割方法及系统 | |
CN118447031A (zh) | 一种基于扩散模糊学习的皮肤镜图像分割方法 | |
CN113034473A (zh) | 基于Tiny-YOLOv3的肺炎图像目标检测方法 | |
CN116843679B (zh) | 基于深度图像先验框架的pet图像部分容积校正方法 | |
CN117830835A (zh) | 一种基于深度学习的卫星遥感图像分割方法 | |
CN117831121A (zh) | 一种基于深度学习的多人人体姿态估计方法 | |
CN116912570A (zh) | 一种yolo算法模型训练方法、目标检测方法、芯片及机器人 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210625 |