CN115937113A - 一种皮肤病超声图像多病种识别方法、设备及存储介质 - Google Patents

一种皮肤病超声图像多病种识别方法、设备及存储介质 Download PDF

Info

Publication number
CN115937113A
CN115937113A CN202211485424.2A CN202211485424A CN115937113A CN 115937113 A CN115937113 A CN 115937113A CN 202211485424 A CN202211485424 A CN 202211485424A CN 115937113 A CN115937113 A CN 115937113A
Authority
CN
China
Prior art keywords
ultrasonic image
disease
image
epidermis
skin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211485424.2A
Other languages
English (en)
Other versions
CN115937113B (zh
Inventor
曹旭
石一磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maide Intelligent Technology Wuxi Co ltd
Original Assignee
Maide Intelligent Technology Wuxi Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maide Intelligent Technology Wuxi Co ltd filed Critical Maide Intelligent Technology Wuxi Co ltd
Priority to CN202211485424.2A priority Critical patent/CN115937113B/zh
Publication of CN115937113A publication Critical patent/CN115937113A/zh
Application granted granted Critical
Publication of CN115937113B publication Critical patent/CN115937113B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明涉及图像处理及识别领域,尤其涉及一种皮肤病超声图像多病种识别方法、设备及存储介质,包括如下步骤,获取待处理的原始超声图像;将原始超声图像进行增强得到增强超声图像;对增强超声图像进行表皮分割,获取最终的表皮分割图像;设置基于双线性注意力集中及注意力正则化损失数据增强策略的皮肤病多病种分类网络;将最终表皮分割图像引入皮肤病多病种分类网络中,进行最终的皮肤病病种识别分类,本发明基于超声图像进行皮肤病诊断,简便易行,既能对病灶深部结构成像,又能清晰显示浅表结构,满足庞大的诊断需求。

Description

一种皮肤病超声图像多病种识别方法、设备及存储介质
技术领域
本发明涉及图像处理及识别领域,尤其涉及一种皮肤病超声图像多病种识别方法、设备及存储介质。
背景技术
自20世纪70年代以来,皮肤病一直是全球最普遍的疾病,皮肤病的发病率一直在以相对稳定的速度上升,恶性皮肤病通常会对人们的整体健康产生重大不利影响。世界卫生组织国际癌症研究机构(IARC)发布了2020年全球最新癌症负担数据,统计了185个国家中的36种癌症1930万新癌症病例和近1000万癌症死亡病例,皮肤癌的发病率约占全球所有新诊断癌症病例的6.2%,皮肤疾病占全球残疾调整生命年评估疾病负担的1.79%。根据世界卫生组织(WHO)及皮肤癌基金会(SCF)提供的统计数据,中国五分之一的人会在他们一生中的某个时刻患上皮肤疾病。
面对复杂疾病谱和庞大患者群,如何快速而准确地诊断皮肤疾病已成为临床医学热点之一。对于多数皮肤疾病而言,病理诊断仍然是金标准,然而活检属于有创检查,加之存在成本较高、过程较长、技术要求较高、取材部位受限等制约因素,因此事实上病理活检远未普及,尚难以满足庞大的诊断需求。
发明内容
本发明的目的是提供一种皮肤病超声图像多病种识别方法、设备及存储介质,基于超声图像进行皮肤病诊断,简便易行,既能对病灶深部结构成像,又能清晰显示浅表结构,填补了从肉眼经验性观察到病理诊断之间的空白,满足庞大的诊断需求。
为实现上述目的,本发明提供了如下的技术方案:
第一方面,本发明提供了一种皮肤病超声图像多病种识别方法,其特征在于,包括如下步骤:
S1.获取待处理的原始超声图像,将超声图像建模成照射强度和反射强度的乘积;
S2.基于步骤S1,将建模后待处理的原始超声图像经过同态滤波算法弱化输入超声图像的斑点噪声,同时利用直方图均衡算法补偿同态滤波算法去噪过程中的信息熵损失,最后利用金字塔特征融合算法进行分层融合,将超声图像包含位置和细节信息的低层特征以及包含更强的语义信息的高层特征进行高效融合,得到增强超声图像,有效解决低层特征语义低、噪声多,高层特征对细节感知能力差的问题;
S3.基于步骤S2,对增强超声图像进行表皮分割,分类前进行表皮分割可以帮助分类网络更好地定位感兴趣区域,有助于提升分类精度,表皮分割网络借助以Xception为骨干的DeepLabv3+网络来细化皮肤上方区域、表皮和真皮层的边界,获取最终的表皮分割图像;
S4.设置基于双线性注意力集中及注意力正则化损失数据增强策略的皮肤病多病种分类网络;
S5.将步骤S3中获取的最终表皮分割图像引入步骤S4中的皮肤病多病种分类网络中,进行最终的皮肤病病种识别分类,将原始特征图、注意力集中特征图及注意力损失特征图融合后送入网络进行皮肤病种分类,有效提升模型分类性能。
进一步的,利用直方图均衡算法补偿同态滤波算法去噪过程中的信息熵损失的具体步骤为:
S21.对原始超声图像的像素灰度做积分映射变换;
S22.基于步骤S21,将随机分布的超声图像直方图修改为均匀分布的直方图,变换后的超声图像灰度的概率密度呈均匀分布,即超声图像灰度的动态范围得到了增加,提高了超声图像的对比度(信息熵)。
优选的,表皮分割网络具体设置方法为:
S31.表皮分割网络在Encoder部分采用空洞空间金字塔池化,5个操作包括1个1×1卷积、3个不同膨胀率的空洞卷积和1个图像池化,得到图像多尺度特征;
S32.表皮分割网络在Decoder部分对基于backbone的输出低级特征和将图像多尺度特征融合后经过1x1卷积调整维度、采用双线性插值上采样4倍后得到高阶特征进行特征融合,然后对融合特征做3×3卷积、上采样4倍得到最终表皮分割图像。
优选的,在设置表皮分割网络中的损失函数采用的是交叉熵损失。
优选的,在设置表皮分割网络中数据增强方式采用随机旋转、随机反转及对比度增强三种方式中的一种或多种,训练参数Batch Size=56,Epoch=300,LR=0.01,CosineAnnealingLR,Optimizer=SGDM+nesterov。
进一步的,实现双线性注意力集中的具体步骤为:
S41.通过网络的backbone分别得到特征图和注意力图,其中每一个注意力图都代表了超声图像中病灶目标的特定部分,通过对注意力图和特征图的元素点乘,得到各个分部特征图,公式为:Fk=Ak⊙F(k=1,2,...,N)
其中,k为分部的标号,Fk为分部特征图,Ak为注意力图,F为特征图,N为分部的数量,⊙为逐像素乘积;
S42.基于步骤S41,利用全局平均池化,处理各个分布特征图,fk=g(Fk)
其中,g为更深层的特征提取函数,fk为经过进一步特征提取的分布特征图;
S43.基于步骤S42,将各个分布特征结合,得到特征矩阵,
Figure BDA0003962032380000031
其中,P为分部特征矩阵,Γ(A,F)为双线性注意力集中函数。
第二方面,本发明提供一种皮肤病超声图像多病种识别设备,包括处理器、存储器及存储在所述存储器上并可用在所述处理器上运行的皮肤病超声图像多病种识别的控制程序,所述皮肤病超声图像多病种识别的控制程序被所述处理器执行时实现如上述的步骤。
第三方面,本发明提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述的步骤。
本发明的有益效果是:基于超声图像进行皮肤病诊断,简便易行,既能对病灶深部结构成像,又能清晰显示浅表结构,满足庞大的诊断需求。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是本发明步骤流程图;
图2是本发明总体框架结构图;
图3是本发明超声图像增强流程图;
图4是本发明表皮分割网络架构图;
图5是本发明皮肤病多病种分类网络架构图。
具体实施方式
实施例1
如图1-5所示,本发明提供了一种皮肤病超声图像多病种识别方法,包括如下步骤:
S1.获取待处理的原始超声图像,将超声图像建模成照射强度和反射强度的乘积。
S2.基于步骤S1,如图3所示,将建模后待处理的原始超声图像经过同态滤波算法弱化输入超声图像的斑点噪声;
同时利用直方图均衡算法补偿同态滤波算法去噪过程中的信息熵损失,具体方法如下:
对原始超声图像的像素灰度做积分映射变换;
将随机分布的超声图像直方图修改为均匀分布的直方图,变换后的超声图像灰度的概率密度呈均匀分布,即超声图像灰度的动态范围得到了增加,提高了超声图像的对比度(信息熵);
最后利用金字塔特征融合算法进行分层融合,将超声图像包含位置和细节信息的低层特征以及包含更强的语义信息的高层特征进行高效融合,得到增强超声图像,有效解决低层特征语义低、噪声多,高层特征对细节感知能力差的问题。
S3.基于步骤S2,对增强超声图像进行表皮分割,分类前进行表皮分割可以帮助分类网络更好地定位感兴趣区域,有助于提升分类精度,表皮分割网络借助以Xception为骨干的DeepLabv3+网络来细化皮肤上方区域、表皮和真皮层的边界,获取最终的表皮分割图像,在设置表皮分割网络中的损失函数采用的是交叉熵损失,数据增强方式采用随机旋转、随机反转及对比度增强三种方式中的一种或多种,训练参数Batch Size=56,Epoch=300,LR=0.01,CosineAnnealingLR,Optimizer=SGDM+nesterov。
如图4所示,表皮分割网络具体设置方法为:
表皮分割网络在Encoder部分采用空洞空间金字塔池化,5个操作包括1个1×1卷积、3个不同膨胀率的空洞卷积和1个图像池化,得到图像多尺度特征;
表皮分割网络在Decoder部分对基于backbone的输出低级特征和将图像多尺度特征融合后经过1x1卷积调整维度、采用双线性插值上采样4倍后得到高阶特征进行特征融合,然后对融合特征做3×3卷积、上采样4倍得到最终表皮分割图像。
S4.如图5所示,设置基于双线性注意力集中及注意力正则化损失数据增强策略的皮肤病多病种分类网络。
实现双线性注意力集中的具体步骤为:
通过网络的backbone分别得到特征图和注意力图,其中每一个注意力图都代表了超声图像中病灶目标的特定部分,通过对注意力图和特征图的元素点乘,得到各个分部特征图,公式为:Fk=Ak⊙F(k=1,2,...,N)
其中,k为分部的标号,Fk为分部特征图,Ak为注意力图,F为特征图,N为分部的数量,⊙为逐像素乘积;
利用全局平均池化,处理各个分布特征图,fk=g(Fk)
其中,g为更深层的特征提取函数,fk为经过进一步特征提取的分布特征图;
将各个分布特征结合,得到特征矩阵,
Figure BDA0003962032380000051
其中,P为分部特征矩阵,Γ(A,F)为双线性注意力集中函数。
S5.将步骤S3中获取的最终表皮分割图像引入步骤S4中的皮肤病多病种分类网络中,进行最终的皮肤病病种识别分类,将原始特征图、注意力集中特征图及注意力损失特征图融合后送入网络进行皮肤病种分类,有效提升模型分类性能。
实施例2
本发明提供一种皮肤病超声图像多病种识别设备,包括处理器、存储器及存储在存储器上并可用在处理器上运行的皮肤病超声图像多病种识别的控制程序,所述皮肤病超声图像多病种识别的控制程序被所述处理器执行时实现如实施例1中任一项所述的步骤。
实施例3
本发明提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如实施例1中任一项所述的步骤。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种皮肤病超声图像多病种识别方法,其特征在于,包括如下步骤:
S1.获取待处理的原始超声图像,将超声图像建模成照射强度和反射强度的乘积;
S2.基于步骤S1,将建模后待处理的原始超声图像经过同态滤波算法弱化输入超声图像的斑点噪声,同时利用直方图均衡算法补偿同态滤波算法去噪过程中的信息熵损失,最后利用金字塔特征融合算法进行分层融合,得到增强超声图像;
S3.基于步骤S2,对增强超声图像进行表皮分割,表皮分割网络借助以Xception为骨干的DeepLabv3+网络来细化皮肤上方区域、表皮和真皮层的边界,获取最终的表皮分割图像;
S4.设置基于双线性注意力集中及注意力正则化损失数据增强策略的皮肤病多病种分类网络;
S5.将步骤S3中获取的最终表皮分割图像引入步骤S4中的皮肤病多病种分类网络中,进行最终的皮肤病病种识别分类。
2.根据权利要求1所述的一种皮肤病超声图像多病种识别方法,其特征在于,所述利用直方图均衡算法补偿同态滤波算法去噪过程中的信息熵损失的具体步骤为:
S21.对原始超声图像的像素灰度做积分映射变换;
S22.基于步骤S21,将随机分布的超声图像直方图修改为均匀分布的直方图。
3.根据权利要求1所述的一种皮肤病超声图像多病种识别方法,其特征在于,表皮分割网络具体设置方法为:
S31.表皮分割网络在Encoder部分采用空洞空间金字塔池化,5个操作包括1个1×1卷积、3个不同膨胀率的空洞卷积和1个图像池化,得到图像多尺度特征;
S32.表皮分割网络在Decoder部分对基于backbone的输出低级特征和将图像多尺度特征融合后经过1x1卷积调整维度、采用双线性插值上采样4倍后得到高阶特征进行特征融合,然后对融合特征做3×3卷积、上采样4倍得到最终表皮分割图像。
4.根据权利要求3所述的一种皮肤病超声图像多病种识别方法,其特征在于,在设置表皮分割网络中的损失函数采用的是交叉熵损失。
5.根据权利要求3所述的一种皮肤病超声图像多病种识别方法,其特征在于,在设置表皮分割网络中数据增强方式采用随机旋转、随机反转及对比度增强三种方式中的一种或多种,训练参数Batch Size=56,Epoch=300,LR=0.01,CosineAnnealingLR,Optimizer=SGDM+nesterov。
6.根据权利要求1所述的一种皮肤病超声图像多病种识别方法,其特征在于,实现双线性注意力集中的具体步骤为:
S41.通过网络的backbone分别得到特征图和注意力图,其中每一个注意力图都代表了超声图像中病灶目标的特定部分,通过对注意力图和特征图的元素点乘,得到各个分部特征图,公式为:
Fk=Ak⊙F(k=1,2,…,N)
其中,k为分部的标号,Fk为分部特征图,Ak为注意力图,F为特征图,N为分部的数量,⊙为逐像素乘积;
S42.基于步骤S41,利用全局平均池化,处理各个分布特征图,
fk=g(Fk)
其中,g为更深层的特征提取函数,fk为经过进一步特征提取的分布特征图;
S43.基于步骤S42,将各个分布特征结合,得到特征矩阵,
Figure FDA0003962032370000021
其中,P为分部特征矩阵,Γ(A,F)为双线性注意力集中函数。
7.一种皮肤病超声图像多病种识别设备,其特征在于,包括处理器、存储器及存储在所述存储器上并可用在所述处理器上运行的皮肤病超声图像多病种识别的控制程序,所述皮肤病超声图像多病种识别的控制程序被所述处理器执行时实现如权利要求1-6中任一项所述的步骤。
8.一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如权利要求1-6任一项所述的步骤。
CN202211485424.2A 2022-11-24 2022-11-24 一种皮肤病超声图像多病种识别方法、设备及存储介质 Active CN115937113B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211485424.2A CN115937113B (zh) 2022-11-24 2022-11-24 一种皮肤病超声图像多病种识别方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211485424.2A CN115937113B (zh) 2022-11-24 2022-11-24 一种皮肤病超声图像多病种识别方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115937113A true CN115937113A (zh) 2023-04-07
CN115937113B CN115937113B (zh) 2024-01-30

Family

ID=86556800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211485424.2A Active CN115937113B (zh) 2022-11-24 2022-11-24 一种皮肤病超声图像多病种识别方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115937113B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116894820A (zh) * 2023-07-13 2023-10-17 国药(武汉)精准医疗科技有限公司 一种色素性皮肤病分类检测方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460764A (zh) * 2018-03-31 2018-08-28 华南理工大学 基于自动上下文和数据增强的超声图像智能分割方法
US20190005684A1 (en) * 2017-06-28 2019-01-03 Deepmind Technologies Limited Generalizable medical image analysis using segmentation and classification neural networks
CN112287940A (zh) * 2020-10-30 2021-01-29 西安工程大学 一种基于深度学习的注意力机制的语义分割的方法
CN112949655A (zh) * 2021-03-01 2021-06-11 南京航空航天大学 一种结合注意力混合裁剪的细粒度图像识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190005684A1 (en) * 2017-06-28 2019-01-03 Deepmind Technologies Limited Generalizable medical image analysis using segmentation and classification neural networks
CN108460764A (zh) * 2018-03-31 2018-08-28 华南理工大学 基于自动上下文和数据增强的超声图像智能分割方法
CN112287940A (zh) * 2020-10-30 2021-01-29 西安工程大学 一种基于深度学习的注意力机制的语义分割的方法
CN112949655A (zh) * 2021-03-01 2021-06-11 南京航空航天大学 一种结合注意力混合裁剪的细粒度图像识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘燕君: "基于同态滤波与直方图均衡化的超声图像增强", 《中国组织工程研究与临床康复》, vol. 15, no. 48, pages 9031 - 9034 *
董洪义: "《深度学习之PyTorch物体检测实战》", 北京:机械工业出版社, pages: 235 *
韩得水: "基于同态滤波与直方图均衡化的射线图像增强", 《电视技术》, vol. 37, no. 7, pages 235 - 22 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116894820A (zh) * 2023-07-13 2023-10-17 国药(武汉)精准医疗科技有限公司 一种色素性皮肤病分类检测方法、装置、设备及存储介质
CN116894820B (zh) * 2023-07-13 2024-04-19 国药(武汉)精准医疗科技有限公司 一种色素性皮肤病分类检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN115937113B (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
Costa et al. Towards adversarial retinal image synthesis
Zhu et al. How can we make GAN perform better in single medical image super-resolution? A lesion focused multi-scale approach
CN109754394B (zh) 三维医学图像处理装置及方法
CN111008984A (zh) 医学影像中正常器官的轮廓线自动勾画方法及系统
CN113506310B (zh) 医学图像的处理方法、装置、电子设备和存储介质
CN111667478A (zh) Cta到mra跨模态预测的颈动脉斑块识别方法及系统
CN116503607B (zh) 一种基于深度学习的ct图像分割方法和系统
CN112562058B (zh) 一种基于迁移学习的颅内血管模拟三维模型快速建立方法
CN117422880B (zh) 改进的注意力机制与cv模型相结合的分割方法及其系统
CN116309806A (zh) 一种基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位方法
Mredhula et al. An extensive review of significant researches on medical image denoising techniques
CN113744271A (zh) 基于神经网络的视神经自动分割和受压迫程度测算方法
CN118172614B (zh) 一种基于监督对比学习的有序强直性脊柱炎评级方法
CN115937113A (zh) 一种皮肤病超声图像多病种识别方法、设备及存储介质
CN116645283A (zh) 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法
Zhao et al. Deep Learning‐Based Denoising in High‐Speed Portable Reflectance Confocal Microscopy
CN114972266A (zh) 基于自注意机制和稳定学习的淋巴瘤超声图像语义分割方法
Kumaraswamy et al. Automatic prostate segmentation of magnetic resonance imaging using Res-Net
Liu et al. Progressive residual learning with memory upgrade for ultrasound image blind super-resolution
Zhao et al. Perception-oriented generative adversarial network for retinal fundus image super-resolution
CN114066798B (zh) 一种基于深度学习的脑肿瘤核磁共振影像数据合成方法
CN116309647B (zh) 颅脑病灶图像分割模型构建方法、图像分割方法及设备
CN117078658A (zh) 一种基于深度学习的ct图像中椎骨中心点检测方法
CN112967295B (zh) 一种基于残差网络和注意力机制的图像处理方法及系统
Peng et al. 2d brain mri image synthesis based on lightweight denoising diffusion probabilistic model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant