CN114037624B - 一种用于糖尿病肾脏病变分类的图像增强方法及设备 - Google Patents

一种用于糖尿病肾脏病变分类的图像增强方法及设备 Download PDF

Info

Publication number
CN114037624B
CN114037624B CN202111253893.7A CN202111253893A CN114037624B CN 114037624 B CN114037624 B CN 114037624B CN 202111253893 A CN202111253893 A CN 202111253893A CN 114037624 B CN114037624 B CN 114037624B
Authority
CN
China
Prior art keywords
image
mdc
feature extraction
feature
extraction unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111253893.7A
Other languages
English (en)
Other versions
CN114037624A (zh
Inventor
黄昶荃
李永红
李江玥
孙玉彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Second Peoples Hospital
Original Assignee
Chengdu Second Peoples Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Second Peoples Hospital filed Critical Chengdu Second Peoples Hospital
Priority to CN202111253893.7A priority Critical patent/CN114037624B/zh
Publication of CN114037624A publication Critical patent/CN114037624A/zh
Application granted granted Critical
Publication of CN114037624B publication Critical patent/CN114037624B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30084—Kidney; Renal
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种用于糖尿病肾脏病变分类的图像增强方法及电子设备，增强方法包括对比度增强、去噪和超分辨率重建等步骤，通过提高肾脏CT图像的质量，以提高图像分类网络对糖尿病肾病分类的准确率。其中，超分辨率重建网络包括初步特征提取单元、MDC特征提取单元和上采样单元，MDC特征提取单元设于所述初步特征提取单元的下游端，多个所述MDC特征提取单元首尾顺次连接，上采样单元设于MDC特征提取单元的下游端，上采样单元用于对所述第二特征图进行超分辨率重建。本发明的超分网络对特征多次重复利用，有效避免低层特征信息在连续的非线性运算中逐渐消失，模型在特征提取效果与复杂度之间取得了良好的平衡。

Description

一种用于糖尿病肾脏病变分类的图像增强方法及设备
技术领域
本发明属于医疗图像处理技术领域，具体地说，涉及一种用于糖尿病肾脏病变分类的图像增强方法及设备。
背景技术
糖尿病肾病是糖尿病的常见并发症，也是患者因糖尿病死亡的主要原因之一。患者通常伴有厌食、体重减轻、虚弱无力、蛋白尿和高血压等症状。传统的诊断方法是依赖医生肉眼观察肾脏病理影像来判断糖尿病肾病所处的阶段，然后针对性地制定治疗方案。但是病情的诊断严重依赖于医生的实际临床经验，而且工作量大，尤其是对于一些重点医院，就诊患者多，医疗负担大。
利用图像分类网络对肾脏CT图像进行分类，以辅助诊断糖尿病肾病，是减轻医疗负担的有效途径。但是受到设备性能和诊疗费用各方面的限制，实际获取的CT图像质量普遍比较低，这限制了图像分类模型分类的准确率。
发明内容
针对现有技术中上述的不足，本发明提供了一种用于糖尿病肾脏病变分类的图像增强方法及设备，通过提高肾脏CT图像的质量，以提高图像分类网络对糖尿病肾病分类的准确率。
为了达到上述目的，本发明采用的解决方案是：一种用于糖尿病肾脏病变分类的图像增强方法，包括以下步骤：
S1、获取糖尿病患者肾脏CT图像，对所述肾脏CT图像进行对比度增强处理，获得第一图像；
S2、获取所述第一图像，对所述第一图像进行去噪处理，获得第二图像；
S3、获取所述第二图像，获取训练好的超分辨率重建网络，将第二图像输入所述超分辨率重建网络进行超分辨率重建，获得第三图像，所述第三图像的分辨率大于所述第二图像的分辨率；
所述超分辨率重建网络包括：
初步特征提取单元，所述初步特征提取单元设于所述超分辨率重建网络的前端，所述初步特征提取单元接收所述第二图像作为输入，输出获得第一特征图；
MDC特征提取单元，所述MDC特征提取单元设于所述初步特征提取单元的下游端，多个所述MDC特征提取单元首尾顺次连接，所述第一特征图顺次经过多个所述MDC特征提取单元后，输出得到第二特征图；
上采样单元，所述上采样单元设于所述MDC特征提取单元的下游端，所述上采样单元用于对所述第二特征图进行超分辨率重建，获得所述第三图像；
其中，所述MDC特征提取单元可以用如下数学模型表示：
G1＝σ1(fd(Ln-1))
G2＝σ2(f3(Ln-1))
G3＝σ3(f5(Ln-1))
G4＝[σ4(f11(G1+G2)),G2,G3]
G5＝ff(fe(G4),G4)
G6＝σ5(f12(G5))
Ln＝fRD(Ln-1,G6)
其中，Ln-1表示输入所述MDC特征提取单元的特征图，fd表示卷积核大小为3*3的可变形卷积操作，f3表示卷积核大小为3*3的普通卷积操作，f5表示卷积核大小为5*5的普通卷积操作，f11和f12均表示卷积核大小为1*1的普通卷积操作，σ1、σ2、σ3、σ4和σ5均表示非线性激活函数ReLU，[·]表示对其中的特征图进行拼接操作，fe表示增强通道注意力模块，ff表示调制模块，所述调制模块用于将特征图G4与所述增强通道注意力模块的输出融合，fRD表示前后融合模块，所述前后融合模块用于将特征图G6与输入所述MDC特征提取单元的特征图融合，所述前后融合模块输出的特征图通道数量与输入所述MDC特征提取单元的特征图通道数量相同，Ln表示所述MDC特征提取单元输出的特征图。
进一步地，所述前后融合模块可表示为如下公式：
GB1＝σB1(fB11([Ln-1,G6]))
GB2＝σB2(fB12(Ln-1+G6))
Ln＝σB3(fB13(GB2+GB1))
其中，特征图G6和特征图Ln-1同时作为所述前后融合模块的输入，[·]表示对其中的特征图在通道方向进行拼接操作，fB11、fB12和fB13均表示卷积核大小为1*1的卷积操作，σB1、σB2和σB3均表示非线性激活函数ReLU，Ln为所述前后融合模块的输出。
进一步地，所述增强通道注意力模块包括并联的四个分支，每个分支均包括顺次连接的全局池化层、第一全连接层、ReLU激活函数、第二全连接层和sigmoid激活函数；其中，第一分支中全局池化层为全局最大池化操作，第二分支中全局池化层为全局平均池化操作，第三分支中全局池化层为全局中值池化操作，第四分支中全局池化层为全局方差池化操作。
进一步地，所述调制模块可以用如下数学模型表示：
G5＝[(C1*G4),(C2*G4),(C3*G4)-(C4*G4)]
其中，特征图G4为所述增强通道注意力模块的输入，C1、C2、C3和C4分别为所述第一分支、所述第二分支、所述第三分支和所述第四分支的输出，[·]表示对其中的特征图在通道方向进行拼接操作。
进一步地，所述超分辨重建网络还设有长连接，所述第一特征图通过所述长连接与最后一个所述MDC特征提取单元输出的特征图融合。
本发明还提供了一种于糖尿病肾脏病变分类的图像增强设备，包括处理器和存储器，所述存储器储存有计算机程序，所述处理器通过加载所述计算机程序，用于执行如上所述的用于糖尿病肾脏病变分类的图像增强方法
本发明的有益效果是：
(1)本发明依次利用对比度增强、图像去噪和超分辨率重建来对CT图像进行增强，从而提高输入分类模型的图像质量，提高对糖尿病肾病分类的准确率；其中，每个MDC特征提取单元中都设置了前后特征融合模块，经过特征提取得到的特征图G6与输入该MDC特征提取单元的特征图融合后，再输入下一个MDC特征提取单元，实现了特征的多次重复利用，有效避免低层特征信息在连续的非线性运算中逐渐消失，而且随着网络深度的增加，不同尺度的特征逐步融合，特征提取和融合效果更好；
(2)为了使前后融合模块对重复的无用信息具有很好的筛选能力，提高网络中有效信息传播和获取的效率，输入前后融合模块的两个特征图一方面通过拼接降维融合，另一方面，两个特征图经过求和、卷积和激活实现融合，两种融合方式对不同类型的重复信息具有不同的去除效果，形成一定的互补关系，最后，两个部分得到的特征图经过求和、卷积融合，使不同类型有效信息都达到了最大化；
(3)在MDC特征提取单元内部前端，同时利用5*5普通卷积、3*3普通卷积和3*3可变形卷积提取特征，模块具有较大的信息容量，便于充分获取所需要的信息；后期为了简化信息传播，同时减少信息重复、冗余，可变形卷积提取到的特征与尺度相同的3*3普通卷积输出的特征图先通过元素求和、卷积、激活融合，然后再将不同部分特征图拼接降维，MDC特征提取单元在特征提取效果与模型复杂度之间取得了良好的平衡；
(4)在常规均值池化、最大池化和方差池化的基础上，本发明增加了带有中值池化的第三分支，构建了增强通道注意力模块，第三分支调制后的特征图与第四分支调制后的特征图作差，再与第一分支、第二分支调制后的特征图拼接，最后超分辨率重建后的效果明显提高，说明与现有的注意力机制相比，本发明所提供的增强通道注意力模块配合调制模块，具有显著的进步。
附图说明
图1为本发明的超分辨率重建网络整体架构结构示意图；
图2为本发明的MDC特征提取单元的前后融合模块部分结构示意图；
图3为本发明的MDC特征提取单元的特征提取部分结构示意图；
图4为本发明的增强通道注意力模块内部结构示意图；
图5为本发明的上采样单元内部结构示意图；
图6为本发明的调制模块内部结构示意图；
图7为对比例Ⅰ中通道注意力模块和调制模块连接关系示意图；
图8为对比例Ⅱ中通道注意力模块和调制模块连接关系示意图；
附图中：
1-初步特征提取单元，2-MDC特征提取单元，21-前后融合模块，22-增强通道注意力模块，23-第一分支，24-第二分支，25-第三分支，26-第四分支，3-上采样单元，4-调制模块，5-长连接，6-第二图像，7-第三图像。
具体实施方式
以下结合附图对本发明作进一步描述：
实施例1：
本发明中的超分辨率重建网络架构和各模块的结构如图1-图6所示，MDC特征提取单元2设置为八个，初步特征提取单元1为3*3的卷积层，输入超分网络的第二图像6为三通道的图像，经过初步特征提取单元1后，获得通道数量为48的第一特征图。在MDC特征提取单元2内部，三个支路提取输出的G1、G2和G3特征图通道数量均为48，G1与G2经过元素求和、1*1卷积和ReLU激活函数后，与G2、G3拼接，获得通道数量为144的G4特征图。
在增强通道注意力模块22内部，如图4所示，四个分支为并联关系，四个分支均接收G4特征图作为输入，每个分支均包括顺次连接的全局池化层、第一全连接层、ReLU激活函数、第二全连接层和sigmoid激活函数。在每个分支中，第一个全连接层的输入结点数为144，输出结点数为48，第二全连接层输入结点数为48，输出结点数为144。其中，第一分支23中全局池化层为全局最大池化操作，第二分支24中全局池化层为全局平均池化操作，第三分支25中全局池化层为全局中值池化操作，全局中值池化操作是求特征图通道方向各图层的中位数，第四分支26中全局池化层为全局方差池化操作，全局方差池化操作是求特征图通道方向各图层的方差值。四个分支按照图6所示的调制模块4对G4特征图进行校准，然后输出通道数量为432的特征图G5。G5经过降维后，得到通道数量为48的特征图G6。
对于前后融合模块21，输入的G6特征图和Ln-1特征图通道数量都为48，两个方向上融合后得到的特征图GB1和GB2通道数量也为48，最后输出通道数量为48的特征图Ln。为了避免特征和细节丢失，超分辨重建网络中还设有长连接5，第一特征图通过长连接5与最后一个MDC特征提取单元2输出的特征图通过元素求和融合，再输入上采样单元3。在本实施例中，上采样单元3采用现有的结构，上采样单元3包括顺次连接的3*3卷积层、亚像素卷积层和3*3卷积层，前两层输出的特征图通道数量分别为48Y2和48，其中Y表示图像放大倍数，上采样单元3最后输出通道数量为3的第三图像7。
模型训练和测试：获取原始CT数据集，该数据集中包含人工标注的糖尿病肾病所处阶段的类别信息，对原始CT数据集中的图像进行对比度增强和去噪处理，获得第二数据集。然后将第二数据集划分为训练集和测试集，并对第二数据集进行下采样，获得对应的低分训练集和低分测试集。其中，对比度增强和去噪均可以采用现有技术实现，在本实施例中，对比度增强采用直方图均衡化算法，去噪则采用基于小波域的小波阈值去噪算法。
利用上述制取的训练集和低分训练集，分别训练LapSRN、MDCN和本发明所提供的超分辨率重建网络，所有模型的放大倍数均为4倍。其中，训练LapSRN、MDCN时，损失函数和epoch等参数均按照相关论文中记载的细节执行，训练本发明所提供的超分辨率重建方法时，采用L1损失函数，epoch为1200。
训练完成后，利用训练好的各个模型分别对低分测试集进行超分辨率重建，然后将重建输出的图像分别输入预先训练好的MobileNet V3分类网络，以测试不同网络重建图像对分类结果的提升效果。结果显示，经过超分辨率重建后，图像分类准确率均有所提高，而且在本发明的超分网络输出图像上分类正确率比LapSRN、MDCN输出图像的分类准确率分别高7.3％和4.8％。
实施例2：
作为对比实验，在控制数据集和损失函数等相关因素完全相同的情况下，仅将实施例1中本发明所提供超分辨率重建网络的增强通道注意力模块22、调制模块4及其连接结构修改为如图7所示，作为对比例Ⅰ。对比例Ⅰ中，四个分支对特征图G4调制后同时拼接。将实施例1中本发明所提供超分辨率重建网络的增强通道注意力模块22、调制模块4及其连接结构修改为如图8所示，作为对比例Ⅱ。对比例Ⅱ中，去掉了增强通道注意力模块22中第三分支25。
采用与实施例1中完全相同的数据集，将对比例Ⅰ、对比例Ⅱ训练完成后，测量重建效果。结果显示，实施例1中采用图6结构的超分网络输出图像质量高于对比例Ⅰ和对比例Ⅱ，具体地，在PSNR参数上分别比对比例Ⅰ和对比例Ⅱ高0.49和1.15，在SSIM参数上分别比对比例Ⅰ和对比例Ⅱ高0.0024和0.1138。
以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (6)

1.一种用于糖尿病肾脏病变分类的图像增强方法，其特征是：包括以下步骤：
S1、获取糖尿病患者肾脏CT图像，对所述肾脏CT图像进行对比度增强处理，获得第一图像；
S2、获取所述第一图像，对所述第一图像进行去噪处理，获得第二图像；
S3、获取所述第二图像，获取训练好的超分辨率重建网络，将第二图像输入所述超分辨率重建网络进行超分辨率重建，获得第三图像，所述第三图像的分辨率大于所述第二图像的分辨率；
所述超分辨率重建网络包括：
初步特征提取单元，所述初步特征提取单元设于所述超分辨率重建网络的前端，所述初步特征提取单元接收所述第二图像作为输入，输出获得第一特征图；
MDC特征提取单元，所述MDC特征提取单元设于所述初步特征提取单元的下游端，多个所述MDC特征提取单元首尾顺次连接，前一个MDC特征提取单元的输出作为下一个MDC特征提取单元的输入，所述第一特征图顺次经过多个所述MDC特征提取单元后，输出得到第二特征图；
上采样单元，所述上采样单元设于所述MDC特征提取单元的下游端，所述上采样单元用于对所述第二特征图进行超分辨率重建，获得所述第三图像；
其中，所述MDC特征提取单元可以用如下数学模型表示：
G1＝σ1(fd(Ln-1))
G2＝σ2(f3(Ln-1))
G3＝σ3(f5(Ln-1))
G4＝[σ4(f11(G1+G2)),G2,G3]
G5＝ff(fe(G4),G4)
G6＝σ5(f12(G5))
Ln＝fRD(Ln-1,G6)
其中，Ln-1表示输入所述MDC特征提取单元的特征图，fd表示卷积核大小为3*3的可变形卷积操作，f3表示卷积核大小为3*3的普通卷积操作，f5表示卷积核大小为5*5的普通卷积操作，f11和f12均表示卷积核大小为1*1的普通卷积操作，σ1、σ2、σ3、σ4和σ5均表示非线性激活函数ReLU，[·]表示对其中的特征图进行拼接操作，fe表示增强通道注意力模块，ff表示调制模块，所述调制模块用于将特征图G4与所述增强通道注意力模块的输出融合，fRD表示前后融合模块，所述前后融合模块用于将特征图G6与输入所述MDC特征提取单元的特征图融合，所述前后融合模块输出的特征图通道数量与输入所述MDC特征提取单元的特征图通道数量相同，Ln表示所述前后融合模块输出的特征图，同时也是所述MDC特征提取单元输出的特征图。
2.根据权利要求1所述的用于糖尿病肾脏病变分类的图像增强方法，其特征是：所述前后融合模块可表示为如下公式：
GB1＝σB1(fB11([Ln-1,G6]))
GB2＝σB2(fB12(Ln-1+G6))
Ln＝σB3(fB13(GB2+GB1))
其中，特征图G6和特征图Ln-1同时作为所述前后融合模块的输入，[·]表示对其中的特征图在通道方向进行拼接操作，fB11、fB12和fB13均表示卷积核大小为1*1的卷积操作，σB1、σB2和σB3均表示非线性激活函数ReLU，Ln为所述前后融合模块的输出。
3.根据权利要求1所述的用于糖尿病肾脏病变分类的图像增强方法，其特征是：所述增强通道注意力模块包括并联的四个分支，每个分支均包括顺次连接的全局池化层、第一全连接层、ReLU激活函数、第二全连接层和sigmoid激活函数；其中，第一分支中全局池化层为全局最大池化操作，第二分支中全局池化层为全局平均池化操作，第三分支中全局池化层为全局中值池化操作，第四分支中全局池化层为全局方差池化操作。
4.根据权利要求3所述的用于糖尿病肾脏病变分类的图像增强方法，其特征是：所述调制模块可以用如下数学模型表示：
G5＝[(C1*G4),(C2*G4),(C3*G4)-(C4*G4)]
其中，特征图G4为所述增强通道注意力模块的输入，C1、C2、C3和C4分别为所述第一分支、所述第二分支、所述第三分支和所述第四分支的输出，[·]表示对其中的特征图在通道方向进行拼接操作。
5.根据权利要求1所述的用于糖尿病肾脏病变分类的图像增强方法，其特征是：所述超分辨率重建网络还设有长连接，所述第一特征图通过所述长连接与最后一个所述MDC特征提取单元输出的特征图融合。
6.一种于糖尿病肾脏病变分类的图像增强设备，其特征是：包括处理器和存储器，所述存储器储存有计算机程序，所述处理器通过加载所述计算机程序，用于执行如权利要求1-5任一项所述的用于糖尿病肾脏病变分类的图像增强方法。
CN202111253893.7A 2021-10-27 2021-10-27 一种用于糖尿病肾脏病变分类的图像增强方法及设备 Active CN114037624B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111253893.7A CN114037624B (zh) 2021-10-27 2021-10-27 一种用于糖尿病肾脏病变分类的图像增强方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111253893.7A CN114037624B (zh) 2021-10-27 2021-10-27 一种用于糖尿病肾脏病变分类的图像增强方法及设备

Publications (2)

Publication Number Publication Date
CN114037624A CN114037624A (zh) 2022-02-11
CN114037624B true CN114037624B (zh) 2023-05-23

Family

ID=80142092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111253893.7A Active CN114037624B (zh) 2021-10-27 2021-10-27 一种用于糖尿病肾脏病变分类的图像增强方法及设备

Country Status (1)

Country Link
CN (1) CN114037624B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115240000B (zh) * 2022-07-22 2023-05-02 司法鉴定科学研究院 一种用于法医鉴定的糖尿病检测装置及方法
CN115546031B (zh) * 2022-12-01 2023-03-24 运易通科技有限公司 一种用于仓库顶棚检查的图像增强方法及装置
CN117350982B (zh) * 2023-10-23 2024-05-14 郑州大学 一种基于多医学图像的糖尿病肾病分析方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416821A (zh) * 2018-03-08 2018-08-17 山东财经大学 一种深度神经网络的ct图像超分辨重建方法
CN110298791A (zh) * 2019-07-08 2019-10-01 西安邮电大学 一种车牌图像的超分辨率重建方法和装置
CN111461983A (zh) * 2020-03-31 2020-07-28 华中科技大学鄂州工业技术研究院 一种基于不同频度信息的图像超分辨率重建模型及方法
CN112700392A (zh) * 2020-12-01 2021-04-23 华南理工大学 一种视频超分辨率处理方法、设备及存储介质
CN112991203A (zh) * 2021-03-08 2021-06-18 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN112991183A (zh) * 2021-04-09 2021-06-18 华南理工大学 一种基于多帧注意力机制渐进式融合的视频超分辨率方法
CN113436076A (zh) * 2021-07-26 2021-09-24 柚皮(重庆)科技有限公司 逐步融合特征的图像超分辨率重建方法及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107895345B (zh) * 2017-11-29 2020-05-26 浙江大华技术股份有限公司 一种提高人脸图像分辨率的方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416821A (zh) * 2018-03-08 2018-08-17 山东财经大学 一种深度神经网络的ct图像超分辨重建方法
CN110298791A (zh) * 2019-07-08 2019-10-01 西安邮电大学 一种车牌图像的超分辨率重建方法和装置
CN111461983A (zh) * 2020-03-31 2020-07-28 华中科技大学鄂州工业技术研究院 一种基于不同频度信息的图像超分辨率重建模型及方法
CN112700392A (zh) * 2020-12-01 2021-04-23 华南理工大学 一种视频超分辨率处理方法、设备及存储介质
CN112991203A (zh) * 2021-03-08 2021-06-18 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN112991183A (zh) * 2021-04-09 2021-06-18 华南理工大学 一种基于多帧注意力机制渐进式融合的视频超分辨率方法
CN113436076A (zh) * 2021-07-26 2021-09-24 柚皮(重庆)科技有限公司 逐步融合特征的图像超分辨率重建方法及电子设备

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Robust Reference-based Super-Resolution with Similarity-Aware Deformable Convolution;Gyumin Shim等;《2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;8425-8434 *
Super-resolution CT Image Reconstruction Based on Dictionary Learning and Sparse Representation;Changhui Jiang等;《scientific reports》;1-10 *
图像超分辨率重建研究综述;唐艳秋等;《电子学报》;第48卷(第7期);1407-1420 *
基于深度学习的医学图像超分辨算法研究;马宇豪;《中国优秀硕士学位论文全文数据库_基础科学辑》;A006-133 *
快速超分辨率重建卷积网络-FSRCNN;resumebb;《https://blog.csdn.net/qq_41573860/article/details/111936899》;1-3 *

Also Published As

Publication number Publication date
CN114037624A (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CN114037624B (zh) 一种用于糖尿病肾脏病变分类的图像增强方法及设备
CN111461983B (zh) 一种基于不同频度信息的图像超分辨率重建模型及方法
Cai et al. Mask-guided spectral-wise transformer for efficient hyperspectral image reconstruction
CN113888412B (zh) 一种用于糖尿病视网膜病变分类的图像超分辨率重建方法
CN110236543B (zh) 基于深度学习的阿尔茨海默病多分类诊断系统
Du et al. Accelerated super-resolution MR image reconstruction via a 3D densely connected deep convolutional neural network
CN114581662B (zh) 一种脑肿瘤图像的分割方法、系统、装置及存储介质
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
CN115082317B (zh) 一种注意力机制增强的图像超分辨率重建方法
CN115439329B (zh) 人脸图像超分辨率重建方法及计算机可读取的存储介质
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
CN115456927A (zh) 一种脑部医学图像合成方法、系统、电子设备及存储介质
CN115170556A (zh) 基于DSA-DoubleUNet模型的子宫鳞状上皮病变区域影像分割方法
CN113780483B (zh) 结节超声分类数据处理方法及数据处理系统
CN114821259A (zh) 一种基于孪生卷积神经网络的零学习医学图像融合方法
CN114170089B (zh) 一种用于糖尿病视网膜病变分类的方法及电子设备
CN114066873B (zh) 一种利用ct图像检测骨质疏松的方法及装置
CN114820328B (zh) 一种基于卷积神经网络的图像超分辨率重建方法
CN113763244B (zh) 一种诊断智能泵腔体故障的内窥镜图像超分辨率重建方法
CN115330600A (zh) 一种基于改进srgan的肺部ct图像超分辨率方法
Du et al. X-ray image super-resolution reconstruction based on a multiple distillation feedback network
Wang et al. I2CNet: An Intra-and Inter-Class Context Information Fusion Network for Blastocyst Segmentation.
CN116957968B (zh) 一种消化道内窥镜图像增强方法、系统、设备及介质
Kao et al. A novel deep learning architecture for testis histology image classification
CN117876242B (zh) 眼底图像增强方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220711

Address after: 610021 No. 10, Qingyun South Street, Jinjiang District, Chengdu, Sichuan

Applicant after: CHENGDU SECOND PEOPLE'S Hospital

Address before: No.82, 2nd section, 2nd Ring Road, Chengdu, Sichuan 610000

Applicant before: AFFILIATED HOSPITAL OF CHENGDU University

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant