CN114820450A - 适宜李氏人工肝治疗的ct血管造影图像分类方法 - Google Patents
适宜李氏人工肝治疗的ct血管造影图像分类方法 Download PDFInfo
- Publication number
- CN114820450A CN114820450A CN202210309520.5A CN202210309520A CN114820450A CN 114820450 A CN114820450 A CN 114820450A CN 202210309520 A CN202210309520 A CN 202210309520A CN 114820450 A CN114820450 A CN 114820450A
- Authority
- CN
- China
- Prior art keywords
- network
- image
- image segmentation
- angiography
- angiography image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010968 computed tomography angiography Methods 0.000 title claims abstract description 63
- 210000004185 liver Anatomy 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000011282 treatment Methods 0.000 title abstract description 31
- 238000003709 image segmentation Methods 0.000 claims abstract description 78
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000002591 computed tomography Methods 0.000 claims abstract description 17
- 230000011218 segmentation Effects 0.000 claims abstract description 17
- 230000006872 improvement Effects 0.000 claims abstract description 12
- 238000002583 angiography Methods 0.000 claims abstract description 3
- 238000012549 training Methods 0.000 claims description 37
- 238000011176 pooling Methods 0.000 claims description 22
- 238000012360 testing method Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000012795 verification Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 230000002238 attenuated effect Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 238000002474 experimental method Methods 0.000 description 15
- 206010019663 Hepatic failure Diseases 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 8
- 208000007903 liver failure Diseases 0.000 description 8
- 231100000835 liver failure Toxicity 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000000052 comparative effect Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 3
- 230000003908 liver function Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- JUJWROOIHBZHMG-UHFFFAOYSA-N Pyridine Chemical compound C1=CC=NC=C1 JUJWROOIHBZHMG-UHFFFAOYSA-N 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 210000005229 liver cell Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000017074 necrotic cell death Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000008929 regeneration Effects 0.000 description 2
- 238000011069 regeneration method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 206010003445 Ascites Diseases 0.000 description 1
- 206010010071 Coma Diseases 0.000 description 1
- 206010023126 Jaundice Diseases 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 208000015294 blood coagulation disease Diseases 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000000586 desensitisation Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001717 pathogenic effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000010882 preoperative diagnosis Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- UMJSCPRVCHMLSP-UHFFFAOYSA-N pyridine Natural products COC1=CC=CN=C1 UMJSCPRVCHMLSP-UHFFFAOYSA-N 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Pathology (AREA)
- General Engineering & Computer Science (AREA)
- Veterinary Medicine (AREA)
- Artificial Intelligence (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Evolutionary Computation (AREA)
- Optics & Photonics (AREA)
- High Energy & Nuclear Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Evolutionary Biology (AREA)
- Vascular Medicine (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Pulmonology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了适宜李氏人工肝治疗的CT血管造影图像分割方法，获取肝部CT血管造影图像，在上位机中将肝部CT血管造影图像进行数据增强处理后获得的图像输入至CT血管造影图像分割网络，获得二维分割结果影像和分类结果；CT血管造影图像分割网络包括UNet++图像分割网络和ResNet‑Att图像分类网络；ResNet‑Att图像分类网络包括以ResNet50‑base为基础预测网络加入改进后的Attention自注意力模块。本发明适宜李氏人工肝治疗的CT血管造影图像分割方法可有效地用于对病人肝脏CT影像进行分割和分类。
Description
技术领域
本发明涉及医学图像识别领域，具体是适宜李氏人工肝治疗的CT血管造影图像分类方法。
背景技术
肝衰竭是指由多种致病因素所导致的肝脏在短期内发生大块或亚大块坏死的肝脏功能衰竭综合症，临床症候群主要有凝血机制障碍、黄疽、腹水等。由于肝脏部位有大块或亚大块的坏死，导致病情发展十分迅速，肝衰竭的病死率高达70％以上。目前肝衰竭的治疗方法主要包括内科综合治疗和李氏人工肝治疗。李氏人工肝主要通过肝细胞的再生能力，通过外部设备，包括机械、理化或生物装置，在清除肝衰竭产生的有害物质的同时补充人体的必需成分，稳定机体内环境，并暂时替代部分肝脏功能，提供肝细胞再生和肝功能恢复的条件，从而有效提高患者存活率。
目前李氏人工肝在术前的诊疗判断包含了较多项医学综合评估，包括肝衰竭分期、SOFA评分、HE分级、体力状态评分、格拉斯哥昏迷评分、改良Child-Turcotte-Pugh评分等评估项目，从肝衰竭患者入院后，需要接受大量的常规项目检查和综合的内科治疗，生成一系列包括入院记录、病程记录、指标检验结果、CT影像等医疗数据，专业的人工肝团队成员根据大量的医疗数据，人为地进行计算、综合分析和评分评估，最终给出患者是否需要(适合)进行李氏人工肝治疗、患者的最佳人工肝治疗模式、人工肝医嘱和人工肝治疗常用药物方案等结论。其中，肝衰竭患者病情往往较为危重且病情进展较快，而医生需要花费大量时间从患者术前各项医疗数据中人为地提取有效信息，限制了当前李氏人工肝治疗的救治效率。因此，需要一种对病人肝脏CT影像进行快速分割的方法，从而提供给医生辅助诊疗并减轻医生的工作负担，提高工作效率。
发明内容
本发明要解决的技术问题是提供适宜李氏人工肝治疗的CT血管造影图像分割方法，用以对病人肝脏CT影像进行分割和分类。
为了解决上述技术问题，本发明提供了适宜李氏人工肝治疗的CT血管造影图像分割方法，具体过程包括：获取肝部CT血管造影图像，在上位机中将肝部CT血管造影图像进行数据增强处理后获得的图像输入至CT血管造影图像分割网络，获得二维分割结果影像和分类结果；
所述CT血管造影图像分割网络包括通过UNet++图像分割网络分割得到所述二维分割结果影像，然后二维分割结果影像经过ResNet-Att图像分类网络获得所述分类结果；所述ResNet-Att图像分类网络包括以ResNet50-base为基础预测网络，将ResNet50-base基础预测网络的Conv5中最后三个残差单元层中的3*3卷积替换为改进后的Attention自注意力模块。
作为本发明的适宜李氏人工肝治疗的CT血管造影图像分割方法的改进：
所述改进后的Attention自注意力模块包括：经过8×8与4×4两种不同尺度的池化操作后生成两个单尺度改进后的Attention自注意力模块的输出，大小均为H×W×d，进行对位求和操作后输出多尺度结果，大小为H×W×d；
所述单尺度改进后的Attention自注意力模块包括：将二维图像信息的垂直与水平方向的信息进行对位求和操作后得到位置编码矩阵r，q、k、v分别代表输入矩阵与WQ、WK、WV三个不同的参数矩阵相乘得到的查询、键、值矩阵，q分别与经过池化操作的r、k矩阵相乘得到qrT、qkT，qrT与qkT进行对位求和操作后使用softmax归一化函数处理，并将处理后的结果与经过池化操作的v矩阵相乘得到单尺度改进后的Attention自注意力模块的输出。
作为本发明的适宜李氏人工肝治疗的CT血管造影图像分割方法的进一步改进：
所述CT血管造影图像分割网络的训练和测试过程为：建立训练集、验证集和测试集，将训练集和验证集输入至所述CT血管造影图像分割网络进行网络训练，网络的训练过程分为前向传播和反向传播二个阶段，优化器采用Adam，批大小为32，迭代次数Epoch为100，初始学习率定为0.001，按照每5个Epoch如果损失没有下降则对学习率进行衰减，衰减率0.1，终止学习率为0.00000001，获得训练好的CT血管造影图像分割网络，并将参数保存至模型文件；将测试集输入训练好的CT血管造影图像分割网络，分类结果的准确率达到目标，从而验证并获得在线使用的所述CT血管造影图像分割网络。
作为本发明的适宜李氏人工肝治疗的CT血管造影图像分割方法的进一步改进：
所述训练集、验证集和测试集的建立过程为：通过医疗单位获取肝脏CT影像数据，将所有影像数据均转换成为JPG格式的图像并由医学专家进行手工标注类别标签，同时对JPG格式的图像均进行数据增强处理，然后将数据增强处理后的图像及其对应的类别标签按照7：2：1的比例划分为所述训练集、验证集和测试集。
作为本发明的适宜李氏人工肝治疗的CT血管造影图像分割方法的进一步改进：
所述UNet++图像分割网络的训练目标函数为：
其中
和Yb分别表示第b个图像的预测值和真实值，N表示批大小。
作为本发明的适宜李氏人工肝治疗的CT血管造影图像分割方法的进一步改进：
所述ResNet-Att图像分类网络的算法训练目标函数为：
FL(pt)＝-(1-pt)γlog(pt) (4)
其中p表示模型预测样本类别为1的概率，pt表示预测概率，γ表示平衡因子，用来平衡正负样本的比例不均。
作为本发明的适宜李氏人工肝治疗的CT血管造影图像分割方法的进一步改进：
所述数据增强处理包括垂直翻转、水平翻转、随机角度旋转和随机区域裁剪，所述数据增强处理后的图像尺寸为224*224。
本发明的有益效果主要体现在：
1、本发明提出了CT血管造影图像分割网络，图像首先需经过UNet++图像分割网络再通过ResNet-Att图像分类网络进行图像分类，优化了在ResNet-Att图像分类网络上的表现，使分割后的图像更加适应分类任务，有效降低了其他干扰因素的影响，保证了网络的分类效果；
2、本发明提出的改进后的Attention自注意力模块，引入池化层对空间尺寸进行压缩，优化矩阵相乘操作计算，并通过不同池化核来获取多尺度的注意力结果弥补池化操作带来的特征损失；
3、本发明使用改进后的Attention自注意力模块将ResNet50-base基础预测网络的Conv5中最后三个残差单元层中的3*3卷积进行替换，利用自注意力机制来对全局的依赖性进行建模，进一步提升了CT血管造影图像分割网络的预测能力。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细说明。
图1为本发明的CT血管造影图像分割网络的结构示意图；
图2为图1中的UNet++图像分割网络结构示意图；
图3为本发明的UNet++图像分割网络的分割结果的示意图；
图4为ResNet50-base基础预测网络的残差单元层结构图；
图5为本发明的ResNet-Att图像分类网络中残差单元层结构图；
图6为Attention自注意力模块细节展示图。
图7为改进后的Attention自注意力模块细节展示图。
具体实施方式
下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：
实施例1、适宜李氏人工肝治疗的CT血管造影图像分割方法，如附图1-7所示，包括以下步骤：
S1、数据采集及预处理
针对所研究肝衰竭相关CT血管造影进行数据的采集与构建，数据的采集主要通过浙江省内相关医疗单位合作获取，这些数据来自医院内部经过脱敏处理后的患者的肝脏CT影像数据。将所有患者影像数据均转换成为JPG格式的图像格式，对转换后JPG格式的患者影像数据根据是否适宜李氏人工肝治疗由医学专家进行手工分类标注。具体的数据集信息如下表1所示：
表1、CT血管造影影像的数据集
| 数据集 | CT血管造影影像 |
| 类别数目 | 2 |
| 类别标签 | 0或1 |
| 图片数量 | 10191 |
| 标签为0的图片数量 | 5429 |
| 标签为1的图片数量 | 4762 |
然后，对转换后JPG格式的影像数据均进行数据增强处理，包括垂直翻转、水平翻转、随机角度旋转和随机区域裁剪；数据增强处理后的图像作为适宜李氏人工肝治疗的CT血管造影图像分割网络(简称为CT血管造影图像分割网络)的输入图像，类别标签为0(被医学专家认为适宜李氏人工肝治疗)的图片与类别标签为1(被医学专家认为不适宜李氏人工肝治疗)的图片各19048张：数据增强处理后的图像格式为JPG格式，图像大小为224*224，按照7：2：1的比例对样本数据中每种类型进行划分，得到训练集、验证集和测试集，将类别标签为0和1的2类图片尽可能均匀分布于训练集、验证集和测试集中。
S2、构建CT血管造影图像分割网络
CT血管造影图像分割网络，如附图1所示，包含依次连接的UNet++图像分割网络及ResNet-Att图像分类网络，其中ResNet-Att图像分类网络以ResNet50-base为基础预测网络，加入改进后的Attention自注意力模块以提升整体网络的输出准确率。
输入的224*224的图像经过UNet++图像分割网络后，将原图像中除肝部目标区域以外的部分删去，确保输入ResNet-Att图像分类网络的图像中不包含其他干扰因素，有效降低了其他干扰因素的影响。经过UNet++图像分割网络处理后输出为224*224的图像，然后输入到ResNet-Att图像分类网络中，通过卷积提取图像中的特征信息，利用改进后的Attention自注意力模块来对全局的依赖性进行建模，最终ResNet-Att图像分类网络根据学习到的图像特征输出分类预测结果。
S2.1、构建UNet++图像分割网络
UNet++图像分割网络为现有分割网络技术，如附图2所示，根据论文所述构建(参见Zhou Z,Siddiquee M,Tajbakhsh N,et al.UNet++:Redesigning Skip Connections toExploit Multiscale Features in Image Segmentation[J].IEEE Transactions onMedical Imaging,2020,39(6):1856-1867.)；
UNet++图像分割网络结合了类DenseNet结构，密集的跳跃连接提高了梯度流动性，可以抓取不同层次的特征。不同深度的感受野对大小不同的目标敏感程度不一样，将传统的U-Net网络的空心结构填满，连接了编码器和解码器特征图之间的语义鸿沟，用感受野小的特征进行补充，让位置信息更准确。使用了深度监督，通过修剪模型来调整模型的复杂性，在速度和性能之间实现平衡。
输入的224*224的图像经过UNet++图像分割网络输出为大小为224*224的分割图像。
S2.2、构建ResNet50-base基础预测网络
ResNet50-base基础预测网络的结构如表2所示：输入图像大小为224*224，RGB图像的通道数为3，因此(3，224，224)的输入经过卷积核大小为7*7，卷积核数量为64，步距为2的Conv1后得到(64，112，112)的输出。经过Conv2中卷积核大小为3*3，步距为2的最大池化层后，得到(64，56，56)的输出并送入到包含3个步距为1的残差网络单元进行残差学习并输出(256，56，56)的特征图。Conv3、Conv4、Conv5分别包含4、6、3个步距为2的残差网络单元，通过1*1卷积进行通道数降维，并以3*3的卷积进行特征学习并最终通过1*1的卷积恢复通道数，Conv3、Conv4、Conv5分别输出为(512，28，28)、(1024，14，14)、(2048，7，7)的特征图，并在最终通过平均池化层输出分类预测结果。
表2、ResNet50-base基础预测网络
对于传统的CNN网络，简单的增加网络的深度，容易导致梯度消失和爆炸。针对梯度消失和爆炸的解决方法一般是正则初始化和中间的正则化层，但是这会导致网络的退化问题，随着网络层数的增加，在训练集上的准确率却饱和甚至下降了。ResNet-base网络通过引入残差学习结构的方式，引入了跳跃连接，这可以使上一个残差块的信息没有阻碍的流入到下一个残差块，提高了信息流通，并且也避免了由与网络过深所引起的消失梯度问题和退化问题，克服了由于网络深度加深而产生的学习效率变低与准确率无法有效提升的问题；
S2.3、构建ResNet-Att图像分类网络
ResNet50-base基础预测网络上加入改进后的Attention自注意力模块从而构建ResNet-Att图像分类网络。
Attention自注意力模块的具体结构如附图6所示，将二维图像信息的垂直与水平方向的信息进行对位求和得到位置编码矩阵r，q、k、v分别代表输入矩阵与WQ、WK、WV三个不同的参数矩阵相乘得到的查询、键、值矩阵，q分别与r、k矩阵相乘得到qrT、qkT，进行对位求和后经过softmax归一化函数处理后与v矩阵相乘得到最终输出z。
但是，原Attention模块在进行注意力权重计算的时候需要进行三次矩阵相乘的运算，时间复杂度为两个O(dH2W2)与一个O(H2W2)。对于本专利的分类任务，需要先用卷积提取图像中局部的信息，然后再利用自注意力机制来对全局的依赖性进行建模，假设当前特征图的长和宽均为512，则H2W2＝68,719,476,736，而dH2W2则会更大，该部分会引入极大的计算开销。为了优化原Attention模块计算复杂度高的问题，需要对原Attention模块的矩阵相乘操作进行优化，在保证性能的基础上降低计算的复杂度。
根据上面的分析发现，原Attention模块计算复杂度主要来自于矩阵相乘的操作，因此，如果可以将N减小为M(M＜＜N)，就可以有效降低计算复杂度。在原Attention模块实际使用中的特征图相对较大，因此引入池化层对空间尺寸进行压缩。对特征图r、k、v进行降维，降维后的特征图为
与
假设使用8×8的池化核，池化后的特征图大小为64×64，Hp 2Wp 2＝16,777,216，即O(dH2W2)的计算复杂度只有原来的0.024％。
此外，参考文献3的做法，通过引入不同池化核来获取多尺度的注意力结果，以此来弥补池化操作带来的特征损失，并在最终将多尺度的结果进行融合。本专利采用了8×8与4×4两种不同尺度的池化操作，具体如附图7所示。
由此，改进后的Attention自注意力模块包括：经过8×8与4×4两种不同尺度的池化操作后生成两个单尺度改进后的Attention自注意力模块的输出，大小均为H×W×d，进行对位求和操作后输出多尺度结果，大小为H×W×d。其中，单尺度改进后的Attention自注意力模块具体结构包括：将二维图像信息的垂直与水平方向的信息进行对位求和操作后得到位置编码矩阵r，q、k、v分别代表输入矩阵与WQ、WK、WV三个不同的参数矩阵相乘得到的查询、键、值矩阵，q分别与经过池化操作的r、k矩阵相乘得到qrT、qkT，qrT与qkT进行对位求和操作后使用softmax归一化函数处理，并将处理后的结果与经过池化操作的v矩阵相乘得到单尺度改进后的Attention自注意力模块的输出。
使用改进后的Attention自注意力模块将ResNet50-base基础预测网络的Conv5中最后三个残差单元层中的3*3卷积进行替换，如表3所示(表中使用ATT表示改进后的Attention自注意力模块)，使用卷积提取图像中局部的信息，然后利用自注意力机制来对全局的依赖性进行建模，进一步提升了网络的预测能力。
表3、ResNet-Att图像分类网络与ResNet50-base基础预测网络的对比
3、CT血管造影图像分割网络的训练和测试
3.1、建立训练目标函数和评价指标
UNet++图像分割网络的训练目标函数为：
其中
和Yb分别表示第b个图像的预测值和真实值，N表示批大小。
UNet++图像分割网络的算法评价指标包括参数量大小及交并比(Intersectionover Union，IOU)；其中参数量指模型训练需要优化的参数数量，IOU指预测值(DetectionResult，DR)和真实值(Ground Truth，GT)的交集和并集的比值，如下公式：
ResNet-Att图像分类网络的算法训练目标函数为：
FL(pt)＝-(1-pt)γlog(pt) (4)
其中p表示模型预测样本类别为1的概率，pt表示预测概率，γ表示平衡因子，用来平衡正负样本的比例不均。
ResNet-Att图像分类网络的算法评价指标包括准确率(Accuracy)、精确率(Precision)、F1值、召回率(Recall)指标。
准确率(Accuracy)是指模型判断正确的样本数占样本总数的比例，在正负样本比较平衡时能有效地体现模型的预测能力，其表达式如下：
精确率(Precision)，也成为查准率，表示被分为阳性的样本中实际为阳性的概率，其表达式如下：
召回率(Recall)指被正确预测的正样本在所有的真实的正样本中所占的比例，其表达式如下：
F1值对精确率和召回率进行综合评价，其表达式如下：
3.2训练过程
将步骤1中建立的训练集和验证集输入步骤2建立的CT血管造影图像分割网络进行网络训练，网络的训练过程分为两个阶段：第一个阶段是数据由低层次向高层次传播的阶段，即前向传播阶段，另外一个阶段是，目标函数在训练与测试过程中能够衡量特定输入与期望输出之间的差异，通过大量的数据训练使得特定样本输入得到的输出结果接近期待的样本真实值，将误差从高层次向底层次进行传播训练，也即所描述的反向传播阶段的训练过程。训练过程为：
1)、网络进行权值的初始化；
2)、输入数据经过卷积层、下采样层、全连接层的向前传播得到输出值；
3)、求出网络的输出值与目标值之间的误差；
4)、当误差大于期望值时，将误差传回网络中，依次求得全连接层，下采样层，卷积层的误差；当误差等于或小于期望值时，结束训练并保存经过训练的模型权重、参数的模型文件；
5)、根据求得误差进行权值更新。然后再进入到步骤2)。
优化器采用Adam，批大小(Batch Size)定为32，迭代次数(Epoch)取100，初始学习率定为0.001，按照每5个Epoch如果损失没有下降则对学习率进行衰减，衰减率0.1，终止学习率定为0.00000001。最终获得训练好的CT血管造影图像分割网络，并将参数保存至CT血管造影图像分割网络的模型文件。
3.3、测试过程
将测试集输入步骤3.2训练好的CT血管造影图像分割网络，分类预测结果的准确率达到目标为88.5％，从而验证并获得可在线使用的CT血管造影图像分割网络。
4、在线使用CT血管造影图像分割网络
获取患者的肝部CT血管造影图像，输入到上位机中；在上位机中对肝部CT血管造影图像进行数据增强处理，包括垂直翻转、水平翻转、随机角度旋转和随机区域裁剪，获得大小为224*224的图像并输入至步骤3获得的可在线使用的CT血管造影图像分割网络：先通过UNet++图像分割网络分割得到肝部CT血管造影的二维分割结果影像，然后经过ResNet-Att图像分类网络获得分类结果，并在上位机中显示输出二维分割结果影像和分类结果供医生参考使用。
实验1
实验环境如下表4所示：
表4：实验环境配置清单
实验所用数据集与实施例1的步骤1所建立的训练集、验证集和测试集一致，具体包括以下三个对比实验。
对比实验1：
为了验证UNet++图像分割网络的分割效果，通过增加了U-Net网络的通道数，得到一个和U-Net++参数量近似的网络，称为Wide U-Net。采用U-Net、Wide U-Net和UNet++网络在图像数据上进行实验，评估了三种网络的参数量及IOU指标。
采用TensorFlow框架搭建和训练了U-Net、Wide U-Net和UNet++(即本发明中称为UNet++图像分割网络)三种网络，每一层的损失函数采用了二元交叉熵与Dice系数之和，优化器采用Adam，批大小(Batch Size)定为4，迭代次数(Epoch)取300，初始学习率定为0.01，按照每3个Epoch如果损失没有下降则对学习率进行衰减，衰减率0.1，终止学习率定为0.00000001。向三种网络分别输入实验所用数据集进行训练，影像数据大小为224*224，格式为JPG。输入测试集数据计算对应的IOU指标进行模型的评估比较。实验结果如表5所示：
表5 对比实验1实验结果
| 网络模型 | 参数量 | 肝脏数据集下的IOU |
| U-Net | 7.76M | 76.62％ |
| Wide U-Net | 9.13M | 76.58％ |
| UNet++ | 9.04M | 82.90％ |
结果可以看出，从U-Net到Wide U-Net，提升了参数量，带来的IOU性能提升很小。对比Wide U-Net和UNet++，在参数量较为接近的情况下，在数据集上性能提升较为明显，说明提升主要来自于网络结构的改善，证明了UNet++网络结构在本数据集上的优越性；
对比实验2：
为了验证经过UNet++图像分割网络分割后的数据集在本发明的ResNet-Att图像分类网络上的更优秀的表现，将实验数据集经过UNet++图像分割网络后(即分割后的数据集)输入ResNet-Att图像分类网络进行分类预测，同时将实验数据集不经过UNet++图像分割网络(即分割前的数据集)直接作为ResNet-Att图像分类网络输入进行分类预测，分别对分割后的数据集和分割前的数据集在ResNet-Att图像分类网络的分类效果进行评估，对比了准确率、精确率、F1值、召回率指标。实验结果如表6所示：
表6
| 网络模型 | 数据集 | Accuracy(％) | Precision(％) | Recall(％) | F1(％) |
| ResNet-Att | 分割后 | 88.5 | 88.7 | 88.3 | 88.4 |
| ResNet-Att | 分割前 | 81.8 | 82.5 | 81.3 | 81.5 |
结果证明，在CT血管造影图像分割网络中，经过UNet++网络分割后的数据集再经过ResNet-Att图像分类网络的分类结果，在四类指标上均高于分割前的数据集直接经过ResNet-Att图像分类网络的分类结果，说明网络分割后的数据集能够剔除CT图像中存在的其他干扰网络进行有效分类的噪音等因素，使得整体的指标性能有了较明显的提升。该对比实验证明经过UNet++网络分割后的数据集更为适宜作为ResNet-Att图像分类网络的输入。
对比实验3：
为了验证本发明CT血管造影图像分割网络中的ResNet-Att图像分类网络的分类效果，搭建了四个对比网络，分别为：ResNet-Att图像分类网络、ResNet50-base、文献1网络、文献2网络，将实验数据集经过UNet++图像分割网络后输出的分割图像作为四个对比网络输入，进行了四个网络的对比实验，评估了准确率、精确率、F1值、召回率指标。实验结果如表7所示：
表7
| 网络模型 | Accuracy(％) | Precision(％) | Recall(％) | F1(％) |
| ResNet-Att | 88.5 | 88.7 | 88.3 | 88.4 |
| ResNet50-base | 82.4 | 80.7 | 81.4 | 82.6 |
| 文献1 | 81.1 | 80.9 | 79.1 | 79.8 |
| 文献2 | 84.1 | 85.3 | 82.6 | 83.7 |
结果可以看出，ResNet-Att图像分类网络与基线网络ResNet50-base相比，在四类指标上均能有明显的效果提升，进一步证明，在网络中加入改进后的Attention自注意力模块增强了网络对全局信息的获取，优化了网络中对全局上下文信息与浅层特征的结合，这样在浅层进行检测时就有足够的上下文信息，同时也有目标的细节信息。
相比于另外文献1、文献2的网络，ResNet-Att图像分类网络调整了网络结构，加入改进后的Attention自注意力模块增强了网络对全局信息的获取，有效地实现了对上下文信息和浅层细节特征的结合，这在各类基于CT血管造影的李氏人工肝适宜治疗的图像识别场景中能够很好地应对数据中存在的大小、角度、病灶像等差异较大带来的问题。因此模型在准确率、精准率、召回率和F1值指标上表现更好，有更强的泛化性。
综合对比实验1-实验3可知，本发明对实施例1的步骤1所构建的数据集经过UNet++图像分割网络后输出的分割图像再通过ResNet-Att图像分类网络进行图像分类，优化了原数据集在ResNet-Att图像分类网络上的表现，使分割后的数据集更加适应在本场景下的分类任务，有效降低了其他干扰因素的影响，保证了网络的分类效果。另外本发明还针对网络优化问题提出了改进后的Attention自注意力模块，引入池化层对空间尺寸进行压缩，优化矩阵相乘操作计算，并通过不同池化核来获取多尺度的注意力结果弥补池化操作带来的特征损失。使用改进后的Attention自注意力模块将ResNet50-base基础预测网络的Conv5中最后三个残差单元层中的3*3卷积进行替换，利用自注意力机制来对全局的依赖性进行建模，进一步提升了CT血管造影图像分割网络的预测能力。
文献1参见Karen Simonyan,Andrew Zisserman.Very Deep ConvolutionalNetworks for Large-Scale Image Recognition.[J].CoRR,2014,abs/1409.1556；
文献2参见Christian Szegedy,Wei Liu 0015,Yangqing Jia,Pierre Sermanet,Scott E.Reed,Dragomir Anguelov,Dumitru Erhan,Vincent Vanhoucke,AndrewRabinovich.Going Deeper with Convolutions.[J].CoRR,2014,abs/1409.4842。
文献3参见Lazebnik S,Schmid C,Ponce J.Beyond bags of features:Spatialpyramid matching for recognizing natural scene categories[C]//2006IEEEComputer Society Conference on Computer Vision and Pattern Recognition(CVPR'06).IEEE,2006,2:2169-2178。
最后，还需要注意的是，以上列举的仅是本发明的若干个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。
Claims (7)
1.CT血管造影图像分割方法，可适宜李氏人工肝治疗，其特征在于:
具体过程包括：获取肝部CT血管造影图像，在上位机中将肝部CT血管造影图像进行数据增强处理后获得的图像输入至CT血管造影图像分割网络，获得二维分割结果影像和分类结果；
所述CT血管造影图像分割网络包括通过UNet++图像分割网络分割得到所述二维分割结果影像，然后二维分割结果影像经过ResNet-Att图像分类网络获得所述分类结果；所述ResNet-Att图像分类网络包括以ResNet50-base为基础预测网络，将ResNet50-base基础预测网络的Conv5中最后三个残差单元层中的3*3卷积替换为改进后的Attention自注意力模块。
2.根据权利要求1所述的CT血管造影图像分割方法，其特征在于：
所述改进后的Attention自注意力模块包括：经过8×8与4×4两种不同尺度的池化操作后生成两个单尺度改进后的Attention自注意力模块的输出，大小均为H×W×d，进行对位求和操作后输出多尺度结果，大小为H×W×d；
所述单尺度改进后的Attention自注意力模块包括：将二维图像信息的垂直与水平方向的信息进行对位求和操作后得到位置编码矩阵r，q、k、v分别代表输入矩阵与WQ、WK、WV三个不同的参数矩阵相乘得到的查询、键、值矩阵，q分别与经过池化操作的r、k矩阵相乘得到qrT、qkT，qrT与qkT进行对位求和操作后使用softmax归一化函数处理，并将处理后的结果与经过池化操作的v矩阵相乘得到单尺度改进后的Attention自注意力模块的输出。
3.根据权利要求2所述的CT血管造影图像分割方法，其特征在于：
所述CT血管造影图像分割网络的训练和测试过程为：建立训练集、验证集和测试集，将训练集和验证集输入至所述CT血管造影图像分割网络进行网络训练，网络的训练过程分为前向传播和反向传播二个阶段，优化器采用Adam，批大小为32，迭代次数Epoch为100，初始学习率定为0.001，按照每5个Epoch如果损失没有下降则对学习率进行衰减，衰减率0.1，终止学习率为0.00000001，获得训练好的CT血管造影图像分割网络，并将参数保存至模型文件；将测试集输入训练好的CT血管造影图像分割网络，分类结果的准确率达到目标，从而验证并获得在线使用的所述CT血管造影图像分割网络。
4.根据权利要求3所述的CT血管造影图像分割方法，其特征在于：
所述训练集、验证集和测试集的建立过程为：通过医疗单位获取肝脏CT影像数据，将所有影像数据均转换成为JPG格式的图像并由医学专家进行手工标注类别标签，同时对JPG格式的图像均进行数据增强处理，然后将数据增强处理后的图像及其对应的类别标签按照7：2：1的比例划分为所述训练集、验证集和测试集。
5.根据权利要求4所述的CT血管造影图像分割方法，其特征在于：
所述UNet++图像分割网络的训练目标函数为：
其中
和Yb分别表示第b个图像的预测值和真实值，N表示批大小。
6.根据权利要求5所述的CT血管造影图像分割方法，其特征在于：
所述ResNet-Att图像分类网络的算法训练目标函数为：
FL(pt)＝-(1-pt)γlog(pt) (4)
其中p表示模型预测样本类别为1的概率，pt表示预测概率，γ表示平衡因子，用来平衡正负样本的比例不均。
7.根据权利要求6所述的CT血管造影图像分割方法，其特征在于：
所述数据增强处理包括垂直翻转、水平翻转、随机角度旋转和随机区域裁剪，所述数据增强处理后的图像尺寸为224*224。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210309520.5A CN114820450A (zh) | 2022-03-27 | 2022-03-27 | 适宜李氏人工肝治疗的ct血管造影图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210309520.5A CN114820450A (zh) | 2022-03-27 | 2022-03-27 | 适宜李氏人工肝治疗的ct血管造影图像分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114820450A true CN114820450A (zh) | 2022-07-29 |
Family
ID=82530568
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210309520.5A Pending CN114820450A (zh) | 2022-03-27 | 2022-03-27 | 适宜李氏人工肝治疗的ct血管造影图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114820450A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115205298A (zh) * | 2022-09-19 | 2022-10-18 | 真健康（北京）医疗科技有限公司 | 肝部区域血管分割的方法及设备 |
| CN116703867A (zh) * | 2023-06-09 | 2023-09-05 | 太原理工大学 | 残差网络与通道注意力协同驱动下的基因突变预测方法 |
-
2022
- 2022-03-27 CN CN202210309520.5A patent/CN114820450A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115205298A (zh) * | 2022-09-19 | 2022-10-18 | 真健康（北京）医疗科技有限公司 | 肝部区域血管分割的方法及设备 |
| CN116703867A (zh) * | 2023-06-09 | 2023-09-05 | 太原理工大学 | 残差网络与通道注意力协同驱动下的基因突变预测方法 |
| CN116703867B (zh) * | 2023-06-09 | 2023-12-08 | 太原理工大学 | 残差网络与通道注意力协同驱动下的基因突变预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112465827B (zh) | 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法 | |
| Hao et al. | A transfer learning–based active learning framework for brain tumor classification | |
| Wang et al. | Ssd-kd: A self-supervised diverse knowledge distillation method for lightweight skin lesion classification using dermoscopic images | |
| CN112270666A (zh) | 基于深度卷积神经网络的非小细胞肺癌病理切片识别方法 | |
| Xu et al. | ω-net: Dual supervised medical image segmentation with multi-dimensional self-attention and diversely-connected multi-scale convolution | |
| CN114820450A (zh) | 适宜李氏人工肝治疗的ct血管造影图像分类方法 | |
| Yao et al. | Pneumonia Detection Using an Improved Algorithm Based on Faster R‐CNN | |
| Lameski et al. | Skin lesion segmentation with deep learning | |
| CN112489769A (zh) | 基于深度神经网络的慢性病智慧中医诊断与药物推荐系统 | |
| WO2022127500A1 (zh) | 基于多个神经网络的mri图像分割方法、装置及设备 | |
| Abdelmaguid et al. | Left ventricle segmentation and volume estimation on cardiac mri using deep learning | |
| Shubham et al. | Identify glomeruli in human kidney tissue images using a deep learning approach | |
| Li et al. | Study on strategy of CT image sequence segmentation for liver and tumor based on U-Net and Bi-ConvLSTM | |
| CN111127490A (zh) | 一种基于循环残差U-Net网络的医学图像分割方法 | |
| Gao et al. | Joint disc and cup segmentation based on recurrent fully convolutional network | |
| CN116310343A (zh) | 一种基于特征解耦的多模态脑肿瘤mri分割方法 | |
| Qiao et al. | An enhanced Runge Kutta boosted machine learning framework for medical diagnosis | |
| Fu et al. | TSCA-Net: Transformer based spatial-channel attention segmentation network for medical images | |
| Dong et al. | Supervised learning-based retinal vascular segmentation by m-unet full convolutional neural network | |
| Tang et al. | NSCGCN: A novel deep GCN model to diagnosis COVID-19 | |
| Liu et al. | CAM‐Wnet: An effective solution for accurate pulmonary embolism segmentation | |
| Kobayashi et al. | Decomposing normal and abnormal features of medical images into discrete latent codes for content-based image retrieval | |
| Yan et al. | Two and multiple categorization of breast pathological images by transfer learning | |
| Singh et al. | Deep learning in content-based medical image retrieval | |
| Xiao et al. | Light3DHS: A lightweight 3D hippocampus segmentation method using multiscale convolution attention and vision transformer |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |