CN115439471A - 一种面向肠道部位ct影像的图像处理方法及系统 - Google Patents
一种面向肠道部位ct影像的图像处理方法及系统 Download PDFInfo
- Publication number
- CN115439471A CN115439471A CN202211274016.2A CN202211274016A CN115439471A CN 115439471 A CN115439471 A CN 115439471A CN 202211274016 A CN202211274016 A CN 202211274016A CN 115439471 A CN115439471 A CN 115439471A
- Authority
- CN
- China
- Prior art keywords
- image
- aacn
- neural network
- network model
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000001035 gastrointestinal tract Anatomy 0.000 title claims abstract description 19
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000003062 neural network model Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 26
- 230000000968 intestinal effect Effects 0.000 claims abstract description 11
- 238000011176 pooling Methods 0.000 claims description 21
- 238000012360 testing method Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 11
- 206010028980 Neoplasm Diseases 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 8
- 238000012216 screening Methods 0.000 abstract description 10
- 230000008569 process Effects 0.000 abstract description 8
- 238000013473 artificial intelligence Methods 0.000 abstract description 6
- 230000008901 benefit Effects 0.000 abstract description 6
- 206010009944 Colon cancer Diseases 0.000 description 17
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 17
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 208000015634 Rectal Neoplasms Diseases 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 206010038038 rectal cancer Diseases 0.000 description 3
- 201000001275 rectum cancer Diseases 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 201000009030 Carcinoma Diseases 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 210000001072 colon Anatomy 0.000 description 2
- 230000034994 death Effects 0.000 description 2
- 231100000517 death Toxicity 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 208000003200 Adenoma Diseases 0.000 description 1
- 206010001233 Adenoma benign Diseases 0.000 description 1
- 206010022653 Intestinal haemorrhages Diseases 0.000 description 1
- 208000034693 Laceration Diseases 0.000 description 1
- 206010038079 Rectal stenosis Diseases 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 206010009887 colitis Diseases 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 206010022694 intestinal perforation Diseases 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 210000000664 rectum Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- High Energy & Nuclear Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Quality & Reliability (AREA)
- Pulmonology (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请公开了一种面向肠道部位CT影像的图像处理方法及系统。首先获取患者CT影像集合，对患者CT影像集合进行标注构成样本集；构建由编码器与解码器构成的AACN‑UNet神经网络模型，然后利用样本集对AACN‑UNet神经网络模型进行训练；最后将目标肠道部位CT影像输入到训练完成的AACN‑UNet神经网络模型中，确定图像处理结果。本发明将人工智能与医学影像相结合，在对肠道部位CT影像的筛查过程中，可以有效减低人工的压力，相比于人工判定，同时具有稳定性，速度快等优势。
Description
技术领域
本发明涉及医学图像处理领域，特别涉及一种面向肠道部位CT影像的图像处理方法及系统。
背景技术
结直肠癌是威胁我国居民生命健康的主要癌症之一，造成了严重的社会负担。根据国家癌症中心公布的最新数据，2015年中国结直肠癌新发病例38.76万例，占全部恶性肿瘤发病的9.87％；由结直肠癌导致的死亡病例18.71万例，占全部恶性肿瘤死亡的8.01％。如何有效地降低我国结直肠癌疾病负担是亟待解决的重大公共卫生问题。结直肠癌的发生发展大多遵循“腺瘤—癌”序列，从癌前病变进展到癌一般需要5-10年的时间，为疾病的早期诊断和临床干预提供了重要时间窗口。结直肠癌筛查方法主要是通过肠镜进行检查，通过肠镜检查可以明确了解结肠、直肠肠壁的情况，如是否存在肿瘤、息肉等。同时配合对病变部位进行的病理活检，可以明确是否存在结直肠癌病变，明确疾病性质。
但是肠镜检查存在一定局限性，并不是所有人群都可以进行肠镜检查，所以检查前需要和医生交代清楚病史，排除禁忌症，如直肠严重狭窄者，急性重度结肠炎患者，妊娠期妇女等人群不适合进行肠镜。同时部分人群比较敏感，可能会产生不适感或疼痛，一般很快可缓解。肠镜还有可能会引起肠穿孔、肠出血、肠系膜裂伤、心脑血管意外等并发症。
目前，通过人工对肠道部位CT影像进行检查的效率较低，尚无专门针对结直肠的图像处理方法。
发明内容
基于此，本申请实施例提供了一种面向肠道部位CT影像的图像处理方法及系统，能够将人工智能与医学影像相结合，对肠道部位的CT影像进行有效处理，可以有效减低人工的压力，相比于人工图像处理，同时具有稳定性，速度快等优势。
第一方面，提供了一种面向肠道部位CT影像的图像处理方法，该方法包括：
获取患者CT影像集合，对所述患者CT影像集合进行标注构成样本集；
构建由编码器与解码器构成的AACN-UNet神经网络模型，利用所述样本集对AACN-UNet神经网络模型进行训练；
将目标肠道部位CT影像输入到训练完成的AACN-UNet神经网络模型中，确定图像处理结果；
其中，所述构建由编码器与解码器构成的AACN-UNet神经网络模型，所述编码器通过ConvNeXt-t网络作为主干特征提取网络，并引入通道注意力处理和空间注意力处理将在不同级别提取的特征与对原始特征进行重新标定；
所述解码器包括通过双线性上采样、特征串联、双卷积以及CBAM对编码后的特征进行解码。
可选地，利用所述样本集对AACN-UNet神经网络模型进行训练，包括：
基于交叉熵损失函数和Dice损失函数得到模型训练的损失函数；
loss＝CE loss+dice loss
其中，loss表示损失函数，CE loss表示交叉熵损失函数，diceloss表示Dice损失函数。
可选地，所述交叉熵损失函数根据：
确定，其中，p为图像的真实标记，表示预测图像中正确的概率，y表示模型输出的预测标签。
所述Dice损失函数根据：
dice loss＝1-Dice
确定，其中，X表示预测图像，Y表示真实图像。
可选地，编码器通过ConvNeXt-t网络作为主干特征提取网络，包括：
stem层，包括一个卷积核为4×4，步长为4的卷积操作和一个Layer Norm层，dowmsampling层与convnext block模块。
所述引入通道注意力处理和空间注意力处理将在不同级别提取的特征与对原始特征进行重新标定中，具体根据：
确定空间注意力对原始特征的重新标定结果
为使用两种池化方法产生的二维特征图，MLP(AvgPool(F))表示全局平均池化，MLP(MaxPool(F))表示最大池化，W1表示1×1的卷积和Relu操作，W0表示1×1的卷积操作，σ表示将输出的权重加权到输入特征上；
确定通道注意力对原始特征的重新标定结果；其中，
为使用两种池化方法产生的二维特征图，MLP(AvgPool(F))表示全局平均池化，MLP(MaxPool(F))表示最大池化，f7×7表示7×7的卷积操作，σ表示将输出的权重加权到输入特征上。
可选地，方法还包括：
基于所述患者CT影像集合进行标注构成样本集得到测试集，将所述测试集输入到训练完成的AACN-UNet神经网络模型中；
根据图像处理结果确定测试集的平均交并比、召回率、精准率及F1值，进而确定AACN-UNet神经网络模型的性能。
可选地，根据图像处理结果确定测试集的平均交并比、召回率、精准率及F1值，包括：
确定测试集的平均交并比、召回率、精准率及F1值，其中，IOU表示平均交并比、R表示召回率，P表示精准率，TP表示被正确分割成肿瘤区域的像素数量，TN表示被正确分割成背景区域的像素数量，FP表示将背景区域预测成肿瘤区域的像素数量，FN表示将肿瘤区域预测成背景区域的像素数量。
可选地，获取患者CT影像集合，对所述患者CT影像集合进行标注构成样本集，还包括：
将所述样本集划分为训练集和测试集，并对所述训练集进行扩充。
可选地，对所述训练集进行扩充的方法包括：
随机旋转图像，对图像进行水平翻转和垂直翻转，对图像进行随机裁剪并恢复原本大小，调整图像对比度，调整亮度和饱和度。
第二方面，提供了一种面向肠道部位CT影像的图像处理系统，该系统包括：
获取模块，用于获取患者CT影像集合，对所述患者CT影像集合进行标注构成样本集；
构建模块，用于构建由编码器与解码器构成的AACN-UNet神经网络模型，利用所述样本集对AACN-UNet神经网络模型进行训练；
确定模块，用于将目标肠道部位CT影像输入到训练完成的AACN-UNet神经网络模型中，确定图像处理结果；其中，所述构建由编码器与解码器构成的AACN-UNet神经网络模型，所述编码器通过ConvNeXt-t网络作为主干特征提取网络，并引入通道注意力处理和空间注意力处理将在不同级别提取的特征与对原始特征进行重新标定；所述解码器包括通过双线性上采样、特征串联、双卷积以及CBAM对编码后的特征进行解码。
本申请实施例提供的技术方案中首先获取患者CT影像集合，对患者CT影像集合进行标注构成样本集；构建由编码器与解码器构成的AACN-UNet神经网络模型，然后利用样本集对AACN-UNet神经网络模型进行训练；最后将目标肠道部位CT影像输入到训练完成的AACN-UNet神经网络模型中，确定图像处理结果。可以看出，本发明的有益效果在于人工智能与医学影像相结合，在大规模结直肠癌筛查过程中，可以有效减低人工的压力，相比于人工判定，同时具有稳定性，速度快等优势。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引申获得其它的实施附图。
图1为本申请实施例提供的一种面向肠道部位CT影像的图像处理方法流程图；
图2为本申请实施例提供的AACN-UNet结构示意图；
图3为本申请实施例提供的Downsample示意图；
图4为本申请实施例提供的ConvNeXtBlock模块示意图；
图5为本申请实施例提供的CBAM注意力机制结构示意图；
图6为本申请实施例提供的经过数据扩充的效果图；
图7为本申请实施例提供的一种面向肠道部位CT影像的图像处理系统框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在本发明的描述中，术语“包括”、“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包括了一系列步骤或单元的过程、方法、系统、产品或设备不必限于已明确列出的那些步骤或单元，而是还可包含虽然并未明确列出的但对于这些过程、方法、产品或设备固有的其它步骤或单元，或者基于本发明构思进一步的优化方案所增加的步骤或单元。
本发明创新性的将人工智能与结直肠癌的CT影像筛查相结合，使结直肠癌筛查广泛适用于潜在患病人群。在收集结直肠癌术后患者CT影像后，将CT切片数据输入AACN-UNet神经网络进行训练学习，为训练学习后的模型部署在软件端口，方便后续的使用。在神经网络的训练中，为提高算法模型的准确率，使用数据集扩充的方法，对数据进行扩充增强，有效提高的网络收敛的速度，防止过拟合的发生。具体地，请参考图1，其示出了本申请实施例提供的一种面向肠道部位CT影像的图像处理方法的流程图，该方法可以包括以下步骤：
步骤101，获取患者CT影像集合，对患者CT影像集合进行标注构成样本集。
在本申请实施例中，首先获取直肠癌患者CT影像集合，并通过人工对患者CT影像集合进行标注，用于后续对AACN-UNet神经网络模型进行训练及测试，其中AACN-UNet结构示意图如图2所示。
步骤102，构建由编码器与解码器构成的AACN-UNet神经网络模型，利用样本集对AACN-UNet神经网络模型进行训练。
在本申请实施例中，AACN-UNet神经网络模型主要由左侧收缩路径与右侧扩展路径构成，左侧是下采样部分，右侧为上采样部分，下采样部分由ConvNeXt-t网络作为主干特征提取网络，虚线箭头为stem层，包括一个卷积核为4×4，步长为4的卷积操作和一个LayerNorm层，从ViT开始，为了将图片转化为token，图片都会先被分割成一个一个的patch，而在传统ResNet中stem层是使用一个stride＝2的7x7卷积加最大池化层。ConvNeXt-t仿照Swin-T的做法，用stride＝4的4x4卷积来进行stem，使得滑动窗口不再相交，每次只处理一个patch的信息，对于直肠癌CT图像中的粗尺度语义信息有着很好的提取效果。向下的实线箭头为Dowmsample与ConvNeXt block部分，如图3和图4中分别列出了Downsample与convnextblock的详细信息。
Convnextblock中采用了小维度-大维度-小维度形式，认为这样能让信息在不同维度特征空间之间转换时避免压缩维度带来的信息损失，信息经过一个keral＝7，stride＝1，padding＝3的分组卷积，可以在较少参数量的情况下获得更好的效果。Downsample为一个LayerNorm层和一个卷积核为2，步长为2的卷积构成。
上采样过程使用了四种操作：双线性上采样、特征串联(点矩形)、双卷积以及最后的CBAM。模型的最后一层是1x1卷积，它生成一个表示预测结果的单一特征图。使用双线上采样方法代替原始的反卷积过程，减轻了原始反卷积过程中产生的阴影问题.然后将每一个上采样后的特征图与编码器部分得到的特征图进行跳跃连接，引入跳跃链接可以更加突出前景目标，最大限度地抑制通道数上进行特征融合时产生大量的噪声响应。各箭头所代表含义均在图中做出了说明。
对于直肠癌检测任务。本申请将由通道注意模块(CAM)和空间注意模块(SAM)组成的CBAM集成到模型的编码器和解码器路径.如下图5所示，为CBAM注意力机制模块。
对于网络主干生成的特征图，CBAM分别产生一维通道注意力特征图二维空间注意力特征图
F∈RC×H×W
一维通道注意力特征图
Mc∈RC×1×1
二维空间注意力特征图
Ms∈R1×H×W
这个过程可以描述为以下公式
Mc∈RC/r×1×1
下图5(a)通道注意力机制
为了更好的计算通道注意力特征，特征图输入后，要做的就是压缩特征图的空间维度，基于特征图的宽、高进行GAP、GMP，然后经过MLP得到通道的注意力权重，为了降低计算参数，在MLP中使用了一个降维系数r
Mc∈RC/r×1×1
然后通过Sigmoid函数获得归一化注意力权重，最后通过乘法逐通道加权到原始输入特征图上，完成通道注意力对原始特征的重新标定。公式如下所示，
分别表示平均池化特征和最大池化特征。
确定空间注意力对原始特征的重新标定结果
为使用两种池化方法产生的二维特征图，MLP(AvgPool(F))表示全局平均池化，MLP(MaxPool(F))表示最大池化，W1表示1×1的卷积和Relu操作，W0表示1×1的卷积操作，σ表示将输出的权重加权到输入特征上；
下图5(b)为空间注意力模块
为了获得在空间维度的注意力特征，首先将他们产生的特征图进行拼接起来(concat)。然后在拼接后的特征图上，使用卷积操作来产生最终的空间注意力特征图。公式如下所示，
为使用两种池化方法产生的二维特征图
其中，f7×7表示7×7的卷积操作，σ表示将输出的权重加权到输入特征上。
在空间注意力模块中，全局平均池化和最大池化获得了空间注意力特征，通过两个卷积建立了空间特征间的相关性，同时保持了输入输出维度的不变。通过卷积核为7×7的卷积操作，极大地减少了参数和计算量，有利于建立高维度的空间特征相关性。经过CBAM后，新的特征图将得到通道和空间维度上的注意力权重，大大提高了各个特征在通道和空间上的联系，更有利于提取目标的有效特征。
在编码器路径中，CBAM被合并到ConvNeXt的每一层提取特征层部分，并且在解码器部分，它被放置在所有卷积层之后，通过下一级的feature来监督上一级的feature来实现attention机制(将激活的部分限制于待分割的区域，减小背景的激活值来优化分割，实现端到端的分割)。这使得模型能够执行通道和空间注意，因此可以更好地探索特征的通道间和空间间关系。
步骤103，将目标肠道部位CT影像输入到训练完成的AACN-UNet神经网络模型中，确定图像处理结果。
在本申请实施例中，模型训练的目的是得到可以使模型输出的预测标签和真实标签最接近的最优参数集合，采用交叉熵衡量真实标签和预测标签的相似程度.真实标签和预测标签的交叉熵越小，说明二者的相似度越高，模型的分割性能也越好。
CE Loss(Cross Entropy Loss)即交叉熵损失函数，通过对比预测和标签的像素级误差来计算。表达式如下所示，其中p为图像的真实标记，表示预测图像中正确的概率
设i为样本N表示样本总数量，则整张图的平均交叉熵如公式所示
其中，p为图像的真实标记，表示预测图像中正确的概率，y表示模型输出的预测标签。
Dice loss将语义分割的评价指标作为Loss，Dice系数是一种集合相似度度量函数，通常用于计算两个样本的相似度，取值范围在[0，1]。
DICE系数的计算公式如下：
Dice loss的计算公式如下
dice loss＝1-Dice
其中，X表示预测图像，Y表示真实图像。
损失函数的设计需要考虑数据集的特点，由于医学影像的特殊性，医学图像切片可能会出现模糊边界、对比度低和目标较小的特点，使用常见的损失函数收敛速度慢，学习效果比较差。相比其他损失函数Dice loss显得尤为稳健。
因此，在本申请的实验使用交叉熵损失函数和Dice损失函数作为损失函数.
loss＝CE loss+diceloss
为了验证本申请方法的有效性，在预测图和标签图比较的基础上，使用混淆矩阵评价模型性能.混淆矩阵是一种区分真正值(true positive，TP)、真负值(true negative，TN)、假正值(false positive，FP)、假负值(false negative，FN)的方法。给出混淆矩阵的构建方法，列表示实际值，行表示预测值.对比实验中应用了4个评价指标，即平均交并比MIOU、召回率(recall，R)、精准率(precision，P)，F1值。
其中，MIOU表示平均交并比、R表示召回率，P表示精准率，TP表示被正确分割成肿瘤区域的像素数量，TN表示被正确分割成背景区域的像素数量，FP表示将背景区域预测成肿瘤区域的像素数量，FN表示将肿瘤区域预测成背景区域的像素数量。
综上可以看出，本发明创新性的将人工智能与结直肠癌筛查相结合，使结直肠癌筛查广泛适用于潜在患病人群。在收集结直肠癌术后患者CT影像后，将CT切片数据输入AACN-UNet神经网络进行训练学习，为训练学习后的模型部署在软件端口，方便后续的使用。在神经网络的训练中，为提高算法模型的准确率，使用数据集扩充的方法，对数据进行扩充增强，有效提高的网络收敛的速度，防止过拟合的发生。与此同时，将ConvNExt网络作为U-Net的主干特征提取网络，并将提取特征经过4次上采样后输出，F1为95.11％，P为95％；R为95.38％；MIOU为91.57.
本发明提出的技术方案中，训练数据达到1700张，扩充后的数据量达到11900张，扩充方法有主要方法包括：-180°-180°范围内随机旋转图像，对图像进行水平翻转和垂直翻转，对图像进行随机裁剪并恢复原本大小，调整图像对比度，调整亮度和饱和度等。图6(a)三张原图经过数据扩充后如图(b)(c)(d)(e)(f)(g)所示。有效解决了数据不足造成的准确率低，过拟合现象发生。同时，将人工智能与医学影像相结合，在大规模结直肠癌筛查过程中，可以有效减低人工的压力，相比于人工判定，同时具有稳定性，速度快等优势。
如图7，本申请实施例还提供的一种面向肠道部位CT影像的图像处理系统700。系统700包括：
获取模块701，用于获取患者CT影像集合，对所述患者CT影像集合进行标注构成样本集；
构建模块702，用于构建由编码器与解码器构成的AACN-UNet神经网络模型，利用所述样本集对AACN-UNet神经网络模型进行训练；
确定模块703，用于将目标肠道部位CT影像输入到训练完成的AACN-UNet神经网络模型中，确定图像处理结果；其中，所述构建由编码器与解码器构成的AACN-UNet神经网络模型，所述编码器通过ConvNeXt-t网络作为主干特征提取网络，并引入通道注意力处理和空间注意力处理将在不同级别提取的特征与对原始特征进行重新标定；所述解码器包括通过双线性上采样、特征串联、双卷积以及CBAM对编码后的特征进行解码。
本申请实施例提供的面向肠道部位CT影像的图像处理系统用于实现上述面向肠道部位CT影像的图像处理方法，关于面向肠道部位CT影像的图像处理系统的具体限定可以参见上文中对于面向肠道部位CT影像的图像处理方法的限定，在此不再赘述。上述面向肠道部位CT影像的图像处理系统中的各个部分可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于设备中的处理器中，也可以以软件形式存储于设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种面向肠道部位CT影像的图像处理方法，其特征在于，所述方法包括：
获取患者CT影像集合，对所述患者CT影像集合进行标注构成样本集；
构建由编码器与解码器构成的AACN-UNet神经网络模型，利用所述样本集对AACN-UNet神经网络模型进行训练；
将目标肠道部位CT影像输入到训练完成的AACN-UNet神经网络模型中，确定图像处理结果；
其中，所述构建由编码器与解码器构成的AACN-UNet神经网络模型，所述编码器通过ConvNeXt-t网络作为主干特征提取网络，并引入通道注意力处理和空间注意力处理将在不同级别提取的特征与对原始特征进行重新标定；
所述解码器包括通过双线性上采样、特征串联、双卷积以及CBAM对编码后的特征进行解码。
2.根据权利要求1所述的方法，其特征在于，利用所述样本集对AACN-UNet神经网络模型进行训练，包括：
基于交叉熵损失函数和Dice损失函数得到模型训练的损失函数；
loss＝CE loss+diceloss
其中，loss表示损失函数，CE loss表示交叉熵损失函数，diceloss表示Dice损失函数。
3.根据权利要求2所述的方法，其特征在于，所述交叉熵损失函数根据：
确定，其中，p为图像的真实标记，表示预测图像中正确的概率，y表示模型输出的预测标签；
所述Dice损失函数根据：
dice loss＝1-Dice
确定，其中，X表示预测图像，Y表示真实图像。
4.根据权利要求1所述的方法，其特征在于，所述编码器通过ConvNeXt-t网络作为主干特征提取网络，包括：
stem层，包括一个卷积核为4×4，步长为4的卷积操作和一个Layer Norm层以及dowmsampling与ConvNeXt block层。
5.根据权利要求1所述的方法，其特征在于，所述引入通道注意力处理和空间注意力处理将在不同级别提取的特征与对原始特征进行重新标定中，具体根据：
确定空间注意力对原始特征的重新标定结果
为使用两种池化方法产生的二维特征图，MLP(MaxPool(F))表示全局平均池化，MLP(MaxPool(F))表示最大池化，W1表示1×1的卷积和Relu操作，W0表示1×1的卷积操作，σ表示将输出的权重加权到输入特征上；
确定通道注意力对原始特征的重新标定结果；其中，
为使用两种池化方法产生的二维特征图，MLP(AvgPool(F))表示全局平均池化，MLP(MaxPool(F))表示最大池化，f7 ×7表示7×7的卷积操作，σ表示将输出的权重加权到输入特征上。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于所述患者CT影像集合进行标注构成样本集得到测试集，将所述测试集输入到训练完成的AACN-UNet神经网络模型中；
根据图像处理结果确定测试集的平均交并比、召回率、精准率及F1值，进而确定AACN-UNet神经网络模型的性能。
7.根据权利要求6所述的方法，其特征在于，根据图像处理结果确定测试集的平均交并比、召回率、精准率及F1值，包括：
确定测试集的平均交并比、召回率、精准率及F1值，其中，MIOU表示平均交并比、R表示召回率，P表示精准率，TP表示被正确分割成肿瘤区域的像素数量，TN表示被正确分割成背景区域的像素数量，FP表示将背景区域预测成肿瘤区域的像素数量，FN表示将肿瘤区域预测成背景区域的像素数量。
8.根据权利要求1所述的方法，其特征在于，所述获取患者CT影像集合，对所述患者CT影像集合进行标注构成样本集，还包括：
将所述样本集划分为训练集和测试集，并对所述训练集进行扩充。
9.根据权利要求8所述的方法，其特征在于，对所述训练集进行扩充的方法包括：
随机旋转图像，对图像进行水平翻转和垂直翻转，对图像进行随机裁剪并恢复原本大小，调整图像对比度，调整亮度和饱和度。
10.一种面向肠道部位CT影像的图像处理系统，其特征在于，所述系统包括：
获取模块，用于获取患者CT影像集合，对所述患者CT影像集合进行标注构成样本集；
构建模块，用于构建由编码器与解码器构成的AACN-UNet神经网络模型，利用所述样本集对AACN-UNet神经网络模型进行训练；
确定模块，用于将目标肠道部位CT影像输入到训练完成的AACN-UNet神经网络模型中，确定图像处理结果；其中，所述构建由编码器与解码器构成的AACN-UNet神经网络模型，所述编码器通过ConvNeXt-t网络作为主干特征提取网络，并引入通道注意力处理和空间注意力处理将在不同级别提取的特征与对原始特征进行重新标定；所述解码器包括通过双线性上采样、特征串联、双卷积以及CBAM对编码后的特征进行解码。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211274016.2A CN115439471A (zh) | 2022-10-18 | 2022-10-18 | 一种面向肠道部位ct影像的图像处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211274016.2A CN115439471A (zh) | 2022-10-18 | 2022-10-18 | 一种面向肠道部位ct影像的图像处理方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115439471A true CN115439471A (zh) | 2022-12-06 |
Family
ID=84250721
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211274016.2A Pending CN115439471A (zh) | 2022-10-18 | 2022-10-18 | 一种面向肠道部位ct影像的图像处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115439471A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116167990A (zh) * | 2023-01-28 | 2023-05-26 | 阿里巴巴（中国）有限公司 | 基于图像的目标识别、神经网络模型处理方法 |
-
2022
- 2022-10-18 CN CN202211274016.2A patent/CN115439471A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116167990A (zh) * | 2023-01-28 | 2023-05-26 | 阿里巴巴（中国）有限公司 | 基于图像的目标识别、神经网络模型处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112489061B (zh) | 一种基于多尺度信息与并行注意力机制的深度学习肠道息肉分割方法 | |
| CN109087703B (zh) | 基于深度卷积神经网络的腹腔ct图像腹膜转移标记方法 | |
| US20170249739A1 (en) | Computer analysis of mammograms | |
| CN112785617B (zh) | 残差UNet直肠癌肿瘤磁共振图像自动分割方法 | |
| CN113674253B (zh) | 基于U-Transformer的直肠癌CT影像自动分割方法 | |
| CN110717907A (zh) | 一种基于深度学习的手部肿瘤智能检测方法 | |
| CN110728239B (zh) | 一种利用深度学习的胃癌增强ct图像自动识别系统 | |
| CN117152433A (zh) | 一种基于多尺度跨层注意力融合网络的医学图像分割方法 | |
| CN115471470A (zh) | 一种食管癌ct图像分割方法 | |
| KR20220144687A (ko) | 듀얼 어텐션 다중 인스턴스 학습 방법 | |
| CN113781489A (zh) | 一种息肉影像语义分割方法及装置 | |
| CN114677511A (zh) | 一种残差ECA通道注意力UNet结合TRW-S的肺结节分割方法 | |
| AR | A deep learning-based lung cancer classification of CT images using augmented convolutional neural networks | |
| CN115908449A (zh) | 一种基于改进UNet模型的2.5D医学CT影像分割方法及装置 | |
| Wen et al. | Pulmonary nodule detection based on convolutional block attention module | |
| Fan et al. | SELDNet: Sequenced encoder and lightweight decoder network for COVID-19 infection region segmentation | |
| CN115631387B (zh) | 基于图卷积神经网络的肺癌病理高危因素预测方法和装置 | |
| CN116934683A (zh) | 人工智能辅助超声诊断脾创伤的方法 | |
| CN110738649A (zh) | 一种用于胃癌增强CT图像自动识别的Faster RCNN网络的训练方法 | |
| CN115439471A (zh) | 一种面向肠道部位ct影像的图像处理方法及系统 | |
| CN116485812A (zh) | 基于改进U-Net网络的甲状腺腺体和结节分割方法 | |
| US20220287647A1 (en) | Disease classification by deep learning models | |
| Zhao et al. | Mms-net: multi-level multi-scale feature extraction network for medical image segmentation | |
| CN114822842A (zh) | 磁共振结直肠癌t分期预测方法及系统 | |
| CN112862089A (zh) | 一种具有可解释性的医学图像深度学习方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |