CN117558414B - 多任务肝细胞癌早期复发预测系统、电子设备、介质 - Google Patents

多任务肝细胞癌早期复发预测系统、电子设备、介质 Download PDF

Info

Publication number
CN117558414B
CN117558414B CN202311568414.XA CN202311568414A CN117558414B CN 117558414 B CN117558414 B CN 117558414B CN 202311568414 A CN202311568414 A CN 202311568414A CN 117558414 B CN117558414 B CN 117558414B
Authority
CN
China
Prior art keywords
image
segmentation
model
training
early recurrence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311568414.XA
Other languages
English (en)
Other versions
CN117558414A (zh
Inventor
赵嘉玥
许莹莹
张楚杰
陈延伟
林兰芬
童若锋
李劲松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202311568414.XA priority Critical patent/CN117558414B/zh
Publication of CN117558414A publication Critical patent/CN117558414A/zh
Application granted granted Critical
Publication of CN117558414B publication Critical patent/CN117558414B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种多任务肝细胞癌早期复发预测系统、电子设备、介质，包括：预处理模块、数据增强模块、模型训练模块和复发预测模块，选取训练图像对早期复发预测模型进行训练，训练过程中，使用随机梯度下降算法更新模型参数，得到训练好的多任务肝细胞癌早期复发预测模型；所述早期复发预测模型包括早期复发预测分支模型和肿瘤分割分支模型；所述早期复发预测分支模型包括分类网络、分类适应器、全连接层和投影头；所述肿瘤分割分支模型包括编码器、分割适应器和解码器。本发明中适应器充分利用了关联任务的信息，提高了复发预测的精度；本发明提出的适应器即插即用，不会影响模型原有结构。

Description

多任务肝细胞癌早期复发预测系统、电子设备、介质
技术领域
本申请涉及医学图像分析领域，尤其涉及一种多任务肝细胞癌早期复发预测系统、电子设备、介质。
背景技术
肝细胞癌（hepatocellular carcinoma，HCC）是一种具有代表性的原发性肝癌，通常由长期反复肝损伤引起，手术切除是HCC的根治性治疗方法之一。然而，术后肝内或肝外复发仍然是影响患者生存的主要原因。 HCC复发的高峰时间是切除后的一年，被定义为“早期复发”（early recurrence，ER）。由于 HCC 切除后早期复发与较低的总生存率相关，因此能够预测切除后的复发风险在临床决策具有重要意义。
计算机断层扫描（computed tomography，CT）在HCC的检测、诊断和治疗中发挥着重要作用。造影增强的CT造影增强CT是一种在静脉注射造影剂后进行CT扫描的技术，被广泛应用于肝脏肿瘤诊断。造影增强CT通常包括平扫期、动脉期和门脉期三个期相。平扫期是指在注射造影剂前进行的CT扫描，注射造影剂后30秒到40秒进行的CT扫描被称为动脉期，注射后70秒到80秒进行的CT扫描被称为门脉期。
多任务学习是一种同时训练多个任务的机器学习方法，可以实现任务之间的信息共享。由于不同的任务可能有不同的噪音模式，同时学习多个任务可以帮助模型得到更加泛化的特征表示，降低过拟合的风险。此外，多任务学习还可以利用任务之间的相关性，提高模型对某些难以捕捉的特征的学习能力。假设某特征G很容易被任务B学习，但是难以被另一个任务A学习。这可能是因为A以更复杂的方式与特征进行交互，或者因为其它特征阻碍了模型对G的学习。通过多任务学习，模型可以借助任务B更容易地获取G的信息，从而提高任务A的性能。
利用深度学习方法进行肝细胞癌早期复发预测时，现有的做法是通常将肿瘤分割和早期复发预测分成两个阶段进行，先从肝脏CT影像中分割裁剪出肿瘤的区域，再对其进行早期复发预测。两阶段的方法忽略掉任务之间所含的关联信息，例如肿瘤的位置和大小等信息。
为了充分利用任务间的相关信息，本发明提出一种多任务学习方法，将肿瘤分割与早期复发预测两个任务联合训练，模型的一次前向过程可以同时得到肿瘤的分割结果和早期复发预测的结果，而且利用了任务间的潜在信息，提高模型表现。
然而，不同的任务对于图像特征的侧重点不同。根据研究结果，分类任务更加倾向于特征丰富的区域，而分割任务更加侧重边缘信息。直接将不同任务的特征融合在一起，可能会导致任务之间互相干扰，降低模型性能。
为了解决这个问题，本文设计了一个特征交换和融合的机制，使得不同任务的特征可以在适当的层次进行交换和融合，增强特征的表达能力和泛化能力。此外，本文还引入了一种有监督对比损失函数，用于优化早期复发预测任务。该损失函数可以增强同类样本之间的相似性和异类样本之间的差异性，提高分类边距和鲁棒性。
发明内容
本发明的目的在于针对现有技术的不足，提供了一种多任务肝细胞癌早期复发预测系统、电子设备、介质。
本发明的目的是通过以下技术方案来实现的：
第一方面，本发明提供了一种多任务肝细胞癌早期复发预测系统，包括：
预处理模块，用于获得M张多期相肝脏CT影像及对应图像标签，对每一张多期相肝脏CT影像进行预处理：从每一张多期相肝脏CT影像中分割出肝脏区域并裁剪，将同一位置的平扫期、动脉期与门脉期的影像按照RGB三个通道合并为一个三通道的图像；并得到每一张三通道的图像的分割标签；
数据增强模块，用于对每一张三通道的图像进行两次不同的数据增强操作，得到第一训练图像集合以及第二训练图像集合，并将第一训练图像集合和第二训练图像集合进行合并，得到训练图像集；
模型训练模块，用于选取训练图像集中N张图像对早期复发预测模型进行训练，训练过程中，使用随机梯度下降算法更新模型参数，得到训练好的多任务肝细胞癌早期复发预测模型；
所述早期复发预测模型包括早期复发预测分支模型和肿瘤分割分支模型；所述早期复发预测分支模型包括分类网络、分类适应器、全连接层和投影头；所述肿瘤分割分支模型包括编码器、分割适应器和解码器；
复发预测模块，用于基于训练好的多任务肝细胞癌早期复发预测模型进行早期复发预测。
进一步地，所述获得M张多期相肝脏CT影像及对应图像标签，对每一张多期相肝脏CT影像进行预处理：从每一张多期相肝脏CT影像中分割出肝脏区域并裁剪，将同一位置的平扫期、动脉期与门脉期的影像按照RGB三个通道合并为一个三通道的图像；并得到每一张三通道的图像的分割标签，具体包括以下子步骤：
（1.1）获得M张包括平扫期、动脉期与门脉期三个期相的多期相肝脏CT影像：、、…、、…、；出现肝细胞癌早期复发的患者对应的多期相肝脏CT影像给予图像标签1：，没有出现肝细胞癌早期复发的患者对应的多期相肝脏CT影像给予图像标签0：；
（1.2）对每一张多期相肝脏CT影像进行预处理：从任意一张多期相肝脏CT影像中筛选出包含肿瘤区域的/>个切片，并将每个切片中的肝脏区域裁剪出来，得到/>个肝脏区域切片；将同一肝脏区域切片的平扫期、动脉期和门脉期的切片按照RGB三个通道合并同时将尺寸缩放为224像素*224像素，得到一个三通道的图像，得到/>、/>、…、/>、…、/>，其中，/>为多期相肝脏CT影像/>中包含肿瘤区域的第i个三通道图像，/>；
（1.3）并对每一个三通道图像进行处理：将三通道图像/>中门脉期切片上属于肿瘤的像素的像素值设为1，属于非肿瘤的像素的像素值设为0，生成一个尺寸相同的单通道图像作为分割标签/>；
（1.4）对所有的多期相肝脏CT影像重复步骤（1.2）和步骤（1.3），得到三通道图像集：以及对应的分割标签集合：/>。
进一步地，所述对每一张三通道的图像进行两次不同的数据增强操作，得到第一训练图像集合以及第二训练图像集合，并将第一训练图像集合和第二训练图像集合进行合并，得到训练图像集，具体为：
对三通道图像集中每一个三通道图像进行两次不同的数据增强操作，得到第一训练图像集合/>以及第二训练图像集合，其中，/>为任意一张三通道图像/>进行第一次数据增强操作后的图像，/>为任意一张三通道图像/>进行第二次数据增强操作后的图像；所述数据增强操作为随机旋转、随机水平和垂直翻转或随机仿射变换；并将第一训练图像集合和第二训练图像集合进行合并，得到训练图像集。
进一步地，所述模型训练模块中，训练图像集中任意一张图片输入至多任务肝细胞癌早期复发预测模型后输出图片/>的早期复发概率/>、肿瘤分割概率/>和特征向量，具体包括以下子步骤：
（a1）训练图像集中任意一张图片输入至多任务肝细胞癌早期复发预测模型后，经分类网络提取到图像/>的分类特征/>：/>，所述分类特征/>的维度为；经编码器提取到图像/>的分割特征/>：/>，所述分割特征的维度为/>；
（a2）分类特征和分割特征/>随后输入至分类适应器；所述分类适应器包括的卷积层/>和全局平均池化层GAP；分割特征/>经卷积层/>的卷积操作后，得到维度为/>的特征/>：/>，然后特征/>经过全局平均池化层GAP，得到维度为/>的特征/>：/>；
分类特征经过全局平均池化层GAP，得到维度为/>的特征/>；；
特征和特征/>相加，得到融合后的分类特征/>：；
（a3）分类特征和分割特征/>并输入至分割适应器，所述分割适应器包括/>的卷积层/>；分类特征/>经卷积层/>的卷积操作后，得到维度为/>的特征：/>；
特征和分割特征/>相加，得到融合后的分割特征/>：；
（a4）融合后的分类特征经过全连接层，得到图像/>的早期复发概率/>；
（a5）融合后的分割特征传输至解码器，输出与图像/>的图像大小相同的单通道肿瘤分割图像/>，所述单通道肿瘤分割图像/>包括/>个像素点的像素值：，其中，H表示单通道肿瘤分割图像/>中包含H行的像素点，W表示单通道肿瘤分割图像/>中包含W列的像素点，/>，/>，/>表示单通道肿瘤分割图像/>中第h行、第w列的像素点的像素值；随后将单通道肿瘤分割图像中不小于0.5的像素值均设为1，并将小于0.5的像素值均设为0，得到肿瘤分割图像/>；
（a6）融合后的分类特征经过投影头，得到图像/>的特征向量/>。
进一步地，所述模型训练模块中，采用损失函数对早期复发预测模型进行训练；
所述损失函数为/>，其中，/>为早期复发预测分支模型的交叉熵损失函数；/>为肿瘤分割分支模型的交叉熵损失函数；/>为肿瘤分割分支模型的有监督对比损失函数；/>为自适应的系数。
进一步地，所述早期复发预测分支模型的交叉熵损失函数为：
；
其中，为图像/>的图像标签。
进一步地，所述肿瘤分割分支模型的交叉熵损失函数为：
；
其中，为图像/>的分割标签中第h行、第w列的像素点的像素值。
进一步地，所述肿瘤分割分支模型的有监督对比损失函数为：
；
其中，表示选取的N张图像与图像/>的图像标签相同的所有样本构成的正样本集；/>表示正样本集/>中的样本总数；/>表示正样本集/>中任意一张图像的特征向量；/>为选取的N张图像中任意一张图像的特征向量；/>为温度参数。
第二方面，本发明提供了一种电子设备，包括存储器和处理器，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述的多任务肝细胞癌早期复发预测系统。
第三方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的多任务肝细胞癌早期复发预测系统。
本发明的有益效果是：所提出的多任务学习框架，通过学习关联任务中的共享信息，提高任务的表现；多个任务一次前向推理就能得出结果，缩短了处理流程，提高效率；所提出的任务自适应模块即插即用，不影响模型本身的结构，应用范围广。
附图说明
图1为一种多任务肝细胞癌早期复发预测系统的示意图；
图2为早期复发预测分支模型的结构图；
图3为肿瘤分割分支模型的结构图；
图4为生成单通道肿瘤分割图像的流程图；
图5为生成早期复发概率和特征向量的流程图；
图6为一种电子设备的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加明白清楚，结合附图和实施例，对本发明进一步的详细说明，应当理解，此处所描述的具体实施例仅仅用以解释本发明，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得 的所有其他实施例，均在本发明保护范围。
实施例1：如图1所示，本发明提供了一种多任务肝细胞癌早期复发预测系统，包括：
预处理模块，用于获得M张多期相肝脏CT影像及对应图像标签，对每一张多期相肝脏CT影像进行预处理：从每一张多期相肝脏CT影像中分割出肝脏区域并裁剪，将同一位置的平扫期、动脉期与门脉期的影像按照RGB三个通道合并为一个三通道的图像；并得到每一张三通道的图像的分割标签。
所述获得M张多期相肝脏CT影像及对应图像标签，对每一张多期相肝脏CT影像进行预处理：从每一张多期相肝脏CT影像中分割出肝脏区域并裁剪，将同一位置的平扫期、动脉期与门脉期的影像按照RGB三个通道合并为一个三通道的图像；并得到每一张三通道的图像的分割标签，具体包括以下子步骤：
（1.1）获得M张包括平扫期、动脉期与门脉期三个期相的多期相肝脏CT影像：、 、…、、…、；出现肝细胞癌早期复发的患者对应的多期相肝脏CT影像给予图像标签 1：，没有出现肝细胞癌早期复发的患者对应的多期相肝脏CT影像给予图像标签0：。
（1.2）对每一张多期相肝脏CT影像进行预处理：从任意一张多期相肝脏CT影像中筛选出包含肿瘤区域的/>个切片，并将每个切片中的肝脏区域裁剪出来，得到/>个肝脏区域切片；将同一肝脏区域切片的平扫期、动脉期和门脉期的切片按照RGB三个通道合并同时将尺寸缩放为224像素*224像素，得到一个三通道的图像，得到/>、/>、…、/>、…、/>，其中，/>为多期相肝脏CT影像/>中包含肿瘤区域的第i个三通道图像，/>。
（1.3）并对每一个三通道图像进行处理：将三通道图像/>中门脉期切片上属于肿瘤的像素的像素值设为1，属于非肿瘤的像素的像素值设为0，生成一个尺寸相同的单通道图像作为分割标签/>。
（1.4）对所有的多期相肝脏CT影像重复步骤（1.2）和步骤（1.3），得到三通道图像集：以及对应的分割标签集合：/>。
数据增强模块，用于对每一张三通道的图像进行两次不同的数据增强操作，得到第一训练图像集合以及第二训练图像集合，并将第一训练图像集合和第二训练图像集合进行合并，得到训练图像集。
所述对每一张三通道的图像进行两次不同的数据增强操作，得到第一训练图像集合以及第二训练图像集合，并将第一训练图像集合和第二训练图像集合进行合并，得到训练图像集，具体为：
对三通道图像集中每一个三通道图像进行两次不同的数据增强操作，得到第一训练图像集合/>以及第二训练图像集合，其中，/>为任意一张三通道图像/>进行第一次数据增强操作后的图像，/>为任意一张三通道图像/>进行第二次数据增强操作后的图像；所述数据增强操作为随机旋转、随机水平和垂直翻转或随机仿射变换；并将第一训练图像集合和第二训练图像集合进行合并，得到训练图像集。
模型训练模块，用于选取训练图像集中N张图像对早期复发预测模型进行训练，训练过程中，使用随机梯度下降算法更新模型参数，得到训练好的多任务肝细胞癌早期复发预测模型。
所述早期复发预测模型包括早期复发预测分支模型和肿瘤分割分支模型。
如图2所示，所述早期复发预测分支模型包括分类网络、分类适应器、全连接层和投影头。所述分类网络为ResNet50模型，其中，ResNet50的第二个残差模块的步长设置为2，其余残差模块的步长设置为1。所述分类适应器包括的卷积层/>和全局平均池化层GAP。
如图3所示，所述肿瘤分割分支模型包括编码器、分割适应器和解码器。肿瘤分割分支模中由编码器和解码器组成分割网络，所述分割网络为UNet模型。所述分割适应器包括的卷积层/>。
如图4和图5所示，所述模型训练模块中，训练图像集中任意一张图片输入至多任务肝细胞癌早期复发预测模型后输出图片/>的早期复发概率/>、肿瘤分割概率/>和特征向量/>，具体包括以下子步骤：
（a1）训练图像集中任意一张图片输入至多任务肝细胞癌早期复发预测模型后，经分类网络提取到图像/>的分类特征/>：/>，所述分类特征/>的维度为；经编码器提取到图像/>的分割特征/>：/>，所述分割特征的维度为/>。
（a2）分类特征和分割特征/>随后输入至分类适应器；所述分类适应器包括的卷积层/>和全局平均池化层GAP；分割特征/>经卷积层/>的卷积操作后，得到维度为/>的特征/>：/>，然后特征/>经过全局平均池化层GAP，得到维度为/>的特征/>：/>。
分类特征经过全局平均池化层GAP，得到维度为/>的特征/>；。
特征和特征/>相加，得到融合后的分类特征/>：。
（a3）分类特征和分割特征/>并输入至分割适应器，所述分割适应器包括/>的卷积层/>；分类特征/>经卷积层/>的卷积操作后，得到维度为/>的特征：/>。
特征和分割特征/>相加，得到融合后的分割特征/>：。
（a4）融合后的分类特征经过全连接层，得到图像/>的早期复发概率/>。
（a5）融合后的分割特征传输至解码器，输出与图像/>的图像大小相同的单通道肿瘤分割图像/>，所述单通道肿瘤分割图像/>包括/>个像素点的像素值：，其中，H表示单通道肿瘤分割图像/>中包含H行的像素点，W表示单通道肿瘤分割图像/>中包含W列的像素点，/>，/>，/>表示单通道肿瘤分割图像/>中第h行、第w列的像素点的像素值；随后将单通道肿瘤分割图像中不小于0.5的像素值均设为1，并将小于0.5的像素值均设为0，得到肿瘤分割图像/>。
（a6）融合后的分类特征经过投影头，得到图像/>的特征向量/>。
所述模型训练模块中，采用损失函数对多任务肝细胞癌早期复发预测模型进行训练；
所述损失函数为/>，其中，/>为早期复发预测分支模型的交叉熵损失函数；/>为肿瘤分割分支模型的交叉熵损失函数；/>为肿瘤分割分支模型的有监督对比损失函数；/>为自适应的系数。
所述早期复发预测分支模型的交叉熵损失函数为：
；
其中，为图像/>的图像标签。
所述肿瘤分割分支模型的交叉熵损失函数为：
；
其中，为图像/>的分割标签中第h行、第w列的像素点的像素值。
所述肿瘤分割分支模型的有监督对比损失函数为：
；
其中，表示选取的N张图像与图像/>的图像标签相同的所有样本构成的正样本集；/>表示正样本集/>中的样本总数；/>表示正样本集/>中任意一张图像的特征向量；/>为选取的N张图像中任意一张图像的特征向量；/>为温度参数。
对于一个选取的N张图像中任意一个图像，其图像标签为/>，将选取的N张图像与图像/>的图像标签相同的所有样本构成正样本集/>，与图像/>的图像标签不同的图像记为负样本。有监督对比损失的目的是，让图像/>的特征向量/>在特征空间上的距离与同一类别的正样本更接近，与负样本的距离更远。
本发明使用随机梯度下降算法来训练多任务学习框架，目的是最小化损失函数。
在梯度反向传播过程中，每个任务分支的梯度只在自己的分支内部进行回传，不会通过适应器传递到其他分支，即每个任务分支和其对应的适应器的参数只受到自己分支的损失函数的影响，不会被其他任务的梯度干扰。从而实现在利用其他任务分支的特征进行融合的同时，不降低当前任务的性能。
复发预测模块，用于基于训练好的多任务肝细胞癌早期复发预测模型进行早期复发预测。
将待测的多期相肝脏CT影像进行预处理后，输入至训练好的多任务肝细胞癌早期复发预测模型，得到待测的多期相肝脏CT影像的早期复发概率和肿瘤分割图像。
表1中为本发明方法与分阶段方法的对比结果。分阶段方法是指先使用训练好的分割网络对肿瘤区域进行分割，然后将分割出来的肿瘤区域输入至分类网络对进行早期复发预测，这种方法需要训练两个独立的网络，并且早期复发预测任务受到分割精度的影响，导致预测准确性降低。本发明提出的多任务方法可以同时进行肿瘤分割和早期复发预测，减少了训练时间，并且利用任务之间的关联信息，提高了早期复发预测的准确性。与分阶段训练对比，本发明的多任务方法在早期复发预测任务上的精度提高了11.91%。
表1：本发明的多任务方法与单任务方法在准确性和分割Dice的对比
表2为本发明方法中任务分支适应器有效性的实验结果。不加适应器的方法指的是直接将早期复发预测分支和肿瘤分割分支的特征进行相加。不加有监督对比损失指的是在早期复发预测分支的损失函数中只使用交叉熵损失。加入适应器指加入分类适应器和分割适应器，早期复发预测精度提高了4.82%，肿瘤分割精度提高了0.5%，实验结果证明本发明提出的分类适应器和分割适应器可以有效地利用任务间的关联信息，提高特征的表达能力和泛化能力，提高模型性能。
表2：本发明的任务分支适应器消融实验
表3为本发明方法中有监督对比损失有效性的实验结果。不加有监督对比损失函数指的是在早期复发预测分支的损失函数中只使用交叉熵损失函数。实验结果表明，加入有监督对比损失函数可以进一步提高早期复发预测的准确性。
表3：本发明的有监督对比损失消融实验
相应的，本申请还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的多任务肝细胞癌早期复发预测系统。如图6示，为本发明实施例提供的多任务肝细胞癌早期复发预测系统所在任意具备数据处理能力的设备的一种硬件结构图，除了图6示的处理器、内存以及网络接口之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
相应的，本申请还提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述的多任务肝细胞癌早期复发预测系统。所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (3)

1.一种多任务肝细胞癌早期复发预测系统，其特征在于，包括：
预处理模块，用于获得M张多期相肝脏CT影像及对应图像标签，对每一张多期相肝脏CT影像进行预处理：从每一张多期相肝脏CT影像中分割出肝脏区域并裁剪，将同一位置的平扫期、动脉期与门脉期的影像按照RGB三个通道合并为一个三通道的图像；并得到每一张三通道的图像的分割标签；
所述获得M张多期相肝脏CT影像及对应图像标签，对每一张多期相肝脏CT影像进行预处理：从每一张多期相肝脏CT影像中分割出肝脏区域并裁剪，将同一位置的平扫期、动脉期与门脉期的影像按照RGB三个通道合并为一个三通道的图像；并得到每一张三通道的图像的分割标签，具体包括以下子步骤：
（1.1）获得M张包括平扫期、动脉期与门脉期三个期相的多期相肝脏CT影像：、/>、…、、…、/>；出现肝细胞癌早期复发的患者对应的多期相肝脏CT影像/>给予图像标签1：，没有出现肝细胞癌早期复发的患者对应的多期相肝脏CT影像/>给予图像标签0：；
（1.2）对每一张多期相肝脏CT影像进行预处理：从任意一张多期相肝脏CT影像中筛选出包含肿瘤区域的/>个切片，并将每个切片中的肝脏区域裁剪出来，得到/>个肝脏区域切片；将同一肝脏区域切片的平扫期、动脉期和门脉期的切片按照RGB三个通道合并同时将尺寸缩放为224像素*224像素，得到一个三通道的图像，得到/>、/>、…、/>、…、/>，其中，/>为多期相肝脏CT影像/>中包含肿瘤区域的第i个三通道图像，/>；
（1.3）并对每一个三通道图像进行处理：将三通道图像/>中门脉期切片上属于肿瘤的像素的像素值设为1，属于非肿瘤的像素的像素值设为0，生成一个尺寸相同的单通道图像作为分割标签/>；
（1.4）对所有的多期相肝脏CT影像重复步骤（1.2）和步骤（1.3），得到三通道图像集：以及对应的分割标签集合：/>;
数据增强模块，用于对每一张三通道的图像进行两次不同的数据增强操作，得到第一训练图像集合以及第二训练图像集合，并将第一训练图像集合和第二训练图像集合进行合并，得到训练图像集；
所述对每一张三通道的图像进行两次不同的数据增强操作，得到第一训练图像集合以及第二训练图像集合，并将第一训练图像集合和第二训练图像集合进行合并，得到训练图像集，具体为：
对三通道图像集中每一个三通道图像进行两次不同的数据增强操作，得到第一训练图像集合/>以及第二训练图像集合/>，其中，/>为任意一张三通道图像/>进行第一次数据增强操作后的图像，/>为任意一张三通道图像/>进行第二次数据增强操作后的图像；所述数据增强操作为随机旋转、随机水平和垂直翻转或随机仿射变换；并将第一训练图像集合和第二训练图像集合进行合并，得到训练图像集；
模型训练模块，用于选取训练图像集中N张图像对早期复发预测模型进行训练，训练过程中，使用随机梯度下降算法更新模型参数，得到训练好的多任务肝细胞癌早期复发预测模型；
所述模型训练模块中，训练图像集中任意一张图片输入至多任务肝细胞癌早期复发预测模型后输出图片/>的早期复发概率/>、肿瘤分割概率/>和特征向量/>，具体包括以下子步骤：
（a1）训练图像集中任意一张图片输入至多任务肝细胞癌早期复发预测模型后，经分类网络提取到图像/>的分类特征/>：/>，所述分类特征/>的维度为；经编码器提取到图像/>的分割特征/>：/>，所述分割特征的维度为/>；
（a2）分类特征和分割特征/>随后输入至分类适应器；所述分类适应器包括/>的卷积层/>和全局平均池化层GAP；分割特征/>经卷积层/>的卷积操作后，得到维度为的特征/>：/>，然后特征/>经过全局平均池化层GAP，得到维度为/>的特征/>：/>；
分类特征经过全局平均池化层GAP，得到维度为/>的特征/>；；
特征和特征/>相加，得到融合后的分类特征/>：；
（a3）分类特征和分割特征/>并输入至分割适应器，所述分割适应器包括/>的卷积层/>；分类特征/>经卷积层/>的卷积操作后，得到维度为/>的特征/>：；
特征和分割特征/>相加，得到融合后的分割特征/>：；（a4）融合后的分类特征/>经过全连接层，得到图像/>的早期复发概率/>；
（a5）融合后的分割特征传输至解码器，输出与图像/>的图像大小相同的单通道肿瘤分割图像/>，所述单通道肿瘤分割图像/>包括/>个像素点的像素值：，其中，H表示单通道肿瘤分割图像/>中包含H行的像素点，W表示单通道肿瘤分割图像/>中包含W列的像素点，/>，/>，/>表示单通道肿瘤分割图像/>中第h行、第w列的像素点的像素值；随后将单通道肿瘤分割图像中不小于0.5的像素值均设为1，并将小于0.5的像素值均设为0，得到肿瘤分割图像/>；
（a6）融合后的分类特征经过投影头，得到图像/>的特征向量/>；
所述模型训练模块中，采用损失函数对早期复发预测模型进行训练；
所述损失函数为/>，其中，/>为早期复发预测分支模型的交叉熵损失函数；/>为肿瘤分割分支模型的交叉熵损失函数；/>为肿瘤分割分支模型的有监督对比损失函数；/>为自适应的系数；
所述早期复发预测分支模型的交叉熵损失函数为：
；
其中，为图像/>的图像标签；
所述肿瘤分割分支模型的交叉熵损失函数为：
；
其中，为图像/>的分割标签中第h行、第w列的像素点的像素值；
所述肿瘤分割分支模型的有监督对比损失函数为：
；
其中，表示选取的N张图像与图像/>的图像标签相同的所有样本构成的正样本集；表示正样本集/>中的样本总数；/>表示正样本集/>中任意一张图像的特征向量；/>为选取的N张图像中任意一张图像的特征向量；/>为温度参数；
所述早期复发预测模型包括早期复发预测分支模型和肿瘤分割分支模型；所述早期复发预测分支模型包括分类网络、分类适应器、全连接层和投影头；所述肿瘤分割分支模型包括编码器、分割适应器和解码器；
复发预测模块，用于基于训练好的多任务肝细胞癌早期复发预测模型进行早期复发预测。
2.一种电子设备，包括存储器和处理器，其特征在于，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述权利要求1所述的多任务肝细胞癌早期复发预测系统。
3.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1所述的多任务肝细胞癌早期复发预测系统。
CN202311568414.XA 2023-11-23 2023-11-23 多任务肝细胞癌早期复发预测系统、电子设备、介质 Active CN117558414B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311568414.XA CN117558414B (zh) 2023-11-23 2023-11-23 多任务肝细胞癌早期复发预测系统、电子设备、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311568414.XA CN117558414B (zh) 2023-11-23 2023-11-23 多任务肝细胞癌早期复发预测系统、电子设备、介质

Publications (2)

Publication Number Publication Date
CN117558414A CN117558414A (zh) 2024-02-13
CN117558414B true CN117558414B (zh) 2024-05-24

Family

ID=89820222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311568414.XA Active CN117558414B (zh) 2023-11-23 2023-11-23 多任务肝细胞癌早期复发预测系统、电子设备、介质

Country Status (1)

Country Link
CN (1) CN117558414B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118485A (zh) * 2018-08-13 2019-01-01 复旦大学 基于多任务神经网络的消化道内镜图像分类及早癌检测系统
CN110533630A (zh) * 2019-07-11 2019-12-03 上海大学 一种基于神经网络的膀胱癌检测方法
CN110929789A (zh) * 2019-11-22 2020-03-27 北京理工大学 基于多期ct影像分析的肝肿瘤自动分类方法及装置
CN113378933A (zh) * 2021-06-11 2021-09-10 合肥合滨智能机器人有限公司 甲状腺超声图像分类和分割网络、训练方法、装置及介质
WO2021203796A1 (zh) * 2020-04-09 2021-10-14 之江实验室 一种基于深度半监督多任务学习生存分析的疾病预后预测系统
CN114882996A (zh) * 2022-03-17 2022-08-09 深圳大学 基于多任务学习的肝细胞癌ck19及mvi预测方法
CN115330816A (zh) * 2022-08-15 2022-11-11 西安电子科技大学 基于多头交叉注意力转换网络的多时相肝肿瘤分割方法
CN115619794A (zh) * 2022-05-11 2023-01-17 复旦大学 基于神经网络的原发性肝细胞癌病灶分割系统及方法
CN116258685A (zh) * 2023-01-18 2023-06-13 北京理工大学 全局和局部特征同时提取与融合的多器官分割方法及装置
CN116309359A (zh) * 2023-02-17 2023-06-23 衢州市人民医院 一种用于肝癌患者pd-1和pd-l1表达的无创预测方法
CN116757988A (zh) * 2023-08-17 2023-09-15 齐鲁工业大学(山东省科学院) 基于语义丰富和分割任务的红外与可见光图像融合方法
CN117036894A (zh) * 2023-10-09 2023-11-10 之江实验室 基于深度学习的多模态数据分类方法、装置及计算机设备
CN117152179A (zh) * 2023-09-25 2023-12-01 太原理工大学 基于U-Net和SENet实现直肠癌CT图像的分割与分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114530224A (zh) * 2022-01-18 2022-05-24 深圳市智影医疗科技有限公司 基于医学影像的诊断报告辅助生成方法及系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118485A (zh) * 2018-08-13 2019-01-01 复旦大学 基于多任务神经网络的消化道内镜图像分类及早癌检测系统
CN110533630A (zh) * 2019-07-11 2019-12-03 上海大学 一种基于神经网络的膀胱癌检测方法
CN110929789A (zh) * 2019-11-22 2020-03-27 北京理工大学 基于多期ct影像分析的肝肿瘤自动分类方法及装置
WO2021203796A1 (zh) * 2020-04-09 2021-10-14 之江实验室 一种基于深度半监督多任务学习生存分析的疾病预后预测系统
CN113378933A (zh) * 2021-06-11 2021-09-10 合肥合滨智能机器人有限公司 甲状腺超声图像分类和分割网络、训练方法、装置及介质
CN114882996A (zh) * 2022-03-17 2022-08-09 深圳大学 基于多任务学习的肝细胞癌ck19及mvi预测方法
CN115619794A (zh) * 2022-05-11 2023-01-17 复旦大学 基于神经网络的原发性肝细胞癌病灶分割系统及方法
CN115330816A (zh) * 2022-08-15 2022-11-11 西安电子科技大学 基于多头交叉注意力转换网络的多时相肝肿瘤分割方法
CN116258685A (zh) * 2023-01-18 2023-06-13 北京理工大学 全局和局部特征同时提取与融合的多器官分割方法及装置
CN116309359A (zh) * 2023-02-17 2023-06-23 衢州市人民医院 一种用于肝癌患者pd-1和pd-l1表达的无创预测方法
CN116757988A (zh) * 2023-08-17 2023-09-15 齐鲁工业大学(山东省科学院) 基于语义丰富和分割任务的红外与可见光图像融合方法
CN117152179A (zh) * 2023-09-25 2023-12-01 太原理工大学 基于U-Net和SENet实现直肠癌CT图像的分割与分类方法
CN117036894A (zh) * 2023-10-09 2023-11-10 之江实验室 基于深度学习的多模态数据分类方法、装置及计算机设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Multi-task Learning Network for Automatic Pancreatic Tumor Segmentation and Classification with Inter-Network Channel Feature Fusion;Kaiwen Chen，等人;《International Conference on Neural Information Processing》;20231116;第14449卷;第564–577页 *
基于特征交换的CNN 图像分类算法研究;生龙，等人;《计算机工程》;20200930;第46卷(第9期);第268-273页 *

Also Published As

Publication number Publication date
CN117558414A (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
Song et al. Bottleneck feature supervised U-Net for pixel-wise liver and tumor segmentation
Ma et al. Segment anything in medical images
Liu et al. Weakly supervised segmentation of COVID19 infection with scribble annotation on CT images
Wu et al. Seqformer: Sequential transformer for video instance segmentation
Perone et al. Unsupervised domain adaptation for medical imaging segmentation with self-ensembling
US10929708B2 (en) Deep learning network for salient region identification in images
Xu et al. Less is more: Simultaneous view classification and landmark detection for abdominal ultrasound images
Liao et al. Face completion with semantic knowledge and collaborative adversarial learning
An et al. Medical image segmentation algorithm based on multilayer boundary perception-self attention deep learning model
Zhao et al. Versatile framework for medical image processing and analysis with application to automatic bone age assessment
Chen et al. Berdiff: Conditional bernoulli diffusion model for medical image segmentation
Wang et al. Afp-mask: Anchor-free polyp instance segmentation in colonoscopy
Yang et al. Deep hybrid convolutional neural network for segmentation of melanoma skin lesion
Xing et al. Bidirectional mapping-based domain adaptation for nucleus detection in cross-modality microscopy images
Bu et al. 3D conditional generative adversarial network‐based synthetic medical image augmentation for lung nodule detection
Lee et al. Robust end-to-end focal liver lesion detection using unregistered multiphase computed tomography images
Pal et al. A fully connected reproducible SE-UResNet for multiorgan chest radiographs segmentation
Hekal et al. Breast cancer segmentation from ultrasound images using deep dual-decoder technology with attention network
Zhang et al. TestFit: A plug-and-play one-pass test time method for medical image segmentation
Adhikari et al. Synthetic boost: Leveraging synthetic data for enhanced vision-language segmentation in echocardiography
CN117558414B (zh) 多任务肝细胞癌早期复发预测系统、电子设备、介质
Zhao et al. Diffuld: diffusive universal lesion detection
CN115965785A (zh) 图像分割方法、装置、设备、程序产品及介质
Wu et al. Automatic mass detection from mammograms with region-based convolutional neural network
Yang et al. Cervical nuclei segmentation in whole slide histopathology images using convolution neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant