CN117611806B - 基于影像和临床特征的前列腺癌手术切缘阳性预测系统 - Google Patents

基于影像和临床特征的前列腺癌手术切缘阳性预测系统 Download PDF

Info

Publication number
CN117611806B
CN117611806B CN202410096096.XA CN202410096096A CN117611806B CN 117611806 B CN117611806 B CN 117611806B CN 202410096096 A CN202410096096 A CN 202410096096A CN 117611806 B CN117611806 B CN 117611806B
Authority
CN
China
Prior art keywords
domain
features
classification
image
prostate cancer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410096096.XA
Other languages
English (en)
Other versions
CN117611806A (zh
Inventor
刘建刚
傅旭
赵立涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202410096096.XA priority Critical patent/CN117611806B/zh
Publication of CN117611806A publication Critical patent/CN117611806A/zh
Application granted granted Critical
Publication of CN117611806B publication Critical patent/CN117611806B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/16Image acquisition using multiple overlapping images; Image stitching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/032Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明属于医学图像处理领域,具体涉及了一种基于影像和临床特征的前列腺癌手术切缘阳性预测系统,旨在解决现有技术中使用CNN构建的特征提取网络在面对非独立同分布数据时,其性能下降明显的问题。本发明包括:肿瘤感兴趣区域提取模块,提取肿瘤感兴趣区域;序列配准模块,对序列进行配准;输入图像获取模块,裁剪正方形区域并处理得到输入图像;特征解耦模块,提取输入图像的特征并解耦,特征增强模块,获取肿瘤的形态学特征;特征融合与分类模块,基于影像学标签和临床特征,得到切片级PSM预测结果;预测结果获取模块,结合肿瘤的形态学特征得到切缘阳性预测结果。本发明融合mpMRI影像特征和临床特征,有效提高了PSM预测的准确性和稳定性。

Description

基于影像和临床特征的前列腺癌手术切缘阳性预测系统
技术领域
本发明属于医学图像处理领域,具体涉及了一种基于影像和临床特征的前列腺癌手术切缘阳性预测系统。
背景技术
对前列腺癌患者进行根治性前列腺切除术(RP)的过程中,最具挑战性的方面之一是如何在保证手术切缘阳性风险平衡的同时,最大限度地保留患者的勃起功能并降低尿失禁的风险。最近的研究表明,RP时神经保留与较低的术后尿失禁风险和勃起功能障碍相关,但是,保留神经会导致手术切缘阳性(PSM)的风险增加。RP后存在PSM与前列腺癌男性的生化复发和局部肿瘤复发风险增加相关,导致偶尔需要二次治疗。因此,准确的诊断PSM对优化手术策略制定个性化治疗方案,同时最大限度的优化患者生活质量具有重要意义。
多参数核磁共振成像(mpMRI)检查以非入侵、扫描图像多样化等特点成为前列腺癌诊断的一种重要方法,mpMRI包含T2WI、DWI和ADC三种模态数据,其中T2WI序列可以较为清楚的看到病灶所处位置和大小,DWI用来反映组织中水分子的弥散程度,提供一些关于组织微结构的有用信息,ADC图是由高低b值的DWI图像计算得到,可用于肿瘤良恶性辨别。近年来采用mpMRI指导前列腺癌临床决策的情况逐渐增加,临床信息在前列腺癌诊断中也一直扮演着重要角色,例如PSA、肿瘤体积、临床或者病理分期等是辅助医生诊断的重要证据。既往研究表明mpMRI可以识别与PSM相关的危险因素,同时结合mpMRI和传统术前临床信息可以提高前列腺外延伸(EPE)和精囊侵犯(SVI)等不良手术病理的预测结果。
目前术前PSM预测的方法主要分为两类,传统的列线图方法和基于人工智能的方法,传统方法主要依据临床特征和从MRI衍生得到的PI-RADS评分、肿瘤-包膜接触长度、肿瘤位置和临床分期等变量通过构建列线图或者其他评分系统进行PSM预测。而基于人工智能的方法大都通过提取预先定义的人工特征,然后经过特征筛选,保留相关的少数特征,最后通过构建机器学习模型进行预测。传统方法只能结合少数衍生影像特征和临床信息进行模型构建,在模型构建过程中容易存在特征选择不充分问题,导致预测结果不理想。而传统人工智能的方法无法提取预定义特征之外的影像特征,同时预定义的特征可能无法完全描述肿瘤异质信息,导致对肿瘤的特征建模不够充分,使模型性能受到影响。
近年来随着深度学习技术的发展,使用卷积神经网络(CNN)自动提取图像特征在前列腺癌诊断和分类问题上被证实超过传统方法。但是,使用CNN构建的特征提取网络在面对非独立同分布数据时,其性能下降明显,域泛化思想被证实是处理非独立同分布数据的一种有效的方法,而多模态特征融合方法也可以显著提高模型预测的准确性。因此有必要提出一种基于域泛化思想的融合mpMRI影像和临床信息的前列腺癌手术切缘阳性预测系统,来提高PSM预测的准确性,进而辅助根治性前列腺癌切除术的手术方案的制定,使更多患者从手术中获益。
基于此,本发明提出了一种基于影像和临床特征的前列腺癌手术切缘阳性预测系统。
发明内容
为了解决现有技术中的上述问题,即现有技术中使用CNN构建的特征提取网络在面对非独立同分布数据时,其性能下降明显的问题,本发明提供了一种基于影像和临床特征的前列腺癌手术切缘阳性预测系统,该系统包括:
肿瘤感兴趣区域提取模块,配置为获取目标对象的前列腺MRI图像序列;所述前列腺MRI图像序列包括T2序列、DWI序列和ADC序列;提取所述T2序列中各T2图像的前列腺癌肿瘤组织区域作为肿瘤感兴趣区域;
序列配准模块,配置为将所述DWI序列和ADC序列配准至所述T2序列;
输入图像获取模块,配置为分别在所述肿瘤感兴趣区域、配准的DWI序列的每张切片和配准的ADC序列的每张切片上裁剪正方形区域并缩放至同一像素大小,缩放后进行通道拼接、图像处理,得到输入图像;各正方形区域的中心为肿瘤组织中心,边长为在各肿瘤组织中心沿横轴或纵轴的最大长度所包含的像素数加预设个像素;
特征解耦模块,配置为提取所述输入图像的特征并通过特征解耦分类器解耦,得到解耦的域相关分类无关特征和解耦的分类相关域无关特征;其中,所述特征解耦分类器基于全连接网络构建;
特征增强模块,配置为将所述解耦的域相关分类无关特征和所述解耦的分类相关域无关特征按通道拼接,并输入至解码器中,得到肿瘤的形态学特征;
特征融合与分类模块,配置为将所述解耦的分类相关域无关特征对应的影像学标签和临床特征输入至融合网络中,得到切片级PSM预测结果;
预测结果获取模块,配置为将所述目标对象的所有切片级PSM预测结果的最大值作为目标对象级别PSM预测结果;基于所述目标对象级别PSM预测结果,结合所述肿瘤的形态学特征得到切缘阳性预测结果。
在一些优选的实施方式中,所述图像处理包括数据增强和归一化处理;所述数据增强包括空间变换、像素级变换;所述空间变换包括水平翻转、垂直翻转和随机仿射变化;所述像素级变换包括随机明亮度和色彩抖动。
在一些优选的实施方式中,对多个所述正方形区域缩放的方法包括双线性插值方法。
在一些优选的实施方式中,提取所述输入图像的特征,其方法为:
通过预构建的特征提取网络提取所述输入图像的特征;
所述特征提取网络包括均基于ResNet34_IBN构建的第一编码器和第二编码器;所述第一编码器根据所述输入图像的域标签提取域相关分类无关特征;所述第二编码器根据所述输入图像的PSM标签提取分类相关域无关特征;所述域标签包括0和1;所述PSM标签包括。
在一些优选的实施方式中,所述第一编码器和所述第二编码器分别通过第一损失函数和第二损失函数进行训练;
所述第一损失函数,其计算方法为:
所述第二损失函数,其计算方法为:
其中,i为第i个样本,N为总体样本数,为模型预测得到的域标签,/>为真实的域标签,/>为模型输出的PSM分类结果,/>为真实的PSM分类结果。
在一些优选的实施方式中,所述特征解耦分类器包括均基于单层全连接网络构建的分类器C1、分类器C2和分类器C3;
所述分类器C1,用于对所述域相关分类无关特征进行分类,实现域相关分类无关特征的提取;
所述分类器C2,用于对所述分类相关域无关特征进行分类,实现分类相关域无关特征的提取;
所述分类器C3,用于将所述域相关分类无关特征和所述分类相关域无关特征分别赋予任务标签0和1,并在第0维进行拼接,得到拼接特征,对所述拼接特征进行分类,以实现解耦;
所述特征解耦分类器基于正交损失和任务损失/>进行训练;
所述正交损失和所述任务损失/>,其计算方法为:
其中,和/>分别代表域相关分类无关特征和分类相关域无关特征,代表域相关分类无关特征和分类相关域无关特征的cos相似度,/>为模型预测得到的任务标签,/>为真实的任务标签。
在一些优选的实施方式中,所述解码器基于反卷积神经网络和实例归一化层构建;所述反卷积神经网络包括四层大小为3×3、步长为2的反卷积核。
在一些优选的实施方式中,所述解码器基于图像重建损失函数进行训练,所述图像重建损失函数为结构相似度损失/>和L2损失/>的和;
其中,x,y分别代表输入图像和重建得到的图像,是x的平均值,/>是y的平均值,/>是x的方差,/>是y的方差;/>是x和y的协方差;/>和/>是用来维持稳定的常数;L是像素值的动态范围;k 1 k 2 为预设系数。
在一些优选的实施方式中,所述临床特征包括前列腺特异性抗原、肿瘤的最大径、平均表观扩散系数和目标对象年龄。
在一些优选的实施方式中,所述融合网络基于多层感知机构建,所述多层感知机包括3层全连接网络和Relu激活函数,每层全连接网络的神经元的个数分别为5、16和2。
本发明的有益效果:
本发明针对PSM预测问题,通过构建影像特征解耦模块,特征增强模块和多模态特征融合模块等方法,提取和融合mpMRI影像特征和临床特征,有效提高了PSM预测的准确性和稳定性。
本发明通过特征解耦模块,将图像特征解耦为互不相关的域特征和分类特征,提高模型的泛化能力,同时通过特征融合与分类模块,将影像特征和临床特征进行融合,可以有效的提高模型预测PSM的准确性;
本发明能够结合磁共振图像和临床信息对前列腺癌手术切缘阳性问题进行精确、快速分类,从而可以辅助根治性前列腺癌切除术的手术方案的制定,使更多患者从手术中获益。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本发明的一种基于影像和临床特征的前列腺癌手术切缘阳性预测系统的流程示意图;
图2是本发明的一种基于影像和临床特征的前列腺癌手术切缘阳性预测系统中PSM预测网络结构图;
图3是本发明的一种基于影像和临床特征的前列腺癌手术切缘阳性预测系统的外部测试数据上所提方法的受试者操作特性(ROC)曲线图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
参见图1、图2,本发明第一实施例提供了一种基于影像和临床特征的前列腺癌手术切缘阳性预测系统,该系统包括:图像获取设备、信号处理器和控制处理器;
所述图像获取设备、所述信号处理器和所述控制处理器两两之间分别通过线缆或无线的方式进行通信连接;
所述图像获取设备用于对目标对象进行检测,生成目标对象的前列腺MRI图像序列;
所述信号处理器包括肿瘤感兴趣区域提取模块和序列配准模块;
肿瘤感兴趣区域提取模块,配置为获取目标对象的前列腺MRI图像序列;所述前列腺MRI图像序列包括T2序列、DWI序列和ADC序列;提取所述T2序列中各T2图像的前列腺癌肿瘤组织区域作为肿瘤感兴趣区域;
序列配准模块,配置为将所述DWI序列和ADC序列配准至所述T2序列;
所述信号处理器包括输入图像获取模块、特征解耦模块、特征增强模块、特征融合与分类模块和特征融合与分类模块;
输入图像获取模块,配置为分别在所述肿瘤感兴趣区域、配准的DWI序列的每张切片和配准的ADC序列的每张切片上裁剪正方形区域并缩放至同一像素大小,缩放后进行通道拼接、图像处理,得到输入图像;各正方形区域的中心为肿瘤组织中心,边长为在各肿瘤组织中心沿横轴或纵轴的最大长度所包含的像素数加预设个像素;
将所述输入图像输入至PSM预测网络中,得到切缘阳性预测结果,所述PSM预测网络包括:
特征解耦模块,配置为提取所述输入图像的特征并通过特征解耦分类器解耦,得到解耦的域相关分类无关特征和解耦的分类相关域无关特征;其中,所述特征解耦分类器基于全连接网络构建;
特征增强模块,配置为将所述解耦的域相关分类无关特征和所述解耦的分类相关域无关特征按通道拼接,并输入至解码器中,得到肿瘤的形态学特征;
特征融合与分类模块,配置为将所述解耦的分类相关域无关特征对应的影像学标签RS和临床特征输入至融合网络中,得到切片级PSM预测结果;
预测结果获取模块,配置为将所述目标对象的所有切片级PSM预测结果的最大值作为目标对象级别PSM预测结果;基于所述目标对象级别PSM预测结果,结合所述肿瘤的形态学特征得到切缘阳性预测结果。
其中,所述目标对象为患者。
其中,在本发明中,由影像科医生提取所述T2序列中各T2图像的前列腺癌肿瘤组织区域作为肿瘤感兴趣区域。
其中,配准DWI和ADC序列到T2WI序列所在空间,用于确保在T2WI中勾画的肿瘤ROI区域能正确覆盖DWI和ADC序列中肿瘤所在位置。
其中,在本实施例中,所述正方形区域为2维切片图像,每位目标对象的2维切片图像数量由肿瘤在3维T2WI序列中所占的切片数决定。
其中,在本实施例中,缩放至同一像素大小,优选为缩放至64×64像素大小。
其中,“缩放后进行通道拼接”,具体为:拼接成大小为64×64×3的3通道图像。
其中,使分类特征同时包含肿瘤微观信息和肿瘤的宏观形态信息,以实现对分类特征的增强。
其中,“边长为在各肿瘤组织中心沿横轴或纵轴的最大长度所包含的像素数加预设个像素”,在本实施例中,优选为加8个像素。
作为本发明的进一步解释,所述图像处理包括数据增强和归一化处理;所述数据增强包括空间变换、像素级变换;所述空间变换包括水平翻转、垂直翻转和随机仿射变化;所述像素级变换包括随机明亮度和色彩抖动。
其中,数据增强使用基于python的Albumentations图像增强库中对应的数据增强函数,空间变换函数采用HorizontalFlip、VerticalFlip和ShiftScaleRotate,像素级变换函数采用RandomBrightnessContrast、ColorJitter。在数据增强操作之后对生成的图像进行归一化操作,确保像素值在0-1之间,归一化公式如下所示,
其中,代表归一化后的图像,x代表输入图像,/>代表输入图像像素的最小值,/>代表输入图像像素最大值;
作为本发明的进一步解释,对多个所述正方形区域缩放的方法包括双线性插值方法。
作为本发明的进一步解释,提取所述输入图像的特征,其方法为:
通过预构建的特征提取网络提取所述输入图像的特征;
所述特征提取网络包括均基于ResNet34_IBN构建的第一编码器和第二编码器;所述第一编码器根据所述输入图像的域标签提取域相关分类无关特征;所述第二编码器根据所述输入图像的PSM标签提取分类相关域无关特征;所述域标签包括0和1;所述PSM标签包括0和1。
其中,所述ResNet34_IBN为ResNet34的变体网络。
作为本发明的进一步解释,所述第一编码器和所述第二编码器分别通过第一损失函数和第二损失函数进行训练;
所述第一损失函数,其计算方法为:
所述第二损失函数,其计算方法为:
其中,i为第i个样本,N为总体样本数,为模型预测得到的域标签,/>为真实的域标签,/>为模型输出的PSM分类结果,/>为真实的PSM分类结果。
作为本发明的进一步解释,所述特征解耦分类器包括均基于单层全连接网络构建的分类器C1、分类器C2和分类器C3;
所述分类器C1和所述分类器C2分别用于对所述域相关分类无关特征和所述分类相关域无关特征进行提取,通过正交损失使其相互正交;
所述分类器C3,用于将所述域相关分类无关特征和所述分类相关域无关特征分别赋予任务标签0和1,并在第0维进行拼接,得到拼接特征,对所述拼接特征进行分类,以实现特征解耦,使两种特征的类间距离增加;
将正交和类间距增加后的所述域相关分类无关特征和所述分类相关域无关特征作为解耦的域相关分类无关特征和分类相关域无关特征,并在所述分类器C1和所述分类器C2分别输出域分类和PSM分类概率,也就是影像学标签RS。
所述特征解耦分类器基于正交损失和任务损失/>进行训练;
所述正交损失和所述任务损失/>,其计算方法为:
其中,和/>分别代表域相关分类无关特征和分类相关域无关特征,cos(∙)代表cos相似度,/>代表域相关分类无关特征和分类相关域无关特征的cos相似度,/>为模型预测得到的任务标签,/>为真实的任务标签。
其中,本发明中的正交损失使用COS相似度损失,通过两种损失的结合确保两种特征的有效解耦。
作为本发明的进一步解释,所述解码器基于反卷积神经网络和实例归一化层构建;所述反卷积神经网络包括四层大小为3×3、步长为2的反卷积核。
作为本发明的进一步解释,所述解码器基于图像重建损失函数进行训练,所述图像重建损失函数为结构相似度损失/>和L2损失/>的和;
其中,x,y分别代表输入图像和重建得到的图像,是x的平均值,/>是y的平均值,/>是x的方差,/>是y的方差;/>是x和y的协方差;/>和/>是用来维持稳定的常数;L是像素值的动态范围;k 1 k 2 为预设系数,在本实施例中k 1 =0.01,k 2 =0.03。
其中,
作为本发明的进一步解释,所述临床特征包括前列腺特异性抗原PSA、肿瘤的最大径D-max、平均表观扩散系数ADC-mean和目标对象年龄age。
作为本发明的进一步解释,所述融合网络基于多层感知机构建,所述多层感知机包括3层全连接网络和Relu激活函数,每层全连接网络的神经元的个数分别为5、16和2。
本实施例中整个PSM预测模型基于Pytorch搭建,模型训练过程使用Adam优化器,批处理大小设置为64,在模型测试阶段选取模型训练时在验证集上loss最小时对应的模型权重作为预测模型的权重。
本发明所述的基于特征解耦和模态融合的PSM预测方法的效果,可通过真实的磁共振影像和临床信息得以说明:
(1)真实数据实验过程
为展示本发明的效果,在实施方案中采用真实数据集作测试。如表1所示,北京大学第三医院(三院)626例患者和苏州大学附属第一医院(附一院)396例患者用作模型的训练集和验证集,训练集和验证集按照8:2比例随机划分。苏州大学附属第二医院(附二院)、九龙医院(九龙院)、泰州医院(泰州院)、张家港医院(张家港院)常熟医院(常熟院)和宿迁医院(宿迁院)共计155名患者作为独立外部测试集用于测试本发明的预测结果。
表1样本信息:
使用本发明所述方法(本发明方法)对比没有特征解耦的融合方法(影像-临床方法)和仅影像模型方法(影像方法),获取预测方法的受试者操作特性(ROC)曲线及其曲线下面积(AUC),并将ROC曲线和AUC作为分类器性能的度量。
(2)实验结果
在真实实验数据集上三种方法的ROC曲线如图3所示,本发明方法的ROC曲线在大部分阈值范围内高于其他两种对比方法;AUC值对比情况:本发明方法的AUC值为0.843,没有特征解耦的影像-临床融合方法的AUC值为0.789,仅影像方法的AUC值为0.669。曲线下面积(AUC)代表不同方法总体分类性能,AUC值越大,则该预测方法的总体性能越好。由此,本发明方法明显优于对比的两种方法。
实验结果说明,本发明所述的基于磁共振影像和临床信息融合的PSM预测系统,可以有效提高PSM的预测性能。
需要说明的是,上述实施例提供的一种基于影像和临床特征的前列腺癌手术切缘阳性预测系统,仅以上述各功能模块的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的功能模块来完成,即将本发明实施例中的模块或者步骤再分解或者组合,例如,上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块,以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称,仅仅是为了区分各个模块或者步骤,不视为对本发明的不当限定。
本发明第二实施例的一种基于影像和临床特征的前列腺癌手术切缘阳性预测方法,该方法包括:
获取目标对象的前列腺MRI图像序列;所述前列腺MRI图像序列包括T2序列、DWI序列和ADC序列;提取所述T2序列中各T2图像的前列腺癌肿瘤组织区域作为肿瘤感兴趣区域;
将所述DWI序列和ADC序列配准至所述T2序列;
分别在所述肿瘤感兴趣区域、配准的DWI序列的每张切片和配准的ADC序列的每张切片上裁剪正方形区域并缩放至同一像素大小,缩放后进行通道拼接、图像处理,得到输入图像;各正方形区域的中心为肿瘤组织中心,边长为在各肿瘤组织中心沿横轴或纵轴的最大长度所包含的像素数加预设个像素;
提取所述输入图像的特征并通过特征解耦分类器解耦,得到解耦的域相关分类无关特征和解耦的分类相关域无关特征;其中,所述特征解耦分类器基于全连接网络构建;
将所述解耦的域相关分类无关特征和所述解耦的分类相关域无关特征按通道拼接,并输入至解码器中,得到肿瘤的形态学特征;
将所述解耦的分类相关域无关特征对应的影像学标签和临床特征输入至融合网络中,得到切片级PSM预测结果;
将所述目标对象的所有切片级PSM预测结果的最大值作为患者级别PSM预测结果;基于所述患者级别PSM预测结果,结合所述肿瘤的形态学特征得到切缘阳性预测结果。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述,但是本领域技术人员可以理解,为了实现本实施例的效果,不同的步骤之间不必按照这样的次序执行,其可以同时(并行)执行或以颠倒的次序执行,这些简单的变化都在本发明的保护范围之内。
所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的方法的具体工作过程及有关说明,可以参考前述系统实施例中的对应过程,在此不再赘述。
术语“第一”、“第二”等是用于区别类似的对象,而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素,而且还包括没有明确列出的其它要素,或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征做出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.基于影像和临床特征的前列腺癌手术切缘阳性预测系统,其特征在于,该系统包括:
肿瘤感兴趣区域提取模块,配置为获取目标对象的前列腺MRI图像序列;所述前列腺MRI图像序列包括T2序列、DWI序列和ADC序列;提取所述T2序列中各T2图像的前列腺癌肿瘤组织区域作为肿瘤感兴趣区域;
序列配准模块,配置为将所述DWI序列和ADC序列配准至所述T2序列;
输入图像获取模块,配置为分别在所述肿瘤感兴趣区域、配准的DWI序列的每张切片和配准的ADC序列的每张切片上裁剪正方形区域并缩放至同一像素大小,缩放后进行通道拼接、图像处理,得到输入图像;各正方形区域的中心为肿瘤组织中心,边长为在各肿瘤组织中心沿横轴或纵轴的最大长度所包含的像素数加预设个像素;
特征解耦模块,配置为提取所述输入图像的特征并通过特征解耦分类器解耦,得到解耦的域相关分类无关特征和解耦的分类相关域无关特征;其中,所述特征解耦分类器基于全连接网络构建;
所述特征解耦分类器包括均基于单层全连接网络构建的分类器C1、分类器C2和分类器C3;
所述分类器C1,用于对所述域相关分类无关特征进行分类,实现域相关分类无关特征的提取;
所述分类器C2,用于对所述分类相关域无关特征进行分类,实现分类相关域无关特征的提取;
所述分类器C3,用于将所述域相关分类无关特征和所述分类相关域无关特征分别赋予任务标签0和1,并在第0维进行拼接,得到拼接特征,对所述拼接特征进行分类,以实现特征解耦;
特征增强模块,配置为将所述解耦的域相关分类无关特征和所述解耦的分类相关域无关特征按通道拼接,并输入至解码器中,得到肿瘤的形态学特征;
特征融合与分类模块,配置为将所述解耦的分类相关域无关特征对应的影像学标签和临床特征输入至融合网络中,得到切片级PSM预测结果;
预测结果获取模块,配置为将所述目标对象的所有切片级PSM预测结果的最大值作为目标对象级别PSM预测结果;基于所述目标对象级别PSM预测结果,结合所述肿瘤的形态学特征得到切缘阳性预测结果。
2.根据权利要求1所述的基于影像和临床特征的前列腺癌手术切缘阳性预测系统,其特征在于,所述图像处理包括数据增强和归一化处理;所述数据增强包括空间变换、像素级变换;所述空间变换包括水平翻转、垂直翻转和随机仿射变化;所述像素级变换包括随机明亮度和色彩抖动。
3.根据权利要求1所述的基于影像和临床特征的前列腺癌手术切缘阳性预测系统,其特征在于,对多个所述正方形区域缩放的方法包括双线性插值方法。
4.根据权利要求1所述的基于影像和临床特征的前列腺癌手术切缘阳性预测系统,其特征在于,提取所述输入图像的特征,其方法为:
通过预构建的特征提取网络提取所述输入图像的特征;
所述特征提取网络包括均基于ResNet34_IBN构建的第一编码器和第二编码器;所述第一编码器根据所述输入图像的域标签提取域相关分类无关特征;所述第二编码器根据所述输入图像的PSM标签提取分类相关域无关特征;所述域标签包括0和1;所述PSM标签包括0和1。
5.根据权利要求4所述的基于影像和临床特征的前列腺癌手术切缘阳性预测系统,其特征在于,所述第一编码器和所述第二编码器分别通过第一损失函数和第二损失函数进行训练;
所述第一损失函数,其计算方法为:
所述第二损失函数,其计算方法为:
其中,i为第i个样本,N为总体样本数,为模型预测得到的域标签,/>为真实的域标签,/>为模型输出的PSM分类结果,/>为真实的PSM分类结果。
6.根据权利要求1所述的基于影像和临床特征的前列腺癌手术切缘阳性预测系统,其特征在于,所述特征解耦分类器基于正交损失和任务损失/>进行训练;
所述正交损失和所述任务损失/>,其计算方法为:
其中,和/>分别代表域相关分类无关特征和分类相关域无关特征,代表域相关分类无关特征和分类相关域无关特征的cos相似度,/>为模型预测得到的任务标签,/>为真实的任务标签。
7.根据权利要求6所述的基于影像和临床特征的前列腺癌手术切缘阳性预测系统,其特征在于,所述解码器基于反卷积神经网络和实例归一化层构建;所述反卷积神经网络包括四层大小为3×3、步长为2的反卷积核。
8.根据权利要求1所述的基于影像和临床特征的前列腺癌手术切缘阳性预测系统,其特征在于,所述解码器基于图像重建损失函数进行训练,所述图像重建损失函数为结构相似度损失/>和L2损失/>的和;
其中,x,y分别代表输入图像和重建得到的图像,是x的平均值,/>是y的平均值,/>是x的方差,/>是y的方差;/>是x和y的协方差;/>和/>是用来维持稳定的常数;L是像素值的动态范围;k 1 k 2 为预设系数。
9.根据权利要求1所述的基于影像和临床特征的前列腺癌手术切缘阳性预测系统,其特征在于,所述临床特征包括前列腺特异性抗原、肿瘤的最大径、平均表观扩散系数和目标对象年龄。
10.根据权利要求1所述的基于影像和临床特征的前列腺癌手术切缘阳性预测系统,其特征在于,所述融合网络基于多层感知机构建,所述多层感知机包括3层全连接网络和Relu激活函数,每层全连接网络的神经元的个数分别为5、16和2。
CN202410096096.XA 2024-01-24 2024-01-24 基于影像和临床特征的前列腺癌手术切缘阳性预测系统 Active CN117611806B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410096096.XA CN117611806B (zh) 2024-01-24 2024-01-24 基于影像和临床特征的前列腺癌手术切缘阳性预测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410096096.XA CN117611806B (zh) 2024-01-24 2024-01-24 基于影像和临床特征的前列腺癌手术切缘阳性预测系统

Publications (2)

Publication Number Publication Date
CN117611806A CN117611806A (zh) 2024-02-27
CN117611806B true CN117611806B (zh) 2024-04-12

Family

ID=89944692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410096096.XA Active CN117611806B (zh) 2024-01-24 2024-01-24 基于影像和临床特征的前列腺癌手术切缘阳性预测系统

Country Status (1)

Country Link
CN (1) CN117611806B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118098520B (zh) * 2024-04-23 2024-06-21 四川省肿瘤医院 食管鳞状细胞癌患者术后手术切缘阳性预测模型构建方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188792A (zh) * 2019-04-18 2019-08-30 万达信息股份有限公司 前列腺mri三维图像的图像特征获取方法
CN110930367A (zh) * 2019-10-31 2020-03-27 上海交通大学 多模态超声影像分类方法以及乳腺癌诊断装置
CN111401480A (zh) * 2020-04-27 2020-07-10 上海市同济医院 一种基于融合注意力机制的乳腺mri自动辅助诊断新方法
CN113657503A (zh) * 2021-08-18 2021-11-16 上海交通大学 一种基于多模态数据融合的恶性肝肿瘤分类方法
CN114170244A (zh) * 2021-11-24 2022-03-11 北京航空航天大学 一种基于级联神经网络结构的脑胶质瘤分割方法
CN114398979A (zh) * 2022-01-13 2022-04-26 四川大学华西医院 一种基于特征解耦的超声图像甲状腺结节分类方法
CN114549462A (zh) * 2022-02-22 2022-05-27 深圳市大数据研究院 基于视角解耦Transformer模型的病灶检测方法、装置、设备及介质
CN114692725A (zh) * 2022-03-04 2022-07-01 武汉大学 面向多时相图像序列的解耦表示学习方法及系统
CN114998674A (zh) * 2022-05-12 2022-09-02 南京航空航天大学 基于对比增强超声影像的肿瘤病灶边界标识及等级分类的装置和方法
CN115019405A (zh) * 2022-05-27 2022-09-06 中国科学院计算技术研究所 一种基于多模态融合的肿瘤分类方法及系统
WO2023097362A1 (en) * 2021-12-03 2023-06-08 Annalise-Ai Pty Ltd Systems and methods for analysis of computed tomography (ct) images
CN116310343A (zh) * 2023-03-29 2023-06-23 重庆邮电大学 一种基于特征解耦的多模态脑肿瘤mri分割方法
CN117372452A (zh) * 2023-09-22 2024-01-09 西南大学 结合高效Transformer与UNet的3D脑肿瘤分割模型

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9645212B2 (en) * 2014-10-21 2017-05-09 The Regents Of The University Of California Fiber tractography using entropy spectrum pathways
CN107683113B (zh) * 2015-06-04 2021-06-15 皇家飞利浦有限公司 用于通过癌症分级绘图增强的精确诊断和治疗的系统和方法
US10580137B2 (en) * 2018-01-30 2020-03-03 International Business Machines Corporation Systems and methods for detecting an indication of malignancy in a sequence of anatomical images
US11426073B2 (en) * 2018-04-27 2022-08-30 Washington University Imaging nerve function and pathologies using diffusion basis spectrum imaging

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188792A (zh) * 2019-04-18 2019-08-30 万达信息股份有限公司 前列腺mri三维图像的图像特征获取方法
CN110930367A (zh) * 2019-10-31 2020-03-27 上海交通大学 多模态超声影像分类方法以及乳腺癌诊断装置
CN111401480A (zh) * 2020-04-27 2020-07-10 上海市同济医院 一种基于融合注意力机制的乳腺mri自动辅助诊断新方法
CN113657503A (zh) * 2021-08-18 2021-11-16 上海交通大学 一种基于多模态数据融合的恶性肝肿瘤分类方法
CN114170244A (zh) * 2021-11-24 2022-03-11 北京航空航天大学 一种基于级联神经网络结构的脑胶质瘤分割方法
WO2023097362A1 (en) * 2021-12-03 2023-06-08 Annalise-Ai Pty Ltd Systems and methods for analysis of computed tomography (ct) images
CN114398979A (zh) * 2022-01-13 2022-04-26 四川大学华西医院 一种基于特征解耦的超声图像甲状腺结节分类方法
CN114549462A (zh) * 2022-02-22 2022-05-27 深圳市大数据研究院 基于视角解耦Transformer模型的病灶检测方法、装置、设备及介质
CN114692725A (zh) * 2022-03-04 2022-07-01 武汉大学 面向多时相图像序列的解耦表示学习方法及系统
CN114998674A (zh) * 2022-05-12 2022-09-02 南京航空航天大学 基于对比增强超声影像的肿瘤病灶边界标识及等级分类的装置和方法
CN115019405A (zh) * 2022-05-27 2022-09-06 中国科学院计算技术研究所 一种基于多模态融合的肿瘤分类方法及系统
CN116310343A (zh) * 2023-03-29 2023-06-23 重庆邮电大学 一种基于特征解耦的多模态脑肿瘤mri分割方法
CN117372452A (zh) * 2023-09-22 2024-01-09 西南大学 结合高效Transformer与UNet的3D脑肿瘤分割模型

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MRI-derived radiomics models for diagnosis, aggressiveness, and prognosis evaluation in prostate cancer;Xuehua ZHU et al;Journal of Zhejiang University-SCIENCE B (Biomedicine & Biotechnology);20230803;24(8);663-681 *
人工智能技术在肺部肿瘤中的研究现状和应用前景;高云姝等;第二军医大学学报;20180820(第08期);834-839 *
基于深度学习的跨模态医学图像转换;董国亚等;中国医学物理学杂志;20201025(第10期);1335-1339 *
多模态医学图像融合技术综述;范立南等;沈阳大学学报;20090615(第03期);96-100 *

Also Published As

Publication number Publication date
CN117611806A (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
Okur et al. A survey on automated melanoma detection
CN117611806B (zh) 基于影像和临床特征的前列腺癌手术切缘阳性预测系统
US20230410301A1 (en) Machine learning techniques for tumor identification, classification, and grading
US11257213B2 (en) Tumor boundary reconstruction using hyperspectral imaging
CN113239755B (zh) 一种基于空谱融合深度学习的医学高光谱图像分类方法
KR20180082817A (ko) 다중 파라메터 자기공명영상에서 전립선 주변부 영역의 전립선암 자동 검출 및 국소화 방법
JP7487418B2 (ja) 多重化免疫蛍光画像における自己蛍光アーチファクトの識別
JP2024027078A (ja) マルチスケールに基づく全スライド病理特徴融合抽出方法、システム、電子機器及び記憶媒体
Hassan et al. A dilated residual hierarchically fashioned segmentation framework for extracting Gleason tissues and grading prostate cancer from whole slide images
Reddy et al. Intelligent deep learning algorithm for lung cancer detection and classification
Ma et al. Hyperspectral microscopic imaging for the detection of head and neck squamous cell carcinoma on histologic slides
Benazzouz et al. Modified U‐Net for cytological medical image segmentation
Balasundaram et al. Automated Detection and Classification of Breast Cancer Nuclei with Deep Convolutional Neural Network.
CN114648509B (zh) 一种基于多分类任务的甲状腺癌检出系统
CN114998644B (zh) 肿瘤诊断系统及其构建方法、终端设备及存储介质
Bhaiya et al. Classification of MRI brain images using neuro fuzzy model
US20240153073A1 (en) Method for training artificial neural network having use for detecting prostate cancer from turp pathological images, and computing system performing same
Xiong et al. Modeling of human skin by the Use of Deep Learning
Saumiya et al. Unified automated deep learning framework for segmentation and classification of liver tumors
Mukadam et al. Machine learning and computer vision based methods for cancer classification: A systematic review
Johora et al. Lung cancer detection using marker controlled watershed with svm
Sharma et al. Deep Learning for Predicting Pediatric Crohn's Disease Using Histopathological Imaging
Sri Geetha et al. Automatic Detection and Classification Of Melanoma Skin Cancer through Deep Learning Techniques
Bibars et al. Cross-Modality Deep Transfer Learning: Application to Liver Segmentation in CT and MRI
Vi et al. Automatic Extraction of Liver Region from Medical Images by Using an MFUnet

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant