CN117218419B - 一种胰胆肿瘤分型分级分期的评估系统和评估方法 - Google Patents
一种胰胆肿瘤分型分级分期的评估系统和评估方法 Download PDFInfo
- Publication number
- CN117218419B CN117218419B CN202311167636.0A CN202311167636A CN117218419B CN 117218419 B CN117218419 B CN 117218419B CN 202311167636 A CN202311167636 A CN 202311167636A CN 117218419 B CN117218419 B CN 117218419B
- Authority
- CN
- China
- Prior art keywords
- model
- image
- standard site
- features
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 40
- 238000011156 evaluation Methods 0.000 title claims abstract description 35
- 210000000056 organ Anatomy 0.000 claims abstract description 105
- 230000011218 segmentation Effects 0.000 claims abstract description 76
- 238000012549 training Methods 0.000 claims abstract description 48
- 238000005457 optimization Methods 0.000 claims abstract description 31
- 238000012795 verification Methods 0.000 claims abstract description 31
- 230000004927 fusion Effects 0.000 claims abstract description 30
- 238000010276 construction Methods 0.000 claims abstract description 22
- 238000013145 classification model Methods 0.000 claims abstract description 21
- 238000013434 data augmentation Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000002372 labelling Methods 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 21
- 210000000496 pancreas Anatomy 0.000 claims description 20
- 230000007246 mechanism Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 210000000013 bile duct Anatomy 0.000 claims description 7
- 210000000232 gallbladder Anatomy 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 5
- 206010061902 Pancreatic neoplasm Diseases 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 230000003211 malignant effect Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 201000002528 pancreatic cancer Diseases 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims description 2
- 208000022072 Gallbladder Neoplasms Diseases 0.000 claims 1
- 238000004140 cleaning Methods 0.000 abstract description 3
- 238000013480 data collection Methods 0.000 abstract description 2
- 238000009558 endoscopic ultrasound Methods 0.000 description 20
- 238000002591 computed tomography Methods 0.000 description 16
- 238000002595 magnetic resonance imaging Methods 0.000 description 15
- 238000002604 ultrasonography Methods 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 201000011510 cancer Diseases 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004083 survival effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 208000007433 Lymphatic Metastasis Diseases 0.000 description 1
- 206010049082 Pancreatic mass Diseases 0.000 description 1
- 206010033645 Pancreatitis Diseases 0.000 description 1
- 210000000683 abdominal cavity Anatomy 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000003445 biliary tract Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 208000031513 cyst Diseases 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 208000015486 malignant pancreatic neoplasm Diseases 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 208000008443 pancreatic carcinoma Diseases 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000010882 preoperative diagnosis Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明涉及一种胰胆肿瘤分型分级分期的评估系统及评估方法。所述评估系统包括数据读取及预处理模块、器官分割模型构建模块、多级联分类模型构建模块以及模型训练及验证优化模块。所述数据读取及预处理模块包括数据收集、数据清洗、数据标注与数据增广；所述器官分割模型构建模块包括图像输入层、EUS图像特征提取器、EUS图像特征解码器；所述多级联分类模型构建模块包括特征输入层、特征融合层和分类输出层；所述模型训练及验证优化模块包括内部评估及优化、外部验证及优化。本发明可提供病灶的多维度特征，从而对胰胆肿瘤做出分型、分级和分期的评估预测。
Description
技术领域
本发明涉及一种医学图像处理方法，具体地说是一种胰胆肿瘤分型分级分期的评估系统和评估方法。
背景技术
内镜超声（EUS）可以在胃肠道内对胰腺与胆道系统进行近距离实时超声扫查，以显示出肿瘤的大小、位置、与血管的关系以及有无淋巴结转移等，内镜超声对患者无辐射损害，因此是一种敏感且安全的影像学检查手段。相比于超声（US）、计算机断层扫描（CT）、磁共振成像（MRI）等常规影像检查手段来说，EUS既可直接观察腔内形态，又可对病变部位进行实时超声扫描，获得较为全面的病变层次的组织学特征，减少了回声衰减与腹腔气体的干扰，从而有助于提高术前诊断的准确性，有助于提高手术操作的安全性。
胰胆恶性肿瘤进展快，进展期癌五年生存率不超过5%，早期诊断并对其进行积极治疗，五年生存率可达到70%以上，因此早期胰胆肿瘤的诊断意义重大。此外，胰胆肿瘤的预后及手术方案的选择与其具体分型、分期及浸润范围等相关。目前，由于技术发展水平所限，还没有针对胰胆肿瘤检查图像能够做出较为准确的分型分级分期评估的评估系统和评估方法。
现有研究多是基于循环神经网络、生成对抗网络、全卷积神经网络、编码器-解码器神经网络等架构，对超声图像中的胰腺肿瘤、肝脏囊肿、胆管等进行分割，并取得了较好的分割性能。而这类研究仅针对单一器官进行分割且未添加先验信息，有可能会导致模型局部聚焦到非关键特征处。另有研究利用卷积神经网络对胰腺癌、胰腺炎、胰腺肿块等进行评估或术前分级。而这个研究是在单一模态下进行，且在分类的实时性和准确性方面也存在有一定的局限性。
发明内容
本发明的目的就是提供一种基于多模态融合的胰胆肿瘤分型分级分期的评估系统和评估方法，以提高对胰胆超声图像中的器官分割精度，提高在单一模态下对胰胆肿瘤分型分级分期评估的实时性和准确性。
本发明的目的是这样实现的：
一种胰胆肿瘤分型分级分期的评估系统，包括：
数据读取及预处理模块，用于读取标准站点图像和标准站点图像的位置信息，并对所读取图像进行去噪处理，对去噪处理后的标准站点图像中的器官进行 ROI 标注，再对标注后的标准站点图像进行数据增广；
器官分割模型构建模块，用于根据数据增广后的标准站点图像信息，构建标准站点图像实时器官分割模型；
多级联分类模型构建模块，用于构建基于多模态特征融合和分支注意力机制的多级联分类模型，以实现胰胆肿瘤的实时分型分级分期；以及
模型训练及验证优化模块，用于对所构建的标准站点图像实时器官分割模型的模型训练和参数优化，以提高模型的识别效果，并对模型的性能进行测试和验证。
进一步地，所述器官分割模型构建模块包括：
图像输入层，用于接收数据增广后的标准站点图像；
EUS图像特征提取器，用于提取EUS标准站点图像中每个影像帧对应的浅层特征，利用全局减法变换，计算相邻两帧之间的残差特征，通过门模块选取不同的残差帧图像特征提取方式，使用全局加法变换，将提取到的残差帧图像特征与上一帧图像特征融合，以得到当前帧的图像特征；以及
EUS图像特征解码器，用于基于卷积层和注意力机制提炼更具区别性的特征，改进前一级的融合结果，以实现最高效的多模态特征融合。
进一步地，所述多级联分类模型包括：
特征输入层，用于根据从标准站点图像实时器官分割模型得到的器官类别信息进行相应器官CT影像、MRI影像和超声特征图与掩膜信息的匹配与特征提取；
特征融合层，用于采用分支注意力机制对四类不同模态的特征根据重要程度分配权重，以便进行特征融合；以及
分类输出层，用于对特征融合后的病灶进行正常与非正常的分类，再通过多级联网络进行良性与恶性的鉴别，从而做出分型、分级和分期的评估预测。
进一步地，所述模型训练及验证优化模块包括模型的训练及验证方式和模型的验证及优化方式；
所述模型的训练及验证方式是在训练过程按照4︰1的比例将病例数据分为训练集和验证集，所述训练集用于模型的构建，所述验证集用于验证模型的效能；
所述模型的验证及优化方式包括内部验证方式和外部验证及优化方式；
所述内部验证方式是采用像素准确率、交并比（IOU）以及Dice值来评估EUS标准站点实时分割模型的性能；
所述外部验证及优化方式是回顾性收集EUS检查视频数据作为测试样本，验证EUS标准站点实时分割模型实现站点图像器官分割的像素准确率、交并比（IOU）以及Dice值等相关指标，分析该模型在不同中心数据上所表现的分类差异，并对网络进行优化。
本发明的目的还可这样实现：
一种基于多模态融合的胰胆肿瘤分型分级分期的评估方法，包括以下步骤：
S0.设置本发明所述的胰胆肿瘤分型分级分期的评估系统；
S1. 利用数据读取及预处理模块读取标准站点图像和标准站点图像的位置信息，并对所读取图像使用均值滤波和中值滤波方法进行去噪处理，对去噪处理后的标准站点图像中的器官进行 ROI 标注，再对标注后的标准站点图像进行数据增广；
S2. 利用器官分割模型构建模块，构建标准站点图像实时器官分割模型，对数据增广后的标准站点图像信息进行多模态的特征提取；
S3.利用多级联分类模型构建模块，构建基于多模态特征融合和分支注意力机制的多级联分类模型，以实现胰胆肿瘤的实时分型分级分期；
S4. 利用模型训练及验证优化模块，对所构建的标准站点图像实时器官分割模型进行训练；
S5.利用模型训练及验证优化模块，对训练好的标准站点图像实时器官分割模型进行验证及优化。
进一步地，步骤S2中的多模态的特征提取的具体方式包括：
超声特征提取，将标准站点图像实时器官分割模型各层提取到的特征图作为共享特征，结合标准站点图像实时器官分割模型输出的掩膜，通过ROI Align 模块截取特征图上器官所在区域的特征；
影像组学的特征提取，根据标准站点图像实时器官分割模型得到的胰腺或胆管的器官类别信息，进行相应器官的CT特征和MRI特征的特征提取；
临床特征提取，将患者的病例信息进行数字编码，再将这些编码信息组成一维的特征向量，作为模型的输入。
进一步地，所述影像组学的特征提取的具体方式是，将患者的CT和MRI图像输入到3D slicer软件，先标出胰腺和胆囊区域，再由PyRadiomics进行包括形状特征、强度特征和纹理特征在内的特征提取，之后根据标准站点图像实时器官分割模型得到的器官类别，选择相应器官的 CT 特征及 MRI 特征，作为模型的输入。
进一步地，对所构建的标准站点图像实时器官分割模型的训练包括以下方式：
a.采用轻量化分割策略，将深度可分离卷积用于编码器和解码器的卷积层结构；
b.增加网络先验知识的深度学习，将当前标准站点的空间信息作为先验知识，添加到神经网络的训练过程当中；
c.构建器官边界回归网络模型，对输入的超声图像特征图，计算预测掩膜边界和真实边界的欧氏距离，通过边界回归，对预测掩膜边界进行校正，以提升网络模型的分割掩膜边界的准确性。
进一步地，对训练好的标准站点图像实时器官分割模型的验证及优化包括以下方式：
a. 内部评估及优化，采用包括准确率、特异度、敏感度、AUC 值、混淆矩阵、二维散点图在内的技术指标来评价模型在内部测试集上的性能，并对训练过程的超参数进行调整，以得到表现最优的模型；
b. 外部评估及优化，收集EUS检查视频数据作为测试样本，验证模型对站点图像器官分割的像素准确率、交并比（IOU）和Dice值，分析模型在不同中心数据上所表现的分类差异，并对模型参数进行优化。
本发明将站点位置信息作为先验知识，以此得到标准站点图像实时器官分割模型的预训练权重，从而有助于模型学习对应站点标志器官的特征，由此提高了对胰胆超声图像中的器官分割精度；通过采用多模态融合技术，可根据患者的超声特征、影像组学特征和临床特征的重要程度分配权重，然后进行特征融合，由此提高了胰胆肿瘤分型分级分期评估的实时性和准确性。本发明可提供胰胆肿瘤病灶的多维度特征，从而对胰胆肿瘤做出较为准确的分型、分级和分期的评估预测并实现了分型分级分期的可视化操作。
附图说明
图1是本发明胰胆肿瘤分型分级分期评估系统的结构框图。
图2是器官分割模型构建模块的结构框图。
图3是标准站点超声图像器官分割模型的工作流程图。
图4是肿瘤分型分级分期模型构建模块的工作流程图。
图5是多级联分类模型的工作流程图。
图6是本发明胰胆肿瘤分型分级分期系统的工作流程图。
图7是基于本发明所构建的一种可视化评估平台的界面图。
具体实施方式
以下结合附图对本发明做进一步详述。
实施例1：本发明胰胆肿瘤分型分级分期的评估系统。
如图1所示，本发明胰胆肿瘤分型分级分期的评估系统包括数据读取及预处理模块、器官分割模型构建模块、多级联分类模型构建模块以及模型训练及验证优化模块。
其中，数据读取及预处理模块是用于读取标准站点图像和标准站点图像的位置信息，并对所读取图像使用均值滤波和中值滤波方法进行去噪，对去噪后的标准站点图像中的器官进行 ROI 标注，再将标注后的标准站点图像进行数据增广。数据读取及预处理模块收集的数据包括EUS标准站点所在位置的超声图像。器官分割模型构建模块是用于根据数据增广后的标准站点图像信息，构建标准站点图像实时器官分割模型。多级联分类模型构建模块，用于构建基于多模态特征融合和分支注意力机制的多级联分类模型，以实现胰胆肿瘤的实时分型分级分期。模型训练及验证优化模块是用于对所构建的标准站点图像实时器官分割模型的模型参数进行优化，以提高识别效果，并对标准站点图像实时器官分割模型的性能进行测试和验证。
如图2所示，器官分割模型构建模块包括图像输入层、EUS图像特征提取器和EUS图像特征解码器。其中，图像输入层是用于接收数据增广后的标准站点图像。EUS图像特征提取器是用于提取EUS标准站点图像中每个影像帧对应的浅层特征，利用全局减法变换，计算相邻两帧之间的残差特征，通过门模块选取不同的残差帧图像特征提取方式，使用全局加法变换，将提取到的残差帧图像特征与上一帧图像特征融合，以得到当前帧的图像特征。EUS图像特征解码器是基于卷积层和注意力机制提炼更具区别性的特征来改进前一级的融合结果以实现最高效的多模态特征融合。
器官分割模型构建模块所构建的是一种轻量高效的标准站点超声图像器官分割模型。如图3所示，标准站点图像和站点信息作为输入，站点信息帮助选择对应站点的预训练权重，通过 EUS 标准站点图像解码器和器官边界回归网络，生成精确的器官掩膜。
如图4所示，多级联分类模型构建模块包括特征输入层、特征融合层和分类输出层，其操作方式包括：
（1）影像数据及临床信息的收集及相应的预处理；
（2）多模态影像特征与临床特征的提取；
（3）构建基于多模态特征融合和分支注意力机制的多级联分类模型；
（4）模型训练及验证优化。
模型训练及验证优化模块包括内部评估及优化、外部验证及优化。该模型的内部验证为了评估 EUS 标准站点实时分割模型性能，拟采用像素准确率、交并比（IOU）以及Dice 值来评价模型性能。
实施例2：本发明胰胆肿瘤分型分级分期的评估方法。
本发明胰胆肿瘤分型分级分期的评估方法包括以下步骤：
一、设置本发明胰胆肿瘤分型分级分期的评估系统。
二、利用数据读取及预处理模块读取标准站点图像和标准站点图像的位置信息，并对所读取图像进行去噪处理，对去噪处理后的标准站点图像中的器官进行 ROI 标注，再对标注后的标准站点图像进行数据增广。具体包括以下步骤：
（1）数据收集：回顾性收集多中心（即多家医院）的EUS手术患者的影像学资料和病历资料，包括病理、临床资料等诊疗周期数据等。
（2）数据清洗：对于每例患者的CT和MRI影像数据，清洗成像模糊或者不包含胰腺和胆囊的图像，最后留下只包含胰腺或胆囊，或者两者都有的腹部CT和MRI图像；对于病例数据，对性别和年龄等信息进行统计整理。
（3）数据标注：对清洗后的CT、MRI图像进行胰腺和胆囊器官的感兴趣区域标注，以进行下一步影像组学特征提取。
（4）数据增广：对于经格式转换后的CT和MRI影像数据，采用旋转、裁切、放缩等手段来增加图像样本的数量，产生相似但又不同的训练样本，从而扩大训练数据集的规模，降低模型对某些属性的依赖，从而提高模型的泛化能力。
三、利用器官分割模型构建模块，构建标准站点图像实时器官分割模型，对数据增广后的标准站点图像信息进行多模态的特征提取，包括超声特征提取、影像组学的特征提取和临床特征提取。
（1）超声特征提取：为了减少网络模型的参数量，加快模型的计算速度，采用特征共享策略，将标准站点图像实时器官分割模型各层提取到的特征图作为共享特征，结合标准站点图像实时器官分割模型输出的掩膜，通过ROI Align 模块截取特征图上器官所在区域的特征。
（2）影像组学特征提取：根据标准站点图像实时器官分割模型得到的器官类别信息（胰腺或胆管），进行相应器官的CT、MRI特征提取。CT和MRI特征提取是图像处理中的关键步骤，需要在采集EUS数据之前预先完成。患者的CT和MRI图像输入到3D slicer软件，先人工标出胰腺和胆囊区域，再由PyRadiomics进行形状、强度、纹理等特征的特征提取，之后根据标准站点图像实时器官分割模型得到的器官类别，选择相应器官的 CT 特征及 MRI 特征作为模型的输入。
（3）临床特征提取：将患者的病例信息，如性别、年龄、有无家族史、血常规等进行数字编码，然后将这些编码信息组成一维的特征向量作为模型的输入。
四、利用多级联分类模型构建模块，构建基于多模态特征融合和分支注意力机制的多级联分类模型，以实现胰胆肿瘤的实时分型分级分期。
如图5、图6所示，所构建的多级联分类模型包括特征输入层、特征融合层和分类输出层这三个组成部分。
（1）特征输入层：根据标准站点图像实时器官分割模型得到的器官类别信息，进行相应器官CT影像、MRI影像和超声特征图与掩膜信息的匹配与特征提取后，特征输入层将相应器官的超声特征、MRI特征、CT 特征和病人临床特征作为输入，进行后续的评估预测。
（2）特征融合层：采用分支注意力机制对四类不同模态的特征根据重要程度分配权重，然后进行特征融合。
（3）分类输出层：首先对正常与非正常进行分类，再通过多级联网络进行良恶性鉴别，最后进行分型、分级、分期的诊断，多级联的分类器可以使评估更为精准。
五、利用模型训练及验证优化模块，对所构建的标准站点图像实时器官分割模型进行训练。
对所构建的标准站点图像实时器官分割模型的训练包括以下方式：
（1）采用轻量化分割策略，将深度可分离卷积用于编码器和解码器的卷积层结构；
（2）增加网络先验知识的深度学习，将当前标准站点的空间信息作为先验知识，添加到神经网络的训练过程当中；
（3）构建器官边界回归网络模型，对输入的超声图像特征图，计算预测掩膜边界和真实边界的欧氏距离，通过边界回归，对预测掩膜边界进行校正，以提升网络模型的分割掩膜边界的准确性。
对于训练过程，将标准站点图像实时器官分割模型输出的器官类别信息作为先验知识，添加到神经网络的训练过程当中，有助于模型学习到胰胆肿瘤的不同关键的特征。在训练过程中调整网络结构和训练参数，同时使用参数正则化、dropout 等方法减少模型的过拟合。
六、利用模型训练及验证优化模块，对训练好的标准站点图像实时器官分割模型进行验证及优化。
模型验证方式包括内部评估及优化、外部验证及优化两部分，以保证模型的鲁棒性。
（1）内部评估及优化：为了评估基于多模态融合的胰胆肿瘤精准诊断模型性能，采用准确率、特异度、敏感度、AUC 值、混淆矩阵、二维散点图等指标来评价模型在内部测试集上的性能，并对训练过程的超参数进行调整来得到表现最优的模型。
（2）外部评估及优化：从医院收集回顾性 EUS 检查过程视频数据作为测试样本，验证该模型实现站点分类的准确率、查全率、精确率、ROC 曲线等相关指标，分析该模型在不同中心数据上所表现的分类差异，并对模型参数进行优化。
如图7所示，利用本发明的评估系统和评估方法，建立了一个胰胆肿瘤分型分级分期可视化评估平台，通过可视化界面进行器官分割的可视化以及胰胆肿瘤分型分级分期评估结果的可视化。开始工作后，在左侧的可视化区域会实时显示超声图像和胰腺、胆管、血管的分割结果，并在下方显示之前站点图像的分割结果。而右侧区域被分为三个子区域：胰腺区域、胆囊区域和评估结果显示区，将胰腺分为胰头、胰颈胰体、胰尾三个区域，将胆管分为肝门周围、肝外和肝内三个区域。初始化时，上述的六个区域均呈灰色，在扫查到相应的站点并对图像中相应的器官进行分割后，对应的区域变为绿色。然后将模型的评估预测结果用不同的颜色进行表示，同时，将当前的评估结果显示在评估结果显示区。
Claims (4)
1.一种胰胆肿瘤分型分级分期的评估系统，其特征是，包括：
数据读取及预处理模块，用于读取标准站点图像和标准站点图像的位置信息，并对所读取图像进行去噪处理，对去噪处理后的标准站点图像中的器官进行 ROI 标注，再对标注后的标准站点图像进行数据增广；
器官分割模型构建模块，用于根据数据增广后的标准站点图像信息，构建标准站点图像实时器官分割模型；
多级联分类模型构建模块，用于构建基于多模态特征融合和分支注意力机制的多级联分类模型，以实现胰胆肿瘤的实时分型分级分期；以及
模型训练及验证优化模块，用于对所构建的标准站点图像实时器官分割模型的模型训练和参数优化，以提高模型的识别效果，并对模型的性能进行测试和验证；
所述器官分割模型构建模块包括：
图像输入层，用于接收数据增广后的标准站点图像；
EUS图像特征提取器，用于提取EUS标准站点图像中每个影像帧对应的浅层特征，利用全局减法变换，计算相邻两帧之间的残差特征，通过门模块选取不同的残差帧图像特征提取方式，使用全局加法变换，将提取到的残差帧图像特征与上一帧图像特征融合，以得到当前帧的图像特征；以及
EUS图像特征解码器，用于基于卷积层和注意力机制提炼更具区别性的特征，改进前一级的融合结果，以实现多模态特征融合；
所述多级联分类模型包括特征输入层、特征融合层和分类输出层；
所述特征输入层用于根据从标准站点图像实时器官分割模型得到的器官类别信息进行相应器官的CT影像、MRI影像和超声特征图与掩膜信息的匹配与特征提取；具体是：超声特征提取，将标准站点图像实时器官分割模型各层提取到的特征图作为共享特征，结合标准站点图像实时器官分割模型输出的掩膜，通过ROI Align 模块截取特征图上器官所在区域的特征；
影像组学的特征提取，根据标准站点图像实时器官分割模型得到的胰腺或胆管的器官类别信息，进行相应器官的CT特征和MRI特征的特征提取；
所述特征融合层用于采用分支注意力机制对四类不同模态的特征分配权重，以便进行特征融合，所述四类不同模态的特征指超声特征、CT 特征、MRI 特征以及临床特征；
所述分类输出层用于对特征融合后的病灶进行正常与非正常的分类，再通过多级联网络进行良性与恶性的鉴别，从而做出分型、分级和分期的评估预测；
所述模型训练及验证优化模块包括模型的训练及验证方式和模型的验证及优化方式；
所述模型的训练及验证方式是在训练过程按照4︰1的比例将病例数据分为训练集和验证集，所述训练集用于模型的构建，所述验证集用于验证模型的效能；
所述模型的验证及优化方式包括内部验证方式和外部验证及优化方式；
所述内部验证方式是采用像素准确率、交并比以及Dice值来评估EUS标准站点实时分割模型的性能；
所述外部验证及优化方式是回顾性收集EUS检查视频数据作为测试样本，验证EUS标准站点实时分割模型实现站点图像器官分割的像素准确率、交并比以及Dice值，分析该模型在不同中心数据上所表现的分类差异，并对网络进行优化。
2.一种胰胆肿瘤分型分级分期的评估方法，其特征是，包括以下步骤：
S0.设置权利要求1所述的胰胆肿瘤分型分级分期的评估系统；
S1. 利用数据读取及预处理模块读取标准站点图像和标准站点图像的位置信息，并对所读取图像进行去噪处理，对去噪处理后的标准站点图像中的器官进行 ROI 标注，再对标注后的标准站点图像进行数据增广；
S2. 利用器官分割模型构建模块，构建标准站点图像实时器官分割模型，对数据增广后的标准站点图像信息进行多模态的特征提取；
S3.利用多级联分类模型构建模块，构建基于多模态特征融合和分支注意力机制的多级联分类模型，以实现胰胆肿瘤的实时分型分级分期；
S4. 利用模型训练及验证优化模块，对所构建的标准站点图像实时器官分割模型进行训练；
S5.利用模型训练及验证优化模块，对训练好的标准站点图像实时器官分割模型进行验证及优化；
步骤S2中的多模态的特征提取的具体方式包括：
超声特征提取，将标准站点图像实时器官分割模型各层提取到的特征图作为共享特征，结合标准站点图像实时器官分割模型输出的掩膜，通过ROI Align 模块截取特征图上器官所在区域的特征；
影像组学的特征提取，根据标准站点图像实时器官分割模型得到的胰腺或胆管的器官类别信息，进行相应器官的CT特征和MRI特征的特征提取；
临床特征提取，将患者的病例信息进行数字编码，再将这些编码信息组成一维的特征向量，作为模型的输入；
所述影像组学的特征提取的具体方式是，将患者的CT图像和MRI图像输入到3D slicer软件，先标出胰腺和胆囊区域，再由PyRadiomics进行包括形状特征、强度特征和纹理特征在内的特征提取，之后根据标准站点图像实时器官分割模型得到的器官类别，选择相应器官的 CT 特征及 MRI 特征，作为模型的输入。
3.根据权利要求2所述的胰胆肿瘤分型分级分期的评估方法，其特征是，对所构建的标准站点图像实时器官分割模型的训练包括以下方式：
a.采用轻量化分割策略，将深度可分离卷积用于编码器和解码器的卷积层结构；
b.增加网络先验知识的深度学习，将当前标准站点的空间信息作为先验知识，添加到神经网络的训练过程当中；
c.构建器官边界回归网络模型，对输入的超声特征图，计算预测掩膜边界和真实边界的欧氏距离，通过边界回归，对预测掩膜边界进行校正，以提升网络模型的分割掩膜边界的准确性。
4.根据权利要求2所述的胰胆肿瘤分型分级分期的评估方法，其特征是，对训练好的标准站点图像实时器官分割模型的验证及优化包括以下方式：
a. 内部评估及优化，采用包括准确率、特异度、敏感度、AUC 值、混淆矩阵、二维散点图在内的技术指标来评价模型在内部测试集上的性能，并对训练过程的超参数进行调整，以得到表现最优的模型；
b. 外部评估及优化，收集EUS检查视频数据作为测试样本，验证模型对站点图像器官分割的像素准确率、交并比和Dice值，分析模型在不同中心数据上所表现的分类差异，并对模型参数进行优化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311167636.0A CN117218419B (zh) | 2023-09-12 | 2023-09-12 | 一种胰胆肿瘤分型分级分期的评估系统和评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311167636.0A CN117218419B (zh) | 2023-09-12 | 2023-09-12 | 一种胰胆肿瘤分型分级分期的评估系统和评估方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117218419A CN117218419A (zh) | 2023-12-12 |
| CN117218419B true CN117218419B (zh) | 2024-04-12 |
Family
ID=89041896
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311167636.0A Active CN117218419B (zh) | 2023-09-12 | 2023-09-12 | 一种胰胆肿瘤分型分级分期的评估系统和评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117218419B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014207627A1 (en) * | 2013-06-26 | 2014-12-31 | Koninklijke Philips N.V. | Method and system for multi-modal tissue classification |
| CN108257135A (zh) * | 2018-02-01 | 2018-07-06 | 浙江德尚韵兴图像科技有限公司 | 基于深度学习方法解读医学图像特征的辅助诊断系统 |
| CN109872333A (zh) * | 2019-02-20 | 2019-06-11 | 腾讯科技（深圳）有限公司 | 医学影像分割方法、装置、计算机设备和存储介质 |
| CN112365496A (zh) * | 2020-12-02 | 2021-02-12 | 中北大学 | 基于深度学习和多引导的多模态mr影像脑肿瘤分割方法 |
| CN113516659A (zh) * | 2021-09-15 | 2021-10-19 | 浙江大学 | 一种基于深度学习的医学影像自动分割方法 |
| CN114171187A (zh) * | 2021-12-06 | 2022-03-11 | 浙江大学 | 一种基于多模态深度学习的胃癌tnm分期预测系统 |
| CN114782350A (zh) * | 2022-04-14 | 2022-07-22 | 浙江工业大学 | 一种基于注意力机制的多模态特征融合的mri脑瘤图像分割方法 |
| CN115760754A (zh) * | 2022-11-16 | 2023-03-07 | 浙江工业大学 | 一种多模态mri图像听神经鞘瘤分割方法 |
| CN116152560A (zh) * | 2023-02-24 | 2023-05-23 | 复旦大学 | 一种基于多任务学习的胶质瘤图像分类方法及系统 |
| CN116563216A (zh) * | 2023-03-31 | 2023-08-08 | 河北大学 | 基于标准站点智能识别的内镜超声扫查控制优化系统及方法 |
| CN116563533A (zh) * | 2023-04-07 | 2023-08-08 | 武汉大学 | 基于目标位置先验信息的医学图像分割方法及系统 |
| CN116580033A (zh) * | 2023-07-14 | 2023-08-11 | 卡本(深圳)医疗器械有限公司 | 一种基于图像块相似性匹配的多模态医学图像配准方法 |
-
2023
- 2023-09-12 CN CN202311167636.0A patent/CN117218419B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014207627A1 (en) * | 2013-06-26 | 2014-12-31 | Koninklijke Philips N.V. | Method and system for multi-modal tissue classification |
| CN108257135A (zh) * | 2018-02-01 | 2018-07-06 | 浙江德尚韵兴图像科技有限公司 | 基于深度学习方法解读医学图像特征的辅助诊断系统 |
| CN109872333A (zh) * | 2019-02-20 | 2019-06-11 | 腾讯科技（深圳）有限公司 | 医学影像分割方法、装置、计算机设备和存储介质 |
| CN112365496A (zh) * | 2020-12-02 | 2021-02-12 | 中北大学 | 基于深度学习和多引导的多模态mr影像脑肿瘤分割方法 |
| CN113516659A (zh) * | 2021-09-15 | 2021-10-19 | 浙江大学 | 一种基于深度学习的医学影像自动分割方法 |
| CN114171187A (zh) * | 2021-12-06 | 2022-03-11 | 浙江大学 | 一种基于多模态深度学习的胃癌tnm分期预测系统 |
| CN114782350A (zh) * | 2022-04-14 | 2022-07-22 | 浙江工业大学 | 一种基于注意力机制的多模态特征融合的mri脑瘤图像分割方法 |
| CN115760754A (zh) * | 2022-11-16 | 2023-03-07 | 浙江工业大学 | 一种多模态mri图像听神经鞘瘤分割方法 |
| CN116152560A (zh) * | 2023-02-24 | 2023-05-23 | 复旦大学 | 一种基于多任务学习的胶质瘤图像分类方法及系统 |
| CN116563216A (zh) * | 2023-03-31 | 2023-08-08 | 河北大学 | 基于标准站点智能识别的内镜超声扫查控制优化系统及方法 |
| CN116563533A (zh) * | 2023-04-07 | 2023-08-08 | 武汉大学 | 基于目标位置先验信息的医学图像分割方法及系统 |
| CN116580033A (zh) * | 2023-07-14 | 2023-08-11 | 卡本(深圳)医疗器械有限公司 | 一种基于图像块相似性匹配的多模态医学图像配准方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于深度学习的超声内镜分站和胰腺分割识别系统;卢姿桦;中国消化内镜杂志;20211104;第38卷(第10期);全文 * |
| 基于随机化融合和CNN的多模态肺部肿瘤图像识别;梁蒙蒙;周涛;夏勇;张飞飞;杨健;;南京大学学报(自然科学);20180730(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117218419A (zh) | 2023-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109583440B (zh) | 结合影像识别与报告编辑的医学影像辅助诊断方法及系统 | |
| CN108648172B (zh) | 一种基于3D-Unet的CT图肺结节检测系统 | |
| Rahman et al. | A deep learning approach for liver and tumor segmentation in CT images using ResUNet | |
| CN111798425B (zh) | 基于深度学习的胃肠道间质瘤中核分裂象智能检测方法 | |
| CN113420826B (zh) | 一种肝脏病灶图像处理系统及图像处理方法 | |
| Liu et al. | Predict Ki-67 positive cells in H&E-stained images using deep learning independently from IHC-stained images | |
| CN114782307A (zh) | 基于深度学习的增强ct影像直肠癌分期辅助诊断系统 | |
| Dong et al. | One step further into the blackbox: a pilot study of how to build more confidence around an AI-based decision system of breast nodule assessment in 2D ultrasound | |
| CN114693933A (zh) | 基于生成对抗网络和多尺度特征融合的医学影像分割装置 | |
| Zhao et al. | A local and global feature disentangled network: toward classification of benign-malignant thyroid nodules from ultrasound image | |
| CN115063592B (zh) | 一种基于多尺度的全扫描病理特征融合提取方法及系统 | |
| CN115546605A (zh) | 一种基于图像标注和分割模型的训练方法及装置 | |
| Fenneteau et al. | Learning a CNN on multiple sclerosis lesion segmentation with self-supervision | |
| Sengun et al. | Automatic liver segmentation from CT images using deep learning algorithms: a comparative study | |
| CN112508884A (zh) | 一种癌变区域综合检测装置及方法 | |
| Nazarudin et al. | Performance analysis of a novel hybrid segmentation method for polycystic ovarian syndrome monitoring | |
| CN117218419B (zh) | 一种胰胆肿瘤分型分级分期的评估系统和评估方法 | |
| Chen et al. | Automated classification of blood loss from transurethral resection of the prostate surgery videos using deep learning technique | |
| Dai et al. | More reliable AI solution: Breast ultrasound diagnosis using multi-AI combination | |
| Kumaraswamy et al. | A review on cancer detection strategies with help of biomedical images using machine learning techniques | |
| CN115131279A (zh) | 通过深度学习模型的疾病分类 | |
| CN113902738A (zh) | 一种心脏mri分割方法及系统 | |
| Zhang et al. | Novel coronavirus pneumonia detection and segmentation based on the deep-learning method | |
| Gui et al. | Diagnosis of Breast Cancer with Strongly Supervised Deep Learning Neural Network | |
| CN113889235A (zh) | 一种三维医学影像无监督特征抽取系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |